인터뷰/예측

다리오 아모데이 "합성데이터에 걱정하지 않아"

작성일
2024-07-04 09:46
조회
2387


아모데이 "but it actually is possible by injecting very small amounts of new information to get more than you started with if we go back to systems of eight years ago so if you remember alphao which was a system that was used to play Go note that the model there just trains against itself with nothing other than the rules of Go to adjudicate and those little rules of Go that little additional piece of information is enough to take the model from no ability at all to smarter than the best human at go um and so if you do it right with just a little bit of additional information you I think it may be possible to get an infinite data generation engine"

"그러나 실제로 8 년 전 시스템으로 돌아 가면 시작했던 것보다 더 많은 것을 얻기 위해 아주 적은 양의 새로운 정보를 주입함으로써 가능하므로 바둑에 사용되었던 시스템 인 알파고를 기억한다면 거기에있는 모델은 바둑의 규칙 외에는 아무것도없이 스스로 훈련한다는 점에 유의하십시오. 판정하고 바둑의 규칙과 그 작은 추가 정보만으로도 모델을 전혀 능력이없는 상태에서 최고의 인간보다 더 똑똑하게 만들 수 있으므로 약간의 추가 정보만으로 제대로 수행하면 무한한 데이터 생성 엔진을 얻을 수 있다고 생각합니다."

 

합성 데이터 사용: Anthropic은 AI 모델 훈련을 위해 합성 데이터를 사용하는 여러 방법을 연구하고 있습니다.

기존 데이터 활용: 실제 데이터를 모델에 포함시키고, 모델이 실제 데이터와 상호 작용하도록 하여 추가적인 데이터를 생성합니다.

데이터 품질 유지: 합성 데이터를 잘못 생성하면 시작한 것보다 더 많은 것을 얻지 못할 수 있지만, 소량의 새로운 정보를 주입하면 시작한 것보다 더 많은 데이터를 얻을 수 있습니다.

무한 데이터 생성 가능성: 적절히 수행되면 소량의 추가 정보로 무한 데이터 생성 엔진을 만들 수 있을 가능성이 있습니다.
전체 0