분명히 말하면 AGI는 현재 기술로는 발생하지 않을 수 있습니다. 매우 기본적인 수준에서 AGI에 대한 주장은 다음과 같습니다. 웹과 같이 충분히 복잡한 자료를 압축하면 웹을 만드는 데 필요한 모든 "작업"을 포함하는 "마음", 즉 AGI가 생성됩니다.

물론 위의 주장은 그러한 압축을 찾는 것이 계산적으로 매우 어려울 수 있다는 사실을 무시합니다. 운 좋게도 여기에서 "규모"의 마법이 등장합니다(첫 번째 단락의 데이터 규모와 반대되는 모델의 규모). 실제로 모델을 더 크게 만들면 모델이 첫 번째 단락에서 언급한 "작업"을 발견할 수 있는 "부드러운 궤적"을 만드는 것처럼 보입니다.

그러나 이제 우리는 문제가 나타나는 것을 봅니다. 모델을 더 크게 만들면 최적화 문제에 대한 다른 "해결책"이 나타나고 일부는 우리가 발견하려는 "작업"과 관련이 없을 수도 있습니다. 또는 더 간단하게 말하면(그러나 이는 남용되는 용어입니다): 과적합이 가능합니다.

모든 특정 기능 C (및 고정 데이터 세트)에 대해 P (C)를 원활한 검색에 필요한 매개변수 수로 정의하고 O (C)를 해당 기능을 "과적합"할 위험이 있는 매개변수 수로 정의할 수 있습니다.

C에 대해 P ( C) < O ( C) ( 심지어 데이터를 가지고 놀아도 O (C) 증가하고 P ( C)) 감소할 수 있다는 논리적 주장은 보이지 않습니다. 반면에 , 웹 규모 데이터를 사용하면 우리가 관심을 갖는 대부분의 C에 대해 P ( C) < O (C)가 있다는 것이 세계의 경험적 사실일 수도 있습니다. 잘 모르겠고 그럴 수도 없다고 생각합니다. 어느 쪽이든 분명합니다 🙂 .