저는 여전히 확장성, 안전, 효율적인 교육 및 추론, 더 스마트한 기억(MoE 및 장기 컨텍스트에서 이 문제를 해결함), 더 많은 양식(시각적, 청각적, 촉각 자기중심적 데이터 수집이 여전히 너무 느림)에 집중해야 한다고 생각합니다. 책임감 있게), 온라인 지속적인 학습(개인화된 보조자, 예를 들어 세계의 엄청난 교육 격차를 줄이기 위한 개인화된 다국어 교사에 필요함), 그리고 다시 한번 혁신적 데이터(산업용 AI는 데이터 플레이입니다)를 외치겠습니다.

그러나 나는 몇 년 전에 엔지니어링과 모델 절제라는 중요한 사실을 놓쳤습니다. 칩 및 데이터 센터 설계, 코드베이스 설계, 데이터 파이프라인, 더 나은 아키텍처 및 최적화를 가져오는 제거, 자동 및 인간 평가, 규정 준수 등에 엄청난 노력이 들어갑니다.

AI는 소수의 "영웅"이 아닌 수천 명의 엔지니어에 의해 구축되고 있습니다.

제가 아래 메시지를 처음 트윗했을 때 이것이 AI에 도달하는 실현 가능한 방법이 될 것이라는 점을 강조하고 싶었습니다. 따라서 어떤 의미에서는 실현 가능한 경로에 대한 검색이 끝났습니다. 마침내 우리는 예측할 수 없는 벽이 없는 하나를 갖게 되었습니다. 그것은 여전히 ​​​​가설일 뿐이고 내가 틀렸다는 것이 입증될 수도 있지만, 지금으로서는 내 믿음이 변하지 않았습니다.

생물학, 수학, 기후, 번역, 의료, 역사, 지속 가능성, 로봇 공학 등과 같은 응용 분야에 종사하는 사람들도 정말 존경한다는 점을 덧붙이고 싶습니다. 꼭 필요한 새 일자리를 창출하는 데 도움이 되기 때문에 점점 더 많은 스타트업을 보는 것도 좋은 일입니다.