지난주에 있었던 매우 인상적인 AI 경연 대회가 있었는데, AI 세계의 소음 속에서 많은 사람들이 놓쳤습니다. 저는 우연히 참가자 몇 명을 알고 있어서 일요일 아침 커피 타임에 이 이야기를 조금 들려드리겠습니다.

여러분은 아마도 클레이 연구소가 7가지 심오한 수학 문제를 처음으로 정답으로 풀면 100만 달러의 상금을 내걸었던 밀레니엄 상 문제를 알고 있을 것입니다. 지금까지 이 중 푸앵카레 추측 하나만이 Grigori Perelman에 의해 해결되었는데, 그는 유명하게도 상을 거부했습니다(아직 보지 않았다면 Grigori를 확인해 보세요. 그는 완전히 기반이 있는 삶을 살고 있습니다).

그래서 이 새로운 대회인 인공지능 수학 올림피아드(AIMO)도 100만 달러의 상금을 걸었지만 AI 모델에만 개방되었습니다(따라서 인간은 AI의 작업에 대한 대가를 받습니다...). 또한 매우 어렵지만 여전히 간단한 문제, 즉 국제 수학 올림피아드 골드 레벨의 문제를 다룹니다. 아직 수학 지식의 최전선은 아니지만 저를 포함한 대부분의 사람들이 오늘날 풀 수 있는 것보다 확실히 높습니다.

AIMO의 조직 위원회는 세계에서 가장 존경받는 수학자들의 모임입니다. 예를 들어, 테렌스 타오는 널리 알려진 수학 천재로, 가장 위대한 현존하는 수학자 중 한 명으로 널리 알려져 있습니다.

저희 팀인 Jia Li, Yann Fleuret, Hélène Evain이 들어왔습니다. 이전 스타트업에서 성공적으로 퇴출된 후(제가 전생에 IP 변호사였을 때 잘 알고 있었지만 그건 또 다른 이야기입니다) 그들은 비영리 단체인 Numina를 공동 창립하여 AI4Math를 공개하기로 결정했습니다.

Numina는 DeepMind와 같은 AI 수학 노력에 대한 대조적인 역할을 하기를 원했지만, 훨씬 더 개방적인 방식으로 수학에서 AI 사용을 발전시키고 어렵고 개방된 문제에서 진전을 이루는 것을 목표로 했습니다. 그 과정에서 그들은 Mistral의 공동 설립자인 Guillaume Lample이나 이전에 OpenAI에서 수학 모델을 추진했던 Stanislas Polu와 같이 AI+수학 세계에서 매우 인상적인 이름들의 도움을 받는 데 성공했습니다.

Jia가 Hugging Face 사람들과 함께 코드 모델 BigCode 협업에 참여하면서 코드 모델을 형식 수학에 얼마나 잘 활용할 수 있는지 협업하여 탐구해보자는 아이디어가 떠올랐습니다.

맥락을 위해, 올림피아드 수학 문제는 매우 어렵고, 문제의 핵심은 각 문제를 해결하기 위해 작성하는 전투 계획에 있습니다. 따라서 Numina의 첫 번째 초점은 경쟁 수준 수학을 위한 고품질 교육 Chain-of-Thought(CoT) 데이터를 만드는 것이었습니다. 이 CoT 데이터는 이미 DeepSeek Math와 같은 모델을 훈련하는 데 사용되었지만, 매우 드물게 공개되어 이 데이터 세트는 과제를 해결하기 위한 가치 없는 리소스가 되었습니다.

BigCode의 책임자인 레안드로는 지아를 Hugging Face에서 Zephyr 모델을 훈련한 팀인 Lewis, Ed, Costa, Kashif와 연결해 주었고, Roman과 Ben의 추가 도움을 받았으며, 그 목표는 AIMO의 1등 진도상을 목표로 수학 및 코드 데이터를 기반으로 강력한 모델을 훈련하는 것이었습니다.

그리고 훈련이 시작되었습니다.

영상

올림피아드 코치인 Jia는 이러한 경쟁의 난이도를 잘 알고 있었고 모델 선택을 가능하게 하는 매우 강력한 내부 검증 세트를 큐레이션할 수 있었습니다(Kaggle 제출물은 블라인드입니다). 데이터 세트 구축을 반복하는 동안 Hugging Face의 Lewis와 Ed는 모델을 훈련하고 Kaggle 제출물에 대한 추론 파이프라인을 구축하는 데 집중했습니다.

경쟁에서 흔히 그렇듯이 유레카와 아하 순간이 모두를 더 멀리 밀어주는 강렬한 여정이었습니다. 루이스는 제게 정말 정신이 나갈 만한 몇 가지 이야기를 들려주었습니다. 기술 보고서가 나올 예정이므로 이것은 곧 훨씬 더 포괄적인 레시피와 보고서로 수집될 "그 과정에서" 얻은 정보일 뿐입니다.

코딩 학습: 팀의 제출은 문제당 N개의 후보를 생성하고 가장 일반적인 솔루션을 선택하기 위해 자기 일관성 디코딩(일명 다수결 투표)에 의존했습니다. 하지만 Numina 데이터로 훈련된 초기 모델은 약 13/50점에 그쳤습니다... 더 나은 접근 방식이 필요했습니다. 그런 다음 MuMath-Code 논문( https://arxiv.org/abs/2405.07551 )을 보았는데, 이 논문은 CoT 데이터와 코드 데이터를 결합하여 강력한 모델을 얻을 수 있음을 보여주었습니다. Jia는 GPT-4에서 훌륭한 코드 실행 데이터를 생성하여 초기 모델의 훈련을 가능하게 하고 성능을 인상적으로 향상시킬 수 있었습니다.

분산 길들이기: 또 다른 아하 순간은 Kaggle 멤버가 DeepSeek 모델이 코드 실행과 얼마나 잘 작동하는지 보여주는 노트북을 공유했을 때 왔습니다(이 모델은 문제를 단계별로 분해하고 각 단계를 Python에서 실행하여 다음 단계에 대해 추론합니다).

그러나 연구진이 이 노트북을 시도해 보았을 때, 이 방법은 분산이 매우 크다는 것을 발견했습니다(Kaggle에서의 점수는 16/50에서 23/50까지 다양했습니다).

이 문제를 개선하기 위한 해커톤을 위해 파리에서 만났을 때(HF 팀이 종종 하는 것처럼) Ed는 다수결 투표를 "생각의 나무"로 구성하는 아이디어를 내놓았습니다. 즉, 후보 솔루션의 나무를 점진적으로 성장시키고 가지치는 것입니다( https://arxiv.org/abs/2305.10601 ).

이는 분산에 인상적인 영향을 미쳤으며 제출물에 대해 훨씬 더 확신을 가질 수 있게 했습니다(모델이 검증 세트 대비 테스트 세트에서 매우 좋은 성능을 보이는 방식에서 확인됨)

컴퓨팅 제약 극복: Kaggle 제출물은 9시간 이내에 2xT4에서 실행되어야 했는데, FA2가 작동하지 않고 bfloat16도 사용할 수 없기 때문에 정말 어려웠습니다. 팀은 AWQ 및 GPTQ와 같은 양자화 방법을 탐색하여 GPTQ를 사용한 7B 모델의 8비트 양자화가 가장 좋다는 것을 발견했습니다.

데이터 살펴보기: GPT-4 데이터 세트의 품질을 확인하고(그리고 수정하는 데) 많은 부분이 집중되었는데, GPT-4가 환각에 취약하고 코드 출력을 올바르게 해석하지 못한다는 것을 빠르게 발견했기 때문입니다. 마지막 주에 데이터 문제를 수정한 덕분에 성능이 크게 향상되었습니다.

최종 푸시: 결과는 정말 놀라웠고 모델은 1위에 올랐습니다. 그리고 더 나아가, 공개 검증 리더보드에서 1위를 차지한 반면(2위는 27개, 2위는 28개 과제 해결), 비공개 테스트 리더보드에서 테스트했을 때 정말 빛을 발했습니다. 2위 팀은 22개 과제를 해결한 반면 2위 팀은 29개 과제를 해결해 큰 차이를 보였습니다.

Terence Tao가 직접 설정한 대로 이것은 "예상보다 더 높은" 이미지입니다.

이 경연 대회에서 더 인상적인 점은 이러한 모델이 이미 수행할 수 있는 수학 수준 외에도 참가자들이 실제로 얼마나 많은 자원이 제약되었는지입니다. 그들은 T4에서 짧은 시간 안에 추론을 실행해야 했으며, 이를 통해 앞으로 몇 달 안에 이러한 모델이 얼마나 강력해질지 상상할 수 있었습니다.

GenAI가 과학에 어느 정도 영향을 미칠 때가 된 듯하고, 이는 아마도 AI가 앞으로 1~2년 안에 우리에게 가져다 줄 가장 흥미로운 것 중 하나일 것입니다. 인간의 발전을 가속화하고 과학이 해결할 수 있는 모든 현실 세계의 문제를 해결합니다.