현재 AI 모델이 사물을 학습하는 방법은 두 가지가 있습니다. 훈련과 추론 중 컨텍스트 내 학습입니다. 지금까지는 컨텍스트가 비교적 짧기 때문에 훈련이 우세했습니다. 하지만 매우 긴 컨텍스트가 그것을 바꿀 수 있습니다.

퍼지 기억에 의존하는 대신, 우리의 LTM(장기 기억) 모델은 추론 중에 주어진 최대 1억 개의 맥락 토큰을 바탕으로 추론하도록 훈련됩니다.

이러한 초장기 컨텍스트 모델은 상업적으로 다양하게 활용될 수 있지만, Magic에서는 소프트웨어 개발 분야에 주력하고 있습니다.

모델에 공개 인터넷에 없는 코드, 문서 및 라이브러리를 포함하여 모든 코드, 문서 및 라이브러리가 맥락에 맞게 포함되어 있다면 코드 합성이 얼마나 더 좋아질지 상상하기 쉽습니다.

..