백만 명의 전문가의 혼합 논문은 곧바로 강타합니다.

추론 비용과 메모리 사용량을 줄이고 수백만 명의 전문가로 확장하며, 우연히도 재앙적 망각을 극복하고 모델에 대한 평생 학습을 가능하게 합니다.

이전 MOE 모델은 10,000명의 전문가를 넘어서지 못했으며 비효율적인 정적 라우터를 사용하여 연결했지만 여기에는 수백만 명의 마이크로 전문가를 처리할 수 있는 학습된 라우터가 포함됩니다. 신피질이 작동하는 방식을 약간 상기시킵니다. 신피질은 각각 세계 모델을 학습한 다음 함께 작동하여 현실에 대한 집단적 그림을 형성할 수 있는 약 200만 개의 피질 기둥으로 구성되어 있기 때문입니다 .

재앙적 망각과 지속적인 학습은 현재 아키텍처에서 가장 중요하고 심각한 문제 중 두 가지이며 이 접근 방식은 한 번에 두 가지를 모두 없앨 가능성이 있습니다.

지속적인 학습을 가능하게 하고 재앙적 망각을 극복하기 위한 다른 접근 방식도 있는데, 여기에는 2단계 지속적 학습이나 진행 및 압축이 있으며, 이는 탄성 가중치 통합, 지식 증류 및 두 가지 모델(큰 신경망과 작은 학습망)을 사용합니다. 작은 넷은 학습하고 시간이 지나면서 학습한 내용이 큰 넷으로 다시 전달됩니다. 새로운 지식이 들어오면서 가중치가 부분적으로 동결되고 통합됩니다. Deep Mind 로봇 팀에서도 나온 좋은 아이디어입니다.

하지만 이 논문에서는 새로운 미니 전문가를 추가하고, 기존 가중치를 동결하거나 부분적으로 동결하고, 모델의 이해도를 원하는 만큼 키울 수 있으며, 이미 알고 있는 내용을 잃지 않는다고 말하는 것 같습니다.

마치 Loras가 모델 자체에 내장된 것과 같습니다.