https://arxiv.org/abs/2405.04517

1990년대에 상수 오류 캐러셀과 게이팅이 Long Short-Term Memory(LSTM)의 핵심 아이디어로 도입되었습니다. 그 이후로 LSTM은 시간의 시험을 견뎌냈고 수많은 딥 러닝 성공 사례에 기여했으며, 특히 최초의 대규모 언어 모델(LLM)을 구성했습니다. 그러나 병렬화 가능한 셀프 어텐션을 핵심으로 하는 Transformer 기술의 출현은 LSTM을 규모 면에서 앞지르는 새로운 시대의 시작을 알렸습니다. 이제 간단한 질문을 던집니다. LSTM을 수십억 개의 매개변수로 확장하고, 최신 LLM의 최신 기술을 활용하지만 LSTM의 알려진 한계를 완화할 때 언어 모델링에서 얼마나 멀리 갈 수 있을까요? 먼저 적절한 정규화 및 안정화 기술을 사용하여 지수 게이팅을 소개합니다. 둘째, LSTM 메모리 구조를 수정하여 다음을 얻습니다. (i) 스칼라 메모리, 스칼라 업데이트 및 새로운 메모리 혼합을 갖춘 sLSTM, (ii) 행렬 메모리 및 공분산 업데이트 규칙으로 완전히 병렬화 가능한 mLSTM. 이러한 LSTM 확장을 잔여 블록 백본에 통합하면 xLSTM 블록이 생성되고, 이 블록은 잔여적으로 xLSTM 아키텍처에 스택됩니다. 지수 게이팅 및 수정된 메모리 구조는 성능과 확장성 모두에서 최첨단 Transformers 및 State Space Models와 비교할 때 xLSTM 기능을 향상시켜 유리하게 수행합니다.