https://arxiv.org/abs/2309.08586

이전 연구에서는 Attention 소프트맥스를 ReLU와 같은 포인트별 활성화로 대체할 때 정확도가 저하되는 것을 관찰했습니다. 비전 변환기의 맥락에서 시퀀스 길이로 나눌 때 이러한 저하가 완화된다는 것을 알 수 있습니다. ImageNet-21k에서 소규모에서 대규모 비전 변환기를 훈련하는 우리의 실험은 ReLU-attention이 계산의 함수로서 크기 조정 동작 측면에서 Softmax-attention의 성능에 접근하거나 일치할 수 있음을 나타냅니다.