데이터 큐레이션은 대규모 사전 훈련의 필수 요소입니다. 이 연구에서는 데이터 배치를 공동으로 선택하는 것이 예시를 독립적으로 선택하는 것보다 학습에 더 효과적이라는 것을 입증합니다. 다중 모드 대조 목표는 데이터 간의 종속성을 드러내므로 자연스럽게 배치의 공동 학습 가능성을 측정하는 기준을 산출합니다. 이러한 배치를 선택하는 간단하고 실행 가능한 알고리즘을 도출하여 개별적으로 우선순위가 지정된 데이터 포인트 이상으로 학습 속도를 크게 높일 수 있습니다. 더 큰 슈퍼 배치에서 선택함으로써 성능이 향상됨에 따라, 최근의 모델 근사화 발전을 활용하여 관련 계산 오버헤드를 줄였습니다. 그 결과, 공동 예제 선택을 통한 다중 모드 대조 학습(JEST)이라는 접근 방식은 최대 13배 적은 반복 횟수와 10배 적은 계산으로 최첨단 모델을 능가합니다. JEST의 성능의 핵심은 사전 학습된 참조 모델을 통해 데이터 선택 프로세스를 잘 선별된 소규모 데이터 세트의 분포로 조정하여 데이터 큐레이션 수준을 신경 확장 법칙의 새로운 차원으로 확장할 수 있다는 점입니다.