Adam은 딥 러닝에서 가장 인기 있는 최적화 알고리즘 중 하나입니다. 그러나 Adam은 문제 의존적 방식으로 하이퍼파라미터, 즉 $\beta_2$를 선택하지 않는 한 이론적으로 수렴하지 않는 것으로 알려져 있습니다. 비수렴을 수정하려는 많은 시도가 있었지만(예: AMSGrad) 기울기 노이즈가 균일하게 제한되어 있다는 비현실적인 가정이 필요합니다. 이 논문에서는 ADOPT라는 새로운 적응형 그래디언트 방법을 제안하는데, 이 방법은 경계 잡음 가정에 의존하지 않고 $\beta_2$를 선택하면 $\mathcal{O} ( 1 / \sqrt{T} )$의 최적 수렴률을 달성한다. ADOPT는 두 번째 모멘트 추정치에서 현재 기울기를 제거하고 두 번째 모멘트 추정치로 운동량 업데이트 및 정규화의 순서를 변경하여 Adam의 비수렴 문제를 해결합니다. 또한 집중적인 수치 실험을 수행하고 ADOPT가 이미지 분류, 생성 모델링, 자연어 처리 및 심층 강화 학습을 포함한 광범위한 작업에서 Adam 및 그 변형에 비해 우수한 결과를 달성하는지 확인합니다. 구현은 이 https URL에서 사용할 수 있습니다.