최신논문
(2023년 8월) 심층연속학습의 가소성 손실
작성자
작성일
2024-06-25 14:17
조회
518
https://arxiv.org/abs/2306.13812
최신 딥 러닝 시스템은 훈련이 지속적으로 발생하는 연속 학습 설정과 달리 훈련이 한 번 발생하고 다시는 발생하지 않는 문제 설정에 특화되어 있습니다. 딥러닝 시스템을 지속적인 학습 환경에 적용하면 이전 사례를 기억하지 못할 수도 있다는 것은 잘 알려져 있습니다. 더 근본적이지만 잘 알려지지 않은 사실은 새로운 사례를 학습하는 능력, 즉 가소성 상실이라는 현상을 상실할 수도 있다는 것입니다. 우리는 일련의 작업으로 지속적인 학습을 위해 용도가 변경된 MNIST 및 ImageNet 데이터 세트를 사용하여 가소성 손실에 대한 직접적인 시연을 제공합니다. ImageNet에서는 이진 분류 성능이 초기 작업의 89% 정확도에서 2000번째 작업의 선형 네트워크 수준인 77%로 떨어졌습니다. 광범위한 딥 네트워크 아키텍처, 옵티마이저, 활성화 기능, 배치 정규화, 드롭아웃을 통해 가소성 손실이 발생했지만 다음을 통해 상당히 완화되었습니다.엘2-정규화, 특히 체중 변동과 결합될 때. 또한 기존의 역전파를 약간 수정하여 각 예제 이후에 덜 사용되는 단위의 작은 부분을 다시 초기화하고 가소성을 무한정 유지하는 것처럼 보이는 새로운 알고리즘(연속 역전파)을 도입합니다.
최신 딥 러닝 시스템은 훈련이 지속적으로 발생하는 연속 학습 설정과 달리 훈련이 한 번 발생하고 다시는 발생하지 않는 문제 설정에 특화되어 있습니다. 딥러닝 시스템을 지속적인 학습 환경에 적용하면 이전 사례를 기억하지 못할 수도 있다는 것은 잘 알려져 있습니다. 더 근본적이지만 잘 알려지지 않은 사실은 새로운 사례를 학습하는 능력, 즉 가소성 상실이라는 현상을 상실할 수도 있다는 것입니다. 우리는 일련의 작업으로 지속적인 학습을 위해 용도가 변경된 MNIST 및 ImageNet 데이터 세트를 사용하여 가소성 손실에 대한 직접적인 시연을 제공합니다. ImageNet에서는 이진 분류 성능이 초기 작업의 89% 정확도에서 2000번째 작업의 선형 네트워크 수준인 77%로 떨어졌습니다. 광범위한 딥 네트워크 아키텍처, 옵티마이저, 활성화 기능, 배치 정규화, 드롭아웃을 통해 가소성 손실이 발생했지만 다음을 통해 상당히 완화되었습니다.엘2-정규화, 특히 체중 변동과 결합될 때. 또한 기존의 역전파를 약간 수정하여 각 예제 이후에 덜 사용되는 단위의 작은 부분을 다시 초기화하고 가소성을 무한정 유지하는 것처럼 보이는 새로운 알고리즘(연속 역전파)을 도입합니다.
전체 0