신경 과학과 AI 모두에서 뉴런 간의 ``결합''이 네트워크의 더 깊은 계층에서 더 추상적인 개념을 표현하기 위해 표현을 압축하는 경쟁적 학습의 한 형태로 이어진다는 것은 오랫동안 알려져 왔습니다. 최근에는 동적(시공간적) 표현이 신경 과학과 AI 모두에서 중요한 역할을 한다는 가설도 제기되었습니다. 이러한 아이디어를 바탕으로 우리는 임계값 단위에 대한 동적 대안으로 인공 쿠라모토 진동 뉴런(AKOrN)을 소개합니다. 이는 완전 연결, 합성곱 또는 주의 메커니즘과 같은 임의의 연결 설계와 결합될 수 있습니다. 우리의 일반화된 쿠라모토 업데이트는 동기화 역학을 통해 뉴런을 함께 결합합니다. 우리는 이 아이디어가 비지도 객체 발견, 적대적 견고성, 교정된 불확실성 정량화 및 추론과 같은 광범위한 작업에서 성능 향상을 제공한다는 것을 보여줍니다. 우리는 이러한 경험적 결과가 신경 표현의 가장 기본적인 신경 수준에서 가정을 재고하는 것의 중요성을 보여주고, 특히 동적 표현의 중요성을 보여준다고 믿습니다.

 

이 논문은 인공 신경망에 Kuramoto 모델을 적용한 새로운 신경망 구조인 "Artificial Kuramoto Oscillatory Neurons" (AKOrN)을 제안하는 내용입니다. Kuramoto 모델은 진동자들이 서로 동기화되는 현상을 설명하는 비선형 동적 모델로, 이 논문에서는 이 모델을 신경망에 적용하여 뉴런들이 동기화되는 과정을 통해 데이터의 특징을 더욱 효율적으로 학습하도록 했습니다.

쉽게 말해, AKOrN은 기존 신경망에서 사용하는 뉴런 대신 동기화되는 진동하는 뉴런을 도입하여, 이미지 인식이나 퍼즐 해결 같은 다양한 작업에서 더 좋은 성능을 보이는 구조입니다. 특히, AKOrN은 다음과 같은 장점이 있습니다:

경쟁 학습: 여러 뉴런들이 서로 협력하고 경쟁하면서 특징을 압축하고 추상화된 개념을 학습할 수 있습니다.
추론 능력: AKOrN은 퍼즐과 같은 문제를 해결할 수 있는 추론 능력이 있으며, 이는 기존의 신경망 구조에서 부족했던 부분입니다.
강인함: AKOrN은 잡음이나 공격에 대해 더욱 강인한 특성을 보여주며, 더 정확한 불확실성 예측도 가능합니다.

AKOrN의 핵심 아이디어는 뉴런들이 서로 동기화되고 상호작용하는 방식을 통해 신경망이 더욱 강력하고 유연한 학습 능력을 가지게 한다는 것입니다.