최신논문
(2023년 8월) 뉴런과 성상 세포에서 트랜스포머 만들기
작성자
admin
작성일
2024-06-25 14:14
조회
315
https://www.pnas.org/doi/10.1073/pnas.2219150120
중요성
Transformer는 많은 기계 학습 애플리케이션에서 신경 아키텍처의 기본 선택이 되었습니다. 언어, 시각, 음성 등 여러 영역에서 성공한 그들의 성공은 다음과 같은 질문을 제기합니다. 생물학적 계산 장치를 사용하여 어떻게 트랜스포머를 구축할 수 있습니까? 동시에, 신경교 공동체에서는 이전에 뇌에서 수동적인 관리 세포로 여겨졌던 성상교세포가 실제로 뇌의 정보 처리 및 계산에서 중요한 역할을 한다는 증거가 점차 축적되고 있습니다. 이 연구에서 우리는 뉴런-성상교세포 네트워크가 AI의 Transformer 블록에 의해 수행되는 핵심 계산을 자연스럽게 구현할 수 있다는 가설을 세웠습니다. 거의 모든 뇌 영역에 성상교세포가 편재한다는 사실은 다양한 정보 영역과 계산 작업에 걸쳐 Transformers의 성공을 설명할 수 있습니다.
추상적인
신경교 세포는 모든 인간 뇌 세포의 50~90%를 차지하며 다양한 중요한 발달, 구조 및 대사 기능을 수행합니다. 최근의 실험적 노력은 신경교 세포의 일종인 성상교세포가 학습 및 기억과 같은 핵심 인지 과정에도 직접적으로 관여한다는 것을 시사합니다. 성상교세포와 뉴런이 다양한 시간 규모와 공간 규모에 걸쳐 피드백 루프에서 서로 연결되어 있다는 것은 잘 알려져 있지만, 뉴런-성상교세포 상호작용의 계산 역할을 이해하는 데는 격차가 있습니다. 이러한 격차를 해소하기 위해 우리는 AI 및 성상교세포 이미징 기술의 최근 발전을 활용합니다. 특히 우리는 뉴런-성상교세포 네트워크가 특히 성공적인 AI 아키텍처 유형인 Transformer의 핵심 계산을 자연스럽게 수행할 수 있음을 보여줍니다. 이를 통해 우리는 뉴런-성상교세포 통신에 대한 구체적이고 규범적이며 실험적으로 테스트 가능한 설명을 제공합니다. Transformers는 언어, 시각 및 오디션과 같은 다양한 작업 영역에서 매우 성공적이기 때문에 우리의 분석은 뇌의 뉴런-성상교세포 네트워크의 편재성, 유연성 및 힘을 설명하는 데 도움이 될 수 있습니다.
전체 0