최신논문
ReLU-KAN: 행렬 추가, 점 곱셈 및 ReLU만 필요한 새로운 Kolmogorov-Arnold 네트워크
작성자
작성일
2024-07-04 11:53
조회
931
https://arxiv.org/abs/2406.02075
기본 함수(B-스플라인) 계산의 복잡성에 의해 제한되는 콜모고로프-아놀드 네트워크(KAN)는 GPU에서 제한된 병렬 컴퓨팅 성능으로 어려움을 겪습니다. 이 논문은 KAN의 핵심 아이디어를 계승한 새로운 ReLU-KAN 구현을 제안합니다. ReLU(Rectified Linear Unit)와 점별 곱셈을 채택하여 KAN의 기본 함수 설계를 단순화하고 효율적인 CUDA 컴퓨팅을 위해 계산 프로세스를 최적화합니다. 제안된 ReLU-KAN 아키텍처는 추론과 학습을 위해 기존 딥 러닝 프레임워크(예: PyTorch)에 쉽게 구현할 수 있습니다. 실험 결과에 따르면 ReLU-KAN은 4계층 네트워크를 사용하는 기존 KAN에 비해 20배 더 빠른 속도를 달성합니다. 또한 ReLU-KAN은 KAN의 "대격변적 망각 회피" 특성을 보존하면서 뛰어난 피팅 능력으로 보다 안정적인 학습 프로세스를 보여줍니다.
기본 함수(B-스플라인) 계산의 복잡성에 의해 제한되는 콜모고로프-아놀드 네트워크(KAN)는 GPU에서 제한된 병렬 컴퓨팅 성능으로 어려움을 겪습니다. 이 논문은 KAN의 핵심 아이디어를 계승한 새로운 ReLU-KAN 구현을 제안합니다. ReLU(Rectified Linear Unit)와 점별 곱셈을 채택하여 KAN의 기본 함수 설계를 단순화하고 효율적인 CUDA 컴퓨팅을 위해 계산 프로세스를 최적화합니다. 제안된 ReLU-KAN 아키텍처는 추론과 학습을 위해 기존 딥 러닝 프레임워크(예: PyTorch)에 쉽게 구현할 수 있습니다. 실험 결과에 따르면 ReLU-KAN은 4계층 네트워크를 사용하는 기존 KAN에 비해 20배 더 빠른 속도를 달성합니다. 또한 ReLU-KAN은 KAN의 "대격변적 망각 회피" 특성을 보존하면서 뛰어난 피팅 능력으로 보다 안정적인 학습 프로세스를 보여줍니다.
전체 0