최신논문
(2023년 9월) 컴파일러 최적화를 위한 대규모 언어모델
작성자
작성일
2024-06-25 14:49
조회
344
https://arxiv.org/abs/2309.07062
우리는 코드 최적화에 대한 대규모 언어 모델의 새로운 적용을 탐구합니다. 코드 크기에 맞게 LLVM 어셈블리를 최적화하기 위해 처음부터 훈련된 7B 매개변수 변환기 모델을 제시합니다. 모델은 최적화되지 않은 어셈블리를 입력으로 사용하고 프로그램을 가장 잘 최적화하기 위한 컴파일러 옵션 목록을 출력합니다. 결정적으로, 훈련 중에 모델에 최적화 전후의 명령 수와 최적화된 코드 자체를 예측하도록 요청합니다. 이러한 보조 학습 작업은 모델의 최적화 성능을 크게 향상시키고 모델의 이해 깊이를 향상시킵니다.
우리는 다양한 테스트 프로그램을 평가합니다. 우리의 접근 방식은 컴파일러에 비해 명령어 수를 3.0% 줄여 수천 번의 컴파일이 필요한 두 가지 최첨단 기준보다 성능이 뛰어납니다. 또한 이 모델은 91%의 시간 동안 컴파일 가능한 코드를 생성하고 70%의 시간 동안 컴파일러의 출력을 완벽하게 에뮬레이트하는 등 놀랍도록 강력한 코드 추론 능력을 보여줍니다.
우리는 코드 최적화에 대한 대규모 언어 모델의 새로운 적용을 탐구합니다. 코드 크기에 맞게 LLVM 어셈블리를 최적화하기 위해 처음부터 훈련된 7B 매개변수 변환기 모델을 제시합니다. 모델은 최적화되지 않은 어셈블리를 입력으로 사용하고 프로그램을 가장 잘 최적화하기 위한 컴파일러 옵션 목록을 출력합니다. 결정적으로, 훈련 중에 모델에 최적화 전후의 명령 수와 최적화된 코드 자체를 예측하도록 요청합니다. 이러한 보조 학습 작업은 모델의 최적화 성능을 크게 향상시키고 모델의 이해 깊이를 향상시킵니다.
우리는 다양한 테스트 프로그램을 평가합니다. 우리의 접근 방식은 컴파일러에 비해 명령어 수를 3.0% 줄여 수천 번의 컴파일이 필요한 두 가지 최첨단 기준보다 성능이 뛰어납니다. 또한 이 모델은 91%의 시간 동안 컴파일 가능한 코드를 생성하고 70%의 시간 동안 컴파일러의 출력을 완벽하게 에뮬레이트하는 등 놀랍도록 강력한 코드 추론 능력을 보여줍니다.
전체 0