앤트로픽의 2021년 연구 로드맵

1. 연구 로드맵 본문 번역

원제: Concise Research Roadmap · 작성자: Jared Kaplan · 최종 수정: 2021년 7월

1. 장기 목표 (Long Term Goal)

우리의 최상위 목표는 안전하고 인류에게 유익한 AGI를 만드는 방향으로 연구하는 것이다.

개념 증명(Proof of Concept)을 위해 우리는 사용자와 대화하면서 소프트웨어를 생성하고, 수정하고, 설명할 수 있는 범용 AI 비서를 개발하고 있다.

가장 야심 차고 성공적인 형태의 이 에이전트는 일반적인 질문에 답하고, 함수를 작성하며, 버그를 찾아내고, API를 설계하고, 코드 스타일과 모범 사례를 논의하는 등 다양한 일을 수행할 수 있다.

다시 말해, 소프트웨어 엔지니어 동료가 가진 능력을 보여주는 시스템이다.

우리는 이러한 목표를 단기간에 달성할 것으로 예상하지는 않지만, 이것이 우리가 추구하는 방향이다.

우리의 모든 연구 프로젝트는 이러한 초기 형태의 AGI(Proto-AGI)를 이해하고 구성하는 여러 요소를 연구하는 시도라고 볼 수 있다.

현재 우리는 이를 위해 다음이 필요하다고 생각한다.

• 
  

  
  
  장기 기억을 가진 거대 생성 모델
  
  

  
  
• 
  

  
  
  자동화된 보상과 인간 피드백을 모두 활용하는 정교하게 조정된 강화학습(RL)
  
  

  
  

2. 스케일링 (Scaling)

주요 목표

첫째, 매우 높은 GPU 활용률과 유연한 API를 기반으로 초거대 모델을 학습시키는 시스템을 설계하고, 강화학습을 위해 모델에서 효율적으로 샘플을 생성할 수 있도록 한다.

둘째, 시스템의 효율성이 높아지는 과정에서도 사용성과 신규 사용자 경험을 유지한다.

예를 들어 비전문가도 하이퍼파라미터를 쉽게 설정할 수 있어야 한다. 또한 블록 희소 어텐션(Block-sparse Attention)처럼 고도로 최적화된 기술을 실험할 수 있어야 한다.

동시에 복잡한 최적화 기법은 내부에 캡슐화하여 일반적인 구성 요소와 쉽게 교체할 수 있도록 해야 한다.

셋째, 특히 대규모 모델 가중치와 같은 중요한 자산에 대한 보안을 강화한다.

넷째, TPU, Trainium 등의 미래 하드웨어가 가진 위험과 불확실성을 미리 줄이고, 컴퓨팅 자원 확보 계약에 대비한다.

3. 해석 가능성 (Interpretability)

주요 목표

대규모 언어 모델을 구성하는 기본 요소와 통계적 특성을 이해한다.

여기에는 뉴런, 어텐션 헤드, 회로(Circuit) 등이 포함된다.

또한 산술 연산, 서로 다른 등장인물 사이의 현실적인 대화, 코딩과 같은 구체적인 능력의 이면에 어떤 메커니즘이 작동하는지 탐구한다.

4. 사전학습과 데이터 (Pretraining and Data)

주요 목표

가능한 한 최고의 언어 및 코드 모델을 사전학습시키고, 앤트로픽의 다른 연구진이 추가 미세조정과 정성적 탐구에 활용할 수 있도록 한다.

자연어, 코드, 코드 변경 내역(Diff), 풀 리퀘스트(PR), 디버깅 기록, 관련 코드 평가 자료 등을 포함하여 가능한 한 최고의 데이터셋을 구축한다.

또한 코드 변경 내역, PR, 위키 변경 내역(Wikidiffs), 메타데이터 등의 자료로 원시 모델을 미세조정하여, 인간의 의도와 모델의 행동을 연결한다.

과학적으로 연구해야 할 문제

1. 
   

   
   
   향후 활용과 미세조정에 유리한 능력을 갖추면서, 1조 개 이상의 파라미터를 가진 초거대 모델까지 학습하려면 얼마나 많은 데이터가 필요한가?
   
   

   
   
2. 
   

   
   
   매우 긴 컨텍스트를 어떻게 구현할 것인가? 장기 기억이나 경험의 상당 부분을 컨텍스트 안에 담는 것과 동등한 방법도 고려한다.
   
   

   
   
3. 
   

   
   
   데이터 품질, 필터링, 전이학습, 미세조정, 다양성의 효과를 연구한다. 이를 통해 더 발전된 모델에 필요한 강화학습 환경과 비교할 토대를 마련한다.
   
   

   
   

5. 인간 피드백과 정렬 (Human Feedback and Alignment)

주요 목표

인간의 피드백을 사용하여 대규모 언어 모델이 전반적으로 유용한 시스템이 되도록 학습시킨다.

모델은 사람에게 도움을 제공하고, 피드백에 반응하며, 명확히 이해할 필요가 있을 때 추가 질문을 하고 그에 대한 답변에도 반응해야 한다.

정렬 실패(Alignment Failure)를 발견하고, 쉬운 문제와 어려운 문제를 구분하여 체계적으로 이해한다.

정렬의 스케일링 법칙(Scaling Laws for Alignment)

인간의 피드백 데이터를 활용할 때 보상 모델(Reward Model)의 정렬 수준과 견고성이 어떻게 달라지는지 연구한다.

여기에는 두 가지 데이터 유형이 포함된다.

첫 번째는 현재 정책이 생성한 결과에 대해 인간이 평가하는 온폴리시(On-policy) 피드백 데이터다.

두 번째는 Stack Exchange 같은 정적 데이터셋이나 GAN 판별기 학습으로 생성된 데이터셋이다.

또한 인간 피드백 데이터를 가장 효율적으로 활용하는 일반적인 방법을 연구한다.

구체적으로 정렬 목표를 달성하려면 어느 정도의 인간 피드백이 필요한지, 그리고 컴퓨팅과 인력 등 어떤 자원이 필요한지 파악한다.

그 밖의 연구 주제

GAN 및 판별기 학습의 스케일링 법칙과 추론 시점 컴퓨팅(Test-time Compute)의 스케일링 법칙을 연구한다. 데이터 다양성과 더 좁은 분포에서의 최종 성능도 비교한다.

인간과 모델이 행동 및 샘플 품질을 평가하는 방식 사이의 관계를 연구한다.

또한 모델이 자신의 출력을 평가하는 자기 판단(Self-judging) 능력과 편향, 공정성, 사회적 결과 사이의 연결을 살펴본다.

6. 도구 사용을 위한 강화학습 (RL for Tool Use)

주요 목표

AGI에 도달하는 경로에 대한 이해를 발전시킨다.

이를 위해 거대 언어 모델이 도구를 사용하고, 자신의 환경과 목표에 관한 정보를 학습하거나 데이터를 생성하는 능력을 탐구한다.

검색, printf를 활용한 디버깅 및 기타 가치 있는 작업에서 실제로 유의미한 성과가 나타나는지 확인한다.

현재 거대 언어 모델의 한계를 해결하는 데 강화학습이 도움이 되는지도 평가한다.

또한 지도학습과 비교했을 때, 학습 컴퓨팅 자원이 증가함에 따라 더 유리한 스케일링 특성을 보이는 학습 기법을 찾아낸다.

7. 사회적 영향 (Societal Impact)

주요 목표

모델의 잠재적인 사회적 영향을 평가하고 측정할 새로운 방법을 개발한다.

여기에는 경제적 영향력, 편향 특성, 기반 데이터셋에 의해 결정되는 생성 성향 등이 포함된다.

이러한 평가를 활용하여 점점 더 강력해지는 모델에 대한 이해를 개선한다.

또한 학계, 정부 기관, 다른 기업과 같은 외부 주체가 AI 시스템을 더 폭넓게 측정하고 평가할 수 있도록 지원한다.

이를 통해 전체 AI 생태계의 안전성을 높이고, 우리와 외부 이해관계자 사이의 신뢰를 구축한다.

마지막으로 우리 모델을 실질적으로 평가하고 실험할 수 있는 외부 기관과 연구자의 범위를 확대한다.

이를 통해 모델의 능력을 더욱 풍부하게 이해하고자 한다.

2. 연구진의 내부 댓글 번역

이 부분은 본문보다 더 흥미로운 대목이 많습니다. 연구진이 AGI 연구 방향에 대해 어떤 고민을 했는지 드러나기 때문입니다.

댓글은 모두 2021년 7월 16일 작성되었습니다.

A. 데이터, 기억, 해석 가능성에 관한 논의

크리스토퍼 올라 (Christopher Olah)

이런 연구 주제들을 해석 가능성 연구와 연결할 수 있다면 정말 기대될 것 같습니다.

샘 매캔들리시 (Sam McCandlish)

이런 종류의 데이터 소스는 매우 가치 있어 보입니다. 다른 좋은 아이디어가 나온다면 정말 관심이 있습니다.

다리오 아모데이 (Dario Amodei)

Stack Overflow, 이슈, 댓글 등이 있겠네요.

재러드 카플란 (Jared Kaplan)

Anthropic의 Data Brainstorm 노션 문서 링크를 공유합니다.

크리스토퍼 올라

이런 주제 일부를 해석 가능성 연구와 연결할 수 있다면 정말 기대됩니다.

샘 매캔들리시

+1. 동의합니다.

벤 만 (Ben Mann)

'수면(sleeping)'과 비슷한 방식도 있겠네요. 예를 들면 주기적으로 여러 데이터를 묶어서 역전파를 수행하는 것입니다.

샘 매캔들리시

크리스토퍼 올라가 언급했던 소프트 데이터베이스 조회(Soft Database Lookup) 방식도 있습니다.

또한 Dawn이 연구했던 스켈레톤화(Skeletonization) 기법도 있습니다.

여기서 수면, 소프트 데이터베이스 조회, 스켈레톤화가 언급된 것은 흥미롭지만, 문서에는 구체적인 구현 방법이나 실험 결과가 없습니다.

B. AI 능력 향상과 정렬 연구의 관계

아만다 애스켈 (Amanda Askell)

우리가 자연어에 대해서는 정렬 연구를 하고, 코드에 대해서는 능력 향상 연구를 하게 될까 봐 조금 걱정됩니다.

제 생각에는 이 두 가지가 언제나 상당히 긴밀하게 연결되어 있어야 합니다.

우리가 정렬 연구를 수행하는 영역에서 모델의 능력을 향상시키지 않는다면, 정렬을 얼마나 잘 검증할 수 있는지, 그리고 그 연구가 얼마나 유용한지에 한계가 생깁니다.

또한 초기에 두 연구를 통합하지 않으면, 정렬 연구가 고립된 영역이 되는 등의 연쇄적인 문제가 발생할 수 있습니다.

아만다 애스켈 — 추가 의견

한 가지 가능한 원칙은 다음과 같습니다.

특별히 분리해야 할 타당한 이유가 없는 한, 능력 향상 연구와 정렬 연구는 여러 영역에서 서로 비례하는 수준으로 진행되어야 한다는 것입니다.

이것이 좋은 원칙일까요, 아니면 나쁜 원칙일까요?

이 댓글은 초기 앤트로픽 연구진이 안전 연구를 모델 능력 향상과 별개의 분야로 분리하는 것에 우려를 가지고 있었음을 보여줍니다.

C. AI에게 외부 도구와 코드 실행 권한을 부여하는 문제

샘 매캔들리시

제게 가장 큰 질문은 샌드박스로 격리되지 않은 도구를 어떻게 안전하게 배포할 수 있느냐는 것입니다.

다리오 아모데이

구체적으로는 배포된 시스템이 실제로 코드를 실행하는 도구를 말합니다.

2021년에도 단순한 텍스트 생성뿐 아니라, AI가 실제 환경에서 코드를 실행하는 상황의 안전성을 고민했다는 점이 중요합니다.

D. 코딩 에이전트는 어떤 기능을 갖춰야 하는가?

톰 브라운 (Tom Brown)

코드 저장소를 탐색하는 기능은 간단하면서도 가치가 높은 도구인 것 같습니다. 시작하기 좋은 기능이겠네요.

넬슨 엘하게 (Nelson Elhage)

강력하게 동의합니다.

Copilot에 기능 하나를 추가할 수 있다면, '내 프로젝트의 타입 정의를 찾아봐'라는 명령을 수행하는 기능이 아주 좋은 후보일 것 같습니다.

벤 만

특히 이전에 본 적도 없고, IDE에 불러오지도 않은 코드 저장소를 대상으로 할 때 유용하겠죠.

예를 들어 Matplotlib 같은 프로젝트 말입니다.

다리오 아모데이

맞습니다. 기본적으로는 코드 편집기입니다.

자연어 편집기를 위한 플러그인도 만들겠습니다.

우리가 코드에 더 집중하고 있다는 것은 알지만, Google Docs에서 문서를 편집하는 것과 같은 방식에도 흥미로운 안전성 연구와 응용 가능성이 있다고 생각합니다.

이를 지원하는 도구와 인프라의 상당 부분은 공통으로 활용할 수 있을 것입니다.

앤디 존스 (Andy Jones)

여기에는 약간의 긴장 관계가 있는 것 같습니다.

'최고의 프로그래머를 만들자'는 목표라면 코드 저장소 검색이 시작하기에 가장 좋은 기능입니다.

반면 '도구를 사용하는 모습을 설득력 있게 시연하자'는 목표라면 printf와 편집기 사용이 저장소 검색보다 훨씬 중요할 것입니다.

다리오 아모데이

제 생각에는 단기적으로는 후자에, 장기적으로는 전자에 우선순위를 두는 계획인 것 같습니다.

이 마지막 대화는 중요한 의미를 갖습니다. 다리오는 단기적으로 도구 사용 능력을 시연하고, 장기적으로는 뛰어난 프로그래머 수준의 AI를 만드는 전략을 제시했습니다.

E. 사회적 영향과 윤리적 AI 연구에 관한 논의

앤디 존스

다른 상위 목표 문서 어딘가에 다음과 같은 내용이 있었습니다.

'우리가 모범을 보임으로써 다른 모든 사람들이 윤리적인 머신러닝 연구를 하도록 장려한다.'

다리오가 첫 인터뷰에서 이 이야기를 했고, 저는 그것이 매우 설득력 있다고 느꼈습니다.

'머신러닝 연구를 위한 언덕 위의 도시를 건설한다'는 표현이 계속 머릿속에 남아 있습니다.

이것이 실제로 최상위 목표인지, 그리고 사회적 영향 분야의 목표로 분류해야 하는지, 아니면 회사 전체의 목표로 봐야 하는지는 잘 모르겠습니다.

'언덕 위의 도시(City on the Hill)'는 다른 사람들이 본받을 만한 이상적인 공동체나 모범을 의미하는 표현입니다.

토머스 헤닌 (Thomas Henighan)

저는 이것을 회사 전체 차원의 목표로 생각합니다.

재러드 카플란

네. 저도 일반적인 최상위 목표로 봅니다.

다리오 아모데이

이것은 제가 거의 작성을 마친 회사 비전 문서에 포함된 최상위 목표입니다.

연구 로드맵보다 한 단계 높은 수준의 목표라고 생각하면 됩니다.

벤 만

외부 평가자들에게 '정렬된(aligned)' 같은 수식어를 추가해야 하지 않을까요?

어느 정도 암시되어 있기는 하지만, 이런 외부 주체를 어떤 기준으로 선정할지 궁금합니다.

이 대목에서 연구진은 외부 연구자들에게 모델 평가를 개방하면서도, 어떤 외부 기관과 협력해야 할지 고민하고 있습니다.

원문에 나타난 이모지 반응과 참고 링크도 있었지만, 위 번역에서는 의미 있는 발언을 중심으로 정리했습니다.

3. 가장 흥미로운 내용 7가지

① 2021년부터 이미 오늘날의 AI 코딩 에이전트를 구상했다

가장 인상적인 부분입니다.

당시 앤트로픽의 목표는 단순한 챗봇을 만드는 것이 아니었습니다.

사용자와 대화하면서 코드를 작성하고, 버그를 찾고, API를 설계하고, 기존 프로젝트를 탐색하며, 사람과 협력하는 AI를 원했습니다.

특히 넬슨 엘하게가 제안한 프로젝트의 타입 정의를 스스로 찾아보는 기능은 오늘날 AI 코딩 에이전트의 핵심 기능과 매우 유사합니다.

이는 코드 생성 자체보다 기존 소프트웨어 개발 환경 안에서 자율적으로 일하는 능력을 중요하게 생각했다는 의미입니다.

② AGI 개발에 필요한 핵심 요소를 이미 구체적으로 정리했다

이 전략이 흥미로운 이유는 2021년에도 이미 단순한 사전학습만으로는 최종 목표를 달성하기 어렵다고 판단했다는 점입니다.

장기 기억, 환경 상호작용, 강화학습 등이 함께 필요하다고 예상했습니다.

③ 학습 컴퓨팅뿐 아니라 추론 시점 컴퓨팅도 연구 대상으로 삼았다

문서에는 Test-time Compute라는 표현이 등장합니다.

2021년부터 추론 과정에 사용하는 컴퓨팅 자원의 스케일링 법칙을 연구하려 했다는 뜻입니다.

이는 오늘날 추론 능력 향상을 위한 컴퓨팅 자원 활용 논의와 연결됩니다.

다만 이 문서가 특정 추론 모델의 알고리즘이나 미래의 성능 향상 폭까지 예측했다는 의미는 아닙니다.

④ 정렬 연구를 능력 향상 연구와 분리하는 데 대한 우려가 있었다

아만다 애스켈의 댓글이 중요합니다.

그는 코드 모델의 능력을 발전시키는 연구와 자연어 모델을 안전하게 만드는 연구가 별도로 진행된다면 문제가 생길 수 있다고 우려했습니다.

핵심 논리는 다음과 같습니다.

모델의 실제 능력이 발전하는 영역에서 정렬도 함께 연구해야, 정렬 기술이 얼마나 효과적인지 제대로 검증할 수 있다.

이는 안전 연구와 능력 향상 연구를 기술적으로 긴밀하게 연결해야 한다는 주장입니다.

하지만 이 주장이 안전을 희생해서 능력을 빠르게 향상시키자는 의미는 아닙니다.

⑤ 인간의 의도를 이해하기 위한 데이터로 코드 변경 이력을 주목했다

문서에서 가장 독특한 기술적 아이디어 중 하나입니다.

단순히 완성된 코드를 학습시키는 것이 아니라, 개발자가 코드를 왜 변경했는지에 대한 단서를 담은 PR, Diff, 디버깅 기록 등을 학습시키려 했습니다.

제 해석으로는 이런 데이터가 다음과 같은 관계를 학습하는 데 도움이 될 수 있습니다.

인간의 요구 → 수정 의도 → 코드 변경 → 결과

이는 단순한 코드 자동완성을 넘어 사용자의 의도에 맞춰 소프트웨어를 수정하는 에이전트를 개발하는 데 유용한 접근입니다.

⑥ 단기 목표와 장기 목표가 달랐다

다리오 아모데이의 댓글은 연구 우선순위를 명확하게 보여줍니다.

단기적으로는 도구 사용 능력을 설득력 있게 시연하고, 장기적으로는 최고 수준의 프로그래머를 만드는 데 집중하겠다는 것입니다.

여기서 흥미로운 점은 보여주기 위한 초기 시스템과 최종적으로 구현하려는 능력을 구분했다는 사실입니다.

이것은 오늘날의 제품 기능만 보고 연구소의 궁극적인 기술 목표를 판단해서는 안 된다는 점도 시사합니다.

⑦ 미래의 초거대 모델을 위해 컴퓨팅 자원과 보안을 준비하고 있었다

2021년 문서에는 이미 다음과 같은 준비가 포함되어 있었습니다.

초거대 모델의 효율적인 학습, GPU 활용률 극대화, TPU 및 Trainium 평가, 컴퓨팅 자원 확보 계약, 대규모 모델 가중치 보호 등이 그것입니다.
특히 컴퓨팅 자원 확보 계약을 연구 로드맵에 포함했다는 것은 AI 연구가 알고리즘만의 문제가 아니라 하드웨어 공급과 장기적인 인프라 확보 문제라는 사실을 일찍 인식했다는 의미입니다.