인터뷰/예측
제프딘 스탠포드 AI 클럽 인터뷰
작성자
작성일
2025-11-25 21:02
조회
502
제프 딘(Jeff Dean) - AI 주요 트렌드 강연 요약
Q1. 제프 딘은 누구인가요?
1999년 구글의 30번째 직원으로 입사해 MapReduce, BigTable, Spanner 등 현대 인터넷의 핵심 인프라를 구축했습니다. 2011년 Google Brain을 설립하고 TensorFlow를 개발했으며, 현재는 Google DeepMind와 Google Research의 수석 과학자로서 Gemini 팀을 이끌고 있습니다.Q2. 신경망에 대한 관심은 언제부터 시작됐나요?
1990년 대학 졸업 논문으로 신경망 병렬 훈련을 연구했습니다. 32개 프로세서 머신으로 데이터 병렬과 모델 병렬 훈련을 구현했는데, 결과적으로 "완전히 틀렸다"고 회고합니다. 실제로는 32배가 아니라 100만 배의 연산 능력이 필요했기 때문입니다. 하지만 이 경험이 나중에 큰 도움이 됐습니다.Q3. Google Brain은 어떻게 시작됐나요?
2012년 구글 사내 휴게실에서 앤드류 응(Andrew Ng)을 우연히 만났습니다. 앤드류가 스탠포드 학생들이 신경망으로 음성 인식에서 좋은 결과를 얻고 있다고 말하자, 제프 딘이 "정말 큰 신경망을 훈련시켜보자"고 제안했고, 이것이 Google Brain 프로젝트의 시작이 됐습니다.당시 구글 데이터센터에는 GPU가 없어서 CPU만으로 DistBelief라는 시스템을 만들었는데, 사람들이 작동할 리 없다고 믿지 않아서 이런 이름을 붙였습니다. 이 시스템으로 2012년 당시 세계 최대 규모(50~100배)의 신경망을 훈련시킬 수 있었습니다.
Q4. 유명한 "고양이 논문"이란 무엇인가요?
유튜브 영상에서 무작위로 추출한 1,000만 개 프레임을 라벨 없이 비지도 학습시켰습니다. 놀랍게도 모델 상위층에 "고양이"에 강하게 반응하는 뉴런이 자연스럽게 형성됐습니다. 고양이가 뭔지 전혀 가르치지 않았는데도 스스로 고양이 개념을 학습한 것입니다. 인간 얼굴이나 보행자 뒷모습에 반응하는 뉴런도 생겼습니다.Q5. Word2Vec의 핵심 발견은 무엇인가요?
단어를 고차원 벡터로 표현하면 의미 있는 방향성이 나타납니다. 예를 들어 "King - Man + Woman = Queen" 같은 연산이 가능해집니다. 동사의 시제 변화, 성별 변화 등도 벡터 공간에서 일정한 방향으로 표현됩니다.Q6. TPU는 왜 개발하게 됐나요?
고품질 음성인식 모델을 만들었는데, 1억 명이 하루 3분씩 사용한다고 가정하면 구글 전체 서버를 두 배로 늘려야 할 정도였습니다. 이 문제를 해결하기 위해 신경망 연산에 특화된 하드웨어를 설계했습니다.신경망은 저정밀도 연산에 매우 관대하고, 대부분 행렬 곱셈 같은 선형대수 연산입니다. 이 특성을 활용해 2015년 TPUv1을 출시했고, CPU/GPU 대비 15~30배 빠르고 30~80배 에너지 효율적이었습니다. 이 논문은 ISCA 50년 역사상 가장 많이 인용된 논문이 됐습니다.
최신 Ironwood TPU는 TPUv2 대비 3,600배 성능 향상, 30배 에너지 효율 개선을 달성했습니다.
Q7. Transformer의 핵심 혁신은 무엇인가요?
2017년 "Attention is All You Need" 논문의 핵심 통찰은 이렇습니다. LSTM은 단어를 처리할 때마다 내부 상태를 업데이트하며 순차적으로 진행하는데, Transformer는 모든 과거 상태를 저장해두고 필요할 때 참조(attention)합니다.결과적으로 10~100배 적은 연산량으로 같은 정확도를 달성하고, 10배 적은 파라미터로 같은 손실값에 도달할 수 있었습니다.
Q8. 희소 모델(Sparse Model)이 중요한 이유는?
일반 신경망은 모든 예측에 전체 모델이 활성화됩니다. 이건 매우 낭비적입니다. 희소 모델은 거대한 모델의 1~5%만 활성화해서 예측합니다. 마치 필요한 전문가만 호출하는 것과 같습니다. 같은 정확도를 8배 적은 연산으로 달성할 수 있고, 현재 Gemini 모델도 희소 모델입니다.Q9. Chain-of-Thought 프롬프팅이란?
모델에게 답만 요구하는 대신 풀이 과정을 보여주면 성능이 크게 향상됩니다. 모델이 토큰을 생성할 때마다 더 많은 연산을 수행하게 되고, 단계별로 추론할 수 있기 때문입니다. 2022년 당시 GSM8K(중학교 수학) 벤치마크에서 큰 정확도 향상을 보였습니다.Q10. 지식 증류(Distillation)는 어떻게 작동하나요?
제프 딘이 제프리 힌튼, 오리올 비뇰스와 함께 개발한 기법입니다. 큰 모델(교사)이 "violin일 확률 70%, piano 20%, trumpet 8%..."처럼 확률 분포를 제공하면, 작은 모델(학생)이 이 풍부한 정보로 훨씬 빠르게 학습합니다.실험 결과, 훈련 데이터 3%만 사용해도 증류를 활용하면 100% 데이터로 훈련한 것과 거의 같은 성능(57% vs 58.9%)을 달성했습니다.
Q11. 강화학습(RL)이 후훈련에서 중요한 이유는?
자기지도학습 후 모델의 행동을 조정하는 데 강화학습을 사용합니다.- RLHF: 인간이 "좋은 답변/나쁜 답변"을 평가
- RLMF: 다른 모델(보상 모델)이 평가
- 검증 가능한 도메인의 RL: 수학 증명은 증명 검증기로, 코드는 컴파일 및 테스트 통과 여부로 자동 검증
Q12. Gemini 모델의 수학 능력은 어느 정도인가요?
2022년에는 "존이 토끼 4마리를 가졌고 2마리를 더 받았다"는 초등 수학 문제에서 15% 정확도였습니다.2025년 국제수학올림피아드(IMO)에서 Gemini 2.5 Pro 변형 모델이 6문제 중 5문제를 맞춰 금메달 수준을 달성했습니다. IMO 의장이 모델 풀이의 우아함을 칭찬할 정도였습니다.
Q13. Gemini 3.0의 주요 특징은?
- LM Arena 1위 달성 (사용자가 익명의 두 모델 응답을 비교 평가하는 방식)
- 웹 개발 코딩 능력 대폭 향상
- 이미지 추론: 물리 시뮬레이션 문제를 중간 이미지를 생성하며 단계별로 해결
- 멀티모달 입출력: 텍스트, 이미지, 오디오, 비디오 모두 처리
- 대규모 컨텍스트 길이 지원
Q14. AI의 미래에 대한 제프 딘의 견해는?
긍정적 측면: 의료, 교육, 과학 연구에서 혁신적 발전이 가능합니다. 코딩을 배우지 않은 사람도 자신의 비전을 구현할 수 있게 됩니다. 깊은 전문 지식이 더 많은 사람에게 접근 가능해집니다.우려 사항: 허위정보(misinformation)가 주요 걱정거리입니다. 존 헤네시, 데이비드 패터슨과 함께 의료, 교육, 연구의 혜택을 극대화하면서 부작용을 최소화하는 방법을 연구한 논문을 발표했습니다.
결론: "AI 지원 미래는 밝지만, 잠재적 단점에 대해서도 완전히 무지한 것은 아니다."
전체 0