Q1. 최근 로봇 연구에서 나타난 가장 큰 기술적 변화는 무엇인가요?

• 기존 로봇 연구는 특정 작업을 반복 학습하거나 강화학습을 활용해 단순한 행동(블록 쌓기 등)을 익히는 수준이었습니다.
• 최근 Google DeepMind는 Gemini Robotics를 발표했는데, 이는 언어모델(LLM), 비전모델(VLM), 행동모델을 통합하여 로봇이 복잡한 상황을 개념적으로 이해하고 물리적으로 행동하는 수준으로 발전한 사례입니다.
• 특히, 로봇이 한 번도 본 적 없는 농구골대와 공을 이용해 “슬램덩크”를 요청받았을 때, 개념적으로 이해하고 즉시 행동에 옮기는 장면이 매우 인상적이었습니다.

Q2. Gemini Robotics의 핵심 기술은 구체적으로 무엇인가요?

• Gemini Robotics는 멀티모달(multimodal) 모델을 활용합니다.
• 여기서 ‘멀티모달’이란, 로봇이 인간의 언어, 영상 입력, 행동 지시 등을 동시에 이해할 수 있다는 뜻입니다.
• 로봇은 환경의 변화를 실시간으로 파악하고, 이전에 학습한 적이 없는 새로운 작업을 개념적 추론을 통해 수행할 수 있습니다. (예: 점심 도시락을 스스로 포장하기)

Q3. 로봇이 ‘추론’과 ‘빠른 행동’을 동시에 수행하는 방식은 어떻게 구성되어 있나요?

• 로봇은 두 가지 시스템을 결합해 작동합니다:
  
  1. 느린 시스템 (System 2): 서버에서 실행되며 개념적이고 복잡한 추론을 담당합니다. 이는 로봇에게 전체적인 목표, 개념적 이해를 제공합니다.
  2. 빠른 시스템 (System 1): 로봇 내부에서 실시간으로 작동하여 즉각적인 움직임 조정을 수행합니다. 빠른 변화에 즉시 반응하여, 물리적 조작을 정확히 수행합니다.
• 예를 들어 농구 슬램덩크 지시를 받으면, 서버 시스템에서 이를 개념적으로 이해한 후, 로봇 내부의 빠른 시스템이 손의 움직임을 세부적으로 조정하여 정확하게 공을 넣습니다.

Q4. 로봇의 손재주(dexterity)가 최근 급격히 향상된 이유는 무엇인가요?

• 연구자들이 **인간의 움직임을 직접 로봇 팔로 조작(퍼펫팅)**하거나, VR 장갑을 착용하고 로봇의 시야에서 직접 시연하는 방식을 도입했습니다.
• 이 데이터를 대량으로 확보한 후, AI의 최신 아키텍처인 **확산 모델(diffusion models)**과 트랜스포머(transformer)를 활용해 로봇이 복잡한 동작을 학습했습니다.
• 이를 통해 로봇은 복잡한 작업(신발 끈 묶기, 종이접기, 세탁물 접기 등)을 효과적으로 배우게 되었습니다.

Q5. 로봇이 새로운 행동을 배우기 위해 얼마나 많은 데이터가 필요한가요?

• 작업의 난이도에 따라 데이터량이 다릅니다.
  
  • 간단한 행동(단순 물건 옮기기 등)은 약 100회 시연으로 충분합니다.
  • 복잡한 행동(종이접기, 세밀한 작업 등)은 약 1,000회 시연이 필요합니다.
• 연구팀은 데이터 요구량을 계속해서 줄이고 있으며, 궁극적으로 로봇이 영상 시청만으로도 학습할 수 있게 하는 것을 목표로 하고 있습니다.

Q6. 연구실 환경에서 로봇이 현실 세계로 진입할 때의 주요 과제는 무엇인가요?

• 로봇은 연구실과 달리 현실에서 예측 불가능한 상황을 많이 만나기 때문에, 현장에서 직접 학습하는 능력이 필수적입니다.
• 또한, 현실에서는 인터넷 연결이 없거나 지연이 클 수 있으므로, 장치 내(on-device)에서 독립적으로 판단하고 행동하는 능력이 매우 중요합니다.

Q7. 로봇 기술의 발전에도 불구하고 여전히 어려운 문제는 무엇인가요?

• 로봇은 아직 복잡한 사회적 상호작용을 이해하거나 반응하기 어렵습니다. 예를 들어 파티에서 사람들 간의 미묘한 사회적 신호(표정, 몸짓, 눈치 등)를 읽고 행동하는 것은 여전히 큰 도전 과제입니다.
• 연구팀은 이런 사회적·정서적 지능을 높이는 것을 장기 목표로 삼고 있습니다.

Q8. 로봇의 안전성 문제는 어떻게 해결하고 있나요?

• 로봇의 물리적 안전과 관련해, DeepMind는 아시모프 데이터셋을 개발했습니다. 이 데이터셋은 실제 사고 사례를 바탕으로 로봇이 위험 상황을 인지하고 적절히 대응하도록 합니다.
• 또한 소프트웨어 보안 역시 다층적으로 설계해 해킹 등의 위협을 방지합니다.

Q9. 기존의 강화학습 접근법은 이제 사용되지 않나요?

• 아닙니다. 강화학습은 여전히 사용되고 있으며, 특히 로봇의 보행 제어, 몸 전체 제어 등에서는 매우 효과적으로 활용됩니다.
• 강화학습은 대부분 시뮬레이션에서 학습을 진행하며, 이를 현실에 옮겨오는 sim-to-real(시뮬레이션→현실) 방식을 주로 사용합니다.
• 하지만 천, 물과 같은 복잡한 재질은 여전히 시뮬레이션보다는 현실에서의 직접 실험이 더 효과적입니다.

Q10. 로봇 기술이 현실에 널리 퍼질 시기는 언제로 예상하고 있나요?

• 과거엔 로봇 기술이 일상생활에 진입할 수 있을지조차 불분명했지만, 최근 AI 발전을 통해 연구진은 이제 5~10년 내 실생활 로봇이 일반화될 수 있다고 보고 있습니다.
• 특히 앞으로 2년 동안 로봇 기술이 급격히 발전하며, 인간 세계를 직접적으로 이해하고 협력하는 로봇의 ‘폭발적 성장’을 기대합니다.