https://generalistai.com/blog/gen-1.5



 

GEN-1이 “배운 작업을 안정적으로 잘 수행하는 로봇”에 가까웠다면, GEN-1.5는 “처음 보는 작업도 몇 초짜리 시범을 보고 따라 하는 로봇” 쪽으로 크게 이동했습니다. Generalist는 이를 로봇 분야에서 일종의 one-shot / in-context learning의 출현으로 보고 있습니다.

가장 중요한 개선점

1. 한 번 보여주면 새 작업을 바로 따라 할 수 있음

GEN-1.5에게 사람이 3~12초 정도 작업하는 모습을 한 번 보여주면, 모델의 가중치를 업데이트하거나 파인튜닝하지 않고 곧바로 그 작업을 수행할 수 있습니다. Generalist는 이것을 “Physical Prompting(물리적 프롬프팅)”이라고 부릅니다.

예를 들어 사람이 지퍼를 여는 모습을 한 번 보여주면 로봇이 지퍼를 열고, 병뚜껑을 돌려 여는 모습을 보여주면 그대로 시도합니다. 다양한 10개 작업에서 단 한 번의 시범 + 학습 0회 조건으로 평균 성공률이 약 59%였습니다. 아직 높은 성공률은 아니지만, 핵심은 처음 보는 작업을 별도 훈련 없이 수행했다는 점입니다.

이걸 LLM으로 비유하면:

GEN-1: “이 문제 유형을 따로 훈련시킨 다음 잘 풂”
GEN-1.5: “예제를 하나 보여주면 ‘아, 이런 문제구나’ 하고 바로 풂”

이라고 이해하면 됩니다.

---

GEN-1 → GEN-1.5의 차이는 꽤 큽니다

기능	GEN-1	GEN-1.5
핵심 목표	훈련된 작업의 숙련도	새 작업의 즉석 학습
새 작업 데이터	약 1시간 수준	3~12초 시범도 가능
새 작업 학습	파인튜닝 필요	0 gradient step 가능
few-shot 학습	데이터 효율 개선	5분 데이터 + 10 step
물리적 프롬프트	제한적	본격적으로 가능
작업 조합	제한적	서로 다른 시범을 결합
Simulation → 현실	별도 학습 문제	시뮬레이션 시범만 보고 현실 수행 가능
인간 → 로봇 모방	제한적	사람 손 동작을 직접 보고 모방 가능
도구 일반화	초기 improvisation	본 적 없는 도구로 해결책 생성

GEN-1은 특정 작업에 약 1시간의 로봇 데이터를 사용한 뒤 평균 성공률을 GEN-0의 64%에서 99% 수준까지 끌어올리고, 일부 작업에서는 기존보다 약 3배 빠르게 수행하는 것이 핵심 성과였습니다. GEN-1.5는 그 방향에서 한 단계 더 나아가 “그 1시간의 작업별 훈련 자체를 얼마나 없앨 수 있느냐”로 초점을 옮겼다고 볼 수 있습니다. (Generalist AI)

그래서 GEN-1의 **99%**와 GEN-1.5의 **59%**를 단순 비교해서 “성능이 떨어졌다”고 보면 안 됩니다. GEN-1의 99%는 작업별 추가 학습을 거친 결과이고, GEN-1.5의 59%는 3~12초짜리 예시 하나를 context에 넣었을 뿐 모델을 전혀 훈련하지 않은 상태의 성능입니다. (Generalist AI)

두 번째로 인상적인 부분: 작업을 조립해서 수행함

GEN-1.5에게 서로 독립적인 두 동작을 따로 보여준 뒤 두 시범을 context에 같이 넣으면, 모델이 그것을 하나의 연속된 작업으로 연결할 수 있습니다. (Generalist AI)

예를 들어

A: 필통 지퍼를 연다
B: 필통에서 돈을 꺼낸다

라는 두 개의 별도 시범을 보여주면,

지퍼 열기 → 손 위치 변경 → 물건 다시 잡기 → 돈 꺼내기

라는 연결 과정까지 스스로 만들어냅니다. 시범에는 없었던 중간 동작, 재파지(regrasp), 오류 수정 등을 모델이 생성하기도 합니다. (Generalist AI)

이게 상당히 중요한 이유는 미래에는 로봇에게 복잡한 작업 하나를 처음부터 끝까지 수십 번 가르치는 대신,

“집기 + 열기 + 붓기 + 닫기 + 옮기기”

같은 작은 행동들을 physical prompt 라이브러리로 만들어 조립하는 방식이 가능할 수 있기 때문입니다. Generalist도 이를 언어 모델에서 여러 지시를 prompt로 조합하는 것의 물리 세계 버전에 가깝게 설명합니다. (Generalist AI)

시뮬레이션에서 보여준 행동을 현실 로봇이 바로 따라함

이것도 꽤 흥미롭습니다.

GEN-1.5는 시뮬레이터에서 만든 시범 영상을 physical prompt로 넣고 현실 로봇에서 같은 작업을 실행할 수 있었습니다. 더 놀라운 점은 Generalist에 따르면 GEN-1.5의 사전학습 데이터에는 시뮬레이션 데이터 자체가 포함되어 있지 않았다는 것입니다. (Generalist AI)

즉,

Simulation
→ “이렇게 움직여”

→ GEN-1.5가 행동 의미를 이해

→ Real robot
→ 현실의 크기·위치·손 모양 차이를 감안해서 실행

이라는 형태입니다. (Generalist AI)

이 방향이 계속 발전하면 실제 로봇으로 위험하고 비싼 데이터를 일일이 모으는 대신, 시뮬레이션에서 대량으로 행동 예제를 만든 뒤 현실 로봇에 가르치는 방법의 활용성이 커질 수 있습니다. 이 부분은 아직 초기 결과이므로 범용적으로 해결됐다고 보기는 어렵습니다. (Generalist AI)

사람 손을 보고 로봇 손으로 바꿔서 따라 하기도 함

GEN-1.5에는 Human-to-Robot in-context learning도 나타났습니다.

사람이 로봇 카메라 앞에서 자기 손으로 작업을 보여주면, 일부 작업에서는 GEN-1.5가 사람 손과 로봇 손의 구조 차이를 넘어 행동의 목적을 추론해 로봇 팔로 재현했습니다. (Generalist AI)

이게 발전하면 지금처럼 전문 텔레오퍼레이션 장비를 써서 로봇 팔을 조종하며 데이터를 수집하는 것보다 훨씬 자연스럽게,

사람: “봐, 이렇게 하는 거야.”
로봇: “아 이렇게 하면 되는구나.”

식의 학습이 가능해질 수 있다는 얘기입니다.

파인튜닝 자체도 엄청나게 가벼워짐

즉석 one-shot만 개선된 것이 아닙니다.

GEN-1.5는 약 1~5분의 데이터만으로도 1~10번의 gradient step으로 새로운 작업에 적응했습니다. 5분 정도의 데이터와 약 50개 시범을 이용해 10번 gradient update를 했을 때 10개 작업 평균 성공률이 약 **83%**였습니다. (Generalist AI)

극단적으로는 1분 데이터 + gradient step 1회에서도 테스트 작업 성공률이 약 **66.5%**였습니다. Generalist에 따르면 10번 업데이트한 뒤에도 모델의 가중치 변화량은 0.15% 미만이어서, 완전히 새로운 능력을 학습한다기보다 사전학습 과정에서 이미 배운 물리 지식을 약간 조정하는 것에 가깝다는 해석을 제시합니다. (Generalist AI)

이게 LLM의 거대 사전학습과 상당히 비슷한 패턴입니다.

과거 로봇: 새 작업 → 새로 많이 훈련
GEN-1: 강력한 기반 모델 → 적은 데이터로 훈련
GEN-1.5: 강력한 기반 모델 → 몇 초 보여주는 것만으로도 동작

이라는 흐름입니다.

그리고 ‘응용력’이 훨씬 강해졌습니다

GEN-1에서도 예상치 못한 상황에서 작업을 복구하는 improvisation이 나타났는데, GEN-1.5에서는 이 현상이 더 자주, 더 복잡하게 나타났다고 Generalist는 설명합니다. (Generalist AI)

예를 들어 솔로 블록을 그릇 안으로 밀어 넣는 작업만 가르쳤는데 다른 도구를 주자, 모델이 바나나를 임시 솔처럼 사용했습니다. 더 흥미롭게도 쓰레받기를 주었을 때는 솔처럼 미는 대신 쓰레받기로 블록을 떠서 그릇에 부어 넣는 완전히 다른 전략을 만들어냈습니다. (Generalist AI)

또 그릇 위에 종이가 덮여 있으면 종이를 치우고 블록을 넣거나, 손가락에 레고가 끼면 반대손으로 제거하거나, 한 손으로만 병뚜껑을 여는 데이터를 배웠는데 상황에 따라 두 손을 사용하는 행동도 관찰됐습니다. (Generalist AI)

여기서 중요한 건 trajectory를 외운 것이 아니라 목표에 도달하는 방법을 어느 정도 추상화했다는 정황이 있다는 것입니다.

---

그래서 이번 발표의 진짜 의미

저는 이 발표에서 숫자보다도 학습 방식이 바뀌었다는 점이 가장 중요하다고 봅니다.

GEN-0이
“로봇에도 scaling law가 존재한다”

를 보여줬다면,

GEN-1은
“크게 사전학습시키면 간단한 작업을 99% 수준까지 숙련시킬 수 있다”

를 보여줬고, GEN-1.5는

“더 크게 사전학습시키니까 새로운 물리 작업을 context 안에서 배워버리는 현상이 나타난다”

를 보여주고 있습니다. Generalist는 GEN-1.5를 8개월 이상 지속적으로 사전학습했으며, 데이터와 컴퓨트를 늘릴수록 새 작업 적응이 더 데이터·컴퓨트 효율적으로 변했다고 보고합니다. (Generalist AI)

그래서 이 회사가 이번 결과를 로봇의 GPT-3식 순간에 가까운 것으로 보는 이유도 이해할 수 있습니다. GPT-3의 중요한 변화가 단순한 벤치마크 상승뿐 아니라 “예시 몇 개를 prompt에 주었더니 학습하지 않고 새로운 작업을 수행한다”는 in-context learning이었다면, GEN-1.5에서는 그와 비슷한 현상이 텍스트가 아니라 물리적 행동에서 나타나기 시작했다는 주장입니다. 다만 이는 Generalist 측의 해석이며, 현재 GEN-1.5의 작업은 회사도 인정하듯 **단순하고 짧은 short-horizon 작업이고 one-shot 성공률도 평균 59%**이므로 아직 “범용 가정용 로봇” 단계와는 거리가 있습니다. (Generalist AI)

한 문장으로 압축하면:

GEN-1이 “훈련시키면 굉장히 잘하는 로봇”이었다면, GEN-1.5는 “한 번 보여주면 대충 알아듣고, 응용까지 하기 시작한 로봇”입니다.

이게 계속 스케일링된다면 로보틱스에서 상당히 큰 변화입니다. 기존의 작업마다 데이터 수집 → 파인튜닝 → 배포 패러다임이, 장기적으로는 사전학습된 범용 로봇 + 말이나 시범으로 즉석 지시하는 패러다임으로 바뀔 가능성을 보여준 결과라고 볼 수 있습니다. (Generalist AI)