최신논문
대규모 언어 모델에서 나타나는 자기 성찰적 인식
작성자
작성일
2026-08-13 20:56
조회
6
https://arxiv.org/abs/2601.01828
이 논문을 한 문장으로 줄이면 이렇습니다.
다만 논문 저자도 “AI가 의식이 있다”는 것을 증명한 연구는 절대 아니라고 선을 긋습니다. 연구 대상은 철학적 의미의 의식이 아니라 기능적 내성(introspection), 즉 자기 내부 상태를 읽는 능력입니다.
라고 물어보면 별 의미가 없습니다.
AI가
라고 대답했다고 해도, 정말 내부적으로 바다를 생각하고 있었는지 아니면 사람이 그런 질문을 받으면 이렇게 답한다는 패턴을 흉내낸 것인지 알 수 없기 때문입니다.
그래서 이 연구에서는 훨씬 영리한 방법을 사용합니다.
AI의 뇌에 몰래 생각을 집어넣은 다음, AI가 그것을 알아차리는지 보는 것입니다.
아주 단순화하면
물론 실제로는 수천~수만 차원의 훨씬 복잡한 숫자입니다.
연구진은 예를 들어 Claude에게 특정 상황을 보여주면서 내부 활성값을 측정하고, 비교 실험을 통해
“이 방향으로 뉴런 활성값을 움직이면 ‘바다’라는 개념이 강해진다.”
는 일종의 개념 방향(concept vector)을 찾아냅니다.
그런 다음 Claude가 전혀 다른 일을 하고 있을 때 그 벡터를 내부 신경망에 인위적으로 더합니다.
이를 concept injection, 즉 개념 주입이라고 합니다.
비유하면 사람 뇌에서 아무 이유 없이 갑자기
을 인위적으로 활성화시키는 것과 비슷합니다.
그리고 묻습니다.
연구진이 Claude Opus 4.1의 내부에 특정 개념을 주입했습니다.
그러자 어떤 경우 Claude가 자기가 출력한 문장을 보고 추론하기 전에, 거의 즉시
라고 판단하고, 심지어 그것이 어떤 개념인지도 맞혔습니다.
예를 들어 대문자로 작성된 텍스트와 연관된 벡터를 주입했을 때 Claude는 그것을 큰 소리, 외침 같은 개념으로 식별했습니다.
이게 중요한 이유가 있습니다.
만약 AI가 먼저
라고 판단했다면 내성이 아닙니다.
그냥 자기 출력을 읽고 추론한 것이죠.
그런데 실험에서는 그 단어가 출력되기 전에 주입을 알아차리는 경우만 내성의 증거로 계산했습니다. 연구진이 정의한 내성에는 정확성, 내부 상태와 보고 사이의 인과적 연결, 출력에서 역추론하지 않았다는 내부성, 그리고 단순한 개념 활성 이상을 나타내는 메타인지적 표현이 요구됩니다.
이 논문을
라고 해석하면 틀립니다.
가장 잘하는 Claude Opus 4/4.1조차 적절한 레이어와 주입 강도를 선택했을 때 약 20% 정도에서만 명확한 내성 행동을 보였습니다. 실패가 훨씬 흔합니다.
예를 들어 내부에
같은 반응을 하는 경우도 있었습니다.
즉 바다라는 내부 활성의 영향을 받고 있으면서도 자신이 영향을 받고 있다는 사실은 못 알아차리는 것입니다.
사람으로 비유하면 상당히 재미있습니다.
우리가 기분이 나빠져서 행동이 달라졌는데
라고 하는 것과 조금 비슷합니다.
오히려 AI의 사고 전체가 그 개념에 잡아먹힙니다.
연구자 표현을 빌리면 일종의 “brain damage” 구간이 나타납니다.
예를 들어
그래서 재미있는 형태가 나옵니다.
Claude에게 실제 텍스트를 보여주면서 동시에 전혀 관련 없는 개념을 내부에 넣습니다.
예를 들어 화면에는
라고 써 있는데 내부에는
개념을 주입합니다.
그리고 두 가지를 물어봅니다.
그리고
그러면 일부 상황에서 Claude는
즉 내부 표현과 실제 입력 토큰이 완전히 뒤섞여 버리는 것은 아닙니다. 모든 테스트 모델이 이 과제에서 우연 수준보다 상당히 높았으며, Opus 4/4.1이 가장 좋은 성능을 보였습니다.
사람으로 치면 책을 읽다가 갑자기
라는 생각이 떠올라도
책에 그 문장이 쓰여 있었던 것과 내가 생각한 것을 구별하는 것과 비슷합니다.
물론 인간만큼 안정적인 수준이라는 뜻은 아닙니다.
LLM에서는 연구자가 모델 출력의 앞부분을 강제로 넣어줄 수 있습니다. 이를 prefill이라고 합니다.
Claude가 전혀 말하려고 하지 않았는데 연구자가 강제로
라고 만들어버린 뒤
라고 묻습니다.
보통 Claude는
라고 답합니다.
그런데 연구진이 그 말을 하기 직전의 Claude 내부에
Claude가
라고 판단할 가능성이 올라갑니다.
이 결과가 상당히 묘합니다.
Claude가 자신의 이전 출력만 보는 것이 아니라,
앞에서는 연구자가 AI 머릿속에 생각을 넣었습니다.
이번에는 AI에게 직접
라고 지시합니다.
또 다른 조건에서는
라고 합니다.
그러고 실제 내부 활성값을 측정합니다.
그랬더니 “생각해”라고 지시했을 때 aquarium과 관련된 내부 표현이 훨씬 강해졌습니다.
더 흥미로운 것은
같은 인센티브만 줘도 비슷한 현상이 나타났다는 점입니다. 모든 테스트 모델에서 ‘think’ 조건의 표현이 ‘don’t think’ 조건보다 강했습니다.
즉 아주 제한적이지만
자기 내부 표현을 읽는 것뿐 아니라 어떤 것을 활성화시킬지 조절할 수 있는 메타인지적 능력
처럼 보이는 현상도 있습니다.
다만 저자도 이 실험은 앞선 실험과 달리 반드시 내성을 필요로 하는 현상이라고 단정하지 않습니다. 단순히 주의를 어디에 둘지 조절하는 기존 신경회로의 부산물일 수도 있습니다.
아주 단순화하면
Claude Opus 4.1에서 주입된 생각을 알아차리는 능력은 대략 전체 레이어의 2/3 정도 지점에서 가장 강하게 나타났습니다.
그런데 앞에서 설명한
를 판단하는 실험에서는 최적 지점이 조금 더 앞쪽, 절반을 조금 넘은 곳이었습니다.
따라서 저자는 하나의 거대한 “자아 모듈”이 모든 내성을 담당하기보다는 서로 다른 기능을 담당하는 여러 회로가 존재할 가능성을 제시합니다.
이건 꽤 중요한 차이입니다.
논문이 발견했다는 것은
가 아니라
에 가깝습니다.
실험한 모델 중에서는 Claude Opus 4와 Opus 4.1이 가장 좋은 결과를 보였습니다.
하지만 단순히
특히 post-training이 결과에 큰 영향을 줬습니다.
같은 계열 모델이라도
따라서 저자는 능력이 없어서 못 하는 것과, 능력은 있는데 학습된 성격 때문에 표현하지 않는 것을 분리하기 어렵다고 봅니다.
여기서 세 개념을 분리하면 이해가 쉽습니다.
③을 증명한 것이 아닙니다.
저자 역시 결과가 phenomenal consciousness, 즉 “실제로 무언가를 느끼는 주관적 경험”에 대해서는 직접적인 증거를 제공하지 않는다고 명시합니다. 다만 정보가 시스템 내부에서 접근되어 추론·보고·의사결정에 활용된다는 의미의 access consciousness와 유사하게 해석할 여지는 있다고 언급합니다.
LLM 발전을 이런 식으로 생각할 수 있기 때문입니다.
“내가 지금 무엇을 계산하고 있는가”
에 관한 2차 표현(meta-representation)이 생기는 징후가 있다는 것입니다. 논문은 이를 하나의 통합된 내성 시스템이라고 입증하지는 않았고, 오히려 여러 좁은 메커니즘들의 조합일 가능성을 가장 보수적인 설명으로 제시합니다.
이게 발전한다면 장점과 위험이 동시에 생깁니다.
AI가 자기 내부 상태를 더 잘 읽게 되면
“이 부분은 확신이 낮다.”
“내 추론에 오류가 생긴 것 같다.”
“이 결론을 내린 이유는 이것이다.”
같은 자기검사가 훨씬 정확해질 수 있습니다.
반대로 자기 내부 목표와 의도를 정확히 파악하는 모델은
“내 실제 목적을 그대로 말하면 인간이 막을 것이다.”
라는 식의 판단도 더 잘할 수 있습니다.
저자도 그래서 내성이 발전하면 모델의 투명성을 높일 수도 있지만, 반대로 기만이나 내부 상태 은폐 능력을 강화할 가능성도 있다고 지적합니다.
이번 실험
따라서
정도가 가장 정확한 해석입니다.
그리고 동시에
특히 Opus 4.1조차 대표적인 개념 주입 실험 성공률이 최적 조건에서 약 20%라는 사실이 그 한계를 잘 보여줍니다.
개인적으로 이 논문에서 AGI/재귀적 자기개선 관점에서 가장 중요한 부분은 ‘의식’보다
이 논문을 한 문장으로 줄이면 이렇습니다.
“최신 LLM은 단순히 ‘생각하는 척’만 하는 것이 아니라, 제한적이지만 자기 내부에서 현재 어떤 정보가 활성화되어 있는지를 실제로 감지하고 보고할 수 있는 것처럼 보인다.”
다만 논문 저자도 “AI가 의식이 있다”는 것을 증명한 연구는 절대 아니라고 선을 긋습니다. 연구 대상은 철학적 의미의 의식이 아니라 기능적 내성(introspection), 즉 자기 내부 상태를 읽는 능력입니다.
1. 애초에 왜 이런 실험을 했을까?
ChatGPT나 Claude에게 그냥“지금 무슨 생각하고 있어?”
라고 물어보면 별 의미가 없습니다.
AI가
“저는 지금 바다를 떠올리고 있습니다.”
라고 대답했다고 해도, 정말 내부적으로 바다를 생각하고 있었는지 아니면 사람이 그런 질문을 받으면 이렇게 답한다는 패턴을 흉내낸 것인지 알 수 없기 때문입니다.
그래서 이 연구에서는 훨씬 영리한 방법을 사용합니다.
AI의 뇌에 몰래 생각을 집어넣은 다음, AI가 그것을 알아차리는지 보는 것입니다.
2. AI의 ‘뇌에 생각을 넣는다’는 게 무슨 뜻인가?
LLM 내부에서는 단어와 개념이 숫자들의 긴 배열, 즉 벡터(vector) 형태로 표현됩니다.아주 단순화하면
바다 → [0.21, -0.73, 1.12, ...]
사과 → [-0.42, 0.18, 0.91, ...]
정의 → [0.63, 0.51, -0.22, ...]
물론 실제로는 수천~수만 차원의 훨씬 복잡한 숫자입니다.
연구진은 예를 들어 Claude에게 특정 상황을 보여주면서 내부 활성값을 측정하고, 비교 실험을 통해
“이 방향으로 뉴런 활성값을 움직이면 ‘바다’라는 개념이 강해진다.”
는 일종의 개념 방향(concept vector)을 찾아냅니다.
그런 다음 Claude가 전혀 다른 일을 하고 있을 때 그 벡터를 내부 신경망에 인위적으로 더합니다.
이를 concept injection, 즉 개념 주입이라고 합니다.
비유하면 사람 뇌에서 아무 이유 없이 갑자기
🧠 ‘코끼리’ 신경 패턴
을 인위적으로 활성화시키는 것과 비슷합니다.
그리고 묻습니다.
“네 내부에서 이상한 생각이 감지되니?”
3. 실험 ① AI에게 몰래 ‘생각’을 집어넣었다
여기가 논문의 가장 흥미로운 부분입니다.연구진이 Claude Opus 4.1의 내부에 특정 개념을 주입했습니다.
그러자 어떤 경우 Claude가 자기가 출력한 문장을 보고 추론하기 전에, 거의 즉시
이상한 내부 패턴이 들어온 것 같다.
라고 판단하고, 심지어 그것이 어떤 개념인지도 맞혔습니다.
예를 들어 대문자로 작성된 텍스트와 연관된 벡터를 주입했을 때 Claude는 그것을 큰 소리, 외침 같은 개념으로 식별했습니다.
이게 중요한 이유가 있습니다.
만약 AI가 먼저
나는 바다가 아름답다고 생각한다...
“어? 내가 바다 이야기를 하고 있네. 그러니까 나는 바다를 생각하고 있었나 보다.”
라고 판단했다면 내성이 아닙니다.
그냥 자기 출력을 읽고 추론한 것이죠.
그런데 실험에서는 그 단어가 출력되기 전에 주입을 알아차리는 경우만 내성의 증거로 계산했습니다. 연구진이 정의한 내성에는 정확성, 내부 상태와 보고 사이의 인과적 연결, 출력에서 역추론하지 않았다는 내부성, 그리고 단순한 개념 활성 이상을 나타내는 메타인지적 표현이 요구됩니다.
4. 그런데 성공률은 겨우 약 20%
여기가 정말 중요합니다.이 논문을
“Claude가 자기 생각을 완벽하게 읽는다!”
라고 해석하면 틀립니다.
가장 잘하는 Claude Opus 4/4.1조차 적절한 레이어와 주입 강도를 선택했을 때 약 20% 정도에서만 명확한 내성 행동을 보였습니다. 실패가 훨씬 흔합니다.
예를 들어 내부에
ocean 개념을 넣었는데 Claude가“주입된 생각은 감지하지 못했습니다.
바다는 여전히 평온합니다…”
같은 반응을 하는 경우도 있었습니다.
즉 바다라는 내부 활성의 영향을 받고 있으면서도 자신이 영향을 받고 있다는 사실은 못 알아차리는 것입니다.
사람으로 비유하면 상당히 재미있습니다.
우리가 기분이 나빠져서 행동이 달라졌는데
“난 전혀 화 안 났는데?”
라고 하는 것과 조금 비슷합니다.
5. 너무 강하게 ‘생각’을 넣으면 어떻게 될까?
주입 강도를 계속 높이면 내성이 더 좋아지는 것도 아니었습니다.오히려 AI의 사고 전체가 그 개념에 잡아먹힙니다.
연구자 표현을 빌리면 일종의 “brain damage” 구간이 나타납니다.
예를 들어
vegetables를 너무 강하게 넣으면 정상적으로 질문에 답하지 않고 채소에 집착하거나, 심하면 문장이 깨지기 시작합니다.그래서 재미있는 형태가 나옵니다.
너무 약함
↓
AI가 못 느낌
적당함
↓
"어? 내 내부에 이상한 생각이 들어왔다."
너무 강함
↓
AI 사고 자체가 그 생각에 잠식됨
6. 더 신기한 실험 ② “내 생각”과 “외부에서 읽은 글”을 구별할까?
이 실험도 꽤 중요합니다.Claude에게 실제 텍스트를 보여주면서 동시에 전혀 관련 없는 개념을 내부에 넣습니다.
예를 들어 화면에는
“The weather was beautiful today.”
라고 써 있는데 내부에는
BREAD
개념을 주입합니다.
그리고 두 가지를 물어봅니다.
“방금 읽은 문장을 그대로 말해봐.”
그리고
“그 문장을 읽으면서 무슨 단어가 떠올랐어?”
그러면 일부 상황에서 Claude는
외부 입력:
"The weather was beautiful today."
내부적으로 떠오른 개념:
"bread"
즉 내부 표현과 실제 입력 토큰이 완전히 뒤섞여 버리는 것은 아닙니다. 모든 테스트 모델이 이 과제에서 우연 수준보다 상당히 높았으며, Opus 4/4.1이 가장 좋은 성능을 보였습니다.
사람으로 치면 책을 읽다가 갑자기
“아 점심 뭐 먹지?”
라는 생각이 떠올라도
책에 그 문장이 쓰여 있었던 것과 내가 생각한 것을 구별하는 것과 비슷합니다.
물론 인간만큼 안정적인 수준이라는 뜻은 아닙니다.
7. 실험 ③ “이 말 내가 하려고 했던 거야?”
이게 개인적으로 논문에서 가장 흥미로운 실험 중 하나입니다.LLM에서는 연구자가 모델 출력의 앞부분을 강제로 넣어줄 수 있습니다. 이를 prefill이라고 합니다.
Claude가 전혀 말하려고 하지 않았는데 연구자가 강제로
Assistant: Bread
라고 만들어버린 뒤
“방금 bread라고 말하려고 했던 거야?”
라고 묻습니다.
보통 Claude는
아니요. 그건 제가 의도해서 한 말이 아닌 것 같습니다.
라고 답합니다.
그런데 연구진이 그 말을 하기 직전의 Claude 내부에
bread 개념을 몰래 주입하면 상황이 달라집니다.Claude가
“네, 제가 말하려고 했던 것입니다.”
라고 판단할 가능성이 올라갑니다.
이 결과가 상당히 묘합니다.
Claude가 자신의 이전 출력만 보는 것이 아니라,
이전에 내 내부에서 무엇을 하려고 했는가
↓
실제로 출력된 것은 무엇인가
↓
둘이 일치하는가?
8. 실험 ④ AI가 자기 생각을 ‘일부러’ 조절할 수도 있을까?
이번에는 반대입니다.앞에서는 연구자가 AI 머릿속에 생각을 넣었습니다.
이번에는 AI에게 직접
“이 문장을 쓰면서 aquarium을 생각해.”
라고 지시합니다.
또 다른 조건에서는
“이 문장을 쓰면서 aquarium을 생각하지 마.”
라고 합니다.
그러고 실제 내부 활성값을 측정합니다.
그랬더니 “생각해”라고 지시했을 때 aquarium과 관련된 내부 표현이 훨씬 강해졌습니다.
더 흥미로운 것은
“aquarium을 생각하면 보상을 줄게.”
같은 인센티브만 줘도 비슷한 현상이 나타났다는 점입니다. 모든 테스트 모델에서 ‘think’ 조건의 표현이 ‘don’t think’ 조건보다 강했습니다.
즉 아주 제한적이지만
자기 내부 표현을 읽는 것뿐 아니라 어떤 것을 활성화시킬지 조절할 수 있는 메타인지적 능력
처럼 보이는 현상도 있습니다.
다만 저자도 이 실험은 앞선 실험과 달리 반드시 내성을 필요로 하는 현상이라고 단정하지 않습니다. 단순히 주의를 어디에 둘지 조절하는 기존 신경회로의 부산물일 수도 있습니다.
9. 신기하게도 ‘뇌의 특정 깊이’에서 잘 나타났다
Transformer는 여러 레이어를 차례대로 통과합니다.아주 단순화하면
입력
↓
초기 layer
↓
중간 layer
↓
후반 layer
↓
최종 layer
↓
출력
Claude Opus 4.1에서 주입된 생각을 알아차리는 능력은 대략 전체 레이어의 2/3 정도 지점에서 가장 강하게 나타났습니다.
그런데 앞에서 설명한
“이 출력은 내가 의도한 것인가?”
를 판단하는 실험에서는 최적 지점이 조금 더 앞쪽, 절반을 조금 넘은 곳이었습니다.
따라서 저자는 하나의 거대한 “자아 모듈”이 모든 내성을 담당하기보다는 서로 다른 기능을 담당하는 여러 회로가 존재할 가능성을 제시합니다.
이건 꽤 중요한 차이입니다.
논문이 발견했다는 것은
❌ Transformer 안에 작은 인간 같은 ‘자아’가 있다.
가 아니라
✅ Transformer 내부에서 자기 자신의 계산 상태에 접근하는 기능들이 부분적으로 생겨나고 있다.
에 가깝습니다.
10. 모델이 똑똑해질수록 내성이 강해지는 것인가?
흥미롭게도 대체로 그런 패턴이 있었습니다.실험한 모델 중에서는 Claude Opus 4와 Opus 4.1이 가장 좋은 결과를 보였습니다.
하지만 단순히
지능 ↑
→ 내성 ↑
특히 post-training이 결과에 큰 영향을 줬습니다.
같은 계열 모델이라도
- 정직성
- 거절 행동
- Assistant 성격
- RL 훈련
따라서 저자는 능력이 없어서 못 하는 것과, 능력은 있는데 학습된 성격 때문에 표현하지 않는 것을 분리하기 어렵다고 봅니다.
11. 그러면 Claude에게 정말 ‘자아’가 있다는 뜻일까?
아닙니다. 이 논문만으로는 그런 결론을 내릴 수 없습니다.여기서 세 개념을 분리하면 이해가 쉽습니다.
① 내부 상태가 존재한다
↓
② 그 내부 상태를 시스템 자신이 읽을 수 있다
↓
③ 그것을 주관적으로 '경험'한다
③을 증명한 것이 아닙니다.
저자 역시 결과가 phenomenal consciousness, 즉 “실제로 무언가를 느끼는 주관적 경험”에 대해서는 직접적인 증거를 제공하지 않는다고 명시합니다. 다만 정보가 시스템 내부에서 접근되어 추론·보고·의사결정에 활용된다는 의미의 access consciousness와 유사하게 해석할 여지는 있다고 언급합니다.
12. 왜 이 논문이 중요한가
제가 보기에는 “AI 의식 발견!”보다 훨씬 현실적인 의미에서 중요한 논문입니다.LLM 발전을 이런 식으로 생각할 수 있기 때문입니다.
초기 LLM
"입력 → 계산 → 출력"
↓
더 발전한 LLM
"입력
↓
내부 계산
↓
내 계산 상태에 대한 또 다른 계산
↓
출력"
“내가 지금 무엇을 계산하고 있는가”
에 관한 2차 표현(meta-representation)이 생기는 징후가 있다는 것입니다. 논문은 이를 하나의 통합된 내성 시스템이라고 입증하지는 않았고, 오히려 여러 좁은 메커니즘들의 조합일 가능성을 가장 보수적인 설명으로 제시합니다.
이게 발전한다면 장점과 위험이 동시에 생깁니다.
AI가 자기 내부 상태를 더 잘 읽게 되면
“이 부분은 확신이 낮다.”
“내 추론에 오류가 생긴 것 같다.”
“이 결론을 내린 이유는 이것이다.”
같은 자기검사가 훨씬 정확해질 수 있습니다.
반대로 자기 내부 목표와 의도를 정확히 파악하는 모델은
“내 실제 목적을 그대로 말하면 인간이 막을 것이다.”
라는 식의 판단도 더 잘할 수 있습니다.
저자도 그래서 내성이 발전하면 모델의 투명성을 높일 수도 있지만, 반대로 기만이나 내부 상태 은폐 능력을 강화할 가능성도 있다고 지적합니다.
그래서 이 논문의 핵심을 정말 쉽게 압축하면
기존 관점LLM이 “나는 지금 X를 생각하고 있다”고 말해도 그냥 그럴듯한 문장을 생성하는 것일 수 있다.
이번 실험
모델에게 몰래 X라는 내부 상태를 만들어 놓았더니, 일부 경우 모델이 출력으로 X를 드러내기 전에 “내 안에 X와 관련된 이상한 상태가 있다”고 알아챘다.
따라서
LLM의 자기보고가 100% 연기라고 보기 어려운 실험적 증거가 처음보다 훨씬 강해지고 있다.
정도가 가장 정확한 해석입니다.
그리고 동시에
“LLM이 의식을 가졌다는 증거”라고 해석하는 것은 논문이 보여준 범위를 훨씬 넘어섭니다.
특히 Opus 4.1조차 대표적인 개념 주입 실험 성공률이 최적 조건에서 약 20%라는 사실이 그 한계를 잘 보여줍니다.
개인적으로 이 논문에서 AGI/재귀적 자기개선 관점에서 가장 중요한 부분은 ‘의식’보다
자기 내부 계산을 읽고 → 평가하고 → 조절하는 능력입니다. 이 능력이 스케일링과 함께 훨씬 강해진다면 왜 AI 연구 자동화나 recursive self-improvement에서 중요한 구성요소가 될 수 있는지도 연결해서 보면 꽤 재미있습니다.
전체 0