뉴스/정보
OpenAI 자체 AI 추론칩 ‘Jalapeño’ 첫 성능 공개… 엔비디아 대비 전력 효율·지연시간 크게 개선
작성자
작성일
2026-08-26 19:08
조회
4
https://openai.com/index/jalapeno-first-results/
OpenAI가 자체 개발한 첫 AI 추론칩 ‘Jalapeño’의 초기 벤치마크 결과를 공개했다.
핵심은 같은 전력으로 더 많은 AI 추론을 처리하면서도 응답 속도까지 크게 높였다는 것이다. 일반적으로 AI 가속기는 처리량을 높이면 응답 지연시간이 늘어나는 경우가 있는데, Jalapeño는 두 가지를 동시에 개선하는 것을 목표로 설계됐다.
OpenAI가 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 등 대형 모델을 테스트한 결과,
특히 기존 엔비디아 GB200·GB300 시스템이 낼 수 있는 최고 토큰 생성 속도와 동일한 조건에서 비교하면 차이가 더욱 커졌다.
DeepSeek R1의 경우 기존 시스템이 약 169 tokens/s를 생성하던 지점에서 Jalapeño는 같은 속도를 유지하면서 전력당 처리량이 약 104배 높았고, GPT-OSS에서는 약 54배, Kimi K2.5에서는 약 56배의 차이를 보였다.
다만 이 수치는 양쪽 시스템의 ‘최대 효율 지점’을 비교한 것이 아니라, 기존 GPU의 최고 응답 속도에 맞춰 Jalapeño를 운용했을 때 남는 처리 여력을 비교한 값이다. 전체적인 최대 전력 효율 개선 폭은 약 1.5~1.9배다.
LLM 추론은 크게 두 단계로 나뉜다.
Prefill에서는 사용자의 긴 입력을 처리하기 때문에 연산 성능이 중요하고, Decode에서는 토큰을 하나씩 생성하기 때문에 메모리 대역폭과 데이터 이동 속도가 중요하다.
OpenAI는 Jalapeño에서 칩·메모리·네트워크·소프트웨어를 함께 설계해 모델의 KV Cache와 상태 데이터를 가능한 한 가까운 곳에 유지하고, 칩 사이 데이터 이동과 통신 지연을 최소화했다고 설명했다.
이는 특히 AI 에이전트에서 중요하다.
에이전트는 한 번 답하고 끝나는 것이 아니라 검색 → 분석 → 코드 실행 → 결과 확인 등 수십~수백 단계의 추론을 연속해서 수행하기 때문에, 각 단계의 지연시간이 누적된다.
따라서 추론 속도가 몇 배 빨라지면 단순히 챗봇 답변이 빨라지는 수준을 넘어 에이전트가 실제 업무를 수행하는 속도 자체가 크게 빨라질 수 있다.
OpenAI는 AI를 이용해 설계·검증·최적화 과정을 가속하면서 초기 설계부터 Tape-out까지 약 9개월 만에 완료했다고 밝혔다.
또한 Codex와 GPT-Astra를 이용해 Jalapeño용 소프트웨어와 커널을 최적화했다.
일부 GPT-OSS Attention 및 Mixture-of-Experts 연산에서는 AI가 작성한 코드가 기존 인간 전문가가 작성한 구현보다 1.5~1.8배 빠른 성능을 기록했다고 한다.
즉,
더 강한 AI → 더 빠른 칩 설계 → 더 저렴하고 빠른 AI → 다시 더 강한 AI 개발
이라는 AI 개발 가속 루프가 하드웨어 영역에서도 나타나기 시작한 셈이다.
OpenAI는 이제 단순히 AI 모델만 만드는 회사가 아니라
모델 → 제품 → 추론 소프트웨어 → AI 칩 → 메모리 → 네트워크 → 데이터센터
까지 직접 최적화하는 풀스택 AI 플랫폼을 구축하려 하고 있다.
특히 Jalapeño는 일회성 프로젝트가 아니다.
OpenAI는 이미 Jalapeño Gen 2를 본격 개발 중이며 Gen 3도 설계 단계에 들어갔다고 밝혔다.
1세대 Jalapeño는 2026년 말부터 OpenAI 자체 컴퓨팅 인프라에 배치될 예정이다.
다만 OpenAI는 자체 칩이 엔비디아를 완전히 대체하는 것은 아니며, 앞으로도 NVIDIA와 다른 업체의 가속기를 학습과 추론에 대규모로 사용할 계획이라고 밝혔다.
이번 결과의 핵심은 OpenAI가 AI 모델뿐 아니라 추론 비용과 속도를 결정하는 하드웨어까지 직접 최적화하기 시작했다는 것이다.
AI 경쟁의 중심이 이제 단순한 ‘더 큰 모델’에서
누가 더 많은 지능을 더 적은 전력과 비용으로 공급할 수 있는가
라는 단계로 이동하고 있다.
“Jalapeño는 진짜다. 그리고 벌써 강력한 성능을 보여주고 있다. 🌶️
2세대도 이미 개발 중이다. 🚀”
OpenAI가 자체 개발한 첫 AI 추론칩 ‘Jalapeño’의 초기 벤치마크 결과를 공개했다.
핵심은 같은 전력으로 더 많은 AI 추론을 처리하면서도 응답 속도까지 크게 높였다는 것이다. 일반적으로 AI 가속기는 처리량을 높이면 응답 지연시간이 늘어나는 경우가 있는데, Jalapeño는 두 가지를 동시에 개선하는 것을 목표로 설계됐다.
OpenAI가 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 등 대형 모델을 테스트한 결과,
- 최고 처리량 기준 전력당 성능 1.5~1.9배 향상
- End-to-End 응답 지연시간 1.7~3.6배 감소
- 사용자 1명 기준 최대 토큰 생성 속도 2.7~4.1배 향상
특히 기존 엔비디아 GB200·GB300 시스템이 낼 수 있는 최고 토큰 생성 속도와 동일한 조건에서 비교하면 차이가 더욱 커졌다.
DeepSeek R1의 경우 기존 시스템이 약 169 tokens/s를 생성하던 지점에서 Jalapeño는 같은 속도를 유지하면서 전력당 처리량이 약 104배 높았고, GPT-OSS에서는 약 54배, Kimi K2.5에서는 약 56배의 차이를 보였다.
다만 이 수치는 양쪽 시스템의 ‘최대 효율 지점’을 비교한 것이 아니라, 기존 GPU의 최고 응답 속도에 맞춰 Jalapeño를 운용했을 때 남는 처리 여력을 비교한 값이다. 전체적인 최대 전력 효율 개선 폭은 약 1.5~1.9배다.
왜 중요한가?
Jalapeño는 단순히 연산 성능을 높인 칩이 아니라 LLM 추론에 특화된 시스템으로 설계됐다.LLM 추론은 크게 두 단계로 나뉜다.
Prefill에서는 사용자의 긴 입력을 처리하기 때문에 연산 성능이 중요하고, Decode에서는 토큰을 하나씩 생성하기 때문에 메모리 대역폭과 데이터 이동 속도가 중요하다.
OpenAI는 Jalapeño에서 칩·메모리·네트워크·소프트웨어를 함께 설계해 모델의 KV Cache와 상태 데이터를 가능한 한 가까운 곳에 유지하고, 칩 사이 데이터 이동과 통신 지연을 최소화했다고 설명했다.
이는 특히 AI 에이전트에서 중요하다.
에이전트는 한 번 답하고 끝나는 것이 아니라 검색 → 분석 → 코드 실행 → 결과 확인 등 수십~수백 단계의 추론을 연속해서 수행하기 때문에, 각 단계의 지연시간이 누적된다.
따라서 추론 속도가 몇 배 빨라지면 단순히 챗봇 답변이 빨라지는 수준을 넘어 에이전트가 실제 업무를 수행하는 속도 자체가 크게 빨라질 수 있다.
AI가 AI 칩도 설계했다
Jalapeño 개발 과정에서 OpenAI의 AI 모델도 상당한 역할을 했다.OpenAI는 AI를 이용해 설계·검증·최적화 과정을 가속하면서 초기 설계부터 Tape-out까지 약 9개월 만에 완료했다고 밝혔다.
또한 Codex와 GPT-Astra를 이용해 Jalapeño용 소프트웨어와 커널을 최적화했다.
일부 GPT-OSS Attention 및 Mixture-of-Experts 연산에서는 AI가 작성한 코드가 기존 인간 전문가가 작성한 구현보다 1.5~1.8배 빠른 성능을 기록했다고 한다.
즉,
더 강한 AI → 더 빠른 칩 설계 → 더 저렴하고 빠른 AI → 다시 더 강한 AI 개발
이라는 AI 개발 가속 루프가 하드웨어 영역에서도 나타나기 시작한 셈이다.
OpenAI는 AI 풀스택 기업으로
이번 발표에서 중요한 또 하나의 부분은 OpenAI의 전략이다.OpenAI는 이제 단순히 AI 모델만 만드는 회사가 아니라
모델 → 제품 → 추론 소프트웨어 → AI 칩 → 메모리 → 네트워크 → 데이터센터
까지 직접 최적화하는 풀스택 AI 플랫폼을 구축하려 하고 있다.
특히 Jalapeño는 일회성 프로젝트가 아니다.
OpenAI는 이미 Jalapeño Gen 2를 본격 개발 중이며 Gen 3도 설계 단계에 들어갔다고 밝혔다.
1세대 Jalapeño는 2026년 말부터 OpenAI 자체 컴퓨팅 인프라에 배치될 예정이다.
다만 OpenAI는 자체 칩이 엔비디아를 완전히 대체하는 것은 아니며, 앞으로도 NVIDIA와 다른 업체의 가속기를 학습과 추론에 대규모로 사용할 계획이라고 밝혔다.
이번 결과의 핵심은 OpenAI가 AI 모델뿐 아니라 추론 비용과 속도를 결정하는 하드웨어까지 직접 최적화하기 시작했다는 것이다.
AI 경쟁의 중심이 이제 단순한 ‘더 큰 모델’에서
누가 더 많은 지능을 더 적은 전력과 비용으로 공급할 수 있는가
라는 단계로 이동하고 있다.
전체 0