https://openai.com/index/openai-broadcom-jalapeno-inference-chip/

핵심 요약

OpenAI와 Broadcom은 Jalapeño라는 OpenAI 최초의 Intelligence Processor, 즉 LLM 추론용 AI 가속기를 공개했다. 이 칩은 기존 범용 AI 가속기를 조금 고친 것이 아니라, 처음부터 대형언어모델 추론에 맞춰 설계된 전용 칩이라는 점을 강조하고 있다.

Jalapeño는 OpenAI가 ChatGPT, Codex, API, 향후 에이전트 제품을 운영하면서 얻은 실제 추론 패턴을 바탕으로 설계됐다. OpenAI는 모델, 커널, 메모리 이동, 네트워킹, 서빙 시스템까지 직접 이해하고 있기 때문에, 칩 구조를 자사 LLM 워크로드에 맞춰 최적화할 수 있었다고 설명한다.

성능과 목적

초기 테스트에 따르면 Jalapeño는 현재 최고 수준 AI 가속기 대비 와트당 성능이 상당히 우수할 것으로 예상된다. 아직 최종 성능 수치는 공개되지 않았고, 자세한 기술 보고서는 추후 발표될 예정이다.

핵심 설계 방향은 다음과 같다.

항목	내용
목적	LLM 추론 성능 최적화
강점	낮은 지연시간, 높은 처리량, 높은 전력 효율
설계 철학	데이터 이동 최소화, 연산·메모리·네트워킹 균형
목표	이론상 피크 성능에 가까운 실제 활용률 달성
활용처	ChatGPT, Codex, API, 에이전트 제품 등

즉, 단순히 더 빠른 칩을 만드는 것이 아니라 AI 서비스를 더 싸고 빠르고 안정적으로 제공하기 위한 인프라 전략에 가깝다.

OpenAI의 풀스택 전략

이 발표에서 가장 중요한 부분은 OpenAI가 이제 단순히 모델 회사나 제품 회사가 아니라, 칩까지 포함한 풀스택 AI 플랫폼 기업으로 가려 한다는 점이야.

OpenAI는 다음 단계까지 직접 최적화하려고 한다.

1. 제품: ChatGPT, Codex, API
2. 모델: GPT 계열 및 미래 LLM
3. 서빙 시스템: 스케줄링, 추론 최적화
4. 커널·메모리 구조
5. 네트워킹
6. 칩 아키텍처
7. 데이터센터 배치

이렇게 되면 OpenAI는 엔비디아 GPU 위에서만 모델을 돌리는 회사가 아니라, 자기 모델에 맞는 하드웨어까지 직접 설계하는 기업이 된다.

Broadcom과 Celestica의 역할

OpenAI가 칩 아키텍처와 LLM 워크로드 방향을 잡고, Broadcom은 실제 반도체 구현과 네트워킹 기술을 담당한다. 특히 Broadcom의 Tomahawk 네트워킹 실리콘이 대규모 AI 데이터센터 연결에 사용된다.

Celestica는 보드, 랙, 시스템 통합, 생산 인프라 쪽을 맡는 것으로 나온다.

정리하면 역할은 이렇다.

회사	역할
OpenAI	칩 설계 방향, LLM 워크로드 최적화, 풀스택 인프라 전략
Broadcom	ASIC 구현, 네트워킹, 연결 기술, 대량 생산 지원
Celestica	보드, 랙, 시스템 통합, 생산 시스템

9개월 만의 테이프아웃

글에서 특히 강조하는 부분은 Jalapeño가 초기 설계부터 제조 테이프아웃까지 9개월 만에 개발됐다는 점이다. 고성능 ASIC 기준으로는 매우 빠른 개발 속도라고 주장한다.

여기에는 OpenAI 모델이 칩 설계와 최적화 과정 일부를 가속했다는 내용도 포함되어 있다. 즉, AI가 다음 세대 AI 칩 개발을 도와주는 자기강화 구조가 만들어지고 있다는 의미로 해석할 수 있다.

이 부분은 꽤 중요해. 만약 AI가 칩 설계 속도를 실제로 크게 줄인다면, AI 인프라 발전 속도 자체가 빨라질 수 있기 때문이야.

배포 계획

Jalapeño는 단발성 칩이 아니라 여러 세대에 걸친 컴퓨트 플랫폼의 첫 번째 칩으로 소개된다. OpenAI와 Broadcom은 이를 2026년 말부터 초기 배포하고, 이후 수년간 기가와트 규모 데이터센터로 확장할 계획이라고 말한다.

특히 Broadcom CEO Hock Tan은 Microsoft 및 다른 파트너들과 함께 기가와트 규모 AI 데이터센터 배포를 언급한다.

의미와 파급효과

이 발표가 사실이라면 의미는 상당히 크다.

첫째, OpenAI는 엔비디아 GPU 의존도를 일부 낮출 수 있는 자체 추론 인프라를 갖게 된다.
둘째, Broadcom은 OpenAI의 핵심 ASIC 파트너로 자리 잡으며 AI 반도체 시장에서 더 강한 입지를 확보한다.
셋째, AI 추론 비용이 낮아지면 ChatGPT, Codex, API 사용 비용이 더 저렴해지거나 성능이 좋아질 수 있다.
넷째, OpenAI의 모델 개발 → 제품 사용량 증가 → 매출 증가 → 인프라 재투자 → 더 강한 모델 개발이라는 플라이휠이 강화된다.

한 줄 요약

Jalapeño는 OpenAI가 LLM 추론을 위해 직접 설계한 첫 자체 AI 칩이며, Broadcom과 함께 엔비디아 중심 GPU 생태계에서 벗어나 풀스택 AI 인프라 기업으로 확장하려는 전략적 신호다.

투자 관점으로 보면 이 내용은 특히 Broadcom, Celestica, Microsoft, AI 데이터센터 전력·네트워킹 기업들에는 긍정적이고, 장기적으로는 엔비디아의 추론 시장 독점성에는 도전 요인으로 볼 수 있어.