OpenAI는 어제(8월 25일) 블로그 게시물을 통해 첫 자체 개발 Jalapeño 칩을 공개하며, 사용자 1명 기준 토큰 처리량과 kW당 처리량 모두 현재 시장의 최고급 추론 프로세서를 넘어선다고 밝혔다.
OpenAI는 공식 블로그 게시물에서 반도체 연구 기업 SemiAnalysis가 개발한 공개 벤치마크 도구 InferenceX를 사용해 GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T 등 3개 모델을 테스트했다.
테스트 결과 시장을 선도하는 AI 시스템인 GB200 및 GB300과 비교했을 때, 와트당 AI 처리량은 비교 시스템의 1.5~1.9배였으며 엔드투엔드 지연 시간은 비교 시스템의 약 28~59%였다.
OpenAI에 따르면 Jalapeño는 GPT-OSS 120B를 실행할 때 kW당 최대 처리량이 GB200 시스템보다 약 1.9배 높다.
DeepSeek R1에서는 와트당 성능이 GB300보다 약 1.7배 높았고, Kimi K2.5에서는 GB300보다 약 1.5배 높았다. Jalapeño의 정격 전력은 700W지만 테스트 워크로드 중 지속 소비 전력은 550W 이하로 유지됐다. 관련 이미지는 다음과 같다:
Jalapeño는 OpenAI의 첫 자체 개발 AI 추론 칩으로, OpenAI와 브로드컴(Broadcom)이 공동 개발하고 TSMC가 3nm 공정으로 위탁 생산했다. 2026년 6월 24일 처음 외부에 공개됐다. 이 칩은 ASIC(주문형 집적회로)이며 systolic array(시스톨릭 어레이) 아키텍처를 사용하고 HBM 고대역폭 메모리를 탑재해 대규모 언어 모델 추론에 특화됐다. 모델 학습에는 사용되지 않는다. 칩과 전용 서버 시스템은 외부에 판매되지 않고 OpenAI 내부에서만 사용되며, 자체 GPU 구매 및 컴퓨팅 운영 비용 절감을 목표로 한다. OpenAI 하드웨어 책임자인 Richard Ho가 이 칩의 연구개발을 이끌었다. 그는 이전에 Google에서 약 9년간 근무하며 Cloud TPU 프로젝트의 핵심 엔지니어로 활동했다. Jalapeño는 아키텍처 설계부터 테이프아웃 완료까지 약 9개월밖에 걸리지 않았으며, OpenAI는 이를 고성능 첨단 반도체 분야에서 역사상 가장 빠른 ASIC 개발 주기 중 하나라고 밝혔다. OpenAI의 자체 AI 모델도 칩 설계 과정에 깊이 참여해 설계 최적화를 가속하는 데 도움을 줬다. 현재 2세대 Jalapeño 칩은 개발 후반 단계에 진입했으며, 앞으로 수개월 내 테이프아웃을 완료할 예정이다. 3세대 칩의 개념 설계도 시작됐다. OpenAI는 2026년 말까지 Jalapeño를 소규모로 배치하고, 2027년부터 배치 규모를 점진적으로 확대할 계획이다. 다만 이번 Jalapeño 테스트의 비교 대상은 엔비디아 GB200 및 GB300 시스템이며, 엔비디아의 최신 세대 Vera Rubin 칩과의 비교 테스트는 아직 진행되지 않았다. OpenAI는 엔비디아가 여전히 중요한 파트너라며, 막대한 컴퓨팅 수요를 충족하기 위해 앞으로도 다중 공급업체 전략을 계속 채택할 것이라고 밝혔다.