Hôm qua (25 tháng 8), OpenAI đã đăng bài viết giới thiệu chip Jalapeño đầu tiên do hãng tự phát triển, đồng thời cho biết chip này vượt qua các bộ xử lý suy luận hàng đầu hiện có trên thị trường cả về lượng token xử lý cho một người dùng lẫn thông lượng trên mỗi kilowatt.
Trong bài viết chính thức, OpenAI sử dụng công cụ benchmark công khai InferenceX do công ty nghiên cứu bán dẫn SemiAnalysis phát triển để thử nghiệm ba mô hình GPT-OSS 120B, DeepSeek R1 670B và Kimi K2.5 1T.
Kết quả thử nghiệm cho thấy khi so sánh với các hệ thống AI hàng đầu trên thị trường (GB200 và GB300), thông lượng AI có thể đạt được trên mỗi watt cao gấp 1,5 đến 1,9 lần so với các hệ thống đối chiếu, còn độ trễ đầu cuối chỉ bằng khoảng 28% đến 59%.
OpenAI cho biết khi chạy GPT-OSS 120B, thông lượng đỉnh trên mỗi kilowatt của Jalapeno cao hơn khoảng 1,9 lần so với hệ thống GB200.
Trên DeepSeek R1, hiệu năng trên mỗi watt của chip cao hơn khoảng 1,7 lần so với GB300; trên Kimi K2.5, hiệu năng trên mỗi watt cao hơn khoảng 1,5 lần so với GB300. Jalapeno có công suất định mức 700 watt, nhưng trong quá trình chạy tải thử nghiệm, mức tiêu thụ điện duy trì ở 550 watt hoặc thấp hơn. Hình ảnh liên quan ở dưới đây:
Jalapeño là chip suy luận AI đầu tiên do OpenAI tự phát triển, được OpenAI hợp tác phát triển cùng Broadcom, do TSMC gia công bằng quy trình 3nm và lần đầu được giới thiệu ra bên ngoài vào ngày 24 tháng 6 năm 2026. Đây là một ASIC (mạch tích hợp chuyên dụng), sử dụng kiến trúc systolic array (mảng tâm thu), được trang bị bộ nhớ băng thông cao HBM và thiết kế chuyên cho các tình huống suy luận mô hình ngôn ngữ lớn, không dùng để huấn luyện mô hình. Chip và hệ thống máy chủ đi kèm sẽ không được bán ra bên ngoài mà chỉ phục vụ nội bộ OpenAI, nhằm giảm chi phí mua GPU và vận hành năng lực tính toán của hãng. Richard Ho, người phụ trách phần cứng của OpenAI, đã lãnh đạo quá trình phát triển chip này. Trước đó, ông làm việc tại Google gần chín năm và là một trong những kỹ sư chủ chốt của dự án Cloud TPU. Từ thiết kế kiến trúc đến hoàn tất chế tạo thử, Jalapeño chỉ mất khoảng 9 tháng. OpenAI cho biết đây là một trong những chu kỳ phát triển ASIC nhanh nhất trong lịch sử lĩnh vực bán dẫn tiên tiến hiệu năng cao. Các mô hình AI của OpenAI cũng tham gia sâu vào quy trình thiết kế chip, giúp đẩy nhanh quá trình tối ưu hóa. Hiện chip Jalapeño thế hệ thứ hai đã bước vào giai đoạn phát triển cuối, dự kiến hoàn tất chế tạo thử trong vài tháng tới; chip thế hệ thứ ba cũng đã bắt đầu thiết kế ý tưởng. OpenAI dự kiến triển khai Jalapeño ở quy mô nhỏ trước cuối năm 2026 và từng bước mở rộng quy mô triển khai trong năm 2027. Cần lưu ý rằng đối tượng so sánh trong thử nghiệm lần này của Jalapeño là các hệ thống NVIDIA GB200 và GB300, chưa tiến hành thử nghiệm so sánh với chip Vera Rubin thế hệ mới nhất của NVIDIA. OpenAI cho biết NVIDIA vẫn là đối tác quan trọng của hãng và trong tương lai sẽ tiếp tục áp dụng chiến lược đa nhà cung cấp để đáp ứng nhu cầu năng lực tính toán khổng lồ.