OpenAI 自研推理晶片 Jalapeño 在 Hot Chips 2026 公布首波實測：700W 功耗下，每千瓦 AI 吞吐量比 Nvidia GB300 高出 1.5–1.9 倍、延遲低 1.7–3.6 倍，Broadcom 執行長更稱成本可省約 50%。
這是 OpenAI 第一顆完全自研的 AI 晶片，與 Broadcom 共同開發、台積電 N3P 製程打造，專為「推理」（inference）而非訓練設計。SemiAnalysis 直接在現場協助驗證部分測試，稱這顆晶片「打敗了我們測過的所有 Nvidia、AMD、Google 晶片」。對一個 2026 年底才要小量部署的晶片來說，這個開局相當震撼。
一句話結論：OpenAI 用一半功耗，做更多推理
在 AI 產業，推理成本才是真正的日常開銷——每次 ChatGPT 回覆、每個 API 呼叫都在燒錢。Jalapeño 的核心訴求很簡單：同樣一度電，服務更多人；同樣一個請求，回應更快。
OpenAI 硬體副總裁 Richard Ho 在媒體電話會議中說：「Jalapeño 同時做好了通常需要拆成兩顆晶片才能做好的事——高吞吐量，以便廉價地服務廣大用戶；低延遲，滿足那些在意即時回應的用戶。」
InferenceX 實測數據：全面碾壓 Blackwell
這次公布的數據來自 SemiAnalysis 的公開基準測試套件 InferenceX，測試了三款開源模型：GPT-OSS 120B、DeepSeek R1 670B，以及 Moonshot AI 的萬億參數 Kimi K2.5。結果如下：
| 指標 | Jalapeño vs Nvidia GB200/GB300 | 說明 |
|---|---|---|
| 每千瓦吞吐量（峰值） | 1.5–1.9 倍 | 同樣一度電能做更多 AI 運算 |
| 端到端延遲 | 低 1.7–3.6 倍 | 回應速度更快 |
| 互動式工作負載 | 高 2.1–4.1 倍 | Agent 多輪呼叫場景優勢最大 |
| 對齊解碼速度下每千瓦 token 吞吐 | 54–104 倍 | 在 GB300 最快延遲設定下比較 |
| Kimi K2.5 峰值每瓦效能 | ~1.5 倍 | 萬億參數模型照樣碾壓 |
| Kimi K2.5 端到端延遲 | 低 3.4 倍 | 越大模型優勢越明顯 |
實際吞吐表現：跑 GPT-OSS 120B 時每位用戶每秒約 1,400 tokens；跑 DeepSeek R1 670B 單一並發請求時每秒超過 700 tokens。
⚠️ 關鍵細節：這些數字是 Jalapeño 在單代幣預測（STP）架構下跑出來的——沒有用多代幣預測（MTP）或投機解碼這類加速技巧，而部分比較對象反而有使用。換句話說，這顆晶片還有進一步優化的空間。
硬體規格：光罩尺寸巨獸 + HBM4
| 規格 | OpenAI Jalapeño | Nvidia GB300 |
|---|---|---|
| 額定功耗（TDP） | 700W（實測持續 ≤550W） | 1,400W |
| 製程 | 台積電 N3P（運算 die）+ N3E（I/O die） | N3P 級 |
| 記憶體 | 6 個 HBM4 堆疊，共 216 GiB | HBM3E 288GB |
| 記憶體頻寬 | 15.4 TB/s | — |
| 算力 | 13.4 PFLOPS（MXFP4） | — |
| 用途 | 僅推理 | 訓練 + 推理 |
其中一個容易被忽略的重點：Jalapeño 每瓦記憶體頻寬比 GB300 多約 50%。而 OpenAI 在 Hot Chips 簡報中明說，這顆晶片架構要解決的瓶頸是「釋放 HBM 的聚合頻寬」，而不是盲目堆記憶體容量。
OpenAI 甚至連機架都自己設計了：
flowchart LR
A[Katsu 主機機架<br/>16 trays × 2x AMD EPYC Turin<br/>1.5TB DRAM + NVMe + 400G 網路]
<-->|8 條 PCIe DAC 銅纜| B[Vindaloo 加速器機架<br/>16 trays × 8 顆 Jalapeño<br/>共 128 顆晶片 / 架]
B --> C[單架輸出<br/>1.7 ExaFLOPS MXFP4<br/>27.5TB HBM4]架構設計：為推理從零打造
Jalapeño 不是把通用 GPU 改一改，而是從白紙開始為 LLM 推理設計的處理器：
- 核心與記憶體切片（slices）：每組核心對應一塊 HBM 切片，模型狀態（含 KV cache）保持本地，平衡運算密集的 prefill 階段與頻寬受限的 decode 階段
- Weight-stationary 脈動陣列：模型權重一次載入運算格網並鎖定，資料在單元間直接流動，減少外部記憶體讀寫
- MXFP4 數值格式：把 AI 數學資料壓到 4-bit，分組共享指數因子，大幅減少記憶體佔用與傳輸量
- 亂序（OoO）標量核心：64-bit 標量核心提前把資料排進硬體佇列，矩陣/向量核心不會空等
- FP32/INT32 向量核心：處理 softmax、層歸一化等高精度運算，避免壓縮造成精度損失
- Scale-up 域支援 2,048 顆 XPU：對比 Nvidia NVL72 機架的 72 顆，擴展規模差了一個數量級
另外還搭配了自研的 Gluon 核心程式語言——這直接威脅 Nvidia 最引以為傲的 CUDA 軟體護城河。SemiAnalysis 直言：「CUDA 護城河可能已經死了，看看 OpenAI 在自己的矽晶片上把新模型跑起來有多快。」
9 個月做出晶片：AI 幫 AI 設計
最讓人吃驚的其實是開發速度。一般高階 ASIC 開發週期要 2–3 年，Jalapeño 從設計藍圖到送廠製造（tape-out）只花了 9 個月（整個專案從 2024 年中啟動，2025 年 11 月送晶圓廠，共 16 個月）。
祕密武器是 OpenAI 自家的模型：舊代模型參與晶片設計，新代模型加速程式碼排程與優化。用 AI 設計 AI 晶片，這個迴圈一旦跑通，後續迭代速度會讓傳統晶片公司很難追——第二代晶片已經接近 tape-out，第三代正在概念階段。
部署時間表與市場影響
| 時間 | 里程碑 |
|---|---|
| 2025 年 6 月 24 日 | 與 Broadcom 正式揭曉 Jalapeño |
| 2026 年 8 月 25 日 | Hot Chips 2026 公布實測數據 |
| 2026 年底 | 與微軟等夥伴在 GW 級資料中心小量部署 |
| 2027 年 | 全面量產與大規模部署 |
| 未來數月 | 第二代 tape-out；第三代概念設計 |
對市場的三個深遠影響：
- 推理成本可能腰斬：Broadcom 執行長 Hock Tan 表示，Jalapeño 性能匹配 Blackwell 與 Google TPU，而每個 token、每千瓦的成本優勢約 50%。若屬實，OpenAI 可以把 API 價格壓到競爭對手很難跟進的水準
- HBM4 供貨大戰開打：OpenAI 去年 10 月與 Broadcom 簽了 10GW 自訂晶片協議，等於在 2027 年前已被掃貨一空的 HBM4 市場上，跟 Nvidia 正面搶產能
- 不是要跟 Nvidia 分手：Jalapeño 不能訓練模型，預訓練仍重度依賴 Nvidia GPU；而且就在數據公布前一周（8 月 17 日），Nvidia 才同意為 OpenAI 在俄亥俄州的資料中心提供最高 1,050 億美元融資擔保。Richard Ho 也強調：「Nvidia 是非常好的合作夥伴，我們仍然需要大量的 Nvidia。」
但書：這些數字要怎麼看
報導裡 OpenAI 自己也列了幾個但書，寫文章不能不提：
- 數據是 OpenAI 提供的：SemiAnalysis 有部分現場驗證（與 OpenAI 工程師在實驗室一起跑），但尚未有完全獨立的第三方複測
- 沒測 Vera Rubin：Nvidia 更新的 Rubin 平台已開始出貨，Jalapeño 沒跟它對打；不過 SemiAnalysis 指出在每 MW 輸出吞吐量上 Jalapeño 仍贏過 Rubin 七月公布的成績
- 硬體條件不完全對等：Jalapeño 用 HBM4 對上 GB200/GB300 的 HBM3E，記憶體代差算是有點「佔便宜」
- GB300 開 MTP 後差距縮小：若對手啟用多代幣預測，Jalapeño 的峰值效率領先會縮到約 1.5 倍
結論：把這些數字當成「可信的技術證據」，而不是「馬上要降價的保證」。真正見真章要等 2027 年全面部署後，看 ChatGPT 的價格與延遲有沒有實質變化。
延伸閱讀
- OpenAI Ultrafast 模式登場：GPT-5.6 Sol 提速 14 倍、每秒 750 tokens，Cerebras 晶片加持的企業級 AI 加速器（2026）
- Anthropic 砸 100 億美元向 Volta 買算力：成立僅 7 個月的新創，如何撼動 AWS 與 Google 的 AI 基礎設施版圖？
- Stripe 逾 70 億美元收購 OpenRouter：支付巨頭 5.4 倍溢價卡位 AI 模型路由層，開發者擔心中立性不再（2026）
資料來源
- OpenAI’s Jalapeño chip is built for fast inference at scale, benchmarks show | TechCrunch
- OpenAI’s first custom chip “Jalapeño” reportedly beats Nvidia’s Blackwell and Rubin in inference benchmarks | The Decoder
- OpenAI’s 700W Jalapeño ASIC outpaces 1,400W Nvidia flagship GPU | Tom’s Hardware
- OpenAI’ Jalapeño: Better Than Nvidia Blackwell | SemiAnalysis
- OpenAI’s Jalapeño chip changes the inference-cost conversation | OpenTools.ai
- OpenAI’s Jalapeño Chip Matches Nvidia Blackwell with 50% Cost Advantage, Says Broadcom CEO | CryptoBriefing