Jalapeño：OpenAI 首款自研芯片，以及它改写的推理经济学

推理是 AI 触达用户的地方。2026 年 6 月 24 日，OpenAI 与 Broadcom（纳斯达克：AVGO）公布 Jalapeño——OpenAI 的首款「智能处理器」：一颗围绕 OpenAI 对未来 LLM 推理的设想、从零架构的加速器，也是双方共同打造的多代计算平台里的第一款 AI 加速器。据 OpenAI 介绍，它从初始设计到制造流片只用了九个月，工程样品已在实验室以量产目标频率和功耗运行真实机器学习负载。这不是一篇硬件评测，而是一次「推理经济学」的重新定价。本文讲清哪些已经确认、哪些还没有，以及开发者该如何看待这条成本与延迟曲线。

Jalapeño 不是通用加速器，而是为推理从零设计

发布了什么

据 OpenAI 与 Broadcom 投资者关系公告，Jalapeño 是 OpenAI 的首款 Intelligence Processor，从零为现代 LLM 推理设计，而不是把早先的 AI 工作负载通用加速器改造而来。它由 Sam Altman 与 Greg Brockman 接收自 Broadcom 的 Hock Tan 和 Charlie Kawwas；合作方包括 Broadcom（芯片实现、网络，如 Tomahawk 网络芯片）与 Celestica（板卡、机架与系统集成）。OpenAI 表示，Jalapeño 的设计由其对 LLM 基础的理解所驱动，覆盖模型、内核、服务系统与产品需求，并保留了兼容业界现有及未来 LLM 的灵活性。

# The announcement, in one object. Facts are from OpenAI's page and
# Broadcom's investor release, both dated June 24, 2026.

JALAPENO = {
    "unveiled": "2026-06-24",
    "makers": ["OpenAI", "Broadcom (NASDAQ: AVGO)"],
    "partners": ["Broadcom", "Celestica"],
    "kind": "OpenAI's first Intelligence Processor (AI accelerator)",
    "purpose": "LLM inference, built from the ground up",
    "design_to_tapeout_months": 9,
    "status": "engineering samples running ML workloads in the lab
               at production target frequency and power",
    "deployment": "initial deployment by end of 2026, gigawatt scale,
                   over multiple generations",
    "early_result": "performance per watt substantially better than
                    current state-of-the-art (full report pending)",
}

为什么要自己造芯片

OpenAI 的表述很直接：推理是 AI 触达人的地方，成本、速度与可靠性的每一次改善，都会映射到一个用户真正在用的产品上——更快的 ChatGPT 回答、能多走几步而少等待的 Codex 任务、构建成本更低的 API、需求高峰时更稳定的访问。更根本的是「全栈飞轮」：更好的基础设施带来更高的计算效率，更高的效率带来更好的训练与推理，从而产生更强的模型；更强的模型成为更好的产品，带来更多使用与收入，再反过来投资下一代基础设施。Greg Brockman 的说法是，世界正在走向一个「算力驱动的经济」，而 Jalapeño 是让算力更充裕的一部分。

# Why a chip at all. OpenAI's own framing: inference is where AI
# reaches people, so every gain in cost, speed and reliability shows
# up in a product someone actually uses.

WHERE_GAINS_LAND = [
    "a faster ChatGPT answer",
    "a Codex task that takes more steps with less waiting",
    "an API product that is cheaper to build",
    "more dependable access when demand is high",
]

# The flywheel: better infra -> cheaper compute -> better training and
# serving -> better models -> more usage -> reinvest in infra.

从设计到流片只用了九个月，OpenAI 称其为最快 ASIC 周期

九个月流片：AI 设计的硅

据 OpenAI，Jalapeño 从初始设计到制造流片仅用九个月，这被其称为高性能先进半导体领域「有史以来最快的 ASIC 开发周期」。速度来自三方面：与 OpenAI 工程团队的软硬件协同设计、Broadcom 的硅实现专长，以及——这一点很有意思——用 OpenAI 自己的模型来加速部分设计与优化流程。换句话说，服务用户的同一批模型，正在参与改进运行未来模型的基础设施。如果 AI 能帮工程师更快地设计更好的芯片，它就能降低全行业的算力成本，从而让先进 AI 更普及。

# A simple cost model to reason about what an efficiency win buys.
# Plug your own numbers; the point is the shape, not the constants.

def monthly_inference_cost(tokens_month, price_per_mtok,
                           fixed_platform_usd=0):
    variable = (tokens_month / 1_000_000) * price_per_mtok
    return variable + fixed_platform_usd

def break_even_months(capex_usd, old_cost, new_cost):
    saving = old_cost - new_cost
    return None if saving <= 0 else round(capex_usd / saving, 1)

# If a custom platform cuts cost per token by X% and you run billions
# of tokens a month, the break-even window is a function of X and capex.

对开发者意味着什么

对开发者而言，关键变量只有两个：每 token 成本、以及延迟与吞吐的组合。Jalapeño 的定位是把当今领先加速器的算力与吞吐，和接近最快专用推理系统的延迟结合起来，面向规模化交互式产品。但请注意 OpenAI 的措辞：早期测试显示「性能功耗比将显著优于当前最先进水平」，最终性能仍在测量中，详细技术报告「将在未来数月发布」。这是一个方向性的乐观判断，而不是一个可以直接写进预算的数字。在拿到可验证的基准之前，把效率声明当作「方向」而非「事实」。

# Latency vs throughput is a serving trade-off, not a hardware given.
# Jalapeño is pitched at combining accelerator throughput with latency
# close to the fastest specialized systems, aimed at interactive
# products at scale.

SERVING_PROFILES = {
    "interactive_chat": {"batch": 1, "priority": "time to first token"},
    "agent_workflow":  {"batch": 1, "priority": "tokens per second"},
    "offline_batch":   {"batch": 256, "priority": "cost per token"},
}

def pick_profile(workload):
    if workload.interactive:
        return SERVING_PROFILES["interactive_chat"]
    if workload.agentic:
        return SERVING_PROFILES["agent_workflow"]
    return SERVING_PROFILES["offline_batch"]

目标是多代平台、千兆瓦级部署

今天就能做的容量与成本功课

无论底层跑的是哪块芯片，这几件事现在就该做。一，用真实而非演示负载，测出 p50 与 p95 延迟。二，跟踪「每个成功任务」的成本，而不是「每 token」成本——后者会掩盖重试与失败的浪费。三，激进缓存：Agent 重复的上下文是纯粹的浪费，长上下文更是如此。四，按任务路由：用便宜模型做分类与路由，用强模型做推理，别用大炮打蚊子。五，保留退出路径：永远不要让某一种加速器把你的产品锁死。把这些写下来，等下一代模型或下一款硬件落地时，你才有一张可比的基线。

# Capacity planning you can do today, regardless of which chip you
# run on. Write the budget down before the next model lands.

PLAN = [
    "measure p50 and p95 latency for your real, not demo, workload",
    "track cost per successful task, not cost per token",
    "cache aggressively: repeated agent context is pure waste",
    "route by task: cheap models for routing, strong models for reasoning",
    "keep an exit path: never let one accelerator lock your product in",
]

# OpenAI says a detailed technical report on performance is coming; treat
# headline efficiency claims as directional until you can test them.

接下来看什么

两个观察点。第一，是那份被推迟的性能技术报告——只有当真实基准、功耗与成本曲线公开，Jalapeño 才从「战略叙事」变成「可采购的现实」。第二，是部署节奏：OpenAI 说这是多代平台的第一步，计划在 2026 年底前完成初始部署，并随年份扩展，目标是与数据中心伙伴做到千兆瓦级。如果这条路线兑现，它改写的不是某一次基准分数，而是整个行业对「推理成本会持续下降」的预期本身。对开发者来说，最稳妥的姿态是：不预设结论，但把成本和延迟的度量做成习惯。