1.05 万亿参数，综合排名 44 名里的第 32 位：Mistral Large 4 到底适不适合自托管

2026 年 10 月 6 日，Mistral 开放了 Mistral Large 4（ML4，绰号 Le Chonk）的公开预览。1.05 万亿总参数、49B 活跃参数（官方文档写的是 1.05T / 52B 活跃，两个数字不一致，官方没解释）、混合专家架构、文本加图像输入、100 万 token 上下文，权重计划在 10 月 27 日发布。这是 Mistral 做过最大的模型，也是从零开始在自家欧洲数据中心、3800 张英伟达 Grace Blackwell 上训出来的。Mistral 的说法是「中国最强的开源模型之外的最强开源模型」。但真正值得你花时间的是几组数字之间的关系：它在 CyberGym-E2E 上以 82% 排 18 个模型的第一，在 Harvey 法律基准上排 75 个模型的第 6，却在 Vals Index 上落到 44 个模型的第 32；而在 Mistral 自己画的 DeepSWE 图表上，最高的那根柱子不是它。开放权重解决的是「谁控制部署」，不是「谁的分数更高」，这两件事混在一起看会做出错误决定。

开放权重不等于便宜，它只意味着这东西归你管。

先把「开放权重」和「轻量」分开

开放权重最容易被误读成「可以随便跑」。ML4 是稀疏模型，每个 token 只走一小部分专家，所以推理算力大致相当于一个 50B 级别的稠密模型——但全部 1 万亿参数仍然要待在显存里。按 FP8 算约 1TB，按 NVFP4 算约 500GB，这还没算 KV 缓存。官方没有公布硬件要求，这一条通常意味着「除大型企业和政府机构之外，很少有人会自托管完整模型」。所以开放权重的真正卖点不是省钱，而是控制权：银行可以在自己服务器上跑，不把客户数据发给外部 API；政府机构可以掌控整个部署环境；安全团队不必等供应商改审核策略。ML4 的质量与它的部署形态是两件事，做架构决策时先想清楚自己要的是哪一个。

# "Open weights" is not "light weights". Start with what has to sit in memory.
PRECISIONS = {"fp16": 2.0, "bf16": 2.0, "fp8": 1.0, "nvfp4": 0.5}

def weight_memory(total_params_b, precision):
    bytes_per_param = PRECISIONS[precision]
    gib = total_params_b * 1e9 * bytes_per_param / (1024 ** 3)
    return gib

for p in ("fp16", "fp8", "nvfp4"):
    for label, total in (("1.0T", 1000.0), ("1.05T", 1050.0)):
        print(f"{label:6} {p:6} -> {weight_memory(total, p):7.0f} GiB of weights alone")

# Context memory is the part people forget. Then add KV cache.
def kv_cache_gib(layers, kv_heads, head_dim, tokens, batch, bytes_per_value=2):
    per_token = 2 * layers * kv_heads * head_dim * bytes_per_value
    return per_token * tokens * batch / (1024 ** 3)

print("KV cache, 80 layers, 8 kv heads, head_dim 128, batch 8:")
for tokens in (32_768, 131_072, 1_048_576):
    print(f"  {tokens:>9,} tokens -> {kv_cache_gib(80, 8, 128, tokens, 8):7.1f} GiB")

# A 1M-token context is a product claim. This is the bill that comes with it.

基准数字要先过可比性检查

这次发布里最该养成习惯的，是读数字之前先问「谁跑的、在什么 harness 上跑的、公开吗」。Mistral 的评测分成三类：被独立复现的（Artificial Analysis 的 Cyber Index 及 CyberGym-E2E 组件、vals.ai 上的五项含 Terminal-Bench 4.0）；由 AA 跑但尚未公开的（DeepSWE、Terminal-Bench 与 SWE-Atlas 的分数有一行小字注明「使用 Artificial Analysis 在 harness 公开发布前私下评测的数字」）；以及只有 Mistral 自己跑的。harness 指的是包在模型外面的脚手架——工具、提示词、允许尝试的次数。同一个模型、同一个基准，Mistral 报的 Terminal-Bench 4.0 是 28.3%，vals.ai 独立跑出来是 22.73%。这不是说谁在造假，而是说一个 setup 的一个数字不构成排名。真正能横向比的是 Datacurve 的 DeepSWE 实时榜：在统一 setup 下 GLM-5.3 和 Kimi K3 都到 69%，DeepSeek V4 Pro 到 63%，而 ML4 还没上那个榜。

# Before you compare two benchmark numbers, check they came from the same harness.
import json

VENDOR_CLAIMS = [
    {"model": "Mistral Large 4", "bench": "DeepSWE v1.1", "score": 61.7, "run_by": "artificial_analysis_private", "harness": "AA-internal", "public": False},
    {"model": "Kimi K3",       "bench": "DeepSWE v1.1", "score": 69.0, "run_by": "vendor",   "harness": "self", "public": True},
    {"model": "GLM-5.3",       "bench": "DeepSWE v1.1", "score": 69.0, "run_by": "datacurve", "harness": "deepswe-live", "public": True},
    {"model": "Mistral Large 4", "bench": "Terminal-Bench 4.0", "score": 28.3, "run_by": "vendor",  "harness": "self", "public": True},
    {"model": "Mistral Large 4", "bench": "Terminal-Bench 4.0", "score": 22.7, "run_by": "vals.ai", "harness": "vals", "public": True},
]

def spread_by_bench(rows):
    out = {}
    for r in rows:
        out.setdefault(r["bench"], {}).setdefault(r["model"], []).append((r["score"], r["run_by"], r["harness"]))
    return out

for bench, models in spread_by_bench(VENDOR_CLAIMS).items():
    print(bench)
    for model, runs in models.items():
        for score, who, harness in runs:
            delta = ""
            if len(runs) > 1 and score == min(x[0] for x in runs):
                delta = "  <-- lower independent run"
            print(f"  {model:18} {score:6.1f}  run_by={who:26} harness={harness}{delta}")

# The same model on the same benchmark differed by 5.6 points across two setups.
# One number from one harness is not a ranking.

服务一个稀疏模型，先是内存带宽问题，才是算力问题。

网络安全那张图，要看被拦掉的部分

这是 Mistral 最大胆的一个宣称，也是唯一有独立证据支撑的强项。在 Artificial Analysis 的 Cyber Index 上 ML4 得 50%，排名前五（只有 Grok 4.7、MiMo-V2.6-Pro 和 GPT-6 Luna 更高，GLM-5.3 Flash 与它持平）；其中 CyberGym-E2E 得 82%，18 个模型第一。值得注意的不是这些分数，而是同图里的拒答数据：Claude Opus 5.5 约有 96% 的任务被安全策略拦下，GPT-6 Astra 是 100%，所以它们的分数接近零。对于需要批量复现漏洞、扫描大型代码库并分诊上百条发现的安全团队来说，「先证明漏洞存在」是防守工作的第一步，一个大部分任务都会拒答的模型在这条工作流里就是障碍。Mistral 的论点是：把 ML4 跑在自己的基础设施上，行为就归你控制。代价同样明确——权重公开之后，攻击方拿到的是同一份能力。AA 的评测是刻意偏防守的（只给源码、不要求构造可用利用），所以 82% 不等于 82% 的攻击能力，但两者之间的距离也不是无穷远。

# Cyber scores need the refusal rate next to them, or they mean nothing.
CASES = [
    {"model": "Mistral Large 4", "score": 82.0, "blocked_pct": 0.0,  "origin": "open-weight", "vendor": "Mistral"},
    {"model": "MiMo-V2.6-Pro",   "score": 79.0, "blocked_pct": 0.0,  "origin": "open-weight", "vendor": "Xiaomi"},
    {"model": "GPT-6 Luna",      "score": 78.0, "blocked_pct": 0.0,  "origin": "closed", "vendor": "OpenAI"},
    {"model": "Claude Opus 5.5", "score": 2.0,  "blocked_pct": 96.0, "origin": "closed", "vendor": "Anthropic"},
    {"model": "GPT-6 Astra",     "score": 1.0,  "blocked_pct": 100.0, "origin": "closed", "vendor": "OpenAI"},
]

def explain(rows):
    print(f"{'model':18} {'score':>6} {'blocked':>8}  reading")
    for r in sorted(rows, key=lambda x: -x["score"]):
        if r["blocked_pct"] >= 90:
            reading = "score reflects policy, not capability"
        elif r["blocked_pct"] > 0:
            reading = "partially usable for defensive work"
        else:
            reading = "ran the task"
        print(f"{r['model']:18} {r['score']:6.1f} {r['blocked_pct']:7.1f}%  {reading}")

explain(CASES)

# A near-zero score on a defensive benchmark can mean the model refused, not that it failed.
# If your security team reproduces CVEs in volume, that distinction is the whole decision.

稀疏模型的硬件账，先算清楚再谈性价比

MoE 的直觉是「只激活 49B，所以只要 50B 的开销」，这个直觉只对了一半。解码阶段确实是内存带宽瓶颈，权重读取量由活跃参数决定，所以生成速度接近 50B 稠密模型；但预填充阶段是算力瓶颈，注意力部分随查询长度平方增长，100 万 token 上下文的产品宣称会以这个形式出现在你的账单上。同时，全部参数必须常驻：NVFP4 下 1.05T 大约需要 500GB 显存，这已经超过一台 8 卡节点（按每卡 141GiB 可用算约 1128GiB）能舒服容纳的余量，更别说还要留出 KV 缓存和批处理空间。如果你只是为了跑一个模型去买多卡机器，先算一遍这条账；如果你的动机是合规与数据驻留，那这笔账的算法完全不同。

# Sparse models: pick the gate before you decide anything else.
import math

def serving_profile(total_b, active_b, tokens_per_sec, precision="fp8"):
    weight_gib = total_b * 1e9 * {"fp16": 2, "fp8": 1, "nvfp4": 0.5}[precision] / (1024 ** 3)
    flops_per_token = 2 * active_b * 1e9
    # Dense-equivalent throughput is usually memory bound at batch 1, so report both.
    return {
        "weight_gib": round(weight_gib),
        "flops_per_token": round(flops_per_token / 1e9, 1),
        "tflops_required": round(flops_per_token * tokens_per_sec / 1e12, 1),
        "prefill_note": "compute bound: scales with query length squared at attention",
        "decode_note": "memory bound: weight reads dominate, hence the active-parameter count",
    }

for label, total, active in (("ML4 preview", 1000.0, 49.0), ("ML4 docs", 1050.0, 52.0)):
    print(label, serving_profile(total, active, 30))

print()
print("hypothetical 8x GPU node, 141 GiB usable each:", 8 * 141, "GiB")
print("ML4 in nvfp4 needs roughly", round(1050 * 1e9 * 0.5 / 1024 ** 3), "GiB for weights")

# The active-parameter count sets decode compute, but all the weights still have to
# be resident somewhere. That is why "cheap to run" and "1T parameters" rarely coexist.

网络安全那套说法是真的，但同一份权重也会对所有人开放。

分数之外，还有 LICENSE 和路线图

真正决定能不能用的东西，这次发布里恰好都还没定。许可证条款没发布——对以外包控制权为卖点的模型来说，这句话本身有点讽刺，但它就是现状，商用、微调、再分发的权利都要等条款。定价上发布公告与文档页不一致，而且预览价未必延续到正式发布。上下文窗口官方文档写 100 万 token，vals.ai 那边是 512K，也没解决。完整架构、硬件要求、最终安全评测都定在 10 月 27 日随权重一起公布。还有一条容易被忽略：RL 后训练仍在跑，官方说约 3000 张 GPU、每天约 330 亿 token，所以你要评估的其实是两个不同的模型——今天的 API 版本，和月底放出来的那个 checkpoint。把「厂商报的」「独立跑过的」「私下跑过无法验证的」三种分数分开记，会省掉很多返工。

# Vendor-reported, independently run, and unverifiable are three different things. Track them.
from dataclasses import dataclass, field, asdict

@dataclass
class Score:
    bench: str
    value: float
    source: str          # vendor | independent | private
    public: bool
    notes: str = ""

@dataclass
class ModelLedger:
    name: str
    scores: list = field(default_factory=list)

    def add(self, **kw):
        self.scores.append(Score(**kw))

    def decision_readiness(self):
        ind = [s for s in self.scores if s.source == "independent"]
        priv = [s for s in self.scores if s.source == "private"]
        return {
            "total_scores": len(self.scores),
            "independently_reproduced": len(ind),
            "private_and_unverifiable": len(priv),
            "verdict": "usable" if ind else "wait for weights",
        }

ml4 = ModelLedger("Mistral Large 4")
ml4.add(bench="AA Cyber Index", value=50.0, source="independent", public=True)
ml4.add(bench="CyberGym-E2E", value=82.0, source="independent", public=True)
ml4.add(bench="DeepSWE v1.1", value=61.7, source="private", public=False, notes="run by AA, not yet published")
ml4.add(bench="Coding Agent Index", value=49.8, source="private", public=False)
ml4.add(bench="Cybench", value=93.0, source="vendor", public=True)
ml4.add(bench="Vals Index", value=48.05, source="independent", public=True, notes="32nd of 44")

print(ml4.decision_readiness())
for s in ml4.scores:
    print(f"  {s.bench:22} {s.value:7.2f} {s.source:12} public={s.public}")

# Weights are scheduled for October 27. After that date, 'private' scores become checkable.
# Before it, treat them as claims about a checkpoint that is still training.

真正的赌注是主权，不是榜首

把 ML4 放回它的语境里，Mistral 卖的不是榜单第一。马克龙把它称作「AI 的第三条路」：第一条路是美国闭源模型，能力强但受美国法律与供应商政策约束；第二条路是中国开源模型，能力常常很强，但对欧洲机构来说有数据驻留和地缘政治风险；第三条路是开放权重加欧洲基础设施加欧洲法律。这个定位有资金支撑：Mistral 称 ML4 是「由 30 亿欧元 D 轮融资支撑的路线图的第一个里程碑」，该轮由三星领投，估值 210 亿欧元，Mistral 称这是欧洲科技公司史上最大的股权融资。所以问题不是「ML4 是不是最强的模型」，而是「欧洲能不能在给机构控制权的同时做出前沿级模型」——控制权那一半，这次给出了很强的证据；前沿那一半，Vals Index 上 44 名里第 32 位说明还差得远。