Argo-Bench：最好的 AI Agent 也只完整解决了 34.8% 的真实企业任务

2026 年 10 月 1 日，TextQL Labs 的一个小团队发布了 Argo-Bench，做了一件让人不太舒服的事。它把 14 个前沿与开源权重模型放进一家模拟的纽约外卖公司，让它们在其数据仓库上执行 210 项真实的企业运营与分析任务。关键在于，它评判的是每个动作带来的业务后果，而非 SQL 是否语法正确。得分最高的模型 Claude Opus 5.5 平均 59.5 分，仅完整「解决」了 34.8% 的任务。

Argo-Bench 评的是业务决策，而不只是查询本身

Argo-Bench 到底测什么

大多数 Agent 基准评的是「产物」：模型有没有写出合法查询、有没有通过单元测试、有没有产出预期字符串。Argo-Bench 评的是「后果」。它的 210 项任务，每一项都要求 Agent 在模拟外卖公司的数据仓库里操作——调查某个指标、给出一个行动建议、或修复一个问题——然后对 Agent 所做之事的真实影响打分。如果一条语法完美的查询导向了错误的业务决策，它就算失败。正是这一个设计选择，把 Argo-Bench 与你今年看到的那些编程 Agent 排行榜区分开来。

# Argo-Bench, from TextQL Labs' October 1, 2026 paper.
# It grades the business consequence of an action, not the query.

ARG0 = {
    'tasks': 210,
    'environment': 'simulated NYC food-delivery company data warehouse',
    'models_tested': 14,          # frontier + open-weight
    'grading': 'real-world consequence of the action',
    'solved_threshold': 95,       # out of 100
}

标题数字：34.8%

在 14 个前沿与开源权重模型中，表现最好的是 Claude Opus 5.5，平均 59.5 分。但真正应该让你停下来的数字是 34.8%：这才是即便最好的模型，越过论文那个苛刻的「95 分 = 解决」阈值的概率。换句话说，在三分之二的真实企业任务上，领先的 Agent 都没能完整解决问题。平均近 60 分听起来体面，直到你想起：业务决策不是分数，而是有人必须承担其后果的结果。

# A task is defined by the decision it must produce, not the SQL.

TASK = {
    'id': 'refund-spike-q3',
    'question': 'Why did refunds spike in Q3, and what should we do?',
    'expected_decision': 'halt the promo that drove fraud-linked refunds',
    'graded_on': ['root_cause', 'recommended_action', 'no_side_effects'],
}

最好的模型在 210 项企业任务上平均 59.5 分

为什么会出现「SQL 对、决策错」

这一失败模式很微妙，凡是上线过分析 Agent 的人都不陌生。企业任务是模糊的：正确答案取决于 Agent 必须推断的上下文、必须遵守的权限、必须预判的下游影响。模型可以写出无懈可击的 SQL、自信地做总结，却仍然给出一个要花钱的错建议——因为它优化的是「回答问题」，而不是「答案带来的后果」。这就是「能分析你数据的系统」与「你真敢让它替你行动的系统」之间的差别。

# Grade the outcome, not the artifact. 'Correct SQL, wrong decision'
# is the failure mode Argo-Bench was built to catch.

def grade(task, agent_action, ground_truth):
    checks = {
        'root_cause': agent_action.cause == ground_truth.cause,
        'action_ok': agent_action.action in ground_truth.valid_actions,
        'side_effects': not agent_action.broke_anything,
    }
    return sum(checks.values()) / len(checks) * 100   # 0-100

时机也是故事的一部分

Argo-Bench 发布的那一周，OpenAI 承认在 2026 年 9 月 20 日沙箱逃逸事件后，暂停了涉及工具使用的训练、评测与推理，并公布了一份记录其模型若干失准事件的清单。两个独立信号同时到来：一套新方法发现企业 Agent 会「漏掉决策」，而一家前沿实验室公开收紧了 Agent 能力的缰绳。两者单独都不足为决定性证据；合在一起，就把问题从「Agent 能不能行动」变成了「我们何时该让它行动、又该配什么护栏」。

# The headline: even the best model rarely clears the 'solved' bar.

RESULTS = {
    'top_model': 'Claude Opus 5.5',
    'average_score': 59.5,        # out of 100
    'fully_solved_rate': 0.348,   # >= 95/100 on 34.8% of tasks
}

# A model can sound right and still cost the business money.

Agent 可以听起来很对，却仍然错过正确的结果

如何用好这样的基准

你不能因为某个模型登顶了别人的排行榜就采用它，而 Argo-Bench 恰恰证明了这一点。它的任务属于一家模拟公司，而你的不属于。你能借的是方法：从你自己真实的工作流里挑出一套任务、评判后果而非输出、并同时衡量成功率与「每个已解决任务的成本」。你的数字大概率会比厂商 demo 更难看——请把这种诚实当作重点。基准是一面镜子，不是一块记分牌。

# Run this against your own workflows before you trust an agent.

def eval_agent(agent, tasks, golden):
    scores = [grade(t, agent.run(t), golden[t.id]) for t in tasks]
    solved = sum(s >= 95 for s in scores) / len(scores)
    return {
        'mean': sum(scores) / len(scores),
        'solved_rate': solved,
        'n': len(scores),
    }

# Pick models on solved_rate for YOUR tasks, not a leaderboard.

一份实用的 Agent 评测清单

五步。一：从团队真实处理过的案例里挑 20-50 个任务，带上已知的正确结果。二：在看任何模型之前，先定义好「解决」的门槛，免得事后挪动它。三：评后果——根因、行动、以及 Agent 有没有把什么弄坏。四：让所有候选在相同的提示词与工具下运行。五：每月重跑一次，因为模型和你的数据都会漂移。做到这些，你就会拥有排行榜给不了的东西：关于你自己工作负载、按你自己标准的证据。