文 | 利昂先生
2026年2月3日，MLE-Bench的GitHub讨论区炸了。
激烈程度对这个以较量AI Agent机器学习水平的垂直领域来说，简直是破天荒的头一次。
话题源自一家名叫Disarray的创业公司提交了一个77.78分的成绩。
这个数字本身没什么——但如果看到，此前全球多个顶尖团队在长达数月的拉锯中，成绩始终在60分上下苦苦挣扎，就会知道这并不简单。
高手过招，往往精确到每一个百分点。
而Disarray凭空跳开的近20分，让一场关于benchmark本质的论战，就此拉开。
机器学习界的“铁人三项”
MLE-Bench，全称Machine Learning Engineering Benchmark，由OpenAI推出。它不是为了测试模型会不会聊天、会不会写诗，而是测试AI Agent能不能像一个真正的机器学习工程师那样，独立完成一整套数据竞赛任务。
整个体系可以理解为机器学习界的“铁人三项”——
考题是70多道真实的Kaggle（全球数据科学家和机器学习爱好者的顶级竞技平台）竞赛题，每一道题都来自过去十年里全球数据科学家真刀真枪比拼过的赛场：从房价预测到图像识别，从GPS定位到狗品种分类。Agent需要自己理解问题、清洗数据、特征工程、调模型、集成——全套流程，没人帮忙。
更狠的是，每道题要跑3次，取平均。一次完整的榜单提交，光算力成本就高达数万美元，时间要耗上好几周。
所以这个榜单从来不是热闹的游乐场——它门槛高、成本高、参与者少，但每一个上榜的分数，都沉甸甸的。
自2025年9月以来，这个此前提交不多的榜单突然热闹起来，陆续有近10家选手冲了进来。大家你追我赶，分数从40多分艰难地爬到了60出头。每一分的提升，背后都是Agent架构的实质性突破。
然后，Disarray来了。
一场有漏洞的考试
MLE-Bench与真实Kaggle竞赛略有不同。
真实的Kaggle竞赛中，选手提交模型后，主办方会用一套“私有测试集”来打分。这套数据选手永远看不到，只能通过公开榜的分数来间接猜测自己的表现。这叫“闭卷”，目的是防止有人针对答案做优化。
但MLE-Bench拿不到真正的私有测试集。于是OpenAI做了一个妥协：把原本完全公开的数据集拆成两份，一份继续叫“公开测试集”，另一份假装成“私有测试集”。
可是问题来了：这两份数据，都曾经在网上出现过。
这就好比老师把一本练习册拆成两半，说一半是“作业”，另一半是“考试题”——但学生早就把整本练习册做过一遍了。只要Agent足够“会搜索”，理论上就能提前找到所有“考试题”的答案。
Disarray的Agent，恰好踩在了这个漏洞上。
他们在dog-breed-identification这道题上跑出了接近0.00x的极低分数（这个指标越低越好），原因是Agent自己发现了Kaggle比赛和Stanford Dogs数据集之间的关系，直接用了外部数据。
在另一道GPS任务上，他们甚至跑出了0.0分——误差为零，这在物理上几乎不可能，除非Agent提前知道了“标准答案”。
但争议的核心还不止于此。
一个比特的信号，够不够“作弊”？
比“提前找到数据”更微妙的，是Agent在答题过程中能不能收到来自“考试题”的反馈。
Disarray团队承认，他们的Agent在运行中会收到一个极其简单的信号——二选一：“你目前的表现够得上一块铜牌吗？是或否。”
这个信号只有一个比特的信息量，听起来很小。
但关键不在于信号大小，而在于它来自哪里。它就来自那份被当作“私有测试集”的数据。
换句话说，Agent每跑完一个阶段，系统就会告诉它：你现在用这套“考试题”自测，已经达到铜牌水平了——或者还没有。
这就好比一个学生在做期末考试卷的时候，老师每隔十分钟就过来看一眼，说：“你现在离及格还差一点”“你现在已经及格了”。虽然没告诉他具体哪道题错了，但这个信息本身就足以让他决定：是继续死磕这道题，还是赶紧换下一道。
一位长期关注AI评估范式的社区资深贡献者，AtrixTang把这个比喻说得更狠：这就像用期末考试题当随堂测验的题目，学生一边做一边收到反馈，然后拿着同样的题目参加期末考试。
他说，Kaggle的类比不成立——因为真实竞赛中，公开榜和私有榜用的是完全不同的数据。
图注：如果agent在“提前终止/重试信号”和“最终评估”中都使用相同的私有测试集，那么严格来讲，这就构成了测试集泄露。
而MLE-Bench用同一套数据既给反馈又做最终评分，这就是典型的“测试集泄漏”。
AtrixTang主张拆成两个榜：一个严格不给任何反馈（Standard Track），一个允许反馈（Oracle Track），让观众自己判断哪个更有意义。
论战的七种立场
PR #118（Disarray的提交结果的页面，编号为#118）的评论区成了一面棱镜，折射出整个社区对“什么才是公平测量”的理解裂痕。
Disarray提交者“moustafa-a”坚持，Disarray是按现有规则跑的，没有改任何考试流程。他还强调，那个“是/否”信号只是一个资源管理工具——告诉Agent要不要继续花钱跑下去，不是什么定向优化。
“dorx”作为Disarray团队核心发言人，承认了两件事：GPS任务的0.0分确实利用了benchmark已知的一个漏洞；狗品种识别用了外部数据。但她把这解释为“跨任务学习能力”，不是作弊。
图注：按照标准惯例，在开发过程中，代理程序在任何时候都不能访问私有测试数据。代理程序唯一能收到关于测试数据的反馈是在它们请求提前终止（为了有效利用资源）时，此时它们会得知自己是否达到了铜牌门槛。
alexwang939393是最早提出系统性疑问的人。他不纠缠细节，直接把问题抛给benchmark的初衷：这些高分，测的到底是不是“机器学习工程能力”？
图注：作为参考，没有使用外部数据的最先进模型通常能达到约0.2-0.3的分数。第三组（0.00755）与第一组/第二组（约0.04）之间的巨大差距也值得注意。
thesofakillers身份特殊——他是MLE-Bench此前的作者。他的态度很微妙：当前考试确实有漏洞，利用这些漏洞“可以接受，但不理想”。他建议在榜单上加个脚注说明情况。
AtrixTang态度最坚决：只要用了秘密数据的反馈，不管信号多微弱，就不该和没用过的人放在同一个榜单上。
机器学习领域研究者“RishiHazra”和社区开发者“ariesadel”则更强硬：这种提交根本不该上榜。信任是benchmark的核心，一旦有人用测试集反馈优化，整个排名就失去了意义。
joe-needham作为OpenAI现任研究员、MLE-Bench的维护者，态度最务实。他承认目前榜单靠“信任”维持，因为仓库无法验证每个提交的细节。最终，他还是把这个有争议的结果合并进了主榜——但为后来的调整埋下了伏笔。
用“笨办法”的团队
在这场喧嚣中，有一支团队的选择显得格外安静，甚至有点“不合时宜”。
百度伐谋团队在2025年10月10日第一次提交结果，得分43.56，已经是当时的SOTA。此后榜单逐渐热闹，近10家选手陆续入场。
2025年12月27日，他们做了一个不太好理解的决定——当时最先进的gemini-pro-3.0模型已经可用，但他们没有换，而是继续用上一代的gemini-pro-2.5。
原因很简单：他们想搞清楚Agent自身的能力到底提升了多少。从1.0版本到2.0版本，Agent架构做了一次大升级。如果同时换模型，成绩的提升就说不清楚是模型的功劳还是Agent的功劳了。
这就好比你想测试一个新训练方法对运动员成绩的影响——如果同时给运动员换一双更高级的跑鞋，你就说不清楚成绩提升到底是训练方法的功劳，还是跑鞋的功劳。
59.56分，新SOTA。
这个数字证明了Agent层优化的有效性。但代价是他们的分数看起来“不够高”——因为别人可能既优化了Agent，又用了更好的模型，还用了额外数据。
打一次榜成本太高了，高到任何“取巧”都有巨大的诱惑。
但百度伐谋的选择是：宁可慢，也要把每一分提升的来源搞清楚。这种“笨办法”在工业界叫“可解释性”——你不仅要知道自己跑得快，还要知道为什么跑得快。
一次对照实验
Disarray的77.78分出来之后，百度伐谋团队没有急于质疑，也没有跟风模仿。他们做了一件很“工业界”的事：设计对照实验。
他们决定换成最新模型gemini-pro-3.0再试一次，但其他条件保持不变——不用私有测试集的反馈信号，不用外部网络数据，不利用任何已知漏洞。Agent只能老老实实地根据给定的训练数据去学习和优化。
为什么这么“轴”？这可能与百度伐谋的定位有关。
作为百度智能云推出的全球首个可商用的自我演化超级智能体，百度伐谋瞄准的是帮助真实世界优化算法，尤其是那些关系国计民生的场景里找到最优解。
而在真实世界里，你不可能提前拿到“未来数据”：做一个销量预测模型，你不可能把未来七天的真实销量告诉Agent，让它根据这个反馈去调整。做一个推荐系统，你不可能提前知道用户明天会点什么。
在真实世界里，没有“铜牌阈值”信号，没有“再试一次”的机会，没有“偷偷上网找答案”的可能。
2026年2月23日，他们提交了64.44分。这个分数与Disarray的77.78依旧有差距。
但这是一个在“不偷看答案、不收反馈信号、不上网搜数据”的规则下跑出来的分数——它的含金量，参照系完全不同。
一个AI榜单的自我修养
2026年3月23日，MLE-Bench仓库新增了一个专门的赛道，名字很直白：“添加数据泄漏说明”。有数据泄漏嫌疑的选手被移到了第二个榜单，旁边加了脚注说明。
图注：与主排行榜不可直接比较的额外提交（小孩儿那桌？）
维护者的选择是“先收录，但加警示”——不是直接把Disarray的成绩删掉，而是通过信息披露让观众自己判断。这是一种务实的妥协，但客观上完成了一次矫正。
百度伐谋2.0版本作为无数据泄漏嫌疑的选手，重回主榜榜首。
图注：MLE-bench主榜，百度伐谋位列第一
这个结果耐人寻味。
它可能也不意味着Disarray的技术不优秀——比如，他们对考试规则的理解非常深刻，甚至找到了出题人自己都没发现的漏洞。
但“能做到什么”和“应该测量什么”是两个不同的问题。
当百度伐谋团队选择不用最新模型、不用秘密数据反馈、不用外部数据的时候，他们其实在做一个更根本的承诺：benchmark的价值，在于模拟真实世界的约束。而在这个约束下持续提升Agent的能力，才是硬核技术的真正含义。
这不是关于道德优越感。
这是关于：在一个榜单泛滥、信任稀缺的时代，什么样的测量才值得被记住。
答案或许很简单：那个愿意对测量本身保持敬畏的榜单，那个不是为了刷分而是为了解决问题的团队。
他们赢得的，不只是排名。
翔云优配提示：文章来自网络，不代表本站观点。
