本周故事关于真相:谁来决定一个 AI 系统是否好,以及行业为何把答案从供应商幻灯片移到自己的测试基座。
基准信任崩塌
多年来,模型质量靠排行榜分数传达,而那些分数很少扛得住真实工作流。本周买家公开打折这些数字,转而要求对他们真在乎的任务做评测。排行榜成了起点,而非结论。 这是成熟,非犬儒。当指标易被刷,市场终会把它计入价格。转向自有评测,是市场变聪明。
自有评测成常态
本周赢得信任的公司,是那些公开自己评测套件者:确切问题、评分规则、已知好答案。潜在买家可自己跑套件看结果。透明取代断言。 对买家,公开套件胜基准徽章,因它可复现且相关。你不是信一个主张,而是验证一种方法。
诚实成差异点
承认系统何处吃力的供应商赢得了信誉。说“这在多步连接上失败”读来是自信而非弱点,因它告诉买家该在哪里施加监督。诚实供应商比隐藏边界的完美者更易集成。 这反转了旧销售逻辑。在评测时代,向你展示失败模式的供应商,才是你真能部署的。
真评测套件含什么
可信套件窄而具体:一组带已知正确输出的固定代表性问题、人人可查的评分法、每次变更都跑的节奏。它无聊、可重复,远比头条分数有信息。 纪律才是点。永不跑的套件是装饰;每次发布都跑的套件是控制。
对采购的意味
采购团队加了新闸:给我看你的评测套件,让我跑。无套件的被要求解释,而诚实答“我们还没建”成了红旗而非歉意。 这为整个市场抬高了地板。要卖严肃 AI,你现在必须能在买家认得的任务上证明它。
要点速览
- 供应商基准失信任;自有可复现评测取代之。
- 公开评测套件胜基准徽章,因可验证。
- 展示失败模式的诚实供应商更易部署。
- 采购现以“给我套件、让我跑”为闸。
落地起点
任何 AI 采购前,要求供应商共享评测套件,并在你自己的代表性任务上跑。给不出,那便是答案。内部建同纪律,以便在你真问的问题上度量每次模型变更。
接下来看什么
预期评测套件成标准采购工件,独立机构就共享任务发布跨供应商对比。不可验证基准主张的时代在结束,先公开者将定诚实规范。
本季如何跑一套评测套件
- 从团队真会争的五个问题起步;这些分歧就是你的首批评测用例,因为它们暴露两位合理的人究竟在哪里分叉。
- 把已知好答案写一次,放进人人可读、可 fork、可质疑的平白文件;工件比分数更重要。
- 每次换模型或供应商都跑套件,并把回退当失败测试对待:不解释清楚就拦下合并。
- 内部公开记分卡,让采购与工程共享一个真相,而非两份互相打架的幻灯片。
- 请一位持疑的同事来设法击破它;经得起攻击的套件,才是你信得过的套件。
点不在完美分数,而在可复现的习惯——让“我们 95 分”变得无关。肯让你在自己问题上跑套件的供应商,已跨过多数对手静默跌过的栏,因为他们只给你看为自己写的基准。