本週故事關於真相:誰來決定一個 AI 系統是否好,以及行業為何把答案從供應商幻燈片移到自己的測試基座。
基準信任崩塌
多年來,模型質素靠排行榜分數傳達,而那些分數很少扛得住真實工作流。本週買家公開打折這些數字,轉而要求對他們真在乎的任務做評估。排行榜成了起點,而非結論。 這是成熟,非犬儒。當指標易被刷,市場終會把它計入價格。轉向自有評估,是市場變聰明。
自有評估成常態
本週贏得信任的公司,是那些公開自己評估套件者:確切問題、評分規則、已知好答案。潛在買家可自己跑套件看結果。透明取代斷言。 對買家,公開套件勝基準徽章,因它可復現且相關。你不是信一個主張,而是驗證一種方法。
誠實成差異點
承認系統何處吃力的供應商贏得了信譽。說“這在多步連線上失敗”讀來是自信而非弱點,因它告訴買家該在哪裏施加監督。誠實供應商比隱藏邊界的完美者更易整合。 這反轉了舊銷售邏輯。在評估時代,向你展示失敗模式的供應商,才是你真能部署的。
真評估套件含甚麼
可信套件窄而具體:一組帶已知正確輸出的固定代表性問題、人人可查的評分法、每次變更都跑的節奏。它無聊、可重複,遠比頭條分數有資訊。 紀律才是點。永不跑的套件是裝飾;每次釋出都跑的套件是控制。
對採購的意味
採購團隊加了新閘:給我看你的評估套件,讓我跑。無套件的被要求解釋,而誠實答“我們還沒建”成了紅旗而非歉意。 這為整個市場抬高了地板。要賣嚴肅 AI,你現在必須能在買家認得的任務上證明它。
要點速覽
- 供應商基準失信任;自有可復現評估取代之。
- 公開評估套件勝基準徽章,因可驗證。
- 展示失敗模式的誠實供應商更易部署。
- 採購現以“給我套件、讓我跑”為閘。
推行起點
任何 AI 採購前,要求供應商共享評估套件,並在你自己的代表性任務上跑。給不出,那便是答案。內部建同紀律,以便在你真問的問題上度量每次模型變更。
接下來看甚麼
預期評估套件成標準採購工件,獨立機構就共享任務釋出跨供應商對比。不可驗證基準主張的時代在結束,先公開者將定誠實規範。
本季如何跑一套評估套件
- 從團隊真會爭的五個問題起步;這些分歧就是你的首批評估用例,因為它們暴露兩位合理的人究竟在哪裏分叉。
- 把已知好答案寫一次,放進人人可讀、可 fork、可質疑的平白檔案;工件比分數更重要。
- 每次換模型或供應商都跑套件,並把回退當失敗測試對待:不解釋清楚就攔下合併。
- 內部公開記分卡,讓採購與工程共享一個真相,而非兩份互相打架的幻燈片。
- 請一位持疑的同事來設法擊破它;經得起攻擊的套件,才是你信得過的套件。
點不在完美分數,而在可復現的習慣——讓“我們 95 分”變得無關。肯讓你在自己問題上跑套件的供應商,已跨過多數對手靜默跌過的欄,因為他們只給你看為自己寫的基準。