9 月第二周说清一件事:讨论从“智能体能否做任务”转向“我们能否把生产系统托付给智能体”。
智能体离开实验室
多步智能体工作流——规划、调工具、观察、重试——开始跑在真实后台流程里,而非会议舞台。成功的部署共有一模式:范围窄、工具显式、在动钱那步有人把关。 失败的则想一次性自动化一切。教训与软件业一贯相同:有界、可观测的系统赢;无界、不透明的吓退签字人。
评测成了纪律
随着智能体执行真实动作,行业收敛到一个无聊却关键的做法:在已知任务上给智能体行为打分的固定评测套件。能交付评测基座的供应商显出成熟度;给不出的被默默跳过。 评测是把有前景原型变成可靠产品的无光工程,也是声称“这能用”唯一诚实的方式。
买家抬高门槛
被“从未上生产”的试点灼伤的采购团队,开始问更尖锐的问题:你的评测套件是什么、监督日志是什么、每成功任务的花费是多少? novelty 折扣蒸发了。 这对认真买家是好事。它把支出转向能证可靠性的供应商,惩罚那些价值全在一卷演示片的供应商。
人工检查点模式
本周主导的安全模式,是不可逆动作处的人工检查点。智能体准备并建议;人批准写、付款、发送。这把速度放在安全处,把控制放在丢失昂贵处。 对中型公司,这模式是无需企业级风险职能即可享受智能体价值的入场券。务实,非怯懦。
工具访问成新攻击面
给智能体工具就是给它权力。安全讨论从“模型会不会说错话”转向“智能体会不会用工具干坏事”。限定权限与动作日志成了基本盘。 架构答案是最小特权工具访问,加智能体每个动作的完整审计轨迹,使一切不再隐形发生。
接下来预期
预期评测自成产品品类,采购框架标准化到可靠性证据。从第一天就内建评测与监督的公司会复利信任;事后补的会落后。 对买家,清单现已具体:评测套件、监督日志、限定工具、单任务成本。供应商勾不出这些,演示就不是产品。
要点速览
- 智能体工作流带人工检查点进入真实部署。
- 评测基座成了交付与演示的分水岭。
- 采购现要求在前期就给可靠性证据。
- 工具访问成新攻击面;限定并留痕。
落地起点
若资助智能体项目,先要四样:评测套件、监督日志、限定工具权限、单任务成本。给不出的供应商尚未生产就绪,演示再惊艳也罢。
接下来看什么
下周讨论可能从“智能体是否安全”转向“其安全性如何被证据化”。把评测套件与监督日志标准化的采购框架,将区分交付者与仅演示者;采用该清单的买家,将避过昂贵的智能体事故第二波。