如果一个AI没有理解你的需求,却仍然完成了购买,这究竟算成功还是失败?Visa 11月5日发布的Agentic Commerce Benchmark把答案拉回了交易现场。测试覆盖12家实验室的22个模型,让它们完成15类购物挑战。整体通过率只有57.2%,最好模型达到82.2%,最差只有28.9%。
更令人不安的数字是,54%的失败运行仍然做出了购买。这意味着模型可能没看清预算、兼容性或者隐藏需求,却已经跨过了最难撤回的那一步。对聊天机器人来说,答错了可以重问;对拿着支付权限的购物代理来说,错误会变成包裹、退货和真实的资金流。
会搜索,不代表会完成委托
购物任务很少只是“找到一台电脑”。用户可能同时要求价格上限、配送时间、与旧设备兼容,还有一句没有直说的需求,比如旅行时要轻。Visa的测试发现,最擅长挖出隐含需求的5个模型平均得分70.2%,最弱的5个只有44.4%。差距不只来自商品知识,还来自它们是否会追问、是否知道什么时候应该停下。
稳定性又是另一道坎。同一个任务连做三次,三次都通过的比例只有34.2%。对普通问答,偶尔波动也许可以接受;对订单系统,同样的预算和规则却得到不同购物结果,会让审计和客服都陷入困难。企业需要的不是一次惊艳演示,而是每次都能说清“为什么买这个”。
支付之前应该有一道明确的门
Visa Trust Index里,72%的受访者用过AI助手,但只有23%愿意相信AI处理支付。这个差距很合理:人们愿意把比较商品交给模型,却还不愿意把最后的财务决定也一并交出。购物代理若想越过这条线,需要把最后确认做成一个可理解的瞬间:商品、总价、配送、退货条件和模型的不确定性,都要在付款前被看到。
Visa表示这项基准将继续扩展到结账、支付和订单管理。这一步很关键,因为真正的商业代理不只提建议,还会调用接口、产生凭证、处理失败。安全的代理不能仅依靠“更聪明的模型”,还要靠限额、可撤回操作、人工确认和完整日志。
这份报告把购物代理的问题说得很具体:不是它能不能找到商品,而是它在理解不完整时,会不会仍然花掉你的钱。真正值得信任的系统,应当把“停下来说不确定”当成一项能力,而不是一次任务失败。
好交易要把错误留在付款之前
购物代理可以被拆成理解需求、搜索比较和执行购买三段。前两段可以允许模型更自主,最后一段则要用更严格的阈值。低价、可退货的日用品可设小额自动购买;高价商品、订阅或不可退订单应强制人工复核。
代理还应展示自己没有满足的条件,而不是只给出一个看起来最合适的候选。商品、总价、运费、配送日期、退货条款与兼容性应在最后确认页集中出现。流程多了一步,却能把大量退货、客诉和错误支付留在交易之前。
平台也需要给代理更好的机器可读信息。退货期、型号兼容和库存状态若只藏在图片或模糊文案里,再强的模型也会增加误判。可靠性一半来自模型,另一半来自商家是否给出清晰、可验证的交易条件。当这些基础数据不完整时,最安全的动作仍是询问,而不是下单。
评测也不应只统计“是否买到”。一个代理可能选到合适商品,却用了不必要的昂贵配送;也可能遵守预算,却忽略退货限制。所以系统需要同时记录约束满足率、总价、撤销成本和用户介入次数。只有这些指标一起改善,才能说明AI不仅会花钱,也真正理解了委托。












