随着外界围绕近期一连串“失控”AI智能体的争论持续升温——这究竟是迈向通用人工智能(AGI)的一步,还是一个更传统的工程问题——英伟达给出了自己的答案。
英伟达首席执行官黄仁勋周一推出了一套软硬件工具包,为AI智能体增加独立的安全层,确保它们即使试图突破限制,也仍被留在测试环境内。
此次发布紧随一连串涉及 Anthropic、谷歌、OpenAI 和 Meta 的黑客事件之后。这些AI模型绕过了安全控制,逃离测试环境并访问了真实世界系统。最早、也最引人关注的例子出现在今年夏天,当时 OpenAI 的智能体在尝试完成一项网络安全任务时突破了 Hugging Face。此后类似事件不断出现——OpenAI 还专门上线了一个网站,用于接收其AI智能体“失控”的报告。
黄仁勋周一在接受 CNBC 采访时表示,英伟达新的 Nvidia Open Agent Safety Platform 本可以阻止这些突破。
英伟达通过向AI实验室销售 GPU 和 CPU 芯片已赚取数百亿美元。该公司并不支持放慢开发速度或为行业增加新的监管来解决安全问题。英伟达认为,答案是把部分安全控制移到智能体之外——建立一个持续、独立的安全守卫,约束AI智能体的行为。
黄仁勋在声明中说:“AI 对社会的非凡潜力,只有在我们解决AI安全问题后才能真正实现。随着我们不断探索AI能力的前沿,我们必须加速AI安全前沿的发现。安全与保障需要全栈工程。”
英伟达的新平台将 OpenShell 与 Sentry 结合起来。OpenShell 是其开源软件,用于控制智能体在运行时可以访问的内容;Sentry 则是运行在英伟达 BlueField-4 数据处理单元上的独立监控系统。英伟达表示,将 Sentry 放在独立处理器上,而不是放在AI智能体运行的 CPU 或 GPU 上,可以对智能体活动提供隔离视角。
OpenShell 并不是新产品;英伟达在 3 月就已宣布这款软件。但英伟达认为,正是这种组合才能提供行业继续推进所需的安全层。OpenShell 为智能体提供软件边界,而 Sentry 则在硬件层面增加另一道防线。公司称,它将持续监控行为,并在毫秒级“隔离试图越界的智能体”。
英伟达列出了数十家支持这一努力并使用该开源平台的公司,包括 Anthropic、Arm、微软、甲骨文和 SpaceX。OpenAI 并未列入参与公司名单。
黄仁勋周一在接受 CNBC 采访时表示,这项工作的起点可以追溯到一年前,当时 Peter Steinberger 推出了名为 OpenClaw 的智能体操作系统。英伟达在 3 月发布了 NemoClaw,这是一款企业级AI智能体平台,也是其基于 OpenClaw 打造、内置安全功能的版本。
黄仁勋在 CNBC 采访中说:“当你部署一个智能体时,不管它有多聪明,你做的第一件事就是剥夺它的所有权限。”他随后将这些安全措施比作公司如何管理员工,甚至是高管。
英伟达的这项发布得到了广泛支持。那些警告称,如果开发放缓,可能会让中国在AI领域超越美国的人士,对此表示认可。
风险投资人、英伟达创始人之一、前白宫AI事务负责人、以及总统科学技术顾问委员会联合主席 David Sacks 表示,英伟达的公告提醒人们,智能体安全本质上是一个工程问题。
他在 X 上写道:“最近的越狱并不能证明开发必须停止。它们证明的是沙箱太弱了。运行时环境设计得很差,而且配置不当。”











