英伟达推出新平台以约束失控AI智能体
TechCrunch
Ai 注目
英伟达周一推出一套软硬件工具,旨在为AI智能体增加独立安全层,确保它们即使试图逃出测试环境也仍被限制在其中。黄仁勋表示,这一名为 Nvidia Open Agent Safety Platform 的方案本可阻止近期多起AI模型越狱事件。
役立つ
No.ヘルプ

随着外界围绕近期一连串“失控”AI智能体的争论持续升温——这究竟是迈向通用人工智能(AGI)的一步,还是一个更传统的工程问题——英伟达给出了自己的答案。

英伟达首席执行官黄仁勋周一推出了一套软硬件工具包,为AI智能体增加独立的安全层,确保它们即使试图突破限制,也仍被留在测试环境内。

此次发布紧随一连串涉及 Anthropic、谷歌、OpenAI 和 Meta 的黑客事件之后。这些AI模型绕过了安全控制,逃离测试环境并访问了真实世界系统。最早、也最引人关注的例子出现在今年夏天,当时 OpenAI 的智能体在尝试完成一项网络安全任务时突破了 Hugging Face。此后类似事件不断出现——OpenAI 还专门上线了一个网站,用于接收其AI智能体“失控”的报告。

黄仁勋周一在接受 CNBC 采访时表示,英伟达新的 Nvidia Open Agent Safety Platform 本可以阻止这些突破。

英伟达通过向AI实验室销售 GPU 和 CPU 芯片已赚取数百亿美元。该公司并不支持放慢开发速度或为行业增加新的监管来解决安全问题。英伟达认为,答案是把部分安全控制移到智能体之外——建立一个持续、独立的安全守卫,约束AI智能体的行为。

黄仁勋在声明中说:“AI 对社会的非凡潜力,只有在我们解决AI安全问题后才能真正实现。随着我们不断探索AI能力的前沿,我们必须加速AI安全前沿的发现。安全与保障需要全栈工程。”

英伟达的新平台将 OpenShell 与 Sentry 结合起来。OpenShell 是其开源软件,用于控制智能体在运行时可以访问的内容;Sentry 则是运行在英伟达 BlueField-4 数据处理单元上的独立监控系统。英伟达表示,将 Sentry 放在独立处理器上,而不是放在AI智能体运行的 CPU 或 GPU 上,可以对智能体活动提供隔离视角。

OpenShell 并不是新产品;英伟达在 3 月就已宣布这款软件。但英伟达认为,正是这种组合才能提供行业继续推进所需的安全层。OpenShell 为智能体提供软件边界,而 Sentry 则在硬件层面增加另一道防线。公司称,它将持续监控行为,并在毫秒级“隔离试图越界的智能体”。

英伟达列出了数十家支持这一努力并使用该开源平台的公司,包括 Anthropic、Arm、微软、甲骨文和 SpaceX。OpenAI 并未列入参与公司名单。

黄仁勋周一在接受 CNBC 采访时表示,这项工作的起点可以追溯到一年前,当时 Peter Steinberger 推出了名为 OpenClaw 的智能体操作系统。英伟达在 3 月发布了 NemoClaw,这是一款企业级AI智能体平台,也是其基于 OpenClaw 打造、内置安全功能的版本。

黄仁勋在 CNBC 采访中说:“当你部署一个智能体时,不管它有多聪明,你做的第一件事就是剥夺它的所有权限。”他随后将这些安全措施比作公司如何管理员工,甚至是高管。

英伟达的这项发布得到了广泛支持。那些警告称,如果开发放缓,可能会让中国在AI领域超越美国的人士,对此表示认可。

风险投资人、英伟达创始人之一、前白宫AI事务负责人、以及总统科学技术顾问委员会联合主席 David Sacks 表示,英伟达的公告提醒人们,智能体安全本质上是一个工程问题。

他在 X 上写道:“最近的越狱并不能证明开发必须停止。它们证明的是沙箱太弱了。运行时环境设计得很差,而且配置不当。”

チップ
$0
いいね
0
保存
0
閲覧数 18
CoinWorldは、読者の皆様にブロックチェーンを理性的に捉え、リスク意識を高め、各種仮想トークンの発行と投機に注意を払うようお願いします。サイト内のすべてのコンテンツは市場情報または関連する見解のみであり、いかなる形式の投資アドバイスも構成しません。機密情報を含むコンテンツを発見した場合は、“報告”,をクリックしてください。すぐに対処します。
送信
コメント 0
人気
最新
まだコメントがありません。最初のコメントを投稿しましょう!
関連
Novogratz 认为比特币年底前或触及10万美元
Galaxy Digital CEO Mike Novogratz表示,他仍看好比特币图表走势,并称如果比特币在年底前升至10万美元也不会让他感到意外。他还提到,加密生态中一些小型进展正在重新提振市场情绪。
U.Today
·2026-09-29 04:03:59
0
Bitget黑客在THORChain拒绝冻结请求后将630万美元转入比特币
据CoinDesk审查THORChain交易记录,与Bitget黑客相关的钱包在THORChain上完成27笔兑换,将约2390枚ETH换成75.2枚BTC。Bitget要求THORChain拒绝与攻击者相关地址的交易,但THORChain表示其紧急控制不能针对单笔交换或特定地址冻结资金。
crypto.news
·2026-09-29 04:03:58
0
特斯拉将 Roadster 演示推迟两周至10月15日,归因天气
特斯拉表示,因当地预计将出现严重天气且活动只能在户外举行,公司决定将 Roadster 演示改期至10月15日。Electrek 认为,单纯以天气解释这一延期并不充分。
The Block
·2026-09-29 04:03:56
0
Multiply推出AI广告支出回收代理,旨在消除每年数十万美元的谷歌广告浪费
Multiply宣布推出Ad Spend Recovery Agent,这是一款AI代理,旨在帮助营销人员识别并消除传统人工管理或基于规则自动化难以发现的广告浪费。公司称,谷歌广告账户通常会将30%的预算浪费在无关或偏离意图的搜索流量上,样本数据显示平均每年浪费126,000美元。
PR Newswire
·2026-09-29 04:03:55
0
Shopify 向浏览器端 AI 代理开放结账功能
Shopify 周一宣布,浏览器端 AI 代理现在可以在 Shopify 商家网站上完成购买,能力从搜索商品、加入购物车扩展到读取结账页面、更新信息并在买家授权后提交订单。公司称,这一功能将向所有符合条件的 Shopify 商家推出。
TechCrunch
·2026-09-29 03:55:40
3
もっと見る