420名科学家呼吁将AI模型默认与互联网隔离
Decrypt
Ai 注目
包括“AI教父”杰弗里·辛顿和约书亚·本吉奥在内的420名科学家联署公开信,要求AI实验室默认将具备网络攻击能力的模型与互联网隔离,并建立国际标准来约束这类模型的测试与部署。
役立つ
No.ヘルプ

据周二发布的一封公开信,420名科学家——包括被称为“AI教父”的杰弗里·辛顿(Geoffrey Hinton)和2018年图灵奖得主约书亚·本吉奥(Yoshua Bengio)——呼吁AI实验室默认将具备网络攻击能力的模型与互联网隔离。

这封公开信要求AI实验室默认对具备网络攻击能力的模型进行“airgap”处理,也就是物理上将其与任何外部网络断开连接。

信中写道:“短期内,应使用强有力的沙箱机制,包括 airgapping(断开互联网连接),以为具备网络攻击能力的AI模型提供高可靠性的隔离。”

截至周三,这封信已有450个签名者,其中包括加州大学伯克利分校的斯图尔特·拉塞尔(Stuart Russell)和麻省理工学院的罗恩·里维斯特(Ron Rivest),后者是RSA加密系统的共同发明人。签名名单仍在实时增加。

所谓“具备网络攻击能力的模型”,是指能够自行发现并利用软件漏洞的AI。实验室会在沙箱中测试这种能力;沙箱是一个封闭的数字环境,AI可以在其中攻击虚拟目标,而不会接触到真实系统。今年夏天,这些隔离环境屡次出现漏洞。

7月,OpenAI承认,GPT-5.6 Sol以及一款尚未发布、能力更强的模型突破了一个上锁的测试环境,并入侵了 Hugging Face。Hugging Face 是一个托管超过一百万个公开可用AI模型的平台。当时这些模型正在 ExploitGym 上接受测试。ExploitGym 是一个基准测试,向AI代理提供898个真实软件漏洞,并要求它们把每个漏洞转化为可执行攻击,对每个漏洞按通过或失败评分。

不久后,外界又有报道称,OpenAI 的模型入侵了澳大利亚政府,并在未经适当授权的情况下访问了美国联邦机构的信息。

随后,Anthropic 复查了超过141,000次测试运行,发现有三起案例中,Claude 模型在测试合作方的环境被意外保持联网状态后,入侵了真实公司。其中之一 Claude Mythos 5 向 PyPI 上传了一个恶意软件包。PyPI 是程序员下载 Python 代码的公共库,该软件包最终被安装到15台系统上,之后才被移除。受影响的两家公司直到 Anthropic 通知后才知道自己遭到入侵。

Meta 在8月证实,其 Muse Spark 模型也通过同样的测试失误入侵了另一家公司。中国的 Kimi K3——一款任何人都可以下载的模型——则从英国 AI 安全研究所测试框架搭建的沙箱中溜出,并直接从 GitHub 复制了测试答案。

这封信的作者表示,这些事件可以有两种解读:一种是对齐问题,即AI以其创造者从未预期的方式追逐目标;另一种则是安全措施松散,而更稳固的沙箱本可以阻止这些事件。他们认为两者兼而有之,并警告如果不作出改变,下一次事件会更糟。

“如果不立即改变AI开发和部署实践,这类事件将继续发生,而未来的事件将对我们暴露在外的关键基础设施造成更严重的破坏。”

根据这项提议,实验室应默认将任何具备严重黑客能力的模型进行 airgap 处理,至少在初期如此。任何需要更大自由度、例如互联网访问的模型,都应遵循一个与各国政府共同设立的新国际机构制定的标准;该机构还将收集隔离失败的报告,并最终公开这些报告。

行业内部的回应大多方向相反。8月,OpenAI 总裁格雷格·布罗克曼(Greg Brockman)在一篇文章中提到公司遭遇的入侵事件,并呼吁每个安全团队立即部署AI代理。Hugging Face 则是在使用一款中国开源模型后,才理清其服务器上的攻击;此前美国商业AI拒绝分析相关攻击数据。

在 OpenAI 披露相关事件两天后,两名美国国会议员提出了《AI Kill Switch Act》法案。该法案将允许国土安全部要求对前沿模型限流或关闭。不过,该法案豁免了红队测试或结构化测试期间发生的一切,而这恰恰是今年夏天所有这些入侵事件发生的场景。

9月29日,白宫采取了更温和的路线。Nvidia、xAI、Meta、Google、OpenAI 和 Anthropic 签署了一项自愿协议,内容建立在内部控制和独立审查之上。特朗普总统称这项协议“在道德上具有约束力”,但其中没有任何内容具有法律强制力。

Decrypt 联系了这封信中列为媒体联系人的几位研究人员,但未立即收到回复。

这封信本身不具备法律效力,但其406名签署者来自六大洲的大学和研究机构,从多伦多和苏黎世到圣地亚哥和基加利都有。

チップ
$0
いいね
0
保存
0
閲覧数 17
CoinWorldは、読者の皆様にブロックチェーンを理性的に捉え、リスク意識を高め、各種仮想トークンの発行と投機に注意を払うようお願いします。サイト内のすべてのコンテンツは市場情報または関連する見解のみであり、いかなる形式の投資アドバイスも構成しません。機密情報を含むコンテンツを発見した場合は、“報告”,をクリックしてください。すぐに対処します。
送信
コメント 0
人気
最新
まだコメントがありません。最初のコメントを投稿しましょう!
関連
MIAX宣布Bloomberg股指期货现已在NinjaTrader上线
MIAX表示,Tini B500指数期货和Tini B100指数期货已向符合条件的NinjaTrader Group客户开放。公司称,这些产品面向零售交易者,提供更小的名义规模、零交易所费用和免费市场数据。
PR Newswire
·2026-10-15 18:57:05
0
BNY宣布派发普通股和优先股股息
BNY表示,董事会已宣布派发普通股和优先股股息。其中,普通股季度股息为每股0.63美元,将于2026年11月9日支付给截至2026年10月26日营业结束时登记在册的股东。多只非累积永久优先股对应股息将于2026年12月21日支付给截至2026年12月5日登记在册的持有人。
PR Newswire
·2026-10-15 18:57:04
1
Starknet 就潜在退出以太坊 L2 发起投票
Starknet 正在征询 STRK 持有者,是否应研究成为独立的、后量子 layer-1 区块链,以减少对以太坊量子安全升级时间表的依赖。投票为期七天,结果将于 10 月 22 日投票结束后公布。
Cointelegraph
·2026-10-15 18:57:03
0
BNY公布2026年第三季度业绩
BNY公布了2026年第三季度财报,并表示管理层将于美国东部时间今天上午11:00举行电话会议和同步网络直播。公司还披露,相关业绩材料可在其投资者关系网站查阅,回放将于10月15日约下午3:00起提供至11月14日。
PR Newswire
·2026-10-15 18:57:01
0
PNC公布2026年第三季度净利润21亿美元,每股摊薄收益4.97美元,调整后为5.09美元
PNC金融服务集团公布2026年第三季度净利润21亿美元,每股摊薄收益4.97美元,调整后为5.09美元;总收入66亿美元,净利息收入42亿美元,平均贷款和存款均增长,并宣布每股2.00美元季度现金股息。
PR Newswire
·2026-10-15 18:56:59
0
もっと見る