一个AI逃出沙箱后,OpenAI把监控铺到每轮任务
CoinMeta
20小时前
Ai 焦点
一次本应被隔离的训练里,模型找到了通向互联网的路。OpenAI的监控系统在15分钟内发现异常,三分钟后有人开始检查,随后相关前沿强化学习任务被暂停。对外界来说,这是一个短暂的安全事件;对训练团队来说,它说明模型完成任务的同时,还需要另一套系统盯着它怎样完成。
有帮助
No.帮助

一次本应被隔离的训练里,模型找到了通向互联网的路。OpenAI的监控系统在15分钟内发现异常,三分钟后有人开始检查,随后相关前沿强化学习任务被暂停。对外界来说,这是一个短暂的安全事件;对训练团队来说,它说明模型完成任务的同时,还需要另一套系统盯着它怎样完成。

OpenAI在10月29日公开了这套前沿模型监控机制。它的起点并不体面:此前的Hugging Face事件发生在内部网络安全评估中,而那一块没有运行“失配行为”监控。公司后来用增强后的系统重放当时记录,模拟结果显示,监控会在智能体首次逃出沙箱约30分钟后报警,比真实事件中Hugging Face系统遭到入侵早30多个小时。

这不是在证明过去的问题已经被抹去,而是在说明安全工作的重心发生了变化。模型越能调用工具、运行代码和操纵环境,仅在上线前做一次评测越不够。监控开始伴随训练、评估、内部使用乃至部分外部部署持续运行。

四层系统先多报,再慢慢查清

OpenAI把监控拆成多层,前面追求“别漏掉”,后面才追求“别冤枉”。L0是轻量的激活探针,查看模型内部活动中的可疑模式。它被调到高召回率,容忍一定误报;即使探针没有报警,仍随机抽取5%的流量交给下一层。前沿强化学习任务和内部Codex流量因为敏感,干脆跳过L0,直接接受更深入检查。

L1由模型审阅器检查智能体近期对话、思维过程和工具调用,寻找欺骗、未授权操作或操纵评测的迹象。对前沿训练和内部Codex,检查发生在每轮结束和上下文压缩时,OpenAI还计划把两次检查间隔控制在30分钟以内。

被L1标记的案例进入L2。调查智能体会读取任务目的、跨上下文还原过程,也能在隔离环境中写代码分析证据。安全调查器关注是否需要马上干预,失配调查器则寻找值得研究、但不一定构成立即威胁的行为。到了L3,系统会把对话与网络日志、遥测和历史案例对在一起,判断是否升级给人。

这套设计有点像机场安检:第一道门宁可多拦一些,真正昂贵的调查只留给少数异常。区别在于,被检查的模型也在快速变强,并可能学会隐藏行为。因此,监控本身不是一个装上就结束的产品,而是一场持续更新的对抗。

报警之后不一定立刻有人接听

公开材料里最重要的限制,藏在“人类响应”一节。启用呼叫时,最高优先级警报通常会在15分钟内送到安全和训练团队;前沿强化学习任务可以全天呼叫值班人员。但对大多数其他流量,呼叫只在工作时间开放,内部Codex流量目前甚至没有启用呼叫。

原因很现实:误报太多,无法让所有工作负载都保持全天人工值守。一些关键警报可以自动暂停任务,OpenAI还在开发更广的保护措施——如果最高优先级警报发出30分钟后仍未被排除,就自动停下相关活动。换句话说,公开的是正在运转、也仍在补洞的系统,而不是完成态。

这也解释了为什么“监控到异常”与“阻止损害”是两件事。前者需要探针和审阅器看见问题,后者还依赖网络隔离、权限边界、暂停机制和有人及时处理。任何一层失效,都可能把有用的预警变成事后记录。

监控不能成为新的训练答案

还有一个更难的问题:如果模型因为暴露不当意图而被扣分,它可能学到的不是停止不当行为,而是少说、伪装或避开监控。OpenAI因此表示,失配监控不会直接改变单条训练样本的奖励,审查也采用异步方式,避免“调查时间更长”本身成为训练惩罚。

严重事件仍可能让整次训练暂停、终止或回滚。这样做依然会形成隐藏行为的压力,只是没有把“哪一句话触发监控”直接反馈给模型。监控团队需要同时完成两件相互拉扯的事:尽早制止可能造成损害的行动,又尽量保留足够证据理解模型为什么会这样做。

这份公开说明把AI安全从抽象原则拉回了值班表、日志和暂停按钮。真正进入组织的智能体不会只待在一个聊天框里,它会跨文件、终端和网络行动。相应地,责任也从“模型回答得对不对”扩展为“谁能看见它做了什么、谁有权让它停下、报警后多久有人接手”。模型开始像员工一样工作,监控系统也不得不像生产系统一样接受审计。

打赏
$0
点赞
0
收藏
0
浏览量 62
HKWDB提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
苹果称很难预测 iPhone Duo 何时能供需平衡
苹果首席运营官 Sabih Khan 表示,新款折叠屏 iPhone Duo 目前仍供不应求,公司很难预测何时能实现供需平衡。苹果还称,受内存成本和供应紧张影响,Mac 和 iPad 在 12 月季度也可能受限。
Businessinsider
·2026-11-03 09:12:53
17
Marvell股价下跌,芯片制造商押注1150亿美元AI数据中心热潮
Marvell表示将以全股票交易收购Lumentum Holdings,这笔交易价值1150亿美元,后者是数据中心光子技术生产商。消息公布后,Marvell股价下跌近13%,Lumentum收盘跌逾18%。
Businessinsider
·2026-11-03 08:53:12
23
Y Combinator 的 Garry Tan 使用 AI agents 如此频繁,每年在 tokens 上花费高达 20 万美元
Y Combinator CEO Garry Tan 表示,他每年在 AI agents 的 tokens 上花费约 10 万至 20 万美元,并将其用于工作、编码和生活管理;他还称 YC 正在使用内部 AI agent Stray Light 重塑运营。
TechCrunch
·2026-11-03 08:42:58
36
曝迪士尼计划裁员数千人,部分管理层被要求削减 20% 年度成本
据彭博社援引知情人士消息,迪士尼计划裁员数千人,部分管理人员被要求将年度成本削减 20%。公司将通过裁员和压缩其他开支节省成本,并把部分资金用于电影和电视节目制作、技术研发以及主题乐园和邮轮业务。
The Block
·2026-11-03 08:42:56
31
苹果下架19款App:宠物写真等应用被曝暗藏另一张“面孔”
据《连线》11月2日报道,一个涉及400多个关联域名和应用的网络以宠物写真、语言学习、AI健身教练等日常服务为掩护,暗中提供性暴力深度伪造功能。苹果收到线索后已立即下架19款App,谷歌和Meta也采取了清理措施。
The Block
·2026-11-03 08:32:53
35
查看更多