OpenAI新模型Astra架构调整引发安全争议
Fortune
1小时前
Ai 焦点
OpenAI 新模型 Astra 据称采用更高效架构,部分安全研究人员担心这会削弱对 AI 推理过程的监测能力。
有帮助
No.帮助

OpenAI 即将发布的前沿模型 Astra,因一项新的内部架构设计引发安全讨论。争议焦点不在模型能力本身,而在于这类设计可能让研究人员更难看清 AI 在执行任务时究竟如何得出结论。

采用更省算力的循环式设计

据《The Information》此前报道,OpenAI 在 Astra 的部分内部结构中使用了“recurrent depth”,也被称为“looped Transformers”。这类方法的特点,是让一部分计算模块被重复调用,而不是让每个 token 都完整经过整张网络。

这样做的直接好处是降低算力消耗。报道援引相关研究称,这类架构在部分场景下可用更少的计算资源达到接近传统 Transformer 的效果,对正承受高昂 AI 成本的企业客户来说,这一点尤其重要。

安全研究人员担心监测难度上升

争议来自模型推理过程的可见性。现有推理模型通常会生成一串中间步骤,也就是常说的“思维链”,研究人员可借此检查模型为何作出某个决定,或是否出现越权行为。

但在循环式 Transformer 中,部分中间推理不会以自然语言写出,而是在模型内部以难以被人直接理解的形式反复处理。研究人员有时把这类中间表示称为“neuralese”。这意味着,人类能看到的可能只剩最终答案,而不是完整推理路径。

一些 AI 安全人士认为,这会削弱当前少数可用于监测 AI 代理行为的手段之一。华盛顿智库 AI Policy Network 政策主管 Peter Wildeford 对《财富》表示,如果 OpenAI 正在减少对思维链监测的依赖,这个方向“可能令人担忧”,也可能带来更高风险。

OpenAI称仍保留监测能力

面对外界质疑,OpenAI 首席科学家 Jakub Pachoki 在 X 上表示,公司一直重视思维链监测,也在努力保留相关能力。他称,Astra 对这类架构的使用范围有限,模型推理仍保持可读性,未来还会披露更多架构细节。

Pachoki 同时表示,思维链监测未来确实可能变得更难,但原因不一定来自这次架构变化本身。他说,OpenAI 仍在投入资源推进实时思维链监测,这也是当前研究重点之一。

不过,部分研究人员担心的并不只是 Astra 本身,而是行业示范效应。前 OpenAI 研究员 Daniel Kokotajlo 认为,即便 OpenAI 目前使用得较为克制,其他公司也可能沿着这条路线继续推进,最终让模型推理过程对人类完全不透明。

成本优势与行业先例并存

这类架构之所以受到关注,还因为它同时具备成本和竞争层面的吸引力。除了节省算力,隐藏部分中间推理过程也可能让大模型更难被蒸馏,也就是更难被小模型通过学习输出结果进行复制。

在美国政府和多家 AI 公司持续关注前沿模型被复制风险的背景下,这种设计可能被更多企业视为兼顾效率与防复制的方案。但安全研究人员担心,如果行业缺少统一标准,未来更高效的模型也可能变得更难审计和约束。

打赏
$0
点赞
0
收藏
0
浏览量 23
HKWDB提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
外媒:Cybercab发布成特斯拉转折点
外媒称,Cybercab 发布将检验特斯拉能否把自动驾驶叙事真正落地,并推动公司向 AI 与机器人业务转型。
TechCrunch
·2026-09-04 03:49:11
9
Thinking Machines据称洽谈10亿美元融资
Thinking Machines据称正洽谈以至少400亿美元估值融资10亿美元,Accel或领投,公司年化收入运行率已超过1亿美元。
TechCrunch
·2026-09-04 03:49:08
7
web3: Solana 上 CTO 代币带动 Vida Global 股票代币交易升温
Solana 上的 memecoin 与 Vida Global 股票代币配对交易升温,CEO 公开回应引发更多关注。
SolanaFloor
·2026-09-04 03:49:05
6
web3: CPI与PCE有何不同,美联储更看哪一个
美联储通胀目标以PCE为准,但CPI因先发布,通常更早触发市场对利率路径的重估。
Coinpaper
·2026-09-04 03:49:03
7
web3: 美国众议院缩短会期,CLARITY法案表决或推迟
美国众议院缩短 9 月会期,或导致 CLARITY 法案表决推迟至中期选举后,加密行业监管立法进度再添变数。
U.Today
·2026-09-04 03:49:00
8
查看更多