非营利评估机构METR和Redwood Research周四表示,他们对OpenAI内部监控系统进行了一项试点审查,这是这家人工智能公司最新一次尝试,旨在判断其如何加深与第三方安全组织的合作。
METR和Redwood表示,这项试验旨在让OpenAI测试,如果向外部研究人员提供“深度访问”其内部基础设施,会是什么样子。
根据一份声明,7月21日至8月11日期间,这两个组织各有一名员工获得了OpenAI内部代码库、文档以及部分技术员工的访问权限。声明称,这些员工在现场时都有陪同,并使用了OpenAI提供的设备,这些设备“从未离开过场所”。
评估人员发现了若干“新漏洞”,其中包括一种利用方式,可能让智能体阻止“数百次”近期操作被监控。根据声明,OpenAI告诉METR和Redwood,已修补影响其生产防护措施的已识别漏洞。
METR和Redwood表示,他们同意只发布一篇关于发现的高层级公开帖子,因为这次试点并非旨在“为OpenAI的监控系统提供强有力的公开透明度”。他们向OpenAI提交了一份61页的内部报告,并表示预计未来会公开分享更多关于后续试验的细节。
OpenAI发言人对CNBC表示:“这项合作建立在我们长期致力于开创第三方测试新方法的承诺之上,我们正利用所学来加强我们的防护措施,并塑造与独立评估机构未来合作的方式。”
OpenAI首席执行官Sam Altman在9月承诺,将向独立评估机构提供“类似员工的访问权限”。此前,Anthropic首席执行官Dario Amodei提出了这一想法,作为其放缓AI发展速度计划的一部分。此后,Anthropic已宣布与Accenture、METR和SecureBio等机构达成协议。OpenAI本月早些时候表示,正在“积极敲定与第三方安全评估机构的合同”。
采取较为宽松AI监管立场的美国总统Donald Trump也表示支持第三方评估。他在白宫提出的一项自愿协议中,鼓励AI公司“与独立的外部审计员或评估员合作”。Anthropic的Amodei签署了该协议,Google、Meta、OpenAI、SpaceX和Nvidia的高管也签署了该协议。
独立评估机构历来处于规模达数万亿美元的AI行业中相对安静的角落,因此专家对CNBC表示,外界仍然关心这些机构将如何获得资金,以及它们最终会采用什么样的报告架构。
METR和Redwood周四表示,他们在为期三周的试点中,对OpenAI内部的失配监控系统进行了压力测试。在AI领域,alignment指研究人员用来描述模型是否符合人类利益和价值观的概念。
评估人员评估的是截至7月21日及之前的监控系统,并指出OpenAI在试验期间正在扩展该系统。
观看:前OpenAI高管为估值15亿美元的国防初创公司筹集资金












