IT之家 9 月 29 日消息，据彭博社 28 日报道，Anthropic、OpenAI、Meta 和微软的高管共同敦促政策制定者，密切关注 AI 系统自我改进到了何种程度，并采取措施保障 AI 技术安全。

20 多名 AI 行业领袖和研究人员在一篇新论文中警告，利用 AI 推动下一代模型研发自动化的做法正在兴起，未来可能导致 AI 技术进步突然加速。

论文作者将这种现象称为“智能爆炸”。一旦出现这种情况，AI 能力的发展速度可能会超过社会引导和适应 AI 技术的能力。参与撰写论文的包括 Anthropic 联合创始人杰克·克拉克、OpenAI 首席科学家雅库布·帕乔茨基，以及 AI 先驱杰弗里·辛顿、约书亚·本吉奥等人。

研究人员还警告称，AI 研发自动化可能削弱人类监督。

IT之家获悉，这篇论文呼吁政策制定者更深入了解顶尖 AI 实验室利用 AI 实现研究自动化的程度，同时建立能够“引导和约束智能爆炸”的机制，包括提高安全要求，并加强对承担自动化 AI 研发任务的数据中心的监管。

研究人员还主张，针对不同的 AI 快速起飞情景预先制定应急响应方案。

论文写道：“初步证据表明，软件驱动的智能爆炸有可能发生。如果真的发生，它可能成为历史上影响最深远的技术发展。…… 与潜在后果相比，我们的准备还不够充分。”

论文还列出了政策制定者应考虑采取的措施，并警告称：“一旦智能爆炸开始，采取行动的窗口期可能就会关闭。”