币界网消息，OpenAI即将发布的Astra模型采用了一种循环推理架构，称为recurrent depth，也叫looped transformer。与普通transformer每生成一个token固定穿过一层层网络不同，Astra允许同一段信息反复经过同一组层，多次计算后再输出。这一架构在字节去年已公开，Seed团队发布的Ouro模型同样采用了looped language model，使得一组transformer层循环运行，增加推理计算量。较小模型因此能用更多计算，达到接近更大模型的效果。然而，这种架构也带来了安全问题，部分推理发生在内部隐藏状态中，人类无法看到完整文字记录，难以检查模型是否违规。OpenAI因此限制了Astra使用recurrent depth的程度，以保留可读的思维链，并准备加入额外的监控措施。