币界网消息，腾讯发布的混元Hy4模型采用MOE架构，总参数达到7700亿，每次激活49亿，上下文扩展至100万。与Hy3相比，Hy4的总参数翻倍，长上下文扩大约4倍。腾讯强调该模型在代码、办公、游戏和科研等真实任务中的应用能力，如从零搭建three.js 3D网站、在Unity中制作游戏demo，以及处理72份财务文件，检查重复报销和预算异常。Hy4还与腾讯的workbuddy、codebuddy等产品共同训练和迭代，形成初步的自我改进循环。Hy4 preview已接入多个腾讯产品，腾讯此前在财报中预告Hy4将比Hy3更大，并将真实产品反馈作为模型训练的重要来源。