幣界網消息，騰訊混元Hy4重新打造底層，採用了DeepSeek稀疏注意力與智譜IndexCache的結合。這次重做不僅擴大了模型規模，還對底層架構進行了重大改進。Hy4使用了門控稀疏注意力（gated DSA），在處理超長文本時，模型不再重複計算所有內容，而是優先處理最相關的部分。此外，Hy4還引入了IndexCache，部分層可以重複使用之前挑選的重要內容，減少重複計算。騰訊表示，這一設計受到DeepSeek和GLM的啓發。Hy4的殘差結構也有所變化，採用了IH結構，擴展爲四條信息主干，以便在深度網絡中保留更多信息。MOE專家數量從Hy3的192個增加到256個路由專家和1個共享專家，每個token選擇8個路由專家，同時經過共享專家。