Cursor重排GPU流水线,MoE模型训练提速41%
2026-08-05 12:29:52
币界网消息,Cursor开源的mixture-of-kittens(mok)用于加速MoE大模型训练。该技术将原本分开的GPU数据传输和计算合并为一个kernel,允许GPU在传输数据的同时进行计算,从而减少等待时间。在512块GB300 GPU的实际训练中,整体吞吐量提高了41%。单独测试MoE层时,mok的速度最高比公开方案快2.37倍。mok已用于Cursor数万块GPU的composer训练,并以Apache 2.0开源。目前仅支持英伟达Blackwell GPU,主要面向拥有GB200、GB300 NVL72集群的机构。
強気 0
弱気 0
出典:互联网
このコンテンツは市場情報のみを提供するものであり、投資アドバイスを構成するものではありません。