稀疏注意力还能怎么提速?LSA让GLM千万Token下单层快22.7倍
2026-11-04 19:23:47
币界网消息,英国AI研究机构Prefrontal与苏黎世联邦理工学院研究者开源了Latent Sparse Attention(LSA),一种针对超长上下文的稀疏注意力技术。DeepSeek、MiniMax、智谱等模型已采用稀疏注意力,每次处理少量关键token以减少计算。研究者在1000万token的GLM-5.3-Flash实验中发现,单层稀疏注意力的预填充时间98%用于筛选信息。LSA通过内容相似度将token聚成组,再让索引器对组打分,选出相关token。研究者将LSA接入GLM-5.3-Flash和Qwen-3.8-27B,保留原有模型权重,额外训练少量索引参数。在NVIDIA H200上,GLM的单层预填充比原有稀疏注意力快22.7倍,整模型首token延迟降低约55%Qwen的单层预填充快72.4倍,整模型首token延迟降低约89%。
来源:互联网
本内容只为提供市场信息,不构成投资建议。
关注HKWDB官方账号,及时关注最新动态









