EAGLE-4讓Qwen的生成速度提升3.6倍,手機CPU也能提速3倍
2026-10-21 19:13:27
幣界網消息,Eagle公司發布了EAGLE-4,升級了其推測解碼方案,提升了Qwen的生成速度。新版重點降低了草稿模型的計算開銷,並能根據硬體性能和並發數量調整預測規模。在4張NVIDIA B300 GPU上,Qwen 3.8-27B的单請求生成速度從每秒240.5token提高到863.8token,提升3.6倍;在512個請求同時運行時,總吞吐量從每秒2.12萬token提高到2.83萬,提升34%。手機端也有明顯提升,在摩托羅拉Razr 70Ultra上,Gemma-4-E2B-IT僅依靠CPU就實現了3.2倍的长文本生成速度,任務耗時從43秒縮短至14秒,每個token的能耗降低53%。EAGLE-4已公開代碼,支持接入SGLang、VLLM和實驗性TokenSpeed,但新版改用限制性商業許可證,商業使用需另行授權。
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。
關注HKWDB官方帳號,及時關注最新動態









