幣界網消息，SemiAnalysis發布報告，系統拆解大模型推理服務的底层架構。報告認為，隨著MOE模型成爲主流，AI推理已從單一計算任務演變爲由預填充、中間填充、解碼注意力和解碼專家組成的複雜流水線，不同階段對算力、內存帶寬和網絡的需求存在明顯差異。在多數推理場景下，內存帶寬比容量更具經濟價值。高帶寬內存可提升token生成效率，而閒置的HBM只會增加成本。報告預計，2027年單個流水線階段可能需要約400至500GB本地快速內存，但已完成處理的KV緩存應及時遷移至CPU DRAM及更低成本的网络存儲，避免佔用稀缺的HBM資源。調度層將成爲AI推理基礎設施的關鍵環節。報告還比較了聚合式和分離式兩種方案，認為兩種架構的取捨最終取決於未來能否出現兼具高算力和高內存帶寬的全能型加速器。