Supermicro（納斯達克代碼：SMCI）今日宣佈與IBM及NVIDIA共同推出一項新的KV緩存儲存解決方案。該聯合方案整合了採用AMD EPYC 9005系列處理器（“Turin”）的Supermicro Petascale全閃存儲存伺服器、IBM Storage Scale軟體，以及NVIDIA Dynamo推理框架軟體和Spectrum-X以太網網路。
Supermicro 表示，這些技術結合在一起，可以大幅縮短 AI 模型開始生成響應所需的時間。隨著企業採用代理人式和長上下文 AI 工作流，這一點尤其關鍵。將 KV 快存容量擴展到本地 GPU 内存之外，有助於提高 GPU 利用率和推理吞吐量，同時支持 KV 快存內容的高可用性以及容量的非中斷擴展。公司稱，這將形成一種更具可擴展性和韌性的推理架構，從而提供更快、響應更及時的 AI 體驗。
推理工作负载通常包括兩個階段：prefill 和 decode。在 prefill 階段，輸入文本會被轉換為 token，並由大語言模型處理，以生成推理所需的中间鍵值（KV）狀態。通過將這些先前計算出的 KV 狀態儲存在持久的 KV 快存中，系統可以在後續請求中重複使用，而無需重新計算相同的上下文。智能體式工作流、代碼助手、長上下文 RAG、多模態 AI 以及在處理大型代碼庫、文檔、對話、圖像和其他上下文時，可能會生成大量 KV 狀態，很快就會超過 GPU 和 CPU 的內存，因此需要將 KV 快存卸載到高容量、共享的網絡存儲中。
Supermicro、IBM 和 NVIDIA 的 KV 缓存方案提供了這一持久化存儲層，有助於提升推理效率、吞吐量及可擴展性，同時減少重複計算。
該方案面向客戶的主要優勢包括：
- 聯合方案驗證——Supermicro、IBM和NVIDIA進行了廣泛的集羣級測試，以衡量性能，包括高併發和「噪聲鄰居」網路流量場景。
- 推理性能顯著更快且更穩定——在 Supermicro 和 NVIDIA 的聯合測試中，當使用一個擁有1200億參數的大語言模型時，持續化 KV 缓存在13萬 token 提示下將 TTFT 的性能最高提升至56倍。[1] 當輸入長度從3萬 token 增加到13萬 token 時，啟用 KV 缓存後的 TTFT 僅增加0.377秒，而未使用 KV 缓存時則增加29.55秒，從而為長上下文工作負載帶來更一致的性能。
- 更高的 GPU 利用率和吞吐量——通過將頻繁重複使用的上下文保留在 GPU 内存之外，該方案有助於減少 GPU 的空閒時間，提高推理吞吐量，並在不按比例增加 GPU 資源的情況下支持更高並發。
- 經驗證的交鑰匙 AI 基礎設施——Supermicro、IBM 和 NVIDIA 在高併發和「噪聲鄰居」場景下聯合驗證了這一集成架構，將 NVIDIA Dynamo、IBM Storage Scale 軟件、Supermicro Petascale 服務器和 NVIDIA Spectrum-X 網絡結合在一起。
- 加速部署服務——Supermicro的工廠機架集成和現場部署服務可將該方案的部署時間從數週縮短至數天。
IBM Storage 總經理 Sam Werner 表示：「企業需要一種根本上更好的方式來擴展 AI 推理。IBM、Supermicro 和 NVIDIA 正在共同提供一種高性能、有彈性的 KV 快存解決方案，幫助客戶最大化 GPU 投資、獨立於計算資源進行擴展，並顯著提升基礎設施效率。這一合作代表著朝着讓企業 AI 推理更具可擴展性、更可靠且更具成本效益邁出的重要一步。」
NVIDIA AI 推理產品負責人 Shruti Koparkar 表示：「智能體式 AI 和長上下文應用依賴於在多個步驟中高效重複使用上下文，而 NVIDIA Dynamo 有助於編排分散式推理，使企業能從每一塊 GPU 中獲得更多可用吞吐量。通過將 NVIDIA Dynamo 和 Spectrum-X 以太網與 Supermicro Petascale 存儲服務器及 IBM Storage Scale 结合，這一 KV 快存方案創建了一個高性能共享存儲層，可減少重複計算，改善首個輸出令牌時間，並幫助客戶擴展彈性的 AI 推理服務。」
更多關於 Supermicro 和 IBM 解決方案的信息可以點擊此處；要閱讀 IBM Redbook 《 Context without Limits : A High - Performance KV Cache Platform for Large - Scale AI Inference 》，可以點擊此處。
關於 Super Micro Computer 、 Inc ：Supermicro （納斯達克代號：SMCI）是應用優化型整體 IT 解決方案的全球領導者。該公司總部位於加利福尼亞州聖何塞，專注於為企業、雲端、AI 以及 5G 電信/邊緣 IT 基礎設施提供率先上市的創新解決方案。公司提供服務器、AI、存儲、物聯網、交換系統、軟件及支持服務等整體 IT 解決方案。Supermicro 在主板、電源和機箱設計方面的專業能力，也進一步推動了其開發和生產能力，使其能夠為全球客戶從雲端到邊緣提供下一代創新。公司產品在美國、臺灣和荷蘭自主設計和製造，藉助全球運營實現規模和效率，並優化總擁有成本（TCO）並降低環境影響（綠色計算）。其屢獲殊榮的 Server Building Block Solutions ® 產品組合，讓客戶能夠從廣泛的系統家族中選擇，針對特定工作負載和應用進行優化，這些系統由靈活且可重複使用的模塊構建而成，支持全面的外形規格、處理器、GPU、存儲、網絡、電源和散熱方案（風冷、自由空氣冷卻或液冷）。
Supermicro、Server Building Block Solutions 和 We Keep IT Green 是 Super Micro Computer、Inc 的商標和/或註冊商標。
其他所有品牌、名称和商標均屬其各自所有者的財產。
[1] 詳細結果請見 IBM Redbook : https :// www.redbooks.ibm.com / docs / MD260021 / MD260021.html
