KV 缓存解決方案（key-value cache）整合了Supermicro Petascale 存儲伺服器、IBM Storage Scale 軟體、NVIDIA Dynamo 推理軟體以及NVIDIA Spectrum -X乙太網交換機。

性能測試顯示，與沒有 KV 快存功能的系統相比，這套 KV 快存解決方案能夠縮短長上下文窗口下首個 token 的生成時間（Time-to-First-Token，TTFT）。

客戶可藉助更高的 GPU 利用率、更大的吞吐量以及更具可擴展性的基礎設施，顯著提升 AI 推理效率。

美國加州聖何塞，2026年11月5日 / PRNewswire / -- Supermicro ，Inc。（納斯達克代碼：SMCI）作為一家面向AI、企業、存儲以及5G/邊緣領域的供應商，提供Data Center Building Block Solutions ®（DCBBS）的IT解決方案，今日宣佈推出一項與IBM和NVIDIA共同開發的新KV緩存存儲解決方案。該聯合方案整合了Supermicro Petascale全閃存存儲服務器、AMD EPYC 9005系列處理器（“Turin”）、IBM Storage Scale軟件、用於推理管理的NVIDIA Dynamo軟件以及Spectrum-X以太網網絡技術。

Supermicro 表示，這些技術結合後，可以顯著縮短 AI 模型開始生成回答所需的時間。隨著越來越多企業採用 AI 智能體工作流和長上下文 AI 工作流，這一優勢就更加重要了。通過將 KV 的緩存容量擴展到本地 GPU 内存之外，該方案可以提升 GPU 的利用率和推理吞吐量，同時支持 KV 緩存內容的高可用性，並且可以在不中斷服務的情況下擴展 KV 緩存容量。其結果是形成了一個更具可擴展性和更穩健的推理架構，提供更快、更靈敏的 AI 體驗。

Supermicro 董事長兼執行長 Charles Liang 表示：「隨著 AI 的工作負載從訓練擴展到推理，部署高吞吐量推理工作負載的企業和 neocloud 提供商，尤其是智能體 AI 以及需要長上下文、多輪交互的生成式 AI 工作負載，必須消除瓶頸以提高 GPU 效率。我們的 IBM 和 NVIDIA 聯合方案清楚地展示了這些性能優勢。」

點擊此處可觀看該新聞稿的視頻摘要。

推理工作负载分為兩個階段：prefill 和 decode。在 prefill 階段，輸入文本會被轉換為 token，並由大語言模型（LLM）處理，生成推理所需的中间 key-value 狀態（KV 狀態）。將這些先前計算出的 KV 狀態存入持久化 KV 快存後，系統便可以在後續請求中重複使用，而無需對相同上下文重新計算。智能體工作流、編程助手、長上下文檢索增強生成（RAG）、多模態 AI 以及多輪交互應用，在處理大型代碼庫、文檔、對話、圖像和其他上下文時，可能生成大量 KV 狀態數據。因此，GPU 和 CPU 的內存容量很快就可能被耗盡，這就使得有必要將 KV 快存放入高容量的共享網絡存儲中。

Supermicro、IBM 和 NVIDIA 的 KV 缓存解決方案提供了這一持久化存儲層，從而幫助提升推理效率、吞吐量及可擴展性，並減少不必要的計算。

該 KV 快存解決方案對客戶的主要優勢包括：

• 聯合驗證方案——Supermicro、IBM和NVIDIA已經在集羣層面進行了廣泛測試，以衡量性能，包括高並發請求和網路流量較大、其他工作負載可能影響性能的場景（“noisy neighbors”）。
• 顯著更快且更一致的推理性能——在 Supermicro 與 NVIDIA 對一個參數規模為1200億的大語言模型進行的聯合測試中，持續化 KV 快存使得130,000 個 token 提示詞下的 TTFT 最多縮短56倍。[1] 當輸入長度從30,000 token 增加到130,000 token 時，啟用 KV 快存的 TTFT 僅增加0.377秒，而未啟用 KV 快存時則增加29.55秒。這使得長上下文工作負載的性能更加一致。
• 更高的 GPU 利用率和吞吐量——通過讓常用上下文保留在 GPU 内存之外，該方案有助於減少 GPU 的空閒時間，提高推理吞吐量，並在無需按比例擴展 GPU 容量的情況下處理更多並發請求。
• 面向企業的穩健性與可靠性 AI 運營——具備高可用性的持續化 KV 快存有助於保護已儲存的推理狀態，同時為多個 GPU 節點和集群提供共享訪問。這支持更穩健、可大規模部署且更高效利用存儲容量的 AI 服務。
• 經過驗證、可直接部署的 AI 基礎設施——Supermicro、IBM 和 NVIDIA 已在高併發請求和「noisy neighbors」場景下共同驗證了這一集成架構。該架構結合了 NVIDIA Dynamo、IBM Storage Scale 軟件、Supermicro Petascale 服務器和 NVIDIA Spectrum-X 網絡技術。
• 加速部署服務——藉助 Supermicro 的工廠機架集成和現場部署服務，這一解決方案的部署時間可由數週縮短至數天。

IBM Storage 總經理 Sam Werner 表示：「企業需要一種根本上更好的方式來擴展 AI 推理。IBM、Supermicro 和 NVIDIA 共同提供了一套強大而穩健的 KV 快存解決方案，使客戶能夠最大限度地利用 GPU 投資，在不依賴算力擴張的情況下擴展存儲容量，並顯著提升基礎設施效率。這一合作是讓企業 AI 推理更具可擴展性、更可靠且更具成本效益的重要一步。」

NVIDIA AI Inference Product Lead Shruti Koparkar 表示：「智能體 AI 和長上下文應用程式依賴於在多個步驟中高效地重複使用上下文。NVIDIA Dynamo 有助於協調分散式推理，讓企業從每一塊 GPU 中獲得更多可用的吞吐量。通過將 NVIDIA Dynamo 和 Spectrum – X Ethernet 與 Supermicro Petascale 存儲伺服器及 IBM Storage Scale 结合起來，這套 KV 快存解決方案構建了一個強大的共享存儲層，可以減少不必要的計算、縮短首個 token 生成時間，並幫助客戶擴展穩健的 AI 推理服務。」

點擊此處了解更多關於 Supermicro 和 IBM 解決方案的信息。點擊此處閱讀 IBM Redbook 《 Context without Limits : A High - Performance KV Cache Platform for Large - Scale AI Inference 》。

關於 Super Micro Computer、Inc、Supermicro（納斯達克代碼：SMCI），它是應用優化型、完整的 IT 解決方案的全球領導者。Supermicro 成立於加利福尼亞州聖何塞，致力於將企業、雲端、AI 和 5G 電信/邊緣 IT 基礎設施創新率先推入市場。該公司提供包括服務器、AI、存儲、IoT 和交換系統、軟件及支持服務在內的完整 IT 解決方案。Supermicro 在主板、電源和機箱設計方面的專長支持其研發和製造，並推動從雲端到邊緣的下一代創新，為全球客戶服務。該公司的產品在美國、臺灣和荷蘭自主設計和生產，並藉助全球運營實現規模化和效率提升。此外，這些產品經過優化，以改善 TCO 並降低環境影響（綠色計算）。憑借屢獲殊榮的 Server Building Block Solutions ® 產品組合，客戶可以從一系列由靈活、可重複使用的模塊構成的系統中進行選擇，根據其具體的工作負載和應用對系統進行精確配置。這些系統支持多種外型規格、處理器、內存、GPU、存儲、網絡、電源和散熱方案（空調、自然風冷或液冷）。

Supermicro、Server Building Block Solutions 和 We Keep IT Green 是 Super Micro Computer、Inc 的商標和/或註冊商標。

所有其他品牌、名称和商標均屬其各自所有者的財產。

1. 詳細結果請見 IBM Redbook : https :// www.redbooks.ibm.com / docs / MD260021 / MD260021.html