KV缓存解决方案（key-value cache）整合了Supermicro Petascale存储服务器、IBM Storage Scale软件、NVIDIA Dynamo推理软件以及NVIDIA Spectrum-X以太网交换机。

性能测试显示，与没有KV缓存的系统相比，这套KV缓存解决方案可缩短长上下文窗口下的首个token生成时间（Time-to-First-Token，TTFT）。

客户可借助更高的GPU利用率、更大的吞吐量以及更具可扩展性的基础设施，显著提升AI推理效率。

美国加州圣何塞，2026年11月5日 /PRNewswire/ -- Supermicro, Inc.（纳斯达克代码：SMCI），一家面向AI、企业、存储以及5G/边缘领域、提供Data Center Building Block Solutions®（DCBBS）的IT解决方案供应商，今日宣布推出一款与IBM和NVIDIA共同开发的新KV缓存存储解决方案。该联合方案整合了Supermicro Petascale全闪存存储服务器、AMD EPYC 9005系列处理器（“Turin”）、IBM Storage Scale软件、用于推理管理的NVIDIA Dynamo软件以及Spectrum-X以太网网络技术。

Supermicro表示，这些技术结合后，可显著缩短AI模型开始生成回答所需的时间。随着企业越来越多采用智能体AI工作流和长上下文AI工作流，这一优势尤为重要。通过将KV缓存容量扩展到本地GPU内存之外，该方案可提升GPU利用率和推理吞吐量，同时支持KV缓存内容的高可用性，并可在不中断服务的情况下扩展KV缓存容量。其结果是形成更具可扩展性和更稳健的推理架构，提供更快、更灵敏的AI体验。

Supermicro总裁兼首席执行官Charles Liang表示：“随着AI工作负载从训练扩展到推理，部署高吞吐量推理工作负载的企业和neocloud提供商，尤其是智能体AI以及长上下文、多轮交互的生成式AI工作负载，必须消除瓶颈以提升GPU效率。我们的IBM和NVIDIA联合方案清楚展示了这些性能优势。”

点击此处可查看该新闻稿的视频摘要。

推理工作负载分为两个阶段：prefill和decode。在prefill阶段，输入文本会被转换为token并由大语言模型（LLM）处理，生成推理所需的中间key-value状态（KV状态）。将这些先前计算出的KV状态存入持久化KV缓存后，系统便可在后续请求中重复使用，而无需对相同上下文重新计算。智能体工作流、编程助手、长上下文检索增强生成（RAG）、多模态AI以及多轮交互应用，在处理大型代码库、文档、对话、图像和其他上下文时，可能生成大量KV状态数据。因此，GPU和CPU内存容量很快就可能被耗尽，这就使得有必要将KV缓存放入高容量的共享网络存储中。

Supermicro、IBM和NVIDIA的KV缓存解决方案提供了这一持久化存储层，从而帮助提升推理效率、吞吐量和可扩展性，并减少不必要的计算。

该KV缓存解决方案对客户的主要优势包括：

• 联合验证方案——Supermicro、IBM和NVIDIA已在集群层面进行了广泛测试，以衡量性能，包括高并发请求和网络流量较大、其他工作负载可能影响性能的场景（“noisy neighbors”）。
• 显著更快且更一致的推理性能——在Supermicro与NVIDIA针对一个参数规模为1200亿的大语言模型进行的联合测试中，持久化KV缓存使130,000 token提示词下的TTFT最多缩短56倍。[1] 当输入长度从30,000 token增加到130,000 token时，启用KV缓存的TTFT仅增加0.377秒，而未启用KV缓存时则增加29.55秒。这使得长上下文工作负载的性能更加一致。
• 更高的GPU利用率和吞吐量——通过让常用上下文保留在GPU内存之外，该方案有助于减少GPU空闲时间，提高推理吞吐量，并在无需按比例扩展GPU容量的情况下处理更多并发请求。
• 面向企业的稳健性与可靠AI运营——具备高可用性的持久化KV缓存有助于保护已存储的推理状态，同时为多个GPU节点和集群提供共享访问。这支持更稳健、可大规模部署且更高效利用存储容量的AI服务。
• 经过验证、可直接部署的AI基础设施——Supermicro、IBM和NVIDIA已在高并发请求和“noisy neighbors”场景下共同验证了这一集成架构。该架构结合了NVIDIA Dynamo、IBM Storage Scale软件、Supermicro Petascale服务器和NVIDIA Spectrum-X网络技术。
• 加速部署服务——借助Supermicro的工厂机架集成和现场部署服务，这一解决方案的部署时间可从数周缩短至数天。

IBM Storage总经理Sam Werner表示：“企业需要一种根本上更好的方式来扩展AI推理。IBM、Supermicro和NVIDIA共同提供了一套强大而稳健的KV缓存解决方案，使客户能够最大化利用GPU投资，在不依赖算力扩张的情况下扩展存储容量，并显著提升基础设施效率。这一合作是让企业AI推理更具可扩展性、更可靠且更具成本效益的重要一步。”

NVIDIA AI Inference Product Lead Shruti Koparkar表示：“智能体AI和长上下文应用依赖于在多个步骤中高效复用上下文。NVIDIA Dynamo有助于协调分布式推理，让企业从每块GPU中获得更多可用吞吐量。通过将NVIDIA Dynamo和Spectrum-X Ethernet与Supermicro Petascale存储服务器及IBM Storage Scale结合，这套KV缓存解决方案构建了一个强大的共享存储层，可减少不必要的计算、缩短首个token生成时间，并帮助客户扩展稳健的AI推理服务。”

点击此处了解更多关于Supermicro和IBM解决方案的信息。点击此处阅读IBM Redbook《Context without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference》。

关于Super Micro Computer, Inc. Supermicro（纳斯达克代码：SMCI）是应用优化型、完整IT解决方案的全球领导者。Supermicro成立并总部位于加州圣何塞，致力于率先将企业、云、AI和5G电信/边缘IT基础设施创新推向市场。公司提供包括服务器、AI、存储、IoT和交换系统、软件及支持服务在内的完整IT解决方案。Supermicro在主板、电源和机箱设计方面的专长支持其研发和制造，并推动从云到边缘的下一代创新，为全球客户服务。公司产品在美国、台湾和荷兰自主设计和生产，并借助全球运营实现规模化和效率提升。此外，这些产品经过优化，以改善TCO并降低环境影响（绿色计算）。凭借屡获殊荣的Server Building Block Solutions®产品组合，客户可从一系列由灵活、可复用模块构成的系统中进行选择，按其具体工作负载和应用对系统进行精确配置。这些系统支持多种外形规格、处理器、内存、GPU、存储、网络、电源和散热方案（空调、自然风冷或液冷）。

Supermicro、Server Building Block Solutions和We Keep IT Green是Super Micro Computer, Inc.的商标和/或注册商标。

所有其他品牌、名称和商标均为其各自所有者的财产。

1 结果详见IBM Redbook：https://www.redbooks.ibm.com/docs/MD260021/MD260021.html