Zesty 推出自动化分数 GPU，带来 NVIDIA CUDA 原生 GPU 切分自动化

随着 NVIDIA 开源发布 Run:ai 平台，Zesty 的新自主能力可在需求变化时持续调整 GPU 内存分配、计算共享以及工作负载放置，从而让每块 GPU 能运行更多工作负载。

美国加州圣马特奥，10 月 15 日 /PRNewswire/ -- Kubernetes 优化公司 Zesty 今日宣布支持 NVIDIA 的 CUDA 原生 GPU 切分。继 NVIDIA 将 Run:ai 作为 NVIDIA DSX AI Factory Platform 的一部分开源之后，Zesty 的 Automated Fractional GPUs 增加了一层自主决策能力，可持续决定 GPU 内存分配和计算共享模式，并在 AI 工作负载需求波动时调整工作负载放置。Zesty 表示，借助这些自主能力，团队可以提高 GPU 利用率，在现有基础设施上运行更多工作负载，减少对额外 GPU 容量的需求，并在保护应用性能的同时降低基础设施成本。

Zesty 称，66% 托管生成式 AI 模型的组织将部分或全部推理任务运行在 Kubernetes 上，而这些工作负载所需的 GPU 容量昂贵且通常受限。过去，团队通常会将整块 GPU 分配给单个工作负载，或通过 time-slicing、NVIDIA Multi-Process Service（MPS）或 NVIDIA Multi-Instance GPU（MIG）进行共享，后者会把每块 GPU 划分为固定的硬件分区。Zesty 表示，这些分配方式无法跟上动态 AI 工作负载和实时需求变化，结果是 GPU 内存和算力被闲置，而团队即使已有容量未被使用，仍会继续购买更多 GPU。

Zesty 表示，NVIDIA 最近开源的 Run:ai 通过 GPU Fractioning Operator 将 CUDA 原生 GPU 切分引入 Kubernetes，该操作器可强制执行每个工作负载的 GPU 内存限制，并与 Kubernetes 调度器协同工作。Zesty 指出，切分机制让灵活性成为可能，并定义了工作负载如何拆分一块 GPU，但并不会决定如何分配这些容量。决定哪些工作负载共享每块 GPU、每个工作负载获得多少内存，以及当需求上升或下降时这些分配如何变化，需要另一层决策机制。

Zesty 提供的正是这一层。其 Automated Fractional GPU 功能会持续判断哪些工作负载应共享同一块 GPU、可以安全同时运行多少个工作负载、每个工作负载应获得多少 GPU 内存、哪种共享模式最适合每个工作负载，以及这些分配何时应增加或减少。相关决策基于实际 GPU 内存使用情况和利用率、随时间观察到的工作负载行为，以及团队预先定义的延迟要求和资源限制。所有变更都将保持在团队为每个工作负载设定的性能和可用性策略范围内。

Zesty 研发副总裁 Pini Ben Nahum 表示：“GPU 是当今基础设施团队管理的最昂贵、最受限制的资源之一。它们难以保障安全、增加成本高，而且被需求不断变化的 AI 工作负载共享。现在 NVIDIA 已将 GPU 切分开放给生态系统，而 Zesty 正在让这种分配变得智能且自主。”

他表示：“Autonomous GPU Resource Management 会在每个工作负载需求升降时，调整 GPU 内存和计算共享，并指导工作负载放置。团队可以在不牺牲性能质量的情况下，把更多工作负载塞进现有硬件，减少新的 GPU 采购，并降低生产环境中运行 AI 的成本。”

该功能以轻量级代理的形式部署在 Kubernetes 集群中，并与 NVIDIA Run:ai GPU Fractioning Operator 及 Kubernetes 调度器协同工作，支持 time-slicing 和 MPS。它不需要修改应用代码或模型，安装时也不会重启正在运行的工作负载。在受支持的 GPU 技术栈上，Zesty 可管理优化所需的 Kubernetes 配置，无需手动修改清单文件。

Automated Fractional GPUs 现已作为 Zesty 平台的一部分提供。更多信息请访问 http://zesty.co/platform/automated-fractional-gpus。

关于 Zesty

Zesty 帮助企业通过自主资源优化降低基础设施成本。该平台持续将资源与实时工作负载需求相匹配，自动消除过度配置并提升基础设施效率，同时保护应用性能。通过以策略驱动的自动化取代持续的人工资源调整和性能调优，Zesty 使团队能够在不增加运营风险的情况下运行更精简的 Kubernetes 环境。

借助 Automated Fractional GPUs，Zesty 正将这一方法扩展到 GPU 基础设施，帮助团队从现有 GPU 容量中获得更多价值，同时控制 AI 工作负载不断上升的成本。

Zesty 成立于 2019 年，专注于让基础设施更高效、更自动化且更具成本效益。

更多信息请访问 zesty.co。

媒体联系

Kate Schoenstadt

[email protected]

IL +972(0)-54-7776684