GPU 平台能力模型

平台能力的本质，是将复杂工程机制抽象为可交付、可验收、可组合的治理单元。

GPU 资源问题正从“单机性能优化”转向“平台治理”：共享与隔离、碎片化调度、在线推理尾延迟，以及异构与多租户带来的治理复杂度。本章提出一套可复用的 GPU 平台能力模型，用于将“机制与实现”抽象为“可交付、可验收、可演示”的能力单元，为平台选型、方案设计与能力路线提供统一语言。

本章不展开具体组件实现细节（如 MIG、HAMi、Kueue、Volcano、Kthena 的内部机制），而聚焦于平台对外交付的能力、成立前提、度量与验收方式，以及能力如何组合成场景方案。

从 Feature 列表到平台能力：为什么需要能力模型

许多 GPU 平台讨论停留在 feature 列表：支持某种切分、调度、指标面板。但在生产环境，用户更关心：

• 在给定预算与硬件条件下，利用率能提高到什么程度，代价是什么；
• 在线推理在资源紧张时，SLA 能否被严格保障；
• 多团队共享资源池时，是否能做到 可预测、可解释、可约束；
• 业务潮汐或突发时，平台是否具备 自适应弹性；
• 能否提供 可复现的验收方法，避免“看起来能用”的主观判断。

因此，本章采用“能力（Capability）”的表达方式，而非“功能（Feature）”。

能力（Capability） 指面向场景的交付单元，满足以下约束：

• 可叙述：一句话说明解决什么问题；
• 可成立：有明确适用前提与边界条件；
• 可验收：有清晰指标口径与可复现实验方法；
• 可组合：能与其他能力组合成更高层场景方案；
• 可权衡：明确收益与代价，避免隐性风险。

分层结构：L0–L3（原语 → 基础能力 → 平台能力 → 场景方案）

为避免内容"大而全"，本模型采用四层结构：

L0 · 资源原语（Primitives）

平台可观测、可分配、可约束的最小对象，包括：

• 显存：分配量、峰值、碎片与回收；
• 算力：SM 利用率、算力份额、调度时间片；
• 带宽与互联：HBM 带宽、PCIe/NVLink 拓扑与争用；
• 工作负载属性：推理/训练/测试、交互式/批处理、优先级与期限；
• 健康与热状态：温度、功耗、ECC、故障与降频。

L1 · 基础能力（Foundations）

对 L0 原语进行抽象、治理与组合的基础动作：

• 限额与配额（资源边界）
• 准入与排队（Admission/Queue）
• 抢占与驱逐（Preemption/Eviction）
• 共享与隔离等级（Isolation Profiles）
• 弹性调整（Resize/Scale）
• 性能档位（Performance Profiles）
• 指标采集与归因（Metering/Attribution）

L2 · 平台能力（Platform Capabilities）

面向业务场景的交付单元（可演示、可验收、可复用）。本章后半部分将对以下能力给出标准化描述：

• GPU 超卖（显存超卖）
• 优先级抢占
• 自动扩缩容（显存原地扩缩容与自动扩容）
• Turbo 模式（接近原生性能档位）
• GPU 资源精细化管理（配额）
• 任务显存占用分析
• 一站式可观测性

L3 · 场景方案（Solutions）

多个 L2 能力按场景打包形成可交付方案，例如：

• GPU 云租赁与"出租率"优化（利用率优先）
• 潮汐型推理平台（尾延迟与弹性优先）
• 多团队共享资源池（治理与公平优先）
• 训练/推理混部平台（隔离与可预测优先）

能力域划分：六大域（供给 / 分配 / 共享隔离 / 弹性 / QoS / 观测验收）

为让 L2 能力具备清晰层次，本章采用六个能力域组织内容。每个能力域对应平台治理闭环中的关键问题：

能力卡模板：统一写法与验收口径

为避免能力描述变成产品说明书或 feature 列表，本书对每项 L2 能力采用统一“能力卡”模板：

• 能力定义（一句话）：用工程语言描述要交付的能力。
• 适用场景与业务假设：该能力成立的前提（潮汐性、优先级划分、交互延迟约束等）。
• 核心价值（可量化）：收益优先用指标表达（利用率、SLA、成本、运维效率等）。
• 关键机制（抽象概览）：描述需要哪类机制（控制面/数据平面/观测），不展开实现细节。
• 验收指标（口径明确）：至少包含利用率类、性能类、稳定性类三组指标。
• 边界与短板：何时不适用、风险在哪里、会牺牲什么。
• 演示步骤（最短路径）：给出可复现实验的最小步骤与观测点。

能力矩阵总览（L2）

下表用于快速定位能力在模型中的归属与评估重点。建议实际评估时以能力卡形式展开。

平台能力详解（能力卡）

GPU 超卖（显存超卖）

优先级抢占

自动扩缩容（显存原地扩缩容与自动扩容）

Turbo 模式（接近原生性能档位）

GPU 资源精细化管理（配额）

任务显存占用分析

一站式可观测性

常见组合：三类典型平台包（L3 示例）

以下为三类常见组合方式，帮助读者将能力从"单点"组织成"方案"：

能力成熟度：从可演示到可规模化

能力从"能跑"到"可规模化"，通常经历三个阶段：

评估平台时，建议关注是否具备可验收口径、明确边界与代价、能否形成稳定运营闭环，而非仅以"能否支持某功能"为唯一标准。

总结

本章提出的 GPU 平台能力模型，旨在帮助平台团队与业务方以统一语言梳理平台交付能力、适用前提与验收方式。通过能力分层、能力卡模板与典型组合，平台治理不再停留在 feature 罗列，而是转向可复现、可组合、可演示的工程闭环。希望本模型为 GPU 平台选型、能力规划与生产落地提供参考。