专题演讲嘉宾：吴伟

大模型时代，训练与推理长期分池运行，训练侧弹性但离线、推理侧固定但在线，两者资源需求呈"潮汐"对立——夜间训练吃满集群、白天推理迎来峰值，导致 GPU 平均利用率较低。蚂蚁集团构建了训推一体智算基础设施，通过"弹性配额—优先级抢占—动态混部"三层调度机制，打破训推资源围墙，实现GPU 集群资源的统一编排。底层基于异构算力池化技术，对NV 和国产化芯片进行统一纳管与 XPU 抽象，支持跨芯片类型的任务调度和热迁移。实践表明，通过统一的资源调度，有效提升了 GPU 资源的使用效率。

本演讲将分享完整的架构设计、潮汐调度策略和异构适配中的踩坑经验。

演讲提纲：

1. 训练推理资源池分离的背景和问题
   • 场景引入：展示一张典型 GPU 集群 24 小时利用率曲线图——训练任务凌晨跑满、推理白天峰值、中间大量空白
   • 核心矛盾：训推分离模式下，两个资源池永远"一个吃不饱、一个在闲置" 
2. 训推一体解决方案整体介绍
   • 异构算力池化 + 弹性调度
3. 训推一体关键技术：异构算力池化
   • 统一抽象模型（XPU）：将异构资源统一到一套设备资源管理体系
   • 关键能力模块：资源纳管（异构芯片接入、拓扑自动发现）→ 异构调度（同构/混合调度）→ 弹性扩缩（Scale Up/Down 无感）→ 任务热迁移（跨芯片业务无感）
4. 训推一体关键技术：弹性调度
   • 弹性配额层
   • 优先级抢占层：
     • 优先级设计：P0（在线推理）> P1（交互式推理）> P2/P3（离线训练）
     • 抢占流程：高优先级任务触发 → 低优先级任务 Checkpoint → 资源释放 → 高优先级任务调度 → 负载下降后恢复
   • 动态混部层（潮汐调度）
5. 蚂蚁集团的实践效果
6. 总结和展望：跨 AIDC 的训推联邦调度、基于预测的弹性预分配等

听众收益：

• 可以了解"弹性配额—优先级抢占—动态混部"三层调度架构的完整设计思路，直接应用于自身企业的大模型基础设施规划和建设中，避免从零探索的试错成本
• 建立 GPU 资源效率优化的数据化认知框架：通过蚂蚁集团的具体实践，听众可以建立一套 GPU 集群效率度量和优化的基准体系，用于评估自身基础设施的改进空间