专题演讲嘉宾：赵军平

大模型训练和部署需要大量的显存。业界提出了很多方案，如 offloading、PP 并行、量化等，但通常需要修改模型代码或权衡精度损失。我们观察到，框架层如 PyTorch 由于缓存分配器中频繁的 split-merge 操作，带来严重的管理开销即碎片，尤其分布式训练或叠加使用 DeepSpeed、FSDP 时问题更加突出。

我们分享介绍 GLake（ASPLOS24）：一种高效、全局的显存优化方案，可无缝接入 PyTorch 框架并显著减少显存碎片。在内部，GLake 基于虚拟 - 物理指针和定制化的策略，对显存进行动态重映射；并支持跨进程、跨卡、跨框架的全局显存池化；可用于大模型训练或推理（与 vLLM PagedAttention 不同）。

GLake 实测训练可节省 34% 显存，训练吞吐提高最高 4 倍，与 DeepSpeed、LoRA 等正交；并优于 PagedAttention。开源地址：https://github.com/intelligent-machine-learning/glake

演讲提纲：

1. 大模型的显存与传输挑战分析
2. 现有方案简介
3. GLake 总体方案
4. GLake 在大模型训练时的针对性设计和效果对比
5. 推理时的显存挑战与初步优化
6. 开源与未来展望

听众收益：

• 如何系统性分析、优化显存与传输问题：包括硬件与框架能力 / 不足，显存完整生命周期，全局视角的管理与优化包括多卡、多进程、多任务等
• 不同场景下多种优化手段的优劣，如何合理定位和取舍
• 探讨未来可能的演进和有趣的软 - 硬结合