以扩散模型为代表的多模态模型在近两年成为生成领域的基础模型，也使得文生图、文生视频等真正走入 C 端用户，推动澎湃的 AIGC 社区形成。但是随着模型的 Scale 越来越大，模型推理时间过长、显存占用过高仍旧是难以忍受的问题，以 Flux 和 Wan2.1 为例。但是过去在模型架构上的剪枝等手段不够适配扩散模型的特性，在此背景下，达摩院从算法设计与系统优化等不同的角度构建了多维度的扩散模型加速的方法，包括动态计算的DyDiT、引入强化学习的联合动态范式RAPID、FP8与稀疏化的联合感知优化的FPSAttention。面向未来，结合高效算法设计与系统优化的极致加速，将使得视频边播放边生成，用户不再感知延迟！

演讲提纲

1. 问题背景
   • 扩散模型的演进与多模态生成的效率挑战
   • 解构效率问题——算法设计与系统优化
2. 算法设计
   1. 动态化思想加速DiT——DyDiT
   2. 多维度动态计算联合「强化」——RAPID3
3. 系统优化
   • FP8 & 稀疏化的联合感知训练——FPS Attention
4. 总结与展望

听众收益

• 了解生成效率问题的技术挑战
• 了解达摩院在这一方向的思考与 best practice

演讲亮点
基于团队 ICLR-2025 的最新工作 DyDiT 及其演进工作，讲述扩散模型推理加速的一个重要方向。