随着FLUX、SORA等多模态生成模型和产品的发布，文生多模态应用备受关注。而扩散模型以其出色的生成能力，在多模态生成领域被广泛使用。由于模型参数大、图片/视频分辨率较大等原因，扩散模型的推理过程常面临高延迟的问题。同时多模态生成领域广泛存在各类与模型高耦合的插件，模型结构多样，扩散模型的推理加速还面临多种性能瓶颈。为了适配各类多模态生成模型并实现高性能，提升速度和集群吞吐量，我们将分享混元多模态生成推理加速的挑战与探索。我们将分享多模态生成推理加速方面的挑战和最新探索。

演讲提纲：

1. 多模态生成推理服务介绍
2. 多模态生成推理加速框架建设的实践与挑战
   1. 多模态推理加速工程探索：算子插件定制、图优化、并行化推理等
   2. 多模态模型压缩加速探索：蒸馏、量化等
3. 总结与展望

听众收益：

• 深入理解扩散模型推理加速的关键挑战
• 掌握提升推理性能的创新解决方案