大模型时代的模型生产成本更加高昂，模型尺寸大、并行规模大、服务并发高，体系化的大模型工具链和系统对于提升模型迭代和研发效率至关重要。

本次演讲将分享在大模型工具和系统建设的实践经验，介绍搭建的大模型训练、压缩和推理部署系列工具，覆盖多种模态和场景，通过分析阐述其中的相关算法创新与系统实现原理，汇报团队在多种模态大模型的训练系统优化、模型压缩算法和大规模并行服务上的系列探索。

演讲提纲：

1. 引言：
   • 视频、图像、语音、语言多种模态生成式大模型推理的系统挑战
   • Light系列推理工具生态
2. 核心技术解析：
   • 多进程架构：模态伸缩与扩展
   • 多维度压缩方法：量化、Token Pruning、稀疏和Cache复用
   • 动态扩缩容：大规模服务的实时弹性扩缩容设计
   • 实时视频生成：高质量4步蒸馏
3. 应用案例
   • 视频生成民主化：个人玩家的福音
   • 规模服务的降本：组合拳的成本控制
4. 未来展望：
   • 统一模态的融合设计
   • 应用层的系统打通

听众收益：

• 快速了解生成式大模型的核心推理优化技术，掌握各种模态类型的优化异同点，并理解领域发展的最新趋势