随着生成式 AI 的快速发展，模型的规模在逐步增大，其结构也从 Dense 向 MoE 进化。经过 1~2 年的发展，国产大模型都取得了不错的效果。接下来就到了大模型落地应用产生工业价值的时候，这时大模型应用的性能、吞吐、成本逐步成为大家关注的焦点。腾讯太极机器学习平台常年关注 AI 模型高效落地应用，我们在大模型领域研发了 Angel-HCF 推理框架和 Angel-SNIP 压缩框架，为混元文生文、文生图、文生视频、多模态等 AI 生成领域提供全方位的优化支撑，助力腾讯混元大模型在公司内全面铺开应用。

演讲提纲：

1. 生成式 AI 技术挑战和常用优化方法
2. 太极 Angel-HCF 大模型推理框架
3. 太极 Angel-SNIP 大模型压缩框架
4. 太极 Angel 助力混元大模型落地应用

听众收益：

• 了解生成式AI的技术难点和优化手段
• 了解大模型推理加速的技术细节
• 了解大模型压缩的技术方法和后续发展
• 了解腾讯混元大模型的落地进展