自 OpenAI 发布 ChatGPT 起，大语言模型的惊艳效果吸引了越来越多的人和资本关注到该领域，近年模型本身的参数量和序列长度也呈指数级增长，要面对的算力瓶颈问题接踵而至。本次分享将结合大模型的的算力需求和模型结构，详细介绍零一万物在构建 Yi 模型在线推理服务过程中所运用的优化技术手段，并就此展开讨论。

演讲提纲：

1. 大语言模型算力需求分析及当前增长趋势
2. 大模型结构特征，与传统模型推理优化手段上的差异
3. 零一万物模型推理服务优化技术方案介绍
4. 大模型应用场景与业务落地探讨

听众收益：

• 了解大模型推理算力瓶颈，主要工程优化手段
• 了解大模型应用场景，未来发展趋势

大模型在线服务部署在场景特性、资源规模和性能指标等方面对引擎框架等 AI 基础设施建设提出了更高更复杂的要求，阿里云人工智能平台 PAI 基于模型系统优化的技术积累和实践经验，面向大模型场景构建了 BladeLLM 高性能部署框架。BladeLLM 结合量化压缩、AI 编译、高性能算子与调度、以及分布式可扩展性等技术，为大模型在线部署场景提供了多层次联合的极致性能优化方案，并且能兼容大模型主流生态，提供灵活易用的接口，具备规模化生产应用的完备性和可靠性。

演讲提纲：

1. 大模型服务部署优化的主要挑战
   • 大模型在线服务的场景特性与性能要求
   • 模型规模与长下文规模带来的挑战
   • 模型技术与应用场景演进带来的挑战
2. BladeLLM 架构与核心优化技术
   • BladeLLM技术架构与主要功能
   • 高性能算子与AI编译优化
   • 模型压缩与算法优化
   • 长上下文优化
3. 大模型部署技术展望

听众收益：

• 了解大模型服务部署中的主要瓶颈与技术挑战；
• 了解大模型部署优化的主要技术手段
• 了解大模型在线服务的规模化生产部署的实践经验

演讲提纲：

1. TensorRT-LLM的项目源起
2. 演进迭代过程中的设计思考
3. 当前设计方案的核心原则
4. 最后会简要介绍TensorRT-LLM的未来规划。

随着生成式 AI 的快速发展，模型的规模在逐步增大，其结构也从 Dense 向 MoE 进化。经过 1~2 年的发展，国产大模型都取得了不错的效果。接下来就到了大模型落地应用产生工业价值的时候，这时大模型应用的性能、吞吐、成本逐步成为大家关注的焦点。腾讯太极机器学习平台常年关注 AI 模型高效落地应用，我们在大模型领域研发了 Angel-HCF 推理框架和 Angel-SNIP 压缩框架，为混元文生文、文生图、文生视频、多模态等 AI 生成领域提供全方位的优化支撑，助力腾讯混元大模型在公司内全面铺开应用。

演讲提纲：

1. 生成式 AI 技术挑战和常用优化方法
2. 太极 Angel-HCF 大模型推理框架
3. 太极 Angel-SNIP 大模型压缩框架
4. 太极 Angel 助力混元大模型落地应用

听众收益：

• 了解生成式AI的技术难点和优化手段
• 了解大模型推理加速的技术细节
• 了解大模型压缩的技术方法和后续发展
• 了解腾讯混元大模型的落地进展