这次演讲将介绍大模型推理服务的独特之处，并详细阐述千帆大模型推理架构建设的实践与探索过程。在这一过程中，团队面临了算力成本高昂、资源利用效率低等降本难题。为了解决这些挑战，千帆平台采用了多项创新技术：

1. Prefix Caching：通过前缀缓存技术提升了模型推理的速度和集群吞吐量，显著提高了系统整体性能。
2. PD分离技术：通过引入PD（Parameter Decoupling）分离技术，优化了资源分配，既提升了系统性能，又有效降低了成本。
3. 量化压缩技术：采用量化压缩方法，减少了模型存储和计算需求，从而降低了硬件资源消耗。

此外，在架构设计方面，千帆平台还引入了高效的调度方案，能够动态调整请求和计算资源的分配，进一步提升了服务的性能和响应速度，实现了资源的高效利用。

演讲提纲：

1. 大模型推理服务介绍
2. 千帆大模型推理架构建设的实践与探索
3. 我们遇到的降本挑战与应对策略
4. 千帆平台降本的解决思路和方案
5. 总结与展望

听众收益：

• 了解百度千帆大模型推理的最新技术和成果
• 了解到千帆平台大模型推理降本的实战经验

训练和部署大模型需要巨大的显存资源。为了缓解 OOM 问题并实现更高性能，我们将分享显存优化方面的挑战分析和最新探索，重点包括 vTensor 和 LayerKV 两个方案。

首先，vTensor：一种新 tensor 数据结构，作为 PagedAttention 的替代方案，为模型提供始终连续的虚拟地址。vTensor 可以高效解决推理 KV cache 碎片问题；更重要的是，集成或定制高级 attn kernel(例如 FlashAttn3, 稀疏和量化等）变得非常简单，只需更改 3 行代码几分钟内即可搞定 (对比 vLLM 需要数周时间)；

其次，layerKV: 通过细粒度的 layer-wise 显存管理和 CPU offloading，在 QPS 基本持平情况下，可降低高负载下首字延迟多达 69x。

vTensor 和 layerKV 基于 PyTorch、vLLM 实现。对模型透明，精度无损，可以与量化、压缩等有损方案配合使用。本次演讲将分享这些技术实践。

演讲提纲：

1. 大模型推理显存挑战
2. 显存优化探索
   • CUDA VMM
   • vTensor: 优化 KV Cache 管理
   • LayerKV: 优化 TTFT
3. 总结与展望

听众收益：

• 了解大模型显存优化的典型策略和手段，包括有损、无损等
• 理解通过精度无损的优化手段实现敏捷迭代和首字优化：vTensor 可更轻松定制开发 attn kernel（例如集成 FlashAttn3, FlexAttn 等）；以及 layerKV 通过细粒度的显存管理来显著降低首字延迟

在以数据驱动的 AI 时代，高效访问存储中的大量数据对于模型训练和服务至关重要。然而，I/O 挑战往往会阻碍性能并限制 GPU 的利用率。在本次会议上，我们将介绍基于 Alluxio 构建的高性能数据访问层，如何克服 I/O 挑战并显著提高 GPU 利用率。通过丰富的用户案例和实验数据，您将了解在 Alluxio 中缓存数据集和模型的方法，将带来多大幅度的性能提升。目前，全球市值前十名的互联网公司中，已经有九家在生产环境中使用了 Alluxio。

演讲提纲：

1. 介绍常见的 I/O 挑战及其对 GPU 利用率和整体性能的影响
2. 如何将高性能数据访问层无缝集成到 ML 流水线中，以减少 I/O 开销
3. 提高AI工作负载性能的缓存策略
4. 增强数据访问和加速AI工作负载的未来方向
5. 行业应用案例分享

听众收益：

• 将深入了解到由数据驱动的AI工作负载所带来的 I/O 挑战，
• 并了解如何将 Alluxio 作为一种有效解决方案加以利用，从而消除数据加载瓶颈，最大限度提高GPU利用率，以及加速了人工智能工作负载等方面。

随着FLUX、SORA等多模态生成模型和产品的发布，文生多模态应用备受关注。而扩散模型以其出色的生成能力，在多模态生成领域被广泛使用。由于模型参数大、图片/视频分辨率较大等原因，扩散模型的推理过程常面临高延迟的问题。同时多模态生成领域广泛存在各类与模型高耦合的插件，模型结构多样，扩散模型的推理加速还面临多种性能瓶颈。为了适配各类多模态生成模型并实现高性能，提升速度和集群吞吐量，我们将分享混元多模态生成推理加速的挑战与探索。我们将分享多模态生成推理加速方面的挑战和最新探索。

演讲提纲：

1. 多模态生成推理服务介绍
2. 多模态生成推理加速框架建设的实践与挑战
   1. 多模态推理加速工程探索：算子插件定制、图优化、并行化推理等
   2. 多模态模型压缩加速探索：蒸馏、量化等
3. 总结与展望

听众收益：

• 深入理解扩散模型推理加速的关键挑战
• 掌握提升推理性能的创新解决方案

研讨话题：

1. 国内主流大模型 API 的调用成本已经卷到很低，还会有多少下降空间，空间来自于哪里？

2. 国产算力的真实性价比和可用性如何，现在值得跟进吗？

3. 手机端侧推理，目前整体都在Demo阶段，模型稍微大点，上下文稍微长点就不可用。端侧推理未来能否成熟？预测何时能成熟？

4. 投入大模型行业的工程师，做集成应用、模型训练、推理架构等等，哪个方向未来前景更大，工程师应该如何选择职业发展规划？

5. 预测三年后，技术、应用与行业发生的变化