本次演讲将探讨如何在Google Cloud TPU上，以高性价比的方式部署开放的大语言模型和文生图模型。我们将基于TPU的发展历程及其硬件架构特性，深入剖析如 vLLM、JetStream、MaxDiffusion 等主流推理框架在TPU上的优化路径。

演讲将重点介绍围绕自动前缀缓存、分块预填充、连续批处理、分布式推理等关键技术手段，如何实现推理流程的深度调优，从而显著提升模型部署的吞吐效率与响应延迟。

演讲提纲：

1. TPU 简介与技术演进
2. 理解大模型推理的核心流程
   • 自回归模型的推理过程：Prefill 与 Decode 阶段解析
   • 关键挑战：如何突破延迟瓶颈与吞吐上限？
3. 推理框架优化实践：vLLM 与 JetStream 深度调优
   • vLLM on TPU：自动前缀缓存（APC）、分块预填充、连续批处理的落地
   • JetStream 与推测解码：提升效率的系统级创新
   • LLM-d 与 GKE：如何构建分布式推理服务体系
4. 性能指标解读与服务优化
   • 如何测量好推理服务？延迟、吞吐、KV Cache 使用率等指标剖析
   • 对比 GKE 推理网关 vs 传统负载均衡的实际效果
5. TPU 硬件特性赋能模型推理
   • SPMD 并行、SparseCore、Pod 架构下的推理效率优势
   • Ironwood 带来的最新计算能力与部署选项
6. 落地案例与部署总结
   • 文生图场景中延迟下降实践：客户案例分享
   • 部署路径总结：多种方案下的性价比对比与优化建议

听众收益：

• ​全面理解 TPU 架构与演进，掌握其适配开放大模型的核心优势
• 学会在 TPU 上部署大语言/图像模型的实战优化技巧
• 掌握推理过程中的关键指标分析方法，并通过 GKE 网关优化推理服务
• 借助真实案例理解如何兼顾推理性能与成本控制，实现性价比最大化