专题演讲嘉宾：Frank Lee

GMI Cloud 资深架构师

深耕人工智能领域8年，作为AI 四小龙早期核心成员，深度参与企业从 0 到 1 的技术商业化突围，亲历 AI 算法从实验室走向规模化落地的全周期实战，对行业技术演进、市场需求匹配及商业闭环构建具有稀缺的早期开拓者视角。

主导过 10 + 行业头部客户的 AI 解决方案落地，擅长从客户痛点出发，利用 “算法 + 算力 + 数据” 三位一体的端到端方案，具备将前沿技术转化为可规模化复制的商业产品的成熟方法论。国内首批投身 AI 与云原生融合的技术专家，深度理解 AI 模型训练、推理部署与云基础设施的协同优化，在容器化调度、分布式训练框架适配、资源弹性分配等领域积累了标杆级项目经验。

by Frank Lee

GMI Cloud

资深架构师

GMI Cloud 全球化高性能分布式推理服务构建实践

AI应用全球化浪潮下，推理效率与算力供给成为破局关键。本次演讲以GMI Cloud Inference Engine为锚点，拆解其高并发、低延迟、动态扩缩容能力如何支撑全球AI业务爆发，深度分享GMI Cloud自研推理平台的架构设计、跨区域合规部署及软硬协同优化实践，揭秘其实现推理成本、指数级效率提升的关键路径。

演讲提纲：

AI应用爆发背景下模型推理服务的核心挑战分析
GMI Cloud推理优化技术分享
- 单集群内推理服务自动扩容技术
- 跨集群跨地区的推理服务自动扩容技术
- 单集群的PD分离技术
- 基于共享持久化存储的跨集群PD分离技术
- 推理参数自动化评测工具介绍
- 推理服务全面主动监控技术
- 推理服务的自动容错恢复
GMI Cloud Inference Engine 落地实践