大模型算法和 AI 工程技术的发展日新月异，同时对 AI 基础设施的规模，效率和稳定性提出更多挑战。本话题将介绍，社区基于 Kubernetes、算力调度、数据编排、可观测、AI 网关和微服务等技术，在构建云原生 AI 基础设施方向的最新进展。并以 LLM 推理负载管理和模型服务化管理为例，讨论如何加速大模型能力高效落地，降低企业生产和使用 AI 的门槛。

演讲提纲：

1. 大模型对 AI Infra 的挑战，云原生 AI 技术如何发展和应对
2. 云原生AI Infra的架构和关键技术详解，介绍整体架构和主要技术
   • 大规模GPU集群稳定性提升，如端到端的故障自愈体系
   • 精细化AI算力可观测能力，如GPU监控和实时Profiling技术
   • 高弹性AI数据处理流水线，如统一调度Spark、Ray、Slurm on K8s技术方案
   • 数据缓存和模型冷启动优化，如Fluid数据集编排和访问加速技术
3. LLM推理生产落地实践，利用云原生技术构建完整的LLM推理服务系统，适配PD分离等分布式推理架构，管理推理服务全生命周期，优化推理性能

听众收益：

• 了解通如何过优化数据访问速度，提升训练效率与推理服务性能
• 了解如何通过完善GPU可观测性和自动化故障处理机制，洞察GPU资源效率和AI任务性能的波动，以应对集群稳定性挑战
• 了解如何围绕新的LLM推理工作负载，构建完整的LLM模型服务架构和技术栈，帮助客户跨越从尝试大模型到生产使用的鸿沟

随着 AI 大模型迈入“通用人工智能（AGI）”加速发展的新阶段，算力需求呈指数级增长，如何构建具备高性能、高可靠性与可持续性的 AI 基础设施，成为支撑大模型演进的关键课题。尤其在国产化进程加速的大背景下，如何有效调度和利用包括 NVIDIA 及多种国产芯片在内的“异构算力集群”，成为当前业界普遍关注的技术挑战。

本次分享将结合商汤在“大装置 SenseCore”体系下的实战经验，探讨异构算力集群在资源调度与系统优化中的关键技术路径。内容涵盖从底层硬件到上层服务的一体化基础设施架构设计，重点聚焦异构资源的统一管理、弹性调度与高效利用等问题。

演讲将深入解析多芯片协同训练中的核心技术，例如分层集合通信、异步训练、自动负载均衡等，如何帮助系统突破“木桶效应”，实现国产与主流芯片在实际训练与推理中的协同加速，进而支撑如“异构混训”“大规模 EP 推理”等大模型场景的高效落地。

演讲提纲：

1. 背景与挑战：介绍AI大模型时代，算力需求猛增，以及管理“国产+海外”混合算力的核心痛点 
2. 如何构建从基础设施、平台、算法到服务的全栈一体化AI Infra解决方案
3. 如何通过大规模的异构集群调度、通信库优化技术、训练推理优化让不同芯片高效协同
4. 成果与展望

听众收益：

• 了解当前国产异构算力的现状，并获得务实可行的国产算力适配与优化策略，业务迁移至国产算力的可能性和商业可行性
• 学习提升混合硬件集群效率的关键技术与架构思路
• 洞察AI算力基础设施的未来发展方向与国产化趋势

在AI应用加速演进的背景下，如何高效处理和调度海量、多模态数据，已成为构建高质量AI系统的关键挑战之一。本演讲将介绍火山引擎面向AI任务推出的数据处理引擎——LAS Daft。该系统基于云原生湖仓一体架构，结合开源分布式执行引擎Daft，支持图文、音视频、点云等多模态数据的统一处理，覆盖数据清洗、格式转换、零拷贝对接训练框架等关键环节。

演讲将重点解析 Daft 在分布式 Python 计算、多模算子处理、流式调度等方面的核心设计，以及在智能驾驶大规模数据处理、LLM离线推理等实际应用场景中的落地经验，探讨如何在保证成本可控的前提下，实现AI数据处理能力的可扩展性与工程化落地。

演讲提纲：

1. Daft 背景及定位
2. Daft核心场景介绍
   • Python计算分布式
   • 流式异构调度
   • 多模算子处理
   • 图文混排
   • AI数据湖的Python生态圈
3. Daft技术原理介绍
   • 执行框架介绍
4. Daft大规模数据处理实践案例
   • 智驾(大规模离线处理数据）
   • LLM离线推理
5. 未来展望​

听众收益：

• 了解AI时代下多模态数据高效处理的技术需求
• 了解LAS结合Daft在数据预处理、训练加载上的实践

在 AI 时代下，企业正面临实时性、成本、合规的三重挑战。本次演讲将探讨如何构建 AI 原生全球化数据分析架构以跨越鸿沟：首先解析 AI 驱动下企业级数据分析的痛点与进化趋势，后分享如何构建湖仓一体架构并应用 Hybird Search 加速数据分析与决策。最后，分享大型企业的数据架构实践案例。

演讲提纲：

1. AI 时代的实时性、全球化、成本与复杂性鸿沟
2. AI 时代数据分析的需求进化
3. 如何构建湖仓一体架构并应用 Hybird Search 加速数据分析与决策？
   • 湖仓一体架构的构建：为机器学习和数据科学提供坚实基础，满足相关计算需求
   •  Hybrid Search 的创新应用：Keyword Search & Vector Search 能力赋能 AI Agent ，精准应对复杂查询场景
4. 实践案例

听众收益：

• 了解 AI 时代到来后，数据分析架构的进化与演变趋势
• 了解 AI 时代下，如何构建 AI 原生的数据分析架构