专题演讲嘉宾：黄涛

在生产场景中，AI 智能体展现出了长生命周期、突发算力需求、强隔离性以及成本效益并重的多重诉求。本次分享将探讨 AI Agent 对容器基础设施带来的全新挑战，并深入分析如何在新时代下构建支撑 AI 基础设施的新一代容器环境，重点关注 Node-aware 容器场景和 Serverless 容器场景的应用。

具体而言，在 Node-aware 场景中，引入 Pod 级虚拟化，以提供更强的隔离性和秒级启动时间。在 Serverless 容器场景中，则采用容器休眠机制能够实现低成本的快速唤醒。结合可调整的 VPA（Vertical Pod Autoscaler），我们可以根据实际需求动态优化资源配置，并通过镜像缓存技术加速冷启动。本议题将基于真实实践，总结 AI Agent 与推理业务的关键需求，分析容器平台的能力边界，并分享在工程化落地过程中的最佳实践经验。

演讲提纲：

1. AI Agent 对容器基础设施的全新挑战
   • 需求画像：长生命周期与多会话、成本敏感与弹性、 不可信代码与沙箱隔离
   • Node-aware容器场景如何保障AI Agent安全性
   • Serverless容器场景支持智能体的实践：安全沙箱运行环境、镜像缓存技术、容器休眠技术、容器柔性技术
2. 推理服务基础设施
   • 模型服务作为AI Agent的执行大脑，工程化落地中，LLM的规模化部署挑战
   • PD分离架构下，RoleBasedGroup（RBG）基于角色的编排、发布管理和故障处理
3. 最佳实践
   • AI Agent基于容器的实践和架构：基于休眠、唤醒和状态保持的智能体业务实践
   • 开源 RoleBasedGroup 在 PD 分离场景的落地与工程化实践
4. 总结与展望

听众收益：

• 理解 AI Agent 的运行与成本模型，AI Agent 对容器平台的核心诉求
• 理解基于容器的休眠&唤醒、PVM、柔性变配、镜像缓存、隔离等关键实现思路与取舍
• 学习基于容器的AI Agent工程化落地最佳实践