为保障您的参会权益，本次大会采用人脸识别入场；人脸信息仅用于本次核验，请放心使用

AI 原生架构的演进与治理：基于网关、沙箱与异构调度构建生产级智能体底座

所属专题：AI 原生架构的演进与治理

嘉宾 : 董江 | 科大讯飞资深架构师

讲师介绍

专题演讲嘉宾：董江

科大讯飞资深架构师

资深架构师，拥有 13 年后端与分布式系统研发经验，现聚焦云原生、AI 基础设施、智能体工程化领域。CNCF 优秀贡献者，Prometheus PMC 成员，AgentGateway Approver、agent-sandbox 核心贡献者，深度参与可观测性生态演进。在企业侧主导 OSPO 体系建设、开源战略规划与项目合规治理，负责大模型推理集群、智能体运行平台、模型路由调度系统的架构设计与落地；技术栈以 Go、Kubernetes 为核心，深耕可观测性、服务网格、存储、任务调度、LLM 推理优化、Agent 沙箱与多智能体编排。长期活跃于开源社区，持续向云原生、AI Infra 相关上游项目提交特性、修复缺陷、参与评审，推动开源技术在生产环境规模化落地；同时推动自研模型开源，打通内部平台与上游社区生态。乐于分享架构实践、工程经验与开源治理思路，持续探索高性能、稳定可扩展的下一代 AI 基础设施形态。

议题介绍

所属专题：AI 原生架构的演进与治理

演讲：AI 原生架构的演进与治理：基于网关、沙箱与异构调度构建生产级智能体底座

随着自主智能体从原型 Demo 走向企业规模化落地，传统云原生服务架构无法适配 Agent 自主循环、链式工具调用、动态代码执行等行为特征，AI 原生架构范式应运而生。

本次分享基于控制面与数据面分离的核心理念，介绍一套由 AgentGateway、Agent Sandbox、Volcano、HAMi 和 Prometheus 共同组成的生产级智能体底座。梳理 Agent 架构的演进路径，对比云原生与 AI 原生在治理目标上的差异。AgentGateway 作为控制面，负责身份鉴权、工具策略管控、流量路由与操作审计。Agent Sandbox 作为数据面，提供与会话绑定的强隔离执行环境，约束代码、脚本与文件操作的安全边界。依托 Volcano Gang 调度、HAMi 异构算力分片，解决大规模 Agent 并发场景下 GPU 争抢、显存碎片、资源配额管控问题。基于 Prometheus 构建覆盖网关策略、沙箱熔断、调度状态、显存利用率、会话 SLO 的全链路可观测闭环，同时分享安全取舍、算力成本优化与生产稳定性治理的实战经验。

演讲提纲

开篇
- 痛点：Agent 具备自主循环、链式工具调用、代码执行能力，传统云原生架构缺少动作安全、会话、算力的治理能力
- 核心范式：控制面与数据面分离
- 组件总览：AgentGateway、Agent Sandbox、Volcano、HAMi、Prometheus
Agent 架构三代演进 & 云原生 vsAI 原生差异（7min）
- 一代：单体 Prompt Agent，耦合无隔离，仅适合 Demo
- 二代：Harness 编排 Agent，脑手解耦，但缺少统一安全与算力管控
- 三代：AI 原生托管 Agent（本方案），继承云原生声明式、弹性、可观测，新增会话、动作权限、代码沙箱、异构算力配额治理
- 对比：云原生管服务可用性；AI 原生管 Agent 行动可信、可追溯、风险可控
AgentGateway｜控制面：身份、策略、审计
- 定位：Agent 工具调用唯一策略控制点，区分 LLM 流量与工具执行流量
- 核心能力：Agent 会话身份、声明式工具策略引擎（放行 / 拒绝 / 人工审批）、路由熔断、动作全链路审计
- 工程要点：策略 CRD 化、会话凭证随生命周期回收、异步审计防单点瓶颈
Agent Sandbox｜数据面：会话级安全执行
- 定位：承载代码 / 脚本 / 文件操作，Gateway 管 “能不能跑”，Sandbox 管 “在哪跑、能访问什么”
- 分级隔离选型：Wasm / 容器 / MicroVM，按风险自动调度
- 核心能力：会话绑定、资源硬熔断、网络 / 文件隔离、会话销毁即清理
- 工程取舍：隔离强度、冷启动时延、成本三者平衡
Volcano + HAMi｜异构算力 QoS 治理
- 痛点：并发 Agent 造成 GPU 争抢、显存碎片、互相抢占
- Volcano：Gang 调度、队列优先级、会话作业生命周期联动
- HAMi：vGPU 显存硬分片、配额隔离、显存超限熔断
- 流程：会话创建→Gang 作业提交→分配 vGPU→拉起 Sandbox + 推理实例→会话结束批量回收
Prometheus｜Agent 全链路可观测闭环
- 指标分层：网关策略指标、沙箱熔断指标、Volcano 调度指标、HAMi 显存指标、Agent 会话 SLO
- 告警：策略异常、沙箱逃逸、算力积压、显存超限
- 特色：会话 ID 统一关联全链路指标，用于故障根因定位
治理闭环、取舍与展望
- 闭环：鉴权策略→算力调度→隔离执行→指标观测→审计留存→资源销毁
- 工程权衡：隔离开销、算力密度、审批侵入性、审计存储成本
- 方向：策略推荐、沙箱快照续跑、Agent 自愈、联邦调度
总结 & Q&A
- 核心：AI 原生架构的关键是控制面 / 数据面分离，复用云原生生态，实现 Agent 可执行、可管控、可追溯、资源可控

听众收益

获得一套控制面/数据面分离的AI原生Agent治理架构范式，理解如何用AgentGateway、Sandbox、Volcano、HAMi、Prometheus构建企业级底座，可直接用于内部Agent平台方案设计
掌握规模化Agent落地的核心权衡：安全隔离、算力调度、会话生命周期治理之间的矛盾与工程取舍，避开Demo到生产转换阶段常见坑
建立面向Agent的SLO与可观测设计思路，学会区分传统服务监控和自主智能体链路观测的差异，支撑平台稳定性与风险审计

演讲亮点