智能体系统的风险归因与防御

所属专题:Agent Security|身份、权限与行动安全

嘉宾 : 刘东瑞 | 上海人工智能实验室智能体攻防中心负责人 & 青年科学家

讲师介绍

专题演讲嘉宾:刘东瑞

上海人工智能实验室智能体攻防中心负责人 & 青年科学家

刘东瑞,上海人工智能实验室智能体攻防系统中心负责人,青年科学家,入选 WAIC 2026 云帆奖和上海市高层次人才计划。长期从事 AI 安全可信研究,获 CVPR 2024 最佳论文候选和 ACL 2025 杰出论文。国际首次从工具—记忆—协同层面揭示智能体风险传导与根因,近两年系列工作获两次最佳论文和八篇 CCF-A 类会议 Oral。研发国际首个诊断式智能体守卫模型 AgentDoG 套件,系列开源工具获星标 2w+,已落地阿里、讯飞、360、支付宝等公司,支撑千万级用户和亿元业务。研发 DoGNAVY 智能体赋能漏洞治理,参加国际赛事获三项国内第一、一项全球第一,获央视等多家媒体报道,相关成绩消息拉升国安股份涨停,影响市值超过 30 亿人民币。

议题介绍

演讲:智能体系统的风险归因与防御

智能体风险已从“输出内容风险”迁移为“执行轨迹风险”:最终回复可能合规,但中间已发生工具误用、间接提示注入、信息泄漏或危险命令执行。传统安全/不安全二分类护栏只能报警,无法回答“风险从哪来、在哪一步失败、会造成什么后果”,因而难以支撑有效拦截。本演讲以“归因→防护→实战验证”为主线,介绍三部分内容:AgentDoG 1.0 提出“风险来源—失效模式—现实危害”三维分类法,把 Agent 安全从“看输出”推进到“看轨迹”,实现根因诊断;AgentDoG 1.5 将框架扩展至 OpenClaw、Codex 等新场景,并以轻量诊断模型实现在线运行时护栏,使归因能力转化为可部署的实时防护;真实场景下 AgentDoG 归因与防护架构的有效性验证。

演讲提纲

  1. 问题提出:为什么智能体安全需要“归因”
    • 风险形态迁移:从内容合规转向执行轨迹安全;最终输出正常 ≠ 轨迹安全
    • 二分类护栏瓶颈:只能判 safe/unsafe,无法定位来源、失败环节与现实危害
    • 核心命题:风险归因是有效防护的前提
  2. AgentDoG 1.0:把风险拆成可诊断的三维结构
    • 三维分类法:Risk Source(从哪来)→ Failure Mode(怎么失败)→ Real-world Harm(造成什么后果)
    • 关键能力:基于 ATBench 的轨迹级诊断;识别明确不安全行为及“表面安全但不合理”的行为
    • 定位:解决“如何看懂 Agent 风险”,但主要面向离线诊断与评测
  3. AgentDoG 1.5:从“看懂风险”到“在线防护”
    • 场景扩展:保留三维高层框架,扩展叶子风险至 OpenClaw、Codex,对应 ATBench-Claw / ATBench-Codex
    • 轻量化可训练:约 1k 高质量样本训练 0.8B—8B 诊断模型,具备部署可行性
    • 在线运行时护栏:在最终回复前或动作执行前实时审查与干预,实现“轨迹级监测 + 在线阻断”
    • 定位:解决“如何实时拦住风险”,把归因能力转化为防护动作
  4. DoGNAVY:归因与防护的实战验证
    • 面向漏洞复现与全生命周期管理的多智能体系统;CyberGym Level 1 的 1,507 道任务通过 1,369 道,通过率 90.84%,全球第三
    • AgentDoG 的角色:提供轨迹级安全诊断底座;其设计支撑隔离沙箱与运行时护栏
    • 意义:证明归因能力在高对抗实战中是工程必需品,而非可解释性装饰
  5. 总结与展望

听众收益

  • 理解 Agent 安全从内容检测向执行轨迹安全演进的核心趋势
  • 掌握 Agent 风险归因、轨迹诊断与运行时实时防护的技术思路
  • 了解复杂多智能体场景下安全架构的设计与工程落地实践

演讲亮点

  • 创新风险归因框架:提出「风险来源—失效模式—现实危害」三维分类法,实现 Agent 风险根因诊断
  • 从诊断走向实时防护:通过 AgentDoG 1.5 和轻量级模型,实现轨迹级风险监测与在线拦截
  • 真实高对抗场景验证:结合 DoGNAVY 实战,在 CyberGym Level 1 达到 90.84% 的任务通过率,验证技术的工程价值

交通指南

北京新云南皇冠假日酒店

Crowne Plaza Beijing Sun Palace
地址:北京市
  • 微信咨询

  • 电话咨询

    联系电话:13269078023

领取往期热门演讲视频

领取往期热门演讲视频二维码
如您在购票过程中遇到问题,请扫码咨询票务小助手