当 AI Agent 出了事,怎么分类、怎么测、怎么治 — REAL 风险矩阵与自动化红队实践AI Agent 正在从"对话工具"演进为"执行系统"——它调用工具、读写数据、跨服务编排,这意味着一次 Prompt 注入不再只是"回答了不该说的话",而可能变成一条从交互层穿透到执行层的完整攻击链。行业不缺 AI 安全的风险列表,但缺一个能同时回答"为什么出事(根因)、出了什么事(影响)、在哪层出事(位置)"的结构化分类体系,更缺一套能把分类结果直接变成测试用例、再变成自动化红队能力的工程化链路。
本演讲以我们在生产环境中的 AI 红队体系建设为主线,分三个层次展开:首先介绍 REAL 风险矩阵(R×E@L 三维分类),如何用一个坐标系统覆盖 Agent 全场景风险并对齐国内外主流标准;其次通过一个脱敏的 Prompt 注入跨层攻击链案例,展示矩阵如何指导红队从"漫无目的挖洞"变成"按坐标打靶";最后介绍我们正在建设的基于矩阵驱动的自动化红队架构,如何将专家攻击经验转化为可规模化执行的 Agent 自动化测试。
演讲摘要:
- AI Agent 的风险为什么分不清
- Agent ≠ Chatbot:工具调用、多步编排、跨系统权限让风险从"内容安全"扩展到"系统安全"
- 行业现有框架的局限:
- OWASP Top 10(LLM/Agentic AI):排名清单,不是分类体系,同一漏洞可归入多条,无法指导测试计划
- MITRE ATLAS:攻击视角的 TTP 目录,覆盖不了幻觉、偏见、功能滥用等非对抗性失效
- 核心矛盾:安全团队需要一个既能分类已知漏洞、又能生成测试计划、还能对接合规要求的统一坐标系
- REAL Matrix:一个三维坐标系统覆盖 Agent 全场景
- R(Root Cause)— 为什么出事:4 类根因 × 9 子类
- 决策树:外部注入(R1)vs 模型自身(R2)vs 基础设施(R3)vs 功能滥用(R4)
- E(Effect)— 出了什么事:4 类影响 × 20 子类
- CIA + S(Safety):系统自身受损(机密性/完整性/可用性)vs 系统输出伤害外部人员(安全性)
- L(Layer)— 在哪层出事:4 层架构
- L1 交互层 → L2 认知层 → L3 执行层 → L0 基础设施层
- 攻击链跨层传播标注:同一攻击链的不同步骤在不同 R×E@L 坐标
- 验证数据:69 条真实漏洞、37+ Agent 产品、0 遗漏;与 OWASP/MITRE/NIST/CSA 全量对齐;内置 16 部法规 128 条映射
- 设计取舍:为什么是三维不是二维?为什么不直接扩展 OWASP?为什么 R2(幻觉)和 R4(滥用)必须独立成类?
- Case Study:一条 Prompt 注入如何从 L1 穿透到 L3
- 攻击场景还原:
- 起点:间接注入(R1.2)— 外部数据源中植入恶意指令,Agent 在 RAG 检索时读入
- 穿透:认知层(L2)— 模型将恶意内容当作合法指令,推理链被劫持
- 落地:执行层(L3)— Agent 调用工具执行非预期操作(数据外传 / 权限越界)
- 用 REAL 坐标标注攻击链:R1.2×C@L2 → R1.2×I@L3,展示同一攻击在不同阶段的 R/E/L 变化
- 矩阵如何指导防御定位:不是"加一条规则",而是按层级精确定位:L1 输入过滤、L2 上下文隔离、L3 工具权限最小化
- 从个案到体系:这条攻击链映射到 R×E 16 格中的哪个格子?对应哪些法规条款?如何生成回归测试用例?
- 从矩阵到自动化红队:让专家经验变成可规模化执行的测试
- 当前困境:一个产品一个红队专家,产品线越多人力越紧张,攻击经验无法复用
- 架构设计思路:
- 矩阵 → 测试条目库:R×E@L 每个格子对应一组测试用例模板
- 测试条目库 → Agent 自动化:用 Agent 自动化执行测试用例,替代重复性手工测试
- 自动化 → 竞对横评:同一测试集横向跑多个产品,统一标尺对比安全水位
- 横评 → 态势感知:Leaderboard 可视化,业务和管理层直观看到水位变化
- 技术选型考量:
- 为什么用 Agent 做测试 Agent("以 Agent 测 Agent"):测试目标本身是 Agent,需要多步交互、工具调用、上下文维护
- Mobile 端 vs CUA 端的差异化方案
- 从攻击研究到自动化的知识转化:专家红队发现新攻击手法 → 编码为测试用例 → 自动化回归
- 与人工红队的关系:自动化解决的是"已知风险的规模化覆盖",专家红队聚焦"未知风险的前沿探索",两条线并行、互相赋能
- 五合规映射:分类结果如何自动对接监管要求
- R×E 16 格 × 128 条法规映射:测试结果打上 R×E@L 标签后,自动关联适用法规
听众收益:
- 获得一个可直接落地的 AI Agent 风险三维分类方法(R×E@L),替代"对着 OWASP Top 10 逐条打勾"的低效模式
- 通过真实攻击链案例,理解 Agent 场景下跨层攻击的传播机制和精确防御定位方法
- 看到一条从风险矩阵到自动化红队的完整工程化链路设计,解决"攻击经验无法复用"的规模化难题
- 了解如何将安全测试结果自动映射到合规要求,降低法规对接的人工成本