🔏
安全与审计域 · 考点 安7

智能体安全

📝 Tips 笔记解读▾
1. 智能体安全核心原则▾
  • ● 风险自主执行权限边界
  • - 考点定义:自主智能体在执行自动化动作时必须被限定在明确权限边界内,防止越权或超出预期的操作。
  • ● 风险权限隔离
  • - 考点定义:智能体的权限应与其他系统/控制机制隔离,权限检查不依赖智能体自身判断。
  • ● 风险权限阻断
  • - 考点定义:当智能体行为可能越界或扰乱业务时,应具备阻断机制(如独立的授权校验)及时制止。
⚠ 笔记缺漏补充▾
  • ● 缺漏代理类型知识:不同智能体类型适配不同决策复杂度。其中"审议型代理(deliberative agent)"基于推理与规划,适合需结合外部条件/需求做复杂优化决策的场景;"学习代理"可随经验改进;"基于规则/简单反射代理"适合确定性、低复杂任务。命题可能考察"何种代理适配何种任务"。
  • ● 缺漏权限检查应独立于模型执行:对 LLM 类智能体,授权与权限校验必须由独立组件执行,不能交由 LLM 自行管理,否则存在越权风险。这是对"权限隔离/阻断"的具体落地。
  • ● 缺漏自主操作对业务的扰动风险:自主智能体最大的审计关注点是其自动化动作可能扰乱正常业务运营,故需人工监督与阻断机制,而非仅看其减少人工干预的效率收益。
🎯 考点分析▾
考察主线▾

本批次聚焦"自主智能体的权限与安全保障",包含两个维度:一是自主代理在执行中可能越权、扰乱业务的风险及对应的权限边界/隔离/阻断控制;二是不同代理类型对任务复杂度的适配。审计员视角要求识别"最需关注的风险"与"最安全的管控方式"。

正确答案的共同知识方向▾
  • 自主威胁检测/事件响应智能体中,审计员最应关注的是:代理可能采取扰乱业务运营的自动化操作(权限越界风险)。
  • 部署 LLM 前,管理其代理最安全的方式是:授权与权限检查独立于 LLM 本身执行。
  • 根据需求与外部市场条件进行优化的任务,最适合采用基于推理规划的审议型代理。
  • 共性:智能体安全的核心是"限定自主权限、独立校验、按需选型"。
常见干扰方向▾
  • 把"减少分析师干预/提升效率"当作最主要收益而忽视越权扰动风险。
  • 将审计日志变长、需扩展网络等运维成本误判为核心安全问题。
  • 让 LLM 自行管理数据源与授权(权限未独立)作为"可行"方案。
  • 在需推理规划的复杂优化场景误选简单反射或基于规则代理。
场景分布▾
  • 网络安全:自主威胁检测与事件响应系统
  • 大模型(LLM)部署前的安全评估
  • 业务优化:根据外部市场条件动态定价(如机票价格)
📋 考察范围清单▾
  • 自主执行权限边界:智能体自动化动作须限定在明确边界内,防止越权或意外操作。
  • 权限隔离:智能体权限应与其他控制隔离,权限校验不依赖智能体自身。
  • 权限阻断:应具备独立机制在智能体行为越界或扰乱业务时及时阻断。
  • 权限检查独立性:对 LLM 类代理,授权/权限检查须由独立组件执行,不得交由模型自管。
  • 业务扰动风险:自主智能体最需审计关注的是其自动化动作可能扰乱正常业务运营。
  • 审议型代理(deliberative agent):基于推理与规划,适合于需结合外部条件/需求做复杂优化决策的任务。
  • 学习代理:可通过经验持续改进,适合需随环境演化的任务。
  • 简单反射/基于规则代理:适合确定性、低复杂、无需推理的任务。
  • 代理选型原则:依任务复杂度(是否需推理规划、是否需持续学习)选择代理类型。
📄 Tips.pdf 补充对照▾
  • 权限:自主执行权限边界、权限隔离、权限阻断

→ 打开 PDF 补充页查看全部条目

← 上一个考点政策培训首页导航下一个考点 →输出控制