🧠
模型与算法域 · 考点 模10

鲁棒性

📝 Tips 笔记解读▾
  • ● 关键词极端条件/意外/极限/微小改变/对抗性输入。→ 鲁棒性衡量模型在极端、意外、扰动或被刻意构造的输入下,仍能保持稳定正确输出的能力。
  • ● 关键词防御性蒸馏/对抗性测试/误导测试(识别差距)。→ 提升与验证鲁棒性的核心技术包括防御性蒸馏、对抗性测试,以及用错误/异常输入诱导模型以暴露差距的误导测试。
  • ● 关键词红队演练/模拟黑客。→ 通过红队演练、模拟攻击者手段主动探测模型弱点。
  • ● 关键词稳定性/弹性。→ 鲁棒性的同义目标即模型的稳定性与弹性(面对扰动不崩溃、不误判)。
⚠ 笔记缺漏补充▾
  • 考点考查"规避攻击(Evasion Attack)"——攻击者在推理阶段构造扰动使模型误判,是鲁棒性的主要对抗威胁,Tips 未点名。
  • 考点考查"对抗性训练(Adversarial Training)"作为缓解规避攻击的手段,可补充。
  • 考点考查"用精心构造/挑选的样本集测试模型"是评估弹性的实操方法,Tips 的"误导测试"已隐含但未展开。
🎯 考点分析▾
  • 考察主线:本批题聚焦"什么是鲁棒性/弹性、如何测试它(对抗性测试/红队/压力测试)、如何增强它(防御性蒸馏/对抗性训练)",反复确认对抗性测试的目的是暴露弱点与控制差距。
  • 正确答案的共同知识方向:
  • - 鲁棒性/弹性定义:模型抵御意外与对抗性输入、保持稳健的能力。
  • - 对抗性测试目的:识别模型抵抗对抗输入的弱点、发现控制差距、测试抵御攻击的稳健性。
  • - 红队演练目的:找出模型抵御对抗性输入能力的薄弱点。
  • - 规避攻击缓解:采用对抗性训练抵御规避/逃逸攻击。
  • - 防御性增强:防御性蒸馏提升模型抗对抗攻击的鲁棒性。
  • - 弹性评估手段:用精心挑选/构造的样本数据集对模型进行压力测试。
  • 常见干扰方向:
  • - 把对抗性测试目的错归为"提高整体准确率""训练模型""记录算法逻辑"。
  • - 把鲁棒性增强错归为"安全意识培训""访问评审""令牌限制"等无关控制。
  • - 把弹性评估错归为"统计训练数据异常值""审查数据来源"等数据侧动作。
  • - 把"可用性测试/负载测试/探索性测试"与对抗性测试混为一谈。
  • 场景分布:AI 安全红队演练、图像识别系统、内容审核(社交媒体)、医疗/通用模型审计。
📋 考察范围清单▾
  • 鲁棒性/弹性(Robustness/Resilience)定义:模型在极端条件、意外输入、微小扰动、对抗性输入下保持稳定正确输出的能力。
  • 对抗性输入:被刻意构造以欺骗模型的输入样本。
  • 规避攻击(Evasion Attack):推理阶段通过扰动输入使模型误判的攻击。
  • 对抗性测试(Adversarial Testing):向模型输入异常/错误/对抗样本进行压力测试,以暴露弱点。
  • 红队演练(Red Teaming):模拟攻击者对模型进行主动安全测试。
  • 对抗性测试目的:识别模型抵御对抗输入的弱点、发现控制差距。
  • 误导测试:通过向算法输入错误数据诱导其失误,从而识别差距。
  • 防御性蒸馏(Defensive Distillation):通过模型蒸馏提升抗对抗攻击鲁棒性的技术。
  • 对抗性训练(Adversarial Training):在训练中加入对抗样本以增强对规避攻击的抵抗力。
  • 弹性评估方法:使用精心构造/挑选的样本数据集测试模型在异常下的表现。
  • 鲁棒性与准确率的区别:高准确率不等于高鲁棒性,鲁棒性关注对抗/极端条件下的表现。
📄 Tips.pdf 补充对照▾
  • 触发条件:极端条件 / 意外 / 极限 / 微小改变 / 对抗性输入
  • 验证手段:防御性蒸馏 / 对抗性测试 / 误导测试(识别差距)
  • 演练:红队演练 / 模拟黑客
  • 目标:稳定性 / 弹性

→ 打开 PDF 补充页查看全部条目

← 上一个考点自然语言首页导航下一个考点 →事件响应