Tips.pdf 补充内容

🚨 四大重大风险（PDF 首页核心）

幻觉决策结果

泄露个人隐私 / 知识产权

偏见最大的伦理问题

透明度自动化决策

🛡变更管理▸

变更流程：组织应该有变更管理流程，变更需要经过授权
变更前：进行风险评估和测试
变更后：持续监控，利用不同数据检测异常，防止频繁更新
治理要点：重要的是高级管理层参与；有效的是全面参与、定制化
变更日志：保证可追溯性
发现问题：1. 暂停 / 找原因 → 2. 回滚 → 3. 重新训练

→ 前往对应考点页：变更管理

🔏代码风险▸

风险：利用 AI 生成代码，容易引入漏洞
控制：需要采用安全代码审查

→ 前往对应考点页：代码风险

🛡风险管理▸

核心原则：将风险控制在可承受范围内

→ 前往对应考点页：风险管理

🛡供应商管理▸

数据所有权：未经授权访问
数据知识产权：数据权属边界
环境安全：供应商环境安全
SLA：服务水平协议
独立证明：第三方独立证明
锁定条款：供应商锁定 / 退出条款

→ 前往对应考点页：供应商管理

🗂合成数据▸

适用场景：罕见的情况无法获得样本：使用合成数据
约束：合成数据不能偏离真实分布

→ 前往对应考点页：合成数据

🧠幻觉▸

定义：编造 / 虚构 / 捏造
最大风险：幻觉是语法校对类生成式 AI 的最大风险（不是知识产权）
降低手段：使用 RAG（检索增强生成）降低幻觉
来源：训练数据、上下文限制、基于概率的词语
温度参数：调节概率随机性，较低的温度随机性较低

→ 前往对应考点页：幻觉

🧠鲁棒性▸

触发条件：极端条件 / 意外 / 极限 / 微小改变 / 对抗性输入
验证手段：防御性蒸馏 / 对抗性测试 / 误导测试（识别差距）
演练：红队演练 / 模拟黑客
目标：稳定性 / 弹性

→ 前往对应考点页：鲁棒性

⚖伦理风险▸

优先考量：优先考虑伦理风险：人员解雇 / 社会风险 / 数据敏感性

→ 前往对应考点页：伦理风险

🧠模型 / 算法 / 类型▸

监督学习：标签（标注信息可能受人为影响产生偏差）、回归
逻辑回归：支持情感分析
线性回归：易于解释、透明度
决策树：构建树形结构完成分类或回归，常用监督学习方法
随机森林：基于决策树的集成学习算法
XGBoost：基于梯度提升决策树（GBDT），组合多个弱学习器构建强学习器
非监督学习-K均值：聚类，受异常值影响大、依赖相似性
非监督学习-隔离森林：针对识别异常数据的技术
非监督学习-主成分分析：降维
分布统计：Z 分数分布
强化学习：反向传播、Q 值函数（累计效益）、奖励机制
机器学习定位：机器学习是神经网络的一种（隐藏层 ≥2），模仿人类思考、处理复杂问题
神经网络-单馈：垃圾邮件识别
神经网络-循环：有时序、语言翻译
神经网络-卷积：图像识别；可利用迁移学习复用预训练卷积层特征提取能力，仅替换并训练自定义分类层

→ 前往对应考点页：模型-算法-类型

🧠模型漂移▸

和时间有关：长时间未监控 / 未更新
和变化有关：剧烈改变 / 外部环境变化
结果：产生偏差结果
AI 特有风险应对：1. 持续监测 → 2. 调参数 → 3. 再训练

→ 前往对应考点页：模型漂移

🧠模型泄露▸

模型盗窃：偷模型参数；目的：复制模型、研究模型漏洞；措施：加强权限控制和访问控制
模型反演：偷模型数据；目的：获取敏感信息

→ 前往对应考点页：模型泄露

🧠模型验证▸

前置要求：上线前必须经过模型验证，目的是符合设计（业务）要求，验证模型泛化能力
数据-训练数据：高质量数据
数据-验证数据：调整模型参数 / 调优（预测模型的验证数据就是历史数据）
数据-测试数据：独立测试集
模型：参数
交叉验证：多个数据集分别测试验证（K 折交叉验证 / 泛化评估）；避免单一依靠训练数据产生偏差；小数据集、高 K 值、多轮训练测试
贝叶斯优化：通过模型自身性能指标（如交叉验证）找到最佳超参数组合
过拟合：训练集 100%、验证 / 测试集准确率骤降，绝对不能出现过拟合
数据分离：数据拆分成训练 / 验证 / 测试数据，避免过拟合
边缘案例测试：极端、罕见样本测试
挑战者模型：与主模型对比的独立验证，评估主模型性能（A/B 测试）

→ 前往对应考点页：模型验证

🧠目标一致性 / 业务优先性▸

原则：业务目标一致 / 支持业务目标
如何判断：设定 KPI
如何实现：选对业务用例
失败根源：AI 解决方案失败是因为未与目标一致
扩展：社会价值观一致
对齐要求：奖励函数应与风险指标保持一致 / 奖励破解

→ 前往对应考点页：目标一致性

⚖偏见 / 公平▸

缓解偏见：定期测试 + 调整参数
彻底解决偏见：训练数据的代表性 / 维度、真实数据分布、重新训练 / 校准、过采样、欠采样
检测偏见：分层切片分析、差异性影响分析、特征差异评估
典型词汇：公平 / 敏感属性 / 民族 / 种族 / 年龄 / 性别 / 地域 / 面部识别 / 群体
误区：准确率无法评估是否存在偏见
典型场景：招聘
错误处理：增加数量、加权重
异常检测流程：偏差
代理变量：表面非敏感的特征（如邮编 / 地址）与种族 / 性别等保护属性高度相关，模型间接做出歧视性决策
80% 法则：判定差异性影响的阈值——受保护群体通过率低于最高群体通过率的 80% 即构成统计偏见
平等机会：要求不同受保护群体间的真阳性率或假阴性率相等

→ 前往对应考点页：偏见

⚖人工监督 / 紧急中断▸

适用场景：重大问题（政策、法律、巨大金额）的自动化决策一定要人工监督
避免过度自主：人机在环、减少使用场景
设计时机：设计人工监督，越早越好
固有风险：人机在环的风险：偏见和失误
变更失败处置：模型降级或者回滚

→ 前往对应考点页：人工监督

⚖深度伪造▸

缓解措施：活体检测、水印

→ 前往对应考点页：深度伪造

🔏审计报告▸

审计师用 AI 写审计报告：最重要的是：准确性、一致性、可靠性、可追溯性

→ 前往对应考点页：审计报告

🔏审计利用 AI 的风险▸

风险清单：过度依赖、黑箱、无法识别关键风险、偏差、幻觉

→ 前往对应考点页：审计利用AI的风险

🔏审计利用 AI 的有效方式▸

优点：异常检测、处理复杂情况、自动化处理、动态分析、不一致、预测分析、节约时间、减少错误、自然语言
基于规则的异常检测：结构化表数据
可解释性分析：偏见问题
结构因果模型：调整预处理程序提高数据质量
机器学习：复杂问题分析
自适应抽样：人工智能抽样
黑盒测试：人工智能测试

→ 前往对应考点页：审计利用AI的有效方式

🛡事件响应▸

标准步骤：1. 隔离 → 2. 根本原因分析
定期演练：定期演练
AI 赋能：快速分析大量数据、实时分析

→ 前往对应考点页：事件响应

🗂输入控制▸

核心要求：输入模型前数据格式一定要规范

→ 前往对应考点页：输入规范

🗂编码▸

独热编码：针对无序数据
百分比数据：包含非数值类型数据，无法作为训练数据训练预测模型

→ 前往对应考点页：数据编码

🗂数据代表性▸

核心：避免偏差，最重要的特征

→ 前往对应考点页：数据代表性

🗂数据集拆分▸

重叠危害：如果 3 个数据集有重叠，会导致：信息泄露

→ 前往对应考点页：数据集拆分

🗂数据来源▸

知识产权：确认数据来源可靠、许可

→ 前往对应考点页：数据来源

🗂数据清洗▸

缺失值处理：不能盲目填写 0，要按照真实分布
归一化处理：特征距离缩放（K 均值聚类）
删除重复值：去重
平均值填补：不是最准确的方法（分箱比均值好一点）

→ 前往对应考点页：数据清洗

🗂数据相关性▸

核心：训练数据必须和业务目标相关

→ 前往对应考点页：数据相关性

🗂数据沿袭▸

证明数据治理：数据源可追溯（数据沿袭）

→ 前往对应考点页：数据沿袭

🗂数据增强▸

目的：提高模型准确性、泛化能力等性能指标

→ 前往对应考点页：数据增强

🗂数据质量▸

关注点：缺失、异常、准确

→ 前往对应考点页：数据质量

🗂数据治理▸

工具：框架、清单、分类、数据 / 模型中毒
模型中毒：要保护权限
数据中毒：来自可信来源 + 数据验证

→ 前往对应考点页：数据治理

🔏提示词注入▸

防护：输入过滤、输入验证

→ 前往对应考点页：提示注入

⚖透明度 / 可解释性 / 可追溯性▸

落地要素：审计跟踪 / 模型卡片 / 内容标注 / 解释原因 / 沟通 / 日志 / 合理性
归因解释工具：热力图（Grad-CAM）、LIME、SHAP，量化每个输入特征对模型最终输出的贡献度
全局代理模型：训练可解释简单模型（决策树或线性模型）拟合黑盒模型预测结果，提供全局可解释性

→ 前往对应考点页：透明度

🧠性能指标▸

准确度陷阱：极不平衡数据下，高 Accuracy 掩盖模型对稀有正例无识别能力
偏见：差异性影响比率
性能平衡：F1 分数
误报多（假阳性多）：精确度低
漏报多（假阴性多）：召回率低
召回率场景：医院漏诊病人、反洗钱漏筛
精确度场景：合法交易被拦截、被投诉
F1 / 混淆矩阵：综合精确率与召回率，或 PR-AUC，是衡量模型性能的真实标准
PR-AUC：正例稀缺（极不平衡）场景专注于少数类识别质量，比 ROC-AUC 更准确
ROC-AUC：正负样本数量差距不大时优先用

→ 前往对应考点页：性能指标

⚖隐私▸

法律法规：红线要求
脱敏技术：脱敏 / 数据掩码 / 匿名化 / 模糊化 / 准标识符泛化
披露 + 同意：使用前充分披露并取得同意
数据保护：分类 / 加密 / 同态加密
跨国：数据跨境与数据主权合规
输入输出掩码：将用户输入的身份标识符进行加密替换
差分隐私：注入受控数学噪声，提供群体统计规律的同时无法逆向还原个人数据
K-匿名：对准标识符区间泛化（如生日转年龄段、邮编模糊化），每个特征组合至少含 K 个个体

→ 前往对应考点页：隐私

🛡灾难恢复▸

要点：灾难恢复计划应包含人工智能场景

→ 前往对应考点页：灾难恢复

🛡政策培训▸

政策：明确人工智能的使用要求
培训：了解人工智能、政策和使用方法

→ 前往对应考点页：政策培训

🛡人工智能治理▸

工具：方法论、框架
时机：越早越好

🛡治理结构▸

合规要求：责任要明确，RACI 矩阵，明确所有者
三道防线：第一道业务、第二道风险合规、第三道审计
审批：先批准后行动
第三方：与第三方的责任共担

→ 前往对应考点页：治理结构

🔏智能体安全▸

权限：自主执行权限边界、权限隔离、权限阻断

→ 前往对应考点页：智能体安全

🧠自然语言▸

适用任务：合同、报告类型的任务：自然语言处理

→ 前往对应考点页：自然语言

Tips.pdf 补充内容总览

🚨 四大重大风险（PDF 首页核心）