⚖
伦理与合规域 · 考点 伦3

偏见

📝 Tips 笔记解读▾

以下逐条列出 Tips 笔记中与本考点相关的内容,并标注类型、补全为可命题的考点定义。

  • ● 风险/方法"缓解偏见的方法:定期测试 + 调整参数" —— 偏见的运营层缓解依赖建立"定期测试系统是否存在偏差 + 据结果调参"的常态化流程,而非一次性动作。
  • ● 好处/方法"彻底解决偏见的方法:训练数据的代表性/维度,真实数据分布、重新训练/校准,过采样,欠采样" —— 根除偏见的根本路径在训练数据:提升代表性、贴合真实分布、重新训练或校准、对少数类过采样或对多数类欠采样。
  • ● 关键词"检测偏见的方法:分层切片分析、差异性影响分析、特征差异评估" —— 命题的检测类考点固定落在三者:按子群体分层切片、差异性影响(disparate impact)分析、特征差异评估。
  • ● 关键词"偏见的典型词汇:公平/敏感属性/民族/种族/年龄/性别/地域/面部识别/群体" —— 题干出现这些词通常指向偏见/公平考点;敏感属性即受保护群体特征。
  • ● 不完整描述"准确率:无法评估是否存在偏见" —— 需补全:单一总体准确率不能判断偏见,但若改为"跨子群体(分层)比较各群体的准确率范围是否相近",则可作无偏见的证据;命题常设"仅靠总体高准确率=无偏见"为陷阱。
  • ● 关键词"典型的偏见场景:招聘" —— 招聘筛选是偏见最高频业务场景,信贷、保险、医疗、动态定价、面部识别也常出现。
  • ● 风险"错误的处理偏见的办法:增加数量、加权重" —— 单纯增加数据量或简单加权重不是根本解法(注意:配合分层划分的"类别加权损失"属可接受技术,与"盲目加权重"不同,命题会区分)。
  • ● 关键词"异常检测流程:偏差" —— 异常检测流程本身须能识别会引致训练数据偏差的异常。
  • ● 关键词"代理变量:指表面非敏感的特征(例如:邮编/地址)与种族/性别等保护属性高度相关,模型利用其间接做出歧视性决策" —— 代理变量是隐性歧视核心机制;审计须评估剩余特征是否与已排除的敏感属性相关。
  • ● 关键词"80%法则(4/5 Rule):是判定差异性影响(Disparate Impact)的标准阈值。当受保护群体的通过率低于最高群体通过率的 80% 时,即构成了非法的统计偏见与隐性歧视" —— 差异性影响的法定量化阈值,常作计算/判定题。
  • ● 关键词"平等机会(Equal Opportunity):是算法公平性的核心统计标准之一,要求不同受保护群体之间的真阳性率或假阴性率保持相等" —— 公平性统计标准的另一支柱,与差异性影响并列。
⚠ 笔记缺漏补充▾
  • ● 历史偏见模型基于历史中已含偏见的决策记录训练,会学习并延续该偏见(如以历史录用记录训练招聘模型偏好某性别)。
  • ● 持续学习放大偏见深度学习/持续运行的模型在算法自我更新中会放大训练数据偏差,产出歧视性输出。
  • ● 公平性标准标准化组织应建立并标准化统一的公平性定义与标准,作为管理偏见依据。
  • ● 实时监控与人工干预运行期须以实时监控+自动预警识别影响性能的异常;缺乏人工干预会使未检测的模式/异常值导致结果偏差。
  • ● 可解释AI验证偏差发现应用可解释方法验证偏差结论,避免审计/审查工具误将无偏决策标为偏见。
  • ● 输出不一致亦属偏差同类输入产出不一致结果,是偏差的一种表现,需回溯训练数据与评估参数。
  • ● 输入控制前置输入验证与异常检测不足会引入有偏输入,直接污染信贷等决策。
  • ● 审计取证方法确认决策公正性最佳取证方式为用精选样本数据集测试模型;跨语言/跨子群体比较评估用于检测子群体回归。
🎯 考点分析▾
  • 考察主线:本批次集中考察"AI 偏见从何而来、如何检测、如何缓解、审计如何取证"四环节。约半数题指向"训练数据(代表性不足/历史偏见/类别不平衡/数据稀缺/有偏输入)是偏见首要根因";其余分布在代理变量、检测方法与公平性标准、运营缓解(定期测试/实时监控)、跨子群体评估四大方向。审计师视角题占比高,强调审计范围应包含数据来源、数据公平性、模型评估参数。
  • 正确答案的共同知识方向(写方向):
  • - 训练数据是偏见根因,须从训练数据入手识别与解决偏见。
  • - 代理变量是隐性歧视机制,应评估表面非敏感特征与敏感属性的关联。
  • - 检测偏见靠分层切片、差异性影响分析、特征差异评估三类方法。
  • - 缓解靠定期测试+调参的常态化流程,以及重新训练/过采样/欠采样/合成数据等数据层手段。
  • - 总体准确率不能证明无偏见,跨子群体相近的准确率范围才是证据;须做分层评估。
  • - 公平性标准应标准化;发现差异结果首要做全面偏差分析。
  • - 运行期靠实时监控+人工干预捕捉偏差异常;可解释AI可验证偏差结论。
  • 常见干扰方向(错误选项通常误导到):
  • - 暂停/停用系统或彻底移除某类数据(过度反应,非首选控制)。
  • - 仅靠提升总体准确率、优化超参数、调阈值来"解决"偏见。
  • - 用增加数量、简单加权重作为根本解法。
  • - 直接收集显式人口统计去"控制"偏见,或部署完全不考虑个人数据的模型。
  • - 把成本、速度、硬件空间、集成难度等业务因素置于伦理/公平之上。
  • - 仅做代码审查、维护日志、更新频率等技术性审查而忽略数据公平。
  • 场景分布:招聘筛选、信贷/贷款审批、保险费率和资格、医疗诊断(X光)、动态定价/折扣、面部识别(安全)、反欺诈、员工绩效评估、社交媒体内容推荐、多语言聊天机器人。
📋 考察范围清单▾

出题必须覆盖以下知识点,每条为"知识点:一句话定义/边界":

  • 偏见根因:训练数据偏差(代表性不足、历史偏见、类别不平衡、数据稀缺、有偏输入)是偏见首要来源,须从数据层识别与解决。
  • 代理变量:表面非敏感特征(如地址/邮编)与受保护属性(种族/性别)高度相关导致间接歧视;审计须评估剩余属性是否与已排除的敏感属性相关。
  • 历史偏见:模型基于历史中已含偏见的决策记录训练,会学习并延续该偏见。
  • 持续学习放大:深度学习/持续运行模型在自我更新中会放大训练数据偏差,产出歧视性输出。
  • 偏见检测三法:分层切片(子群体)分析、差异性影响分析、特征差异评估(feature differential index)。
  • 差异性影响与80%法则:受保护群体通过率低于最高群体80%即构成统计偏见阈值,用于判定隐性歧视。
  • 平等机会标准:不同受保护群体真阳性率或假阴性率应相等,是公平性统计支柱之一。
  • 准确率陷阱:总体准确率不能评估偏见;跨子群体(分层)准确率范围相近可作无偏见证据;须做分层评估避免掩盖子群体风险。
  • 运营层缓解:建立定期测试系统是否存在偏差+据结果调整参数的常态化流程;运行期以实时监控+自动预警识别偏差异常。
  • 人工干预必要性:异常检测缺乏人工干预会使未检测模式/异常值导致结果偏差。
  • 数据层根治:提升训练数据代表性/贴合真实分布、重新训练或校准、少数类过采样、多数类欠采样、用合成数据扩充少数类。
  • 错误解法识别:单纯增加数量或简单加权重不是根本解法(类别加权损失配合分层划分为可接受技术,须区分)。
  • 公平性标准化:组织应建立并标准化统一的公平性定义与标准。
  • 典型场景:招聘、信贷/贷款审批、保险费率、医疗诊断、动态定价、面部识别、反欺诈、绩效评估。
  • 敏感属性:民族/种族、年龄、性别、地域、性取向等受保护群体特征。
  • 审计范围:审查AI偏见应重点覆盖训练数据来源与质量、数据公平性、模型评估参数;可用精选样本数据集测试取证。
  • 子群体回归检测:以跨语言/跨子群体一致性阈值的比较评估检测子群体性能回归。
  • 偏差测试目的:验证模型输出符合公平性预期;识别输出偏差最有效方法为差异性影响分析、特征差异指数。
  • 可解释性验证:应用可解释AI方法验证偏差发现,避免审计工具误报偏见;可解释性分析用于偏见问题。
  • 输出不一致:同类输入产出不一致结果属偏差表现,需分析训练数据与评估参数。
  • 输入控制前置:输入验证与异常检测不足会引入有偏输入污染决策。
  • 管理层首要应对:发现差异拒绝率等偏见迹象,首要进行全面偏差分析。
📄 Tips.pdf 补充对照▾
  • 缓解偏见:定期测试 + 调整参数
  • 彻底解决偏见:训练数据的代表性 / 维度、真实数据分布、重新训练 / 校准、过采样、欠采样
  • 检测偏见:分层切片分析、差异性影响分析、特征差异评估
  • 典型词汇:公平 / 敏感属性 / 民族 / 种族 / 年龄 / 性别 / 地域 / 面部识别 / 群体
  • 误区:准确率无法评估是否存在偏见
  • 典型场景:招聘
  • 错误处理:增加数量、加权重
  • 异常检测流程:偏差
  • 代理变量:表面非敏感的特征(如邮编 / 地址)与种族 / 性别等保护属性高度相关,模型间接做出歧视性决策
  • 80% 法则:判定差异性影响的阈值——受保护群体通过率低于最高群体通过率的 80% 即构成统计偏见
  • 平等机会:要求不同受保护群体间的真阳性率或假阴性率相等

→ 打开 PDF 补充页查看全部条目

← 上一个考点伦理风险首页导航下一个考点 →深度伪造