🏠 首页 › 模型与算法域 › 幻觉
📄 PDF 补充页 🗂 返回导航
🧠
模型与算法域 · 考点 模2

幻觉

本页目录：Tips 笔记解读笔记缺漏补充考点分析考察范围清单
📝 Tips 笔记解读▾

以下逐条对应 tips_pdf_text.txt 中"幻觉（编造/虚构/捏造）"相关笔记，标注类型并补全为可命题的考点定义：

  • 幻觉（决策结果）（列为四大重大风险之一） ● 风险
  • 补全：幻觉是生成式人工智能的重大风险，指模型输出看似合理却虚构、错误或偏离事实的内容，可能直接影响决策结果的正确性。
  • 幻觉（编造/虚构/捏造） ● 关键词
  • 补全：幻觉即以"编造/虚构/捏造"方式生成不存在或错误的内容，是生成式 AI 输出可靠性的核心威胁。
  • 幻觉是语法校对类的生成式AI的最大风险，不是知识产权 ● 风险
  • 补全：在语法校对、文本生成等生成式场景，幻觉（而非知识产权泄露）是首要风险，模型可能改变原文预期含义并误导读者。
  • 使用RAG（检索增强生成）降低幻觉 ● 好处/优点
  • 补全：通过检索增强生成（RAG）让模型基于外部可信知识作答，可降低凭空生成（幻觉）的概率；但检索质量本身会制约效果。
  • 幻觉来源：训练数据、上下文限制、基于概率的词语 ● 风险
  • 补全：幻觉三大来源分别为——训练数据质量问题、上下文窗口限制、以及模型基于概率采样生成词语的非确定性本质。
  • 温度参数调节概率随机性，较低的温度，随机性较低 ● 关键词
  • 补全：温度等采样参数控制生成随机性；较低温度降低随机性，可减少虚构内容；提高温度则会加剧幻觉。
⚠ 笔记缺漏补充▾
  • 非确定性的表现：同一输入/数据在不同次推理中可能返回不一致甚至相互矛盾的结果，根因是概率性计算逻辑。
  • 控制手段的多样性：除温度外，降低"创造力得分"、减小 top-p（前 p 个样本）抽样范围等同属降低随机性以抑制幻觉的手段。
  • 输入与上下文质量：输入数据/上下文的相关性、适当性与数据质量不足，是幻觉的重要根源。
  • 处置流程：发现幻觉后应首先评估受影响的业务流程与用户范围，再决定处置。
  • 培训要点：可接受使用培训必须涵盖 AI 的非确定性本质，否则使用者会误信确定输出。
🎯 考点分析▾
  • 考察主线：本批次围绕"生成式 AI 的幻觉风险及其治理"展开。题目既考察幻觉的本质（虚构内容、非确定性、概率性来源）与危害（错误陈述、改变原意、错误描述控制效果、导致威胁/风险被忽视），也考察抑制幻觉的控制手段（降温/降创造力/top-p、RAG）及其边界（RAG 自身也可能检索到错误文档），还考察使用者的风险认知与发现后的处置顺序。
  • 正确答案的共同知识方向（写方向，非原句）：
  • 1. 幻觉是生成式 AI 的最大风险，会产生错误/虚构陈述，改变原意、错误描述控制效果、导致真实威胁被忽视（漏报）。
  • 2. 幻觉根源于训练数据质量不足、上下文限制、以及基于概率的词语生成（非确定性本质）。
  • 3. 抑制幻觉的核心控制是降低随机性：调低温度参数、降低创造力得分、减小 top-p 抽样。
  • 4. RAG 可降低幻觉，但检索到过时/不相关文档时仍会产生不准确结论（RAG 自身有风险）。
  • 5. 输入数据/上下文的相关性与适当性、整体数据质量，直接影响幻觉发生率。
  • 6. 可接受使用培训必须涵盖 AI 的非确定性/概率本质，否则使用者误判。
  • 7. 发现幻觉后，第一步是确定受影响的业务流程与用户范围，再处置。
  • 常见干扰方向（错误选项通常误导至）：
  • - 把"知识产权泄露""过度依赖"当作生成式场景首要风险（tips 明确"不是知识产权"）。
  • - 以格式不一致、无法集成、语言不专业等技术表象替代幻觉风险。
  • - 用提高透明度、要求解释、人机交互等间接手段充当"降低幻觉"的直接控制。
  • - 事后技术补救（从头重训、加规则、禁用功能）作为首选处置。
  • - 误导反方向：增加上下文、提高温度、增加随机性（这些会加剧而非抑制幻觉）。
  • - 仅聚焦模型架构、绩效指标等技术细节作为培训/评估重点。
  • 场景分布：
  • - 语法校对 / 报告撰写（审计员辅助写作）
  • - 审计报告自动生成
  • - 威胁检测
  • - 投资咨询 / 理财建议聊天机器人
  • - 医学检测结果 / 医学研究结论
  • - 科学数据分析
  • - 客户支持聊天机器人
📋 考察范围清单▾
  1. 幻觉定义：生成式 AI 输出看似合理但虚构/错误/偏离事实的内容，属重大风险，直接影响决策正确性。
  2. 首要风险定位：在语法校对、文本生成类场景中，幻觉是最大风险，而非知识产权泄露。
  3. 幻觉危害表现：改变原文预期含义、错误描述控制效果、产生错误陈述、导致真实威胁/风险被忽视（漏报）。
  4. 幻觉来源（三）：训练数据质量不足、上下文窗口限制、基于概率采样生成词语的非确定性本质。
  5. 非确定性表现：同一输入在不同推理中可能返回不一致或矛盾结果，根因为概率性计算逻辑。
  6. 抑制控制（降温类）：降低温度参数、降低创造力得分、减小 top-p 抽样，均可降低随机性从而减少幻觉。
  7. RAG 机制：检索增强生成可基于外部可信知识降低幻觉；但检索到过时/不相关文档时仍会产生不准确结论。
  8. 数据/上下文质量：输入数据与上下文的相关性、适当性及整体数据质量不足，是幻觉的重要根源。
  9. 培训要点：可接受使用培训须涵盖 AI 的非确定性本质，避免使用者误信确定输出。
  10. 处置顺序：发现幻觉后应首先评估受影响的业务流程与用户范围，再采取纠正措施。
📄 Tips.pdf 补充对照▾
  • 定义：编造 / 虚构 / 捏造
  • 最大风险：幻觉是语法校对类生成式 AI 的最大风险（不是知识产权）
  • 降低手段：使用 RAG（检索增强生成）降低幻觉
  • 来源：训练数据、上下文限制、基于概率的词语
  • 温度参数：调节概率随机性，较低的温度随机性较低

→ 打开 PDF 补充页查看全部条目

← 上一个考点上下文限制首页导航下一个考点 →性能指标