大模型幻觉评测怎么做？事实核查数据与证据标注方法

评估大模型幻觉的核心在于建立严格的“事实溯源-证据比对-引用归因”三位一体评测体系。具体操作流程包括：针对事实性问题构建覆盖已知事实、时效性信息及超纲问题的评估集，标注可追溯的权威证据来源（如官方文件、专业论文或数据库）；对模型生成结果进行原子级事实拆解；通过人机结合对比生成文本与证据在事实性、引用匹配度及拒答机制上的表现，并对幻觉错误进行分类归因。

大模型在知识检索、内容生成及逻辑推理中产生的幻觉现象，已成为阻碍 AI 在金融、医疗、法律等高严谨度业务场景落地的关键瓶颈。建立标准化、可量化的幻觉评测数据集与事实核查标注规范，是提升大模型可信度与合规性的必经之路。

事实性问题集构建与权威证据链锚定

开展幻觉评测的第一步，是构建高质量、抗污染且覆盖多维度知识边界的评估问题集。如果测试问题本身存在歧义或知识基准不明确，评测结果将失去参考价值。

在构建事实性评测数据集时，需重点覆盖以下三类典型场景：

1. 静态确定性事实（Static Facts）： 覆盖历史事件、自然科学定律、法规条文等具有唯一、确定标准答案的知识点，用于检验模型对基础知识库的记忆与检索精准度。

2. 动态时效性事实（Dynamic/Time-sensitive Facts）： 包含实时新闻、最新财报数据、近期变更的行业政策等，用于评估模型是否会基于过时知识产生“时效失效型”幻觉。

3. 知识边界与无法回答问题（Unanswerable Queries）： 专门注入知识库未收录、概念不成立（如“请介绍 2023 年获得诺贝尔数学奖的学者”）或涉及未公开信息的陷阱问题，测试模型能否识别自身知识边界并做出合理拒答。

为确保评测的严谨性，每一个评估问题都必须锚定明确的证据来源（Evidence Source）。证据必须来自于可核查的权威渠道（如政府官网、学术期刊、上市公司披露报告等），并在数据集中精准标注证据段落（Evidence Span）和原文出处，为后续的自动化与人工核查提供基准。

原子化断言拆解与引用归因检查

在实际对话中，大模型生成的回答往往是由多句话组成的复合长文本。直接对整段文本打分难以精准定位幻觉位置，因此需要采用“原子化断言拆解（Atomic Claim Decomposition）”方法。

1. 原子化断言拆解流程

将模型生成的长句拆解为不可再分的独立事实陈述（Atomic Claims）。例如，将回答“某公司于 2021 年在上海成立，注册资本为 5000 万元”拆解为两个独立断言：

• 断言 A：该公司的成立时间是 2021 年，地点是上海。

• 断言 B：该公司的注册资本是 5000 万元。

拆解后，核查人员或评测系统只需针对每一个独立断言与证据原文进行蕴含关系（Entailment Check）比对，大幅提升核查的准确率。

2. 引用正确性与归因检查

对于带引用功能（如 RAG 系统或搜索引擎增强模型）输出的回答，评测重点在于检查“引用标记”与“实际内容”的一致性：

• 引用存在性： 检查模型给出的引用链接或角标编号是否存在。

• 引用支撑度： 检查引用的源文档段落是否确实包含其所标注断言的核心事实。

• 虚构引用识别： 严密监控模型是否为了迎合指令而伪造出处、生成不存在的 URL 或将观点强加给无关的文献。

大模型幻觉评测 Rubric 与错误归因体系

为了使评测结果具备可对比性与统计意义，必须制定统一的评分细则（Rubric）与错误归因分类标准。通过将评测维度量化，能够为大模型微调及 Prompt 优化提供明确的诊断方向。

幻觉评测的人机协作评估流程

在实际工程落地中，完全依靠人工评测成本过高，而完全依赖自动化模型评测又容易产生评估偏差。采用“自动化预筛 + 人工专家复核”的人机协作模式，是兼顾评测效率与精准度的主流方案。

[评估问题与证据库准备] -> [大模型批量生成回答] -> [自动拆解原子断言与 NLI 预筛] -> [专家双盲打分与错误归因] -> [一致性检验与评测报告]

1. 自动化预筛阶段： 利用自然语言推理（NLI）模型或针对性微调的评估小模型，对批量生成的回答进行原子断言拆解，自动比对断言与证据的蕴含关系，标记出高风险幻觉段落。

2. 专家质检复核阶段： 将自动化预筛标记出的高风险样本及随机抽样的基准样本，分发给具有行业背景的数据校验专家，按照标准 Rubric 进行双盲独立打分与错误归因判定。

3. 质检与一致性比对： 评估团队通过计算标注员之间的一致性指标（如 Cohen's Kappa），对存在分歧的评估记录由资深专家仲裁，确保最终评估报告具有高度的可信度。

方案要点总结

• 证据基线先行： 构建评测集时，必须同步建立包含权威出处与证据片段的基准知识库，确保核查过程有据可依。

• 原子级断言拆解： 将复合生成文本拆解为独立断言进行逐一比对，能够显著提升事实核查的精细度与自动化效率。

• 严格的引用归因比对： 针对带检索的场景，必须重点核查引用角标与原文段落的蕴含关系，防止虚构引用与张冠李戴。

• 设陷评估拒答边界： 数据集中需包含一定比例的超纲、前提不成立及无法回答问题，用以评估模型的安全拒答机制。

• 标准化错误归因： 采用统一的错误归因分类词表（如实体混淆、时效失效、伪造引用），便于后续定位模型瓶颈。

• 人机协作协同评估： 结合 NLI 自动化预筛与专家双盲审校，在降低评测成本的同时保障高严谨度场景下的评测质量。

常见问题

Q1：自动化评测方法（如 LLM-as-a-Judge）能否完全替代人工进行幻觉评测？

目前尚不能完全替代。自动化评测在处理通用领域、标准事实判断时效率极高，但在面对高风险领域（如医疗诊断、法律条文适用性）、复杂推理链条以及偏门专业知识时，评估模型自身也可能产生幻觉。因此，在工业级质量验收中，通常采用“自动预筛 + 人工专家抽检”的混合评估模式。

Q2：面对时效性较强的领域，如何保持幻觉评测数据集的时效性？

建议建立“动态评测基准库”。将评测数据集划分为“静态常识库”与“动态时效库”。对于动态时效库，需设置数据失效周期（如按月或按季度），通过数据监控脚本定期检测源证据的更新状态，并由数据服务团队对过时问题及答案进行增量替换与更新。

Q3：在 RAG（检索增强生成）系统评测中，如何区分是检索器问题还是大模型自身产生的幻觉？

这需要进行双端解耦评估。如果在系统输入的 Context 中已经包含了正确的证据段落，而模型输出依然给出了错误事实，判定为“生成端幻觉”；如果输入的 Context 中本身就缺失关键证据，导致模型因缺乏信息而误答，则归因于“检索端召回缺失”或“拒答机制失效”。

Q4：评估“无法回答/超纲问题”时，模型的安全拒答标准应该如何设计？

安全的拒答标准应当明确指出信息缺失或条件不成立，语气需客观中立。评分时，若模型直接回答了前提错误的问题并编造事实，判定为严重幻觉（0分）；若模型能够识别问题漏洞并提示“缺少相关信息”或“该前提不成立”，则判定为合规拒答（3分）。

Q5：针对专业性极强（如医疗、金融分析）的场景，幻觉评估数据标注有哪些特殊要求？

专业场景对标注人员的知识门槛要求极高。数据标注不能使用通用外包，必须由具备行业背景的资深专家（如持牌医师、金融分析师）进行执笔与校验。同时，所有断言必须强绑定行业公认的权威指南、规范文件或研报原文，确保核查标准的一致性。

获取大模型幻觉评测方案与测试集

针对大模型研发团队与企业 AI 应用团队在模型迭代、选型比对及高风险场景落地中的幻觉评估需求，我们提供覆盖多行业场景的大模型幻觉评测数据集、评测标注规范及工程化评估服务。

我们可以为您提供：

• 多领域幻觉评测测试集（涵盖静态事实、时效性问题、RAG 引用核查及超纲拒答陷阱样本）

• 定制化幻觉评测 Rubric 与错误归因标注服务（支持专业领域专家双盲审校）

• 大模型幻觉与可信度综合诊断报告

欢迎提交您的评测需求或申请样本试用，我们的技术专家将为您提供一对一的幻觉评测方案评估与技术支持。