## 通用场景验证服务方案 本节回应招标文件 3.2.6.5.2「通用场景验证服务」的全部要求（b1713），并承接 3.2.6.5 对场景验证服务的总体界定（b1602）。五个通用场景分别是管理制度智能问答（b1714）、技术标准智能问答（b1728）、标书智能问答（b1741）、决策数据智能问答（b1756）与合同合规智能审查（b1772）。六个专业场景的验证方案另见技术方案相应章节，本节不重复其内容。 ### 1、验证服务内容与责任边界 #### 1.1 本项目在场景上的责任边界 招标文件写明：本项目不负责智能场景建设，只负责场景验证服务（b1603）。本节据此划定可执行边界如下。 我方在五个通用场景上交付四件事：一是按场景任务构建可重复使用的验证基准集；二是固化验证协议，包括题型、能力维度、判分规则、随机种子、基准集版本与人工复核规则；三是执行验证并出具带证据的结论；四是对评测错样做归因，把问题定位到具体数据子集、知识条目或标注批次，形成整改任务单并在修复后复测。 问答助手与审查助手本身的功能开发、界面实现、权限配置、上线部署与日常运维，由场景建设方承担。我方不交付这五个助手，也不对助手的界面形态与交互设计提出约束性要求；我方关心的是助手背后所消费的数据与知识是否足以支撑招标文件列出的各项能力，以及这个判断是否有可复算的证据。 五个通用场景的能力上限取决于：知识库条款级切分与元数据完整度、检索证据与问题的匹配质量、问答样本对真实提问的覆盖。三者均属本包数据加工交付。验证与数据责任同属一方，错题可追到源头样本与切分批次；若仅由场景建设方自验，归因常止于「检索未召回」。 #### 1.2 验证对象的三层分解 招标文件在五个场景下的行文都是「须验证……能力」。能力由系统呈现，由数据支撑。我方将每项能力拆为数据层、知识层、任务层验证，各层有独立观测量与判据。 数据层验证的是四类用途子集在该场景任务上的供给是否成立：预训练子集是否覆盖了该场景的语料面，指令微调子集是否覆盖了该场景的真实提问类型，偏好数据是否覆盖了该场景的答案优劣判别，基准评测子集是否给出了该场景可重复的考题。 知识层验证的是知识库、知识图谱与统一检索索引的质量：条款级知识单元是否切得准、元数据是否抽得全、引用关系是否连得上、索引是否检得到。这一层是通用场景与专业场景最大的差别所在——通用场景的能力几乎完全架在文档结构化质量之上。 任务层验证的是端到端表现：给定真实提问，助手能否给出正确且有出处的回答，响应时长相对人工作业缩短多少，在相同问题重复提问下结论是否稳定。 任务层给出结论，知识层说明原因，数据层给出修复入口。验证报告须三层俱全；仅报任务层指标不视为本项目验证交付。 #### 1.3 与关联章节的边界 五个通用场景在技术形态上都属于检索增强的大模型应用，与训推平台、工具链、数据治理三处存在接口。为避免重复论述与口径分歧，边界按表 1 划定，本节只详述属于「本节」的部分，其余引用相应章节。 表 1　通用场景验证与关联章节的边界划分 | 事项 | 归属 | 本节如何对接 | |---|---|---| | 行业大模型的训练、推理、算力适配与模型接入网关 | 训推平台章节（3.2.6.2） | 本节的评测任务通过统一网关提交，不自行接入模型；网关记录模型版本与调用范围，作为验证结论的可复现依据 | | 文档结构解析、文档切分与拼接、RAG 数据构建三类工具 | 工具链章节（3.2.3.3） | 本节是这三类工具产出物的消费方与检验方，验证题目中的证据段落来自其产出；工具功能验收口径不在本节重复 | | 多协议模型评测引擎、数据贡献度归因与错题溯源、数据集—模型版本血缘追溯 | 工具链章节（3.2.3.10） | 本节的评测执行、归因与血缘记录由这三类工具承载，本节给出场景侧的协议内容与判据，不重述工具功能 | | 知识库、知识图谱、指标知识库的建设 | 数据加工生产章节（3.2.6.3.4） | 本节验证其成果在五个场景任务上的可用性，验证不通过的条目按归因结论回流该环节修复 | | 九个业务域的指标口径与决策指标体系 | 数据治理章节（3.2.6.1） | 决策数据场景的验证题目以治理规划产出的指标体系为准，本节不自行定义指标口径 | | 六个专业场景的验证 | 专业场景验证章节（3.2.6.5.1） | 共用本节第二部分的验证协议与判据框架，场景侧指标各自定义 | #### 1.4 通用场景与专业场景的两点差别 第一点是输入形态。通用场景的输入是文档与指标：管理制度与合同来自协同办公系统，技术标准与设计手册来自企业文档系统，招投标资料来自历史投标档案，经营指标来自经营指标报送系统与企业资源计划系统。这些数据已在系统内留存，取数依赖的是接口授权而不是现场布点。专业场景的输入含设备时序与图纸影像，受设备联网范围与图像采集点位制约。 第二点是排期含义。因为不依赖新增采集，五个通用场景的验证可以在设备侧扩点之前启动，适合作为本项目首批交付的验证成果——先用通用场景把验证协议、判分流程、人工复核组织与归因回流链路跑通，再把同一套方法用到专业场景上。我方据此把通用场景验证排在整体验证计划的前段，详见本节第八部分。 #### 1.5 验证服务在项目中的位置 图 1 给出通用场景验证在数据流向上的位置与各方责任边界。图中实线为数据流，虚线为结论与整改流。 ### 图 1　通用场景验证服务的数据流向与责任边界 本项目范围（数据加工生产服务） 源文档与指标 制度·标准·标书 合同·经营指标 结构化与知识化 条款级切分·元数据 引用关系·检索索引 四类用途子集 预训练·指令微调 偏好·基准评测 验证基准集 与验证协议 题面·判分·种子·版本 （本节交付） 原文 知识条目 抽题 场景建设方范围（不在本项目） 五个通用场景助手 功能开发·界面·部署·运维 验证执行与判分 统一网关提交·多策略判分 人工复核·同题重测 （本节交付） 题目与协议 服务接口 与版本号 错题归因与整改任务单 定位到子集·知识条目·标注批次 （本节交付） 失败样本 回流修复并复测 图 1　通用场景验证服务的数据流向与责任边界。数据来源：招标文件 3.2.6.5（b1602、b1603）划定的服务范围，3.2.6.3.4 知识化环节与 3.2.3.10 验证与归因类工具链的接口关系。 #### 1.6 验证接入条件 验证执行需要场景建设方开放可调用的通道。接入条件在项目启动阶段以接口约定的形式确认，内容见表 2。接入条件不具备时，该场景的验证按本节各场景末尾的回退口径执行离线验证，并在验证报告中标注受限范围。 表 2　五个通用场景的验证接入条件 | 接入项 | 内容 | 缺失时的回退 | |---|---|---| | 调用通道 | 同步服务接口或离线批量推理通道，可按题目批次提交、按样本返回 | 由我方以统一网关直连基座模型与知识库，执行知识层与数据层验证，任务层结论标注为离线口径 | | 版本标识 | 每次验证前登记助手版本、所用模型版本、知识库版本与检索配置 | 以验证当日快照登记，并在报告中注明版本不可追溯的影响范围 | | 返回内容 | 答案正文、引用的知识单元标识与原文定位、检索命中列表、单次耗时 | 仅取答案正文时，证据类指标改以人工复核抽样估计，抽样比例不低于 30% | | 日志 | 请求与响应日志、检索中间结果、异常与超时记录 | 以客户端侧计时与留痕替代，稳定性结论置信区间相应放宽 | | 验证窗口 | 每轮验证连续不少于五个工作日的稳定服务窗口，期间不变更模型与知识库版本 | 分段执行并在报告中分段呈现，不跨版本合并指标 | ### 2、通用场景验证的共用方法 本部分给出五个场景共用的验证方法，回应招标文件对五个场景「须提供……验证能力」的共性要求（b1719、b1777）。各场景只在题目构成、指标取值与数据来源上有差别，流程、判分与回退机制一致。五个场景共用同一套流程、判分与回退，结论可横向比较，验收口径一致。 #### 2.1 五阶段验证流程 验证按基准构建、协议冻结、执行评测、错题归因、整改复测五个阶段推进，每个阶段有明确的输入、输出与把关人。流程如图 2。 ### 图 2　通用场景验证的五阶段流程 一　基准构建 真实题面·专家终审 与训练集去重 二　协议冻结 判分规则·随机种子 版本留痕 三　执行评测 机器判分＋人工复核 同题重测 四　错题归因 聚类·定位到子集 出整改任务单 五　整改复测 同协议重跑 出验证报告 输入：知识库·子集 输入：助手服务接口与版本号 输出：带版本的验证报告 判据未达：按归因结论修复数据子集或知识条目后，以同一协议重跑 把关：基准集与协议经甲方业务专家确认后冻结；复测结论由我方与甲方共同签署； 同一数据集版本的验证报告是该版本发布的前置条件（依据 3.2.6.3.9）。 图 2　通用场景验证的五阶段流程。数据来源：招标文件 3.2.6.3.9 数据集验证对验证闭环与报告的要求（b1557、b1559、b1561），3.2.3.10.1 对评测协议可重复执行的要求（b1126）。 阶段一基准构建。题目来自真实业务，不来自编造。管理制度与技术标准场景的题目取自甲方各部门的实际咨询记录与业务专家出题，标书场景的题目取自历史招标文件与历史评审意见，决策数据场景的题目取自经营分析报告中实际被问过的指标与口径，合同场景的题目取自历史审查意见。每道题附标准答案、答案所依据的条款或指标定位、以及评分要点。基准评测子集不得使用任何形式的合成数据（依据 3.2.6.3.6，b1512），通用场景的验证题目同守此规。 阶段二协议冻结。把题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则与指标口径写入评测协议并冻结，冻结后不得在本轮验证中修改。协议由多协议模型评测引擎工具链承载并版本化。冻结是可重复性的前提：同一协议、同一基准集版本、同一模型与知识库版本下重跑，机器判分部分的结果应当一致，不一致即视为执行环境异常，须先排除环境因素再继续。 阶段三执行评测。按题目批次通过统一网关提交，记录答案、引用的知识单元、检索命中列表与单次耗时。机器判分先行，人工复核按分层抽样覆盖；凡机器判分与人工复核不一致的样本，一律转人工仲裁并计入判分策略的校准数据。同题重测用于观察稳定性：每道题在同一版本下重复提交三次，答案要点不一致的记为不稳定样本。 阶段四错题归因。失败样本按错因聚类，聚类维度包括检索未召回、证据召回但答案未采用、证据片段被切断、元数据缺失导致版本或适用范围判断错误、知识条目本身有误、题面歧义六类。每一类对应不同的修复入口：前三类回到文档切分与检索索引，第四类回到元数据抽取，第五类回到知识库终审，第六类回到基准集本身并修订题面。归因结论写成整改任务单，含问题类型、关联样本、影响范围、修订建议、责任组、优先级与整改期限。 阶段五整改复测。修复后以同一协议重跑，重跑范围为该错因聚类涉及的全部题目而非仅失败样本，以免出现只修个案不修类别的情况。复测结果与首轮结果并列呈现，形成闭环记录。 #### 2.2 验证基准集的构成与规模 五个通用场景的验证题目在基准评测子集 0.95 万条的总量口径内按场景分册计列，不额外扩张基准子集总量。分册规模按场景的验证要求条数与业务提问多样性确定，见表 3。表中「现场抽样题」是不进入基准子集、仅用于人工现场演示与抽查的题目，单独编号管理，用完即归档，不参与指标统计以免污染基准。 表 3　五个通用场景的验证基准集分册规模 | 场景 | 基准分册题量 | 题型构成 | 主要承载业务域 | 现场抽样题 | |---|---|---|---|---| | 管理制度智能问答 | 500 条 | 条款定位 180·语义解读 140·跨制度咨询 120·引用关系判断 60 | 跨域通用语料 | 40 条 | | 技术标准智能问答 | 500 条 | 参数限值查询 160·条文解读 120·多轮追问 110·版本辨析 60·表格与公式提取 50 | 产品工艺设计域、跨域通用语料 | 40 条 | | 标书智能问答 | 500 条 | 要点抽取与风险标注 200·内容生成 150·文件评审 150 | 供需计划域 | 40 条 | | 决策数据智能问答 | 600 条 | 自然语言查数 240·多维分析 120·异动归因 140·多轮上下文 100 | 九个业务域指标体系 | 50 条 | | 合同合规智能审查 | 300 条 | 要素抽取 100·风险识别 140·修改建议判定 60 | 供需计划域 | 30 条 | | 合计 | 2,400 条 | — | — | 200 条 | 注：合计 2,400 条在基准评测数据集 0.95 万条口径内列计，其中供需计划域承载标书与合同两个场景共 800 条，其余在跨域通用分册与相应业务域分册内列计。专业场景验证题目另行分册。 基准集有三条纪律。第一条是与训练集隔离：凡进入基准分册的题面及其证据原文，不得出现在指令微调子集与偏好数据中，入册前以数据去重与相似度过滤工具链做双向查重，相似度超过阈值的题目退回重出。第二条是专家终审：每道题的标准答案与评分要点须经甲方相应业务部门专家确认，未经终审的题目不计入正式验证。第三条是题面改写集：每个分册另备 15% 的改写题，同一考点换一种问法，用于观察助手是否对特定问法过拟合；改写题与原题的得分差超过 10 个百分点时，该考点的结论标注为待复核。 #### 2.3 指标体系 五个场景的指标分四组。检索与证据组衡量知识层，生成与判定组衡量任务层答案质量，效率组衡量相对人工作业的改善，稳定与合规组衡量可用性底线。各组指标的定义与测定方法见表 4。 表 4　通用场景验证指标的定义与测定方法 | 指标组 | 指标 | 定义 | 测定方法 | |---|---|---|---| | 检索与证据 | 证据召回率 Recall@k | 标准答案所依据的知识单元出现在前 k 条检索结果中的题目占比 | 以题目登记的证据定位与返回的命中列表自动比对，k 取 5 | | 检索与证据 | 证据精确率 | 被答案引用的知识单元中，确属该题正确依据的比例 | 人工复核抽样判定，抽样不低于分册的 30% | | 检索与证据 | 切分完整率 | 答案所需条款在知识库中以完整知识单元存在、未被切断的比例 | 以条款边界标注与切分结果比对，自动统计 | | 生成与判定 | 答案要点覆盖率 | 答案命中评分要点的比例，按要点加权 | 规则匹配与语义相似度初判，分歧转人工 | | 生成与判定 | 引用正确率 | 答案给出的条款编号、标准号、指标口径与实际一致的比例 | 自动比对编号与口径字段 | | 生成与判定 | 越界作答率 | 在知识库无充分证据时仍给出确定性结论的题目占比，取反向指标 | 以专设的无证据题（每分册 8%）测定 | | 效率 | 相对人工缩短幅度 | （人工基线时长－助手时长）／人工基线时长 | 同题人工对照组计时，对照组不少于 3 人 | | 效率 | 响应时长 P95 | 单题从提交到返回带引用答案的时长第 95 百分位 | 验证窗口内全量请求日志统计 | | 稳定与合规 | 同题一致率 | 同一题重复三次，答案要点一致的题目占比 | 三次结果自动比对 | | 稳定与合规 | 权限越权率 | 返回了提问账号无权访问的知识单元的题目占比，取反向指标 | 以分级权限账号分别跑同一分册 | | 稳定与合规 | 敏感信息外露率 | 答案中出现应脱敏字段的题目占比，取反向指标 | 敏感信息识别规则自动扫描加人工抽查 | 效率指标的人工基线必须实测，不能引用行业经验值。做法是在验证前组织人工对照：同一批题目交由甲方相应岗位人员在现行工作方式下作答并计时，取中位数作为基线。对照组人员的岁数、岗龄与熟练度分布记入报告，避免用新手基线夸大改善幅度。人工基线实测前，效率类指标在报告中留空而不填预估值。 #### 2.4 判分策略与人工复核 招标文件要求多种判分策略融合（b1130）。本节的判分按题型分配策略，不搞一刀切。有唯一答案的题（条款编号、参数限值、指标数值）用精确匹配；有标准要点的题（条文解读、风险识别）用要点规则匹配加语义相似度；开放度较高的题（修改建议、分析结论）用模型裁判初判加人工复核。 模型裁判的采信有前置条件：在每个分册上先取 100 道题做裁判校准，模型裁判结论与人工仲裁结论的一致率达到 0.85 以上，该分册方可采用模型裁判初判；低于 0.85 时该分册全量转人工判分，并把裁判提示词与评分细则退回修订。该条写入协议：未经校准的模型裁判不得用于正式判分。 人工复核采用双人独立判分加第三方仲裁。两人判分不一致的样本转仲裁，仲裁结论为准。复核组内一致性以 Kappa 系数衡量，低于 0.75 时暂停该分册复核、重新对齐评分细则后再启动，已判样本重判。复核人员须来自甲方相应业务领域或经业务专家培训并通过试判，试判题不少于 30 道。 #### 2.5 通过判据与回退机制 每个场景的每一项验证要求都有三级判据：通过、有条件通过、不通过。三级的处置不同，见表 5。设置有条件通过一档，是因为通用场景的能力受知识库完备度影响很大，首轮验证中常见的情形是方向正确但覆盖不足，这类情形直接判不通过会掩盖已经成立的部分，直接判通过又会把缺口带到下一阶段。 表 5　三级判据及其处置 | 判据 | 含义 | 处置 | |---|---|---| | 通过 | 该项全部指标达到目标值 | 记入验证报告，该项在本版本上结论成立 | | 有条件通过 | 主要指标达到下限值但未达目标值，或次要指标未达下限 | 出整改任务单，限期修复后对该错因聚类涉及的全部题目复测；复测达目标值转通过，未达则按不通过处置 | | 不通过 | 主要指标未达下限值 | 定位到相应数据子集与知识环节回流修复，修复后重新完整验证该项；连续两轮未达下限的，提请甲方与场景建设方共同评审，调整该项的验证口径或数据供给范围，评审结论记入验证报告 | 目标值与下限值按场景分别给出，见各场景末尾的指标表。取值原则是：首轮验证的目标值按已具备的数据条件设定，随数据集版本迭代逐版抬高，并在验证报告中记录每一版的取值与达成情况。我方不在投标阶段承诺某项指标在首轮即达到上限，也不以「无漏报」「全部覆盖」一类表述描述验证结果；凡招标文件要求覆盖的维度，我方以逐版抬高覆盖率的方式趋向完整，每一版的缺口在报告中明列。 #### 2.6 防失真措施 验证容易在三处失真，本节各设一道措施。 第一处是泄题。基准集与训练数据双向查重已在 2.2 述及，除此之外基准分册在验证窗口外不对场景建设方开放，验证结束后题面不回流至训练环节；需要用于训练的题目另行出题，与基准分册不共用来源文件的同一段落。 第二处是过拟合于问法。除题面改写集外，验证中混入 8% 的无证据题与 5% 的干扰题。无证据题问的是知识库确实没有依据的事项，考察助手是否会编造；干扰题在题面中掺入与本题无关但表述相近的条款名称，考察检索是否被表面相似性带偏。 第三处是口径漂移。同一指标在不同轮次的测法必须一致，测法变更须作为协议变更单独记录并说明影响，变更前后的数据在报告中分列而不合并。涉及人工判分的指标，每轮复核前以 20 道标杆题做校准，校准结果不一致时先对齐再开工。 #### 2.7 验证环境与数据安全 验证在甲方内网环境执行，制度、合同、标书与经营指标均属企业秘密数据，不出内网。涉及外部模型调用时，经统一网关提交并记录调用范围与数据出域情况；凡含敏感字段的题面与证据，先经去标识化处理再提交，出域内容以脱敏后文本为限。个人信息字段（姓名、身份证号、联系方式、薪酬）在入库阶段即完成去标识化，验证过程不解密。 验证账号按分级权限配置，至少设普通员工、部门管理、公司管理三档。权限越权率一项以三档账号分别跑同一分册测定：同一题在低权限账号下应当返回权限不足或仅返回其可见范围内的内容。这一项不达下限即判不通过，不设有条件通过。 全过程留审计日志，记录谁在何时以何账号提交了哪一批题目、返回了哪些知识单元。日志保留至项目验收后不少于 12 个月。 #### 2.8 交付物 五个场景共用一套交付物清单，见表 6。所有交付物与数据集版本绑定，版本变更即重新出具。 表 6　通用场景验证的交付物 | 交付物 | 形式 | 内容要点 | 交付节点 | |---|---|---|---| | 场景验证方案与评测协议 | 文档 | 题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则、指标口径 | 每场景首轮验证启动前 | | 验证基准分册 | 数据集 | 题面、标准答案、证据定位、评分要点、题型标签、难度标签 | 协议冻结时 | | 场景验证报告 | 文档 | 三层结论、逐项判据、指标明细、人工基线实测记录、缺口说明 | 每轮验证结束后 10 个工作日内 | | 失败样本清单与归因报告 | 文档＋数据 | 错因聚类、样本级结果、影响范围、统计显著性说明 | 随验证报告 | | 数据整改任务单 | 工单 | 问题类型、关联样本、修订建议、责任组、优先级、整改期限 | 验证报告出具后 3 个工作日内 | | 复测记录 | 文档 | 整改前后对照、复测范围、闭环结论 | 整改完成后 | | 版本血缘记录 | 平台记录 | 基准集、模型版本、知识库版本、评测任务、报告之间的依赖关系 | 随各节点自动登记 | | 能力雷达图与版本对比 | 图表 | 场景能力维度得分、与上一版本的增量 | 随验证报告 | #### 2.9 数据层验证：四类用途子集在通用场景上的验证方式 本节 1.2 把验证分为数据层、知识层、任务层三层。知识层与任务层的方法已在上文给出，本小节补足数据层——即四类用途子集在五个通用场景上的供给验证，与招标文件 3.2.6.3.9 数据集验证的五项实验对应（b1547—b1557）。 四类用途子集的规模口径是：预训练子集 615 亿 Token、指令微调子集 89 万条、人类偏好对齐子集 6.6 万组、基准评测子集 0.95 万条。五个通用场景消费的是其中与制度、标准、招投标、合同、指标相关的部分，分布在供需计划域与跨域通用语料中。数据层验证不重复整个数据集的验证工作，只回答一个问题：就这五个场景而言，四类子集的供给是否成立。 预训练子集的验证以领域知识探针进行。探针题由制度条款事实、标准参数限值、合同常规条款表述与指标定义构成，每类不少于 200 道，题型为填空与单项判断，考察的是知识是否被注入而非是否会调用检索。做法是在继续预训练前后分别用同一组探针测量，比较答对率变化；同时测量保留语料的困惑度变化，用于观察是否出现灾难性遗忘。探针题与基准分册不共用题面，避免同一批题既当训练效果证据又当场景验证证据。 指令微调子集的验证看三件事。一是提问类型覆盖：把五个场景的真实提问按类型归并，核对指令微调子集中是否有对应类型的样本，缺哪一类即为覆盖盲区。二是指令遵循：考察模型是否按要求的格式输出（给出条款编号、标注版本、列出引用来源），这一项直接影响任务层的引用正确率。三是长上下文理解：技术标准与招投标文件都是长文，须专门考察在长输入下的定位能力，题目构造为在长文中埋设目标条款并观察是否被正确引用。 人类偏好对齐子集的验证针对本场景的两组偏好：带引用的回答优于不带引用的回答，以及无证据时拒答优于编造。做法是从偏好子集中抽取与五个场景相关的偏好对，训练奖励模型后在留出集上测偏好判别准确率；再以对齐后的模型跑无证据题，观察正确拒答率是否提升。这一条把 2.6 中的防编造措施与数据供给连了起来——拒答依赖偏好数据训练，不以提示词约束代替。 基准评测子集的验证即本节 2.2 所述的基准分册构建与冻结。五个场景分册合计 2,400 条，在 0.95 万条口径内列计。 图 3 给出三层验证与四类子集的对应关系，以及归因时从任务层回溯到子集的路径。 ### 图 3　三层验证与四类用途子集的对应 数据层　四类用途子集的场景相关部分 预训练子集 615 亿 Token 指令微调子集 89 万条 偏好对齐子集 6.6 万组 基准评测子集 0.95 万条 观测量 知识探针答对率·困惑度变化 提问类型覆盖·偏好判别准确率 知识层　条款级知识单元·元数据·引用关系·指标口径·检索索引 观测量：收录率·切分完整率·元数据正确率·关系准确率与召回率·计算逻辑复算一致率 把关 未经业务专家终审的条目 不得用于标注与合成 任务层　五个场景的端到端表现 观测量：要点覆盖率·引用正确率·检出率与误报率·效率改善幅度·同题一致率 结论 逐项判据与缺口清单 归因路径：任务层失败 → 知识层定位 → 回溯到具体子集、标注批次或生成批次 图 3　三层验证与四类用途子集的对应。数据来源：招标文件 3.2.6.3.9 数据集验证的五项实验（b1547—b1557），四类子集规模按 3.2.6.3 逐数据集规模表。 表 7　四类用途子集在五个通用场景上的数据层验证方式 | 用途子集 | 本场景相关内容 | 验证方式 | 观测量 | 不达预期时的回流入口 | |---|---|---|---|---| | 预训练子集 | 制度、标准、合同、招投标长文本与指标定义语料 | 继续预训练前后以同一组知识探针测量 | 探针答对率变化、保留语料困惑度变化 | 语料采集范围与去重去噪环节 | | 指令微调子集 | 制度问答、标准问答、标书问答、查数问答、合同审查指令样本 | 提问类型覆盖核对＋指令遵循与长上下文专项测试 | 类型覆盖率、格式遵循率、长文定位正确率 | 指令数据生成与合成环节，按缺失类型补样本 | | 偏好对齐子集 | 带引用优于不带引用、无证据时拒答优于编造两组偏好 | 训练奖励模型后在留出集上测判别准确率；对齐后跑无证据题 | 偏好判别准确率、正确拒答率提升幅度 | 偏好样本构造环节，按偏好维度补对 | | 基准评测子集 | 五场景分册合计 2,400 条 | 按 2.2 构建、专家终审、与训练集双向查重后冻结 | 题目终审通过率、与训练集重复率 | 基准集本身，修订题面或替换题目 | 表 8　五个通用场景与各用途子集的供给对应 | 场景 | 预训练语料面 | 指令样本类型 | 偏好维度 | 基准分册 | |---|---|---|---|---| | 管理制度智能问答 | 11 类管理制度全文 | 条款定位、语义解读、跨制度咨询 | 引用完整性、拒答正确性 | 500 条 | | 技术标准智能问答 | 国标、行标、企标、设计手册 | 参数查询、条文解读、多轮追问、版本辨析 | 版本标注完整性、数值精确性 | 500 条 | | 标书智能问答 | 历史投标文本、招标文件、评分标准 | 要点抽取、风险标注、内容生成、文件评审 | 事实可回溯性、适用性判断 | 500 条 | | 决策数据智能问答 | 经营分析报告、专题报告、台账 | 查数、多维分析、异动归因、多轮追问 | 口径一致性、结论可解释性 | 600 条 | | 合同合规智能审查 | 9 类合同文档、法规条目、审查意见 | 要素抽取、风险识别、修改建议 | 风险判定审慎性、依据充分性 | 300 条 | #### 2.10 评测协议的内容清单 评测协议是本节最重要的交付物之一，因为验证的可信度最终取决于协议写得够不够死。协议内容按表 9 固化，冻结后在本轮验证中不可修改；需要修改的，作为协议变更单独记录并说明影响范围，变更前后的数据分列呈现。 表 9　评测协议的内容清单 | 协议项 | 内容 | 固化理由 | |---|---|---| | 基准集版本 | 分册标识与版本号、题目数量、题型分布、难度分布 | 换了题目就不是同一次考试 | | 题型与能力维度 | 每种题型对应的能力维度及其权重 | 决定能力雷达图各轴的含义 | | 评分规则 | 各题型的判分策略、要点权重、容差口径、部分得分规则 | 判分口径一变，分数不可比 | | 随机种子 | 采样温度、候选条数、随机种子取值 | 生成类任务不固定种子则结果不可重复 | | 模型与网关配置 | 模型版本标识、最大长度、停止词、输出结构约束 | 版本与参数变化会掩盖数据侧的改善 | | 检索配置 | 召回条数、重排策略、相似度阈值 | 影响证据召回率的直接参数 | | 重试与超时 | 失败重试次数、超时阈值、超时样本的处理口径 | 超时样本按失败计还是按剔除计，结论差别很大 | | 人工复核规则 | 抽样比例、分层方式、复核岗位要求、仲裁规则、Kappa 门槛 | 复核口径是主观指标可信的前提 | | 指标口径 | 每项指标的计算公式、分子分母定义、剔除规则 | 同名指标不同算法是最常见的争议来源 | | 判据取值 | 各项的目标值与下限值 | 验证前约定，不在出结果后调整 | | 变更记录 | 协议变更的时间、内容、原因与影响范围 | 使多轮结果的可比性可被审计 | 协议由评测引擎承载并版本化，每次执行自动记录所用协议版本，与评测任务、模型版本、基准集版本一并进入血缘记录。 #### 2.11 人工复核作业规程 主观性指标的可信度取决于复核组织。本小节给出作业规程，五个场景通用。 复核人员的资格要求按场景而异：制度与标准场景要求熟悉相应业务领域；标书场景要求有招投标业务经验；决策数据场景要求熟悉指标口径；合同场景要求法务或合同管理背景。无论哪一类，上岗前须完成判分细则培训并通过试判，试判题不少于 30 道，与标杆答案的一致率达到 0.85 以上方可上岗。 判分细则按题型编写，每条要点给出判定边界与两到三个边界示例。编写细则时的原则是：能用客观表述的不用主观表述。例如「答案是否完整」改写为「是否包含标准答案登记的 N 个要点中的至少 M 个」；「解读是否准确」拆为「是否添加了条文未规定的限制」与「是否遗漏了条文明确的例外」两个可判定项。 作业方式为双人独立判分，判分期间不得交流；两人结论不一致的样本转第三方仲裁。仲裁人须是该场景的业务专家或经专家授权的资深复核员。仲裁结论为最终结论，并记录争议原因与裁决依据。组内一致性以 Kappa 系数按分册监控，低于 0.75 即暂停该分册复核，重新对齐细则后已判样本重判。 节奏控制上，单人单日复核量按题型设上限——客观题不超过 120 道，解读类不超过 60 道，生成与审查类不超过 25 道。超量作业会使后段判分质量下降，这类下降在数据上表现为同一人前后段的判分严格度漂移，不易察觉。我方在复核过程中按时段抽查标杆题，用于监测漂移。 表 10　人工复核的岗位、职责与工作量口径 | 岗位 | 职责 | 资格要求 | 单日工作量上限 | |---|---|---|---| | 判分员 | 按细则对分配样本独立判分，记录判定依据 | 通过试判，一致率 ≥0.85 | 客观题 120 道／解读类 60 道／生成与审查类 25 道 | | 仲裁员 | 处理双人分歧样本，出最终结论与裁决依据 | 场景业务专家或经授权的资深复核员 | 分歧样本 40 道 | | 细则编写与校准 | 编写判分细则、组织试判、按时段抽查标杆题 | 熟悉该场景业务与本节指标口径 | — | | 复核协调 | 样本分配、进度跟踪、Kappa 监控、异常上报 | — | — | #### 2.12 题目难度分级、抽样与统计口径 难度分级。每个分册的题目按基础、进阶、难例三级标注，占比控制为 4∶4∶2。基础题考察单条证据即可回答的事项，进阶题需要跨条款或跨文档组合，难例题取自实际发生过的疑难咨询或已知的加工难点（如跨页续表、隐式引用、同名异义指标）。三级分别统计得分，并以难例题的得分作为后续版本改进的主要观察对象。只报总分会掩盖难例上的不足——总分提升有时只是基础题变多了。 抽样。需要人工核对的验证项（元数据正确率、证据精确率、条款类型标注正确率等）采用分层抽样，分层维度为文档类型与难度等级，每层抽样量按该层总量的比例分配，单层不少于 30 个样本。抽样方案在协议中固化，复测沿用同一方案以保证可比。 统计口径。各项指标报点估计与 95% 置信区间，置信区间按样本量计算，样本量不足导致区间过宽的项在报告中标注「样本量不足，结论参考」。版本间对比不以点估计的高低直接下结论，而须做显著性检验：改善幅度未达显著的，报告中表述为「本轮未观察到显著变化」，不表述为「有所提升」。这一条是为了避免把抽样波动说成改进。 缺失与异常样本的处理口径在协议中固化：超时样本按失败计入分母；因服务异常中断的批次整批重跑而非部分补测；原件本身不可解析的样本经双人确认后剔除并在报告中列明剔除清单与理由。剔除率超过 3% 的项，须在报告中单独说明剔除对结论的影响方向。 表 11　题目难度分级与抽样口径 | 项 | 口径 | |---|---| | 难度分级 | 基础∶进阶∶难例 ＝ 4∶4∶2，分级标准随分册在协议中固化 | | 难例题来源 | 实际发生的疑难咨询、已知加工难点、历史错例 | | 人工核对抽样 | 按文档类型与难度分层，单层不少于 30 个样本，比例分配 | | 置信区间 | 各项报 95% 置信区间；区间过宽的项标注「样本量不足」 | | 版本对比 | 做显著性检验，未达显著的表述为「未观察到显著变化」 | | 超时样本 | 按失败计入分母 | | 异常中断 | 整批重跑，不部分补测 | | 不可解析样本 | 双人确认后剔除，列明清单；剔除率 >3% 须说明影响方向 | #### 2.13 验证执行对专项工具链的调用 验证执行不另建工具，调用本项目交付的专项智能工具链。对应关系见表 12，便于甲方核对工具链的实际使用情况，也便于在验证出现问题时定位到具体工具。工具链本身的功能与验收口径见工具链章节，本节不重复。 表 12　验证环节与专项工具链的调用对应 | 验证环节 | 调用的工具链 | 在本节的用途 | |---|---|---| | 文档结构还原与条款切分核验 | 文档结构解析工具链、文档切分与拼接工具链 | 产出知识单元与章节树，供切分完整率与层级还原率比对 | | 证据检索与「查询—证据—回答」三元组构建 | RAG 数据构建工具链 | 构建基准题的证据定位，支撑证据召回率与精确率测定 | | 多轮对话题目构造与筛选 | 对话模拟生成工具链、对话质量筛选工具链 | 构造多轮追问路径并筛除低质对话，用于多轮类题目 | | 基准分册切分与冻结 | 数据集切分与基准构建工具链 | 按难度与题型分层切分，固化分册版本 | | 评测执行与多策略判分 | 多协议模型评测引擎工具链 | 协议固化、多模型并行评测、判分策略融合、人工复核结果汇入 | | 错题聚类与整改任务单 | 数据贡献度归因与错题溯源工具链 | 错因聚类、样本级结果、失败样本清单、修订工单生成 | | 版本血缘与审计 | 数据集—模型版本血缘追溯工具链 | 基准集、模型、评测、报告、工单之间的依赖关系与影响范围分析 | | 题面与证据的去重隔离 | 数据去重与相似度过滤工具链 | 基准分册与训练子集的双向查重 | | 题型与难度分布核查 | 数据分布分析与均衡工具链 | 核查分册的题型与难度占比是否符合协议 | #### 2.14 验证结论的表述规范 验证报告的表述有四条规范，五个场景通用，目的是让结论既可用又不越界。 第一条，所有指标结论附样本范围与口径。写「在抽样 120 份制度、3,000 条条款上，条款收录率 0.97（95% 置信区间 0.96—0.98）」，不写「条款收录完整」。 第二条，覆盖类表述用逐版抬高的方式表达，不用终态表述。本节不以「全量覆盖」「无漏报」「全维度」描述任何验证结果；凡招标文件要求覆盖的维度，报告中给出当前覆盖率、缺口清单与下一版的目标值，以逐版抬高的方式趋向完整。 第三条，未验证与未达标分列。未验证的项（材料未到位、通道未具备、样本量不足）与已验证未达标的项在报告中分列，不混为一类。前者需要补条件，后者需要改数据，处置路径不同。 第四条，助手输出的定位统一。五个场景的助手输出在报告中统一表述为辅助结论：制度与标准场景为参考答复、标书场景为应答草稿与风险清单、决策数据场景为分析线索、合同场景为审查辅助清单。最终判定归相应业务岗位。该表述落实「只做验证、不做建设」：助手输出为辅助结论，最终判定归业务岗位。 ### 3、管理制度智能问答场景验证 本小节回应招标文件 3.2.6.5.2.1 管理制度智能问答的场景介绍与验证要求（b1714—b1727）。 #### 3.1 现场问题与验证要解决的疑问 招标文件对本场景的现状判断是：管理制度数量繁多、更新频繁、专业性强、条文关联性密、理解门槛高，传统制度查询与咨询存在检索不精准、解读不一致、响应速度慢、制度执行偏差、跨部门制度冲突等问题（b1716）。 把这五个问题放到甲方的实际环境里看，它们落在同一件事上：制度文本以整篇 PDF 的形态存在协同办公系统里，检索的最小单位是文件而不是条款，于是员工只能靠文件名猜测该查哪一份，查到之后还要自己判断这一条在本部门是否适用、有没有被后续文件修订过。解读不一致与执行偏差，根子在没有一个权威的条款级索引，不同人查到不同版本、引用不同条文。 招标文件已明确甲方协同办公系统将提供 11 类管理制度（PDF）（b0886）。本场景的验证因此有一个确定的数据起点：制度原文可取、分类可知，待验证的是这批原文被加工成条款级知识单元之后，是否真的支撑得起精准检索、一致解读与关联分析。 验证要回答四个疑问，分别对应招标文件的四项验证要求：制度知识库建得全不全、问答答得准不准、制度之间的关系连得上连不上、相对人工查阅快了多少。本节不讨论助手界面与权限模型，那是场景建设方的工作。 #### 3.2 场景形态与我方验证定位 招标文件描述本场景为：运用大模型自然语言理解、知识图谱构建、多模态文档解析等技术，建设覆盖管理制度体系的智能问答助手，构建管理制度知识库，统一纳管各类管理制度知识，实现制度内容的结构化、数据化（b1717）。 对应到本包，我方的工作是把这段描述中「结构化、数据化」那一层做实并验证到位：制度条款以条款为最小知识单元建立索引，抽取制度名称、制度编号、发布部门、生效日期、适用范围与制度层级，并识别制度类别与条款间引用关系（依据 3.2.6.3.4，b1437—b1438）。助手的自然语言理解能力由统一网关接入的通用大模型提供，我方不点型号、不把模型微调写成本场景的建设主线；模型可替换、可评测、可随代升级，验证协议对不同模型版本通用。 #### 3.3 制度知识库建设能力验证 招标文件要求验证制度知识库建设能力，知识范围包含管理办法、实施细则、操作规程在内的制度条文知识，以及制度类别、适用范围、发布部门、条文关联关系的管理知识（b1720—b1722）。 验证分两条线。第一条线查条文知识的完整性与切分质量。做法是从 11 类制度中按类别分层抽样，抽取不少于 120 份制度文件、合计不少于 3,000 条条款，与知识库中的条款级知识单元逐条比对，统计三个量：条款收录率（原文条款在知识库中存在对应知识单元的比例）、切分完整率（知识单元边界与原文条款边界一致、未把一条切成两条或把两条并成一条的比例）、层级还原率（章、节、条、款的层级关系与原文一致的比例）。制度文本中常见的三种难例单独列项统计：附表与附件形式的条款、以「本办法未尽事宜按……执行」形式出现的概括性引用条款、以及正文中夹带的流程图与表格。 第二条线查管理知识的元数据完整度。对同一批抽样制度，逐份核对制度名称、制度编号、发布部门、生效日期、适用范围、制度层级六个字段的抽取正确率。其中适用范围与制度层级是最容易出错的两项：适用范围常以「适用于本公司各单位」这类表述给出，需要映射到甲方的组织机构主数据；制度层级需要区分管理办法、实施细则与操作规程三级，部分文件标题不含层级词，须依据正文表述与发文形式判定。这两项单列指标，下限值比其余四项低一档，并在报告中附难例清单。 表 13　制度知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 条文知识收录 | 条款收录率 | 分层抽样 120 份、3,000 条条款逐条比对 | ≥0.98 | ≥0.95 | | 条款切分 | 切分完整率 | 知识单元边界与人工标注的条款边界比对 | ≥0.95 | ≥0.90 | | 层级还原 | 章节条款层级还原率 | 层级路径与原文目录结构比对 | ≥0.95 | ≥0.90 | | 难例处理 | 附表附件条款收录率 | 难例清单逐条核对 | ≥0.90 | ≥0.80 | | 核心元数据 | 名称／编号／发布部门／生效日期抽取正确率 | 逐份人工核对 | ≥0.98 | ≥0.95 | | 判定类元数据 | 适用范围映射正确率 | 与组织机构主数据比对后人工判定 | ≥0.92 | ≥0.85 | | 判定类元数据 | 制度层级判定正确率 | 业务专家判定为准 | ≥0.92 | ≥0.85 | | 类别划分 | 制度类别归集正确率 | 与甲方现行制度分类口径比对 | ≥0.95 | ≥0.90 | #### 3.4 制度智能问答能力验证 招标文件要求验证制度智能问答能力，支持对制度条文的精准检索、语义解读与多文档跨制度咨询（b1723—b1724）。三项能力的难度递增，验证题目按此分层。 条文精准检索类题目 180 道，问法包括按关键词问、按业务情形问、按条款编号反查三种。判分看两处：检索命中列表里有没有正确条款（证据召回率 Recall@5），以及答案有没有引用正确的制度名称与条款编号（引用正确率）。这类题目允许助手给出多条候选，但须按相关性排序并标明各自出处。 语义解读类题目 140 道，问的是条款在具体情形下怎么理解，标准答案以要点形式给出。判分用要点覆盖率，并对两类偏差单独统计：解读超出条款原意的（添加了条文没有的限制或许可）与解读欠出条款原意的（漏掉了条文明确的例外情形）。这两类偏差在制度咨询中的后果不对称，前者可能导致误操作，因此超出原意的偏差单独设上限，超过 5% 即该项不通过。 多文档跨制度咨询类题目 120 道，问的是需要同时引用两份以上制度才能答全的事项，例如同一事项在管理办法与实施细则中规定不一致时以何为准、某项审批在制度 A 与制度 B 中的流程衔接。判分除要点覆盖率外，加一项多源证据完整率：标准答案所需的全部制度来源是否都被引用，少引一份即判该题证据不完整。 另有无证据题 40 道，问的是制度体系中确无规定的事项。正确行为是明确说明未检索到相关规定并给出可咨询的责任部门，而不是推测性作答。这类题目的通过标准是正确拒答率，低于下限不设有条件通过一档。 图 4 给出问答链路上的四个观测点，说明指标分别落在链路的哪一段，便于归因时直接定位。 ### 图 4　制度问答链路上的验证观测点 提问 题面＋提问账号 条款检索 知识单元命中列表 证据组装 多制度证据合并 生成答案 带条款号与出处 观测点一 权限越权率 观测点二 证据召回率·切分完整率 观测点三 多源证据完整率 观测点四 要点覆盖率·引用正确率 耗时 与同题 一致率 图 4　制度问答链路上的验证观测点。数据来源：招标文件 3.2.6.5.2.1.2 验证要求（b1723、b1725），本节第 2.3 条指标定义。 #### 3.5 制度关联分析能力验证 招标文件要求验证制度关联分析能力，支持自动建立制度间的引用关系与逻辑校验（b1725）。关联分析的难点不在出图，而在关系判定正确、冲突可检出。 引用关系的验证以人工标注的关系集为基准。做法是在抽样制度中人工标注三类关系：显式引用（条文中直接写出被引制度名称或编号）、隐式引用（条文表述指向另一制度的具体规定但未写出名称）、以及废止替代关系（新制度明确废止或修订旧制度某条）。自动建立的关系与人工标注集比对，统计准确率与召回率。显式引用的指标取值高，隐式引用取值低一档并附难例清单。 逻辑校验的验证以构造冲突用例的方式进行。我方从历史制度中挑出已知存在口径差异的条款对，另按甲方确认的典型冲突模式构造用例，合计不少于 60 组，考察助手能否检出并说明冲突类型。冲突类型分四种：同一事项在不同制度中规定不一致、条款引用的制度已废止、条款引用的条款号在被引制度中不存在、以及生效日期与引用关系矛盾（新制度引用了尚未生效的制度）。四种分别统计检出率，不合并成一个总检出率，以免高频易检类型掩盖低频难检类型。 本项的结论以逐类型检出率呈现，不以「全部冲突均可检出」一类表述收尾。首轮验证中检出率未达下限的冲突类型，在报告中明列并给出修复路径：多为引用关系抽取时未处理某种表述形式，回到元数据抽取环节补规则后复测。 表 14　制度关联分析的验证项与取值 | 验证项 | 指标 | 基准来源 | 目标值 | 下限值 | |---|---|---|---|---| | 显式引用关系 | 准确率／召回率 | 人工标注关系集 | ≥0.95／≥0.90 | ≥0.90／≥0.82 | | 隐式引用关系 | 准确率／召回率 | 人工标注关系集 | ≥0.85／≥0.75 | ≥0.75／≥0.65 | | 废止替代关系 | 准确率／召回率 | 人工标注关系集 | ≥0.92／≥0.85 | ≥0.85／≥0.75 | | 规定不一致检出 | 检出率 | 构造用例 20 组 | ≥0.85 | ≥0.75 | | 引用已废止制度检出 | 检出率 | 构造用例 15 组 | ≥0.92 | ≥0.85 | | 引用条款号不存在检出 | 检出率 | 构造用例 15 组 | ≥0.95 | ≥0.88 | | 生效日期矛盾检出 | 检出率 | 构造用例 10 组 | ≥0.90 | ≥0.80 | #### 3.6 服务响应效率验证 招标文件要求验证服务响应效率，支持制度查询与复杂咨询反馈时长较人工查阅模式明显缩短（b1726—b1727）。「明显缩短」是相对口径，因此必须先有人工基线。 人工基线分两档实测。简单查询档：题目为单条款定位类，由甲方相应岗位人员在现行方式下查到并给出条款原文，计时取中位数。复杂咨询档：题目为跨制度咨询类，人工作业含查阅多份文件、判断适用性、必要时咨询发文部门，计时含等待答复时间，取中位数。两档各取 30 道题、对照组各不少于 3 人，对照人员岗龄分布记入报告。 助手侧取同一批题目的端到端时长，其中复杂咨询档的时长计到给出带出处的完整答复为止，不计只返回检索列表的中间状态。缩短幅度按中位数对中位数计算，同时给出 P95 以观察长尾。 效率结论与质量结论绑定呈现：只有在该档题目的要点覆盖率达到下限的前提下，效率数据才计入结论。这一条防的是以降低答案质量换取响应速度。 表 15　响应效率的验证项与取值 | 验证项 | 人工基线 | 助手侧指标 | 目标值 | 下限值 | |---|---|---|---|---| | 简单查询档 | 【待填：实测中位数，分钟】 | 端到端时长中位数 | 相对基线缩短 ≥80% | ≥60% | | 简单查询档长尾 | — | 响应时长 P95 | ≤20 秒 | ≤40 秒 | | 复杂咨询档 | 【待填：实测中位数，分钟】 | 端到端时长中位数 | 相对基线缩短 ≥70% | ≥50% | | 复杂咨询档长尾 | — | 响应时长 P95 | ≤60 秒 | ≤120 秒 | | 质量约束 | — | 对应档题目的要点覆盖率 | ≥0.85 | ≥0.78 | #### 3.7 所需数据、接入条件与回退 本场景所需数据与条件见表 16。表中凡标注待甲方提供的，在项目启动后两周内以数据需求清单的形式提出，并按招标文件 3.2.2.1.13 对协同办公系统的集成要求对接（b0885—b0889）。 表 16　管理制度场景的验证数据与接入条件 | 项目 | 内容 | 来源 | 缺失时的回退 | |---|---|---|---| | 制度原文 | 11 类管理制度（PDF），按类别齐备 | 协同办公系统（b0886） | 按已获取类别验证，报告中注明未覆盖类别 | | 制度分类口径 | 甲方现行制度分类与层级定义 | 【待填：甲方制度管理部门提供】 | 以文件标题与发文形式推定，结论标注为推定口径 | | 组织机构主数据 | 单位与部门编码、层级关系 | 主数据管理平台 | 适用范围映射一项改为人工判定，取样比例提高到 50% | | 真实咨询记录 | 近两年制度咨询问题与答复 | 【待填：甲方相关部门提供】 | 题目改由业务专家出题，题面多样性记入报告局限说明 | | 人工对照组 | 每档不少于 3 名在岗人员 | 【待填：甲方安排】 | 效率类指标留空，不填预估值 | | 分级权限账号 | 三档测试账号 | 场景建设方配置 | 权限越权率一项无法测定，在报告中列为未验证项 | 本场景的整体回退口径是：若场景助手在验证窗口内不具备可调用通道，我方以统一网关直连知识库与基座模型执行知识层与数据层验证，出具两层结论，任务层结论标注为离线口径并说明与在线口径的差异来源。知识库本身的质量结论在任一情形下均可出具，不受助手建设进度影响——这也是把验证责任放在数据侧的一个实际好处。 #### 3.8 典型样题与判分示例 为使验证口径可被核对，本小节给出管理制度场景的样题示例。样题取自制度咨询中常见的问法，答案要点与判分方式按 2.4 的口径编写。正式分册的题面在一期由甲方业务专家终审后冻结。 表 17　管理制度场景的样题与判分示例 | 题型 | 样题 | 答案要点 | 判分方式 | 考察点 | |---|---|---|---|---| | 条款定位·基础 | 【待填：按甲方实际制度名称拟题】某项费用报销的审批权限上限是多少，依据哪一条 | 金额上限数值；制度名称与条款编号 | 精确匹配数值＋引用正确率 | 条款级索引是否建立、元数据是否可用 | | 条款定位·进阶 | 某事项在管理办法中规定了原则，在实施细则中规定了具体流程，分别出自哪里 | 两份制度名称与各自条款编号 | 多源证据完整率 | 同一事项跨层级制度的关联 | | 语义解读·进阶 | 某制度规定「原则上不得……」，在何种情形下可以例外 | 制度列明的例外情形逐项；无额外推断 | 要点覆盖率＋超出原意偏差单列 | 是否添加条文未规定的许可 | | 跨制度咨询·难例 | 同一审批事项在两份制度中规定的审批层级不一致，应以何为准 | 指出两处规定；给出判定依据（制度层级、生效日期、后发文件优先）；给出需提请确认的提示 | 要点覆盖率＋多源证据完整率 | 冲突识别与判定依据的完整性 | | 引用关系·进阶 | 某条款引用的制度是否仍然有效 | 被引制度名称；现行有效状态；若已废止给出替代制度 | 引用正确率＋状态判定正确率 | 废止替代关系是否建立 | | 无证据题·难例 | 【待填：拟一项制度体系中确无规定的事项】 | 明确说明未检索到相关规定；给出可咨询的责任部门 | 正确拒答率 | 是否编造条款 | | 效率题·基础 | 与人工对照组同题，记录端到端时长 | 同条款定位题要点 | 时长中位数与质量约束联合判定 | 响应效率与质量不可偏废 | 样题设计有两点刻意安排。一是跨制度冲突题的标准答案不要求助手直接给出唯一结论，而要求它指出两处规定并给出判定依据——制度冲突的最终裁定权在制度管理部门，助手越过这一步给出结论是越界。二是无证据题的题面要真的在制度体系中无据可依，所以题面须由甲方业务专家确认后才可入册，不能由我方凭想象编写。 #### 3.9 本场景数据层验证要点 按 2.9 的方法，本场景的数据层验证另有两点需要说明。 探针题的构造以制度事实为主，不以制度条文原文为题面。原因是制度条文大量使用「本办法」「上述情形」一类指代，脱离上下文后题面歧义大；改以事实型表述出题（审批权限上限、保管期限、责任部门），答案唯一且可判。 提问类型覆盖的核对要特别关注一类缺口：员工实际咨询中占比不低的「这件事该找谁」类问题。这类问题的答案不在制度条文里，而在制度的发布部门与适用范围元数据中。指令微调子集若无此类样本，助手会把问题当作条款查询处理并返回无关条文。此类缺口在首轮验证中按归因结论回流指令数据生成环节补样本。 ### 4、技术标准智能问答场景验证 本小节回应招标文件 3.2.6.5.2.2 技术标准智能问答的场景介绍与验证要求（b1728—b1740）。 #### 4.1 现场问题与验证要解决的疑问 招标文件对本场景的现状判断是：技术标准专业门槛极高、数据图表密集、跨学科关联性强、更新迭代快、标准引用复杂，传统查阅与应用存在查询费时费力、参数提取不准、条文解读分歧、新旧版本混用、设计选型合规性难校验等问题（b1730）。 这五个问题在矿山装备制造的日常作业里有很具体的样子。刮板输送机的设计选型要同时满足煤矿安全规程、刮板输送机行业标准、链条与减速器的产品标准以及甲方自己的企业标准，一个参数限值常常同时出现在几份标准里且取值不同；标准中的关键信息大量以表格承载——材料牌号与力学性能对照表、链条规格与破断载荷对照表、齿轮精度等级表——这些表格一旦解析错位，查到的限值就是错的，而错误很难被使用者察觉。新旧版本混用的风险同样现实：标准替代之后仍有旧版电子文件在内部流转，设计人员未必知道手上这份已被替代。 本场景的验证因此与管理制度场景有一个重要差别：制度问答的核心风险是解读偏差，技术标准问答的核心风险是数值错误。数值错误的代价直接体现在设计与采购上，所以本场景把表格解析精度与版本辨析列为重点验证项，并把参数限值类题目的判分设为精确匹配，不接受语义相近。 #### 4.2 场景形态与我方验证定位 招标文件描述本场景为：运用大语言模型、多模态文档解析、智能检索与匹配等技术，建设覆盖技术标准体系的智能问答助手，构建技术标准知识库，统一纳管各类技术标准知识，实现技术标准内容的结构化、数据化，并辅助技术标准编制，缩短编制周期，提高使用便捷性（b1731）。 对应到本包，我方验证的是技术标准知识库与结构化产出能否支撑上述能力。技术标准须抽取标准名称、发布部门与生效日期等核心元数据（依据 3.2.6.3.4，b1439），其表格与公式等半结构化内容须完成重建（依据 3.2.6.3.2，b1401—b1402）。「辅助技术标准编制」一项，我方验证的是知识库是否提供了编制所需的素材——同类标准的条文结构、相近条款的既有表述、被引标准的现行有效版本——而标准编制工具本身与编制流程由甲方标准化管理部门与场景建设方安排。 #### 4.3 技术标准知识库建设能力验证 招标文件要求验证技术标准知识库建设能力，条文规范知识包含国家标准、行业标准、企业标准、设计手册，标准应用知识包含技术参数限值、标准引用关系、版本更迭记录与典型合规案例（b1733—b1735）。知识范围分两类，验证也分两类。 条文规范知识的验证沿用制度场景的三量（收录率、切分完整率、层级还原率），但抽样构成不同：按国家标准、行业标准、企业标准、设计手册四类分层抽样，每类不少于 20 份，合计不少于 80 份、2,500 条条款。设计手册与前三类的差别在于其编排不以「条」为单位，而以章节加图表为主，切分口径须另定——以可独立回答一个参数问题的最小片段为知识单元，边界由人工标注给出。 标准应用知识的验证按四项分别进行。技术参数限值一项最重要，做法是从抽样标准中人工提取不少于 800 条参数限值（参数名、取值或取值范围、单位、适用条件、来源标准号与条款号），与知识库中的参数条目逐条比对，统计抽取正确率与适用条件完整率。 适用条件完整率单列的原因是：限值脱离适用条件就是错的，「链条破断载荷不小于某值」必须带上规格与材料前提，只抽到数值不算抽对。标准引用关系一项与制度场景同法。版本更迭记录一项核对的是替代、被替代、修改单三种关系，以及现行有效状态标识。典型合规案例一项依赖甲方既有素材，数量以实际可获取为准，在报告中据实列明。 表 18　技术标准知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 条文收录 | 条款收录率 | 四类分层抽样 80 份、2,500 条 | ≥0.98 | ≥0.95 | | 条文切分 | 切分完整率 | 与人工标注边界比对 | ≥0.95 | ≥0.90 | | 设计手册切分 | 片段完整率 | 以人工标注的最小可答片段为准 | ≥0.90 | ≥0.82 | | 核心元数据 | 标准号／名称／发布部门／生效日期正确率 | 逐份人工核对 | ≥0.98 | ≥0.95 | | 参数限值 | 限值抽取正确率 | 800 条限值逐条比对 | ≥0.95 | ≥0.90 | | 参数限值 | 适用条件完整率 | 人工判定 | ≥0.90 | ≥0.82 | | 引用关系 | 显式引用准确率／召回率 | 人工标注关系集 | ≥0.95／≥0.90 | ≥0.90／≥0.82 | | 版本更迭 | 替代关系正确率 | 与标准化部门台账比对 | ≥0.95 | ≥0.90 | | 版本更迭 | 现行有效状态正确率 | 与台账比对 | ≥0.98 | ≥0.95 | | 合规案例 | 案例结构化完整率 | 按甲方实际提供数量据实统计 | ≥0.90 | ≥0.80 | #### 4.4 标准智能问答能力验证 招标文件要求验证标准智能问答能力，支持多轮对话式问答与历史版本问答（b1736）。两项分别出题。 多轮对话式问答题 110 道，每道题含 3 至 5 轮。构造方式是模拟设计人员的真实追问路径：先问某规格刮板输送机的链条选用依据，再追问该限值出自哪一版标准，再追问若工作面倾角变化该限值是否改变，最后要求给出引用条款全文。判分看三处：末轮答案的要点覆盖率、全程的指代消解正确率（后续轮次中「它」「该标准」「这个值」是否指向正确对象）、以及上下文条件继承正确率（前轮给定的规格、材料、工况在后轮是否被保留）。多轮题的判分以整道题为单位，任一轮出现指代错误即该题指代项不计分。 历史版本问答题 60 道，问的是某参数在旧版标准中的取值、某条款在新旧版之间的变化、以及某旧版标准是否仍可用于在役设备的维护判定。这类题的正确行为有一个硬要求：答案须同时给出版本号与该版本的现行有效状态。只给数值不给版本的答案，即使数值正确也判该题不通过，因为新旧混用正是本场景要解决的问题之一。 表 19　标准智能问答的验证项与取值 | 验证项 | 指标 | 题量 | 目标值 | 下限值 | |---|---|---|---|---| | 单轮参数查询 | 限值回答精确匹配率 | 160 | ≥0.92 | ≥0.85 | | 单轮条文解读 | 要点覆盖率 | 120 | ≥0.88 | ≥0.80 | | 多轮对话 | 末轮要点覆盖率 | 110 | ≥0.85 | ≥0.78 | | 多轮对话 | 指代消解正确率 | 110 | ≥0.90 | ≥0.82 | | 多轮对话 | 上下文条件继承正确率 | 110 | ≥0.92 | ≥0.85 | | 历史版本 | 版本标注完整率 | 60 | ≥0.95 | ≥0.90 | | 历史版本 | 新旧差异说明正确率 | 60 | ≥0.85 | ≥0.75 | | 无证据题 | 正确拒答率 | 40 | ≥0.90 | ≥0.85 | #### 4.5 技术标准文件解析能力验证 招标文件要求验证技术标准文件解析能力，支持表格、公式等半结构化内容提取，表格解析须达到单元格级精度（b1737—b1738）。这是本场景技术门槛最高的一项，验证口径须先说清「单元格级精度」怎么量。 我方把表格解析拆成四层来量，逐层统计，不用一个总精度掩盖具体缺陷。第一层是表区域检出：页面上的表有没有被识别为表。第二层是结构还原：行数、列数、表头层级、合并单元格的跨行跨列范围是否与原表一致。第三层是单元格内容：每个单元格的文本是否正确，含数值、单位、上下标与特殊符号。第四层是语义绑定：单元格的值是否正确绑定到其行表头与列表头，这一层决定了「查某材料某厚度的限值」能不能查对。单元格级精度以第三层与第四层的联合正确率表达，即单元格文本正确且行列表头绑定正确的单元格占比。 技术标准中的四类难表单列统计：跨页续表、含合并单元格的多级表头表、单元格内嵌套换行与分号的多值表、以及图注式表格（表格与图共用编号）。公式解析按三项统计：公式区域检出率、符号正确率、以及可计算还原率（公式转为可代入计算的表达式后，以标准中给出的算例验算，结果一致即算还原成功）。可计算还原率这一项是本节有意设的硬口径——标准中的公式若只是作为图片或文本留存，就支撑不了选型校核类问答。 图 5 给出表格解析四层验证的对应关系。 ### 图 5　表格解析的四层验证与归因入口 标准原文页面 PDF／扫描件 一　表区域检出 检出率 二　结构还原 行列与合并范围 三　单元格内容 文本·数值·单位 四　语义绑定：单元格值 ↔ 行表头 ↔ 列表头 单元格级精度 ＝ 第三层与第四层联合正确率 难表专项：跨页续表·多级表头·多值单元格·图注式表 四类分别统计，不并入总精度 归因入口：第一、二层失败 → 文档结构解析工具链的版面模型与表格模型； 第三层失败 → 字符识别与数值单位规则；第四层失败 → 表头层级还原规则与知识条目建模； 难表专项失败 → 按表型补规则，并把该表型样例加入回归集。 图 5　表格解析的四层验证与归因入口。数据来源：招标文件 3.2.6.5.2.2.2 第（3）项对单元格级精度的要求（b1737、b1738），3.2.6.3.2 对表格与公式重建的要求（b1401）。 表 20　文件解析能力的验证项与取值 | 验证项 | 指标 | 样本量 | 目标值 | 下限值 | |---|---|---|---|---| | 表区域检出 | 检出率 | 600 张表 | ≥0.98 | ≥0.95 | | 结构还原 | 行列数与合并范围一致率 | 600 张表 | ≥0.95 | ≥0.88 | | 单元格内容 | 文本正确率 | 不少于 3 万个单元格 | ≥0.97 | ≥0.93 | | 语义绑定 | 行列表头绑定正确率 | 同上 | ≥0.95 | ≥0.90 | | 单元格级精度 | 第三、四层联合正确率 | 同上 | ≥0.93 | ≥0.88 | | 跨页续表 | 续表合并正确率 | 80 张 | ≥0.90 | ≥0.80 | | 多级表头表 | 表头层级还原正确率 | 120 张 | ≥0.90 | ≥0.82 | | 多值单元格 | 多值拆分正确率 | 100 张 | ≥0.88 | ≥0.78 | | 公式解析 | 公式区域检出率 | 400 个公式 | ≥0.95 | ≥0.90 | | 公式解析 | 符号正确率 | 400 个公式 | ≥0.92 | ≥0.85 | | 公式解析 | 可计算还原率（算例验算一致） | 有算例的公式不少于 120 个 | ≥0.85 | ≥0.75 | 单元格级精度未达下限时的回退路径是分型处置而非整体返工：按难表型统计失败分布，对占比最高的两型补解析规则并把样例加入回归集，复测只跑该两型及总体抽样，避免整批重解析带来的工期风险。扫描质量过差、原件本身存在印刷错位的页面，经双人确认后列入不可解析清单，在报告中据实列明页码与原因，不计入精度分母。 #### 4.6 数据可视化能力验证 招标文件要求验证数据可视化能力，支持自动统计技术标准检索量、高频查询条款与用户活跃度（b1739—b1740）。这一项的验证对象是使用行为数据的采集与统计口径，而不是图表的美观度。 验证分三步。第一步核对埋点完整性：构造一批已知行为序列（指定账号在指定时间做指定次数的检索与条款查看），验证统计结果与构造值一致。这是可验证的做法，比事后看报表是否「有数据」要硬。第二步核对统计口径：检索量按请求计还是按去重后的查询串计、同一用户连续重复检索是否合并、高频查询条款按查看次数还是按被引用次数排名、用户活跃度按日活还是按周活，这些口径须在验证前书面确认，确认后以构造数据核验。第三步核对时间维度：跨日、跨月边界的归属是否正确，时区与统计日切点是否一致。 表 21　数据可视化能力的验证项与取值 | 验证项 | 测定方法 | 目标值 | 下限值 | |---|---|---|---| | 检索量统计 | 构造 500 次已知行为，比对统计值 | 误差 ≤1% | ≤3% | | 高频查询条款排名 | 构造已知分布，比对前 20 名排序 | 前 20 名顺序一致 | 前 10 名顺序一致 | | 用户活跃度 | 构造 20 账号 30 日行为，比对日活与周活 | 误差 ≤1% | ≤3% | | 统计口径一致 | 口径确认书与实现逐条核对 | 逐条一致 | 不一致项不超过 1 项且非关键口径 | | 时间边界 | 跨日跨月边界用例 12 组 | 全部正确 | 不正确项不超过 1 组 | #### 4.7 所需数据、接入条件与回退 表 22　技术标准场景的验证数据与接入条件 | 项目 | 内容 | 来源 | 缺失时的回退 | |---|---|---|---| | 标准原文 | 国标、行标、企标与设计手册电子件 | 企业文档系统 | 按已获取范围验证，未覆盖类别在报告中列明 | | 标准台账 | 标准号、现行有效状态、替代关系 | 【待填：甲方标准化管理部门提供】 | 版本更迭类指标改以标准原文封面信息推定，结论标注为推定口径 | | 历史版本原件 | 已被替代标准的旧版电子件 | 【待填：甲方提供】 | 历史版本问答题量下调并在报告中说明 | | 典型合规案例 | 设计选型合规性校验的既有案例 | 【待填：甲方提供，或行业公开资料】 | 案例类题目以构造用例替代，并标注为构造题 | | 公式算例 | 标准中附带的计算示例 | 标准原文 | 可计算还原率一项改以人工代入核算，样本量下调 | | 行为数据埋点 | 检索与查看行为日志接口 | 场景建设方 | 可视化能力一项列为未验证项，不以推断代替 | 本场景的回退顺序是：先保知识库与解析精度两项（这两项不依赖助手建设进度），再保问答能力，最后才是可视化。这个顺序对应招标文件四项要求的技术依赖关系——解析不准，后面三项都不成立。 #### 4.8 典型样题与判分示例 表 23　技术标准场景的样题与判分示例 | 题型 | 样题 | 答案要点 | 判分方式 | 考察点 | |---|---|---|---|---| | 参数查询·基础 | 某规格刮板链的最小破断载荷限值是多少，出自哪一标准哪一条 | 限值数值与单位；适用规格与材料前提；标准号与条款号 | 精确匹配＋适用条件完整率 | 限值与适用条件是否绑定 | | 参数查询·进阶 | 同一参数在行业标准与企业标准中取值不同，设计时取哪个 | 两处取值与来源；企业标准不低于行业标准的适用原则；提示须由标准化部门确认 | 要点覆盖率＋多源证据完整率 | 跨标准层级的取值关系 | | 条文解读·进阶 | 某条文对某项检验的要求在何种工况下可以免做 | 条文列明的免做条件逐项 | 要点覆盖率＋超出原意偏差单列 | 是否自行放宽条件 | | 多轮对话·进阶 | 四轮：问链条选用依据 → 问出自哪一版 → 问倾角变化后限值是否改变 → 要求给出条款全文 | 各轮答案要点；全程规格与材料条件保持 | 末轮要点覆盖率＋指代消解＋条件继承 | 多轮上下文是否稳定 | | 版本辨析·难例 | 某参数在旧版标准中的取值，以及该旧版是否仍可用于在役设备维护判定 | 旧版取值；旧版标准号与版本年份；现行有效状态；现行版本的对应取值 | 版本标注完整率＋新旧差异说明正确率 | 版本更迭记录是否可用 | | 表格提取·难例 | 某多级表头对照表中，某材料在某厚度下的某项性能指标值 | 指标数值与单位；行列表头对应关系 | 单元格级精度（第三、四层联合） | 表头层级还原与语义绑定 | | 公式应用·难例 | 某校核公式的表达式，以及按给定参数代入后的计算结果 | 公式表达式；符号含义；代入结果与标准算例一致 | 符号正确率＋可计算还原率 | 公式是否被结构化而非图片留存 | | 无证据题·难例 | 【待填：拟一项标准体系中未规定的参数】 | 明确说明标准未规定；建议的处置途径 | 正确拒答率 | 是否编造限值 | 参数查询类题目的判分采用精确匹配而非语义相似，这一点与制度场景不同。原因在 4.1 已说明：技术标准问答的核心风险是数值错误，而数值错误没有「接近正确」一说。相应地，答案中数值正确但单位缺失或适用条件缺失的，判为该题不通过——一个没有单位的限值在工程上无法使用。 #### 4.9 本场景数据层验证要点 技术标准语料进入预训练子集时有一个取舍要说明：标准正文中的数表若以纯文本形式平铺进语料，模型容易记住错位后的数值，造成「记得有这个数但对不上行列」的情形，这类错误比不知道更危险。因此本场景的语料处理口径是：数表以结构化形式单独入知识库供检索，预训练语料中保留表的说明性文字与表题而不平铺数值。 知识探针题也相应分两类——概念类探针用于测预训练效果，数值类题目一律走检索路径，在任务层测量。这个取舍在验证中以一项对照实验核验：对同一批数值类问题，分别在不提供检索证据与提供检索证据两种条件下测答对率，证据条件下的提升幅度即为检索路径的必要性证据。 长上下文理解的验证在本场景权重最高。设计手册动辄数百页，目标条款埋在中段时的定位难度明显高于首尾。题目构造时按目标条款在长文中的相对位置分三档（前段、中段、后段）均衡取题，分档统计定位正确率；中段显著低于前后段的，按归因结论回流文档切分与拼接环节调整滑窗与重叠策略。 ### 5、标书智能问答场景验证 本小节回应招标文件 3.2.6.5.2.3 标书智能问答的场景介绍与验证要求（b1741—b1755）。 #### 5.1 现场问题与验证要解决的疑问 招标文件对本场景的现状判断是：招投标文件内容篇幅长、响应要求细、技术参数密、截止时间紧、废标条款隐蔽，人工阅读与响应存在关键信息遗漏、条款解读偏差、投标风险识别不准、团队协作效率低下、历史投标经验复用难等问题（b1743）。 这五个问题中，风险最高的是废标条款隐蔽。废标条款散落在招标公告、投标人须知前附表、评标办法与格式要求四处，彼此交叉引用，一处漏应答的后果是整个投标作废，与其他条款的漏项不在同一量级。效率最低的是历史经验复用：矿山装备的投标文件篇幅动辄数百页，其中资质、业绩、售后承诺等部分在不同项目间高度重复，但历史投标文件以整份文档的形态归档，想复用某一段只能靠人回忆在哪个项目里写过。 本场景的验证因此分两个重点。一是把招标文件拆解得够细——拆到「一条要求对应一个可应答单元」的粒度，这是漏项检查与风险标注的前提；二是把历史投标资料组织得够细——拆到段落与材料件的粒度，这是复用的前提。两个粒度均由数据加工形成，本节验证其是否达到可用标准。 #### 5.2 场景形态与我方验证定位 招标文件描述本场景为：基于招标文件、历史投标文件、评分标准、企业资质库构建高质量标书数据集，通过大语言模型、多模态文档解析、智能检索与匹配等技术，打造标书智能问答助手，统一纳管各类招投标知识，辅助投标文件编制和审查，缩短标书编制周期，提高标书应答全面性（b1744）。 对应到本包，投标相关资料须按投标文件模板库、设备材料、资质（安标证书、防爆证书、检验检测报告、产品合格证）与业绩（业绩合同、发票、验收单、中标通知书、技术协议）分类归集（依据 3.2.6.3.4，b1440—b1442）；招投标文件与合同文本须标注条款类型、风险点与合规判定结论（依据 3.2.6.3.5，b1463）；并基于招投标文件合成标书问答样本（依据 3.2.6.3.6，b1508—b1509）。我方验证的是这些加工产出在四项场景任务上是否够用。 本场景有一条边界要先讲清。招标文件的第（3）项要求验证投标生成能力（b1752—b1753）。生成由场景侧的助手完成，我方不开发生成功能；我方验证的是生成所依赖的数据供给是否成立——模板库是否覆盖了所需章节、资质与业绩材料是否被组织成可按要求检索调用的结构化条目、历史表述是否带有可判断适用性的项目特征标签。验证关注生成结果的事实正确性与可溯源性，不以文采为判据。 #### 5.3 招投标文件知识库建设能力验证 招标文件要求验证招投标文件知识库建设能力，投标文本知识包含历史投标文本、投标文件模板库、项目实施方案、售后服务承诺，商务知识包含设备材料知识、企业资信证明、项目业绩合同、验收单（b1746—b1748）。 投标文本知识的验证以可复用粒度为核心。做法是从历史投标文件中抽样不少于 30 份、覆盖不少于 5 个项目类型，人工标注其章节结构与可复用段落边界，与知识库中的条目比对，统计章节识别正确率、可复用段落切分完整率与项目特征标签完整率。 项目特征标签这一项是复用能否成立的关键：同一段售后承诺在不同项目中是否适用，取决于项目规模、交付周期、质保期与服务半径，这些特征须作为标签挂在段落上，否则检索出来的历史表述无法判断能不能用。模板库一项核对的是模板覆盖的章节是否齐全、模板中的占位字段是否标识清楚。 商务知识的验证以材料件为单位。资质类与业绩类材料的共同特点是有有效期、有发证机关、有适用范围，这三样信息决定了材料能不能用在某个投标上。验证逐件核对六个字段：材料类型、名称、编号、发证或签订机关、有效期起止、关联项目或设备。其中有效期一项单列指标并设较高取值——过期材料被检索出来并用于应答，后果与漏项相当。 表 24　招投标文件知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 历史投标文本 | 章节识别正确率 | 抽样 30 份、5 类项目 | ≥0.95 | ≥0.90 | | 历史投标文本 | 可复用段落切分完整率 | 与人工标注边界比对 | ≥0.90 | ≥0.82 | | 历史投标文本 | 项目特征标签完整率 | 四类特征逐段核对 | ≥0.90 | ≥0.80 | | 模板库 | 章节覆盖完整率 | 与甲方现行投标文件结构比对 | ≥0.95 | ≥0.88 | | 模板库 | 占位字段标识正确率 | 逐模板核对 | ≥0.95 | ≥0.90 | | 实施方案与售后承诺 | 条目切分完整率 | 与人工标注比对 | ≥0.90 | ≥0.82 | | 设备材料知识 | 参数条目抽取正确率 | 抽样 500 条参数 | ≥0.95 | ≥0.88 | | 资质材料 | 六字段抽取正确率 | 逐件核对 | ≥0.95 | ≥0.90 | | 资质材料 | 有效期字段正确率 | 逐件核对 | ≥0.98 | ≥0.95 | | 业绩材料 | 合同—发票—验收单—中标通知书关联正确率 | 按项目逐组核对 | ≥0.95 | ≥0.88 | #### 5.4 标书智能解析能力验证 招标文件要求验证标书智能解析能力，支持对招标文件项目基本信息、资格性要求、评分标准、废标条款、技术参数与设备要求、业绩证明材料要求的自动提取与风险标注（b1749—b1751）。六类对象分别验证，风险标注另设一组指标。 验证基准由人工拆解的招标文件构成。做法是取不少于 15 份真实招标文件（覆盖货物类、服务类与工程类），由招投标业务人员逐份拆解为可应答单元，每个单元登记类型、原文定位、是否属废标条款、是否需要附件证明。这份人工拆解结果就是基准。自动提取结果与基准比对，六类对象各统计准确率与召回率。 六类中，评分标准与废标条款的要求更严。评分标准须拆到评分子项并带分值与评分依据，仅识别出「评分办法」整段不算提取成功。废标条款的召回率是本场景最关键的单项指标：漏一条的后果不可逆，因此这一项的下限值设得比其他项高，且不设有条件通过——未达下限即判不通过，回流修复后重新完整验证。 我方不以「无漏报」描述这一项的结果，而是以召回率逐版抬高的方式趋向完整，并配一道兜底：对未被自动识别为废标条款但含否决性表述特征（「否决投标」「视为废标」「作无效投标处理」等）的段落，一律进入人工复核清单，由人确认后闭合。兜底机制本身也是验证项，考察特征召回是否完整。 风险标注的验证按风险类型分列：资格条件不满足、技术参数不响应、商务条款不可接受、时间节点冲突、格式与份数要求不满足五类。每类构造或选取不少于 20 个用例，统计检出率与误报率。误报率必须一起看——把大量正常条款标成风险，使用者很快就会忽略全部标注，这比漏标更难察觉。 表 25　标书智能解析能力的验证项与取值 | 验证项 | 指标 | 基准 | 目标值 | 下限值 | |---|---|---|---|---| | 项目基本信息 | 字段抽取正确率 | 15 份招标文件 | ≥0.98 | ≥0.95 | | 资格性要求 | 准确率／召回率 | 人工拆解单元 | ≥0.95／≥0.92 | ≥0.90／≥0.88 | | 评分标准 | 评分子项拆分准确率／召回率 | 人工拆解单元 | ≥0.95／≥0.92 | ≥0.90／≥0.86 | | 评分标准 | 分值与评分依据绑定正确率 | 逐子项核对 | ≥0.95 | ≥0.90 | | 废标条款 | 召回率 | 人工拆解单元 | ≥0.98 | ≥0.95（不设有条件通过） | | 废标条款 | 否决性表述特征召回率 | 兜底规则测试集 | ≥0.98 | ≥0.95 | | 技术参数与设备要求 | 准确率／召回率 | 人工拆解单元 | ≥0.95／≥0.90 | ≥0.88／≥0.85 | | 业绩证明材料要求 | 准确率／召回率 | 人工拆解单元 | ≥0.95／≥0.90 | ≥0.88／≥0.85 | | 风险标注 | 五类风险检出率（分列） | 每类 ≥20 用例 | ≥0.90 | ≥0.80 | | 风险标注 | 误报率 | 正常条款对照集 | ≤0.08 | ≤0.15 | #### 5.5 投标生成能力验证 招标文件要求验证投标生成能力，支持商务标的资质材料、业绩材料的内容生成，以及技术标的技术方案、实施方案、售后服务方案的内容生成（b1752—b1753）。 生成类任务的验证不能只看文字通顺。我方的判分口径按三层设计，层层都可核验。 第一层是事实正确性。生成内容中出现的每一个事实性陈述——资质名称与编号、业绩项目名称与合同金额、设备型号与参数、承诺的响应时长与质保期——都须能回溯到知识库中的具体条目，且与条目内容一致。做法是对生成结果做事实项抽取，逐项比对来源。事实错误率是本项的主要指标，且采用零容忍口径的变体：出现无法回溯来源的事实项（即无依据生成）即该题不通过，不按比例折算。这一条针对的是生成类应用最现实的风险。 第二层是要求覆盖。给定招标文件的一个评分子项或应答要求，生成内容是否覆盖了该要求的全部要点。以人工拆解的应答要点为基准统计覆盖率。覆盖不全的情形按缺失要点类型归类，用于判断是模板库缺章节还是检索未召回相关历史表述。 第三层是适用性。生成内容引用的历史表述是否适用于当前项目，依据是 5.3 中所述的项目特征标签。例如引用了一段按 24 个月质保期写的售后承诺，而当前项目要求 36 个月，即为适用性错误。这一层的验证考察的其实是标签质量。 表 26　投标生成能力的验证项与取值 | 验证项 | 指标 | 题量 | 目标值 | 下限值 | |---|---|---|---|---| | 事实正确性 | 事实项可回溯率 | 150 题 | ≥0.98 | ≥0.95 | | 事实正确性 | 无依据事实项题目占比 | 150 题 | ≤0.02 | ≤0.05 | | 事实正确性 | 事实项与来源一致率 | 抽样 800 个事实项 | ≥0.98 | ≥0.95 | | 要求覆盖 | 应答要点覆盖率 | 150 题 | ≥0.88 | ≥0.80 | | 适用性 | 引用历史表述适用率 | 抽样 300 处引用 | ≥0.92 | ≥0.85 | | 商务材料生成 | 资质与业绩清单完整率 | 40 题 | ≥0.95 | ≥0.90 | | 技术方案生成 | 技术参数响应正确率 | 50 题 | ≥0.92 | ≥0.85 | | 售后方案生成 | 服务承诺与招标要求匹配率 | 30 题 | ≥0.92 | ≥0.85 | 生成类验证的结论表述有一条纪律：报告中不以「可自动生成完整投标文件」一类表述收尾，而是逐章节给出覆盖率与事实正确率，明列哪些章节的数据供给已足以支撑生成、哪些章节仍须人工撰写。这是对甲方负责的写法，也符合本场景只做验证的定位。 #### 5.6 投标文件智能评审能力验证 招标文件要求验证投标文件智能评审能力，支持废标项检查、资格性审查、评分项审查、遗漏检查、格式规范性检查，并生成评审报告（b1754—b1755）。五项检查对应五组用例，评审报告另设一组指标。 用例构造方式是注入式：取一份已通过人工审核的完整投标文件作为干净底本，按五类检查分别注入已知缺陷，每类不少于 25 处，缺陷类型与位置登记为基准。注入的缺陷要贴近真实失误而非刻意为难——废标项缺陷注入「某项承诺未签字」「某份材料未按要求提供原件扫描」一类；资格性缺陷注入「资质等级低于要求」「业绩数量不足」；评分项缺陷注入「某评分子项未设对应章节」「分值高的子项应答过简」；遗漏缺陷注入「某应答要求无对应段落」；格式缺陷注入「页码不连续」「索引页码与正文不一致」「份数与装订要求不符」。 评审效果以逐类检出率与误报率呈现。其中遗漏检查的检出率依赖 5.4 中招标文件拆解的完整性，两项指标须联动解读：拆解漏了一条要求，遗漏检查就不可能查出该条的缺失。报告中把这两项放在一起呈现，避免把拆解缺口误判为评审能力不足。 评审报告的验证看四项：缺陷清单与注入基准的对应关系、每条缺陷的原文定位是否准确、风险等级划分是否与甲方确认的分级口径一致、以及修改建议是否指向具体位置而非泛泛而谈。修改建议一项由招投标业务人员按可执行性三档评定（可直接执行、需补充判断、无法执行），统计可直接执行占比。 图 6 给出标书场景解析、生成、评审三段验证的衔接关系，三段共用同一份人工拆解基准。 ### 图 6　标书场景三段验证的衔接 人工拆解基准（15 份招标文件） 可应答单元·类型·原文定位·废标标识·证明要求 一　解析验证 六类对象准确率与召回率 五类风险检出率与误报率 二　生成验证 事实可回溯率·要点覆盖率 历史表述适用率 三　评审验证 五类注入缺陷检出率 评审报告四项 要点 底本 联动解读：解析段的废标条款召回率是评审段废标项检出率的上界； 解析段的可应答单元召回率是评审段遗漏检查检出率的上界。两组指标在报告中并列呈现。 图 6　标书场景三段验证的衔接。数据来源：招标文件 3.2.6.5.2.3.2 第（2）至（4）项（b1749、b1752、b1754）。 表 27　投标文件智能评审能力的验证项与取值 | 验证项 | 指标 | 用例量 | 目标值 | 下限值 | |---|---|---|---|---| | 废标项检查 | 注入缺陷检出率 | 25 处 | ≥0.96 | ≥0.92 | | 资格性审查 | 检出率／误报率 | 25 处 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | | 评分项审查 | 检出率／误报率 | 25 处 | ≥0.90／≤0.10 | ≥0.82／≤0.18 | | 遗漏检查 | 检出率 | 25 处 | ≥0.90 | ≥0.82 | | 格式规范性检查 | 检出率 | 25 处 | ≥0.95 | ≥0.88 | | 评审报告 | 缺陷原文定位准确率 | 全部检出项 | ≥0.95 | ≥0.90 | | 评审报告 | 风险等级与分级口径一致率 | 全部检出项 | ≥0.92 | ≥0.85 | | 评审报告 | 修改建议可直接执行占比 | 业务人员评定 | ≥0.70 | ≥0.55 | #### 5.7 所需数据、接入条件与回退 表 28　标书场景的验证数据与接入条件 | 项目 | 内容 | 来源 | 缺失时的回退 | |---|---|---|---| | 历史投标文件 | 不少于 30 份、覆盖 5 类项目 | 【待填：甲方投标管理部门提供】 | 按实际获取份数验证，项目类型覆盖缺口在报告中列明 | | 真实招标文件 | 不少于 15 份，含三类采购类型 | 【待填：甲方提供，或公开渠道获取的同类文件】 | 以公开渠道同类文件补足，并标注来源性质 | | 投标文件模板库 | 甲方现行模板 | 【待填：甲方提供】 | 以历史投标文件反推章节结构，结论标注为反推口径 | | 资质与业绩材料 | 证书、合同、发票、验收单、中标通知书 | 【待填：甲方提供扫描件与台账】 | 商务知识类指标以可获取部分统计，缺项列明 | | 评审意见记录 | 历史投标的内部评审意见 | 【待填：甲方提供】 | 评审类用例全部改为注入式构造，不影响指标成立 | | 分级口径 | 风险等级划分标准 | 【待填：甲方确认】 | 以我方建议口径验证并提请甲方确认，报告中注明 | 本场景数据的敏感度在五个通用场景中最高：历史投标文件含报价策略与商务条款，资质业绩材料含企业经营信息。验证全程在甲方内网执行，题面与证据涉及金额、客户名称、报价明细的字段一律先去标识化再提交，模型调用不出域。验证结束后，基准分册中的敏感字段以不可逆方式处理后归档。 #### 5.8 典型样题与判分示例 表 29　标书场景的样题与判分示例 | 题型 | 样题 | 答案要点 | 判分方式 | 考察点 | |---|---|---|---|---| | 要点抽取·基础 | 本份招标文件的投标截止时间、保证金金额与缴纳方式分别是什么 | 三项字段值与原文定位 | 字段抽取正确率 | 项目基本信息抽取 | | 要点抽取·进阶 | 列出本份招标文件的全部资格性要求及其所需证明材料 | 资格条件逐项；对应证明材料；原文定位 | 准确率与召回率 | 可应答单元拆解粒度 | | 风险标注·难例 | 本份招标文件中有哪些条款一旦不满足将导致废标 | 废标条款逐条；原文定位；否决性表述依据 | 废标条款召回率（不设有条件通过） | 否决性条款的隐蔽表述识别 | | 风险标注·进阶 | 本份招标文件的技术参数中，哪些是我方现有产品不能满足的 | 不满足项逐条；偏离方向与幅度；提示须由技术岗位确认 | 五类风险检出率＋误报率 | 参数比对与风险分类 | | 内容生成·进阶 | 按本份招标文件的售后服务评分要求生成售后服务方案要点 | 覆盖评分子项的全部要点；引用的历史表述适用于本项目的质保期与服务半径 | 要点覆盖率＋事实可回溯率＋适用率 | 模板覆盖与特征标签质量 | | 内容生成·难例 | 按资格要求列出应提供的资质与业绩材料清单及其有效期状态 | 材料逐项；编号与有效期；过期或缺失项单独提示 | 清单完整率＋有效期字段正确率 | 商务知识的结构化质量 | | 文件评审·进阶 | 对给定投标文件做遗漏检查，列出未应答的招标要求 | 未应答要求逐项；原文定位 | 注入缺陷检出率 | 与解析段召回率联动 | | 文件评审·难例 | 对给定投标文件做格式规范性检查并生成评审报告 | 缺陷清单；原文定位；风险等级；可执行的修改建议 | 检出率＋定位准确率＋建议可执行占比 | 评审报告质量 | | 无依据题·难例 | 询问一项本企业并不具备的资质在历史投标中如何应答 | 明确说明知识库中无该资质记录；不得生成资质内容 | 无依据事实项占比（零容忍口径） | 生成类任务的编造风险 | 最后一类题目是本场景最重要的一道防线。生成类应用在资质与业绩这类事实上编造，后果远超文字质量问题。因此该题型的判分不按比例折算：只要出现无法回溯到知识库条目的资质或业绩事实，该题即判不通过，且该情形在报告中单独列出并统计发生频次。 #### 5.9 本场景数据层验证要点 本场景的指令微调样本有一个覆盖缺口值得提前核对：历史投标文件的主体是陈述性文本，由其合成的指令样本容易偏向「写一段关于某主题的内容」这一类，而实际使用中占比更高的是「按这条评分要求写」与「检查这一份是否遗漏」两类带约束的任务。前者的样本好造，后者需要把招标要求与应答段落配成对才能造。验证时按三类分别核对覆盖，缺口按归因结论回流指令数据生成环节。 偏好维度上，本场景需要一组特殊的偏好对：带出处的保守表述优于无出处的漂亮表述。投标文本的写作惯性是把话说满，而本场景的助手若学会把话说满而不给依据，生成内容的事实风险会显著上升。偏好数据须覆盖这一维度，验证时以无依据题的正确拒答表现观察其效果。 基准分册的构建在本场景有一道额外约束：招标文件与历史投标文件可能含对方商业信息，入册前须完成去标识化处理，客户名称、报价明细与联系方式等字段以占位符替代。去标识化后题面的可答性须人工复核，替换导致题意不完整的题目退回重出。 ### 6、决策数据智能问答场景验证 本小节回应招标文件 3.2.6.5.2.4 决策数据智能问答的场景介绍与验证要求（b1756—b1771）。 #### 6.1 现场问题与验证要解决的疑问 招标文件对本场景的现状判断是：决策数据规模大、维度多元、实时性要求高、关联逻辑复杂、指标含义深，人工分析与用数存在统计口径不一、跨系统取数难、报表理解滞后、异常波动归因慢、决策依赖个人经验等问题（b1758）。 这些问题与前三个场景有一个本质差别：前三个场景的对象是文档，正确答案写在原文里，验证可以逐字比对；本场景的对象是指标，正确答案要算出来，而算得对不对取决于口径定义得对不对。同一个「产值」在生产口径下按完工产值计、在财务口径下按确认收入计，两个数都对，但答的不是同一个问题。本场景验证首先核对：口径是否正确登记并被正确调用；问答准确率在其后测定。 甲方现有系统为本场景提供了数据基础：企业资源计划系统承载物料、需求计划、采购订单与库存账，制造执行系统承载工单与报工，质量管理系统承载检验记录，仓储管理系统承载实物库存，经营指标报送系统承载营业收入、利润、成本与资产负债等指标（b0892），主数据管理平台承载组织机构、人员与物料编码（b1393—b1394）。跨系统取数难的症结不在接口，而在同一业务对象在各系统中的主键不一致、时间基准不统一。这两件事属数据治理与数据加工范围，本节验证其结果。 #### 6.2 场景形态、我方验证定位与排期前提 招标文件描述本场景为：基于人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量共 9 个业务域以及 1 套决策指标体系（数据治理规划完成后形成），通过大模型自然语言交互、智能数据分析、数据融合治理等技术，建设决策数据问答助手，打通战略、运营、分析协同链路（b1759）。 招标文件已写明决策指标体系在数据治理规划完成后形成（b1759），且指标知识库须依据甲方提供的指标口径与计算逻辑构建（依据 3.2.6.3.4，b1447）。这两条共同构成本场景的排期前提：本场景的验证须排在数据治理规划产出指标体系之后，且以甲方确认的指标口径为唯一基准。我方不自行定义指标口径，也不以行业通用口径替代甲方口径。排期上，本场景在五个通用场景中列最后一个启动，具体见第八部分。 我方验证的对象是三样东西：指标知识库、业务概念知识库与规则知识库的登记质量；分析报告知识库的归集质量；以及基于这些知识的查数、归因与多轮问答任务表现。助手的图表渲染、看板布局与推送机制由场景建设方负责。 #### 6.3 决策数据知识库建设能力验证 招标文件要求验证决策数据知识库建设能力，知识范围包含三类：公司生产、营销、采购、财务等决策分析相关专属业务术语在内的业务概念知识；指标统计口径、统计范围、统计维度、计算逻辑、业务规则、统计规则在内的指标知识与规则知识；公司月度／季度／年度经营分析报告、专题分析报告、离线台账在内的分析报告知识（b1761—b1765）。三类分别验证。 指标知识的验证逐项核对八个字段：指标名称、描述、业务限定、维度、统计周期（日／月／季／年）、统计范围、计量单位与计算逻辑（依据 3.2.6.3.4，b1449—b1450）。其中计算逻辑一项不以「有文字描述」为合格，而要求可执行核验：按登记的计算逻辑在源数据上独立复算，与甲方报表中的同期值比对，差异在容差内即算计算逻辑登记正确。 这是本节最硬的一项验证，也是最能暴露口径问题的一项——两边算不出同一个数，必有一方口径没说清，这正是本场景要解决的问题。容差按指标类型分设：金额类与数量类取相对差 0.5%，比率类取绝对差 0.5 个百分点，含人工调整项的指标另行约定。 业务概念知识的验证核对术语条目的完整性与歧义处理。矿山装备制造领域的术语有两类难点：行业专有词（溜槽、刮板、链轮、自移机尾、过渡槽）与企业内部简称（施工号、样板号、压模号）。这两类须在知识库中有条目且带使用场景说明。同名异义的术语须分列条目并标明适用业务域——例如「批次」在物料管理、热处理与质量检验三处所指对象不同。歧义术语单列统计。 规则知识的验证核对各指标的业务管理逻辑、管控要求、业务边界，以及数据来源、过滤条件与加工逻辑（b1452）。验证方式是构造边界用例：对每一条含过滤条件的规则，构造落在边界上的数据（恰好等于阈值、恰好在期间端点、含空值与异常值），核验规则表述能否唯一确定结果。表述不能唯一确定结果的规则条目，列入待澄清清单提请甲方确认。 分析报告知识的验证核对归集完整性与结构化质量：报告是否按类型与期间归集齐全、报告中的指标数值是否被抽取为可检索条目并与指标知识库中的指标对齐、报告结论段是否被切分为可引用片段。 表 30　决策数据知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 指标知识 | 指标条目覆盖率 | 与甲方确认的指标体系清单比对 | ≥0.98 | ≥0.95 | | 指标知识 | 八字段登记完整率 | 逐项核对 | ≥0.95 | ≥0.90 | | 指标知识 | 计算逻辑复算一致率 | 独立复算与甲方报表同期值比对 | ≥0.95 | ≥0.88 | | 指标知识 | 九业务域覆盖 | 逐域核对是否均有指标条目与规则条目 | 九域均有 | 缺口不超过 1 域且已列明 | | 业务概念 | 术语条目覆盖率 | 以甲方术语清单与报告用词统计为基准 | ≥0.95 | ≥0.88 | | 业务概念 | 同名异义术语分列正确率 | 逐条人工判定 | ≥0.92 | ≥0.85 | | 规则知识 | 规则条目完整率 | 按指标逐条核对六要素 | ≥0.92 | ≥0.85 | | 规则知识 | 边界用例唯一确定率 | 每条规则 ≥3 个边界用例 | ≥0.90 | ≥0.80 | | 分析报告 | 报告归集完整率 | 与甲方报告台账比对 | ≥0.98 | ≥0.95 | | 分析报告 | 报告内指标数值抽取正确率 | 抽样 600 个数值 | ≥0.95 | ≥0.90 | | 分析报告 | 结论片段与指标对齐率 | 人工判定 | ≥0.88 | ≥0.80 | #### 6.4 自然语言查数能力验证 招标文件要求验证自然语言查数能力，支持通过日常语言直接调用经营指标、生成可视化图表与多维指标分析（b1766—b1767）。 查数类题目 240 道，按四种提问方式均衡构造：直接点名指标型（「上季度营业收入多少」）、业务情形型（「哪个分厂上月返工最多」，须由助手判断对应指标）、口径指定型（「按完工产值口径看去年的产值」）、以及比较型（「今年前三季度毛利率和去年同期比」）。判分分两步：先判是否选对了指标与口径，再判数值是否正确。两步分列统计——选错指标即使返回了一个正确的数，也是答错了问题，这两类错误的归因入口完全不同。 数值正确性的基准由我方按甲方确认的计算逻辑独立复算得到，而不以助手返回值互相印证。复算过程留痕，作为争议时的依据。容差口径沿用 6.3。 多维指标分析题 120 道，考察按维度下钻、按维度切片与跨维度交叉的正确性。重点验证两件事：维度值的完整性（按分厂下钻时是否遗漏了新增分厂或已撤销分厂的历史数据）与汇总一致性（各维度切片之和是否等于总量，差额是否由明确可解释的未分类项构成）。汇总不一致的情形须给出差额来源，不能只报不平。 可视化输出的验证看图表类型选择是否与问题匹配（趋势类问题用时间序列、构成类问题用占比图、比较类问题用分类对比）、坐标轴与单位标注是否正确、以及图表数值与文字结论是否一致。图表数值与文字结论不一致是实际使用中最容易误导决策的缺陷，单列指标。 图 7 给出查数链路上的五个观测点与各自的归因入口。 ### 图 7　自然语言查数链路的验证观测点与归因入口 日常语言提问 四种提问方式 指标与口径识别 选指标·选口径 维度与期间解析 切片·下钻·同期 取数与计算 按登记逻辑执行 图表与结论 图型·单位·文字 指标选对率 口径选对率 维度完整率 期间解析正确率 数值一致率 汇总平衡率 图型匹配率 图文一致率 归因入口：指标或口径选错 → 指标知识库的名称、描述与业务限定字段，以及业务概念知识库的同义词条目； 维度或期间错 → 规则知识库的统计范围与过滤条件、主数据的维度值与有效期； 数值不一致 → 计算逻辑登记与源系统取数口径，先复算定位再修正； 图文不一致 → 场景侧渲染逻辑，转交场景建设方，我方在报告中列明不计入数据侧结论。 图 7　自然语言查数链路的验证观测点与归因入口。数据来源：招标文件 3.2.6.5.2.4.2 第（2）项（b1766、b1767），3.2.6.3.4 第（4）项对指标、概念与规则知识库的要求（b1447—b1454）。 表 31　自然语言查数与多维分析的验证项与取值 | 验证项 | 指标 | 题量 | 目标值 | 下限值 | |---|---|---|---|---| | 指标识别 | 指标选对率 | 240 | ≥0.92 | ≥0.85 | | 口径识别 | 口径选对率 | 240 | ≥0.90 | ≥0.82 | | 期间解析 | 期间解析正确率 | 240 | ≥0.95 | ≥0.90 | | 数值正确 | 与独立复算一致率（容差内） | 240 | ≥0.95 | ≥0.88 | | 多维分析 | 维度值完整率 | 120 | ≥0.95 | ≥0.88 | | 多维分析 | 切片汇总平衡率 | 120 | ≥0.95 | ≥0.90 | | 多维分析 | 差额可解释率 | 不平衡项 | ≥0.90 | ≥0.80 | | 可视化 | 图表类型匹配率 | 抽样 100 题 | ≥0.90 | ≥0.82 | | 可视化 | 坐标轴与单位标注正确率 | 抽样 100 题 | ≥0.95 | ≥0.90 | | 可视化 | 图表数值与文字结论一致率 | 抽样 100 题 | ≥0.98 | ≥0.95 | #### 6.5 智能异动归因能力验证 招标文件要求验证智能异动归因能力，支持自动识别指标异常波动、追踪影响因素并快速定位业务异常根源（b1768—b1769）。这一项的验证难点在于「根源」没有唯一答案，需要先把判定标准立起来。 我方的做法是用历史已归因事件做基准。从甲方历史经营分析报告与专题分析报告中挑出已经有明确归因结论的波动事件，不少于 60 起，覆盖生产、采购、库存、质量、财务五个方面。每起事件登记三样：波动的指标与期间、报告中给出的根源结论、以及支撑该结论的中间链条（例如「毛利率下降 → 原材料采购价上涨 → 某品类钢材市场价波动」）。另构造 80 起用例，在历史数据上注入可控波动（调整某维度的数值使指标偏离），注入路径已知，作为可精确判定的基准。 归因能力按三层评分。第一层是异动识别：该期间该指标是否被识别为异常。这一层单独统计检出率与误报率，误报率尤其要看——把正常的季节性波动报成异常，使用者会迅速失去信任。第二层是影响因素定位：给出的因素列表是否包含真实因素，以及排序是否合理（真实因素是否排在前三）。第三层是根源链条：给出的链条与基准链条的重合程度，按链条节点逐级比对。 本项的结论以分层指标呈现，不以「可自动定位异常根源」一类表述收尾。实际可达的水平是：对注入式用例（单一因素、路径清晰）定位准确率较高；对历史真实事件（多因素叠加、含外部市场因素）定位到因素层较为可靠、定位到根源层需人工确认。报告中按用例类型分列呈现这两种水平，并明确助手输出的归因结论定位为分析线索而非结论性判定。 表 32　智能异动归因的验证项与取值 | 验证项 | 指标 | 基准 | 目标值 | 下限值 | |---|---|---|---|---| | 异动识别 | 检出率 | 140 起（历史 60＋注入 80） | ≥0.90 | ≥0.82 | | 异动识别 | 误报率 | 正常期间对照集 180 个期间 | ≤0.10 | ≤0.18 | | 因素定位 | 真实因素命中率 | 注入用例 80 起 | ≥0.90 | ≥0.80 | | 因素定位 | 真实因素命中率 | 历史事件 60 起 | ≥0.75 | ≥0.62 | | 因素定位 | 真实因素进入前三占比 | 全部 140 起 | ≥0.80 | ≥0.68 | | 根源链条 | 链条节点重合率 | 注入用例 80 起 | ≥0.80 | ≥0.68 | | 根源链条 | 链条节点重合率 | 历史事件 60 起 | ≥0.60 | ≥0.48 | | 结论可用性 | 业务人员评定为「可作为排查起点」占比 | 全部 140 起 | ≥0.75 | ≥0.60 | #### 6.6 多轮上下文问答能力验证 招标文件要求验证多轮上下文问答能力，支持连续多轮对话，在上下文中保持用户查询意图的连贯性，后续追问自动继承上下文条件（b1770—b1771）。 题目 100 道，每道 4 至 6 轮，按真实用数路径构造。典型路径是：先问某项指标的总体情况，再按分厂下钻，再锁定某个分厂追问趋势，再追问同期对比，最后要求给出该分厂该指标的口径说明。这条路径里需要继承的条件逐轮累积：指标、口径、期间、维度值。 判分看四项。条件继承正确率：后续轮次中前轮给定的指标、口径、期间与维度值是否被保留，少继承一项即该轮不计分。条件覆盖正确率：当用户在后续轮次显式更改某个条件时（「换成上个月看」），该条件被更新而其余条件保持不变。指代消解正确率：「它」「这个」「那个分厂」是否指向正确对象。意图漂移检出率：当用户的追问实际切换了话题时，助手是否放弃了不再适用的上下文条件而不是机械继承。最后一项最容易被忽略，但在实际使用中造成的错误最隐蔽——机械继承一个已不适用的口径，返回的数看不出错在哪里。 另设 20 道长程题，轮数 8 至 10 轮，考察上下文长度增加后条件继承是否衰减。长程题的指标单列，与常规多轮题分开呈现。 表 33　多轮上下文问答的验证项与取值 | 验证项 | 指标 | 题量 | 目标值 | 下限值 | |---|---|---|---|---| | 条件继承 | 条件继承正确率 | 100 | ≥0.92 | ≥0.85 | | 条件更新 | 条件覆盖正确率 | 100 | ≥0.92 | ≥0.85 | | 指代消解 | 指代消解正确率 | 100 | ≥0.90 | ≥0.82 | | 意图漂移 | 漂移检出率 | 专设 30 轮 | ≥0.80 | ≥0.68 | | 长程稳定 | 第 8 轮及以后条件继承正确率 | 20 | ≥0.85 | ≥0.75 | | 末轮质量 | 末轮要点覆盖率 | 100 | ≥0.85 | ≥0.78 | #### 6.7 所需数据、接入条件与回退 表 34　决策数据场景的验证数据与接入条件 | 项目 | 内容 | 来源 | 缺失时的回退 | |---|---|---|---| | 决策指标体系 | 指标清单与口径定义 | 数据治理规划产出（b1759），甲方确认 | 本场景验证不启动；先以 6.3 的字段完整性在已确认指标子集上做部分验证并标注范围 | | 指标计算逻辑 | 各指标的计算公式、统计范围、过滤条件 | 【待填：甲方业务与财务部门确认】 | 未确认的指标不进入基准分册，缺口列明 | | 源系统取数 | 企业资源计划、制造执行、质量管理、仓储、经营指标报送、主数据各系统的只读接口 | 按集成要求对接 | 按已开通系统验证，未开通系统涉及的指标列为未验证 | | 历史报表 | 月度／季度／年度经营分析报告、专题报告、离线台账 | 【待填：甲方提供】 | 复算比对基准缺失，数值一致率一项改以源数据双路复算互校 | | 已归因事件 | 历史波动事件及其归因结论与链条 | 【待填：甲方提供】 | 归因验证全部改为注入式用例，历史事件类指标在报告中列为未测 | | 术语清单 | 企业专有术语与简称 | 【待填：甲方提供】 | 以报告与系统字段用词统计反推，标注为反推口径 | | 业务人员评定 | 归因结论可用性评定 | 【待填：甲方安排 3 名业务人员】 | 该项指标留空，不以我方自评替代 | 本场景的回退有一条底线：指标口径未经甲方确认的，相关题目不进入基准分册，也不以我方推定口径出具正式结论。口径未定而强行验证，得到的任何数字都没有意义，还会在后续引起争议。我方宁可在报告中列明未验证范围。 #### 6.8 典型样题与判分示例 表 35　决策数据场景的样题与判分示例 | 题型 | 样题 | 答案要点 | 判分方式 | 考察点 | |---|---|---|---|---| | 直接查数·基础 | 上季度营业收入是多少 | 指标值；口径说明；期间与统计范围 | 指标选对率＋数值一致率（容差内） | 指标识别与取数 | | 业务情形查数·进阶 | 哪个分厂上月返工量最高 | 对应指标名称；分厂与数值；排序 | 指标选对率＋维度完整率 | 业务语言到指标的映射 | | 口径指定·进阶 | 按完工产值口径看去年的产值 | 该口径下的数值；与另一口径的差异说明 | 口径选对率＋数值一致率 | 同名异口径的区分 | | 比较分析·进阶 | 今年前三季度毛利率与去年同期相比如何 | 两期数值；变化幅度；比率类容差内 | 期间解析正确率＋数值一致率 | 同期口径与比率计算 | | 多维下钻·难例 | 按分厂、按月看近一年的工序合格率，并指出异常月份 | 各维度切片数值；汇总平衡；异常月份识别 | 维度完整率＋汇总平衡率 | 维度值有效期与汇总一致 | | 异动归因·难例 | 某月毛利率下降的原因是什么 | 异动识别；影响因素列表及排序；根源链条 | 因素命中率＋链条节点重合率 | 归因分层能力 | | 多轮上下文·进阶 | 五轮：问总体 → 按分厂下钻 → 锁定某分厂问趋势 → 问同期对比 → 问该指标口径 | 各轮答案；指标、口径、期间、维度值逐轮继承 | 条件继承正确率＋指代消解正确率 | 上下文稳定性 | | 意图漂移·难例 | 在上述路径第四轮后转问一个不同业务域的指标 | 放弃不再适用的上下文条件；按新指标的口径作答 | 漂移检出率 | 是否机械继承旧条件 | | 口径未定题·难例 | 【待填：拟一项口径尚未确认的指标】 | 明确说明该指标口径尚未确认；给出可确认的责任部门 | 正确拒答率 | 是否以推定口径作答 | 最后一类题目针对本场景的特有风险。指标口径未确认时，助手按某种默认逻辑算出一个数并返回，使用者无从判断这个数的口径，这比返回「口径未定」更危险。因此口径未确认的指标在本场景的正确行为是声明而非作答，这一点写入验证协议并作为通过判据之一。 #### 6.9 本场景数据层验证要点 本场景的数据层验证与前四个场景有一处结构性差别：答案不在语料里，而要由计算得出。本场景预训练子集用于支撑术语、简称与报告表述等语言理解，不直接提供数值答案。知识探针题相应只考概念与术语，不考数值。数值能力全部在知识层与任务层验证。 指令微调样本的关键类型是「业务语言到指标的映射」。这类样本的造法依赖业务概念知识库中的同义词与简称条目：同一个「返工量」在不同分厂可能叫「返修数」「回炉件数」，若同义词条目不全，样本覆盖面也不全。验证时把指标识别的失败样本按同义词缺失归类，缺失条目回流业务概念知识库补录，这是本场景最高频的一条整改路径。 偏好维度上，本场景需要「给出口径说明的回答优于只给数值的回答」这一组偏好。只给数值的回答在形式上更简洁，但使用者无法判断口径，决策风险高。偏好数据覆盖这一维度后，在任务层以口径说明完整率观察效果。 分析报告知识库在本场景还有一个容易被忽略的用途：报告中的结论段是人工归因的范例，可作为异动归因任务的偏好样本来源。归因结论的好坏标准很难用规则表达，但历史报告里有人写过的归因链条就是现成的参照。验证时以这些链条作为 6.5 中历史事件基准的来源，这也是为什么历史报告的归集完整率在本场景设了较高取值。 ### 7、合同合规智能审查场景验证 本小节回应招标文件 3.2.6.5.2.5 合同合规智能审查的场景介绍与验证要求（b1772—b1784）。 #### 7.1 现场问题与验证要解决的疑问 招标文件对本场景的现状判断是：合同标的大、条款复杂、履约周期长、技术约束多、合规要求高，人工审核存在效率低、标准不一、风险识别不全、法务审计协同不畅等问题（b1774）。 矿山装备制造企业的合同有两点特殊之处，决定了本场景不能按通用合同审查来验证。第一点是技术约束进合同：装备销售合同往往把工作面参数、输送能力、配套设备接口、验收标准写进技术协议并作为合同组成部分，技术条款的偏离与商务条款的偏离同等重要，而技术条款的风险判定需要装备专业知识。第二点是履约周期长：从合同签订到设备交付、安装、调试、验收、质保期满往往跨越两年以上，付款节点与质保责任的条款表述若有歧义，风险要到很久以后才显现。 招标文件已明确甲方协同办公系统将提供 9 类合同文档（PDF/Word）（b0886）。本场景的验证起点因此也是确定的，待验证的是这批合同经结构化与标注之后，能否支撑要素抽取、风险识别与审查提效。 #### 7.2 场景形态与我方验证定位 招标文件描述本场景为：基于合同文本、历史审查意见、法规政策、风险规则、案例库构建高质量合同数据集，通过大模型实现合同智能解析、条款分类、风险识别、合规检查、修改建议、审查会签、报告生成、知识沉淀，打通法务、业务、审计协同流程（b1775）。 其中审查会签与协同流程属业务流程建设，由场景建设方与甲方法务部门安排，我方不介入流程设计。我方验证的是数据侧的四件事：合同文本的解析与条款切分质量、合规风控知识的登记质量、风险识别规则在真实合同上的表现、以及相对人工审查的效率改善。招投标文件与合同文本须标注条款类型、风险点与合规判定结论，对标合同八大核心要素标注要素完整性，并对照模板基线标注新增、删减与修改条款（依据 3.2.6.3.5，b1463—b1466）——这些标注产出就是本场景验证的直接对象。 #### 7.3 合同知识库建设能力验证 招标文件要求验证合同知识库建设能力，合同文本知识包含合同文本、附件、补充协议，合规风控知识包含法律法规、风险识别规则、法务预警指标与行业典型案例库（b1778—b1780）。 合同文本知识的验证以「一份合同的完整证据链」为单位。一份合同的审查依据不只是主合同正文，还包括技术协议、价格附件、质量标准附件以及后续补充协议；补充协议对主合同条款的修改关系是审查时最容易出错的地方。验证逐组核对三项：主合同与附件的关联正确率、补充协议与被修改条款的指向正确率、以及版本链完整率（同一合同的签署版本、变更版本按时序串联）。抽样不少于 60 组合同文档，覆盖 9 类合同类型。 条款切分的验证与制度场景同法，但增加一项：条款类型标注正确率。条款类型按甲方法务确认的分类体系标注，至少覆盖标的与规格、数量与价格、交付与验收、付款与结算、质量与质保、知识产权、违约责任、争议解决、保密与合规九类。 合规风控知识的验证分四项。法律法规一项核对条目的现行有效性与版本（引用已失效法规是实际发生过的审查失误）。风险识别规则一项核对规则的可执行性，方式与决策场景相同——构造边界用例，考察规则表述能否唯一确定判定结果。法务预警指标一项核对指标定义与阈值是否登记完整。行业典型案例库一项依赖甲方既有素材或行业可获取资料（招标文件已注明「如招标方已有或行业内可提供」，b1779—b1780），数量以实际可获取为准，在报告中据实列明，不以构造案例充数。 表 36　合同知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 合同文档关联 | 主合同与附件关联正确率 | 60 组合同文档逐组核对 | ≥0.95 | ≥0.90 | | 补充协议 | 修改指向正确率 | 含补充协议的合同组逐条核对 | ≥0.92 | ≥0.85 | | 版本链 | 版本链完整率 | 按时序核对 | ≥0.95 | ≥0.88 | | 条款切分 | 切分完整率 | 与人工标注边界比对 | ≥0.95 | ≥0.90 | | 条款分类 | 九类条款类型标注正确率 | 人工判定 | ≥0.92 | ≥0.85 | | 法律法规 | 现行有效性标识正确率 | 与法规数据源比对 | ≥0.98 | ≥0.95 | | 风险规则 | 边界用例唯一确定率 | 每条规则 ≥3 用例 | ≥0.90 | ≥0.80 | | 预警指标 | 定义与阈值登记完整率 | 逐项核对 | ≥0.95 | ≥0.88 | | 典型案例 | 案例结构化完整率 | 按实际提供数量据实统计 | ≥0.90 | ≥0.80 | #### 7.4 合同智能解析能力验证 招标文件要求验证合同智能解析能力，支持 Word、PDF 等识别与关键信息抽取（b1781）。格式与抽取两件事分别验证。 格式识别的验证按文档形态分四档：原生 Word 文档、原生 PDF、扫描版 PDF、以及扫描版加手写批注的 PDF。四档分别统计正文提取完整率与版面还原正确率。扫描版与含手写批注的两档取值低一档，并把手写批注单列为一项——批注往往是历次审查留下的修改意见，是有价值的信息，但识别难度高，首轮验证以「识别出存在批注并定位到条款」为合格口径，批注内容识别准确率作为观察指标而不设通过门槛。 关键信息抽取的验证以合同八大核心要素为骨架：当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法（依据 3.2.6.3.5，b1464—b1465）。八要素逐项统计抽取正确率与要素完整性判定正确率。 要素完整性判定是指：合同中该要素是否缺失或表述不完整，这是审查的第一道关口。装备合同另加四项专项抽取：技术参数与性能指标、验收标准与验收主体、质保期起算点与范围、付款节点与对应条件。付款节点与对应条件一项取值设得较高——这是履约期最常引起争议的条款。 另设模板对照一项：对照甲方合同模板基线，标注新增条款、删减条款与修改条款（b1466）。验证方式是取已知偏离的合同（人工比对过的）作为基准，统计三类偏离的检出率与误报率。 表 37　合同智能解析能力的验证项与取值 | 验证项 | 指标 | 样本量 | 目标值 | 下限值 | |---|---|---|---|---| | 原生 Word | 正文提取完整率 | 60 份 | ≥0.98 | ≥0.95 | | 原生 PDF | 正文提取完整率 | 60 份 | ≥0.97 | ≥0.93 | | 扫描版 PDF | 正文提取完整率 | 40 份 | ≥0.92 | ≥0.85 | | 扫描版 PDF | 版面还原正确率 | 40 份 | ≥0.88 | ≥0.80 | | 手写批注 | 批注存在与定位正确率 | 30 份 | ≥0.85 | ≥0.75 | | 手写批注 | 批注内容识别准确率 | 30 份 | 观察指标，不设门槛 | — | | 八大核心要素 | 要素抽取正确率（分项统计） | 160 份合同 | ≥0.95 | ≥0.88 | | 八大核心要素 | 要素完整性判定正确率 | 160 份合同 | ≥0.92 | ≥0.85 | | 装备专项 | 技术参数与性能指标抽取正确率 | 160 份 | ≥0.92 | ≥0.85 | | 装备专项 | 验收标准与验收主体抽取正确率 | 160 份 | ≥0.92 | ≥0.85 | | 装备专项 | 质保期起算点与范围抽取正确率 | 160 份 | ≥0.95 | ≥0.88 | | 装备专项 | 付款节点与对应条件抽取正确率 | 160 份 | ≥0.95 | ≥0.90 | | 模板对照 | 三类偏离检出率／误报率 | 已知偏离合同 50 份 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | #### 7.5 风险智能识别能力验证 招标文件要求验证风险智能识别能力，支持自动识别合规风险、责任风险、交付风险、付款风险（b1782—b1783）。四类风险分列验证，每类的用例来源与判定标准不同。 合规风险指条款违反法律法规强制性规定或违反甲方内控要求的情形。用例来源以历史审查意见为主：从甲方历史审查意见中提取已判定为合规问题的条款，不少于 60 条；另按已登记的风险规则构造用例不少于 40 条。 责任风险指违约责任、赔偿上限、免责条款、保证责任等约定对甲方明显不利或存在歧义的情形。这类风险的判定有主观成分，因此判定标准取自甲方法务确认的风险尺度，而非通用法律观点。用例以历史审查意见为主，不少于 50 条。 交付风险指交付期限、交付地点、交付方式、验收条件与甲方实际交付能力不匹配，或验收标准表述不可操作的情形。这类风险是装备制造合同的特有重点，用例须覆盖长周期交付、分批交付、现场安装调试、以及与矿方生产计划联动的交付安排，不少于 50 条。 付款风险指付款节点与履约节点脱钩、预付款比例过高而无担保、质保金返还条件不明确、以及付款条件依赖第三方行为（如最终用户验收）的情形。不少于 40 条。 四类分别统计检出率与误报率，并另设一项风险等级一致率：检出的风险，其等级划分是否与甲方法务的判定一致。等级错判的后果是审查优先级错乱，高风险条款被当作低风险放过。 本项结论的表述纪律与标书场景一致：不以「风险识别无遗漏」描述结果，而以四类检出率分列呈现，并说明助手输出定位为审查辅助清单，最终判定由法务岗位负责。四类中任一类检出率未达下限的，按归因结论回流风险规则库或标注样本修复后复测。 图 8 给出合同审查验证的对象分层与风险四类的判定依据来源。 ### 图 8　合同审查验证的对象分层与风险判定依据 合同文档组 主合同·技术协议·价格附件 质量附件·补充协议 9 类合同类型 条款级知识单元 九类条款类型标注 八大核心要素绑定 模板基线偏离标注 风险识别结果 合规·责任·交付·付款 四类分列检出率与误报率 风险等级一致率 切分 规则 判定依据来源：合规风险 → 法律法规条目＋甲方内控要求；责任风险 → 甲方法务确认的风险尺度； 交付风险 → 装备交付安排与验收标准可操作性；付款风险 → 付款节点与履约节点的对应关系。 四类的基准用例以历史审查意见为主、构造用例为辅，两种来源的指标在报告中分列。 责任边界：助手输出为审查辅助清单，最终合规判定由甲方法务岗位负责； 审查会签流程与协同机制由场景建设方与甲方法务部门安排，不在本项目范围。 图 8　合同审查验证的对象分层与风险判定依据。数据来源：招标文件 3.2.6.5.2.5.2（b1778—b1783），3.2.6.3.5 第（1）项对合同八大核心要素标注的要求（b1464）。 表 38　风险智能识别的验证项与取值 | 风险类型 | 用例来源与数量 | 指标 | 目标值 | 下限值 | |---|---|---|---|---| | 合规风险 | 历史审查意见 60 条＋构造 40 条 | 检出率／误报率 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | | 责任风险 | 历史审查意见 50 条 | 检出率／误报率 | ≥0.88／≤0.10 | ≥0.80／≤0.18 | | 交付风险 | 历史审查意见与构造合计 50 条 | 检出率／误报率 | ≥0.88／≤0.10 | ≥0.80／≤0.18 | | 付款风险 | 历史审查意见与构造合计 40 条 | 检出率／误报率 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | | 全部四类 | 全部检出项 | 风险等级一致率 | ≥0.90 | ≥0.82 | | 全部四类 | 全部检出项 | 风险说明引用依据正确率 | ≥0.95 | ≥0.88 | | 修改建议 | 抽样 60 条 | 业务与法务评定为可直接采用占比 | ≥0.65 | ≥0.50 | #### 7.6 效率提升验证 招标文件要求验证效率提升情况，支持单份合同审查时长较人工缩短（b1784）。做法与制度场景的效率验证同构，但分档方式按合同复杂度划分。 人工基线分三档实测：标准模板类合同（偏离少、条款常规）、非标准合同（对方提供文本或大幅修改模板）、以及含技术协议的装备销售合同（须同时审技术条款）。每档取 15 份合同，由甲方法务与业务人员在现行方式下完成审查并记录工时，取中位数作为基线。审查工时含阅读、比对模板、查阅法规、形成意见四部分，分段记录以便定位改善来自哪一段。 助手侧取同一批合同的辅助审查用时，计到形成可供法务复核的风险清单为止，加上法务复核该清单的用时，两者之和为助手介入后的实际工时。这个口径比只算助手自身耗时更接近真实收益，也避免把复核成本藏起来。 效率结论与质量结论绑定：只有在该档合同的四类风险检出率均达下限、且风险等级一致率达下限的前提下，效率数据才计入结论。 表 39　合同审查效率的验证项与取值 | 验证项 | 人工基线 | 助手介入后口径 | 目标值 | 下限值 | |---|---|---|---|---| | 标准模板类合同 | 【待填：实测中位数，工时】 | 助手用时＋法务复核用时 | 相对基线缩短 ≥60% | ≥40% | | 非标准合同 | 【待填：实测中位数，工时】 | 同上 | 相对基线缩短 ≥45% | ≥30% | | 含技术协议的装备合同 | 【待填：实测中位数，工时】 | 同上 | 相对基线缩短 ≥40% | ≥25% | | 分段改善 | 阅读／比对／查法规／形成意见四段 | 分段计时 | 比对与查法规两段缩短 ≥60% | ≥40% | | 质量约束 | — | 四类风险检出率与等级一致率 | 均达目标值 | 均达下限值 | #### 7.7 所需数据、接入条件与回退 表 40　合同场景的验证数据与接入条件 | 项目 | 内容 | 来源 | 缺失时的回退 | |---|---|---|---| | 合同文本 | 9 类合同文档（PDF/Word），按类别齐备 | 协同办公系统（b0886） | 按已获取类别验证，未覆盖类别列明 | | 附件与补充协议 | 技术协议、价格附件、质量附件、补充协议 | 【待填：甲方提供，含归档关系】 | 关联类指标降为单份合同内验证，关联正确率列为未测 | | 历史审查意见 | 近三年法务审查意见 | 【待填：甲方法务提供】 | 风险类用例改为构造，报告中标注用例性质并相应放宽结论强度 | | 合同模板基线 | 甲方现行合同模板 | 【待填：甲方法务提供】 | 模板对照一项列为未验证项 | | 法规政策 | 适用法律法规条目与现行有效状态 | 公开法规数据源＋甲方内控文件 | 内控要求部分缺失时，合规风险用例仅覆盖法规类 | | 风险尺度 | 责任风险的判定尺度 | 【待填：甲方法务确认】 | 责任风险一项以我方建议尺度验证并提请确认，结论标注为待确认 | | 典型案例库 | 行业典型案例 | 【待填：甲方已有或行业可提供（b1779）】 | 据实列明可获取数量，不以构造案例充数 | | 人工对照组 | 法务与业务人员，每档不少于 2 人 | 【待填：甲方安排】 | 效率类指标留空 | 合同数据的敏感度与标书数据相当。验证全程在内网执行，当事人信息、价款、联系方式等字段在入库阶段完成去标识化，验证过程不解密；涉及外部模型调用的，提交内容以脱敏后条款文本为限，并记录调用范围与出域情况。 #### 7.8 典型样题与判分示例 表 41　合同场景的样题与判分示例 | 题型 | 样题 | 答案要点 | 判分方式 | 考察点 | |---|---|---|---|---| | 要素抽取·基础 | 提取本份合同的当事人、标的物、数量、价款四项要素 | 四项要素值与原文定位 | 要素抽取正确率 | 八大核心要素抽取 | | 要素完整性·进阶 | 本份合同的八大核心要素中有哪几项表述不完整 | 不完整项逐项；缺失内容说明 | 要素完整性判定正确率 | 审查第一道关口 | | 专项抽取·进阶 | 本份合同的付款节点与各节点的付款条件分别是什么 | 节点逐项；对应条件；与履约节点的对应关系 | 付款节点与条件抽取正确率 | 履约期争议高发条款 | | 专项抽取·难例 | 本份合同的质保期从何时起算，覆盖范围包括哪些 | 起算点表述；覆盖范围；不覆盖情形（若合同有约定） | 质保期抽取正确率 | 长周期条款的表述歧义 | | 文档组关联·难例 | 本份合同的技术协议对主合同的哪些条款作了变更 | 被变更条款逐条；变更内容；补充协议指向 | 修改指向正确率＋版本链完整率 | 合同文档组的关联质量 | | 风险识别·进阶 | 本份合同存在哪些付款风险 | 风险点逐项；条款定位；风险等级；引用的判定依据 | 付款风险检出率＋误报率＋等级一致率 | 四类风险之一 | | 风险识别·难例 | 本份合同的违约责任约定对我方是否存在明显不利 | 不利条款逐项；不利之处说明；依据甲方风险尺度；提示最终判定由法务负责 | 责任风险检出率＋依据正确率 | 主观性风险的尺度一致 | | 模板对照·进阶 | 本份合同与标准模板相比有哪些新增、删减与修改条款 | 三类偏离逐项；偏离内容；原文定位 | 三类偏离检出率＋误报率 | 模板基线标注质量 | | 正常条款对照·基础 | 【从正常条款对照集中取题】本条款是否存在风险 | 明确说明本条款未识别出风险 | 误报率 | 是否把正常条款报成风险 | 最后一类题目是误报率的测量手段，在分册中与风险题混排且不作标记，使助手无法从题面判断该题是否「应当有风险」。实际使用中，误报造成的损害是使用者逐渐忽略全部风险提示，这种损害不会在只测检出率的验证中显露。 #### 7.9 本场景数据层验证要点 本场景的标注样本是四类风险识别能力的直接来源：招投标文件与合同文本须标注条款类型、风险点与合规判定结论，并对标八大核心要素标注要素完整性（依据 3.2.6.3.5，b1463—b1466）。数据层验证因此有一项特殊内容——标注一致性。风险标注的主观性高于前四个场景，同一条款在不同标注人手上可能被标为不同风险类型或不同等级。标注一致性以标注员间一致率衡量，低于 0.75 的风险类型须重新对齐标注规范后返工重标，返工批次在血缘记录中单独标识。 偏好维度上，本场景需要「审慎优于激进」的偏好：对存在歧义的条款，指出歧义并建议明确表述的回答，优于直接判定为风险或直接判定为无风险的回答。合同条款的歧义本身就是风险，把歧义消解成一个确定结论反而掩盖了问题。偏好数据覆盖这一维度后，在任务层以风险说明引用依据正确率与修改建议可采用占比观察效果。 预训练语料方面，9 类合同文档的常规条款表述构成了本场景的语言基础。有一点处理口径需要说明：合同中的价款、当事人与联系方式等字段在入库阶段即完成去标识化，语料中保留的是条款结构与表述句式而非具体商业信息。这一处理不影响条款表述能力的训练，但会使涉及具体金额推理的题目无法从语料侧获得支持，相应题目一律走检索路径并在知识层测量。 ### 8、五个场景的协同组织与排期 #### 8.1 五个场景的共性与差异 五个通用场景在技术形态上同源，都走「文档或指标→结构化→检索→生成」的链路，因此共用第二部分的验证方法。它们在验证重点上的差别见表 42，排期与资源按这张表分配。 表 42　五个通用场景的验证重点对比 | 场景 | 核心对象 | 主要风险 | 验证重点 | 对甲方材料的依赖程度 | |---|---|---|---|---| | 管理制度智能问答 | 制度条款 | 解读偏差、跨制度冲突 | 条款级切分、引用关系、逻辑校验 | 中（制度原文已明确可提供） | | 技术标准智能问答 | 标准条文与数表 | 数值错误、新旧版本混用 | 表格单元格级精度、参数限值适用条件、版本辨析 | 中高（需标准台账与历史版本） | | 标书智能问答 | 招投标文件与历史标书 | 废标条款漏项、历史表述误用 | 废标条款召回、事实可回溯、注入缺陷检出 | 高（需历史投标与评审意见） | | 决策数据智能问答 | 指标与口径 | 口径不一致、数值不可复算 | 计算逻辑复算、维度完整、异动归因分层 | 很高（须先有指标体系与口径确认） | | 合同合规智能审查 | 合同条款 | 风险漏判、等级错判 | 文档组关联、八要素抽取、四类风险分列 | 高（需历史审查意见与模板基线） | 从表 42 可以看出两件事。一是对甲方材料的依赖程度决定了启动顺序：制度与标准两个场景的原文已在招标文件中明确由协同办公与企业文档系统提供，可最先启动；标书与合同两个场景依赖历史档案的整理与授权，启动稍后；决策数据场景须等治理规划产出指标体系，排在最后。二是五个场景的验证重点各不相同，不能用一套指标表套五个场景——这也是本节为每个场景单独给出指标表的原因。 #### 8.2 分期与排期 排期按四期推进，总体节奏与数据集版本迭代对齐：每一版数据集发布前完成一轮验证，验证报告作为该版本发布的前置条件（依据 3.2.6.3.9，b1561）。 ### 图 9　五个通用场景验证的分期排期 一期　条件准备 二期　首轮验证 三期　整改复测 四期　迭代验证与交付 管理制度 技术标准 标书 合同合规 决策数据 决策数据场景的条件准备须待数据治理规划产出指标体系并经甲方确认后启动（b1759） 条件准备：数据需求提出·基准集构建·协议冻结 执行验证：评测执行·人工复核·归因与报告 随版本迭代验证 图 9　五个通用场景验证的分期排期。数据来源：招标文件 3.2.6.5.2 各场景验证要求，3.2.6.3.9 对验证报告作为版本发布前置条件的要求（b1561），3.2.6.5.2.4.1 对决策指标体系形成时点的说明（b1759）。 一期条件准备。提出数据需求清单并跟踪到位、构建验证基准分册、完成专家出题与终审、与场景建设方约定接入条件、冻结评测协议。本期的产出是五份场景验证方案与评测协议、五个基准分册。本期的关键路径不在我方，而在甲方材料到位的速度，因此数据需求清单在项目启动后两周内提出，并按周跟踪。 二期首轮验证。按场景顺序执行评测、人工复核与归因，出具首轮验证报告与整改任务单。本期允许各场景错峰执行，人工复核组可在场景间复用，但不同场景的复核人员须分别培训与试判。 三期整改复测。按整改任务单修复数据子集与知识条目，对错因聚类涉及的全部题目复测，出具复测记录与闭环结论。 四期迭代验证与交付。随数据集版本迭代执行后续轮次验证，逐版抬高指标取值，出具能力雷达图与版本对比，形成完整的验证档案移交甲方。 #### 8.3 组织与把关 验证工作按四个角色组织，角色由项目组内部分工承担，不占用甲方人力以外的额外协调成本。 出题与基准组负责基准分册构建、题面评审与改写集制作，需甲方业务专家配合出题与终审。评测执行组负责协议冻结、评测调度、日志与指标统计。人工复核组负责判分复核与仲裁，成员须经试判，组内一致性按 Kappa 监控。归因与整改组负责错因聚类、整改任务单与复测跟踪，与数据加工环节直接对接。 把关点设三处：基准集与协议经甲方业务专家确认后冻结；首轮验证报告经甲方相应业务部门确认；复测闭环结论由我方与甲方共同签署。三处把关都留书面记录，作为验收依据。 #### 8.4 与质量测评服务的衔接 本项目另有数据集质量测评服务，输出正式盖章评测报告（b0804r08）。场景验证与质量测评的关系是：质量测评针对数据集本身的质量属性（完整性、一致性、准确性、合规性等）出具合规核验结论；场景验证针对数据集在具体业务任务上的效用出具可用性结论。两者的结论互为补充，不互相替代——数据质量合格而场景效果不达预期的情形是存在的，此时归因通常指向覆盖盲区或难度分布缺口，而不是数据脏。 两者在时序上的安排是：质量测评的首轮全量评测先行，场景验证在其后启动，避免在已知脏数据的基础上做场景验证而把时间浪费在重复发现同一批问题上。场景验证发现的数据缺陷按归因任务单回流，并同步通报质量测评方，纳入缺陷整改复测范围。 #### 8.5 风险与应对 表 43　通用场景验证的主要风险与应对 | 风险 | 具体表现 | 应对 | |---|---|---| | 甲方材料到位迟 | 历史投标文件、审查意见、标准台账的整理与授权需时 | 一期即提出数据需求清单并按周跟踪；按已到位材料分批构建基准分册，场景内分项验证不等齐；报告中列明未覆盖范围 | | 指标口径未确认 | 决策数据场景的指标口径涉及多部门，确认周期长 | 按已确认指标子集先行验证；未确认指标不进入基准分册；不以推定口径出具结论 | | 助手建设进度滞后 | 场景助手未按期提供可调用通道 | 执行知识层与数据层验证，出具两层结论；任务层待通道具备后补测，报告按层分列 | | 人工基线难组织 | 对照组人员在岗任务重，难以抽出时间 | 把对照测试拆为多批、每批不超过半个工作日；基线未实测前效率指标留空而不填预估值 | | 判分主观偏差 | 解读类与风险类题目的判分依赖人的尺度 | 双人独立判分加第三方仲裁，Kappa 低于 0.75 即暂停重对齐；模型裁判须先过 0.85 一致率校准 | | 指标被动态抬高后不可达 | 逐版抬高取值导致后期达不到 | 每版取值在验证前书面约定并经甲方确认；连续两轮未达下限的项提请共同评审，调整口径或数据供给范围 | | 敏感数据外泄 | 标书与合同数据含商业秘密 | 内网执行、入库即去标识化、模型调用记录出域情况、验证后敏感字段不可逆处理归档 | | 验证结论被过度解读 | 报告结论被当作场景上线承诺 | 报告中逐项标注验证口径、样本范围与未覆盖项；助手输出统一定位为辅助结论，最终判定归相应业务岗位 | #### 8.6 本节对招标文件单元的回应索引 表 44 逐条列出本节覆盖的 74 个单元及其回应位置，供合稿与评审索引使用。 表 44　单元回应索引 | 单元 id | 内容要点 | 本节回应位置 | |---|---|---| | b1602 | 数据集场景验证服务要求（节题） | 一、1.1 | | b1603 | 本项目不负责智能场景建设，只负责场景验证服务 | 一、1.1 | | b1713 | 通用场景验证服务（节题） | 全节 | | b1714、b1715 | 管理制度智能问答·场景介绍（节题） | 三、3.1—3.2 | | b1716 | 制度管理现状与五类问题 | 三、3.1 | | b1717 | 场景形态与知识库建设描述 | 三、3.2 | | b1718、b1719 | 验证要求总述 | 三、3.3 起 | | b1720、b1721、b1722 | 制度知识库建设能力验证 | 三、3.3 与表 13 | | b1723、b1724 | 制度智能问答能力验证 | 三、3.4 与图 4 | | b1725 | 制度关联分析能力验证 | 三、3.5 与表 14 | | b1726、b1727 | 服务响应效率验证 | 三、3.6 与表 15 | | b1728、b1729 | 技术标准智能问答·场景介绍（节题） | 四、4.1—4.2 | | b1730 | 技术标准应用现状与五类问题 | 四、4.1 | | b1731 | 场景形态与标准知识库建设描述 | 四、4.2 | | b1732 | 验证要求（节题） | 四、4.3 起 | | b1733、b1734、b1735 | 技术标准知识库建设能力验证 | 四、4.3 与表 18 | | b1736 | 多轮对话式问答与历史版本问答验证 | 四、4.4 与表 19 | | b1737、b1738 | 文件解析能力与表格单元格级精度验证 | 四、4.5、图 5 与表 20 | | b1739、b1740 | 数据可视化能力验证 | 四、4.6 与表 21 | | b1741、b1742 | 标书智能问答·场景介绍（节题） | 五、5.1—5.2 | | b1743 | 招投标响应现状与五类问题 | 五、5.1 | | b1744 | 场景形态与标书数据集建设描述 | 五、5.2 | | b1745 | 验证要求（节题） | 五、5.3 起 | | b1746、b1747、b1748 | 招投标文件知识库建设能力验证 | 五、5.3 与表 24 | | b1749、b1750、b1751 | 标书智能解析与风险标注验证 | 五、5.4 与表 25 | | b1752、b1753 | 投标生成能力验证 | 五、5.5 与表 26 | | b1754、b1755 | 投标文件智能评审能力验证 | 五、5.6、图 6 与表 27 | | b1756、b1757 | 决策数据智能问答·场景介绍（节题） | 六、6.1—6.2 | | b1758 | 决策用数现状与五类问题 | 六、6.1 | | b1759 | 九业务域、决策指标体系与场景形态 | 六、6.2、图 9 排期前提 | | b1760 | 验证要求（节题） | 六、6.3 起 | | b1761、b1762、b1763、b1764、b1765 | 决策数据知识库建设能力验证 | 六、6.3 与表 30 | | b1766、b1767 | 自然语言查数与可视化、多维分析验证 | 六、6.4、图 7 与表 31 | | b1768、b1769 | 智能异动归因能力验证 | 六、6.5 与表 32 | | b1770、b1771 | 多轮上下文问答能力验证 | 六、6.6 与表 33 | | b1772、b1773 | 合同合规智能审查·场景介绍（节题） | 七、7.1—7.2 | | b1774 | 合同审核现状与四类问题 | 七、7.1 | | b1775 | 场景形态与合同数据集建设描述 | 七、7.2 | | b1776、b1777 | 验证要求总述 | 七、7.3 起 | | b1778、b1779、b1780 | 合同知识库建设能力验证 | 七、7.3 与表 36 | | b1781 | 合同智能解析能力验证 | 七、7.4 与表 37 | | b1782、b1783 | 风险智能识别能力验证 | 七、7.5、图 8 与表 38 | | b1784 | 效率提升情况验证 | 七、7.6 与表 39 | #### 8.7 工作量与交付节点 本节工作量按五个场景分别估算，口径为我方投入的人日，不含甲方配合人力。估算依据是各场景的基准分册题量、需人工核对的样本量与人工复核工作量上限（见表 10）。 表 45　通用场景验证的工作量估算 | 场景 | 基准集构建 | 验证执行 | 人工复核 | 归因与复测 | 合计人日 | |---|---|---|---|---|---| | 管理制度智能问答 | 8 | 4 | 10 | 6 | 28 | | 技术标准智能问答 | 10 | 5 | 12 | 8 | 35 | | 标书智能问答 | 12 | 5 | 14 | 8 | 39 | | 决策数据智能问答 | 12 | 6 | 12 | 9 | 39 | | 合同合规智能审查 | 9 | 4 | 11 | 7 | 31 | | 共用方法与协议编制 | 6 | — | — | — | 6 | | 合计 | 57 | 24 | 59 | 38 | 178 | 表中人工复核的人日占比最高，这与本节的方法取向一致：五个场景的多数指标含主观判定，复核质量决定结论可信度，这部分工作量不压缩。若甲方材料到位延迟，基准集构建环节的人日会分散到更长的周期内而总量不变。 表 46　交付节点与交付物对应 | 节点 | 时点 | 交付物 | 验收方式 | |---|---|---|---| | N1 | 项目启动后 2 周 | 五个场景的数据需求清单 | 甲方签收并反馈材料到位计划 | | N2 | 各场景一期结束 | 场景验证方案与评测协议、基准分册 | 甲方业务专家确认后冻结 | | N3 | 各场景二期结束 | 首轮场景验证报告、失败样本清单与归因报告 | 甲方相应业务部门确认 | | N4 | N3 后 3 个工作日 | 数据整改任务单 | 我方内部派工并向甲方报备 | | N5 | 各场景三期结束 | 复测记录与闭环结论 | 我方与甲方共同签署 | | N6 | 每个数据集版本发布前 | 该版本的场景验证报告、能力雷达图与版本对比 | 作为该版本发布的前置条件 | | N7 | 项目验收前 | 五个场景的完整验证档案与版本血缘记录 | 随项目验收移交 | ### 9、本稿待补材料清单 本节的结构与论述已按招标文件要求写定，以下事项须由项目组向甲方或相关方索取后填入，稿件中以【待填：…】标注对应位置。 表 47　待补材料清单 | 序号 | 待补内容 | 用途 | 需谁提供 | |---|---|---|---| | 1 | 甲方现行制度分类与层级定义 | 制度类别归集与层级判定的比对基准 | 甲方制度管理部门 | | 2 | 近两年制度咨询问题与答复记录 | 制度场景基准分册题面来源 | 甲方相关业务部门 | | 3 | 技术标准台账（标准号、现行有效状态、替代关系） | 版本更迭与现行有效状态的比对基准 | 甲方标准化管理部门 | | 4 | 已被替代标准的历史版本电子件 | 历史版本问答题目构造 | 甲方标准化管理部门 | | 5 | 设计选型合规性校验的典型案例 | 标准应用知识中的合规案例 | 甲方，或行业可获取资料 | | 6 | 历史投标文件不少于 30 份、覆盖 5 类项目 | 标书场景投标文本知识验证 | 甲方投标管理部门 | | 7 | 真实招标文件不少于 15 份 | 标书解析的人工拆解基准 | 甲方，或公开渠道同类文件 | | 8 | 投标文件模板库 | 模板覆盖完整性验证 | 甲方投标管理部门 | | 9 | 资质与业绩材料扫描件及台账 | 商务知识验证 | 甲方相关部门 | | 10 | 历史投标内部评审意见 | 评审类用例来源 | 甲方投标管理部门 | | 11 | 投标风险等级划分口径 | 风险标注的等级一致性基准 | 甲方确认 | | 12 | 决策指标体系与各指标计算逻辑 | 决策数据场景全部验证的基准 | 数据治理规划产出，甲方业务与财务部门确认 | | 13 | 月度／季度／年度经营分析报告与专题报告 | 复算比对基准与分析报告知识 | 甲方 | | 14 | 历史已归因波动事件及其链条 | 异动归因验证基准 | 甲方 | | 15 | 企业专有术语与简称清单 | 业务概念知识验证基准 | 甲方 | | 16 | 合同附件与补充协议归档关系 | 合同文档组关联验证 | 甲方法务与档案部门 | | 17 | 近三年法务审查意见 | 四类风险用例来源 | 甲方法务 | | 18 | 甲方现行合同模板 | 模板对照验证基准 | 甲方法务 | | 19 | 责任风险判定尺度 | 责任风险判定基准 | 甲方法务确认 | | 20 | 人工对照组安排（制度 2 档、合同 3 档、各档人员） | 效率类指标的人工基线实测 | 甲方安排在岗人员 | | 21 | 分级权限测试账号（三档） | 权限越权率测定 | 场景建设方配置 | | 22 | 五个场景助手的接口说明与版本标识 | 任务层验证接入 | 场景建设方 |