## 数据集场景验证服务要求（3.2.6.5） 数据集场景验证服务分专业场景与通用场景两部分。本项目不负责智能场景的建设，只负责场景验证服务：验证的对象是数据集对场景任务的支撑能力，场景应用本身的建设由场景建设方承担。专业场景验证服务（3.2.6.5.1）的方案见本章相应节次，本节为通用场景验证服务（3.2.6.5.2）。 ### 1、通用场景验证服务（3.2.6.5.2） 通用场景共五个，按原顺序为管理制度智能问答、技术标准智能问答、标书智能问答、决策数据智能问答与合同合规智能审查。五个场景的场景介绍与验证要求逐场景对应，验证方法、判分规则、归因机制与降级路径五场景共用，各场景只在题目构成、工具调用对象与指标取值上有差别。 #### 1.1 验证服务的内容、边界与总体设计 ##### 1.1.1 本项目在场景上的责任边界 招标文件写明：本项目不负责智能场景的建设，只负责场景验证服务。这一句是本节全部内容的起点，也是我方在五个通用场景上可执行范围的边界。 我方在五个通用场景上交付四件事。一是按场景任务构建可重复使用的验证基准集，题面、标准答案、证据定位与评分要点齐备，经甲方业务专家终审后冻结。二是固化验证协议，把题型、能力维度、判分规则、随机种子、基准集版本、人工复核规则与指标口径写定，使同一结论可被第三方按同一协议复算。三是执行验证并出具带证据的结论，逐项给出通过、有条件通过或不通过的判据，附样本级结果。四是对错样做归因，把问题定位到具体的数据子集、知识条目或标注批次，形成整改任务单，修复后复测并留闭环记录。 五个助手本身的功能开发、界面实现、权限配置、上线部署与日常运维，由场景建设方承担。我方不交付这五个助手，也不对助手的界面形态与交互设计提出约束性要求。我方关心的是助手背后所消费的数据与知识是否足以支撑招标文件列出的各项能力，以及这个判断是否有可复算的证据。 把验证放在本包而不是放在场景建设方，有一个实际理由。五个通用场景的能力上限取决于三件事：知识库条款级切分与元数据的完整度、检索证据与问题的匹配质量、问答样本对真实提问类型的覆盖。三者都属本包的数据加工交付物。验证责任与数据责任同属一方，错题就能追到源头的样本与切分批次；若由场景建设方自验，归因往往止于「检索未召回」这一层，再往下就跨了责任边界，查不下去。 ##### 1.1.2 验证的对象是智能体背后的数据供给 招标文件对五个场景的措辞是「建设一套……智能问答助手」「打造……智能助手」。这些助手不是一次性的问答接口，而是按链路执行的智能体：它先理解问题并补齐条件，再按权限与版本过滤可用范围，然后检索证据、组装证据包，必要时调用计算引擎或规则引擎得出确定性结果，校验引用真实存在之后才生成答复，证据不足时拒答或转人工，整个过程留痕并可回溯。招标文件在项目总体目标中也把「提升垂域模型和智能体性能」作为数据集的价值落点，在多协议模型评测引擎工具链的要求中明确评测须覆盖工具调用一类任务场景，在指令数据生成工具链的要求中把工具调用列为须覆盖的任务类型。 这件事决定了验证的组织方式。一个助手答错了，可能错在六七个不同的地方：问法没见过、权限过滤把正确证据滤掉了、检索没召回、召回了但重排把它压下去了、证据被切断了半句、计算引擎的参数填错了、或者模型拿到了正确证据却没有采用。这些失败在用户那里的表现是同一个——答案不对。但它们对应的修复入口完全不同，分别落在指令样本、元数据抽取、文档切分、索引构建、标注与偏好数据六个不同的数据环节上。 因此本节不把验证做成「问一批题、算一个准确率」。本节把五个助手的共用执行链路拆成九个节点，在每个节点上设独立的观测量与判据，使每一次失败都能落到唯一的节点上，再由该节点指向唯一的数据修复入口。这是本节方法上的核心取向，也是我方认为场景验证服务真正该交付的东西：不是一张成绩单，而是一张可以照着修的归因图。 ##### 1.1.3 四层验证与各层的职责 按上述取向，验证分四层组织。各层有独立的观测量、判据与归因入口，层与层之间是解释关系而不是重复关系。 数据层验证四类用途子集在该场景任务上的供给是否成立：预训练子集是否覆盖了该场景的语料面，指令微调子集是否覆盖了该场景的真实提问类型，偏好数据是否覆盖了该场景的答案优劣判别，基准评测子集是否给出了可重复的考题。这一层对应招标文件 3.2.6.3.9 数据集验证的五项实验。 知识层验证知识库、知识图谱与检索索引的质量：条款级知识单元是否切得准、元数据是否抽得全、引用关系是否连得上、索引是否检得到、表格与公式是否还原到可取值的程度。这一层是通用场景与专业场景差别最大的地方——通用场景的能力几乎整个架在文档结构化质量之上。 链路层验证智能体执行链路上每个节点的行为是否正确：条件补齐、权限与版本检查节点、检索召回、重排与证据组装、工具调用、引用校验、受控生成、拒答与转人工、留痕与血缘。其中检查节点指设置在流程中的检查环节，依据既定规则判断是否符合进入后续工序或交付的条件，不符合的不放行至下一节点。这一层给出的是归因位置。 任务层验证端到端表现：给定真实提问，助手能否给出正确且有出处的回答，相对人工作业缩短多少，重复提问下结论是否稳定。这一层给出的是业务可用性结论。 四层的关系是：任务层给结论，链路层说明错在哪一步，知识层说明这一步为什么错，数据层给出修复入口。验证报告须四层俱全；仅报任务层指标不视为本项目的验证交付。 ##### 1.1.4 智能体链路与九个验证观测点 五个场景的业务对象不同，执行链路的骨架相同。图 1 给出这条共用链路、九个观测点的位置，以及每个观测点失败时的数据归因入口。各场景在此骨架上的差异只在两处：第五个节点调用的工具不同，第三个节点的检索对象不同。 ##### 图 1　五个场景的共用智能体链路与九个验证观测点 提问 ① 意图识别与条件补齐 ② 权限与版本检查节点（确定性） ③ 混合检索召回候选 ④ 重排与证据包组装 ⑤ 工具调用确定性计算 ⑥ 引用校验门（确定性） ⑦ 受控生成带出处答复 ⑨ 留痕与血缘登记 标注样本与规则库证据定位·口径·要素标注 偏好对齐子集带引用优于不带引用 拒答样本无据·无权限·口径不唯一 血缘登记样本·工具·版本·审核状态 基准评测子集题面·标准答案·评分要点 读法：实线为智能体运行时的执行次序，虚线为验证失败时的归因指向。②⑥为确定性检查节点，不经模型判断，其失败即为元数据或 原文坐标的数据缺陷；①③④⑤⑦⑧为模型或工具参与节点，其失败先判定是证据未到位还是证据到位未采用，再定修复入口。 ⑨不参与作答，但缺失会使前八个节点的结论无法复算，故同样设判据。各节点的观测量与判据见表 3。 本节只验证与归因，不承担助手侧的功能实现；归因指向的八个入口均为本包数据加工交付环节。 ⑧ 拒答与 转人工 失败时的数据归因入口（本包交付环节） 指令微调子集 提问类型与问法覆盖 元数据抽取 密级·适用范围·版本状态 条款级切分与索引 边界·层级·向量与关键词 图 1　五个场景的共用智能体链路与九个验证观测点。数据来源：招标文件 3.2.6.5.2 五个场景的验证要求，3.2.3.10.1 多协议模型评测引擎工具链对工具调用评测的要求，3.2.6.3.4 知识化环节对条款级切分与元数据抽取的要求。 表 1　九个观测点的验证内容、失败形态与归因入口 | 观测点 | 验证什么 | 典型失败形态 | 归因入口（本包环节） | 是否确定性 | |---|---|---|---|---| | ① 意图识别与条件补齐 | 能否识别提问要素，关键条件缺失时是否反问而非猜测 | 口语化问法识别不出；条件不全却直接作答 | 指令微调子集的提问类型与问法覆盖 | 否 | | ② 权限与版本检查节点 | 是否只放行提问账号有权访问且当前有效的知识单元 | 放行了已废止条款；放行了越权内容；把有权内容误滤 | 元数据抽取（密级、适用范围、版本状态、替代关系） | 是 | | ③ 混合检索召回 | 标准答案所依据的知识单元是否进入候选集 | 条款未召回；被表面相似的条款挤占 | 条款级切分、索引构建、RAG 数据构建 | 否 | | ④ 重排与证据包组装 | 正确证据是否排到可用位次，证据是否完整不断句 | 召回了但排在末位；证据片段被切断半句 | 切分边界、层级还原、证据定位标注 | 否 | | ⑤ 工具调用 | 调用的工具、参数、口径是否正确，结果能否复算 | 指标口径选错；公式变量取错；比对对象选错 | 指标知识库与规则库、工具调用样本 | 部分 | | ⑥ 引用校验门 | 答案所引条款、标准号、单元格是否真实存在于原文 | 引用编号不存在；引用了另一版本的同号条款 | 原文坐标登记、版本关系登记 | 是 | | ⑦ 受控生成 | 答案是否只依据已校验证据，要点是否齐全 | 证据正确但答案遗漏要点；在证据之外添加表述 | 偏好对齐子集（带引用优于不带引用） | 否 | | ⑧ 拒答与转人工 | 无依据、无权限、口径不唯一时是否规范提示并中止 | 无依据仍给确定性结论；该反问却作答 | 拒答样本、偏好对齐子集（拒答优于编造） | 否 | | ⑨ 留痕与血缘 | 本次问答的样本、工具、模型与知识库版本是否可回溯 | 版本未登记，结论无法复算；证据链断点 | 血缘登记（样本—处理链路—工具版本—审核状态） | 是 | 表 1 最后一列的取法如下。②⑥⑨三个节点由确定性组件承担，不经模型判断。把它们定为确定性节点不是实现偏好，而是验证口径的需要：版本状态、密级、适用范围、原文坐标都是确定性字段，字段对则放行、字段错则拦截，其表现与模型版本无关。这样安排之后，这三项的失败可以直接判定为数据缺陷，不需要先排除模型因素；而它们恰恰是五个场景中后果最重的三类错误——答出一条已废止的条款、放行一条越权内容、给出一个查不到出处的引用编号。 ##### 1.1.5 与关联章节的边界 五个通用场景在技术形态上都属于检索增强的大模型应用，与训练推理服务、专项智能工具链、数据加工生产、数据治理四处存在接口。为避免重复论述与口径分歧，边界按表 2 划定；凡引用的上游成果，其功能验收口径按相应章节规定执行，不另立标准。 表 2　通用场景验证与关联章节的边界划分 | 事项 | 归属章节 | 本节如何对接 | |---|---|---| | 行业大模型的训练、推理、算力适配与模型接入网关 | 行业大模型训练推理技术服务（3.2.6.2） | 本节的评测任务经统一网关提交，不自行接入模型；网关登记模型版本与调用范围，作为验证结论可复现的依据 | | 继续预训练、指令微调、奖励模型与对齐训练的执行 | 行业大模型训练推理技术服务（3.2.6.2） | 本节给出五个场景的评测协议与基准分册，训练侧按协议产出四个模型版本供评测，训练过程本身不在本节论述 | | 文档切分与拼接、RAG 数据构建、文档结构解析三类工具 | 长上下文数据构建类工具链（3.2.3.3） | 本节是三类工具产出物的消费方与检验方，验证题目中的证据段落来自其产出；工具功能验收口径不在本节重复 | | 大模型预标注、本体驱动规则标注、一致性校验标注 | 智能标注类工具链（3.2.3.5） | 本节使用其产出的证据定位与要素标注作为判分依据，标注一致性的管理口径按该节执行 | | 指令数据生成、文本重写与多样化 | 数据生成与增强类工具链（3.2.3.6） | 本节的提问类型覆盖缺口按归因结论回流该节补样本；题面改写集的构造复用其能力 | | 数据去重与相似度过滤、数据集切分与基准构建 | 数据质量与分布控制、数据生成控制与评测类工具链（3.2.3.7、3.2.3.8） | 基准分册与训练集的双向查重、分册切分由其承载，本节给出查重阈值与切分策略 | | 多协议模型评测引擎、数据贡献度归因与错题溯源、数据集与模型版本血缘追溯 | 数据集验证与归因类工具链（3.2.3.10） | 本节的评测执行、归因与血缘记录由这三类工具承载，本节给出场景侧的协议内容与判据，不重述工具功能 | | 知识库、知识图谱、指标知识库的建设 | 数据加工生产·知识化环节（3.2.6.3.4） | 本节验证其成果在五个场景任务上的可用性，验证不通过的条目按归因结论回流该环节修复 | | 九个业务域的指标口径与决策指标体系 | 数据治理规划（3.2.6.1） | 决策数据场景的验证题目以治理规划产出的指标体系为准，本节不自行定义指标口径 | | 数据集质量评测（三大维度、综合分） | 数据集质量测评服务 | 质量测评针对数据集自身质量属性出结论，本节针对数据集在业务任务上的效用出结论，两者互为补充，衔接方式见 1.8 节 | | 六个专业场景的验证 | 专业场景验证服务（3.2.6.5.1） | 共用 1.2 节的协议框架与判据分级，场景侧指标各自定义 | ##### 1.1.6 通用场景与专业场景的两点差别 把五个通用场景与六个专业场景放在一起看，差别有两处，都影响验证的组织方式。 第一处是输入形态。通用场景的输入是文档与指标：管理制度与合同文档由协同办公系统提供，招标文件明确为 11 类管理制度（PDF）与 9 类合同文档（PDF、Word）；技术标准与设计手册存放于企业产品生命周期管理系统与受控共享目录；招投标资料来自历史投标档案；经营指标来自经营分析报送与企业资源计划等系统。这些数据已在系统内留存，取数依赖的是接口授权与档案整理，而不是现场布点。六个专业场景的输入含设备时序与图纸影像，受设备联网范围与采集点位制约。这意味着通用场景的验证前置条件更容易齐备，但对文档解析质量的依赖远高于专业场景——专业场景的一条传感器记录只要采到就是对的，而一份扫描版制度文件解析错了半个表格，后面整条链路都建在错的基础上。 第二处是排期含义。因为不依赖新增采集，五个通用场景的验证可以在设备侧扩点之前启动，适合作为本项目首批交付的验证成果：先用通用场景把验证协议、判分流程、人工复核组织与归因回流链路跑通，再把同一套方法用到专业场景上。方法先在文档类场景上收敛，风险比直接在设备类场景上试错要低，因为文档类场景的错样可以逐条回到原文核对，判定没有歧义。我方据此把通用场景验证排在整体验证计划的前段，排期见 1.8 节。 ##### 1.1.7 验证接入条件 验证执行需要场景建设方开放可调用的通道。接入条件在项目启动阶段以接口约定的形式确认，内容见表 3。接入条件不具备时，该场景的验证按本节各场景末尾的降级口径执行，并在验证报告中标注受限范围与受限对结论的影响。这一条先写明，是因为通用场景的任务层验证必须经由助手才能做，而助手不在本包范围内；把缺条件时的做法事先定下来，比到时候再议对双方都省事。 表 3　五个通用场景的验证接入条件与缺失时的降级口径 | 接入项 | 内容 | 缺失时的降级 | |---|---|---| | 调用通道 | 同步服务接口或离线批量推理通道，可按题目批次提交、按样本返回 | 由我方经统一网关直连基座模型与知识库，执行数据层、知识层与链路层验证，任务层结论标注为离线口径 | | 版本标识 | 每次验证前登记助手版本、所用模型版本、知识库版本与检索配置 | 以验证当日快照登记，并在报告中注明版本不可追溯的影响范围 | | 返回内容 | 答案正文、引用的知识单元标识与原文定位、检索命中列表、工具调用记录、单次耗时 | 仅返回答案正文时，链路层的③④⑤三个观测点改以人工复核抽样估计，抽样比例不低于分册的 30%，并在报告中注明 | | 分级账号 | 至少三档权限账号（普通岗位、部门管理、公司管理），可分别提交同一分册 | 权限类指标改以知识单元的密级与适用范围字段做静态核验，不出具运行期越权结论 | | 日志 | 请求与响应日志、检索中间结果、工具调用参数、异常与超时记录 | 以客户端侧计时与留痕替代，稳定性与时延结论的置信区间相应放宽 | | 验证窗口 | 每轮验证连续不少于五个工作日的稳定服务窗口，期间不变更模型与知识库版本 | 分段执行并在报告中分段呈现，不跨版本合并指标 | ##### 1.1.8 场景侧验收口径与我方验证目标值的关系 甲方各业务部门在筹划这五个助手时，已对每个场景提出过明确的量化口径。这些口径分两类：一类落在文档解析、条款切分、标注质量与样本覆盖上，其达成取决于本包的数据加工交付；另一类落在响应时延，并发容量、越权拦截与界面统计上，其达成取决于场景建设方的工程实现。两类口径的责任主体不同，混在一起承诺对双方都不利。 我方的做法是：把第一类作为本节验证指标的目标值来源，逐项给出观测量、测定方法与下限值，并承担不达目标时的归因与整改；把第二类在验证中一并测量并记入报告，作为场景整体可用性的观测记录，但不列为我方承诺指标。表 4 按这个分法把五个场景的主要口径归位。 表 4　场景侧验收口径的责任归位 | 口径类别 | 具体口径 | 责任侧 | 本节如何处理 | |---|---|---|---| | 文档解析 | 常规文件预处理准确率、模糊文档识别准确率、条款结构化识别准确率、表格单元格级精度、公式还原可取值 | 数据侧（本包） | 列为知识层验证指标，给目标值与下限值，不达即归因并整改复测 | | 条款与元数据 | 条款级定位到制度或标准、章节、条款编号与原文片段；核心元数据抽取；版本与替代关系登记 | 数据侧（本包） | 列为知识层与链路层②⑥两个确定性检查节点的判据 | | 标注质量 | 标注准确率、关键要素标注完整率、同类样本标注一致性、结论可追溯到条款与制度依据 | 数据侧（本包） | 列为数据层验证指标，复核采用双人独立判分加仲裁 | | 样本规模与切分 | 训练、验证、独立测试三集的样本量与隔离要求；法规条文与内部制度条目数；标注要素数 | 数据侧（本包） | 列入各场景数据层验证的供给核对表，按来源与时间双重切分 | | 问答能力 | 意图识别准确率、复杂场景答疑准确率、答疑准确回答率、多轮追问与意图澄清 | 两侧共同 | 列为任务层指标；失败先经链路层定位，属数据侧的归因整改，属工程侧的记录并通报 | | 风险识别 | 条款冲突、内容重复、失效文件、新旧版本矛盾的识别准确率 | 两侧共同 | 列为任务层指标，并在知识层单独验证引用关系与版本关系的完备度 | | 时延与并发 | 首次加载、单次检索、全链路分位时延、接口响应、数据迭代延迟，同时在线人数 | 工程侧（场景建设方） | 在验证窗口内测量并记入报告，不列为我方承诺指标 | | 权限与审计 | 越权检索、查看、下载的拦截；操作日志留存时长 | 工程侧为主 | 以三档账号实测并记录；知识单元密级与适用范围字段的正确性属数据侧，单列指标 | | 业务收益 | 审查或编制周期缩短幅度、人工工时节约 | 两侧共同 | 以实测人工基线为分母给出测算，基线未实测前不填预估值 | 这张表还有一个用处。五个场景的验收最终要回答一个问题：没达到的那一项，是数据不够还是系统没做好。表 4 把这个问题在验证开始之前就分好了，验证执行时每一项失败都已经知道该往哪一侧归。这比事后争论要省力得多，也是我方把验证与数据加工放在同一包内交付的直接好处。 ##### 1.1.9 验证服务在项目中的位置 图 2 给出通用场景验证在数据流向上的位置与各方责任边界。图中实线为数据流，虚线为结论与整改流。 ##### 图 2　通用场景验证服务的数据流向与责任边界 甲方既有系统 协同办公：11 类制度 9 类合同文档 产品生命周期管理 历史投标档案 经营分析与报送 本包：数据加工生产 版面解析·结构还原 条款级切分·元数据 知识本体与知识库 标注·合成·增强 四类用途子集 本包：场景验证服务 基准分册构建与冻结 评测协议固化 四层验证执行 错样归因与任务单 验证报告与复测 场景建设方（不在本包） 五个助手的功能实现 界面与交互 权限配置与单点登录 部署上线与运维 时延与并发工程保障 原件 知识与样本 题批 答案与日志 错样归因：九个观测点定位 → 八个数据修复入口 定向回流 《数据集验证报告》（与数据集版本绑定） 版本发布的前置条件 运营服务管理平台：挂牌登记与版本档案 接入国家数据基础设施的随附材料 责任边界：虚线框内为场景建设方工作，本包不交付、不约束其实现方式，只按表 3 约定接入条件提交题批并取回结果； 本包对知识与样本的质量、验证结论的可复算性、以及错样到数据环节的归因负责。 整改任务单（问题类型·关联样本·影响范围·责任组·期限） 图 2　通用场景验证服务的数据流向与责任边界。数据来源：招标文件 3.2.6.5 划定的服务范围，3.2.2.2 对甲方提供文档类数据的说明，3.2.6.3.4 知识化环节与 3.2.6.3.9 数据集验证的接口关系。 #### 1.2 通用场景验证的共用方法 本部分给出五个场景共用的验证方法，并落实 3.2.6.3.9 数据集验证对实验设计、错样归因与验证报告的要求。五个场景只在题目构成、工具调用对象与指标取值上有差别，流程、判分、归因与降级机制一致。方法统一之后，五个场景的结论可以横向比较，验收口径不致因场景而异。 ##### 1.2.1 五阶段验证流程 验证按基准构建、协议冻结、执行评测、错样归因、整改复测五个阶段推进，每个阶段有明确的输入、输出与把关人。流程如图 3。 ##### 图 3　通用场景验证的五阶段流程与把关点 阶段一基准构建真实业务出题·专家终审 阶段二协议冻结题型·判分·种子·版本 阶段三执行评测四层并行·同题重测 阶段四错样归因九点定位·任务单 阶段五整改复测按错因类别整批复测 把关点 甲方业务专家题面与答案终审 协议经确认后冻结本轮内不得修改 机器判分与人工复核不一致转仲裁 归因结论经数据加工责任组确认 闭环结论双方签署随版本归档 各阶段的硬性约束 阶段一　基准题取自真实业务，不用编造题；基准评测子集不使用任何形式的合成数据。 阶段二　冻结后同协议、同基准版本、同模型与知识库版本下重跑，机器判分部分结果须一致，不一致先排除环境因素。 阶段三　四层验证在同一批题上并行观测，一次执行取齐四层数据，避免分次执行引入版本漂移。 阶段四　每个错样只归一个观测点；跨点的连锁失败按最上游的那一点归，避免同一缺陷被重复计数。 同协议重跑 图 3　通用场景验证的五阶段流程与把关点。数据来源：招标文件 3.2.6.3.9 对验证闭环与报告的要求，3.2.3.10.1 对评测协议可重复执行的要求，3.2.6.3.6 对基准评测子集不得使用合成数据的要求。 阶段一基准构建。题目来自真实业务，不来自编造。管理制度与技术标准场景的题目取自甲方各部门的实际咨询记录与业务专家出题；标书场景的题目取自历史招标文件与历史内部评审意见；决策数据场景的题目取自经营分析报告中实际被问过的指标与口径；合同场景的题目取自历史法务审查意见。每道题附标准答案、答案所依据的条款或指标定位、评分要点、题型标签与难度标签。基准评测子集不得使用任何形式的合成数据，通用场景的验证题目同守此规，按四条规则执行：题面与标准答案均取自真实业务记录，或由业务专家依据真实业务出题；分册经专家终审后独立冻结，冻结版本不参与训练数据的构建；任何由模型或模板生成的题目不得进入基准评测子集，含题面改写集在内的生成题只用于一致性观察，不计入主指标；每道题登记来源文件标识、来源类型、提供部门、取用日期与冻结版本号，并保留与训练样本的双向查重记录作为隔离证据。合成题的问法分布受生成模型自身偏好支配，与真实提问分布不一致，据以测得的指标不反映助手在真实业务问法上的表现；来源登记与隔离证据使这一约束可被逐题核查。登记字段见 1.2.16。 阶段二协议冻结。把题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则与指标口径写入评测协议并冻结，冻结后不得在本轮验证中修改。协议由多协议模型评测引擎工具链承载并版本化。冻结是可重复性的前提：同一协议、同一基准集版本、同一模型与知识库版本下重跑，机器判分部分的结果应当一致；不一致即视为执行环境异常，须先排除环境因素再继续。 阶段三执行评测。按题目批次通过统一网关提交，记录答案、引用的知识单元、检索命中列表、工具调用参数与结果、单次耗时。四层验证在同一批题上并行取数：任务层取答案与要点命中，链路层取检索命中列表、重排位次、工具调用记录与引用校验结果，知识层取被引知识单元的切分与元数据状态，数据层取该题所属考点在四类子集中的供给记录。机器判分先行，人工复核按分层抽样覆盖；机器判分与人工复核不一致的样本一律转人工仲裁，并计入判分策略的校准数据。同题重测用于观察稳定性：每道题在同一版本下重复提交三次，答案要点不一致的记为不稳定样本。 阶段四错样归因。失败样本先按图 1 的九个观测点定位，再按错因归类，归类维度见表 5。每一类对应唯一的修复入口。归因结论写成整改任务单，含问题类型、关联样本、影响范围、修订建议、责任组、优先级与整改期限，由数据贡献度归因与错题溯源工具链承载。 表 5　错因归类、判定依据与修复入口 | 错因类别 | 判定依据 | 观测点 | 修复入口 | 影响范围的估计方式 | |---|---|---|---|---| | 问法未覆盖 | 同一考点换成常规问法即答对 | ① | 指令微调子集按缺失类型补样本 | 按题型统计同类问法的失败率 | | 条件未补齐 | 关键条件缺失时未反问而直接作答 | ① | 拒答与澄清样本补对 | 统计需反问题目中实际反问的比例 | | 版本检查节点误判 | 返回已废止条款，或把现行条款误滤 | ② | 版本状态与替代关系登记 | 以标准或制度台账逐条核对 | | 权限门误判 | 放行越权知识单元，或把有权内容误滤 | ② | 密级与适用范围元数据 | 以三档账号跑同一分册比对 | | 检索未召回 | 标准答案依据的知识单元不在候选集内 | ③ | 条款级切分、索引与 RAG 数据构建 | 按证据召回率在分册上统计 | | 重排压位 | 正确证据在候选集内但未进入证据包 | ④ | 证据定位标注与重排特征 | 统计召回命中但未被引用的题目占比 | | 证据断句 | 答案所需条款被切成两段或并入邻条 | ④ | 切分边界与层级还原 | 以条款边界标注比对切分结果 | | 工具参数错 | 调用的指标、公式、比对对象或时间范围不对 | ⑤ | 指标知识库、规则库、工具调用样本 | 逐条复算工具调用记录 | | 引用不实 | 所引编号或单元格在原文中不存在 | ⑥ | 原文坐标与版本关系登记 | 对引用逐条回原文核验 | | 证据未采用 | 证据正确且进入证据包，答案仍遗漏要点 | ⑦ | 偏好对齐子集按偏好维度补对 | 统计证据正确而要点未命中的题目占比 | | 越界作答 | 无依据或口径不唯一时给出确定性结论 | ⑧ | 拒答样本与偏好对齐子集 | 以专设的无依据题测定 | | 血缘缺失 | 版本未登记，结论无法复算 | ⑨ | 血缘登记字段 | 抽查问答记录的字段完整性 | | 题面歧义 | 复核组对标准答案本身存在分歧 | — | 基准集本身，修订题面或替换题目 | 以复核一致性低的题目聚类识别 | 表 5 最后一行单列：它不是被测对象的问题，而是题目本身的问题。首轮验证中这一类通常占失败样本的一到两成；复核员之间判定不一致的题目，其结果不构成对助手能力的观测。这类题退回出题环节修订，修订记录随基准集版本留存。 阶段五整改复测。修复后以同一协议重跑，重跑范围为该错因类别涉及的全部题目，而不只是失败的那几道。只复测失败样本时，「修个案不修类别」的整改同样能通过复测；而同一类切分缺陷通常影响一批条款，只修被测到的那一条，其余条款的缺陷仍在。复测结果与首轮结果并列呈现，形成闭环记录。复测完成后，本轮的协议、分册、样本级结果、归因与整改记录按 1.2.19 一并封存。 ##### 1.2.2 链路层验证的执行方式 链路层是本节方法上的新增一层，执行方式需单独交代。链路层不另出题，与任务层共用同一批题，差别在于取数的粒度：任务层只看最终答案对不对，链路层把这道题在九个节点上的中间产物逐一取下来判。 取数依赖场景建设方按表 3 开放返回内容。返回齐备时，九个观测点中有七个可自动判定：检索命中列表给③，重排位次与证据包给④，工具调用记录给⑤，引用校验结果给⑥，拒答标志给⑧，日志字段给⑨，反问记录给①的一半。只有④中的证据断句与⑦的证据未采用需要人工复核介入——前者要把证据片段与原文条款边界比对，后者要判断遗漏的要点是否确实在证据里。 返回不齐备时，链路层按降级口径执行：对分册抽样不低于 30% 的题目做人工链路复盘，即由复核人员按同一问题在知识库中手工检索，判断正确证据是否可被检索到、是否完整、是否足以支撑标准答案的全部要点。这个做法测不出助手的检索实现好坏，但测得出数据侧的供给是否成立——而后者正是本包要负责的部分。报告中对两种口径分别标注，不混算。 链路层的判据按表 6 给出。表中阈值为首轮验证的下限值，目标值随版本迭代抬高，取值在每轮验证前书面约定。 表 6　链路层九个观测点的观测量与首轮下限值 | 观测点 | 观测量 | 测定方法 | 首轮下限值 | 不达时的处置 | |---|---|---|---|---| | ① 意图识别 | 要素识别正确率 | 以题目登记的要素标签比对识别结果 | ≥0.90 | 按失败问法类型回流补指令样本 | | ① 条件补齐 | 应反问题目的反问率 | 以专设的条件缺失题测定，每分册不少于 5% | ≥0.85 | 补澄清类样本与偏好对；复测 | | ② 版本检查节点 | 现行有效判定正确率 | 以制度或标准台账逐条核对 | ≥0.98 | 版本字段逐条修订，修订后整批重跑 | | ② 权限门 | 越权放行发生数 | 三档账号跑同一分册，统计放行越权单元的题目数 | 零发生为目标，出现即判不通过 | 不设有条件通过，密级字段逐条核验后重测 | | ③ 检索召回 | 证据召回率 Recall@5 | 以题目登记的证据定位与命中列表自动比对 | ≥0.90 | 按未召回条款聚类定位切分或索引缺陷 | | ④ 证据组装 | 证据完整率 | 证据片段与原文条款边界比对 | ≥0.92 | 回流切分环节调整边界规则 | | ④ 重排有效性 | 召回后被引用率 | 统计召回命中题目中证据实际进入答案的比例 | ≥0.90 | 补证据定位标注，复核重排特征取值 | | ⑤ 工具调用 | 调用正确率 | 逐条复算工具、参数、口径与结果 | ≥0.95 | 口径或规则库逐条修订；详见 1.2.3 | | ⑥ 引用校验 | 引用真实率 | 对答案所引编号与单元格回原文核验 | ≥0.99 | 原文坐标登记逐条修订 | | ⑦ 受控生成 | 要点覆盖率 | 规则匹配与语义相似度初判，分歧转人工 | ≥0.85 | 按遗漏要点类型补偏好对 | | ⑧ 拒答 | 应拒答题目的正确拒答率 | 以无依据题测定，每分册不少于 8% | ≥0.90 | 补拒答样本并重训奖励模型后复测 | | ⑨ 留痕 | 血缘字段完整率 | 抽查问答记录的必填字段 | ≥0.98 | 补登记字段；缺失期间的结论标注为不可复算 | ##### 1.2.3 工具调用正确性的判分 五个场景中有三个的核心能力落在工具调用上：决策数据场景的指标取数与确定性计算，合同场景的规则检查与跨文件比对，标书场景的审标规则与评分测算。招标文件在多协议模型评测引擎工具链中要求评测覆盖工具调用类任务场景，在指令数据生成工具链中要求指令样本覆盖工具调用任务类型。工具调用的判分与问答判分不同，须单独立规则。 工具调用的一次执行分四段，每段独立判定。第一段是工具选择：该问题是否该调工具、该调哪一个。第二段是参数构造：指标编码、时间范围、组织维度、比对对象、阈值是否填对。第三段是执行与结果：工具返回值是否可被独立复算。第四段是结果采用：答案里的数字是否就是工具返回的那一个，有没有被模型复述时改动。 四段分别判定的理由是它们的失败各自对应不同的修复入口。工具选择错，修复入口在指令样本的任务类型覆盖；参数构造错，修复入口在指标知识库或规则库的口径登记；执行结果错，修复入口在工具本身或其依赖的知识库条目；结果采用错，修复入口在偏好数据与生成约束。合成一个「工具调用准确率」会把四类问题混在一起，归因时还得再拆一遍。 表 7　工具调用四段判分规则 | 段 | 判定内容 | 判定方式 | 计为失败的情形 | |---|---|---|---| | 工具选择 | 是否调用、调用哪一个工具 | 与题目登记的应调工具比对 | 该调未调、不该调而调、调错工具 | | 参数构造 | 指标编码、口径版本、时间范围、维度、比对对象、阈值 | 逐字段与标准答案登记的参数比对 | 任一关键字段不符即判失败，并记录是哪一字段 | | 执行与结果 | 返回值能否按登记的公式与数据快照独立复算 | 由验证侧按同一快照复算一遍 | 复算结果与返回值不一致 | | 结果采用 | 答案中的数值、单位、口径说明与返回值是否一致 | 自动比对数值与单位字段 | 数值被改动、单位丢失、口径说明与实际调用不符 | 对决策数据与合同两个场景，第三段采用三路独立复算：一路由工具按登记公式执行，一路由验证侧独立实现同一公式复算，一路回到正式报表或原始条款核对。三路一致才判该题通过；两路一致时先自动重查口径与数据时点，仍不一致的只把差异项转人工裁定，不自行择一。这个做法比单路比对费工，但它是本场景唯一能把「数字对不对」与「口径对不对」分开看的办法——两路都按错口径算出同一个数的情形是存在的，三路里有一路回原始凭证就能把它挡住。 ##### 1.2.4 验证基准集的构成与规模 五个通用场景的验证题目在基准评测子集 0.95 万条的总量口径内按场景分册计列，不额外扩张基准子集总量。分册规模按场景的验证要求条数、业务提问多样性与链路层观测需要确定，见表 8。表中现场抽样题是不进入基准子集、仅用于人工现场演示与抽查的题目，单独编号管理，用完即归档，不参与指标统计以免污染基准。 表 8　五个通用场景的验证基准集分册规模与题型构成 | 场景 | 基准分册题量 | 题型构成 | 专设题占比 | 主要承载业务域 | 现场抽样题 | |---|---|---|---|---|---| | 管理制度智能问答 | 500 条 | 条款定位 140·语义解读 110·跨制度咨询 100·引用关系判断 50·版本效力辨析 50·岗位权限适用 30·例外与特殊情形 20 | 无依据题 8%·条件缺失题 5%·干扰题 5%·版本失效题 5%·权限越界题 4%·工具失败题 3% | 跨域通用语料 | 40 条 | | 技术标准智能问答 | 500 条 | 参数限值查询 130·适用条件判定 60·条文解读 90·多轮追问 80·版本替代辨析 50·跨标准条款冲突 30·表格取值 40·公式应用 20 | 无依据题 8%·条件缺失题 7%·干扰题 5%·版本失效题 6%·权限越界题 4%·工具失败题 4% | 产品工艺设计域、跨域通用语料 | 40 条 | | 标书智能问答 | 500 条 | 条款定位 90·资格与资质要素抽取 70·技术要素抽取 60·商务要素抽取 50·漏项检查 60·内容生成 110·文件评审 60 | 无依据题 8%·条件缺失题 5%·干扰题 6%·版本失效题 5%·权限越界题 4%·工具失败题 3% | 供需计划域 | 40 条 | | 决策数据智能问答 | 600 条 | 指标口径辨识 70·时间粒度与期间解析 70·确定性计算 120·查询权限边界 40·多维分析 100·异动归因 120·多轮上下文 80 | 无依据题 8%·条件缺失题 6%·干扰题 4%·版本失效题 5%·权限越界题 6%·工具失败题 5% | 九个业务域指标体系 | 50 条 | | 合同合规智能审查 | 300 条 | 条款与要素识别 80·规则依据引用 50·跨文件冲突 50·风险识别与分级 80·人工复核转交判定 20·修改建议判定 20 | 无依据题 8%·条件缺失题 5%·干扰题 5%·版本失效题 5%·权限越界题 4%·工具失败题 5% | 供需计划域 | 30 条 | | 合计 | 2,400 条 | — | — | — | 200 条 | 注：合计 2,400 条在基准评测数据集 0.95 万条口径内列计，其中供需计划域承载标书与合同两个场景共 800 条，其余在跨域通用分册与相应业务域分册内列计。专业场景验证题目另行分册。专设题占比为分册内的比例，不额外加题；其中版本失效题、权限越界题与工具失败题按 1.2.18 的四类专项测试构造，与无依据题合并构成边界条件测试，独立编号、独立统计。各场景的题型按其业务判别要点分设，差异见各场景的题型与评分式表。 基准集有四条纪律。四条中任一放松，分册所测得的指标即不具备可信度。 第一条是与训练集隔离。凡进入基准分册的题面及其证据原文，不得出现在指令微调子集与偏好数据中。入册前以数据去重与相似度过滤工具链做双向查重，相似度超过阈值的题目退回重出。隔离按来源与时间双重切分：来源上不共用同一段原文，时间上基准题所依据的文件版本与训练样本所依据的版本分期取用。 第二条是专家终审。每道题的标准答案与评分要点须经甲方相应业务部门专家确认，未经终审的题目不计入正式验证。终审留记录，记录内容包括确认人所属部门、确认日期与修订意见；个人姓名不进入对外交付的验证档案，只记部门与岗位。 第三条是题面改写集。每个分册另备 15% 的改写题，同一考点换一种问法，用于观察助手是否对特定问法过拟合。改写题与原题的得分差超过 10 个百分点时，该考点的结论标注为待复核，并在报告中单列。改写由文本重写与多样化工具链生成后经人工筛选，生成的改写题只用于观察一致性，不计入主指标。 第四条是难度分层。每道题标注难度标签，分简单、中等、困难三档：简单题为单条款单证据，中等题为跨条款或需条件判断，困难题为跨文件、跨版本或需工具调用链。三档按约定比例构成分册，报告中按档位分别给出指标。只报总体准确率会掩盖一件事——困难题的占比稍一变动，总体数字就跟着动，而验收时看到的那个数字究竟对应什么难度构成，事后无从追查。 ##### 1.2.5 指标体系 五个场景的指标分五组。知识组衡量知识层，链路组衡量链路层，任务组衡量端到端答案质量，效率组衡量相对人工作业的改善，稳定与合规组衡量可用性底线。各组指标的定义与测定方法见表 9。 表 9　通用场景验证指标的定义与测定方法 | 指标组 | 指标 | 定义 | 测定方法 | |---|---|---|---| | 知识 | 条款收录率 | 原文条款在知识库中存在对应知识单元的比例 | 分层抽样后逐条比对 | | 知识 | 切分完整率 | 知识单元边界与原文条款边界一致的比例 | 以条款边界标注比对切分结果，自动统计 | | 知识 | 层级还原率 | 章、节、条、款、项的层级关系与原文一致的比例 | 层级路径与原文目录结构比对 | | 知识 | 核心元数据抽取正确率 | 名称、编号、发布部门、生效日期等字段抽取正确的比例 | 逐份人工核对 | | 知识 | 判定类元数据正确率 | 适用范围、层级、密级、版本状态等需判定字段的正确比例 | 与主数据比对后由业务专家判定 | | 链路 | 见表 6 九项 | — | — | | 任务 | 答案要点覆盖率 | 答案命中评分要点的比例，按要点加权 | 规则匹配与语义相似度初判，分歧转人工 | | 任务 | 引用正确率 | 答案给出的条款编号、标准号、单元格、指标口径与实际一致的比例 | 自动比对编号与口径字段 | | 任务 | 判定类题目准确率 | 风险识别、合规判定、冲突识别等判定题的正确比例 | 与标准答案的判定结论比对 | | 任务 | 多轮一致性 | 多轮对话中上下文条件被正确继承的轮次比例 | 以多轮题的轮级标注逐轮比对 | | 效率 | 相对人工缩短幅度 | （人工基线时长－助手时长）／人工基线时长 | 同题人工对照组计时，对照组不少于 3 人 | | 效率 | 响应时长分位值 | 单题从提交到返回带引用答案的时长第 95 百分位 | 验证窗口内的请求日志统计 | | 稳定与合规 | 同题一致率 | 同一题重复三次，答案要点一致的题目占比 | 三次结果自动比对 | | 稳定与合规 | 越权放行发生数 | 返回了提问账号无权访问的知识单元的题目数 | 以三档权限账号分别跑同一分册 | | 稳定与合规 | 敏感字段外露发生数 | 答案中出现应去标识化字段的题目数 | 敏感信息识别规则自动扫描加人工抽查 | 效率指标的人工基线必须实测，不引用行业经验值。做法是在验证前组织人工对照：同一批题目交由甲方相应岗位人员在现行工作方式下作答并计时，取中位数作为基线。对照组人员的岗龄与熟练度分布记入报告，避免用新手基线夸大改善幅度；对照组不少于三人，取中位数而非均值，以免个别极值主导结果。人工基线实测前，效率类指标在报告中留空而不填预估值。此项为硬性规定：未实测的基线无法支撑相对改善幅度的复算，由其导出的效率数值不具备验收依据。 ##### 1.2.6 判分策略与人工复核 招标文件要求多种判分策略融合，支持精确匹配、语义相似度、规则约束与模型裁判等方式。本节的判分按题型分配策略，不搞一刀切。 有唯一答案的题用精确匹配，包括条款编号、标准号、参数限值、表格单元格取值、指标数值。这类题占五个分册的四成左右，判分无歧义，可整批自动执行。 有标准要点的题用要点规则匹配加语义相似度，包括条文解读、风险识别、合规判定。这类题的判分把标准答案拆成若干要点，逐要点判命中，按要点权重加总；语义相似度只用于判断表述不同但意思相同的情形，阈值在协议中写定。 开放度较高的题用模型裁判初判加人工复核，包括修改建议、分析结论、生成内容质量。模型裁判的采信有前置条件：在每个分册上先取 100 道题做裁判校准，模型裁判结论与人工仲裁结论的一致率达到 0.85 以上，该分册方可采用模型裁判初判；低于 0.85 时该分册转人工判分，并把评分细则退回修订。这一条写入协议：未经校准的模型裁判不得用于正式判分。校准数据随协议留存，复算时可重跑。 人工复核采用双人独立判分加第三方仲裁。两人判分不一致的样本转仲裁，仲裁结论为准。复核组内一致性以 Kappa 系数衡量，低于 0.75 时暂停该分册复核、重新对齐评分细则后再启动，已判样本重判。复核人员须来自甲方相应业务领域或经业务专家培训并通过试判，试判题不少于 30 道，试判结果与标准答案的一致率低于 0.80 的不进入正式复核。 表 10　判分策略与人工复核投入的对应 | 题型 | 判分策略 | 自动判分占比 | 人工复核抽样比例 | 复核资格要求 | |---|---|---|---|---| | 条款定位、参数限值、单元格取值、指标数值 | 精确匹配 | 高 | ≥10% | 经培训并通过试判 | | 条文解读、语义解读、多文档咨询 | 要点规则＋语义相似度 | 中 | ≥30% | 相应业务领域人员 | | 风险识别、合规判定、冲突识别 | 要点规则＋判定结论比对 | 中 | ≥40% | 相应业务领域人员 | | 内容生成、修改建议、分析结论 | 模型裁判初判＋人工复核 | 低 | 100 道校准后按分册 ≥50% | 业务专家或经专家培训 | | 多轮上下文、条件缺失、无依据题 | 规则约束＋人工判定 | 中 | ≥30% | 经培训并通过试判 | ##### 1.2.7 通过判据与回退机制 每个场景的每一项验证要求都有三级判据：通过、有条件通过、不通过。三级的处置不同，见表 11。设置有条件通过一档，是因为通用场景的能力受知识库完备度影响很大，首轮验证中常见的情形是方向正确但覆盖不足——条款切分规则对九成文件有效、对附表形式的那一成失效。这类情形直接判不通过会掩盖已经成立的部分，直接判通过又会把缺口带到下一阶段。 表 11　三级判据及其处置 | 判据 | 含义 | 处置 | 对后续的影响 | |---|---|---|---| | 通过 | 该项各项指标达到目标值 | 记入验证报告，该项在本版本上结论成立 | 不阻断数据集版本发布 | | 有条件通过 | 主要指标达到下限值但未达目标值，或次要指标未达下限 | 按 1.2.20 登记差距、可用与不可用范围、未结项、责任组与期限，出整改任务单；限期修复后对该错因类别涉及的全部题目复测，复测达目标值转通过，未达则按不通过处置 | 不阻断本版本发布，但缺口与未结项在报告中明列并带入下一版本；不等同于最终验收通过 | | 不通过 | 主要指标未达下限值 | 定位到相应数据子集与知识环节回流修复，修复后重新完整验证该项；连续两轮未达下限的，提请甲方与场景建设方共同评审，调整该项的验证口径或数据供给范围，评审结论记入验证报告 | 阻断该版本数据集在本场景上的可用性结论 | 三项例外不设有条件通过一档，直接按通过或不通过判定：权限门的越权放行、引用不实，以及以已废止内容作为执行依据。三者的后果都不随比例递减。放行了一条越权内容，不因为只放行了一条而可以接受；给出一个查不到出处的条款编号，使用者据以办事的后果与给出十个相同；以一条已废止条款作为执行依据，其后果同样落在据以办事的那一次。三项出现即判不通过，整改后重测。有条件通过项的登记内容与转归路径见 1.2.20。 目标值与下限值按场景分别给出，见各场景末尾的指标表。取值原则有三条。首轮验证的目标值按已具备的数据条件设定，随数据集版本迭代逐版抬高，每一版的取值在验证前书面约定并经甲方确认。各版的取值与达成情况在验证报告中并列记录，使指标的走势可见而不只是看最后一版。我方不在投标阶段承诺某项指标在首轮即达到上限，也不以绝对化的表述描述验证结果；凡招标文件要求覆盖的维度，我方以逐版抬高覆盖率的方式趋向完整，每一版的缺口在报告中明列。 回退机制按三档设置。第一档是指标回退：某项能力在当期数据条件下达不到目标值时，该项按下限值继续运行并在报告中标明当前档位，其余各项不受影响。第二档是范围回退：某类对象（如扫描质量过低的历史制度、缺失附件的历史合同）在当期无法支撑验证结论时，将该类对象从本轮验证范围中单列，报告中注明未覆盖范围与原因，下一轮补做。第三档是方法回退：场景侧接入条件不具备时按表 3 的降级口径执行，只出数据层、知识层与链路层结论，任务层待条件具备后补测。三档回退都要求在报告中显式标注，不以静默缩小范围的方式达成指标。 ##### 1.2.8 防失真措施 验证容易在四处失真，各设一道措施。四处失真都不在指标报表上留下痕迹，须以流程规定在执行阶段挡住。 第一处是泄题。基准集与训练数据的双向查重已在 1.2.4 述及。除此之外，基准分册在验证窗口外不对场景建设方开放；验证结束后题面不回流至训练环节；需要用于训练的题目另行出题，与基准分册不共用来源文件的同一段落。每轮验证前对分册做一次泄露检查：抽取 50 道题，检查其题面与证据原文是否出现在当期训练样本中，发现即替换该题并扩大检查范围。 第二处是过拟合于问法。除题面改写集外，验证中混入无依据题与干扰题。无依据题问的是知识库确实没有依据的事项，考察助手是否会编造；干扰题在题面中掺入与本题无关但表述相近的条款名称或指标别名，考察检索是否被表面相似性带偏。两类题的占比在表 8 中按分册给出，题目来源与正常题分开管理。 第三处是口径漂移。同一指标在不同轮次的测法必须一致，测法变更须作为协议变更单独记录并说明影响，变更前后的数据在报告中分列而不合并。涉及人工判分的指标，每轮复核前以 20 道标杆题做校准，校准结果不一致时先对齐再开工。标杆题跨轮固定，不随分册更新而更换，这样复核尺度的漂移才能被观测到。 第四处是样本选择。分层抽样的分层依据与抽样比例在协议中写定，执行时按固定随机种子抽取，抽样清单随报告留存。不允许在看过结果之后调整抽样范围。复核工作量紧张时按易判程度调整抽样顺序，会系统性地抬高指标，故抽样顺序一并由固定种子确定，不在执行中改动。 ##### 1.2.9 验证环境与数据安全 验证在甲方内网环境执行。制度、合同、标书与经营指标均属企业秘密数据，不出内网。涉及模型调用时经统一网关提交并记录调用范围与数据出域情况；凡含敏感字段的题面与证据，先经去标识化处理再提交，出域内容以去标识化后的文本为限。个人信息字段在入库阶段即完成去标识化，验证过程不解密。 验证账号按分级权限配置，至少设普通岗位、部门管理、公司管理三档。越权放行一项以三档账号分别跑同一分册测定：同一题在低权限账号下应当返回权限不足，或仅返回其可见范围内的内容。这一项不达判据即判不通过，不设有条件通过。 五个场景中有三类对象需要额外的处理口径，单独写明。技术标准中的外部标准文本涉及版权，验证只使用经授权导入的电子件，题面引用以条款编号与必要片段为限，不在验证档案中附标准全文。历史投标文件与合同含客户信息与报价，题面与证据一律用去标识化后的版本，客户名称替换为代号并保留映射表于内网，映射表不随验证档案交付。经营指标数据按分级脱敏后使用，关键利润与成本指标的具体数值在对外交付的验证报告中以区间或相对值表示。 全过程留审计日志，记录提交时间、账号、题目批次、返回的知识单元与工具调用参数。日志保留至项目验收后不少于 12 个月，并按甲方要求的留存期限延长。 ##### 1.2.10 数据层验证：四类用途子集与四个模型版本 数据层对应招标文件 3.2.6.3.9 数据集验证的五项实验，五项实验在五个通用场景上的落法如下。 四类用途子集的规模口径是：预训练子集 615 亿 Token、指令微调子集 89 万条、人类偏好对齐子集 6.6 万组、基准评测子集 0.95 万条。五个通用场景消费的是其中与制度、标准、招投标、合同、指标相关的部分，分布在供需计划域与跨域通用语料中。数据层验证不重复整个数据集的验证工作，只回答一个问题：就这五个场景而言，四类子集的供给是否成立。 第一项实验是继续预训练。以领域知识探针测量知识注入的有效性。探针题由制度条款事实、标准参数限值、合同常规条款表述与指标定义构成，每类不少于 200 道，题型为填空与单项判断，考察的是知识是否被注入而非是否会调用检索。做法是在继续预训练前后分别用同一组探针测量，比较答对率变化；同时测量保留语料的困惑度变化，用于观察是否出现灾难性遗忘。探针题与基准分册不共用题面，避免同一批题既当训练效果证据又当场景验证证据。 第二项实验是指令微调。看四件事：提问类型覆盖，把五个场景的真实提问按类型归并，核对指令微调子集中是否有对应类型的样本，缺哪一类即为覆盖盲区；指令遵循，考察模型是否按要求的格式输出，包括给出条款编号、标注版本、列出引用来源，这一项直接影响任务层的引用正确率；长上下文理解，技术标准与招投标文件都是长文，题目构造为在长文中埋设目标条款并观察是否被正确引用；工具调用，考察模型是否按任务类型正确选择工具并构造参数，这一项对应链路层⑤。 第三项实验是偏好对齐。针对本场景的三组偏好：带引用的回答优于不带引用的回答，无证据时拒答优于编造，口径不唯一时反问优于择一作答。做法是从偏好子集中抽取与五个场景相关的偏好对，训练奖励模型后在留出集上测偏好判别准确率；再以对齐后的模型跑无依据题与口径歧义题，观察正确拒答率与反问率是否提升。这一条把 2.8 的防编造措施与数据供给连了起来——拒答能力依赖偏好数据训练得来，不以提示约束代替。 第四项实验是基准评测。在固化的评测协议下对四个模型版本执行标准化评测：基座模型、继续预训练模型、微调模型、对齐模型。五个场景的能力维度各自取定后，输出各版本的能力增量与能力雷达图。这一项是把数据集价值量化出来的唯一途径——数据集好不好，最终体现为「用了它之后模型在这五个场景上强了多少」，而不是数据集自身的任何静态指标。四个版本的对照安排见表 12。 第五项实验是场景任务检验，即 1.3 至 1.7 节逐场景展开的内容，输出各场景的可用性结论；不达预期的定位至相应数据子集并回流修复。 ##### 图 4　四类用途子集、四个模型版本与五个场景能力增量的对应 四类用途子集（本包交付） 预训练子集615 亿 Token 指令微调子集89 万条 偏好对齐子集6.6 万组 基准评测子集0.95 万条·分册 2400 四个模型版本（经统一网关评测） M0 基座模型 M1 继续预训练知识注入 M2 指令微调指令遵循·工具调用 M3 偏好对齐引用·拒答·反问 同一协议下的标准化评测 同一基准分册 同一判分规则与随机种子 同一知识库版本 四个版本逐一跑同一批题 输出：各版本样本级结果 　　　版本间能力增量 　　　能力雷达图 　　　失败样本清单 承载：多协议模型评测引擎 五个场景的能力维度 制度：条款定位·引用关系 标准：数表取值·版本辨析 标书：要点抽取·受约束生成 决策：口径匹配·工具调用 合同：要素抽取·风险判定 公共维度：引用真实性 　　　　　无据拒答 　　　　　多轮一致性 　　　　　长上下文定位 增量归因：某一维度在 M1→M2 无提升，先查指令子集该类型样本是否缺失；在 M2→M3 无提升，先查偏好对是否覆盖该偏好维度； M0→M1 无提升而检索到位后答对，说明该知识宜留在知识库而不必注入权重——这一结论直接影响下一版语料的取用范围。 模型侧的训练与推理执行、算力适配与网关接入见行业大模型训练推理技术服务章节；本节只给协议、基准与判据， 并对评测结论与增量归因负责。四个版本一律经统一网关调用，版本标识随结论登记，结论可按同一协议复算。 图 4　四类用途子集、四个模型版本与五个场景能力增量的对应。数据来源：招标文件 3.2.6.3.9 数据集验证五项实验，四类子集规模按 3.2.6.4 逐数据集规模表，3.2.3.10.1 多协议模型评测引擎工具链。 表 12　四个模型版本在五个场景上的评测安排与预期增量来源 | 模型版本 | 训练数据来源 | 在五个场景上重点观测的维度 | 增量的预期来源 | 不出现增量时的首查方向 | |---|---|---|---|---| | M0 基座模型 | 无（原样评测） | 各场景全部维度，作为对照基线 | — | — | | M1 继续预训练 | 预训练子集中制度、标准、合同、招投标长文与指标定义语料 | 领域术语理解、长文定位、专业表述规范性 | 领域语料的知识注入 | 语料采集范围与去重去噪环节；若检索到位即答对，说明该知识宜留在知识库 | | M2 指令微调 | 指令微调子集中五个场景的问答与抽取样本 | 指令遵循、输出格式、要素抽取、工具选择与参数构造 | 提问类型覆盖与格式约束样本 | 指令数据生成环节，按缺失任务类型补样本 | | M3 偏好对齐 | 偏好对齐子集的三组偏好对 | 引用完整性、无据拒答、口径歧义反问、答案要点组织 | 偏好对的维度覆盖与标注一致性 | 偏好样本构造环节，按偏好维度补对 | 表 13　四类用途子集在五个通用场景上的数据层验证方式 | 用途子集 | 本场景相关内容 | 验证方式 | 观测量 | 不达预期时的回流入口 | |---|---|---|---|---| | 预训练子集 | 制度、标准、合同、招投标长文本与指标定义语料 | 继续预训练前后以同一组知识探针测量 | 探针答对率变化、保留语料困惑度变化 | 语料采集范围与去重去噪环节 | | 指令微调子集 | 制度问答、标准问答、标书问答、查数问答、合同审查与工具调用指令样本 | 提问类型覆盖核对，指令遵循、长上下文与工具调用专项测试 | 类型覆盖率、格式遵循率、长文定位正确率、工具选择正确率 | 指令数据生成与合成环节，按缺失类型补样本 | | 偏好对齐子集 | 带引用优于不带引用、无据拒答优于编造、口径歧义反问优于择一三组偏好 | 训练奖励模型后在留出集上测判别准确率；对齐后跑无依据题与歧义题 | 偏好判别准确率、正确拒答率与反问率提升幅度 | 偏好样本构造环节，按偏好维度补对 | | 基准评测子集 | 五场景分册合计 2,400 条 | 按 1.2.4 构建、专家终审、与训练集双向查重后冻结 | 题目终审通过率、与训练集重复率、难度分布符合度 | 基准集本身，修订题面或替换题目 | 表 14　五个通用场景与各用途子集的供给对应 | 场景 | 预训练语料面 | 指令样本类型 | 偏好维度 | 工具调用样本 | 基准分册 | |---|---|---|---|---|---| | 管理制度智能问答 | 11 类管理制度全文及附件 | 条款定位、语义解读、跨制度咨询、冲突候选判定 | 引用完整性、拒答正确性 | 版本对比、引用关系查询 | 500 条 | | 技术标准智能问答 | 国标、行标、企标、设计手册、内部工艺规范 | 参数查询、条文解读、多轮追问、版本辨析、单元格取值 | 版本标注完整性、数值精确性 | 表格取值、单位换算、公式计算 | 500 条 | | 标书智能问答 | 历史招标文件、历史投标文件、模板库 | 要点抽取、风险标注、受约束生成、评审判定 | 事实可回溯性、缺口显式提示 | 审标规则检查、评分测算、材料匹配 | 500 条 | | 决策数据智能问答 | 经营分析报告、专题报告、指标口径说明 | 指标识别、维度解析、异动归因、多轮追问 | 口径唯一性、无据不推断 | 指标取数、同比环比、预算偏差、对账 | 600 条 | | 合同合规智能审查 | 合同文本、法规条文、制度条文、审查意见 | 要素抽取、风险识别、依据引用、建议生成 | 依据引用准确性、结论强度分层 | 规则检查、跨文件比对、金额与税率校验 | 300 条 | ##### 1.2.11 验证执行对专项智能工具链的调用 本节的验证执行不另建工具，调用招标文件要求交付的 9 类 25 个专项智能工具链。表 15 给出五个场景验证各环节对工具链的调用对应。验证执行的工程基础在本项目交付范围内，不依赖额外采购；归因时，一个数据缺陷按此对应关系回指到产生它的工具环节，不停在「数据有问题」一层。 表 15　验证执行对 25 个专项智能工具链的调用对应 | 验证环节 | 调用的工具链 | 调用目的 | 相关场景 | |---|---|---|---| | 知识层·条款切分核验 | 3. 文档切分与拼接 | 取切分结果与边界记录，与条款边界标注比对 | 五个场景 | | 知识层·索引与召回核验 | 4. RAG 数据构建 | 取向量化与索引配置，复算证据召回率 | 五个场景 | | 知识层·版面与表格核验 | 5. 文档结构解析 | 取版面解析、表格与公式重建结果，核验单元格级精度 | 标准、标书、合同 | | 知识层·图纸类附件 | 9. 设备图纸与工艺图结构化抽取 | 核验标准附图与技术附件中的参数抽取 | 技术标准 | | 数据层·证据定位标注 | 12. 大模型预标注、15. 一致性校验标注 | 取标注结果与一致性记录，作为判分依据 | 五个场景 | | 数据层·本体与规则标注 | 14. 本体驱动规则标注 | 取要素标注与规则命中记录，核验合同要素与指标口径 | 合同、决策数据 | | 数据层·难例补标 | 13. 主动学习标注 | 按归因结论挑出难例补标，优先处理失败聚类 | 五个场景 | | 数据层·提问类型补样本 | 16. 指令数据生成 | 按覆盖盲区补指令样本，含工具调用类型 | 五个场景 | | 基准集·题面改写集 | 18. 文本重写与多样化 | 生成同考点改写题，观察问法过拟合 | 五个场景 | | 基准集·双向查重 | 19. 数据去重与相似度过滤 | 基准题与训练样本的双向查重，超阈值退回重出 | 五个场景 | | 基准集·难度与分布 | 20. 数据分布分析与均衡 | 核验分册的难度分布与题型配比符合协议 | 五个场景 | | 基准集·切分与构建 | 22. 数据集切分与基准构建 | 按来源与时间双重切分，构建并冻结分册 | 五个场景 | | 多轮题构造 | 6. 对话模拟生成、8. 对话质量筛选 | 构造多轮追问题并筛除低质对话样本 | 标准、决策数据 | | 执行评测 | 23. 多协议模型评测引擎 | 承载协议、执行评测、输出样本级结果与雷达图 | 五个场景 | | 错样归因 | 24. 数据贡献度归因与错题溯源 | 按九个观测点定位，输出失败样本清单与归因报告 | 五个场景 | | 版本可复算 | 25. 数据集与模型版本血缘追溯 | 登记基准集、模型、知识库版本与评测任务的依赖关系 | 五个场景 | 表 15 中未列入的工具链（1、2 思维链构建类，7 结构化工单转对话，10 视频与文本对齐，11 传感器时序与运维事件对齐，17 工单与故障场景模拟生成，21 模板化数据生成）主要服务于专业场景的多模态与设备类数据，在通用场景的验证中不直接调用。其中第 21 项在合同与标书两个场景的样本构造上有间接作用，但不参与验证执行，故不列入本表。 ##### 1.2.12 评测协议的内容清单 评测协议是验证可复算的载体，也是冻结的对象。同一批题目在不同轮次得出不同分数，原因多数不在模型本身，而在抽样种子、判分尺度、知识库版本、接入条件这类未被登记的变量上；只要有一项未固定，两轮结果的差异就无从归因，指标也随之失去比较意义。表 16 把这些变量逐项列明，使一轮验证的执行条件可由第三方按同一口径重建。 条目的取舍有三处来由：《高质量数据集质量评测规范》对评测过程可追溯、结果可重现的要求；甲方对各场景准确率类指标须有明确统计范围与口径的要求；以及评测执行中反复出现的四类失真——题面泄露、判分漂移、版本混轮、基线缺失。 表的第三列是判据。标注「不可变更」的条目构成结论成立的前提，冻结后一经改动即视为新一轮验证，前后结果不合并计数；标注「每轮登记」的条目允许随轮次变化，但须逐轮记录，它们是解释两轮取值差异的证据来源。前两列是证据，说明每一条目登记到何种颗粒度方算完整，其中判分规则与指标口径两行最为吃紧，二者决定同一份作答能否得到同一个分数。 协议在每场景首轮验证启动前编制，经甲方业务专家确认后冻结，并作为交付物随验证报告提交。协议齐备是验证结论可被独立复算一次的前提；任一条目缺登记的，该轮相应结论按 1.2.19 标注为不可复算，限期补登记后重测。 表 16　评测协议的内容清单 | 协议条目 | 内容 | 冻结后可否变更 | |---|---|---| | 基准集标识 | 分册编号、版本号、题量、难度分布、专设题占比 | 不可变更，变更即新版本 | | 题型与能力维度 | 题型清单、每题型对应的能力维度、维度权重 | 不可变更 | | 判分规则 | 各题型的判分策略、要点权重、语义相似度阈值、模型裁判校准结果 | 不可变更 | | 随机种子 | 抽样种子、模型调用的采样参数 | 不可变更 | | 模型与知识库版本 | 被测模型版本、知识库版本、检索配置、工具版本 | 每轮登记，跨轮不合并 | | 人工复核规则 | 抽样比例、分层依据、双人判分与仲裁规则、Kappa 下限、标杆题清单 | 不可变更 | | 指标口径 | 各指标的定义、计算式、统计范围、目标值与下限值 | 不可变更 | | 效率基线 | 人工对照组构成、计时方式、基线取值 | 基线实测后登记，不可回溯调整 | | 接入与降级 | 本轮实际接入条件、采用的降级口径、受限范围 | 每轮登记 | | 例外与豁免 | 本轮排除的对象类别及其原因 | 每轮登记，须经甲方确认 | ##### 1.2.13 人工复核作业规程 五个场景的多数指标含主观判定，复核质量决定结论可信度。复核按四步作业。 第一步是资格与试判。复核人员须来自甲方相应业务领域，或经业务专家培训并通过试判；试判题不少于 30 道，与标准答案一致率低于 0.80 的不进入正式复核。试判记录留存。 第二步是尺度校准。每轮复核开工前以 20 道标杆题校准，两名复核员独立判分后比对，不一致的先对齐评分细则再开工。标杆题跨轮固定。 第三步是双人独立判分。同一样本由两人独立判，判分过程中不交流、不看对方结果。两人一致的样本采信；不一致的转第三方仲裁，仲裁人不参与前两轮判分。 第四步是一致性监控与重判。组内一致性按 Kappa 系数逐批统计，低于 0.75 时暂停该分册复核，重新对齐评分细则后再启动，已判样本重判。统计结果随验证报告提交。 表 17　人工复核的工作量控制 | 控制项 | 规定 | 理由 | |---|---|---| | 单人单日判分上限 | 不超过 80 道中等难度题，困难题折算为 1.5 道 | 超量判分的一致性显著下降，宁可延长周期 | | 连续作业时长 | 单次不超过 3 小时，日内不超过两段 | 判分是密集比对作业，疲劳直接影响尺度 | | 复核与出题分离 | 参与某分册出题的人员不参与该分册复核 | 出题人知道答案依据，判分时无法保持独立 | | 仲裁独立性 | 仲裁人不参与同一样本的前两轮判分 | 仲裁是终局结论，须独立形成 | ##### 1.2.14 难度分级、抽样与统计口径 统计口径须在协议中写定，否则同一批结果可以算出不同的数字。本节的口径规定如下。 难度分三档。简单题为单条款单证据，答案可由一条知识单元直接支撑。中等题为跨条款或需条件判断，答案须综合两条以上知识单元，或须先判断适用条件再取值。困难题为跨文件、跨版本或需工具调用链，答案须跨两份以上文件比对，或须先调用工具得出中间结果再组织答案。三档的构成比例在协议中写定，报告中按档位分别给出指标，同时给出按档位加权的综合值与权重取法。 抽样按分层随机。分层依据为题型与难度两维，各层按比例抽取，抽样比例按表 10 执行。抽样用固定随机种子，抽样清单随报告留存，不在看过结果后调整。 统计口径有四条规定。分母为实际提交并取得返回的题目数，超时与接口异常的题目单列统计，不计入分母也不丢弃。多轮题以轮为统计单位时须注明，不与单轮题混算。按要点加权的指标须给出要点权重表。区间估计按样本量给出置信区间，样本量不足 100 的层只报点值并注明样本量。 ##### 1.2.15 验证结论的表述规范 验证报告的结论表述有三条规范，目的是使报告在交付之后仍然读得准。 第一条是结论与口径同现。每一项结论须同时给出验证口径、样本范围、模型与知识库版本，以及未覆盖项。不带口径的结论不写入报告。 第二条是能力结论与承诺分开。验证报告给出的是「在本版本数据集与本版本模型下，该项能力的观测结果」，不是场景上线后的性能承诺。助手的输出在业务中的定位是辅助结论，最终判定归相应业务岗位；报告中对此逐场景写明，避免结论被当作上线承诺引用。 第三条是避免绝对化表述。本节不以绝对化的措辞描述任何验证结果，凡招标文件要求覆盖的维度，以逐版抬高覆盖率的方式趋向完整，每一版的缺口在报告中明列。涉及趋零的目标（如越权放行、引用不实）按「以零发生为目标」表述，并同时给出测定用例集、复测周期与出现时的阻断规则。 ##### 1.2.16 基准样本的字段、来源登记与隔离证据 每道基准题以一条样本记录登记，字段分标识、题面、答案与依据、来源与隔离四组。字段不齐的样本不进入冻结分册。 表 17A　基准样本的登记字段 | 字段组 | 字段 | 取值要求 | 缺失时的处置 | |---|---|---|---| | 标识 | 分册编号、题号、题型标签、能力维度标签、难度标签 | 按协议写定的取值域取值 | 不得入册 | | 标识 | 考点标识 | 指向一个可定位的业务考点；同考点的改写题共用该标识 | 不得入册 | | 题面 | 问题文本、提问角色与权限档、提问时点、题面附带的条件 | 文本取自真实咨询记录，或由业务专家依据真实业务出题 | 不得入册 | | 题面 | 多轮题的轮次序列与各轮的条件变化 | 逐轮登记变更项与继承项 | 降为单轮题或退回重出 | | 答案与依据 | 标准答案文本、评分要点与要点权重 | 要点权重之和为 1 | 不得入册 | | 答案与依据 | 依据定位 | 定位到制度或标准编号与条款号、表号与单元格坐标、或指标编码与口径版本 | 不得入册 | | 答案与依据 | 应调用工具与应填参数 | 工具调用类题目必填，含口径版本与时间范围 | 该题不计入工具调用指标 | | 答案与依据 | 门控期望值 | 版本检查节点、权限门、引用校验门的应然结果 | 该题不计入门控指标 | | 来源与隔离 | 来源文件标识、来源类型、提供部门、取用日期 | 来源类型取真实咨询记录、业务专家出题、历史档案三类之一 | 不得入册 | | 来源与隔离 | 与训练样本的双向查重结果与所用阈值 | 相似度低于协议阈值方可入册 | 不得入册 | | 来源与隔离 | 冻结版本号与终审记录 | 记录确认部门、岗位与日期 | 不得入册 | | 来源与隔离 | 隔离切分依据 | 按来源与时间两维记录切分点 | 不得入册 | 来源与隔离两组字段是基准集可信度的凭证：来源字段使每道题可回到其业务出处核验，隔离字段使「基准题未参与训练」这一前提可被逐题复核，而不依赖口头确认。两组字段随分册一同冻结，验证结束后与结果一并封存。 五个场景在上述统一字段之外另有扩展字段，见表 17B。扩展字段决定各场景题型能否按其业务判别要点判分，缺字段的题目按该题型不可判处理。 表 17B　五个场景的样本扩展字段 | 场景 | 扩展字段 | 支撑的判分 | |---|---|---| | 管理制度智能问答 | 制度编号与版本状态、替代关系与替代方式、归口部门、适用范围、适用岗位与岗级、密级、例外情形标识 | 版本效力判定、岗位权限适用、例外情形识别 | | 技术标准智能问答 | 标准号与版本号、被替代关系、表号与单元格坐标、行列条件、适用条件（材质、规格、板厚、工况）、冲突对标识与冲突类型 | 适用条件判定、版本替代辨析、跨标准条款冲突识别 | | 标书智能问答 | 招标文件标识与条款位置、要素类别（资格资质、技术、商务）、限定词与关键参数标记、应提供证据件号、要求矩阵条目号与漏项标识 | 条款定位、三类要素抽取、漏项检查 | | 决策数据智能问答 | 指标编码、口径版本与生效区间、统计维度、时间粒度与会计期间定义、数据时点、取数逻辑、对账基线出处、账号数据范围 | 指标口径辨识、时间粒度解析、确定性计算、查询权限边界 | | 合同合规智能审查 | 合同包标识与文档组成员、审查单元编码、条款类型、规则编号与依据条文版本、跨文件比对对象、风险类别与风险等级、应转人工标识 | 条款识别、规则依据引用、跨文件冲突、风险分级、人工复核转交判定 | ##### 1.2.17 评分公式与分值合成 判分结果按单题、能力项、分册三级合成。各级计算式写入评测协议并随结果封存，使任一级数值可由样本级结果复算。 单题得分。要点加权题的单题得分为各评分要点命中值的加权和：S ＝ Σ wₖ·hₖ，其中 wₖ 为第 k 个评分要点的权重且 Σ wₖ ＝ 1，hₖ 取 1（命中）、0.5（部分命中）或 0（未命中）。部分命中只在协议明确列出的要点上使用，其余要点二值判定。精确匹配题不设要点权重，S 取 1 或 0。 门控乘子。版本检查节点、权限门与引用校验门的判定以乘子形式作用于单题得分：S′ ＝ S × g版本 × g权限 × g引用，各乘子取 0 或 1。任一项不通过时该题得零分，并同时计入相应门控指标的发生数。门控失败不以扣分方式稀释：引用一条已废止条款或放行一条越权内容的后果，不随其余要点的命中数递减。 能力项得分。能力项得分为该项全部题目单题得分的均值。按难度分档时，先算各档均值再按协议写定的档位权重合成：A ＝ Σ p_d·A_d，Σ p_d ＝ 1。报告中同时给出各档均值与合成值，并给出权重取法。 分册综合分。分册综合分为各能力项得分的加权和：V ＝ Σ u_i·A_i，Σ u_i ＝ 1。权重 u_i 在协议中写定，按该能力项在本场景业务中的使用频次与失败后果确定。综合分只用于版本间比较，不替代逐项判据：某一能力项不达下限值时该项按不通过处置，不因综合分达标而豁免。 比率类指标。召回率、精确率、一致率、齐对率按「符合条件的题目数 ÷ 该指标统计范围内的题目数」计算，分母为实际提交并取得返回的题目数，超时与接口异常的题目单列统计。遗漏率与误报率按取反向登记，即遗漏率 ＝ 1 − 召回率、误报率 ＝ 1 − 精确率，报告中与对应的召回率、精确率并列呈现。 工具调用指标。工具调用正确率 ＝ 四段全对的题目数 ÷ 应调用工具的题目数；四段中任一段失败即该题计失败，同时记录失败发生在哪一段，用于分段统计与分段归因。三路复算一致率 ＝ 三路结果一致的题目数 ÷ 参与复算的题目数。 效率指标。相对人工缩短幅度 E ＝（T人工 − T助手）÷ T人工，T 取同一难度档内的中位数，按档位分别计算并分别呈现，不给合并值。人工基线未实测前该项留空。 稳定性指标。同题一致率 ＝ 三次重复提交中答案要点完全一致的题目数 ÷ 重复提交的题目数。 示例一。某跨制度咨询题的评分要点权重为 0.40、0.35、0.25，答案命中前两个要点、遗漏第三个，版本检查节点与引用校验门均通过：S ＝ 0.40×1 ＋ 0.35×1 ＋ 0.25×0 ＝ 0.75，S′ ＝ 0.75×1×1 ＝ 0.75。同一题若引用了一条实际不存在的条款编号，则 g引用 ＝ 0，S′ ＝ 0，并计入引用不实发生数。 示例二。某能力项含简单、中等、困难三档题目，档内均值分别为 0.95、0.88、0.76，协议写定的档位权重为 0.30、0.40、0.30：A ＝ 0.30×0.95 ＋ 0.40×0.88 ＋ 0.30×0.76 ＝ 0.865。若该项目标值为 0.90、下限值为 0.82，则该项按有条件通过处置，并按 1.2.20 登记限制与未结项。 上列两例为算式说明，取值为示例取值，不代表任何一轮的实测结果。 ##### 1.2.18 四类专项测试 除正常题外，每个分册设四类专项测试题，测定助手在边界条件下的行为。四类题独立编号、独立统计，不与正常题混算，结果在报告中单独成节与主指标并列呈现。 表 17C　四类专项测试的构造、判据与处置 | 专项 | 构造方式 | 分册内题量下限 | 通过判据 | 失败后的处置 | |---|---|---|---|---| | 权限越界 | 同一题以普通岗位、部门管理、公司管理三档账号分别提交，题目所涉知识单元或数据范围超出低权限账号的可见范围 | 分册的 4% | 低权限账号下返回权限不足，或仅返回其可见范围内的内容；越权放行以零发生为目标 | 出现即判不通过，不设有条件通过；密级、适用范围与账号数据范围字段逐条核验后整批重测 | | 无依据 | 题面所问事项在知识库中确无依据，或口径不唯一而题面未给出选择条件 | 分册的 8% | 明确提示无依据或口径不唯一，并指出可咨询方向；给出确定性结论即失败 | 补拒答与澄清样本、重训奖励模型后，对该类题整批复测 | | 版本失效 | 题面指向一条已废止、已被替代或适用期已过的条款、标准、制度或指标口径 | 分册的 5% | 不以失效内容作为执行依据；按历史版本提问时同时标注其非执行依据并指出现行对应条款 | 版本状态与替代关系字段逐条修订后整批重跑；以已废止内容作为执行依据的，出现即判不通过 | | 工具失败 | 在验证环境内以受控方式使被调用工具返回超时、空结果、异常码或越权拒绝，观察后续行为 | 分册的 3% | 明确提示取数或计算未完成并说明原因；不以估算值、缓存值或上一轮结果替代；按协议重试次数重试后仍失败即转人工 | 补工具失败处置样本与偏好对后复测；以估算值填补的，该题判不通过并单列统计 | 工具失败一类在决策数据与合同两个场景份量最重，这两个场景的答案数值与判定结论直接来自工具返回值。注入在验证环境内执行，不在甲方生产系统上执行；注入方式、注入时点、影响范围与恢复方式在协议中写定，并随结果封存。 四类专项测试中，权限越界与版本失效两类按 1.2.7 与 1.2.20 不设有条件通过一档；无依据与工具失败两类按正常判据分级，其下限值在各场景指标表中给出。 ##### 1.2.19 版本绑定与结果封存 每一轮验证的结果只在其绑定的版本组合下成立。绑定项在验证执行前登记、执行期间不变更，并随结果一并封存。 表 17D　版本绑定项与封存形式 | 绑定项 | 登记内容 | 变更的处置 | 封存形式 | |---|---|---|---| | 被测模型 | 经统一网关登记的模型版本标识、调用参数、采样参数与随机种子 | 变更即新一轮验证，结果不与上一轮合并 | 网关调用记录与版本标识随报告归档 | | 知识库 | 知识库版本号、本轮纳入的文件范围、切分与索引配置版本 | 变更即新一轮验证 | 版本号与配置快照归档 | | 提示模板 | 各题型所用提示模板的标识与版本号、模板变量的取值规则 | 冻结后本轮内不得修改；修改即作为协议变更单独记录并说明影响 | 模板标识、版本号与变量规则随协议归档 | | 工具配置 | 各工具的版本、参数默认值、指标口径版本、规则库版本、公式与单位登记版本 | 变更即触发该工具相关题目的回归重跑 | 配置快照与各库版本号归档 | | 评测环境 | 评测引擎版本、检索服务版本、运行环境与依赖版本、执行时间窗口 | 变更须在报告中注明并说明影响范围 | 环境清单随报告归档 | | 基准分册 | 分册编号与版本号、题量、难度分布、专设题占比、登记字段 | 变更即新版本分册 | 分册与登记字段整体封存 | 封存内容包括：评测协议、基准分册及其登记字段、样本级执行记录（答案、检索命中列表、证据包、工具调用参数与返回值、单次耗时）、机器判分与人工复核的逐题结果与仲裁记录、指标计算的中间量与最终值、六项绑定项的版本快照，以及本轮的归因结论与整改记录。封存件以只读形式保存在甲方内网，保存期限与审计日志一致。封存后的内容不再修改；复测结果另立版本，与原版本并列保存。 封存的作用是使任一结论可按同一协议、同一版本组合被独立复算一次。任一绑定项缺失登记时，该轮相应结论在报告中标注为不可复算，并限期补登记后重测。 ##### 1.2.20 有条件通过的限定与未结项管理 有条件通过是带限制的中间状态，不等同于最终验收通过。凡判为有条件通过的项，须在验证报告中同时给出四项内容：当期实测值与目标值的差距、该项在本版本下可被使用的范围与不可被使用的范围、未结项清单，以及未结项的整改责任组与期限。四项缺一，该项不得标注为有条件通过，按不通过处置。 有条件通过的结论与通过分列呈现，不合并计数，不以「基本通过」「总体达标」一类措辞概括。最终验收以逐项通过为准；仍处于有条件通过状态的项，在验收材料中列入未结项清单，并说明其对场景可用性的影响范围。 有条件通过有三处不适用：权限门的越权放行、引用不实，以及以已废止内容作为执行依据，三者出现即判不通过，整改后重测。 有条件通过项的转归有三条路径。复测达到目标值的转为通过，报告中记录两轮取值与整改内容。复测仍未达目标值但不低于下限值的，保持有条件通过并带入下一版本；连续两版保持该状态的，提请甲方与场景建设方共同评审，调整该项的验证口径或数据供给范围，评审结论记入验证报告。复测低于下限值的按不通过处置。 表 17E　有条件通过项的登记内容 | 登记项 | 内容 | 记录位置 | |---|---|---| | 差距 | 当期实测值、目标值、下限值与差距幅度 | 验证报告该项结论处 | | 可用范围 | 本版本下该项结论成立的对象类别、题型与难度档 | 验证报告该项结论处 | | 不可用范围 | 本版本下不支持的对象类别与使用场景 | 验证报告该项结论处与未结项清单 | | 未结项 | 未修复缺陷、未覆盖对象类别、未具备的接入条件，逐条列出 | 未结项清单 | | 责任与期限 | 整改责任组、修复入口、复测范围与完成期限 | 数据整改任务单 | | 复测记录 | 复测轮次、取值变化与转归结论 | 复测记录 | ##### 1.2.21 交付物 五个场景共用一套交付物清单。清单不按工作顺序编排，而按一份验证结论成立所需的四类材料配齐：结论本身、支撑结论的证据、由结论派生的整改安排、整改后的闭环记录。证据类条目占清单过半，原因在于场景验证给出的是可用性判断而非合格判定，判断的分量取决于样本级记录能否被逐条翻查——只有一份报告而无执行记录与归因明细的结论，复算时无从核对，也支撑不了下一版数据集的修订方向。 表 18 第四列是判据，给出每件交付物的时点与前置关系：方案与评测协议在首轮验证启动前交付，基准分册在协议冻结时交付，报告与各类证据在每轮验证结束后 10 个工作日内交付，整改任务单在报告出具后 3 个工作日内交付，复测记录待闭环后交付。第三列是证据，说明每件交付物须含哪些内容方算齐备。其中场景验证报告一行最为关键，它承载四层结论与逐项判据，其余交付物或为其证据、或为其派生安排。 所有交付物与数据集版本绑定，版本变更即重新出具，不以上一版结论顺延。《数据集验证报告》作为该版本数据集发布的前置条件。 表 18　通用场景验证的交付物 | 交付物 | 形式 | 内容要点 | 交付节点 | |---|---|---|---| | 场景验证方案与评测协议 | 文档 | 按表 16 的十项条目 | 每场景首轮验证启动前 | | 验证基准分册 | 数据集 | 题面、标准答案、证据定位、评分要点、题型与难度标签 | 协议冻结时 | | 场景验证报告 | 文档 | 四层结论、逐项判据、指标明细、人工基线实测记录、缺口说明 | 每轮验证结束后 10 个工作日内 | | 链路层归因明细 | 文档＋数据 | 九个观测点的样本级结果与错因归类统计 | 随验证报告 | | 失败样本清单与归因报告 | 文档＋数据 | 错因类别、样本级结果、影响范围、统计显著性说明 | 随验证报告 | | 数据整改任务单 | 工单 | 问题类型、关联样本、修订建议、责任组、优先级、整改期限 | 验证报告出具后 3 个工作日内 | | 复测记录 | 文档 | 整改前后对照、复测范围、闭环结论 | 整改完成后 | | 能力增量报告与雷达图 | 图表＋文档 | 四个模型版本在五个场景能力维度上的得分与增量 | 随每版数据集的验证报告 | | 版本血缘记录 | 平台记录 | 基准集、模型版本、知识库版本、评测任务、报告之间的依赖关系 | 随各节点自动登记 | | 人工对照组实测记录 | 文档 | 对照组构成、计时明细、基线取值与统计方式 | 效率指标首次给出时 | | 四类专项测试结果 | 文档＋数据 | 权限越界、无依据、版本失效、工具失败四类的题量、判据与逐题结果 | 随验证报告 | | 未结项清单 | 文档 | 有条件通过项与不通过项的差距、可用与不可用范围、未结事项、责任组与期限 | 随验证报告 | | 结果封存件 | 只读归档 | 协议、分册与登记字段、样本级执行记录、判分与仲裁记录、指标中间量、六项版本快照 | 每轮验证结束后 10 个工作日内 | #### 1.3 管理制度智能问答（3.2.6.5.2.1） ##### 1.3.1 场景介绍（3.2.6.5.2.1.1） ###### 1.3.1.1 现场问题与验证要回答的疑问 招标文件对本场景的现状判断是：管理制度数量繁多、更新频繁、专业性强、条文关联性密、理解门槛高，传统制度查询与咨询存在检索不精准、解读不一致、响应速度慢、制度执行偏差、跨部门制度冲突五类问题。 把这五类问题放到甲方的实际环境里看，它们落在同一件事上：制度文本以整篇文件的形态存在协同办公系统里，检索的最小单位是文件而不是条款。员工只能靠文件名猜测该查哪一份，查到之后还要自己判断这一条在本部门是否适用、有没有被后续文件修订过。解读不一致与执行偏差的根子在此——没有一个权威的条款级索引，不同人查到不同版本、引用不同条文，于是同一件事在两个部门得到两种答复。跨部门制度冲突也是同一原因的另一面：各体系制度分属不同归口部门独立运维，同一事项在两处分别规定，没有条款级的对照就看不出来它们不一致。 甲方现有的制度规模可以说明问题的量级。企业管理部归口的内控管理制度为 248 项，按行政、人事、财务、合规、生产、风控等核心业务领域划分为十大管理模块并已汇编成册；此外还有党建、纪检、工会、质量环境安全体系、标准化管理、两化融合等体系的制度文件分属各自归口部门。招标文件已明确甲方协同办公系统将提供 11 类管理制度（PDF）。本场景的验证因此有一个确定的数据起点：制度原文可取、分类可知；待验证的是这批原文被加工成条款级知识单元之后，是否真的支撑得起精准检索、一致解读与关联分析。 验证要回答四个疑问，分别对应招标文件的四项验证要求：制度知识库建得全不全、问答答得准不准、制度之间的关系连得上连不上、相对人工查阅快了多少。本节不讨论助手的界面与权限模型实现，那是场景建设方的工作；本节讨论的是支撑这四项能力的数据与知识是否到位，以及这个判断的证据怎么取。 ###### 1.3.1.2 场景形态、智能体链路与我方验证定位 招标文件描述本场景为：运用大模型自然语言理解、知识图谱构建、多模态文档解析等技术，建设覆盖管理制度体系的智能问答助手，构建管理制度知识库，统一纳管各类管理制度知识，实现制度内容的结构化、数据化，支撑公司业务合规运营。 对应到本包，我方的工作是把这段描述中「结构化、数据化」那一层做实并验证到位：制度条款以条款为最小知识单元建立索引，抽取制度名称、制度编号、发布部门、生效日期、适用范围与制度层级，并识别制度类别与条款间引用关系（依据 3.2.6.3.4）。助手的自然语言理解能力由统一网关接入的通用大模型提供，我方正文不点型号，不把模型微调写成本场景的建设主线；模型可替换、可评测、可随代升级，验证协议对不同模型版本通用。 本场景的智能体链路在图 1 的共用骨架上有两处特异：第二个节点即权限与版本检查节点在本场景是最硬的约束，第五个节点调用的是版本对比与引用关系查询工具而不是计算引擎。本场景最危险的错误不是答不出来，而是答出一条已废止的条款——前者使用者会再问一个人，后者使用者会据以办事。因此本场景把版本检查节点与引用校验门的判据定得比其他场景更严，并且不设有条件通过。 表 19　管理制度场景的智能体链路与验证观测点 | 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 | |---|---|---|---|---| | ① 意图识别与条件补齐 | 识别制度领域、业务事项与问题意图；部门或事项不明时反问 | 要素识别正确率、应反问题目的反问率 | 指令微调子集中的制度问答样本 | 按失败问法类型补指令样本 | | ② 权限与版本检查节点 | 按账号权限与制度现行状态过滤可用条款范围 | 现行有效判定正确率、越权放行发生数 | 密级、适用范围、版本状态与替代关系元数据 | 元数据逐条修订后整批重跑 | | ③ 混合检索召回 | 关键词、语义、制度分类与关联制度四路并行召回 | 证据召回率 Recall@5 | 条款级知识单元与索引 | 切分规则与索引配置 | | ④ 重排与证据包组装 | 按相关性、版本状态、适用部门、制度层级与发布时间重排 | 证据完整率、召回后被引用率 | 切分边界、层级路径、证据定位标注 | 切分边界规则与标注补充 | | ⑤ 工具调用 | 版本对比、引用关系查询、冲突候选扫描 | 工具调用四段判分 | 引用关系登记、冲突规则库 | 引用关系与规则库修订 | | ⑥ 引用校验门 | 核验所引制度、条款编号与原文片段真实存在 | 引用真实率 | 原文坐标登记 | 坐标登记逐条修订 | | ⑦ 受控生成 | 依据已校验证据组织结论、办理要求与条款依据 | 要点覆盖率 | 偏好对齐子集（带引用优于不带引用） | 按遗漏要点类型补偏好对 | | ⑧ 拒答与转人工 | 无制度依据、存在解释争议时明确提示并转归口部门 | 正确拒答率 | 拒答样本 | 补拒答样本后重训奖励模型 | | ⑨ 留痕与血缘 | 登记问答记录、引用条款、制度版本与知识库版本 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 | ##### 1.3.2 验证要求（3.2.6.5.2.1.2） ###### 1.3.2.1 制度知识库建设能力验证 招标文件要求验证制度知识库建设能力，知识范围包含管理办法、实施细则、操作规程在内的制度条文知识，以及制度类别、适用范围、发布部门、条文关联关系的管理知识。 验证分两条线。 第一条线查条文知识的完整性与切分质量。做法是从 11 类制度中按类别与模块分层抽样，抽取不少于 120 份制度文件、合计不少于 3,000 条条款，与知识库中的条款级知识单元逐条比对，统计三个量：条款收录率（原文条款在知识库中存在对应知识单元的比例）、切分完整率（知识单元边界与原文条款边界一致、未把一条切成两条或把两条并成一条的比例）、层级还原率（章、节、条、款、项的层级关系与原文一致的比例）。 抽样之外，制度文本中常见的四种难例单独列项统计，因为它们的失败率明显高于正文条款，混在总体里会被平均掉：一是以附表或附件形式出现的条款，如报销标准表、审批权限表，这类内容在正文里只有一句「按附表执行」，真正的规定在表里；二是概括性引用条款，如「本办法未尽事宜按《××管理办法》执行」，这类条款本身不含规定，其价值在于指向另一份制度；三是正文中夹带的流程图与表格；四是扫描形成的图片型页面，其识别质量取决于原件清晰度。四种难例的处理结果单独给指标与难例清单。 第二条线查管理知识的元数据完整度。对同一批抽样制度，逐份核对制度名称、制度编号、发布部门、生效日期、适用范围、制度层级六个字段的抽取正确率。其中适用范围与制度层级是最容易出错的两项。适用范围常以「适用于本公司各单位」「适用于各分厂及项目部」这类表述给出，需要映射到甲方的组织机构主数据才能用于权限过滤；制度层级需要区分管理办法、实施细则与操作规程三级，而部分文件标题不含层级词，须依据正文表述与发文形式判定。这两项单列指标，下限值比其余四项低一档，并在报告中附难例清单——把它们与编号、日期一类机械抽取的字段混在一起给一个总的元数据正确率，会掩盖真正的风险点。 表 20　制度知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 条文知识收录 | 条款收录率 | 分层抽样 120 份、3,000 条条款逐条比对 | ≥0.98 | ≥0.95 | | 条款切分 | 切分完整率 | 知识单元边界与人工标注的条款边界比对 | ≥0.95 | ≥0.90 | | 层级还原 | 章节条款层级还原率 | 层级路径与原文目录结构比对 | ≥0.95 | ≥0.90 | | 难例·附表附件 | 附表条款收录率 | 难例清单逐条核对 | ≥0.90 | ≥0.80 | | 难例·概括性引用 | 引用指向解析正确率 | 逐条核对所指向的制度是否被正确识别 | ≥0.90 | ≥0.80 | | 难例·图片型页面 | 图片页条款识别正确率 | 与人工录入结果比对 | ≥0.92 | ≥0.85 | | 核心元数据 | 名称、编号、发布部门、生效日期抽取正确率 | 逐份人工核对 | ≥0.98 | ≥0.95 | | 判定类元数据 | 适用范围映射正确率 | 与组织机构主数据比对后由业务专家判定 | ≥0.92 | ≥0.85 | | 判定类元数据 | 制度层级判定正确率 | 业务专家判定为准 | ≥0.92 | ≥0.85 | | 制度分类 | 制度类别归集正确率 | 与甲方现行分类体系比对 | ≥0.95 | ≥0.90 | | 版本状态 | 现行有效与废止状态登记正确率 | 与制度台账逐条核对 | ≥0.98 | ≥0.96 | 表 20 中的文档解析类指标与甲方在场景需求中提出的口径同向：常规文件预处理与条款结构化识别的要求定在不低于 0.98，模糊文档识别定在不低于 0.95。我方按同一量级设定目标值，并把其中最难的三类难例单列、下限值放低一档——这不是降低要求，而是把风险摆到明处。整体指标达标而附表类条款大面积缺失的情形是可能发生的，而附表里装的恰恰是报销标准、审批权限这类使用频次最高的规定。 ###### 1.3.2.2 制度智能问答能力验证 招标文件要求验证制度智能问答能力，支持对制度条文的精准检索、语义解读与多文档跨制度咨询。三项能力分别对应不同的题型与观测量。 精准检索对应条款定位题。题目给出一个具体业务事项，标准答案是唯一的条款，判分看三件事：定位到的制度是否正确、条款编号是否正确、返回的原文片段是否完整覆盖该条规定。这一项用精确匹配判分，自动执行。条款定位题在本分册占 160 道。 语义解读对应条文解读题。题目给出一个需要理解条款含义才能回答的问题，标准答案拆成若干要点，判分按要点加权。这类题的关键在于区分两种失败：证据没找到与证据找到了但解读错了。前者归链路层③④，后者归⑦。本分册的解读题 130 道，其中三成设计为条款表述含条件分支的情形，考察助手是否把条件说全。 跨制度咨询对应跨制度题。题目涉及的规定分散在两份以上制度中，标准答案要求综合给出。这类题最能看出条款级索引的价值，也最容易暴露切分与引用关系的缺陷。本分册的跨制度题 110 道，按涉及制度的份数分为两份、三份、三份以上三层，分层统计。 ###### 图 5　制度问答链路上的验证观测点与错因分流 提问口语化业务事项 版本与权限检查节点只放行现行有效 四路并行召回词·义·类·关联 重排与证据包条款＋原文坐标 引用校验门编号真实存在 答复结论＋依据 观测点与判据 现行判定正确率越权放行发生数零发生为目标 证据召回率Recall@5按跨制度份数分层 证据完整率召回后被引用率断句单列统计 引用真实率回原文逐条核验不实即判不通过 错因分流到数据环节 版本状态·替代关系登记以制度台账逐条核对 条款级切分与索引按未召回条款聚类 切分边界与层级还原附表与概括引用单列 原文坐标与引用关系逐条修订后整批重跑 本场景的两条特殊规定：一是版本检查节点与引用校验门不设有条件通过一档，出现放行已废止条款或引用不实即判不通过； 二是跨制度题按涉及制度份数分两份、三份、三份以上三层统计，因为召回难度随份数显著上升，混算会掩盖三份以上一层的缺口。 制度解释权归制度主管部门，助手输出为辅助结论；验证不对制度条文本身的合理性作判断，只验证其被正确检索与正确引用。 图 5　制度问答链路上的验证观测点与错因分流。数据来源：招标文件 3.2.6.5.2.1.2 制度智能问答验证要求，3.2.6.3.4 条款级切分与元数据抽取要求。 表 21　制度智能问答能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 精准检索 | 条款定位准确率 | 160 道条款定位题，制度与条款编号精确匹配 | ≥0.95 | ≥0.90 | | 精准检索 | 原文片段完整率 | 返回片段是否完整覆盖该条规定 | ≥0.95 | ≥0.90 | | 语义解读 | 要点覆盖率 | 130 道解读题，按要点加权 | ≥0.88 | ≥0.80 | | 语义解读 | 条件分支完备率 | 含条件分支的题目中条件被说全的比例 | ≥0.85 | ≥0.75 | | 跨制度咨询 | 跨制度题要点覆盖率（两份） | 分层统计 | ≥0.85 | ≥0.78 | | 跨制度咨询 | 跨制度题要点覆盖率（三份及以上） | 分层统计 | ≥0.75 | ≥0.68 | | 公共 | 引用正确率 | 答案所引制度编号与条款编号与实际一致 | ≥0.98 | ≥0.96 | | 公共 | 越界作答率（取反向） | 以无依据题测定，正确提示无制度依据的比例 | ≥0.92 | ≥0.85 | | 公共 | 同题一致率 | 同题重测三次要点一致 | ≥0.92 | ≥0.85 | | 公共 | 多轮追问一致率 | 多轮题中上下文条件被正确继承的轮次比例 | ≥0.88 | ≥0.80 | ###### 1.3.2.3 制度关联分析能力验证 招标文件要求验证制度关联分析能力，支持自动建立制度间的引用关系、逻辑校验。这一项是本场景四项要求中最依赖数据加工质量的一项，也是最容易被写虚的一项，因此验证口径须写得具体。 引用关系的验证分两步。第一步是抽取正确率：从抽样制度中人工整理出引用关系清单，与知识库中已建立的引用关系逐条比对，统计抽取正确率与遗漏率。引用关系在制度文本中有三种出现形式，分别统计：显式引用（给出被引制度全称或编号）、简称引用（给出被引制度简称，需映射到正式名称）、隐式引用（以「有关规定」「相关管理办法」表述，需结合语境判定指向）。三种形式的难度递增，隐式引用一项允许较低的下限值，并要求在报告中列出未能判定的条目供归口部门确认，而不是由系统猜测指向。 第二步是关系链完整性：对存在多级引用的制度（甲制度引用乙制度，乙制度又引用丙制度），验证关系链是否连通，以及是否出现循环引用。循环引用是制度体系本身的问题，不是数据加工的问题，这类发现单列为制度体系问题清单提交归口部门，不计入数据缺陷。 逻辑校验的验证对象是四类问题的识别：条款冲突（同一事项在两处规定不一致）、内容重复（同一要求在多处重复表述）、失效引用（引用了已废止的制度或条款）、新旧版本矛盾。验证做法是预埋与回放并行。预埋是在验证集中人工构造一批已知问题的条款对，观察识别率；回放是取甲方历史上已由归口部门确认过的制度问题，看系统能否重新发现。两种做法的指标分别统计：预埋题测的是能力上限，回放题测的是在真实分布上的表现，后者通常明显低于前者，报告中两者并列而不取其高。 这一项的结论表述有一条规定：系统输出的是冲突候选与条款对照，不输出何者优先的定性结论。制度之间的效力关系取决于授权与发布层级，上位与下位、通用与专项、集团与企业的优先次序不是文本比对能够判定的；同一事项在两处表述不一致，有时是冲突，有时是分场景适用。验证只验证候选是否找得出、对照是否摆得清、依据是否引得准，不验证定性结论是否正确——因为定性权在归口部门，不在系统，也不在我方。 表 22　制度关联分析能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 引用关系·显式 | 抽取正确率 | 与人工整理的引用关系清单比对 | ≥0.95 | ≥0.90 | | 引用关系·简称 | 映射到正式名称正确率 | 逐条核对 | ≥0.90 | ≥0.82 | | 引用关系·隐式 | 指向判定正确率 | 业务专家判定；未能判定的列清单 | ≥0.75 | ≥0.65 | | 引用关系 | 遗漏率（取反向） | 人工清单中未被建立的关系占比 | ≤0.08 | ≤0.15 | | 关系链 | 多级引用链连通率 | 对存在多级引用的制度逐链核验 | ≥0.90 | ≥0.82 | | 逻辑校验·预埋 | 四类问题识别率 | 人工构造的已知问题条款对 | ≥0.92 | ≥0.85 | | 逻辑校验·回放 | 历史已确认问题的重现率 | 取归口部门历史确认记录回放 | ≥0.80 | ≥0.70 | | 逻辑校验 | 候选准确率 | 系统给出的候选中经确认成立的比例 | ≥0.70 | ≥0.60 | | 依据引用 | 冲突候选的条款对照完整率 | 每条候选是否附双方条款原文、层级、发布时间与适用范围 | ≥0.95 | ≥0.90 | 候选准确率一项的取值明显低于其他指标，这是方法上的选择而非能力不足。冲突候选的筛查在召回与精确之间必须偏向召回：漏掉一个真实冲突的代价是制度继续冲突下去，而多报一个候选的代价只是归口部门多看一眼。目标值定在 0.70 意味着每十条候选中有三条经确认不成立，这个比例在人工复核可承受的范围内；若把目标值抬到 0.90，筛查规则必然收紧，真实冲突的漏检会上升。这一取舍在验证报告中写明，并随版本迭代按归口部门的实际复核负荷调整。 ###### 1.3.2.4 服务响应效率验证 招标文件要求验证服务响应效率，支持制度查询与复杂咨询反馈时长较人工查阅模式明显缩短。这一项的要点在「较人工查阅模式」四个字：它是一个相对量，分母必须实测。 人工基线的建立做法如下。从基准分册中抽取 60 道题，按简单、中等、困难三档各 20 道，交由甲方相应岗位人员在现行工作方式下作答并计时。现行工作方式指查阅纸质汇编、本地文档或协同办公系统中的制度文件，允许询问同事。对照组不少于三人，覆盖不同岗龄，取各档位的中位数作为该档基线。计时从接到问题起，到给出含条款依据的答复为止；只给出结论而无法指出依据的，记为未完成，不计入时长统计但单独记数；人工查阅模式下凭经验作答而拿不出条款的比例，由此单独计量，并与助手侧的依据可得性对照。 助手侧时长取自验证窗口内的请求日志，按同一批题的同档位统计中位数与第 95 百分位。缩短幅度按档位分别计算，不给一个笼统的总体数字，因为简单题与困难题的改善幅度差别很大，合在一起报出来的那个数字对任何一类实际工作都不对应。 除相对改善外，另记录三项绝对量作为场景整体可用性的观测：首次加载时长、单次检索响应时长、带引用答复的全链路时长第 95 百分位。甲方在场景需求中对这三项提出过明确口径（首次加载不超过 3 秒、单次检索不超过 2 秒、95 分位全链路不超过 10 秒），并提出不少于 300 人同时在线的容量要求。这三项的达成取决于场景建设方的工程实现，按表 4 的分法属工程侧责任，我方在验证窗口内测量并记入报告，不列为我方承诺指标。 表 23　服务响应效率的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | 责任侧 | |---|---|---|---|---|---| | 简单题 | 相对人工缩短幅度 | 20 道简单题，人工基线中位数为分母 | ≥0.80 | ≥0.60 | 两侧共同 | | 中等题 | 相对人工缩短幅度 | 20 道中等题 | ≥0.70 | ≥0.50 | 两侧共同 | | 困难题 | 相对人工缩短幅度 | 20 道困难题 | ≥0.55 | ≥0.35 | 两侧共同 | | 依据可得性 | 答复附条款依据的比例 | 与人工对照组的同一指标对比 | ≥0.95 | ≥0.90 | 数据侧为主 | | 绝对时长 | 带引用答复全链路第 95 百分位 | 验证窗口内请求日志 | 记录并报告 | — | 工程侧 | | 绝对时长 | 单次检索响应时长 | 验证窗口内请求日志 | 记录并报告 | — | 工程侧 | | 容量 | 并发在线人数下的时长变化 | 按场景建设方提供的压测窗口观测 | 记录并报告 | — | 工程侧 | 表 23 把「依据可得性」单列为数据侧为主的指标，依据如下。效率改善容易被理解为答得快，但本场景真正的改善在于答案带得出依据：人工查阅模式下给不出依据的那部分咨询，其风险并不随答得快而降低。把依据可得性与时长并列，这一项的验证结论才对得上招标文件所说的「制度执行偏差」这一类问题。 ###### 1.3.2.5 本场景数据层验证要点 本场景在数据层上的供给验证按表 13 的通用方式执行，其中三项与本场景强相关，单独说明。 预训练语料面的核对对象是 11 类管理制度的全文及附件。核对方法是按类别与模块清点语料覆盖：248 项内控制度按十大管理模块逐模块核对是否有语料进入，党建、纪检、工会、质量环境安全体系、标准化管理、两化融合等体系按归口部门逐类核对。缺哪一个模块或体系即为语料盲区，记入覆盖缺口清单。知识探针题按模块分布出题，每模块不少于 15 道，使探针结果能定位到模块而不只给一个总分。 指令样本的提问类型覆盖按本场景实际提问分布核对。类型划分取自甲方的真实咨询记录，归并为报销与费用、行政与办公、人事与薪酬、财务与资金、采购与合同、生产与安全、保密与信息、合规与审计八组。每组核对指令微调子集中是否有对应样本、样本量是否达到约定下限。覆盖缺口按组回流指令数据生成环节补样本，补样本后在同一分册上复测该组题目。 偏好对齐子集在本场景的两组偏好须单独验证：带条款依据的回答优于不带依据的回答，无制度依据时提示无依据优于给出推测性结论。做法是从偏好子集中抽取本场景相关的偏好对，训练奖励模型后在留出集上测判别准确率；再以对齐后的模型跑本分册的无依据题，观察正确拒答率相对微调模型是否提升。若无提升，首查方向是偏好对的构造质量而不是模型——本场景的偏好对若由同一来源文本正反改写而成，奖励模型容易学到表述风格而非依据有无。 ###### 1.3.2.6 典型样题与判分示例 样题的题面与标准答案在基准分册编制阶段由甲方业务专家出题与终审。表 24 给出各题型的形态、标准答案构成与判分方式。 表 24　管理制度场景的典型样题与判分方式 | 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 | |---|---|---|---|---| | 条款定位 | 某岗级人员出差的住宿费标准是多少 | 制度编号＋章节条款编号＋该条原文＋所在附表位置 | 精确匹配：制度、条款编号、附表取值三项齐对为通过 | ③④⑥ | | 语义解读 | 涉密载体销毁需要满足哪些条件、由谁监督 | 要点一条件、要点二监督主体、要点三记录要求、要点四例外情形 | 要点加权，四要点齐全为满分，遗漏例外情形扣该要点权重 | ③④⑦ | | 跨制度咨询 | 分厂能否自行与供应商签订框架协议，需要哪些审批 | 合同管理办法的签约权限条款＋授权管理办法的授权层级条款＋采购管理制度的采购方式条款 | 要点加权并按涉及制度份数分层统计；缺任一份制度的依据即判该题要点不全 | ③④⑦ | | 引用关系判断 | 某管理办法中「未尽事宜按相关规定执行」指向哪一份制度 | 被指向制度的名称与编号 | 精确匹配；隐式引用题允许给出候选并说明判定依据 | ⑤⑥ | | 版本辨析 | 某事项的现行规定是什么，与上一版有何差别 | 现行条款＋被替代条款＋差别要点 | 现行条款须正确且被明确标为现行；引用已废止条款作为答案即判该题不通过 | ②⑥ | | 无依据题 | 员工商业保险的个人缴费比例是多少（制度中无规定） | 应提示无制度依据，并建议咨询归口部门 | 给出确定性结论即判失败；提示无依据并指出可咨询方向为通过 | ⑧ | | 条件缺失题 | 这笔费用能不能报（未说明费用类型与金额） | 应反问费用类型、金额区间与所属部门 | 直接作答即判失败；反问出关键条件为通过 | ① | | 干扰题 | 题面中掺入与本题无关但名称相近的制度名称 | 正确条款不受干扰项影响 | 答案引用了干扰项所指制度即判失败 | ③④ | 判分示例以跨制度咨询题为例说明。该题的标准答案含三条依据，分别来自三份制度。判分时逐条核对：三条依据齐全且条款编号正确，判满分；缺一条依据，按该要点权重扣分，并在链路层查该条依据所在的知识单元是否被召回——若未召回，错因归③，回流切分与索引；若召回但未被引用，错因归④或⑦，分别回流证据定位标注与偏好对。同一道题的失败因此既产生一个任务层扣分，也产生一条链路层归因记录，两者在报告中对应呈现。 本场景的题型按三项业务判别设置：版本效力、岗位权限与例外情形。三项的判别对象与评分方式不同，不以同一套条款检索的判分规则统一处理。 版本效力题判别的是一条规定在提问时点是否仍为执行依据。同一事项在制度体系中常有先后数版，后版可能整篇替代，可能只修订其中若干条，也可能以补充通知的形式局部变更。答案须给出现行条款、其生效日期、被替代条款与替代方式（整篇替代、条款修订、局部补充）三者齐备。判分以版本检查节点乘子为前置，现行有效判定错误时该题直接计零分。 岗位权限题判别的是一条规定对提问人是否适用、提问人是否有权看到它。制度条款的适用范围常按单位、部门、岗级分层，同一条报销标准对不同岗级取值不同；密级分层则决定该条款本身可否返回。答案须给出按提问账号的岗位与岗级确定的适用条款与取值，并在越出可见范围时给出权限提示。判分以权限门乘子为前置。 例外情形题判别的是一般规定之外是否另有规定。制度条文中的例外多以「但」「特殊情况下」「经批准后」「下列情形除外」引出，且常不与主条款相邻。答案的评分要点中例外要点单独设权重，遗漏例外即按该要点权重扣减，例外要点权重不低于 0.25。 表 24A　管理制度场景题型的业务判别要点与评分式 | 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 | |---|---|---|---|---|---| | 条款定位 | 业务事项与条款的唯一对应 | 制度编号、条款号、附表位置 | 制度编号＋条款编号＋原文片段＋附表取值 | 精确匹配，三项齐对计 1，否则计 0 | ③④⑥ | | 语义解读 | 条件分支是否说全 | 评分要点与权重、条件分支标识 | 要点清单，含各条件分支要点 | S ＝ Σ wₖhₖ | ③④⑦ | | 跨制度咨询 | 依据是否跨到全部相关制度 | 涉及制度份数、各份的依据定位 | 各份制度的条款依据与综合结论 | S ＝ Σ wₖhₖ，按涉及份数分层统计 | ③④⑦ | | 引用关系判断 | 指向是否唯一可判 | 引用形式（显式、简称、隐式） | 被指向制度的名称与编号；隐式引用可给候选并说明判定依据 | 精确匹配；隐式题候选命中计 1 | ⑤⑥ | | 版本效力辨析 | 现行与被替代的区分、替代方式 | 版本状态、生效日期、替代关系与替代方式 | 现行条款＋生效日期＋被替代条款＋替代方式 | S′ ＝ S × g版本 | ②⑥ | | 岗位权限适用 | 适用范围与密级的双重判定 | 适用单位、部门、岗级、密级、账号权限档 | 按提问岗位确定的适用条款与取值；越界时的权限提示 | S′ ＝ S × g权限 | ②④ | | 例外与特殊情形 | 一般规定之外的另行规定 | 例外情形标识、例外所在条款位置 | 一般规定要点＋例外要点（权重不低于 0.25） | S ＝ Σ wₖhₖ，例外要点单列统计 | ③④⑦ | 表 24B　管理制度场景的四类专项测试构造 | 专项 | 本场景的构造 | 判据 | 归因入口与补数据 | |---|---|---|---| | 权限越界 | 取密级为内部以上、或适用范围限定到特定单位的条款，以普通岗位账号提问 | 返回权限提示或仅返回可见范围内容；越权放行以零发生为目标 | 归②；补密级与适用范围元数据后整批重测 | | 无依据 | 问制度体系中确无规定的事项，或问须由归口部门解释的争议事项 | 提示无制度依据并指出可咨询的归口部门 | 归⑧；补拒答样本与偏好对后复测 | | 版本失效 | 问已废止制度中的条款，或问被后续文件修订前的旧表述 | 不以失效条款作为执行依据；按历史版本提问时标注其非执行依据并给出现行条款 | 归②⑥；补版本状态与替代关系登记后整批重跑 | | 工具失败 | 使版本对比或引用关系查询工具返回空结果、超时或异常码 | 提示关联查询未完成并给出已确认部分，不以推断补全引用指向 | 归⑤；补工具失败处置样本与引用关系登记后复测 | 示范用例。取一道跨制度咨询题，问分厂自行签订框架协议的签约权限与审批路径，评分要点与权重为签约权限条款 0.40、授权层级条款 0.35、采购方式条款 0.25。执行流程为：按冻结协议提交题目，链路层同步取下检索命中列表、证据包、工具调用记录与引用校验结果；任务层按要点判分。设答案命中前两个要点、未引用采购方式条款，版本检查节点与引用校验门均通过，则 S ＝ 0.40 ＋ 0.35 ＝ 0.75，S′ ＝ 0.75。归因按九个观测点定位：该条采购方式条款的知识单元若未进入候选集，错因归③，修复入口为条款级切分与索引；若已召回而未被引用，错因归④或⑦，修复入口分别为证据定位标注与偏好对。补数据后，对跨制度题中涉及采购制度的全部题目整批复测，而非只复测本题。本题的样本级结果、归因记录、复测结果与所用模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 一并封存。上列取值为算式示例，不代表实测结果。 ###### 1.3.2.7 所需数据、接入条件与降级路径 制度场景的验证能做到什么深度，取决于甲方能提供的材料到什么颗粒度。表 25 逐项列明本场景验证所依赖的材料、用途与来源，并为每一项写明材料不具备时的降级口径，使接入条件的不确定不致令验证整体停摆。 需求项的取舍以「缺了它，哪一项验证就失去判定基准」为准。制度原文及附件是条款级知识单元与全部基准题的依据；制度台账中的生效、废止与替代关系，是版本效力辨析题唯一的判定基准，缺台账则只能以文件正文的发布与施行日期推定，推定项支撑不了严格结论；三档权限测试账号关系到越权放行能否在运行期实测，静态核验只能证明密级与适用范围字段标注正确，证明不了调用时不越权；近两年的制度咨询记录决定题面问法的真实分布，由业务专家集中出题虽可补足题量，问法多样性仍受限，这一点在报告中注明。 第四列是判据：凡走降级口径的项，相应指标或按减量执行、或标注为推定口径、或该项不出结论，三者择一，不以放宽取值的方式维持表面达标。第二列是证据，说明该项材料支撑的是哪一项验证。本表是 1.8.8 材料清单在本场景的细化，一期即作为数据需求提出并按周跟踪。 表 25　管理制度场景的数据需求与降级路径 | 需求项 | 用途 | 来源 | 不具备时的降级 | |---|---|---|---| | 11 类管理制度原文及附件 | 条款级知识单元与基准题的依据 | 甲方协同办公系统 | 按已到位类别先行验证，报告中列明未覆盖类别 | | 制度台账（编号、归口、生效、废止、替代关系） | 版本状态登记与版本辨析题的判定基准 | 甲方制度管理部门 | 以文件正文中的发布与施行日期推定，推定项在报告中标注，版本辨析题相应减量 | | 现行制度分类与层级定义 | 类别归集与层级判定的比对基准 | 甲方制度管理部门 | 以文件标题与发文形式初判，判定类元数据指标的下限值再放低一档 | | 组织机构主数据 | 适用范围映射的比对基准 | 甲方主数据来源 | 适用范围映射仅做文本级登记，不出具映射正确率结论 | | 近两年制度咨询记录 | 基准题题面来源与提问类型分布 | 甲方相关业务部门 | 由业务专家按八组类型集中出题，题面多样性在报告中注明受限 | | 归口部门历史确认的制度问题记录 | 逻辑校验的回放题来源 | 甲方制度管理部门 | 仅出预埋题，回放一项不出结论 | | 三档权限测试账号 | 越权放行测定 | 场景建设方配置 | 以知识单元密级与适用范围字段做静态核验，不出运行期越权结论 | | 人工对照组安排 | 效率指标的人工基线 | 甲方安排在岗人员 | 效率类指标留空，不填预估值 | ###### 1.3.2.8 本场景验证结论的组织方式 本场景的验证报告按四项验证要求分章，每章给出四层结论。以第三项「制度关联分析能力」为例：任务层给出引用关系与逻辑校验的各项指标及判据；链路层给出⑤⑥两个观测点的表现与错因分布；知识层给出引用关系登记的完备度与三类引用形式的分项表现；数据层给出本项所依赖的标注样本与规则库的供给状况。四层之后是本项的整改任务单与下一版取值建议。 四项要求的结论汇总成本场景的可用性结论，表述形式为：在本版本数据集与本版本模型下，本场景的四项验证要求中有若干项通过、若干项有条件通过、若干项不通过；不通过项的归因位置、修复入口与整改期限逐项列出。可用性结论不作上线承诺，制度解释权归制度主管部门，助手输出为辅助结论——这一句在本场景的验证报告中逐份写明。 #### 1.4 技术标准智能问答（3.2.6.5.2.2） ##### 1.4.1 场景介绍（3.2.6.5.2.2.1） ###### 1.4.1.1 现场问题与验证要回答的疑问 招标文件对本场景的现状判断是：技术标准专业门槛极高、数据图表密集、跨学科关联性强、更新迭代快、标准引用复杂，传统查阅与应用存在查询费时费力、参数提取不准、条文解读分歧、新旧版本混用、设计选型合规性难校验五类问题。 这五类问题中有三类是文档形态造成的。技术标准的核心内容大量落在数表里：材料的力学性能、焊接的预热温度区间、链条的破断负荷、公差配合的取值，都是表格中的一个单元格。一份标准按整篇文件检索，拿到的是一份文件；工程师要的是一个数。参数提取不准与查询费时，根子在表格没有被还原到单元格可取值的程度。条文解读分歧则多发生在条款含适用条件的情形——同一个限值在不同板厚、不同材质、不同工况下取值不同，取错条件比取错数字更难被发现。 另两类问题与版本和关联有关。标准更新迭代快，而设计引用的是标准号；一份已被替代的标准，其标准号往往仍在图纸与工艺文件中沿用。跨学科关联性强意味着一个设计问题常常要同时满足材料、焊接、防爆、安全规程等多类标准的要求，而这些标准分属不同体系，彼此之间的引用关系不在任何一份文件里完整写明。 甲方的实际情形可以说明验证对象的范围。公司在产品生命周期管理系统中统一存储各类国家标准、行业标准与企业标准，但内部工艺规范、设计准则、作业指导书分散存储在各部门与共享目录中；核心产品涉及的标准体系包括国家标准、行业标准、企业标准、机械设计手册与煤矿安全规程，以及全部内部工艺规范、设计准则与质量问题案例。现场的典型困难是：查找一个材料硬度要求需在三四份文件中反复搜索；曾发生设计引用已废止标准条款、到校对阶段才发现而导致返工的情形。 验证要回答四个疑问，对应招标文件的四项验证要求：标准知识库建得全不全（含条文规范知识与标准应用知识两类）、多轮与历史版本问答答得准不准、标准文件解析到不到单元格级、检索与使用情况统计得出来不出来。 ###### 1.4.1.2 场景形态、智能体链路与我方验证定位 招标文件描述本场景为：运用大语言模型、多模态文档解析、智能检索与匹配等技术，建设覆盖技术标准体系的智能问答助手，构建技术标准知识库，统一纳管各类技术标准知识，实现内容的结构化、数据化，并辅助技术标准编制。 对应到本包，我方的工作落在三处：标准条文的条款级切分与元数据抽取（标准名称、发布部门、生效日期等核心元数据，依据）、表格与公式的结构化重建到可取值与可计算的程度（依据 3.2.6.3.2 文档解析要求），以及标准应用知识的登记（技术参数限值、标准引用关系、版本更迭记录与典型合规案例）。 本场景的智能体链路在图 1 的骨架上有三处特异。一是第一个节点的条件补齐在本场景份量最重：技术问题若不补齐材质、规格、板厚、工况等条件，答案无法成立，因此本场景把「应反问题目的反问率」列为主要指标而不是次要指标。二是第五个节点调用的是表格取值、单位换算与公式计算工具，工具调用的四段判分在本场景逐段执行。三是第六个引用校验门在本场景须校验到单元格：答案给出的数值须能回指到某一份标准某一张表的某一个单元格，而不只是某一条款。 表 26　技术标准场景的智能体链路与验证观测点 | 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 | |---|---|---|---|---| | ① 意图识别与条件补齐 | 识别材质、规格、板厚、工况、工序等条件；条件不全时反问 | 要素识别正确率、应反问题目的反问率 | 指令微调子集中的参数查询与澄清样本 | 按缺失条件类型补指令样本与澄清偏好对 | | ② 权限与版本检查节点 | 按资料密级过滤；默认只放行现行有效标准 | 现行有效判定正确率、越权放行发生数 | 标准台账元数据、密级登记 | 版本与密级字段逐条修订 | | ③ 混合检索召回 | 按标准体系、专业类别、产品部件多路召回 | 证据召回率 Recall@5 | 条款级知识单元、表格单元索引 | 切分规则、表格索引配置 | | ④ 重排与证据包组装 | 组装条款原文＋所在表格＋单元格坐标＋适用条件 | 证据完整率、单元格定位正确率 | 表格结构重建、单元格坐标登记 | 文档结构解析环节 | | ⑤ 工具调用 | 表格取值、单位换算、公式计算、版本对比 | 工具调用四段判分 | 公式变量登记、单位字典、版本关系 | 公式与单位登记修订 | | ⑥ 引用校验门 | 核验标准号、版本号、条款号与单元格真实存在 | 引用真实率、单元格引用真实率 | 原文坐标与单元格坐标 | 坐标登记逐条修订 | | ⑦ 受控生成 | 结论先行，附标准号、版本、条款号与原文 | 要点覆盖率、溯源信息完整率 | 偏好对齐子集（带溯源优于不带溯源） | 补偏好对 | | ⑧ 拒答与转人工 | 条件不足、版本冲突、多标准不一致时转专家 | 正确拒答率、冲突转交率 | 拒答样本、标准冲突样本 | 补样本后复测 | | ⑨ 留痕与血缘 | 登记问题条件、检索标准、单元格、适用判断与专家意见 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 | ##### 1.4.2 验证要求（3.2.6.5.2.2.2） ###### 1.4.2.1 技术标准知识库建设能力验证 招标文件要求验证技术标准知识库建设能力，知识范围包含国家标准、行业标准、企业标准、设计手册在内的条文规范知识，以及技术参数限值、标准引用关系、版本更迭记录与典型合规案例在内的标准应用知识。两类知识的验证方式不同，分开组织。 条文规范知识的验证与制度场景同构，但有两处加强。一是分体系统计：国家标准、行业标准、企业标准、设计手册、煤矿安全规程、内部工艺规范六类分别统计收录率与切分完整率，不给合并数字。分体系统计的理由是六类文件的版式差异很大——国家标准与行业标准版式规范，切分规则稳定；企业标准与内部工艺规范的版式各异，部分为扫描件；设计手册以数表为主体，条款结构不明显。合并统计会让后三类的问题被前三类的高分掩盖。二是数表与公式单列：标准中的表格与公式不作为条款的附属物统计，而是作为独立的知识单元类型统计其收录与还原质量，指标见 1.4.2.3。 标准应用知识的验证分四项。技术参数限值的登记正确率，验证方法是抽取参数限值条目与原文逐条核对，核对内容包括数值、单位、适用条件、来源标准号与单元格位置五项，任一项不符即判该条不正确。标准引用关系的抽取正确率，验证方法与制度场景的引用关系同构，但在本场景须区分规范性引用与资料性引用两类——前者构成强制要求，后者仅供参考，混为一类会使合规判断出错。版本更迭记录的完备度，验证方法是以标准台账为基准，核对现行、被替代、已废止三种状态的登记正确率，以及替代关系链的连通率。典型合规案例的登记质量，验证方法是核对每则案例是否附问题描述、所涉标准条款、判定结论与处置措施四项要素，要素不全的案例不计入有效条目。 表 27　技术标准知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 条文规范·国标行标 | 条款收录率 | 分体系抽样逐条比对 | ≥0.98 | ≥0.95 | | 条文规范·企标 | 条款收录率 | 分体系抽样逐条比对 | ≥0.96 | ≥0.92 | | 条文规范·设计手册 | 条目收录率 | 以数表与条目为单位统计 | ≥0.95 | ≥0.90 | | 条文规范·内部工艺规范 | 条款收录率 | 分体系抽样逐条比对 | ≥0.94 | ≥0.88 | | 条文规范 | 切分完整率（六类合并后按体系分列） | 条款边界标注比对 | ≥0.95 | ≥0.90 | | 核心元数据 | 标准名称、标准号、发布部门、生效日期抽取正确率 | 逐份人工核对 | ≥0.98 | ≥0.95 | | 应用知识·参数限值 | 限值条目五项齐对率 | 数值、单位、适用条件、标准号、单元格位置逐项核对 | ≥0.95 | ≥0.90 | | 应用知识·引用关系 | 规范性引用抽取正确率 | 与人工整理清单比对 | ≥0.92 | ≥0.85 | | 应用知识·引用关系 | 规范性与资料性引用区分正确率 | 业务专家判定 | ≥0.90 | ≥0.82 | | 应用知识·版本更迭 | 三种状态登记正确率 | 与标准台账逐条核对 | ≥0.98 | ≥0.96 | | 应用知识·版本更迭 | 替代关系链连通率 | 逐链核验 | ≥0.92 | ≥0.85 | | 应用知识·合规案例 | 四要素齐备率 | 逐则核对 | ≥0.95 | ≥0.90 | ###### 1.4.2.2 标准智能问答能力验证 招标文件要求验证标准智能问答能力，支持多轮对话式问答、历史版本制度问答。这一条文字简短，但包含两项性质不同的能力，须分别验证。 多轮对话式问答的验证重点是上下文继承与条件澄清。本场景的多轮题按三种形态构造。第一种是条件递进：首轮提问缺少关键条件，助手反问，用户补充后给出答案；考察反问是否问到了真正的关键条件，以及补充条件后答案是否随之改变。第二种是条件变更：在已有答案的基础上改变一个条件（如板厚从 30 毫米改为 50 毫米），考察答案是否随条件正确变化，而不是沿用上一轮的数值。第三种是追问溯源：在得到答案后追问依据出处，考察是否能给出标准号、版本与单元格位置。三种形态分别统计，其中条件变更一项最能暴露上下文处理的缺陷——沿用上一轮数值而不重新取值的失败，在单轮评测中完全看不出来。 历史版本问答的验证重点是版本标注与现行优先。题目要求查询某一已被替代标准的旧版条款，正确行为是给出该旧版条款并显著标注其为历史版本、不作为执行依据，同时指出现行版本的对应条款。判分有三个要点：旧版条款是否正确取出、历史版本标注是否给出、现行版本是否同时指出。三个要点缺一不可——只给旧版条款而不标注历史版本，是本场景最危险的失败形态之一，因为使用者会直接据以设计。 表 28　标准智能问答能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 单轮参数查询 | 参数查询准确率 | 150 道参数限值题，数值、单位、适用条件三项齐对 | ≥0.93 | ≥0.88 | | 单轮条文解读 | 要点覆盖率 | 110 道解读题，按要点加权 | ≥0.88 | ≥0.80 | | 多轮·条件递进 | 关键条件反问率 | 以条件缺失题测定 | ≥0.88 | ≥0.80 | | 多轮·条件变更 | 条件变更后答案正确变化率 | 改变单一条件后重新取值是否正确 | ≥0.85 | ≥0.75 | | 多轮·追问溯源 | 溯源信息完整率 | 标准号、版本、条款号、单元格四项齐备 | ≥0.92 | ≥0.85 | | 多轮 | 上下文一致率 | 多轮题的轮级一致统计 | ≥0.88 | ≥0.80 | | 历史版本 | 旧版条款取出正确率 | 与旧版电子件逐条核对 | ≥0.92 | ≥0.85 | | 历史版本 | 历史版本标注给出率 | 答案中是否显著标注非执行依据 | ≥0.98 | ≥0.95 | | 历史版本 | 现行版本同时指出率 | 是否同时给出现行对应条款 | ≥0.90 | ≥0.82 | | 公共 | 废止标准误用为正式答案的发生数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 | | 公共 | 跨标准综合题要点覆盖率 | 涉及两类以上标准体系的题目 | ≥0.82 | ≥0.72 | ###### 1.4.2.3 技术标准文件解析能力验证 招标文件要求验证技术标准文件解析能力，支持表格、公式等半结构化内容提取，表格解析须达到单元格级精度。这是本场景与其他四个场景差别最大的一项，也是本场景的技术难点所在，验证口径须定到可操作。 「单元格级精度」须先定义清楚才能测。本节把它拆成四层，逐层验证，每层有独立判据。四层的关系是：下层不成立，上层无从谈起；而通常的表格解析评价只测到第二层，于是一份「表格识别准确率 0.95」的报告里，可能根本没有包含表头层级关系是否还原正确这件事。 第一层是表格定位与边界。验证表格在页面中是否被完整识别为一个表，是否出现跨页表被截断、相邻两表被并为一表、或表注被并入表体的情形。判据是表级定位正确率。 第二层是单元格切分与取值。验证每个单元格的文本是否被正确切出并取到完整内容，重点测三类难例：合并单元格（跨行或跨列）、斜线表头、含上下标与特殊符号的单元格（如公差符号、角度、希腊字母）。判据是单元格取值正确率，三类难例分项统计。 第三层是表头层级与寻址。验证多级表头的层级关系是否还原，使一个数值能被唯一寻址。这一层是「单元格级精度」的实质：一个数值取对了，但不知道它对应哪一行哪一列的条件，这个数值就没法用。典型形态是以规格为行、以工况或等级为列的参数表，取值须由「行条件＋列条件」共同确定。判据是按行列条件寻址的取值正确率。 第四层是语义绑定。验证单元格数值与其量纲、单位、适用条件、来源标准号是否绑定登记。缺单位的数值与缺适用条件的限值都不可用。判据是五项绑定齐备率，与 1.4.2.1 中参数限值的五项齐对率同源，此处从解析侧统计。 公式的验证与表格平行组织，分三层。第一层是公式识别与结构还原：公式是否被识别为公式而非图片或乱码文本，分子分母、上下标、根号与积分等结构是否还原。第二层是变量与符号登记：公式中每个符号的含义、量纲、取值来源是否登记，取值来源指该变量是由用户输入、由另一公式计算，还是查某一张表。第三层是可计算性：给定一组符合适用条件的输入，公式能否被正确求值，求值结果与人工按原文计算的结果是否一致。第三层是公式验证的落点——一个还原得很漂亮但算不出数的公式，在本场景里没有用处。 ###### 图 6　表格与公式解析的四层验证与归因入口 表格解析四层 第一层　表格定位与边界跨页截断·相邻并表·表注混入 第二层　单元格切分取值合并格·斜线表头·上下标 第三层　表头层级与寻址行条件＋列条件唯一定位 第四层　语义绑定数值·单位·适用条件·标准号 公式解析三层 第一层　识别与结构还原 第二层　变量与符号登记 第三层　可计算性 公式与表格的交叉：变量取值须回指某一单元格 判据与归因 表级定位正确率 ≥0.96　｜　失败归因：版面解析的表格检测与跨页拼接规则调用工具链 5 文档结构解析，按失败页型聚类后调整检测参数 单元格取值正确率 ≥0.95（三类难例分项 ≥0.88）　｜　失败归因：单元格切分与字符识别；扫描件难例回流补标，调用工具链 13 主动学习标注 按行列条件寻址取值正确率 ≥0.92　｜　失败归因：表头层级还原规则；多级表头与斜线表头须人工确认样式后固化规则，不逐表人工录入 五项绑定齐备率 ≥0.95　｜　失败归因：元数据抽取与参数限值登记；缺单位或缺适用条件的条目不进入知识库，由质检门控拦截 为什么要分四层测 一个数值从标准原文到可被引用，要跨过四道门：表被认出来、格被切对、行列条件被还原、量纲与适用条件被绑上。 只报一个「表格识别准确率」的话，第三层与第四层的缺陷不会出现在报告里——而工程师取错一个限值，多数不是因为 数字看错了，是因为用了另一种板厚或另一个等级那一行的数。四层分测之后，每一类失败都指向唯一的加工环节。 本场景的表格与公式解析质量直接决定参数查询准确率的上限，因此这一项不达下限时，参数查询一项不单独出结论。 分子分母·上下标·根号 含义·量纲·取值来源 给定输入可正确求值 图 6　表格与公式解析的四层验证与归因入口。数据来源：招标文件 3.2.6.5.2.2.2 对表格解析单元格级精度的要求，3.2.6.3.2 文档类资料版面解析与表格公式重建要求，3.2.3.3.3 文档结构解析工具链。 表 29　技术标准文件解析能力的验证项与取值 | 层 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---|---| | 表格一 | 表格定位 | 表级定位正确率 | 抽样不少于 300 张表逐张核对 | ≥0.96 | ≥0.92 | | 表格一 | 跨页表拼接 | 跨页表完整拼接率 | 以跨页表清单逐张核对 | ≥0.92 | ≥0.85 | | 表格二 | 单元格取值 | 单元格取值正确率 | 抽样不少于 5,000 个单元格逐格核对 | ≥0.95 | ≥0.90 | | 表格二 | 难例·合并单元格 | 合并格取值正确率 | 难例分项统计 | ≥0.90 | ≥0.82 | | 表格二 | 难例·斜线表头 | 斜线表头解析正确率 | 难例分项统计 | ≥0.88 | ≥0.80 | | 表格二 | 难例·上下标与符号 | 含特殊符号单元格取值正确率 | 难例分项统计 | ≥0.90 | ≥0.82 | | 表格三 | 表头层级 | 按行列条件寻址取值正确率 | 以寻址题逐题核对 | ≥0.92 | ≥0.85 | | 表格四 | 语义绑定 | 数值、单位、适用条件、标准号、单元格位置五项齐备率 | 逐条核对 | ≥0.95 | ≥0.90 | | 公式一 | 公式识别 | 公式识别与结构还原正确率 | 抽样不少于 200 个公式逐个核对 | ≥0.92 | ≥0.85 | | 公式二 | 变量登记 | 变量含义、量纲、取值来源三项齐备率 | 逐个核对 | ≥0.90 | ≥0.82 | | 公式三 | 可计算性 | 给定输入的求值正确率 | 与人工按原文计算结果比对 | ≥0.95 | ≥0.90 | | 交叉 | 单元格引用真实率 | 答案所引单元格在原文中真实存在且取值一致 | 回原文逐条核验 | ≥0.98 | ≥0.96 | 表 29 的最后一行与 1.4.2.2 的参数查询准确率是一对：参数查询测的是「答得对不对」，单元格引用真实率测的是「指得准不准」。两项都高才说明这条链路成立；只有前者高而后者低，说明数值是从别处得来的，哪怕恰好对了也不能采信。 ###### 1.4.2.4 数据可视化能力验证 招标文件要求验证数据可视化能力，支持自动统计技术标准检索量、高频查询条款、用户活跃度。这一项的性质与前三项不同：它统计的是使用行为，而不是知识内容。按表 4 的分法，统计功能的实现属场景建设方，但统计所依据的口径与维度属数据侧——高频查询条款要统计到条款，前提是检索日志里记了条款标识；若日志只记了文件名，这项统计做不出来。 因此本项的验证分三部分。第一部分验证统计所需的数据项是否齐备：检索日志中是否记录了查询文本、命中的知识单元标识、所属标准号与条款号、提问账号的岗位与部门、响应时长、是否采纳。逐项核对字段的存在与取值有效性。第二部分验证统计结果与源数据的一致性：按同一时间窗口，以日志原始记录独立复算检索量、条款命中频次与活跃账号数，与看板展示结果比对。甲方在场景需求中对这一项提出了统计准确率不低于 0.98、关键指标与源数据一致的口径，我方按同一量级设定目标值，并把一致性复算作为必做项——看板数字与日志对不上，是这类统计功能最常见的问题，而它在功能演示中看不出来。 第三部分是统计维度的业务可用性。高频查询条款的统计若只给条款编号，对标准修订与培训没有指导价值；须同时给出该条款所属标准、专业类别与提问岗位分布，才能支撑甲方在场景需求中提出的「精准识别高频问题与技术合规短板，为标准修订和培训提供数据支撑」这一目的。本项验证核对统计结果是否带这三个维度。 表 30　数据可视化能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | 责任侧 | |---|---|---|---|---|---| | 日志字段齐备 | 必填字段完整率 | 抽查不少于 2,000 条日志记录 | ≥0.98 | ≥0.95 | 两侧共同 | | 条款级可统计性 | 命中记录带条款标识的比例 | 抽查日志 | ≥0.95 | ≥0.90 | 数据侧为主 | | 统计一致性 | 独立复算与看板结果的一致率 | 按同一时间窗口复算检索量、条款频次、活跃账号数 | ≥0.98 | ≥0.96 | 工程侧为主 | | 维度完备 | 高频条款统计带标准、专业类别、岗位分布三维度 | 核对统计输出 | 三维齐备 | 缺一项记为有条件通过 | 两侧共同 | | 报表导出 | 导出结果与看板数据一致 | 抽样核对导出文件 | ≥0.98 | ≥0.95 | 工程侧 | ###### 1.4.2.5 本场景数据层验证要点 本场景在数据层上有三项与其他场景不同的要点。 预训练语料面须按六类标准体系分别核对覆盖，并对设计手册与内部工艺规范两类单独核对——这两类是甲方现场最缺的部分，也是知识探针最该测的部分。探针题中与数表、限值相关的题目不少于四成，因为本场景的知识密度集中在数表而不在条文叙述。 指令样本须覆盖本场景的六类提问：参数限值查询、条文解读、跨标准综合、版本辨析、单元格寻址、公式应用。其中单元格寻址与公式应用两类的样本构造依赖表格与公式的结构化成果，若 4.5 的第三层与第四层不达下限，这两类样本本身就构造不出来，须先修解析再补样本。这个依赖关系在整改排序时要体现：解析缺陷优先于样本缺陷修复。 长上下文一项在本场景份量最重。技术标准单份长度可达数十页，设计手册更长；题目构造为在长文中埋设目标条款或目标单元格并观察是否被正确引用，埋设位置按文首、文中、文末三档分布，分档统计定位正确率。文末一档的表现通常最差，而标准中的附录表往往在文末，分档统计据此设置。 ###### 1.4.2.6 典型样题与判分示例 表 31　技术标准场景的典型样题与判分方式 | 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 | |---|---|---|---|---| | 参数限值查询 | 某规格刮板链的最小破断负荷是多少 | 数值＋单位＋标准号＋表号＋单元格位置＋适用条件 | 六项齐对为通过；数值对而单元格位置错单列记录 | ③④⑤⑥ | | 单元格寻址 | 某牌号钢板在指定板厚、指定等级下的冲击功要求 | 由行条件与列条件共同定位的单元格取值 | 行列条件任一判错即失败，并记录判错的是行还是列 | ④⑤ | | 公式应用 | 给定工况参数，按标准公式计算输送能力 | 公式出处＋各变量取值及其来源＋计算结果 | 三路复算：工具计算、验证侧独立复算、人工按原文计算 | ⑤ | | 跨标准综合 | 某牌号钢板在指定板厚下对接焊的焊前最低预热温度 | 材料标准的牌号成分条款＋焊接标准的预热温度表＋工艺规范的本厂规定 | 要点加权，三类标准依据缺一即要点不全 | ③④⑦ | | 条文解读 | 某检验项目的合格判定条件与复验规则 | 要点一判定条件、要点二复验触发条件、要点三复验取样、要点四最终判定 | 要点加权 | ③④⑦ | | 多轮·条件变更 | 先问板厚 30 毫米的预热温度，再改问 50 毫米 | 两轮答案须分别取对应行的值 | 第二轮沿用第一轮数值即判失败 | ①④ | | 版本辨析 | 某已被替代标准中某条款的要求是什么 | 旧版条款＋历史版本标注＋现行版本对应条款 | 三要点缺一不可；未标注历史版本即判不通过 | ②⑥ | | 无依据题 | 某非标自制件的疲劳寿命限值（标准中无规定） | 应提示无标准依据，并建议转技术专家 | 给出确定性数值即判失败 | ⑧ | | 条件缺失题 | 这个件的焊接预热温度是多少（未给材质与板厚） | 应反问材质与板厚 | 直接给数值即判失败 | ① | | 干扰题 | 题面中掺入名称相近但专业不同的标准名 | 答案不受干扰项影响 | 引用干扰项所指标准即判失败 | ③④ | 公式应用题是本场景唯一需要三路复算的题型。第一路由助手调用公式计算工具得出结果；第二路由验证侧按登记的公式与变量独立实现一次计算；第三路由业务专家按标准原文手工计算一次。三路一致判通过。两路一致时，先查变量取值来源——最常见的分歧原因不是算错，而是某个变量取了不同表的值。三路都不一致时，该题转专家裁定，并把公式登记退回核对。三路复算的工作量约为单路比对的三倍；本场景的公式题多与承载能力、安全系数相关，其结果直接进入设计选型，故按三路执行。 本场景的题型按三项业务判别设置：适用条件、版本替代与条款冲突。三项都不是检索问题，而是取值前的判定问题，判分规则与单纯的条文检索题不同。 适用条件题判别的是一个限值在给定工况下该不该取。标准中的参数限值多数附带前置条件：材质牌号、规格区间、板厚档、工作温度、使用环境、产品类别。同一张表里相邻两行的取值差别，往往只由一个条件决定。答案须同时给出取值、单位与该取值所依赖的全部适用条件，并在题面条件不足以唯一确定取值时反问而不是取默认行。判分按五项齐对：数值、单位、适用条件、标准号、单元格位置，任一项不符即该题计零分，并记录不符的是哪一项。 版本替代题判别的是一份标准在提问时点的效力状态与替代链。标准的替代关系有整体替代、部分替代与并行有效三种形态：新版整体代替旧版，新版只代替旧版的若干章节，或新旧版本在不同产品类别上并行有效。答案须给出现行标准号与版本、被替代标准号与替代形态；按历史版本提问时，须标注其非执行依据并同时给出现行对应条款。判分以版本检查节点乘子为前置。 条款冲突题判别的是两份以上标准对同一事项的要求是否一致、不一致时如何处置。冲突有三种来源：不同体系的标准对同一参数给出不同限值，引用标准已更新而引用方未同步，企业标准严于或宽于其所引国家标准。答案须给出冲突双方的条款原文与位置、冲突类型，以及按从严取值或转标准化部门裁定的处置指向；不输出哪一方优先的定性结论——标准之间的效力关系取决于强制性属性与适用范围，不由文本比对判定。判分按冲突是否被提出、对照是否完整、处置指向是否正确三项，不判定性结论的对错。 表 31A　技术标准场景题型的业务判别要点与评分式 | 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 | |---|---|---|---|---|---| | 参数限值查询 | 数值与其量纲、来源的绑定 | 标准号、表号、单元格坐标、单位 | 数值＋单位＋标准号＋表号＋单元格位置 | 五项齐对计 1，否则计 0，记录不符项 | ③④⑤⑥ | | 适用条件判定 | 取值所依赖的全部前置条件 | 适用条件字段（材质、规格、板厚、工况）、行列条件 | 取值＋单位＋全部适用条件；条件不足时反问 | 条件任一判错即计 0；应反问而直接作答计 0 | ①④⑤ | | 条文解读 | 判定条件与复验规则是否说全 | 评分要点与权重 | 要点清单 | S ＝ Σ wₖhₖ | ③④⑦ | | 多轮追问 | 条件变更后是否重新取值 | 轮次序列、各轮变更项与继承项 | 各轮应取的单元格与取值 | 按轮级判定，沿用上一轮数值计 0 | ①④ | | 版本替代辨析 | 替代形态与现行效力 | 标准号与版本、被替代关系、替代形态 | 现行标准号与版本＋被替代标准号＋替代形态＋现行对应条款 | S′ ＝ S × g版本 | ②⑥ | | 跨标准条款冲突 | 冲突是否被提出、对照是否完整 | 冲突对标识、冲突类型、双方条款位置 | 双方条款原文与位置＋冲突类型＋处置指向 | 提出、对照、处置指向三项分别判，不判定性结论 | ③④⑦ | | 表格取值 | 行列条件共同寻址 | 表号、行条件、列条件、表头层级 | 由行列条件唯一定位的单元格取值 | 行列条件任一判错计 0，记录判错的是行还是列 | ④⑤ | | 公式应用 | 变量取值来源与可计算性 | 公式出处、各变量的量纲与取值来源 | 公式出处＋各变量取值及其来源＋计算结果 | 三路复算一致计 1，否则计 0 | ⑤ | 表 31B　技术标准场景的四类专项测试构造 | 专项 | 本场景的构造 | 判据 | 归因入口与补数据 | |---|---|---|---| | 权限越界 | 取受控共享目录中限定阅读范围的内部工艺规范与设计准则，以无权账号提问 | 返回权限提示；越权放行以零发生为目标 | 归②；补资料密级与阅读范围登记后整批重测 | | 无依据 | 问非标自制件或新工艺中标准体系尚无规定的参数 | 提示无标准依据并建议转技术专家，不给出确定性数值 | 归⑧；补拒答样本与偏好对后复测 | | 版本失效 | 问已被替代标准中的限值，或以旧标准号提出设计选型问题 | 不以已废止标准的限值作为设计依据；标注历史版本并给出现行对应条款 | 归②⑥；补标准台账的版本状态与替代链登记后整批重跑 | | 工具失败 | 使表格取值、单位换算或公式计算工具返回空结果、异常码或超时 | 提示计算未完成并给出已确认的条件与出处，不以估算值或邻近行取值替代 | 归⑤；补公式与单位登记、工具失败处置样本后复测 | 示范用例。取一道公式应用题，按标准公式计算给定工况下的输送能力，公式含四个变量，其中两个由题面给出、一个查参数表、一个由另一公式计算。执行流程为：助手调用公式计算工具得出第一路结果；验证侧按登记的公式与变量独立实现一次计算，得出第二路结果；业务专家按标准原文手工计算一次，得出第三路结果。设第一路与第二路一致而第三路不同，先查变量取值来源——差异通常不在算错，而在某个变量取自不同的表。设查明为查表变量取自已被替代版本的参数表，则该题计 0 分，错因归②与⑤：版本检查节点未拦住失效参数表，工具参数构造采用了失效口径。修复入口为标准台账的版本状态登记与公式变量的取值来源登记；补数据后，对全部以该参数表为变量来源的公式题与参数限值题整批复测。本题的三路计算记录、归因与复测结果，连同模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 封存。上列为流程与判分示例，不代表实测结果。 ###### 1.4.2.7 所需数据、接入条件与降级路径 技术标准场景与其余四个场景的差别，在于它的依据库有相当一部分并不在甲方手中：国标与行标须经授权导入，已被替代的历史版本在企业内通常不再留存，设计手册与内部工艺规范则散落在各部门的受控共享目录。表 32 据此逐项列明材料、用途、来源与不具备时的降级口径。 取舍以「缺了哪一项，哪一类题就无法成立」为准。标准台账中的现行状态与替代关系，是版本替代辨析题的判定基准；已被替代标准的历史版本电子件，是历史版本问答题唯一的题面来源，取不到则该项不出结论，只验证现行状态标注是否正确；设计手册与内部工艺规范是条文规范知识中最缺的两类，其到位程度直接决定标准应用类题目的覆盖面；资料密级与权限规则关系到权限门的越权放行能否实测，无密级标识的一律按最高密级处理，宁可拦截从严也不放行越权。 第四列是判据，三种降级方式对应三种结论强度：按减量执行、标注为推定口径、该项不出结论。第二、三列合起来说明向谁取用、取来支撑哪一项验证，便于在一期的数据需求清单中逐项跟踪。表中任一项走降级口径的，受影响的验证范围在本场景验证报告中逐条列明，不以未受影响项的取值代表本场景整体。 表 32　技术标准场景的数据需求与降级路径 | 需求项 | 用途 | 来源 | 不具备时的降级 | |---|---|---|---| | 国标、行标、企标电子件 | 条文规范知识与基准题依据 | 甲方产品生命周期管理系统；外部标准经授权导入 | 按已授权范围先行验证，未覆盖体系在报告中列明 | | 设计手册与内部工艺规范、设计准则 | 条文规范知识中最缺的两类 | 甲方各部门与受控共享目录 | 按已到位部分验证；内部规范一项不出单独结论 | | 标准台账（标准号、现行状态、替代关系） | 版本状态登记与版本辨析题判定基准 | 甲方标准化管理部门 | 以文件封面信息推定，推定项标注，版本辨析题减量 | | 已被替代标准的历史版本电子件 | 历史版本问答题构造 | 甲方标准化管理部门 | 历史版本一项不出结论，仅验证现行状态标注 | | 典型合规案例与历史质量问题记录 | 标准应用知识中的案例条目 | 甲方质量与技术部门 | 案例条目一项按已有数量验证，不足则在报告中注明条目数 | | 资料密级与权限规则 | 权限门测定与密级字段核验 | 甲方确认 | 以文件现有密级标识为准，无标识的按最高密级处理 | | 三档权限测试账号 | 越权放行测定 | 场景建设方配置 | 以密级字段静态核验替代 | | 人工对照组安排 | 效率指标的人工基线 | 甲方安排工程技术岗位人员 | 效率类指标留空，不填预估值 | #### 1.5 标书智能问答（3.2.6.5.2.3） ##### 1.5.1 场景介绍（3.2.6.5.2.3.1） ###### 1.5.1.1 现场问题与验证要回答的疑问 招标文件对本场景的现状判断是：招投标文件内容篇幅长、响应要求细、技术参数密、截止时间紧、废标条款隐蔽，传统人工阅读与响应存在关键信息遗漏、条款解读偏差、投标风险识别不准、团队协作效率低下、历史投标经验复用难五类问题。 这五类问题有一个共同的结构：投标工作的本质是把招标文件里的每一条要求，对应到企业已有的一件证据上。要求散落在招标文件的资格条款、评分标准、技术规格、废标条款与格式要求里；证据散落在历史合同、发票、使用证明、中标通知书、技术协议、安标证书、防爆证书、检验检测报告、营业执照、体系证书与企业资料里。人工做法是两头各自翻一遍再凭经验对上，于是漏项、错配与经验不可复用都来自同一个原因：要求与证据之间没有一张可查的对应关系表。 甲方的现场困难可以具体到四处。招标条款分散，人工检索历史同类标书与技术应答方案耗时久。业绩、设备、安标等硬性材料的匹配需跨台账、多文件人工比对，易漏项、错配。标书撰写依赖资深人员经验，新人上手周期长，优秀应答方案无法沉淀复用。废标条款、资格门槛、评分细则人工核对易出现疏漏。此外，不同招标单位对业绩、设备证明、安标证书的材料组合要求差异明显，缺少统一的智能检索复用渠道。 本场景的验证还有一个排期前提须先写明。甲方对本场景的推进分两阶段：第一阶段聚焦商务模块，第二阶段在技术场景完善后再建设技术部分模块。本节的验证按同一节奏组织：首轮验证覆盖商务标的资质与业绩材料生成、招标文件解析与审标，技术标的技术方案生成一项在第二阶段纳入验证范围，首轮报告中对该项标注为未纳入本轮并说明原因。这样安排不是缩小范围，而是与甲方的建设节奏对齐——在技术模块尚未建设时对其出验证结论，结论没有意义。 验证要回答四个疑问，对应招标文件的四项验证要求：招投标文件知识库建得全不全（投标文本知识与商务知识两类）、招标文件解析与风险标注准不准、投标内容生成的事实是否可回溯、投标文件智能评审能否查出问题。 ###### 1.5.1.2 场景形态、智能体链路与我方验证定位 招标文件描述本场景为：基于招标文件、历史投标文件、评分标准、企业资质库构建高质量标书数据集，通过大语言模型、多模态文档解析、智能检索与匹配等技术，打造标书智能问答助手，统一纳管各类招投标知识，辅助投标文件编制和审查，缩短标书编制周期，提高标书应答全面性。 对应到本包，我方的工作是把「统一纳管各类招投标知识」那一层做实并验证到位：投标相关资料按投标文件模板库、设备材料、资质（安标证书、防爆证书、检验检测报告、产品合格证）与业绩（业绩合同、发票、验收单、中标通知书、技术协议）分类归集；对招投标文件与合同文本标注条款类型、风险点与合规判定结论；基于招投标文件与知识库条目合成标书问答样本。 本场景的智能体链路与前两个场景有一处本质差别：它不只检索与作答，还生成要交付出去的文件，而文件里的每一项企业事实都要能回到一件原件。因此本场景在图 1 的骨架上增加一道生成前置门：凡属企业事实的内容（业绩、资质、设备、技术参数、报价），须由证据匹配结果填充，不由模型组织表述；匹配不到的位置以缺口占位标出，不补写。这道门是本场景验证的重点观测对象——它的失败形态是「写得很顺但查不到原件」，而这类错误在成稿之后极难发现。 表 33　标书场景的智能体链路与验证观测点 | 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 | |---|---|---|---|---| | ① 意图识别与条件补齐 | 识别任务类型（解标、材料匹配、生成、审标）与项目标识 | 任务类型识别正确率 | 指令微调子集中的标书任务样本 | 补任务类型样本 | | ② 权限与版本检查节点 | 按项目成员权限与资料保密等级过滤；识别补遗与澄清的文件优先级 | 文件优先级判定正确率、越权放行发生数 | 资料密级登记、文件版本关系 | 密级与版本字段修订 | | ③ 混合检索召回 | 按要求条目检索历史标书、业绩、证书、模板 | 证据召回率 Recall@5、材料匹配召回率 | 分类归集结果与索引 | 分类归集规则与索引配置 | | ④ 重排与证据包组装 | 组装要求条目＋候选证据件号＋有效期＋适用范围 | 证据完整率、件号可回溯率 | 业绩与证书的件级元数据 | 件级元数据补登记 | | ⑤ 工具调用 | 审标规则检查、评分测算、有效期校验、格式检查 | 工具调用四段判分 | 审标规则库、评分规则登记 | 规则库修订 | | ⑥ 引用校验门 | 核验所引件号、证书编号、合同编号真实存在且在有效期内 | 引用真实率、有效期校验正确率 | 件级元数据与有效期字段 | 有效期字段逐条修订 | | ⑦ 受控生成 | 按模板装配章节，企业事实由证据填充，缺口占位 | 要点覆盖率、企业事实错误率、缺口提示率 | 偏好对齐子集（可回溯优于通顺） | 补偏好对与事实约束样本 | | ⑧ 拒答与转人工 | 资格、废标、截止时间、报价四项有冲突或缺失即挂起转人工 | 四项挂起正确率 | 一票否决项规则登记 | 规则登记修订 | | ⑨ 留痕与血缘 | 登记要求条目、选用资料、证据原件、章节与审标结果的映射 | 映射链完整率 | 血缘登记字段 | 补登记字段 | ##### 1.5.2 验证要求（3.2.6.5.2.3.2） ###### 1.5.2.1 招投标文件知识库建设能力验证 招标文件要求验证招投标文件知识库建设能力，知识范围包含历史投标文本、投标文件模板库、项目实施方案、售后服务承诺在内的投标文本知识，以及设备材料知识、企业资信证明、项目业绩合同、验收单在内的商务知识。两类知识的验证重点不同。 投标文本知识的验证重点是可复用性，而不只是收录量。一份历史投标文件入库之后能不能用，取决于三件事：它的章节结构是否被还原到可按章节取用的程度、它所应答的原始招标要求是否被关联登记、它是否被标注了可复用范围。第三项最容易被忽略：历史标书中有相当比例的内容是项目专属的（特定客户的特定工况、已失效的承诺、已变更的报价口径），这部分内容复用到新项目里就是错误。因此本项验证把「可复用范围标注正确率」列为主要指标，由业务专家判定。 模板库的验证重点是覆盖与结构标注。甲方的模板按主要招标单位分设，覆盖不少于五家主要客户的格式要求，另有通用模板。验证核对三项：模板是否按客户与项目类型分类登记、每份模板的章节结构与格式要求（含签章位置、必填项、附件清单）是否结构化标注、可复用内容与须逐项填写的内容是否区分标注。 商务知识的验证重点是件级可回溯与时效性。业绩类与资质类材料的每一件都须登记件号、所属项目或证书编号、有效期、适用产品范围、证明材料齐备性与保密等级。验证方法是逐件核对台账与原件，统计件级元数据的齐备率与正确率；对资质类材料另单列有效期字段的正确率，因为安标证书、防爆证书与检验检测报告都有有效期，用过期证书应标是实质性风险。 表 34　招投标文件知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 投标文本·收录 | 历史投标文件收录率 | 以甲方提供清单为基准逐份核对 | ≥0.98 | ≥0.95 | | 投标文本·结构 | 章节结构还原率 | 按章节可取用性核对 | ≥0.95 | ≥0.90 | | 投标文本·关联 | 应答关系登记率 | 历史标书章节与原始招标要求的关联登记 | ≥0.90 | ≥0.82 | | 投标文本·复用 | 可复用范围标注正确率 | 业务专家逐份判定 | ≥0.90 | ≥0.82 | | 模板库·覆盖 | 模板分类登记正确率 | 按客户与项目类型核对 | ≥0.95 | ≥0.90 | | 模板库·结构 | 章节、格式要求、签章位置、必填项结构化标注齐备率 | 逐份核对 | ≥0.92 | ≥0.85 | | 模板库·区分 | 可复用内容与须填写内容的区分标注正确率 | 业务专家判定 | ≥0.90 | ≥0.82 | | 商务知识·业绩 | 业绩件级元数据齐备率 | 逐件核对台账与原件 | ≥0.95 | ≥0.90 | | 商务知识·资质 | 资质件级元数据齐备率 | 逐件核对 | ≥0.95 | ≥0.90 | | 商务知识·时效 | 资质有效期字段正确率 | 与原件逐件核对 | ≥0.98 | ≥0.96 | | 商务知识·证明齐备 | 业绩证明材料齐备性标注正确率 | 核对合同、发票、验收单、中标通知书等的齐备标注 | ≥0.92 | ≥0.85 | | 商务知识·设备材料 | 设备与检验检测设备台账登记正确率 | 逐条核对 | ≥0.95 | ≥0.90 | ###### 1.5.2.2 标书智能解析能力验证 招标文件要求验证标书智能解析能力，支持对招标文件项目基本信息、资格性要求、评分标准、废标条款、技术参数与设备要求、业绩证明材料要求的自动提取与风险标注。六类提取对象的难度与后果都不同，验证按类分项统计，不给合并数字。 项目基本信息与评分标准的提取相对规整，前者是固定字段，后者多以表格形式给出，验证重点在字段齐备与评分项的分值、评审方式是否对应正确。 资格性要求与废标条款的提取是本项的重点。这两类条款的共同特征是分散且表述方式不统一：资格要求可能出现在投标人资格章节，也可能出现在投标人须知或评审办法中；废标条款更隐蔽，常以「否决投标」「视为无效投标」「不予受理」等不同措辞出现，且散落在符合性审查表、投标人须知与合同条款各处。验证的做法是以人工逐条拆解的结果为基准，统计召回率与精确率，并对召回失败的条款按其在招标文件中的位置与措辞类型聚类——这个聚类结果直接指向抽取规则的缺口，是本项最有用的归因产物。 技术参数与设备要求的提取须测到参数级：每一项参数的名称、要求值、单位、是否带「不低于」「不高于」「或相当于」一类限定词、是否为带星号的关键参数。限定词与星号标记的漏标是实质性风险，单列统计。 业绩证明材料要求的提取须测到组合级：招标文件对业绩的要求通常是一组条件的组合（近若干年、同类项目、合同金额下限、须提供的证明材料种类），少提取其中一项就会导致材料准备缺项。验证按条件组合的完整提取率统计。 风险标注的验证与提取分开。提取出一条废标条款只是第一步，还要判断它对本次投标是否构成风险、风险等级如何。风险标注的判定由业务专家给基准，验证统计标注正确率与等级一致率。甲方在场景需求中对废标风险识别的准确率提出了不低于 0.97 的口径，这是本场景最硬的一项指标。我方的处理是：把它拆成废标条款召回率、风险标注正确率与一票否决项挂起正确率三项分别验证，并在报告中说明合成关系——因为一个「废标风险识别准确率」的单一数字无法指出失败在哪一步，而这三项的修复入口分别是抽取规则、标注样本与规则登记。 表 35　标书智能解析能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 项目基本信息 | 字段提取齐备率 | 以不少于 15 份真实招标文件为样本逐份核对 | ≥0.98 | ≥0.95 | | 资格性要求 | 召回率 | 与人工拆解清单比对 | ≥0.95 | ≥0.90 | | 资格性要求 | 精确率 | 提取结果中成立的比例 | ≥0.92 | ≥0.85 | | 评分标准 | 评分项、分值、评审方式三项齐对率 | 逐项核对 | ≥0.95 | ≥0.90 | | 废标条款 | 召回率 | 与人工拆解清单比对，按措辞类型分项统计 | ≥0.96 | ≥0.92 | | 废标条款 | 措辞变体识别率 | 对非标准措辞的识别情况单列 | ≥0.90 | ≥0.82 | | 技术参数 | 参数级提取齐对率（名称、要求值、单位） | 逐项核对 | ≥0.95 | ≥0.90 | | 技术参数 | 限定词与关键参数标记保留率 | 对「不低于」「或相当于」「带星号」等逐项核对 | ≥0.96 | ≥0.92 | | 业绩材料要求 | 条件组合完整提取率 | 按条件组合逐组核对 | ≥0.92 | ≥0.85 | | 风险标注 | 标注正确率 | 业务专家判定为基准 | ≥0.92 | ≥0.85 | | 风险标注 | 风险等级一致率 | 与专家判定的等级比对 | ≥0.88 | ≥0.80 | | 一票否决项 | 资格、废标、截止时间、报价四项的挂起正确率 | 以预埋冲突与缺失题测定 | ≥0.98 | ≥0.95 | ###### 1.5.2.3 投标生成能力验证 招标文件要求验证投标生成能力，支持商务标的资质材料、业绩材料的内容生成，以及技术标的技术方案、实施方案、售后服务方案的内容生成。本项的验证口径与前面各项不同，须先说明判什么。 生成能力的常规评价方式是看生成文本的质量，但本场景不这么判。理由是：标书中的每一项企业事实都是评标环节要逐件核验的对象，一旦出现与原件不符的表述，后果不止于扣分；而生成得流畅与事实上准确是两件事，流畅的错误比生硬的正确危险得多。因此本项的验证把生成质量拆成三层，权重倒置——事实可回溯性权重最高，结构完整性次之，表述质量最低。 第一层是事实可回溯性。生成内容中凡属企业事实的部分（业绩项目名称、合同金额、履约时间、客户名称、证书编号、有效期、设备型号与数量、技术参数），须逐项能回指到一件原件。验证做法是对生成结果逐项抽取事实项，与件级台账及原件比对，统计三个量：事实项可回溯率（能指到原件的比例）、事实项准确率（指到的原件与表述一致的比例）、虚构事实发生数（表述的事实在原件中不存在）。第三项以零发生为目标，出现即判该项不通过——这一条不设有条件通过。 第二层是结构完整性与硬性要求覆盖。生成结果是否按招标文件要求的章节结构组织、是否覆盖了要求矩阵中的全部应答条目、是否在缺少证据的位置给出了明确的缺口占位而不是略过。缺口提示率是本层的关键指标：一个诚实的缺口占位是可用的工作产物，一个被略过的缺口是隐藏的漏项。 第三层是表述质量与格式规范。包括语言是否符合投标文件文体、格式是否符合模板要求（字号、编号层级、签章位置、附件编号）、是否存在前后矛盾。这一层用模型裁判初判加人工复核判分。甲方在场景需求中对一键生成的内容及格式准确率提出了不低于 0.99 的口径。我方的处理是把这一口径按章节完整率、硬性要求覆盖率、证据匹配准确率与格式检查准确率四项分别核算，各项分别给目标值，并另行统计企业事实错误率与缺口提示率——把四项不同性质的内容压成一个准确率数字，达标与否取决于怎么加权，而加权方式并不比四个分项数字更有信息量。 技术标的技术方案、实施方案与售后服务方案生成一项，按 1.5.1.1 所述的排期前提，在第二阶段纳入验证范围。首轮验证中本项的处理是：核验支撑该项生成所需的数据供给是否已到位（产品参数、技术方案素材、标准依据的登记情况），出具数据就绪度结论，不出具生成质量结论。就绪度结论同样有用——它告诉甲方第二阶段启动前还缺什么。 表 36　投标生成能力的验证项与取值 | 层 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---|---| | 一 | 事实可回溯 | 事实项可回溯率 | 逐项与件级台账比对 | ≥0.98 | ≥0.95 | | 一 | 事实准确 | 事实项准确率 | 与原件逐项核对 | ≥0.98 | ≥0.96 | | 一 | 虚构事实 | 虚构事实发生数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 | | 二 | 结构完整 | 章节完整率 | 与招标文件要求的章节结构比对 | ≥0.95 | ≥0.90 | | 二 | 要求覆盖 | 硬性要求覆盖率 | 与要求矩阵逐条比对 | ≥0.95 | ≥0.90 | | 二 | 缺口显式化 | 缺口提示率 | 缺证据位置是否给出占位与所差何项 | ≥0.95 | ≥0.90 | | 二 | 证据匹配 | 证据匹配准确率 | 填入的证据件与要求条目是否对应 | ≥0.93 | ≥0.88 | | 三 | 格式规范 | 格式检查准确率 | 字号、编号层级、签章位置、附件编号 | ≥0.95 | ≥0.90 | | 三 | 表述质量 | 模型裁判初判加人工复核得分 | 校准后按分册复核 ≥50% | ≥0.80 | ≥0.70 | | 三 | 前后一致 | 前后矛盾发生率（取反向） | 人工复核 | ≤0.05 | ≤0.10 | | 技术标 | 数据就绪度 | 产品参数、方案素材、标准依据的登记齐备率 | 逐项核对 | 首轮出就绪度结论 | — | ###### 1.5.2.4 投标文件智能评审能力验证 招标文件要求验证投标文件智能评审能力，支持废标项检查、资格性审查、评分项审查、遗漏检查、格式规范性检查，并生成评审报告。这一项的验证方法与前三项不同：它测的是「能不能查出问题」，因此验证的主要手段是预埋缺陷并回放。 缺陷预埋的做法是：取历史投标文件，由业务专家按五类检查项分别植入已知缺陷，每类不少于 30 处，缺陷的严重程度分三档。植入的缺陷须贴合真实易错点，不是人为制造的明显错误。按五类检查项，典型的预埋缺陷形态如下。废标项类：漏签章、报价超出最高限价、未按要求提供原件、投标有效期短于要求。资格性类：资质证书过期、业绩数量不足、业绩类型不符、财务指标不达要求。评分项类：评分项应答内容缺失、承诺低于评分要求、证明材料与承诺不对应。遗漏类：要求矩阵中的条目在投标文件中无对应应答、附件清单中列明的附件缺失。格式类：编号层级错乱、金额大小写不一致、页码与目录不符、签章位置不符要求。 回放的做法是：取甲方历史投标项目的内部评审意见，把当时发现的问题作为基准，看系统能否重新发现。回放题测的是真实分布上的表现，与预埋题的结果并列报告而不取其高。 评审报告的验证单列一项。报告须包含问题清单、每个问题的位置定位、所依据的招标文件条款、严重程度与修改建议五项。验证核对五项齐备率，并核对位置定位是否精确到页与条目——一份只说「资格材料有问题」而不指出是哪一份证书哪一项不符的评审报告，在实际使用中价值有限。 表 37　投标文件智能评审能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 废标项检查 | 预埋缺陷检出率 | 每类不少于 30 处预埋，按严重程度分档统计 | ≥0.96 | ≥0.92 | | 资格性审查 | 预埋缺陷检出率 | 同上 | ≥0.95 | ≥0.90 | | 评分项审查 | 预埋缺陷检出率 | 同上 | ≥0.90 | ≥0.82 | | 遗漏检查 | 预埋缺陷检出率 | 以要求矩阵逐条核对 | ≥0.92 | ≥0.85 | | 格式规范性检查 | 预埋缺陷检出率 | 同上 | ≥0.95 | ≥0.90 | | 五类合计 | 误报率（取反向） | 系统报出而经专家确认不成立的比例 | ≤0.12 | ≤0.20 | | 回放 | 历史评审意见的重现率 | 取历史内部评审意见回放 | ≥0.80 | ≥0.70 | | 评审报告 | 五项齐备率 | 问题、位置、依据条款、严重程度、修改建议 | ≥0.95 | ≥0.90 | | 评审报告 | 位置定位精确率 | 定位到页与条目的比例 | ≥0.92 | ≥0.85 | | 评分模拟 | 评分测算与专家测算的一致率 | 以可量化评分项为范围 | ≥0.88 | ≥0.80 | 误报率一项允许较高的上限，与制度场景的冲突候选准确率同理：审标的筛查应偏向召回，漏掉一个废标项的代价与多报一个待核项的代价不在一个量级。但误报率也不能无下限放宽——报出的问题太多，复核的人会开始跳着看，筛查的实际效果反而下降。取值定在 0.12 是按人工复核可承受的负荷推算的，随版本迭代按实际复核记录调整。 ###### 图 7　标书场景解标、做标、审标三段验证的衔接 第一段　解标 提取：基本信息·资格要求 　　　评分标准·废标条款 　　　技术参数·业绩要求 产出：要求矩阵＋风险标注 第二段　做标 匹配：业绩库·证书库 　　　模板库·历史标书 装配：按模板填充章节 产出：草稿＋缺口清单 第三段　审标 检查：废标项·资格性 　　　评分项·遗漏·格式 测算：可量化评分项 产出：评审报告＋修改建议 矩阵 草稿 按审标意见回修 验证手段：人工逐条拆解为基准 召回率·精确率·措辞变体识别率 按条款位置与措辞类型聚类归因 一票否决四项：挂起正确率 验证手段：事实逐项回指原件 可回溯率·准确率·虚构发生数 缺口提示率（缺证据须显式占位） 技术标生成第二阶段纳入 验证手段：预埋缺陷＋历史回放 五类各不少于 30 处预埋，分三档 检出率·误报率并列报告 报告五项齐备＋定位到页与条目 三段共用一条映射链，链断即三段结论都不成立 招标要求条目　→　选用资料件号　→　证据原件　→　标书章节位置　→　审标结果 本包对这条映射链的可回溯性负责：映射链完整率列为本场景链路层⑨的主指标。补遗或澄清文件进入后， 要求矩阵须增量更新并重查已生成章节，验证中以补遗注入题测定增量更新的触发与影响范围判定是否正确。 图 7　标书场景解标、做标、审标三段验证的衔接。数据来源：招标文件 3.2.6.5.2.3.2 四项验证要求，3.2.6.3.4 投标相关资料分类归集要求，3.2.6.3.5 招投标文件条款类型与风险点标注要求。 ###### 1.5.2.5 本场景数据层验证要点 本场景的数据层验证有两项特殊之处。 第一项是「企业事实不进模型权重」这一取向对数据层验证的影响。本场景的企业事实（业绩、资质、设备、参数）须从资料库即时检索，不作为训练语料注入模型——理由是这些事实会随资质更新与业绩积累而变动，写进权重之后既难更新也无法逐条追溯到原件。这一取向决定了数据层验证的重点：预训练语料面的核对对象是招投标的语言与结构（招标文件的条款体例、投标文件的文体与章节组织），不是企业事实本身；知识探针题相应地考察体例与术语理解，不考察「我方有哪些业绩」这类事实题。把事实题放进探针，测出来的高分恰恰是风险信号。 第二项是增量与反馈机制的验证。甲方对本场景提出了每季度归集新增招投标项目资料、持续补充新发现的招标规则与高频问答的要求。本节在数据层验证中核对增量机制是否成立：新增项目资料的归集流程是否可执行、新发现的规则是否有登记入口、反馈样本是否经审核后入库、入库前是否重新执行质检。这一项不测数量，只测机制是否闭合——因为首轮验证时增量还没有发生，能验证的只有通路。 ###### 1.5.2.6 典型样题与判分示例 表 38　标书场景的典型样题与判分方式 | 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 | |---|---|---|---|---| | 废标条款提取 | 从一份招标文件中列出所有否决投标情形 | 人工拆解的废标条款清单（含条款位置与措辞） | 召回率与精确率；漏掉的按措辞类型与位置聚类 | ③④⑤ | | 资格要求提取 | 本项目对投标人资质、业绩、财务的要求分别是什么 | 各类要求的条件组合清单 | 条件组合完整提取率 | ③④ | | 材料匹配 | 本项目要求的同类业绩，我方有哪些可用 | 可用业绩件号清单＋不可用原因＋缺口说明 | 件号可回溯；漏掉可用件与误用不可用件分别统计 | ③④⑥ | | 资质时效 | 拟用于本项目的证书中有哪些将在投标有效期内过期 | 证书编号＋有效期＋到期判定 | 有效期校验正确率；漏判即失败 | ⑤⑥ | | 内容生成 | 按要求生成业绩部分 | 每项业绩的事实项须逐项回指原件 | 事实可回溯率、准确率、虚构发生数 | ⑦ | | 缺口显式化 | 要求提供的某类证明材料资料库中没有 | 应给出缺口占位并说明所差何项 | 略过不提即判失败 | ⑦⑧ | | 审标·预埋 | 对植入已知缺陷的投标文件出评审报告 | 预埋缺陷清单 | 检出率按五类与三档分别统计 | ⑤ | | 审标·回放 | 对历史项目投标文件出评审报告 | 当时的内部评审意见 | 重现率 | ⑤ | | 补遗注入 | 投标过程中注入一份补遗文件 | 要求矩阵的增量变化＋受影响章节清单 | 未触发增量更新或影响范围判错即失败 | ②⑨ | | 无依据题 | 招标文件未提及的某项要求如何应答 | 应提示招标文件无此要求 | 凭推测补充要求即判失败 | ⑧ | | 一票否决 | 预埋资格不符与报价冲突 | 应挂起并转投标负责人 | 自动定稿或以默认值填补即判不通过 | ⑧ | 材料匹配题的判分需要说明两类失败的不对称。漏掉一件可用业绩，损失是少了一项得分证据；误用一件不可用业绩（项目类型不符、证明材料不全、超出可使用范围），后果是材料被评标质疑甚至被认定为虚报。因此本题型的判分对两类失败分别统计并分别设判据，误用一项的下限值定得明显更严。这种不对称在评测设计中要显式体现，否则一个在两类失败上表现相反的版本会算出相同的分数。 本场景的题型按三项业务判别设置：条款定位、三类要素抽取与漏项检查。三者的失败后果不同，判分规则与判据取值也不同。 条款定位题判别的是一条要求在招标文件中的确切位置。招投标文件的同一事项常在数处重复或互相限定：资格要求可能同时出现在投标人须知、资格审查办法与评审表；废标情形可能以否决投标、无效投标、不予受理三种措辞分散出现。答案须给出条款所在章节、条款号与原文片段，并在同一要求出现于多处时给出全部位置与其相互关系（重复表述、进一步限定、例外）。判分按位置齐对与关系判定两项分别统计。 要素抽取题按资格资质、技术、商务三类分设，三类的字段与判分口径不同。资格资质要素的判分对象是条件组合：资质类别与等级、业绩年限与数量、合同金额下限、财务指标、人员与设备要求，以及每项要求对应应提供的证明材料种类；少提取组合中的任一项即判该条抽取不成立。技术要素的判分对象是参数级字段：参数名称、要求值、单位、限定词（不低于、不高于、或相当于）与关键参数标记，限定词与标记的漏标单列统计。商务要素的判分对象是条款级条件：报价范围与构成、付款与结算条件、交付期与地点、质保期与售后响应、违约与履约担保，判分按条件齐对率统计。 漏项检查题判别的是要求矩阵中的条目在投标文件中是否都有对应应答。漏项有三种形态：矩阵条目在投标文件中无对应内容、有内容但未响应其实质要求、附件清单中列明的附件缺失。答案须给出漏项清单及每项所在的矩阵条目号与应答应在的位置。判分按漏项检出率与误报率并列统计，两者同时给出。 表 38A　标书场景题型的业务判别要点与评分式 | 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 | |---|---|---|---|---|---| | 条款定位 | 同一要求在多处出现时的位置与相互关系 | 招标文件标识、章节与条款位置、同事项位置集合 | 全部出现位置＋原文片段＋位置间关系 | 位置齐对与关系判定两项分别判，召回率与精确率并报 | ③④⑥ | | 资格与资质要素抽取 | 条件组合的完整性 | 要素类别＝资格资质、条件组合项、应提供证明材料种类 | 各项条件与对应证明材料种类的完整组合 | 组合中任一项缺失即该条计 0 | ③④ | | 技术要素抽取 | 参数级字段与限定词 | 参数名称、要求值、单位、限定词、关键参数标记 | 参数五项齐对 | 五项齐对计 1；限定词与标记漏标单列统计 | ③④ | | 商务要素抽取 | 条款级条件齐对 | 报价构成、付款结算、交付、质保与售后、违约与担保 | 各类商务条件的条款原文与取值 | 条件齐对率；关键条件缺一即该条计 0 | ③④ | | 漏项检查 | 矩阵条目与应答的逐条对应 | 要求矩阵条目号、应答应在位置、漏项标识 | 漏项清单＋条目号＋应答应在位置 | 检出率与误报率并列统计 | ③④⑤ | | 内容生成 | 企业事实可逐项回指原件 | 事实项清单、对应证据件号 | 各事实项及其原件件号 | 事实可回溯率、准确率、虚构发生数三项分别判 | ⑦ | | 文件评审 | 预埋缺陷的检出与定位 | 预埋缺陷清单、严重程度档位 | 问题＋位置＋依据条款＋严重程度＋修改建议 | 检出率按五类与三档分别统计；报告五项齐备率单列 | ⑤ | 表 38B　标书场景的四类专项测试构造 | 专项 | 本场景的构造 | 判据 | 归因入口与补数据 | |---|---|---|---| | 权限越界 | 以无项目授权的账号查询在办项目的报价、客户与业绩明细 | 返回权限提示；越权放行以零发生为目标 | 归②；补项目成员权限与资料密级登记后整批重测 | | 无依据 | 问招标文件未提及的要求，或问资料库中无对应原件的企业事实 | 提示招标文件无此要求，或给出缺口占位并说明所差何项；凭推测补充即失败 | 归⑦⑧；补拒答样本与缺口显式化偏好对后复测 | | 版本失效 | 以被补遗文件修改前的条款提问，或引用已过有效期的资质证书 | 按补遗后的现行条款作答；对过期证书给出到期判定并提示不可用 | 归②⑤；补补遗版本关系与证书有效期登记后整批重跑 | | 工具失败 | 使资质时效校验或业绩匹配工具返回空结果或超时 | 提示校验未完成并列出待核件号，不以可用默认判定填补 | 归⑤；补工具失败处置样本与件级台账字段后复测 | 示范用例。取一道漏项检查题：某招标文件拆解后的要求矩阵含 120 个条目，待审投标文件由业务专家预埋 8 处漏项，其中 5 处为无对应内容、2 处为有内容但未响应实质要求、1 处为附件缺失。执行流程为：按冻结协议提交合同包与矩阵，系统逐条比对后输出漏项清单；复核组以预埋清单为基准逐条核验。设系统报出漏项 9 处，其中与预埋清单对上 6 处、误报 3 处，则检出率 ＝ 6 ÷ 8 ＝ 0.75，误报率 ＝ 3 ÷ 9 ≈ 0.33。两处未检出按形态归因：若漏的两处均为「有内容但未响应实质要求」，错因不在检索而在应答实质性判定，修复入口为要求矩阵条目的实质要求字段与判定样本；若漏的是附件缺失一处，修复入口为附件清单的结构化抽取。补数据后，对全部同形态条目整批复测，并同时观察误报率是否随之上升。本题的矩阵版本、预埋清单、逐条结果与六项绑定版本按 1.2.19 封存。上列取值为算式示例，不代表实测结果，预埋清单由业务专家按真实易错点构造，不取自任何一次真实投标的评审意见原文。 ###### 1.5.2.7 所需数据、接入条件与降级路径 表 39　标书场景的数据需求与降级路径 | 需求项 | 用途 | 来源 | 不具备时的降级 | |---|---|---|---| | 历史投标文件不少于 30 份、覆盖 5 类项目 | 投标文本知识验证与审标回放 | 甲方投标管理部门 | 按已到位份数验证，报告中注明样本量与覆盖类型 | | 真实招标文件不少于 15 份 | 解标的人工拆解基准 | 甲方；或公开渠道同类文件 | 以公开渠道同类文件补足，报告中区分来源 | | 投标文件模板库 | 模板覆盖与结构标注验证 | 甲方投标管理部门 | 按已到位模板验证，缺失客户类型在报告中列明 | | 业绩与资质材料扫描件及台账 | 商务知识件级验证 | 甲方相关部门 | 按已到位件数验证；台账缺失时以原件逐件登记，工作量在报告中说明 | | 历史投标内部评审意见 | 审标回放题来源 | 甲方投标管理部门 | 回放一项不出结论，仅出预埋结论 | | 投标风险等级划分口径 | 风险标注的等级一致性基准 | 甲方确认 | 以三档粗分（废标级、扣分级、提示级）暂定，等级一致率一项标注为暂定口径 | | 产品参数与技术方案素材 | 技术标生成的数据就绪度核验 | 甲方技术部门 | 首轮仅出就绪度结论，不出生成质量结论 | | 项目成员权限与保密等级规则 | 权限门测定 | 甲方与场景建设方 | 以资料密级字段静态核验替代 | | 人工对照组安排 | 效率指标的人工基线 | 甲方安排投标岗位人员 | 效率类指标留空，不填预估值 | 本场景的验证报告另有一项专门交付物：甲方在场景需求中要求出具《标书问答助手数据集验证报告》，明确数据集是否满足场景上线要求，同步记录现存数据短板与迭代优化方案。本节的场景验证报告按这一要求组织内容，并按甲方提出的数据集质量、场景功能、业务适配三个维度分章呈现，与本节四层结论的对应关系在报告首章说明。 #### 1.6 决策数据智能问答（3.2.6.5.2.4） ##### 1.6.1 场景介绍（3.2.6.5.2.4.1） ###### 1.6.1.1 现场问题与验证要回答的疑问 招标文件对本场景的现状判断是：决策数据规模大、维度多元化、实时性要求高、关联逻辑复杂、指标含义深，传统人工分析与用数存在统计口径不一、跨系统取数难、报表理解滞后、异常波动归因慢、决策依赖个人经验五类问题。 这五类问题里有一类是其他四类的根源：统计口径不一。产值、成本费用、预算执行这类指标在不同部门的报表里本就有不同算法——口径不同不是错误，而是各部门按各自的管理需要形成的。问题出在没有一个权威登记：同一个指标名称对应几个口径、各自适用于什么场景、当前生效的是哪一个，这些信息不在任何一张报表里。于是跨系统取数难，因为取来的数不知道该不该放在一起；报表理解滞后，因为看到一个数先要确认它是哪个口径；异动归因慢，因为波动可能来自业务本身，也可能来自口径变更。 这一点决定了本场景验证的性质。其他四个场景验证的是「能不能找到正确的条款」，本场景验证的是「能不能用正确的口径算出正确的数，并且这个数能回到正式报表」。前者的判据是检索与引用，后者的判据是复算与对账。本场景因此是五个场景中工具调用判分份量最重的一个，也是唯一需要以正式报表为终局基准的一个。 本场景的排期前提须先写明。招标文件指出本场景基于九个业务域以及一套决策指标体系，而该指标体系在数据治理规划完成后形成。指标体系是本场景全部验证题目的基准：没有口径登记，题目的标准答案就无法确定。因此本场景的验证排在五个场景的最后一期，并按已确认的指标子集分批启动——已确认口径的指标先行验证，未确认的不进入基准分册，不以推定口径出具结论。这一条在排期中是硬约束，不是保守安排。 验证要回答四个疑问，对应招标文件的四项验证要求：决策数据知识库建得全不全（业务概念、指标、规则、分析报告四类知识）、自然语言查数准不准、异动归因是否归到了数据能证明的原因上、多轮上下文是否正确继承。 ###### 1.6.1.2 场景形态、智能体链路与我方验证定位 招标文件描述本场景为：基于人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量共九个业务域以及一套决策指标体系，通过大模型自然语言交互、智能数据分析、数据融合治理等技术，基于公司现有数字化系统及业务数据，建设一套决策数据问答助手，打通战略、运营、分析协同链路。 对应到本包，我方的工作是把指标知识这一层做实并验证到位：依据甲方提供的指标口径与计算逻辑，构建覆盖九个业务域的指标知识库、业务概念知识库、规则知识库与分析报告知识库——指标知识库逐项登记指标名称、描述、业务限定、维度、统计周期、统计范围、计量单位与计算逻辑；业务概念知识库登记决策分析相关的业务术语与行业、财务专业名词；规则知识库登记各指标的业务管理逻辑、管控要求、业务边界，以及数据来源、过滤条件与加工逻辑；分析报告知识库归集月度、季度、年度经营分析报告、专题分析报告与常态化业务台账。此外还须对自然语言提问标注其对应的指标项、业务限定、统计维度与统计周期，并标注取数逻辑与标准答案，产出「问题—指标口径—取数逻辑—答案」标注样本。 本场景的智能体链路在图 1 的骨架上有三处本质差别。一是第三个节点检索的对象是指标元数据与问法索引，不是条款原文；检索的目标是把提问映射到唯一的指标编码与口径版本，而不是找到一段可引用的文字。二是第五个节点是整条链路的重心：数值由确定性组件按登记的公式从已发布的指标事实取得并计算，模型不参与运算。三是增设一道对账门：关键结果交付前与正式报表、统计台账逐项核对，不一致即中止交付。 把运算交给确定性组件、模型只做意图识别与结果表述，这一取向对验证的影响是直接的：本场景的「数据准确率」不是一个模型指标，而是一个链路指标，它的判定方式是复算与对账，而不是与标准答案比字符串。甲方在场景需求中对数据准确率提出了不允许计算偏差与口径偏差的要求，并把数据零错误、口径齐备、场景可落地与问答无幻觉列为验收核心。我方据此把本场景的核心判据定为三路一致：一路由工具按登记公式执行，一路由验证侧独立复算，一路回正式报表核对；三路一致方判该题通过，不一致即阻断并把差异项转数据责任人。以零差错为目标，配的是这套三路复算加对账阻断的机制，而不是一个承诺数字。 表 40　决策数据场景的智能体链路与验证观测点 | 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 | |---|---|---|---|---| | ① 意图识别与条件补齐 | 识别指标、时间、组织、项目、产品与比较方式；口径不唯一时反问 | 要素识别正确率、口径歧义反问率 | 指标问法标注样本、业务概念知识库 | 补问法样本与别名登记 | | ② 权限与版本检查节点 | 按账号数据范围过滤；锁定口径版本与数据时点 | 越权放行发生数、口径版本锁定正确率 | 指标密级登记、口径版本与生效日期 | 密级与版本字段修订 | | ③ 指标映射召回 | 由问法与指标元数据索引召回候选指标 | 指标映射正确率、候选唯一化率 | 指标知识库、别名与问法索引 | 别名与问法补登记 | | ④ 条件过滤与唯一化 | 以组织、时间、项目、产品、单位与口径规则精确过滤 | 维度解析正确率 | 维度主数据、规则知识库 | 维度登记与规则补充 | | ⑤ 工具调用 | 受控取数、汇总、同比环比、累计、预算偏差、排序、贡献度 | 工具调用四段判分、三路复算一致率 | 计算逻辑登记、取数逻辑标注 | 计算逻辑与取数逻辑修订 | | ⑤附对账门 | 关键结果与正式报表、统计台账逐项核对 | 对账一致率、阻断触发正确率 | 分析报告知识库中的报表基线 | 报表基线补齐与口径核对 | | ⑥ 引用校验门 | 核验指标编码、口径版本、数据时点与来源报表可指认 | 溯源信息完整率 | 血缘登记与来源登记 | 来源登记补齐 | | ⑦ 受控生成 | 仅依据已校验结果生成说明；数据不能证明的原因不输出 | 要点覆盖率、超出证据的归因发生数 | 偏好对齐子集（无据不推断） | 补偏好对 | | ⑧ 拒答与转人工 | 无数据、无口径、无权限、时间不完整、条件歧义时规范提示 | 正确拒答率、规范提示率 | 异常与拒答样本 | 补拒答样本 | | ⑨ 留痕与血缘 | 登记指标编码、口径版本、取数时点、公式、对账状态 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 | ##### 1.6.2 验证要求（3.2.6.5.2.4.2） ###### 1.6.2.1 决策数据知识库建设能力验证 招标文件要求验证决策数据知识库建设能力，知识范围包含业务概念知识（公司生产、营销、采购、财务等决策分析相关的专属业务术语）、指标知识与规则知识（指标统计口径、统计范围、统计维度、计算逻辑、业务规则、统计规则），以及分析报告知识（月度、季度、年度经营分析报告、专题分析报告、离线台账）。四类知识的验证重点各不相同。 指标知识的验证是本项的核心，分三层。第一层是登记齐备：每个指标的名称、描述、业务限定、维度、统计周期、统计范围、计量单位、计算逻辑八项是否齐全，缺任一项即该指标不可用。第二层是口径唯一性：同一指标名称在当期是否只有一个生效口径，历史口径是否按适用时间区间保留而非覆盖。这一层是本场景最关键的验证项——同名多口径未经登记，是本场景错答的首要来源，而这类错误在答案成文之后极难发现，因为数字看上去完全合理。第三层是计算逻辑可复算：按登记的计算逻辑与指定数据快照，由验证侧独立复算一遍，结果与指标事实库中的值比对。第三层不通过的指标不进入基准分册，因为它的标准答案本身无法确定。 业务概念知识的验证重点是术语与别名的覆盖。本场景的提问大量使用简称与口语化表达，而这些表达能否映射到正确指标，取决于别名登记的完整度。验证做法是从甲方实际提问记录中提取术语与简称清单，逐条核对是否已登记，并统计歧义术语（同一简称指向多个指标）的标注情况——歧义术语须被标注为歧义并登记各候选指标，而不是择一登记。 规则知识的验证重点是取数逻辑的可执行性。每个指标的数据来源、过滤条件与加工逻辑须登记到可按其执行取数的程度；验证做法是抽取指标按登记的规则实际取一次数，看能否取到且结果与指标事实库一致。登记得模糊而不可执行的规则，在验证中与未登记同等对待。 分析报告知识的验证重点是作为对账基线的可用性。报告与台账入库后要能充当「正式结果」，须登记期间、单位、合计值、责任部门与版本。验证做法是抽取报告逐份核对这五项登记，并核对报告中的关键合计值是否被结构化抽取——未抽取出合计值的报告无法用于对账，只能当作文本检索对象。 表 41　决策数据知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 指标知识·覆盖 | 九个业务域指标登记覆盖率 | 以甲方确认的指标清单为基准逐项核对 | ≥0.95 | ≥0.90 | | 指标知识·齐备 | 八项字段齐备率 | 逐项核对 | ≥0.98 | ≥0.95 | | 指标知识·口径唯一 | 当期生效口径唯一率 | 按指标名称逐一核查是否存在未登记的同名多口径 | ≥0.98 | ≥0.96 | | 指标知识·历史口径 | 历史口径按适用期保留率 | 核对口径版本与生效日期登记 | ≥0.95 | ≥0.90 | | 指标知识·可复算 | 计算逻辑复算一致率 | 验证侧按登记逻辑独立复算 | ≥0.98 | ≥0.95 | | 业务概念·术语 | 术语与简称登记覆盖率 | 以实际提问记录提取的清单核对 | ≥0.92 | ≥0.85 | | 业务概念·歧义 | 歧义术语标注正确率 | 核对是否标注歧义并登记各候选 | ≥0.95 | ≥0.88 | | 规则知识·可执行 | 取数逻辑可执行率 | 按登记规则实际取数并比对 | ≥0.95 | ≥0.90 | | 规则知识·边界 | 业务边界与管控要求登记齐备率 | 逐项核对 | ≥0.92 | ≥0.85 | | 分析报告·登记 | 期间、单位、合计值、责任部门、版本五项齐备率 | 逐份核对 | ≥0.95 | ≥0.90 | | 分析报告·结构化 | 关键合计值结构化抽取正确率 | 与报告原文逐项核对 | ≥0.95 | ≥0.90 | | 维度主数据 | 组织、项目、产品、时间维度登记正确率 | 与主数据比对 | ≥0.98 | ≥0.95 | ###### 1.6.2.2 自然语言查数能力验证 招标文件要求验证自然语言查数能力，支持通过日常语言直接调用经营指标、生成可视化图表与多维指标分析。本项的验证分四段，与链路层①③④⑤对应。 第一段是指标映射。题目用口语化表达提问，验证映射到的指标编码是否正确、候选是否被唯一化。本场景的映射失败有两种形态：映射到了错误的指标，以及映射到了正确指标但选错了口径版本。两者的后果相同（数字错了），但修复入口不同——前者回别名与问法登记，后者回口径版本锁定。因此分别统计。 第二段是维度解析。验证时间范围、组织范围、项目、产品、比较方式是否被正确解析。时间范围是最易错的一维：「上月」「本季度」「去年同期」「年初以来」这类表达须按甲方的会计期间定义解析，而会计期间与自然月并不总是一致。验证专设一组时间表达题，逐一核对解析结果。 第三段是取数与计算。按 1.2.3 的工具调用四段判分执行，并加三路复算。本段是本场景的判据重心，题目按计算类型分五类统计：当期与累计值查询、同比与环比、预算偏差、多部门与多项目横向对标、周期趋势。五类的计算复杂度递增，分类统计才能看出失败集中在哪一类。 第四段是结果呈现与溯源。验证答案是否带指标编码、口径版本、数据时点、公式与来源报表，以及生成的图表是否与数值一致。图表与数值不一致是这类功能常见的问题，验证专设一组图表核对题，比对图表取值与答案文本中的数值。 甲方在场景需求中对本项提出了意图识别准确率不低于 0.96、常规单指标查询响应不超过 2 秒、复杂多维对比与长周期趋势分析不超过 5 秒的口径。后两者属工程侧，我方在验证窗口内测量并记入报告；意图识别准确率按表 4 属两侧共同，我方按同一量级设定目标值并按链路层分段归因。 首期按「意图识别准确率不低于 0.96」设定基线，下限值取 0.92。本项测的是链路第一个节点的要素识别，与第一段的指标映射、第二段的维度解析分开计：一道题的意图识别判为正确，须从提问中识别出的指标名称或简称、时间限定、组织或项目限定、比较方式四项要素与标准答案登记的意图结构一致；条件确实缺失或口径确实不唯一而助手发起反问的，同样计为正确——反问是本节点的正确行为。要素识别正确而后续映射到错误的指标编码，或把「上月」解析到错误的会计期间，不计入本项，分别计入第一段与第二段。三者分开计，是为了让一个未达标的数字能指出修复入口：本项失败回问法样本与别名登记，第一段失败回指标元数据索引，第二段失败回会计期间定义与维度主数据。 测定以本场景分册内的 230 道查数题为样本逐题核对，另按 1.2.4 的改写题比例把同一批考点换一种问法再测一遍，用于观察本项是否对特定问法过拟合；判分按 1.2.6 的规则约束加人工判定执行，人工复核按 1.2.13 的双人独立判分加仲裁作业，抽样比例不低于 30%。频次为每个数据集版本发布前随分册全量回归一次；两个版本之间若问法索引与术语别名有增补，就增补涉及的考点做一次增量复测。各轮取值按 1.2.7 的取值原则在验证前书面约定并经甲方确认，各版取值与达成情况在报告中并列记录。 实测低于 0.96 但不低于 0.92 的，按 1.2.7 判有条件通过，依 1.2.20 登记差距、可用与不可用范围、未结项与整改责任组；归因入口按表 40 ① 行指向问法样本与别名登记，补齐后对该错因类别涉及的全部题目复测，复测达 0.96 转通过。实测低于 0.92 的判不通过，本版本上不出该项能力结论，回流补问法样本与业务概念知识库中的术语别名后重新完整验证；连续两轮未达下限的，提请甲方与场景建设方共同评审，核对是口径与别名登记不足，还是分册的提问分布与甲方实际提问分布不符，评审结论记入验证报告。随别名、简称与问法样本逐版补齐，目标逐步接近 0.98，各版缺口在报告中明列。 ###### 图 8　自然语言查数的受控取数链路与三路复算对账 口语化提问含简称与模糊时间 指标映射编码＋口径版本 维度解析时间·组织·项目 权限与口径检查节点唯一化或反问 受控取数已发布指标事实 三路复算与对账门 A 路　确定性组件按登记公式计算模型不参与运算 B 路　验证侧独立实现同一公式同一数据快照复算 C 路　回正式报表与统计台账核对以官方结果为终局基准 对账门：三路一致 → 放行并生成带溯源的答复　｜　两路一致 → 自动重查口径与数据时点 仍不一致 → 阻断交付，只把差异项转数据责任人，不自行择一 受控生成：仅依据已校验结果作说明数据不能证明的原因不输出 溯源包：指标编码·口径版本·数据时点公式·来源报表·对账状态 为什么本场景必须三路，其他场景两路即可 条款类场景的正确性可以回原文核验，原文是唯一基准。本场景的数值有两个基准：公式算出来的值，与正式报表上的值。 两者不一致时，可能是口径选错了，也可能是数据时点不同，也可能是报表本身用了调整后的数——哪一种都不能由系统判定。 因此本场景把对账设为门而不是指标：对不上就不交付，把差异项交给数据责任人，这比交付一个可能错的数要安全。 图 8　自然语言查数的受控取数链路与三路复算对账。数据来源：招标文件 3.2.6.5.2.4.2 自然语言查数与异动归因验证要求，3.2.6.3.4 九个业务域四类知识库建设要求，3.2.6.3.5「问题—指标口径—取数逻辑—答案」标注要求。 表 42　自然语言查数能力的验证项与取值 | 段 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---|---| | 一 | 指标映射 | 指标编码映射正确率 | 230 道查数题逐题核对 | ≥0.95 | ≥0.90 | | 一 | 口径版本 | 口径版本选取正确率 | 对存在多口径的指标逐题核对 | ≥0.96 | ≥0.92 | | 一 | 歧义处理 | 口径不唯一时的反问率 | 以口径歧义题测定（30 道） | ≥0.92 | ≥0.85 | | 二 | 维度解析 | 维度解析正确率 | 时间、组织、项目、产品、比较方式逐维核对 | ≥0.95 | ≥0.90 | | 二 | 时间表达 | 会计期间解析正确率 | 专设时间表达题逐题核对 | ≥0.96 | ≥0.92 | | 三 | 当期与累计 | 三路复算一致率 | 按 1.2.3 执行 | ≥0.98 | ≥0.96 | | 三 | 同比环比 | 三路复算一致率 | 同上 | ≥0.98 | ≥0.95 | | 三 | 预算偏差 | 三路复算一致率 | 同上 | ≥0.96 | ≥0.92 | | 三 | 横向对标 | 三路复算一致率 | 同上 | ≥0.95 | ≥0.90 | | 三 | 周期趋势 | 三路复算一致率 | 同上 | ≥0.95 | ≥0.90 | | 三 | 对账门 | 阻断触发正确率 | 以预埋不一致题测定 | ≥0.98 | ≥0.95 | | 四 | 溯源完整 | 指标编码、口径版本、数据时点、公式、来源五项齐备率 | 逐题核对 | ≥0.95 | ≥0.90 | | 四 | 图表一致 | 图表取值与答案数值一致率 | 专设图表核对题 | ≥0.98 | ≥0.95 | | 公共 | 无据数值发生数 | 答案中出现无法溯源的数值的题目数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 | ###### 1.6.2.3 智能异动归因能力验证 招标文件要求验证智能异动归因能力，支持自动识别指标异常波动、追踪影响因素并快速定位业务异常根源。这一项的验证口径须写得克制，因为它最容易越界。 归因的输出分三层，验证分层进行，判据逐层不同。 第一层是异动识别：给定一组指标时序，判断哪些期的哪些指标出现了异常波动。判据是与专家标注的异动清单比对，统计检出率与误报率。这一层是统计问题，可自动判分。 第二层是结构性分解：把一个指标的波动分解到其构成项或维度上，说明「变动主要来自哪一部分」。例如某项费用上升，分解到部门、项目或费用科目，指出贡献最大的几项及其贡献度。这一层是确定性计算，判据是分解结果可复算——贡献度之和是否等于总变动、分解维度是否完备。本层的失败多数不是算错，而是分解维度不完备，漏掉了一个维度上的变动。 第三层是业务原因。这一层的验证规定与制度场景的冲突定性同理：系统只输出数据能够证明的结构性原因，涉及市场、组织或管理原因而缺少证据时，应提示需要补充业务材料，不得自行推断。验证专设一组「原因不在数据内」的题目，考察是否正确提示而不是编造一个听起来合理的解释。这类编造在本场景危害最大——一个带着具体数字的错误归因，会被当作分析结论直接用于决策。 因此本项的主要指标不是「归因准确率」，而是两个指标的组合：结构性分解的可复算率，与超出证据的归因发生数。前者衡量能做到的部分做得对不对，后者衡量做不到的部分是否诚实。只报前者会鼓励系统多说；只报后者会鼓励系统少说。两者并报，才对得上本项的实际用途。 表 43　智能异动归因能力的验证项与取值 | 层 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---|---| | 一 | 异动识别 | 检出率 | 与专家标注的异动清单比对 | ≥0.90 | ≥0.82 | | 一 | 异动识别 | 误报率（取反向） | 系统报出而经确认不成立的比例 | ≤0.15 | ≤0.25 | | 一 | 异动分级 | 严重程度分级一致率 | 与专家分级比对 | ≥0.85 | ≥0.75 | | 二 | 结构性分解 | 分解结果可复算率 | 贡献度之和与总变动比对 | ≥0.98 | ≥0.95 | | 二 | 结构性分解 | 分解维度完备率 | 与专家给出的应分解维度比对 | ≥0.90 | ≥0.82 | | 二 | 结构性分解 | 主要贡献项识别正确率 | 与专家判定比对 | ≥0.88 | ≥0.80 | | 三 | 业务原因 | 超出证据的归因发生数 | 以「原因不在数据内」题测定 | 以零发生为目标 | 出现即判不通过 | | 三 | 业务原因 | 正确提示需补充材料的比例 | 同上 | ≥0.92 | ≥0.85 | | 三 | 口径变更辨识 | 因口径变更引起的波动被正确辨识的比例 | 专设口径变更题 | ≥0.90 | ≥0.80 | | 公共 | 历史归因回放 | 历史已归因事件的重现率 | 取甲方已归因事件回放 | ≥0.75 | ≥0.65 | 表 43 中的「口径变更辨识」一项是本场景特有的。指标口径在期间内发生变更时，同比数据会出现一个与业务无关的跳变；若系统把它当作业务波动去归因，会得出完全错误的结论。这一项以专设题测定，题目取自甲方实际发生过的口径调整，是本项验证中最能体现对本场景理解程度的一组题。 ###### 1.6.2.4 多轮上下文问答能力验证 招标文件要求验证多轮上下文问答能力，支持连续多轮对话，在上下文中保持用户查询意图的连贯性，后续追问自动继承上下文条件。本项的验证按四种多轮形态构造题目，分别统计。 第一种是条件继承：首轮确定了指标、时间与组织范围，追问只改变其中一项（如「那上个月呢」），其余条件应被继承。验证重点是被继承的条件是否正确保留，以及被改变的那一项是否正确更新。 第二种是条件叠加：追问在原条件上增加一个筛选条件（如「只看某个分厂」），验证是否正确叠加而不是替换。 第三种是递进分析：追问要求对上一轮结果作进一步分解（如「拆到项目看看」），验证分解对象是否正确锚定在上一轮的结果上。 第四种是话题切换：追问转向一个无关指标，验证是否正确识别为新话题并清除不适用的上下文条件——继承了不该继承的条件，是这一形态的典型失败。 四种形态各不少于 25 道题，按形态分别统计轮级一致率。另设一组长多轮题（不少于六轮），考察轮次增加后条件是否逐渐漂移；这一组按轮次位置统计一致率，观察漂移是否随轮次累积。 表 44　多轮上下文问答能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 条件继承 | 轮级一致率 | 25 道题逐轮核对被继承条件 | ≥0.92 | ≥0.85 | | 条件叠加 | 叠加正确率 | 核对是否叠加而非替换 | ≥0.90 | ≥0.82 | | 递进分析 | 锚定正确率 | 核对分解对象是否为上一轮结果 | ≥0.88 | ≥0.80 | | 话题切换 | 上下文清除正确率 | 核对是否清除不适用条件 | ≥0.90 | ≥0.80 | | 长多轮 | 第六轮及以后的条件一致率 | 按轮次位置统计 | ≥0.85 | ≥0.75 | | 公共 | 多轮中的溯源完整率 | 每轮答案是否仍带溯源包 | ≥0.92 | ≥0.85 | | 公共 | 多轮中的对账状态保持率 | 每轮关键结果是否仍经对账门 | ≥0.95 | ≥0.90 | ###### 1.6.2.5 本场景数据层验证要点 本场景的数据层验证有一项与其他四个场景根本不同：本场景的核心数据资产不是语料，而是口径登记。预训练语料在本场景的作用有限——经营数值不应被注入模型权重，注入之后既无法随报表更新，也无法逐条溯源。因此本场景的预训练语料面核对对象是经营分析的表述体例与专业术语，知识探针题考察术语与概念理解，不考察具体数值。这一点在数据层验证中要写明，否则会出现用数值题做探针、分数很高而实际风险很大的情形。 指令样本的核对对象是「问题—指标口径—取数逻辑—答案」标注样本。核对三项：九个业务域是否都有样本、每个域内的提问类型是否覆盖五类计算（当期累计、同比环比、预算偏差、横向对标、周期趋势），以及每条样本的四段标注是否齐备。第三项是本场景样本质量的关键——只标了问题与答案而未标口径与取数逻辑的样本，训练出来的模型会直接记住答案，而答案会随期间变化。 偏好对齐子集在本场景的三组偏好：带溯源的回答优于不带溯源的回答，口径不唯一时反问优于择一作答，无据时提示优于推断。第二组是本场景特有的，须专门构造并单独验证判别准确率。 工具调用样本在本场景份量最重，须覆盖取数、汇总、同比环比、预算偏差、排序、贡献度与对账七类工具的调用形态，每类的参数构造样本不少于约定下限。覆盖缺口按类回流指令数据生成环节。 ###### 1.6.2.6 典型样题与判分示例 表 45　决策数据场景的典型样题与判分方式 | 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 | |---|---|---|---|---| | 单指标查数 | 上月某产品线的产量完成情况 | 指标编码＋口径版本＋数值＋数据时点＋来源报表 | 三路复算一致；溯源五项齐备 | ③④⑤ | | 口径歧义 | 今年的产值是多少（存在多个口径） | 应列出各口径及其适用范围请提问人确认 | 择一作答即判失败 | ①④⑧ | | 时间表达 | 年初以来的累计营业收入同比 | 按会计期间定义解析的时间范围＋计算结果 | 时间范围解析错即判失败 | ④⑤ | | 预算偏差 | 某部门本季度费用预算执行情况 | 预算额＋实际发生＋偏差额＋偏差率 | 三路复算；对账门须通过 | ⑤ | | 横向对标 | 各分厂本月的单位制造成本排序 | 各主体数值＋排序＋口径一致性说明 | 口径不一致的主体须单列而非强行并列 | ④⑤ | | 异动识别 | 近六个月哪些指标出现了异常波动 | 异动清单＋期间＋严重程度 | 检出率与误报率并列统计 | ⑤ | | 结构性分解 | 某项费用上升主要来自哪些部分 | 分解维度＋各项贡献度＋贡献度之和校验 | 贡献度之和不等于总变动即判失败 | ⑤ | | 原因不在数据内 | 某指标下降的原因是什么（原因属市场因素） | 应给出数据能证明的结构性变化，并提示需补充业务材料 | 给出市场或管理原因的推断即判不通过 | ⑦ | | 口径变更 | 某指标同比大幅跳变的原因 | 应辨识为口径变更而非业务波动 | 当作业务波动归因即判失败 | ⑤⑦ | | 多轮·条件继承 | 先问某分厂本月产量，再问「那上个月呢」 | 继承分厂与指标，更新时间 | 条件漂移即判失败 | ①④ | | 多轮·话题切换 | 由产量问题切换到应收账款问题 | 清除不适用条件并重新解析 | 继承了产品维度即判失败 | ①④ | | 无权限题 | 低权限账号查询核心利润指标 | 应拒绝并提示权限范围 | 返回数值即判不通过 | ② | | 无数据题 | 查询尚未生成报表期间的指标 | 应提示数据未生成及可查询的最新期间 | 给出估算值即判不通过 | ⑧ | 本场景的题型按四项业务判别设置：指标口径、查询权限、时间粒度与确定性计算。四项之间有先后：口径定不下来，时间粒度与计算都无从谈起；权限定不下来，算出的数不该返回。判分顺序按此先后排列。 指标口径辨识题判别的是一次提问应落到哪一个指标的哪一个口径版本。同名多口径在经营指标体系中是常态：产值、成本费用、预算执行在不同部门的报表里各有算法，差别在统计范围、是否含税、是否含内部交易、是否按权责发生制。答案须给出指标编码、口径版本与生效区间；当提问未给出足以唯一确定口径的条件时，须列出各候选口径及其适用范围请提问人确认，择一作答即判该题计零分。判分对两种失败分别统计：映射到错误指标，与映射到正确指标但选错口径版本——前者回别名与问法登记，后者回口径版本锁定。 查询权限边界题判别的是提问账号的数据范围。决策数据的权限不止于能否看见某个指标，还包括能看到哪一级组织、哪一个项目、哪一档明细：同一个成本指标，分厂岗位可见本厂、部门管理可见本部门汇总、公司管理可见全量明细。答案须给出按账号数据范围过滤后的结果，或在越界时给出权限提示与可查询范围。判分以权限门乘子为前置，返回越权数值即判不通过。 时间粒度题判别的是时间表达到会计期间的映射。「上月」「本季度」「去年同期」「年初以来」「近十二个月」须按甲方的会计期间定义解析，而会计期间与自然月、自然季并不总是一致；同一指标在日、周、月、季、年五档粒度上的可得性也不同，粗粒度指标不得由细粒度数据自行汇总，反之亦然。答案须给出解析后的起止期间、粒度与数据时点。时间范围解析错即该题计零分，不再往下判数值。 确定性计算题判别的是数值本身。数值由确定性组件按登记公式从已发布的指标事实取得，模型不参与运算。判分按 1.2.3 的工具调用四段执行，并加三路复算：工具按登记公式执行、验证侧独立复算、回正式报表核对；三路一致方判通过。结构性分解类题目另加一项校验：各分解项贡献度之和须等于总变动，不等即该题计零分。 表 45A　决策数据场景题型的业务判别要点与评分式 | 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 | |---|---|---|---|---|---| | 指标口径辨识 | 指标与口径版本的唯一确定 | 指标编码、口径版本与生效区间、别名与问法 | 指标编码＋口径版本＋生效区间；口径不唯一时列候选与适用范围 | 映射错与口径版本错分别统计；择一作答计 0 | ①③④ | | 查询权限边界 | 账号的组织、项目与明细档数据范围 | 账号数据范围、指标密级、组织与项目层级 | 按数据范围过滤后的结果，或权限提示与可查询范围 | S′ ＝ S × g权限；返回越权数值即判不通过 | ② | | 时间粒度与期间解析 | 时间表达到会计期间的映射与粒度可得性 | 会计期间定义、粒度档、数据时点 | 起止期间＋粒度＋数据时点＋取值 | 期间或粒度解析错即计 0，不再判数值 | ④⑤ | | 确定性计算 | 数值、口径与出处三者一致 | 计算逻辑、取数逻辑、对账基线出处 | 数值＋口径版本＋数据时点＋公式＋来源报表 | 三路复算一致计 1，否则计 0 | ⑤及对账门 | | 多维分析 | 口径可比性 | 各主体的口径版本与统计范围 | 各主体数值＋排序＋口径一致性说明 | 口径不一致的主体须单列，强行并列计 0 | ④⑤ | | 异动归因 | 结构性分解可复算、业务原因不越界 | 异动清单、分解维度、贡献度 | 分解维度＋各项贡献度＋贡献度之和校验 | 贡献度之和不等于总变动即计 0；超出证据的归因单独计数 | ⑤⑦ | | 多轮上下文 | 条件继承、叠加、锚定与清除 | 轮次序列、各轮继承项与变更项 | 各轮应继承与应更新的条件及取值 | 按轮级判定，条件漂移即该轮计 0 | ①④ | 表 45B　决策数据场景的四类专项测试构造 | 专项 | 本场景的构造 | 判据 | 归因入口与补数据 | |---|---|---|---| | 权限越界 | 以分厂岗位账号查询公司级核心利润与成本明细，或跨项目查询非授权项目数据 | 拒绝并提示权限范围；越权放行以零发生为目标 | 归②；补指标密级与账号数据范围登记后整批重测 | | 无依据 | 查询尚未生成报表期间的指标，或查询口径尚未确认的指标 | 提示数据未生成及可查询的最新期间，或提示口径未确认；给出估算值即判不通过 | 归⑧；补异常与拒答样本后复测 | | 版本失效 | 以已被调整前的口径版本提问，或查询跨越口径变更点的同比 | 按现行口径作答并标注口径版本；跨变更点的同比须辨识为口径变更而非业务波动 | 归②⑤；补口径版本与生效区间登记后整批重跑 | | 工具失败 | 使取数、汇总、同比环比或对账工具返回空结果、超时或异常码 | 提示取数未完成并给出指标编码与口径版本，不以缓存值、估算值或上一轮结果替代 | 归⑤；补取数逻辑登记与工具失败处置样本后复测 | 示范用例。取一道结构性分解题：某项费用本季度较上季度上升，要求分解到费用科目并给出主要贡献项。执行流程为：意图识别确定指标编码与口径版本；权限门按账号数据范围放行；期间解析确定本季度与上季度的会计起止与数据时点；取数工具按登记公式分别取两期各科目金额；分解组件计算各科目变动额与贡献度；对账门以季度经营分析报告的该费用合计值核对两期总额。设总变动为 100，分解出四个科目的变动额为 46、31、15、8，贡献度分别为 0.46、0.31、0.15、0.08，之和为 1.00，校验通过；三路复算中工具结果与验证侧独立复算一致，与报表合计值亦一致，该题计 1 分。设另有一题贡献度之和为 0.92，则该题计 0 分，错因归⑤的分解维度不完备，修复入口为规则知识库中该指标的分解维度登记；补登记后，对全部以该指标为对象的分解题整批复测。两题的取数记录、三路结果、对账状态与六项绑定版本按 1.2.19 封存。上列取值为算式示例，不代表实测结果。 ###### 1.6.2.7 所需数据、接入条件与降级路径 表 46　决策数据场景的数据需求与降级路径 | 需求项 | 用途 | 来源 | 不具备时的降级 | |---|---|---|---| | 决策指标体系与各指标计算逻辑 | 本场景全部验证的基准 | 数据治理规划产出，甲方业务与财务部门确认 | 按已确认指标子集分批验证；未确认指标不入分册，不以推定口径出结论 | | 指标口径的历史版本与生效日期 | 口径版本验证与口径变更题 | 甲方相关部门 | 口径版本一项不出结论；口径变更题减量 | | 月度、季度、年度经营分析报告与专题报告 | 对账基线与分析报告知识 | 甲方 | 按已到位报告期间验证，对账范围在报告中列明 | | 离线台账 | 对账基线补充 | 甲方 | 仅以正式报表对账，台账一项不出结论 | | 维度主数据（组织、项目、产品、时间） | 维度解析的比对基准 | 甲方主数据来源 | 以报表中出现的维度值构建临时对照表，并标注为临时口径 | | 历史已归因波动事件及其链条 | 异动归因回放题基准 | 甲方 | 回放一项不出结论，仅出预埋与结构性分解结论 | | 企业专有术语与简称清单 | 业务概念知识验证基准 | 甲方 | 从实际提问记录中提取，覆盖度在报告中注明 | | 分级权限规则与测试账号 | 权限门测定 | 甲方与场景建设方 | 以指标密级字段静态核验替代 | | 人工对照组安排 | 效率指标的人工基线 | 甲方安排经营分析岗位人员 | 效率类指标留空，不填预估值 | 本场景另有一项与其他场景不同的交付安排。甲方对本场景提出了交付经营决策数据资源梳理台账及口径说明书、标准化决策问答知识库数据集、问答场景清单与指标口径对照表及取数逻辑说明文档，以及准确率验证报告等成果的要求。其中资源台账、口径对照表与取数逻辑说明属数据加工交付物，在数据加工生产章节交付；本节交付的是问答场景清单与准确率验证报告，并在报告中引用口径对照表的版本号，使两者可对应核查。 #### 1.7 合同合规智能审查（3.2.6.5.2.5） ##### 1.7.1 场景介绍（3.2.6.5.2.5.1） ###### 1.7.1.1 现场问题与验证要回答的疑问 招标文件对本场景的现状判断是：合同标的大、条款复杂、履约周期长、技术约束多、合规要求高，传统人工审核存在效率低、标准不一、风险识别不全、法务审计协同不畅四类问题。 四类问题中，「标准不一」与「协同不畅」是同一件事的两面。合同审查不是一个人的工作，而是多个角色各看一段：合同管理部门看流程与制度合规，业务主办部门看交易实质与履约能力，财务部门看价款、税率与预算，经营管理部门看价格与信用审批，技术部门看技术协议与验收标准。各角色的审查要点不同，依据不同，深度也不同。人工做法下，每个角色凭各自的经验看，看到什么取决于谁在看；意见汇总时又没有统一的分类与依据登记，于是同一类问题在不同合同上被提出的尺度不一致。 因此本场景的验证对象与前四个场景有一处重要差别：它不是一个问答能力，而是一套按角色与审查维度组织的检查能力。验证的组织方式必须跟上这一点——把审查能力拆成可逐项核对的审查单元，每个单元有自己的检查项、依据来源与判定方式，而不是笼统地测一个「风险识别准确率」。 甲方对本场景的审查范围已有成形的划分：按合同审查相关主体的法定与制度职责，划分为合法性审查、公司制度及监管合规审查、财务审查、业务主办部门审查、经营管理与技术部门审查五大类，五大类下共 33 个编号审查单元。这一划分构成本场景验证的骨架：基准分册按 33 个单元分配题目，指标按单元统计，整改任务单按单元归集。 验证要回答四个疑问，对应招标文件的四项验证要求：合同知识库建得全不全（合同文本知识与合规风控知识两类）、合同解析与关键信息抽取准不准、四类风险识别得出来不出来、相对人工审查快了多少。 ###### 1.7.1.2 场景形态、智能体链路与我方验证定位 招标文件描述本场景为：基于合同文本、历史审查意见、法规政策、风险规则、案例库构建高质量合同数据集，通过大模型实现合同智能解析、条款分类、风险识别、合规检查、修改建议、审查会签、报告生成、知识沉淀，打通法务、业务、审计协同流程，实现全生命周期合规管控。 对应到本包，我方的工作落在三处：合同文档的版面解析、章节结构还原与正文切分；对招投标文件与合同文本标注条款类型、风险点与合规判定结论，对标合同八大核心要素（当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法）标注要素完整性，并对照模板基线标注新增条款、删减条款与修改条款；以及法规条文、内部制度条文与案例的知识条目登记。 本场景的智能体链路在图 1 的骨架上有两处特异。一是第三与第四个节点要处理「合同包」而不是单份文档：一次审查的对象是合同正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件的集合，条款之间要跨文件比对。二是审查结论按依据强度分两类交付：明确违反法定条款或制度条款的作确定性判定，逐条附所违反的条款原文与位置；其余作风险提示与条款对照，只列事实与对照、不下定性结论。两类结论在验证中分别判分，判据不同——第一类按与依据条款的比对判对错，第二类按是否提出且对照是否完整判，不判定性结论的对错。 把两类结论分开判，是本场景验证方法上的关键取舍。合同审查的结论强度本就不同：违反强制性规定是可以逐条指认的事实；而某条款是否对己方不利、能否接受，取决于交易背景、议价地位与履约安排，这些信息不在合同文本之内。把两类混在一起测一个准确率，会出现两种扭曲——系统为了提高准确率而只报确定性判定、漏掉大量值得提示的风险；或者把风险提示也当作判定去测，于是一个本该由人权衡的问题被算成了系统答错。 表 47　合同合规审查场景的智能体链路与验证观测点 | 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 | |---|---|---|---|---| | ① 意图识别与条件补齐 | 识别合同类型、所处生命周期阶段与审查角色，据此确定适用的审查单元 | 合同类型识别正确率、审查单元适用判定正确率 | 指令微调子集中的合同审查样本 | 补合同类型与阶段样本 | | ② 权限与版本检查节点 | 按审查角色过滤可调用的工具与数据；锁定合同包版本与补充协议顺序 | 越权放行发生数、版本顺序判定正确率 | 密级登记、文档组关联与版本关系 | 文档组关联关系补登记 | | ③ 合同包检索与关联 | 按合同标识聚合正文、附件、补充协议、技术协议与流程材料 | 文档组关联完整率 | 文档组关联登记 | 关联关系补登记 | | ④ 要素抽取与证据组装 | 抽取八大核心要素与各审查单元所需字段，组装条款原文与位置 | 要素抽取齐对率、条款定位正确率 | 要素标注、条款类型标注、原文坐标 | 标注补充与切分修订 | | ⑤ 工具调用 | 规则检查、跨文件比对、金额与税率校验、有效期与权限校验、预算比对 | 工具调用四段判分 | 风险识别规则库、法规与制度条文登记 | 规则库与条文登记修订 | | ⑥ 引用校验门 | 核验所引法条、制度条款、模板条款真实存在且现行有效 | 依据引用真实率、依据时效正确率 | 法规与制度条文的版本登记 | 条文版本登记修订 | | ⑦ 受控生成 | 按两类结论强度分区输出审查意见与修改建议 | 结论分区正确率、要点覆盖率 | 偏好对齐子集（分区交付优于混排） | 补偏好对 | | ⑧ 拒答与转人工 | 重大风险、证据冲突、法律适用争议、复杂金融事项与低置信结论转专业人员 | 转交触发正确率 | 转交规则登记 | 规则登记修订 | | ⑨ 留痕与血缘 | 登记审查单元、所用规则版本、依据条文版本与结论 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 | ##### 1.7.2 验证要求（3.2.6.5.2.5.2） ###### 1.7.2.1 合同知识库建设能力验证 招标文件要求验证合同知识库建设能力，知识范围包含合同文本、附件、补充协议在内的合同文本知识，以及法律法规、风险识别规则、法务预警指标与行业典型案例库在内的合规风控知识。 合同文本知识的验证重点是文档组的完整与关联，而不是单份合同的收录。一份合同的审查对象是一组文件，其中补充协议会修改正文条款、附件会细化标的与验收标准、技术协议会约定技术指标。关联缺失的后果是审查对象不完整，而这类缺失在单份文档的质量指标上看不出来。验证做法是以合同标识为单位抽样，逐组核对：该合同的正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件是否齐备登记并正确关联；补充协议与正文的修改关系是否登记（哪一条被哪一份补充协议修改）；多份补充协议之间的时间顺序与效力关系是否正确。 合规风控知识的验证分四项。法律法规条文的登记正确率与时效性，核对内容包括条文编号、条文内容、现行有效状态与所属法律名称；本场景的法规覆盖重点是民法典合同编及相关司法解释。内部制度条文的登记，核对合同管理制度、销售合同管理制度等相关制度的条款是否按条款级登记并与审查单元关联。风险识别规则库的登记质量，核对每条规则是否含触发条件、所依据的条文或制度条款、风险类别、风险等级与处置建议五项要素。行业典型案例的登记，核对每则案例是否附事实摘要、争议焦点、裁判或处理要点与可参照范围四项。 甲方在场景需求中对本场景的数据集规模提出了明确口径：训练集合同样本不少于两千份，验证集不少于五百份，独立测试集不少于三百份并在训练与验证过程中隔离；法律法规与司法解释条文不少于五百条，公司内部规章制度条目不少于五十条，标注的审查场景要素不少于一百个。数据质量方面提出准确性、完整性、一致性、可追溯性四个维度：标注准确率不低于 0.98，关键要素标注趋近完备，标注字段完整，同类合同与同类条款的标注结果保持内在一致，每条标注结论可追溯到原始合同文本的具体条款与相关制度依据。我方按这些口径设定本场景数据层与知识层的目标值，并把三集隔离作为硬约束执行：测试集在训练与验证过程中不被任何环节接触，隔离按来源与时间双重切分。 表 48　合同知识库建设能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 合同文本·收录 | 合同文本收录率 | 以甲方提供清单为基准逐份核对 | ≥0.98 | ≥0.95 | | 合同文本·文档组 | 文档组关联完整率 | 以合同标识为单位逐组核对 | ≥0.95 | ≥0.90 | | 合同文本·修改关系 | 补充协议与正文的修改关系登记正确率 | 逐条核对被修改条款 | ≥0.92 | ≥0.85 | | 合同文本·效力顺序 | 多份补充协议的时间与效力顺序正确率 | 逐组核对 | ≥0.95 | ≥0.88 | | 合规风控·法规 | 法规条文登记正确率（编号、内容、状态、所属法律） | 逐条核对 | ≥0.98 | ≥0.95 | | 合规风控·法规 | 法规条文现行有效状态正确率 | 与权威条文库比对 | ≥0.98 | ≥0.96 | | 合规风控·制度 | 内部制度条款级登记正确率 | 逐条核对 | ≥0.96 | ≥0.92 | | 合规风控·制度 | 制度条款与审查单元的关联登记率 | 按 33 个单元逐一核对 | ≥0.92 | ≥0.85 | | 合规风控·规则 | 规则五要素齐备率 | 逐条核对触发条件、依据、类别、等级、处置建议 | ≥0.95 | ≥0.90 | | 合规风控·案例 | 案例四要素齐备率 | 逐则核对 | ≥0.92 | ≥0.85 | | 数据集·规模 | 三集样本量与覆盖类型符合约定 | 逐项清点 | 符合即通过 | — | | 数据集·隔离 | 测试集与训练验证集的重复率 | 双向查重 | ≤0.01 | ≤0.03 | | 数据集·标注 | 标注准确率 | 双人独立判分后以仲裁结论为准 | ≥0.98 | ≥0.95 | | 数据集·标注 | 关键要素标注完整率 | 以八大核心要素与审查单元字段为范围逐条核对 | ≥0.98 | ≥0.96 | | 数据集·标注 | 同类条款标注一致率 | 以同类条款聚类后核对标注结果 | ≥0.95 | ≥0.90 | | 数据集·标注 | 标注可追溯率 | 每条标注是否可追溯到条款与制度依据 | ≥0.98 | ≥0.95 | ###### 1.7.2.2 合同智能解析能力验证 招标文件要求验证合同智能解析能力，支持 Word、PDF 等识别与关键信息抽取。本项的验证分格式与内容两条线。 格式线验证不同来源格式的解析质量。合同文档的来源形态差异很大：本方起草的多为可编辑文档，对方提供的常为转换后的版式文档，历史归档件常为扫描件，附件中还有表格形式的报价清单与技术参数表。四类形态分别统计解析正确率，其中扫描件一项另记原件清晰度分档，使指标与原件质量挂钩而不是混为一谈。 内容线验证关键信息抽取，以合同八大核心要素为主干。八要素的抽取难度不均：当事人信息、价款、履行期限相对规整；标的物、数量、质量常分散在正文与附件中；违约责任与争议解决方式的表述形式多变。八要素分项统计抽取齐对率，并统计要素完整性判定的正确率——这一项指的是判断合同中某要素是否约定完备（如质量条款是否指明标准、违约责任是否约定了计算方式），而不只是抽出一段文字。 此外须验证对照模板基线的变更标注：待审合同与标准合同文本比对后，新增条款、删减条款与修改条款是否被正确识别并标注。这一项是制度合规审查中标准文本使用合规性单元的数据基础，验证做法是以人工比对结果为基准统计三类变更的识别正确率，并统计实质性变更与非实质性变更的区分正确率——后者需要判断一处文字改动是否改变了权利义务，是本项中最难的一步。 表 49　合同智能解析能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 格式·可编辑文档 | 解析正确率 | 抽样逐份核对 | ≥0.98 | ≥0.95 | | 格式·版式文档 | 解析正确率 | 抽样逐份核对 | ≥0.96 | ≥0.92 | | 格式·扫描件 | 解析正确率（按清晰度分档） | 抽样逐份核对，分档统计 | ≥0.92 | ≥0.85 | | 格式·表格附件 | 单元格取值正确率 | 按 1.4.2.3 的表格四层方法执行 | ≥0.95 | ≥0.90 | | 八要素·当事人信息 | 抽取齐对率 | 逐份核对名称、信用代码、法定代表人 | ≥0.98 | ≥0.95 | | 八要素·标的物 | 抽取齐对率 | 逐份核对 | ≥0.95 | ≥0.90 | | 八要素·数量 | 抽取齐对率 | 逐份核对 | ≥0.95 | ≥0.90 | | 八要素·质量 | 抽取齐对率 | 逐份核对（含所引标准） | ≥0.92 | ≥0.85 | | 八要素·价款或报酬 | 抽取齐对率 | 逐份核对含税与不含税、币种、大小写 | ≥0.98 | ≥0.95 | | 八要素·履行期限地点方式 | 抽取齐对率 | 逐份核对 | ≥0.95 | ≥0.90 | | 八要素·违约责任 | 抽取齐对率 | 逐份核对 | ≥0.92 | ≥0.85 | | 八要素·争议解决 | 抽取齐对率 | 逐份核对（含管辖约定） | ≥0.95 | ≥0.90 | | 要素完整性 | 要素约定完备性判定正确率 | 业务专家判定为基准 | ≥0.90 | ≥0.82 | | 模板比对 | 新增、删减、修改三类变更识别正确率 | 以人工比对结果为基准 | ≥0.92 | ≥0.85 | | 模板比对 | 实质性与非实质性变更区分正确率 | 业务专家判定 | ≥0.85 | ≥0.75 | ###### 1.7.2.3 风险智能识别能力验证 招标文件要求验证风险智能识别能力，支持自动识别合规风险、责任风险、交付风险、付款风险。四类风险是招标文件给出的分类，而甲方的审查职责划分是按五大类 33 个审查单元组织的。两套分类不冲突：前者是风险的性质，后者是审查的组织方式。本节的做法是以 33 个审查单元为基准分册的组织单位，同时为每条风险标注其所属的四类风险类型，使两套口径都能统计——评审时按招标文件的四类看，整改时按审查单元看。 表 50 给出 33 个审查单元与四类风险的对应，以及各单元的基准题量分配。题量按两条原则分配：单元的业务发生频次，与该单元失败的后果严重程度。因此合法性审查与制度合规审查的题量高于其余三类，而其中主体资格、内容合法性、招投标一致性、用章合规、预算执行五个单元的题量最高。 表 50　33 个审查单元、风险类型对应与基准题量分配 | 编码 | 审查单元 | 核心检查内容 | 主要风险类型 | 基准题量 | 结论强度 | |---|---|---|---|---|---| | L-01 | 合同主体资格合法性 | 主体存续、信用代码、法定代表人、行业资质、代理授权 | 合规风险 | 14 | 确定性判定为主 | | L-02 | 合同内容合法性 | 强制性规定、禁止或限制流通、虚假贸易、免责与利率 | 合规风险 | 14 | 确定性判定为主 | | L-03 | 意思表示真实性 | 欺诈、胁迫、重大误解、显失公平、格式条款提示说明 | 责任风险 | 8 | 风险提示为主 | | L-04 | 授权代理合法性 | 授权范围、期限、签章、越权代表与无权代理 | 合规风险 | 10 | 确定性判定为主 | | L-05 | 公序良俗符合性 | 公共利益、社会公德与合同目的 | 合规风险 | 6 | 风险提示为主 | | C-01 | 合同管理制度执行 | 立项、资信、评审、审批、用印、履约、变更、归档 | 合规风险 | 14 | 确定性判定为主 | | C-02 | 标准合同文本使用 | 模板选择、偏离条款与偏离审批 | 合规风险 | 10 | 确定性判定为主 | | C-03 | 示范文本匹配与适用 | 业务类型、交易场景与模板适配 | 合规风险 | 8 | 风险提示为主 | | C-04 | 签前备案程序 | 重大、关联、涉外等合同的备案条件与材料 | 合规风险 | 8 | 确定性判定为主 | | C-05 | 合同专用章使用 | 用章类型、审批、骑缝章、签署日期 | 合规风险 | 12 | 确定性判定为主 | | C-06 | 招投标文件一致性 | 标的、数量、质量、价款、期限与中标结果一致 | 合规风险 | 14 | 确定性判定为主 | | C-07 | 合同归档管理 | 原件与复印件、附件、评审、授权、资质、归档时限 | 合规风险 | 8 | 确定性判定为主 | | C-08 | 监管要求合规性 | 投资、资产转让、融资性贸易等敏感领域 | 合规风险 | 10 | 风险提示为主 | | F-01 | 合同价款合理性 | 预算、市场价格、历史价格、单价与总价 | 付款风险 | 10 | 风险提示为主 | | F-02 | 税率合规性 | 标的性质、交易类型、纳税人身份、复杂税务情形 | 付款风险 | 12 | 确定性判定为主 | | F-03 | 结算结构与方式 | 预付款、进度款、验收款、质保金、账户、汇率 | 付款风险 | 10 | 风险提示为主 | | F-04 | 合同金额书写规范 | 大小写一致、币种、单位、格式 | 付款风险 | 10 | 确定性判定为主 | | F-05 | 预算执行符合性 | 预算额度、科目、调整程序 | 付款风险 | 12 | 确定性判定为主 | | F-06 | 金融及债务重组协议 | 金融监管、会计准则、债务重组、账务处理 | 付款风险 | 6 | 转专业人员 | | F-07 | 合同资产数据管理 | 资产价值、交付验收、权属、收入与成本 | 交付风险 | 6 | 风险提示为主 | | F-08 | 交易主体财务资质 | 证照有效期、经营范围、注册资本、履约能力 | 合规风险 | 8 | 确定性判定为主 | | B-01 | 对方主体资信全面审查 | 工商、司法、信用、舆情与履约能力 | 责任风险 | 8 | 风险提示为主 | | B-02 | 立项依据合规性 | 商业论证、批复、采购方式、权限、拆分合同 | 合规风险 | 8 | 确定性判定为主 | | B-03 | 合同与技术协议一致性 | 正文、技术协议、商务附件、服务协议交叉比对 | 交付风险 | 10 | 确定性判定为主 | | B-04 | 合同文本初步审查 | 不利条款、权责失衡、责任与赔偿 | 责任风险 | 10 | 风险提示为主 | | B-05 | 评审意见落实追踪 | 修改要求与最终文本逐项核对 | 合规风险 | 8 | 确定性判定为主 | | B-06 | 履行异常识别与预警 | 交付、付款、验收、质量、单方变更 | 交付风险 | 6 | 风险提示为主 | | B-07 | 变更与解除合规性 | 事由、审批、书面协议、责任与损失 | 合规风险 | 8 | 确定性判定为主 | | B-08 | 纠纷处理法律支持 | 事实、条款、法律、案例与初步分析 | 责任风险 | 6 | 转专业人员 | | O-01 | 销售合同评审合规性 | 价格、信用、交付能力、权限、评审记录 | 合规风险 | 8 | 确定性判定为主 | | O-02 | 客户资信管理 | 信用额度、信用期限、特别审批、应收催收 | 付款风险 | 6 | 风险提示为主 | | O-03 | 合同履约计划管理 | 里程碑、责任人、反馈、纠偏措施 | 交付风险 | 6 | 风险提示为主 | | T-01 | 技术协议专业性 | 技术会签、指标可测量、验收标准、交付物、知识产权、保密 | 交付风险 | 10 | 确定性判定为主 | | 合计 | — | — | — | 300 | — | ###### 图 9　合同审查的五大类审查单元、证据分层与两类结论 审查对象：合同包（跨文件比对） 正文　｜　附件　｜　补充协议（含修改关系与效力顺序）　｜　技术协议　｜　授权文件　｜　用章与审批材料　｜　招投标结果文件 验证观测：文档组关联完整率 ≥0.95　·　修改关系登记正确率 ≥0.92　·　效力顺序正确率 ≥0.95　——关联缺失则审查对象不完整，单份质量指标看不出来 合法性审查L-01 ～ L-05依据：法律法规与司法解释题量 52　权重 30% 制度合规审查C-01 ～ C-08依据：内部制度与监管要求题量 84　权重 25% 财务审查F-01 ～ F-08依据：财务制度税法与会计准则题量 74　权重 20% 业务主办审查B-01 ～ B-08依据：立项材料评审意见与外部信息题量 64 经营与技术审查O-01 ～ O-03、T-01依据：销售制度技术协议与会签记录题量 30 第一类　确定性判定 明确违反法定条款或制度条款，逐条附所违反的条文原文与位置 判据：与依据条款的比对判对错；依据引用真实率 ≥0.98 可作为退回修改的依据 第二类　风险提示与条款对照 条款缺失、表述不清、权利义务不对等、与同类合同惯常处理的对照 判据：是否提出、对照是否完整；不判定性结论对错 交由法务与业务归口权衡 两类结论分区交付、分别判分的理由 混在一起测一个准确率，会把系统推向两个极端：要么只报确定性判定、漏掉大量值得提示的风险；要么把该由人权衡的 问题也当作判定去测，于是一个合理的提示被算成答错。分区之后，第一类追求判得准，第二类追求提得全，各有判据。 审查意见分区呈现、不混排；重大风险、证据冲突、法律适用争议与复杂金融事项转专业人员，系统输出不作为最终法律意见。 图 9　合同审查的五大类审查单元、证据分层与两类结论。数据来源：招标文件 3.2.6.5.2.5.2 风险智能识别验证要求，3.2.6.3.5 合同八大核心要素与条款类型、风险点标注要求，3.2.6.3.2 文档类资料解析要求。 风险识别的判分按两类结论分别组织，并按 33 个单元与四类风险两套口径统计。此外采用加权综合评分，权重按甲方在场景需求中给出的口径设定：合法性判定准确率权重 30%，合规性判定准确率权重 25%，财务审查准确率权重 20%，法条与制度引用准确率权重 15%，修改建议与解决方案合理性权重 10%。综合评分的档位沿用甲方口径：90 分以上为优秀，80 至 90 分为良好，70 至 80 分为合格，70 分以下为不合格。本节把这套加权评分作为场景级综合结论，同时保留 33 个单元的分项指标——综合分用于向管理层汇报趋势，分项指标用于派整改任务，两者用途不同，不可互相替代。 表 51　风险智能识别能力的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | |---|---|---|---|---| | 确定性判定·合法性 | 判定准确率 | 52 道题，与依据条款比对 | ≥0.92 | ≥0.85 | | 确定性判定·制度合规 | 判定准确率 | 84 道题 | ≥0.90 | ≥0.82 | | 确定性判定·财务 | 判定准确率 | 74 道题 | ≥0.92 | ≥0.85 | | 确定性判定·业务与技术 | 判定准确率 | 94 道题 | ≥0.88 | ≥0.80 | | 风险提示 | 应提示风险的提出率 | 以专家标注的应提示清单比对 | ≥0.88 | ≥0.80 | | 风险提示 | 条款对照完整率 | 每条提示是否附条款原文、位置与对照说明 | ≥0.95 | ≥0.90 | | 风险提示 | 误报率（取反向） | 提示中经专家确认无需关注的比例 | ≤0.20 | ≤0.30 | | 四类风险 | 合规风险识别率 | 按风险类型统计 | ≥0.90 | ≥0.82 | | 四类风险 | 责任风险识别率 | 按风险类型统计 | ≥0.85 | ≥0.75 | | 四类风险 | 交付风险识别率 | 按风险类型统计 | ≥0.88 | ≥0.78 | | 四类风险 | 付款风险识别率 | 按风险类型统计 | ≥0.92 | ≥0.85 | | 风险分级 | 风险等级一致率 | 与专家分级比对 | ≥0.85 | ≥0.75 | | 依据引用 | 法条与制度引用准确率 | 回原文逐条核验 | ≥0.95 | ≥0.90 | | 依据引用 | 依据时效正确率 | 核验所引条文是否现行有效 | ≥0.98 | ≥0.96 | | 依据引用 | 引用不实发生数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 | | 修改建议 | 建议合理性得分 | 专家评价，模型裁判初判后人工复核 | ≥0.80 | ≥0.70 | | 结论分区 | 两类结论分区正确率 | 核对确定性判定与风险提示是否混排 | ≥0.95 | ≥0.90 | | 转交机制 | 转专业人员触发正确率 | 以重大风险、证据冲突、法律适用争议题测定 | ≥0.95 | ≥0.90 | | 综合 | 五维加权综合评分 | 按 30／25／20／15／10 加权 | ≥85 分 | ≥75 分 | ###### 1.7.2.4 效率提升验证 招标文件要求验证效率提升情况，支持单份合同审查时长较人工明显缩短。与制度场景的效率验证同理，这一项的分母须实测。 人工基线的建立做法是：抽取 30 份合同，按简单、中等、复杂三档各 10 份，交由甲方相应岗位人员按现行审查方式审查并计时。计时从拿到合同包起，到出具审查意见为止。对照组按角色配置：法务、财务、业务三类角色各不少于两人，按角色分别计时并记录各自的审查要点覆盖情况。人工审查的时长与覆盖面互为条件，审得快可能来自只核查了部分条款。因此本项除时长外，另统计人工对照组的审查单元覆盖数，与系统的覆盖数并列呈现。 助手侧时长取自验证窗口内的日志，按同一批合同的同档位统计中位数。缩短幅度按档位分别计算。另记录的绝对量包括：单份合同从上传到出具审查意见的时长、跨文件比对的耗时占比。 表 52　效率提升的验证项与取值 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | 责任侧 | |---|---|---|---|---|---| | 简单合同 | 相对人工缩短幅度 | 10 份简单合同，人工基线中位数为分母 | ≥0.70 | ≥0.50 | 两侧共同 | | 中等合同 | 相对人工缩短幅度 | 10 份中等合同 | ≥0.60 | ≥0.40 | 两侧共同 | | 复杂合同 | 相对人工缩短幅度 | 10 份复杂合同 | ≥0.45 | ≥0.30 | 两侧共同 | | 覆盖面对比 | 审查单元覆盖数之比 | 系统覆盖单元数与人工对照组覆盖单元数之比 | ≥1.5 | ≥1.2 | 数据侧为主 | | 依据可得性 | 审查意见附依据条款的比例 | 与人工对照组同一指标对比 | ≥0.95 | ≥0.90 | 数据侧为主 | | 绝对时长 | 单份合同审查时长中位数 | 验证窗口内日志 | 记录并报告 | — | 工程侧 | 覆盖面对比一项是本场景效率验证的要点。合同审查的效率改善若只体现为时长缩短，其价值有限；真正的改善在于在更短时间内覆盖了更多审查单元——人工审查受时间与精力限制，多数情况下只能覆盖其中一部分单元，而 33 个单元的逐项核对恰恰是系统的优势所在。把覆盖面与时长并列，这一项的结论才对得上招标文件所说的「风险识别不全」这一类问题。 ###### 1.7.2.5 本场景数据层验证要点与迭代机制 本场景的数据层验证重点在三集隔离与标注一致性，已在 1.7.2.1 给出指标。此处补充两项与其他场景不同的要点。 第一项是确定性检查与模型判断的分离统计。本场景的 33 个审查单元中，一部分是可以逐条比对的检查（金额大小写一致、日期与期限逻辑、用印与审批流程齐备、材料清单完整、证照有效期），这类归确定性组件承担，其指标按回归用例集逐条重跑统计，每次发版重跑；另一部分需要判断（条款风险识别、表述歧义提示、同类合同对照），这类归模型参与项，其指标按独立隔离的评测集统计，评测样本取自训练样本未覆盖的合同类别与时间段。两类分别统计的理由是：若同一批合同既用于调优又用于评测，指标会系统性偏高，验收看到的准确率与真实表现之间的差距无法估计；而两类检查的失败方式也不同——确定性检查的失败是规则写错，可以逐条修正；模型判断的失败须在隔离样本上才能观测。 第二项是迭代验证机制。甲方对本场景提出了四类验证节奏：季度全面验证（每季度执行一次覆盖五大类全部审查单元的验证，出具季度验证报告）、增量快速验证（新增合同类型、新增审查场景、法规重要更新、制度重要修订、规则引擎重大调整或模型版本升级时启动）、回归验证（任何模型更新、规则库调整或系统版本升级后执行回归验证，防止性能退化）、反馈闭环优化（将问题分类并分别反馈至数据标注、模型训练、规则引擎与产品功能四个环节）。本节的五阶段流程与这四类节奏的对应关系见表 53。 表 53　合同场景的迭代验证节奏与本节流程的对应 | 验证节奏 | 触发条件 | 执行范围 | 对应本节流程 | 产出 | |---|---|---|---|---| | 季度全面验证 | 每季度一次 | 五大类 33 个单元整分册 | 五阶段完整执行 | 季度验证报告、能力雷达图、版本对比 | | 增量快速验证 | 新增合同类型或审查单元、法规或制度更新、规则库或模型版本变更 | 变更影响的单元及其关联单元 | 阶段三至五，协议沿用当期版本 | 增量验证报告、影响范围说明 | | 回归验证 | 模型更新、规则库调整、系统版本升级后 | 确定性检查项的回归用例集逐条重跑，模型参与项按抽样 | 阶段三，判分规则不变 | 回归报告、退化项清单 | | 反馈闭环 | 每轮验证后 | 按错因类别分流至四个环节 | 阶段四至五 | 整改任务单、复测记录、闭环结论 | 表 53 中的回归验证一项须说明一个判据：回归的通过标准不是「指标不低于上一轮」，而是「确定性检查项逐条通过，模型参与项的各分项指标相对上一轮的下降不超过约定幅度」。只看总分不看分项，会掩盖此消彼长——某一类风险的识别率上升而另一类下降，总分可能不变，但下降的那一类在业务上可能恰恰是更重要的。 ###### 1.7.2.6 典型样题与判分示例 表 54　合同合规审查场景的典型样题与判分方式 | 审查单元 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 | |---|---|---|---|---| | L-01 | 对方营业执照已过有效期，是否可签 | 确定性判定＋所依据的法规与制度条款＋处置建议 | 判定、依据、建议三项齐对；依据不实即判不通过 | ④⑤⑥ | | L-02 | 采购合同的交易双方存在关联关系，是否构成人为增加交易环节 | 风险提示＋事实对照＋相关监管要求 | 按提示是否提出与对照是否完整判，不判定性结论对错 | ⑤⑦ | | C-05 | 多页合同未加盖骑缝章，签署日期空白 | 两项确定性判定＋所依据的印章管理制度条款 | 漏判任一项即失败 | ④⑤ | | C-06 | 合同标的数量与中标通知书不一致 | 不一致项清单＋双方原文位置＋是否经合规谈判确认的判定 | 跨文件比对；未发现不一致即判失败 | ③④⑤ | | F-02 | 混合销售合同的税率约定是否正确 | 税率判定＋标的性质分析＋提示进一步专业税务审核 | 直接下结论而不提示专业审核的，按结论分区错误记 | ⑤⑦⑧ | | F-04 | 合同金额大小写不一致 | 两处金额原文＋不一致判定＋修正建议 | 确定性检查，逐条比对，漏判即失败 | ⑤ | | F-05 | 合同金额超出对应预算科目可用额度 | 预算额＋合同额＋超预算判定＋调整程序要求 | 需调用预算比对工具；参数错即判失败 | ⑤ | | B-03 | 合同正文的交付期与技术协议不一致 | 不一致项＋双方原文位置＋影响分析 | 跨文件比对 | ③④ | | B-05 | 评审意见中的修改要求是否已在最终文本落实 | 逐条落实情况＋未落实项清单 | 逐条比对；漏掉未落实项即失败 | ③④⑤ | | T-01 | 技术协议的技术指标是否明确可测量、是否有技术部门会签 | 可测量性判定＋会签记录核验＋缺失项提示 | 两项分别判 | ④⑤ | | 转交题 | 涉及债务重组的协议 | 应转专业人员，不自行给出法律意见 | 自行给出定性结论即判不通过 | ⑧ | | 无依据题 | 询问合同中未约定事项的处理方式 | 应提示合同未约定并给出法定补充规则的检索结果 | 凭推测补充约定内容即判失败 | ⑧ | | 文档组题 | 一份合同有三份补充协议，问现行有效的付款条款 | 应按效力顺序确定现行条款 | 用被修改前的条款作答即判不通过 | ②③ | 本场景的题型按五项业务判别设置：条款识别、规则依据、跨文件冲突、风险分级与人工复核转交。五项对应审查作业的五个动作，判分规则逐项不同。 条款识别题判别的是一处约定属于哪一类条款、落在哪一个审查单元。合同条款的类别不由标题决定：一条写在「其他约定」里的内容可能是违约责任，一条冠名「验收」的条款可能同时约定了付款触发条件。答案须给出条款类型、所属审查单元编码与条款原文位置；一条约定同时落入多个审查单元时须全部给出。判分按类型判定与单元归属两项分别统计。 规则依据题判别的是一条审查意见所援引的依据是否真实、现行且对应。依据分三层：法律法规与司法解释条文、内部制度条款、标准合同文本的模板条款。答案须给出规则编号、所依据条文的编号与版本，以及该条文的原文片段。判分以引用校验门为前置：所引条文不存在或已失效时该题计零分，并分别计入依据引用不实与依据时效错误两项发生数。 跨文件冲突题判别的是合同包内各文件之间的不一致。一次审查的对象是合同正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件的集合；冲突形态有三种：同一要素在两份文件中取值不同、补充协议修改了正文条款而效力顺序未理清、合同约定与中标结果不一致。答案须给出不一致项、双方原文位置、涉及的文件与版本，以及按效力顺序确定的现行约定。未发现不一致即该题计零分。 风险分级题判别的是一处风险的等级。等级按后果严重程度与发生可能性两维确定，划分尺度由甲方法务确认后写入协议。答案须给出风险类别、等级与定级所依据的事实。判分按等级一致率统计，并按相差一档与相差两档分别记数；相差两档的样本逐条复核，其定级依据退回规则库修订。 人工复核转交题判别的是一处结论该不该由系统给出。重大风险、证据冲突、法律适用争议、复杂金融与税务事项，以及置信度低于协议阈值的结论，一律转专业人员，系统只给事实与对照。答案须给出转交标识、转交理由与已确认的事实部分。自行给出定性结论即该题计零分；应转而未转与不应转而转两类分别统计。 表 54A　合同合规审查场景题型的业务判别要点与评分式 | 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 | |---|---|---|---|---|---| | 条款与要素识别 | 条款类型与审查单元归属 | 条款类型、审查单元编码、条款原文位置 | 条款类型＋全部所属单元编码＋原文位置 | 类型判定与单元归属两项分别判；漏报任一单元即该项不全 | ④ | | 规则依据引用 | 依据真实、现行且对应 | 规则编号、依据条文编号与版本、原文片段 | 规则编号＋条文编号与版本＋原文片段 | S′ ＝ S × g引用；条文不存在或已失效计 0 | ⑤⑥ | | 跨文件冲突 | 合同包内各文件的一致性与效力顺序 | 文档组成员、比对对象、补充协议顺序 | 不一致项＋双方原文位置＋涉及文件与版本＋现行约定 | 未发现不一致计 0；效力顺序判错单列统计 | ③④⑤ | | 风险识别与分级 | 后果严重程度与发生可能性两维定级 | 风险类别、风险等级、定级依据事实 | 风险类别＋等级＋定级依据 | 等级一致率；相差一档与相差两档分别记数 | ⑤⑦ | | 人工复核转交判定 | 结论强度与置信度边界 | 应转人工标识、转交理由 | 转交标识＋转交理由＋已确认事实部分 | 自行给出定性结论计 0；应转未转与不应转而转分别统计 | ⑦⑧ | | 修改建议判定 | 建议是否落在依据之内 | 建议对应的条款与依据条文 | 修改建议＋所依据条款＋修改后的表述要点 | S ＝ Σ wₖhₖ；超出依据的建议单列统计 | ⑦ | 表 54B　合同合规审查场景的四类专项测试构造 | 专项 | 本场景的构造 | 判据 | 归因入口与补数据 | |---|---|---|---| | 权限越界 | 以业务角色账号调用仅限法务角色的审查单元与依据库，或查询非本人经办合同的价款明细 | 返回权限提示；越权放行以零发生为目标 | 归②；补审查角色与合同密级登记后整批重测 | | 无依据 | 询问合同中未约定事项的处理方式，或询问依据库未覆盖领域的合规判定 | 提示合同未约定并给出法定补充规则的检索结果；凭推测补充约定内容即失败 | 归⑧；补拒答样本与转交规则登记后复测 | | 版本失效 | 以被补充协议修改前的正文条款提问，或援引已修订前的法规条文与已废止的内部制度 | 按效力顺序确定的现行条款作答；所援引条文须为现行有效 | 归②⑥；补文档组修改关系、效力顺序与条文版本登记后整批重跑 | | 工具失败 | 使规则检查、跨文件比对或预算比对工具返回空结果、超时或异常码 | 提示该审查单元未完成核查并列入待核项，不以已核查结论覆盖未完成项 | 归⑤；补规则库条目与工具失败处置样本后复测 | 示范用例。取一道跨文件冲突题：合同包含正文一份、技术协议一份与补充协议两份，问现行有效的交付期约定。执行流程为：按合同标识聚合文档组，核对成员齐备；按签订时间与效力条款确定两份补充协议的顺序；抽取正文、技术协议与两份补充协议中的交付期条款及其位置；比对后按效力顺序确定现行约定；引用校验门核验所引条款在各文件中真实存在。设正文约定交付期为合同生效后九十日，技术协议约定为设备到场后六十日，第二份补充协议将正文交付期改为一百二十日，则标准答案为：现行交付期按第二份补充协议计一百二十日；技术协议的六十日为设备到场后的分项节点，与正文口径不同，构成需澄清的不一致项，附双方原文位置并提示由业务与技术部门确认。若答案只给出正文的九十日，该题计 0 分，错因归③的文档组关联或②的效力顺序判定，修复入口分别为文档组关联登记与补充协议修改关系登记；补登记后，对全部含两份以上补充协议的合同包题目整批复测。本题的文档组快照、逐条比对记录、归因与复测结果，连同模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 封存。上列为构造示例，条款取值由业务专家按模板基线设定，不取自任何一份真实合同的审查意见原文。 ###### 1.7.2.7 所需数据、接入条件与降级路径 合同场景的材料有一道其他场景没有的前置：合同文本含商业秘密与客户信息，须先完成脱敏与授权方可进入验证环境，到位周期因此比其他场景长。表 55 逐项列明本场景所需材料、用途、来源与降级口径，脱敏与授权作为取用前提写在来源一列。 取舍依据是该项材料支撑哪一类审查单元。法律法规与司法解释条文是合法性审查的依据库，其覆盖范围即结论的适用边界，首轮按民法典合同编及相关司法解释先行；近三年法务审查意见是应提风险清单的基准，也是回放题唯一的来源，以专家集中标注替代时回放一项不出结论；风险等级划分与责任风险判定尺度决定等级一致率能否成立，尺度未经甲方确认的以三档粗分暂定并标注为暂定口径；预算科目与可用额度数据只影响 F-05 一个审查单元，缺失时该单元退为预算科目登记核验。人工对照组按法务、财务、业务三类角色安排，原因在于合同审查的人工基线本身跨岗位，单一角色的计时代表不了全流程。 第四列是判据，给出每项材料缺位时验证范围如何收缩；受影响的审查单元在本场景验证报告中逐一列明，不以可得范围内的结论代表全部合同类型。 表 55　合同合规审查场景的数据需求与降级路径 | 需求项 | 用途 | 来源 | 不具备时的降级 | |---|---|---|---| | 历年各类业务合同文本（经脱敏） | 三集样本与基准题依据 | 甲方审计法务部门 | 按已到位份数验证，报告中注明三集实际样本量与覆盖合同类型 | | 合同附件与补充协议归档关系 | 文档组关联验证 | 甲方法务与档案部门 | 以合同编号关联，关联正确率一项标注为按编号推定 | | 标准合同示范文本与模板库 | 模板比对的基线 | 甲方法务 | 模板比对一项按已有模板覆盖的合同类型验证 | | 近三年法务审查意见 | 风险提示应提清单与回放题来源 | 甲方法务 | 以专家集中标注替代，回放一项不出结论 | | 法律法规与司法解释条文 | 合法性审查的依据库 | 权威条文来源，经授权导入 | 按民法典合同编及相关司法解释先行，覆盖范围在报告中列明 | | 合同管理制度与销售合同管理制度 | 制度合规审查的依据库 | 甲方制度管理部门 | 按已到位制度验证，未覆盖单元在报告中列明 | | 用章、审批、备案、归档流程材料 | C 类单元的检查对象 | 甲方相关部门 | 相关单元按可得材料范围验证，不可得的单元不出结论 | | 预算科目与可用额度数据 | F-05 单元的比对基准 | 甲方财务 | F-05 单元改为仅核验预算科目登记，不出额度比对结论 | | 行业典型案例库 | 合规风控知识中的案例条目 | 甲方已有或行业可提供 | 案例条目按已有数量验证，不足则在报告中注明条目数 | | 风险等级划分与责任风险判定尺度 | 风险分级一致性基准 | 甲方法务确认 | 以三档粗分暂定，等级一致率标注为暂定口径 | | 人工对照组安排（法务、财务、业务三类角色） | 效率指标的人工基线与覆盖面对比 | 甲方安排在岗人员 | 效率类指标留空，不填预估值 | #### 1.8 五个场景的验证组织、排期与风险 ##### 1.8.1 五个场景的共性与差异 五个通用场景在技术形态上同源，都走「文档或指标→结构化→检索→（工具调用）→受控生成」的链路，因此共用 1.2 节的方法。它们在验证重点上的差别见表 56，排期与资源按这张表分配。 表 56　五个通用场景的验证重点对比 | 场景 | 核心对象 | 最危险的错误形态 | 验证重点 | 工具调用份量 | 对甲方材料的依赖程度 | |---|---|---|---|---|---| | 管理制度智能问答 | 制度条款 | 答出已废止条款 | 条款级切分、引用关系、版本检查节点 | 轻 | 中（制度原文已明确可提供） | | 技术标准智能问答 | 标准条文与数表 | 取错行列条件的限值 | 表格四层与公式三层、版本辨析 | 中 | 中高（需标准台账与历史版本） | | 标书智能问答 | 招投标文件与企业证据 | 写出查不到原件的企业事实 | 废标条款召回、事实可回溯、缺口显式化 | 中 | 高（需历史投标与评审意见） | | 决策数据智能问答 | 指标与口径 | 用错口径算出看上去合理的数 | 口径唯一性、三路复算、对账门 | 重 | 很高（须先有指标体系与口径确认） | | 合同合规智能审查 | 合同包与条款 | 风险漏判、依据引用不实 | 文档组关联、33 单元分项、两类结论分区 | 重 | 高（需历史审查意见与模板基线） | 从表 56 可以读出三件事。 一是对甲方材料的依赖程度决定启动顺序。制度与标准两个场景的原文已在招标文件中明确由甲方系统提供，可最先启动；标书与合同两个场景依赖历史档案的整理与授权，启动稍后；决策数据场景须等治理规划产出指标体系，排在最后。 二是五个场景的验证重点各不相同，不能用一套指标表套五个场景——这也是本节为每个场景单独给出指标表的原因。但判据分级、复核规程、归因方式与报告结构是统一的，这保证了五个场景的结论可以横向比较。 三是工具调用份量决定人工复核的投入结构。决策数据与合同两个场景的工具调用份量重，其判分依赖复算而不是语义判断，自动化程度反而更高，但复算本身需要验证侧独立实现一遍，前期投入在准备阶段；制度与标书两个场景的判分含更多语义判定，人工复核的工作量集中在执行阶段。资源安排按这个差别错峰。 ##### 1.8.2 分期与排期 排期按四期推进，总体节奏与数据集版本迭代对齐：每一版数据集发布前完成一轮验证，验证报告作为该版本发布的前置条件。 ##### 图 10　五个通用场景验证的分期排期与依赖关系 一期　条件准备 二期　首轮验证 三期　整改复测 四期　迭代验证与交付 管理制度 出题·终审·冻结 四层验证·归因 整改·按类别复测 随版本迭代·逐版抬高取值 技术标准 出题·表格与公式基线 四层验证·归因 整改·按类别复测 随版本迭代 标书 档案整理·件级登记 商务模块四层验证 整改·复测 技术模块纳入 合同合规 33 单元出题·三集切分 四层验证·加权评分 整改·回归 季度全面验证 决策数据 等指标体系产出 按已确认子集出题 三路复算验证 整改·复测 依赖：数据治理规划的指标体系产出 排期的三条依据 一　制度与标准最先启动，原文已明确由甲方系统提供，不等档案整理；方法在这两个场景上先收敛。 二　标书与合同次之，启动点取决于历史档案的整理与授权进度；两场景的出题工作量最大，一期留足时间。 三　决策数据最后，指标体系是其全部题目的基准；按已确认指标子集分批启动，未确认的不入分册、不以推定口径出结论。 图 10　五个通用场景验证的分期排期与依赖关系。数据来源：招标文件 3.2.6.5.2 各场景验证要求，3.2.6.3.9 对验证报告作为版本发布前置条件的要求，3.2.6.5.2.4.1 对决策指标体系形成时点的说明。 一期条件准备。提出数据需求清单并跟踪到位、构建验证基准分册、完成专家出题与终审、与场景建设方约定接入条件、冻结评测协议。本期的产出是五份场景验证方案与评测协议、五个基准分册。本期的关键路径不在我方而在甲方材料到位的速度，因此数据需求清单在项目启动后两周内提出，并按周跟踪。 二期首轮验证。按场景顺序执行评测、人工复核与归因，出具首轮验证报告与整改任务单。本期允许各场景错峰执行，人工复核组可在场景间复用，但不同场景的复核人员须分别培训与试判。 三期整改复测。按整改任务单修复数据子集与知识条目，对错因类别涉及的全部题目复测，出具复测记录与闭环结论。本期的排序原则是：上游缺陷优先于下游缺陷——文档解析缺陷先于标注缺陷，标注缺陷先于样本覆盖缺陷，因为下游的修复以上游的正确为前提。 四期迭代验证与交付。随数据集版本迭代执行后续轮次验证，逐版抬高指标取值，出具能力增量报告与版本对比，形成完整的验证档案移交甲方。合同场景按季度全面验证的节奏并入本期，标书场景的技术模块在本期纳入验证范围。 ##### 1.8.3 组织与把关 验证工作按五个角色组织，角色由项目组内部分工承担。 出题与基准组负责基准分册构建、题面评审与改写集制作，需甲方业务专家配合出题与终审。评测执行组负责协议冻结、评测调度、日志与指标统计。复算组负责决策数据与合同两个场景的独立复算实现，以及公式题的第二路计算。人工复核组负责判分复核与仲裁，成员须经试判，组内一致性按 Kappa 监控。归因与整改组负责错因归类、整改任务单与复测跟踪，与数据加工环节直接对接。 把关点设四处：基准集与协议经甲方业务专家确认后冻结；首轮验证报告经甲方相应业务部门确认；归因结论经数据加工责任组确认后派工；复测闭环结论由我方与甲方共同签署。四处把关都留书面记录，作为验收依据。 出题与复核分离是一条硬规定：参与某分册出题的人员不参与该分册的复核。理由在 1.2.13 已述——出题人知道答案依据，判分时无法保持独立。 ##### 1.8.4 与质量测评服务的衔接 本项目另有数据集质量测评服务，依据《高质量数据集质量评测规范》出具正式评测报告，综合总分不低于 85 分为合格。场景验证与质量测评的关系是：质量测评针对数据集本身的质量属性出具合规核验结论；场景验证针对数据集在具体业务任务上的效用出具可用性结论。两者的结论互为补充，不互相替代——数据质量合格而场景效果不达预期的情形是存在的，此时归因通常指向覆盖盲区或难度分布缺口，而不是数据脏。 两者在时序上的安排是：质量测评的首轮整批评测先行，场景验证在其后启动，避免在已知脏数据的基础上做场景验证而把时间浪费在重复发现同一批问题上。场景验证发现的数据缺陷按归因任务单回流，并同步通报质量测评方，纳入缺陷整改复测范围。 两者在指标上有一处须对齐：质量测评的模型应用维度与本节的数据层验证使用同一批模型版本与同一套评测协议，避免同一件事在两处得出不同结论。对齐方式是共用评测协议中的基准集标识与模型版本标识，两份报告互相引用版本号。 ##### 1.8.5 与训练推理服务、工具链的协同 本节与行业大模型训练推理技术服务的协同关系有三条。第一，四个模型版本由训练侧按本节给出的协议产出，本节不介入训练过程；版本标识由统一网关登记，作为评测结论可复算的依据。第二，本节的能力增量结论反向作为下一轮训练的输入：某一能力维度在某一版本间无提升，其归因结论（语料缺口、样本缺口、偏好缺口）构成下一版数据集的修订方向。第三，评测执行一律经统一网关提交，不自行接入模型，确保调用范围与数据出域情况可审计。 与专项智能工具链的协同关系已在表 15 列明。此处补充一条工作约定：验证执行中发现的工具缺陷（如切分规则对某类版式失效、表格解析对某类表头失效）作为工具侧的问题单提出，与数据侧的整改任务单分开管理。两类问题的修复周期不同——数据问题可以逐条修，工具问题要改规则并重跑整批，混在一张单子里会把工期估错。 ##### 1.8.6 风险与应对 本节的风险集中在三处：验证的输入，即甲方材料与业务口径；验证的对象，即场景侧的可调用通道；以及验证本身的测量可靠性。三者任一失守，结论不是出不来，就是出来了也不可信。表 57 按这三处梳理主要风险，逐条给出具体表现与应对。 条目有两处来由。一是甲方在场景需求中已经显露的前置依赖——历史投标文件、法务审查意见与标准台账的整理授权需时，决策数据的指标口径涉及多部门确认；二是评测执行中反复出现的失真，如基准题进入训练样本致指标虚高、判分尺度随时间漂移、工具缺陷与数据缺陷混在一张单子里导致工期估错。两类之外的一般性项目风险不列入本表。 第三列是判据，每一条应对都落在前文已经写定的机制上：按已到位范围分批构建分册见 1.2.4，分层出结论见 1.1.3，判分一致性下限与仲裁规则见 1.2.13，单人单日判分量上限见表 17，入册双向查重与每轮泄露抽查见 1.2.4 与 1.2.8，每版取值的事前约定与连续两版未达时的共同评审见 1.2.20。第二列是证据，给出该风险在本项目的具体形态而非一般性描述。 其中两类最为吃紧。材料到位迟与场景侧通道滞后决定能否按期出结论，二者的应对取同一思路：把等齐再测改为按已到位范围分批测、按层分列结论、未覆盖范围逐项写明，使进度风险转为范围收缩而不是停工。基准题泄露则决定结论可不可信，一经发现即替换该题、扩大检查范围并重测相应批次。 表 57　通用场景验证的主要风险与应对 | 风险 | 具体表现 | 应对 | |---|---|---| | 甲方材料到位迟 | 历史投标文件、审查意见、标准台账的整理与授权需时 | 一期即提出数据需求清单并按周跟踪；按已到位材料分批构建基准分册，场景内分项验证不等齐；报告中列明未覆盖范围 | | 指标口径未确认 | 决策数据场景的指标口径涉及多部门，确认周期长 | 按已确认指标子集先行验证；未确认指标不进入基准分册；不以推定口径出具结论 | | 助手建设进度滞后 | 场景助手未按期提供可调用通道 | 执行数据层、知识层与链路层验证，出具三层结论；任务层待通道具备后补测，报告按层分列 | | 人工基线难组织 | 对照组人员在岗任务重，难以抽出时间 | 把对照测试拆为多批、每批不超过半个工作日；基线未实测前效率指标留空而不填预估值 | | 判分主观偏差 | 解读类与风险类题目的判分依赖人的尺度 | 双人独立判分加第三方仲裁，Kappa 低于 0.75 即暂停重对齐；模型裁判须先过 0.85 一致率校准 | | 复核工作量超出承载 | 五个场景分册合计 2,400 题，复核抽样比例高 | 按表 17 控制单人单日判分量；按场景错峰执行；自动判分比例高的题型优先整批自动化 | | 基准题泄露 | 基准题面进入训练样本，指标虚高 | 入册双向查重；每轮验证前抽 50 道做泄露检查；验证后题面不回流训练 | | 指标被动态抬高后不可达 | 逐版抬高取值导致后期达不到 | 每版取值在验证前书面约定并经甲方确认；连续两轮未达下限的项提请共同评审，调整口径或数据供给范围 | | 工具缺陷与数据缺陷混淆 | 同一批失败既有切分规则问题也有标注问题 | 两类问题分开立单；工具问题改规则后重跑整批，数据问题逐条修后按类别复测 | | 敏感数据外泄 | 标书与合同数据含商业秘密与客户信息 | 内网执行、入库即去标识化、客户名称代号化、模型调用记录出域情况、映射表不随档案交付 | | 验证结论被过度解读 | 报告结论被当作场景上线承诺引用 | 报告中逐项标注验证口径、样本范围与未覆盖项；助手输出统一定位为辅助结论，最终判定归相应业务岗位 | ##### 1.8.7 工作量与交付节点 本节工作量按五个场景分别估算，口径为我方投入的人日，不含甲方配合人力。估算依据是各场景的基准分册题量、需人工核对的样本量、复算工作量与人工复核工作量上限（见表 17）。 表 58　通用场景验证的工作量估算 | 场景 | 基准集构建 | 复算实现 | 验证执行 | 人工复核 | 归因与复测 | 合计人日 | |---|---|---|---|---|---|---| | 管理制度智能问答 | 8 | — | 4 | 10 | 6 | 28 | | 技术标准智能问答 | 10 | 4 | 5 | 12 | 8 | 39 | | 标书智能问答 | 12 | 2 | 5 | 14 | 8 | 41 | | 决策数据智能问答 | 12 | 8 | 6 | 12 | 9 | 47 | | 合同合规智能审查 | 11 | 5 | 5 | 13 | 8 | 42 | | 共用方法与协议编制 | 6 | — | — | — | — | 6 | | 链路层归因方法与归因模板 | 4 | — | — | — | 3 | 7 | | 合计 | 63 | 19 | 25 | 61 | 42 | 210 | 表中人工复核与基准集构建两项的人日占比最高，这与本节的方法取向一致：五个场景的多数指标含主观判定，出题质量与复核质量决定结论可信度，这两部分工作量不压缩。复算实现一项集中在决策数据与合同两个场景，是本次新增的投入，对应 2.3 的三路复算要求。若甲方材料到位延迟，基准集构建环节的人日会分散到更长的周期内而总量不变。 表 59　交付节点与交付物对应 | 节点 | 时点 | 交付物 | 验收方式 | |---|---|---|---| | N1 | 项目启动后 2 周 | 五个场景的数据需求清单 | 甲方签收并反馈材料到位计划 | | N2 | 各场景一期结束 | 场景验证方案与评测协议、基准分册 | 甲方业务专家确认后冻结 | | N3 | 各场景二期结束 | 首轮场景验证报告、链路层归因明细、失败样本清单与归因报告 | 甲方相应业务部门确认 | | N4 | N3 后 3 个工作日 | 数据整改任务单 | 我方内部派工并向甲方报备 | | N5 | 各场景三期结束 | 复测记录与闭环结论 | 我方与甲方共同签署 | | N6 | 每个数据集版本发布前 | 该版本的场景验证报告、能力增量报告与雷达图 | 作为该版本发布的前置条件 | | N7 | 合同场景每季度 | 季度全面验证报告 | 甲方法务与相关管理层确认 | | N8 | 项目验收前 | 五个场景的完整验证档案与版本血缘记录 | 随项目验收移交 | ##### 1.8.8 验证所需的材料、接入条件与提供方 五个场景的验证以甲方业务材料与场景建设方的接入条件为输入。下表按场景与用途归并，逐项列明所需材料、用途、提供方与其关联的验证项，作为项目启动后两周内提出的数据需求清单的内容基准；材料到位进度按周跟踪，到位情况与验证排期挂钩。 表 60　验证所需的材料、接入条件与提供方 | 序号 | 所需材料 | 用途 | 提供方 | 关联验证项 | |---|---|---|---|---| | 1 | 甲方现行制度分类与层级定义 | 类别归集与层级判定的比对基准 | 甲方制度管理部门 | 表 20 判定类元数据 | | 2 | 制度台账（编号、归口、生效、废止、替代关系） | 版本状态登记与版本辨析题判定 | 甲方制度管理部门 | 表 20 版本状态、表 21 版本辨析 | | 3 | 近两年制度咨询问题与答复记录 | 制度场景基准分册题面来源 | 甲方相关业务部门 | 表 21 全项 | | 4 | 归口部门历史确认的制度问题记录 | 逻辑校验的回放题来源 | 甲方制度管理部门 | 表 22 回放一项 | | 5 | 组织机构主数据 | 适用范围映射的比对基准 | 甲方主数据来源 | 表 20 适用范围映射 | | 6 | 技术标准台账（标准号、现行有效状态、替代关系） | 版本更迭与现行状态的比对基准 | 甲方标准化管理部门 | 表 27 版本更迭、表 28 历史版本 | | 7 | 已被替代标准的历史版本电子件 | 历史版本问答题构造 | 甲方标准化管理部门 | 表 28 历史版本三项 | | 8 | 内部工艺规范、设计准则、作业指导书 | 条文规范知识中最缺的两类 | 甲方各部门与受控共享目录 | 表 27 内部工艺规范一项 | | 9 | 设计选型合规性校验的典型案例 | 标准应用知识中的合规案例 | 甲方；或行业可获取资料 | 表 27 合规案例 | | 10 | 外部标准的授权导入范围 | 验证可使用的标准电子件范围 | 甲方与授权方 | 表 27 国标行标两项 | | 11 | 历史投标文件不少于 30 份、覆盖 5 类项目 | 标书场景投标文本知识与审标回放 | 甲方投标管理部门 | 表 34、表 37 | | 12 | 真实招标文件不少于 15 份 | 标书解析的人工拆解基准 | 甲方；或公开渠道同类文件 | 表 35 全项 | | 13 | 投标文件模板库 | 模板覆盖与结构标注验证 | 甲方投标管理部门 | 表 34 模板库三项 | | 14 | 资质与业绩材料扫描件及台账 | 商务知识件级验证 | 甲方相关部门 | 表 34 商务知识四项 | | 15 | 历史投标内部评审意见 | 审标回放题来源 | 甲方投标管理部门 | 表 37 回放一项 | | 16 | 投标风险等级划分口径 | 风险标注的等级一致性基准 | 甲方确认 | 表 35 风险等级一致率 | | 17 | 产品参数与技术方案素材 | 技术标生成的数据就绪度核验 | 甲方技术部门 | 表 36 技术标一项 | | 18 | 决策指标体系与各指标计算逻辑 | 决策数据场景全部验证的基准 | 数据治理规划产出，甲方业务与财务部门确认 | 表 41 至表 45 全部 | | 19 | 指标口径的历史版本与生效日期 | 口径版本验证与口径变更题 | 甲方相关部门 | 表 41 历史口径、表 43 口径变更辨识 | | 20 | 月度／季度／年度经营分析报告与专题报告 | 对账基线与分析报告知识 | 甲方 | 表 41 分析报告两项、表 42 三路复算 | | 21 | 离线台账 | 对账基线补充 | 甲方 | 表 42 对账门 | | 22 | 维度主数据（组织、项目、产品、时间） | 维度解析的比对基准 | 甲方主数据来源 | 表 41 维度主数据、表 42 维度解析 | | 23 | 历史已归因波动事件及其链条 | 异动归因回放题基准 | 甲方 | 表 43 历史归因回放 | | 24 | 企业专有术语与简称清单 | 业务概念知识验证基准 | 甲方 | 表 41 业务概念两项 | | 25 | 历年各类业务合同文本（经脱敏） | 合同三集样本与基准题依据 | 甲方审计法务部门 | 表 48 至表 51 | | 26 | 合同附件与补充协议归档关系 | 文档组关联验证 | 甲方法务与档案部门 | 表 48 文档组三项 | | 27 | 标准合同示范文本与模板库 | 模板比对的基线 | 甲方法务 | 表 49 模板比对两项 | | 28 | 近三年法务审查意见 | 风险提示应提清单与回放题来源 | 甲方法务 | 表 51 风险提示三项 | | 29 | 合同管理制度与销售合同管理制度 | 制度合规审查的依据库 | 甲方制度管理部门 | 表 48 制度两项、表 51 制度合规 | | 30 | 用章、审批、备案、归档流程材料 | C 类审查单元的检查对象 | 甲方相关部门 | 表 50 中 C-01 至 C-07 | | 31 | 预算科目与可用额度数据 | F-05 单元的比对基准 | 甲方财务 | 表 50 中 F-05 | | 32 | 行业典型案例库 | 合规风控知识中的案例条目 | 甲方已有或行业可提供 | 表 48 案例一项 | | 33 | 风险等级划分与责任风险判定尺度 | 风险分级一致性基准 | 甲方法务确认 | 表 51 风险分级 | | 34 | 人工对照组安排（制度、标准、标书、决策、合同五场景） | 效率类指标的人工基线 | 甲方安排在岗人员 | 表 23、表 52 效率各项 | | 35 | 分级权限测试账号（三档，五场景各一组） | 权限门与越权放行测定 | 场景建设方配置 | 各场景权限门一项 | | 36 | 五个场景助手的接口说明与版本标识 | 任务层与链路层验证接入 | 场景建设方 | 表 3 接入条件全部 | | 37 | 验证窗口安排（每场景连续不少于五个工作日） | 验证执行的稳定服务窗口 | 场景建设方与甲方协调 | 表 3 验证窗口一项 | 表 60 中第 18 项是五个场景唯一的硬前置：决策数据场景的全部验证题目以指标体系为基准，该项未到位时本场景只能按已确认的指标子集分批验证。其余各项不具备时，按各场景末尾的降级路径执行，并在验证报告中标注受限范围与受限对结论的影响。