负责人 何建力　·　状态 初稿　·　覆盖 74 个标书单元　·　 批注 6

数据集场景验证服务要求（3.2.6.5）

数据集场景验证服务分专业场景与通用场景两部分。本项目不负责智能场景的建设，只负责场景验证服务：验证的对象是数据集对场景任务的支撑能力，场景应用本身的建设由场景建设方承担。专业场景验证服务（3.2.6.5.1）的方案见本章相应节次，本节为通用场景验证服务（3.2.6.5.2）。

1、通用场景验证服务（3.2.6.5.2）

通用场景共五个，按原顺序为管理制度智能问答、技术标准智能问答、标书智能问答、决策数据智能问答与合同合规智能审查。五个场景的场景介绍与验证要求逐场景对应，验证方法、判分规则、归因机制与降级路径五场景共用，各场景只在题目构成、工具调用对象与指标取值上有差别。

1.1 验证服务的内容、边界与总体设计

1.1.1 本项目在场景上的责任边界

招标文件写明：本项目不负责智能场景的建设，只负责场景验证服务。这一句是本节全部内容的起点，也是我方在五个通用场景上可执行范围的边界。

我方在五个通用场景上交付四件事。一是按场景任务构建可重复使用的验证基准集，题面、标准答案、证据定位与评分要点齐备，经甲方业务专家终审后冻结。二是固化验证协议，把题型、能力维度、判分规则、随机种子、基准集版本、人工复核规则与指标口径写定，使同一结论可被第三方按同一协议复算。三是执行验证并出具带证据的结论，逐项给出通过、有条件通过或不通过的判据，附样本级结果。四是对错样做归因，把问题定位到具体的数据子集、知识条目或标注批次，形成整改任务单，修复后复测并留闭环记录。

五个助手本身的功能开发、界面实现、权限配置、上线部署与日常运维，由场景建设方承担。我方不交付这五个助手，也不对助手的界面形态与交互设计提出约束性要求。我方关心的是助手背后所消费的数据与知识是否足以支撑招标文件列出的各项能力，以及这个判断是否有可复算的证据。

把验证放在本包而不是放在场景建设方，有一个实际理由。五个通用场景的能力上限取决于三件事：知识库条款级切分与元数据的完整度、检索证据与问题的匹配质量、问答样本对真实提问类型的覆盖。三者都属本包的数据加工交付物。验证责任与数据责任同属一方，错题就能追到源头的样本与切分批次；若由场景建设方自验，归因往往止于「检索未召回」这一层，再往下就跨了责任边界，查不下去。

1.1.2 验证的对象是智能体背后的数据供给

招标文件对五个场景的措辞是「建设一套……智能问答助手」「打造……智能助手」。这些助手不是一次性的问答接口，而是按链路执行的智能体：它先理解问题并补齐条件，再按权限与版本过滤可用范围，然后检索证据、组装证据包，必要时调用计算引擎或规则引擎得出确定性结果，校验引用真实存在之后才生成答复，证据不足时拒答或转人工，整个过程留痕并可回溯。招标文件在项目总体目标中也把「提升垂域模型和智能体性能」作为数据集的价值落点，在多协议模型评测引擎工具链的要求中明确评测须覆盖工具调用一类任务场景，在指令数据生成工具链的要求中把工具调用列为须覆盖的任务类型。

这件事决定了验证的组织方式。一个助手答错了，可能错在六七个不同的地方：问法没见过、权限过滤把正确证据滤掉了、检索没召回、召回了但重排把它压下去了、证据被切断了半句、计算引擎的参数填错了、或者模型拿到了正确证据却没有采用。这些失败在用户那里的表现是同一个——答案不对。但它们对应的修复入口完全不同，分别落在指令样本、元数据抽取、文档切分、索引构建、标注与偏好数据六个不同的数据环节上。

因此本节不把验证做成「问一批题、算一个准确率」。本节把五个助手的共用执行链路拆成九个节点，在每个节点上设独立的观测量与判据，使每一次失败都能落到唯一的节点上，再由该节点指向唯一的数据修复入口。这是本节方法上的核心取向，也是我方认为场景验证服务真正该交付的东西：不是一张成绩单，而是一张可以照着修的归因图。

1.1.3 四层验证与各层的职责

按上述取向，验证分四层组织。各层有独立的观测量、判据与归因入口，层与层之间是解释关系而不是重复关系。

数据层验证四类用途子集在该场景任务上的供给是否成立：预训练子集是否覆盖了该场景的语料面，指令微调子集是否覆盖了该场景的真实提问类型，偏好数据是否覆盖了该场景的答案优劣判别，基准评测子集是否给出了可重复的考题。这一层对应招标文件 3.2.6.3.9 数据集验证的五项实验。

知识层验证知识库、知识图谱与检索索引的质量：条款级知识单元是否切得准、元数据是否抽得全、引用关系是否连得上、索引是否检得到、表格与公式是否还原到可取值的程度。这一层是通用场景与专业场景差别最大的地方——通用场景的能力几乎整个架在文档结构化质量之上。

链路层验证智能体执行链路上每个节点的行为是否正确：条件补齐、权限与版本检查节点、检索召回、重排与证据组装、工具调用、引用校验、受控生成、拒答与转人工、留痕与血缘。其中检查节点指设置在流程中的检查环节，依据既定规则判断是否符合进入后续工序或交付的条件，不符合的不放行至下一节点。这一层给出的是归因位置。

任务层验证端到端表现：给定真实提问，助手能否给出正确且有出处的回答，相对人工作业缩短多少，重复提问下结论是否稳定。这一层给出的是业务可用性结论。

四层的关系是：任务层给结论，链路层说明错在哪一步，知识层说明这一步为什么错，数据层给出修复入口。验证报告须四层俱全；仅报任务层指标不视为本项目的验证交付。

1.1.4 智能体链路与九个验证观测点

五个场景的业务对象不同，执行链路的骨架相同。图 1 给出这条共用链路、九个观测点的位置，以及每个观测点失败时的数据归因入口。各场景在此骨架上的差异只在两处：第五个节点调用的工具不同，第三个节点的检索对象不同。

图 1　五个场景的共用智能体链路与九个验证观测点

图 1　五个场景的共用智能体链路与九个验证观测点。数据来源：招标文件 3.2.6.5.2 五个场景的验证要求，3.2.3.10.1 多协议模型评测引擎工具链对工具调用评测的要求，3.2.6.3.4 知识化环节对条款级切分与元数据抽取的要求。 表 1　九个观测点的验证内容、失败形态与归因入口

表 1 最后一列的取法如下。②⑥⑨三个节点由确定性组件承担，不经模型判断。把它们定为确定性节点不是实现偏好，而是验证口径的需要：版本状态、密级、适用范围、原文坐标都是确定性字段，字段对则放行、字段错则拦截，其表现与模型版本无关。这样安排之后，这三项的失败可以直接判定为数据缺陷，不需要先排除模型因素；而它们恰恰是五个场景中后果最重的三类错误——答出一条已废止的条款、放行一条越权内容、给出一个查不到出处的引用编号。

1.1.5 与关联章节的边界

五个通用场景在技术形态上都属于检索增强的大模型应用，与训练推理服务、专项智能工具链、数据加工生产、数据治理四处存在接口。为避免重复论述与口径分歧，边界按表 2 划定；凡引用的上游成果，其功能验收口径按相应章节规定执行，不另立标准。

表 2　通用场景验证与关联章节的边界划分

1.1.6 通用场景与专业场景的两点差别

把五个通用场景与六个专业场景放在一起看，差别有两处，都影响验证的组织方式。

第一处是输入形态。通用场景的输入是文档与指标：管理制度与合同文档由协同办公系统提供，招标文件明确为 11 类管理制度（PDF）与 9 类合同文档（PDF、Word）；技术标准与设计手册存放于企业产品生命周期管理系统与受控共享目录；招投标资料来自历史投标档案；经营指标来自经营分析报送与企业资源计划等系统。这些数据已在系统内留存，取数依赖的是接口授权与档案整理，而不是现场布点。六个专业场景的输入含设备时序与图纸影像，受设备联网范围与采集点位制约。这意味着通用场景的验证前置条件更容易齐备，但对文档解析质量的依赖远高于专业场景——专业场景的一条传感器记录只要采到就是对的，而一份扫描版制度文件解析错了半个表格，后面整条链路都建在错的基础上。

第二处是排期含义。因为不依赖新增采集，五个通用场景的验证可以在设备侧扩点之前启动，适合作为本项目首批交付的验证成果：先用通用场景把验证协议、判分流程、人工复核组织与归因回流链路跑通，再把同一套方法用到专业场景上。方法先在文档类场景上收敛，风险比直接在设备类场景上试错要低，因为文档类场景的错样可以逐条回到原文核对，判定没有歧义。我方据此把通用场景验证排在整体验证计划的前段，排期见 1.8 节。

1.1.7 验证接入条件

验证执行需要场景建设方开放可调用的通道。接入条件在项目启动阶段以接口约定的形式确认，内容见表 3。接入条件不具备时，该场景的验证按本节各场景末尾的降级口径执行，并在验证报告中标注受限范围与受限对结论的影响。这一条先写明，是因为通用场景的任务层验证必须经由助手才能做，而助手不在本包范围内；把缺条件时的做法事先定下来，比到时候再议对双方都省事。

表 3　五个通用场景的验证接入条件与缺失时的降级口径

1.1.8 场景侧验收口径与我方验证目标值的关系

甲方各业务部门在筹划这五个助手时，已对每个场景提出过明确的量化口径。这些口径分两类：一类落在文档解析、条款切分、标注质量与样本覆盖上，其达成取决于本包的数据加工交付；另一类落在响应时延，并发容量、越权拦截与界面统计上，其达成取决于场景建设方的工程实现。两类口径的责任主体不同，混在一起承诺对双方都不利。

我方的做法是：把第一类作为本节验证指标的目标值来源，逐项给出观测量、测定方法与下限值，并承担不达目标时的归因与整改；把第二类在验证中一并测量并记入报告，作为场景整体可用性的观测记录，但不列为我方承诺指标。表 4 按这个分法把五个场景的主要口径归位。场景侧口径中带量值的四项，连同 1.2.6 自设的模型裁判校准一致率，门限与测法集中列于表 11A 与表 11B。

表 4　场景侧验收口径的责任归位

这张表还有一个用处。五个场景的验收最终要回答一个问题：没达到的那一项，是数据不够还是系统没做好。表 4 把这个问题在验证开始之前就分好了，验证执行时每一项失败都已经知道该往哪一侧归。这比事后争论要省力得多，也是我方把验证与数据加工放在同一包内交付的直接好处。

1.1.9 验证服务在项目中的位置

图 2 给出通用场景验证在数据流向上的位置与各方责任边界。图中实线为数据流，虚线为结论与整改流。

图 2　通用场景验证服务的数据流向与责任边界

图 2　通用场景验证服务的数据流向与责任边界。数据来源：招标文件 3.2.6.5 划定的服务范围，3.2.2.2 对甲方提供文档类数据的说明，3.2.6.3.4 知识化环节与 3.2.6.3.9 数据集验证的接口关系。

1.2 通用场景验证的共用方法

本部分给出五个场景共用的验证方法，并落实 3.2.6.3.9 数据集验证对实验设计、错样归因与验证报告的要求。五个场景只在题目构成、工具调用对象与指标取值上有差别，流程、判分、归因与降级机制一致。方法统一之后，五个场景的结论可以横向比较，验收口径不致因场景而异。

1.2.1 五阶段验证流程

验证按基准构建、协议冻结、执行评测、错样归因、整改复测五个阶段推进，每个阶段有明确的输入、输出与把关人。流程如图 3。

图 3　通用场景验证的五阶段流程与把关点

图 3　通用场景验证的五阶段流程与把关点。数据来源：招标文件 3.2.6.3.9 对验证闭环与报告的要求，3.2.3.10.1 对评测协议可重复执行的要求，3.2.6.3.6 对基准评测子集不得使用合成数据的要求。

阶段一基准构建。题目来自真实业务，不来自编造。管理制度与技术标准场景的题目取自甲方各部门的实际咨询记录与业务专家出题；标书场景的题目取自历史招标文件与历史内部评审意见；决策数据场景的题目取自经营分析报告中实际被问过的指标与口径；合同场景的题目取自历史法务审查意见。每道题附标准答案、答案所依据的条款或指标定位、评分要点、题型标签与难度标签。基准评测子集不得使用任何形式的合成数据，通用场景的验证题目同守此规，按四条规则执行：题面与标准答案均取自真实业务记录，或由业务专家依据真实业务出题；分册经专家终审后独立冻结，冻结版本不参与训练数据的构建；任何由模型或模板生成的题目不得进入基准评测子集，含题面改写集在内的生成题只用于一致性观察，不计入主指标；每道题登记来源文件标识、来源类型、提供部门、取用日期与冻结版本号，并保留与训练样本的双向查重记录作为隔离证据。合成题的问法分布受生成模型自身偏好支配，与真实提问分布不一致，据以测得的指标不反映助手在真实业务问法上的表现；来源登记与隔离证据使这一约束可被逐题核查。登记字段见 1.2.16。

阶段二协议冻结。把题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则与指标口径写入评测协议并冻结，冻结后不得在本轮验证中修改。协议由多协议模型评测引擎工具链承载并版本化。冻结是可重复性的前提：同一协议、同一基准集版本、同一模型与知识库版本下重跑，机器判分部分的结果应当一致；不一致即视为执行环境异常，须先排除环境因素再继续。

阶段三执行评测。按题目批次通过统一网关提交，记录答案、引用的知识单元、检索命中列表、工具调用参数与结果、单次耗时。四层验证在同一批题上并行取数：任务层取答案与要点命中，链路层取检索命中列表、重排位次、工具调用记录与引用校验结果，知识层取被引知识单元的切分与元数据状态，数据层取该题所属考点在四类子集中的供给记录。机器判分先行，人工复核按分层抽样覆盖；机器判分与人工复核不一致的样本一律转人工仲裁，并计入判分策略的校准数据。同题重测用于观察稳定性：每道题在同一版本下重复提交三次，答案要点不一致的记为不稳定样本。

阶段四错样归因。失败样本先按图 1 的九个观测点定位，再按错因归类，归类维度见表 5。每一类对应唯一的修复入口。归因结论写成整改任务单，含问题类型、关联样本、影响范围、修订建议、责任组、优先级与整改期限，由数据贡献度归因与错题溯源工具链承载。

表 5　错因归类、判定依据与修复入口

表 5 最后一行单列：它不是被测对象的问题，而是题目本身的问题。首轮验证中这一类通常占失败样本的一到两成；复核员之间判定不一致的题目，其结果不构成对助手能力的观测。这类题退回出题环节修订，修订记录随基准集版本留存。

阶段五整改复测。修复后以同一协议重跑，重跑范围为该错因类别涉及的全部题目，而不只是失败的那几道。只复测失败样本时，「修个案不修类别」的整改同样能通过复测；而同一类切分缺陷通常影响一批条款，只修被测到的那一条，其余条款的缺陷仍在。复测结果与首轮结果并列呈现，形成闭环记录。复测完成后，本轮的协议、分册、样本级结果、归因与整改记录按 1.2.19 一并封存。

1.2.2 链路层验证的执行方式

链路层是本节方法上的新增一层，执行方式需单独交代。链路层不另出题，与任务层共用同一批题，差别在于取数的粒度：任务层只看最终答案对不对，链路层把这道题在九个节点上的中间产物逐一取下来判。

取数依赖场景建设方按表 3 开放返回内容。返回齐备时，九个观测点中有七个可自动判定：检索命中列表给③，重排位次与证据包给④，工具调用记录给⑤，引用校验结果给⑥，拒答标志给⑧，日志字段给⑨，反问记录给①的一半。只有④中的证据断句与⑦的证据未采用需要人工复核介入——前者要把证据片段与原文条款边界比对，后者要判断遗漏的要点是否确实在证据里。

返回不齐备时，链路层按降级口径执行：对分册抽样不低于 30% 的题目做人工链路复盘，即由复核人员按同一问题在知识库中手工检索，判断正确证据是否可被检索到、是否完整、是否足以支撑标准答案的全部要点。这个做法测不出助手的检索实现好坏，但测得出数据侧的供给是否成立——而后者正是本包要负责的部分。报告中对两种口径分别标注，不混算。

链路层的判据按表 6 给出。表中阈值为首轮验证的下限值，目标值随版本迭代抬高，取值在每轮验证前书面约定。

表 6　链路层九个观测点的观测量与首轮下限值

1.2.3 工具调用正确性的判分

五个场景中有三个的核心能力落在工具调用上：决策数据场景的指标取数与确定性计算，合同场景的规则检查与跨文件比对，标书场景的审标规则与评分测算。招标文件在多协议模型评测引擎工具链中要求评测覆盖工具调用类任务场景，在指令数据生成工具链中要求指令样本覆盖工具调用任务类型。工具调用的判分与问答判分不同，须单独立规则。

工具调用的一次执行分四段，每段独立判定。第一段是工具选择：该问题是否该调工具、该调哪一个。第二段是参数构造：指标编码、时间范围、组织维度、比对对象、阈值是否填对。第三段是执行与结果：工具返回值是否可被独立复算。第四段是结果采用：答案里的数字是否就是工具返回的那一个，有没有被模型复述时改动。

四段分别判定的理由是它们的失败各自对应不同的修复入口。工具选择错，修复入口在指令样本的任务类型覆盖；参数构造错，修复入口在指标知识库或规则库的口径登记；执行结果错，修复入口在工具本身或其依赖的知识库条目；结果采用错，修复入口在偏好数据与生成约束。合成一个「工具调用准确率」会把四类问题混在一起，归因时还得再拆一遍。

表 7　工具调用四段判分规则

对决策数据与合同两个场景，第三段采用三路独立复算：一路由工具按登记公式执行，一路由验证侧独立实现同一公式复算，一路回到正式报表或原始条款核对。三路一致才判该题通过；两路一致时先自动重查口径与数据时点，仍不一致的只把差异项转人工裁定，不自行择一。这个做法比单路比对费工，但它是本场景唯一能把「数字对不对」与「口径对不对」分开看的办法——两路都按错口径算出同一个数的情形是存在的，三路里有一路回原始凭证就能把它挡住。

1.2.4 验证基准集的构成与规模

五个通用场景的验证题目在基准评测子集 0.95 万条的总量口径内按场景分册计列，不额外扩张基准子集总量。分册规模按场景的验证要求条数、业务提问多样性与链路层观测需要确定，见表 8。表中现场抽样题是不进入基准子集、仅用于人工现场演示与抽查的题目，单独编号管理，用完即归档，不参与指标统计以免污染基准。

表 8　五个通用场景的验证基准集分册规模与题型构成

注：合计 2,400 条在基准评测数据集 0.95 万条口径内列计，其中供需计划域承载标书与合同两个场景共 800 条，其余在跨域通用分册与相应业务域分册内列计。专业场景验证题目另行分册。专设题占比为分册内的比例，不额外加题；其中版本失效题、权限越界题与工具失败题按 1.2.18 的四类专项测试构造，与无依据题合并构成边界条件测试，独立编号、独立统计。各场景的题型按其业务判别要点分设，差异见各场景的题型与评分式表。

基准集有四条纪律。四条中任一放松，分册所测得的指标即不具备可信度。

第一条是与训练集隔离。凡进入基准分册的题面及其证据原文，不得出现在指令微调子集与偏好数据中。入册前以数据去重与相似度过滤工具链做双向查重，相似度超过阈值的题目退回重出。隔离按来源与时间双重切分：来源上不共用同一段原文，时间上基准题所依据的文件版本与训练样本所依据的版本分期取用。

第二条是专家终审。每道题的标准答案与评分要点须经甲方相应业务部门专家确认，未经终审的题目不计入正式验证。终审留记录，记录内容包括确认人所属部门、确认日期与修订意见；个人姓名不进入对外交付的验证档案，只记部门与岗位。

第三条是题面改写集。每个分册另备 15% 的改写题，同一考点换一种问法，用于观察助手是否对特定问法过拟合。改写题与原题的得分差超过 10 个百分点时，该考点的结论标注为待复核，并在报告中单列。改写由文本重写与多样化工具链生成后经人工筛选，生成的改写题只用于观察一致性，不计入主指标。

第四条是难度分层。每道题标注难度标签，分简单、中等、困难三档：简单题为单条款单证据，中等题为跨条款或需条件判断，困难题为跨文件、跨版本或需工具调用链。三档按约定比例构成分册，报告中按档位分别给出指标。只报总体准确率会掩盖一件事——困难题的占比稍一变动，总体数字就跟着动，而验收时看到的那个数字究竟对应什么难度构成，事后无从追查。

1.2.5 指标体系

五个场景的指标分五组。知识组衡量知识层，链路组衡量链路层，任务组衡量端到端答案质量，效率组衡量相对人工作业的改善，稳定与合规组衡量可用性底线。各组指标的定义与测定方法见表 9。

表 9　通用场景验证指标的定义与测定方法

效率指标的人工基线必须实测，不引用行业经验值。做法是在验证前组织人工对照：同一批题目交由甲方相应岗位人员在现行工作方式下作答并计时，取中位数作为基线。对照组人员的岗龄与熟练度分布记入报告，避免用新手基线夸大改善幅度；对照组不少于三人，取中位数而非均值，以免个别极值主导结果。人工基线实测前，效率类指标在报告中留空而不填预估值。此项为硬性规定：未实测的基线无法支撑相对改善幅度的复算，由其导出的效率数值不具备验收依据。

1.2.6 判分策略与人工复核

招标文件要求多种判分策略融合，支持精确匹配、语义相似度、规则约束与模型裁判等方式。本节的判分按题型分配策略，不搞一刀切。

有唯一答案的题用精确匹配，包括条款编号、标准号、参数限值、表格单元格取值、指标数值。这类题占五个分册的四成左右，判分无歧义，可整批自动执行。

有标准要点的题用要点规则匹配加语义相似度，包括条文解读、风险识别、合规判定。这类题的判分把标准答案拆成若干要点，逐要点判命中，按要点权重加总；语义相似度只用于判断表述不同但意思相同的情形，阈值在协议中写定。

开放度较高的题用模型裁判初判加人工复核，包括修改建议、分析结论、生成内容质量。模型裁判的采信有前置条件：在每个分册上先取 100 道题做裁判校准，模型裁判结论与人工仲裁结论的一致率达到 0.85 以上，该分册方可采用模型裁判初判；低于 0.85 时该分册转人工判分，并把评分细则退回修订。这一条写入协议：未经校准的模型裁判不得用于正式判分。校准数据随协议留存，复算时可重跑。

人工复核采用双人独立判分加第三方仲裁。两人判分不一致的样本转仲裁，仲裁结论为准。复核组内一致性以 Kappa 系数衡量，低于 0.75 时暂停该分册复核、重新对齐评分细则后再启动，已判样本重判。复核人员须来自甲方相应业务领域或经业务专家培训并通过试判，试判题不少于 30 道，试判结果与标准答案的一致率低于 0.80 的不进入正式复核。

表 10　判分策略与人工复核投入的对应

1.2.7 通过判据与回退机制

每个场景的每一项验证要求都有三级判据：通过、有条件通过、不通过。三级的处置不同，见表 11。设置有条件通过一档，是因为通用场景的能力受知识库完备度影响很大，首轮验证中常见的情形是方向正确但覆盖不足——条款切分规则对九成文件有效、对附表形式的那一成失效。这类情形直接判不通过会掩盖已经成立的部分，直接判通过又会把缺口带到下一阶段。

表 11　三级判据及其处置

三项例外不设有条件通过一档，直接按通过或不通过判定：权限门的越权放行、引用不实，以及以已废止内容作为执行依据。三者的后果都不随比例递减。放行了一条越权内容，不因为只放行了一条而可以接受；给出一个查不到出处的条款编号，使用者据以办事的后果与给出十个相同；以一条已废止条款作为执行依据，其后果同样落在据以办事的那一次。三项出现即判不通过，整改后重测。有条件通过项的登记内容与转归路径见 1.2.20。

目标值与下限值按场景分别给出，见各场景末尾的指标表。取值原则有三条。首轮验证的目标值按已具备的数据条件设定，随数据集版本迭代逐版抬高，每一版的取值在验证前书面约定并经甲方确认。各版的取值与达成情况在验证报告中并列记录，使指标的走势可见而不只是看最后一版。我方不在投标阶段承诺某项指标在首轮即达到上限，也不以绝对化的表述描述验证结果；凡招标文件要求覆盖的维度，我方以逐版抬高覆盖率的方式趋向完整，每一版的缺口在报告中明列。

回退机制按三档设置。第一档是指标回退：某项能力在当期数据条件下达不到目标值时，该项按下限值继续运行并在报告中标明当前档位，其余各项不受影响。第二档是范围回退：某类对象（如扫描质量过低的历史制度、缺失附件的历史合同）在当期无法支撑验证结论时，将该类对象从本轮验证范围中单列，报告中注明未覆盖范围与原因，下一轮补做。第三档是方法回退：场景侧接入条件不具备时按表 3 的降级口径执行，只出数据层、知识层与链路层结论，任务层待条件具备后补测。三档回退都要求在报告中显式标注，不以静默缩小范围的方式达成指标。 本节各项指标的取值分两类来源。招标文件与甲方场景需求已给定量值的，承诺值取给定量值本身，口径不改写、量值不下调；给定量值之外的由我方设立，设立依据随该项一并列出。设计值严于承诺值，是作业编排与资源配置所依据的内部目标，不作为验收判据。需要单独落地测法的五项数值门限集中列于表 11A，其测定方法、频次、计算公式与不达标处置列于表 11B，逐项的判定细则在所属节次内随该项展开。表 11A 的承诺值取甲方在场景需求中提出的量化口径或我方设立值，设计值为我方内部目标；表 11B 的测定方法、公式、频次与处置路径为我方承诺的验证口径。

表 11A　五项数值门限的量值来源、承诺值与设计值

表 11B 的四列分别回答验收时的四个问题：用什么样本怎么测、按什么公式算且什么算一致、多久测一次、没达到时怎么办。四列齐备，一项门限才具备可验收性；只给数值而不给这四列，双方对同一组运行数据会算出不同结论。

表 11B　五项数值门限的测定方法、计算公式、频次与不达标处置

1.2.8 防失真措施

验证容易在四处失真，各设一道措施。四处失真都不在指标报表上留下痕迹，须以流程规定在执行阶段挡住。

第一处是泄题。基准集与训练数据的双向查重已在 1.2.4 述及。除此之外，基准分册在验证窗口外不对场景建设方开放；验证结束后题面不回流至训练环节；需要用于训练的题目另行出题，与基准分册不共用来源文件的同一段落。每轮验证前对分册做一次泄露检查：抽取 50 道题，检查其题面与证据原文是否出现在当期训练样本中，发现即替换该题并扩大检查范围。

第二处是过拟合于问法。除题面改写集外，验证中混入无依据题与干扰题。无依据题问的是知识库确实没有依据的事项，考察助手是否会编造；干扰题在题面中掺入与本题无关但表述相近的条款名称或指标别名，考察检索是否被表面相似性带偏。两类题的占比在表 8 中按分册给出，题目来源与正常题分开管理。

第三处是口径漂移。同一指标在不同轮次的测法必须一致，测法变更须作为协议变更单独记录并说明影响，变更前后的数据在报告中分列而不合并。涉及人工判分的指标，每轮复核前以 20 道标杆题做校准，校准结果不一致时先对齐再开工。标杆题跨轮固定，不随分册更新而更换，这样复核尺度的漂移才能被观测到。

第四处是样本选择。分层抽样的分层依据与抽样比例在协议中写定，执行时按固定随机种子抽取，抽样清单随报告留存。不允许在看过结果之后调整抽样范围。复核工作量紧张时按易判程度调整抽样顺序，会系统性地抬高指标，故抽样顺序一并由固定种子确定，不在执行中改动。

1.2.9 验证环境与数据安全

验证在甲方内网环境执行。制度、合同、标书与经营指标均属企业秘密数据，不出内网。涉及模型调用时经统一网关提交并记录调用范围与数据出域情况；凡含敏感字段的题面与证据，先经去标识化处理再提交，出域内容以去标识化后的文本为限。个人信息字段在入库阶段即完成去标识化，验证过程不解密。

验证账号按分级权限配置，至少设普通岗位、部门管理、公司管理三档。越权放行一项以三档账号分别跑同一分册测定：同一题在低权限账号下应当返回权限不足，或仅返回其可见范围内的内容。这一项不达判据即判不通过，不设有条件通过。

五个场景中有三类对象需要额外的处理口径，单独写明。技术标准中的外部标准文本涉及版权，验证只使用经授权导入的电子件，题面引用以条款编号与必要片段为限，不在验证档案中附标准全文。历史投标文件与合同含客户信息与报价，题面与证据一律用去标识化后的版本，客户名称替换为代号并保留映射表于内网，映射表不随验证档案交付。经营指标数据按分级脱敏后使用，关键利润与成本指标的具体数值在对外交付的验证报告中以区间或相对值表示。

全过程留审计日志，记录提交时间、账号、题目批次、返回的知识单元与工具调用参数。日志保留至项目验收后不少于 12 个月，并按甲方要求的留存期限延长。

1.2.10 数据层验证：四类用途子集与四个模型版本

数据层对应招标文件 3.2.6.3.9 数据集验证的五项实验，五项实验在五个通用场景上的落法如下。

四类用途子集的规模口径是：预训练子集 615 亿 Token、指令微调子集 89 万条、人类偏好对齐子集 6.6 万组、基准评测子集 0.95 万条。五个通用场景消费的是其中与制度、标准、招投标、合同、指标相关的部分，分布在供需计划域与跨域通用语料中。数据层验证不重复整个数据集的验证工作，只回答一个问题：就这五个场景而言，四类子集的供给是否成立。

第一项实验是继续预训练。以领域知识探针测量知识注入的有效性。探针题由制度条款事实、标准参数限值、合同常规条款表述与指标定义构成，每类不少于 200 道，题型为填空与单项判断，考察的是知识是否被注入而非是否会调用检索。做法是在继续预训练前后分别用同一组探针测量，比较答对率变化；同时测量保留语料的困惑度变化，用于观察是否出现灾难性遗忘。探针题与基准分册不共用题面，避免同一批题既当训练效果证据又当场景验证证据。

第二项实验是指令微调。看四件事：提问类型覆盖，把五个场景的真实提问按类型归并，核对指令微调子集中是否有对应类型的样本，缺哪一类即为覆盖盲区；指令遵循，考察模型是否按要求的格式输出，包括给出条款编号、标注版本、列出引用来源，这一项直接影响任务层的引用正确率；长上下文理解，技术标准与招投标文件都是长文，题目构造为在长文中埋设目标条款并观察是否被正确引用；工具调用，考察模型是否按任务类型正确选择工具并构造参数，这一项对应链路层⑤。

第三项实验是偏好对齐。针对本场景的三组偏好：带引用的回答优于不带引用的回答，无证据时拒答优于编造，口径不唯一时反问优于择一作答。做法是从偏好子集中抽取与五个场景相关的偏好对，训练奖励模型后在留出集上测偏好判别准确率；再以对齐后的模型跑无依据题与口径歧义题，观察正确拒答率与反问率是否提升。这一条把 2.8 的防编造措施与数据供给连了起来——拒答能力依赖偏好数据训练得来，不以提示约束代替。

第四项实验是基准评测。在固化的评测协议下对四个模型版本执行标准化评测：基座模型、继续预训练模型、微调模型、对齐模型。五个场景的能力维度各自取定后，输出各版本的能力增量与能力雷达图。这一项是把数据集价值量化出来的唯一途径——数据集好不好，最终体现为「用了它之后模型在这五个场景上强了多少」，而不是数据集自身的任何静态指标。四个版本的对照安排见表 12。

第五项实验是场景任务检验，即 1.3 至 1.7 节逐场景展开的内容，输出各场景的可用性结论；不达预期的定位至相应数据子集并回流修复。

图 4　四类用途子集、四个模型版本与五个场景能力增量的对应

图 4　四类用途子集、四个模型版本与五个场景能力增量的对应。数据来源：招标文件 3.2.6.3.9 数据集验证五项实验，四类子集规模按 3.2.6.4 逐数据集规模表，3.2.3.10.1 多协议模型评测引擎工具链。

表 12　四个模型版本在五个场景上的评测安排与预期增量来源

表 13　四类用途子集在五个通用场景上的数据层验证方式

表 14　五个通用场景与各用途子集的供给对应

1.2.11 验证执行对专项智能工具链的调用

本节的验证执行不另建工具，调用招标文件要求交付的 9 类 25 个专项智能工具链。表 15 给出五个场景验证各环节对工具链的调用对应。验证执行的工程基础在本项目交付范围内，不依赖额外采购；归因时，一个数据缺陷按此对应关系回指到产生它的工具环节，不停在「数据有问题」一层。

表 15　验证执行对 25 个专项智能工具链的调用对应

表 15 中未列入的工具链（1、2 思维链构建类，7 结构化工单转对话，10 视频与文本对齐，11 传感器时序与运维事件对齐，17 工单与故障场景模拟生成，21 模板化数据生成）主要服务于专业场景的多模态与设备类数据，在通用场景的验证中不直接调用。其中第 21 项在合同与标书两个场景的样本构造上有间接作用，但不参与验证执行，故不列入本表。

1.2.12 评测协议的内容清单

评测协议是验证可复算的载体，也是冻结的对象。同一批题目在不同轮次得出不同分数，原因多数不在模型本身，而在抽样种子、判分尺度、知识库版本、接入条件这类未被登记的变量上；只要有一项未固定，两轮结果的差异就无从归因，指标也随之失去比较意义。表 16 把这些变量逐项列明，使一轮验证的执行条件可由第三方按同一口径重建。

条目的取舍有三处来由：《高质量数据集质量评测规范》对评测过程可追溯、结果可重现的要求；甲方对各场景准确率类指标须有明确统计范围与口径的要求；以及评测执行中反复出现的四类失真——题面泄露、判分漂移、版本混轮、基线缺失。

表的第三列是判据。标注「不可变更」的条目构成结论成立的前提，冻结后一经改动即视为新一轮验证，前后结果不合并计数；标注「每轮登记」的条目允许随轮次变化，但须逐轮记录，它们是解释两轮取值差异的证据来源。前两列是证据，说明每一条目登记到何种颗粒度方算完整，其中判分规则与指标口径两行最为吃紧，二者决定同一份作答能否得到同一个分数。

协议在每场景首轮验证启动前编制，经甲方业务专家确认后冻结，并作为交付物随验证报告提交。协议齐备是验证结论可被独立复算一次的前提；任一条目缺登记的，该轮相应结论按 1.2.19 标注为不可复算，限期补登记后重测。

表 16　评测协议的内容清单

1.2.13 人工复核作业规程

五个场景的多数指标含主观判定，复核质量决定结论可信度。复核按四步作业。

第一步是资格与试判。复核人员须来自甲方相应业务领域，或经业务专家培训并通过试判；试判题不少于 30 道，与标准答案一致率低于 0.80 的不进入正式复核。试判记录留存。

第二步是尺度校准。每轮复核开工前以 20 道标杆题校准，两名复核员独立判分后比对，不一致的先对齐评分细则再开工。标杆题跨轮固定。

第三步是双人独立判分。同一样本由两人独立判，判分过程中不交流、不看对方结果。两人一致的样本采信；不一致的转第三方仲裁，仲裁人不参与前两轮判分。

第四步是一致性监控与重判。组内一致性按 Kappa 系数逐批统计，低于 0.75 时暂停该分册复核，重新对齐评分细则后再启动，已判样本重判。统计结果随验证报告提交。

表 17　人工复核的工作量控制

1.2.14 难度分级、抽样与统计口径

统计口径须在协议中写定，否则同一批结果可以算出不同的数字。本节的口径规定如下。

难度分三档。简单题为单条款单证据，答案可由一条知识单元直接支撑。中等题为跨条款或需条件判断，答案须综合两条以上知识单元，或须先判断适用条件再取值。困难题为跨文件、跨版本或需工具调用链，答案须跨两份以上文件比对，或须先调用工具得出中间结果再组织答案。三档的构成比例在协议中写定，报告中按档位分别给出指标，同时给出按档位加权的综合值与权重取法。

抽样按分层随机。分层依据为题型与难度两维，各层按比例抽取，抽样比例按表 10 执行。抽样用固定随机种子，抽样清单随报告留存，不在看过结果后调整。

统计口径有四条规定。分母为实际提交并取得返回的题目数，超时与接口异常的题目单列统计，不计入分母也不丢弃。多轮题以轮为统计单位时须注明，不与单轮题混算。按要点加权的指标须给出要点权重表。区间估计按样本量给出置信区间，样本量不足 100 的层只报点值并注明样本量。

1.2.15 验证结论的表述规范

验证报告的结论表述有三条规范，目的是使报告在交付之后仍然读得准。

第一条是结论与口径同现。每一项结论须同时给出验证口径、样本范围、模型与知识库版本，以及未覆盖项。不带口径的结论不写入报告。

第二条是能力结论与承诺分开。验证报告给出的是「在本版本数据集与本版本模型下，该项能力的观测结果」，不是场景上线后的性能承诺。助手的输出在业务中的定位是辅助结论，最终判定归相应业务岗位；报告中对此逐场景写明，避免结论被当作上线承诺引用。

第三条是避免绝对化表述。本节不以绝对化的措辞描述任何验证结果，凡招标文件要求覆盖的维度，以逐版抬高覆盖率的方式趋向完整，每一版的缺口在报告中明列。涉及趋零的目标（如越权放行、引用不实）按「以零发生为目标」表述，并同时给出测定用例集、复测周期与出现时的阻断规则。

1.2.16 基准样本的字段、来源登记与隔离证据

每道基准题以一条样本记录登记，字段分标识、题面、答案与依据、来源与隔离四组。字段不齐的样本不进入冻结分册。

表 17A　基准样本的登记字段

来源与隔离两组字段是基准集可信度的凭证：来源字段使每道题可回到其业务出处核验，隔离字段使「基准题未参与训练」这一前提可被逐题复核，而不依赖口头确认。两组字段随分册一同冻结，验证结束后与结果一并封存。

五个场景在上述统一字段之外另有扩展字段，见表 17B。扩展字段决定各场景题型能否按其业务判别要点判分，缺字段的题目按该题型不可判处理。

表 17B　五个场景的样本扩展字段

1.2.17 评分公式与分值合成

判分结果按单题、能力项、分册三级合成。各级计算式写入评测协议并随结果封存，使任一级数值可由样本级结果复算。

单题得分。要点加权题的单题得分为各评分要点命中值的加权和：S ＝ Σ wₖ·hₖ，其中 wₖ 为第 k 个评分要点的权重且 Σ wₖ ＝ 1，hₖ 取 1（命中）、0.5（部分命中）或 0（未命中）。部分命中只在协议明确列出的要点上使用，其余要点二值判定。精确匹配题不设要点权重，S 取 1 或 0。

门控乘子。版本检查节点、权限门与引用校验门的判定以乘子形式作用于单题得分：S′ ＝ S × g版本 × g权限 × g引用，各乘子取 0 或 1。任一项不通过时该题得零分，并同时计入相应门控指标的发生数。门控失败不以扣分方式稀释：引用一条已废止条款或放行一条越权内容的后果，不随其余要点的命中数递减。

能力项得分。能力项得分为该项全部题目单题得分的均值。按难度分档时，先算各档均值再按协议写定的档位权重合成：A ＝ Σ p_d·A_d，Σ p_d ＝ 1。报告中同时给出各档均值与合成值，并给出权重取法。

分册综合分。分册综合分为各能力项得分的加权和：V ＝ Σ u_i·A_i，Σ u_i ＝ 1。权重 u_i 在协议中写定，按该能力项在本场景业务中的使用频次与失败后果确定。综合分只用于版本间比较，不替代逐项判据：某一能力项不达下限值时该项按不通过处置，不因综合分达标而豁免。

比率类指标。召回率、精确率、一致率、齐对率按「符合条件的题目数 ÷ 该指标统计范围内的题目数」计算，分母为实际提交并取得返回的题目数，超时与接口异常的题目单列统计。遗漏率与误报率按取反向登记，即遗漏率 ＝ 1 − 召回率、误报率 ＝ 1 − 精确率，报告中与对应的召回率、精确率并列呈现。

工具调用指标。工具调用正确率 ＝ 四段全对的题目数 ÷ 应调用工具的题目数；四段中任一段失败即该题计失败，同时记录失败发生在哪一段，用于分段统计与分段归因。三路复算一致率 ＝ 三路结果一致的题目数 ÷ 参与复算的题目数。

效率指标。相对人工缩短幅度 E ＝（T人工 − T助手）÷ T人工，T 取同一难度档内的中位数，按档位分别计算并分别呈现，不给合并值。人工基线未实测前该项留空。

稳定性指标。同题一致率 ＝ 三次重复提交中答案要点完全一致的题目数 ÷ 重复提交的题目数。

示例一。某跨制度咨询题的评分要点权重为 0.40、0.35、0.25，答案命中前两个要点、遗漏第三个，版本检查节点与引用校验门均通过：S ＝ 0.40×1 ＋ 0.35×1 ＋ 0.25×0 ＝ 0.75，S′ ＝ 0.75×1×1 ＝ 0.75。同一题若引用了一条实际不存在的条款编号，则 g引用 ＝ 0，S′ ＝ 0，并计入引用不实发生数。

示例二。某能力项含简单、中等、困难三档题目，档内均值分别为 0.95、0.88、0.76，协议写定的档位权重为 0.30、0.40、0.30：A ＝ 0.30×0.95 ＋ 0.40×0.88 ＋ 0.30×0.76 ＝ 0.865。若该项目标值为 0.90、下限值为 0.82，则该项按有条件通过处置，并按 1.2.20 登记限制与未结项。

上列两例为算式说明，取值为示例取值，不代表任何一轮的实测结果。

1.2.18 四类专项测试

除正常题外，每个分册设四类专项测试题，测定助手在边界条件下的行为。四类题独立编号、独立统计，不与正常题混算，结果在报告中单独成节与主指标并列呈现。

表 17C　四类专项测试的构造、判据与处置

工具失败一类在决策数据与合同两个场景份量最重，这两个场景的答案数值与判定结论直接来自工具返回值。注入在验证环境内执行，不在甲方生产系统上执行；注入方式、注入时点、影响范围与恢复方式在协议中写定，并随结果封存。

四类专项测试中，权限越界与版本失效两类按 1.2.7 与 1.2.20 不设有条件通过一档；无依据与工具失败两类按正常判据分级，其下限值在各场景指标表中给出。

1.2.19 版本绑定与结果封存

每一轮验证的结果只在其绑定的版本组合下成立。绑定项在验证执行前登记、执行期间不变更，并随结果一并封存。

表 17D　版本绑定项与封存形式

封存内容包括：评测协议、基准分册及其登记字段、样本级执行记录（答案、检索命中列表、证据包、工具调用参数与返回值、单次耗时）、机器判分与人工复核的逐题结果与仲裁记录、指标计算的中间量与最终值、六项绑定项的版本快照，以及本轮的归因结论与整改记录。封存件以只读形式保存在甲方内网，保存期限与审计日志一致。封存后的内容不再修改；复测结果另立版本，与原版本并列保存。

封存的作用是使任一结论可按同一协议、同一版本组合被独立复算一次。任一绑定项缺失登记时，该轮相应结论在报告中标注为不可复算，并限期补登记后重测。

1.2.20 有条件通过的限定与未结项管理

有条件通过是带限制的中间状态，不等同于最终验收通过。凡判为有条件通过的项，须在验证报告中同时给出四项内容：当期实测值与目标值的差距、该项在本版本下可被使用的范围与不可被使用的范围、未结项清单，以及未结项的整改责任组与期限。四项缺一，该项不得标注为有条件通过，按不通过处置。

有条件通过的结论与通过分列呈现，不合并计数，不以「基本通过」「总体达标」一类措辞概括。最终验收以逐项通过为准；仍处于有条件通过状态的项，在验收材料中列入未结项清单，并说明其对场景可用性的影响范围。

有条件通过有三处不适用：权限门的越权放行、引用不实，以及以已废止内容作为执行依据，三者出现即判不通过，整改后重测。

有条件通过项的转归有三条路径。复测达到目标值的转为通过，报告中记录两轮取值与整改内容。复测仍未达目标值但不低于下限值的，保持有条件通过并带入下一版本；连续两版保持该状态的，提请甲方与场景建设方共同评审，调整该项的验证口径或数据供给范围，评审结论记入验证报告。复测低于下限值的按不通过处置。

表 17E　有条件通过项的登记内容

1.2.21 交付物

五个场景共用一套交付物清单。清单不按工作顺序编排，而按一份验证结论成立所需的四类材料配齐：结论本身、支撑结论的证据、由结论派生的整改安排、整改后的闭环记录。证据类条目占清单过半，原因在于场景验证给出的是可用性判断而非合格判定，判断的分量取决于样本级记录能否被逐条翻查——只有一份报告而无执行记录与归因明细的结论，复算时无从核对，也支撑不了下一版数据集的修订方向。

表 18 第四列是判据，给出每件交付物的时点与前置关系：方案与评测协议在首轮验证启动前交付，基准分册在协议冻结时交付，报告与各类证据在每轮验证结束后 10 个工作日内交付，整改任务单在报告出具后 3 个工作日内交付，复测记录待闭环后交付。第三列是证据，说明每件交付物须含哪些内容方算齐备。其中场景验证报告一行最为关键，它承载四层结论与逐项判据，其余交付物或为其证据、或为其派生安排。

所有交付物与数据集版本绑定，版本变更即重新出具，不以上一版结论顺延。《数据集验证报告》作为该版本数据集发布的前置条件。

表 18　通用场景验证的交付物

1.3 管理制度智能问答（3.2.6.5.2.1）

1.3.1 场景介绍（3.2.6.5.2.1.1）

1.3.1.1 现场问题与验证要回答的疑问

招标文件对本场景的现状判断是：管理制度数量繁多、更新频繁、专业性强、条文关联性密、理解门槛高，传统制度查询与咨询存在检索不精准、解读不一致、响应速度慢、制度执行偏差、跨部门制度冲突五类问题。

把这五类问题放到甲方的实际环境里看，它们落在同一件事上：制度文本以整篇文件的形态存在协同办公系统里，检索的最小单位是文件而不是条款。员工只能靠文件名猜测该查哪一份，查到之后还要自己判断这一条在本部门是否适用、有没有被后续文件修订过。解读不一致与执行偏差的根子在此——没有一个权威的条款级索引，不同人查到不同版本、引用不同条文，于是同一件事在两个部门得到两种答复。跨部门制度冲突也是同一原因的另一面：各体系制度分属不同归口部门独立运维，同一事项在两处分别规定，没有条款级的对照就看不出来它们不一致。

甲方现有的制度规模可以说明问题的量级。企业管理部归口的内控管理制度为 248 项，按行政、人事、财务、合规、生产、风控等核心业务领域划分为十大管理模块并已汇编成册；此外还有党建、纪检、工会、质量环境安全体系、标准化管理、两化融合等体系的制度文件分属各自归口部门。招标文件已明确甲方协同办公系统将提供 11 类管理制度（PDF）。本场景的验证因此有一个确定的数据起点：制度原文可取、分类可知；待验证的是这批原文被加工成条款级知识单元之后，是否真的支撑得起精准检索、一致解读与关联分析。

验证要回答四个疑问，分别对应招标文件的四项验证要求：制度知识库建得全不全、问答答得准不准、制度之间的关系连得上连不上、相对人工查阅快了多少。本节不讨论助手的界面与权限模型实现，那是场景建设方的工作；本节讨论的是支撑这四项能力的数据与知识是否到位，以及这个判断的证据怎么取。

1.3.1.2 场景形态、智能体链路与我方验证定位

招标文件描述本场景为：运用大模型自然语言理解、知识图谱构建、多模态文档解析等技术，建设覆盖管理制度体系的智能问答助手，构建管理制度知识库，统一纳管各类管理制度知识，实现制度内容的结构化、数据化，支撑公司业务合规运营。

对应到本包，我方的工作是把这段描述中「结构化、数据化」那一层做实并验证到位：制度条款以条款为最小知识单元建立索引，抽取制度名称、制度编号、发布部门、生效日期、适用范围与制度层级，并识别制度类别与条款间引用关系（依据 3.2.6.3.4）。助手的自然语言理解能力由统一网关接入的通用大模型提供，我方正文不点型号，不把模型微调写成本场景的建设主线；模型可替换、可评测、可随代升级，验证协议对不同模型版本通用。

本场景的智能体链路在图 1 的共用骨架上有两处特异：第二个节点即权限与版本检查节点在本场景是最硬的约束，第五个节点调用的是版本对比与引用关系查询工具而不是计算引擎。本场景最危险的错误不是答不出来，而是答出一条已废止的条款——前者使用者会再问一个人，后者使用者会据以办事。因此本场景把版本检查节点与引用校验门的判据定得比其他场景更严，并且不设有条件通过。

表 19　管理制度场景的智能体链路与验证观测点

1.3.2 验证要求（3.2.6.5.2.1.2）

1.3.2.1 制度知识库建设能力验证

招标文件要求验证制度知识库建设能力，知识范围包含管理办法、实施细则、操作规程在内的制度条文知识，以及制度类别、适用范围、发布部门、条文关联关系的管理知识。

验证分两条线。

第一条线查条文知识的完整性与切分质量。做法是从 11 类制度中按类别与模块分层抽样，抽取不少于 120 份制度文件、合计不少于 3,000 条条款，与知识库中的条款级知识单元逐条比对，统计三个量：条款收录率（原文条款在知识库中存在对应知识单元的比例）、切分完整率（知识单元边界与原文条款边界一致、未把一条切成两条或把两条并成一条的比例）、层级还原率（章、节、条、款、项的层级关系与原文一致的比例）。

抽样之外，制度文本中常见的四种难例单独列项统计，因为它们的失败率明显高于正文条款，混在总体里会被平均掉：一是以附表或附件形式出现的条款，如报销标准表、审批权限表，这类内容在正文里只有一句「按附表执行」，真正的规定在表里；二是概括性引用条款，如「本办法未尽事宜按《××管理办法》执行」，这类条款本身不含规定，其价值在于指向另一份制度；三是正文中夹带的流程图与表格；四是扫描形成的图片型页面，其识别质量取决于原件清晰度。四种难例的处理结果单独给指标与难例清单。

第二条线查管理知识的元数据完整度。对同一批抽样制度，逐份核对制度名称、制度编号、发布部门、生效日期、适用范围、制度层级六个字段的抽取正确率。其中适用范围与制度层级是最容易出错的两项。适用范围常以「适用于本公司各单位」「适用于各分厂及项目部」这类表述给出，需要映射到甲方的组织机构主数据才能用于权限过滤；制度层级需要区分管理办法、实施细则与操作规程三级，而部分文件标题不含层级词，须依据正文表述与发文形式判定。这两项单列指标，下限值比其余四项低一档，并在报告中附难例清单——把它们与编号、日期一类机械抽取的字段混在一起给一个总的元数据正确率，会掩盖真正的风险点。

表 20　制度知识库建设能力的验证项与取值

表 20 中的文档解析类指标与甲方在场景需求中提出的口径同向：常规文件预处理与条款结构化识别的要求定在不低于 0.98，模糊文档识别定在不低于 0.95。我方按同一量级设定目标值，并把其中最难的三类难例单列、下限值放低一档——这不是降低要求，而是把风险摆到明处。整体指标达标而附表类条款大面积缺失的情形是可能发生的，而附表里装的恰恰是报销标准、审批权限这类使用频次最高的规定。

1.3.2.2 制度智能问答能力验证

招标文件要求验证制度智能问答能力，支持对制度条文的精准检索、语义解读与多文档跨制度咨询。三项能力分别对应不同的题型与观测量。

精准检索对应条款定位题。题目给出一个具体业务事项，标准答案是唯一的条款，判分看三件事：定位到的制度是否正确、条款编号是否正确、返回的原文片段是否完整覆盖该条规定。这一项用精确匹配判分，自动执行。条款定位题在本分册占 160 道。

语义解读对应条文解读题。题目给出一个需要理解条款含义才能回答的问题，标准答案拆成若干要点，判分按要点加权。这类题的关键在于区分两种失败：证据没找到与证据找到了但解读错了。前者归链路层③④，后者归⑦。本分册的解读题 130 道，其中三成设计为条款表述含条件分支的情形，考察助手是否把条件说全。

跨制度咨询对应跨制度题。题目涉及的规定分散在两份以上制度中，标准答案要求综合给出。这类题最能看出条款级索引的价值，也最容易暴露切分与引用关系的缺陷。本分册的跨制度题 110 道，按涉及制度的份数分为两份、三份、三份以上三层，分层统计。

图 5　制度问答链路上的验证观测点与错因分流

图 5　制度问答链路上的验证观测点与错因分流。数据来源：招标文件 3.2.6.5.2.1.2 制度智能问答验证要求，3.2.6.3.4 条款级切分与元数据抽取要求。

表 21　制度智能问答能力的验证项与取值

1.3.2.3 制度关联分析能力验证

招标文件要求验证制度关联分析能力，支持自动建立制度间的引用关系、逻辑校验。这一项是本场景四项要求中最依赖数据加工质量的一项，也是最容易被写虚的一项，因此验证口径须写得具体。

引用关系的验证分两步。第一步是抽取正确率：从抽样制度中人工整理出引用关系清单，与知识库中已建立的引用关系逐条比对，统计抽取正确率与遗漏率。引用关系在制度文本中有三种出现形式，分别统计：显式引用（给出被引制度全称或编号）、简称引用（给出被引制度简称，需映射到正式名称）、隐式引用（以「有关规定」「相关管理办法」表述，需结合语境判定指向）。三种形式的难度递增，隐式引用一项允许较低的下限值，并要求在报告中列出未能判定的条目供归口部门确认，而不是由系统猜测指向。

第二步是关系链完整性：对存在多级引用的制度（甲制度引用乙制度，乙制度又引用丙制度），验证关系链是否连通，以及是否出现循环引用。循环引用是制度体系本身的问题，不是数据加工的问题，这类发现单列为制度体系问题清单提交归口部门，不计入数据缺陷。

逻辑校验的验证对象是四类问题的识别：条款冲突（同一事项在两处规定不一致）、内容重复（同一要求在多处重复表述）、失效引用（引用了已废止的制度或条款）、新旧版本矛盾。验证做法是预埋与回放并行。预埋是在验证集中人工构造一批已知问题的条款对，观察识别率；回放是取甲方历史上已由归口部门确认过的制度问题，看系统能否重新发现。两种做法的指标分别统计：预埋题测的是能力上限，回放题测的是在真实分布上的表现，后者通常明显低于前者，报告中两者并列而不取其高。

这一项的结论表述有一条规定：系统输出的是冲突候选与条款对照，不输出何者优先的定性结论。制度之间的效力关系取决于授权与发布层级，上位与下位、通用与专项、集团与企业的优先次序不是文本比对能够判定的；同一事项在两处表述不一致，有时是冲突，有时是分场景适用。验证只验证候选是否找得出、对照是否摆得清、依据是否引得准，不验证定性结论是否正确——因为定性权在归口部门，不在系统，也不在我方。

表 22　制度关联分析能力的验证项与取值

候选准确率一项的取值明显低于其他指标，这是方法上的选择而非能力不足。冲突候选的筛查在召回与精确之间必须偏向召回：漏掉一个真实冲突的代价是制度继续冲突下去，而多报一个候选的代价只是归口部门多看一眼。目标值定在 0.70 意味着每十条候选中有三条经确认不成立，这个比例在人工复核可承受的范围内；若把目标值抬到 0.90，筛查规则必然收紧，真实冲突的漏检会上升。这一取舍在验证报告中写明，并随版本迭代按归口部门的实际复核负荷调整。

1.3.2.4 服务响应效率验证

招标文件要求验证服务响应效率，支持制度查询与复杂咨询反馈时长较人工查阅模式明显缩短。这一项的要点在「较人工查阅模式」四个字：它是一个相对量，分母必须实测。

人工基线的建立做法如下。从基准分册中抽取 60 道题，按简单、中等、困难三档各 20 道，交由甲方相应岗位人员在现行工作方式下作答并计时。现行工作方式指查阅纸质汇编、本地文档或协同办公系统中的制度文件，允许询问同事。对照组不少于三人，覆盖不同岗龄，取各档位的中位数作为该档基线。计时从接到问题起，到给出含条款依据的答复为止；只给出结论而无法指出依据的，记为未完成，不计入时长统计但单独记数；人工查阅模式下凭经验作答而拿不出条款的比例，由此单独计量，并与助手侧的依据可得性对照。

助手侧时长取自验证窗口内的请求日志，按同一批题的同档位统计中位数与第 95 百分位。缩短幅度按档位分别计算，不给一个笼统的总体数字，因为简单题与困难题的改善幅度差别很大，合在一起报出来的那个数字对任何一类实际工作都不对应。

除相对改善外，另记录三项绝对量作为场景整体可用性的观测：首次加载时长、单次检索响应时长、带引用答复的全链路时长第 95 百分位。甲方在场景需求中对这三项提出过明确口径（首次加载不超过 3 秒、单次检索不超过 2 秒、95 分位全链路不超过 10 秒），并提出不少于 300 人同时在线的容量要求。这三项的达成取决于场景建设方的工程实现，按表 4 的分法属工程侧责任，我方在验证窗口内测量并记入报告，不列为我方承诺指标。

表 23　服务响应效率的验证项与取值

表 23 把「依据可得性」单列为数据侧为主的指标，依据如下。效率改善容易被理解为答得快，但本场景真正的改善在于答案带得出依据：人工查阅模式下给不出依据的那部分咨询，其风险并不随答得快而降低。把依据可得性与时长并列，这一项的验证结论才对得上招标文件所说的「制度执行偏差」这一类问题。

1.3.2.5 本场景数据层验证要点

本场景在数据层上的供给验证按表 13 的通用方式执行，其中三项与本场景强相关，单独说明。

预训练语料面的核对对象是 11 类管理制度的全文及附件。核对方法是按类别与模块清点语料覆盖：248 项内控制度按十大管理模块逐模块核对是否有语料进入，党建、纪检、工会、质量环境安全体系、标准化管理、两化融合等体系按归口部门逐类核对。缺哪一个模块或体系即为语料盲区，记入覆盖缺口清单。知识探针题按模块分布出题，每模块不少于 15 道，使探针结果能定位到模块而不只给一个总分。

指令样本的提问类型覆盖按本场景实际提问分布核对。类型划分取自甲方的真实咨询记录，归并为报销与费用、行政与办公、人事与薪酬、财务与资金、采购与合同、生产与安全、保密与信息、合规与审计八组。每组核对指令微调子集中是否有对应样本、样本量是否达到约定下限。覆盖缺口按组回流指令数据生成环节补样本，补样本后在同一分册上复测该组题目。

偏好对齐子集在本场景的两组偏好须单独验证：带条款依据的回答优于不带依据的回答，无制度依据时提示无依据优于给出推测性结论。做法是从偏好子集中抽取本场景相关的偏好对，训练奖励模型后在留出集上测判别准确率；再以对齐后的模型跑本分册的无依据题，观察正确拒答率相对微调模型是否提升。若无提升，首查方向是偏好对的构造质量而不是模型——本场景的偏好对若由同一来源文本正反改写而成，奖励模型容易学到表述风格而非依据有无。

1.3.2.6 典型样题与判分示例

样题的题面与标准答案在基准分册编制阶段由甲方业务专家出题与终审。表 24 给出各题型的形态、标准答案构成与判分方式。

表 24　管理制度场景的典型样题与判分方式

判分示例以跨制度咨询题为例说明。该题的标准答案含三条依据，分别来自三份制度。判分时逐条核对：三条依据齐全且条款编号正确，判满分；缺一条依据，按该要点权重扣分，并在链路层查该条依据所在的知识单元是否被召回——若未召回，错因归③，回流切分与索引；若召回但未被引用，错因归④或⑦，分别回流证据定位标注与偏好对。同一道题的失败因此既产生一个任务层扣分，也产生一条链路层归因记录，两者在报告中对应呈现。

本场景的题型按三项业务判别设置：版本效力、岗位权限与例外情形。三项的判别对象与评分方式不同，不以同一套条款检索的判分规则统一处理。

版本效力题判别的是一条规定在提问时点是否仍为执行依据。同一事项在制度体系中常有先后数版，后版可能整篇替代，可能只修订其中若干条，也可能以补充通知的形式局部变更。答案须给出现行条款、其生效日期、被替代条款与替代方式（整篇替代、条款修订、局部补充）三者齐备。判分以版本检查节点乘子为前置，现行有效判定错误时该题直接计零分。

岗位权限题判别的是一条规定对提问人是否适用、提问人是否有权看到它。制度条款的适用范围常按单位、部门、岗级分层，同一条报销标准对不同岗级取值不同；密级分层则决定该条款本身可否返回。答案须给出按提问账号的岗位与岗级确定的适用条款与取值，并在越出可见范围时给出权限提示。判分以权限门乘子为前置。

例外情形题判别的是一般规定之外是否另有规定。制度条文中的例外多以「但」「特殊情况下」「经批准后」「下列情形除外」引出，且常不与主条款相邻。答案的评分要点中例外要点单独设权重，遗漏例外即按该要点权重扣减，例外要点权重不低于 0.25。

表 24A　管理制度场景题型的业务判别要点与评分式

表 24B　管理制度场景的四类专项测试构造

示范用例。取一道跨制度咨询题，问分厂自行签订框架协议的签约权限与审批路径，评分要点与权重为签约权限条款 0.40、授权层级条款 0.35、采购方式条款 0.25。执行流程为：按冻结协议提交题目，链路层同步取下检索命中列表、证据包、工具调用记录与引用校验结果；任务层按要点判分。设答案命中前两个要点、未引用采购方式条款，版本检查节点与引用校验门均通过，则 S ＝ 0.40 ＋ 0.35 ＝ 0.75，S′ ＝ 0.75。归因按九个观测点定位：该条采购方式条款的知识单元若未进入候选集，错因归③，修复入口为条款级切分与索引；若已召回而未被引用，错因归④或⑦，修复入口分别为证据定位标注与偏好对。补数据后，对跨制度题中涉及采购制度的全部题目整批复测，而非只复测本题。本题的样本级结果、归因记录、复测结果与所用模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 一并封存。上列取值为算式示例，不代表实测结果。

1.3.2.7 所需数据、接入条件与降级路径

制度场景的验证能做到什么深度，取决于甲方能提供的材料到什么颗粒度。表 25 逐项列明本场景验证所依赖的材料、用途与来源，并为每一项写明材料不具备时的降级口径，使接入条件的不确定不致令验证整体停摆。

需求项的取舍以「缺了它，哪一项验证就失去判定基准」为准。制度原文及附件是条款级知识单元与全部基准题的依据；制度台账中的生效、废止与替代关系，是版本效力辨析题唯一的判定基准，缺台账则只能以文件正文的发布与施行日期推定，推定项支撑不了严格结论；三档权限测试账号关系到越权放行能否在运行期实测，静态核验只能证明密级与适用范围字段标注正确，证明不了调用时不越权；近两年的制度咨询记录决定题面问法的真实分布，由业务专家集中出题虽可补足题量，问法多样性仍受限，这一点在报告中注明。

第四列是判据：凡走降级口径的项，相应指标或按减量执行、或标注为推定口径、或该项不出结论，三者择一，不以放宽取值的方式维持表面达标。第二列是证据，说明该项材料支撑的是哪一项验证。本表是 1.8.8 材料清单在本场景的细化，一期即作为数据需求提出并按周跟踪。

表 25　管理制度场景的数据需求与降级路径

1.3.2.8 本场景验证结论的组织方式

本场景的验证报告按四项验证要求分章，每章给出四层结论。以第三项「制度关联分析能力」为例：任务层给出引用关系与逻辑校验的各项指标及判据；链路层给出⑤⑥两个观测点的表现与错因分布；知识层给出引用关系登记的完备度与三类引用形式的分项表现；数据层给出本项所依赖的标注样本与规则库的供给状况。四层之后是本项的整改任务单与下一版取值建议。

四项要求的结论汇总成本场景的可用性结论，表述形式为：在本版本数据集与本版本模型下，本场景的四项验证要求中有若干项通过、若干项有条件通过、若干项不通过；不通过项的归因位置、修复入口与整改期限逐项列出。可用性结论不作上线承诺，制度解释权归制度主管部门，助手输出为辅助结论——这一句在本场景的验证报告中逐份写明。

1.4 技术标准智能问答（3.2.6.5.2.2）

1.4.1 场景介绍（3.2.6.5.2.2.1）

1.4.1.1 现场问题与验证要回答的疑问

招标文件对本场景的现状判断是：技术标准专业门槛极高、数据图表密集、跨学科关联性强、更新迭代快、标准引用复杂，传统查阅与应用存在查询费时费力、参数提取不准、条文解读分歧、新旧版本混用、设计选型合规性难校验五类问题。

这五类问题中有三类是文档形态造成的。技术标准的核心内容大量落在数表里：材料的力学性能、焊接的预热温度区间、链条的破断负荷、公差配合的取值，都是表格中的一个单元格。一份标准按整篇文件检索，拿到的是一份文件；工程师要的是一个数。参数提取不准与查询费时，根子在表格没有被还原到单元格可取值的程度。条文解读分歧则多发生在条款含适用条件的情形——同一个限值在不同板厚、不同材质、不同工况下取值不同，取错条件比取错数字更难被发现。

另两类问题与版本和关联有关。标准更新迭代快，而设计引用的是标准号；一份已被替代的标准，其标准号往往仍在图纸与工艺文件中沿用。跨学科关联性强意味着一个设计问题常常要同时满足材料、焊接、防爆、安全规程等多类标准的要求，而这些标准分属不同体系，彼此之间的引用关系不在任何一份文件里完整写明。

甲方的实际情形可以说明验证对象的范围。公司在产品生命周期管理系统中统一存储各类国家标准、行业标准与企业标准，但内部工艺规范、设计准则、作业指导书分散存储在各部门与共享目录中；核心产品涉及的标准体系包括国家标准、行业标准、企业标准、机械设计手册与煤矿安全规程，以及全部内部工艺规范、设计准则与质量问题案例。现场的典型困难是：查找一个材料硬度要求需在三四份文件中反复搜索；曾发生设计引用已废止标准条款、到校对阶段才发现而导致返工的情形。

验证要回答四个疑问，对应招标文件的四项验证要求：标准知识库建得全不全（含条文规范知识与标准应用知识两类）、多轮与历史版本问答答得准不准、标准文件解析到不到单元格级、检索与使用情况统计得出来不出来。

1.4.1.2 场景形态、智能体链路与我方验证定位

招标文件描述本场景为：运用大语言模型、多模态文档解析、智能检索与匹配等技术，建设覆盖技术标准体系的智能问答助手，构建技术标准知识库，统一纳管各类技术标准知识，实现内容的结构化、数据化，并辅助技术标准编制。

对应到本包，我方的工作落在三处：标准条文的条款级切分与元数据抽取（标准名称、发布部门、生效日期等核心元数据，依据）、表格与公式的结构化重建到可取值与可计算的程度（依据 3.2.6.3.2 文档解析要求），以及标准应用知识的登记（技术参数限值、标准引用关系、版本更迭记录与典型合规案例）。

本场景的智能体链路在图 1 的骨架上有三处特异。一是第一个节点的条件补齐在本场景份量最重：技术问题若不补齐材质、规格、板厚、工况等条件，答案无法成立，因此本场景把「应反问题目的反问率」列为主要指标而不是次要指标。二是第五个节点调用的是表格取值、单位换算与公式计算工具，工具调用的四段判分在本场景逐段执行。三是第六个引用校验门在本场景须校验到单元格：答案给出的数值须能回指到某一份标准某一张表的某一个单元格，而不只是某一条款。

表 26　技术标准场景的智能体链路与验证观测点

1.4.2 验证要求（3.2.6.5.2.2.2）

1.4.2.1 技术标准知识库建设能力验证

招标文件要求验证技术标准知识库建设能力，知识范围包含国家标准、行业标准、企业标准、设计手册在内的条文规范知识，以及技术参数限值、标准引用关系、版本更迭记录与典型合规案例在内的标准应用知识。两类知识的验证方式不同，分开组织。

条文规范知识的验证与制度场景同构，但有两处加强。一是分体系统计：国家标准、行业标准、企业标准、设计手册、煤矿安全规程、内部工艺规范六类分别统计收录率与切分完整率，不给合并数字。分体系统计的理由是六类文件的版式差异很大——国家标准与行业标准版式规范，切分规则稳定；企业标准与内部工艺规范的版式各异，部分为扫描件；设计手册以数表为主体，条款结构不明显。合并统计会让后三类的问题被前三类的高分掩盖。二是数表与公式单列：标准中的表格与公式不作为条款的附属物统计，而是作为独立的知识单元类型统计其收录与还原质量，指标见 1.4.2.3。

标准应用知识的验证分四项。技术参数限值的登记正确率，验证方法是抽取参数限值条目与原文逐条核对，核对内容包括数值、单位、适用条件、来源标准号与单元格位置五项，任一项不符即判该条不正确。标准引用关系的抽取正确率，验证方法与制度场景的引用关系同构，但在本场景须区分规范性引用与资料性引用两类——前者构成强制要求，后者仅供参考，混为一类会使合规判断出错。版本更迭记录的完备度，验证方法是以标准台账为基准，核对现行、被替代、已废止三种状态的登记正确率，以及替代关系链的连通率。典型合规案例的登记质量，验证方法是核对每则案例是否附问题描述、所涉标准条款、判定结论与处置措施四项要素，要素不全的案例不计入有效条目。

表 27　技术标准知识库建设能力的验证项与取值

1.4.2.2 标准智能问答能力验证

招标文件要求验证标准智能问答能力，支持多轮对话式问答、历史版本制度问答。这一条文字简短，但包含两项性质不同的能力，须分别验证。

多轮对话式问答的验证重点是上下文继承与条件澄清。本场景的多轮题按三种形态构造。第一种是条件递进：首轮提问缺少关键条件，助手反问，用户补充后给出答案；考察反问是否问到了真正的关键条件，以及补充条件后答案是否随之改变。第二种是条件变更：在已有答案的基础上改变一个条件（如板厚从 30 毫米改为 50 毫米），考察答案是否随条件正确变化，而不是沿用上一轮的数值。第三种是追问溯源：在得到答案后追问依据出处，考察是否能给出标准号、版本与单元格位置。三种形态分别统计，其中条件变更一项最能暴露上下文处理的缺陷——沿用上一轮数值而不重新取值的失败，在单轮评测中完全看不出来。

历史版本问答的验证重点是版本标注与现行优先。题目要求查询某一已被替代标准的旧版条款，正确行为是给出该旧版条款并显著标注其为历史版本、不作为执行依据，同时指出现行版本的对应条款。判分有三个要点：旧版条款是否正确取出、历史版本标注是否给出、现行版本是否同时指出。三个要点缺一不可——只给旧版条款而不标注历史版本，是本场景最危险的失败形态之一，因为使用者会直接据以设计。

表 28　标准智能问答能力的验证项与取值

1.4.2.3 技术标准文件解析能力验证

招标文件要求验证技术标准文件解析能力，支持表格、公式等半结构化内容提取，表格解析须达到单元格级精度。这是本场景与其他四个场景差别最大的一项，也是本场景的技术难点所在，验证口径须定到可操作。

「单元格级精度」须先定义清楚才能测。本节把它拆成四层，逐层验证，每层有独立判据。四层的关系是：下层不成立，上层无从谈起；而通常的表格解析评价只测到第二层，于是一份「表格识别准确率 0.95」的报告里，可能根本没有包含表头层级关系是否还原正确这件事。

第一层是表格定位与边界。验证表格在页面中是否被完整识别为一个表，是否出现跨页表被截断、相邻两表被并为一表、或表注被并入表体的情形。判据是表级定位正确率。

第二层是单元格切分与取值。验证每个单元格的文本是否被正确切出并取到完整内容，重点测三类难例：合并单元格（跨行或跨列）、斜线表头、含上下标与特殊符号的单元格（如公差符号、角度、希腊字母）。判据是单元格取值正确率，三类难例分项统计。

第三层是表头层级与寻址。验证多级表头的层级关系是否还原，使一个数值能被唯一寻址。这一层是「单元格级精度」的实质：一个数值取对了，但不知道它对应哪一行哪一列的条件，这个数值就没法用。典型形态是以规格为行、以工况或等级为列的参数表，取值须由「行条件＋列条件」共同确定。判据是按行列条件寻址的取值正确率。

第四层是语义绑定。验证单元格数值与其量纲、单位、适用条件、来源标准号是否绑定登记。缺单位的数值与缺适用条件的限值都不可用。判据是五项绑定齐备率，与 1.4.2.1 中参数限值的五项齐对率同源，此处从解析侧统计。

公式的验证与表格平行组织，分三层。第一层是公式识别与结构还原：公式是否被识别为公式而非图片或乱码文本，分子分母、上下标、根号与积分等结构是否还原。第二层是变量与符号登记：公式中每个符号的含义、量纲、取值来源是否登记，取值来源指该变量是由用户输入、由另一公式计算，还是查某一张表。第三层是可计算性：给定一组符合适用条件的输入，公式能否被正确求值，求值结果与人工按原文计算的结果是否一致。第三层是公式验证的落点——一个还原得很漂亮但算不出数的公式，在本场景里没有用处。

图 6　表格与公式解析的四层验证与归因入口

图 6　表格与公式解析的四层验证与归因入口。数据来源：招标文件 3.2.6.5.2.2.2 对表格解析单元格级精度的要求，3.2.6.3.2 文档类资料版面解析与表格公式重建要求，3.2.3.3.3 文档结构解析工具链。

表 29　技术标准文件解析能力的验证项与取值

表 29 的最后一行与 1.4.2.2 的参数查询准确率是一对：参数查询测的是「答得对不对」，单元格引用真实率测的是「指得准不准」。两项都高才说明这条链路成立；只有前者高而后者低，说明数值是从别处得来的，哪怕恰好对了也不能采信。

1.4.2.4 数据可视化能力验证

招标文件要求验证数据可视化能力，支持自动统计技术标准检索量、高频查询条款、用户活跃度。这一项的性质与前三项不同：它统计的是使用行为，而不是知识内容。按表 4 的分法，统计功能的实现属场景建设方，但统计所依据的口径与维度属数据侧——高频查询条款要统计到条款，前提是检索日志里记了条款标识；若日志只记了文件名，这项统计做不出来。

因此本项的验证分三部分。第一部分验证统计所需的数据项是否齐备：检索日志中是否记录了查询文本、命中的知识单元标识、所属标准号与条款号、提问账号的岗位与部门、响应时长、是否采纳。逐项核对字段的存在与取值有效性。第二部分验证统计结果与源数据的一致性：按同一时间窗口，以日志原始记录独立复算检索量、条款命中频次与活跃账号数，与看板展示结果比对。甲方在场景需求中对这一项提出了统计准确率不低于 0.98、关键指标与源数据一致的口径，我方按同一量级设定目标值，并把一致性复算作为必做项——看板数字与日志对不上，是这类统计功能最常见的问题，而它在功能演示中看不出来。

第三部分是统计维度的业务可用性。高频查询条款的统计若只给条款编号，对标准修订与培训没有指导价值；须同时给出该条款所属标准、专业类别与提问岗位分布，才能支撑甲方在场景需求中提出的「精准识别高频问题与技术合规短板，为标准修订和培训提供数据支撑」这一目的。本项验证核对统计结果是否带这三个维度。 「统计准确率不低于 0.98」一项的落地口径如下。受检对象为统计项，一个统计项是一个指标、维度与时间窗口的组合，每轮受检统计项不少于 60 项；准确率＝复算值与看板值一致的统计项数÷受检统计项数，计数类（检索量、条款命中频次、活跃账号数）须完全相等，比率类相对偏差不超过 0.5% 计为一致。日志字段齐备一项另以不少于 2,000 条日志记录抽查核对。频次为每个数据集版本发布前随分册全量复算一次，质保期内每季度抽查一次。实测低于 0.98 但不低于 0.96 的，按 1.2.7 判有条件通过并依 1.2.20 登记未结项；不一致项按日志字段缺失、指标口径不一致、时间窗口不一致三类归因，属前两类的回流补埋点登记与指标口径登记，属第三类的转工程侧记录并通报，整改后对该类涉及的全部统计项复算，复算达 0.98 转通过。实测低于 0.96 的判不通过，本版本上不出该项结论。随埋点字段与口径登记逐版补齐，目标逐步接近 0.995，各版缺口在报告中明列。门限与测法的汇总见表 11A、表 11B。

表 30　数据可视化能力的验证项与取值

1.4.2.5 本场景数据层验证要点

本场景在数据层上有三项与其他场景不同的要点。

预训练语料面须按六类标准体系分别核对覆盖，并对设计手册与内部工艺规范两类单独核对——这两类是甲方现场最缺的部分，也是知识探针最该测的部分。探针题中与数表、限值相关的题目不少于四成，因为本场景的知识密度集中在数表而不在条文叙述。

指令样本须覆盖本场景的六类提问：参数限值查询、条文解读、跨标准综合、版本辨析、单元格寻址、公式应用。其中单元格寻址与公式应用两类的样本构造依赖表格与公式的结构化成果，若 4.5 的第三层与第四层不达下限，这两类样本本身就构造不出来，须先修解析再补样本。这个依赖关系在整改排序时要体现：解析缺陷优先于样本缺陷修复。

长上下文一项在本场景份量最重。技术标准单份长度可达数十页，设计手册更长；题目构造为在长文中埋设目标条款或目标单元格并观察是否被正确引用，埋设位置按文首、文中、文末三档分布，分档统计定位正确率。文末一档的表现通常最差，而标准中的附录表往往在文末，分档统计据此设置。

1.4.2.6 典型样题与判分示例

表 31　技术标准场景的典型样题与判分方式

公式应用题是本场景唯一需要三路复算的题型。第一路由助手调用公式计算工具得出结果；第二路由验证侧按登记的公式与变量独立实现一次计算；第三路由业务专家按标准原文手工计算一次。三路一致判通过。两路一致时，先查变量取值来源——最常见的分歧原因不是算错，而是某个变量取了不同表的值。三路都不一致时，该题转专家裁定，并把公式登记退回核对。三路复算的工作量约为单路比对的三倍；本场景的公式题多与承载能力、安全系数相关，其结果直接进入设计选型，故按三路执行。

本场景的题型按三项业务判别设置：适用条件、版本替代与条款冲突。三项都不是检索问题，而是取值前的判定问题，判分规则与单纯的条文检索题不同。

适用条件题判别的是一个限值在给定工况下该不该取。标准中的参数限值多数附带前置条件：材质牌号、规格区间、板厚档、工作温度、使用环境、产品类别。同一张表里相邻两行的取值差别，往往只由一个条件决定。答案须同时给出取值、单位与该取值所依赖的全部适用条件，并在题面条件不足以唯一确定取值时反问而不是取默认行。判分按五项齐对：数值、单位、适用条件、标准号、单元格位置，任一项不符即该题计零分，并记录不符的是哪一项。

版本替代题判别的是一份标准在提问时点的效力状态与替代链。标准的替代关系有整体替代、部分替代与并行有效三种形态：新版整体代替旧版，新版只代替旧版的若干章节，或新旧版本在不同产品类别上并行有效。答案须给出现行标准号与版本、被替代标准号与替代形态；按历史版本提问时，须标注其非执行依据并同时给出现行对应条款。判分以版本检查节点乘子为前置。

条款冲突题判别的是两份以上标准对同一事项的要求是否一致、不一致时如何处置。冲突有三种来源：不同体系的标准对同一参数给出不同限值，引用标准已更新而引用方未同步，企业标准严于或宽于其所引国家标准。答案须给出冲突双方的条款原文与位置、冲突类型，以及按从严取值或转标准化部门裁定的处置指向；不输出哪一方优先的定性结论——标准之间的效力关系取决于强制性属性与适用范围，不由文本比对判定。判分按冲突是否被提出、对照是否完整、处置指向是否正确三项，不判定性结论的对错。

表 31A　技术标准场景题型的业务判别要点与评分式

表 31B　技术标准场景的四类专项测试构造

示范用例。取一道公式应用题，按标准公式计算给定工况下的输送能力，公式含四个变量，其中两个由题面给出、一个查参数表、一个由另一公式计算。执行流程为：助手调用公式计算工具得出第一路结果；验证侧按登记的公式与变量独立实现一次计算，得出第二路结果；业务专家按标准原文手工计算一次，得出第三路结果。设第一路与第二路一致而第三路不同，先查变量取值来源——差异通常不在算错，而在某个变量取自不同的表。设查明为查表变量取自已被替代版本的参数表，则该题计 0 分，错因归②与⑤：版本检查节点未拦住失效参数表，工具参数构造采用了失效口径。修复入口为标准台账的版本状态登记与公式变量的取值来源登记；补数据后，对全部以该参数表为变量来源的公式题与参数限值题整批复测。本题的三路计算记录、归因与复测结果，连同模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 封存。上列为流程与判分示例，不代表实测结果。

1.4.2.7 所需数据、接入条件与降级路径

技术标准场景与其余四个场景的差别，在于它的依据库有相当一部分并不在甲方手中：国标与行标须经授权导入，已被替代的历史版本在企业内通常不再留存，设计手册与内部工艺规范则散落在各部门的受控共享目录。表 32 据此逐项列明材料、用途、来源与不具备时的降级口径。

取舍以「缺了哪一项，哪一类题就无法成立」为准。标准台账中的现行状态与替代关系，是版本替代辨析题的判定基准；已被替代标准的历史版本电子件，是历史版本问答题唯一的题面来源，取不到则该项不出结论，只验证现行状态标注是否正确；设计手册与内部工艺规范是条文规范知识中最缺的两类，其到位程度直接决定标准应用类题目的覆盖面；资料密级与权限规则关系到权限门的越权放行能否实测，无密级标识的一律按最高密级处理，宁可拦截从严也不放行越权。

第四列是判据，三种降级方式对应三种结论强度：按减量执行、标注为推定口径、该项不出结论。第二、三列合起来说明向谁取用、取来支撑哪一项验证，便于在一期的数据需求清单中逐项跟踪。表中任一项走降级口径的，受影响的验证范围在本场景验证报告中逐条列明，不以未受影响项的取值代表本场景整体。

表 32　技术标准场景的数据需求与降级路径

1.5 标书智能问答（3.2.6.5.2.3）

1.5.1 场景介绍（3.2.6.5.2.3.1）

1.5.1.1 现场问题与验证要回答的疑问

招标文件对本场景的现状判断是：招投标文件内容篇幅长、响应要求细、技术参数密、截止时间紧、废标条款隐蔽，传统人工阅读与响应存在关键信息遗漏、条款解读偏差、投标风险识别不准、团队协作效率低下、历史投标经验复用难五类问题。

这五类问题有一个共同的结构：投标工作的本质是把招标文件里的每一条要求，对应到企业已有的一件证据上。要求散落在招标文件的资格条款、评分标准、技术规格、废标条款与格式要求里；证据散落在历史合同、发票、使用证明、中标通知书、技术协议、安标证书、防爆证书、检验检测报告、营业执照、体系证书与企业资料里。人工做法是两头各自翻一遍再凭经验对上，于是漏项、错配与经验不可复用都来自同一个原因：要求与证据之间没有一张可查的对应关系表。

甲方的现场困难可以具体到四处。招标条款分散，人工检索历史同类标书与技术应答方案耗时久。业绩、设备、安标等硬性材料的匹配需跨台账、多文件人工比对，易漏项、错配。标书撰写依赖资深人员经验，新人上手周期长，优秀应答方案无法沉淀复用。废标条款、资格门槛、评分细则人工核对易出现疏漏。此外，不同招标单位对业绩、设备证明、安标证书的材料组合要求差异明显，缺少统一的智能检索复用渠道。

本场景的验证还有一个排期前提须先写明。甲方对本场景的推进分两阶段：第一阶段聚焦商务模块，第二阶段在技术场景完善后再建设技术部分模块。本节的验证按同一节奏组织：首轮验证覆盖商务标的资质与业绩材料生成、招标文件解析与审标，技术标的技术方案生成一项在第二阶段纳入验证范围，首轮报告中对该项标注为未纳入本轮并说明原因。这样安排不是缩小范围，而是与甲方的建设节奏对齐——在技术模块尚未建设时对其出验证结论，结论没有意义。

验证要回答四个疑问，对应招标文件的四项验证要求：招投标文件知识库建得全不全（投标文本知识与商务知识两类）、招标文件解析与风险标注准不准、投标内容生成的事实是否可回溯、投标文件智能评审能否查出问题。

1.5.1.2 场景形态、智能体链路与我方验证定位

招标文件描述本场景为：基于招标文件、历史投标文件、评分标准、企业资质库构建高质量标书数据集，通过大语言模型、多模态文档解析、智能检索与匹配等技术，打造标书智能问答助手，统一纳管各类招投标知识，辅助投标文件编制和审查，缩短标书编制周期，提高标书应答全面性。

对应到本包，我方的工作是把「统一纳管各类招投标知识」那一层做实并验证到位：投标相关资料按投标文件模板库、设备材料、资质（安标证书、防爆证书、检验检测报告、产品合格证）与业绩（业绩合同、发票、验收单、中标通知书、技术协议）分类归集；对招投标文件与合同文本标注条款类型、风险点与合规判定结论；基于招投标文件与知识库条目合成标书问答样本。

本场景的智能体链路与前两个场景有一处本质差别：它不只检索与作答，还生成要交付出去的文件，而文件里的每一项企业事实都要能回到一件原件。因此本场景在图 1 的骨架上增加一道生成前置门：凡属企业事实的内容（业绩、资质、设备、技术参数、报价），须由证据匹配结果填充，不由模型组织表述；匹配不到的位置以缺口占位标出，不补写。这道门是本场景验证的重点观测对象——它的失败形态是「写得很顺但查不到原件」，而这类错误在成稿之后极难发现。

表 33　标书场景的智能体链路与验证观测点

1.5.2 验证要求（3.2.6.5.2.3.2）

1.5.2.1 招投标文件知识库建设能力验证

招标文件要求验证招投标文件知识库建设能力，知识范围包含历史投标文本、投标文件模板库、项目实施方案、售后服务承诺在内的投标文本知识，以及设备材料知识、企业资信证明、项目业绩合同、验收单在内的商务知识。两类知识的验证重点不同。

投标文本知识的验证重点是可复用性，而不只是收录量。一份历史投标文件入库之后能不能用，取决于三件事：它的章节结构是否被还原到可按章节取用的程度、它所应答的原始招标要求是否被关联登记、它是否被标注了可复用范围。第三项最容易被忽略：历史标书中有相当比例的内容是项目专属的（特定客户的特定工况、已失效的承诺、已变更的报价口径），这部分内容复用到新项目里就是错误。因此本项验证把「可复用范围标注正确率」列为主要指标，由业务专家判定。

模板库的验证重点是覆盖与结构标注。甲方的模板按主要招标单位分设，覆盖不少于五家主要客户的格式要求，另有通用模板。验证核对三项：模板是否按客户与项目类型分类登记、每份模板的章节结构与格式要求（含签章位置、必填项、附件清单）是否结构化标注、可复用内容与须逐项填写的内容是否区分标注。

商务知识的验证重点是件级可回溯与时效性。业绩类与资质类材料的每一件都须登记件号、所属项目或证书编号、有效期、适用产品范围、证明材料齐备性与保密等级。验证方法是逐件核对台账与原件，统计件级元数据的齐备率与正确率；对资质类材料另单列有效期字段的正确率，因为安标证书、防爆证书与检验检测报告都有有效期，用过期证书应标是实质性风险。

表 34　招投标文件知识库建设能力的验证项与取值

1.5.2.2 标书智能解析能力验证

招标文件要求验证标书智能解析能力，支持对招标文件项目基本信息、资格性要求、评分标准、废标条款、技术参数与设备要求、业绩证明材料要求的自动提取与风险标注。六类提取对象的难度与后果都不同，验证按类分项统计，不给合并数字。

项目基本信息与评分标准的提取相对规整，前者是固定字段，后者多以表格形式给出，验证重点在字段齐备与评分项的分值、评审方式是否对应正确。

资格性要求与废标条款的提取是本项的重点。这两类条款的共同特征是分散且表述方式不统一：资格要求可能出现在投标人资格章节，也可能出现在投标人须知或评审办法中；废标条款更隐蔽，常以「否决投标」「视为无效投标」「不予受理」等不同措辞出现，且散落在符合性审查表、投标人须知与合同条款各处。验证的做法是以人工逐条拆解的结果为基准，统计召回率与精确率，并对召回失败的条款按其在招标文件中的位置与措辞类型聚类——这个聚类结果直接指向抽取规则的缺口，是本项最有用的归因产物。

技术参数与设备要求的提取须测到参数级：每一项参数的名称、要求值、单位、是否带「不低于」「不高于」「或相当于」一类限定词、是否为带星号的关键参数。限定词与星号标记的漏标是实质性风险，单列统计。

业绩证明材料要求的提取须测到组合级：招标文件对业绩的要求通常是一组条件的组合（近若干年、同类项目、合同金额下限、须提供的证明材料种类），少提取其中一项就会导致材料准备缺项。验证按条件组合的完整提取率统计。

风险标注的验证与提取分开。提取出一条废标条款只是第一步，还要判断它对本次投标是否构成风险、风险等级如何。风险标注的判定由业务专家给基准，验证统计标注正确率与等级一致率。甲方在场景需求中对废标风险识别的准确率提出了不低于 0.97 的口径，这是本场景最硬的一项指标。我方的处理是：把它拆成废标条款召回率、风险标注正确率与一票否决项挂起正确率三项分别验证，并在报告中说明合成关系——因为一个「废标风险识别准确率」的单一数字无法指出失败在哪一步，而这三项的修复入口分别是抽取规则、标注样本与规则登记。 「废标风险识别准确率不低于 0.97」一项的落地口径如下。本项按查准口径计：准确率＝经业务专家确认成立的废标风险标注数÷系统给出的废标风险标注总数；查全（废标条款召回率）与风险等级一致率按表 35 另列，三项并列报告。测定以不少于 15 份真实招标文件为样本，由业务专家逐条拆解形成基准清单后，对系统给出的每一条风险标注复核，样本须覆盖「否决投标」「视为无效投标」「不予受理」三类措辞；判分按 1.2.6 的要点规则加判定结论比对执行，人工复核按 1.2.13 的双人独立判分加仲裁作业。频次为每个数据集版本发布前随分册全量回归一次；抽取规则修订后，对受影响的措辞类型做一次增量复测。实测低于 0.97 但不低于 0.93 的，按 1.2.7 判有条件通过，依 1.2.20 登记差距、可用与不可用范围与整改责任组；误标注按措辞类型与其在招标文件中的位置聚类，回流修订抽取规则与风险标注样本后，对该类涉及的全部条款复测，复测达 0.97 转通过。实测低于 0.93 的判不通过，本版本上不出该项能力结论，回流补标注样本后重新完整验证；连续两轮未达下限的，按 1.2.7 提请甲方与场景建设方共同评审。随标注样本与抽取规则逐版补齐，目标逐步接近 0.985，各版缺口在报告中明列。门限与测法的汇总见表 11A、表 11B。

表 35　标书智能解析能力的验证项与取值

1.5.2.3 投标生成能力验证

招标文件要求验证投标生成能力，支持商务标的资质材料、业绩材料的内容生成，以及技术标的技术方案、实施方案、售后服务方案的内容生成。本项的验证口径与前面各项不同，须先说明判什么。

生成能力的常规评价方式是看生成文本的质量，但本场景不这么判。理由是：标书中的每一项企业事实都是评标环节要逐件核验的对象，一旦出现与原件不符的表述，后果不止于扣分；而生成得流畅与事实上准确是两件事，流畅的错误比生硬的正确危险得多。因此本项的验证把生成质量拆成三层，权重倒置——事实可回溯性权重最高，结构完整性次之，表述质量最低。

第一层是事实可回溯性。生成内容中凡属企业事实的部分（业绩项目名称、合同金额、履约时间、客户名称、证书编号、有效期、设备型号与数量、技术参数），须逐项能回指到一件原件。验证做法是对生成结果逐项抽取事实项，与件级台账及原件比对，统计三个量：事实项可回溯率（能指到原件的比例）、事实项准确率（指到的原件与表述一致的比例）、虚构事实发生数（表述的事实在原件中不存在）。第三项以零发生为目标，出现即判该项不通过——这一条不设有条件通过。

第二层是结构完整性与硬性要求覆盖。生成结果是否按招标文件要求的章节结构组织、是否覆盖了要求矩阵中的全部应答条目、是否在缺少证据的位置给出了明确的缺口占位而不是略过。缺口提示率是本层的关键指标：一个诚实的缺口占位是可用的工作产物，一个被略过的缺口是隐藏的漏项。

第三层是表述质量与格式规范。包括语言是否符合投标文件文体、格式是否符合模板要求（字号、编号层级、签章位置、附件编号）、是否存在前后矛盾。这一层用模型裁判初判加人工复核判分。甲方在场景需求中对一键生成的内容及格式准确率提出了不低于 0.99 的口径。我方的处理是把这一口径按章节完整率、硬性要求覆盖率、证据匹配准确率与格式检查准确率四项分别核算，各项分别给目标值，并另行统计企业事实错误率与缺口提示率——把四项不同性质的内容压成一个准确率数字，达标与否取决于怎么加权，而加权方式并不比四个分项数字更有信息量。 「一键生成的内容及格式准确率不低于 0.99」一项的落地口径如下。受检对象为条目，条目含企业事实项、要求矩阵的应答条目与格式项（字号、编号层级、签章位置、附件编号）；准确率＝无差错条目数÷受检条目总数。该门限适用于经缺口补齐与人工复核整改后提交甲方的定稿；生成即时稿按表 36 的四个分项分别判定，两者分母不同，在报告中并列。测定每轮取不少于 10 份生成件、受检条目不少于 800 个，事实项与格式项逐条自动核对后转人工复核，复核按 1.2.13 的双人独立判分加仲裁作业。频次为每个数据集版本发布前随分册全量核算一次；模板或格式要求变更后，对格式项做一次增量复测。实测低于 0.99 但不低于 0.97 的，按 1.2.7 判有条件通过并依 1.2.20 登记未结项；差错条目按事实、覆盖、证据匹配、格式四类归因后回流对应数据子集，整改后对该类涉及的全部条目复核，复核达 0.99 转通过。实测低于 0.97 的判不通过，本版本上不出该项结论。虚构事实项不并入本项计算，按表 36 第三行单列，出现即判不通过。随件级台账与模板结构标注逐版补齐，目标逐步接近 0.995，各版缺口在报告中明列。门限与测法的汇总见表 11A、表 11B。

技术标的技术方案、实施方案与售后服务方案生成一项，按 1.5.1.1 所述的排期前提，在第二阶段纳入验证范围。首轮验证中本项的处理是：核验支撑该项生成所需的数据供给是否已到位（产品参数、技术方案素材、标准依据的登记情况），出具数据就绪度结论，不出具生成质量结论。就绪度结论同样有用——它告诉甲方第二阶段启动前还缺什么。

表 36　投标生成能力的验证项与取值

1.5.2.4 投标文件智能评审能力验证

招标文件要求验证投标文件智能评审能力，支持废标项检查、资格性审查、评分项审查、遗漏检查、格式规范性检查，并生成评审报告。这一项的验证方法与前三项不同：它测的是「能不能查出问题」，因此验证的主要手段是预埋缺陷并回放。

缺陷预埋的做法是：取历史投标文件，由业务专家按五类检查项分别植入已知缺陷，每类不少于 30 处，缺陷的严重程度分三档。植入的缺陷须贴合真实易错点，不是人为制造的明显错误。按五类检查项，典型的预埋缺陷形态如下。废标项类：漏签章、报价超出最高限价、未按要求提供原件、投标有效期短于要求。资格性类：资质证书过期、业绩数量不足、业绩类型不符、财务指标不达要求。评分项类：评分项应答内容缺失、承诺低于评分要求、证明材料与承诺不对应。遗漏类：要求矩阵中的条目在投标文件中无对应应答、附件清单中列明的附件缺失。格式类：编号层级错乱、金额大小写不一致、页码与目录不符、签章位置不符要求。

回放的做法是：取甲方历史投标项目的内部评审意见，把当时发现的问题作为基准，看系统能否重新发现。回放题测的是真实分布上的表现，与预埋题的结果并列报告而不取其高。

评审报告的验证单列一项。报告须包含问题清单、每个问题的位置定位、所依据的招标文件条款、严重程度与修改建议五项。验证核对五项齐备率，并核对位置定位是否精确到页与条目——一份只说「资格材料有问题」而不指出是哪一份证书哪一项不符的评审报告，在实际使用中价值有限。

表 37　投标文件智能评审能力的验证项与取值

误报率一项允许较高的上限，与制度场景的冲突候选准确率同理：审标的筛查应偏向召回，漏掉一个废标项的代价与多报一个待核项的代价不在一个量级。但误报率也不能无下限放宽——报出的问题太多，复核的人会开始跳着看，筛查的实际效果反而下降。取值定在 0.12 是按人工复核可承受的负荷推算的，随版本迭代按实际复核记录调整。

图 7　标书场景解标、做标、审标三段验证的衔接

图 7　标书场景解标、做标、审标三段验证的衔接。数据来源：招标文件 3.2.6.5.2.3.2 四项验证要求，3.2.6.3.4 投标相关资料分类归集要求，3.2.6.3.5 招投标文件条款类型与风险点标注要求。

1.5.2.5 本场景数据层验证要点

本场景的数据层验证有两项特殊之处。

第一项是「企业事实不进模型权重」这一取向对数据层验证的影响。本场景的企业事实（业绩、资质、设备、参数）须从资料库即时检索，不作为训练语料注入模型——理由是这些事实会随资质更新与业绩积累而变动，写进权重之后既难更新也无法逐条追溯到原件。这一取向决定了数据层验证的重点：预训练语料面的核对对象是招投标的语言与结构（招标文件的条款体例、投标文件的文体与章节组织），不是企业事实本身；知识探针题相应地考察体例与术语理解，不考察「我方有哪些业绩」这类事实题。把事实题放进探针，测出来的高分恰恰是风险信号。

第二项是增量与反馈机制的验证。甲方对本场景提出了每季度归集新增招投标项目资料、持续补充新发现的招标规则与高频问答的要求。本节在数据层验证中核对增量机制是否成立：新增项目资料的归集流程是否可执行、新发现的规则是否有登记入口、反馈样本是否经审核后入库、入库前是否重新执行质检。这一项不测数量，只测机制是否闭合——因为首轮验证时增量还没有发生，能验证的只有通路。

1.5.2.6 典型样题与判分示例

表 38　标书场景的典型样题与判分方式

材料匹配题的判分需要说明两类失败的不对称。漏掉一件可用业绩，损失是少了一项得分证据；误用一件不可用业绩（项目类型不符、证明材料不全、超出可使用范围），后果是材料被评标质疑甚至被认定为虚报。因此本题型的判分对两类失败分别统计并分别设判据，误用一项的下限值定得明显更严。这种不对称在评测设计中要显式体现，否则一个在两类失败上表现相反的版本会算出相同的分数。

本场景的题型按三项业务判别设置：条款定位、三类要素抽取与漏项检查。三者的失败后果不同，判分规则与判据取值也不同。

条款定位题判别的是一条要求在招标文件中的确切位置。招投标文件的同一事项常在数处重复或互相限定：资格要求可能同时出现在投标人须知、资格审查办法与评审表；废标情形可能以否决投标、无效投标、不予受理三种措辞分散出现。答案须给出条款所在章节、条款号与原文片段，并在同一要求出现于多处时给出全部位置与其相互关系（重复表述、进一步限定、例外）。判分按位置齐对与关系判定两项分别统计。

要素抽取题按资格资质、技术、商务三类分设，三类的字段与判分口径不同。资格资质要素的判分对象是条件组合：资质类别与等级、业绩年限与数量、合同金额下限、财务指标、人员与设备要求，以及每项要求对应应提供的证明材料种类；少提取组合中的任一项即判该条抽取不成立。技术要素的判分对象是参数级字段：参数名称、要求值、单位、限定词（不低于、不高于、或相当于）与关键参数标记，限定词与标记的漏标单列统计。商务要素的判分对象是条款级条件：报价范围与构成、付款与结算条件、交付期与地点、质保期与售后响应、违约与履约担保，判分按条件齐对率统计。

漏项检查题判别的是要求矩阵中的条目在投标文件中是否都有对应应答。漏项有三种形态：矩阵条目在投标文件中无对应内容、有内容但未响应其实质要求、附件清单中列明的附件缺失。答案须给出漏项清单及每项所在的矩阵条目号与应答应在的位置。判分按漏项检出率与误报率并列统计，两者同时给出。

表 38A　标书场景题型的业务判别要点与评分式

表 38B　标书场景的四类专项测试构造

示范用例。取一道漏项检查题：某招标文件拆解后的要求矩阵含 120 个条目，待审投标文件由业务专家预埋 8 处漏项，其中 5 处为无对应内容、2 处为有内容但未响应实质要求、1 处为附件缺失。执行流程为：按冻结协议提交合同包与矩阵，系统逐条比对后输出漏项清单；复核组以预埋清单为基准逐条核验。设系统报出漏项 9 处，其中与预埋清单对上 6 处、误报 3 处，则检出率 ＝ 6 ÷ 8 ＝ 0.75，误报率 ＝ 3 ÷ 9 ≈ 0.33。两处未检出按形态归因：若漏的两处均为「有内容但未响应实质要求」，错因不在检索而在应答实质性判定，修复入口为要求矩阵条目的实质要求字段与判定样本；若漏的是附件缺失一处，修复入口为附件清单的结构化抽取。补数据后，对全部同形态条目整批复测，并同时观察误报率是否随之上升。本题的矩阵版本、预埋清单、逐条结果与六项绑定版本按 1.2.19 封存。上列取值为算式示例，不代表实测结果，预埋清单由业务专家按真实易错点构造，不取自任何一次真实投标的评审意见原文。

1.5.2.7 所需数据、接入条件与降级路径

表 39　标书场景的数据需求与降级路径

本场景的验证报告另有一项专门交付物：甲方在场景需求中要求出具《标书问答助手数据集验证报告》，明确数据集是否满足场景上线要求，同步记录现存数据短板与迭代优化方案。本节的场景验证报告按这一要求组织内容，并按甲方提出的数据集质量、场景功能、业务适配三个维度分章呈现，与本节四层结论的对应关系在报告首章说明。

1.6 决策数据智能问答（3.2.6.5.2.4）

1.6.1 场景介绍（3.2.6.5.2.4.1）

1.6.1.1 现场问题与验证要回答的疑问

招标文件对本场景的现状判断是：决策数据规模大、维度多元化、实时性要求高、关联逻辑复杂、指标含义深，传统人工分析与用数存在统计口径不一、跨系统取数难、报表理解滞后、异常波动归因慢、决策依赖个人经验五类问题。

这五类问题里有一类是其他四类的根源：统计口径不一。产值、成本费用、预算执行这类指标在不同部门的报表里本就有不同算法——口径不同不是错误，而是各部门按各自的管理需要形成的。问题出在没有一个权威登记：同一个指标名称对应几个口径、各自适用于什么场景、当前生效的是哪一个，这些信息不在任何一张报表里。于是跨系统取数难，因为取来的数不知道该不该放在一起；报表理解滞后，因为看到一个数先要确认它是哪个口径；异动归因慢，因为波动可能来自业务本身，也可能来自口径变更。

这一点决定了本场景验证的性质。其他四个场景验证的是「能不能找到正确的条款」，本场景验证的是「能不能用正确的口径算出正确的数，并且这个数能回到正式报表」。前者的判据是检索与引用，后者的判据是复算与对账。本场景因此是五个场景中工具调用判分份量最重的一个，也是唯一需要以正式报表为终局基准的一个。

本场景的排期前提须先写明。招标文件指出本场景基于九个业务域以及一套决策指标体系，而该指标体系在数据治理规划完成后形成。指标体系是本场景全部验证题目的基准：没有口径登记，题目的标准答案就无法确定。因此本场景的验证排在五个场景的最后一期，并按已确认的指标子集分批启动——已确认口径的指标先行验证，未确认的不进入基准分册，不以推定口径出具结论。这一条在排期中是硬约束，不是保守安排。

验证要回答四个疑问，对应招标文件的四项验证要求：决策数据知识库建得全不全（业务概念、指标、规则、分析报告四类知识）、自然语言查数准不准、异动归因是否归到了数据能证明的原因上、多轮上下文是否正确继承。

1.6.1.2 场景形态、智能体链路与我方验证定位

招标文件描述本场景为：基于人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量共九个业务域以及一套决策指标体系，通过大模型自然语言交互、智能数据分析、数据融合治理等技术，基于公司现有数字化系统及业务数据，建设一套决策数据问答助手，打通战略、运营、分析协同链路。

对应到本包，我方的工作是把指标知识这一层做实并验证到位：依据甲方提供的指标口径与计算逻辑，构建覆盖九个业务域的指标知识库、业务概念知识库、规则知识库与分析报告知识库——指标知识库逐项登记指标名称、描述、业务限定、维度、统计周期、统计范围、计量单位与计算逻辑；业务概念知识库登记决策分析相关的业务术语与行业、财务专业名词；规则知识库登记各指标的业务管理逻辑、管控要求、业务边界，以及数据来源、过滤条件与加工逻辑；分析报告知识库归集月度、季度、年度经营分析报告、专题分析报告与常态化业务台账。此外还须对自然语言提问标注其对应的指标项、业务限定、统计维度与统计周期，并标注取数逻辑与标准答案，产出「问题—指标口径—取数逻辑—答案」标注样本。

本场景的智能体链路在图 1 的骨架上有三处本质差别。一是第三个节点检索的对象是指标元数据与问法索引，不是条款原文；检索的目标是把提问映射到唯一的指标编码与口径版本，而不是找到一段可引用的文字。二是第五个节点是整条链路的重心：数值由确定性组件按登记的公式从已发布的指标事实取得并计算，模型不参与运算。三是增设一道对账门：关键结果交付前与正式报表、统计台账逐项核对，不一致即中止交付。

把运算交给确定性组件、模型只做意图识别与结果表述，这一取向对验证的影响是直接的：本场景的「数据准确率」不是一个模型指标，而是一个链路指标，它的判定方式是复算与对账，而不是与标准答案比字符串。甲方在场景需求中对数据准确率提出了不允许计算偏差与口径偏差的要求，并把数据零错误、口径齐备、场景可落地与问答无幻觉列为验收核心。我方据此把本场景的核心判据定为三路一致：一路由工具按登记公式执行，一路由验证侧独立复算，一路回正式报表核对；三路一致方判该题通过，不一致即阻断并把差异项转数据责任人。以零差错为目标，配的是这套三路复算加对账阻断的机制，而不是一个承诺数字。

表 40　决策数据场景的智能体链路与验证观测点

1.6.2 验证要求（3.2.6.5.2.4.2）

1.6.2.1 决策数据知识库建设能力验证

招标文件要求验证决策数据知识库建设能力，知识范围包含业务概念知识（公司生产、营销、采购、财务等决策分析相关的专属业务术语）、指标知识与规则知识（指标统计口径、统计范围、统计维度、计算逻辑、业务规则、统计规则），以及分析报告知识（月度、季度、年度经营分析报告、专题分析报告、离线台账）。四类知识的验证重点各不相同。

指标知识的验证是本项的核心，分三层。第一层是登记齐备：每个指标的名称、描述、业务限定、维度、统计周期、统计范围、计量单位、计算逻辑八项是否齐全，缺任一项即该指标不可用。第二层是口径唯一性：同一指标名称在当期是否只有一个生效口径，历史口径是否按适用时间区间保留而非覆盖。这一层是本场景最关键的验证项——同名多口径未经登记，是本场景错答的首要来源，而这类错误在答案成文之后极难发现，因为数字看上去完全合理。第三层是计算逻辑可复算：按登记的计算逻辑与指定数据快照，由验证侧独立复算一遍，结果与指标事实库中的值比对。第三层不通过的指标不进入基准分册，因为它的标准答案本身无法确定。

业务概念知识的验证重点是术语与别名的覆盖。本场景的提问大量使用简称与口语化表达，而这些表达能否映射到正确指标，取决于别名登记的完整度。验证做法是从甲方实际提问记录中提取术语与简称清单，逐条核对是否已登记，并统计歧义术语（同一简称指向多个指标）的标注情况——歧义术语须被标注为歧义并登记各候选指标，而不是择一登记。

规则知识的验证重点是取数逻辑的可执行性。每个指标的数据来源、过滤条件与加工逻辑须登记到可按其执行取数的程度；验证做法是抽取指标按登记的规则实际取一次数，看能否取到且结果与指标事实库一致。登记得模糊而不可执行的规则，在验证中与未登记同等对待。

分析报告知识的验证重点是作为对账基线的可用性。报告与台账入库后要能充当「正式结果」，须登记期间、单位、合计值、责任部门与版本。验证做法是抽取报告逐份核对这五项登记，并核对报告中的关键合计值是否被结构化抽取——未抽取出合计值的报告无法用于对账，只能当作文本检索对象。

表 41　决策数据知识库建设能力的验证项与取值

1.6.2.2 自然语言查数能力验证

招标文件要求验证自然语言查数能力，支持通过日常语言直接调用经营指标、生成可视化图表与多维指标分析。本项的验证分四段，与链路层①③④⑤对应。

第一段是指标映射。题目用口语化表达提问，验证映射到的指标编码是否正确、候选是否被唯一化。本场景的映射失败有两种形态：映射到了错误的指标，以及映射到了正确指标但选错了口径版本。两者的后果相同（数字错了），但修复入口不同——前者回别名与问法登记，后者回口径版本锁定。因此分别统计。

第二段是维度解析。验证时间范围、组织范围、项目、产品、比较方式是否被正确解析。时间范围是最易错的一维：「上月」「本季度」「去年同期」「年初以来」这类表达须按甲方的会计期间定义解析，而会计期间与自然月并不总是一致。验证专设一组时间表达题，逐一核对解析结果。

第三段是取数与计算。按 1.2.3 的工具调用四段判分执行，并加三路复算。本段是本场景的判据重心，题目按计算类型分五类统计：当期与累计值查询、同比与环比、预算偏差、多部门与多项目横向对标、周期趋势。五类的计算复杂度递增，分类统计才能看出失败集中在哪一类。

第四段是结果呈现与溯源。验证答案是否带指标编码、口径版本、数据时点、公式与来源报表，以及生成的图表是否与数值一致。图表与数值不一致是这类功能常见的问题，验证专设一组图表核对题，比对图表取值与答案文本中的数值。

甲方在场景需求中对本项提出了意图识别准确率不低于 0.96、常规单指标查询响应不超过 2 秒、复杂多维对比与长周期趋势分析不超过 5 秒的口径。后两者属工程侧，我方在验证窗口内测量并记入报告；意图识别准确率按表 4 属两侧共同，我方按同一量级设定目标值并按链路层分段归因。

首期按「意图识别准确率不低于 0.96」设定基线，下限值取 0.92。本项测的是链路第一个节点的要素识别，与第一段的指标映射、第二段的维度解析分开计：一道题的意图识别判为正确，须从提问中识别出的指标名称或简称、时间限定、组织或项目限定、比较方式四项要素与标准答案登记的意图结构一致；条件确实缺失或口径确实不唯一而助手发起反问的，同样计为正确——反问是本节点的正确行为。要素识别正确而后续映射到错误的指标编码，或把「上月」解析到错误的会计期间，不计入本项，分别计入第一段与第二段。三者分开计，是为了让一个未达标的数字能指出修复入口：本项失败回问法样本与别名登记，第一段失败回指标元数据索引，第二段失败回会计期间定义与维度主数据。

测定以本场景分册内的 230 道查数题为样本逐题核对，另按 1.2.4 的改写题比例把同一批考点换一种问法再测一遍，用于观察本项是否对特定问法过拟合；判分按 1.2.6 的规则约束加人工判定执行，人工复核按 1.2.13 的双人独立判分加仲裁作业，抽样比例不低于 30%。频次为每个数据集版本发布前随分册全量回归一次；两个版本之间若问法索引与术语别名有增补，就增补涉及的考点做一次增量复测。各轮取值按 1.2.7 的取值原则在验证前书面约定并经甲方确认，各版取值与达成情况在报告中并列记录。本项的门限与测法另在表 11A、表 11B 中同表登记。

实测低于 0.96 但不低于 0.92 的，按 1.2.7 判有条件通过，依 1.2.20 登记差距、可用与不可用范围、未结项与整改责任组；归因入口按表 40 ① 行指向问法样本与别名登记，补齐后对该错因类别涉及的全部题目复测，复测达 0.96 转通过。实测低于 0.92 的判不通过，本版本上不出该项能力结论，回流补问法样本与业务概念知识库中的术语别名后重新完整验证；连续两轮未达下限的，提请甲方与场景建设方共同评审，核对是口径与别名登记不足，还是分册的提问分布与甲方实际提问分布不符，评审结论记入验证报告。随别名、简称与问法样本逐版补齐，目标逐步接近 0.98，各版缺口在报告中明列。

图 8　自然语言查数的受控取数链路与三路复算对账

图 8　自然语言查数的受控取数链路与三路复算对账。数据来源：招标文件 3.2.6.5.2.4.2 自然语言查数与异动归因验证要求，3.2.6.3.4 九个业务域四类知识库建设要求，3.2.6.3.5「问题—指标口径—取数逻辑—答案」标注要求。

表 42　自然语言查数能力的验证项与取值

1.6.2.3 智能异动归因能力验证

招标文件要求验证智能异动归因能力，支持自动识别指标异常波动、追踪影响因素并快速定位业务异常根源。这一项的验证口径须写得克制，因为它最容易越界。

归因的输出分三层，验证分层进行，判据逐层不同。

第一层是异动识别：给定一组指标时序，判断哪些期的哪些指标出现了异常波动。判据是与专家标注的异动清单比对，统计检出率与误报率。这一层是统计问题，可自动判分。

第二层是结构性分解：把一个指标的波动分解到其构成项或维度上，说明「变动主要来自哪一部分」。例如某项费用上升，分解到部门、项目或费用科目，指出贡献最大的几项及其贡献度。这一层是确定性计算，判据是分解结果可复算——贡献度之和是否等于总变动、分解维度是否完备。本层的失败多数不是算错，而是分解维度不完备，漏掉了一个维度上的变动。

第三层是业务原因。这一层的验证规定与制度场景的冲突定性同理：系统只输出数据能够证明的结构性原因，涉及市场、组织或管理原因而缺少证据时，应提示需要补充业务材料，不得自行推断。验证专设一组「原因不在数据内」的题目，考察是否正确提示而不是编造一个听起来合理的解释。这类编造在本场景危害最大——一个带着具体数字的错误归因，会被当作分析结论直接用于决策。

因此本项的主要指标不是「归因准确率」，而是两个指标的组合：结构性分解的可复算率，与超出证据的归因发生数。前者衡量能做到的部分做得对不对，后者衡量做不到的部分是否诚实。只报前者会鼓励系统多说；只报后者会鼓励系统少说。两者并报，才对得上本项的实际用途。

表 43　智能异动归因能力的验证项与取值

表 43 中的「口径变更辨识」一项是本场景特有的。指标口径在期间内发生变更时，同比数据会出现一个与业务无关的跳变；若系统把它当作业务波动去归因，会得出完全错误的结论。这一项以专设题测定，题目取自甲方实际发生过的口径调整，是本项验证中最能体现对本场景理解程度的一组题。

1.6.2.4 多轮上下文问答能力验证

招标文件要求验证多轮上下文问答能力，支持连续多轮对话，在上下文中保持用户查询意图的连贯性，后续追问自动继承上下文条件。本项的验证按四种多轮形态构造题目，分别统计。

第一种是条件继承：首轮确定了指标、时间与组织范围，追问只改变其中一项（如「那上个月呢」），其余条件应被继承。验证重点是被继承的条件是否正确保留，以及被改变的那一项是否正确更新。

第二种是条件叠加：追问在原条件上增加一个筛选条件（如「只看某个分厂」），验证是否正确叠加而不是替换。

第三种是递进分析：追问要求对上一轮结果作进一步分解（如「拆到项目看看」），验证分解对象是否正确锚定在上一轮的结果上。

第四种是话题切换：追问转向一个无关指标，验证是否正确识别为新话题并清除不适用的上下文条件——继承了不该继承的条件，是这一形态的典型失败。

四种形态各不少于 25 道题，按形态分别统计轮级一致率。另设一组长多轮题（不少于六轮），考察轮次增加后条件是否逐渐漂移；这一组按轮次位置统计一致率，观察漂移是否随轮次累积。

表 44　多轮上下文问答能力的验证项与取值

1.6.2.5 本场景数据层验证要点

本场景的数据层验证有一项与其他四个场景根本不同：本场景的核心数据资产不是语料，而是口径登记。预训练语料在本场景的作用有限——经营数值不应被注入模型权重，注入之后既无法随报表更新，也无法逐条溯源。因此本场景的预训练语料面核对对象是经营分析的表述体例与专业术语，知识探针题考察术语与概念理解，不考察具体数值。这一点在数据层验证中要写明，否则会出现用数值题做探针、分数很高而实际风险很大的情形。

指令样本的核对对象是「问题—指标口径—取数逻辑—答案」标注样本。核对三项：九个业务域是否都有样本、每个域内的提问类型是否覆盖五类计算（当期累计、同比环比、预算偏差、横向对标、周期趋势），以及每条样本的四段标注是否齐备。第三项是本场景样本质量的关键——只标了问题与答案而未标口径与取数逻辑的样本，训练出来的模型会直接记住答案，而答案会随期间变化。

偏好对齐子集在本场景的三组偏好：带溯源的回答优于不带溯源的回答，口径不唯一时反问优于择一作答，无据时提示优于推断。第二组是本场景特有的，须专门构造并单独验证判别准确率。

工具调用样本在本场景份量最重，须覆盖取数、汇总、同比环比、预算偏差、排序、贡献度与对账七类工具的调用形态，每类的参数构造样本不少于约定下限。覆盖缺口按类回流指令数据生成环节。

1.6.2.6 典型样题与判分示例

表 45　决策数据场景的典型样题与判分方式

本场景的题型按四项业务判别设置：指标口径、查询权限、时间粒度与确定性计算。四项之间有先后：口径定不下来，时间粒度与计算都无从谈起；权限定不下来，算出的数不该返回。判分顺序按此先后排列。

指标口径辨识题判别的是一次提问应落到哪一个指标的哪一个口径版本。同名多口径在经营指标体系中是常态：产值、成本费用、预算执行在不同部门的报表里各有算法，差别在统计范围、是否含税、是否含内部交易、是否按权责发生制。答案须给出指标编码、口径版本与生效区间；当提问未给出足以唯一确定口径的条件时，须列出各候选口径及其适用范围请提问人确认，择一作答即判该题计零分。判分对两种失败分别统计：映射到错误指标，与映射到正确指标但选错口径版本——前者回别名与问法登记，后者回口径版本锁定。

查询权限边界题判别的是提问账号的数据范围。决策数据的权限不止于能否看见某个指标，还包括能看到哪一级组织、哪一个项目、哪一档明细：同一个成本指标，分厂岗位可见本厂、部门管理可见本部门汇总、公司管理可见全量明细。答案须给出按账号数据范围过滤后的结果，或在越界时给出权限提示与可查询范围。判分以权限门乘子为前置，返回越权数值即判不通过。

时间粒度题判别的是时间表达到会计期间的映射。「上月」「本季度」「去年同期」「年初以来」「近十二个月」须按甲方的会计期间定义解析，而会计期间与自然月、自然季并不总是一致；同一指标在日、周、月、季、年五档粒度上的可得性也不同，粗粒度指标不得由细粒度数据自行汇总，反之亦然。答案须给出解析后的起止期间、粒度与数据时点。时间范围解析错即该题计零分，不再往下判数值。

确定性计算题判别的是数值本身。数值由确定性组件按登记公式从已发布的指标事实取得，模型不参与运算。判分按 1.2.3 的工具调用四段执行，并加三路复算：工具按登记公式执行、验证侧独立复算、回正式报表核对；三路一致方判通过。结构性分解类题目另加一项校验：各分解项贡献度之和须等于总变动，不等即该题计零分。

表 45A　决策数据场景题型的业务判别要点与评分式

表 45B　决策数据场景的四类专项测试构造

示范用例。取一道结构性分解题：某项费用本季度较上季度上升，要求分解到费用科目并给出主要贡献项。执行流程为：意图识别确定指标编码与口径版本；权限门按账号数据范围放行；期间解析确定本季度与上季度的会计起止与数据时点；取数工具按登记公式分别取两期各科目金额；分解组件计算各科目变动额与贡献度；对账门以季度经营分析报告的该费用合计值核对两期总额。设总变动为 100，分解出四个科目的变动额为 46、31、15、8，贡献度分别为 0.46、0.31、0.15、0.08，之和为 1.00，校验通过；三路复算中工具结果与验证侧独立复算一致，与报表合计值亦一致，该题计 1 分。设另有一题贡献度之和为 0.92，则该题计 0 分，错因归⑤的分解维度不完备，修复入口为规则知识库中该指标的分解维度登记；补登记后，对全部以该指标为对象的分解题整批复测。两题的取数记录、三路结果、对账状态与六项绑定版本按 1.2.19 封存。上列取值为算式示例，不代表实测结果。

1.6.2.7 所需数据、接入条件与降级路径

表 46　决策数据场景的数据需求与降级路径

本场景另有一项与其他场景不同的交付安排。甲方对本场景提出了交付经营决策数据资源梳理台账及口径说明书、标准化决策问答知识库数据集、问答场景清单与指标口径对照表及取数逻辑说明文档，以及准确率验证报告等成果的要求。其中资源台账、口径对照表与取数逻辑说明属数据加工交付物，在数据加工生产章节交付；本节交付的是问答场景清单与准确率验证报告，并在报告中引用口径对照表的版本号，使两者可对应核查。

1.7 合同合规智能审查（3.2.6.5.2.5）

1.7.1 场景介绍（3.2.6.5.2.5.1）

1.7.1.1 现场问题与验证要回答的疑问

招标文件对本场景的现状判断是：合同标的大、条款复杂、履约周期长、技术约束多、合规要求高，传统人工审核存在效率低、标准不一、风险识别不全、法务审计协同不畅四类问题。

四类问题中，「标准不一」与「协同不畅」是同一件事的两面。合同审查不是一个人的工作，而是多个角色各看一段：合同管理部门看流程与制度合规，业务主办部门看交易实质与履约能力，财务部门看价款、税率与预算，经营管理部门看价格与信用审批，技术部门看技术协议与验收标准。各角色的审查要点不同，依据不同，深度也不同。人工做法下，每个角色凭各自的经验看，看到什么取决于谁在看；意见汇总时又没有统一的分类与依据登记，于是同一类问题在不同合同上被提出的尺度不一致。

因此本场景的验证对象与前四个场景有一处重要差别：它不是一个问答能力，而是一套按角色与审查维度组织的检查能力。验证的组织方式必须跟上这一点——把审查能力拆成可逐项核对的审查单元，每个单元有自己的检查项、依据来源与判定方式，而不是笼统地测一个「风险识别准确率」。

甲方对本场景的审查范围已有成形的划分：按合同审查相关主体的法定与制度职责，划分为合法性审查、公司制度及监管合规审查、财务审查、业务主办部门审查、经营管理与技术部门审查五大类，五大类下共 33 个编号审查单元。这一划分构成本场景验证的骨架：基准分册按 33 个单元分配题目，指标按单元统计，整改任务单按单元归集。

验证要回答四个疑问，对应招标文件的四项验证要求：合同知识库建得全不全（合同文本知识与合规风控知识两类）、合同解析与关键信息抽取准不准、四类风险识别得出来不出来、相对人工审查快了多少。

1.7.1.2 场景形态、智能体链路与我方验证定位

招标文件描述本场景为：基于合同文本、历史审查意见、法规政策、风险规则、案例库构建高质量合同数据集，通过大模型实现合同智能解析、条款分类、风险识别、合规检查、修改建议、审查会签、报告生成、知识沉淀，打通法务、业务、审计协同流程，实现全生命周期合规管控。

对应到本包，我方的工作落在三处：合同文档的版面解析、章节结构还原与正文切分；对招投标文件与合同文本标注条款类型、风险点与合规判定结论，对标合同八大核心要素（当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法）标注要素完整性，并对照模板基线标注新增条款、删减条款与修改条款；以及法规条文、内部制度条文与案例的知识条目登记。

本场景的智能体链路在图 1 的骨架上有两处特异。一是第三与第四个节点要处理「合同包」而不是单份文档：一次审查的对象是合同正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件的集合，条款之间要跨文件比对。二是审查结论按依据强度分两类交付：明确违反法定条款或制度条款的作确定性判定，逐条附所违反的条款原文与位置；其余作风险提示与条款对照，只列事实与对照、不下定性结论。两类结论在验证中分别判分，判据不同——第一类按与依据条款的比对判对错，第二类按是否提出且对照是否完整判，不判定性结论的对错。

把两类结论分开判，是本场景验证方法上的关键取舍。合同审查的结论强度本就不同：违反强制性规定是可以逐条指认的事实；而某条款是否对己方不利、能否接受，取决于交易背景、议价地位与履约安排，这些信息不在合同文本之内。把两类混在一起测一个准确率，会出现两种扭曲——系统为了提高准确率而只报确定性判定、漏掉大量值得提示的风险；或者把风险提示也当作判定去测，于是一个本该由人权衡的问题被算成了系统答错。

表 47　合同合规审查场景的智能体链路与验证观测点

1.7.2 验证要求（3.2.6.5.2.5.2）

1.7.2.1 合同知识库建设能力验证

招标文件要求验证合同知识库建设能力，知识范围包含合同文本、附件、补充协议在内的合同文本知识，以及法律法规、风险识别规则、法务预警指标与行业典型案例库在内的合规风控知识。

合同文本知识的验证重点是文档组的完整与关联，而不是单份合同的收录。一份合同的审查对象是一组文件，其中补充协议会修改正文条款、附件会细化标的与验收标准、技术协议会约定技术指标。关联缺失的后果是审查对象不完整，而这类缺失在单份文档的质量指标上看不出来。验证做法是以合同标识为单位抽样，逐组核对：该合同的正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件是否齐备登记并正确关联；补充协议与正文的修改关系是否登记（哪一条被哪一份补充协议修改）；多份补充协议之间的时间顺序与效力关系是否正确。

合规风控知识的验证分四项。法律法规条文的登记正确率与时效性，核对内容包括条文编号、条文内容、现行有效状态与所属法律名称；本场景的法规覆盖重点是民法典合同编及相关司法解释。内部制度条文的登记，核对合同管理制度、销售合同管理制度等相关制度的条款是否按条款级登记并与审查单元关联。风险识别规则库的登记质量，核对每条规则是否含触发条件、所依据的条文或制度条款、风险类别、风险等级与处置建议五项要素。行业典型案例的登记，核对每则案例是否附事实摘要、争议焦点、裁判或处理要点与可参照范围四项。

甲方在场景需求中对本场景的数据集规模提出了明确口径：训练集合同样本不少于两千份，验证集不少于五百份，独立测试集不少于三百份并在训练与验证过程中隔离；法律法规与司法解释条文不少于五百条，公司内部规章制度条目不少于五十条，标注的审查场景要素不少于一百个。数据质量方面提出准确性、完整性、一致性、可追溯性四个维度：标注准确率不低于 0.98，关键要素标注趋近完备，标注字段完整，同类合同与同类条款的标注结果保持内在一致，每条标注结论可追溯到原始合同文本的具体条款与相关制度依据。我方按这些口径设定本场景数据层与知识层的目标值，并把三集隔离作为硬约束执行：测试集在训练与验证过程中不被任何环节接触，隔离按来源与时间双重切分。

表 48　合同知识库建设能力的验证项与取值

1.7.2.2 合同智能解析能力验证

招标文件要求验证合同智能解析能力，支持 Word、PDF 等识别与关键信息抽取。本项的验证分格式与内容两条线。

格式线验证不同来源格式的解析质量。合同文档的来源形态差异很大：本方起草的多为可编辑文档，对方提供的常为转换后的版式文档，历史归档件常为扫描件，附件中还有表格形式的报价清单与技术参数表。四类形态分别统计解析正确率，其中扫描件一项另记原件清晰度分档，使指标与原件质量挂钩而不是混为一谈。

内容线验证关键信息抽取，以合同八大核心要素为主干。八要素的抽取难度不均：当事人信息、价款、履行期限相对规整；标的物、数量、质量常分散在正文与附件中；违约责任与争议解决方式的表述形式多变。八要素分项统计抽取齐对率，并统计要素完整性判定的正确率——这一项指的是判断合同中某要素是否约定完备（如质量条款是否指明标准、违约责任是否约定了计算方式），而不只是抽出一段文字。

此外须验证对照模板基线的变更标注：待审合同与标准合同文本比对后，新增条款、删减条款与修改条款是否被正确识别并标注。这一项是制度合规审查中标准文本使用合规性单元的数据基础，验证做法是以人工比对结果为基准统计三类变更的识别正确率，并统计实质性变更与非实质性变更的区分正确率——后者需要判断一处文字改动是否改变了权利义务，是本项中最难的一步。

表 49　合同智能解析能力的验证项与取值

1.7.2.3 风险智能识别能力验证

招标文件要求验证风险智能识别能力，支持自动识别合规风险、责任风险、交付风险、付款风险。四类风险是招标文件给出的分类，而甲方的审查职责划分是按五大类 33 个审查单元组织的。两套分类不冲突：前者是风险的性质，后者是审查的组织方式。本节的做法是以 33 个审查单元为基准分册的组织单位，同时为每条风险标注其所属的四类风险类型，使两套口径都能统计——评审时按招标文件的四类看，整改时按审查单元看。

表 50 给出 33 个审查单元与四类风险的对应，以及各单元的基准题量分配。题量按两条原则分配：单元的业务发生频次，与该单元失败的后果严重程度。因此合法性审查与制度合规审查的题量高于其余三类，而其中主体资格、内容合法性、招投标一致性、用章合规、预算执行五个单元的题量最高。

表 50　33 个审查单元、风险类型对应与基准题量分配

图 9　合同审查的五大类审查单元、证据分层与两类结论

图 9　合同审查的五大类审查单元、证据分层与两类结论。数据来源：招标文件 3.2.6.5.2.5.2 风险智能识别验证要求，3.2.6.3.5 合同八大核心要素与条款类型、风险点标注要求，3.2.6.3.2 文档类资料解析要求。

风险识别的判分按两类结论分别组织，并按 33 个单元与四类风险两套口径统计。此外采用加权综合评分，权重按甲方在场景需求中给出的口径设定：合法性判定准确率权重 30%，合规性判定准确率权重 25%，财务审查准确率权重 20%，法条与制度引用准确率权重 15%，修改建议与解决方案合理性权重 10%。综合评分的档位沿用甲方口径：90 分以上为优秀，80 至 90 分为良好，70 至 80 分为合格，70 分以下为不合格。本节把这套加权评分作为场景级综合结论，同时保留 33 个单元的分项指标——综合分用于向管理层汇报趋势，分项指标用于派整改任务，两者用途不同，不可互相替代。

表 51　风险智能识别能力的验证项与取值

1.7.2.4 效率提升验证

招标文件要求验证效率提升情况，支持单份合同审查时长较人工明显缩短。与制度场景的效率验证同理，这一项的分母须实测。

人工基线的建立做法是：抽取 30 份合同，按简单、中等、复杂三档各 10 份，交由甲方相应岗位人员按现行审查方式审查并计时。计时从拿到合同包起，到出具审查意见为止。对照组按角色配置：法务、财务、业务三类角色各不少于两人，按角色分别计时并记录各自的审查要点覆盖情况。人工审查的时长与覆盖面互为条件，审得快可能来自只核查了部分条款。因此本项除时长外，另统计人工对照组的审查单元覆盖数，与系统的覆盖数并列呈现。

助手侧时长取自验证窗口内的日志，按同一批合同的同档位统计中位数。缩短幅度按档位分别计算。另记录的绝对量包括：单份合同从上传到出具审查意见的时长、跨文件比对的耗时占比。

表 52　效率提升的验证项与取值

覆盖面对比一项是本场景效率验证的要点。合同审查的效率改善若只体现为时长缩短，其价值有限；真正的改善在于在更短时间内覆盖了更多审查单元——人工审查受时间与精力限制，多数情况下只能覆盖其中一部分单元，而 33 个单元的逐项核对恰恰是系统的优势所在。把覆盖面与时长并列，这一项的结论才对得上招标文件所说的「风险识别不全」这一类问题。

1.7.2.5 本场景数据层验证要点与迭代机制

本场景的数据层验证重点在三集隔离与标注一致性，已在 1.7.2.1 给出指标。此处补充两项与其他场景不同的要点。

第一项是确定性检查与模型判断的分离统计。本场景的 33 个审查单元中，一部分是可以逐条比对的检查（金额大小写一致、日期与期限逻辑、用印与审批流程齐备、材料清单完整、证照有效期），这类归确定性组件承担，其指标按回归用例集逐条重跑统计，每次发版重跑；另一部分需要判断（条款风险识别、表述歧义提示、同类合同对照），这类归模型参与项，其指标按独立隔离的评测集统计，评测样本取自训练样本未覆盖的合同类别与时间段。两类分别统计的理由是：若同一批合同既用于调优又用于评测，指标会系统性偏高，验收看到的准确率与真实表现之间的差距无法估计；而两类检查的失败方式也不同——确定性检查的失败是规则写错，可以逐条修正；模型判断的失败须在隔离样本上才能观测。

第二项是迭代验证机制。甲方对本场景提出了四类验证节奏：季度全面验证（每季度执行一次覆盖五大类全部审查单元的验证，出具季度验证报告）、增量快速验证（新增合同类型、新增审查场景、法规重要更新、制度重要修订、规则引擎重大调整或模型版本升级时启动）、回归验证（任何模型更新、规则库调整或系统版本升级后执行回归验证，防止性能退化）、反馈闭环优化（将问题分类并分别反馈至数据标注、模型训练、规则引擎与产品功能四个环节）。本节的五阶段流程与这四类节奏的对应关系见表 53。

表 53　合同场景的迭代验证节奏与本节流程的对应

表 53 中的回归验证一项须说明一个判据：回归的通过标准不是「指标不低于上一轮」，而是「确定性检查项逐条通过，模型参与项的各分项指标相对上一轮的下降不超过约定幅度」。只看总分不看分项，会掩盖此消彼长——某一类风险的识别率上升而另一类下降，总分可能不变，但下降的那一类在业务上可能恰恰是更重要的。

1.7.2.6 典型样题与判分示例

表 54　合同合规审查场景的典型样题与判分方式

本场景的题型按五项业务判别设置：条款识别、规则依据、跨文件冲突、风险分级与人工复核转交。五项对应审查作业的五个动作，判分规则逐项不同。

条款识别题判别的是一处约定属于哪一类条款、落在哪一个审查单元。合同条款的类别不由标题决定：一条写在「其他约定」里的内容可能是违约责任，一条冠名「验收」的条款可能同时约定了付款触发条件。答案须给出条款类型、所属审查单元编码与条款原文位置；一条约定同时落入多个审查单元时须全部给出。判分按类型判定与单元归属两项分别统计。

规则依据题判别的是一条审查意见所援引的依据是否真实、现行且对应。依据分三层：法律法规与司法解释条文、内部制度条款、标准合同文本的模板条款。答案须给出规则编号、所依据条文的编号与版本，以及该条文的原文片段。判分以引用校验门为前置：所引条文不存在或已失效时该题计零分，并分别计入依据引用不实与依据时效错误两项发生数。

跨文件冲突题判别的是合同包内各文件之间的不一致。一次审查的对象是合同正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件的集合；冲突形态有三种：同一要素在两份文件中取值不同、补充协议修改了正文条款而效力顺序未理清、合同约定与中标结果不一致。答案须给出不一致项、双方原文位置、涉及的文件与版本，以及按效力顺序确定的现行约定。未发现不一致即该题计零分。

风险分级题判别的是一处风险的等级。等级按后果严重程度与发生可能性两维确定，划分尺度由甲方法务确认后写入协议。答案须给出风险类别、等级与定级所依据的事实。判分按等级一致率统计，并按相差一档与相差两档分别记数；相差两档的样本逐条复核，其定级依据退回规则库修订。

人工复核转交题判别的是一处结论该不该由系统给出。重大风险、证据冲突、法律适用争议、复杂金融与税务事项，以及置信度低于协议阈值的结论，一律转专业人员，系统只给事实与对照。答案须给出转交标识、转交理由与已确认的事实部分。自行给出定性结论即该题计零分；应转而未转与不应转而转两类分别统计。

表 54A　合同合规审查场景题型的业务判别要点与评分式

表 54B　合同合规审查场景的四类专项测试构造

示范用例。取一道跨文件冲突题：合同包含正文一份、技术协议一份与补充协议两份，问现行有效的交付期约定。执行流程为：按合同标识聚合文档组，核对成员齐备；按签订时间与效力条款确定两份补充协议的顺序；抽取正文、技术协议与两份补充协议中的交付期条款及其位置；比对后按效力顺序确定现行约定；引用校验门核验所引条款在各文件中真实存在。设正文约定交付期为合同生效后九十日，技术协议约定为设备到场后六十日，第二份补充协议将正文交付期改为一百二十日，则标准答案为：现行交付期按第二份补充协议计一百二十日；技术协议的六十日为设备到场后的分项节点，与正文口径不同，构成需澄清的不一致项，附双方原文位置并提示由业务与技术部门确认。若答案只给出正文的九十日，该题计 0 分，错因归③的文档组关联或②的效力顺序判定，修复入口分别为文档组关联登记与补充协议修改关系登记；补登记后，对全部含两份以上补充协议的合同包题目整批复测。本题的文档组快照、逐条比对记录、归因与复测结果，连同模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 封存。上列为构造示例，条款取值由业务专家按模板基线设定，不取自任何一份真实合同的审查意见原文。

1.7.2.7 所需数据、接入条件与降级路径

合同场景的材料有一道其他场景没有的前置：合同文本含商业秘密与客户信息，须先完成脱敏与授权方可进入验证环境，到位周期因此比其他场景长。表 55 逐项列明本场景所需材料、用途、来源与降级口径，脱敏与授权作为取用前提写在来源一列。

取舍依据是该项材料支撑哪一类审查单元。法律法规与司法解释条文是合法性审查的依据库，其覆盖范围即结论的适用边界，首轮按民法典合同编及相关司法解释先行；近三年法务审查意见是应提风险清单的基准，也是回放题唯一的来源，以专家集中标注替代时回放一项不出结论；风险等级划分与责任风险判定尺度决定等级一致率能否成立，尺度未经甲方确认的以三档粗分暂定并标注为暂定口径；预算科目与可用额度数据只影响 F-05 一个审查单元，缺失时该单元退为预算科目登记核验。人工对照组按法务、财务、业务三类角色安排，原因在于合同审查的人工基线本身跨岗位，单一角色的计时代表不了全流程。

第四列是判据，给出每项材料缺位时验证范围如何收缩；受影响的审查单元在本场景验证报告中逐一列明，不以可得范围内的结论代表全部合同类型。

表 55　合同合规审查场景的数据需求与降级路径

1.8 五个场景的验证组织、排期与风险

1.8.1 五个场景的共性与差异

五个通用场景在技术形态上同源，都走「文档或指标→结构化→检索→（工具调用）→受控生成」的链路，因此共用 1.2 节的方法。它们在验证重点上的差别见表 56，排期与资源按这张表分配。

表 56　五个通用场景的验证重点对比

从表 56 可以读出三件事。

一是对甲方材料的依赖程度决定启动顺序。制度与标准两个场景的原文已在招标文件中明确由甲方系统提供，可最先启动；标书与合同两个场景依赖历史档案的整理与授权，启动稍后；决策数据场景须等治理规划产出指标体系，排在最后。

二是五个场景的验证重点各不相同，不能用一套指标表套五个场景——这也是本节为每个场景单独给出指标表的原因。但判据分级、复核规程、归因方式与报告结构是统一的，这保证了五个场景的结论可以横向比较。

三是工具调用份量决定人工复核的投入结构。决策数据与合同两个场景的工具调用份量重，其判分依赖复算而不是语义判断，自动化程度反而更高，但复算本身需要验证侧独立实现一遍，前期投入在准备阶段；制度与标书两个场景的判分含更多语义判定，人工复核的工作量集中在执行阶段。资源安排按这个差别错峰。

1.8.2 分期与排期

排期按四期推进，总体节奏与数据集版本迭代对齐：每一版数据集发布前完成一轮验证，验证报告作为该版本发布的前置条件。

图 10　五个通用场景验证的分期排期与依赖关系

图 10　五个通用场景验证的分期排期与依赖关系。数据来源：招标文件 3.2.6.5.2 各场景验证要求，3.2.6.3.9 对验证报告作为版本发布前置条件的要求，3.2.6.5.2.4.1 对决策指标体系形成时点的说明。

一期条件准备。提出数据需求清单并跟踪到位、构建验证基准分册、完成专家出题与终审、与场景建设方约定接入条件、冻结评测协议。本期的产出是五份场景验证方案与评测协议、五个基准分册。本期的关键路径不在我方而在甲方材料到位的速度，因此数据需求清单在项目启动后两周内提出，并按周跟踪。

二期首轮验证。按场景顺序执行评测、人工复核与归因，出具首轮验证报告与整改任务单。本期允许各场景错峰执行，人工复核组可在场景间复用，但不同场景的复核人员须分别培训与试判。

三期整改复测。按整改任务单修复数据子集与知识条目，对错因类别涉及的全部题目复测，出具复测记录与闭环结论。本期的排序原则是：上游缺陷优先于下游缺陷——文档解析缺陷先于标注缺陷，标注缺陷先于样本覆盖缺陷，因为下游的修复以上游的正确为前提。

四期迭代验证与交付。随数据集版本迭代执行后续轮次验证，逐版抬高指标取值，出具能力增量报告与版本对比，形成完整的验证档案移交甲方。合同场景按季度全面验证的节奏并入本期，标书场景的技术模块在本期纳入验证范围。

1.8.3 组织与把关

验证工作按五个角色组织，角色由项目组内部分工承担。

出题与基准组负责基准分册构建、题面评审与改写集制作，需甲方业务专家配合出题与终审。评测执行组负责协议冻结、评测调度、日志与指标统计。复算组负责决策数据与合同两个场景的独立复算实现，以及公式题的第二路计算。人工复核组负责判分复核与仲裁，成员须经试判，组内一致性按 Kappa 监控。归因与整改组负责错因归类、整改任务单与复测跟踪，与数据加工环节直接对接。

把关点设四处：基准集与协议经甲方业务专家确认后冻结；首轮验证报告经甲方相应业务部门确认；归因结论经数据加工责任组确认后派工；复测闭环结论由我方与甲方共同签署。四处把关都留书面记录，作为验收依据。

出题与复核分离是一条硬规定：参与某分册出题的人员不参与该分册的复核。理由在 1.2.13 已述——出题人知道答案依据，判分时无法保持独立。

1.8.4 与质量测评服务的衔接

本项目另有数据集质量测评服务，依据《高质量数据集质量评测规范》出具正式评测报告，综合总分不低于 85 分为合格。场景验证与质量测评的关系是：质量测评针对数据集本身的质量属性出具合规核验结论；场景验证针对数据集在具体业务任务上的效用出具可用性结论。两者的结论互为补充，不互相替代——数据质量合格而场景效果不达预期的情形是存在的，此时归因通常指向覆盖盲区或难度分布缺口，而不是数据脏。

两者在时序上的安排是：质量测评的首轮整批评测先行，场景验证在其后启动，避免在已知脏数据的基础上做场景验证而把时间浪费在重复发现同一批问题上。场景验证发现的数据缺陷按归因任务单回流，并同步通报质量测评方，纳入缺陷整改复测范围。

两者在指标上有一处须对齐：质量测评的模型应用维度与本节的数据层验证使用同一批模型版本与同一套评测协议，避免同一件事在两处得出不同结论。对齐方式是共用评测协议中的基准集标识与模型版本标识，两份报告互相引用版本号。

1.8.5 与训练推理服务、工具链的协同

本节与行业大模型训练推理技术服务的协同关系有三条。第一，四个模型版本由训练侧按本节给出的协议产出，本节不介入训练过程；版本标识由统一网关登记，作为评测结论可复算的依据。第二，本节的能力增量结论反向作为下一轮训练的输入：某一能力维度在某一版本间无提升，其归因结论（语料缺口、样本缺口、偏好缺口）构成下一版数据集的修订方向。第三，评测执行一律经统一网关提交，不自行接入模型，确保调用范围与数据出域情况可审计。

与专项智能工具链的协同关系已在表 15 列明。此处补充一条工作约定：验证执行中发现的工具缺陷（如切分规则对某类版式失效、表格解析对某类表头失效）作为工具侧的问题单提出，与数据侧的整改任务单分开管理。两类问题的修复周期不同——数据问题可以逐条修，工具问题要改规则并重跑整批，混在一张单子里会把工期估错。

1.8.6 风险与应对

本节的风险集中在三处：验证的输入，即甲方材料与业务口径；验证的对象，即场景侧的可调用通道；以及验证本身的测量可靠性。三者任一失守，结论不是出不来，就是出来了也不可信。表 57 按这三处梳理主要风险，逐条给出具体表现与应对。

条目有两处来由。一是甲方在场景需求中已经显露的前置依赖——历史投标文件、法务审查意见与标准台账的整理授权需时，决策数据的指标口径涉及多部门确认；二是评测执行中反复出现的失真，如基准题进入训练样本致指标虚高、判分尺度随时间漂移、工具缺陷与数据缺陷混在一张单子里导致工期估错。两类之外的一般性项目风险不列入本表。

第三列是判据，每一条应对都落在前文已经写定的机制上：按已到位范围分批构建分册见 1.2.4，分层出结论见 1.1.3，判分一致性下限与仲裁规则见 1.2.13，单人单日判分量上限见表 17，入册双向查重与每轮泄露抽查见 1.2.4 与 1.2.8，每版取值的事前约定与连续两版未达时的共同评审见 1.2.20。第二列是证据，给出该风险在本项目的具体形态而非一般性描述。

其中两类最为吃紧。材料到位迟与场景侧通道滞后决定能否按期出结论，二者的应对取同一思路：把等齐再测改为按已到位范围分批测、按层分列结论、未覆盖范围逐项写明，使进度风险转为范围收缩而不是停工。基准题泄露则决定结论可不可信，一经发现即替换该题、扩大检查范围并重测相应批次。

表 57　通用场景验证的主要风险与应对

1.8.7 工作量与交付节点

本节工作量按五个场景分别估算，口径为我方投入的人日，不含甲方配合人力。估算依据是各场景的基准分册题量、需人工核对的样本量、复算工作量与人工复核工作量上限（见表 17）。

表 58　通用场景验证的工作量估算

表中人工复核与基准集构建两项的人日占比最高，这与本节的方法取向一致：五个场景的多数指标含主观判定，出题质量与复核质量决定结论可信度，这两部分工作量不压缩。复算实现一项集中在决策数据与合同两个场景，是本次新增的投入，对应 2.3 的三路复算要求。若甲方材料到位延迟，基准集构建环节的人日会分散到更长的周期内而总量不变。

表 59　交付节点与交付物对应

1.8.8 验证所需的材料、接入条件与提供方

五个场景的验证以甲方业务材料与场景建设方的接入条件为输入。下表按场景与用途归并，逐项列明所需材料、用途、提供方与其关联的验证项，作为项目启动后两周内提出的数据需求清单的内容基准；材料到位进度按周跟踪，到位情况与验证排期挂钩。

表 60　验证所需的材料、接入条件与提供方

表 60 中第 18 项是五个场景唯一的硬前置：决策数据场景的全部验证题目以指标体系为基准，该项未到位时本场景只能按已确认的指标子集分批验证。其余各项不具备时，按各场景末尾的降级路径执行，并在验证报告中标注受限范围与受限对结论的影响。