## 数据集质检报告与场景验证报告样章
### 一、本附件的定位、样章清单与填写约定
#### 1.1 本附件回应招标文件哪一条，以及为什么交样章
本附件回应招标文件 3.2.6.3.8「数据集质检」（b1532—b1545）、3.2.6.3.9「数据集验证」（b1546—b1562）与 3.2.6.3.10（2）关于每一正式发布版本须产出质检报告与验证报告的要求（b1568），并回应 3.2.6.5「场景验证服务」项下六个专业场景（b1605—b1712）与五个通用场景（b1714—b1784）的验证要求在报告层面的落点。
这一要求在招标文件配套设施建设内容中另有上位表述——数据集质量评测须完成本项目多模态自建数据集的首轮全量评测、缺陷整改复测等过程，并输出正式盖章评测报告、形成完整数据质量档案（b0688）——本附件第二至五节的批次级质检报告、版本级质检报告、数据集验证报告与场景验证报告样章，对应其中「首轮全量评测」环节的报告产出；第六节的整改任务单、复检与闭环记录及其台账样章，以及各批次级样章中判定不通过后整改复检、换版作废的写法，对应其中「缺陷整改复测」环节的报告产出。
招标文件在第六章把投标文件第 15 项定为格式自拟（b2369）。我方把本附件用于解决一件在数据集类项目上经常发生的事：方案写得清楚，交付时双方对「一份报告该写到什么程度」的理解仍然相差很远。质检与验证这两类报告是数据集能否发布、能否被第三方评测机构复核、能否被场景使用方采信的依据（b1561、b1562），它们写成什么样，直接决定验收时能不能一条一条对下去。模板能说明字段有哪些，样章才能说明每个字段该填到什么粒度。
因此本附件交的是样章，不是已完成的报告。投标阶段我方尚未接入招标方的源系统，没有任何实测数据，本附件中出现的指标数值、缺陷条数、用例结果一律为**示意值**，用途是说明填写粒度与判定写法；项目期将按本附件的结构、章节层级与填写粒度逐份交付实际报告，数值以实测为准。凡需要真实名称、编号、日期与人员签署之处，一律以【待填：…】标出，不预填拟值。
#### 1.2 本附件与其他章节的分工
本附件只出样章。模板、指标定义、判据与场景任务定义分别由其他章节给出，本附件引用而不改写。四者的分工如下表。表中「以谁为准」一列在合稿检查时直接可用。
| 内容 | 由哪一节给出 | 本附件做什么 | 冲突时以谁为准 |
|---|---|---|---|
| 版本五件套的构成与生成顺序 | 附件 A2 第一节 | 按其顺序组织样章的产出关系 | A2 |
| 质检报告与验证报告的章节模板、字段与门限表 | 附件 A2 第五、六节 | 按其章节逐章填出实际内容 | A2 |
| 三维度评测指标体系（说明文档 21 项、数据质量 45 项、模型应用 15 项）的定义与计算口径 | 服务方案 S3 第四节 | 引用指标名与口径，不另定义 | S3 |
| 抽样设计与打分聚合、合格线与否决项 | 服务方案 S3 第四、五节 | 按其抽样口径写出样章中的实际样本量 | S3 |
| 六个专业场景的验证层级、能力清单、判据与分档规则 | 技术方案 T5 | 按其能力编号与判据档位填出样章 | T5 |
| 五个通用场景的基准分册、指标组与三级判据 | 技术方案 T14 | 同上 | T14 |
| 加工环节划分与环节间交接物 | 技术方案 T1A、T1B | 批次级质检报告的受检环节按其划分 | T1A／T1B |
| 四类数据集的规模与子集构成 | 技术方案 T1C | 引用规模数值 | T1C |
| 归因方法与数据贡献度溯源 | 技术方案 T2C | 引用归因口径 | T2C |
| 治理体系文档（管理办法、标准规范、台账类）的条文结构与样章 | 技术方案 T4A、T4B | 不在本附件重复 | T4A／T4B |
最后一行需要说明。治理类文档的条文结构、术语卡、指标卡、代码值域字典、质量规则库等已在数据治理两节逐项给出，本附件不再出一套平行的管理办法样章，以免同一份文件在投标文件里出现两个版本的目录。本附件的范围严格限定在质检报告、验证报告，以及与这两类报告直接配套的工单与台账。
#### 1.3 本附件交出的样章清单
招标文件点名的报告类交付物，在本附件中逐份出样章。清单如下，共 31 份样章与 5 类配套样章。
| 序号 | 样章 | 粒度 | 对应招标文件要求 | 本附件位置 |
|---|---|---|---|---|
| 1 | 采集环节批次质检报告（工艺设计域图纸批次） | 批次级 | b1533、b1534、b1535 | 2.2 |
| 2 | 采集环节批次质检报告（制造过程域时序与检验记录批次） | 批次级 | b1533、b1534、b1535 | 2.3 |
| 3 | 预处理环节批次质检报告（图纸解析与版面还原批次） | 批次级 | b1536、b1537 | 2.4 |
| 4 | 预处理环节批次质检报告（技术标准表格与公式还原批次） | 批次级 | b1536、b1537 | 2.5 |
| 5 | 标注环节批次质检报告（焊缝缺陷图像标注批次） | 批次级 | b1538、b1539 | 2.6 |
| 6 | 标注环节批次质检报告（工艺卡工序序列与判读依据标注批次） | 批次级 | b1538、b1539 | 2.7 |
| 7 | 合成与增强环节批次质检报告（低频缺陷样本合成批次） | 批次级 | b1540、b1541、b1531 | 2.8 |
| 8 | 合成与增强环节批次质检报告（偏好对数据增强批次） | 批次级 | b1540、b1541 | 2.9 |
| 9 | 版本级质检报告（产品工艺设计数据集·预训练子集 V1.0） | 版本级 | b1542、b1543、b1568 | 3.2 |
| 10 | 版本级质检报告（产品质量数据集·有监督指令微调子集 V1.0） | 版本级 | b1542—b1545、b1568 | 3.3 |
| 11 | 版本级质检报告（供需计划数据集·基准评测子集 V1.0） | 版本级 | b1513、b1544、b1568 | 3.4 |
| 12 | 其余 13 个用途子集的版本级质检结论一览 | 版本级 | b1542、b1568 | 3.5 |
| 13 | 数据集验证报告（产品工艺设计数据集 V1.0） | 版本级 | b1546—b1562 | 4.2 |
| 14 | 数据集验证报告（产品质量数据集 V1.0） | 版本级 | b1546—b1562 | 4.3 |
| 15 | 数据集验证报告结论摘要（制造过程数据集 V1.0） | 版本级 | b1546—b1562 | 4.4 |
| 16 | 数据集验证报告结论摘要（供需计划数据集 V1.0） | 版本级 | b1546—b1562 | 4.5 |
| 17 | 场景验证报告 X1 产品智能选型 | 场景级 | b1605—b1620 | 5.1 |
| 18 | 场景验证报告 X2 板材备料工艺智能设计 | 场景级 | b1624—b1634 | 5.2 |
| 19 | 场景验证报告 X3 库存控制智能化 | 场景级 | b1644—b1661 | 5.3 |
| 20 | 场景验证报告 X4 热处理过程智能监控 | 场景级 | b1667—b1675 | 5.4 |
| 21 | 场景验证报告 X5 焊接过程控制智能监控 | 场景级 | b1681—b1695 | 5.5 |
| 22 | 场景验证报告 X6 刮板输送装备健康智能诊断 | 场景级 | b1699—b1712 | 5.6 |
| 23 | 场景验证报告 TG1 管理制度智能问答 | 场景级 | b1714—b1727 | 5.7 |
| 24 | 场景验证报告 TG2 技术标准智能问答 | 场景级 | b1728—b1740 | 5.8 |
| 25 | 场景验证报告 TG3 标书智能问答 | 场景级 | b1741—b1755 | 5.9 |
| 26 | 场景验证报告 TG4 决策数据智能问答 | 场景级 | b1756—b1771 | 5.10 |
| 27 | 场景验证报告 TG5 合同合规智能审查 | 场景级 | b1772—b1784 | 5.11 |
| 28 | 十一个场景验证结论汇总表与汇总判据对照 | 服务级 | b1602、b1603 | 5.12 |
| 29 | 质检与验证整改任务单（三条不同级别） | 工单 | b1545、b1559、b1560 | 6.1 |
| 30 | 复检记录与闭环记录 | 工单 | b1545、b1560 | 6.2 |
| 31 | 数据集移交与登记记录 | 版本级 | b1575、b1576 | 6.6 |
| 配套 | 整改任务单台账表头与样例行 | 台账 | b1545、b1571、b1572 | 6.3 |
| 配套 | 验证用例卡（四条，专业与通用各二） | 用例 | b1557、b1558 | 6.4 |
| 配套 | 判据登记表样例行 | 台账 | 各场景验证要求 | 6.5 |
| 配套 | 报告评审记录与修订记录 | 过程记录 | b2236、b2240 | 第七节 |
| 配套 | 报告归档索引与检索口径 | 过程记录 | b2236、b2240 | 7.4 |
批次级质检报告为什么出八份，而不是像版本级那样一个子集一份，需要说明。批次是加工环节的产出单位，一个子集在定版之前要经过采集、预处理、标注、合成与增强四道门控（b1533），每道门控的检查项、判定方式与回退动作都不同；同一道门控在不同模态上的检查项也不同——图纸批次要查版面还原，时序批次要查时间对齐，图像标注批次要查位置重合度，文本标注批次要查标签体系符合性。八份样章按「四道门控 × 两类典型模态」铺开，覆盖这四道门控在本项目实际会遇到的主要形态，并有意覆盖三种不同结论（通过、条件通过、不通过并回退），使判定写法在样章里都能看到一遍。项目期的批次级报告按批次逐份出具，数量随批次产生，不限于这八种形态。
#### 1.4 两类报告与场景验证报告的产出关系
三类报告不是并列的三份文件，而是一条有先后的链：批次级质检报告控住每个加工环节的门控，版本级质检报告汇总批次结论并给出六维度评定，版本级质检通过之后才做验证实验并出验证报告，验证报告是版本发布的前置条件（b1561、b1562）；场景验证报告在数据集版本发布之后出具，其结论又回流为下一版本的修订需求（b1558、b1571、b1572）。链条中任一环返工，其下游报告一并作废重出。
##### 图 A11-1 三类报告的产出顺序、绑定对象与回流路径
图 A11-1 数据来源：招标文件 3.2.6.3.8（b1533）、3.2.6.3.9（b1561、b1562）、3.2.6.3.10（2）（b1568）与（4）（b1571、b1572）；场景验证层级见本投标文件 T5 节表 2-1。虚线为回流路径，实线为前置依赖。
图中有两处是本附件样章刻意要写清楚的。一是批次级报告与版本级报告的关系：版本级报告不是把批次报告装订在一起，而是要对批次结论做一次汇总判定——某一批次条件通过、其缺陷在定版前未关闭，版本级报告就要把这条缺陷写进未关闭缺陷并给出关闭计划，而不是因为批次已出过报告就不再提。二是场景验证报告的回流方向：它的结论指向数据集的下一个版本，而不是指向场景系统的功能修改。本包交付的是数据集加工生产、质量评测与场景验证，智能场景本身的建设不在本包范围，场景侧的功能问题在报告中如实记录并移交，不由本包整改。
#### 1.5 报告编号与批次编号
报告编号沿用附件 A2 第 2.3 节的五段式：`GHY26691-<类别码>-<业务域码>-<序号>-<版本号>`。本附件涉及的类别码为 QC（质检报告）、VR（验证报告）、DC（数据卡）、FP（版本指纹清单）、LG（台账与清单）、OT（其他文档，整改任务单在此类）、PL（方案与计划）、ST（标准规范与制度）。业务域码为 01 供需计划、02 产品工艺设计、03 制造过程、04 产品质量、00 跨域。
批次级质检报告在五段式之外需要能指到批次，因此批次编号作为报告的受检对象标识进入报告第 1 章，不进编号本身。批次编号规则为：`<环节码>-<业务域码>-<来源码>--<流水号>`。环节码取 CL 采集、PP 预处理、AN 标注、SY 合成与增强；来源码由《数据源登记台账》给出。例如工艺设计域 2027 年 3 月 12 日从产品生命周期管理系统采集的第二个图纸批次，批次编号为 `CL-02-PLM-20270312-002`。
一个说明：场景验证报告的类别码与数据集验证报告同为 VR，二者以业务域码与报告类型字段区分——数据集验证报告的域码为该数据集所属业务域，场景验证报告的域码取 00 跨域并在报告类型字段写明场景编号。这样安排是为了让两类验证报告在台账中处于同一类目下，便于按数据集版本检索到它在哪些场景上验过（b1557、b1558）。
#### 1.6 样章的填写约定
本附件各样章统一遵守以下六条约定，阅读时不必逐章重复查看。
第一，凡表格中标为「模板」的，字段名、字段顺序、必填性与取值约束为正式口径，项目期按此产出；标为「样章」的为示意填写。
第二，指标数值为示意值，用于说明填写粒度与判定写法。示意值的量级参照本投标文件 T5、T14 两节给出的基线档与下限值设定，使样章读起来与判据自洽，但不构成对任何单项指标实测结果的承诺。
第三，日期、人员签署、真实编号、招标方内部编码一律以【待填：…】标出。签署栏只列角色不列姓名，姓名在实际出具时由承担该角色的人员签署。
第四，报告正文中的缺陷清单、用例清单、错样清单只放汇总表与不超过五行的样例行，明细另附电子表格。这样做的原因在附件 A2 第 5.2 节已说明：大批次上的缺陷清单可能有数千行，放进正文会把报告撑成无法阅读的篇幅。
第五，每份样章的开头标明它回应招标文件哪一条，句末标单元 id。
第六，样章一律按「将交付什么」的口径写。本附件各报告中的「结论」是样章中的示意结论，不是我方对实测结果的预先宣称。
#### 1.7 本附件各节与招标文件要求的对应索引
| 本附件节 | 回应的招标文件要求 | 单元 id |
|---|---|---|
| 第二节 批次级质检报告样章 | 每个加工环节后对产出批次实施质量判定、产出质检结论与整改任务 | b1533—b1541、b1531 |
| 第三节 版本级质检报告样章 | 按评测规范在六维度输出可量化质检指标结果；质检报告为版本产出之一 | b1542、b1543、b1545、b1568 |
| 第三节 3.4 基准评测子集专项 | 训练数据与基准评测数据去重；基准子集不含合成样本 | b1513、b1544 |
| 第四节 数据集验证报告样章 | 四类实验、固化评测协议、能力增量量化、场景可用性、错样归因、回流修复、报告为发布前置 | b1546—b1562 |
| 第五节 场景验证报告样章（11 份） | 六个专业场景与五个通用场景的验证要求 | b1605—b1712、b1714—b1784 |
| 第六节 配套工单与台账样章 | 整改任务单、复检与闭环记录、修订计划、移交登记 | b1545、b1559、b1560、b1571、b1572、b1575、b1576 |
| 第七节 评审、签署与修订机制 | 交付资料符合招标方档案管理要求；验收资料要求 | b2236、b2240 |
### 二、批次级质检报告样章（按加工环节逐份）
本节回应招标文件 3.2.6.3.8 第（1）项要求：在每个加工环节后对产出批次实施质量判定，产出质检结论与整改任务（b1533）。批次级质检报告是环节门控的载体，它要回答的问题只有一个——这一批产出能不能进入下一个环节。能进就放行，不能进就写清缺哪一项、退回哪一步、谁在什么时限内做什么。
#### 2.1 批次级报告的共用口径
八份样章共用以下口径，各样章不再重复。
| 项 | 口径 |
|---|---|
| 报告类型字段 | 固定填「批次级」 |
| 受检对象指纹 | 批次清单摘要（SM3），由平台在批次封箱时生成 |
| 抽样依据 | GB/T 2828.1—2012，一般检验水平 Ⅱ；严格项接收质量限 0.65，一般项 2.5 |
| 分层维度 | 业务主题、来源、难度三项；长尾标签另按不低于 30 条或全部（取小者）定额抽取 |
| 严格项范围 | 安全合规类与标签正确性类检查项 |
| 一般项范围 | 格式规整与表述类检查项 |
| 缺陷分级 | A 级安全合规、B 级影响可用性、C 级影响质量指标、D 级表述与规整；A、B 级阻断，C 级在指标低于基线值时阻断 |
| 判定结论取值 | 通过／条件通过／不通过 |
| 不通过的处置 | 按本批次所在环节的回退动作执行，复检后重出报告，原报告作废并在新报告中注明作废关系 |
| 签署栏 | 编制（质检岗）、审核（质量负责人）、批准（项目负责人）；批次级报告不要求招标方逐批签署，招标方在版本级报告上确认 |
抽样样本量按批量查表取值，八份样章中实际用到的四档列在下表，便于核对样章中的样本量不是随手写的。
| 批量（条或件） | 样本量 | 严格项不合格判定 | 一般项不合格判定 |
|---|---|---|---|
| 501—3 200 | 125 | 不合格数 ≥1 | ≥7 |
| 3 201—10 000 | 200 | ≥2 | ≥10 |
| 10 001—35 000 | 315 | ≥3 | ≥14 |
| >35 000 | 500 | ≥4 | ≥21 |
#### 2.2 样章一 采集环节批次质检报告（产品工艺设计域图纸批次）
本样章回应招标文件 3.2.6.3.8 第（1）项的采集环节门控要求，以及 3.2.6.3.1 对数据源登记、许可凭证留存与入口脱敏的要求（b1533、b1534、b1535）。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-02-0031-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 采集（门控①） |
| 受检批次 | CL-02-PLM-20270312-002 |
| 受检对象 | 产品工艺设计数据集·图纸与配对工艺卡原始件 |
| 批量 | 12 480 件（图纸 12 480 张，其中带配对已签发工艺卡 11 736 张） |
| 受检对象指纹 | 批次清单摘要【待填：SM3 值】 |
| 质检执行期间 | 【待填：起止日期】 |
| 编制／审核／批准 | 【待填：质检岗／质量负责人／项目负责人签署】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | 通过 |
| 抽样 | 批量 12 480，样本量 315，分层维度为产品族、图纸格式、业务年份 |
| 严格项 | 不合格 0 项（许可凭证、入口脱敏、来源登记三类检查项） |
| 一般项 | 不合格 6 项，低于判定数 14 |
| 缺陷统计 | A 级 0、B 级 0、C 级 1、D 级 6 |
| 未关闭缺陷 | C 级 1 条（744 张图纸无配对工艺卡，涉及两个早期产品族），已开整改任务单 GHY26691-OT-02-0044，不阻断本环节放行 |
| 放行结论 | 允许进入预处理环节；无配对卡的 744 张单列为「无监督语料子批」，不进入图卡成对样本集 |
**第 1 章 质检对象与范围**
受检对象为本批次从产品生命周期管理系统按图号增量抽取的原生图纸文件及其配对的已签发工艺卡片。批次构成按产品族与格式分列如下，这张表同时是第 3 章分层抽样的分层依据。
| 产品族 | DWG／DXF 二维 | STP／STEP 三维 | 小计 | 带配对工艺卡 |
|---|---|---|---|---|
| 刮板输送机中部槽及溜槽件 | 4 120 | 386 | 4 506 | 4 402 |
| 链轮轴组及传动件 | 2 240 | 512 | 2 752 | 2 688 |
| 机头机尾架体件 | 2 870 | 204 | 3 074 | 2 905 |
| 转载机与破碎机结构件 | 1 884 | 264 | 2 148 | 1 741 |
| 合计 | 11 114 | 1 366 | 12 480 | 11 736 |
批次时间范围为业务年份【待填：起止年份】；来源系统为产品生命周期管理系统，取数通道为只读接口。本批次不含手工导入件。
**第 2 章 质检依据与方法**
依据为《数据集质检规范》GHY26691-ST-00-0006-V1.0、GB/T 2828.1—2012、GB/T 36344—2018，以及招标方《数据许可与合规审查规范》的来源合法性条款。方法分三路并行：格式与登记类检查项由脚本对全部 12 480 件逐件执行；许可与脱敏类检查项按 315 件样本人工复核；配对关系类检查项由脚本全量统计后按样本核对准确性。
本批次的检查项共 14 项，其中严格项 3 项、一般项 11 项。检查脚本版本与日志检索标识见附件二。
**第 3 章 门控①检查结论**
| 检查项 | 类别 | 检查方法 | 门限 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 数据源登记完整性 | 严格 | 核对《数据源登记台账》与实际入库批次 | 逐源登记齐备 | 本批次 1 个源系统，登记齐备 | 通过 |
| 许可凭证有效性 | 严格 | 核对许可凭证编号与有效期 | 凭证齐备且在有效期内 | 企业自有数据，权属登记齐备 | 通过 |
| 入口脱敏执行情况 | 严格 | 抽检标题栏设计人、审批人、客户名称字段的脱敏状态 | 检出未脱敏项即不通过 | 315 件抽检，未检出未脱敏项 | 通过 |
| 格式规范性 | 一般 | 逐件格式校验（文件可打开、图层可枚举、字符编码符合声明） | 合规率 ≥99% | 99.4%（不合规 75 件，均为字体缺失） | 通过 |
| 原生文件可读性 | 一般 | 逐件解析试读 | ≥99% | 99.6% | 通过 |
| 外部参照完整性 | 一般 | 检查外部参照是否随件齐备 | ≥95% | 96.8% | 通过 |
| 标题栏字段可提取性 | 一般 | 抽检标题栏七字段 | ≥95% | 97.1% | 通过 |
| 图号命名规范一致性 | 一般 | 按命名规则校验 | ≥90% | 91.3%（偏离件已入映射表） | 通过 |
| 图纸与工艺卡配对率 | 一般 | 按图号与零件号关联统计 | ≥90% | 94.0% | 通过 |
| 业务时间字段非空率 | 一般 | 逐件校验 | ≥99% | 99.8% | 通过 |
| 近三年件占比 | 一般 | 按业务时间统计 | 记录值，不设门限（在版本级判定） | 41.2% | 记录 |
| 重复件检出 | 一般 | 同图号同版本去重 | 重复率 ≤1% | 0.4%（52 件，已剔除） | 通过 |
| 单位与量纲声明 | 一般 | 抽检尺寸标注单位 | ≥99% | 99.4% | 通过 |
| 来源路径可回溯性 | 一般 | 抽检能否回溯到源系统记录 | ≥98% | 99.0% | 通过 |
配对率一项虽判定通过，但 744 张无配对卡的图纸构成一条 C 级缺陷。原因是两个早期产品族的工艺卡以纸质形式归档、未进入产品生命周期管理系统。本批次的处置不是退回重采——纸质卡的补录不属采集环节能解决的问题，而是把这部分图纸单列为无监督语料子批，仍可用于预训练子集，不进入需要成对监督信号的图卡样本集。这一处置写入整改任务单并同步到修订计划。
**第 4 章 本环节涉及的六维度指标**
批次级报告只报与本环节相关的维度，其余维度在版本级报告中评定。
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 完备性 | 字段完整率（标题栏七字段） | ≥99% | 99.3% | 达基线 |
| 完备性 | 文件完整率 | ≥99.5% | 99.6% | 达基线 |
| 完备性 | 记录完整率（实际件数／计划件数） | ≥95% | 99.1% | 达基线 |
| 规整性 | 字段格式合规率 | ≥99% | 99.4% | 达基线 |
| 规整性 | 编码一致率 | ≥99.9% | 99.9% | 达基线 |
| 可信性 | 隐私规范性（未脱敏检出条数） | 0 条为接收条件 | 0 条 | 满足接收条件 |
| 可信性 | 内容原创性（疑似第三方受限内容条数） | 0 条为接收条件 | 0 条 | 满足接收条件 |
**第 5 章 缺陷清单与分级**
正文只列样例行，全量清单见附件一。
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC02-0031-D01 | C | 744 张图纸无配对已签发工艺卡 | 筛选条件：产品族∈{两个早期族} 且 craft_card_ref 为空 | 来源缺口，纸质卡未入系统 | 单列无监督语料子批；补录需求转修订计划 |
| QC02-0031-D02 | D | 75 件图纸字体缺失，文本要素显示为替代字形 | 文件 id 清单（75 件） | 源系统字体库未随件导出 | 补齐字体库后重解析，本环节不阻断 |
| QC02-0031-D03 | D | 43 件外部参照未随件导出 | 文件 id 清单（43 件） | 导出配置未含参照 | 调整导出配置后补采 |
| QC02-0031-D04 | D | 1 087 件图号不符合现行命名规则 | 筛选条件表达式见附件一 | 历史命名规则变更 | 入图号映射表，不改原件 |
| QC02-0031-D05 | D | 52 件重复（同图号同版本） | 文件 id 清单 | 增量标记失效导致重复抽取 | 已剔除，修正增量水位 |
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 |
|---|---|---|---|---|---|---|
| GHY26691-OT-02-0044 | D01 | C | 单列子批＋补录需求入修订计划 | 采集 | 【待填】 | 逐条复检子批划分结果 |
| GHY26691-OT-02-0045 | D02、D03 | D | 补字体库与导出配置后补采 | 采集 | 【待填】 | 抽样复检 125 件 |
| GHY26691-OT-02-0046 | D04 | D | 建立并发布图号映射表 | 采集 | 【待填】 | 逐条复检映射表 |
**第 7 章 结论与建议**
门控①判定通过，本批次允许进入预处理环节。D 级缺陷按规定在下一版本一并修复，不阻断本环节。
对下一批次的作业建议三条：导出配置中加入字体与外部参照，避免同类缺陷重复发生；增量水位按图号与版本双键记录，避免重复抽取；早期产品族的纸质工艺卡补录按产品族分批安排，优先补录在产机型涉及的零件，使图卡成对样本在在产机型上先形成完整覆盖。
#### 2.3 样章二 采集环节批次质检报告（制造过程域时序与检验记录批次）
本样章回应与样章一相同的门控要求，但受检对象为时序数据与检验记录，检查项构成不同（b1533、b1534、b1535）。热处理与焊接类数据的采集门控在本项目的实际难点不是格式，而是配对关系——炉次与工件、材料批次、实际曲线、检验结果之间能不能对上。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-03-0018-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 采集（门控①） |
| 受检批次 | CL-03-MES-20270318-005 |
| 受检对象 | 制造过程数据集·热处理炉次过程参数与检验结果原始件 |
| 批量 | 8 640 炉次（含过程参数时序 8 640 段、检验记录 8 640 份、材料批次记录 2 174 份） |
| 受检对象指纹 | 批次清单摘要【待填：SM3 值】 |
| 质检执行期间 | 【待填：起止日期】 |
| 编制／审核／批准 | 【待填】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | 条件通过 |
| 抽样 | 批量 8 640，样本量 200，分层维度为生产线、钢种牌号、业务季度 |
| 严格项 | 不合格 0 项 |
| 一般项 | 不合格 8 项，低于判定数 10 |
| 缺陷统计 | A 级 0、B 级 0、C 级 2、D 级 5 |
| 未关闭缺陷 | C 级 2 条：炉位登记字段缺失率 62.4%，炉次与检验结果配对率 81.7% 低于目标 90%（基线 80%）。已开整改任务单 GHY26691-OT-03-0027、0028 |
| 放行结论 | 条件放行。可进入预处理环节，但本批次在后续加工与验证中按炉级（B 档）标注与判定，不下到炉位级 |
**第 1 章 质检对象与范围**
| 数据对象 | 主键 | 件数 | 采集方式 | 时间粒度 |
|---|---|---|---|---|
| 炉次过程参数时序 | 炉次号 | 8 640 段 | 设备数据接口 | 1 秒／点，含加热功率、加热温度、淬火液温度、保温时间 |
| 炉次检验结果 | 炉次号＋检验单号 | 8 640 份 | 质量管理系统接口 | 按检验单 |
| 工件与炉次关联 | 炉次号＋工件号 | 46 318 条 | 制造执行系统接口 | 按装炉记录 |
| 材料批次记录 | 材料批次号 | 2 174 份 | 物料系统接口 | 按入库批次 |
| 装炉位置登记 | 炉次号＋炉位号 | 17 412 条 | 新增填报入口 | 按装炉，当前为试填阶段 |
| 不合格票 | 不合格票号 | 1 236 份 | 质量管理系统接口 | 按票 |
**第 2 章 质检依据与方法**
依据为《数据集质检规范》《数据采集与接入规范》，时序类检查项另依 GB/T 36344—2018 的及时性与有效性口径，硬度与材料性能字段的量纲校验依 GB/T 231.1—2018 与 GB/T 228.1—2021。方法上，配对率与时间对齐类检查项全量统计，取值合法性与业务合理性类检查项按 200 件样本人工复核。
**第 3 章 门控①检查结论**
| 检查项 | 类别 | 门限 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 数据源登记完整性 | 严格 | 逐源登记齐备 | 5 个源系统，登记齐备 | 通过 |
| 许可凭证有效性 | 严格 | 凭证齐备且在有效期内 | 企业自有，权属登记齐备 | 通过 |
| 入口脱敏执行情况 | 严格 | 检出未脱敏项即不通过 | 200 件抽检，检验人员姓名已按替换法处理，未检出未脱敏项 | 通过 |
| 格式规范性 | 一般 | 合规率 ≥99% | 99.5% | 通过 |
| 炉次号主键唯一性 | 一般 | ≥99.9% | 99.97%（3 条重号，已合并） | 通过 |
| 炉次—检验结果配对率 | 一般 | ≥80% | 81.7% | 通过（未达目标 90%，列 C 级缺陷） |
| 炉次—工件配对率 | 一般 | ≥90% | 93.4% | 通过 |
| 炉次—材料批次配对率 | 一般 | ≥85% | 87.2% | 通过 |
| 炉位登记字段非空率 | 一般 | 记录值，试填阶段不设门限 | 37.6% | 记录（列 C 级缺陷） |
| 时序采样周期达标率 | 一般 | ≥95% | 96.9% | 通过 |
| 时序连续缺失段占比 | 一般 | ≤2% | 1.4% | 通过 |
| 时序与炉次时刻对齐误差 | 一般 | 中位数 ≤2 个采样周期 | 1 个采样周期 | 通过 |
| 硬度值量纲与取值域合法率 | 一般 | ≥99% | 99.2% | 通过 |
| 牌号字段合法取值率（对照 GB/T 699、GB/T 1591 牌号集） | 一般 | ≥98% | 98.6%（越界值 121 条，多为别名未归一） | 通过 |
| 不合格票与炉次关联率 | 一般 | ≥95% | 96.1% | 通过 |
**第 4 章 本环节涉及的六维度指标**
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 保真度 | 时序对齐误差 | ≤2 个采样周期 | 1 个采样周期 | 达目标 |
| 完备性 | 字段完整率 | ≥99% | 99.1% | 达基线 |
| 完备性 | 记录完整率 | ≥95% | 98.4% | 达基线 |
| 完备性 | 模态完整率（时序、文本、表格声明占比偏差） | 偏差 ≤5 个百分点 | 2.1 个百分点 | 达目标 |
| 规整性 | 字段格式合规率 | ≥99% | 99.5% | 达基线 |
| 规整性 | 类型一致率 | ≥99.5% | 99.6% | 达基线 |
| 可信性 | 隐私规范性 | 0 条 | 0 条 | 满足接收条件 |
**第 5 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC03-0018-D01 | C | 炉位登记字段非空率 37.6%，不足以支撑炉位级分析 | 筛选条件：hearth_pos 为空的 17 412 条装炉记录中的 10 870 条 | 装炉工位填报入口 2027 年 2 月投用，覆盖尚在爬坡 | 不回退；本批次按炉级标注，填报入口推广后对新批次重算 |
| QC03-0018-D02 | C | 炉次与检验结果配对率 81.7%，低于目标 90% | 未配对炉次清单 1 582 条 | 部分炉次的检验单以批为单位开具，未落到炉次 | 与质量管理部门确认开票口径，建立批—炉次拆分映射 |
| QC03-0018-D03 | D | 牌号字段 121 条取值为别名，未归一 | 取值清单见附件一 | 主数据别名表缺项 | 补别名表后批量归一 |
| QC03-0018-D04 | D | 保温时间字段在 3 条记录中出现负值 | 记录 id 清单 | 设备侧时标回绕 | 剔除并记录；设备侧问题移交 |
| QC03-0018-D05 | D | 2 174 份材料批次记录中 73 份缺炉号—材料批次对应 | 记录 id 清单 | 投料记录未录入 | 由热处理班组补录 |
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 复检方式 |
|---|---|---|---|---|---|
| GHY26691-OT-03-0027 | D01 | C | 分档处置＋填报入口推广进度跟踪 | 采集 | 按月复检非空率，记入趋势 |
| GHY26691-OT-03-0028 | D02 | C | 建立批—炉次拆分映射并回溯补配 | 采集 | 逐条复检映射结果，抽样 200 条核对 |
| GHY26691-OT-03-0029 | D03、D04、D05 | D | 补别名表、剔除异常值、补录投料记录 | 采集 | 抽样复检 125 条 |
**第 7 章 结论与建议**
门控①判定条件通过。本批次允许进入预处理环节，但须带两条限制进入后续环节：一是本批次在标注与验证中按炉级（B 档）处理，热处理场景验证中涉及炉位级的判据（同炉炉位间硬度分散度的归因）对本批次不适用，报告中按不适用标注并说明原因；二是未配对的 1 582 个炉次在配对补齐前不进入需要「参数—质量」成对信号的样本集。
这两条限制写进报告而不是在后续环节临时处理，原因在于分档一旦不被如实记录，下游就会把炉级结论当成炉位级结论使用。本项目热处理场景的分档口径见本投标文件 T5 节，本报告按其 A／B 档定义执行。
对下一批次的建议：装炉位置登记的填报覆盖率按月跟踪，覆盖率达到七成以上时启动一次历史批次的重新配对评估；检验单开票口径的调整涉及质量管理部门的作业习惯，建议在蓝图设计阶段一并确认，不在数据加工环节单方面处理。
#### 2.4 样章三 预处理环节批次质检报告（图纸解析与版面还原批次）
本样章回应招标文件 3.2.6.3.8 第（2）项的预处理环节门控要求，以及 3.2.6.3.2 对多模态文档解析、语义切分、表格与公式还原、结构化文本化转换的要求（b1536、b1537）。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-02-0038-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 预处理（门控②） |
| 受检批次 | PP-02-DRW-20270325-001 |
| 上游批次 | CL-02-PLM-20270312-002（见本附件 2.2 节样章） |
| 受检对象 | 产品工艺设计数据集·图纸解析结果与版面还原文本 |
| 批量 | 11 736 张（上游批次中带配对工艺卡的部分） |
| 受检对象指纹 | 批次清单摘要【待填：SM3 值】 |
| 解析规则集版本 | 【待填：要素解析规则集版本号】 |
| 质检执行期间 | 【待填：起止日期】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | 条件通过 |
| 抽样 | 批量 11 736，样本量 315，分层维度为零件复杂度（五层）、图纸格式、是否可借用 |
| 严格项 | 不合格 0 项 |
| 一般项 | 不合格 11 项，低于判定数 14 |
| 缺陷统计 | A 级 0、B 级 0、C 级 3、D 级 7 |
| 未关闭缺陷 | C 级 3 条：坡口与压弯相邻的复合特征件要素提取正确率 88.3%，低于该要素类基线 95%；视图投影关系判定正确率 90.6%，低于基线 92%；技术要求文本段落切分合格率 93.1%，低于基线 95% |
| 放行结论 | 条件放行。复合特征件（1 043 张）退回重跑并补样本后复检，其余 10 693 张允许进入标注环节 |
**第 1 章 质检对象与范围**
受检对象为上游采集批次经多模态文档解析后的产出，包括要素抽取结果（结构化）、版面还原文本（Markdown）、版面坐标引用三类文件。按复杂度分层的批次构成如下。
| 零件复杂度 | 件数 | 二维 | 三维 | 可借用（有相似历史零件） |
|---|---|---|---|---|
| 简单板件 | 3 284 | 3 180 | 104 | 2 976 |
| 带孔板件 | 3 012 | 2 904 | 108 | 2 614 |
| 带坡口件 | 2 118 | 1 946 | 172 | 1 603 |
| 压弯件 | 2 279 | 1 982 | 297 | 1 544 |
| 复合特征件（坡口与压弯相邻、多向弯曲等） | 1 043 | 766 | 277 | 418 |
| 合计 | 11 736 | 10 778 | 958 | 9 155 |
**第 2 章 质检依据与方法**
依据为《数据预处理与结构化规范》GHY26691-ST-00-0003-V1.0，图纸要素的判定依据取 GB/T 14689—2008（幅面与标题栏）、GB/T 4457.4—2002（图线语义）、GB/T 4458.4—2003（尺寸注法）、GB/T 131—2006（表面结构标注）、GB/T 1800.1—2020（公差代号）、GB/T 324—2008（焊缝符号）、GB/T 985.1—2008（坡口类型），三维件另依 GB/T 24734—2009。
方法上，格式与结构类检查项全量执行；要素正确性按 315 件样本与金标准标注逐要素比对，比对单位为要素实例而非图纸——一张图上有十二个尺寸标注，就计十二个要素实例。这个统计单位要在报告里写明，否则同一批数据按图纸统计与按要素统计会得出相差很大的两个准确率。
**第 3 章 门控②检查结论**
| 检查项 | 类别 | 门限 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 文件可解析率 | 一般 | ≥99% | 99.3% | 通过 |
| 要素提取正确率·尺寸 | 严格 | ≥98% | 98.4% | 通过 |
| 要素提取正确率·板厚 | 严格 | ≥98% | 98.9% | 通过 |
| 要素提取正确率·材料牌号 | 严格 | ≥98% | 98.2% | 通过 |
| 要素提取正确率·孔与方孔 | 一般 | ≥95% | 96.1% | 通过 |
| 要素提取正确率·坡口与倒角 | 一般 | ≥95% | 95.4% | 通过 |
| 要素提取正确率·压弯线 | 一般 | ≥95% | 95.0% | 通过（临界） |
| 要素提取正确率·粗糙度符号 | 一般 | ≥90% | 91.7% | 通过 |
| 要素提取正确率·技术要求文本 | 一般 | ≥90% | 92.4% | 通过 |
| 复合特征件要素提取正确率（坡口与压弯相邻） | 一般 | ≥95% | 88.3% | 不通过，列 C 级缺陷 |
| 视图投影关系判定正确率 | 一般 | ≥92% | 90.6% | 不通过，列 C 级缺陷 |
| 文本切分合理性（切分边界落在语义完整处） | 一般 | ≥95% | 95.6% | 通过 |
| 技术要求文本段落切分合格率 | 一般 | ≥95% | 93.1% | 不通过，列 C 级缺陷 |
| 表格还原准确率（标题栏与明细栏） | 一般 | ≥92% | 94.8% | 通过 |
| 版面坐标引用可定位率 | 一般 | ≥95% | 97.2% | 通过 |
| 结构化文本化转换口径一致性 | 一般 | 同类口径一致 | 同类对象转换结果格式一致，抽检 315 件无不一致 | 通过 |
| 单位归一完成率 | 一般 | ≥99% | 99.6% | 通过 |
三项不达标的检查项有一个共同点：失败集中在特定特征组合上，不是全批次均匀分布。这种分布形态指向样本不足或规则缺口，而不是解析通道整体失效。第 5 章的归因据此展开。
**第 4 章 本环节涉及的六维度指标**
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 保真度 | 内容真实性抽检合格率 | ≥95% | 96.8% | 达基线 |
| 保真度 | 结构还原准确率 | ≥92% | 94.8% | 达基线 |
| 完备性 | 字段完整率 | ≥99% | 99.2% | 达基线 |
| 规整性 | 字段格式合规率 | ≥99% | 99.5% | 达基线 |
| 规整性 | 类型一致率 | ≥99.5% | 99.7% | 达基线 |
| 可用性 | 模型适配性检查通过率 | ≥99.5% | 99.6% | 达基线 |
| 可用性 | 内容重复率 | ≤3% | 1.2% | 达目标 |
**第 5 章 缺陷清单、分级与成因归因**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC02-0038-D01 | C | 坡口与压弯线相邻时，坡口角度被识别为倒角，压弯线位置偏移超容差 | 筛选条件：complexity='复合特征件' 且 features⊇{坡口,压弯} 的 1 043 张 | 样本不足：该特征组合在训练样本中占比 0.7%，且集中于板厚 8mm 以下 | 重跑该子批；向标注环节提出补样需求，需覆盖板厚 8mm 以上 |
| QC02-0038-D02 | C | 三视图投影关系在局部剖视与断面图并存时判错 | 筛选条件：view_types⊇{局部剖视,断面} 的 612 张 | 规则缺口：投影判定规则未覆盖断面图与剖视图共存的版面 | 补解析规则后重跑该子批 |
| QC02-0038-D03 | C | 技术要求文本按空行切分，导致带编号的多条要求被并为一段 | 筛选条件：tech_req_lines>5 的 1 874 张 | 切分规则未识别「1.」「（1）」等编号形式 | 补切分规则后重跑；同类规则同步应用于工艺卡文本 |
| QC02-0038-D04 | D | 粗糙度符号的作用面判定在倾斜标注时偏差 | 要素实例清单 | 标注角度超过 30 度时的几何推断偏差 | 下一版本修复 |
| QC02-0038-D05 | D | 75 件字体缺失件的文本要素以替代字形还原 | 上游 D02 缺陷的延续 | 上游缺陷未关闭 | 随上游补采后重跑 |
归因的做法在本样章中给出完整示例，后续样章不再重复：先把失败要素实例按特征组合、来源、板厚、业务年份四个维度做分布统计，再与成功实例的同维度分布比对，找出显著偏高的切片；对嫌疑切片按不低于三成的比例抽样人工复核，确认是样本不足还是规则缺口。本批次的三条 C 级缺陷中，D01 经复核确认为样本不足（同类特征在训练样本中仅 82 例），D02 与 D03 确认为规则缺口（规则本身未覆盖该版面形态）。两类成因的整改路径不同：样本不足要向标注环节提补样需求并进入修订计划，规则缺口由本环节自行补规则后重跑。
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 复检方式 |
|---|---|---|---|---|---|
| GHY26691-OT-02-0051 | D01 | C | 补样 300 张（复合特征且板厚 8mm 以上）＋重跑 1 043 张 | 标注与预处理 | 逐条复检 1 043 张的要素正确率，另抽回归子集 200 张 |
| GHY26691-OT-02-0052 | D02 | C | 补投影判定规则＋重跑 612 张 | 预处理 | 逐条复检 612 张，回归子集 200 张 |
| GHY26691-OT-02-0053 | D03 | C | 补编号识别切分规则＋重跑 1 874 张 | 预处理 | 抽样复检 315 张，回归子集 200 张 |
复检范围的写法需要说明。复检不是全量重跑，而是跑受影响子集加回归子集：受影响子集用于确认本次整改有效，回归子集从历次已通过的样本中按比例抽取，用于发现整改引入的回退。补规则这类改动最容易在别处引起副作用——补了编号识别规则，可能把图纸中的尺寸序号也当成编号切开，回归子集就是为了把这类副作用照出来。
**第 7 章 结论与建议**
门控②判定条件通过。复合特征件子批与两个规则缺口涉及的子批退回重跑，其余 10 693 张放行进入标注环节。三条 C 级缺陷中有一条（D01）需要补样本，补样需求已转入标注环节与修订计划，预计在本子集 V1.1 版本关闭；两条规则缺口（D02、D03）在本环节内解决，复检通过后本批次重出报告。
对下一批次的作业建议：复合特征件在投放前按特征组合做一次预分流，占比低于百分之一的特征组合单独成批并先行补样，不与主批混跑——混跑的结果是主批的整体指标被少量难例拉低，而难例本身又因为占比太小得不到针对性处置。
#### 2.5 样章四 预处理环节批次质检报告（技术标准表格与公式还原批次·不通过）
本样章回应与样章三相同的门控要求，并回应招标文件对表格与公式重建的要求（b1536、b1537、b1401）。本样章有意写成不通过的情形，以说明不通过时的判定、回退与报告作废重出的写法。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-00-0062-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 预处理（门控②） |
| 受检批次 | PP-00-STD-20270402-003 |
| 受检对象 | 跨域通用语料·技术标准文本的表格与公式还原结果 |
| 批量 | 2 860 张表（来自 318 份标准与设计手册），公式 412 个 |
| 受检对象指纹 | 批次清单摘要【待填：SM3 值】 |
| 解析规则集版本 | 【待填】 |
| 本报告状态 | 不通过；整改复检后出具 V1.1 并作废本版 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | **不通过** |
| 抽样 | 表格按 2 860 张取样本量 125；单元格按 3.2 万个取样本量 500；公式全量 412 个 |
| 严格项 | 不合格 2 项（单元格级精度、公式可计算还原率） |
| 一般项 | 不合格 6 项 |
| 缺陷统计 | A 级 0、B 级 1、C 级 4、D 级 6 |
| 不通过的判定依据 | 单元格级精度（文本正确且行列表头绑定正确的联合正确率）实测 86.4%，低于基线 88%；公式可计算还原率 71.3%，低于基线 75% |
| 回退动作 | 整批退回预处理，按难表型分型补规则后重跑；扫描质量过差的页面经双人确认后列入不可解析清单 |
**第 1 章 质检对象与范围**
| 来源类别 | 份数 | 表张数 | 其中难表 | 公式数 | 其中带算例 |
|---|---|---|---|---|---|
| 国家标准 | 112 | 1 064 | 248 | 186 | 68 |
| 行业标准 | 86 | 818 | 196 | 124 | 41 |
| 企业标准 | 74 | 502 | 94 | 62 | 18 |
| 设计手册 | 46 | 476 | 182 | 40 | 14 |
| 合计 | 318 | 2 860 | 720 | 412 | 141 |
难表按四型分列：跨页续表 184 张、多级表头表 268 张、多值单元格表 196 张、图注式表格 72 张。分型统计是本样章的关键——不分型就只能得出一个「精度不够」的结论，无法指导整改。
**第 2 章 质检依据与方法**
依据为《数据预处理与结构化规范》；表格解析的判定分四层统计，口径与本投标文件 T14 节一致：第一层表区域检出、第二层结构还原（行列数与合并范围）、第三层单元格内容（文本、数值、单位、上下标）、第四层语义绑定（单元格值与其行表头、列表头的对应）。单元格级精度取第三、四层的联合正确率。公式解析按区域检出率、符号正确率、可计算还原率三项统计，可计算还原率以标准自带算例代入验算，结果一致即算还原成功。
**第 3 章 门控②检查结论**
| 检查项 | 类别 | 门限（基线） | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 表区域检出率 | 一般 | ≥95% | 97.6% | 通过 |
| 结构还原一致率 | 一般 | ≥88% | 90.2% | 通过 |
| 单元格文本正确率 | 严格 | ≥93% | 92.1% | 不通过 |
| 行列表头绑定正确率 | 严格 | ≥90% | 91.8% | 通过 |
| 单元格级精度（第三、四层联合） | 严格 | ≥88% | 86.4% | **不通过** |
| 跨页续表合并正确率 | 一般 | ≥80% | 74.5% | 不通过 |
| 多级表头层级还原正确率 | 一般 | ≥82% | 83.6% | 通过 |
| 多值单元格拆分正确率 | 一般 | ≥78% | 69.8% | 不通过 |
| 图注式表格识别正确率 | 一般 | ≥80% | 81.9% | 通过 |
| 公式区域检出率 | 一般 | ≥90% | 93.4% | 通过 |
| 公式符号正确率 | 一般 | ≥85% | 86.7% | 通过 |
| 公式可计算还原率（算例验算一致） | 严格 | ≥75% | 71.3% | **不通过** |
| 限值适用条件完整率 | 一般 | ≥82% | 79.4% | 不通过 |
| 单位与量纲抽取正确率 | 一般 | ≥95% | 96.2% | 通过 |
限值适用条件完整率这一项值得单列说明。技术标准中的限值脱离适用条件就是错的——「链条破断载荷不小于某值」必须带上规格与材料前提。本批次有 20.6% 的限值条目抽到了数值而丢了适用条件，这类条目进入语料后会成为一个看似确定、实际无法使用的数。因此本项虽为一般项，其缺陷级别按 C 级登记而非 D 级。
**第 4 章 本环节涉及的六维度指标**
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 保真度 | 结构还原准确率 | ≥92% | 90.2% | **低于基线** |
| 保真度 | 内容真实性抽检合格率 | ≥95% | 95.3% | 达基线 |
| 完备性 | 字段完整率 | ≥99% | 97.4% | **低于基线** |
| 规整性 | 字段格式合规率 | ≥99% | 99.1% | 达基线 |
| 可用性 | 模型适配性检查通过率 | ≥99.5% | 99.5% | 达基线 |
| 可信性 | 内容一致性（同一限值在不同表中表述矛盾的条数占比） | ≤1% | 1.6% | **低于基线** |
三项低于基线，按门限表的回退规则，低于基线值即判不通过并执行对应回退动作：结构还原低于基线调整解析参数后重跑该来源批次；字段完整率低于基线的样本回退补齐或剔除；内容一致性低于基线的矛盾样本进专家仲裁。
**第 5 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC00-0062-D01 | B | 184 张跨页续表中 47 张被切成两张独立表，表头丢失 | 表 id 清单（47 张） | 续表识别依赖表头重复出现，本批次中部分续表不重复表头 | 补续表识别规则（按页边界与列宽指纹匹配）后重跑 |
| QC00-0062-D02 | C | 多值单元格（含换行与分号的多值）拆分正确率 69.8% | 表 id 清单（196 张中 59 张失败） | 拆分规则未覆盖「分号＋换行」混用与值内含括号说明的形态 | 补拆分规则后重跑 |
| QC00-0062-D03 | C | 公式可计算还原率 71.3%，带算例的 141 个公式中 38 个验算不一致 | 公式 id 清单 | 下标与上标在还原时丢失层级；分式与根式嵌套解析偏差 | 补公式结构还原规则；验算不通过的逐个人工校正 |
| QC00-0062-D04 | C | 20.6% 的限值条目缺适用条件 | 条目清单 | 抽取规则只取数值所在单元格，未上溯行表头中的前提条件 | 补上溯规则，使限值与其行列表头前提一并入库 |
| QC00-0062-D05 | C | 同一参数限值在两份标准中取值不同但未标注来源层级 | 条目清单（34 组） | 入库时未保留标准层级（国标／行标／企标）字段 | 补层级字段；取值冲突条目保留全部取值并标注来源 |
| QC00-0062-D06 | D | 31 页扫描件印刷错位，表格线与文字分离 | 页码清单 | 原件质量问题 | 经双人确认后列入不可解析清单，不计入精度分母，在报告中据实列明 |
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 |
|---|---|---|---|---|---|---|
| GHY26691-OT-00-0073 | D01 | B | 补续表识别规则并重跑全部 184 张续表 | 预处理 | 5 个工作日 | 逐张复检 184 张 |
| GHY26691-OT-00-0074 | D02 | C | 补多值拆分规则并重跑 196 张 | 预处理 | 10 个工作日 | 逐张复检 196 张，回归子集 125 张 |
| GHY26691-OT-00-0075 | D03 | C | 补公式结构还原规则；38 个验算不一致的公式人工校正 | 预处理 | 10 个工作日 | 全部 141 个带算例公式重新验算 |
| GHY26691-OT-00-0076 | D04、D05 | C | 补限值上溯规则与标准层级字段，重建限值条目 | 预处理 | 10 个工作日 | 抽样复检 500 个限值条目 |
| GHY26691-OT-00-0077 | D06 | D | 不可解析清单登记并报招标方确认 | 预处理 | 5 个工作日 | 逐页核对 |
**第 7 章 结论与建议**
门控②判定不通过。本批次整批退回预处理，不进入标注环节。按分型处置而非整体返工：五个任务单分别针对续表、多值单元格、公式、限值上溯与不可解析页面，整改完成后复检只跑受影响的难表型与总体抽样，避免整批重解析带来的工期影响。复检通过后出具 GHY26691-QC-00-0062-V1.1 并作废本版，作废关系在新版报告的第 1 章注明。
对后续批次的作业建议两条。第一，技术标准类语料的难表型在投放前先分型统计，四型各自的规则成熟度不同，混批跑出来的总精度不能指导整改。第二，数表不以纯文本平铺进预训练语料——平铺后模型容易记住错位的数值，这类错误比不知道更难发现。本项目对标准类数表的处理口径是结构化入库供检索，预训练语料中保留表题与说明性文字，该口径与本投标文件 T14 节一致，本环节按此执行。
#### 2.6 样章五 标注环节批次质检报告（焊缝缺陷图像标注批次）
本样章回应招标文件 3.2.6.3.8 第（3）项的标注环节门控要求，以及 3.2.6.3.3 对标注组织方式、跨标注员一致性与黄金集的要求（b1538、b1539、b1493）。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-04-0054-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 标注（门控③） |
| 受检批次 | AN-04-WELD-20270415-002 |
| 受检对象 | 产品质量数据集·焊缝表面图像与熔池视频帧的缺陷实例标注 |
| 批量 | 36 400 帧（焊缝表面图像 28 640 帧、熔池视频抽帧 7 760 帧），缺陷实例标注 41 268 个 |
| 标注规范编号 | GHY26691-ST-04-0004-V1.0《多模态数据标注规范·产品质量册》 |
| 受检对象指纹 | 批次清单摘要【待填：SM3 值】 |
| 质检执行期间 | 【待填】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | 条件通过 |
| 抽样 | 批量 36 400，样本量 500（批量 >35 000 档）；长尾标签另定额抽取：未熔合 30 个、根部裂纹 30 个、弧坑 30 个 |
| 严格项 | 不合格 1 项（位置重合度达标率） |
| 一般项 | 不合格 9 项，低于判定数 21 |
| 缺陷统计 | A 级 0、B 级 0、C 级 2、D 级 5 |
| 未关闭缺陷 | C 级 2 条：缺陷位置重合度达标率 83.2%（基线 85%）；咬边与余高两类的类别一致率 87.6%（基线 90%） |
| 放行结论 | 条件放行。咬边与余高两类标签涉及的 6 142 个实例退回复标，其余放行进入合成与增强环节 |
**第 1 章 质检对象与范围**
| 缺陷大类 | 缺陷类型 | 标注实例数 | 其中双标 | 其中三人标注 |
|---|---|---|---|---|
| 面状缺陷 | 气孔 | 14 820 | 2 223 | — |
| 面状缺陷 | 咬边 | 6 142 | 921 | — |
| 线状缺陷 | 裂纹（表面） | 1 864 | 280 | 1 864 |
| 线状缺陷 | 未熔合 | 742 | 111 | 742 |
| 尺寸类 | 余高超差 | 9 316 | 1 397 | — |
| 尺寸类 | 焊脚尺寸偏差 | 6 208 | 931 | — |
| 其他 | 弧坑 | 2 176 | 326 | — |
| 合计 | — | 41 268 | 6 189（15.0%） | 2 606 |
标注粒度为缺陷实例级，位置标注到焊缝编号加里程加层道。裂纹与未熔合两类按标注规范要求三人标注取多数，原因是这两类的后果最重且边界判断分歧最大。标注组织方式为：规则与模型预标注覆盖全部实例，人工逐实例复核，其中 15% 做双人交叉标注，不一致实例进专家仲裁。
**第 2 章 质检依据与方法**
依据为《多模态数据标注规范·产品质量册》、《数据集质检规范》；缺陷分级与评定依 GB/T 19418—2003（焊接缺陷质量分级）、GB/T 11345—2023（超声检测）、GB/T 3323.1—2019（射线检测）、GB/T 324—2008（焊缝符号）。参考答案取无损检测与检验结论，以及金标准集中由质检骨干三人标注取多数的结果。
一致性度量方式：类别一致性按混淆矩阵统计，位置一致性按重合度比对（重合度达标的定义为标注框与参考框的交并比不低于设定门限）。两项分别统计，不合成一个总一致率——类别判对而位置画错，与位置画对而类别判错，是两种完全不同的问题。
**第 3 章 门控③检查结论**
| 检查项 | 类别 | 门限 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 标签完整性（必填标签非空率） | 一般 | ≥99% | 99.4% | 通过 |
| 标签体系符合性（取值在体系内） | 一般 | ≥98% | 99.1% | 通过 |
| 缺陷类别一致率（全类合并） | 严格 | ≥90% | 90.4% | 通过（临界） |
| 缺陷类别一致率·咬边与余高 | 严格 | ≥90% | 87.6% | **不通过**，列 C 级缺陷 |
| 缺陷类别一致率·裂纹与未熔合 | 严格 | ≥90% | 93.2%（三人取多数后） | 通过 |
| 位置重合度达标率 | 严格 | ≥85% | 83.2% | **不通过**，列 C 级缺陷 |
| 跨标注员一致性指标值 | 严格 | ≥0.75 | 0.78 | 通过 |
| 黄金集通过率 | 严格 | ≥90% | 92.6% | 通过 |
| 低一致性样本清单 | 一般 | 清单齐备并进入仲裁 | 清单齐备，1 864 个实例进仲裁，仲裁完成率 100% | 通过 |
| 位置粒度完整性（焊缝编号＋里程＋层道三者齐备） | 一般 | ≥95% | 91.4%（人工焊工位无层道信息） | 不通过，列 D 级缺陷 |
| 标注员资格核验 | 一般 | 全部具备相应检测资格 | 本批次标注人员资格登记齐备 | 通过 |
| 口径对齐测验通过情况 | 一般 | 正式标注前 ≥30 样本对齐通过 | 对齐测验已完成，通过 | 通过 |
| 标注期抽检比例 | 一般 | ≥5% | 7.2% | 通过 |
| 边界模糊样本单列 | 一般 | 单列并标注原因 | 单列 1 208 个，原因分四类 | 通过 |
**第 4 章 本环节涉及的六维度指标**
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 规整性 | 标注规范符合率 | ≥98% | 99.1% | 达基线 |
| 均衡性 | 标签分布基尼系数 | ≤0.70 | 0.68 | 达基线，未达目标 0.55 |
| 均衡性 | 业务主题覆盖度 | ≥90% | 92.8% | 达基线 |
| 可信性 | 跨标注员一致性 | ≥0.75 | 0.78 | 达基线，未达目标 0.85 |
| 可信性 | 黄金集通过率 | ≥90% | 92.6% | 达基线 |
| 可信性 | 内容一致性 | ≤1% | 0.7% | 达基线 |
标签分布基尼系数 0.68 与未熔合、根部裂纹两类的长尾形态直接相关。这两类标签各占总量的百分之二以下，在自然样本中就是低频的，不能靠多标注解决。本批次的处置是维持如实统计，在合成与增强环节按定向补充处理，并在版本级报告的均衡性评定中给出补充后的分布。
**第 5 章 缺陷清单、分级与归因**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC04-0054-D01 | C | 咬边与余高两类的类别一致率 87.6%，低于基线 | 标签∈{咬边,余高超差} 的 15 458 个实例，其中双标不一致 342 对 | 标注规范对「咬边」与「余高根部过渡不良」的边界描述存在歧义，两位骨干按各自理解判定 | 修订标注规范该条的判定边界并附图例；已标注的同类实例回溯复核 |
| QC04-0054-D02 | C | 位置重合度达标率 83.2%，低于基线 | 全批次 | 小尺寸缺陷（长度小于 2mm）的标注框尺度差异大 | 规范中补小尺寸缺陷的标注框口径（按最小外接矩形加固定余量）；重标小尺寸实例 |
| QC04-0054-D03 | D | 人工焊工位实例缺层道信息，位置粒度只到焊缝级 | 来源='人工焊工位' 的 3 128 个实例 | 人工焊工位不具备焊道级采集条件 | 不回退；按焊缝级标注并标明粒度，分档记录 |
| QC04-0054-D04 | D | 1 208 个边界模糊实例未给出统一处置口径 | 实例清单 | 规范未定义「模糊」的处置档 | 规范补充模糊档定义；模糊实例单列不进主训练集 |
| QC04-0054-D05 | D | 熔池视频抽帧中 418 帧因烟尘遮挡无法判定 | 帧 id 清单 | 采集环境限制 | 剔除并记录原因，不计入分母 |
D01 的归因值得写清楚，因为它指向的不是标注员而是规范。两位具备资格的骨干都按规范作业却得到不同结果，问题在规范的表述，不在人。本项目的处置口径是：一致率低于门限时先检查规范是否有歧义，确认歧义后修订规范、对此前已标注的同类样本做回溯复核，而不是简单把分歧交仲裁了事。这一口径与本投标文件 T5 节的标注一致性管理要求一致。
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 |
|---|---|---|---|---|---|---|
| GHY26691-OT-04-0088 | D01 | C | 修订标注规范咬边判定边界条款并附图例；6 142 个咬边实例与 9 316 个余高实例回溯复核 | 标注 | 10 个工作日 | 抽样复检 500 个实例，另按双标 15% 重算一致率 |
| GHY26691-OT-04-0089 | D02 | C | 规范补小尺寸缺陷标注框口径；重标小尺寸实例 4 820 个 | 标注 | 10 个工作日 | 逐实例复检重标部分，回归子集 500 个 |
| GHY26691-OT-04-0090 | D03、D04、D05 | D | 分档标注并补规范模糊档定义 | 标注 | 下一版本 | 规范发布后抽样核对 |
**第 7 章 结论与建议**
门控③判定条件通过。咬边与余高两类标签涉及的实例退回复标，小尺寸缺陷实例重标；其余实例放行进入合成与增强环节。本批次的标注规范修订后，须按《多模态数据标注规范》的修订流程重新发布，并对同一规范下的其他批次做影响评估——规范改了，此前按旧版标注的样本是否需要回溯，这件事必须在规范修订记录中写明结论，不能默认不动。
对下一批次的建议：小尺寸缺陷在预标注阶段单独分流，按不同的标注框口径作业；人工焊工位的实例自成批次，与机器人工位不混批统计，避免以机器人工位的层道级指标代表全部工位。
#### 2.7 样章六 标注环节批次质检报告（工艺卡工序序列与判读依据标注批次）
本样章与样章五同属门控③，但受检对象为文本与结构化标注，且包含本项目最有价值的一类标注——判读依据（b1538、b1539）。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-02-0061-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 标注（门控③） |
| 受检批次 | AN-02-CARD-20270420-001 |
| 受检对象 | 产品工艺设计数据集·工艺卡工序序列标注与判读依据标注 |
| 批量 | 3 200 张图卡成对样本（工序实例 38 464 条，判读依据条目 9 612 条） |
| 标注规范编号 | GHY26691-ST-02-0004-V1.0《多模态数据标注规范·产品工艺设计册》 |
| 质检执行期间 | 【待填】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | 通过 |
| 抽样 | 批量 3 200，样本量 200；长尾工序（出现频次低于总量 0.5% 的工序）定额抽取 30 条 |
| 严格项 | 不合格 0 项 |
| 一般项 | 不合格 4 项，低于判定数 10 |
| 缺陷统计 | A 级 0、B 级 0、C 级 0、D 级 4 |
| 未关闭缺陷 | 无 C 级及以上缺陷；D 级 4 条随下一版本修复 |
| 放行结论 | 允许进入合成与增强环节 |
**第 1 章 质检对象与范围**
工序序列标注以工艺部门确认的 28 道备料工序字典为取值集，标注内容为每个零件的工序集合、工序顺序、设备编码、工装压模号、样板号、材料定额与展开长。判读依据标注记录工艺骨干为什么这样定工序——这一项不是工序本身，而是工序背后的判断理由，它是后续规则沉淀与偏好数据构建的来源。
| 标注对象 | 条目数 | 取值集来源 | 双标比例 |
|---|---|---|---|
| 工序集合与顺序 | 38 464 条工序实例 | 28 道备料工序字典 | 20% |
| 设备编码引用 | 34 112 条 | 设备资源库 | 15% |
| 工装压模号与样板号引用 | 11 268 条 | 车间台账 | 15% |
| 材料定额 | 3 200 条 | 定额规则 | 20% |
| 展开长（压弯件） | 1 046 条 | 中性层展开系数表 | 全量双标 |
| 判读依据 | 9 612 条 | 自由文本＋依据类型标签（七类） | 30% |
**第 2 章 质检依据与方法**
依据为《多模态数据标注规范·产品工艺设计册》《数据集质检规范》；工序定义与前后依赖依工艺部门确认的工序字典；展开长的判定依据中性层展开系数表（按板厚与折弯角度分档）；一般公差的默认推断依 GB/T 1804—2000。参考答案取同一图纸历史上已审核签发的工艺卡片，差异由工艺骨干判定属实质错误还是等效表述。
工序序列的一致性按集合与顺序分别比对，这一点与焊缝标注的类别加位置双统计同理：工序选对而顺序排错，与顺序正确而漏选工序，整改方向完全不同。
**第 3 章 门控③检查结论**
| 检查项 | 类别 | 门限 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 标签完整性 | 一般 | ≥99% | 99.6% | 通过 |
| 工序取值在 28 道字典内 | 严格 | ≥98% | 99.8% | 通过 |
| 工序集合一致率（与签发卡片比对） | 严格 | ≥88% | 91.4% | 通过 |
| 工序顺序一致率 | 严格 | ≥85% | 88.7% | 通过 |
| 设备编码命中率 | 一般 | ≥90% | 92.1% | 通过 |
| 工装压模号与样板号命中率 | 一般 | ≥90% | 88.4% | 不通过，列 D 级缺陷 |
| 材料定额偏差（≤1% 的占比） | 一般 | ≥98% | 98.6% | 通过 |
| 展开长偏差（≤0.5mm 或 ≤0.3% 的占比） | 严格 | ≥99% | 99.2% | 通过 |
| 判读依据条目完整率（每个工序差异点有依据） | 一般 | ≥90% | 92.8% | 通过 |
| 判读依据类型标签正确率 | 一般 | ≥90% | 93.4% | 通过 |
| 跨标注员一致性·工序集合 | 严格 | ≥0.75 | 0.84 | 通过 |
| 跨标注员一致性·判读依据类型 | 严格 | ≥0.75 | 0.76 | 通过（临界） |
| 黄金集通过率 | 严格 | ≥90% | 94.2% | 通过 |
| 长尾工序标注正确率（定额抽取 30 条） | 一般 | ≥85% | 86.7% | 通过 |
**第 4 章 本环节涉及的六维度指标**
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 规整性 | 标注规范符合率 | ≥98% | 99.2% | 达基线 |
| 均衡性 | 业务主题覆盖度 | ≥90% | 94.6% | 达基线 |
| 均衡性 | 标签分布基尼系数（按工序） | ≤0.70 | 0.62 | 达基线 |
| 均衡性 | 难度分布偏离度 | 各层偏差 ≤10 个百分点 | 最大偏差 6.2 个百分点 | 达基线 |
| 可信性 | 跨标注员一致性 | ≥0.75 | 0.76 | 达基线 |
| 可信性 | 黄金集通过率 | ≥90% | 94.2% | 达基线 |
| 可信性 | 内容一致性 | ≤1% | 0.5% | 达目标 |
**第 5 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC02-0061-D01 | D | 工装压模号命中率 88.4%，低于门限 90% | 工装引用 11 268 条中未命中 1 308 条 | 车间台账的工装状态字段缺失，部分已报废工装仍被引用 | 台账补状态字段后重算；本批次标注保留原引用并加「待核」标记 |
| QC02-0061-D02 | D | 判读依据类型标签一致性 0.76，接近门限下沿 | 判读依据 9 612 条中双标 2 884 条 | 七类依据中「工艺习惯」与「设备能力限制」两类边界模糊 | 规范补两类的判定边界与示例；下一批次前完成 |
| QC02-0061-D03 | D | 42 条工序实例的标准工步语句与字典版本不符 | 实例清单 | 工序字典在标注期间升版，部分实例按旧版标注 | 按新版重标 42 条；标注任务绑定字典版本号 |
| QC02-0061-D04 | D | 展开长标注中 8 条未记录所用折弯角度分档 | 实例清单 | 标注表单该字段非必填 | 表单改为必填；8 条补录 |
D03 这一条在本项目会反复出现，值得在样章中留下处置口径：工序字典、设备台账、系数表这类受控基础数据会在项目期内升版，标注任务必须绑定它所依据的版本号，否则升版之后无法判断哪些标注需要回溯。本项目的做法是在标注任务与标注结果两处都记录基础数据版本，升版时由平台自动列出受影响的标注批次。
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 |
|---|---|---|---|---|---|---|
| GHY26691-OT-02-0095 | D01 | D | 推动台账补状态字段；本批次加「待核」标记 | 标注 | 下一版本 | 台账补齐后重算命中率 |
| GHY26691-OT-02-0096 | D02 | D | 规范补判读依据两类的判定边界与示例 | 标注 | 下一版本 | 规范发布后抽 200 条重算一致性 |
| GHY26691-OT-02-0097 | D03、D04 | D | 42 条按新版字典重标；8 条补录折弯角度分档 | 标注 | 5 个工作日 | 逐条复检 |
**第 7 章 结论与建议**
门控③判定通过。本批次允许进入合成与增强环节。四条 D 级缺陷不阻断，按规定在下一版本一并修复。
对下一批次的建议两条。判读依据的标注是本项目图卡样本最有价值的部分，也是最依赖骨干时间的部分；建议把判读依据的标注与工序序列标注分开排产，判读依据按「有差异点的样本优先」安排，不对所有样本等量投入——没有差异点的样本，其判读依据是冗余的。另外，本批次的判读依据条目已可构成偏好数据的依据（同一零件有多个可行工序方案而有优劣之分），建议在合成与增强环节按偏好对形式组织，这部分产出同时服务于强化学习偏好子集，口径见本投标文件 T1C 节。
##### 图 A11-2 四道门控的严格项构成与不通过时的回退终点
图 A11-2 数据来源：招标文件 3.2.6.3.8 第（1）—（4）项（b1533—b1541）、数据增强第（5）项批次回退要求（b1530、b1531）；门限与缺陷分级见附件 A2 第 5.5、5.7 节。实线为批次流向，虚线为回退与阻断关系。
#### 2.8 样章七 合成与增强环节批次质检报告（低频缺陷样本合成批次·不通过并整批回退）
本样章回应招标文件 3.2.6.3.8 第（4）项的合成与增强环节门控要求，以及 3.2.6.3.6 对数据合成的业务合理性、分布偏离度、重复率、语义漂移校验与批次回退的要求（b1540、b1541、b1530、b1531），并回应基准评测子集不含合成样本的要求（b1513）。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-04-0070-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 合成与增强（门控④） |
| 受检批次 | SY-04-SYN-20270508-004 |
| 受检对象 | 产品质量数据集·低频缺陷类型的合成指令样本（未熔合、根部裂纹、弧坑三类） |
| 批量 | 合成样本 8 400 条（未熔合 3 600、根部裂纹 2 800、弧坑 2 000） |
| 种子来源 | 专家定标样本 612 条（取自黄金集之外的独立切片） |
| 合成方法登记 | 模板化生成＋拒绝采样；提示词版本与模型版本标识由平台记录 |
| 本报告状态 | 不通过；整批回退，复检后出具 V1.1 并作废本版 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | **不通过** |
| 抽样 | 批量 8 400，样本量 200；业务合理性由质检骨干抽检 200 条；语义漂移校验全量执行 |
| 严格项 | 不合格 2 项（语义漂移校验、业务合理性抽检合格率） |
| 一般项 | 不合格 3 项 |
| 缺陷统计 | A 级 0、B 级 1、C 级 3、D 级 2 |
| 不通过的判定依据 | 语义漂移校验未通过（根部裂纹类合成样本中 18.2% 的回答把缺陷等级判定依据写成了不适用的检测手段）；业务合理性抽检合格率 89.5%，低于基线 95% |
| 回退动作 | 按 b1531 整批回退。重新设计提示词与拒绝采样判据后重新合成，复检通过方可进入下一环节 |
**第 1 章 质检对象与范围**
| 合成目标类型 | 自然样本存量 | 本批次合成条数 | 合成后占该类型总量 | 种子条数 |
|---|---|---|---|---|
| 未熔合 | 742 | 3 600 | 82.9% | 268 |
| 根部裂纹 | 426 | 2 800 | 86.8% | 198 |
| 弧坑 | 2 176 | 2 000 | 47.9% | 146 |
| 合计 | 3 344 | 8 400 | — | 612 |
合成占比一栏是本批次最需要被看见的一组数。为低频类型补样本是必要的，但合成样本占该类型总量超过八成，意味着模型在这些类型上学到的主要是合成分布而不是真实分布。本项目的口径是：合成占比按用途子集与按标签类型双重统计，单一标签类型的合成占比超过设定上限时，须在数据卡的已知局限性字段中明确说明，并在验证报告中单独报告该类型的指标。这一条在本批次的结论中落为一条 C 级缺陷。
**第 2 章 质检依据与方法**
依据为《数据合成与增强作业规范》GHY26691-ST-00-0005-V1.0；缺陷等级判定与检测手段的对应关系依 GB/T 19418—2003、GB/T 11345—2023、GB/T 3323.1—2019；生成内容的安全要求依 GB/T 45654—2025。
方法分四路：业务合理性由具备检测资格的质检骨干抽检 200 条，判定合成样本描述的缺陷形态、成因与处置建议在业务上是否可信；分布偏离度按关键特征（缺陷尺寸、位置分布、母材板厚、焊接方法）计算合成样本与真实样本的统计距离；重复率按近似重复检测全量执行；语义漂移校验按语义一致性与标签一致性两项全量执行，即检查合成样本的回答内容与其标签、与其所依据的种子样本是否自相矛盾。
**第 3 章 门控④检查结论**
| 检查项 | 类别 | 门限 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 业务合理性抽检合格率 | 严格 | ≥95% | 89.5% | **不通过** |
| 与真实样本分布的偏离度·缺陷尺寸 | 一般 | 统计距离在阈值内 | 在阈值内 | 通过 |
| 与真实样本分布的偏离度·缺陷位置 | 一般 | 统计距离在阈值内 | 超阈值（合成样本过度集中于根部） | 不通过 |
| 与真实样本分布的偏离度·母材板厚 | 一般 | 统计距离在阈值内 | 在阈值内 | 通过 |
| 近似重复率 | 一般 | ≤3% | 4.6% | 不通过 |
| 语义漂移校验 | 严格 | 校验通过；不通过则整批回退 | **未通过**：18.2% 的根部裂纹样本引用了不适用的检测手段作为等级判定依据 | **不通过** |
| 合成样本占比·按用途子集 | 严格 | 在规定占比内 | 本子集合成占比 9.4%，在规定内 | 通过 |
| 合成样本占比·按标签类型 | 严格 | 单类型上限见规范 | 未熔合 82.9%、根部裂纹 86.8%，均超上限 | 不通过 |
| 与基准评测子集的重叠 | 严格 | 0 条命中为接收条件 | 0 条命中 | 满足接收条件 |
| 基准评测子集合成占比 | 严格 | 固定为 0 | 本批次不进入基准子集，基准子集合成占比为 0 | 满足接收条件 |
| 种子样本与黄金集的隔离 | 严格 | 种子不取自黄金集 | 种子取自黄金集之外的独立切片，核验通过 | 通过 |
| 合成方法登记完整性 | 一般 | 种子来源、方法、提示词版本、模型版本标识齐备 | 齐备 | 通过 |
| 教师模型许可登记 | 严格 | 登记条目齐备 | 登记条目编号【待填】，齐备 | 通过 |
| 生成内容安全检查 | 严格 | 全部符合为接收条件 | 符合 | 满足接收条件 |
**第 4 章 本环节涉及的六维度指标**
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 保真度 | 内容真实性抽检合格率 | ≥95% | 89.5% | **低于基线** |
| 均衡性 | 标签分布基尼系数（合成后） | ≤0.70 | 0.51 | 达目标 |
| 均衡性 | 难度分布偏离度 | 各层偏差 ≤10 个百分点 | 最大 8.4 个百分点 | 达基线 |
| 可用性 | 内容重复率 | ≤3% | 4.6% | **低于基线** |
| 可用性 | 与基准子集的重叠率 | 0 条命中 | 0 条 | 满足接收条件 |
| 可信性 | 内容一致性 | ≤1% | 3.8% | **低于基线** |
| 可信性 | 内容干净性 | ≤0.5% | 0.2% | 达基线 |
基尼系数从标注批次的 0.68 降到 0.51，达到了目标值——这恰好说明一个问题：合成把分布做得更均衡了，但均衡不等于可用。内容一致性 3.8% 远超基线，意味着合成样本内部存在自相矛盾的表述。只看均衡性指标会得出本批次改善了数据集的结论，这就是六维度必须并列报告、不能挑着报的原因。
**第 5 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC04-0070-D01 | B | 根部裂纹类合成样本中 510 条（18.2%）引用射线检测作为根部裂纹的等级判定依据，而该缺陷在本企业工艺条件下以超声检测为主判手段 | 标签='根部裂纹' 且 evidence_method='射线检测' 的样本 | 提示词中未约束检测手段与缺陷类型的对应关系，模型按通用知识填充 | 提示词补检测手段约束表；拒绝采样判据增加手段—类型一致性校验；整批重新合成 |
| QC04-0070-D02 | C | 合成样本的缺陷位置过度集中于焊缝根部，与真实分布偏离超阈值 | 全批次 | 种子样本本身集中于根部，合成未做位置分层 | 种子按位置分层后分层合成 |
| QC04-0070-D03 | C | 近似重复率 4.6%，超基线 | 近似重复样本对清单 | 模板化生成的句式多样性不足 | 增加模板变体并在生成后做一次组内去重 |
| QC04-0070-D04 | C | 未熔合与根部裂纹两类的合成占比超单类型上限 | 两类全部样本 | 自然样本存量过低，补齐目标定得过高 | 下调合成目标至上限内；缺口转为长期自然样本积累计划，并在数据卡已知局限性中说明 |
| QC04-0070-D05 | D | 132 条样本的处置建议部分与企业既有处置口径不一致 | 样本 id 清单 | 企业处置口径未完整进入提示词约束 | 补口径约束后重新生成该部分 |
| QC04-0070-D06 | D | 合成样本未标注「合成」来源标记的 46 条 | 样本 id 清单 | 批量写入时标记字段漏填 | 补标记；写入流程加必填校验 |
D06 这条虽是 D 级，但它影响的是可追溯性：合成样本若不带来源标记，后续无法按合成与非合成分别统计指标，也无法在验证报告中单独报告合成样本上的表现。本项目的处置是把来源标记列为写入时的必填校验项，从流程上避免漏填。
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 |
|---|---|---|---|---|---|---|
| GHY26691-OT-04-0101 | D01 | B | 提示词补检测手段约束；拒绝采样判据加一致性校验；整批重新合成 | 合成与增强 | 5 个工作日 | 全量语义漂移校验＋抽样 200 条业务合理性复检 |
| GHY26691-OT-04-0102 | D02、D03 | C | 种子按位置分层；增模板变体并组内去重 | 合成与增强 | 10 个工作日 | 重算分布偏离度与重复率 |
| GHY26691-OT-04-0103 | D04 | C | 下调合成目标至单类型上限内；缺口转长期积累计划并写入数据卡局限性 | 合成与增强 | 10 个工作日 | 重算按标签类型的合成占比 |
| GHY26691-OT-04-0104 | D05、D06 | D | 补企业处置口径约束；补来源标记并加必填校验 | 合成与增强 | 5 个工作日 | 逐条复检 |
**第 7 章 结论与建议**
门控④判定不通过，本批次按招标文件 3.2.6.3.6 第（5）项的要求整批回退（b1531），不进入质检定版流程。回退的理由写在第 3 章的语义漂移校验一项：合成样本把一种不适用的检测手段作为缺陷等级的判定依据，这类错误进入指令微调子集之后，模型会稳定地给出错误的判定路径，而且因为表述规范、格式正确，在后续抽检中不容易被发现。这正是语义漂移校验必须设为严格项并一票否决的原因。
对下一批次的建议三条。第一，低频类型的补样优先用定向检索真实样本，合成作为补充手段而非主要手段；合成占比按标签类型设上限，上限内补不齐的缺口如实列入长期积累计划，不靠提高合成量掩盖。第二，提示词中需要固化的业务约束（检测手段与缺陷类型的对应、企业处置口径、工艺窗口）应当来自已确认的受控文件而不是通用知识，约束表随规范一并版本化。第三，合成批次在正式投放前先做一个不超过五百条的小批试跑并完成全量语义漂移校验，试跑通过再放量——本批次八千四百条全量合成后才发现漂移，返工成本明显高于试跑。
#### 2.9 样章八 合成与增强环节批次质检报告（偏好对数据增强批次）
本样章与样章七同属门控④，受检对象为强化学习偏好数据的增强产出（b1540、b1541）。偏好数据的质检与指令样本不同——它判的不是单条回答对不对，而是一对回答之间的优劣关系标得对不对。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-02-0074-V1.0 |
| 报告类型 | 批次级 |
| 受检环节 | 合成与增强（门控④） |
| 受检批次 | SY-02-PREF-20270515-002 |
| 受检对象 | 产品工艺设计数据集·工序排序优劣偏好对 |
| 批量 | 偏好对 12 600 组（由 9 612 条判读依据与 3 200 张图卡样本派生） |
| 增强方法登记 | 由判读依据派生正例，由规则扰动与历史被退回方案派生负例 |
| 质检执行期间 | 【待填】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 门控结论 | 条件通过 |
| 抽样 | 批量 12 600，样本量 315；偏好方向由工艺骨干抽检 315 组 |
| 严格项 | 不合格 0 项 |
| 一般项 | 不合格 5 项，低于判定数 14 |
| 缺陷统计 | A 级 0、B 级 0、C 级 2、D 级 3 |
| 未关闭缺陷 | C 级 2 条：偏好方向抽检一致率 91.4%（基线 95%）；负例来源单一（64.8% 来自同一种规则扰动） |
| 放行结论 | 条件放行。规则扰动类负例按比例下调并补充历史被退回方案类负例后复检；本批次允许进入质检定版流程，但在验证报告中单独报告偏好子集的实验结果 |
**第 1 章 质检对象与范围**
| 偏好对类型 | 组数 | 正例来源 | 负例来源 | 骨干抽检组数 |
|---|---|---|---|---|
| 工序顺序优劣 | 5 240 | 已签发卡片的工序顺序 | 规则扰动（相邻工序互换、前置约束违反） | 131 |
| 设备与工装选择优劣 | 3 180 | 判读依据中明确记录的选择理由 | 规则扰动（选用能力不匹配设备） | 80 |
| 加工方法分档优劣 | 2 460 | 已签发卡片的加工方法 | 历史被退回方案中的方法选择 | 61 |
| 定额取值优劣 | 1 720 | 已审核定额 | 规则扰动（系数分档错取） | 43 |
| 合计 | 12 600 | — | — | 315 |
**第 2 章 质检依据与方法**
依据为《数据合成与增强作业规范》《多模态数据标注规范·产品工艺设计册》；工序前后依赖关系依工艺部门确认的 28 道工序字典；设备能力范围依设备资源库；展开系数分档依系数表。
方法上，偏好方向的正确性由工艺骨干逐组判定（判定「这一对里标为更优的那一个确实更优」），抽检 315 组；负例的合理性另设一项检查——负例必须是「看起来可行但实际更差」的方案，而不是明显荒谬的方案。明显荒谬的负例训练不出有用的偏好信号，这一项按抽检组数统计。
**第 3 章 门控④检查结论**
| 检查项 | 类别 | 门限 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 偏好方向抽检一致率 | 严格 | ≥95% | 91.4% | **不通过**，列 C 级缺陷 |
| 负例合理性（非明显荒谬） | 一般 | ≥90% | 93.0% | 通过 |
| 负例来源多样性（单一来源占比） | 一般 | 单一来源 ≤50% | 规则扰动占 64.8% | 不通过，列 C 级缺陷 |
| 正例与负例的差异可解释率（能说明差在哪一维度） | 一般 | ≥90% | 92.7% | 通过 |
| 偏好对内两方案的可行性（两者均通过基本规则校验） | 一般 | ≥95% | 96.2% | 通过 |
| 近似重复率（偏好对级） | 一般 | ≤3% | 2.1% | 通过 |
| 与基准评测子集的重叠 | 严格 | 0 条命中为接收条件 | 0 条 | 满足接收条件 |
| 合成与增强样本占比 | 严格 | 在规定占比内 | 偏好子集全量由增强派生，按规范登记并说明 | 通过 |
| 增强前后分布对比结论 | 一般 | 结论编号齐备 | 结论编号【待填】 | 通过 |
| 来源标记完整率 | 一般 | ≥99% | 99.8% | 通过 |
| 判读依据引用可回溯率 | 一般 | ≥95% | 97.4% | 通过 |
| 教师模型许可登记 | 严格 | 不涉及（未调用教师模型） | 不适用 | 不适用 |
**第 4 章 本环节涉及的六维度指标**
| 维度 | 指标 | 基线值 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 保真度 | 内容真实性抽检合格率（偏好方向） | ≥95% | 91.4% | **低于基线** |
| 均衡性 | 业务主题覆盖度 | ≥90% | 93.2% | 达基线 |
| 均衡性 | 难度分布偏离度 | ≤10 个百分点 | 7.6 个百分点 | 达基线 |
| 可用性 | 内容重复率 | ≤3% | 2.1% | 达基线 |
| 可用性 | 模型适配性检查通过率 | ≥99.5% | 99.7% | 达基线 |
| 可信性 | 内容一致性 | ≤1% | 0.8% | 达基线 |
**第 5 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因初判 | 整改动作 |
|---|---|---|---|---|---|
| QC02-0074-D01 | C | 偏好方向抽检一致率 91.4%，低于基线。不一致集中在「加工方法分档优劣」类型，骨干认为部分历史被退回方案在当前设备条件下反而更优 | 类型='加工方法分档优劣' 的 2 460 组 | 负例取自历史被退回方案，但退回原因可能是当年设备条件所限，与当前条件不同 | 该类型负例逐组复核退回原因，排除因设备条件变化而不再成立的组 |
| QC02-0074-D02 | C | 负例 64.8% 来自规则扰动一种来源 | 全批次 | 规则扰动生成成本低，历史被退回方案归集不足 | 下调规则扰动比例至 50% 以内；补充历史被退回方案与专家构造负例 |
| QC02-0074-D03 | D | 规则扰动类负例中 218 组的扰动过于明显（互换了存在强前置约束的两道工序） | 组 id 清单 | 扰动强度未分级 | 扰动强度分三档，强档比例下调 |
| QC02-0074-D04 | D | 68 组偏好对的判读依据引用指向已修订的依据条目 | 组 id 清单 | 判读依据条目在增强后发生修订 | 重新绑定修订后的条目编号 |
| QC02-0074-D05 | D | 定额取值优劣类型的分布偏向薄板规格 | 该类型全部组 | 种子样本规格分布不均 | 下一版本按规格分层补充 |
D01 的处置方式值得留下口径。历史被退回的方案不等于更差的方案——退回原因可能是当年没有那台设备。把这类方案直接当负例，教给模型的是一个已经过时的偏好。本项目的处置是：历史被退回方案作为负例时，须逐组复核退回原因，退回原因与当前条件无关的方可保留；退回原因已不成立的，该组作废或反向标注。这一条写入《数据合成与增强作业规范》。
**第 6 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 |
|---|---|---|---|---|---|---|
| GHY26691-OT-02-0108 | D01 | C | 加工方法分档类负例逐组复核退回原因 | 合成与增强 | 10 个工作日 | 该类型全量复核后重抽 125 组复检一致率 |
| GHY26691-OT-02-0109 | D02、D03 | C | 调整负例来源结构与扰动强度分档 | 合成与增强 | 10 个工作日 | 重算来源占比与扰动强度分布 |
| GHY26691-OT-02-0110 | D04、D05 | D | 重绑判读依据编号；规格分层补充 | 合成与增强 | 下一版本 | 逐条复检绑定关系 |
**第 7 章 结论与建议**
门控④判定条件通过。本批次允许进入质检定版流程，但带两条限制：偏好子集在本版本的验证报告中单独报告实验结果，不与指令微调子集的结论合并呈述；加工方法分档类偏好对在复核完成前不参与奖励模型训练。
对下一批次的建议：偏好数据的正例应尽量来自判读依据这类带理由的记录，而不是只来自结果——「这个方案被采用了」和「这个方案因为这个理由被采用了」对偏好学习的价值差别很大。本项目的判读依据标注已为此预留了依据类型标签，建议在增强时把依据类型一并带入偏好对的元数据，使后续可以按依据类型分析偏好学习的效果。
#### 2.10 批次级质检报告的汇总看板（模板）
批次级报告数量多，逐份翻阅无法掌握全局。本项目在数据集运营服务管理平台上提供批次质检看板，按版本汇总本版本涉及的全部批次结论。看板字段如下，版本级质检报告第 1 章的批次清单直接取自该看板。
| 字段 | 内容 | 填写方 |
|---|---|---|
| 批次编号 | 环节码-业务域码-来源码-日期-流水号 | 平台 |
| 受检环节 | 采集／预处理／标注／合成与增强 | 平台 |
| 质检报告编号 | 对应的批次级报告编号与版本 | 平台 |
| 批量与样本量 | 两个整数 | 平台 |
| 门控结论 | 通过／条件通过／不通过 | 平台 |
| 严格项不合格数 | 整数 | 平台 |
| 缺陷数（A／B／C／D） | 四个整数 | 平台 |
| 未关闭缺陷数 | 整数 | 平台 |
| 阻断定版 | 是／否 | 平台 |
| 回退次数 | 本批次累计被回退的次数 | 平台 |
| 关联整改任务单 | 任务单编号清单 | 平台 |
| 分档标记 | 本批次在后续环节可达的分析层级（如炉级／炉位级、焊缝级／焊道级） | 质检岗 |
下表为看板的样章填写，取本节八份样章对应的批次。
| 批次编号 | 环节 | 报告编号 | 批量／样本量 | 结论 | A／B／C／D | 未关闭 | 阻断 | 回退 | 分档标记 |
|---|---|---|---|---|---|---|---|---|---|
| CL-02-PLM-20270312-002 | 采集 | QC-02-0031-V1.0 | 12 480／315 | 通过 | 0／0／1／6 | 1 | 否 | 0 | 744 件无配对卡，列无监督子批 |
| CL-03-MES-20270318-005 | 采集 | QC-03-0018-V1.0 | 8 640／200 | 条件通过 | 0／0／2／5 | 2 | 否 | 0 | 炉级（B 档） |
| PP-02-DRW-20270325-001 | 预处理 | QC-02-0038-V1.0 | 11 736／315 | 条件通过 | 0／0／3／7 | 3 | 否 | 0 | 复合特征件退回重跑 |
| PP-00-STD-20270402-003 | 预处理 | QC-00-0062-V1.0 | 2 860／125 | 不通过 | 0／1／4／6 | 11 | 是 | 1 | 31 页入不可解析清单 |
| AN-04-WELD-20270415-002 | 标注 | QC-04-0054-V1.0 | 36 400／500 | 条件通过 | 0／0／2／5 | 2 | 否 | 0 | 人工焊工位按焊缝级 |
| AN-02-CARD-20270420-001 | 标注 | QC-02-0061-V1.0 | 3 200／200 | 通过 | 0／0／0／4 | 0 | 否 | 0 | 无 |
| SY-04-SYN-20270508-004 | 合成与增强 | QC-04-0070-V1.0 | 8 400／200 | 不通过 | 0／1／3／2 | 6 | 是 | 1 | 整批回退 |
| SY-02-PREF-20270515-002 | 合成与增强 | QC-02-0074-V1.0 | 12 600／315 | 条件通过 | 0／0／2／3 | 2 | 否 | 0 | 偏好子集单独报告 |
看板上有两个数需要被反复看：未关闭缺陷数与回退次数。未关闭缺陷数决定了版本级质检报告的未关闭缺陷清单有多长；回退次数的异常升高通常不是某一批次的问题，而是某个环节的规则或样本有系统性缺口，此时应当暂停该环节的放量、先处理缺口，而不是继续逐批回退。
### 三、版本级质检报告样章
本节回应招标文件 3.2.6.3.8 第（5）（6）项要求：按《高质量数据集质量评测规范》等国家标准要求，在保真度、完备性、规整性、均衡性、可用性与可信性各维度输出可量化的质检指标结果（b1542、b1543），并产出整改任务与复检结论（b1545）；同时回应 3.2.6.3.10（2）中质检报告作为每一正式发布版本产出之一的要求（b1568）。
版本级质检报告与批次级报告的分工在附件 A2 第 5.1 节已定：批次级承载环节门控，版本级承载六维度评定并汇总本版本涉及的全部批次结论。版本级报告是数据集发布的前置条件之一，它通过了才做验证实验。
#### 3.1 版本级报告的共用口径
| 项 | 口径 |
|---|---|
| 报告类型字段 | 固定填「版本级」 |
| 受检对象指纹 | 内容根摘要（SM3），由平台在定版时生成 |
| 门限档位 | 基线值为允许定版的下限，低于基线判不通过；介于基线与目标之间判条件通过；标为「接收条件」的几项不设条件通过档 |
| 接收条件项 | 与基准子集零重叠、隐私检出零条、原创性零条、配套件全部可用 |
| 指标含义 | 以服务方案 S3 节的三维度指标体系为准，本报告不另行定义 |
| 签署栏 | 编制（质检岗）、审核（质量负责人）、批准（项目负责人）、招标方确认（质量接口人） |
| 与数据卡的关系 | 本报告编号写入数据卡 E01 字段，六维度结果写入 E02，结论写入 E03，未关闭缺陷写入 E04 |
#### 3.2 样章九 版本级质检报告（产品工艺设计数据集·预训练子集 V1.0）
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-02-0001-V1.0 |
| 报告类型 | 版本级 |
| 受检数据集 | 产品工艺设计数据集·预训练子集 |
| 受检版本 | V1.0 |
| 受检对象规模 | 70.0 亿 Token |
| 受检对象指纹 | 内容根摘要【待填：SM3 值】；摘要算法 SM3，签名算法 SM2 |
| 涉及批次 | 采集 6 批、预处理 9 批、合成与增强 2 批，共 17 批（清单见第 1 章） |
| 质检执行期间 | 【待填：起止日期】 |
| 依据标准版本 | TC609-5-2025-04；GB/T 36344—2018；GB/T 2828.1—2012；GB/T 8170—2008；GB/T 24734—2009；GB/T 14689—2008 |
| 编制／审核／批准／招标方确认 | 【待填：四栏签署】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 质检结论 | 条件通过 |
| 六维度评定 | 保真度达基线未达目标（结构还原准确率 94.8%，目标 98%）；完备性达目标；规整性达目标；均衡性达基线未达目标（业务主题覆盖度 92.8%，目标为计划主题的完整覆盖；排料主题覆盖偏低）；可用性达目标；可信性达目标 |
| 批次结论汇总 | 17 批中 15 批通过、2 批条件通过；无不通过批次进入本版本 |
| 去重比对 | 与产品工艺设计基准评测子集比对，命中 38 条，已从本子集移除并重算指纹，复检后无命中，满足接收条件 |
| 接收条件项 | 四项均满足（零重叠、隐私零检出、原创性零检出、配套件全部可用） |
| 缺陷统计 | A 级 0；B 级 0；C 级 4；D 级 13 |
| 未关闭缺陷与计划 | C 级 4 条：排料主题覆盖不足、复合特征件要素抽取偏低、早期产品族无配对卡、三维格式样本占比偏低。已开整改任务单 GHY26691-OT-02-0121 至 0124，在 V1.1 版本关闭 |
| 下批次作业建议 | 排料主题按定向补采真实样本优先；三维格式样本按产品族补采；复合特征件按板厚分层补样 |
| 允许定版 | 允许。条件通过的两个维度均在基线以上，无阻断级缺陷 |
**第 1 章 质检对象与范围**
受检对象为产品工艺设计数据集预训练子集的 V1.0 定版内容，规模 70.0 亿 Token，取值与本投标文件四大数据集规模口径一致（预训练合计 615 亿 Token，由供需计划 276、工艺设计 70、制造过程 105、质量 164 四域构成）。
本版本涉及批次清单（节选，全量见附件三）：
| 批次编号 | 环节 | 批次报告编号 | 门控结论 | 未关闭缺陷 |
|---|---|---|---|---|
| CL-02-PLM-20270312-002 | 采集 | QC-02-0031-V1.0 | 通过 | 1 条 C 级 |
| CL-02-PLM-20270319-003 | 采集 | QC-02-0033-V1.0 | 通过 | 0 |
| CL-02-ARC-20270402-001 | 采集 | QC-02-0035-V1.0 | 通过 | 0 |
| PP-02-DRW-20270325-001 | 预处理 | QC-02-0038-V1.1（复检后） | 通过 | 0 |
| PP-02-CRD-20270401-002 | 预处理 | QC-02-0040-V1.0 | 通过 | 0 |
| PP-02-TXB-20270408-001 | 预处理 | QC-02-0043-V1.0 | 条件通过 | 2 条 D 级 |
| SY-02-AUG-20270512-001 | 合成与增强 | QC-02-0072-V1.0 | 通过 | 0 |
受检对象的来源构成与模态构成：
| 来源类别 | Token（亿） | 占比 | 主要模态 |
|---|---|---|---|
| 零件设计图纸（解析后文本与版面切片） | 24.6 | 35.1% | 文本＋图纸版面图像 |
| 工艺卡片（结构还原后文本） | 21.3 | 30.4% | 文本＋表格 |
| 标准工序文件与工序字典说明 | 9.8 | 14.0% | 文本 |
| 机械制图与焊接专业资料 | 11.2 | 16.0% | 文本＋表格 |
| 变更单与审查意见 | 3.1 | 4.5% | 文本 |
| 合计 | 70.0 | 100% | — |
**第 2 章 质检依据与方法**
依据分三层：国家标准层取 GB/T 36344—2018（质量评价指标计算口径）、GB/T 2828.1—2012（抽样）、GB/T 8170—2008（数值修约与达标判定）；行业评测规范层取 TC609-5-2025-04（指标体系主依据）；对象类标准层取 GB/T 24734—2009、GB/T 14689—2008、GB/T 4457.4—2002、GB/T 4458.4—2003、GB/T 131—2006、GB/T 1800.1—2020 等，用于图纸要素与标注的取值校验。
方法上，自动化检测覆盖全部样本的格式、编码、类型、重复、指纹与去重比对；人工复核按分层抽样执行，分层维度为来源类别、零件复杂度、业务年份三项，样本量按分层后各层的批量分别查表确定，合计复核 1 260 条。专业性类检查项由工艺骨干复核，复核人员与标注人员不重叠。
去重比对的方法需要写明：与基准评测子集的比对不只做精确匹配，还做近似相似度比对，比对粒度为语义段。只做精确匹配会漏掉改写后的同源样本，而这类样本一旦同时出现在训练子集与基准子集中，评测结果就不可信（b1544）。
**第 3 章 批次结论汇总**
| 环节 | 批次数 | 通过 | 条件通过 | 不通过（已回退并复检通过） | 遗留未关闭缺陷 |
|---|---|---|---|---|---|
| 采集 | 6 | 5 | 1 | 0 | C 级 1、D 级 5 |
| 预处理 | 9 | 8 | 1 | 1（PP-00-STD 批次，复检后通过） | C 级 2、D 级 6 |
| 合成与增强 | 2 | 2 | 0 | 0 | D 级 2 |
| 合计 | 17 | 15 | 2 | 1 | C 级 3、D 级 13 |
本版本不接收门控不通过的批次。表中「不通过（已回退并复检通过）」一列记录的是曾被回退、复检通过后才进入本版本的批次，这一列保留的原因是回退历史本身是质量信息：同一环节反复回退，说明该环节的规则或样本有系统性缺口。
**第 4 章 六维度质检指标结果**
指标名与计算口径以服务方案 S3 节为准。门限取附件 A2 第 5.5 节。
| 维度 | 指标 | 基线值 | 目标值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 保真度 | 内容真实性抽检合格率 | ≥95% | 趋向 99% | 97.2% | 达基线 |
| 保真度 | 结构还原准确率 | ≥92% | 趋向 98% | 94.8% | 达基线 |
| 保真度 | 时序对齐误差 | ≤2 个采样周期 | 趋向 1 个 | 不适用（本子集无时序样本） | 不适用 |
| 完备性 | 字段完整率 | ≥99% | 逐步接近完全填齐 | 99.4% | 达基线 |
| 完备性 | 文件完整率 | ≥99.5% | 逐步接近完全一致 | 99.8% | 达目标方向 |
| 完备性 | 模态完整率 | 占比偏差 ≤5 个百分点 | ≤2 个百分点 | 最大偏差 1.6 个百分点 | 达目标 |
| 完备性 | 记录完整率 | ≥95% | ≥98% | 98.6% | 达目标 |
| 规整性 | 字段格式合规率 | ≥99% | 趋向 99.9% | 99.6% | 达基线 |
| 规整性 | 编码一致率 | ≥99.9% | 逐步接近完全一致 | 99.96% | 达目标方向 |
| 规整性 | 标注规范符合率 | ≥98% | 趋向 99.5% | 不适用（无标注） | 不适用 |
| 规整性 | 类型一致率 | ≥99.5% | 逐步接近完全一致 | 99.8% | 达目标方向 |
| 均衡性 | 业务主题覆盖度 | ≥90% | 逐步接近完整覆盖 | 92.8%（排料主题覆盖 61.4%） | 达基线 |
| 均衡性 | 标签分布基尼系数 | ≤0.70 | ≤0.55 | 不适用（无标签） | 不适用 |
| 均衡性 | 多模态条数占比 | ≥40% | ≥45% | 46.2% | 达目标 |
| 均衡性 | 近三年数据占比 | ≥40% | ≥50% | 41.8% | 达基线 |
| 均衡性 | 难度分布偏离度 | ≤10 个百分点 | ≤5 个百分点 | 不适用（预训练子集不设难度分层） | 不适用 |
| 可用性 | 模型适配性检查通过率 | ≥99.5% | 逐步接近完全可加载 | 99.8% | 达目标方向 |
| 可用性 | 内容重复率 | ≤3% | ≤1% | 0.9% | 达目标 |
| 可用性 | 与基准子集的重叠率 | 0 条命中为接收条件 | 维持无命中 | 复检后 0 条 | 满足接收条件 |
| 可用性 | 配套件可用性 | 全部可用为接收条件 | 维持全部可用 | 数据字典、解析脚本、术语词典、版面对齐示例四项均可用 | 满足接收条件 |
| 可信性 | 内容干净性 | ≤0.5% | 趋向 0.1% | 0.18% | 达目标方向 |
| 可信性 | 内容一致性 | ≤1% | ≤0.3% | 0.26% | 达目标 |
| 可信性 | 跨标注员一致性 | ≥0.75 | ≥0.85 | 不适用 | 不适用 |
| 可信性 | 黄金集通过率 | ≥90% | ≥95% | 不适用 | 不适用 |
| 可信性 | 隐私规范性 | 0 条为接收条件 | 维持 0 条 | 0 条 | 满足接收条件 |
| 可信性 | 安全规范性 | 全部符合为接收条件 | 维持全部符合 | 安全检查项 23 项全部符合 | 满足接收条件 |
| 可信性 | 内容原创性 | 0 条为接收条件 | 维持 0 条 | 0 条 | 满足接收条件 |
六个「不适用」项要写明原因而不是留空。预训练子集是无标注连续语料，标注类与难度类指标在本子集上不成立；时序类指标在本子集上没有对应样本。评测时若把不适用项按零分计，得分会被系统性拉低，因此不适用的判定须在报告中给出理由，并与服务方案 S3 节的指标适用性裁剪口径一致。
**第 5 章 去重与相似度比对**
| 项 | 内容 |
|---|---|
| 比对对象 | 本子集全量 ↔ 产品工艺设计基准评测子集（0.1 万条） |
| 比对方法 | 精确匹配（指纹级）＋近似相似度比对（语义段级，相似度阈值见《数据集切分与基准构建规范》） |
| 首轮命中 | 38 条，其中精确匹配 6 条、近似命中 32 条 |
| 命中成因 | 基准子集的 11 道题取自同一批标准工序文件，其证据原文段落同时被切入预训练语料 |
| 处置 | 38 条从本子集移除；基准子集不动；移除后重算文件清单摘要与内容根摘要 |
| 复检结论 | 复检无命中，满足接收条件 |
| 留痕 | 命中样本清单与处置记录见附件四，结论编号【待填】 |
命中成因这一行是本章的重点。38 条命中不是去重脚本漏跑，而是基准题的证据原文与训练语料同源。这类情形在本项目会反复出现，处置原则是：移除训练侧样本而不动基准侧，并在《数据集切分与基准构建规范》中约定基准题的出题素材一旦入册，其原文段落即从训练语料中排除，由平台在入册时自动标记，避免每版重复发现同一问题。
**第 6 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因 | 整改动作 |
|---|---|---|---|---|---|
| QC02-0001-D01 | C | 排料优化主题覆盖度 61.4%，远低于其他五个主题 | 主题='排料优化' 的语料段 | 排料相关历史资料多以车间现场记录形式存在，未进入系统归档 | 定向补采；补采范围与条数见修订计划 GHY26691-PL-02-0007 |
| QC02-0001-D02 | C | 复合特征件（坡口与压弯相邻）的要素抽取正确率 92.1%，低于同类要素基线 95% | 复杂度='复合特征件' 的语料段 | 该特征组合样本占比 0.7%，且集中于薄板 | 补样 300 张并重解析 |
| QC02-0001-D03 | C | 两个早期产品族的 744 张图纸无配对工艺卡，只能作无监督语料 | 产品族∈{两个早期族} | 纸质卡未入系统 | 纸质卡补录分批安排，在产机型优先 |
| QC02-0001-D04 | C | 三维格式（STP／STEP）样本占比 8.2%，低于计划的 15% | format∈{STP,STEP} | 三维图纸归档比例本身偏低 | 按产品族定向补采；补不齐的部分在数据卡局限性中说明 |
| QC02-0001-D05 至 D17 | D | 字体缺失、外部参照缺失、图号命名偏离、粗糙度倾斜标注偏差等 13 条 | 清单见附件五 | 各见批次报告 | 下一版本一并修复 |
**第 7 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 | 关闭版本 |
|---|---|---|---|---|---|---|---|
| GHY26691-OT-02-0121 | D01 | C | 补采排料主题语料 | 采集 | 【待填】 | 重算主题覆盖度 | V1.1 |
| GHY26691-OT-02-0122 | D02 | C | 补样 300 张并重解析 | 标注与预处理 | 【待填】 | 重算该复杂度层要素正确率 | V1.1 |
| GHY26691-OT-02-0123 | D03 | C | 纸质卡补录（在产机型优先） | 采集 | 【待填】 | 重算图卡配对率 | V1.1 起分批 |
| GHY26691-OT-02-0124 | D04 | C | 三维样本定向补采 | 采集 | 【待填】 | 重算格式占比 | V1.1 |
| GHY26691-OT-02-0125 | D05—D17 | D | 批量修复 | 各环节 | 【待填】 | 抽样复检 | V1.1 |
本版本的复检安排：四条 C 级缺陷均不低于基线值，按门限规则不阻断定版，整改在 V1.1 版本关闭。复检范围为受影响语料段加回归子集（从本版本已通过的语料段中按百分之五抽取），复检结论随 V1.1 的质检报告出具。
**第 8 章 结论与建议**
本版本质检结论为条件通过，允许定版并进入验证实验。条件通过的两处是保真度与均衡性未达目标值，差距与原因已在第 4、6 章写明；四项接收条件项全部满足，无 A、B 级缺陷。
写条件通过必须写清差距，这一点在附件 A2 第 5.8 节已有要求，本报告按此执行：均衡性的差距主要来自排料主题覆盖 61.4%，该主题的语料缺口有明确来源（现场记录未归档），补采路径与条数已进入修订计划；保真度的差距来自复合特征件的结构还原，补样后可收敛。只写「条件通过」而不写差多少、何时关闭，招标方无法判断能不能用，第三方评测机构也无从复核。
对下一版本的建议：排料主题的补采优先用真实现场记录而非合成；三维格式样本若在归档侧确实补不齐，应在数据卡 B12 已知局限性中明确说明覆盖不足的产品族与规格范围，并在验证报告中对三维格式样本单独报告指标，而不是用整体指标掩盖。
#### 3.3 样章十 版本级质检报告（产品质量数据集·有监督指令微调子集 V1.0）
本样章的摘要与附件 A2 第 5.8 节给出的质检报告摘要示意保持一致，本节按完整章节展开。回应单元同 3.2 节，另回应标注与合成相关要求（b1538—b1541、b1545）。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-04-0002-V1.0 |
| 报告类型 | 版本级 |
| 受检数据集 | 产品质量数据集·有监督指令微调子集 |
| 受检版本 | V1.0 |
| 受检对象规模 | 24 万条 |
| 受检对象指纹 | 内容根摘要【待填：SM3 值】 |
| 涉及批次 | 采集 8 批、预处理 7 批、标注 11 批、合成与增强 4 批，共 30 批 |
| 标注规范编号 | GHY26691-ST-04-0004-V1.0《多模态数据标注规范·产品质量册》 |
| 依据标准版本 | TC609-5-2025-04；GB/T 36344—2018；GB/T 19418—2003；GB/T 11345—2023；GB/T 3323.1—2019；GB/T 231.1—2018；GB/T 228.1—2021；GB/T 2828.1—2012 |
| 质检执行期间 | 【待填】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 质检结论 | 条件通过 |
| 六维度评定 | 保真度、完备性、规整性、可用性四维度达目标值；均衡性达基线值未达目标值（低频缺陷标签分布基尼系数 0.61，目标 ≤0.55）；可信性达目标值 |
| 门控结论 | 门控①②③④ 均通过 |
| 批次结论汇总 | 30 批中 26 批通过、3 批条件通过、1 批曾不通过并整批回退（SY-04-SYN-20270508-004），回退后复检通过 |
| 去重比对 | 与产品质量基准评测子集比对无命中，满足接收条件 |
| 缺陷统计 | A 级 0 条；B 级 0 条；C 级 3 条（均为标注错误，涉及样本 1 842 条）；D 级 11 条 |
| 未关闭缺陷与计划 | 均衡性未达目标值与 3 条 C 级缺陷，已开整改任务单 GHY26691-OT-04-0012 至 0014，在 V1.1 版本关闭 |
| 下批次作业建议 | 低频缺陷类型按定额抽取补充真实样本，优先于合成补充；标注环节对涉及的两类标签补充一次定标培训 |
| 允许定版 | 允许 |
**第 1 章 质检对象与范围**
受检对象为产品质量数据集指令微调子集的 V1.0 定版内容，样本形态为指令—回答对，规模 24 万条，与本投标文件指令微调子集总量 89 万条的分域口径一致（供需计划 40、工艺设计 10、制造过程 15、质量 24，单位万条）。
| 任务类型 | 样本条数 | 占比 | 其中含图像 | 其中含时序 | 其中合成 |
|---|---|---|---|---|---|
| 外观缺陷判别 | 68 400 | 28.5% | 61 560 | 0 | 4 108 |
| 焊缝检测结果解读 | 57 600 | 24.0% | 39 168 | 0 | 6 912 |
| 热处理质量分析 | 43 200 | 18.0% | 2 160 | 38 880 | 3 456 |
| 质量问题归因 | 45 600 | 19.0% | 18 240 | 12 768 | 5 472 |
| 整改建议 | 25 200 | 10.5% | 7 560 | 3 528 | 2 772 |
| 合计 | 240 000 | 100% | 128 688 | 55 176 | 22 720（9.5%） |
难度分层按单因素判别、多因素归因、跨工序追溯三层划分，分布见第 4 章均衡性一节。
**第 2 章 质检依据与方法**
依据同 3.1 节共用口径，另加缺陷分级与检测手段类标准。方法上，自动化检测覆盖全量的格式、字段、类型、重复、指纹、去重与标签体系符合性；人工复核按分层抽样，分层维度为任务类型、难度层、标签类别三项；长尾标签（条数低于总量 0.5%）另按不低于 30 条或全部定额抽取。合计人工复核 2 180 条。
本子集含合成样本 22 720 条（9.5%），按《数据合成与增强作业规范》对合成样本单独统计指标，并在第 4 章按合成与非合成分列保真度与可信性两维度的实测值。这一做法的原因是合成样本的质量特征与真实样本不同，混算会掩盖问题。
**第 3 章 批次结论汇总**
| 环节 | 批次数 | 通过 | 条件通过 | 曾不通过并回退 | 遗留未关闭缺陷 |
|---|---|---|---|---|---|
| 采集 | 8 | 7 | 1 | 0 | D 级 3 |
| 预处理 | 7 | 7 | 0 | 0 | D 级 2 |
| 标注 | 11 | 9 | 2 | 0 | C 级 2、D 级 4 |
| 合成与增强 | 4 | 3 | 0 | 1 | C 级 1、D 级 2 |
| 合计 | 30 | 26 | 3 | 1 | C 级 3、D 级 11 |
合成与增强环节的那一次整批回退（见本附件 2.8 节样章）在本章保留记录，复检通过后的批次报告为 QC-04-0070-V1.1。回退记录保留的意义在验证阶段会体现出来：若验证发现低频缺陷类型上的表现异常，第一个要查的就是这一批。
**第 4 章 六维度质检指标结果**
| 维度 | 指标 | 基线值 | 目标值 | 实测·全体 | 实测·合成样本 | 判定 |
|---|---|---|---|---|---|---|
| 保真度 | 内容真实性抽检合格率 | ≥95% | 趋向 99% | 98.6% | 96.2% | 达目标方向 |
| 保真度 | 结构还原准确率 | ≥92% | 趋向 98% | 97.4% | — | 达目标方向 |
| 保真度 | 时序对齐误差 | ≤2 个采样周期 | 趋向 1 个 | 1 个采样周期 | — | 达目标 |
| 完备性 | 字段完整率（instruction／input／output／task_type／labels／evidence_ref） | ≥99% | 逐步接近完全填齐 | 99.7% | 99.9% | 达目标方向 |
| 完备性 | 文件完整率 | ≥99.5% | 逐步接近完全一致 | 99.9% | — | 达目标方向 |
| 完备性 | 模态完整率 | 偏差 ≤5 个百分点 | ≤2 个百分点 | 1.2 个百分点 | — | 达目标 |
| 完备性 | 记录完整率 | ≥95% | ≥98% | 99.2% | — | 达目标 |
| 规整性 | 字段格式合规率 | ≥99% | 趋向 99.9% | 99.8% | 99.9% | 达目标方向 |
| 规整性 | 编码一致率 | ≥99.9% | 逐步接近完全一致 | 99.98% | — | 达目标方向 |
| 规整性 | 标注规范符合率 | ≥98% | 趋向 99.5% | 99.4% | — | 达目标方向 |
| 规整性 | 类型一致率 | ≥99.5% | 逐步接近完全一致 | 99.9% | — | 达目标方向 |
| 均衡性 | 业务主题覆盖度 | ≥90% | 逐步接近完整覆盖 | 96.4% | — | 达目标方向 |
| 均衡性 | 标签分布基尼系数 | ≤0.70 | ≤0.55 | **0.61** | 0.48 | **达基线未达目标** |
| 均衡性 | 多模态条数占比 | ≥40% | ≥45% | 48.6% | — | 达目标 |
| 均衡性 | 近三年数据占比 | ≥40% | ≥50% | 52.4% | — | 达目标 |
| 均衡性 | 难度分布偏离度 | ≤10 个百分点 | ≤5 个百分点 | 4.2 个百分点 | — | 达目标 |
| 可用性 | 模型适配性检查通过率 | ≥99.5% | 逐步接近完全可加载 | 99.9% | — | 达目标方向 |
| 可用性 | 内容重复率 | ≤3% | ≤1% | 0.8% | 2.1% | 达目标 |
| 可用性 | 与基准子集的重叠率 | 0 条命中 | 维持无命中 | 0 条 | 0 条 | 满足接收条件 |
| 可用性 | 配套件可用性 | 全部可用 | 维持全部可用 | 四项均可用 | — | 满足接收条件 |
| 可信性 | 内容干净性 | ≤0.5% | 趋向 0.1% | 0.12% | 0.08% | 达目标方向 |
| 可信性 | 内容一致性 | ≤1% | ≤0.3% | 0.28% | 0.74% | 达目标 |
| 可信性 | 跨标注员一致性 | ≥0.75 | ≥0.85 | 0.86 | — | 达目标 |
| 可信性 | 黄金集通过率 | ≥90% | ≥95% | 95.4% | — | 达目标 |
| 可信性 | 隐私规范性 | 0 条 | 维持 0 条 | 0 条 | 0 条 | 满足接收条件 |
| 可信性 | 安全规范性 | 全部符合 | 维持全部符合 | 安全检查项 23 项全部符合 | 符合 | 满足接收条件 |
| 可信性 | 内容原创性 | 0 条 | 维持 0 条 | 0 条 | 0 条 | 满足接收条件 |
均衡性的基尼系数 0.61 是本版本唯一未达目标值的指标，其构成如下表。把分布摊开写，是为了让「0.61」这个数能被解释，而不是只留一个总值。
| 标签类别 | 样本条数 | 占比 | 其中合成 | 是否长尾（<0.5%） |
|---|---|---|---|---|
| 气孔 | 43 680 | 18.2% | 1 248 | 否 |
| 余高超差 | 38 640 | 16.1% | 968 | 否 |
| 外观划伤与碰伤 | 34 080 | 14.2% | 512 | 否 |
| 硬度偏低 | 28 560 | 11.9% | 1 426 | 否 |
| 焊脚尺寸偏差 | 24 240 | 10.1% | 1 104 | 否 |
| 咬边 | 19 920 | 8.3% | 886 | 否 |
| 变形超差 | 16 800 | 7.0% | 1 632 | 否 |
| 淬火裂纹 | 11 520 | 4.8% | 4 240 | 否 |
| 弧坑 | 9 120 | 3.8% | 2 000 | 否 |
| 未熔合 | 7 920 | 3.3% | 3 600 | 否 |
| 根部裂纹 | 4 320 | 1.8% | 2 800 | 否 |
| 组织异常 | 1 200 | 0.5% | 304 | 临界 |
| 其余 6 类低频标签合计 | 0 | — | — | 本版本无样本 |
最后一行需要如实写出来：六类低频标签在本版本中没有样本，不是占比低，是没有。这类情形在报告中不能被「覆盖度 96.4%」一句带过，它要进数据卡的已知局限性字段，并在验证报告中明确这六类标签上的结论不成立。
**第 5 章 去重与相似度比对**
| 项 | 内容 |
|---|---|
| 比对对象 | 本子集全量 ↔ 产品质量基准评测子集（0.25 万条） |
| 比对方法 | 精确匹配＋近似相似度比对（指令与证据原文双向） |
| 命中 | 0 条 |
| 附加比对 | 合成样本 ↔ 基准子集，单独比对，0 条命中 |
| 结论 | 满足接收条件；结论编号【待填】 |
合成样本与基准子集单独比对一次，原因是合成样本的种子可能来自与基准题同源的素材。本版本的种子取自专家定标样本中黄金集之外的独立切片，比对结果为零命中，核验记录见附件四。
**第 6 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因 | 整改动作 |
|---|---|---|---|---|---|
| QC04-0002-D01 | C | 咬边与余高两类标签的判定边界歧义导致标注错误 | 标签∈{咬边,余高超差} 中经复核确认错标 842 条 | 标注规范该条判定边界表述有歧义 | 规范修订后对该两类全量回溯复核并重标 |
| QC04-0002-D02 | C | 小尺寸缺陷（长度<2mm）的位置标注框尺度不一致 | 小尺寸实例 712 条 | 规范未给出小尺寸标注框口径 | 补口径后重标 |
| QC04-0002-D03 | C | 跨工序追溯类样本中 288 条的 evidence_ref 指向的上游记录已不可检索 | 样本 id 清单 | 上游工序记录在源系统中被归档迁移 | 重建引用或剔除该样本 |
| QC04-0002-D04 至 D14 | D | 术语未归一、回答格式不统一、长尾标签定义缺示例、合成样本来源标记漏填等 11 条 | 清单见附件五 | 各见批次报告 | V1.1 一并修复 |
**第 7 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 要求完成 | 复检方式 | 关闭版本 |
|---|---|---|---|---|---|---|---|
| GHY26691-OT-04-0012 | D01 | C | 规范修订＋两类标签全量回溯复核与重标 | 标注 | 10 个工作日 | 该两类抽样 500 条复检，并按双标 15% 重算一致率 | V1.1 |
| GHY26691-OT-04-0013 | D02 | C | 补小尺寸标注框口径并重标 712 条 | 标注 | 10 个工作日 | 逐条复检 | V1.1 |
| GHY26691-OT-04-0014 | D03 | C | 重建 288 条的证据引用，不可重建者剔除 | 预处理 | 10 个工作日 | 逐条复检引用可达性 | V1.1 |
| GHY26691-OT-04-0015 | D04—D14 | D | 批量修复 | 各环节 | 下一版本 | 抽样复检 | V1.1 |
另有一项不以任务单形式关闭的工作：均衡性未达目标值。它的关闭路径不是整改而是补充样本——低频缺陷类型按定额抽取补充真实样本，优先于合成补充。本项列入修订计划 GHY26691-PL-04-0007，在 V1.1 版本重新评定基尼系数。
**第 8 章 结论与建议**
本版本质检结论为条件通过，允许定版并进入验证实验。
未达目标值的只有一项（均衡性的基尼系数 0.61，目标 ≤0.55），差距的来源已经定位清楚：未熔合、根部裂纹两类的真实样本存量过低（742 与 426 条），本版本靠合成补到了可训练的量级，但合成占这两类总量的比例偏高（45.5% 与 64.8%）。这个状态必须如实写进报告与数据卡，原因是它直接影响这两类标签上的验证结论——合成占比高的标签，其评测表现不能代表模型在真实样本上的表现。
对下一版本的三条建议。第一，低频缺陷类型的补齐以定向检索真实样本为主，合成作为过渡手段，合成占比按标签类型设上限。第二，标注环节对咬边与余高两类补充一次定标培训，培训后以不少于三十个样本做口径对齐测验，通过后方可继续作业。第三，六类无样本的低频标签在本版本的标签体系中保留定义但不保留分布统计，验证报告中对这六类明确标注「本版本无样本，结论不成立」。
#### 3.4 样章十一 版本级质检报告（供需计划数据集·基准评测子集 V1.0）
基准评测子集的质检与其他三类子集有本质差别：它的首要作用是作为评测的参照，因此它自身的纯净度（不含合成样本、与训练子集零重叠、难度分布符合设计）比规模更重要。本样章回应 3.2.6.3.8 相关要求，并重点回应 b1513（基准评测数据集不含合成样本）与 b1544（训练数据与基准评测数据去重）。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-QC-01-0004-V1.0 |
| 报告类型 | 版本级 |
| 受检数据集 | 供需计划数据集·基准评测子集 |
| 受检版本 | V1.0 |
| 受检对象规模 | 0.4 万条 |
| 受检对象指纹 | 内容根摘要【待填：SM3 值】 |
| 涉及批次 | 采集 3 批、预处理 3 批、标注 5 批，共 11 批；无合成与增强批次 |
| 质检执行期间 | 【待填】 |
**第 0 章 质检结论摘要**
| 项 | 内容 |
|---|---|
| 质检结论 | 通过 |
| 六维度评定 | 六维度全部达目标值或目标方向 |
| 硬性门控 | 四项接收条件全部满足：合成样本占比 0；与三个训练子集零重叠；隐私检出 0 条；原创性检出 0 条 |
| 专家终审 | 4 000 道题的标准答案与评分要点全部经招标方相应业务部门专家确认 |
| 缺陷统计 | A 级 0；B 级 0；C 级 0；D 级 5 |
| 未关闭缺陷 | D 级 5 条，均为题面表述类，V1.1 修复，不影响评测使用 |
| 允许定版 | 允许 |
**第 1 章 质检对象与范围**
| 题型 | 题量 | 难度分层（易／中／难） | 证据定位齐备 | 改写题 | 无证据题 |
|---|---|---|---|---|---|
| 指标口径与计算类 | 1 120 | 336／560／224 | 1 120 | 168 | 90 |
| 库存与需求分析类 | 960 | 288／480／192 | 960 | 144 | 77 |
| 合同与施工令号穿透类 | 760 | 228／380／152 | 760 | 114 | 61 |
| 供应商与采购周期类 | 640 | 192／320／128 | 640 | 96 | 51 |
| 多维分析与异动归因类 | 520 | 156／260／104 | 520 | 78 | 41 |
| 合计 | 4 000 | 1 200／2 000／800 | 4 000 | 600（15.0%） | 320（8.0%） |
改写题与无证据题的比例按本投标文件 T14 节的防失真口径设定：改写题 15%（同一考点换一种问法，用于观察是否对特定问法过拟合），无证据题 8%（考察是否在无依据时仍给确定性结论）。这两类题在质检中作为独立检查项统计，不混入主指标。
**第 2 章 质检依据与方法**
依据同共用口径，另加《数据集切分与基准构建规范》GHY26691-ST-00-0018-V1.0 对基准子集构建的要求。方法上，基准子集采用全量检查而非抽样：4 000 道题全量核对题面、标准答案、证据定位、评分要点、题型标签与难度标签六项；去重比对对三个训练子集全量双向执行；专家终审记录逐题留痕。
全量检查而非抽样，原因是基准子集规模小（0.4 万条）而影响大——一道题的标准答案错了，基于它的所有评测结论都要打折扣。全量检查的成本在这个规模上是可接受的。
**第 3 章 批次结论汇总**
| 环节 | 批次数 | 通过 | 条件通过 | 遗留未关闭缺陷 |
|---|---|---|---|---|
| 采集 | 3 | 3 | 0 | 0 |
| 预处理 | 3 | 3 | 0 | D 级 2 |
| 标注（出题与定标） | 5 | 4 | 1 | D 级 3 |
| 合成与增强 | 0 | — | — | 本子集按 b1513 不进行合成 |
**第 4 章 六维度质检指标结果（基准子集适用项）**
| 维度 | 指标 | 基线值 | 目标值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 保真度 | 题面与证据原文一致率 | ≥95% | 趋向 99% | 99.4% | 达目标方向 |
| 保真度 | 标准答案与依据条文一致率 | ≥95% | 趋向 99% | 99.6% | 达目标方向 |
| 完备性 | 证据定位齐备率 | ≥99% | 逐步接近完全齐备 | 100%（4 000／4 000） | 达目标方向 |
| 完备性 | 评分要点齐备率 | ≥99% | 逐步接近完全齐备 | 100% | 达目标方向 |
| 完备性 | 难度标签齐备率 | ≥99% | 逐步接近完全齐备 | 100% | 达目标方向 |
| 规整性 | 题面格式合规率 | ≥99% | 趋向 99.9% | 99.7% | 达目标方向 |
| 规整性 | 题型标签取值合法率 | ≥99.5% | 逐步接近完全合法 | 100% | 达目标方向 |
| 均衡性 | 业务主题覆盖度 | ≥90% | 逐步接近完整覆盖 | 97.2% | 达目标方向 |
| 均衡性 | 难度分布偏离度（与设计分布 30／50／20 比对） | ≤10 个百分点 | ≤5 个百分点 | 0 个百分点 | 达目标 |
| 均衡性 | 九业务域覆盖 | 不少于 8 域有题 | 九域均有题 | 本子集按供需计划域出题，域内主题覆盖见上 | 适用口径见说明 |
| 可用性 | 评测脚本可加载率 | ≥99.5% | 逐步接近完全可加载 | 100% | 达目标方向 |
| 可用性 | 与预训练子集的重叠率 | 0 条命中为接收条件 | 维持无命中 | 0 条 | 满足接收条件 |
| 可用性 | 与指令微调子集的重叠率 | 0 条命中为接收条件 | 维持无命中 | 0 条 | 满足接收条件 |
| 可用性 | 与偏好子集的重叠率 | 0 条命中为接收条件 | 维持无命中 | 0 条 | 满足接收条件 |
| 可信性 | 合成样本占比 | 固定为 0 | 维持 0 | 0% | 满足接收条件 |
| 可信性 | 专家终审完成率 | 全部完成为接收条件 | 维持 | 100%（4 000 题） | 满足接收条件 |
| 可信性 | 改写题与原题得分差监测口径齐备 | 口径齐备 | 维持 | 齐备，阈值 10 个百分点 | 通过 |
| 可信性 | 隐私规范性 | 0 条 | 维持 0 条 | 0 条 | 满足接收条件 |
| 可信性 | 内容原创性 | 0 条 | 维持 0 条 | 0 条 | 满足接收条件 |
| 可信性 | 内容一致性（同一口径在不同题中表述矛盾） | ≤1% | ≤0.3% | 0.15% | 达目标 |
**第 5 章 去重与相似度比对（本子集的核心章节）**
| 比对方向 | 比对对象 | 方法 | 首轮命中 | 处置 | 复检 |
|---|---|---|---|---|---|
| 基准 ↔ 预训练 | 4 000 题的题面与证据原文 ↔ 预训练子集语料段 | 精确匹配＋语义段近似 | 112 条 | 移除预训练侧对应语料段；基准侧不动 | 0 条 |
| 基准 ↔ 指令微调 | 4 000 题 ↔ 指令样本 | 精确匹配＋指令与回答双向近似 | 46 条 | 移除指令微调侧样本 | 0 条 |
| 基准 ↔ 偏好 | 4 000 题 ↔ 偏好对 | 精确匹配＋近似 | 8 条 | 移除偏好侧 | 0 条 |
| 基准内部 | 4 000 题两两比对 | 近似去重 | 23 对 | 保留一题、改写另一题 | 0 对 |
处置方向固定为「动训练侧、不动基准侧」。这不是随意的选择：基准题经过专家终审并绑定了评分要点，改基准题等于作废一次终审；而训练侧语料移除若干段落对规模影响很小。本项目把这条写入《数据集切分与基准构建规范》，并要求平台在基准题入册时自动把其证据原文段落标记为训练侧排除项，从源头避免每版重复发现同一问题。
**第 6 章 缺陷清单与分级**
| 缺陷编号 | 级别 | 缺陷描述 | 涉及范围 | 成因 | 整改动作 |
|---|---|---|---|---|---|
| QC01-0004-D01 | D | 18 道题的题面含两个可独立作答的问题，判分单位不唯一 | 题 id 清单 | 出题时未拆分 | V1.1 拆为两题或合并评分要点 |
| QC01-0004-D02 | D | 12 道题的评分要点与标准答案表述不完全对应 | 题 id 清单 | 要点由出题人另写，未与答案对齐 | V1.1 对齐 |
| QC01-0004-D03 | D | 9 道无证据题的正确行为描述不一致（部分写「说明无规定」，部分写「建议咨询部门」） | 题 id 清单 | 无证据题的正确行为口径未统一 | 统一口径为「说明未检索到依据＋给出可咨询的责任部门」 |
| QC01-0004-D04 | D | 7 道题的难度标签与实际难度不符（经双人复评） | 题 id 清单 | 难度判定缺量化口径 | 补难度判定口径后重标 |
| QC01-0004-D05 | D | 改写题中 14 道与原题的差异仅在标点 | 题 id 清单 | 改写强度不足 | 重写该 14 道 |
**第 7 章 整改任务与复检**
| 任务单编号 | 来源缺陷 | 级别 | 整改动作 | 责任环节 | 复检方式 | 关闭版本 |
|---|---|---|---|---|---|---|
| GHY26691-OT-01-0031 | D01、D02、D03 | D | 题面拆分、要点对齐、无证据题口径统一 | 出题与定标 | 逐题复检 39 道，并重新提交专家终审 | V1.1 |
| GHY26691-OT-01-0032 | D04、D05 | D | 补难度判定口径并重标；重写改写题 14 道 | 出题与定标 | 逐题复检 21 道 | V1.1 |
**第 8 章 结论与建议**
本版本质检结论为通过，四项硬性接收条件全部满足，允许定版并作为本数据集的评测参照使用。五条 D 级缺陷涉及 60 道题，均为题面与要点表述类，不影响本版本作为评测参照的有效性；修复后的题目须重新提交专家终审，终审记录随 V1.1 一并留存。
两条建议。第一，基准子集的每一次修订都要重走专家终审，哪怕只改了题面表述——评分要点与题面是一体的，改了一头不校另一头，评测结果的可比性就断了。第二，基准题的证据原文段落在入册时即标记为训练侧排除项，由平台自动执行；本版本去重发现的 166 条命中中有 112 条属于这种本可提前避免的情形，前置标记比事后去重省力得多。
#### 3.5 其余十三个用途子集的版本级质检结论一览（模板）
一个正式发布批次包含四类数据集乘四个用途子集共 16 个子集，本附件逐份展开三份，其余 13 份按同一模板填写。为便于合稿与验收核对，此处给出一览表的模板与示意填写。表中「结论」一列的取值与门限判定规则与前三份样章一致。
| 质检报告编号 | 数据集 | 用途子集 | 规模 | 未达目标值的维度 | 结论 | 未关闭缺陷（A／B／C／D） | 关闭版本 |
|---|---|---|---|---|---|---|---|
| QC-01-0001-V1.0 | 供需计划 | 预训练 | 276 亿 Token | 均衡性（近三年占比 40.6%） | 条件通过 | 0／0／2／9 | V1.1 |
| QC-01-0002-V1.0 | 供需计划 | 有监督指令微调 | 40 万条 | 保真度（结构还原 93.2%） | 条件通过 | 0／0／3／12 | V1.1 |
| QC-01-0003-V1.0 | 供需计划 | 人类偏好对齐 | 3.2 万组 | 均衡性（负例来源集中） | 条件通过 | 0／0／2／6 | V1.1 |
| QC-01-0004-V1.0 | 供需计划 | 基准评测 | 0.4 万条 | 无 | 通过 | 0／0／0／5 | V1.1 |
| QC-02-0001-V1.0 | 产品工艺设计 | 预训练 | 70 亿 Token | 保真度、均衡性 | 条件通过 | 0／0／4／13 | V1.1 |
| QC-02-0002-V1.0 | 产品工艺设计 | 有监督指令微调 | 10 万条 | 均衡性（长尾工序样本少） | 条件通过 | 0／0／2／8 | V1.1 |
| QC-02-0003-V1.0 | 产品工艺设计 | 人类偏好对齐 | 0.8 万组 | 保真度（偏好方向一致率 91.4%） | 条件通过 | 0／0／2／3 | V1.1 |
| QC-02-0004-V1.0 | 产品工艺设计 | 基准评测 | 0.1 万条 | 无 | 通过 | 0／0／0／3 | V1.1 |
| QC-03-0001-V1.0 | 制造过程 | 预训练 | 105 亿 Token | 完备性（炉位字段缺失） | 条件通过 | 0／0／3／11 | V1.1 |
| QC-03-0002-V1.0 | 制造过程 | 有监督指令微调 | 15 万条 | 均衡性（工况覆盖不全） | 条件通过 | 0／0／3／9 | V1.1 |
| QC-03-0003-V1.0 | 制造过程 | 人类偏好对齐 | 1 万组 | 保真度 | 条件通过 | 0／0／2／5 | V1.1 |
| QC-03-0004-V1.0 | 制造过程 | 基准评测 | 0.2 万条 | 无 | 通过 | 0／0／0／4 | V1.1 |
| QC-04-0001-V1.0 | 产品质量 | 预训练 | 164 亿 Token | 均衡性 | 条件通过 | 0／0／2／10 | V1.1 |
| QC-04-0002-V1.0 | 产品质量 | 有监督指令微调 | 24 万条 | 均衡性（基尼系数 0.61） | 条件通过 | 0／0／3／11 | V1.1 |
| QC-04-0003-V1.0 | 产品质量 | 人类偏好对齐 | 1.6 万组 | 保真度、均衡性 | 条件通过 | 0／0／3／7 | V1.1 |
| QC-04-0004-V1.0 | 产品质量 | 基准评测 | 0.25 万条 | 无 | 通过 | 0／0／0／6 | V1.1 |
规模数值取本投标文件四大数据集规模口径（预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条），本表引用不改写。
一览表要同时呈现「结论」与「未达目标值的维度」两列。只写结论会让十六个子集看起来整齐一致，而实际上各子集的短板不同——预训练子集的短板在时效性与主题覆盖，指令微调子集的短板在标签均衡，偏好子集的短板在负例来源结构，基准子集没有短板但有题面质量问题。短板写清楚，下一版本的工作才有抓手。
### 四、数据集验证报告样章
本节回应招标文件 3.2.6.3.9「数据集验证」的七条要求（b1546—b1562）。验证不是交付后的补充说明，而是发布流程中的一道闸门：验证报告是数据集版本发布的前置条件（b1561、b1562）。验证要做的事用一句话说就是——拿这份数据集真去训一遍、真去评一遍、真放到业务任务里跑一遍，然后把「有没有用、有多少用、哪里还不行」写成结论。
本包交付场景验证服务，智能场景本身的建设不在本包范围。验证报告中涉及场景的部分写的是「本数据集在该场景任务上的表现与可用性判定」，不包括场景系统的功能设计与建设内容。
#### 4.1 验证报告的共用口径与与质检报告的衔接
| 项 | 口径 |
|---|---|
| 出具前提 | 本版本质检报告结论为通过或条件通过，且无 A、B 级未关闭缺陷 |
| 绑定对象 | 内容根摘要（SM3）；报告封面须写出所绑定的摘要值，摘要变更即报告作废 |
| 评测协议 | 评测环境、基座模型版本标识、推理参数、随机种子、指标脚本版本一并固化并存档（b1554）；协议版本写入报告第 1 章 |
| 模型口径 | 采用当期能力评测领先的通用大模型，经统一网关接入，可替换、可评测、可随代升级；报告中以模型版本标识记录实际使用的模型，便于换代后对比 |
| 实验构成 | 四类实验（继续预训练、指令微调、偏好对齐、基准评测）＋场景可用性验证＋错样归因 |
| 版本号与验证的关系 | 主版本号递增须重做验证实验并重出报告；次版本号递增可沿用上一主版本的验证结论，但须在数据卡 C14 字段注明沿用关系 |
| 发布建议取值 | 同意发布／条件同意发布／不同意发布 |
| 签署栏 | 编制（评测岗）、审核（质量负责人）、批准（项目负责人）、招标方确认（技术接口人） |
#### 4.2 样章十二 数据集验证报告（产品工艺设计数据集 V1.0）
本样章的摘要与附件 A2 第 6.5 节给出的验证报告摘要示意保持一致，本节按完整章节展开。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-02-0001-V1.0 |
| 受验对象 | 产品工艺设计数据集 V1.0，四个用途子集 |
| 绑定指纹 | 内容根摘要【待填：SM3 值】 |
| 前置条件 | 质检报告 GHY26691-QC-02-0001-V1.0 结论为条件通过（无 A、B 级未关闭缺陷）；评测协议版本 GHY26691-ST-00-0019-V1.0 |
| 验证执行期间 | 【待填：起止日期】 |
| 编制／审核／批准／招标方确认 | 【待填】 |
**第 0 章 验证结论摘要**
| 项 | 内容 |
|---|---|
| 发布建议 | 条件同意发布 |
| 实验一结论 | 工艺设计领域知识探针准确率相对基座提升 11.4 个百分点；通用保留语料困惑度上升 2.3%，在设定阈值（≤5%）内，未出现明显通用能力退化 |
| 实验二结论 | 工序推荐任务的指令遵循率由 71.2% 升至 88.6%，任务完成质量由 3.12 升至 3.84（五分制，双评均值）；长上下文理解在跨页图纸技术要求任务上提升 14.2 个百分点 |
| 实验三结论 | 奖励模型偏好判别准确率 78.4%；对齐后工艺建议的回答质量对比胜率 61.2%，平局 24.6% |
| 实验四结论 | 六个能力维度中指令遵循增量最大（＋18.0 个百分点），工艺推理次之（＋13.6），领域知识与多模态理解相近（＋12.2、＋12.1）；安全合规基线已高（基座 94.6），增量 ＋1.6；能力雷达图见图 A11-4 |
| 场景可用性 | 板材备料工艺设计场景的工序推荐任务判定为有条件可用（常用板厚规格可用，薄板与超厚板规格需人工复核）；工艺卡片生成任务判定为有条件可用；排料优化任务判定为暂不可用，定位至产品工艺设计预训练子集的排料主题覆盖不足 |
| 错样归因 | 覆盖盲区类占 46.2%，矛盾标注类占 21.4%，脏数据类占 18.6%，难度缺口类占 13.8%；已开整改任务单 7 份 |
| 回流修复 | 排料主题定向补采已纳入 V1.1 计划，补采范围与条数见修订计划 GHY26691-PL-02-0007 |
| 未关闭归因任务 | 7 份，其中 4 份在 V1.1 关闭，3 份转长期积累 |
**第 1 章 验证对象与前置条件**
| 项 | 内容 |
|---|---|
| 受验子集与规模 | 预训练 70.0 亿 Token；指令微调 10 万条；人类偏好对齐 0.8 万组；基准评测 0.1 万条 |
| 质检前置 | QC-02-0001-V1.0 条件通过；未关闭 C 级缺陷 4 条（排料主题覆盖、复合特征件要素抽取、早期产品族无配对卡、三维格式占比），均不阻断定版 |
| 指纹绑定 | 四个子集的内容根摘要逐一记入本章；任一子集重算指纹即本报告作废 |
| 评测协议版本 | GHY26691-ST-00-0019-V1.0 |
| 评测环境 | 离线隔离环境，与生产网络物理隔离；环境基线记录编号【待填】 |
| 基座模型 | 采用当期能力评测领先的通用大模型，经统一网关接入；本次实验的模型版本标识【待填】 |
| 随机种子 | 训练与评测各环节的种子取值记入协议，本报告引用协议编号 |
| 指标脚本版本 | 【待填：脚本版本号与仓库标识】 |
前置条件一章不能只写「质检已通过」。四条未关闭的 C 级缺陷必须列出来，因为它们是后面解释实验结果的依据——排料主题覆盖不足这一条，直接对应第 4 章排料优化任务的「暂不可用」判定。把前置缺陷与验证结论串起来，报告才能自证其结论的来源。
**第 2 章 实验设计与评测协议**
实验设计的要点是可复现。固化的含义是把基座模型版本标识、推理参数、随机种子、指标脚本版本、硬件与软件环境一并记录，使同一份数据集在半年后重测能得到同样的数字（b1554）。
| 协议项 | 内容 |
|---|---|
| 基座模型版本标识 | 【待填】；换代后的对比以版本标识为索引 |
| 训练配置 | 继续预训练与指令微调的配置参数清单见附件一，含上下文长度、批大小、学习率与调度、训练步数 |
| 推理参数 | 温度、核采样参数、最大生成长度、停止条件；评测时固定不变 |
| 随机种子 | 数据切分、训练初始化、评测采样三处各记一个种子值 |
| 评测题集 | 基准评测子集 0.1 万条，按知识类、推理类、归因类、多模态类、指令类、安全类六类分册 |
| 人工评分规则 | 五分制，双评取均并记录评分者间一致性；一致性低于 0.75 时暂停该册评分、重新对齐评分细则 |
| 数据划分与泄漏防护 | 训练子集与基准子集按来源与时间双重切分；去重比对结论编号引用质检报告第 5 章 |
| 对照组 | 基座模型、继续预训练模型、指令微调模型、对齐模型四个模型在同一协议下评测 |
| 重复性 | 每项指标重复三次取均值并报告标准差；标准差超过设定阈值的指标标注为不稳定 |
重复三次并报标准差这一项是本项目有意加的。单次评测的数值在小规模题集上波动不小，只报一个数会让读者误以为精度很高。报标准差的成本很低，价值是让结论的可信程度本身可被判断。
**第 3 章 四类实验结果**
**3.1 实验一 继续预训练：知识注入有效性（b1548、b1549）**
| 指标 | 计算口径 | 基座模型 | 继续预训练后 | 变化 | 判定 |
|---|---|---|---|---|---|
| 领域知识探针准确率 | 按业务域构造的知识探针题集上的准确率 | 52.6% | 64.0% | ＋11.4 | 有效 |
| 分主题探针·图纸识别 | 按主题分解 | 58.2% | 71.4% | ＋13.2 | 有效 |
| 分主题探针·特征提取 | 同上 | 54.8% | 68.2% | ＋13.4 | 有效 |
| 分主题探针·工序设计 | 同上 | 49.6% | 63.8% | ＋14.2 | 有效 |
| 分主题探针·卡片生成 | 同上 | 51.2% | 62.4% | ＋11.2 | 有效 |
| 分主题探针·审查校核 | 同上 | 47.4% | 56.2% | ＋8.8 | 有效 |
| 分主题探针·排料优化 | 同上 | 44.2% | 46.8% | ＋2.6 | 提升不显著 |
| 保留语料困惑度（通用） | 通用保留语料上的困惑度 | 基准值 100（归一） | 102.3 | ＋2.3% | 在阈值 ≤5% 内，未明显退化 |
| 领域语料困惑度 | 领域保留语料上的困惑度 | 基准值 100（归一） | 81.6 | －18.4% | 有效 |
排料优化主题仅提升 2.6 个百分点，与质检报告第 6 章的 D01 缺陷（该主题覆盖度 61.4%）对应。这一行是本实验最有信息量的一行：它说明领域知识注入的效果与语料覆盖度直接相关，而不是对所有主题一视同仁地提升。只报总体的 ＋11.4 会掩盖这个结论。
保留语料困惑度这一项是用来看有没有把通用能力训坏的。只报领域指标上升而不报通用指标变化，结论是不完整的，因此两者并列为必填。
**3.2 实验二 指令微调（b1550、b1551）**
| 指标 | 统计单位 | 基座／继续预训练模型 | 微调后 | 变化 | 标准差 | 判定 |
|---|---|---|---|---|---|---|
| 指令遵循率 | 按条 | 71.2% | 88.6% | ＋17.4 | 0.8 | 有效 |
| 任务完成质量（五分制双评均值） | 按条 | 3.12 | 3.84 | ＋0.72 | 0.06 | 有效 |
| 评分者间一致性 | — | — | 0.81 | — | — | 达门限 0.75 |
| 行业问答准确率 | 按题 | 56.4% | 72.8% | ＋16.4 | 1.1 | 有效 |
| 长上下文理解（跨页图纸技术要求问答） | 按题 | 48.6% | 62.8% | ＋14.2 | 1.4 | 有效 |
| 分任务·图纸要素解析 | 按条 | 62.4% | 81.2% | ＋18.8 | 0.9 | 有效 |
| 分任务·工序序列生成 | 按条 | 51.8% | 74.6% | ＋22.8 | 1.2 | 有效 |
| 分任务·工艺卡片字段填写 | 按条 | 58.2% | 79.4% | ＋21.2 | 1.0 | 有效 |
| 分任务·排料方案建议 | 按条 | 42.6% | 48.2% | ＋5.6 | 2.1 | 提升有限，标准差偏大 |
| 分任务·工艺审查校核 | 按条 | 54.2% | 66.8% | ＋12.6 | 1.3 | 有效 |
排料方案建议一项的标准差 2.1 明显高于其他任务，这说明该任务上的结果不稳定，不宜作为可用性判定的依据。本报告对该项的处置是标注为不稳定指标，并在第 4 章把排料优化任务判为暂不可用。
**3.3 实验三 偏好对齐（b1552、b1553）**
| 指标 | 计算口径 | 对齐前 | 对齐后 | 判定 |
|---|---|---|---|---|
| 偏好判别准确率 | 奖励模型在留出偏好对上的判别准确率 | — | 78.4% | 达阈值 75%，奖励模型可用 |
| 分类型·工序顺序优劣 | 同上 | — | 82.6% | 可用 |
| 分类型·设备与工装选择优劣 | 同上 | — | 79.8% | 可用 |
| 分类型·加工方法分档优劣 | 同上 | — | 68.2% | 低于阈值，与质检 D01 缺陷对应 |
| 分类型·定额取值优劣 | 同上 | — | 81.4% | 可用 |
| 回答质量改善 | 对齐前后回答的人工对比胜率 | — | 胜 61.2%／平 24.6%／负 14.2% | 胜率高于负率，为改善 |
| 安全合规通过率 | 安全与合规测试集上的通过率 | 94.6% | 96.2% | 提升且达阈值 |
| 回答长度与冗余度 | 平均长度与冗余片段占比 | 412 字／8.2% | 438 字／9.1% | 记录副作用，冗余度略升但在阈值内 |
加工方法分档优劣一项 68.2% 低于阈值，与本附件 2.9 节批次报告中的 D01 缺陷（历史被退回方案作为负例时未复核退回原因）直接对应。这条线索从批次质检一路串到对齐实验，是本项目把质检与验证绑在同一套编号体系下的实际价值。
回答长度与冗余度这一行不是可选项。对齐训练的常见副作用是以冗长换取评分，不报这一项，质量改善的结论就不完整。
**3.4 实验四 基准评测（b1554—b1556）**
| 能力维度 | 评测题集来源 | 基座 | 继续预训练 | 微调 | 对齐 | 能力增量（对齐相对基座） |
|---|---|---|---|---|---|---|
| 领域知识 | 基准子集·知识类 | 52.6% | 64.0% | 65.2% | 64.8% | ＋12.2 |
| 工艺推理 | 基准子集·推理类 | 46.2% | 54.8% | 58.6% | 59.8% | ＋13.6 |
| 质量归因 | 基准子集·归因类 | 48.8% | 53.2% | 56.4% | 57.2% | ＋8.4 |
| 多模态理解 | 基准子集·多模态类 | 41.4% | 49.6% | 52.8% | 53.5% | ＋12.1 |
| 指令遵循 | 基准子集·指令类 | 71.2% | 72.4% | 88.6% | 89.2% | ＋18.0 |
| 安全合规 | 基准子集·安全类 | 94.6% | 94.2% | 95.4% | 96.2% | ＋1.6 |
图 A11-4 四个模型阶段在六个能力维度上的原始分对比，右侧为对齐相对基座的能力增量。数据来源：本节 3.4 节基准评测结果表；评测题集来源见招标文件 3.2.6.3.10 基准数据集要求（b1554—b1556）。量纲为原始分（百分数），不做归一化，不同数据集的雷达图不可直接比较。
六个维度的增量并不齐平，这正是分阶段报告的意义。指令遵循提升最大（＋18.0），几乎全部来自指令微调阶段；安全合规只提升 ＋1.6，因为基座在该维度上已有 94.6 的水平，可提升的余量本就有限，增量小不表示该维度未建设。
四个模型的对比中有一处需要说明：继续预训练模型在指令遵循维度上只提升 1.2 个百分点，这是正常的——预训练子集是无标注连续语料，不承担指令遵循能力的建设。把四个阶段的增量分开报告，可以看出每一类子集各自贡献了什么，这比只报一个最终总分更有用，也更能支撑数据集的价值论证。
**第 4 章 场景可用性验证（b1557、b1558）**
本章逐任务填写。场景清单与任务定义以本投标文件 T5、T14 两节为准，本章只给验证结果。
| 字段 | 工序推荐任务 | 工艺卡片生成任务 | 排料优化任务 |
|---|---|---|---|
| 场景编号与名称 | X2 板材备料工艺智能设计 | X2 板材备料工艺智能设计 | X2 板材备料工艺智能设计 |
| 验证任务定义 | 给定图纸解析结果，输出 28 道备料工序字典内的工序序列候选 | 给定图纸与工序序列，输出工艺卡片全字段 | 给定零件清单与板材规格，输出排料方案 |
| 输入 | 图纸解析结果（预处理产出） | 图纸解析结果＋工序序列 | 零件清单＋板材库存规格 |
| 期望输出 | 工序集合与顺序，附判读依据 | 卡片全字段，含设备、工装、定额、展开长 | 排料图与材料利用率 |
| 评价方式 | 与历史签发卡片比对＋工艺骨干评分 | 字段级一致性＋整张可用率 | 材料利用率对比＋工艺骨干判定 |
| 参与验证的数据子集 | DC-02-0001、0002、0003、0004 | DC-02-0001、0002、0004 | DC-02-0001、0002 |
| 样本量 | 1 200 个零件 | 860 张卡片 | 320 个零件清单 |
| 实测结果 | 工序集合一致率 91.4%，顺序一致率 88.7% | 闭合集字段级一致性 99.2%，闭合集卡片整张可用率 95.6%，自动通过率（全样本）37.2% | 材料利用率较人工方案低 2.8 个百分点；骨干判定可采用比例 31.2% |
| 与现状对比 | 工艺编审单件耗时中位数由【待填：人工基线】降低，具体数值待人工对照组实测 | 同上 | 低于人工现行水平 |
| 可用性判定 | **有条件可用**（常用板厚规格可用；薄板与超厚板规格需人工复核） | **有条件可用**（闭合集内可直接进入审核流程；非闭合集走人工介入通道） | **暂不可用** |
| 不达预期的定位结论 | 薄板与超厚板规格的样本覆盖不足，定位至 DC-02-0001 的板厚分布缺口 | 自动通过率偏低，定位至复合特征件的要素解析与闭合条件门限标定 | 定位至 DC-02-0001 排料主题覆盖度 61.4%，与质检 D01 缺陷同源 |
| 遗留事项 | 按板厚分层补采；V1.1 重新验证 | 闭合条件门限以更大样本重新标定 | 排料主题定向补采后在 V1.1 重新验证 |
「有条件可用」这一档是必要的。数据集首版在部分场景上达不到业务可接受标准是常态，写明条件（仅适用于常见规格、需人工复核后使用）比笼统判为可用或不可用都更有用，也便于场景建设方据此决定接入方式。
「暂不可用」如实写出来的理由在附件 A2 第 6.5 节已说明：这件事瞒不住，场景建设方一接入就会发现。写明不可用的范围与补齐计划，反而使整份报告的其余结论可信。
**第 5 章 错样归因（b1559、b1560）**
归因方法以本投标文件 T2C 节为准：把失败用例按对象回溯到它所依赖的数据集切片与样本，统计这些切片在同类失败中的出现频次，再与成功用例的切片分布比对；频次显著偏高的切片即为嫌疑来源，进入抽样复核。
| 归因类别 | 错样数 | 占比 | 典型表现 | 回流终点 |
|---|---|---|---|---|
| 覆盖盲区 | 1 184 | 46.2% | 排料主题、薄板与超厚板规格、三维格式零件上的错答集中出现 | 补采（采集环节） |
| 矛盾标注 | 548 | 21.4% | 同类零件的工序顺序在不同样本中标注不一致 | 重标（标注环节）＋规范修订 |
| 脏数据 | 477 | 18.6% | 要素解析错误（坡口识别为倒角）传导至工序错误 | 重跑预处理（预处理环节） |
| 难度分布缺口 | 354 | 13.8% | 多特征耦合零件（三类以上特征并存）的样本过少 | 定向补样＋难度分层调整 |
| 合计 | 2 563 | 100% | — | — |
嫌疑切片抽样复核结论（节选）：
| 嫌疑切片 | 在失败用例中出现频次 | 在成功用例中出现频次 | 频次比 | 抽样复核结论 |
|---|---|---|---|---|
| 主题＝排料优化 | 32.4% | 4.6% | 7.0 | 确认为样本不足 |
| 板厚≥25mm | 14.6% | 3.2% | 4.6 | 确认为样本不足 |
| 复杂度＝复合特征件 | 18.2% | 6.8% | 2.7 | 确认为解析错误传导 |
| 格式＝STP／STEP | 9.8% | 4.1% | 2.4 | 确认为样本不足 |
| 来源＝专业资料 | 6.2% | 5.8% | 1.1 | 排除 |
频次比接近 1 的切片（来源＝专业资料）排除在外，这一行保留的意义是说明归因不是把所有切片都列成嫌疑——不做比对、只看失败侧的分布，会把样本量大的切片都误判为问题来源。
**第 6 章 回流修复与复评**
| 修复项 | 对应归因 | 整改任务单 | 修复范围 | 复评范围 | 复评结果 | 闭环状态 |
|---|---|---|---|---|---|---|
| 排料主题补采 | 覆盖盲区 | OT-02-0121 | 定向补采排料语料 | 排料相关用例子集＋回归子集 | 待 V1.1 | 未闭环 |
| 板厚分层补样 | 覆盖盲区 | OT-02-0126 | 板厚≥25mm 与 ≤4mm 两档 | 对应用例子集＋回归子集 | 待 V1.1 | 未闭环 |
| 复合特征件重解析 | 脏数据 | OT-02-0122 | 1 043 张重跑 | 该复杂度层全量＋回归子集 | 要素正确率由 88.3% 升至 95.8% | 已闭环 |
| 工序顺序标注口径统一 | 矛盾标注 | OT-02-0127 | 规范修订＋548 条回溯复核 | 该类用例子集 | 顺序一致率由 88.7% 升至 92.4% | 已闭环 |
| 三维格式补采 | 覆盖盲区 | OT-02-0124 | 按产品族补采 | 三维格式用例子集 | 待 V1.1 | 未闭环 |
| 多特征耦合零件补样 | 难度缺口 | OT-02-0128 | 补样并调整难度分层 | 难档用例子集 | 待 V1.1 | 转长期积累 |
| 专业资料术语归一 | 脏数据 | OT-02-0129 | 术语词典补别名 | 抽样复检 | 已完成 | 已闭环 |
复评范围的写法与批次级复检一致：受影响用例子集加回归子集，不全量重跑。回归子集从历次已通过用例中按比例抽取，用于发现整改引入的回退。
**第 7 章 发布建议**
发布建议为**条件同意发布**。具体条件如下：
本版本可用于工艺设计领域知识注入，以及工序推荐、工艺卡片生成两类任务的训练与接入；工序推荐任务的适用范围限常用板厚规格，薄板与超厚板规格的输出须经人工复核；工艺卡片生成任务的适用范围限闭合集，非闭合集按人工介入通道处理；排料优化任务待 V1.1 补采后重新验证，本版本不建议接入。
遗留事项三项：排料主题、板厚两端规格、三维格式样本的补采在 V1.1 关闭；加工方法分档类偏好对的负例复核在 V1.1 关闭；多特征耦合零件的样本积累转长期计划，每季度评估一次。
本章不写「本版本整体达到预期」这类总括判断。发布建议要给出的是接入范围与限制条件，场景建设方据此决定怎么接、哪部分先接、哪部分等下一版。
#### 4.3 样章十三 数据集验证报告（产品质量数据集 V1.0）
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-04-0001-V1.0 |
| 受验对象 | 产品质量数据集 V1.0，四个用途子集（预训练 164 亿 Token、指令微调 24 万条、偏好 1.6 万组、基准 0.25 万条） |
| 绑定指纹 | 内容根摘要【待填：SM3 值】 |
| 前置条件 | 质检报告 QC-04-0001 至 0004 结论分别为条件通过、条件通过、条件通过、通过；无 A、B 级未关闭缺陷；评测协议版本 GHY26691-ST-00-0019-V1.0 |
| 验证执行期间 | 【待填】 |
**第 0 章 验证结论摘要**
| 项 | 内容 |
|---|---|
| 发布建议 | 条件同意发布 |
| 实验一结论 | 质量领域知识探针准确率相对基座提升 13.8 个百分点；通用保留语料困惑度上升 2.8%，在阈值内 |
| 实验二结论 | 外观缺陷判别、焊缝检测结果解读两类任务提升明显；低频缺陷类型（未熔合、根部裂纹）上的提升显著低于常见缺陷，且在合成样本占比高的类型上标准差偏大 |
| 实验三结论 | 奖励模型偏好判别准确率 76.8%；对齐后整改建议的回答质量对比胜率 58.4% |
| 实验四结论 | 六个能力维度中指令遵循增量最大（＋18.6 个百分点），质量归因次之（＋15.2），领域知识 ＋13.8、工艺推理 ＋11.8、多模态理解 ＋10.4；安全合规基线已高（基座 95.2），增量 ＋1.6 |
| 场景可用性 | 焊接过程控制智能监控场景的缺陷检出任务判定为有条件可用（机器人工位可用，人工焊工位按焊缝级）；热处理场景的缺陷溯源任务判定为有条件可用（炉级可用，炉位级受数据条件限制）；质量问题归因任务判定为有条件可用 |
| 错样归因 | 覆盖盲区类占 38.4%，矛盾标注类占 26.2%，难度缺口类占 21.6%，脏数据类占 13.8% |
| 回流修复 | 低频缺陷类型的真实样本定向补充、咬边与余高标注口径统一两项纳入 V1.1 计划 |
| 本版本须特别说明 | 六类低频标签在本版本无样本，这六类上的结论不成立；未熔合与根部裂纹两类的合成占比分别为 45.5% 与 64.8%，其指标单独报告 |
**第 1 章 验证对象与前置条件**
前置缺陷清单（影响本报告结论解释的部分）：
| 来源 | 缺陷 | 级别 | 对验证结论的影响 |
|---|---|---|---|
| QC-04-0002 | 标签分布基尼系数 0.61，低频类型靠合成补足 | — | 低频类型的实验指标不能代表真实样本上的表现，须单独报告 |
| QC-04-0002 | 咬边与余高判定边界歧义导致 842 条错标 | C | 这两类标签上的检出指标偏低，归因指向标注规范 |
| QC-04-0002 | 288 条跨工序追溯样本的证据引用不可达 | C | 跨工序追溯类任务的证据完整率偏低 |
| QC-04-0001 | 六类低频标签无样本 | — | 这六类上不出结论 |
**第 2 章 实验设计与评测协议**
协议项同 4.2 节样章，差异在三处：一是本数据集含图像与时序两类模态，评测题集按模态分册，多模态题的输入形态与推理参数单独记录；二是合成样本占比较高的标签类型设独立报告口径，指标按「全体」「真实样本」「合成样本」三列并报；三是人工评分涉及具备检测资格的质检骨干，评分者资格与评分细则版本记入协议。
**第 3 章 四类实验结果（节选关键表）**
实验一 继续预训练
| 指标 | 基座 | 继续预训练后 | 变化 | 判定 |
|---|---|---|---|---|
| 领域知识探针准确率 | 49.8% | 63.6% | ＋13.8 | 有效 |
| 分主题·外观缺陷 | 54.2% | 70.4% | ＋16.2 | 有效 |
| 分主题·焊接质量 | 51.6% | 66.8% | ＋15.2 | 有效 |
| 分主题·热处理质量 | 47.4% | 61.2% | ＋13.8 | 有效 |
| 分主题·失效分析 | 45.2% | 55.6% | ＋10.4 | 有效 |
| 分主题·检测方法与判定 | 50.8% | 64.2% | ＋13.4 | 有效 |
| 保留语料困惑度（通用） | 100（归一） | 102.8 | ＋2.8% | 在阈值内 |
| 领域语料困惑度 | 100（归一） | 79.4% | －20.6% | 有效 |
实验二 指令微调（按标签类型分列，三列并报）
| 标签类型 | 微调前 | 微调后·全体 | 微调后·真实样本 | 微调后·合成样本 | 标准差 | 判定 |
|---|---|---|---|---|---|---|
| 气孔判别 | 58.4% | 84.2% | 84.6% | 80.2% | 0.7 | 有效 |
| 余高超差判别 | 56.2% | 76.8% | 77.2% | 72.4% | 1.1 | 有效，受标注歧义影响 |
| 咬边判别 | 54.8% | 71.4% | 71.8% | 68.2% | 1.4 | 有效，受标注歧义影响 |
| 焊脚尺寸偏差 | 61.2% | 85.6% | 85.8% | 82.4% | 0.8 | 有效 |
| 硬度偏低分析 | 52.4% | 78.2% | 78.6% | 74.8% | 1.0 | 有效 |
| 变形超差分析 | 50.6% | 73.4% | 74.2% | 68.6% | 1.3 | 有效 |
| 淬火裂纹判别 | 46.2% | 68.4% | 72.6% | 64.2% | 2.2 | 真实与合成差距 8.4 个百分点，标注为不稳定 |
| 弧坑判别 | 48.8% | 70.2% | 74.8% | 65.4% | 2.4 | 同上 |
| 未熔合判别 | 42.4% | 61.8% | 70.2% | 56.4% | 3.1 | 真实与合成差距 13.8 个百分点，合成占比 45.5% |
| 根部裂纹判别 | 40.6% | 58.4% | 71.4% | 52.2% | 3.6 | 真实与合成差距 19.2 个百分点，合成占比 64.8% |
| 组织异常判别 | 38.2% | 52.6% | 54.2% | 48.8% | 4.2 | 样本量仅 1 200 条，结论标注为参考 |
| 其余六类低频标签 | — | — | — | — | — | 本版本无样本，结论不成立 |
这张表是本报告最重要的一张。合成样本上的表现系统性低于真实样本，且差距随合成占比升高而扩大（未熔合 13.8、根部裂纹 19.2 个百分点）。这组数说明两件事：合成样本确实带来了可训练的信号，但它不能替代真实样本；按标签类型三列并报是必要的，混算会让「未熔合判别 61.8%」看起来像一个可用的水平，而实际上模型在真实未熔合样本上的 70.2% 与在合成样本上的 56.4% 代表两种完全不同的能力状态。
实验三 偏好对齐
| 指标 | 对齐前 | 对齐后 | 判定 |
|---|---|---|---|
| 偏好判别准确率 | — | 76.8% | 达阈值 |
| 分类型·缺陷等级判定优劣 | — | 80.2% | 可用 |
| 分类型·整改建议优劣 | — | 71.4% | 可用（偏低） |
| 回答质量对比胜率 | — | 胜 58.4%／平 26.2%／负 15.4% | 改善 |
| 安全合规通过率 | 95.2% | 96.8% | 提升 |
| 回答长度与冗余度 | 386 字／7.4% | 402 字／8.0% | 副作用在阈值内 |
实验四 基准评测
| 能力维度 | 基座 | 继续预训练 | 微调 | 对齐 | 增量 |
|---|---|---|---|---|---|
| 领域知识 | 49.8% | 63.6% | 64.2% | 63.6% | ＋13.8 |
| 工艺推理 | 44.6% | 52.2% | 55.8% | 56.4% | ＋11.8 |
| 质量归因 | 46.2% | 54.8% | 60.4% | 61.4% | ＋15.2 |
| 多模态理解 | 42.8% | 50.4% | 52.6% | 53.2% | ＋10.4 |
| 指令遵循 | 69.8% | 70.6% | 87.2% | 88.4% | ＋18.6 |
| 安全合规 | 95.2% | 94.8% | 96.2% | 96.8% | ＋1.6 |
**第 4 章 场景可用性验证（节选三项任务）**
| 字段 | 焊缝缺陷检出任务 | 热处理缺陷溯源任务 | 质量问题归因任务 |
|---|---|---|---|
| 场景编号与名称 | X5 焊接过程控制智能监控 | X4 热处理过程智能监控 | X4／X5 共用 |
| 参与验证的数据子集 | DC-04-0001、0002、0004 | DC-04-0001、0002、0003、0004；DC-03-0001、0002 | DC-04 全部子集 |
| 样本量 | 4 200 个缺陷实例（机器人工位 3 180、人工焊工位 1 020） | 486 张不合格票 | 1 240 个质量问题 |
| 实测结果 | 裂纹查全率 91.2%、气孔 86.4%、咬边 84.2%、焊脚偏差 90.8%、余高 88.6%、弧坑 85.2%；误报率 11.4% | 归因 Top-3 命中率 76.8%、Top-1 命中率 56.4%；证据完整率 95.2%；炉位级引用仅在 A 档样本（占 37.6%）中给出 | 主因一致率 74.2%；前两位命中率 88.6% |
| 可用性判定 | **有条件可用**（机器人工位按焊道级可用；人工焊工位按焊缝级可用；咬边类低于基线，须人工复核） | **有条件可用**（炉级结论可用；炉位级结论仅适用于 A 档样本） | **有条件可用**（可作为排查起点，不作为结论直接采信） |
| 不达预期的定位结论 | 咬边 84.2% 低于基线 85%，定位至 DC-04-0002 的咬边标注歧义 | 炉位级覆盖受限，定位至 DC-03-0001 的炉位登记字段缺失率 62.4% | 跨工序追溯类样本的证据引用不可达 288 条 |
| 遗留事项 | 咬边标注口径统一后 V1.1 重新验证 | 炉位登记填报覆盖率达七成后启动历史批次重新配对评估 | 重建证据引用 |
**第 5 章 错样归因**
| 归因类别 | 错样数 | 占比 | 典型表现 | 回流终点 |
|---|---|---|---|---|
| 覆盖盲区 | 1 462 | 38.4% | 六类无样本标签、组织异常类、超厚板焊接工况 | 补采 |
| 矛盾标注 | 997 | 26.2% | 咬边与余高边界、小尺寸缺陷标注框尺度 | 重标＋规范修订 |
| 难度分布缺口 | 822 | 21.6% | 多因素归因与跨工序追溯两档样本偏少 | 补样＋难度分层调整 |
| 脏数据 | 525 | 13.8% | 证据引用不可达、牌号别名未归一 | 重建引用＋术语归一 |
| 合计 | 3 806 | 100% | — | — |
**第 6 章 回流修复与复评**
| 修复项 | 对应归因 | 整改任务单 | 复评结果 | 闭环状态 |
|---|---|---|---|---|
| 咬边与余高标注口径统一并回溯复核 | 矛盾标注 | OT-04-0012 | 咬边判别由 71.4% 升至 78.2%（真实样本） | 已闭环 |
| 小尺寸缺陷标注框口径补齐并重标 | 矛盾标注 | OT-04-0013 | 位置重合度达标率由 83.2% 升至 88.6% | 已闭环 |
| 跨工序追溯证据引用重建 | 脏数据 | OT-04-0014 | 证据完整率由 95.2% 升至 98.4% | 已闭环 |
| 低频缺陷真实样本定向补充 | 覆盖盲区 | OT-04-0016 | 待 V1.1 | 未闭环 |
| 六类无样本标签的样本积累 | 覆盖盲区 | OT-04-0017 | 转长期积累，按季评估 | 长期 |
| 多因素归因与跨工序追溯补样 | 难度缺口 | OT-04-0018 | 待 V1.1 | 未闭环 |
**第 7 章 发布建议**
发布建议为**条件同意发布**，条件四项：
一、本版本可用于产品质量领域知识注入，以及外观缺陷判别、焊缝检测结果解读、热处理质量分析三类任务的训练与接入。
二、低频缺陷类型（未熔合、根部裂纹、弧坑、淬火裂纹）的输出须经人工复核，原因是这些类型的合成样本占比高、真实样本上的表现与合成样本上的表现差距明显，本版本不具备在这些类型上独立判定的可靠性。
三、六类无样本标签在本版本上不出结论，场景接入时须在标签体系中屏蔽这六类，避免模型在无依据的情况下给出判定。
四、热处理缺陷溯源的炉位级结论仅适用于 A 档样本（炉位登记齐备的 37.6%），其余样本的结论止于炉级并按档位标注。
#### 4.4 样章十四 数据集验证报告结论摘要（制造过程数据集 V1.0）
制造过程数据集的验证报告按同一模板出具，本节只给结论摘要与关键指标表，以说明四份数据集验证报告的横向可比性。
| 项 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-03-0001-V1.0 |
| 受验对象 | 制造过程数据集 V1.0（预训练 105 亿 Token、指令微调 15 万条、偏好 1 万组、基准 0.2 万条） |
| 前置条件 | QC-03-0001 至 0004；其中 QC-03-0001 条件通过，未关闭 C 级缺陷 3 条（炉位字段缺失、焊道边界锚定、工况覆盖不全） |
| 实验一结论 | 领域知识探针准确率 ＋12.6 个百分点；通用保留语料困惑度 ＋3.1%，在阈值内 |
| 实验二结论 | 参数匹配与工况识别两类任务提升明显；跨设备迁移类任务提升有限（＋6.2 个百分点，标准差 2.8） |
| 实验三结论 | 偏好判别准确率 74.2%（临界达阈值）；对齐后参数建议的对比胜率 55.8% |
| 实验四结论 | 工艺推理 ＋12.8；领域知识 ＋12.6；多模态理解 ＋9.2；质量归因 ＋8.6；指令遵循 ＋17.2；安全合规 ＋1.2 |
| 场景可用性 | 热处理参数智能匹配任务有条件可用；焊接参数推荐任务有条件可用（越窗推荐数为零，可采用比例 72.4%）；跨机型工况识别任务暂不可用 |
| 错样归因 | 覆盖盲区 42.6%、难度缺口 24.8%、矛盾标注 18.2%、脏数据 14.4% |
| 发布建议 | 条件同意发布：可用于热处理与焊接两类参数任务；跨机型工况识别待补齐机型档案后在 V1.1 重新验证 |
| 本版本须特别说明 | 装炉位置登记与焊道边界两项数据条件在实施期逐步补齐，本版本的炉位级与焊道级结论按档位标注，不以 A 档结论代表全部样本 |
关键指标横向对照（四个数据集 V1.0 的能力增量，用于说明各数据集的贡献侧重）：
| 能力维度 | 供需计划 | 产品工艺设计 | 制造过程 | 产品质量 |
|---|---|---|---|---|
| 领域知识 | ＋14.2 | ＋12.2 | ＋12.6 | ＋13.8 |
| 工艺推理 | ＋8.4 | ＋13.6 | ＋12.8 | ＋11.8 |
| 质量归因 | ＋6.2 | ＋8.4 | ＋8.6 | ＋15.2 |
| 多模态理解 | ＋7.8 | ＋12.1 | ＋9.2 | ＋10.4 |
| 指令遵循 | ＋19.2 | ＋18.0 | ＋17.2 | ＋18.6 |
| 安全合规 | ＋2.2 | ＋1.6 | ＋1.2 | ＋1.6 |
这张横向表的作用是回答一个验收时一定会被问到的问题：四个数据集各自的价值在哪里。工艺设计数据集在工艺推理与多模态理解上贡献最大，质量数据集在质量归因上贡献最大，供需计划数据集在领域知识与指令遵循上贡献最大——这与四个数据集的内容构成一致，也说明按业务域分建数据集的划分方式是有效的。指令遵循维度四个数据集的增量都在 17 至 19 个百分点上下，这是指令微调子集的共同作用，不归功于某一个数据集。
#### 4.5 样章十五 数据集验证报告结论摘要（供需计划数据集 V1.0）
| 项 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-01-0001-V1.0 |
| 受验对象 | 供需计划数据集 V1.0（预训练 276 亿 Token、指令微调 40 万条、偏好 3.2 万组、基准 0.4 万条） |
| 前置条件 | QC-01-0001 至 0004；QC-01-0004 基准子集结论为通过 |
| 实验一结论 | 领域知识探针准确率 ＋14.2 个百分点；通用保留语料困惑度 ＋2.1%，在阈值内 |
| 实验二结论 | 指标口径问答与穿透分析两类任务提升明显；需求预测类任务按品类差异明显——大宗金属材料与标准件提升显著，定制异形件提升有限 |
| 实验三结论 | 偏好判别准确率 79.6%；对齐后分析结论的对比胜率 62.4% |
| 实验四结论 | 领域知识 ＋14.2；指令遵循 ＋19.2；工艺推理 ＋8.4；多模态理解 ＋7.8；质量归因 ＋6.2；安全合规 ＋2.2 |
| 场景可用性 | 库存控制智能化场景的指标穿透任务判定为可用（对账差异率 0.3%，穿透合计一致率 99.4%）；成因溯源任务有条件可用（主因一致率 76.8%）；物料需求预测任务按品类分别判定（大宗金属材料与标准件有条件可用，定制异形件按清单驱动口径可用，通用制品暂不可用）；标书智能问答与合同合规审查两个通用场景的知识库类验证项可用 |
| 错样归因 | 覆盖盲区 34.2%、矛盾标注 28.6%（多为口径不一致）、脏数据 22.4%、难度缺口 14.8% |
| 发布建议 | 条件同意发布：指标与穿透类任务可接入；需求预测类按品类接入，通用制品品类待 V1.1 补齐特征后重新验证 |
| 本版本须特别说明 | 矛盾标注类错样占 28.6%，明显高于其他三个数据集，成因是企业现存三套库存口径并行，样本标注时按不同口径给出了不同答案。处置方式是以招标方确认的双口径为准重标，并把口径字段写入样本元数据，使同一问题在不同口径下的答案可分别检索 |
供需计划数据集的矛盾标注占比偏高这件事值得在摘要里单独说明，因为它不是标注质量问题，是业务口径问题。口径不统一的情况下，再认真的标注也会产生矛盾样本。本项目的处置是把口径作为样本的显式维度而不是隐含假设——同一指标在财务口径与业务口径下有两个答案，这两个答案都对，样本要标明它问的是哪个口径。这一处置与本投标文件 T4B 节的指标标准规划一致，具体口径以该节为准。
### 五、场景验证报告样章（十一份）
本节回应招标文件 3.2.6.5「场景验证服务」项下六个专业场景（b1605—b1712）与五个通用场景（b1714—b1784）的验证要求，逐场景出一份报告样章，共十一份。
#### 5.0 十一份报告的共用说明
**场景编号。** 专业场景沿用本投标文件 T5 节的 X1—X6；通用场景在 T14 节未另行编号，本附件暂用 TG1—TG5，最终编号以场景清单定版为准（见本附件第九节待补事项）。编号一旦定版，报告编号、用例卡编号与判据登记表编号同步更新，更新记录进修订记录。
**报告结构。** 六份专业场景报告按 T5 节表 11-4 的九章结构出具，结构统一以便横向比较；五份通用场景报告按 T14 节的交付物口径出具，章节与专业场景对齐但第三至六章按知识层、任务层、效率、稳定与合规四层展开。两类报告的第一、二、七、八、九章结构一致。
**判据来源。** 各验证项的度量口径、基线档与目标档（专业场景）或目标值与下限值（通用场景）一律引用 T5、T14 两节的判据表，本附件不另定义；判据编号在报告第 1 章登记。
**分档与受限。** 每份报告的第八章不可省。多数验证报告只报通过的部分、受限部分一笔带过，结果是招标方在上线后才发现某些结论只在特定条件下成立。本项目要求每份报告明确写出当前所处档位、受限原因、恢复条件与条件恢复后的重算安排。
**每份报告的第八章另含一节任务级可用性判定（b1557、b1558）。** 分档说明给的是数据条件，可用性判定给的是结论：按本场景的实际业务任务逐项判定数据集当前能不能用、在什么范围内用，不达预期的定位到具体数据子集并给出回流去向。十一份报告共六十九项任务，汇总见本节 5.12。判定分三档——可用、有条件可用、暂不可用；另有「本轮不判定」一种写法，用于依据本身不足以支持任何判定的项（人工基线未实测、行为埋点未开通），它与「暂不可用」不是同一件事，两者在各报告中分开标注。
**每份报告另附错样样例。** 第六章或第七章的归因表给的是分布，错样样例给的是形态：逐条列出用例编号、输入摘要、期望输出、实际输出、偏差类型、归因与回流去向，每份节选五至六条，明细进附件。样例中会有意保留一两条「正确地没有给结论」的用例（样本不足时拒答、分档不适用时不输出），因为判分口径只有在这类用例上才看得清——若按「没给结论即为失败」统计，会逼出一个在没有依据时也硬给结论的系统。
**示意值声明。** 本节所有指标数值为示意值，用于说明填写粒度与判定写法；量级参照 T5、T14 两节的基线档与下限值设定，不构成对实测结果的承诺。人工基线一律按【待填：实测中位数】标出，不填预估值——效率类结论若用预估基线算出来，整条结论就作废了。
**共用的签署与见证口径。** L2 执行阶段招标方见证岗位对每一组用例的执行过程至少到场一次，确认执行所用数据集版本、模型版本与判据版本与方案一致；L3 端到端阶段招标方岗位是实际使用者，其使用记录即见证记录。见证记录中记录岗位、时间与确认事项，不记录个人姓名。
#### 5.1 样章十六 场景验证报告 X1 产品智能选型
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0011-V1.0 |
| 报告类型 | 场景级·X1 产品智能选型 |
| 招标文件依据 | b1605—b1620 |
| 受验数据集版本 | DC-01-0001 至 0004（供需计划）、DC-02-0001 至 0004（产品工艺设计）各 V1.0 |
| 模型／规则版本 | 模型版本标识【待填】；校核公式版本【待填：签封版本号】；参数字典版本【待填】 |
| 判据登记表版本 | GHY26691-LG-00-0007-V1.0 |
| 验证执行期间 | 【待填】 |
| 编制／审核／招标方签认 | 【待填：验证组／质量负责人／招标方业务部门与技术部门】 |
**第 1 章 验证范围与依据**
| 能力编号 | 被验证能力 | 招标文件依据 | 验证层级 | 本轮是否判定 |
|---|---|---|---|---|
| X1-1 | 需求采集方式支持：结构化表单、参数模板、附件上传 | b1611 | L2 | 是 |
| X1-2 | 选型关键要素自动识别（八类要素） | b1612、b1613 | L2 | 是 |
| X1-3 | 缺失信息提醒与数据校验 | b1614 | L2 | 是 |
| X1-4 | 参数智能计算与验算（输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数等） | b1615、b1616 | L2 | 是 |
| X1-5 | 选型智能推荐 | b1617、b1618 | L2 | 是 |
| X1-6 | 方案自动生成（规格书与报价配置清单） | b1618、b1619 | L2／L3 | 是 |
| X1-7 | 在线编辑与修改留痕 | b1620 | L2 | 是 |
| X1-8 | 全流程端到端：从需求输入到可审方案 | b1610 | L3 | 是 |
本轮验证为首轮，覆盖 L1 至 L3；L4 观察期在本轮之后按约定观察期执行，结论另出。
**第 2 章 数据就绪度结论（L1）**
| 数据对象 | L1 核验项 | 通过要求 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 选型任务 | 主键能否贯通项目号与施工号 | 可贯通 | 可贯通，抽取 3 个实例端到端追溯成立 | 通过 |
| 矿方工况档案 | 关键字段非空率；原文位置可回溯率 | ≥85%；≥90% | 88.2%；91.4% | 通过 |
| 配套接口参数 | 填报入口可用并完成 ≥30 条试填 | 入口可用且试填完成 | 入口可用，试填 42 条 | 通过（按补录项处理，不计入字段覆盖判据） |
| 选型参数字典 | 别名与单位是否齐备 | 齐备 | 别名覆盖 92.4%，单位齐备 | 通过 |
| 校核公式与版本 | 签封版本可只读获取 | 可获取 | 可获取，版本号已固化 | 通过 |
| 候选与最终配置 | 历史方案是否随结论留存输入参数 | ≥85% | 86.8% | 通过 |
| 机型与部件标准化库 | 适用条件、替代关系、在产状态三项字段 | L1 阶段由受控表格导入补齐，须经招标方标准化口确认 | 已导入并确认 | 通过 |
| 历史选型案例 | 归集完成度与结构化成功率 | ≥85% | 归集 92.6%，结构化成功率 87.4% | 通过 |
| 投运与用后反馈 | 填报入口可用并完成 ≥30 条试填 | 入口可用且试填完成 | 入口可用，试填 36 条 | 通过（补录项） |
| 参考报价 | 只读接口开通 | 已开通 | 已开通 | 通过 |
L1 结论：十类对象全部达到通过要求，L1 通过。缺口清单两项（配套接口参数、投运与用后反馈）均为当前无记录、须在业务流程中逐步积累的字段，按补录项处理，归属为招标方业务流程改造事项，不计入本轮字段覆盖判据。
分档判定：本场景本轮按 A 档（完整）执行。配套接口参数的回溯补录值在 L2 指标中按「含回溯值」与「不含回溯值」分别报告两组数。
**第 3 章 验证数据资产说明**
| 资产类别 | 构成 | 规模 | 隔离与切分 |
|---|---|---|---|
| 金标准集 | 历史选型案例，按工作面类型（超长、常规、大采高、薄煤层）与产品类别（刮板输送机、转载机、破碎机、自移机尾、转载机自移系统）分层抽样 | 326 个历史选型任务，各层不少于 30 个 | 按项目号与时间双重切分；所取项目号不出现在训练集，且取近两年任务 |
| 回放窗口 | 完整保留的历史真实任务（原始输入与当时真实产出） | 54 个任务 | 窗口内数据不进入训练，按窗口编号冻结 |
| 构造样本 | 缺字段、单位错写、取值越界、前后矛盾四类情形 | 68 例，各类不少于 15 例 | 单独统计，不混入主指标分母 |
| 实施期真实新任务 | 选型岗位按真实工作节奏使用 | 23 个任务 | 不预先筛选 |
金标准集的标注由选型骨干双人独立完成，字段级一致率 93.2%（门限 90%），分歧 184 处交第三人仲裁，仲裁记录编号写入用例卡的参考答案字段。
**第 4 章 能力项验证结果（L2）**
| 能力 | 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| X1-1 | 三类采集方式的用例通过情况 | 按用例 | 三类方式均可用；扫描型附件走人工录入通道 | 结构化表单与参数模板用例全部通过；附件上传中文本型与表格型可用，扫描型走人工录入通道并记录 | 通过 |
| X1-2 | 关键要素抽取正确率（八类，取值与单位均正确方计正确） | 按字段 | ≥85%；五项核心要素 ≥90% | 全体 87.6%；核心要素：年计划产量 92.4%、采高 93.8%、工作面长度 91.2%、倾角 94.6%、煤层厚度 90.8% | 通过 |
| X1-2 | 同上·不含回溯补录值 | 按字段 | — | 全体 86.2% | 记录 |
| X1-2 | 原文位置可回溯率 | 按字段 | ≥90% | 92.8% | 通过 |
| X1-3 | 缺失要素提醒召回率 | 按构造样本 | ≥95% | 96.4%（68 例中漏提醒 2 例，均为互斥取值类） | 通过 |
| X1-3 | 数据校验误报率 | 按字段 | ≤5% | 4.2% | 通过 |
| X1-4 | 复算一致性（相对偏差 ≤1×10⁻⁶ 的项数占比） | 按公式项 | ≥99% | 99.4%（偏差超限 14 项，已列差异台账） | 通过 |
| X1-4 | 门槛判定一致性 | 按任务 | ≥98% | 98.8% | 通过 |
| X1-5 | 推荐方案 Top-1 与历史最终配置一致率 | 按任务 | ≥60% | 63.8% | 通过 |
| X1-5 | Top-3 命中率 | 按任务 | ≥85% | 87.4% | 通过 |
| X1-5 | 不一致项的可解释率 | 按不一致项 | ≥90% | 91.6% | 通过 |
| X1-5 | 可行域正确性（被推荐方案全部通过四项校核） | 按推荐项 | 越界推荐数为零 | 0 项 | 通过 |
| X1-6 | 规格书字段完备率 | 按文档 | ≥95% | 96.2% | 通过 |
| X1-6 | 报价配置清单标准件核算一致性 | 按清单行 | ≥98% | 98.6% | 通过 |
| X1-7 | 修改留痕完整性 | 按修改动作 | 抽样 ≥200 条逐条可追溯 | 抽样 240 条，逐条可追溯 | 通过 |
复算一致性中的 14 项偏差超限需要单独说明，这也是本场景验证的一处要点。超限的 14 项全部集中在按功率口径计算的链条实际安全系数一项上，经与招标方技术部门核对，原因是签封公式的某一系数在两个版本间有调整，而本轮验证用的输入参数取自更早的历史任务，其当时适用的是旧版系数。本报告的处置是：跨版本的结果差异单独记录，不计入偏差统计；差异台账交技术部门判定属公式理解偏差或输入取值偏差，判定结论为后者。这一处置与 T5 节第 3.6 节的执行安排一致——把「公式实现错误」与「公式版本不同」两类原因分开，是本项验证可信的前提。
**第 5 章 端到端任务验证结果（L3）**
| 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 端到端任务可用率（输出方案可直接进入人工审核流程） | 按任务 | ≥70% | 回放窗口 54 个任务中 39 个可用（72.2%）；实施期真实新任务 23 个中 16 个可用（69.6%） | 通过（合并 74.0%，分组报告） |
| 端到端任务失败率（整件作废） | 按任务 | ≤5% | 回放窗口 1 个（1.9%）；真实新任务 1 个（4.3%） | 通过 |
| 返工任务的修改字段数（中位数） | 按返工任务 | 记录值 | 4 个字段 | 记录 |
| 返工任务的修改耗时（中位数） | 按返工任务 | 记录值 | 【待填：实测分钟数】 | 记录 |
返工任务的修改字段分布（节选）：
| 被修改字段 | 返工任务中出现次数 | 占比 | 主要原因 |
|---|---|---|---|
| 配套设备型号与接口参数 | 12 | 38.7% | 该字段当前无电子留痕，回溯值与实际不符 |
| 非标件清单 | 7 | 22.6% | 非标件判定依赖经验，标准化库替代关系不全 |
| 链条与链轮轴组规格 | 5 | 16.1% | 校核余量取值偏保守 |
| 参考报价 | 4 | 12.9% | 非标件类比估价区间偏宽 |
| 其他 | 3 | 9.7% | — |
端到端可用率按回放窗口与真实新任务分组报告，不合并成一个数。两组的数据条件不同——回放窗口的输入是已经整理过的历史任务，真实新任务的输入是岗位当场提供的原始资料，后者更能反映实际使用状态。合并报告会把真实状态掩盖掉。
**第 6 章 归因分析**
失败与返工用例共 39 例（含整件作废 2 例、返工 31 例、L2 判定失败 6 例）。归因分布：
| 归因方向 | 例数 | 占比 | 证据 | 嫌疑数据切片 |
|---|---|---|---|---|
| 数据缺口（字段当前无记录） | 18 | 46.2% | 配套接口参数与投运反馈两类字段缺失，回溯值与实际不符 | 不适用（缺口非切片问题） |
| 样本不足 | 11 | 28.2% | 薄煤层与大采高两类工作面的历史案例各不足 40 个，失败集中于此 | DC-01-0001 中工作面类型∈{薄煤层,大采高} 的切片，频次比 3.8 |
| 标注口径与判据口径不一致 | 6 | 15.4% | 非标件判定的标注口径与标准化库的替代关系定义不一致 | DC-02-0002 中非标件判定类样本 |
| 场景实现侧 | 4 | 10.3% | 附件上传在扫描型文件上的处理路径与方案约定不一致 | 不适用 |
归因的证据链写法：以样本不足一类为例，先统计失败用例中各工作面类型的出现频次（薄煤层 24.6%、大采高 18.2%），再与成功用例的同维度分布比对（6.4%、5.8%），频次比 3.8 与 3.1 显著偏高；对这两个切片按三成比例抽样人工复核 8 例，确认其失败原因为同类案例过少导致推荐依据不足，而非输入数据有错。复核结论转为数据集扩充需求，附具体补样范围与条数。
场景实现侧的 4 例按责任边界移交，不由本包整改。本包在报告中记录现象、证据与影响范围，移交记录编号【待填】。
**第 7 章 改进需求与复测**
| 需求编号 | 来源 | 改进内容 | 归属 | 状态 | 复测范围 |
|---|---|---|---|---|---|
| X1-RQ-01 | 样本不足 | 薄煤层与大采高两类工作面的历史案例各补至 60 个 | 数据集扩充（DC-01-0001、0002） | 待 V1.1 | 该两类用例子集＋回归子集（从已通过用例抽 15%） |
| X1-RQ-02 | 标注口径不一致 | 非标件判定的标注口径与标准化库替代关系对齐，规范修订 | 标注规范修订 | 已完成 | 非标件判定类用例子集 |
| X1-RQ-03 | 数据缺口 | 配套接口参数与投运反馈两类填报入口推广，覆盖率按月跟踪 | 招标方业务流程 | 进行中 | 覆盖率达五成后重算含回溯值与不含回溯值两组指标 |
| X1-RQ-04 | 数据缺口 | 标准化库的替代关系与在产状态字段持续维护 | 招标方标准化口 | 进行中 | 非标件清单类用例子集 |
| X1-RQ-05 | 场景实现侧 | 扫描型附件的处理路径 | 移交场景侧 | 已移交 | 移交后由场景侧复测 |
复测结果（X1-RQ-02 已完成项）：非标件判定类用例子集复测 42 例，判定正确率由 76.2% 升至 88.1%；回归子集 48 例无回退。
**第 8 章 分档与受限说明**
| 项 | 内容 |
|---|---|
| 当前档位 | A 档（完整）。所需数据通道齐备、关键字段覆盖达标、主键配对关系成立 |
| 受限维度一 | 配套接口参数当前无电子留痕，本轮 L2 指标中该字段的贡献部分来自回溯补录值；含回溯值与不含回溯值两组指标相差 1.4 个百分点，两组均在报告中给出 |
| 受限维度二 | 投运与用后反馈当前无系统性记录，推荐排序中「成熟度」维度的依据不完整，不一致项的可解释率中涉及成熟度的解释按「依据不足」标注，共 11 处 |
| 受限维度三 | 薄煤层与大采高两类工作面的案例量不足，这两类上的 Top-1 一致率（54.2%、57.8%）低于整体，单独报告 |
| 恢复条件 | 两类填报入口的覆盖率达五成；两类工作面案例各补至 60 个 |
| 条件恢复后的重算安排 | 覆盖率与案例量达标后，对本轮全部 L2 指标重算一轮，重算结果与本轮并列报告，不覆盖本轮记录 |
**本场景任务可用性判定（b1557、b1558）**
第八章的分档说明给的是数据条件，本节给的是结论：按本场景的实际业务任务逐项判定，当前版本的数据集在该任务上能不能用、在什么范围内用。判定对象是数据集对该任务的支撑能力；本项目不负责智能场景的建设（b1603），本节不对场景应用系统自身的建设状态作判断。
| 字段 | 需求要素识别与校验任务 | 参数计算与校核任务 | 选型推荐任务 | 方案与报价配置清单生成任务 | 成熟度依据排序任务 |
|---|---|---|---|---|---|
| 验证任务定义 | 给定需求表单、参数模板或附件，输出八类选型关键要素及缺失项提醒 | 给定已确认的要素取值，按签封公式输出输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数等校核结果 | 给定校核通过的可行域，输出候选机型与配置的排序建议 | 给定选定配置，输出产品规格书与报价配置清单 | 给定候选机型，按投运表现与用后反馈输出成熟度排序依据 |
| 输入 | 需求表单／参数模板／附件（文本型、表格型、扫描型） | 要素取值与参数字典、签封公式版本 | 要素取值、校核结果、机型与部件标准化库 | 候选配置、标准件清单、参考报价 | 候选机型、投运台账、用后反馈记录 |
| 期望输出 | 八类要素的取值与单位，附原文位置；缺失要素的提醒清单 | 各校核项数值与门槛判定结论，附计算过程 | Top-N 候选及其与历史最终配置的一致性、不一致项的解释 | 规格书全字段、报价配置清单逐行核算 | 排序结果及其所依据的投运台数、运行时长与反馈条目 |
| 评价方式 | 与金标准集的要素级比对；构造样本上的提醒召回与校验误报 | 与签封公式独立复算结果比对（相对偏差 ≤1×10⁻⁶ 计为一致） | 与历史最终配置的 Top-1／Top-3 一致率；可行域越界推荐计数 | 规格书字段完备率；清单行核算一致性；返工字段分布 | 排序依据的可回溯性；标注为「依据不足」的条目计数 |
| 参与验证的数据子集 | DC-01-0001、0002，DC-02-0001 | DC-01-0003，参数字典与签封公式（受控文件，不属数据集） | DC-01-0001 至 0004，DC-02-0002 | DC-01-0002、0004 | DC-01-0001（投运与反馈字段） |
| 样本量 | 金标准集 326 个任务＋构造样本 68 例 | 金标准集 326 个任务内的全部校核项 | 金标准集 326 个任务 | 回放窗口 54 个＋真实新任务 23 个 | 金标准集中要求成熟度排序的 62 个任务 |
| 本轮实测结果（示意值） | 要素抽取 87.6%（五项核心要素 90.8%—94.6%）；原文可回溯 92.8%；提醒召回 96.4%；校验误报 4.2% | 复算一致性 99.4%；门槛判定一致性 98.8%；可行域越界推荐 0 项 | Top-1 63.8%、Top-3 87.4%、不一致项可解释 91.6%；薄煤层 54.2%、大采高 57.8% | 规格书字段完备 96.2%；清单行核算一致 98.6%；非标件类比估价导致的返工占返工项 12.9% | 62 个任务中 11 个任务的成熟度依据标注「依据不足」，占 17.7% |
| **可用性判定** | **可用** | **可用** | **有条件可用**——常规、超长两类工作面可用；薄煤层与大采高两类的 Top-1 一致率低于整体约 7 个百分点，这两类的推荐结果须经选型岗位复核后采用 | **有条件可用**——标准件部分可直接进入人工审核流程；非标件的类比估价区间偏宽，该部分须人工核价 | **暂不可用** |
| 不达预期的定位结论（b1558） | — | — | 定位至 DC-01-0001、0002 中工作面类型∈｛薄煤层，大采高｝的切片，该切片在失败用例中的出现频次为成功用例的 3.8 倍，抽样复核 8 例确认为同类案例过少 | 定位至 DC-01-0004 中非标件参考报价样本，类比估价的可比件不足 | 定位至 DC-01-0001 的投运与用后反馈字段。该字段当前在业务流程中无系统性记录，不是样本量问题，补样补不出来 |
| 回流去向与复测安排 | — | — | X1-RQ-01：两类工作面案例各补至 60 个，V1.1 在该两类用例子集加回归子集上复测 | X1-RQ-04：标准化库替代关系与在产状态字段持续维护，非标件清单类用例子集复测 | X1-RQ-03：填报入口推广，覆盖率按月跟踪；达五成后对本项重新判定，在此之前不给可用性结论 |
五项任务里有三项可以直接用或者带条件用，一项不能用。把「暂不可用」这一档单列出来的用处在于：成熟度排序这件事的障碍不在模型也不在样本量，而在企业当前根本不记录投运与用后反馈——这类障碍只能靠业务流程改造解决，写成「有条件可用」会让场景建设方误以为加些样本就能接入。
「暂不可用」与「本轮不判定」是两件事，本附件全卷按此区分：前者是判过了，结论是当前不可用，并给出定位与恢复条件；后者是依据本身不足以支持任何判定（例如效率类指标的人工基线尚未实测），此时不给结论比给一个结论更有用。本报告第 5 章「返工任务的修改耗时」一行留空即属后者。
**错样样例（节选六条）**
| 用例编号 | 输入摘要 | 期望输出 | 实际输出 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| X1-UC-0214 | 某超长工作面选型任务，工况说明为扫描型附件 | 八类要素齐全抽取并附原文位置 | 扫描型附件未进入解析通道，年计划产量与倾角两项为空 | 漏抽 | 场景实现侧：扫描型附件的处理路径与方案约定不一致 | 不进数据回流；按责任边界移交场景侧，移交记录编号【待填】 |
| X1-UC-0337 | 薄煤层工作面，采高 1.1m，倾角 9° | Top-1 命中历史最终配置的机型系列 | Top-1 给出相邻一档机型系列，Top-3 内命中 | 排序偏差 | 样本不足：薄煤层历史案例 38 个，不足分层下限 60 个 | X1-RQ-01 补样；V1.1 复测 |
| X1-UC-0482 | 大采高工作面，倾角 18°，按功率口径校核链条安全系数 | 按本轮签封公式版本的系数校核 | 按该任务当时适用的旧版系数校核，相对偏差 2.3×10⁻³ | 版本不一致 | 公式版本差异，非公式实现错误（经技术部门判定） | 记入复算差异台账，不计入偏差统计，不触发整改 |
| X1-UC-0516 | 含两处非标过渡槽的配套配置 | 非标件清单含两项并标注待核价 | 清单含一项，另一项按标准件替代关系归为标准件 | 误判 | 标注口径与标准化库替代关系定义不一致 | X1-RQ-02（已完成）；该类用例子集复测，判定正确率 76.2%→88.1% |
| X1-UC-0603 | 要求按成熟度排序给出三个候选 | 候选附成熟度依据（投运台数、累计运行时长、反馈条目） | 候选给出，成熟度依据标注「依据不足」 | 依据缺失 | 数据缺口：投运与用后反馈无系统性记录 | X1-RQ-03；入口覆盖率达五成后对该项重新判定 |
| X1-UC-0671 | 配套接口参数由回溯补录值填入 | 接口参数与现场实际一致 | 与现场实际不符，整件方案返工 | 回溯值失真 | 数据缺口：该字段当前无电子留痕，回溯补录值不可核 | X1-RQ-03；含回溯值与不含回溯值两组指标并列报告 |
错样样例取六条而不是全量，是因为本轮失败与返工用例共 39 例，逐条列入正文会把报告撑成无法阅读的篇幅；明细进附件二。选取规则是每个归因方向至少取一条，并把判定上容易出分歧的两类单独摆出来——第三条（版本不一致）与第一条（场景实现侧）都不该计入数据集的能力判定，但如果不在样例里写明，看报告的人会把它们当成模型答错了。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、统计单位、判定粒度与结论的写法，不代表实际运行结果，也不构成对实测数值的承诺；验证执行后按本报告的表格结构填入实测值。标注【待填】的格子是必须实测、不得以预估值替代的项，效率与人工基线类一律在此列。
**第 9 章 附件**
| 附件 | 内容 |
|---|---|
| 附件一 | 用例卡清单（本轮共 1 462 条，按验证项分组） |
| 附件二 | 判据登记表（版本 GHY26691-LG-00-0007-V1.0，含本场景 16 条判据的度量口径、基线档、目标档、依赖数据条件、分档适用范围） |
| 附件三 | 执行日志索引（按用例编号可检索到执行时间、环境标识、原始输出存储位置） |
| 附件四 | 见证签认记录（按岗位与时间，不记个人姓名） |
| 附件五 | 复算差异台账（14 项偏差超限的逐项说明与技术部门判定结论） |
| 附件六 | 金标准集标注仲裁记录（184 处分歧的仲裁结论与依据） |
#### 5.2 样章十七 场景验证报告 X2 板材备料工艺智能设计
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0012-V1.0 |
| 报告类型 | 场景级·X2 板材备料工艺智能设计 |
| 招标文件依据 | b1624—b1634 |
| 受验数据集版本 | DC-02-0001 至 0004 各 V1.0 |
| 模型／规则版本 | 模型版本标识【待填】；要素解析规则集版本【待填】；加工方法分档规则版本【待填】；工序字典版本【待填】；展开系数表版本【待填】 |
| 判据登记表版本 | GHY26691-LG-00-0007-V1.0 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 能力编号 | 被验证能力 | 招标文件依据 | 验证层级 | 本轮是否判定 |
|---|---|---|---|---|
| X2-1 | 接收并解析产品全生命周期管理系统任务及图纸数据 | b1626、b1627 | L1／L2 | 是 |
| X2-2 | 自动生成工艺卡片 | b1627 | L2／L3 | 是 |
| X2-3 | 生成工序附图 | b1627 | L2 | 是 |
| X2-4 | 工艺变更自动修订 | b1627、b1628 | L2 | 是 |
| X2-5 | 工艺规则库及设备台账维护 | b1628 | L1／L2 | 是 |
| X2-6 | 应急工艺通道 | b1628 | L2（演练） | 是 |
| X2-7 | 图纸批量识别（DWG／DXF、STP／STEP） | b1629 | L2 | 是 |
| X2-8 | 工艺卡片及工序附图的 PDF 导出与打印 | b1630 | L2 | 是 |
| X2-9 | 图纸元素解析（关键特征提取） | b1631 | L2 | 是 |
| X2-10 | 解析后图纸按要素或图层在线预览 | b1632 | L2 | 是 |
| X2-11 | 工艺卡片及工序附图内容准确率 | b1633、b1634 | L2／L3 | 是 |
本场景的历史样本量纲为 63 万张图纸，是六个专业场景中数据条件最好的一个——图纸与已签发工艺卡构成天然成对的监督样本。
**第 2 章 数据就绪度结论（L1）**
| L1 核验项 | 通过要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 图纸与已签发工艺卡的配对成功率（抽样 1 万张，覆盖各产品族） | ≥90% | 92.4% | 通过 |
| 配对不成功原因分类 | 须列清单 | 卡片缺失 4.2%、图号命名不统一 2.6%、一图多件未拆分 0.8% | 已列清单 |
| 图号映射规则 | 须给出并留存映射表 | 映射表已发布，覆盖 1 087 个历史命名偏离件 | 通过 |
| 28 道备料工序字典 | 成文并版本化，经招标方工艺部门确认 | 已成文并确认，版本号【待填】 | 通过 |
| 加工方法分档规则 | L1 阶段固化一版 | 已固化，含粗糙度档次与加工方法对应、板厚与切割方式分档、多方案优先选择依据 | 通过 |
| 展开系数表 | 成文并版本化 | 已成文，按板厚与折弯角度分档 | 通过 |
| 设备与工装台账状态字段补齐率 | ≥90% | 设备 93.2%；工装 88.4% | 工装项未达，列缺口 |
| 变更单与图纸版本的关联可追溯性 | 可追溯 | 可追溯，抽样 60 件成立 | 通过 |
| 原生图纸可按图号或项目批量读取 | 可读取 | 可读取 | 通过 |
| 字体库与外部参照齐备性 | ≥95% | 字体库补齐后 98.6%；外部参照 96.8% | 通过 |
L1 结论：通过，一项缺口（工装台账状态字段补齐率 88.4%，低于 90%）。该缺口的影响是：状态字段缺失的工装无法判断是否可用，系统只能提示「需新制」而无法给出具体工装编号。本报告把这一影响写进第 4 章 X2-2 的工装号命中率一项，并在第八章列为受限维度。
**第 3 章 验证数据资产说明**
| 资产类别 | 构成 | 规模 | 隔离与切分 |
|---|---|---|---|
| 金标准集 | 按零件复杂度（五层）、图纸格式（二维／三维）、是否可借用三维分层抽样 | 3 180 张图纸及其配对卡片；各复杂度层不少于 300 张；三维格式 318 张 | 按图号与时间双重切分：金标准集图号不出现在训练集，且取近两年图纸、训练集取更早图纸 |
| 回放窗口 | 两个真实项目的完整图纸集 | 项目一 412 张、项目二 386 张 | 窗口内数据不进入训练 |
| 构造样本 | 四种格式的常见异常（缺字体、外部参照丢失、图层命名非标准、多视图错位） | 每类 22 例，共 88 例 | 单独统计 |
| 变更用例集 | 历史变更单 | 112 件 | 按变更单号冻结 |
金标准集的标注内容包括图纸要素正确取值、工序序列正确答案、设备与工装编号、材料定额与展开长正确值，以及判读依据。标注一致率：要素级 94.2%（门限 92%）、工序集合 90.6%（门限 88%）。判读依据缺失的样本不进入金标准集，本轮剔除 142 张。
时间切分的用意要写明：工序字典会修订、设备台账会变动，取近两年图纸作金标准、更早图纸作训练，能把这类漂移暴露出来。若按比例随机切分，同一图号的不同版本会分到两边，指标会系统性偏高。
**第 4 章 能力项验证结果（L2）**
| 能力 | 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| X2-1 | 任务与图纸接收成功率；对象关联正确率 | 按任务 | ≥98%；≥99% | 99.2%；99.4% | 通过 |
| X2-7 | DWG／DXF 批量识别成功率 | 按图纸 | ≥95% | 96.8% | 通过 |
| X2-7 | STP／STEP 批量识别成功率 | 按图纸 | ≥90% | 91.4% | 通过 |
| X2-7 | 批量处理吞吐（单批 ≥200 张） | 按批次 | 单批 200 张可完成，失败不阻断批次 | 单批 412 张完成，失败 14 张不阻断 | 通过 |
| X2-9 | 要素提取正确率·尺寸／板厚／牌号 | 按要素实例 | ≥98% | 98.4%／98.9%／98.2% | 通过 |
| X2-9 | 要素提取正确率·孔与方孔／坡口与倒角／压弯线 | 按要素实例 | ≥95% | 96.1%／95.4%／95.0% | 通过（压弯线临界） |
| X2-9 | 要素提取正确率·粗糙度符号／技术要求文本 | 按要素实例 | ≥90% | 91.7%／92.4% | 通过 |
| X2-9 | 复合特征件（坡口与压弯相邻）要素提取正确率 | 按要素实例 | ≥95% | 95.8%（整改复测后；整改前 88.3%） | 通过 |
| X2-9 | 视图投影关系判定正确率 | 按图纸 | ≥92% | 93.4%（整改复测后；整改前 90.6%） | 通过 |
| X2-10 | 按要素或图层在线预览的对应正确率 | 按要素实例 | ≥98% | 98.6% | 通过 |
| X2-2 | 工序集合一致率 | 按卡片 | ≥90% | 91.4% | 通过 |
| X2-2 | 工序顺序一致率 | 按卡片 | ≥85% | 92.4%（整改复测后；整改前 88.7%） | 通过 |
| X2-2 | 设备编码命中率 | 按引用项 | ≥90% | 92.1% | 通过 |
| X2-2 | 工装压模号与样板号命中率 | 按引用项 | ≥90% | 88.4% | **不通过**，受限于台账状态字段 |
| X2-2 | 展开长偏差（≤0.5mm 或 ≤0.3% 的占比） | 按零件 | ≥99% | 99.2% | 通过 |
| X2-2 | 材料定额偏差（≤1% 的占比） | 按零件 | ≥98% | 98.6% | 通过 |
| X2-3 | 工序附图与工序对应正确率；附图要素完整性 | 按附图 | ≥95%；≥95% | 96.2%；95.4% | 通过 |
| X2-8 | PDF 导出成功率；导出件与屏显一致性；可打印性 | 按文档 | ≥99%；抽样 200 份逐份通过 | 99.4%；抽样 212 份逐份通过 | 通过 |
| X2-4 | 变更触发的重算范围正确率 | 按变更单 | ≥95% | 96.4% | 通过 |
| X2-4 | 变更前后差异标识完整性 | 按差异项 | ≥98% | 98.6% | 通过 |
| X2-5 | 规则库与台账维护用例通过情况；版本留痕完整性 | 按用例 | 全部用例通过；留痕逐条可追溯 | 用例全部通过；抽样 220 条留痕逐条可追溯 | 通过 |
| X2-6 | 应急工艺通道演练（系统不可用、图纸不可解析两类情形各 ≥3 次） | 按演练 | 均在约定时限内完成并留记录 | 两类各演练 3 次，均在时限内完成 | 通过 |
**X2-11 内容准确率的四量报告（回应 b1633、b1634）**
| 量 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 自动通过率·可借用类零件 | 按图纸 | ≥60% | 63.8% | 通过 |
| 自动通过率·全样本 | 按图纸 | ≥35% | 38.6% | 通过 |
| 闭合集字段级一致性 | 按字段 | ≥99%，趋向全部一致 | 99.2% | 通过 |
| 尺寸与定额类字段实质错误数 | 按错误数 | 闭合集内为零，出现即该轮不通过 | 0 处 | 通过 |
| 闭合集卡片整张可用率 | 按卡片 | ≥95% | 96.4% | 通过 |
闭合条件的判定要素在本轮执行中按方案固化：图纸全部必需要素均被成功解析、要素级置信度均达门限、一致性校验（视图投影关系、尺寸链闭合、材料牌号与板厚匹配、压弯参数在工装能力范围内）全部通过、且无待确认项。满足者进入闭合集，不满足者进入人工介入通道并给出未通过的具体要素。
两个量必须成对报告。门限定得宽，自动通过率高而一致性下降；门限定得严则相反。本轮的门限标定依据为 3 180 张金标准图纸，标定记录见附件七；下一轮以更大样本重新标定，标定结果与本轮并列。
**第 5 章 端到端任务验证结果（L3）**
| 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 项目级可用卡片比例 | 按项目 | 不少于两个真实项目完成端到端验证，可用卡片比例 ≥60% | 项目一 412 张中可用 268 张（65.0%）；项目二 386 张中可用 241 张（62.4%） | 通过 |
| 工艺编审总耗时变化 | 按项目 | 记录值 | 【待填：两项目的人工基线与实际耗时实测值】 | 记录 |
| 返工卡片的修改字段分布 | 按返工卡片 | 记录值 | 见下表 | 记录 |
| 被修改字段 | 返工卡片中出现次数 | 占比 | 主要原因 |
|---|---|---|---|
| 工装压模号 | 68 | 25.4% | 台账状态字段缺失，无法给出具体编号 |
| 工序顺序（局部调整） | 54 | 20.1% | 等效表述，非实质错误 |
| 设备编码 | 41 | 15.3% | 设备占用与排产因素未纳入考虑 |
| 工步内容表述 | 38 | 14.2% | 表述风格与车间习惯不一致 |
| 材料定额 | 22 | 8.2% | 板材规格库存与理论定额不一致 |
| 其他 | 45 | 16.8% | — |
工序顺序的 54 处修改中有 41 处经工艺骨干判定为等效表述而非实质错误。这一区分必须做，否则可用率会被低估：卡片被改动过不等于卡片错了。本报告在可用率之外另报「实质错误导致的返工比例」为 8.6%。
**第 6 章 归因分析**
| 归因方向 | 例数 | 占比 | 证据 | 嫌疑数据切片 |
|---|---|---|---|---|
| 数据缺口（台账字段缺失） | 68 | 36.2% | 工装台账状态字段补齐率 88.4% | 不适用 |
| 样本不足 | 52 | 27.7% | 复合特征件、板厚两端规格、三维格式零件上的失败集中 | DC-02-0001 中 complexity='复合特征件' 切片（频次比 2.7）、板厚≥25mm 切片（4.6）、format∈{STP,STEP} 切片（2.4） |
| 外部约束未建模 | 41 | 21.8% | 设备占用与排产、板材库存规格两类约束不在当前输入范围 | 不适用（属场景侧输入范围） |
| 标注口径与判据口径不一致 | 27 | 14.4% | 工步内容表述的车间习惯未进入标注规范 | DC-02-0002 中工步内容类样本 |
**第 7 章 改进需求与复测**
| 需求编号 | 来源 | 改进内容 | 归属 | 状态 | 复测范围与结果 |
|---|---|---|---|---|---|
| X2-RQ-01 | 样本不足 | 复合特征件补样 300 张（覆盖板厚 8mm 以上） | 数据集扩充 | 已完成 | 该复杂度层全量复测：要素正确率 88.3%→95.8% |
| X2-RQ-02 | 规则缺口 | 补视图投影判定规则（断面与剖视共存） | 预处理规则 | 已完成 | 612 张复测：90.6%→93.4% |
| X2-RQ-03 | 标注口径 | 工序顺序标注口径统一，548 条回溯复核 | 标注规范 | 已完成 | 顺序一致率 88.7%→92.4% |
| X2-RQ-04 | 数据缺口 | 工装台账状态字段补齐 | 招标方车间台账 | 进行中 | 补齐后重算工装号命中率 |
| X2-RQ-05 | 样本不足 | 板厚两端规格与三维格式补采 | 数据集扩充 | 待 V1.1 | 对应用例子集＋回归子集 |
| X2-RQ-06 | 标注口径 | 工步内容表述纳入标注规范（按车间习惯定稿） | 标注规范 | 待 V1.1 | 工步内容类用例子集 |
**第 8 章 分档与受限说明**
| 项 | 内容 |
|---|---|
| 当前档位 | A 档（完整） |
| 受限维度一 | 工装压模号与样板号命中率 88.4%，未达基线 90%。受限原因为车间工装台账的状态字段补齐率 88.4%，状态缺失的工装无法判断可用性。恢复条件为台账状态字段补齐率达 90% 以上，恢复后重算该项 |
| 受限维度二 | 板厚 ≥25mm 与 ≤4mm 两档规格的样本覆盖不足，这两档上的要素提取正确率（93.2%、92.8%）低于整体，单独报告；在 V1.1 补采后重新验证 |
| 受限维度三 | 三维格式（STP／STEP）样本占比 8.2%，低于计划 15%，三维格式上的指标单独报告，不并入整体 |
| 受限维度四 | 设备占用排产与板材库存规格两类约束不在本场景的输入范围内，相关返工不计入本场景能力判定，在报告中如实记录并移交 |
| 恢复条件 | 台账状态字段补齐；两端板厚规格与三维格式样本补采完成 |
| 条件恢复后的重算安排 | 逐项重算并与本轮并列报告 |
**本场景任务可用性判定（b1557、b1558）**
| 字段 | 图纸要素解析任务 | 工序推荐任务 | 工艺卡片生成任务 | 工序附图生成任务 | 工艺变更自动修订任务 | 排料优化任务 |
|---|---|---|---|---|---|---|
| 验证任务定义 | 给定原生图纸，输出九类图纸要素的取值与位置 | 给定要素解析结果，输出 28 道备料工序字典内的工序集合与顺序 | 给定图纸与工序序列，输出工艺卡片全字段 | 给定工序序列，输出与各工序对应的工序附图 | 给定变更单与新版图纸，输出受影响范围与差异标识 | 给定零件清单与板材规格，输出排料方案 |
| 输入 | DWG／DXF、STP／STEP 原生图纸 | 要素解析结果、工序字典、加工方法分档规则 | 要素解析结果＋工序序列＋设备与工装台账＋展开系数表 | 工序序列＋图纸要素 | 变更单、变更前后图纸版本 | 零件清单＋板材库存规格 |
| 期望输出 | 要素取值与单位，附图层或视图位置 | 工序集合与顺序，附判读依据 | 卡片全字段，含设备编码、工装号、材料定额、展开长 | 附图及其与工序的对应关系 | 重算范围与差异项逐条标识 | 排料图与材料利用率 |
| 评价方式 | 与金标准集的要素级比对，按要素类分列 | 与历史签发卡片的工序集合一致率与顺序一致率，等效表述单独判定 | 字段级一致性＋闭合集整张可用率＋全样本自动通过率 | 附图与工序对应正确率＋附图要素完整性 | 重算范围正确率＋差异标识完整性 | 材料利用率对比＋工艺骨干判定 |
| 参与验证的数据子集 | DC-02-0001、0003 | DC-02-0001 至 0004 | DC-02-0001、0002、0004 | DC-02-0002、0003 | DC-02-0002 | DC-02-0001、0002 |
| 样本量 | 金标准集 3 180 张图纸＋构造样本 88 例 | 金标准集 3 180 张配对卡片 | 回放窗口两个项目共 798 张 | 金标准集内附图 2 640 幅 | 变更用例集 112 件 | 320 个零件清单（见本附件 4.2 节） |
| 本轮实测结果（示意值） | 尺寸／板厚／牌号 98.4%／98.9%／98.2%；孔与方孔／坡口倒角／压弯线 96.1%／95.4%／95.0%；粗糙度符号／技术要求文本 91.7%／92.4%；视图投影关系 93.4%；三维格式样本占比 8.2% | 工序集合一致率 91.4%；顺序一致率 92.4%；板厚≥25mm 与 ≤4mm 两档的要素提取 93.2%、92.8%，低于整体 | 闭合集字段级一致性 99.2%；闭合集整张可用率 96.4%；全样本自动通过率 38.6%；工装压模号与样板号命中率 88.4%，未达基线 90% | 附图与工序对应正确率 96.2%；附图要素完整性 95.4% | 重算范围正确率 96.4%；差异标识完整性 98.6% | 材料利用率较人工方案低 2.8 个百分点；工艺骨干判定可采用比例 31.2% |
| **可用性判定** | **有条件可用**——二维格式（DWG／DXF）可用；三维格式样本占比 8.2%，低于计划的 15%，该格式上的指标单列报告、按参考采信，不并入整体结论 | **有条件可用**——常用板厚规格可用；薄板（≤4mm）与超厚板（≥25mm）规格的输出须经工艺人员复核 | **有条件可用**——闭合集内的卡片可直接进入人工审核流程；非闭合集走人工介入通道并返回未通过的具体要素；工装压模号与样板号两字段须由车间指定，不以系统输出为准 | **可用** | **可用** | **暂不可用** |
| 不达预期的定位结论（b1558） | 定位至 DC-02-0001 中 format∈｛STP，STEP｝的切片，频次比 2.4，确认为样本不足 | 定位至 DC-02-0001 的板厚分布缺口，板厚≥25mm 切片频次比 4.6 | 工装号一项定位至招标方车间工装台账的状态字段补齐率 88.4%，非数据集侧问题；自动通过率一项定位至复合特征件的要素解析与闭合条件门限标定 | — | — | 定位至 DC-02-0001 的排料主题语料覆盖度 61.4%，明显低于其他五个主题；与本附件 3.2 节版本级质检报告记录的 QC02-0001-D01 缺陷同源 |
| 回流去向与复测安排 | X2-RQ-05：三维格式按产品族补采，V1.1 在三维格式用例子集加回归子集上复测 | X2-RQ-05：板厚两端规格补采，V1.1 复测 | X2-RQ-04：台账状态字段补齐后重算工装号命中率；闭合条件门限以更大样本重新标定，标定结果与本轮并列报告 | — | — | 排料主题定向补采（见本附件 6.1 节整改任务单 OT-02-0121），V1.1 重新验证前不给可用性结论 |
排料优化任务不在本场景第 1 章的能力清单内——招标文件对本场景列明的要求（b1626—b1634）未含排料。该任务的可用性结论来自本附件第 4.2 节对产品工艺设计数据集的验证，在此并列是为了让两节的结论不分裂：同一个「板材备料工艺智能设计」场景，在数据集验证报告里判为暂不可用、在场景验证报告里不提，看报告的人会以为两份报告说的不是一回事。
六项任务中两项可用、三项有条件可用、一项暂不可用。工艺卡片生成一项的受限方式值得单说：该任务的字段级一致性在闭合集内达到 99.2%，而全样本自动通过率只有 38.6%，两个数相差很远却都成立——闭合条件把没把握的卡片挡在了外面。这正是「有条件可用」要写清楚条件的原因，只报其中任一个数都会误导接入方。
**错样样例（节选六条）**
| 用例编号 | 输入摘要 | 期望输出 | 实际输出 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| X2-UC-0118 | 某中部槽零件，坡口与压弯线相邻 | 坡口角度与压弯线位置分别识别 | 坡口被识别为倒角，压弯线位置偏移一个特征 | 要素误判 | 复合特征件样本不足，解析错误并传导至工序 | X2-RQ-01（已完成）；该复杂度层全量复测，要素正确率 88.3%→95.8% |
| X2-UC-0246 | 板厚 32mm 的过渡槽底板 | 工序序列含火焰切割并给出坡口加工工序 | 按等离子切割给出工序，坡口工序缺失 | 工序缺项 | 样本不足：板厚≥25mm 档样本不足，切割方式分档依据不够 | X2-RQ-05 补采；V1.1 复测 |
| X2-UC-0379 | STP 格式三维零件，含两处沉孔 | 沉孔要素按三维特征提取 | 沉孔识别为通孔，深度字段为空 | 要素漏抽 | 样本不足：三维格式样本占比 8.2%，低于计划 15% | X2-RQ-05 按产品族补采 |
| X2-UC-0431 | 需用某型压模的折弯件 | 卡片给出具体工装压模号 | 卡片提示「需新制工装」，未给编号 | 依据缺失 | 数据缺口：车间工装台账状态字段补齐率 88.4%，无法判断该工装是否可用 | X2-RQ-04；补齐后重算工装号命中率 |
| X2-UC-0508 | 某刮板零件，历史卡片工步表述为车间习惯用语 | 工步内容与历史卡片一致 | 工步内容为规范用语，含义相同、表述不同 | 等效表述 | 标注口径未纳入车间习惯表述——经工艺骨干判定为非实质错误 | X2-RQ-06；记入附件八《等效表述判定记录》，不计入实质错误返工比例 |
| X2-UC-0662 | 某批零件清单的排料 | 材料利用率不低于人工现行水平 | 利用率低 2.8 个百分点，骨干判定不可采用 | 结果劣于现状 | 覆盖盲区：排料主题语料覆盖度 61.4% | OT-02-0121 定向补采；本版本不建议接入该任务 |
第五条单列的用意与第 5 章一致：卡片被改动过不等于卡片错了。等效表述若不单独判定，工艺卡片生成任务的可用率会被系统性低估，而低估的后果是把一个可以用的任务判成不可用——与高估同样是误判。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、统计单位、判定粒度与结论的写法，不代表实际运行结果，也不构成对实测数值的承诺；验证执行后按本报告的表格结构填入实测值。标注【待填】的格子是必须实测、不得以预估值替代的项。
**第 9 章 附件**
附件一至六同 5.1 节口径；本场景另有附件七《闭合条件门限标定记录》与附件八《等效表述判定记录》（工序顺序 54 处修改中 41 处判为等效的逐处依据）。
#### 5.3 样章十八 场景验证报告 X3 库存控制智能化
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0013-V1.0 |
| 报告类型 | 场景级·X3 库存控制智能化 |
| 招标文件依据 | b1644—b1661 |
| 受验数据集版本 | DC-01-0001 至 0004 各 V1.0 |
| 模型／规则版本 | 模型版本标识【待填】；指标口径定义版本【待填】；预测模型版本【待填】 |
| 判据登记表版本 | GHY26691-LG-00-0007-V1.0 |
| 回放窗口编号 | 【待填：窗口编号与起止期间】 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 能力编号 | 被验证能力 | 招标文件依据 | 验证层级 | 本轮是否判定 |
|---|---|---|---|---|
| X3-1 | 库存管控指标体系与多维度穿透；常态化事后复盘；超龄与慢速滞留库存成因溯源 | b1645、b1646、b1647 | L1／L2 | 是 |
| X3-2 | 多品类库存智能评级与健康诊断；合理库存水位、标准库龄阈值与最优结构配比 | b1648—b1651 | L2 | 是 |
| X3-3 | 全周期库存态势预判与风险预警 | b1652—b1655 | L2／L3 | 是 |
| X3-4 | 物料需求预测（四类差异化品类） | b1656—b1658 | L2 | 是 |
| X3-5 | 安全库存动态测算与智能补给调度；跨分厂闲置物料识别与调拨策略 | b1659—b1661 | L2／L3 | 是 |
| X3-6 | 库存结构测算与需求预测的端到端闭环 | b1644 | L3 | 是 |
本场景的判据以对比基线为主，不以绝对阈值为主。原因在 T5 节第 2.4 节已说明：物料预测、安全库存两类能力当前完全依赖经验，企业现行水平本身没有统计，凭空给绝对数值无法验收也无法申辩。
**第 2 章 数据就绪度结论（L1）**
| L1 核验项 | 通过要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 双口径指标定义与报表对账 | 总额差异率 ≤0.5% 且差异可逐项解释 | 0.31%，差异 12 项逐项可解释 | 通过 |
| 库存快照冻结机制 | 按期可冻结且可复现 | 已投用，连续 6 期冻结成功 | 通过 |
| 关联键贯通（销售合同、施工令号、生产批次、客户、供应商） | 五类关联键可贯通 | 五类均可贯通；施工令号与生产批次的关联在 3.2% 的记录上缺失 | 通过（缺口列明） |
| 物料主数据完整性 | 品类、规格、单位、采购周期四字段非空率 ≥90% | 93.6% | 通过 |
| 时间屏障实现方式 | 以数据视图裁剪实现 | 已以视图裁剪实现，验证时不可见未来数据 | 通过 |
| 历史复盘会议结论归集 | 可结构化 ≥80% | 84.2%（归集 268 条复盘条目） | 通过 |
| 跨分厂库位与状态字段 | 库位与状态字段非空率 ≥90% | 库位 95.4%；状态 88.2% | 状态项未达，列缺口 |
| 项目物料清单（定制异形件驱动） | 清单可按项目冻结 | 可冻结 | 通过 |
L1 结论：通过，两项缺口（施工令号与生产批次关联缺失 3.2%、跨分厂物料状态字段 88.2%）。时间屏障以数据视图裁剪实现这一条是本场景 L1 的关键项——屏障若只靠流程约定而不靠视图裁剪，回溯检验看到未来信息，所有预测类指标都失去意义。
分档判定：A 档（完整）。跨分厂闲置物料识别一项因状态字段缺口按 B 档（受限）判定，结论粒度到库位级而非具体物料状态级。
**第 3 章 验证数据资产说明**
| 资产类别 | 构成 | 规模 | 隔离与切分 |
|---|---|---|---|
| 回放窗口 | 连续历史期间的库存快照、订单计划、生产计划、发货计划 | 24 个月，按月冻结 24 个快照 | 时间屏障：每期执行时仅可见该期及之前数据 |
| 金标准集·健康评级 | 物料编码按品类分层抽样，由物料管理与财务骨干各一名独立评级（五档） | 1 240 个物料编码 | 评级物料不参与模型训练 |
| 金标准集·成因溯源 | 历史复盘条目，标注主因与次因（四大类成因下的具体成因） | 268 条 | 按复盘期间切分 |
| 构造样本 | 四类低频高损情形（突发大额订单取消、关键供应商断供、规格切换导致存量呆滞、跨年口径调整） | 32 例，各类 8 例 | 单独统计，不混入主指标分母 |
| 风险事件集 | 历史实际发生的四类风险事件 | 超储积压 42 起、物料缺货 36 起、库存滞留 58 起、结构劣化 18 起 | 按事件发生期间冻结 |
健康评级的双人一致性：加权一致性系数 0.63（门限 0.60），分歧 164 个物料交第三人仲裁。成因标注的主因一致率 73.2%（门限 70%），前两位命中 86.4%。
**第 4 章 能力项验证结果（L2）**
| 能力 | 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| X3-1 | 双口径指标与报表对账差异率 | 按指标项与期间 | ≤0.5% 且可逐项解释 | 0.31%，12 项差异逐项可解释 | 通过 |
| X3-1 | 多维度穿透链路可复现性（穿透结果合计回到总额） | 按穿透路径 | 抽取 ≥50 条，合计一致率 ≥99% | 抽取 62 条，一致率 99.4% | 通过 |
| X3-1 | 超龄与慢速滞留成因溯源主因一致率 | 按复盘条目 | ≥75% | 77.4% | 通过 |
| X3-1 | 同上·前两位成因命中率 | 按复盘条目 | ≥88% | 89.2% | 通过 |
| X3-2 | 健康评级与专家评级的加权一致性系数 | 按物料编码 | ≥0.60 | 0.64 | 通过 |
| X3-2 | 合理库存水位建议的回放检验（服务水平与平均库存） | 按品类与窗口 | 服务水平不低于历史实际；平均库存不高于历史实际 | 四品类服务水平均不低于历史；平均库存下降 4.2% 至 9.6%（分品类见附件） | 通过 |
| X3-2 | 标准库龄阈值与结构配比建议的可执行性 | 按建议条目 | 可执行 ≥70%，不可执行 ≤10% | 可执行 74.6%，需调整 17.2%，不可执行 8.2% | 通过 |
| X3-3 | 库存水位推演误差（MAPE）·大宗金属材料 | 按品类与周期 | ≤12% | 10.4% | 通过 |
| X3-3 | 同上·标准件 | 同上 | ≤18% | 16.2% | 通过 |
| X3-3 | 同上·通用制品 | 同上 | ≤20% | 22.6% | **不通过** |
| X3-3 | 同上·定制异形件 | 同上 | ≤30% | 27.4% | 通过 |
| X3-3 | 资金占用趋势方向判定正确率 | 按周期 | ≥80% | 83.4% | 通过 |
| X3-3 | 四类风险预警查全率 | 按风险事件 | ≥75% | 超储 81.0%、缺货 77.8%、滞留 79.3%、结构劣化 66.7% | 结构劣化项不通过 |
| X3-3 | 四类风险预警误报率 | 按风险事件 | ≤30% | 26.4% | 通过 |
| X3-3 | 预警提前期（≥1 个计划周期的比例） | 按风险事件 | ≥70% | 73.6% | 通过 |
| X3-4 | 需求预测误差·大宗金属材料／标准件／通用制品 | 按物料编码与周期 | ≤12%／≤18%／≤20% | 11.2%／17.4%／21.8% | 通用制品项不通过 |
| X3-4 | 需求预测·定制异形件（清单覆盖率与数量偏差） | 按清单 | 数量偏差 ≤10% | 清单覆盖率 96.4%，数量偏差 7.2% | 通过 |
| X3-4 | 与企业现行经验估算的对比 | 按品类 | 不劣于现行做法 | 四品类均不劣于现行；改善幅度【待填：待人工基线实测后给出】 | 通过（改善幅度待实测） |
| X3-4 | 消耗趋势与波动区间覆盖率 | 按物料编码与周期 | ≥80% | 82.6% | 通过 |
| X3-5 | 动态安全库存与固定阈值的回放对比 | 按品类与窗口 | 服务水平不低于固定阈值方式；平均库存不高于 | 服务水平持平，平均库存下降 6.8% | 通过 |
| X3-5 | 跨分厂闲置物料识别查准率 | 按识别条目 | ≥85% | 86.2%（B 档下按库位级判定） | 通过 |
| X3-5 | 调拨建议可执行率 | 按建议条目 | ≥70% | 72.4% | 通过 |
| 构造样本 | 四类低频高损情形的处置正确性 | 按构造样本 | 各类均给出正确的风险提示与处置方向 | 32 例中 29 例给出正确方向；3 例失败（均为跨年口径调整类） | 不通过，失败样本转长期保留集 |
通用制品品类的两项指标（水位推演 22.6%、需求预测 21.8%）同时超限，且超限幅度接近。这个一致性本身是线索：两项用的是同一组特征，超限原因很可能是共同的。第 6 章的归因据此展开。
**第 5 章 端到端任务验证结果（L3）**
| 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 完整计划周期闭环（从快照冻结到补货与调拨建议输出） | 按周期 | 不少于两个周期完成闭环 | 完成 3 个周期闭环 | 通过 |
| 建议被纳入实际决策讨论的比例 | 按周期 | ≥80% | 周期一 78.4%、周期二 84.2%、周期三 86.6% | 通过（周期一未达，逐期提升） |
| 未进入讨论的建议原因 | 按建议 | 记录 | 口径与会上使用口径不一致 41.2%；建议粒度过细 32.4%；时点滞后 18.6%；其他 7.8% | 记录 |
未进入讨论的建议原因中，口径不一致占四成——这一条指向的不是模型能力，是会议上实际使用的口径与系统口径不同。这类问题写在报告里比调模型有用，因为它的解决路径在口径统一而不在算法。
**第 6 章 归因分析**
| 归因方向 | 例数 | 占比 | 证据 | 嫌疑数据切片 |
|---|---|---|---|---|
| 特征缺失 | 42 | 38.2% | 通用制品的需求受在建项目进度影响，而项目进度数据不在当前特征集内；失败期间集中在项目进度变动大的季度 | DC-01-0001 中通用制品切片，频次比 3.2 |
| 口径不一致 | 31 | 28.2% | 会议使用口径与系统双口径均不完全一致，存在第三套习惯口径 | DC-01-0002 中指标口径类样本 |
| 样本不足 | 23 | 20.9% | 结构劣化类风险事件历史仅 18 起，难以支撑可靠的预警规则 | 风险事件集中结构劣化切片 |
| 跨年口径调整未建模 | 13 | 11.8% | 三例构造样本失败均为跨年口径调整情形，当前模型未处理口径切换 | 不适用（规则缺口） |
**第 7 章 改进需求与复测**
| 需求编号 | 来源 | 改进内容 | 归属 | 状态 | 复测范围与结果 |
|---|---|---|---|---|---|
| X3-RQ-01 | 特征缺失 | 在建项目进度数据纳入通用制品预测特征集 | 数据集扩充＋取数通道新增 | 待 V1.1 | 通用制品全部用例＋回归子集 |
| X3-RQ-02 | 口径不一致 | 第三套习惯口径的识别与登记，纳入指标标准 | 招标方口径确认＋数据治理段 | 进行中 | 指标口径类用例子集 |
| X3-RQ-03 | 样本不足 | 结构劣化类事件按历史数据回溯补充识别，并构造补充用例 | 数据集扩充 | 已完成 | 结构劣化查全率 66.7%→74.1%（仍未达基线 75%，列受限） |
| X3-RQ-04 | 规则缺口 | 跨年口径调整的处理规则 | 预测模型规则 | 待 V1.1 | 三例构造样本＋同类历史期间 |
| X3-RQ-05 | 数据缺口 | 跨分厂物料状态字段补齐 | 招标方物料管理 | 进行中 | 补齐后按 A 档重算闲置识别查准率 |
**第 8 章 分档与受限说明**
| 项 | 内容 |
|---|---|
| 当前档位 | A 档（完整）；跨分厂闲置物料识别一项为 B 档（受限） |
| 受限维度一 | 通用制品品类的水位推演与需求预测两项超限，受限原因为在建项目进度特征缺失。恢复条件为该数据通道开通并积累不少于 12 个月数据，恢复后重算两项 |
| 受限维度二 | 结构劣化类风险预警查全率 74.1%，低于基线 75%。受限原因为历史事件样本仅 18 起，补充回溯识别后仍不足。本项按「样本不足，结论为参考」标注，不作为可用性判定依据 |
| 受限维度三 | 跨分厂闲置物料识别按库位级判定（B 档），不下到具体物料状态级，恢复条件为状态字段补齐率达 90% |
| 受限维度四 | 效率与改善幅度类结论待人工基线实测后给出，本轮留空，不填预估值 |
| 条件恢复后的重算安排 | 逐项重算并与本轮并列报告；不覆盖本轮记录 |
**本场景任务可用性判定（b1557、b1558）**
本场景的任务按品类分别判定。原因在第 4 章已出现：同一个需求预测任务，四类品类的误差水平相差一倍以上，给一个合并结论等于把能用的和不能用的混在一起交出去。
| 字段 | 指标穿透与对账任务 | 滞留成因溯源任务 | 库存健康评级任务 | 需求预测与水位推演任务 | 风险预警任务 | 安全库存测算与跨分厂调拨任务 |
|---|---|---|---|---|---|---|
| 验证任务定义 | 给定期间与口径，输出多维度穿透结果并回到总额 | 给定超龄或慢速滞留物料，输出主因与次因 | 给定物料编码，输出五档健康评级与诊断说明 | 给定历史与计划数据，输出分品类需求量与库存水位推演 | 给定当期快照与计划，输出四类风险预警与提前期 | 给定服务水平要求，输出动态安全库存与跨分厂调拨建议 |
| 输入 | 库存快照、双口径指标定义、关联键 | 滞留物料明细、历史复盘条目 | 物料主数据、库龄、周转、占用金额 | 订单计划、生产计划、发货计划、历史消耗 | 当期快照、订单与生产计划 | 需求预测结果、库位与状态字段、采购周期 |
| 期望输出 | 穿透链路与各层合计，附差异逐项解释 | 四大类成因下的具体成因，按主次排序 | 评级结果及其依据项 | 分品类预测值与推演区间 | 预警条目、风险类型、提前期、依据 | 安全库存量、调拨对象与数量 |
| 评价方式 | 对账差异率＋穿透合计一致率 | 与骨干标注的主因一致率与前两位命中率 | 与双人专家评级的加权一致性系数 | MAPE 与回放检验；与企业现行经验估算对比 | 对历史风险事件的查全率、误报率、提前期 | 回放对比（服务水平与平均库存）＋建议可执行率 |
| 参与验证的数据子集 | DC-01-0002 | DC-01-0002、0003 | DC-01-0001、0002 | DC-01-0001、0003 | DC-01-0001、0004 | DC-01-0001、0003 |
| 样本量 | 62 条穿透路径、24 期快照 | 268 条复盘条目 | 1 240 个物料编码 | 四品类 × 24 个月回放窗口 | 风险事件 154 起（超储 42、缺货 36、滞留 58、结构劣化 18） | 四品类回放窗口＋调拨建议条目 |
| 本轮实测结果（示意值） | 对账差异率 0.31%，12 项差异逐项可解释；穿透合计一致率 99.4% | 主因一致率 77.4%；前两位成因命中率 89.2% | 加权一致性系数 0.64（门限 0.60）；分歧 164 个物料经第三人仲裁 | 大宗金属材料 11.2%／10.4%；标准件 17.4%／16.2%；定制异形件清单覆盖 96.4%、数量偏差 7.2%；通用制品 21.8%／22.6%，两项均超限 | 超储 81.0%、缺货 77.8%、滞留 79.3%、结构劣化 66.7%（整改后 74.1%）；误报率 26.4%；提前期达标 73.6% | 服务水平持平，平均库存下降 6.8%；闲置识别查准率 86.2%（库位级）；调拨建议可执行率 72.4% |
| **可用性判定** | **可用** | **有条件可用**——可作为复盘的排查起点，主因结论须经物料管理岗位确认后进入正式复盘纪要，不直接采信 | **有条件可用**——评级结果与人工评级并列呈现，不单独作为处置依据；一致性系数 0.64 仅略高于门限，分歧集中在中间三档 | 大宗金属材料与标准件 **有条件可用**（须与计划岗位的经验估算并列）；定制异形件 **可用**（清单驱动，不依赖统计外推）；通用制品 **暂不可用** | **有条件可用**——超储积压、物料缺货、库存滞留三类可用；结构劣化类查全率 74.1% 低于基线 75%，该类**暂不作为预警依据**，仅作线索提示 | **有条件可用**——结论粒度到库位级；具体物料状态级的调拨建议须经分厂确认实物状态 |
| 不达预期的定位结论（b1558） | — | 定位至 DC-01-0002 中指标口径类样本：企业现存三套口径并行，同一问题在不同口径下答案不同 | 定位至 DC-01-0001 中间三档物料的评级样本，专家间本身分歧较大 | 通用制品两项同时超限且幅度接近，定位至特征缺失——在建项目进度数据不在当前特征集内，失败期间集中在项目进度变动大的季度，该品类切片频次比 3.2 | 定位至风险事件集中结构劣化切片，历史事件仅 18 起，回溯补充识别后仍不足以支撑可靠规则 | 定位至招标方跨分厂物料状态字段非空率 88.2%，非数据集侧问题 |
| 回流去向与复测安排 | — | X3-RQ-02：第三套习惯口径识别与登记，纳入指标标准；指标口径类用例子集复测 | 随 X3-RQ-02 口径统一后重算；中间三档单列报告 | X3-RQ-01：在建项目进度数据纳入特征集并新增取数通道，积累不少于 12 个月后对通用制品全部用例加回归子集复测，在此之前不给该品类的可用性结论 | X3-RQ-03：已回溯补充识别一轮（66.7%→74.1%），仍未达基线，按「样本不足，结论为参考」标注，转长期积累按季评估 | X3-RQ-05：状态字段补齐率达 90% 后按 A 档重算闲置识别查准率 |
通用制品判为暂不可用，依据不是一个指标差了一点，而是两个用同一组特征的指标同时超限、超限幅度接近（21.8% 与 22.6%，限值 20%）。这个一致性本身是证据：若只是模型波动，两项不会同向同幅偏离。归因确认为在建项目进度这一特征缺失，而该特征不在当前数据通道内——补样本补不出来，必须先开通道。
结构劣化类风险的处置是本场景的另一处要点。该类整改后从 66.7% 提到 74.1%，离基线 75% 只差 0.9 个百分点，但本报告仍不把它判为可用。理由是它的样本基数只有 18 起，在这个量级上零点几个百分点的进退没有统计意义，把它写成「已接近达标」是拿噪声当结论。
**错样样例（节选六条）**
| 用例编号 | 输入摘要 | 期望输出 | 实际输出 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| X3-UC-0072 | 某季度通用制品需求预测，该季度两个在建项目进度延后 | 需求量随项目进度下调 | 按历史消耗趋势外推，预测值偏高 23.4% | 趋势外推失效 | 特征缺失：在建项目进度不在特征集内 | X3-RQ-01；通道开通并积累 12 个月后复测 |
| X3-UC-0119 | 某型减速器备件的滞留成因溯源 | 主因为「规格切换导致存量呆滞」 | 主因给出「采购批量过大」，正确成因列在第二位 | 主次颠倒 | 复盘条目标注中两类成因的边界不清 | X3-RQ-02；前两位命中率口径下该条计为命中，主因口径下计为未命中，两口径分列报告 |
| X3-UC-0203 | 跨年口径调整期间的库存水位推演 | 识别口径切换并分段推演 | 按单一口径贯通推演，切换点前后出现跳变 | 口径切换未处理 | 规则缺口：当前模型不处理口径切换 | X3-RQ-04；三例构造样本加同类历史期间复测 |
| X3-UC-0281 | 某结构劣化风险事件前两个计划周期的快照 | 发出结构劣化预警，提前期 ≥1 个周期 | 未发出预警 | 漏报 | 样本不足：结构劣化历史事件 18 起 | X3-RQ-03；转长期积累，按季评估 |
| X3-UC-0346 | 某分厂闲置钢板的调拨建议 | 建议调拨至需求分厂并给出具体物料编码与数量 | 建议到库位级，未下到具体物料状态 | 粒度不足 | 数据缺口：跨分厂物料状态字段非空率 88.2% | X3-RQ-05；补齐后按 A 档重算 |
| X3-UC-0412 | 某期资金占用趋势问答，提问方使用会上习惯口径 | 按提问方口径给出趋势 | 按系统双口径之一给出，数值与会上数据对不上 | 口径错配 | 口径不一致：存在第三套会上习惯口径 | X3-RQ-02；该类建议未进入决策讨论，计入第 5 章「口径与会上使用口径不一致」41.2% |
第六条代表的这一类占了「未进入讨论的建议」的四成，但它既不是模型错也不是数据错——系统给的数是对的，只是和会上用的那套口径不是一回事。这类问题写进错样清单的价值在于它的解决路径在口径统一，不在调模型；若把它归入模型能力不足，整改方向就错了。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、统计单位、判定粒度与结论的写法，不代表实际运行结果，也不构成对实测数值的承诺。本场景的判据以对比基线为主、绝对阈值为辅，效率与改善幅度类结论在人工基线实测前一律留空，不填预估值。
**第 9 章 附件**
附件一至六同 5.1 节口径；本场景另有附件七《双口径对账差异台账》（12 项差异的逐项解释）、附件八《回放窗口冻结记录》（24 期快照的冻结时点与校验值）、附件九《分品类回放检验明细》。
#### 5.4 样章十九 场景验证报告 X4 热处理过程智能监控
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0014-V1.0 |
| 报告类型 | 场景级·X4 热处理过程智能监控 |
| 招标文件依据 | b1667—b1675 |
| 受验数据集版本 | DC-03-0001 至 0004、DC-04-0001 至 0004 各 V1.0 |
| 模型／规则版本 | 模型版本标识【待填】；正式工艺文件窗口版本【待填】；故障机理描述版本【待填】 |
| 判据登记表版本 | GHY26691-LG-00-0007-V1.0 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 能力编号 | 被验证能力 | 招标文件依据 | 验证层级 | 本轮是否判定 |
|---|---|---|---|---|
| X4-1 | 工艺参数智能匹配：历史工艺智能检索与择优匹配推荐 | b1668、b1669 | L2 | 是 |
| X4-2 | 工艺参数优化：参数区间智能寻优分析 | b1670、b1671 | L2／L3 | 是 |
| X4-3 | 感应淬火及调质生产线质量智能分析：外观缺陷与硬度异常同关键工艺参数的关联性分析与缺陷溯源 | b1672—b1675 | L2／L3 | 是 |
| X4-4 | 热处理过程智能控制全流程 | b1667 | L3 | 是 |
**第 2 章 数据就绪度结论（L1）**
| L1 核验项 | 通过要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 装炉工位登记投用 | 入口可用并完成试填 | 已投用，炉位登记非空率 37.6% | 投用通过，覆盖率列缺口 |
| 炉次与检验结果配对率 | ≥80% | 81.7% | 通过 |
| 炉次与工件配对率 | ≥90% | 93.4% | 通过 |
| 炉次与材料批次配对率 | ≥85% | 87.2% | 通过 |
| 时序采样周期与对齐 | 达标率 ≥95%；对齐误差 ≤2 个采样周期 | 96.9%；1 个采样周期 | 通过 |
| 目标件工艺卡结构化字段 | 牌号、规格、模数与齿数、有效硬化层要求、热处理要求齐备率 ≥85% | 89.4% | 通过 |
| 正式工艺文件参数窗口 | 可只读获取且版本化 | 可获取，版本已固化 | 通过 |
| 不合格票与炉次关联率 | ≥95% | 96.1% | 通过 |
| 硬度检测数据量纲与取值域 | 合法率 ≥99% | 99.2% | 通过 |
L1 结论：通过。炉位登记覆盖率 37.6% 不构成 L1 不通过（该字段按补录项处理），但它直接决定本场景的分档。
分档判定：A 档（炉位级）样本占 37.6%，B 档（炉级）样本占 62.4%。本报告的全部炉位级指标仅在 A 档样本上判定，并在每一处注明样本占比。
**第 3 章 验证数据资产说明**
| 资产类别 | 构成 | 规模 | 隔离与切分 |
|---|---|---|---|
| 金标准集·质量判定 | 炉次级与工件级质量判定，三层标签（缺陷大类→类型→部位） | 1 860 个炉次、8 420 个工件 | 按炉次号与时间双重切分 |
| 金标准集·成因标注 | 不合格票的主因与次因，由热处理工艺骨干与质量骨干各一名独立复核 | 486 张不合格票 | 按开票期间切分 |
| 回放窗口 | 完整炉次档案（装炉登记、过程曲线、检验结果、材料批次） | 12 个月，4 820 个炉次 | 窗口内数据不进入训练 |
| 构造样本 | 低频高损情形（淬火裂纹、严重烧伤、同炉硬度大幅分散） | 48 例，从历史中定向检索 | 单独统计 |
| 试炉验证 | 由招标方工艺部门决定是否安排 | 本轮安排 6 炉 | 单独报告 |
成因标注一致性：主因一致率 74.6%（门限 72%），分歧 124 张交仲裁。检验结果类标签直接取客观实测值，不作标注。无炉位信息的样本只作炉级标注并标明。
**第 4 章 能力项验证结果（L2）**
| 能力 | 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| X4-1 | 目标链轮特征抽取正确率 | 按字段 | ≥95% | 96.2% | 通过 |
| X4-1 | 历史工艺检索 Top-5 可用率 | 按检索任务 | ≥80% | 82.6% | 通过 |
| X4-1 | 择优推荐 Top-1 采纳率 | 按检索任务 | ≥55% | 58.4% | 通过 |
| X4-1 | 推荐结果可比性说明完整率 | 按推荐项 | ≥95% | 96.8% | 通过 |
| X4-2 | 建议参数落在正式工艺窗口内的比例 | 按建议项 | 越窗建议数为零 | 0 项 | 通过 |
| X4-2 | 寻优建议的回溯有效性（建议区间覆盖炉次合格率 vs 实际执行炉次合格率） | 按炉次分组 | 不低于实际执行 | 建议区间覆盖炉次合格率 94.2%，实际执行 91.6% | 通过 |
| X4-2 | 建议参数区间的可解释性（依据的历史炉次范围、样本量、质量结果分布） | 按建议项 | 全部建议均给出 | 全部 86 条建议均给出 | 通过 |
| X4-2 | 小样本试炉与建议预期的一致性 | 按试炉 | ≥70% | 6 炉中 5 炉方向一致（83.3%） | 通过 |
| X4-3 | 外观缺陷与工艺参数的关联性分析结论 | 按缺陷类型 | 每类至少一组通过显著性检验（0.05）且效应量可报告 | 烧伤类给出 2 组（显著，效应量中等）；裂纹类样本量 42 例，给出 1 组但效应量置信区间偏宽，标注样本量不足 | 部分通过 |
| X4-3 | 硬度异常与三项关键参数（加热功率、加热温度、淬火液温度）的可量化对应关系 | 按参数项 | 三项均给出可量化对应关系与置信区间 | 三项均给出 | 通过 |
| X4-3 | 缺陷溯源归因 Top-3 命中率 | 按不合格票 | ≥75% | 76.8% | 通过 |
| X4-3 | 缺陷溯源归因 Top-1 命中率 | 按不合格票 | ≥55% | 56.4% | 通过 |
| X4-3 | 溯源结论的证据完整率 | 按溯源结论 | ≥95%；炉位级引用在 A 档范围内给出 | 95.2%；A 档样本的炉位级引用齐备 | 通过 |
| X4-3 | 同炉炉位间硬度分散度的解释能力（A 档范围内） | 按炉次 | ≥70% | A 档炉次中 72.4% 可给出归因方向 | 通过（仅适用于 A 档 37.6% 的样本） |
裂纹类关联结论的处置方式是本场景验证的一个要点。本方案不承诺「找出所有关联」，而是承诺对验证期内出现的每一类缺陷给出一组可检验的关联结论，并同时报告统计显著性、效应量与样本量。裂纹样本 42 例，给出的结论效应量置信区间偏宽，本报告如实标注样本量不足，不把它写成一个确定的关联。样本不足时给出的关联很可能是噪声，写进验收条款后反而要为一个不可靠的数负责。
**第 5 章 端到端任务验证结果（L3）**
| 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 一个炉次从装炉登记到质量结论与归因输出的闭环完成率 | 按炉次 | 试点范围内 ≥85% | 试点 620 个炉次中闭环 548 个（88.4%） | 通过 |
| 未闭环炉次的断点环节分布 | 按炉次 | 记录 | 检验结果未回填 42 个；炉位登记缺失导致归因止于炉级而判为未完整闭环 22 个；材料批次缺失 8 个 | 记录 |
**第 6 章 归因分析**
| 归因方向 | 例数 | 占比 | 证据 | 嫌疑数据切片 |
|---|---|---|---|---|
| 数据缺口（炉位登记覆盖不足） | 68 | 42.0% | 归因止于炉级的炉次全部落在炉位字段为空的样本中 | 不适用 |
| 样本不足 | 44 | 27.2% | 裂纹与严重烧伤两类缺陷样本各不足 50 例，关联结论与归因命中均偏低 | DC-04-0001 中缺陷类型∈{淬火裂纹,烧伤} 切片，频次比 4.1 |
| 配对缺口 | 32 | 19.8% | 检验单按批开具、未落到炉次的 1 582 个炉次无法参与参数—质量成对分析 | DC-03-0001 中未配对炉次切片 |
| 标注口径分歧 | 18 | 11.1% | 成因主因一致率 74.6%，分歧集中在「装炉量过大」与「码装方式不当」两类成因的边界 | DC-04-0002 中成因类样本 |
**第 7 章 改进需求与复测**
| 需求编号 | 来源 | 改进内容 | 归属 | 状态 | 复测范围与结果 |
|---|---|---|---|---|---|
| X4-RQ-01 | 数据缺口 | 装炉位置登记填报覆盖率提升，按月跟踪；达七成后启动历史批次重新配对评估 | 招标方热处理班组 | 进行中 | 覆盖率达标后按 A 档重算炉位级全部指标 |
| X4-RQ-02 | 样本不足 | 淬火裂纹与烧伤两类缺陷样本定向检索补充；补不齐的部分如实列入长期积累 | 数据集扩充 | 部分完成 | 两类归因命中率复测：Top-3 由 68.2% 升至 73.4%，仍低于整体 |
| X4-RQ-03 | 配对缺口 | 建立批—炉次拆分映射并回溯补配 | 采集环节＋招标方质量管理部门 | 进行中 | 配对率复测：81.7%→86.4% |
| X4-RQ-04 | 标注口径 | 成因标注规范补「装炉量」与「码装方式」两类的判定边界 | 标注规范 | 已完成 | 成因主因一致率 74.6%→79.2% |
**第 8 章 分档与受限说明**
| 项 | 内容 |
|---|---|
| 当前档位 | A 档（炉位级）占 37.6%；B 档（炉级）占 62.4% |
| 受限维度一 | 炉位级结论（同炉炉位间硬度分散度归因、炉位级证据引用）仅适用于 A 档样本。B 档样本的结论止于炉级，输出上标注当前分析层级与受限原因，不静默给出炉位级结论 |
| 受限维度二 | 淬火裂纹与烧伤两类缺陷的关联结论标注「样本量不足」，效应量置信区间在报告中给出；这两类上的归因命中率单独报告 |
| 受限维度三 | 1 582 个未配对炉次不参与参数—质量成对分析，其所在期间的关联结论覆盖范围相应缩小，报告中列明期间 |
| 恢复条件 | 炉位登记覆盖率达七成；两类缺陷样本各积累至 100 例以上；批—炉次拆分映射完成 |
| 条件恢复后的重算安排 | 按 A 档重算炉位级指标；关联结论重做显著性检验；历史结论保留其当时所依据的判据版本与数据段，供前后比对 |
**本场景任务可用性判定（b1557、b1558）**
| 字段 | 历史工艺检索与择优匹配任务 | 参数区间寻优任务 | 硬度异常关联分析任务 | 外观缺陷关联分析任务 | 缺陷溯源任务 |
|---|---|---|---|---|---|
| 验证任务定义 | 给定目标链轮特征，检索相近历史工艺并给出择优推荐 | 给定目标件与质量要求，输出推荐参数区间 | 给定硬度异常批次，输出其与三项关键参数的可量化对应关系 | 给定外观缺陷类型，输出其与关键工艺参数的关联结论 | 给定不合格票，输出成因排序与证据 |
| 输入 | 目标件工艺卡结构化字段、历史炉次档案 | 目标件特征、正式工艺文件参数窗口、历史炉次质量结果 | 硬度检测数据、过程曲线 | 缺陷记录、过程曲线、装炉登记 | 不合格票、炉次档案、材料批次 |
| 期望输出 | Top-N 历史工艺及可比性说明 | 参数区间及其依据的历史炉次范围、样本量、质量结果分布 | 加热功率、加热温度、淬火液温度三项的对应关系与置信区间 | 每类缺陷至少一组经显著性检验的关联结论，附效应量与样本量 | Top-3 成因及其证据链 |
| 评价方式 | Top-5 可用率、Top-1 采纳率、可比性说明完整率 | 越窗建议计数、回放有效性、小样本试炉一致性 | 三项是否均给出可量化关系与置信区间 | 显著性检验（0.05）与效应量是否可报告，样本量是否充分 | Top-1／Top-3 命中率、证据完整率 |
| 参与验证的数据子集 | DC-03-0001、0002 | DC-03-0001、0003 | DC-03-0001、DC-04-0001 | DC-04-0001、0002 | DC-04-0001、0002 |
| 样本量 | 金标准集 1 860 个炉次内的检索任务 | 86 条建议＋6 炉试炉 | 回放窗口 4 820 个炉次 | 烧伤类样本充分；裂纹类 42 例 | 486 张不合格票 |
| 本轮实测结果（示意值） | Top-5 可用率 82.6%；Top-1 采纳率 58.4%；可比性说明完整率 96.8% | 越窗建议 0 项；建议区间覆盖炉次合格率 94.2% 高于实际执行 91.6%；6 炉试炉中 5 炉方向一致 | 三项均给出可量化对应关系与置信区间 | 烧伤类 2 组关联显著、效应量中等；裂纹类 1 组，效应量置信区间偏宽 | Top-3 76.8%、Top-1 56.4%；证据完整率 95.2%；同炉炉位间硬度分散度在 A 档炉次中 72.4% 可给出归因方向 |
| **可用性判定** | **有条件可用**——检索结果作为候选参考，择优推荐须由工艺人员确认后采用；Top-1 采纳率 58.4% 意味着约四成任务的首选需要改动 | **有条件可用**——建议区间可用于试炉方案的拟定，不直接用于批量生产；采用前须按本报告第 4 章的试炉流程验证 | **可用** | 烧伤类 **有条件可用**（结论须随效应量与样本量一并呈现）；裂纹类 **暂不可用** | **有条件可用**——炉级结论可用；炉位级结论仅适用于 A 档样本（占 37.6%），B 档样本的输出止于炉级并标注当前分析层级 |
| 不达预期的定位结论（b1558） | 定位至 DC-03-0002 中可比性维度的标注粒度，相近工艺的判定依赖多个维度的综合比较 | — | — | 定位至 DC-04-0001 中缺陷类型∈｛淬火裂纹｝的切片，事实级样本 42 例，频次比 4.1；样本量不足以支撑一个稳定的效应量估计 | 定位至装炉工位登记的炉位字段非空率 37.6%，非数据集侧问题；另有 1 582 个未配对炉次不参与成对分析 |
| 回流去向与复测安排 | 随 X4-RQ-02 的样本补充一并复测 | — | — | X4-RQ-02：淬火裂纹与烧伤样本定向检索补充；该类样本各积累至 100 例以上后重做显著性检验，在此之前不给关联结论 | X4-RQ-01：炉位登记覆盖率达七成后按 A 档重算炉位级全部指标；X4-RQ-03：建立批—炉次拆分映射回溯补配（81.7%→86.4%） |
裂纹类判为暂不可用，不是因为它没有结论，而是因为它的结论不可靠。42 例样本给出的关联在统计上通不过复核：效应量的置信区间宽到把「有关联」与「无关联」都包含进去。本方案在这一点上的口径是明确的——对验证期内出现的每一类缺陷给出一组可检验的关联结论，并同时报告显著性、效应量与样本量；样本不足时如实标注，不把一个噪声写成确定的关联。写进验收条款的关联结论，将来是要为它负责的。
本场景的分档与可用性判定是两件事，不能互相代替。A 档占 37.6% 说的是数据条件，炉位级结论只在这部分样本上成立；而缺陷溯源任务判为有条件可用，说的是这个任务可以接入、但接入时必须接受「B 档样本只给炉级结论」这个条件。把分档比例直接当成可用性结论，会得出「本场景六成以上不可用」这种与实际不符的判断——B 档样本的炉级结论是可用的，只是粒度不同。
**错样样例（节选六条）**
| 用例编号 | 输入摘要 | 期望输出 | 实际输出 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| X4-UC-0046 | 某模数链轮的感应淬火工艺检索 | Top-1 命中历史采用的工艺参数组 | Top-1 给出模数相近但齿数差异较大的工艺，Top-5 内命中 | 排序偏差 | 可比性维度的标注粒度不足，齿数维度权重偏低 | 随 X4-RQ-02 复测；可比性说明已标注差异维度，岗位可据此判断 |
| X4-UC-0132 | 某批次出现淬火裂纹，求裂纹与加热速率的关联 | 给出关联结论并附效应量与置信区间 | 给出关联结论，效应量置信区间跨越零点 | 结论不可靠 | 样本不足：裂纹类事实级样本 42 例 | X4-RQ-02；标注「样本量不足」，不作为关联结论采信 |
| X4-UC-0215 | 某炉次同炉硬度大幅分散，求炉位间差异归因 | 按炉位给出温度分布差异的归因 | 归因止于炉级，未能定位到具体炉位 | 粒度不足 | 数据缺口：该炉次炉位登记字段为空（属 B 档样本） | X4-RQ-01；输出已标注当前分析层级为炉级 |
| X4-UC-0287 | 某不合格票，实际成因为码装方式不当 | Top-1 成因为「码装方式不当」 | Top-1 给出「装炉量过大」，Top-3 内命中 | 主次颠倒 | 标注口径分歧：两类成因的判定边界不清 | X4-RQ-04（已完成）；成因主因一致率 74.6%→79.2% |
| X4-UC-0341 | 某期间炉次的参数—质量成对分析 | 该期间炉次全部参与分析 | 该期间 1 582 个炉次未参与，分析覆盖范围缩小 | 覆盖缺口 | 配对缺口：检验单按批开具，未落到炉次 | X4-RQ-03；配对率 81.7%→86.4%，所涉期间在报告中列明 |
| X4-UC-0398 | 某目标件的参数区间寻优，试炉验证 | 试炉结果与建议区间的预期方向一致 | 6 炉中 1 炉方向不一致，硬度低于预期 | 方向偏差 | 该炉材料批次与建议所依据的历史炉次材料批次不同 | 记入附件八《试炉记录》；材料批次维度纳入建议的可比性说明 |
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、统计单位、判定粒度与结论的写法，不代表实际运行结果，也不构成对实测数值的承诺。凡标注样本量不足的结论，在样本补足并重做检验之前不进入可用性判定。
**第 9 章 附件**
附件一至六同 5.1 节口径；本场景另有附件七《关联性分析统计明细》（含各缺陷类型的样本量、显著性水平、效应量与置信区间）、附件八《试炉记录》（6 炉的装炉参数、建议区间与实测结果）、附件九《分档统计明细》（按矿点、生产线、期间的 A／B 档占比）。
#### 5.5 样章二十 场景验证报告 X5 焊接过程控制智能监控
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0015-V1.0 |
| 报告类型 | 场景级·X5 焊接过程控制智能监控 |
| 招标文件依据 | b1681—b1695 |
| 受验数据集版本 | DC-03-0001 至 0004、DC-04-0001 至 0004 各 V1.0 |
| 模型／规则版本 | 模型版本标识【待填】；工艺规程窗口版本【待填】；相机标定参数版本【待填】 |
| 判据登记表版本 | GHY26691-LG-00-0007-V1.0 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 能力编号 | 被验证能力 | 招标文件依据 | 验证层级 | 本轮是否判定 |
|---|---|---|---|---|
| X5-1 | 实时数据采集（六类过程参数、气体流量、焊道类型等时序数据） | b1682—b1684 | L1／L2 | 是 |
| X5-2 | 过程状态检测（熔池视频、焊缝表面图像与缺陷样本的缺陷检测） | b1685—b1687 | L2 | 是 |
| X5-3 | 焊接质量评估（时序与视觉结合，判断是否预警与是否干预） | b1688、b1689 | L2／L3 | 是 |
| X5-4 | 工艺参数优化（分工况参数推荐） | b1690、b1691 | L2 | 是 |
| X5-5 | 焊接质量追溯（参数、视觉、检测结果一一关联） | b1692、b1693 | L2／L3 | 是 |
| X5-6 | 焊接工艺知识库建设 | b1694、b1695 | L1／L2 | 是 |
| X5-7 | 焊接过程智能控制全流程 | b1681 | L3 | 是 |
**第 2 章 数据就绪度结论（L1）**
| L1 核验项 | 通过要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 焊道边界锚定（程序段与焊道映射） | 可锚定且正确率 ≥90% | 机器人工位 93.2%；人工焊工位不具备焊道级锚定条件 | 通过（分工位报告） |
| 参数项齐套度·机器人工位 | ≥90%（层间温度以补采手段计入） | 91.6% | 通过 |
| 参数项齐套度·人工焊工位（焊缝级） | ≥80% | 82.4% | 通过 |
| 采样周期达标率；连续缺失段占比 | ≥95%；≤2% | 96.4%；1.6% | 通过 |
| 检测位置口径统一（焊缝编号＋里程＋层道） | 口径统一并成文 | 已统一并成文，版本【待填】 | 通过 |
| 熔池视频可获取时长占比 | ≥80% | 83.6% | 通过 |
| 相机标定参数齐备工位数 | 列明齐备与不齐备工位 | 齐备 6 个工位，不齐备 3 个工位 | 通过（列明） |
| 三流（参数、视觉、检测结果）关联键贯通 | 可贯通 | 机器人工位可贯通至焊道级；人工焊工位至焊缝级 | 通过 |
| 知识库条目来源齐备性 | 工艺卡片、规范条款、焊丝型号、板厚材质对应、焊道要求、合格参数区间六类齐备 | 六类齐备 | 通过 |
L1 结论：通过。分档判定：机器人工位按焊道级（A 档）；人工焊工位按焊缝级（B 档）；相机标定不齐备的 3 个工位不作焊脚尺寸测量类判定。
**第 3 章 验证数据资产说明**
| 资产类别 | 构成 | 规模 | 隔离与切分 |
|---|---|---|---|
| 金标准集·图像与缺陷实例 | 三层标签（缺陷大类→十一类缺陷→位置），位置到焊缝编号加里程加层道 | 图像 12 400 帧、缺陷实例 4 260 个 | 按工件号与时间双重切分 |
| 金标准集·焊道级质量结论 | 焊道级质量判定，参考答案取无损检测与检验结论 | 3 180 个焊道 | 同上 |
| 回放窗口 | 完整工件档案（参数流、视觉数据、检测结果） | 6 个月，2 840 个工件 | 窗口内数据不进入训练 |
| 构造样本 | 低频高损情形（根部未熔合、层间裂纹、起弧端缺陷） | 54 例，定向检索 | 单独统计 |
| 无缺陷对照集 | 经检验确认无缺陷的图像 | 3 200 帧 | 用于误报率测定 |
标注一致性：类别一致率 91.2%（门限 90%）；位置重合度达标率 88.6%（门限 85%，为本附件 2.6 节批次整改后的水平）。裂纹与未熔合两类三人标注取多数。边界模糊样本单列 1 208 个，不进主训练集也不进金标准集。
**第 4 章 能力项验证结果（L2）**
| 能力 | 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| X5-1 | 参数项齐套度·机器人／人工焊 | 按焊道／按焊缝 | ≥90%／≥80% | 91.6%／82.4% | 通过 |
| X5-1 | 采样达标率；连续缺失段占比 | 按焊道 | ≥95%；≤2% | 96.4%；1.6% | 通过 |
| X5-1 | 焊道类型标注正确率 | 按焊道 | ≥92% | 93.4% | 通过 |
| X5-1 | 时间对齐误差（≤200ms 的占比） | 按焊道 | ≥95% | 96.2% | 通过 |
| X5-2 | 裂纹查全率 | 按缺陷实例 | ≥90% | 91.2% | 通过 |
| X5-2 | 气孔查全率 | 同上 | ≥85% | 86.4% | 通过 |
| X5-2 | 咬边查全率 | 同上 | ≥85% | 84.2% | **不通过** |
| X5-2 | 焊脚偏差查全率 | 同上 | ≥90% | 90.8% | 通过 |
| X5-2 | 余高查全率 | 同上 | ≥88% | 88.6% | 通过 |
| X5-2 | 弧坑查全率 | 同上 | ≥85% | 85.2% | 通过 |
| X5-2 | 误报率 | 按图像 | ≤12% | 11.4% | 通过 |
| X5-2 | 焊脚尺寸测量误差（≤0.5mm 的占比） | 按测量点 | ≥90% | 91.6%（仅标定齐备的 6 个工位） | 通过（分工位） |
| X5-2 | 熔池状态检测可用性（可连续获取时长占比） | 按作业时长 | ≥80% | 83.6%；中断原因：烟尘 42.4%、遮挡 31.2%、光照 16.8%、设备 9.6% | 通过 |
| X5-3 | 预警查准率 | 按预警 | ≥60% | 62.4% | 通过 |
| X5-3 | 预警查全率 | 按不合格工件 | ≥75% | 76.8% | 通过 |
| X5-3 | 预警依据说明完整率 | 按预警 | ≥95% | 96.2% | 通过 |
| X5-3 | 干预建议方向正确性 | 按建议 | ≥75% | 77.4% | 通过 |
| X5-4 | 推荐参数落在工艺规程窗口内的比例 | 按推荐项 | 越窗推荐数为零 | 0 项 | 通过 |
| X5-4 | 分工况推荐覆盖率（焊道类型×板厚档×材质） | 按工况组合 | ≥85% | 86.4%；未覆盖 14 个组合，均为超厚板与特殊材质组合，已列明样本量 | 通过 |
| X5-4 | 推荐参数回溯有效性（按推荐区间施焊的历史工件合格率 vs 实际执行） | 按工况分组 | 不低于实际执行 | 推荐区间 93.8%，实际执行 91.2% | 通过 |
| X5-4 | 推荐结果可采用性 | 按推荐项 | ≥70% | 72.6% | 通过 |
| X5-5 | 三流关联完整率·机器人／人工焊 | 按焊道／按焊缝 | ≥85%／≥75% | 86.8%／77.2% | 通过 |
| X5-5 | 追溯链路抽样核对通过率 | 按抽样条目 | 抽样 ≥200 条，≥98% | 抽样 224 条，98.6% | 通过 |
| X5-5 | 追溯响应可用性（按工件号或焊缝编号检索返回完整档案） | 按检索 | 抽样 100 次均可返回且内容一致 | 抽样 112 次，均可返回，内容一致 | 通过 |
| X5-6 | 知识库条目结构化字段完备率 | 按条目 | ≥92% | 93.4% | 通过 |
| X5-6 | 规范版本有效性核查通过率 | 按引用条款 | ≥98%，失效引用须标注替代版本 | 98.4%；失效引用 12 条已标注替代版本 | 通过 |
| X5-6 | 知识库问答式调用的条款定位正确率 | 按查询 | ≥88% | 89.2% | 通过 |
咬边查全率 84.2% 低于基线 85%，与本附件 2.6 节批次报告的 D01 缺陷（咬边与余高判定边界歧义）同源。整改后的标注一致率已回到门限之上，但模型侧的检出能力需要在用修订后样本重训的版本上才能体现，因此本轮该项仍判不通过，并在第七章列入 V1.1 复测范围。这条线索的完整路径——批次质检发现规范歧义、版本级质检记为 C 级缺陷、场景验证表现为查全率不达标、整改后在下一版本复测——是本项目把三类报告串在同一编号体系下的实际用处。
关于 b1693「支持全程可溯源」的口径：本报告给出的是三流关联完整率的实测值与缺环标记机制，不做静默补齐。任一环缺失时在档案中明确标记缺哪一环、缺的原因，使追溯结果的可信程度本身可被判断。机器人工位 86.8%、人工焊工位 77.2%，缺环原因分布见附件七。
**第 5 章 端到端任务验证结果（L3）**
| 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 一个工件从采集到评估、追溯档案形成的闭环完成率 | 按工件 | 试点范围内 ≥85% | 试点 1 240 个工件中闭环 1 096 个（88.4%） | 通过 |
| 未闭环工件的断点环节分布 | 按工件 | 记录 | 熔池视频中断导致视觉环缺失 62 个；检测结果未按焊道回填 48 个；参数连续缺失段超限 22 个；其他 12 个 | 记录 |
| 分工位闭环完成率 | 按工位类型 | 分别报告，不混算 | 机器人工位 92.4%；人工焊工位 78.6% | 记录 |
分工位分别报告而不混算，这一条在判据中是明确要求。把机器人工位的 92.4% 当作全厂水平写进结论，上线后在人工焊工位必然失准。
**第 6 章 归因分析**
| 归因方向 | 例数 | 占比 | 证据 | 嫌疑数据切片 |
|---|---|---|---|---|
| 标注口径问题（已整改，待重训） | 58 | 32.2% | 咬边类失败实例占该类全部失败的 74.2%，且整改后标注一致率已回升 | DC-04-0002 中标签='咬边' 切片，频次比 3.6 |
| 采集条件受限 | 46 | 25.6% | 熔池视频中断、人工焊工位无焊道级采集、3 工位相机未标定 | 不适用 |
| 样本不足 | 42 | 23.3% | 超厚板与特殊材质工况组合各不足 30 例；根部未熔合实例 742 个中真实样本仅 402 个 | DC-04-0002 中工况∈{超厚板,特殊材质} 切片，频次比 4.2 |
| 合成样本占比过高导致的能力虚高 | 34 | 18.9% | 未熔合与根部裂纹在真实样本上的检出低于在合成样本上的表现，差距 13.8 与 19.2 个百分点 | DC-04-0002 中合成占比 >45% 的标签切片 |
最后一条归因方向在其他场景中不常见，这里要写明其判定方式：把同一标签的检出指标在真实样本与合成样本上分别统计，若真实样本上的表现明显低于合成样本，则该标签的整体指标被合成样本抬高，不能代表实际能力。这个判定依赖于合成样本带来源标记（见本附件 2.8 节 D06 缺陷的处置），标记缺失就做不了这项统计。
**第 7 章 改进需求与复测**
| 需求编号 | 来源 | 改进内容 | 归属 | 状态 | 复测范围与结果 |
|---|---|---|---|---|---|
| X5-RQ-01 | 标注口径 | 咬边与余高判定边界修订并回溯复核（已在数据集侧完成） | 标注规范＋数据集 V1.1 | 数据侧已完成，模型侧待 V1.1 | 咬边类用例子集＋回归子集，V1.1 复测 |
| X5-RQ-02 | 样本不足 | 超厚板与特殊材质工况样本补采；根部未熔合真实样本定向补充 | 数据集扩充 | 进行中 | 对应工况用例子集 |
| X5-RQ-03 | 合成占比 | 未熔合与根部裂纹两类的合成占比下调至上限内，缺口转真实样本积累 | 数据集 V1.1 | 待 V1.1 | 两类标签全部用例，真实与合成分列复测 |
| X5-RQ-04 | 采集条件 | 3 个工位的相机标定；熔池视频的烟尘与遮挡改善 | 招标方现场条件 | 进行中 | 标定完成后该 3 工位纳入焊脚测量判定 |
| X5-RQ-05 | 采集条件 | 检测结果按焊道回填的口径与流程 | 招标方质量管理部门 | 进行中 | 三流关联完整率重算 |
**第 8 章 分档与受限说明**
| 项 | 内容 |
|---|---|
| 当前档位 | 机器人工位 A 档（焊道级）；人工焊工位 B 档（焊缝级）；相机未标定的 3 个工位在焊脚测量项上为 C 档（不作该项判定） |
| 受限维度一 | 人工焊工位不具备焊道级采集条件，其可用粒度只到焊缝级；全部焊道级指标在人工焊工位上标注为不适用，不以机器人工位指标代表全厂 |
| 受限维度二 | 咬边查全率 84.2% 未达基线，原因为标注规范歧义，数据侧已整改，模型侧在 V1.1 复测后重新判定 |
| 受限维度三 | 未熔合与根部裂纹两类的指标受合成样本占比影响，真实样本与合成样本分列报告；整体指标不作为这两类的能力结论 |
| 受限维度四 | 14 个工况组合（超厚板与特殊材质）未覆盖，这些组合上不给参数推荐结论，列明样本量 |
| 恢复条件 | V1.1 重训后复测咬边类；工况样本补采完成；合成占比下调完成；3 工位标定完成 |
| 条件恢复后的重算安排 | 逐项重算；分工位与分样本来源的分列报告口径保持不变 |
**本场景任务可用性判定（b1557、b1558）**
本场景的判定一律分工位给出。机器人工位与人工焊工位的采集条件不同，可用粒度也不同，用一个合并结论代表全厂，上线后在人工焊工位必然失准。
| 字段 | 焊缝表面缺陷检出任务 | 焊脚尺寸测量任务 | 质量预警与干预建议任务 | 分工况参数推荐任务 | 焊接质量追溯任务 | 未熔合与根部裂纹检出任务 |
|---|---|---|---|---|---|---|
| 验证任务定义 | 给定焊缝表面图像，输出缺陷类型与位置 | 给定标定齐备工位的图像，输出焊脚尺寸 | 给定过程参数与视觉数据，输出是否预警与干预方向 | 给定焊道类型、板厚档、材质，输出推荐参数 | 给定工件号或焊缝编号，返回参数、视觉、检测结果的完整档案 | 同第一列，但限于未熔合与根部裂纹两类标签 |
| 输入 | 焊缝表面图像、熔池视频 | 焊缝图像、相机标定参数 | 六类过程参数时序、视觉数据 | 工况组合、工艺规程窗口 | 工件号或焊缝编号 | 同第一列 |
| 期望输出 | 缺陷类型与位置（焊缝编号＋里程＋层道） | 焊脚尺寸数值 | 预警条目、依据说明、干预方向 | 推荐参数及其回溯有效性依据 | 三流关联完整的档案，缺环处明确标记 | 缺陷类型与位置 |
| 评价方式 | 按缺陷实例的分类查全率与按图像的误报率 | 测量误差 ≤0.5mm 的占比 | 预警查准率、查全率、依据完整率、建议方向正确性 | 工况覆盖率、越窗推荐计数、回溯有效性、可采用性 | 三流关联完整率、追溯链路抽样核对通过率 | 真实样本与合成样本分列的查全率 |
| 参与验证的数据子集 | DC-04-0001、0002 | DC-04-0002 | DC-03-0001、DC-04-0001 | DC-03-0002、0003 | DC-03-0001、DC-04-0001 | DC-04-0002（含合成样本） |
| 样本量 | 缺陷实例 4 260 个、无缺陷对照 3 200 帧 | 标定齐备 6 个工位的测量点 | 回放窗口 2 840 个工件 | 工况组合全集与构造样本 54 例 | 抽样 224 条追溯链路、112 次检索 | 两类标签的真实与合成样本分列 |
| 本轮实测结果（示意值） | 裂纹 91.2%、气孔 86.4%、焊脚偏差 90.8%、余高 88.6%、弧坑 85.2% 均达基线；咬边 84.2% 未达基线 85%；误报率 11.4% | 测量误差达标率 91.6%，仅标定齐备的 6 个工位 | 查准率 62.4%、查全率 76.8%、依据完整率 96.2%、建议方向正确性 77.4% | 越窗推荐 0 项；工况覆盖率 86.4%，未覆盖 14 个组合；推荐区间回溯合格率 93.8% 高于实际执行 91.2%；可采用性 72.6% | 机器人工位 86.8%、人工焊工位 77.2%；抽样核对通过率 98.6%；112 次检索均可返回且内容一致 | 真实样本上的检出低于合成样本，未熔合差 13.8、根部裂纹差 19.2 个百分点 |
| **可用性判定** | **有条件可用**——机器人工位按焊道级可用，人工焊工位按焊缝级可用；咬边一类**暂不作为检出结论**，该类须人工复核 | **有条件可用**——仅适用于相机标定齐备的 6 个工位；未标定的 3 个工位在本项上不作判定 | **有条件可用**——作为岗位提示使用，不作为停机或返修的直接依据；查准率 62.4% 意味着约四成预警需要人工确认后排除 | **有条件可用**——14 个超厚板与特殊材质组合不给推荐结论；其余组合的推荐须在工艺规程窗口内复核后采用 | **有条件可用**——机器人工位可用；人工焊工位的关联完整率 77.2%，缺环处按本报告的标记机制明确标出，不静默补齐 | **暂不可用** |
| 不达预期的定位结论（b1558） | 定位至 DC-04-0002 中标签='咬边' 的切片，频次比 3.6；成因为咬边与余高的判定边界歧义，与本附件 2.6 节批次报告记录的同一条缺陷同源 | 定位至招标方现场的相机标定条件，非数据集侧问题 | 定位至 DC-04-0001 中预警依据类样本，正常工况波动与异常的边界样本偏少 | 定位至 DC-04-0002 中工况∈｛超厚板，特殊材质｝的切片，频次比 4.2，各组合不足 30 例 | 定位至熔池视频中断（烟尘 42.4%、遮挡 31.2%、光照 16.8%、设备 9.6%）与检测结果未按焊道回填 | 定位至 DC-04-0002 中合成占比 >45% 的标签切片。整体指标被合成样本抬高，不能代表真实样本上的能力 |
| 回流去向与复测安排 | X5-RQ-01：标注规范已修订并回溯复核，数据侧已完成；模型侧须用修订后样本重训，V1.1 在咬边类用例子集加回归子集上复测后重新判定 | X5-RQ-04：3 个工位标定完成后纳入该项判定 | 随 X5-RQ-02 的工况样本补采一并复测 | X5-RQ-02：超厚板与特殊材质工况样本补采，对应工况用例子集复测 | X5-RQ-04、X5-RQ-05：现场采集条件改善与检测结果按焊道回填口径落地后重算三流关联完整率 | X5-RQ-03：两类合成占比下调至上限内，缺口转真实样本积累；V1.1 按真实与合成分列复测，真实样本上的查全率达基线后再判定 |
未熔合与根部裂纹两类判为暂不可用，用的不是它们的整体指标——按整体指标看，这两类并不算最差的。判定依据是真实样本与合成样本的分列结果：合成样本把整体数抬高了十几到二十个百分点，而现场遇到的是真实缺陷。这项判定能做出来，前提是合成样本带了来源标记（见本附件 2.8 节 D06 缺陷的处置）；标记缺失就做不了这项统计，整体指标会原样交出去，看起来还挺好。
咬边一类的处置方式与之不同，值得对照。咬边的问题在标注规范的判定边界歧义，数据侧整改已完成、标注一致率已回到门限之上，但模型侧要用修订后的样本重训才能体现。所以它的判定是「该类暂不作为检出结论、须人工复核」，而不是整个检出任务不可用——问题范围清楚、恢复路径明确的受限，写清楚范围即可，不必把整个任务判掉。
**错样样例（节选六条）**
| 用例编号 | 输入摘要 | 期望输出 | 实际输出 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| X5-UC-0088 | 机器人工位某焊道，存在轻微咬边 | 检出咬边并给出位置 | 判为余高超标 | 类别混淆 | 标注口径：咬边与余高的判定边界歧义（已整改，待重训） | X5-RQ-01；V1.1 重训后复测 |
| X5-UC-0164 | 人工焊工位某焊缝，求焊道级缺陷定位 | 焊道级位置 | 仅给出焊缝级位置 | 粒度不足 | 采集条件：人工焊工位不具备焊道级锚定条件 | 不回流；该工位焊道级指标标注为不适用 |
| X5-UC-0229 | 真实根部裂纹样本 | 检出根部裂纹 | 未检出 | 漏检 | 合成占比过高导致能力虚高，真实样本上的检出明显偏低 | X5-RQ-03；合成占比下调，真实样本补充 |
| X5-UC-0303 | 超厚板加特殊材质的工况组合 | 给出推荐参数 | 未给出推荐，提示该组合样本不足 | 正确地不给结论 | 样本不足：该组合不足 30 例 | X5-RQ-02；此条不计入失败，作为「拒答正确」的正例保留 |
| X5-UC-0377 | 某工件烟尘较重期间的熔池视频 | 视觉环数据完整 | 视频中断 42 秒，视觉环缺失 | 环节缺失 | 采集条件：烟尘导致视频中断 | X5-RQ-04；档案中标记缺环环节与原因，不静默补齐 |
| X5-UC-0452 | 某焊缝的追溯检索 | 返回参数、视觉、检测结果三流完整档案 | 返回参数与视觉，检测结果未按焊道回填 | 关联缺环 | 检测结果按批回填，未落到焊道 | X5-RQ-05；缺环已标记，关联完整率据实统计 |
第四条是故意列进来的：它不是错样，是模型在样本不足的工况上正确地没有给结论。把它和真正的错样放在同一张表里，是为了让看表的人看清本场景的判分口径——该拒答时拒答计为正确，若按「没给结论即为失败」统计，会逼出一个在没有依据时也硬给推荐的系统。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、统计单位、判定粒度与结论的写法，不代表实际运行结果，也不构成对实测数值的承诺。分工位与分样本来源（真实／合成）的分列报告口径不随数值变化，填入实测值时照此结构填。
**第 9 章 附件**
附件一至六同 5.1 节口径；本场景另有附件七《三流关联缺环分布明细》、附件八《分工位指标明细》、附件九《真实与合成样本分列指标明细》、附件十《失效标准引用替代版本清单》。
#### 5.6 样章二十一 场景验证报告 X6 刮板输送装备健康智能诊断
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0016-V1.0 |
| 报告类型 | 场景级·X6 刮板输送装备健康智能诊断 |
| 招标文件依据 | b1699—b1712 |
| 受验数据集版本 | DC-03-0001 至 0004、DC-04-0001 至 0004 各 V1.0 |
| 模型／规则版本 | 模型版本标识【待填】；机理规则集版本【待填】；故障名录版本【待填】；部件档案版本【待填】 |
| 判据登记表版本 | GHY26691-LG-00-0007-V1.0 |
| 跟踪矿点 | 【待填：矿点数量与范围】 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 能力编号 | 被验证能力 | 招标文件依据 | 验证层级 | 本轮是否判定 |
|---|---|---|---|---|
| X6-1 | 诊断数据与样本管理（标签体系、样本划取、质量检查与审核、版本管理、来源追溯） | b1702—b1704 | L1／L2 | 是 |
| X6-2 | 故障报警规则智能编排（机型与工况适配、机理规则台账、候选规则生成、离线回放对比） | b1705—b1708 | L2／L3 | 是 |
| X6-3 | 时序模型的数据分析（工况识别、异常与故障样本发现、数据质量分析报告、相似故障模式搜索、在线异常检测、持续优化） | b1709—b1711 | L2／L3 | 是 |
| X6-4 | 报警的原因分析、处置方法与备件准备建议 | b1712 | L2／L3 | 是 |
| X6-5 | 智能健康诊断全流程 | b1701 | L3 | 是 |
本场景是六个专业场景中数据条件最弱的一个：报警多、标签少、维修事实无结构化记录，故障样本只能随真实故障逐步积累。因此本场景的分档最细（五档），且报告中对每一项指标都标明其所依据的档位与样本占比。
**第 2 章 数据就绪度结论（L1）**
| L1 核验项 | 通过要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 采集链路体检 | 测点在线率、断链、漂移、饱和、恒值、量程不符六类问题逐测点统计 | 体检完成，通过测点 72.4% | 通过（分档依据） |
| 维修事实回填入口投用 | 入口可用并完成 ≥30 条试填 | 已投用，试填 48 条 | 通过（按补录项处理） |
| 故障名录成文 | 六类部件与十二类失效模式定义齐备 | 已成文，标签定义齐备率 95.6% | 通过 |
| 部件档案字段齐备性 | 型号、规格、替代关系三项齐备率 ≥85% | 86.4%；某型减速器轴承型号等 142 项缺失 | 通过（缺口列明） |
| 原始波形段可获取测点占比 | 列明占比 | 38.2% | 记录（A 档依据） |
| 转速或键相信号可靠测点占比 | 列明占比 | 44.6% | 记录（A／C 档分界） |
| 设备编码与故障单号贯通 | 可贯通 | 可贯通；抽样 3 个实例端到端追溯成立 | 通过 |
| 历史样本可划取性 | 可从历史数据中划取典型故障样本 | 可划取，已划取 486 个事件级样本 | 通过 |
L1 结论：通过。分档判定：A 档（部件级）测点占 34.2%；B 档（测点级与趋势级）占 38.2%；C 档（无键相，不做阶次分析）占 16.4%；D 档（采集链路体检未通过，退出判断）占 11.2%；E 档（矿方授权不可得）涉及 2 个矿点，按三类不依赖新增测点的手段缩减范围交付。
**第 3 章 验证数据资产说明**
| 资产类别 | 构成 | 规模 | 隔离与切分 |
|---|---|---|---|
| 金标准集·事实级样本 | 以服务工单拆检发现与更换部件记录为参考答案，由售后与技术骨干双人判定部件与失效模式 | 486 个事件 | 按设备编码与时间双重切分 |
| 金标准集·采集链路问题 | 测点级采集链路问题类型标注 | 2 840 个测点 | 按测点与期间切分 |
| 回放窗口 | 完整历史运行数据段与报警记录 | 18 个月 | 窗口内数据不进入训练 |
| 构造样本（质量问题注入） | 人为注入的样本质量问题（缺失、错标部件、数据段错位、重复） | 120 例 | 用于样本质量检查检出率测定 |
| 正常样本对照集 | 经确认无故障的运行数据段 | 1 240 段 | 用于误报水平测定 |
标注一致性：部件一致率 89.4%（门限 88%）；失效模式一致率 81.6%（门限 80%）；数据段区间按起止时刻偏差比对，达标率 86.2%。证据等级判定分歧一律按较低等级采纳。
**第 4 章 能力项验证结果（L2）**
| 能力 | 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| X6-1 | 诊断标签体系覆盖完整性（标签定义齐备率） | 按标签 | ≥95% | 95.6%；缺失标签 4 个，原因已列明 | 通过 |
| X6-1 | 样本划取正确率（区间重合度达标比例） | 按样本 | ≥85% | 86.4% | 通过 |
| X6-1 | 样本质量检查检出率（注入问题样本） | 按注入样本 | ≥92% | 93.3%（120 例中检出 112 例） | 通过 |
| X6-1 | 样本审核留痕完整性 | 按审核动作 | 抽样 ≥200 条逐条可追溯 | 抽样 216 条，逐条可追溯 | 通过 |
| X6-1 | 版本管理可用性（版本回溯并给出差异） | 按版本操作 | 抽样 ≥30 次均可完成 | 抽样 34 次，均完成且差异正确 | 通过 |
| X6-1 | 来源追溯完整率（可回溯到设备、测点、时间段与工单） | 按样本 | ≥95% | 96.2% | 通过 |
| X6-2 | 机理规则台账的部件覆盖（六类部件典型故障覆盖） | 按部件与故障类型 | 六类部件全覆盖；每类典型故障 ≥80% | 六类全覆盖；典型故障覆盖 82.4%（液压系统 74.2% 偏低） | 通过（液压系统项列缺口） |
| X6-2 | 规则按机型与结构适配的正确率 | 按规则实例 | ≥85% | 86.8% | 通过 |
| X6-2 | 按工况生成候选规则的可用率 | 按候选规则 | ≥70% | 72.4% | 通过 |
| X6-2 | 规则离线回放对比（查全率与报警条数） | 按规则集与样本集 | 查全率不低于现有规则且报警条数减少 | 查全率 71.2% vs 现有规则 68.4%；报警条数减少 42.6% | 通过 |
| X6-2 | 回放可复现性（重复三次结果一致） | 按回放 | 三次完全一致 | 三次一致 | 通过 |
| X6-3 | 运行工况识别准确率（五类） | 按时间片 | ≥88% | 89.2%；检修类 82.4% 偏低 | 通过（检修类单列） |
| X6-3 | 耦合干扰标记正确率 | 按抽样片段 | ≥80% | 81.6% | 通过 |
| X6-3 | 在线异常检测误报水平 | 按台与周 | 单台单周 ≤3 条 | 中位数 2 条；第 90 百分位 4 条 | 通过（长尾单列） |
| X6-3 | 在线异常检测查全率 | 按事实级样本 | ≥70% | 71.4%（A 档样本 78.2%；B 档 64.6%） | 通过（分档报告） |
| X6-3 | 异常检测提前期（提前 ≥24 小时的比例） | 按事实级样本 | ≥50% | 52.4% | 通过 |
| X6-3 | 相似故障模式搜索 Top-5 命中率 | 按检索 | ≥75% | 76.8% | 通过 |
| X6-3 | 历史数据质量分析报告完整性（六类问题统计与测点级清单） | 按报告 | 六类均有统计与清单；按周期出具 | 六类齐备，按月出具 | 通过 |
| X6-3 | 模型持续优化的可验证性（版本号、训练数据版本、指标变化、回归结果） | 按优化轮次 | 每轮齐备 | 3 轮优化均齐备 | 通过 |
| X6-4 | 原因分析部件定位正确率·A 档 | 按报警事件 | Top-1 ≥60%、Top-3 ≥82% | Top-1 61.4%、Top-3 83.2% | 通过 |
| X6-4 | 原因分析测点级定位正确率·B 档 | 按报警事件 | ≥85% | 86.4% | 通过 |
| X6-4 | 处置方法建议可采用率 | 按建议 | ≥75% | 76.2% | 通过 |
| X6-4 | 备件准备建议命中率 | 按服务工单 | ≥70% | 68.4% | **不通过** |
| X6-4 | 建议检查顺序的有效性（命中故障所需检查项数中位数） | 按服务工单 | ≤3 项 | 3 项 | 通过 |
| X6-4 | 报警归并正确率 | 按事件 | ≥90%；原始报警保留完整 | 91.2%；原始报警完整保留 | 通过 |
备件建议命中率 68.4% 低于基线 70%，归因为部件档案字段缺失：某型减速器的某级轴承型号未录入，备件适配关系无法建立。这与本附件 6.4 节用例卡样例二记录的情形是同一条问题，改进需求为补齐部件档案字段并重建适配关系。
误报水平用「单台单周条数」而不是百分比，是刻意的选择。异常检测的分母是时间片，百分比很小也可能意味着每天十几条报警，岗位就不看了。本报告同时报中位数（2 条）与第 90 百分位（4 条），后者用于说明长尾——少数设备的误报明显偏高，这些设备单列并列入下一轮优化范围。
**第 5 章 端到端任务验证结果（L3）**
| 指标 | 统计单位 | 基线档 | 实测（示意值） | 判定 |
|---|---|---|---|---|
| 一次报警处置的闭环完成率（报警归并→原因分析→处置建议→维修事实回填） | 按报警事件 | 跟踪矿点范围内 ≥70% | 跟踪矿点 486 个报警事件中闭环 348 个（71.6%） | 通过 |
| 未闭环事件的断点环节分布 | 按事件 | 记录 | 维修事实未回填 86 个；处置建议未被采纳且无反馈 32 个；原因分析止于测点级而工单要求部件级 20 个 | 记录 |
| 分档闭环完成率 | 按档位 | 分别报告 | A 档 82.4%；B 档 68.2%；C 档 61.4%；D 档不参与 | 记录 |
**第 6 章 归因分析**
| 归因方向 | 例数 | 占比 | 证据 | 嫌疑数据切片 |
|---|---|---|---|---|
| 数据缺口（部件档案字段缺失） | 62 | 34.4% | 备件建议未命中的事件中 78.4% 涉及档案字段缺失的部件 | 不适用 |
| 采集条件受限 | 48 | 26.7% | 波形段与键相信号缺失测点占 61.8%，这些测点上部件级定位不成立 | 不适用 |
| 样本不足 | 44 | 24.4% | 十二类失效模式中有 5 类的事实级样本不足 20 例，这 5 类上的查全率明显偏低 | DC-03-0001 中失效模式∈{5 类低频} 切片，频次比 4.6 |
| 维修事实回填不完整 | 26 | 14.4% | 86 个事件无维修事实，无法判定诊断结论是否正确 | 不适用 |
样本不足一类在本场景的特殊性要写明：故障样本不能靠采购或合成补齐，只能随真实故障逐步积累。本报告对这 5 类低频失效模式的处置是如实标注「样本不足，结论为参考」，并列入长期积累计划，按季评估一次。不强行给结论，也不假装已经覆盖。
**第 7 章 改进需求与复测**
| 需求编号 | 来源 | 改进内容 | 归属 | 状态 | 复测范围与结果 |
|---|---|---|---|---|---|
| X6-RQ-01 | 数据缺口 | 部件档案补齐 142 项缺失字段（含轴承型号），重建备件适配关系 | 招标方设备技术部门 | 进行中 | 备件建议类用例子集，补齐后重算命中率 |
| X6-RQ-02 | 采集条件 | 波形段与键相信号的采集条件改善（随矿点改造推进） | 招标方与矿方 | 长期 | 条件改善后按 A 档重算部件级指标 |
| X6-RQ-03 | 样本不足 | 5 类低频失效模式的事实级样本积累 | 数据集扩充（长期） | 长期 | 按季评估，样本达 20 例后给出结论 |
| X6-RQ-04 | 回填不完整 | 维修事实回填入口推广，回填率按月跟踪 | 招标方售后服务 | 进行中 | 回填率达七成后重算闭环完成率 |
| X6-RQ-05 | 规则覆盖 | 液压系统典型故障规则补充（当前覆盖 74.2%） | 机理规则台账 | 进行中 | 液压系统类用例子集 |
| X6-RQ-06 | 工况识别 | 检修类工况识别准确率提升（当前 82.4%） | 模型优化 | 已完成一轮 | 检修类时间片复测：82.4%→86.8% |
**第 8 章 分档与受限说明**
| 项 | 内容 |
|---|---|
| 当前档位分布 | A 档 34.2%、B 档 38.2%、C 档 16.4%、D 档 11.2%；另有 2 个矿点为 E 档 |
| 受限维度一 | 部件级定位仅在 A 档测点上成立。B 档与 C 档的结论止于测点级与趋势级，输出上标注当前分析层级与受限原因 |
| 受限维度二 | C 档测点不做阶次分析相关判据，特征频率类判据在这些测点上标注为不适用 |
| 受限维度三 | D 档测点退出判断，仅做数据质量分析与检查提醒，不给诊断结论 |
| 受限维度四 | E 档矿点不接入在线数据，以厂内档案分析、服务工单统计、同型设备对照三类手段缩减范围交付，全部在线类指标在这两个矿点上标注为不适用 |
| 受限维度五 | 5 类低频失效模式的样本不足 20 例，这 5 类上的结论标注为参考，不作为可用性判定依据 |
| 受限维度六 | 备件建议命中率 68.4% 未达基线，受限原因为部件档案字段缺失 |
| 恢复条件 | 部件档案补齐；波形段与键相采集条件改善；5 类失效模式样本各达 20 例；维修事实回填率达七成 |
| 条件恢复后的重算安排 | 按档位逐项重算；历史结论保留其当时所依据的判据版本与数据段，供前后比对 |
**本场景任务可用性判定（b1557、b1558）**
本场景的五档数据条件（A 部件级、B 测点级与趋势级、C 无键相、D 退出判断、E 不接入）决定了每一项结论的适用范围。下表的可用性判定一律写明它适用于哪几档，不以 A 档的表现代表全场。
| 字段 | 样本管理与质量检查任务 | 故障报警规则编排任务 | 在线异常检测任务 | 原因分析与部件定位任务 | 备件准备建议任务 | 跨机型工况识别任务 |
|---|---|---|---|---|---|---|
| 验证任务定义 | 给定历史运行数据，划取典型故障样本并检查样本质量 | 给定机型与工况，生成候选报警规则并离线回放对比 | 给定在线运行数据，输出异常检测结论与提前期 | 给定报警事件，输出原因与部件定位 | 给定诊断结论，输出备件准备建议 | 给定不同机型的运行数据，识别五类运行工况 |
| 输入 | 历史运行数据段、故障名录、服务工单 | 机理规则台账、机型与结构档案、工况数据 | 在线测点数据 | 报警事件、测点数据、部件档案 | 诊断结论、部件档案、替代关系 | 多机型时序数据 |
| 期望输出 | 样本区间、标签（部件＋失效模式）、证据等级 | 候选规则及其回放查全率与报警条数 | 异常条目、提前期、依据测点 | 部件或测点级定位、检查顺序建议 | 备件清单与数量 | 工况标签与时间片边界 |
| 评价方式 | 划取区间重合度、注入问题样本检出率、来源追溯完整率 | 规则适配正确率、候选可用率、回放对比与可复现性 | 对事实级样本的查全率、误报条数（单台单周）、提前期达标率 | A 档 Top-1／Top-3，B 档测点级正确率 | 与服务工单实际更换部件的命中率 | 按时间片的识别准确率，分机型统计 |
| 参与验证的数据子集 | DC-03-0001、DC-04-0001 | DC-03-0002、0003 | DC-03-0001 | DC-03-0001、DC-04-0001 | DC-04-0002 | DC-03-0001、0002 |
| 样本量 | 486 个事件级样本、2 840 个测点、注入样本 120 例 | 六类部件的机理规则台账与 18 个月回放窗口 | 事实级样本 486 个、正常样本对照 1 240 段 | 486 个报警事件 | 服务工单范围内的备件建议 | 五类工况的时间片 |
| 本轮实测结果（示意值） | 划取区间重合度达标 86.4%；注入问题检出 93.3%（120 例中 112 例）；来源追溯完整率 96.2%；审核留痕抽样 216 条逐条可追溯 | 六类部件均有规则条目，典型故障覆盖 82.4%（液压系统 74.2% 偏低）；机型适配正确率 86.8%；候选可用率 72.4%；回放查全率 71.2% 高于现有规则 68.4%，报警条数减少 42.6%；三次回放结果一致 | 查全率 71.4%（A 档 78.2%、B 档 64.6%）；误报中位数单台单周 2 条、第 90 百分位 4 条；提前期达标 52.4%；相似故障 Top-5 命中 76.8% | A 档 Top-1 61.4%、Top-3 83.2%；B 档测点级 86.4%；处置建议可采用率 76.2%；命中故障所需检查项数中位数 3 项 | 命中率 68.4%，未达基线 70%；未命中事件中 78.4% 涉及档案字段缺失的部件 | 五类工况整体 89.2%；检修类 82.4%（已优化一轮至 86.8%）；跨机型迁移样本不足，分机型统计差异明显 |
| **可用性判定** | **可用** | **有条件可用**——六类部件的规则可用；液压系统典型故障覆盖 74.2%，该部件的候选规则须经设备技术人员逐条确认后启用 | **有条件可用**——A 档测点可用；B 档测点的结论止于测点级与趋势级；C 档不做阶次分析相关判据；D 档退出判断，仅做数据质量分析与检查提醒 | **有条件可用**——A 档可定位到部件；B 档与 C 档止于测点级与趋势级，输出上标注当前分析层级；另有 5 类低频失效模式的结论标注为参考，不作为判定依据 | **暂不可用** | **暂不可用** |
| 不达预期的定位结论（b1558） | — | 定位至机理规则台账中液压系统部分，典型故障条目不足 | 定位至采集条件：波形段可获取测点 38.2%、键相信号可靠测点 44.6%；以及 DC-03-0001 中 5 类低频失效模式切片，频次比 4.6 | 同左；另有 86 个事件无维修事实回填，无法判定诊断结论是否正确 | 定位至部件档案的型号、规格、替代关系三项齐备率 86.4%，缺失 142 项（含某型减速器某级轴承型号），备件适配关系无法建立。属招标方设备技术部门的档案维护事项，非数据集样本量问题 | 定位至 DC-03-0002 的跨机型样本分布，同一工况在不同机型上的特征差异未被充分覆盖；与本附件 4.4 节对制造过程数据集的同名任务判定一致 |
| 回流去向与复测安排 | — | X6-RQ-05：液压系统典型故障规则补充，液压系统类用例子集复测 | X6-RQ-02：波形段与键相采集条件随矿点改造推进，条件改善后按 A 档重算部件级指标；X6-RQ-03：5 类低频失效模式按季评估，样本各达 20 例后给出结论 | X6-RQ-04：维修事实回填入口推广，回填率达七成后重算闭环完成率 | X6-RQ-01：部件档案补齐 142 项缺失字段并重建备件适配关系；补齐后在备件建议类用例子集上重算命中率，达基线前不给可用性结论 | 跨机型样本按机型补采，与 X6-RQ-02 的采集条件改善同步推进；在分机型准确率收敛前不给跨机型结论 |
本场景是六个专业场景中数据条件最弱的一个，六项任务里一项可用、三项有条件可用、两项暂不可用。这个分布如实反映了它的处境：报警多、标签少、维修事实此前没有结构化记录，故障样本只能随真实故障逐步积累。
备件建议判为暂不可用，差的是 1.6 个百分点，但本报告不按「接近达标」处理。原因在归因：未命中的事件里近八成涉及部件档案字段缺失，缺的是某型减速器某级轴承这样的具体型号——档案一天不补，适配关系就一天建不起来，这与模型再训练几轮无关。这条与本附件 6.4 节用例卡样例二记录的是同一个问题。
5 类低频失效模式的处置口径在这里要重申一次：故障样本不能靠采购或合成补齐，只能随真实故障逐步积累。本报告对这 5 类标注「样本不足，结论为参考」，列入长期积累按季评估，不强行给结论，也不写成已经覆盖。
**错样样例（节选六条）**
| 用例编号 | 输入摘要 | 期望输出 | 实际输出 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| X6-UC-0057 | 某型减速器轴承故障报警，需给出备件建议 | 备件清单含该级轴承具体型号 | 建议给到减速器总成级，未给具体轴承型号 | 粒度不足 | 数据缺口：部件档案缺该级轴承型号（142 项缺失之一） | X6-RQ-01；补齐后重算命中率 |
| X6-UC-0121 | 某 C 档测点（无键相）的轴承特征频率分析 | 不给阶次分析结论并说明原因 | 按方案标注该判据在本测点不适用 | 正确地不给结论 | 采集条件：无键相信号 | 不回流；作为分档处置成立的正例保留 |
| X6-UC-0194 | 某低频失效模式（链轮齿面剥落）的在线检测 | 检出异常并给出提前期 | 未检出 | 漏检 | 样本不足：该失效模式事实级样本不足 20 例 | X6-RQ-03；按季评估，样本达 20 例后给结论 |
| X6-UC-0248 | 某液压系统报警的规则编排 | 候选规则覆盖该典型故障 | 无对应候选规则 | 规则缺口 | 机理规则台账中液压系统典型故障覆盖 74.2% | X6-RQ-05；液压系统类用例子集复测 |
| X6-UC-0312 | 某报警事件处置后的闭环 | 维修事实回填，诊断结论可核验 | 维修事实未回填，无法判定诊断是否正确 | 闭环断点 | 回填不完整：86 个事件无维修事实 | X6-RQ-04；回填率达七成后重算闭环完成率 |
| X6-UC-0389 | 另一机型上的同类运行工况识别 | 工况标签与该机型实际一致 | 按主力机型的特征判为相邻工况 | 迁移失效 | 跨机型样本分布不足，特征差异未覆盖 | 按机型补采；与本附件 4.4 节同名任务的判定一致 |
第二条与 X5 报告中的同类样例用意相同：分档处置的正确性要靠「该不给结论时确实没给」来证明。若 C 档测点上照样输出了一个阶次分析结论，分档这件事就只是写在方案里而没有落到执行。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、统计单位、判定粒度与结论的写法，不代表实际运行结果，也不构成对实测数值的承诺。分档报告的口径不随数值变化：每一项指标在填入实测值时须同时填其所依据的档位与样本占比。
**第 9 章 附件**
附件一至六同 5.1 节口径；本场景另有附件七《采集链路体检报告》（2 840 个测点的六类问题统计与测点级清单）、附件八《分档统计明细》（按矿点与测点）、附件九《规则离线回放对比明细》（新旧规则在同一样本集上的查全率、查准率、报警条数）、附件十《低频失效模式样本量清单》。
#### 5.7 样章二十二 场景验证报告 TG1 管理制度智能问答
通用场景的验证报告与专业场景同用九章结构，但第四至七章按知识层、任务层、效率与稳定合规、归因与整改四层展开，与 T14 节的三层验证口径对应。
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0021-V1.0 |
| 报告类型 | 场景级·TG1 管理制度智能问答（编号待场景清单定版） |
| 招标文件依据 | b1714—b1727 |
| 受验数据集版本 | 跨域通用语料切片 V1.0；基准评测子集·制度分册 V1.0（500 条） |
| 模型／知识库版本 | 模型版本标识【待填】；制度知识库版本【待填】；评测协议版本 GHY26691-ST-00-0019-V1.0 |
| 人工基线实测记录 | 【待填：对照组人数、岗龄分布、计时记录编号】 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 验证项 | 招标文件依据 | 验证层 | 本轮是否判定 |
|---|---|---|---|
| 制度知识库建设能力（条文知识与管理知识） | b1720—b1722 | 知识层 | 是 |
| 制度智能问答能力（精准检索、语义解读、跨制度咨询） | b1723、b1724 | 任务层 | 是 |
| 制度关联分析能力（引用关系与逻辑校验） | b1725 | 任务层 | 是 |
| 服务响应效率（较人工查阅模式明显缩短） | b1726、b1727 | 效率层 | 是（待人工基线实测） |
| 数据层验证（四类用途子集在本场景上的贡献） | b1719 | 数据层 | 是 |
**第 2 章 接入条件与就绪度结论**
| 条件项 | 要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 制度原文（11 类管理制度） | 按类别齐备 | 10 类齐备；1 类（专项业务操作规程）仅获取部分 | 通过（未覆盖类别已列明） |
| 制度分类口径 | 招标方制度管理部门提供 | 【待填：以招标方确认口径为准】；本轮以文件标题与发文形式推定 | 条件通过，结论标注为推定口径 |
| 组织机构主数据 | 单位与部门编码、层级关系可获取 | 可获取 | 通过 |
| 真实咨询记录 | 近两年制度咨询问题与答复 | 获取 248 条 | 通过 |
| 分级权限账号 | 至少三档（普通员工、部门管理、公司管理） | 三档已配置 | 通过 |
| 内网执行环境 | 制度数据不出内网 | 已在招标方内网环境执行 | 通过 |
| 审计日志 | 记录账号、时间、题批、返回知识单元 | 已开启，保留期设为验收后 12 个月 | 通过 |
就绪度结论：条件通过。两项缺口：一类制度原文未齐备（相应题目在报告中标注未覆盖类别）；制度分类口径未由招标方书面确认，本轮以推定口径执行，相应指标（制度类别归集正确率、制度层级判定正确率）标注为推定口径下的结果。
**第 3 章 验证基准集与防失真措施**
| 项 | 内容 |
|---|---|
| 基准分册规模 | 500 条：条款定位 180、语义解读 140、跨制度咨询 120、引用关系判断 60 |
| 现场抽样题 | 40 条，单独编号管理，用完即归档，不参与指标统计 |
| 无证据题 | 40 条（8%） |
| 改写题 | 75 条（15%） |
| 干扰题 | 25 条（5%） |
| 与训练集隔离 | 入册前以去重与相似度过滤双向查重；本轮退回重出 12 题 |
| 专家终审 | 500 题的标准答案与评分要点全部经招标方相应业务部门专家确认 |
| 判分策略 | 条款编号类用精确匹配；条文解读类用要点规则匹配加语义相似度；开放类用模型裁判初判加人工复核 |
| 模型裁判校准 | 本分册取 100 题校准，模型裁判与人工仲裁一致率 0.87，达门限 0.85，本分册采用模型裁判初判 |
| 人工复核 | 双人独立判分加第三方仲裁；复核组内 Kappa 系数 0.79，达门限 0.75 |
| 改写题得分差监测 | 改写题与原题得分差 6.2 个百分点，低于阈值 10，未触发待复核标注 |
**第 4 章 知识层验证结果**
| 验证项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 条文知识收录 | 条款收录率（抽样 120 份、3 000 条） | ≥0.98 | ≥0.95 | 0.968 | 有条件通过 |
| 条款切分 | 切分完整率 | ≥0.95 | ≥0.90 | 0.936 | 有条件通过 |
| 层级还原 | 章节条款层级还原率 | ≥0.95 | ≥0.90 | 0.948 | 有条件通过 |
| 难例处理 | 附表附件条款收录率 | ≥0.90 | ≥0.80 | 0.842 | 有条件通过 |
| 核心元数据 | 名称／编号／发布部门／生效日期抽取正确率 | ≥0.98 | ≥0.95 | 0.982 | 通过 |
| 判定类元数据 | 适用范围映射正确率 | ≥0.92 | ≥0.85 | 0.874 | 有条件通过（推定口径） |
| 判定类元数据 | 制度层级判定正确率 | ≥0.92 | ≥0.85 | 0.886 | 有条件通过（推定口径） |
| 类别划分 | 制度类别归集正确率 | ≥0.95 | ≥0.90 | 0.912 | 有条件通过（推定口径） |
三类难例的单列统计：附表与附件形式的条款收录率 0.842；「本办法未尽事宜按……执行」形式的概括性引用条款识别率 0.796；正文中夹带流程图与表格的条款切分完整率 0.868。三类均列入难例清单，归因见第七章。
**第 5 章 任务层验证结果**
**5.1 制度智能问答**
| 题型 | 题量 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 条文精准检索 | 180 | 证据召回率 Recall@5 | ≥0.92 | ≥0.85 | 0.906 | 有条件通过 |
| 条文精准检索 | 180 | 引用正确率（制度名称与条款编号） | ≥0.95 | ≥0.90 | 0.928 | 有条件通过 |
| 语义解读 | 140 | 要点覆盖率 | ≥0.88 | ≥0.80 | 0.862 | 有条件通过 |
| 语义解读 | 140 | 超出原意偏差率（上限 5%） | ≤0.05 | ≤0.05 | 0.036 | 通过 |
| 语义解读 | 140 | 欠出原意偏差率 | 记录 | 记录 | 0.082 | 记录 |
| 跨制度咨询 | 120 | 要点覆盖率 | ≥0.85 | ≥0.78 | 0.812 | 有条件通过 |
| 跨制度咨询 | 120 | 多源证据完整率 | ≥0.90 | ≥0.82 | 0.846 | 有条件通过 |
| 无证据题 | 40 | 正确拒答率（不设有条件通过档） | ≥0.90 | ≥0.85 | 0.925 | 通过 |
| 干扰题 | 25 | 未被表面相似性带偏的比例 | 记录 | 记录 | 0.880 | 记录 |
超出原意的偏差率单设上限的理由在 T14 节已说明：解读超出条款原意（添加了条文没有的限制或许可）与欠出原意（漏掉条文明确的例外）的后果不对称，前者可能导致误操作。本轮实测 3.6%，在上限内。
**5.2 制度关联分析**
| 验证项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 显式引用关系 | 准确率／召回率 | ≥0.95／≥0.90 | ≥0.90／≥0.82 | 0.942／0.886 | 有条件通过 |
| 隐式引用关系 | 准确率／召回率 | ≥0.85／≥0.75 | ≥0.75／≥0.65 | 0.782／0.694 | 有条件通过 |
| 废止替代关系 | 准确率／召回率 | ≥0.92／≥0.85 | ≥0.85／≥0.75 | 0.878／0.812 | 有条件通过 |
| 规定不一致检出（构造 20 组） | 检出率 | ≥0.85 | ≥0.75 | 0.80（16／20） | 有条件通过 |
| 引用已废止制度检出（15 组） | 检出率 | ≥0.92 | ≥0.85 | 0.867（13／15） | 有条件通过 |
| 引用条款号不存在检出（15 组） | 检出率 | ≥0.95 | ≥0.88 | 0.933（14／15） | 有条件通过 |
| 生效日期矛盾检出（10 组） | 检出率 | ≥0.90 | ≥0.80 | 0.80（8／10） | 有条件通过 |
四类冲突分别统计而不合并成一个总检出率，以免高频易检类型掩盖低频难检类型。本轮四类的检出率在 0.80 至 0.933 之间，均在下限以上、目标值以下。
**5.3 数据层验证**
| 用途子集 | 在本场景上的验证方式 | 结论 |
|---|---|---|
| 预训练子集 | 制度概念类知识探针（不提供检索证据） | 探针准确率相对基座提升 9.4 个百分点；条款数值与编号类问题不走预训练路径 |
| 指令微调子集 | 条文解读与跨制度咨询类任务的要点覆盖率 | 微调后要点覆盖率提升 14.6 个百分点 |
| 偏好子集 | 解读表述的优劣对比（是否恰当限定、是否给出出处） | 对齐后出处给出率提升 11.2 个百分点 |
| 基准子集 | 本场景分册 500 题的评测 | 结果见本章 5.1、5.2 |
对照实验：对同一批条款编号类问题，在不提供检索证据与提供检索证据两种条件下分别测答对率，前者 0.412、后者 0.906，差距 49.4 个百分点。这组数是检索路径必要性的直接证据，也说明条款编号类问题不应依赖预训练记忆。
**第 6 章 效率与稳定合规验证结果**
| 验证项 | 人工基线 | 助手侧指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 简单查询档（单条款定位，30 题，对照组 ≥3 人） | 【待填：实测中位数，分钟】 | 端到端时长中位数 | 相对基线缩短 ≥80% | ≥60% | 【待填：人工基线实测后给出】 | 待实测 |
| 简单查询档长尾 | — | 响应时长 P95 | ≤20 秒 | ≤40 秒 | 16.4 秒 | 通过 |
| 复杂咨询档（跨制度咨询，30 题，对照组 ≥3 人） | 【待填：实测中位数，分钟】 | 端到端时长中位数 | 相对基线缩短 ≥70% | ≥50% | 【待填】 | 待实测 |
| 复杂咨询档长尾 | — | 响应时长 P95 | ≤60 秒 | ≤120 秒 | 48.2 秒 | 通过 |
| 质量约束 | — | 对应档题目的要点覆盖率 | ≥0.85 | ≥0.78 | 简单查询档 0.924；复杂咨询档 0.812 | 通过 |
| 稳定与合规项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 同题一致率 | 同一题重复三次，答案要点一致的题目占比 | ≥0.95 | ≥0.90 | 0.932 | 有条件通过 |
| 权限越权率 | 返回了提问账号无权访问的知识单元的题目占比（不设有条件通过档） | 0 | 0 | 0 | 通过 |
| 敏感信息外露率 | 答案中出现应脱敏字段的题目占比 | 0 | ≤0.01 | 0 | 通过 |
效率类结论本轮留空而不填预估值。人工基线必须实测——引用行业经验值算出来的缩短幅度，在验收时站不住。对照组人员的岗龄与熟练度分布记入附件，避免用新手基线夸大改善幅度。效率结论与质量结论绑定呈现：只有在该档题目的要点覆盖率达到下限的前提下，效率数据才计入结论。
**第 7 章 归因、改进需求与复测**
| 归因方向 | 涉及题数 | 占比 | 证据 | 改进需求 |
|---|---|---|---|---|
| 难例解析规则缺口 | 46 | 38.3% | 附表附件条款、概括性引用条款、夹带流程图的条款三类难例上的失败集中 | TG1-RQ-01：补三类难例的解析与切分规则 |
| 口径未确认 | 32 | 26.7% | 适用范围映射与制度层级判定两项在推定口径下执行，失败多为推定与实际不符 | TG1-RQ-02：请招标方制度管理部门确认分类与层级口径 |
| 隐式引用识别能力不足 | 26 | 21.7% | 隐式引用召回率 0.694，失败集中在「按相关规定执行」类表述 | TG1-RQ-03：补隐式引用的表述形式模式库；补标注样本 |
| 制度原文未齐备 | 16 | 13.3% | 一类制度仅获取部分，相关题目无法作答 | TG1-RQ-04：补齐该类制度原文 |
复测结果（TG1-RQ-01 已完成项）：三类难例补规则后复测，附表附件条款收录率由 0.842 升至 0.906；概括性引用条款识别率由 0.796 升至 0.864；夹带流程图条款的切分完整率由 0.868 升至 0.924。复测范围为三类难例全量加回归子集（从已通过题目抽 15%），回归子集无回退。
**第 8 章 三级判据判定汇总与受限说明**
| 判定档 | 验证项数 | 清单 |
|---|---|---|
| 通过 | 5 | 核心元数据抽取、超出原意偏差率、无证据题正确拒答率、权限越权率、敏感信息外露率 |
| 有条件通过 | 16 | 条款收录、切分完整、层级还原、难例处理、三项判定类元数据、检索召回、引用正确、三项解读与咨询指标、三类引用关系、四类冲突检出、同题一致率 |
| 不通过 | 0 | — |
| 待实测 | 2 | 简单查询档与复杂咨询档的效率指标（待人工基线） |
有条件通过的处置：出整改任务单，限期修复后对该错因聚类涉及的全部题目复测；复测达目标值转通过，未达则按不通过处置。本轮 16 项有条件通过项中，3 项已通过复测转为通过（见第七章），其余 13 项在下一轮验证中复测。
| 受限项 | 内容 |
|---|---|
| 受限一 | 制度分类与层级口径未经招标方书面确认，三项判定类元数据指标为推定口径下的结果，口径确认后重算 |
| 受限二 | 一类制度原文未齐备，涉及 16 题的结论不成立，报告中列明未覆盖类别 |
| 受限三 | 效率类结论待人工基线实测后给出，本轮留空 |
| 恢复条件 | 口径确认；制度原文补齐；人工对照组组织完成 |
| 重算安排 | 逐项重算并与本轮并列报告 |
**本场景任务可用性判定（b1557、b1558）**
通用场景的三级判据（通过／有条件通过／不通过）判的是单项指标；本节判的是任务能不能用。两者不是一回事：一个任务可以在十几项指标上都处在「有条件通过」而整体仍然可用，也可以在指标全部达下限的情况下因为口径未确认而不能用。
| 字段 | 条文精准检索任务 | 条文语义解读任务 | 跨制度咨询任务 | 引用关系与冲突检出任务 | 制度分类与层级判定任务 | 服务响应效率 |
|---|---|---|---|---|---|---|
| 验证任务定义 | 给定制度问题，定位到具体制度与条款 | 给定条款，输出其含义与适用条件的解读 | 给定跨越多份制度的问题，输出综合答复并给出多源证据 | 给定制度集合，输出引用关系并检出四类冲突 | 给定制度文件，输出其类别、层级与适用范围 | 给定两档典型问题，测端到端用时 |
| 输入 | 自然语言问题 | 条款原文与提问 | 自然语言问题 | 制度全集与条款引用表述 | 制度原文及其元数据 | 简单查询与复杂咨询两档各 30 题 |
| 期望输出 | 制度名称、条款编号、原文片段 | 要点齐备且不超出条款原意的解读 | 答复要点与各要点对应的出处 | 显式、隐式、废止替代三类关系；四类冲突条目 | 类别、层级、适用范围 | 端到端时长中位数与 P95 |
| 评价方式 | 证据召回率 Recall@5、引用正确率 | 要点覆盖率、超出原意偏差率（上限）、欠出原意偏差率（记录） | 要点覆盖率、多源证据完整率 | 分类准确率与召回率，四类冲突分别统计 | 与招标方确认口径的比对正确率 | 相对人工基线的缩短幅度，与要点覆盖率绑定 |
| 评测集构成 | 条款定位 180 题 | 语义解读 140 题 | 跨制度咨询 120 题 | 引用关系判断 60 题＋构造冲突 60 组 | 抽样 120 份制度、3 000 条条款 | 两档各 30 题，对照组各 ≥3 人 |
| 本轮实测结果（示意值） | Recall@5 0.906（下限 0.85，目标 0.92）；引用正确率 0.928（下限 0.90，目标 0.95） | 要点覆盖率 0.862（下限 0.80，目标 0.88）；超出原意 0.036（上限 0.05）；欠出原意 0.082（记录） | 要点覆盖率 0.812（下限 0.78）；多源证据完整率 0.846（下限 0.82） | 显式 0.942／0.886；隐式 0.782／0.694；废止替代 0.878／0.812；四类冲突检出 0.80 至 0.933 | 适用范围映射 0.874、制度层级判定 0.886、类别归集 0.912，三项均在推定口径下取得 | 长尾 P95：简单档 16.4 秒、复杂档 48.2 秒；中位数缩短幅度【待填：人工基线实测后给出】 |
| **可用性判定** | **有条件可用**——答复须随条款原文与出处一并呈现，不单独给结论性答复 | **有条件可用**——解读可直接采信的前提是同时给出条款原文；欠出原意率 0.082 意味着约一成答复会漏掉条文中的例外，涉及例外条款的问题须人工核对 | **有条件可用**——多源证据完整率 0.846，约一成半的跨制度答复证据不齐，这部分须补查后采用 | **有条件可用**——可作为制度清理与合规自查的线索来源，检出结论须经制度管理岗位确认；隐式引用召回 0.694，漏检部分不作为「无冲突」的依据 | **暂不可用** | **本轮不判定** |
| 不达预期的定位结论（b1558） | 定位至三类难例：附表附件形式的条款、概括性引用条款、正文夹带流程图与表格的条款 | 同左，欠出原意集中在含例外条款的解读 | 定位至跨制度语料中多份制度联合出现的样本偏少 | 定位至隐式引用的表述形式，失败集中在「按相关规定执行」类表述；标注样本不足 | 不是指标问题：制度分类与层级口径未经招标方制度管理部门书面确认，本轮以文件标题与发文形式推定。推定口径下的正确率不能作为可用性结论——口径一换，三项指标全部要重算 | 人工基线尚未实测。本轮不以行业经验值替代实测基线 |
| 回流去向与复测安排 | TG1-RQ-01（已完成）：三类难例补解析与切分规则，复测后附表附件条款收录率 0.842→0.906、概括性引用条款识别率 0.796→0.864、夹带流程图条款切分完整率 0.868→0.924 | 随 TG1-RQ-01 复测；例外条款类单列统计 | TG1-RQ-04：补齐未获取的一类制度原文（专项业务操作规程），该类涉及 16 题，当前结论不成立 | TG1-RQ-03：补隐式引用的表述形式模式库并补标注样本；隐式引用类题目子集复测 | TG1-RQ-02：请招标方制度管理部门确认分类与层级口径，确认后重算三项判定类元数据指标并重新判定 | 组织人工对照组实测基线后给出；对照组人员的岗龄与熟练度分布记入附件五 |
「暂不可用」与「本轮不判定」在本表中同时出现，两者的区别要写明。制度分类与层级判定任务是判过的：指标都在下限以上，但这些指标建立在一个未经确认的推定口径上，口径一旦与实际不符，结果整体失效——所以结论是当前不可用，并给出恢复条件（口径确认）。服务响应效率则是依据本身不足以支持任何判定：人工基线没有实测，缩短幅度无从算起。给一个用行业经验值推出来的缩短幅度，在验收时站不住；留空并写明待实测，反而是可以验收的写法。
本场景的十一类管理制度中有一类（专项业务操作规程）仅获取部分，该类涉及的 16 题结论不成立，已在第八章列为受限项。本节对此的处置是：不把这 16 题算进任何任务的可用性判定分母，也不以其余十类的表现代表该类——未覆盖的部分如实列明，不作推断。
**错样样例（节选六条）**
| 题号 | 题面摘要 | 参考答案要点 | 实际答复 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| ZD-0114 | 某制度附表中规定的审批限额是多少 | 引用附表第三行的限额数值与适用条件 | 答复引用正文条款，未引用附表，限额数值缺失 | 证据漏检 | 难例：附表附件形式的条款收录率 0.842 | TG1-RQ-01（已完成）；复测后该类收录率 0.906 |
| ZD-0237 | 某情形是否属于某条款的例外 | 答复须包含条文明确列出的两项例外 | 答复给出条款主体规定，漏掉其中一项例外 | 欠出原意 | 解读任务在含例外条款上的要点覆盖偏低 | 随 TG1-RQ-01 复测；例外条款类单列统计 |
| ZD-0356 | 「本办法未尽事宜按相关规定执行」指向哪份制度 | 识别该表述为隐式引用并给出指向 | 答复为「未明确指向」 | 隐式引用漏检 | 隐式引用召回 0.694，失败集中在此类表述 | TG1-RQ-03 补模式库与标注样本 |
| ZD-0418 | 某份制度属于哪一类别、处于哪一层级 | 按招标方口径给出类别与层级 | 按文件标题与发文形式推定，给出的类别与实际管理口径不同 | 口径不符 | 口径未确认：本轮为推定口径 | TG1-RQ-02；口径确认后重算，当前不作为可用性依据 |
| ZD-0472 | 某专项业务操作规程中的某条规定 | 引用该规程原文 | 答复「未检索到相关制度」 | 原文未齐备 | 该类制度仅获取部分 | TG1-RQ-04 补齐原文；该题不计入任何任务的判定分母 |
| ZD-0509 | 无证据题：询问一项并不存在的制度规定 | 正确拒答并说明未检索到依据 | 正确拒答 | 正确拒答 | — | 不回流；无证据题正确拒答率 0.925，该档不设有条件通过 |
末条列入的理由与专业场景一致：拒答正确与答对一样要统计。无证据题这一档不设「有条件通过」，因为编造一条不存在的制度规定与答错一道题不是同一量级的后果。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、三级判据的写法与判定粒度，不代表实际运行结果，也不构成对实测数值的承诺。效率类的全部格子在人工基线实测前保持留空——引用经验值算出来的缩短幅度，验收时无法申辩。
**第 9 章 附件**
| 附件 | 内容 |
|---|---|
| 附件一 | 基准分册清单（500 题的题面、标准答案、证据定位、评分要点、题型与难度标签） |
| 附件二 | 失败样本清单与错因聚类明细 |
| 附件三 | 模型裁判校准记录（100 题的裁判结论与人工仲裁结论对照） |
| 附件四 | 人工复核记录（双人判分与仲裁结论，Kappa 计算过程） |
| 附件五 | 人工基线实测记录（对照组人数、岗龄分布、逐题计时） |
| 附件六 | 难例清单（三类难例逐条） |
| 附件七 | 审计日志索引 |
| 附件八 | 见证签认记录（按岗位与时间，不记个人姓名） |
#### 5.8 样章二十三 场景验证报告 TG2 技术标准智能问答
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0022-V1.0 |
| 报告类型 | 场景级·TG2 技术标准智能问答 |
| 招标文件依据 | b1728—b1740 |
| 受验数据集版本 | 产品工艺设计域切片与跨域通用语料切片 V1.0；基准评测子集·标准分册 V1.0（500 条） |
| 模型／知识库版本 | 模型版本标识【待填】；标准知识库版本【待填】 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 验证项 | 招标文件依据 | 验证层 | 本轮是否判定 |
|---|---|---|---|
| 技术标准知识库建设能力（条文规范知识与标准应用知识） | b1733—b1735 | 知识层 | 是 |
| 标准智能问答能力（多轮对话式问答、历史版本问答） | b1736 | 任务层 | 是 |
| 技术标准文件解析能力（表格与公式提取，表格达单元格级精度） | b1737、b1738 | 知识层 | 是 |
| 数据可视化能力（检索量、高频查询条款、用户活跃度统计） | b1739、b1740 | 任务层 | 否（行为数据埋点未开通） |
**第 2 章 接入条件与就绪度结论**
| 条件项 | 要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 标准原文（国标、行标、企标、设计手册） | 四类齐备 | 四类均获取；设计手册获取 46 份 | 通过 |
| 标准台账（标准号、现行有效状态、替代关系） | 招标方标准化管理部门提供 | 【待填】；本轮以标准原文封面信息推定 | 条件通过，结论标注为推定口径 |
| 历史版本原件 | 已被替代标准的旧版电子件 | 获取 62 份 | 通过（题量按实际下调） |
| 典型合规案例 | 招标方提供或行业公开资料 | 获取 18 例 | 条件通过，不足部分以构造用例替代并标注 |
| 公式算例 | 标准中附带的计算示例 | 141 个公式中 141 个带算例 | 通过 |
| 行为数据埋点 | 检索与查看行为日志接口 | 未开通 | **不通过**，可视化能力列为未验证项 |
就绪度结论：条件通过。可视化能力一项因行为数据埋点未开通列为未验证项，本报告不以推断代替实测结论。这一处置方式是本项目的口径：数据条件不具备的验证项如实标注未验证，不给一个无依据的结论。
回退顺序按 T14 节约定：先保知识库与解析精度两项（不依赖助手建设进度），再保问答能力，最后才是可视化。本轮按此顺序执行。
**第 3 章 验证基准集与防失真措施**
| 项 | 内容 |
|---|---|
| 基准分册规模 | 500 条：参数限值查询 160、条文解读 120、多轮追问 110、版本辨析 60、表格与公式提取 50 |
| 现场抽样题 | 40 条 |
| 无证据题 | 40 条（8%） |
| 改写题 | 75 条（15%） |
| 与训练集隔离 | 双向查重；本轮退回重出 8 题 |
| 专家终审 | 500 题全部经招标方技术部门专家确认 |
| 判分策略 | 参数查询类用精确匹配（数值无「接近正确」一说）；条文解读类用要点匹配；多轮题以整道题为单位判分 |
| 模型裁判校准 | 100 题校准，一致率 0.86，达门限 |
| 人工复核 | 双人独立判分；Kappa 0.81 |
| 改写题得分差 | 5.4 个百分点，未触发待复核 |
参数查询类采用精确匹配而非语义相似，与制度场景不同。理由是技术标准问答的核心风险是数值错误。数值正确但单位缺失或适用条件缺失的，判为该题不通过——一个没有单位的限值在工程上无法使用。
**第 4 章 知识层验证结果**
**4.1 知识库建设**
| 验证项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 条文收录 | 条款收录率（四类分层抽样 80 份、2 500 条） | ≥0.98 | ≥0.95 | 0.972 | 有条件通过 |
| 条文切分 | 切分完整率 | ≥0.95 | ≥0.90 | 0.942 | 有条件通过 |
| 设计手册切分 | 片段完整率（以最小可答片段为准） | ≥0.90 | ≥0.82 | 0.864 | 有条件通过 |
| 核心元数据 | 标准号／名称／发布部门／生效日期正确率 | ≥0.98 | ≥0.95 | 0.984 | 通过 |
| 参数限值 | 限值抽取正确率（800 条逐条比对） | ≥0.95 | ≥0.90 | 0.936 | 有条件通过 |
| 参数限值 | 适用条件完整率 | ≥0.90 | ≥0.82 | 0.848 | 有条件通过 |
| 引用关系 | 显式引用准确率／召回率 | ≥0.95／≥0.90 | ≥0.90／≥0.82 | 0.938／0.882 | 有条件通过 |
| 版本更迭 | 替代关系正确率 | ≥0.95 | ≥0.90 | 0.916（推定口径） | 有条件通过 |
| 版本更迭 | 现行有效状态正确率 | ≥0.98 | ≥0.95 | 0.958（推定口径） | 有条件通过 |
| 合规案例 | 案例结构化完整率（按实际提供 18 例统计） | ≥0.90 | ≥0.80 | 0.889 | 有条件通过 |
**4.2 文件解析（四层统计）**
| 验证项 | 指标 | 样本量 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 表区域检出 | 检出率 | 600 张表 | ≥0.98 | ≥0.95 | 0.976 | 有条件通过 |
| 结构还原 | 行列数与合并范围一致率 | 600 张 | ≥0.95 | ≥0.88 | 0.902 | 有条件通过 |
| 单元格内容 | 文本正确率 | 32 400 个单元格 | ≥0.97 | ≥0.93 | 0.944（整改复测后；整改前 0.921） | 有条件通过 |
| 语义绑定 | 行列表头绑定正确率 | 同上 | ≥0.95 | ≥0.90 | 0.928 | 有条件通过 |
| 单元格级精度 | 第三、四层联合正确率 | 同上 | ≥0.93 | ≥0.88 | 0.896（整改复测后；整改前 0.864） | 有条件通过 |
| 跨页续表 | 续表合并正确率 | 184 张 | ≥0.90 | ≥0.80 | 0.853（整改复测后；整改前 0.745） | 有条件通过 |
| 多级表头表 | 表头层级还原正确率 | 268 张 | ≥0.90 | ≥0.82 | 0.858 | 有条件通过 |
| 多值单元格 | 多值拆分正确率 | 196 张 | ≥0.88 | ≥0.78 | 0.806（整改复测后；整改前 0.698） | 有条件通过 |
| 公式解析 | 公式区域检出率 | 412 个 | ≥0.95 | ≥0.90 | 0.934 | 有条件通过 |
| 公式解析 | 符号正确率 | 412 个 | ≥0.92 | ≥0.85 | 0.882 | 有条件通过 |
| 公式解析 | 可计算还原率（算例验算一致） | 141 个带算例 | ≥0.85 | ≥0.75 | 0.787（整改复测后；整改前 0.713） | 有条件通过 |
四层分列统计而不用一个总精度，是本项验证的要点。单元格级精度取第三、四层的联合正确率，其含义是单元格文本正确且行列表头绑定正确。只报文本正确率会高估能力——文本抄对了但绑到了错误的行表头，查「某材料某厚度的限值」仍然会查错。
不可解析清单：31 页扫描件因印刷错位，经双人确认后列入不可解析清单，不计入精度分母，页码与原因在附件中据实列明。
**第 5 章 任务层验证结果**
| 验证项 | 指标 | 题量 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 单轮参数查询 | 限值回答精确匹配率 | 160 | ≥0.92 | ≥0.85 | 0.894 | 有条件通过 |
| 单轮条文解读 | 要点覆盖率 | 120 | ≥0.88 | ≥0.80 | 0.858 | 有条件通过 |
| 多轮对话 | 末轮要点覆盖率 | 110 | ≥0.85 | ≥0.78 | 0.818 | 有条件通过 |
| 多轮对话 | 指代消解正确率 | 110 | ≥0.90 | ≥0.82 | 0.864 | 有条件通过 |
| 多轮对话 | 上下文条件继承正确率 | 110 | ≥0.92 | ≥0.85 | 0.882 | 有条件通过 |
| 历史版本 | 版本标注完整率 | 60 | ≥0.95 | ≥0.90 | 0.933 | 有条件通过 |
| 历史版本 | 新旧差异说明正确率 | 60 | ≥0.85 | ≥0.75 | 0.800 | 有条件通过 |
| 无证据题 | 正确拒答率 | 40 | ≥0.90 | ≥0.85 | 0.900 | 通过 |
| 数据可视化 | 检索量统计、高频条款排名、用户活跃度、统计口径、时间边界五项 | — | — | — | **未验证**（行为数据埋点未开通） | 未验证 |
历史版本类题目的硬要求在本轮执行中按方案落实：答案须同时给出版本号与该版本的现行有效状态，只给数值不给版本的答案即使数值正确也判该题不通过。按此口径，60 道版本辨析题中有 4 道因未给版本而判不通过，这 4 道的数值本身是对的。这个判法要写在报告里，否则看指标的人会以为这 4 道答错了数。
数据层验证要点：标准正文中的数表不以纯文本形式平铺进预训练语料，而以结构化形式单独入知识库供检索；预训练语料中保留表的说明性文字与表题。对照实验结果：同一批数值类问题，不提供检索证据时答对率 0.368、提供检索证据时 0.894，差距 52.6 个百分点，为检索路径必要性的证据。
**第 6 章 效率与稳定合规验证结果**
| 项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 响应时长 | P95 | — | — | 单轮 18.6 秒；多轮末轮 52.4 秒 | 记录 |
| 同题一致率 | 重复三次要点一致的题目占比 | ≥0.95 | ≥0.90 | 0.918 | 有条件通过 |
| 权限越权率 | 三档账号分别跑同一分册 | 0 | 0 | 0 | 通过 |
| 敏感信息外露率 | — | 0 | ≤0.01 | 0 | 通过 |
| 相对人工缩短幅度 | 同题人工对照组计时 | — | — | 【待填：人工基线实测后给出】 | 待实测 |
**第 7 章 归因、改进需求与复测**
| 归因方向 | 涉及题数或样本 | 占比 | 证据 | 改进需求与状态 |
|---|---|---|---|---|
| 难表型解析规则缺口 | 表格类失败 216 项 | 34.8% | 跨页续表、多值单元格两型的失败占表格类失败的 68.4% | TG2-RQ-01 补两型规则：已完成，续表 0.745→0.853，多值 0.698→0.806 |
| 公式结构还原缺口 | 公式类失败 54 项 | 8.7% | 下标上标层级丢失、分式与根式嵌套偏差 | TG2-RQ-02 补公式结构规则：已完成，可计算还原率 0.713→0.787 |
| 限值适用条件未上溯 | 限值类失败 118 项 | 19.0% | 20.6% 的限值条目缺适用条件 | TG2-RQ-03 补上溯规则：已完成，适用条件完整率 0.794→0.848 |
| 台账未确认 | 版本类失败 68 项 | 11.0% | 替代关系与现行有效状态在推定口径下执行 | TG2-RQ-04 请招标方标准化部门提供台账：进行中 |
| 多轮上下文维持能力不足 | 多轮题失败 96 项 | 15.5% | 指代消解在第 3 轮之后明显下降（第 1—2 轮 0.934，第 3 轮后 0.812） | TG2-RQ-05 补多轮样本并调整上下文组织：待 V1.1 |
| 埋点未开通 | 可视化 5 项 | 11.0% | 行为日志接口未开通 | TG2-RQ-06 接口开通后单独验证：待开通 |
复测范围按分型处置而非整批返工：按难表型统计失败分布，对占比最高的两型补规则并把样例加入回归集，复测只跑该两型及总体抽样，避免整批重解析带来的工期影响。
**第 8 章 三级判据判定汇总与受限说明**
| 判定档 | 验证项数 | 说明 |
|---|---|---|
| 通过 | 4 | 核心元数据、无证据题正确拒答率、权限越权率、敏感信息外露率 |
| 有条件通过 | 21 | 知识库 9 项、解析 11 项、任务层 7 项中的 7 项、稳定性 1 项（部分项经复测后指标已提升但仍未达目标值） |
| 不通过 | 0 | — |
| 未验证 | 5 | 数据可视化能力的五项 |
| 待实测 | 1 | 相对人工缩短幅度 |
| 受限项 | 内容 |
|---|---|
| 受限一 | 标准台账未由招标方确认，替代关系与现行有效状态两项为推定口径下的结果 |
| 受限二 | 典型合规案例仅 18 例，案例类结论的样本量在报告中据实列明，不足部分以构造用例替代并标注为构造题 |
| 受限三 | 行为数据埋点未开通，数据可视化能力列为未验证项 |
| 受限四 | 31 页不可解析页面不计入精度分母，页码与原因列明 |
| 受限五 | 多轮对话在第 3 轮之后的指代消解明显下降，长对话场景的结论按前两轮水平不成立，分轮次报告 |
| 恢复条件 | 台账提供；案例补充；埋点开通；多轮样本补充 |
| 重算安排 | 逐项重算；分轮次与分难表型的分列报告口径保持不变 |
**本场景任务可用性判定（b1557、b1558）**
| 字段 | 参数限值查询任务 | 条文解读任务 | 表格与公式解析任务 | 多轮对话任务 | 历史版本辨析任务 | 标准台账相关判定任务 | 数据可视化任务 |
|---|---|---|---|---|---|---|---|
| 验证任务定义 | 给定材料、规格或工况，返回标准中的参数限值 | 给定条文与提问，输出含义与适用条件 | 给定标准文件，提取表格（到单元格级）与公式 | 给定多轮追问，在上下文中持续作答 | 给定问题，区分标准的历史版本与现行版本作答 | 给定标准号，判定其替代关系与现行有效状态 | 给定统计周期，输出检索量、高频条款、用户活跃度 |
| 输入 | 自然语言问题 | 条文原文与提问 | 原生 PDF 与扫描件 | 连续多轮问题 | 含版本意味的问题 | 标准号与封面信息 | 检索与查看行为日志 |
| 期望输出 | 限值数值、单位、适用条件、出处 | 要点齐备的解读与出处 | 表结构、单元格内容、行列表头绑定、可计算的公式 | 末轮答复，指代与上下文条件正确继承 | 版本号、该版本现行有效状态、新旧差异 | 替代关系与现行有效状态 | 五项统计结果与统计口径、时间边界 |
| 评价方式 | 精确匹配（数值无「接近正确」一说；单位或适用条件缺失判该题不通过） | 要点覆盖率 | 四层分列：表区域检出、结构还原、单元格内容、语义绑定；单元格级精度取第三、四层联合正确率 | 末轮要点覆盖率、指代消解、上下文条件继承，分轮次统计 | 版本标注完整率、新旧差异说明正确率 | 与招标方标准台账比对 | 五项统计与口径、时间边界的正确性 |
| 评测集构成 | 参数限值查询 160 题 | 条文解读 120 题 | 600 张表、32 400 个单元格、412 个公式（141 个带算例） | 多轮追问 110 题 | 版本辨析 60 题（历史版本原件 62 份） | 四类标准原文与台账 | — |
| 本轮实测结果（示意值） | 精确匹配率 0.894（下限 0.85，目标 0.92） | 要点覆盖率 0.858（下限 0.80） | 单元格级精度 0.896（整改前 0.864）；跨页续表 0.853（整改前 0.745）；多值单元格 0.806（整改前 0.698）；公式可计算还原率 0.787（整改前 0.713）；31 页不可解析页面列入清单，不计入分母 | 末轮要点覆盖率 0.818；指代消解 0.864；上下文条件继承 0.882；第 3 轮之后指代消解明显下降 | 版本标注完整率 0.933；新旧差异说明正确率 0.800；60 题中 4 题因未给版本判不通过（数值本身正确） | 替代关系 0.916、现行有效状态 0.958，均在推定口径下取得 | 未验证 |
| **可用性判定** | **有条件可用**——答复须同时给出数值、单位、适用条件与出处；缺任一项不得采用。精确匹配率 0.894 意味着约一成的限值查询需要人工核对原文 | **有条件可用**——解读须随条文原文一并呈现 | **有条件可用**——原生 PDF 的规则表可用；跨页续表、多级表头、多值单元格三类难表型的结果须人工复核；31 页不可解析页面不进入知识库，按纸质件处理 | 前两轮 **有条件可用**；第 3 轮及以后的长对话 **暂不可用** | **有条件可用**——答复须同时给版本号与该版本的现行有效状态；只给数值的答复不得采用 | **暂不可用** | **本轮不判定** |
| 不达预期的定位结论（b1558） | 定位至知识库侧的参数限值适用条件完整率 0.848，限值抽到了而适用条件没抽全 | 定位至设计手册类片段的切分完整率 0.864，设计手册的最小可答片段边界不清 | 定位至四类难表型的解析规则；整改已提升三类（续表、多值、公式还原），仍低于目标值 | 定位至多轮样本中三轮以上对话的样本量不足，长对话的指代链条未被充分覆盖 | 定位至历史版本原件仅获取 62 份，题量已按实际下调 | 不是指标问题：标准台账未由招标方标准化管理部门确认，本轮以标准原文封面信息推定。涉及条款编号变动的引用，推定口径可能与实际不符 | 行为数据埋点未开通，无可供验证的数据 |
| 回流去向与复测安排 | 适用条件补抽规则修订后，参数限值类题目子集复测 | 设计手册片段切分规则修订后，该类题目子集复测 | 难表型解析规则持续修订，按难表型分列复测；已完成一轮（见第七章） | 三轮以上多轮样本补充后，按分轮次口径复测，在此之前不给长对话结论 | 历史版本原件补充后按实际题量重算 | 请招标方标准化管理部门提供台账；提供后重算替代关系与现行有效状态两项并重新判定 | 埋点开通后按五项验证；在此之前不以推断代替实测结论 |
多轮对话任务拆成两段判定，是因为它在第 3 轮前后是两种状态。前两轮的指代消解与上下文条件继承都在下限以上，第 3 轮之后明显下降——若给一个合并结论「多轮对话有条件可用」，接入方会按它去做长对话场景，而长对话正是这个任务最薄弱的地方。分轮次报告、分轮次判定，接入方才知道可以用到第几轮。
数据可视化判为「本轮不判定」而不是「不可用」，差别在依据。埋点未开通，这项能力一次都没有被测过；说它不可用与说它可用一样没有根据。本项目在这一点上的口径是：数据条件不具备的验证项如实标注未验证，不给一个无依据的结论。按 T14 节约定的回退顺序，本轮先保知识库与解析精度，再保问答能力，可视化排在最后，本轮按此顺序执行。
**错样样例（节选六条）**
| 题号 | 题面摘要 | 参考答案要点 | 实际答复 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| BZ-0072 | 某牌号钢板在某厚度档的屈服强度下限 | 数值＋单位＋厚度适用区间＋标准号 | 数值与单位正确，厚度适用区间缺失 | 适用条件缺失 | 知识库侧参数限值的适用条件完整率 0.848 | 适用条件补抽规则修订；该题按不通过计（无适用条件的限值在工程上不可用） |
| BZ-0145 | 某多级表头表中某行某列的限值 | 按行列表头绑定取正确单元格 | 单元格文本抄对，绑到了相邻行表头，取到另一档的限值 | 语义绑定错 | 多级表头表的表头层级还原 0.858 | 难表型解析规则修订；按难表型分列复测 |
| BZ-0218 | 第 4 轮追问「那它的上限呢」 | 继承前三轮的材料与工况条件后作答 | 丢失第 2 轮设定的工况条件，按默认工况作答 | 指代与条件丢失 | 三轮以上对话样本不足，长对话指代链条未覆盖 | 多轮样本补充；长对话结论在补充前不成立 |
| BZ-0291 | 某已被替代标准中的限值 | 给出数值＋版本号＋该版本已被替代的状态 | 数值正确，未给版本号 | 版本标注缺失 | 版本辨析类的硬要求未满足 | 按方案判该题不通过；60 题中此类 4 道，数值本身正确，报告中注明 |
| BZ-0344 | 某标准当前是否现行有效 | 按招标方台账给出状态 | 按封面信息推定，给出的状态与台账不符 | 口径不符 | 台账未确认，本轮为推定口径 | 台账提供后重算并重新判定 |
| BZ-0403 | 某扫描件页面中的公式 | 公式符号与可计算还原 | 该页列入不可解析清单，未作答 | 原件不可解析 | 31 页扫描件印刷错位，经双人确认 | 不计入精度分母；页码与原因列入附件十《不可解析页面清单》 |
第六条不是答错，是原件本身不可解析。把它单列的理由与分母口径有关：31 页不可解析页面若混进精度分母，解析精度会被系统性压低，而压低的原因与解析能力无关。双人确认后列清单、不计入分母、页码与原因据实列明，这三件要一起做——只做前两件而不列明页码，就成了把不利样本从分母里拿掉。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、四层分列统计的写法与判定粒度，不代表实际运行结果，也不构成对实测数值的承诺。分轮次、分难表型、分样本来源的分列口径不随数值变化，填入实测值时照此结构填。
**第 9 章 附件**
附件一至八同 5.7 节口径；本场景另有附件九《四层表格解析失败分布明细》（按难表型）、附件十《不可解析页面清单》、附件十一《公式算例验算明细》、附件十二《多轮对话分轮次指标明细》。
#### 5.9 样章二十四 场景验证报告 TG3 标书智能问答
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0023-V1.0 |
| 报告类型 | 场景级·TG3 标书智能问答 |
| 招标文件依据 | b1741—b1755 |
| 受验数据集版本 | 供需计划域切片 V1.0；基准评测子集·标书分册 V1.0（500 条） |
| 模型／知识库版本 | 模型版本标识【待填】；招投标知识库版本【待填】 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 验证项 | 招标文件依据 | 验证层 | 本轮是否判定 |
|---|---|---|---|
| 招投标文件知识库建设能力（投标文本知识、设备材料知识、资质与业绩材料） | b1746—b1748 | 知识层 | 是 |
| 标书智能解析能力与风险标注 | b1749—b1751 | 任务层 | 是 |
| 投标生成能力 | b1752、b1753 | 任务层 | 是（按数据侧口径，见下） |
| 投标文件智能评审能力 | b1754、b1755 | 任务层 | 是 |
本场景有一条边界要先讲清。招标文件第（3）项要求验证投标生成能力（b1752、b1753）。生成由场景侧的助手完成，本包验证的是生成所依赖的数据供给是否足以支撑——即生成内容中的事实项能否回溯到知识库中的确切来源、引用的历史表述是否适用于当前项目。生成文本的文采与说服力不在本包验证范围。
**第 2 章 接入条件与就绪度结论**
| 条件项 | 要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 历史投标文件 | 覆盖 5 类项目，抽样 ≥30 份 | 获取 36 份，覆盖 5 类 | 通过 |
| 投标文件模板库 | 与现行投标文件结构对照 | 已获取 | 通过 |
| 资质材料 | 六字段齐备（名称、编号、发证机关、发证日期、有效期、适用范围） | 齐备率 94.2% | 通过 |
| 业绩材料 | 合同、发票、验收单、中标通知书四件套关联 | 关联完整的项目组 68 组 | 通过 |
| 设备材料参数 | 参数条目 ≥500 条 | 获取 620 条 | 通过 |
| 招标文件样本 | ≥15 份用于解析验证 | 获取 18 份 | 通过 |
| 历史评审意见 | 用于评审能力验证的注入缺陷来源 | 获取 42 条 | 通过 |
就绪度结论：通过。资质与业绩材料涉及企业证照与合同原件，本轮验证在招标方内网执行，材料不出内网，且验证过程不解密个人信息字段。
**第 3 章 验证基准集与防失真措施**
| 项 | 内容 |
|---|---|
| 基准分册规模 | 500 条：要点抽取与风险标注 200、内容生成 150、文件评审 150 |
| 现场抽样题 | 40 条 |
| 无证据题 | 40 条（8%） |
| 改写题 | 75 条（15%） |
| 注入缺陷用例 | 评审类共 125 处注入缺陷（废标项 25、资格性 25、评分项 25、遗漏 25、格式 25） |
| 与训练集隔离 | 双向查重；本轮退回重出 6 题 |
| 专家终审 | 500 题全部经招标方相关业务部门专家确认 |
| 判分策略 | 要点抽取类用准确率与召回率双报；生成类用事实可回溯率与要点覆盖率；评审类用注入缺陷检出率与误报率 |
| 模型裁判校准 | 100 题校准，一致率 0.88 |
| 人工复核 | 双人独立判分；Kappa 0.80 |
**第 4 章 知识层验证结果**
| 验证项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 历史投标文本 | 章节识别正确率（抽样 36 份） | ≥0.95 | ≥0.90 | 0.936 | 有条件通过 |
| 历史投标文本 | 可复用段落切分完整率 | ≥0.90 | ≥0.82 | 0.864 | 有条件通过 |
| 历史投标文本 | 项目特征标签完整率（四类特征） | ≥0.90 | ≥0.80 | 0.842 | 有条件通过 |
| 模板库 | 章节覆盖完整率 | ≥0.95 | ≥0.88 | 0.914 | 有条件通过 |
| 模板库 | 占位字段标识正确率 | ≥0.95 | ≥0.90 | 0.932 | 有条件通过 |
| 实施方案与售后承诺 | 条目切分完整率 | ≥0.90 | ≥0.82 | 0.878 | 有条件通过 |
| 设备材料知识 | 参数条目抽取正确率（抽样 500 条） | ≥0.95 | ≥0.88 | 0.922 | 有条件通过 |
| 资质材料 | 六字段抽取正确率 | ≥0.95 | ≥0.90 | 0.938 | 有条件通过 |
| 资质材料 | 有效期字段正确率 | ≥0.98 | ≥0.95 | 0.976 | 有条件通过 |
| 业绩材料 | 四件套关联正确率 | ≥0.95 | ≥0.88 | 0.912 | 有条件通过 |
有效期字段单列且门限最高，原因是资质过期是实际发生过的废标情形。本项 0.976 低于目标 0.98，差距虽小但该项的错误代价高，因此在第七章列为优先整改项。
**第 5 章 任务层验证结果**
**5.1 标书智能解析与风险标注**
| 验证项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 项目基本信息 | 字段抽取正确率（18 份招标文件） | ≥0.98 | ≥0.95 | 0.974 | 有条件通过 |
| 资格性要求 | 准确率／召回率 | ≥0.95／≥0.92 | ≥0.90／≥0.88 | 0.928／0.902 | 有条件通过 |
| 评分标准 | 评分子项拆分准确率／召回率 | ≥0.95／≥0.92 | ≥0.90／≥0.86 | 0.922／0.894 | 有条件通过 |
| 评分标准 | 分值与评分依据绑定正确率 | ≥0.95 | ≥0.90 | 0.918 | 有条件通过 |
| 废标条款 | 召回率（不设有条件通过档） | ≥0.98 | ≥0.95 | 0.962 | 通过（达下限） |
| 废标条款 | 否决性表述特征召回率（兜底规则测试集） | ≥0.98 | ≥0.95 | 0.974 | 通过 |
| 技术参数与设备要求 | 准确率／召回率 | ≥0.95／≥0.90 | ≥0.88／≥0.85 | 0.906／0.882 | 有条件通过 |
| 业绩证明材料要求 | 准确率／召回率 | ≥0.95／≥0.90 | ≥0.88／≥0.85 | 0.914／0.876 | 有条件通过 |
| 风险标注 | 五类风险检出率（分列） | ≥0.90 | ≥0.80 | 0.84 至 0.91（分类见附件） | 有条件通过 |
| 风险标注 | 误报率 | ≤0.08 | ≤0.15 | 0.112 | 有条件通过 |
废标条款召回率一项不设有条件通过档，实测 0.962 达下限 0.95 但未达目标 0.98。本报告的处置是判为通过并同时列出漏检的 7 条废标条款原文与漏检原因，因为这一项的性质是「漏一条就可能废标」，必须把漏的那几条具体列出来，而不是只报一个召回率。漏检的 7 条中 5 条为否决性表述出现在附件而非正文，2 条为表述形式特殊（以表格备注形式给出）。
**5.2 投标生成能力（数据侧验证口径）**
| 验证项 | 指标 | 题量 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 事实正确性 | 事实项可回溯率 | 150 | ≥0.98 | ≥0.95 | 0.964 | 有条件通过 |
| 事实正确性 | 无依据事实项题目占比 | 150 | ≤0.02 | ≤0.05 | 0.033 | 有条件通过 |
| 事实正确性 | 事实项与来源一致率（抽样 800 个事实项） | ≥0.98 | ≥0.95 | 0.972 | 有条件通过 |
| 要求覆盖 | 应答要点覆盖率 | 150 | ≥0.88 | ≥0.80 | 0.846 | 有条件通过 |
| 适用性 | 引用历史表述适用率（抽样 300 处引用） | ≥0.92 | ≥0.85 | 0.884 | 有条件通过 |
| 商务材料生成 | 资质与业绩清单完整率 | 40 | ≥0.95 | ≥0.90 | 0.925 | 有条件通过 |
| 技术方案生成 | 技术参数响应正确率 | 50 | ≥0.92 | ≥0.85 | 0.880 | 有条件通过 |
| 售后方案生成 | 服务承诺与招标要求匹配率 | 30 | ≥0.92 | ≥0.85 | 0.900 | 有条件通过 |
无依据事实项的 5 题（3.3%）逐题列出：3 题涉及业绩金额，引用了历史投标文件中的表述但该表述在业绩材料中无对应凭证；2 题涉及设备参数，引用了已停产型号的参数。这两类都是知识库侧的问题——历史投标文本中的表述不等于有凭证的事实，设备参数需要带在产状态。改进需求据此提出。
**5.3 投标文件智能评审能力**
| 验证项 | 指标 | 用例量 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 废标项检查 | 注入缺陷检出率 | 25 处 | ≥0.96 | ≥0.92 | 0.96（24／25） | 通过 |
| 资格性审查 | 检出率／误报率 | 25 处 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | 0.88／0.104 | 有条件通过 |
| 评分项审查 | 检出率／误报率 | 25 处 | ≥0.90／≤0.10 | ≥0.82／≤0.18 | 0.84／0.132 | 有条件通过 |
| 遗漏检查 | 检出率 | 25 处 | ≥0.90 | ≥0.82 | 0.84 | 有条件通过 |
| 格式规范性检查 | 检出率 | 25 处 | ≥0.95 | ≥0.88 | 0.92 | 有条件通过 |
| 评审报告 | 缺陷原文定位准确率 | 全部检出项 | ≥0.95 | ≥0.90 | 0.936 | 有条件通过 |
| 评审报告 | 风险等级与分级口径一致率 | 全部检出项 | ≥0.92 | ≥0.85 | 0.884 | 有条件通过 |
| 评审报告 | 修改建议可直接执行占比 | 业务人员评定 | ≥0.70 | ≥0.55 | 0.624 | 有条件通过 |
**第 6 章 效率与稳定合规验证结果**
| 项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 响应时长 | P95 | — | — | 要点抽取 36.4 秒；评审 128.6 秒 | 记录 |
| 同题一致率 | — | ≥0.95 | ≥0.90 | 0.906 | 有条件通过 |
| 权限越权率 | 三档账号 | 0 | 0 | 0 | 通过 |
| 敏感信息外露率 | 资质证书号、合同金额等 | 0 | ≤0.01 | 0 | 通过 |
| 相对人工缩短幅度 | 同题人工对照组计时 | — | — | 【待填：人工基线实测后给出】 | 待实测 |
**第 7 章 归因、改进需求与复测**
| 归因方向 | 占比 | 证据 | 改进需求与状态 |
|---|---|---|---|
| 附件与表格备注中的条款未纳入解析范围 | 32.4% | 废标条款漏检 7 条中 5 条在附件、2 条在表格备注 | TG3-RQ-01 解析范围扩展至附件与表格备注：已完成，废标召回率 0.962→0.982 |
| 历史投标表述缺凭证绑定 | 24.6% | 无依据事实项中 3 题涉及业绩金额 | TG3-RQ-02 历史投标文本的事实项强制绑定凭证编号，未绑定的标注为「待核事实」：已完成 |
| 设备参数缺在产状态 | 18.2% | 2 题引用停产型号参数 | TG3-RQ-03 设备材料知识补在产状态与替代型号字段：进行中 |
| 项目特征标签体系不全 | 14.8% | 四类特征中「技术复杂度」一类的标注一致性偏低 | TG3-RQ-04 补该类特征的判定口径与示例：待 V1.1 |
| 评分口径理解偏差 | 10.0% | 评分项审查误报集中在「同等条件」类表述 | TG3-RQ-05 补评分依据的表述形式模式库：待 V1.1 |
**第 8 章 三级判据判定汇总与受限说明**
| 判定档 | 验证项数 | 说明 |
|---|---|---|
| 通过 | 5 | 废标条款召回率（复测后达目标）、否决性表述特征召回率、废标项检查检出率、权限越权率、敏感信息外露率 |
| 有条件通过 | 28 | 知识层 10 项、解析 8 项、生成 8 项中的 8 项、评审 7 项中的 7 项、同题一致率 |
| 不通过 | 0 | — |
| 待实测 | 1 | 相对人工缩短幅度 |
| 受限项 | 内容 |
|---|---|
| 受限一 | 设备材料知识缺在产状态字段，涉及设备参数的生成类结论须人工核对型号状态 |
| 受限二 | 项目特征标签中「技术复杂度」一类的标注一致性偏低，按该特征检索历史表述的适用率结论不成立 |
| 受限三 | 投标生成能力的验证限于数据供给侧（事实可回溯、引用适用性），生成文本的表达质量不在本包验证范围 |
| 受限四 | 效率类结论待人工基线实测 |
| 恢复条件 | 在产状态字段补齐；特征标注口径补充；人工对照组组织完成 |
**本场景任务可用性判定（b1557、b1558）**
本场景有一条边界在第 1 章已写明，判定时仍要再说一次：投标生成由场景侧的助手完成，本包验证的是生成所依赖的数据供给是否足以支撑——事实项能否回溯到知识库中的确切来源、引用的历史表述是否适用于当前项目。生成文本的表达质量不在本包验证范围，因此下表中生成类任务的可用性判定也只覆盖数据供给侧。
| 字段 | 招标文件解析与要点抽取任务 | 废标条款识别任务 | 风险标注任务 | 投标生成的数据供给任务 | 按项目特征检索历史表述任务 | 投标文件智能评审任务 | 服务响应效率 |
|---|---|---|---|---|---|---|---|
| 验证任务定义 | 给定招标文件，抽取项目信息、资格性要求、评分标准、技术参数、业绩要求 | 给定招标文件，识别废标与否决性条款 | 给定招标文件，标注五类风险并分级 | 给定应答要求，供给可回溯的事实项与可复用历史表述 | 给定项目特征，检索适用的历史投标表述 | 给定投标文件，检出废标项、资格性、评分项、遗漏、格式五类缺陷 | 给定典型任务，测端到端用时 |
| 输入 | 招标文件原件 | 招标文件正文与附件 | 招标文件全文 | 应答要求、知识库、资质与业绩材料 | 项目特征标签、历史投标文本 | 投标文件与对应招标文件 | 要点抽取与评审两类任务 |
| 期望输出 | 各类要点条目及其原文定位 | 废标条款清单及原文 | 风险条目、类型、等级、依据 | 事实项及其来源定位、要点覆盖 | 可复用表述及其适用性说明 | 缺陷清单、原文定位、风险等级、修改建议 | 端到端时长与缩短幅度 |
| 评价方式 | 各类的准确率与召回率双报 | 召回率（不设有条件通过档），漏检条款逐条列出 | 五类风险分列检出率与误报率 | 事实项可回溯率、无依据事实项占比、事实项与来源一致率、要点覆盖率 | 引用历史表述适用率，按特征类分列 | 125 处注入缺陷的分类检出率与误报率，加缺陷定位准确率与建议可执行占比 | 相对人工对照组的缩短幅度，与质量结论绑定 |
| 评测集构成 | 18 份招标文件；要点抽取与风险标注共 200 题 | 同左，另有否决性表述兜底规则测试集 | 五类风险用例，分类见附件十一 | 内容生成 150 题，抽样 800 个事实项、300 处引用 | 抽样 300 处引用，按四类项目特征分列 | 文件评审 150 题，注入缺陷 125 处（五类各 25） | 两类任务各一组对照 |
| 本轮实测结果（示意值） | 项目基本信息 0.974；资格性 0.928／0.902；评分子项 0.922／0.894；技术参数 0.906／0.882；业绩要求 0.914／0.876 | 废标条款召回率 0.962（下限 0.95，目标 0.98）；否决性表述特征召回率 0.974；漏检 7 条已逐条列出原文与原因 | 五类检出率 0.84 至 0.91；误报率 0.112 | 事实项可回溯率 0.964；无依据事实项占比 0.033；事实项与来源一致率 0.972；要点覆盖率 0.846 | 引用历史表述适用率 0.884；项目特征标签完整率 0.842，其中「技术复杂度」一类的标注一致性明显低于其余三类 | 废标项检查 0.96（24／25）；资格性 0.88／0.104；评分项 0.84／0.132；遗漏 0.84；格式 0.92；缺陷定位 0.936；建议可直接执行 0.624 | P95：要点抽取 36.4 秒、评审 128.6 秒；缩短幅度【待填】 |
| **可用性判定** | **有条件可用**——各类要点须随原文定位一并呈现，由投标编制岗位逐条核对后采用 | **可用**——但采用的前提是漏检的 7 条按本报告所列原因补规则，且使用时保留否决性表述的兜底规则通道 | **有条件可用**——五类风险的检出率分列在 0.84 至 0.91 之间，检出结果作为提示，不作为「无风险」的依据 | **有条件可用**——事实项须随来源定位呈现；涉及设备型号的事实项须人工核对在产状态（知识库缺该字段） | **暂不可用** | **有条件可用**——检出的缺陷可直接进入复核流程；未检出不等于无缺陷，评分项与遗漏两类检出率 0.84，须保留人工终审 | **本轮不判定** |
| 不达预期的定位结论（b1558） | 定位至历史投标文本的可复用段落切分完整率 0.864 与条目切分完整率 0.878 | 漏检 7 条中 5 条为否决性表述出现在附件而非正文，2 条以表格备注形式给出；定位至招标文件样本中附件与表格备注形态的覆盖不足 | 定位至五类风险用例在低频风险类上的样本偏少 | 定位至设备材料知识缺「在产状态」字段，该字段当前不在知识库范围内 | 不是模型问题：「技术复杂度」特征的标注一致性偏低，按该特征检索历史表述的适用率结论本身不成立——分母上的特征标签就不可靠 | 定位至注入缺陷用例中评分项与遗漏两类的形态覆盖不足 | 人工基线尚未实测 |
| 回流去向与复测安排 | 段落与条目切分规则修订后，相应题目子集复测 | 补附件与表格备注形态的样本并修订兜底规则；废标条款类题目全量复测（该项不抽样复测） | 低频风险类用例补充后分类复测 | 补齐设备材料知识的在产状态字段；补齐前涉及设备型号的生成类结论须人工核对型号状态 | 补充「技术复杂度」特征的标注口径说明并重标；重标后重算适用率并重新判定 | 评分项与遗漏两类的注入缺陷形态补充后分类复测 | 组织人工对照组实测基线后给出 |
废标条款识别判为可用，而它的召回率 0.962 并未达到目标值 0.98——这个判法需要解释。该项不设「有条件通过」档，因为它的失败后果是废标，没有「部分可用」的中间状态。本报告的处置是：判为达下限可用，同时把漏检的 7 条原文、漏检原因、补规则方向逐条列出（见附件九），并要求使用时保留否决性表述的兜底规则通道。这样写的用意是让使用方知道这一项的风险落在哪里——不是均匀分布在所有条款上，而是集中在附件与表格备注两种形态。
按项目特征检索历史表述判为暂不可用，依据不在指标值，而在指标的分母。适用率 0.884 看上去并不低，但它是按项目特征标签算出来的，而「技术复杂度」这一类特征的标注一致性本身偏低——标签不可靠，按标签算出来的适用率就不可靠。这类情形与指标未达标不同：指标未达标知道差多少，分母不可靠则连差多少都不知道。
**错样样例（节选六条）**
| 题号 | 题面摘要 | 参考答案要点 | 实际答复 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| TB-0046 | 某招标文件附件中的否决性条款 | 识别为废标条款并给出原文 | 未识别（该表述在附件而非正文） | 漏检 | 招标文件样本中附件形态覆盖不足 | 补附件形态样本并修订兜底规则；废标条款类全量复测 |
| TB-0118 | 某评分表以表格备注形式给出的否决条件 | 识别为废标条款 | 识别为一般性说明 | 形态误判 | 表格备注形态未进入特征规则 | 同上；7 条漏检逐条列入附件九 |
| TB-0203 | 应答中引用某型设备的技术参数 | 参数可回溯且该型号在产 | 参数可回溯，未提示该型号已停产 | 依据不完整 | 知识库缺「在产状态」字段 | 补齐该字段；补齐前涉及设备型号的生成类结论须人工核对 |
| TB-0287 | 按「技术复杂度高」检索可复用的实施方案表述 | 返回适用于同复杂度项目的表述 | 返回的表述出自复杂度明显更低的项目 | 适用性错配 | 「技术复杂度」特征标注一致性偏低，标签本身不可靠 | 补充标注口径说明并重标；重标后重算适用率 |
| TB-0341 | 投标文件中注入一处评分项遗漏缺陷 | 检出该遗漏并定位原文 | 未检出 | 漏检 | 评分项与遗漏两类的注入缺陷形态覆盖不足 | 补充该两类形态的注入用例后分类复测 |
| TB-0398 | 应答中出现一条知识库里找不到依据的表述 | 标注为无依据事实项并提示补证 | 正确标注为无依据事实项 | 正确标注 | — | 不回流；无依据事实项占比 0.033，在下限内 |
末条保留的用意与前几份报告一致：这一项的正确行为是「找不到依据时说找不到」，而不是编一个出处。把正确标注的样例与漏检样例放在同一张表里，判分口径才看得清。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、分类分列统计的写法与判定粒度，不代表实际运行结果，也不构成对实测数值的承诺。废标条款类的漏检条目在实际执行时须逐条列明原文与原因，不以一个召回率代替；该口径不随数值变化。
**第 9 章 附件**
附件一至八同 5.7 节口径；本场景另有附件九《废标条款漏检清单》（7 条原文与漏检原因）、附件十《无依据事实项清单》（5 题逐题）、附件十一《五类风险分列检出率明细》、附件十二《注入缺陷用例清单》（125 处）。
#### 5.10 样章二十五 场景验证报告 TG4 决策数据智能问答
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0024-V1.0 |
| 报告类型 | 场景级·TG4 决策数据智能问答 |
| 招标文件依据 | b1756—b1771 |
| 受验数据集版本 | 九业务域指标相关切片 V1.0；基准评测子集·决策分册 V1.0（600 条） |
| 模型／知识库版本 | 模型版本标识【待填】；指标知识库版本【待填】；决策指标体系版本【待填】 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 验证项 | 招标文件依据 | 验证层 | 本轮是否判定 |
|---|---|---|---|
| 决策数据知识库建设能力（指标知识、业务概念、规则知识、分析报告） | b1761—b1765 | 知识层 | 是 |
| 自然语言查数与可视化、多维分析 | b1766、b1767 | 任务层 | 是 |
| 智能异动归因 | b1768、b1769 | 任务层 | 是 |
| 多轮上下文问答 | b1770、b1771 | 任务层 | 是 |
排期前提：招标文件已写明决策指标体系在数据治理规划完成后形成（b1759），且指标知识库须依据招标方提供的指标口径与计算逻辑建设。因此本场景的验证启动以指标体系定版为前提；指标体系未定版时，本场景的任务层验证不启动，只做知识库字段结构的就绪度核验。本轮执行的前提是指标体系已完成首版定版。
**第 2 章 接入条件与就绪度结论**
| 条件项 | 要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 决策指标体系（指标清单与口径定义） | 数据治理规划产出，招标方确认 | 首版已定版并确认；覆盖九业务域 | 通过 |
| 指标计算逻辑 | 可独立复算 | 可复算；与招标方报表同期值比对 | 通过 |
| 术语清单 | 招标方提供或从报告用词统计 | 已获取 | 通过 |
| 规则知识（六要素） | 按指标逐条登记 | 登记完成率 91.4% | 通过 |
| 历史分析报告 | 与招标方报告台账比对可归集 | 归集 186 份 | 通过 |
| 异动事件集 | 历史异动与注入用例 | 历史 60 起、注入 80 起 | 通过 |
| 正常期间对照集 | 用于误报率测定 | 180 个期间 | 通过 |
| 分级权限账号 | 三档 | 已配置 | 通过 |
就绪度结论：通过。一项提示：九业务域中有一域（安全环保）的指标条目数明显少于其他域，该域的结论样本量在报告中据实列明。
**第 3 章 验证基准集与防失真措施**
| 项 | 内容 |
|---|---|
| 基准分册规模 | 600 条：自然语言查数 240、多维分析 120、异动归因 140、多轮上下文 100 |
| 现场抽样题 | 50 条 |
| 无证据题 | 48 条（8%） |
| 改写题 | 90 条（15%） |
| 与训练集隔离 | 双向查重；本轮退回重出 14 题 |
| 专家终审 | 600 题全部经招标方相应业务部门专家确认 |
| 判分策略 | 数值类用与独立复算结果的容差内一致；多维分析用维度完整率与汇总平衡率；归因类用真实因素命中与链条节点重合 |
| 模型裁判校准 | 100 题校准，一致率 0.85，达门限（临界） |
| 人工复核 | 双人独立判分；Kappa 0.77 |
| 时间屏障 | 异动归因类题目以数据视图裁剪实现屏障，执行时不可见事件之后的数据 |
**第 4 章 知识层验证结果**
| 验证项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 指标知识 | 指标条目覆盖率 | ≥0.98 | ≥0.95 | 0.972 | 有条件通过 |
| 指标知识 | 八字段登记完整率 | ≥0.95 | ≥0.90 | 0.928 | 有条件通过 |
| 指标知识 | 计算逻辑复算一致率 | ≥0.95 | ≥0.88 | 0.936 | 有条件通过 |
| 指标知识 | 九业务域覆盖 | 九域均有 | 缺口 ≤1 域且已列明 | 九域均有指标与规则条目；安全环保域条目数偏少，已列明 | 通过 |
| 业务概念 | 术语条目覆盖率 | ≥0.95 | ≥0.88 | 0.914 | 有条件通过 |
| 业务概念 | 同名异义术语分列正确率 | ≥0.92 | ≥0.85 | 0.874 | 有条件通过 |
| 规则知识 | 规则条目完整率（六要素） | ≥0.92 | ≥0.85 | 0.886 | 有条件通过 |
| 规则知识 | 边界用例唯一确定率（每条规则 ≥3 用例） | ≥0.90 | ≥0.80 | 0.842 | 有条件通过 |
| 分析报告 | 报告归集完整率 | ≥0.98 | ≥0.95 | 0.968 | 有条件通过 |
| 分析报告 | 报告内指标数值抽取正确率（抽样 600 个数值） | ≥0.95 | ≥0.90 | 0.932 | 有条件通过 |
| 分析报告 | 结论片段与指标对齐率 | ≥0.88 | ≥0.80 | 0.842 | 有条件通过 |
同名异义术语分列正确率 0.874 需要说明。本场景的典型难例是「产值」「完工量」这类词在生产、财务、营销三个口径下含义不同。分列不正确的后果不是答错一道题，而是把三个口径的数混在一起回答，这类错误在报表上看不出来。因此本项在第七章列为优先整改项。
**第 5 章 任务层验证结果**
**5.1 自然语言查数与多维分析**
| 验证项 | 指标 | 题量 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 指标识别 | 指标选对率 | 240 | ≥0.92 | ≥0.85 | 0.892 | 有条件通过 |
| 口径识别 | 口径选对率 | 240 | ≥0.90 | ≥0.82 | 0.854 | 有条件通过 |
| 期间解析 | 期间解析正确率 | 240 | ≥0.95 | ≥0.90 | 0.938 | 有条件通过 |
| 数值正确 | 与独立复算一致率（容差内） | 240 | ≥0.95 | ≥0.88 | 0.916 | 有条件通过 |
| 多维分析 | 维度值完整率 | 120 | ≥0.95 | ≥0.88 | 0.908 | 有条件通过 |
| 多维分析 | 切片汇总平衡率 | 120 | ≥0.95 | ≥0.90 | 0.925 | 有条件通过 |
| 多维分析 | 差额可解释率（不平衡项） | 不平衡项 | ≥0.90 | ≥0.80 | 0.844 | 有条件通过 |
| 可视化 | 图表类型匹配率 | 抽样 100 | ≥0.90 | ≥0.82 | 0.870 | 有条件通过 |
| 可视化 | 坐标轴与单位标注正确率 | 抽样 100 | ≥0.95 | ≥0.90 | 0.930 | 有条件通过 |
| 可视化 | 图表数值与文字结论一致率 | 抽样 100 | ≥0.98 | ≥0.95 | 0.970 | 有条件通过 |
**5.2 智能异动归因**
| 验证项 | 指标 | 基准 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 异动识别 | 检出率 | 140 起 | ≥0.90 | ≥0.82 | 0.871 | 有条件通过 |
| 异动识别 | 误报率 | 180 个正常期间 | ≤0.10 | ≤0.18 | 0.133 | 有条件通过 |
| 因素定位 | 真实因素命中率（注入用例 80 起） | — | ≥0.90 | ≥0.80 | 0.863 | 有条件通过 |
| 因素定位 | 真实因素命中率（历史事件 60 起） | — | ≥0.75 | ≥0.62 | 0.700 | 有条件通过 |
| 因素定位 | 真实因素进入前三占比（140 起） | — | ≥0.80 | ≥0.68 | 0.771 | 有条件通过 |
| 根源链条 | 链条节点重合率（注入 80 起） | — | ≥0.80 | ≥0.68 | 0.744 | 有条件通过 |
| 根源链条 | 链条节点重合率（历史 60 起） | — | ≥0.60 | ≥0.48 | 0.538 | 有条件通过 |
| 结论可用性 | 业务人员评定为「可作为排查起点」占比 | 140 起 | ≥0.75 | ≥0.60 | 0.693 | 有条件通过 |
注入用例与历史事件分别设判据，这一点在本场景尤其必要。注入用例的真实因素是已知的、单一的；历史事件的成因往往是多因素叠加，当时的结论本身也未必完整。把两者合并统计会得出一个既不反映能力上限也不反映实际难度的数。
**5.3 多轮上下文问答**
| 验证项 | 指标 | 题量 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 条件继承 | 条件继承正确率 | 100 | ≥0.92 | ≥0.85 | 0.884 | 有条件通过 |
| 条件更新 | 条件覆盖正确率 | 100 | ≥0.92 | ≥0.85 | 0.872 | 有条件通过 |
| 指代消解 | 指代消解正确率 | 100 | ≥0.90 | ≥0.82 | 0.856 | 有条件通过 |
| 意图漂移 | 漂移检出率 | 专设 30 轮 | ≥0.80 | ≥0.68 | 0.733 | 有条件通过 |
| 长程稳定 | 第 8 轮及以后条件继承正确率 | 20 | ≥0.85 | ≥0.75 | 0.800 | 有条件通过 |
| 末轮质量 | 末轮要点覆盖率 | 100 | ≥0.85 | ≥0.78 | 0.820 | 有条件通过 |
**第 6 章 效率与稳定合规验证结果**
| 项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 响应时长 | P95 | — | — | 单轮查数 22.4 秒；多维分析 48.6 秒；异动归因 96.2 秒 | 记录 |
| 同题一致率 | — | ≥0.95 | ≥0.90 | 0.912 | 有条件通过 |
| 权限越权率 | 三档账号分别跑同一分册 | 0 | 0 | 0 | 通过 |
| 敏感信息外露率 | 薪酬、成本等字段 | 0 | ≤0.01 | 0 | 通过 |
| 相对人工缩短幅度 | 同题人工对照组计时 | — | — | 【待填】 | 待实测 |
**第 7 章 归因、改进需求与复测**
| 归因方向 | 占比 | 证据 | 改进需求与状态 |
|---|---|---|---|
| 口径识别能力不足 | 34.2% | 口径选对率 0.854 最低；失败集中在同名异义术语（产值、完工量、库存周转） | TG4-RQ-01 同名异义术语强制分列并在提问时回问口径：已完成，口径选对率 0.854→0.896 |
| 规则边界用例不足 | 22.6% | 边界用例唯一确定率 0.842；部分规则仅 1 至 2 个用例 | TG4-RQ-02 每条规则补至 3 个边界用例：进行中 |
| 历史异动成因不完整 | 20.4% | 历史事件的链条重合率 0.538 明显低于注入用例的 0.744 | TG4-RQ-03 历史事件的成因补充复盘，补全链条标注：进行中 |
| 多轮上下文维持能力不足 | 14.2% | 指代消解 0.856；第 8 轮后条件继承 0.800 | TG4-RQ-04 补多轮样本；长对话按轮次分列报告：待 V1.1 |
| 安全环保域条目偏少 | 8.6% | 该域指标条目数明显少于其他域 | TG4-RQ-05 该域指标补充（依赖治理段指标体系扩充）：待 V1.1 |
**第 8 章 三级判据判定汇总与受限说明**
| 判定档 | 验证项数 | 说明 |
|---|---|---|
| 通过 | 3 | 九业务域覆盖、权限越权率、敏感信息外露率 |
| 有条件通过 | 32 | 知识层 10 项、查数与多维 10 项、归因 8 项、多轮 6 项中的 6 项（部分经复测后已提升） |
| 不通过 | 0 | — |
| 待实测 | 1 | 相对人工缩短幅度 |
| 受限项 | 内容 |
|---|---|
| 受限一 | 本场景的全部结论以指标体系首版定版口径为前提；指标体系修订后须重新验证，不沿用本轮结论 |
| 受限二 | 安全环保域指标条目偏少，该域结论的样本量在报告中据实列明，不与其他域合并呈述 |
| 受限三 | 历史异动事件的根源链条重合率 0.538，该项结论为参考；注入用例与历史事件的指标分列报告，不合并 |
| 受限四 | 第 8 轮及以后的长对话结论按分轮次报告，不以前几轮水平代表长对话能力 |
| 恢复条件 | 规则边界用例补齐；历史事件成因补充复盘完成；多轮样本补充；安全环保域指标扩充 |
**本场景任务可用性判定（b1557、b1558）**
本场景的全部判定有一个共同前提：结论以决策指标体系首版定版的口径为准。指标体系修订后须重新验证，不沿用本轮结论——指标口径一变，查数、多维分析、异动归因三类任务的参考答案全部要重做。这一条写在表前，是因为它不是某一项任务的受限，而是整节的前提。
| 字段 | 自然语言查数任务 | 多维分析与可视化任务 | 异动识别与因素定位任务 | 历史异动根源链条还原任务 | 多轮上下文问答任务 | 安全环保域的查数与归因 | 服务响应效率 |
|---|---|---|---|---|---|---|---|
| 验证任务定义 | 给定自然语言问题，返回指标数值 | 给定分析需求，输出多维切片与图表 | 给定期间数据，识别异动并定位因素 | 给定历史异动事件，还原其根源链条 | 给定多轮追问，在上下文中持续作答 | 同前三列，限于安全环保业务域 | 给定三类典型任务，测端到端用时 |
| 输入 | 自然语言问题 | 分析需求、指标与维度 | 期间指标数据（时间屏障下） | 历史异动事件及其之前的数据 | 连续多轮问题 | 安全环保域指标与事件 | 单轮查数、多维分析、异动归因 |
| 期望输出 | 指标、口径、期间、数值 | 维度值、切片汇总、图表类型与坐标轴标注 | 异动条目、真实因素、因素排序 | 链条节点及其因果关系 | 末轮答复，条件继承与指代正确 | 同前三列 | 端到端时长与缩短幅度 |
| 评价方式 | 指标选对率、口径选对率、期间解析正确率、与独立复算的容差内一致率 | 维度值完整率、切片汇总平衡率、差额可解释率、图表三项 | 检出率、误报率、真实因素命中率、进入前三占比 | 链条节点重合率；注入用例与历史事件分别设判据 | 条件继承、条件更新、指代消解、意图漂移、长程稳定，分轮次统计 | 同前三列，按该域单独统计 | 相对人工对照组的缩短幅度，与质量结论绑定 |
| 评测集构成 | 自然语言查数 240 题 | 多维分析 120 题，可视化抽样 100 | 异动归因 140 题（注入 80 起、历史 60 起），正常期间对照 180 个 | 历史事件 60 起 | 多轮上下文 100 题，第 8 轮及以后 20 题 | 该域指标与规则条目（数量明显少于其他域） | 三类任务各一组对照 |
| 本轮实测结果（示意值） | 指标选对率 0.892；口径选对率 0.854；期间解析 0.938；复算一致率 0.916 | 维度值完整率 0.908；切片汇总平衡率 0.925；差额可解释率 0.844；图表类型匹配 0.870、坐标轴与单位标注 0.930、图表与文字结论一致 0.970 | 检出率 0.871；误报率 0.133；真实因素命中率注入 0.863、历史 0.700；进入前三 0.771 | 链条节点重合率：注入 0.744、历史 0.538（下限 0.48，目标 0.60） | 条件继承 0.884；条件更新 0.872；指代消解 0.856；意图漂移检出 0.733；第 8 轮及以后条件继承 0.800；末轮要点覆盖 0.820 | 九业务域均有指标与规则条目；该域条目数明显少于其他域 | P95：单轮查数 22.4 秒、多维分析 48.6 秒、异动归因 96.2 秒；缩短幅度【待填】 |
| **可用性判定** | **有条件可用**——数值须与指标名称、口径、期间四项一并呈现。口径选对率 0.854 意味着约一成半的问题口径选错，而口径选错时数值本身往往是「对的另一个数」，在报表上看不出来 | **有条件可用**——切片不平衡项须随差额解释一并呈现；图表类型匹配 0.870，图表形式由使用者复核后定稿 | **有条件可用**——可作为排查起点；误报率 0.133 高于目标 0.10，约七分之一的异动提示需人工排除 | **暂不可用** | **有条件可用**——分轮次采用：前七轮可用；第 8 轮及以后的条件继承 0.800 单列报告，长对话不以前几轮水平代表 | **有条件可用**——该域结论的样本量在每一处据实列明，不与其他域合并呈述，也不参与跨域平均 | **本轮不判定** |
| 不达预期的定位结论（b1558） | 定位至业务概念知识中同名异义术语的分列正确率 0.874——「产值」「完工量」这类词在生产、财务、营销三个口径下含义不同，分列不正确就会把三个口径的数混在一起 | 定位至规则知识的边界用例唯一确定率 0.842，不平衡差额的解释依赖规则边界 | 定位至注入用例与历史事件的难度差异：注入用例的真实因素已知且单一，历史事件多因素叠加 | 历史事件的根源链条重合率 0.538，虽在下限之上，但该项的参考答案来自当时的复盘结论，而当时的复盘本身未必完整——分母不可靠，结论无法作为可用性依据 | 定位至多轮样本中第 8 轮及以后的题量仅 20 题，样本量不足以支撑长对话的独立结论 | 定位至该域指标条目数偏少，不是模型能力问题 | 人工基线尚未实测 |
| 回流去向与复测安排 | 同名异义术语分列列为优先整改项；术语类题目子集复测 | 规则边界用例补齐（每条规则不少于 3 个用例）后复测 | 历史事件的成因补充复盘；补充后注入与历史两组指标仍分列报告，不合并 | 历史事件成因复盘补充完成后重算；在重算前该项结论仅作参考，不进入可用性判定 | 第 8 轮及以后的多轮样本补充后，按分轮次口径复测 | 安全环保域指标扩充后按该域单独重算 | 组织人工对照组实测基线后给出 |
历史异动根源链条还原判为暂不可用，理由与 TG3 的特征检索一项同形：问题出在分母。该项的参考答案取自当时的复盘结论，而复盘结论本身是否完整并无独立验证——重合率 0.538 既可能是还原能力不足，也可能是当时的复盘漏了节点。这两种情形在当前数据条件下分不开，因此本报告不以这个数作可用性结论，只作参考，并把「历史事件成因补充复盘」列为恢复条件。注入用例那一组（0.744）数据条件清楚、真实因素已知，可以作结论，所以两组始终分列报告、不合并成一个数。
口径选对率这一项值得单独提醒使用方。0.854 的错误形态不是答不出来，而是答出了另一个口径下的数——数值本身是存在的、格式是对的、看上去也合理，只有对口径的人才能发现它不对。这正是本任务判为有条件可用、并要求数值必须与口径一并呈现的原因：条件不是加一道审核手续，而是让错误在呈现层面就能被看见。
**错样样例（节选六条）**
| 题号 | 题面摘要 | 参考答案要点 | 实际答复 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| JC-0068 | 某季度「产值」是多少 | 按提问岗位所属的生产口径给出 | 按财务口径给出，数值存在但口径不符 | 口径错配 | 同名异义术语分列正确率 0.874 | 列为优先整改项；术语类题目子集复测 |
| JC-0137 | 某指标按分厂与品类的二维切片 | 各切片之和回到总额，不平衡项给出差额解释 | 切片齐全，一项不平衡且未给差额解释 | 解释缺失 | 规则边界用例唯一确定率 0.842 | 边界用例补齐后复测 |
| JC-0224 | 某正常期间的指标波动 | 不触发异动提示 | 触发异动提示 | 误报 | 误报率 0.133，高于目标 0.10 | 随历史事件成因补充复盘一并优化；误报条目保留供复核 |
| JC-0296 | 某历史异动事件的根源链条还原 | 还原当时复盘结论中的四个节点 | 还原两个节点，另给出一个复盘结论中没有的节点 | 链条不重合 | 参考答案来自当时复盘，复盘本身可能不完整 | 成因补充复盘；该项仅作参考，不进入可用性判定 |
| JC-0358 | 第 9 轮追问「那上个月呢」 | 继承前文的指标、口径、维度条件，仅更换期间 | 期间更换正确，维度条件丢失 | 长程条件丢失 | 第 8 轮及以后样本仅 20 题 | 多轮样本补充后按分轮次复测 |
| JC-0412 | 安全环保域某指标的异动归因 | 给出该域因素并说明样本量 | 给出因素，未说明该域条目数偏少 | 样本量未披露 | 该域指标条目数明显少于其他域 | 该域指标扩充；在此之前每一处结论须随样本量列明 |
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、注入与历史分列统计的写法与判定粒度，不代表实际运行结果，也不构成对实测数值的承诺。本场景的全部结论以指标体系首版定版口径为前提，该前提不随数值变化：指标体系修订后，本节的参考答案与实测值一并作废，须重新验证。
**第 9 章 附件**
附件一至八同 5.7 节口径；本场景另有附件九《同名异义术语清单与分列结果》、附件十《指标复算差异明细》、附件十一《异动事件清单》（历史 60 起与注入 80 起，含真实因素与链条标注）、附件十二《多轮分轮次指标明细》、附件十三《时间屏障实现与校验记录》。
#### 5.11 样章二十六 场景验证报告 TG5 合同合规智能审查
**封面与标识字段**
| 字段 | 内容 |
|---|---|
| 报告编号 | GHY26691-VR-00-0025-V1.0 |
| 报告类型 | 场景级·TG5 合同合规智能审查 |
| 招标文件依据 | b1772—b1784 |
| 受验数据集版本 | 供需计划域切片 V1.0；基准评测子集·合同分册 V1.0（300 条） |
| 模型／知识库版本 | 模型版本标识【待填】；合同知识库版本【待填】；法规数据源版本【待填】 |
| 验证执行期间 | 【待填】 |
**第 1 章 验证范围与依据**
| 验证项 | 招标文件依据 | 验证层 | 本轮是否判定 |
|---|---|---|---|
| 合同知识库建设能力（合同文本知识与合规风控知识） | b1778—b1780 | 知识层 | 是 |
| 合同智能解析能力（Word、PDF 识别与关键信息抽取） | b1781 | 知识层 | 是 |
| 风险智能识别能力（合规、责任、交付、付款四类风险） | b1782、b1783 | 任务层 | 是 |
| 效率提升（单份合同审查时长较人工缩短） | b1784 | 效率层 | 是（待人工基线实测） |
**第 2 章 接入条件与就绪度结论**
| 条件项 | 要求 | 实测（示意值） | 判定 |
|---|---|---|---|
| 合同文本（主合同、附件、补充协议） | 按合同组齐备 | 获取 160 份合同、60 组含附件与补充协议的完整合同组 | 通过 |
| 历史审查意见 | 用于风险用例来源 | 获取 160 条 | 通过 |
| 法规政策数据源 | 现行有效性可核验 | 可核验 | 通过 |
| 风险规则 | 每条规则 ≥3 个边界用例 | 规则 86 条，边界用例齐备率 88.4% | 通过 |
| 预警指标 | 定义与阈值登记 | 登记完整率 92.4% | 通过 |
| 典型案例库 | 招标方已有或行业可提供 | 获取 22 例 | 条件通过，据实列明可获取数量 |
| 个人信息去标识化 | 入库阶段完成，验证过程不解密 | 已完成；验证过程不解密 | 通过 |
就绪度结论：通过。典型案例仅 22 例，案例类结论的样本量据实列明，不以构造案例充数。
**第 3 章 验证基准集与防失真措施**
| 项 | 内容 |
|---|---|
| 基准分册规模 | 300 条：要素抽取 100、风险识别 140、修改建议判定 60 |
| 现场抽样题 | 30 条 |
| 无证据题 | 24 条（8%） |
| 改写题 | 45 条（15%） |
| 风险用例构成 | 合规风险 100（历史 60＋构造 40）、责任风险 50（历史）、交付风险 50、付款风险 40 |
| 模板偏离用例 | 已知偏离合同 50 份 |
| 与训练集隔离 | 双向查重；本轮退回重出 4 题 |
| 专家终审 | 300 题全部经招标方法务与业务部门确认 |
| 判分策略 | 要素抽取类用分项正确率；风险识别类用检出率与误报率双报；修改建议类用业务与法务评定 |
| 模型裁判校准 | 100 题校准，一致率 0.86 |
| 人工复核 | 双人独立判分（含法务）；Kappa 0.78 |
**第 4 章 知识层验证结果**
**4.1 知识库建设**
| 验证项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 合同文档关联 | 主合同与附件关联正确率（60 组） | ≥0.95 | ≥0.90 | 0.933 | 有条件通过 |
| 补充协议 | 修改指向正确率 | ≥0.92 | ≥0.85 | 0.884 | 有条件通过 |
| 版本链 | 版本链完整率 | ≥0.95 | ≥0.88 | 0.916 | 有条件通过 |
| 条款切分 | 切分完整率 | ≥0.95 | ≥0.90 | 0.942 | 有条件通过 |
| 条款分类 | 九类条款类型标注正确率 | ≥0.92 | ≥0.85 | 0.896 | 有条件通过 |
| 法律法规 | 现行有效性标识正确率 | ≥0.98 | ≥0.95 | 0.972 | 有条件通过 |
| 风险规则 | 边界用例唯一确定率 | ≥0.90 | ≥0.80 | 0.860 | 有条件通过 |
| 预警指标 | 定义与阈值登记完整率 | ≥0.95 | ≥0.88 | 0.924 | 有条件通过 |
| 典型案例 | 案例结构化完整率（按 22 例统计） | ≥0.90 | ≥0.80 | 0.864 | 有条件通过 |
法律法规现行有效性标识正确率一项门限最高（目标 0.98），原因是引用已失效法规是实际发生过的审查失误。本轮 0.972 未达目标，失效标识错误的 7 条逐条列出，其中 5 条为法规修订后条款编号变动、2 条为地方性规定被上位法覆盖。
**4.2 合同智能解析**
| 验证项 | 指标 | 样本量 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 原生 Word | 正文提取完整率 | 60 份 | ≥0.98 | ≥0.95 | 0.982 | 通过 |
| 原生 PDF | 正文提取完整率 | 60 份 | ≥0.97 | ≥0.93 | 0.964 | 有条件通过 |
| 扫描版 PDF | 正文提取完整率 | 40 份 | ≥0.92 | ≥0.85 | 0.896 | 有条件通过 |
| 扫描版 PDF | 版面还原正确率 | 40 份 | ≥0.88 | ≥0.80 | 0.842 | 有条件通过 |
| 手写批注 | 批注存在与定位正确率 | 30 份 | ≥0.85 | ≥0.75 | 0.800 | 有条件通过 |
| 手写批注 | 批注内容识别准确率 | 30 份 | 观察指标，不设门槛 | — | 0.624 | 记录 |
| 八大核心要素 | 要素抽取正确率（分项统计） | 160 份 | ≥0.95 | ≥0.88 | 0.922（分项见附件） | 有条件通过 |
| 八大核心要素 | 要素完整性判定正确率 | 160 份 | ≥0.92 | ≥0.85 | 0.888 | 有条件通过 |
| 装备专项 | 技术参数与性能指标抽取正确率 | 160 份 | ≥0.92 | ≥0.85 | 0.884 | 有条件通过 |
| 装备专项 | 验收标准与验收主体抽取正确率 | 160 份 | ≥0.92 | ≥0.85 | 0.896 | 有条件通过 |
| 装备专项 | 质保期起算点与范围抽取正确率 | 160 份 | ≥0.95 | ≥0.88 | 0.916 | 有条件通过 |
| 装备专项 | 付款节点与对应条件抽取正确率 | 160 份 | ≥0.95 | ≥0.90 | 0.932 | 有条件通过 |
| 模板对照 | 三类偏离检出率／误报率 | 50 份 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | 0.880／0.104 | 有条件通过 |
手写批注内容识别准确率设为观察指标而不设门槛，这是本轮验证中有意保留的一项。手写识别的可靠性受字迹影响极大，设一个门槛没有工程意义；但批注的存在与位置必须能定位，否则审查会漏掉已经被人工标出的问题。因此前者设门限、后者只观察。
质保期起算点一项的门限较高（目标 0.95），原因是起算点理解错误直接影响质保责任期的计算。本轮 0.916 未达目标，错误的 13 份中有 9 份的起算点以「验收合格之日」表述但合同中对验收合格的定义分散在附件，需要跨文档理解。
**第 5 章 任务层验证结果**
| 风险类型 | 用例来源与数量 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 合规风险 | 历史 60＋构造 40 | 检出率／误报率 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | 0.890／0.096 | 有条件通过 |
| 责任风险 | 历史 50 | 检出率／误报率 | ≥0.88／≤0.10 | ≥0.80／≤0.18 | 0.840／0.128 | 有条件通过 |
| 交付风险 | 历史与构造 50 | 检出率／误报率 | ≥0.88／≤0.10 | ≥0.80／≤0.18 | 0.860／0.116 | 有条件通过 |
| 付款风险 | 历史与构造 40 | 检出率／误报率 | ≥0.92／≤0.08 | ≥0.85／≤0.15 | 0.900／0.088 | 有条件通过 |
| 全部四类 | 全部检出项 | 风险等级一致率 | ≥0.90 | ≥0.82 | 0.872 | 有条件通过 |
| 全部四类 | 全部检出项 | 风险说明引用依据正确率 | ≥0.95 | ≥0.88 | 0.928 | 有条件通过 |
| 修改建议 | 抽样 60 条 | 业务与法务评定为可直接采用占比 | ≥0.65 | ≥0.50 | 0.583 | 有条件通过 |
四类风险的检出率分别统计而不合并，与制度场景的四类冲突检出率同理：合并会让高频易检的付款风险掩盖低频难检的责任风险。本轮四类中责任风险检出率最低（0.840），与历史审查意见中责任风险条目的表述最分散有关。
**第 6 章 效率验证结果**
| 验证项 | 人工基线 | 助手介入后口径 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|---|
| 标准模板类合同 | 【待填：实测中位数，工时】 | 助手用时＋法务复核用时 | 相对基线缩短 ≥60% | ≥40% | 【待填】 | 待实测 |
| 非标准合同 | 【待填】 | 同上 | ≥45% | ≥30% | 【待填】 | 待实测 |
| 含技术协议的装备合同 | 【待填】 | 同上 | ≥40% | ≥25% | 【待填】 | 待实测 |
| 分段改善 | 阅读／比对／查法规／形成意见四段 | 分段计时 | 比对与查法规两段缩短 ≥60% | ≥40% | 【待填】 | 待实测 |
| 质量约束 | — | 四类风险检出率与等级一致率 | 均达目标值 | 均达下限值 | 四类检出率与等级一致率均达下限，未全达目标 | 质量约束按下限计 |
效率类结论本轮全部留空，原因与其他通用场景一致：人工基线必须实测。本场景的人工基线按三类合同分别实测，合同类型差异对审查工时的影响很大，用一个统一基线算出来的缩短幅度没有意义。
| 稳定与合规项 | 指标 | 目标值 | 下限值 | 实测（示意值） | 判定 |
|---|---|---|---|---|---|
| 同题一致率 | — | ≥0.95 | ≥0.90 | 0.920 | 有条件通过 |
| 权限越权率 | 三档账号 | 0 | 0 | 0 | 通过 |
| 敏感信息外露率 | 合同金额、相对方信息、个人信息字段 | 0 | ≤0.01 | 0 | 通过 |
**第 7 章 归因、改进需求与复测**
| 归因方向 | 占比 | 证据 | 改进需求与状态 |
|---|---|---|---|
| 跨文档理解不足 | 31.6% | 质保期起算点错误的 13 份中 9 份因验收合格定义分散在附件；补充协议修改指向错误多因跨文档引用 | TG5-RQ-01 合同组内跨文档引用关系显式建模；定义类条款建立全组索引：进行中 |
| 法规版本跟踪滞后 | 22.4% | 失效标识错误 7 条，5 条为条款编号变动 | TG5-RQ-02 法规数据源的变更订阅与条款编号映射：进行中 |
| 风险规则表述覆盖不足 | 20.8% | 责任风险检出率最低，失败集中在「其他约定」类条款中的责任转移表述 | TG5-RQ-03 补责任风险的表述形式模式库；补标注样本：待 V1.1 |
| 扫描件版面还原不足 | 15.2% | 扫描版版面还原 0.842，失败集中在含表格的页面 | TG5-RQ-04 复用技术标准场景的表格解析规则改进：已完成，版面还原 0.842→0.886 |
| 案例样本不足 | 10.0% | 典型案例仅 22 例，案例类检索与类比结论样本量不足 | TG5-RQ-05 案例补充（依赖招标方提供）：进行中 |
TG5-RQ-04 的处置方式值得留下口径：扫描件中含表格页面的版面还原问题与技术标准场景是同一类问题，改进在同一套解析规则上完成，不在两个场景各做一遍。本项目的通用场景验证共用一套解析与检索能力，改进的复用关系在报告中写明，避免重复投入。
**第 8 章 三级判据判定汇总与受限说明**
| 判定档 | 验证项数 | 说明 |
|---|---|---|
| 通过 | 3 | 原生 Word 正文提取、权限越权率、敏感信息外露率 |
| 有条件通过 | 26 | 知识库 9 项、解析 11 项中的 11 项、风险识别 7 项、同题一致率 |
| 记录（不设门槛） | 1 | 手写批注内容识别准确率 |
| 待实测 | 5 | 效率类四项与分段改善 |
| 受限项 | 内容 |
|---|---|
| 受限一 | 手写批注内容识别为观察指标，不作为可用性判定依据；批注的存在与定位可用 |
| 受限二 | 典型案例仅 22 例，案例类结论的样本量据实列明，不以构造案例充数 |
| 受限三 | 法规现行有效性标识未达目标值，涉及条款编号变动的引用须人工核对 |
| 受限四 | 效率类结论待三类合同的人工基线分别实测后给出 |
| 受限五 | 质保期起算点与补充协议修改指向两项受跨文档理解能力限制，含附件与补充协议的合同组上的结论按较低水平报告 |
| 恢复条件 | 跨文档引用建模完成；法规变更订阅建立；责任风险模式库补充；案例补充 |
**本场景任务可用性判定（b1557、b1558）**
| 字段 | 原生 Word 合同解析任务 | PDF 与扫描件解析任务 | 手写批注处理任务 | 八大核心要素与装备专项抽取任务 | 四类风险识别任务 | 跨文档条款理解任务 | 法规现行有效性核验任务 | 单份合同审查效率 |
|---|---|---|---|---|---|---|---|---|
| 验证任务定义 | 给定原生 Word 合同，提取正文与条款结构 | 给定原生 PDF 与扫描版 PDF，提取正文并还原版面 | 给定含手写批注的合同，定位批注并识别内容 | 给定合同，抽取八大核心要素与装备专项四类要素 | 给定合同，识别合规、责任、交付、付款四类风险并分级 | 给定含附件与补充协议的合同组，理解跨文档的条款指向 | 给定合同引用的法规，核验其现行有效状态 | 给定三类合同，测单份审查用时 |
| 输入 | 原生 Word 文件 | 原生 PDF、扫描版 PDF | 含批注的合同扫描件 | 合同全文 | 合同全文、风险规则、典型案例 | 主合同＋附件＋补充协议 | 合同中的法规引用 | 标准模板类、非标准、含技术协议的装备合同 |
| 期望输出 | 正文与九类条款的切分结果 | 同左，另含版面还原 | 批注位置；内容识别作为观察项 | 各要素取值及其条款定位 | 风险条目、类型、等级、引用依据 | 质保期起算点、补充协议修改指向等跨文档结论 | 现行有效状态与替代关系 | 分段与整段用时 |
| 评价方式 | 正文提取完整率、条款切分完整率、条款分类正确率 | 正文提取完整率、版面还原正确率 | 批注存在与定位正确率（设门限）；内容识别准确率（观察指标，不设门槛） | 分项正确率与要素完整性判定正确率 | 四类分列的检出率与误报率，加风险等级一致率与引用依据正确率 | 质保期起算点抽取正确率、补充协议修改指向正确率 | 现行有效性标识正确率，错误逐条列出 | 相对人工基线的缩短幅度，与质量结论绑定 |
| 评测集构成 | 60 份原生 Word | 原生 PDF 60 份、扫描版 40 份 | 含批注 30 份 | 160 份合同 | 风险用例 240 例（合规 100、责任 50、交付 50、付款 40）＋模板偏离 50 份 | 60 组含附件与补充协议的完整合同组 | 合同中的法规引用全集 | 三类合同各一组对照 |
| 本轮实测结果（示意值） | 正文提取完整率 0.982（目标 0.98）；条款切分 0.942；条款分类 0.896 | 原生 PDF 0.964；扫描版正文 0.896、版面还原 0.842 | 批注存在与定位 0.800（下限 0.75）；批注内容识别 0.624（观察指标） | 要素抽取 0.922；要素完整性判定 0.888；技术参数 0.884；验收标准与主体 0.896；付款节点 0.932 | 合规 0.890／0.096；责任 0.840／0.128；交付 0.860／0.116；付款 0.900／0.088；等级一致率 0.872；引用依据正确率 0.928 | 质保期起算点 0.916（目标 0.95）；补充协议修改指向 0.884；13 份起算点错误中 9 份的「验收合格」定义分散在附件 | 现行有效性标识 0.972（目标 0.98）；错误 7 条中 5 条为法规修订后条款编号变动、2 条为地方性规定被上位法覆盖 | 四类风险检出率与等级一致率均达下限、未全达目标；缩短幅度【待填】 |
| **可用性判定** | **可用** | **有条件可用**——原生 PDF 可用；扫描版的版面还原 0.842，表格与条款编号错位的部分须人工复核 | 批注定位 **有条件可用**（可用于提示人工关注已标注位置）；批注内容识别 **暂不可用** | **有条件可用**——付款节点与验收主体类可直接采用；技术参数与要素完整性判定两项须随条款定位一并复核 | **有条件可用**——四类检出结果作为审查提示，不作为「无风险」的依据；责任风险检出率 0.840 最低，该类须保留人工通读 | **暂不可用** | **有条件可用**——涉及条款编号变动的引用须人工核对；7 条错误已逐条列出，使用时按清单规避 | **本轮不判定** |
| 不达预期的定位结论（b1558） | — | 定位至扫描件的印刷与版面质量，属原件条件 | 手写识别可靠性受字迹影响极大，设门槛没有工程意义；本轮按观察指标记录 0.624，不作判定依据 | 定位至风险规则的边界用例唯一确定率 0.860 与装备专项条款表述的分散程度 | 定位至历史审查意见中责任风险条目的表述最分散，模式库覆盖不足 | 定位至跨文档引用未建模：质保期起算点以「验收合格之日」表述，而验收合格的定义分散在附件，当前不作跨文档解析 | 定位至法规变更订阅机制尚未建立，条款编号变动未被及时跟踪 | 人工基线须按三类合同分别实测。合同类型差异对审查工时影响很大，统一基线算出来的缩短幅度没有意义 |
| 回流去向与复测安排 | — | 扫描件解析规则修订后按版面类型分列复测 | 不设恢复条件——该项为观察指标，长期按观察记录，不进入可用性判定 | 风险规则边界用例补齐、装备专项条款模式补充后复测 | 责任风险模式库补充后按四类分列复测 | 跨文档引用建模完成后重算质保期起算点与补充协议修改指向两项并重新判定；在此之前，含附件与补充协议的合同组上的结论按较低水平报告 | 建立法规变更订阅；订阅建立后重算现行有效性标识正确率 | 三类合同的人工基线分别实测后给出；效率结论与质量结论绑定，质量未达下限时效率数据不计入结论 |
本场景判为暂不可用的两项性质不同，分开说。跨文档条款理解是能力缺口：当前不做跨文档解析，质保期起算点的 13 份错误里有 9 份的根子在附件中的定义，这是补建模可以解决的，所以给了恢复条件与重算安排。手写批注内容识别则不设恢复条件——它本来就是观察指标，设门槛没有工程意义，长期按观察记录即可。把两者都写成「暂不可用」而不加区分，会让看报告的人以为手写识别也在整改计划里。
批注这一项的拆分值得一提：定位设门限、内容只观察。理由是审查流程真正依赖的是「不漏掉人工已经标出的位置」，批注写的是什么可以由审查人自己读。把一个工程上不可控的指标设成门槛，要么逼出一个糊弄门槛的做法，要么让整份报告因为一个不该设的门槛而不通过。
**错样样例（节选六条）**
| 题号 | 题面摘要 | 参考答案要点 | 实际答复 | 偏差类型 | 归因 | 回流去向 |
|---|---|---|---|---|---|---|
| HT-0033 | 某装备合同的质保期起算点 | 按附件中「验收合格」的定义确定起算点 | 按主合同字面取「验收合格之日」，未展开附件定义 | 跨文档未解析 | 跨文档引用未建模 | 跨文档建模后重算；13 份错误中 9 份属此类 |
| HT-0091 | 某合同引用的法规条款编号 | 按现行版本给出条款编号 | 按修订前编号给出，标识为现行有效 | 失效标识错 | 法规变更订阅未建立 | 建立订阅；7 条错误逐条列入附件十 |
| HT-0146 | 某条款中分散表述的责任风险 | 检出责任风险并分级 | 未检出 | 漏检 | 责任风险条目表述最分散，模式库覆盖不足 | 责任风险模式库补充后分类复测 |
| HT-0202 | 某扫描版合同中的付款节点表格 | 按表格行列取付款节点与对应条件 | 表格版面错位，付款条件绑到相邻节点 | 版面还原错 | 扫描版版面还原 0.842 | 扫描件解析规则修订；该类须人工复核 |
| HT-0258 | 某含手写批注的合同 | 定位批注位置；内容识别作为观察 | 批注位置定位正确，内容识别出三字中的一字 | 内容识别不可靠 | 字迹影响；该项为观察指标 | 不回流；按观察记录，不进入可用性判定 |
| HT-0294 | 某补充协议修改了主合同的付款比例 | 修改指向主合同对应条款 | 指向相邻条款 | 指向错 | 补充协议修改指向正确率 0.884 | 跨文档建模后重算 |
第五条列入的用意是把「观察指标上的不理想」与「门限指标上的不达标」区分开。批注内容只识别出三字中的一字，这在报告里是一条记录而不是一条缺陷——它不触发整改，也不进入任何一项可用性判定。如果把观察指标的数混进缺陷统计，整改清单会被一堆本来就不要求达标的项目填满。
**本报告数值的性质。** 本报告各表所列实测值为示意值，用于说明指标口径、分类分列统计的写法与判定粒度，不代表实际运行结果，也不构成对实测数值的承诺。效率类的全部格子在三类合同的人工基线分别实测前保持留空；观察指标与门限指标的区分不随数值变化，填入实测值时照此结构填。
**第 9 章 附件**
附件一至八同 5.7 节口径；本场景另有附件九《八大核心要素分项正确率明细》、附件十《法规失效标识错误清单》（7 条逐条）、附件十一《质保期起算点错误清单》（13 份逐份）、附件十二《四类风险分列检出明细》、附件十三《模板偏离用例清单》。
#### 5.12 十一个场景验证结论汇总与汇总判据对照
##### 图 A11-3 十一个场景验证结论的产出、汇总与回流
图 A11-3 数据来源：招标文件 3.2.6.5 场景验证服务（b1602、b1603）、六个专业场景与五个通用场景的验证要求；验证层级与汇总判据见本投标文件 T5 节表 2-1 与表 9-2，通用场景三级判据见 T14 节表 5。虚线为回流与留痕关系，实线为汇总依赖。
**十一场景结论汇总表**
| 场景 | 分档或就绪结论 | L2／知识层主要未达项 | L3／任务层结论 | 本轮判定 | 下一版本复测项 |
|---|---|---|---|---|---|
| X1 产品智能选型 | A 档 | 无未达基线项 | 端到端可用率 74.0%（基线 70%） | 通过 | 薄煤层与大采高案例补齐后重算 |
| X2 板材备料工艺智能设计 | A 档 | 工装号命中率 88.4%（基线 90%） | 项目级可用卡片 62.4%—65.0%（基线 60%） | 条件通过 | 工装台账补齐；板厚两端与三维格式补采 |
| X3 库存控制智能化 | A 档；闲置识别 B 档 | 通用制品水位推演 22.6%、需求预测 21.8%；结构劣化查全率 74.1% | 3 个周期闭环；建议进入讨论 78.4%—86.6% | 条件通过 | 项目进度特征接入；口径统一 |
| X4 热处理过程智能监控 | A 档 37.6%／B 档 62.4% | 裂纹类关联结论样本量不足 | 炉次闭环 88.4%（基线 85%） | 条件通过 | 炉位登记覆盖率达七成后重算 |
| X5 焊接过程控制智能监控 | 机器人 A 档／人工焊 B 档 | 咬边查全率 84.2%（基线 85%） | 工件闭环 88.4%（基线 85%） | 条件通过 | 咬边类重训后复测；工况样本补采 |
| X6 刮板输送装备健康智能诊断 | A 34.2%／B 38.2%／C 16.4%／D 11.2%／E 2 矿点 | 备件建议命中 68.4%（基线 70%）；液压系统规则覆盖 74.2% | 报警闭环 71.6%（基线 70%） | 条件通过 | 部件档案补齐；维修事实回填率提升 |
| TG1 管理制度智能问答 | 条件通过（分类口径未确认） | 16 项有条件通过 | 无不通过项 | 条件通过 | 口径确认后重算三项元数据指标 |
| TG2 技术标准智能问答 | 条件通过（台账未确认；埋点未开通） | 21 项有条件通过；可视化 5 项未验证 | 无不通过项 | 条件通过 | 台账提供；埋点开通后验证可视化 |
| TG3 标书智能问答 | 通过 | 28 项有条件通过 | 废标召回率复测后达目标 | 条件通过 | 在产状态字段补齐；特征标注口径补充 |
| TG4 决策数据智能问答 | 通过（以指标体系首版为前提） | 32 项有条件通过 | 无不通过项 | 条件通过 | 规则边界用例补齐；历史事件成因复盘 |
| TG5 合同合规智能审查 | 通过 | 26 项有条件通过；效率 5 项待实测 | 无不通过项 | 条件通过 | 跨文档引用建模；法规变更订阅 |
**五项汇总判据对照**
| 汇总判据 | 口径 | 基线档 | 本轮实测（示意值） | 判定 |
|---|---|---|---|---|
| 条目应答完整性 | 招标文件十一个场景验证要求所列条目，均有对应验证项、指标与判定结论 | 全部条目有对应验证项与判定结论；未能判定的条目须给出受限原因与所缺数据 | 全部条目均有对应验证项；5 个条目（TG2 可视化能力四项与 TG4 安全环保域一项）因数据条件未判定，受限原因与所缺数据已列明 | 通过 |
| L1 通过场景数 | 完成数据就绪度核验并达到各自通过要求的场景数 | 专业场景 6 个中不少于 5 个；通用场景按接入条件就绪度计 | 专业场景 6 个全部通过；通用场景 5 个中 3 个通过、2 个条件通过 | 通过 |
| L2 指标达基线比例 | 各场景 L2／知识层与任务层指标中达到基线档或下限值的比例（按指标项统计，十一场景合并） | ≥85% | 合并统计 268 个指标项中达基线或下限 258 项（96.3%）；未达 10 项已逐项给出归因与整改计划 | 通过 |
| L3 端到端闭环场景数 | 完成端到端任务级验证并形成闭环记录的场景数 | 专业场景不少于 4 个 | 专业场景 6 个全部完成端到端闭环；通用场景按任务层结论计，5 个均形成完整判定 | 通过 |
| 错题回流有效性 | 验证失败用例中，转化为数据集扩充或修订需求并被实际执行的比例 | ≥70% | 失败用例涉及的改进需求 47 项，已执行或在执行中 36 项（76.6%），其余 11 项转长期积累并列明评估周期 | 通过 |
第五项是本节与一般功能测试最大的区别。场景验证如果只输出一份通过与不通过的报告，它对招标方的长期价值有限；只有把失败用例转化为数据集的具体改进，验证才真正参与了数据资产的建设。因此把回流有效性列为汇总判据之一，并要求逐条可核查：每一项改进需求都能找到它的来源用例、执行记录与关闭记录。
**十一场景的任务级可用性判定汇总（b1557、b1558）**
上表汇总的是各场景报告的整体判定（通过／条件通过），那是对验证指标的判定。招标文件 b1557、b1558 另要求「产出各场景的可用性结论」，并对不达预期的结论「定位至相应数据子集并回流修复」——那是对任务的判定，口径与上表不同，因此单列一表。两表不可互相替代：一个场景可以在十几项指标上都处于「有条件通过」而其中多数任务仍然可用，也可以在指标全部达下限的情况下因为口径未确认而有任务不可用。
十一份报告共拆出 69 项业务任务。其中四项按品类、缺陷类、对话轮次或子项进一步分档判定（X3 的需求预测与水位推演按四类品类、X4 的外观缺陷关联分析按缺陷类、TG2 的多轮对话按轮次、TG5 的手写批注按定位与内容两个子项），因此判定项数为 74 项，多于任务数。
| 场景 | 任务数 | 可用 | 有条件可用 | 暂不可用 | 本轮不判定 | 本场景判为暂不可用的任务 |
|---|---|---|---|---|---|---|
| X1 产品智能选型 | 5 | 2 | 2 | 1 | — | 成熟度依据排序 |
| X2 板材备料工艺智能设计 | 6 | 2 | 3 | 1 | — | 排料优化 |
| X3 库存控制智能化 | 6 | 2 | 5 | 1 | — | 需求预测与水位推演·通用制品品类 |
| X4 热处理过程智能监控 | 5 | 1 | 4 | 1 | — | 外观缺陷关联分析·裂纹类 |
| X5 焊接过程控制智能监控 | 6 | — | 5 | 1 | — | 未熔合与根部裂纹检出 |
| X6 刮板输送装备健康智能诊断 | 6 | 1 | 3 | 2 | — | 备件准备建议；跨机型工况识别 |
| TG1 管理制度智能问答 | 6 | — | 4 | 1 | 1 | 制度分类与层级判定 |
| TG2 技术标准智能问答 | 7 | — | 5 | 2 | 1 | 多轮对话·第 3 轮及以后；标准台账相关判定 |
| TG3 标书智能问答 | 7 | 1 | 4 | 1 | 1 | 按项目特征检索历史表述 |
| TG4 决策数据智能问答 | 7 | — | 5 | 1 | 1 | 历史异动根源链条还原 |
| TG5 合同合规智能审查 | 8 | 1 | 5 | 2 | 1 | 手写批注内容识别；跨文档条款理解 |
| **合计** | **69** | **10** | **45** | **14** | **5** | 十一个场景各有至少一项 |
合计列的 10、45、14、5 相加为 74，与上一段所说的判定项数一致；它大于任务数 69，差额 5 来自那四项被进一步分档的任务（需求预测分四类品类计为三个判定、外观缺陷分两类、多轮对话分两段、手写批注分两个子项）。
**三档判定的含义，以及第四种写法**
| 档 | 含义 | 使用方应当怎么读 |
|---|---|---|
| 可用 | 该任务在本轮数据条件下达到各项基线，可按报告列明的范围接入 | 按本轮验证的输入形态与范围接入；超出该范围的输入另行验证 |
| 有条件可用 | 达到基线但附带使用条件（限定范围、须人工复核、须随证据呈现、粒度受限） | 条件是接入方式的一部分，不是提醒。条件不落实，该任务的结论不成立 |
| 暂不可用 | 判定已完成，结论为当前不可用，并给出定位与恢复条件 | 本版本不接入该任务；恢复条件达成后按报告的重算安排重新判定 |
| 本轮不判定 | 依据本身不足以支持任何判定（人工基线未实测、埋点未开通） | 不是「不可用」也不是「可用」。不作任何推断，待依据齐备后补判 |
把「暂不可用」与「本轮不判定」分开写，是本附件的口径。前者是判了而结论为不可用，它有定位、有恢复条件、有重算安排；后者是还没法判，给任何结论都没有依据。两者混用的后果是具体的：使用方会把一个从未被测过的能力当成已经判定为不可用的能力，从而既不接入也不去补依据。
**十四项暂不可用的成因归类**
| 成因类别 | 项数 | 具体任务 | 共同特征与恢复路径 |
|---|---|---|---|
| 字段或记录缺口（业务流程中当前无该项记录） | 2 | X1 成熟度依据排序、X6 备件准备建议 | 补样本补不出来，须先补业务流程或档案；恢复路径在招标方侧，本包按月或按季跟踪覆盖率 |
| 语料或样本覆盖不足 | 4 | X2 排料优化、X4 外观缺陷关联分析·裂纹类、X5 未熔合与根部裂纹检出、X6 跨机型工况识别 | 定向补采或积累；X4、X6 两项的样本只能随真实故障与真实缺陷逐步积累，列入长期计划按季评估 |
| 特征或建模缺口 | 2 | X3 需求预测与水位推演·通用制品品类、TG5 跨文档条款理解 | 须先开通数据通道或补建模，再重算 |
| 口径未经确认（结论建立在推定口径上） | 2 | TG1 制度分类与层级判定、TG2 标准台账相关判定 | 指标值本身在下限以上，但口径一换全部要重算；恢复条件是招标方书面确认 |
| 分母不可靠（参考答案或标签本身存疑） | 2 | TG3 按项目特征检索历史表述、TG4 历史异动根源链条还原 | 与指标未达标不同：指标未达标知道差多少，分母不可靠连差多少都不知道。须先修复标注口径或补充复盘 |
| 分段受限（任务的一段可用、另一段不可用） | 1 | TG2 多轮对话第 3 轮及以后 | 分段报告、分段判定；补样本后按分轮次口径复测 |
| 观察指标，不设恢复条件 | 1 | TG5 手写批注内容识别 | 该项本就不设门槛，长期按观察记录，不进入整改清单 |
| **合计** | **14** | — | — |
这张归类表的用处在整改排期。十四项里只有六项（样本覆盖四项、特征与建模两项）是本包通过数据集扩充与建模可以推进的；两项的恢复路径在招标方的业务流程与档案维护，两项只需一纸口径确认就能重算，两项要先修复标注口径或补充复盘，一项是分段受限、补样本后按分轮次复测，还有一项本来就不该进整改清单。把它们不加区分地列成一张「十四项待整改」的清单交出去，会让读清单的人以为这十四项的工作量与责任方相同。
**可用性判定与上表整体判定的对照**
上表十一个场景中一个判为通过、十个判为条件通过；本表六十九项任务中十项可用、四十五项有条件可用、十四项暂不可用、五项本轮不判定。两个口径下的数不应互相换算，但有一处对应关系值得写明：十一个场景无一例外都有至少一项任务判为暂不可用，而没有任何一个场景的全部任务被判为不可用。这个分布说明的是本项目验证服务的实际状态——数据集首版在多数业务任务上可用或带条件可用，在每个场景里都有一到两项因数据条件尚未具备而暂时不能接入。一份十一个场景全判可用的验证报告，在首版数据集上是不可信的；而把整个场景判为不可用，也与逐任务的实测结果不符。
本表与各场景报告第八章的逐任务判定逐格对应。若两处不一致，以各场景报告第八章为准——汇总表是从各报告摘出来的，不是另行判定的结果。
**十一份报告的横向可比性说明**
十一份报告共用九章结构、共用留痕四项、共用判据登记表，因此可以横向比较。但有三处不可直接比较，报告中须注明：一是专业场景的判据为基线档与目标档两档，通用场景为目标值与下限值两档，两套档位的严格程度不同，不可把两类场景的「达基线比例」直接并列解读；二是分档口径不同，专业场景按数据采集条件分档，通用场景按接入条件与知识库完备度判定，档位名称相同但含义不同；三是效率类指标在通用场景中以人工基线为参照，专业场景中以耗时变化记录为参照，两者不同源。
这三处说明放在汇总节而不是各场景报告里，是为了让看汇总表的人不至于把不可比的数放在一起算平均。
### 六、与报告配套的工单与台账样章
本节回应招标文件 3.2.6.3.8 第（6）项整改任务与复检要求（b1545）、3.2.6.3.9 第（6）（7）项结构化整改任务单与闭环记录要求（b1559、b1560）、3.2.6.3.10 第（4）项修订计划要求（b1571、b1572）与第（6）项移交登记要求（b1575、b1576）。
质检与验证两类报告的结论要能落地，靠的是工单与台账。报告写得再细，如果整改没有编号、没有责任环节、没有可机器执行的样本范围，整改就会停在「知道有问题」这一步。本节的样章把这一段补齐。
#### 6.1 样章二十七 质检与验证整改任务单（三条不同级别）
任务单字段取附件 A2 第 5.7 节的模板，本节给出三条实际填写：一条 A 级（安全合规类，阻断定版）、一条 C 级（影响质量指标）、一条来自场景验证的归因任务单。
**任务单一 A 级（安全合规类）**
| 字段 | 内容 |
|---|---|
| 任务单编号 | GHY26691-OT-03-0019 |
| 来源 | 质检报告 GHY26691-QC-03-0022-V1.0，缺陷编号 QC03-0022-D01 |
| 缺陷级别 | A |
| 缺陷描述 | 抽检中检出未脱敏的检验人员姓名与联系方式。现象：检验记录的备注字段内嵌人员姓名与手机号，入口脱敏规则只覆盖了专用姓名字段，未覆盖自由文本备注。判定依据：隐私规范性检查项（接收条件为检出 0 条）。涉及检查项：门控①入口脱敏执行情况 |
| 涉及样本范围 | `source='质量管理系统' AND field='remark' AND regexp_like(remark, <姓名与手机号模式>)`，命中 2 164 条（可机器执行） |
| 成因初判 | 采集环节的入口脱敏规则按字段白名单配置，自由文本字段未纳入扫描范围 |
| 整改动作 | 清洗（自由文本字段纳入去标识化扫描范围，命中内容按替换法处理）＋重做脱敏效果评估 |
| 责任环节 | 采集 |
| 提出日期／要求完成日期 | 【待填】／提出后 3 个工作日内 |
| 整改执行记录 | 自由文本字段扫描规则已扩展；2 164 条已处理；全量重扫未再检出 |
| 复检方式 | 逐条复检 2 164 条，并对本批次全量重新执行隐私规范性检查 |
| 复检结论 | 通过 |
| 闭环确认 | 【待填：质检岗与质量负责人签署】 |
| 阻断关系 | 本任务单关闭前阻断本版本定版；已于复检通过后解除阻断 |
A 级任务单的整改时限是 3 个工作日，这一条不留弹性。隐私类缺陷的性质是：只要存在一条，整个版本的合规状态就不成立，不存在「比例很低可以接受」的说法。任务单中的「涉及样本范围」写成可机器执行的表达式而不是一句描述，是为了让整改范围与复检范围完全一致，不靠人工理解。
**任务单二 C 级（影响质量指标）**
| 字段 | 内容 |
|---|---|
| 任务单编号 | GHY26691-OT-04-0012 |
| 来源 | 质检报告 GHY26691-QC-04-0002-V1.0，缺陷编号 QC04-0002-D01 |
| 缺陷级别 | C |
| 缺陷描述 | 咬边与余高两类标签的判定边界歧义导致标注错误。现象：双标不一致 342 对，经复核确认错标 842 条，类别一致率 87.6% 低于基线 90%。判定依据：门控③缺陷类别一致率检查项。涉及检查项：标签体系符合性、跨标注员一致性 |
| 涉及样本范围 | `labels && ARRAY['咬边','余高超差']`，命中 15 458 条；其中需重标 842 条（可机器执行） |
| 成因初判 | 标注环节。《多模态数据标注规范·产品质量册》对「咬边」与「余高根部过渡不良」的判定边界表述存在歧义，两位具备资格的骨干按各自理解判定 |
| 整改动作 | 重标（规范修订后对该两类全量回溯复核，确认错标的重标） |
| 责任环节 | 标注 |
| 提出日期／要求完成日期 | 【待填】／提出后 10 个工作日内 |
| 整改执行记录 | 规范该条修订并附图例，版本由 V1.0 升至 V1.1；15 458 条回溯复核完成；842 条重标完成 |
| 复检方式 | 抽样复检 500 条，并按双标比例 15% 重算跨标注员一致率 |
| 复检结论 | 通过（类别一致率 87.6%→93.4%；跨标注员一致性 0.86） |
| 闭环确认 | 【待填】 |
| 下游影响 | 本任务单关闭触发三处下游动作：数据集 V1.1 重训；场景验证 X5 的咬边查全率在 V1.1 复测；数据卡 B09 标签体系字段与 C06 标注规范编号字段更新至 V1.1 |
C 级任务单的「下游影响」一栏是本项目加的。标注规范改了，受影响的不止这一个子集——同一规范下的其他批次、依赖该标签的场景验证结论、数据卡中引用的规范版本号都要动。不写下游影响，这些动作就会漏。
**任务单三 来自场景验证的归因任务单**
| 字段 | 内容 |
|---|---|
| 任务单编号 | GHY26691-OT-02-0121 |
| 来源 | 验证报告 GHY26691-VR-02-0001-V1.0，归因结论编号 VR02-0001-A01（覆盖盲区类） |
| 缺陷级别 | C |
| 缺陷描述 | 排料优化主题的语料覆盖度 61.4%，远低于其他五个主题；该主题上的知识探针提升仅 2.6 个百分点，场景验证中排料优化任务判定为暂不可用。判定依据：均衡性业务主题覆盖度指标；场景可用性判定 |
| 涉及样本范围 | `dataset='DC-02-0001' AND theme='排料优化'`；补采目标范围：`doc_type IN ('车间排料记录','套料图','板材利用率统计') AND biz_year >= <起始年份>`（可机器执行） |
| 成因初判 | 采集环节。排料相关历史资料多以车间现场记录形式存在，未进入系统归档 |
| 整改动作 | 补采（定向补采车间排料记录与套料图，优先真实记录，不以合成补足） |
| 责任环节 | 采集；需招标方工艺部门与车间配合提供纸质与现场记录 |
| 提出日期／要求完成日期 | 【待填】／纳入 V1.1 版本窗口 |
| 整改执行记录 | 【待填：补采条数与期间】 |
| 复检方式 | 重算该主题覆盖度；排料相关用例子集全量复测；回归子集按 15% 抽取 |
| 复检结论 | 【待填：V1.1 出具】 |
| 闭环确认 | 【待填】 |
| 与修订计划的关系 | 本任务单是修订计划 GHY26691-PL-02-0007 的一个条目，修订计划由任务单台账按「整改动作＝补采」筛选后汇总生成，不二次人工整理 |
最后一行说明了任务单与修订计划的生成关系。招标文件要求修订计划明确需补采、重标、重新合成或重新增强的具体子集与样本范围（b1571、b1572）；任务单的「整改动作」字段取值集与这四项一致，「涉及样本范围」要求可机器执行，因此修订计划可以直接由台账汇总生成。这是一个很实际的设计：如果任务单的样本范围写成自然语言描述，修订计划就只能人工重抄一遍，两份文件必然对不上。
#### 6.2 样章二十八 复检记录与闭环记录
复检记录与整改任务单分开出具，原因是一张任务单可能经过多轮复检，复检记录按轮次累积。
| 字段 | 内容 |
|---|---|
| 复检记录编号 | GHY26691-OT-04-0012-R01 |
| 对应任务单 | GHY26691-OT-04-0012 |
| 复检轮次 | 第 1 轮 |
| 复检范围·受影响子集 | 咬边与余高两类标签的重标样本 842 条＋抽样复检 500 条 |
| 复检范围·回归子集 | 从本版本已通过样本中按 15% 抽取 1 820 条 |
| 复检方法 | 抽样人工复核＋双标比例 15% 重算一致率 |
| 复检执行期间 | 【待填】 |
| 复检结果·受影响子集 | 类别一致率 93.4%（整改前 87.6%），达基线 90% 与目标 90% 以上 |
| 复检结果·回归子集 | 无回退；其他标签类别一致率变化在 ±0.4 个百分点内 |
| 复检结论 | 通过 |
| 不通过时的处置 | 不适用（本轮通过）。若不通过则重开任务单并升级一级，重新计时 |
| 闭环确认 | 【待填：质检岗与质量负责人签署】 |
| 闭环触发的下游动作 | 数据集 V1.1 重训排期；场景验证 X5 咬边类用例子集纳入 V1.1 复测范围；数据卡 C06 字段更新 |
**闭环记录（回应 b1560）**
| 字段 | 内容 |
|---|---|
| 闭环记录编号 | GHY26691-LG-04-0021 |
| 关联对象 | 验证报告 VR-04-0001-V1.0 第 5 章归因结论；整改任务单 OT-04-0012、0013、0014 |
| 归因类别 | 矛盾标注（2 项）、脏数据（1 项） |
| 修复范围 | 咬边与余高两类 15 458 条回溯复核；小尺寸缺陷 712 条重标；跨工序追溯证据引用 288 条重建 |
| 复评范围 | 三类对应的用例子集全量＋回归子集 |
| 复评结果 | 咬边判别 71.4%→78.2%（真实样本）；位置重合度达标率 83.2%→88.6%；证据完整率 95.2%→98.4% |
| 闭环判定 | 三项均闭环 |
| 未闭环项 | 低频缺陷真实样本补充、六类无样本标签的积累两项未闭环，转 V1.1 与长期计划 |
| 闭环率 | 本轮归因结论 6 项中闭环 4 项（66.7%），其余 2 项列明计划与评估周期 |
| 签署 | 【待填：评测岗、质量负责人、招标方技术接口人】 |
闭环率不写成百分之百，而是如实给出 66.7% 并列明未闭环项的计划与评估周期。归因结论中总有一部分依赖真实样本的自然积累，这部分在一个版本周期内关不掉；把它写成已闭环，下一版本就无从交代。
#### 6.3 整改任务单台账（模板与样例行）
台账按附件 A2 第 2.2 节第 41 项作为交付物滚动维护。字段取任务单字段的子集，另加状态与时限监控字段。
| 字段 | 说明 | 填写方 |
|---|---|---|
| 任务单编号 | 五段式，类别码 OT | 平台 |
| 来源报告编号与缺陷编号 | 质检或验证报告 | 平台 |
| 缺陷级别 | A／B／C／D | 质检岗 |
| 整改动作 | 取值集：补采／重标／重新合成／重新增强／清洗／剔除／修正字典 | 质检岗 |
| 责任环节 | 采集／预处理／标注／合成与增强／跨环节 | 质检岗 |
| 涉及样本范围 | 可机器执行的筛选条件表达式 | 质检岗 |
| 涉及条数 | 由表达式执行得出 | 平台 |
| 提出日期／要求完成日期 | 按级别自动计算时限 | 平台 |
| 状态 | 新建／整改中／待复检／已闭环／已升级 | 平台 |
| 复检轮次 | 整数 | 平台 |
| 是否阻断定版 | 是／否 | 平台按级别与指标判定 |
| 关闭版本 | 预计或实际关闭的数据集版本号 | 质检岗 |
| 超时标记 | 超过要求完成日期未闭环即标记 | 平台 |
台账样例行（节选）：
| 任务单编号 | 来源 | 级别 | 整改动作 | 责任环节 | 涉及条数 | 状态 | 轮次 | 阻断 | 关闭版本 | 超时 |
|---|---|---|---|---|---|---|---|---|---|---|
| OT-03-0019 | QC-03-0022 D01 | A | 清洗 | 采集 | 2 164 | 已闭环 | 1 | 已解除 | V1.0 | 否 |
| OT-00-0073 | QC-00-0062 D01 | B | 修正字典 | 预处理 | 184 | 已闭环 | 1 | 已解除 | V1.0 | 否 |
| OT-04-0012 | QC-04-0002 D01 | C | 重标 | 标注 | 15 458 | 已闭环 | 1 | 否 | V1.1 | 否 |
| OT-04-0101 | QC-04-0070 D01 | B | 重新合成 | 合成与增强 | 2 800 | 已闭环 | 1 | 已解除 | V1.0 | 否 |
| OT-02-0121 | VR-02-0001 A01 | C | 补采 | 采集 | 【待填】 | 整改中 | 0 | 否 | V1.1 | 否 |
| OT-02-0124 | QC-02-0001 D04 | C | 补采 | 采集 | 【待填】 | 整改中 | 0 | 否 | V1.1 | 否 |
| OT-04-0017 | VR-04-0001 A02 | C | 补采 | 采集 | 【待填】 | 新建 | 0 | 否 | 长期 | 否 |
台账上要盯两个数：阻断项的数量与超时标记的数量。阻断项不清零，版本就发不出去；超时标记连续出现在同一责任环节，说明该环节的整改能力与开单速度不匹配，这时要调的是排产而不是继续开单。
#### 6.4 样章二十九 验证用例卡（四条）
用例卡字段取本投标文件 T5 节表 11-1 的十二字段定义。本节给出四条，专业场景与通用场景各两条。
**用例卡一（板材备料场景，不通过）**
| 字段 | 内容 |
|---|---|
| 用例编号 | X2-9-0417 |
| 所属验证项 | X2-9 图纸元素解析 |
| 招标文件依据 | b1631 |
| 验证层级 | L2 |
| 输入 | 图号与零件号标识的二维图纸一张（带坡口与压弯特征），图纸版本号随对象标识 |
| 数据集版本 | DC-02-0001-V1.0 切片 |
| 模型或规则版本 | 要素解析规则集版本【待填】＋加工方法分档规则版本【待填】 |
| 参考答案 | 金标准标注：坡口角度、钝边、压弯线位置、材料牌号、板厚、粗糙度符号作用面；双人标注一致，无需仲裁 |
| 判据 | 尺寸与板厚与牌号 ≥98%；坡口与压弯线 ≥95%（判据编号 JD-X2-09，见判据登记表）；本例按要素实例逐项判定 |
| 执行记录 | 执行时间【待填】；执行环境标识【待填】；原始解析结果文件引用【待填】 |
| 判定结论 | 不通过——坡口角度被识别为倒角，压弯线位置偏移超出容差 |
| 归因与处置 | 归因为样本不足：该类复合特征（坡口与压弯相邻）在训练样本中仅 82 例；改进需求 X2-RQ-01「该复杂度层补 300 张样本，需覆盖板厚 8mm 以上」；复测范围为同类特征用例子集加该要素类别全量 |
**用例卡二（健康诊断场景，部分通过）**
| 字段 | 内容 |
|---|---|
| 用例编号 | X6-4-0092 |
| 所属验证项 | X6-4 报警原因分析与处置建议 |
| 招标文件依据 | b1712 |
| 验证层级 | L2 |
| 输入 | 某跟踪矿点一台设备的一次报警事件，含归并前原始报警记录与报警前后运行数据段 |
| 数据集版本 | DC-03-0001-V1.0、DC-04-0001-V1.0 的健康诊断切片 |
| 模型或规则版本 | 机理规则集版本【待填】＋时序异常检测模型版本【待填】 |
| 参考答案 | 事实级样本：服务工单拆检发现与更换部件记录；由售后与技术骨干复核确认 |
| 判据 | A 档部件级 Top-1 ≥60%、Top-3 ≥82%；处置建议可采用率 ≥75%；备件命中 ≥70%（判据编号 JD-X6-04） |
| 执行记录 | 执行时间【待填】；分档判定：A 档（采集链路体检通过且部件档案齐备）；原始输出引用【待填】 |
| 判定结论 | 部分通过——部件定位 Top-1 命中，备件建议未命中实际更换件 |
| 归因与处置 | 归因为部件档案字段缺失：该型减速器某级轴承型号未录入，备件适配关系无法建立；改进需求 X6-RQ-01「补齐部件档案轴承型号字段并重建适配关系」；复测范围为同型设备的备件建议用例子集 |
**用例卡三（技术标准场景，不通过）**
| 字段 | 内容 |
|---|---|
| 用例编号 | TG2-TB-0186 |
| 所属验证项 | 技术标准文件解析能力·表格单元格级精度 |
| 招标文件依据 | b1737、b1738 |
| 验证层级 | 知识层 |
| 输入 | 某标准中的多级表头对照表一张（跨页续表，三级表头，含合并单元格） |
| 数据集版本 | 跨域通用语料切片 V1.0；基准分册题 TG2-0186 |
| 模型或规则版本 | 表格解析规则集版本【待填】 |
| 参考答案 | 人工标注：行列数、表头层级路径、各单元格文本、单元格与行列表头的绑定关系 |
| 判据 | 单元格级精度（第三、四层联合正确率）目标 ≥0.93、下限 ≥0.88；跨页续表合并正确率目标 ≥0.90、下限 ≥0.80（判据编号 JD-TG2-05） |
| 执行记录 | 执行时间【待填】；原始解析结果引用【待填】 |
| 判定结论 | 不通过——续表被切为两张独立表，第二页表头丢失，导致第二页全部单元格的行列表头绑定错误 |
| 归因与处置 | 归因为规则缺口：续表识别依赖表头重复出现，本表续页不重复表头；改进需求 TG2-RQ-01「补续表识别规则（按页边界与列宽指纹匹配）」；复测范围为 184 张跨页续表全量加总体抽样 |
**用例卡四（合同场景，通过但附说明）**
| 字段 | 内容 |
|---|---|
| 用例编号 | TG5-RK-0074 |
| 所属验证项 | 风险智能识别·付款风险 |
| 招标文件依据 | b1782、b1783 |
| 验证层级 | 任务层 |
| 输入 | 一份装备采购合同（含技术协议附件），付款节点与验收条件的约定分散在主合同与附件两处 |
| 数据集版本 | 供需计划域切片 V1.0；基准分册题 TG5-0074 |
| 模型或规则版本 | 风险规则集版本【待填】；法规数据源版本【待填】 |
| 参考答案 | 历史审查意见：付款比例与验收节点不匹配（尾款比例低于质保金约定），风险等级为中 |
| 判据 | 付款风险检出率目标 ≥0.92、下限 ≥0.85；风险等级一致率目标 ≥0.90；风险说明引用依据正确率目标 ≥0.95（判据编号 JD-TG5-04） |
| 执行记录 | 执行时间【待填】；原始输出引用【待填】 |
| 判定结论 | 通过——风险被检出，等级判为中与参考答案一致，引用依据正确 |
| 归因与处置 | 本例通过，但附一条说明：检出所依据的证据只引用了主合同条款，未引用附件中的验收条件约定。虽不影响本例判定，但同类情形下若风险只体现在附件侧则可能漏检。该现象并入 TG5-RQ-01「合同组内跨文档引用关系显式建模」 |
用例卡四说明了一件事：通过的用例也可能暴露问题。只记录失败用例的归因，会漏掉这类「结论对了但路径不稳」的情形。本项目的口径是用例卡的归因与处置字段在通过时也可填写，填写内容并入改进需求而不改变判定结论。
#### 6.5 判据登记表（模板与样例行）
全部判据集中登记、统一版本管理。判据一旦进入执行即冻结，修订须经招标方与我方共同评审并留记录，修订前后的结果并列报告。
| 字段 | 说明 |
|---|---|
| 判据编号 | JD-<场景代号>-<验证项序号> |
| 所属场景与验证项 | 场景编号＋能力编号 |
| 招标文件依据 | 单元 id |
| 度量口径·分子 | 明确写出计数对象 |
| 度量口径·分母 | 明确写出计数对象 |
| 统计单位 | 按字段／按条／按文档／按任务／按焊道／按炉次等 |
| 基线档或下限值 | 数值或条件 |
| 目标档或目标值 | 数值或条件 |
| 不达标处置 | 归因方向与整改路径 |
| 依赖的数据条件 | 该判据成立所需的数据通道与字段 |
| 分档适用范围 | 该判据在哪些档位上成立 |
| 版本与评审记录 | 版本号、评审日期、评审结论编号 |
样例行：
| 判据编号 | 验证项 | 分子 | 分母 | 统计单位 | 基线／下限 | 目标 | 依赖数据条件 | 分档适用 |
|---|---|---|---|---|---|---|---|---|
| JD-X2-09 | X2-9 要素提取正确率 | 取值与单位均与金标准一致的要素实例数 | 投放图纸中该类要素实例总数 | 按要素实例 | 尺寸／板厚／牌号 ≥98%；孔／坡口／压弯线 ≥95% | ≥99%／≥97% | 原生图纸可读；金标准标注齐备 | A 档 |
| JD-X4-03 | X4-3 缺陷溯源归因 Top-1 | 归因首位与质量工程师结论一致的不合格票数 | 参与归因的不合格票总数 | 按不合格票 | ≥55% | ≥68% | 炉次与检验结果配对；成因标注齐备 | A、B 档；炉位级引用仅 A 档 |
| JD-X6-04 | X6-4 备件建议命中率 | 实际更换备件出现在建议清单中的工单数 | 参与判定的服务工单总数 | 按服务工单 | ≥70% | ≥82% | 部件档案型号与替代关系齐备；维修事实已回填 | A、B 档 |
| JD-TG2-05 | TG2 单元格级精度 | 文本正确且行列表头绑定正确的单元格数 | 参与统计的单元格总数（不含不可解析页面） | 按单元格 | ≥0.88 | ≥0.93 | 标准原文电子件可获取；人工标注边界齐备 | 不分档 |
| JD-TG5-04 | TG5 付款风险检出率 | 检出的付款风险条目数 | 用例集中付款风险条目总数 | 按风险条目 | ≥0.85 | ≥0.92 | 合同组齐备；风险规则边界用例齐备 | 不分档 |
这张表的实际作用是防止两类常见争议：一是验收时对「准确率」的统计单位各执一词，二是中途修改阈值而无记录。把口径与版本写在同一张表里并由双方确认，两类争议都能避免。
#### 6.6 样章三十 数据集移交与登记记录
本样章回应招标文件 3.2.6.3.10 第（6）项（b1575、b1576）。平台侧的挂牌展示与对外发布属平台范围，本记录是本包向平台侧移交数据集版本时的交接凭证。
| 字段 | 内容 |
|---|---|
| 记录编号 | GHY26691-LG-02-0018 |
| 移交对象 | 产品工艺设计数据集 V1.0，四个用途子集 |
| 移交内容 | 版本五件套：数据集内容（自描述封装包）、数据卡（Word 与机器可读）、版本指纹清单与签名文件、质检报告、验证报告 |
| 封装包清单摘要 | 【待填：SM3 值】 |
| 内容根摘要 | 【待填：SM3 值】 |
| 签名值与签名时间 | 【待填：SM2 签名值】／【待填】 |
| 随件交付 | 数据字典、解析脚本、示例代码、术语词典、版面对齐示例 |
| 质检报告编号与结论 | GHY26691-QC-02-0001 至 0004；结论分别为条件通过、条件通过、条件通过、通过 |
| 验证报告编号与发布建议 | GHY26691-VR-02-0001-V1.0；条件同意发布 |
| 接入范围与限制条件 | 可用于工艺设计知识注入、工序推荐、工艺卡片生成；排料优化任务不建议接入；工序推荐限常用板厚规格 |
| 未关闭缺陷与关闭计划 | C 级 4 条，关闭版本 V1.1；清单见质检报告第 6 章 |
| 第三方校验方式 | 按清单重算 SM3 摘要并验签 SM2 签名即可判定文件是否被改动，不需联回平台 |
| 移交方签署 | 【待填：数据加工岗、质量负责人】 |
| 接收方签署 | 【待填：平台侧接收岗】 |
| 招标方确认 | 【待填：技术接口人】 |
| 后续动作 | 平台侧完成登记与挂牌；本包按修订计划推进 V1.1；场景侧按接入范围与限制条件接入 |
移交记录中「接入范围与限制条件」一栏是不可省的。数据集交出去之后，使用方看到的往往只是一个版本号与一张数据卡；验证报告里写清楚的限制条件，如果不在移交凭证上再写一遍，很可能在接入时被忽略。
### 七、报告的评审、签署与修订机制
本节回应招标文件 9.1 验收条件第（4）项对交付资料符合招标方档案管理要求的规定（b2234—b2236）与 9.3 验收资料要求（b2240）。本附件前六节给出了报告写成什么样，本节给出谁审、多久一轮、改了怎么通知下游。
报告的可信度不只取决于内容，也取决于它经过了什么程序。一份没有评审记录、改了不留痕、改完不通知下游的报告，内容再细也经不起复核。
#### 7.1 三级评审与签署层级
| 层级 | 评审对象 | 评审人角色 | 评审内容 | 产出 |
|---|---|---|---|---|
| 一级·自检 | 批次级质检报告 | 质检岗（编制人之外的另一名质检岗） | 检查项是否齐备、样本量是否按批量查表取值、门限引用是否为现行版本、缺陷级别判定是否符合分级定义 | 自检记录，随报告归档 |
| 二级·审核 | 批次级与版本级质检报告、数据集验证报告、场景验证报告 | 质量负责人 | 结论与实测值是否自洽、条件通过是否写清差距与关闭计划、不适用项是否给出理由、整改任务单是否齐备 | 审核意见与处置记录 |
| 三级·批准 | 版本级质检报告、数据集验证报告、场景验证报告 | 项目负责人 | 是否允许定版或发布、阻断项是否已清零、接入范围与限制条件是否明确 | 批准结论 |
| 招标方确认 | 版本级质检报告、数据集验证报告、场景验证报告 | 招标方质量接口人、技术接口人；场景验证报告另需招标方业务部门与技术部门签认 | 确认判据版本、数据集与模型版本、见证事项与方案一致 | 确认记录 |
分层签认是为了避免两种极端：每条用例都要招标方签，工作无法推进；只在最后签一次，中间的分歧全部堆到验收时爆发。批次级报告不要求招标方逐批签署，招标方在版本级报告上确认；单条用例的判定结论由我方验证组给出，单个验证项的结论由我方与招标方业务见证岗位共同确认。
签署栏只列角色不列姓名，姓名在实际出具时由承担该角色的人员签署。
#### 7.2 评审要素检查表（模板）
评审不靠评审人记忆，靠检查表。下表为二级审核的检查表，一级自检与三级批准各有对应的简表。
| 序号 | 检查要素 | 检查方式 | 不通过的处置 |
|---|---|---|---|
| 1 | 报告编号、版本号、受检对象指纹是否齐备且与台账一致 | 核对台账 | 退回补齐 |
| 2 | 抽样样本量是否按批量查表取值 | 核对抽样表 | 退回重抽 |
| 3 | 指标名与计算口径是否引用现行版本的指标体系 | 核对指标体系版本号 | 退回更正 |
| 4 | 门限值是否引用现行版本的门限表 | 核对门限表版本号 | 退回更正 |
| 5 | 实测值与结论是否自洽（有未达基线项却判通过，或全部达目标却判条件通过） | 逐项核对 | 退回更正 |
| 6 | 条件通过是否写清是哪个指标未达目标、差多少、何时关闭 | 查摘要与第 8 章 | 退回补写 |
| 7 | 不适用项是否给出理由且与指标适用性裁剪口径一致 | 核对裁剪口径 | 退回补写 |
| 8 | 接收条件项（零重叠、隐私零检出、原创性零检出、配套件全部可用）是否逐项有结论 | 逐项核对 | 退回补齐 |
| 9 | 缺陷级别判定是否符合分级定义；A、B 级是否标明阻断关系 | 核对分级定义 | 退回更正 |
| 10 | 每条缺陷是否有对应整改任务单；任务单的样本范围是否可机器执行 | 核对台账 | 退回补齐 |
| 11 | 复检范围是否包含受影响子集与回归子集 | 查复检记录 | 退回补齐 |
| 12 | 场景验证报告的分档与受限说明是否写明当前档位、受限原因、恢复条件与重算安排 | 查第 8 章 | 退回补写 |
| 13 | 是否出现招标方个人姓名、我方人员姓名或模型型号等不应出现的内容 | 通读 | 退回修改 |
| 14 | 绝对表述是否已改写（不出现无条件的「全部」「无漏报」一类表述） | 通读 | 退回修改 |
| 15 | 示意值与实测值是否区分标注；【待填】项是否已列入待补清单 | 通读 | 退回补齐 |
第 13、14 项是形式检查但不能省。报告会随验收资料归档并可能被第三方评测机构调阅，这两类内容一旦写进去，后面很难收回。
#### 7.3 评审节奏与修订机制
**定期评审节奏**
| 评审类型 | 周期 | 范围 | 产出 |
|---|---|---|---|
| 批次报告自检与审核 | 随批次，每批次一次 | 该批次报告 | 自检与审核记录 |
| 版本级报告评审 | 随版本，每版本一次 | 质检报告与验证报告 | 评审意见、定版与发布结论 |
| 质检与验证口径复核 | 每季度一次 | 指标体系、门限表、抽样方案、判据登记表 | 复核结论；需修订的出修订单 |
| 标准规范适用性查新 | 每半年一次 | 引用标准清单 | 《标准规范适用清单》更新 |
| 报告质量回顾 | 每半年一次 | 本周期出具的全部报告 | 共性问题清单与模板改进建议 |
| 场景验证判据复核 | 每轮验证前一次 | 该场景的判据登记表 | 判据冻结确认或修订记录 |
季度复核与半年查新两项是为了应对一个确定会发生的情况：标准会修订、指标体系会调整、门限会随数据条件变化。不设固定复核节奏，报告就会在某个时点开始引用过期的判定依据，而这件事往往要到验收时才被发现。
**修订的分级与处置**
| 修订类型 | 定义 | 是否需重出报告 | 是否需重新评审 | 下游通知范围 |
|---|---|---|---|---|
| 勘误 | 文字、编号、引用笔误，不改变任何结论 | 原报告出勘误页 | 否 | 报告接收方 |
| 补充 | 补填【待填】项、补附件，结论不变 | 次版本号递增（如 V1.0→V1.1） | 二级审核 | 报告接收方、数据卡维护岗 |
| 结论修订 | 实测值更正或判定结论改变 | 主版本号递增并作废原版 | 三级评审＋招标方确认 | 全部下游（见下） |
| 判据修订 | 指标口径、门限或判据本身变更 | 受影响的全部报告重出 | 三级评审＋招标方确认；修订前后结果并列报告 | 全部下游 |
结论修订与判据修订一律主版本号递增并作废原版，作废关系在新版报告第 1 章注明。判据修订的处置最重：判据一旦进入执行即冻结，修订须经双方共同评审并留记录，修订前后的结果并列报告而不是用新结果覆盖旧结果。只保留新结果会让指标变化的来源无法判断——是数据改好了，还是判据放宽了。
**下游通知机制**
一份报告改了，哪些地方要跟着动，必须有确定的清单，否则就会出现报告已更新而数据卡仍引用旧结论的情形。
| 报告类型 | 修订后须同步更新的下游 |
|---|---|
| 批次级质检报告 | 批次质检看板；版本级报告的批次清单；整改任务单台账的来源字段 |
| 版本级质检报告 | 数据卡 E01（质检报告编号）、E02（六维度结果）、E03（结论）、E04（未关闭缺陷）；验证报告第 1 章前置条件；资产台账的质量字段；移交记录 |
| 数据集验证报告 | 数据卡 E05（验证报告编号）、E06（能力增量）、E07（场景可用性）；移交记录的接入范围与限制条件；场景验证报告第 1 章的数据集版本 |
| 场景验证报告 | 汇总结论表；汇总判据对照；修订计划中由本报告归因产生的条目；判据登记表的版本记录 |
| 判据登记表 | 受该判据约束的全部场景验证报告；用例卡的判据引用字段 |
| 标注规范 | 受该规范约束的全部标注批次报告；数据卡 C06（标注规范编号）；依赖该标签的场景验证结论 |
通知的执行方式：报告在数据集运营服务管理平台上登记时带下游引用关系，修订触发平台向引用方发出变更提示并生成待处理项；待处理项未关闭时，引用该报告的新报告不允许定版。把通知做成阻断条件而不是提醒，是因为提醒会被忽略。
#### 7.4 报告归档与检索口径
归档遵循附件 A2 第 2.3 节的编号、命名与装订口径，电子件按类别码建一级目录，纸质件按类别分册、册首附《本册文件清单》。本节只给检索口径。
报告及其附件、用例卡、金标准集、回放窗口、执行日志统一归档，按四个维度可检索：
| 检索维度 | 回答什么问题 | 实现方式 |
|---|---|---|
| 按数据集版本 | 这个版本的质检与验证结论是什么、在哪些场景上验过 | 以内容根摘要与版本号为索引 |
| 按场景与验证项 | 这条能力验过没有、结论是什么、当前处在哪一档 | 以场景编号＋能力编号为索引 |
| 按用例 | 这条结论的依据是什么 | 以用例编号索引到用例卡与原始输出 |
| 按改进需求 | 这条需求从哪来、关了没有、关在哪一版 | 以任务单编号索引到来源用例与闭环记录 |
归档的完成标志是三项可核查：任取一条验证结论，能在两步内找到其用例卡与原始输出；任取一个数据集版本，能列出其被验证的场景与结论；任取一条改进需求，能找到其来源用例与关闭记录。这三项在阶段验收时逐项演示。
留痕数据进入数据集运营服务管理平台的审计与版本模块统一管理，不另建台账；留痕的覆盖率趋向全量，首轮验证的抽样复核比例不低于用例总数的百分之十，复核发现留痕缺失的用例判定为未完成并重跑。
#### 7.5 争议处置
报告的结论进入验收，分歧在所难免。本节约定三类争议的处置方式，与本投标文件 T5 节第 11.6 节一致。
| 争议类型 | 表现 | 处置方式 |
|---|---|---|
| 判据理解分歧 | 双方对同一指标的统计单位或分子分母理解不同 | 回到判据登记表，以登记口径为准；登记表本身表述不清的，当场修订并留记录，修订前后结果并列报告 |
| 参考答案争议 | 我方按金标准判为失败、招标方岗位认为输出可用，或相反 | 提交仲裁，由未参与原标注的骨干判定。仲裁认为金标准有误则更正标注并对同类样本回溯复核；仲裁认为标注正确而岗位接受度更宽，则记录为任务级可用而指标级不达标，两个结论同时保留 |
| 归属争议 | 失败原因在数据侧还是实现侧难以判定 | 按证据判定：能在数据层面复现（同一输入在数据修订后结果改变）的归数据侧；不能复现而在实现侧修改后结果改变的归实现侧；两侧均不能单独复现的记为联合问题，由双方共同给出整改方案。判定过程与证据写入归因报告，不以协商方式分摊责任 |
三类争议的处置记录统一归入档案，与用例卡关联。争议数量与处置时长本身也是一项可观察的过程指标：争议集中出现在某一验证项上，通常说明该项的判据或参考答案设计有问题，应当复核而不是继续执行。
### 八、本附件与其他章节的口径对照
本附件出样章，其他章节出模板、指标与方法。合稿时按下表核对，避免同一指标在投标文件中出现两个数值。
| 本附件内容 | 对应章节 | 以谁为准 |
|---|---|---|
| 批次级与版本级质检报告的章节结构、字段、门限表 | 附件 A2 第五节 | A2；本附件按其章节填出内容 |
| 数据集验证报告的章节结构、四类实验指标表、场景可用性表字段 | 附件 A2 第六节 | A2 |
| 六维度指标的含义与计算口径、三维度指标体系、合格线与否决项 | 服务方案 S3 第四节 | S3 |
| 抽样方案与打分聚合 | 附件 A2 第 5.4 节、服务方案 S3 第 5.5 节 | 抽样表以 A2 为准，分层与可复现口径以 S3 为准 |
| 六个专业场景的能力清单、判据档位、分档规则、报告九章结构、用例卡字段 | 技术方案 T5 | T5 |
| 五个通用场景的基准分册规模、指标四组、三级判据、防失真措施 | 技术方案 T14 | T14 |
| 加工环节划分与环节间交接物 | 技术方案 T1A、T1B | T1A／T1B |
| 四类数据集与十六个子集的规模 | 技术方案 T1C | T1C；本附件引用不改写 |
| 归因方法与数据贡献度溯源 | 技术方案 T2C | T2C |
| 数据卡字段与指纹字段 | 附件 A2 第四节 | A2 |
| 编号、命名、装订与归档口径 | 附件 A2 第 2.3 节 | A2 |
| 治理类文档（管理办法、标准规范、术语卡、指标卡、质量规则库）的条文结构与样章 | 技术方案 T4A、T4B | T4A／T4B；本附件不重复出 |
| 产出节奏与里程碑 | 服务方案 S1 | S1 |
| 平台侧的登记、挂牌与审计模块 | 技术方案 T3 | T3 |
三处需要特别留意的口径一致性：
一是六维度门限值。本附件各样章引用的基线值与目标值取自附件 A2 第 5.5 节，指标含义取自 S3。若 S3 在定稿时调整了某项指标的定义，本附件样章中该项的门限须同步核对，不能只改一处。
二是场景编号。本附件对通用场景暂用 TG1—TG5，最终编号以场景清单定版为准。编号定版后，本附件涉及的报告编号、用例卡编号与判据编号一并更新。
三是规模数值。本附件引用的预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条及其分域构成，以及 28 道备料工序、63 万张历史工艺样本，一律取本投标文件既定口径，本附件不改写也不另算。
### 九、本稿待补材料清单
本附件为样章，不需要实名实据即可成立。下列事项需在投标定稿前或实施启动阶段补齐，其中标注「投标前」的会影响本附件定稿。
| 序号 | 待补事项 | 需要谁提供 | 影响本附件何处 | 时点 |
|---|---|---|---|---|
| 1 | 五个通用场景的最终编号 | 技术方案 T5、T14 两段与场景清单定版 | 第五节 TG1—TG5 的编号、报告编号、用例卡与判据编号 | 投标前 |
| 2 | 质量评测方案最终确定的指标清单与权重 | 服务方案 S3 段 | 第三节六维度指标表的指标名与适用性裁剪 | 投标前 |
| 3 | 签署栏的角色与审批层级 | 项目管理段确认 | 各样章封面签署栏、第七节评审层级表 | 投标前 |
| 4 | 九个业务域的最终划分与域码 | 治理段与招标方共同确认 | 全部报告编号中的业务域码 | 投标前 |
| 5 | 评测协议固化记录的版本标识 | 评测段确认 | 验证报告第 1、2 章 | 实施启动阶段 |
| 6 | 招标方档案管理的装订样式要求 | 招标方档案管理部门 | 第 7.4 节归档口径 | 实施启动阶段 |
| 7 | 招标方企业数据分类分级标准 | 招标方 | 质检报告中安全类检查项的取值依据 | 实施启动阶段 |
| 8 | 招标方制度分类与层级口径 | 招标方制度管理部门 | TG1 报告的三项判定类元数据指标（本轮按推定口径） | 实施启动阶段 |
| 9 | 招标方标准台账（标准号、现行有效状态、替代关系） | 招标方标准化管理部门 | TG2 报告的版本更迭两项指标（本轮按推定口径） | 实施启动阶段 |
| 10 | 行为数据埋点接口 | 场景建设方 | TG2 报告的数据可视化能力五项（本轮列为未验证） | 实施启动阶段 |
| 11 | 决策指标体系定版的指标清单与口径 | 治理段产出、招标方确认 | TG4 报告的全部结论以其为前提 | 实施启动阶段 |
| 12 | 典型合规案例与合同典型案例 | 招标方或行业公开资料 | TG2、TG5 报告的案例类结论样本量 | 实施启动阶段 |
| 13 | 三类合同的人工审查工时基线 | 招标方法务与业务部门组织对照组 | TG5 报告第 6 章效率四项（本轮留空） | 实施启动阶段 |
| 14 | 制度查询与复杂咨询的人工基线 | 招标方相关岗位组织对照组 | TG1 报告第 6 章效率两项（本轮留空） | 实施启动阶段 |
| 15 | 招标方签封的校核公式版本与参数字典 | 招标方技术部门 | X1 报告的复算一致性验证 | 实施启动阶段 |
| 16 | 28 道备料工序字典、加工方法分档规则、展开系数表的定版版本 | 招标方工艺部门 | X2 报告的 L1 核验与判据依据 | 实施启动阶段 |
| 17 | 工装与样板台账的状态字段 | 招标方车间台账 | X2 报告工装号命中率一项（本轮受限） | 实施启动阶段 |
| 18 | 装炉位置登记的填报覆盖率 | 招标方热处理班组 | X4 报告的 A／B 档占比与炉位级结论 | 实施期逐步 |
| 19 | 部件档案的型号与替代关系字段（含轴承型号） | 招标方设备技术部门 | X6 报告备件建议命中率一项（本轮受限） | 实施启动阶段 |
| 20 | 维修事实回填的覆盖率 | 招标方售后服务 | X6 报告的闭环完成率 | 实施期逐步 |
| 21 | 矿方对数据采集的授权范围 | 招标方协调矿方 | X6 报告 E 档矿点的范围与交付方式 | 实施期逐步 |
| 22 | 现场相机标定参数 | 招标方现场条件 | X5 报告焊脚尺寸测量一项的适用工位 | 实施启动阶段 |
清单中第 1 至 4 项标注「投标前」，它们影响本附件的编号体系与指标表，须在投标文件定稿前与相关段落对齐。其余各项属实施期事项，本附件各样章已以【待填】标出并在受限说明中写明其对结论的影响范围。
本附件为模板与样章，所列指标数值均为示意值，用于说明交付物的结构与填写粒度；项目期将按本附件的结构、章节层级与填写粒度逐份交付实际报告，数值与结论以实测为准。