## 一、本组工具链的定位、设计依据与统一约束
本节回应招标文件 3.2.3.8、3.2.3.9、3.2.3.10 三类工具链的总体要求（b1074、b1097、b1122），并交代 3.2.3.11 通用接口、追溯与验收要求的落点（b1146）。本组共 3 类 7 个工具链，连同适用于 9 类 25 个工具的通用约束，一并在本节建立统一骨架，后续各节不再重复。中国移动作为本项目的承诺主体，对本组工具链的设计、交付、指标达成与服务期校准负责。
### 1.1 这组工具解决的是哪一类现场问题
招标文件把本组三类工具放在工具链清单的后段，顺序本身就说明了用途：前六类工具负责把数据造出来，本组三类负责判断造出来的数据能不能用、好在哪里、坏在哪里、坏了之后改哪一条。对矿山装备制造这个具体对象，这件事比通用场景更要紧，原因有三条，都来自现场条件而不是方法论。
第一条是借用率高带来的重复与伪多样问题。按订单设计的产品组织方式下，一个实际项目涉及四百张左右图纸，一套完整产品可达五百余张，其中约七八成属于可借用、可对照的既有零件。历史图纸约 63 万张，每张历史上都配有一张已审核签发的工艺卡片，天然构成成对的监督样本。这个条件对数据集建设是利好，但把它直接灌进训练集会出两种毛病：一是同一零件的多次借用形成大量近重复样本，模型把常见槽宽档位的槽帮件学得很熟，对薄煤层或大采高工作面的非常规件几乎没有见过；二是借用件与原件之间往往只差一两个尺寸字段，若按整篇文本去重会把有价值的变体一并删掉，若不去重则训练集被少数高频零件族占满。去重与相似度过滤工具要同时回答"哪些是真重复"和"哪些是有信息量的近似变体"，这是本组第一个工具的真实任务（b1075）。
第二条是评测集与训练集天然同源带来的泄漏问题。甲方的历史资料集中在同一批设计与工艺文档中，六个专业场景的训练样本与验收样本都要从这批资料里切。若同一批标注样本既用于训练又用于评测，评测结果会系统性偏高，验收时看到的准确率无法反映上线表现。板材备料场景尤为典型：图纸与工艺卡成对，同一零件族的图纸可能同时落入训练与测试两侧，模型其实是在背答案。切分前的泄漏检测与基准测试集的冻结管理因此不是一道流程手续，而是决定验收数字是否可信的前置条件（b1114、b1116）。
第三条是故障与缺陷样本天然稀少带来的分布失衡问题。热处理三级判定中的不合格炉次、焊接十一类缺陷中的低频缺陷、在役装备的事件级故障标签，都属于"后果严重但样本极少"的类别。远程运维平台报警不少，可核对的真实故障标签很少。这类长尾类别若不显式识别、不做均衡处理，模型在整体准确率上看着不错，在真正要它判断的那几种情形上完全不可用。分布分析与均衡工具的作用是把这种失衡在数据层面暴露出来并给出可执行的补齐动作，而不是等模型上线后由现场来发现（b1091、b1093）。
把三条合起来看，本组工具的落点是一句话：让数据集的质量从"加工过程做得规范"变成"用模型表现能验证"，并且在验证发现问题之后，能把问题定位回具体的数据批次与具体的样本。
### 1.2 本组在数据加工主线中的位置与责任边界
本组工具不生产数据，只对数据作判断、切分、受控生成与反向归因。与前两组工具及其他建设内容的分工关系如图 1-1。
### 图 1-1 本组三类工具在数据加工主线中的位置与数据流向
图 1-1 本组三类工具在数据加工主线中的位置与数据流向。数据来源：招标文件第五章 3.2.3.8—3.2.3.11 节工具链划分；四类数据集口径见本卷 T1 节。
责任边界按下表划清。表中凡标"本节详述"的，其他章节只引用不重复论述。
表 1-1 本组工具与相邻建设内容的责任边界
| 事项 | 本组工具负责 | 相邻内容负责 | 详述位置 |
|---|---|---|---|
| 样本的生产与标注 | 不负责；只接收加工产出作为候选输入 | 采集预处理与标注合成由数据加工主线承担 | T1A／T1B |
| 思维链、长上下文、多轮对话样本构建 | 不负责；对其产出做去重、泄漏与分布检查 | 构建逻辑与模板 | T2A |
| 多模态对齐与智能标注 | 不负责；消费其对齐结果做跨模态一致性检查 | 对齐规则与标注规范 | T2B |
| 数据去重、近重检测、语义相似过滤、污染扫描 | 本节详述 | 质检规则由质检环节提供阈值建议 | 本节 2.2 |
| 分布统计、偏置识别、均衡处理 | 本节详述 | 配比目标由数据集规模规划给出 | 本节 2.3，配比见 T1C |
| 模板化合成样本生成 | 本节详述模板引擎与校验 | 语料级增强与改写 | 本节 3.2，增强见 T2B |
| 训练/验证/测试切分与基准冻结 | 本节详述 | 规模下限与配比 | 本节 3.3 |
| 模型评测的执行与判分 | 本节详述评测引擎与协议 | 评测指标体系与评测依据 | 本节 4.2，指标体系见 S3 |
| 第三方盖章质量测评报告 | 不负责出具；提供可复现的协议、冻结集与运行记录供机构核验 | 具资质机构出具 | S3 |
| 错题溯源、贡献度归因、修订工单 | 本节详述 | 整改执行由加工环节承接 | 本节 4.3 |
| 数据集—模型版本血缘 | 本节详述图谱与审计查询 | 版本登记入库由运营平台承载 | 本节 4.4，平台见 T3 |
| 模型训练与推理的算力与调度 | 不负责；只调用推理接口执行评测 | 训推平台 | T13 |
| 场景能力的业务验收 | 不负责；提供能力维度评测数据 | 场景验证方案 | T5／T14 |
需要特别说明一条边界：本包是数据加工生产服务，不负责智能场景建设。本组工具链输出的评测结论与归因报告，用途是判断数据集好不好、该怎么改，不是用来替场景方做模型调优决策。工具提供事实与指标，决策权在数据集建设与验收流程。
### 1.3 七个工具链的交付清单
本组交付的 7 个工具链及其交付物见表 1-2。每个工具链按 3.2.3.11 的要求提供演示样例、输入输出样例、配置说明、接口说明与测试报告五件套（b1157）。
表 1-2 本组工具链交付清单
| 编号 | 工具链名称 | 核心输入 | 核心产出 | 对应单元 |
|---|---|---|---|---|
| 3.2.3.8.1 | 数据去重与相似度过滤 | 候选数据集、训练/验证/测试集、专家题库、相似度阈值 | 去重后数据集、重复组清单、污染命中报告 | b1077—b1087 |
| 3.2.3.8.2 | 数据分布分析与均衡 | 数据集、领域标签、类别标签、配比目标 | 分布统计、均衡后数据集、质量治理报告 | b1088—b1096 |
| 3.2.3.9.1 | 模板化数据生成 | 规则模板、参数字典、业务约束、采样配置 | 结构化合成样本、生成批次、模板版本记录 | b1100—b1110 |
| 3.2.3.9.2 | 数据集切分与基准构建 | 洁净数据集、切分策略、评测协议 | train/valid/test 数据集、冻结基准集、评测结果 | b1111—b1121 |
| 3.2.3.10.1 | 多协议模型评测引擎 | 模型接口、冻结基准集、评测协议、判分规则 | 模型评测报告、样本级评测结果、版本对比 | b1125—b1133 |
| 3.2.3.10.2 | 数据贡献度归因与错题溯源 | 评测错题、训练样本血缘、数据子集标签 | 能力雷达图、失败样本清单、归因报告、修订工单 | b1134—b1140 |
| 3.2.3.10.3 | 数据集—模型版本血缘追溯 | 数据集版本、训练任务日志、模型检查点、发布审批记录 | 血缘图谱、影响范围分析、审计查询结果 | b1141—b1145 |
### 1.4 七个工具共用的一套骨架
七个工具链在功能上各管一段，在工程实现上共用同一套骨架。这样做有两个实际好处：一是甲方只需要熟悉一种任务提交方式与一种结果结构，不必为七个工具学七套用法；二是血缘字段由骨架统一写入，不依赖各工具自觉填写，血缘的完整性才有保障。骨架由四件事构成，如图 1-2。
### 图 1-2 七个工具共用的任务骨架与血缘写入点
图 1-2 七个工具共用的任务骨架与血缘写入点。数据来源：招标文件 3.2.3.11（1）接口要求、（3）血缘要求（b1147、b1151）。
骨架的四件事分别是：**任务与批次**，一次提交对应一个任务，任务按可重试的最小单元切成批次，异常重试以批次为粒度，不必整任务重跑；**双通道算子**，凡能用确定性规则判定的先走规则通道，规则判不了的才调模型通道，模型通道经统一网关接入，采用当期能力评测领先的通用大模型，可替换、可评测、可随代升级；**指标与质量门**，每个批次产出一组指标，指标与预设门限比对，未过门限的批次不进入下一环节；**血缘与审计**，样本在每个环节追加一条处理记录，八类标识由骨架写入而非算子自填。
### 1.5 绝对指标的写法与回退口径
本节以下各工具链都会给出指标与门限。这些数字的性质需要先说清楚，否则后续验收时双方对同一个数字的理解会不同。
本方案不使用"全量识别""无漏报""百分之百去重"一类表述。原因不是保守，而是这类承诺在工程上无法验证：要证明漏报为零，前提是已经知道全部正例，若已知道就不需要工具去找。我方对每一项能力采用三段式口径：**给基线**，说明首期可达到的水平及其测量方法；**给趋向**，说明在服务期内随着样本积累与阈值校准逐步接近的目标；**给回退**，说明达不到时怎么办、谁来兜底。
以精确重复检测为例。精确重复按定义可穷尽，指纹相同即判重复，这一项写"按指纹口径可完整识别"是成立的；但指纹口径本身有选择，按整篇文本计算与按结构化字段组合计算结果不同，所以要写明口径而不是写"百分之百"。再以语义相似过滤为例，它依赖向量表示，召回率随模型与阈值变化，首期按人工复核抽样估计给出基线，服务期内通过复核反馈校准阈值逐步接近目标，达不到时把阈值调向保守侧（宁可多留样本少删样本），并把落入复核带的样本转人工判定。
表 1-3 是本组七个工具链的质量门与回退路径汇总，各节不再重复列。其中的数值为首期基线目标，均属待验证目标，最终门限随蓝图设计与首批实测结果确认。
表 1-3 本组工具链质量门与回退路径
| 工具链 | 首期基线门限 | 测量方法 | 未达门限时的回退 |
|---|---|---|---|
| 去重与相似度过滤 | 精确重复按指纹口径完整识别；近重复在抽样复核下准确率趋向 95%；语义相似过滤在复核带外准确率趋向 90% | 每批次抽 500 条由工艺或设计口人员双盲复核 | 阈值调向保守侧，复核带扩宽，落入带内样本转人工判定 |
| 污染扫描 | 高风险命中逐步接近完整拦截；中风险命中进人工裁定 | 以已知注入的污染样本做回灌测试，统计召回 | 污染未判定清楚的样本一律不进训练集，先隔离 |
| 分布分析与均衡 | 八个维度均出统计与可视化；长尾类别识别后给出可执行补齐动作 | 与配比目标逐项比对，偏差登记 | 补齐不可行的类别在数据卡显式标注覆盖不足，不静默补齐 |
| 模板化生成 | 结构校验通过率趋向 99%；人工抽检合格率趋向 95% | 校验器自动统计＋每批次抽检 200 条 | 校验不过的样本退回模板修订，不进数据集；模板版本回滚 |
| 切分与基准构建 | 跨集合泄漏在五类检测口径下逐步接近零命中；基准集指纹一致 | 切分后复查＋基准集每次使用前校验指纹 | 发现泄漏即重切并作废受影响的评测结论 |
| 多协议评测引擎 | 同协议同模型两次运行主指标偏差不超过 0.5 个百分点 | 固定随机种子重复运行 | 偏差超限则该协议标记不稳定，暂停用于验收，转人工评测 |
| 归因与血缘 | 发布版本内样本的血缘挂接率趋向 98%，未挂接样本不得进入发布版本 | 发布前血缘完整性校验 | 未挂接样本退回补录血缘，补不齐的从该版本剔除并记入待补清单 |
## 二、数据质量与分布控制类工具链（3.2.3.8）
本节回应招标文件 3.2.3.8 节全部要求，含类级能力与输入输出要求（b1074、b1075、b1076）、数据去重与相似度过滤工具链（b1077—b1087）、数据分布分析与均衡工具链（b1088—b1096）。
### 2.1 类级能力范围与输入输出口径
这一类工具面向训练集、验证集、测试集与候选数据集，用于发现重复、相似、泄漏、污染、失衡、异常与低质量样本（b1075）。七种问题当中，前四种是"同一份信息出现在了不该出现的地方"，后三种是"数据的分布形状不对或内容本身不合格"。两组问题的处理方式不同：前者靠比对，后者靠统计与规则。本类工具按这一区分设两个工具链，分别承担比对与统计两条主线。
能力覆盖的七个环节按招标文件口径为精确去重、近重检测、语义相似过滤、污染扫描、分布统计、均衡处理与质量报告输出（b1075）。这七个环节在实现上并不是七个独立程序，而是同一条流水线上的七道算子，共享样本指纹、共享向量索引、共享统计缓存。这样安排的理由很直接：63 万张图纸量级的数据集，若每道算子各自重算一遍指纹与向量，算力成本不可接受，且不同算子算出的指纹口径可能不一致，导致同一条样本在去重环节被判唯一、在污染环节被判命中。
输入输出口径按 b1076 的要求固化为表 2-1。表中"矿装对象取值"一列说明该项输入在天地奔牛这个具体对象上指什么，避免验收时对输入内容的理解分歧。
表 2-1 质量与分布控制类工具链输入输出口径（b1076）
| 类别 | 项目 | 矿装对象上的具体取值 | 格式 |
|---|---|---|---|
| 输入 | 训练集 | 图纸—工艺卡成对样本、选型问答、制度条款问答等已入库训练样本 | JSONL，含样本标识与来源标识 |
| 输入 | 验证集 | 自训练集同源切出、用于训练中途监控的样本 | JSONL |
| 输入 | 测试集 | 与训练集按来源与时间双重隔离的样本 | JSONL |
| 输入 | 专家题库 | 由工艺、设计、质量、设备各口专家出具的题目与标准答案 | JSONL，含出题人角色标识（不含姓名） |
| 输入 | 领域标签 | 供需计划、产品工艺设计、制造过程、质量四个数据域及其下级业务域 | 枚举值，取自数据集标准 |
| 输入 | 类别标签 | 如备料工序 28 道工序名、热处理三级判定、焊接缺陷类别 | 枚举值，取自各场景判据字典 |
| 输入 | 配比目标 | 四类数据集按数据域的规模配比（见 T1C） | 配置文件，域—目标占比 |
| 输入 | 相似度阈值 | 近重阈值、语义重复阈值、复核带上下界 | 配置文件，可按数据集类型分别设定 |
| 产出 | 去重后数据集 | 保留样本全集，附保留原因 | JSONL／Parquet |
| 产出 | 污染命中报告 | 命中样本、命中片段、来源集合、风险等级、处理建议 | CSV＋Markdown 摘要 |
| 产出 | 分布统计 | 八个维度的分布表与可视化图 | CSV＋图表文件 |
| 产出 | 质量治理报告 | 问题样本清单、质量指标、分布变化、风险等级、建议处理动作 | Markdown＋附表 |
### 2.2 数据去重与相似度过滤工具链（3.2.3.8.1）
本小节回应 b1077—b1087，共五条功能要求与一条输出要求。
#### 2.2.1 这个工具要替人做的那个判断
工艺人员编制备料工艺卡时，拿到一张新图纸，第一个动作是判断"这张图有没有做过类似的"。七八成的图纸确有可借用的既有工艺，但判断靠的是打开目录逐张核对。把这件事挪到数据集加工环节，问题的形式变了但本质相同：一批候选样本进来，要判断哪些是同一份信息的重复出现（应当合并或删除），哪些是看着像但信息不同的变体（应当保留），哪些是本不该在这里出现的评测内容（必须隔离）。
三类判断的难度递增，所需的比对代价也递增。按代价从低到高级联，是这一工具的基本设计：先用廉价手段把能确定的筛掉，剩下的才交给昂贵手段。若反过来先做语义比对，63 万张图纸配对出的工艺卡样本按两两比较是 10 的 11 次方量级的运算，不具可行性。
### 图 2-1 四级级联去重与污染扫描流水线
图 2-1 四级级联去重与污染扫描流水线。数据来源：招标文件 3.2.3.8.1（1）—（5）（b1078、b1080、b1082、b1084、b1086）。
#### 2.2.2 一级：精确重复检测
精确重复检测按五类指纹识别完全重复的样本，五类指纹分别取自文本内容、样本标识、哈希指纹、源文件与结构化字段（b1078、b1079）。这五类不是五种算法，而是同一种比对方式作用在五种口径上，口径不同会得出不同的重复组，所以需要逐类定义而不是笼统写"按哈希去重"。
文本内容口径先做归一化再算摘要：统一全角半角、去除不可见字符、折叠连续空白、统一数字与单位写法（如"Φ30"与"φ30"、"30mm"与"30 毫米"），再对归一化后的正文取 SHA-256。不做归一化的后果在工艺卡样本上很明显：同一道工序的卡片内容相同，只因录入人的空格习惯不同而被判为两条，重复就漏掉了。
样本标识口径按业务主键比对。矿装业务的主键是复合的：图号加版次、施工号加零件号、工单号加工序号、炉次号、焊缝编号加焊道序号。这些主键之间目前没有稳定的映射关系，是数据集建设的已知前置问题（见 T1A 主键贯通）。本工具按已贯通的主键做比对，未贯通的主键组合在重复组清单里标注"主键口径待确认"，不自行推断。
哈希指纹口径针对非文本内容。图纸文件按几何要素序列取指纹而非按文件字节取指纹，因为同一张图另存一次字节就变了；照片按感知哈希取指纹，使同一缺陷的多次拍摄能够聚到一组；时序数据段按采样值序列取指纹。源文件口径按文件路径、文件大小与修改时间三者组合识别同一文件的多次导入，这类重复在多系统取数时很常见。同一份工艺文件既在产品全生命周期管理系统里，也在企业文档系统里存了一份。结构化字段口径由配置指定参与比对的字段集合，例如备料工艺卡只比对材料牌号、板厚、外形轮廓、孔与方孔、坡口倒角、压弯线六个字段，不比对编制日期与编制人。
表 2-2 精确重复检测的五类指纹口径（b1078、b1079）
| 口径 | 计算方式 | 适用对象 | 已知风险与处置 |
|---|---|---|---|
| 文本内容 | 归一化后取 SHA-256 | 工艺卡正文、制度条款、问答样本 | 归一化规则漏项会漏判；规则表版本化管理，变更须重跑 |
| 样本标识 | 业务复合主键比对 | 图纸、工单、炉次、焊道 | 主键未贯通者标注待确认，不推断 |
| 哈希指纹 | 几何要素／感知哈希／采样值序列 | 图纸文件、照片、时序段 | 感知哈希对强噪声敏感；噪声超限转近重复级处理 |
| 源文件 | 路径＋大小＋修改时间 | 多系统重复导入的同一文件 | 跨系统路径不同但内容相同者由文本口径兜住 |
| 结构化字段 | 配置字段集合比对 | 物料主数据、定额、参数记录 | 字段集合由业务口确认后固化，变更须登记 |
重复组内留哪一条，按来源优先级定，不按先到先得。优先级口径为：已审核签发的正式版本高于草稿版本；原生系统导出高于二次转录；带完整血缘的高于血缘不全的；时间更新的高于更早的。四条依次比较，前一条能分出高低就不看后一条。保留与删除都写入重复组清单并给出理由，删除的样本不做物理删除，移入隔离区保留一个版本周期，以备复核推翻结论时取回（b1086）。
#### 2.2.3 二级：近重复检测
近重复检测用于识别大规模文本中的高度相似样本，采用 MinHash、SimHash 与局部敏感哈希（Locality Sensitive Hashing，LSH）方法（b1080、b1081）。三种方法不是备选项，而是分工：SimHash 擅长抓少量字符改动的文本，适合制度条款与标书段落这类改几个字就另存一版的内容；MinHash 配合 LSH 擅长抓大规模集合上的 Jaccard 相似，适合工艺卡与问答样本这类按词或按字切片后比对的内容。
实现口径如下。中文文本按字切 5 字滑窗作为分片单元，英文与型号编码按词切 3 词滑窗；对每条样本取 128 个 MinHash 签名，按 LSH 分成 32 段每段 4 个签名建桶，候选对只在同桶内产生，把两两比较降到近线性；候选对再精算 Jaccard 相似度，不低于 0.85 判近重复，落在 0.72 至 0.85 之间进人工复核带。SimHash 取 64 位指纹，汉明距离不超过 3 判近重复。阈值按数据集类型分别配置：预训练语料可取较松（宁可多删，语料冗余对训练不利），指令微调与偏好数据取较严（样本少，删错代价高），基准题目一律不做自动删除，只给提示。
借用件的处理需要单独说明，这是矿装数据集上最容易出错的一处。同一零件族的借用件，图纸与工艺卡的文本相似度常在 0.9 以上，但差别恰在关键字段——板厚从 16 毫米改成 20 毫米、压弯角度改了 5 度、增加了一道工序。若按整篇相似度判重，这类有信息量的变体会被整批删掉，训练集随之丢失对规格变化的敏感性。我方的处理方式是在近重复判定之上加一道**关键字段差异检查**：候选近重复对若在配置指定的关键字段上存在差异，则不判重复，改判为"同族变体"，两条都保留并互相登记关联关系。关键字段清单按场景定，备料场景取材料牌号、板厚、工序序列、压弯参数、孔位，热处理场景取材料牌号、炉型、目标硬度区间、工艺参数窗口。
表 2-3 近重复检测的参数口径与数据集差异化配置（b1080、b1081）
| 参数 | 预训练语料 | 指令微调样本 | 偏好对比组 | 基准题目 |
|---|---|---|---|---|
| 分片单元 | 中文 5 字窗／英文 3 词窗 | 同左 | 同左 | 同左 |
| MinHash 签名数 | 128 | 128 | 128 | 128 |
| LSH 分段 | 32 段 × 4 | 32 段 × 4 | 32 段 × 4 | 32 段 × 4 |
| 判重阈值（Jaccard） | ≥0.80 | ≥0.85 | ≥0.88 | 不自动判重 |
| 人工复核带 | 0.70—0.80 | 0.72—0.85 | 0.75—0.88 | ≥0.75 全部提示 |
| SimHash 汉明距离 | ≤3 | ≤3 | ≤2 | 仅提示 |
| 关键字段差异检查 | 按域启用 | 启用 | 启用 | 启用 |
| 默认处置 | 自动删除并记录 | 自动删除并记录 | 删除需复核确认 | 仅出清单，人工决定 |
#### 2.2.4 三级：语义级相似度过滤
语义级相似度过滤基于向量表示与近邻检索，识别表达不同但语义重复或高度接近的样本（b1082、b1083）。近重复抓的是字面相近，语义级抓的是字面不同而意思相同。这类重复在问答类样本上占比最高：同一条管理制度，不同人问法不同，"差旅住宿标准是多少"与"出差住宿费怎么报"指向同一个答案，二者字面相似度极低。
实现口径为：文本经向量化模型编码为稠密向量，向量模型经统一网关接入，采用当期能力评测领先的通用模型，可替换、可评测、可随代升级；向量入近似最近邻索引（本方案采用分层可导航小世界图，Hierarchical Navigable Small World，HNSW），检索参数按召回优先设置；余弦相似度不低于 0.92 判语义重复，0.85 至 0.92 进人工复核带。向量模型更换时，索引须整体重建并对上一版的判定结果做抽样回归比对，比对差异超过 2 个百分点的，该批次判定结果作废重跑——这一条是为了防止换模型后新旧判定不一致而无人察觉。
语义过滤对指令微调样本有一处特殊用法：同一问题的多种问法本身是有价值的多样性，不应一律删除。本工具的处理是按"语义簇"聚类而非按对删除，簇内保留若干条问法变体（默认保留 3 条，按问法长度与句式差异取最分散的三条），其余删除。这样既压掉了冗余，又保住了问法多样性。簇的构成与保留逻辑写入重复组清单。
对图文与时序样本，语义级比对走各自的表示通道：图纸按几何要素与标注文本的联合表示，照片按视觉表示，时序段按统计特征与形态表示。跨模态的语义重复（如同一缺陷既有照片又有文字描述）不在本工具处理范围，由多模态对齐工具的对齐结果提供关联，本工具只在同模态内比对（对齐见 T2B）。
#### 2.2.5 四级：n-gram 污染扫描
污染扫描支持训练集与验证集、测试集、专家题库、保留评测集及基准集之间的 n-gram 比对，防止评测样本、测试答案或保留数据进入训练集（b1084、b1085）。这是本工具链中优先级最高的一项。它的失效不会表现为数据质量差，而会表现为验收指标虚高、上线表现落空。
扫描口径为：被保护集合（测试集、专家题库、保留评测集、基准集）先建 n-gram 倒排索引；训练集逐条样本切 n-gram 后查索引，命中即记录。n 的取值按内容类型分设：中文正文取连续 13 字，英文与代码取 8 元词组，结构化记录取字段值组合。单条样本的命中片段长度与命中次数共同决定风险等级。扫描方向是双向的：既查训练集是否含有被保护集合的内容，也查被保护集合是否含有训练集已有的内容。后者意味着这道题模型在训练时就见过，题目本身应当换掉。
风险等级与处理建议按表 2-4 固化。这张表是验收时的判定依据，等级划分口径与 S3 质量评测方案的内容干净性指标、T1B 质检的泄漏检查项保持同一套说法。
表 2-4 污染风险等级与处理建议（b1085、b1087）
| 等级 | 判定条件 | 含义 | 处理建议 | 是否阻断发布 |
|---|---|---|---|---|
| 高 | 命中片段覆盖被保护样本主体内容，或命中标准答案关键段 | 评测内容已进入训练集 | 训练侧样本隔离；该基准题目标记作废并补题 | 阻断 |
| 中 | 命中片段长度达阈值但不覆盖主体，或命中次数多而片段短 | 可能是共用的术语、标准条文或模板句式 | 转人工裁定，裁定结果写回规则库 | 阻断至裁定完成 |
| 低 | 仅命中通用术语、单位、型号编码 | 正常的领域词汇共现 | 登记不处理 | 不阻断 |
| 无 | 未命中 | —— | —— | 不阻断 |
高风险命中的拦截能力按三段式口径表述：首期以回灌测试测量，即向训练集人工注入一批已知来自基准集的样本，统计扫描召回，基线目标为注入样本的识别率趋向完整；服务期内通过每次切分后的复查与每轮评测的异常指标回查持续校准 n 取值与索引粒度，逐步接近全部高风险命中可拦截；达不到时的回退是把未判定清楚的样本一律隔离不进训练集，并在该数据集版本的数据卡上登记"污染扫描存在未裁定项"，不以未裁定项冒充无风险。
### 图 2-2 污染扫描的集合关系与扫描方向
图 2-2 污染扫描的集合关系与扫描方向。数据来源：招标文件 3.2.3.8.1（4）（b1084、b1085）；数据集规模口径见本卷 T1C。
#### 2.2.6 输出规格
工具输出重复组、保留样本、删除样本、相似度、命中规则、污染风险等级与处理建议七项（b1086、b1087）。七项按两张表组织：重复组清单一行一条样本，污染命中报告一行一处命中。字段定义见表 2-5，字段名在接口文档中与此一致，不另起别名。
表 2-5 去重与相似度过滤的输出字段（b1086、b1087）
| 表 | 字段 | 含义 | 取值 |
|---|---|---|---|
| 重复组清单 | group_id | 重复组标识 | 字符串 |
| 重复组清单 | sample_id | 样本标识 | 字符串 |
| 重复组清单 | decision | 处置结论 | 保留／删除／同族变体／待复核 |
| 重复组清单 | decision_reason | 处置理由 | 来源优先级／关键字段差异／复核结论 |
| 重复组清单 | similarity | 与组内保留样本的相似度 | 0—1，注明算法口径 |
| 重复组清单 | matched_rule | 命中规则 | 指纹口径名／近重算法名／语义阈值名 |
| 重复组清单 | variant_of | 同族变体关联 | 关联样本标识列表 |
| 污染命中报告 | hit_id | 命中标识 | 字符串 |
| 污染命中报告 | train_sample_id | 训练侧样本标识 | 字符串 |
| 污染命中报告 | protected_set | 被保护集合 | 基准集／专家题库／测试集／保留评测集 |
| 污染命中报告 | protected_sample_id | 被保护侧样本标识 | 字符串 |
| 污染命中报告 | hit_span | 命中片段 | 原文片段＋起止位置 |
| 污染命中报告 | hit_count | 命中次数 | 整数 |
| 污染命中报告 | risk_level | 污染风险等级 | 高／中／低／无 |
| 污染命中报告 | suggested_action | 处理建议 | 按表 2-4 取值 |
| 污染命中报告 | review_status | 人工裁定状态 | 待裁定／已裁定保留／已裁定隔离 |
两张表同时以 JSON Lines 与 CSV 两种格式输出，并生成一份 Markdown 摘要供人阅读。摘要包含本批次处理量、各级命中量、去重率、污染命中分布与需人工处理的条数，篇幅控制在一页之内，使项目组不必打开数据文件就能判断这一批是否正常。
#### 2.2.7 性能、接口与验收
处理规模按首期数据量估算：63 万张图纸及其配对工艺卡，加上四类数据集的候选样本。一级与二级算子按批次并行，单批 10 万条，支持断点续跑；三级向量化是算力主要消耗项，按增量处理，已入索引的样本不重复编码；四级索引常驻，训练集逐条查询。指标口径与性能承诺在非功能性章节统一给出（见 T11），本节不重复列数值。
接口按 3.2.3.11 的统一口径提供（见本稿第五节）。验收按五件套交付：演示样例用一批真实图纸与工艺卡的脱敏子集跑通四级流水线；输入输出样例给出上表全部字段的实例；配置说明覆盖表 2-2 与表 2-3 的全部可配项；接口说明含任务创建、查询、结果获取、重试、导出、回调六类调用；测试报告含回灌测试结果与抽样复核一致率（b1157、b1158）。
### 2.3 数据分布分析与均衡工具链（3.2.3.8.2）
本小节回应 b1088—b1096，共四条要求。
#### 2.3.1 从八个维度看数据集的形状
工具支持从类别、领域、来源、长度、难度、时间、质量等级与模态八个维度做分布统计与可视化（b1089、b1090）。八个维度在矿装数据集上各有具体取值，统计才有意义；若只按通用维度统计，得到的图表看不出问题在哪。表 2-6 把八个维度落到本项目的具体对象上。
表 2-6 八个分布维度在本项目的取值口径（b1089、b1090）
| 维度 | 取值口径 | 要看出什么 |
|---|---|---|
| 类别 | 备料 28 道工序、热处理三级判定、焊接缺陷类别、故障名录条目、选型机型档位 | 哪些类别样本过少，模型在这些类别上不可用 |
| 领域 | 供需计划、产品工艺设计、制造过程、质量四个数据域及下级业务域 | 与配比目标的偏差（配比见 T1C） |
| 来源 | 产品全生命周期管理、企业资源计划、制造执行、质量管理、仓储物流、协同办公、采集监控、远程运维等取数通道 | 是否被单一来源主导；来源质量差异是否传导到数据集 |
| 长度 | 文本按字数分档，时序按时长分档，图纸按要素数分档 | 长度偏置是否使模型只会处理短样本 |
| 难度 | 按标注一致率、专家标注耗时、模型初判置信度三项合成分档 | 简单样本是否占比过高，难样本是否不足 |
| 时间 | 按图纸签发年份、工单完工时间、炉次开炉时间、报警发生时间分档 | 是否只覆盖近年；老工艺与新工艺的比例 |
| 质量等级 | 按质检结论与血缘完整度分 A／B／C 三档 | 低质量样本的占比与分布位置 |
| 模态 | 文本、图纸、照片、时序、表格、视频 | 多模态样本是否集中在少数几类任务上 |
可视化按维度性质选图形：类别与领域用条形图并按占比排序，长度与难度用直方图加累积曲线，时间用折线图，来源用堆叠条形图按类别拆分，模态用矩阵图展示模态与任务类型的交叉覆盖。两个维度的交叉分布另出热力图，默认出"类别×来源"与"类别×时间"两张，这两张是暴露偏置最有效的视角——某一类别的样本若全部来自同一个来源或同一个时间段，该类别的泛化能力存疑。可视化输出为图表文件与数据表双份，图表进质量治理报告，数据表供复核与再分析。
#### 2.3.2 偏置、异常与漂移的识别口径
工具支持识别长尾类别、来源偏置、长度偏置、异常峰值、批次漂移以及增强前后的分布变化（b1091、b1092）。六种情形各有判定口径，口径必须写死，否则"偏置"是个主观词，验收时无从核对。
长尾类别按双条件判定：某类别样本占比低于 1%，且绝对数量低于该类任务的最小可用量。最小可用量按任务类型给出默认值（分类类任务每类不少于 200 条，生成类任务每类不少于 50 条，诊断类任务每种故障不少于 30 个事件段），实际值随蓝图设计确认。两个条件都满足才判长尾，只满足占比条件的不判——数据集总量大时，占比 0.5% 也可能有上千条，够用。
来源偏置按单一来源占比与来源熵两项判定：某一来源在某类别内占比超过 70%，或该类别的来源分布熵低于阈值，判为来源偏置。长度偏置按长度分布的偏度与分位数判定：中位数与均值差异超过一倍标准差，或 90 分位长度不足 10 分位长度的三倍（分布过窄），判为长度偏置。
异常峰值按分位数与局部密度判定：某个取值点的样本密度超过邻域中位密度的 10 倍，判为异常峰值。这类峰值在矿装数据上多半有业务原因而非数据错误。某个槽宽档位是主力机型，样本自然多；某一年因大订单图纸数量激增。工具的职责是报出来并提示可能原因，不自动削峰。处置建议分三种：业务原因造成的记入数据卡说明；取数逻辑造成的（如某批次重复导入）退回去重环节；标注口径造成的（如标注员倾向于选某个默认值）退回标注环节复核。
批次漂移按群体稳定性指数（Population Stability Index，PSI）判定，以首批次或指定基准批次为参照：PSI 不超过 0.1 判稳定，0.1 至 0.25 判需关注，超过 0.25 判显著漂移。显著漂移触发两个动作：核查该批次的取数范围与标注规则是否变更，以及核查是否有新来源接入。增强前后的分布变化按同一套 PSI 口径比对增强前数据集与增强后数据集，PSI 超过 0.25 说明增强改变了数据集形状，须回看增强参数（增强工具见 T2B）。
表 2-7 六种分布问题的判定口径与处置（b1091、b1092）
| 问题 | 判定口径 | 默认阈值 | 处置动作 | 阻断发布 |
|---|---|---|---|---|
| 长尾类别 | 占比与绝对数双条件 | 占比 <1% 且绝对数低于最小可用量 | 按 2.3.3 选均衡方法；不可行者记入数据卡 | 不阻断，须登记 |
| 来源偏置 | 单一来源占比或来源熵 | 单来源 >70% | 扩展取数来源；暂不可行者标注适用范围 | 不阻断，须登记 |
| 长度偏置 | 偏度与分位数比 | 均值中位数差 >1σ 或 P90/P10 <3 | 按长度分层采样补齐 | 不阻断 |
| 异常峰值 | 局部密度比 | >邻域中位密度 10 倍 | 判因后分别退回去重／取数／标注环节 | 判因前挂起 |
| 批次漂移 | PSI 对基准批次 | >0.25 显著 | 核查取数范围与标注规则变更 | 显著漂移阻断该批次入库 |
| 增强前后变化 | PSI 对增强前 | >0.25 | 回看增强参数与增强比例 | 阻断至参数修正 |
#### 2.3.3 均衡处理的五种方法与选用条件
工具支持过采样、欠采样、权重采样、分层采样与生成补齐五种方式改善长尾类别覆盖（b1093、b1094）。五种方法不能随意选，选错会把一个问题换成另一个问题：对只有 20 条样本的故障类别做 10 倍过采样，模型会把这 20 条背下来，评测时该类别指标很高而实际不可用。选用条件按表 2-8。
表 2-8 五种均衡方法的选用条件与上限（b1093、b1094）
| 方法 | 适用条件 | 上限约束 | 已知副作用与防范 |
|---|---|---|---|
| 过采样 | 长尾类别已有一定样本量且样本本身多样 | 复制倍数不超过 3 倍；单类别过采样后占比不超过目标占比的 1.2 倍 | 过拟合；过采样样本单独标记，评测时按原始分布加权还原 |
| 欠采样 | 优势类别样本充裕且内部冗余明显 | 削减后不低于该类最小可用量；优先削去重环节判为同族变体的样本 | 丢信息；被削样本保留在隔离区可追回 |
| 权重采样 | 训练侧支持样本权重 | 权重跨度不超过 10 倍 | 权重过大等效过采样；权重随数据集版本固化并记入数据卡 |
| 分层采样 | 需要在多个维度同时控制比例 | 分层维度不超过 3 个，避免层内样本过少 | 层数爆炸；层内样本少于 30 条的层合并处理 |
| 生成补齐 | 长尾类别样本严重不足且业务规则明确可生成 | 合成样本占该类别不超过 30%；占数据集整体不超过配比目标的 10% | 合成样本与真实分布偏离；合成样本全部打标可识别，评测集一律不含合成样本 |
生成补齐与模板化数据生成工具链配套使用：分布分析识别出需要补齐的类别与补齐量，模板化生成工具按业务约束生成，生成结果回到本工具重新统计分布并复核是否达到目标（见本稿 3.2）。两者之间的接口是一张补齐需求单，含类别、目标数量、必须覆盖的参数组合、禁止出现的组合（如某材料牌号不允许某道工序）。
有一类情形不做均衡：当某个类别在现场本就极少发生，而数据集的用途是让模型在遇到时能识别，此时正确做法不是把样本凑到与常见类别相当，而是降低该类别的判定门槛并在场景侧设人工确认环节。工具在这种情形下的输出是一条明确的覆盖不足登记，而不是一批合成样本。热处理不合格炉次、焊接低频缺陷、在役装备的稀有故障模式都属此类。这一点与数据卡的覆盖度如实统计口径一致（见 T1C）。
#### 2.3.4 质量治理报告
工具输出质量治理报告，报告含问题样本清单、质量指标、分布变化、风险等级与建议处理动作（b1095、b1096）。报告按数据集版本出，一个版本一份，目录固化为表 2-9，不随批次调整，便于逐版本比对。
表 2-9 质量治理报告目录与内容口径（b1095、b1096）
| 章 | 内容 | 来源 |
|---|---|---|
| 一 | 本版本概要：数据集标识、版本号、样本量、处理批次、处理时间窗 | 任务骨架登记 |
| 二 | 质量指标：去重率、污染命中率、校验通过率、血缘挂接率、标注一致率、低质量样本占比 | 各算子汇总 |
| 三 | 问题样本清单：按问题类型分节，每条给样本标识、问题描述、建议动作、责任环节 | 重复组清单＋污染报告＋校验结果 |
| 四 | 分布现状：八个维度统计表与图，两张交叉热力图 | 分布统计算子 |
| 五 | 分布变化：与上一版本及基准批次的比对，PSI 与关键类别占比变化 | 分布统计算子 |
| 六 | 风险等级：按阻断项、须登记项、提示项三档汇总，列明阻断项的解除条件 | 质量门判定 |
| 七 | 建议处理动作：逐条对应第三章与第六章，给出责任环节与期限建议 | 规则库＋归因工具 |
| 八 | 待补与存疑：本版本未能解决的项，含污染未裁定项、覆盖不足类别、血缘不全样本 | 各算子遗留项登记 |
第八章是这份报告的关键一节。质量治理的常见失效方式不是没发现问题，而是把未解决的问题在报告里淡化掉，下一版本接着往前走，最后在验收时集中爆发。我方的口径是未解决项逐条列明并随版本累计，解决一条划掉一条，不允许跨版本消失。报告同时输出为 Markdown 正文与附表 CSV，附表可直接导入运营平台的质量看板（平台见 T3）。
## 三、数据生成控制与评测类工具链（3.2.3.9）
本节回应招标文件 3.2.3.9 节全部要求，含类级能力与输入输出（b1097、b1098、b1099）、模板化数据生成工具链（b1100—b1110）、数据集切分与基准构建工具链（b1111—b1121）。
### 3.1 类级能力范围与输入输出口径
这一类工具要保障四件事：生成数据格式稳定、内容可解释、评测集长期可比、数据版本可管理（b1098）。四件事看着分属两头，实际共一条线索，即可控。合成数据如果不可控，就只是一批看起来像真数据的噪声；评测集如果不可控，这一轮与下一轮的指标就不能比；版本如果不可控，出了问题找不回当时用的是哪批数据。本类的两个工具链分别管生成侧的可控与评测侧的可控。
把这一类放在矿装场景上看，可控的分量尤其重。甲方的六个专业场景中，有四类数据当前根本没有记录，须从零补录：选型的投运使用评价、热处理的装载量与码装方式登记、焊接的层间温度、健康诊断的维修事实。这些数据的正确建设方式是在既有业务流程里增设填报入口，由系统预填、经手人确认，而不是一次性补录或靠生成填满。模板化生成工具在这里的作用是有限且明确的：为"天然稀少但后果严重"的情形构造样本，让模型在遇到时有过见识；以及为格式稳定、规则清晰的结构化记录批量产生训练与评测样本。我方不以合成样本替代真实数据：合成样本一律打标可识别，评测集不含合成样本。这条界线在 3.2.6 节的验收口径中写入。
表 3-1 生成控制与评测类工具链输入输出口径（b1099）
| 类别 | 项目 | 矿装对象上的具体取值 | 格式 |
|---|---|---|---|
| 输入 | 规则模板 | 工艺卡模板、检验记录模板、选型校核问答模板、故障现象—处置问答模板 | 模板文件，含槽位定义与条件逻辑 |
| 输入 | 参数字典 | 设备型谱、部件型谱、材料牌号表、备料 28 道工序字典、故障名录、缺陷类别表、质量指标项 | 结构化字典，带版本号 |
| 输入 | 业务约束 | 工序先后约束、材料与工艺匹配约束、参数取值窗口、禁止组合清单 | 约束规则文件 |
| 输入 | 采样配置 | 各参数的取值分布、组合覆盖要求、生成数量、随机种子 | 配置文件 |
| 输入 | 切分策略 | 随机／分层／时序／按来源隔离／按文档级／按业务场景 | 配置文件 |
| 输入 | 评测协议 | 题型、能力维度、评分规则、指标口径、复核规则 | 协议文件，带版本号 |
| 产出 | 结构化合成样本 | 带完整字段的合成记录，标记为合成来源 | JSONL／Parquet |
| 产出 | 生成批次 | 批次标识、模板版本、参数版本、数量、校验结果、审核状态 | 批次台账 |
| 产出 | 模板版本记录 | 模板内容快照、变更说明、生效范围、影响批次 | 版本库 |
| 产出 | train/valid/test 数据集 | 三份互斥样本集及其切分凭据 | JSONL＋切分记录 |
| 产出 | 评测结果 | 指标、样本级结果、版本对比、人工复核状态 | JSON＋CSV＋Markdown 报告 |
### 3.2 模板化数据生成工具链（3.2.3.9.1）
本小节回应 b1100—b1110，共五条要求。
#### 3.2.1 模板化而非自由生成的理由
用大模型自由生成训练样本，产量高、成本低，但在工业数据集上有两个过不去的问题：一是字段不稳定，同一批生成的工艺卡样本，有的带坡口字段有的不带，入库后下游解析逻辑无从统一；二是内容不可解释，生成的一条"材料 Q345B、板厚 20、压弯角度 90 度、工序序列为下料—压弯—钻孔"是否符合备料分厂的实际工序约束，无从核对。工业数据集的下游用途是辅助工艺判断与质量判定，一条不符合实际约束的样本进入训练集，造成的不是精度损失而是错误知识。
模板化生成把这两个问题换成可管理的形式。字段由模板的槽位定义固定，生成多少批都是同一套字段；内容的合规性由业务约束与 Schema 校验两道检查把住，约束写在明处，可由工艺口逐条确认。代价是模板本身要人来编，覆盖面受模板数量限制。我方的取舍是：结构稳定、规则清晰、量大重复的记录类样本走模板化生成；需要自然语言多样性的问答与论述类样本由数据增强与改写工具承担（见 T2B），两者产出都回到本节 3.3 的切分工具统一管理。
### 图 3-1 模板化数据生成的执行链路与四道关卡
图 3-1 模板化数据生成的执行链路与四道关卡。数据来源：招标文件 3.2.3.9.1（1）—（5）（b1101、b1103、b1105、b1107、b1109）。
#### 3.2.2 模板、槽位与条件逻辑
工具支持通过规则模板、参数槽位、条件逻辑、枚举值、数值范围、组合关系与业务约束批量生成结构稳定、字段完整的样本（b1101、b1102）。七个要素的分工是：模板定结构，槽位定位置，枚举与数值范围定单个槽位的取值集合，条件逻辑与组合关系定槽位之间的相互制约，业务约束定整条样本是否成立。
槽位类型按表 3-2 划分。类型的作用是让采样器知道怎么取值、让校验器知道怎么检查，不是为了分类而分类。
表 3-2 槽位类型与取值方式（b1101、b1102）
| 槽位类型 | 取值方式 | 矿装取值举例 | 校验要求 |
|---|---|---|---|
| 枚举槽位 | 从参数字典取值 | 材料牌号、工序名、缺陷类别、故障条目 | 必在字典内且字典版本一致 |
| 数值槽位 | 在区间内按指定分布采样 | 板厚、压弯角度、目标硬度、保温时间 | 落在区间内；单位规范；精度位数符合 |
| 派生槽位 | 由其他槽位按公式计算 | 压弯件展开长（按中性层系数计算）、材料定额 | 公式版本登记；结果复算一致 |
| 序列槽位 | 从有序集合按约束抽子序列 | 工序序列（备料 28 道工序的合法子序列） | 先后约束成立；序列长度在范围内 |
| 文本槽位 | 从语句库取值或按句式模板填充 | 工艺要求描述、检验结论措辞 | 不含占位残留；术语与字典一致 |
| 引用槽位 | 引用既有真实对象标识 | 设备型号、部件编码、图号前缀 | 引用对象存在且在役状态符合 |
| 条件槽位 | 依前序槽位取值切换取值集合 | 材料为某牌号时热处理工艺窗口随之切换 | 条件分支覆盖完整，无落空分支 |
条件逻辑与组合关系用一套规则表达，不嵌入模板正文。这样做的理由是规则要让工艺口的人看得懂并逐条确认：规则写成"若材料牌号属于某组且板厚大于某值，则压弯工序前须插入预热工序"这类可读形式，由工艺部门签字确认后入库，而不是藏在模板的代码里。禁止组合另列清单，命中即判该参数组不合法，不生成。规则表与禁止组合清单都带版本号，变更须说明原因与影响范围，受影响的历史批次在台账里标注。
模板的编制与维护遵循一条纪律：**模板由业务规则驱动，不由样本数量驱动**。需要补哪类样本、补多少，由分布分析工具的补齐需求单决定（见本稿 2.3.3）；模板只负责在约束内把样本造对。两者分开的好处是模板不会因为要凑数量而放宽约束。
#### 3.2.3 参数受控采样
工具支持对设备、部件、故障、工艺、质量指标与安全规则等变量进行受控采样，覆盖不同业务场景（b1103、b1104）。受控的含义有三层：取值在合法集合内、取值分布按指定分布而非一律均匀、参数之间的组合覆盖达到指定要求。
第一层由槽位类型保证。第二层按配置指定：主力机型档位与常见材料牌号按真实使用频次采样，使合成样本的分布形状不与真实数据相悖；稀有故障与低频缺陷按提升后的频次采样，这正是生成补齐要解决的事。两种采样目标相互矛盾，所以分批生成而非混在一批：**分布贴近批**用于补充常规样本的字段多样性，**稀有强化批**专门针对长尾类别，两批在数据集中分别计量、分别设占比上限（上限见表 2-8）。
第三层是组合覆盖。工业参数的组合空间大，全组合不可行也无必要。我方采用两两组合覆盖（pairwise）为默认口径：对参数集合中任意两个参数的取值组合，至少出现一次合法实例；对工艺口标记为关键的参数对，提升到三三组合覆盖。覆盖率由采样器统计并写入批次台账，未达覆盖目标的组合逐条列出，这份清单同时是工艺口核对约束表是否有遗漏的材料。随机种子固定并记入批次台账，同种子同配置重跑结果一致，这是可复现的前提（b1109）。
安全规则类变量的采样需要单独约束。涉及安全操作规程、禁止动作、应急处置的样本，不按分布采样，而按规程条目逐条生成——每一条规程至少对应一组样本，覆盖正例与典型违规例。这类样本的标准答案由安全管理口确认，不由模型生成。
#### 3.2.4 生成结果 Schema 校验
工具支持对生成结果做 Schema 校验，检查字段完整性、类型正确性、取值范围、单位规范、格式规范与业务约束六项（b1105、b1106）。六项检查按代价递增顺序执行，前一项不过就不做后一项，校验结果逐项记录而非只给通过与否。
表 3-3 Schema 校验的六类检查与失败处置（b1105、b1106）
| 检查项 | 检查内容 | 实现方式 | 失败处置 |
|---|---|---|---|
| 字段完整性 | 必填字段是否齐全，可选字段是否符合依赖关系 | JSON Schema 的 required 与 dependencies | 退回渲染，补填或标记该样本不可用 |
| 类型正确性 | 字段类型与声明一致，数组元素类型一致 | JSON Schema type 约束 | 退回渲染 |
| 取值范围 | 数值在区间内，枚举在字典内，日期在合理窗口内 | Schema 的 minimum/maximum/enum＋字典比对 | 退回采样器，参数组作废 |
| 单位规范 | 单位存在、单位与量纲匹配、数值与单位的量级合理 | 单位字典＋量纲表＋量级区间 | 退回渲染并记入单位规范问题清单 |
| 格式规范 | 编码格式（图号、物料编码、工单号）、文本编码、小数位数、分隔符 | 正则规则库 | 退回渲染 |
| 业务约束 | 规则表与禁止组合清单逐条判定 | 规则引擎 | 退回采样器；若约束本身存疑，挂起转工艺口裁定 |
校验通过率是本工具链的首要质量指标。首期基线目标为结构类五项检查的通过率趋向 99%，业务约束检查的通过率趋向 95%；测量方法是校验器自动统计，分母为渲染产出的候选样本数。低于基线的处置不是放宽校验，而是修模板。通过率低说明模板的槽位定义或约束表达与实际规则有偏差，这正是模板需要修订的信号。修订后模板版本递增，上一版本生成的批次在台账中标注"按旧版模板生成"，必要时重跑。
业务约束检查有一类结果需要专门对待：校验判不合法，而工艺口认为合法。这说明约束表写错了，不是样本错了。工具把这类分歧单独列为"约束存疑清单"，提交工艺口裁定，裁定结论回写规则表并记入变更说明。把这条路径设出来，是为了让约束表能在使用中被修正，而不是一经写定就成为错误的来源。
#### 3.2.5 批量渲染与批量导出
工具支持按任务、模板、版本、生成批次与审核状态输出标准化训练或评测数据（b1107、b1108）。五个维度是导出的筛选条件，可任意组合，导出结果附一份清单说明本次导出的筛选条件与样本量，使导出件可核对。
渲染按批次并行，单批规模可配，默认一万条。渲染过程中的失败分两类分别处理：参数组导致的失败（如条件分支落空）记入失败清单并退回采样器；模板缺陷导致的失败（如槽位引用了不存在的字典项）立即中止该批次，避免产出一批统一错误的样本。中止的批次在台账中保留记录与失败原因，不静默重跑。
导出格式按 3.2.3.11 的统一要求支持 JSON、JSON Lines、Markdown、CSV 与 Parquet（见本稿 5.2）。审核状态是导出的一道硬筛：默认只导出审核通过的样本；需要导出未审核样本的（如供工艺口预览），导出件文件名与清单中显式标注未审核，且该导出件不得作为训练输入。这条约束由导出接口强制，不靠使用者自觉。
#### 3.2.6 生成日志留存
工具记录模板、变量、采样参数、校验结果与人工审核状态（b1109、b1110）。日志的粒度是一条样本一条日志，不是一个批次一条日志。粒度之所以要到样本级，是因为后续归因工具要能从一条错题回溯到"这条样本是哪个模板的哪一版、用什么参数、哪一次采样、谁审过"（见本稿 4.3.2）。批次级日志无法支撑这种回溯。
表 3-4 生成日志字段（b1109、b1110）
| 字段 | 含义 | 与血缘字段的对应 |
|---|---|---|
| sample_id | 样本标识 | 血缘主键 |
| batch_id | 生成批次标识 | 处理链路节点 |
| template_id／template_version | 模板标识与版本 | 规则版本 |
| param_dict_version | 参数字典版本 | 规则版本 |
| slot_values | 各槽位实际取值 | 处理链路参数 |
| sampling_config_hash | 采样配置指纹 | 处理链路参数 |
| random_seed | 随机种子 | 可复现凭据 |
| validation_result | 六类校验逐项结果 | 质检结果 |
| review_status／review_round | 审核状态与轮次 | 审核状态 |
| synthetic_flag | 合成来源标记 | 原始数据标识（标记为合成） |
| tool_version | 工具版本 | 工具版本 |
合成来源标记这一项不可缺省。标记的用途有三处：评测集构建时按此标记排除合成样本；分布统计时按此标记分别计量合成与真实样本的占比；归因分析时若某类错误集中在合成样本上，说明该模板的约束有问题。三处用途都依赖标记的完整性，所以标记由骨架写入而非由模板自填（见本稿 1.4）。
### 3.3 数据集切分与基准构建工具链（3.2.3.9.2）
本小节回应 b1111—b1121，共五条要求。这一工具链是本组七个工具中对验收数字可信度影响最直接的一个。
#### 3.3.1 六种切分策略
工具支持随机切分、分层切分、时序切分、按来源隔离切分、按文档级切分与按业务场景切分六种策略（b1112、b1113）。六种策略不是六个选项让使用者挑一个，而是按数据性质与评测目的组合使用。板材备料的图纸—工艺卡样本若只做随机切分，同一零件族的借用件会分落两侧，测试集上的指标反映的是"见过同族"而不是"会做新件"。
表 3-5 六种切分策略的适用条件与本项目用法（b1112、b1113）
| 策略 | 做法 | 适用条件 | 本项目的具体用法 |
|---|---|---|---|
| 随机切分 | 按比例随机分配 | 样本间相互独立 | 仅用于经文档级与来源隔离之后的二次细分 |
| 分层切分 | 按指定维度在每层内按比例切 | 需要各集合的类别分布一致 | 按工序类别、缺陷类别、故障条目分层，保证测试集覆盖全部关注类别 |
| 时序切分 | 按时间点前后切 | 数据有时间演进，关心对新数据的表现 | 以图纸签发年份、工单完工时间、炉次开炉时间为轴；近期数据留作测试 |
| 按来源隔离切分 | 同一来源的样本只进一个集合 | 来源间存在系统性差异 | 按取数系统与车间隔离，检验跨来源泛化 |
| 按文档级切分 | 同一文档的全部样本只进一个集合 | 一份文档切出多条样本 | 制度条款问答、技术手册问答按文档整份归属 |
| 按业务场景切分 | 按场景划分集合 | 需要评估跨场景迁移 | 用于专项评测：训练覆盖部分场景，测试另加未覆盖场景观察迁移 |
默认组合为三层：先按文档级与来源隔离做硬切分，再按时间轴切出时序测试集，最后在训练侧按类别分层细分验证集。基准测试数据集不从这条流水线出，另行建设并冻结（见 3.3.3）。默认切分比例为训练、验证、测试 8 : 1 : 1，但基准集与保留评测集的规模按招标文件给定的 0.95 万条口径单独规划（规模见 T1C）。比例可按数据集调整，调整须在切分记录中说明理由。
#### 3.3.2 切分前的泄漏检测
工具在切分前做泄漏检测，避免同源文档、近似问答、同一工单、同一图纸或同一评测题跨集合泄漏（b1114、b1115）。五类泄漏的判定口径见表 3-6。检测在切分前执行，而非切分后检查。切分后才发现泄漏意味着要重切，成本高且容易将就。
表 3-6 五类泄漏的判定口径与处置（b1114、b1115）
| 泄漏类型 | 判定口径 | 典型场景 | 处置 |
|---|---|---|---|
| 同源文档 | 样本的来源文档标识相同，或文档指纹相同 | 同一份技术手册切出的多条问答 | 整份文档归一个集合 |
| 近似问答 | 跨集合样本对的语义相似度超过阈值（口径同本稿 2.2.4） | 同一制度条款的不同问法 | 相似簇整体归一个集合 |
| 同一工单 | 工单号相同，或工单所属施工号相同 | 同一工单的多道工序记录 | 按工单号归集；跨施工号的按施工号归集 |
| 同一图纸 | 图号相同，或同一零件族（借用关系链） | 借用件与原件的图纸与工艺卡 | 按零件族归集，族关系取自去重工具的同族变体登记 |
| 同一评测题 | 题目指纹相同，或与基准集／专家题库 n-gram 命中（口径同本稿 2.2.5） | 基准题目被当作训练样本 | 训练侧隔离；题目标记作废并补题 |
同一图纸这一类要特别说明。零件族的识别依赖去重工具登记的同族变体关系（见本稿 2.2.3），两个工具在这里是上下游：去重工具判出"这两条是同族变体，都保留"，切分工具据此把整族归入同一集合。若族关系缺失，切分工具会把借用件与原件分开，测试集指标虚高。因此切分任务的前置条件之一是该数据集已完成去重与同族登记，未完成的数据集不允许切分，这条由任务骨架的前置检查强制。
泄漏检测的指标口径按三段式表述：首期基线为五类检测口径下的跨集合命中逐步接近零，测量方法是切分后对三个集合做一次交叉复查，复查发现命中即重切；服务期内随同族关系登记完整度提升、语义阈值校准，逐步接近全部泄漏可检出；发现泄漏时的回退是重切并作废受影响的评测结论——这一条很重要，泄漏被发现之后，基于旧切分得出的评测数字必须作废而不是沿用，否则检测就没有意义。
### 图 3-2 三层切分与泄漏隔离
图 3-2 三层切分与泄漏隔离。数据来源：招标文件 3.2.3.9.2（1）（2）（b1112、b1114）；基准集规模口径见本卷 T1C。
#### 3.3.3 基准测试集冻结管理
工具支持基准测试集冻结管理，固定样本内容、版本号、随机种子、题型、答案、判分规则、能力维度与使用范围（b1116、b1117）。冻结的意思是这八项一经发布就不可修改，要改只能发新版本并保留旧版本。这样做的用途单一而关键：使不同时间、不同模型、不同轮次的评测结果可比。若基准集可以悄悄改，两轮评测的分数差异就无法归因于模型或数据的改进。
表 3-7 基准集冻结要素与实现方式（b1116、b1117）
| 冻结要素 | 实现方式 | 变更处理 |
|---|---|---|
| 样本内容 | 全集内容取 SHA-256 指纹，逐条样本另取指纹 | 任一条变更即发新版本；旧版本留存 |
| 版本号 | 主版本.次版本.修订，主版本变更表示题目集合变化 | 版本号不复用 |
| 随机种子 | 题目顺序、选项顺序、抽样子集的种子固定并记录 | 种子变更须在协议版本中声明 |
| 题型 | 单选、多选、判断、填空、短答、长答、结构化抽取、图文问答、序列生成等枚举 | 新增题型须同步判分规则 |
| 答案 | 标准答案及可接受的等价答案集合 | 答案修订属修订版本；影响的历史评测结论标注 |
| 判分规则 | 每种题型对应的判分方法与分值权重 | 规则变更须重跑受影响的历史评测以保可比 |
| 能力维度 | 题目到能力维度的映射（维度见本稿 4.2.1） | 映射调整属次版本变更 |
| 使用范围 | 该基准集可用于哪些评测场合，是否属保留评测集 | 范围收紧可即时生效；放宽须审批 |
基准集的建设与使用分离：建设过程中题目可以增删改，一经冻结发布即进入只读状态；评测引擎只能读取已冻结的版本，不能读取建设中的草稿版本。保留评测集是基准集中的一个子集，专用于验收，建设期内不向任何训练环节开放，也不在中途评测中使用——用过一次就不再是保留集了。保留集的使用须经审批并记录，每次使用后在台账中登记，使用次数与时点可查。
题目的来源与质量另有要求。基准题目来自专家题库与真实业务场景的回放窗口两条通道：专家题库由工艺、设计、质量、设备各口出题，题目须注明依据（哪一版工艺文件、哪一条规程、哪一份判据）；回放窗口取历史任务的原始输入与当时的真实产出，用于端到端任务级评测。两条通道的题目都要经过污染扫描核验未在训练集出现（见本稿 2.2.5），核验通过方可入基准集。
#### 3.3.4 标准化评测运行
工具支持调用指定模型在冻结基准集上执行评测，输出指标、样本级结果、版本对比与人工复核状态（b1118、b1119）。这一项与 3.2.3.10.1 的多协议评测引擎是同一能力的两个侧面：本节管"在冻结集上按协议跑一次并出结果"，4.2 节管"协议本身怎么定、多个模型怎么调度、多种判分怎么融合"。两处不重复论述，实现上是同一套引擎。
一次标准化评测运行的产出固定为四件：指标汇总（按能力维度与题型分别给分，附总分与计算口径）、样本级结果（逐题的模型输出、判分结果、判分依据、是否进入人工复核）、版本对比（与指定的历史运行结果逐维度比对，给出差值与显著性判断）、人工复核状态（复核范围、复核人角色、复核结论、复核后指标修正量）。四件产出同时输出机读格式与一份可阅读的评测报告。
运行的可重复性是本项目验收的一项依据，口径为：同一协议、同一模型、同一基准集版本、同一随机种子下两次运行，主指标偏差不超过 0.5 个百分点。偏差来源主要是模型推理的非确定性，因此运行配置中固定温度等解码参数并记录。偏差超限时的处置是该协议标记为不稳定，暂停用于验收口径，转人工评测或改用确定性更高的判分策略（见本稿 4.2.3）。这一条写进验收口径，意味着我方要对评测结果的稳定性负责，而不只是对跑过一遍负责。
#### 3.3.5 版本化发布与回滚
工具记录每次切分的策略、输入数据版本、输出数据指纹、审批状态与评测协议版本，并支持回滚（b1120、b1121）。记录的字段见表 3-8。这张台账是数据集血缘的切分侧来源，与 4.4 节的血缘图谱对接。
表 3-8 切分与发布台账字段（b1120、b1121）
| 字段 | 含义 |
|---|---|
| split_task_id | 切分任务标识 |
| input_dataset_version | 输入数据集版本号与内容指纹 |
| strategy_config | 切分策略配置全文（三层组合、比例、分层维度、时间轴、随机种子） |
| leakage_check_result | 五类泄漏检测结果与复查结论 |
| output_fingerprints | train／valid／test 各集合的内容指纹与样本量 |
| benchmark_version | 本次配套使用的基准集版本 |
| protocol_version | 评测协议版本 |
| approval_status／approver_role | 审批状态与审批角色（不记个人姓名） |
| created_at | 生成时间 |
| superseded_by | 被哪一版本替代（回滚时反向指向） |
回滚按版本执行，不按文件执行。一次回滚包含三个动作：把数据集的当前指针指回目标版本；把基于被回滚版本产出的评测结论标注为"基于已回滚版本，仅供参考"；按血缘查出受影响的下游对象（训练任务、模型检查点、评测报告、已发布数据集组合）并逐一登记（影响范围分析见本稿 4.4.2）。回滚不删除被回滚的版本，版本谱系完整保留。
回滚的触发条件写明三类，避免临场争议：发现跨集合泄漏且已影响评测结论；发现输入数据集存在未裁定的高风险污染；发现切分配置与台账记录不一致（说明有未经登记的改动）。三类任一成立即回滚，不作权衡。
## 四、数据集验证与归因类工具链（3.2.3.10）
本节回应招标文件 3.2.3.10 节全部要求，含类级能力与输入输出（b1122、b1123、b1124）、多协议模型评测引擎（b1125—b1133）、数据贡献度归因与错题溯源（b1134—b1140）、数据集—模型版本血缘追溯（b1141—b1145）。
### 4.1 类级定位：用模型表现反向评估数据集
这一类工具的用途在招标文件里写得很清楚：通过模型表现反向评估数据集价值，并定位数据问题对模型能力的影响（b1123）。这句话定义了本包交付的质量证据链的最后一环，也定义了一条责任边界——工具评估的是数据集，不是模型。同一套评测结果有两种读法：模型方读它判断模型好不好，数据方读它判断数据够不够。本包按后一种读法组织工具产出，所有归因结论都指向数据侧的可执行动作（补哪类样本、修哪一批标注、改哪条规则），不指向模型侧的调参建议。智能场景建设不在本包范围。
反向评估能成立，依赖一个前提：模型在某道题上答错，能够追到是哪些训练样本导致的。这个前提在工程上不自动成立，需要三件事配套——评测可重复（否则错题本身不稳定）、错题可归类（否则一万条错题无从下手）、样本可追溯（否则归类结果落不到具体数据）。本类三个工具链正好对应这三件事：评测引擎管可重复，归因与溯源管可归类，血缘追溯管可追溯。
表 4-1 验证与归因类工具链输入输出口径（b1124）
| 类别 | 项目 | 本项目的具体取值 | 格式 |
|---|---|---|---|
| 输入 | 模型接口 | 经统一网关接入的推理接口；被测对象含基座、继续预训练、微调与偏好对齐各档及其检查点 | 接口配置，含限流与超时参数 |
| 输入 | 冻结基准集 | 基准测试数据集 0.95 万条及保留评测集，按版本引用 | 只读引用＋内容指纹 |
| 输入 | 评测协议 | 题型、能力维度、评分规则、种子、复核规则、指标口径 | 协议文件，带版本号 |
| 输入 | 判分规则 | 各题型的判分方法、权重、等价答案集合、裁判提示词版本 | 规则文件，带版本号 |
| 输入 | 评测错题 | 上一轮评测的失败样本清单 | JSONL |
| 输入 | 训练样本血缘 | 样本的来源、处理链路、批次、质检与审核记录 | 血缘库查询 |
| 输入 | 模型检查点 | 检查点标识、对应训练任务、使用的数据集版本 | 登记表引用 |
| 输入 | 训练任务日志 | 任务参数、数据集版本、起止时间、完成状态 | 日志引用 |
| 输入 | 数据子集标签 | 按数据域、来源、批次、合成与真实、标注轮次划分的子集标记 | 标签表 |
| 输入 | 发布审批记录 | 数据集与基准集的发布与审批记录（记角色不记姓名） | 台账引用 |
| 产出 | 模型评测报告 | 指标汇总、能力维度得分、题型得分、对比结论 | Markdown＋JSON |
| 产出 | 样本级评测结果 | 逐题输出、判分、依据、复核状态 | JSONL＋CSV |
| 产出 | 能力雷达图 | 按能力维度的得分图，多版本可叠加 | 图表文件＋数据表 |
| 产出 | 版本对比 | 数据集版本或模型版本之间的逐维度差值与显著性 | CSV＋Markdown |
| 产出 | 失败样本清单 | 错题及其聚类归属、关联训练样本 | JSONL＋CSV |
| 产出 | 归因报告 | 错误类型分布、关联数据问题、贡献度估计、修订建议 | Markdown＋附表 |
### 4.2 多协议模型评测引擎工具链（3.2.3.10.1）
本小节回应 b1125—b1133，共四条要求。
#### 4.2.1 统一评测协议
工具支持建立统一评测协议，固化题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则与指标口径，保证评测可重复执行（b1126、b1127）。协议是一份带版本号的文件，不是一组运行时参数；跑评测时引用协议版本，而不是逐项填参数。这个区别决定了半年后能否重跑出同样的结果。
协议的七项要素中，能力维度最需要按本项目定义。通用的能力维度（如推理、知识、指令遵循）对矿山装备制造数据集没有判别力。一个在通用推理维度得高分的模型，可能完全读不懂一张带坡口与压弯线的多视图图纸。我方按甲方的六个专业场景与五个通用场景提炼能力维度，见表 4-2。维度到题目的映射写在基准集的冻结要素里（见本稿 3.3.3）。
表 4-2 评测能力维度与对应的现场判断（b1126）
| 能力维度 | 要测的是什么 | 典型题目形态 | 对应场景 |
|---|---|---|---|
| 图纸要素识读 | 从多视图读出材料牌号、板厚、外形轮廓、孔与方孔、坡口倒角、压弯线、粗糙度符号 | 给图纸出结构化抽取题 | 板材备料 |
| 工序序列编排 | 在备料 28 道工序的合法集合内挑选并排序，含分档规则 | 给零件信息出序列生成题 | 板材备料 |
| 展开与定额计算 | 按中性层系数换算压弯件展开长，计算材料定额 | 给参数出数值计算题 | 板材备料 |
| 选型校核判断 | 给定工况与一套配置，判断整机功率与链条安全系数是否过门槛 | 给工况与配置出判断题与短答题 | 产品智能选型 |
| 工艺借用判定 | 判断新件能否借用既有工艺，差异在哪 | 给两份图纸出对比题 | 板材备料、选型 |
| 过程—质量关联 | 由一段过程时序与工艺窗口判断质量结论 | 给曲线与参数窗口出三级判定题 | 热处理、焊接 |
| 缺陷识别与分类 | 由图像或检测记录判断缺陷类别与位置 | 给图文出分类与定位题 | 焊接质量 |
| 故障征兆诊断 | 由运行数据段与设备档案判断故障模式与证据档次 | 给数据段出诊断题 | 健康诊断 |
| 库存与需求判断 | 由物料、库存、商机数据给出储备建议与口径说明 | 给数据出短答与计算题 | 库存控制 |
| 依据可溯答复 | 回答时说明依据的是哪一版文件哪一条，无依据时明确不回答 | 给制度与技术文档出带引证要求的问答题 | 五个通用场景 |
| 权限边界遵守 | 在越权提问下拒答并说明原因 | 给越权问法出拒答题 | 五个通用场景 |
| 工具调用正确性 | 判断该调哪个工具、参数填得对不对 | 给任务出工具调用题 | 多场景通用 |
人工复核规则是协议中容易被忽略但必须固化的一项。规则要写明三件事：哪些判分结果必须人工复核（如裁判模型判分落在分界带内的、长答题全部、拒答题全部）、抽样复核的比例与抽样方法（默认对自动判分结果抽 10%）、复核与自动判分不一致时怎么办（不一致率低于 15% 则以复核结果修正该题并记录；不一致率达到或超过 15% 则该判分策略在本协议下标记失效，该题型全部转人工判分）。规则固化之后，"人工复核过了"这句话才有可核对的含义。
指标口径同样要写明而非默认。本方案固化四项：单题得分的计算方式与满分制、维度得分为该维度题目得分的加权平均（权重在协议中给出）、总分为各维度得分的加权和、置信区间按自助重采样 1000 次给出 95% 区间。指标口径与 S3 数据集质量评测方案的指标体系保持同一套说法，同一指标不在两处给不同定义。
#### 4.2.2 多模型并行评测调度
工具支持多模型并行评测调度，对基座模型、继续预训练模型、微调模型、强化学习或偏好对齐模型以及不同检查点做横向对比（b1128、b1129）。被测对象的这五档不是五个品牌，而是同一条训练链路上的五个阶段；横向对比的用途是回答"这一轮加的数据到底加出了什么"。本包不负责训练，被测对象由训练推理技术服务提供推理接口（见 T13）；本包负责按协议把它们跑在同一套冻结基准集上并给出可比的分数。
调度的实现要点有四条。其一是接口抽象：所有被测对象经统一网关以同一种调用形式接入，网关层处理鉴权、限流、超时与重试，评测引擎不感知对象差异。模型采用当期能力评测领先的通用大模型，可替换、可评测、可随代升级；替换时协议不变，只在运行记录中登记被测对象标识与版本。其二是并发与配额：按被测对象分别设并发上限与速率配额，避免一个慢对象拖住整批评测，也避免并发过高触发对端限流导致结果缺失。其三是失败处理：单题调用失败按配置重试，重试仍失败的题目标记为"未获取输出"，单独计量而不计入得分分母——把超时当作答错会使慢对象的分数系统性偏低。未获取输出的比例超过 2% 时该次运行标记无效，需重跑。其四是公平性约束：同一批对比中，各对象的提示词模板、解码参数、上下文长度、工具可用性必须一致，差异项在运行记录中登记；不一致的运行不得用于横向对比，只能单独呈现。
### 图 4-1 多协议评测引擎的调度结构与一次运行的产出
图 4-1 多协议评测引擎的调度结构与一次运行的产出。数据来源：招标文件 3.2.3.10.1（1）（2）（b1126、b1128）；3.2.3.9.2（4）（b1118）。
#### 4.2.3 多种判分策略融合
工具支持使用精确匹配、语义相似度、规则约束、行业指标、模型裁判与人工复核结果形成最终评分（b1130、b1131）。六种判分不是投票表决，而是按题型分工后再合成。把六种结果简单取平均，等于让不适合这道题的判分方式稀释掉适合的那种。
表 4-3 六种判分方式的适用题型与融合口径（b1130、b1131）
| 判分方式 | 怎么判 | 适用题型 | 在融合中的角色 |
|---|---|---|---|
| 精确匹配 | 与标准答案或等价答案集合逐字比对（经归一化） | 结构化抽取、数值计算、枚举选择、工序序列 | 可用则以其为准，权重最高 |
| 语义相似度 | 向量相似度与标准答案比对，分段给分 | 短答、工艺要求描述 | 作主判分；低于分界带转人工 |
| 规则约束 | 按业务规则判定答案是否成立（如工序先后约束、参数窗口） | 序列生成、校核判断、参数给定 | 作否决项：违反硬约束即判零分，不与其他方式平均 |
| 行业指标 | 按领域计算方式给分（如序列编辑距离、定额偏差率、安全系数误差） | 序列生成、数值计算、诊断定级 | 作主判分，口径在协议中写明 |
| 模型裁判 | 由裁判模型按评分细则打分并给理由 | 长答、论述、引证充分性、拒答合理性 | 作主判分；须抽样复核校准 |
| 人工复核 | 按复核规则由业务口判定 | 全部长答题、拒答题、分界带样本、抽样样本 | 作最终裁定，覆盖自动判分结果 |
融合规则按三条执行。第一条，有否决项先判否决：规则约束判定违反硬约束的，该题判零分且标记违反的具体约束，不再计算其他通道。第二条，按题型取主判分并辅以校准：每种题型在协议中指定一个主判分方式与零到两个校准方式，校准方式的作用是在主判分落入分界带时触发人工复核，而不是直接改分。第三条，人工复核结果覆盖自动结果并留痕：覆盖前后的分值、复核人角色、复核理由都记录，便于统计自动判分与人工判分的一致率。
模型裁判这一通道需要额外的约束，因为它本身是模型，可能把错的判成对的。我方设的约束有三项：裁判提示词与评分细则版本化，变更须重跑受影响的历史评测以保可比；裁判模型的判分结果按不低于 10% 的比例抽样人工复核，一致率低于 85% 时该题型的裁判通道停用并转人工判分；裁判模型不参与自身训练数据的评测（即不用同源模型既生成样本又判分），避免自评。三项约束写入协议，不是实施时的自觉。
#### 4.2.4 多模态评测能力
工具支持多模态评测，覆盖图文问答、图纸解读、缺陷识别、视频理解、传感器诊断与工具调用等任务场景（b1132、b1133）。六类任务在本项目的落点与判分方式见表 4-4。多模态评测的难点不在模型调用，而在标准答案的形式——图纸解读的答案是一组结构化字段，缺陷识别的答案含位置信息，传感器诊断的答案含证据档次，三者的判分方式完全不同。
表 4-4 六类多模态评测任务的落点与判分（b1132、b1133）
| 任务场景 | 本项目的具体对象 | 输入形态 | 标准答案形态 | 主判分方式 |
|---|---|---|---|---|
| 图文问答 | 技术手册与图示混排内容的问答 | 图＋文 | 文本答案＋引证位置 | 语义相似度＋引证命中 |
| 图纸解读 | 刮板输送机零部件图纸的要素抽取与借用判定 | 图纸文件或渲染图 | 结构化字段组 | 精确匹配（逐字段）＋字段级召回 |
| 缺陷识别 | 焊缝外观缺陷的类别与位置判断 | 照片 | 类别＋位置区域 | 分类精确匹配＋位置重叠度 |
| 视频理解 | 工艺动作与操作规范符合性判断 | 视频片段 | 动作序列＋符合性结论 | 序列编辑距离＋规则约束 |
| 传感器诊断 | 热处理炉次曲线、焊接参数流、在役装备振动段的判定 | 时序数据段＋设备档案 | 结论＋证据档次＋依据参数 | 行业指标＋规则约束 |
| 工具调用 | 该调哪个工具、参数填写、调用顺序 | 任务描述＋可用工具清单 | 调用序列＋参数 | 精确匹配（工具名）＋参数校验 |
位置类答案的判分口径要写明：缺陷位置按区域重叠度判定，重叠度不低于 0.5 判为位置正确，0.3 至 0.5 判为部分正确按半分计，低于 0.3 判错。这个口径与焊接三类检测（外观、超声、磁粉）的位置口径不一致问题相关。现场三类检测的位置口径目前不统一，评测时统一到焊道编号加沿焊道里程的口径上，三类检测的位置先换算到该口径再比对。换算规则由质量口确认后固化。
多模态题目的基准集建设有一处需要说明：视频理解与传感器诊断两类任务的题目依赖现场采集条件。当前采集覆盖部分车间的部分设备，工艺过程所需的图像采集须按场景数据要求单独布点。因此这两类题目的首期规模按已具备采集条件的试点范围确定，覆盖范围随采集扩展逐步补充，数据卡上如实标注当期覆盖范围，不以试点范围冒充全厂覆盖。
### 4.3 数据贡献度归因与错题溯源工具链（3.2.3.10.2）
本小节回应 b1134—b1140，共三条要求。
#### 4.3.1 评测结果的六种呈现
工具支持输出能力雷达图、排行榜、版本对比、样本级结果、失败样本清单与统计显著性分析（b1135、b1136）。六种呈现针对的是六种不同的问题，不是同一份数据的六种画法。
能力雷达图回答"这个数据集把模型的哪些能力带起来了、哪些没带起来"。按表 4-2 的能力维度作轴，多个版本可叠加在同一张图上，一眼看出哪一轮加数据改善了哪一维。图 4-2 是雷达图的样式与读法示意，图中数值为示意值，不代表实测结果。
### 图 4-2 能力雷达图样式与读法（示意，非实测值）
图 4-2 能力雷达图样式与读法（示意，非实测值）。数据来源：招标文件 3.2.3.10.2（1）（b1135）；能力维度取自本稿表 4-2。
排行榜回答"同一协议下几个被测对象谁更好"，按总分排序并列出各维度得分，附公平性约束的一致性声明——提示词、解码参数、上下文长度、工具可用性一致方可同榜。版本对比回答"两次之间变了多少"，给差值、变化方向与显著性。样本级结果是逐题的原始记录，是其余五种呈现的共同底料，也是复核与申诉的依据。失败样本清单是归因的入口，见下一小节。
统计显著性分析这一项值得单独说明，因为它直接关系到验收结论的严谨性。评测集规模 0.95 万条，按能力维度拆分后单个维度可能只有几百道题，几个百分点的差异完全可能来自抽样波动。本方案的口径是：每个维度得分同时给出点估计与自助重采样 1000 次得出的 95% 置信区间；两个版本的比较采用配对检验（同一批题目上的正误配对，采用 McNemar 检验），给出检验统计量与显著性水平；置信区间重叠或检验不显著的，评测报告中表述为"未见显著差异"，不表述为"有所提升"。这一条写进协议，意味着我方不会把波动当成果报出来。
#### 4.3.2 错题溯源与聚类分析
工具支持错题溯源与聚类分析，把模型错误关联到训练样本、数据来源、标注批次、生成批次、质量问题或知识覆盖盲区（b1137、b1138）。六个关联对象对应六类不同的数据侧原因，处置动作各不相同，所以归类必须到这个粒度，笼统说"数据质量问题"无法执行。
溯源的路径分两条，按证据强弱分别使用。强路径是血缘回溯：错题所考的知识点或字段，经知识点标签反查训练集中覆盖该知识点的样本集合，再经血缘查出这批样本的来源、批次、标注轮次与质检结论。这条路径依赖知识点标签的完整性，覆盖范围以已打标的部分为限。弱路径是相似检索：以错题题干与标准答案为查询，在训练集中做语义近邻检索，取最相近的若干样本作为嫌疑样本集合。弱路径不需要标签，但给出的是相关性而非因果，结论须标注为"相关性推断"。两条路径的结论都写入归因报告，并分别标明路径与证据强度，不混为一谈。
贡献度估计用于回答"这批数据对这个能力贡献了多少"。我方采用可操作的做法而非理论上最优的做法：按数据子集做留出对比——在训练侧按数据域、来源、批次、合成与真实划分子集，由训练侧提供"含该子集"与"不含该子集"两组训练产出，在同一协议同一基准集上评测，差值即该子集对各能力维度的贡献估计。这个做法的代价是需要额外的训练轮次，所以不对所有子集都做，只对三类子集做：占比最大的来源、新接入的来源、合成样本子集。其余子集的贡献按相似检索的嫌疑样本分布做相对排序，标注为估计值。留出对比所需的训练轮次由训练推理技术服务承担（见 T13），本工具负责设计对比方案、提供子集划分与评测执行。
聚类分析把错题归成可处理的若干类。聚类维度不是单一的语义相似，而是四个维度联合：错误表现（答错、答偏、拒答失当、格式不合、超时）、所考能力维度、所涉业务对象（工序、材料、设备、缺陷类别、故障条目）、嫌疑数据来源。四维联合聚类的产出是一张错题分类表，每一类给出错题数量、占该维度错题的比例、典型例题、嫌疑原因与建议动作。类别数控制在二十类以内，超出则按数量合并尾部类别——分成两百类的报告没人能用。
表 4-5 六类数据侧原因与对应处置（b1137、b1138）
| 关联对象 | 该类原因的特征 | 典型表现 | 处置动作 | 承接环节 |
|---|---|---|---|---|
| 训练样本 | 错误集中在少数具体样本所覆盖的知识点上 | 同一工序的编排题成批答错 | 核查这批样本内容是否有误，修订或剔除 | 加工环节 |
| 数据来源 | 错误集中在某一取数系统来源的样本上 | 某系统来源的字段填写不完整导致学歪 | 核查该来源取数逻辑与字段完整度 | 采集接入（见 T12） |
| 标注批次 | 错误集中在某一标注轮次或某一标注批次 | 该批次标注口径与判据口径不一致 | 该批次返工重标，核对标注规范 | 标注环节（见 T1B） |
| 生成批次 | 错误集中在合成样本标记为真的样本上 | 模板约束有误，生成了不合实际的组合 | 修模板、回滚模板版本、重生成 | 本稿 3.2 |
| 质量问题 | 错误样本的质检结论本已标为低质量却仍入集 | 低质量样本未被质量门拦住 | 核查质量门阈值与执行记录 | 本稿 2.3 |
| 知识覆盖盲区 | 错误所考知识点在训练集中几乎无样本 | 稀有故障、低频缺陷、非常规工况 | 出补齐需求单；不可补齐者记入数据卡覆盖不足 | 本稿 2.3.3 |
第六类与前五类性质不同：前五类是数据错了，第六类是数据没有。区分这两者是归因工具的主要价值。把覆盖盲区误判为数据质量问题，会导致反复返工已有样本而问题不解。判别方式是看训练集中该知识点的样本量：低于最小可用量即判盲区，不再往数据质量方向找原因。
#### 4.3.3 自动生成数据修订工单
工具支持自动生成数据修订工单，工单含问题类型、关联样本、影响范围、修订建议、责任组、优先级与整改期限（b1139、b1140）。工单是归因结论转为执行的接口，字段口径见表 4-6。工单的生成是自动的，工单的关闭须人工确认并附证据。
表 4-6 数据修订工单字段与取值口径（b1139、b1140）
| 字段 | 取值口径 | 自动生成依据 |
|---|---|---|
| 问题类型 | 按表 4-5 六类取值，另设"口径存疑"一类用于约束表或判据本身有疑问的情形 | 聚类分析结论 |
| 关联样本 | 样本标识列表＋所属批次＋所属数据集版本 | 血缘回溯或相似检索结果 |
| 影响范围 | 受影响的数据集版本、训练任务、模型检查点、评测报告、已发布数据集组合 | 血缘图谱的影响范围分析（见 4.4.2） |
| 修订建议 | 具体动作：修订内容／剔除样本／重标批次／改模板／扩来源／补采集／记入覆盖不足 | 按问题类型映射的动作表 |
| 责任组 | 按环节指向加工、标注、采集、质检、模板维护、评测各组（记组别不记个人） | 问题类型到环节的映射 |
| 优先级 | 高／中／低。高＝阻断发布或影响验收结论；中＝影响某一能力维度得分；低＝局部问题 | 影响范围与阻断关系 |
| 整改期限 | 高 5 个工作日，中 10 个工作日，低随下一版本处理 | 优先级映射，可按项目计划调整 |
| 验证方式 | 整改后如何确认已解决：重跑哪一项检查、重测哪一维度、复核多少样本 | 按问题类型映射 |
| 状态 | 新建／处理中／待验证／已关闭／已转需求（指需要新增采集或新增系统能力的） | 流程状态 |
工单有两条纪律写在流程里。第一，工单不自动关闭：整改完成后须按验证方式重跑检查或重测维度，验证通过方可关闭，验证记录随工单留存。第二，"已转需求"是一个正式状态而非借口：当整改需要的是现场新增采集点、源系统开通新接口或业务流程增设填报入口时，工单转为需求项并登记依赖方与预计解决时点，同时在相关数据集的数据卡上标注该项覆盖不足。这样处理的理由是甲方的四类从零补录数据（选型投运评价、热处理装载登记、焊接层间温度、维修事实）注定会反复触发这类工单，不设正式出口就会积压成一堆无法关闭的待办。
工单汇总进质量治理报告第七章（见本稿表 2-9），按优先级与状态统计，未关闭工单随版本累计，不跨版本消失。
### 4.4 数据集—模型版本血缘追溯工具链（3.2.3.10.3）
本小节回应 b1141—b1145，共两条要求。
#### 4.4.1 血缘图谱
工具支持数据集、训练任务、模型检查点与评测结果的血缘追踪，并以图谱展示数据、任务、模型、评测、工单与发布记录之间的依赖关系（b1142、b1143）。图谱的节点类型与边类型必须先定死，否则"图谱化展示"会做成一张谁也看不懂的网。节点与边的定义见表 4-7，图谱结构见图 4-3。
表 4-7 血缘图谱的节点类型与边类型（b1142、b1143）
| 类型 | 名称 | 关键属性 | 出边 |
|---|---|---|---|
| 节点 | 源对象 | 来源系统、业务主键（图号／工单号／炉次／焊道／设备编码）、取数时间 | 加工自 |
| 节点 | 样本 | 样本标识、所属数据集、质检结论、审核状态、合成标记 | 加工自、属于 |
| 节点 | 处理批次 | 批次标识、工具与版本、规则版本、提示词版本、模型版本、参数指纹 | 产出 |
| 节点 | 数据集版本 | 版本号、内容指纹、样本量、发布状态 | 切分为、用于 |
| 节点 | 切分结果 | train／valid／test 标识与指纹、切分策略、泄漏检测结论 | 用于 |
| 节点 | 基准集版本 | 版本号、内容指纹、冻结要素、使用范围 | 用于 |
| 节点 | 训练任务 | 任务标识、输入数据集版本、起止时间、完成状态 | 产出 |
| 节点 | 模型检查点 | 检查点标识、所属训练任务、阶段（基座／继续预训练／微调／偏好对齐） | 被评测 |
| 节点 | 评测运行 | 运行标识、协议版本、基准集版本、被测对象、指标结果 | 发现 |
| 节点 | 修订工单 | 工单标识、问题类型、优先级、状态 | 指向 |
| 节点 | 发布记录 | 发布标识、发布对象、审批角色、发布时间、生效范围 | 发布 |
| 边 | 加工自 | 处理批次标识、时间 | 样本→源对象，样本→上游样本 |
| 边 | 属于 | —— | 样本→数据集版本 |
| 边 | 切分为 | 切分任务标识 | 数据集版本→切分结果 |
| 边 | 用于 | 用途（训练／验证／测试／评测） | 切分结果→训练任务，基准集版本→评测运行 |
| 边 | 产出 | —— | 训练任务→模型检查点，处理批次→样本 |
| 边 | 被评测 | 运行标识 | 模型检查点→评测运行 |
| 边 | 发现 | 错题标识、聚类类别 | 评测运行→修订工单 |
| 边 | 指向 | 关联类型（强路径／相关性推断） | 修订工单→样本／批次／来源 |
| 边 | 发布 | 审批角色、时间 | 发布记录→数据集版本／基准集版本 |
### 图 4-3 数据集—模型版本血缘图谱的节点与依赖关系
图 4-3 数据集—模型版本血缘图谱的节点与依赖关系。数据来源：招标文件 3.2.3.10.3（1）（2）（b1142、b1144）；血缘字段口径见 3.2.3.11（3）（b1151）。
图谱的存储按属性图组织，节点与边都带时间属性，支持按时点查询历史状态。粒度上有一处取舍需要说明：样本级节点在 615 亿 Token 的预训练语料上数量过大，不逐条建节点。本方案的分层口径分两档。指令微调样本（89 万条）、偏好对比组（6.6 万组）、基准题目（0.95 万条）建样本级节点；预训练语料建到文档级与批次级节点，单条 Token 序列不建节点，但保留文档标识使其可回溯到源对象。分层口径在数据集标准中写明，验收时按此口径核对，不按"全部样本都有节点"核对。
#### 4.4.2 审计查询与影响范围分析
工具支持审计查询与影响范围分析，满足项目验收、数据安全、模型发布、质量追责与版本回滚五类要求（b1144、b1145）。五类要求问的是五种不同的问题，查询需要分别预置，不能只给一个通用图查询界面让使用者自己拼。
表 4-8 五类审计查询的问题形式与返回内容（b1144、b1145）
| 用途 | 要回答的问题 | 查询方向 | 返回内容 |
|---|---|---|---|
| 项目验收 | 这一版数据集是怎么来的，每条样本的处理链路是否完整 | 正向，自数据集版本向上游展开 | 样本量、血缘挂接率、各环节工具与规则版本、质检与审核记录、未挂接样本清单 |
| 数据安全 | 哪些样本经过了外部模型调用，调用范围与数据出域情况如何 | 按处理批次筛选 | 涉外调用的批次、调用范围、出域字段、脱敏记录、审批记录（见本稿 5.5） |
| 模型发布 | 这个检查点用了哪些数据集版本，其中是否有未裁定的污染或未关闭的高优工单 | 反向，自模型检查点向上游展开 | 数据集版本链、污染裁定状态、未关闭工单清单、发布阻断项 |
| 质量追责 | 这条错样本是哪个环节引入的，经过哪些人工审核 | 正向，自样本向上游展开 | 源对象、各处理批次、规则与提示词版本、审核轮次与角色、质检结论变化 |
| 版本回滚 | 回滚这一版数据集会影响哪些下游对象 | 反向，自数据集版本向下游展开 | 受影响的切分结果、训练任务、模型检查点、评测运行、已发布组合、需作废的评测结论 |
影响范围分析的输出不只是一张受影响对象清单，还包含三项判断：**阻断判断**（受影响对象中是否有已对外发布或已用于验收的，有则回滚须经审批）、**作废判断**（哪些评测结论须标注为基于已回滚版本）、**重做判断**（哪些处理批次须重跑，按依赖顺序给出重跑序列）。三项判断的规则写在工具里而非靠人现场拍定，是为了让回滚这件事在压力下也能按同一套口径执行。
血缘完整性本身是一项受考核的指标。口径为：发布版本内样本的血缘挂接率首期基线趋向 98%，服务期内随各环节接入完整逐步接近完全挂接；未挂接血缘的样本不得进入发布版本。测量方法是发布前的血缘完整性校验，逐样本检查八类血缘字段是否齐备（字段见本稿 5.3）。达不到时的回退是未挂接样本退回补录，补不齐的从该版本剔除并记入待补清单——不以"血缘后补"为理由放行。这一条与前述各工具链的质量门一并汇总在表 1-3。
## 五、专项智能工具链通用接口、追溯与验收要求（3.2.3.11）
本节回应招标文件 3.2.3.11 节六条要求（b1146—b1158）。这六条不只约束本组三类七个工具，而是 9 类 25 个工具的共同约束，按任务分工在本节统一给出；工具链一（数据构建类，见 T2A）与工具链二（对齐与标注类，见 T2B）各自的功能设计中不重复论述通用要求，直接引用本节。
把通用要求集中写有一个实际理由。25 个工具若各自定义接口、各自决定输出格式、各自实现血缘记录，结果会是 25 套用法与 25 种口径，集成成本与验收成本都落在甲方身上；而血缘这类横向要求一旦依赖各工具自觉实现，缺失是必然的。我方的做法是把六条通用要求实现在工具运行的公共层，工具只实现自己的业务算子，接口、格式、血缘、质量上报、安全管控与验收材料由公共层统一承担。公共层承载在奔牛数据智能平台 之上。
### 5.1 接口要求
工具须提供标准应用程序接口或平台内部服务接口，支持任务创建、任务查询、结果获取、异常重试、批量导出与状态回调（b1147、b1148）。六类调用构成一个任务的完整生命周期，缺任何一类都会迫使使用者改用别的途径（如直接读数据库、手工搬文件），那些途径一旦出现，血缘与审计就断了。
#### 5.1.1 六类调用的定义
接口按表现层状态转移（Representational State Transfer，REST）风格组织，同时提供平台内部服务接口供平台内模块直接调用，两者共用同一套参数与返回结构。清单见表 5-1。表中路径为示意写法，最终路径随平台接口规范确定。
表 5-1 六类调用的接口定义（b1147、b1148）
| 调用 | 方法与路径 | 关键入参 | 返回 | 幂等性 |
|---|---|---|---|---|
| 任务创建 | POST /tools/{tool_id}/tasks | 输入数据集版本或数据位置、参数集、回调地址、客户端请求标识 | 任务标识、受理状态、预估批次数 | 按客户端请求标识幂等，重复提交返回同一任务标识 |
| 任务查询 | GET /tools/{tool_id}/tasks/{task_id} | 任务标识 | 任务状态、批次进度、已完成与失败数、当前指标快照 | 天然幂等 |
| 结果获取 | GET /tools/{tool_id}/tasks/{task_id}/results | 任务标识、分页参数、筛选条件（批次、状态、风险等级） | 结果记录分页、结果集指纹 | 天然幂等 |
| 异常重试 | POST /tools/{tool_id}/tasks/{task_id}/retry | 任务标识、批次标识列表（缺省为全部失败批次）、是否沿用原参数 | 重试任务标识、纳入重试的批次清单 | 按批次幂等，已成功批次不重复执行 |
| 批量导出 | POST /tools/{tool_id}/tasks/{task_id}/exports | 格式、筛选条件、是否含未审核样本、脱敏级别 | 导出作业标识、取件地址、有效期、导出清单 | 按筛选条件指纹幂等 |
| 状态回调 | 由平台回调调用方登记的地址 | 任务标识、状态、阶段、指标摘要、失败摘要 | 调用方返回接收确认 | 带序号与去重标识，支持重复投递 |
六类调用之外另有两类辅助接口：参数校验接口（提交前预检参数集合法性，避免提交后才发现配置错误）与能力描述接口（返回该工具的参数清单、取值范围、默认值、输出字段与格式，供上层自动构建配置界面）。能力描述接口使运营平台可以不硬编码各工具的参数表（平台见 T3）。
#### 5.1.2 任务状态机与异常重试
任务状态固定为八个，状态流转见图 5-1。状态机写死的好处是调用方可以按状态编程，不必靠轮询字符串猜测进展。
### 图 5-1 工具任务状态机与重试路径
图 5-1 工具任务状态机与重试路径。数据来源：招标文件 3.2.3.11（1）接口要求（b1147、b1148）。
异常重试按批次粒度执行，这是 b1148 中"异常重试"一项的具体口径。重试分三种触发方式：调用方显式调用重试接口；平台按配置自动重试（针对网络超时、对端限流一类暂态故障，默认退避重试三次）；人工在平台界面上对失败批次重试。三种方式的重试都记录在任务日志中，含触发方式、重试次数、重试前后的失败原因。自动重试仅适用于暂态故障，确定性失败（参数不合法、输入数据缺失、业务约束违反）不自动重试，直接报错并给出失败原因与定位信息，避免反复重试掩盖问题。
错误返回按分类编码，不只给文字描述。分四类：参数类（入参不合法、版本不存在、权限不足）、输入类（数据不可读、格式不符、前置条件未满足，如数据集未完成去重即请求切分）、执行类（算子异常、依赖服务不可用、超时）、策略类（质量门未过、业务约束违反、安全策略拒绝）。每类错误返回错误码、可读描述、定位信息（任务与批次标识、涉及的样本标识或参数名）与建议动作。策略类错误须附具体违反了哪一条策略及该策略的版本号，使调用方能判断是数据问题还是策略配置问题。
#### 5.1.3 回调与批量导出
状态回调在任务受理、参数校验完成、执行开始、每完成百分之十进度、质量门判定、任务结束与结果发布七个时点触发。回调携带任务标识、状态、阶段、指标摘要与失败摘要，调用方返回接收确认；未确认的回调按退避策略重投，重投上限之后转为待拉取状态并在任务查询接口中可见。回调带递增序号与去重标识，允许调用方按序号去重与补齐——网络环境下重复投递与乱序到达都会发生，接口设计上先承认它。
批量导出按异步作业处理：提交导出请求返回作业标识，作业完成后回调通知并给出取件地址与有效期。导出件随附一份导出清单，含筛选条件、样本量、结果集指纹、导出时间、脱敏级别与审批记录。清单与导出件一并留存，使半年后仍能回答"这份文件是什么时候按什么条件导出的"。导出件的有效期默认七日，到期清理；需长期保留的进平台的资料库而非留在临时取件区。
含未审核样本的导出与含敏感字段的导出都需要审批，审批记录随导出清单留存（审批记角色不记姓名）。这两类导出的文件名与清单首行显式标注其性质，防止被下游误当作可用数据。
### 5.2 数据格式要求
输出结果须支持 JSON、JSON Lines、Markdown、CSV、Parquet 等格式，并可按平台数据集标准转换入库（b1149、b1150）。五种格式各有其用，不是同一份内容的五种包装。选错格式会让下游多做一道转换，或者在大数据量下根本打不开。
表 5-2 五种输出格式的用途与约定（b1149、b1150）
| 格式 | 用途 | 结构约定 | 适用规模 |
|---|---|---|---|
| JSON | 单个任务的汇总结果、指标汇总、评测报告的机读部分、能力描述 | 顶层对象含 meta（任务、版本、指纹、时间）与 data 两段；meta 结构在所有工具间一致 | 单文件不超过数十兆 |
| JSON Lines | 样本级记录（样本、重复组、污染命中、评测结果、血缘记录） | 一行一条记录，首行可选为表头注释行；字段名用下划线命名法 | 大规模首选，支持流式读写与分片 |
| Markdown | 给人读的报告（质量治理报告、评测报告、归因报告、测试报告） | 固定目录结构（如表 2-9）；表格用标准 Markdown 表格；图以内联可缩放矢量图形嵌入 | 报告类 |
| CSV | 附表、清单、供导入看板与表格工具的数据 | 统一 UTF-8 带字节顺序标记、逗号分隔、双引号转义、首行表头；日期用 ISO 8601 | 中等规模，便于业务口直接查看 |
| Parquet | 数据集本体、大规模样本集、供分析与训练侧读取 | 按数据集标准的字段模式存储；分区键按数据域与批次 | 大规模首选，列式压缩 |
同一份内容以多种格式输出时，内容一致性由统一的序列化层保证：各格式从同一份内部表示生成，不各写一遍导出逻辑。多格式导出件附同一个结果集指纹，便于核对两份文件是否同源。格式之间的对应关系在接口文档中逐字段给出，不靠下游推断。
按平台数据集标准转换入库这一项（b1150）需要说明三件事。其一是字段映射：工具的输出字段到数据集标准字段的映射关系由映射配置定义并版本化，映射配置与数据集标准同步更新，标准变更时映射配置须同步评审。其二是入库校验：入库前按数据集标准做一次校验（字段完整性、类型、取值域、必填项、主键唯一性），校验不过的记录不入库，入库失败清单返回给调用方。其三是入库凭据：入库成功后登记入库批次、入库条数、内容指纹与标准版本号，作为数据集版本的组成部分写入血缘。数据集标准本身由数据治理体系给出（见 T4B），我方承诺按其执行并在标准变更时同步，标准变更时同步评审映射配置。
字符与单位的规范化在格式层统一处理，不留给各工具：文本统一为 UTF-8 不带字节顺序标记（CSV 例外，带标记以便业务口用表格软件打开不乱码）；换行统一为 LF；数值不使用千分位分隔符；日期时间统一为带时区偏移的 ISO 8601；物理量单位按单位字典的标准写法（如毫米写 mm 不写 MM 或毫米混用），单位与数值分列存储，不合并为字符串。这些约定看着琐碎，但矿装数据涉及大量尺寸、温度、功率、硬度数值，单位写法不统一在下游合并时会直接算错。
### 5.3 血缘要求
每条样本须关联原始数据、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果与审核状态（b1151、b1152）。八项字段的定义与填写口径见表 5-3。字段由公共层在每个环节追加写入，不由各工具自填（见本稿 1.4），这是血缘完整性能够达到指标的前提。
表 5-3 八项血缘字段的定义与填写口径（b1151、b1152）
| 字段 | 含义 | 填写口径 | 缺失时的处置 |
|---|---|---|---|
| 原始数据标识 | 该样本最终溯源到的源对象 | 源系统标识＋业务主键（图号加版次／施工号加零件号／工单号加工序号／炉次号／焊缝加焊道／设备编码）；合成样本填合成标记＋模板与批次标识 | 不可发布；退回补录 |
| 处理链路 | 从源对象到当前样本经过的处理批次序列 | 有序的处理批次标识列表，每项含算子名、输入指纹、输出指纹、时间 | 链路断点标注断点位置；断点样本不进发布版本 |
| 工具版本 | 各环节所用工具的版本 | 工具标识＋语义化版本号；同一环节多工具的按序列记录 | 不可发布 |
| 模型版本 | 各环节调用的模型标识与版本 | 网关登记的模型标识＋版本＋调用时点；未调用模型的环节填无 | 若曾调用而未记录，该批次标记血缘不可信并重跑 |
| 提示词版本 | 调用模型时所用提示词模板的版本 | 模板标识＋版本号＋参数指纹；提示词正文存于模板库，血缘只存引用 | 同上 |
| 规则版本 | 所用规则表、约束清单、字典、映射配置的版本 | 逐类规则资产的标识与版本号 | 不可发布 |
| 质检结果 | 该样本在各质检点的结论 | 质检点标识＋结论（通过／不通过／待复核）＋指标值＋判定阈值版本 | 未质检样本不进发布版本 |
| 审核状态 | 人工审核的状态与轮次 | 状态＋轮次＋审核角色＋时间＋意见摘要（记角色不记姓名） | 需审核而未审核的不进发布版本 |
八项之外另记三项辅助信息，便于审计：是否涉及外部模型调用及其出域范围（见本稿 5.5）、是否为合成样本及其模板来源、脱敏处理记录（脱敏规则版本与被脱敏字段清单）。这三项虽非招标文件明列，但数据安全审计与第三方质量测评都会问到，先记下来比事后补容易。
血缘的粒度按本稿 4.4.1 的分层口径执行：指令微调样本、偏好对比组与基准题目逐条记录；预训练语料记录到文档与批次级，保留文档标识使其可回溯到源对象。分层的理由是 615 亿 Token 规模下逐 Token 序列记录血缘在存储与查询上都不可行，而文档级血缘已足以回答审计关心的三个问题：这份语料来自哪份文件、经过哪些处理、用了哪一版清洗规则。分层口径写入数据集标准，验收按此核对。
血缘的存储与查询承载在奔牛数据智能平台 的血缘服务上，对外提供三类查询：按样本查链路（正向展开）、按批次查影响（反向展开）、按时点查历史状态。查询接口与 4.4.2 的五类审计查询共用同一套实现。血缘记录只追加不修改，更正通过追加更正记录并标注被更正项实现，原记录保留。血缘本身若可被改写，审计就失去意义。
血缘完整性的考核口径与回退已在本稿 4.4.2 与表 1-3 给出，此处不重复。
### 5.4 质量要求
工具须输出质量指标与问题样本清单，支持按批次、来源、任务类型与数据集版本生成质量报告（b1153、b1154）。质量指标分两层：各工具的专有指标（如去重率、校验通过率、评测指标）与 25 个工具共同上报的通用指标。通用指标使项目组可以在不了解各工具内部的情况下判断整条流水线的健康状况，清单见表 5-4。
表 5-4 各工具共同上报的通用质量指标（b1153、b1154）
| 指标 | 定义 | 分母口径 | 用途 |
|---|---|---|---|
| 处理完成率 | 成功处理的样本数占提交样本数 | 本任务提交样本数 | 判断任务是否跑完 |
| 质量门通过率 | 通过质量门的批次数占总批次数 | 本任务批次数 | 判断阈值设置是否合理 |
| 问题样本率 | 产出问题样本清单的样本数占处理样本数 | 成功处理样本数 | 判断本批输入质量 |
| 人工介入率 | 需人工复核或裁定的样本数占处理样本数 | 成功处理样本数 | 判断人工成本与自动化水平 |
| 人机一致率 | 人工复核结论与自动结论一致的比例 | 被复核样本数 | 判断自动判定是否可信 |
| 血缘挂接率 | 八项血缘字段齐备的样本数占处理样本数 | 成功处理样本数 | 发布前的硬门槛 |
| 重跑率 | 因失败或质量门未过而重跑的批次数占总批次数 | 本任务批次数 | 判断流程稳定性 |
| 外部调用占比 | 涉及外部模型调用的样本数占处理样本数 | 成功处理样本数 | 安全审计与成本核算 |
质量报告按四个维度生成，四个维度可交叉：按批次出的报告用于日常盯进度；按来源出的报告用于判断某个取数系统的数据质量，这份报告是向源系统侧提改进要求的依据；按任务类型出的报告用于横向比较各类加工任务的质量水平；按数据集版本出的报告即本稿 2.3.4 的质量治理报告，是发布与验收的依据。四类报告共用同一份指标底料，不各算一套。
问题样本清单的字段在各工具间统一：样本标识、所属批次、问题类型、问题描述、严重程度、建议动作、责任环节、关联的质量指标项、当前状态。统一字段的用途是让清单可以跨工具合并——一条样本可能在去重环节无问题而在校验环节有问题，合并后才看得出这条样本的全貌。合并后的清单进质量治理报告第三章，并作为修订工单的生成输入（见本稿 4.3.3）。
指标的定义口径与 S3 数据集质量评测方案保持一致，同一指标名在两处不给不同定义；S3 的指标体系面向数据集成品的评测，本节的通用指标面向加工过程的监控，两者是不同对象上的指标，不互相替代。工具产出的过程指标为 S3 的评测提供佐证材料，第三方机构出具盖章报告时所需的过程记录由本节的指标与报告提供（第三方测评的组织见 S3）。
### 5.5 安全要求
工具须内置敏感信息识别、脱敏、授权校验、访问控制与审计日志能力，涉及外部模型调用时须记录调用范围与数据出域情况（b1155、b1156）。五项能力同样实现在公共层，各工具不自行实现。安全能力分散实现等于留下若干个口子。本节给出工具侧的安全设计；全项目的安全体系（国密、等保、信创比例等）见 T10，本节不重复。
#### 5.5.1 敏感信息识别与脱敏
本项目的敏感信息有四类，各类的识别方式与脱敏方式不同，见表 5-5。四类当中第二类与第三类是矿装制造场景特有的，通用的敏感信息识别规则不覆盖，须按甲方确认的清单定制。
表 5-5 四类敏感信息的识别与脱敏口径（b1155）
| 类别 | 具体内容 | 识别方式 | 脱敏方式 | 适用环节 |
|---|---|---|---|---|
| 个人信息 | 姓名、身份证号、手机号、工号、人脸图像 | 正则规则＋命名实体识别＋图像人脸检测 | 替换为角色标识（如"工艺员A"）；人脸区域打码 | 全环节；进入数据集前必做 |
| 商业敏感 | 客户名称与矿井名称、合同金额、报价、供应商名称、成本与定额金额 | 字段级标记＋词表匹配 | 按甲方确认的脱敏级别替换为代号或区间值 | 对外导出、涉外模型调用前必做 |
| 技术秘密 | 核心工艺参数窗口、专有配方、未公开的设计方法、关键尺寸链 | 字段级标记（由工艺与设计口标定） | 不出域；涉外调用时以占位替换或整条排除 | 涉外模型调用前必做 |
| 安全生产信息 | 矿井地质条件、作业面参数中涉及安全的内容 | 字段级标记 | 按甲方确认口径处理 | 对外导出前必做 |
脱敏规则版本化并随样本血缘记录（见本稿 5.3 辅助信息）。脱敏有一处工程上的要点：脱敏须可核验而不可逆。可核验的意思是脱敏后能确认哪些字段被处理过、按哪一版规则处理，这由血缘记录保证；不可逆的意思是脱敏后的数据无法还原出原值，因此不采用可逆加密做脱敏，代号映射表与数据分离存储且不随数据集导出。
脱敏的效果需要测量而非假定。本方案的做法是对脱敏后的样本做一次回扫：用同一套识别规则扫描脱敏产出，若仍有命中则说明脱敏漏项，该批次退回重做。回扫命中率是一项通用质量指标的扩展项，按批次统计。首期基线目标为回扫命中逐步接近零，达不到时的回退是该批次不得用于对外导出或涉外调用，仅限内网处理。
#### 5.5.2 授权校验、访问控制与审计日志
授权校验在三个层次执行：调用方身份与其可访问的工具范围、调用方对输入数据集与输出结果的数据权限、特定操作的操作权限（如导出含敏感字段的结果、使用保留评测集、执行版本回滚）。三层校验都在公共层完成，工具算子收到的输入已是经权限过滤的数据。
访问控制按角色与数据域两个维度组合。角色维度区分加工、标注、质检、评测、运营、审计与管理各类角色；数据域维度区分供需计划、产品工艺设计、制造过程、质量四个数据域及其下级业务域。两个维度交叉形成授权矩阵，矩阵由甲方确认后配置。另设三条横向规则：最小必要原则（默认不授予，按需申请并限期）、职责分离（质检角色不得修改被检样本，评测角色不得访问训练侧数据的写权限）、敏感操作双人（导出敏感字段、使用保留评测集、版本回滚须经第二角色批准）。
审计日志记录六类事件：数据访问（谁在何时访问了哪些数据域的哪些对象）、任务操作（创建、重试、挂起、放行）、配置变更（规则表、阈值、协议、映射配置的变更前后值）、导出（条件、格式、脱敏级别、审批）、权限变更（授予与回收）、外部调用（见下一小节）。日志只追加不可改，按甲方确认的期限留存，留存期不短于项目质保期。日志中记录角色与账号标识，不在投标文件与对外材料中出现个人姓名。
#### 5.5.3 外部模型调用的范围与出域记录
涉及外部模型调用时须记录调用范围与数据出域情况（b1156）。这一条是本节最需要写清的一项，因为它关系到甲方的技术秘密是否可能流出。我方的处置分三层。
第一层是分级准入。数据按出域许可分三级：可出域（已脱敏的通用文本、公开标准条文、无敏感标记的结构化记录）、受限出域（经脱敏且经审批的业务数据，单次调用有量级上限）、不可出域（技术秘密类字段、未脱敏的个人信息与商业敏感信息、安全生产信息）。分级由字段级标记决定，标记由甲方相关业务口标定。不可出域的数据在网关层拦截，拦截是强制的而非提示性的，调用方无法通过参数绕过。
第二层是就地处理优先。凡能在内网完成的处理一律在内网完成：图纸解析、文件格式转换、规则类质检、去重与指纹计算、分布统计、Schema 校验、切分与泄漏检测均不涉外。需要模型能力的环节优先使用部署在内网的模型；确需调用外部模型的环节（如对公开语料的改写、通用语义向量化），调用内容限于可出域级数据。模型采用当期能力评测领先的通用大模型，经统一网关接入，可替换、可评测、可随代升级；网关是唯一出口，不允许工具直连外部服务。
第三层是逐次记录。每一次外部调用记录九项：调用时间、调用方角色、工具与批次标识、模型标识与版本、提示词模板版本、出域字段清单、出域数据量、脱敏规则版本、返回内容摘要指纹。记录进审计日志并关联到样本血缘，使"这条样本的哪部分内容出过域"可查。按批次与按数据域的出域汇总报表定期出具，供甲方核查。
### 图 5-2 外部模型调用的出域控制与记录
图 5-2 外部模型调用的出域控制与记录。数据来源：招标文件 3.2.3.11（5）安全要求（b1155、b1156）。
### 5.6 验收要求
每个工具链须提供演示样例、输入输出样例、配置说明、接口说明与测试报告（b1157、b1158）。五件套按工具链逐个提供，9 类 25 个工具共 25 套；本组 7 个工具链的五件套由本任务承担，其余由对应任务承担（见 T2A、T2B）。五件套的内容口径见表 5-6，口径统一的用途是使验收可以按同一张表逐项核对，不必对每个工具重新商定验收内容。
表 5-6 验收五件套的内容口径（b1157、b1158）
| 交付件 | 内容要求 | 形式 | 验收方式 |
|---|---|---|---|
| 演示样例 | 用真实业务数据的脱敏子集跑通该工具的主流程，含正常路径与至少一条异常路径（质量门未过或校验失败） | 可重复执行的演示脚本＋数据子集＋执行录屏或执行日志 | 在甲方现场或指定环境重跑，结果与随附记录一致 |
| 输入输出样例 | 覆盖该工具全部输入项与全部输出字段的实例，含边界取值与异常取值 | 样例文件（JSON／JSON Lines／CSV）＋逐字段说明 | 逐字段核对说明与样例一致；边界取值可被工具正确处理 |
| 配置说明 | 全部可配项的名称、含义、类型、取值范围、默认值、变更影响、相互依赖关系 | 配置手册＋配置模板文件 | 按手册改一项配置并重跑，行为与说明一致 |
| 接口说明 | 六类调用的方法、路径、入参、返回、错误码、幂等性、回调时点与载荷；能力描述接口的返回结构 | 接口文档＋可执行的调用示例 | 按文档调用全部六类接口成功；错误码可触发并与文档一致 |
| 测试报告 | 功能测试（逐条功能要求对应测试用例与结果）、指标测试（质量门指标的实测值与测量方法）、性能测试（处理规模与耗时）、异常测试（重试、降级、回滚路径）、安全测试（脱敏回扫、越权拦截、出域拦截） | 测试报告＋测试用例集＋原始测试记录 | 抽取用例现场复测，结果与报告一致 |
测试报告中的功能测试一项有一条硬要求：测试用例与招标文件的功能要求逐条对应，每一条要求至少对应一个用例，用例编号中标注其回应的招标文件单元标识。这样做使验收时可以按招标文件条目反查有无对应测试，而不是只看一份笼统的通过率。本组七个工具链的功能要求共 28 条（3.2.3.8 节 9 条、3.2.3.9 节 10 条、3.2.3.10 节 9 条），加上本节通用要求 6 条，合计 34 条测试要求项。
五件套的交付时点与项目实施计划挂接：配置说明与接口说明随工具开发完成交付，用于甲方侧的集成准备；演示样例与输入输出样例随工具部署完成交付，用于功能确认；测试报告随该工具的单项验收交付。全部 25 个工具的五件套在整体验收前汇总成册并编制索引。实施计划与验收节点见项目管理措施（S1）。
有一类验收材料需要第三方出具，在此说明接口关系：数据集质量测评的盖章报告须由具备资质的第三方机构出具（见 S3），本节的测试报告不替代该报告。两者的关系是本节提供过程证据（协议、冻结集、运行记录、指标与原始测试记录），第三方据此与自行抽测结论出具评测报告。为使第三方可复核，本方案承诺评测过程的可复现性：协议版本化、基准集冻结、随机种子固定、运行记录留存，第三方按同一协议与同一冻结集重跑应得到一致结果（一致性口径见本稿 3.3.4）。
## 六、七个工具链的输入输出样例、配置与测试用例要点
本节回应招标文件 3.2.3.11（6）验收要求中的输入输出样例、配置说明与测试报告三项（b1157、b1158），按工具链逐个给出要点。本节的用途是让评标与验收能看到交付物的具体形态，而不是只看到一句"将提供样例"。完整的样例文件、配置手册与测试用例集随工具交付，本节给出其结构与关键内容。
样例一律使用脱敏后的真实业务对象形态：图号、物料编码、工单号等标识按甲方确认的脱敏口径替换为代号，数值与结构保持真实，使样例既可公开又能反映实际数据的样子。
### 6.1 数据去重与相似度过滤工具链
#### 6.1.1 输入输出样例要点
输入由三部分组成：待处理数据集的版本引用、被保护集合的版本引用清单、阈值与规则配置。样例覆盖四种典型情形：纯新增批次（无被保护集合，只做自身去重）、训练集对基准集的污染扫描、跨数据集的交叉去重、同族变体密集的备料图纸批次。第四种是最需要样例的一种，因为它检验关键字段差异检查是否按预期工作。
输出样例按表 2-5 的字段全覆盖给出，并针对四类处置结论各给若干实例：判为保留的、判为删除的、判为同族变体的、判为待复核的。同族变体的实例尤其要给全——两条图纸样本，文本相似度 0.94，板厚字段一个 16 毫米一个 20 毫米，结论为同族变体、双方保留、互相登记关联。这条实例本身就是工具行为的说明书。
污染命中报告的样例给三个风险等级各若干条。高风险的实例须展示命中片段原文与位置，使审阅者能自行判断该判定是否合理。中风险的实例须展示人工裁定前后的状态变化，说明裁定结论如何回写规则库。
#### 6.1.2 配置清单
表 6-1 去重与相似度过滤工具链的配置项（b1157）
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 文本归一化规则集版本 | 引用 | 规则库中的版本号 | 当前版本 | 变更须整批重算指纹并重跑一级 |
| 参与比对的结构化字段集 | 列表 | 字段名，取自数据集标准 | 按数据域预置 | 变更影响一级重复组划分 |
| 近重分片单元 | 枚举 | 中文字窗长度 3—7／英文词窗 2—4 | 中文 5／英文 3 | 变更须重建 MinHash 签名 |
| MinHash 签名数 | 整数 | 64—256 | 128 | 增大提升精度与开销 |
| LSH 分段与每段签名数 | 整数对 | 段数×每段数＝签名数 | 32×4 | 影响候选对召回与计算量 |
| 近重判定阈值 | 小数 | 0.60—0.95，按数据集类型分设 | 见表 2-3 | 直接影响删除量 |
| 人工复核带上下界 | 小数对 | 下界＜判定阈值 | 见表 2-3 | 影响人工工作量 |
| SimHash 汉明距离阈值 | 整数 | 1—6 | 3 | 影响字面近似的召回 |
| 向量化模型引用 | 引用 | 网关登记的模型标识与版本 | 当期择优 | 变更须重建索引并做回归比对 |
| 语义重复阈值与复核带 | 小数对 | 0.80—0.98 | 0.92／0.85—0.92 | 影响语义级删除量 |
| 语义簇保留条数 | 整数 | 1—10 | 3 | 影响问法多样性保留程度 |
| 关键字段差异检查开关与字段集 | 布尔＋列表 | 按场景预置 | 开启 | 关闭会导致同族变体被误删 |
| n 元组长度 | 整数组 | 中文 8—20 字／英文 5—12 词 | 中文 13／英文 8 | 影响污染扫描灵敏度 |
| 污染风险等级判定参数 | 结构 | 片段长度与命中次数阈值 | 见表 2-4 | 影响阻断范围 |
| 被保护集合清单 | 列表 | 数据集版本引用 | 按任务指定 | 漏列即漏扫 |
| 删除样本隔离保留期 | 整数 | 7—180 日 | 一个版本周期 | 影响可追回窗口 |
#### 6.1.3 测试用例要点
功能测试按五条功能要求逐条设计用例，每条要求对应正例、反例与边界例三类用例。精确重复一项的边界例是构造仅差一个不可见字符的两条样本，归一化规则生效时应判重复、不生效时应判不同，用以验证归一化确实在起作用。近重复一项的边界例是构造 Jaccard 相似度恰在阈值上下各 0.01 的样本对。语义相似一项的用例须含表达完全不同而语义相同的真实业务问法对（如同一制度条款的两种问法），以及字面高度相似而语义相反的样本对（如"允许借用"与"不允许借用"），后者用以验证工具不会只看字面。
污染扫描一项的用例采用回灌方式：从基准集中取若干条样本，经改写后注入训练集，统计工具的识别情况。改写分三档——原文照抄、换同义词、改写句式但保留关键信息，三档的识别情况反映工具在不同隐蔽程度下的能力，测试报告逐档给出而不只给一个总数。
异常测试覆盖四条路径：输入数据集未完成前置处理时的报错、向量化服务不可用时的降级（降级为仅执行一级与二级，产出标记降级完成）、单批次失败后的重试、质量门未过后的阈值回退重跑。安全测试覆盖越权访问被保护集合的拦截与导出含敏感字段结果时的审批校验。
### 6.2 数据分布分析与均衡工具链
#### 6.2.1 输入输出样例要点
输入样例覆盖三种典型任务：单版本分布统计、两版本分布比对（含 PSI 计算）、按配比目标的偏差分析与均衡方案生成。第三种的输入须含配比目标配置，输出须含均衡方案——方案逐类别给出当前量、目标量、建议方法、建议数量与上限校验结果，这份方案是与模板化生成工具对接的补齐需求单（见本稿 3.2.3）。
输出样例含八个维度的分布表、两张交叉热力图的数据表与图表文件、六类分布问题的判定结果清单、以及一份完整的质量治理报告样例。质量治理报告样例按表 2-9 的八章齐备，其中第八章"待补与存疑"须有实际内容而非空章——样例中的该章列出若干条覆盖不足类别与未裁定项，展示这一章的填写方式。
#### 6.2.2 配置清单
表 6-2 分布分析与均衡工具链的配置项（b1157）
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 统计维度启用项 | 列表 | 八个维度任选 | 全部启用 | 关闭维度即不出该维度统计 |
| 各维度的分档规则 | 结构 | 长度分档边界、难度合成权重、时间分档粒度、质量等级判定 | 按数据域预置 | 变更影响历史可比性，须登记 |
| 交叉热力图组合 | 列表 | 任意两维度组合 | 类别×来源、类别×时间 | 增加组合增开销 |
| 长尾判定占比阈值 | 小数 | 0.1%—5% | 1% | 影响长尾类别数量 |
| 各任务类型的最小可用量 | 结构 | 按任务类型给整数 | 分类 200／生成 50／诊断 30 | 影响长尾判定与盲区判定 |
| 来源偏置阈值 | 小数 | 50%—90% | 70% | 影响偏置告警量 |
| 长度偏置判定参数 | 结构 | 偏度与分位数比阈值 | 1σ／3 倍 | 影响长度偏置告警 |
| 异常峰值密度倍数 | 整数 | 3—20 | 10 | 影响峰值告警量 |
| PSI 分档阈值 | 小数对 | 关注／显著两档 | 0.1／0.25 | 影响漂移阻断范围 |
| 基准批次指定 | 引用 | 批次标识 | 首批次 | 变更改变漂移判定基准 |
| 各均衡方法的上限 | 结构 | 见表 2-8 | 见表 2-8 | 放宽上限增过拟合风险 |
| 合成样本占比上限 | 小数 | 5%—40% | 类别内 30%／整体 10% | 超限将使数据集真实性下降 |
| 配比目标配置 | 引用 | 数据集规模规划版本 | 当前版本 | 变更影响偏差分析结论 |
| 报告模板版本 | 引用 | 模板库版本 | 当前版本 | 变更影响报告目录 |
#### 6.2.3 测试用例要点
分布统计一项的用例采用构造数据集的方式：按已知分布构造样本集，工具的统计结果应与构造参数一致，偏差超过千分之一即判不通过。这种用例的价值在于统计类功能的正确性无法靠眼看，只能靠已知答案反推。
六类分布问题的识别各设用例：构造一个占比 0.8% 且绝对数 120 条的类别（应判长尾）、构造一个占比 0.8% 但绝对数 1500 条的类别（不应判长尾）、构造单一来源占比 75% 的类别（应判来源偏置）、构造 PSI 为 0.3 的批次（应判显著漂移并阻断）、构造一个密度为邻域 12 倍的取值点（应报异常峰值且不自动削峰）、构造增强后 PSI 为 0.28 的数据集（应阻断至参数修正）。每条用例的预期结果写明，测试报告逐条给实测结果。
均衡处理一项的用例重点验证上限约束生效：请求对一个 20 条样本的类别做 10 倍过采样，工具应拒绝并返回上限约束错误（策略类错误），而不是执行后再告警。另设一例验证"不做均衡"的路径：对标记为现场罕发的类别请求生成补齐，工具应返回覆盖不足登记而非合成样本。
### 6.3 模板化数据生成工具链
#### 6.3.1 输入输出样例要点
输入样例给出三套完整模板：备料工艺卡模板（含枚举、数值、派生、序列、条件五类槽位）、热处理检验记录模板（含时序参数窗口约束）、安全规程问答模板（按规程条目逐条生成）。三套模板覆盖表 3-2 的全部七种槽位类型。配套给出参数字典样例（工序字典、材料牌号表、设备型谱的脱敏子集）、业务约束规则样例（含至少五条可读规则与一份禁止组合清单）与采样配置样例（含分布贴近批与稀有强化批两种配置）。
输出样例给出合成样本实例、批次台账实例、模板版本记录实例与生成日志实例。生成日志按表 3-4 字段全覆盖，含校验通过与校验失败两类实例——失败实例须展示六类校验中具体哪一项不过、不过的原因与退回去向。另给一份"约束存疑清单"实例：工具判某参数组违反约束，而该约束表达疑有误，清单记录该分歧并进入工艺口裁定流程。
#### 6.3.2 配置清单
表 6-3 模板化数据生成工具链的配置项（b1157）
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 模板引用与版本 | 引用 | 模板库中的标识与版本 | 按任务指定 | 版本变更改变产出结构 |
| 参数字典引用与版本 | 引用 | 字典库中的标识与版本 | 当前版本 | 变更可致枚举槽位取值失效 |
| 业务约束规则集版本 | 引用 | 规则库版本 | 当前版本 | 变更影响合法性判定 |
| 禁止组合清单版本 | 引用 | 清单版本 | 当前版本 | 漏列将放过不合实际的组合 |
| 各参数的采样分布 | 结构 | 均匀／按真实频次／按指定权重 | 按真实频次 | 影响合成样本分布形状 |
| 批次类型 | 枚举 | 分布贴近批／稀有强化批 | 按任务指定 | 影响占比计量归属 |
| 组合覆盖目标 | 枚举 | 两两覆盖／三三覆盖（限关键参数对） | 两两覆盖 | 提升覆盖增生成量 |
| 生成数量 | 整数 | 按任务指定 | —— | 受占比上限约束 |
| 随机种子 | 整数 | 任意 | 任务创建时生成并记录 | 同种子同配置可复现 |
| Schema 定义引用 | 引用 | 数据集标准中的模式版本 | 当前版本 | 变更影响校验结果 |
| 单位字典与量纲表版本 | 引用 | 字典版本 | 当前版本 | 影响单位规范检查 |
| 格式正则规则库版本 | 引用 | 规则库版本 | 当前版本 | 影响格式规范检查 |
| 渲染单批规模 | 整数 | 1000—100000 | 10000 | 影响并行度与重试粒度 |
| 审核抽检比例 | 小数 | 5%—100% | 按批次抽 200 条 | 影响人工成本与放行信心 |
| 导出筛选默认值 | 结构 | 任务／模板／版本／批次／审核状态 | 仅导出已审核 | 放宽将使未审核样本外流 |
#### 6.3.3 测试用例要点
模板化生成一项的用例按槽位类型逐类设计：枚举槽位取字典外值应报错；数值槽位取区间外值应报错；派生槽位的计算结果须与独立复算一致（如压弯件展开长按中性层公式手工复算比对）；序列槽位生成的工序序列须满足先后约束，构造一条违反约束的序列应被规则引擎拦下；条件槽位须覆盖全部分支，构造一个落空分支的配置应在参数校验阶段报错而非生成阶段报错。
Schema 校验一项的用例按六类检查各设正反例，重点是单位规范与业务约束两类。单位规范的用例构造"板厚 20 米"这类量级明显不合理但类型与范围都通过的样本，检验量级区间检查是否生效。业务约束的用例构造一组工艺口确认为不合法的参数组合，工具应拦下并指出违反的具体规则编号与版本。
可复现性测试单设一项：同配置同种子运行两次，两次产出的样本内容指纹应完全一致；改变种子后产出应不同但分布特征一致。这项测试是生成日志中记录种子的意义所在。
异常测试覆盖模板缺陷导致的批次中止（构造一个引用不存在字典项的模板，工具应立即中止该批次并保留失败原因，而非产出一批统一错误的样本）、校验不过的退回路径、抽检不过的模板回滚路径。
### 6.4 数据集切分与基准构建工具链
#### 6.4.1 输入输出样例要点
输入样例覆盖三种切分任务：备料图纸—工艺卡数据集的三层切分（按零件族与来源硬隔离、按签发年份时序切分、训练侧按工序类别分层）、制度条款问答数据集的文档级切分、跨场景迁移评测的按业务场景切分。三种各给完整的策略配置与预期产出结构。
输出样例给出三个集合的样本清单与指纹、五类泄漏检测的检测记录、切分与发布台账实例（按表 3-8 字段全覆盖）。另给一份基准集冻结记录实例，按表 3-7 的八项冻结要素全覆盖，含版本号、内容指纹、题型与判分规则的对应、能力维度映射、使用范围声明。标准化评测运行的输出样例给四件产出各一份：指标汇总、样本级结果、版本对比、人工复核状态。
#### 6.4.2 配置清单
表 6-4 切分与基准构建工具链的配置项（b1157）
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 切分策略组合与顺序 | 列表 | 六种策略任意组合 | 文档级＋来源隔离→时序→分层 | 顺序不同结果不同，须登记 |
| 切分比例 | 结构 | 三集合占比 | 8∶1∶1 | 变更须在台账中说明理由 |
| 分层维度 | 列表 | 不超过三个维度 | 按场景预置 | 维度过多致层内样本不足 |
| 层内最小样本数 | 整数 | 10—100 | 30 | 低于此值的层合并 |
| 时间轴字段 | 枚举 | 签发年份／完工时间／开炉时间／报警时间 | 按数据域预置 | 变更改变时序切分结果 |
| 时序切分点 | 日期或比例 | —— | 按比例取近期 10% | 影响测试集的时间覆盖 |
| 来源隔离粒度 | 枚举 | 取数系统／车间／产线 | 取数系统 | 粒度越粗隔离越严 |
| 零件族关系引用 | 引用 | 去重工具的同族登记版本 | 当前版本 | 缺失将导致借用件跨集合 |
| 五类泄漏检测开关 | 布尔组 | 各类可单独开关 | 全部开启 | 关闭任一类即留泄漏口 |
| 近似问答泄漏阈值 | 小数 | 与语义重复阈值同源 | 0.92 | 过松致漏检，过严致误切 |
| 基准集冻结开关 | 布尔 | —— | 发布即冻结 | 关闭将破坏可比性 |
| 随机种子 | 整数 | 任意 | 任务创建时生成并记录 | 同种子可复现同切分 |
| 评测协议引用 | 引用 | 协议版本 | 按任务指定 | 变更影响评测结果可比性 |
| 保留评测集使用审批开关 | 布尔 | —— | 开启 | 关闭将使保留集被误用 |
| 回滚触发条件 | 结构 | 三类触发条件 | 见本稿 3.3.5 | 放宽将使问题版本继续在用 |
#### 6.4.3 测试用例要点
切分一项的用例重点在隔离是否真的生效。设计方式是构造已知关联关系的数据集：一组样本来自同一文档、一组来自同一零件族、一组属同一工单，切分后检查这些组是否各自落在单一集合内，有一组被拆开即判不通过。时序切分的用例构造时间跨度明确的数据集，检查测试集的时间范围是否确实晚于训练集。
泄漏检测一项的用例按五类各设正例：人为在训练集与测试集中各放一条同源文档样本、一对近似问答、一对同工单记录、一对同族图纸、一条与基准集同题的样本，工具应逐类检出并给出泄漏类型。另设一例反例：两条字面相似但来自不同文档、不同零件、语义不同的样本，不应被判泄漏。
基准集冻结一项的用例验证不可修改：对已冻结的基准集发起修改请求，工具应拒绝并提示须发新版本；修改后发新版本，旧版本应仍可按版本号读取且指纹不变。另设一例验证使用前指纹校验：人为篡改一条基准样本，下次评测运行应在指纹校验阶段报错并拒绝运行。
标准化评测运行一项的用例验证可重复性：同协议、同模型、同基准集、同种子跑两次，主指标偏差应不超过 0.5 个百分点；改变解码参数后偏差应超限并被标记为不可比。回滚一项的用例验证影响范围分析的完整性：构造一条数据集版本到模型检查点到评测报告的依赖链，回滚该数据集版本，工具应列出全部下游对象并给出阻断、作废与重做三项判断。
### 6.5 多协议模型评测引擎工具链
#### 6.5.1 输入输出样例要点
输入样例给出两套完整的评测协议：一套面向板材备料能力（图纸要素识读、工序序列编排、展开与定额计算、工艺借用判定四个维度），一套面向通用场景能力（依据可溯答复、权限边界遵守、工具调用正确性三个维度）。两套协议按表 4-2 与 4.2.1 的七项要素齐备，含人工复核规则与指标口径。配套给出判分规则样例，覆盖表 4-3 的六种判分方式。
输出样例给出一次完整运行的四件产出，并给出一份多对象横向对比的排行榜实例与一份能力雷达图的数据表实例。样本级结果的样例须含五类情形各若干条：判对的、判错的、落入分界带转人工的、违反硬约束判零分的、未获取输出的。第四类与第五类是最容易被忽略而在验收时被追问的两类，样例中必须有。
#### 6.5.2 配置清单
表 6-5 多协议模型评测引擎的配置项（b1157）
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 评测协议引用与版本 | 引用 | 协议库版本 | 按任务指定 | 协议即口径，变更须重跑以保可比 |
| 基准集引用与版本 | 引用 | 已冻结版本 | 按协议指定 | 仅可引用已冻结版本 |
| 被测对象清单 | 列表 | 网关登记的对象标识与版本 | 按任务指定 | 对象增减改变排行榜构成 |
| 各对象的并发上限与速率配额 | 结构 | 按对象给整数 | 按网关登记值 | 过高触发对端限流 |
| 解码参数 | 结构 | 温度、最大长度、停止词等 | 协议中固定 | 同批对比中须一致，否则不可比 |
| 上下文长度上限 | 整数 | 按对象能力 | 协议中固定 | 同批对比中须一致 |
| 工具可用性配置 | 结构 | 工具调用题的可用工具清单 | 协议中固定 | 同批对比中须一致 |
| 单题重试次数 | 整数 | 0—5 | 2 | 影响未获取输出比例 |
| 未获取输出比例上限 | 小数 | 1%—5% | 2% | 超限该次运行标记无效 |
| 判分方式映射 | 结构 | 题型到主判分与校准方式的映射 | 协议中固定 | 变更即改判分口径 |
| 裁判提示词版本 | 引用 | 模板库版本 | 当前版本 | 变更须重跑受影响历史评测 |
| 裁判结果抽样复核比例 | 小数 | 10%—100% | 10% | 低于 10% 不足以校准 |
| 人机一致率下限 | 小数 | 80%—95% | 85% | 低于此值该通道停用 |
| 置信区间计算参数 | 结构 | 重采样次数与置信水平 | 1000 次／95% | 影响显著性判断 |
| 随机种子 | 整数 | 任意 | 协议中固定并记录 | 同种子可复现 |
#### 6.5.3 测试用例要点
协议可重复性一项的用例是本工具链的核心测试：固定协议、对象、基准集与种子，连续运行三次，三次主指标的极差应不超过 0.5 个百分点。另设一例验证协议版本化生效：改动协议中的一项判分权重并发新版本，按新旧两版分别运行，结果应不同且运行记录中协议版本正确区分。
公平性约束一项的用例构造两个对象使用不同解码参数的运行请求，工具应在编排阶段检出不一致并拒绝作为横向对比，或允许运行但在输出中标记不可比。这项用例检验的是工具会不会悄悄给出一份不公平的排行榜。
判分融合一项的用例按六种判分方式各设用例，重点三条：规则约束的否决性（构造一条答案内容基本正确但违反工序先后约束的回答，应判零分而非部分分）；裁判通道的停用机制（人为构造人机一致率低于 85% 的情形，该题型应自动转为人工全部判分）；人工复核的覆盖与留痕（复核改分后，原自动分值、复核分值、复核角色与理由均应在样本级结果中可见）。
多模态一项按表 4-4 的六类任务各设用例，位置类答案的用例须含重叠度恰为 0.5 与 0.3 的边界例。失败处理一项的用例构造对端超时情形，检验超时题目是否被标记为未获取输出且不计入得分分母——若被当作答错，该用例判不通过。
### 6.6 数据贡献度归因与错题溯源工具链
#### 6.6.1 输入输出样例要点
输入样例给出一份完整的失败样本清单（含不少于三类错误表现）、对应的训练样本血缘查询结果、数据子集标签表与一份留出对比的评测结果对。输出样例给出六种呈现各一份：能力雷达图数据表、排行榜、版本对比（含显著性判断，且须含一例"未见显著差异"的结论）、样本级结果、失败样本清单、统计显著性分析明细。
归因报告样例须含完整的错题分类表：不超过二十类，每类给错题数量、占比、典型例题、嫌疑原因、证据路径（强路径或相关性推断）与建议动作。表中须有一类归因到知识覆盖盲区的实例，以展示工具如何区分"数据错了"与"数据没有"。修订工单样例按表 4-6 字段全覆盖，含三个优先级各一例，以及一例状态为"已转需求"的工单——该例对应的是现场尚无记录须从零补录的数据项，用以展示该出口的实际用法。
#### 6.6.2 配置清单
表 6-6 归因与错题溯源工具链的配置项（b1157）
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 溯源路径启用项 | 布尔组 | 强路径（血缘回溯）／弱路径（相似检索） | 均启用 | 仅弱路径时结论证据强度下降 |
| 知识点标签体系引用 | 引用 | 标签体系版本 | 当前版本 | 强路径的覆盖范围取决于此 |
| 相似检索返回条数 | 整数 | 5—100 | 20 | 影响嫌疑样本集大小 |
| 聚类维度启用项 | 布尔组 | 四个维度 | 全部启用 | 维度减少致归类变粗 |
| 聚类类别数上限 | 整数 | 10—50 | 20 | 超限按数量合并尾部类别 |
| 贡献度留出对比的子集选择 | 列表 | 占比最大来源／新接入来源／合成样本子集／指定子集 | 前三项 | 增加子集增训练轮次成本 |
| 置信区间与检验方法 | 结构 | 重采样次数／配对检验方法 | 1000 次／配对检验 | 影响显著性结论 |
| 显著性水平 | 小数 | 0.01—0.10 | 0.05 | 影响"未见显著差异"的判定 |
| 盲区判定依据 | 引用 | 各任务类型的最小可用量（同表 6-2） | 同表 6-2 | 影响第六类原因的判定 |
| 工单优先级映射规则 | 结构 | 影响范围到优先级的映射 | 见表 4-6 | 影响整改期限安排 |
| 整改期限 | 整数组 | 按优先级给工作日数 | 5／10／随下版 | 须与项目计划一致 |
| 工单验证方式映射 | 结构 | 问题类型到验证动作的映射 | 见表 4-6 | 影响工单关闭条件 |
| 责任组映射 | 结构 | 问题类型到环节的映射（记组别） | 按环节预置 | 影响工单流向 |
#### 6.6.3 测试用例要点
错题溯源一项的用例采用注入方式：在训练集中人为植入一批内容有误的样本（如把某道工序的先后关系写反），训练后在基准集上评测，检验工具能否把相应错题归因到这批样本。这是对归因能力最直接的检验，测试报告给出归因命中的情况与证据路径分布。
聚类分析一项的用例检验两件事：类别数是否受上限约束（构造能产生五十类的错题集，工具应合并到二十类以内并说明合并规则）；四维联合是否生效（构造两组错题，错误表现相同但所涉业务对象与嫌疑来源不同，应聚为两类而非一类）。
六类原因判别一项的用例按表 4-5 各设一例，重点是第六类与前五类的区分：构造一个知识点在训练集中样本量为零的错题组，工具应判为知识覆盖盲区并出补齐需求单，而不是判为训练样本内容有误并要求返工。
贡献度估计一项的用例验证留出对比的正确性：构造一个明显影响某能力维度的子集，留出后该维度得分应明显下降，工具给出的贡献估计方向应与之一致。显著性一项的用例构造两版差异在置信区间内的评测结果，报告中应表述为"未见显著差异"——若表述为"有所提升"，该用例判不通过。
工单一项的用例检验两条纪律：整改后未经验证即请求关闭，工具应拒绝；需要新增采集的工单请求关闭，工具应引导至"已转需求"状态并要求登记依赖方与预计解决时点。
### 6.7 数据集—模型版本血缘追溯工具链
#### 6.7.1 输入输出样例要点
输入样例给出一条完整的依赖链：若干源对象到样本、样本到处理批次、批次到数据集版本、版本到切分结果、切分结果到训练任务、训练任务到模型检查点、检查点到评测运行、评测运行到修订工单、发布记录到数据集版本与基准集版本。这条链覆盖表 4-7 的全部十一类节点与九类边，是血缘图谱的完整样例。
输出样例给出五类审计查询各一份结果（按表 4-8），并给出一份影响范围分析报告实例，含阻断、作废与重做三项判断与一份按依赖顺序排列的重跑序列。另给一份血缘完整性校验报告实例，含逐样本八项字段的齐备情况统计与未挂接样本清单。图谱的可视化样例给出两种视图：以某条样本为中心的正向展开视图，以某个数据集版本为中心的反向影响视图。
#### 6.7.2 配置清单
表 6-7 血缘追溯工具链的配置项（b1157）
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 血缘粒度分层口径 | 结构 | 各数据集类型的记录粒度 | 微调／偏好／基准逐条，预训练到文档与批次 | 变更影响存储量与审计深度 |
| 八项血缘字段必填性 | 布尔组 | 各字段可单独设必填 | 全部必填 | 放宽将降低挂接率考核意义 |
| 辅助三项记录开关 | 布尔组 | 出域记录／合成标记／脱敏记录 | 全部开启 | 关闭将影响安全审计 |
| 血缘挂接率门限 | 小数 | 90%—100% | 98%（首期基线） | 低于门限阻断发布 |
| 图谱查询深度上限 | 整数 | 3—20 跳 | 10 | 过深查询开销大 |
| 历史时点查询保留期 | 整数 | 按月 | 不短于质保期 | 影响可回溯窗口 |
| 审计查询预置项 | 列表 | 五类用途 | 全部预置 | 缺项将迫使使用者自拼查询 |
| 影响范围判断规则 | 结构 | 阻断／作废／重做三项的判定规则 | 见本稿 4.4.2 | 变更须审批 |
| 回滚审批开关 | 布尔 | —— | 受影响对象含已发布项时强制 | 关闭将使回滚失控 |
| 血缘记录修改策略 | 枚举 | 只追加 | 只追加 | 不可改为可修改 |
#### 6.7.3 测试用例要点
血缘完整性一项的用例检验八项字段的必填校验：构造一条缺失提示词版本的样本（但其处理链路中确有模型调用），发布前校验应检出并阻断。另设一例检验分层口径：对预训练语料请求样本级血缘，工具应按文档级返回并说明分层口径，而不是报错或返回空。
图谱查询一项的用例按五类审计查询各设一例，重点是模型发布一类：构造一个依赖链中含未裁定污染项的检查点，查询应返回发布阻断项而不是只返回数据集版本清单。影响范围分析一项的用例构造一条含已发布对象的依赖链，回滚请求应触发审批要求并给出完整的作废清单。
只追加特性一项的用例检验血缘记录不可改写：发起修改请求应被拒绝；发起更正请求应以追加更正记录的方式完成，原记录仍可查，且更正关系可见。这项用例是血缘可信的技术保证。
性能一项的用例在首期数据量级上测量三类查询的响应时间（按样本查链路、按批次查影响、按时点查历史状态），实测值进测试报告，性能承诺口径见非功能性章节（T11）。
## 七、本组工具链的实施路径与建设节奏
本节说明本组 7 个工具链的建设顺序与节点安排，回应招标文件对方案可实施性的要求。工具的建设不能与数据加工同步起跑，因为本组工具的输入是加工产出；但也不能等数据加工完成再建，否则质量问题要到最后才暴露。节奏的安排按一条原则：**哪一类问题最早会出现，承接它的工具就最早交付**。
### 7.1 建设顺序的依据
四类数据集的加工一旦开始，最早出现的问题是重复与污染。63 万张图纸配对的工艺卡样本进入候选池的第一天，重复就存在；而污染的后果最严重——基准集一旦被污染且未被发现，后续全部评测结论都不可用，返工代价是整条链路。所以去重与污染扫描排在第一批。
分布问题出现在有了一定存量之后。首批样本量不足时统计分布没有意义，所以分布分析与均衡排在第二批，但不能太晚——均衡处理要在大规模标注开始前给出补齐需求，否则标注资源会按错误的配比投下去。
切分与基准构建排在第二批的末尾，时点取在首轮训练之前。它的前置条件是数据集已完成去重与同族登记，所以必须在第一批工具稳定运行之后。基准集的建设周期较长（题目要专家出、要经污染核验），须与切分工具并行准备。
评测引擎、归因溯源与血缘追溯排在第三批，时点取在首个模型检查点产出之前。血缘追溯有一处例外：血缘的**写入**是公共层的能力，必须随第一批工具一同上线，否则早期批次的血缘补不回来；血缘的**查询与图谱**可以后建。这个区分很重要。把血缘整体推到第三批是常见的失误，结果是前半年的数据缺血缘且无法补回。
### 图 7-1 本组工具链的建设顺序与前置依赖
图 7-1 本组工具链的建设顺序与前置依赖。数据来源：本稿各工具链的前置条件；项目总体节点见项目管理措施（S1）。
### 7.2 每一批的交付内容与可用判据
表 7-1 三批交付的内容与可用判据
| 批次 | 交付工具 | 交付内容 | 判为可用的依据 | 对下游的解锁 |
|---|---|---|---|---|
| 公共层 | 接口、格式、血缘写入、质量上报、安全管控 | 六类调用接口、五种格式序列化、八项血缘字段写入、通用指标上报、四类敏感信息识别与脱敏、授权与审计 | 六类接口按文档可调通；血缘八项字段写入完整；脱敏回扫无命中；越权与出域拦截生效 | 第一批工具可部署 |
| 第一批 | 去重与相似度过滤 | 四级级联流水线、重复组清单、污染命中报告、同族变体登记 | 回灌测试的污染识别达基线；抽样复核一致率达基线；同族变体识别经工艺口确认 | 数据集可做切分；候选池可入库 |
| 第二批 | 分布分析与均衡、模板化生成、切分与基准构建 | 八维分布统计与两张交叉图、六类问题判定、五种均衡方法与上限约束、三套模板与校验器、三层切分与五类泄漏检测、基准集冻结管理 | 构造数据集的统计结果与构造参数一致；上限约束可拦；泄漏构造例逐类检出；基准集冻结后不可改 | 标注资源可按配比投放；首轮训练可启动；评测可开始 |
| 第三批 | 多协议评测引擎、归因溯源、血缘查询与图谱 | 两套评测协议、六种判分方式、六类多模态任务、四维聚类、修订工单、血缘图谱与五类审计查询 | 同协议重复运行偏差达基线；注入错误样本可被归因命中；五类审计查询按预置返回 | 数据集价值可被验证；验收证据链完整 |
每一批的交付都按验收五件套提交（见本稿 5.6），不以"工具已上线"作为交付完成的标志。判为可用的依据写在表中，是为了让交付完成这件事有客观判据而不是靠双方感觉。
### 7.3 服务期内的持续工作
工具交付之后的工作不是维护而是校准。本组工具中有五处参数需要随数据积累持续调整，若不调整，工具会逐渐失准：
去重的阈值需要随人工复核反馈校准。首期阈值按行业常用取值设定，运行一段时间后，用复核判定与自动判定的差异分布反推阈值应往哪边移。校准按季度做一次，每次校准前后各跑一批样本做比对，比对结果与新阈值一并登记。阈值变更须重跑受影响的历史批次或在数据卡上标注该批次按旧阈值处理。
分布的最小可用量需要随场景验证结果校准。首期按任务类型给默认值，场景验证开始后，能看出某类任务实际需要多少样本才达到可用水平，据此调整该任务类型的最小可用量，长尾判定与盲区判定随之变化。
模板的约束表需要随工艺口裁定持续修正。"约束存疑清单"每出一条，裁定后回写一次规则表。这个过程实际上是在把散见于经验的规则（如中性层扣除量按板厚、折弯角度与模具的对应关系）逐步成文，是本工具链的一项附带产出，对甲方的价值不低于工具本身。
评测协议需要随能力维度的理解深化调整。首期维度按表 4-2 设定，评测几轮之后会发现某些维度区分度不足（所有对象都接近满分或都很低），这类维度要么细分要么替换，调整须发新版协议并说明可比性边界。
基准集需要补题与换题。被污染的题目作废补题，区分度不足的题目换题，新增能力维度要新增题目。基准集的版本演进是常态，所以冻结管理与版本谱系是必需而非额外。服务期内按蓝图设计确认的频次组织集中补题与复核；本方案承诺在服务期内每半年组织一次基准集复核与补题，具体次数与时点随蓝图设计确认。
### 7.4 与数据加工环节的协作接口
本组工具与加工环节之间有五条固定接口，接口形式写明可避免实施时反复协商：
**候选样本提交**——加工环节按批次向候选池提交样本，提交时附批次标识、来源标识、质检结论与血缘记录。缺血缘的批次不接收，这条是硬约束（见本稿 5.3）。
**补齐需求单**——分布分析工具向加工与标注环节发出，含类别、目标数量、必须覆盖的参数组合、禁止组合、建议获取方式（真实采集／标注补充／模板生成）。需求单按优先级排序，加工环节据此安排资源。
**修订工单**——归因工具向各环节发出，流转与关闭规则见本稿 4.3.3。工单的承接环节在工单中指明组别，不指个人。
**阈值与规则变更通知**——本组工具的阈值、规则表、Schema、协议发生版本变更时，向受影响环节发出通知，说明变更内容、生效时点与是否需要重跑历史批次。
**质量门结果回告**——批次未过质量门时，向提交该批次的环节回告具体未过项、指标实测值与门限值、以及回退动作（阈值回退重跑或退回修订）。回告须具体到指标项，不只回"未通过"。
五条接口都通过平台承载，有记录可查，不走线下沟通。这样安排的理由是数据加工涉及多个环节与较长周期，线下约定在人员轮换或时间推移后会失效，而平台上的记录不会。
## 八、与关联段落的口径一致性
本节说明本组工具链的指标与验收口径如何与投标文件其他段落保持一致，回应招标文件对方案全面性与清晰度的要求。同一个概念在一份投标文件里出现两种定义，是评标时最容易被追问、也最难在现场圆回来的问题，所以口径关系在此集中交代。
### 8.1 三处"质量"的分工
投标文件中有三处讲数据质量，对象各不相同，不可互换：
**加工环节的质检**（见 T1B）面向单条样本的加工合格性，判的是这条样本标注对不对、字段全不全、格式符不符。质检点设在加工流水线上，产出是逐样本的质检结论，这个结论随血缘记录（见本稿表 5-3 的质检结果字段）。
**本组工具的质量与分布控制**（本稿第二节）面向数据集这个集合的质量，判的是集合里有没有重复、有没有污染、分布形状对不对。它消费质检结论作为输入（质量等级维度的分档依据），但不重复做质检。
**数据集质量评测**（见 S3）面向数据集成品，按《高质量数据集质量评测规范》等依据的指标体系逐项评测，含完整性、规范性、一致性、真实性、多样性等维度，由第三方具资质机构出具盖章报告。它消费前两者的过程记录作为佐证。
三者是逐级向上的关系：样本级合格性、集合级质量、成品级评测。本稿表 5-4 的通用质量指标属过程指标，S3 的指标体系属成品指标，两者不互相替代；指标名相同的，定义取 S3 的口径，本稿不另立定义。污染相关的口径（内容干净性、泄漏检查）在三处使用同一套风险等级划分（本稿表 2-4），这是三处必须一致的一项。
### 8.2 "验收"在三处的含义
招标文件中"验收"一词在不同位置指不同的事，本稿涉及其中三类：
**工具的单项验收**（本稿 5.6）验的是工具本身——五件套齐备、功能逐条对应测试用例、指标达基线。验收对象是工具，依据是招标文件 3.2.3.11（6）。
**数据集的发布验收**（本稿 2.3.4、4.4.2）验的是某一版数据集可否发布——质量门全过、血缘挂接率达门限、无未裁定的高风险污染、无未关闭的高优工单。验收对象是数据集版本，依据是质量治理报告与血缘完整性校验。
**项目的整体验收**（见 S1、S3）验的是全部交付物——数据集规模与质量、工具链 25 个、运营平台功能模块、治理文档、场景验证结论。验收对象是项目，依据是招标文件的交付清单与评测报告。
本稿承担前两类的口径定义，第三类引用。三类验收的证据链是串联的：工具验收合格的工具产出数据集，数据集发布验收合格的版本进入整体验收的交付清单，整体验收所需的质量证据由前两类的记录与第三方评测报告共同构成。
### 8.3 与工具链一、二的衔接
工具链一（数据构建类，见 T2A）与工具链二（对齐与标注类，见 T2B）的产出是本组工具的输入，衔接点有四处需明确：
**思维链样本的去重**（T2A 产出）——思维链样本的字面相似度天然偏高（推理步骤的句式相近），直接套用通用近重阈值会误删。本组工具对思维链样本的处理是只比对问题与结论，不比对推理过程文本；关键字段差异检查的字段集设为问题、结论与关键推理节点。这条配置在 T2A 的产出规范中同步说明。
**长上下文样本的切分隔离**（T2A 产出）——长上下文样本来自同一份长文档的不同片段，必须整份文档归一个集合，否则测试集里的片段与训练集里的片段来自同一文档，等于泄漏。这属本稿表 3-6 的同源文档类，由文档标识归集。
**多模态对齐结果的消费**（T2B 产出）——本组工具的语义相似比对在同模态内进行，跨模态的关联取自 T2B 的对齐结果；对齐关系缺失的样本，跨模态重复不做判定并在报告中标注未检。
**增强样本的分布影响**（T2B 产出）——增强前后的分布比对由本组分布分析工具执行（本稿 2.3.2），PSI 超限时回看增强参数。增强工具与本组工具之间的接口是增强批次标识，使比对能定位到具体批次。
四处衔接的共同点是：本组工具不改变上游的产出规范，而是按上游的数据特性调整自身配置。配置差异记入各数据集类型的配置档，不靠实施时临场判断。
### 8.4 与运营平台、训推平台的边界
运营平台（见 T3）承载本组工具的任务提交界面、质量看板、血缘图谱可视化与审计查询入口。本组工具提供接口与数据，界面与交互由平台实现；本稿不设计界面。平台的功能模块清单中与本组相关的模块（质量管理、血缘管理、评测管理）在 T3 中列出，本稿不重复。
训练推理技术服务（见 T13）提供被测对象的推理接口与留出对比所需的训练轮次。本组工具调用推理接口执行评测，不参与训练与调参。两者的接口是统一网关的调用形式与检查点登记表。本组工具对训练侧的唯一要求是训练任务须登记其使用的数据集版本，否则血缘链路在训练任务这一节点断开。这条要求写入血缘节点定义（本稿表 4-7 的训练任务节点属性）。
### 8.5 数字口径的一致性
本稿涉及的规模数字一律取投标文件统一口径：预训练数据集 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条；备料工序 28 道；历史图纸约 63 万张；工具链 9 类 25 个。本稿不自行提出新的规模数字，涉及配比的引用数据集规模规划（见 T1C）。
本稿提出的指标门限（去重准确率、校验通过率、评测偏差、血缘挂接率等）均为首期基线目标，属待验证目标，最终门限随蓝图设计与首批实测结果确认。这一性质在表 1-3 已声明，此处重申，避免被当作已实现的指标。
## 九、风险点与应对
本节列出本组工具链在实施中确实会遇到的风险，逐条给出应对与回退。列的是具体风险而非一般性困难，每条都有可执行的应对动作。
表 9-1 本组工具链的风险点与应对
| 风险点 | 为什么会发生 | 后果 | 应对动作 | 不奏效时的回退 |
|---|---|---|---|---|
| 零件族关系登记不全，借用件跨集合 | 图号与命名规则不统一，借用关系存在于人的经验中而非系统字段 | 测试集指标虚高，场景验证时落空 | 同族关系由去重工具的关键字段差异检查生成候选，经工艺口确认入库；切分前校验族关系覆盖率 | 覆盖率不足时按图号前缀粗粒度归集，宁可过度隔离；数据卡标注族关系覆盖率 |
| 基准集题目被污染且未及时发现 | 历史资料集中，训练与评测同源；题目改写后字面不同 | 全部基于该基准集的评测结论作废 | 题目入集前经污染扫描核验；每轮评测后对异常高分维度回查污染 | 发现即作废该题并补题，重跑受影响评测；保留评测集始终不参与训练作为兜底 |
| 标注口径与判据口径分别演进 | 标注规范与现场判据（如热处理三级判定、焊接缺陷类别）由不同部门维护 | 样本与模型失配，错题归因指向标注批次但返工后问题仍在 | 标注依据统一引用各场景判据字典版本；判据变更触发标注规范同步评审与受影响批次标记 | 口径不一致时暂停该类标注，先裁定口径；已标批次标记按旧口径并在数据卡说明 |
| 从零补录的四类数据长期缺失 | 选型投运评价、热处理装载登记、焊接层间温度、维修事实当前无记录，须在业务流程中增设填报入口 | 相关能力维度无样本，评测无从验证 | 修订工单的"已转需求"出口登记依赖方与预计时点；数据卡如实标注覆盖不足；相关评测维度暂不纳入验收口径 | 以构造样本与回放窗口部分替代，构造样本全部打标并不进评测集；验收口径按当期可覆盖范围约定 |
| 阈值设置偏松或偏紧长期未校准 | 首期阈值按行业常用值设定，与本项目数据特性未必匹配 | 偏松致重复与污染漏过，偏紧致有效样本被误删 | 按季度用人工复核反馈反推阈值；校准前后跑比对批次并登记 | 偏紧优于偏松：不确定时阈值取保守侧，复核带扩宽，人工判定量上升 |
| 向量化模型更换导致语义判定不一致 | 模型随代升级，新旧向量空间不可比 | 换模型前后对同一批数据给出不同去重与泄漏结论，且无人察觉 | 更换时整体重建索引并对上一版结论做抽样回归比对，差异超 2 个百分点则该批判定作废重跑 | 回退到上一版模型继续运行，待回归比对通过后再切换 |
| 裁判模型判分不可靠 | 裁判本身是模型，可能把错的判成对 | 评测结论失真，归因方向错 | 抽样不低于 10% 人工复核，一致率低于 85% 该题型全部转人工判分；裁判不评测同源数据 | 该题型改用精确匹配或行业指标判分，牺牲覆盖面保可靠性 |
| 多模态题目受采集条件限制 | 视频与传感器类采集仅覆盖部分车间与设备，工艺过程图像需单独布点 | 相关能力维度题量不足，评测无代表性 | 首期题量按已具备采集条件的试点范围确定，数据卡标注当期覆盖范围 | 该维度不纳入当期验收口径，随采集扩展补充题目并补测 |
| 血缘在早期批次缺失且无法补回 | 血缘写入若不随第一批工具同时上线，早期加工的样本无记录 | 血缘挂接率达不到门限，审计链路断在起点 | 血缘写入层随公共层与第一批工具一同上线，先于任何加工批次 | 早期批次按文档级补录可补的部分，补不齐的从发布版本剔除并记入待补清单 |
| 外部模型调用导致敏感信息出域 | 调用方可能绕过脱敏直接提交原始内容 | 技术秘密与商业敏感信息流出 | 统一网关为唯一出口，不可出域字段在网关层强制拦截；脱敏后回扫；逐次记录九项 | 拦截误判时走审批放行并记录；网关不可用时相关环节降级为内网处理 |
| 质量门过严导致流水线长期挂起 | 首期门限按目标值设定，实际数据达不到 | 批次堆积，加工进度受阻 | 门限分首期基线与服务期目标两档，首期按基线执行；挂起批次给阈值回退一档的重跑路径 | 两次重跑仍未过的转人工复核放行，放行记录与未达项登记在数据卡 |
| 工单积压无法关闭 | 需要新增采集或源系统开通接口的工单，依赖外部配合 | 未关闭工单累积，发布被持续阻断 | "已转需求"为正式状态，登记依赖方与预计时点，不计入阻断项 | 高优工单超期未解决的，由项目组评审是否调整该版本的验收范围 |
表中有两条需要额外说明。
关于零件族关系（第一条），这是本组工具在本项目上最具体的技术风险。借用率七八成意味着族关系的影响面极大，而族关系的识别又没有现成字段可用。本方案的处理是把它当作一项需要人机协同逐步建立的数据资产，而不是一个算法问题：工具生成候选族关系，工艺口确认，确认结果入库成为后续切分与去重的依据。这个过程本身给甲方留下一份可复用的零件族台账，价值超出本项目范围。
关于从零补录的四类数据（第四条），我方不承诺用技术手段把它们补出来。正确的做法是在业务流程里增设填报入口并由系统预填、经手人确认，这属于流程建设而非数据加工。本组工具能做的是把缺口显式记录、随进度更新覆盖度、并在验收口径上如实约定当期可覆盖的范围。把缺口写清楚比用合成样本填满更可靠。
## 十、招标文件逐条应答对照表
本节把本任务范围内招标文件的 85 个单元与本稿的应答位置逐条对应，便于合稿索引与逐条核对（b0497 要求投标文件便于评审）。表中"单元性质"一列区分节标题与实质要求：节标题由本稿对应层级的标题与总述段落应答，实质要求由具体段落应答。本任务范围内没有办事须知类单元，也没有须我方填写的表单行。
表 10-1 招标文件单元与本稿应答位置对照（b1074—b1158）
| 单元 | 页 | 招标文件要点 | 单元性质 | 本稿应答位置 |
|---|---|---|---|---|
| b1074 | 69 | 3.2.3.8 数据质量与分布控制类工具链 | 节标题 | 第二节标题与 2.1 |
| b1075 | 69 | 七类问题的治理能力与七个环节覆盖 | 实质要求 | 1.1、2.1 |
| b1076 | 69 | 八类输入与四类产出 | 实质要求 | 2.1 表 2-1 |
| b1077 | 69 | 3.2.3.8.1 数据去重与相似度过滤工具链 | 节标题 | 2.2 标题与 2.2.1 |
| b1078 b1079 | 69 | 精确重复检测，五类指纹口径 | 实质要求 | 2.2.2 与表 2-2 |
| b1080 b1081 | 69 | 近重复检测，MinHash／SimHash／LSH | 实质要求 | 2.2.3 与表 2-3 |
| b1082 b1083 | 69 | 语义级相似度过滤，向量与近邻检索 | 实质要求 | 2.2.4 |
| b1084 b1085 | 69 | n-gram 污染扫描，防评测数据入训练集 | 实质要求 | 2.2.5、图 2-2 |
| b1086 b1087 | 69—70 | 输出重复组、保留与删除、相似度、命中规则、风险等级、处理建议 | 实质要求 | 2.2.6 表 2-5、表 2-4 |
| b1088 | 70 | 3.2.3.8.2 数据分布分析与均衡工具链 | 节标题 | 2.3 标题 |
| b1089 b1090 | 70 | 八个维度的分布统计与可视化 | 实质要求 | 2.3.1 与表 2-6 |
| b1091 b1092 | 70 | 长尾、来源偏置、长度偏置、异常峰值、批次漂移、增强前后变化 | 实质要求 | 2.3.2 与表 2-7 |
| b1093 b1094 | 70 | 过采样、欠采样、权重采样、分层采样、生成补齐 | 实质要求 | 2.3.3 与表 2-8 |
| b1095 b1096 | 70 | 质量治理报告的五项内容 | 实质要求 | 2.3.4 与表 2-9 |
| b1097 | 70 | 3.2.3.9 数据生成控制与评测类工具链 | 节标题 | 第三节标题与 3.1 |
| b1098 | 70 | 四项保障目标与七个环节覆盖 | 实质要求 | 3.1 |
| b1099 | 70 | 六类输入与五类产出 | 实质要求 | 3.1 表 3-1 |
| b1100 | 70 | 3.2.3.9.1 模板化数据生成工具链 | 节标题 | 3.2 标题与 3.2.1 |
| b1101 b1102 | 70 | 模板、槽位、条件逻辑、枚举、数值范围、组合关系、业务约束 | 实质要求 | 3.2.2 与表 3-2 |
| b1103 b1104 | 70 | 设备、部件、故障、工艺、质量指标、安全规则的受控采样 | 实质要求 | 3.2.3 |
| b1105 b1106 | 70 | Schema 校验六项 | 实质要求 | 3.2.4 与表 3-3 |
| b1107 b1108 | 70—71 | 按任务、模板、版本、批次、审核状态批量渲染与导出 | 实质要求 | 3.2.5 |
| b1109 b1110 | 71 | 生成日志留存五项 | 实质要求 | 3.2.6 与表 3-4 |
| b1111 | 71 | 3.2.3.9.2 数据集切分与基准构建工具链 | 节标题 | 3.3 标题 |
| b1112 b1113 | 71 | 六种切分策略 | 实质要求 | 3.3.1 与表 3-5 |
| b1114 b1115 | 71 | 切分前泄漏检测五类 | 实质要求 | 3.3.2 与表 3-6、图 3-2 |
| b1116 b1117 | 71 | 基准测试集冻结管理八项要素 | 实质要求 | 3.3.3 与表 3-7 |
| b1118 b1119 | 71 | 标准化评测运行与四件产出 | 实质要求 | 3.3.4（评测引擎细节见 4.2） |
| b1120 b1121 | 71 | 版本化发布与回滚五项记录 | 实质要求 | 3.3.5 与表 3-8 |
| b1122 | 71 | 3.2.3.10 数据集验证与归因类工具链 | 节标题 | 第四节标题与 4.1 |
| b1123 | 71 | 通过模型表现反向评估数据集价值，八个环节覆盖 | 实质要求 | 4.1 |
| b1124 | 71 | 十类输入与六类产出 | 实质要求 | 4.1 表 4-1 |
| b1125 | 71 | 3.2.3.10.1 多协议模型评测引擎工具链 | 节标题 | 4.2 标题 |
| b1126 b1127 | 71—72 | 统一评测协议七项固化要素 | 实质要求 | 4.2.1 与表 4-2 |
| b1128 b1129 | 72 | 多模型并行评测调度与五档对象横向对比 | 实质要求 | 4.2.2 与图 4-1 |
| b1130 b1131 | 72 | 六种判分策略融合 | 实质要求 | 4.2.3 与表 4-3 |
| b1132 b1133 | 72 | 六类多模态评测任务 | 实质要求 | 4.2.4 与表 4-4 |
| b1134 | 72 | 3.2.3.10.2 数据贡献度归因与错题溯源工具链 | 节标题 | 4.3 标题 |
| b1135 b1136 | 72 | 雷达图、排行榜、版本对比、样本级结果、失败清单、显著性分析 | 实质要求 | 4.3.1 与图 4-2 |
| b1137 b1138 | 72 | 错题溯源与聚类，关联六类对象 | 实质要求 | 4.3.2 与表 4-5 |
| b1139 b1140 | 72 | 数据修订工单七项字段 | 实质要求 | 4.3.3 与表 4-6 |
| b1141 | 72 | 3.2.3.10.3 数据集—模型版本血缘追溯工具链 | 节标题 | 4.4 标题 |
| b1142 b1143 | 72 | 血缘追踪与图谱化展示六类对象依赖关系 | 实质要求 | 4.4.1 与表 4-7、图 4-3 |
| b1144 b1145 | 72 | 审计查询与影响范围分析，满足五类要求 | 实质要求 | 4.4.2 与表 4-8 |
| b1146 | 72 | 3.2.3.11 专项智能工具链通用接口、追溯与验收要求 | 节标题 | 第五节标题与引言 |
| b1147 b1148 | 72—73 | 接口要求：六类调用 | 实质要求 | 5.1 与表 5-1、图 5-1 |
| b1149 b1150 | 73 | 数据格式要求：五种格式与按标准入库 | 实质要求 | 5.2 与表 5-2 |
| b1151 b1152 | 73 | 血缘要求：每条样本关联八项 | 实质要求 | 5.3 与表 5-3 |
| b1153 b1154 | 73 | 质量要求：指标、问题样本清单、四维度报告 | 实质要求 | 5.4 与表 5-4 |
| b1155 b1156 | 73 | 安全要求：五项能力与外部调用出域记录 | 实质要求 | 5.5 与表 5-5、图 5-2 |
| b1157 b1158 | 73 | 验收要求：五件套 | 实质要求 | 5.6 表 5-6 与第六节全节 |
对照表的用途有两处。合稿时按本表生成逐条应答矩阵（见 T9），不必再逐段翻找。评标时若对某一条要求的应答位置有疑问，按本表直接定位到段落，不必通读全节。
## 十一、交付清单与验收口径汇总
本节汇总本任务的全部交付物与对应的验收口径，回应招标文件 3.2.3.11（6）与方案可实施性要求（b1157、b1158）。
### 11.1 交付物清单
表 11-1 本任务交付物清单
| 序 | 交付物 | 内容 | 交付时点 | 验收方式 |
|---|---|---|---|---|
| 1 | 公共层（接口、格式、血缘写入、质量上报、安全管控） | 六类调用接口、五种格式序列化、八项血缘字段写入、八项通用指标上报、四类敏感信息识别与脱敏、三层授权与六类审计日志 | 先于第一批工具 | 接口按文档可调通；血缘字段写入完整；脱敏回扫无命中；越权与出域拦截生效 |
| 2 | 数据去重与相似度过滤工具链 | 四级级联流水线、重复组清单、污染命中报告、同族变体登记 | 第一批 | 五件套＋回灌测试＋抽样复核一致率 |
| 3 | 数据分布分析与均衡工具链 | 八维统计与两张交叉图、六类问题判定、五种均衡方法、质量治理报告 | 第二批 | 五件套＋构造数据集统计一致性＋上限约束可拦 |
| 4 | 模板化数据生成工具链 | 模板引擎、七类槽位、规则与禁止组合清单、六类 Schema 校验、生成日志 | 第二批 | 五件套＋可复现性测试＋校验通过率 |
| 5 | 数据集切分与基准构建工具链 | 三层切分、五类泄漏检测、基准集冻结管理、标准化评测运行、版本化发布与回滚 | 第二批 | 五件套＋隔离构造例全检出＋冻结不可改＋重复运行偏差 |
| 6 | 多协议模型评测引擎工具链 | 评测协议、六种判分融合、多对象调度、六类多模态评测 | 第三批 | 五件套＋重复运行偏差＋公平性约束生效 |
| 7 | 数据贡献度归因与错题溯源工具链 | 六种结果呈现、四维聚类、六类原因判别、贡献度留出对比、修订工单 | 第三批 | 五件套＋注入错误可被归因＋显著性表述合规 |
| 8 | 数据集—模型版本血缘追溯工具链 | 血缘图谱十一类节点九类边、五类审计查询、影响范围分析三项判断 | 第三批 | 五件套＋五类查询按预置返回＋只追加特性 |
| 9 | 配套文档：评测协议模板、判分规则库、质量治理报告模板、修订工单模板、数据集标准映射配置 | 模板与配置文件，带版本号 | 随对应工具 | 按模板出一份实例并经评审 |
| 10 | 服务期校准记录 | 阈值校准、最小可用量调整、约束表修正、协议版本演进、基准集补题记录 | 服务期内按季度与半年节奏 | 校准前后比对记录齐备 |
工具链本身的开发与部署形态、与运营平台的集成方式见 T3；所需算力与环境见 T13 与非功能性章节 T11；本节只汇总本任务范围内的交付物与验收口径。
### 11.2 验收口径的三段式表述汇总
本稿对每项能力均采用基线、趋向、回退三段式表述（见 1.5）。汇总表见表 1-3，此处说明三段式在验收环节的具体用法，避免口径被简化为单一数字。
验收时按基线值核对实测值，实测值达到或超过基线即判通过；未达基线的，核对回退动作是否已执行并留有记录，回退已执行且未达项已登记的，该项判为有条件通过并列入服务期校准计划；回退未执行的判不通过。趋向目标不作为验收判据，它是服务期的改进方向，在服务期的阶段性检查中核对改进趋势而非绝对值。
这样安排的理由是工业数据集的质量指标在首期普遍受数据条件限制，把服务期目标当作首期验收线，结果只会是双方在验收会上就一个达不到的数字反复争论。分两档并把回退路径写进验收口径，是把"达不到怎么办"提前约定下来。
### 11.3 不列入本任务范围的事项
为避免交付边界含糊，以下事项不在本任务范围，按责任边界指向对应段落：人工标注的实施（标注规范与工具在 T2B，标注实施由加工环节承接）；模型训练、调参与算力调度（T13）；运营平台的界面与交互实现（T3）；第三方盖章质量测评报告的出具（S3）；智能场景的建设（不在本包范围）；数据资源的采集接入与源系统接口开通（T12）。
## 十二、本稿待补材料清单
本稿的结构与论述已按招标文件要求写足，以下材料需由相关方提供后补入，补入后本节随之更新。
表 12-1 本稿待补材料清单
| 序 | 待补项 | 本稿中的位置 | 需要谁提供 | 影响 |
|---|---|---|---|---|
| 1 | 备料分厂正式工序字典（28 道工序的标准名称、编码与分档规则） | 表 2-6 类别维度、表 3-2 序列槽位、2.3.1 | 甲方工艺部门 | 影响类别维度取值、序列槽位约束与测试用例设计 |
| 2 | 各场景判据字典（热处理三级判定、焊接十一类缺陷与检出手段对应、健康诊断故障名录与四档证据分级） | 表 2-6、表 4-2、4.2.4 | 甲方工艺、质量、设备各口 | 影响能力维度定义、标注口径与判分规则 |
| 3 | 中性层系数与工装压模台账 | 表 3-2 派生槽位 | 甲方工艺部门 | 派生槽位的计算公式与复算比对无法落实 |
| 4 | 禁止组合清单（材料与工艺的不允许组合） | 3.2.2、表 6-3 | 甲方工艺部门 | 业务约束检查缺依据 |
| 5 | 敏感字段标定清单（商业敏感、技术秘密、安全生产信息的字段级标记） | 表 5-5、5.5.3 | 甲方相关业务口 | 脱敏与出域拦截无法配置 |
| 6 | 出域许可分级的甲方确认口径 | 5.5.3 | 甲方信息安全主管部门 | 外部模型调用范围无法确定 |
| 7 | 授权矩阵（角色与数据域的交叉授权） | 5.5.2 | 甲方信息安全与业务主管部门 | 访问控制无法配置 |
| 8 | 各任务类型的最小可用样本量确认值 | 表 2-7、表 6-2、4.3.2 | 项目组与甲方在蓝图设计阶段共同确认 | 长尾判定与盲区判定的阈值待定 |
| 9 | 零件族（借用关系）确认结论 | 2.2.3、表 3-6、表 9-1 第一条 | 甲方设计与工艺部门确认工具生成的候选族关系 | 切分隔离的粒度与可靠性 |
| 10 | 数据集标准正式版本（字段模式、编码规则、入库校验规则） | 5.2、表 5-3 | 由数据治理体系出具（见 T4B） | 格式转换入库的映射配置待定 |
| 11 | 质量指标定义的统一台账 | 5.4、8.1 | 与数据集质量评测方案（S3）统一 | 同名指标的定义需以一处为准 |
| 12 | 服务期内基准集复核与补题的次数确认 | 7.3 | 随蓝图设计确认 | 本稿已给出每半年一次的承诺，最终次数待确认 |
| 13 | 多模态采集的试点范围清单（可支撑视频理解与传感器诊断题目的车间、产线、设备） | 4.2.4、表 9-1 第八条 | 甲方现场勘察结论 | 相关能力维度的首期题量与验收范围 |
| 14 | 三类焊接检测的位置口径换算规则 | 4.2.4 | 甲方质量部门 | 位置类答案的判分口径 |
| 15 | 平台接口规范（最终路径、鉴权方式、回调约定） | 表 5-1 | 由运营平台建设统一（见 T3） | 本稿接口路径为示意写法，待按规范定稿 |
| 16 | 性能承诺的实测环境参数 | 2.2.7、6.7.3 | 由非功能性章节统一（见 T11） | 本稿不列性能数值，待统一口径 |
清单中第 1 至第 4 项与第 9 项属业务规则类，是本组工具能否落地的实质前提：工序字典、判据字典、中性层系数、禁止组合与零件族关系，这五项一旦缺失，工具只能按通用规则运行，在矿装场景上的贴合度无从体现。我方的处理方式是在蓝图设计阶段以工作坊形式逐项确认并成文，确认结果即成为规则资产的首个版本，后续按版本演进。这个过程本身是本项目的一项交付价值：把散见于经验的规则落成可执行、可版本化的规则库。
第 5 至第 7 项属安全配置类，须在任何涉外模型调用之前确认到位，否则相关环节一律降级为内网处理。第 10 至第 12 项与第 15、16 项属投标文件内部的口径统一事项，在合稿阶段统一。