负责人 欧阳未　·　状态 初稿　·　5 分　·　覆盖 284 个标书单元　·　 批注 3

数据集质量评测方案

第 9 章验收标准与验收流程中与评测成果有关的条款（b2224—b2238），在本节第 9 章一并应答。

1、本节总览

1.1 甲方在这一条上要解决的现场问题

招标文件把质量评测单列为一个评分项，原因不在于程序上需要一份报告。矿山装备制造的数据有三个特点，使"数据到底能不能用"这件事无法靠人眼翻阅得出结论。

第一个特点是数据与物理对象的对应关系尚未建立。同一台刮板输送机在不同系统里有施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号多套标识，彼此之间没有稳定的主键关系。一条样本看上去字段齐全，但它指向的究竟是哪一件工件、哪一炉、哪一道焊缝，往往要回到原始台账去核。评测如果只做字段非空率，这类问题一个也查不出来。

第二个特点是过程数据与质量结论天然分离。热处理的温度曲线来自炉控与群控，硬度与金相结论来自检验，两者之间缺少稳定的一炉一档关联；焊接的电流、电压、送丝速度是连续参数流，而工件与焊道是离散对象，交检发现咬边或未熔合时无法直接调取对应时段的参数。数据集的价值恰恰取决于"某一段过程数据对应某一个质量结论"这种成对关系是否成立。评测必须把这种成对关系当作一项可检的指标，而不是假定它存在。

第三个特点是专业判据的稀缺性。备料工序集合是封闭的 28 道（以工艺部门确认的正式工序字典为准），压弯件展开长要按中性层公式换算，粗糙度、坡口、倒角符号各有其作用表面范围。这些判据写在作业指导书和老师傅的经验里，不写进评测指标，自动化检测再完备也只能判断数据"规整"，判断不了数据"专业"。

所以本节的评测方案不是一套通用数据质检脚本的说明书。它要回答的是：四大数据集（预训练、指令微调、强化学习偏好、基准测试）在交付时，凭什么证据说明它可以直接送进模型训练，又凭什么证据说明训练出来的模型在煤机业务上确实比不用这批数据时更好。

1.2 三个容易混淆的概念在本方案中的分工

本投标文件在三处讲"质量"，口径不同，不可混用。本节统一如下，后续各节沿用。

质检，指数据加工生产过程内部的工序级检验，由加工环节自带的规则校验与抽检承担，发生在数据集形成之前，目的是不让不合格样本流到下一道工序。其设计见技术方案卷 T1B 节。

评测，指数据集形成之后、交付与验收之前，对整个数据集按三维度指标体系做的独立量化核验与模型实战验证，发生在数据集封版之后，目的是给出一个可对外出证的综合质量结论。本节讲的是这一件事。

场景验证，指把数据集投入六个专业场景与五个通用场景的业务流程中，检验它能否支撑这些场景的业务判断，目的是回答数据集的业务效用。其设计见技术方案卷 T5 与 T14 节。

三者是前后衔接的三道关口，不是同一件事的三种叫法。质检的缺陷类型清单、评测的指标口径、场景验证的归因口径统一到同一套缺陷字典与同一套样本标识上，这一点在本节第 11 章说明接口。

1.3 方案总体框架

本方案按"依据定口径、指标定判据、方法定手段、过程定关口、档案定证据"五条线组织。四者之间是逐级约束关系：依据决定指标可以怎么定，指标决定方法必须覆盖到什么粒度，方法决定实施过程要分几个阶段、每个阶段交什么，过程产出的全部材料汇成可对外出证的质量档案。

图 S3-1　数据集质量评测方案总体框架

图 S3-1　方案总体框架。数据来源：招标文件第五章 3.2.8.2 节四项服务要求的层次划分（b1892—b2147）；指标计数依本节第 4 章对 b1912—b2098 的逐项归并。

2、评测目标与量化承诺

招标文件要求完成多模态自建数据集首轮全量评测与缺陷整改复测，通过标准化评测、实战化模型验证、整改闭环三条路径达成四项量化建设目标（b1883）。我方逐项应答如下，并在每一项之后给出基线、验收口径与不达标时的回退安排，使这些目标在合同期内是可度量、可核对、可追责的。

2.1 第一项　数据质量合规核验目标

招标文件要求围绕说明文档、数据质量、模型应用三大维度实现指标全覆盖核验，建立标准化量化打分体系，评测完成后数据集综合质量得分不低于 85 分（百分制）；高风险缺陷（涉政、色情、暴恐、涉密、未脱敏隐私信息）清零，中低风险缺陷（标注错误、样本缺失、内容重复）完成整改（b1884、b1885）。

我方的应答分三层。

指标覆盖。我方按《高质量数据集质量评测规范》（TC609-5-2025-04）搭建的指标体系覆盖三大维度、22 个二级指标、81 个三级指标，逐项建立检测口径、合格阈值与缺陷分级标准，不设"暂不评测"的指标项。覆盖率的度量口径是：已建立可执行检测口径并在首轮评测中实际出具检测结论的三级指标数，占本数据集适用三级指标总数的比例。

适用性判定随数据集模态确定——例如纯文本的预训练数据集不适用音频位深度（b2027）、视频帧率（b2035）一类指标，不适用项在报告中标注"本数据集不适用"并说明理由，不计入分母。按此口径，首轮评测的指标覆盖率目标是趋向 100%，承诺基线为不低于 98%；未达基线的指标逐项说明原因并进入下一次集中复测补测。

综合得分。我方承诺首轮评测后的综合质量得分不低于 85 分，并在此之上设置内部控制线 88 分，使最终报告留有余量。得分的构成、权重与合格线见本节第 4.4 节。

高风险缺陷。涉政、色情、暴恐、涉密、未脱敏个人信息五类为高风险缺陷，采取全量检测而非抽样，检测手段为关键词与正则规则库、分类模型、人工复核三重叠加。此类缺陷在复测后的目标是逐步接近零残留，验收口径以统计抽样给出：在复测完成后对数据集按分层随机抽样复查，样本量按 95% 置信水平、残留率上限 0.1% 设计，抽样复查未发现高风险缺陷即判定达标；若发现任一例，则该批次整体退回加测，加测范围扩大到该例所属的来源批次与同采集时段的全部样本。这一安排是对招标文件 b2144 整体验收硬性标准的落实办法，即以可核验的统计口径承接"清零"的要求。

中低风险缺陷。标注错误、样本缺失、内容重复为中低风险缺陷，按缺陷分级逐级处置。整改完成率的度量口径是：已复检通过的缺陷条目数占首轮评测输出缺陷清单条目总数的比例。我方承诺该比例趋向 100%，并以 99% 为承诺基线；剩余条目须属于两类情形之一，即原始业务事实本身缺失（如历史纸质记录已不可查）或整改成本显著高于其对模型训练的影响（经甲方书面确认），这两类情形在报告中单列为"已评估不整改项"，附评估依据。

表 S3-1　第一项目标的量化口径与回退安排

2.2 第二项　模型实战适配效能验证目标

招标文件要求依托约定的开源基准大模型、视觉、语音、多模态模型搭建独立隔离训练环境，完成数据集微调对照实验，量化对比微调前后的模型准确率、关键词识别、场景描述专业度，形成可复现的性能基线报告；各类数据集须达到最低性能提升阈值；并据此定位数据场景覆盖、样本均衡、标注规范三个层面的短板，输出数据集迭代优化专项方案（b1886、b1887）。

这一项是本方案与一般数据质检的分界线。静态检测回答"数据干不干净"，只有对照实验能回答"数据有没有用"。我方的实验设计遵循四条原则。

其一，同一变量只变数据。基准模型、训练超参、评测集、评测脚本、随机种子在微调前后两组中保持一致，唯一变量是是否引入被评测数据集。实验配置以配置文件形式入档，报告中给出全部取值。

其二，测试集先隔离后建设。测试样本在数据集加工开始之前即按来源与时间双重切分划出，加工环节不得接触。视频类数据集按采集设备隔离封存划分独立测试集（b2070），即某些采集设备产出的样本整体不进入训练集，以免同一机位、同一光照条件下的样本造成信息泄漏。

其三，裁判与自动指标并列。文本与视频类采用大模型裁判对独立测试样本做双盲评分，同时给出自动指标（如 Rouge-L）；两者结论不一致的样本抽出做人工仲裁，仲裁结果与两类指标的偏差一并记入报告。只给单一指标的实验不足以支撑"专业度提升"这类结论。

其四，提升阈值分层设定、留有回退。我方按数据集类型给出最低性能提升阈值的建议值，并说明阈值未达成时的处置路径。阈值的最终取值在定制评测方案设计阶段与甲方共同确认（b2118），本节给出的是建议基线。

表 S3-2　四类数据集的对照实验设计与最低提升阈值建议

表中的基准模型与微调方式均按招标文件原文的指定执行，具体型号以招标文件所列为准（b2063—b2070）。若实施期内指定版本不可获取，我方按同参数量级、同架构的开源模型替代，替代方案连同对比口径的影响评估一并提交甲方书面确认后执行，原指定模型的实验记录在报告中说明替代原因。

四类阈值中，语音类的「关键词召回率绝对提升 ≥8 个百分点」以绝对百分点而非相对比例表述，原因是召回率本身已是比例量，零样本基线偏低时相对提升容易被放大，绝对差更能反映可用性的实际改善。这一取值是我方按矿山现场的语音条件给出的首期基线：作业环境存在设备背景噪声与口音差异，零样本解码对专业术语与作业口令的召回明显低于通用场景，引入术语词表与微调后一档能被工序人员感知的改善即落在这个量级。判定办法随基线一并写明——测试集按说话人与采集时段切分并在加工开始前封存，样本量按第 5.5.3 节的比例估计口径设计（95% 置信水平、绝对误差 ±3 个百分点），使抽样误差明显小于该判定门限；零样本与微调两组使用同一测试集、同一术语词表与同一评测脚本，按现场作业、调度指令、设备异常描述三类场景分组统计；按表 S3-31 的口径不少于三次重跑，以均值判定，标准差一并记入报告。判定时点为首轮评测及其后的每一次全量复测。未达到基线时的处置按表中所列执行，先分组定位是采集信噪比不足还是术语词表缺口，补采或扩充词表后重做实验；重做仍未达成的，按第 5.3.3 节的三种情形归因，在报告中单列说明并给出调整建议。随服务期内采集规范与术语词表的迭代，这一指标的目标逐步接近 15 个百分点，终值在定制评测方案设计阶段与甲方共同确认（b2118）。

这两项阈值（文本类标注一致率 ≥85%、语音类关键词召回率绝对提升 ≥8 个百分点）的判定与处置一并固定：判定方式为按说话人与采集时段分层抽样后由两名标注员独立重标、第三方仲裁不一致项，样本量按该类数据总量的置信区间取值，每批次首轮与整改复测各判一次；首期按上述取值设定基线，随语料积累与术语表完善逐步提高，目标分别趋向 ≥90% 与 ≥12 个百分点。单批次未达基线的，该批次不进入正式集，按未达项的成因分类（术语表缺漏、采集信噪比、标注规则歧义）定向补采或补标后复测；连续两批未达基线的，提交成因分析与改进计划报招标方评审，改进措施随下一批次生效。

性能基线报告的可复现性以三件材料支撑：环境镜像清单（含框架版本、驱动版本、依赖版本）、训练与评测脚本及其配置文件、随机种子与数据划分清单。甲方在同一隔离环境内按这三件材料重跑，指标偏差应落在同一数量级内；我方以主要指标重跑偏差不超过 ±1.5 个百分点为可复现的判定口径。

短板定位不是实验的副产品，而是实验设计的一部分。我方在实验中按业务域、按场景、按标签类别做分组评测，使"哪一类样本拖低了整体指标"可以直接读出。例如板材备料工艺的指令微调数据集，按 28 道工序分组统计裁判评分，评分明显偏低的工序即对应样本覆盖或标注口径的短板；热处理数据集按材料批次与装炉方式分组，可以看出是否存在某一类装炉方式的样本过少。分组结论汇入《数据集迭代优化专项方案》，该方案的内容结构见第 6.5 节。

2.3 第三项　缺陷整改闭环管控目标

招标文件要求针对评测检出的缺陷设计标准化整改方案，内容包含问题样本定位、缺陷成因、分步修正操作、复检校验规则；在甲方完成数据修正后提供复测服务，直至同类缺陷清零；建立"评测—问题输出—整改指导—复测校验"的质量闭环（b1888、b1889）。

闭环能不能转起来，取决于三件事是否做实。

第一件是样本能不能定位到唯一。 缺陷清单中的每一条都带六个必填字段：数据集标识与版本号、样本唯一标识、文件路径与偏移位置（文本给出字符区间，图像给出区域坐标，音视频给出时间码）、命中的三级指标编号、缺陷等级、检测手段与检测时间。缺少任一字段的条目不予进入整改清单，这是为了避免出现"某批数据有重复问题"这类无法执行的结论。

第二件是成因要指向可操作的环节。 我方把缺陷成因归入五类：采集环节（源系统字段本身为空、采集时段缺失、传感器失效）、解析环节（图纸图元解析失败、版面还原错位、编码转换错误）、标注环节（标注规则理解偏差、标注员之间口径不一致、标签体系粒度不足）、加工环节（去重阈值不当、切分造成语义截断、合成样本分布偏离）、治理环节（主键映射缺失、口径字典未更新、版本记录断档）。成因分类直接对应整改责任环节，不写"数据质量不高"这类无指向的结论。

第三件是复检规则要在整改之前给出。 每一类缺陷的整改指引末尾附复检校验规则，写明复检的检测手段、判定阈值、抽样比例与通过条件。甲方按指引完成修正后，复测直接套用这套规则，不重新议定判据。

招标文件要求"直至同类缺陷清零"。我方的落地口径是：按三级指标统计同类缺陷的残留率，残留率降到该指标合格阈值以下且连续两次复测不再新增同类缺陷，即判定该类缺陷闭环；对高风险类缺陷按第 2.1 节的抽样复查口径判定。这样表述的原因是数据集在服务期内持续有增量进来，用"永不出现"作为判据无法在时间上收口，而"残留率低于阈值且连续两次复测不新增"是可核对、可签字的。

图 S3-2　缺陷整改复测闭环的流转与责任边界

图 S3-2　缺陷整改复测闭环。数据来源：招标文件 3.2.8.1 第 3 项（b1888、b1889）与 3.2.8.2.4 第 4 阶段（b2131—b2137）。

2.4 第四项　标准化成果交付与合规验收目标

招标文件要求归集可存档、可溯源的评测原始过程资料与正式盖章评测报告，形成完整的数据质量档案，交付材料可直接支撑行业高质量数据集达标验收、企业数据资产备案、上级数字化专项审计、内部合规检查四类用途；并依托评测成果持续优化集团数据集管理规范（b1890、b1891）。

四类用途对材料的要求并不相同，我方按用途反推档案的组织方式，而不是把全部材料堆成一个压缩包交付。

达标验收关心的是指标逐项有无结论、结论是否可追到检测记录。资产备案关心的是数据集的来源合法性、权属与使用许可、规模与版本。专项审计关心的是过程是否留痕、是否存在选择性检测、样本抽取是否可复现。内部合规检查关心的是安全与隐私类指标的检测覆盖与处置记录。

因此质量档案按五个分册组织：指标结论册、过程记录册、权属与合规册、模型实验册、整改闭环册。每一册的具体内容、份数与载体形式见第 8 章。四类用途各自对应的调阅清单一并在该章列表给出，使甲方在接受审计或办理备案时可以直接按清单抽取，不必重新梳理。

关于"持续优化集团数据集管理规范"这一条，我方的做法是在每一轮集中复测之后出具一份《数据集管理规范修订建议》，内容限定在本轮评测实际暴露的问题上：哪一类缺陷反复出现、对应的现行规范条款是哪一条、建议如何修改、修改后如何在下一轮评测中验证。建议稿交甲方数据管理部门决策，我方不代行规范发布。这是责任边界，写明于此以免执行期产生歧义。

2.5 四项目标到指标、方法与交付物的对应

四项目标各自成立，并不等于它们合起来覆盖了招标文件要求的工作范围，也不等于每一项目标都有对应的检测手段与可点验的成果。把目标、指标维度、评测方法、交付物并列对照，正是为了检验这三层对应关系有无断点：有目标而无承接指标，意味着该目标无法量化；有指标而无对应方法，意味着指标无法落地；有方法而无交付物，意味着工作结果无法点验。

表 S3-3 横向逐行追踪一项目标的落地链条，纵向则可核对四项目标在指标维度上有无重复或遗漏——说明文档 21 项与数据质量 45 项归第一项目标，模型应用 15 项归第二项目标，第三项目标承接三维度全部指标的缺陷侧，第四项目标承接三维度结论的归集与出证，81 项指标各有归属且不重复承接。「单元」一栏给出每一行在招标文件中的出处，使这一对应关系可以逐行回溯原文核对。

表 S3-3　评测目标与指标、方法、交付物的对应关系

本章四项目标共同构成招标文件 3.2.8.1 节要求的"首轮全量评测 ＋ 缺陷整改复测"工作范围（b1883）。首轮评测的对象是四大数据集封版后的完整版本，复测的对象是甲方修正后的版本与服务期内的增量批次，两者适用同一套指标与同一套判据。

3、评测依据（综合评分表第 3 项所称「测评依据」）

招标文件规定本次数据集质量评测的全部工作须遵循国家法律法规、人工智能与数据领域行业专项规范、采购人内部数据管理相关制度构成的四层依据开展，所有评测指标、检测流程、风险判定规则与报告结论均不得与所列文件要求冲突（b1894）。

3.1 四层依据体系的构成与各层作用

四层依据不是并列的参考文献清单，它们在本方案中承担不同的功能。

第一层国家法律法规划定不可逾越的红线，决定哪些检测必须做、哪些数据不得外流、哪些内容必须清除。它对评测方案的约束是否决性的：任一检测流程若与法律要求冲突，该流程不成立。

第二层行业专项评测规范提供指标体系的骨架与打分方法，决定指标怎么分层、缺陷怎么分级、模型验证怎么组织。它对评测方案的约束是结构性的。

第三层煤炭装备行业专属补充依据提供判定标准的行业取值，决定井下场景的文本、图像、音视频数据在专业性与保密性上按什么尺度判定。它对评测方案的约束是参数性的。

第四层采购人内部数据管理相关制度提供企业自身的口径与流程衔接，决定数据分级分类按谁的目录执行、密级如何认定、报告格式与归档要求如何对接企业档案管理。它对评测方案的约束是适配性的。

四层之间出现不一致时，按法律法规优先、行业规范次之、行业补充依据与采购人内部制度就具体条款择严执行的顺序处理。处理过程不由评测人员自行判断：出现不一致时提交评测方案评审会，由甲方数据管理部门与我方技术统筹共同裁定，裁定结论记入《评测口径裁定记录》，作为后续复测的依据。

图 S3-3　四层评测依据对三维度指标体系的约束关系

图 S3-3　四层依据对指标体系的约束关系。数据来源：招标文件 3.2.8.2.1 节（b1894—b1909）与 3.2.8.2.2 节指标分组（b1912—b2098）。

3.2 第一层　国家法律法规

招标文件列明五部法律法规作为第一层依据：《中华人民共和国数据安全法》（b1896）、《中华人民共和国个人信息保护法》（b1897）、《中华人民共和国网络安全法》（b1898）、《生成式人工智能服务管理暂行办法》（b1899）、《关键信息基础设施安全保护条例》（b1900）。招标文件同时提出落地要求：隐私脱敏、版权溯源、涉密数据筛查、内容安全检测、数据本地离线管控五类流程必须完全匹配上述法律要求（b1901）。

把法律条文落到评测动作上，关键是不把"合规"写成一句态度。我方对五部法律逐部给出它在本次评测中约束的具体动作、对应的三级指标与留存的证据，见表 S3-4。

表 S3-4　第一层法律法规到评测动作的对照

五类落地流程中，版权溯源一项在煤机数据集上有其特殊性，值得单独说明。四大数据集的来源包含三类：甲方自有的业务系统数据与图纸工艺资料、公开渠道获取的行业标准与技术文献、经甲方授权使用的第三方资料（如配套厂家提供的接口参数）。第一类权属清晰；第二类须核验原始出处与许可条款，判断是否允许用于模型训练；第三类须核验授权书的覆盖范围是否包含"用于人工智能训练"这一用途。

评测在内容原创性 2.10 与使用许可 1.4.1 两项指标上分别检查来源登记与许可声明，对许可条款不明的样本列入待确认清单，由甲方法务确认后再决定是否计入数据集规模。这一条不是程序性的客套，它直接影响数据集能否通过资产备案。

数据本地离线管控的具体技术安排见第 7.2 节。此处只说明一条判定口径：我方在评测准备阶段完成网络隔离的实测验证，验证方式是在评测环境内尝试访问外部地址并记录结果，验证记录由甲方信息部门会签。未完成验证的环境不开始评测作业（b2113）。

3.3 第二层　行业专项评测规范

招标文件列明两项行业专项评测规范（b1902）：《高质量数据集质量评测规范》（TC609-5-2025-04）（b1903）与《关于推进行业高质量数据集建设行动的实施方案》（b1904），并要求严格按该规范搭建"说明文档＋数据质量＋模型应用"三维度指标体系，打分规则、缺陷分级、模型实战验证流程均以此为基础，结合煤机业务场景做定制化适配（b1905）。

我方对这一层依据的使用方式是"骨架照搬、取值定制"。

骨架照搬指的是三件事：维度划分照搬为说明文档、数据质量、模型应用三个一级维度，不增删；二级与三级指标的名称与定义照搬招标文件 3.2.8.2.2 节列明的 81 项，不改名、不合并；打分采用规范的分档计分方式，缺陷分级采用高、中、低三级。照搬的理由很直接：评测报告要用于行业高质量数据集达标验收（b1891），指标名称与规范一致才能被对口机构直接采信，自行改名会在验收环节产生解释成本。

取值定制指的是每一项指标的合格阈值、抽样比例、判定细则结合煤机业务确定。规范给出的是通用取值，用在矿山装备数据上会出现两类偏差。一类是偏严：例如文本困惑度（b2001）在通用语料上有常见的参考区间，而工艺卡片、材料定额、工序说明这类文本本身句式短、术语密、数字多，困惑度天然高于自然语言文本，若按通用区间判定会把大量合格样本判为不合格。

另一类是偏松：例如图像清晰度（b2021）在通用图像数据集上只要无明显模糊即可，而用于备料工艺的 DWG 图纸转出图像必须能分辨出粗糙度符号与尺寸公差标注，分辨不出即不可用，判定尺度须比通用标准严。两类偏差都在定制评测方案设计阶段逐项校正，校正依据与校正后的取值写入指标打分表并经甲方审核（b2118）。

《关于推进行业高质量数据集建设行动的实施方案》的作用主要在两处：一是数据集的分类与命名口径，使四大数据集的命名、规模统计方式与行业口径一致，便于后续纳入行业数据集目录；二是建设成效的度量方向，即数据集应当支撑行业模型训练与场景落地，而非只追求体量。这两点落到评测上，分别对应规模完整性 3.3.1（b2077）与业务相关性 3.5 的三项指标（b2083—b2088）。

表 S3-5　第二层行业规范的照搬项与定制项

3.4 第三层　煤炭装备行业专属补充依据

招标文件在煤炭装备行业专属补充依据项下（b1906）列明《煤矿智能化建设指南》（b1907）与煤机装备行业技术数据、设备参数保密管理相关行业指引（b1908），并要求针对煤矿井下场景的文本、图像、音视频数据集评测设计适配行业的判定标准（b1909）。

这一层依据回答的是"什么叫专业"和"什么不能出域"两个问题。

什么叫专业。 《煤矿智能化建设指南》提供的是智能化建设的技术方向与分级要求，用在评测上主要作为领域专业性 2.11.1（b2059）与行业符合度 3.5.1（b2083）的判定参照。

我方把这两项指标的判定具体化为三条可检项：术语是否使用行业规范名称（如"刮板输送机"而非"刮板机"、"液压支架"而非"支架"、工作面类型按超长、常规、大采高、薄煤层分类）；参数是否落在行业合理区间（如链环直径、槽宽档位、装机功率的取值须落在在产型谱范围内）；工艺表述是否与作业指导书一致（如备料工序名称必须取自工艺部门确认的正式工序字典，字典外的工序名一律判为不合格）。三条可检项由行业专家在人工复核环节逐项核查，核查结论附具体样本编号。

什么不能出域。 保密管理行业指引的作用是划定涉密判定的尺度。矿山装备数据中有几类内容需要特别注意：矿方的地质条件报告与煤质参数、工作面具体位置与产能数据属于矿方的敏感信息；装备的关键结构设计参数、材料配方与热处理工艺曲线属于甲方的技术秘密；配套厂家在会商中提供的接口参数可能受第三方保密约定约束。

评测在涉密数据筛查环节对这三类内容分别建立识别规则，规则由甲方保密管理部门确认后生效。筛查命中的样本不在评测报告中引用原文，只给出样本编号与命中规则编号，原文留在甲方内网的评测工作区。

井下场景的多模态判定标准。 井下与车间现场的图像、音视频数据有其固有特点，通用判定标准需要调整。表 S3-6 列出主要的调整项。

表 S3-6　井下与车间现场多模态数据的判定标准调整

表 S3-6 中的调整均属判定尺度的行业适配，指标名称与定义不变（b1909）。

3.5 第四层　采购人内部数据管理相关制度

招标文件在 b1894 把采购人内部数据管理相关制度列为四层依据之一，但未在 b1895—b1909 中逐项列出具体文件。我方的处置办法是在评测准备阶段完成这一层依据的清点，具体做法分三步。

第一步，向甲方数据管理部门索取现行有效的内部制度清单，范围包括数据分级分类目录、保密管理规定、档案管理办法、信息系统数据访问管理规定、以及本项目蓝图设计阶段形成的数据管理要求。索取清单的格式由我方提供，逐份登记文件名、版本号、生效日期、责任部门。

第二步，逐份判断该制度对评测的影响落在哪一类：影响数据分级与出域范围的，落到第 7.2 节的环境与介质管控；影响指标判定口径的，落到对应三级指标的判定细则；影响报告格式与归档的，落到第 8 章的档案组织；与评测无关的，登记备案不再引用。

第三步，把清点结果与影响判断汇成《采购人内部制度适用性清单》，作为定制评测方案的附件提交甲方审核（b2118、b2122）。本节在投标阶段只能给出清点方法与登记格式，具体文件名与条款号须在准备阶段取得甲方制度文本后填入，稿件中标注为【待填：甲方现行数据管理制度清单及版本号】。

3.6 依据的变更跟踪

建设周期至 2028 年 5 月，期间法律法规与行业规范可能换版。我方建立依据变更跟踪机制，内容为三项：每季度核查四层依据各文件的现行有效版本，核查结果记入《评测依据版本台账》；发生换版时评估对指标口径与阈值的影响，形成影响评估单；影响评估结论须经甲方确认后方可调整指标打分表，调整前后的版本在质量档案中并存，使历史评测结论仍可按当时的依据版本解释。

这一机制的意义在验收环节会体现出来：若首轮评测依据的某项规范在最终验收前换版，有台账与影响评估单在，可以说明历史结论的有效性，不必重做全部评测。

4、评测指标体系

招标文件依据《高质量数据集质量评测规范》（TC609-5-2025-04）搭建由说明文档、数据质量、模型应用构成的三维度评测指标体系，并明确三个维度各自的作用：说明文档指标核查数据集配套资料的完整性、准确性与清晰度，使使用者能够无歧义地解读与运用数据集；数据质量指标量化数据集的各项质量特征，校验数据能否达到人工智能模型研发与训练的基本要求；模型应用维度立足模型实战训练场景，研判数据集的落地适配能力与应用价值。招标文件同时要求第三方评测机构结合项目业务场景对各分项指标做灵活适配与调整（b1911）。

4.1 指标体系的总体设计

4.1.1 层级与计数

招标文件列明的指标体系为三层结构：一级为三个维度，二级为 22 个指标组，三级为 81 个可检指标。计数明细见表 S3-7。

逐项核对指标的数量看似琐碎，却是本章其余部分得以成立的前提：三级指标的项数若与招标文件不一致，其后的打分表登记、权重聚合与合格线判定都会落空，而这类偏差在综合总分算出之前不易察觉。表 S3-7 的列设计即为此服务——「三级指标数」一栏是计数本身，「招标文件单元范围」一栏是该计数的出处，两栏并置使每一个数字都能回溯到招标文件的具体条款，不依赖转述。

阅读时按维度看小计行：说明文档 4 组 21 项、数据质量 11 组 45 项、模型应用 7 组 15 项，三者相加为 22 组 81 项，与招标文件 b1912—b2098 的指标条款范围逐条对应。数据质量维度之所以项数最多，是因为内容干净性一组单独展开为 21 项，这与矿山装备制造数据来源庞杂、噪声形态多样的实际相称。这张表支撑的是后文《指标打分表》的完备性承诺：打分表逐项登记的对象即是这 81 项，不增不减；确需按数据集特性裁剪的，按第 4.1.3 节的规则标注适用性并在得分聚合中剔除，裁剪记录随质量档案留存。

表 S3-7　三维度指标体系的层级与计数

4.1.2 每项三级指标的登记要素

指标体系的可实施性不取决于指标列得全不全，而取决于每一项指标是否写清了怎么测、测到什么算合格、不合格算几级。我方为 81 项三级指标逐项登记七个要素，构成《指标打分表》：

指标编号与名称，与招标文件原文一致，不改名；检测对象，即该指标作用于说明文档、数据文件、标注文件、元数据中的哪一类；检测手段，分自动化检测、人工复核、模型实验三类，允许一项指标同时指派两类手段；判定口径与合格阈值，写明计算公式或判定规则及合格线取值；缺陷等级，高、中、低三级之一，部分指标按命中内容的性质动态定级；证据留存方式，写明检测日志、样本清单、复核记录中哪一类作为该指标的证据；适用性条件，写明该指标在何种模态或何种数据集类型下不适用。

《指标打分表》是本节在实施期的核心工作底稿，其空表模板随投标文件以附录形式提供（见附录佐证卷 A2 节），取值在定制评测方案设计阶段填定并经甲方审核（b2118、b2122）。

4.1.3 四大数据集的适用性裁剪

本项目的四大数据集在模态构成上不同，指标适用范围因此不同。预训练数据集 615 亿 Token 以文本为主，兼有图纸转出图像与少量音视频；指令微调数据集 89 万条为结构化的指令—响应对；强化学习偏好数据 6.6 万组为同一指令下的多响应排序对；基准测试数据集 0.95 万条为带标准答案的评测题目。适用性裁剪的结果见表 S3-8。

表 S3-8　四大数据集的指标适用性裁剪

裁剪的原则是：不适用项须有明确理由并在报告中列明，不得以"不适用"回避应检项。裁剪清单经甲方审核确认后固定，后续复测沿用同一份裁剪清单，避免不同轮次之间分母变动导致得分不可比。

图 S3-4　三维度指标体系的层级结构与得分聚合路径

图 S3-4　指标层级与得分聚合路径。数据来源：招标文件 3.2.8.2.2 节指标分组（b1912—b2098）、3.2.8.2.3 节加权计分要求（b2106）、3.2.8.2.4 节整体验收硬性标准（b2143—b2147）。权重建议值为我方提出，招标文件 b2106 表述为"按招标文件约定权重"但未列明具体取值。

4.2 维度一　说明文档指标（21 项）

说明文档维度核查的对象不是数据本身，而是随数据集交付的配套资料。这一维度在矿山装备数据集上的实际意义比通用场景更大：接手这批数据集的人可能是甲方的工艺工程师、也可能是三年后负责模型迭代的技术人员，如果说明文档不交代清楚备料工序字典取自哪一版、图纸转出图像的分辨率设定是多少、工艺卡片与图纸的配对关系按什么键建立，数据集的可复用性会在人员变动后迅速衰减。

本维度 21 项指标以人工复核为主要手段，自动化检测承担元数据字段齐备性的机械校验。复核采用双人独立打分、分差超过一档时由第三人仲裁的方式，复核记录随报告归档。

4.2.1 基本信息完整性（1.1，6 项）

六项指标核查的是"拿到这个数据集，能不能知道它有多大、长什么样、放在哪、出问题找谁、怎么开始用"。

表 S3-9　基本信息完整性指标的检测设计

说明文档的规模声明有一处容易出错，在此点明检测口径。预训练数据集按 Token 计量，Token 数依赖分词器，不同分词器统计结果可相差一成以上。因此说明文档必须写明统计所用的分词器及其版本，评测按同一分词器复算（b1915）。四大数据集的分业务域规模（供需计划、产品工艺设计、制造过程、质量四域）须分别声明，与项目目标层的规模指标对齐。

4.2.2 内容特征完整性（1.2，5 项）

五项指标核查的是"这批数据里有什么、分布怎么样、标签怎么定义、长什么样子、哪里不够用"。其中局限性说明一项在实际交付中最容易被省略，而它恰恰是下游使用者最需要的信息。

表 S3-10　内容特征完整性指标的检测设计

局限性说明的检测方式值得专门交代。我方不是只看文档有没有这一章，而是用自动化统计出的分布偏斜去反查文档有没有如实披露。例如板材备料工艺的指令微调数据集若在 28 道工序上分布不均，某几道工序样本数不足百条，这一事实必须出现在局限性说明中；若文档只写"数据覆盖备料全工序"而统计显示严重偏斜，该项判为不合格并按隐瞒已知偏斜定为高级缺陷（b1936）。这一检测口径对下游模型训练的实际价值最高，因为它决定使用者会不会在不知情的情况下把数据用于它支撑不住的任务。

4.2.3 建设过程完整性（1.3，5 项）

五项指标核查的是数据集的来历是否说得清。对矿山装备数据而言，这一组与内容真实性 2.6 构成互证关系：说明文档声明的数据来源与采集方法，要能被数据中的溯源字段证实。

表 S3-11　建设过程完整性指标的检测设计

标注规范一项的检测方式是本维度中最能区分方案深浅的一处。只看手册有没有写，是走形式；用手册去反测，才能判断手册是否真的无歧义。我方的做法是从数据集中抽取样本，交给未参与原标注工作的复核员，仅凭手册独立重标，再与原标注比对一致率。一致率低说明手册的规则不足以把不同的人引向同一结论，这一结论比"手册共计 48 页"有意义得多（b1945）。一致率的计算按标签类型分别统计，分类标签用简单一致率，序列与区域标签用交并比，排序标注用等级相关系数。该门限的取值来由见第 4.5.4 节表 S3-26A，样本量口径、判定频次与未达标处置见同节表 S3-26B。

4.2.4 应用说明完整性（1.4，5 项）

五项指标核查的是数据集能不能被正确地用起来。招标文件的 1.4.4 基准测试结果（b1955、b1956）与 1.4.5 典型应用案例（b1957、b1958）两项定义文字高度相似，均指向"可复现的应用案例或基线模型实现参考"。我方按两项分别检测并区分侧重：1.4.4 侧重指标与数值，即在该数据集上的基线性能数字；1.4.5 侧重代码与流程，即跑通这件事的完整示例。两项分别出具结论，这一区分口径在定制评测方案设计阶段提请甲方确认。

表 S3-12　应用说明完整性指标的检测设计

4.3 维度二　数据质量指标（45 项）

这一维度量化数据集本身的质量特征，检验数据能否达到模型研发与训练的基本要求。45 项指标中以自动化检测为主要手段的有 34 项，须叠加人工复核的有 11 项，权重在三个维度中最高（建议 50%），原因是这一维度直接决定数据能不能用，而且其中安全与隐私两组带一票否决效力。

4.3.1 结构完整性（2.1，4 项）

四项指标是全部检测的起点：文件打不开、记录整行空缺、多模态样本缺一个模态，后续任何指标都无从检测。因此这一组在实施过程中安排在最前，作为数据集接入时的初校验（b2114）。

表 S3-13　结构完整性指标的检测设计

时序数据的记录完整性有一处需要按行业特点处理。井下测点在传感器损坏后往往不予补装，远程运维平台的数据流会出现长时段的连续空缺。若按通用缺失率一刀切，整个数据集会被这几路失效通道拉低。我方的处理是把连续缺失与零星缺失分开统计：连续缺失指向采集侧的物理问题，判为高级缺陷并要求在数据卡中声明该通道的有效时间区间；零星缺失指向通信抖动，按插值后是否可用判定，不影响整体合格判断（b1968）。本组三项占比门限（文件损坏、模态齐备、整条空记录）均为我方在招标文件留白处设立的量值，其取值来由见第 4.5.4 节表 S3-26A，全量校验的频次、公式与未达标处置见同节表 S3-26B。

4.3.2 安全规范性（2.2，8 项）

八项指标对应八类内容风险：暴恐（b1970、b1971）、毒品药品（b1972、b1973）、低俗辱骂（b1974、b1975）、血腥（b1976、b1977）、赌博（b1978、b1979）、色情（b1980、b1981）、涉政（b1982、b1983）、歧视偏见（b1984、b1985）。

这一组在矿山装备数据上的风险来源与通用语料不同，检测设计要针对真实的来源通道，否则会出现"检了一遍什么都没查到"的虚假安全结论。实际风险主要来自三处：一是从公开渠道采集的行业文献与网页资料，可能夹带无关内容；二是现场作业录音与协同办公文档中的口语化表述，可能包含低俗辱骂类内容；三是涉及矿难、事故案例的技术资料，在描述事故后果时可能触及血腥类判定。三处来源的检测侧重各不相同。

表 S3-14　安全规范性指标的检测设计

八项指标统一按"规则库 ＋ 模型 ＋ 人工"三重叠加执行，三者的分工是：规则库负责召回明确词形，模型负责召回语义变形与图像内容，人工负责判定与去误判。对自动化检出的高风险样本，人工复核的覆盖是全部（b2127）；对自动化未检出的部分，按分层抽样做人工抽查，抽查比例按置信水平设计，见第 5.5 节。

误判控制是这一组的实际难点，也是方案可行性的关键。工业数据中"毒性""爆破""冲击""失效"一类词在技术语境下是正常术语，若不处理会产生大量误报，淹没真实风险。我方的处置是建立工业术语白名单与上下文规则：白名单词在技术语境（同句存在工艺、参数、设备类词汇）中不计命中，在非技术语境中仍计命中并转人工。白名单初始版本由行业专家编制，在首轮评测中按误判记录迭代，迭代过程与版本在质量档案中留存。

4.3.3 格式规范性、标注规范性与类型一致性（2.3—2.5，3 项）

三项指标各含一个三级指标，分别核查字段取值格式（b1987、b1988）、标注是否符合预定规范与规范化流程（b1990、b1991）、数据内容与其宣称的目标应用场景在类型风格专业性上是否匹配（b1993、b1994）。

表 S3-15　格式规范性、标注规范性与类型一致性指标的检测设计

标注规范性与说明文档维度的 1.3.4 标注规范是两件事，容易混淆，在此区分：1.3.4 检的是手册写得够不够清楚（文档侧），2.4.1 检的是实际标注做得合不合规（数据侧）。两项结论可能分离——手册完备而执行走偏，或手册粗糙而执行尚可。两项分别出结论，并在报告中给出交叉分析：若 1.3.4 合格而 2.4.1 不合格，缺陷成因归入标注环节的执行问题；若两项均不合格，成因归入标注规范本身的设计问题。成因不同，整改路径也不同。类型一致性的无关样本占比门限由我方设立，取值来由见第 4.5.4 节表 S3-26A，抽样口径、判定频次与未达标处置见同节表 S3-26B。

4.3.4 内容真实性（2.6，2 项）

两项指标分别为内容可追溯（b1996、b1997）与内容准确性（b1998、b1999）。招标文件对内容可追溯的定义相当具体：非合成数据能追溯到采集源头并与源头保持一致、不存在未经说明的篡改；合成数据能追溯到生成算法和过程，且符合目标场景真实数据的分布规律。

这一组是本项目数据集的核心风险区，原因在本节第 1.1 节已说明——数据与物理对象的对应关系尚未建立。因此我方把可追溯一项的检测做得比通用做法细，分为四级追溯链校验。

表 S3-16　内容真实性指标的检测设计

合成数据的分布一致性检验需要专门说明，因为本项目会用到合成与增强手段扩充样本（强化学习偏好数据的构造尤其依赖）。检验方式是把合成样本与同业务域的真实样本放在同一特征空间内比较分布：对数值特征用分布距离统计量，对类别特征用频次分布检验，对文本用长度分布与术语频次分布。若合成样本在某一特征上明显偏离真实分布，说明生成过程引入了偏差，模型学到的会是生成器的习惯而不是业务规律。这一项的判定结论直接影响模型应用维度的实验解释，二者在报告中交叉引用（b1997）。非合成数据回源核对一致率的取值来由见第 4.5.4 节表 S3-26A，分层抽样口径、判定频次与未达标处置见同节表 S3-26B。

4.3.5 内容干净性（2.7，21 项）

本组是整个指标体系中项数最多的一组，21 项按模态分为四类：文本类 7 项、图像类 4 项、音频类 4 项、视频类 6 项。本组以自动化检测为主，判定阈值按模态与用途分档设定。

文本类 7 项。

表 S3-17　内容干净性文本类指标的检测设计

文本困惑度分档的必要性在第 3.3 节已提到，这里给出具体做法。工艺卡片一类文本的典型形态是"工序号＋工序名称＋设备编码＋工装号＋定额工时"的字段串联，在语言模型看来可预测性很低，困惑度会显著高于技术文献。若用同一区间判定，这类样本会被大量判为低质量，而它们恰恰是本项目最有价值的样本。因此我方按叙述型与结构型两类分设区间，分类依据是样本的字段结构化程度，由自动化规则判定并抽样人工确认（b2002）。

跨数据集重复一项带否决效力，这一点需要强调。基准测试数据集 0.95 万条的作用是作为评测标尺，若其中的题目同时出现在预训练语料或指令微调数据中，模型在评测时就是在回忆而不是推理，评测结果系统性偏高，整个模型应用维度的结论都不成立。因此我方对基准测试数据集与其余三类数据集做全量交叉去重检测，检测方式为精确匹配加近似匹配双通道，任一例跨集重复即判高级缺陷并要求从训练侧移除（b2006）。

这一判定与工具链侧的污染扫描是同一道防线的两端，不是两套标准：工具链在样本入集前按 n-gram 重合度做污染风险分档并对高档批次阻断发布，属加工过程内部的前置拦截；本节的跨集重复检测在评测时执行，是对拦截结果的外部核验。两者的判定对象（批次与数据集版本）、执行时点（入集前与评测时）与效力（阻断发布与否决认定）各不相同，结论不互相替代：工具链已拦截不免除本节检测，本节检出亦须回溯到工具链侧补扫描规则。

图像类 4 项。 图像数据在本项目有两个主要来源：图纸转出图像与现场拍摄图像，两者的判定尺度不同，已在表 S3-6 中说明。

表 S3-18　内容干净性图像类指标的检测设计

音频类 4 项。 本项目的音频来源主要是现场作业语音、设备运行声音与会议录音三类，其中设备运行声音用于健康诊断场景的声学特征，与语音类的判定要求不同。

表 S3-19　内容干净性音频类指标的检测设计

设备运行声音的采样率下限按采样定理从诊断需求反推，这一点与通用音频数据集的处理不同。刮板输送机减速器与链轮轴组的故障特征频率落在特定频段，若采样率不足会把这些特征折叠掉，样本看上去正常而特征已经丢失。因此这一项在诊断类音频上判为高级缺陷，不合格样本须重采（b2026）。

视频类 6 项。 视频数据主要来自焊接与热处理过程记录、现场作业记录两类。

表 S3-20　内容干净性视频类指标的检测设计

焊接过程视频的动态范围是一个真实的技术难点，值得在方案中写明而不是回避。电弧亮度与周边母材亮度相差数个数量级，普通相机在同一帧内无法兼顾，要么弧光区过曝、要么母材区欠曝。评测在这一项上的判定口径是看目标区域是否可辨而不是看动态范围的绝对数值：若样本的观测目的是熔池形貌，弧光区可辨即合格；若观测目的是焊缝外观，母材区可辨即合格。观测目的随样本登记在数据卡中，这一条同时反查说明文档维度的 1.2.5 局限性说明是否披露了该限制（b2042）。

4.3.6 内容一致性（2.8，3 项）

三项指标为概念一致性（b2044、b2045）、语义一致性（b2046、b2047）、格式一致性（b2048、b2049）。这一组在矿山装备数据上尤其重要，因为同一物理对象在不同系统里叫不同名字是本项目最根本的数据问题之一。

表 S3-21　内容一致性指标的检测设计

语义一致性中的跨模态检查是本组技术含量最高的一项。做法是分三类：有确定性规则的用规则（如工序号与工序名称的对应关系、材料牌号与许可热处理工艺的对应关系），用规则直接判定；无确定性规则但有强相关的用模型辅助（如图纸图像与其工艺卡文本的描述是否指向同一零件），由模型给出相似度并对低分样本转人工；完全依赖专业判断的直接人工复核（如焊缝影像与其质检结论的缺陷类型是否相符）。三类的样本占比与判定结论分别统计，报告中给出分类统计表，使甲方知道有多少结论来自规则、多少来自模型、多少来自人工（b2047）。

4.3.7 隐私规范性、内容原创性与领域专业性（2.9—2.11，4 项）

隐私规范性含 1 项（b2051、b2052），内容原创性含 2 项（b2054—b2057），领域专业性含 1 项（b2059、b2060）。

表 S3-22　隐私规范性、内容原创性与领域专业性指标的检测设计

来源原创性一项对本项目有特殊意义。四大数据集的价值主要来自甲方自有的一手数据——63 万张历史图纸及其配套工艺卡片、十年以上的生产业务数据、过程参数长期留存记录、在役装备的测点时序数据。这些是公开渠道无法获得的，也是数据集能够支撑行业模型的根本原因。评测在这一项上不只核验声明是否准确，还按业务域给出一手数据占比的统计，这组数字可以直接用于数据资产备案材料（b2057）。

领域专业性的复核方式需要说明人员条件。这一项由具备矿山装备制造背景的行业专家执行，专家须熟悉刮板输送机的结构与型谱、备料与焊接工艺、热处理工艺与检验标准。专家资质要求与人员配置见第 7.1 节，专家名单在实施期提交甲方确认，稿件中标注为【待填：行业专家名单与资质材料】。

4.4 维度三　模型应用指标（15 项）

这一维度立足模型实战训练场景，研判数据集的落地适配能力与应用价值。与前两个维度的差别是：说明文档与数据质量两个维度看的是数据本身，模型应用维度必须把数据送进模型跑一遍才有结论。这也是本方案把它单独作为一条实施主线（动态验证）的原因。

4.4.1 模型适配性（3.1，4 项）

四项指标分别对应文本类（b2063、b2064）、场景类（b2065、b2066）、语音类（b2067、b2068）、视频类（b2069、b2070）四种数据集的微调对照验证。招标文件对每一类都指定了基准模型与微调方式，并明确"如项目产生"，即该类数据集存在时方做该项实验。

四类实验的设计思路、提升阈值建议与阈值未达成的处置已在第 2.2 节表 S3-2 列出，本节补充实验的执行细节与判定口径。

表 S3-23　四类模型适配性实验的执行设计

四项实验共用一套可复现性要求与一套泄漏防护要求，分别在第 5.3 节与下图说明。基准模型的版本可得性风险与替代方案已在第 2.2 节说明，语音类关键词召回率基线的取值来由、判定办法与改进目标同见该节。

图 S3-5　模型应用验证的数据划分与泄漏防护

图 S3-5　模型应用验证的数据划分与泄漏防护。数据来源：招标文件 3.1 模型适配性四项（b2063—b2070）与 3.2.8.1 第 2 项（b1887）。

泄漏防护中的"同源检查"一项是本项目必须做实的环节。矿山装备数据有大量同源样本：同一张图纸可能在不同批次中被多次转出，同一炉次的工件会产生多条记录，同一焊道的多层多道会产生多条参数片段。若按样本随机切分，同一物理对象的样本会同时落入训练与测试两侧，模型在测试时实际上见过这个对象，指标会虚高。因此切分键必须是业务对象标识而不是样本标识。这一条看起来是技术细节，但它决定了全部实验结论是否可信。

4.4.2 内容多样性、规模完整性与标注准确性（3.2—3.4，4 项）

表 S3-24　内容多样性、规模完整性与标注准确性指标的检测设计

规模完整性一项的检测需要区分两件事：规模够不够，和规模是不是真的。前者按目标值比对，后者要核查统计口径。本项目的规模统计有三处容易出偏差：预训练数据集的 Token 数依赖分词器，须按说明文档声明的分词器复算；指令微调数据集的条数要区分原始条与增强后条，增强产生的条目须单独统计并标注；强化学习偏好数据的组数要核查每组内的响应数是否达到排序所需的最小数量，不足的组不计入。三处的复算结果与声明值的偏差均须在报告中列出（b2078）。

4.4.3 业务相关性、内容均衡性与时间跨度覆盖度（3.5—3.7，7 项）

业务相关性含行业符合度（b2083、b2084）、信息主旨度（b2085、b2086）、领域相关性（b2087、b2088）三项；内容均衡性含特征均衡性（b2090、b2091）、来源均衡性（b2092、b2093）、场景均衡性（b2094、b2095）三项；时间跨度覆盖度含一项（b2097、b2098）。

表 S3-25　业务相关性、内容均衡性与时间跨度覆盖度指标的检测设计

来源均衡性的定义在招标文件原文中表述为"不同类别标签的样本数量分布是否均衡"（b2093），与指标名称所指的"来源"不完全一致。我方的处理是按两个角度都统计：既按标签类别统计分布均衡度，也按数据来源统计贡献度，两项结论合并出具。这样既回应了原文定义，也补上了指标名称所指的来源维度。该处口径在定制评测方案设计阶段提请甲方确认。

均衡性这一组的判定口径有一点需要在方案中说清：数据不均衡本身不一定是缺陷。按订单设计的产品组织方式决定了某些工作面类型、某些材料牌号天然就少，强行拉平反而会让数据偏离真实分布。因此我方的判定逻辑是两层：不均衡度在可接受范围内即合格；超出范围的，若在局限性说明中如实披露并评估了对训练的影响，判为合格但记录观察项；超出范围且未披露的，判为缺陷。这样处理的理由是均衡性的实际危害在于使用者不知情而不在于分布本身（b2091）。

4.5 打分模型与综合判定

4.5.1 三级指标的计分方式

81 项三级指标按其判定性质分三种计分方式。

比率型指标按实测比率与合格阈值的关系分档计分。设实测值为 v、合格阈值为 t，达到或优于阈值得满分；未达阈值的按与阈值的距离线性折减，折减到零为止。字段完整性、重复内容程度、格式合规率一类指标属此型。

存在型指标按是否存在该项内容计分，有且合格得满分，有而不完整按完整度折减，无则零分。说明文档维度的多数指标属此型。

风险型指标按检出风险内容的数量与等级计分，无检出得满分，检出高风险内容直接零分并触发否决，检出中低风险内容按数量分档折减。安全规范性八项与隐私规范性一项属此型。

提升型指标按性能提升幅度与阈值的关系分档计分，达到阈值得满分，超出阈值按超出幅度加档（上限为满分），未达阈值按比例折减。模型适配性四项属此型。

每一项三级指标在《指标打分表》中登记其计分类型与分档参数，参数在定制评测方案设计阶段确定并经甲方审核（b2118、b2121）。

4.5.2 聚合与权重

二级指标组得分按组内三级指标的项数均权聚合，一级维度得分按维度内各二级组的项数加权聚合，综合总分按三维度权重加权。

招标文件 b2106 要求"按招标文件约定权重计算数据集综合总分"，但招标文件正文未列明三维度的具体权重取值。我方按三个维度在数据集可用性上的决定作用提出建议权重：说明文档 20%、数据质量 50%、模型应用 30%。建议理由是：数据质量决定数据能不能用，权重最高；模型应用决定数据有多大用，权重次之；说明文档决定数据好不好用，权重最低但不可缺。该权重取值在定制评测方案设计阶段提请甲方确认，最终以技术协议与蓝图设计的约定为准（b2118）。

4.5.3 合格线与否决项

合格线要回答的是：得分到了多少才算这批数据可以交付使用。单设一条综合总分线并不足够，因为加权聚合会掩盖单一维度的塌陷——三个维度中若有一个远低于其余两个，综合总分仍可能越过 85 分，而数据集在该维度上的缺陷已足以使其不可用。合格判定因此采用双重约束：综合总分 ≥85 分取自招标文件的明确要求（b1885、b2145），各维度 ≥80 分是为防止维度之间互相填补而设的下限，内控目标 88 分则为复核误差与增量批次的得分波动留出余量。

表 S3-26 的「依据」一栏区分了哪些取值来自招标文件、哪些属我方建议，凡属建议的在第二阶段提请甲方确认后执行；「未达时的处置」一栏给出每一种不达标情形的后续动作，使未达标不等于交付中止，而是进入整改、重核与重算的既定流程。否决项各行与合格线各行的差别在于前者不设折减空间，命中即不予认定，需清除后重测该组全部指标。

表 S3-26　合格线与否决项设置

三个否决项的设置理由各不相同。安全与隐私两项是法律要求，不存在折减空间（b1897、b1899）。跨数据集重复一项是评测有效性的前提：若基准测试集被污染，模型应用维度的全部数字都不能作为结论使用。把它设为否决项是为了避免出现一份"各项指标都合格但结论无意义"的报告。

4.5.4 我方自设阈值的取值来由、判定办法与未达标处置

招标文件依据《高质量数据集质量评测规范》（TC609-5-2025-04）列明了 81 项三级指标的名称与定义，但对其中多数指标只给定性描述，未给可判定的量值——「判断文件是否完整，是否有损坏」（b1964）、「衡量每个样本包含其预设应有的全部数据模态的样本比例」（b1966）一类条款说明了测什么，没有说明到什么程度算合格。阈值的取值因此分两类来源，本方案一律按同一条规则处理：招标文件已给定量值的，承诺值即取条款值本身，口径不改写、量值不下调；条款只给定性要求、未给量值的，由我方设立量值并给出设立依据。前一类的典型是综合总分 ≥85 分与各维度合格线（b1885、b2145），已列于表 S3-26；后一类散见于第 4.2 至第 4.4 节各张检测设计表，集中列于表 S3-26A，其判定办法列于表 S3-26B。

一个门限若没有配套的测法，在验收时与没有门限无异：同一句「一致率 ≥90%」，按多大样本量测、多久测一次、比率怎么算，不同的人能得出不同的结论。两张表因此分工，并按指标项同序对齐、一项指标占一行。表 S3-26A 定数，给出该指标在招标文件中的量值状态、我方承诺的首期基线、高级缺陷的分界与服务期内的趋向值，用于技术评审时核对哪些数取自条款、哪些由我方设立；表 S3-26B 定测法，给出判定方法、样本量口径、判定频次、计算公式与未达标处置，用于验收现场逐行走。

趋向值不替代承诺值作为验收判据。承诺值是写入技术协议与验收单的判据，趋向值是服务期内随采集规范、标注手册与检测规则库的迭代而逐步接近的改进目标。两者同列，是为使改进路径与验收判据同时可见，避免首期基线被当作终点；也使下文每一项的处置路径有一个明确的去向——未达基线的整改不是回到原点，而是朝趋向值推进。

表 S3-26A　我方自设阈值的量值状态、承诺基线与趋向值

表 S3-26A　数据来源：量值状态一栏按招标文件对应单元原文判定；承诺值取自第 4.2 至第 4.4 节各检测设计表，与原表逐字一致；趋向值与设立依据为本节承诺值。

表 S3-26A 的「招标文件量值状态」一栏是判据的出处，「承诺值」一栏是验收时比对的那个数，两栏并置即可一眼确认：表中七项没有一项下调了招标文件的量值，它们填的都是条款留白之处。「设立依据」一栏约束的是我方自己——每一个数都要指得回一个具体的工程事实或实测量级，依据站不住的，该改的是取值本身，而不是等验收时再作解释。七项取值在定制评测方案设计阶段随《指标打分表》一并提请甲方确认（b2118、b2122），确认后的取值写入技术协议，技术协议中的取值不低于本表的承诺值。

表 S3-26B　我方自设阈值的判定方法、样本量、频次、公式与未达标处置

表 S3-26B　数据来源：样本量口径取自第 5.5.3 节表 S3-33；判定频次取自第 6.5.4 节与第 6.5.5 节的复测与常态化服务安排；方法、公式与处置路径为本节承诺值。

表 S3-26B 最右一栏是全表中最不可省的一栏。只写到阈值为止，等于只给出了结果合格时的做法，第一次未达标时双方无章可循。七项的处置路径共用同一条结构：先定位到具体成因，再在成因所在的环节整改，整改后重新抽样复测而不以局部复检替代；重测仍未达成的，在报告中单列该项的实测值、成因分析与改进计划，提交甲方评审后随下一轮复测重新验证。单列并非搁置——单列项进入缺陷台账的闭环跟踪，其闭环状态与本节第 2.1 节表 S3-1 的中低风险缺陷整改口径同源。

4.5.5 得分的可复核性

每一项三级指标的得分在报告中附三样东西：实测值、阈值、证据位置（检测日志的记录编号或复核记录的页码）。甲方或审计方按证据位置可以直接调取原始记录复核。这一安排是为了让报告经得起第三方核查，而不是只能被接受或拒绝。

4.6 指标体系的煤机场景定制适配小结

招标文件 b1911 要求第三方评测机构结合项目业务场景对各分项指标做灵活适配与调整。本章的定制适配集中在七处，汇总如表 S3-27，便于甲方在方案审核时逐项核对。

表 S3-27　指标体系的煤机场景定制适配汇总

七处定制均不改动指标名称与定义，只调整判定尺度与执行方式，调整内容逐项写入《指标打分表》并经甲方审核确认（b1905、b1909、b1911、b2118）。

5、评测方法

招标文件规定本次评测依据《高质量数据集质量评测规范》（TC609-5-2025-04）采用"数据质量验证 ＋ 模型应用反馈"的评测方法：数据质量验证融合自动化检测与人工专家复核，从格式规范、逻辑一致性、安全合规等维度完成筛查校验；模型应用反馈依托标准大模型基准环境开展实战化验证，通过模型训练与性能测算量化数据应用效能。

招标文件同时规定，针对涉密工业数据集执行本地离线隔离检测，原始业务数据不得上传公网云端，全流程检测日志、复核记录、模型实验参数完整留存，评测过程可追溯、实验结果可复现（b2100）。

5.1 两条主线与三类手段

本方案把招标文件规定的方法落为两条执行主线与三类检测手段。

两条主线是静态数据内生质量检测与基准模型动态应用验证。两者在评测执行阶段并行推进（b2124），不是先后关系。并行的理由是动态验证的环境部署与基准模型准备需要时间，若等静态检测全部完成再启动，整体周期会被不必要地拉长；同时静态检测中发现的结构性问题（如跨集重复）会直接影响动态验证的有效性，两线并行时可以及早互通。

三类手段是自动化批量检测、行业专家人工分层复核、基准模型实验。三类手段对 81 项三级指标的分工见表 S3-28。一项指标可以由两类手段共同承担，此时两类手段的结论须一致，不一致的转仲裁。

表 S3-28　三类检测手段对三维度指标的分工

5.2 静态数据内生质量检测

招标文件规定静态检测聚焦数据集固有基础质量，围绕保真度、完备性、规整性、均衡性、可用性、可信性六大维度开展核验，用于核查说明文档完整性、数据基础质量、合规隐私、内容干净度等内生属性，分为自动化检测与人工分层复核两类方式。

5.2.1 六大核验维度与三维度指标的映射

招标文件在此处给出的六大维度是核验的视角，与第 4 章的三维度指标体系是两套不同的切分，不是两套指标。我方把六大维度作为检测组织方式使用：同一视角下的指标集中检测，便于复用同一批工具与同一次数据扫描，减少对数据集的重复读取。映射关系见表 S3-29。

表 S3-29　六大核验维度与三级指标的映射

表中项数合计超过 81，原因是部分指标同时属于两个核验视角（如 2.7.11 图像清晰度既关乎可用性也关乎保真度）。重复计入不影响检测执行，因为检测按指标执行、按视角组织，一项指标只检一次、结论在多个视角下引用。

5.2.2 自动化批量检测

招标文件在实施过程中列明自动化批量检测的内容：元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私个人信息、内容安全筛查，输出结构化缺陷清单（b2126）。我方的自动化检测按六个检测通道组织，每个通道对应一组工具与一套规则配置。

元文档与结构通道。 校验数据集的元数据文件完整性、目录树与声明一致性、文件可打开性与哈希、版本指纹可复算。这一通道在数据集接入时先跑一遍，作为初校验（b2114），不通过的数据集不进入后续检测。

字段与格式通道。 按字段配置的正则、值域、量纲规则做全量校验，统计空值与占位符频次，输出字段级合规报表。本通道的规则配置来自数据集的数据字典，若数据字典缺失则本通道无法执行，这一依赖关系在准备阶段即须确认。

重复与相似通道。 对文本做精确哈希与近似相似度双通道去重，对图像与视频做感知哈希与特征相似度，对音频做指纹比对。本通道另承担跨数据集重复检测，即基准测试集与其余三类数据集的交叉比对。

音视频基础质量通道。 批量提取分辨率、帧率、时长、采样率、位深度、比特率等客观参数，计算信噪比、清晰度、动态范围等派生指标，按模态与用途的分档阈值判定。

隐私检测通道。 对文本做命名实体识别与正则匹配，识别姓名、工号、身份证号、手机号、住址、银行账号；对图像做人脸检测；对音频做声纹存在性检测。检出项全部转人工复核，并执行关联复原测试。

内容安全通道。 关键词规则库与分类模型双路并行，覆盖八类风险内容；配置工业术语白名单与上下文规则以控制误判；全量检测，检出项全部转人工复核。

六个通道的输出统一汇入结构化缺陷清单，字段格式见第 2.3 节所列的六个必填字段。检测日志按通道分别留存，日志内容包含检测时间、工具与规则版本、输入文件清单、处理样本数、检出数、异常与跳过记录。日志的完整性是可追溯的基础，也是审计时最先被查的材料。

5.2.3 行业专家人工分层复核

招标文件在实施过程中列明人工复核的范围：逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标，对自动化检出的高危样本全部复核，完成缺陷判定（b2127）。

"分层"是这一环节的关键设计，否则人工复核会变成无法完成的工作量。我方按三层组织。

第一层　全量复核层。 对象是自动化检出的高风险样本，包括安全规范性八项与隐私规范性检出的全部命中样本。这一层不抽样，逐条复核并判定是真命中还是误判。真命中的进缺陷清单，误判的进白名单迭代记录。招标文件要求"对自动化检出高危样本 100% 复核"（b2127），我方的落实方式即这一层，复核覆盖以复核记录条数与自动化命中条数的一致性核对，覆盖率趋向全部，承诺基线为不低于 99.5%，未完成条目在当轮报告中列明并在下一轮补齐。

第二层　专业判断层。 对象是必须靠专业知识判断的指标，包括领域专业性 2.11.1、行业符合度 3.5.1、内容真实性 2.6.2、跨模态语义一致性 2.8.2、标注规范性 2.4.1、标注准确性 3.4.1。这一层按分层随机抽样执行，抽样设计见第 5.5 节。复核由具备矿山装备制造背景的行业专家承担。

第三层　文档评审层。 对象是说明文档维度的 21 项指标。这一层由评测组逐项评审，采用双人独立打分、分差超过一档转第三人仲裁的方式。评审记录逐项留存评分与理由。

表 S3-30　人工分层复核的三层设计

三层之上另设仲裁机制：同一样本在两名复核员之间结论不一致时，提交第三人仲裁；仲裁仍不能决的，提交评测方案评审会裁定，裁定结论记入《评测口径裁定记录》并作为后续同类样本的判定依据。这一机制的实际作用是把判定口径的分歧沉淀下来，避免同一类问题在不同轮次得到不同结论。

图 S3-6　静态检测与动态验证双线并行的数据流与责任边界

图 S3-6　双线并行的数据流与责任边界。数据来源：招标文件 3.2.8.2.3 节（b2100—b2107）与 3.2.8.2.4 节第 3 阶段（b2123—b2130）。原始数据全程不出甲方内网隔离区（b2100、b2113）。

5.3 基准模型动态应用验证

招标文件规定动态验证聚焦数据集落地工业人工智能场景的实际价值，弥补静态检测"只看数据、不看应用"的短板，通过标准化对照实验量化数据集对模型训练效果的提升幅度，验证场景适配、样本均衡、标注质量三个层面的水平。

四类实验的设计已在第 2.2 节与第 4.4.1 节给出。本节补充三件事：可复现性的具体做法、实验环境的资源需求、实验结论的解释口径。

5.3.1 可复现性的三件材料

招标文件要求实验结果可复现（b2100）。可复现不是一句承诺，它要靠交付三件材料实现。

环境镜像清单。 记录操作系统版本、驱动版本、计算框架版本、依赖库版本及其哈希。清单以文件形式交付，甲方按清单可在同一隔离环境内重建环境。

脚本与配置。 训练脚本、评测脚本及其全部配置文件，配置中的超参取值不留默认值而逐项写明。裁判模型的提示词模板与评分规则一并交付，这是裁判评分可复现的前提。

数据划分与随机种子。 训练、验证、测试三部分的样本标识清单，以及训练与评测过程中使用的全部随机种子。

交付这三件材料后，甲方或第三方按材料重跑，主要指标的偏差应落在 ±1.5 个百分点以内。这一数值是我方的可复现判定口径，写进报告并作为验收核查项。超出偏差时按三步排查：先核环境版本，再核数据划分，最后核随机性来源，排查过程与结论记入实验台账。

5.3.2 实验台账

每一次实验在台账中登记十一项：实验编号、实验目的、数据集标识与版本、基准模型与版本、微调方式与超参、数据划分清单标识、评测指标与脚本版本、随机种子、起止时间、执行人、结果摘要。台账是动态验证部分的核心过程资料，归入质量档案的模型实验册。

表 S3-31　四类实验的环境与资源需求口径

实验的具体资源配置须在准备阶段依据甲方内网隔离区的实际可用算力确定，稿件中标注为【待填：甲方内网隔离区可用于评测的算力资源配置】。若可用算力不足以支撑视频类多模态实验，我方的回退路径是降低帧采样密度与片段长度，在报告中说明降低后的配置及其对结论可比性的影响，而不是跳过该项实验。

5.3.3 实验结论的解释口径

实验给出的是性能差量，把差量解释为数据质量结论需要一条明确的口径，否则容易过度解读。我方的解释口径有三条。

其一，差量为正且达到阈值，结论是该数据集对该类任务有可量化的正向作用，作用幅度为实测值。不把它解释为"数据集质量优秀"，因为差量还受基准模型的初始能力影响。

其二，差量为正但未达阈值，结论是数据集有正向作用但不足，须按分组评测结果定位短板。分组评测是定位短板的手段，不是补充说明——哪一个业务域、哪一道工序、哪一类标签的提升明显偏低，短板就在那里。

其三，差量为负或不显著，结论须分三种情形判断：若静态检测显示该数据集存在跨集重复或标注一致性偏低，归因于数据问题；若测试集本身样本量过小导致指标波动大，归因于评测设计问题并补充测试样本重做；若两者皆不成立，则归因于该类数据与该基准模型的任务形态不匹配，须在报告中说明并建议调整基准模型选型。三种情形的区分依据是静态检测结论与多次重跑的标准差，不靠主观判断。

5.4 综合评测判定方法

招标文件规定综合评测判定包含加权计分与问题闭环两部分：加权计分汇总静态自动化量化得分、人工分项打分、动态模型效能得分，按约定权重计算综合总分；问题闭环针对不合格项汇总缺陷、分级输出整改指引，待甲方完成数据优化后复用全套静态与动态评测标准开展复测校验。

加权计分的具体方法已在第 4.5 节给出，此处补充三类得分的汇总关系。静态自动化量化得分来自自动化六通道，覆盖以自动化为主要手段的指标；人工分项打分来自人工三层复核，覆盖须专业判断与文档评审的指标；动态模型效能得分来自四类对照实验，覆盖模型应用维度。三类得分不是三个独立的分数再加权，而是按指标归集：每一项三级指标的得分由其指派的手段给出，若一项指标由两类手段共同承担，取两者结论一致后的得分，不一致则经仲裁后取定值。这样处理的原因是按手段加权会出现同一指标被重复计入的问题。

问题闭环的流程设计已在第 2.3 节与图 S3-2 给出。此处补充一条：复测复用的是"全套静态 ＋ 动态评测标准"（b2107），即同一份《指标打分表》、同一套阈值、同一套抽样设计、同一套实验配置。复测不降低标准，也不新增标准。若因依据换版须调整标准，按第 3.6 节的变更跟踪机制处理，调整前后的版本并存。

表 S3-32　缺陷分级与处置规则

5.5 抽样设计

抽样设计直接决定评测结论的可信度，招标文件在实施过程中要求"依据统一抽样规则，区分高风险全量检测项、普通指标分层抽样方案"（b2114）。本节给出抽样的具体口径。

5.5.1 全量与抽样的划分

全量检测的范围是三类：安全规范性八项与隐私规范性一项（高风险内容必须全量筛查）；结构完整性四项与格式类指标（自动化成本低，无须抽样）；重复与相似检测（抽样无法发现重复）。其余指标按分层抽样执行，主要是须人工判断的专业类指标。

5.5.2 分层维度

分层不按样本顺序随机，而按四个业务维度交叉分层：业务域（供需计划、产品工艺设计、制造过程、质量四域）、模态（文本、图像、音频、视频）、来源（甲方业务系统、现场采集、公开资料、授权第三方、合成）、时间批次（按采集或加工的时间段分组）。四维交叉形成抽样层，每层内随机抽取。

分层的理由是矿山装备数据在这四个维度上的质量差异明显：企业资源计划系统的数据录入规范、质量较好，而生产管理系统中部分工单填写不完整；现场采集的音视频质量受条件影响大；合成样本的问题形态与真实样本不同。不分层的简单随机抽样会让样本量大的层主导结论，样本量小但风险高的层被忽略。

5.5.3 样本量设计

表 S3-33　抽样样本量设计口径

每一轮评测的实际样本量在定制评测方案设计阶段按数据集的实际规模计算并记入方案附件，复测沿用同一套样本量设计口径，但重新抽样（不复用首轮样本），以避免甲方针对首轮样本做定向整改而整体质量未改善。这一条写在方案里是必要的：复用首轮样本的复测看起来分数会好看，但说明不了问题。

5.5.4 抽样的可复现

抽样过程须可复现，做法是记录抽样的随机种子、分层定义、各层总体样本数与抽取数，并输出抽中样本的标识清单。清单随报告归档。审计方按种子与分层定义可以复现同一组抽样结果，这是抽样不被质疑的前提（b2100）。

5.6 评测结论的质量控制

评测本身也需要被质量控制，否则"数据集质量合格"这一结论的可信度无从保证。我方设四道控制。

一致性控制。 人工复核采用双人独立判定，统计复核员之间的一致率。一致率低于 85% 时暂停该项复核，重新对齐判定口径后再继续，已完成的部分重做。一致率逐项统计并写入报告，使甲方知道哪些结论的判定分歧较大。

抽检控制。 由不参与本轮复核的人员对已完成的复核记录做抽检，抽检比例不低于 5%，核对判定结论与依据是否相符。抽检发现结论与依据不符的，该复核员负责的全部样本重做。

工具校准控制。 自动化检测工具在每轮评测开始前用一组已知结论的标定样本做校准，校准样本含正例与反例，校准结果（准确率、召回率）记入检测日志。校准不通过的工具不投入使用。标定样本集由我方在准备阶段建立并交甲方确认，建立方式是从历史数据中人工标注一批含已知缺陷的样本。

结论复核控制。 评测报告在出具前由未参与检测执行的技术人员做结论复核，核对三件事：每一项指标的得分是否有证据支撑、综合总分的计算是否正确、缺陷清单与指标结论是否一致。复核意见与处理记录随报告归档。

四道控制的记录构成报告可信度的证据链。招标文件要求评测过程可追溯（b2100），这四道控制的记录正是追溯时要查的内容。

6、实施过程

招标文件规定全流程分为评测准备、定制评测方案设计、评测执行、缺陷分析整改与复测、成果汇总交付五大标准化阶段，服务周期内同步配套增量数据抽检与合规巡检常态化服务；各阶段工作与"数据质量静态检测 ＋ 基准模型动态验证"评测方法一一对应，完整覆盖说明文档、数据质量、模型应用全部指标；全流程操作、检测日志、实验记录、复核材料归档留存，所有指标检测结果可追溯、实验可复现（b2109）。

6.1 五阶段总览与阶段关口

五个阶段之间以阶段关口衔接，关口不过不进入下一阶段。这一安排来自招标文件对各阶段验收要求的规定（b2116、b2122、b2130、b2137），我方把它落为明确的关口条件与关口交付物。

关口之所以逐阶段设定，而不是只在最终验收时统一把关，原因在于评测工作的返工成本随阶段递增：抽样策略若在阶段一定错，阶段三的全部检测结果都不可用；指标打分表若在阶段二漏项，阶段五的综合总分就无从核算。把确认前置到每一道关口，是以前期的确认成本换取后期的返工风险。

表 S3-34 以「关口条件」一栏为判据、「阶段产出物」一栏为证据，两栏配对使用——产出物齐备且满足关口条件，方进入下一阶段。「周期口径」一栏不写绝对天数，而写该阶段工期的决定因素，具体日历排期在蓝图设计阶段随数据集封版计划一并核定，避免在数据集规模与接入配合进度尚未明确时给出无从兑现的时点。需要特别留意的是末行的常态化服务：它不占据时间轴上的某一段，而是与阶段三之后的全部工作并行，覆盖服务期全程。整表读下来可以确认，五个阶段的衔接不依赖进度催办，而依赖关口条件的逐条核对。

表 S3-34　五阶段的工作内容、产出物、关口条件与周期口径

图 S3-7　五阶段实施过程的时序、关口与并行安排

图 S3-7　五阶段时序与关口。数据来源：招标文件 3.2.8.2.4 节五阶段划分与各阶段验收要求（b2108—b2147）。阶段周期不在图中标注绝对时长，待蓝图设计确定数据集封版时点后排定。

6.2 第一阶段　评测准备

招标文件列明本阶段四项工作，并规定本阶段对应的评测工作是"前置静态检测基础准备，为全量说明文档、数据质量指标检测提供环境支撑"（b2115），阶段验收要求是甲方确认无误后方可进入下一阶段（b2116）。

6.2.1 数据集摸底调研

招标文件要求梳理甲方工业文本、图像、音频、视频四类数据集台账，统计样本规模、模态分布、数据来源、涉密敏感范围，梳理现有配套说明文档（b2111）。

摸底调研的产出是《数据集台账》，逐数据集登记十二项：数据集名称与标识、所属业务域、模态构成与各模态样本量、规模量（Token 数、条数、组数）、数据来源明细、采集时间范围、涉密与敏感范围初判、配套说明文档清单与完整度、版本与版本指纹、存储位置与访问方式、责任部门、已知问题。

登记方式不是让甲方填表。四大数据集由本项目加工生产，其台账信息在加工环节即已产生，摸底调研的工作是把加工环节的产出清单与评测所需的台账字段对齐，补齐缺失字段。对甲方既有的、非本项目产出的数据集（如历史纸质检测报告的数字化成果），摸底调研须实地核查存储位置与可访问性。

涉密敏感范围的初判在本阶段完成，依据是甲方的数据分级分类目录与保密管理规定。初判结论决定两件事：哪些数据集须在隔离区内检测、哪些内容在报告中不得引用原文。初判结论须经甲方保密管理部门确认，确认记录作为后续检测的作业依据。

6.2.2 业务场景梳理

招标文件要求对接甲方煤机业务专家，梳理井下运维、设备故障识别、零部件检测等业务规则、行业术语、涉密管控边界（b2112）。

这一项工作的产出是三份清单，它们直接成为指标判定的依据，不是背景资料。

《业务规则清单》。 登记可用于自动化校验的确定性规则，例如：工序顺序须符合工艺路线约束，下道工序不得早于本车间全部工序报工完成；压弯件展开长须按中性层公式与板厚、折弯角度、模具的对应关系换算；热处理的淬火与回火温度、保温时间须落在作业指导书规定的固定程序内；链环直径与槽宽档位、装机功率的组合须落在在产型谱范围内。每条规则登记规则表达式、适用数据集、违反时的缺陷等级。

《行业术语字典》。 登记规范名称、常见异名、定义、所属分类体系位置。重点覆盖装备与部件名称（刮板输送机、中部槽、链轮轴组、减速器、液压支架、采煤机、破碎机）、工作面类型（超长、常规、大采高、薄煤层）、备料工序名称（取自工艺部门确认的正式工序字典，共 28 道）、材料牌号、工艺术语（坡口、倒角、粗糙度、中性层、层间温度、预热温度）、检验术语（咬边、未熔合、气孔、裂纹、开裂、变形、硬度不足）。字典是概念一致性 2.8.1 与领域专业性 2.11.1 的判定基准。

《涉密管控边界清单》。 登记须管控的内容类别、识别规则、管控方式。按第 3.4 节划定的三类内容分别登记：矿方敏感信息、甲方技术秘密、第三方保密约定约束的内容。

三份清单的编制方式是我方起草、甲方业务专家评审确认。评审方式为专题会议，逐条过。会议记录与确认签字作为清单生效的依据，稿件中标注为【待填：业务规则清单、行业术语字典、涉密管控边界清单的甲方确认记录】。

6.2.3 离线评测环境部署

招标文件要求将自动化质检工具与基准模型推理环境部署至甲方内网隔离环境，完成软硬件调试，原始数据禁止导出、上传公网（b2113）。

部署工作分六步，每步有验证动作。

第一步，确认隔离区的网络边界与访问控制策略，取得甲方信息部门的环境交付确认。第二步，部署自动化检测工具链，含六个检测通道的工具与规则库。第三步，部署基准模型的训练与推理环境，含计算框架、驱动与依赖库，按环境镜像清单逐项核对版本。

第四步，配置数据只读挂载，验证评测账号对数据集目录只有读权限、对评测工作区有读写权限。第五步，网络隔离实测，在评测环境内尝试访问外部地址并记录结果，验证记录由甲方信息部门会签。第六步，工具校准，用标定样本集跑一遍，核对准确率与召回率，校准结果记入检测日志。

六步完成后出具《环境部署验收单》，内容含环境清单、权限配置、隔离实测记录、校准结果。验收单经甲方会签后，本阶段的环境准备工作关闭。未经会签的环境不开始评测作业，这是硬性约束。

环境的资源规格依赖甲方隔离区的实际可用算力，已在第 5.3.2 节标注占位。此处补充一条回退安排：若隔离区算力不足以在计划周期内完成四类实验，我方的处理顺序是先降低视频类实验的帧采样密度与片段长度、再延长实验排期、最后与甲方协商临时增配算力，三种处理均在报告中说明其对结论可比性的影响。不采取的做法是把实验挪到隔离区外执行。

6.2.4 抽样策略制定与接入初校验

招标文件要求依据统一抽样规则，区分高风险全量检测项与普通指标分层抽样方案，完成数据集接入与文件完整性初校验（b2114）。

抽样策略的设计口径已在第 5.5 节给出。本阶段的工作是把口径落为具体数字：按《数据集台账》登记的实际规模，逐指标计算样本量，按四维分层分配到各层，输出《抽样策略文件》。文件内容含分层定义、各层总体样本数、各层抽取数、随机种子、抽中样本标识清单。

接入初校验是数据集进入评测的门槛检查，内容为结构完整性四项指标的全量检测（见第 4.3.1 节）：文件可打开性与哈希校验、整条空记录统计、模态齐备性统计、主键类字段非空率统计。初校验不通过的数据集退回加工环节修复后重新接入，不进入后续检测。这一设计是为了避免在基础结构有问题的数据上做后续全部检测，造成返工。

本阶段的验收要求是甲方确认无误后方可进入下一阶段（b2116）。我方提交的确认材料为五件：《数据集台账》、三份业务清单、《环境部署验收单》、《抽样策略文件》、《接入初校验报告》。甲方确认方式与时限在实施计划中约定。

6.3 第二阶段　定制评测方案设计

招标文件列明本阶段四项工作，阶段验收要求是方案须完整覆盖全部评测指标、贴合企业业务实际场景，经甲方审核确认后方可通过（b2122）。

6.3.1 搭建适配行业的完整指标打分表

招标文件要求对标《高质量数据集质量评测规范》及甲方内部制度，搭建适配行业的完整指标打分表，明确三大维度所有三级指标的评测方式、合格阈值、缺陷分级标准（b2118）。

打分表的结构与登记要素已在第 4.1.2 节给出，定制适配的七处已在第 4.6 节汇总。本阶段的工作是把 81 项三级指标的取值逐项填定。填定的依据有三类：规范给出的通用取值、第一阶段梳理的业务规则与术语字典、我方在同类数据集上的检测经验。三类依据在打分表中逐项标注，便于甲方审核时判断取值的来源。

打分表的审核采用逐项过的方式，不采用整体签批。审核会议按维度分三场，每场对该维度的指标逐项确认评测方式、阈值、缺陷等级。审核意见与修改记录随打分表归档。审核通过的打分表即为本项目评测的作业标准，首轮评测与各轮复测均按此执行。

6.3.2 拆分指标对应评测手段

招标文件要求区分自动化检测指标、人工复核指标、基准模型实验指标，明确每项指标的检测流程与判定规则（b2119）。

手段分工的结果已在第 5.1 节表 S3-28 给出框架。本阶段的工作是逐项落到可执行的检测流程：自动化类指标明确使用哪一个检测通道、规则配置文件路径、输出字段；人工类指标明确抽样来源、复核表单格式、判定选项、记录字段；实验类指标明确实验编号、配置文件、评测脚本入口。

一项指标由两类手段共同承担时，须明确两类结论的合并规则：是取严、取人工优先、还是转仲裁。不写明合并规则会在执行期产生分歧，这一点在方案中逐项交代。

6.3.3 编制静态与动态一体化评测执行方案

招标文件要求细化自动化批量检测流程、专家分层复核流程、基准模型对照实验的完整步骤、训练参数、测试集隔离规则（b2120）。

执行方案是实施期的作业手册，内容分四部分。

自动化批量检测流程：六个通道的执行顺序、输入输出、并行与串行关系、异常处理与重试、日志格式、缺陷清单生成规则。

专家分层复核流程：三层的触发条件、样本分发方式、复核表单、双人独立判定与仲裁流程、一致率统计方式、抽检安排。

基准模型对照实验步骤：四类实验的逐步操作，含环境检查、数据划分核验、泄漏防护三道检查、对照组训练、实验组训练、评测执行、重跑取均、结果入台账。训练参数逐项写明取值，不留默认。

测试集隔离规则：测试集的封存方式、解封授权流程（双人授权并留痕）、使用后的重新封存、禁止将测试集样本用于任何训练或调参用途的作业约束、违反时的处理。

6.3.4 明确缺陷分级处置规则与合格标准

招标文件要求明确缺陷分级处置规则、复测校验标准、各维度指标合格分数线、综合总分合格标准（b2121）。

四项内容分别在第 5.4 节表 S3-32（缺陷分级与处置）、第 4.5.3 节表 S3-26（合格线与否决项）给出。本阶段的工作是把这两张表的取值与甲方确认，并补充复测校验标准的细化内容：每一类缺陷的复检方式、抽样比例、通过条件，以及复测与首轮评测在抽样上的差异（重新抽样而非复用首轮样本，理由见第 5.5.3 节）。

本阶段的验收要求是方案完整覆盖全部评测指标（b2122）。覆盖性的核对方式是用第 4.1.1 节表 S3-7 的 81 项指标清单逐项打钩，缺一项即不通过。核对结果以《指标覆盖核对表》形式随方案提交。

6.4 第三阶段　评测执行

招标文件规定本阶段同步落地两大评测方法，完整执行全部指标检测工作，分两条线同步推进（b2124）；阶段验收要求是完成全部指标检测、无指标漏检、缺陷清单完整同步甲方（b2130）。

6.4.1 静态数据内生质量检测线

招标文件对本线列明两项工作：自动化批量检测（元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私个人信息、内容安全筛查，输出结构化缺陷清单）（b2125、b2126）；行业专家人工分层复核（逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标，对自动化检出高危样本全部复核，完成缺陷判定）（b2127）。

执行上的两件事需要在方案中交代清楚。

一是顺序与依赖。 自动化检测先行，人工复核的样本来源部分依赖自动化结果（全量复核层的对象就是自动化命中样本）。因此执行顺序是：元文档与结构通道 → 字段格式通道与重复相似通道并行 → 音视频质量通道、隐私通道、内容安全通道并行 → 人工全量复核层 → 人工专业判断层与文档评审层并行。顺序安排的目的是让人工资源在自动化结果出来之后集中投入，避免等待。

二是漏检的防止。 阶段验收要求"无指标漏检"（b2130），落实办法是三道核对：每个检测通道结束时核对处理样本数与台账登记的样本总数是否一致，差额逐条说明；每一项三级指标结束时核对是否已生成结论，无结论的列入待检清单；阶段结束时用《指标覆盖核对表》逐项打钩，与第二阶段提交的同一张表比对。三道核对的记录随缺陷清单一并同步甲方。

缺陷清单的同步方式是按批次滚动同步而非等全部完成后一次性提交。理由很实际：甲方的整改需要时间，越早拿到清单越早可以开始处置，整体周期能压缩。滚动同步的批次划分按业务域或按检测通道，每批同步时附该批的检测范围说明，避免甲方误以为是全部结论。

6.4.2 基准模型动态应用验证线

招标文件要求结合行业应用场景构建基准测试，量化数据集对模型训练的实际效用提升（b2128、b2129）。

本线的执行内容已在第 4.4.1 节与第 5.3 节给出。本节补充与静态线的互通安排。

两线之间有三处必须互通。第一处是跨数据集重复：静态线的重复相似通道一旦发现基准测试集与训练侧数据集存在重复，立即通报动态线，动态线暂停相关实验直至重复样本移除，否则实验结论不可用。第二处是标注一致性：静态线的标注准确性复核若发现一致率明显偏低，通报动态线，动态线在解释实验结果时须考虑这一因素，不把性能不足全部归因于样本量。第三处是数据划分：动态线的测试集封存清单须与静态线共享，静态线在抽样时避开测试集样本，避免抽样复核过程泄漏测试集内容。

三处互通以书面通报方式执行，通报记录归入过程记录册。这一安排看似琐碎，但它是两线并行而结论不互相拆台的必要条件。

6.4.3 阶段产出与同步

本阶段产出五类材料：自动化检测日志（按通道）、结构化缺陷清单（按批次）、人工复核记录（按层级）、模型实验台账与性能基线报告、三维度指标打分结果。

五类材料的同步安排见表 S3-35。

产出材料的同步安排单列成表，是因为评测执行阶段的材料并非等到阶段结束才一次性交付：缺陷清单早一批送出，甲方的整改就早一批开始，复测排期的压力也随之下降。同步频次因此不按统一周期设定，而按材料的时效价值——缺陷清单按批次滚动，模型实验材料按实验分别送出，指标打分结果则待汇总后统一出具，以免阶段性数字被当作最终结论引用。

表 S3-35 的「同步方式」一栏给出每类材料是推送原件还是推送索引，「接收方」一栏明确对接部门，二者合看即可确定每一类材料的流转路径。末行是边界：涉密内容相关记录不随同步流出隔离区，由甲方保密管理部门在区内查阅。这一安排支撑的是第 7.2 节离线隔离评测环境的承诺——材料的可及性通过索引调阅与区内查阅实现，不以放宽隔离边界换取流转便利。

表 S3-35　评测执行阶段的产出同步安排

6.5 第四阶段　缺陷分析、整改指导与复测闭环

招标文件规定首轮评测完成后，整合静态与动态评测的全部指标打分结果与缺陷记录开展综合分析（b2132），具体三项工作为：梳理三大维度指标下的全部缺陷并标注缺陷对应指标名称、样本 ID、缺陷成因（b2133）；针对每类缺陷出具标准化整改操作指引，明确修正标准与复检校验规则（b2134）；结合模型动态验证短板，输出数据集场景补充、样本均衡优化、标注规范完善专项优化方案（b2135）。

6.5.1 缺陷梳理与成因标注

缺陷清单的六个必填字段与五类成因分类已在第 2.3 节给出。本阶段的工作是在首轮全部结论出来之后做跨指标的归并分析，找出缺陷之间的关联。

归并分析要回答三个问题。同一批样本是否在多项指标上同时不合格——若是，说明问题出在该批样本的来源或采集环节，整改应针对来源而不是逐指标修补。同一类缺陷是否集中在特定业务域或特定工序——若是，说明该域的加工规则或标注口径有系统性问题。缺陷数量与检测时间是否相关——若是，说明加工过程中某个时点的配置变更引入了问题。

三个问题的分析结论写入《缺陷综合分析报告》，它比缺陷清单更有用：清单告诉甲方有哪些问题，分析报告告诉甲方该从哪里下手。

6.5.2 标准化整改操作指引

整改指引按缺陷类型编制，每一类一份，内容五段：缺陷描述（命中的指标、判定依据、典型样本示例）、影响评估（该缺陷对模型训练的具体影响）、修正标准（改到什么程度算合格）、分步修正操作（逐步的操作说明，含工具与参数）、复检校验规则（复检的检测手段、阈值、抽样比例、通过条件）。

指引的编写原则是可执行。写"提升标注质量"不构成指引；写"该批样本的焊缝边界标注交并比低于 0.85，需按标注手册第 4.2 节的边界定义重标，重标后由独立复核员抽样 200 条核验交并比，均值达到 0.85 即通过"才构成指引。

对高级缺陷另附处置时限建议与风险提示；对中低级缺陷按批次分期的建议安排。

6.5.3 数据集迭代优化专项方案

数据集迭代优化专项方案分三部分，均来自动态验证的分组评测结论。

场景补充。 列出分组评测中性能明显偏低的场景或业务域，给出建议补充的样本类型、数量区间与采集途径。例如若备料工艺数据集在某几道工序上的裁判评分明显偏低，而这几道工序的样本数不足，建议补充即指向这几道工序的历史图纸与工艺卡配对样本。

样本均衡优化。 列出均衡性指标超出阈值且影响实验结果的特征维度，给出调整建议。建议分两类：补采稀少类别的真实样本（优先）、对稀少类别做有控制的增强或合成（次选，须登记生成来源并通过分布一致性检验）。不建议的做法是对多数类做简单欠采样，因为会丢弃真实信息。

标注规范完善。 列出标注一致性偏低的标签类型，分析是手册规则不清还是执行走偏（判断依据见第 4.3.3 节），给出手册修订建议或标注培训与复核加强建议。

专项方案交甲方决策，我方不代行数据加工与标注的执行决定。这是责任边界。

6.5.4 整改复测机制

招标文件规定：甲方完成数据修正后，供应商应开展完整复测，重新核算说明文档、数据质量、模型应用三大维度各项指标得分，直至所有缺陷整改完成；服务期内提供不少于一定次数的集中复测，具体次数在实施阶段由项目蓝图设计要求定义（b2136）。阶段验收要求是复测后高危缺陷全部清零、各维度指标得分达到最低合格线（b2137）。

我方承诺服务期内提供不少于 4 次集中复测，分别对应四个时点：首轮缺陷整改完成后的整改复测、服务期中段的增量数据集中复测、竣工验收前复测、最终验收前复测。最终次数随项目蓝图设计确认，蓝图设计要求的次数高于 4 次时按蓝图设计执行。

集中复测的范围不是全部重做。我方按三档确定复测范围，既保证结论有效，也避免把时间耗在未受影响的指标上。

表 S3-36　集中复测的范围分档

三档之外另有一条规则：任一轮复测中若出现首轮未曾出现的新缺陷类型，该类型对应的指标升级为全量复测，并在报告中说明新缺陷的出现时点与可能成因。这一条是为了防止整改引入新问题而被抽样漏过。

复测的报告形式是《复测报告》，内容含本轮复测范围、重新抽样清单、各指标更新后的得分、缺陷闭环状态、与上一轮的得分对比。每一轮复测报告独立成册，归入整改闭环册。

6.5.5 常态化增量抽检与合规巡检

招标文件在 b2109 要求服务周期内同步配套增量数据抽检与合规巡检常态化服务。这两项与集中复测的区别是：集中复测是针对整改后的完整核验，增量抽检与合规巡检是服务期内的持续监控。

增量数据抽检按月执行。对象是本月新增入集的数据批次，必检项见表 S3-36 增量抽检档。产出《增量抽检月报》，内容含本月增量规模、抽检样本量、各必检项结论、发现的缺陷与处置建议。月报按季度汇总向甲方汇报。

合规巡检按季度执行。对象是全数据集的安全与隐私类指标，巡检方式为重新跑一遍安全与隐私通道的自动化检测，加上对命中项的人工复核。巡检的必要性在于两点：规则库与分类模型在迭代，新版本可能检出旧版本漏过的内容；法律法规与行业规范可能换版，判定尺度随之变化。巡检产出《合规巡检记录》，发现问题按缺陷分级处置，高级缺陷即时通报不等季度汇总。

两项常态化服务的工作量与人员安排见第 7.1 节，所需资源计入服务期的持续投入。

6.6 第五阶段　成果汇总与正式报告交付、整体验收

招标文件规定本阶段三项工作：归集评测准备、方案设计、评测执行、整改复测全流程的原始资料（b2139）；根据静态检测得分、人工复核得分、动态模型实验得分按权重核算三大维度分项得分及综合总分（b2140）；编制全套盖章正式评测报告，逐条列明每项指标的最终得分情况（b2141）。阶段交付物为《行业高质量数据集质量评测报告》（b2142）。

6.6.1 全流程原始资料归集

归集不是在最后一个阶段才开始的动作。四个前置阶段的材料在产生时即按质量档案的五分册归位，本阶段做的是完整性核对与索引编制。

核对方式是用《档案清单核对表》逐项打钩，清单的条目来自前四个阶段的产出物清单（见表 S3-34）。缺失项逐条追补，确实无法补齐的说明原因。索引编制的产出是《质量档案总索引》，它是四类用途调阅的入口，内容见第 8 章。

6.6.2 分项与综合得分核算

核算方法已在第 4.5 节给出。本节说明核算的执行与复核。

核算分三步：按指标归集三类手段的得分，形成 81 项三级指标得分表；按二级指标组聚合，形成 22 组得分表；按维度权重加权，形成三维度分项得分与综合总分。每一步的中间结果都留存，使任一环节的数字可被单独核对。

核算完成后由未参与检测执行的技术人员做结论复核，核对内容见第 5.6 节第四道控制。复核通过后的得分表方可进入报告编制。

若复测改变了部分指标的得分，综合总分按最新得分重算，报告中同时给出首轮得分与复测后得分的对比表，使甲方看到整改的实际效果。

6.6.3 正式评测报告的编制与出证

招标文件要求编制全套盖章正式评测报告，逐条列明每项指标的最终得分情况（b2141），交付物为《行业高质量数据集质量评测报告》（b2142）。

报告的结构见第 8.2 节。此处说明出证安排与责任边界。

正式盖章评测报告由具备相应资质的第三方评测机构出具。我方在其中承担的工作是：按资质条件核验并提请甲方确认评测机构的选定；统一评测方案、指标打分表与判定口径，使第三方机构的检测工作在同一套标准下执行；组织全流程的检测执行、人工复核与模型实验；归集过程资料并编制报告底稿；组织整改指导与集中复测。第三方机构承担的是独立核验与出证责任，其资质要求与选定方式见第 7.1 节。

出证周期须计入项目进度。第三方机构的现场核验、内部技术审核与出证流程需要时间，我方在实施计划中为此预留独立的时间窗，不把出证挤在验收申请前。出证周期的具体天数在机构选定后确认，稿件中标注为【待填：第三方评测机构的资质证明、核验周期与出证周期】。

报告的份数、载体形式（纸质与电子）、涉密版本与公开版本的区分，按甲方档案管理要求确定。涉密内容在公开版本中以样本编号替代原文，原文留在涉密版本中并按甲方保密管理规定保管。

6.6.4 整体验收硬性标准的逐条应答

招标文件列明四项整体验收硬性标准（b2143）。我方逐条应答如表 S3-37。

硬性标准的逐条应答要解决的是口径问题：同一条标准，招标文件给出的是结论性表述，执行时则需要一个可判定、可取证的操作口径，两者若不预先对齐，验收现场就会出现各方依据不同判法各算一套的情形。对齐的办法是为每一条标准同时给出判定方法与证据来源，并把判定口径指回本节前文已经定义的表格，不在此另立一套标准。

表 S3-37 的「判定口径」一栏即是这种指回：高危缺陷清零的判法见第 2.1 节表 S3-1，维度与总分的合格线见第 4.5.3 节表 S3-26，性能提升阈值见第 2.2 节表 S3-2，档案完整性见第 8 章；「我方应答」一栏给出本方案对该条标准的承诺口径，「提交证据」一栏列出验收时实际提交的材料，逐项可点验。四条合读可以确认：整体验收所依据的全部判据在实施期之初即已确定并经甲方确认，验收环节核对的是执行结果，而不是重新商定标准。

表 S3-37　整体验收硬性标准的应答与证据

四项标准中第一项与第三项的落地口径此前已说明，不再重复。第四项"可直接用于"这一要求的落实方式是在档案组织上按用途反推，而不是在交付时才整理，这是第 2.4 节与第 8 章的设计出发点。

7、评测组织、环境与资源保障

本章不重复第 6 章已说明的部署步骤，只讲组织与资源。

7.1 三方职责边界与人员配置

本项目的质量评测涉及三方：甲方、我方、第三方评测机构。三方的职责若不划清，会在整改与出证两个环节产生扯皮。

甲方的职责是提供数据集与配套说明文档、提供内网隔离环境与算力资源、确认业务规则与术语字典、确认评测方案与指标打分表、执行数据修正（b2136）、确认第三方评测机构的选定、组织阶段验收。其中「执行数据修正」一项须按缺陷成因理解：出在本包加工环节（标注、对齐、合成、增强、切分、质检）的差错由我方修正并承担费用，不占用甲方人力；需要甲方实际补录的只有原始业务事实在源头缺失的那一类。五类成因的划分与责任归属见本章表 S3-41A，该表随技术协议定版。

我方的职责是统一评测口径与方案设计、组织检测执行与人工复核、搭建并运行模型对照实验、编制缺陷清单与整改指引、输出迭代优化专项方案、归集质量档案、组织集中复测、提供常态化增量抽检与合规巡检。

第三方评测机构的职责是按统一方案开展独立核验、出具盖章正式评测报告、对报告结论承担资质范围内的责任。

表 S3-38　评测组织的角色与人员配置口径

人员的实名与资质材料不在本节范围，按招标文件要求随团队配置部分提交。本节的人员条件是岗位要求，稿件中标注为【待填：行业专家名单与资质材料、第三方评测机构资质证明】。

7.2 离线隔离评测环境

部署步骤已在第 6.2.3 节给出，本节说明环境的构成与管控。

环境构成四部分：数据只读区（挂载四大数据集的封版副本与配套文档，评测账号只有读权限）、测试集封存区（独立存储，解封须双人授权并留痕）、检测工具区（六个检测通道的工具与规则库）、实验与工作区（模型训练推理环境、检测中间结果、日志与复核记录）。

管控四条：原始业务数据不出甲方内网，检测与实验全程在隔离区内进行；评测环境不接入互联网、不使用公网云端服务；移动存储介质的使用按甲方保密管理规定审批，审批记录逐次留存；外部人员入场作业全程双人在场并留痕。

图 S3-8　离线隔离评测环境的边界与数据流向

图 S3-8　离线隔离环境的边界与数据流向。数据来源：招标文件 3.2.8.2.3 节涉密工业数据集本地离线隔离检测要求（b2100）与 3.2.8.2.4 节第 1 阶段环境部署要求（b2113）。

7.3 平台与工具支撑

本项目的数据集加工生产与运营依托奔牛数据智能平台平台（技术方案卷 T3 节），质量评测在其上使用三类能力：质检规则的配置与执行、缺陷台账的流转与闭环管理、数据集版本与指纹的管理。

三类能力与本节评测工作的衔接点如下。质检规则的配置与评测的《指标打分表》共用同一套规则表达方式，使加工过程内的工序级质检与封版后的评测在判据上同源，避免同一条规则在两处有不同写法。缺陷台账的流转使缺陷清单从生成到整改到复检的状态变化在平台上可查，这是闭环判定的数据基础。数据集版本与指纹的管理使每一轮评测的对象版本明确，复测时可以准确回到某一版本比对。

自动化检测通道的工具选型、规则库的维护方式、模型实验的工程实现属于实施细节，不在本节展开；与工具链的衔接见技术方案卷 T2C 节。

7.4 过程资料的留存与可追溯

招标文件要求全流程操作、检测日志、实验记录、复核材料归档留存，所有指标检测结果可追溯、实验可复现（b2100、b2109）。

留存的具体做法是三条。

按产生即留存，不事后整理。 检测日志由工具自动写入，人工复核记录在复核表单提交时即入库，实验台账在实验执行脚本中自动登记。这样安排的目的是避免事后补记造成记录与实际不符。

留存内容带足定位信息。 每一条记录含时间、执行人或工具版本、输入对象标识、输出结论。缺少定位信息的记录在审计时无法使用。

留存期限与载体按甲方档案管理要求。 电子记录在隔离区内留存，按甲方要求的周期备份；涉密记录按保密管理规定保管。具体期限与载体要求待甲方确认，稿件中标注为【待填：甲方档案管理办法对评测记录的留存期限与载体要求】。

可追溯的验证方式是抽查：在阶段验收时由甲方随机指定若干项指标结论，我方按证据位置调取原始记录，核对结论与记录是否一致。抽查不通过的，该项结论重新出具。这一条写进方案里，是把"可追溯"变成可检验的承诺而不是一句话。

8、质量档案与交付物

8.1 质量档案的五分册组织

档案按用途反推组织的理由已在第 2.4 节说明。五个分册的内容与对应用途见表 S3-39。

分册的切分依据既不是材料产生的先后，也不是材料的载体形式，而是调阅场景：达标验收要看指标逐项有无结论，资产备案要看来源与权属，专项审计要看过程是否留痕，内部合规检查要看安全与隐私类指标的检测覆盖与处置记录，模型实验材料因其可复现性要求自成体系。五册之分正是这五类需求的直接映射，一份材料只归一册，避免同一文件在多处重复归档而版本各异。

表 S3-39 的「主要用途」一栏是分册归属的判据，「来源阶段」一栏指明该册材料在实施过程中的产生时点，两栏并读可以确认：档案不是在交付前临时汇编的，而是随各阶段工作同步沉淀，阶段关口的交付物即是档案的入册件。这一组织方式支撑的是第 2.4 节提出的交付承诺——交付的不是一个待整理的资料包，而是四类用途均可直接取用的成品档案。

表 S3-39　质量档案的五分册构成

四类用途各自的调阅清单见表 S3-40。清单的作用是让甲方在接受审计或办理备案时按清单抽取，不必重新梳理。表中「需调阅的分册与条目」一栏给出抽取范围，「核心证据」一栏说明这一组材料合在一起能够证明什么，后者是判断抽取是否完整的依据——证据链不齐时，补的是缺的那一环，而不是把五册全部调出。

表 S3-40　四类用途的档案调阅清单

8.2 《行业高质量数据集质量评测报告》的结构

招标文件要求报告逐条列明每项指标的最终得分情况（b2141），交付物名称为《行业高质量数据集质量评测报告》（b2142）。报告的结构按七章组织。

第 1 章　评测概况。评测对象（四大数据集的名称、版本、规模）、评测依据（四层依据的具体文件与版本）、评测范围与适用性裁剪、评测时间与轮次、参与方与职责。

第 2 章　评测方案摘要。指标体系（三维度 22 组 81 项）、检测手段分工、抽样设计、权重与合格线、缺陷分级标准。摘要的作用是让读者在看结论之前知道结论是怎么得出的。

第 3 章　指标检测结果。按维度分三节，每节逐项列出三级指标的实测值、阈值、得分、证据位置。这一章是报告的主体，逐条列明是招标文件的明确要求。

第四章　模型应用验证结果。四类实验的配置、对照结果、提升幅度与阈值对比、分组评测结果、可复现材料索引。

第五章　缺陷与整改。缺陷清单汇总（按等级与成因分类统计）、整改指引索引、各轮复测结果与得分变化对比、闭环状态。

第 6 章　综合判定。三维度分项得分、权重与加权过程、综合总分、否决项核对结果、与整体验收硬性标准的逐条对照。

第 7 章　结论与建议。质量结论、适用范围与使用注意（即数据集可以用于什么、在什么条件下须谨慎）、数据集管理规范修订建议。

附件：指标打分表、抽中样本清单、检测日志索引、实验台账、档案总索引。

报告在首轮评测后出具一版，每轮集中复测后出具复测报告，最终验收前出具汇总版。汇总版以最终得分为准，并保留各轮的得分变化记录。

8.3 交付物清单

交付物清单要回答的是：评测服务的成果在什么时点、以什么形式、交到谁手里可以被点验。清单不按材料类型归堆，而按阶段关口排列，原因在于每一项交付物同时承担两个作用——既是本阶段工作完成的凭证，也是下一阶段开工的输入；台账不定则抽样无从设计，打分表不填定则检测无从执行。

表 S3-41 的「交付时点」一栏与第 6 章的五阶段关口一一对应，「形式」一栏区分电子件、纸质签字件与甲方会签件，凡需甲方确认的均已注明；「对应单元」一栏给出该交付物在招标文件中的出处，使清单的完备性可以逐条核对而不必凭列举。按时点竖读可以看出每一道关口需要点验的内容，按单元横读可以确认招标文件提出的交付要求均有对应物。清单共 24 项，覆盖五个阶段的关口交付与服务期内的常态化成果；其中既有一次性交付的报告与方案，也有按批次、按月、按季度滚动产出的记录，后者的持续产出是服务期内质量结论保持有效的依据。

表 S3-41　本节评测工作的交付物清单

清单中第 20 项的盖章出证由具备相应资质的第三方评测机构完成，其余各项由我方组织产出。报告与档案的份数、涉密与公开版本的区分按甲方档案管理要求确定。

9、与项目验收的衔接

本章只讲评测成果在验收中的位置与作用，项目整体的验收组织安排见服务方案卷项目管理措施部分。

9.1 二次验收模式下评测成果的位置

招标文件 9.1 验收标准规定，本项目验收采用二次验收模式，即竣工验收和最终验收：项目实施完毕由投标方提出申请，由招标方讨论通过后进行竣工验收；在系统试运行一段时间并调试至稳定，且满足招标文件、投标文件、技术协议、合同、蓝图设计方案等要求后，由投标方提出申请，由招标方对项目进行总体成果评估，评估通过后组织最终验收；最终验收在竣工验收基础上侧重实施效果与运行、维护质量的评价（b2225、b2226）。招标文件同时规定项目组在达到合同和技术协议规定的技术指标后提出验收申请（b2227）。

评测成果在两次验收中的作用不同，这一点须在方案中说清，否则会出现"竣工验收时数据集还在整改"的被动局面。

竣工验收时点，评测成果须具备的状态是：首轮全量评测已完成、缺陷清单已完整输出并同步、整改指引已交付、首轮整改复测已完成、三维度得分达到合格线、盖章正式评测报告已出具。对应本节的第三至第五阶段完成。

最终验收时点，评测成果须具备的状态是：服务期内的集中复测均已完成、增量抽检与合规巡检记录完整、所有缺陷闭环或有甲方确认的不整改评估、质量档案五分册完整并经档案清单核对、数据集管理规范修订建议已提交。

两个时点的材料清单在实施计划中与项目总体验收节点对齐。我方在竣工验收前预留第三方机构的出证时间窗（见第 6.6.3 节），避免报告未出而验收申请已提。

9.2 验收要点四条的应答

招标文件列明验收要点四条（b2228—b2236）。我方逐条应答。

第一条要求按照合同与技术协议所规定条款进行验收，达到合同和技术协议规定的技术指标（b2228、b2229）。本节的评测相关指标在技术协议中落为可核对的条款：三维度合格线与综合总分合格线、四类模型实验的最低提升阈值、集中复测次数、交付物清单。四项在技术协议签订时逐项确认取值，确认后的取值即为验收判据。本节第 2.1 节、第 2.2 节、第 4.5.3 节、第 6.5.4 节给出的是我方的承诺基线，技术协议中的取值不低于这些基线。

第二条要求项目软件、硬件的技术指标同时满足或高于招标文件、投标文件、技术协议、合同、蓝图设计方案等要求（b2230、b2231）。本节涉及的技术指标为评测相关指标，不涉及软硬件选型。我方的应答是：评测方案的指标体系以招标文件 3.2.8.2.2 节列明的 81 项为基准，不删减；阈值取值不低于规范通用取值，行业定制处的调整均为使判定更贴合业务实际，调整理由逐项说明并经甲方审核（见第 4.6 节）。

第三条要求由投标方组织测试工作，在招标方的配合下形成验收测试报告，作为验收结论（b2232、b2233）。本节的评测工作即数据集部分的测试工作，由我方组织、甲方配合（配合内容为数据与环境提供、业务规则确认、数据修正执行）。《行业高质量数据集质量评测报告》即数据集部分的验收测试报告，作为该部分的验收结论依据。

第四条要求投标方按照招标文件要求、合同要求、技术协议要求及招标方提出的其他要求提供交付资料，由招标方检查资料的正确性及完整性，相关资料须完整有效，符合招标方档案管理要求（b2234、b2235、b2236）。本节的交付资料见第 8.3 节清单，档案组织见第 8.1 节。符合甲方档案管理要求这一条的落实方式是在阶段一即取得甲方档案管理办法并按其要求确定载体、格式与留存期限（见第 7.4 节的待填项），而不是在交付时才调整。

9.3 验收流程与整改费用承担

招标文件 9.2 验收流程规定：项目建设内容按招标文件、投标文件、技术协议、合同、蓝图设计方案等文件要求完成，项目交付物完整且通过招标方评审后方可申请验收；招标方负责人员在投标方递交交付物后进行综合评估并给予验收确认；投标方必须在验收前按招标方提出的整改要求完成对项目交付物的优化改进，整改过程发生的一切费用由投标方承担，未按要求整改的不予验收（b2237、b2238）。

我方对这一条的应答是明确的：评测相关交付物在验收前按甲方提出的整改要求完成优化改进，整改费用由我方承担。这里需要区分两类整改，以免执行期产生歧义。

第一类是评测交付物本身的整改，即报告、档案、指引等我方产出物不符合要求（如指标结论缺证据、档案组织不符合甲方档案管理要求、报告结构不完整）。这一类由我方整改，费用由我方承担，复核与重新提交不另计费。

第二类是数据集本身的缺陷整改，即评测检出的数据缺陷。招标文件 b2136 规定数据修正由甲方完成，我方承担整改指引的编制与整改后的复测。但「数据修正由甲方完成」这一条在执行时须按缺陷成因再分一层，否则会被读成我方把自己加工环节的差错也推给甲方去改——那不是本方案的意思，也不是一个负责的做法。

缺陷成因分五类，责任与费用按成因归属，如表 S3-41A。归属的判定原则只有一条：缺陷出在哪一道工序，就由负责那道工序的一方修正。 本包承担四类数据集的采集、预处理、标注、合成、增强、质检与验证全部加工环节，因此这些环节里产生的差错一律由我方修正、费用由我方承担，不计入甲方的数据修正工作量，也不占用甲方的人力。真正需要甲方补录的只有一类——原始业务事实在源头就不存在或已不可查，这一类我方无从修正，因为要补的不是加工结果而是业务记录本身。

表 S3-41A　缺陷成因五类划分与整改责任归属

表 S3-41A　数据来源：成因类别依本章第 2 章各评测维度实际检出的缺陷类型归并；责任归属依「缺陷出在哪道工序由该工序负责方修正」的原则，并与招标文件 b2136 关于数据修正由甲方完成的规定衔接——该规定在本表中对应第四类与第五类的甲方动作。本表随技术协议定版。

按这一分层，五类中有三类（一、二、三）由我方修正并承担费用，一类（五）由甲方确认规则后我方重做并承担费用，只有第四类需要甲方实际投入补录人力。本章第 2.1 节已写明的「已评估不整改项」两种情形（原始业务事实缺失、整改成本显著高于其对模型训练的影响且经甲方书面确认），对应的正是第四类里确实补不齐的部分，两处口径一致。

我方承诺的不少于 4 次集中复测与服务期内的增量抽检、合规巡检，均在本包服务范围内，不因复测轮次而另行计费。因第一类、第二类成因引起的复测不计入这 4 次额度——我方自己的差错导致的重测，不占用甲方的复测次数。超出 4 次且非我方原因导致的额外集中复测，按技术协议约定处理。

两类整改的区分与上表的五类成因归属一并写入技术协议，并与第 7.1 节的三方职责边界表对齐，避免验收阶段就「谁该改、谁付钱、人力谁出」产生分歧。这一条是责任边界的划分，不是对招标文件要求的保留。

10、风险识别与应对

本章不属于招标文件的某一具体条款，而是对 3.2.8 全节可行性的补充说明。评分项明文评价方案的"可行性"（b0496r04），而可行性最直接的体现是对执行期障碍的预判与应对。本章列出的七项风险均为本项目的具体情形，不是通用风险清单。

10.1 风险清单与应对

风险管理在本项目上要回答的问题只有一个：若执行期真的出事，方案还能不能按期交出合格的评测结论。七项风险的筛选标准不是发生概率的高低，而是其一旦发生会否直接影响某一项验收结论的成立——算力不足牵动模型应用维度的全部数字，基准模型不可获取牵动对照口径，整改进度牵动复测排期与竣工时点，机构档期牵动盖章出证，配套文档缺失牵动说明文档维度的判定，安全检测误判牵动人工复核的可承受工作量，增量入集牵动结论的时效性。

表 S3-42 以「触发条件—影响—应对措施—回退路径」四栏并置：触发条件一栏给出判断风险是否已经发生的客观依据，应对措施一栏是风险尚未发生时的前置动作，回退路径一栏是风险已经发生后仍能交出结论的降级方案。四栏齐备意味着每一项风险都不以「加强管理」收尾，而是落到可执行的动作与可接受的降级结果上。四项合读可以确认：本方案的交付承诺在上述七种不利情形下均有兑现路径，差别只在结论的精度与时点，不在结论的有无。

表 S3-42　评测实施的风险识别与应对

10.2 两项需要甲方协同的前提

七项风险中有两项的化解主要取决于甲方的配合，在此明确提出，以便在蓝图设计阶段落实。

第一项是数据修正的责任与资源。 招标文件 b2136 明确数据修正由甲方完成，我方提供整改指引与复测。整改的实际工作量取决于首轮缺陷数量，而缺陷数量在评测前无法准确预估。建议在蓝图设计阶段约定整改的响应时限与资源投入口径，并约定整改进度的同步方式。我方的做法是提供可执行到操作步骤的指引，并按月同步进度看板，把甲方的理解与协调成本压到最低。

第二项是配套说明文档的齐备。 说明文档维度 21 项指标的检测对象是随数据集交付的配套资料。本项目的四大数据集由加工生产环节产出，其配套文档（数据卡、数据字典、标注手册、版本日志）在加工环节即应同步产出。建议在加工环节的交付标准中把这四类文档列为封版的前置条件，使数据集封版时文档即齐备，而不是在评测时才发现缺失。这一建议已通过本卷与技术方案卷的衔接提出（见第 11 章）。

11、本节与其他章节的接口

本章说明本节与投标文件其他部分的衔接边界，使同一事项不在两处用不同口径讲两遍。

11.1 四处接口的边界

接口表要回答的是：同一个事项在两处出现时，以哪一处的口径为准。四处接口的选取依据是事项的重合点——加工生产环节的工序级质检与本节的独立评测都在判定数据的对错，规模与数据卡部分声明的数字与本节的规模完整性指标都在清点数据集有多少，治理体系产出的数据标准与术语字典是本节判据的来源，六个专业场景的业务验证与本节的模型应用维度都以模型的表现说话。重合而不划界，同一问题就会被两处用不同的名字记录两遍。

表 S3-43 中，「衔接事项」一栏指出重合点，「边界划分」一栏给出归属判断，「本节的处理」一栏说明本节在该归属下实际做什么、沿用对方成果的是哪一部分。关键在「边界划分」一栏，它贯穿同一条准则：数据集封版之前属加工，封版之后属评测；体系与模板的建设属对方章节，建设成果的使用属本节。读完可以确认，四大数据集从加工、评测到场景验证全程只有一套缺陷字典、一套样本标识、一套规模口径。

表 S3-43　本节与其他章节的接口与边界

11.2 三处口径须保持一致

本节与上述章节有三处口径必须一致，不一致会在评标与执行两个环节都产生问题。

第一处是缺陷字典。 加工过程质检、数据集评测、场景验证三处都会产出缺陷记录，若三处的缺陷类型命名与分级标准不同，同一个问题会被记录三次且无法合并统计。统一的做法是以本节第 5.4 节表 S3-32 的三级分级与第 2.3 节的五类成因分类为基准，三处共用。

第二处是样本标识。 本节的缺陷清单、复核记录、实验数据划分清单都以样本唯一标识定位，该标识须与加工环节产出的标识一致，并能映射到业务对象标识（施工号、图号、炉次号、焊道号、设备编码）。标识体系的定义属治理体系部分，本节沿用不另定。

第三处是规模口径。 四大数据集的规模数字（预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条）在本节作为规模完整性 3.3.1 的比对基准，与规模与数据卡部分声明的数字必须一致，含四业务域的分列数字。

图 S3-9　质检、评测、场景验证三道关口的衔接与口径同源

图 S3-9　三道关口的衔接与口径同源。数据来源：本投标文件技术方案卷与服务方案卷的章节分工；招标文件 3.2.6.3 加工环节划分与 3.2.8 评测要求（b1881—b2147）。

12、评分表与索引表的填写口径

12.1 索引表 2 的填写口径

索引表 2 为招标文件留白、由我方填写的格子，要求按综合评分表的评分项逐行填写索引页码（b2278r04）。本评分项对应该表序号 3 行，填写口径如表 S3-44。

表 S3-44　索引表 2 第 3 行的填写口径

索引页码在投标文件合稿、页码排定后统一填入，由合稿环节统一处理，不在本节正文中预填。若甲方要求细化到四项设计各自的页码，按测评依据对应第 3 章、评测指标对应第 4 章、评测方法对应第五章、实施过程对应第六章分列填写。

13、本稿待补材料清单

本节的结构与论述已按招标文件要求写定，以下材料须由项目组或甲方提供后补入，补入位置已在正文中以【待填】标注。

表 S3-45　本稿待补材料清单

清单第 8 项需要说明：招标文件 b2106 要求"按招标文件约定权重计算数据集综合总分"，但招标文件正文未列明三维度的具体权重取值。本节按第 4.5.2 节的理由提出建议权重（说明文档 20%、数据质量 50%、模型应用 30%），并在正文多处注明最终以技术协议与蓝图设计确认为准。该项在技术协议谈判中须明确约定，不宜留待执行期再议。

本节所列量化目标与阈值均为我方的承诺基线，最终以招标文件原文、技术协议与蓝图设计确认的取值为准。