## 数据集质量评测方案 第 9 章验收标准与验收流程中与评测成果有关的条款（b2224—b2238），在本节第 9 章一并应答。 ### 1、本节总览 #### 1.1 甲方在这一条上要解决的现场问题 招标文件把质量评测单列为一个评分项，原因不在于程序上需要一份报告。矿山装备制造的数据有三个特点，使"数据到底能不能用"这件事无法靠人眼翻阅得出结论。 第一个特点是数据与物理对象的对应关系尚未建立。同一台刮板输送机在不同系统里有施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号多套标识，彼此之间没有稳定的主键关系。一条样本看上去字段齐全，但它指向的究竟是哪一件工件、哪一炉、哪一道焊缝，往往要回到原始台账去核。评测如果只做字段非空率，这类问题一个也查不出来。 第二个特点是过程数据与质量结论天然分离。热处理的温度曲线来自炉控与群控，硬度与金相结论来自检验，两者之间缺少稳定的一炉一档关联；焊接的电流、电压、送丝速度是连续参数流，而工件与焊道是离散对象，交检发现咬边或未熔合时无法直接调取对应时段的参数。数据集的价值恰恰取决于"某一段过程数据对应某一个质量结论"这种成对关系是否成立。评测必须把这种成对关系当作一项可检的指标，而不是假定它存在。 第三个特点是专业判据的稀缺性。备料工序集合是封闭的 28 道（以工艺部门确认的正式工序字典为准），压弯件展开长要按中性层公式换算，粗糙度、坡口、倒角符号各有其作用表面范围。这些判据写在作业指导书和老师傅的经验里，不写进评测指标，自动化检测再完备也只能判断数据"规整"，判断不了数据"专业"。 所以本节的评测方案不是一套通用数据质检脚本的说明书。它要回答的是：四大数据集（预训练、指令微调、强化学习偏好、基准测试）在交付时，凭什么证据说明它可以直接送进模型训练，又凭什么证据说明训练出来的模型在煤机业务上确实比不用这批数据时更好。 #### 1.2 三个容易混淆的概念在本方案中的分工 本投标文件在三处讲"质量"，口径不同，不可混用。本节统一如下，后续各节沿用。 **质检**，指数据加工生产过程内部的工序级检验，由加工环节自带的规则校验与抽检承担，发生在数据集形成之前，目的是不让不合格样本流到下一道工序。其设计见技术方案卷 T1B 节。 **评测**，指数据集形成之后、交付与验收之前，对整个数据集按三维度指标体系做的独立量化核验与模型实战验证，发生在数据集封版之后，目的是给出一个可对外出证的综合质量结论。本节讲的是这一件事。 **场景验证**，指把数据集投入六个专业场景与五个通用场景的业务流程中，检验它能否支撑这些场景的业务判断，目的是回答数据集的业务效用。其设计见技术方案卷 T5 与 T14 节。 三者是前后衔接的三道关口，不是同一件事的三种叫法。质检的缺陷类型清单、评测的指标口径、场景验证的归因口径统一到同一套缺陷字典与同一套样本标识上，这一点在本节第 11 章说明接口。 #### 1.3 方案总体框架 本方案按"依据定口径、指标定判据、方法定手段、过程定关口、档案定证据"五条线组织。四者之间是逐级约束关系：依据决定指标可以怎么定，指标决定方法必须覆盖到什么粒度，方法决定实施过程要分几个阶段、每个阶段交什么，过程产出的全部材料汇成可对外出证的质量档案。 ##### 图 S3-1　数据集质量评测方案总体框架 第一层　评测依据（四层） 国家法律法规 ｜ 行业专项评测规范 TC609-5-2025-04 ｜ 煤炭装备行业补充依据 ｜ 采购人内部数据管理制度 约束指标与阈值的取值范围 第二层　三维度评测指标体系（22 个二级指标 / 81 个三级指标） 说明文档　4 项 / 21 指标 数据质量　11 项 / 45 指标 模型应用　7 项 / 15 指标 每项指标指派检测手段与判定规则 第三层甲　静态数据内生质量检测 自动化批量检测 ＋ 行业专家人工分层复核 六大核验维度：保真/完备/规整/均衡/可用/可信 第三层乙　基准模型动态应用验证 文本 / 场景 / 语音 / 视频四类对照实验 微调前后性能差量 ＋ 可复现基线报告 分项得分 ＋ 缺陷清单 效能得分 ＋ 短板定位 第四层　加权计分与综合判定 → 缺陷分级整改指引 → 集中复测 五阶段实施过程：评测准备 → 方案设计 → 评测执行 → 整改复测 → 成果交付与整体验收 第五层　质量档案：过程原始资料 ＋ 盖章正式评测报告（可用于达标验收、资产备案、专项审计、合规检查） 图 S3-1　方案总体框架。数据来源：招标文件第五章 3.2.8.2 节四项服务要求的层次划分（b1892—b2147）；指标计数依本节第 4 章对 b1912—b2098 的逐项归并。 ### 2、评测目标与量化承诺 招标文件要求完成多模态自建数据集首轮全量评测与缺陷整改复测，通过标准化评测、实战化模型验证、整改闭环三条路径达成四项量化建设目标（b1883）。我方逐项应答如下，并在每一项之后给出基线、验收口径与不达标时的回退安排，使这些目标在合同期内是可度量、可核对、可追责的。 #### 2.1 第一项　数据质量合规核验目标 招标文件要求围绕说明文档、数据质量、模型应用三大维度实现指标全覆盖核验，建立标准化量化打分体系，评测完成后数据集综合质量得分不低于 85 分（百分制）；高风险缺陷（涉政、色情、暴恐、涉密、未脱敏隐私信息）清零，中低风险缺陷（标注错误、样本缺失、内容重复）完成整改（b1884、b1885）。 我方的应答分三层。 **指标覆盖**。我方按《高质量数据集质量评测规范》（TC609-5-2025-04）搭建的指标体系覆盖三大维度、22 个二级指标、81 个三级指标，逐项建立检测口径、合格阈值与缺陷分级标准，不设"暂不评测"的指标项。覆盖率的度量口径是：已建立可执行检测口径并在首轮评测中实际出具检测结论的三级指标数，占本数据集适用三级指标总数的比例。 适用性判定随数据集模态确定——例如纯文本的预训练数据集不适用音频位深度（b2027）、视频帧率（b2035）一类指标，不适用项在报告中标注"本数据集不适用"并说明理由，不计入分母。按此口径，首轮评测的指标覆盖率目标是趋向 100%，承诺基线为不低于 98%；未达基线的指标逐项说明原因并进入下一次集中复测补测。 **综合得分**。我方承诺首轮评测后的综合质量得分不低于 85 分，并在此之上设置内部控制线 88 分，使最终报告留有余量。得分的构成、权重与合格线见本节第 4.4 节。 **高风险缺陷**。涉政、色情、暴恐、涉密、未脱敏个人信息五类为高风险缺陷，采取全量检测而非抽样，检测手段为关键词与正则规则库、分类模型、人工复核三重叠加。此类缺陷在复测后的目标是逐步接近零残留，验收口径以统计抽样给出：在复测完成后对数据集按分层随机抽样复查，样本量按 95% 置信水平、残留率上限 0.1% 设计，抽样复查未发现高风险缺陷即判定达标；若发现任一例，则该批次整体退回加测，加测范围扩大到该例所属的来源批次与同采集时段的全部样本。这一安排是对招标文件 b2144 整体验收硬性标准的落实办法，即以可核验的统计口径承接"清零"的要求。 **中低风险缺陷**。标注错误、样本缺失、内容重复为中低风险缺陷，按缺陷分级逐级处置。整改完成率的度量口径是：已复检通过的缺陷条目数占首轮评测输出缺陷清单条目总数的比例。我方承诺该比例趋向 100%，并以 99% 为承诺基线；剩余条目须属于两类情形之一，即原始业务事实本身缺失（如历史纸质记录已不可查）或整改成本显著高于其对模型训练的影响（经甲方书面确认），这两类情形在报告中单列为"已评估不整改项"，附评估依据。 表 S3-1　第一项目标的量化口径与回退安排 | 子目标 | 度量口径 | 承诺基线 | 验收证据 | 不达标回退 | |---|---|---|---|---| | 指标覆盖 | 已出具结论的适用三级指标 / 适用三级指标总数 | ≥98%，趋向全覆盖 | 指标打分表逐项结论 | 未覆盖项列入下次集中复测补测清单 | | 综合得分 | 三维度加权折百分制 | ≥85 分（内控 88 分） | 盖章评测报告总分页 | 低于 85 分时按缺陷清单整改后重算，不另收费 | | 高风险缺陷 | 复测后分层抽样复查结果 | 抽样复查零发现（95% 置信、上限 0.1%） | 全量检测日志 ＋ 抽样复查记录 | 发现一例即该来源批次整体加测 | | 中低风险缺陷 | 复检通过条目 / 首轮缺陷清单条目 | ≥99%，趋向全部完成 | 缺陷台账的闭环状态字段 | 未闭环条目须有甲方确认的不整改评估 | #### 2.2 第二项　模型实战适配效能验证目标 招标文件要求依托约定的开源基准大模型、视觉、语音、多模态模型搭建独立隔离训练环境，完成数据集微调对照实验，量化对比微调前后的模型准确率、关键词识别、场景描述专业度，形成可复现的性能基线报告；各类数据集须达到最低性能提升阈值；并据此定位数据场景覆盖、样本均衡、标注规范三个层面的短板，输出数据集迭代优化专项方案（b1886、b1887）。 这一项是本方案与一般数据质检的分界线。静态检测回答"数据干不干净"，只有对照实验能回答"数据有没有用"。我方的实验设计遵循四条原则。 其一，**同一变量只变数据**。基准模型、训练超参、评测集、评测脚本、随机种子在微调前后两组中保持一致，唯一变量是是否引入被评测数据集。实验配置以配置文件形式入档，报告中给出全部取值。 其二，**测试集先隔离后建设**。测试样本在数据集加工开始之前即按来源与时间双重切分划出，加工环节不得接触。视频类数据集按采集设备隔离封存划分独立测试集（b2070），即某些采集设备产出的样本整体不进入训练集，以免同一机位、同一光照条件下的样本造成信息泄漏。 其三，**裁判与自动指标并列**。文本与视频类采用大模型裁判对独立测试样本做双盲评分，同时给出自动指标（如 Rouge-L）；两者结论不一致的样本抽出做人工仲裁，仲裁结果与两类指标的偏差一并记入报告。只给单一指标的实验不足以支撑"专业度提升"这类结论。 其四，**提升阈值分层设定、留有回退**。我方按数据集类型给出最低性能提升阈值的建议值，并说明阈值未达成时的处置路径。阈值的最终取值在定制评测方案设计阶段与甲方共同确认（b2118），本节给出的是建议基线。 表 S3-2　四类数据集的对照实验设计与最低提升阈值建议 | 数据集类型 | 基准模型与微调方式 | 主要观测指标 | 最低提升阈值建议 | 阈值未达成的处置 | |---|---|---|---|---| | 文本类（预训练语料、指令微调、偏好数据） | 招标文件指定的文本类开源基础模型，采用低秩适应（Low-Rank Adaptation，LoRA）微调（b2064） | 裁判模型在准确性、完整性、专业性、简洁清晰性四维上的评分 | 四维平均分相对提升 ≥15%，其中专业性单维提升 ≥10% | 定位到知识密度不足或指令覆盖缺口，补充该业务域样本后重做实验 | | 场景类（图像分割与检测） | 招标文件指定的轻量视觉分割基础模型，按标准训练—验证—测试划分做分割微调（b2066） | 边界框检测与分割的双重性能（mAP、mIoU） | mIoU 相对提升 ≥10%，mAP 相对提升 ≥8% | 定位到标注边界精度或场景覆盖不足，返回标注环节重做一致性校验 | | 语音类 | 招标文件指定的轻量语音基础模型，做零样本与微调对照（b2068） | 字错率（CER）、专业术语与指令关键词召回率 | 关键词召回率绝对提升 ≥8 个百分点，字错率相对下降 ≥15% | 定位到采集信噪比或专业术语词表缺口，补采或扩充词表后重做 | | 视频类 | 招标文件指定的多模态基础模型，采用低秩适应微调，采集设备隔离封存划分测试集（b2070） | 裁判模型在场景描述、密度判断、异常判断、语言专业性四维评分，并列 Rouge-L | 裁判四维平均分相对提升 ≥12%，Rouge-L 相对提升 ≥8% | 定位到领域知识密度或标注规范问题，补充标注规则与典型样例后重做 | 表中的基准模型与微调方式均按招标文件原文的指定执行，具体型号以招标文件所列为准（b2063—b2070）。若实施期内指定版本不可获取，我方按同参数量级、同架构的开源模型替代，替代方案连同对比口径的影响评估一并提交甲方书面确认后执行，原指定模型的实验记录在报告中说明替代原因。 四类阈值中，语音类的「关键词召回率绝对提升 ≥8 个百分点」以绝对百分点而非相对比例表述，原因是召回率本身已是比例量，零样本基线偏低时相对提升容易被放大，绝对差更能反映可用性的实际改善。这一取值是我方按矿山现场的语音条件给出的首期基线：作业环境存在设备背景噪声与口音差异，零样本解码对专业术语与作业口令的召回明显低于通用场景，引入术语词表与微调后一档能被工序人员感知的改善即落在这个量级。判定办法随基线一并写明——测试集按说话人与采集时段切分并在加工开始前封存，样本量按第 5.5.3 节的比例估计口径设计（95% 置信水平、绝对误差 ±3 个百分点），使抽样误差明显小于该判定门限；零样本与微调两组使用同一测试集、同一术语词表与同一评测脚本，按现场作业、调度指令、设备异常描述三类场景分组统计；按表 S3-31 的口径不少于三次重跑，以均值判定，标准差一并记入报告。判定时点为首轮评测及其后的每一次全量复测。未达到基线时的处置按表中所列执行，先分组定位是采集信噪比不足还是术语词表缺口，补采或扩充词表后重做实验；重做仍未达成的，按第 5.3.3 节的三种情形归因，在报告中单列说明并给出调整建议。随服务期内采集规范与术语词表的迭代，这一指标的目标逐步接近 15 个百分点，终值在定制评测方案设计阶段与甲方共同确认（b2118）。 性能基线报告的可复现性以三件材料支撑：环境镜像清单（含框架版本、驱动版本、依赖版本）、训练与评测脚本及其配置文件、随机种子与数据划分清单。甲方在同一隔离环境内按这三件材料重跑，指标偏差应落在同一数量级内；我方以主要指标重跑偏差不超过 ±1.5 个百分点为可复现的判定口径。 短板定位不是实验的副产品，而是实验设计的一部分。我方在实验中按业务域、按场景、按标签类别做分组评测，使"哪一类样本拖低了整体指标"可以直接读出。例如板材备料工艺的指令微调数据集，按 28 道工序分组统计裁判评分，评分明显偏低的工序即对应样本覆盖或标注口径的短板；热处理数据集按材料批次与装炉方式分组，可以看出是否存在某一类装炉方式的样本过少。分组结论汇入《数据集迭代优化专项方案》，该方案的内容结构见第 6.5 节。 #### 2.3 第三项　缺陷整改闭环管控目标 招标文件要求针对评测检出的缺陷设计标准化整改方案，内容包含问题样本定位、缺陷成因、分步修正操作、复检校验规则；在甲方完成数据修正后提供复测服务，直至同类缺陷清零；建立"评测—问题输出—整改指导—复测校验"的质量闭环（b1888、b1889）。 闭环能不能转起来，取决于三件事是否做实。 **第一件是样本能不能定位到唯一。** 缺陷清单中的每一条都带六个必填字段：数据集标识与版本号、样本唯一标识、文件路径与偏移位置（文本给出字符区间，图像给出区域坐标，音视频给出时间码）、命中的三级指标编号、缺陷等级、检测手段与检测时间。缺少任一字段的条目不予进入整改清单，这是为了避免出现"某批数据有重复问题"这类无法执行的结论。 **第二件是成因要指向可操作的环节。** 我方把缺陷成因归入五类：采集环节（源系统字段本身为空、采集时段缺失、传感器失效）、解析环节（图纸图元解析失败、版面还原错位、编码转换错误）、标注环节（标注规则理解偏差、标注员之间口径不一致、标签体系粒度不足）、加工环节（去重阈值不当、切分造成语义截断、合成样本分布偏离）、治理环节（主键映射缺失、口径字典未更新、版本记录断档）。成因分类直接对应整改责任环节，不写"数据质量不高"这类无指向的结论。 **第三件是复检规则要在整改之前给出。** 每一类缺陷的整改指引末尾附复检校验规则，写明复检的检测手段、判定阈值、抽样比例与通过条件。甲方按指引完成修正后，复测直接套用这套规则，不重新议定判据。 招标文件要求"直至同类缺陷清零"。我方的落地口径是：按三级指标统计同类缺陷的残留率，残留率降到该指标合格阈值以下且连续两次复测不再新增同类缺陷，即判定该类缺陷闭环；对高风险类缺陷按第 2.1 节的抽样复查口径判定。这样表述的原因是数据集在服务期内持续有增量进来，用"永不出现"作为判据无法在时间上收口，而"残留率低于阈值且连续两次复测不新增"是可核对、可签字的。 ##### 图 S3-2　缺陷整改复测闭环的流转与责任边界 我方与第三方评测机构职责范围 甲方职责范围（数据修正由甲方完成） 首轮全量评测 静态检测 ＋ 动态验证 结构化缺陷清单 六字段定位 ＋ 五类成因 分级整改指引 分步操作 ＋ 复检规则 集中复测 复用同一套判据重算 传：命中指标与等级 传：修正标准与阈值 传：修正后数据版本 甲方执行数据修正 按指引逐条处置并回填状态 未闭环条目回流下一轮评测 闭环判定：按三级指标统计同类缺陷残留率 ≤ 合格阈值，且连续两次复测不新增同类缺陷；高风险类按抽样复查零发现判定 图 S3-2　缺陷整改复测闭环。数据来源：招标文件 3.2.8.1 第 3 项（b1888、b1889）与 3.2.8.2.4 第 4 阶段（b2131—b2137）。 #### 2.4 第四项　标准化成果交付与合规验收目标 招标文件要求归集可存档、可溯源的评测原始过程资料与正式盖章评测报告，形成完整的数据质量档案，交付材料可直接支撑行业高质量数据集达标验收、企业数据资产备案、上级数字化专项审计、内部合规检查四类用途；并依托评测成果持续优化集团数据集管理规范（b1890、b1891）。 四类用途对材料的要求并不相同，我方按用途反推档案的组织方式，而不是把全部材料堆成一个压缩包交付。 达标验收关心的是指标逐项有无结论、结论是否可追到检测记录。资产备案关心的是数据集的来源合法性、权属与使用许可、规模与版本。专项审计关心的是过程是否留痕、是否存在选择性检测、样本抽取是否可复现。内部合规检查关心的是安全与隐私类指标的检测覆盖与处置记录。 因此质量档案按五个分册组织：指标结论册、过程记录册、权属与合规册、模型实验册、整改闭环册。每一册的具体内容、份数与载体形式见第 8 章。四类用途各自对应的调阅清单一并在该章列表给出，使甲方在接受审计或办理备案时可以直接按清单抽取，不必重新梳理。 关于"持续优化集团数据集管理规范"这一条，我方的做法是在每一轮集中复测之后出具一份《数据集管理规范修订建议》，内容限定在本轮评测实际暴露的问题上：哪一类缺陷反复出现、对应的现行规范条款是哪一条、建议如何修改、修改后如何在下一轮评测中验证。建议稿交甲方数据管理部门决策，我方不代行规范发布。这是责任边界，写明于此以免执行期产生歧义。 #### 2.5 四项目标到指标、方法与交付物的对应 四项目标各自成立，并不等于它们合起来覆盖了招标文件要求的工作范围，也不等于每一项目标都有对应的检测手段与可点验的成果。把目标、指标维度、评测方法、交付物并列对照，正是为了检验这三层对应关系有无断点：有目标而无承接指标，意味着该目标无法量化；有指标而无对应方法，意味着指标无法落地；有方法而无交付物，意味着工作结果无法点验。 表 S3-3 横向逐行追踪一项目标的落地链条，纵向则可核对四项目标在指标维度上有无重复或遗漏——说明文档 21 项与数据质量 45 项归第一项目标，模型应用 15 项归第二项目标，第三项目标承接三维度全部指标的缺陷侧，第四项目标承接三维度结论的归集与出证，81 项指标各有归属且不重复承接。「单元」一栏给出每一行在招标文件中的出处，使这一对应关系可以逐行回溯原文核对。 表 S3-3　评测目标与指标、方法、交付物的对应关系 | 评测目标 | 主要承接的指标维度 | 主要评测方法 | 对应交付物 | 单元 | |---|---|---|---|---| | 数据质量合规核验 | 说明文档全部 21 项；数据质量全部 45 项 | 自动化批量检测 ＋ 专家人工分层复核 | 指标打分表、缺陷清单、检测日志 | b1884、b1885 | | 模型实战适配效能验证 | 模型应用 15 项，其中模型适配性 4 项为核心 | 基准模型对照实验 | 性能基线报告、迭代优化专项方案 | b1886、b1887 | | 缺陷整改闭环管控 | 三维度全部指标的缺陷侧 | 分级整改指引 ＋ 集中复测 | 整改指引、缺陷台账、复测报告 | b1888、b1889 | | 标准化成果交付与合规验收 | 三维度结论的归集与出证 | 加权计分与综合判定 | 盖章正式评测报告、五分册质量档案、规范修订建议 | b1890、b1891 | 本章四项目标共同构成招标文件 3.2.8.1 节要求的"首轮全量评测 ＋ 缺陷整改复测"工作范围（b1883）。首轮评测的对象是四大数据集封版后的完整版本，复测的对象是甲方修正后的版本与服务期内的增量批次，两者适用同一套指标与同一套判据。 ### 3、评测依据（综合评分表第 3 项所称「测评依据」） 招标文件规定本次数据集质量评测的全部工作须遵循国家法律法规、人工智能与数据领域行业专项规范、采购人内部数据管理相关制度构成的四层依据开展，所有评测指标、检测流程、风险判定规则与报告结论均不得与所列文件要求冲突（b1894）。 #### 3.1 四层依据体系的构成与各层作用 四层依据不是并列的参考文献清单，它们在本方案中承担不同的功能。 第一层国家法律法规划定不可逾越的红线，决定哪些检测必须做、哪些数据不得外流、哪些内容必须清除。它对评测方案的约束是否决性的：任一检测流程若与法律要求冲突，该流程不成立。 第二层行业专项评测规范提供指标体系的骨架与打分方法，决定指标怎么分层、缺陷怎么分级、模型验证怎么组织。它对评测方案的约束是结构性的。 第三层煤炭装备行业专属补充依据提供判定标准的行业取值，决定井下场景的文本、图像、音视频数据在专业性与保密性上按什么尺度判定。它对评测方案的约束是参数性的。 第四层采购人内部数据管理相关制度提供企业自身的口径与流程衔接，决定数据分级分类按谁的目录执行、密级如何认定、报告格式与归档要求如何对接企业档案管理。它对评测方案的约束是适配性的。 四层之间出现不一致时，按法律法规优先、行业规范次之、行业补充依据与采购人内部制度就具体条款择严执行的顺序处理。处理过程不由评测人员自行判断：出现不一致时提交评测方案评审会，由甲方数据管理部门与我方技术统筹共同裁定，裁定结论记入《评测口径裁定记录》，作为后续复测的依据。 ##### 图 S3-3　四层评测依据对三维度指标体系的约束关系 四层依据 一　国家法律法规 数据安全法等五部 否决性约束 二　行业专项评测规范 TC609-5-2025-04 等两项 结构性约束 三　煤炭装备行业依据 智能化指南与保密指引 参数性约束 四　采购人内部制度 分级分类与档案要求 适配性约束 安全规范性 2.2（8 项） 隐私规范性 2.9（1 项） 三维度分层结构与打分方法 缺陷分级与模型验证流程 领域专业性 2.11、业务相关性 3.5 涉密判定尺度与井下场景口径 数据分级分类目录与密级认定 报告格式与归档载体要求 指标打分表 每项三级指标登记： 依据来源条款 检测手段 合格阈值 缺陷等级 证据留存方式 依据与指标一一绑定， 审计时可反向追溯 依据冲突处理：法律法规优先 → 行业规范次之 → 行业补充依据与采购人内部制度就具体条款择严 裁定由甲方数据管理部门与我方技术统筹在评测方案评审会上共同作出，记入《评测口径裁定记录》 图 S3-3　四层依据对指标体系的约束关系。数据来源：招标文件 3.2.8.2.1 节（b1894—b1909）与 3.2.8.2.2 节指标分组（b1912—b2098）。 #### 3.2 第一层　国家法律法规 招标文件列明五部法律法规作为第一层依据：《中华人民共和国数据安全法》（b1896）、《中华人民共和国个人信息保护法》（b1897）、《中华人民共和国网络安全法》（b1898）、《生成式人工智能服务管理暂行办法》（b1899）、《关键信息基础设施安全保护条例》（b1900）。招标文件同时提出落地要求：隐私脱敏、版权溯源、涉密数据筛查、内容安全检测、数据本地离线管控五类流程必须完全匹配上述法律要求（b1901）。 把法律条文落到评测动作上，关键是不把"合规"写成一句态度。我方对五部法律逐部给出它在本次评测中约束的具体动作、对应的三级指标与留存的证据，见表 S3-4。 表 S3-4　第一层法律法规到评测动作的对照 | 依据文件 | 在本次评测中约束的具体动作 | 对应三级指标 | 留存证据 | 单元 | |---|---|---|---|---| | 《中华人民共和国数据安全法》 | 按甲方数据分级分类目录核定每一数据集的级别；重要数据不出甲方内网；检测工具与模型推理环境部署在内网隔离区；全程操作留审计日志 | 隐私规范性 2.9.1、内容可追溯 2.6.1 | 数据分级登记表、环境部署验收单、操作审计日志 | b1896、b1901 | | 《中华人民共和国个人信息保护法》 | 对员工姓名、工号、身份证号、手机号、人脸、声纹等个人信息做识别与脱敏核验；核验脱敏后不可逆、不可通过关联复原；对人脸与声纹类生物识别信息单独统计并单独出结论 | 隐私规范性 2.9.1 | PII 检测报告、脱敏规则清单、关联复原测试记录 | b1897、b1901 | | 《中华人民共和国网络安全法》 | 评测环境的账号权限按最小必要配置；外部人员入场作业全程双人在场并留痕；检测结果数据与原始数据分区存储 | 结构完整性 2.1 全部、安全规范性 2.2 全部 | 账号权限台账、入场作业记录、存储分区说明 | b1898、b1901 | | 《生成式人工智能服务管理暂行办法》 | 对训练语料做涉政、色情、暴恐、歧视偏见等内容安全检测；对合成数据标注生成来源与生成算法，核验合成样本可追溯至生成过程 | 安全规范性 2.2 全部、内容可追溯 2.6.1 | 内容安全检测清单、合成数据来源登记表 | b1899、b1901 | | 《关键信息基础设施安全保护条例》 | 涉及井下生产与设备运行的数据按关键信息基础设施相关数据对待，检测过程不接入互联网、不使用公网云端服务、不导出原始样本 | 隐私规范性 2.9.1、内容可追溯 2.6.1 | 网络隔离测试记录、介质管控登记表 | b1900、b1901 | 五类落地流程中，版权溯源一项在煤机数据集上有其特殊性，值得单独说明。四大数据集的来源包含三类：甲方自有的业务系统数据与图纸工艺资料、公开渠道获取的行业标准与技术文献、经甲方授权使用的第三方资料（如配套厂家提供的接口参数）。第一类权属清晰；第二类须核验原始出处与许可条款，判断是否允许用于模型训练；第三类须核验授权书的覆盖范围是否包含"用于人工智能训练"这一用途。 评测在内容原创性 2.10 与使用许可 1.4.1 两项指标上分别检查来源登记与许可声明，对许可条款不明的样本列入待确认清单，由甲方法务确认后再决定是否计入数据集规模。这一条不是程序性的客套，它直接影响数据集能否通过资产备案。 数据本地离线管控的具体技术安排见第 7.2 节。此处只说明一条判定口径：我方在评测准备阶段完成网络隔离的实测验证，验证方式是在评测环境内尝试访问外部地址并记录结果，验证记录由甲方信息部门会签。未完成验证的环境不开始评测作业（b2113）。 #### 3.3 第二层　行业专项评测规范 招标文件列明两项行业专项评测规范（b1902）：《高质量数据集质量评测规范》（TC609-5-2025-04）（b1903）与《关于推进行业高质量数据集建设行动的实施方案》（b1904），并要求严格按该规范搭建"说明文档＋数据质量＋模型应用"三维度指标体系，打分规则、缺陷分级、模型实战验证流程均以此为基础，结合煤机业务场景做定制化适配（b1905）。 我方对这一层依据的使用方式是"骨架照搬、取值定制"。 骨架照搬指的是三件事：维度划分照搬为说明文档、数据质量、模型应用三个一级维度，不增删；二级与三级指标的名称与定义照搬招标文件 3.2.8.2.2 节列明的 81 项，不改名、不合并；打分采用规范的分档计分方式，缺陷分级采用高、中、低三级。照搬的理由很直接：评测报告要用于行业高质量数据集达标验收（b1891），指标名称与规范一致才能被对口机构直接采信，自行改名会在验收环节产生解释成本。 取值定制指的是每一项指标的合格阈值、抽样比例、判定细则结合煤机业务确定。规范给出的是通用取值，用在矿山装备数据上会出现两类偏差。一类是偏严：例如文本困惑度（b2001）在通用语料上有常见的参考区间，而工艺卡片、材料定额、工序说明这类文本本身句式短、术语密、数字多，困惑度天然高于自然语言文本，若按通用区间判定会把大量合格样本判为不合格。 另一类是偏松：例如图像清晰度（b2021）在通用图像数据集上只要无明显模糊即可，而用于备料工艺的 DWG 图纸转出图像必须能分辨出粗糙度符号与尺寸公差标注，分辨不出即不可用，判定尺度须比通用标准严。两类偏差都在定制评测方案设计阶段逐项校正，校正依据与校正后的取值写入指标打分表并经甲方审核（b2118）。 《关于推进行业高质量数据集建设行动的实施方案》的作用主要在两处：一是数据集的分类与命名口径，使四大数据集的命名、规模统计方式与行业口径一致，便于后续纳入行业数据集目录；二是建设成效的度量方向，即数据集应当支撑行业模型训练与场景落地，而非只追求体量。这两点落到评测上，分别对应规模完整性 3.3.1（b2077）与业务相关性 3.5 的三项指标（b2083—b2088）。 表 S3-5　第二层行业规范的照搬项与定制项 | 规范要素 | 照搬方式 | 煤机场景定制内容 | 定制依据 | |---|---|---|---| | 一级维度划分 | 三维度原样采用 | 不定制 | b1911 | | 二三级指标名称与定义 | 原样采用招标文件列明的 81 项 | 不定制 | b1912—b2098 | | 合格阈值 | 采用规范的分档结构 | 逐项按矿山装备数据特征校正取值 | b1905 结合煤机场景适配 | | 抽样比例 | 采用分层抽样方法 | 按业务域、工序、模态分层，高风险项全量 | b2114 | | 缺陷分级 | 高中低三级 | 涉密与未脱敏个人信息一律高级；工序字典外的工序标注一律中级以上 | b1885、b1909 | | 模型验证流程 | 采用对照实验设计 | 四类基准模型按招标文件指定，分组评测按业务域与工序切分 | b2063—b2070 | #### 3.4 第三层　煤炭装备行业专属补充依据 招标文件在煤炭装备行业专属补充依据项下（b1906）列明《煤矿智能化建设指南》（b1907）与煤机装备行业技术数据、设备参数保密管理相关行业指引（b1908），并要求针对煤矿井下场景的文本、图像、音视频数据集评测设计适配行业的判定标准（b1909）。 这一层依据回答的是"什么叫专业"和"什么不能出域"两个问题。 **什么叫专业。** 《煤矿智能化建设指南》提供的是智能化建设的技术方向与分级要求，用在评测上主要作为领域专业性 2.11.1（b2059）与行业符合度 3.5.1（b2083）的判定参照。 我方把这两项指标的判定具体化为三条可检项：术语是否使用行业规范名称（如"刮板输送机"而非"刮板机"、"液压支架"而非"支架"、工作面类型按超长、常规、大采高、薄煤层分类）；参数是否落在行业合理区间（如链环直径、槽宽档位、装机功率的取值须落在在产型谱范围内）；工艺表述是否与作业指导书一致（如备料工序名称必须取自工艺部门确认的正式工序字典，字典外的工序名一律判为不合格）。三条可检项由行业专家在人工复核环节逐项核查，核查结论附具体样本编号。 **什么不能出域。** 保密管理行业指引的作用是划定涉密判定的尺度。矿山装备数据中有几类内容需要特别注意：矿方的地质条件报告与煤质参数、工作面具体位置与产能数据属于矿方的敏感信息；装备的关键结构设计参数、材料配方与热处理工艺曲线属于甲方的技术秘密；配套厂家在会商中提供的接口参数可能受第三方保密约定约束。 评测在涉密数据筛查环节对这三类内容分别建立识别规则，规则由甲方保密管理部门确认后生效。筛查命中的样本不在评测报告中引用原文，只给出样本编号与命中规则编号，原文留在甲方内网的评测工作区。 **井下场景的多模态判定标准。** 井下与车间现场的图像、音视频数据有其固有特点，通用判定标准需要调整。表 S3-6 列出主要的调整项。 表 S3-6　井下与车间现场多模态数据的判定标准调整 | 数据类型 | 通用标准的问题 | 本项目的判定标准 | 对应指标 | |---|---|---|---| | 井下与车间现场图像 | 按通用亮度与对比度标准会把低照度现场图像大量判为不合格 | 以能否分辨目标部件轮廓与缺陷特征为判据，低照度但目标可辨即为合格；同时要求随样本登记照明条件 | 图像清晰度 2.7.11、图像信噪比 2.7.10 | | 图纸转出图像 | 通用分辨率下限不足以分辨工程符号 | 要求能分辨粗糙度符号、坡口标注、尺寸公差三类标记，不满足即不合格 | 图像分辨率 2.7.1、图像清晰度 2.7.11 | | 设备运行音频 | 通用语音信噪比标准不适用于机械噪声背景 | 以目标频段信号可分离为判据，允许宽带背景噪声存在但要求目标特征频段信噪比达到阈值 | 音频信噪比 2.7.12 | | 现场作业语音 | 方言与专业口令导致通用语音质量评分偏低 | 建立专业术语与作业口令词表，以词表覆盖的关键词可辨识率为主要判据 | 音频信噪比 2.7.12、标注准确性 3.4.1 | | 焊接与热处理过程视频 | 通用帧率与清晰度标准不考虑强光与烟尘干扰 | 按观测目的设定：形貌留痕类要求目标区域清晰可辨，过程记录类放宽至可判断工序阶段 | 视频清晰度 2.7.20、视频帧率 2.7.18 | | 井下测点时序数据 | 通用完整性标准按缺失率一刀切 | 区分传感器失效造成的连续缺失与通信抖动造成的零星缺失，前者判为高级缺陷并要求补采，后者按插值可用性判定 | 记录完整性 2.1.4、信息缺失度 2.7.5 | 表 S3-6 中的调整均属判定尺度的行业适配，指标名称与定义不变（b1909）。 #### 3.5 第四层　采购人内部数据管理相关制度 招标文件在 b1894 把采购人内部数据管理相关制度列为四层依据之一，但未在 b1895—b1909 中逐项列出具体文件。我方的处置办法是在评测准备阶段完成这一层依据的清点，具体做法分三步。 第一步，向甲方数据管理部门索取现行有效的内部制度清单，范围包括数据分级分类目录、保密管理规定、档案管理办法、信息系统数据访问管理规定、以及本项目蓝图设计阶段形成的数据管理要求。索取清单的格式由我方提供，逐份登记文件名、版本号、生效日期、责任部门。 第二步，逐份判断该制度对评测的影响落在哪一类：影响数据分级与出域范围的，落到第 7.2 节的环境与介质管控；影响指标判定口径的，落到对应三级指标的判定细则；影响报告格式与归档的，落到第 8 章的档案组织；与评测无关的，登记备案不再引用。 第三步，把清点结果与影响判断汇成《采购人内部制度适用性清单》，作为定制评测方案的附件提交甲方审核（b2118、b2122）。本节在投标阶段只能给出清点方法与登记格式，具体文件名与条款号须在准备阶段取得甲方制度文本后填入，稿件中标注为【待填：甲方现行数据管理制度清单及版本号】。 #### 3.6 依据的变更跟踪 建设周期至 2028 年 5 月，期间法律法规与行业规范可能换版。我方建立依据变更跟踪机制，内容为三项：每季度核查四层依据各文件的现行有效版本，核查结果记入《评测依据版本台账》；发生换版时评估对指标口径与阈值的影响，形成影响评估单；影响评估结论须经甲方确认后方可调整指标打分表，调整前后的版本在质量档案中并存，使历史评测结论仍可按当时的依据版本解释。 这一机制的意义在验收环节会体现出来：若首轮评测依据的某项规范在最终验收前换版，有台账与影响评估单在，可以说明历史结论的有效性，不必重做全部评测。 ### 4、评测指标体系 招标文件依据《高质量数据集质量评测规范》（TC609-5-2025-04）搭建由说明文档、数据质量、模型应用构成的三维度评测指标体系，并明确三个维度各自的作用：说明文档指标核查数据集配套资料的完整性、准确性与清晰度，使使用者能够无歧义地解读与运用数据集；数据质量指标量化数据集的各项质量特征，校验数据能否达到人工智能模型研发与训练的基本要求；模型应用维度立足模型实战训练场景，研判数据集的落地适配能力与应用价值。招标文件同时要求第三方评测机构结合项目业务场景对各分项指标做灵活适配与调整（b1911）。 #### 4.1 指标体系的总体设计 ##### 4.1.1 层级与计数 招标文件列明的指标体系为三层结构：一级为三个维度，二级为 22 个指标组，三级为 81 个可检指标。计数明细见表 S3-7。 逐项核对指标的数量看似琐碎，却是本章其余部分得以成立的前提：三级指标的项数若与招标文件不一致，其后的打分表登记、权重聚合与合格线判定都会落空，而这类偏差在综合总分算出之前不易察觉。表 S3-7 的列设计即为此服务——「三级指标数」一栏是计数本身，「招标文件单元范围」一栏是该计数的出处，两栏并置使每一个数字都能回溯到招标文件的具体条款，不依赖转述。 阅读时按维度看小计行：说明文档 4 组 21 项、数据质量 11 组 45 项、模型应用 7 组 15 项，三者相加为 22 组 81 项，与招标文件 b1912—b2098 的指标条款范围逐条对应。数据质量维度之所以项数最多，是因为内容干净性一组单独展开为 21 项，这与矿山装备制造数据来源庞杂、噪声形态多样的实际相称。这张表支撑的是后文《指标打分表》的完备性承诺：打分表逐项登记的对象即是这 81 项，不增不减；确需按数据集特性裁剪的，按第 4.1.3 节的规则标注适用性并在得分聚合中剔除，裁剪记录随质量档案留存。 表 S3-7　三维度指标体系的层级与计数 | 一级维度 | 二级指标组 | 三级指标数 | 招标文件单元范围 | |---|---|---|---| | 1 说明文档 | 1.1 基本信息完整性 | 6 | b1913—b1925 | | 1 说明文档 | 1.2 内容特征完整性 | 5 | b1926—b1936 | | 1 说明文档 | 1.3 建设过程完整性 | 5 | b1937—b1947 | | 1 说明文档 | 1.4 应用说明完整性 | 5 | b1948—b1958 | | 1 说明文档　小计 | 4 组 | 21 | — | | 2 数据质量 | 2.1 结构完整性 | 4 | b1960—b1968 | | 2 数据质量 | 2.2 安全规范性 | 8 | b1969—b1985 | | 2 数据质量 | 2.3 格式规范性 | 1 | b1986—b1988 | | 2 数据质量 | 2.4 标注规范性 | 1 | b1989—b1991 | | 2 数据质量 | 2.5 类型一致性 | 1 | b1992—b1994 | | 2 数据质量 | 2.6 内容真实性 | 2 | b1995—b1999 | | 2 数据质量 | 2.7 内容干净性 | 21 | b2000—b2042 | | 2 数据质量 | 2.8 内容一致性 | 3 | b2043—b2049 | | 2 数据质量 | 2.9 隐私规范性 | 1 | b2050—b2052 | | 2 数据质量 | 2.10 内容原创性 | 2 | b2053—b2057 | | 2 数据质量 | 2.11 领域专业性 | 1 | b2058—b2060 | | 2 数据质量　小计 | 11 组 | 45 | — | | 3 模型应用 | 3.1 模型适配性 | 4 | b2062—b2070 | | 3 模型应用 | 3.2 内容多样性 | 2 | b2071—b2075 | | 3 模型应用 | 3.3 规模完整性 | 1 | b2076—b2078 | | 3 模型应用 | 3.4 标注准确性 | 1 | b2079—b2081 | | 3 模型应用 | 3.5 业务相关性 | 3 | b2082—b2088 | | 3 模型应用 | 3.6 内容均衡性 | 3 | b2089—b2095 | | 3 模型应用 | 3.7 时间跨度覆盖度 | 1 | b2096—b2098 | | 3 模型应用　小计 | 7 组 | 15 | — | | 合计 | 22 组 | 81 | b1912—b2098 | ##### 4.1.2 每项三级指标的登记要素 指标体系的可实施性不取决于指标列得全不全，而取决于每一项指标是否写清了怎么测、测到什么算合格、不合格算几级。我方为 81 项三级指标逐项登记七个要素，构成《指标打分表》： 指标编号与名称，与招标文件原文一致，不改名；检测对象，即该指标作用于说明文档、数据文件、标注文件、元数据中的哪一类；检测手段，分自动化检测、人工复核、模型实验三类，允许一项指标同时指派两类手段；判定口径与合格阈值，写明计算公式或判定规则及合格线取值；缺陷等级，高、中、低三级之一，部分指标按命中内容的性质动态定级；证据留存方式，写明检测日志、样本清单、复核记录中哪一类作为该指标的证据；适用性条件，写明该指标在何种模态或何种数据集类型下不适用。 《指标打分表》是本节在实施期的核心工作底稿，其空表模板随投标文件以附录形式提供（见附录佐证卷 A2 节），取值在定制评测方案设计阶段填定并经甲方审核（b2118、b2122）。 ##### 4.1.3 四大数据集的适用性裁剪 本项目的四大数据集在模态构成上不同，指标适用范围因此不同。预训练数据集 615 亿 Token 以文本为主，兼有图纸转出图像与少量音视频；指令微调数据集 89 万条为结构化的指令—响应对；强化学习偏好数据 6.6 万组为同一指令下的多响应排序对；基准测试数据集 0.95 万条为带标准答案的评测题目。适用性裁剪的结果见表 S3-8。 表 S3-8　四大数据集的指标适用性裁剪 | 数据集 | 规模口径 | 不适用的指标组 | 需加强判定的指标组 | 说明 | |---|---|---|---|---| | 预训练数据集 | 615 亿 Token（供需计划 276 亿、工艺设计 70 亿、制造过程 105 亿、质量 164 亿） | 标注规范性 2.4、标注准确性 3.4（无人工标注环节的部分） | 内容干净性 2.7 文本七项、内容原创性 2.10、重复内容程度 2.7.3 | 体量最大，自动化检测为主，重复与纯净度是主要风险 | | 指令微调数据集 | 89 万条（40＋10＋15＋24 万条） | 音视频类 2.7 十项（纯文本部分） | 标注规范性 2.4、语义一致性 2.8.2、领域专业性 2.11 | 指令与响应的配对质量决定微调效果，人工复核比重最高 | | 强化学习偏好数据 | 6.6 万组（3.2＋0.8＋1＋1.6 万组） | 音视频类 2.7 十项 | 标注规范性 2.4、概念一致性 2.8.1、特征均衡性 3.6.1 | 排序标注的一致性是核心，须统计标注员间一致率 | | 基准测试数据集 | 0.95 万条（0.4＋0.1＋0.2＋0.25 万条） | 规模完整性 3.3 按绝对量判定的部分 | 内容准确性 2.6.2、场景多样性 3.2.1、场景均衡性 3.6.3 | 作为评测标尺使用，答案正确性与场景覆盖的要求高于其他三类 | 裁剪的原则是：不适用项须有明确理由并在报告中列明，不得以"不适用"回避应检项。裁剪清单经甲方审核确认后固定，后续复测沿用同一份裁剪清单，避免不同轮次之间分母变动导致得分不可比。 ##### 图 S3-4　三维度指标体系的层级结构与得分聚合路径 三级指标（81 项，逐项出具检测结论） 说明文档　21 项 1.1 基本信息 6 ｜ 1.2 内容特征 5 1.3 建设过程 5 ｜ 1.4 应用说明 5 手段：人工复核为主 自动化校验元数据字段齐备性 数据质量　45 项 2.1—2.5 结构格式标注 7 2.6—2.11 真实干净一致等 38 手段：自动化为主 安全与专业类叠加人工复核 模型应用　15 项 3.1 模型适配性 4（对照实验） 3.2—3.7 多样均衡等 11 手段：模型实验 ＋ 统计分析 业务相关性由行业专家复核 二级指标组得分（22 组，组内三级指标按项数均权） 4 组 → 维度一得分 组内合格率折算百分制 11 组 → 维度二得分 安全与隐私组设一票否决 7 组 → 维度三得分 提升幅度按阈值分档计分 权重 20% 权重 50% 权重 30% 数据集综合总分（百分制）＝ 说明文档 ×20% ＋ 数据质量 ×50% ＋ 模型应用 ×30% 合格线：综合总分 ≥85 分，且三个维度各自 ≥80 分；权重取值最终以技术协议与蓝图设计确认为准 一票否决：安全规范性 2.2 任一项检出高风险内容未清除，或隐私规范性 2.9 检出未脱敏个人信息 触发时综合总分不予认定，整改后重新评测该维度全部指标 图 S3-4　指标层级与得分聚合路径。数据来源：招标文件 3.2.8.2.2 节指标分组（b1912—b2098）、3.2.8.2.3 节加权计分要求（b2106）、3.2.8.2.4 节整体验收硬性标准（b2143—b2147）。权重建议值为我方提出，招标文件 b2106 表述为"按招标文件约定权重"但未列明具体取值。 #### 4.2 维度一　说明文档指标（21 项） 说明文档维度核查的对象不是数据本身，而是随数据集交付的配套资料。这一维度在矿山装备数据集上的实际意义比通用场景更大：接手这批数据集的人可能是甲方的工艺工程师、也可能是三年后负责模型迭代的技术人员，如果说明文档不交代清楚备料工序字典取自哪一版、图纸转出图像的分辨率设定是多少、工艺卡片与图纸的配对关系按什么键建立，数据集的可复用性会在人员变动后迅速衰减。 本维度 21 项指标以人工复核为主要手段，自动化检测承担元数据字段齐备性的机械校验。复核采用双人独立打分、分差超过一档时由第三人仲裁的方式，复核记录随报告归档。 ##### 4.2.1 基本信息完整性（1.1，6 项） 六项指标核查的是"拿到这个数据集，能不能知道它有多大、长什么样、放在哪、出问题找谁、怎么开始用"。 表 S3-9　基本信息完整性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 1.1.1 数据集规模 | 是否量化说明样本总数、总时长、总词数或总存储空间 | 自动化比对说明文档声明值与实际统计值 | 四大数据集须分别声明本项目口径的规模量（Token 数、条数、组数）并按业务域分列；声明值与实测值偏差 ≤1% 为合格 | 偏差 >5% 判中级，未声明判高级 | b1914、b1915 | | 1.1.2 格式规范 | 是否清晰定义文件类型、编码方式、数据结构 | 人工复核 ＋ 自动化抽样校验 | 须逐模态写明文件扩展名、字符编码、序列化格式与字段结构定义；抽样文件实际格式与声明一致 | 声明缺项判中级，声明与实际不符判高级 | b1916、b1917 | | 1.1.3 文件结构 | 是否说明目录组织、文件命名规则与各文件内容 | 人工复核 ＋ 目录树自动比对 | 须给出目录树、命名规则（含施工号、图号、炉次号等业务标识在文件名中的位置）与每一层级的内容说明；实际目录与说明一致 | 命名规则缺失判中级 | b1918、b1919 | | 1.1.4 获取渠道 | 是否提供明确可访问的下载链接或申请路径与获取流程 | 人工复核并实测申请路径 | 本项目数据集在甲方内网交付，须写明内网访问路径、申请审批流程、责任部门与审批时限；按说明实走一次申请流程可达 | 流程不可走通判中级 | b1920、b1921 | | 1.1.5 技术支持 | 是否提供官方技术支持渠道并能提供有效帮助 | 人工复核并实测响应 | 须写明支持渠道（内部工单系统或指定邮箱）、响应时限与升级路径；实测提交一次咨询并记录响应时间 | 渠道无效判中级 | b1922、b1923 | | 1.1.6 使用便捷性 | 是否配备完整数据字典、解析脚本或示例代码 | 人工复核 ＋ 实际运行脚本 | 须随集提供数据字典（字段名、类型、取值域、业务含义）、加载与解析脚本、最小可运行示例；脚本在交付环境内可运行通过 | 脚本不可运行判中级，数据字典缺失判高级 | b1924、b1925 | 说明文档的规模声明有一处容易出错，在此点明检测口径。预训练数据集按 Token 计量，Token 数依赖分词器，不同分词器统计结果可相差一成以上。因此说明文档必须写明统计所用的分词器及其版本，评测按同一分词器复算（b1915）。四大数据集的分业务域规模（供需计划、产品工艺设计、制造过程、质量四域）须分别声明，与项目目标层的规模指标对齐。 ##### 4.2.2 内容特征完整性（1.2，5 项） 五项指标核查的是"这批数据里有什么、分布怎么样、标签怎么定义、长什么样子、哪里不够用"。其中局限性说明一项在实际交付中最容易被省略，而它恰恰是下游使用者最需要的信息。 表 S3-10　内容特征完整性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 1.2.1 模态类型 | 是否清晰说明包含的全部数据类型 | 自动化扫描实际模态 ＋ 人工复核声明 | 须列出全部模态及各模态样本量；实际扫描到的模态须全部在声明内，未声明的模态视为缺项 | 漏声明判中级 | b1927、b1928 | | 1.2.2 数据分布 | 是否提供关键特征上的统计分布信息 | 自动化复算分布 ＋ 人工复核呈现方式 | 须提供按业务域、按工序、按标签类别、按时间的分布统计（直方图或频次表）；复算结果与声明偏差 ≤3% | 未提供判中级，偏差 >10% 判中级 | b1929、b1930 | | 1.2.3 标签类别 | 是否提供完整清晰无歧义的标签清单及定义 | 人工复核 ＋ 自动化比对实际标签取值 | 须提供标签体系层级、每一标签的定义与边界条件、互斥与共现规则；实际出现的标签取值须全部在清单内 | 清单外标签出现判高级，定义含糊判中级 | b1931、b1932 | | 1.2.4 样本示例 | 是否包含具有代表性的数据样本 | 人工复核示例的代表性 | 须按模态与业务域各提供不少于 3 条示例，含正常样本与边界样本；示例须可独立打开查看 | 未提供判中级 | b1933、b1934 | | 1.2.5 局限性说明 | 是否主动揭示潜在偏见、覆盖不足场景与已知局限 | 人工复核 ＋ 与分布统计交叉验证 | 须写明覆盖不足的业务域或工序、样本偏斜方向、已知的标注口径争议、不建议用于的任务类型；评测方从分布统计中发现的偏斜若未在局限性中说明，判为缺项 | 未提供判中级，隐瞒已知偏斜判高级 | b1935、b1936 | 局限性说明的检测方式值得专门交代。我方不是只看文档有没有这一章，而是用自动化统计出的分布偏斜去反查文档有没有如实披露。例如板材备料工艺的指令微调数据集若在 28 道工序上分布不均，某几道工序样本数不足百条，这一事实必须出现在局限性说明中；若文档只写"数据覆盖备料全工序"而统计显示严重偏斜，该项判为不合格并按隐瞒已知偏斜定为高级缺陷（b1936）。这一检测口径对下游模型训练的实际价值最高，因为它决定使用者会不会在不知情的情况下把数据用于它支撑不住的任务。 ##### 4.2.3 建设过程完整性（1.3，5 项） 五项指标核查的是数据集的来历是否说得清。对矿山装备数据而言，这一组与内容真实性 2.6 构成互证关系：说明文档声明的数据来源与采集方法，要能被数据中的溯源字段证实。 表 S3-11　建设过程完整性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 1.3.1 数据来源 | 是否说明原始数据的来源渠道、采集时间范围与地理区域 | 人工复核 ＋ 与样本溯源字段交叉比对 | 须按来源类型（甲方业务系统、公开资料、授权第三方资料）分列，写明具体系统名称或资料类别、时间范围、涉及厂区或矿区范围；抽样样本的溯源字段须与声明一致 | 来源不可核判高级，时间范围缺失判中级 | b1938、b1939 | | 1.3.2 采集方法 | 是否详细说明获取原始数据的方法、工具或流程 | 人工复核 | 须按来源分别写明取数方式（接口只读取数、文件导出、现场加装采集、人工补录）、取数频次、断点续传与去重策略 | 方法不明判中级 | b1940、b1941 | | 1.3.3 加工处理流程 | 是否完整描述从原始数据到最终数据集的全部清洗、转换、标注步骤 | 人工复核 ＋ 与加工环节日志比对 | 须逐环节写明输入、处理动作、输出、质检点与丢弃规则；描述的环节数与实际加工流水线一致，丢弃样本数可核 | 流程缺环节判中级，与实际不符判高级 | b1942、b1943 | | 1.3.4 标注规范 | 是否提供详尽无歧义的标注操作手册，含标签定义、标注规则与典型示例 | 人工复核 ＋ 用手册反测标注一致性 | 手册须含标签定义、标注粒度、边界与歧义处置规则、典型正误示例；由未参与标注的复核员按手册重标抽样样本，与原标注一致率 ≥90% | 一致率 <85% 判高级，手册缺示例判中级 | b1944、b1945 | | 1.3.5 版本记录 | 是否维护清晰的变更日志，记录版本号、时间与主要变更内容 | 自动化校验版本指纹 ＋ 人工复核日志 | 须提供版本号、发布时间、变更内容、影响范围与版本指纹；每一版本的指纹可复算并与实际文件一致 | 日志断档判中级，指纹不匹配判高级 | b1946、b1947 | 标注规范一项的检测方式是本维度中最能区分方案深浅的一处。只看手册有没有写，是走形式；用手册去反测，才能判断手册是否真的无歧义。我方的做法是从数据集中抽取样本，交给未参与原标注工作的复核员，仅凭手册独立重标，再与原标注比对一致率。一致率低说明手册的规则不足以把不同的人引向同一结论，这一结论比"手册共计 48 页"有意义得多（b1945）。一致率的计算按标签类型分别统计，分类标签用简单一致率，序列与区域标签用交并比，排序标注用等级相关系数。 ##### 4.2.4 应用说明完整性（1.4，5 项） 五项指标核查的是数据集能不能被正确地用起来。招标文件的 1.4.4 基准测试结果（b1955、b1956）与 1.4.5 典型应用案例（b1957、b1958）两项定义文字高度相似，均指向"可复现的应用案例或基线模型实现参考"。我方按两项分别检测并区分侧重：1.4.4 侧重指标与数值，即在该数据集上的基线性能数字；1.4.5 侧重代码与流程，即跑通这件事的完整示例。两项分别出具结论，这一区分口径在定制评测方案设计阶段提请甲方确认。 表 S3-12　应用说明完整性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 1.4.1 使用许可 | 是否明确规定使用授权条款，如商用许可、署名要求 | 人工复核 ＋ 与来源授权文件比对 | 须写明许可类型、允许用途（含是否允许用于模型训练）、禁止用途、署名与再分发要求；含第三方资料的部分须附授权依据 | 许可缺失判高级，与来源授权冲突判高级 | b1949、b1950 | | 1.4.2 目标应用场景 | 是否清晰界定该数据集设计支持的 AI 任务或应用领域 | 人工复核 ＋ 与类型一致性 2.5 交叉验证 | 须写明支持的任务类型与具体业务场景（对应本项目六个专业场景与五个通用场景的哪几个）；与数据实际内容的匹配由 2.5.1 复核 | 界定含糊判中级 | b1951、b1952 | | 1.4.3 评估方法 | 是否给出官方推荐的性能评价指标与评测协议 | 人工复核 ＋ 实测协议可执行性 | 须写明推荐指标、计算方式、数据划分方式、评测脚本入口；按协议实跑一次可得出数值 | 协议不可执行判中级 | b1953、b1954 | | 1.4.4 基准测试结果 | 是否提供基于该数据集的可复现基线性能参考 | 人工复核 ＋ 重跑复现 | 须给出基线模型、训练配置与基线指标数值；按所给配置重跑，主要指标偏差 ≤±1.5 个百分点 | 未提供判中级，重跑偏差超限判中级 | b1955、b1956 | | 1.4.5 典型应用案例 | 是否提供具体可复现的应用代码示例或基线实现参考 | 人工复核 ＋ 实际运行代码 | 须提供端到端可运行的示例代码与运行说明，覆盖加载、预处理、训练或推理、评测四步；在交付环境内运行通过 | 代码不可运行判中级 | b1957、b1958 | #### 4.3 维度二　数据质量指标（45 项） 这一维度量化数据集本身的质量特征，检验数据能否达到模型研发与训练的基本要求。45 项指标中以自动化检测为主要手段的有 34 项，须叠加人工复核的有 11 项，权重在三个维度中最高（建议 50%），原因是这一维度直接决定数据能不能用，而且其中安全与隐私两组带一票否决效力。 ##### 4.3.1 结构完整性（2.1，4 项） 四项指标是全部检测的起点：文件打不开、记录整行空缺、多模态样本缺一个模态，后续任何指标都无从检测。因此这一组在实施过程中安排在最前，作为数据集接入时的初校验（b2114）。 表 S3-13　结构完整性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.1.1 字段完整性 | 各字段非空值比例，评估属性缺失程度 | 自动化全量统计 | 按字段分级设阈：业务主键类字段（施工号、图号、零件号、炉次号、焊道号、设备编码）非空率 ≥99.5%；关键业务字段 ≥98%；辅助字段 ≥90% | 主键类字段缺失判高级，关键字段判中级 | b1961、b1962 | | 2.1.2 文件完整性 | 文件是否完整、是否损坏 | 自动化全量校验 | 逐文件校验可打开性、哈希值与清单一致性、压缩包完整性；损坏文件数占比 ≤0.05% 且全部可从源重取 | 损坏且不可重取判高级 | b1963、b1964 | | 2.1.3 模态完整性 | 多模态样本包含其预设全部模态的样本比例 | 自动化全量统计 | 按样本类型声明的应有模态逐一核对，如焊接过程样本应含参数时序＋视觉影像＋质检结论三模态；模态齐备样本占比 ≥95% | 齐备率 <90% 判高级 | b1965、b1966 | | 2.1.4 记录完整性 | 非空记录（行）比例，评估整条记录缺失情况 | 自动化全量统计 | 整条空记录占比 ≤0.1%；时序数据区分连续缺失与零星缺失，单通道连续缺失超过 30 分钟判为通道失效并单列 | 通道失效判高级，零星缺失判低级 | b1967、b1968 | 时序数据的记录完整性有一处需要按行业特点处理。井下测点在传感器损坏后往往不予补装，远程运维平台的数据流会出现长时段的连续空缺。若按通用缺失率一刀切，整个数据集会被这几路失效通道拉低。我方的处理是把连续缺失与零星缺失分开统计：连续缺失指向采集侧的物理问题，判为高级缺陷并要求在数据卡中声明该通道的有效时间区间；零星缺失指向通信抖动，按插值后是否可用判定，不影响整体合格判断（b1968）。 ##### 4.3.2 安全规范性（2.2，8 项） 八项指标对应八类内容风险：暴恐（b1970、b1971）、毒品药品（b1972、b1973）、低俗辱骂（b1974、b1975）、血腥（b1976、b1977）、赌博（b1978、b1979）、色情（b1980、b1981）、涉政（b1982、b1983）、歧视偏见（b1984、b1985）。 这一组在矿山装备数据上的风险来源与通用语料不同，检测设计要针对真实的来源通道，否则会出现"检了一遍什么都没查到"的虚假安全结论。实际风险主要来自三处：一是从公开渠道采集的行业文献与网页资料，可能夹带无关内容；二是现场作业录音与协同办公文档中的口语化表述，可能包含低俗辱骂类内容；三是涉及矿难、事故案例的技术资料，在描述事故后果时可能触及血腥类判定。三处来源的检测侧重各不相同。 表 S3-14　安全规范性指标的检测设计 | 指标 | 本项目的主要风险来源 | 检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.2.1 暴恐内容 | 公开渠道采集的新闻类资料 | 关键词规则库 ＋ 文本分类模型 ＋ 图像内容识别，全量检测；命中样本逐条人工复核，覆盖口径见第 5.2.3 节 | 复核确认的命中样本须全部清除或整改后方可入集；抽样复查零发现为达标 | 高级 | b1970、b1971 | | 2.2.2 毒品药品内容 | 公开渠道资料、化学品相关技术文献的误判 | 同上，并配置工业化学品白名单以降低误判 | 同上；误判率须在复核后记录，白名单经甲方确认 | 高级 | b1972、b1973 | | 2.2.3 低俗辱骂内容 | 现场作业录音转写文本、协同办公文档中的口语表述 | 关键词规则库 ＋ 分类模型，全量检测；对语音转写文本按方言词表扩充规则 | 命中样本须清除或改写；改写后须保留原始语义，由人工复核确认 | 中级，涉及人身攻击的判高级 | b1974、b1975 | | 2.2.4 血腥内容 | 事故案例资料、安全教育材料、现场伤害描述 | 文本分类模型 ＋ 图像识别，全量检测；人工复核区分技术性描述与渲染性描述 | 技术性事故描述在脱敏后可保留，渲染性描述须清除；判定须经双人复核一致 | 高级 | b1976、b1977 | | 2.2.5 赌博内容 | 公开渠道采集资料夹带 | 关键词规则库 ＋ 分类模型，全量检测 | 命中样本须清除；按招标文件口径同步核查存在道德风险的相关表述 | 高级 | b1978、b1979 | | 2.2.6 色情内容 | 公开渠道采集的图像与网页资料 | 图像内容识别 ＋ 文本分类模型，全量检测 | 命中样本须清除；抽样复查零发现为达标 | 高级 | b1980、b1981 | | 2.2.7 涉政内容 | 公开渠道的政策文献、行业报告 | 关键词规则库 ＋ 分类模型，全量检测；人工复核区分政策引用与敏感表述 | 政策条文的客观引用可保留，涉及政治敏感议题的表述须清除 | 高级 | b1982、b1983 | | 2.2.8 歧视偏见内容 | 现场口语表述、历史文档中的用语习惯 | 分类模型 ＋ 人工复核；并做群体相关属性的统计偏斜分析 | 针对特定群体的歧视性言论须清除；统计层面的偏斜须在局限性说明中披露 | 中级，明确歧视言论判高级 | b1984、b1985 | 八项指标统一按"规则库 ＋ 模型 ＋ 人工"三重叠加执行，三者的分工是：规则库负责召回明确词形，模型负责召回语义变形与图像内容，人工负责判定与去误判。对自动化检出的高风险样本，人工复核的覆盖是全部（b2127）；对自动化未检出的部分，按分层抽样做人工抽查，抽查比例按置信水平设计，见第 5.5 节。 误判控制是这一组的实际难点，也是方案可行性的关键。工业数据中"毒性""爆破""冲击""失效"一类词在技术语境下是正常术语，若不处理会产生大量误报，淹没真实风险。我方的处置是建立工业术语白名单与上下文规则：白名单词在技术语境（同句存在工艺、参数、设备类词汇）中不计命中，在非技术语境中仍计命中并转人工。白名单初始版本由行业专家编制，在首轮评测中按误判记录迭代，迭代过程与版本在质量档案中留存。 ##### 4.3.3 格式规范性、标注规范性与类型一致性（2.3—2.5，3 项） 三项指标各含一个三级指标，分别核查字段取值格式（b1987、b1988）、标注是否符合预定规范与规范化流程（b1990、b1991）、数据内容与其宣称的目标应用场景在类型风格专业性上是否匹配（b1993、b1994）。 表 S3-15　格式规范性、标注规范性与类型一致性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.3.1 字段格式规范性 | 字段取值是否遵循预定义格式要求 | 自动化全量校验，按字段配置正则与值域规则 | 日期统一为 ISO 8601、物料编码与图号按甲方编码规则校验、数值字段校验单位与量纲、枚举字段校验值域；格式合规率 ≥99% | 主键类字段格式错判高级，其余判中级 | b1987、b1988 | | 2.4.1 标注规范性 | 标注是否符合预定标注规范、是否遵循规范化流程 | 自动化校验结构合规性 ＋ 人工复核内容合规性 | 自动化侧校验标注文件结构、标签取值在清单内、必填属性齐备；人工侧按标注手册抽样复核，规范遵循率 ≥95%；并核查标注流程留痕（标注员、时间、复核记录） | 规范遵循率 <90% 判高级 | b1990、b1991 | | 2.5.1 类型一致性 | 内容与宣称的目标应用场景在类型、风格、专业性上是否匹配 | 人工复核 ＋ 自动化主题分布分析 | 抽样样本须与说明文档 1.4.2 声明的目标场景匹配；自动化侧统计主题分布，与声明场景无关的样本占比 ≤5% | 无关样本占比 >15% 判高级 | b1993、b1994 | 标注规范性与说明文档维度的 1.3.4 标注规范是两件事，容易混淆，在此区分：1.3.4 检的是手册写得够不够清楚（文档侧），2.4.1 检的是实际标注做得合不合规（数据侧）。两项结论可能分离——手册完备而执行走偏，或手册粗糙而执行尚可。两项分别出结论，并在报告中给出交叉分析：若 1.3.4 合格而 2.4.1 不合格，缺陷成因归入标注环节的执行问题；若两项均不合格，成因归入标注规范本身的设计问题。成因不同，整改路径也不同。 ##### 4.3.4 内容真实性（2.6，2 项） 两项指标分别为内容可追溯（b1996、b1997）与内容准确性（b1998、b1999）。招标文件对内容可追溯的定义相当具体：非合成数据能追溯到采集源头并与源头保持一致、不存在未经说明的篡改；合成数据能追溯到生成算法和过程，且符合目标场景真实数据的分布规律。 这一组是本项目数据集的核心风险区，原因在本节第 1.1 节已说明——数据与物理对象的对应关系尚未建立。因此我方把可追溯一项的检测做得比通用做法细，分为四级追溯链校验。 表 S3-16　内容真实性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.6.1 内容可追溯（非合成数据） | 能追溯到采集源头、与源头一致、无未说明篡改 | 自动化溯源字段校验 ＋ 抽样回源核对 | 四级追溯链须完整：样本标识 → 业务对象标识（施工号/图号/炉次号/焊道号/设备编码）→ 源系统记录标识 → 采集时点与采集方式；抽样回源核对一致率 ≥99% | 追溯链断裂判高级 | b1996、b1997 | | 2.6.1 内容可追溯（合成数据） | 能追溯到生成算法与过程、符合目标场景真实分布 | 自动化登记校验 ＋ 分布一致性检验 | 每条合成样本须登记生成算法标识、算法版本、输入种子样本标识、生成参数；合成样本与真实样本在关键特征上的分布差异用统计检验判定，差异显著即判不合格 | 来源登记缺失判高级，分布偏离判中级 | b1997 | | 2.6.2 内容准确性 | 数据记录信息与客观事实或权威信源的相符程度 | 人工复核 ＋ 规则校验 ＋ 交叉源比对 | 按三类事实分别校验：工艺参数与作业指导书比对、物料与价格数据与企业资源计划系统比对、检验结论与质量管理系统记录比对；抽样准确率 ≥98% | 准确率 <95% 判高级 | b1998、b1999 | 合成数据的分布一致性检验需要专门说明，因为本项目会用到合成与增强手段扩充样本（强化学习偏好数据的构造尤其依赖）。检验方式是把合成样本与同业务域的真实样本放在同一特征空间内比较分布：对数值特征用分布距离统计量，对类别特征用频次分布检验，对文本用长度分布与术语频次分布。若合成样本在某一特征上明显偏离真实分布，说明生成过程引入了偏差，模型学到的会是生成器的习惯而不是业务规律。这一项的判定结论直接影响模型应用维度的实验解释，二者在报告中交叉引用（b1997）。 ##### 4.3.5 内容干净性（2.7，21 项） 本组是整个指标体系中项数最多的一组，21 项按模态分为四类：文本类 7 项、图像类 4 项、音频类 4 项、视频类 6 项。本组以自动化检测为主，判定阈值按模态与用途分档设定。 **文本类 7 项。** 表 S3-17　内容干净性文本类指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.7.1 文本困惑度 | 评估文本流畅性与可预测性，越低越符合语言常规 | 自动化全量计算，按文本类型分档 | 按文本类型分设区间：叙述型文本（技术文献、制度条文）按常规区间判定；结构型文本（工艺卡片、材料定额、参数表）单独设区间，不与叙述型同档；超区间样本转人工复核 | 中级 | b2001、b2002 | | 2.7.2 知识信息密度 | 结构化知识（事实、关系）的浓度，通过知识抽取评估 | 自动化抽取实体与关系后计算密度 | 以单位长度内可抽取的业务实体（设备、零件、工序、材料、参数）与关系数量度量；按业务域设下限，低于下限的样本判为低密度并统计占比，占比 ≤10% | 中级 | b2003、b2004 | | 2.7.3 重复内容程度 | 内容完全相同或高度相似样本的比例 | 自动化全量去重检测，精确哈希 ＋ 近似相似度 | 完全重复样本占比 ≤0.5%；高相似样本（相似度超阈值）占比 ≤3%；跨数据集重复（预训练与基准测试之间）占比须为零，此项带否决效力 | 跨集重复判高级，集内重复判中级 | b2005、b2006 | | 2.7.4 文本完整度 | 单条文本在语义与结构上是否完整，有无意外截断 | 自动化规则检测 ＋ 抽样人工复核 | 检测句末标点缺失、段落中断、括号与引号不配对、表格行列缺失；截断样本占比 ≤1% | 中级 | b2007、b2008 | | 2.7.5 信息缺失度 | 应有信息未被记录的程度，以空值或占位符频率量化 | 自动化全量统计 | 统计关键字段的空值与占位符（如"无""/""待定"）频次；关键字段缺失率 ≤2% | 关键字段判中级，辅助字段判低级 | b2009、b2010 | | 2.7.6 文本纯净度 | 有效文本与无关符号、标记等噪声的比例 | 自动化全量计算 | 检测残留的标记语言标签、页眉页脚、水印文字、重复分隔符、乱码字符；噪声字符占比 ≤1% | 中级 | b2011、b2012 | | 2.7.7 文本连贯度 | 是否符合语法规范、语句是否流畅、有无明显语法错误 | 自动化语言质量评分 ＋ 抽样人工复核 | 自动化侧给出连贯度评分，低分样本转人工；人工复核确认的不连贯样本占比 ≤2% | 中级 | b2013、b2014 | 文本困惑度分档的必要性在第 3.3 节已提到，这里给出具体做法。工艺卡片一类文本的典型形态是"工序号＋工序名称＋设备编码＋工装号＋定额工时"的字段串联，在语言模型看来可预测性很低，困惑度会显著高于技术文献。若用同一区间判定，这类样本会被大量判为低质量，而它们恰恰是本项目最有价值的样本。因此我方按叙述型与结构型两类分设区间，分类依据是样本的字段结构化程度，由自动化规则判定并抽样人工确认（b2002）。 跨数据集重复一项带否决效力，这一点需要强调。基准测试数据集 0.95 万条的作用是作为评测标尺，若其中的题目同时出现在预训练语料或指令微调数据中，模型在评测时就是在回忆而不是推理，评测结果系统性偏高，整个模型应用维度的结论都不成立。因此我方对基准测试数据集与其余三类数据集做全量交叉去重检测，检测方式为精确匹配加近似匹配双通道，任一例跨集重复即判高级缺陷并要求从训练侧移除（b2006）。 这一判定与工具链侧的污染扫描是同一道防线的两端，不是两套标准：工具链在样本入集前按 n-gram 重合度做污染风险分档并对高档批次阻断发布，属加工过程内部的前置拦截；本节的跨集重复检测在评测时执行，是对拦截结果的外部核验。两者的判定对象（批次与数据集版本）、执行时点（入集前与评测时）与效力（阻断发布与否决认定）各不相同，结论不互相替代：工具链已拦截不免除本节检测，本节检出亦须回溯到工具链侧补扫描规则。 **图像类 4 项。** 图像数据在本项目有两个主要来源：图纸转出图像与现场拍摄图像，两者的判定尺度不同，已在表 S3-6 中说明。 表 S3-18　内容干净性图像类指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.7.8 图像分辨率 | 像素尺寸的适用性，是否适配主流模型输入要求 | 自动化全量统计 | 图纸转出图像须能分辨粗糙度符号、坡口标注、尺寸公差三类标记，以标记最小笔画不少于 2 像素为判据；现场图像以目标部件在画面中占比与绝对像素数双条件判定；合格率 ≥97% | 图纸类不合格判高级，现场类判中级 | b2015、b2016 | | 2.7.9 图像重复度 | 相同或高度相似图像的重复程度 | 自动化全量感知哈希 ＋ 特征相似度 | 完全重复占比 ≤0.5%；高相似占比 ≤5%；同一图纸多次转出的副本须去重至一份并保留版本关系 | 中级 | b2017、b2018 | | 2.7.10 图像信噪比 | 有效信号与噪声的比值 | 自动化全量计算 | 按来源分档：图纸转出图像按扫描噪点与压缩伪影判定；现场图像允许低照度但要求目标区域信噪比达阈值，并随样本登记照明条件 | 中级 | b2019、b2020 | | 2.7.11 图像清晰度 | 视觉清晰程度，不应存在水印、抖动、字幕干扰、条纹 | 自动化清晰度评估 ＋ 水印与条纹检测 ＋ 抽样人工复核 | 检测模糊、运动拖影、水印、条纹、字幕遮挡五类问题；图纸类要求工程符号可辨，现场类要求缺陷特征可辨；合格率 ≥95% | 图纸类判高级，现场类判中级 | b2021、b2022 | **音频类 4 项。** 本项目的音频来源主要是现场作业语音、设备运行声音与会议录音三类，其中设备运行声音用于健康诊断场景的声学特征，与语音类的判定要求不同。 表 S3-19　内容干净性音频类指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.7.12 音频信噪比 | 有效信号与噪声的比值 | 自动化全量计算，按用途分档 | 语音类以人声频段信噪比判定，并以专业术语与作业口令的可辨识率为补充判据；设备声音类以目标特征频段的信噪比判定，允许宽带背景噪声；合格率 ≥95% | 中级 | b2023、b2024 | | 2.7.13 音频采样率 | 采样频率，越高还原度越好 | 自动化全量统计 | 语音类不低于 16 kHz；设备声音类按诊断所需的最高分析频率按采样定理设下限，不低于分析频率上限的 2.5 倍；低于下限判不合格 | 中级，诊断类判高级 | b2025、b2026 | | 2.7.14 音频位深度 | 量化精度，影响动态范围与分辨率 | 自动化全量统计 | 不低于 16 位；设备声音类建议 24 位以保留弱信号动态；低于 16 位判不合格 | 中级 | b2027、b2028 | | 2.7.15 音频比特率 | 传输速率，影响音频质量 | 自动化全量统计 | 按编码格式与采样率核算理论比特率并与实际比对；有损压缩样本须登记压缩格式与码率，码率低于阈值判不合格 | 低级，诊断类判中级 | b2029、b2030 | 设备运行声音的采样率下限按采样定理从诊断需求反推，这一点与通用音频数据集的处理不同。刮板输送机减速器与链轮轴组的故障特征频率落在特定频段，若采样率不足会把这些特征折叠掉，样本看上去正常而特征已经丢失。因此这一项在诊断类音频上判为高级缺陷，不合格样本须重采（b2026）。 **视频类 6 项。** 视频数据主要来自焊接与热处理过程记录、现场作业记录两类。 表 S3-20　内容干净性视频类指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.7.16 视频分辨率 | 像素尺寸的适用性，是否适配主流模型输入 | 自动化全量统计 | 按观测目的分档：形貌留痕类要求目标区域（焊缝、熔池、工件边缘）在画面中的像素数达阈值；过程记录类以可判断工序阶段为下限；合格率 ≥95% | 形貌类判高级，记录类判中级 | b2031、b2032 | | 2.7.17 视频重复度 | 相同或高度相似视频的重复程度 | 自动化关键帧哈希 ＋ 片段相似度 | 完全重复占比 ≤0.5%；同一炉次或同一焊道的多机位记录不计重复，但须标注机位关系 | 低级 | b2033、b2034 | | 2.7.18 视频帧率 | 画面流畅度，以每秒帧数计 | 自动化全量统计 | 按观测目的分档：焊接过程形貌记录不低于观测动作所需帧率并在数据卡中说明取值依据；过程记录类不低于 15 FPS；丢帧率 ≤2% | 形貌类判中级，记录类判低级 | b2035、b2036 | | 2.7.19 视频时长 | 样本的平均或总计持续时间，反映时间维度信息量 | 自动化全量统计 | 须覆盖完整工序或完整炉次周期；单样本时长不足以覆盖一个完整过程的，须在数据卡中声明其所属过程片段位置；时长声明与实际偏差 ≤2% | 低级 | b2037、b2038 | | 2.7.20 视频清晰度 | 视觉清晰程度，不应有水印、抖动、字幕干扰、条纹 | 自动化评估 ＋ 抽样人工复核 | 检测模糊、抖动、强光过曝、烟尘遮挡、字幕遮挡五类；焊接场景须判定弧光过曝是否遮挡目标区域；合格率 ≥92% | 形貌类判中级 | b2039、b2040 | | 2.7.21 视频动态范围 | 能同时表现的最亮与最暗部分的范围 | 自动化全量计算 | 焊接场景因弧光与母材亮度差极大，须以目标区域在过曝与欠曝之间可辨为判据；动态范围不足导致目标不可辨的样本判不合格 | 中级 | b2041、b2042 | 焊接过程视频的动态范围是一个真实的技术难点，值得在方案中写明而不是回避。电弧亮度与周边母材亮度相差数个数量级，普通相机在同一帧内无法兼顾，要么弧光区过曝、要么母材区欠曝。评测在这一项上的判定口径是看目标区域是否可辨而不是看动态范围的绝对数值：若样本的观测目的是熔池形貌，弧光区可辨即合格；若观测目的是焊缝外观，母材区可辨即合格。观测目的随样本登记在数据卡中，这一条同时反查说明文档维度的 1.2.5 局限性说明是否披露了该限制（b2042）。 ##### 4.3.6 内容一致性（2.8，3 项） 三项指标为概念一致性（b2044、b2045）、语义一致性（b2046、b2047）、格式一致性（b2048、b2049）。这一组在矿山装备数据上尤其重要，因为同一物理对象在不同系统里叫不同名字是本项目最根本的数据问题之一。 表 S3-21　内容一致性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.8.1 概念一致性 | 术语、实体命名与分类体系在全局是否遵循统一定义 | 自动化术语比对 ＋ 人工复核 | 以甲方确认的术语字典与分类体系为基准，检测同义异名（如"刮板机"与"刮板输送机"）、异义同名、分类体系交叉；术语规范率 ≥98%；备料工序名称须全部取自正式工序字典 | 分类体系冲突判高级，同义异名判中级 | b2044、b2045 | | 2.8.2 语义一致性 | 相关联的数据内容在含义上是否一致无矛盾 | 自动化规则校验 ＋ 模型辅助比对 ＋ 人工复核 | 跨模态检查图文是否对应（图纸图像与其工艺卡文本、焊缝影像与其质检结论）、跨字段检查逻辑矛盾（完工时间早于开工时间、硬度结论与热处理曲线矛盾）；矛盾样本占比 ≤1% | 跨模态不对应判高级 | b2046、b2047 | | 2.8.3 格式一致性 | 数据值格式是否符合预定义规范，如类型、长度、正则 | 自动化全量校验 | 与 2.3.1 共用规则集但判定角度不同：2.3.1 判单条是否合规，2.8.3 判同一字段在全集内是否统一（如同一字段在不同批次采用不同日期格式）；字段级格式统一率 ≥99% | 中级 | b2048、b2049 | 语义一致性中的跨模态检查是本组技术含量最高的一项。做法是分三类：有确定性规则的用规则（如工序号与工序名称的对应关系、材料牌号与许可热处理工艺的对应关系），用规则直接判定；无确定性规则但有强相关的用模型辅助（如图纸图像与其工艺卡文本的描述是否指向同一零件），由模型给出相似度并对低分样本转人工；完全依赖专业判断的直接人工复核（如焊缝影像与其质检结论的缺陷类型是否相符）。三类的样本占比与判定结论分别统计，报告中给出分类统计表，使甲方知道有多少结论来自规则、多少来自模型、多少来自人工（b2047）。 ##### 4.3.7 隐私规范性、内容原创性与领域专业性（2.9—2.11，4 项） 隐私规范性含 1 项（b2051、b2052），内容原创性含 2 项（b2054—b2057），领域专业性含 1 项（b2059、b2060）。 表 S3-22　隐私规范性、内容原创性与领域专业性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 2.9.1 隐私规范性 | 是否遵循隐私保护法规，个人身份信息是否已妥善脱敏或移除 | 自动化全量 PII 检测 ＋ 人工复核 ＋ 关联复原测试 | 检测姓名、工号、身份证号、手机号、住址、银行账号、人脸、声纹八类；脱敏后须通过关联复原测试（尝试通过多字段组合还原个人身份）；检出未脱敏项带一票否决效力 | 高级（否决项） | b2051、b2052 | | 2.10.1 内容原创性 | 原创内容比例，而非复制或转载 | 自动化外部比对 ＋ 来源登记核查 | 以来源登记为主要依据，辅以对公开资料的相似度比对；甲方自有业务数据计为原创，公开资料转载须标注出处；原创内容占比按数据集声明核验，偏差 ≤5% | 未标注出处判中级 | b2053、b2054、b2055 | | 2.10.2 来源原创性 | 是否来源于一手或独家渠道，而非公开通用数据的汇编 | 来源登记核查 ＋ 人工复核 | 按来源分类统计一手数据（甲方业务系统、现场采集、专家知识）占比；该占比须在说明文档中如实声明；本项目四大数据集的一手数据占比是其核心价值，须逐业务域给出 | 声明虚高判高级 | b2056、b2057 | | 2.11.1 领域专业性 | 内容是否符合特定垂直领域的专业知识、术语规范与行业惯例 | 行业专家人工复核为主 ＋ 自动化术语覆盖统计 | 按三条可检项复核：术语使用行业规范名称、参数落在在产型谱合理区间、工艺表述与作业指导书一致；抽样专业性合格率 ≥95%；专家复核结论须附具体样本编号 | 合格率 <90% 判高级 | b2058、b2059、b2060 | 来源原创性一项对本项目有特殊意义。四大数据集的价值主要来自甲方自有的一手数据——63 万张历史图纸及其配套工艺卡片、十年以上的生产业务数据、过程参数长期留存记录、在役装备的测点时序数据。这些是公开渠道无法获得的，也是数据集能够支撑行业模型的根本原因。评测在这一项上不只核验声明是否准确，还按业务域给出一手数据占比的统计，这组数字可以直接用于数据资产备案材料（b2057）。 领域专业性的复核方式需要说明人员条件。这一项由具备矿山装备制造背景的行业专家执行，专家须熟悉刮板输送机的结构与型谱、备料与焊接工艺、热处理工艺与检验标准。专家资质要求与人员配置见第 7.1 节，专家名单在实施期提交甲方确认，稿件中标注为【待填：行业专家名单与资质材料】。 #### 4.4 维度三　模型应用指标（15 项） 这一维度立足模型实战训练场景，研判数据集的落地适配能力与应用价值。与前两个维度的差别是：说明文档与数据质量两个维度看的是数据本身，模型应用维度必须把数据送进模型跑一遍才有结论。这也是本方案把它单独作为一条实施主线（动态验证）的原因。 ##### 4.4.1 模型适配性（3.1，4 项） 四项指标分别对应文本类（b2063、b2064）、场景类（b2065、b2066）、语音类（b2067、b2068）、视频类（b2069、b2070）四种数据集的微调对照验证。招标文件对每一类都指定了基准模型与微调方式，并明确"如项目产生"，即该类数据集存在时方做该项实验。 四类实验的设计思路、提升阈值建议与阈值未达成的处置已在第 2.2 节表 S3-2 列出，本节补充实验的执行细节与判定口径。 表 S3-23　四类模型适配性实验的执行设计 | 实验项 | 数据划分 | 训练配置要点 | 评测方式 | 合格判定 | 单元 | |---|---|---|---|---|---| | 3.1.1 文本类 | 按来源与时间双重切分，测试集在加工开始前划出并封存；训练/验证/测试按 8:1:1 | 招标文件指定的文本类开源基础模型；低秩适应微调，秩与学习率在小规模试跑后固定并入档；最大序列长度按工艺卡片与技术文献的长度分布设定 | 大模型裁判对独立测试样本做双盲评分，评分维度为准确性、完整性、专业性、简洁清晰性；同一样本由两个裁判实例独立评分，分差超限转人工仲裁 | 四维平均分相对提升 ≥15%，专业性单维 ≥10%；裁判评分的人工仲裁一致率 ≥85% | b2063、b2064 | | 3.1.2 场景类 | 标准训练—验证—测试划分；同一图纸或同一工件的样本不跨划分，避免同源泄漏 | 招标文件指定的轻量视觉分割基础模型；分割微调，输入分辨率按图纸符号可辨的下限设定；数据增强策略与参数入档 | 在独立测试集上计算边界框检测与分割的双重指标（mAP、mIoU），按业务域与零件类别分组统计 | mIoU 相对提升 ≥10%，mAP 相对提升 ≥8%；分组统计中无任一主要类别指标下降 | b2065、b2066 | | 3.1.3 语音类 | 按说话人与采集时段切分，同一说话人样本不跨划分 | 招标文件指定的轻量语音基础模型；零样本与微调两组对照；专业术语与作业口令词表作为解码辅助，两组使用同一词表 | 计算字错率与专业术语、作业口令的关键词召回率；按场景分组（现场作业、调度指令、设备异常描述） | 关键词召回率绝对提升 ≥8 个百分点，字错率相对下降 ≥15% | b2067、b2068 | | 3.1.4 视频类 | 按采集设备隔离封存划分独立测试集，某些机位的样本整体不进训练集 | 招标文件指定的多模态基础模型；低秩适应微调；帧采样策略与片段长度入档 | 大模型裁判双盲评测场景描述、密度判断、异常判断、语言专业性四维，并列 Rouge-L 自动指标 | 裁判四维平均分相对提升 ≥12%，Rouge-L 相对提升 ≥8%；裁判与自动指标结论方向一致 | b2069、b2070 | 四项实验共用一套可复现性要求与一套泄漏防护要求，分别在第 5.3 节与下图说明。基准模型的版本可得性风险与替代方案已在第 2.2 节说明，语音类关键词召回率基线的取值来由、判定办法与改进目标同见该节。 ##### 图 S3-5　模型应用验证的数据划分与泄漏防护 原始数据池（按业务对象组织） 施工号 ｜ 图号 ｜ 炉次号 ｜ 焊道号 设备编码 ｜ 说话人 ｜ 采集机位 切分键以业务对象为单位，不以样本为单位 按来源 ＋ 时间双重切分 加工前先划测试集 训练集 可持续扩充 验证集 调参用，不参与最终评测 独立测试集（封存） 加工环节不可访问 视频类按采集机位整体隔离 访问须双人授权并留痕 三道泄漏防护检查（任一不通过，实验结论不予采信） 一　跨集去重：测试集与训练集 精确 ＋ 近似双通道比对，重复须为零 二　同源检查：同一业务对象 的样本不得同时出现在两侧 三　时间检查：测试集时间窗 不得早于训练集，避免未来信息回流 对照组：基础模型零样本 / 未微调 同一测试集、同一评测脚本、同一随机种子 实验组：引入被评测数据集微调后 唯一变量为是否引入该数据集 性能差量 → 按业务域/工序/标签类别分组 → 短板定位 → 《数据集迭代优化专项方案》 图 S3-5　模型应用验证的数据划分与泄漏防护。数据来源：招标文件 3.1 模型适配性四项（b2063—b2070）与 3.2.8.1 第 2 项（b1887）。 泄漏防护中的"同源检查"一项是本项目必须做实的环节。矿山装备数据有大量同源样本：同一张图纸可能在不同批次中被多次转出，同一炉次的工件会产生多条记录，同一焊道的多层多道会产生多条参数片段。若按样本随机切分，同一物理对象的样本会同时落入训练与测试两侧，模型在测试时实际上见过这个对象，指标会虚高。因此切分键必须是业务对象标识而不是样本标识。这一条看起来是技术细节，但它决定了全部实验结论是否可信。 ##### 4.4.2 内容多样性、规模完整性与标注准确性（3.2—3.4，4 项） 表 S3-24　内容多样性、规模完整性与标注准确性指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 3.2.1 场景多样性 | 是否广泛覆盖应用在现实中可能遇到的各种场景 | 自动化场景标签统计 ＋ 人工复核场景清单 | 以甲方确认的场景清单为分母（六个专业场景与五个通用场景下的业务情形）；覆盖的场景数占比 ≥90%，且无任一主要场景样本数为零 | 主要场景缺失判高级 | b2072、b2073 | | 3.2.2 特征多样性 | 特征空间内分布的广泛性，关键特征取值是否丰富 | 自动化特征统计 ＋ 分布分析 | 按关键特征（工作面类型、槽宽档位、材料牌号、板厚区间、工序类别、设备型号）统计取值覆盖与分布熵；取值覆盖率 ≥85% | 覆盖率 <70% 判中级 | b2074、b2075 | | 3.3.1 规模完整性 | 规模是否全面满足目标场景预定义的要求 | 自动化统计 ＋ 与目标规模比对 | 与四大数据集的规模目标逐一比对：预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条，并按四业务域分列核对；达成率 ≥100% 为合格，分域达成率 ≥90% | 总量未达判高级，分域未达判中级 | b2076、b2077、b2078 | | 3.4.1 标注准确性 | 标注能精准标记出目标场景模型开发训练所需的全部信息 | 人工复核抽样重标 ＋ 自动化一致性统计 | 由独立复核员抽样重标，与原标注比对：分类标签用一致率，区域与序列标签用交并比，排序标注用等级相关系数；分类一致率 ≥95%，区域交并比均值 ≥0.85，排序相关系数 ≥0.8 | 低于阈值 5 个百分点以内判中级，超出判高级 | b2079、b2080、b2081 | 规模完整性一项的检测需要区分两件事：规模够不够，和规模是不是真的。前者按目标值比对，后者要核查统计口径。本项目的规模统计有三处容易出偏差：预训练数据集的 Token 数依赖分词器，须按说明文档声明的分词器复算；指令微调数据集的条数要区分原始条与增强后条，增强产生的条目须单独统计并标注；强化学习偏好数据的组数要核查每组内的响应数是否达到排序所需的最小数量，不足的组不计入。三处的复算结果与声明值的偏差均须在报告中列出（b2078）。 ##### 4.4.3 业务相关性、内容均衡性与时间跨度覆盖度（3.5—3.7，7 项） 业务相关性含行业符合度（b2083、b2084）、信息主旨度（b2085、b2086）、领域相关性（b2087、b2088）三项；内容均衡性含特征均衡性（b2090、b2091）、来源均衡性（b2092、b2093）、场景均衡性（b2094、b2095）三项；时间跨度覆盖度含一项（b2097、b2098）。 表 S3-25　业务相关性、内容均衡性与时间跨度覆盖度指标的检测设计 | 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 | 单元 | |---|---|---|---|---|---| | 3.5.1 行业符合度 | 内容与特定行业的业务逻辑、流程、需求的匹配程度 | 行业专家人工复核 ＋ 自动化流程符合性校验 | 按三条校验：业务流程顺序符合实际（如工序顺序符合工艺路线约束）、业务规则不冲突（如下道工序不得早于本车间全部工序报工）、行业术语规范；抽样符合率 ≥95% | 流程逻辑冲突判高级 | b2083、b2084 | | 3.5.2 信息主旨度 | 内容与其核心主题的关联紧密程度 | 自动化主题相关性计算 ＋ 抽样人工复核 | 以数据集声明的主题为基准计算样本相关度，低相关样本占比 ≤8%；偏离主题的样本须说明保留理由或移除 | 中级 | b2085、b2086 | | 3.5.3 领域相关性 | 内容与其声称或应用的特定领域的匹配程度 | 自动化领域分类 ＋ 人工复核 | 以矿山装备制造领域为基准，领域内样本占比 ≥92%；跨领域引入的通用知识样本须标注并说明用途 | 中级 | b2087、b2088 | | 3.6.1 特征均衡性 | 关键特征取值分布是否均衡 | 自动化分布统计 | 按关键特征计算分布不均衡度（最大类与最小类样本数之比）；主要特征的不均衡度 ≤10:1，超出须在局限性说明中披露并给出对训练影响的评估 | 不均衡度 >30:1 判中级 | b2090、b2091 | | 3.6.2 来源均衡性 | 不同类别标签的样本数量分布是否均衡，避免数据倾斜导致模型偏见 | 自动化分布统计 ＋ 按来源交叉统计 | 按标签类别与数据来源双维统计；单一来源贡献超过 60% 样本的标签类别须标注来源依赖风险 | 中级 | b2092、b2093 | | 3.6.3 场景均衡性 | 不同场景的样本数量分布是否均衡 | 自动化分布统计 | 按场景清单统计分布；主要场景间样本数之比 ≤15:1；样本数不足 100 条的场景单列为覆盖不足场景 | 中级 | b2094、b2095 | | 3.7.1 时间跨度覆盖度 | 时间轴上覆盖的范围，最早与最晚记录时间的间隔 | 自动化时间字段统计 | 按数据类型分别统计：历史图纸与工艺卡片应覆盖足以体现工艺演进的时间跨度；设备过程数据应覆盖完整的生产周期与季节变化；时间分布须无长时段空洞，单一空洞超过跨度 20% 须说明原因 | 低级，影响时序建模的判中级 | b2096、b2097、b2098 | 来源均衡性的定义在招标文件原文中表述为"不同类别标签的样本数量分布是否均衡"（b2093），与指标名称所指的"来源"不完全一致。我方的处理是按两个角度都统计：既按标签类别统计分布均衡度，也按数据来源统计贡献度，两项结论合并出具。这样既回应了原文定义，也补上了指标名称所指的来源维度。该处口径在定制评测方案设计阶段提请甲方确认。 均衡性这一组的判定口径有一点需要在方案中说清：数据不均衡本身不一定是缺陷。按订单设计的产品组织方式决定了某些工作面类型、某些材料牌号天然就少，强行拉平反而会让数据偏离真实分布。因此我方的判定逻辑是两层：不均衡度在可接受范围内即合格；超出范围的，若在局限性说明中如实披露并评估了对训练的影响，判为合格但记录观察项；超出范围且未披露的，判为缺陷。这样处理的理由是均衡性的实际危害在于使用者不知情而不在于分布本身（b2091）。 #### 4.5 打分模型与综合判定 ##### 4.5.1 三级指标的计分方式 81 项三级指标按其判定性质分三种计分方式。 **比率型指标**按实测比率与合格阈值的关系分档计分。设实测值为 v、合格阈值为 t，达到或优于阈值得满分；未达阈值的按与阈值的距离线性折减，折减到零为止。字段完整性、重复内容程度、格式合规率一类指标属此型。 **存在型指标**按是否存在该项内容计分，有且合格得满分，有而不完整按完整度折减，无则零分。说明文档维度的多数指标属此型。 **风险型指标**按检出风险内容的数量与等级计分，无检出得满分，检出高风险内容直接零分并触发否决，检出中低风险内容按数量分档折减。安全规范性八项与隐私规范性一项属此型。 **提升型指标**按性能提升幅度与阈值的关系分档计分，达到阈值得满分，超出阈值按超出幅度加档（上限为满分），未达阈值按比例折减。模型适配性四项属此型。 每一项三级指标在《指标打分表》中登记其计分类型与分档参数，参数在定制评测方案设计阶段确定并经甲方审核（b2118、b2121）。 ##### 4.5.2 聚合与权重 二级指标组得分按组内三级指标的项数均权聚合，一级维度得分按维度内各二级组的项数加权聚合，综合总分按三维度权重加权。 招标文件 b2106 要求"按招标文件约定权重计算数据集综合总分"，但招标文件正文未列明三维度的具体权重取值。我方按三个维度在数据集可用性上的决定作用提出建议权重：说明文档 20%、数据质量 50%、模型应用 30%。建议理由是：数据质量决定数据能不能用，权重最高；模型应用决定数据有多大用，权重次之；说明文档决定数据好不好用，权重最低但不可缺。该权重取值在定制评测方案设计阶段提请甲方确认，最终以技术协议与蓝图设计的约定为准（b2118）。 ##### 4.5.3 合格线与否决项 合格线要回答的是：得分到了多少才算这批数据可以交付使用。单设一条综合总分线并不足够，因为加权聚合会掩盖单一维度的塌陷——三个维度中若有一个远低于其余两个，综合总分仍可能越过 85 分，而数据集在该维度上的缺陷已足以使其不可用。合格判定因此采用双重约束：综合总分 ≥85 分取自招标文件的明确要求（b1885、b2145），各维度 ≥80 分是为防止维度之间互相填补而设的下限，内控目标 88 分则为复核误差与增量批次的得分波动留出余量。 表 S3-26 的「依据」一栏区分了哪些取值来自招标文件、哪些属我方建议，凡属建议的在第二阶段提请甲方确认后执行；「未达时的处置」一栏给出每一种不达标情形的后续动作，使未达标不等于交付中止，而是进入整改、重核与重算的既定流程。否决项各行与合格线各行的差别在于前者不设折减空间，命中即不予认定，需清除后重测该组全部指标。 表 S3-26　合格线与否决项设置 | 判定层级 | 合格线 | 依据 | 未达时的处置 | |---|---|---|---| | 综合总分 | ≥85 分（百分制），内控目标 88 分 | b1885、b2145 | 按缺陷清单整改后重算，整改与重算不另收费 | | 说明文档维度 | ≥80 分 | b2145 各维度达最低合格标准 | 补充或修订说明文档后重核该维度 | | 数据质量维度 | ≥80 分 | b2145 | 按缺陷分级整改后重核该维度 | | 模型应用维度 | ≥80 分 | b2145、b2146 | 按《数据集迭代优化专项方案》补充样本后重做实验 | | 安全规范性 2.2 | 检出高风险内容未清除即否决 | b1885、b2144 | 该维度总分不予认定，清除后重测该组全部指标 | | 隐私规范性 2.9 | 检出未脱敏个人信息即否决 | b1885、b1897、b2144 | 同上 | | 跨数据集重复 2.7.3 | 基准测试集与训练侧数据集重复须为零 | b2006 推论 | 从训练侧移除重复样本后重做模型应用维度实验 | | 模型性能提升 3.1 | 各项达到约定最低提升阈值 | b1887、b2146 | 定位短板补充样本后重做实验，阈值取值以甲方确认为准 | 三个否决项的设置理由各不相同。安全与隐私两项是法律要求，不存在折减空间（b1897、b1899）。跨数据集重复一项是评测有效性的前提：若基准测试集被污染，模型应用维度的全部数字都不能作为结论使用。把它设为否决项是为了避免出现一份"各项指标都合格但结论无意义"的报告。 ##### 4.5.4 得分的可复核性 每一项三级指标的得分在报告中附三样东西：实测值、阈值、证据位置（检测日志的记录编号或复核记录的页码）。甲方或审计方按证据位置可以直接调取原始记录复核。这一安排是为了让报告经得起第三方核查，而不是只能被接受或拒绝。 #### 4.6 指标体系的煤机场景定制适配小结 招标文件 b1911 要求第三方评测机构结合项目业务场景对各分项指标做灵活适配与调整。本章的定制适配集中在七处，汇总如表 S3-27，便于甲方在方案审核时逐项核对。 表 S3-27　指标体系的煤机场景定制适配汇总 | 定制处 | 通用做法 | 本项目做法 | 理由 | 对应指标 | |---|---|---|---|---| | 文本困惑度分档 | 单一参考区间 | 叙述型与结构型文本分设区间 | 工艺卡片、材料定额类文本句式短、术语密，困惑度天然偏高 | 2.7.1 | | 图像判定尺度分档 | 统一分辨率与清晰度下限 | 图纸转出图像与现场图像分设判据 | 图纸须分辨工程符号，现场图像须容忍低照度 | 2.7.8、2.7.11 | | 音频采样率下限 | 按语音通用标准 | 诊断类音频按故障特征频率反推下限 | 采样率不足会把故障特征频段折叠掉 | 2.7.13 | | 时序缺失分类 | 按缺失率一刀切 | 连续缺失与零星缺失分开统计与定级 | 井下传感器损坏后不予补装，会造成长时段连续空缺 | 2.1.4、2.7.5 | | 安全检测误判控制 | 纯关键词与模型检出 | 增配工业术语白名单与上下文规则 | "毒性""爆破""冲击"等词在技术语境下是正常术语 | 2.2 全组 | | 切分键选择 | 按样本随机切分 | 按业务对象标识切分 | 同一图纸、同一炉次、同一焊道会产生多条同源样本 | 3.1 全组 | | 均衡性判定逻辑 | 不均衡即扣分 | 不均衡且未披露才扣分 | 按订单设计决定某些类别天然稀少，强行拉平会偏离真实分布 | 3.6 全组 | 七处定制均不改动指标名称与定义，只调整判定尺度与执行方式，调整内容逐项写入《指标打分表》并经甲方审核确认（b1905、b1909、b1911、b2118）。 ### 5、评测方法 招标文件规定本次评测依据《高质量数据集质量评测规范》（TC609-5-2025-04）采用"数据质量验证 ＋ 模型应用反馈"的评测方法：数据质量验证融合自动化检测与人工专家复核，从格式规范、逻辑一致性、安全合规等维度完成筛查校验；模型应用反馈依托标准大模型基准环境开展实战化验证，通过模型训练与性能测算量化数据应用效能。 招标文件同时规定，针对涉密工业数据集执行本地离线隔离检测，原始业务数据不得上传公网云端，全流程检测日志、复核记录、模型实验参数完整留存，评测过程可追溯、实验结果可复现（b2100）。 #### 5.1 两条主线与三类手段 本方案把招标文件规定的方法落为两条执行主线与三类检测手段。 两条主线是静态数据内生质量检测与基准模型动态应用验证。两者在评测执行阶段并行推进（b2124），不是先后关系。并行的理由是动态验证的环境部署与基准模型准备需要时间，若等静态检测全部完成再启动，整体周期会被不必要地拉长；同时静态检测中发现的结构性问题（如跨集重复）会直接影响动态验证的有效性，两线并行时可以及早互通。 三类手段是自动化批量检测、行业专家人工分层复核、基准模型实验。三类手段对 81 项三级指标的分工见表 S3-28。一项指标可以由两类手段共同承担，此时两类手段的结论须一致，不一致的转仲裁。 表 S3-28　三类检测手段对三维度指标的分工 | 维度与指标组 | 自动化批量检测 | 行业专家人工复核 | 基准模型实验 | 说明 | |---|---|---|---|---| | 1.1 基本信息完整性（6 项） | 元数据字段齐备性、规模复算、目录树比对 | 内容充分性与清晰度判断 | — | 自动化判有无，人工判够不够 | | 1.2 内容特征完整性（5 项） | 分布复算、标签取值比对、模态扫描 | 标签定义无歧义性、示例代表性、局限性披露充分性 | — | 局限性一项以自动化统计反查文档披露 | | 1.3 建设过程完整性（5 项） | 版本指纹校验、与加工日志比对 | 手册反测标注一致性、流程描述与实际的符合性 | — | 标注手册以反测方式检验 | | 1.4 应用说明完整性（5 项） | 脚本可运行性、协议可执行性、基线重跑 | 许可条款与来源授权的一致性 | 基线重跑属实验性质 | 三类手段均有参与 | | 2.1 结构完整性（4 项） | 全量统计与校验 | 抽样确认 | — | 作为接入初校验 | | 2.2 安全规范性（8 项） | 规则库 ＋ 分类模型全量筛查 | 命中样本全部复核、误判判定 | — | 自动化检出高危样本人工复核覆盖全部 | | 2.3—2.5（3 项） | 格式与结构校验 | 标注内容合规性、类型匹配性 | — | 2.4.1 与 2.5.1 须人工 | | 2.6 内容真实性（2 项） | 溯源字段校验、分布一致性检验 | 抽样回源核对、事实准确性判断 | — | 回源核对须人工 | | 2.7 内容干净性（21 项） | 全量计算为主 | 低分样本抽样复核 | — | 自动化比重最高的一组 | | 2.8 内容一致性（3 项） | 术语比对、逻辑矛盾校验 | 跨模态语义一致性判断 | 模型辅助比对 | 三类手段均有参与 | | 2.9—2.11（4 项） | PII 全量检测、术语覆盖统计、来源登记核查 | 领域专业性复核、原创性判断 | — | 2.11.1 以专家复核为主 | | 3.1 模型适配性（4 项） | 泄漏防护检查 | 裁判评分的人工仲裁 | 四类对照实验 | 以实验为主 | | 3.2—3.4（4 项） | 分布与规模统计 | 抽样重标一致性 | — | 3.4.1 须独立复核员重标 | | 3.5—3.7（7 项） | 分布统计、主题相关性计算、时间分布统计 | 行业符合度与流程逻辑复核 | — | 3.5.1 须行业专家 | #### 5.2 静态数据内生质量检测 招标文件规定静态检测聚焦数据集固有基础质量，围绕保真度、完备性、规整性、均衡性、可用性、可信性六大维度开展核验，用于核查说明文档完整性、数据基础质量、合规隐私、内容干净度等内生属性，分为自动化检测与人工分层复核两类方式。 ##### 5.2.1 六大核验维度与三维度指标的映射 招标文件在此处给出的六大维度是核验的视角，与第 4 章的三维度指标体系是两套不同的切分，不是两套指标。我方把六大维度作为检测组织方式使用：同一视角下的指标集中检测，便于复用同一批工具与同一次数据扫描，减少对数据集的重复读取。映射关系见表 S3-29。 表 S3-29　六大核验维度与三级指标的映射 | 核验维度 | 核验的问题 | 覆盖的三级指标 | 项数 | |---|---|---|---| | 保真度 | 数据是否如实反映它所代表的事实 | 2.6.1 内容可追溯、2.6.2 内容准确性、2.7 音视频基础质量九项（2.7.10、2.7.12—2.7.15、2.7.18—2.7.21） | 11 | | 完备性 | 该有的内容是否都在 | 2.1 全四项、2.7.4 文本完整度、2.7.5 信息缺失度、1.1—1.4 说明文档全二十一项 | 27 | | 规整性 | 形式上是否整齐合规 | 2.3.1 字段格式规范性、2.4.1 标注规范性、2.8.3 格式一致性、2.7.6 文本纯净度、2.7.8 图像分辨率、2.7.16 视频分辨率 | 6 | | 均衡性 | 分布是否偏斜 | 3.6 全三项、3.2 全两项、3.7.1 时间跨度覆盖度 | 6 | | 可用性 | 能不能直接用起来 | 1.1.6 使用便捷性、2.1.2 文件完整性、2.7.1 文本困惑度、2.7.7 文本连贯度、2.7.9 图像重复度、2.7.11 图像清晰度、2.7.17 视频重复度、2.7.3 重复内容程度、2.7.2 知识信息密度 | 9 | | 可信性 | 内容是否安全合规可信 | 2.2 全八项、2.9.1 隐私规范性、2.10 全两项、2.11.1 领域专业性、2.5.1 类型一致性、2.8.1 概念一致性、2.8.2 语义一致性、3.5 全三项 | 18 | 表中项数合计超过 81，原因是部分指标同时属于两个核验视角（如 2.7.11 图像清晰度既关乎可用性也关乎保真度）。重复计入不影响检测执行，因为检测按指标执行、按视角组织，一项指标只检一次、结论在多个视角下引用。 ##### 5.2.2 自动化批量检测 招标文件在实施过程中列明自动化批量检测的内容：元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私个人信息、内容安全筛查，输出结构化缺陷清单（b2126）。我方的自动化检测按六个检测通道组织，每个通道对应一组工具与一套规则配置。 **元文档与结构通道。** 校验数据集的元数据文件完整性、目录树与声明一致性、文件可打开性与哈希、版本指纹可复算。这一通道在数据集接入时先跑一遍，作为初校验（b2114），不通过的数据集不进入后续检测。 **字段与格式通道。** 按字段配置的正则、值域、量纲规则做全量校验，统计空值与占位符频次，输出字段级合规报表。本通道的规则配置来自数据集的数据字典，若数据字典缺失则本通道无法执行，这一依赖关系在准备阶段即须确认。 **重复与相似通道。** 对文本做精确哈希与近似相似度双通道去重，对图像与视频做感知哈希与特征相似度，对音频做指纹比对。本通道另承担跨数据集重复检测，即基准测试集与其余三类数据集的交叉比对。 **音视频基础质量通道。** 批量提取分辨率、帧率、时长、采样率、位深度、比特率等客观参数，计算信噪比、清晰度、动态范围等派生指标，按模态与用途的分档阈值判定。 **隐私检测通道。** 对文本做命名实体识别与正则匹配，识别姓名、工号、身份证号、手机号、住址、银行账号；对图像做人脸检测；对音频做声纹存在性检测。检出项全部转人工复核，并执行关联复原测试。 **内容安全通道。** 关键词规则库与分类模型双路并行，覆盖八类风险内容；配置工业术语白名单与上下文规则以控制误判；全量检测，检出项全部转人工复核。 六个通道的输出统一汇入结构化缺陷清单，字段格式见第 2.3 节所列的六个必填字段。检测日志按通道分别留存，日志内容包含检测时间、工具与规则版本、输入文件清单、处理样本数、检出数、异常与跳过记录。日志的完整性是可追溯的基础，也是审计时最先被查的材料。 ##### 5.2.3 行业专家人工分层复核 招标文件在实施过程中列明人工复核的范围：逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标，对自动化检出的高危样本全部复核，完成缺陷判定（b2127）。 "分层"是这一环节的关键设计，否则人工复核会变成无法完成的工作量。我方按三层组织。 **第一层　全量复核层。** 对象是自动化检出的高风险样本，包括安全规范性八项与隐私规范性检出的全部命中样本。这一层不抽样，逐条复核并判定是真命中还是误判。真命中的进缺陷清单，误判的进白名单迭代记录。招标文件要求"对自动化检出高危样本 100% 复核"（b2127），我方的落实方式即这一层，复核覆盖以复核记录条数与自动化命中条数的一致性核对，覆盖率趋向全部，承诺基线为不低于 99.5%，未完成条目在当轮报告中列明并在下一轮补齐。 **第二层　专业判断层。** 对象是必须靠专业知识判断的指标，包括领域专业性 2.11.1、行业符合度 3.5.1、内容真实性 2.6.2、跨模态语义一致性 2.8.2、标注规范性 2.4.1、标注准确性 3.4.1。这一层按分层随机抽样执行，抽样设计见第 5.5 节。复核由具备矿山装备制造背景的行业专家承担。 **第三层　文档评审层。** 对象是说明文档维度的 21 项指标。这一层由评测组逐项评审，采用双人独立打分、分差超过一档转第三人仲裁的方式。评审记录逐项留存评分与理由。 表 S3-30　人工分层复核的三层设计 | 层级 | 复核对象 | 抽取方式 | 复核人员 | 判定方式 | 记录内容 | |---|---|---|---|---|---| | 全量复核层 | 安全与隐私类自动化命中样本 | 不抽样，全部 | 内容安全复核员 ＋ 保密管理人员会签涉密项 | 真命中 / 误判二分判定 | 样本编号、命中规则、判定结论、判定人、时间 | | 专业判断层 | 领域专业性、行业符合度、内容真实性、跨模态一致性、标注规范性与准确性 | 分层随机抽样 | 矿山装备制造行业专家 | 合格 / 不合格 ＋ 缺陷成因 | 样本编号、判定结论、依据条款、具体问题描述 | | 文档评审层 | 说明文档维度 21 项 | 逐项，非抽样 | 评测组文档评审员 | 分档打分 | 逐项评分、理由、缺项清单 | 三层之上另设仲裁机制：同一样本在两名复核员之间结论不一致时，提交第三人仲裁；仲裁仍不能决的，提交评测方案评审会裁定，裁定结论记入《评测口径裁定记录》并作为后续同类样本的判定依据。这一机制的实际作用是把判定口径的分歧沉淀下来，避免同一类问题在不同轮次得到不同结论。 ##### 图 S3-6　静态检测与动态验证双线并行的数据流与责任边界 甲方内网隔离区 四大数据集封版副本 只读挂载，禁止导出 配套说明文档与数据卡 含版本指纹 独立测试集（封存） 双人授权方可解封 评测工作区 日志 / 复核记录 / 实验参数留存 主线一　静态内生质量检测 自动化六通道：元文档结构 / 字段格式 / 重复相似 / 音视频质量 / 隐私 / 内容安全 人工三层：全量复核层 / 专业判断层 / 文档评审层 按六大核验视角组织：保真 / 完备 / 规整 / 主线二　基准模型动态应用验证 独立隔离训练环境：四类基准模型 文本 / 场景 / 语音 / 视频 对照实验：微调前后同测试集同脚本 唯一变量为是否引入被评测数据集 按业务域 / 工序 / 标签类别分组评测 定位场景覆盖、样本均衡、标注短板 互通：跨集重复等结构性问题即时通报动态线 静态分项得分 ＋ 结构化缺陷清单 说明文档 21 项 ＋ 数据质量 45 项 动态效能得分 ＋ 性能基线报告 模型应用 15 项 综合评测判定：加权计分 → 合格线与否决项核对 → 综合总分 说明文档 20% ＋ 数据质量 50% ＋ 模型应用 30%（权重以技术协议确认为准） 不合格项 → 分级整改指引（交甲方执行修正）→ 复用同一套判据集中复测 均衡 / 可用 / 可信 传：只读数据与文档，不传出隔离区 图 S3-6　双线并行的数据流与责任边界。数据来源：招标文件 3.2.8.2.3 节（b2100—b2107）与 3.2.8.2.4 节第 3 阶段（b2123—b2130）。原始数据全程不出甲方内网隔离区（b2100、b2113）。 #### 5.3 基准模型动态应用验证 招标文件规定动态验证聚焦数据集落地工业人工智能场景的实际价值，弥补静态检测"只看数据、不看应用"的短板，通过标准化对照实验量化数据集对模型训练效果的提升幅度，验证场景适配、样本均衡、标注质量三个层面的水平。 四类实验的设计已在第 2.2 节与第 4.4.1 节给出。本节补充三件事：可复现性的具体做法、实验环境的资源需求、实验结论的解释口径。 ##### 5.3.1 可复现性的三件材料 招标文件要求实验结果可复现（b2100）。可复现不是一句承诺，它要靠交付三件材料实现。 **环境镜像清单。** 记录操作系统版本、驱动版本、计算框架版本、依赖库版本及其哈希。清单以文件形式交付，甲方按清单可在同一隔离环境内重建环境。 **脚本与配置。** 训练脚本、评测脚本及其全部配置文件，配置中的超参取值不留默认值而逐项写明。裁判模型的提示词模板与评分规则一并交付，这是裁判评分可复现的前提。 **数据划分与随机种子。** 训练、验证、测试三部分的样本标识清单，以及训练与评测过程中使用的全部随机种子。 交付这三件材料后，甲方或第三方按材料重跑，主要指标的偏差应落在 ±1.5 个百分点以内。这一数值是我方的可复现判定口径，写进报告并作为验收核查项。超出偏差时按三步排查：先核环境版本，再核数据划分，最后核随机性来源，排查过程与结论记入实验台账。 ##### 5.3.2 实验台账 每一次实验在台账中登记十一项：实验编号、实验目的、数据集标识与版本、基准模型与版本、微调方式与超参、数据划分清单标识、评测指标与脚本版本、随机种子、起止时间、执行人、结果摘要。台账是动态验证部分的核心过程资料，归入质量档案的模型实验册。 表 S3-31　四类实验的环境与资源需求口径 | 实验项 | 计算资源需求口径 | 单轮实验周期口径 | 重跑次数 | 备注 | |---|---|---|---|---| | 文本类微调对照 | 按基准模型参数量与低秩适应的显存占用核算，部署在甲方内网隔离区的训练节点 | 按样本量与序列长度核算，含评测在内 | 不少于 3 次取均值与标准差 | 多次重跑以排除随机性影响 | | 场景类分割微调 | 按输入分辨率与批量大小核算 | 同上 | 不少于 3 次 | 图纸类输入分辨率较高，显存需求相应提高 | | 语音类微调对照 | 按音频时长总量核算 | 同上 | 不少于 3 次 | 零样本组无训练开销 | | 视频类多模态微调 | 四类中资源需求最高，按帧采样策略与片段长度核算 | 同上 | 不少于 3 次 | 若资源受限则降低帧采样密度并在报告中说明 | 实验的具体资源配置须在准备阶段依据甲方内网隔离区的实际可用算力确定，稿件中标注为【待填：甲方内网隔离区可用于评测的算力资源配置】。若可用算力不足以支撑视频类多模态实验，我方的回退路径是降低帧采样密度与片段长度，在报告中说明降低后的配置及其对结论可比性的影响，而不是跳过该项实验。 ##### 5.3.3 实验结论的解释口径 实验给出的是性能差量，把差量解释为数据质量结论需要一条明确的口径，否则容易过度解读。我方的解释口径有三条。 其一，**差量为正且达到阈值**，结论是该数据集对该类任务有可量化的正向作用，作用幅度为实测值。不把它解释为"数据集质量优秀"，因为差量还受基准模型的初始能力影响。 其二，**差量为正但未达阈值**，结论是数据集有正向作用但不足，须按分组评测结果定位短板。分组评测是定位短板的手段，不是补充说明——哪一个业务域、哪一道工序、哪一类标签的提升明显偏低，短板就在那里。 其三，**差量为负或不显著**，结论须分三种情形判断：若静态检测显示该数据集存在跨集重复或标注一致性偏低，归因于数据问题；若测试集本身样本量过小导致指标波动大，归因于评测设计问题并补充测试样本重做；若两者皆不成立，则归因于该类数据与该基准模型的任务形态不匹配，须在报告中说明并建议调整基准模型选型。三种情形的区分依据是静态检测结论与多次重跑的标准差，不靠主观判断。 #### 5.4 综合评测判定方法 招标文件规定综合评测判定包含加权计分与问题闭环两部分：加权计分汇总静态自动化量化得分、人工分项打分、动态模型效能得分，按约定权重计算综合总分；问题闭环针对不合格项汇总缺陷、分级输出整改指引，待甲方完成数据优化后复用全套静态与动态评测标准开展复测校验。 加权计分的具体方法已在第 4.5 节给出，此处补充三类得分的汇总关系。静态自动化量化得分来自自动化六通道，覆盖以自动化为主要手段的指标；人工分项打分来自人工三层复核，覆盖须专业判断与文档评审的指标；动态模型效能得分来自四类对照实验，覆盖模型应用维度。三类得分不是三个独立的分数再加权，而是按指标归集：每一项三级指标的得分由其指派的手段给出，若一项指标由两类手段共同承担，取两者结论一致后的得分，不一致则经仲裁后取定值。这样处理的原因是按手段加权会出现同一指标被重复计入的问题。 问题闭环的流程设计已在第 2.3 节与图 S3-2 给出。此处补充一条：复测复用的是"全套静态 ＋ 动态评测标准"（b2107），即同一份《指标打分表》、同一套阈值、同一套抽样设计、同一套实验配置。复测不降低标准，也不新增标准。若因依据换版须调整标准，按第 3.6 节的变更跟踪机制处理，调整前后的版本并存。 表 S3-32　缺陷分级与处置规则 | 缺陷等级 | 判定条件 | 处置要求 | 复检方式 | 对综合总分的影响 | |---|---|---|---|---| | 高级 | 涉政、色情、暴恐、涉密、未脱敏个人信息；追溯链断裂；跨数据集重复；主键类字段缺失或格式错误；标注一致率显著低于阈值 | 须整改，整改前该数据集不予通过 | 全量重检或按抽样复查零发现判定 | 触发否决项的不予认定总分；其余按该指标零分计入 | | 中级 | 格式不规范；非关键字段缺失；文本或图像质量低于阈值；术语不统一；分布偏斜未披露；说明文档缺项 | 须整改，可按批次分期完成 | 按整改批次抽样复检 | 按折减计分 | | 低级 | 零星缺失；非关键的重复；时长或帧率略低于建议值；辅助字段空值 | 建议整改，可在后续版本中处理 | 下一轮集中复测时一并核查 | 按小幅折减计分 | #### 5.5 抽样设计 抽样设计直接决定评测结论的可信度，招标文件在实施过程中要求"依据统一抽样规则，区分高风险全量检测项、普通指标分层抽样方案"（b2114）。本节给出抽样的具体口径。 ##### 5.5.1 全量与抽样的划分 全量检测的范围是三类：安全规范性八项与隐私规范性一项（高风险内容必须全量筛查）；结构完整性四项与格式类指标（自动化成本低，无须抽样）；重复与相似检测（抽样无法发现重复）。其余指标按分层抽样执行，主要是须人工判断的专业类指标。 ##### 5.5.2 分层维度 分层不按样本顺序随机，而按四个业务维度交叉分层：业务域（供需计划、产品工艺设计、制造过程、质量四域）、模态（文本、图像、音频、视频）、来源（甲方业务系统、现场采集、公开资料、授权第三方、合成）、时间批次（按采集或加工的时间段分组）。四维交叉形成抽样层，每层内随机抽取。 分层的理由是矿山装备数据在这四个维度上的质量差异明显：企业资源计划系统的数据录入规范、质量较好，而生产管理系统中部分工单填写不完整；现场采集的音视频质量受条件影响大；合成样本的问题形态与真实样本不同。不分层的简单随机抽样会让样本量大的层主导结论，样本量小但风险高的层被忽略。 ##### 5.5.3 样本量设计 表 S3-33　抽样样本量设计口径 | 检测目的 | 置信水平 | 可接受误差或上限 | 样本量确定方式 | 适用指标 | |---|---|---|---|---| | 判定合格率是否达到阈值 | 95% | 绝对误差 ±3 个百分点 | 按比例估计的样本量公式计算，按层样本量占比分配 | 标注规范性、领域专业性、行业符合度、内容准确性 | | 判定高风险缺陷是否残留 | 95% | 残留率上限 0.1% | 按零发现判定所需的最小样本量计算 | 复测后的安全与隐私类抽样复查 | | 估计标注一致率 | 95% | 绝对误差 ±5 个百分点 | 同上，按标签类型分别计算 | 标注准确性、标注规范性 | | 验证自动化检测的漏检 | 90% | 漏检率上限 1% | 对自动化未命中样本按层抽取 | 安全规范性、隐私规范性的漏检验证 | 每一轮评测的实际样本量在定制评测方案设计阶段按数据集的实际规模计算并记入方案附件，复测沿用同一套样本量设计口径，但重新抽样（不复用首轮样本），以避免甲方针对首轮样本做定向整改而整体质量未改善。这一条写在方案里是必要的：复用首轮样本的复测看起来分数会好看，但说明不了问题。 ##### 5.5.4 抽样的可复现 抽样过程须可复现，做法是记录抽样的随机种子、分层定义、各层总体样本数与抽取数，并输出抽中样本的标识清单。清单随报告归档。审计方按种子与分层定义可以复现同一组抽样结果，这是抽样不被质疑的前提（b2100）。 #### 5.6 评测结论的质量控制 评测本身也需要被质量控制，否则"数据集质量合格"这一结论的可信度无从保证。我方设四道控制。 **一致性控制。** 人工复核采用双人独立判定，统计复核员之间的一致率。一致率低于 85% 时暂停该项复核，重新对齐判定口径后再继续，已完成的部分重做。一致率逐项统计并写入报告，使甲方知道哪些结论的判定分歧较大。 **抽检控制。** 由不参与本轮复核的人员对已完成的复核记录做抽检，抽检比例不低于 5%，核对判定结论与依据是否相符。抽检发现结论与依据不符的，该复核员负责的全部样本重做。 **工具校准控制。** 自动化检测工具在每轮评测开始前用一组已知结论的标定样本做校准，校准样本含正例与反例，校准结果（准确率、召回率）记入检测日志。校准不通过的工具不投入使用。标定样本集由我方在准备阶段建立并交甲方确认，建立方式是从历史数据中人工标注一批含已知缺陷的样本。 **结论复核控制。** 评测报告在出具前由未参与检测执行的技术人员做结论复核，核对三件事：每一项指标的得分是否有证据支撑、综合总分的计算是否正确、缺陷清单与指标结论是否一致。复核意见与处理记录随报告归档。 四道控制的记录构成报告可信度的证据链。招标文件要求评测过程可追溯（b2100），这四道控制的记录正是追溯时要查的内容。 ### 6、实施过程 招标文件规定全流程分为评测准备、定制评测方案设计、评测执行、缺陷分析整改与复测、成果汇总交付五大标准化阶段，服务周期内同步配套增量数据抽检与合规巡检常态化服务；各阶段工作与"数据质量静态检测 ＋ 基准模型动态验证"评测方法一一对应，完整覆盖说明文档、数据质量、模型应用全部指标；全流程操作、检测日志、实验记录、复核材料归档留存，所有指标检测结果可追溯、实验可复现（b2109）。 #### 6.1 五阶段总览与阶段关口 五个阶段之间以阶段关口衔接，关口不过不进入下一阶段。这一安排来自招标文件对各阶段验收要求的规定（b2116、b2122、b2130、b2137），我方把它落为明确的关口条件与关口交付物。 关口之所以逐阶段设定，而不是只在最终验收时统一把关，原因在于评测工作的返工成本随阶段递增：抽样策略若在阶段一定错，阶段三的全部检测结果都不可用；指标打分表若在阶段二漏项，阶段五的综合总分就无从核算。把确认前置到每一道关口，是以前期的确认成本换取后期的返工风险。 表 S3-34 以「关口条件」一栏为判据、「阶段产出物」一栏为证据，两栏配对使用——产出物齐备且满足关口条件，方进入下一阶段。「周期口径」一栏不写绝对天数，而写该阶段工期的决定因素，具体日历排期在蓝图设计阶段随数据集封版计划一并核定，避免在数据集规模与接入配合进度尚未明确时给出无从兑现的时点。需要特别留意的是末行的常态化服务：它不占据时间轴上的某一段，而是与阶段三之后的全部工作并行，覆盖服务期全程。整表读下来可以确认，五个阶段的衔接不依赖进度催办，而依赖关口条件的逐条核对。 表 S3-34　五阶段的工作内容、产出物、关口条件与周期口径 | 阶段 | 主要工作 | 阶段产出物 | 关口条件 | 周期口径 | 单元 | |---|---|---|---|---|---| | 一　评测准备 | 数据集摸底调研、业务场景梳理、离线评测环境部署、抽样策略制定与接入初校验 | 数据集台账、业务规则与涉密边界清单、环境部署验收单、抽样策略、初校验报告 | 甲方确认无误方可进入下一阶段 | 按数据集规模与系统接入配合进度核定 | b2110—b2116 | | 二　定制评测方案设计 | 搭建适配行业的指标打分表、拆分指标对应评测手段、编制静态与动态一体化执行方案、明确缺陷分级与合格标准 | 指标打分表、评测手段分工表、一体化执行方案、缺陷分级与合格标准文件 | 方案完整覆盖全部评测指标、贴合业务实际，经甲方审核确认 | 与阶段一部分并行 | b2117—b2122 | | 三　评测执行 | 静态检测与动态验证双线同步执行，完成全部指标检测 | 自动化检测日志与缺陷清单、人工复核记录、模型实验台账与性能基线报告、指标打分结果 | 完成全部指标检测、无指标漏检、缺陷清单完整同步甲方 | 占全流程时间最长 | b2123—b2130 | | 四　缺陷分析、整改指导与复测闭环 | 综合分析缺陷、出具分级整改指引、输出迭代优化专项方案、甲方整改后开展集中复测 | 缺陷台账、分级整改指引、迭代优化专项方案、复测报告 | 复测后高危缺陷清零、各维度得分达到最低合格线 | 受甲方整改进度影响，设并行安排 | b2131—b2137 | | 五　成果汇总与正式报告交付、整体验收 | 归集全流程原始资料、按权重核算分项与综合得分、编制盖章正式评测报告 | 《行业高质量数据集质量评测报告》、五分册质量档案 | 满足整体验收四项硬性标准 | 报告出具含第三方机构出证周期 | b2138—b2147 | | 常态化　服务期内持续服务 | 增量数据抽检、合规巡检 | 增量抽检月报、合规巡检记录 | 按季度向甲方汇报 | 覆盖服务期全程 | b2109 | ##### 图 S3-7　五阶段实施过程的时序、关口与并行安排 时间轴 → 一　评测准备 摸底 / 梳理 / 部署 / 抽样 二　定制评测方案设计 打分表 / 手段分工 / 执行方案 三　评测执行（双线并行） 静态检测线 动态验证线 四　整改复测 指引 / 复测 五　交付 出证验收 未闭环项回流执行阶段重检 常态化服务：增量数据抽检 ＋ 合规巡检（覆盖服务期全程，按季度汇报） 阶段关口（不过不进） 关口一　甲方确认 环境隔离实测通过 关口二　方案经审核 指标覆盖完整无缺项 关口三　无指标漏检 缺陷清单同步甲方 关口四　高危清零 各维度达最低合格线 关口五　整体验收硬性标准：高危缺陷清零 ＋ 中低危整改闭环 ＋ 各维度达合格线且综合 ≥85 分 ＋ 模型动态验证性能提升达约定阈值 ＋ 交付成果可直接用于归档、审计、达标认证（b2143—b2147） 集中复测安排：服务期内不少于 4 次（首轮整改复测、增量集中复测、竣工验收前复测、最终验收前复测） 最终次数随项目蓝图设计确认 自动化六通道 ＋ 人工三层 ＋ 四类对照实验 结构性问题即时互通 图 S3-7　五阶段时序与关口。数据来源：招标文件 3.2.8.2.4 节五阶段划分与各阶段验收要求（b2108—b2147）。阶段周期不在图中标注绝对时长，待蓝图设计确定数据集封版时点后排定。 #### 6.2 第一阶段　评测准备 招标文件列明本阶段四项工作，并规定本阶段对应的评测工作是"前置静态检测基础准备，为全量说明文档、数据质量指标检测提供环境支撑"（b2115），阶段验收要求是甲方确认无误后方可进入下一阶段（b2116）。 ##### 6.2.1 数据集摸底调研 招标文件要求梳理甲方工业文本、图像、音频、视频四类数据集台账，统计样本规模、模态分布、数据来源、涉密敏感范围，梳理现有配套说明文档（b2111）。 摸底调研的产出是《数据集台账》，逐数据集登记十二项：数据集名称与标识、所属业务域、模态构成与各模态样本量、规模量（Token 数、条数、组数）、数据来源明细、采集时间范围、涉密与敏感范围初判、配套说明文档清单与完整度、版本与版本指纹、存储位置与访问方式、责任部门、已知问题。 登记方式不是让甲方填表。四大数据集由本项目加工生产，其台账信息在加工环节即已产生，摸底调研的工作是把加工环节的产出清单与评测所需的台账字段对齐，补齐缺失字段。对甲方既有的、非本项目产出的数据集（如历史纸质检测报告的数字化成果），摸底调研须实地核查存储位置与可访问性。 涉密敏感范围的初判在本阶段完成，依据是甲方的数据分级分类目录与保密管理规定。初判结论决定两件事：哪些数据集须在隔离区内检测、哪些内容在报告中不得引用原文。初判结论须经甲方保密管理部门确认，确认记录作为后续检测的作业依据。 ##### 6.2.2 业务场景梳理 招标文件要求对接甲方煤机业务专家，梳理井下运维、设备故障识别、零部件检测等业务规则、行业术语、涉密管控边界（b2112）。 这一项工作的产出是三份清单，它们直接成为指标判定的依据，不是背景资料。 **《业务规则清单》。** 登记可用于自动化校验的确定性规则，例如：工序顺序须符合工艺路线约束，下道工序不得早于本车间全部工序报工完成；压弯件展开长须按中性层公式与板厚、折弯角度、模具的对应关系换算；热处理的淬火与回火温度、保温时间须落在作业指导书规定的固定程序内；链环直径与槽宽档位、装机功率的组合须落在在产型谱范围内。每条规则登记规则表达式、适用数据集、违反时的缺陷等级。 **《行业术语字典》。** 登记规范名称、常见异名、定义、所属分类体系位置。重点覆盖装备与部件名称（刮板输送机、中部槽、链轮轴组、减速器、液压支架、采煤机、破碎机）、工作面类型（超长、常规、大采高、薄煤层）、备料工序名称（取自工艺部门确认的正式工序字典，共 28 道）、材料牌号、工艺术语（坡口、倒角、粗糙度、中性层、层间温度、预热温度）、检验术语（咬边、未熔合、气孔、裂纹、开裂、变形、硬度不足）。字典是概念一致性 2.8.1 与领域专业性 2.11.1 的判定基准。 **《涉密管控边界清单》。** 登记须管控的内容类别、识别规则、管控方式。按第 3.4 节划定的三类内容分别登记：矿方敏感信息、甲方技术秘密、第三方保密约定约束的内容。 三份清单的编制方式是我方起草、甲方业务专家评审确认。评审方式为专题会议，逐条过。会议记录与确认签字作为清单生效的依据，稿件中标注为【待填：业务规则清单、行业术语字典、涉密管控边界清单的甲方确认记录】。 ##### 6.2.3 离线评测环境部署 招标文件要求将自动化质检工具与基准模型推理环境部署至甲方内网隔离环境，完成软硬件调试，原始数据禁止导出、上传公网（b2113）。 部署工作分六步，每步有验证动作。 第一步，确认隔离区的网络边界与访问控制策略，取得甲方信息部门的环境交付确认。第二步，部署自动化检测工具链，含六个检测通道的工具与规则库。第三步，部署基准模型的训练与推理环境，含计算框架、驱动与依赖库，按环境镜像清单逐项核对版本。 第四步，配置数据只读挂载，验证评测账号对数据集目录只有读权限、对评测工作区有读写权限。第五步，网络隔离实测，在评测环境内尝试访问外部地址并记录结果，验证记录由甲方信息部门会签。第六步，工具校准，用标定样本集跑一遍，核对准确率与召回率，校准结果记入检测日志。 六步完成后出具《环境部署验收单》，内容含环境清单、权限配置、隔离实测记录、校准结果。验收单经甲方会签后，本阶段的环境准备工作关闭。未经会签的环境不开始评测作业，这是硬性约束。 环境的资源规格依赖甲方隔离区的实际可用算力，已在第 5.3.2 节标注占位。此处补充一条回退安排：若隔离区算力不足以在计划周期内完成四类实验，我方的处理顺序是先降低视频类实验的帧采样密度与片段长度、再延长实验排期、最后与甲方协商临时增配算力，三种处理均在报告中说明其对结论可比性的影响。不采取的做法是把实验挪到隔离区外执行。 ##### 6.2.4 抽样策略制定与接入初校验 招标文件要求依据统一抽样规则，区分高风险全量检测项与普通指标分层抽样方案，完成数据集接入与文件完整性初校验（b2114）。 抽样策略的设计口径已在第 5.5 节给出。本阶段的工作是把口径落为具体数字：按《数据集台账》登记的实际规模，逐指标计算样本量，按四维分层分配到各层，输出《抽样策略文件》。文件内容含分层定义、各层总体样本数、各层抽取数、随机种子、抽中样本标识清单。 接入初校验是数据集进入评测的门槛检查，内容为结构完整性四项指标的全量检测（见第 4.3.1 节）：文件可打开性与哈希校验、整条空记录统计、模态齐备性统计、主键类字段非空率统计。初校验不通过的数据集退回加工环节修复后重新接入，不进入后续检测。这一设计是为了避免在基础结构有问题的数据上做后续全部检测，造成返工。 本阶段的验收要求是甲方确认无误后方可进入下一阶段（b2116）。我方提交的确认材料为五件：《数据集台账》、三份业务清单、《环境部署验收单》、《抽样策略文件》、《接入初校验报告》。甲方确认方式与时限在实施计划中约定。 #### 6.3 第二阶段　定制评测方案设计 招标文件列明本阶段四项工作，阶段验收要求是方案须完整覆盖全部评测指标、贴合企业业务实际场景，经甲方审核确认后方可通过（b2122）。 ##### 6.3.1 搭建适配行业的完整指标打分表 招标文件要求对标《高质量数据集质量评测规范》及甲方内部制度，搭建适配行业的完整指标打分表，明确三大维度所有三级指标的评测方式、合格阈值、缺陷分级标准（b2118）。 打分表的结构与登记要素已在第 4.1.2 节给出，定制适配的七处已在第 4.6 节汇总。本阶段的工作是把 81 项三级指标的取值逐项填定。填定的依据有三类：规范给出的通用取值、第一阶段梳理的业务规则与术语字典、我方在同类数据集上的检测经验。三类依据在打分表中逐项标注，便于甲方审核时判断取值的来源。 打分表的审核采用逐项过的方式，不采用整体签批。审核会议按维度分三场，每场对该维度的指标逐项确认评测方式、阈值、缺陷等级。审核意见与修改记录随打分表归档。审核通过的打分表即为本项目评测的作业标准，首轮评测与各轮复测均按此执行。 ##### 6.3.2 拆分指标对应评测手段 招标文件要求区分自动化检测指标、人工复核指标、基准模型实验指标，明确每项指标的检测流程与判定规则（b2119）。 手段分工的结果已在第 5.1 节表 S3-28 给出框架。本阶段的工作是逐项落到可执行的检测流程：自动化类指标明确使用哪一个检测通道、规则配置文件路径、输出字段；人工类指标明确抽样来源、复核表单格式、判定选项、记录字段；实验类指标明确实验编号、配置文件、评测脚本入口。 一项指标由两类手段共同承担时，须明确两类结论的合并规则：是取严、取人工优先、还是转仲裁。不写明合并规则会在执行期产生分歧，这一点在方案中逐项交代。 ##### 6.3.3 编制静态与动态一体化评测执行方案 招标文件要求细化自动化批量检测流程、专家分层复核流程、基准模型对照实验的完整步骤、训练参数、测试集隔离规则（b2120）。 执行方案是实施期的作业手册，内容分四部分。 自动化批量检测流程：六个通道的执行顺序、输入输出、并行与串行关系、异常处理与重试、日志格式、缺陷清单生成规则。 专家分层复核流程：三层的触发条件、样本分发方式、复核表单、双人独立判定与仲裁流程、一致率统计方式、抽检安排。 基准模型对照实验步骤：四类实验的逐步操作，含环境检查、数据划分核验、泄漏防护三道检查、对照组训练、实验组训练、评测执行、重跑取均、结果入台账。训练参数逐项写明取值，不留默认。 测试集隔离规则：测试集的封存方式、解封授权流程（双人授权并留痕）、使用后的重新封存、禁止将测试集样本用于任何训练或调参用途的作业约束、违反时的处理。 ##### 6.3.4 明确缺陷分级处置规则与合格标准 招标文件要求明确缺陷分级处置规则、复测校验标准、各维度指标合格分数线、综合总分合格标准（b2121）。 四项内容分别在第 5.4 节表 S3-32（缺陷分级与处置）、第 4.5.3 节表 S3-26（合格线与否决项）给出。本阶段的工作是把这两张表的取值与甲方确认，并补充复测校验标准的细化内容：每一类缺陷的复检方式、抽样比例、通过条件，以及复测与首轮评测在抽样上的差异（重新抽样而非复用首轮样本，理由见第 5.5.3 节）。 本阶段的验收要求是方案完整覆盖全部评测指标（b2122）。覆盖性的核对方式是用第 4.1.1 节表 S3-7 的 81 项指标清单逐项打钩，缺一项即不通过。核对结果以《指标覆盖核对表》形式随方案提交。 #### 6.4 第三阶段　评测执行 招标文件规定本阶段同步落地两大评测方法，完整执行全部指标检测工作，分两条线同步推进（b2124）；阶段验收要求是完成全部指标检测、无指标漏检、缺陷清单完整同步甲方（b2130）。 ##### 6.4.1 静态数据内生质量检测线 招标文件对本线列明两项工作：自动化批量检测（元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私个人信息、内容安全筛查，输出结构化缺陷清单）（b2125、b2126）；行业专家人工分层复核（逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标，对自动化检出高危样本全部复核，完成缺陷判定）（b2127）。 执行上的两件事需要在方案中交代清楚。 **一是顺序与依赖。** 自动化检测先行，人工复核的样本来源部分依赖自动化结果（全量复核层的对象就是自动化命中样本）。因此执行顺序是：元文档与结构通道 → 字段格式通道与重复相似通道并行 → 音视频质量通道、隐私通道、内容安全通道并行 → 人工全量复核层 → 人工专业判断层与文档评审层并行。顺序安排的目的是让人工资源在自动化结果出来之后集中投入，避免等待。 **二是漏检的防止。** 阶段验收要求"无指标漏检"（b2130），落实办法是三道核对：每个检测通道结束时核对处理样本数与台账登记的样本总数是否一致，差额逐条说明；每一项三级指标结束时核对是否已生成结论，无结论的列入待检清单；阶段结束时用《指标覆盖核对表》逐项打钩，与第二阶段提交的同一张表比对。三道核对的记录随缺陷清单一并同步甲方。 缺陷清单的同步方式是按批次滚动同步而非等全部完成后一次性提交。理由很实际：甲方的整改需要时间，越早拿到清单越早可以开始处置，整体周期能压缩。滚动同步的批次划分按业务域或按检测通道，每批同步时附该批的检测范围说明，避免甲方误以为是全部结论。 ##### 6.4.2 基准模型动态应用验证线 招标文件要求结合行业应用场景构建基准测试，量化数据集对模型训练的实际效用提升（b2128、b2129）。 本线的执行内容已在第 4.4.1 节与第 5.3 节给出。本节补充与静态线的互通安排。 两线之间有三处必须互通。第一处是跨数据集重复：静态线的重复相似通道一旦发现基准测试集与训练侧数据集存在重复，立即通报动态线，动态线暂停相关实验直至重复样本移除，否则实验结论不可用。第二处是标注一致性：静态线的标注准确性复核若发现一致率明显偏低，通报动态线，动态线在解释实验结果时须考虑这一因素，不把性能不足全部归因于样本量。第三处是数据划分：动态线的测试集封存清单须与静态线共享，静态线在抽样时避开测试集样本，避免抽样复核过程泄漏测试集内容。 三处互通以书面通报方式执行，通报记录归入过程记录册。这一安排看似琐碎，但它是两线并行而结论不互相拆台的必要条件。 ##### 6.4.3 阶段产出与同步 本阶段产出五类材料：自动化检测日志（按通道）、结构化缺陷清单（按批次）、人工复核记录（按层级）、模型实验台账与性能基线报告、三维度指标打分结果。 五类材料的同步安排见表 S3-35。 产出材料的同步安排单列成表，是因为评测执行阶段的材料并非等到阶段结束才一次性交付：缺陷清单早一批送出，甲方的整改就早一批开始，复测排期的压力也随之下降。同步频次因此不按统一周期设定，而按材料的时效价值——缺陷清单按批次滚动，模型实验材料按实验分别送出，指标打分结果则待汇总后统一出具，以免阶段性数字被当作最终结论引用。 表 S3-35 的「同步方式」一栏给出每类材料是推送原件还是推送索引，「接收方」一栏明确对接部门，二者合看即可确定每一类材料的流转路径。末行是边界：涉密内容相关记录不随同步流出隔离区，由甲方保密管理部门在区内查阅。这一安排支撑的是第 7.2 节离线隔离评测环境的承诺——材料的可及性通过索引调阅与区内查阅实现，不以放宽隔离边界换取流转便利。 表 S3-35　评测执行阶段的产出同步安排 | 产出材料 | 同步方式 | 同步频次 | 接收方 | 用途 | |---|---|---|---|---| | 结构化缺陷清单 | 按批次滚动同步 | 每批检测完成即同步 | 甲方数据管理部门 | 启动整改准备 | | 自动化检测日志 | 随缺陷清单附送索引，原件留在隔离区工作区 | 同上 | 甲方可随时调阅 | 缺陷溯源与审计 | | 人工复核记录 | 汇总后同步，含一致率统计 | 按层级完成即同步 | 甲方数据管理部门 | 判定依据核查 | | 模型实验台账与性能基线报告 | 四类实验分别同步 | 每类实验完成即同步 | 甲方数据管理部门与技术部门 | 短板定位与优化决策 | | 三维度指标打分结果 | 汇总同步 | 阶段结束时 | 甲方 | 阶段验收依据 | | 涉密内容相关记录 | 不出隔离区，在区内查阅 | 按需 | 甲方保密管理部门 | 合规核查 | #### 6.5 第四阶段　缺陷分析、整改指导与复测闭环 招标文件规定首轮评测完成后，整合静态与动态评测的全部指标打分结果与缺陷记录开展综合分析（b2132），具体三项工作为：梳理三大维度指标下的全部缺陷并标注缺陷对应指标名称、样本 ID、缺陷成因（b2133）；针对每类缺陷出具标准化整改操作指引，明确修正标准与复检校验规则（b2134）；结合模型动态验证短板，输出数据集场景补充、样本均衡优化、标注规范完善专项优化方案（b2135）。 ##### 6.5.1 缺陷梳理与成因标注 缺陷清单的六个必填字段与五类成因分类已在第 2.3 节给出。本阶段的工作是在首轮全部结论出来之后做跨指标的归并分析，找出缺陷之间的关联。 归并分析要回答三个问题。同一批样本是否在多项指标上同时不合格——若是，说明问题出在该批样本的来源或采集环节，整改应针对来源而不是逐指标修补。同一类缺陷是否集中在特定业务域或特定工序——若是，说明该域的加工规则或标注口径有系统性问题。缺陷数量与检测时间是否相关——若是，说明加工过程中某个时点的配置变更引入了问题。 三个问题的分析结论写入《缺陷综合分析报告》，它比缺陷清单更有用：清单告诉甲方有哪些问题，分析报告告诉甲方该从哪里下手。 ##### 6.5.2 标准化整改操作指引 整改指引按缺陷类型编制，每一类一份，内容五段：缺陷描述（命中的指标、判定依据、典型样本示例）、影响评估（该缺陷对模型训练的具体影响）、修正标准（改到什么程度算合格）、分步修正操作（逐步的操作说明，含工具与参数）、复检校验规则（复检的检测手段、阈值、抽样比例、通过条件）。 指引的编写原则是可执行。写"提升标注质量"不构成指引；写"该批样本的焊缝边界标注交并比低于 0.85，需按标注手册第 4.2 节的边界定义重标，重标后由独立复核员抽样 200 条核验交并比，均值达到 0.85 即通过"才构成指引。 对高级缺陷另附处置时限建议与风险提示；对中低级缺陷按批次分期的建议安排。 ##### 6.5.3 数据集迭代优化专项方案 数据集迭代优化专项方案分三部分，均来自动态验证的分组评测结论。 **场景补充。** 列出分组评测中性能明显偏低的场景或业务域，给出建议补充的样本类型、数量区间与采集途径。例如若备料工艺数据集在某几道工序上的裁判评分明显偏低，而这几道工序的样本数不足，建议补充即指向这几道工序的历史图纸与工艺卡配对样本。 **样本均衡优化。** 列出均衡性指标超出阈值且影响实验结果的特征维度，给出调整建议。建议分两类：补采稀少类别的真实样本（优先）、对稀少类别做有控制的增强或合成（次选，须登记生成来源并通过分布一致性检验）。不建议的做法是对多数类做简单欠采样，因为会丢弃真实信息。 **标注规范完善。** 列出标注一致性偏低的标签类型，分析是手册规则不清还是执行走偏（判断依据见第 4.3.3 节），给出手册修订建议或标注培训与复核加强建议。 专项方案交甲方决策，我方不代行数据加工与标注的执行决定。这是责任边界。 ##### 6.5.4 整改复测机制 招标文件规定：甲方完成数据修正后，供应商应开展完整复测，重新核算说明文档、数据质量、模型应用三大维度各项指标得分，直至所有缺陷整改完成；服务期内提供不少于一定次数的集中复测，具体次数在实施阶段由项目蓝图设计要求定义（b2136）。阶段验收要求是复测后高危缺陷全部清零、各维度指标得分达到最低合格线（b2137）。 **我方承诺服务期内提供不少于 4 次集中复测**，分别对应四个时点：首轮缺陷整改完成后的整改复测、服务期中段的增量数据集中复测、竣工验收前复测、最终验收前复测。最终次数随项目蓝图设计确认，蓝图设计要求的次数高于 4 次时按蓝图设计执行。 集中复测的范围不是全部重做。我方按三档确定复测范围，既保证结论有效，也避免把时间耗在未受影响的指标上。 表 S3-36　集中复测的范围分档 | 复测档位 | 适用情形 | 复测范围 | 抽样安排 | 得分处理 | |---|---|---|---|---| | 全量复测 | 触发否决项后的整改；数据集版本大幅变更（规模变动超过 20%） | 三维度全部 81 项指标，含四类模型实验 | 重新抽样，样本量按新规模重算 | 综合总分重新核算 | | 关联复测 | 一般缺陷整改完成后 | 缺陷命中的指标，加上与之存在依赖关系的指标（如标注规范性整改后须连带复测标注准确性与模型适配性） | 重新抽样，不复用首轮样本 | 被复测指标的得分更新，其余沿用，综合总分重算 | | 增量抽检 | 服务期内新增批次数据 | 结构完整性、安全规范性、隐私规范性、格式规范性、重复内容程度为必检项，其余按风险抽检 | 按增量规模设计样本量 | 单独出具增量抽检结论，不改动已出具的首轮总分 | 三档之外另有一条规则：任一轮复测中若出现首轮未曾出现的新缺陷类型，该类型对应的指标升级为全量复测，并在报告中说明新缺陷的出现时点与可能成因。这一条是为了防止整改引入新问题而被抽样漏过。 复测的报告形式是《复测报告》，内容含本轮复测范围、重新抽样清单、各指标更新后的得分、缺陷闭环状态、与上一轮的得分对比。每一轮复测报告独立成册，归入整改闭环册。 ##### 6.5.5 常态化增量抽检与合规巡检 招标文件在 b2109 要求服务周期内同步配套增量数据抽检与合规巡检常态化服务。这两项与集中复测的区别是：集中复测是针对整改后的完整核验，增量抽检与合规巡检是服务期内的持续监控。 **增量数据抽检**按月执行。对象是本月新增入集的数据批次，必检项见表 S3-36 增量抽检档。产出《增量抽检月报》，内容含本月增量规模、抽检样本量、各必检项结论、发现的缺陷与处置建议。月报按季度汇总向甲方汇报。 **合规巡检**按季度执行。对象是全数据集的安全与隐私类指标，巡检方式为重新跑一遍安全与隐私通道的自动化检测，加上对命中项的人工复核。巡检的必要性在于两点：规则库与分类模型在迭代，新版本可能检出旧版本漏过的内容；法律法规与行业规范可能换版，判定尺度随之变化。巡检产出《合规巡检记录》，发现问题按缺陷分级处置，高级缺陷即时通报不等季度汇总。 两项常态化服务的工作量与人员安排见第 7.1 节，所需资源计入服务期的持续投入。 #### 6.6 第五阶段　成果汇总与正式报告交付、整体验收 招标文件规定本阶段三项工作：归集评测准备、方案设计、评测执行、整改复测全流程的原始资料（b2139）；根据静态检测得分、人工复核得分、动态模型实验得分按权重核算三大维度分项得分及综合总分（b2140）；编制全套盖章正式评测报告，逐条列明每项指标的最终得分情况（b2141）。阶段交付物为《行业高质量数据集质量评测报告》（b2142）。 ##### 6.6.1 全流程原始资料归集 归集不是在最后一个阶段才开始的动作。四个前置阶段的材料在产生时即按质量档案的五分册归位，本阶段做的是完整性核对与索引编制。 核对方式是用《档案清单核对表》逐项打钩，清单的条目来自前四个阶段的产出物清单（见表 S3-34）。缺失项逐条追补，确实无法补齐的说明原因。索引编制的产出是《质量档案总索引》，它是四类用途调阅的入口，内容见第 8 章。 ##### 6.6.2 分项与综合得分核算 核算方法已在第 4.5 节给出。本节说明核算的执行与复核。 核算分三步：按指标归集三类手段的得分，形成 81 项三级指标得分表；按二级指标组聚合，形成 22 组得分表；按维度权重加权，形成三维度分项得分与综合总分。每一步的中间结果都留存，使任一环节的数字可被单独核对。 核算完成后由未参与检测执行的技术人员做结论复核，核对内容见第 5.6 节第四道控制。复核通过后的得分表方可进入报告编制。 若复测改变了部分指标的得分，综合总分按最新得分重算，报告中同时给出首轮得分与复测后得分的对比表，使甲方看到整改的实际效果。 ##### 6.6.3 正式评测报告的编制与出证 招标文件要求编制全套盖章正式评测报告，逐条列明每项指标的最终得分情况（b2141），交付物为《行业高质量数据集质量评测报告》（b2142）。 报告的结构见第 8.2 节。此处说明出证安排与责任边界。 正式盖章评测报告由具备相应资质的第三方评测机构出具。我方在其中承担的工作是：按资质条件核验并提请甲方确认评测机构的选定；统一评测方案、指标打分表与判定口径，使第三方机构的检测工作在同一套标准下执行；组织全流程的检测执行、人工复核与模型实验；归集过程资料并编制报告底稿；组织整改指导与集中复测。第三方机构承担的是独立核验与出证责任，其资质要求与选定方式见第 7.1 节。 出证周期须计入项目进度。第三方机构的现场核验、内部技术审核与出证流程需要时间，我方在实施计划中为此预留独立的时间窗，不把出证挤在验收申请前。出证周期的具体天数在机构选定后确认，稿件中标注为【待填：第三方评测机构的资质证明、核验周期与出证周期】。 报告的份数、载体形式（纸质与电子）、涉密版本与公开版本的区分，按甲方档案管理要求确定。涉密内容在公开版本中以样本编号替代原文，原文留在涉密版本中并按甲方保密管理规定保管。 ##### 6.6.4 整体验收硬性标准的逐条应答 招标文件列明四项整体验收硬性标准（b2143）。我方逐条应答如表 S3-37。 硬性标准的逐条应答要解决的是口径问题：同一条标准，招标文件给出的是结论性表述，执行时则需要一个可判定、可取证的操作口径，两者若不预先对齐，验收现场就会出现各方依据不同判法各算一套的情形。对齐的办法是为每一条标准同时给出判定方法与证据来源，并把判定口径指回本节前文已经定义的表格，不在此另立一套标准。 表 S3-37 的「判定口径」一栏即是这种指回：高危缺陷清零的判法见第 2.1 节表 S3-1，维度与总分的合格线见第 4.5.3 节表 S3-26，性能提升阈值见第 2.2 节表 S3-2，档案完整性见第 8 章；「我方应答」一栏给出本方案对该条标准的承诺口径，「提交证据」一栏列出验收时实际提交的材料，逐项可点验。四条合读可以确认：整体验收所依据的全部判据在实施期之初即已确定并经甲方确认，验收环节核对的是执行结果，而不是重新商定标准。 表 S3-37　整体验收硬性标准的应答与证据 | 验收标准 | 我方应答 | 判定口径 | 提交证据 | 单元 | |---|---|---|---|---| | 全部高危缺陷清零，中低危缺陷整改完成率 100% | 高危缺陷按复测抽样复查零发现判定达标；中低危整改完成率趋向全部完成，承诺基线 99%，未闭环项须有甲方确认的不整改评估 | 见第 2.1 节表 S3-1 | 缺陷台账闭环状态、复测抽样复查记录、不整改评估单 | b2144 | | 三大维度得分均达到最低合格标准，综合总分 ≥85 分 | 各维度 ≥80 分、综合 ≥85 分，内控目标 88 分 | 见第 4.5.3 节表 S3-26 | 指标得分表、维度分项得分、综合总分核算过程 | b2145 | | 模型动态验证各项性能提升达到约定阈值 | 按四类数据集分别达到约定最低提升阈值；阈值取值以第二阶段甲方确认的取值为准 | 见第 2.2 节表 S3-2 | 性能基线报告、实验台账、可复现材料三件套 | b2146 | | 全套交付成果完整规范，可直接用于归档、审计、达标认证 | 质量档案按五分册组织，四类用途各配调阅清单 | 见第 8 章 | 质量档案总索引、档案清单核对表 | b2147 | 四项标准中第一项与第三项的落地口径此前已说明，不再重复。第四项"可直接用于"这一要求的落实方式是在档案组织上按用途反推，而不是在交付时才整理，这是第 2.4 节与第 8 章的设计出发点。 ### 7、评测组织、环境与资源保障 本章不重复第 6 章已说明的部署步骤，只讲组织与资源。 #### 7.1 三方职责边界与人员配置 本项目的质量评测涉及三方：甲方、我方、第三方评测机构。三方的职责若不划清，会在整改与出证两个环节产生扯皮。 **甲方的职责**是提供数据集与配套说明文档、提供内网隔离环境与算力资源、确认业务规则与术语字典、确认评测方案与指标打分表、执行数据修正（`b2136`）、确认第三方评测机构的选定、组织阶段验收。其中「执行数据修正」一项须按缺陷成因理解：出在本包加工环节（标注、对齐、合成、增强、切分、质检）的差错由我方修正并承担费用，不占用甲方人力；需要甲方实际补录的只有原始业务事实在源头缺失的那一类。五类成因的划分与责任归属见本章表 S3-41A，该表随技术协议定版。 **我方的职责**是统一评测口径与方案设计、组织检测执行与人工复核、搭建并运行模型对照实验、编制缺陷清单与整改指引、输出迭代优化专项方案、归集质量档案、组织集中复测、提供常态化增量抽检与合规巡检。 **第三方评测机构的职责**是按统一方案开展独立核验、出具盖章正式评测报告、对报告结论承担资质范围内的责任。 表 S3-38　评测组织的角色与人员配置口径 | 角色 | 承担工作 | 人员条件 | 配置口径 | |---|---|---|---| | 评测总负责 | 方案统筹、口径裁定、与甲方的对接 | 具备数据治理与数据集建设项目的统筹经验 | 全程 1 名 | | 指标与方案设计 | 指标打分表、执行方案、抽样设计 | 熟悉数据质量评测规范与统计抽样方法 | 设计阶段集中投入 | | 自动化检测执行 | 六通道的工具运行、规则维护、日志管理 | 具备数据处理与质检工具运维能力 | 执行阶段按通道分工 | | 行业专家复核 | 领域专业性、行业符合度、内容真实性、跨模态一致性复核 | 具备矿山装备制造背景，熟悉刮板输送机结构与型谱、备料与焊接工艺、热处理工艺与检验标准 | 专业判断层按抽样量配置，双人独立判定 | | 内容安全复核 | 安全与隐私类命中样本的全量复核 | 熟悉内容安全判定标准 | 全量复核层按命中量配置 | | 文档评审 | 说明文档维度 21 项评审 | 熟悉数据集文档规范 | 双人独立打分 ＋ 第三人仲裁 | | 模型实验执行 | 四类对照实验的环境、训练、评测、台账 | 具备模型微调与评测工程能力 | 执行阶段全程 | | 结论复核与质量控制 | 四道质量控制、报告结论复核 | 不参与本轮检测执行 | 独立于执行团队 | 人员的实名与资质材料不在本节范围，按招标文件要求随团队配置部分提交。本节的人员条件是岗位要求，稿件中标注为【待填：行业专家名单与资质材料、第三方评测机构资质证明】。 #### 7.2 离线隔离评测环境 部署步骤已在第 6.2.3 节给出，本节说明环境的构成与管控。 环境构成四部分：数据只读区（挂载四大数据集的封版副本与配套文档，评测账号只有读权限）、测试集封存区（独立存储，解封须双人授权并留痕）、检测工具区（六个检测通道的工具与规则库）、实验与工作区（模型训练推理环境、检测中间结果、日志与复核记录）。 管控四条：原始业务数据不出甲方内网，检测与实验全程在隔离区内进行；评测环境不接入互联网、不使用公网云端服务；移动存储介质的使用按甲方保密管理规定审批，审批记录逐次留存；外部人员入场作业全程双人在场并留痕。 ##### 图 S3-8　离线隔离评测环境的边界与数据流向 甲方内网隔离区（物理与逻辑双重隔离，不接入互联网） 数据只读区 四大数据集封版副本 配套说明文档与数据卡 评测账号仅读权限 测试集封存区 独立存储，默认不可访问 解封须双人授权并留痕 使用后重新封存 检测工具区 自动化六通道工具与规则库 标定样本集与校准记录 实验与工作区 四类基准模型训练推理环境 日志 / 复核记录 / 实验台账 区内产出：缺陷清单、指标得分、复核记录、实验台账、检测日志 涉密内容相关记录不出区，甲方在区内查阅 去敏后出区 出区材料 缺陷清单（样本编号） 指标得分与报告底稿 原文以编号替代 区外（禁止事项） 不上传原始样本 不调用公网云端服务 不导出涉密内容原文 移动介质须逐次审批 隔离实测由甲方会签 图 S3-8　离线隔离环境的边界与数据流向。数据来源：招标文件 3.2.8.2.3 节涉密工业数据集本地离线隔离检测要求（b2100）与 3.2.8.2.4 节第 1 阶段环境部署要求（b2113）。 #### 7.3 平台与工具支撑 本项目的数据集加工生产与运营依托奔牛数据智能平台平台（技术方案卷 T3 节），质量评测在其上使用三类能力：质检规则的配置与执行、缺陷台账的流转与闭环管理、数据集版本与指纹的管理。 三类能力与本节评测工作的衔接点如下。质检规则的配置与评测的《指标打分表》共用同一套规则表达方式，使加工过程内的工序级质检与封版后的评测在判据上同源，避免同一条规则在两处有不同写法。缺陷台账的流转使缺陷清单从生成到整改到复检的状态变化在平台上可查，这是闭环判定的数据基础。数据集版本与指纹的管理使每一轮评测的对象版本明确，复测时可以准确回到某一版本比对。 自动化检测通道的工具选型、规则库的维护方式、模型实验的工程实现属于实施细节，不在本节展开；与工具链的衔接见技术方案卷 T2C 节。 #### 7.4 过程资料的留存与可追溯 招标文件要求全流程操作、检测日志、实验记录、复核材料归档留存，所有指标检测结果可追溯、实验可复现（b2100、b2109）。 留存的具体做法是三条。 **按产生即留存，不事后整理。** 检测日志由工具自动写入，人工复核记录在复核表单提交时即入库，实验台账在实验执行脚本中自动登记。这样安排的目的是避免事后补记造成记录与实际不符。 **留存内容带足定位信息。** 每一条记录含时间、执行人或工具版本、输入对象标识、输出结论。缺少定位信息的记录在审计时无法使用。 **留存期限与载体按甲方档案管理要求。** 电子记录在隔离区内留存，按甲方要求的周期备份；涉密记录按保密管理规定保管。具体期限与载体要求待甲方确认，稿件中标注为【待填：甲方档案管理办法对评测记录的留存期限与载体要求】。 可追溯的验证方式是抽查：在阶段验收时由甲方随机指定若干项指标结论，我方按证据位置调取原始记录，核对结论与记录是否一致。抽查不通过的，该项结论重新出具。这一条写进方案里，是把"可追溯"变成可检验的承诺而不是一句话。 ### 8、质量档案与交付物 #### 8.1 质量档案的五分册组织 档案按用途反推组织的理由已在第 2.4 节说明。五个分册的内容与对应用途见表 S3-39。 分册的切分依据既不是材料产生的先后，也不是材料的载体形式，而是调阅场景：达标验收要看指标逐项有无结论，资产备案要看来源与权属，专项审计要看过程是否留痕，内部合规检查要看安全与隐私类指标的检测覆盖与处置记录，模型实验材料因其可复现性要求自成体系。五册之分正是这五类需求的直接映射，一份材料只归一册，避免同一文件在多处重复归档而版本各异。 表 S3-39 的「主要用途」一栏是分册归属的判据，「来源阶段」一栏指明该册材料在实施过程中的产生时点，两栏并读可以确认：档案不是在交付前临时汇编的，而是随各阶段工作同步沉淀，阶段关口的交付物即是档案的入册件。这一组织方式支撑的是第 2.4 节提出的交付承诺——交付的不是一个待整理的资料包，而是四类用途均可直接取用的成品档案。 表 S3-39　质量档案的五分册构成 | 分册 | 内容 | 主要用途 | 来源阶段 | |---|---|---|---| | 一　指标结论册 | 81 项三级指标的得分表、22 组二级指标得分、三维度分项得分、综合总分核算过程、指标覆盖核对表、适用性裁剪清单 | 达标验收、内部合规检查 | 阶段三、阶段五 | | 二　过程记录册 | 数据集台账、业务规则清单、行业术语字典、涉密管控边界清单、环境部署验收单、抽样策略文件与抽中样本清单、自动化检测日志、人工复核记录与一致率统计、四道质量控制记录、评测口径裁定记录 | 专项审计 | 阶段一至阶段三 | | 三　权属与合规册 | 数据来源登记表、使用许可与授权依据、一手数据占比统计、数据分级登记表、隐私检测与脱敏记录、内容安全检测清单、合规巡检记录 | 资产备案、内部合规检查 | 阶段一、阶段三、常态化 | | 四　模型实验册 | 实验台账、环境镜像清单、脚本与配置、数据划分清单与随机种子、泄漏防护检查记录、性能基线报告、分组评测结果、数据集迭代优化专项方案 | 达标验收、技术复核 | 阶段三、阶段四 | | 五　整改闭环册 | 结构化缺陷清单（按批次）、缺陷综合分析报告、分级整改操作指引、缺陷台账与闭环状态、各轮复测报告、增量抽检月报、不整改评估单、数据集管理规范修订建议 | 达标验收、专项审计 | 阶段四、阶段五、常态化 | 四类用途各自的调阅清单见表 S3-40。清单的作用是让甲方在接受审计或办理备案时按清单抽取，不必重新梳理。表中「需调阅的分册与条目」一栏给出抽取范围，「核心证据」一栏说明这一组材料合在一起能够证明什么，后者是判断抽取是否完整的依据——证据链不齐时，补的是缺的那一环，而不是把五册全部调出。 表 S3-40　四类用途的档案调阅清单 | 用途 | 需调阅的分册与条目 | 核心证据 | |---|---|---| | 行业高质量数据集达标验收 | 一册全部；四册性能基线报告与实验台账；五册复测报告 ＋ 盖章正式评测报告 | 指标逐项结论 ＋ 可追溯的检测记录 ＋ 性能提升实测 | | 企业数据资产备案 | 三册全部；一册综合总分与维度得分；二册数据集台账 | 来源合法性 ＋ 权属与许可 ＋ 规模与版本 ＋ 质量结论 | | 上级数字化专项审计 | 二册全部；五册缺陷清单与闭环状态；四册泄漏防护检查记录 | 过程留痕 ＋ 抽样可复现 ＋ 无选择性检测 | | 内部合规检查 | 三册隐私与内容安全部分；一册安全与隐私类指标得分；五册合规巡检记录 | 安全与隐私指标检测覆盖 ＋ 处置记录 | #### 8.2 《行业高质量数据集质量评测报告》的结构 招标文件要求报告逐条列明每项指标的最终得分情况（b2141），交付物名称为《行业高质量数据集质量评测报告》（b2142）。报告的结构按七章组织。 第 1 章　评测概况。评测对象（四大数据集的名称、版本、规模）、评测依据（四层依据的具体文件与版本）、评测范围与适用性裁剪、评测时间与轮次、参与方与职责。 第 2 章　评测方案摘要。指标体系（三维度 22 组 81 项）、检测手段分工、抽样设计、权重与合格线、缺陷分级标准。摘要的作用是让读者在看结论之前知道结论是怎么得出的。 第 3 章　指标检测结果。按维度分三节，每节逐项列出三级指标的实测值、阈值、得分、证据位置。这一章是报告的主体，逐条列明是招标文件的明确要求。 第四章　模型应用验证结果。四类实验的配置、对照结果、提升幅度与阈值对比、分组评测结果、可复现材料索引。 第五章　缺陷与整改。缺陷清单汇总（按等级与成因分类统计）、整改指引索引、各轮复测结果与得分变化对比、闭环状态。 第 6 章　综合判定。三维度分项得分、权重与加权过程、综合总分、否决项核对结果、与整体验收硬性标准的逐条对照。 第 7 章　结论与建议。质量结论、适用范围与使用注意（即数据集可以用于什么、在什么条件下须谨慎）、数据集管理规范修订建议。 附件：指标打分表、抽中样本清单、检测日志索引、实验台账、档案总索引。 报告在首轮评测后出具一版，每轮集中复测后出具复测报告，最终验收前出具汇总版。汇总版以最终得分为准，并保留各轮的得分变化记录。 #### 8.3 交付物清单 交付物清单要回答的是：评测服务的成果在什么时点、以什么形式、交到谁手里可以被点验。清单不按材料类型归堆，而按阶段关口排列，原因在于每一项交付物同时承担两个作用——既是本阶段工作完成的凭证，也是下一阶段开工的输入；台账不定则抽样无从设计，打分表不填定则检测无从执行。 表 S3-41 的「交付时点」一栏与第 6 章的五阶段关口一一对应，「形式」一栏区分电子件、纸质签字件与甲方会签件，凡需甲方确认的均已注明；「对应单元」一栏给出该交付物在招标文件中的出处，使清单的完备性可以逐条核对而不必凭列举。按时点竖读可以看出每一道关口需要点验的内容，按单元横读可以确认招标文件提出的交付要求均有对应物。清单共 24 项，覆盖五个阶段的关口交付与服务期内的常态化成果；其中既有一次性交付的报告与方案，也有按批次、按月、按季度滚动产出的记录，后者的持续产出是服务期内质量结论保持有效的依据。 表 S3-41　本节评测工作的交付物清单 | 序号 | 交付物 | 交付时点 | 形式 | 对应单元 | |---|---|---|---|---| | 1 | 数据集台账 | 阶段一结束 | 电子表格 ＋ 纸质签字版 | b2111 | | 2 | 业务规则清单、行业术语字典、涉密管控边界清单 | 阶段一结束 | 文档，甲方确认签字 | b2112 | | 3 | 环境部署验收单 | 阶段一结束 | 文档，甲方会签 | b2113 | | 4 | 抽样策略文件与抽中样本清单 | 阶段一结束 | 文档 ＋ 电子清单 | b2114 | | 5 | 接入初校验报告 | 阶段一结束 | 文档 | b2114 | | 6 | 指标打分表（填定版） | 阶段二结束 | 电子表格 ＋ 甲方审核记录 | b2118 | | 7 | 评测手段分工表 | 阶段二结束 | 文档 | b2119 | | 8 | 静态与动态一体化评测执行方案 | 阶段二结束 | 文档，甲方审核确认 | b2120 | | 9 | 缺陷分级与合格标准文件 | 阶段二结束 | 文档 | b2121 | | 10 | 指标覆盖核对表 | 阶段二与阶段三各一次 | 文档 | b2122、b2130 | | 11 | 自动化检测日志 | 阶段三滚动 | 电子，留存隔离区 | b2126 | | 12 | 结构化缺陷清单 | 阶段三滚动 | 电子表格，按批次同步 | b2126 | | 13 | 人工复核记录与一致率统计 | 阶段三滚动 | 电子 ＋ 纸质复核表单 | b2127 | | 14 | 模型实验台账与性能基线报告 | 阶段三，按实验分别 | 文档 ＋ 可复现材料三件套 | b1887、b2128、b2129 | | 15 | 三维度指标打分结果 | 阶段三结束 | 电子表格 | b2140 | | 16 | 缺陷综合分析报告 | 阶段四 | 文档 | b2132、b2133 | | 17 | 分级整改操作指引 | 阶段四 | 文档，按缺陷类型分册 | b2134 | | 18 | 数据集迭代优化专项方案 | 阶段四 | 文档 | b1887、b2135 | | 19 | 复测报告 | 每轮复测后 | 文档，不少于 4 轮 | b2136 | | 20 | 《行业高质量数据集质量评测报告》（盖章正式版） | 阶段五 | 纸质盖章 ＋ 电子 | b1891、b2141、b2142 | | 21 | 质量档案五分册与总索引 | 阶段五 | 电子 ＋ 纸质目录 | b1890、b2139、b2147 | | 22 | 增量抽检月报 | 服务期内按月 | 文档，按季度汇总汇报 | b2109 | | 23 | 合规巡检记录 | 服务期内按季度 | 文档 | b2109 | | 24 | 数据集管理规范修订建议 | 每轮复测后 | 文档 | b1891 | 清单中第 20 项的盖章出证由具备相应资质的第三方评测机构完成，其余各项由我方组织产出。报告与档案的份数、涉密与公开版本的区分按甲方档案管理要求确定。 ### 9、与项目验收的衔接 本章只讲评测成果在验收中的位置与作用，项目整体的验收组织安排见服务方案卷项目管理措施部分。 #### 9.1 二次验收模式下评测成果的位置 招标文件 9.1 验收标准规定，本项目验收采用二次验收模式，即竣工验收和最终验收：项目实施完毕由投标方提出申请，由招标方讨论通过后进行竣工验收；在系统试运行一段时间并调试至稳定，且满足招标文件、投标文件、技术协议、合同、蓝图设计方案等要求后，由投标方提出申请，由招标方对项目进行总体成果评估，评估通过后组织最终验收；最终验收在竣工验收基础上侧重实施效果与运行、维护质量的评价（b2225、b2226）。招标文件同时规定项目组在达到合同和技术协议规定的技术指标后提出验收申请（b2227）。 评测成果在两次验收中的作用不同，这一点须在方案中说清，否则会出现"竣工验收时数据集还在整改"的被动局面。 **竣工验收时点**，评测成果须具备的状态是：首轮全量评测已完成、缺陷清单已完整输出并同步、整改指引已交付、首轮整改复测已完成、三维度得分达到合格线、盖章正式评测报告已出具。对应本节的第三至第五阶段完成。 **最终验收时点**，评测成果须具备的状态是：服务期内的集中复测均已完成、增量抽检与合规巡检记录完整、所有缺陷闭环或有甲方确认的不整改评估、质量档案五分册完整并经档案清单核对、数据集管理规范修订建议已提交。 两个时点的材料清单在实施计划中与项目总体验收节点对齐。我方在竣工验收前预留第三方机构的出证时间窗（见第 6.6.3 节），避免报告未出而验收申请已提。 #### 9.2 验收要点四条的应答 招标文件列明验收要点四条（b2228—b2236）。我方逐条应答。 **第一条**要求按照合同与技术协议所规定条款进行验收，达到合同和技术协议规定的技术指标（b2228、b2229）。本节的评测相关指标在技术协议中落为可核对的条款：三维度合格线与综合总分合格线、四类模型实验的最低提升阈值、集中复测次数、交付物清单。四项在技术协议签订时逐项确认取值，确认后的取值即为验收判据。本节第 2.1 节、第 2.2 节、第 4.5.3 节、第 6.5.4 节给出的是我方的承诺基线，技术协议中的取值不低于这些基线。 **第二条**要求项目软件、硬件的技术指标同时满足或高于招标文件、投标文件、技术协议、合同、蓝图设计方案等要求（b2230、b2231）。本节涉及的技术指标为评测相关指标，不涉及软硬件选型。我方的应答是：评测方案的指标体系以招标文件 3.2.8.2.2 节列明的 81 项为基准，不删减；阈值取值不低于规范通用取值，行业定制处的调整均为使判定更贴合业务实际，调整理由逐项说明并经甲方审核（见第 4.6 节）。 **第三条**要求由投标方组织测试工作，在招标方的配合下形成验收测试报告，作为验收结论（b2232、b2233）。本节的评测工作即数据集部分的测试工作，由我方组织、甲方配合（配合内容为数据与环境提供、业务规则确认、数据修正执行）。《行业高质量数据集质量评测报告》即数据集部分的验收测试报告，作为该部分的验收结论依据。 **第四条**要求投标方按照招标文件要求、合同要求、技术协议要求及招标方提出的其他要求提供交付资料，由招标方检查资料的正确性及完整性，相关资料须完整有效，符合招标方档案管理要求（b2234、b2235、b2236）。本节的交付资料见第 8.3 节清单，档案组织见第 8.1 节。符合甲方档案管理要求这一条的落实方式是在阶段一即取得甲方档案管理办法并按其要求确定载体、格式与留存期限（见第 7.4 节的待填项），而不是在交付时才调整。 #### 9.3 验收流程与整改费用承担 招标文件 9.2 验收流程规定：项目建设内容按招标文件、投标文件、技术协议、合同、蓝图设计方案等文件要求完成，项目交付物完整且通过招标方评审后方可申请验收；招标方负责人员在投标方递交交付物后进行综合评估并给予验收确认；投标方必须在验收前按招标方提出的整改要求完成对项目交付物的优化改进，整改过程发生的一切费用由投标方承担，未按要求整改的不予验收（b2237、b2238）。 我方对这一条的应答是明确的：评测相关交付物在验收前按甲方提出的整改要求完成优化改进，整改费用由我方承担。这里需要区分两类整改，以免执行期产生歧义。 **第一类是评测交付物本身的整改**，即报告、档案、指引等我方产出物不符合要求（如指标结论缺证据、档案组织不符合甲方档案管理要求、报告结构不完整）。这一类由我方整改，费用由我方承担，复核与重新提交不另计费。 **第二类是数据集本身的缺陷整改**，即评测检出的数据缺陷。招标文件 b2136 规定数据修正由甲方完成，我方承担整改指引的编制与整改后的复测。但「数据修正由甲方完成」这一条在执行时须按缺陷成因再分一层，否则会被读成我方把自己加工环节的差错也推给甲方去改——那不是本方案的意思，也不是一个负责的做法。 缺陷成因分五类，责任与费用按成因归属，如表 S3-41A。归属的判定原则只有一条：**缺陷出在哪一道工序，就由负责那道工序的一方修正。** 本包承担四类数据集的采集、预处理、标注、合成、增强、质检与验证全部加工环节，因此这些环节里产生的差错一律由我方修正、费用由我方承担，不计入甲方的数据修正工作量，也不占用甲方的人力。真正需要甲方补录的只有一类——原始业务事实在源头就不存在或已不可查，这一类我方无从修正，因为要补的不是加工结果而是业务记录本身。 表 S3-41A　缺陷成因五类划分与整改责任归属 | 成因类别 | 典型表现 | 修正方 | 费用 | 判定依据 | |---|---|---|---|---| | 一　加工环节差错 | 标注错标漏标、对齐错配、合成样本不合工艺实际、切分泄漏、增强改变了事实 | **我方** | 我方承担，不另计费 | 血缘记录指向我方某一加工环节与工具版本 | | 二　加工口径不一致 | 同一字段在不同批次口径不同、标注规范执行偏差、单位或时间基准不统一 | **我方** | 我方承担，不另计费 | 批次间口径比对与标注规范核对 | | 三　源数据可取但未取全 | 源系统中确有记录而本次采集范围、增量水位或权限未覆盖 | **我方**（重新采集），甲方开通必要权限 | 我方承担加工侧费用 | 源系统比对可查到该记录 | | 四　原始业务事实缺失 | 历史纸质记录已不可查、井下测点损坏期间无数据、当年未留存该字段 | **甲方**（补录或确认不可补） | 按合同与技术协议约定 | 源系统与档案均无该记录，经双方书面确认 | | 五　业务规则或判据需重新确认 | 工艺窗口、术语口径、缺陷类别定义在评测中发现与现行规程不符 | 甲方确认规则，我方按确认结果重做 | 我方承担重做费用 | 规程比对结论与甲方业务口径确认件 | 表 S3-41A　数据来源：成因类别依本章第 2 章各评测维度实际检出的缺陷类型归并；责任归属依「缺陷出在哪道工序由该工序负责方修正」的原则，并与招标文件 b2136 关于数据修正由甲方完成的规定衔接——该规定在本表中对应第四类与第五类的甲方动作。本表随技术协议定版。 按这一分层，五类中有三类（一、二、三）由我方修正并承担费用，一类（五）由甲方确认规则后我方重做并承担费用，只有第四类需要甲方实际投入补录人力。本章第 2.1 节已写明的「已评估不整改项」两种情形（原始业务事实缺失、整改成本显著高于其对模型训练的影响且经甲方书面确认），对应的正是第四类里确实补不齐的部分，两处口径一致。 我方承诺的不少于 4 次集中复测与服务期内的增量抽检、合规巡检，均在本包服务范围内，不因复测轮次而另行计费。因第一类、第二类成因引起的复测不计入这 4 次额度——我方自己的差错导致的重测，不占用甲方的复测次数。超出 4 次且非我方原因导致的额外集中复测，按技术协议约定处理。 两类整改的区分与上表的五类成因归属一并写入技术协议，并与第 7.1 节的三方职责边界表对齐，避免验收阶段就「谁该改、谁付钱、人力谁出」产生分歧。这一条是责任边界的划分，不是对招标文件要求的保留。 ### 10、风险识别与应对 本章不属于招标文件的某一具体条款，而是对 3.2.8 全节可行性的补充说明。评分项明文评价方案的"可行性"（b0496r04），而可行性最直接的体现是对执行期障碍的预判与应对。本章列出的七项风险均为本项目的具体情形，不是通用风险清单。 #### 10.1 风险清单与应对 风险管理在本项目上要回答的问题只有一个：若执行期真的出事，方案还能不能按期交出合格的评测结论。七项风险的筛选标准不是发生概率的高低，而是其一旦发生会否直接影响某一项验收结论的成立——算力不足牵动模型应用维度的全部数字，基准模型不可获取牵动对照口径，整改进度牵动复测排期与竣工时点，机构档期牵动盖章出证，配套文档缺失牵动说明文档维度的判定，安全检测误判牵动人工复核的可承受工作量，增量入集牵动结论的时效性。 表 S3-42 以「触发条件—影响—应对措施—回退路径」四栏并置：触发条件一栏给出判断风险是否已经发生的客观依据，应对措施一栏是风险尚未发生时的前置动作，回退路径一栏是风险已经发生后仍能交出结论的降级方案。四栏齐备意味着每一项风险都不以「加强管理」收尾，而是落到可执行的动作与可接受的降级结果上。四项合读可以确认：本方案的交付承诺在上述七种不利情形下均有兑现路径，差别只在结论的精度与时点，不在结论的有无。 表 S3-42　评测实施的风险识别与应对 | 风险 | 触发条件 | 影响 | 应对措施 | 回退路径 | |---|---|---|---|---| | 一　隔离区算力不足以支撑四类模型实验 | 甲方内网隔离区可用算力低于视频类多模态实验的需求 | 模型应用维度实验无法按计划完成，该维度结论缺失 | 在阶段一即核定可用算力并据此排定实验顺序，资源需求最高的视频类实验排在最后；提前向甲方书面说明资源缺口 | 降低帧采样密度与片段长度，在报告中说明配置变更对结论可比性的影响；不把实验挪到隔离区外执行 | | 二　招标文件指定的基准模型版本不可获取 | 指定的开源模型版本在实施期已下架或不可在隔离区内获取 | 实验无法按指定基准执行，结论与招标文件口径不符 | 在阶段一即核验四类基准模型的可获取性并离线缓存；核验结果书面报甲方 | 采用同参数量级、同架构的开源模型替代，替代方案与对比口径影响评估经甲方书面确认后执行，报告中说明替代原因 | | 三　甲方数据修正进度影响复测排期 | 缺陷清单交付后甲方整改周期超出计划 | 复测延后，连带影响竣工验收时点 | 缺陷清单按批次滚动同步而非一次性提交，使整改可以提前开始；整改指引写到可执行粒度，减少甲方理解成本；按月向甲方同步整改进度看板 | 调整复测档位，先对已整改批次做关联复测而不等全部完成；未整改项在报告中列为未闭环并附进度说明 | | 四　第三方评测机构的资质与出证周期不确定 | 具备相应资质的机构档期紧张或出证周期长于预期 | 盖章正式报告出具延后 | 在阶段一即完成机构资质核验与档期锁定，并在实施计划中为出证预留独立时间窗 | 提前启动机构的现场核验，使核验与我方的检测执行并行；出证周期无法压缩时，提前向甲方书面报告并调整验收申请时点 | | 五　说明文档缺失导致指标无法检测 | 数据集的数据字典、标注手册或版本日志缺失 | 字段格式通道无规则可配，说明文档维度多项指标判为缺项 | 在阶段一的摸底调研中即核查配套文档完整度，缺失项列入待补清单并明确责任方与时限 | 文档缺失时该指标判为缺项并计零分，不以"无法检测"回避；补齐后在下一轮集中复测中重核 | | 六　安全内容检测误判率过高淹没真实风险 | 工业术语与通用风险词重叠，规则库产生大量误报 | 人工复核工作量失控，真实高风险样本被淹没 | 在阶段一即建立工业术语白名单与上下文规则，由行业专家编制、甲方确认；首轮评测中按误判记录迭代白名单并留存版本 | 误判率仍高时按业务域分批检测，优先完成高风险来源（公开渠道采集部分）的复核；白名单迭代过程与版本在档案中留存以备审计 | | 七　增量数据持续入集使评测结论时效性受限 | 服务期内数据集持续有新批次进来 | 已出具的评测结论不能代表当前版本 | 每一份报告明确标注评测对象的版本与版本指纹；增量抽检按月执行并出具月报；合规巡检按季度全集重跑安全与隐私通道 | 增量规模累计超过已评测规模 20% 时触发全量复测（见表 S3-36），重新核算综合总分 | #### 10.2 两项需要甲方协同的前提 七项风险中有两项的化解主要取决于甲方的配合，在此明确提出，以便在蓝图设计阶段落实。 **第一项是数据修正的责任与资源。** 招标文件 b2136 明确数据修正由甲方完成，我方提供整改指引与复测。整改的实际工作量取决于首轮缺陷数量，而缺陷数量在评测前无法准确预估。建议在蓝图设计阶段约定整改的响应时限与资源投入口径，并约定整改进度的同步方式。我方的做法是提供可执行到操作步骤的指引，并按月同步进度看板，把甲方的理解与协调成本压到最低。 **第二项是配套说明文档的齐备。** 说明文档维度 21 项指标的检测对象是随数据集交付的配套资料。本项目的四大数据集由加工生产环节产出，其配套文档（数据卡、数据字典、标注手册、版本日志）在加工环节即应同步产出。建议在加工环节的交付标准中把这四类文档列为封版的前置条件，使数据集封版时文档即齐备，而不是在评测时才发现缺失。这一建议已通过本卷与技术方案卷的衔接提出（见第 11 章）。 ### 11、本节与其他章节的接口 本章说明本节与投标文件其他部分的衔接边界，使同一事项不在两处用不同口径讲两遍。 #### 11.1 四处接口的边界 接口表要回答的是：同一个事项在两处出现时，以哪一处的口径为准。四处接口的选取依据是事项的重合点——加工生产环节的工序级质检与本节的独立评测都在判定数据的对错，规模与数据卡部分声明的数字与本节的规模完整性指标都在清点数据集有多少，治理体系产出的数据标准与术语字典是本节判据的来源，六个专业场景的业务验证与本节的模型应用维度都以模型的表现说话。重合而不划界，同一问题就会被两处用不同的名字记录两遍。 表 S3-43 中，「衔接事项」一栏指出重合点，「边界划分」一栏给出归属判断，「本节的处理」一栏说明本节在该归属下实际做什么、沿用对方成果的是哪一部分。关键在「边界划分」一栏，它贯穿同一条准则：数据集封版之前属加工，封版之后属评测；体系与模板的建设属对方章节，建设成果的使用属本节。读完可以确认，四大数据集从加工、评测到场景验证全程只有一套缺陷字典、一套样本标识、一套规模口径。 表 S3-43　本节与其他章节的接口与边界 | 对方章节 | 衔接事项 | 边界划分 | 本节的处理 | |---|---|---|---| | 技术方案卷　四大数据集加工生产（含标注与质检） | 缺陷字典、样本标识、质检规则 | 加工过程内的工序级质检属该节；数据集封版后的独立评测属本节 | 本节的指标判据与该节的质检规则共用同一套规则表达方式与同一套缺陷字典，使两处判据同源；本节不重述质检环节的设计 | | 技术方案卷　四大数据集规模与数据卡 | 规模口径、数据卡字段 | 数据卡的字段定义与填写属该节；数据卡作为说明文档被检测属本节 | 本节说明文档维度 21 项指标的检测对象即该节产出的数据卡与配套文档；规模指标的复算口径以该节声明的统计方式为准 | | 技术方案卷　数据治理体系 | 数据标准、术语字典、数据分级 | 治理体系的建设属该节；治理成果作为评测依据属本节 | 本节第 6.2.2 节的行业术语字典与第 3.5 节的内部制度清单，取自该节的治理成果，本节不另建一套 | | 技术方案卷　六个专业场景验证方案 | 场景验证指标、归因口径 | 场景的业务验证属该节；数据集的质量评测属本节 | 本节模型应用维度的分组评测按业务域与工序切分，其分组结果可供该节的场景验证参考；两者的归因口径统一到同一套缺陷字典与样本标识上 | | 附录佐证卷　标准规范与报告模板 | 指标打分表模板、质检与验证报告模板、数据卡模板 | 模板的格式与样例属该卷；模板在实施期的填定与使用属本节 | 本节的《指标打分表》空表模板随该卷提供；本节产出的报告按该卷的模板格式编制 | #### 11.2 三处口径须保持一致 本节与上述章节有三处口径必须一致，不一致会在评标与执行两个环节都产生问题。 **第一处是缺陷字典。** 加工过程质检、数据集评测、场景验证三处都会产出缺陷记录，若三处的缺陷类型命名与分级标准不同，同一个问题会被记录三次且无法合并统计。统一的做法是以本节第 5.4 节表 S3-32 的三级分级与第 2.3 节的五类成因分类为基准，三处共用。 **第二处是样本标识。** 本节的缺陷清单、复核记录、实验数据划分清单都以样本唯一标识定位，该标识须与加工环节产出的标识一致，并能映射到业务对象标识（施工号、图号、炉次号、焊道号、设备编码）。标识体系的定义属治理体系部分，本节沿用不另定。 **第三处是规模口径。** 四大数据集的规模数字（预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条）在本节作为规模完整性 3.3.1 的比对基准，与规模与数据卡部分声明的数字必须一致，含四业务域的分列数字。 ##### 图 S3-9　质检、评测、场景验证三道关口的衔接与口径同源 关口一　加工过程质检 工序级检验，发生在封版之前 目的：不合格样本不流到下道工序 见技术方案卷加工生产部分 关口二　数据集质量评测 三维度 81 项，发生在封版之后 目的：给出可对外出证的质量结论 本节 关口三　场景验证 投入业务流程检验业务效用 目的：回答数据集的业务价值 见技术方案卷场景验证部分 传：封版数据集 ＋ 配套文档 ＋ 版本指纹 传：质量结论 ＋ 分组评测短板定位 三处共用的同源口径（不一致则结论无法合并统计） 缺陷字典（三级分级 ＋ 五类成因） ｜ 样本唯一标识与业务对象标识映射 ｜ 四大数据集规模口径 口径来源：治理体系部分定义标识体系与术语字典；本节定义缺陷分级与成因分类 规模与数据卡部分声明规模数字，本节按其声明的统计方式复算核验 图 S3-9　三道关口的衔接与口径同源。数据来源：本投标文件技术方案卷与服务方案卷的章节分工；招标文件 3.2.6.3 加工环节划分与 3.2.8 评测要求（b1881—b2147）。 ### 12、评分表与索引表的填写口径 #### 12.1 索引表 2 的填写口径 索引表 2 为招标文件留白、由我方填写的格子，要求按综合评分表的评分项逐行填写索引页码（b2278r04）。本评分项对应该表序号 3 行，填写口径如表 S3-44。 表 S3-44　索引表 2 第 3 行的填写口径 | 列 | 填写内容 | |---|---| | 序号 | 3 | | 评分项 | 质量评测方案 | | 评分标准 | 评价数据集质量评测方案的测评依据、评测指标、评测方法、实施过程设计的合理性、可行性。一般得 0-1 分，良好得 2-3 分，优秀得 4-5 分 | | 索引页码 | 【待填：合稿后本节的起止页码】 | 索引页码在投标文件合稿、页码排定后统一填入，由合稿环节统一处理，不在本节正文中预填。若甲方要求细化到四项设计各自的页码，按测评依据对应第 3 章、评测指标对应第 4 章、评测方法对应第五章、实施过程对应第六章分列填写。 ### 13、本稿待补材料清单 本节的结构与论述已按招标文件要求写定，以下材料须由项目组或甲方提供后补入，补入位置已在正文中以【待填】标注。 表 S3-45　本稿待补材料清单 | 序号 | 待补材料 | 正文位置 | 提供方 | 用途 | |---|---|---|---|---| | 1 | 甲方现行数据管理制度清单及版本号（数据分级分类目录、保密管理规定、档案管理办法、信息系统数据访问管理规定） | 第 3.5 节 | 甲方数据管理部门 | 第四层评测依据的具体文件与条款 | | 2 | 业务规则清单、行业术语字典、涉密管控边界清单的甲方确认记录 | 第 6.2.2 节 | 甲方业务专家与保密管理部门 | 指标判定的业务基准 | | 3 | 甲方内网隔离区可用于评测的算力资源配置 | 第 5.3.2 节、第 6.2.3 节 | 甲方信息部门 | 四类模型实验的资源排期与回退判断 | | 4 | 行业专家名单与资质材料 | 第 4.3.7 节、第 7.1 节 | 项目组 | 领域专业性与行业符合度复核的人员资质佐证 | | 5 | 第三方评测机构资质证明、核验周期与出证周期 | 第 6.6.3 节、第 7.1 节 | 项目组对外协调 | 盖章正式报告的出证安排与进度排期 | | 6 | 甲方档案管理办法对评测记录的留存期限与载体要求 | 第 7.4 节 | 甲方档案管理部门 | 质量档案的载体、格式与留存期限 | | 7 | 合稿后本节的起止页码 | 第 12.1 节 | 合稿环节 | 索引表 2 第 3 行的索引页码 | | 8 | 技术协议中确认的三维度权重、各维度合格线、四类实验最低提升阈值的最终取值 | 第 4.5.2 节、第 4.5.3 节、第 2.2 节 | 项目组商务与甲方 | 验收判据的最终取值 | 清单第 8 项需要说明：招标文件 b2106 要求"按招标文件约定权重计算数据集综合总分"，但招标文件正文未列明三维度的具体权重取值。本节按第 4.5.2 节的理由提出建议权重（说明文档 20%、数据质量 50%、模型应用 30%），并在正文多处注明最终以技术协议与蓝图设计确认为准。该项在技术协议谈判中须明确约定，不宜留待执行期再议。 本节所列量化目标与阈值均为我方的承诺基线，最终以招标文件原文、技术协议与蓝图设计确认的取值为准。