### 13.20 3.2.8 数据集质量评测建设要求应答

本节回应第五章 3.2.8 全部 267 个单元（b1881–b2147），含评测目标、评测依据四层文件、三维度指标体系的全部三级指标、评测方法与五个实施阶段。

评测与我方内部质检的关系先交代清楚：内部质检（见 13.14.8）是加工环节的门控，用的是同一套六维度指标与同一个指标字典；本节的评测是对外出报告的正式评测，由具备资质的评测机构出具盖章报告。两者指标口径一致，内部质检先行把问题拦下来，使正式评测不必靠整改轮次堆叠来达标。

#### 13.20.1 评测目标（3.2.8.1）

【待填：合稿页码】

| 单元 | 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|---|
| b1881–b1882（p110） | 3.2.8 数据集质量评测建设要求、3.2.8.1 评测目标（标题） | 引用 | 正文按目标、依据、指标、方法、实施过程五段论述 | 数据集质量评测 |
| b1883（p110） | 须完成多模态自建数据集首轮全量评测、缺陷整改复测等，通过标准化评测、实战化模型验证、全流程整改闭环，实现四大量化建设目标 | 完全响应 | 按首轮全量评测、缺陷整改、复测三步执行，四大目标逐项对应可核验的交付物：核验目标对应指标打分表与得分报告，效能目标对应性能基线报告，闭环目标对应缺陷整改台账，交付目标对应盖章评测报告与数据质量档案 | 数据集质量评测·评测目标 |
| b1884–b1885（p110） | 1. 全维度数据质量合规核验目标：围绕说明文档、数据质量、模型应用三大维度实现指标 100% 全覆盖核验，建立标准化量化打分体系；评测完成后数据集综合质量得分≥85 分（百分制）；数据内所有涉政、色情、暴恐、涉密、未脱敏隐私信息等高风险缺陷 100% 清零，标注错误、样本缺失、内容重复等中低风险缺陷整改完成率 100%，全面消除数据合规与内容安全隐患 | 完全响应 | 三项承诺按可验收的口径组织。指标覆盖：三维度全部三级指标逐项列入打分表，每项有评测方式、合格阈值与缺陷分级，无指标免检——覆盖情况以打分表与原指标清单逐条对照核验。综合得分：以不低于 85 分为验收线，内部质检先按同口径预评并整改，使正式评测的起点高于合格线。高风险缺陷：五类按全量检测（不抽样）、逐条登记、修复后复测，台账关闭率趋向 100%，未关闭的高风险项一律阻断数据集发布，这是硬闸口而非目标值；中低风险缺陷按台账管理并逐轮复测，整改完成率趋向 100%，剩余项须经甲方确认方可带入下一版本。本条为招标文件设定的绝对指标，我方以「全量检测＋台账逐条关闭＋未关闭即阻断发布」的机制响应，不以统计口径回避 | 数据集质量评测·评测目标；数据集质检 |
| b1886–b1887（p110） | 2. AI 模型实战适配效能验证目标：依托约定开源基准大模型、视觉、语音、多模态模型搭建独立隔离训练环境，完成数据集微调对照实验；量化对比微调前后模型准确率、关键词识别、场景描述专业度等，形成可复现的性能基线报告；各类数据集需达到最低性能提升阈值，精准定位数据场景覆盖、样本均衡、标注规范层面短板，输出数据集迭代优化专项方案 | 完全响应 | 对照实验在甲方内网隔离环境中执行，基础模型取招标文件约定的开源模型，环境与依赖锁定版本、随机种子固定，使报告可复现。三类指标按模态分别定义测量方法；最低提升阈值按数据集类型分别约定并写入评测方案，达不到阈值的数据集不判合格，按三类短板（场景覆盖、样本均衡、标注规范）定位后出迭代优化专项方案并回流修复。提升幅度一律给样本量与显著性判断，不以单次跑分差值作结论 | 数据集质量评测·模型应用验证；数据集验证 |
| b1888–b1889（p110） | 3. 缺陷整改全闭环管控目标：针对评测检出的全部数据缺陷设计标准化整改方案，包含问题样本定位、缺陷成因、分步修正操作、复检校验规则等；在甲方完成数据修正后提供复测服务，直至同类缺陷清零；建立「评测-问题输出-整改指导-复测校验」完整质量闭环 | 完全响应 | 每类缺陷出一份标准化整改指引，四项内容齐备：问题样本定位给样本标识与所在批次，缺陷成因按采集、预处理、标注、合成四环节归因，分步修正操作写到可执行的动作，复检校验规则写明判定方式与通过条件。复测按同一套静态与动态标准执行，同类缺陷复现即再次整改，直至台账关闭。闭环的四个环节在系统中以工单流转，不以会议纪要代替 | 数据集质量评测·缺陷整改闭环；数据集项目管理 |
| b1890–b1891（p111） | 4. 标准化成果交付与合规验收目标：归集全套可存档、可溯源的评测原始过程资料与正式盖章评测报告，形成完整数据质量档案；交付材料可直接支撑行业高质量数据集达标验收、企业数据资产备案、上级数字化专项审计、内部合规检查等；依托评测成果持续优化数据集管理规范，释放工业数据资产价值 | 完全响应 | 档案按阶段归集：准备阶段的台账与抽样方案、方案阶段的打分表、执行阶段的检测记录与复核意见、整改阶段的台账与复测记录、交付阶段的盖章报告，逐份登记来源与版本。四类用途各配材料清单，使甲方取用时不必二次整理；评测中发现的规范缺口回流到数据标注规范与数据质量管理办法的修订项 | 数据集质量评测·成果交付；数据治理体系 |

#### 13.20.2 评测依据（3.2.8.2.1）

| 单元 | 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|---|
| b1892–b1893（p111） | 3.2.8.2 评测服务要求、3.2.8.2.1 评测依据（标题） | 引用 | 正文按四层依据分列并给落地要求 | 数据集质量评测·评测依据 |
| b1894（p111） | 全部工作须严格遵循国家法律法规、人工智能与数据领域行业专项规范、采购人内部数据管理相关制度四层依据开展，所有评测指标、检测流程、风险判定规则、报告结论均不得与下述文件要求相冲突 | 完全响应 | 四层依据在评测方案中逐层列出并建立「条款—指标」对照表：每一项评测指标注明其所依据的文件与条款，使报告结论可追到依据。出现依据之间要求不一致时按较严者执行并在方案中注明，不自行折中 | 数据集质量评测·评测依据 |
| b1895–b1900（p111） | 1. 国家法律法规：《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》《关键信息基础设施安全保护条例》 | 完全响应 | 五部法规逐部落到检测项：数据安全法对应分类分级与出域管控检查，个人信息保护法对应个人信息识别与脱敏检查，网络安全法对应环境与访问控制检查，生成式人工智能服务管理暂行办法对应语料来源合法性与内容安全检查，关键信息基础设施安全保护条例对应环境隔离与审计检查 | 数据集质量评测·评测依据；安全合规 |
| b1901（p111） | 落地要求：所有隐私脱敏、版权溯源、涉密数据筛查、内容安全检测、数据本地离线管控流程必须完全匹配上述法律要求 | 完全响应 | 五类流程逐项设计并留证：隐私脱敏按规则加模型双通道识别后处理并抽检残留，版权溯源按来源与授权凭证逐批登记，涉密筛查按甲方密级标准执行并由甲方人员确认，内容安全按八类风险检测，本地离线管控以内网隔离环境与禁止导出的技术措施落实。五类流程的执行记录进评测档案 | 数据集质量评测·评测依据；安全方案 |
| b1902–b1904（p111） | 2. 行业专项评测规范：《高质量数据集质量评测规范》（TC609-5-2025-04）、《关于推进行业高质量数据集建设行动的实施方案》 | 完全响应 | 两份文件作为指标体系与打分规则的主依据，指标体系按其三维度结构搭建（见 13.20.3）；规范版本号在评测方案中固定，评测期间若规范更新，按更新后版本重新核对指标清单并记录差异 | 数据集质量评测·评测依据 |
| b1905（p111） | 落地要求：严格按照规范搭建「说明文档+数据质量+模型应用」三维度指标体系，所有打分规则、缺陷分级、模型实战验证流程均以此规范为基础，结合煤机业务场景做定制化适配 | 完全响应 | 三维度体系照规范搭建，定制化适配体现在三处且只在规范允许的范围内：指标的行业判据（如领域专业性以煤机术语与工艺规程为准）、阈值的行业取值（如图像清晰度按井下与车间照明条件设定）、以及人工复核的专家领域要求。适配内容逐项在方案中注明依据，不改动规范的指标构成 | 数据集质量评测·评测依据 |
| b1906–b1908（p112） | 3. 煤炭装备行业专属补充依据：《煤矿智能化建设指南》、煤机装备行业技术数据、设备参数保密管理相关行业指引 | 完全响应·含配合事项 | 两类依据用于行业判据与保密边界的确定：建设指南用于场景覆盖与术语判定，保密管理指引用于技术数据与设备参数的密级判定与可评测范围界定。具体适用的行业指引文本与密级边界须由甲方确认；【待填：适用行业指引清单与设备参数密级边界确认】 | 数据集质量评测·评测依据；安全方案·分级管控 |
| b1909（p112） | 落地要求：针对煤矿井下场景文本、图像、音视频数据集评测设计适配行业的判定标准 | 完全响应 | 按四类模态分别制定井下场景的判定标准：文本按井下作业术语与规程表述判定专业性，图像按井下照明、粉尘与遮挡条件设定清晰度与信噪比阈值，音频按井下噪声环境设定信噪比阈值，视频按井下拍摄条件设定分辨率与帧率阈值。标准经行业专家确认后写入打分表 | 数据集质量评测·评测依据 |

#### 13.20.3 评测指标·说明文档维度（3.2.8.2.2 之 1）

说明文档维度的 21 项三级指标对应的交付物就是数据集说明卡与配套文档。我方在数据集项目管理环节按本维度的指标清单设计说明卡字段（见 13.14.10 的 b1567 应答），使文档在评测前已按指标项填齐，而非评测时临时补写。

| 单元 | 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|---|
| b1910–b1911（p112） | 3.2.8.2.2 评测指标：依据《高质量数据集质量评测规范》（TC609-5-2025-04）搭建由说明文档、数据质量、模型应用构成的三维度评测指标体系；说明文档指标用于核查数据集配套资料的完整性、准确性与清晰度 | 完全响应 | 三维度指标逐项列入打分表并注明评测方式（自动化检测、人工复核、模型实验三类）、合格阈值与缺陷分级；打分表与原规范的指标清单逐条对照，确保无漏项、无改名 | 数据集质量评测·评测指标 |
| b1912–b1913（p112） | 1. 说明文档指标、1.1 基本信息完整性（标题） | 引用 | 本组 6 项指标逐项应答见下 | 数据集质量评测·说明文档维度 |
| b1914–b1915（p112） | 1.1.1 数据集规模：评估说明文档是否对数据集体量进行量化说明，如样本总数、总时长（音视频）、总词数（文本）或总存储空间等 | 完全响应 | 说明卡按模态分别给量化体量：文本给 Token 数与条数、图像给张数、音视频给条数与总时长、整体给存储占用；Token 统计标明分词器与版本。四类数据集的规模与 13.15 的规模表一致 | 数据集质量评测·说明文档维度；数据集项目管理 |
| b1916–b1917（p112） | 1.1.2 格式规范：评估说明文档对数据集格式（文件类型、编码方式、数据结构）是否清晰明确定义 | 完全响应 | 说明卡列明文件类型（JSONL、Parquet、图像与音视频容器格式）、字符编码、字段结构与嵌套层级，并给出结构示意；格式定义与自描述封装文件中的定义同源，避免两处不一致 | 数据集质量评测·说明文档维度 |
| b1918–b1919（p112） | 1.1.3 文件结构：评估说明文档是否清晰说明目录组织方式、文件命名规则以及各文件/文件夹的内容 | 完全响应 | 说明卡给目录树、命名规则（含批次与版本位）与逐目录内容说明；命名规则由加工平台在导出时强制执行，不靠人工命名 | 数据集质量评测·说明文档维度 |
| b1920–b1921（p113） | 1.1.4 获取渠道：评估说明文档是否提供明确、可访问的数据集下载链接或申请路径，并说明获取流程 | 完全响应 | 说明卡给运营平台的数据集页面路径与申请流程（申请、审批、授权、获取四步），含不同交付方式（下载、接口、任务式）的获取说明与所需权限 | 数据集质量评测·说明文档维度；数据集运营服务管理平台 |
| b1922–b1923（p113） | 1.1.5 技术支持：评估说明文档是否提供官方技术支持渠道，如论坛、邮箱或问题追踪系统，并能提供有效帮助 | 完全响应·含配合事项 | 说明卡给技术支持入口（运营平台工单系统为主渠道）、响应时限与支持范围；工单系统承担问题追踪，处理记录可查。对外公布的联系方式由甲方确定；【待填：对外技术支持渠道与联系方式确认】 | 数据集质量评测·说明文档维度；项目服务·技术支持 |
| b1924–b1925（p113） | 1.1.6 使用便捷性：综合评估数据集的「开箱即用」体验，衡量是否配备完整的数据字典、解析脚本或示例代码，以降低使用门槛 | 完全响应 | 每个数据集随附三件套：数据字典、解析脚本与示例代码（含最小可运行样例）；交付前在独立环境中按字典与脚本解析一遍并记录结果，验证「开箱即用」确实成立而非声称成立 | 数据集质量评测·说明文档维度；数据集项目管理 |
| b1926–b1927（p113） | 1.2 内容特征完整性、1.2.1 模态类型：评估说明文档是否清晰说明数据集中包含的所有数据类型（模态） | 完全响应 | 说明卡逐一列出四类模态及其条数与占比，多模态样本单独标注其模态组合；占比口径与 13.15 的多模态条数占比指标一致 | 数据集质量评测·说明文档维度 |
| b1928–b1930（p113） | 1.2.2 数据分布：评估说明文档是否提供数据在关键特征上的统计分布信息，如数值直方图、类别不均衡比例等 | 完全响应 | 说明卡附分布报表：按业务域、任务类型、标签类别、样本长度、来源、时间六个维度给分布，类别不均衡以最大类与最小类比值表示。报表由分布分析工具自动生成，与均衡作业使用同一份统计 | 数据集质量评测·说明文档维度；数据分布分析与均衡 |
| b1931–b1932（p113） | 1.2.3 标签类别：评估说明文档是否提供完整、清晰且无歧义的所有标签类别清单及其详细定义 | 完全响应 | 说明卡附标签清单与定义，定义取自知识本体与标注规范，含正例与易混淆项说明；封闭标签集（如十类焊接缺陷、两类热处理外观缺陷）标明其封闭性，不允许使用者自行扩展 | 数据集质量评测·说明文档维度；数据标注规范建设 |
| b1933–b1934（p113） | 1.2.4 样本示例：评估说明文档是否包含具有代表性的数据样本，用于直观展示数据结构、格式与内容 | 完全响应 | 每个数据集给不少于一组各任务类型的样本示例，示例经脱敏处理且覆盖典型与边界两种情形；图像与时序类示例附可视化图 | 数据集质量评测·说明文档维度 |
| b1935–b1936（p113） | 1.2.5 局限性说明：评估说明文档是否主动、坦诚揭示数据集存在的潜在偏见、覆盖不足的场景或其他已知局限性 | 完全响应 | 说明卡设局限性专栏，如实写明三类情况：样本量不足以支撑显著性判断的长尾类别、来源集中度偏高的子集、以及合成与增强数据的占比及其可能带来的分布偏移。主动披露局限不是减分项——隐藏局限会在使用中暴露并损害数据集可信度 | 数据集质量评测·说明文档维度 |
| b1937–b1939（p114） | 1.3 建设过程完整性、1.3.1 数据来源：评估说明文档是否清晰说明原始数据的来源渠道、采集时间范围及地理区域等溯源信息 | 完全响应 | 说明卡按子集列来源系统或资料类别、采集时间窗与涉及单位范围；地理区域按甲方厂区与应用矿区的粗粒度表述，涉及敏感地理信息的按去标识口径处理，不给精确位置 | 数据集质量评测·说明文档维度；安全方案·去标识与脱敏 |
| b1940–b1941（p114） | 1.3.2 采集方法：评估说明文档是否详细说明用于获取原始数据的方法、工具或具体流程 | 完全响应 | 说明卡按三通道（结构化、文件、时序）说明采集方式、频率与调度安排，并注明所用工具类别与版本；现场加装传感器采集的部分说明测点与采样率 | 数据集质量评测·说明文档维度；数据采集 |
| b1942–b1943（p114） | 1.3.3 加工处理流程：评估说明文档是否完整描述从原始数据到最终数据集所经历的全部数据清洗、转换、标注等步骤 | 完全响应 | 说明卡给加工链路图与各环节的算子、参数与门控判据，与血缘记录中的实际处理链路一致——说明文档的流程描述由血缘数据生成而非人工撰写，两者不会脱节 | 数据集质量评测·说明文档维度；数据预处理 |
| b1944–b1945（p114） | 1.3.4 标注规范：评估说明文档是否提供详尽、无歧义的标注操作手册，含所有标签定义、标注规则和典型示例 | 完全响应 | 标注规范按数据类型分册随数据集一并交付，每册含标签定义、标注粒度、判定细则、正反例、一致性门限与返工条件；交付版本号与该数据集版本绑定 | 数据集质量评测·说明文档维度；数据标注规范建设 |
| b1946–b1947（p114） | 1.3.5 版本记录：评估说明文档是否维护清晰的变更日志，记录各版本迭代的时间、主要变更内容和版本号 | 完全响应 | 变更日志按版本登记时间、变更内容、变更原因（质检工单或验证归因）与影响范围，由平台在发布时自动生成条目，人工补充变更原因说明 | 数据集质量评测·说明文档维度；数据集项目管理 |
| b1948–b1950（p114） | 1.4 应用说明完整性、1.4.1 使用许可：评估说明文档是否明确规定数据集的使用授权条款，如是否允许商用、是否需要署名等 | 完全响应 | 说明卡给许可条款：使用范围、是否允许商用、是否允许再分发、署名要求与期限；条款与来源数据的授权链条相容，来源不允许商用的部分不会被纳入可商用数据集 | 数据集质量评测·说明文档维度；安全合规·数据来源合法性 |
| b1951–b1952（p114） | 1.4.2 目标应用场景：评估说明文档是否清晰界定该数据集设计用于支持的 AI 任务或应用的具体领域 | 完全响应 | 说明卡列明该数据集支持的任务类型与对应的验证场景（11 个场景中的哪几个），并注明不适用的情形，避免被用于其设计目标之外的任务而得出错误结论 | 数据集质量评测·说明文档维度；数据集场景验证服务 |
| b1953–b1954（p114） | 1.4.3 评估方法：评估说明文档是否给出官方推荐的、用于衡量模型在该数据集上性能的评价指标和评测协议 | 完全响应 | 说明卡给推荐评价指标与评测协议版本号，协议含题型、判分规则、随机种子与基准集版本；推荐协议与我方验证所用协议一致，使第三方复现的结果可与我方报告对比 | 数据集质量评测·说明文档维度；多协议模型评测引擎 |
| b1955–b1956（p115） | 1.4.4 基准测试结果：评估说明文档是否提供基于该数据集的、可复现的应用案例或基线模型（Baseline）的实现参考 | 完全响应 | 说明卡附基线结果表：所用基础模型类别、训练与评测配置、各能力维度得分与样本量；配套给出复现所需的配置文件与随机种子，使他人可重跑 | 数据集质量评测·说明文档维度；数据集验证 |
| b1957–b1958（p115） | 1.4.5 典型应用案例：评估说明文档是否提供基于该数据集的具体、可复现的应用代码示例或基线模型实现参考，以帮助用户快速上手 | 完全响应 | 按任务类型给应用代码示例（数据加载、训练与评测三段最小可运行代码），示例随数据集版本维护；本项与 1.4.4 在规范中表述相近，我方按两项分别交付——基线结果表对应 1.4.4，可运行代码示例对应 1.4.5，不以一份材料充抵两项 | 数据集质量评测·说明文档维度 |
#### 13.20.4 评测指标·数据质量维度（3.2.8.2.2 之 2）

数据质量维度的指标与我方内部质检的六维度指标共用同一个指标字典（见 13.14.8 的 b1542 应答）：同名指标在两处的算法、阈值与统计范围一致，内部质检的得分可直接作为正式评测的预评结果。

| 单元 | 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|---|
| b1959–b1961（p115） | 2. 数据质量指标、2.1 结构完整性、2.1.1 字段完整性：衡量各字段（列）的非空值比例，评估数据属性的缺失程度 | 完全响应 | 字段完整性按字段逐列统计非空率，必填字段设 100% 要求、可选字段按约定阈值；统计在每批次入集前执行，必填字段缺失的记录不入集，因此入集后的必填字段非空率由流程保证而非事后补救 | 数据集质量评测·数据质量维度；数据集质检 |
| b1962–b1964（p115） | 2.1.2 文件完整性：判断文件是否完整，是否有损坏 | 完全响应 | 文件完整性按两道校验：传输阶段核对校验和与文件数清单，入集阶段按格式解析试读一遍（图像、音视频试解码），损坏文件进失败清单并重新获取。校验结果随批次记录 | 数据集质量评测·数据质量维度 |
| b1965–b1966（p115） | 2.1.3 模态完整性：针对多模态数据，衡量每个样本包含其预设应有的全部数据模态（如图、文）的样本比例 | 完全响应 | 多模态样本按其模态组合定义必备模态，逐样本检查齐备情况；缺模态的样本不作为多模态样本计数（避免虚增多模态占比），可降级为单模态样本或进补齐队列 | 数据集质量评测·数据质量维度；数据集建设及指标 |
| b1967–b1968（p115） | 2.1.4 记录完整性：衡量非空记录（行）的比例，评估是否存在整条记录数据缺失的情况 | 完全响应 | 记录完整性按行级判定，空记录与仅含占位值的记录一并计入不完整；此类记录在预处理阶段剔除并记录剔除量，不带入数据集 | 数据集质量评测·数据质量维度；数据预处理 |
| b1969–b1971（p115） | 2.2 安全规范性、2.2.1 暴恐内容：检测数据集中是否存在暴力或恐怖主义相关内容 | 完全响应 | 八类内容安全风险（本项及下列七项）统一按规则词表加模型检测双通道全量筛查，不抽样；命中样本逐条登记并剔除，剔除后复扫确认。本项属高风险缺陷，台账未关闭即阻断发布 | 数据集质量评测·数据质量维度；安全合规 |
| b1972–b1973（p115） | 2.2.2 毒品药品内容：评估是否涉及非法毒品或违禁药品的相关信息 | 完全响应 | 按八类风险的统一筛查机制执行；本项在工业数据中罕见，但化学品与药剂类术语易误命中，因此设人工复核环节避免把正常的工艺用化学品描述误删 | 数据集质量评测·数据质量维度 |
| b1974–b1975（p115–p116） | 2.2.3 低俗辱骂内容：检查是否包含低俗语言、辱骂或恶意攻击的内容 | 完全响应 | 按统一筛查机制执行；本项在现场工单与对话类语料中有实际发生可能（现场口语记录），命中样本按剔除或改写两种处置，改写须保留原技术信息 | 数据集质量评测·数据质量维度 |
| b1976–b1977（p116） | 2.2.4 血腥内容：评估是否包含血腥或残忍场景的内容，如流血、伤害、虐杀等 | 完全响应 | 按统一筛查机制执行；安全事故类资料中可能涉及人员伤害描述与影像，此类内容按脱敏与剔除处理，涉及人员伤害的影像一律不入集 | 数据集质量评测·数据质量维度 |
| b1978–b1979（p116） | 2.2.5 赌博内容：对数据内容及关键词分析，检查是否存在道德风险的相关表述 | 完全响应 | 按统一筛查机制执行，检测范围按本条原文覆盖赌博类及其他道德风险表述；命中即剔除并记录 | 数据集质量评测·数据质量维度 |
| b1980–b1981（p116） | 2.2.6 色情内容：评估是否包含色情或成人内容 | 完全响应 | 按统一筛查机制执行，文本与图像两路分别检测；本项属高风险缺陷，全量筛查、逐条清零、未关闭即阻断发布 | 数据集质量评测·数据质量维度 |
| b1982–b1983（p116） | 2.2.7 涉政内容：评测是否包含涉及政治敏感的内容 | 完全响应 | 按统一筛查机制执行并对检出样本 100% 人工复核（避免把政策文件的正常引述误判）；本项属高风险缺陷，处置口径同上 | 数据集质量评测·数据质量维度 |
| b1984–b1985（p116） | 2.2.8 歧视偏见内容：衡量是否存在针对特定群体（如种族、性别）的歧视性言论或偏见性表述 | 完全响应 | 按统一筛查机制执行；此外在人员相关字段去标识后，数据集不保留可用于群体划分的个人属性，从数据结构上减少偏见来源 | 数据集质量评测·数据质量维度；安全方案·去标识与脱敏 |
| b1986–b1988（p116） | 2.3 格式规范性、2.3.1 字段格式规范性：衡量每个字段的取值是否都遵循预定义的格式要求，如日期格式、编码标准等 | 完全响应 | 格式规范按字段级规则校验（类型、长度、取值域、正则、单位），规则来自数据标准中的数据元标准；校验在入集前执行，不通过的记录退回修正。单位规范作为独立校验项，工艺与质量类字段尤其从严 | 数据集质量评测·数据质量维度；数据标准规划 |
| b1989–b1991（p116） | 2.4 标注规范性、2.4.1 标注规范性：评估标注是否符合预定的标注规范，遵循预先设定的规范化流程 | 完全响应 | 标注规范性以三项证据判定：标签体系符合性（是否使用本体定义的标签）、流程合规性（自检、抽检、仲裁三级记录是否齐备）、黄金集通过率。三项均达门限方判合格，任一不达则该批次返工 | 数据集质量评测·数据质量维度；数据标注 |
| b1992–b1994（p116） | 2.5 类型一致性、2.5.1 类型一致性：衡量数据集内容与其宣称的目标应用场景在类型、风格和专业性上是否匹配 | 完全响应 | 按说明卡声明的目标场景抽样核对内容类型与风格，核对由熟悉该场景的专家执行；不匹配的样本或调整其归属子集、或修正说明卡的场景声明，两者取其实际——不以改声明的方式掩盖内容偏离 | 数据集质量评测·数据质量维度 |
| b1995–b1997（p116–p117） | 2.6 内容真实性、2.6.1 内容可追溯：数据真实可追溯；非合成数据能追溯到采集源头并与源头保持一致、不存在未经说明的篡改；合成数据能追溯到生成算法与参数 | 完全响应 | 两类数据分别追溯：非合成数据由血缘记录指回原始记录标识与采集批次，一致性以抽样回比原始源验证；合成数据由合成元数据（种子来源、合成方法、提示词版本、模型版本、采样参数）指回生成过程。任何加工导致的内容变化均在处理链路中记录，不存在未说明的改动 | 数据集质量评测·数据质量维度；数据集–模型版本血缘追溯 |
| b1998–b1999（p117） | 2.6.2 内容准确性：衡量数据记录的信息与客观事实或权威信源的相符程度 | 完全响应 | 准确性按来源分层判定：源系统直接取得的业务数据以源系统为准并做跨源交叉校验，文档抽取数据以原文为准并抽样回比，合成数据以其种子与知识约束为准。知识类条目的准确性由专家终审把关，未终审条目不入集 | 数据集质量评测·数据质量维度；知识库 |
| b2000–b2002（p117） | 2.7 内容干净性、2.7.1 文本困惑度：评估文本的流畅性和可预测性，困惑度越低代表文本越符合自然语言的语法和逻辑常规 | 完全响应 | 按统一的语言模型计算困惑度并按文本类型分别设阈值——工艺规程与标准条文的困惑度天然高于叙述性文本，一刀切阈值会把正规技术文本误判为低质。超阈值样本进复核而非直接剔除，模型与版本在报告中注明 | 数据集质量评测·数据质量维度 |
| b2003–b2004（p117） | 2.7.2 知识信息密度：衡量数据内容中蕴含的结构化知识（如事实、关系）的浓度，通过知识抽取等技术评估 | 完全响应 | 以单位文本长度内可抽取的实体与关系数量度量，抽取按知识本体的类目执行；低密度样本（如纯格式性文本、页眉页脚残留）在预处理阶段已被剔除，评测时作为复核项 | 数据集质量评测·数据质量维度；知识本体 |
| b2005–b2006（p117） | 2.7.3 重复内容程度：衡量内容完全相同或高度相似的样本所占比例 | 完全响应 | 按精确重复、近重复与语义重复三级统计并分别给比例（见 13.9.8）；去重在入集前完成，评测统计的是残留重复率，残留超阈值则回流重新去重 | 数据集质量评测·数据质量维度；数据去重与相似度过滤 |
| b2007–b2008（p117） | 2.7.4 文本完整度：衡量单条文本在语义和结构上是否完整，例如是否存在被意外截断的句子、不完整段落或缺失关键信息部分 | 完全响应 | 完整度按三项检查：句末结构是否完整、段落是否被切断、必要字段是否缺失。切分工具已按语义边界优先切分（见 13.9.3），截断主要来自解析失败，检出后回流重新解析 | 数据集质量评测·数据质量维度；文档结构解析 |
| b2009–b2010（p117） | 2.7.5 信息缺失度：衡量应有信息未能被记录的程度，通常以空值或特定占位符在关键字段中出现的频率量化 | 完全响应 | 按关键字段的空值与占位符频率统计；占位符清单预先约定（避免把业务上合法的「无」误计为缺失），统计口径在报告中注明 | 数据集质量评测·数据质量维度 |
| b2011–b2012（p117） | 2.7.6 文本纯净度：衡量文本中信噪比，即有效文本内容与无关符号、HTML 标签等噪声的比例 | 完全响应 | 纯净度按噪声字符与标签占比统计；去噪在预处理阶段处理页眉页脚、水印、标签与控制字符，评测统计残留噪声比例，超阈值回流重新清洗 | 数据集质量评测·数据质量维度；数据预处理 |
| b2013–b2014（p117） | 2.7.7 文本连贯度：衡量文本内容是否符合语法规范，语句是否流畅、易于理解，无明显语法错误 | 完全响应 | 连贯度按衔接性与语法检查两路评估，并对增强改写样本重点检查（改写是连贯度下降的主要来源）；不连贯样本按来源分流——原文本身如此的保留并标注，改写造成的剔除 | 数据集质量评测·数据质量维度；文本重写与多样化 |
| b2015–b2016（p117–p118） | 2.7.8 图像分辨率：通过评估图像和视频像素尺寸的适用性，验证数据是否适配主流模型的输入要求，保障对关键视觉特征的有效提取能力 | 完全响应 | 分辨率按用途设下限：缺陷识别类图像的下限高于一般示意类图像，因缺陷特征尺度小；低于下限的图像不用于缺陷标注，可保留作为场景类样本并标注其用途限制 | 数据集质量评测·数据质量维度 |
| b2017–b2018（p118） | 2.7.9 图像重复度：数据集中相同或高度相似图像、视频的重复程度 | 完全响应 | 图像按感知哈希加特征向量两路判重，连拍与同一工件多角度拍摄按「同组」处理——同组样本允许保留但在切分时不跨集，避免训练与测试间的变相泄漏 | 数据集质量评测·数据质量维度；数据集切分与基准构建 |
| b2019–b2020（p118） | 2.7.10 图像信噪比：图像和音频中有效信号与噪声的比值，数值越高表示质量越好 | 完全响应 | 按统一方法计算并按采集场景分档设阈值（井下与车间照明条件不同）；低信噪比图像按可用性分流，不可用于细节判定的标注任务 | 数据集质量评测·数据质量维度 |
| b2021–b2022（p118） | 2.7.11 图像清晰度：图像视频的视觉清晰程度，不应存在水印、抖动、字幕干扰、条纹等问题 | 完全响应 | 清晰度按模糊度指标加四类干扰检测（水印、抖动、字幕、条纹）判定；干扰类问题优先在预处理阶段处理，无法处理的标注为受限样本并说明限制 | 数据集质量评测·数据质量维度 |
| b2023–b2024（p118） | 2.7.12 音频信噪比：音频中有效信号与噪声的比值 | 完全响应 | 音频类样本（现场记录与语音转写来源）按信噪比分档，低于阈值的不用于语音任务；井下与车间环境噪声大，阈值按实际采集环境设定并在说明卡注明 | 数据集质量评测·数据质量维度 |
| b2025–b2026（p118） | 2.7.13 音频采样率：音频数据的采样频率，采样率越高音频还原度越好 | 完全响应 | 采样率按语音任务要求设下限并统一重采样到目标采样率，原始采样率在元数据中保留；低于下限的原始音频不通过升采样伪装达标，如实标注 | 数据集质量评测·数据质量维度 |
| b2027–b2028（p118） | 2.7.14 音频位深度：音频数据的量化精度 | 完全响应 | 位深度统一到目标规格并在元数据保留原始值；统计给各位深度的样本分布 | 数据集质量评测·数据质量维度 |
| b2029–b2030（p118） | 2.7.15 音频比特率：音频数据的传输速率 | 完全响应 | 比特率按格式与压缩方式统计并设下限，低比特率的有损音频不用于需要细节的任务；统计口径在说明卡注明 | 数据集质量评测·数据质量维度 |
| b2031–b2032（p118） | 2.7.16 视频分辨率：通过评估图像和视频像素尺寸的适用性，验证数据是否适配主流模型的输入要求 | 完全响应 | 视频分辨率按用途设下限，熔池与焊缝类视频的下限从严；抽帧后的关键帧按图像分辨率口径再核一次 | 数据集质量评测·数据质量维度 |
| b2033–b2034（p118） | 2.7.17 视频重复度：数据集中相同或高度相似图像、视频的重复程度 | 完全响应 | 视频按关键帧序列的相似度判重，同一作业的多路录像按同组处理并在切分时不跨集 | 数据集质量评测·数据质量维度 |
| b2035–b2036（p118） | 2.7.18 视频帧率：衡量视频画面的流畅度，以每秒帧数（FPS）为单位 | 完全响应 | 帧率按任务设下限：熔池与焊接过程类视频需较高帧率以保留瞬态特征，巡检类视频可较低；统一统计并在说明卡给分布 | 数据集质量评测·数据质量维度 |
| b2037–b2038（p118–p119） | 2.7.19 视频时长：衡量视频样本的平均或总计持续时间，反映时间维度的信息量 | 完全响应 | 按样本平均时长与总时长统计，并按场景分组给分布；过短片段（不足以包含完整工艺动作）不作为独立样本，并入相邻片段或剔除 | 数据集质量评测·数据质量维度 |
| b2039–b2040（p119） | 2.7.20 视频清晰度：图像视频的视觉清晰程度，不应存在水印、抖动、字幕干扰、条纹等问题 | 完全响应 | 按图像清晰度同口径判定，另加抖动检测（现场手持拍摄的抖动较常见）；抖动严重且无法稳像的片段不用于细节判定任务 | 数据集质量评测·数据质量维度 |
| b2041–b2042（p119） | 2.7.21 视频动态范围：衡量视频画面能够同时表现的最亮和最暗部分的范围 | 完全响应 | 动态范围按亮度分布统计，重点检查高亮工况（熔池、感应加热）下的过曝情况——过曝会丢失关键特征，过曝比例超阈值的片段标注为受限样本 | 数据集质量评测·数据质量维度 |
| b2043–b2045（p119） | 2.8 内容一致性、2.8.1 概念一致性：衡量术语、实体命名和分类体系在全局是否遵循统一的定义和标准 | 完全响应 | 概念一致性以统一引用知识本体保证：标签、术语与分类均取自本体同一版本，别名按同义词表归一。评测时按术语抽样核对全局用法，发现不一致则定位到未归一的批次并回流处理 | 数据集质量评测·数据质量维度；知识本体 |
| b2046–b2047（p119） | 2.8.2 语义一致性：衡量相关联的数据内容在含义上是否一致且无矛盾，例如图文数据中文本描述是否准确反映图像内容 | 完全响应 | 跨模态语义一致性按配对抽样人工复核加模型初筛：图文对核查描述与画面是否相符，时序与诊断说明核查特征值与结论是否相符。不一致项按来源归因——对齐错误回流对齐环节，标注错误回流标注环节 | 数据集质量评测·数据质量维度；多模态数据对齐 |
| b2048–b2049（p119） | 2.8.3 格式一致性：衡量数据值的格式是否符合预定义规范，如数据类型、长度、正则表达式等 | 完全响应 | 与 2.3.1 字段格式规范性共用同一套字段级规则，差别在统计范围：2.3.1 按字段统计合规率，本项按数据集全局统计同类字段在不同子集间的格式是否统一 | 数据集质量评测·数据质量维度 |
| b2050–b2052（p119） | 2.9 隐私规范性、2.9.1 隐私规范性：衡量数据集是否遵循相关隐私保护法规，通过检测个人身份信息（PII）等敏感数据是否已被妥善脱敏或移除 | 完全响应 | 个人信息按识别、处理、复检三步落实：入口处理、出口复检，复检采用独立规则集（与处理时所用规则不同源）以免同源盲区。残留检出即整批重处理，台账逐条关闭，未关闭即阻断发布 | 数据集质量评测·数据质量维度；安全方案·去标识与脱敏 |
| b2053–b2055（p119） | 2.10 内容原创性、2.10.1 内容原创性：评估数据集中的原创内容比例，而非复制或转载 | 完全响应 | 原创性按来源分类统计：甲方自有业务数据与我方加工产出计为原创，外部公开语料与转载内容单列比例并标注来源与许可。统计口径在说明卡公布，不把外部语料计入原创 | 数据集质量评测·数据质量维度 |
| b2056–b2057（p119） | 2.10.2 来源原创性：衡量数据集是来源于一手或独家渠道，而非对公开、通用数据的汇编 | 完全响应 | 本项是本项目数据集的固有优势：四类数据集的主体来自甲方 17 类源系统的一手业务数据与现场采集数据，公开通用数据仅作预训练语料的补充。一手数据占比在说明卡中给出 | 数据集质量评测·数据质量维度；数据采集 |
| b2058–b2060（p119–p120） | 2.11 领域专业性、2.11.1 领域专业性：衡量数据内容是否符合特定垂直领域的专业知识、术语规范和行业惯例 | 完全响应 | 专业性由行业专家按抽样复核判定，判据三项：术语是否符合矿山装备制造的规范用法、工艺与参数表述是否符合规程、结论是否符合行业惯例。复核专家取自专家库相应领域，复核意见进质量档案 | 数据集质量评测·数据质量维度；数据标注专家库建设机制 |

#### 13.20.5 评测指标·模型应用维度（3.2.8.2.2 之 3）

| 单元 | 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|---|
| b2061–b2062（p120–p121） | 3. 模型应用指标、3.1 模型适配性（标题） | 引用 | 本组四项按数据集类型分列，逐项应答见下 | 数据集质量评测·模型应用维度 |
| b2063–b2064（p120） | 3.1.1 文本类数据集（如项目产生）：基于招标文件指定的开源基础模型，采用 LoRA 低秩适应技术对构建的数据集进行微调；通过裁判模型对独立测试样本评测，对比微调前后在准确性、完整性、专业性等方面的变化 | 完全响应 | 按招标文件指定的开源基础模型与指定的微调方式执行对照实验，不替换为其他模型以保证结果可比；测试样本从冻结基准集中划出且与训练样本按文档级隔离。裁判评分配人工抽样校准，三项维度分别给分并给样本量与显著性判断。实验环境、依赖版本与随机种子固定，报告可复现 | 数据集质量评测·模型应用维度；数据集验证 |
| b2065–b2066（p120） | 3.1.2 场景类数据集（如项目产生）：基于招标文件指定的视觉基础模型对构建的数据集进行分割微调验证；采用标准训练-验证-测试划分策略，重点考察数据对预训练模型的领域迁移能力及边界框检测和分割能力 | 完全响应 | 按指定视觉模型与分割任务执行；本项对应缺陷图像与工件外观图像子集，划分按同组样本不跨集的规则执行（同一工件多角度、连拍归同组）。指标按检测与分割分别给出，并按缺陷类型分列——合并指标会掩盖小样本缺陷类型的短板 | 数据集质量评测·模型应用维度 |
| b2067–b2068（p120） | 3.1.3 语音类数据集（如项目产生）：采用招标文件指定的基础语音模型对构建的语音数据集进行微调验证；采用零样本与微调对比实验，重点考察数据对通用基础模型的声学适应性改造能力 | 完全响应 | 本项以项目实际产生语音类数据集为前提执行。语音数据主要来自现场记录与会议录音的转写来源，若经采集与授权核验后形成独立语音子集，则按指定模型做零样本与微调对照实验并给识别指标；若未形成独立语音子集，在评测报告中如实说明本项不适用及其原因，不以少量样本凑一轮实验 | 数据集质量评测·模型应用维度 |
| b2069–b2070（p120） | 3.1.4 视频类数据集（如项目产生）：基于招标文件指定的多模态基础模型，采用 LoRA 低秩适应技术对视频类数据集进行微调验证；采用采集设备隔离封存的策略划分独立测试集以防数据泄露 | 完全响应 | 按指定多模态模型执行；测试集划分采用按采集设备隔离的策略——同一相机或同一产线的素材不跨集，这比随机划分更能反映真实迁移能力。视频子集来自熔池、焊道与巡检录像，指标按任务类型分列 | 数据集质量评测·模型应用维度 |
| b2071–b2073（p120） | 3.2 内容多样性、3.2.1 场景多样性：衡量数据集是否广泛覆盖应用在现实世界中可能遇到的各种场景 | 完全响应 | 场景覆盖按 11 个验证场景与本体对象的交叉矩阵统计，空白格出缺口清单；覆盖不足的场景按补采优先、合成补充的次序处理，补充后重新统计 | 数据集质量评测·模型应用维度；数据分布分析与均衡 |
| b2074–b2075（p120–p121） | 3.2.2 特征多样性：衡量数据在特征空间内的分布广泛性，即关键特征的取值是否丰富多变 | 完全响应 | 按关键特征（工艺参数、工况、材质、规格、缺陷类型）的取值覆盖与分布广度统计；取值集中在少数档位的特征标注为多样性不足并定向补采，不以增强制造虚假多样性 | 数据集质量评测·模型应用维度 |
| b2076–b2078（p121） | 3.3 规模完整性、3.3.1 规模完整性：衡量数据集的规模是否全面满足目标场景预先定义的要求 | 完全响应 | 规模按 13.15 的四表指标逐子集核对（615 亿 Token、89 万条、6.6 万组、0.95 万条），并按场景核对各场景可用样本量是否足以支撑其验证判据——总量达标但某场景样本不足仍判不合格，这是本项的实际判据 | 数据集质量评测·模型应用维度；数据集建设及指标 |
| b2079–b2081（p121） | 3.4 标注准确性、3.4.1 标注准确性：标注能精准标记出目标应用场景模型开发和训练所需的所有信息 | 完全响应 | 准确性以黄金集比对与专家抽检两路判定，按任务类型分别给准确率；标注信息的齐备性按该场景所需字段清单核对，缺字段即判该批次不满足本项。不达门限的批次返工重标 | 数据集质量评测·模型应用维度；数据标注 |
| b2082–b2084（p121） | 3.5 业务相关性、3.5.1 行业符合度：衡量数据内容与特定行业的业务逻辑、流程和需求的匹配程度 | 完全响应 | 行业符合度由行业专家按抽样复核判定，判据为数据所反映的流程与业务逻辑是否与矿山装备制造实际一致（如工序顺序、检验环节、工单流转）；不符合项定位到来源与转写环节并回流 | 数据集质量评测·模型应用维度 |
| b2085–b2086（p121） | 3.5.2 信息主旨度：衡量数据集内容与其核心主题的关联紧密程度 | 完全响应 | 按子集的声明主题抽样核对内容相关性，弱相关样本（如随文档一并解析进来的无关附件内容）在预处理阶段剔除；评测统计残留弱相关比例 | 数据集质量评测·模型应用维度 |
| b2087–b2088（p121） | 3.5.3 领域相关性：衡量数据集中的内容与其所声称或应用的特定领域的匹配程度 | 完全响应 | 领域相关性按领域术语密度与业务对象覆盖两项度量；通用语料部分单列并标明其占比与用途（用于语言能力而非领域知识），不混入领域相关性统计 | 数据集质量评测·模型应用维度 |
| b2089–b2091（p121） | 3.6 内容均衡性、3.6.1 特征均衡性：衡量关键特征的取值分布是否均衡 | 完全响应 | 按关键特征的分布集中度度量并设上限；超限特征按分层采样与定向补采调整，调整前后的分布对比随报告提交 | 数据集质量评测·模型应用维度；数据分布分析与均衡 |
| b2092–b2093（p121） | 3.6.2 来源均衡性：衡量不同类别标签的样本数量分布是否均衡，避免因数据倾斜导致模型偏见 | 完全响应 | 按标签类别与来源系统两个口径分别统计均衡度（本条原文定义为类别分布，指标名为来源，两个口径我方均统计并分别列示，不替代）；倾斜严重的类别按长尾处理流程补齐 | 数据集质量评测·模型应用维度 |
| b2094–b2095（p121） | 3.6.3 场景均衡性：衡量不同场景的样本数量分布是否均衡 | 完全响应 | 按 11 个场景统计样本量分布，设各场景最低样本量而非只看相对均衡——场景之间业务体量本不相同，强行均衡会削弱主要场景的数据量。最低样本量按各场景验证判据所需确定 | 数据集质量评测·模型应用维度 |
| b2096–b2098（p121–p122） | 3.7 时间跨度覆盖度、3.7.1 时间跨度覆盖度：衡量数据集在时间轴上所覆盖的范围，即最早记录时间与最晚记录时间的间隔 | 完全响应 | 按子集给最早与最晚业务发生时间及跨度，并同时给近 3 年数据条数占比（不低于 40%）；跨度与时效性两项并列呈现——跨度大说明历史覆盖足，占比高说明数据新，两者缺一都影响可用性 | 数据集质量评测·模型应用维度；数据集建设及指标 |

#### 13.20.6 评测方法（3.2.8.2.3）

| 单元 | 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|---|
| b2099–b2100（p122） | 3.2.8.2.3 评测方法：依据《高质量数据集质量评测规范》（TC609-5-2025-04），采用「数据质量验证+模型应用反馈」的评测方法，其中数据质量验证融合自动化检测与人工复核 | 完全响应 | 两条线并行：数据质量验证以自动化检测打底、人工复核把关专业类指标；模型应用反馈以对照实验量化效用。两条线的结果按权重合成综合得分，权重在评测方案中约定并经甲方确认后固定，不在出报告阶段调整 | 数据集质量评测·评测方法 |
| b2101–b2102（p122） | 1. 静态数据内生质量检测：聚焦数据集固有基础质量，围绕保真度、完备性、规整性、均衡性、可用性、可信性六大维度开展核验，用于核查说明文档完整性、数据基础质量、合规安全性等 | 完全响应 | 六大维度与三维度指标体系的映射关系在方案中列明（每个三级指标归属哪个维度），使两套口径可以互相换算；维度得分由其下三级指标按权重合成。六维度的指标口径与内部质检一致（见 13.14.8 的 b1542 应答） | 数据集质量评测·评测方法；数据集质检 |
| b2103–b2104（p122） | 2. 基准模型动态应用验证：聚焦数据集落地工业 AI 场景的实际赋能价值，弥补静态检测「只看数据、不看应用」的短板，通过标准化对照实验量化数据集对模型训练效果的提升幅度 | 完全响应 | 对照实验按「同模型、同协议、同基准集、只变数据」的单变量原则设计，使提升幅度可归因于数据而非调参；每组实验记录完整配置与随机种子，提升幅度给置信区间 | 数据集质量评测·评测方法；数据集验证 |
| b2105–b2106（p122） | 3. 综合评测判定方法·加权计分：汇总静态自动化量化得分、人工分项打分、动态模型效能得分，按招标文件约定权重计算数据集综合总分 | 完全响应 | 三类得分按约定权重合成，计分表逐项列明得分、权重与加权值，可逐级回算；人工打分项给出打分人角色与评分依据，避免只见分数不见理由 | 数据集质量评测·评测方法 |
| b2107（p122） | 问题闭环：针对不合格项汇总全部缺陷，分级输出整改指引，待采购人完成数据优化后，复用全套静态+动态评测标准开展复测校验 | 完全响应 | 复测复用首轮的全套标准与权重，不降低标准以求通过；复测范围按缺陷影响范围确定（局部缺陷做定向复测、涉及全局口径的做全量复测），范围判定依据与结论随复测报告提交 | 数据集质量评测·评测方法；缺陷整改闭环 |
#### 13.20.7 实施过程（3.2.8.2.4）

评测实施分五个阶段，各阶段的阶段验收要求是硬节点——前一阶段未经甲方确认不进入下一阶段。

<svg viewBox="0 0 820 230" xmlns="http://www.w3.org/2000/svg" font-family="Noto Sans CJK SC, PingFang SC, SimHei, sans-serif" font-size="13">
  <defs><marker id="m13f" markerWidth="9" markerHeight="9" refX="8" refY="4.5" orient="auto"><path d="M0 0 L9 4.5 L0 9 z" fill="#334155"/></marker></defs>
  <rect x="10" y="30" width="140" height="58" rx="6" fill="#eef2f7" stroke="#334155"/>
  <text x="80" y="53" text-anchor="middle">① 评测准备</text>
  <text x="80" y="72" text-anchor="middle" font-size="12">摸底·场景·环境·抽样</text>
  <rect x="172" y="30" width="140" height="58" rx="6" fill="#eef2f7" stroke="#334155"/>
  <text x="242" y="53" text-anchor="middle">② 方案设计</text>
  <text x="242" y="72" text-anchor="middle" font-size="12">打分表·阈值·分级</text>
  <rect x="334" y="30" width="140" height="58" rx="6" fill="#f8fafc" stroke="#334155"/>
  <text x="404" y="53" text-anchor="middle">③ 评测执行</text>
  <text x="404" y="72" text-anchor="middle" font-size="12">静态＋动态两条线</text>
  <rect x="496" y="30" width="140" height="58" rx="6" fill="#f8fafc" stroke="#334155"/>
  <text x="566" y="53" text-anchor="middle">④ 整改与复测</text>
  <text x="566" y="72" text-anchor="middle" font-size="12">台账逐条关闭</text>
  <rect x="658" y="30" width="150" height="58" rx="6" fill="#eef2f7" stroke="#334155"/>
  <text x="733" y="53" text-anchor="middle">⑤ 成果交付</text>
  <text x="733" y="72" text-anchor="middle" font-size="12">盖章报告·质量档案</text>
  <path d="M150 59 H168" stroke="#334155" stroke-width="1.4" marker-end="url(#m13f)"/>
  <path d="M312 59 H330" stroke="#334155" stroke-width="1.4" marker-end="url(#m13f)"/>
  <path d="M474 59 H492" stroke="#334155" stroke-width="1.4" marker-end="url(#m13f)"/>
  <path d="M636 59 H654" stroke="#334155" stroke-width="1.4" marker-end="url(#m13f)"/>
  <path d="M566 88 V126 H404 V92" stroke="#334155" stroke-width="1.2" stroke-dasharray="5 4" marker-end="url(#m13f)"/>
  <text x="408" y="120" font-size="12" fill="#475569">同类缺陷复现即复用全套标准重测</text>
  <rect x="172" y="150" width="464" height="46" rx="6" fill="#f1f5f9" stroke="#334155"/>
  <text x="404" y="170" text-anchor="middle">阶段验收：每阶段经甲方确认后方进入下一阶段</text>
  <text x="404" y="188" text-anchor="middle" font-size="12">服务周期内同步配套增量数据抽检与合规巡检</text>
  <path d="M242 150 V92" stroke="#334155" stroke-width="1.2" marker-end="url(#m13f)"/>
  <path d="M733 150 V92" stroke="#334155" stroke-width="1.2" marker-end="url(#m13f)"/>
</svg>

图 13-6　数据集质量评测五阶段与整改复测回路。数据来源：招标文件 3.2.8.2.4（b2108–b2147）。

| 单元 | 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|---|
| b2108–b2109（p122） | 3.2.8.2.4 实施过程：全流程分为评测准备、定制评测方案设计、评测执行、缺陷分析整改与复测、成果汇总交付五大标准化阶段，服务周期内同步配套增量数据抽检、合规巡检等 | 完全响应 | 五阶段按节点排期并与数据集版本发布节奏对齐（首轮评测对应第一个正式版本）；服务周期内的增量数据按月抽检、合规项按季巡检，抽检与巡检结果进质量档案，发现问题按同一整改闭环处理 | 数据集质量评测·实施过程 |
| b2110–b2111（p123） | 1. 评测准备阶段（1）数据集摸底调研：梳理工业文本、图像、音频、视频四类数据集台账，统计样本规模、模态分布、数据来源、涉密敏感范围，梳理现有配套说明文档 | 完全响应 | 摸底以资产台账与数据集卡片为基础逐项核对，输出四类数据集的现状表；涉密敏感范围由甲方确认后标注，确认结果决定哪些数据只能在内网隔离环境内评测、哪些指标改由甲方人员在场执行 | 数据集质量评测·实施过程；数据集项目管理 |
| b2112（p123） | （2）业务场景梳理：对接甲方煤机业务专家，梳理井下运维、设备故障识别、零部件检测等业务规则、行业术语、涉密管控边界 | 完全响应·含配合事项 | 场景梳理以我方已建的知识本体与场景数据需求清单为底稿，与甲方业务专家逐项确认后形成评测用的行业判据；涉密管控边界的确认结果写入评测方案并约束抽样与人工复核的执行方式；【待填：业务专家对接安排与涉密边界确认】 | 数据集质量评测·实施过程；知识本体 |
| b2113（p123） | （3）离线评测环境部署：将自动化质检工具、基准模型推理环境部署至采购人内网隔离环境，完成软硬件调试，原始数据禁止导出、上传公网 | 完全响应·含配合事项 | 工具与模型环境在甲方内网隔离区部署，依赖包离线导入；禁止导出以技术措施落实（网络策略限制、介质管控、导出接口关闭），并以审计日志记录全部数据访问。环境资源与网络策略需甲方提供；【待填：隔离区资源规格与网络策略审批】 | 数据集质量评测·实施过程；安全方案·网络边界 |
| b2114（p123） | （4）抽样策略制定：依据统一抽样规则，区分高风险全量检测项、普通指标分层抽样方案，完成数据集接入、文件完整性初校验 | 完全响应 | 抽样规则写入方案并固定：内容安全八类、隐私规范性与涉密筛查按全量检测不抽样，其余指标按分层抽样（按子集、模态、批次分层）并给出置信水平与抽样量计算依据。文件完整性初校验按校验和与试读两道执行 | 数据集质量评测·实施过程 |
| b2115（p123） | 对应评测工作：前置静态检测基础准备，为全量说明文档、数据质量指标检测提供环境支撑 | 引用 | 本阶段产出为环境、抽样方案与现状表三项，是后续静态检测的前置条件，不单独计分 | 数据集质量评测·实施过程 |
| b2116（p123） | 阶段验收要求：甲方确认无误后方可进入下一阶段 | 完全响应 | 本阶段以现状表、抽样方案与环境验收记录三份材料提请确认，确认后方进入方案设计阶段；未确认不启动下一阶段工作 | 数据集质量评测·实施过程 |
| b2117–b2118（p123） | 2. 定制评测方案设计阶段（1）对标《高质量数据集质量评测规范》及采购人内部制度，搭建适配行业的完整指标打分表，明确三大维度所有三级指标评测方式、合格阈值、缺陷分级标准 | 完全响应 | 打分表逐项列三级指标、评测方式、合格阈值、权重与缺陷分级，并标注每项所依据的规范条款与内部制度条款；阈值的行业取值给出设定依据（工艺规程、采集环境条件或历史统计），不凭经验给数 | 数据集质量评测·实施过程 |
| b2119（p123） | （2）拆分指标对应评测手段：区分自动化检测指标、人工复核指标、基准模型实验指标，明确每项指标检测流程、判定规则 | 完全响应 | 三类手段逐指标归类并在打分表中标注；自动化指标给工具与参数，人工复核指标给复核人资格要求与复核表单，模型实验指标给实验配置。同一指标若两种手段并用，明确以哪一方为准 | 数据集质量评测·实施过程 |
| b2120（p123） | （3）编制静态+动态一体化评测执行方案：细化自动化批量检测流程、专家分层复核流程、基准模型对照实验完整步骤、训练参数、测试集隔离规则 | 完全响应 | 执行方案逐条写明五部分内容，其中测试集隔离规则是防止结论虚高的关键——按文档级、来源级与采集设备级三种隔离方式分别适用于文本、场景与视频类数据集，隔离规则由工具强制执行并在实验日志中留证 | 数据集质量评测·实施过程；数据集切分与基准构建 |
| b2121（p123） | （4）明确缺陷分级处置规则、复测校验标准、各维度指标合格分数线、综合总分合格标准 | 完全响应 | 四项在方案中固定：缺陷分高、中、低三级并各定处置时限与是否阻断发布，复测校验标准与首轮一致，各维度合格线与综合总分不低于 85 分的标准逐项写明。标准一经确认不在评测过程中调整 | 数据集质量评测·实施过程 |
| b2122（p123） | 阶段验收要求：方案须完整覆盖全部评测指标，贴合企业业务实际场景，经甲方审核确认后方可通过 | 完全响应 | 提请确认时附两份核对材料：打分表与规范指标清单的逐条对照表（证明无漏项）、行业判据与业务实际的确认记录（证明贴合场景）。确认后方进入执行阶段 | 数据集质量评测·实施过程 |
| b2123–b2124（p124） | 3. 评测执行阶段：同步落地两大评测方法，完整执行全部指标检测工作，分两条线同步推进 | 完全响应 | 两条线并行推进但互不阻塞：静态检测按批次推进，动态验证按数据集子集推进；两线的中间结果汇入同一份缺陷台账与得分表，避免分别出结论后口径不一 | 数据集质量评测·实施过程 |
| b2125–b2126（p124） | （1）静态数据内生质量检测·自动化批量检测：开展元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私 PII、内容安全筛查等检测，输出结构化缺陷清单 | 完全响应 | 八类自动化检测按统一调度批量执行，输出结构化缺陷清单（指标名、样本标识、所在批次、命中规则、缺陷等级、建议处置）；清单与我方内部质检的缺陷清单格式一致，便于合并跟踪不重复录入 | 数据集质量评测·实施过程；数据集质检 |
| b2127（p124） | 行业专家人工分层复核：逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标，对自动化检出高危样本 100% 复核 | 完全响应 | 五类专业指标按分层抽样复核，复核人取自专家库相应领域并回避其参与过标注的批次；自动化检出的高危样本逐条复核（不抽样），复核结论为该样本处置的最终依据。本条的全量复核要求以「高危样本清单逐条签署复核意见」的方式落实，未签署即视为未完成本阶段 | 数据集质量评测·实施过程；数据标注专家库建设机制 |
| b2128–b2129（p124） | （2）基准模型动态应用验证：结合行业应用场景构建基准测试，量化数据集对 AI 模型训练的实际效用提升，确保数据集「不仅高质量，更要高效用」 | 完全响应 | 基准测试按 11 个场景的能力维度构建题集（取自基准测试数据集 0.95 万条的相应子集），实验按单变量原则执行；效用提升按能力维度分别给幅度与显著性，整体结论不以单一总分概括 | 数据集质量评测·实施过程；数据集验证 |
| b2130（p124） | 阶段验收要求：完成全部指标检测，无指标漏检，缺陷清单完整同步甲方 | 完全响应 | 以三份材料提请确认：指标执行情况对照表（逐项标注已执行与证据位置）、缺陷清单、以及检测过程记录。缺陷清单在执行过程中按周同步甲方，不积压到阶段末一次性提交 | 数据集质量评测·实施过程 |
| b2131–b2132（p124） | 4. 缺陷分析、整改指导与复测闭环阶段：首轮评测完成后，整合静态、动态评测全部指标打分结果、缺陷记录，开展综合分析 | 完全响应 | 综合分析输出三样东西：各维度得分与短板排序、缺陷按成因环节的分布、以及整改优先级建议（按影响范围与整改成本排序），使整改资源投向收益最大处 | 数据集质量评测·缺陷整改闭环 |
| b2133（p124） | （1）梳理三大维度指标下全部缺陷，标注缺陷对应指标名称、样本 ID、缺陷成因 | 完全响应 | 三项信息为缺陷台账的必填字段；缺陷成因按采集、预处理、标注、合成、增强五个环节归因，归因依据来自血缘记录而非推测 | 数据集质量评测·缺陷整改闭环；数据集–模型版本血缘追溯 |
| b2134（p124） | （2）针对每类缺陷出具标准化整改操作指引，明确修正标准、复检校验规则 | 完全响应 | 每类缺陷一份指引，含修正标准（改成什么样算对）、操作步骤、所需工具与复检校验规则（怎么验证改对了）；指引以可交付给执行人员照做的粒度编写 | 数据集质量评测·缺陷整改闭环 |
| b2135（p124） | （3）结合模型动态验证短板，输出数据集场景补充、样本均衡优化、标注规范完善专项优化方案 | 完全响应 | 三类短板各出一份专项方案：场景补充方案给缺口场景与补采补造计划，样本均衡方案给调整维度与目标配比，标注规范完善方案给需修订的条目与修订后的重标范围。三份方案的执行结果在复测中验证 | 数据集质量评测·缺陷整改闭环；数据增强 |
| b2136（p124） | 整改复测机制：甲方完成数据修正后，供应商应开展完整复测，重新核算说明文档、数据质量、模型应用三大维度各项指标得分，直至所有缺陷整改完成；服务期内按约定提供复测服务 | 完全响应 | 复测按完整口径重算三维度得分，不只复查整改项——整改可能影响其他指标（如补数改变分布），因此分布与均衡类指标一并重算。服务期内的复测次数按约定提供，每轮复测出报告并更新台账 | 数据集质量评测·缺陷整改闭环 |
| b2137（p124） | 阶段验收要求：复测后高危缺陷全部清零，各维度指标得分达到最低合格线 | 完全响应 | 以高危缺陷台账（全部关闭状态）与复测得分表提请确认；高危项未全部关闭不提请验收，也不以「剩余项不影响使用」为由申请放行 | 数据集质量评测·缺陷整改闭环 |
| b2138–b2139（p124） | 5. 成果汇总与正式报告交付、整体验收阶段（1）归集评测准备、方案设计、评测执行、整改复测全流程原始资料 | 完全响应 | 原始资料按阶段归档，含现状表、抽样方案、打分表、检测记录、复核意见、实验日志与配置、缺陷台账、复测记录，逐份登记版本与归档时间，形成可溯源的数据质量档案 | 数据集质量评测·成果交付 |
| b2140（p125） | （2）根据静态检测得分、人工复核得分、动态模型实验得分，按权重核算说明文档、数据质量、模型应用三大维度分项得分及数据集综合总分 | 完全响应 | 核算过程以计分表呈现，逐级可回算：三级指标得分、维度加权、综合总分三层并列，权重取方案确认值。核算结果与过程记录一并交付，便于复核 | 数据集质量评测·成果交付 |
| b2141（p125） | （3）编制全套盖章正式评测报告，逐条列明每项指标最终得分情况 | 完全响应·含配合事项 | 报告逐指标列最终得分、评测方式、依据与整改情况；由具备资质的评测机构出具并盖章，我方承担组织、送检、材料准备与整改配合的全过程工作。出证周期受机构排期影响，排期在项目计划中预留；【待填：评测机构选择与出证周期确认】 | 数据集质量评测·成果交付 |
| b2142（p125） | 阶段交付物：《行业高质量数据集质量评测报告》 | 完全响应 | 按名称交付《行业高质量数据集质量评测报告》盖章正式版，附全套过程资料与数据质量档案；交付形态为签字盖章纸质版加可编辑源文件 | 数据集质量评测·成果交付；项目验收内容及标准 |
| b2143–b2144（p125） | 6. 整体验收硬性标准（1）全部高危缺陷清零，中低危缺陷整改完成率 100% | 完全响应 | 高危缺陷按全量检测、逐条登记、修复复测、台账关闭四步管理，未关闭即阻断数据集发布；中低危缺陷同样进台账逐条跟办，整改完成率趋向 100%，到验收时仍未关闭的项须逐条列出原因并经甲方书面确认，不以统计口径模糊处理。本条为招标文件设定的绝对指标，我方以机制保障而非口头承诺响应 | 数据集质量评测·整体验收 |
| b2145（p125） | （2）说明文档、数据质量、模型应用各维度得分均达到最低合格标准，数据集综合总分≥85 分 | 完全响应 | 三维度各自达标与综合总分不低于 85 分两项同时满足方提请验收；为此我方在内部质检阶段按同口径预评，预评未过不送正式评测，使正式评测不靠多轮复测拉分 | 数据集质量评测·整体验收 |
| b2146（p125） | （3）模型动态验证各项性能提升达到约定阈值 | 完全响应 | 各类数据集的提升阈值在评测方案中逐项约定并经甲方确认；未达阈值的数据集按三类短板归因后回流修复再复测，不以调整阈值的方式达标 | 数据集质量评测·整体验收 |
| b2147（p125） | （4）全套交付成果完整规范，可直接用于归档、审计、达标认证 | 完全响应 | 交付成果按四类用途分别编制材料清单与索引，使甲方取用时无需二次整理；成果的完整性以交付清单逐项签收确认 | 数据集质量评测·成果交付；项目验收内容及标准 |