这是奔牛项目的撰写首页。新提的意见和交稿只留在本机。 今日总结 · 定稿条件 · 返回项目列表
投标文件预览 1 节 · 已撰写 1 · 生成 2026-10-16 15:41 ← 任务卡片招标文件原文成稿目录 ✎ 阅读批注(1819) 选中任意一段文字即可提修改意见;点橙色单元号回招标文件原文 ⬇ 终稿 PDF ⬇ 终稿 DOCX 致移动三章 预览 ⬇ 致移动三章 Word

GHY-26691 · 数据加工生产服务(第01包)
投 标 文 件(预览稿)

递交截止 2026-10-20 09:30 · 生成于 2026-10-16 15:41
预览稿,非最终投标文件;各节内容以各任务 MAIN.md 为准。

目 录

  1. 第二卷 技术方案
  2. T1 数据集加工生产实施服务要求 批注 218 ······306

第二卷 技术方案

2.2 数据集加工生产实施服务要求

T1 ↗

负责人 欧阳未 · 状态 定稿 · 覆盖 58 个标书单元 ·  批注 218

3.2.1 服务采购清单

本包采购的是一批可清点、可检验的服务成果,而非一组能力描述,因此每一项服务在立项之初就须具备明确的验收依据。七项服务依照招标文件的采购清单划分,数量单位统一取「套」,缘于每项服务均以成套成果整体交付、整体验收,不按人天或单项工作量分拆计价;实施工作所列范围取自用户需求书对各项服务的界定,交付及检查要求所列的数量、比例与合格判据取自招标文件已明确的强制指标与相应标准条款,招标文件未给出数值的事项则以可核验的实物成果和过程记录承接,不以估计值充当承诺。

表中实施工作一列是我方承诺完成的作业范围,交付及检查要求一列是招标方据以判定合格与否的判据,二者逐行对应,任何一项服务都不存在只做不交或只交不验的情形。其中数据集加工生产实施服务与数据集质量测评服务两行构成本包主干:前者决定四类数据集能否按量按质形成,后者决定其能否取得合格结论,其余五项服务分别为其提供数据来源、工具手段、运营出口、运行环境与安全条件。通读全表可以得出的结论是,本包全部服务最终汇聚为一批合格的数据集加工成果及其质量证明,后续各节的作业组织、产能安排与质量检查,均围绕表内列明的交付物与判据展开。

表 1-1 服务采购清单

服务名称单位与数量实施工作交付及检查要求
数据资源建设服务1 套针对 CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其系统、主数据管理平台、热处理群控系统、安全监管平台,按业务需要完成授权协同、资料核查、采集接入、历史和增量获取;完成纸质及离线非结构化资料电子化、解析和录入交付来源台账、合法授权、接口与字段配置、原始及电子化数据、采集记录、数量和增量对账、异常处理及血缘。检查对象、用途、时段、格式、完整性和实际更新能力;安全监管数据按单向获取要求接入,替代采集方式不绕过授权,也不降低最终能力
数据集加工生产专项智能工具链建设服务1 套建设思维链、长上下文、多轮对话、多模态对齐、智能标注、数据生成增强、质量分布控制、生成控制评测、验证归因九类 25 个专项工具,配置实际加工调用及公共接口提供 25 个可运行实例、不限使用节点及许可数量的授权、输入输出、配置、接口、部署、使用维护资料及测试结果。逐工具验证所需功能,检查任务创建、查询、结果、重试、导出、回调等适用接口与权限、异常、版本和追溯;验收以可运行实例的实测结果为准
数据集运营服务管理平台建设服务1 套建设目录、元数据、上传、下载、权限、动态更新、检索预览、版本、服务、对外接口、登记注册、确权、挂牌展示、交易合同、交易费用、全流程审计 16 项功能,落实订单、交付、清算和 SLA 详细功能提供可运行平台、不限使用节点及许可数量的授权、配置、接口和操作维护资料,完成正常及异常流程测试。检查登记内容与实际版本、用户权限与用途、订单与交付、计量费用与清算、审计记录的一致性;平台服务保障落实服务监测、故障记录、响应处置、恢复验证及服务统计,检查结果与实际运行记录一致;国家数据基础设施接入以实际联调与运行记录为准
系统集成服务1 套完成通用服务器上数据集加工生产平台的安装和适配、接入连接器上数据集运营服务管理平台的安装和适配、服务器密码机国密算法调试,以及采购硬件的网络连接和适配交付实际部署、软件与设备版本、配置、接口、权限及网络记录,完成平台、密码、设备取数及相关业务联合测试。验证数据完整性、对象与时间关联、异常恢复和日志追踪;验收判据为整体集成联合测试通过,单机运行或端口连通只作为其中一项前置检查
数据集加工生产实施服务1 套实施数据治理规划及落地、行业大模型训练推理、采集预处理及知识建设、标注合成增强、质检验证和项目管理,完成四类数据集及各用途指标、11 个场景验证、运营推广和相关技术攻关;开展技术标准验证、专家库、标注规范、软建设、组织保障、安全合规及知识产权工作交付实际数据、模型、知识和治理成果,完整场景验证、运营推广及基础设施接入成果,专家与规范、配套措施及不少于 7 份内部管理制度。四领域四用途逐项达量达质,知识终审、独立基准及安全条件满足;论文不少于 5 篇已发表、发明专利不少于 3 项已申请、软件著作权不少于 6 项已获得,资料与实施记录一致
信息安全风险评估服务1 套对项目建设的信息系统开展等级保护 2.0 测评及商用密码应用安全性评估,落实实际系统范围、环境、材料、检查和问题整改提供评估资料、报告或相应证书、缺陷及整改复核记录,实际系统满足适用安全与密码要求。测评等级以定级备案结论为准,完成判据为测评结论出具且问题整改复核完成
数据集质量测评服务1 套开展多模态自建数据集首轮全量评测、模型对照实验、缺陷定位与整改复测,对说明文档、数据质量和模型应用三个维度的全部适用指标逐项核验;记录受检范围、数据版本、检测方法、结果、问题定位和整改证据,组织复测直至达到全部质量要求交付正式盖章评测报告、全流程原始记录、分项与综合评分、模型实验记录、问题整改及复测记录和完整质量档案。三个维度指标实现 100% 全覆盖核验,各维度分别达到最低合格标准,数据集综合质量得分不低于 85 分;数据内高风险缺陷 100% 清零,中低风险缺陷整改完成率达到 100%,模型动态验证达到最低性能提升阈值。对高风险内容实施全量检测,对检出问题逐项复核、处置和复检,抽样零发现不作为全量清零的替代证明。全部结论与实际受检版本和过程证据一致,正式评测独立于加工过程质检组织

3.2.6 数据集加工生产实施服务要求

围绕供需计划、产品工艺设计、制造过程和产品质量四个业务领域,组织数据采集、预处理、知识本体、知识库、数据标注、合成、增强、数据集质检、验证和项目管理。按实际数据来源、业务责任及授权关系登记处理对象,核对业务系统、设备采集、纸质及离线资料的来源、内容、格式、时间、版本和允许用途,形成可执行的加工任务。

每类数据集分别建设预训练、有监督指令微调、人类偏好对齐和基准评测用途子集,四类合计达到预训练 615 亿 Token、指令微调 89 万条、偏好数据 6.6 万组、基准评测 0.95 万条,并逐领域逐用途满足各分项数量。文本、图像、时序和视频按相应质量和关联规则处理,多模态数据条数占比和近三年数据条数占比均不低于 40%;不同计量单位分别统计,来源时间及占比计算保留可复核记录。

加工任务记录输入批次、规则和知识版本、工具配置、责任人员、实际执行与输出。候选数据完成训练前质检后用于相应训练及验证,最终版本具备合格质量与验证结果、完整数据卡、数据字典、血缘和授权资料,再按实际接收条件移交运营平台。数据登记、访问、对外使用和服务交付分别核验权限及质量条件,登记完成不自动取得公开发布或交易权限。

每项加工任务明确输入对象、执行顺序、处理规则、输出格式、责任人员和接收条件,启动前检查来源授权、相关知识终审、规则有效性、工具及环境可用性。任务实际输入与配置固定记录,执行中保存状态、异常、重试及输出校验,交接依据实际成果和检查证据办理。

数据接收、预处理、知识审核、标注、合成增强、训练前质检和训练后验证分别设置适用检查。未通过的相关对象隔离并暂停后续受影响操作,问题按证据定位至源数据、规则、知识、工具或模型;修正使用新任务或新版本,关联原问题及历史执行结果,重新完成受影响检查和必要回归。共享依赖变更时同时核查相关批次,修正范围覆盖全部受影响样本,而不止于发现问题的那一个样本。

批次台账、质检与验证报告、数据卡、数据字典、资产及血缘资料与实际版本一致。移交时提供复核所需的数据清单、规则配置、工具和模型版本、环境依赖及执行记录;在具备合法授权、必要软件许可和相应资源的受控环境中开展复核。涉及敏感数据和安全配置的资料按权限保存及移交,复核过程同样执行访问控制。

表 1-2 数据集加工生产实施服务任务与成果

服务内容实施工作交付成果与检查要求
数据治理规划和实施服务开展业务、数据、系统和管理制度调查,建立问题清单及整改计划;围绕数据战略、治理、架构、资产、标准、质量、安全、生存周期及应用流通建设治理体系;在业务部门完成规则评审后实施数据汇聚、处理、元数据、资产、标准、质量、安全、指标及服务管理,组织制度执行检查和持续改进交付治理现状调查、规划设计、制度规范、实施配置、运行记录和改进报告,治理文件不少于 25 份,交付清单各项内容完整;覆盖人力资源、研发、生产、仓储、财务、设备、采购、营销和质量业务;以通过 DCMM 三级为目标落实能力建设、证据归集及评估改进
行业大模型训练推理技术服务在私有环境部署国产通用大模型及多模态模型,完成训练数据统计、配比、继续预训练、监督微调、行业奖励模型训练和偏好优化;按模型及资源条件组织全参数或参数高效训练,保存检查点、配置、训练曲线和异常记录;开展独立基准测试、行业知识与安全评估、推理部署及回归验证交付模型及适用许可材料、数据版本清单、训练与推理代码、配置、权重、运行环境说明、实验记录及评估报告;监督微调保留基础、消融及混合实验结果,奖励模型保留独立偏好测试结果;训练、验证和基准评测数据按来源及衍生关系隔离,提供可复现的测试程序与运行证据
数据加工生产服务要求对授权数据组织采集、预处理、本体构建、知识库构建、标注、合成、增强、质检及验证,按数据用途和处理条件选择适用作业路径,项目管理贯穿全过程;建立来源、原始对象、处理批次、样本、规则、审核和版本之间的追溯关系,处理跨系统关联、缺失冲突、迟到补传及撤回事项交付四领域加工数据、规则配置、知识库与图谱、数据字典、标注规范、加工日志及质量记录;知识条目经业务专家终审后用于标注和合成,基准评测子集不使用任何形式的合成数据,增强校验不通过的批次整体回退;候选数据通过规定的评测和场景验证后形成正式交付版本
数据集建设及指标要求分别建设供需计划、产品工艺设计、制造过程和产品质量领域的预训练、监督微调、偏好及基准评测数据集;按领域和用途分别统计合格净量,核对模态、来源时间、重复关系、授权状态和数据质量供需计划分别完成 276 亿 Token、40 万条、3.2 万组、0.4 万条;产品工艺设计分别完成 70 亿 Token、10 万条、0.8 万组、0.1 万条;制造过程分别完成 105 亿 Token、15 万条、1 万组、0.2 万条;产品质量分别完成 164 亿 Token、24 万条、1.6 万组、0.25 万条。交付文本、图像、时序、视频等超过 3 种模态的数据,满足多模态数据条数占比不低于 40%、近三年数据条数占比不低于 40% 的要求;逐项提交统计范围、计算依据、明细及抽查记录,各领域各用途分别达标
数据集场景验证服务要求开展产品智能选型、板材备料工艺智能设计、库存控制智能化、热处理过程智能监控、焊接过程控制智能监控、刮板输送装备健康智能诊断六个专业场景,以及管理制度、技术标准、标书、决策数据智能问答和合同合规智能审查五个通用场景的验证;逐场景完成业务用例、数据准备、功能联调、结果核验、异常修正和复测交付十一场景的验证方案、测试数据版本、运行配置、逐用例记录、结果证据、问题整改及验证报告。板材备料验证包括图纸接收解析、工艺卡片及工序附图生成、在线预览和 PDF 导出打印等实际功能;全部识别通过后生成的工艺卡片及工序附图内容准确率达到 100%。按经确认的图纸、有效工艺规则、设备资料及专业判据逐卡逐字段核验,保存差异、修正和复测记录;存在未关闭差异的结果不作为合格成果。各场景按各自功能与指标完成整体验证,样例展示仅作过程记录
数据集运营推广服务要求建立持续数据汇聚、数据集运营体系、运营架构、盈利模式、运营组织及公共服务机制;完成资源梳理、服务设计、业务流程、收益与成本测算、职责安排和推广实施;对接国家数据基础设施,组织平台生成数据集和行业用户自有数据集的接入核验交付持续汇聚方案、运营体系及架构设计、盈利模式分析、运营组织职责及工作机制、公共服务方案、推广记录与国家数据基础设施实际接入材料;记录登记、授权、发布、使用及反馈过程,保持经营测算依据可核查。本项范围不含运营团队组建及运营硬件基础设施配套,运营组织设计及相关服务仍由本项完成
技术标准验证要求结合矿山装备制造数据特点,参与全国数标委标准验证和试点应用;选取实际数据、工具及业务流程建立验证用例,执行测试,分析标准技术指标的适用性及实施问题,提出有数据和记录支撑的改进建议交付参与工作材料、验证方案、指标及用例清单、测试记录、问题分析、试点应用成果和反馈材料;对验证对象、样本版本、方法、条件、结果及建议逐项留档,使标准验证结论与实际试验相对应
数据标注专家库建设机制建设要求建立专家库建设原则、专家类别、入库标准、遴选流程、职责及考核机制;面向标准编制、数据生产、质量管控、行业应用、项目管理和安全合规六个领域遴选专家,开展资格核验、评审入库、任务指派、回避管理、绩效评价及动态调整建成不少于 50 人的专家库,按人员去重计数;交付管理机制、人员及专业信息、资格审核记录、入库记录、任务履行及考核记录;专家承担的专业审核事项与其能力、职责及授权相匹配,人员补充和退出保留可追溯记录
数据标注规范建设要求针对文本、图像、时序、视频等数据建立标签定义、对象边界、属性规则、关系规则、样本示例、疑难问题处置、复核和验收要求;组织业务专家审定、标注人员培训、试标与一致性检查,处理争议并发布受控版本交付各类数据标注规范、标签字典、正反例及边界案例、培训与试标记录、争议裁决记录、质量检查表和版本变更记录;将标签、样本及工具配置关联到有效规范版本,规范变更后评估受影响数据并完成必要复核和修正
项目「软建设」配套措施建设要求梳理 25 个相关政策文件,制定中长期发展规划、专项实施方案、制度体系、政策落地动态调整机制和年度政策符合性评估报告;建立五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励及能力复用五项机制;牵头制定关键行业标准,构建「五位一体」标准体系并制定项目实施技术规范交付 1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制及 1 份年度政策符合性评估报告;形成五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励、能力复用 5 项机制;牵头制定 2 项关键行业标准,构建包含 18 项细分标准的「五位一体」标准体系,制定 6 项项目实施技术规范,提交各项编制、评审、修改和应用记录。政策文件、规划、机制和标准规范分别建立清单,具体成果及数量逐项核验
项目组织实施与保障措施要求建立组织、协同、管理、协调、保密、资金、档案及环境管理机制,明确任务责任和协作流程;制定知识产权、成果管理及合作权益安排,开展风险识别与处置;制定年度计划及考核计划,按考核结果组织纠偏和改进交付不少于 7 份项目内部管理制度,以及组织职责、风险管理计划、年度计划、考核计划、过程检查与考核记录、成果和合作权益管理文件;实施记录与实际人员、任务、进度和问题处置一致,形成可检查的执行证据
项目安全合规建设要求逐项核验数据、软件、模型及其他建设内容的来源和商业使用条件;对个人信息、敏感地理信息、重要行业数据、企业秘密数据实施适用的去标识化或脱敏处理;在采集、加工、训练、验证、存储、交付及运营环节实施权限校验、访问名单管理和全流程审计交付来源及授权材料、商业使用条件核验记录、分类分级及脱敏规则、处理与复核记录、权限配置、访问名单和审计记录;用途、对象、范围或授权有效期发生变化时重新核验,数据在完成授权核验后方可投入受限作业、交付或对外发布
知识产权相关建设要求围绕关键技术和行业应用开展研究、成果整理与知识产权布局,组织论文研究撰写及发表、发明专利申请和软件著作权登记;核查成果来源、作者及权利归属,保留研发、评审和提交材料累计发表学术论文不少于 5 篇、申请发明专利不少于 3 项、获得软件著作权不少于 6 项;分别提供正式发表证明、专利申请证明及软件著作权登记证书,并交付成果清单及归属资料,完成状态与证明材料一致

标注作业使用经专业评审并发布的标注规范。任务创建时记录规范版本、标签字典版本、适用业务及样本范围,标注人员完成培训和试标后领取任务。疑难样本进入专业复核,裁决结果及依据随样本保存。规范调整后识别受影响的任务、样本和训练数据版本,组织复核、修正及重新质检;原有版本及变更记录保留,正式标注成果使用经确认的规则版本。

结合矿山装备制造领域的真实数据和业务流程,参与全国数标委标准验证和试点应用。针对拟验证的标准指标确定对象、样本、方法、环境和结果记录方式,组织试验及业务核验,分析指标适用性、实施难点和测量差异,形成验证记录、试点成果、问题清单及改进建议。标准引用关系作为知识来源管理内容记录,标准验证结论以实际测试和试点结果为依据。

对数据、软件、模型及其他建设内容逐项检查来源、许可和商业使用条件,建立授权范围、用途、期限及限制事项记录。对个人信息、敏感地理信息、重要行业数据和企业秘密数据实施适用的去标识化或脱敏处理,并核验处理效果。采集、加工、训练、验证、存储、交付和运营各环节均执行权限校验、访问名单管理及审计记录;授权变化、用途变更或权限撤销时,识别并暂停受影响的操作,核验当前授权、适用用途、质量及安全条件,重新具备相应合法权限并满足操作条件后恢复获准作业,保留复核、授权及恢复记录。

项目交付包括高质量数据集及其加工记录、治理体系和实施成果、行业大模型训练推理成果、专项智能工具链、数据集运营服务管理平台、集成与安全建设成果、场景验证及数据集质量评测成果,以及运营推广、标准验证、专家库、标注规范、软建设和知识产权成果。各类成果按实施计划完成设计、开发或配置、测试、评审、整改、交付和验收,形成成果清单、版本记录及验收证据。

场景验证面向六个专业场景和五个通用场景开展。针对每个场景建立业务任务、输入数据、功能步骤、预期结果及评价指标,完成验证环境配置、数据加载、接口联调、用例执行、业务专家核验和问题复测。项目承担场景验证服务,不承担智能场景本身的建设;验证工作覆盖各场景规定的全流程能力及实际功能,不以离线数据抽查或少量样例演示替代。

产品智能选型验证需求解析、参数计算与验算、配置推荐、规格书及报价配置清单生成、在线编辑确认和版本留痕。板材备料工艺智能设计验证产品全生命周期管理系统任务与图纸接收解析、工艺卡片及工序附图生成、变更修订、规则库和设备台账维护、应急工艺通道、图层与要素在线预览、PDF 导出及打印;全部识别通过后生成的工艺卡片及工序附图内容准确率达到 100%。其余场景分别建立完整功能用例和指标核验记录,保存使用的数据、模型、规则、环境版本和实际输出,问题整改后重新执行受影响的用例并核验相关结果。

数据集完成加工、质量检查及规定的评测验证后,按正式版本封装数据文件、数据字典、数据卡片、来源和授权材料、质量与验证报告、版本指纹及变更记录,向数据集运营服务管理平台移交。接收时逐项核对清单、数量、格式、校验值、权限及有效期,完成入库、元数据登记和版本关联;发现缺项、文件损坏、权限不符或版本不一致时退回修正,复核通过后记录接收结果。

平台建设同步完成数据及服务管理、订单、交付、清算、审计、服务保障和对外接口等功能,支持数据集登记注册、确权、挂牌展示、交易合同及交易费用管理。结合真实授权和业务流程组织功能测试与联调,保存操作、审批、交付及审计证据;数据集移交登记后继续完成平台功能、运营服务和集成验证,不将登记完成视为项目服务结束。

运营推广工作落实持续数据汇聚、运营体系、运营架构、盈利模式、运营组织和公共服务,完成国家数据基础设施实际接入。接入对象覆盖平台生成的数据集及行业用户自有数据集,逐项核验权利来源、适用用途、服务信息、数据版本和接口条件,完成登记资料校验、接口测试及接入结果确认。授权、版本或服务状态变化时及时更新关联信息,并对受影响的发布、交付及使用请求执行复核,保持运营记录与实际有效状态一致。

项目建设与数据集生产运营流程 外部输入:业务与设备系统 纸质、离线资料及获准使用的外部资料 项目建设 数据资源建设与治理 17个业务与设备系统接入 多格式、多模态数据采集 来源授权及安全检查 数据标准、质量与资产治理 数据集加工生产 采集、预处理、本体构建、 知识库构建 标注、合成、增强、质检、 验证、项目管理 供需计划、产品工艺设计、 制造过程、产品质量 预训练、监督微调、偏好、 基准评测数据 训练、评测与场景验证 行业大模型训练与推理 六个专业场景、 五个通用场景验证 首轮全量评测与缺陷整改复测 质量指标与模型应用效果核验 数据集运营服务管理平台 目录、元数据、 权限及版本管理 登记注册、确权及挂牌展示 订单、服务交付、 交易合同与费用管理 清算、全流程审计及服务保障 数据集运营推广 持续汇聚、运营体系与架构 盈利模式、运营组织 与公共服务 国家数据基础设施实际接入 运营反馈与数据集持续改进 软件、工具与硬件集成 商用密码服务平台 九大类25个专项智能工具链 采购硬件安装、适配及集成联调 标准、专家与配套措施 技术标准验证及试点应用 不少于50人的专家库及管理机制 多模态数据标注规范 软建设配套措施及知识产权成果 安全与实施保障 来源及商业使用条件核验 脱敏、权限、访问名单及审计 等级保护2.0测评与 商用密码应用安全性评估 项目组织、风险、计划及成果管理 版本数据及配套资料|平台、工具及模型成果|评测与场景验证报告 标准与机制文件|知识产权成果|集成、运营及验收记录 国家数据 基础设施 授权数据及来源记录 规范化数据 与治理规则 候选数据、规则 及版本记录 缺陷定位、修正 与重新验证 通过评测验证的正式版本及交付资料 受控数据 及服务 实际接入与结果核验 需求与质量反馈

图 1-1 项目建设与数据集生产运营流程

数据治理贯穿数据采集、预处理、标注、合成、增强、质检和验证全过程。各项作业在执行前绑定有效的数据标准、质量规则、安全等级、授权条件和处理配置,执行中记录输入对象、处理过程、输出版本及异常事项;涉及来源、用途、规则或权限变化时,重新检查受影响作业的适用条件。知识本体、数据字典及知识库经专业审核和发布后,为实体关联、标签定义、样本构造和证据检索提供基础。

供需计划、产品工艺设计、制造过程及产品质量数据分别建立生产任务,按预训练、有监督指令微调、人类偏好对齐和基准评测四种用途组织数据子集。每项任务明确来源对象、处理步骤、适用规则、预期成果和检查要求。基准评测数据与训练数据按来源及衍生关系隔离,不使用任何形式的合成数据;各用途按适用流程执行,不将所有样本强制送入合成、增强步骤。

训练前质检核验数据的完整性、规范性、准确性、一致性、授权条件及内容安全,未通过检查的批次不得作为合格训练输入。训练后验证检查数据对模型能力和业务任务的实际作用,结合模型评估及场景验证记录判定结果。数据质检和训练后验证分别保存检测依据、执行记录、问题清单与结论,两类工作均完成后形成相应正式成果。

验证发现问题时,依据源对象、样本、规则、算子、任务及版本之间的血缘关系分析原因,确定受影响的输入、加工产物、模型和验证用例,形成整改任务。修正形成新的数据或规则版本,保留原版本及问题证据,对受影响结果重新加工、质检、训练或验证。每次执行使用明确的输入版本和输出版本,已执行版本不被回写覆盖;整改形成可追溯的新执行记录。

数据采集、预处理、本体构建、知识库构建、标注、合成、增强、质检和验证分别建立作业任务及成果记录,项目管理覆盖计划制定、资源安排、进度跟踪、质量检查、变更控制、版本管理和成果交付。各阶段执行前核实输入数据、规则和知识成果的适用状态,需使用知识条目的标注、合成任务仅引用已完成业务专家终审的有效条目。

设置采集受理、预处理结果、本体发布、知识成果终审、标注成果、合成与增强结果、正式版本发布七类过程检查。每类检查记录对象、版本、规则、执行人员、复核人员、检测结果、问题及处理决定。合成与增强分别检查各自的输入条件、执行结果和输出质量,合并管理检查记录不免除任一步骤的核验。未满足放行条件的对象保持待处理状态,涉及安全、授权、知识终审、基准评测数据隔离或强制质量指标的问题,不采用「有条件通过」转入受限作业或正式交付。

问题处理按影响分析组织。局部问题定位到具体对象和处理步骤,核查相关衍生结果后实施修正;跨环节缺陷建立整改工单,记录原因、责任人、受影响版本、处置动作及复检结果;模型及场景验证发现的问题联合检查数据、规则、模型和测试条件,验证归因假设后实施整改。增强校验不通过的批次整体回退,其他问题按实际影响范围确定重新加工及验证对象,关联结果一并复查,问题发生在单一节点同样复查其关联结果。

数据集加工、质量检查与验证流程 数据治理与安全控制:数据标准、质量规则、来源授权、安全分级、元数据与血缘 A 数据采集 来源登记、授权核验、格式检查与安全处理 B 数据预处理 结构还原、文本切分、时序对齐、 去重及规范化转换 C 本体与知识库构建 实体关系、术语与数据字典、 知识抽取及来源关联 D 知识成果专业终审 逐条核验依据、内容及适用条件, 发布有效知识版本 分用途选择加工路径 E 数据标注 标签、属性、关系及质量复核 F 数据合成 经审核的种子与知识、 生成配置、业务规则校验 G 数据增强 适用变换、语义与业务一致性检查 H 基准评测数据隔离 来源及衍生关系核验、去重与相似度检查; 不使用任何形式的合成数据 I 训练前数据质检 逐环节批次结论、量化质量指标、 合规与隔离检查 J 模型训练与对齐 继续预训练、监督微调、奖励模型与偏好优化 K 训练后评测及场景验证 模型能力增量、十一场景结果与问题归因 L 正式版本检查与封装 数据、数据卡、字典、指纹、 质检与验证报告、授权及血缘资料 M 运营平台移交与登记 文件、数量、校验值、版本、权限及接收记录 四领域、四用途分别达标 预训练合计 615 亿 Token;指令微调合计 89 万条 偏好数据合计 6.6 万组;基准评测合计 0.95 万条 文本、图像、时序、视频等超过 3 种模态 多模态数据条数占比不低于 40% 近三年数据条数占比不低于 40% 各领域分项分别核验,不用合计量抵补分项缺口 各加工环节完成后检查产出批次,形成质检结论及整改任务。 知识条目通过业务专家终审后方可用于标注和合成。 未通过检查的受影响对象暂停流转;增强校验失败批次整体回退。 整改依据血缘和原因分析确定影响范围,生成新任务或新版本, 完成复检及必要的重新训练与验证。 正式版本具备合格质检与验证报告后发布。 项目管理:计划、资源、进度、风险、变更、版本、成果与交付

图 1-2 数据集加工、质量检查与验证流程

每个加工环节完成后,对实际产出批次执行质量检查,记录受检对象、数据版本、规则版本、检查方法、结果、问题及放行结论。采集完成后核查来源登记、许可、入口脱敏及格式;预处理完成后核查文本切分、表格与公式还原、时序对齐及结构化文本化转换;标注完成后核查标签完整性、体系符合性、跨标注员一致性及黄金集通过率;合成和增强各自完成后分别核查业务合理性、分布偏离、重复及语义漂移。检查结果与该批次实际产物绑定,后续任务只接收满足适用条件的对象。

本体发布前检查实体、属性、关系、约束、编码映射和术语的一致性,保存专业评审及发布记录。知识成果交付和投入使用前,由业务专家终审知识条目、图谱及数据字典,核验出处、内容、关联关系和适用条件;未通过终审的条目隔离处理,不用于标注或合成。

候选数据在训练和验证前固定输入版本、配置与校验信息,完成训练数据与基准评测数据的去重、相似度比对及隔离核验;版本固定不等于正式发布。正式发布前检查质检结果、训练后验证及场景结果、问题整改、规模与占比、授权状态以及配套资料,全部满足发布条件后封装数据集、数据卡、数据字典、版本指纹、质检报告和验证报告。未通过检查的对象生成整改任务,修正后完成复检及必要的关联结果复核。

表 1-3 数据加工质量检查及处置要求

检查事项检查时点与对象检查内容通过条件与记录未通过处置
采集受理检查采集批次接收后、投入预处理前;检查文件、记录、来源及授权材料核对来源登记、权利来源、许可用途和有效期、对象与时间范围、分类分级、入口脱敏执行、格式与编码、文件清单及数量;确认实际采集对象与获准范围一致来源和授权有效,必要安全处理完成,格式及完整性检查满足接收条件;形成受理清单、检查结果、脱敏复核及采集批次结论,关联源对象、批次、规则和责任人员隔离不合格对象,暂停受影响的后续作业;按原因补充合法材料、修正配置、重新获取或处理数据,并检查已产生的衍生对象;无有效授权的对象不通过补记说明继续使用
预处理结果检查各预处理批次完成后;检查原始对象、转换产物及执行记录检查文本切分、表格和公式还原、图文对应、时序对齐、结构化文本化转换、单位与编码、去重及算子留痕;对多模态对象核验同一业务事件和时间关系处理结果与来源内容及有效转换规则一致,适用指标达标,输出清单和血缘完整;保存规则版本、算子配置、检查明细、问题定位及批次结论将问题定位至源对象、解析步骤、参数或关联规则,评估受影响范围后重新处理并复检;若共用配置造成系统性错误,覆盖全部受影响对象;保留原结果与重做记录
本体发布检查本体版本发布及变更生效前;检查类目、实体、属性、关系和约束检查实体定义、层级、关系方向、属性单位、约束一致性、术语及编码映射,核验主数据和业务系统对象的实际对应关系;区分产品设计对象、工件、工单、炉次与检验批,不以相同字段值强行等同专业评审通过,关键定义及映射规则明确,可执行校验无未处置冲突,形成版本、评审、映射和发布记录退回修正定义或映射,分析受影响知识、标签、样本和任务;完成必要的数据重映射及回归检查后发布新版本,未经批准的变更不直接覆盖已使用版本
知识成果终审知识库、图谱及数据字典交付和投入标注、合成前;检查拟发布知识条目及关联关系逐条核验出处、来源版本、权利条件、内容准确性、适用设备及工况、关系语义、证据关联和字典定义;对跨领域关系组织相应专业核验业务专家对拟发布条目、图谱和数据字典完成终审,记录审核人员、依据、结果及有效版本;抽查通过不外推为全部未审条目通过未通过或待审条目隔离,不用于标注和合成;核验并修复已经产生的受影响样本和引用关系,完成终审及复检后重新发布
标注成果检查标注批次完成后;检查标签、属性、关系、样本及标注记录检查标签完整性、标签体系符合性、对象边界、属性取值、关系方向、跨标注员一致性和黄金集通过率,检查规则与知识版本、异常样本及争议裁决记录适用质量指标达到既定要求,低一致性及争议问题按流程处置,标注结果与有效规范一致;保存检查结果、低一致性样本清单、裁决和修正记录定位人员理解、规范歧义、工具配置或源数据问题,组织规则澄清、复训、重标及复核;整改覆盖受影响样本,不仅修改被抽到的样本;合格后重新形成批次结论
合成与增强结果检查合成批次、增强批次分别完成后;分别检查种子、生成或变换配置及输出检查知识终审、来源授权、教师模型及许可、业务合理性、真实样本分布偏离、重复与相似度、语义漂移、标签一致性和血缘;核验基准评测子集不存在任何形式的合成数据,来源时间未被生成时间替代合成和增强分别形成量化检查结果和批次结论,输出符合业务、质量、安全及隔离要求,种子与衍生样本可追溯;正式计量保留去重和用途归属明细合成失败按原因修正生成约束、种子或配置并重新检查;增强校验失败的批次整体回退,不纳入数据集版本;发现污染时检查同源衍生对象及受影响用途子集,隔离修复后复检
版本质量与发布检查候选数据进入训练前完成数据质检与隔离检查;训练后完成模型和场景验证;正式发布前核对全部成果量化检查保真度、完备性、规整性、均衡性、可用性和可信性,执行训练与基准评测数据去重及相似度比对;核验实际训练、模型能力增量、十一场景结果、整改记录、分领域分用途规模及模态时效占比、授权状态和交付文件训练前质检合格方可进入相应训练;训练后验证及场景结果达标,全部适用发布条件满足后形成正式版本。数据、数据卡、数据字典、自描述封装、版本指纹、质检与验证报告相互一致;正式质量评测三维度 100% 覆盖、各维度最低合格且综合不低于 85 分,高风险清零、中低风险整改 100%,模型应用达到约定最低提升阈值未通过条件对应的对象停止进入下一受限阶段或正式发布,建立缺陷及影响清单;按原因补采、修正、重标、重新合成或增强,并对受影响的模型和场景复验;保存新旧版本关系及全部复检证据,不以抽样零发现、延期补测或有条件发布替代必达指标

表中质量阈值必须满足明确的强制指标;未指定数值的过程指标在实施方案中以业务依据、样本试验和评审确定,不由作业侧为补规模自行降低。

按业务领域、用途、来源条件和作业依赖编制批次计划,逐批列明输入就绪时间、处理任务、质检工作量、专业审核安排、训练资源及交付节点。采集和预处理可在授权及接收条件满足后分批滚动;本体和知识成果按实际专业审查进度发布,拟用于标注或合成的知识条目全部完成终审后方可引用。任务排程以已具备的输入和审核状态为准,不将尚未通过检查的成果视为可用产能。

标注、合成和增强各批次完成后及时组织质量检查,记录低一致性样本、生成缺陷及增强校验结果,不等待正式版本汇集后再首次判定。训练与验证任务提前核对数据版本、软件许可、计算资源、实验配置、专家参与及评测数据隔离条件,按实际资源安排执行窗口;并行作业保持各批次的输入、规则、产物和日志独立可追溯。

根据实际通过率、返工量、审核积压和训练验证耗时滚动调整后续计划。出现瓶颈时优先处理影响关键路径及质量达标的任务,通过合规补充资源、调整任务粒度、优化配置和安排专业复核消除积压;检查范围、知识终审、独立基准和最终验收指标保持不变。

在来源接收、各加工环节完成和正式发布前执行相应检查,发现来源许可、内容安全或业务有效性问题时,立即停止受影响对象的继续使用及新增交付。按来源标识、样本及衍生关系、处理任务、数据版本和使用记录追踪影响范围,区分未加工数据、已生成样本、已训练模型和已交付成果,分别登记需要核验、隔离、修正或停止使用的对象。

问题处置记录应包括发现时间、证据、授权与使用状态、影响对象、责任人员、措施和复核结果。可精确识别影响范围的,对受影响对象实施控制并验证其余对象是否仍满足使用条件;无法可靠界定影响范围的,先暂停相关批次或版本的使用与发布,再完成排查。涉及已交付成果时,根据实际授权、影响程度和交付状态组织通知、修正、版本替换或撤回,保留接收方反馈及处置记录,外部操作以可确认的执行回执为准。

整改完成后重新核验来源权利、适用用途、质量和安全条件,检查关联样本及模型是否需要重新处理或验证,形成复核结论后恢复获准作业。原版本、原问题和处置证据保留,新的处理结果另建版本并记录替代关系。

预处理任务按数据模态和实际依赖组织步骤。文档处理核查页面、段落、表格、公式及图文关联,图像处理核查文件、尺寸、有效区域和业务标识,时序处理核查时间基准、采样间隔、单位、缺失和事件关联。每个步骤保存输入、配置、输出及执行状态,发现影响后续结果的结构、时间或关联错误时暂停受影响步骤,定位后修正,避免错误产物继续扩散。

能够独立复用且已通过校验的中间结果按版本保留;重新执行范围由来源、配置、共享依赖及衍生关系的影响分析确定。处理结束后仍对完整预处理批次进行质量判定,局部重做和局部通过不替代整体批次结论。共用解析或时间配置错误影响整批数据时,覆盖全部受影响对象重新处理和核验。

本体检查和知识终审分别执行。本体检查实体、属性、关系、约束及映射规则,知识终审核验具体内容、出处、适用条件和关联关系。任一项变更后识别引用它的规则、标签、样本及任务,组织相应专业审核和回归检查,发布经确认的新版本;本体通过不替代知识终审,知识终审通过也不免除本体结构检查。

工具在作业中执行可自动化的格式、完整性、空值、重复、范围、关系及配置一致性检查,保存实际规则版本、受检数量、命中对象和结果明细。自动检查失败时,对受影响对象设置待处理状态,并将缺陷位置及证据交由责任岗位处置;作业成功结束和质量检查通过分别记录。

专业含义、业务合理性、知识终审、争议标注、安全授权及重要质量问题由具备相应职责和授权的人员复核。各加工环节完成后,由明确的质量责任岗位汇总自动检查和专业审核证据,形成批次结论及整改任务。需跨领域判断的事项组织相关专业共同核验,其他事项按已确定的责任流程处理,保持审核责任、依据和处理结果可追溯。

检查结论绑定具体对象、数据及规则版本和适用条件。复用已有检查结果时核实这些条件仍然成立;输入、规则、授权或依赖发生变化的,重新检查受影响事项。过程检查、知识专家终审、训练后验证及正式质量评测分别履行,自动化检查不替代必要人工审核,人工签认也不替代规定的检测范围。

供需计划、产品工艺设计、制造过程和产品质量分别建立数据集项目,在各项目下按预训练、有监督指令微调、人类偏好对齐和基准评测组织生产任务。每项任务明确业务对象、来源范围、用途、模态、处理步骤、规则版本、质检条件和交付形式,并记录与相关本体、知识成果、工具及数据资产的关联。

物料、产品、设备、工艺、工序、质量及其他共同业务对象采用经确认的术语、编码和关系定义,复用适用的采集、解析、标注、检测与追溯能力;各领域仍分别确定其特有来源、标签、业务规则、样本分布和质量检查。不同用途在满足各自条件的前提下选择适用步骤,基准评测数据独立管理,不使用任何形式的合成数据,不与训练数据及其衍生样本混用。

按领域和用途分别记录投入量、合格产出、剔除与返工、模态构成、来源时间及授权状态,形成独立的规模与质量核验记录。共同来源和衍生关系在血缘中关联,重复数据和重复加工产物按计量规则识别处理,跨领域重复登记不抵补分项建设数量。

表 1-4 四类数据集生产作业与质量检查

数据集来源整理与业务关联标注及用途组织合成与增强实施质量检查与成果记录
供需计划数据集整理客户、合同、订单、产品、销售、采购、库存、物流、排产及经营指标资料;保留订单行、物料、组织、仓库、计划版本和业务时间,区分需求、预测、计划、实际执行及库存快照。按真实主外键、业务单据关系和有效时间建立关联,核对拆分、合并、取消、退货和计划变更,无法确认的关联进入核验清单提取需求要素、工况参数、产品配置、供应约束和计划执行信息,标注业务对象、条件、时间、结果及有效证据;预训练资料保持来源与内容一致,指令任务形成可核验的问题、条件和答案,偏好任务保留同一输入下候选回答、专业判断及理由,基准题按独立来源范围建立并隔离使用获准且经审核的业务资料、规则和知识构造计划决策、配置推荐、供需问答等适用训练样本,核验供需数量、库存变化、时间先后和约束条件;记录生成配置和种子关系。对长尾条件补充合规样本,区分模拟条件与真实执行结果,预测或建议按其性质标注、不写成已发生业务事实;基准评测子集不使用任何形式的合成数据检查物料、数量、单位、组织、时点及单据关系,核验预测与实际结果的区分、答案证据、规则适用性和标签一致性;按数据用途执行去重、隔离和质量检测,形成来源清单、关联核验、标注及合成记录、分布统计、质检和验证结果
产品工艺设计数据集整理二维及三维图纸、设计文件、工艺卡片、工序资料、设备与加工能力、制图及工艺编制规则;记录图号、文件版本、零件与部件关系、材料、尺寸、公差和技术要求。图纸、工艺卡及工序附图按有效版本关联,变更前后内容和适用范围分别保留标注图形及文字要素、特征位置、尺寸公差、材料、工序、加工方法和工艺约束,建立图纸要素与工艺卡片及附图的对应关系;多解或专业争议经工艺人员核验。按四种用途分别组织材料、指令、偏好比较和独立基准,专业结论以工艺人员判定为准使用已终审的工艺知识、规则和实例构造适用训练样本,保留条件、约束、步骤及核验依据;推理过程逐步核查,工艺事实均附证据。图像与文本增强保持尺寸、公差、材料和工序语义,可能改变几何含义或加工条件的变换须经专业验证;基准评测子集不使用合成数据检查图文对应、单位与数值、版本有效性、特征完整性、工序逻辑、设备能力和工艺规则适配;保存专业审核、差异和修正证据。板材备料场景对全部识别通过后生成的工艺卡片及工序附图完成验证,内容准确率达到 100%,检查记录与实际输出版本一致
制造过程数据集整理制造执行、设备采集监控、热处理群控、能源管理、设备管理及加装传感设备的获准数据;保留设备、传感器、工件、工单、工序、炉次、位置、时间、采样条件及配置版本。核查时间同步、单位、采样间隔和设备状态,按实际生产事件关联,工单、炉次和工件分别建模,多对多关系保留对应记录按工况和事件划分时序片段,标注启停、运行、异常、维护及已确认故障等适用标签;热处理、焊接和设备健康任务分别关联有效工艺参数、过程记录、检验及维修证据。报警、候选原因和经核验故障分开记录,根因以核验结论为准根据实际分布分析补充长尾工况和适用训练样本,使用规则与物理约束核验模拟数据,记录模拟条件及来源关系,模拟数据与现场实测分别标识。时序切窗、重采样和扰动保持事件顺序及工况语义;图像变换保留有效缺陷特征;增强校验失败批次整体回退,基准评测数据不使用合成样本检查时间与事件对齐、对象关联、工况标签、参数单位、数据缺失、传感器异常和衍生窗口重复;核验故障结论的证据及适用设备条件,隔离跨用途的同源时序和重叠窗口。交付关联映射、片段及标签、加工配置、分布对比、质检和模型场景验证记录
产品质量数据集整理质量管理系统检验记录、质量台账、缺陷影像、硬度及其他检验结果、处置和复检记录;记录产品或工件、检验批、检测方法、设备、时间、判定标准及有效版本,关联适用工艺与制造过程。区分逐件检测和批次抽检,保持返修前后及重复检测记录,批检结果按批次口径记录标注质量特性、检验项目、缺陷类别、位置、范围、程度及判定依据,按图像、数值和文本各自形式保留证据;检验结论、处置建议和根因判断分别记录,疑难缺陷由质量专业人员核验。按四用途建立样本和任务,独立基准按来源及衍生关系隔离针对实际缺陷分布与覆盖不足构造适用训练样本,使用有效判定规则和经审核证据约束生成;合成缺陷明确记录生成属性,与真实检验记录分别标识。图像增强检查缺陷可见性、位置标注及尺度变化,文本增强保持质量结论和适用条件;校验失败的增强批次整体回退,基准评测子集不使用合成数据检查检测对象、方法、标准版本、单位、标注位置、判定依据、复检及返修关联,核验重复图像和近似缺陷样本、类别分布及标签一致性。形成检验与过程关联、专业复核、标注与增强、缺陷整改、质检和模型验证记录,质量因果结论以检验证据和专业判定为依据

各领域共用的本体、知识、工具与检测能力按已审核的版本引用,适用性在任务启动时核验;领域特定规则独立配置,变更后检查受影响任务。

为每项生产任务生成唯一任务标识,为实际投入的处理批次生成唯一批次标识,分别登记数据集、用途子集、来源对象、业务领域、处理路径及其版本、执行配置、授权范围和质量规则。可读业务编号用于展示和检索,系统内部以稳定标识关联记录,重试、拆批、合批和补充处理另记执行实例及父子关系,保留原批次与原结果。

任务调度读取已审核的路径配置和适用规则,执行前核对输入模态、字段、来源授权、知识终审、处理能力及环境条件,确认实际数据符合任务要求后启动。算子组合、参数、模型、知识及检查规则的版本固定记录;配置不兼容、必要条件缺失或权限失效时停止受影响任务并生成处理记录,放行以上述核对结果为准。

多个领域及用途并行生产时,分别管理输入清单、工作目录或对象空间、访问权限、输出清单和日志,交接时核对标识、版本与校验结果。变更路径或规则后识别已运行和待运行任务的影响范围,完成审核、必要测试及版本更新后执行;已完成实例的记录按原样留存。

原始材料及其派生样本建立稳定的来源关联,保留文件或记录版本、来源对象、加工任务、样本及用途分配记录。材料被切分、转写、配对、改写或组合后,记录全部适用来源及衍生关系,使重复内容、近似内容和同源派生对象可被识别。多来源样本保留多对多血缘,按实际来源关系登记。

在训练数据加工和基准题制作前,按来源及衍生关系确定隔离范围。已经分配给独立基准评测的材料及其泄露题干、答案或推导内容的派生样本,不进入相应模型的训练数据;已用于训练的同源材料经改写、换编号或更换用途标记后,仍按同源对象管理,不计为独立基准题。发现跨用途重叠时暂停相关样本入集,重新核验分组和分配,并检查已完成训练或验证是否受到影响。

合规的数据复用分别核验用途授权、内容适用性、重复计量和质量条件。每个用途保留独立任务、合格产物及检查记录,基准评测子集不使用任何形式的合成数据;版本交付时提供隔离检查、命中处置及必要复验记录。

隔离核验同时检查来源标识、内容和衍生关系。对文件、记录及样本保留内容校验信息,识别相同内容和重复副本;结合适用的文本、图像、时序及多模态相似度方法检查近似内容,记录算法、配置、阈值、命中对象和处置依据。相同材料在不同系统或文件名下出现时,建立来源等价关系;切分片段、改写样本、图文配对、重叠时序窗口和多来源组合分别保留与其来源的关联。

训练与基准评测数据的隔离检查覆盖实际输入版本及其来源、重复内容和衍生对象。命中后核查重叠内容、任务关联、答案或推导信息泄露及用途分配,区分普通公共实体关联与实际数据内容泄露,污染判定以实际内容重叠为依据。需要专业判断的命中项进入复核,形成保留、调整分配、剔除或重新构造独立评测材料的明确结论。

对已进入训练或验证流程的污染对象,检查受影响的数据版本、模型和评测结果,重新组织必要的数据处理、训练及独立评测;原结果标明实际有效状态,独立验证证据以复验后的结果为准。交付隔离检查范围、方法、命中清单、专业复核、处置结果和复检记录,使结论与实际训练和评测输入一致。

将技术标准验证、专家库建设、标注规范、软建设配套措施、项目管理和安全合规纳入整体实施计划,与数据集生产任务同步安排责任、进度、评审和成果交付。业务专家参与本体与知识审核、标注争议处理、样本质量判断及场景验证;标准验证使用实际生产和评测记录形成试验结果,适用的改进意见经评审后纳入规则及工具配置。

对试产、正式加工、质量检查、模型训练和场景验证保存完整过程记录,归集实际处理耗时、资源使用、质量问题、整改措施和复验结果。经验成果对应具体数据、规则、工具及环境版本,说明适用条件并经专业复核后纳入操作规程、培训材料和复用配置。制度、规范、标准及工具配置发生变更时,识别受影响的任务和人员,完成必要的培训、测试及再验证后使用。

配套成果分别建立清单,记录名称、内容范围、责任人员、版本、评审意见、修改结果、实施证据和交付状态。制度文件与执行记录配套,专家名单与实际履职记录配套,标准验证结论与试验和试点材料配套,安全措施与配置及核验记录配套;交付前逐项核对完整性及相互一致性。

表 1-5 配套工作实施任务及交付成果

配套工作实施任务交付成果检查与执行证据
技术标准验证结合矿山装备制造数据及实际业务流程,参与全国数标委标准验证和试点应用;确定验证对象、指标、样本、环境及方法,实施试验,分析指标适用性与实施问题,提出改进建议标准验证方案、指标及用例清单、测试记录、试点应用成果、问题分析和反馈材料核对实际参与及试点材料,样本和工具版本与测试记录一致,结论具有对应数据及证据;标准引用管理记录与实际标准验证成果分别归档
实践经验积累在试产、加工、质检、训练及验证过程中记录参数、耗时、资源使用、质量结果及整改,比较不同数据类型和工况下的适用性,经专业复核后纳入规程、培训和复用配置试产记录、适用参数与配置、实际产能及损耗统计、问题与整改案例、复验记录、操作规程及培训材料每项经验可追溯至实际任务、数据、规则及环境版本;明确适用条件和使用限制;结论以已证实的记录为准,已失效的配置退出当前作业并保留历史
项目「软建设」配套措施梳理数据要素、高质量数据集、人工智能、新型信息基础设施、数据安全及绿色低碳等相关文件 25 个;制定规划、实施方案、制度及动态调整机制;建设五项体制机制,牵头制定关键行业标准,构建「五位一体」标准体系并制定实施技术规范1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制、1 份年度政策符合性评估报告;五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励、能力复用 5 项机制;牵头制定 2 项关键行业标准,标准体系包含 18 项细分标准,制定 6 项项目实施技术规范各项分别建立成果清单、内容及版本记录,保存依据核查、编制、评审、修改和应用材料;政策文件、规划、机制、标准和规范分别核验,具体内容和数量逐项满足,分项成果逐项列示
项目组织实施与保障措施建立组织、协同、管理、协调、保密、资金、档案和环境管理机制;明确知识产权、成果管理及合作权益安排;识别风险并制定管理计划,编制年度计划和考核计划,实施目标考核及纠偏不少于 7 份项目内部管理制度,组织及职责文件、风险管理计划、年度及考核计划、执行检查与考核记录、成果及合作权益管理文件核对制度内容和实际执行,检查责任、计划、任务、会议决定、风险措施和整改记录的一致性;重大变更及问题处置按实际授权记录,计划调整保留原因、影响及批准记录
数据标注专家库建立建设原则、专家类别、入库标准、遴选流程、职责和考核机制,覆盖标准编制、数据生产、质量管控、行业应用、项目管理和安全合规六大领域;开展人员核验、入库、任务分派、利益回避、履职评价和动态调整不少于 50 人的专家库、管理机制、人员及专业信息、资格及入库记录、任务履行记录、考核及调整记录按人员去重核验规模和专业覆盖,核验参与意愿、职责适配及实际评审记录;软建设与专家库服务共同使用同一实际专家库,人员信息变更及时更新,入库人数以已落实人员计
数据标注规范围绕文本、图像、时序、视频等数据制定标签、对象边界、属性、关系、例外与争议处理、复核及验收规则;组织专业评审、培训、试标和一致性检验,发布有效版本并跟踪执行正式标注规范、标签及属性字典、正例反例和边界案例、培训及试标记录、裁决与质量检查记录、版本和变更记录规范与实际工具配置、任务及样本相匹配,疑难规则有专业裁决,变更后核验受影响样本;交付包含完整规则和案例,以实际成果为交付内容
项目安全合规建设核查数据、软件、模型及其他建设内容的来源、许可和商业用途条件;对个人信息、敏感地理信息、重要行业数据及企业秘密数据实施适用去标识化或脱敏;全过程执行权限校验、访问名单控制、审计和异常处置来源及授权材料、商业使用条件核查记录、分类分级及脱敏规则、实际处理与复核记录、权限及访问名单、全流程审计记录、安全问题整改及复核记录检查当前授权与实际用途一致、敏感内容处理有效、权限及名单配置可执行、重要操作有证据;授权撤销或条件失效时暂停受影响操作,重新具备合法权限且满足安全条件后恢复获准作业

项目经理将业务规则、来源授权、数据字典、本体、标注规范、知识终审及场景验证等协同事项纳入实施计划,逐项记录确认对象、所需材料、责任岗位、参与专业、计划时点、前置依赖和结果记录方式。提交评审前完成资料整理、差异检查和问题定位,提供可核验的来源、样本、规则及候选处置方案,便于相关业务及管理人员形成明确结论。

我方实施团队承担调研、材料编制、技术核验、会议组织、记录整理、修改落实和复验工作,按真实职责与授权组织相关业务人员及专家参与。来源系统技术联系人提供接口与数据情况,数据授权由具有相应权限的主体确认,业务规则和知识内容由具备相关专业能力与职责的人员审核;数据使用授权与专业终审权限分别由相应主体行使。

协同计划随批次和变更情况更新,关键事项提前识别对后续生产的影响。已确认且不受待定事项影响的任务继续实施;存在依赖的任务在取得有效结论和满足启动条件后执行。实际参与、意见、决定及修改结果与任务和版本关联存档,形成可追溯的协同记录。

基础规则确认包括工序及业务字典、标签体系、缺陷分类、术语、数据分类分级和相关处理规则。根据实际业务范围分批提交专业评审,记录适用对象、版本及确认结果;新增来源、工况、产品或业务规则变化时,重新评估原规则适用性,必要时组织补充评审,批准后发布新版本并识别受影响任务。

批次审核按具体成果和工作量安排。知识终审覆盖拟用于标注和合成的有效知识条目、图谱及数据字典,其他质量审核按相应对象和判定方法执行。评审前提供清单、内容、来源证据、差异和问题,按实际数量、复杂程度、专业覆盖及人员可用时间测算工作量;结果记录关联到审核对象和有效版本,审核投入按实际需要安排。

标注争议、工艺分歧和跨领域冲突建立问题记录,明确涉及样本、依据、争议点及影响范围,由相应专业人员核验。跨领域问题组织有关专业共同审查,形成裁决及适用条件,必要时修正规范和历史样本并复检。持续统计争议类型、处理时长、重复发生和新问题,按实际情况调整培训、规则及审核资源。

对尚未确认的规则、知识或授权事项建立待办记录,列明待确认内容、来源证据、可选方案、涉及任务、预计影响及责任联系人。项目经理组织补充材料和专业讨论,按实际职责及授权提交确认,并在计划中记录影响和调整措施;超过计划时点仍未取得有效结论的,升级协调并更新相关任务排程。

依赖未确认规则的正式标注、合成、训练或交付任务保持待启动状态;知识条目经业务专家终审后用于标注和合成,数据在具备合法权限后进入受限作业。继续推进已确认且不受上述事项影响的来源整理、合法数据处理、工具部署、配置测试、资料编制和其他生产任务。内部方案研究及技术测试使用已获准的资源和数据,结果单独管理,合格交付规模以正式生产成果计。

取得有效确认后记录规则或知识版本、授权条件和生效范围,核对受影响任务的输入及配置,完成必要测试、培训和复核后启动。历史结果受新结论影响的,按血缘定位修正并重新检查;确认意见、变更、执行和复验记录随任务及版本保存。确认以明示的有效结论为准。

3.2.6.3 数据加工生产服务要求

建设供需计划、产品工艺设计、制造过程和产品质量四类高质量数据集,分别形成预训练、有监督指令微调、人类偏好对齐和基准评测四种用途子集。四领域各分项规模分别达标,合计完成预训练数据不少于 615 亿 Token、指令微调数据不少于 89 万条、偏好数据不少于 6.6 万组、基准评测数据不少于 0.95 万条;覆盖文本、图像、时序、视频等超过 3 种模态,多模态数据条数占比和近三年数据条数占比均不低于 40%。各用途按对应单位统计,原始对象、重复副本和中间产物与合格交付数据分别计量。

按领域和用途建立生产任务,组织采集、预处理、本体构建、知识库构建、标注、合成、增强、质检和验证,项目管理贯穿全过程。各项任务明确输入、处理配置、输出、责任岗位、交接时点、质量条件和异常处置,维护源对象、样本、规则、工具、执行与版本的追溯关系。根据用途选择适用加工步骤,基准评测子集保持独立且不使用任何形式的合成数据;知识条目完成业务专家终审后用于标注和合成,增强校验失败批次整体回退。

生产计划覆盖实际数据接入、业务关联、分批试产、资源安排、质检返工、规模补足和验证交付。对迟到、重发、撤回及跨系统不一致的数据,识别来源和受影响版本,按证据完成对账、修正及复核。正式版本在质量和验证条件满足后封装数据、数据卡、数据字典、版本指纹、质检及验证报告,完成接收核验、运营平台移交和登记。

交付规模按领域、用途子集及实际交付版本统计合格数据。计入对象完成适用加工步骤、质量检查及规定的验证,具备有效来源、使用权限、版本和追溯记录;未通过检查、待终审、待确认、重复副本、失效数据及仅用于中间处理的临时产物不计入合格净量。正式版本清单与实际交付内容一致,数据登记或封装完成后仍按质量、验证及授权核验结论认定。

预训练数据按 Token 统计,指令微调和基准评测按条统计,偏好数据按组统计。确定并记录可复现的计数程序、分词及配置版本、纳入对象、排除规则、统计时点和去重方法,保存样本明细、执行日志和结果。不同单位分别计算,Token 以实测为准,合格规模以经检查的实际对象为准。

规模统计绑定数据版本和计量规则版本。数据增删、内容修正、去重结果、用途分配、授权状态或计量方法变化时,评估影响并重新统计受影响对象,保留变更前后明细及差异;规则变更经评审确认后生效,并完成必要的历史结果复算,保持同一交付版本各项记录一致。历史版本中的同一对象按首次计入口径统计,重复发布不另计新增成果。

交付成果按合同约定的接收主体、用途和使用权限办理移交,核验接收清单、版本、质量与验证结论及实际授权条件,合格净量按该交付版本的有效对象统计。对外展示、下载、交易及其他后续使用另按具体请求核验接收对象、用途、范围、期限、安全条件和可提供的数据版本,审核通过后执行相应操作并保存授权与交付记录。项目内接收、平台登记和对外使用分别记录办理状态,数据集完成移交或登记后,后续使用仍须处于有效授权范围内。

批次台账、版本清单、规模统计、数据卡及资产记录采用同一交付版本的实际对象明细作为统计依据,分别记录领域、用途、计量单位、状态、来源时间、模态、去重与纳入结果。统计程序从已确认的明细生成各类汇总,校验分项与合计、增量与存量、合格与剔除数量之间的关系,并保存统计时点和执行版本。

交付前逐项对账文件清单、样本清单、Token 或条组数量、质量状态、模态和时效占比及授权信息。发现差异时定位至缺失对象、重复对象、状态变化、用途归属、来源时间或计量配置,完成修正并重新统计;差异以查明原因后的重新统计结果消除。结果更新到对应版本的数据卡和资产资料,保留差异、原因、修正及复核记录。

批次生产进度、候选合格量和正式交付量分别标明状态与统计时点。滚动计划使用实际通过、返工和可用资源数据测算缺口,最终规模以完成全部适用条件的正式交付对象为准;阶段预计量按预计口径单列。

规模不足时,按领域和用途核对合格净量、剔除原因、来源覆盖、生产资源及剩余时间,优先补充获准来源、修复可修复缺陷、组织合规标注与适用合成增强,完成相应质检和验证后补入正式成果。基准评测数据通过独立、真实且获准的材料补充,不以合成数据补量;质量、安全、授权及隔离要求在数量不足时保持不变。

明确的数量、比例、准确率、覆盖率、缺陷清零和整改完成要求保持不变。具体过程参数按业务依据、样本验证和质量影响分析制定,变更时记录原因、证据、适用范围、批准结果及生效版本;经确认的变更方进入正式生产。

参数变更后,对受影响的批次、样本和已形成结果重新检查,核验变化是否影响来源合法性、业务正确性、内容安全、隔离和最终指标。整改与补充成果逐项计量并更新版本记录,未达到交付条件的对象继续处置,数量缺口以实际补足成果消除。

各环节交接以实际输出清单和质量记录办理。移交方提供对象标识、输入来源、处理任务、规则及工具版本、输出文件和数量、校验信息、检查结论、授权条件及未结事项;接收方核对清单与实物、版本与配置、用途与权限、质量与依赖条件,记录接收结果和交接时间。

符合接收条件的成果进入对应作业队列;存在缺项、损坏、版本不一致、权限失效或质量问题的对象保持待处理状态,形成问题记录并确定责任岗位、处置事项和复核条件。可以独立识别的合格对象按经确认的拆分规则办理交接,拆分、合并和重试均保留原任务及批次关联,失败对象及其记录一并留存。

交接记录关联移交、接收、检查和整改人员,反映实际授权和职责。必要专业审核或安全条件尚未完成时,签收文件仅表示收到实物,质量合格与后续使用以相应检查结论为准;整改完成后按受影响范围复核,更新对象状态和交接结果。

表 2-1 数据加工生产任务、成果及交接要求

服务环节输入对象处理工作输出成果责任及交接条件质量检查与异常处置追溯记录
数据采集获准接入的业务与设备系统、纸质及离线资料、行业及外部语料,来源和许可材料、分类分级及接入配置核查来源与用途,配置实际采集或导入通道,完成历史及适用增量获取、入口脱敏、格式与编码检查、数量对账和批次登记;保留源记录及事件时间,识别重发、变更和撤回分领域原始数据批次、来源台账、许可核验、采集配置及执行记录、脱敏复核、格式与数量检查、异常清单采集实施岗位组织执行,数据受理与质量岗位核验,安全授权事项由相应职责人员复核;受理条件满足后向预处理移交,并保留接收结果来源、权限、安全、格式和完整性检查通过后使用;不合格对象隔离,缺失授权实际补齐且有效后方可使用;异常任务和批次同样生成可追踪标识,保留失败原因及处置记录来源及原始对象标识、来源版本、记录主键或事件标识、采集任务与批次、内容校验、时间与执行配置
数据预处理通过采集检查的原始数据,有效术语、转换规则、工具与配置,实际模态和用途信息开展文档解析、层级与表格公式还原、文本切分、图纸及图像转换、图文关联、时序对齐与事件切窗、结构化文本化、去重及去噪;记录缺失和异常处理依据保留来源定位的结构化文本、图像及图文对照、时序片段与事件样本、文本化与源记录对照、贴源及规范化数据、算子执行和质量记录预处理岗位执行和自检,质量岗位复核;批次检查通过后向适用的知识构建、标注及其他加工任务移交,后续任务仍检查其所需知识终审和用途条件分别检查语义、结构、数值、时间和关联准确性;按来源、参数及依赖关系确定重做范围,系统性配置问题覆盖全部受影响对象;保留原结果和新执行实例,未受影响证据一并留存源对象与样本标识、输入输出版本、算子及参数版本、批次和执行实例、拆分合并及内容对应关系
知识本体规范化资料、业务术语、有效主数据与业务系统编码、数据标准、产品及工艺规则建立类目、实体、属性、关系与约束,核验编码及同义关系,组织专业评审、变更影响分析和版本发布;区分设计对象、实物、工单、炉次和检验批本体文件、术语与别名表、实体及关系定义、编码映射、约束规则、缺口与冲突清单、专业评审和版本记录本体建设岗位提交,相关业务专家及授权责任岗位审核;有效版本发布后供知识构建、标注和合成按适用条件引用通过评审的版本方予发布;原版本在内容、权限及适用条件仍有效且获准继续使用时用于相应任务;发现已用版本有错误或失效,暂停受影响引用并修正关联知识和样本本体及术语版本、实体关系标识、映射来源、评审记录、依赖任务及变更影响清单
知识库规范化资料、有效本体、经确认的业务指标及计算逻辑、来源和授权材料抽取知识并逐条登记出处,开展制度条款切分、标准元数据抽取、图谱和九业务域知识库构建、检索索引、检索增强三元组及数据字典编制,组织业务专家终审结构化知识、制度条款索引、标准元数据、设备故障和工件工艺质量两类核心图谱、九业务域指标与业务概念与规则与分析报告四类知识库、检索索引、三元组、字典、终审和状态记录知识建设岗位提交,相关业务专家终审;拟用于标注和合成的知识条目、图谱及字典完成终审后按有效版本使用,评测取材同时检查独立性及用途授权逐条核查来源、内容、关系与适用条件,待审或退回条目隔离并暂停用于标注合成;逐条终审覆盖全部拟发布条目;发现知识错误时追踪全部受影响引用,修正后重新审核和复检条目、关系和三元组标识,来源文件及页码或条款位置、字典和本体版本、审核人员及结果、实际引用任务
数据标注规范化样本、有效标签体系和标注规范、已终审的相关知识、黄金集及用途任务分业务域和用途开展要素、属性、关系、对象位置及业务结论标注,执行自检、抽检、跨标注员一致性检查与专业仲裁,处理规范歧义及疑难样本带标签、规范版本、人员和校验结论的样本,标注任务及批次记录、黄金集及一致性结果、低一致性和争议清单、仲裁与整改记录标注岗位执行,质量岗位检查,相关业务专家处理专业争议;适用检查通过后移交后续质检、训练数据准备或独立评测数据准备按原因修正规范、复训、重标或补证,复核范围覆盖受影响的同类样本;证据不足对象保持未通过状态,标签以可核验证据为准、未确定者不计入合格量;本体或知识变更须先完成相应审核样本及原始来源标识、任务与批次、用途、标签及规范版本、标注人员、检查与仲裁记录、修订关系
数据合成获准的真实种子、已终审知识及本体、有效业务规则、覆盖缺口、教师模型及其使用许可按适用训练任务配置生成、记录种子与提示及模型参数,执行事实、规则、业务约束、分布、重复和内容安全校验,定位失败原因并修正带完整来源、生成属性和配置的合成样本,种子与知识关联、生成任务及批次记录、模型许可、分布和质量检查、失败及修正记录合成岗位执行,质量岗位检查,需专业判断的时序、工艺或业务结果由相关专家复核;通过检查的合成成果进入允许使用合成数据的候选用途子集基准评测子集不纳入合成样本;检查事实和业务有效性、语义、分布偏离和重复;失败对象不计入合格量,批次问题按实际影响范围重新生成和检查,失败与污染记录随对象留存种子及知识标识、生成任务与执行实例、模型及许可、方法与参数版本、输入输出批次、样本及质量记录
数据增强获准且满足用途条件的真实或合成训练样本、分布分析、适用变换规则和配置按类别、模态、来源、时间与难度缺口实施适用文本、图像及时序增强,保存变换及来源,检查语义、标签、业务关系与分布变化增强样本、种子及衍生关系、算子与参数记录、增强前后分布对比、语义和标签校验、批次结论及回退记录增强岗位执行,质量岗位核验,必要事项组织专业审核;完成全部适用检查的批次进入对应候选用途,仍需后续质检和验证校验不通过的增强批次整体回退,不纳入数据集版本;重新处理形成新执行记录;基准评测子集不使用任何形式的合成数据种子、样本、批次和执行标识、来源及原始时间、变换算子与参数、标签版本、校验和整体回退记录
数据集质检各环节实际产出、输入输出清单、规则和版本、专业审核及安全记录、用途划分每个加工环节完成后判定产出批次,量化检查保真度、完备性、规整性、均衡性、可用性与可信性;执行训练与基准评测的去重、相似度和血缘隔离检查,形成问题及整改任务各环节批次结论、量化指标、低一致性及重复或污染命中清单、修复工单、复检记录和版本级质检报告质量岗位组织检测和结论汇总,专业及安全事项由相应职责人员核验;训练输入在训练前通过适用质检,正式发布前核对实际版本及完整证据自动全量检测、必要专业复核和适用抽样各按检查对象执行,明确的全量和 100% 覆盖要求按全量执行;不通过对象隔离并跟踪修复至复检合格,剔除后仍须补足分项规模,整改及交付责任延续至达标受检版本、对象与批次、规则方法及参数、命中记录、工单、责任及复核人员、整改和结果版本
数据集验证已通过训练前质检的候选数据,独立基准、固定评测协议、获准模型、训练环境和十一场景用例实施继续预训练、监督微调、行业奖励模型及偏好对齐训练,对基座及各阶段模型评测,核验知识探针、困惑度、任务质量、偏好判别及安全效果;完成场景功能验证、错样归因和整改复评实验配置和记录、模型及数据版本、分项评测与能力增量、能力雷达图、十一场景结果、结构化整改任务、复验记录及绑定版本的数据集验证报告验证岗位执行,技术及相关业务专业人员核验结果;实验前固定候选输入,完成全部适用验证且结果合格后提供正式版本发布依据失败时先分析数据、规则、训练配置、模型和评测条件,再按影响安排修正及复验;达标工作持续至指标满足,数据问题以数据整改解决;达标版本方予发布实验标识、数据及模型版本、环境依赖、协议及随机性配置、实际输入输出、样本和知识证据关联、整改及复评记录
数据集项目管理生产需求、来源和权限、任务计划、各阶段成果、质检与验证证据及实际交付条件贯穿全过程组织四领域四用途任务、计划、资源、变更、版本及资产管理;组织候选输入固定、正式版本检查与封装、自描述解析测试、修订计划和运营平台移交登记生产及版本档案、数据内容、数据卡、版本指纹、质检和验证报告、数据字典、自描述封装、资产台账、修订计划、接收核验与登记记录项目管理岗位协调实际责任人员完成审查,质量和验证岗位提供相应证据;正式条件满足后按批准的交付计划移交,在整体项目期限内完成接收、整改及登记,签认主体按实际落实的组织安排材料齐备、版本一致、权限充分、质量与验证通过的版本认定为正式合格版本;解析或接收失败定位格式、字典及配置并修正复测;保留候选、正式和修订版本关系,登记完成后另按授权条件取得公开使用或交易权限项目、任务、批次、版本及内容指纹,来源和许可,规则模型及环境,审批与接收、登记标识及使用状态

质量问题建立整改工单,记录发现环节、受影响对象及版本、缺陷证据、初步原因、责任岗位、处理事项和复检条件。源数据内容或授权存在问题的,由采集及相关来源责任人员核验;处理配置或算子造成错误的,由对应实施岗位排查;本体、知识和标注规则问题由相关专业人员审定;训练或评测条件问题由验证岗位分析。原因尚未确定的,由质量岗位牵头组织联合排查,期间保持问题状态与责任跟踪。

修正范围依据输入、配置、共享依赖和衍生关系确定。经证实只影响局部且关联结果仍然有效的,按明确范围重新执行并复检;共用配置、来源或知识错误影响多个任务的,修正范围覆盖全部受影响对象。增强批次校验失败的,回退以整批为单位执行。新的执行结果保留与原工单、原任务和原版本的关联。

工单缺少对象、证据或必要信息的,补充调查并登记补充责任与待办,问题全程在台账内跟踪。处置完成后由相应质量及专业责任人员复核,核验修正结果和相关回归,证据充分且满足条件后关闭;尚未通过的继续处理,工单关闭以复核结论为准。

分别维护原始对象、数据批次、样本、处理任务、执行实例和数据版本的稳定标识,通过关联记录连接输入、配置、输出和检查结果。采集对象进入处理前即建立来源及接收记录,接收异常的对象同样取得标识并留存。批次拆分、合并、重发、补充和重新执行时记录父子或来源关系,新的执行实例保留其实际输入与结果,原执行记录一并留档。

样本血缘支持一个来源产生多个样本、多个来源组成一个样本,以及同一对象在不同受控用途中的加工关系。记录原始文件或记录定位、来源版本、实际算子与参数、规则及本体知识版本、标注与专业审核、质量检查及整改。合成与增强另外记录种子、所用知识、模型或变换配置、生成属性及衍生关系;三元组类样本保留查询、证据与回答的关联,其他模态按实际内容和事件建立追溯关系。

验证记录关联实验、模型、数据版本、评测协议、输入和输出。发现错样时先定位其来源、相关证据及处理路径,再检查可能影响结果的数据、规则、模型和环境,形成经验证的原因与整改范围;模型错误的成因以验证证据为准。发布前核验版本内对象的血缘完整性与可解析性,交付相应明细、字典和关联说明,使接收方能够据记录复核实际加工与检查过程。

知识库、知识图谱及数据字典在交付和投入使用前组织业务专家终审,逐项核查知识内容、来源证据、关联关系、适用条件和有效版本,记录审核人员、意见及结论。标注和合成任务启动时校验所引用知识的终审状态与适用范围,已通过终审且在适用范围内的条目进入相应作业。

数据集正式版本发布前,核对实际数据内容、分项规模、质量检查、训练后验证、场景验证、问题整改、来源许可及配套资料。引用知识的样本同时检查其所用知识版本与审核记录,确认后续变更或失效是否影响数据;输入已通过审核的,加工结果仍按本版本的质检与验证结论判定。

知识审核、批次检查及正式版本审查分别形成记录,并通过条目、样本、任务和版本标识相互关联。检查发现条件未满足的,暂停受影响的引用、加工或发布,按实际影响修正并复核,保留原结论、变更原因和新的有效状态。

标注和合成在任务创建、执行取用及规则变更时核验相关知识的有效版本、终审状态和适用条件。进入作业输入的条目,限于已通过终审、仍在有效期内且处于适用范围之内者;待审、退回、已失效或超出适用范围的条目留在隔离区等待处理。已通过终审的条目按实际授权和适用范围提供引用,并保存条目与任务、样本及输出版本的关联。正式版本审查再次核对知识引用状态,作为使用前控制之后的复核环节。

本体、来源文件、业务规则、许可或适用条件发生变化,以及质检、训练或场景验证发现知识内容、关系、证据存在问题的,启动相关知识复核。根据问题程度暂停受影响条目的引用,核验原审核依据及新增证据,形成维持、修订、撤销或限制使用的结论。条目状态变更后追踪已生成样本、数据版本及相关模型和验证结果,实施必要的修正与复验。

下游版本未通过时,按实际原因判断是否影响知识结论;因封装或其他无关问题失败的,知识结论按原审核证据保持有效,发现知识错误的进入复审。复核及修订保留原版本、原审核、问题证据和新结论,历史记录一并留档。

排程按实际依赖组织。依赖某项知识的任务在该知识终审有效后执行,不依赖该事项且启动条件已满足的任务可以并行。每个运行任务绑定明确的输入版本,知识变更时检查受影响的执行,审查结论随内容版本对应更新。

知识建设岗位提交拟终审成果、来源证据、版本清单、适用范围和问题处理记录,项目经理按知识涉及的业务和专业组织相应专家审核。单一专业能够完整判断的,由具备相关能力及职责的人员审核;涉及产品、工艺、制造、质量、设备或管理规则交叉的,组织相关专业共同核验,明确各自审查内容与综合结论。人员身份、专业意见和授权依据与实际审核记录一致。

正式版本由项目管理岗位汇集成果和检查证据,质量岗位核查数据及问题整改,验证岗位核查实验和场景结果,安全及数据管理责任人员核查适用的授权、安全和交付条件。项目负责人依据经确认的职责和权限组织发布审批,逐项记录审查意见、未满足条件及处理结果;正式发布以必需的质量、验证、授权和安全条件全部满足为前提。

审批记录对应具体的数据与配置版本,质量结论以检测结果和专业判断为依据。对争议事项补充证据并组织相关专业复核,记录最终结论及适用范围;对已签认成果的重大变更重新评估影响并办理必要审查。正式数据版本、候选实验输入和封装测试对象分别管理,获准的候选数据固定与验证工作按计划进行,正式发布以发布审批结论为准。

表 2-2 质量审核职责、放行条件及问题升级

审核事项时点及提交内容提请与审核职责状态及放行条件问题处置与升级记录要求
采集受理采集完成、投入预处理前,提交来源、许可、分类分级、脱敏、格式及完整性检查和实际数据清单采集及受理岗位提交和核验,安全与授权事项由具备相应职责权限的人员复核,来源疑点联系实际来源责任人核实检查通过且来源、用途、许可及安全条件有效后接收使用;材料未齐或待核验的保持待处理,条件不满足的判为不通过,授权以实际有效的授权材料为准发现非法来源、权限失效或敏感信息风险立即暂停受影响操作并升级;一般缺项和格式问题按清单补齐修正,反复或系统性问题组织源侧与实施人员联合排查,重大问题一经发现即行处理来源对象、任务及批次、授权条件、检查及复核人员、证据、问题、处置和接收结论
预处理结果批次处理完成后,提交输入输出对照、解析与转换配置、质量结果和异常记录预处理岗位完成自检,质量岗位按检查要求复核,专业语义或时间关系疑点由相关业务技术人员协助核验批次满足结构、内容、时间、关联及适用质量要求后进入后续任务;待修正和不通过对象留在本环节处理按算子、配置、源数据和衍生关系分析影响范围,修正后复检;共用配置错误或影响多个任务的,暂停受影响配置并开展联合技术排查,重做范围覆盖全部受影响数据输入输出及版本、算子和参数、检测结果、影响清单、整改任务及新执行实例、复检结论
本体发布拟发布或变更本体前,提交定义、关系、约束、映射、差异和影响分析本体建设岗位提交,相关业务专家及责任人员审核;涉及跨领域对象和关系时组织有关专业共同核验专业审查及必要验证通过后发布有效版本;未确认定义、冲突或不适用映射保持待处理,正式生产使用经确认的规则冲突按业务证据和实际职责组织评审,必要时补充调查;影响已用规则、知识或样本的,暂停相应引用并修正,旧版本在仍然有效且获准继续使用的范围内沿用本体版本、适用范围、专业意见、证据及决定、依赖任务、变更和发布记录
知识成果终审拟交付或用于标注合成前,提交知识条目、图谱、数据字典、出处和适用条件知识建设岗位提交,业务专家按涉及专业终审;交叉事项组织相关专业共同审核,保留实际人员与权限记录已完成终审且内容、来源和适用条件有效的条目用于标注合成;待审、不通过及失效条目隔离,条目状态逐条判定按证据不足、抽取错误、规则冲突或适用条件不明分类修正;人工补录同样经过来源核验和终审;下游发现知识问题的,复审并检查关联样本及版本逐条来源、内容及版本、审核人员和意见、状态变化、引用任务及样本、修正与复审结果
标注成果批次完成后,提交标注样本、规范版本、自检与抽检、一致性及黄金集结果、疑难问题标注岗位自检,质量岗位判定,专业分歧由相应业务专家处理;规范变更按实际审核流程确认满足适用标注质量和专业要求后放行;待裁决、待修正及未通过对象继续处理后再行判定根据规范、人员理解、工具配置和源数据原因确定重标、复训及扩大复核范围;系统性缺陷的复核覆盖全部受影响对象;完成修正和复检后恢复相关任务,升级时机按实际影响判断样本和批次、标签及规范版本、人员、检查统计、争议及裁决、影响范围、整改及复检记录
合成与增强结果合成、增强批次分别完成后,提交种子、知识及模型许可、配置、输出、分布和一致性检查合成增强岗位提交,质量岗位检查,工艺、时序或其他专业事项由相关专家核验合成结果满足事实、规则、业务、质量、安全及用途条件后进入适用候选子集;增强批次通过全部适用校验后放行;基准评测子集的数据来自独立真实来源生成失败按原因修正种子或配置并重新检查;增强校验失败的批次整体回退,回退以整批为单位执行;共用配置存在系统性风险的暂停受影响任务并升级技术排查种子与知识、模型和许可、执行及批次、参数、样本及衍生关系、检查、回退、整改和重新校验结果
正式版本发布完成适用加工、质检、训练后验证和场景验证后,提交实际版本、规模、报告、整改、授权、封装与接收资料项目管理岗位组织材料,质量和验证岗位分别核验相应证据,安全及数据管理责任人员核验适用条件,项目负责人按实际授权组织发布审批全部适用条件满足后批准正式发布;待核验或存在未达条件的保持未发布状态。候选输入按获准实验计划固定版本,其状态标识为候选输入按实际原因修正、补充或重新验证,受影响内容形成新版本并复核;分项数量和指标缺口在交付期限内补齐,补齐以复检达标为准版本与指纹、对象及规模、质量与验证报告、问题关闭、权限及许可、审查意见、批准记录、实际发布与接收状态

检查结果按实际对象记录为通过、待审核或待整改、不通过等明确状态,状态定义与允许的操作一并配置。进入后续任务的对象,限于满足当前作业全部必要条件者;尚未取得授权、尚未完成必要终审、存在未处理安全风险或未达到强制质量要求的对象,保持隔离或待处理状态。

待处理事项登记具体对象、证据、责任人员、处置动作、计划时点及影响范围,相关任务在条件满足并复核通过后恢复。能够独立识别且不受问题影响的其他对象,按其自身条件执行;需要整批回退的增强批次以整批为单位处理。状态变化记录实际依据、操作人、时间和有效版本,状态变更以复核结论为准。

知识条目使用前核对终审状态、有效版本、权限和适用范围;待审、退回及失效条目留在隔离区。正式发布前再次核对全部必需的检查、验证、授权及整改条件,记录审查与批准结果。合格正式成果以实际问题修正与复检通过为准。

建立质量规则和参数清单,记录指标名称、适用对象、计算方法、目标值、判定条件、依据、责任岗位及有效版本。明确的规模、模态及时效占比、准确率、覆盖率、缺陷清零和整改完成指标按既定要求执行;试产用于验证检测方法、数据适配性、实际质量及生产资源,上述指标在试产前后保持一致。

对需要结合业务和数据确定的过程参数,使用经核验的样本、专业规则和试验结果开展论证,检查漏检、误判、业务语义、分布和下游效果,经相应专业及质量审查后形成基线。参数调整由实际问题和证据触发,调整方向与幅度以论证结论为准。

变更申请记录问题、试验依据、建议参数、适用范围、质量和安全影响、受影响任务及回归计划,按实际职责和权限审查后发布新版本。变更后重新核验受影响数据和结果,更新检查记录及规模统计;原始配置、理由、审批及前后结果一并留存。必达指标按原要求执行,未达条件的对象继续整改,合格交付成果以达标对象计。

围绕供需计划、产品工艺设计、制造过程和产品质量,开展业务对象及数据关系核查。逐项登记源系统、表或文件、记录标识、业务时间、版本、主外键及已存在的单据关联,识别订单与计划、图纸与工艺、设备与生产事件、检验与处置之间的实际关系。处理范围和关联规则由源资料、业务规则及专业核验确定,同一对象的判定以标识、业务规则和专业核验为依据。

对已确认的关联建立映射记录,保留关系类型、基数、有效时间、来源证据和核验结果,支持一对多、多对一及多对多关系。缺失标识、冲突版本、时钟偏差或单据关系不完整的,形成问题清单,通过补充原始记录、核对有效业务规则和专业确认处理;候选匹配与已确认关系分开保存,事实标签以经核验的关系为准。

数据清洗、标准化和关系核验按实际依赖协同开展,分别检查内容质量及关联正确性。关联结果用于构造有业务语境的样本,并通过相应训练、评测和场景任务验证效果;原因、故障根因或工艺影响的结论由相应证据及专业验证支持。

表 2-3 四个业务领域的关联主线、版本规则与冲突处理

业务领域关联主线与源记录关联及时间版本规则缺失与冲突处理输出样本检查与追溯证据
供需计划订单、计划、采购与库存关联,来源包括客户商机、合同及订单行、生产和物料需求计划、工单、采购订单行、收发记录、库存快照与变更单以实际业务单据关联、主外键及经确认的映射连接客户、订单、计划、需求、采购和收发对象,保留组织、物料、单位及业务时间;拆分、合并、替代、取消、分批到货和退货分别记录;区分账面、可用、在途及其他库存对象和统计时点缺少直接关系时收集业务凭证和变更记录,形成候选匹配并由相关责任人员核验,不仅以客户、型号、交期或物料日期认定关系。库存差异分别核对范围、时点、状态和业务定义;提前期统计明确起止事件、分批收货和异常处理后计算,保留推导字段与依据获准且经核验的需求、方案、计划和执行记录样本,计划决策指令、库存及提前期问答等适用样本;预测、计划和实际结果分别标记源单据及行标识、实际关联关系、组织及时间、版本与变更、候选和确认状态、计算方法、专业核验与差异处置记录
产品工艺设计图纸、工艺与变更关系,来源包括产品结构、部件及零件、二维三维图纸、工艺卡片、工序和加工方法、工装设备资料、制图及工艺规则、变更单按图号、文件版本、工艺卡及工序标识、适用产品和生效时间建立关系;历史样本匹配当时有效且经核验的版本,当前作业匹配当前适用受控版本;保留图纸、卡片、附图和变更前后对应发现图纸与工艺版本不一致时核查变更、审核、签发及适用记录,组织相应工艺设计责任人员判断;纸质或非受控副本核验来源和有效性后使用。缺字段、无审核或来源不明逐项补证,不以A/B/C概括等级直接决定用途或免除专业检查图形文字要素、工序和加工方法、图纸与工艺卡及附图关联、条件与约束明确的工艺任务样本源图与卡片位置、版本及生效范围、实际映射、材料尺寸公差和工艺约束、专业意见、差异与修订记录
制造过程设备、生产对象、作业事件及工序关联,来源包括设备与测点配置、工件及工单、工序执行和返修、实际热处理过程、焊接记录、能耗及时序数据按真实设备和测点标识、业务事件、工件或批次、工序执行记录连接数据;具有炉次及装载记录的工艺保留实际对应,其他热处理按实际生产事件关联。焊接保留工件、焊道、层道及作业或返修事件中实际具备的标识;时序切窗按工况、事件和任务需要采用事件窗口或滑动窗口,并检查重叠样本隔离时钟差异先核对时间基准、同步与偏移证据,保存校正方法和误差评价;不能可靠对齐的对象暂停关系样本构造并补证,不自动降为合格单模态数据。缺少装载或工件映射时核对流转及生产记录,时间邻近只作待核验线索;未知关系不生成确定归属或根因标签经核验的时序片段与事件、工况及异常、过程图像与业务对象关联样本;模拟及合成样本按其生成属性单独记录并限定用途设备测点、生产事件、源时间及校正、对象关系及基数、工序和返修记录、窗口及衍生关系、专业判断、质量与隔离检查
产品质量检验、缺陷、处置与复检关联,来源包括检验任务、逐件或批次检测、硬度、金相及切片、适用无损检测、缺陷记录、质量影像、返修和纸质报告按检测对象、检验批或工件、检验任务及项目、取样位置、检测时间和方法建立关系,连接适用的缺陷及处置记录;区分逐件检测与批次抽检,保留试样到原对象的实际映射和返修前后状态。影像与检测结论仅在对象、部位、时点及方法关系核实后关联纸质报告扫描和结构化提取后核对关键字段及来源定位,识别不清或冲突时人工复核。内部缺陷依据实际检测、切片或其他有效证据标注,不因外观图像相似在图上虚构内部缺陷框。判定标准或尺度变化时按有效版本和适用时间复核,不能仅标注时间分层后继续使用冲突结论缺陷类别位置及等级、检测项目与结论、检验与过程关联、工件或试样的影像、硬度、切片、淬火层深及质检结果等实际具备且关系核实的样本检测及报告标识、对象或检验批、取样和位置映射、标准及方法版本、实际检测值、影像、处置与复检、专业复核及异常记录

工单、工件、工艺卡片及其他共同来源在不同业务任务中的使用分别记录。源对象保留稳定标识、版本和内容校验信息,实际加工产物另外记录业务领域、用途、样本形式、质量状态和归属。工单用于计划与排产、工序执行等不同任务时,区分其具体业务内容和加工结果,避免把同一副本或仅增加引用关系作为新增样本。

规模核算以符合条件的实际加工产物为依据,按确认的领域与用途归属计入分项明细,预训练按 Token、指令微调及基准评测按条、偏好数据按组分别统计。复用来源可以产生不同的合格加工产物,但每一产物的内容、任务及质量必须可核验;重复引用、复制、改名和重复发布不增加合格规模,各领域分项缺口不能以重复归属填补。

模态和时效占比使用对应统计范围内去重后的合格条目明细计算,分别保存分子、分母、来源时间、模态及纳入条件。计量归属、去重或质量状态变化后重新核算受影响分项与占比,保持数据卡、版本清单和统计结果一致;训练与基准评测的隔离另按来源、内容及衍生关系核验。

原始对象、派生样本和用途归属分别管理,通过可追溯的关系记录关联。存储、备份、传输或受控交付形成的物理副本保留相同内容或对象关联,不作为新增加工成果计量。多个来源形成的样本记录全部实际来源,拆分、合并和修订保留版本及执行关系,避免将多来源产物强行映射到唯一原始对象。

规模统计按实际加工内容、合格状态、计量单位和确认归属生成明细,同一产物的重复登记、引用和副本只作为使用或保存记录。确有不同任务和内容的派生样本,分别核验其质量、授权及用途条件后计入对应分项,不仅依据不同编号认定为新增有效数据。

训练与独立基准评测数据执行来源、重复内容、近似内容、衍生关系和答案泄露检查,记录检测方法、命中、专业复核及处置。共同设备、物料等业务实体本身的关联不直接等同于内容污染;同一材料改写、切窗或换编号也不消除泄漏风险。疑似命中完成核验前暂停受影响样本入集,实际污染修复后重新检查受影响数据和评测结果。

表 2-4 跨数据集共用的记录及其计量归属

记录对象被哪些数据集用到共用方式计量归属这样计量的理由
工件—外观影像—硬度—切片—淬火层深—质检结论复合样本制造过程、产品质量以同一工件标识关联,内容不复制条数计入产品质量数据集;制造过程数据集按引用计,不重复计条同一事实在两集各计一次会把占比指标的分母撑大,使多模态与时效性占比失真
热处理炉次记录与群控工艺曲线制造过程、产品质量炉次号为共用键时序片段样本计入制造过程;用于硬度结论归因的派生样本计入产品质量两者的加工深度与质量判据不同,按加工产物归属,不按原始记录归属
工艺卡片产品工艺设计的预训练、指令微调与基准三个用途子集同一原始对象派生三类样本,共享原始对象标识三类样本分别计入各自用途子集用途子集之间按条计量;原始对象层面须可回指,否则训练集与基准集的隔离核验无从做起
工单与订单行供需计划、制造过程工单号为共用键计划与排产侧样本计入供需计划;工序执行侧样本计入制造过程按业务语义归属,避免同一工单在两集重复计条
管理制度与技术标准文本通用语料,支撑管理制度问答、技术标准问答等场景验证条款级索引共用按条款计入预训练与指令微调子集,同一条款计一次同一条款被多个场景引用不重复计量
知识本体、术语表、知识库条目、检索索引与三元组四类数据集全部作为统一知识底座共享不计入任何数据集的规模它们是加工口径与证据来源,不是交付样本;计入会与其派生样本重复计量

按业务领域、用途、来源状态、任务依赖和实际资源编制批次计划。每个批次登记输入清单、目标成果、适用步骤、规则版本、质量检查、专业审核、资源需求和计划交接时间。各环节只有在输入和前置条件满足时启动;可以独立执行的任务并行组织,存在知识、数据或验证依赖的任务按有效成果顺序执行。

采集和预处理按实际来源及接入条件滚动开展,本体与知识成果按专业审核和有效发布状态供给后续任务。标注、合成及增强按照各用途的适用路径组织,不把十项服务画成所有样本必须串行通过的同一条加工线。各加工环节完成后及时判定产出批次,知识终审覆盖拟使用成果,不能因计划高频而改为抽审代替终审。

训练和验证提前核对数据、模型、软件许可、环境及人员条件,按实测耗时和可用资源安排执行窗口及复验任务。项目管理贯穿启动、计划、执行、质量、变更、风险、版本和交付全过程,持续跟踪待审、失败、返工、资源占用及缺口。根据实际进展调整任务和资源,不推迟必要检查至最后版本节点,也不降低必达条件维持排程。

批次分四类,触发条件、规模口径与所走的环节各不相同。

表 2-5 四类批次的触发条件、规模口径与处置

批次类型触发条件规模口径走哪些环节与检查节点产出不通过时的处置
试产批新业务域开工、新标注任务开张、新算子或新生成配置首次投产取该任务常规批规模的 5%—10%,且不低于 200 个样本;低于 200 个样本的任务整体作为一个试产批走完十个环节与全部适用的七道质量检查节点门限标定值、算子参数基线、单位工时实测、各环节损耗率实测、规范与本体的问题清单不开常规批;按问题清单修订规范、算子参数或本体后重做试产批,同一任务试产两次不过的提交技术评审
常规批试产批通过且批次计划已下达按业务域与任务的周期产能排定,单批规模以一个作业周期内可完成一次完整门控判定为上限全部环节与适用的检查节点规范化样本、标注样本、合成与增强样本及其台账按表 2-1 的异常去向逐环节回退,不整链重做
补缺批质检或验证归因指出覆盖盲区、难度分布缺口,或分期累计达成下限预警按缺口清单的条目数定量,不按产能定量按缺口类型只走相关环节:真实样本缺口走采集与预处理,覆盖盲区走合成,分布缺口走增强缺口关闭记录、补充样本及其溯源缺口两轮未关闭的在验证报告中单列成因,不以放宽判据的方式关闭
返工批门控不通过、修复工单或整改任务单下达按工单指明的批次与样本范围定量只走工单指明的回流终点环节及其后续检查节点复检结论、工单关闭记录同一工单两次复检不过的升级技术评审,可决定该批不入集转下一版本

试产前确定任务目标、必达质量指标、适用规则和受控配置,核验输入、授权、知识终审、人员及环境条件。试产检查数据和流程适配性、实际质量、资源消耗及异常处理能力,对需要业务论证的过程参数形成证据;明确的质量与规模要求保持不变,不能以试产结果重新降低目标。

按任务及样本分层记录有效处理时间、等待与审核时间、计算和存储资源、并行度、失败和返工、合格产出及各环节通过情况,分别形成采集、预处理、知识审核、标注、合成增强、质检、训练和验证的工作量与能力记录。人工、计算、接口、专业审核等不同约束分别测算,不能把全部环节套用同一人数或单一样本耗时。

结合实测条件评估结果可推广范围,检查试产样本是否覆盖主要类别、模态、来源、难度和异常情形。对大批量并发、长文本、多模态大文件或复杂审核等尚未覆盖的情形,补充有代表性的测试后确定排程,避免将少量简单样本的吞吐量直接外推到全量任务。

质量规则还应具备适用标准、业务规则、来源约束和专业审查依据,试产结果与后续实际批次记录共同用于校验过程参数及生产能力。来源、模型、配置、资源或质量分布变化时重新评估并更新计划,保留前后依据、影响分析、审查和复验记录,不仅依赖固定月度会议或首批结果。

按四个业务领域、四种用途子集及交付节点编制生产计划,将各分项合格交付目标分解为来源准备、加工、质量检查、专业审核、训练验证和封装交接任务。结合已有合格成果、在制批次、实际损耗和剩余工作量,测算各环节所需人员、有效工时、计算与存储资源及执行窗口。采集分别统计文件、记录和数据体量,预处理按模态及任务统计处理对象和有效输出,知识构建与终审分别统计实体关系及知识条目,标注、合成和增强按对应样本单位统计。质检工作量包括自动全量检测、适用抽样复核、专业审核、缺陷处置和整改复检;训练验证按实验任务、模型规模、数据规模、计算资源和业务用例测算。各项产能保留自身计量单位,通过实际输入输出关系换算其对最终合格交付量的贡献,并核查前后工序、专业审核及共享资源的排程约束。

人工任务的预计合格产出量 = Σ[各作业人员分配到该任务的有效工时 ÷ 该任务实测单位人工工时 × 对应实测合格率]

自动处理任务的预计合格产出量 = Σ[各互不重复执行时段的稳定运行时长 × 该时段实际资源及并发配置下的实测总吞吐率 × 对应实测合格率]

有效工时扣除已分配给其他任务的时间以及培训、会议、必要准备和停工时间;返工、专业审核与复检分别测算并预留资源。实测吞吐率已包含对应配置的并行处理能力,不再次乘并发数或操作人数。人工和自动处理结果按各自计量单位分别列示;同一路径内相互依赖的工序经实际转换关系折算后,按瓶颈能力和可执行排程确定最终产出。同一对象跨工序流转不重复累加为新增合格成果。

单位人工工时、自动处理吞吐率和合格率按业务领域、数据模态、任务复杂程度、工具及模型版本、实际资源配置分别从试产和正式批次记录中取得,保留投入量、完成量、合格量、返工量、执行时间及环境信息。人员工时以落实的排班和任务分配为依据,计算资源以可用配置、预约时段和实际运行记录为依据。每批完成后对照计划更新耗时、通过率、返工、审核积压与资源占用;人员、来源条件、模型配置、样本难度或质量结果发生明显变化时,重新测算受影响任务并调整后续计划。项目经理组织生产、质量、专业审核和训练验证责任人员核查共享资源冲突、前置任务和交付节点,落实补充资源、任务重排及必要的重新试产,保存测算版本、调整原因和执行结果。各环节的产能计量、实测依据与不足时的实施措施如表 2-6。

表 2-6 各环节的产能计量、实测依据与产能不足时的实施措施

环节产能计量及工作量实测依据资源及排程检查不足时的实施措施
数据采集分来源统计文件、记录、数据体量、数字化页数和合格接收批次;分别登记重发、失败、撤回及新增量按实际来源、接口、格式和通道记录获取耗时、限流、失败重试、数字化与人工校核工时及接收合格率核查合法权限、源系统可用窗口、接口承载、网络与存储、纸质资料整理和校核人员;自动获取与人工环节分别排程协调落实接入条件,优化获准的分批采集与增量策略,补充数字化和校核资源;可用的替代获取方式另行核验权限、内容完整性及真实来源,完成接收检查后投入生产,持续处理原接入问题
数据预处理按文档、图纸、图像、时序等分别统计输入对象、有效输出、机器处理时长、人工复核与失败重做量记录算子、参数、资源及并发配置下的吞吐率,统计结构还原、图文关联、时间对齐、去重和格式转换结果核查算力、内存、存储读写、任务依赖、人工复核能力和共享资源占用;对重做及复检预留执行窗口定位慢算子、共用配置和输入异常,完成测试后优化配置及并发,补充必要处理与复核资源;系统性缺陷覆盖全部受影响对象重新处理,不以连续合格批次自动减少必要检查
知识本体按类目、实体、属性、关系、约束及映射工作量统计编制、专业评审、修改和回归检查按领域与复杂程度记录设计、冲突处理、评审及修正工时,关联实际版本和评审结果核查专业覆盖、材料准备、业务字典与主数据条件,以及评审人员实际可用时间分领域准备资料并安排专业评审,优先解决影响后续作业的定义和映射冲突;补充相应专业资源,经评审和回归检查后发布有效版本
知识库与专家终审分别统计知识条目、关系、三元组、字典及检索成果的构建量、拟发布审核量、退回修改和复审量记录出处定位、知识抽取、关系核验、逐条终审和问题修正的实际耗时及通过结果核查证据资料、来源权限、相关专业专家可用时间和审核积压;知识生成与终审分别列出能力补充出处核查及资料整理人员,按实际数量和复杂程度组织专家审核;来源不可核验或未完成终审的条目保持隔离,补证或重建后重新审核,拟发布条目全部完成终审
数据标注按模态、任务类型、对象复杂程度统计样本、标注工时、自检、质量复核、仲裁和返工量记录人员及规范版本、黄金集表现、跨标注员一致性、一次通过率、重标和复检耗时核查人员能力与排班、工具可用性、已审核知识、规则歧义及专业裁决积压组织规则澄清、试标复训、工具配置优化和资源补充;预标注结果经适用人工核验和质量检查后使用,规范变化覆盖受影响历史样本;抽样检查按经确认的风险分层方案执行,全量检查与必要专业终审保持完整
数据合成按适用训练用途统计生成量、有效合格量、失败与重复量、种子审核及专业核验工作量记录知识与种子、教师模型、许可、生成配置、机器耗时、业务与安全检查、分布及重复检测结果核查模型许可、算力时段、种子和知识终审状态、专业核验能力及训练用途限制根据失败原因修正种子、规则、提示和配置,重新生成并检查;通过合规来源补充覆盖缺口,基准评测子集保持真实独立且不使用任何形式的合成数据
数据增强分别统计投入样本、变换输出、合格批次、校验失败整批回退及重新处理工作量记录算子、参数、种子和衍生关系、运行时长、分布变化、语义与标签检查结果核查资源、专业审核、用途限制和批次校验条件,评估整批回退造成的工作量优化适用变换与资源安排,失败批次整体回退并建立新任务重新处理和检查;保留原批次证据,不通过拆批或只删除个别失败样本将原失败批次转为合格
数据集质检覆盖每个加工环节的产出批次,分别统计自动全量检测、适用抽样复核、专业审核、版本检测、问题处置与复检工作量保存受检版本、对象数量、规则与配置、检测耗时、命中清单、审核人员及复检结果核查检测资源、人工审核和专业裁决能力,预留整改复检及正式质量评测资源;正式首轮全量评测单独排程优化检测执行和任务组织,补充相应资源,优先处理阻断后续作业的质量问题;不通过对象形成修复工单并跟踪至复检合格,检测范围、必达指标和审核要求不因产能不足下调
数据集验证按四领域及模型训练阶段列出继续预训练、指令微调、奖励模型与对齐训练、标准化评测和十一场景验证任务,统计计算资源时长、用例执行与专业核验、归因修复和复评工作量记录数据、模型、实验配置、独立基准、环境、运行时间、实际输出、失败原因及整改复评结果核查真实可用算力、许可、实验依赖、场景环境及业务专家时间;为训练、评测和整改分别排程调整资源与执行窗口,定位数据、模型或实验配置问题,落实修复和必要重训复评直至达标;检查点仅在数据、模型、训练阶段和实验条件相容且满足独立实验目的时复用,需重新训练的任务按实际方案执行,不设置免除整改责任的轮数上限
版本封装与交接统计正式版本文件、字典、数据卡、质检与验证报告、自描述封装、解析测试和交接登记工作量保存封装时长、完整性检查、指纹核对、解析及接收结果、缺项修正记录核查全部前置成果、有效授权、数据及资料版本、存储与传输资源、接收窗口补齐材料、修正格式与版本差异,完成解析测试和接收复核;正式交付规模以质量和验证通过的实际内容计量,在项目期限内完成补足、交接及登记

按业务领域、用途子集、来源类别和实际加工路径建立投入产出记录,分别登记原始投入、有效输出、重复剔除、不合格隔离、返工重做、增强整批回退及最终合格量。采集统计许可、完整性和格式不符合条件的对象,预处理统计结构、时间和关联错误及去重结果,标注统计一致性缺陷和争议处置,合成与增强分别统计业务校验、分布、重复、语义及标签检查结果,质检和验证记录后续发现的问题及影响范围。同一对象多次流转或复检保留执行记录,合格成果按有效版本去重计量;失败对象的处理工时计入实际工作量。发现训练与评测污染时,定位来源、衍生样本、训练输入及实验结果,修正数据分配并完成必要的重新训练和独立评测,复验通过后认定有效成果。根据各路径实测的投入输出转换关系和最终合格产出,测算完成分项交付缺口所需的新增来源、加工任务和资源:

某领域某用途子集的合格交付缺口 = max(0,该分项交付目标 - 当前仍有效、可纳入最终交付的已确认合格量)

某条加工路径的预计新增投入量 = 分配给该路径的合格交付缺口 ÷ 该路径每单位新增投入的预计最终合格产出量

路径产出转换率按相同来源类别、模态、复杂程度、加工配置和计量规则的实际批次测定,记录投入单位、最终产出单位、有效样本及质量损耗。涉及文件转样本、样本转 Token、合成或增强的,分别记录实际转换及去重后的合格结果;不同单位不得直接相加。多条路径分担同一缺口时,先明确各自覆盖对象并排除重复,再汇总可用成果。仅在同一计量单位、同一连续加工路径且投入产出对象关系适用时,使用各环节条件通过率的连乘积估算整条路径的保留率;条件通过率以实际进入该环节的对象为分母,重复剔除只计一次。按条、组或文件等离散对象下达任务时向上取整,预训练 Token 数量按固定计量配置实测;产出转换率为零或尚无可靠依据时先定位障碍并组织试产,不据此承诺虚构产能。在制任务的预计贡献单列跟踪,完成适用检查后再转为已确认合格量。

各批次生产计划同时列出目标合格产出、预计投入、实际可用来源、处理任务、质量检查、专业审核、返工与复检资源以及完成时点。投入测算采用经验证的路径产出转换率,并根据新完成批次的实际结果更新;对来源不足、通过率下降、审核积压、算力冲突或工期偏差,形成明确的补充来源、修正配置、增配资源和任务重排措施,记录责任人员及完成时点。项目经理滚动核对各领域、各用途的目标、有效合格存量、在制任务和剩余缺口,落实补采、重标、适用合成增强及训练验证安排。补足任务完成全部适用质量、安全、授权和验证检查后纳入正式版本,分项数量与比例要求持续跟踪至达标。

发现分领域、分用途合格交付量不足时,逐项核查来源、权限、内容覆盖、加工通过率、返工积压、审核与训练验证资源,按原因建立补足任务。可独立实施的措施同步推进,具有前置依赖的任务按实际条件衔接;每项任务明确拟补对象、预计合格产出、责任人员、资源、完成时点和复检要求。补足过程保持质量、安全、授权、独立基准隔离及分项数量比例要求,完成检查与验证后更新正式版本和缺口台账,直至达到交付条件。

表 2-7 合格交付量缺口核查与补足措施

缺口原因核查事项补足措施必须保持的条件
来源开放范围或授权不到位核查该业务域源系统的只读接口开通状态、授权范围与期限、可提供的对象与时间范围,以及纸质与离线资料的整理进度协调落实接入条件,扩充获准的离线批量导入与增量获取方式;按业务优先级分期开展纸质资料数字化与录入,顺序由相应业务域确认;替代获取方式另行核验权利来源、内容完整性与真实来源替代路径的样本按同一套质量检查与门控判定,不另设宽口径;无有效授权的对象不进入加工与交付
加工通过率下降或返工积压核查失败与返工的实际原因,区分源数据质量、算子与参数配置、规则歧义、人员熟练度与工具可用性定位慢算子与共用配置问题,完成测试后优化配置与并发;组织规则澄清、试标复训与资源补充;系统性缺陷覆盖全部受影响对象重新处理不放宽一致率与质量阈值;规范修订后对受影响的同类历史样本重做并复检
专业审核与知识终审积压核查相关专业人员的实际可用时间、待审数量与复杂程度、出处与证据资料的完备程度分领域准备资料并错峰组织评审,优先处理影响后续作业的定义与映射冲突;补充出处核查与资料整理人员拟发布知识条目全部完成终审,抽审不替代终审;来源不可核验的条目保持隔离,补证或重建后重新审核
覆盖存在结构性盲区核查分领域、分用途、分模态与分难度的覆盖明细,定位缺失的业务对象、工况、缺陷类型与场景用例按缺口清单开立补足任务:真实样本缺口走采集与预处理,场景覆盖盲区走合成,分布缺口走增强;缺口按条目数定量下达补足任务的关闭以复检合格为准,关闭记录随版本留存;缺口两轮未关闭的在验证报告中单列成因,不以放宽判据的方式关闭
合成与增强可用空间受限核查各用途子集已有的合成样本占比、种子与知识终审状态、教师模型许可条件与业务合理性检查结果按失败原因修正种子、规则、提示与生成配置后重新生成并检查;通过合规来源补充覆盖缺口合成占比按用途控制:预训练子集不高于 30%、指令微调子集不高于 45%、偏好子集不高于 50%;基准评测子集不使用任何形式的合成数据,保持真实、独立与可追溯
训练验证资源或整改未完成核查可用算力与许可、实验依赖、场景环境、业务专家时间,以及待整改问题与复评任务的清单调整资源与执行窗口,定位数据、模型或实验配置问题,落实修复与必要的重新训练、复评检查范围、必达指标与审核要求不因产能不足下调;未达条件的对象继续整改,合格交付量以达标对象计
分项数量仍未达标逐项核对各领域、各用途的交付目标、已确认合格存量、在制任务预计贡献与剩余缺口按剩余缺口重新分配来源、加工任务与资源,形成明确的责任人员与完成时点,在项目期限内完成补足、交接与登记各分项缺口不以重复归属、复制、改名或重复发布填补;缺口与处置过程在数据集卡片的局限性字段与缺口台账中如实登记

采集与加工过程中持续识别源记录迟到、重发、撤回、内容修订及跨系统差异。对每项异常建立处理记录,保存来源系统、业务对象、原始标识、事件时间、接收时间、来源版本、内容校验值、发现方式和实际授权状态。根据来源与衍生关系定位受影响的批次、样本、知识、模型实验和已交付版本,明确需要暂停、隔离、修正或复验的范围,分别落实数据处理、业务核验、质量复核和安全授权责任。异常处置结果与原记录及后续执行版本关联,经过适用检查后更新对象状态、统计明细及交付记录。

迟到、重发、撤回和内容修订分别按来源证据、实际版本及影响范围办理。已经封装的内容文件保留原指纹和版本关系,修正成果另建版本并完成相应检查;有效性、授权、可用性和交付控制状态通过关联记录及时更新。发现来源撤回、授权失效或影响业务正确性的内容修订时,立即控制受影响对象的新增使用、发布和交付,核查已经进入知识、训练、评测及外部交付的衍生结果,按实际影响组织停止使用、修正、重新训练、复评或版本替换。原始问题、历史版本及执行证据在获准留存范围内受控保存,修订和状态变更记录保持可追溯;后续作业恢复前重新核验质量、安全、授权及必要验证条件。四类异常的识别方式与处置如表 2-8。

表 2-8 源数据四类时间性异常的识别与处置

情形识别方式对已发布版本的影响处置动作留痕
迟到:调度窗口关闭后才到达的记录源记录的业务时间早于本批次时间窗下界不回填已封装版本该批次尚未过入口检查节点的,整批重做;已通过的,并入下一批次并在样本元数据标注「迟到并入」及其原属时间窗批次台账记录迟到条数、原属时间窗与并入批次号
重发:同一源记录再次推送文件指纹与记录主键双重判重无影响内容一致的丢弃并计入重复命中;内容不一致的按「修订」处置去重记录登记命中数与命中依据
撤回:源侧声明某批记录作废源侧撤回通知或源记录状态位已发布版本在数据集卡片修订记录中登记,不就地删除未入版本的直接剔除;已入版本的生成撤回工单,按血缘定位其全部派生样本(含以其为种子的合成样本),标记为失效,下一版本不再包含撤回工单登记源记录范围、派生样本清单、受影响版本号
内容修订:源记录内容变更但未作废记录主键+内容哈希比对已发布版本保持不变新旧样本并存,样本元数据记录各自的有效期区间;基准测试子集中的样本在本版冻结后不随之更新,在下一版基准集中替换修订记录登记变更字段、变更时点与新旧样本编号

对跨系统取值差异,先核对是否属于同一业务对象、同一业务事件、同一有效时间、同一统计范围及相同计量单位,区分版本差异、业务状态差异和真实数据错误。建立差异记录,保留各来源原值、来源版本、业务凭证、计算规则、时间信息及已建立的对象映射。由数据治理人员组织相关业务专业人员核验,涉及授权、主数据、工艺、生产、质量及设备时间的事项分别提交具备相应职责和权限的人员确认;跨领域问题组织共同审查。确认结论明确采用值、转换或映射方法、适用条件、生效时间和受影响对象,落实后完成关联数据与样本的复检。尚无充分依据的对象保持待核验状态,依赖该争议结论的加工及使用暂停,已确认且不受影响的任务继续执行。

表 2-9 跨系统不一致的六类情形与仲裁规则

不一致类型典型表现仲裁依据仲裁主体未能裁决时的处置
同一对象多来源取值不同工艺卡片在产品全生命周期管理系统、车间打印件与个人汇总表之间不一致受控版本优先,其余作为补充工艺研究分院登记差异台账,样本标注低置信度,不进基准测试子集
主数据编码不一致同一物料或同一设备在不同系统中编码不同主数据管理平台的编码为准数字化转型工作办公室建立编码映射对照表,映射不上的列入编码缺口清单并暂缓该对象的跨系统关联
时间基准不一致设备时序与制造执行记录之间存在时钟偏移以统一时钟源校正,校正量记入批次台账预处理工程岗执行,偏移超限的提请相关业务部门确认偏移量超过切窗粒度的批次不做时序—事件对齐,仅作单模态使用
指标口径不一致同一指标在不同系统中取值不同数据治理侧发布的指标标准该指标的归口部门转待确认,按我方建议口径先行并在数据卡中标注待确认,确认后批量复核
状态口径不一致工单完工状态与入库记录相互矛盾以有物料移动凭证的一方为准生产管理部该工单相关样本标注「状态存疑」,不进基准测试子集
质量判定尺度漂移某时间段不合格率显著偏离前后期而工艺条件未变按判定来源与判定时间分层识别质量归口部门在数据卡中标注,构造训练样本时作分层处理,不作为质量规律学习

表 2-9 数据来源:不一致类型依本卷「数据加工生产(一)」节第 2 章各业务域受理时登记的差异情形;取舍规则依该节对多来源取舍与判定来源登记的口径。

仲裁的时限与不停工原则一并写明:仲裁事项自提交起 10 个工作日内未裁决的,不停工等待,也不先标后改,而是按我方建议口径先行,在数据集卡片与样本元数据中标注为待确认,裁决后批量复核。复核工作量由项目组承担,不另行计费;收益是进度不被单点争议卡死。本原则与本投标文件其余各节一致适用。

从接收到最终发布的完整交接清单

从源数据接收到版本发布一共经过十五个交接点。每一个交接点有交出方、接收方、交接物与检收动作,并有明确的不收理由与退回去向。清单的用处是让每一方知道自己该交什么、该验什么、什么情况下有权拒收——有权拒收是关键,没有拒收权的检收等于没有检收。

表 2-10 从接收到最终发布的十五个交接点

序号交接点交出方接收方交接物接收方的检收动作不收的理由与退回去向
1源侧到采集通道各源系统与离线资料提供部门采集接入通道按调度周期的数据推送或离线文件按调度记录核对到达情况链路不通或调度失败的,按采集接入节的异常处理流程重试与告警
2采集通道到平台落地区采集接入通道数据受理岗落地清点单(文件数、记录数、时间范围)与落地文件按清点单与落地文件逐项核对数量不符的逐项核对,差异原因记入问题清单;对账不通过的批次不生成批次号
3落地区到贴源区数据受理岗数据受理岗(入口检查节点)数据源登记表、授权文件、脱敏复核记录、格式校验结果核来源登记完备性、许可有效期、脱敏抽样、格式合规缺来源或授权的退回采集接入通道补齐;格式不合规的入隔离区出问题清单
4采集到预处理数据受理岗预处理工程岗过入口检查节点的原始数据批次及批次台账核批次号与批次状态未过入口检查节点的批次挂起不交
5预处理到质检复判预处理工程岗质检单元(预处理检查节点)规范化样本、算子登记表、自检结论按通道抽样复核结构还原、图文对照与时序对齐;按算子指纹复算单项算子回退重跑;源数据缺陷退回采集环节
6预处理到本体预处理工程岗本体维护岗结构化长文本、术语候选清单核术语候选的出处是否可回查出处不可回查的不进入术语候选
7本体到标注与合成本体维护岗标注作业单元、合成与增强作业单元已发布的本体版本、术语表、同义词别名表标注与合成工具按本体版本号加载取值域本体版本未发布的不加载,沿用上一已发布版本至批次结束
8知识库到取材侧知识抽取岗合成与增强作业单元、验证实验单元状态为「通过」的知识条目、两类图谱、统一检索索引、检索增强三元组工具侧按条目状态过滤状态为「待审」或「退回重抽」的条目不被引用
9标注到质检标注作业单元质检单元(标注检查节点)标注样本与八字段质量记录、标注批次台账抽检、一致性计算、黄金集通过率核算出低一致性样本清单,按分歧类型分别退回处置
10合成与增强到质检合成与增强作业单元质检单元(合成增强检查节点)合成与增强样本、溯源记录、批次台账、模型许可登记台账规则校验、分布比对、重复率与语义漂移检查单样本丢弃并记规则编号;批次超线的调整配置后重做
11质检到上游各环节质检单元采集、预处理、本体、知识库、标注、合成、增强各责任岗位修复工单(指明回流终点环节与具体批次)上游按工单定位到批次、算子或标注任务工单未指明回流终点的,退回质检单元重开;不接受「整条链重跑」
12质检到验证质检单元验证实验单元通过检查节点的四个用途子集、训练与评测隔离核验结论核隔离核验的交集检查结果交集非空的触发隔离失效告警,不开实验
13验证到项目管理验证实验单元项目管理单元数据集验证报告、能力增量矩阵、错样归因与整改任务单核报告结论与未结整改项有未结整改项的不提请版本冻结
14项目管理到版本检查节点项目管理单元质检单元、验证实验单元、技术评审版本候选、版本级质检报告、验证报告、数据集卡片、数据字典、第三方解析试验结果、资产台账条目三方分别核验各自职责范围并签认;台账与自动计量结果逐版本对账任一方不签的不冻结;对账差异超过 0.5% 的版本不予发布
15项目管理到运营平台项目管理单元数据集运营服务管理平台版本封装包、校验信息、登记字段、数据集卡片、数据字典、资产台账条目平台重算版本指纹并比对一致,按登记字段校验完整性,回传登记标识指纹不一致或登记字段不全的,修正封装后重新提交

表 2-10 数据来源:交接点依本节表 2-1 的环节划分与招标文件 3.2.6.3 各小节的产出要求;对账口径依本卷「四大数据集建设及指标要求」节第 2 部分;移交与登记要求依 3.2.6.3.10(b1575、b1576)。

十五个交接点中有三个是跨组织的,排期时按较长的响应周期估计:第 1、2 两点在源侧与项目组之间,第 15 点在项目组与运营侧之间,第 14 点的技术评审签认涉及招标方代表参与。其余交接点在项目组内部,按作业周期衔接。跨组织交接点的响应时限在项目启动会上确认后写入批次计划,不按内部交接的节奏估排期。

全链统一的四项口径

十个环节分在上下游两段作业,环节之间的交接点、检收动作与拒收理由已在本节「从接收到最终发布的完整交接清单」逐点列明。此外有两条交接不走批次通道,在此写明:其一,标注与合成环节在作业中发现的术语与标签新增、修订候选,按候选编码、建议类目与影响范围(受影响批次与样本数)提交,走知识本体的变更申请与影响评估流程,经评审后发布为新版本,标注侧不自行扩充标签;其二,各集的规模分解、合成占比上限、模态与时效性占比目标与分期累计达成下限,在批次计划编制时作为目标量与配比的依据下达,规模计量规则版本号写入数据集卡片,同一数据集历次版本不中途更换计量规则。

十个环节在四个地方容易对同一事物产生两种说法,以下四项口径在全链统一,各环节按此执行。

第一,样本类型只分三类:真实、合成、增强。三类在样本元数据中有独立标识,占比分别统计并在数据集卡片中分三项披露。真实样本经增强变换后标识为增强样本,不计入真实样本;合成样本经增强后标识为增强样本并保留其种子为合成样本的溯源链。

第二,质量分级只用一套三级:A 级为字段完整、经审核签发、有投产或闭环记录;B 级为缺投产或闭环记录;C 级为字段不完整或未经审核签发。A 级可进基准测试子集,B 级进指令微调与偏好对齐子集,C 级仅进预训练子集。各环节对工艺卡片、选型方案效果、关联关系置信度的分级,都归入这一套的判定依据,不另立分级名称。

第三,「不低于」与「趋向」两种表述的界线。凡招标文件以数值形式明确要求的指标(四集规模数值、模态不少于 3 种、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%),按原文表述为具体数值或「不低于」,并给出达成路径与核算口径。凡本方案自设的内部质量管理目标(各类合格率、标注一致性指标、解析通过率、锚定成功率),一律表述为逐步接近目标值,并附基线确定方式与未达时的处置。两类表述的区别是实质的:前者是对甲方的指标应答,后者是我方的内部管理目标。

第四,平台的两个名称不可混用。数据集加工生产平台承载十个环节的作业与留痕;数据集运营服务管理平台承载移交之后的目录、权限、版本、服务、交易与审计(b0685、b0804r04、b0804r05)。加工环节的作业对象与状态流转在加工生产平台上,向运营服务管理平台提交的是版本封装包与登记信息,两者不是同一个系统。

上游环节:采集 · 预处理 知识本体 · 知识库 产出规范化样本 立起统一业务口径 入口检查节点 · 预处理检查节点 口径检查节点 · 终审检查节点 3.2.6.3.1—3.2.6.3.4 下游环节:标注 · 合成 · 增强 质检 · 验证 · 项目管理 把关系写回数据 判定合格与有用 标注检查节点 · 合成增强检查节点 版本检查节点 3.2.6.3.5—3.2.6.3.10 四大数据集建设 及指标要求(3.2.6.4) 规模口径与计量规则 模态与时效指标 数据集卡片字段 既是前置约束, 也是发布前的回填对象 规范化样本 本体 · 知识库 检索索引与三元组 修复工单 · 整改任务单 术语与标签回流 卡片回填:来源 算子 · 模态 · 时效 目标量 · 配比上限 分期达成下限 前置约束:批次计划按各集目标量与配比编制(规模计量规则版本号写入卡片) 血缘标识体系在采集环节一次生成、全链沿用:批次号 → 样本编号 → 算子指纹 → 条目编号 → 三元组编号 实线:产出流向下游 虚线:约束或回流 | 全链共用同一套门控指标定义与同一套样本类型、质量分级口径

图 2-1 加工链上下游环节段的交接物、回流与指标约束。数据来源:交接物与检收动作依表 2-10;标识体系依表 2-1 的追溯记录列;环节划分依招标文件 3.2.6.3 与 3.2.6.4 的小节划分。

加工链与相邻服务的技术接口

数据加工生产服务与相邻服务之间共有九处数据与成果的交接。每一处接口按输入、输出、关键字段、交接协议、责任方与验收条件六项约定:六项未约定齐的接口不开通数据流;已开通的接口变更其中任一项,须经双方书面确认并同步修订接口登记后生效,变更带版本号与生效时点。九处接口的六项约定如表 2-11,其中四处的作业细节在其后各小节展开。

表 2-11 加工链对外九处接口的六项约定

接口输入(加工链收)输出(加工链发)关键字段交接协议责任方划分验收条件
数据资源建设服务(3.2.2)落地区的原始文件与记录(源系统结构化抽取、离线非结构化文件、外部标准与文献)、按调度周期出具的落地清点单受理回执、批次台账、退回清单与退回原因码来源系统码、数据源登记号、授权凭证号、落地时间戳、文件指纹、记录主键、文件数/记录数/时间范围以平台落地区目录为唯一交接点;清点单出具后受理方在一个工作日内回执;清点单与批次台账逐项对账通道连通性、协议适配、调度与链路异常由采集接入侧负责;数据源登记、许可核验、入口脱敏、格式合规与批次成形由加工链负责清点单与批次台账在文件数、记录数、时间范围三项上一致;不一致项逐项归因并记入问题清单,未归因完毕不生成批次号
专项智能工具链算子镜像与版本号、参数模板、工具给出的自动判定结论与置信度算子调用记录、参数快照、处理前后的样本指纹、门控的人工判定结论算子编码、算子版本号、算子指纹、参数集哈希、批次号、样本编号、本体版本号工具以注册算子方式接入,调用参数与版本随批次自动登记;不提供不留痕的参数修改入口工具的功能实现、接口与性能由工具链侧负责;调用点选择、参数基线标定与门控结论由加工链负责产出携带批次号、样本编号、算子指纹、本体版本号四项标识,缺一项不被下游接收;同参数同输入可复算且结果一致
数据治理规划和实施服务(3.2.6.1)业务术语、参考数据、数据元、指标四套标准的现行版本;数据质量校验规则库;数据分级分类结论;元数据与血缘的管理要求本体与标准的引用对照表、标准新增与修订候选、各批次的规则命中统计、血缘登记记录标准编码与版本号、规则编码与版本号、密级与分类码、元数据项编码、血缘节点与边标识标准与规则由治理侧单向发布,加工链按版本号引用,不在加工侧另立术语或规则;本体先行定义而标准侧尚未收录的概念以标准草案形式回流标准与规则的制定、发布与版本管理由治理侧负责;在各环节上的执行与留痕由加工链负责每一批次的元数据与血缘登记完整,可按血缘上溯至来源记录与算子;分级结论更新后,受影响批次的脱敏在一个批次周期内重跑完毕
行业大模型训练推理技术服务(3.2.6.2)训练与评测的作业计划、各阶段模型版本标识、评测错题清单与归因结论预训练子集及其 Token 规模/模态分布/来源构成/领域子集统计;按业务场景、任务类型、难度等级切片的指令微调子集;格式归一、冲突已处理、难度已分层的偏好子集及偏好理由字段;题型协议、判分规则、版本号与随机种子已固化的基准子集数据集版本号、子集码、切片维度取值、难度等级、随机种子、题型协议版本、偏好理由字段、来源与时间隔离标记按数据集版本号整包交付,交付后冻结;错题归因结论以整改任务单回流,任务单须指明回流终点环节与具体批次训练与评测环境、算力适配、作业执行、指标记录与五份报告的出具由模型侧负责;子集的内容、切片、分层、固化与隔离由加工链负责基准子集与训练用样本的隔离核验通过(按原始对象标识取交集为空);规模与构成的统计口径可在脱离平台的环境中复算
数据集质量测评服务评测方案、评测指标与阈值的现行版本、首轮评测结论与缺陷清单、复测结论送检版本封装包、质检报告、验证报告、数据质量档案、整改说明与复测申请数据集版本号、版本指纹、指标编码与取值、缺陷编号与等级、整改任务单号自评与外评共用同一套指标定义、计算方式与判定阈值,差别在实施主体与采信效力;评测方可直接取用质检报告与验证报告作为复核起点评测的实施、结论与盖章报告由评测方负责;缺陷整改与复测材料的准备由加工链负责以第三方评测结论作为数据集规模与质量达成的最终认定依据;缺陷整改项逐条闭环并经复测确认
数据集场景验证服务(3.2.6.5)各场景的验证方案、验证用例与通过判据、可用性结论与数据缺口清单场景所需的样本子集与基准题目、供数清单、按缺口清单生成的补数批次场景编码、用例编号、供数子集码、题目编号与判分规则、缺口项编码与定位(业务域/环节/批次)按场景与子集的供数关系取数,一个场景可取多个数据集的子集;可用性结论进入数据集验证环节,判定为数据侧缺口的以整改任务单回流验证方案、用例设计与可用性结论由场景验证侧负责;供数、补数与数据侧缺口的修复由加工链负责每个验证用例均有对应的供数记录;判定为数据侧缺口的项全部有回流任务单与关闭结论
数据集运营服务管理平台(3.2.6.6)平台的接收规范、登记字段定义、登记标识回传;接入国家数据基础设施的目录与身份登记要求版本封装包(内容、数据集卡片、版本指纹、质检报告、验证报告、数据字典)、登记信息与元数据、资产台账条目数据集版本号、版本指纹、卡片字段集、数据字典版本、资产台账编号、目录标识、身份登记号按平台接收规范提交,由平台重算版本指纹比对一致;平台回传登记标识后方视为移交完成目录、权限、版本、服务、确权、挂牌、交易与审计由运营侧负责;版本封装、卡片与元数据的齐备与准确由加工链负责平台重算的版本指纹与提交值一致;登记字段无空缺项;移交后运营侧无须回补数据侧信息
项目安全合规建设(3.2.6.12)数据分级分类结论、密码应用要求、权限与审计要求、脱敏口径入口脱敏执行记录、假名映射表及其存取审批记录、全流程作业日志密级码、脱敏规则编码与版本、假名映射表标识、操作人角色码、操作时间戳、审计事件码涉及个人信息、敏感地理信息、重要行业数据与企业秘密数据的去标识化与脱敏在加工链入口完成;假名映射表与脱敏后数据分域存放、分权审批分级结论、密码方案、权限与审计要求的制定由安全侧负责;入口与作业环节的执行与留痕由加工链负责全部批次有脱敏执行记录;审计日志可按批次、样本、操作人三个维度检索;分级结论更新后受影响批次完成回调
硬件配置(感知与检测设备)设备型号、参数、取数接口能力与到位时间;设备产出的带时间戳原始帧与每像素原始温度数据设备数据的受理回执、对象锚定结果、覆盖缺口记录设备编号、采样时间戳、帧序号、工件/炉次/焊道标识、锚定置信度、缺项标记设备数据按时间戳与对象标识双键锚定到工件、炉次或焊道;设备到位前相关样本按缺项标注并在数据集卡片的局限性字段记录设备选型、参数、到位时间与现场安装由硬件与系统集成侧负责;数据受理、对象锚定与批次成形由加工链负责锚定成功样本占比不低于该业务域首批标定的基线并逐期趋向目标值;未锚定样本全部有原因码并进入补采队列;设备到位后按批次补采并并入同一批次体系

表 2-11 数据来源:接口对象依招标文件 3.2.2(b0805—b0807、b0909—b0913)、3.2.6.1、3.2.6.2(b1339、b1344、b1349、b1354)、3.2.6.5、3.2.6.6、3.2.6.12 与服务采购清单第 2、3、7 项(b0804r03、b0804r04、b0804r08);移交与登记口径依 b1575、b1576。

与数据资源建设服务的接口(3.2.2)

招标文件 3.2.2 数据资源建设要求规定数据集所需原始数据来自企业各业务系统,与各系统的集成基于项目实际需求执行(b0805、b0806、b0807);3.2.2.2 多格式多模态的数据录入规定实现离线非结构化数据的解析及录入管理,形成电子化数据资产和相关语料(b0909、b0910),具体包括业务域文档、图片、工程图纸、技术书籍、财务票据、音视频等多格式多模态离线数据的批量导入与实时接入(b0911),建立自动分类、关键信息抽取、结构化转换、质量校验及人工复核机制,形成规范化、标准化的离线电子化数据资产目录(b0912),并按业务主题与知识体系进行数据聚类、去噪清洗、格式统一与版本管理(b0913)。

接口点是平台落地区的目录。落地区之前由数据资源建设服务负责:与 17 个业务与设备系统建立接入通道、确定接口协议与取数方式、设定调度频次、处理链路异常、提供离线文件的批量导入与实时接入入口。落地区之后由加工链负责:数据源登记、许可核验、入口脱敏、格式合规校验、批次成形,以及自动分类、关键信息抽取、结构化转换、质量校验与人工复核的实现(b0912),按业务主题与知识体系的聚类、去噪清洗、格式统一与版本管理(b0913)。责任按这条线落位:链路不通归通道侧,批次不合规归受理岗,样本质量不达标归预处理岗。

验收条件是对账一致。通道侧按调度周期出具落地清点单,列文件数、记录数与时间范围;受理岗在一个工作日内回执并出具批次台账;两份在三项上不一致时按清点单逐项核对,差异原因记入问题清单,对账不通过的批次不生成批次号、不进入预处理。清点单与批次台账均带来源系统码、数据源登记号、授权凭证号、落地时间戳与文件指纹五个字段,任一字段缺失视同对账不通过。通道设计、协议适配与链路异常处理在数据资源建设服务的相应节给出。

与数据集加工生产专项智能工具链的接口

招标文件要求研发 9 大类 25 个数据集加工生产专项智能工具链(b0686、b0804r03)。工具以注册算子的形式接入加工链:加工链向工具输入待处理样本批次与参数模板,工具向加工链输出处理后的样本、算子调用记录、参数快照与自动判定结论。

接口约定有三条。其一,调用参数与版本随批次自动登记,工具端不提供不留痕的参数修改入口——这是质检复算与验证归因的前提。其二,产出必须携带四个标识字段(批次号、样本编号、算子指纹、本体版本号),缺一项即不被下游接收。其三,同一算子版本、同一参数集、同一输入批次的复算结果须与原结果一致,复算不一致的算子版本停用并退回工具侧定位。

责任按此划分:工具的功能实现、接口与性能由工具链建设服务负责;调用点的选择、参数基线的标定与门控结论由加工链各环节负责。工具给出的自动判定结论是门控的输入之一,不直接等于门控结论,门控结论由对应岗位作出。25 个工具的逐一列名、归类与接口定义在专项智能工具链的相应节给出。

与数据治理规划和实施服务的接口(3.2.6.1)

治理在生产逻辑中是横向贯穿的管控层(b1215)。接口在四处,均为治理侧单向发布、加工链按版本号引用:业务术语标准、参考数据标准、数据元标准与指标标准四套标准由治理侧发布,知识本体与知识库按标准编码与版本号引用,不在加工侧另立术语;本体先行定义而标准侧尚未收录的概念,以标准草案形式回流。数据质量校验规则库由治理侧维护,加工链的入口格式校验项是规则库的子集,规则编码与版本同源。

数据分级分类结论由治理与安全侧发布,加工链据以执行入口脱敏;分级结论发布前按最严口径处理,发布后按结论回调,受影响批次的脱敏在一个批次周期内重跑完毕。元数据与血缘的管理要求由治理侧规定,加工链的标识体系按其要求落地,每一批次的元数据与血缘登记完整、可按血缘上溯至来源记录与全部算子,此为本接口的验收条件。治理的达标路径、业务域覆盖与治理文档清单在数据治理规划和实施服务的相应节给出。

与行业大模型训练推理技术服务的接口(3.2.6.2)

招标文件 3.2.6.2 行业大模型训练推理技术服务规定:构建行业大模型并支持私有化部署与国产通用大模型(b1338);基于预训练数据集的 Token 规模、模态分布、来源构成和领域子集统计制定多模态数据的训练配比和采样权重,选取适配矿山装备制造业务的基座模型开展分布式继续预训练,记录训练曲线、检查点与中间评测结果,通过领域知识探针、保留语料困惑度等方式验证预训练数据集的知识注入效果并形成知识注入有效性报告(b1339、b1340、b1341、b1342、b1343);将指令微调数据集按业务场景、任务类型、难度等级切片,设计基础微调、子集消融、混合配比等实验方案,跟踪训练损失、验证集准确率、显存占用、吞吐等指标,通过自动评测与专家抽样人评验证指令遵循、任务完成、格式规范、长上下文理解等方面的能力提升(b1344、b1345、b1346、b1347、b1348);对偏好数据集作格式归一化、冲突样本处理与难度分层,训练行业奖励模型并评估其在保留偏好集上的判别准确率,基于微调模型与奖励模型开展对齐训练,记录偏好准确率、KL 散度、奖励均值、回答长度变化等指标,识别并缓解奖励黑客、回答冗余、行为退化等风险,形成专家偏好对齐度报告与安全合规通过率报告(b1349、b1350、b1351、b1352、b1353);固化基准测试数据集的题型协议、判分规则、版本号与随机种子,建设可复现的评测沙箱,在统一评测平台上对基座模型、继续预训练模型、微调模型、对齐模型等多阶段版本开展评测,量化不同数据集带来的能力增量,对评测错题开展训练数据归因分析,识别脏数据、覆盖盲区、歧义标注和难度分布缺口,形成结构化整改任务单,支撑评测、归因、修复、回评的数据闭环(b1354、b1355、b1356、b1357、b1358、b1359)。

这组要求由数据侧与模型侧共同完成,责任以交付物划分。模型侧负责训练与评测的环境、算力适配、模型接入与评测网关、训练作业的执行与指标记录,以及上述五份报告的出具。

数据侧负责交付四件,均按数据集版本号整包交付、交付后冻结:按训练配比与采样权重的需要提供预训练子集的 Token 规模、模态分布、来源构成与领域子集统计;按业务场景、任务类型、难度等级三个维度交付已切片的指令微调子集,切片维度的取值来自本体与标签体系;交付格式已归一化、冲突样本已处理、难度已分层的偏好子集,以及偏好理由字段;交付已固化题型协议、判分规则、版本号与随机种子的基准子集,并保证基准子集与训练用样本按来源与时间双重隔离。

错题归因的回流是这组接口里最要紧的一条。评测错题的归因结论由模型侧与数据侧共同判定:归因为脏数据、歧义标注的,回流至本节的采集、预处理或标注环节定向修复;归因为覆盖盲区、难度分布缺口的,回流至合成与增强环节定向补充(b1357、b1358、b1359)。两类回流都走统一的整改任务单,任务单指明回流终点环节与具体批次,修复后重新质检与验证。本接口的验收条件有两项:基准子集与训练用样本的隔离核验通过,即按原始对象标识取交集为空;规模、模态与来源构成的统计口径可在脱离平台的环境中复算,复算值与随版本封装的统计值一致。数据集验证环节的实验设计、能力增量结论与归因闭环记录见本卷「数据加工生产(二)」节数据集验证部分,与模型侧共用同一套实验口径与报告结构。

上游:采集接入 17 个业务与设备系统 通道 · 协议 · 调度 离线文件导入入口 (3.2.2) 交接点:平台落地区 对账:落地清点单↔批次台账 横向:数据治理 四套标准 · 质量规则库 分级分类 · 元数据与血缘 (3.2.6.1) 十环节加工链 + 七道质量检查节点 + 三类定向回流 承载:数据集加工生产平台 向模型侧交付四件 预训练子集+规模/模态/来源统计 已切片的指令微调子集 已分层的偏好子集 · 已固化的基准子集 向运营侧交付版本封装包 内容+数据集卡片+版本指纹 +质检报告+验证报告+数据字典 +登记信息与元数据 模型侧:训练推理服务 继续预训练 · 指令微调 奖励模型与对齐训练 评测沙箱与统一评测平台 五份报告:知识注入有效性 偏好对齐度 · 安全合规通过率等 评测侧:质量评测方案 全量评测 · 整改复测 · 盖章报告 运营侧:运营服务管理平台 目录 · 权限 · 版本 · 服务 确权 · 挂牌 · 交易 · 审计 四个子集 错题归因整改任务单(b1357—b1359) 自评结论 版本封装包 实线:交付物流向 虚线:回流或约束 | 工具链在加工链各步提供算子,其接口约定见工具链接口一节 数据加工生产服务(3.2.6.3)

图 2-2 加工链与相邻服务的接口与交接物。数据来源:上游接口依招标文件 3.2.2(b0807、b0911);模型侧接口依 3.2.6.2(b1339、b1344、b1349、b1354);评测接口依 b0688;运营侧接口依 b0685、b1575。

与数据集质量测评服务的接口

招标文件要求完成本项目多模态自建数据集首轮全量评测与缺陷整改复测,通过标准化评测、实战化模型验证、全流程整改闭环,实现数据质量合规核验、模型实战适配效能验证、缺陷整改闭环管控、标准化成果交付与合规验收四项目标,输出正式盖章评测报告并形成完整数据质量档案(b0688、b0804r08)。

接口的协议要点是自评与外评共用一套指标定义。加工链上的七道质量检查节点是加工过程内部的自评,第三方评测是外评,两者在指标名称、计算方式与判定阈值上不另立口径,差别在实施主体与采信效力。因此评测方可直接取用质检报告与验证报告作为复核起点,不必从原始数据重建判定;加工侧在版本冻结前即可按同一指标预判外评的提出项,整改发生在交付前而不是验收时。加工侧交出的是送检版本封装包、质检报告、验证报告、数据质量档案与整改说明,字段含数据集版本号、版本指纹、指标编码与取值、缺陷编号与等级、整改任务单号;验收条件是缺陷整改项逐条闭环并经复测确认,第三方评测结论为数据集规模与质量达成的最终认定依据。评测依据、三维度指标体系、评测方法与实施过程在数据集质量评测方案中给出。

与数据集场景验证服务的接口(3.2.6.5)

招标文件要求通过数据集加工生产平台关键技术研究课题转化的十一个场景验证高质量数据集的价值,有效提升垂域模型和智能体的性能(b0684)。本包承担的是验证,不承担场景建设。接口在两个方向:数据集向场景验证提供所需的样本子集与评测题目,场景验证向数据集回流可用性结论与缺口清单。

四大数据集与十一个场景不是一对一关系——一个场景通常取多个数据集的子集,一个数据集也服务多个场景,按场景与子集的供数关系表取数。交接的字段为场景编码、用例编号、供数子集码、题目编号与判分规则、缺口项编码及其定位(业务域、环节、批次)。责任划分是:验证方案、用例设计与可用性结论由场景验证服务负责,供数、补数与数据侧缺口的修复由加工链负责。验收条件是每个验证用例均有对应的供数记录,判定为数据侧缺口的项全部有回流任务单与关闭结论。各场景所需的数据来源、验证指标、验证流程与通过判据在六个专业场景与五个通用场景的验证方案中给出;四大数据集与各场景的供数关系在数据集建设及指标要求中给出。

与运营服务管理平台、安全合规建设与硬件配置的接口

与数据集运营服务管理平台的接口是移交与登记。加工链提交版本封装包与校验信息,平台重算版本指纹并比对一致;加工链按平台的登记字段提交数据集卡片、数据字典与资产台账条目,平台回传登记标识;加工链并提供接入国家数据基础设施所需的目录标识、身份登记与接口对接信息(b1575、b1576)。验收条件是平台重算的指纹与提交值一致、登记字段无空缺项、回传登记标识后方视为移交完成,移交后运营侧无须回补数据侧信息。平台的功能模块、界面与流程在数据集运营平台的相应节给出。

与项目安全合规建设的接口是规定与执行的关系。数据分级分类结论、密码应用要求、权限与审计要求由安全合规建设规定,加工链在入口脱敏、假名映射表存放与权限、作业留痕三处执行。涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据的去标识化与脱敏在加工链入口完成,假名映射表与脱敏后数据分域存放、分权审批;加工链全程的审计与日志记录在加工生产平台上留存(b0804r06)。验收条件是全部批次有脱敏执行记录,审计日志可按批次、样本、操作人三个维度检索,分级结论更新后受影响批次完成回调。

与硬件配置的接口是承接关系。焊接层间温度与预热温度等新增感知设备、质量检测设备的型号、参数、取数接口能力与到位时间由硬件选型与系统集成确定,加工链负责其产出数据的受理、对象锚定与批次成形,按采样时间戳与对象标识双键锚定到工件、炉次或焊道。设备到位前,相关样本按缺项标注并在数据集卡片的局限性字段记录覆盖缺口;设备到位后按批次补采并并入同一批次体系。锚定成功样本占比以该业务域首批试产批的实测值为基线,逐期趋向目标值;未锚定样本全部给出原因码并进入补采队列。

规模与指标承诺的总口径

招标文件在业务范围(b0683)与数据加工生产服务要求(b1361)两处给出同一组规模与指标要求,数值一致:预训练数据集不低于 600 亿 Token、指令微调数据集不低于 80 万条、强化学习偏好数据不低于 6 万组、基准测试数据集不低于 0.9 万条,数据集涵盖不少于 3 种模态(时序数据、图像、文本、视频等),多模态数据条数占比不低于 40%,近 3 年内时效性数据条数占比不低于 40%。

我方按四个数据集的分集规模表承接,四集合计预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,四项均高于上述下限。合计值相对下限留出的余量不用于宣称超额,其用途是吸收质检与验证环节的剔除量。

去重、脱敏剔除、标注返工、分布均衡性削峰都会减少可发布样本,没有余量,交付前就只剩降低质检门槛这一条路可走。各集的规模分解、来源构成、用途子集内容设计、模态与时效性构成测算、规模计量规则、分期累计达成下限与数据集卡片字段,见本卷「四大数据集建设及指标要求」节,本节不重复给数。

规模承诺的核验分三道,三道均不依赖人工报数:第一道是工具链自动计量,每批次发布前自动输出规模统计,统计脚本与分词器版本随数据集一同封装,可在脱离平台的环境中复算;第二道是数据集资产台账复核,台账与自动计量结果逐版本对账,差异超过 0.5% 的版本不予发布;第三道是第三方评测,以其「规模完整性」指标的结论作为最终认定依据(b0688)。

比例类指标分两类表述。招标文件以数值形式要求的三项,即模态不少于 3 种、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%,按原文承接并给出测算值与计量口径,为对招标方的指标应答。项目组自设的内部质量管理目标,一律表述为逐步接近目标值,并附基线确定方式与未达时的处置,为过程管理目标。两类的采信效力不同,不合并为一类表述。

加工生产服务的四项总口径

加工生产服务的全部承诺可收敛为四条总口径:数据从哪里来、经过哪些环节、产出什么规模、如何证明合格。四条口径在本节确定,各子项的具体做法由它们展开;做法与口径不一致时,以本表为准。

表 2-12 加工生产服务的四项总口径

总口径内容展开位置
数据来源来自十七个业务与设备系统、纸质与离线资料、外部标准与文献三类来源,处理对象按实际数据来源、业务责任及授权关系登记。通道由数据资源采集接入建立,受理之后的来源登记、许可核验、入口脱敏与批次成形在本项服务范围内,分界点是平台落地区;两侧按落地清点单与批次台账逐周期对账,对账不通过的批次不生成批次号本节表 2-1、「从接收到最终发布的完整交接清单」与「与数据资源建设服务的接口」;实施范围见本卷 2.1 实施范围;各业务域来源清单见本卷「数据加工生产(一)」节第 2 章
加工链路十个环节:采集、预处理、知识本体、知识库、标注、合成、增强、质检、验证、数据集项目管理。数据治理横向贯穿为管控层,知识本体与知识库为统一知识底座,七道质量检查节点按批次或按版本判定,三类定向回流按血缘定位到具体环节、批次与算子,构成有向无环的生产逻辑本节图 1-2、表 1-3、表 2-1 与「终审检查节点与版本检查节点的先后关系、审批权限与升级路径」;作业方法见「数据加工生产(一)」「数据加工生产(二)」两节
规模产出四个数据集 × 四个用途子集,合计预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,均为通过检查节点并发布后的净量;模态覆盖文本、图像、时序、视频四类,多模态与近 3 年时效性数据条数占比按不低于 40% 承接。新增投入量按经验证的路径产出转换率测算后下达,并随实际批次结果滚动更新本节的生产计划与产能测算、损耗核算及「规模与指标承诺的总口径」;分解与测算见「四大数据集建设及指标要求」节
合格证明三层:加工链内部七道质量检查节点的自评;数据集验证环节以继续预训练、指令微调、偏好对齐、基准评测四段实验量化能力增量并出具验证报告;第三方全量评测与缺陷整改复测出具盖章报告,其结论为规模与质量达成的最终认定依据。十一个场景以实际业务任务检验数据集可用性,结论回流修复本节表 2-1、「终审检查节点与版本检查节点的先后关系、审批权限与升级路径」与训练推理、质量测评、场景验证三处接口;实验设计见「数据加工生产(二)」节数据集验证部分;评测见服务方案卷「数据集质量评测方案」节

表 2-12 数据来源:各行依本节对应小节;规模与模态要求依招标文件 b0683、b1361,场景验证范围依 b0684,评测要求依 b0688,建设目标与生产逻辑依 b1214、b1215。

口径确认、现场调查与成果交付流程

项目实施持续开展来源和业务条件调查,核验新增数据、工序、设备、产品、缺陷及规则对既有任务的影响。项目组提前整理原始材料、样本、差异、业务凭证和待确认问题,落实数据责任、专业核验、授权确认及质量复核人员,按实际数量、复杂程度、专业覆盖和资源安排工作。基础字典、本体、标签、分类分级、计量及判定规则经有效审核后发布受控版本,新增或变化事项按影响提交补充评审,更新相应任务和成果。

每项确认记录对象、来源证据、责任、计划时点、有效结论、适用条件和后续动作。我方负责资料准备、技术核查、协调组织、结果记录及修改复验,相关业务和授权事项由具备相应职责的人员确认。依赖未确认结论的正式作业保持待启动状态,已确认且不受影响的任务继续推进;超出计划时点及时升级协调、补充资源并调整受影响任务,确保工作成果真实可核验。

合同签订后三日内,提交加盖我方公章的《项目管理计划》和《项目人力资源配备表》,提供拟任用项目经理及核心成员简历,明确各项工作的责任、资源、前置条件、成果、检查及交付节点。管理计划覆盖需求、范围、进度、人力与实物资源、沟通、相关方、风险及配置管理,按业务领域组织现场调查、规则核验、分批生产、专业审核、质量检测、训练验证及成果交付。新增来源和业务变化及时补充调查、审核和任务调整。

各批次在满足自身前置条件后滚动执行,知识终审、质量检查、独立评测和缺陷复测随实际成果及时安排。项目计划预留整改、完整交接、竣工验收、试运行与稳定调试、总体成果评估及最终验收时间,在 2028 年 5 月前完成终验收。出现关键任务或资源偏差时组织纠偏并跟踪完成,阶段计划调整保持最终期限和全部交付条件不变。

表 2-13 现场调查、业务规则核验与成果交付安排

工作阶段实施内容与方法责任与参与实际成果计划与前置条件
启动与实施计划落实管理流程、任务范围、资源、沟通与变更安排,编制需求、进度、风险、质量、配置及成果管理计划,建立工作分解和交付节点;核查拟任人员能力及实际参与安排我方项目经理组织,相关技术、业务、质量、安全及实施责任人员参与,按项目程序提交盖章《项目管理计划》、盖章《项目人力资源配备表》、拟任项目经理与核心成员简历、任务及职责安排合同签订后三日内提交规定材料;人员参与度、资源及责任与实际安排一致,后续变更按有效程序办理
现场调查与试采分业务领域清点源系统、接口、存量电子及纸质离线资料,核查来源和权限、实际对象、质量、时间基准、分类分级及设备条件;在获准范围内试通、试采与复核,实测数量、复杂程度、处理耗时和风险我方调研与采集人员实施,十个实施单位的相关业务、系统及资料责任人员参与,管理协调人员组织协同,授权由有权主体确认数据资源盘点、来源及权限登记、业务对象与接口情况、资料数字化清单、试采与工时质量记录、问题和任务计划按实际来源条件和专业资源分域提交,调查与后续已具备条件的任务衔接;新增来源或条件变化补充调查,未授权数据不试采
业务规则核验与版本发布核验工序、术语、标签、缺陷分类、业务指标、分类分级、脱敏、计量及质量规则,提供原始证据、样本与差异,组织专业审核和适用测试;新增及变更事项分析影响、重新审核并发布有效版本我方准备材料和技术验证,相关业务专家、数据治理及安全人员按职责核查,由具备权限的责任人员确认有效规则、本体标签与字典、标注规范、计量方法、安全配置、评审记录及影响清单对应正式作业启动前完成必要确认;持续处理新增与变更,不以一次确认免除后续审核。未确认条件依赖的任务不启动,明确后完成配置和历史受影响成果复核
批次审核及争议处理按实际知识和数据工作量组织审核,知识终审逐条覆盖拟发布条目;标注争议、工艺分歧和跨领域差异核查来源及业务证据,形成适用结论,更新规范并修复受影响对象我方组织资料、会议、记录与修改,相关业务专家完成专业审核,质量及技术人员核查实际执行知识终审、批次质量、争议裁决、规则变更、修正复检及追溯记录按数量、复杂程度、专业覆盖和人员可用时间安排,不一律按半天计;计划时点未完成时升级协调并调整受影响任务,未获得有效结论不视为通过
质量验证与成果交接各环节完成后执行批次判定,开展真实训练与模型评测、十一场景验证、首轮全量质量评测及缺陷复测;逐项补足规模和证据,通过正式发布检查后封装、解析测试、移交与平台登记我方生产、质量、训练、场景和项目管理人员执行相应任务,业务专家核验,运营平台接收;第三方参与取得招标方同意并签字确认后实施相应评测实际数据、数据卡字典、自描述封装、指纹、质量和验证报告、整改复评、正式盖章评测报告、资产及接收登记记录,相关软件与集成成果资料随实际批次、版本和独立环境条件安排,预留整改及复测资源,必要评测不推迟到最后阶段;移交条件满足后按已落实的接收计划完成,异常及时修正复核
竣工与最终验收完整建设成果及交付材料通过评审后申请竣工验收;系统试运行并调试至稳定,核查实施效果、运行维护质量及全部适用指标,完成总体成果评估后申请最终验收;处理全部验收整改我方组织测试、资料和申请,招标方按项目程序评审、确认及组织验收,相关业务和运行责任人员参与测试及运行记录、整改复验、完整中文技术资料、设计开发和接口资料、培训及许可设备材料、定制开发与集成接口源代码、全过程可编辑资料、竣工及终验收记录;纸质资料 2 套、电子光盘资料 1 套整体计划包含完整竣工、试运行稳定、评估及终验收所需时间,2028 年 5 月前完成终验收;资料内容、格式及实际成果一致,未达标持续整改至具备验收条件

表 2-13 数据来源:确认事项依本节源数据异常与跨系统差异的处置口径及本卷「四大数据集建设及指标要求」节的规模计量规则;移交与登记要求依招标文件 3.2.6.3.10(b1575、b1576);评测与复测要求依 b0688。

按实际批次统计业务审核及争议处理工作量,记录新增问题、重复问题、已确认规则复用、跨领域事项、实际处理时长、待审积压和参与专业。项目经理结合数据规模、任务复杂程度、知识条目数量、规则变化和专家可用时间安排审核资源,发现积压或新问题集中出现时补充材料、优化分派并组织相应专业核验。

已形成的有效结论关联具体对象、业务条件、证据和规则版本,应用于后续任务前核查适用条件是否仍成立;条件变化或结论受质疑时重新核验。规范、本体及标签的修改经审核后发布,并检查受影响样本及执行配置。知识终审和各批次必要检查按实际要求完成,复用已有规则不替代新条目的审核;实际审核及整改记录用于调整后续计划和培训。

口径确认事项未按期到位的,按表 2-14 的处置执行。贯穿各项的原则是本节已写明的一条:不停工等待,也不先标后改,按我方建议口径先行并标注为待确认,确认后批量复核,复核工作量由项目组承担。

表 2-14 实施前置条件与异常处理

前置事项我方准备与核查确认或执行责任正式使用条件未完成时的处置
业务、系统和资料责任及授权按来源和业务对象整理联系人、专业职责、资料提供与使用范围、所需证据和任务安排管理协调人员组织相关单位参与,各业务及系统责任人员提供事实,实际有权主体确认相应授权和专业结论责任、权限、来源及用途能够对应到具体对象和任务,必要参与条件落实项目经理补充材料并协调落实,继续已具备条件且无依赖的调查;未明确权限或专业判断的对象保持待核验,联系人登记不替代授权
17 个业务与设备系统的获准接入梳理实际数据需求、接口条件、对象范围、权限、安全限制、获取方式、窗口及测试用例采集与集成人员实施,来源系统及业务责任人员协同,有权主体确认数据访问,安全监管按单向获取必要授权、接入和安全条件具备,联调通过,来源及获取过程可追溯追查阻碍并落实接入;如有可用离线或数字化材料,分别核验合法来源、许可、完整性及业务覆盖后另建任务,原系统访问权限仍须另行授权。覆盖缺口纳入真实补足计划,局限性记录不替代交付
数据规模、用途及配比的计量规则编制 Token 及条组定义、分词与统计配置、去重纳入、合成比例控制、模态及时间判定,提供实际样本试算和可复算结果生产、技术和质量人员核查,按项目职责与有权确认程序评审,业务含义由相应专业人员确认规则有效、单位明确、各分项目标和计算方法一致,实际输入输出及统计可复核完善规则及证据、组织评审;未确认方法的试算单独标明状态,不计入正式合格量。可独立完成的获准数据准备继续,正式计量采用有效规则;规则改变后复算受影响结果
分类分级、敏感处理和使用权限整理来源内容、用途、流转、敏感识别、脱敏与密码方案、访问名单和审计措施,开展获准的效果核验安全、数据治理及相关业务人员按职责核验,有权主体确认范围和条件,生产人员执行必要结论与配置有效,须处理内容已实际处理并复核,权限与用途一致未明确必要条件的对象受控保存和补证,暂停依赖作业及外部使用;条件变更立即控制受影响对象,修正并复核后恢复,以有效判断为准而非以「最严口径」标签代替
阶段评审、竣工及最终验收安排编制成果清单、技术及质量指标、测试方法、资料和整改计划,落实竣工、试运行稳定、总体评估与终验收排程我方组织测试和资料,招标方按项目程序评审、确认及组织验收,相关运行与业务人员参与实际建设和成果完整、指标达标、资料有效,必要整改完成,满足相应阶段条件持续开展已具备条件的建设和内部检查,及时落实未明事项;内部检查单列状态,不替代对外验收。安排纠偏和资源,2028 年 5 月前完成终验收,节点待确认时同步推进不自行延后
质量评测主体、范围及报告准备实际送检版本、独立环境、三维度指标、检测方案、质检验证资料、缺陷整改与复测计划,核查主体真实能力及相应证明第三方参与经招标方同意并签字确认,相应评测主体实施检测并出具正式盖章报告,我方落实数据准备与整改主体和范围落实,安全授权有效,首轮全量及后续复测实际执行,报告与受检成果一致提前协调主体和环境,完成可独立开展的生产质检及整改;自评材料仅作待核查证据,独立评测与实际检测照常实施,评测启动后执行完整计划和复测
运营平台接收规范与登记条件准备正式成果清单、自描述封装、字典、数据卡、版本校验、许可和元数据,提出字段映射及正常异常测试用例生产与项目管理人员准备,平台建设和接收责任人员落实规范、接口及接收,有权主体确认使用条件实际内容完整一致、必要字段有效、权限与格式适配、解析及接收测试通过开展获准的样例封装和适配测试,补齐映射与缺失信息;以实际接收通过为移交完成的判据。修正后复测、查询确认回执并登记,避免重复提交和错误状态
十一场景的用例、指标及确认逐场景准备完整功能用例、真实输入、预期结果、判分依据、模型规则版本及专业核验材料我方场景验证人员组织,数据、模型、集成人员完成相应准备,相关业务专家及有权责任人员确认专业判据场景环境及输入有效,必要判据明确,实际用例执行和专业核验、问题复验完成开展不依赖争议判据且已获准的准备与技术测试,未确认结论单独管理,场景通过与合格交付以确认后的判据为准;确认后重新执行或复核受影响用例
项目内部管理制度及执行文件编制不少于 7 份实际管理制度,覆盖相应组织协同、保密、资金、档案、环境及成果风险等管理事项,配套流程、责任和记录表单我方项目管理组织编制,相关管理、技术和业务责任人员按实际职责审核,实施人员执行内容完整且适用,版本、责任和执行记录明确,已履行有效审核程序推进材料编制、专业评审和格式完善,未发布版本保持草案状态;生效后组织宣贯执行,变更保留旧版与影响记录,以已发布版本计入交付成果
部署位置、网络分区及运行权限调查实际资源、网络、数据分类、系统依赖、密码与审计需求,形成部署和访问关系、资源配置、联调与安全测试方案我方设计及集成人员准备,平台、安全及实际网络资源责任人员核验,按有权审批和变更程序实施必要方案及权限确认,实际资源可用,隔离与访问控制符合任务条件,部署和联调核验通过可开展方案与获准环境测试,正式部署依赖未落实时维持待定,分区与访问范围待确认后确定;落实条件后按有效方案部署、测试和记录,变更同步检查相关数据、接口与日志

表 2-14 数据来源:事项依本节各项作业与接口所列前提条件;处置原则依本节的仲裁时限与不停工口径。

✎ 对这段提意见

修改意见 ·