## 3.2.1 服务采购清单
表 1-1 服务采购清单
| 服务名称 | 单位与数量 | 实施工作 | 交付及检查要求 |
|---|---|---|---|
| 数据资源建设服务 | 1 套 | 针对 CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其系统、主数据管理平台、热处理群控系统、安全监管平台,按业务需要完成授权协同、资料核查、采集接入、历史和增量获取;完成纸质及离线非结构化资料电子化、解析和录入 | 交付来源台账、合法授权、接口与字段配置、原始及电子化数据、采集记录、数量和增量对账、异常处理及血缘。检查对象、用途、时段、格式、完整性和实际更新能力;安全监管数据按单向获取要求接入,替代采集方式不绕过授权,也不降低最终能力 |
| 数据集加工生产专项智能工具链建设服务 | 1 套 | 建设思维链、长上下文、多轮对话、多模态对齐、智能标注、数据生成增强、质量分布控制、生成控制评测、验证归因九类 25 个专项工具,配置实际加工调用及公共接口 | 提供 25 个可运行实例、不限使用节点及许可数量的授权、输入输出、配置、接口、部署、使用维护资料及测试结果。逐工具验证所需功能,检查任务创建、查询、结果、重试、导出、回调等适用接口与权限、异常、版本和追溯;验收以可运行实例的实测结果为准 |
| 数据集运营服务管理平台建设服务 | 1 套 | 建设目录、元数据、上传、下载、权限、动态更新、检索预览、版本、服务、对外接口、登记注册、确权、挂牌展示、交易合同、交易费用、全流程审计 16 项功能,落实订单、交付、清算和 SLA 详细功能 | 提供可运行平台、不限使用节点及许可数量的授权、配置、接口和操作维护资料,完成正常及异常流程测试。检查登记内容与实际版本、用户权限与用途、订单与交付、计量费用与清算、审计记录的一致性;SLA 按平台功能与指标要求落实,不另计为独立模块;国家数据基础设施接入以实际联调与运行记录为准 |
| 系统集成服务 | 1 套 | 完成通用服务器上数据集加工生产平台的安装和适配、接入连接器上数据集运营服务管理平台的安装和适配、服务器密码机国密算法调试,以及采购硬件的网络连接和适配 | 交付实际部署、软件与设备版本、配置、接口、权限及网络记录,完成平台、密码、设备取数及相关业务联合测试。验证数据完整性、对象与时间关联、异常恢复和日志追踪;验收判据为整体集成联合测试通过,单机运行或端口连通只作为其中一项前置检查 |
| 数据集加工生产实施服务 | 1 套 | 实施数据治理规划及落地、行业大模型训练推理、采集预处理及知识建设、标注合成增强、质检验证和项目管理,完成四类数据集及各用途指标、11 个场景验证、运营推广和相关技术攻关;开展技术标准验证、专家库、标注规范、软建设、组织保障、安全合规及知识产权工作 | 交付实际数据、模型、知识和治理成果,完整场景验证、运营推广及基础设施接入成果,专家与规范、配套措施及不少于 7 份内部管理制度。四领域四用途逐项达量达质,知识终审、独立基准及安全条件满足;论文不少于 5 篇已发表、发明专利不少于 3 项已申请、软件著作权不少于 6 项已获得,资料与实施记录一致 |
| 信息安全风险评估服务 | 1 套 | 对项目建设的信息系统开展等级保护 2.0 测评及商用密码应用安全性评估,落实实际系统范围、环境、材料、检查和问题整改 | 提供评估资料、报告或相应证书、缺陷及整改复核记录,实际系统满足适用安全与密码要求。测评等级以定级备案结论为准,完成判据为测评结论出具且问题整改复核完成 |
| 数据集质量测评服务 | 1 套 | 开展多模态自建数据集首轮全量评测、模型对照实验、缺陷定位和整改复测,核验说明文档、数据质量与模型应用三维度 | 交付正式盖章评测报告、全流程原始记录、分项与综合评分、模型实验、问题修正和复测、完整质量档案。三维度指标覆盖率趋向全部,承诺基线不低于 98%,未覆盖项逐项说明原因并在下一轮集中补测;各维度达到最低合格标准且综合得分不低于 85 分;高风险缺陷按复测抽样复查零发现判定达标,中低风险缺陷整改完成率趋向全部完成、承诺基线 99%,未闭环项附经甲方确认的不整改评估;模型动态验证达到最低性能提升阈值。报告与实际受检版本一致,正式评测独立于过程质检单独组织 |
## 3.2.6 数据集加工生产实施服务要求
围绕供需计划、产品工艺设计、制造过程和产品质量四个业务领域,组织数据采集、预处理、知识本体、知识库、数据标注、合成、增强、数据集质检、验证和项目管理。按实际数据来源、业务责任及授权关系登记处理对象,核对业务系统、设备采集、纸质及离线资料的来源、内容、格式、时间、版本和允许用途,形成可执行的加工任务。
每类数据集分别建设预训练、有监督指令微调、人类偏好对齐和基准评测用途子集,四类合计达到预训练 615 亿 Token、指令微调 89 万条、偏好数据 6.6 万组、基准评测 0.95 万条,并逐领域逐用途满足各分项数量。文本、图像、时序和视频按相应质量和关联规则处理,多模态数据条数占比和近三年数据条数占比均不低于 40%;不同计量单位分别统计,来源时间及占比计算保留可复核记录。
加工任务记录输入批次、规则和知识版本、工具配置、责任人员、实际执行与输出。候选数据完成训练前质检后用于相应训练及验证,最终版本具备合格质量与验证结果、完整数据卡、数据字典、血缘和授权资料,再按实际接收条件移交运营平台。数据登记、访问、对外使用和服务交付分别核验权限及质量条件,登记完成不自动取得公开发布或交易权限。
每项加工任务明确输入对象、执行顺序、处理规则、输出格式、责任人员和接收条件,启动前检查来源授权、相关知识终审、规则有效性、工具及环境可用性。任务实际输入与配置固定记录,执行中保存状态、异常、重试及输出校验,交接依据实际成果和检查证据办理。
数据接收、预处理、知识审核、标注、合成增强、训练前质检和训练后验证分别设置适用检查。未通过的相关对象隔离并暂停后续受影响操作,问题按证据定位至源数据、规则、知识、工具或模型;修正使用新任务或新版本,关联原问题及历史执行结果,重新完成受影响检查和必要回归。共享依赖变更时同时核查相关批次,修正范围覆盖全部受影响样本,而不止于发现问题的那一个样本。
批次台账、质检与验证报告、数据卡、数据字典、资产及血缘资料与实际版本一致。移交时提供复核所需的数据清单、规则配置、工具和模型版本、环境依赖及执行记录;在具备合法授权、必要软件许可和相应资源的受控环境中开展复核。涉及敏感数据和安全配置的资料按权限保存及移交,复核过程同样执行访问控制。
表 1-2 数据集加工生产实施服务任务与成果
| 服务内容 | 实施工作 | 交付成果与检查要求 |
|---|---|---|
| 数据治理规划和实施服务 | 开展业务、数据、系统和管理制度调查,建立问题清单及整改计划;围绕数据战略、治理、架构、资产、标准、质量、安全、生存周期及应用流通建设治理体系;在业务部门完成规则评审后实施数据汇聚、处理、元数据、资产、标准、质量、安全、指标及服务管理,组织制度执行检查和持续改进 | 交付治理现状调查、规划设计、制度规范、实施配置、运行记录和改进报告,治理文件不少于 25 份,交付清单各项内容完整;覆盖人力资源、研发、生产、仓储、财务、设备、采购、营销和质量业务;以通过 DCMM 三级为目标落实能力建设、证据归集及评估改进 |
| 行业大模型训练推理技术服务 | 在私有环境部署国产通用大模型及多模态模型,完成训练数据统计、配比、继续预训练、监督微调、行业奖励模型训练和偏好优化;按模型及资源条件组织全参数或参数高效训练,保存检查点、配置、训练曲线和异常记录;开展独立基准测试、行业知识与安全评估、推理部署及回归验证 | 交付模型及适用许可材料、数据版本清单、训练与推理代码、配置、权重、运行环境说明、实验记录及评估报告;监督微调保留基础、消融及混合实验结果,奖励模型保留独立偏好测试结果;训练、验证和基准评测数据按来源及衍生关系隔离,提供可复现的测试程序与运行证据 |
| 数据加工生产服务 | 对授权数据依次实施采集、预处理、本体构建、知识库构建、标注、合成、增强、质检、验证及项目管理;建立来源、原始对象、处理批次、样本、规则、审核和版本之间的追溯关系;按业务对象处理跨系统关联、缺失冲突、迟到补传及撤回事项 | 交付四领域加工数据、规则配置、知识库与图谱、数据字典、标注规范、加工日志及质量记录;知识条目经业务专家终审后用于标注和合成,基准评测子集不使用任何形式的合成数据,增强校验不通过的批次整体回退;候选数据通过规定的评测和场景验证后形成正式交付版本 |
| 数据集建设及指标要求 | 分别建设供需计划、产品工艺设计、制造过程和产品质量领域的预训练、监督微调、偏好及基准评测数据集;按领域和用途分别统计合格净量,核对模态、来源时间、重复关系、授权状态和数据质量 | 供需计划分别完成 276 亿 Token、40 万条、3.2 万组、0.4 万条;产品工艺设计分别完成 70 亿 Token、10 万条、0.8 万组、0.1 万条;制造过程分别完成 105 亿 Token、15 万条、1 万组、0.2 万条;产品质量分别完成 164 亿 Token、24 万条、1.6 万组、0.25 万条。交付文本、图像、时序、视频等超过 3 种模态的数据,满足多模态数据条数占比不低于 40%、近三年数据条数占比不低于 40% 的要求;逐项提交统计范围、计算依据、明细及抽查记录,各领域各用途分别达标 |
| 数据集场景验证服务 | 开展产品智能选型、板材备料工艺智能设计、库存控制智能化、热处理过程智能监控、焊接过程控制智能监控、刮板输送装备健康智能诊断六个专业场景,以及管理制度、技术标准、标书、决策数据智能问答和合同合规智能审查五个通用场景的验证;逐场景完成业务用例、数据准备、功能联调、结果核验、异常修正和复测 | 交付十一个场景的验证方案、测试数据版本、运行配置、逐用例记录、结果证据、问题整改及验证报告。板材备料验证包括图纸接收解析、工艺卡片及工序附图生成、在线预览和 PDF 导出打印等实际功能;对全部识别通过后生成的工艺卡片及工序附图逐卡逐字段全量核对,差异进台账并逐条关闭,存在未关闭项的卡片不予下发,闭合条件与等效表述认定规则在首轮验证前经甲方工艺部门确认。各场景按各自功能与指标完成整体验证,样例展示只作为过程记录 |
| 数据集运营推广服务 | 建立持续数据汇聚、数据集运营体系、运营架构、盈利模式、运营组织及公共服务机制;完成资源梳理、服务设计、业务流程、收益与成本测算、职责安排和推广实施;对接国家数据基础设施,组织平台生成数据集和行业用户自有数据集的接入核验 | 交付持续汇聚方案、运营体系及架构设计、盈利模式分析、运营组织职责及工作机制、公共服务方案、推广记录与国家数据基础设施实际接入材料;记录登记、授权、发布、使用及反馈过程,保持经营测算依据可核查。本项范围不含运营团队组建及运营硬件基础设施配套,运营组织设计及相关服务仍由本项完成 |
| 技术标准验证 | 结合矿山装备制造数据特点,参与全国数标委标准验证和试点应用;选取实际数据、工具及业务流程建立验证用例,执行测试,分析标准技术指标的适用性及实施问题,提出有数据和记录支撑的改进建议 | 交付参与工作材料、验证方案、指标及用例清单、测试记录、问题分析、试点应用成果和反馈材料;对验证对象、样本版本、方法、条件、结果及建议逐项留档,使标准验证结论与实际试验相对应 |
| 数据标注专家库建设机制建设 | 建立专家库建设原则、专家类别、入库标准、遴选流程、职责及考核机制;面向标准编制、数据生产、质量管控、行业应用、项目管理和安全合规六个领域遴选专家,开展资格核验、评审入库、任务指派、回避管理、绩效评价及动态调整 | 建成不少于 50 人的专家库,按人员去重计数;交付管理机制、人员及专业信息、资格审核记录、入库记录、任务履行及考核记录;专家承担的专业审核事项与其能力、职责及授权相匹配,人员补充和退出保留可追溯记录 |
| 数据标注规范建设 | 针对文本、图像、时序、视频等数据建立标签定义、对象边界、属性规则、关系规则、样本示例、疑难问题处置、复核和验收要求;组织业务专家审定、标注人员培训、试标与一致性检查,处理争议并发布受控版本 | 交付各类数据标注规范、标签字典、正反例及边界案例、培训与试标记录、争议裁决记录、质量检查表和版本变更记录;将标签、样本及工具配置关联到有效规范版本,规范变更后评估受影响数据并完成必要复核和修正 |
| 项目「软建设」配套措施建设 | 梳理 25 个相关政策文件,制定中长期发展规划、专项实施方案、制度体系、政策落地动态调整机制和年度政策符合性评估报告;建立五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励及能力复用五项机制;推进重点行业标准、子标准和技术规范建设 | 交付 1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制及 1 份年度政策符合性评估报告;完成 5 项机制成果、2 项重点行业标准、18 项子标准和 6 项技术规范,并提交编制、评审、修改及应用记录。政策文件、规划、机制和标准分别统计,逐项核验具体成果 |
| 项目组织实施与保障措施 | 建立组织、协同、管理、协调、保密、资金、档案及环境管理机制,明确任务责任和协作流程;制定知识产权、成果管理及合作权益安排,开展风险识别与处置;制定年度计划及考核计划,按考核结果组织纠偏和改进 | 交付不少于 7 份项目内部管理制度,以及组织职责、风险管理计划、年度计划、考核计划、过程检查与考核记录、成果和合作权益管理文件;实施记录与实际人员、任务、进度和问题处置一致,形成可检查的执行证据 |
| 项目安全合规建设 | 逐项核验数据、软件、模型及其他建设内容的来源和商业使用条件;对个人信息、敏感地理信息、重要行业数据、企业秘密数据实施适用的去标识化或脱敏处理;在采集、加工、训练、验证、存储、交付及运营环节实施权限校验、访问名单管理和全流程审计 | 交付来源及授权材料、商业使用条件核验记录、分类分级及脱敏规则、处理与复核记录、权限配置、访问名单和审计记录;用途、对象、范围或授权有效期发生变化时重新核验,数据在完成授权核验后方可投入受限作业、交付或对外发布 |
| 知识产权相关建设 | 围绕关键技术和行业应用开展研究、成果整理与知识产权布局,组织论文研究撰写及发表、发明专利申请和软件著作权登记;核查成果来源、作者及权利归属,保留研发、评审和提交材料 | 累计发表学术论文不少于 5 篇、申请发明专利不少于 3 项、获得软件著作权不少于 6 项;分别提供正式发表证明、专利申请证明及软件著作权登记证书,并交付成果清单及归属资料,完成状态与证明材料一致 |
标注作业使用经专业评审并发布的标注规范。任务创建时记录规范版本、标签字典版本、适用业务及样本范围,标注人员完成培训和试标后领取任务。疑难样本进入专业复核,裁决结果及依据随样本保存。规范调整后识别受影响的任务、样本和训练数据版本,组织复核、修正及重新质检;原有版本及变更记录保留,正式标注成果使用经确认的规则版本。
结合矿山装备制造领域的真实数据和业务流程,参与全国数标委标准验证和试点应用。针对拟验证的标准指标确定对象、样本、方法、环境和结果记录方式,组织试验及业务核验,分析指标适用性、实施难点和测量差异,形成验证记录、试点成果、问题清单及改进建议。标准引用关系作为知识来源管理内容记录,标准验证结论以实际测试和试点结果为依据。
对数据、软件、模型及其他建设内容逐项检查来源、许可和商业使用条件,建立授权范围、用途、期限及限制事项记录。对个人信息、敏感地理信息、重要行业数据和企业秘密数据实施适用的去标识化或脱敏处理,并核验处理效果。采集、加工、训练、验证、存储、交付和运营各环节均执行权限校验、访问名单管理及审计记录;授权变化、用途变更或权限撤销时识别受影响对象并停止相应操作,完成复核后继续。
### 生产逻辑:横向管控层、统一知识底座与纵向生产链路
#### 要求的实质:一条有向无环的生产链,而不是一组加工动作
招标文件对生产逻辑的规定相当具体:以数据治理为横向贯穿管控层,以知识本体与知识库为统一知识底座,以数据采集→数据预处理→数据集标注→数据合成→数据增强→数据集质检→数据集验证为纵向生产链路,并以血缘追溯驱动定向回流,构成有向无环的生产逻辑;四类数据集在该生产逻辑上各自走专属路径,共享底座能力与门控规则;数据集质检为训练前门控,数据集验证为训练后终验;未通过验证的数据集按错样归因结果定向回流至上游相应环节修复并重新质检与验证(`b1215`)。
这段要求值得逐句对照,因为它决定了方案的组织方式。「横向贯穿」意味着治理不是一个前置阶段而是一个常驻管控层,标准、质量规则、安全分级在每个环节上都要生效;「统一知识底座」意味着本体与知识库不是知识管理的副产品,而是标注口径、合成约束与检索证据的唯一来源;「有向无环」意味着回流必须是定向的,即从验证结果归因到具体环节、具体批次、具体算子,而不是整条链重做;「质检为训练前门控、验证为训练后终验」意味着两者的性质不同:质检判定的是数据本身合不合格,验证判定的是数据有没有用,前者不能替代后者。
我方按这段要求组织加工生产,并在三处作了具体化。第一,把纵向链路由七个环节扩成十个环节:在采集与预处理之后、标注之前,补入知识本体与知识库两个环节(招标文件 3.2.6.3.3、3.2.6.3.4 也是独立环节),在验证之后补入数据集项目管理环节(3.2.6.3.10),使「底座先立、链路后行、成果成版」的顺序在方案里显式存在。第二,把「门控」具体化为七道质量检查节点,每一道检查节点有判定对象、判定项、判定主体、通过条件与不通过时的回退路径,未通过的不放行至下一环节。第三,把「定向回流」具体化为三类回流通道,每一类有触发条件与回流终点。
#### 十个环节与七道质量检查节点的总图
图 1-1 十个加工环节、七道质量检查节点与三类定向回流。数据来源:环节划分与生产逻辑依招标文件 3.2.6(`b1215`)及 3.2.6.3.1—3.2.6.3.10 各小节;规模数值依 3.2.6.4 各集规模表(见本卷「四大数据集建设及指标要求」节表 1);回流三的归因分类依 3.2.6.2(`b1357`、`b1358`)。
#### 七道质量检查节点的设置与归属
七道质量检查节点按所控环节归位:入口检查节点设在数据采集(3.2.6.3.1)与数据预处理(3.2.6.3.2)之间的受理口,预处理检查节点设在数据预处理出口,口径检查节点设在知识本体(3.2.6.3.3)的版本发布处,终审检查节点设在知识库(3.2.6.3.4)的交付处,标注检查节点设在数据集标注(3.2.6.3.5)出口,合成增强检查节点设在数据合成(3.2.6.3.6)与数据增强(3.2.6.3.7)出口,版本检查节点设在数据集质检(3.2.6.3.8)与数据集验证(3.2.6.3.9)之后的版本冻结处。各检查节点的判定项、判定方式与回退路径在对应环节逐一写明,未通过的不放行至下一环节;本小节给出全链的设置位置、判定对象与判定问题。
表 1-3 七道质量检查节点的设置位置、判定对象与所控环节
| 名称 | 设置位置 | 判定对象 | 判定的核心问题 | 所控环节(原条款号) | 单元 |
|---|---|---|---|---|---|
| 入口检查节点 | 采集之后、进入预处理之前 | 采集批次 | 来源是否登记、许可是否有效、入口脱敏是否执行、格式是否合规 | 数据采集(3.2.6.3.1) | `b1396`、`b1534` |
| 预处理检查节点 | 预处理之后 | 预处理批次 | 结构还原与图文对照是否可核、时序对齐是否错位、去重是否到位、算子是否留痕 | 数据预处理(3.2.6.3.2) | `b1414`、`b1536` |
| 口径检查节点 | 本体版本发布时 | 本体版本 | 类目与关系是否自洽、实体编码能否映射到主数据与产品全生命周期管理系统、与数据治理的术语标准是否一致 | 知识本体(3.2.6.3.3) | `b1419`、`b1427` |
| 终审检查节点 | 知识库交付时 | 知识条目与图谱 | 条目是否逐条有出处、图谱关系是否经业务专家确认、数据字典是否齐备 | 知识库(3.2.6.3.4) | `b1436`、`b1459`、`b1460` |
| 标注检查节点 | 标注之后 | 标注批次 | 标签是否完整、是否符合标签体系、跨标注员一致性与黄金集通过率是否达线 | 数据集标注(3.2.6.3.5) | `b1538` |
| 合成增强检查节点 | 合成与增强之后 | 合成批次、增强批次 | 业务合理性、与真实样本的分布偏离度、重复率、语义漂移程度 | 数据合成(3.2.6.3.6)、数据增强(3.2.6.3.7) | `b1540` |
| 版本检查节点 | 版本冻结之前 | 数据集版本候选 | 质量维度指标是否达线、训练集与评测集是否已去重隔离、发布物是否齐备 | 数据集质检(3.2.6.3.8)、数据集验证(3.2.6.3.9) | `b1542`、`b1567` |
表 1-3 数据来源:设置位置与判定项依招标文件 3.2.6.3.8 数据集质检各条(`b1533`—`b1545`)及 3.2.6.3.1—3.2.6.3.4 各环节的产出要求;所控环节依招标文件 3.2.6.3 各小节的环节划分。
四道上游检查节点与三道下游检查节点的性质不同,这一点在实施上影响排期。上游四道判定的是「这批素材能不能用」,判定依据以规则校验与抽样复核为主,可以按批次高频运转;下游三道判定的是「这批样本够不够好」与「这个版本能不能发」,其中标注检查节点依赖标注一致性的统计量、版本检查节点依赖验证实验的结论,节奏受人工评审与训练资源的约束。因此批次计划不按「所有环节同步推进」安排,而按「上游连续、下游按期汇集」安排:上游四个环节按业务域分批滚动,下游三道按版本节点集中判定。
七道质量检查节点的设置遵循一条原则:**检查节点设在「错误代价开始放大」的那一步之前,而不是均匀分布在每个环节之后。** 数据加工的特点是,一个错误越往后走,返工的范围越大——一条来源许可没登记的样本,在入口处剔除只损失一条;若它走到标注环节才被发现,已经消耗了预处理、本体映射与标注三道工序的人力;若走到数据集发布后才被发现,则整个版本都要回收。七道质量检查节点的位置正是按这条代价曲线定的。
据此可以解释几处看似不均匀的安排。**采集与预处理之间设检查节点,而预处理内部的三个子步骤之间不设检查节点**——因为结构还原、图文对照与时序对齐三者互为输入,中途拦截反而会让后续子步骤拿到半成品;三者整体完成后一次判定,判不过就整批重跑,重跑成本低于分段拦截的协调成本。**本体与知识库之间设两道检查节点(口径检查节点与终审检查节点)**,看似密集,原因是这两步的产出是后续全链的基准:本体定错,所有标注的标签体系就错;知识条目没有出处,后续所有引用该条目的样本都失去可核查性。基准环节的检查节点值得设密。
**七道质量检查节点之外的其余环节不另设检查节点,不等于不检查。** 环节内的检查由工具链在作业中自动执行(如去重率、空值率、格式合规率),结果写入批次记录;质量检查节点是**需要人工判定或需要跨角色会签**的放行卡点,不是自动检查的代称。把自动检查也计作检查节点,会让检查节点的数量膨胀到十几道,而每一道都要约人、要签字,实施期的协调成本会压垮进度。这一区分在两个子节的门控章节中逐一写明:哪些判定项由系统自动给出结论,哪些必须由指定岗位签认。
#### 四类数据集在同一条链上走专属路径
招标文件要求四类数据集在该生产逻辑上各自走专属路径,共享底座能力与门控规则,避免重复建设(`b1215`)。这句要求的落点是:链路是一条,路径是四条。共享的是本体与知识库这一套底座、七道质量检查节点这一套门控规则、以及工具链与批次血缘体系;专属的是各集的来源构成、标注任务类型、合成策略与验收口径。
表 1-4 四类数据集的专属路径与共享部分
| 数据集 | 主要来源侧重 | 标注任务的侧重 | 合成的侧重 | 共享的底座与规则 |
|---|---|---|---|---|
| 供需计划数据集 | 客户与订单、销量与预测、库存与物流、经营指标 | 需求与计划类要素抽取、选型方案的效果判别 | 计划决策类指令样本、问答口径样本 | 共用本体的物料、供应商、合同类目;共用七道质量检查节点;共用去重与分布控制工具链 |
| 产品工艺设计数据集 | 图纸与工艺卡片、设计资料、制图与工艺编制准则 | 图面要素抽取、工序与加工方法标注、图纸与工艺卡配对 | 工艺推理与思维链样本 | 共用本体的设备与部件、工艺与工序类目;共用图文对照与一致性校验规则 |
| 制造过程数据集 | 制造执行、数据采集与监控、热处理群控、能源与设备管理、加装传感器 | 时序片段与事件配对、工况与异常标注 | 长尾故障场景样本 | 共用本体的故障模式、能耗与工况类目;共用时序对齐与切窗算子 |
| 产品质量数据集 | 质量管理系统检验记录与质量台账、硬度与缺陷检验、质量影像 | 缺陷类型与位置标注、检验结论与过程数据配对 | 稀有缺陷样本、判定依据类样本 | 共用本体的质量特性与检验项类目;共用图像规范化与缺陷值域 |
表 1-4 数据来源:来源与标注侧重依四集的来源构成与标签体系(见本卷「四大数据集建设及指标要求」节各集第 2、3 小节与「数据加工生产(二)」节数据标注部分各业务域);共享部分依 `b1215` 对共享底座与门控规则的要求。
四类数据集走专属路径,带来一个实施上的问题:同一条生产链上并行跑着四种工艺,批次管理不当就会串台。我方的处置是**批次号自带数据集标识与路径标识**,格式为「数据集码-用途子集码-路径码-批次序号」。路径码区分四类专属路径,使任一批次在任何环节都能被识别为「走哪条工艺」,工具链据此自动选用对应的算子组合与门控判据,不依赖作业人员记忆。
这个做法还解决了另一个问题:**跨数据集的样本复用需要可追溯。** 同一份工艺卡片既可能进入产品工艺设计数据集的预训练子集,也可能被改写为指令微调样本,还可能作为基准测试的题干来源。三次使用的加工深度不同、质量判据不同,但必须能回指到同一个原始对象,否则基准测试与训练集的隔离核验就无从做起。
批次号之外另设**原始对象标识**,一个原始对象在不同数据集中的所有派生样本共享该标识;隔离核验时按该标识做交集检查,交集非空即触发隔离失效告警。这一机制与「数据加工生产(二)」的版本检查节点、以及质量评测方案中的污染与泄漏防护是同一套标识体系,不另起一套。
#### 过程中要形成的配套成果
招标文件要求在执行过程中实现国家和行业标准验证、积累实践经验、形成配套措施(含软建设配套措施与项目管理及保障措施)、建设数据标注专家库、制定数据标注规范、保障安全合规建设、输出成果(`b1216`)。这七项中有三项的载体就在加工链内部,另四项的载体在其他章节,本节给出归属以免重复编制。
表 1-5 实施过程中要形成的七项配套成果的载体与归属
| 要求项 | 载体 | 归属章节 |
|---|---|---|
| 国家与行业标准验证 | 本体与知识库的标准引用关系、评测指标的标准依据、参与标准验证与试点应用的工作安排 | 本卷「技术创新与机制创新」节;标准引用表见「数据加工生产(一)」节第 1 章 |
| 实践经验积累 | 各批次的门限标定记录、算子参数基线、单位工时与损耗率实测、问题清单与整改记录 | 本节「批次调度与分批试产」与「产能测算与质检损耗的补足」,记录载体见「数据加工生产(一)」节批次台账 |
| 软建设配套措施 | 约 30 余项配套文件、措施与机制 | 本卷「技术创新与机制创新」节 |
| 项目管理及保障措施 | 不少于 7 份项目内部管理制度 | 服务方案卷「项目管理措施」节 |
| 数据标注专家库 | 不少于 50 人,含建设原则、专家类别、入库标准、遴选流程、工作职责、考核机制 | 本卷「技术创新与机制创新」节 |
| 数据标注规范 | 覆盖不同数据类型的标准化、流程化标注规范 | 「数据加工生产(二)」节数据标注部分给出口径与结构,模板全文见附录佐证卷 |
| 安全合规建设 | 商业用途核查、数据来源合法性承诺、去标识化与脱敏、全流程审计与日志、权限校验 | 本卷「安全方案」节;加工链上的执行点见「数据加工生产(一)」节入口脱敏与「数据加工生产(二)」节许可登记 |
表 1-5 数据来源:要求项依招标文件 `b1216` 与服务采购清单第 5 项备注(`b0804r06`)。
十个环节、七道质量检查节点之外,招标方在这条生产链上的参与同样要排到可执行的粒度。数据加工生产与软件开发有一处本质不同——软件开发的需求确认是阶段性的,确认完就进入编码;数据加工的口径确认贯穿全程,每一批新数据、每一个新工序、每一类新缺陷,都可能需要业务部门给一次判断。参与的时点、频次与单次工作量不预先排定,实施期就会反复停摆。
按环节梳理,招标方的参与分三类。**第一类是一次性的口径确认**:工序字典、标签体系、缺陷分级、术语标准、密级判定规则,这五项在第一阶段集中确认,确认后进入版本管理,后续变更走变更流程而不是重新讨论。**第二类是批次级的签认**:七道质量检查节点中的口径检查节点与终审检查节点需要业务专家会签,按批次发生,单次工作量以半天计。**第三类是持续性的裁决**:标注争议、工艺判断分歧、跨域口径冲突,发生频次随数据量递减——首批数据争议最多,流程跑顺后显著下降。
三类参与的时点、频次与单次工作量估计列入本投标文件的前置条件与配合事项表。我方在此说明一条处置原则:**口径确认逾期时,不停工等待,也不先标后改**,而是按我方建议口径先行并在数据卡中标注为待确认,确认后批量复核。这样做的代价是复核工作量,该工作量由我方承担,不另行计费;收益是进度不被单点确认卡死。这一条在本投标文件各节一致适用。
## 3.2.6.3 数据加工生产服务要求
招标文件对本项服务给出的目标是:建成预训练数据集不低于 600 亿 Token、指令微调数据集不低于 80 万条、强化学习偏好数据不低于 6 万组、基准测试数据集不低于 0.9 万条的行业高质量数据集,涵盖不少于 3 种模态,多模态数据条数占比不低于 40%,近 3 年内时效性数据条数占比不低于 40%(`b1361`)。本部分把这个目标落到可执行的粒度:十个加工环节各自交什么、由谁交、何时交、过哪道检查节点、不合格退到哪里、靠什么键追回去;四个业务领域的记录怎样串成业务链;批次怎样排、产能怎样测、损耗怎样补;源数据迟到、重发、撤回与跨系统取值不一致怎样处置;从接收到最终发布一共有哪些交接点。
### 规模目标与净量口径
本项服务承诺的四个规模数值是**净量**,不是投料量。净量的界定是:通过本环节全部质量检查节点、完成版本封装并可对外发布的样本量;未通过检查节点的批次、被去重判定为重复的副本、仅存在于中间加工态的临时产物均不计入。四个用途子集的计量单位与计量时点依《数据集规模计量规则》,该规则在第一期与招标方书面确认,版本号写入每一版数据集卡片,同一数据集的历次版本不中途更换规则。
净量口径在三处必须一致,口径不一致则同一批数据会得出三个规模数字:本节「产能测算与质检损耗的补足」的损耗与补足核算、「四大数据集建设及指标要求」节的规模计量规则与分期累计达成下限、「数据加工生产(二)」节标注与质检环节的入集判定,以及数据集卡片的规模与内容特征字段。三处共用同一套计量项、同一个计量时点、同一份不计入情形清单,任何一处的调整须同步另两处并重新出具该版本的规模统计。
规模不足时的处置顺序在本节「产能测算与质检损耗的补足」写明,其中第一条是:**不以调低质检门限的方式补足数量。** 门限的任何调整须经技术评审,并在批次台账中记录调整理由、调整幅度与受影响的批次范围;未经评审的门限调整,其产出不得计入净量。
### 十个加工环节的输入、处理、输出与交接总表
十个环节的衔接靠四件东西固定下来:交什么(输出包)、谁交(责任岗位)、何时交(交接时点)、怎么追回去(追溯键)。这四件事不预先约定,实施期就会出现「数据已经给了」与「给的不是我要的」同时成立的局面,而缺陷会在两个环节之间来回推。表 2-1 把十个环节的这四件事连同质量检查节点与异常去向排在一张表里,各环节的作业方法在两个子节详述,本表是贯通口径。
表 2-1 十个加工环节的输入对象、处理动作、输出包、责任岗位、交接时点、质量检查节点、异常去向与追溯键
| 环节 | 输入对象 | 处理动作 | 输出包 | 责任岗位 | 交接时点 | 质量检查节点 | 异常去向 | 追溯键 |
|---|---|---|---|---|---|---|---|---|
| ① 数据采集(3.2.6.3.1) | 平台落地区的原始文件与原始记录、数据源登记表、授权文件、数据分级结论 | 来源登记、许可核验、入口脱敏、格式与字符编码合规校验、批次成形 | 各业务域原始数据批次、采集记录、许可核验台账、脱敏复核记录、格式校验问题清单 | 数据受理岗(按业务域各一名)判定,合规事项由安全管理岗复核 | 批次成形并过入口检查节点后当期交预处理 | 入口检查节点 | 缺来源或授权的退回采集接入通道补齐;格式不合规的入隔离区并出问题清单;批次挂起,不生成批次号 | 数据源登记编号、批次号、文件指纹、记录主键 |
| ② 数据预处理(3.2.6.3.2) | 过入口检查节点的原始数据批次、已发布本体版本的术语表、算子库 | 结构还原、图文对照、时序对齐与切窗、文本化、去重、算子登记 | 结构化长文本、图像样本与图文对照记录、时序片段—事件样本对、文本化样本与源记录对照表、贴源数据与规范化样本、算子登记表 | 预处理工程岗(按通道分工)自检,质检岗复判 | 预处理检查节点通过后交标注与合成 | 预处理检查节点 | 按算子单项回退重跑,原批次保留并标记为废弃版本;源数据缺陷退回采集环节;同一算子连续两批次未通过,暂停该算子版本并排查 | 算子指纹、样本编号(批次号+通道码+顺序号) |
| ③ 知识本体(3.2.6.3.3) | 结构化长文本与术语候选、主数据与产品全生命周期管理系统的编码、治理侧发布的四套标准、企业制图标准与工艺编制准则 | 类目与关系建模、术语收口、编码映射、版本发布与影响评估 | 本体文件、术语表、同义词别名表、标准映射对照表的本体侧条目、编码缺口清单、版本发布说明 | 本体维护岗提交,业务专家评审组判定 | 本体版本发布后,标注与合成按版本号加载取值域 | 口径检查节点 | 本体版本不予发布;受影响的标注与合成口径沿用上一已发布版本至批次结束;修订后重新提请口径检查节点 | 本体版本号(主版本.次版本) |
| ④ 知识库(3.2.6.3.4) | 过预处理检查节点的规范化样本、已发布的本体版本、招标方提供的指标口径与计算逻辑 | 条目抽取、条款切分、图谱构建、检索索引与三元组构建、数据字典编制、分档终审 | 结构化知识条目库、制度条款级索引、技术标准元数据表、两类核心知识图谱、九业务域四类知识库、统一检索索引、检索增强三元组、数据字典、终审意见与条目状态清单 | 知识抽取岗提交,业务专家评审组终审 | 终审检查节点通过、条目状态置为「通过」后供标注、合成与评测取材 | 终审检查节点 | 条目标记为「待审」或「退回重抽」,工具侧按状态过滤,不进入标注与合成;口径未定的转待确认列表 | 条目编号(类目码+顺序号+版本)、三元组编号 |
| ⑤ 数据标注(3.2.6.3.5) | 规范化样本、本体标签体系与取值域、知识库与检索索引、标注规范与黄金集 | 按业务域分任务标注、自检、抽检、跨标注员一致性校验、仲裁 | 带八字段质量记录的标注样本、标注批次台账、低一致性样本清单 | 标注作业单元执行,质检单元抽检,业务专家组仲裁 | 标注检查节点通过后交质检与数据集组装 | 标注检查节点 | 按分歧类型分别处置:规范理解不一致的修订规范并对同类样本重标;证据不足的转「无法判定」并记入覆盖盲区;本体类目缺失的提交本体变更;标注粗心的退回原标注员重标并纳入其质量记录 | 样本编号、标注工号、标注规范版本号、所属批次号 |
| ⑥ 数据合成(3.2.6.3.6) | 真实样本种子、本体与知识图谱约束、工艺准则与规则引擎、覆盖缺口清单 | 按缺口配置生成任务、规则与事实校验、与真实样本的分布比对、去重、丢弃与补生成 | 带九字段溯源记录的合成样本、合成批次台账、模型许可登记台账 | 合成与增强作业单元执行,质检单元判定,时序类合成由业务专家组确认 | 合成增强检查节点通过后入集 | 合成增强检查节点 | 单样本丢弃并记规则编号;批次级超线的调整生成配置后重做;时序类未获专家确认的不入集 | 种子样本标识、合成任务标识、合成方法标识、生成配置版本、合成批次号 |
| ⑦ 数据增强(3.2.6.3.7) | 已入集的真实样本与合成样本、分布分析结论 | 按变换算子扩增、语义一致性双通道校验、标签一致性校验、副本数上限控制 | 带变换算子与参数记录的增强样本、增强批次台账 | 合成与增强作业单元执行,质检单元判定 | 合成增强检查节点通过后入集 | 合成增强检查节点 | 单样本丢弃;批次不通过比例超线的整体回退不入版本;同一配置两次回退提交技术评审 | 变换算子与参数记录、增强批次号、种子样本标识 |
| ⑧ 数据集质检(3.2.6.3.8) | 各环节产出批次及其台账 | 按检查节点逐项检查、分层抽样复核、去重与训练评测隔离核验、出具门控结论与修复工单 | 七道质量检查节点的门控结论、低一致性样本清单、命中样本清单、修复工单、批次质检报告与版本级质检报告 | 质检单元;二次不通过升级技术评审 | 每道检查节点的判定当期出结论;版本冻结前出版本级质检报告 | 本环节是七道质量检查节点的执行环节,产出门控结论,不另设检查节点 | 生成修复工单,按血缘定位至源批次、算子或标注任务,跟踪至复检通过;二次不通过的可决定不入集转下一版本 | 工单编号、批次号、算子指纹、样本编号 |
| ⑨ 数据集验证(3.2.6.3.9) | 四个用途子集、固化的评测协议与基座模型、场景验证用例 | 继续预训练、指令微调、偏好对齐、基准评测四段实验,能力增量量化,错样归因,整改任务单,复评 | 四段实验结果、能力增量矩阵、场景可用性结论、错样归因与整改闭环记录、数据集验证报告 | 验证实验单元执行,技术评审与业务专家组判定 | 版本冻结前出具验证报告,作为版本检查节点的判定输入 | 为版本检查节点提供判定输入,本环节不另设检查节点 | 调整训练配置后重跑,重跑上限三轮;仍不达标的转语料与标注整改,生成整改任务单定向回流至采集、预处理、标注、合成或增强环节并复评 | 实验编号、模型版本标识、数据集版本号、三元组编号 |
| ⑩ 数据集项目管理(3.2.6.3.10) | 各环节产出、质检报告与验证报告、许可核验台账与模型许可登记台账 | 任务档案维护、版本冻结、封装、第三方解析试验、资产台账编制、修订计划、移交登记 | 数据集版本封装包(内容+数据集卡片+版本指纹+质检报告+验证报告+数据字典+自描述封装)、资产台账、修订计划、移交登记回执 | 项目管理单元提请,质检单元、验证实验单元与技术评审三方签认 | 版本检查节点通过后 5 个工作日内向数据集运营服务管理平台移交并登记 | 版本检查节点 | 版本不冻结;按修复工单与整改任务单处置后重新提请;第三方解析试验未通过的修正封装后重试 | 数据集版本号、版本指纹、登记标识 |
表 2-1 数据来源:环节划分与各环节产出要求依招标文件 3.2.6.3.1—3.2.6.3.10 各小节(`b1362`—`b1576`);岗位与作业单元设置依本卷「数据加工生产(一)」节第 1 章与「数据加工生产(二)」节作业单元设置与岗位职责部分;追溯键依「数据加工生产(一)」节第 1 章批次与血缘标识体系。
表中「异常去向」一列的设计原则是**退到能改的地方,不是退到上一环节**。源数据本身有缺陷,退给预处理环节无用,必须退到采集环节甚至源侧;算子参数不当导致的结构还原错误,只需单项重跑该算子,不必整批退回。这一区分使返工范围与缺陷成因匹配,避免一处小问题触发整批重做,也使修复工单有确定的收件人——工单未指明回流终点环节与具体批次的,接收方退回质检单元重开。
表中「追溯键」一列是血缘链的实际形态。十个环节不另起编号:批次号在采集环节一次生成并贯穿全链,样本编号在预处理环节派生自批次号,合成与增强样本的溯源记录指回种子样本标识,验证环节的错题经三元组编号与样本编号回溯到批次与算子。任一条发布态样本都能回答三个问题:它从哪条原始记录来、经过了哪些算子与哪一版本体、在哪几道检查节点上被判定过。
### 终审检查节点与版本检查节点的先后关系、审批权限与升级路径
七道质量检查节点不是七个同质的检查点,它们的判定对象、判定主体与签认方式各不相同。实施期最容易出问题的是两处:终审检查节点与版本检查节点。终审检查节点判定知识条目能不能被引用,位于链路上游;版本检查节点判定数据集版本能不能发布,位于链路末端。两者之间隔着标注、合成、增强、质检、验证五个环节,容易被当成互不相干的两件事,实际上它们之间存在**单向的前置依赖**。
**终审检查节点必先于版本检查节点,且不可并行。** 版本检查节点的判定项之一是「本版本引用的知识条目均已过终审」:凡引用了状态为「待审」或「退回重抽」条目的样本,不计入该版本,由质检单元在版本级质检时按条目状态逐条过滤。反向不成立——版本检查节点不通过不会使已过终审的条目失效,终审结论的有效性只由本体版本变更与条目修订触发复审,不由下游的版本判定触发。这一不对称是有意的:知识条目是全链的事实基准,若让版本发布的结果反过来推翻条目终审,基准就会随下游波动而漂移。
两者的审批权限也不同。**终审检查节点是单域会签**:按业务域组织终审,由业务专家评审组该域席位签认,知识抽取岗提交,不需要跨域会签——知识条目的正确性只在本域范围内可判,跨域会签既无助于判准,又会把单次会签的组织成本抬高一倍。**版本检查节点是跨角色会签**:由项目管理单元提请,质检单元、验证实验单元与技术评审三方分别签认,任一方不签即不冻结。理由是版本是对外交付的单位,一旦封装移交并进入运营流通,回收代价是整版而不是单批。
表 2-2 七道质量检查节点的提请方、判定方、签认方式与升级路径
| 名称 | 设置位置 | 提请方 | 判定方 | 签认方式 | 判定结论取值 | 升级路径 |
|---|---|---|---|---|---|---|
| 入口检查节点 | 采集之后、进入预处理之前 | 数据受理岗 | 数据受理岗判定,合规事项由安全管理岗复核 | 单岗判定+合规事项复核会签 | 通过/有条件通过/不通过 | 同一数据源连续两批次未通过,提请数字化转型工作办公室协调源侧 |
| 预处理检查节点 | 预处理之后 | 预处理工程岗 | 预处理工程岗自检,质检单元复判 | 自检+独立复判,以复判为准 | 通过/有条件通过/不通过 | 同一算子连续两批次未通过,暂停该算子版本并提交技术评审 |
| 口径检查节点 | 本体版本发布时 | 本体维护岗 | 业务专家评审组 | 按类目分域评审,涉及跨域类目的由相关域联席评审 | 通过/有条件通过/不通过 | 跨域类目口径冲突的提交业务专家评审组联席裁决;招标方口径未定的转待确认流程 |
| 终审检查节点 | 知识库交付时 | 知识抽取岗 | 业务专家评审组该业务域席位 | 单域会签,逐条目留痕 | 通过/待审/退回重抽 | 同一条目两次退回的转人工补录并记入覆盖盲区 |
| 标注检查节点 | 标注之后 | 标注作业单元 | 质检单元判定,分歧样本由业务专家组仲裁 | 自检+抽检判定+争议仲裁 | 通过/有条件通过/不通过 | 同一标注员两次导致批次退回的转全量复核,直至重新通过黄金集考核 |
| 合成增强检查节点 | 合成与增强之后 | 合成与增强作业单元 | 质检单元判定,时序类合成由业务专家组确认 | 自动校验+判定+专项确认 | 通过/有条件通过/不通过 | 同一生成或变换配置两次回退的提交技术评审 |
| 版本检查节点 | 版本冻结之前 | 项目管理单元 | 质检单元、验证实验单元、技术评审 | 三方分别签认,任一方不签不冻结 | 通过/不通过 | 两次不通过的转下一版本计划,缺口在验证报告中单列成因 |
表 2-2 数据来源:设置位置与判定项依招标文件 3.2.6.3.8 数据集质检各条(`b1533`—`b1545`)与 3.2.6.3.1—3.2.6.3.4 各环节的产出要求;岗位与评审组织依本卷「数据加工生产(一)」节第 1 章、「数据加工生产(二)」节作业单元设置与岗位职责部分。
判定结论统一取三值,不取「通过/不通过」两值。设「有条件通过」一档的用处是让批次能在未结事项明确的前提下继续向下游流动:未结事项逐条登记,指定责任岗位与关闭时限,**全部未结事项必须在版本检查节点之前结清**;版本检查节点检查的第一项就是未结事项清单是否已清零,未清零的不进入三方签认。终审检查节点不设「有条件通过」——知识条目要么可被引用,要么不可被引用,没有中间态;对应地,终审检查节点的第二档取值是「待审」,工具侧按状态过滤,效果是不可引用而非有条件引用。
门限取值的来源与调整权限一并在此写明,以免实施期出现门限被作业侧自行放宽的情况。首批次之前没有本企业的实测分布,门限取首批试产批的标定结果作为基线;此后按批次逐步上调,上调幅度在月度例会上确认后写入下一批次计划。**下调门限只有一条路径**:由质检单元提出、技术评审批准,在批次台账中记录下调理由、幅度与受影响的批次范围,并在该版本的数据集卡片局限性字段中登记。未经技术评审批准的门限调整,其产出不计入净量。
### 四个业务领域的典型业务链
四类数据集对应四个业务领域,每个领域有一条贯穿其业务的记录链。加工的第一步不是清洗,而是把这条链在数据上接起来——链接不上,样本就只是孤立的记录,训练不出业务因果。四条链各自的节点、源记录与关联键如表 2-3;表中「断链的常见原因与处置」一列写的是各领域在现场盘点中确实会遇到的情形与我方的处置办法,不是通用的风险罗列。
表 2-3 四个业务领域的典型业务链、关联键与断链处置
| 业务领域 | 典型业务链 | 链上各节点的源记录 | 上下游的关联键 | 断链的常见原因与处置 | 产出的样本形态 |
|---|---|---|---|---|---|
| 供需计划 | 订单—计划—采购—库存 | 客户与商机记录、销售订单行、主生产计划与工单、采购申请与采购订单行、入库出库单与库存快照 | 客户编号→商机编号→订单号→订单行号;订单行号→工单号(按产品型号与交期匹配);工单号→物料需求行→采购订单行;采购订单行→入库单行→库存批次号;跨段以物料编码+需求日期兜底匹配 | 商机与成交未回溯对齐——按客户编号与产品型号在时间窗内配对,配对结果标注置信度三档,低档不进基准子集;库存口径多套并存——以库存快照时点为准建立口径对照表,差异登记后由生产管理部裁定;外购有效提前期无历史统计——由采购订单行与入库单行的时间差回算,回算值标注为派生字段 | 需求—方案—交付的长链样本、计划决策类指令样本、库存与提前期问答样本 |
| 产品工艺设计 | 图纸—工艺—版本 | 产品结构与部件层级、工程图纸、工艺卡片、工艺编制准则与制图标准、变更单 | 图号+版本号→工艺卡片号;工艺卡片号→工序号→加工方法码;图号→部件层级节点→产品型号;版本以产品全生命周期管理系统受控版本为准 | 同一图号多版本并存、工艺卡片未随图纸升版——以受控版本为准,车间打印件与个人汇总表作为补充,三者不一致的登记差异台账并由工艺研究分院判定,判定记录随样本留存;历史卡片质量参差——按字段完整度、是否经审核签发、有无投产或闭环记录分 A、B、C 三级,级别决定可进哪个用途子集 | 图面要素抽取样本、工序与加工方法标注样本、图纸与工艺卡配对样本、工艺推理与思维链样本 |
| 制造过程 | 设备—工件—工序 | 设备台账与测点配置、工件流转记录、工序完工与返工记录、热处理炉次记录与群控工艺曲线、焊接参数流、能源与设备运行时序 | 设备编号+时间窗→时序片段;工件编号→工序号→设备编号;炉次号→装炉清单→工件编号;工件编号+焊道编号→焊接参数段;时序与事件以起弧收弧、装炉出炉、工况变化点等事件锚定切分,不按固定窗口切分 | 各源系统时钟不同源导致跨系统时间偏移——采集时登记各源的时钟基准并做偏移校正,校正量记入批次台账,偏移量超过切窗粒度的批次不做时序—事件对齐,仅作单模态使用;装炉清单不全——按炉次时间窗推断工件归属并标注为中置信度,不进基准子集 | 时序片段—事件样本对、工况与异常标注样本、长尾故障场景合成样本 |
| 产品质量 | 检验—缺陷—处置 | 检验任务与检验记录、硬度与金相检验结果、无损检测报告、缺陷登记与返修处置单、质量影像、纸质检测报告 | 工件编号→检验单号→检验项→判定结论;检验单号→缺陷登记号→处置单号;工件编号+焊道编号→影像文件;纸质报告经扫描与结构化录入后以工件编号并入 | 纸质检测报告数量可观但未数字化——按双录比对录入,比对不一致的进人工裁定,录入批次单独计量;表面影像与内部缺陷无法直接对应——内部缺陷标签只来自无损检测报告,以「关联检测结论」字段记录,不作为图像上的标注框;判定尺度漂移——按判定来源与判定时间分层,在数据卡中标注并在构造训练样本时作分层处理 | 缺陷类型与位置标注样本、检验结论与过程数据配对样本、工件—外观影像—硬度—切片—淬火层深—质检结论复合样本 |
表 2-3 数据来源:业务链节点与源记录依四大数据集的来源构成(见本卷「四大数据集建设及指标要求」节各集第 2 小节)与「数据加工生产(一)」节第 2 章各业务域的受理方式;关联键与断链处置依「数据加工生产(二)」节数据标注部分各业务域的标注与关联口径。
四条链之间有交叉。工单既在供需计划的链上(计划与排产)又在制造过程的链上(工序执行),工件既在制造过程的链上又在产品质量的链上,工艺卡片既是产品工艺设计的主体对象又是制造过程的工艺依据。交叉带来一个必须先定死的问题:**同一条记录被两个数据集用到时,算谁的量。** 不定这个口径,四集规模加总会超过实际样本数,多模态占比与时效性占比的分母也会被撑大,两项占比指标随之失真。
本方案的处置是两条:**原始对象层面共享,用途子集层面分计。** 同一原始对象在不同数据集中的所有派生样本共享同一个原始对象标识,不复制内容;计量时按加工产物的归属计入其所在的用途子集,一条派生样本只计一次。隔离核验按原始对象标识做交集检查,交集非空即触发隔离失效告警。
表 2-4 跨数据集共用的记录及其计量归属
| 记录对象 | 被哪些数据集用到 | 共用方式 | 计量归属 | 这样计量的理由 |
|---|---|---|---|---|
| 工件—外观影像—硬度—切片—淬火层深—质检结论复合样本 | 制造过程、产品质量 | 以同一工件标识关联,内容不复制 | 条数计入产品质量数据集;制造过程数据集按引用计,不重复计条 | 同一事实在两集各计一次会把占比指标的分母撑大,使多模态与时效性占比失真 |
| 热处理炉次记录与群控工艺曲线 | 制造过程、产品质量 | 炉次号为共用键 | 时序片段样本计入制造过程;用于硬度结论归因的派生样本计入产品质量 | 两者的加工深度与质量判据不同,按加工产物归属,不按原始记录归属 |
| 工艺卡片 | 产品工艺设计的预训练、指令微调与基准三个用途子集 | 同一原始对象派生三类样本,共享原始对象标识 | 三类样本分别计入各自用途子集 | 用途子集之间按条计量;原始对象层面须可回指,否则训练集与基准集的隔离核验无从做起 |
| 工单与订单行 | 供需计划、制造过程 | 工单号为共用键 | 计划与排产侧样本计入供需计划;工序执行侧样本计入制造过程 | 按业务语义归属,避免同一工单在两集重复计条 |
| 管理制度与技术标准文本 | 通用语料,支撑管理制度问答、技术标准问答等场景验证 | 条款级索引共用 | 按条款计入预训练与指令微调子集,同一条款计一次 | 同一条款被多个场景引用不重复计量 |
| 知识本体、术语表、知识库条目、检索索引与三元组 | 四类数据集全部 | 作为统一知识底座共享 | 不计入任何数据集的规模 | 它们是加工口径与证据来源,不是交付样本;计入会与其派生样本重复计量 |
表 2-4 数据来源:共用关系依表 2-3 各业务链的交叉节点;计量归属依本卷「四大数据集建设及指标要求」节的规模计量规则;隔离核验口径依「数据加工生产(二)」节版本检查节点的训练与评测去重隔离要求(`b1554`)。
### 批次调度与分批试产
批次是调度的基本单位,也是门控、台账与血缘的基本单位。十个环节不按「所有环节同步推进」排产,而按「上游连续、下游按期汇集」排产:采集、预处理、本体、知识库四个上游环节按业务域分批滚动,标注、合成、增强三个加工环节按任务并行,质检随批次判定,验证与项目管理按版本节点集中执行。这样排的依据在节奏差异——上游四道检查节点以规则校验与抽样复核为主,可按批次高频运转;下游的标注检查节点依赖一致性统计量、版本检查节点依赖验证实验结论,节奏受人工评审与训练资源约束,高频运转既无必要也排不开。
批次分四类,触发条件、规模口径与所走的环节各不相同。
表 2-5 四类批次的触发条件、规模口径与处置
| 批次类型 | 触发条件 | 规模口径 | 走哪些环节与检查节点 | 产出 | 不通过时的处置 |
|---|---|---|---|---|---|
| 试产批 | 新业务域开工、新标注任务开张、新算子或新生成配置首次投产 | 取该任务常规批规模的 5%—10%,且不低于 200 个样本;低于 200 个样本的任务整体作为一个试产批 | 走完十个环节与全部适用的七道质量检查节点 | 门限标定值、算子参数基线、单位工时实测、各环节损耗率实测、规范与本体的问题清单 | 不开常规批;按问题清单修订规范、算子参数或本体后重做试产批,同一任务试产两次不过的提交技术评审 |
| 常规批 | 试产批通过且批次计划已下达 | 按业务域与任务的周期产能排定,单批规模以一个作业周期内可完成一次完整门控判定为上限 | 全部环节与适用的检查节点 | 规范化样本、标注样本、合成与增强样本及其台账 | 按表 2-1 的异常去向逐环节回退,不整链重做 |
| 补缺批 | 质检或验证归因指出覆盖盲区、难度分布缺口,或分期累计达成下限预警 | 按缺口清单的条目数定量,不按产能定量 | 按缺口类型只走相关环节:真实样本缺口走采集与预处理,覆盖盲区走合成,分布缺口走增强 | 缺口关闭记录、补充样本及其溯源 | 缺口两轮未关闭的在验证报告中单列成因,不以放宽判据的方式关闭 |
| 返工批 | 门控不通过、修复工单或整改任务单下达 | 按工单指明的批次与样本范围定量 | 只走工单指明的回流终点环节及其后续检查节点 | 复检结论、工单关闭记录 | 同一工单两次复检不过的升级技术评审,可决定该批不入集转下一版本 |
表 2-5 数据来源:批次类型与门控节奏依本节表 2-1、表 2-2;补缺批的缺口来源依招标文件 3.2.6.2 对评测错题归因的要求(`b1357`、`b1358`);分期累计达成下限依本卷「四大数据集建设及指标要求」节第 2 部分。
分批试产的作用是把两件事同时标定出来:**门限定在哪里、产能有多少。** 这两件事在没有本企业实测数据之前都只能是估计,而估计错了的代价不对称——门限估高会把大量可用数据挡在门外并引发大规模返工,产能估高会使批次计划从第一期起就失真。试产批走完全链全部检查节点,正好同时产出这两类实测值,因此试产不是走形式的预演,而是本方案批次计划与质量基线的唯一标定来源。试产结论写入批次计划与质检规则库,并在月度例会上复核一次。
### 产能测算与质检损耗的补足
产能按环节分别测算,不按总量倒推。各环节的产能计量单位不同——采集与预处理按文件数或记录数,标注按样本数,合成与增强按生成条数,质检按抽检样本数,验证按实验轮次——因此不存在一个统一的「日产能」。周期产能的测算式是:
**某环节的周期产能 = 该环节单位工时 ⁻¹ × 可用工时 × 在岗作业人数 × 该环节通过率**
式中单位工时与通过率取该任务试产批的实测值作为基线,在岗作业人数与可用工时取批次计划的排班值。四项中只有通过率随批次质量波动,因此月度例会按实测值滚动修正通过率并重排下一周期的批次计划。各环节的产能基线、取值方式与不足时的处置如表 2-6。
表 2-6 各环节的产能计量、基线取得方式与产能不足时的处置
| 环节 | 产能计量单位 | 基线取得方式 | 影响产能的主要因素 | 产能不足时的处置 |
|---|---|---|---|---|
| 数据采集 | 文件数、记录数/周期 | 试产批实测,按业务域与通道分别标定 | 源系统接口开通范围、纸质资料的数字化速度 | 扩充离线批量导入通道;纸质资料按业务优先级分期数字化,顺序由业务域确认 |
| 数据预处理 | 样本数/周期 | 试产批实测,按通道分别标定 | 算子执行时长、失败重跑比例、人工复核抽样比例 | 提高算子并发度;连续三批次抽检合格的通道下调抽样比例,释放复核工时 |
| 知识本体与知识库 | 类目数、条目数/周期 | 试产批实测,按业务域标定 | 业务专家可投入的评审工时、条目出处的可回查程度 | 按业务域错峰组织评审;出处不可回查的条目转人工补录队列,不占评审档期 |
| 数据标注 | 样本数/周期 | 试产批实测,按标注任务分别标定 | 标注员熟练度、一致性返工比例、抽检比例、仲裁等待时长 | 提高预标注与一致性校验工具链的使用比例;对新上岗标注员前两批保持 20% 抽检,连续三批达线后降至 10% |
| 数据合成与增强 | 生成条数、变换条数/周期 | 试产批实测,按生成与变换配置标定 | 规则校验丢弃率、分布比对回退比例、专家确认等待时长 | 调整生成配置降低丢弃率;时序类合成按专家档期预约确认,不堆在版本节点前 |
| 数据集质检 | 抽检样本数、门控判定次数/周期 | 试产批实测 | 抽样比例、不通过批次引发的复检轮次 | 抽样比例按批次质量动态调整,工时投向质量风险高的批次 |
| 数据集验证 | 实验轮次/版本 | 首版实测 | 算力档期、重跑轮次(上限三轮) | 实验按版本节点排期,消融实验与主实验共用检查点,不重复训练 |
表 2-6 数据来源:计量单位与影响因素依本卷「数据加工生产(一)」「数据加工生产(二)」两节各环节的作业组织;抽检比例的动态调整口径依「数据加工生产(二)」节数据标注部分;验证重跑上限依该节数据集验证部分。
产能测算之外还要算一笔损耗账。四个规模数值是净量,而每个环节都有剔除:采集环节剔除许可不全、格式不合规与重复文件,预处理环节剔除结构还原失败、时序错位与去重命中,标注环节剔除一致性不达线返工后仍无法判定的样本,合成与增强环节丢弃规则校验不过与分布偏离超线的样本,质检环节按门控剔除,验证环节删除训练侧的污染命中样本。因此**投料量按各环节通过率的连乘倒推**:
**某用途子集的投料量 = 目标净量 ÷(各环节通过率的连乘积)**
各环节通过率同样取试产批实测值作为基线,按批次滚动修正。批次计划按倒推出的投料量下达,而不是按目标净量下达——按净量下达的结果是每一期都差一截,到末期只剩降低门槛一条路。
净量不足时的处置按下列顺序,**不以降低质检门槛的方式补量**。
表 2-7 净量不足时的处置顺序
| 顺序 | 先核查什么 | 处置动作 | 约束 |
|---|---|---|---|
| 一 | 源系统开放范围是否到位 | 该业务域的只读接口尚未开通的,转人工补录与纸质资料数字化两条替代路径,并在数据集卡片的局限性字段如实记录覆盖缺口 | 替代路径的样本按同一套质检门控判定,不另设宽口径 |
| 二 | 标注产能是否不足 | 一致率低于阈值导致大批返工的,优先扩充预标注与一致性校验工具链的使用比例,并按分歧类型修订标注规范 | 不放宽一致率阈值;规范修订后对同类样本重标 |
| 三 | 覆盖是否存在结构性缺口 | 按缺口清单开补缺批,真实样本缺口走采集与预处理,场景覆盖盲区走合成,分布缺口走增强 | 补缺批按缺口条目数定量,关闭记录随版本留存 |
| 四 | 是否仍有缺口 | 动用合成与增强补量 | 受合成占比上限约束:预训练子集不高于 30%、指令微调子集不高于 45%、偏好子集不高于 50%、基准测试子集为零 |
| 五 | 四期走完仍有缺口 | 按实际达成量交付,并在验证报告中单列缺口清单与成因 | 不以合成样本填平数字;缺口在数据集卡片局限性字段登记 |
表 2-7 数据来源:处置顺序与合成占比上限依本卷「四大数据集建设及指标要求」节第 2 部分的分期达成与未达量处置口径;基准子集不使用合成数据依招标文件 3.2.6.3.6(`b1512`、`b1513`)。
### 源数据迟到、重发、撤回与跨系统不一致的处置
前六个小节讲的是正常流转。实际运行中有两类情况会打断正常流转:源数据本身在采集之后发生变动,以及同一事实在不同源系统里取值不同。这两类情况不预先约定处置办法,结果是已发布版本与源系统逐渐对不上,而对不上的原因无从追查。
第一类是源数据的时间性异常,分迟到、重发、撤回与内容修订四种。四种的识别方式与处置如表 2-8。贯穿四种的一条原则是:**已封装的版本不就地修改。** 任何变动都体现为下一版本的差异与本版本数据集卡片修订记录中的登记,这样版本指纹才有意义——可就地修改的版本,指纹校验形同虚设。
表 2-8 源数据四类时间性异常的识别与处置
| 情形 | 识别方式 | 对已发布版本的影响 | 处置动作 | 留痕 |
|---|---|---|---|---|
| 迟到:调度窗口关闭后才到达的记录 | 源记录的业务时间早于本批次时间窗下界 | 不回填已封装版本 | 该批次尚未过入口检查节点的,整批重做;已通过的,并入下一批次并在样本元数据标注「迟到并入」及其原属时间窗 | 批次台账记录迟到条数、原属时间窗与并入批次号 |
| 重发:同一源记录再次推送 | 文件指纹与记录主键双重判重 | 无影响 | 内容一致的丢弃并计入重复命中;内容不一致的按「修订」处置 | 去重记录登记命中数与命中依据 |
| 撤回:源侧声明某批记录作废 | 源侧撤回通知或源记录状态位 | 已发布版本在数据集卡片修订记录中登记,不就地删除 | 未入版本的直接剔除;已入版本的生成撤回工单,按血缘定位其全部派生样本(含以其为种子的合成样本),标记为失效,下一版本不再包含 | 撤回工单登记源记录范围、派生样本清单、受影响版本号 |
| 内容修订:源记录内容变更但未作废 | 记录主键+内容哈希比对 | 已发布版本保持不变 | 新旧样本并存,样本元数据记录各自的有效期区间;基准测试子集中的样本在本版冻结后不随之更新,在下一版基准集中替换 | 修订记录登记变更字段、变更时点与新旧样本编号 |
表 2-8 数据来源:判重与血缘定位依本卷「数据加工生产(一)」节第 1 章的标识体系;基准子集冻结要求依招标文件 3.2.6.3.9(`b1554`);版本修订记录字段依 3.2.6.3.10(`b1567`)。
第二类是跨系统的口径不一致。十七个业务与设备系统各自独立建设,同一事实在不同系统里取值不同是常态而非例外。处置的关键不在于判定谁对,而在于**事先约定由谁裁、依什么裁、裁不下来怎么办**——没有这三条,单条数据的争议会反复占用业务专家的时间,而样本迟迟不能入集。
表 2-9 跨系统不一致的六类情形与仲裁规则
| 不一致类型 | 典型表现 | 仲裁依据 | 仲裁主体 | 未能裁决时的处置 |
|---|---|---|---|---|
| 同一对象多来源取值不同 | 工艺卡片在产品全生命周期管理系统、车间打印件与个人汇总表之间不一致 | 受控版本优先,其余作为补充 | 工艺研究分院 | 登记差异台账,样本标注低置信度,不进基准测试子集 |
| 主数据编码不一致 | 同一物料或同一设备在不同系统中编码不同 | 主数据管理平台的编码为准 | 数字化转型工作办公室 | 建立编码映射对照表,映射不上的列入编码缺口清单并暂缓该对象的跨系统关联 |
| 时间基准不一致 | 设备时序与制造执行记录之间存在时钟偏移 | 以统一时钟源校正,校正量记入批次台账 | 预处理工程岗执行,偏移超限的提请相关业务部门确认 | 偏移量超过切窗粒度的批次不做时序—事件对齐,仅作单模态使用 |
| 指标口径不一致 | 同一指标在不同系统中取值不同 | 数据治理侧发布的指标标准 | 该指标的归口部门 | 转待确认,按我方建议口径先行并在数据卡中标注待确认,确认后批量复核 |
| 状态口径不一致 | 工单完工状态与入库记录相互矛盾 | 以有物料移动凭证的一方为准 | 生产管理部 | 该工单相关样本标注「状态存疑」,不进基准测试子集 |
| 质量判定尺度漂移 | 某时间段不合格率显著偏离前后期而工艺条件未变 | 按判定来源与判定时间分层识别 | 质量归口部门 | 在数据卡中标注,构造训练样本时作分层处理,不作为质量规律学习 |
表 2-9 数据来源:不一致类型依本卷「数据加工生产(一)」节第 2 章各业务域受理时登记的差异情形;取舍规则依该节对多来源取舍与判定来源登记的口径。
仲裁的时限与不停工原则一并写明:仲裁事项自提交起 10 个工作日内未裁决的,**不停工等待,也不先标后改**,而是按我方建议口径先行,在数据集卡片与样本元数据中标注为待确认,裁决后批量复核。复核工作量由项目组承担,不另行计费;收益是进度不被单点争议卡死。本原则与本投标文件其余各节一致适用。
### 从接收到最终发布的完整交接清单
前七个小节分别讲了环节、门控、业务链、调度、产能与异常。把它们串起来看,从源数据接收到版本发布一共经过十五个交接点。每一个交接点有交出方、接收方、交接物与检收动作,并有明确的不收理由与退回去向。清单的用处是让每一方知道自己该交什么、该验什么、什么情况下有权拒收——有权拒收是关键,没有拒收权的检收等于没有检收。
表 2-10 从接收到最终发布的十五个交接点
| 序号 | 交接点 | 交出方 | 接收方 | 交接物 | 接收方的检收动作 | 不收的理由与退回去向 |
|---|---|---|---|---|---|---|
| 1 | 源侧到采集通道 | 各源系统与离线资料提供部门 | 采集接入通道 | 按调度周期的数据推送或离线文件 | 按调度记录核对到达情况 | 链路不通或调度失败的,按采集接入节的异常处理流程重试与告警 |
| 2 | 采集通道到平台落地区 | 采集接入通道 | 数据受理岗 | 落地清点单(文件数、记录数、时间范围)与落地文件 | 按清点单与落地文件逐项核对 | 数量不符的逐项核对,差异原因记入问题清单;对账不通过的批次不生成批次号 |
| 3 | 落地区到贴源区 | 数据受理岗 | 数据受理岗(入口检查节点) | 数据源登记表、授权文件、脱敏复核记录、格式校验结果 | 核来源登记完备性、许可有效期、脱敏抽样、格式合规 | 缺来源或授权的退回采集接入通道补齐;格式不合规的入隔离区出问题清单 |
| 4 | 采集到预处理 | 数据受理岗 | 预处理工程岗 | 过入口检查节点的原始数据批次及批次台账 | 核批次号与批次状态 | 未过入口检查节点的批次挂起不交 |
| 5 | 预处理到质检复判 | 预处理工程岗 | 质检单元(预处理检查节点) | 规范化样本、算子登记表、自检结论 | 按通道抽样复核结构还原、图文对照与时序对齐;按算子指纹复算 | 单项算子回退重跑;源数据缺陷退回采集环节 |
| 6 | 预处理到本体 | 预处理工程岗 | 本体维护岗 | 结构化长文本、术语候选清单 | 核术语候选的出处是否可回查 | 出处不可回查的不进入术语候选 |
| 7 | 本体到标注与合成 | 本体维护岗 | 标注作业单元、合成与增强作业单元 | 已发布的本体版本、术语表、同义词别名表 | 标注与合成工具按本体版本号加载取值域 | 本体版本未发布的不加载,沿用上一已发布版本至批次结束 |
| 8 | 知识库到取材侧 | 知识抽取岗 | 合成与增强作业单元、验证实验单元 | 状态为「通过」的知识条目、两类图谱、统一检索索引、检索增强三元组 | 工具侧按条目状态过滤 | 状态为「待审」或「退回重抽」的条目不被引用 |
| 9 | 标注到质检 | 标注作业单元 | 质检单元(标注检查节点) | 标注样本与八字段质量记录、标注批次台账 | 抽检、一致性计算、黄金集通过率核算 | 出低一致性样本清单,按分歧类型分别退回处置 |
| 10 | 合成与增强到质检 | 合成与增强作业单元 | 质检单元(合成增强检查节点) | 合成与增强样本、溯源记录、批次台账、模型许可登记台账 | 规则校验、分布比对、重复率与语义漂移检查 | 单样本丢弃并记规则编号;批次超线的调整配置后重做 |
| 11 | 质检到上游各环节 | 质检单元 | 采集、预处理、本体、知识库、标注、合成、增强各责任岗位 | 修复工单(指明回流终点环节与具体批次) | 上游按工单定位到批次、算子或标注任务 | 工单未指明回流终点的,退回质检单元重开;不接受「整条链重跑」 |
| 12 | 质检到验证 | 质检单元 | 验证实验单元 | 通过检查节点的四个用途子集、训练与评测隔离核验结论 | 核隔离核验的交集检查结果 | 交集非空的触发隔离失效告警,不开实验 |
| 13 | 验证到项目管理 | 验证实验单元 | 项目管理单元 | 数据集验证报告、能力增量矩阵、错样归因与整改任务单 | 核报告结论与未结整改项 | 有未结整改项的不提请版本冻结 |
| 14 | 项目管理到版本检查节点 | 项目管理单元 | 质检单元、验证实验单元、技术评审 | 版本候选、版本级质检报告、验证报告、数据集卡片、数据字典、第三方解析试验结果、资产台账条目 | 三方分别核验各自职责范围并签认;台账与自动计量结果逐版本对账 | 任一方不签的不冻结;对账差异超过 0.5% 的版本不予发布 |
| 15 | 项目管理到运营平台 | 项目管理单元 | 数据集运营服务管理平台 | 版本封装包、校验信息、登记字段、数据集卡片、数据字典、资产台账条目 | 平台重算版本指纹并比对一致,按登记字段校验完整性,回传登记标识 | 指纹不一致或登记字段不全的,修正封装后重新提交 |
表 2-10 数据来源:交接点依本节表 2-1 的环节划分与招标文件 3.2.6.3 各小节的产出要求;对账口径依本卷「四大数据集建设及指标要求」节第 2 部分;移交与登记要求依 3.2.6.3.10(`b1575`、`b1576`)。
十五个交接点中有三个是跨组织的,排期时按较长的响应周期估计:第 1、2 两点在源侧与项目组之间,第 15 点在项目组与运营侧之间,第 14 点的技术评审签认涉及招标方代表参与。其余交接点在项目组内部,按作业周期衔接。跨组织交接点的响应时限在项目启动会上确认后写入批次计划,不按内部交接的节奏估排期。
### 全链统一的四项口径
十个环节分在上下游两段作业,环节之间的交接点、检收动作与拒收理由已在本节「从接收到最终发布的完整交接清单」逐点列明。此外有两条交接不走批次通道,在此写明:其一,标注与合成环节在作业中发现的术语与标签新增、修订候选,按候选编码、建议类目与影响范围(受影响批次与样本数)提交,走知识本体的变更申请与影响评估流程,经评审后发布为新版本,标注侧不自行扩充标签;其二,各集的规模分解、合成占比上限、模态与时效性占比目标与分期累计达成下限,在批次计划编制时作为目标量与配比的依据下达,规模计量规则版本号写入数据集卡片,同一数据集历次版本不中途更换计量规则。
十个环节在四个地方容易对同一事物产生两种说法,以下四项口径在全链统一,各环节按此执行。
第一,样本类型只分三类:真实、合成、增强。三类在样本元数据中有独立标识,占比分别统计并在数据集卡片中分三项披露。真实样本经增强变换后标识为增强样本,不计入真实样本;合成样本经增强后标识为增强样本并保留其种子为合成样本的溯源链。
第二,质量分级只用一套三级:A 级为字段完整、经审核签发、有投产或闭环记录;B 级为缺投产或闭环记录;C 级为字段不完整或未经审核签发。A 级可进基准测试子集,B 级进指令微调与偏好对齐子集,C 级仅进预训练子集。各环节对工艺卡片、选型方案效果、关联关系置信度的分级,都归入这一套的判定依据,不另立分级名称。
第三,「不低于」与「趋向」两种表述的界线。凡招标文件以数值形式明确要求的指标(四集规模数值、模态不少于 3 种、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%),按原文表述为具体数值或「不低于」,并给出达成路径与核算口径。凡本方案自设的内部质量管理目标(各类合格率、标注一致性指标、解析通过率、锚定成功率),一律表述为逐步接近目标值,并附基线确定方式与未达时的处置。两类表述的区别是实质的:前者是对甲方的指标应答,后者是我方的内部管理目标。
第四,平台的两个名称不可混用。数据集加工生产平台承载十个环节的作业与留痕;数据集运营服务管理平台承载移交之后的目录、权限、版本、服务、交易与审计(`b0685`、`b0804r04`、`b0804r05`)。加工环节的作业对象与状态流转在加工生产平台上,向运营服务管理平台提交的是版本封装包与登记信息,两者不是同一个系统。
图 2-1 加工链上下游环节段的交接物、回流与指标约束。数据来源:交接物与检收动作依表 2-10;标识体系依表 2-1 的追溯键列;环节划分依招标文件 3.2.6.3 与 3.2.6.4 的小节划分。
### 加工链与相邻服务的技术接口
数据加工生产服务与相邻服务之间共有九处数据与成果的交接。每一处接口按输入、输出、关键字段、交接协议、责任方与验收条件六项约定:六项未约定齐的接口不开通数据流;已开通的接口变更其中任一项,须经双方书面确认并同步修订接口登记后生效,变更带版本号与生效时点。九处接口的六项约定如表 2-11,其中四处的作业细节在其后各小节展开。
表 2-11 加工链对外九处接口的六项约定
| 接口 | 输入(加工链收) | 输出(加工链发) | 关键字段 | 交接协议 | 责任方划分 | 验收条件 |
|---|---|---|---|---|---|---|
| 数据资源建设服务(3.2.2) | 落地区的原始文件与记录(源系统结构化抽取、离线非结构化文件、外部标准与文献)、按调度周期出具的落地清点单 | 受理回执、批次台账、退回清单与退回原因码 | 来源系统码、数据源登记号、授权凭证号、落地时间戳、文件指纹、记录主键、文件数/记录数/时间范围 | 以平台落地区目录为唯一交接点;清点单出具后受理方在一个工作日内回执;清点单与批次台账逐项对账 | 通道连通性、协议适配、调度与链路异常由采集接入侧负责;数据源登记、许可核验、入口脱敏、格式合规与批次成形由加工链负责 | 清点单与批次台账在文件数、记录数、时间范围三项上一致;不一致项逐项归因并记入问题清单,未归因完毕不生成批次号 |
| 专项智能工具链 | 算子镜像与版本号、参数模板、工具给出的自动判定结论与置信度 | 算子调用记录、参数快照、处理前后的样本指纹、门控的人工判定结论 | 算子编码、算子版本号、算子指纹、参数集哈希、批次号、样本编号、本体版本号 | 工具以注册算子方式接入,调用参数与版本随批次自动登记;不提供不留痕的参数修改入口 | 工具的功能实现、接口与性能由工具链侧负责;调用点选择、参数基线标定与门控结论由加工链负责 | 产出携带批次号、样本编号、算子指纹、本体版本号四项标识,缺一项不被下游接收;同参数同输入可复算且结果一致 |
| 数据治理规划和实施服务(3.2.6.1) | 业务术语、参考数据、数据元、指标四套标准的现行版本;数据质量校验规则库;数据分级分类结论;元数据与血缘的管理要求 | 本体与标准的引用对照表、标准新增与修订候选、各批次的规则命中统计、血缘登记记录 | 标准编码与版本号、规则编码与版本号、密级与分类码、元数据项编码、血缘节点与边标识 | 标准与规则由治理侧单向发布,加工链按版本号引用,不在加工侧另立术语或规则;本体先行定义而标准侧尚未收录的概念以标准草案形式回流 | 标准与规则的制定、发布与版本管理由治理侧负责;在各环节上的执行与留痕由加工链负责 | 每一批次的元数据与血缘登记完整,可按血缘上溯至来源记录与算子;分级结论更新后,受影响批次的脱敏在一个批次周期内重跑完毕 |
| 行业大模型训练推理技术服务(3.2.6.2) | 训练与评测的作业计划、各阶段模型版本标识、评测错题清单与归因结论 | 预训练子集及其 Token 规模/模态分布/来源构成/领域子集统计;按业务场景、任务类型、难度等级切片的指令微调子集;格式归一、冲突已处理、难度已分层的偏好子集及偏好理由字段;题型协议、判分规则、版本号与随机种子已固化的基准子集 | 数据集版本号、子集码、切片维度取值、难度等级、随机种子、题型协议版本、偏好理由字段、来源与时间隔离标记 | 按数据集版本号整包交付,交付后冻结;错题归因结论以整改任务单回流,任务单须指明回流终点环节与具体批次 | 训练与评测环境、算力适配、作业执行、指标记录与五份报告的出具由模型侧负责;子集的内容、切片、分层、固化与隔离由加工链负责 | 基准子集与训练用样本的隔离核验通过(按原始对象标识取交集为空);规模与构成的统计口径可在脱离平台的环境中复算 |
| 数据集质量测评服务 | 评测方案、评测指标与阈值的现行版本、首轮评测结论与缺陷清单、复测结论 | 送检版本封装包、质检报告、验证报告、数据质量档案、整改说明与复测申请 | 数据集版本号、版本指纹、指标编码与取值、缺陷编号与等级、整改任务单号 | 自评与外评共用同一套指标定义、计算方式与判定阈值,差别在实施主体与采信效力;评测方可直接取用质检报告与验证报告作为复核起点 | 评测的实施、结论与盖章报告由评测方负责;缺陷整改与复测材料的准备由加工链负责 | 以第三方评测结论作为数据集规模与质量达成的最终认定依据;缺陷整改项逐条闭环并经复测确认 |
| 数据集场景验证服务(3.2.6.5) | 各场景的验证方案、验证用例与通过判据、可用性结论与数据缺口清单 | 场景所需的样本子集与基准题目、供数清单、按缺口清单生成的补数批次 | 场景编码、用例编号、供数子集码、题目编号与判分规则、缺口项编码与定位(业务域/环节/批次) | 按场景与子集的供数关系取数,一个场景可取多个数据集的子集;可用性结论进入数据集验证环节,判定为数据侧缺口的以整改任务单回流 | 验证方案、用例设计与可用性结论由场景验证侧负责;供数、补数与数据侧缺口的修复由加工链负责 | 每个验证用例均有对应的供数记录;判定为数据侧缺口的项全部有回流任务单与关闭结论 |
| 数据集运营服务管理平台(3.2.6.6) | 平台的接收规范、登记字段定义、登记标识回传;接入国家数据基础设施的目录与身份登记要求 | 版本封装包(内容、数据集卡片、版本指纹、质检报告、验证报告、数据字典)、登记信息与元数据、资产台账条目 | 数据集版本号、版本指纹、卡片字段集、数据字典版本、资产台账编号、目录标识、身份登记号 | 按平台接收规范提交,由平台重算版本指纹比对一致;平台回传登记标识后方视为移交完成 | 目录、权限、版本、服务、确权、挂牌、交易与审计由运营侧负责;版本封装、卡片与元数据的齐备与准确由加工链负责 | 平台重算的版本指纹与提交值一致;登记字段无空缺项;移交后运营侧无须回补数据侧信息 |
| 项目安全合规建设(3.2.6.12) | 数据分级分类结论、密码应用要求、权限与审计要求、脱敏口径 | 入口脱敏执行记录、假名映射表及其存取审批记录、全流程作业日志 | 密级码、脱敏规则编码与版本、假名映射表标识、操作人角色码、操作时间戳、审计事件码 | 涉及个人信息、敏感地理信息、重要行业数据与企业秘密数据的去标识化与脱敏在加工链入口完成;假名映射表与脱敏后数据分域存放、分权审批 | 分级结论、密码方案、权限与审计要求的制定由安全侧负责;入口与作业环节的执行与留痕由加工链负责 | 全部批次有脱敏执行记录;审计日志可按批次、样本、操作人三个维度检索;分级结论更新后受影响批次完成回调 |
| 硬件配置(感知与检测设备) | 设备型号、参数、取数接口能力与到位时间;设备产出的带时间戳原始帧与每像素原始温度数据 | 设备数据的受理回执、对象锚定结果、覆盖缺口记录 | 设备编号、采样时间戳、帧序号、工件/炉次/焊道标识、锚定置信度、缺项标记 | 设备数据按时间戳与对象标识双键锚定到工件、炉次或焊道;设备到位前相关样本按缺项标注并在数据集卡片的局限性字段记录 | 设备选型、参数、到位时间与现场安装由硬件与系统集成侧负责;数据受理、对象锚定与批次成形由加工链负责 | 锚定成功样本占比不低于该业务域首批标定的基线并逐期趋向目标值;未锚定样本全部有原因码并进入补采队列;设备到位后按批次补采并并入同一批次体系 |
表 2-11 数据来源:接口对象依招标文件 3.2.2(`b0805`—`b0807`、`b0909`—`b0913`)、3.2.6.1、3.2.6.2(`b1339`、`b1344`、`b1349`、`b1354`)、3.2.6.5、3.2.6.6、3.2.6.12 与服务采购清单第 2、3、7 项(`b0804r03`、`b0804r04`、`b0804r08`);移交与登记口径依 `b1575`、`b1576`。
#### 与数据资源建设服务的接口(3.2.2)
招标文件 3.2.2 数据资源建设要求规定数据集所需原始数据来自企业各业务系统,与各系统的集成基于项目实际需求执行(`b0805`、`b0806`、`b0807`);3.2.2.2 多格式多模态的数据录入规定实现离线非结构化数据的解析及录入管理,形成电子化数据资产和相关语料(`b0909`、`b0910`),具体包括业务域文档、图片、工程图纸、技术书籍、财务票据、音视频等多格式多模态离线数据的批量导入与实时接入(`b0911`),建立自动分类、关键信息抽取、结构化转换、质量校验及人工复核机制,形成规范化、标准化的离线电子化数据资产目录(`b0912`),并按业务主题与知识体系进行数据聚类、去噪清洗、格式统一与版本管理(`b0913`)。
接口点是平台落地区的目录。落地区之前由数据资源建设服务负责:与 17 个业务与设备系统建立接入通道、确定接口协议与取数方式、设定调度频次、处理链路异常、提供离线文件的批量导入与实时接入入口。落地区之后由加工链负责:数据源登记、许可核验、入口脱敏、格式合规校验、批次成形,以及自动分类、关键信息抽取、结构化转换、质量校验与人工复核的实现(`b0912`),按业务主题与知识体系的聚类、去噪清洗、格式统一与版本管理(`b0913`)。责任按这条线落位:链路不通归通道侧,批次不合规归受理岗,样本质量不达标归预处理岗。
验收条件是对账一致。通道侧按调度周期出具落地清点单,列文件数、记录数与时间范围;受理岗在一个工作日内回执并出具批次台账;两份在三项上不一致时按清点单逐项核对,差异原因记入问题清单,对账不通过的批次不生成批次号、不进入预处理。清点单与批次台账均带来源系统码、数据源登记号、授权凭证号、落地时间戳与文件指纹五个字段,任一字段缺失视同对账不通过。通道设计、协议适配与链路异常处理在数据资源建设服务的相应节给出。
#### 与数据集加工生产专项智能工具链的接口
招标文件要求研发 9 大类 25 个数据集加工生产专项智能工具链(`b0686`、`b0804r03`)。工具以注册算子的形式接入加工链:加工链向工具输入待处理样本批次与参数模板,工具向加工链输出处理后的样本、算子调用记录、参数快照与自动判定结论。
接口约定有三条。其一,调用参数与版本随批次自动登记,工具端不提供不留痕的参数修改入口——这是质检复算与验证归因的前提。其二,产出必须携带四个标识字段(批次号、样本编号、算子指纹、本体版本号),缺一项即不被下游接收。其三,同一算子版本、同一参数集、同一输入批次的复算结果须与原结果一致,复算不一致的算子版本停用并退回工具侧定位。
责任按此划分:工具的功能实现、接口与性能由工具链建设服务负责;调用点的选择、参数基线的标定与门控结论由加工链各环节负责。工具给出的自动判定结论是门控的输入之一,不直接等于门控结论,门控结论由对应岗位作出。25 个工具的逐一列名、归类与接口定义在专项智能工具链的相应节给出。
#### 与数据治理规划和实施服务的接口(3.2.6.1)
治理在生产逻辑中是横向贯穿的管控层(`b1215`)。接口在四处,均为治理侧单向发布、加工链按版本号引用:业务术语标准、参考数据标准、数据元标准与指标标准四套标准由治理侧发布,知识本体与知识库按标准编码与版本号引用,不在加工侧另立术语;本体先行定义而标准侧尚未收录的概念,以标准草案形式回流。数据质量校验规则库由治理侧维护,加工链的入口格式校验项是规则库的子集,规则编码与版本同源。
数据分级分类结论由治理与安全侧发布,加工链据以执行入口脱敏;分级结论发布前按最严口径处理,发布后按结论回调,受影响批次的脱敏在一个批次周期内重跑完毕。元数据与血缘的管理要求由治理侧规定,加工链的标识体系按其要求落地,每一批次的元数据与血缘登记完整、可按血缘上溯至来源记录与全部算子,此为本接口的验收条件。治理的达标路径、业务域覆盖与治理文档清单在数据治理规划和实施服务的相应节给出。
#### 与行业大模型训练推理技术服务的接口(3.2.6.2)
招标文件 3.2.6.2 行业大模型训练推理技术服务规定:构建行业大模型并支持私有化部署与国产通用大模型(`b1338`);基于预训练数据集的 Token 规模、模态分布、来源构成和领域子集统计制定多模态数据的训练配比和采样权重,选取适配矿山装备制造业务的基座模型开展分布式继续预训练,记录训练曲线、检查点与中间评测结果,通过领域知识探针、保留语料困惑度等方式验证预训练数据集的知识注入效果并形成知识注入有效性报告(`b1339`、`b1340`、`b1341`、`b1342`、`b1343`);将指令微调数据集按业务场景、任务类型、难度等级切片,设计基础微调、子集消融、混合配比等实验方案,跟踪训练损失、验证集准确率、显存占用、吞吐等指标,通过自动评测与专家抽样人评验证指令遵循、任务完成、格式规范、长上下文理解等方面的能力提升(`b1344`、`b1345`、`b1346`、`b1347`、`b1348`);对偏好数据集作格式归一化、冲突样本处理与难度分层,训练行业奖励模型并评估其在保留偏好集上的判别准确率,基于微调模型与奖励模型开展对齐训练,记录偏好准确率、KL 散度、奖励均值、回答长度变化等指标,识别并缓解奖励黑客、回答冗余、行为退化等风险,形成专家偏好对齐度报告与安全合规通过率报告(`b1349`、`b1350`、`b1351`、`b1352`、`b1353`);固化基准测试数据集的题型协议、判分规则、版本号与随机种子,建设可复现的评测沙箱,在统一评测平台上对基座模型、继续预训练模型、微调模型、对齐模型等多阶段版本开展评测,量化不同数据集带来的能力增量,对评测错题开展训练数据归因分析,识别脏数据、覆盖盲区、歧义标注和难度分布缺口,形成结构化整改任务单,支撑评测、归因、修复、回评的数据闭环(`b1354`、`b1355`、`b1356`、`b1357`、`b1358`、`b1359`)。
这组要求由数据侧与模型侧共同完成,责任以交付物划分。模型侧负责训练与评测的环境、算力适配、模型接入与评测网关、训练作业的执行与指标记录,以及上述五份报告的出具。
数据侧负责交付四件,均按数据集版本号整包交付、交付后冻结:按训练配比与采样权重的需要提供预训练子集的 Token 规模、模态分布、来源构成与领域子集统计;按业务场景、任务类型、难度等级三个维度交付已切片的指令微调子集,切片维度的取值来自本体与标签体系;交付格式已归一化、冲突样本已处理、难度已分层的偏好子集,以及偏好理由字段;交付已固化题型协议、判分规则、版本号与随机种子的基准子集,并保证基准子集与训练用样本按来源与时间双重隔离。
错题归因的回流是这组接口里最要紧的一条。评测错题的归因结论由模型侧与数据侧共同判定:归因为脏数据、歧义标注的,回流至本节的采集、预处理或标注环节定向修复;归因为覆盖盲区、难度分布缺口的,回流至合成与增强环节定向补充(`b1357`、`b1358`、`b1359`)。两类回流都走统一的整改任务单,任务单指明回流终点环节与具体批次,修复后重新质检与验证。本接口的验收条件有两项:基准子集与训练用样本的隔离核验通过,即按原始对象标识取交集为空;规模、模态与来源构成的统计口径可在脱离平台的环境中复算,复算值与随版本封装的统计值一致。数据集验证环节的实验设计、能力增量结论与归因闭环记录见本卷「数据加工生产(二)」节数据集验证部分,与模型侧共用同一套实验口径与报告结构。
图 2-2 加工链与相邻服务的接口与交接物。数据来源:上游接口依招标文件 3.2.2(`b0807`、`b0911`);模型侧接口依 3.2.6.2(`b1339`、`b1344`、`b1349`、`b1354`);评测接口依 `b0688`;运营侧接口依 `b0685`、`b1575`。
#### 与数据集质量测评服务的接口
招标文件要求完成本项目多模态自建数据集首轮全量评测与缺陷整改复测,通过标准化评测、实战化模型验证、全流程整改闭环,实现数据质量合规核验、模型实战适配效能验证、缺陷整改闭环管控、标准化成果交付与合规验收四项目标,输出正式盖章评测报告并形成完整数据质量档案(`b0688`、`b0804r08`)。
接口的协议要点是自评与外评共用一套指标定义。加工链上的七道质量检查节点是加工过程内部的自评,第三方评测是外评,两者在指标名称、计算方式与判定阈值上不另立口径,差别在实施主体与采信效力。因此评测方可直接取用质检报告与验证报告作为复核起点,不必从原始数据重建判定;加工侧在版本冻结前即可按同一指标预判外评的提出项,整改发生在交付前而不是验收时。加工侧交出的是送检版本封装包、质检报告、验证报告、数据质量档案与整改说明,字段含数据集版本号、版本指纹、指标编码与取值、缺陷编号与等级、整改任务单号;验收条件是缺陷整改项逐条闭环并经复测确认,第三方评测结论为数据集规模与质量达成的最终认定依据。评测依据、三维度指标体系、评测方法与实施过程在数据集质量评测方案中给出。
#### 与数据集场景验证服务的接口(3.2.6.5)
招标文件要求通过数据集加工生产平台关键技术研究课题转化的十一个场景验证高质量数据集的价值,有效提升垂域模型和智能体的性能(`b0684`)。本包承担的是验证,不承担场景建设。接口在两个方向:数据集向场景验证提供所需的样本子集与评测题目,场景验证向数据集回流可用性结论与缺口清单。
四大数据集与十一个场景不是一对一关系——一个场景通常取多个数据集的子集,一个数据集也服务多个场景,按场景与子集的供数关系表取数。交接的字段为场景编码、用例编号、供数子集码、题目编号与判分规则、缺口项编码及其定位(业务域、环节、批次)。责任划分是:验证方案、用例设计与可用性结论由场景验证服务负责,供数、补数与数据侧缺口的修复由加工链负责。验收条件是每个验证用例均有对应的供数记录,判定为数据侧缺口的项全部有回流任务单与关闭结论。各场景所需的数据来源、验证指标、验证流程与通过判据在六个专业场景与五个通用场景的验证方案中给出;四大数据集与各场景的供数关系在数据集建设及指标要求中给出。
#### 与运营服务管理平台、安全合规建设与硬件配置的接口
与数据集运营服务管理平台的接口是移交与登记。加工链提交版本封装包与校验信息,平台重算版本指纹并比对一致;加工链按平台的登记字段提交数据集卡片、数据字典与资产台账条目,平台回传登记标识;加工链并提供接入国家数据基础设施所需的目录标识、身份登记与接口对接信息(`b1575`、`b1576`)。验收条件是平台重算的指纹与提交值一致、登记字段无空缺项、回传登记标识后方视为移交完成,移交后运营侧无须回补数据侧信息。平台的功能模块、界面与流程在数据集运营平台的相应节给出。
与项目安全合规建设的接口是规定与执行的关系。数据分级分类结论、密码应用要求、权限与审计要求由安全合规建设规定,加工链在入口脱敏、假名映射表存放与权限、作业留痕三处执行。涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据的去标识化与脱敏在加工链入口完成,假名映射表与脱敏后数据分域存放、分权审批;加工链全程的审计与日志记录在加工生产平台上留存(`b0804r06`)。验收条件是全部批次有脱敏执行记录,审计日志可按批次、样本、操作人三个维度检索,分级结论更新后受影响批次完成回调。
与硬件配置的接口是承接关系。焊接层间温度与预热温度等新增感知设备、质量检测设备的型号、参数、取数接口能力与到位时间由硬件选型与系统集成确定,加工链负责其产出数据的受理、对象锚定与批次成形,按采样时间戳与对象标识双键锚定到工件、炉次或焊道。设备到位前,相关样本按缺项标注并在数据集卡片的局限性字段记录覆盖缺口;设备到位后按批次补采并并入同一批次体系。锚定成功样本占比以该业务域首批试产批的实测值为基线,逐期趋向目标值;未锚定样本全部给出原因码并进入补采队列。
### 规模与指标承诺的总口径
招标文件在业务范围(`b0683`)与数据加工生产服务要求(`b1361`)两处给出同一组规模与指标要求,数值一致:预训练数据集不低于 600 亿 Token、指令微调数据集不低于 80 万条、强化学习偏好数据不低于 6 万组、基准测试数据集不低于 0.9 万条,数据集涵盖不少于 3 种模态(时序数据、图像、文本、视频等),多模态数据条数占比不低于 40%,近 3 年内时效性数据条数占比不低于 40%。
我方按四个数据集的分集规模表承接,四集合计预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,四项均高于上述下限。合计值相对下限留出的余量不用于宣称超额,其用途是吸收质检与验证环节的剔除量。
去重、脱敏剔除、标注返工、分布均衡性削峰都会减少可发布样本,没有余量,交付前就只剩降低质检门槛这一条路可走。各集的规模分解、来源构成、用途子集内容设计、模态与时效性构成测算、规模计量规则、分期累计达成下限与数据集卡片字段,见本卷「四大数据集建设及指标要求」节,本节不重复给数。
规模承诺的核验分三道,三道均不依赖人工报数:第一道是工具链自动计量,每批次发布前自动输出规模统计,统计脚本与分词器版本随数据集一同封装,可在脱离平台的环境中复算;第二道是数据集资产台账复核,台账与自动计量结果逐版本对账,差异超过 0.5% 的版本不予发布;第三道是第三方评测,以其「规模完整性」指标的结论作为最终认定依据(`b0688`)。
比例类指标分两类表述。招标文件以数值形式要求的三项,即模态不少于 3 种、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%,按原文承接并给出测算值与计量口径,为对招标方的指标应答。项目组自设的内部质量管理目标,一律表述为逐步接近目标值,并附基线确定方式与未达时的处置,为过程管理目标。两类的采信效力不同,不合并为一类表述。
### 加工生产服务的四项总口径
加工生产服务的全部承诺可收敛为四条总口径:数据从哪里来、经过哪些环节、产出什么规模、如何证明合格。四条口径在本节确定,各子项的具体做法由它们展开;做法与口径不一致时,以本表为准。
表 2-12 加工生产服务的四项总口径
| 总口径 | 内容 | 展开位置 |
|---|---|---|
| 数据来源 | 来自十七个业务与设备系统、纸质与离线资料、外部标准与文献三类来源,处理对象按实际数据来源、业务责任及授权关系登记。通道由数据资源采集接入建立,受理之后的来源登记、许可核验、入口脱敏与批次成形在本项服务范围内,分界点是平台落地区;两侧按落地清点单与批次台账逐周期对账,对账不通过的批次不生成批次号 | 本节「十个加工环节的输入、处理、输出与交接总表」「从接收到最终发布的完整交接清单」与「与数据资源建设服务的接口」;实施范围见本卷 2.1 实施范围;各业务域来源清单见本卷「数据加工生产(一)」节第 2 章 |
| 加工链路 | 十个环节:采集、预处理、知识本体、知识库、标注、合成、增强、质检、验证、数据集项目管理。数据治理横向贯穿为管控层,知识本体与知识库为统一知识底座,七道质量检查节点按批次或按版本判定,三类定向回流按血缘定位到具体环节、批次与算子,构成有向无环的生产逻辑 | 本节「生产逻辑」部分(图 1-1、表 1-3)与「十个加工环节的输入、处理、输出与交接总表」「终审检查节点与版本检查节点的先后关系、审批权限与升级路径」;作业方法见「数据加工生产(一)」「数据加工生产(二)」两节 |
| 规模产出 | 四个数据集 × 四个用途子集,合计预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,均为通过检查节点并发布后的净量;模态覆盖文本、图像、时序、视频四类,多模态与近 3 年时效性数据条数占比按不低于 40% 承接。投料量按各环节通过率连乘倒推下达,不按净量下达 | 本节「规模目标与净量口径」「产能测算与质检损耗的补足」与「规模与指标承诺的总口径」;分解与测算见「四大数据集建设及指标要求」节 |
| 合格证明 | 三层:加工链内部七道质量检查节点的自评;数据集验证环节以继续预训练、指令微调、偏好对齐、基准评测四段实验量化能力增量并出具验证报告;第三方全量评测与缺陷整改复测出具盖章报告,其结论为规模与质量达成的最终认定依据。十一个场景以实际业务任务检验数据集可用性,结论回流修复 | 本节「十个加工环节的输入、处理、输出与交接总表」「终审检查节点与版本检查节点的先后关系、审批权限与升级路径」与训练推理、质量测评、场景验证三处接口;实验设计见「数据加工生产(二)」节数据集验证部分;评测见服务方案卷「数据集质量评测方案」节 |
表 2-12 数据来源:各行依本节对应小节;规模与模态要求依招标文件 `b0683`、`b1361`,场景验证范围依 `b0684`,评测要求依 `b0688`,建设目标与生产逻辑依 `b1214`、`b1215`。
### 口径确认、现场调查与成果交付流程
数据加工生产与软件开发有一处本质不同:软件开发的需求确认是阶段性的,确认完就进入编码;数据加工的口径确认是贯穿全程的——每一批新数据、每一个新工序、每一类新缺陷,都可能需要业务部门给一次判断。把这件事含糊过去,实施期就会反复停摆。因此本方案把口径确认组织成一条有时限、有产出、有逾期处置的流程,而不是一份开工前的待办清单。
流程分四段:现场调查、口径确认、批次级签认、成果交付与验收。前两段集中在第一期完成,第三段贯穿全程,第四段按版本发生。各段的工作内容、方法、参与方、产出与时限如表 2-13。
表 2-13 口径确认、现场调查与成果交付的四段流程
| 阶段 | 工作内容 | 工作方法 | 参与方 | 产出成果 | 时限 |
|---|---|---|---|---|---|
| 一、现场调查 | 源系统盘点与接口条件核查、各业务域数据责任人与口径确认人落位、存量电子资料清点、纸质资料体量与状态核查、各源系统时钟基准核查、数据分级分类现状摸底 | 按业务域走访;源系统只读连接试通;按通道抽取样本试采并实测单位工时;纸质资料按库房抽样估算体量 | 项目组、数字化转型工作办公室、十个实施单位 | 数据资源盘点报告、数据源登记表、口径确认人名册、纸质资料数字化优先级清单、试采实测值 | 合同生效起 1 个月内,按业务域逐域提交 |
| 二、口径确认 | 工序字典、标签体系、缺陷分级、术语标准、密级判定规则五项一次性确认;数据集规模计量规则确认;数据分级分类结论与脱敏口径发布;阶段验收节点与口径确认 | 逐项出具确认件,经业务归口部门书面确认后入版本管理;确认后的变更走变更申请与影响评估流程,不重新讨论 | 项目组、各业务归口部门、安全管理方、数字化转型工作办公室 | 数据集规模计量规则、标注规范首版、分级分类与脱敏口径、五项字典确认件、阶段验收口径确认件 | 合同生效起 3 个月内(第一期)完成;逾期事项按表 2-14 处置 |
| 三、批次级签认与裁决 | 口径检查节点与终审检查节点的业务专家会签;标注争议、工艺判断分歧、跨域口径冲突的裁决;跨系统不一致的仲裁 | 按批次组织会签,单次工作量以半天计;争议与不一致按本节表 2-9 的仲裁规则处置;每次裁决意见归档并回灌本体与标注规范 | 业务专家评审组、各业务归口部门、项目组 | 会签记录、仲裁意见、本体与标注规范的回灌修订记录 | 会签随批次发生;仲裁事项自提交起 10 个工作日内裁决 |
| 四、成果交付与验收 | 版本封装包、数据集卡片、数据字典、质检报告、验证报告、资产台账的提交与接收;移交运营服务管理平台登记;阶段验收;首轮全量评测与缺陷整改复测 | 版本检查节点三方签认后提交;平台重算版本指纹比对一致;按分期累计达成下限核对阶段进度;第三方评测按其评测依据与指标体系实施 | 项目组、数字化转型工作办公室、运营侧、第三方评测机构 | 版本封装包与登记回执、阶段验收结论、正式盖章评测报告与完整数据质量档案 | 版本检查节点通过后 5 个工作日内移交登记;评测与复测按第四期安排 |
表 2-13 数据来源:确认事项依本节「过程中要形成的配套成果」「终审检查节点与版本检查节点的先后关系、审批权限与升级路径」「源数据迟到、重发、撤回与跨系统不一致的处置」与本卷「四大数据集建设及指标要求」节的规模计量规则;移交与登记要求依招标文件 3.2.6.3.10(`b1575`、`b1576`);评测与复测要求依 `b0688`。
第三类参与的频次值得说明,因为它直接关系招标方自身的投入估算。批次级裁决的发生频次随数据量递减而非递增:首批数据争议最多,口径一经裁决即回灌本体与标注规范,同类问题不再重复提交,流程跑顺之后裁决量显著下降。这也是本方案坚持「每次裁决意见归档并回灌」的原因——不回灌,同一类分歧会在每一批次重新占用一次专家时间。
口径确认事项未按期到位的,按表 2-14 的处置执行。贯穿各项的原则是本节「源数据迟到、重发、撤回与跨系统不一致的处置」已写明的一条:**不停工等待,也不先标后改**,按我方建议口径先行并标注为待确认,确认后批量复核,复核工作量由项目组承担。
表 2-14 需招标方确认或发布的事项、生效环节与未按期到位时的处置
| 事项 | 确认或发布方 | 在哪一步生效 | 未按期到位时的处置 |
|---|---|---|---|
| 各业务域的数据责任人与口径确认人 | 数字化转型工作办公室 | 现场调查的走访排期与各域口径确认 | 按业务域顺延排期,先行开展已落位业务域的调查与受理 |
| 十七个业务与设备系统的只读接口开通范围与时间表 | 数字化转型工作办公室 | 采集环节的通道建立与批次计划编制 | 该业务域转人工补录与纸质资料数字化两条替代路径,覆盖缺口记入数据集卡片局限性字段 |
| 数据集规模计量规则(分词器选型、条与组的判定、合成占比上限) | 招标方与项目组共同确认 | 批次目标量编制与三道规模核验 | 按我方建议口径先行,确认后按新规则复算并在卡片中声明规则版本号 |
| 数据分级分类结论与脱敏口径 | 招标方与安全管理方 | 入口检查节点的脱敏判定 | 按最严口径处理;结论发布后按其回调并重跑受影响批次的脱敏 |
| 阶段验收的节点、验收主体与验收口径 | 招标方 | 七道质量检查节点与版本发布节点的对外衔接 | 按本方案的四期累计达成下限自行组织内部核对,口径明确后对齐 |
| 质量测评机构的资质要求与报告盖章主体 | 招标方与第三方评测机构 | 外评采信方式与整改复测排期 | 先按自评口径完成版本级质检与验证,外评启动后直接取用质检报告与验证报告作为复核起点 |
| 运营服务管理平台的接收规范与登记字段 | 平台建设方与招标方 | 版本移交与登记 | 按本节表 2-10 第 15 项的封装清单先行封装,接收规范明确后补齐映射字段 |
| 十一个验证场景的通过判据与确认方式 | 招标方各业务部门 | 场景可用性结论的判定与缺口回流 | 按验证方案给出的判据先行验证,结论标注为待确认,确认后复核 |
| 项目内部管理制度不少于 7 份的清单与格式要求 | 招标方与项目组共同确认 | 配套制度的编制 | 按本方案拟定的清单先行编制,格式要求明确后换版 |
| 加工生产平台与运营服务管理平台的部署位置与网络分区 | 招标方与系统集成侧 | 加工作业的承载位置与审计日志留存位置 | 按单一安全区部署先行设计,分区方案确定后调整部署与日志留存路径 |
表 2-14 数据来源:事项依本节各项作业与接口所列前提条件;处置原则依本节「源数据迟到、重发、撤回与跨系统不一致的处置」的仲裁时限与不停工口径。