## 1、数据标注（3.2.6.3.5） 要求的总口径是：按四个用途子集所需的样本形态对各业务域数据实施标注，产出可直接用于训练与评测的标注样本（b1462）。 数据采集、数据预处理、知识本体与知识库四个环节的产出——规范化样本与贴源对照关系、知识本体给出的标签体系、知识库与检索索引——是标注作业的输入。自标注起，样本依次经过数据合成、数据增强、数据集质检与数据集验证，最后由数据集项目管理组织为可交付的数据集版本。六个环节的数据流与责任边界如图 1-1。 本包是数据加工生产服务，交付物是数据集加工生产、质量评测与场景验证三类成果，交付主体与承诺主体均为中国移动。智能场景本身的建设不在本包范围内，本包只负责场景验证服务（b1603）；本包在各验证场景中承担的是以实际业务任务检验数据集效果并产出可用性结论的工作（b1557）。 人工标注作业由我方按四个数据集分别组织实施；标注规范、标签体系、标注工具链、黄金集与质检判定由独立于作业执行的质量判定侧提供并执行，标注产出的验收与返工判定亦由该侧作出。这一分界按事项的逐条划分见表 1-2。 前四环节产出　→　六个加工环节　→　数据集版本发布 规范化样本贴源对照关系 知识本体标签体系基准 知识库与图谱检索索引 数据标注3.2.6.3.5 数据合成3.2.6.3.6 数据增强3.2.6.3.7 数据集质检3.2.6.3.8 逐环节门控 数据集验证3.2.6.3.9 训练与评测实验 项目管理3.2.6.3.10 版本与发布 数据集版本内容＋卡片＋指纹 ＋质检与验证报告 批次送检 门控通过 验证报告 错样归因整改任务单 责任边界：实线框内的规范、工具链、黄金集、质检判定与验证实验由我方承担； 人工标注作业由我方按四个数据集分别组织实施，产出须通过质检门控方可计入数据集版本。 修复工单：补采／重标／重合成／重增强 图 1-1　数据标注至数据集项目管理六个环节的数据流与责任边界。数据来源：招标文件第五章 3.2.6.3.5–3.2.6.3.10 环节划分（b1461、b1498、b1516、b1532、b1546、b1563）。 ### 1.1 标注要解决的现场问题 宁夏天地奔牛实业集团有限公司（以下简称「天地奔牛」）的数据条件可以概括为「量不少、关联少、口径散」。历史图纸约 63 万张，每张图纸在历史上都配有一张已审核签发的工艺卡片，这是一组天然成对的监督样本；备料分厂的工序集合是封闭的，当前掌握的口径为 28 道；在役装备的远程运维平台已长期采集振动、温度、压力与冷却水流量信号，报警记录可观。 但这些素材目前的状态是：工艺卡片与图纸的配对关系存在于人的记忆与文件目录中，焊接参数流与工件、焊道没有对应，热处理炉次与工件、材料批次、检测结果之间没有稳定关联，报警不少而故障标签很少。 标注在本项目中不是通用的数据加工动作，它要解决的是三件具体的事。 第一件是把专业判断从人的头脑里取出来。选型靠的是资深工程师对工作面条件与机型配置之间对应关系的记忆，工艺编制靠的是工艺人员对图纸特征与备料工序之间对应关系的熟练。这些对应关系在历史文档里是隐含的——一份选型方案里写着工况参数和最终配置，中间的判断过程没有写；一张工艺卡片上写着 28 道工序里选了哪几道、怎么排序，为什么这么选没有写。标注要做的是把这个隐含的对应关系显式地标出来，让模型能够学到的不只是输入输出，还有把输入映射到输出的依据。 第二件是把分散在多个系统里的同一物理事实缝合起来。一个工件的热处理过程事实分散在热处理群控系统的炉次记录、数据采集与监控系统的温度曲线、质量管理系统的硬度检验记录与实验室的切片结果之中，四者之间没有稳定的关联键。标注在这里承担的是关联关系的认定：由具备专业判断的人确认「这条温度曲线对应这一炉、这一炉里有这个工件、这个工件的硬度是这个值、切片是这个结果」，并把认定结果作为标签写下来。这类标注的价值不在标签本身，在它建立的对应关系。 第三件是把「报警」变成「故障」。远程运维平台的报警记录数量可观，但报警与真实故障之间缺少可核对的证据，维修事实没有回填到报警事件上。标注要做的是把维修记录、派工单、备件出库流水与报警时间窗对齐，由专业人员判定这次报警对应的是哪一类故障模式、处于哪一个劣化阶段、根因是什么，从而逐步积累故障与数据段的配对样本。 这三件事的共同点是：标注的质量取决于标注者的专业判断，而不取决于标注工具的易用程度。因此本方案在标注环节投入的重点是标签体系的严密程度、标注规范的可执行程度与一致性校验的严格程度，工具只负责把人的判断高效、无歧义地记录下来并做机器可做的预标注。 ### 1.2 标注体系总则 #### 1.2.1 标签体系一律引自知识本体 各业务域的标注口径以知识本体定义的标签体系统一（b1492）。本体中已沉淀刮板输送装备等主机产品的部件层级，链轮、齿轨、刮板、压板、哑铃销等工件品类，热处理与焊接的工艺参数项，十类焊接缺陷（热裂纹、冷裂纹、偏焊、咬边、夹渣、烧穿、未熔合、未焊透、气孔、焊瘤）与两类热处理外观缺陷（烧伤、裂纹），以及典型故障模式。标注规范不另行定义标签名称，只引用本体中的类目标识符；标注过程中发现本体未覆盖的类目时，走本体变更流程新增后再标注，不在标注规范中临时造词。 标签体系按三层组织：第一层是对象类目，取自本体的对象类目（设备与部件、工艺与工序、故障模式、质量特性与检验项、物料与 BOM、供应商与合同、能耗与工况）；第二层是任务标签集，即某一标注任务在该对象类目下要标的标签字段集合；第三层是取值域，即每个标签字段的合法取值枚举或数值区间。标注工具按第三层的取值域做输入约束，取值域之外的输入在提交时被拒绝，这是标签体系符合性在工具层面的第一道保障。 知识本体（基准） 对象类目与层次关系 属性与关联关系 术语表与同义词别名表 实体编码对齐（BOM） 版本号与变更记录 新增类目在此登记 标签体系三层 ① 对象类目：引用本体标识符 ② 任务标签集：本任务要标哪些字段 ③ 取值域：枚举或数值区间＋单位 　（工具按此做输入约束） 标注规范（每任务一份） 标注对象与粒度 判定准则与边界情形处置 正反例与易混淆对照 一致率阈值与返工线 规范版本号 标注作业 机器预标注（工具链） 人工确认与修正 自检 → 抽检 → 仲裁 跨标注员一致性校验 标注样本（产出） 标签值 ＋规范版本号 ＋标注工号与校验结论 ＋来源文件与页码／时间戳 ＋质量记录 类目标识符 新增或修订的术语、故障模式、工艺参数项回流本体 图 1-2　标签体系与知识本体的引用关系。数据来源：招标文件 3.2.6.3.3 知识本体第（4）（5）项（b1428、b1430）与 3.2.6.3.5 第（6）项（b1492）。 #### 1.2.2 每一个标注任务配一份标注规范 标注规范是本环节最关键的交付物，它决定了标注结果能否在不同标注员、不同批次之间保持一致。每份标注规范包含六部分内容：标注对象与粒度（标到文档、段落、条款、字段、图元、像素区域还是时间窗）；标签体系引用（引用本体哪个类目、本任务用其中哪些字段、每个字段的取值域）；判定准则（每个取值的判定条件，以及两个取值之间的分界线划在哪里）；边界情形处置（证据不足、多重判定、原件缺损、口径冲突四类情形的处理方式，统一设「无法判定」取值并要求填写原因码，不允许标注员凭感觉选一个）；正反例与易混淆对照（每个标签至少三个正例与两个典型误标例）；一致率阈值与返工线。 规范带版本号，版本号随标注样本一并记录（b1493）。规范在作业期间修订的，修订后新作业批次按新版本执行，已完成批次按原版本保留并在样本元数据中标明规范版本，不做追溯性重标，除非修订涉及判定准则的实质变更——此时按 1.9 节的返工口径对受影响批次重标。 #### 1.2.3 机器预标注与人工确认的分工 标注作业采用机器预标注加人工确认的方式。机器预标注的作用是把人的工作从「从零开始标」变成「核对与修正」，这对本项目尤其有意义：63 万张历史图纸中约七八成属于可借用、可对照的既有零件，预标注可以把这部分的标注工作量显著压下来；而工艺卡片与图纸历史上成对存在，预标注可以直接把卡片上已有的工序序列与参数作为候选标签提给标注员核对。 四类对象的预标注方式与人工介入点如表 1-1。表中「预标注可用度目标」是我方对工具链产出的内部要求，以首批试标 500 个样本的实测值作为基线，逐版本提升；达不到基线的任务降级为纯人工标注并记录原因，不以预标注结果充抵标注产出。 表 1-1　四类标注对象的机器预标注方式与人工介入点 | 标注对象 | 机器预标注方式 | 人工介入点 | 预标注可用度目标 | |---|---|---|---| | 文档类（合同、招投标文件、制度、标准） | 版面解析结果上做条款切分与条款类型候选推荐、八大核心要素定位 | 条款类型确认、风险点认定、合规判定结论 | 要素定位召回趋向 90% 以上，类型候选命中前三位 | | 图纸类（DWG/DXF、工艺图纸 PDF） | 原生图元解析输出图元、尺寸、图层、标题栏与明细栏字段；加工特征按几何规则初判 | 特征确认、投影关系确认、技术要求语义确认 | 几何类特征初判准确率趋向 85% 以上 | | 图像类（熔池、焊道表面、工件外观） | 缺陷区域候选框与类型候选，按本体十类焊接缺陷与两类热处理外观缺陷输出 | 缺陷类型判定、位置框修正、等级判定 | 候选框召回趋向 80% 以上，类型准确率不作预标注承诺 | | 时序类（热处理、焊接、设备运行） | 按事件锚点切分时间窗，工况分段初判，参数偏差按设定程序差值初算 | 工艺阶段确认、异常事件认定、故障模式与根因判定 | 工况分段初判准确率趋向 85% 以上 | 预标注结果在标注工具中以「候选」状态呈现，标注员确认后才成为标签值。工具记录标注员是否修改了预标注结果以及修改幅度，这一记录同时用于两个用途：评估预标注质量，以及识别可能的「不加判断直接确认」行为——某标注员在某批次内预标注接受率显著高于同任务其他标注员且抽检不合格率同时升高的，该批次整体进入复核。 ### 1.3 标注作业的组织与责任边界 人工标注作业由我方按四个数据集分别组织实施。标注环节在组织上分设作业执行与质量判定两侧，按表 1-2 分界。这一分界的实质是：标注做成什么样由质量判定侧定义并判定，标注怎么排班、投入多少工时由作业执行侧组织。两侧同属项目组，但不由同一组人兼任——作业与判定由同一人兼任时，抽检结论失去独立性。 表 1-2　标注环节的交付分界 | 事项 | 质量判定侧 | 作业执行侧 | |---|---|---| | 标签体系与标注规范 | 编制、评审、版本维护、修订 | 按规范执行，提出规范问题单 | | 标注工具链 | 提供智能标注类工具与标注工作台，含输入约束、预标注、留痕与导出 | 使用工具作业 | | 黄金集 | 编制并保密维护，按任务提供考核题目 | 标注员上岗前通过黄金集考核 | | 标注员培训 | 提供培训材料、规范宣讲与试标讲评 | 组织标注员参训，安排作业排班 | | 标注作业 | 出具规范、黄金集与门控判定结论 | 按四个数据集分别组织实施 | | 自检 | 提供自检项清单与工具内校验规则 | 执行自检 | | 抽检与一致性校验 | 执行并出具结论 | 配合提供样本与作业记录 | | 仲裁 | 组织业务专家仲裁、出具仲裁意见 | 按仲裁意见返工 | | 门控判定与返工通知 | 判定并出具门控结论与低一致性样本清单 | 按清单返工并提交复检 | | 标注质量记录 | 汇总并随样本封装 | 提供作业过程记录 | 标注员的身份在样本元数据中以匿名工号记录，不记录姓名（b1493）。这既满足可追溯要求，也避免标注样本在后续流通中带出人员个人信息。工号与人员的对应关系由作业执行侧按保密要求单独维护，质量分析中只使用工号。 #### 1.3.1 标注作业的批次组织 标注以批次为单位组织，批次是质检门控、返工与版本计入的最小单位。批次划分遵循三条口径：同一批次内的样本属于同一业务域、同一标注任务、同一规范版本；单批次规模按文档类 200–500 份、图纸类 300–800 张、图像类 2000–5000 张、时序类 1000–3000 个时间窗控制，使单批次的抽检工作量落在两个工作日之内；跨业务域的关联标注（如热处理工艺参数与质量检验结果的关联）单独立批，不混入单域批次。 批次台账记录批次号、业务域、任务、规范版本、样本范围、承接单元、作业起止时间、自检结论、抽检结论、一致性指标、门控结论与返工轮次。台账是后续质检追溯与资产台账编制的基础数据。 ### 1.4 供需计划域数据标注 本域标注三类对象：招投标文件与合同文本、历史选型方案、订单库存与排产数据，分别支撑合同合规智能审查、产品智能选型与库存控制智能化三个验证场景。 #### 1.4.1 招投标文件与合同文本的标注 合同文本标注分两条线并行：一条是条款级的类型与风险标注，一条是对标八大核心要素的完整性标注。两条线标在同一份文档上但标签集不同，前者的标注粒度是条款，后者的标注粒度是文档。 条款级标注的第一步是条款切分。合同与招投标文件的条款边界并不总与自然段落一致，一条责任条款可能跨若干段，一个段落也可能包含两条独立义务。标注规范规定以「一个可独立判定履行与违约的义务单元」为一条条款，切分结果由标注员确认；机器按标题序号、「第×条」标记与句式特征给出切分候选。切分之后对每条条款标注条款类型、风险点与合规判定结论三组标签（b1463）。 条款类型按合同履行要素分类，取值域引用本体中的合同与供应商类目。风险点标注采用「风险类型＋风险等级＋依据」三元结构：风险类型为枚举值，风险等级分高、中、低三档，依据必须指向具体文字片段的字符位置区间，不允许只给结论不给依据。合规判定结论为合规、不合规、需关注三值，判定依据同样要求指向条款文字与所对照的制度或标准条款编号。 八大核心要素完整性标注对标招标文件明示的八项：当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法（b1464、b1465）。每一项标注三个字段：是否存在、所在条款位置、表述是否完整可执行。「存在但表述不完整」是本项目中出现频率最高的情形，典型如约定了交货期限但未约定交货地点、约定了违约责任但未约定计算基数，标注规范对这类情形单设取值并要求标注缺失的具体子项。 模板基线对照标注解决的是另一类业务需求：企业有自己的合同模板，实际签订的合同相对模板有哪些改动，是审查工作的重点。标注要求对照模板基线标注新增条款、删减条款与修改条款三类差异（b1466）。标注作业前先确定基线：按合同类型（销售合同、采购合同、技术协议、框架协议）分别指定模板版本，标注时以该版本为基线逐条对照。修改条款进一步标注修改方向——对我方义务加重、减轻还是中性，这一标签是风险审查场景最直接需要的。 表 1-3　合同文本标注的标签集与判定口径 | 标签字段 | 粒度 | 取值域 | 判定口径 | 边界情形处置 | |---|---|---|---|---| | 条款类型 | 条款 | 引用本体合同类目枚举 | 按条款约定的核心义务归类，一条条款只归一类 | 跨两类的按主要义务归类并标注次类 | | 风险类型 | 条款 | 枚举（权利义务不对等、履约条件不明、违约救济不足、争议解决不利、合规瑕疵等） | 须指向文字片段位置区间 | 无风险的标注「无」，不留空 | | 风险等级 | 条款 | 高／中／低 | 按金额影响、履约可行性、救济难度三要素综合 | 要素之间冲突的提交仲裁 | | 合规判定结论 | 条款 | 合规／不合规／需关注 | 须指明对照的制度或标准条款编号 | 对照依据缺失的标注「无法判定」并填原因码 | | 八大核心要素·是否存在 | 文档 | 存在／缺失 | 以是否有可识别的约定文字为准 | 在附件中约定的计为存在并标注附件位置 | | 八大核心要素·表述完整性 | 文档 | 完整／不完整／缺失 | 不完整须标注缺失子项 | — | | 模板差异类型 | 条款 | 新增／删减／修改／一致 | 以指定模板版本为基线逐条对照 | 条款顺序调整但内容一致的计「一致」 | | 修改方向 | 条款 | 我方义务加重／减轻／中性 | 仅对「修改」类条款标注 | — | #### 1.4.2 历史选型方案的标注 四五百套历史选型方案全部以文档形式散存，没有结构化库，这是本项目选型场景的主要数据困难。标注的任务是把每份方案里的选型关键要素及其与选型结果的对应关系标出来（b1466、b1467、b1468）。 选型关键要素按招标文件列明的八类标注：输送能力、输送距离、倾角、煤层厚度、工作面条件、配套设备、可靠性要求、特殊定制要求。标注规范对每一类给出字段定义与单位：输送能力标注额定输送量与单位，输送距离标注铺设长度与是否含弯曲段，倾角标注范围与正负向，煤层厚度标注厚度区间与采高类型（超长、常规、大采高、薄煤层），工作面条件标注顶底板条件、瓦斯等级与涌水情况，配套设备标注采煤机、液压支架、破碎机的型号与关键接口参数，可靠性要求标注设计寿命与可用率要求，特殊定制要求以自由文本加分类标签记录。 选型结果标注整机机型、槽宽档位、动力部功率、链条链环直径、减速器配置与关键部件配置六项。在要素与结果之间标注对应关系标签，这是本任务区别于一般信息抽取的地方：标注员需要判定并标注「哪些要素是决定这一项配置的主导要素」，例如链条链环直径的主导要素通常是输送能力与输送距离的组合而非倾角单项。这一标签使数据集能够支撑选型场景的推荐理由生成，而不只是输入输出映射。 接口参数一类要素在历史资料中常常没有规范留痕——截深、截高、推移步距是矿方与各设备厂家会商后确定的，往往只存在于交流过程中。标注规范对此设「来源可信度」字段，取值为方案正文明示、附件推算、专家补充确认、不可得四档。标注为「专家补充确认」的样本在元数据中标明补充人工号与确认日期；标注为「不可得」的样本仍进入数据集，但在数据卡的局限性说明中计入覆盖不足项，不以推测值填充。 此外标注方案的实际使用效果分级，这是选型场景闭环优化的线索来源。效果分级取值为投运良好、投运中有调整、投运有问题、未投运或无反馈四档，依据为售后服务与备件管理系统的服务工单、远程运维平台的事件记录与业务专家的确认意见。无反馈的样本不参与偏好对齐子集的优劣判定。 #### 1.4.3 订单、库存与排产数据的标注 这类数据是结构化业务数据，标注的任务是在其上标注需求预测标签与库存决策标签（b1469、b1470）。 需求预测标签的标注方式是在历史时点上回看：对某一物料在某一时点标注其后续真实需求量，以及该时点可获得的信息（商机、销售预测、需求计划、在库、在途、项目占用），构成「可得信息—真实需求」的监督样本对。标注的难点不在取数而在时点口径：商机与销售预测、企业资源计划的需求计划、仓储管理的实物库存三者的数据时点必须统一，否则样本会携带未来信息。标注规范规定以自然月末日 24 时为统一时点，跨时点数据按最近快照取值并记录快照时间，无法对齐到同一时点的物料不进入该批次。 库存决策标签标注的是「在当时的条件下应当采取什么动作」，取值为正常补货、分批锁定、提前锁定、暂缓采购、寻找替代、呆滞处置六类。标注依据是物料分层结果（按周转性、时效性、单价、专用程度与缺料代价分层）与当期的保交付红线与资金上限约束。 由于历史上并不存在明确的「应当动作」记录，这一标签由业务专家回溯判定，标注规范要求同一样本由两名专家独立判定，不一致的进入仲裁，并在元数据中标明该标签为专家回溯判定而非历史事实记录。该标识决定子集用途：这类样本在验证环节只用于评估模型与专家判断的一致性，不作为客观真值计算绝对准确率。 表 1-4　供需计划域标注产出与支撑场景的对应 | 标注对象 | 主要标签 | 产出样本形态 | 支撑的验证场景 | |---|---|---|---| | 招投标文件与合同文本 | 条款类型、风险点、合规判定、八大核心要素完整性、模板差异 | 条款级标注样本、文档级要素完整性样本、差异对照样本 | 合同合规审查智能助手 | | 历史选型方案 | 八类选型关键要素、六项选型结果、要素—结果对应关系、效果分级 | 要素—结果配对样本、推荐理由样本 | 产品智能选型 | | 订单、库存与排产数据 | 需求预测标签、库存决策标签、物料分层 | 可得信息—真实需求样本对、决策动作样本 | 库存控制智能化 | #### 1.4.4 本域的易混淆边界、正反例与仲裁口径 本域各标签的易混淆边界、正反例与仲裁依据按表 1-4A 执行。表中「典型误标」即 1.2.2 节标注规范要求的反例，随规范一并发布并抽取进入黄金集；「抽检重点」为 1.9.1 节常规抽检比例之外另行全检或加抽的范围，「返工触发」为该字段单独触发批次返工的条件。 表 1-4A　供需计划域标注的易混淆边界、正反例与仲裁口径 | 标签字段 | 易混淆边界的划法 | 正例 | 典型误标（反例） | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 | |---|---|---|---|---|---| | 条款类型 | 按条款实际约定的核心义务归类，不按条款标题归类；标题与正文指向不同的以正文为准，标题记入备注 | 标题为「质量保证」而正文约定检验与验收方法的，归检验验收类，次类记质量保证 | 按标题归类，把正文约定付款节点的条款归入质量类 | 以该条款被违反时受损的权利与可主张的救济为准；两人各自指向不同义务句的，由合同专业专家裁定主要义务 | 标题与正文不一致的条款全检；该字段抽检合格率低于 90% 即批次返工 | | 风险等级 | 高与中的分界在于单一要素是否足以导致履约不能或救济落空；金额影响、履约可行性、救济难度三要素中任一达到该程度即为高 | 违约责任未约定计算基数且赔偿上不封顶的，计高 | 因条款措辞生硬或语气强硬即判高 | 三要素逐项评定后取最高项；评定不一致的由合同与业务两方专家会签定档 | 判「高」的条款全检；高风险误判率超规范给定线即批次返工 | | 八大核心要素·表述完整性 | 「缺失」指无任何可识别的约定文字；「不完整」指有约定但缺少使其可执行的子项 | 约定交货期限而未约定交货地点的，计「不完整」并标缺失子项「交货地点」 | 把已在附件中约定的要素计为「缺失」 | 以该要素能否据以主张履行或违约为准；附件约定的计为存在并标附件位置 | 计「缺失」的要素项全检；缺失项误判率超线即批次返工 | | 模板差异类型 | 措辞变化而义务主体、内容、数量或金额、时限四要素均未改变的计「一致」；任一要素改变的计「修改」 | 「乙方应于验收合格后三十日内支付」改为「验收合格后 30 日内由乙方支付」，计一致 | 把条款顺序调整或编号变化计为「修改」 | 逐项比对义务四要素，有一项不同即判修改；分歧条款由合同专业裁定 | 计「一致」的条款按 10% 复核；同一模板版本下差异判定分歧超过三处即全批复核 | | 选型要素·来源可信度 | 「附件推算」指依方案附件数据按公式算得；「专家补充确认」指方案正文与附件均无记载、由专家凭经验给出 | 截深在正文与附件均未载、由专家依同类项目给出的，计专家补充确认并记工号与确认日期 | 把附件中可直接查得的数值标为专家补充确认 | 以是否存在可指向的原文位置为准：存在原文位置的一律不得标为专家补充确认 | 标为「专家补充确认」的字段全检；该档误标率超线即批次返工 | | 历史方案效果分级 | 「投运中有调整」指投运后在参数或配套上做过调整而未发生停机、返修或索赔；「投运有问题」指三者之一发生过 | 投运后更换过链条规格、未发生停机的，计投运中有调整 | 以用户口头反馈的好坏直接定级 | 以服务工单与远程运维平台事件记录为准；两类记录冲突的以服务工单为准并记录差异 | 计「投运有问题」的样本全检；无工单或事件记录支撑的定级超过批次 5% 即返工 | | 库存决策标签 | 「提前锁定」用于需求尚未最终确定即先行锁定产能或物料；「分批锁定」用于需求已确定、按批次释放 | 长周期减速器在中标后、技术协议签订前先锁定产能的，计提前锁定 | 把常规件的例行补货计为提前锁定 | 由供应链专业专家按当期保交付红线与资金上限复算；两名专家不一致的进入仲裁并在样本中保留双方意见 | 按 1.9.1 节判断档比例抽检，两名专家判定不一致的样本全检；仲裁后仍不一致比例超线即返工 | | 需求预测样本的时点口径 | 各源数据统一取自然月末日 24 时快照；无法对齐到同一时点的物料不进入该批次 | 以某年 6 月 30 日 24 时的在库、在途与需求计划快照构成一条样本 | 以当日最新库存搭配上月末需求计划，样本携带未来信息 | 以各源系统的快照时间戳为准；无快照记录的样本剔除，不以人工推断补齐 | 全批次自动校验快照时间戳一致性，人工复核剔除清单；时点不一致样本比例超过 1% 即批次返工 | ### 1.5 产品工艺设计域数据标注 产品工艺设计域是本项目标注工作量最集中的部分：63 万张历史图纸与与之成对的工艺卡片，需要标注出「图纸—特征—工序—卡片—参数」的全链路对应关系。 #### 1.5.1 图纸标注的两个层次 图纸标注分几何层与工艺层两个层次。几何层标注的是图上画了什么，工艺层标注的是这些几何要素意味着什么加工动作。两层的标注者、标注方式与质检方式都不同，必须分开组织。 几何层标注图元、尺寸标注、技术要求、标题栏与明细栏字段、零件特征（b1471、b1472）。由于本项目直接读取原生 CAD 图纸文件而不依赖截图识别，图元、图层、线型与尺寸标注在解析阶段即可获得结构化结果，几何层标注的实际工作是核对与补齐：核对解析结果与图面是否一致，补齐解析不出的视图投影对应关系（哪个视图是主视图、哪些视图是同一特征的不同投影）。标题栏与明细栏字段按企业图纸模板的字段位置抽取后人工核对，重点核对材料牌号、板厚、图号、版次四项——这四项错了，后续全链路都错。 工艺层标注加工特征。招标文件列明的特征包括阵列特征的数量、位置与尺寸，折弯特征与折弯线补偿尺寸，共料、天窗与工艺孔（b1472、b1473）。这些特征的判定需要工艺判断：一组孔是不是阵列特征、天窗是出于减重还是出于工艺需要、两个零件之间能不能共料，都不是几何规则可以单独决定的。标注规范对每类特征给出判定准则与边界情形，并要求标注依据指向图面位置。 表 1-5　图纸标注的标签集与粒度 | 层次 | 标签字段 | 粒度 | 取值域或格式 | 判定要点 | |---|---|---|---|---| | 几何层 | 图元 | 图元 | 类型枚举＋几何参数 | 以解析结果为基础人工核对 | | 几何层 | 尺寸标注 | 标注实体 | 数值＋公差＋基准 | 核对关联的几何要素是否正确 | | 几何层 | 技术要求 | 文本块 | 结构化字段＋原文 | 识别粗糙度、坡口、倒角、公差所指的作用表面范围 | | 几何层 | 标题栏字段 | 图纸 | 图号、名称、材料牌号、板厚、数量、版次、签署 | 材料牌号与板厚为关键字段，双人核对 | | 几何层 | 明细栏字段 | 行 | 序号、代号、名称、数量、材料、备注 | 与产品结构数据对照 | | 几何层 | 视图投影关系 | 视图组 | 主视图标识＋投影对应 | 解析不出，人工标注 | | 工艺层 | 零件特征 | 特征实例 | 特征类型枚举＋所在图面位置 | 引用本体工件品类与特征类目 | | 工艺层 | 阵列特征 | 特征实例 | 数量＋位置坐标集＋单元尺寸 | 规则排布但工艺上不同批加工的不计阵列 | | 工艺层 | 折弯特征 | 特征实例 | 折弯线位置＋角度＋内弯半径＋补偿尺寸 | 补偿尺寸按中性层公式核算，与标注值不符的标注差异 | | 工艺层 | 共料标识 | 零件对 | 可共料／不可共料＋共料方式 | 须同材料牌号、同板厚，且轮廓可嵌套 | | 工艺层 | 天窗与工艺孔 | 特征实例 | 类型＋用途（减重／装配／工艺／排屑） | 用途判定需工艺判断，不可由几何推定 | #### 1.5.2 工艺卡片标注与全链路对应 工艺卡片标注工序序列、工艺参数与工装要求（b1474）。备料分厂的工序集合是封闭的，当前掌握的口径为 28 道，以工艺部门确认的正式工序字典为准。标注时工序取值只能从该字典中选，这使工序标签天然具备封闭取值域，一致性相对容易保证；真正的标注难点在工序序列的顺序关系与前后依赖——同样几道工序，顺序不同则工艺不同，标注必须保留顺序并标注哪些顺序关系是强制依赖、哪些是可调的。 工艺参数按工序类型标注：下料工序标注切割方式、切割速度、割缝补偿；压弯工序标注压模号、折弯顺序、展开长；制孔工序标注孔径、孔位公差、加工方式。工装要求标注设备编码、压模号与样板号，取值与设备资源库对齐。 全链路对应是本小节的核心产出。对应关系按「图纸→特征→工序→卡片行→参数」逐级建立，每一级的对应关系都是一条显式标签而不是推断结果（b1474）。建立方式是：标注员在图纸上选中一个特征，在卡片上选中一行工序，建立二者的对应边，并标注这条边的类型（该工序为加工该特征而设／该工序为该特征的前置准备／该工序服务于多个特征）。一张图纸对应的卡片通常有十余行工序，特征数十个，对应边的数量在数十条量级，这是工艺层标注工时的主要去向。 图纸 DWG／DXF 原生件 图元・图层・线型 尺寸标注・公差 标题栏・明细栏 视图投影关系 特征 轮廓・孔・方孔 阵列特征 折弯特征＋补偿 共料・天窗 工艺孔 工序 封闭工序集合 当前口径 28 道 序列与顺序关系 强制依赖标识 禁止条件 卡片 卡片行＝工序实例 设备编码 压模号・样板号 工时定额 材料定额 参数 切割方式与速度 割缝补偿 折弯顺序・展开长 孔径与孔位公差 粗糙度要求 特征提取 对应边 实例化 参数取值 对应边类型：① 该工序为加工该特征而设　② 该工序为该特征的前置准备　③ 该工序服务于多个特征 每条对应边记录建立者工号、规范版本与校验结论；一张图纸的对应边数量通常在数十条量级。 产出：指令微调样本 指令＝「按图纸编制备料工艺卡片」 输入＝图纸特征集；响应＝工序序列＋参数＋依据 产出：基准评测题目 题目＝给定图纸，判定工序序列是否正确 标准答案＝历史已审核卡片；判分规则＝序列编辑距离 图 1-3　「图纸—特征—工序—卡片—参数」全链路标注的对应关系与产出形态。数据来源：招标文件 3.2.6.3.5 第（2）项（b1471–b1475）与 3.2.6.5.1.2 板材备料工艺智能设计场景要求（b1621 节）；工序道数口径见 1.5.2 节。 #### 1.5.3 历史成对样本的利用口径 每张图纸历史上都配有一张已审核签发的工艺卡片，这是本项目最有价值的存量资产。但「成对」不等于「可直接用」，有三件事必须先做：配对关系确认、版次对齐与质量分级。 配对关系确认解决的是配对信息存在于人的记忆与文件目录中的问题。确认方式是以图号与版次为键在产品全生命周期管理系统与工艺文件库中建立配对候选，由工艺人员确认；图号相同但版次不同的按版次就近配对并标注版次差异；无法确认配对的图纸不进入全链路标注批次，单独入库作为图纸单模态样本使用。 版次对齐解决的是图纸改版而卡片未同步改版的情形。标注规范要求对每一对样本标注「图纸版次—卡片版次是否一致」，不一致的标注差异原因（图纸升版未改工艺／工艺升版未改图／记录缺失），这类样本不进入基准评测子集。 质量分级解决的是历史卡片本身的质量参差。分级依据三项：卡片字段完整度、是否经过审核签发、是否有实际投产记录。三项俱全的为 A 级，可进入基准评测子集作为标准答案来源；缺投产记录的为 B 级，进入指令微调子集；字段不完整或未审核签发的为 C 级，仅进入预训练子集的文本语料，不作为监督信号。 这一分级口径同时回答了一个覆盖度问题：63 万张图纸中约七八成属于可借用、可对照的既有零件，意味着特征与工序的组合存在大量重复。标注计划按特征组合去重后分层抽样，优先标注特征组合覆盖度高的样本，对重复组合按比例抽样而非全量标注，使标注工时投向边际信息量最大的样本。抽样比例、覆盖度统计与剩余未标注样本的处置在批次台账中记录。 #### 1.5.4 本域的易混淆边界、正反例与仲裁口径 本域各标签的易混淆边界、正反例与仲裁依据按表 1-5A 执行。表中「典型误标」即 1.2.2 节标注规范要求的反例，随规范一并发布并抽取进入黄金集；「抽检重点」为 1.9.1 节常规抽检比例之外另行全检或加抽的范围，「返工触发」为该字段单独触发批次返工的条件。 表 1-5A　产品工艺设计域标注的易混淆边界、正反例与仲裁口径 | 标签字段 | 易混淆边界的划法 | 正例 | 典型误标（反例） | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 | |---|---|---|---|---|---| | 阵列特征 | 几何上规则排布、且工艺上一次装夹按同一程序连续加工的计阵列；规则排布但分属不同工序或不同装夹的不计 | 同一板面等距分布、一次装夹连续钻削的十二个同径螺栓孔，计阵列并标数量、位置坐标集与单元尺寸 | 把两端对称分布但分属折弯前后两道工序加工的孔组合并计为一个阵列 | 由工艺专家按加工程序是否连续、装夹是否同一裁定 | 阵列实例数两个以上的图纸全检单元尺寸与坐标集；阵列误标率超线即批次返工 | | 天窗与工艺孔·用途 | 用途按设计意图判定，不由孔形与尺寸推定；设计意图无记载的取「无法判定」并填原因码 | 腹板上为减重开设的大圆孔，依设计说明计减重 | 按孔径大小一律把大孔判减重、小孔判工艺 | 以图纸技术要求、同族零件历史卡片、设计说明为序取证；均不可得的保留「无法判定」 | 用途标「工艺」的实例全检；用途误判率超线或「无法判定」未填原因码即批次返工 | | 共料标识 | 须同时满足同材料牌号、同板厚、轮廓在标准板幅内可嵌套三条；任一不满足即判不可共料 | 同牌号、板厚同为 20 mm 且轮廓互补的两件压板，判可共料并标共料方式 | 仅因两件外形相近即判可共料，忽略板厚不同 | 由排料工艺专家按标准板幅复核嵌套可行性 | 判「可共料」的零件对全检材料牌号与板厚；出现牌号或板厚不一致的误判即批次退回 | | 折弯补偿尺寸 | 图面标注值与按中性层公式核算值不一致时，标注差异并记录核算参数，不改写图面标注值 | 图面标注展开长 1 242、核算 1 238，标差异 +4 并记板厚、内弯半径与折弯角 | 按核算值覆盖图面标注值 | 以图纸版次与工艺卡片的实际投产记录为准；仍不一致的提交工艺部门定案 | 差异绝对值超规范给定容限的全检；核算参数缺失比例超线即批次返工 | | 视图投影关系 | 主视图以标题栏方位与最能反映形状特征的视图为准；两者冲突的以技术要求与加工基准为准 | 标题栏方位与形状特征一致时直接取为主视图，其余视图按投影方向连边 | 把局部放大图标为独立视图并单独建立投影关系 | 由制图专业按投影法与加工基准裁定 | 含三个以上视图的图纸按 20% 抽检；投影关系错误导致特征归属错位的即批次退回 | | 工序对应边类型 | 「为加工该特征而设」指该工序直接形成或去除该特征；「前置准备」指为后续加工创造条件而不直接形成该特征；「服务于多个特征」指一次作业同时处理两个以上特征 | 制孔工序与其所钻孔特征连「为加工该特征而设」边，其前的划线工序连「前置准备」边 | 把下料工序对该图全部特征逐一连边 | 以工序的加工对象描述与工装要求为准；分歧由工艺专家裁定 | 对应边数显著偏离同类图纸均值的样本全检；对应边缺失或冗余比例超线即批次返工 | | 工序顺序·依赖性质 | 「强制依赖」指顺序颠倒导致工艺不可行或质量不合格；「可调」指顺序改变不影响加工结果 | 先制孔后折弯与先折弯后制孔对孔位精度影响显著的，判强制依赖 | 把车间的习惯作业顺序一律判为强制依赖 | 以工艺规程的禁止条件与历史返修记录为准 | 判「可调」的顺序对按 10% 复核；强制依赖漏标即批次退回 | | 卡片质量分级 | 字段完整度、审核签发、投产记录三项分别判定，三项俱全为 A、缺投产记录为 B、字段不完整或未签发为 C，三项之间不互相折抵 | 字段完整、经审核签发、有投产记录的卡片判 A，可进基准评测子集 | 以卡片填写工整、版面规范判为 A | 以工艺文件库的签发记录与制造执行记录为准 | 判 A 级的样本全检（直接决定基准评测子集来源）；出现 A 级误判即该批次全部 A 级样本复核 | ### 1.6 制造过程域数据标注 制造过程域的标注对象有两类形态：时序片段与图像。两类形态的标注方式差别很大，但都要解决同一个困难——把过程数据与物理工件、工艺事件对应起来。 #### 1.6.1 热处理与焊接时序片段的标注 时序片段标注工艺阶段、参数偏差与异常事件三组标签（b1476）。 工艺阶段标注的是这一段曲线处于工艺程序的哪个阶段。热处理按升温、保温、冷却、返热四个阶段标注，焊接按起弧、稳定焊接、摆动、收弧与中断五个阶段标注。阶段边界的判定不能单靠参数阈值：装炉量不同时升温段的斜率差别很大，同一条曲线上保温段与升温段的分界点需要结合设定程序与实际工况判断。标注规范规定以设定程序的阶段切换时点为第一依据，以实际温度达到设定值并稳定为第二依据，两者差异超过规范给定容限的标注为「阶段切换异常」并作为异常事件记录。 参数偏差标注的是实际值相对设定程序的偏离。标注三个字段：偏差维度（温度、功率、频率、电流、电压、淬火液流量、淬火液温度、淬火液浓度、感应器间隙、焊接速度、送丝速度、保护气体流量、焊枪摆动振幅与频率、焊枪停留时间等）、偏差方向与偏差幅度。幅度按规范给定的分档标注而不标注原始数值差，原因是原始差值在样本流通中可能涉及工艺参数敏感信息，分档标注既保留了训练所需的信息量，也降低了敏感度。分档口径随业务域统一，在标注规范中明确。 异常事件标注的是在这一片段中发生了什么值得记录的事。取值引用本体中的故障模式与异常事件类目，包括阶段切换异常、参数越限、参数振荡、传感器疑似失效、设备报警、人工干预、作业中断等。每个异常事件标注起止时间、涉及测点与严重程度，并在可能时标注与质量结果的关联——这一关联标签是热处理场景与焊接场景最需要的信息，也是最难标的，因为它要求标注员能够把这一炉的曲线异常与后续的硬度检验、切片结果对应起来。 设备运行时序的工况标注按招标文件列明的六类标注：启停、空载、正常运输、重载、过载、堵转（b1477）。这六类工况的判定对刮板输送装备健康诊断场景是前提性的——不先分段，基线就无法建立。标注的难点在于三机联动的耦合干扰：刮板输送机被液压支架推移、被采煤机在机身上行走，在役监测信号中含有大量来自其他设备的耦合干扰。标注规范要求对每个时间窗额外标注「是否存在耦合干扰」与「干扰来源判断」，标注为存在耦合干扰的窗口在基线计算中单列，不与纯工况窗口混算。 故障模式、劣化阶段与根因判定三组标签解决的是「报警不少、故障标签很少」的问题（b1477、b1478）。标注方式是以报警时间窗为锚点向前后扩展，调取同期的维修工单、派工记录与备件出库流水，由专业人员判定本次报警对应的故障模式、当时处于哪一劣化阶段（正常、早期劣化、明显劣化、功能失效四档）与根因。 关键口径是：维修事实缺失的报警不标注故障模式，标注为「未闭环报警」，这类样本用于训练报警归并与去噪能力，不用于训练故障诊断能力。两类用途在样本元数据中区分，避免未验证的报警被当作故障真值。 表 1-6　时序片段标注的窗口口径与标签集 | 对象 | 切分方式 | 窗口长度口径 | 主要标签 | 元数据要求 | |---|---|---|---|---| | 热处理炉次曲线 | 按炉次工单与开完工记录锚定，内部按工艺阶段切分 | 整炉次为一条主样本，阶段段为子样本 | 工艺阶段、参数偏差、异常事件、与质量结果关联 | 炉次号、装炉工件清单、材料批次、码装方式、装炉量、设定程序版本 | | 焊接参数流 | 按起弧与收弧事件锚定，一道焊缝为一个基本单元 | 一道一档，长焊缝按段细分 | 工艺阶段、参数偏差、异常事件、焊道标识 | 工件标识、焊道编号、焊丝牌号与直径、预热与层间温度、焊接位置 | | 设备运行时序（在役装备） | 按运行工况变化点与报警事件锚定切分 | 常态窗口 10 分钟量级，事件窗口按事件前后扩展 | 六类运行工况、耦合干扰标识、故障模式、劣化阶段、根因 | 设备编号、测点配置、采样周期、同期工单与备件记录 | | 设备运行时序（产线设备） | 按启停与报警代码锚定切分 | 按作业批次 | 运行工况、设备报警代码、人工干预 | 设备编码、报警代码字典版本 | 时间窗长度的具体取值在首批试标后按实测标定。标定方式是：对同一段数据按三种候选窗长分别标注，比较标注一致性与下游训练效果，取一致性与效果综合最优的窗长作为该对象的标准窗长，并在标注规范中固化。这一标定过程的记录进入数据集卡片的建设过程说明。 #### 1.6.2 熔池图像与焊道表面图像的标注 图像标注的任务是标注焊接缺陷类型与位置（b1478、b1479）。缺陷类型引用本体中的十类焊接缺陷：热裂纹、冷裂纹、偏焊、咬边、夹渣、烧穿、未熔合、未焊透、气孔、焊瘤。位置以多边形或矩形框标注，标注规范按缺陷类型指定框型——线状缺陷（裂纹、未熔合、未焊透）用折线加宽度，面状与点状缺陷（气孔、夹渣、焊瘤、咬边、烧穿）用多边形或矩形。 表面图像的标注范围有一条硬边界：熔池图像与焊后焊道表面图像所能观察到的是表面形貌，未熔合、未焊透一类内部缺陷在表面图像上通常不可见。标注规范因此规定表面图像上的缺陷标注只针对表面可观察缺陷；内部缺陷的标签来源于无损检测结果，以检测报告为依据，通过工件标识与焊道编号关联到图像样本，在样本中以「关联检测结论」字段记录而不作为图像上的标注框。这一分离避免了让图像数据集携带不可由图像推出的标签，否则在验证环节会表现为模型学到了伪关联。 缺陷等级标注依据企业检验标准与相关行业标准的判定条款，取值为合格、轻微超标、严重超标三档，并记录所依据的标准条款编号。等级判定由检验岗位人员承担，不由图像标注员判定。 熔池图像的标注另有一层特殊性：熔池形貌与焊接参数之间的关系是焊接场景最关心的，但熔池图像上并不直接呈现缺陷，它呈现的是过程状态。标注规范对熔池图像设独立标签集：熔池形态（正常、偏移、过宽、过窄、不稳定）、熔池边界清晰度、飞溅程度，并与同时刻的焊接参数流建立时间对齐标注。这组样本支撑焊接过程控制智能监控场景的过程判别能力。 #### 1.6.3 工件外观图像与热处理质量关联标注 工件外观图像标注烧伤、裂纹等热处理外观缺陷，并关联硬度指标、切片结果与淬火层深（b1479、b1480）。 缺陷标注与焊道图像同法：类型引用本体两类热处理外观缺陷，位置以多边形标注，等级由检验岗位判定。真正的工作量在关联标注。一个工件的外观图像、硬度检验记录、切片结果与淬火层深测量结果分散在质量管理系统、实验室记录与纸质检测报告中，纸质检测报告数量可观但尚未数字化。关联标注的作业顺序是：先以工件标识为键建立关联候选，再由质量人员确认；纸质报告先经扫描与结构化录入后进入关联，录入过程的质量按双录比对控制，比对不一致的条目进入人工裁定。 关联标注的产出是一条「工件—外观图像—硬度指标—切片结果—淬火层深—质检结论」的复合样本。这条样本同时服务于制造过程数据集与产品质量数据集，在两个数据集中以同一工件标识关联而不复制内容，避免同一事实在两个数据集中出现口径不一致的两份副本。 表 1-7　制造过程域图像标注的标签集与标签来源 | 图像类型 | 图像上标注的标签 | 不在图像上标注、由外部关联的标签 | 标签来源 | |---|---|---|---| | 熔池图像 | 熔池形态、边界清晰度、飞溅程度 | 同时刻焊接参数、本道焊缝检测结论 | 参数流对齐、无损检测报告 | | 焊后焊道表面图像 | 表面可观察缺陷类型与位置、缺陷等级 | 内部缺陷结论、力学性能结果 | 无损检测报告、检验记录 | | 工件外观图像（热处理后） | 烧伤、裂纹的类型、位置与等级 | 硬度指标、淬火区域均匀性、切片结果、淬火层深 | 质量管理系统、实验室记录、纸质报告数字化结果 | #### 1.6.4 产出样本的两种形态 本域标注的产出按招标文件要求组织为两种形态：「时序片段—事件—诊断说明」与「图像—缺陷—判定」（b1480—b1482）。 「时序片段—事件—诊断说明」样本的三段分别是：一段带测点与采样周期说明的时序数据、一组标注出的事件、一段以自然语言写成的诊断说明。诊断说明不是自由评论，它按固定结构撰写：现象描述、涉及测点与偏离方向、判定的故障模式与劣化阶段、根因、建议处置与检查顺序、证据等级。证据等级一栏明确本条诊断的依据强度（有维修事实闭环、有同类历史案例、仅有参数证据三档），这一字段使数据集在验证环节可以按证据等级分层评估，也使下游场景能够按证据等级决定输出的确信程度。 「图像—缺陷—判定」样本的三段分别是：图像与其采集条件说明、标注出的缺陷框与类型、判定结论与依据标准条款。采集条件说明包含相机位置、光照条件、分辨率与采集时点，这一信息在增强环节决定哪些几何与光照变换是合理的，在验证环节决定评测结果的适用范围。 #### 1.6.5 本域的易混淆边界、正反例与仲裁口径 本域各标签的易混淆边界、正反例与仲裁依据按表 1-7A 执行。表中「典型误标」即 1.2.2 节标注规范要求的反例，随规范一并发布并抽取进入黄金集；「抽检重点」为 1.9.1 节常规抽检比例之外另行全检或加抽的范围，「返工触发」为该字段单独触发批次返工的条件。 表 1-7A　制造过程域标注的易混淆边界、正反例与仲裁口径 | 标签字段 | 易混淆边界的划法 | 正例 | 典型误标（反例） | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 | |---|---|---|---|---|---| | 工艺阶段边界（升温与保温） | 以设定程序的阶段切换时点为第一依据，实际温度达到设定值并稳定为第二依据；两者差异超容限的另记「阶段切换异常」 | 设定保温温度下实测到达并持续波动在设定容限内的，按设定切换时点划界，另记实测到达时刻 | 仅以温度曲线斜率拐点自行划界，不查设定程序版本 | 由热处理专业专家按设定程序版本与装炉量裁定 | 装炉量超出常规范围的炉次全检；阶段边界偏差超容限的样本比例超线即批次返工 | | 异常事件：参数越限与参数振荡 | 越限指参数超出设定容限带；振荡指在容限带内反复穿越设定值且频次超过规范给定线 | 温度在容限带内每分钟多次穿越设定值且持续数分钟的，标参数振荡 | 把单次尖峰或一次过冲计为振荡 | 按该测点的采样周期与滤波口径复算后裁定 | 同一片段同时标越限与振荡的全检；两类混标率超线即批次返工 | | 运行工况：重载与过载 | 以额定负载为基准，持续处于额定以上而未触发保护的计重载；超过保护整定值或已触发保护的计过载 | 负载持续高于额定、保护未动作的连续窗口，标重载 | 以电流单点峰值直接判过载 | 以设备铭牌额定值与保护整定值为准；铭牌不可得的由设备专业给出基准并记录来源 | 判过载的窗口全检；过载误判率超线即批次返工 | | 耦合干扰标识 | 窗口内有采煤机行走或液压支架推移的事件记录，且信号呈现与该事件同步的特征的，标存在耦合干扰并标来源；仅有事件记录而信号无对应特征的不标 | 推移事件时间段内振动信号出现同步冲击的窗口，标存在耦合干扰、来源为支架推移 | 把全部重载窗口一律标为存在耦合干扰 | 以三机联动的事件时间戳与信号互相关结果为准 | 标存在耦合干扰的窗口按 20% 复核；基线计算窗口中混入耦合窗口即批次退回 | | 劣化阶段 | 早期劣化指特征量偏离基线但在报警阈值内；明显劣化指达到或超过报警阈值而功能尚存；功能失效指丧失规定功能 | 特征量已越报警阈值、设备仍在运转且当班完成生产任务的，标明显劣化 | 以报警次数多少直接定劣化阶段 | 以维修工单记载的实际处置与更换件状态为准；维修事实缺失的不定阶段 | 判「明显劣化」的样本全检；无维修事实支撑的阶段判定出现即批次退回 | | 故障模式与未闭环报警 | 维修工单、派工记录、备件出库流水任一可构成闭环证据的，标故障模式；三者皆无的标「未闭环报警」，不标故障模式 | 报警时间窗后有派工与备件出库记录的，按处置内容标对应故障模式并引用凭证编号 | 按报警代码字典直接映射为故障模式 | 以可追溯的处置凭证为唯一依据，不由经验补判 | 标故障模式的样本全检凭证引用；出现无凭证的故障模式标注即批次退回 | | 熔池形态：过宽与不稳定 | 过宽指熔池宽度持续超出该工艺窗口上限；不稳定指宽度或边界在相邻帧间反复变化且幅度超线 | 连续帧序列中宽度持续高于上限而波动不大的，标过宽 | 把单帧飞溅遮挡造成的边界模糊判为不稳定 | 由焊接专业按连续帧序列而非单帧复核 | 同时标过宽与不稳定的样本全检；两类混标率超线即批次返工 | | 表面可观察缺陷与内部缺陷 | 图像上只标表面可观察缺陷；未熔合、未焊透等内部缺陷不在图像上标框，由无损检测结论经工件标识与焊道编号关联写入「关联检测结论」字段 | 焊道表面咬边标多边形框，同件的未焊透结论写入关联检测结论字段 | 依表面凹陷推断未熔合并在图像上标注缺陷框 | 以无损检测报告为准，图像标注不得推翻或补充检测结论 | 标注含线状缺陷的图像全检；图像上出现内部缺陷标框即整批退回 | | 咬边与偏焊 | 咬边为母材侧沟槽状缺口，偏焊为焊缝中心线相对坡口中心线偏移；两者可并存，分别标注 | 焊缝整体偏向一侧且该侧母材有连续沟槽的，同时标偏焊与咬边 | 把偏焊造成的一侧母材边缘缺口统标为咬边 | 以坡口中心线位置与缺陷所在侧为准 | 咬边样本按 20% 复核；两类混标率超线即批次返工 | ### 1.7 产品质量域数据标注 本域标注三类对象：各环节检验记录、工件外观缺陷图像、以及质量结果与关键工艺参数的关联关系。 检验记录标注检验项、判定结论与不合格类型（b1483）。检验记录覆盖进厂检验、制程检验、出厂检验与成品检验四个环节，各环节的检验项目字典不同，标注时引用本体中的质量特性与检验项类目，并按环节区分。判定结论取值为合格、不合格、让步接收、复检合格四类——「让步接收」与「复检合格」在企业实际业务中占一定比例，若简化为二值会丢失重要信息，故单设取值。 不合格类型按企业不合格品分类标准标注，并标注处置方式（返修、返工、报废、让步接收）与处置依据票据编号。质量管理系统新上线且正在推行，缺陷描述为文字且未与工艺参数关联，因此检验记录的文字描述需要先做结构化标注：从自由文本的缺陷描述中标注出缺陷部位、缺陷形态、缺陷尺寸与发现工序四个字段。 工件外观缺陷图像标注缺陷类型、位置与等级（b1484），标注方式与 1.6.3 节一致，不重复论述；两处的差别在于本域的标注更侧重缺陷等级与判定依据的严密，因为质量数据集要支撑智能质量检验与缺陷自动分类场景，判定结论的权威性要求更高。 关联关系标注是本域的重点（b1484—b1487）。要标注的是淬火硬度、淬火区域均匀性、切片结果与质检结论同加热功率、加热温度、淬火液流量、冷却时间等关键工艺参数之间的关联关系。这一标注的实质是建立因果候选而不是断言因果：标注员标注的是「这一质量结果对应的是这一组工艺参数」的对应关系，以及「业务专家认为本次质量异常的主导参数是哪一项」的专家判断。两者在样本中分列两个字段，前者是事实对应，后者是专家意见，不混为一谈。 表 1-8　产品质量域关联标注的字段结构 | 字段 | 性质 | 取值 | 来源与判定 | |---|---|---|---| | 工件标识 | 事实 | 工件编号 | 质量管理系统与热处理炉次记录 | | 工艺参数组 | 事实 | 加热功率、加热温度、淬火液温度与浓度与流量、感应器间隙、加热与冷却时间、返热温度 | 数据采集与监控系统、热处理群控系统 | | 质量结果组 | 事实 | 淬火硬度、淬火区域位置与均匀性、切片结果、淬火层深、外观缺陷 | 检验记录、实验室记录、图像标注结果 | | 对应关系置信度 | 事实判定 | 高／中／低 | 按关联键完整程度判定：工件标识与炉次俱全为高，经时间窗推断为中，仅同批次推断为低 | | 主导参数判断 | 专家意见 | 参数项枚举＋无法判定 | 两名业务专家独立判定，不一致进入仲裁 | | 判断依据 | 专家意见 | 结构化文本＋对照的历史批次编号 | 要求给出可比历史批次作为对照 | | 质检结论 | 事实 | 合格／不合格／让步接收／复检合格 | 检验记录 | 对应关系置信度为「低」的样本不进入基准评测子集，可进入预训练子集与指令微调子集，并在数据卡中说明其占比。这一处置口径与 1.4.2 节选型要素「来源可信度」字段的处置口径一致：不可得或低可信度的信息如实标明，不以推测值填充，不同可信度的样本按子集用途分流。 本域各标签的易混淆边界、正反例与仲裁依据按表 1-8A 执行；表中「典型误标」随标注规范一并发布并抽取进入黄金集。 表 1-8A　产品质量域标注的易混淆边界、正反例与仲裁口径 | 标签字段 | 易混淆边界的划法 | 正例 | 典型误标（反例） | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 | |---|---|---|---|---|---| | 判定结论：让步接收与复检合格 | 让步接收指判定不合格但经授权放行；复检合格指复检后判定为合格 | 不合格品经审批放行使用的，标让步接收并记审批票据编号 | 把复检后判合格的记为让步接收 | 以放行审批票据与复检报告为准，两者俱全时以复检报告的最终判定为准 | 这两类取值的样本全检票据引用；票据编号缺失比例超线即批次返工 | | 不合格处置：返修与返工 | 返修指修复后不完全符合规定要求；返工指再加工后完全符合规定要求 | 补焊后重新检验完全合格的，标返工 | 把补焊后复检合格的一律记为返修 | 以复检后是否完全符合规定要求为准，依据复检记录 | 返修样本全检复检记录；两类混标率超线即批次返工 | | 缺陷描述的结构化四字段 | 缺陷部位按本体部件层级取值不用自由文本；形态与尺寸分列；尺寸原文未载的留空并标「原文未载」，不估算 | 「法兰处有裂纹约 10 mm」拆为部位＝法兰、形态＝裂纹、尺寸＝10 mm、发现工序＝该票据所载工序 | 把整句描述填入形态字段，部位与尺寸留空 | 以原始不合格品票的文字为准；文字歧义的由质量专业裁定并记录裁定意见编号 | 含两处以上缺陷描述的记录全检；字段串填比例超线即批次返工 | | 对应关系置信度 | 工件标识与炉次俱全为高；经时间窗推断为中；仅同批次推断为低 | 工件标识与炉次号均可查的关联样本判高 | 以同一天生产即判为高 | 以关联键的完整程度为唯一依据，不由专家经验上调档次 | 判「高」的样本全检关联键；关联键不全而判高的出现即批次退回 | | 主导参数判断（专家意见） | 主导参数为对本次质量结果影响最大的单一参数项；证据不足时取「无法判定」，不取并列值 | 同炉次中仅冷却时间偏离设定且硬度同向偏离的，主导参数取冷却时间并给出对照批次号 | 把本次全部偏离参数都填入主导参数字段 | 两名专家独立判定，不一致的提交第三方专家会签；仍不一致的在样本中并列记录双方意见与各自依据 | 按判断档比例抽检，两名专家判定不一致的样本全检；仲裁后仍不一致比例超线即批次返工 | | 淬火区域均匀性 | 按检测点位间硬度极差与规定限值比较判定，不按外观色泽判定 | 各点位硬度极差在限值内的判均匀性合格，并记录点位数与极差值 | 以工件表面颜色深浅不均判为均匀性不合格 | 以硬度检验记录的点位数据为准 | 判不合格的样本全检点位数据；无点位数据支撑的判定出现即批次退回 | ### 1.8 经营决策域数据标注 本域标注的对象是自然语言提问，产出「问题—指标口径—取数逻辑—答案」四段样本，支撑决策数据智能问答场景。 标注的前提是指标知识库已登记指标口径。知识库覆盖人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量九个业务域，逐项登记指标名称、描述、业务限定、维度、统计周期（日／月／季／年）、统计范围、计量单位与计算逻辑。标注时严格依据指标知识库登记的口径（b1488），不允许标注员自行定义口径。同一业务说法在不同部门可能对应不同指标口径，标注员按自己理解取舍会把口径歧义固化进数据集；口径不明的提问标注「需澄清」并提交指标知识库确认后再标，不自行取舍。 对每个提问标注五组标签：对应的指标项（引用指标知识库的指标标识符）、业务限定、统计维度、统计周期、取数逻辑与标准答案（b1488—b1491）。其中取数逻辑标注为结构化查询意图而非具体 SQL：标注事实表、过滤条件、聚合方式、分组维度与时间范围，使样本不绑定具体的数据库实现。标准答案标注为数值加单位加口径说明三段，口径说明一栏写明本答案所依据的指标版本与数据快照时点，这一栏使答案在数据更新后仍可核验。 本域标注的一个专门处置是口径歧义提问。实际业务中大量提问本身是不精确的，例如「这个月的产值」可能指产值完成额也可能指产值计划完成率。标注规范对这类提问要求标注「需澄清」标识与澄清选项清单，并产出澄清式对话样本：第一轮为用户提问，第二轮为澄清提问，第三轮为用户选择，第四轮为答案。这类样本对决策问答场景的实用性高于强行给出单一答案的样本。 表 1-9　经营决策域标注样本的四段结构与标注要求 | 段 | 内容 | 标注要求 | 质检要点 | |---|---|---|---| | 问题 | 自然语言提问 | 保留业务人员的真实说法，不改写为规范术语 | 提问须属九个业务域之一，跨域提问单列 | | 指标口径 | 指标项、业务限定、统计维度、统计周期、统计范围、计量单位 | 引用指标知识库标识符与版本 | 与指标知识库逐字段核对一致 | | 取数逻辑 | 事实表、过滤条件、聚合方式、分组维度、时间范围 | 结构化查询意图，不写具体 SQL | 按逻辑复算答案可复现 | | 答案 | 数值＋单位＋口径说明（指标版本与数据快照时点） | 须可按取数逻辑复算 | 抽样复算，差异超容限的退回 | 本域各标签的易混淆边界、正反例与仲裁依据按表 1-9A 执行；表中「典型误标」随标注规范一并发布并抽取进入黄金集。 表 1-9A　经营决策域标注的易混淆边界、正反例与仲裁口径 | 标签字段 | 易混淆边界的划法 | 正例 | 典型误标（反例） | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 | |---|---|---|---|---|---| | 指标项选择 | 同名异义指标按业务域与统计范围区分，取指标知识库中唯一的指标标识符；无法唯一确定的标「需澄清」 | 「产值」在提问含完成情况语境时映射到产值完成额，含达成率语境时映射到产值计划完成率 | 把全部「产值」提问统一映射到产值完成额 | 由该指标的口径归口部门确认，确认结论回灌指标知识库并升版 | 同名指标在两个以上业务域存在的提问全检；指标标识错误率超过 2% 即批次返工 | | 业务限定与统计范围 | 业务限定描述口径内涵（如是否含委外），统计范围描述数据边界（如哪些组织、哪些产品线）；两者分列不混填 | 「不含委外」填业务限定，「本部与两个分厂」填统计范围 | 把「不含委外」填入统计范围字段 | 按指标知识库的字段定义裁定 | 两字段任一为空的样本全检；串填比例超线即批次返工 | | 统计周期 | 按提问中的时间表述取日、月、季、年；无时间表述的取知识库登记的默认周期并在口径说明中注明 | 「今年以来的产值」取年周期并在口径说明中标明为自年初至当期的累计口径 | 对「今年以来」取年周期而不标明累计口径 | 以指标登记的周期定义与累计口径为准 | 含「以来」「累计」「同比」「环比」表述的提问全检；周期误标率超线即批次返工 | | 需澄清与可直接作答 | 提问映射到两个及以上指标标识符，或缺少必需的业务限定时标「需澄清」；其余可直接作答 | 「这个月的产值」映射到两个指标标识符，标需澄清并给出两项澄清选项 | 对口径唯一的提问也生成澄清轮次，产出冗余对话样本 | 以指标知识库的映射结果是否唯一为准 | 标「需澄清」的样本全检澄清选项清单；澄清选项与知识库取值不符的比例超线即批次返工 | | 取数逻辑：过滤条件与分组维度 | 过滤条件约束参与计算的行，分组维度约束聚合粒度；两者不互填，且一律写为结构化查询意图而非具体 SQL | 「按分厂看本月产值」中分厂进分组维度、本月进时间范围 | 把分组维度写入过滤条件，导致答案按单一粒度返回 | 以按取数逻辑复算的答案与标准答案是否一致裁定 | 复算差异超容限的样本全检；复算不可复现的比例超线即批次返工 | | 跨域提问 | 一条提问涉及两个及以上业务域指标的单列为跨域样本，不强行归入单一业务域 | 「本月质量损失对利润的影响」涉及质量与财务两域，单列为跨域样本 | 按提问中出现的第一个指标归域 | 按作答所需指标的归属域集合判定 | 跨域样本全检；误归域比例超线即批次返工 | ### 1.9 标注口径统一与三级校验 以知识本体定义的标签体系统一各业务域标注口径，按自检、抽检、仲裁三级校验与跨标注员一致性校验组织作业，产出带标注规范版本、标注人员与校验结论的标注样本及其质量记录。 #### 1.9.1 三级校验的职责与判定线 三级校验按问题性质分层处置：格式与完整性问题在自检层解决，判定准确性问题在抽检层发现，判定分歧在仲裁层定案。三级的职责、方式与判定线如表 1-10。 表 1-10　三级校验的职责、方式与判定线 | 层级 | 执行者 | 检查内容 | 方式 | 判定线与处置 | |---|---|---|---|---| | 自检 | 标注员本人 | 必填字段完整性、取值域合规性、依据指向有效性、格式规范性 | 工具内校验规则自动触发＋标注员逐条确认 | 自检未通过的样本不允许提交；自检通过率低于 95% 的标注员重新培训 | | 抽检 | 我方质检岗 | 判定准确性、标注粒度一致性、边界情形处置是否按规范 | 按批次分层抽样，抽样比例随批次质量动态调整 | 抽检合格率低于规范给定阈值的，批次整体退回重标 | | 仲裁 | 业务专家 | 抽检中发现的判定分歧、标注员提出的规范问题单 | 专家评议并出具仲裁意见，意见回灌标注规范 | 仲裁意见为规范修订依据；同类分歧三次以上的，修订规范并对受影响批次重标 | 抽检比例的动态调整口径是：新任务或新标注员上岗的首两个批次按 20% 抽检；连续三个批次抽检合格率达到阈值的降至 10%；出现批次退回的回升至 20% 并连续三批；同一标注员两次导致批次退回的转入全量复核直至重新通过黄金集考核。这一调整机制使抽检工时投向质量风险高的批次。 抽检合格率阈值按标注任务的客观程度分档设定：取值域封闭且判定准则明确的任务（工序选择、检验项、指标项、工况分类）阈值设为 95%；需要专业判断但有明确准则的任务（条款类型、缺陷类型、加工特征）设为 90%；依赖专家经验的任务（风险等级、根因判定、主导参数判断、库存决策标签）设为 85%，且这类任务的「合格」判定本身以仲裁结论为准而非以单一质检员意见为准。分档的理由是：对主观性强的任务设过高的一致率阈值会迫使标注员向保守取值收敛，反而损失信息量。 #### 1.9.2 跨标注员一致性校验 一致性校验回答的是「换一个人标会不会标成另一个样」。校验方式是在每个批次中设置重复标注样本：按批次规模的 5% 至 10% 抽取样本，交由两名及以上标注员独立标注，计算一致性指标。 一致性指标按标签类型选用：名义型标签（条款类型、缺陷类型、工况分类、故障模式）用 Cohen's Kappa 系数（两人）或 Fleiss' Kappa 系数（多人）；有序型标签（风险等级、缺陷等级、劣化阶段）用加权 Kappa 系数；位置型标签（缺陷框、特征位置）用交并比（IoU）与配对召回；序列型标签（工序序列）用序列编辑距离的归一化相似度；数值型标签（参数偏差幅度分档、尺寸）用绝对差落入容限的比例。 表 1-11　一致性指标的选用与目标值 | 标签类型 | 典型标签 | 指标 | 目标值 | 低于目标值的处置 | |---|---|---|---|---| | 名义型 | 条款类型、缺陷类型、工况分类 | Kappa 系数 | 趋向 0.80 以上 | 0.60–0.80 加强培训并补充易混淆对照；低于 0.60 修订规范并重标 | | 有序型 | 风险等级、缺陷等级、劣化阶段 | 加权 Kappa 系数 | 趋向 0.75 以上 | 同上，并复核分档边界定义 | | 位置型 | 缺陷框、加工特征位置 | IoU 配对召回（IoU 阈值 0.5） | 趋向 0.85 以上 | 复核框型规定与标注粒度 | | 序列型 | 工序序列 | 归一化编辑距离相似度 | 趋向 0.90 以上 | 复核强制依赖与可调顺序的界定 | | 数值型 | 参数偏差分档、展开长 | 落入容限比例 | 趋向 0.95 以上 | 复核容限设定与计算口径 | | 专家判断型 | 根因、主导参数、库存决策 | Kappa 系数（参考值） | 不设硬性目标，记录实测值 | 实测值写入数据卡局限性说明 | 表中目标值为我方对标注质量的内部管理目标，不是对甲方的交付承诺；首批试标完成后以实测值作为基线写入数据集卡片，后续版本以提升基线为目标。专家判断型标签不设硬性目标：专家之间的合理分歧是领域知识的一部分，强行压低分歧会把数据集收敛为单一专家的意见记录。这类标签保留分歧，在样本中并列记录各方取值与各自依据，由下游按需取用。 黄金集是一致性校验之外的另一道保障。黄金集由我方编制并保密维护，按标注任务组织，每个任务的黄金集包含 50 至 200 个由业务专家标定的样本，覆盖该任务的全部标签取值与主要边界情形。黄金集的用途有三：标注员上岗考核，通过率低于规范给定线的不得上岗；作业期间混入作业流的隐蔽考核，用于监测标注质量漂移；批次门控的客观依据，即标注批次的黄金集通过率作为门控指标之一（b1538）。黄金集样本定期轮换，轮换比例与周期在标注规范中规定。 待标样本批次 含 5–10% 重复样本 机器预标注 候选状态 人工标注 确认与修正 ① 自检 完整性・取值域 依据指向・格式 ② 抽检 分层抽样 10–20% 判定准确性 ③ 仲裁 业务专家评议 分歧定案 一致性校验 Kappa／IoU 编辑距离相似度 黄金集考核 上岗＋隐蔽混入 通过率 标注批次门控判定（见第 4 节 4.4） 标签完整性・标签体系符合性・跨标注员一致性・黄金集通过率 通过：计入数据集版本 附质量记录封装 不通过：低一致性样本清单 ＋修复工单，跟踪至复检通过 分歧 仲裁意见回灌标注规范并触发重标 退回重标 图 1-4　标注三级校验、一致性校验与黄金集的组织关系。数据来源：招标文件 3.2.6.3.5 第（6）项（b1492–b1494）与 3.2.6.3.8 第（3）项（b1538、b1539）。 #### 1.9.3 标注样本的质量记录 每条标注样本随附的质量记录包含八个字段：标注规范版本号、标注工号、标注时点、自检结论、是否被抽检与抽检结论、是否为重复标注样本及其一致性计算参与情况、是否经仲裁及仲裁意见编号、所属批次号（b1493、b1494）。质量记录与标签值一并封装进样本，不单独存放，这样样本在流通或抽取子集时质量信息不会丢失。 质量记录的汇总结果构成批次质量报告，按业务域、任务、标注员三个维度统计自检通过率、抽检合格率、一致性指标、黄金集通过率与返工轮次。批次质量报告是质检环节出具门控结论的输入，也是数据集卡片中建设过程说明的来源。 ### 1.10 按用途子集组织标注产出 标注产出按用途子集组织：指令微调子集产出「指令—输入—响应」样本，人类偏好对齐子集产出同一指令下的优劣回答对，基准评测子集产出带标准答案与判分规则的评测题目。 同一份标注结果可以服务多个子集，但三类子集的样本形态不同，必须分别组织而不是简单导出。组织方式与质量要求如表 1-12。 表 1-12　四个用途子集的样本形态与组织方式 | 用途子集 | 样本形态 | 从标注结果到子集样本的组织方式 | 特有质量要求 | |---|---|---|---| | 预训练子集 | 长文本序列 | 标注结果中的结构化事实按模板转写为自然语言陈述，与预处理产出的长文本一并构成语料 | 去重与去噪；不引入标签泄漏到后续评测集的内容 | | 有监督指令微调子集 | 指令—输入—响应 | 指令由任务模板生成，输入取标注对象，响应由标注标签与依据组织成自然语言回答 | 响应须包含依据而非仅结论；同一输入的多指令覆盖不同任务类型 | | 人类偏好对齐子集 | 同一指令下的优劣回答对 | 以标注结论为优，以典型误标、规范列出的误判情形、低质量历史记录为劣，构成成对样本 | 优劣差异须可归因到一条明确的判定准则；不构造无意义的明显劣答 | | 基准评测子集 | 题目＋标准答案＋判分规则 | 从 A 级样本中抽取，题干去除可泄漏答案的信息，标准答案取已审核签发结论，判分规则按标签类型指定 | 与训练侧样本做去重与相似度比对；标准答案须有审核签发或仲裁背书 | 三类监督子集的组织中有两处口径须统一，分述如下。 第一处是指令微调子集的响应写法。如果响应只给结论（如「本条款为高风险」），模型学到的是分类能力而不是说明能力；本项目各验证场景都需要模型给出理由（选型要说明推荐理由，工艺要交出推理依据，诊断要给出证据等级）。因此标注产出转为指令样本时，响应一律按「结论＋依据＋适用边界」三段组织，依据取自标注时记录的依据指向与对照标准条款。 第二处是偏好对齐子集的劣答来源。构造劣答最省事的做法是让模型生成一些明显错误的回答，但这样的样本对训练奖励模型价值很低，因为优劣差异过于明显。本方案的劣答来源限定为三类真实来源：标注过程中出现的典型误标（有记录、有误因）、标注规范中列出的易混淆误判情形、历史记录中质量较差的实际文档（如 C 级工艺卡片、未闭环的报警处置记录）。每个偏好对标注「优劣差异归因」字段，写明优答在哪一条判定准则上胜出，这一字段使奖励模型能够学到判别依据而不只是偏好方向。 基准评测子集的样本一律取自真实业务记录，合成数据不进入该子集（b1512）。判分规则按标签类型指定：名义型用精确匹配，有序型用分档匹配并对相邻档给部分分，位置型用 IoU 阈值匹配，序列型用归一化编辑距离相似度，数值型用相对误差容限，开放文本型用要点覆盖率加人工复核。每道题目的判分规则随题目一并封装，使评测结果在不同评测方之间可复现。 标注样本库 标签值＋依据指向 ＋质量记录 ＋A/B/C 质量分级 预训练子集 结构化事实→自然语言陈述；长文本语料 有监督指令微调子集 指令—输入—响应（结论＋依据＋适用边界） 人类偏好对齐子集 同一指令下优劣回答对＋差异归因 基准评测子集 题目＋标准答案＋判分规则（仅 A 级样本） 规模口径：615 亿 Token （276＋70＋105＋164） 规模口径：89 万条 （40＋10＋15＋24） 规模口径：6.6 万组 （3.2＋0.8＋1＋1.6） 规模口径：0.95 万条 （0.4＋0.1＋0.2＋0.25） 按子集组织，不简单导出 图 1-5　标注产出按四个用途子集的组织方式与规模口径对应。数据来源：招标文件 3.2.6.3.5 第（7）项（b1495–b1497）与 3.2.6.4 各数据集规模要求（b1583、b1588、b1593、b1598 节）；四集规模分解详见「四大数据集建设及指标要求」章节。 ## 2、数据合成（3.2.6.3.6） 要求的总口径是：对长尾工况、稀缺样本与人工难以覆盖的任务形态实施合成生产，补齐四类数据集的规模与覆盖缺口（b1499）。 合成在本项目中不是用来凑规模的手段，它要解决三类真实存在的缺口，这三类缺口靠增加标注投入无法解决。 第一类是现场发生频次低的工况与故障。刮板输送装备的堵转、过载是低频事件，热处理的烧伤与裂纹在正常工艺控制下出现率低，焊接的烧穿、焊瘤在成熟工艺下同样少见。这些样本在真实数据中天然稀缺，而它们恰恰是诊断与质检场景最需要识别的类别。等待真实样本积累到足够规模不现实，也不符合企业利益——企业的目标是让这些事件不发生。 第二类是人工难以覆盖的任务形态。推理过程类样本是典型例子：历史工艺卡片记录了结论（选了哪几道工序、参数是多少），没有记录推理过程（为什么这样选）。要让数据集支撑「交出推理依据」的能力，就必须构造带完整推理过程的样本，而让工艺人员为 63 万张图纸逐张补写推理过程是不可行的。多轮排障对话是另一个例子：真实的排障过程发生在现场的口头交流中，没有文本留痕。 第三类是规模缺口。预训练子集的规模目标是 615 亿 Token，企业存量的真实语料总量与之存在差距，外部语料补充之外，基于企业知识的合成扩写是补齐途径之一。但这一类合成必须限定在预训练子集，且受合成占比上限约束。 ### 2.1 合成的总体方法与五道约束 本方案的合成方法可以概括为「有种子、有约束、有校验、有配比、有溯源」。五个环节各自解决一个问题：种子保证合成内容与企业真实业务相关，约束保证合成内容在专业上成立，校验保证合成内容不与真实分布背离，配比保证合成样本不淹没真实样本，溯源保证合成样本的来源可查、许可可核。 ① 种子 企业真实业务样本 历史工艺卡片 历史工单与故障案例 制度・标准・标书 ② 知识约束 知识本体类目与取值 工艺编制准则 封闭工序集合 28 道 知识图谱关系约束 ③ 生成 统一网关接入的 通用大模型 按任务模板生成 拒绝采样择优 ④ 三道校验 规则校验 分布比对 与基准集去重比对 不通过批次整体回退 ⑤ 配比与溯源 按子集控制占比 种子来源记录 方法・提示词版本 模型版本与许可登记 三道校验的判定：规则校验不通过→单样本丢弃并记录规则编号；分布比对偏离超容限→该批次调整生成策略后重做； 与基准评测数据命中→命中样本删除并产出命中清单；任一校验的批次级不合格率超门控线→批次整体回退，不纳入数据集版本。 基准评测子集的样本一律取自真实业务记录，合成数据不进入该子集（b1512）。 进入指令微调子集 合成占比上限按任务类型分设 真实样本优先，合成补覆盖缺口 进入偏好对齐子集 合成仅用于构造劣答候选 优答须有真实标注或专家背书 进入预训练子集 合成扩写语料，占比上限单设 与评测集去重后方可入集 图 2-1　数据合成的五环节流水线与三道校验。数据来源：招标文件 3.2.6.3.6 第（5）（6）项（b1511–b1515）。 生成环节采用当期能力评测领先的通用大模型，经统一网关接入，可替换、可评测、可随代升级。网关对各任务固定模型版本与生成参数，同一批次内不中途切换；版本切换时重新做分布比对与基线对照，变更记录进入合成批次台账。拒绝采样的判据是本节各小节给出的规则校验项加任务特有的专业校验项，采样倍率按任务难度设定，低通过率任务提高采样倍率而不是放宽校验。 每个合成任务的生成配置在作业前固化为一份带版本号的配置文件，配置文件版本号随每一条合成样本记录，使样本可回溯到产生它的全部参数。配置文件的字段、取值约定与变更控制如表 2-1。配置项中任一项发生变更即升配置版本并重新走首样评审：抽取该配置下的首批样本若干条，由规范编制单元与业务专家核验其是否仍满足本任务的专业约束与过滤规则，核验通过后方可放量；未经首样评审的配置不得用于生产批次。 表 2-1　合成生成配置的固化字段与变更控制 | 配置字段 | 内容 | 取值约定 | 变更后的处置 | |---|---|---|---| | 任务模板版本 | 该合成任务的提问形态模板、输入插槽定义与输出结构定义 | 带版本号，与标注规范版本对齐引用 | 升配置版本；对已生成批次保留原版本标识，不追溯重做 | | 指令与提示模板版本 | 生成环节使用的指令文本与其约束段落 | 带版本号，模板全文随批次台账归档 | 升配置版本并重做首样评审 | | 模型标识与版本 | 经统一网关接入的生成模型标识与版本号 | 同一批次内固定，不中途切换 | 升配置版本；重做分布比对与基线对照后方可继续 | | 生成参数 | 采样温度、核采样阈值、最大生成长度、重复惩罚、单次生成条数 | 按任务分别固定，取值随样本溯源记录 | 升配置版本并重做首样评审 | | 拒绝采样倍率 | 每产出一条合格样本的平均生成次数上限 | 按任务难度设定，低通过率任务上调倍率 | 仅上调不下调；下调需技术评审 | | 专业约束集 | 本任务适用的工艺、校核、图谱与制度约束清单及其依据版本 | 引用本体版本、工序字典版本、规则引擎版本 | 升配置版本；对已生成批次按新约束重做规则校验 | | 过滤规则集 | 通用过滤项与任务特有过滤项的规则编号清单 | 规则带编号与版本，丢弃时记录触发的规则编号 | 升配置版本；新增过滤规则对已入集样本做一次回扫 | | 实体替换规则 | 当事人、项目名称、金额、客户标识的替换方式与替换表版本 | 替换表独立维护，不随样本交付 | 升配置版本并对已生成批次做残留扫描 | | 随机种子 | 生成与抽样所用的随机种子 | 逐批次记录，使同配置可复现 | 不作为变更项，逐批次记录即可 | ### 2.2 供需计划域的指令样本合成 以企业真实业务样本为种子，合成产品选型问答、合同条款审查问答、库存与排产决策问答等指令样本，补充供需计划数据集指令微调子集的任务覆盖（b1500、b1501）。 三类问答的种子与约束各不相同，分述如下。 产品选型问答以历史选型方案的标注结果为种子。标注结果已经把八类选型关键要素与六项选型结果及其对应关系标出来了，合成要做的是围绕这一组事实构造多样的提问形态：给全参数求配置、给部分参数求还需补充哪些参数、给两套配置求比较、给一套配置求校核结论、给工况变化求配置调整建议。 约束来自校核公式与标准化部件库：合成的配置必须能通过整机消耗总功率与链条理论安全系数、按力与按功率两个口径的实际安全系数校核，不能通过的直接丢弃；配置中的部件必须存在于标准化库或历史方案中，不允许凭空生成型号。这一约束使合成样本不会教给模型一个物理上不成立的配置。 合同条款审查问答以标注后的合同条款为种子。合成的提问形态包括：给条款求风险判定、给条款求对照的制度依据、给合同求缺失的核心要素清单、给条款对求差异与差异方向、给审查结论求修改建议。约束来自企业合同模板与制度条款库：合成的审查结论必须指向实际存在的制度或标准条款编号，指不出的样本丢弃。此外对涉及具体当事人、金额与项目名称的内容做实体替换，替换规则在合成任务配置中固定，使合成样本不携带可识别的商业敏感信息。 库存与排产决策问答以订单、库存与排产标注样本为种子。合成的提问形态围绕物料分层、补货建议、呆滞料处置与长周期件锁定展开。约束来自物料分层规则与双重约束条件（保交付红线与资金上限）：合成的建议必须在给定约束下自洽，例如建议提前锁定的物料其占用资金不得超出当期资金上限。这一校验以规则计算实现，不依赖模型自判。 表 2-2　供需计划域合成任务的种子、约束与校验 | 合成任务 | 种子来源 | 知识约束 | 规则校验项 | 产出形态 | |---|---|---|---|---| | 产品选型问答 | 历史选型方案标注样本 | 校核公式、标准化部件库、机型槽宽档位字典 | 功率校核、链条安全系数校核（力与功率双口径）、部件存在性 | 指令—输入—响应，响应含推荐理由 | | 选型参数补全问答 | 同上，取「来源可信度」为不可得的要素 | 选型要素字典与必需要素清单 | 所问参数须属八类关键要素 | 多轮对话样本 | | 合同条款审查问答 | 合同条款标注样本 | 企业合同模板、制度与标准条款库 | 依据条款编号存在性、实体替换完成性 | 指令—输入—响应，响应含依据条款 | | 核心要素完整性问答 | 八大核心要素标注样本 | 八大核心要素定义 | 缺失项与标注结果一致 | 指令—输入—响应 | | 库存决策问答 | 订单库存排产标注样本 | 物料分层规则、资金上限与保交付红线 | 约束自洽性规则计算 | 指令—输入—响应，响应含核算过程 | | 呆滞料处置问答 | 呆滞料识别结果 | 可套用与可替代关系、处置方式字典 | 替代关系须存在于物料主数据 | 指令—输入—响应 | ### 2.3 产品工艺设计域的推理样本与思维链合成 基于工艺编制准则、标准工序与历史工艺卡片，合成工艺设计推理样本与工艺审查问答，并生成带完整推理过程的思维链样本，补充产品工艺设计数据集在推理类任务上的覆盖（b1502—b1504）。 历史卡片记录了结论而没有记录过程，本小节解决的是这一缺口。合成的做法是反向构造推理链——已知图纸特征（输入）与已审核卡片（结论），让生成环节在工艺编制准则的约束下补写从输入到结论的推理过程，再用结论反向校验推理过程是否自洽。 校验方向是这一做法成立的前提。正向生成推理过程与结论时，生成的结论可能与历史卡片不一致，样本即不可用；以历史卡片为既定结论、让生成环节补写过程、再校验过程能否推出该结论，推理链即锚定在已审核的正确结论上。校验分三层：工序集合校验（推理过程中出现的工序必须在封闭的 28 道工序集合内）、顺序依赖校验（推理过程给出的顺序必须满足工艺规程的前后依赖与禁止条件）、结论一致校验（推理过程的最终结论须与历史卡片的工序序列一致，序列相似度低于规范给定线的丢弃）。 展开长一类确定性计算在推理链中以计算步骤呈现而不以生成结果呈现：推理链写明「按中性层公式计算展开长」，具体数值由规则引擎计算后填入，不由模型生成。这一处置避免了合成样本把错误的数值计算教给模型。 表 2-3　工艺设计域合成任务与校验层次 | 合成任务 | 构造方式 | 校验层次 | 丢弃判据 | |---|---|---|---| | 工艺设计推理样本 | 以图纸特征为输入、已审核卡片为结论，补写推理过程 | 工序集合校验、顺序依赖校验、结论一致校验 | 工序越界、顺序违规、结论序列相似度低于规范给定线 | | 思维链样本 | 推理过程按「读图—识特征—定工序—排顺序—取参数—核校」六步展开 | 每步须有可核对的中间产出；数值计算由规则引擎填入 | 缺中间产出、数值由生成环节自行给出 | | 工艺审查问答 | 以历史审查意见与修改归因记录为种子，构造「给卡片找问题」任务 | 问题须对应实际存在的审查意见类型 | 虚构审查类型 | | 工艺借用判定问答 | 以特征组合相似的历史图纸对为种子，构造「能否借用及差异在哪」任务 | 差异清单须与特征标注差异一致 | 差异清单与标注不符 | | 共料与排料问答 | 以共料标识与历史排料记录为种子 | 材料牌号与板厚一致性、轮廓可嵌套性 | 违反材料或几何约束 | 工艺审查问答的种子有一个特别的来源：每一次工艺人员对卡片的修改都会被归因并沉淀为企业规则与评测样本。这意味着随项目推进，审查问答的种子质量会持续改善。本方案在合成计划中为此预留迭代：首版审查问答以历史审查意见为种子，后续版本纳入项目期内积累的修改归因记录。 ### 2.4 制造过程域的长尾故障合成 基于领域本体与历史工单分布，合成长尾故障场景的工单描述、故障树与多轮排障对话，补齐制造过程数据集中现场发生频次低、真实样本不足的故障模式与稀缺工况（b1505—b1507）。 合成的起点是分布诊断：先统计历史工单中各故障模式的出现频次，识别出哪些故障模式在本体中有定义但在工单中出现频次低于规范给定线。这些低频故障模式构成合成的目标清单。目标清单按两个维度排序：该故障模式的后果严重程度（对矿方生产影响）与其在诊断场景中的必要程度，优先合成「后果严重但样本稀缺」的故障模式。 三类产出的构造方式不同。 工单描述的构造以知识图谱中「设备—部件—故障模式—现象—原因—处置措施—备件」的关系链为约束。给定一个故障模式，从图谱中取出其关联的现象、原因、处置措施与备件，以此为骨架生成工单描述。生成的工单描述须包含现场人员会写的内容形态：现象的口语化描述、发生时的工况、已做的处置与结果。这与 3.2 节文本增强中的口语化改写是两件事——此处是从结构化知识生成口语化工单，彼处是对已有文本做风格迁移。 故障树的构造以图谱的因果关系为骨架，按「顶事件—中间事件—底事件」展开，每个节点标注判别依据（看哪个测点、查哪个记录、做哪项检查）。校验要求故障树的每条路径在图谱中存在对应的关系链，不允许生成图谱中不存在的因果连接。 多轮排障对话的构造以故障树为脚本：对话按故障树的一条路径展开，每一轮由排障者提出一个判别问题、现场人员给出观察结果、排障者据此收敛范围。对话轮数按故障树深度确定，通常三到六轮。校验要求对话的收敛路径与故障树一致，且最终结论对应故障树的一个底事件。 稀缺工况的合成另有方法。时序数据的合成不采用自由生成，而采用「真实工况片段的参数化变形」：以真实的重载片段为基础，按物理约束调整负载水平、持续时间与叠加的耦合干扰，生成过载与堵转的候选片段，再由业务专家确认其在物理上是否成立。这一做法的原因是时序数据的合理性无法靠规则完全校验，必须有专家把关；专家确认通过的合成片段在样本中标明「合成—专家确认」，与真实片段在元数据上严格区分，且在验证环节单独统计其对模型效果的贡献。 表 2-4　制造过程域合成任务与约束来源 | 合成任务 | 构造方式 | 约束来源 | 校验方式 | 元数据标识 | |---|---|---|---|---| | 长尾故障工单描述 | 由图谱关系链生成口语化工单 | 「设备—部件—故障模式—现象—原因—处置—备件」图谱 | 关系链存在性校验；现象与故障模式对应性校验 | 合成—规则约束 | | 故障树 | 由图谱因果关系展开顶—中—底事件 | 同上，加判别依据字典 | 每条路径须在图谱中存在对应关系链 | 合成—规则约束 | | 多轮排障对话 | 以故障树路径为脚本展开对话 | 故障树＋排障话术规范 | 收敛路径与故障树一致性校验 | 合成—规则约束 | | 稀缺工况时序片段 | 真实片段的参数化变形 | 设备物理约束、工况定义、耦合干扰模型 | 物理合理性由业务专家确认 | 合成—专家确认 | | 热处理异常批次档案 | 以真实批次档案为种子调整执行条件差异 | 工艺程序、装炉量与规格的可调量范围 | 可调量须在允许范围内 | 合成—专家确认 | ### 2.5 制度、标准与标书问答的合成 基于管理制度、技术标准、招投标文件与知识库条目，合成制度问答、标准问答与标书问答样本，支撑管理制度智能问答、技术标准智能问答与标书智能问答场景（b1508—b1510）。 这三类问答的共同特点是答案必须有出处，这决定了合成方式必须是「证据先行」而非「问题先行」。做法是：先从知识库中取出一个条款级知识单元（管理制度已以「制度条款」为最小知识单元建立索引，抽取了制度名称、编号、发布部门、生效日期、适用范围与制度层级），再围绕这一条款生成提问，使每个合成样本天然带有确定的证据来源。 提问形态按四类组织：事实查询型（这条规定是什么）、适用判定型（某情形是否适用本条）、冲突识别型（两条规定之间是否冲突、哪条优先）、程序引导型（要办某事应按哪些条款走什么流程）。后三类需要跨条款推理，构造时从条款间引用关系中取出相关条款组作为证据集。 三类问答各有专门约束。制度问答须处理失效与替代：生效日期已过或被新制度替代的条款，提问中必须带时点或明确问「当前适用的规定」，答案须指向当期有效版本。标准问答须处理标准版本：同一标准的不同版本条款可能不同，答案须标明依据的标准号与版本年份。标书问答须处理资料分类：投标相关资料按投标文件模板库、设备材料、资质（安标证书、防爆证书、检验检测报告、产品合格证）与业绩（业绩合同、发票、验收单、中标通知书、技术协议）分类归集，合成的提问须落在明确的分类上，答案指向具体的资料条目。 表 2-5　制度、标准与标书问答合成的提问形态与证据要求 | 提问形态 | 证据集构造 | 答案要求 | 典型校验项 | |---|---|---|---| | 事实查询型 | 单一条款 | 答案须为条款原文的准确转述＋出处 | 答案与条款原文语义一致性校验 | | 适用判定型 | 单一条款＋适用范围字段 | 答案须给出判定与适用范围依据 | 判定与适用范围字段不矛盾 | | 冲突识别型 | 条款间引用关系取出的条款组 | 答案须指出冲突点与优先关系依据（层级、生效日期） | 条款组须存在引用或同主题关系 | | 程序引导型 | 同一事项涉及的多条款序列 | 答案须给出步骤与各步依据条款 | 步骤顺序与条款规定顺序一致 | | 版本时点型 | 同一主题的多版本条款 | 答案须标明依据版本与生效时点 | 版本信息完整性 | | 资料定位型（标书） | 按四类分类归集的资料条目 | 答案须指向具体资料条目与所在位置 | 资料分类正确性 | 决策数据问答的合成在本小节不另述：其样本形态已在 1.8 节按「问题—指标口径—取数逻辑—答案」四段确定，合成只是按同一结构扩充提问形态与业务域覆盖，约束来自指标知识库登记的口径，校验方式为按取数逻辑复算答案。 ### 2.6 合成产出的校验、配比与基准集口径 对合成产出执行规则校验、与真实样本的分布比对及与基准评测数据的去重比对，并按用途子集控制合成数据占比；基准评测子集的样本一律取自真实业务记录。 三道校验的内容与判定如下。 规则校验在样本级执行，校验项即前述各小节列出的任务特有校验项加通用校验项。通用校验项包括：格式与字段完整性、标签取值域合规性、引用的本体类目与知识条目存在性、实体替换完成性（不残留可识别的具体当事人、项目与金额）、内容安全合规性。规则校验不通过的样本直接丢弃并记录触发的规则编号，批次级不合格率超过规范给定线的，该批次的生成策略须调整后重做。 丢弃的样本不直接废弃，而是按触发的规则编号归入失败样例库。失败样例库按合成任务与规则编号两级组织，记录样本内容、触发规则、生成配置版本与丢弃时点，有三个用途：一是统计各任务的丢弃原因分布，定位生成配置中需要修正的具体环节（约束未生效、模板引导不足、模型版本不适配）；二是其中专业判定类的失败样例经业务专家确认后，作为标注规范的反例与偏好对齐子集劣答的来源之一；三是作为生成配置升版后的回归用例——新配置须在旧失败样例上不再产生同类错误。失败样例库随批次台账保留，不进入数据集版本。 分布比对在批次级执行，比对维度包括任务类型分布、样本长度分布、标签取值分布、业务域分布与难度分布。比对方法是计算合成批次与对应真实样本集在各维度上的分布距离，偏离超过容限的调整生成策略后重做。这一校验解决的是合成样本容易「集中在容易生成的形态上」的问题：若不做分布比对，合成出来的样本往往长度相近、任务形态单一、标签取值集中在少数几类。 与基准评测数据的去重比对在样本级执行，方法为精确去重加近似去重两道。精确去重按内容指纹比对，近似去重按语义相似度比对，相似度超过阈值的判为命中。命中样本从合成产出中删除，并产出命中样本清单作为质检记录（b1544）。这道校验的目的是防止评测污染：若合成样本与评测题目重复，验证环节得到的效果结论就不可信。 合成占比按用途子集与任务类型分别设上限，上限的设定原则是：真实样本充足的任务类型压低合成占比，真实样本稀缺的任务类型放宽但须标明。具体口径如表 2-6。表中占比为我方承诺的控制上限，实际占比按版本在数据集卡片中如实披露。 表 2-6　合成数据在各用途子集中的占比控制口径 | 用途子集 | 合成数据占比上限 | 适用范围与说明 | 不达标时的处置 | |---|---|---|---| | 预训练子集 | 不超过 20% | 仅限基于企业知识的扩写语料；外部公开语料不计入合成 | 超限则削减合成部分，规模缺口以外部语料与真实语料扩采补齐 | | 有监督指令微调子集（真实样本充足任务） | 不超过 30% | 合同审查、检验记录、指标问答等有大量真实记录的任务 | 超限则补充真实样本标注 | | 有监督指令微调子集（推理与长尾任务） | 不超过 60% | 工艺推理与思维链、长尾故障排障等真实样本不可得的任务 | 超限则在数据卡局限性说明中披露并提出后续补采计划 | | 人类偏好对齐子集 | 劣答可全部为合成；优答不超过 10% | 优答以真实标注结论或专家背书为主 | 优答合成超限则退回重构 | | 基准评测子集 | 零 | 样本一律取自真实业务记录（b1512） | 发现合成样本混入即整批退回并追溯来源 | 合成占比的计算口径如表 2-6A。口径中最关键的一条是分母与分子均按去重后的样本数计：合成批次内的自重复与近似重复样本在计入规模之前先行剔除，剔除后的条数才计入该子集的合成样本数与总样本数。以近似重复样本充抵规模的批次整批退回，并对该任务的生成配置重做首样评审——近似重复样本在统计上增加条数而不增加信息量，既推高合成占比又无助于覆盖缺口的填补。 表 2-6A　合成数据占比与规模达成的计算口径 | 计算项 | 分子 | 分母 | 去重处理 | 统计时点 | |---|---|---|---|---| | 某用途子集的合成占比 | 该子集内样本类型标识为「合成」的条数 | 该子集的样本总条数（真实＋合成＋增强） | 分子分母均取去重后条数；精确去重与近似去重两道均执行 | 版本冻结时，另在合成增强门时出批次级预估值 | | 某任务类型的合成占比 | 该任务类型下的合成样本条数 | 该任务类型下的样本总条数 | 同上，近似重复按任务类型内比对 | 版本冻结时 | | 预训练子集的合成占比 | 合成扩写语料的 Token 数 | 该子集的 Token 总数（外部公开语料计入分母，不计入分子） | 按文本指纹与段落级近似去重后统计 | 版本冻结时 | | 偏好对齐子集的优答合成占比 | 优答为合成内容的偏好对组数 | 该子集的偏好对总组数 | 按指令与优答的组合去重 | 版本冻结时 | | 规模目标达成率 | 去重后实际入集的条数或 Token 数 | 该子集的规模目标值 | 近似重复样本不计入分子 | 版本冻结时 | | 合成批次的有效产出率 | 通过三道校验并入集的条数 | 该批次的生成总条数 | 丢弃条数按触发规则编号分类统计 | 每批次结束时 | 各子集的实际合成占比在每一版本的数据集卡片中按数据集、按子集、按任务类型三级披露，并与真实样本的来源构成一并呈现。披露是质量承诺的一部分：使用方据此判断该数据集在其用途上的适用性。 ### 2.7 合成样本的溯源记录与教师模型许可登记 合成样本一律带种子来源、合成方法、提示词版本与模型版本记录，所调用的教师模型及其许可条件逐一登记。 每条合成样本随附的溯源记录包含十个字段：种子样本标识（指向真实样本的唯一标识，可回溯到原始数据）、种子来源类型、合成任务标识、合成方法标识、生成配置版本（含任务模板、指令模板、生成参数与过滤规则集的版本号，字段构成见表 2-1）、所用模型标识与版本、生成参数取值、生成时点、校验结论与触发的校验项、合成批次号。溯源记录与样本一并封装，使任一条合成样本都可以回答「它是从哪条真实样本、用什么方法、在什么配置下生成的」。 模型许可登记是一份独立的台账，按模型逐项登记：模型标识与版本、接入方式、服务提供形态、许可条款中关于生成内容权属与商业使用的约定、对生成内容用于训练的限制条款、许可有效期与续期安排、登记日期与核验人。台账随数据集版本一并交付，使数据集在后续流通、挂牌与交易环节有明确的权属依据。 这一登记有实质意义而不只是形式要求：若某模型的许可条款限制其生成内容用于训练第三方模型，则由该模型生成的样本不能进入对外发布的数据集版本。本方案的处置是在模型接入评估阶段即核验许可条款，不满足要求的模型不进入合成生产链路；评估结论与核验依据进入台账。许可条款在项目期内发生变更的，按变更后的条款重新评估已生成样本的可用性，评估结论与处置记录进入变更台账。 表 2-7　合成样本溯源记录与模型许可登记的字段 | 台账 | 字段 | 用途 | |---|---|---| | 样本级溯源记录 | 种子样本标识、种子来源类型、合成任务标识、合成方法标识、生成配置版本、模型标识与版本、生成时点、校验结论、批次号 | 单样本可回溯；质检抽查与争议处置依据 | | 合成批次台账 | 批次号、任务、目标覆盖缺口、生成量、丢弃量与丢弃原因分布、分布比对结论、去重命中数、入集量、负责单元 | 批次级质量分析与配比核算 | | 模型许可登记台账 | 模型标识与版本、接入方式、生成内容权属约定、用于训练的限制条款、有效期、核验依据与核验日期 | 数据集对外发布与流通的权属依据 | | 失败样例库 | 失败样例内容、触发的规则编号、所属合成任务、生成配置版本、丢弃时点、专家确认结论 | 生成配置改进依据；标注规范反例与劣答来源；配置升版的回归用例 | ## 3、数据增强（3.2.6.3.7） 要求的总口径是：改善四类数据集在类别、模态、来源与难度上的分布均衡性（b1517）。 ### 3.1 增强与合成的分界 增强与合成在本方案中是两件不同的事，两者的产出在元数据标识、占比控制与质检门控上分别处置，不合并统计。 合成产生的是新的事实内容——一个此前不存在的故障场景、一段此前没有写下来的推理过程。增强产生的是同一事实的另一种表达或另一种采样形态——同一句业务描述的口语化说法、同一张缺陷图像在另一个角度下的样子、同一段设备时序在另一种采样条件下的形态。因此合成样本必须经过业务合理性校验，增强样本必须经过语义一致性与标签一致性校验：前者问「这件事会不会发生」，后者问「变换之后还是不是同一件事、标签还对不对」。 两者的元数据标识不同，占比分别统计，质检门控的判定项也不同（b1540）。在数据集卡片中，真实样本、合成样本与增强样本的数量与占比分三项披露。 ### 3.2 分布统计与盲区识别 按业务域、任务类型、样本长度、数据来源、模态与时间六个维度对各数据集开展分布统计，识别长尾类别、覆盖盲区与来源偏置，产出分布分析结论作为增强作业的依据。 分布统计是增强作业的前置条件，不做统计直接增强等于盲目扩充。统计在每个数据集版本冻结前执行一轮，在增强作业后再执行一轮，两轮结果构成增强前后的分布对比结论（b1529）。 六个维度的统计口径与关注的问题如表 3-1。每个维度的统计结果给出三类结论：分布本身（各取值的样本数与占比）、与目标分布的差距（目标分布的来源见表中说明）、以及识别出的长尾类别、覆盖盲区与来源偏置清单。 表 3-1　六个维度的分布统计口径与目标分布来源 | 维度 | 统计口径 | 目标分布来源 | 关注的问题 | |---|---|---|---| | 业务域 | 按供需计划、产品工艺设计、制造过程、产品质量四域及其子域统计样本数与 Token 数 | 四大数据集规模要求：615 亿 Token（276＋70＋105＋164）、89 万条（40＋10＋15＋24）、6.6 万组（3.2＋0.8＋1＋1.6）、0.95 万条（0.4＋0.1＋0.2＋0.25） | 域间规模是否达成；域内子域是否失衡 | | 任务类型 | 按指令微调子集的任务模板分类统计 | 各验证场景所需的任务类型清单 | 是否存在场景需要但样本极少的任务类型 | | 样本长度 | 按 Token 数分档统计，长上下文样本单列 | 场景实际输入长度分布（如一个项目四百张图纸量级的卡片编制任务） | 长样本是否过少导致长上下文能力无法训练 | | 数据来源 | 按源系统与资料类型统计 | 源系统的数据量与业务重要性 | 来源偏置：某一系统数据过多主导分布 | | 模态 | 按文本、图像、时序、视频统计条数与占比 | 指标要求：数据模态不低于 3 种、多模态数据条数占比不低于 40%（b1601） | 多模态占比是否达成 | | 时间 | 按样本业务发生时间分年度统计 | 指标要求：3 年内数据条数占比不低于 40%（b1601） | 时效性占比是否达成；是否存在年度断档 | 长尾类别的识别标准是：某标签取值的样本数低于该标签全部取值平均样本数的规范给定比例，或低于下游任务可训练的最小样本量。覆盖盲区的识别标准是：本体中有定义、场景中有需要，但数据集中样本数为零或接近零的类目。来源偏置的识别标准是：某一来源的样本占该业务域样本的比例超过规范给定线，且该来源的数据特征与其他来源存在系统性差异。 三类问题按不同路径处置，分布分析结论逐项指明所属路径与处置环节：长尾类别用增强改善，覆盖盲区用合成或补采补齐，来源偏置用抽样调整与补采改善。增强不解决覆盖盲区——本体中有定义而样本数为零的类目，施加任何变换都不产生新样本；把覆盖盲区判给增强处置的结论条目退回重做。 ① 分布统计（六维） 业务域・任务类型 样本长度・数据来源 模态・时间 版本冻结前执行一轮 ② 问题识别 长尾类别 覆盖盲区 来源偏置 产出分布分析结论 长尾 → 增强 盲区 → 合成或补采 偏置 → 抽样调整与补采 ③ 增强作业 文本：改写・句式・风格 图像：几何・光照 时序：窗切・重采样・扰动 定向：模态与时效补充 ④ 语义一致性与标签一致性校验 语义：变换后是否仍表达同一业务语义 标签：变换后原标签是否仍成立（位置型标签须同步变换） 通过：入集 标记为增强样本 记录变换算子与参数 不通过：批次整体回退 不纳入数据集版本 （b1531） ⑤ 增强后再统计一轮，产出增强前后的分布对比结论（b1529）：各维度分布变化、目标指标达成情况、残留长尾与盲区清单。 目标指标：数据模态不低于 3 种、多模态数据条数占比不低于 40%、3 年内数据条数占比不低于 40%（b1601）。 入集后再统计 图 3-1　分布诊断与定向增强的回路。数据来源：招标文件 3.2.6.3.7 第（1）（4）（5）项（b1518–b1520、b1528–b1531）与 3.2.6.4.5 数据集其它指标要求（b1601）。 ### 3.3 文本样本的增强 对文本样本实施同义改写、句式变换与口语化、书面化风格迁移，扩充同一业务语义的表达多样性，重点覆盖现场口语化描述与规范书面表述之间的差异（b1521—b1523）。 这一条要求的现场依据很具体。企业的业务表达存在明显的两套语言：现场人员描述故障用的是「刮板链响得厉害」「电机有点烫」一类说法，规范文本写的是「刮板链异常声响」「电机温升超限」；工艺人员口头说「这个孔要带坡口」，图纸上写的是符号与公差。各验证场景的输入主要来自前者，而数据集的文本语料主要来自后者。若不做风格迁移，模型在规范文本上训练出的能力到现场提问时会接不上。 三类变换的实施方式与约束如下。 同义改写替换业务术语的同义表达。替换依据是本体的术语表与同义词别名表，不允许自由替换——矿机行业的很多用词看起来同义实则不同（如「刮板」与「铲板」是不同部件），自由替换会引入语义错误。改写后校验替换的术语对在别名表中存在，且改写后的句子中各术语之间的关系未改变。 句式变换调整表达结构而不改变语义，包括主被动转换、长句拆分、短句合并、疑问与陈述转换。对指令微调样本，句式变换主要施加在指令部分而不是响应部分：指令的多样性提升模型对不同问法的适应能力，响应的句式随意变换会影响输出格式的稳定性。 风格迁移是本小节的重点，按两个方向双向实施。规范书面表述到口语化描述的方向，产出模拟现场提问的样本；口语化描述到规范书面表述的方向，产出「把现场说法整理为规范记录」的样本——这一方向本身就是一个有价值的任务类型，对应现场人员填报工单与质检人员撰写报告的实际需求。口语化语料的来源是历史工单的现场描述字段、不合格品票的文字描述、维修记录的处置说明，这些是企业内部真实存在的口语化文本。 表 3-2　文本增强的变换类型、实施口径与校验项 | 变换类型 | 实施口径 | 施加对象 | 校验项 | 不通过处置 | |---|---|---|---|---| | 同义改写 | 仅按本体术语表与同义词别名表替换 | 指令与输入部分优先 | 替换对在别名表中存在；术语间关系未改变 | 单样本丢弃并记录 | | 句式变换 | 主被动转换、长短句调整、问句陈述转换 | 指令部分为主 | 语义一致性校验；响应格式稳定性校验 | 单样本丢弃 | | 口语化迁移（书面→口语） | 以历史工单与不合格品票的真实口语表达为风格参照 | 输入部分 | 语义一致性；不引入现实中不会出现的表达 | 单样本丢弃 | | 书面化迁移（口语→书面） | 按企业记录规范的表述格式整理 | 输入与响应成对产出 | 关键信息无遗漏；术语规范化正确 | 单样本丢弃 | | 长上下文构造 | 将同一项目的多份文档按真实组合方式拼接 | 长样本不足的任务 | 拼接后的文档组合在业务上真实存在 | 单样本丢弃 | 长上下文样本按真实项目或业务事项组织，保留文档之间的关联关系与每一段内容的来源定位（源文档标识、章节层级、页码或图号），不拼接无关文档。本项目的长上下文需求来自实际作业：一个实际项目通常涉及四百张左右图纸，一套完整产品可达五百多张，工艺编审需要在一个项目范围内做借用对照，标书编写需要同时参照多份资料。构造时逐条记录参与组合的文档清单与组合依据（项目号、合同号或业务事项标识），组合依据不成立的样本丢弃；按目标长度随意拼接的长样本会把一种现实中不存在的输入形态写入数据集，在验证环节表现为长上下文指标虚高而场景效果不改善。 ### 3.4 图像与时序样本的增强 对工件外观缺陷图像与焊道表面图像配置旋转、翻转、裁剪、缩放等几何变换与亮度、对比度等光照变换；对设备时序按六类工况分段配置滑动窗口切分、重采样与噪声扰动（b1524—b1527）。 图像增强的核心约束是「合理变换」四个字。几何与光照变换不是随意施加的，它必须对应真实采集条件下可能出现的差异。本项目的图像采集条件有明确的现场背景：工艺过程所需的图像采集按各场景数据要求单独布点，相机位置、光照条件与分辨率在布点时确定并记录；这意味着同一类图像的真实变化范围是可以界定的。 基于这一界定，增强参数按图像类型分别配置而不采用统一参数。以工件外观缺陷图像为例，工件在检验台上的摆放角度存在变化但不会倒置，因此旋转范围按实际摆放变化配置、不做上下翻转；车间照明条件在一天内有变化但不会剧烈，亮度与对比度的调整幅度按实测的昼夜差异配置。以焊道表面图像为例，相机相对焊缝的位置在产线上是固定的，几何变换以小角度旋转与小幅平移为主，不做大角度旋转与镜像——镜像会改变焊缝的走向方位，而焊接缺陷的位置信息与焊接方向有关。 位置型标签在几何变换后必须同步变换，这是标签一致性校验的重点项。缺陷框随图像做同样的几何变换，变换后落在图像外的部分按规则裁剪，裁剪后缺陷面积损失超过规范给定比例的样本丢弃——一个只剩边角的缺陷框不构成有效样本。 表 3-3　图像增强的变换配置口径 | 图像类型 | 允许的几何变换 | 允许的光照变换 | 不施加的变换及原因 | 标签同步要求 | |---|---|---|---|---| | 工件外观缺陷图像 | 旋转（按实际摆放变化范围）、小幅平移、裁剪、缩放 | 亮度、对比度（按车间照明实测差异范围） | 不做上下翻转：工件不会倒置摆放 | 缺陷多边形同步变换；面积损失超限丢弃 | | 焊后焊道表面图像 | 小角度旋转、小幅平移、按焊缝方向的裁剪、缩放 | 亮度、对比度（按产线照明条件） | 不做镜像：改变焊缝走向方位，与缺陷位置语义冲突 | 缺陷框与焊缝方向标签同步 | | 熔池图像 | 小幅平移、缩放 | 亮度（按实测曝光差异） | 不做旋转与镜像：熔池形态的方位与焊接方向绑定 | 形态标签不随变换改变，须复核 | | 工艺图纸图像（PDF 转换） | 缩放、分辨率变换 | 不做光照变换 | 不做旋转与翻转：图纸方位承载投影关系语义 | 图元位置标注同步缩放 | 时序增强按六类工况分段配置，这是招标文件明确的口径（b1526）。分段配置的原因是不同工况的信号特征不同：空载段的有效信息集中在基线稳定性上，重载与过载段的有效信息集中在负载响应与波形特征上，堵转段是短时强冲击。对不同工况施加同样的滑动窗口长度与噪声幅度，等于用一个口径处理性质不同的信号。 表 3-4　时序增强按工况分段的配置口径 | 工况 | 滑动窗口口径 | 重采样口径 | 噪声扰动口径 | 校验要点 | |---|---|---|---|---| | 启停 | 以状态切换点为中心，前后各取固定长度 | 按原采样周期的 0.5 至 2 倍范围重采样 | 幅度按该测点实测噪声水平的小倍数 | 切换点不得被窗口边界切断 | | 空载 | 长窗口、大步长，保留基线特征 | 允许降采样 | 幅度最小，避免掩盖基线漂移特征 | 基线水平统计量在变换前后一致 | | 正常运输 | 中等窗口与步长 | 按原采样周期的 0.5 至 2 倍范围 | 按实测噪声水平 | 周期性特征在变换后保留 | | 重载 | 中等窗口、小步长 | 不降采样，保留波形细节 | 幅度受限，不掩盖负载特征 | 负载水平统计量一致 | | 过载 | 短窗口、小步长 | 不降采样 | 幅度最小 | 越限时刻与幅度不改变 | | 堵转 | 短窗口，以冲击起点为锚 | 不降采样 | 不施加噪声扰动 | 冲击波形特征完整保留 | 时序增强另有一条约束：耦合干扰的处置。标注环节已对存在三机联动耦合干扰的窗口做了标记，增强时对这类窗口不施加噪声扰动——在已有干扰的信号上再叠加噪声，变换后的样本无法判定其工况标签是否仍成立。这类窗口的增强仅限于窗口切分与重采样。 ### 3.5 面向模态与时效性指标的定向补充 针对多模态数据条数占比与近 3 年时效性数据条数占比的指标要求，定向补充相应模态与时间范围的样本，产出增强前后的分布对比结论。 两项指标的要求是：多模态数据条数占比不低于 40%，3 年内数据条数占比不低于 40%，另有数据模态不低于 3 种（b1601）。这两项是数值指标，必须有明确的达成路径与核算口径，不能靠事后统计碰巧达成。 多模态占比的核算口径需要先定义清楚什么样本计为多模态。本方案的口径是：一条样本中同时包含两种及以上模态内容，或其输入与输出分属不同模态的，计为多模态样本。按此口径，图纸标注样本（图像＋结构化标签＋文本技术要求）、图像缺陷判定样本（图像＋文本判定）、时序诊断样本（时序＋文本诊断说明）、图文对照样本均计为多模态；纯文本问答样本不计。这一口径在数据集卡片中明示，使占比数字可核验。 达成路径分三条：一是制造过程域与产品质量域的图像与时序样本本身贡献主要的多模态份额，这两域的样本形态天然是多模态的；二是产品工艺设计域的全链路标注样本以图纸为输入，是多模态样本的重要来源；三是增强环节对图像与时序样本的扩充直接提升多模态条数。若统计显示占比不足，优先扩充第一与第二条路径的真实样本，增强作为补充手段而非主要手段——靠增强堆高多模态占比会使数据集的实际信息量与条数不匹配。 时效性占比的达成路径与多模态不同，它无法靠增强解决：增强出来的样本其业务发生时间仍是源样本的时间。因此 3 年内数据占比的达成主要靠采集侧的定向补采——明确哪些业务域、哪些资料类型的近 3 年数据尚未纳入，提出补采清单交采集环节执行。增强在本项的作用仅限于对已纳入的近 3 年样本做扩充，提升其在数据集中的条数占比。时效性占比的分子按样本的业务发生时间计，增强副本沿用源样本的业务发生时间，不因变换而改判为近 3 年；以增强副本推高时效性占比的，该批次的占比统计作废并按源样本重算。 表 3-5　两项指标的核算口径与达成路径 | 指标 | 要求 | 核算口径 | 主要达成路径 | 增强的作用 | |---|---|---|---|---| | 数据模态 | 不低于 3 种 | 文本、图像、时序为基本三种，视频按实际采集情况计入 | 各域采集与预处理产出覆盖三种以上模态 | 不适用 | | 多模态数据条数占比 | 不低于 40% | 一条样本含两种及以上模态内容，或输入与输出分属不同模态的，计为多模态 | 制造过程与产品质量域的图像与时序样本；工艺设计域的全链路标注样本 | 扩充图像与时序样本条数，作为补充手段 | | 3 年内数据条数占比 | 不低于 40% | 按样本的业务发生时间计，不按入库时间计 | 采集侧定向补采近 3 年数据 | 仅对已纳入的近 3 年样本做扩充；不以增强虚增占比 | 增强前后的分布对比结论按六个维度逐项呈现：增强前分布、增强后分布、变化幅度、目标达成情况、残留的长尾类别与覆盖盲区清单。结论随数据集版本一并交付，并作为下一版本修订计划的输入（b1571）。 ### 3.6 增强产出的一致性校验与批次回退 对增强产出执行语义一致性与标签一致性校验，产出通过校验的增强样本；校验不通过的批次整体回退，不纳入数据集版本。 两类校验的内容不同。语义一致性校验问的是「变换之后还是不是在说同一件事」，标签一致性校验问的是「变换之后原来的标签还对不对」。前者主要针对文本变换，后者主要针对图像与时序变换，但两者在各类变换上都要执行。 语义一致性的校验方法是双通道：规则通道检查关键信息要素是否完整保留（数值、单位、术语、实体、否定词、时间状语），模型通道计算变换前后的语义相似度。两通道都通过的判为一致；规则通道不通过的直接丢弃；规则通道通过而模型通道低于阈值的进入人工抽检。否定词的保留是规则通道的重点项——「未发现裂纹」改写成「发现裂纹」是一个在自动改写中真实会出现的错误，且语义相似度指标对此不敏感。 标签一致性的校验方法按标签类型分别执行：位置型标签校验其是否随几何变换同步变换且变换后仍有效；名义型与有序型标签校验其在变换后是否仍成立（例如一张缺陷图像经过大幅裁剪后缺陷是否还在画面内、一段时序经过降采样后其工况特征是否还可判别）；数值型标签校验其是否需要随变换换算（例如图像缩放后以像素计的缺陷尺寸须按比例换算）。 批次回退的判定线按规范给定：批次内校验不通过样本的比例超过门控线的，该批次整体回退，不纳入数据集版本（b1531）。整体回退而非剔除不合格样本的理由是：高不合格率说明该批次的变换配置本身有问题，剔除之后剩下的样本其变换配置同样可疑。回退后的处置是重新审定变换配置与参数范围，调整后重做；两次回退的任务提交技术评审，评审结论决定该类变换是否继续使用。 表 3-6　增强产出的校验项与判定 | 校验类别 | 校验项 | 执行方式 | 判定与处置 | |---|---|---|---| | 语义一致性·规则通道 | 数值与单位保留、术语在别名表内、实体一致、否定词保留、时间状语保留 | 自动规则校验，逐项 | 任一项不通过即丢弃该样本 | | 语义一致性·模型通道 | 变换前后语义相似度 | 自动计算，与阈值比较 | 低于阈值进入人工抽检，抽检不通过则丢弃 | | 标签一致性·位置型 | 框与多边形随几何变换同步；变换后有效性；面积损失比例 | 自动校验 | 超限丢弃 | | 标签一致性·名义与有序型 | 变换后标签是否仍成立 | 按变换类型的规则判定＋抽样人工复核 | 不成立则丢弃；抽样复核不合格率超线则批次回退 | | 标签一致性·数值型 | 随变换的换算是否正确 | 自动复算 | 换算错误则丢弃 | | 批次级 | 不通过样本比例 | 批次统计 | 超门控线则批次整体回退，不纳入版本；两次回退提交技术评审 | 每条增强样本随附一份变换记录，使任一增强样本都可回答「它由哪条样本、经哪个算子、在什么参数下变换而来」。变换记录的字段如表 3-6A。记录与样本一并封装，不单独存放。 表 3-6A　增强样本的变换记录字段 | 字段 | 内容 | 用途 | |---|---|---| | 源样本标识 | 被变换的原样本唯一标识；源样本为合成样本的，一并保留其合成溯源链 | 回溯到真实源头；占比统计时避免把增强副本计入真实样本 | | 变换算子标识与版本 | 所用算子的编号与版本号（同义改写、句式变换、风格迁移、几何变换、光照变换、窗口切分、重采样、噪声扰动） | 算子升版后的影响范围界定 | | 变换参数取值 | 该次变换的全部参数实际取值（旋转角度、平移像素、亮度与对比度系数、窗口长度与步长、重采样倍率、噪声幅度） | 复现与问题定位；参数超出配置范围的样本可按记录一次性剔除 | | 变换配置版本 | 该样本类型的变换配置文件版本号 | 配置变更后的批次归属 | | 随机种子 | 该批次的随机种子 | 同配置可复现 | | 副本序号与副本总数 | 该源样本在本批次内的第几个副本、共几个副本 | 副本数上限核查（4.5 节） | | 副本间差异度 | 本副本与同源其他副本的差异度量值（文本取语义与词面双值，图像取像素与特征双值，时序取波形距离） | 近似重复判定 | | 校验结论 | 语义一致性与标签一致性两类校验的逐项结论 | 入集判定依据 | | 所属增强批次号 | 批次标识 | 批次级统计与回退 | 同一源样本的多个副本之间须有可测差异：副本间差异度低于规范给定下限的，判为近似重复，仅保留其中一个副本，其余不入集且不计入规模达成。以近似重复副本充抵规模的批次按 3.6 节整体回退，并重新审定该样本类型的变换参数范围——参数范围过窄是副本趋同的直接原因。 ## 4、数据集质检（3.2.6.3.8） 要求的总口径是：在每个加工环节后对产出批次实施质量判定，产出质检结论与整改任务（b1533）。 ### 4.1 门控总则 本环节的设计要点是逐环节设卡，而不是在末端做一次总检。质检不在加工全部完成之后才对成品做一次体检，而是在每个加工环节之后设一道质量检查节点：质量检查节点设置在数据生产流程中，依据质量规则判断数据是否符合进入后续工序或交付的条件——不符合的批次不放行，不进入下一道工序。这样做的理由是加工链条长、返工成本随环节推进急剧上升：一个在采集环节就缺许可凭证的批次，若放到标注之后才发现，前面投入的标注工时全部作废。 加工链共设七道质量检查节点，自上游至下游为入口检查节点、预处理门、口径检查节点、终审门、标注门、合成增强门、版本检查节点。其中口径检查节点与终审门判定的是本体版本与知识条目，详述在「数据加工生产（一）」节；本节详述余下五道，即判定六个加工环节产出批次的入口检查节点、预处理门、标注门、合成增强门与版本检查节点，各自的判定主体、输入、输出如表 4-1。各道的指标体系与《数据集质量评测方案》采用同一套指标名称与判定阈值，两处同以《高质量数据集质量评测规范》（TC609-5-2025-04）为指标定义依据，不另立口径：加工过程内部的逐环节门控是自评，第三方评测是外评，二者共用同一指标定义，差别在实施主体与采信效力（b1542）。 表 4-1　本节详述的五道质检门控的设置（七道质量检查节点全图见「四大数据集加工生产总述」节表 2-1） | 门 | 位置 | 判定对象 | 主要判定项 | 输出 | 不通过处置 | |---|---|---|---|---|---| | 入口检查节点 | 采集之后 | 采集批次 | 数据源登记完整性、许可凭证有效性、入口脱敏执行情况、格式规范性 | 采集环节门控结论 | 退回采集，补登记、补凭证、补脱敏；凭证不可得的批次不入集 | | 预处理门 | 预处理之后 | 预处理批次 | 文本切分合理性、表格与公式还原完整性、时序对齐准确性、结构化文本化转换口径一致性 | 预处理环节门控结论 | 退回预处理，调整算子参数后重做 | | 标注门 | 标注之后 | 标注批次 | 标签完整性、标签体系符合性、跨标注员一致性、黄金集通过率 | 标注环节门控结论＋低一致性样本清单 | 按清单返工重标，跟踪至复检通过 | | 合成增强门 | 合成与增强之后 | 合成批次、增强批次 | 业务合理性、与真实样本分布偏离度、重复率、语义漂移程度 | 合成增强环节门控结论 | 调整生成或变换配置后重做；增强批次按 3.6 节整体回退 | | 版本检查节点 | 版本冻结前 | 数据集版本候选 | 六维度质量指标、训练与评测数据去重结果、全版本完整性 | 版本级质检报告 | 版本不冻结，按修复工单处置后重新提请 | 各门的判定结论取三值：通过、有条件通过、不通过。 「有条件通过」只在三个条件同时成立时适用：一是缺陷不影响本批次的主体可用性，且属于可在规定期限内补正的非关键项（如部分样本的来源页码缺失、部分元数据字段待补、命名不规范）；二是该批次在未结事项结清前仅限项目内部流转，不进入任何对外发布版本、不参与对外提供与挂牌；三是缺陷不涉及安全、许可与强制质量项。涉及这三类的一律判不通过，不得以有条件通过放行，具体为：个人信息与商业敏感信息的脱敏残留、涉密与权限边界处置缺失等安全项；许可凭证缺失、授权范围不覆盖本项目用途、许可条款限制未按用途分流标记等许可项；以及招标文件以数值形式明确要求的强制质量项（四大数据集的规模数值、数据模态不低于 3 种、多模态数据条数占比不低于 40%、3 年内数据条数占比不低于 40%）与标签完整性、标签体系符合性、基准评测子集零合成、训练与评测去重四项。 判为有条件通过的批次在台账中逐条标记未结事项、补正责任单元与补正期限，并同步生成修复工单。未结事项在版本冻结前须全部关闭：冻结核查时仍有未关闭事项的，该批次不计入本版本，转下一版本处置。设这一档的作用是避免少数非关键缺陷阻塞整批流转，同时不让缺陷隐性累积、不让它成为绕开硬项的通道。 ### 4.2 入口检查节点：采集批次的门控 对采集批次检查数据源登记完整性、许可凭证有效性、入口脱敏执行情况与格式规范性，产出采集环节的门控结论。 四项检查中，许可凭证有效性是最硬的一项，也是最容易在后期造成被动的一项。数据集建成后要服务行业相关用户、要在数据交易所挂牌上架、要接入国家数据基础设施，权属链条上任何一环缺失都会在流通环节暴露。因此本检查节点对许可凭证采取「无凭证不入集」的口径：凭证缺失的样本不进入数据集版本，可留在贴源区待补。 凭证存在但条款对用途有限制的，按限制的用途逐项分流，不作一概而论的「标记后放行」。分流口径如表 4-2A：许可禁止用于模型训练的样本，不得进入预训练、有监督指令微调与人类偏好对齐三个训练子集；许可禁止对外发布的样本，不得进入对外发布的版本封装包；仅允许内部授权用途或仅允许合法留存的样本，进入独立隔离分区，既不参与训练也不参与对外交付。一条样本同时受两类限制的，按更严的一类执行。分流结果在样本级以「许可用途标记」字段固化，并作为子集抽取与版本封装的强制过滤条件——过滤在抽取脚本中实现，不依赖人工核对；版本冻结前对封装包做一次反向扫描，出现任一不应入包的样本即版本不冻结。各限制类型的样本量与占比在数据集卡片与资产台账中分类披露。 数据源登记完整性检查的字段包括：源系统或资料来源标识、提供方、提供时间、数据范围描述、采集方式、授权依据、责任联系单元。外部语料的登记另加：公开渠道标识、获取时间、许可类型、许可条款摘要、是否允许商业使用、是否允许用于模型训练。 入口脱敏执行情况检查的是脱敏是否在入口执行而不是在后续环节补做。检查方式是对批次做敏感信息扫描，扫描对象包括个人身份信息、联系方式、账户信息，以及企业侧的具体客户名称与合同金额一类商业敏感信息。扫描命中的样本按脱敏规则处置后重新提交入口检查节点判定，未通过的不放行；批次级命中率超过门控线的，退回采集环节检查脱敏规则配置。 格式规范性检查的是文件格式、编码、字段类型与命名是否符合本项目的数据规范。这一项对后续环节的影响是实质的：编码不一致会导致文本切分出乱码，字段类型不一致会导致时序对齐失败，两者都要到下游环节才暴露，返工代价远高于入口处的一次校验。 表 4-2　入口检查节点的检查项与判定口径 | 检查项 | 检查内容 | 检查方式 | 判定口径 | |---|---|---|---| | 数据源登记完整性 | 七项必填字段齐备；外部语料另加六项 | 自动校验字段非空＋人工核对内容合理性 | 必填字段缺失的样本不通过；批次缺失率超门控线则批次退回 | | 许可凭证有效性 | 凭证存在、在有效期内、授权范围覆盖本项目用途 | 逐来源核验凭证文件 | 无凭证不入集；条款限制的按表 4-2A 逐用途分流并统计占比 | | 入口脱敏执行情况 | 个人信息、联系方式、账户信息、商业敏感信息的残留 | 自动扫描＋抽样人工复核 | 命中样本处置后重新提交判定，未通过的不放行；批次命中率超线则退回检查脱敏规则 | | 格式规范性 | 文件格式、字符编码、字段类型、命名规范 | 自动校验 | 不符合的样本退回转换；批次不符合率超线则退回 | 表 4-2A　许可限制按用途的分流口径 | 许可限制类型 | 可进入的子集与版本 | 不得进入 | 样本级标记 | 台账与卡片登记 | |---|---|---|---|---| | 无限制（授权范围覆盖本项目全部用途） | 四个用途子集；对外发布版本 | — | 许可用途标记＝完整授权 | 计入可对外发布的样本范围 | | 禁止用于模型训练 | 基准评测子集（限许可明示允许评测用途的）；其余仅作合法留存 | 预训练子集、有监督指令微调子集、人类偏好对齐子集 | 许可用途标记＝禁训练 | 按禁训练类统计占比；卡片使用限制栏列明 | | 禁止对外发布 | 四个用途子集的内部版本 | 对外发布版本的封装包；挂牌、上架与对外提供 | 许可用途标记＝禁发布 | 按禁发布类统计占比；资产台账「可对外发布的样本范围」中扣除 | | 仅限内部授权用途或仅允许合法留存 | 独立隔离分区，按授权用途单独取用 | 全部四个用途子集；对外发布版本 | 许可用途标记＝隔离留存 | 单列登记，不计入数据集规模达成 | | 同时受两类及以上限制 | 按最严的一类确定 | 按最严的一类确定 | 并列记录全部限制类型 | 按最严类统计，限制类型逐项列明 | ### 4.3 预处理门：预处理批次的门控 对预处理批次检查文本切分合理性、表格与公式还原完整性、时序对齐准确性与结构化文本化转换的口径一致性，产出预处理环节的门控结论。 这四项检查的难点是它们都不能完全自动判定，都需要抽样人工核对。因此本门的实施方式是「自动筛可疑＋人工核可疑」：自动规则先筛出疑似问题样本，人工只核这部分加一个固定比例的随机抽样，避免全量人工核对造成工期不可控。 文本切分合理性的自动筛查项包括：切分块长度异常（过短或超长）、切分点落在句子中间、章节层级缺失或跳级、同一章节被切分到不连续的块中。人工核对的重点是章节结构还原是否正确——制度文件与技术标准的条款层级若还原错误，知识库的条款级索引就会错，进而影响制度问答与标准问答的证据定位。 表格与公式还原完整性的自动筛查项包括：表格行列数与原文不符、合并单元格丢失、表头缺失、公式符号丢失或变为乱码。人工核对按表格复杂度分层抽样，跨页大表与含合并单元格的表全量核对。技术标准与质量报告中的表格承载着具体的判定限值，还原错误会直接导致后续标注与问答的答案错误。 时序对齐准确性的检查方式与前两项不同，它可以较大程度自动化：检查多测点时间戳的对齐偏差、重采样后的采样点数与时间跨度一致性、缺失补齐的补齐比例与方法记录、异常值处理的处置记录。事件锚定切分的正确性则需核对：抽样核对切分出的时间窗是否确实包含目标事件、事件时点是否落在窗口的预期位置。 结构化文本化转换口径一致性检查的是同类业务数据转换为自然语言文本时是否使用了同一套模板与表述。这一项容易被忽略但影响实质：若工单记录在不同批次被转换成不同句式与不同字段顺序的文本，预训练子集中就会出现大量表述不一致的同类内容，模型学到的是表述噪声。检查方式是按转换模板统计实际产出的表述模式分布，模式数超过模板数的说明存在口径分叉，需追溯原因。 表 4-3　预处理门的检查项与自动筛查规则 | 检查项 | 自动筛查规则 | 人工核对范围 | 判定口径 | |---|---|---|---| | 文本切分合理性 | 块长异常、切分点在句中、章节层级缺失或跳级、同章节块不连续 | 筛出的可疑样本＋5% 随机抽样 | 可疑样本确认有误的比例超线则批次退回 | | 表格与公式还原完整性 | 行列数不符、合并单元格丢失、表头缺失、公式乱码 | 跨页大表与含合并单元格的表全量；其余分层抽样 | 承载判定限值的表格有误即退回该表所在文档 | | 时序对齐准确性 | 时间戳对齐偏差超容限、采样点数与跨度不一致、补齐与异常处置记录缺失 | 事件锚定切分抽样核对 | 对齐偏差超容限的样本退回重做 | | 结构化文本化口径一致性 | 实际表述模式数超过模板数 | 口径分叉处追溯核对 | 存在口径分叉即退回统一口径后重做 | ### 4.4 标注门：标注批次的门控 对标注批次检查标签完整性、标签体系符合性、跨标注员一致性指标与黄金集通过率，产出标注环节的门控结论与低一致性样本清单。 四项判定项的数据来源已在 1.9 节建立：标签完整性与标签体系符合性来自自检与抽检记录，跨标注员一致性来自重复标注样本的一致性计算，黄金集通过率来自混入作业流的隐蔽考核。本门的工作是把这四项汇总判定并产出清单。 判定口径按标注任务的客观程度分档，与 1.9.1 节的抽检阈值分档一致。各档的四项判定线如表 4-4。四项中任一项不达线即批次不通过，不做加权折算——四项分别对应四类不同性质的问题，一项不达线说明该类问题存在，用其他项的好成绩抵掉没有意义。 表 4-4　标注门的判定线（按标注任务客观程度分档） | 任务档次 | 典型任务 | 标签完整性 | 标签体系符合性 | 跨标注员一致性 | 黄金集通过率 | |---|---|---|---|---|---| | 客观档 | 工序选择、检验项、指标项、工况分类、标题栏字段 | 趋向 100%，缺失即退回 | 趋向 100%，越界即退回 | Kappa 趋向 0.80 以上 | 趋向 95% 以上 | | 准则档 | 条款类型、缺陷类型、加工特征、工艺阶段 | 必填字段趋向 100% | 趋向 100% | Kappa 趋向 0.80 以上（有序型加权 Kappa 0.75 以上） | 趋向 90% 以上 | | 判断档 | 风险等级、根因判定、主导参数、库存决策标签 | 必填字段趋向 100%；允许「无法判定」取值 | 趋向 100% | 记录实测值，不设硬性线；仲裁后一致性达标即可 | 趋向 85% 以上 | 表中「趋向 100%」的口径如下。标签完整性与标签体系符合性两项由工具层的输入约束与自检规则保障，技术上不合规的样本在提交时即被拒绝，批次到达本门时这两项应当已是合规状态，本门的检查为复核。验收口径为抽检样本中不合规项为零；出现不合规项即判定工具层约束或自检规则存在漏洞，处置是退回批次、逐项追溯原因并修补约束规则，修补后对同任务已完成批次做一次复扫。 低一致性样本清单是本门的专门输出（b1539）。清单按样本列出：样本标识、所属批次、涉及的标签字段、参与标注的工号、各自的标注取值、一致性指标值、分歧类型（规范理解不一致／证据不足／本体类目缺失／标注粗心）。分歧类型的归类决定处置方式：规范理解不一致的修订规范并对同类样本重标；证据不足的转为「无法判定」并记入覆盖盲区；本体类目缺失的提交本体变更；标注粗心的退回原标注员重标并纳入其质量记录。 清单同时是下一版本修订计划的输入之一（b1571）：清单中「证据不足」与「本体类目缺失」两类分歧指向的是数据与知识的缺口，不是标注作业的问题，这部分转为补采与本体完善任务。 ### 4.5 合成增强门：合成与增强批次的门控 对合成与增强批次检查业务合理性、与真实样本分布的偏离度、重复率与语义漂移程度，产出合成增强环节的门控结论。 四项判定项的检查方式与判定口径如表 4-5。合成批次与增强批次在前三项上的检查方式相同但重点不同，在第四项上的含义不同，故分列。 表 4-5　合成增强门的判定项、检查方式与判定口径 | 判定项 | 对合成批次 | 对增强批次 | 判定口径 | |---|---|---|---| | 业务合理性 | 规则校验通过率＋业务专家抽样评议（时序类合成为专家全量确认） | 变换配置是否对应真实采集条件下可能出现的差异 | 规则校验通过率低于门控线则批次重做；专家评议不合理比例超线则重做 | | 与真实样本分布偏离度 | 任务类型、长度、标签取值、业务域、难度五维分布距离 | 变换后分布是否仍落在真实分布范围内 | 任一维度偏离超容限则调整配置后重做 | | 重复率 | 批次内自重复＋与既有样本重复 | 同一源样本的增强副本数是否超上限 | 自重复率超线则重做；与既有样本重复的样本删除 | | 语义漂移程度 | 生成内容相对种子样本的语义偏离 | 变换前后语义相似度（3.6 节语义一致性校验结果） | 漂移超容限的样本丢弃；批次丢弃率超线则批次回退 | 重复率对增强批次另设一条口径：同一源样本的增强副本数按样本类型设上限，文本类不超过 3 个、图像类不超过 5 个、时序类不超过 4 个，超限部分不入集。不设上限时，易于变换的样本会被反复增强出数十个副本，统计上规模达成而实际信息量不增加，并使模型在这部分样本上过拟合。上限的具体取值在首版实测后按下游效果调整，调整依据与结果进入批次台账；调整只在上述分类上限之内收紧，不上调。 语义漂移对合成批次的含义与对增强批次不同。对增强批次，漂移意味着变换破坏了原语义，是错误；对合成批次，一定程度的内容扩展是合成的目的，漂移的判定针对的是「生成内容是否偏离了种子样本所在的业务范围」——以工艺卡片为种子生成的推理样本若写出了备料分厂不做的工序，就是漂移。判定方式是检查生成内容引用的本体类目、工序、参数项是否全部落在种子样本所属业务域的范围内。 ### 4.6 六维度质量指标的量化 按《高质量数据集质量评测规范》等国家标准，对保真度、完备性、规整性、均衡性、可用性与可信性各维度输出可量化的质检指标结果。 六个维度的指标在本方案中与《数据集质量评测方案》采用同一套定义，不另立口径。本小节给出的是各维度在加工过程内部如何量化、数据从哪里来、以及我方承诺的内部管理基线。承诺的基线是我方内部管理目标，首版实测值作为基线写入数据集卡片，后续版本以提升基线为目标；第三方评测的采信结论以评测机构出具的报告为准。首版实测仅用于标定本方案自设的内部管理基线，不用于下调招标文件已明确的指标——表 4-6 中多模态占比与 3 年内数据占比两项取招标文件的数值要求，实测不足时按 6.11 节第四条补齐缺口，不改写该两项的取值与核算口径。 表 4-6　六维度质检指标的量化口径与数据来源 | 维度 | 本项目的量化指标 | 数据来源 | 计算口径 | 内部管理基线 | |---|---|---|---|---| | 保真度 | 内容真实性抽检合格率；结构化文本化转换的回算一致率；图像与时序样本的采集条件记录完整率 | 预处理门与标注门抽检记录、转换日志 | 抽检合格样本数／抽检样本数 | 趋向 98% 以上 | | 完备性 | 必填字段完整率；样本级元数据完整率；来源与许可凭证完整率；规模目标达成率 | 入口检查节点与标注门记录、规模统计 | 各项按字段逐项统计 | 字段完整率趋向 99% 以上；规模达成按四集目标核算 | | 规整性 | 格式规范符合率；标签体系符合率；命名与编码规范符合率；重复率 | 入口检查节点与标注门记录、去重结果 | 符合样本数／总样本数；重复率为重复样本数／总样本数 | 符合率趋向 99% 以上；重复率低于规范给定线 | | 均衡性 | 六维分布的基尼系数或分布距离；长尾类别数与占比；来源偏置系数；多模态占比；3 年内数据占比 | 3.2 节分布统计结果 | 按维度分别计算 | 多模态占比不低于 40%；3 年内数据占比不低于 40%（b1601） | | 可用性 | 数据字典与自描述封装完整率；解析脚本可用性；第三方平台解析通过率；验证环节的场景可用性结论 | 版本检查节点记录、第三方解析试验、验证报告 | 解析通过的样本文件数／抽样文件数 | 第三方解析通过率趋向 99% 以上 | | 可信性 | 标注一致性指标；黄金集通过率；专家判断型标签的分歧率；合成样本占比与溯源完整率；未闭环报警样本占比 | 标注门与合成增强门记录、溯源台账 | 按项分别统计 | 溯源完整率趋向 100%；其余项按 4.4 节分档线 | 表 4-6 给出的是各维度采用哪些指标与数据取自何处，指标本身的计算与取证口径按表 4-6A 执行。表 4-6A 逐指标写明分子、分母、全检或抽样、抽样方式与规模、以及复核方式，使同一指标在不同批次、不同数据集之间按同一口径计算，第三方按同一口径可复算。表中「抽样方式与规模」的通用约定是：按批次分层随机抽样，分层维度为业务域与样本类型（真实／合成／增强）；抽样规模以能在两个工作日内完成复核为上限，且不低于批次规模的 5%；判定为关键项的一律全检，不以抽样代替。 表 4-6A　各质检指标的分子、分母、抽样范围与复核方式 | 指标 | 分子 | 分母 | 全检或抽样 | 抽样方式与规模 | 复核方式 | |---|---|---|---|---|---| | 内容真实性抽检合格率 | 抽检中与原始资料核对一致的样本数 | 抽检样本数 | 抽样 | 按业务域与资料类型分层随机，比例随批次质量在 5%–20% 之间动态调整 | 质检岗核对原件；判不合格的样本由业务专家复核后定案 | | 结构化文本化转换回算一致率 | 由转换文本回算出的字段值与源记录一致的样本数 | 参与回算的样本数 | 抽样 | 按转换模板分层，每个模板不少于 50 条 | 自动回算＋人工核对差异项 | | 采集条件记录完整率 | 采集条件六项（相机位置、光照、分辨率、采集时点、测点配置、采样周期）齐备的样本数 | 该批次图像与时序样本总数 | 全检 | — | 自动校验字段非空；缺项清单人工追溯布点与配置记录 | | 必填字段完整率 | 必填字段无缺失的样本数 | 该批次样本总数 | 全检 | — | 自动校验；缺项按字段汇总后追溯工具层约束 | | 样本级元数据完整率 | 元数据字段齐备的样本数 | 该批次样本总数 | 全检 | — | 自动校验 | | 来源与许可凭证完整率 | 有有效凭证且许可用途标记已固化的样本数 | 该批次样本总数 | 全检 | — | 自动校验凭证引用＋逐来源人工核验凭证文件 | | 规模目标达成率 | 去重后实际入集的条数或 Token 数 | 该子集的规模目标值 | 全检 | — | 按去重后清单统计；近似重复不计入分子 | | 格式规范符合率 | 文件格式、编码、字段类型与命名四项全部符合的样本数 | 该批次样本总数 | 全检 | — | 自动校验 | | 标签体系符合率 | 全部标签取值落在本体取值域内的样本数 | 该批次标注样本总数 | 全检 | — | 自动校验；越界项逐条追溯本体版本与工具约束 | | 重复率 | 精确去重与近似去重两道判为重复的样本数 | 该批次（或该子集）样本总数 | 全检 | — | 自动比对；近似重复的命中对按 10% 人工复核判定阈值是否合适 | | 分布距离与长尾类别占比 | 低于长尾判定线的类别所含样本数 | 该维度样本总数 | 全检 | — | 自动统计；长尾清单由规范编制单元复核处置路径归属 | | 来源偏置系数 | 占比最高来源的样本数 | 该业务域样本总数 | 全检 | — | 自动统计；超线的来源由项目组确认是否存在系统性差异 | | 多模态数据条数占比 | 按卡片明示口径计为多模态的样本条数 | 该数据集样本总条数 | 全检 | — | 自动统计；计数口径由质检岗按卡片口径逐类抽验 | | 3 年内数据条数占比 | 业务发生时间在近 3 年内的样本条数 | 该数据集样本总条数 | 全检 | — | 自动统计；业务发生时间缺失的样本单列并人工追溯 | | 数据字典与自描述封装完整率 | 已在字典中定义的字段数 | 数据集中实际出现的字段数 | 全检 | — | 自动比对；未定义字段逐项补入字典后重算 | | 第三方平台解析通过率 | 在独立环境中解析成功的文件数 | 抽样的文件数 | 抽样 | 按目录与文件类型分层，覆盖全部文件类型，总量不低于 200 个文件 | 在不安装本项目任何组件的环境中执行解析试验，失败项逐项定位并修正封装后重试 | | 标注一致性指标 | 按表 1-11 的指标定义计算（名义型取 Kappa、位置型取 IoU 配对召回等） | 参与重复标注的样本数 | 抽样 | 每批次按规模的 5%–10% 抽取重复标注样本，交两名及以上标注员独立标注 | 自动计算；低于目标值的样本进入低一致性清单并按分歧类型处置 | | 黄金集通过率 | 隐蔽考核中判定正确的黄金集样本数 | 混入该批次的黄金集样本数 | 全检（针对混入的黄金集样本） | 混入比例按标注规范规定，黄金集样本定期轮换 | 自动判分；不通过项由业务专家复核是否黄金集本身有误 | | 专家判断型标签分歧率 | 两名专家判定不一致的样本数 | 该类标签的双人判定样本数 | 全检（针对双人判定部分） | 该类标签按判断档比例组织双人判定 | 自动统计；分歧样本进入仲裁，仲裁后仍不一致的并列保留 | | 合成样本占比与溯源完整率 | 溯源记录十个字段齐备的合成样本数 | 合成样本总数 | 全检 | — | 自动校验；缺项样本退回补记，补不齐的剔除 | | 未闭环报警样本占比 | 标记为「未闭环报警」的样本数 | 设备运行时序样本总数 | 全检 | — | 自动统计；该占比在卡片局限性说明中披露 | 六维度指标按数据集、按用途子集两级出结果，汇总为版本级质检报告。报告的结构包含：各维度指标值与基线对照、不达基线项的原因分析与整改任务、与上一版本的指标变化、残留问题清单与处置计划。质检报告是数据集版本发布物之一（b1568）。 采集批次 （前章） 预处理批次 （前章） 标注批次 合成批次 增强批次 版本候选 版本冻结 与发布 入口检查节点 源登记・许可 脱敏・格式 预处理门 切分・表格公式 时序对齐・口径 标注门 完整・符合性 一致性・黄金集 合成增强门 合理性・偏离度 重复率・漂移 版本检查节点 六维度指标 训练评测去重 修复工单：按门控结论生成，跟踪至复检通过（b1545） 工单类型：补登记／补凭证／补脱敏／重做预处理／重标／重合成／重增强／补采 去重与相似度比对（b1544）：训练侧样本与基准评测数据做精确去重＋近似去重两道，命中样本清单与处置结果随版本交付。 门控结论三值：通过／有条件通过（限内部流转、限期补正，冻结前结清；不适用于安全、许可与强制质量项）／不通过。 通过 不通过 图 4-1　五道质检门控与修复工单闭环。数据来源：招标文件 3.2.6.3.8 各项要求（b1533–b1545）。 ### 4.7 去重比对与修复工单闭环 训练数据与基准评测数据之间执行去重与相似度比对，产出命中样本清单与处置结果；对未通过门控的批次产出修复工单，并跟踪至复检通过。 去重比对是数据集可信性的关键一环，它要防的是评测污染：若训练侧样本包含了评测题目或与之高度相似的内容，验证环节得出的效果结论就是虚的，第三方评测也会在复核中发现。 比对在两个时点执行。第一个时点是合成与增强产出入集前（2.6 节），防止新生成的内容撞上评测集。第二个时点是版本冻结前，对整个训练侧（预训练子集、指令微调子集、偏好对齐子集）与基准评测子集做一次全量比对，这是版本级的保障。 比对方法为两道。精确去重按内容指纹比对，对文本按规范化后的内容计算指纹，对图像按感知哈希计算指纹，对时序按片段的特征摘要计算指纹。近似去重按语义相似度比对，对文本计算向量相似度与词面重叠率，对图像计算感知哈希距离与特征相似度，对结构化样本比对关键字段组合。两道都不命中的判为无重复。 命中样本的处置口径是：命中的训练侧样本删除，评测侧样本保留。理由是基准评测子集的样本来自 A 级真实记录且经审核签发，其权威性高于训练侧样本；删训练侧比删评测侧对数据集整体价值的损失小。处置后产出命中样本清单，记录命中样本标识、所在子集、命中的评测题目标识、命中方式（精确或近似）、相似度值与处置结果。清单随版本交付。 修复工单是本环节与下游各环节衔接的载体。每一张不通过或有条件通过的门控结论生成一张或多张修复工单，工单的字段与流转如表 4-7。工单跟踪至复检通过方可关闭；复检仍不通过的二次返工，二次仍不通过的升级至技术评审，评审可决定该批次不入集并转为下一版本的补采或重做任务。 表 4-7　修复工单的字段与流转 | 字段 | 内容 | 用途 | |---|---|---| | 工单号 | 按门与批次编号 | 唯一标识 | | 来源门控结论 | 门号、批次号、不达线判定项 | 追溯依据 | | 问题描述 | 具体不合格项、涉及样本范围、样本清单引用 | 执行依据 | | 工单类型 | 补登记／补凭证／补脱敏／重做预处理／重标／重合成／重增强／补采／本体变更／规范修订 | 分派依据 | | 责任单元 | 承接执行的作业单元 | 分派 | | 期限 | 按工单类型与批次规模设定 | 进度控制 | | 执行记录 | 处置方式、处置范围、完成时点 | 复检依据 | | 复检结论 | 通过／不通过／升级评审 | 关闭条件 | | 关联版本 | 本工单影响的数据集版本 | 版本冻结前的未结事项核查 | 工单台账按数据集与版本汇总，版本冻结前核查未结工单：存在未关闭且影响本版本的工单时，该版本不冻结。这一条是版本冻结的硬约束，五道门的判定结果据此对发布生效。 ### 4.8 全链条的门控与回退总表 六个加工环节各自的判定与回退已在各自条款下写明。贯通来看，全链条的质量控制归纳为一张表：每一个环节有明确的输入、产出、判定主体、判定项、通过条件与不通过时的回退路径。表中任一环节判定不通过时的去向可直接查到，不另行解释。 表 4-8　六环节的输入、产出、判定与回退总表 | 环节 | 输入 | 产出 | 判定主体 | 主要判定项 | 通过条件 | 不通过时的回退 | |---|---|---|---|---|---|---| | 数据标注 | 预处理规范化样本、知识本体标签体系、知识库与检索索引 | 五个业务域的标注样本及其质量记录 | 我方质检岗与业务专家（抽检与仲裁） | 标签完整性、标签体系符合性、跨标注员一致性、黄金集通过率 | 按任务客观程度分档达线（表 4-4） | 出低一致性样本清单，按分歧类型分别处置：修订规范重标／转「无法判定」／提交本体变更／退回原标注员 | | 数据合成 | 真实样本种子、本体与知识图谱约束、工艺准则与规则引擎 | 带溯源记录的合成样本 | 我方质检岗，时序类合成由业务专家确认 | 规则校验通过率、分布偏离度、重复率、语义漂移 | 各项在容限内且占比不超上限 | 单样本丢弃并记规则编号；批次级超线则调整生成配置后重做；时序类未获专家确认不入集 | | 数据增强 | 已入集的真实与合成样本、分布分析结论 | 带变换算子与参数记录的增强样本 | 我方质检岗 | 语义一致性（规则＋模型双通道）、标签一致性、副本数上限 | 批次不通过样本比例在门控线内 | 单样本丢弃；批次超线则整体回退不入版本；两次回退提交技术评审 | | 数据集质检 | 各环节产出批次 | 五道门控结论、低一致性样本清单、命中样本清单、修复工单 | 我方质检岗 | 见表 4-1 各门判定项 | 门控结论为通过；或为有条件通过（限内部流转、不涉安全与许可与强制质量项）且未结事项在版本冻结前结清 | 生成修复工单，跟踪至复检通过；二次不通过升级技术评审，可决定不入集转下一版本 | | 数据集验证 | 四个用途子集、固化的评测协议与基座模型 | 四段实验结果、能力增量矩阵与雷达图、场景可用性结论、错样归因与整改闭环记录、《数据集验证报告》 | 我方技术评审与业务专家 | 知识注入有效性、通用能力保持、四类微调指标、偏好与安全指标、场景可用性 | 各项达基线且验证报告经评审出具 | 调整训练配置后重跑（上限三轮）；仍不达标转语料与标注整改，生成整改任务单并复评 | | 数据集项目管理 | 各环节产出、质检与验证报告、许可核验与模型许可登记 | 数据集版本封装包（内容＋卡片＋指纹＋质检报告＋验证报告＋字典＋自描述封装）、资产台账、修订计划、移交登记 | 我方项目组与技术评审 | 发布物齐备性、未结工单清零、第三方解析试验通过 | 三项俱备 | 版本不冻结；按修复工单与整改任务单处置后重新提请；解析试验未通过则修正封装后重试 | ## 5、数据集验证（3.2.6.3.9） 要求的总口径是：通过实际训练与评测验证四类数据集的效果，产出发布前的验证结论（b1547）。 ### 5.1 验证要回答的问题与实验设计原则 质检回答的是「这批数据合不合规」，验证回答的是「这批数据有没有用」。两者不能互相替代：一个各项质检指标都达标的数据集，完全可能对模型能力没有增量——比如样本都很规整但任务形态与场景需求不匹配，或者数据集的知识早已包含在基座模型中。因此本项目把验证设为数据集版本发布的前置条件（b1561），没有验证报告的版本不发布。 验证实验按四段组织，对应四个用途子集：继续预训练实验、微调实验、偏好对齐实验、基准评测。四段不是独立的四件事，而是一条链：同一个基座模型依次经过继续预训练、微调、对齐，在固化的评测协议下对基座模型、继续预训练模型、微调模型与对齐模型执行标准化评测（b1554），从而把每一段的能力增量分离出来。四段链式组织正是为了得出各数据集对模型能力增量的量化结论——要量化增量，就必须有可比的前后两点。 实验设计遵循三条原则。 第一条是环境固化。基座模型、训练框架版本、超参配置、评测协议、随机种子与硬件配置在验证期内固化，固化记录随验证报告交付。本项目采用当期能力评测领先的通用大模型作为基座，经统一网关接入，可替换、可评测、可随代升级；基座更换时对已完成的验证实验重跑或明确标注不可比，不在不同基座的结果之间直接比较增量。 第二条是对照明确。每个实验设对照组：继续预训练实验以基座模型为对照，微调实验以继续预训练模型为对照，对齐实验以微调模型为对照。消融实验按数据集与子集设置：去掉某一数据集的样本后重跑，观察相应能力指标的变化，从而给出该数据集的增量归属。 第三条是结论可复现。评测题目、判分规则、评测脚本与结果明细随验证报告交付，使第三方按同一协议可复现结论。这与数据集质量评测方案中第三方评测的实施是衔接的：我方的内部验证结论与第三方评测结论采用同一套评测题目与判分规则，第三方可直接复核。 第四条是数据隔离。训练侧样本、保留集与基准评测子集三者互斥，任一样本只属于其中一方。隔离按来源切分而不按样本切分：同一源文档、同一图号及其版次族、同一炉次、同一道焊缝、同一报警事件时间窗、同一选型项目所派生的全部样本，整体归入同一侧，不拆开分配——按样本随机切分会使同一事实的不同派生样本横跨训练与评测两侧，造成评测结果虚高。设备运行时序另按时间切分，评测侧取训练侧时间范围之后的区段，避免以未来数据训练、以历史数据评测的反向泄漏。保留集在版本周期开始时抽取并冻结，全程不参与训练；基准评测子集按 6.2 节的依赖关系先于训练侧样本入集冻结，入集时逐批与已冻结的评测子集做去重比对（4.7 节）。隔离结果在版本检查节点核查：出现跨侧样本即版本不冻结，不予放行，并追溯切分脚本的分组键配置。 基座模型 M0 （统一网关接入） 继续预训练 M1 输入：预训练子集 微调模型 M2 输入：指令微调子集 对齐模型 M3 输入：偏好对齐子集 奖励模型 RM 对照基线 M0 评测结果 知识探针结果 保留语料困惑度变化 指令遵循・任务完成 行业问答・长上下文 偏好判别准确率・回答质量改善 安全合规通过率 固化评测协议下对 M0／M1／M2／M3 执行标准化评测（基准评测子集） 产出各数据集对模型能力增量的量化结论与能力雷达图（b1554–b1556） 场景可用性验证 以实际业务任务检验（b1557） 错样归因分析 脏数据・矛盾标注・盲区・难度 结构化整改任务单 → 回流至标注／合成／增强／补采 → 修复后复评 → 闭环记录（b1558–b1560） 数据回流修复后复评 图 5-1　四段验证实验链、标准化评测与错样归因闭环。数据来源：招标文件 3.2.6.3.9 各项要求（b1548–b1562）。 ### 5.2 继续预训练实验 以各数据集的预训练子集开展继续预训练实验，产出知识注入有效性结论，包括领域知识探针结果与保留语料困惑度变化。 继续预训练要回答的问题是：这 615 亿 Token 的语料，有多少变成了模型的领域知识，又有没有损害模型原有的通用能力。两项都要测，只测前者会出现一种常见结果——领域指标上去了，通用能力掉了，模型在实际场景中反而不可用。 领域知识探针按四个业务域分别构建，探针题目来自本体与知识库而不是来自预训练语料本身，这是避免循环论证的关键：若用语料中的句子作为探针，模型背下来就能答对，测不出知识是否真正注入。构建方式是从知识图谱的关系三元组与指标知识库的口径登记中生成填空式与选择式探针，同一知识点构造多种问法以检验知识的可泛化调用。 表 5-1　四个业务域的领域知识探针构建 | 业务域 | 探针知识点来源 | 典型探针形态 | 探针题量口径 | |---|---|---|---| | 供需计划 | 合同条款类型与核心要素定义、选型要素与配置对应关系、物料分层规则 | 给工况问应关注哪些选型要素；给条款类型问其核心义务 | 按知识点覆盖度确定，覆盖本体该域全部一级类目 | | 产品工艺设计 | 封闭工序集合与工序依赖关系、加工特征定义、工艺编制准则 | 给特征问对应工序；给两道工序问先后依赖 | 覆盖 28 道工序与全部加工特征类型 | | 制造过程 | 「设备—部件—故障模式—现象—原因—处置—备件」图谱、六类运行工况定义、十类焊接缺陷定义 | 给现象问可能故障模式；给缺陷类型问其典型成因 | 覆盖图谱主干关系与全部缺陷类型 | | 产品质量 | 「工件—工艺参数—切片结果—硬度指标—质检结论」图谱、检验项字典、不合格类型 | 给质量异常问相关工艺参数；给检验项问判定依据 | 覆盖图谱主干关系与全部检验环节 | 探针结果按业务域、按知识点类型两级呈现，与基座模型的探针结果对照给出知识注入增量。预期的结论形态是：某业务域的知识点正确率从基座的若干水平提升到继续预训练后的若干水平，提升幅度在各知识点类型之间的分布如何。不提升或下降的知识点单列并转入错样归因（5.7 节）——这类知识点通常指向语料中该知识的表述稀少或存在矛盾表述。 保留语料困惑度变化测的是通用能力保持情况。保留语料分两部分：通用保留语料（从公开通用语料中抽取、不参与训练）与领域保留语料（从本项目各域语料中按比例留出、不参与训练）。两部分的困惑度变化含义不同：领域保留语料困惑度下降说明领域语言建模能力提升，通用保留语料困惑度上升说明出现了通用能力退化。 判定口径与回退机制如表 5-2。继续预训练实验采用分级判定而不是简单的通过与否（「有条件通过」一词在本节专指 4.1 节的批次门控结论，不用于实验判定）：通用能力退化在容限内的可接受，超出容限的调整训练配置（语料混比、学习率、训练步数）后重跑，调整三轮仍不达标的转为调整语料本身——这通常意味着某一部分语料的质量或分布有问题，转入错样归因与整改。 表 5-2　继续预训练实验的判定口径与回退 | 指标 | 判定口径 | 达标处置 | 不达标处置 | |---|---|---|---| | 领域知识探针正确率 | 相对基座模型有可测提升，提升幅度按首轮实测值作为基线 | 结论计入验证报告 | 未提升的知识点单列，转错样归因定位语料缺口 | | 领域保留语料困惑度 | 相对基座模型下降 | 同上 | 未下降的域单列，检查该域语料规模与质量 | | 通用保留语料困惑度 | 上升幅度在容限内 | 同上 | 超容限则调整语料混比与训练配置后重跑；三轮不达标转语料整改 | | 通用能力抽样评测 | 在通用评测题目上的表现不显著低于基座 | 同上 | 显著下降则按上条处置，并在验证报告中如实记录 | ### 5.3 指令微调实验 以指令微调子集开展微调实验，产出模型在指令遵循、任务完成质量、行业问答准确性与长上下文理解等方面的评测结果。 四个方面的评测内容、题目来源与指标如表 5-3。四项中「任务完成质量」与各验证场景的关系最直接，它测的不是通用的回答质量，而是本项目十一个验证场景所需的具体任务能不能完成。 表 5-3　指令微调实验的四类评测 | 评测方面 | 评测内容 | 题目来源 | 指标 | 判分方式 | |---|---|---|---|---| | 指令遵循 | 是否按要求的格式、字段、口径输出；多约束指令的约束满足率 | 基准评测子集的格式约束题 | 格式合规率、约束满足率 | 规则判分 | | 任务完成质量 | 工艺卡片工序序列生成、合同要素抽取、缺陷判定、诊断说明撰写、指标问答取数逻辑 | 基准评测子集的各场景任务题 | 按任务类型分别计：序列相似度、要素 F1、分类准确率、要点覆盖率、取数逻辑一致率 | 规则判分＋人工复核 | | 行业问答准确性 | 制度、标准、标书、决策数据问答的答案正确性与出处正确性 | 基准评测子集的问答题 | 答案正确率、出处命中率 | 规则判分＋人工复核 | | 长上下文理解 | 在项目级多文档输入下的信息定位与跨文档比对 | 按真实项目边界构造的长上下文题 | 定位准确率、跨文档比对正确率、不同长度区间的表现曲线 | 规则判分 | 长上下文题按答案位置分层出题：答案位于输入前段、中段、后段与分散在多处的题目各占一定比例，分别统计表现，并给出随输入长度增长的表现曲线。未分层的长上下文结果不单独采信——答案集中在输入前部的题目只需读取前段即可作答，据此得到的指标高于模型的实际长上下文能力。表现曲线的用途是给出输入长度与效果的对应关系，供场景侧确定输入切分策略。 消融实验在本段按数据集设置：分别去掉四个数据集的指令微调样本后重跑微调，观察各类任务指标的变化，产出「某数据集贡献了哪些任务能力」的归属结论。这一结论是四个数据集各自价值的直接证据，也是下一版本资源投向的依据。 出处正确性在行业问答评测中单独计分，这是本项目的一项实质要求：各通用场景都要求给出出处。只测答案正确率会漏掉一种典型失败——答案对但出处编造。因此评测要求同时判定答案与出处，两者都正确才计全分，答案正确而出处错误计部分分并在错样归因中单列。 ### 5.4 偏好对齐实验与奖励模型 以人类偏好对齐子集训练行业奖励模型并开展对齐训练，产出偏好判别准确率、回答质量改善情况与安全合规通过率结论。 奖励模型的训练数据是 6.6 万组偏好对（3.2＋0.8＋1＋1.6）。偏好判别准确率在留出的偏好对上测量，并按偏好对的「优劣差异归因」字段分类统计——这一分类统计比总体准确率更有信息量：若模型在「依据缺失」类差异上判别准确而在「判定准则适用错误」类差异上判别不准，说明奖励模型学到的是表面特征而非专业判断，需要补充该类差异的样本。 回答质量改善情况的测量方式是对齐前后的成对比较：在同一组指令上分别采集微调模型与对齐模型的输出，由业务专家做成对偏好判定，统计对齐模型胜出比例。成对比较的组织要点是盲评与随机顺序，评判人不知道哪个输出来自哪个模型。评判维度按本项目场景的实际需求设定：结论正确性、依据充分性、适用边界说明是否恰当、表述是否符合企业规范。 安全合规通过率测的是输出的内容安全与合规性，评测题目包括三类：涉及工艺参数敏感信息的提问（检验模型是否按权限边界回答）、涉及商业敏感信息的提问（检验是否泄露客户与合同信息）、以及诱导性提问（检验是否在证据不足时给出确定性结论）。第三类对本项目尤其重要：诊断与质检场景中模型在证据不足时给出确定性结论，比拒答的危害大得多。本方案要求对齐后的模型在证据不足时输出证据等级与建议的进一步检查项，这与 1.6.4 节诊断说明样本中「证据等级」字段的设计是对应的。 表 5-4　偏好对齐实验的指标与判定 | 指标 | 测量方式 | 分类统计维度 | 判定口径 | |---|---|---|---| | 偏好判别准确率 | 留出偏好对上的判别正确率 | 按优劣差异归因类型分类 | 总体准确率与各类准确率均记录；某类显著偏低的补充该类样本 | | 回答质量改善 | 对齐前后输出的盲评成对比较 | 按结论正确性、依据充分性、适用边界、表述规范四维 | 对齐模型胜出比例显著高于持平与落后之和即判为改善 | | 安全合规通过率 | 三类评测题目上的通过率 | 按权限边界、商业敏感、证据不足三类 | 三类分别统计；证据不足类要求输出证据等级而非确定性结论 | | 对齐后能力保持 | 在指令微调实验的四类评测上重测 | 同表 5-3 | 对齐不得造成任务完成质量显著下降，下降则调整对齐强度后重跑 | 对齐后能力保持为必测项：对齐训练在提升输出质量的同时可能损害任务完成能力，故按表 5-3 的四类评测在对齐后重测，下降超过容限的调整对齐强度后重跑，并在验证报告中记录调整前后的对照结果。 ### 5.5 基准评测与能力增量结论 以基准评测子集在固化的评测协议下对基座模型、继续预训练模型、微调模型与对齐模型执行标准化评测，产出各数据集对模型能力增量的量化结论与能力雷达图。 评测协议的固化内容包括：评测题目集与版本、判分规则、推理配置（上下文长度、采样参数、是否允许多轮）、人工复核的抽样比例与复核规范、结果统计方法。协议文件随验证报告交付，第三方按此协议可复现结论。 四个模型在同一协议下评测，得到四组结果；相邻两组之差即为对应训练段的能力增量。能力维度按本项目场景需求划分为八项，与十一个验证场景的能力需求对应，如表 5-5。八项即能力雷达图的八个轴（b1556）。 表 5-5　能力维度划分与对应场景 | 能力维度 | 内涵 | 评测题目来源 | 对应验证场景 | |---|---|---|---| | 领域知识 | 矿机装备、工艺、质量、设备领域的事实性知识 | 知识探针与知识问答题 | 全部场景的共同基础 | | 文档理解与要素抽取 | 从合同、制度、标准、报告中定位与抽取结构化要素 | 合同要素题、制度条款题 | 合同合规审查、管理制度问答、技术标准问答、标书问答 | | 图纸与特征理解 | 从图纸特征描述中识别加工要求 | 图纸特征题、技术要求解读题 | 板材备料工艺智能设计 | | 工艺推理 | 按准则在封闭工序集合内选择与排序，并给出依据 | 工序序列题、工艺审查题 | 板材备料工艺智能设计、产品智能选型 | | 时序与图像判别 | 对时序片段与图像样本的工况、缺陷、异常判别 | 工况分类题、缺陷判定题 | 热处理过程智能监控、焊接过程控制智能监控、刮板输送装备健康智能诊断、智能质量检验 | | 诊断与归因 | 由现象收敛到故障模式与根因，并给出证据等级 | 诊断说明题、根因判定题 | 刮板输送装备健康智能诊断、质量根因追溯 | | 数值与规则计算 | 按公式与规则完成校核与核算 | 校核题、取数逻辑题、库存核算题 | 产品智能选型、库存控制智能化、决策数据问答 | | 长上下文与跨文档 | 项目级多文档输入下的定位与比对 | 长上下文题 | 板材备料工艺智能设计、标书问答 | 能力增量结论按「数据集 × 能力维度」出矩阵：行为四个数据集，列为八个能力维度，格内为该数据集对该能力维度的增量贡献（由消融实验得出）。矩阵给出各数据集对各能力维度的量化增量归属，随消融实验明细一并交付，可按明细逐格复核。 雷达图按模型绘制四条折线（基座、继续预训练、微调、对齐），八个轴为八项能力维度，直观呈现逐段提升与各维度的提升不均衡情况。雷达图随验证报告交付，图中各点的数值与评测明细一并给出，不以图代数。 ### 5.6 场景可用性验证与回流修复 在各数据集验证场景中以实际业务任务检验数据集效果，产出各场景的可用性结论；场景效果不达预期的，须定位至相应数据子集并回流修复。 本包不负责智能场景的建设，只负责场景验证服务（b1603）。本小节的工作是：在场景侧提供的验证环境中，以实际业务任务为输入，检验数据集训练出的模型能力是否满足该场景的使用要求，并在不满足时定位到数据侧的原因。场景侧的功能设计与实现不在本节范围。 实际业务任务的选取原则是「真实、可判、有基线」。真实指任务来自企业的日常作业而不是为评测编造；可判指任务的结果有明确的正确与否判定方式；有基线指当前人工作业的水平可测量，从而能够比较。按这三条原则，各场景的验证任务与可用性判定口径如表 5-6。表中的判定口径为我方承诺的内部验证口径，场景侧的正式验收指标以场景验证方案章节与蓝图设计确认结论为准。 表 5-6　各验证场景的数据集可用性验证任务与判定口径 | 验证场景 | 实际业务任务 | 数据集侧可用性判定口径 | 不达预期时的定位方向 | |---|---|---|---| | 产品智能选型 | 取历史项目的工况参数，生成选型方案初稿 | 关键要素抽取完整；配置通过双口径安全系数校核；推荐理由指向可比历史项目 | 选型要素标注完整性、效果分级样本量、校核规则样本 | | 板材备料工艺智能设计 | 取历史图纸，生成备料工艺卡片至可审状态 | 工序序列与已审核卡片的相似度；展开长计算正确；可借用历史工艺检出 | 全链路对应边完整性、特征标注覆盖度、推理样本量 | | 库存控制智能化 | 取历史时点数据，生成补货与锁定建议 | 建议在资金与交付双约束下自洽；与专家回溯判定的一致性 | 物料分层标注、决策标签的专家一致性 | | 热处理过程智能监控 | 取历史炉次曲线，识别偏离与给出提示 | 阶段划分正确；偏离识别与标注一致；横向比对调取同材料批次正确 | 时序标注窗口口径、异常事件标注、批次档案关联完整性 | | 焊接过程控制智能监控 | 取历史焊道参数流与图像，生成参数差异清单 | 参数对齐正确；差异维度与方向正确；表面缺陷判定与检验结论一致 | 一件一档关联完整性、熔池与焊道图像标注量 | | 刮板输送装备健康智能诊断 | 取历史报警时间窗，输出部件级异常判断与检查顺序 | 工况分段正确；耦合干扰识别；诊断结论的证据等级标注恰当 | 故障配对样本量、未闭环报警占比、工况标注一致性 | | 智能质量检验与缺陷分类 | 取历史检验批次，输出检验项判定与缺陷分类 | 判定结论与检验记录一致；不合格类型分类正确 | 检验记录结构化标注、缺陷图像等级标注 | | 管理制度智能问答 | 取实际咨询问题，输出答案与出处 | 答案正确且出处指向有效条款；失效条款不被引为当期依据 | 条款级索引完整性、版本与生效日期标注 | | 技术标准智能问答 | 同上 | 答案正确且标明标准号与版本年份 | 标准元数据完整性 | | 标书智能问答 | 取实际标书编写需求，定位可用资料 | 资料分类定位正确；引用内容与原件一致 | 投标资料四类归集完整性 | | 决策数据智能问答 | 取实际业务提问，输出指标口径、取数逻辑与答案 | 指标口径与指标知识库一致；答案可按取数逻辑复算；口径歧义问题触发澄清 | 指标知识库口径登记、澄清式样本量 | 定位至数据子集是本小节的技术要点。场景效果不达预期有多种可能原因（数据、模型、场景实现、评测设计），要能够指向数据侧的具体子集才构成有效的回流修复依据。定位方法是三步：先在基准评测子集上确认相应能力维度的指标是否同样偏低——若场景效果差而对应能力指标正常，问题可能不在数据侧，结论如实写明并移交场景侧；若能力指标同样偏低，则进入错样归因（5.7 节）定位到具体样本类型；再按归因结论生成整改任务单，指向具体的数据集、子集与样本范围。 ### 5.7 错样归因分析与整改闭环 对评测错样开展归因分析，产出脏数据、矛盾标注、覆盖盲区与难度分布缺口的结构化整改任务单，并在修复后复评，产出闭环记录。 归因分析的做法是对每一条错样做四类排查，排查顺序按确诊成本从低到高，一旦确诊即归入该类，不重复归类。四类的判别方式、典型表现与整改方向如表 5-7。 表 5-7　错样归因的四类判别与整改方向 | 归因类别 | 判别方式 | 典型表现 | 整改方向 | 整改执行环节 | |---|---|---|---|---| | 脏数据 | 追溯该题目及相关训练样本，检查原始数据是否存在错误、缺损或格式问题 | 训练样本中该知识点的表述本身有误；同一事实在两处记录不一致 | 修正或剔除错误样本；追溯至采集或预处理环节修补 | 补采、重做预处理 | | 矛盾标注 | 检查相关训练样本的标注是否自相矛盾 | 同类样本被标注为不同标签；标注与检验结论冲突 | 提交仲裁定案后重标受影响样本；必要时修订标注规范 | 重标、规范修订 | | 覆盖盲区 | 统计相关知识点或任务类型在训练侧的样本数 | 该知识点在训练侧样本数为零或极少 | 补采真实样本；真实样本不可得的用合成补齐并标明 | 补采、合成 | | 难度分布缺口 | 按难度分档统计该任务类型的训练样本分布 | 训练样本集中在简单档，评测错样集中在困难档 | 定向补充困难档样本；调整增强策略提升难度覆盖 | 标注、合成、增强 | 四类之外设「其他」类，用于归因不指向数据侧的错样（模型能力限制、评测题目本身有歧义、判分规则不适用）。这一类的处置是：评测题目有歧义的修订题目并记录修订，判分规则不适用的修订规则，模型能力限制的如实记录在验证报告中并说明其不属数据侧问题。归入「其他」类的错样不生成数据侧整改任务单，避免把不属数据侧的问题投入无效整改。 整改任务单的结构与修复工单（4.7 节）一致，但来源与触发不同：修复工单来自质检门控，整改任务单来自验证错样归因。两者共用同一套工单流转与台账，便于统一跟踪。 复评是闭环的最后一步。整改完成后，对受影响的评测题目重新评测，并同时重测该能力维度的整体指标，防止「改对了这几道题、整体没改善」的情形。复评结果与整改前对照，构成闭环记录：错样标识、归因类别、整改任务单号、整改内容与范围、复评结果、是否闭环、未闭环原因。闭环记录随验证报告交付。 整改涉及训练侧样本变动的，须判定是否重跑实验、以及已发布版本是否重发，判定口径如表 5-7A。判定的基本原则是：改动了训练侧样本就不能沿用改动前的实验结果，但重跑范围按改动所影响的训练段确定，不一律从头重跑；已发布版本的处置按结论是否改变区分，结论改变的必须重发并通知已获取方，不以「下一版修正」代替。 表 5-7A　整改后的重跑范围与已发布版本的重发口径 | 整改涉及的改动 | 重跑范围 | 对本版本的处置 | 对已发布版本的处置 | |---|---|---|---| | 仅修订评测题目或判分规则，训练侧未变动 | 仅重判受影响题目，不重跑训练 | 更新评测结果与协议版本，记入验证报告 | 换发验证报告修订版；数据集内容与指纹不变 | | 剔除或修正少量训练侧样本，占该子集比例在规范给定线以内 | 重跑受影响的训练段及其后各段评测 | 以修订号出修复版本；更新版本指纹与卡片受影响字段 | 向已获取方推送修复版本与变更说明 | | 训练侧样本大范围变动，或某一数据集的规模与配比发生实质变化 | 四段实验全部重跑 | 以次版本号出新版本，重新走版本检查节点与验证评审 | 已发布版本标记为被替代，台账记录替代关系 | | 发现许可或安全问题（许可条款变更、脱敏残留、权限边界处置缺失） | 按影响范围重跑；不影响能力结论的可不重跑 | 立即冻结该版本的对外提供；剔除受影响样本后出修复版本 | 通知已获取方停止使用受影响范围并换发修复版本，处置记录进资产台账 | | 复评后能力结论发生方向性改变（原判达标改为不达标，或反之） | 按改动所属训练段重跑并重做标准化评测 | 版本不发布或撤回发布建议，重新出具验证结论 | 向已获取方发出结论更正通知，并换发验证报告与数据集卡片 | 复评仍不达标的，按 5.6 节的定位方法重新归因；同一错样连续两轮复评不闭环的，升级技术评审，由评审决定转入下一版本修订计划还是调整该能力维度的内部管理基线，调整只能上调不能下调招标文件已明确的指标（6.11 节第四条）。 ### 5.8 《数据集验证报告》 产出与数据集版本绑定的《数据集验证报告》，作为该版本数据集发布的前置条件。 报告与版本一一绑定，版本指纹写入报告首页，使报告与所验证的数据集内容可核对。报告的章节结构如表 5-8。报告由项目组编制，经业务专家与技术评审两道评审后出具；评审意见与处置记录作为报告附件。 表 5-8　《数据集验证报告》的章节结构与内容 | 章节 | 内容 | 对应要求 | |---|---|---| | 一·验证对象与环境 | 数据集版本与指纹、各子集规模、基座模型与训练框架版本、超参配置、评测协议版本、硬件配置 | b1554 固化评测协议 | | 二·继续预训练验证 | 领域知识探针结果（按域与知识点类型）、保留语料困惑度变化、通用能力保持情况、知识注入有效性结论 | b1548、b1549 | | 三·指令微调验证 | 指令遵循、任务完成质量、行业问答准确性、长上下文理解四类结果；按数据集的消融结论 | b1550、b1551 | | 四·偏好对齐验证 | 偏好判别准确率（按差异类型）、回答质量改善的盲评结果、安全合规通过率、对齐后能力保持 | b1552、b1553 | | 五·标准化评测与能力增量 | 四个模型的评测结果、「数据集 × 能力维度」增量矩阵、能力雷达图及其数值明细 | b1554、b1555、b1556 | | 六·场景可用性结论 | 各验证场景的任务、结果、可用性结论；不达预期场景的定位结论 | b1557、b1558 | | 七·错样归因与整改闭环 | 错样归因统计、整改任务单清单、复评结果、闭环记录、未闭环事项 | b1559、b1560 | | 八·发布建议与使用限制 | 本版本是否建议发布、建议的适用用途、已知局限性、使用限制（许可条款限制、低可信度样本占比等） | b1561 | | 附件 | 评测协议文件、评测题目与判分规则、结果明细、消融实验明细、评审意见与处置记录 | b1554 可复现要求 | 第 8 章「发布建议与使用限制」逐项写明已知局限性与使用限制，包括覆盖不足的类目、低可信度样本的占比、合成样本的占比、专家判断型标签的分歧率、许可用途受限样本的占比；未列出局限性的验证报告不予出具。这些内容同时写入数据集卡片的局限性说明，与质量评测指标体系中「局限性说明」一项逐项对应，两处取值不一致的以报告为准并回改卡片。如实披露是使用方判断适用性的依据，也是数据集后续流通中确认适用边界的依据。 ## 6、数据集项目管理（3.2.6.3.10） 要求的总口径是：按数据集与用途子集组织生产、版本与发布，产出可交付的数据集版本及其配套档案（b1564）。 ### 6.1 本环节解决的是交付形态问题 前面五个环节产出的是样本，本环节产出的是数据集。两者的差别不在内容而在形态：样本是加工产物，数据集是可交付、可移交、可脱离本项目环境被第三方使用的资产。甲方的建设目标里写得很清楚——数据集要服务行业相关用户，要按「统一目录标识、统一身份登记、统一接口要求」接入国家数据基础设施，要在数据交易所挂牌、上架、交易（b1576）。 这些用途对交付形态提出了具体要求：没有数据集卡片，使用方不知道这是什么；没有数据字典，第三方平台解析不了；没有版本指纹，流通中无法确认收到的是哪一版；没有许可状态登记，交易环节无法确权。 因此本环节的工作可以归结为四件事：把生产组织成项目与任务（6.2 节），把产出组织成版本与发布物（6.3 节），把版本做成能脱离平台被解析的封装（6.4 节），以及把版本的后续演进与移交管起来（7.5 至 6.7 节）。 ### 6.2 数据集项目与生产任务的组织 为四类数据集分别建立数据集项目，并在项目下按预训练、有监督指令微调、人类偏好对齐、基准评测四个用途子集分别建立生产任务（b1565、b1566）。 组织结构是两层：四个数据集项目，每个项目下四个用途子集的生产任务，共十六个生产任务。十六个任务不是平均用力的——它们的规模、工艺路线与资源构成差别很大，分别组织的意义正在于让各任务按自己的规律推进而不互相拖累。 表 6-1　四个数据集项目与十六个生产任务的组织 | 数据集项目 | 预训练子集任务 | 指令微调子集任务 | 偏好对齐子集任务 | 基准评测子集任务 | |---|---|---|---|---| | 供需计划数据集 | 276 亿 Token：合同与招投标文档长文本、业务数据文本化、外部行业语料 | 40 万条：选型问答、合同审查问答、库存决策问答 | 3.2 万组：审查结论优劣对、选型方案优劣对 | 0.4 万条：要素抽取题、风险判定题、核算题 | | 产品工艺设计数据集 | 70 亿 Token：图纸技术要求与工艺卡片文本、制图标准与工艺编制准则 | 10 万条：工艺卡片生成、工艺审查、借用判定、共料排料 | 0.8 万组：工序序列优劣对、推理依据充分性对 | 0.1 万条：工序序列题、展开长计算题、特征识别题 | | 制造过程数据集 | 105 亿 Token：设备档案与维修诊断文本、时序事件文本化描述 | 15 万条：诊断说明生成、多轮排障、工况判别、参数差异分析 | 1 万组：诊断结论优劣对、证据等级恰当性对 | 0.2 万条：工况分类题、故障模式题、诊断说明题 | | 产品质量数据集 | 164 亿 Token：检验记录与质量报告文本、质量知识、缺陷判定依据 | 24 万条：检验项判定、缺陷分类、根因追溯问答 | 1.6 万组：判定结论优劣对、根因归因优劣对 | 0.25 万条：判定题、分类题、追溯题 | 规模口径合计为预训练 615 亿 Token、指令微调 89 万条、偏好对齐 6.6 万组、基准评测 0.95 万条，与招标文件各数据集规模要求表一致（b1583、b1588、b1593、b1598 节）；各数据集的规模分解、数据卡字段与规模达成的验证方式详见「四大数据集建设及指标要求」章节，本节不重复。 每个生产任务建立独立的任务档案，记录八类内容：任务范围与规模目标、工艺路线（经过哪些加工环节、各环节的作业单元）、批次台账、质检门控记录、修复工单与整改任务单、进度与里程碑、资源投入记录、已知风险与处置。任务档案是项目管理的基本单位，也是版本发布时抽取建设过程说明的来源。 十六个任务的工艺路线并不相同，这是分别建立任务的直接理由。预训练子集任务的主体是采集、预处理与去重，标注环节的参与程度低；基准评测子集任务的主体是从 A 级样本中抽取与出题，合成与增强环节不参与（b1512）；偏好对齐子集任务的特点是依赖标注与合成两个环节的配合产出成对样本。工艺路线的差异如表 6-2。 表 6-2　四类用途子集生产任务的工艺路线差异 | 用途子集 | 采集 | 预处理 | 标注 | 合成 | 增强 | 质检门控 | 验证实验 | |---|---|---|---|---|---|---|---| | 预训练 | 主体环节 | 主体环节 | 轻度参与（结构化事实转写） | 参与（占比不超过 20%） | 参与（文本改写与长上下文构造） | 入口检查节点、预处理门、合成增强门、版本检查节点 | 继续预训练实验 | | 有监督指令微调 | 参与 | 参与 | 主体环节 | 主体环节 | 参与 | 入口检查节点至版本检查节点 | 微调实验 | | 人类偏好对齐 | 参与 | 参与 | 主体环节（优答） | 主体环节（劣答） | 轻度参与 | 入口检查节点至版本检查节点 | 奖励模型与对齐实验 | | 基准评测 | 参与 | 参与 | 主体环节（A 级样本） | 不参与 | 不参与 | 入口检查节点至标注门、版本检查节点 | 标准化评测 | 任务之间的依赖关系在项目计划中显式管理。最关键的一条依赖是：基准评测子集的出题须在训练侧样本大规模入集之前完成并冻结，否则无法做有效的去重比对——若评测题目在训练样本入集之后才确定，出题人难免受已有样本影响，评测的独立性受损。本方案的处置是在每个版本周期内先冻结评测子集，再放行训练侧样本入集，入集时逐批与已冻结的评测子集做去重比对（b1544）。 #### 6.2.1 工时测算与产能口径 十六个生产任务的排产依据是工时测算，测算口径按作业单位统一，不按人头估算。六个加工环节内的作业单位取三类：标注工位·日（一名标注员一个工作日的有效作业量）、质检工位·日、实验机时（验证实验占用的训练与评测算力时长）。各环节的产能基准按表 6-2A 取值，基准值在首版试点中实测标定后写入项目计划，并在每个版本周期结束时按实际完成量回归修正。 表 6-2A　各加工环节的产能基准与工时测算口径 | 环节与对象 | 产能基准单位 | 基准取值的确定方式 | 工时测算口径 | 影响产能的主要因素 | |---|---|---|---|---| | 文档类标注（合同、制度、标准） | 份／标注工位·日 | 首版试点按条款数分档实测 | 批次份数 ÷ 产能基准 × 返工系数 | 条款数、是否需模板基线对照、风险判定比例 | | 图纸几何层标注（核对与补齐） | 张／标注工位·日 | 按解析可用度分档实测，解析可用度高的核对为主 | 同上 | 视图数、明细栏行数、解析结果可用度 | | 图纸工艺层与全链路对应标注 | 张／标注工位·日 | 按特征数与对应边数分档实测 | 批次张数 ÷ 产能基准 × 返工系数 | 特征数、对应边数、是否属可借用既有零件 | | 图像标注（熔池、焊道、工件外观） | 张／标注工位·日 | 按缺陷密度与框型分档实测，线状缺陷低于面状缺陷 | 同上 | 缺陷密度、框型、是否需等级判定 | | 时序标注（热处理、焊接、设备运行） | 时间窗／标注工位·日 | 按窗口长度与标签组数分档实测 | 同上 | 窗口长度、异常事件密度、是否需跨系统取证 | | 关联标注（质量结果与工艺参数） | 条／标注工位·日 | 按关联键完整程度分档实测 | 同上，纸质报告录入工时单列 | 关联键完整度、纸质报告数字化进度 | | 抽检与一致性校验 | 样本／质检工位·日 | 按抽检比例与标签复杂度实测 | 批次规模 × 抽检比例 ÷ 产能基准 | 抽检比例（1.9.1 节动态调整）、分歧率 | | 合成与增强作业 | 条／批次 | 由生成配置的拒绝采样倍率推算 | 目标条数 × 拒绝采样倍率 ÷ 单位时间生成吞吐 | 采样倍率、校验通过率、专家确认排队 | | 验证实验 | 实验机时／轮 | 按子集规模与基座规模实测 | 轮数 × 单轮机时 ×（1＋重跑裕量） | 重跑轮数（上限三轮）、消融实验组数 | | 业务专家参与 | 议题／专家·日 | 按仲裁与确认的历史耗时实测 | 议题数 ÷ 产能基准 | 议题批量化程度、意见归档回灌的复用率 | 返工系数按各任务的历史返工轮次取值，首版试点前按规范给定的保守值预置，试点后按实测返工率调整。工时测算结果进入各生产任务的任务档案「资源投入记录」一栏，与实际投入逐期对照；连续两期实际投入超出测算值规范给定幅度的，重新标定该环节的产能基准，不以加班压缩工期的方式吸收偏差。 #### 6.2.2 排程与关键路径 十六个生产任务并行推进，排程按三条规则组织。 第一条是前置冻结优先。基准评测子集的出题与冻结排在训练侧样本大规模入集之前，这是六个环节排程上唯一的强制前后关系；该项延期将顺延其后的全部训练侧入集，故在计划中设为关键路径节点并留出缓冲。 第二条是瓶颈资源优先排程。业务专家与纸质报告数字化是六个环节的两类瓶颈资源：专家参与的议题（仲裁、时序合成确认、专家回溯判定、盲评）按周集中排期，同一专业的议题批量化处理，不按到达顺序逐件占用；纸质检测报告的数字化按关联标注的批次顺序倒排，优先处理已有工件标识与炉次关联键的报告。 第三条是批次级流水并行。同一生产任务内，标注、合成、增强三条线按批次流水推进：一个批次通过标注门即进入下游，不等待同任务全部批次标注完成。各环节的在制批次数设上限，避免下游门控积压造成返工堆积。 排程结果以生产任务为行、以版本周期为列登记在项目计划中；各阶段的具体时点与建设周期的对应安排在项目管理措施章节的总体实施计划中给出，本节不另行排期。 #### 6.2.3 变更控制与影响评估 六个加工环节内的变更按五类管理：标注规范与标签体系变更、知识本体变更、生成与变换配置变更、质检门控规则与判定线变更、规模与配比目标变更。任一类变更提出后先做影响评估再决定是否执行，评估结论与执行记录进入变更台账，台账随数据集版本交付。变更类型、影响范围与处置如表 6-2B。 表 6-2B　变更类型、影响评估与处置口径 | 变更类型 | 影响评估要点 | 对已完成批次的处置 | 对在制批次的处置 | 连带更新 | |---|---|---|---|---| | 标注规范修订（判定准则实质变更） | 受影响的标签字段、批次范围与样本量；重标工时 | 按 1.9 节返工口径重标受影响批次 | 新批次按新版本执行 | 黄金集同步修订；一致性基线重算；卡片建设过程说明更新 | | 标注规范修订（仅补充正反例与边界说明） | 是否改变判定结果 | 不追溯重标，保留原规范版本标识 | 新批次按新版本执行 | 培训材料与黄金集补充 | | 知识本体变更（新增类目） | 新增类目是否已有样本需回标 | 已完成批次按需补标，不重标其余字段 | 在制批次暂停相关字段标注至本体发布 | 标签取值域、数据字典、探针题目同步 | | 知识本体变更（类目合并或废止） | 受影响样本量与标签映射关系 | 按映射关系批量转换，无法映射的转「无法判定」并记录 | 同上 | 一致性历史值标注口径变更点，不与变更前直接比较 | | 生成或变换配置变更 | 是否改变样本的业务含义与标签有效性 | 保留原配置版本标识，不追溯重做；新增过滤规则对已入集样本回扫 | 升配置版本并重做首样评审 | 溯源记录、批次台账、占比统计同步 | | 质检门控规则或判定线变更 | 变更后已通过批次是否仍满足新线 | 按新线复扫已通过批次，不满足的生成修复工单 | 在制批次按新线判定 | 门控规则配置、修复工单类型、报告模板同步 | | 规模与配比目标变更 | 对各子集规模达成与占比上限的影响 | 重算达成率与占比，超限部分按削减口径处置 | 调整在制批次的目标量 | 任务档案、资产台账、卡片规模字段同步 | 变更的审批层级按影响范围确定：仅影响单一任务且不改变判定结果的，由规范编制单元审定；影响多个任务或改变判定结果的，提技术评审；涉及招标文件明确指标、对外披露口径或已发布版本的，经技术评审后报项目例会。任何变更不得下调招标文件已明确的指标（6.11 节第四条）。 ### 6.3 版本组织与发布物 按版本组织数据集产出，每一正式发布版本须产出数据集内容、数据集卡片、版本指纹、质检报告与验证报告。 #### 6.3.1 版本号与版本类型 版本号采用三段式：主版本号.次版本号.修订号。主版本号变更对应数据集结构的变化（新增用途子集、标签体系的不兼容变更、模态构成的实质变化）；次版本号变更对应内容的增量（规模增加、覆盖扩展、新增业务域样本）；修订号变更对应修复（错误样本剔除、标注修正、元数据补正），不改变数据集的内容构成口径。 版本类型分三类：正式发布版本、内部里程碑版本与修复版本。只有正式发布版本产出完整的五项发布物并对外发布；内部里程碑版本用于验证实验与阶段评审，产出内容与质检报告，不产出完整卡片与验证报告；修复版本在正式版本基础上剔除或修正样本，产出增量说明与变更记录，继承原版本的卡片并更新受影响字段。 表 6-3　版本类型与发布物要求 | 版本类型 | 版本号变化 | 必备发布物 | 发布范围 | 前置条件 | |---|---|---|---|---| | 正式发布版本 | 主版本号或次版本号 | 数据集内容、数据集卡片、版本指纹、质检报告、验证报告，另附数据字典与自描述封装文件、资产台账条目 | 对外发布、移交运营平台 | 版本检查节点通过；无未结修复工单与整改任务单；验证报告经评审出具 | | 内部里程碑版本 | 次版本号带里程碑标识 | 数据集内容、版本指纹、质检报告 | 项目内部 | 标注门与合成增强门通过 | | 修复版本 | 修订号 | 变更说明、受影响样本清单、更新后的版本指纹、卡片受影响字段的更新、复检记录 | 与原版本一致 | 修复工单关闭；复检通过 | #### 6.3.2 版本指纹 版本指纹的作用是让任何人拿到一份数据集都能确认它是哪一版、是否被改动过。本方案的版本指纹由三部分构成：内容指纹、清单指纹与元数据指纹。内容指纹对数据集的全部样本文件按规范化排序后逐文件计算摘要再汇总计算；清单指纹对文件清单（文件名、大小、逐文件摘要）计算摘要；元数据指纹对数据集卡片、数据字典与封装描述文件计算摘要。三段指纹与版本号、生成时点一并构成版本标识块，写入数据集卡片首页、质检报告与验证报告首页，并随封装文件交付。 指纹的核验方式随封装文件提供：封装中包含一份核验脚本与核验说明，使用方可在本地重算并与声明值比对。核验失败说明收到的数据集与声明版本不一致，使用方可据此拒收。这一机制对数据集在交易所挂牌与接入国家数据基础设施的场景是必要的——流通链路上的任何一次转存都可能引入改动。 #### 6.3.3 数据集卡片 数据集卡片是使用方了解数据集的唯一入口，它的完整程度直接对应质量评测指标体系中说明文档维度的各项指标。卡片的字段结构按四组组织，与评测指标的四个一级项对应。卡片模板全文附于附件章节，本节给出结构与关键字段的填写口径。 表 6-4　数据集卡片的字段结构与填写口径 | 字段组 | 字段 | 填写口径 | |---|---|---| | 基本信息 | 数据集名称、版本号、版本指纹、所属业务域、甲方、发布日期 | 甲方与发布主体按项目合同约定填写 | | 基本信息 | 数据集规模 | 按用途子集分别给出：Token 数、样本条数、组数、存储空间；与规模目标的达成率 | | 基本信息 | 格式规范 | 文件类型、字符编码、数据结构描述、字段类型定义 | | 基本信息 | 文件结构 | 目录组织方式、文件命名规则、各目录与文件的内容说明 | | 基本信息 | 获取渠道与技术支持 | 申请路径与流程、技术支持渠道、问题反馈方式 | | 基本信息 | 使用便捷性 | 数据字典、解析脚本、示例代码的位置与使用说明 | | 内容特征 | 模态类型 | 逐模态列出并给出条数与占比；多模态样本的计数口径明示 | | 内容特征 | 数据分布 | 六维分布统计结果：业务域、任务类型、样本长度、数据来源、模态、时间 | | 内容特征 | 标签类别 | 全部标签字段、取值域与每个取值的定义，引用本体版本 | | 内容特征 | 样本示例 | 每个用途子集至少三个代表性样本，含元数据与质量记录 | | 内容特征 | 局限性说明 | 覆盖不足的类目、低可信度样本占比、合成样本占比、增强样本占比、专家判断型标签分歧率、许可受限样本占比 | | 建设过程 | 数据来源与采集方式 | 源系统与资料类型清单、采集范围与时间范围 | | 建设过程 | 加工环节与方法 | 六环节的实施方法摘要、所用工具链、关键参数标定过程 | | 建设过程 | 标注组织 | 标注规范版本、标注员规模（匿名统计）、三级校验与一致性指标实测值、黄金集通过率 | | 建设过程 | 质检与验证 | 质检报告与验证报告的引用、六维度指标值、能力增量结论摘要 | | 建设过程 | 许可与合规 | 数据来源许可状态统计、模型许可登记摘要、脱敏与安全合规处置说明 | | 应用说明 | 适用用途 | 建议的用途与不建议的用途（后者为责任边界说明） | | 应用说明 | 使用限制 | 许可条款限制、权限边界、涉密与敏感处置要求 | | 应用说明 | 已验证的应用效果 | 各验证场景的可用性结论摘要、能力维度增量 | | 应用说明 | 版本演进与修订计划 | 本版本的变更说明、已知问题、下一版本的修订计划摘要 | 「局限性说明」与「适用用途」两栏逐项写明覆盖不足的类目与不建议的用途，并给出对应的量化占比；两栏内容与质检报告、验证报告中的同名项逐项对齐，不一致的以报告为准并回改卡片。各项指标均填为优秀、未列出任何边界的卡片不予发布：这类卡片在第三方评测与实际使用中无法通过核验，使用方也无从判断其适用范围。 #### 6.3.4 版本交付包的构成与清单 正式发布版本的交付物按一个交付包整体交付，交付包的构成与清单如表 6-4A。清单随包交付并逐项核对，缺项即版本不冻结；核对结果记入移交核验单（6.7 节第一步）。 表 6-4A　正式发布版本交付包的构成与清单 | 目录 | 内容 | 必备性 | 核对方式 | |---|---|---|---| | 数据集内容 | 四个用途子集的样本文件，按子集与业务域分目录组织 | 必备 | 文件清单与逐文件摘要比对；条数与规模统计与卡片一致 | | 元数据与质量记录 | 样本级元数据、质量记录、溯源记录与变换记录 | 必备 | 字段完整率全检；与样本一一对应 | | 数据集卡片 | 四组字段的完整卡片（表 6-4） | 必备 | 逐字段核对；局限性说明与报告同名项一致 | | 版本标识块 | 版本号、内容指纹、清单指纹、元数据指纹、生成时点 | 必备 | 在独立环境重算三段指纹并比对 | | 质检报告 | 版本级六维度指标值、不达基线项的原因与整改、与上一版本的变化、残留问题清单 | 必备 | 指标值与台账统计一致 | | 验证报告 | 八章正文与全部附件（评测协议、题目与判分规则、结果明细、消融明细、评审意见） | 必备 | 版本指纹与本包一致；评审意见齐备 | | 数据字典 | 三层字典的机器可读格式与人可读格式各一份 | 必备 | 两份由同一源定义生成；字段覆盖率全检 | | 自描述封装文件 | 七部分内容的根描述文件 | 必备 | 第三方解析试验通过 | | 解析脚本与示例代码 | 读取、加载与校验脚本，覆盖常见使用场景 | 必备 | 在独立环境中实际执行通过 | | 清单与校验信息 | 文件清单、逐文件摘要、核验脚本与核验说明 | 必备 | 使用方可本地重算比对 | | 许可与合规附件 | 来源许可状态统计、模型许可登记台账摘要、许可用途标记统计、脱敏与安全处置说明 | 必备 | 与表 4-2A 的分流结果一致；禁发布样本不在包内 | | 过程记录附件 | 命中样本清单、低一致性样本清单、未结事项与修复工单台账摘要、变更台账、修订计划 | 必备 | 未结工单为零；清单引用可解析 | | 失败样例库与隔离分区 | 失败样例库、许可隔离留存分区 | 不随包交付 | 在我方侧归档保留，核对时确认未混入包内 | 交付包按版本类型裁剪：内部里程碑版本交付数据集内容、元数据与质量记录、版本标识块与质检报告四项；修复版本交付变更说明、受影响样本清单、更新后的版本标识块、卡片受影响字段与复检记录，其余项继承原版本。 ### 6.4 数据字典与自描述封装 产出数据集的数据字典与自描述封装文件，实现原始数据、元数据与数据字典的绑定封装，使数据集在脱离平台后仍能被第三方平台准确解析。 这一条要求的实质是「不依赖奔牛数据智能平台也能用」。数据集的价值在于流通，而流通的前提是接收方不需要本项目的平台就能解析内容。本方案的做法是把解释数据所需的全部信息随数据一并封装，使封装包成为自解释的。 #### 6.4.1 数据字典 数据字典逐项定义数据集中出现的每一个字段，内容包括：字段标识、中文名称、英文名称、数据类型、长度或精度、单位、取值域或枚举定义、是否必填、默认值、业务含义说明、来源说明（取自哪个源系统的哪个字段，或由哪个加工环节产出）、关联关系（与其他字段或其他数据集的关联键）、引用的本体类目标识与本体版本。 数据字典按三层组织：数据集级字典（数据集通用的元数据字段与质量记录字段）、子集级字典（各用途子集特有的样本结构字段）、业务域级字典（各业务域特有的业务字段与标签字段）。三层之间的字段标识不重复，同名异义的字段在标识上区分并在说明中交代差异。 数据字典以机器可读格式与人可读格式双份提供：机器可读格式供第三方平台自动解析，人可读格式供使用方查阅。两份内容由同一份源定义生成，避免两者不一致。 表 6-5　数据字典的三层组织与典型字段 | 层级 | 覆盖范围 | 典型字段 | 使用场景 | |---|---|---|---| | 数据集级 | 全数据集通用 | 样本标识、所属数据集与子集、业务域、来源标识、许可状态、样本类型（真实／合成／增强）、质量记录字段、版本标识 | 第三方平台导入时的通用解析 | | 子集级 | 各用途子集 | 预训练：文本块、来源页码、章节层级；指令微调：指令、输入、响应、任务类型；偏好对齐：指令、优答、劣答、差异归因；基准评测：题干、标准答案、判分规则、能力维度 | 按用途加载与训练 | | 业务域级 | 各业务域 | 供需计划：条款类型、风险等级、选型要素、库存决策标签；工艺设计：图元、特征类型、工序代码、参数项；制造过程：工况、故障模式、劣化阶段、缺陷类型；产品质量：检验项、判定结论、不合格类型 | 业务语义理解与标签使用 | #### 6.4.2 自描述封装文件 自描述封装文件是封装包的根描述文件，它把数据集内容、元数据与数据字典绑定在一起。文件包含七个部分：数据集标识与版本标识块（含三段指纹）、文件清单与目录结构说明、数据字典引用与内嵌、元数据模式定义（说明元数据字段如何组织）、样本结构模式定义（说明单条样本的结构）、解析指引（读取顺序、依赖关系、字符编码、推荐的解析方式）、校验信息（逐文件摘要与核验方式）。 封装包的目录结构按固定约定组织，使第三方在不读描述文件的情况下也能大致判断内容位置；描述文件则提供精确解析所需的全部细节。封装包另附解析脚本与示例代码，覆盖最常见的读取与加载场景，这一项直接对应质量评测指标体系中「使用便捷性」的要求。 数据集版本封装包 自描述封装文件（根描述） 标识・清单・字典引用・模式定义・解析指引・校验信息 数据集内容 四个用途子集 元数据 样本级＋批次级 数据字典 机器＋人可读双份 数据集卡片 四组字段 质检报告 六维度指标 验证报告 能力增量与闭环 解析脚本・示例代码・核验脚本 第三方平台 读根描述 → 按模式定义 解析内容，不依赖本平台 数据集运营服务管理平台 移交与登记 → 挂牌展示 对外发布 国家数据基础设施 统一目录标识登记 统一身份注册・标准接口 资产台账 各版本样本规模 模态构成 时效性占比 许可状态 使用情况 （b1573、b1574） 脱离平台可解析 移交登记 图 6-1　数据集版本封装包的构成与对外移交路径。数据来源：招标文件 3.2.6.3.10 第（2）（3）（5）（6）项（b1567–b1576）与建设目标中接入国家数据基础设施的要求（b0676）。 第三方解析能力不靠声明而靠试验证明。本方案在每个正式发布版本冻结前执行一次第三方解析试验：在不安装本项目任何组件的独立环境中，仅凭封装包与其中的描述文件、数据字典与解析脚本完成数据集的读取与加载，记录解析成功的文件比例与遇到的问题。解析通过率作为版本检查节点的可用性维度指标之一（表 4-6），内部管理基线为趋向 99% 以上；未通过的文件逐项定位原因并修正封装，修正后重做试验。 ### 6.5 下一版本的修订计划 依据质检工单与验证归因结论产出下一版本的修订计划，明确需补采、重标、重新合成或重新增强的具体子集与样本范围。 修订计划是把前面各环节的遗留问题变成下一版本的工作清单。它的输入有五项：质检门控产生的修复工单（含未关闭与已关闭但指向数据缺口的）、验证错样归因产生的整改任务单、低一致性样本清单中「证据不足」与「本体类目缺失」两类分歧、分布分析结论中残留的长尾类别与覆盖盲区、以及数据集卡片局限性说明中列出的各项不足。 五项输入经归并与排序后形成修订计划。排序依据三个因素：对场景可用性的影响程度（影响场景结论的优先）、规模与指标达成的影响程度（影响规模目标与多模态、时效性占比的优先）、以及实施可行性（依赖外部条件的排在后面并注明依赖）。排序结果分三档：本版本后紧接执行、下一版本周期内执行、列入储备待条件具备。 表 6-6　修订计划的条目结构 | 字段 | 内容 | 说明 | |---|---|---| | 条目号 | 按数据集与版本编号 | 唯一标识 | | 来源 | 修复工单号／整改任务单号／一致性清单／分布分析结论／卡片局限性项 | 可追溯 | | 问题描述 | 具体缺口或缺陷 | 执行依据 | | 修订类型 | 补采／重标／重新合成／重新增强／本体完善／规范修订／封装修正 | 分派依据 | | 目标数据集与子集 | 四个数据集之一与四个用途子集之一 | 范围界定 | | 样本范围 | 具体样本清单引用或范围条件（业务域、时间范围、标签取值、来源系统） | 工作量估算依据 | | 预期效果 | 该条目完成后预期改善的指标或场景结论 | 验收依据 | | 优先级档次 | 紧接执行／下一周期／储备 | 排产依据 | | 外部依赖 | 需甲方或源系统配合的事项 | 风险提示 | | 责任单元与期限 | 承接执行的作业单元与完成期限 | 进度控制 | 「外部依赖」一栏逐条写明所需配合内容、责任方与期望时点，作为项目例会的议题推进。六个加工环节内依赖甲方侧配合的事项为：源系统接口的开通范围扩展、数据采集与监控系统的采集范围与采集频率扩展、工艺过程所需图像采集的布点、纸质检测报告的调阅与数字化、业务专家的时间投入。依赖未落实而导致的缺口在数据集卡片局限性说明中如实记录，不以推测数据填充。 修订计划经项目例会评审后发布，作为下一版本生产任务的输入。计划的执行情况在下一版本的质检报告与验证报告中逐条回溯对照：该条目是否完成、完成后的实际效果与「预期效果」一栏的差距、未完成条目的原因与再排期。未回溯对照的修订条目不得关闭。 ### 6.6 数据集资产台账 产出数据集资产台账，记录各版本的样本规模、模态构成、时效性占比、许可状态与使用情况。 资产台账与前面各类台账的视角不同：批次台账与工单台账记录生产过程，资产台账记录资产状态——已有哪些数据集版本、每一版处于什么状态、被谁在什么范围内使用。台账按数据集与版本两级组织，每一个正式发布版本在台账中有一条记录，内部里程碑版本不入台账，修复版本作为原版本记录的修订行。 表 6-7　数据集资产台账的记录字段 | 字段组 | 字段 | 数据来源 | 更新时机 | |---|---|---|---| | 标识 | 数据集名称、版本号、版本指纹、发布日期、发布批准记录 | 版本发布记录 | 版本发布时 | | 规模 | 各用途子集的 Token 数、样本条数、组数、存储空间；规模目标达成率 | 版本统计 | 版本发布时 | | 模态构成 | 各模态条数与占比、多模态样本条数与占比、模态种类数 | 分布统计结果 | 版本发布时 | | 时效性 | 按年度的样本条数分布、3 年内数据条数与占比 | 分布统计结果 | 版本发布时 | | 质量 | 六维度指标值、标注一致性实测值、合成与增强占比 | 质检报告 | 版本发布时 | | 验证 | 能力增量矩阵摘要、各场景可用性结论、验证报告编号 | 验证报告 | 版本发布时 | | 许可状态 | 按表 4-2A 的许可用途标记分类统计（完整授权／禁训练／禁发布／隔离留存）、模型许可登记摘要、可对外发布的样本范围 | 许可核验记录与模型许可台账 | 版本发布时；许可条款变更时更新并触发按表 5-7A 的重发判定 | | 使用情况 | 内部使用记录（用于哪些训练与验证）、对外提供记录（提供对象、时间、范围、依据）、挂牌与上架状态 | 运营平台登记回传、项目记录 | 持续更新 | | 演进 | 上一版本与下一版本的关联、本版本的变更说明、已知问题、修订计划引用 | 版本记录与修订计划 | 版本发布时与修订计划发布时 | 台账中「许可状态」与「使用情况」两组字段是支撑数据集资产化运营的基础。许可状态按用途标记分类登记，决定一个版本能否对外发布、能发布到什么范围：标记为禁发布与隔离留存的样本不计入「可对外发布的样本范围」，禁训练样本单列其在各子集中的占比。使用情况记录资产的实际流转，是后续评估数据集价值与制定定价策略的依据。本包交付的是台账及其记录机制，台账的后续运营由数据集运营服务管理平台承接。 台账的维护责任与更新节奏在项目管理制度中规定：版本发布时由项目组一次性完成该版本的全部字段录入，使用情况字段在项目期内按月更新，许可条款变更时即时更新并触发对已发布版本可用性的重新评估。 ### 6.7 向数据集运营服务管理平台的移交与登记 完成数据集向数据集运营服务管理平台的移交与登记， 支撑其后续的挂牌展示、对外发布与接入国家数据基础设施。 移交的对象是完整的版本封装包加台账条目，移交的实质是把数据集从生产状态转为可运营状态。移交按四步执行，每一步有明确的交接物与确认方式，如表 6-8。 表 6-8　移交与登记的步骤、交接物与确认方式 | 步骤 | 内容 | 交接物 | 确认方式 | |---|---|---|---| | 一·移交前核验 | 核验版本发布物齐备、未结工单清零、验证报告已出具、第三方解析试验通过 | 移交核验单 | 项目组自检后提请，经技术评审确认 | | 二·封装包移交 | 按运营平台的接收规范提交封装包与校验信息 | 版本封装包、版本指纹声明、核验脚本 | 运营平台重算指纹比对一致 | | 三·元数据登记 | 按运营平台的数据集登记字段提交登记信息 | 数据集卡片、数据字典、资产台账条目 | 运营平台登记成功并回传登记标识 | | 四·接入信息预留 | 提供接入国家数据基础设施所需的目录标识、身份登记与接口对接信息 | 标识登记信息表、接口对接说明 | 运营平台确认信息齐备 | 第四步的职责边界如下。接入国家数据基础设施的技术方案制定与实施、以及数据集在国家数据基础设施中的可信流通与资产化运营，属于运营服务与平台建设的范围（b1840 节）；本包的职责是按「统一目录标识、统一身份登记、统一接口要求」的接入规范，为所交付的每一个数据集版本准备并提交登记所需的信息与元数据，使运营平台在开展接入时无须回头补齐数据侧信息。 具体需要准备的信息包括：数据集的目录标识登记信息（名称、分类、摘要、关键词、业务域、更新频率）、身份登记所需的权属与责任主体信息、标准接口互联互通所需的数据结构与访问方式说明、以及数据集标识的注册与解析对接所需的标识信息。 移交完成后，数据集的后续演进通过修订计划与新版本发布继续：每一个新版本按同样的四步移交，运营平台按版本管理其挂牌与发布状态。已移交版本在我方侧保留完整档案（封装包、报告、台账、工单与整改记录），保留期限按合同约定；档案是后续争议处置、质量追溯与第三方复核的依据。 ### 6.8 作业单元设置与岗位职责 六个加工环节的作业按三类角色组织：作业执行、质量判定与专业裁定。三类角色分离是全链条质量控制的组织基础——判定者不参与被判定的作业，裁定者不参与判定。具体分工已在表 1-2 写明；以下给出各环节的作业单元设置与人员投入的组织方式。具体人员的资格证明与简历按招标文件要求在团队配置章节提供。 表 6-9　六个加工环节的作业单元设置 | 作业单元 | 职责 | 覆盖环节 | 关键能力要求 | |---|---|---|---| | 规范编制单元 | 标签体系编制、标注规范编制与版本维护、黄金集编制、变换与生成配置审定 | 标注、合成、增强 | 矿机装备业务理解、数据标注方法学 | | 标注作业单元 | 标注员培训与宣讲、试标讲评、规范问题单处理、批次排班与作业进度协同 | 标注 | 培训组织、作业调度 | | 合成与增强作业单元 | 生成任务配置与执行、变换算子配置与执行、批次组织 | 合成、增强 | 数据生成方法、规则引擎配置 | | 质检单元 | 五道门控的检查与判定、抽检执行、清单与工单产出、台账维护 | 全部六环节 | 质量管理、统计方法 | | 验证实验单元 | 四段训练与评测实验、消融实验、错样归因、报告编制 | 验证 | 模型训练与评测、实验设计 | | 业务专家组 | 仲裁、时序合成的物理合理性确认、盲评、专家判断型标签的回溯判定 | 标注、合成、验证 | 选型、工艺、热处理、焊接、设备诊断、质量各专业 | | 项目管理单元 | 项目与任务组织、版本管理、封装与移交、修订计划、资产台账 | 项目管理 | 数据资产管理、版本控制 | 业务专家的参与点为仲裁、时序合成的物理合理性确认、专家回溯判定、盲评与知识库终审。这些工作要求对矿机装备的选型、工艺、热处理、焊接、设备诊断与质量各专业有实际经验，不由通用数据人员替代，也不通过增加人力补偿。 本方案的处置是按专业设置专家席位并明确每个席位的投入节奏（集中评审期与常态响应期分列），同时建立专家意见的沉淀机制：每一次仲裁与确认的意见都归档并回灌标注规范与本体，使同类问题不需要重复占用专家时间。专家资源的具体配置与甲方侧业务专家的参与安排在项目管理措施章节与蓝图设计阶段确认。 ### 6.9 版本周期的推进安排与里程碑 六个加工环节的工作按版本周期推进，不按环节串行推进。按环节串行的做法是先把全部标注做完再做合成、再做质检、最后做验证，这种做法的问题是质量问题暴露得太晚：要等到最后的验证环节才知道标注口径是否可用，而此时返工成本最高。 本方案采用的推进方式是：先以小规模样本跑通全链条（首版试点），用验证结果校正各环节的口径与参数，再放量生产。首版试点的规模按每个数据集每个用途子集取可完成一次有效验证实验的最小规模，试点的目的不是产出规模而是标定口径——窗口长度（1.6.1 节）、增强副本数上限与副本间差异度下限（4.5 节、3.6 节）、各类合格率基线（4.6 节）、抽检比例（1.9.1 节）、拒绝采样倍率与分布偏离容限（2.1 节、2.6 节）、各环节产能基准与返工系数（6.2.1 节）都在试点中实测确定。 试点实测的作用范围限于上述招标文件未规定的参数。招标文件已明确的指标——四大数据集的规模数值、数据模态不低于 3 种、多模态数据条数占比不低于 40%、3 年内数据条数占比不低于 40%——不随试点实测调整：实测显示达成困难的，处置是按 3.5 节的达成路径加大真实样本的采集与标注投入、按 6.5 节把缺口列入修订计划并推进外部依赖，必要时调整版本节奏，而不是下调指标或改写核算口径。 表 6-10　六个加工环节的里程碑与阶段产出 | 阶段 | 主要工作 | 阶段产出 | 完成判据 | |---|---|---|---| | 一·口径准备 | 标签体系编制、各任务标注规范编制、黄金集编制、质检门控规则配置、评测协议初稿 | 标签体系文件、标注规范集、黄金集、门控规则配置、评测协议 | 规范经业务专家评审通过；门控规则在工具中生效 | | 二·首版试点 | 小规模全链条贯通：标注—合成—增强—质检—验证 | 试点批次、首版门控记录、首版验证实验结果、口径标定结论 | 全链条跑通；各参数标定值写入规范 | | 三·放量生产（一） | 按十六个生产任务并行推进；重点在真实样本标注与基准评测子集冻结 | 基准评测子集冻结版、各域标注批次、门控记录 | 评测子集冻结；标注批次门控通过率达线 | | 四·放量生产（二） | 合成与增强作业；分布统计与定向补充；去重比对 | 合成与增强批次、分布分析结论与增强前后对比、命中样本清单 | 规模与占比指标达成；合成增强门通过 | | 五·版本验证与发布 | 四段验证实验、消融实验、场景可用性验证、错样归因与整改复评 | 《数据集验证报告》、整改闭环记录、数据集卡片、字典与自描述封装、版本封装包 | 验证报告经评审出具；未结工单清零；第三方解析试验通过 | | 六·移交与演进 | 向运营平台移交与登记、资产台账录入、修订计划发布 | 移交核验单、登记回传标识、台账条目、下一版本修订计划 | 运营平台登记成功；修订计划经例会评审发布 | 六个阶段中阶段三与阶段四存在重叠，阶段五的验证实验在阶段四后期即可对已完成部分启动。各阶段的具体时点与建设周期（至 2028 年 5 月）的对应安排在项目管理措施章节的总体实施计划中给出，本节不另行排期，以免两处计划不一致。 ### 6.10 主要风险与应对 六个加工环节的风险集中在三处，各风险的表现、影响与应对如表 6-11。表中所列为数据侧的风险，项目层面的风险与应对在项目管理措施章节统一论述。 表 6-11　六个加工环节的主要风险与应对 | 风险 | 具体表现 | 对交付的影响 | 应对措施 | 退路 | |---|---|---|---|---| | 业务专家时间不足 | 仲裁、回溯判定、盲评、物理合理性确认排不上队 | 判断档标注任务的门控无法判定；时序合成不能入集；专家判断型标签缺失 | 按专业设席位并明确投入节奏；专家意见归档回灌规范，减少重复占用；批量议题集中评审 | 专家不可得的标签转为「无法判定」并计入覆盖盲区，在卡片局限性说明中披露，不以推测值填充 | | 源数据条件不及预期 | 接口开通范围有限、采集覆盖不足、纸质报告调阅困难、配对关系无法确认 | 关联标注样本量不足；时效性占比与多模态占比达成困难 | 在修订计划「外部依赖」栏逐条列明所需配合与期望时点，进项目例会推进；优先标注关联键完整的样本 | 关联不完整的样本按置信度分级入集并限定用途；缺口如实写入卡片局限性说明与补采计划 | | 标注一致性不达线 | 判断档任务的 Kappa 值偏低、黄金集通过率不达线、批次反复退回 | 标注批次门控不通过，影响规模与进度 | 按 1.9.1 节动态调整抽检比例；分歧按类型分别处置；规范修订后对受影响批次重标 | 同类分歧三次以上且规范修订无改善的，该标签降级为参考字段并保留多方意见，在卡片中记录实测分歧率 | 三项风险中第一项与第二项都依赖甲方侧的配合，应对措施的有效性取决于配合是否到位；本方案的处置原则是：依赖事项逐条书面化并纳入例会推进，依赖未落实造成的缺口如实记录而不以推测数据填充。这一原则与第 4 节的质检口径、第 5 节的验证报告披露要求是一致的。 ### 6.11 全链条口径的统一登记 以下各项口径在六个加工环节内统一适用，各条款引用同一口径，不另立名称与取值。 第一，样本类型只分三类：真实、合成、增强。三类在样本元数据中有独立标识，占比分别统计并在数据集卡片中分三项披露。真实样本经增强变换后仍标识为增强样本，不计入真实样本；合成样本经增强变换后标识为增强样本并保留其种子为合成样本的溯源链。 第二，质量分级只用一套：A 级（字段完整、经审核签发、有投产或闭环记录）、B 级（缺投产或闭环记录）、C 级（字段不完整或未经审核签发）。A 级可进基准评测子集，B 级进指令微调与偏好对齐子集，C 级仅进预训练子集。1.5.3 节对工艺卡片的分级、1.4.2 节对选型方案效果分级与 1.7 节对关联关系置信度的分级，都归入这一套的判定依据，不另立分级名称。 第三，一致性指标的名称与计算方式按表 1-11 统一，不在不同节使用不同叫法。质检门控（表 4-4）与质量评测方案中引用的一致性指标即此处的指标，数值口径相同。 第四，「趋向」与「不低于」的区别：凡招标文件以数值形式明确要求的指标（多模态条数占比不低于 40%、3 年内数据条数占比不低于 40%、数据模态不低于 3 种、四大数据集的规模数值），本节按原文表述为「不低于」或给出具体数值，并给出达成路径与核算口径；凡本方案自设的内部管理目标（各类合格率、一致性指标、解析通过率），一律表述为「趋向」并附基线确定方式与不达标时的处置。两类表述的区别是实质的：前者是对甲方的指标应答，后者是我方的质量管理目标。 与此相应，首版试点与首批试标的实测值只用于标定招标文件未规定的参数：时序标注的时间窗长度（1.6.1 节）、增强副本数上限与副本间差异度下限（4.5 节、3.6 节）、抽检比例与各档合格率基线（1.9.1 节、4.6 节）、拒绝采样倍率与分布偏离容限（2.1 节、2.6 节）、解析通过率基线（6.4.2 节）。实测值不得用于下调招标文件已明确的指标：实测结果低于招标指标时，处置是加大采集、标注与补采投入并调整资源配置以补齐缺口，必要时调整版本节奏，而不是调低指标或改写核算口径；缺口在当期无法补齐的，按本节第四条如实写入数据集卡片局限性说明与下一版本修订计划，并在验证报告的发布建议中写明。任何变更与标定结论均不构成对已明确指标的下调（6.2.3 节）。 第六，许可限制的处置按用途拆开，不作一概而论的标记放行：禁止用于模型训练的样本不进入三个训练子集，禁止对外发布的样本不进入对外发布版本的封装包，仅允许内部授权用途或合法留存的样本进入独立隔离分区且不计入规模达成；同时受两类限制的按更严的一类执行。分流口径见表 4-2A，样本级以「许可用途标记」字段固化，并作为子集抽取与版本封装的强制过滤条件。 第五，责任边界的表述：本包负责数据集加工生产、质量评测与场景验证，不负责智能场景的建设（b1603）；人工标注作业由我方按四个数据集分别组织实施，标注规范、标签体系、工具链、黄金集、质检判定与验收返工判定由独立于作业执行的质量判定侧承担；接入国家数据基础设施的技术方案制定与实施属运营服务范围，本包负责为每个版本准备并提交登记所需信息与元数据。