# 数据标注合成增强与质量验证实施方案
## 1 加工生产与版本交付总体安排
### 1.1 实施范围与成果要求
我方在完成数据采集、规范化预处理、知识本体及知识库建设的基础上，组织数据标注、数据合成、数据增强、数据集质检、数据集验证和数据集项目管理。四个数据集分别建立生产项目，各项目设置预训练、有监督指令微调、人类偏好对齐、基准评测四个用途子集任务。每一批次具有来源、处理配置、质量记录和用途限制，每一正式发布版本具备数据集内容、数据集卡片、版本指纹、质检报告和验证报告，并同步交付数据字典、自描述封装文件及资产台账。
采集和预处理交付的图纸、文本、图像、视频与时序数据，先完成接收核验，再进入对应生产任务。输入清单登记源对象、业务标识、处理版本、来源许可、敏感级别、时间范围和质量状态。引用的标签体系来自通过评审的本体版本，标注与合成使用的知识条目均经过业务专家终审。输入文件、知识状态或权限条件发生变化时，暂停相关任务并检查已经形成的样本及其派生关系。
供需计划、产品工艺设计、制造过程、产品质量四个数据集的交付规模分别核算。预训练子集合计615亿Token，有监督指令微调子集合计89万条，人类偏好对齐子集合计6.6万组，基准评测子集合计0.95万条。上述规模以完成去重、质量检验和验证、满足许可条件的正式交付内容为准。原始采集量、生成候选量、已剔除量、重复副本及未通过检验的批次分别记账，不抵充交付规模。
### 1.2 生产组织与质量职责
我方按四个数据集分别组织人工标注、合成增强和训练验证作业，设置执行、质量复核、专业仲裁和版本发布岗位。作业人员对输入检查、规范执行、记录真实性和问题上报负责；质量复核人员独立抽取样本、核对证据并作出批次判定；业务专家处理专业分歧、确认工艺适用性与证据强度；版本管理人员在质量及验证条件满足后组织发布和移交。人员可以按工作量跨任务调配，同一批次的执行与最终质量放行保持职责分离。
奔牛数据智能平台 为生产任务提供配置管理、权限控制、日志留存和状态查询，数据加工生产与数据集运营服务管理按各自平台职责承接数据内容、元数据与发布登记。任务交接通过明确的输入清单和接收记录完成。数据集向运营平台移交后，继续纳入本项目数据运营推广、持续汇聚、质量维护及国家数据基础设施接入工作，移交登记不终止我方的项目履约责任。
场景工作按招标要求实施验证服务，围绕六个专业场景和五个通用场景检验数据集效果，形成可用性结论和修复依据。生产过程中形成的质量记录服务于过程控制，发布前训练实验服务于数据效果验证，独立质量评测按说明文档、数据质量、模型应用三大维度实施。三类工作共享数据版本及指标字典，分别保留执行过程、结论和责任记录。
图 1-1 数据集生产任务与交付组织
### 1.3 输入接收与生产状态
批次在接收时即登记唯一标识。接收核验检查文件清单、摘要、源对象映射、业务时间、许可凭证、脱敏结果及上游质量结论。内容缺失、文件损坏、权限不符或知识尚未终审的批次进入隔离状态，保留发现问题的时间和处置任务。接收记录不因批次被退回而删除，修复后的内容以新修订号重新提交。
表1-1 输入接收与生产状态
| 状态 | 进入条件 | 允许操作 | 退出依据 |
|---|---|---|---|
| 已登记 | 收到批次清单和文件 | 对账与完整性检查 | 接收核验结果 |
| 隔离整改 | 许可、内容或质量条件未满足 | 在授权范围内核查和修复 | 复检通过及解除隔离记录 |
| 待生产 | 输入核验及任务配置检查通过 | 分派、试标和正式加工 | 作业提交记录 |
| 待质检 | 作业完成并通过自检 | 独立抽检、一致性检查、专业仲裁 | 批次质量结论 |
| 合格候选 | 全部适用过程检查通过 | 按目标用途编组和验证 | 版本候选清单 |
| 冻结验证 | 内容、配置和评测协议固化 | 训练、评测、归因和复评 | 验证报告及评审结论 |
| 正式发布 | 发布资料完整且条件满足 | 授权交付、登记和使用 | 发布及接收记录 |
| 撤回停用 | 发现影响使用的缺陷或授权变化 | 阻断供给、影响追踪和版本修复 | 新版本放行及使用方处置确认 |
### 1.4 统一质量与计量规则
过程质量控制沿用入口、预处理、本体口径、知识终审、标注、合成增强和版本发布各检查点，按检查对象分别记录，不以同一编号指代不同环节。任何环节发现影响来源合法性、内容安全、关键事实或用途适用性的问题，立即停止相关对象的下游使用，并追溯已形成的派生样本。
数据集涵盖文本、图像、时序、视频等模态，满足不少于3种模态、多模态数据条数占比不低于40%、近3年内时效性数据条数占比不低于40%的要求。多模态计量核对各模态内容是否实际存在、可读取并具有有效业务关联；时效性以真实业务发生或资料形成时间判断，不以入库、改写或生成时间替代。统计保存分子、分母、去重规则、统计截止时点与执行程序版本。
独立质量评测覆盖说明文档、数据质量和模型应用全部规定指标，各维度达到最低合格标准，综合质量得分不低于85分；高风险缺陷100%清零，中低风险缺陷整改完成率100%。我方将上述条件纳入版本发布检查，已知缺陷通过修复、剔除及必要的规模补足完成处置，经复检确认后关闭。数据集卡片披露使用范围和客观局限，不以披露替代整改或降低招标指标。
## 2 数据标注
### 2.1 标注对象与证据要求
标注将规范化数据转换为可用于训练、对齐和评测的样本。供需计划域提取合同要素、选型条件及库存决策约束；产品工艺设计域建立图纸、特征、工序、卡片与参数的对应；制造过程域记录工况、工艺阶段、事件及诊断证据；产品质量域关联检验项、缺陷、检测结果和过程参数。经营决策问答依托九个业务域指标知识库组织标签，并按业务归属登记到四个数据集及其用途任务中，不另增第五个交付数据集。
每项标签同时记录取值和证据。原件能够直接支持的事实、规则计算得到的结果、专家分析形成的意见采用不同来源属性。专业人员确认样本关联时，核对业务对象、版本、时间、生产批次与记录链；仅凭时间接近或文件名相似建立的候选关系，不作为已经确认的工件对应关系。
报警记录与真实故障分别管理。标注人员将报警与维修工单、检查结论及处理后状态建立联系，证据不足时保留异常现象和待确认状态。故障模式、劣化阶段及根因各自核验，不因存在报警或更换过备件便认定故障与根因。缺乏依据的标签转为补证任务，经核实后再进入对应的监督训练用途。
### 2.2 标注体系总则
#### 2.2.1 标签体系一律引自知识本体
各业务域的标注口径统一引用通过评审的知识本体。对象覆盖设备与部件、物料与产品结构、工艺与工序、工况与事件、合同与供应商、质量特性和检验项。焊接缺陷标签覆盖招标要求中的气孔、裂纹、咬边、余高、弧坑、焊脚偏差等类别，并结合经确认的检测规范纳入夹渣、烧穿、未熔合、未焊透、偏焊及焊瘤等适用类别；热处理标签覆盖烧伤、裂纹及其相关质量特性。各类别具有定义、适用对象、证据要求和排除条件，不能将历史标签清单作为封闭上限。
标注工具加载本体标识和版本。发现未覆盖概念时，登记新增需求、示例和与现有类别的差异，由专业人员评审后更新本体与规范。变更生效前，该对象进入候选处理范围，不在工具端临时增加无法追溯的正式标签。
标签体系按三层组织：第一层是对象类目，取自本体的对象类目（设备与部件、工艺与工序、故障模式、质量特性与检验项、物料与 BOM、供应商与合同、能耗与工况）；第二层是任务标签集，即某一标注任务在该对象类目下要标的标签字段集合；第三层是取值域，即每个标签字段的合法取值枚举或数值区间。标注工具按第三层的取值域做输入约束，取值域之外的输入在提交时被拒绝，这是标签体系符合性在工具层面的第一道保障。
#### 2.2.2 每一个标注任务配一份标注规范
标注规范是本环节最关键的交付物，它决定了标注结果能否在不同标注员、不同批次之间保持一致。每份标注规范包含六部分内容：标注对象与粒度（标到文档、段落、条款、字段、图元、像素区域还是时间窗）；标签体系引用（引用本体哪个类目、本任务用其中哪些字段、每个字段的取值域）；判定准则（每个取值的判定条件，以及两个取值之间的分界线划在哪里）；边界情形处置（证据不足、多重判定、原件缺损、口径冲突四类情形的处理方式，统一设「无法判定」取值并要求填写原因码，不允许标注员凭感觉选一个）；正反例与易混淆对照（每个标签至少三个正例与两个典型误标例）；一致率阈值与返工线。
规范带版本号，版本号随标注样本一并记录。规范在作业期间修订的，修订后新作业批次按新版本执行，已完成批次按原版本保留并在样本元数据中标明规范版本，不做追溯性重标，除非修订涉及判定准则的实质变更——此时按 2.9 节的返工口径对受影响批次重标。
#### 2.2.3 机器预标注与人工确认的分工
标注作业采用机器候选与人工确认相结合的方式。预标注从经过核验的原生图元、条款结构、工艺记录、时序事件和相似已审样本中提出候选，保留候选依据与模型版本。历史图纸与工艺卡片的数量、可借用比例、配对关系和审核状态按接收盘点及业务核验结果登记，不将存量文件数量直接等同于可用监督样本数量。
四类对象的预标注方式与人工介入点如下。首批试标按对象复杂度、来源、稀缺类别和标注难度分层设置样本，测量候选召回、人工修正率、复核通过率及单位样本处理时间。低置信度、涉及安全判断或关键参数的任务采用人工主导；稳定任务按批准的作业档位执行，档位升级以连续批次结果为依据，发生质量下降时立即降级。
表2-1 四类标注对象的机器预标注方式与人工介入点
| 标注对象 | 机器预标注方式 | 人工介入点 | 预标注核验重点 |
|---|---|---|---|
| 文档类（合同、招投标文件、制度、标准） | 版面解析结果上做条款切分与条款类型候选推荐、八大核心要素定位 | 条款类型确认、风险点认定、合规判定结论 | 统计要素定位召回与类型候选命中，漏标关键义务逐项处理 |
| 图纸类（DWG/DXF、工艺图纸 PDF） | 原生图元解析输出图元、尺寸、图层、标题栏与明细栏字段；加工特征按几何规则初判 | 特征确认、投影关系确认、技术要求语义确认 | 逐类统计几何特征初判准确率和人工修正量 |
| 图像类（熔池、焊道表面、工件外观） | 缺陷区域候选框与类型候选，按本体中适用的焊接与热处理缺陷类别输出 | 缺陷类型判定、位置框修正、等级判定 | 统计可见缺陷候选召回与类型错误，未见区域不补造框 |
| 时序类（热处理、焊接、设备运行） | 按事件锚点切分时间窗，工况分段初判，参数偏差按设定程序差值初算 | 工艺阶段确认、异常事件认定、故障模式与根因判定 | 核对工况分段、事件边界与时钟误差 |
预标注结果在标注工具中以「候选」状态呈现，标注员确认后才成为标签值。工具记录标注员是否修改了预标注结果以及修改幅度，这一记录同时用于两个用途：评估预标注质量，以及识别可能的「不加判断直接确认」行为——某标注员在某批次内预标注接受率显著高于同任务其他标注员且抽检不合格率同时升高的，该批次整体进入复核。
### 2.3 标注作业组织
人工标注作业由我方按四个数据集分别组织实施。标注环节在组织上分设作业执行与质量判定两侧，按表 2-2 分界。这一分界的实质是：标注做成什么样由质量判定侧定义并判定，标注怎么排班、投入多少工时由作业执行侧组织。两侧同属项目组，但不由同一组人兼任——作业与判定由同一人兼任时，抽检结论失去独立性。
表2-2 标注环节的交付分界
| 事项 | 质量判定侧 | 作业执行侧 |
|---|---|---|
| 标签体系与标注规范 | 编制、评审、版本维护、修订 | 按规范执行，提出规范问题单 |
| 标注工具链 | 提供智能标注类工具与标注工作台，含输入约束、预标注、留痕与导出 | 使用工具作业 |
| 黄金集 | 编制并保密维护，按任务提供考核题目 | 标注员上岗前通过黄金集考核 |
| 标注员培训 | 提供培训材料、规范宣讲与试标讲评 | 组织标注员参训，安排作业排班 |
| 标注作业 | 出具规范、黄金集与门控判定结论 | 按四个数据集分别组织实施 |
| 自检 | 提供自检项清单与工具内校验规则 | 执行自检 |
| 抽检与一致性校验 | 执行并出具结论 | 配合提供样本与作业记录 |
| 仲裁 | 组织业务专家仲裁、出具仲裁意见 | 按仲裁意见返工 |
| 门控判定与返工通知 | 判定并出具门控结论与低一致性样本清单 | 按清单返工并提交复检 |
| 标注质量记录 | 汇总并随样本封装 | 提供作业过程记录 |
标注员的身份在样本元数据中以匿名工号记录，不记录姓名。这既满足可追溯要求，也避免标注样本在后续流通中带出人员个人信息。工号与人员的对应关系由作业执行侧按保密要求单独维护，质量分析中只使用工号。
#### 2.3.1 标注作业的批次组织
标注以批次为单位组织，批次是质检门控、返工与版本计入的最小单位。批次划分遵循三条口径：同一批次内的样本属于同一业务域、同一标注任务、同一规范版本；单批次规模按文档类 200–500 份、图纸类 300–800 张、图像类 2000–5000 张、时序类 1000–3000 个时间窗控制，使单批次的抽检工作量落在两个工作日之内；跨业务域的关联标注（如热处理工艺参数与质量检验结果的关联）单独立批，不混入单域批次。
批次台账记录批次号、业务域、任务、规范版本、样本范围、承接单元、作业起止时间、自检结论、抽检结论、一致性指标、门控结论与返工轮次。台账是后续质检追溯与资产台账编制的基础数据。
图 2-1 标注作业与质量判定流程
### 2.4 供需计划域数据标注
#### 2.4.1 招投标文件与合同文本的标注
合同文本标注分两条线并行：一条是条款级的类型与风险标注，一条是对标八大核心要素的完整性标注。两条线标在同一份文档上但标签集不同，前者的标注粒度是条款，后者的标注粒度是文档。
条款级标注的第一步是条款切分。合同与招投标文件的条款边界并不总与自然段落一致，一条责任条款可能跨若干段，一个段落也可能包含两条独立义务。标注规范规定以「一个可独立判定履行与违约的义务单元」为一条条款，切分结果由标注员确认；机器按标题序号、「第×条」标记与句式特征给出切分候选。切分之后对每条条款标注条款类型、风险点与合规判定结论三组标签。
条款类型按合同履行要素分类，取值域引用本体中的合同与供应商类目。风险点标注采用「风险类型＋风险等级＋依据」三元结构：风险类型为枚举值，风险等级分高、中、低三档，依据必须指向具体文字片段的字符位置区间，不允许只给结论不给依据。合规判定结论为合规、不合规、需关注、无法判定四值，判定依据同样要求指向条款文字与所对照的制度或标准条款编号。
八大核心要素完整性标注覆盖当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法。每项记录存在状态、具体位置、约定内容和完整性结论。附件及补充协议中的约定与主合同共同核查，遗漏附件时不得直接判为要素缺失。存在但不完整的项目标记缺失子项，如期限已明确但地点尚未确定、违约计算方式缺少基数或上限；完整性判定与合规风险判定分别记录。
模板基线对照标注解决的是另一类业务需求：企业有自己的合同模板，实际签订的合同相对模板有哪些改动，是审查工作的重点。标注要求对照模板基线标注新增条款、删减条款与修改条款三类差异。标注作业前先确定基线：按合同类型（销售合同、采购合同、技术协议、框架协议）分别指定模板版本，标注时以该版本为基线逐条对照。修改条款进一步标注修改方向——对合同中甲方所处角色的义务加重、减轻还是中性，这一标签是风险审查场景最直接需要的。
表2-3 合同文本标注的标签集与判定口径
| 标签字段 | 粒度 | 取值域 | 判定口径 | 边界情形处置 |
|---|---|---|---|---|
| 条款类型 | 条款 | 引用本体合同类目枚举 | 按条款约定的核心义务归类，按主要义务确定主类，必要时保留次类及复合义务 | 跨两类的按主要义务归类并标注次类 |
| 风险类型 | 条款 | 枚举（权利义务不对等、履约条件不明、违约救济不足、争议解决不利、合规瑕疵等） | 须指向文字片段位置区间 | 无风险的标注「无」，不留空 |
| 风险等级 | 条款 | 高／中／低 | 按金额影响、履约可行性、救济难度三要素综合 | 要素之间冲突的提交仲裁 |
| 合规判定结论 | 条款 | 合规／不合规／需关注／无法判定 | 须指明对照的制度或标准条款编号 | 对照依据缺失的标注「无法判定」并填原因码 |
| 八大核心要素·是否存在 | 文档 | 存在／缺失 | 以是否有可识别的约定文字为准 | 在附件中约定的计为存在并标注附件位置 |
| 八大核心要素·表述完整性 | 文档 | 完整／不完整／缺失 | 不完整须标注缺失子项 | — |
| 模板差异类型 | 条款 | 新增／删减／修改／一致 | 以指定模板版本为基线逐条对照 | 条款顺序调整但内容一致的计「一致」 |
| 修改方向 | 条款 | 甲方合同角色义务加重／减轻／中性 | 仅对「修改」类条款标注 | — |
#### 2.4.2 历史选型方案的标注
历史选型方案按项目、机型、形成时间和使用状态登记。标注提取选型关键要素、配置结果及其对应关系，核对所引用计算书、技术协议和实际反馈的版本。没有完整依据的历史推荐保留其记录属性，不直接认定为当前工况下的唯一正确选型。
选型关键要素按招标文件列明的八类标注：输送能力、输送距离、倾角、煤层厚度、工作面条件、配套设备、可靠性要求、特殊定制要求。标注规范对每一类给出字段定义与单位：输送能力标注额定输送量与单位，输送距离标注铺设长度与是否含弯曲段，倾角标注范围与正负向，煤层厚度标注厚度区间与采高类型（超长、常规、大采高、薄煤层），工作面条件标注顶底板条件、瓦斯等级与涌水情况，配套设备标注采煤机、液压支架、破碎机的型号与关键接口参数，可靠性要求标注设计寿命与可用率要求，特殊定制要求以自由文本加分类标签记录。
选型结果标注整机机型、槽宽、驱动功率、链条规格、减速器及关键部件配置，记录原单位、适用工况和配置版本。要素与结果之间建立对应关系，并区分历史方案明确记载的依据、按批准规则复算的依据、专家补充分析。主导因素由完整计算条件与适用规则支持，不将单个经验判断固化为普遍的选型规律。
接口参数标注记录来源位置及证据类型。来源分为方案明确记载、附件规则复算、专家确认和不可得；规则复算保留输入、公式版本与计算记录，专家确认保留工号、专业及确认日期。不可得信息保持缺失状态，根据目标任务判断是否阻断样本：关键输入缺失的样本进入补证或澄清任务，已核实的其余事实可在许可及质量条件满足后用于适当用途，不能默认把整条不完整记录作为完整监督答案。
此外标注方案的实际使用效果分级，这是选型场景闭环优化的线索来源。效果分级取值为投运良好、投运中有调整、投运有问题、未投运或无反馈四档，依据为售后服务与备件管理系统的服务工单、远程运维平台的事件记录与业务专家的确认意见。无反馈的样本不参与偏好对齐子集的优劣判定。
#### 2.4.3 订单库存与排产数据标注
这类数据是结构化业务数据，标注的任务是在其上标注需求预测标签与库存决策标签。
需求预测标签按预测发起时点和预测范围组织。输入只包含当时已可获得的商机、合同、需求计划、库存、在途和生产计划信息，标签记录随后实际发生的需求及兑现结果。业务发生时间、系统登记时间和可供决策时间分别保留。月度任务以月末业务截止时点构建快照，日度或周度任务按其规定窗口执行；快照选择只能回溯到截止时点之前，不取距离最近但晚于截止时点的数据。未来发生的退货、计划变更、盘点调整及最终实际消耗不回填为历史输入。
库存决策标签标注的是「在当时的条件下应当采取什么动作」，取值为正常补货、分批锁定、提前锁定、暂缓采购、寻找替代、呆滞处置六类。标注依据是物料分层结果（按周转性、时效性、单价、专用程度与缺料代价分层）与当期的保交付红线与资金上限约束。由于历史上并不存在明确的「应当动作」记录，这一标签由业务专家回溯判定，标注规范要求同一样本由两名专家独立判定，不一致的进入仲裁，并在元数据中标明该标签为专家回溯判定而非历史事实记录。这一标明很重要：它决定了该子集在验证环节只能用于评估模型与专家判断的一致性，不能被当作客观真值用于计算绝对准确率。
表2-4 供需计划域标注产出与支撑场景的对应
| 标注对象 | 主要标签 | 产出样本形态 | 支撑的验证场景 |
|---|---|---|---|
| 招投标文件与合同文本 | 条款类型、风险点、合规判定、八大核心要素完整性、模板差异 | 条款级标注样本、文档级要素完整性样本、差异对照样本 | 合同合规审查智能助手 |
| 历史选型方案 | 八类选型关键要素、六项选型结果、要素—结果对应关系、效果分级 | 要素—结果配对样本、推荐理由样本 | 产品智能选型 |
| 订单、库存与排产数据 | 需求预测标签、库存决策标签、物料分层 | 可得信息—真实需求样本对、决策动作样本 | 库存控制智能化 |
### 2.5 产品工艺设计域数据标注
#### 2.5.1 图纸标注的两个层次
图纸标注分几何层与工艺层两个层次。几何层标注的是图上画了什么，工艺层标注的是这些几何要素意味着什么加工动作。两层的标注者、标注方式与质检方式都不同，必须分开组织。
几何层标注图元、尺寸标注、技术要求、标题栏与明细栏字段、零件特征。对于可读取的原生 CAD 文件，优先解析原生结构；扫描件及图像化资料采用图像解析并分别标记来源形态，图元、图层、线型与尺寸标注在解析阶段即可获得结构化结果，几何层标注的实际工作是核对与补齐：核对解析结果与图面是否一致，补齐解析不出的视图投影对应关系（哪个视图是主视图、哪些视图是同一特征的不同投影）。标题栏与明细栏字段按企业图纸模板的字段位置抽取后人工核对，重点核对材料牌号、板厚、图号、版次四项——这四项错了，后续全链路都错。
工艺层标注加工特征。招标文件列明的特征包括阵列特征的数量、位置与尺寸，折弯特征与折弯线补偿尺寸，共料、天窗与工艺孔。这些特征的判定需要工艺判断：一组孔是不是阵列特征、天窗是出于减重还是出于工艺需要、两个零件之间能不能共料，都不是几何规则可以单独决定的。标注规范对每类特征给出判定准则与边界情形，并要求标注依据指向图面位置。
表2-5 图纸标注的标签集与粒度
| 层次 | 标签字段 | 粒度 | 取值域或格式 | 判定要点 |
|---|---|---|---|---|
| 几何层 | 图元 | 图元 | 类型枚举＋几何参数 | 以解析结果为基础人工核对 |
| 几何层 | 尺寸标注 | 标注实体 | 数值＋公差＋基准 | 核对关联的几何要素是否正确 |
| 几何层 | 技术要求 | 文本块 | 结构化字段＋原文 | 识别粗糙度、坡口、倒角、公差所指的作用表面范围 |
| 几何层 | 标题栏字段 | 图纸 | 图号、名称、材料牌号、板厚、数量、版次、签署 | 材料牌号与板厚为关键字段，双人核对 |
| 几何层 | 明细栏字段 | 行 | 序号、代号、名称、数量、材料、备注 | 与产品结构数据对照 |
| 几何层 | 视图投影关系 | 视图组 | 主视图标识＋投影对应 | 解析不出，人工标注 |
| 工艺层 | 零件特征 | 特征实例 | 特征类型枚举＋所在图面位置 | 引用本体工件品类与特征类目 |
| 工艺层 | 阵列特征 | 特征实例 | 数量＋位置坐标集＋单元尺寸 | 几何阵列与加工批次分别标注，几何规则不能因分批加工而抹除 |
| 工艺层 | 折弯特征 | 特征实例 | 折弯线位置＋角度＋内弯半径＋补偿尺寸 | 按经批准的材料板厚模具及展开计算规则复算，保留适用条件和差异 |
| 工艺层 | 共料标识 | 零件对 | 可共料／不可共料＋共料方式 | 核对材料、板厚、纹理方向、质量要求、切割余量和适用工艺 |
| 工艺层 | 天窗与工艺孔 | 特征实例 | 类型＋用途（减重／装配／工艺／排屑） | 用途判定需工艺判断，不可由几何推定 |
#### 2.5.2 工艺卡片标注与全链路对应
工艺卡片标注工序序列、工艺参数与工装要求。工序代码引用甲方工艺部门确认的正式工序字典及其版本；字典记录工序含义、适用对象、设备条件和允许参数。标注保留卡片原顺序、重复工序、分支和前后依赖，并区分必须满足的依赖关系与允许调整的顺序。发现历史卡片工序不在当前字典时，先核查其历史适用性及字典变更记录，不以当前取值直接替换历史事实。
工艺参数按工序类型标注：下料工序标注切割方式、切割速度、割缝补偿；压弯工序标注压模号、折弯顺序、展开长；制孔工序标注孔径、孔位公差、加工方式。工装要求标注设备编码、压模号与样板号，取值与设备资源库对齐。
标注逐级建立图纸、特征、工序、卡片行与参数的显式对应关系。标注员选定图纸特征及工艺卡片中的对应项，记录该工序用于加工该特征、提供前置准备或服务多个特征等关系类型。复核核对对象版本、关系依据和工序适用条件，关系数量按实际资料统计，无法确认的关联保持候选状态。
#### 2.5.3 历史成对样本的利用口径
历史图纸与工艺卡片按图号、卡片号、版次、生效范围、工单和产品结构建立配对候选。工艺人员核验具体版本的适用关系、审核签发记录及变更依据。相同图号的不同版次不按时间接近直接配对；能够由变更记录证明沿用原工艺的，保存沿用依据和适用范围。无法证明配对关系的对象单独进入补证清单。
样本适用性按来源许可、内容完整性、专业审核、生产反馈及目标用途共同判断。原件已审不代表抽取和关联结果已正确，投产记录也不直接证明工艺具有最优性。拟用于基准评测的样本须满足真实来源、答案可核验和与训练侧隔离的条件，经独立审题及标准答案复核后冻结；拟用于指令微调的样本同样完成事实与标签审核，不以缺少投产反馈为由自动判为可用。
字段缺损、未审核签发或关联证据不足的记录进入隔离与修复流程，不能自动降级为预训练语料。完成复核的有效片段可按明确用途重新组织，但须保留原来源、修复范围、适用限制和新质量结论。抽取为独立片段后仍不得形成与原件相矛盾的陈述。
重复图纸、同系列零件和借用工艺按源对象家族管理。训练、开发验证与基准评测先按家族切分，再在各自范围内展开标注和增强。批次计划关注特征组合、工艺路线、材料与板厚范围、图纸复杂度和来源覆盖，避免相同组合的重复图纸占据大部分人工标注投入。
### 2.6 制造过程域数据标注
#### 2.6.1 热处理与焊接时序片段的标注
时序片段标注工艺阶段、参数偏差与异常事件三组标签。
工艺阶段按实际工艺路线和设备程序定义。热处理分别适配调质、退火、正火、回火及感应淬火等作业，标注其适用的加热、保温、转移、淬火、冷却或返热阶段；焊接区分起弧、稳定焊接、收弧、中断与续焊，摆动作为相关阶段内的运动属性记录。程序设定阶段、设备执行状态与由实测曲线确认的状态分别保存。保温是否成立依据温度区间及持续时间判定，不能仅凭瞬间达到设定值；阶段差异核查程序、测点和工况证据后认定原因。
参数偏差记录测量参数、实际值、参考值、单位、偏差方向、幅度及持续时间。参考值区分工艺设定值、经批准工艺范围和模型建议值，标明采用哪类基准。参数包括温度、功率、频率、电流、电压、淬火液流量温度与浓度、感应器间隙、焊接速度、送丝速度、保护气体流量及焊枪摆动和停留等。没有可信测量的项目标记不可得，不用设定值填充实际值。授权使用的生产数据保留必要精度；对外提供时按批准的脱敏策略形成派生表达，保留转换规则，不以统一分档破坏计算与验证所需信息。
异常事件标注的是在这一片段中发生了什么值得记录的事。取值引用本体中的故障模式与异常事件类目，包括阶段切换异常、参数越限、参数振荡、传感器疑似失效、设备报警、人工干预、作业中断等。每个异常事件标注起止时间、涉及测点与严重程度，并在可能时标注与质量结果的关联——这一关联标签是热处理场景与焊接场景最需要的信息，也是最难标的，因为它要求标注员能够把这一炉的曲线异常与后续的硬度检验、切片结果对应起来。
设备运行时序的工况标注按招标文件列明的六类标注：启停、空载、正常运输、重载、过载、堵转。这六类工况的判定对刮板输送装备健康诊断场景是前提性的——不先分段，基线就无法建立。标注的难点在于三机联动的耦合干扰：刮板输送机被液压支架推移、被采煤机在机身上行走，在役监测信号中含有大量来自其他设备的耦合干扰。标注规范要求对每个时间窗额外标注「是否存在耦合干扰」与「干扰来源判断」，经证据确认或仍属疑似耦合干扰的窗口分别标识，在基线计算中单列，不与纯工况窗口混算。
故障模式、劣化阶段与根因判定三组标签解决的是「报警不少、故障标签很少」的问题。标注方式是以报警时间窗为锚点向前后扩展，调取同期的维修工单、派工记录与备件出库流水，由专业人员判定本次报警对应的故障模式、当时处于哪一劣化阶段（正常、早期劣化、明显劣化、功能失效四档）与根因。关键口径是：维修事实缺失的报警不标注故障模式，标注为「未闭环报警」，这类样本经现象和事件标注复核后，可用于报警归并等适用任务，不作为故障模式或根因的确定性监督标签。两类用途在样本元数据中区分，避免未验证的报警被当作故障真值。
表2-6 时序片段标注的窗口口径与标签集
| 对象 | 切分方式 | 窗口长度口径 | 主要标签 | 元数据要求 |
|---|---|---|---|---|
| 热处理炉次曲线 | 按炉次工单与开完工记录锚定，内部按工艺阶段切分 | 整炉次为一条主样本，阶段段为子样本 | 工艺阶段、参数偏差、异常事件、与质量结果关联 | 炉次号、装炉工件清单、材料批次、码装方式、装炉量、设定程序版本 |
| 焊接参数流 | 按起弧与收弧事件锚定，一道焊缝为一个基本单元 | 一道一档，长焊缝按段细分 | 工艺阶段、参数偏差、异常事件、焊道标识 | 工件标识、焊道编号、焊丝牌号与直径、预热与层间温度、焊接位置 |
| 设备运行时序（在役装备） | 按运行工况变化点与报警事件锚定切分 | 常态窗口 10 分钟量级，事件窗口按事件前后扩展 | 六类运行工况、耦合干扰标识、故障模式、劣化阶段、根因 | 设备编号、测点配置、采样周期、同期工单与备件记录 |
| 设备运行时序（产线设备） | 按启停与报警代码锚定切分 | 按作业批次 | 运行工况、设备报警代码、人工干预 | 设备编码、报警代码字典版本 |
时间窗长度的具体取值在首批试标后按实测标定。标定方式是：对同一段数据按三种候选窗长分别标注，比较标注一致性与下游训练效果，取一致性与效果综合最优的窗长作为该对象的标准窗长，并在标注规范中固化。这一标定过程的记录进入数据集卡片的建设过程说明。
#### 2.6.2 熔池图像与焊道表面图像的标注
图像标注记录焊接缺陷类型、位置、可见程度及检测证据。类型引用批准的本体，包括气孔、裂纹、咬边、余高、弧坑、焊脚偏差等招标要求类别及其他适用缺陷。框、多边形、折线或分割掩膜按可见形态和任务规范选择，不仅凭缺陷名称固定标注形状。热裂纹与冷裂纹等成因分类只有在材料、工艺及检验证据支持时细分，单幅图像不能确认的保留为可见裂纹及待判定成因。
熔池图像与焊后焊道表面图像所能观察到的是表面形貌，未熔合、未焊透一类内部缺陷在表面图像上通常不可见。标注规范因此规定表面图像上的缺陷标注只针对表面可观察缺陷；内部缺陷的标签来源于无损检测结果，以检测报告为依据，通过工件标识与焊道编号关联到图像样本，在样本中以「关联检测结论」字段记录而不作为图像上的标注框。关联检测结论保留在独立字段，并按任务输入的可见信息确定是否适合作为监督目标。
缺陷等级和接收结论依据适用的检验规范、合同技术条件及批准的判定规则分别标注，记录标准版本、条款、测量方法和适用部位。等级取值与原判定体系对应，不统一改写成缺乏依据的轻微或严重档。等级确认由具备相应业务能力的检验人员承担；不满足判定所需的尺度、表面条件或检测资料时，保留无法判定及原因。
熔池图像的标注另有一层特殊性：熔池形貌与焊接参数之间的关系是焊接场景最关心的，但熔池图像主要呈现过程状态，最终缺陷判定需结合检测证据。标注规范对熔池图像设独立标签集：熔池形态（正常、偏移、过宽、过窄、不稳定）、熔池边界清晰度、飞溅程度，并与同时刻的焊接参数流建立时间对齐标注。这组样本支撑焊接过程控制智能监控场景的过程判别能力。
#### 2.6.3 工件外观图像与热处理质量关联标注
工件外观图像标注烧伤、裂纹等热处理外观缺陷，并关联硬度指标、切片结果与淬火层深。
缺陷标注与焊道图像同法：类型引用本体中适用的热处理外观缺陷类别，位置以多边形标注，等级由检验岗位判定。真正的工作量在关联标注。关联范围覆盖质量管理系统、实验室记录和经授权调阅的纸质检测报告中的工件图像、硬度、切片与淬火层深记录。关联标注的作业顺序是：先以工件标识为键建立关联候选，再由质量人员确认；纸质报告先经扫描与结构化录入后进入关联，录入过程的质量按双录比对控制，比对不一致的条目进入人工裁定。
关联标注的产出是一条「工件—外观图像—硬度指标—切片结果—淬火层深—质检结论」的复合样本。这条样本同时服务于制造过程数据集与产品质量数据集，在两个数据集中以同一工件标识和源样本标识关联，按过程事实与质量结论确定主归属并分别组织必要用途，跨集引用不重复计量同一交付单元，避免同一事实在两个数据集中出现口径不一致的两份副本。
表2-7 制造过程域图像标注的标签集与标签来源
| 图像类型 | 图像上标注的标签 | 不在图像上标注、由外部关联的标签 | 标签来源 |
|---|---|---|---|
| 熔池图像 | 熔池形态、边界清晰度、飞溅程度 | 同时刻焊接参数、本道焊缝检测结论 | 参数流对齐、无损检测报告 |
| 焊后焊道表面图像 | 表面可观察缺陷类型与位置、缺陷等级 | 内部缺陷结论、力学性能结果 | 无损检测报告、检验记录 |
| 工件外观图像（热处理后） | 烧伤、裂纹的类型、位置与等级 | 硬度指标、淬火区域均匀性、切片结果、淬火层深 | 质量管理系统、实验室记录、纸质报告数字化结果 |
#### 2.6.4 产出样本的两种形态
本域标注的产出按招标文件要求组织为两种形态：「时序片段—事件—诊断说明」与「图像—缺陷—判定」。
「时序片段—事件—诊断说明」样本的三段分别是：一段带测点与采样周期说明的时序数据、一组标注出的事件、一段以自然语言写成的诊断说明。诊断说明不是自由评论，它按固定结构撰写：现象描述、涉及测点与偏离方向、判定的故障模式与劣化阶段、根因、建议处置与检查顺序、证据等级。证据等级一栏明确本条诊断的依据强度（有维修事实闭环、有同类历史案例、仅有参数证据三档），这一字段使数据集在验证环节可以按证据等级分层评估，也使下游场景能够按证据等级决定输出的确信程度。
「图像—缺陷—判定」样本的三段分别是：图像与其采集条件说明、标注出的缺陷框与类型、判定结论与依据标准条款。采集条件说明包含相机位置、光照条件、分辨率与采集时点，这一信息在增强环节决定哪些几何与光照变换是合理的，在验证环节决定评测结果的适用范围。
### 2.7 产品质量域数据标注
检验记录覆盖来料、制程、成品及出厂等实际检验环节，标注检验项、方法、测点、实测值、单位、要求范围、原始判定结论与不合格类型。合格性结论、检验轮次和处置状态分别登记：让步接收属于处置决定，复检合格属于后续检验结果，两者均不覆盖首次检验不合格事实。返修、返工、报废及让步接收关联各自批准单据，保留处置前后状态。
自由文本缺陷描述抽取部位、形态、尺寸和发现工序，保留原文及定位。来源系统状态以实际核查结果登记，不以系统新旧替代记录可信性判断。同一工件多次检验、重复测量、报告更正与撤销分别建版本和关联关系，训练输入按任务时点选择，后续结论不得泄漏到早期预测输入。
工件外观缺陷图像按统一规范标注类型、位置与等级，产品质量域进一步核查等级判定所依据的检验条件、测量方法和标准条款。图像判定与检验报告结论出现差异时，分别检查可见范围、取样部位和报告版本，保留差异及裁定依据。
关联关系标注是本域的重点。要标注的是淬火硬度、淬火区域均匀性、切片结果与质检结论同加热功率、加热温度、淬火液流量、冷却时间等关键工艺参数之间的关联关系。这一标注的实质是建立因果候选而不是断言因果：标注员标注的是「这一质量结果对应的是这一组工艺参数」的对应关系，以及「业务专家认为本次质量异常的主导参数是哪一项」的专家判断。两者在样本中分列两个字段，前者是事实对应，后者是专家意见，不混为一谈。
表2-8 产品质量域关联标注的字段结构
| 字段 | 性质 | 取值 | 来源与判定 |
|---|---|---|---|
| 工件标识 | 事实 | 工件编号 | 质量管理系统与热处理炉次记录 |
| 工艺参数组 | 事实 | 加热功率、加热温度、淬火液温度与浓度与流量、感应器间隙、加热与冷却时间、返热温度 | 数据采集与监控系统、热处理群控系统 |
| 质量结果组 | 事实 | 淬火硬度、淬火区域位置与均匀性、切片结果、淬火层深、外观缺陷 | 检验记录、实验室记录、图像标注结果 |
| 对应关系置信度 | 事实判定 | 高／中／低 | 按对象、批次、时间、版次与源记录核验结果分级，推断关系单列为候选，不直接当作事实 |
| 主导参数判断 | 专家意见 | 参数项枚举＋无法判定 | 两名业务专家独立判定，不一致进入仲裁 |
| 判断依据 | 专家意见 | 结构化文本＋对照的历史批次编号 | 要求给出可比历史批次作为对照 |
| 质检结论 | 事实 | 原始结论及检验轮次，另列处置状态 | 检验记录及处置单据 |
对应关系置信度不足的对象进入补证和关联核验，不能直接用于需要确定对应关系的指令微调或基准评测。经审核可用于“不确定条件下补充检查”任务的，答案明确证据缺口和核查要求。置信度反映关系证据强度，质量等级反映样本适用性，二者分别记录，不能相互替代。
### 2.8 经营决策域数据标注
标注的前提是指标知识库已登记指标口径。知识库覆盖人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量九个业务域，逐项登记指标名称、描述、业务限定、维度、统计周期（日／月／季／年）、统计范围、计量单位与计算逻辑。标注时严格依据指标知识库登记的口径，不允许标注员自行定义口径——这是本域标注最容易出问题的地方，因为同一个业务说法在不同部门可能对应不同指标口径，若标注员按自己理解选择，数据集会把口径歧义固化下来。
对每个提问标注对应的指标项（引用指标知识库的指标标识符）、业务限定、统计维度、统计周期、取数逻辑与标准答案。其中取数逻辑以结构化查询意图为主，并保留可在冻结快照上复算的查询或计算实现：标注事实表、过滤条件、聚合方式、分组维度与时间范围，使样本不绑定具体的数据库实现。标准答案标注为数值加单位加口径说明三段，口径说明一栏写明本答案所依据的指标版本与数据快照时点，这一栏使答案在数据更新后仍可核验。
本域标注的一个专门处置是口径歧义提问。实际业务中大量提问本身是不精确的，例如「这个月的产值」可能指产值完成额也可能指产值计划完成率。标注规范对这类提问要求标注「需澄清」标识与澄清选项清单，并产出澄清式对话样本：第一轮为用户提问，第二轮为澄清提问，第三轮为用户选择，第四轮为答案。这类样本对决策问答场景的实用性高于强行给出单一答案的样本。
表2-9 经营决策域标注样本的四段结构与标注要求
| 段 | 内容 | 标注要求 | 质检要点 |
|---|---|---|---|
| 问题 | 自然语言提问 | 保留业务人员的真实说法，不改写为规范术语 | 提问须属九个业务域之一，跨域提问单列 |
| 指标口径 | 指标项、业务限定、统计维度、统计周期、统计范围、计量单位 | 引用指标知识库标识符与版本 | 与指标知识库逐字段核对一致 |
| 取数逻辑 | 事实表、过滤条件、聚合方式、分组维度、时间范围 | 结构化意图关联受控查询与计算实现 | 按逻辑复算答案可复现 |
| 答案 | 数值＋单位＋口径说明（指标版本与数据快照时点） | 须可按取数逻辑复算 | 抽样复算，差异超容限的退回 |
图 2-2 标注对象与证据关系
### 2.9 标注口径统一与三级校验
#### 2.9.1 三级校验的职责与判定线
三级校验的设计意图是让不同性质的问题在不同层级解决：格式与完整性问题在自检层解决，判定准确性问题在抽检层发现，判定分歧在仲裁层定案。三级的职责、方式与判定线如表 2-10。
表2-10 三级校验的职责、方式与判定线
| 层级 | 执行者 | 检查内容 | 方式 | 判定线与处置 |
|---|---|---|---|---|
| 自检 | 标注员本人 | 必填字段完整性、取值域合规性、依据指向有效性、格式规范性 | 工具内校验规则自动触发＋标注员逐条确认 | 自检未通过的样本不允许提交；自检通过率低于 95% 的标注员重新培训 |
| 抽检 | 我方质检岗 | 判定准确性、标注粒度一致性、边界情形处置是否按规范 | 按批次分层抽样，抽样比例随批次质量动态调整 | 抽检合格率低于规范给定阈值的，批次整体退回重标 |
| 仲裁 | 业务专家 | 抽检中发现的判定分歧、标注员提出的规范问题单 | 专家评议并出具仲裁意见，意见回灌标注规范 | 仲裁意见为规范修订依据；发现系统性分歧即修订规范并复核受影响范围，关键错误立即暂停作业 |
抽检比例的动态调整口径是：新任务或新标注员上岗的首两个批次按 20% 抽检；连续三个批次抽检合格率达到阈值的降至 10%；出现批次退回的回升至 20% 并连续三批；同一标注员两次导致批次退回的转入全量复核直至重新通过黄金集考核。这一调整机制使抽检工时投向质量风险高的批次。
抽检合格率阈值按标注任务的客观程度分档设定：取值域封闭且判定准则明确的任务（工序选择、检验项、指标项、工况分类）阈值设为 95%；需要专业判断但有明确准则的任务（条款类型、缺陷类型、加工特征）设为 90%；依赖专家经验的任务（风险等级、根因判定、主导参数判断、库存决策标签）设为 85%，且这类任务的「合格」判定本身以仲裁结论为准而非以单一质检员意见为准。分档的理由是：对主观性强的任务设过高的一致率阈值会迫使标注员向保守取值收敛，反而损失信息量。
#### 2.9.2 跨标注员一致性校验
每个批次抽取5%至10%的样本开展盲态重复标注，按来源、标签、难度和人员分层。新标签、关键风险类别、低频故障和新上岗人员增加重复标注范围。参与人员独立作答，不查看其他人的标注及仲裁答案。保留仲裁前的原始结果用于一致性计算，仲裁后的统一结论用于修复标签，不能把仲裁后的相同答案重新计算成作业一致率。
名义型标签计算原始一致率及扣除随机一致影响的系数，两人任务使用Cohen κ，多人任务使用适用的多人一致性指标；有序标签采用预先固定权重的加权κ。位置类先按对象身份及类别完成一对一配对，记录漏标、多标和错误配对，再计算交并比。空标对空标单独统计，不能作为高交并比样本抬高均值。工序序列同时检查强制依赖和禁用组合，序列相似度高不能抵消关键顺序错误。
表2-11 跨标注员一致性校验
| 标签类型 | 统计指标 | 作业控制要求 | 复核重点 |
|---|---|---|---|
| 名义类别 | 原始一致率及Cohen κ或适用多人指标 | 准则明确任务一致率不低于90%，κ不低于0.80 | 混淆矩阵、少数类别和证据完整性 |
| 有序等级 | 加权κ及逐档一致率 | 加权κ不低于0.75，关键高风险等级错误逐项阻断 | 权重、相邻档及跨档错误 |
| 位置区域 | 配对召回、交并比及漏标多标率 | 配对后平均交并比不低于0.85，另核查全部漏标和多标 | 细小缺陷、部分遮挡及边界规则 |
| 工序序列 | 归一化编辑距离相似度及约束符合率 | 相似度不低于0.90，强制依赖及禁止条件必须满足 | 等效合法顺序和不可交换步骤 |
| 数值与尺寸 | 单位统一后的容差符合率 | 不低于95%，关键尺寸及关键工艺值错误逐项复核 | 原值、精度、单位及测量容差 |
| 专家判断 | 意见一致率、分歧类型和证据充分性 | 必须有依据及裁定记录，未解决分歧不作为确定性标准答案 | 可接受答案集合及无法判定条件 |
上述控制要求在任务启动时写入同一版本的标注规范、工具规则和质量检查表。指标不适用的情形记录原因与替代检查方法，不将空分母计为满分。类别高度集中导致κ不稳定时，同时报告类别分布、原始一致率、各类指标及样本量，由质量负责人增加分层复核，不以删除少数类别改善分数。
黄金集由业务专家独立审核，按任务覆盖主要类别、易混淆情形和边界对象，首批按每任务50至200条组织，复杂任务按覆盖需求增加。上岗考核、作业监测和门控检查分别记录题目范围，正式基准评测题不混入作业流。泄漏或被记忆的黄金集退役后重新补充，保留历史成绩但不作为新批次有效考核依据。
#### 2.9.3 标注样本的质量记录
每条标注样本随附的质量记录包含八个字段：标注规范版本号、标注工号、标注时点、自检结论、是否被抽检与抽检结论、是否为重复标注样本及其一致性计算参与情况、是否经仲裁及仲裁意见编号、所属批次号。质量记录与标签值一并封装进样本，不单独存放，这样样本在流通或抽取子集时质量信息不会丢失。
质量记录的汇总结果构成批次质量报告，按业务域、任务、标注员三个维度统计自检通过率、抽检合格率、一致性指标、黄金集通过率与返工轮次。批次质量报告是质检环节出具门控结论的输入，也是数据集卡片中建设过程说明的来源。
### 2.10 按用途子集组织标注产出
训练侧标注结果可按不同用途组织样本，正式基准来源独立隔离。各用途子集按其样本结构和适用条件分别生产。组织方式与质量要求如表 2-12。
表2-12 四个用途子集的样本形态与组织方式
| 用途子集 | 样本形态 | 从标注结果到子集样本的组织方式 | 特有质量要求 |
|---|---|---|---|
| 预训练子集 | 长文本序列 | 标注结果中的结构化事实按模板转写为自然语言陈述，与预处理产出的长文本一并构成语料 | 去重与去噪；不引入标签泄漏到后续评测集的内容 |
| 有监督指令微调子集 | 指令—输入—响应 | 指令由任务模板生成，输入取标注对象，响应由标注标签与依据组织成自然语言回答 | 响应须包含依据而非仅结论；同一输入的多指令覆盖不同任务类型 |
| 人类偏好对齐子集 | 同一指令下的优劣回答对 | 对同一输入的两条候选回答进行独立专业判定，构成有明确差异依据的优劣对 | 优劣差异须可归因到一条明确的判定准则；不构造无意义的明显劣答 |
| 基准评测子集 | 题目＋标准答案＋判分规则 | 从通过真实来源及答案核验的独立样本中抽取，题干去除可泄漏答案的信息，标准答案取已审核签发结论，判分规则按标签类型指定 | 与训练侧样本做去重与相似度比对；标准答案须有审核签发或仲裁背书 |
如果响应只给结论（如「本条款为高风险」），模型学到的是分类能力而不是说明能力；本项目各验证场景都需要模型给出理由（选型要说明推荐理由，工艺要交出推理依据，诊断要给出证据等级）。因此标注产出转为指令样本时，解释类响应按结论、依据和适用边界组织；严格字段提取、代码或固定格式任务保持其指定结构，依据置于配套标注记录中，依据取自标注时记录的依据指向与对照标准条款。
偏好对的候选回答可来自经授权的历史记录、实际模型输出及受控生成。优答和劣答均经人工评价，不能仅凭来源认定优劣。两条回答必须对应同一指令、输入、知识时点和权限条件；差异记录为事实正确性、规则适用、依据充分性、任务完成或表达质量等明确项。证据不足的历史诊断不是天然的错误答案，合法但不同的工艺方案也不能仅因不同于历史卡片而作为劣答。难以形成稳定优劣的候选保留为平局或退回补证，不强制成对入集。
基准评测子集的样本一律取自真实业务记录，合成数据不进入该子集。判分规则按标签类型指定：名义型用精确匹配，有序型用分档匹配并对相邻档给部分分，位置型用 IoU 阈值匹配，序列型兼查合法依赖与相似度，数值型按零值与量纲选择绝对或相对误差容限，开放文本型用要点覆盖率加人工复核。每道题目的判分规则随题目一并封装，使评测结果在不同评测方之间可复现。
## 3 数据合成
### 3.1 合成需求与适用范围
合成生产围绕长尾工况、稀缺类别和历史记录中缺少的任务形态开展。生产前先统计真实样本的覆盖、质量和适用许可，形成缺口清单，明确目标数据集、用途子集、知识范围、期望数量及所需证据。能够通过补采或重新标注取得有效真实样本的，优先组织真实数据补充。需要合成的任务经专业评审后纳入批次计划，分别设置种子范围、合成方法、质量规则和占比上限。
产品选型、合同审查和库存决策合成用于扩展指令任务覆盖；工艺设计合成补充可核验的推理过程及审查任务；制造过程合成重点补充有专业依据的长尾故障描述、故障树和排障对话；制度、标准、标书与经营决策问答围绕已终审的知识及规则组织。合成产物始终标记为合成，不能作为真实发生的订单、检验、故障或生产事件使用。
### 3.2 生成配置与过程控制
每项合成任务绑定真实业务种子、有效知识版本、约束规则、提示词版本、教师模型版本和生成参数。种子使用前核查来源、许可、质量及与基准评测的隔离关系。知识引用检查终审状态、适用对象、有效期和访问权限。采用统一网关管理模型调用，模型在投入生产前完成任务能力、部署条件及许可核验；同批次固定模型和配置，变更形成新批次。
生成前确定模板中的变量、固定事实和禁止改变的条件。可变参数按实际业务允许范围抽样，联动参数共同约束，不能独立随机拼出不成立的工况。生成后先检查字段、类型、引用和规则，再进行业务复核、分布对比、重复及污染检查。低通过率任务先分析失败类型并修正种子、规则或提示词，不通过扩大采样量长期掩盖系统性错误。
涉及原始业务资料的生成作业在甲方批准的本地受控环境内执行，所有原始业务数据不得上传公网云端。提示词、检索证据、调用日志和生成缓存纳入与源数据相同的权限及留存管理。异常中断后按任务标识、配置版本和输入摘要恢复，已通过或已拒绝的输出均保留明确状态，防止重复计量。
图 3-1 合成生产与入集检查
### 3.3 供需计划域的指令样本合成
三类问答的种子与约束各不相同，分述如下。
产品选型问答以历史选型方案的标注结果为种子。标注结果已经把八类选型关键要素与六项选型结果及其对应关系标出来了，合成要做的是围绕这一组事实构造多样的提问形态：给全参数求配置、给部分参数求还需补充哪些参数、给两套配置求比较、给一套配置求校核结论、给工况变化求配置调整建议。约束来自校核公式与标准化部件库：合成的配置必须能通过整机消耗总功率与链条理论安全系数、按力与按功率两个口径的实际安全系数校核，不能通过的直接丢弃；配置中的部件必须存在于标准化库或历史方案中，不允许凭空生成型号。这一约束使合成样本不会教给模型一个物理上不成立的配置。
合同条款审查问答以标注后的合同条款为种子。合成的提问形态包括：给条款求风险判定、给条款求对照的制度依据、给合同求缺失的核心要素清单、给条款对求差异与差异方向、给审查结论求修改建议。约束来自企业合同模板与制度条款库：合成的审查结论必须指向实际存在的制度或标准条款编号，指不出的样本丢弃。此外对涉及具体当事人、金额与项目名称的内容做实体替换，替换规则在合成任务配置中固定，使合成样本不携带可识别的商业敏感信息。
库存与排产决策问答以订单、库存与排产标注样本为种子。合成的提问形态围绕物料分层、补货建议、呆滞料处置与长周期件锁定展开。约束来自物料分层规则与双重约束条件（保交付红线与资金上限）：合成的建议必须在给定约束下自洽，例如建议提前锁定的物料其占用资金不得超出当期资金上限。这一校验以规则计算实现，不依赖模型自判。
表3-1 供需计划域合成任务的种子、约束与校验
| 合成任务 | 种子来源 | 知识约束 | 规则校验项 | 产出形态 |
|---|---|---|---|---|
| 产品选型问答 | 历史选型方案标注样本 | 校核公式、标准化部件库、机型槽宽档位字典 | 功率校核、链条安全系数校核（力与功率双口径）、部件存在性 | 指令—输入—响应，响应含推荐理由 |
| 选型参数补全问答 | 同上，取「来源可信度」为不可得的要素 | 选型要素字典与必需要素清单 | 所问参数须属八类关键要素 | 多轮对话样本 |
| 合同条款审查问答 | 合同条款标注样本 | 企业合同模板、制度与标准条款库 | 依据条款编号存在性、实体替换完成性 | 指令—输入—响应，响应含依据条款 |
| 核心要素完整性问答 | 八大核心要素标注样本 | 八大核心要素定义 | 缺失项与标注结果一致 | 指令—输入—响应 |
| 库存决策问答 | 订单库存排产标注样本 | 物料分层规则、资金上限与保交付红线 | 约束自洽性规则计算 | 指令—输入—响应，响应含核算过程 |
| 呆滞料处置问答 | 呆滞料识别结果 | 可套用与可替代关系、处置方式字典 | 替代关系须存在于物料主数据 | 指令—输入—响应 |
### 3.4 产品工艺设计域的推理样本与思维链合成
工艺设计推理样本以经核验的图纸、工艺编制准则、正式工序字典及历史工艺卡片为依据。生成内容包括特征识别结果、适用规则、工序选择、前后依赖、参数计算与核校结论，保留每一步的输入和可核验证据。历史卡片作为已知方案参与对照，同时核验其版本和适用条件，不将其视为必然唯一或最优的答案。
校验分别检查依据有效性、步骤可执行性和结论一致性。工序必须位于适用的正式字典范围，顺序满足工艺依赖和禁止条件，参数满足材料、板厚、设备及工装的适用约束。生成步骤能够推出结论仍不足以证明工艺正确，专业复核还须确认引用规则能够适用于该对象。与历史卡片不同但符合约束的方案进入等效方案评审；为了凑同一结论而补写无依据步骤的样本退回。
展开长一类确定性计算在推理链中以计算步骤呈现而不以生成结果呈现：推理链写明「按经批准的材料板厚模具与展开计算规则计算展开长」，具体数值由规则引擎计算后填入，不由模型生成。这一处置避免了合成样本把错误的数值计算教给模型。
表3-2 工艺设计域合成任务与校验层次
| 合成任务 | 构造方式 | 校验层次 | 丢弃判据 |
|---|---|---|---|
| 工艺设计推理样本 | 依据图纸及适用规则形成可核验步骤，与已审卡片及等效方案对照 | 工序集合校验、顺序依赖校验、结论一致校验 | 工序越界、顺序违规、关键工序错误、约束不符或未通过等效方案评审 |
| 思维链样本 | 推理过程按「读图—识特征—定工序—排顺序—取参数—核校」六步展开 | 每步须有可核对的中间产出；数值计算由规则引擎填入 | 缺中间产出、数值由生成环节自行给出 |
| 工艺审查问答 | 以历史审查意见与修改归因记录为种子，构造「给卡片找问题」任务 | 问题须对应实际存在的审查意见类型 | 虚构审查类型 |
| 工艺借用判定问答 | 以特征组合相似的历史图纸对为种子，构造「能否借用及差异在哪」任务 | 差异清单须与特征标注差异一致 | 差异清单与标注不符 |
| 共料与排料问答 | 以共料标识与历史排料记录为种子 | 材料牌号与板厚一致性、轮廓可嵌套性 | 违反材料或几何约束 |
工艺审查意见、修改记录及其依据经确认后可作为后续合成种子。每次修改区分纠正错误、适应条件变化和优化方案，保存修改前后版本及原因，不能把所有改动一律解释成旧方案错误。已进入基准评测来源家族的材料保持隔离，不因用于审查案例便回流为训练种子。
### 3.5 制造过程域的长尾故障合成
合成的起点是分布诊断：先统计历史工单中各故障模式的出现频次，识别出哪些故障模式在本体中有定义但在工单中出现频次低于规范给定线。这些低频故障模式构成合成的目标清单。目标清单按两个维度排序：该故障模式的后果严重程度（对矿方生产影响）与其在诊断场景中的必要程度，优先合成「后果严重但样本稀缺」的故障模式。
三类产出的构造方式不同。
工单描述的构造以知识图谱中「设备—部件—故障模式—现象—原因—处置措施—备件」的关系链为约束。给定一个故障模式，从图谱中取出其关联的现象、原因、处置措施与备件，以此为骨架生成工单描述。生成的工单描述须包含现场人员会写的内容形态：现象的口语化描述、发生时的工况、已做的处置与结果。这与 4.3 节文本增强中的口语化改写是两件事——此处是从结构化知识生成口语化工单，彼处是对已有文本做风格迁移。
故障树根据已审核的失效机理、故障模式和证据构造顶事件、中间事件及底事件，明确逻辑门、成立条件、检查方法和不确定项。知识图谱中的属于、关联、发生于、处置等普通语义关系不能直接改写成因果边。每条因果连接须有适用机理、历史证据或经过审核的工程判断；专家检查路径完整性、逻辑门适用性及相互排斥条件，未确认分支保留为待检查假设。
多轮排障对话围绕故障假设及其鉴别条件组织。各轮明确已知现象、待查证据、现场反馈和下一步判断，既覆盖能够定位故障的路径，也覆盖检查不支持原假设、证据仍不足和需转交专业人员的路径。推荐检查及处置遵循批准的作业和安全规程，不把高风险操作作为未经条件核验的对话指令。最终结论与证据强度一致，不要求每段对话都以确定性根因结束。
稀缺工况的时序模拟须具备经过验证的机理或仿真依据。真实重载片段不能仅通过放大幅值或拉长时间就认定为过载、堵转或某种故障。模拟任务先定义设备结构、控制状态、负载范围、测点响应和边界条件，再利用独立真实数据检验幅值、时域频域特征及跨测点关系，由专业人员确认其适用范围。没有可靠依据的任务以补采真实数据及构建经审核的故障描述、故障树和对话样本补充覆盖，不生成伪装成实际观测的时序。
获准使用的模拟样本标记方法、参数、模型版本、验证结果和适用限制，单独统计其训练贡献。模拟输出及其增强派生内容均归入合成来源范围，不能进入基准评测子集。热处理条件变化同样不能凭参数变动直接虚构硬度、切片或质检结果，涉及质量输出时须有可信模型或试验依据，并通过独立审核。
表3-3 制造过程域合成任务与约束来源
| 合成任务 | 构造方式 | 约束来源 | 校验方式 | 元数据标识 |
|---|---|---|---|---|
| 长尾故障工单描述 | 由图谱关系链生成口语化工单 | 「设备—部件—故障模式—现象—原因—处置—备件」图谱 | 关系链存在性校验；现象与故障模式对应性校验 | 合成—规则约束 |
| 故障树 | 由经审核的失效机理及因果证据构造故障树 | 同上，加判别依据字典 | 每条因果边及逻辑门须有适用证据，普通关联关系不得替代 | 合成—规则约束 |
| 多轮排障对话 | 以故障树路径为脚本展开对话 | 故障树＋排障话术规范 | 收敛路径与故障树一致性校验 | 合成—规则约束 |
| 稀缺工况时序片段 | 经验证机理或仿真模型产生候选 | 设备物理约束、工况定义、耦合干扰模型 | 物理合理性由业务专家确认 | 合成—专家确认 |
| 热处理异常批次档案 | 按真实批次条件及有效机理模型构建候选 | 工艺程序、装炉量与规格的可调量范围 | 参数及响应关系验证通过，质量结果具备独立依据 | 合成—专家确认 |
### 3.6 制度标准与标书问答合成
这三类问答的共同特点是答案必须有出处，这决定了合成方式必须是「证据先行」而非「问题先行」。做法是：先从知识库中取出一个条款级知识单元（管理制度已以「制度条款」为最小知识单元建立索引，抽取了制度名称、编号、发布部门、生效日期、适用范围与制度层级），再围绕这一条款生成提问，使每个合成样本天然带有确定的证据来源。
提问形态按四类组织：事实查询型（这条规定是什么）、适用判定型（某情形是否适用本条）、冲突识别型（两条规定之间是否冲突、哪条优先）、程序引导型（要办某事应按哪些条款走什么流程）。后三类需要跨条款推理，构造时从条款间引用关系中取出相关条款组作为证据集。
三类问答各有专门约束。制度问答须处理失效与替代：已废止、已过有效期或被新制度替代的条款，提问中必须带时点或明确问「当前适用的规定」，答案须指向当期有效版本。标准问答须处理标准版本：同一标准的不同版本条款可能不同，答案须标明依据的标准号与版本年份。标书问答须处理资料分类：投标相关资料按投标文件模板库、设备材料、资质（安标证书、防爆证书、检验检测报告、产品合格证）与业绩（业绩合同、发票、验收单、中标通知书、技术协议）分类归集，合成的提问须落在明确的分类上，答案指向具体的资料条目。
表3-4 制度、标准与标书问答合成的提问形态与证据要求
| 提问形态 | 证据集构造 | 答案要求 | 典型校验项 |
|---|---|---|---|
| 事实查询型 | 单一条款 | 答案须为条款原文的准确转述＋出处 | 答案与条款原文语义一致性校验 |
| 适用判定型 | 单一条款＋适用范围字段 | 答案须给出判定与适用范围依据 | 判定与适用范围字段不矛盾 |
| 冲突识别型 | 条款间引用关系取出的条款组 | 答案须指出冲突点与适用及优先关系的有效依据，不单以发布日期判断优先级 | 条款组须存在引用或同主题关系 |
| 程序引导型 | 同一事项涉及的多条款序列 | 答案须给出步骤与各步依据条款 | 步骤顺序与条款规定顺序一致 |
| 版本时点型 | 同一主题的多版本条款 | 答案须标明依据版本与生效时点 | 版本信息完整性 |
| 资料定位型（标书） | 按四类分类归集的资料条目 | 答案须指向具体资料条目与所在位置 | 资料分类正确性 |
决策数据问答按照问题、指标口径、取数逻辑与答案的结构扩展表达和任务覆盖。生成配置绑定指标知识库版本，答案在对应快照上复算。新提问改变统计维度、范围或周期时同步调整取数逻辑，口径不明确时组织澄清式对话，不沿用旧答案。
### 3.7 合成校验配比与基准管理
三道校验的内容与判定如下。
规则校验在样本级执行，校验项即前述各小节列出的任务特有校验项加通用校验项。通用校验项包括：格式与字段完整性、标签取值域合规性、引用的本体类目与知识条目存在性、实体替换完成性（不残留可识别的具体当事人、项目与金额）、内容安全合规性。规则校验不通过的样本直接丢弃并记录触发的规则编号，批次级不合格率超过规范给定线的，该批次的生成策略须调整后重做。
分布比对在批次级执行，比对维度包括任务类型分布、样本长度分布、标签取值分布、业务域分布与难度分布。比对方法是计算合成批次与对应真实样本集在各维度上的分布距离，同时核对经审核的缺口补充目标。常规样本按真实分布控制，长尾补充样本按预定目标比例控制；在相同任务和类别内检查样本长度、参数范围及难度，偏离相应容限的调整生成策略后重做。这一校验解决的是合成样本容易「集中在容易生成的形态上」的问题：若不做分布比对，合成出来的样本往往长度相近、任务形态单一、标签取值集中在少数几类。
与基准评测数据的去重比对在样本级执行，方法为精确去重加近似去重两道。精确去重按内容指纹比对，近似去重按语义相似度比对，相似度超过阈值的判为命中。命中样本从合成产出中删除，并产出命中样本清单作为质检记录。这道校验的目的是防止评测污染：若合成样本与评测题目重复，验证环节得到的效果结论就不可信。
合成占比按数据集、用途子集和任务类型分别控制。配比在生产前登记，发布时以去重且质量通过的有效交付内容计算。预训练按有效Token统计，同时披露条数；指令微调按有效样本条数统计；偏好对齐按组统计，任一回答或任务内容属于合成的，该组计入合成组。合成样本再增强仍保留合成来源，不能通过转换类型规避上限。
表3-5 合成与增强占比控制
| 用途子集 | 生产控制上限 | 计量要求 | 超限处置 |
|---|---|---|---|
| 预训练 | 合成及增强来源内容合计不超过20% | 按有效Token计算并披露源样本家族数 | 调整入集清单，补足经授权真实语料 |
| 指令微调整体 | 合成来源样本不超过45% | 四个数据集分别计算，不以跨域平均冲抵 | 补充真实样本及人工标注，重新验证混比 |
| 真实样本充足任务 | 合成来源样本不超过30% | 在所属用途子集整体上限内执行 | 优先增加真实来源覆盖 |
| 推理和长尾任务 | 单任务合成来源样本不超过60% | 同时满足指令微调整体上限，独立记录真实种子数 | 停止继续扩充，调整任务配比或补采 |
| 人类偏好对齐 | 合成来源偏好组不超过50% | 人工判断优劣，组内含合成回答及其派生时计入合成 | 重构偏好来源并重新审核 |
| 基准评测 | 合成数据占比为0 | 真实业务来源独立审题，含合成来源的派生内容同样排除 | 阻断冻结，排查同源家族及影响版本 |
生产控制上限同时写入任务配置、统计程序和数据集卡片。目标配比可根据独立开发验证结果向更低比例调整，任何变更保留批准记录及对照实验。达到数量上限不意味着该比例有效，验证发现真实场景表现下降时，重新分析种子、类别、来源和难度分布。超限批次经调整及复检后重新提交，不能只在卡片中披露后继续发布。
真实分布与定向补充后的目标分布分别保存。为补足长尾而主动增加的类别占比，按已批准目标分布检验，同时比较同类样本内部的工况、参数及表达是否偏离真实可行范围。不能以“不同于原始类别比例”直接否定长尾补充，也不能以补长尾为由接受不符合业务约束的样本。
### 3.8 合成样本的溯源记录与教师模型许可登记
每条合成样本随附的溯源记录包含九个字段：种子样本标识（指向真实样本的唯一标识，可回溯到原始数据）、种子来源类型、合成任务标识、合成方法标识、生成配置及提示词版本（含任务模板、系统指令、检索模板和变量约束版本）、所用模型标识与版本、生成时点、校验结论与触发的校验项、合成批次号。溯源记录与样本一并封装，使任一条合成样本都可以回答「它是从哪条真实样本、用什么方法、在什么配置下生成的」。
模型许可登记是一份独立的台账，按模型逐项登记：模型标识与版本、接入方式、服务提供形态、许可条款中关于生成内容权属与商业使用的约定、对生成内容用于训练的限制条款、许可有效期与续期安排、登记日期与核验人。台账随数据集版本一并交付，使数据集在后续流通、挂牌与交易环节有明确的权属依据。
教师模型许可核验覆盖生成内容权属、商业使用、训练使用、再分发及许可终止后的适用条件。许可条件不能覆盖目标用途的模型不用于该任务。许可变更时根据实际条款、生成时间和约定的适用效力复核已有样本，分别决定继续使用、限定范围、补授权或撤回，不能一律将新条款追溯为全部历史样本的使用依据。
表3-6 合成样本溯源记录与模型许可登记的字段
| 台账 | 字段 | 用途 |
|---|---|---|
| 样本级溯源记录 | 种子样本标识、种子来源类型、合成任务标识、合成方法标识、生成配置与提示词版本、教师模型标识与版本、生成时点、校验结论、批次号 | 单样本可回溯；质检抽查与争议处置依据 |
| 合成批次台账 | 批次号、任务、目标覆盖缺口、生成量、丢弃量与丢弃原因分布、分布比对结论、去重命中数、入集量、负责单元 | 批次级质量分析与配比核算 |
| 模型许可登记台账 | 模型标识与版本、接入方式、生成内容权属约定、用于训练的限制条款、有效期、核验依据与核验日期 | 数据集对外发布与流通的权属依据 |
## 4 数据增强
### 4.1 增强对象与来源记录
增强在保留原样本业务语义的条件下改变表达、采样或成像形态，包括文本改写、图像变换和时序窗口处理。产生新的业务条件、故障假设或推理内容的作业按合成管理。任务先明确允许保持的标签和必须同步更新的字段，不能在变换后沿用已经失效的标签。
样本分别登记源数据性质和加工方式。源数据性质标明真实业务来源或合成来源，加工方式记录未增强或具体增强算子；一条样本可具有多个连续算子，但来源链不丢失。统计展示真实原始样本、真实来源增强样本、合成原始样本和合成来源增强样本四项，四项互斥，汇总时可重新归并为真实来源与合成来源，防止增强处理掩盖合成占比。
增强作用于训练侧及明确用途的开发验证数据，正式基准评测保持真实来源与冻结规则，不以生成改写、图像扰动或人为噪声扩充基准题量。同一源对象及派生家族始终处于同一切分范围，先切分再增强。
### 4.2 分布统计与盲区识别
分布统计是增强作业的前置条件，不做统计直接增强等于盲目扩充。统计在每个数据集版本冻结前执行一轮，在增强作业后再执行一轮，两轮结果构成增强前后的分布对比结论。
六个维度的统计口径与关注的问题如表 4-1。每个维度的统计结果给出三类结论：分布本身（各取值的样本数与占比）、与目标分布的差距（目标分布的来源见表中说明）、以及识别出的长尾类别、覆盖盲区与来源偏置清单。
表4-1 六个维度的分布统计口径与目标分布来源
| 维度 | 统计口径 | 目标分布来源 | 关注的问题 |
|---|---|---|---|
| 业务域 | 按供需计划、产品工艺设计、制造过程、产品质量四域及其子域统计样本数与 Token 数 | 四大数据集规模要求：615 亿 Token（276＋70＋105＋164）、89 万条（40＋10＋15＋24）、6.6 万组（3.2＋0.8＋1＋1.6）、0.95 万条（0.4＋0.1＋0.2＋0.25） | 域间规模是否达成；域内子域是否失衡 |
| 任务类型 | 按指令微调子集的任务模板分类统计 | 各验证场景所需的任务类型清单 | 是否存在场景需要但样本极少的任务类型 |
| 样本长度 | 按 Token 数分档统计，长上下文样本单列 | 场景实际输入长度分布（按真实项目图纸与配套资料统计） | 长样本是否过少导致长上下文能力无法训练 |
| 数据来源 | 按源系统与资料类型统计 | 源系统的数据量与业务重要性 | 来源偏置：某一系统数据过多主导分布 |
| 模态 | 按文本、图像、时序、视频统计条数与占比 | 指标要求：数据模态不低于 3 种、多模态数据条数占比不低于 40% | 多模态占比是否达成 |
| 时间 | 按样本业务发生时间分年度统计 | 指标要求：3 年内数据条数占比不低于 40% | 时效性占比是否达成；是否存在年度断档 |
长尾类别的识别标准是：某标签取值的样本数低于该标签全部取值平均样本数的规范给定比例，或低于下游任务可训练的最小样本量。覆盖盲区的识别标准是：本体中有定义、场景中有需要，但数据集中样本数为零或接近零的类目。来源偏置的识别标准是：某一来源的样本占该业务域样本的比例超过规范给定线，且该来源的数据特征与其他来源存在系统性差异。
分布分析将长尾、盲区和来源偏置分别转为生产任务。长尾类别先补充真实覆盖，再用合理增强增加表达和采样差异；没有真实样本的盲区优先补采，具备可靠知识依据后受控合成训练样本；来源偏置通过增加来源、调整采样权重和减少重复内容处理。每项任务记录原始缺口、目标范围、生产方式及预期检查指标。
### 4.3 文本样本的增强
文本增强覆盖现场描述与规范书面表述之间的差异，风格参照来自经授权的历史工单、维修记录和检验记录。转换保留原证据强度：“电机有点烫”可以整理为“现场反映电机发热”，不能在没有测量和限值依据时改写为“电机温升超限”；“有异响”不能直接改成“链条故障”。现象、测量结果、告警与诊断结论分别对应各自语义层次。
三类变换的实施方式与约束如下。
同义改写替换业务术语的同义表达。替换依据是本体的术语表与同义词别名表，不允许自由替换——矿机行业的很多用词看起来同义实则不同（如「刮板」与「铲板」是不同部件），自由替换会引入语义错误。改写后校验替换的术语对在别名表中存在，且改写后的句子中各术语之间的关系未改变。
句式变换调整表达结构而不改变语义，包括主被动转换、长句拆分、短句合并、疑问与陈述转换。对指令微调样本，句式变换主要施加在指令部分而不是响应部分：指令的多样性提升模型对不同问法的适应能力，响应的句式随意变换会影响输出格式的稳定性。
风格迁移双向组织。规范书面表述向口语表达转换时，保留事实、条件和不确定性，用于扩大现场提问覆盖；现场描述向书面记录整理时，核对信息是否完整及术语是否准确。参照语料来自经授权的工单、检验及维修记录，处理后保留来源和变化记录，不将新增专业判断混入表达转换。
表4-2 文本增强的变换类型、实施口径与校验项
| 变换类型 | 实施口径 | 施加对象 | 校验项 | 不通过处置 |
|---|---|---|---|---|
| 同义改写 | 仅按本体术语表与同义词别名表替换 | 指令与输入部分优先 | 替换对在别名表中存在；术语间关系未改变 | 单样本丢弃并记录 |
| 句式变换 | 主被动转换、长短句调整、问句陈述转换 | 指令部分为主 | 语义一致性校验；响应格式稳定性校验 | 单样本丢弃 |
| 口语化迁移（书面→口语） | 以历史工单与不合格品票的真实口语表达为风格参照 | 输入部分 | 语义一致性；不引入现实中不会出现的表达 | 单样本丢弃 |
| 书面化迁移（口语→书面） | 按企业记录规范的表述格式整理 | 输入与响应成对产出 | 关键信息无遗漏；术语规范化正确 | 单样本丢弃 |
| 长上下文构造 | 将同一项目的多份文档按真实组合方式拼接 | 长样本不足的任务 | 拼接后的文档组合在业务上真实存在 | 单样本丢弃 |
长上下文样本按真实项目、设备、合同或业务事项组合资料，保存文档清单、业务顺序、版本和引用关系。长度分层依据实际任务输入分布设定，关联文件数量按真实材料登记。核查组合后的权限交集、时点一致性和答案泄漏，避免引入无关资料或后发生的处理结论。长输入超出适用模型范围时形成有依据的切分与检索任务，不通过无关重复文本凑长度。
### 4.4 图像与时序样本的增强
图像增强的核心约束是「合理变换」四个字。几何与光照变换不是随意施加的，它必须对应真实采集条件下可能出现的差异。本项目的图像采集条件有明确的现场背景：工艺过程所需的图像采集按各场景数据要求单独布点，相机位置、光照条件与分辨率在布点时确定并记录；这意味着同一类图像的真实变化范围是可以界定的。
增强参数按对象形态、真实视角、设备布置和任务语义分别标定。工件在检验中的摆放方式和焊道相机位置以现场记录确认，不预设所有工件均不能倒置或所有相机均固定。旋转、翻转、平移、裁剪、缩放、亮度和对比度变换先逐项判断适用性，再在经批准的范围内组合。存在方向含义、文字标识、焊接路径或坐标要求的对象，变换必须同步处理相关标签；无法保持语义时禁用相应算子。
位置型标签在几何变换后必须同步变换，这是标签一致性校验的重点项。缺陷框随图像做同样的几何变换，变换后落在图像外的部分按规则裁剪，裁剪后缺陷面积损失超过规范给定比例的样本丢弃——一个只剩边角的缺陷框不构成有效样本。
表4-3 图像增强的变换配置口径
| 图像类型 | 允许的几何变换 | 允许的光照变换 | 不施加的变换及原因 | 标签同步要求 |
|---|---|---|---|---|
| 工件外观缺陷图像 | 旋转（按实际摆放变化范围）、小幅平移、裁剪、缩放 | 亮度、对比度（按车间照明实测差异范围） | 翻转先核实实际视角及标签语义，条件不满足时禁用 | 缺陷多边形同步变换；面积损失超限丢弃 |
| 焊后焊道表面图像 | 小角度旋转、小幅平移、按焊缝方向的裁剪、缩放 | 亮度、对比度（按产线照明条件） | 镜像须同步方向语义并符合实际成像条件，否则禁用 | 缺陷框与焊缝方向标签同步 |
| 熔池图像 | 小幅平移、缩放 | 亮度（按实测曝光差异） | 不做旋转与镜像：熔池形态的方位与焊接方向绑定 | 形态标签不随变换改变，须复核 |
| 工艺图纸图像（PDF 转换） | 缩放、分辨率变换 | 不做光照变换 | 不做旋转与翻转：图纸方位承载投影关系语义 | 图元位置标注同步缩放 |
时序增强按六类工况分段配置，这是招标文件明确的口径。分段配置的原因是不同工况的信号特征不同：空载段的有效信息集中在基线稳定性上，重载与过载段的有效信息集中在负载响应与波形特征上，堵转段需结合电流、转速、控制及保护动作识别。对不同工况施加同样的滑动窗口长度与噪声幅度，等于用一个口径处理性质不同的信号。
表4-4 时序增强按工况分段的配置口径
| 工况 | 滑动窗口口径 | 重采样口径 | 噪声扰动口径 | 校验要点 |
|---|---|---|---|---|
| 启停 | 以状态切换点为中心，前后各取固定长度 | 按目标采样率和事件频带校准，降采样前抗混叠 | 按测点实测噪声分布校准，核查关键事件 | 切换点不得被窗口边界切断 |
| 空载 | 长窗口、大步长，保留基线特征 | 允许降采样 | 幅度最小，避免掩盖基线漂移特征 | 基线统计量处于批准容差内 |
| 正常运输 | 中等窗口与步长 | 按信号频带与目标采样条件配置 | 按实测噪声水平 | 周期性特征在变换后保留 |
| 重载 | 中等窗口、小步长 | 不降采样，保留波形细节 | 幅度受限，不掩盖负载特征 | 负载特征在批准容差内，工况判定不变 |
| 过载 | 短窗口、小步长 | 不降采样 | 幅度最小 | 越限时刻与幅度不改变 |
| 堵转 | 短窗口，以冲击起点为锚 | 不降采样 | 不施加噪声扰动 | 冲击波形特征完整保留 |
时序增强另有一条约束：耦合干扰的处置。标注环节已对存在三机联动耦合干扰的窗口做了标记，增强时对这类窗口不施加噪声扰动——在已有干扰的信号上再叠加噪声，变换后的样本无法判定其工况标签是否仍成立。这类窗口的增强仅限于窗口切分与重采样。
### 4.5 面向模态与时效性指标的定向补充
两项指标的要求是：多模态数据条数占比不低于 40%，3 年内数据条数占比不低于 40%，另有数据模态不低于 3 种。这两项是数值指标，必须有明确的达成路径与核算口径，不能靠事后统计碰巧达成。
多模态样本须包含两种及以上实际有效模态，且模态间存在可核验的业务对应。图纸与有效技术说明、缺陷图像与有证据的文本判定、时序与相应事件诊断说明可按统一规则登记；仅增加文件名、编号、空文本或标签代码不视为新增模态。多模态计量前检查关联内容可读取、对象一致、时点适用、权限覆盖及质量通过情况，分母使用按统一粒度去重后的有效交付样本条数。
达成路径分三条：一是制造过程域与产品质量域的图像与时序样本在与有效文本、事件或其他模态正确关联后贡献多模态份额，是否计为多模态须逐条通过关联核验；二是产品工艺设计域的全链路标注样本以图纸为输入，是多模态样本的重要来源；三是增强环节对图像与时序样本的扩充直接提升多模态条数。若统计显示占比不足，优先扩充第一与第二条路径的真实样本，增强作为补充手段而非主要手段——靠增强堆高多模态占比会使数据集的实际信息量与条数不匹配。
时效性占比的达成路径与多模态不同，它无法靠增强解决：增强出来的样本其业务发生时间仍是源样本的时间。因此 3 年内数据占比的达成主要靠采集侧的定向补采——明确哪些业务域、哪些资料类型的近 3 年数据尚未纳入，提出补采清单交采集环节执行。增强内容保留源样本业务时间和家族标识；统计同时披露有效条数与独立来源家族数，对无新增有效信息的重复派生去重，不通过调整单一来源的副本数量制造时效性达标。统计结果通过源时间和派生家族回查。
表4-5 两项指标的核算口径与达成路径
| 指标 | 要求 | 核算口径 | 主要达成路径 | 增强的作用 |
|---|---|---|---|---|
| 数据模态 | 不低于 3 种 | 覆盖文本、图像、时序及招标业务要求涉及的视频，计量不少于3种有效模态 | 各域采集与预处理产出覆盖三种以上模态 | 不适用 |
| 多模态数据条数占比 | 不低于 40% | 至少两种模态实际有效且业务对应正确，空标签及文件名不计为新增模态 | 制造过程与产品质量域的图像与时序样本；工艺设计域的全链路标注样本 | 扩充图像与时序样本条数，作为补充手段 |
| 3 年内数据条数占比 | 不低于 40% | 按样本的业务发生时间计，不按入库时间计 | 采集侧定向补采近 3 年数据 | 仅对已纳入的近 3 年样本做扩充；不以增强虚增占比 |
增强前后的分布对比结论按六个维度逐项呈现：增强前分布、增强后分布、变化幅度、目标达成情况、残留的长尾类别与覆盖盲区清单。结论随数据集版本一并交付，并作为下一版本修订计划的输入。
图 4-1 增强生产与批次校验
### 4.6 增强产出的一致性校验与批次回退
两类校验的内容不同。语义一致性校验问的是「变换之后还是不是在说同一件事」，标签一致性校验问的是「变换之后原来的标签还对不对」。前者主要针对文本变换，后者主要针对图像与时序变换，但两者在各类变换上都要执行。
语义一致性的校验方法是双通道：规则通道检查关键信息要素是否完整保留（数值、单位、术语、实体、否定词、时间状语），模型通道计算变换前后的语义相似度并辅以专业抽检。自动结果均通过且人工检查满足要求后判定批次一致；规则通道不通过的直接丢弃；规则通道通过而模型通道低于阈值的逐条进入人工复核。否定词的保留是规则通道的重点项——「未发现裂纹」改写成「发现裂纹」是一个在自动改写中真实会出现的错误，且语义相似度指标对此不敏感。
标签一致性的校验方法按标签类型分别执行：位置型标签校验其是否随几何变换同步变换且变换后仍有效；名义型与有序型标签校验其在变换后是否仍成立（例如一张缺陷图像经过大幅裁剪后缺陷是否还在画面内、一段时序经过降采样后其工况特征是否还可判别）；数值型标签校验其是否需要随变换换算（例如图像缩放后以像素计的缺陷尺寸须按比例换算）。
增强批次提交前执行自动检查和自检，提交后按批准方案实施独立校验。任一规定的批次验收条件未通过，该批次整体回退，不纳入数据集版本。发现某条语义、标签或变换错误时，冻结该批次并排查同配置和同源对象范围；不能删除被抽中的错误样本后将原批次直接改判通过。修正配置、重新处理和复检后，以新修订批次提交，保留原失败结论及影响记录。
表4-6 增强产出的校验项与判定
| 校验类别 | 校验项 | 执行方式 | 判定与处置 |
|---|---|---|---|
| 语义一致性·规则通道 | 数值与单位保留、术语在别名表内、实体一致、否定词保留、时间状语保留 | 自动规则校验，逐项 | 任一项不通过即丢弃该样本 |
| 语义一致性·模型通道 | 变换前后语义相似度 | 自动计算，与阈值比较 | 低于阈值逐条人工复核；批次校验不通过整体回退 |
| 标签一致性·位置型 | 框与多边形随几何变换同步；变换后有效性；面积损失比例 | 自动校验 | 超限丢弃 |
| 标签一致性·名义与有序型 | 变换后标签是否仍成立 | 按变换类型的规则判定＋抽样人工复核 | 发现不成立样本即冻结排查，批次验收未通过整体回退 |
| 标签一致性·数值型 | 随变换的换算是否正确 | 自动复算 | 换算错误则丢弃 |
| 批次级 | 不通过样本比例 | 批次统计 | 任一规定批次验收条件未通过即整体回退，修订后重新检验 |
## 5 数据集质检
### 5.1 门控总则
质量检查在各加工环节产出后执行。检查计划预先规定适用对象、指标定义、计算分母、抽样范围、判定条件和复检方法，未经判定通过的批次保持隔离，不进入正式训练、评测或发布内容。对缺许可、关键事实错误及内容安全问题立即追溯同源与派生范围，避免错误继续向后传递。
加工链共设七道门，自上游至下游为入口门、预处理门、口径门、终审门、标注门、合成增强门、版本门。其中口径门与终审门判定的是本体版本与知识条目，详述在「数据加工生产（一）」节；对入口门、预处理门、标注门、合成增强门与版本门，各自的判定主体、输入、输出如表 5-1。各门共享质量评测使用的指标字典和缺陷分类。过程检查与独立评测分别执行，过程记录为独立核验提供依据，不替代第三方自行抽样、检验与判定。
表5-1 批次与版本质量检查点
| 门 | 位置 | 判定对象 | 主要判定项 | 输出 | 不通过处置 |
|---|---|---|---|---|---|
| 入口门 | 采集之后 | 采集批次 | 数据源登记完整性、许可凭证有效性、入口脱敏执行情况、格式规范性 | 采集环节门控结论 | 退回采集，补登记、补凭证、补脱敏；凭证不可得的批次不入集 |
| 预处理门 | 预处理之后 | 预处理批次 | 文本切分合理性、表格与公式还原完整性、时序对齐准确性、结构化文本化转换口径一致性 | 预处理环节门控结论 | 退回预处理，调整算子参数后重做 |
| 标注门 | 标注之后 | 标注批次 | 标签完整性、标签体系符合性、跨标注员一致性、黄金集通过率 | 标注环节门控结论＋低一致性样本清单 | 按清单返工重标，跟踪至复检通过 |
| 合成增强门 | 合成与增强之后 | 合成批次、增强批次 | 业务合理性、与真实样本分布偏离度、重复率、语义漂移程度 | 合成增强环节门控结论 | 调整生成或变换配置后重做；增强批次按 4.6 节整体回退 |
| 版本门 | 版本冻结前 | 数据集版本候选 | 六维度质量指标、训练与评测数据去重结果、全版本完整性 | 版本级质检报告 | 版本不冻结，按修复工单处置后重新提请 |
批次质量结论为通过或不通过，尚未取得必要证据的维持待判定状态。未通过批次生成修复工单，修复后重新自检及独立复检；需要隔离部分对象时，明确原批次不通过，按可证明的影响边界组织新候选批次并重新判定。关键来源页码、对象映射、许可或答案依据未补齐的，不以有条件通过进入正式用途。版本冻结前核查全部关联未结事项，不能以平均通过率抵消个别必要条件缺失。
### 5.2 采集批次检查
许可凭证检查覆盖来源权属、获取方式、处理用途、训练使用、对外提供、保存期限和再授权条件。缺乏有效依据的内容留在隔离范围核查，不进入训练或正式交付版本。具有用途限制的样本只进入授权覆盖的任务和发布范围，限制条件写入样本元数据并由任务调度、封装与运营供给共同执行；标记限制本身不能代替实际阻断。
数据源登记完整性检查的字段包括：源系统或资料来源标识、提供方、提供时间、数据范围描述、采集方式、授权依据、责任联系单元。外部语料的登记另加：公开渠道标识、获取时间、许可类型、许可条款摘要、是否允许商业使用、是否允许用于模型训练。
入口脱敏执行情况检查的是脱敏是否在入口执行而不是在后续环节补做。检查方式是对批次做敏感信息扫描，扫描对象包括个人身份信息、联系方式、账户信息，以及企业侧的具体客户名称与合同金额一类商业敏感信息。扫描命中的样本按脱敏规则处置后重新入门；批次级命中率超过门控线的，退回采集环节检查脱敏规则配置。
格式规范性检查的是文件格式、编码、字段类型与命名是否符合本项目的数据规范。这一项看似机械，但对后续环节影响很大：编码不一致会导致文本切分出乱码，字段类型不一致会导致时序对齐失败。
表5-2 入口门的检查项与判定口径
| 检查项 | 检查内容 | 检查方式 | 判定口径 |
|---|---|---|---|
| 数据源登记完整性 | 必填来源字段齐备；外部语料增加渠道及许可字段 | 自动校验字段非空＋人工核对内容合理性 | 必填字段缺失的样本不通过；批次缺失率超门控线则批次退回 |
| 许可凭证有效性 | 凭证存在、在有效期内、授权范围覆盖本项目用途 | 逐来源核验凭证文件 | 无有效依据不入正式用途；受限内容按授权范围隔离并落实操作控制 |
| 入口脱敏执行情况 | 个人信息、联系方式、账户信息、商业敏感信息的残留 | 自动扫描＋抽样人工复核 | 命中样本处置后重新入门；批次命中率超线则退回检查脱敏规则 |
| 格式规范性 | 文件格式、字符编码、字段类型、命名规范 | 自动校验 | 不符合的样本退回转换；批次不符合率超线则退回 |
### 5.3 预处理批次检查
这四项检查的难点是它们都不能完全自动判定，都需要抽样人工核对。因此本门的实施方式是「自动筛可疑＋人工核可疑」：自动规则先筛出疑似问题样本，人工只核这部分加一个固定比例的随机抽样，避免全量人工核对造成工期不可控。
文本切分合理性的自动筛查项包括：切分块长度异常（过短或超长）、切分点落在句子中间、章节层级缺失或跳级、同一章节被切分到不连续的块中。人工核对的重点是章节结构还原是否正确——制度文件与技术标准的条款层级若还原错误，知识库的条款级索引就会错，进而影响制度问答与标准问答的证据定位。
表格与公式还原完整性的自动筛查项包括：表格行列数与原文不符、合并单元格丢失、表头缺失、公式符号丢失或变为乱码。人工核对按表格复杂度分层抽样，跨页大表与含合并单元格的表全量核对。技术标准与质量报告中的表格承载着具体的判定限值，还原错误会直接导致后续标注与问答的答案错误。
时序对齐准确性的检查方式与前两项不同，它可以较大程度自动化：检查多测点时间戳的对齐偏差、重采样后的采样点数与时间跨度一致性、缺失补齐的补齐比例与方法记录、异常值处理的处置记录。事件锚定切分的正确性则需核对：抽样核对切分出的时间窗是否确实包含目标事件、事件时点是否落在窗口的预期位置。
结构化文本化检查逐项核对源字段与文本中的事实映射，重点检查单位、正负号、统计周期、范围条件、空值语义、金额币种和状态含义。模板版本及允许表达登记在册，合规的多种句式可以并存；判定依据是事实一致及可回查，不能简单以表述模式数量多于模板数量认定错误。数值和逻辑可计算的内容按源快照复算，发现差异时追溯字段映射、转换规则和同配置已处理范围。
表5-3 预处理门的检查项与自动筛查规则
| 检查项 | 自动筛查规则 | 人工核对范围 | 判定口径 |
|---|---|---|---|
| 文本切分合理性 | 块长异常、切分点在句中、章节层级缺失或跳级、同章节块不连续 | 筛出的可疑样本＋5% 随机抽样 | 可疑样本确认有误的比例超线则批次退回 |
| 表格与公式还原完整性 | 行列数不符、合并单元格丢失、表头缺失、公式乱码 | 跨页大表与含合并单元格的表全量；其余分层抽样 | 承载判定限值的表格有误即退回该表所在文档 |
| 时序对齐准确性 | 时间戳对齐偏差超容限、采样点数与跨度不一致、补齐与异常处置记录缺失 | 事件锚定切分抽样核对 | 对齐偏差超容限的样本退回重做 |
| 结构化文本化口径一致性 | 源字段与文本事实不符、单位及统计口径丢失 | 异常映射及抽样正常记录回查 | 事实或口径不一致即修复映射并复检受影响范围 |
### 5.4 标注批次检查
四项判定项的数据来源已在 2.9 节建立：标签完整性与标签体系符合性来自自检与抽检记录，跨标注员一致性来自重复标注样本的一致性计算，黄金集通过率来自混入作业流的隐蔽考核。本门的工作是把这四项汇总判定并产出清单。
判定口径按标注任务的客观程度分档，与 2.9.1 节的抽检阈值分档一致。各档的四项判定线如表 5-4。四项中任一项不达线即批次不通过，不做加权折算——四项分别对应四类不同性质的问题，一项不达线说明该类问题存在，用其他项的好成绩抵掉没有意义。
表5-4 标注批次的质量判定
| 任务类型 | 典型对象 | 完整性与符合性 | 专业校验 | 黄金集通过率 |
|---|---|---|---|---|
| 客观任务 | 检验项、指标项、原文明确字段 | 必填及适用字段齐备，取值和证据合法 | 按分类、数值或序列指标分别检查，抽检合格率不低于95% | 不低于95% |
| 准则任务 | 条款类型、加工特征、缺陷类型 | 标签粒度、规范版本及依据完整 | 抽检合格率不低于90%，一致性满足对应类型要求 | 不低于90% |
| 专业判断 | 风险、根因、主导参数、库存决策 | 记录判断性质、证据及适用条件 | 抽检合格率不低于85%，未决分歧不得成为确定性标签 | 不低于85% |
标签完整性与取值符合性通过自动规则全量检查，关键字段不合法的对象阻断提交。批次独立抽检同时关注自动检查遗漏，发现问题后修复样本及规则，重新检查相同配置已生产内容。黄金集和一致性指标分别计算，人工仲裁不改变原始抽检记录。已发现错误逐项整改，达到抽检阈值也不能保留已知错误进入交付。
低一致性样本清单是本门的专门输出。清单按样本列出：样本标识、所属批次、涉及的标签字段、参与标注的工号、各自的标注取值、一致性指标值、分歧类型（规范理解不一致／证据不足／本体类目缺失／标注粗心）。分歧类型的归类决定处置方式：规范理解不一致的修订规范并对同类样本重标；证据不足的转为「无法判定」并记入覆盖盲区；本体类目缺失的提交本体变更；标注粗心的退回原标注员重标并纳入其质量记录。
清单同时是下一版本修订计划的输入之一：清单中「证据不足」与「本体类目缺失」两类分歧指向的是数据与知识的缺口，不是标注作业的问题，这部分转为补采与本体完善任务。
### 5.5 合成与增强批次检查
四项判定项的检查方式与判定口径如表 5-5。合成批次与增强批次在前三项上的检查方式相同但重点不同，在第四项上的含义不同，故分列。
表5-5 合成增强门的判定项、检查方式与判定口径
| 判定项 | 对合成批次 | 对增强批次 | 判定口径 |
|---|---|---|---|
| 业务合理性 | 规则校验通过率＋业务专家抽样评议（时序类合成为专家全量确认） | 变换配置是否对应真实采集条件下可能出现的差异 | 规则校验通过率低于门控线则批次重做；专家评议不合理比例超线则重做 |
| 与真实样本分布偏离度 | 任务类型、长度、标签取值、业务域、难度五维分布距离 | 变换后分布是否符合对应目标分布 | 偏离对应目标容限则调整配置后重做 |
| 重复率 | 批次内自重复＋与既有样本重复 | 同一源样本的增强副本数是否超上限 | 自重复率超线则重做；与既有样本重复的样本删除 |
| 语义漂移程度 | 生成内容相对种子样本的语义偏离 | 变换前后语义相似度（4.6 节语义一致性校验结果） | 合成按业务规则处置；增强任一批次验收条件不通过整体回退 |
增强对同一源样本设置派生数量控制，文本每源样本最多3条、图像最多5条、时序最多4条作为首版配置上限。各轮增强共同计数，不能通过多轮处理绕过限制；是否计入交付还须通过信息有效性、去重和用途检查。训练采样同时控制源家族权重，避免少数源对象经大量派生支配训练。上限调整需有独立开发验证证据并经过批准，保存新旧配置及受影响范围。
语义漂移对合成批次的含义与对增强批次不同。对增强批次，漂移意味着变换破坏了原语义，是错误；对合成批次，一定程度的内容扩展是合成的目的，漂移的判定针对的是「生成内容是否偏离了种子样本所在的业务范围」——以工艺卡片为种子生成的推理样本若写出了备料分厂不做的工序，就是漂移。判定方式是检查生成内容引用的本体类目、工序、参数项是否全部落在种子样本所属业务域的范围内。
### 5.6 六维度质量指标的量化
保真度、完备性、规整性、均衡性、可用性和可信性六项检查与说明文档、数据质量、模型应用三维评测体系建立逐项映射。共享指标采用相同定义、统计对象和计算逻辑；不同检查目的的指标分别保留名称及适用范围，不将六项统计简单等同于三维评测得分。各项结果列出样本量、分子分母、阈值、异常清单与复核结论，指标不可计算时登记原因并处理数据缺口。
表5-6 六维度质检指标的量化口径与数据来源
| 维度 | 本项目的量化指标 | 数据来源 | 计算口径 | 过程控制要求 |
|---|---|---|---|---|
| 保真度 | 内容真实性抽检合格率；结构化文本化转换的回算一致率；图像与时序样本的采集条件记录完整率 | 预处理门与标注门抽检记录、转换日志 | 抽检合格样本数／抽检样本数 | 抽检合格率不低于98%，发现错误逐项修复 |
| 完备性 | 必填字段完整率；样本级元数据完整率；来源与许可凭证完整率；规模目标达成率 | 入口门与标注门记录、规模统计 | 各项按字段逐项统计 | 必填字段齐备；正式交付规模按四集目标分别核算 |
| 规整性 | 格式规范符合率；标签体系符合率；命名与编码规范符合率；重复率 | 入口门与标注门记录、去重结果 | 符合样本数／总样本数；重复率为重复样本数／总样本数 | 格式及标签规则必须通过；命中重复经判定后处置 |
| 均衡性 | 六维分布的基尼系数或分布距离；长尾类别数与占比；来源偏置系数；多模态占比；3 年内数据占比 | 4.2 节分布统计结果 | 按维度分别计算 | 多模态占比不低于 40%；3 年内数据占比不低于 40% |
| 可用性 | 数据字典与自描述封装完整率；解析脚本可用性；第三方平台解析通过率；验证环节的场景可用性结论 | 版本门记录、第三方解析试验、验证报告 | 解析通过的样本文件数／抽样文件数 | 正式交付清单中的文件均可按声明结构准确解析 |
| 可信性 | 标注一致性指标；黄金集通过率；专家判断型标签的分歧率；合成样本占比与溯源完整率；未闭环报警样本占比 | 标注门与合成增强门记录、溯源台账 | 按项分别统计 | 溯源必需字段完整；其余按任务指标及分档线检查 |
六维度结果按数据集、用途子集、来源及关键类别输出，形成版本质检报告。报告记录指标值、分母、抽样方法、检测程序和规则版本、人工复核结果、不合格项及整改证明，并与上一版在可比口径下比较。尚未满足发布条件的版本保留不通过状态，客观使用局限可在满足合同要求的前提下披露，不能将必须整改的问题转成局限性后放行。
图 5-1 质量检查与修复复检
### 5.7 去重比对与修复工单闭环
去重比对是数据集可信性的关键一环，它要防的是评测污染：若训练侧样本包含了评测题目或与之高度相似的内容，验证环节得出的效果结论就是虚的，第三方评测也会在复核中发现。
比对在两个时点执行。第一个时点是合成与增强产出入集前（3.7 节），防止新生成的内容撞上评测集。第二个时点是版本冻结前，对整个训练侧（预训练子集、指令微调子集、偏好对齐子集）与基准评测子集做一次全量比对，这是版本级的保障。
比对结合精确摘要、近似内容及来源家族三类证据。精确去重对原始文件字节及经声明规则规范化后的内容分别计算密码学摘要，保留规范化版本；感知哈希、语义向量、时序特征摘要均用于近似检索，不能作为字节完全相同的证明。文本检查词面及语义重叠，图像检查感知特征与裁剪变体，时序检查设备、时窗重叠及采样派生，结构化样本检查业务主键和快照关系。
来源家族比对覆盖同图不同版、同工件连续帧、同设备重叠窗口、同合同附件和派生问答。同一源家族分入训练与基准评测即触发隔离复核，不能因单条文本相似度低而放行。近似阈值按模态校准并验证漏检及误检，保存命中依据和人工处置，未命中仅说明当前方法未发现重叠，不作为绝对无污染的证明。
命中样本先区分重复事实、同源派生、答案泄漏及允许共享的通用背景，再按冻结策略处置。尚未用于训练的候选与独立基准命中时，隔离训练侧相关家族并重新检查；已经进入模型训练的数据无法通过事后删除文件消除模型记忆，需要重新训练未污染模型，或重建独立基准并对全部比较模型重测。处置不以基准样本质量等级自动决定保留侧，须核查训练使用历史、冻结时点及评测用途。
命中清单记录样本标识、源家族、所在子集、基准题标识、命中方法、分数、业务证据、训练使用情况、影响模型及处置结果。评测题目及答案仅向获授权的评测岗位开放，生产侧收到范围和整改要求，避免在污染检查过程中向生成或标注人员泄露基准内容。
修复工单是本环节与下游各环节衔接的载体。每一张不通过的门控结论生成一张或多张修复工单，工单的字段与流转如表 5-7。工单跟踪至复检通过方可关闭；复检仍不通过的二次返工，反复不通过或涉及系统性问题的升级至技术评审，评审可决定该批次不入集并转为下一版本的补采或重做任务。
表5-7 修复工单的字段与流转
| 字段 | 内容 | 用途 |
|---|---|---|
| 工单号 | 按门与批次编号 | 唯一标识 |
| 来源门控结论 | 门号、批次号、不达线判定项 | 追溯依据 |
| 问题描述 | 具体不合格项、涉及样本范围、样本清单引用 | 执行依据 |
| 工单类型 | 补登记／补凭证／补脱敏／重做预处理／重标／重合成／重增强／补采／本体变更／规范修订 | 分派依据 |
| 责任单元 | 承接执行的作业单元 | 分派 |
| 期限 | 按工单类型与批次规模设定 | 进度控制 |
| 执行记录 | 处置方式、处置范围、完成时点 | 复检依据 |
| 复检结论 | 通过／不通过／升级评审 | 关闭条件 |
| 关联版本 | 本工单影响的数据集版本 | 版本冻结前的未结事项核查 |
工单台账按数据集与版本汇总，版本冻结前核查未结工单：存在未关闭且影响本版本的工单时，该版本不冻结。这一条是版本质量的硬约束，它把前面五道门的判定结果真正变成了对发布的约束而不是记录在案的意见。
## 6 数据集验证
### 6.1 验证实验设计
质检回答的是「这批数据合不合规」，验证回答的是「这批数据有没有用」。两者不能互相替代：一个各项质检指标都达标的数据集，完全可能对模型能力没有增量——比如样本都很规整但任务形态与场景需求不匹配，或者数据集的知识早已包含在基座模型中。因此本项目把验证设为数据集版本发布的前置条件，没有验证报告的版本不发布。
验证实验按四段组织，对应四个用途子集：继续预训练实验、微调实验、偏好对齐实验、基准评测。四段不是独立的四件事，而是一条链：同一个基座模型依次经过继续预训练、微调、对齐，在固化的评测协议下对基座模型、继续预训练模型、微调模型与对齐模型执行标准化评测，从而把每一段的能力增量分离出来。这一设计直接回应招标文件要求产出「各数据集对模型能力增量的量化结论」——要量化增量，就必须有可比的前后两点。
实验设计遵循三条原则。
第一条是环境固化。选用适配矿山装备业务的开源语言模型及视觉或多模态模型作为训练验证基座，按招标规定的基准模型和评测口径执行。模型权重、分词器、视觉处理器、训练框架、超参数、随机种子、硬件及驱动配置形成完整环境清单；不能以仅提供推理接口的模型替代需要实际训练的基座。模型版本更换后建立新比较组并重测，不直接跨基座比较能力增量。
第二条是对照明确。每个实验设对照组：继续预训练实验以基座模型为对照，微调实验以继续预训练模型为对照，对齐实验以微调模型为对照。消融实验按数据集与子集设置：去掉某一数据集的样本后重跑，观察相应能力指标的变化，从而给出该数据集的增量归属。
第三条是结论可复核。训练输入清单、数据版本、切分清单、模型检查点、训练日志、评测协议、逐题输出及判分记录随验证档案保存。独立评测可复核我方记录，同时自行抽样并建立独立检查，不要求其完全沿用我方已反复调试的题目。不同平台或非确定性计算产生差异时，记录容差、重复次数及偏差原因；固化随机种子是复现条件之一，不能单独证明结果必然逐位相同。
图 6-1 分阶段训练与效果验证
### 6.2 继续预训练实验
继续预训练要回答的问题是：这 615 亿 Token 的语料，有多少变成了模型的领域知识，又有没有损害模型原有的通用能力。两项都要测，只测前者会出现一种常见结果——领域指标上去了，通用能力掉了，模型在实际场景中反而不可用。
领域知识探针按四个业务域分别组织，区分知识记忆、规则运用和跨条件泛化。探针由独立评测人员依据经确认的知识点与真实任务审定，标明与训练来源的关系；来源于同一知识库不能自动证明独立。用于开发诊断的构造探针单列为开发资源，不计入正式基准评测规模。正式基准题保持真实业务依据，排除合成内容及其派生，题干、答案和判分规则在训练前冻结并受控保管。
表6-1 四个业务域的领域知识探针构建
| 业务域 | 探针知识点来源 | 典型探针形态 | 探针题量口径 |
|---|---|---|---|
| 供需计划 | 合同条款类型与核心要素定义、选型要素与配置对应关系、物料分层规则 | 给工况问应关注哪些选型要素；给条款类型问其核心义务 | 按知识点覆盖度确定，覆盖本体该域全部一级类目 |
| 产品工艺设计 | 封闭工序集合与工序依赖关系、加工特征定义、工艺编制准则 | 给特征问对应工序；给两道工序问先后依赖 | 覆盖已确认正式工序字典及全部适用加工特征 |
| 制造过程 | 「设备—部件—故障模式—现象—原因—处置—备件」图谱、六类运行工况定义、适用焊接缺陷定义 | 给现象问可能故障模式；给缺陷类型问其典型成因 | 覆盖图谱主干关系与全部缺陷类型 |
| 产品质量 | 「工件—工艺参数—切片结果—硬度指标—质检结论」图谱、检验项字典、不合格类型 | 给质量异常问相关工艺参数；给检验项问判定依据 | 覆盖图谱主干关系与全部检验环节 |
探针结果按业务域、知识类型、来源关系及难度分层，与同一基座对照报告正确数、有效题数、置信区间和变化幅度。知识记忆结果与独立业务泛化结果分开呈现。未提升、下降或样本量不足的类别如实登记，结合训练覆盖、矛盾陈述和模型能力分析原因，不把单个指标波动直接认定为数据质量缺陷。
保留语料困惑度衡量语言建模变化，通用能力另以任务评测检验。保留语料分两部分：通用保留语料（从公开通用语料中抽取、不参与训练）与领域保留语料（从本项目各域语料中按比例留出、不参与训练）。两部分的困惑度变化含义不同：领域保留语料困惑度下降说明领域语言建模能力提升，通用保留语料困惑度上升提示语言建模可能退化，须结合通用任务结果判断。
继续预训练判定同时考察领域知识、保留语料困惑度及通用能力保持情况。任务开始前固定比较对象、最小有意义改进、允许退化范围及统计方法，不能以实验结果倒推通过阈值。实验未达要求时排查数据、训练和测量条件，按证据调整后重跑；调整及全部试验结果登记，最终冻结评测不参与超参数选择。
表6-2 继续预训练实验的判定口径与回退
| 指标 | 判定口径 | 达标处置 | 不达标处置 |
|---|---|---|---|
| 领域知识探针正确率 | 相对固定基座达到预先规定的有效提升，报告不确定性 | 结论计入验证报告 | 未提升的知识点单列，转错样归因定位语料缺口 |
| 领域保留语料困惑度 | 相对基座模型下降 | 同上 | 未下降的域单列，检查该域语料规模与质量 |
| 通用保留语料困惑度 | 上升幅度在容限内 | 同上 | 超容限则调整语料混比与训练配置后重跑；反复不达标时联合核查语料与训练配置 |
| 通用能力抽样评测 | 在通用评测题目上的表现不显著低于基座 | 同上 | 显著下降则按上条处置，并在验证报告中如实记录 |
### 6.3 指令微调实验
四个方面的评测内容、题目来源与指标如表 6-3。四项中「任务完成质量」与各验证场景的关系最直接，它测的不是通用的回答质量，而是本项目十一个验证场景所需的具体任务能不能完成。
表6-3 指令微调实验的四类评测
| 评测方面 | 评测内容 | 题目来源 | 指标 | 判分方式 |
|---|---|---|---|---|
| 指令遵循 | 是否按要求的格式、字段、口径输出；多约束指令的约束满足率 | 基准评测子集的格式约束题 | 格式合规率、约束满足率 | 规则判分 |
| 任务完成质量 | 工艺卡片工序序列生成、合同要素抽取、缺陷判定、诊断说明撰写、指标问答取数逻辑 | 基准评测子集的各场景任务题 | 按任务类型分别计：序列相似度、要素 F1、分类准确率、要点覆盖率、取数逻辑一致率 | 规则判分＋人工复核 |
| 行业问答准确性 | 制度、标准、标书、决策数据问答的答案正确性与出处正确性 | 基准评测子集的问答题 | 答案正确率、出处命中率 | 规则判分＋人工复核 |
| 长上下文理解 | 在项目级多文档输入下的信息定位与跨文档比对 | 按真实项目边界构造的长上下文题 | 定位准确率、跨文档比对正确率、不同长度区间的表现曲线 | 规则判分 |
长上下文评测需要专门设计，因为它最容易出现虚高。若评测题目的答案都集中在输入的前部，模型只要读前面就能答对，长上下文指标会显著好于实际能力。本方案的处置是按答案位置分层出题：答案位于输入前段、中段、后段与分散在多处的题目各占一定比例，分别统计表现，并给出随输入长度增长的表现曲线。这一曲线的实际用途是告诉场景侧「输入超过多长之后效果开始下降」，从而决定场景的输入切分策略。
消融实验在本段按数据集设置：分别去掉四个数据集的指令微调样本后重跑微调，观察各类任务指标的变化，产出「某数据集贡献了哪些任务能力」的归属结论。这一结论是四个数据集各自价值的直接证据，也是下一版本资源投向的依据。
出处正确性在行业问答评测中单独计分，这是本项目的一项实质要求：各通用场景都要求给出出处。只测答案正确率会漏掉一种典型失败——答案对但出处编造。因此评测要求同时判定答案与出处，两者都正确才计全分，答案正确而出处错误计部分分并在错样归因中单列。
### 6.4 偏好对齐实验与奖励模型
奖励模型按四个数据集的偏好对训练，交付规模分别为3.2万组、0.8万组、1万组和1.6万组，合计6.6万组。训练、开发验证及独立测试按源任务和回答家族隔离，报告实际参与各阶段的组数及抽样权重，不能把交付总量直接写成每次训练实际用量。偏好判别结果按差异类型、业务域及难度统计，检查模型是否只利用回答长度、措辞或来源等无关线索。
回答质量改善情况的测量方式是对齐前后的成对比较：在同一组指令上分别采集微调模型与对齐模型的输出，由业务专家做成对偏好判定，统计对齐模型胜出比例。成对比较的组织要点是盲评与随机顺序，评判人不知道哪个输出来自哪个模型。评判维度按本项目场景的实际需求设定：结论正确性、依据充分性、适用边界说明是否恰当、表述是否符合企业规范。
安全合规通过率测的是输出的内容安全与合规性，评测题目包括三类：涉及工艺参数敏感信息的提问（检验模型是否按权限边界回答）、涉及商业敏感信息的提问（检验是否泄露客户与合同信息）、以及诱导性提问（检验是否在证据不足时给出确定性结论）。第三类对本项目尤其重要：诊断与质检场景中模型在证据不足时给出确定性结论，比拒答的危害大得多。本方案要求对齐后的模型在证据不足时输出证据等级与建议的进一步检查项，这与 2.6.4 节诊断说明样本中「证据等级」字段的设计是对应的。
表6-4 偏好对齐实验的指标与判定
| 指标 | 测量方式 | 分类统计维度 | 判定口径 |
|---|---|---|---|
| 偏好判别准确率 | 留出偏好对上的判别正确率 | 按优劣差异归因类型分类 | 总体准确率与各类准确率均记录；某类显著偏低的补充该类样本 |
| 回答质量改善 | 对齐前后输出的盲评成对比较 | 按结论正确性、依据充分性、适用边界、表述规范四维 | 报告胜平负及计平局后的偏好得分，按预定统计方法和最低改善要求判定 |
| 安全合规通过率 | 三类评测题目上的通过率 | 按权限边界、商业敏感、证据不足三类 | 三类分别统计；证据不足类要求输出证据等级而非确定性结论 |
| 对齐后能力保持 | 在指令微调实验的四类评测上重测 | 同表 6-3 | 对齐不得造成任务完成质量显著下降，下降则调整对齐强度后重跑 |
对齐后能力保持这一项是必须测的：对齐训练在提升输出质量的同时可能损害任务能力，这是实践中常见的现象。把它列为判定项并给出回退（调整对齐强度后重跑），比事后发现再补救成本低得多。
### 6.5 基准评测与能力增量结论
评测协议的固化内容包括：评测题目集与版本、判分规则、推理配置（上下文长度、采样参数、是否允许多轮）、人工复核的抽样比例与复核规范、结果统计方法。协议文件随验证报告交付，第三方按此协议可复现结论。
四个模型在同一协议下评测，得到四组结果；相邻两组之差即为对应训练段的能力增量。能力维度按本项目场景需求划分为八项，与十一个验证场景的能力需求对应，如表 6-5。八项即能力雷达图的八个轴。
表6-5 能力维度划分与对应场景
| 能力维度 | 内涵 | 评测题目来源 | 对应验证场景 |
|---|---|---|---|
| 领域知识 | 矿机装备、工艺、质量、设备领域的事实性知识 | 知识探针与知识问答题 | 全部场景的共同基础 |
| 文档理解与要素抽取 | 从合同、制度、标准、报告中定位与抽取结构化要素 | 合同要素题、制度条款题 | 合同合规审查、管理制度问答、技术标准问答、标书问答 |
| 图纸与特征理解 | 从图纸特征描述中识别加工要求 | 图纸特征题、技术要求解读题 | 板材备料工艺智能设计 |
| 工艺推理 | 按准则在封闭工序集合内选择与排序，并给出依据 | 工序序列题、工艺审查题 | 板材备料工艺智能设计、产品智能选型 |
| 时序与图像判别 | 对时序片段与图像样本的工况、缺陷、异常判别 | 工况分类题、缺陷判定题 | 热处理过程智能监控、焊接过程控制智能监控、刮板输送装备健康智能诊断、智能质量检验 |
| 诊断与归因 | 由现象收敛到故障模式与根因，并给出证据等级 | 诊断说明题、根因判定题 | 刮板输送装备健康智能诊断、质量根因追溯 |
| 数值与规则计算 | 按公式与规则完成校核与核算 | 校核题、取数逻辑题、库存核算题 | 产品智能选型、库存控制智能化、决策数据问答 |
| 长上下文与跨文档 | 项目级多文档输入下的定位与比对 | 长上下文题 | 板材备料工艺智能设计、标书问答 |
能力增量按数据集与能力维度形成矩阵，分别列出阶段前后差值及受控消融结果。消融保持训练预算、基座、采样策略和评测协议可比，明确删减某子集后是否补入其他数据；规模效应、混比效应及子集内容效应分开分析。数据之间存在相互作用时，条件贡献不强行相加为总贡献，不能把单次消融差值当作唯一因果归属。
雷达图按模型绘制四条折线（基座、继续预训练、微调、对齐），八个轴为八项能力维度，直观呈现逐段提升与各维度的提升不均衡情况。雷达图随验证报告交付，图中各点的数值与评测明细一并给出，不以图代数。
### 6.6 场景可用性验证与回流修复
我方承担招标规定的场景验证服务，组织验证环境、数据输入、任务执行、过程记录、效果检查及数据修复。验证环境按批准方案与甲方既有系统和场景条件衔接，所需模型、接口、权限和测试数据在实验开始前核验。智能场景建设范围按合同界定，数据集加工质量及场景验证责任由我方统一落实。
实际业务任务的选取原则是「真实、可判、有基线」。真实指任务来自企业的日常作业而不是为评测编造；可判指任务的结果有明确的正确与否判定方式；有基线指当前人工作业的水平可测量，从而能够比较。按这三条原则，各场景的验证任务与可用性判定口径如表 6-6。各项验证执行招标要求及统一验证方案；蓝图细化方法、样本及阈值时，不降低招标明确的内容准确率、规模和质量条件。
表6-6 各验证场景的数据集可用性验证任务与判定口径
| 验证场景 | 实际业务任务 | 数据集侧可用性判定口径 | 不达预期时的定位方向 |
|---|---|---|---|
| 产品智能选型 | 取历史项目的工况参数，生成选型方案初稿 | 关键要素抽取完整；配置通过双口径安全系数校核；推荐理由指向可比历史项目 | 选型要素标注完整性、效果分级样本量、校核规则样本 |
| 板材备料工艺智能设计 | 取历史图纸，生成备料工艺卡片至可审状态 | 对全部识别通过后生成的工艺卡片及工序附图按100%内容准确率核验；检查工序、附图、计算和审核记录 | 全链路对应边完整性、特征标注覆盖度、推理样本量 |
| 库存控制智能化 | 取历史时点数据，生成补货与锁定建议 | 建议在资金与交付双约束下自洽；与专家回溯判定的一致性 | 物料分层标注、决策标签的专家一致性 |
| 热处理过程智能监控 | 取历史炉次曲线，识别偏离与给出提示 | 阶段划分正确；偏离识别与标注一致；横向比对调取同材料批次正确 | 时序标注窗口口径、异常事件标注、批次档案关联完整性 |
| 焊接过程控制智能监控 | 取历史焊道参数流与图像，生成参数差异清单 | 参数对齐正确；差异维度与方向正确；表面缺陷判定与检验结论一致 | 一件一档关联完整性、熔池与焊道图像标注量 |
| 刮板输送装备健康智能诊断 | 取历史报警时间窗，输出部件级异常判断与检查顺序 | 工况分段正确；耦合干扰识别；诊断结论的证据等级标注恰当 | 故障配对样本量、未闭环报警占比、工况标注一致性 |
| 合同合规智能审查 | 取真实合同及附件，检查解析、风险识别、依据与审查效率 | 覆盖合规、责任、交付及付款风险；依据适用；与人工审查基线比较时长 | 条款及附件完整性、八要素标签、风险规则和真实审查样本 |
| 管理制度智能问答 | 取实际咨询问题，输出答案与出处 | 答案正确且出处指向有效条款；失效条款不被引为当期依据 | 条款级索引完整性、版本与生效日期标注 |
| 技术标准智能问答 | 同上 | 答案正确且标明标准号与版本年份 | 标准元数据完整性 |
| 标书智能问答 | 取实际标书编写需求，定位可用资料 | 资料分类定位正确；引用内容与原件一致 | 投标资料四类归集完整性 |
| 决策数据智能问答 | 取实际业务提问，输出指标口径、取数逻辑与答案 | 指标口径与指标知识库一致；答案可按取数逻辑复算；口径歧义问题触发澄清 | 指标知识库口径登记、澄清式样本量 |
场景未达预期时，联合检查输入数据、模型能力、检索与接口、权限、业务规则和评测覆盖。对应基准指标正常只能说明该基准范围内未发现同类问题，不能排除场景分布与数据覆盖存在差异。通过真实失败样本回查源数据及训练覆盖，形成能够定位到数据集、子集、样本家族或配置范围的结论；涉及其他环节的原因纳入项目问题单同步处理。
### 6.7 错样归因分析与整改闭环
归因对评测错样建立可追溯案例，按数据、标注、覆盖、难度、模型及评测规则逐项排查。一个错样可以存在多个原因，分别登记主因、伴随因素、证据和置信程度，不能找到第一个疑点就终止检查。每项数据归因指向具体训练样本、源家族、规范版本或缺口范围；仅凭模型回答错误不能确定相关数据一定错误。
表6-7 错样归因的四类判别与整改方向
| 归因类别 | 判别方式 | 典型表现 | 整改方向 | 整改执行环节 |
|---|---|---|---|---|
| 脏数据 | 追溯该题目及相关训练样本，检查原始数据是否存在错误、缺损或格式问题 | 训练样本中该知识点的表述本身有误；同一事实在两处记录不一致 | 修正或剔除错误样本；追溯至采集或预处理环节修补 | 补采、重做预处理 |
| 矛盾标注 | 检查相关训练样本的标注是否自相矛盾 | 同类样本被标注为不同标签；标注与检验结论冲突 | 提交仲裁定案后重标受影响样本；必要时修订标注规范 | 重标、规范修订 |
| 覆盖盲区 | 统计相关知识点或任务类型在训练侧的样本数 | 该知识点在训练侧样本数为零或极少 | 补采真实样本；真实样本不可得的用合成补齐并标明 | 补采、合成 |
| 难度分布缺口 | 按难度分档统计该任务类型的训练样本分布 | 训练样本集中在简单档，评测错样集中在困难档 | 定向补充困难档样本；调整增强策略提升难度覆盖 | 标注、合成、增强 |
四类之外设「其他」类，用于归因不指向数据侧的错样（模型能力限制、评测题目本身有歧义、判分规则不适用）。这一类的处置是：评测题目有歧义的修订题目并记录修订，判分规则不适用的修订规则，模型能力限制的如实记录在验证报告中并说明其不属数据侧问题。设这一类的理由是避免把所有错样都归到数据侧，造成无效的整改投入。
整改任务单的结构与修复工单（5.7 节）一致，但来源与触发不同：修复工单来自质检门控，整改任务单来自验证错样归因。两者共用同一套工单流转与台账，便于统一跟踪。
修复后重新训练或加载受影响模型版本，完成针对性回归及未参与修复决策的独立验证。已暴露错题用于回归检查时明确其用途，不以这些题的改善独立证明泛化能力提升。正式评测协议、题目或标准答案必须修订时，生成新版本并对全部比较模型重新评测，保留原结果和变更原因。复评覆盖受影响能力及相邻任务，记录整改前后结果、退化情况、未解决事项和关闭依据。
### 6.8 数据集验证报告
报告与版本一一绑定，版本指纹写入报告首页，使报告与所验证的数据集内容可核对。报告的章节结构如表 6-8。报告由项目组编制，经业务专家与技术评审两道评审后出具；评审意见与处置记录作为报告附件。
表6-8 《数据集验证报告》的章节结构与内容
| 章节 | 内容 | 核验依据 |
|---|---|---|
| 一·验证对象与环境 | 数据集版本与指纹、各子集规模、基座模型与训练框架版本、超参配置、评测协议版本、硬件配置 | 固定环境与版本清单 |
| 二·继续预训练验证 | 领域知识探针结果（按域与知识点类型）、保留语料困惑度变化、通用能力保持情况、知识注入有效性结论 | 知识探针及语料切分记录 |
| 三·指令微调验证 | 指令遵循、任务完成质量、行业问答准确性、长上下文理解四类结果；按数据集的消融结论 | 逐题结果与消融配置 |
| 四·偏好对齐验证 | 偏好判别准确率（按差异类型）、回答质量改善的盲评结果、安全合规通过率、对齐后能力保持 | 人工偏好记录及安全测试 |
| 五·标准化评测与能力增量 | 四个模型的评测结果、「数据集 × 能力维度」增量矩阵、能力雷达图及其数值明细 | 模型检查点与统一协议 |
| 六·场景可用性结论 | 各验证场景的任务、结果、可用性结论；不达预期场景的定位结论 | 真实任务及专家结论 |
| 七·错样归因与整改闭环 | 错样归因统计、整改任务单清单、复评结果、闭环记录、未闭环事项 | 工单证据与复评结果 |
| 八·发布建议与使用限制 | 本版本是否建议发布、建议的适用用途、已知局限性、使用限制（许可条款限制、低可信度样本占比等） | 发布条件检查表 |
| 附件 | 评测协议文件、评测题目与判分规则、结果明细、消融实验明细、评审意见与处置记录 | 协议脚本及授权范围 |
验证报告对是否满足发布条件作出明确结论，列明适用用途、客观覆盖范围、许可限制及需要处理的问题。各项结论引用实际结果和版本记录，报告与数据集卡片中的统计及使用限制保持一致。存在阻断发布的问题时，报告保持未通过状态，修复复评后形成新结论。
## 7 数据集项目管理
### 7.1 生产项目与交付档案
我方按数据集项目管理任务、批次、版本、发布物及使用记录。生产侧形成的样本经质检和验证后组织为明确的版本，内容与卡片、字典、指纹和报告相互对应。接收方可依据封装文件确认数据范围、来源及许可，按字段定义准确解析，并核验文件完整性。
版本档案贯穿生产、发布、移交和后续更新，保留输入快照、加工配置、质量记录、验证结论、批准记录及接收凭证。使用限制在样本、封装和运营登记中保持一致，授权撤销或质量问题能够追踪到已提供的版本及实际使用范围。
### 7.2 数据集项目与生产任务的组织
组织结构是两层：四个数据集项目，每个项目下四个用途子集的生产任务，共十六个生产任务。十六个任务不是平均用力的——它们的规模、工艺路线与资源构成差别很大，分别组织的意义正在于让各任务按自己的规律推进而不互相拖累。
表7-1 四个数据集项目与十六个生产任务的组织
| 数据集项目 | 预训练子集任务 | 指令微调子集任务 | 偏好对齐子集任务 | 基准评测子集任务 |
|---|---|---|---|---|
| 供需计划数据集 | 276 亿 Token：合同与招投标文档长文本、业务数据文本化、外部行业语料 | 40 万条：选型问答、合同审查问答、库存决策问答 | 3.2 万组：审查结论优劣对、选型方案优劣对 | 0.4 万条：要素抽取题、风险判定题、核算题 |
| 产品工艺设计数据集 | 70 亿 Token：图纸技术要求与工艺卡片文本、制图标准与工艺编制准则 | 10 万条：工艺卡片生成、工艺审查、借用判定、共料排料 | 0.8 万组：工序序列优劣对、推理依据充分性对 | 0.1 万条：工序序列题、展开长计算题、特征识别题 |
| 制造过程数据集 | 105 亿 Token：设备档案与维修诊断文本、时序事件文本化描述 | 15 万条：诊断说明生成、多轮排障、工况判别、参数差异分析 | 1 万组：诊断结论优劣对、证据等级恰当性对 | 0.2 万条：工况分类题、故障模式题、诊断说明题 |
| 产品质量数据集 | 164 亿 Token：检验记录与质量报告文本、质量知识、缺陷判定依据 | 24 万条：检验项判定、缺陷分类、根因追溯问答 | 1.6 万组：判定结论优劣对、根因归因优劣对 | 0.25 万条：判定题、分类题、追溯题 |
规模口径合计为预训练 615 亿 Token、指令微调 89 万条、偏好对齐 6.6 万组、基准评测 0.95 万条，与招标文件各数据集规模要求表一致；规模统计、数据卡及发布检查采用统一计量规则，分别核对四个数据集及各用途子集。
每个生产任务建立独立的任务档案，记录八类内容：任务范围与规模目标、工艺路线（经过哪些加工环节、各环节的作业单元）、批次台账、质检门控记录、修复工单与整改任务单、进度与里程碑、资源投入记录、已知风险与处置。任务档案是项目管理的基本单位，也是版本发布时抽取建设过程说明的来源。
十六个任务的工艺路线并不相同，这是分别建立任务的直接理由。预训练子集任务的主体是采集、预处理与去重，标注环节的参与程度低；基准评测子集任务的主体是从通过真实来源及答案核验的独立样本中抽取与出题，合成与增强环节不参与；偏好对齐子集任务的特点是依赖标注与合成两个环节的配合产出成对样本。四类用途子集的生产路径如表7-2。
表7-2 数据集项目与生产任务的组织
| 用途子集 | 主要加工 | 合成增强控制 | 验证方式 |
|---|---|---|---|
| 预训练 | 采集、预处理、事实核验、去重及用途检查 | 合成及增强来源内容合计不超过20% | 继续预训练与知识注入检查 |
| 有监督指令微调 | 标注、依据组织、任务结构校验 | 合成整体不超过45%，分任务再设上限 | 微调、消融和混比实验 |
| 人类偏好对齐 | 同任务候选构建、人工评价和差异核验 | 合成来源组不超过50%，优劣由人工判定 | 奖励模型与对齐训练 |
| 基准评测 | 独立真实来源、审题、答案及规则复核 | 不使用合成或人为增强扩充题量 | 固定协议下标准化评测 |
任务之间的依赖关系在项目计划中显式管理。最关键的一条依赖是：基准评测子集的出题须在训练侧样本大规模入集之前完成并冻结，否则无法做有效的去重比对——若评测题目在训练样本入集之后才确定，出题人难免受已有样本影响，评测的独立性受损。本方案的处置是在每个版本周期内先隔离并冻结评测来源家族及评测子集，再放行训练侧样本入集，入集时逐批与已冻结的评测子集做去重比对。
### 7.3 版本组织与发布物
#### 7.3.1 版本号与版本类型
版本号采用三段式：主版本号.次版本号.修订号。主版本号变更对应数据集结构的变化（用途结构调整、标签体系的不兼容变更、模态构成的实质变化）；次版本号变更对应内容的增量（规模增加、覆盖扩展、新增业务域样本）；修订号变更对应修复（错误样本剔除、标注修正、元数据补正），不改变数据集的内容构成口径。
版本类型分三类：正式发布版本、内部里程碑版本与修复版本。凡正式对外提供的版本均产出完整发布物，包括用于修复的正式版本；内部里程碑版本用于验证实验与阶段评审，按当期完成范围保存内容、卡片和报告记录，不作为正式交付；修复版本记录增量说明并更新全部受影响发布物，凡对外提供均满足正式版本的完整发布条件。
表7-3 版本类型与发布物要求
| 版本类型 | 版本号变化 | 必备发布物 | 发布范围 | 前置条件 |
|---|---|---|---|---|
| 正式发布版本 | 主版本号或次版本号 | 数据集内容、数据集卡片、版本指纹、质检报告、验证报告，另附数据字典与自描述封装文件、资产台账条目 | 对外发布、移交运营平台 | 版本门通过；无未结修复工单与整改任务单；验证报告经评审出具 |
| 内部里程碑版本 | 次版本号带里程碑标识 | 数据集内容、版本指纹、质检报告 | 项目内部 | 标注门与合成增强门通过 |
| 修复版本 | 修订号 | 完整发布物、变更说明、受影响样本清单、复检及验证影响分析 | 与原版本一致 | 修复工单关闭，复检及必要验证通过，完整发布条件满足 |
#### 7.3.2 版本指纹
版本指纹用于核对数据内容与版本身份，由内容摘要、清单摘要和受控元数据摘要组成。文件按固定路径编码和排序计算摘要，记录摘要算法、规范化规则及执行程序版本。内容摘要覆盖数据文件，清单摘要覆盖路径、大小和逐文件摘要，元数据摘要覆盖卡片、字典及封装定义的非循环字段；指纹值自身不参与自身摘要，避免卡片或封装反复嵌入指纹形成循环依赖。根清单引用各摘要及版本标识，报告绑定其所验证的数据版本。
摘要采用与整体方案一致的国产商用密码杂凑算法，并在包内声明算法与实现。摘要校验只能验证内容与声明是否一致，权属、质量和批准状态仍需各自记录；未经认证的摘要文件不能单独证明发布来源。受控发布保存批准主体、时间、审批记录及适用的签署验证材料。
指纹的核验方式随封装文件提供：封装中包含一份核验脚本与核验说明，使用方可在本地重算并与声明值比对。核验失败说明收到的数据集与声明版本不一致，使用方可据此拒收。这一机制对数据集在交易所挂牌与接入国家数据基础设施的场景是必要的——流通链路上的任何一次转存都可能引入改动。
#### 7.3.3 数据集卡片
数据集卡片是使用方了解数据集的主要说明文件，它的完整程度直接对应质量评测指标体系中说明文档维度的各项指标。卡片的字段结构按四组组织，与评测指标的四个一级项对应。卡片按统一字段字典生成，项目管理记录提供其取值和证据。
表7-4 数据集卡片的字段结构与填写口径
| 字段组 | 字段 | 填写口径 |
|---|---|---|
| 基本信息 | 数据集名称、版本号、版本指纹、所属业务域、甲方、发布日期 | 甲方与发布主体按项目合同约定填写 |
| 基本信息 | 数据集规模 | 按用途子集分别给出：Token 数、样本条数、组数、存储空间；与规模目标的达成率 |
| 基本信息 | 格式规范 | 文件类型、字符编码、数据结构描述、字段类型定义 |
| 基本信息 | 文件结构 | 目录组织方式、文件命名规则、各目录与文件的内容说明 |
| 基本信息 | 获取渠道与技术支持 | 申请路径与流程、技术支持渠道、问题反馈方式 |
| 基本信息 | 使用便捷性 | 数据字典、解析脚本、示例代码的位置与使用说明 |
| 内容特征 | 模态类型 | 逐模态列出并给出条数与占比；多模态样本的计数口径明示 |
| 内容特征 | 数据分布 | 六维分布统计结果：业务域、任务类型、样本长度、数据来源、模态、时间 |
| 内容特征 | 标签类别 | 全部标签字段、取值域与每个取值的定义，引用本体版本 |
| 内容特征 | 样本示例 | 每个用途子集至少三个代表性样本，含元数据与质量记录 |
| 内容特征 | 局限性说明 | 覆盖不足的类目、低可信度样本占比、合成样本占比、增强样本占比、专家判断型标签分歧率、许可受限样本占比 |
| 建设过程 | 数据来源与采集方式 | 源系统与资料类型清单、采集范围与时间范围 |
| 建设过程 | 加工环节与方法 | 全流程加工实施方法摘要、所用工具链、关键参数标定过程 |
| 建设过程 | 标注组织 | 标注规范版本、标注员规模（匿名统计）、三级校验与一致性指标实测值、黄金集通过率 |
| 建设过程 | 质检与验证 | 质检报告与验证报告的引用、六维度指标值、能力增量结论摘要 |
| 建设过程 | 许可与合规 | 数据来源许可状态统计、模型许可登记摘要、脱敏与安全合规处置说明 |
| 应用说明 | 适用用途 | 建议的用途与不建议的用途（后者为责任边界说明） |
| 应用说明 | 使用限制 | 许可条款限制、权限边界、涉密与敏感处置要求 |
| 应用说明 | 已验证的应用效果 | 各验证场景的可用性结论摘要、能力维度增量 |
| 应用说明 | 版本演进与修订计划 | 本版本的变更说明、已知问题、下一版本的修订计划摘要 |
卡片中的局限性和适用用途记录经验证确认的范围，包括样本覆盖、来源分布、专业判断分歧、模态适用性和许可条件。卡片统计与发布清单同源生成，结果发生变化时同步更新卡片及相关报告，不能复用旧版统计。已知缺陷按发布条件完成整改，不能仅通过局限性说明转移处置责任。
### 7.4 数据字典与自描述封装
这一条要求的实质是「不依赖奔牛数据智能平台 也能用」。数据集的价值在于流通，而流通的前提是接收方不需要本项目的平台就能解析内容。本方案的做法是把解释数据所需的全部信息随数据一并封装，使封装包成为自解释的。
#### 7.4.1 数据字典
数据字典逐项定义数据集中出现的每一个字段，内容包括：字段标识、中文名称、英文名称、数据类型、长度或精度、单位、取值域或枚举定义、是否必填、默认值、业务含义说明、来源说明（取自哪个源系统的哪个字段，或由哪个加工环节产出）、关联关系（与其他字段或其他数据集的关联键）、引用的本体类目标识与本体版本。
数据字典按三层组织：数据集级字典（数据集通用的元数据字段与质量记录字段）、子集级字典（各用途子集特有的样本结构字段）、业务域级字典（各业务域特有的业务字段与标签字段）。三层之间的字段标识不重复，同名异义的字段在标识上区分并在说明中交代差异。
数据字典以机器可读格式与人可读格式双份提供：机器可读格式供第三方平台自动解析，人可读格式供使用方查阅。两份内容由同一份源定义生成，避免两者不一致。
表7-5 数据字典的三层组织与典型字段
| 层级 | 覆盖范围 | 典型字段 | 使用场景 |
|---|---|---|---|
| 数据集级 | 全数据集通用 | 样本标识、所属数据集与子集、业务域、来源标识、许可状态、来源性质（真实／合成）与增强方式、质量记录字段、版本标识 | 第三方平台导入时的通用解析 |
| 子集级 | 各用途子集 | 预训练：文本块、来源页码、章节层级；指令微调：指令、输入、响应、任务类型；偏好对齐：指令、优答、劣答、差异归因；基准评测：题干、标准答案、判分规则、能力维度 | 按用途加载与训练 |
| 业务域级 | 各业务域 | 供需计划：条款类型、风险等级、选型要素、库存决策标签；工艺设计：图元、特征类型、工序代码、参数项；制造过程：工况、故障模式、劣化阶段、缺陷类型；产品质量：检验项、判定结论、不合格类型 | 业务语义理解与标签使用 |
#### 7.4.2 自描述封装文件
自描述封装文件是封装包的根描述文件，它把数据集内容、元数据与数据字典绑定在一起。文件包含七个部分：数据集标识与版本关联块（摘要字段按非循环规则处理）、文件清单与目录结构说明、数据字典引用与内嵌、元数据模式定义（说明元数据字段如何组织）、样本结构模式定义（说明单条样本的结构）、解析指引（读取顺序、依赖关系、字符编码、推荐的解析方式）、校验信息（逐文件摘要与核验方式）。
封装包的目录结构按固定约定组织，使第三方在不读描述文件的情况下也能大致判断内容位置；描述文件则提供精确解析所需的全部细节。封装包另附解析脚本与示例代码，覆盖最常见的读取与加载场景，这一项直接对应质量评测指标体系中「使用便捷性」的要求。
每个正式发布版本在独立环境中执行解析验证。环境不安装本项目平台组件，仅依赖声明的通用运行条件和随包程序，验证文件可读取、结构符合字典、样本引用可解析、模态内容可加载及摘要一致。正式交付清单内文件均须通过适用检查，失败文件逐项修复并重测，同时复核同类路径、编码和结构问题。解析试验保存环境、命令、检查范围、结果及异常日志。
### 7.5 下一版本的修订计划
修订计划是把前面各环节的遗留问题变成下一版本的工作清单。它的输入有五项：质检门控产生的修复工单（含未关闭与已关闭但指向数据缺口的）、验证错样归因产生的整改任务单、低一致性样本清单中「证据不足」与「本体类目缺失」两类分歧、分布分析结论中残留的长尾类别与覆盖盲区、以及数据集卡片局限性说明中列出的各项不足。
五项输入经归并与排序后形成修订计划。排序依据三个因素：对场景可用性的影响程度（影响场景结论的优先）、规模与指标达成的影响程度（影响规模目标与多模态、时效性占比的优先）、以及实施可行性（依赖外部条件的排在后面并注明依赖）。排序结果分三档：本版本后紧接执行、下一版本周期内执行、列入储备待条件具备。
表7-6 修订计划的条目结构
| 字段 | 内容 | 说明 |
|---|---|---|
| 条目号 | 按数据集与版本编号 | 唯一标识 |
| 来源 | 修复工单号／整改任务单号／一致性清单／分布分析结论／卡片局限性项 | 可追溯 |
| 问题描述 | 具体缺口或缺陷 | 执行依据 |
| 修订类型 | 补采／重标／重新合成／重新增强／本体完善／规范修订／封装修正 | 分派依据 |
| 目标数据集与子集 | 四个数据集之一与四个用途子集之一 | 范围界定 |
| 样本范围 | 具体样本清单引用或范围条件（业务域、时间范围、标签取值、来源系统） | 工作量估算依据 |
| 预期效果 | 该条目完成后预期改善的指标或场景结论 | 验收依据 |
| 优先级档次 | 紧接执行／下一周期／储备 | 排产依据 |
| 外部依赖 | 需甲方或源系统配合的事项 | 风险提示 |
| 责任单元与期限 | 承接执行的作业单元与完成期限 | 进度控制 |
修订计划中「外部依赖」一栏需要特别说明，因为它关系到责任界定。相当一部分数据缺口的填补依赖甲方侧的配合：源系统接口的开通范围扩展、数据采集与监控系统的采集范围与采集频率扩展、工艺过程所需图像采集的布点、纸质检测报告的调阅与数字化、业务专家的时间投入。这些依赖在修订计划中逐条写明所需配合内容与期望时点，作为项目例会的议题推进；依赖未落实而导致的缺口在数据集卡片局限性说明中如实记录，不以推测数据填充。
修订计划经项目例会评审后发布，作为下一版本生产任务的输入。计划的执行情况在下一版本的质检报告与验证报告中回溯对照：逐条说明该条目是否完成、完成后的实际效果与预期的差距。这一回溯使修订计划不流于形式。
### 7.6 数据集资产台账
资产台账与前面各类台账的区别在于它的视角：批次台账、工单台账是生产视角，资产台账是资产视角——它回答的是「我们现在有哪些数据资产、每一项是什么状态、谁在用」。台账按数据集与版本两级组织，每一个正式发布版本在台账中有一条记录，内部里程碑版本在生产档案登记，正式修复版本建立独立条目并关联前版，历史条目不被覆盖。
表7-7 数据集资产台账的记录字段
| 字段组 | 字段 | 数据来源 | 更新时机 |
|---|---|---|---|
| 标识 | 数据集名称、版本号、版本指纹、发布日期、发布批准记录 | 版本发布记录 | 版本发布时 |
| 规模 | 各用途子集的 Token 数、样本条数、组数、存储空间；规模目标达成率 | 版本统计 | 版本发布时 |
| 模态构成 | 各模态条数与占比、多模态样本条数与占比、模态种类数 | 分布统计结果 | 版本发布时 |
| 时效性 | 按年度的样本条数分布、3 年内数据条数与占比 | 分布统计结果 | 版本发布时 |
| 质量 | 六维度指标值、标注一致性实测值、合成与增强占比 | 质检报告 | 版本发布时 |
| 验证 | 能力增量矩阵摘要、各场景可用性结论、验证报告编号 | 验证报告 | 版本发布时 |
| 许可状态 | 来源许可状态统计（完整授权／限制用途／限制对外发布）、模型许可登记摘要、可对外发布的样本范围 | 许可核验记录与模型许可台账 | 版本发布时；许可条款变更时更新 |
| 使用情况 | 内部使用记录（用于哪些训练与验证）、对外提供记录（提供对象、时间、范围、依据）、挂牌与上架状态 | 运营平台登记回传、项目记录 | 持续更新 |
| 演进 | 上一版本与下一版本的关联、本版本的变更说明、已知问题、修订计划引用 | 版本记录与修订计划 | 版本发布时与修订计划发布时 |
许可状态及使用情况记录版本可用范围、授权依据、对外提供对象和实际调用反馈。台账同数据集运营服务管理平台登记关联，持续反映供给、使用及撤回状态。我方在项目约定的运营服务和质保责任范围内维护相关记录，平台移交不免除后续更新、问题处置与接入实施责任。
台账的维护责任与更新节奏在项目管理制度中规定：版本发布时由项目组一次性完成该版本的全部字段录入，使用情况字段在项目期内按月更新，许可条款变更时即时更新并触发对已发布版本可用性的重新评估。
图 7-1 版本发布与运营移交
### 7.7 向数据集运营服务管理平台的移交与登记
移交的对象是完整的版本封装包加台账条目，移交的实质是把数据集从生产状态转为可运营状态。移交按四步执行，每一步有明确的交接物与确认方式，如表 7-8。
表7-8 移交与登记的步骤、交接物与确认方式
| 步骤 | 内容 | 交接物 | 确认方式 |
|---|---|---|---|
| 一·移交前核验 | 核验版本发布物齐备、未结工单清零、验证报告已出具、第三方解析试验通过 | 移交核验单 | 项目组自检后提请，经技术评审确认 |
| 二·封装包移交 | 按运营平台的接收规范提交封装包与校验信息 | 版本封装包、版本指纹声明、核验脚本 | 运营平台重算指纹比对一致 |
| 三·元数据登记 | 按运营平台的数据集登记字段提交登记信息 | 数据集卡片、数据字典、资产台账条目 | 运营平台登记成功并回传登记标识 |
| 四·接入协同与验证 | 按统一标识身份及接口要求衔接接入实施，核验数据侧与平台登记一致 | 标识登记、接口联调及接入验证记录 | 接收与验证结果归档，问题闭环 |
运营登记准备统一目录标识、统一身份登记与统一接口要求对应的信息，覆盖数据集名称、分类、摘要、关键词、业务域、更新频率、权属主体、访问方式、结构及版本关系。由我方按项目整体运营及接入方案完成数据侧准备、平台对接和接入验证，保存标识注册解析、接口联调、权限验证及接收记录，不将信息预留作为接入实施完成的替代。
移交完成后，数据集的后续演进通过修订计划与新版本发布继续：每一个新版本按同样的四步移交，运营平台按版本管理其挂牌与发布状态。已移交版本在我方侧保留完整档案（封装包、报告、台账、工单与整改记录），保留期限按合同约定；档案是后续争议处置、质量追溯与第三方复核的依据。
## 8 专项作业控制与验证细则
### 8.1 标注规范编制与试标校准
我方按合同与招投标文本、产品选型、库存与排产、图纸与工艺卡片、热处理与焊接、设备健康、质量检验、经营决策问答和用途子集组织标注规范。规范引用同一知识本体及字段字典，任务差异写在各分册的适用条件中，不复制一套名称相同但含义不同的标签体系。每个字段规定对象、粒度、单位、取值、证据、空值和边界处置，标明适用的输入资料及质量前提。
规范评审使用实际试标结果。先选取覆盖主要来源、常见类别、易混淆类别及边界条件的样本，由拟上岗人员独立标注；质量人员汇总分歧，不先公布统一答案。业务专家检查分歧来源，区分规范缺漏、证据不足、知识定义不清和作业错误，修订相应规则后组织第二轮独立试标。只有在判定条件可执行、主要分歧得到处理且检查方法能够识别典型错误后，才批准正式生产。
每份规范的示例具有源对象标识和适用标签，正例展示成立条件，反例明确错误原因。反例不编造真实企业发生的事件，构造的教学情形标记为培训材料并与交付基准隔离。用于规范讲解、黄金集考核或错误复盘的样本登记暴露范围，已暴露内容及其派生家族不再作为独立基准题。
规范变更按影响分类执行。文字澄清不改变标签含义时，更新适用说明并验证人员理解；标签取值、判定阈值、单位、来源证据或正误结论变化时，扫描历史样本并确认受影响范围。变更工单列出旧规则、新规则、转换方法、重标对象和验证要求，相关批次完成复检后才能进入新版本。历史记录保留原规范版本和原始结论，不直接覆盖。
表8-1 标注规范编制与试标校准
| 规范内容 | 编制要求 | 试标检查 | 形成记录 |
|---|---|---|---|
| 对象与粒度 | 明确文档条款、图元、区域、事件或时间窗 | 同一对象边界是否一致 | 粒度差异清单 |
| 标签及取值 | 引用本体和字典版本 | 是否存在同名异义或缺少合法取值 | 标签问题单 |
| 判定证据 | 规定原文、图面、测点及业务单据要求 | 证据不足时是否正确保留未知 | 证据复核记录 |
| 空值与边界 | 区分未知、不适用、未发生和记录缺失 | 是否用空值掩盖漏标或强行填值 | 边界案例集 |
| 质量指标 | 固定计算对象、分母、容差和检查方法 | 不同人员计算是否得到相同结果 | 指标校准记录 |
| 变更处置 | 指定生效范围及旧样本复核方法 | 能否定位同规则历史对象 | 影响分析和重标清单 |
### 8.2 合同条款及模板差异的逐项核查
合同标注以主合同、有效附件、补充协议和对应模板版本构成一个完整资料对象。接收时核对页数、签署状态、附件清单及可读性，正文引用附件但附件缺失的形成资料缺口。解析后保留原文条款位置和文档层级，跨页条款连续关联，表格内的价格、数量、付款条件及交付计划一并纳入要素提取。
八大核心要素按各自子项核查。当事人信息核对主体称谓和角色对应；标的物关联产品规格、技术协议和配置附件；数量保留单位及分批约定；质量关联验收条件、标准版本和争议检验方式；价款或报酬区分金额、币种、税费、支付节点及触发条件；履行期限地点和方式保留不同批次、交付地点及运输责任；违约责任保留触发、计算及限制条件；争议解决记录约定方式和具体条款证据。原文未明确的内容不根据模板补成已约定事实。
模板差异先完成条款对应，再识别新增、删减、修改、拆分、合并和顺序调整。编号变化不自动视为内容变更，同义表达不自动视为法律效果相同。标注人员同时检查正文与附件是否共同改变义务范围，记录差异前后的文字位置和适用角色。替换合同主体名称后重新核查角色，避免把“买方”和“卖方”义务方向颠倒。
风险结论关联经确认的规则库及其版本，按适用时点和合同类型判断。模板偏离、表达不完整及不合规分别记录；偏离模板不必然构成不合规，未发现风险也不等同于完成全部法律判断。需要专业裁定的对象由相应专家确认，数据记录保留证据、适用条件和裁定状态，供审查验证时复核。
实体替换涉及数值时保持计算和约束关系。合同金额、预付款比例、分期金额、数量与单价之间同步转换，日期替换保持履行先后与期间长度。涉及金额阈值、付款规则或风险分档的条件重新计算，不能在替换金额后沿用原风险标签。原件与脱敏派生件分别授权，受控环境中保留可核验映射。
### 8.3 图纸特征与工艺关系标注细则
二维图纸标注记录原生文件、图号、版次、比例、单位、图层、视图及坐标系。存在块引用、外部参照或重复图元时，保留实例与定义的关系。图面坐标、模型坐标和渲染像素坐标分别命名，缩放、旋转和裁剪转换保存矩阵及反向定位信息。标注区域能够回到原图，不将预览截图的坐标直接当作工程尺寸。
三维资料与二维图纸按模型标识、零件版本和视图关系关联。读取STP或STEP文件时，检查实体、面、边及单位是否正确解析；三维特征映射到二维投影视图后保留遮挡和不可见状态。无法证明对应关系的模型与图纸不合并为确定性样本。曲面、剖面和局部放大视图的对象引用分别核对，避免一项特征被重复计为多个零件特征。
尺寸标注区分设计尺寸、参考尺寸、测量值、公差和换算值。带上下偏差的尺寸同时保存名义值及偏差，孔径、圆角、坡口、粗糙度和位置公差关联实际作用对象。未标尺寸不通过屏幕比例量测补成设计值；按规则能够推导的尺寸以派生字段保存推导依据和精度。发现图面标注矛盾时进入工艺核查，不能由标注员选择看似合理的数值覆盖原文。
阵列记录实例数量、分布规律、间距、方向、中心或基准坐标，部分缺失、非等距或局部变形保留实际差异。折弯记录折弯线、方向、角度、内弯半径、材料与板厚、模具及补偿规则。展开结果由适用工艺规则计算并核对历史卡片，计算条件不齐全时不输出确定性展开长。共料及排料关系还须核对材料批次约束、纹理或轧制方向、质量等级、余量和设备能力。
“图纸—特征—工序—卡片—参数”关系允许一对多和多对多。一个工序处理多个特征、一个特征需要多道工序时，各关系边分别记录作用类型和先后条件；公共准备工序不能强行归给单一特征。卡片行号变化时以稳定工序实例标识维持引用，历史行号作为定位字段保留。关系复核从特征向卡片和从卡片向特征双向抽查，查找无支撑工序、遗漏特征和重复关系。
### 8.4 时序事件及维修事实回填
时序任务接收测点字典、单位、采样方式、时钟校正信息和设备运行记录。事件时间、记录生成时间、数据接收时间及维修确认时间分别保存。按事件划分窗口前检查设备、测点配置、时钟漂移及停机区段，跨设备、跨维修换件或跨控制程序变化的时窗不能直接连成同一稳定过程。
运行工况按启停、空载、正常运输、重载、过载、堵转组织，结合转速、电流、控制命令、输送状态和现场记录确认。工况标签与故障标签分别管理，过载可能由生产负荷造成，堵转可能涉及多种原因，不能仅凭状态名称直接给出具体部件损坏结论。多工况窗口保留各段起止时间及过渡状态，模型需要单标签时按任务规则重切分，不能任意选择主标签。
维修回填在既有工单流程中记录，平台预填设备、报警、时段和候选故障，实际经手人员确认检查结果、处置措施、替换部件及处理后状态。回填明确“检查发现”“疑似原因”“已验证根因”和“未确认”各状态，空白回填不等于无故障。备件出库记录仅作为辅助线索，实际安装及更换原因需由维修记录确认。
故障证据在事件结束后形成时，以后验标签绑定到原事件，但训练输入仍保持任务决策时点可见的数据。用于故障预测的样本不包含维修结论、后续停机时长、最终更换件或事后新增的描述。预测窗口、观察窗口和标签确认窗口分别登记，靠近切分边界的重叠窗口纳入同源隔离，防止相邻时段进入训练与测试两侧。
表8-2 时序事件及维修事实回填
| 记录对象 | 必需内容 | 质量检查 | 缺失处置 |
|---|---|---|---|
| 事件主记录 | 设备、时段、工况、报警及源数据引用 | 时间及对象一致 | 隔离核查 |
| 检查事实 | 检查项目、观测结果、时间和人员工号 | 事实与推断分开 | 保留未确认，不补造结论 |
| 维修措施 | 操作项目、部件、工单及完成时间 | 与实际执行凭据对应 | 回填核实 |
| 根因证据 | 机理依据、复验或处理后验证 | 证据能够支撑结论范围 | 作为假设保留 |
| 后续反馈 | 是否复发、运行恢复及观察期限 | 反馈时间真实且未超出观察范围 | 标记观察不足 |
| 标签修订 | 原值、新值、依据和影响样本 | 旧值保留，新版复核 | 暂停相关确定性用途 |
### 8.5 图像视频与检验结论关联
图像和视频样本保存工件、焊道、工序、相机、采集时间、曝光与分辨率信息。视频抽帧按时间戳索引，变帧率视频使用实际显示时间，不能简单用帧号除以名义帧率定位事件。连续帧保持源视频及片段家族，同一事件相邻帧不跨训练与评测切分，重复或几乎相同的帧不作为独立新增信息重复计量。
缺陷区域标注先确认可见对象和缺陷边界。反光、遮挡、污物、毛刺及加工纹理与真实缺陷分开标记；质量不足以判别的图像进入重采或无法判定状态。细裂纹保留线型及必要宽度信息，面积类缺陷按可见范围标注。多个相邻缺陷是否合并取决于规范定义，不能为提高交并比随意扩大框或将多个对象包在一个大框中。
像素尺寸与物理尺寸分别记录。物理尺寸须具备相机标定、比例尺或其他有效换算条件，图像缩放后保留转换关系。缺少标定时仅提供像素位置和相对形态，不给出无依据的毫米级缺陷尺寸。图像压缩、曝光调整与锐化等处理保留版本，不能把增强形成的边缘当成原始缺陷证据。
无损检测、硬度、切片和淬火层深结果按工件及检测部位关联。破坏性取样记录取样位置、样块编号及与母件的关系，某一切片结果不能无条件扩展为整件或整炉所有工件的结果。复检、更正和报告撤回形成独立状态，旧报告不继续作为当前正式标签来源。质量关联与参数关联分别核验，只有证据覆盖的范围才建立对应。
### 8.6 经营决策问答的快照与计算检查
经营决策任务围绕九个业务域及统一指标体系组织。每条问题记录提出时点、用户可见范围、指标版本、业务限定、统计维度、周期和比较基期；省略条件从明确的对话上下文继承，并记录继承来源。跨轮发生主体、时间或范围变化时重新检查条件，不能将上一轮的隐含过滤条件继续错误沿用。
标准答案在冻结数据快照上复算。快照登记源系统批次、更新截止、币种及汇率口径、组织范围、已作废记录排除规则和缺失处理方式。汇总前检查多表关联是否造成一对多重复，区分事件日期与入账日期，库存时点量与期间累计量不得混算。百分比、增长率和占比保存分子分母，基期为零或缺失时执行规定的特殊处理，不直接产生无意义数值。
答案不仅核对最终数字，还核对过滤、聚合、单位和比较范围。相同结果可能由错误查询偶然得到，检查人员抽取边界记录及反例复算，确认逻辑与指标定义一致。数值容差按数据精度及业务舍入规则确定，禁止为了通过检查扩大容差。涉及权限的题目采用不同授权身份执行，验证无权访问时是否正确拒绝，以及统计聚合是否泄露被限制的明细。
经营异常归因标签保留事实分解与原因判断的区别。按产品、客户、组织或周期分解能够说明贡献变化，但不能直接证明业务因果；需要专家判断的原因附证据、适用条件和不确定性。合成问答改动数字或条件后重新执行计算和业务规则，不能只改问句而沿用旧答案。
### 8.7 偏好对及人工评价组织
偏好生产先制定评价维度及优先顺序。事实和业务约束正确、证据有效、任务完成、权限合规属于实质维度；表达清楚和结构合理作为补充维度。不同长度、语气或措辞不单独决定优劣。含有关键事实错误或越权披露的回答，不能因文字流畅而被选为优答。
评价者在盲态条件下看到同一输入和两条候选回答，展示位置随机，模型名称及生成来源隐藏。每次判断记录胜出侧、差异类型、证据位置、置信程度和必要说明。随机交换候选顺序复核一部分样本，监测位置偏好；检查长度差异与选择结果的关联，识别非业务偏好。评价者的可靠性通过独立审核样本和交叉复核衡量，发现异常时重新培训并复查相应批次。
两条回答均正确但方案不同的，依据任务明确的评价目标判断；缺乏充分差异依据时标记平局并退出二元偏好交付清单。两条均不合格的，重新组织候选，不能把较少错误的一条直接认定为合格优答。需要保留相对质量对照的研究样本单独标识，其使用范围与正式偏好训练要求一致后才可纳入。
偏好数据与奖励模型训练按源指令、输入及回答家族切分，不能仅打乱回答顺序制造测试样本。训练后检查奖励得分是否被长度、固定套话、引用数量等特征操纵，使用事实一致但表达不同的成对样本复核。对齐模型评估保留对齐前模型为固定对照，人工盲评统计胜、平、负和有效评价数，并报告不同业务域的结果。
### 8.8 抽样设计及质量结论复核
批次抽检先确定总体清单，再按业务域、来源、标签、难度、人员和时间分层。抽样配置保存总体摘要、随机种子、各层样本量、纳入概率及补充定向样本范围。质量人员直接从冻结清单抽取，作业人员不能替换难样本、删除已发现错误或先筛选“可展示”的样本。
比例抽检与最小样本量共同控制。首批或高风险批次采用较高抽检比例，并检查每个必要分层是否有足够样本；小批次按需要全检，极少数类单独增加核验。估计比例所需样本量根据期望精度和置信水平确定，可采用n₀＝z²p（1－p）／e²估算初始数量，再按有限总体N修正为n＝Nn₀／（N＋n₀－1），结果向上取整并与风险要求取较高者。样本存在同源相关时，按家族抽样或增加样本，不把连续视频帧当作独立随机观测。
自动筛出的可疑样本与随机抽样结果分别报告。定向样本能够发现高风险错误，但其错误率不能未经加权直接代表总体；总体指标依据概率抽样及其权重计算，同时单列定向检查命中量。抽样中发现关键错误立即阻断并扩大检查，不能等总体合格率计算后再决定是否处理。
抽检结论保存分子、分母、置信区间和各层明细。未检不计为合格，无法判定不计为正确；按预定规则将其计入失败或单列并触发补证，处理规则在检查前固定。一个样本存在多处错误时，分别统计样本不合格率和缺陷项数，避免两个口径混用。复检保留原抽检结果，新一轮结果另行登记，不覆盖失败记录。
### 8.9 缺陷分级与影响范围追踪
缺陷严重程度分高、中、低，原因类别按采集、解析、标注、加工、治理等统一字典登记。严重程度决定阻断及处置优先级，原因类别决定修复岗位，两者独立。缺陷记录还可关联脏数据、矛盾标注、覆盖盲区和难度分布缺口等模型验证归因，避免同一问题在质检与验证台账中重复建单或丢失关联。
高风险缺陷包括招标要求清零的涉政、色情、暴恐、涉密和未脱敏隐私等问题，结合业务用途核实后执行隔离、阻断、追踪和复检。自动检出的高危样本全部人工复核，误报保留排除依据，确认缺陷立即检查同源对象和派生内容。中低风险缺陷按标准修正标签、补齐样本、剔除重复及更新说明，涉及关键工艺或重要业务判断的错误同时评估其实际后果，不能仅凭字段类型认定为低风险。
影响追踪从源对象、加工配置、标签规范、知识条目、提示词、教师模型和数据版本多个入口查询。某条规则有误时，不只修复最先发现的样本，还检查所有使用该规则的批次及后续训练模型；某来源授权撤销时，检查原件、切片、向量、缓存、派生样本及外发记录。每个影响对象有处置状态和复核记录，无法确定范围时先扩大隔离，待证据明确后缩小。
表8-3 缺陷分级与影响范围追踪
| 缺陷信息 | 登记内容 | 处置用途 |
|---|---|---|
| 问题身份 | 工单号、发现阶段、对象及版本 | 避免重复登记并支持追溯 |
| 分级与原因 | 严重程度、原因类别、判断依据 | 确定优先级与责任岗位 |
| 影响范围 | 样本、批次、派生家族、模型和发布对象 | 组织隔离及修复 |
| 执行证据 | 修改前后内容、规则变更、执行日志 | 复检核查 |
| 复检结论 | 方法、范围、结果、人员和时间 | 判断能否关闭 |
| 发布处置 | 继续隔离、恢复使用、撤回或替代版本 | 控制后续使用 |
### 8.10 训练实验与资源记录
每次训练建立实验单，记录数据集及子集版本、样本清单摘要、切分策略、分词器或模态处理器、基座权重、训练目标、采样配比、超参数、硬件及软件环境。不同业务域的样本量和Token量分别核算，继续预训练记录实际消费Token、重复轮次及混合权重，不能以交付规模代替实际训练消耗。
继续预训练采用适用开源模型实施，保存损失曲线、学习率、吞吐、异常、检查点和中间评测。保留语料在切分后独立封存，同一分词器、上下文处理、截断与损失掩膜下比较困惑度；不同分词器得到的数值不直接比较。图像、视频及时间序列使用适配的表示和模型通道，文本困惑度不代替多模态理解效果。
指令微调实施基础实验、子集消融和混合配比实验。训练方法可采用全参数或适用的高效微调，记录冻结及训练参数范围、适配器配置和合并方式。不同方法比较时保持评测协议一致，同时报告算力和训练步数差异。多轮样本检查角色顺序、监督范围、历史上下文和答案位置，禁止将不应预测的输入或工具日志错误作为监督答案。
偏好验证包含行业奖励模型训练及对齐训练，分别记录训练目标、候选采样、奖励评估、参考模型约束和检查点。检测异常奖励增长与实际回答质量下降的情况，人工抽查关键业务输出。训练中止、恢复及检查点选择保留日志，检查点仅依据独立开发验证确定；正式基准不参与选择最优轮次。
训练任务执行资源配额与恢复检查。异常中断后核对检查点、优化状态、数据游标和随机状态，恢复运行记录已消费样本及重复处理范围。不可恢复的任务保留失败记录并重新建实验，不将不同运行的部分指标拼成一份完整结果。实验结论同时报告失败及排除的运行，排除理由在结果分析中可追溯。
图 8-1 来源家族与用途隔离
### 8.11 固化评测与统计比较
评测协议固定任务定义、输入输出结构、知识及权限条件、模型调用参数、超时重试、判分方法、人工复核和统计口径。模型拒答、输出格式错误、调用失败和超时分别记录。服务暂时失败可按统一规则重试，重试次数和最终结果留痕，不仅保留成功调用；模型自身未完成任务不能通过重试筛选最优回答掩盖。
多模态评测核对模型实际收到的输入，包括图像尺寸、裁剪、帧采样、时序长度、单位及缺失掩膜。纯文本模型只能接受文本条件时，其结果标为文本条件任务，不与直接观察图像或时序的结果混成同一指标。不同模型具有不同上下文上限时，明确采用共同输入范围或分层比较，输入不相同时不作无条件优劣结论。
自动判分采用适合任务的规则：字段提取核对规范化前后的值及单位，实体抽取同时报告精确率和召回率，类别判定报告混淆矩阵及少数类结果，位置判定兼查配对、漏标与交并比，数值判定依据固定容差，工艺方案判定检查强制约束及等效合法解。开放文本使用明确要点和错误扣分规则，人工复核样本覆盖低分、高分、规则争议和关键业务题。
模型辅助判分仅作为可复核工具，记录判分模型、提示词和版本，检查位置偏好、长度偏好及对模型来源的偏好。标准答案、业务规则与人工裁定具有明确证据优先关系，不能由自动裁判自行修改。对判分一致性不足的题型增加人工复核并修订规则，规则变更后的全部比较结果按新协议重算。
能力比较使用同一题目上的配对结果，报告有效题数、平均值、差值、置信区间和业务意义。多次随机运行保留离散程度，同源样本相关时按家族进行重采样或分层统计。多项能力同时比较时，提前指定主要指标及辅助指标，避免事后只挑改善最大的指标。小样本或高方差情况下结论明确保留不确定性，不将微小分差写成稳定提升。
能力雷达图各轴使用固定定义、方向和归一化区间，四阶段模型共用同一尺度。原始指标值与归一化值一并交付，缺测项目保留缺测状态，不填零或平均值伪装完整结果。图示呈现实际提升、持平或下降，正文结论由逐项数据支持。
### 8.12 版本计量与发布核对
版本计量从冻结清单执行，分别统计四个数据集和十六个用途任务。预训练计量声明分词器及版本、规范化方式、有效文本范围、特殊符号和重复内容处置规则；不能通过选择不同分词器任意扩大Token量。图片文件字节数、视频帧数和时序点数保留各自计量单位，不未经统一规则直接折算为文本Token抵充规模。
指令微调以具备完整指令、输入及有效响应的样本条数统计，多轮会话的计数粒度固定；拆分单条会话时核查每条是否构成独立有效任务。偏好按完整优劣对统计，同一对交换顺序不形成新增组。基准按独立题目及其答案、判分规则统计，重复问法及相同来源家族按统一去重规则核算。
正式计量先检查许可和质量，再检查重复及用途，最后核对规模、模态和时效性。缺失关键附件、无法加载模态、撤回知识、未通过复检及未验证批次从正式清单排除，同时计算需要补足的数量。四域及各子集分别达到约定规模，不能用某一数据集超额抵消另一数据集不足，也不能用预训练Token抵消监督样本条数不足。
近3年统计固定版本截止日和时间区间，记录样本真实形成时间的来源及置信状态。业务时间未知的对象不直接计入近3年分子，补证后再更新统计。含多个模态和多个业务事件的样本按统一规定选择其任务对应业务时间，不能挑选最晚文件修改时间。保留年度分布和源家族分布，检查少量近期样本大量派生带来的比例失真。
### 8.13 封装解析及发布一致性
自描述封装包含数据内容、元数据与卡片、数据字典、质量验证报告、校验清单及使用程序等组成部分。每一组成部分有路径、版本、用途和权限声明。文件相对路径能够在独立环境解析，不依赖本机绝对路径、平台内部地址或临时下载链接；二进制资源与文本样本的引用逐项对账。
机器可读结构规定字段类型、必填条件、枚举、单位、字符编码及时间格式，复合样本说明对象关系和外键约束。空值、零值、空数组、未知和不适用分别定义，接收程序不能自行混同。压缩包内容与清单保持一致，重复路径、大小写冲突、越出包目录的引用或缺失资源均阻断发布。
解析验证分文件、记录和业务语义三个层次。文件层检查存在、大小和摘要；记录层检查编码、结构和字段约束；业务层抽查单位、标签含义、时间、来源及跨模态对应。读取成功不等于业务解析正确，抽样加载后还须复算代表性结果并回查原始证据。解析日志按检查范围保存，失败对象修复后重跑相应范围及关联回归检查。
正式发布采用先准备后切换的方式。数据包、卡片、报告和运营登记在候选区域对齐，检查通过后统一生效，避免使用方先取得新版卡片却仍读取旧数据。发布失败保留旧版有效供给及新候选状态，恢复时核查各组件版本，不留下半完成的发布记录。修复版本同样执行完整条件，历史版按授权和保留要求管理。
### 8.14 质量问题回流与持续使用检查
运营反馈关联数据集版本、样本标识、使用场景、问题描述及复现证据。收到问题后先核查使用方式、权限和输入条件，再判断数据、模型、接口、检索或业务规则原因。问题涉及数据源或加工配置时，沿血缘追踪影响范围并生成修复任务，相关版本在影响明确前采取限制或暂停供给措施。
修订计划同时列出整改类型、源范围、目标子集、预计数量、检查方式和验证要求。补采任务说明所需真实业务时间与模态，重标任务说明规范和证据变化，重合成任务绑定修正后的种子与提示词，重新增强任务说明算子和参数变化。任务关闭以结果和复检证明为依据，不能以“已经分派”或“已经提交新版”代替解决。
撤回处置追踪已经移交及实际提供范围，核对运营目录、缓存、下载包、检索索引和受影响模型记录。数据内容可删除或替换时保留必要的处置凭证，训练模型已使用的问题按影响评估决定重训、验证或使用限制。新版本发布后通知获授权的接收渠道完成版本更新，回收处置记录进入项目档案。
## 9 实施组织进度与成果验收
### 9.1 岗位安排与作业能力核验
我方设置规范与知识、标注生产、合成增强、质量检验、训练验证、专业评审和版本管理岗位。岗位职责落实到任务、批次及记录，专业判断由具备对应选型、工艺、热处理、焊接、设备或质量业务能力的人员承担。项目负责人统筹进度与资源，质量负责人独立组织质量放行，关键分歧由专业评审处理。
标注人员上岗前完成规范培训、工具操作、数据安全及试标考核。考核覆盖正常样本、边界样本、证据不足样本和容易混淆的类别，记录错误分布及改进情况。考核未通过者不得独立提交正式批次，复训后重新评价。人员变更时交接任务范围、规范版本、未结问题及权限，离岗账户及时回收。
生产能力以试点实测为依据核算。分别记录每类样本的作业时长、复核时长、返工比例、生成通过率及训练资源消耗，按净合格产出测算所需人力和周期。难样本和长尾类别单列工时，不能用简单文本样本的平均速度推算复杂图纸或诊断任务。资源增加优先补充瓶颈岗位，同时保持复核和专家审核能力。
表9-1 岗位安排与作业能力核验
| 岗位 | 主要工作 | 必须形成的记录 | 交接对象 |
|---|---|---|---|
| 规范与知识 | 本体引用、任务规范、黄金集和规则维护 | 评审、试标、版本及变更记录 | 生产和质检岗位 |
| 标注生产 | 接收、预标核对、人工标注、自检和返工 | 原始标注、证据、人员工号及自检记录 | 质量检验岗位 |
| 合成增强 | 种子及配置核查、运行、过滤和来源登记 | 配置、日志、输出及失败原因 | 质量检验岗位 |
| 质量检验 | 抽样、独立复核、缺陷登记及复检 | 判定清单、工单、复检记录 | 生产与版本管理 |
| 训练验证 | 训练、评测、统计比较及归因 | 实验档案、报告和整改任务 | 专业评审及版本管理 |
| 专业评审 | 证据裁定、知识终审和结果审核 | 意见、依据及影响范围 | 各执行岗位 |
| 版本管理 | 清单冻结、计量、封装、发布及移交 | 发布审批、接收、资产及使用记录 | 运营服务与甲方 |
### 9.2 分阶段实施及进入条件
实施先完成规范和小批次贯通，再根据合格产能扩大生产。四个数据集并行推进，各自的十六项用途任务按依赖关系安排。基准来源隔离、真实样本接收和标签规则确认优先完成，生成增强在缺口分析及配置评审通过后投入，质量检查贯穿批次流转。
试点选择具有代表性的合同、选型、图纸、工艺、时序、图像、质量及经营指标样本，覆盖四个用途子集的主要结构。试点完成接收、标注、质检、训练、验证和封装全过程，重点检验对象关联、指标计算、质量退回和独立解析是否可执行。发现系统性问题先修正规范及工具，再扩大同类任务。
表9-2 分阶段实施及进入条件
| 阶段 | 进入条件 | 主要产出 | 阶段完成依据 |
|---|---|---|---|
| 准备与规范 | 数据范围及源资料明确 | 接收清单、规范、规则、权限和试点计划 | 规范评审及环境检查通过 |
| 试点贯通 | 输入和知识状态符合要求 | 试标结果、首批工单、实验及解析记录 | 全流程可执行，主要问题已处理 |
| 真实数据生产 | 合格产能及质量检查条件具备 | 标注批次、独立基准、分布统计 | 批次通过且来源隔离有效 |
| 合成增强补充 | 缺口与配置审批通过 | 合成增强批次、配比及前后分布 | 一致性、业务及污染检查通过 |
| 验证与修复 | 候选清单及协议冻结 | 四阶段模型结果、场景结论、复评记录 | 发布前验证要求满足 |
| 发布与移交 | 规模质量及发布档案齐备 | 版本包、卡片、报告、资产登记 | 接收核验及登记完成 |
| 更新与维护 | 运营反馈或增量需求形成 | 修订计划、新版本及撤回记录 | 按相同质量条件重新放行 |
阶段计划纳入项目总体实施安排，服务建设周期衔接至2028年5月，质保不少于12个月。具体批次和资源计划按批准的总体里程碑分解，提前安排独立评测、整改复测、专家审核及接收验证时间，避免将全部验证压在最终交付前集中完成。局部任务延误时调整资源和并行顺序，同时维持质量前置条件。
图 9-1 实施阶段与成果交付
### 9.3 进度跟踪与问题处置
生产看板按数据集、用途子集和批次展示计划量、接收量、作业量、合格量、隔离量、返工量及正式发布量。过程量与交付量分列，生成速度或标注提交量不能直接代表项目完成率。计划偏差分析结合净合格产出、关键类别覆盖和当前瓶颈，形成资源调整及处置任务。
日常作业核查未结异常、任务失败、权限及配置变更；周度检查四域规模、模态时效性、标注一致性、缺陷变化和验证进度；阶段评审核对里程碑成果、质量结论及下一阶段进入条件。问题负责人、完成时点和复核方法写入工单，同类问题反复出现时分析规则或流程原因，不仅重复要求个人重做。
甲方配合事项包括源资料调阅、业务口径确认、既有系统接口和专业人员参与，逐项登记需求、前置条件及计划时点。我方提前组织资料准备、核查方案和替代作业安排，配合条件变化时评估对规模、质量和工期的影响并按项目程序处理。必要交付条件未满足时继续推进补采及整改，不以卡片披露替代应交成果。
### 9.4 变更与运行风险管理
数据来源、规范、工具配置、教师模型、训练基座、评测协议和发布结构均纳入变更管理。变更申请说明原因、原状态、新状态、影响范围、验证方法和回退条件。与已冻结版本关联的变更通过新版本生效，不能静默修改已用于报告和验收的内容。紧急安全或授权问题先采取阻断措施，再完成原因和影响核查，保留应急记录。
表9-3 变更与运行风险管理
| 风险 | 触发信号 | 处置措施 | 复核依据 |
|---|---|---|---|
| 来源和配对不足 | 许可或对象关系无法核验 | 隔离、补证、补采及调整作业顺序 | 来源凭证和关系核验 |
| 标注分歧增加 | 一致性下降或关键误标 | 暂停受影响任务，修订规范并重标 | 独立重复标注及复检 |
| 合成过度集中 | 少量种子反复派生、分布偏置 | 限制家族权重并增加真实来源 | 配比和来源分布对比 |
| 变换破坏语义 | 关键事件或标签丢失 | 整批回退，重审算子和参数 | 语义与标签复核 |
| 评测污染 | 同源或已训练对象进入基准 | 隔离影响范围，重建独立比较 | 使用历史和重测结果 |
| 训练异常 | 损失异常、数据游标或环境漂移 | 停止异常运行，检查输入及恢复状态 | 日志、检查点及重跑结果 |
| 发布不一致 | 数据、卡片或报告版本不符 | 保持原有效版，重新核对候选包 | 清单、摘要及接收验证 |
| 使用阶段发现缺陷 | 有效问题反馈及复现证据 | 追踪范围、限制供给、修复复评 | 新版本及使用方处置记录 |
### 9.5 成果清单与验收组织
成果按四个数据集、四个用途子集及版本归集，批次记录与正式版本之间保持可追溯关系。标注样本包含规范版本、作业人员标识及校验结论；合成样本包含种子、方法、提示词和教师模型记录；增强样本包含算子、参数、来源链及前后校验结果。质检与验证报告绑定实际内容指纹，封装内的字典、结构和清单能够独立使用。
表9-4 成果清单与验收组织
| 成果类别 | 交付内容 | 核查方法 |
|---|---|---|
| 标注规范与样本 | 分任务规范、本体引用、标注记录、黄金集及一致性统计 | 反向重标、证据回查及字段核验 |
| 合成生产成果 | 样本、种子、提示词配置、教师模型许可及过滤记录 | 血缘回查、规则复算和分布核验 |
| 增强生产成果 | 样本、算子参数、标签变换及前后分布 | 变换复现、语义与标签复核 |
| 过程质检成果 | 各环节结论、异常清单、修复及复检记录 | 抽样核查和未结项对账 |
| 数据集验证成果 | 训练实验、标准化评测、能力图、场景结论及整改复评 | 固定协议重测及报告数据核对 |
| 版本与封装成果 | 数据内容、卡片、指纹、字典、自描述文件及报告 | 清单计量、摘要及独立解析 |
| 项目与运营衔接 | 资产台账、发布记录、移交登记及修订计划 | 登记回查、接收记录和使用状态核对 |
验收先核对范围与完整性，再实施内容、质量和实际使用检查。规模、模态、时效性与用途配比按冻结清单复算，标注和关联样本回查原始证据，模型效果按统一协议核验，封装在独立环境解析。发现问题形成明确的整改范围及复检要求，修复导致统计或报告变化时同步更新相关交付物。
阶段接收不免除后续发现问题的修复责任。验收档案保留版本、范围、方法、结论及签认记录，质保期间的问题处理沿用相同的来源追踪、缺陷分级和修复复评机制。数据集后续更新与运营供给保持版本明确、许可有效和质量可核验，形成持续可用的项目成果。