数据集加工生产专项智能工具链按招标文件 3.2.3 节的要求建设:交付 9 类 25 个专项智能工具链,每个工具链满足其所属类别在 3.2.3.2 至 3.2.3.10 各节的功能与质量验收要求,并统一满足 3.2.3.11 节的通用接口、追溯与验收要求(b0915、b0917、b1146)。 25 个工具不是 25 个各自独立的程序,它们共用一套公共服务。统一任务编排层承担作业的受理、参数校验、调度、暂停与恢复、重试、取消、质量门判定与结果发布;统一数据契约层承担字段模式、版本标识、内容指纹与血缘字段;统一评测回路承担质量判断的产生与回流;统一人工介入通道承担判定权的行使与留痕;统一模型网关是外部模型调用的唯一出口。招标文件 3.2.3.11 节要求的接口、数据格式、血缘、质量、安全与验收六项共同行为由公共服务实现,各工具只实现自身的业务算子。公共服务与 25 个工具同步版本管理,一并承载在为招标方建设的天地奔牛煤机装备数据智能平台(以下简称奔牛数据智能平台)之上。 各工具链的功能设计、处理流程与配置样例按类别分列:数据构建类见工具链(一),对齐与标注类见工具链(二),质量与验证类见工具链(三)。 ## 1、智能工具链交付清单 ### 1.1 交付构成 我方交付 9 类 25 个专项智能工具链,类别划分与工具名称与招标文件表列逐项一致(b0918r01—b0918r10),不合并、不改名、不以相近功能顶替。每个工具链满足其所属类别在 3.2.3.2 至 3.2.3.10 各节的功能与质量验收要求,并满足 3.2.3.11 节的通用接口、追溯与验收要求(b0917)。 表 1-1 是完整交付清单。表中「核心输入」与「核心产出」两列给出该工具在生产线上的接口形态,读表即可判断谁产数据、谁消费数据;「详述位置」列指向该工具功能设计所在的章节。逐工具的业务目的、源对象、输入输出格式、核心处理规则、运行依赖、调用权限、交付形态与验收证据在 1.2 至 1.4 逐项给出,交付范围与招标要求的对照在 1.5 给出。 表 1-1 9 类 25 个专项智能工具链交付清单(b0917、b0918r01—b0918r10) | 类 | 类别 | 序 | 工具链名称 | 核心输入 | 核心产出 | 详述位置 | |---|---|---|---|---|---|---| | 1 | 思维链构建 | 1 | 大模型自生成思维链工具链 | 业务问题、检索到的背景材料、提示词模板 | 结构化推理样本、自一致性筛选结果 | 工具链(一)二 | | 1 | 思维链构建 | 2 | 人机协同思维链标注工具链 | 自生成推理样本、专家判据 | 修订后推理样本、修改差异记录、仲裁档案 | 工具链(一)二 | | 2 | 长上下文数据构建 | 3 | 文档切分与拼接工具链 | 结构化文档对象、切分与滑窗参数 | 文档对象、滑窗长上下文样本、来源映射表 | 工具链(一)三 | | 2 | 长上下文数据构建 | 4 | RAG 数据构建工具链 | 文档片段、查询集、索引配置 | 查询—上下文—回答三元组、检索增强评测样本与指标 | 工具链(一)三 | | 2 | 长上下文数据构建 | 5 | 文档结构解析工具链 | 技术手册、规程、标准、工艺文件原件 | 章节树、结构化段落、混合切分片段 | 工具链(一)三 | | 3 | 多轮对话数据构建 | 6 | 对话模拟生成工具链 | 场景剧本、角色设定、知识库检索结果 | 多轮对话样本、角色标签 | 工具链(一)四 | | 3 | 多轮对话数据构建 | 7 | 结构化工单转对话工具链 | 服务工单、运维报警、脱敏规则 | 工单转写对话样本、补全标记、脱敏记录 | 工具链(一)四 | | 3 | 多轮对话数据构建 | 8 | 对话质量筛选工具链 | 对话样本、评分锚点与权重 | 质量评分、低质样本清单、分层采样集、筛选报告 | 工具链(一)四 | | 4 | 多模态数据对齐 | 9 | 设备图纸与工艺图结构化抽取工具链 | 图纸文件、工艺卡片、图层与符号规则 | 几何与符号结构化字段、图卡成对文本 | 工具链(二)三 | | 4 | 多模态数据对齐 | 10 | 视频-文本对齐工具链 | 工艺过程与安防视频、设备运行事件、工艺阶段表 | 关键帧与事件的对齐样本、图文成对语料 | 工具链(二)三 | | 4 | 多模态数据对齐 | 11 | 传感器时序—运维事件对齐工具链 | 测点时序、报警日志、维修工单 | 时序片段与诊断文本成对语料、时序特征 | 工具链(二)三 | | 5 | 智能标注 | 12 | 大模型预标注工具链 | 待标注样本、标签体系、提示词模板 | 预标注结果、置信度与证据片段 | 工具链(二)四 | | 5 | 智能标注 | 13 | 主动学习标注工具链 | 预标注结果、不确定性度量、人工标注反馈 | 待标注样本的优先序、定向采集清单 | 工具链(二)四 | | 5 | 智能标注 | 14 | 本体驱动规则标注工具链 | 领域本体、规则表、约束清单 | 本体标签、约束校验结论、冲突清单 | 工具链(二)四 | | 5 | 智能标注 | 15 | 一致性校验标注工具链 | 多人标注结果、裁决规则 | 一致性指标、裁决记录、返工清单 | 工具链(二)四 | | 6 | 数据生成与增强 | 16 | 指令数据生成工具链 | 种子指令、本体标签、结构化素材 | 各任务类型的指令样本与回答候选 | 工具链(二)五 | | 6 | 数据生成与增强 | 17 | 工单与故障场景模拟生成工具链 | 故障本体与名录、历史工单分布 | 故障场景样本、排障对话候选 | 工具链(二)五 | | 6 | 数据生成与增强 | 18 | 文本重写与多样化工具链 | 高质量原始样本、术语保护词表 | 多样化表达样本、保护项校验记录 | 工具链(二)五 | | 7 | 数据质量与分布控制 | 19 | 数据去重与相似度过滤工具链 | 候选数据集、被保护集合、相似度阈值 | 去重后数据集、重复组清单、污染命中报告 | 工具链(三)二 | | 7 | 数据质量与分布控制 | 20 | 数据分布分析与均衡工具链 | 数据集、领域与类别标签、配比目标 | 分布统计、均衡后数据集、质量治理报告、补齐需求单 | 工具链(三)二 | | 8 | 数据生成控制与评测 | 21 | 模板化数据生成工具链 | 规则模板、参数字典、业务约束 | 结构化合成样本、生成批次与模板版本记录 | 工具链(三)三 | | 8 | 数据生成控制与评测 | 22 | 数据集切分与基准构建工具链 | 洁净数据集、切分策略、评测协议 | 训练/验证/测试集、冻结基准集、评测结果 | 工具链(三)三 | | 9 | 数据集验证与归因 | 23 | 多协议模型评测引擎工具链 | 推理接口、冻结基准集、评测协议与判分规则 | 模型评测报告、样本级评测结果、版本对比 | 工具链(三)四 | | 9 | 数据集验证与归因 | 24 | 数据贡献度归因与错题溯源工具链 | 评测错题、训练样本血缘、数据子集标签 | 能力雷达图、失败样本清单、归因报告、修订工单 | 工具链(三)四 | | 9 | 数据集验证与归因 | 25 | 数据集—模型版本血缘追溯工具链 | 数据集版本、训练任务日志、检查点、审批记录 | 血缘图谱、影响范围分析、审计查询结果 | 工具链(三)四 | 凡涉及大模型调用的环节,一律经平台统一模型网关接入。网关侧采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级。样本与血缘记录中只登记网关侧为该模型分配的标识与版本号,不绑定具体型号,模型换代后存量样本的血缘记录保持可追溯。 ### 1.2 逐工具的业务目的、源对象与输入输出格式 每个工具的业务目的回答「它替现场解决哪一件事」,源对象回答「它从甲方的哪一类实物或记录取数」,输入输出格式回答「它在流水线上以什么形态接料与出货」。三者合起来即一个工具的对外规格,验收时按此核对,不按工具内部结构核对。格式名称按 3.2.3.11 节第(2)条的五种格式写法,输出的落盘格式随产物性质选定而非一律取同一种。 表 1-2 25 个工具的业务目的、源对象与输入输出格式 | 序·工具链 | 业务目的 | 源对象 | 输入格式 | 输出格式 | |---|---|---|---|---| | 1 大模型自生成思维链 | 把工艺与排障的推理过程显性化,产出带中间步骤的推理样本 | 技术规程与工艺文件的检索片段、业务问题集、提示词模板 | JSON(问题集与模板)+JSON Lines(检索片段) | JSON Lines(推理样本:步骤序列、自一致性得分、步骤级可信度) | | 2 人机协同思维链标注 | 由专家修订自生成样本的错误步骤,并把修订差异留成可审的档 | 自生成推理样本、专家判据、裁决规则 | JSON Lines | JSON Lines(修订后样本、步骤差异记录)+CSV(仲裁台账) | | 3 文档切分与拼接 | 把结构化文档切成可入样的长上下文片段并保留来源映射 | 文档结构解析产出的章节树与结构化段落 | JSON(章节树)+JSON Lines(段落)+切分参数 | JSON Lines(长上下文样本)+CSV(来源映射表) | | 4 RAG 数据构建 | 在文档片段上建索引,产出查询—上下文—回答三元组与检索指标 | 文档片段、业务查询集、索引配置 | JSON Lines(片段)+JSON(查询集与索引配置) | JSON Lines(三元组)+JSON(检索增强指标) | | 5 文档结构解析 | 把版面还原成章节树与结构化段落,使长文档可被按结构取用 | 技术手册、规程、标准、工艺文件原件(电子版与扫描件) | 版式文档与办公文档原件、扫描图像 | JSON(章节树)+JSON Lines(结构化段落)+Markdown(可读还原件) | | 6 对话模拟生成 | 按场景剧本与角色设定产出多轮对话样本 | 场景剧本、角色设定、知识库检索结果 | JSON(剧本与角色)+JSON Lines(检索结果) | JSON Lines(多轮对话样本:轮次标识、角色标签、引用来源) | | 7 结构化工单转对话 | 把服务工单与运维报警转写成带事实来源分级的对话 | 服务工单、运维报警、维修记录、脱敏规则 | CSV 或 JSON Lines(工单导出)+JSON(脱敏规则) | JSON Lines(对话样本、补全标记、脱敏记录) | | 8 对话质量筛选 | 对对话样本打分、筛除低质并按分层比例采样 | 对话样本、评分锚点与权重 | JSON Lines+JSON(锚点与权重) | JSON Lines(评分与分层采样集)+Markdown(筛选报告) | | 9 设备图纸与工艺图结构化抽取 | 把图纸与工艺卡片的几何量、符号与工艺参数抽成可计算的字段 | 刮板输送机及其部件图纸、工艺卡片、图层与符号规则 | 二维设计文件、版式文档、扫描图像 | JSON Lines(结构化字段、图卡成对文本)+CSV(五项工程自检结论) | | 10 视频-文本对齐 | 把关键帧挂到设备运行事件与工艺阶段的时间轴上 | 工艺过程视频、安防视频、设备运行事件、工艺阶段表 | 视频文件或取流地址+JSON Lines(事件) | JSON Lines(帧—事件对齐样本、图文成对语料)+JSON(时钟校准记录) | | 11 传感器时序—运维事件对齐 | 把测点时序切到报警与维修工单的时间窗并产出特征与诊断文本 | 熔池相机与热成像测点、设备运行测点时序、报警日志、维修工单 | Parquet(时序)+JSON Lines(报警与工单) | Parquet(时序片段与特征)+JSON Lines(时序—诊断文本成对语料) | | 12 大模型预标注 | 对待标注样本产出候选标签与证据片段,按置信度分流 | 各类待标注样本、标签体系、提示词模板 | JSON Lines+JSON(标签体系与模板) | JSON Lines(预标注结果、置信度、证据片段定位) | | 13 主动学习标注 | 按不确定性与覆盖缺口排出待标注优先序,并提定向采集清单 | 预标注结果、不确定性度量、人工标注反馈 | JSON Lines | JSON Lines(待标注优先序)+CSV(定向采集清单) | | 14 本体驱动规则标注 | 按本体与规则表给确定性标签,并把约束冲突显性化 | 领域本体、规则表、约束清单 | JSON(本体与规则)+JSON Lines(样本) | JSON Lines(本体标签、约束校验结论)+CSV(冲突清单) | | 15 一致性校验标注 | 度量多人标注的一致性,按裁决规则形成裁决与返工 | 多人标注结果、裁决规则 | JSON Lines | JSON(三粒度一致性指标)+JSON Lines(裁决记录)+CSV(返工清单) | | 16 指令数据生成 | 按任务类型与难度层次扩充指令样本与回答候选 | 种子指令、本体标签、结构化素材 | JSON Lines+JSON(任务类型与难度配比) | JSON Lines(指令样本与回答候选,带合成标记) | | 17 工单与故障场景模拟生成 | 按故障本体与历史分布构造长尾故障场景与排障对话 | 故障本体与名录、历史工单频次统计 | JSON(本体与名录)+CSV(频次统计) | JSON Lines(故障场景样本、排障对话候选,带合成标记) | | 18 文本重写与多样化 | 在语义与事实不变的前提下产出多种表达 | 高质量原始样本、术语保护词表 | JSON Lines+CSV(保护词表) | JSON Lines(多样化样本、保护项校验记录,带合成标记) | | 19 数据去重与相似度过滤 | 判精确重复、近重复、语义重复与基准污染 | 候选数据集、被保护集合(冻结基准集)、相似度阈值 | Parquet 或 JSON Lines+JSON(阈值与被保护集合登记) | Parquet(去重后数据集)+JSON Lines(重复组、污染命中)+Markdown(报告) | | 20 数据分布分析与均衡 | 按统计维度看分布形状,识别偏置与漂移并给出补齐需求 | 洁净数据集、领域与类别标签、配比目标 | Parquet+JSON(配比目标) | JSON(分布统计)+Parquet(均衡后数据集)+Markdown(质量治理报告)+CSV(补齐需求单) | | 21 模板化数据生成 | 在强约束下按模板与参数字典产出结构化合成样本 | 规则模板、参数字典、业务约束 | JSON(模板、字典与约束) | JSON Lines(合成样本)+JSON(生成批次与模板版本记录) | | 22 数据集切分与基准构建 | 按策略做三层切分、检出泄漏并冻结基准集 | 洁净数据集、切分策略、评测协议 | Parquet+JSON(策略与协议) | Parquet(训练/验证/测试集)+JSON Lines(冻结基准集)+JSON(冻结凭据) | | 23 多协议模型评测引擎 | 在冻结基准集上按协议评测被测对象并出样本级结果 | 冻结基准集、评测协议与判分规则、被测对象推理接口 | JSON Lines(基准集)+JSON(协议与判分规则) | JSON(评测报告机读部分)+JSON Lines(样本级结果)+Markdown(可读报告) | | 24 数据贡献度归因与错题溯源 | 把错题归到六类原因,并转成指向具体环节的修订工单 | 样本级评测结果、训练样本血缘、数据子集标签 | JSON Lines | JSON(能力维度底料)+JSON Lines(失败样本与归因结论)+CSV(修订工单) | | 25 数据集—模型版本血缘追溯 | 提供样本到数据集版本到训练任务的链路与影响范围 | 数据集版本、训练任务日志、检查点、审批记录 | JSON Lines(血缘记录) | JSON(血缘图谱)+JSON Lines(影响范围清单)+CSV(审计查询结果) | 表 1-2 数据来源:业务目的与源对象依招标文件第五章 3.2.3.2 至 3.2.3.10 各节的工具功能要求与甲方现场数据形态;格式取值依 3.2.3.11 节第(2)条的五种格式。 ### 1.3 逐工具的核心处理规则、运行依赖与调用权限 核心处理规则一列写的是该工具据以判断的办法,不是实现细节:凡能用确定性计算判定的一律用计算判定,模型只用在确定性办法覆盖不到的地方。运行依赖一列写的是该工具跑起来必须先有的外部条件,它同时是分批投产排序的依据。 调用权限按角色与数据域两个维度授予。角色有六类:加工作业岗提交与查看加工任务;标注管理岗提交标注与复核类任务并管理标注工位;质量管理岗提交质检、去重、分布与报告类任务;评测管理岗管理基准集与评测作业;裁决岗处理不一致裁决;安全审计岗对血缘与审计记录只读查询并审批敏感导出。数据域按供需计划、工艺设计、制造过程、质量四域分别授权,另按敏感级叠加一层授权;越域或越级的调用在编排层拒绝并记一条审计。规则库、模板库、阈值与门限的变更不属任何岗位的日常权限,一律走策略会签。 表 1-3 25 个工具的核心处理规则、运行依赖与调用权限 | 序·工具链 | 核心算法或处理规则 | 运行依赖 | 调用权限 | |---|---|---|---| | 1 大模型自生成思维链 | 多路采样后按答案归并做自一致性筛选;步骤级可信度打分与首错定位,按自动采纳、复核、重做三条分流 | 统一模型网关、提示词模板库、工具 4 的三元组或检索服务 | 加工作业岗;模板变更走策略会签 | | 2 人机协同思维链标注 | 步骤树编辑并逐步留差异;双人修订不一致进仲裁;修订后样本按三条路径回流且与原样本隔离 | 标注工位、仲裁规则资产、工具 1 的产出 | 标注管理岗提交,裁决岗裁定 | | 3 文档切分与拼接 | 先按章节边界切分,再按滑动窗口拼接;窗口长度与重叠率按上下文预算配置;每片保留文档标识、章节路径与页码区间 | 工具 5 的章节树、切分参数配置 | 加工作业岗 | | 4 RAG 数据构建 | 片段向量化建索引;查询集由业务问题模板与真实提问两路构造;按召回位次与答案可定位率计分 | 向量索引服务、统一模型网关 | 加工作业岗 | | 5 文档结构解析 | 版式路线按坐标与字号还原层级,视觉路线处理扫描件,两路按置信度分流并交叉校验;跨页表格按表头与列对齐拼接 | 文档只读接口、统一模型网关(视觉路线) | 加工作业岗;原件访问按文档密级授权 | | 6 对话模拟生成 | 多智能体按角色隔离与交互协议轮转,调度器按状态机控制轮次与收敛,越界发言由调度器裁决回退 | 统一模型网关、知识库检索、剧本与角色资产 | 加工作业岗 | | 7 结构化工单转对话 | 工单字段按固定对话骨架映射;事实来源分原票据、派生计算、补全推测三级,补全部分强制标记;脱敏在写出前执行 | 工单只读接口、脱敏规则资产、对象标识服务 | 加工作业岗;含人员与客户字段的工单按脱敏后视图授权 | | 8 对话质量筛选 | 规则通道与模型通道双通道评分后投票,不一致进复核;抽检结果反向校正评分偏差;按分层比例采样 | 统一模型网关、评分锚点与权重资产 | 质量管理岗 | | 9 设备图纸与工艺图结构化抽取 | 图元解析得几何与符号,按闭合性、尺寸链、公差带、材质牌号、工艺参数取值域五项工程自检;展开长等几何量按中性层系数确定性计算,不由模型给数 | 图纸只读接口、符号与图层规则资产、单位字典 | 加工作业岗;图纸按产品线与密级授权 | | 10 视频-文本对齐 | 等间隔、事件触发、变化点三路抽帧;按设备时钟与视频时钟的偏移做校准;帧与事件按时间窗匹配并做对齐校验 | 视频只读接口、设备事件流、时钟校准基准 | 加工作业岗;安防视频按甲方安保口单独授权 | | 11 传感器时序—运维事件对齐 | 按事件窗切分时序,预处理去野值与重采样,提统计量、变化点与频域特征;诊断文本中的数值由特征计算填入模板 | 时序只读接口、测点台账、对象标识服务 | 加工作业岗 | | 12 大模型预标注 | 批量预标注后按置信度三档分流;证据片段须在原文可定位,不可定位即判错 | 统一模型网关、标签体系与标注规范、校准集 | 标注管理岗 | | 13 主动学习标注 | 按不确定性度量与覆盖缺口排序形成优先序;人工标注反馈回流后重排;覆盖缺口转定向采集清单 | 工具 12 的产出、标注工位反馈 | 标注管理岗 | | 14 本体驱动规则标注 | 本体推理得确定性标签,规则表逐条校验约束;冲突不自动消解,出冲突清单待裁 | 本体与规则资产库(按版本加载) | 标注管理岗;本体版本变更由治理侧评审 | | 15 一致性校验标注 | 按任务类型选一致性度量,按样本级、字段级、标签值级三粒度统计;超限进裁决,裁决结论回写并生成返工清单 | 多人标注结果、裁决规则资产 | 裁决岗 | | 16 指令数据生成 | 按任务类型与难度分层扩充,种子与本体标签约束生成范围;产出带合成标记与不可用于评测集标记 | 统一模型网关、本体标签、工具 20 派发的配比上限 | 加工作业岗 | | 17 工单与故障场景模拟生成 | 按故障树骨架展开场景要素,分布按历史工单频次反向补长尾;构造场景经业务口裁定方可入库 | 故障本体与名录、历史工单频次统计 | 加工作业岗;入库前经甲方业务口裁定 | | 18 文本重写与多样化 | 在术语保护词表约束下改写,保护项逐条校验;改写比例按配比上限控制;产出带合成标记 | 统一模型网关、术语与单位字典 | 加工作业岗 | | 19 数据去重与相似度过滤 | 四级级联:指纹判精确重复、局部敏感哈希判近重复、向量近邻判语义重复、n-gram 扫描判基准污染;跨模态重复缺对齐关系时标注未检 | 向量索引服务、冻结基准集只读凭据、被保护集合登记 | 质量管理岗;基准集按只读凭据访问 | | 20 数据分布分析与均衡 | 按八个统计维度出分布,识别偏置、异常与漂移;均衡在五种方法中择一或组合;配比上限在生成前派发给合成线 | 洁净数据集、配比目标、数据域与类别标签 | 质量管理岗 | | 21 模板化数据生成 | 模板槽位按条件逻辑展开,参数受控采样,产出按字段模式做结构校验,四道关卡逐道拦截 | 模板库(按版本加载)、参数字典、字段模式 | 加工作业岗;模板变更走策略会签 | | 22 数据集切分与基准构建 | 六种切分策略按数据类型选用;切分前检同文档、同族、同源同批三类泄漏;基准集冻结后生成冻结凭据,变更须走重新冻结 | 工具 19 的去重与同族登记结果、评测协议 | 评测管理岗 | | 23 多协议模型评测引擎 | 多协议并行调度;精确匹配、规则判分、模型判分与人工复核抽样四种判分融合;多模态题按模态分别判分后汇总 | 被测对象推理接口(经网关接入)、冻结基准集、协议资产 | 评测管理岗 | | 24 数据贡献度归因与错题溯源 | 错题聚类后按训练样本、数据来源、标注批次、生成批次、质量问题、覆盖盲区六类归因;贡献度估计全项目用同一套方法;结论转修订工单 | 工具 23 的样本级结果、工具 25 的血缘、数据子集标签 | 质量管理岗;归因结论经人工确认后生效 | | 25 数据集—模型版本血缘追溯 | 按节点与依赖构建血缘图谱;正向展开查链路、反向展开查影响、按时点查历史状态;记录只追加不修改 | 血缘服务、训练任务登记、审批记录 | 安全审计岗只读查询;记录写入由公共层执行 | 表 1-3 数据来源:处理规则依招标文件第五章 3.2.3.2 至 3.2.3.10 各节的功能要求;权限维度依 3.2.3.11 节第(5)条的授权校验与访问控制要求。 ### 1.4 逐工具的交付形态与验收证据 25 个工具的交付形态有统一的部分与专有的部分。统一的部分是:算子实现、参数配置模板、接口说明、演示样例、输入输出样例与测试报告,即 3.2.3.11 节第(6)条要求的五件套加算子本体,按工具逐个提供,9 类 25 个共 25 套;每个工具在平台内可独立调用、可独立验收,不以「同属一个模块」为由合并验收。专有的部分是该工具随身带的规则与资产,它们决定了这个工具是否贴合矿装现场——离开这些资产,工具只剩通用能力。 验收证据一列写的是测试报告中必须含有实测记录的项。凡列为实测项的,验收时核对的是记录而非说明;指标值按本章 8.1 的基线、趋向、回退三段给出,具体数值在各工具的功能设计中逐项列明。 表 1-4 25 个工具的专有交付资产与验收证据 | 序·工具链 | 随工具交付的专有资产 | 验收证据中的实测项 | |---|---|---| | 1 大模型自生成思维链 | 分任务类型的提示词模板集、自一致性筛选阈值配置、步骤可信度标定集 | 演示样例在一批业务问题上跑通;筛选前后正确率对比;步骤级可信度与首错定位的抽检符合度 | | 2 人机协同思维链标注 | 步骤树编辑规范、专家判据表、仲裁规则 | 差异记录可回放到每一步编辑;仲裁台账与所依据的规则条款一一对应 | | 3 文档切分与拼接 | 分文档类型的切分参数档、来源映射字段定义 | 同一文档重跑得同一批片段且指纹一致;来源映射可双向反查到页码区间 | | 4 RAG 数据构建 | 索引配置、查询集构造模板、检索指标定义 | 检索增强六项指标实测;答案可定位率抽检 | | 5 文档结构解析 | 版面规则档、章节层级词表、扫描件处理参数 | 章节层级符合率,电子件与扫描件分档实测;跨页表格拼接正确率 | | 6 对话模拟生成 | 场景剧本库、角色设定与交互协议、调度器状态机配置 | 轮次收敛率;角色越界发言的拦截记录;同配置重复运行的偏差 | | 7 结构化工单转对话 | 工单字段到对话骨架的映射表、脱敏规则、补全标记规范 | 补全内容是否逐条带标记;脱敏后回扫无命中 | | 8 对话质量筛选 | 评分锚点与权重表、分层采样配比 | 评分与人工复核的一致率;分层采样比例与设定值的偏差 | | 9 设备图纸与工艺图结构化抽取 | 图层与符号规则库、材质牌号与公差带字典、展开长等几何量的计算式册 | 字段抽取正确率,电子版与扫描件分档;展开长与手算结果的一致性;五项工程自检的检出记录 | | 10 视频-文本对齐 | 抽帧策略配置、时钟校准基准与偏移台账、工艺阶段表 | 校准后帧与事件的时间偏差;对齐正确率抽检 | | 11 传感器时序—运维事件对齐 | 测点台账、特征计算式册、诊断文本模板 | 片段落窗正确率;诊断文本中的数值与特征计算结果逐字符一致 | | 12 大模型预标注 | 分任务的标签体系与标注规范、提示词模板、校准集 | 置信度三档实际占比与校准门限的对应;证据片段可定位率 | | 13 主动学习标注 | 不确定性度量配置、覆盖维度定义 | 优先序与人工认定高价值样本的重合度;定向采集清单由业务口确认可执行 | | 14 本体驱动规则标注 | 规则表、约束清单、本体版本依赖表 | 按注入冲突例的约束检出率;规则版本切换后的结论差异可复算 | | 15 一致性校验标注 | 一致性度量选型表、裁决规则、返工口径 | 三粒度一致率实测;裁决结论回写的完整性 | | 16 指令数据生成 | 种子指令库、任务类型与难度配比表 | 任务类型覆盖与难度分层比例;合成标记与评测集排除的联动核对 | | 17 工单与故障场景模拟生成 | 故障本体与名录、故障树骨架、历史频次基线 | 长尾类目样本量披露;构造场景的业务口裁定记录 | | 18 文本重写与多样化 | 术语保护词表、改写比例上限配置 | 保护项零改动核对;语义与事实不变的抽检复核 | | 19 数据去重与相似度过滤 | 四级阈值配置、被保护集合登记表 | 按注入重复例的各级检出率;污染回灌测试的识别率 | | 20 数据分布分析与均衡 | 八维度统计口径、配比目标表、补齐需求单模板 | 八维度统计可复算;均衡前后分布偏移的量化对比 | | 21 模板化数据生成 | 模板库、参数字典、业务约束表 | 结构校验通过率;四道关卡的拦截记录;同模板同参数重跑结果一致 | | 22 数据集切分与基准构建 | 切分策略档、泄漏检测规则、冻结凭据格式 | 泄漏构造例逐类检出;冻结后基准集的写保护验证 | | 23 多协议模型评测引擎 | 评测协议集、判分规则库、随机种子登记 | 同协议重复运行的偏差;判分融合结果逐题可复核 | | 24 数据贡献度归因与错题溯源 | 归因方法说明与参数、修订工单模板 | 注入错误样本可被归因命中;修订工单指向的环节与注入点一致 | | 25 数据集—模型版本血缘追溯 | 血缘图谱模式、五类审计查询的预置用例 | 五类审计查询按预置用例返回;血缘记录的追加—不可改写验证 | 表 1-4 数据来源:交付形态依招标文件第五章 3.2.3.11 节第(6)条验收要求;实测项依各工具所属类别的质量验收要求。 ### 1.5 交付范围、部署许可、可用节点与外部服务边界 工具链承载在奔牛数据智能平台上运行,这是运行形态,不是交付范围的缩减:招标文件要求的 25 个工具链的能力、接口与授权逐项交付,不因它们运行在平台之内而减少任何一项。表 1-5 按招标要求逐条对照,列明我方交付什么、可在哪些节点使用、授权到什么程度、哪一处是外部服务边界。 表 1-5 交付范围与招标要求的逐项对照 | 对照项 | 招标文件要求 | 我方交付 | 可用节点与部署许可 | 外部服务边界 | |---|---|---|---|---| | 工具链数量与类别 | 3.2.3:不少于 9 类 25 个专项智能工具链 | 9 类 25 个,类别、名称与顺序与招标文件表列逐项一致 | 部署在甲方侧平台环境的生产节点与测试节点,两类节点同时具备 | 无外部依赖 | | 类别功能与质量要求 | 3.2.3.2 至 3.2.3.10 各节的功能与质量验收要求 | 逐工具按所属类别的功能点与质量口径交付,每个工具可独立调用、独立验收 | 同上;测试节点供甲方自行复测,不限复测次数 | 无外部依赖 | | 接口 | 3.2.3.11(1):标准接口或平台内部服务接口,支持六类调用 | 六类标准调用加参数校验、能力描述两类辅助接口;标准应用程序接口与平台内部服务接口两种形态同时提供 | 接口在甲方内网对授权角色与甲方指定的内部系统开放 | 不向互联网开放 | | 数据格式与入库 | 3.2.3.11(2):五种格式并可按数据集标准转换入库 | 五种格式由同一份内部表示经统一序列化层生成;入库做字段映射、入库校验与入库凭据登记 | 导出件落在甲方侧存储,取件区仅内网可达 | 导出不出甲方网络边界 | | 血缘 | 3.2.3.11(3):每条样本关联八项信息 | 八项字段由公共层逐环节追加写入,只追加不修改 | 血缘库部署在甲方侧,查询开放给授权角色与审计岗 | 血缘数据不出域 | | 质量 | 3.2.3.11(4):质量指标、问题样本清单与四维度报告 | 各工具专有指标加统一的通用指标;按批次、来源、任务类型、数据集版本四维度出报告 | 报告在平台内生成与留存,支持导出到甲方侧 | 无外部依赖 | | 安全 | 3.2.3.11(5):五项安全能力与外部模型调用记录 | 敏感信息识别、脱敏、授权校验、访问控制、审计日志五项实现在公共层 | 安全策略与授权矩阵由甲方确认后在平台内配置 | 统一模型网关是唯一外部出口,不可出域字段在网关层强制拦截,调用范围与出域情况逐次留记录 | | 验收 | 3.2.3.11(6):每个工具链提供五件套 | 25 套五件套按工具逐个提供,口径统一,汇总成册并按招标文件条目编制索引 | 随工具交付,与工具同版本管理 | 无外部依赖 | | 使用授权 | 3.2.3:工具链为本项目建设内容 | 甲方在本项目范围内使用 25 个工具链,不按调用次数、并发数或业务域另设授权限制,建设期与质保期内持续可用 | 节点数随甲方平台环境确定,工具链不单独设置节点许可 | 向甲方以外第三方提供工具链能力时,按数据集运营服务管理平台约定的对外服务形态执行 | | 外部依赖 | 3.2.3.11(5):涉及外部模型调用时须记录调用范围与出域情况 | 通用大模型经统一网关接入,其余处理环节在甲方侧完成 | 网关部署在甲方侧,出域策略按甲方确认的分级配置 | 网关侧模型可替换、可评测、可随代升级;替换不改动算子实现、不改动字段模式、不回改存量样本的血缘记录 | 表 1-5 数据来源:对照项与要求列依招标文件第五章 3.2.3 节及 3.2.3.11 节原文;部署与授权口径为本方案承诺,随甲方环境确认后细化。 ## 2、九类工具的分组与数据流向 甲方是矿山装备制造企业,产品为刮板输送机一类煤机装备。数据不缺体量,缺的是可用形态。板材备料共 28 道工序,历史工艺样本约 63 万张;每张图纸都配有一份已审核签发的工艺卡片,但这份配对关系落在文件目录和经手人的记忆里,不在任何系统字段中。设备运行的时序信号已采到秒级,却与具体工件、炉次、焊道对不上稳定主键。工单、检验结论、不合格品票与改造方案多为自然语言,表述自由、口径不一。 要把这些数据做成可训练、可评测的行业大模型数据集,须解决四件事:样本对不上、缺可用标签、规模不够且分布不均、结果不可验证。9 类 25 个专项智能工具链即按这四类缺口配置(b0915),在数据加工主线上分为三组工段。 三组工段的构成与产出如下,九类工具不是九个并列产品: **数据构建组**(第 1—3 类,工具 1—8)把文本与文档变成样本。思维链构建解决推理过程不可见的问题,长上下文数据构建解决长文档不能整体入样的问题,多轮对话数据构建解决业务交互过程无样本的问题。这一组的输入是清洗后的语料与结构化业务记录,产出是推理样本、长上下文样本、检索增强三元组与多轮对话样本。 **对齐与标注组**(第 4—6 类,工具 9—18)把非文本载体接入主线并打上标签。多模态数据对齐解决「对不上」,智能标注解决「没标签」,数据生成与增强解决「不够与不均」(b0990、b1008、b1041)。这一组的产出是结构化图纸字段、图文与时序成对语料、标注结果与一致性指标、合成与增强样本。 **质量与验证组**(第 7—9 类,工具 19—25)对前两组的产出作判断,并用模型表现反向检验数据集。数据质量与分布控制判集合层面的重复、污染与形状,数据生成控制与评测管受控生成与切分冻结,数据集验证与归因用评测结果定位数据侧的问题(b1123)。这一组不生产数据,产出的是判断、证据与修订动作。 三组的关系是生产、把关、反馈。前两组构成生产链,第七、八类构成把关链,第九类构成反馈链:评测发现的错题经归因落回具体的标注批次、生成批次或覆盖盲区,转成修订工单回到生产链。该反馈回路使工具链可在建设期内持续修订提质,而非一次性加工。 ### 图 2-1 九类二十五个工具在数据加工主线上的分组与数据流向 数据采集 与预处理 语料·业务记录 图纸·时序·视频 数据构建组(工具 1—8) 1 思维链构建:工具 1—2 2 长上下文构建:工具 3—5 3 多轮对话构建:工具 6—8 产出:推理样本·长上下文 样本·检索三元组·对话样本 对齐与标注组(工具 9—18) 4 多模态对齐:工具 9—11 5 智能标注:工具 12—15 6 生成与增强:工具 16—18 产出:结构化图纸字段·图文 与时序成对语料·标注结果· 合成与增强样本 质量与验证组 (工具 19—25) 7 质量与分布控制:19—20 8 生成控制与评测:21—22 9 验证与归因:23—25 产出:洁净数据集·冻结基准 集·质量治理报告·评测与 归因结论·血缘图谱 四大数据集 预训练 615 亿 Token 指令微调 89 万·偏好 6.6 万组 基准测试 0.95 万条 训练推理技术服务 按版本取用·提供推理接口 场景验证 样本与可核对的评测口径 样本送检 样本送检 入库发布 评测调用 验证口径 取数改进要求 修订工单与补齐需求单(反馈链) 图 2-1 九类二十五个工具在数据加工主线上的分组与数据流向。实线为样本与数据集的正向流动,虚线为由评测与质量判断驱动的反向修订。数据来源:招标文件第五章 3.2.3.1 节工具链清单(b0918r01—b0918r10)、3.2.3.10 节验证与归因要求(b1123);数据集规模取投标文件统一口径。 ## 3、九类工具之间的供需关系与衔接口径 25 个工具的清单本身不构成一条生产线,把它们串起来的是数据供需关系与衔接口径:谁产的数据谁消费、在类的边界上以什么口径交接、同一个数据对象在整条链上靠什么保持同一个身份。 ### 3.1 三条主干数据流 九类工具的产出与消费关系可归为三条主干。 **文档线**从技术手册、规程、标准与工艺文件出发。文档结构解析(工具 5)先把版面还原成章节树与结构化段落,切分与拼接(工具 3)据此产出长上下文样本与来源映射表,RAG 数据构建(工具 4)在同一份片段上建索引并产出查询—上下文—回答三元组。三元组一旦可用,就成为思维链自生成(工具 1)与对话模拟生成(工具 6)的背景材料来源——这两个工具不凭空生成内容,而是在检索到的材料上组织推理与对话。文档线的末端是长上下文语料进预训练数据集、三元组经格式转换进指令微调数据集。 **多模态线**从图纸、工艺卡片、过程视频与测点时序出发。图纸与工艺图结构化抽取(工具 9)把几何与符号抽成字段,视频—文本对齐(工具 10)把关键帧挂到设备运行事件与工艺阶段的时间轴上,时序—事件对齐(工具 11)把时序片段切到报警与维修工单的时间窗里。这三者的产出有两个去向:一是进智能标注类(工具 12—15)获得标签,二是作为素材进生成与增强类(工具 16—18)扩充样本量。多模态线解决的是「对不上」,它的产出质量决定了后续标注与生成的上限——对齐错误的素材标得再细也是错的。 **合成线**从种子素材与规则出发。指令数据生成(工具 16)按任务类型与难度层次扩充指令样本,工单与故障场景模拟生成(工具 17)按本体与历史工单分布构造长尾场景,文本重写与多样化(工具 18)在语义与事实不变的前提下产出多种表达,模板化数据生成(工具 21)在强约束下产出结构化合成样本。合成线的四个工具都受两道约束:配比上限由分布分析(工具 20)在生成前派发,合成标记随样本留存,评测集构造按该标记排除合成样本。 三条主干都汇入把关链。去重与相似度过滤(工具 19)是全部候选样本的第一道闸——重复在候选池建立的第一天就存在,污染的后果最严重,基准集一旦被污染且未被发现,后续全部评测结论不可用。分布分析与均衡(工具 20)在洁净集上看形状,长尾与盲区的识别结果转成补齐需求单回到标注与生成环节。切分与基准构建(工具 22)在洁净集上做三层切分并冻结基准集,这是训练与评测得以分离的前提。 反馈链由第九类承担。评测引擎(工具 23)在冻结基准集上按协议跑出模型表现,归因与错题溯源(工具 24)把错题关联到训练样本、数据来源、标注批次、生成批次、质量问题或知识覆盖盲区六类原因,并生成修订工单;血缘追溯(工具 25)提供从样本到数据集版本到训练任务的链路,使上述关联可查可审。六类原因中前五类是数据错了,第六类是数据没有,两者的处置动作完全不同——把覆盖盲区误判为质量问题,结果是反复返工已有样本而问题不解。 ### 图 3-1 九类工具之间的供需关系(谁产数据、谁消费数据) 文档线 工具 5 文档结构解析 工具 3 切分与拼接 工具 4 RAG 数据构建 工具 1·2 思维链 工具 6·7·8 对话 多模态线 工具 9·10·11 多模态对齐 工具 12—15 智能标注 工具 16·17·18 生成与增强 工具 21 模板化生成 把关链 工具 19 去重与污染扫描 工具 20 分布分析与均衡 工具 22 切分与基准构建 反馈链 工具 23 多协议评测引擎 工具 24 归因与错题溯源 工具 25 血缘追溯 三元组作背景材料 冻结基准集 统一对象标识服务 (数据治理体系交付) 补齐需求单:类别·目标数量·必须覆盖的参数组合·建议获取方式 对齐结果作标注对象 标签作生成素材 全部候选样本送检 源编码—内部主键映射 公共层:六类调用接口·五种输出格式·八项血缘字段写入·通用质量指标上报·安全管控 25 个工具共用,工具只实现自身业务算子(对应 3.2.3.11,b1146—b1158) 修订工单:指向标注批次/生成批次/质量门/覆盖盲区,不指向模型调参 图 3-1 九类工具之间的供需关系。实线为样本与数据集的供给方向,细虚线为公共层与统一标识服务的支撑关系,粗虚线为由把关链与反馈链发出的回流单据。数据来源:招标文件第五章 3.2.3.1 节工具链清单(b0918r01—b0918r10)、3.2.3.11 节通用要求(b1146—b1158)。 ### 3.2 类间衔接的六个口径 类间关系能否真正接上,取决于六个口径是否事先约定。这六项都是在类的边界上发生的,不属于任何单个工具,因此集中在本章交代;各节在实现时引用本节,不另立定义。 **关联键统一**。九类工具在读写数据时一律通过统一对象标识服务换取内部主键,不直接用源系统的业务编码做关联键。原因在前文已说明:施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号、设备编码之间没有稳定的主键关系。映射缺失时返回明确的未命中状态而非空值,由调用方记为待补映射并进人工对账队列。该服务由数据治理体系交付,工具链是使用方;映射的登记项、有效期、合并拆分、历史回放与冲突裁决的口径见 3.3。 **时间基准统一**。时间一律以协调世界时存储、按 ISO 8601 格式带时区偏移表达,展示层转为北京时间。设备侧时钟漂移在多模态对齐两个工具中专门处理。 **血缘字段统一**。九类工具的每条输出记录携带同一组血缘与版本字段,字段名跨类保持一致,使一条样本从原始文件到对齐、标注、增强、去重、切分的全过程能用同一组键串起来。字段的写入由公共层在每个环节追加完成,不由各工具自填——血缘这类横向要求一旦依赖各工具自觉实现,缺失是必然的。 **置信度与人工介入统一**。工具输出按高、中、低三档置信度分流:高置信入候选集并按比例抽检,中置信进人工复核队列并由工具给出修改建议,低置信进人工标注队列、工具输出仅作参考。各工具只调阈值,不改分档逻辑;阈值由试点批次上的标定集定出,按季度复标并留记录。 **合成样本标记统一**。合成线四个工具的产出一律携带合成标记与不可用于评测集的标记,评测集构造按该标记排除。这一条是评测集隔离的落实手段:评测集一旦混入合成样本,评测的是生成规则而不是真实业务能力。 **配置即代码**。提示词模板、输出结构定义、本体版本、采样策略、相似度阈值、改写比例等全部可调项以配置文件形式入库并纳入版本管理,运行时按版本号加载。配合血缘字段,任何一批样本都能在原配置版本下重跑一遍并比对差异。这项能力在三种情形下是必需的:甲方对某批样本质量提出疑问时用于复现,模型随代升级后用于评估新旧差异,验收阶段用于抽样复算。 ### 3.3 统一对象标识服务的使用口径 甲方的同一个实物,在不同系统里有不同的编码:一件中部槽在设计侧是图号加版次,在物料主数据里是物料编码,在制造执行系统里是工单号加零件号,在质检记录里是件号,在设备台账里又是设备编码。这些编码之间没有稳定的主键关系,它们的对应关系落在文件目录、经手人的记忆和若干张离线对照表里。九类工具在读写数据时一律通过统一对象标识服务换取内部主键,不直接用业务编码做关联键,也不各自维护一份私有对照表——私有对照表的后果是同一个对象在不同工具里得到不同的身份,而这种错在合并数据时才会暴露。 **映射的登记项。** 每一条映射登记源编码类别、源编码值、映射到的内部对象、映射基数、生效时点与失效时点、登记依据与登记批次。映射基数一项不可省:一对一、一对多、多对一三种基数对下游的影响完全不同,把一对多当成一对一处理,结果是样本被静默地挂到了其中一个候选上而没有任何记录。表 3-1 给出本项目涉及的主要源编码及其映射形态。 表 3-1 多源编码到内部主键的映射登记 | 源编码类别 | 典型取值形态 | 映射到的内部对象 | 常见映射基数 | 需要人工裁决的情形 | |---|---|---|---|---| | 图号与版次 | 图号加版次号 | 零件或部件的设计对象 | 一对一;换版时新旧版次各占一条 | 换版未登记、同图号在两个产品线下复用 | | 物料编码 | 物料主数据编码 | 零件或部件的物料对象 | 一对一为主,存在多对一 | 同一零件因计量口径不同存两条编码 | | 施工号与产品号 | 施工号加产品序号 | 一台整机或一个订单批 | 一对多(一台整机含多个零部件) | 施工号拆单、并单 | | 工单号与零件号 | 工单号加工序号加零件号 | 一道工序上的加工对象 | 多对一(多道工序指向同一零件) | 返修工单与原工单的归属 | | 炉次号 | 热处理炉次编号 | 一炉工件的集合 | 一对多 | 同炉混装不同零件、补炉 | | 焊缝与焊道编号 | 焊缝号加焊道序号 | 一条焊缝上的一道焊接作业 | 多对一(多道焊道属同一焊缝) | 返修焊道的编号沿用 | | 设备编码 | 设备台账编码 | 一台设备或一个测点载体 | 一对一;测点为一对多 | 设备改造后测点重排 | | 检验与不合格品票号 | 票号加项次 | 一次检验结论 | 多对一(多次检验指向同一对象) | 复检与原检的关系 | **有效期与历史回放。** 每条映射带生效时点与失效时点,解析时须同时给出业务发生时点,服务按该时点所处的有效区间返回当时的映射结果。不带时点的解析按当前时点处理并在返回中标注,调用方据此判断该结果是否可用于历史样本。这条约定的用处在回放:一批两年前的工单样本,若按今天的映射重新解析,可能被挂到一个当时还不存在的对象上,而样本的血缘里不会显示这次改挂——历史回放因此一律按样本的业务发生时点解析,不按加工时点解析。 **合并、拆分与改挂。** 映射关系会变,变的方式有四种,处置各不相同,见表 3-2。四种变更一律以追加新映射记录加失效旧记录的方式实现,不就地修改原记录;存量样本不追溯重写,需要统一口径的统计按主对象聚合并在报告中注明聚合依据。 表 3-2 映射关系的四类变更与处置 | 变更类型 | 发生场景 | 处置 | 对存量样本的影响 | |---|---|---|---| | 合并 | 两条源编码经业务口确认指向同一对象 | 指定其一为主对象,另一条登记为指向主对象的从属映射,合并生效时点取裁决日 | 裁决日之前的样本按原映射解析;统计时按主对象聚合并注明 | | 拆分 | 一条源编码在某版次后分化为两个规格 | 原映射在分化时点失效,新增两条映射各带生效时点与适用版次范围 | 分化时点之前的样本仍指向原对象,不重写 | | 改挂 | 对象归属调整,如零件从一个部件改挂到另一个部件 | 原归属关系失效,新增归属关系;对象本身的内部主键不变 | 血缘中的归属字段按时点解析,样本不重写 | | 作废 | 源编码确认为误建或重复录入 | 映射登记为作废并写明作废依据 | 已引用该映射的样本进复核队列,复核结论作为追加记录写入 | **映射冲突与人工裁决。** 冲突分四类:一对多且候选同质(两条候选在业务上是同一件)、一对多且候选异质(两条候选确为不同对象,须补充信息才能定)、互斥映射(两条登记给出相反的归属)、时点越界(样本的业务发生时点落在所有有效区间之外)。四类冲突都不由工具自行消解,工具返回明确的冲突状态并挂起该批样本,冲突进人工对账队列。表 3-3 是一次一对多且候选同质冲突的完整裁决过程,这类冲突在物料主数据中最常见。 表 3-3 一次映射冲突的裁决实例 | 步骤 | 发生了什么 | 处置 | 留痕 | |---|---|---|---| | 1 发现 | 同一张中部槽图纸(图号加版次唯一)在物料主数据中对应两条物料编码,两条的规格描述一致,计量单位一条按件、一条按米 | 工具侧返回「映射冲突:一对多」状态而不任选其一,该批样本挂起,不进入后续加工 | 冲突记录:图号与版次、两条候选编码、发现批次、发现时点、挂起样本数 | | 2 定性 | 对账队列按冲突类型判为一对多且候选同质 | 转工艺口与物料口裁决,随件附上两条编码近三年的工单引用次数、计量单位与最近一次使用时点 | 裁决申请单及其附件清单 | | 3 裁决 | 业务口确认两条编码指向同一零件,其一为历史计量口径遗留 | 登记合并:按件编码为主对象,按米编码登记为从属映射,合并生效时点取裁决日 | 裁决结论、裁决依据、承办角色(记角色不记姓名) | | 4 回放 | 裁决日之前已加工的样本仍按当时映射解析 | 不追溯重写;需要跨期统计时按主对象聚合 | 存量样本血缘中的映射版本号保持原值;统计报告注明聚合依据与聚合口径 | | 5 复核 | 下一批次自动复核该图号的映射命中情况 | 命中唯一即解除挂起并恢复加工;仍冲突则升级为物料标准问题,转数据治理体系处理 | 复核记录、解除挂起时点或升级单 | **工具链一侧的调用约定**有三条:不得绕过标识服务直接用业务编码关联;未命中与冲突一律按明确状态返回并挂起样本,不以空值或任选其一的方式继续;每批样本在血缘中登记本批解析所用的映射版本号,使日后能回答「这条样本当时是按哪一版映射挂上去的」。 ### 3.4 四处需要特别约定的衔接点 还有四处衔接点,是本项目数据特性带来的,不作特别约定就会出错;各工具按下列约定调整自身配置。 **思维链样本的去重口径**。推理样本的推理步骤句式相近,字面相似度天然偏高,直接套用通用近重阈值会误删正确样本。约定是只比对问题与结论,不比对推理过程文本。 **长上下文样本的切分隔离**。同一份长文档的不同片段必须整份归入同一集合,否则测试集中的片段与训练集中的片段同源,等于泄漏。约定是按文档标识归集。 **跨模态重复的判定范围**。语义相似比对在同模态内进行,跨模态的关联取自多模态对齐类的对齐结果;对齐关系缺失的样本,跨模态重复不作判定并在报告中标注未检,不以未检冒充无重复。 **增强批次的可定位性**。增强前后的分布比对由分布分析工具执行,偏移超限时要回看增强参数。约定是生成与增强类工具的产出携带批次标识,使比对能定位到具体批次。 这四处的共同点是:把关链不改变上游的产出规范,而是按上游的数据特性调整自身配置;配置差异记入各数据集类型的配置档,不靠实施时临场判断。 ### 3.5 四个数据领域的完整工具调用链 前面几节给的是类与类之间的关系。落到具体一批数据上,走的是一条确定的调用链:从哪一类源对象起,依次经过哪几个工具,每一道在样本上留下什么。本节按供需计划、工艺设计、制造过程、质量四个数据领域各给一条完整调用链。 四条链上贯穿始终的是五项标识。它们不是元数据里可有可无的附加字段,而是后续每一道判断所依据的东西:没有来源家族标识就判不出切分泄漏,没有许可标识就拦不住出域,没有质量标识就构造不出干净的评测集。五项标识的写入时点、取值来源与缺失处置见表 3-4。 表 3-4 五项随样本贯穿的标识 | 标识 | 首次写入时点 | 取值来源 | 下游用它做什么 | 缺失或不可信时的处置 | |---|---|---|---|---| | 数据对象标识 | 采集接入登记源对象时 | 统一对象标识服务换取的内部主键 | 跨工具关联、血缘回溯、同族判定、按对象汇总质量 | 返回未命中或冲突状态,样本挂起并进待补映射队列,不以空值继续 | | 版本标识 | 每次发布或所依赖资产变更时 | 数据集、字段模式、规则库、模板库、工具五类版本 | 重放、版本比较、回滚、验收复算 | 版本不全的批次不可发布 | | 来源家族标识 | 采集接入登记来源时,派生样本继承 | 源文档标识,或同一工单、同一炉次、同一图号族等源对象族 | 切分隔离、去重的同族判定、泄漏检测 | 归入未知族,整族不进评测集,并在报告中列明未知族样本量 | | 许可标识 | 采集接入按来源登记 | 使用范围分档:可用于训练、仅限内网处理、不可出域、不可对外提供 | 网关出域拦截、导出审批、对外提供形态判定 | 按最严一档处理,并挂起涉及外部调用的环节 | | 质量标识 | 每道质检点追加 | 质检结论、置信度档、合成标记、不可用于评测集标记 | 质量门判定、评测集构造、发布验收 | 未质检样本不进发布版本 | **供需计划域的调用链。** 这一域的数据体量最大,源对象以文本与结构化记录为主:合同与订单、物料主数据、库存流水、采购与供应商记录、销售预测,以及供应链相关的制度与流程文件。链路见表 3-5。 表 3-5 供需计划域的工具调用链 | 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 | |---|---|---|---| | 1 | 工具 5 文档结构解析 | 制度、流程文件与标准还原为章节树与结构化段落 | 对象标识与来源家族由采集接入带入并继承;许可标识继承;质量标识追加解析置信度与分档结论 | | 2 | 工具 3 切分与拼接 | 章节树切为长上下文样本,保留章节路径与页码区间 | 来源家族沿用源文档标识,同一文档的全部片段同族;追加切分参数版本 | | 3 | 工具 4 RAG 数据构建 | 片段建索引,产出查询—上下文—回答三元组 | 三元组继承上下文片段的家族与许可;追加索引配置版本与检索指标 | | 4 | 工具 1 自生成思维链 | 在三元组之上组织选型校核、库存策略一类推理样本 | 追加模型版本、提示词版本与自一致性得分;许可标识决定本环可否经网关调用 | | 5 | 工具 14 本体规则标注 | 物料与口径的实体归一、单位与计量口径校验 | 追加本体版本与规则版本;对象标识在此处二次核对,冲突则挂起 | | 6 | 工具 12、15 预标注与一致性校验 | 任务类型标注与一致性裁决 | 追加置信度档、一致性指标与裁决记录 | | 7 | 工具 16、18 指令生成与重写 | 指令样本扩充与表达多样化 | 追加合成标记与不可用于评测集标记;配比上限由工具 20 在本环之前派发 | | 8 | 工具 19、20 去重与分布 | 全部候选样本送检,去重后看分布并出补齐需求 | 质量标识追加去重结论与分布判定;同族样本整族处置 | | 9 | 工具 22 切分与基准构建 | 三层切分并冻结本域基准题目 | 按来源家族整族归集;数据集版本在此生成并冻结 | | 10 | 工具 23、24、25 评测、归因与血缘 | 评测、错题归因与链路追溯 | 五项标识在此被反向使用:按版本比对、按家族查泄漏、按许可核对出域、按质量标识筛样本 | **工艺设计域的调用链。** 这一域的源对象以图纸与工艺文件为主:板材备料 28 道工序的工艺卡片、约 63 万张历史工艺样本、工艺规程与设计标准。链路见表 3-6。它与供需计划域的差别在第 1 环——入口是图纸而非文本,几何量必须由确定性计算得出。 表 3-6 工艺设计域的工具调用链 | 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 | |---|---|---|---| | 1 | 工具 9 图纸与工艺图抽取 | 图纸与工艺卡片抽成几何、符号与工艺参数字段,并出图卡成对文本 | 对象标识按图号加版次换取;来源家族取图号族(同一图号各版次同族);追加五项工程自检结论 | | 2 | 工具 5 文档结构解析 | 工艺规程与设计标准还原为章节树 | 来源家族取源文档标识;追加解析分档结论 | | 3 | 工具 14 本体规则标注 | 按工序字典与工艺本体给确定性标签,校验工艺参数取值域 | 追加本体版本与规则版本;取值越界进冲突清单,不自动改值 | | 4 | 工具 12、13 预标注与主动学习 | 对图卡成对文本预标注,并按覆盖缺口排优先序 | 追加置信度档与证据片段定位;覆盖缺口转定向采集清单 | | 5 | 工具 15 一致性校验 | 三粒度一致性与裁决 | 追加一致性指标与裁决记录 | | 6 | 工具 1、2 思维链构建与修订 | 展开长校核、工序排序一类推理样本,专家修订错误步骤 | 追加步骤级可信度、修订差异与仲裁记录;数值项由计算得出,不由模型给数 | | 7 | 工具 21 模板化生成 | 在参数字典与业务约束下产出结构化工艺合成样本 | 追加模板版本、生成批次、合成标记与不可用于评测集标记 | | 8 | 工具 19、20 去重与分布 | 去重、污染扫描与分布均衡 | 图号族整族处置;追加去重与分布判定 | | 9 | 工具 22 切分与基准构建 | 按图号族整族归集后三层切分,冻结工艺类基准题目 | 数据集版本生成并冻结;泄漏检测按图号族与文档族双重判定 | | 10 | 工具 23、24、25 评测、归因与血缘 | 工艺类能力评测、错题归因与链路追溯 | 归因结论按图号族回指到具体的抽取批次或标注批次 | **制造过程域的调用链。** 这一域的源对象是时序、视频与过程记录:热处理炉次曲线、焊接参数流、熔池与热成像帧、制造执行系统的过程记录与工单。链路见表 3-7。它的第 1、2 环是对齐,对齐质量决定整条链的上限。 表 3-7 制造过程域的工具调用链 | 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 | |---|---|---|---| | 1 | 工具 11 时序—事件对齐 | 测点时序按报警与工单的时间窗切片,出特征与诊断文本 | 对象标识按设备编码与测点换取;来源家族取同一炉次或同一工单;追加时钟校准记录与锚点可靠性分档 | | 2 | 工具 10 视频—文本对齐 | 关键帧挂到设备事件与工艺阶段的时间轴 | 来源家族取同一视频片段与同一工艺阶段;追加校准偏差与对齐校验结论;安防视频的许可标识按甲方安保口登记 | | 3 | 工具 7 工单转对话 | 工单与报警转写为带事实来源分级的对话 | 追加补全标记与脱敏规则版本;脱敏在写出前执行,许可标识据此降档或维持 | | 4 | 工具 6 对话模拟生成 | 按工艺场景剧本产出多轮对话样本 | 追加角色标签、轮次标识、模型与提示词版本、合成标记 | | 5 | 工具 8 对话质量筛选 | 双通道评分、投票与分层采样 | 追加质量评分与分层采样标记;低质样本进问题样本清单 | | 6 | 工具 12、15 预标注与一致性校验 | 工况与缺陷类别标注及裁决 | 追加置信度档与一致性指标 | | 7 | 工具 17 故障场景模拟生成 | 按故障本体补长尾故障场景与排障对话 | 追加故障本体版本、生成批次与合成标记;构造场景经业务口裁定后方可入库 | | 8 | 工具 19、20 去重与分布 | 去重、跨模态重复判定与分布均衡 | 对齐关系缺失的样本跨模态重复标注未检,不以未检冒充无重复 | | 9 | 工具 22 切分与基准构建 | 按炉次族与工单族整族归集后切分,冻结过程类基准题目 | 数据集版本生成并冻结 | | 10 | 工具 23、24、25 评测、归因与血缘 | 过程诊断类能力评测、归因与链路追溯 | 诊断说明中的数值可按计算事实字段复算,复算不一致即判该样本不合格 | **质量域的调用链。** 这一域的源对象是检验记录、不合格品票、返修与改造方案、质量标准与判据。链路见表 3-8。它的特点是判据密集:同一条记录的结论是否正确,取决于当时适用的哪一版标准。 表 3-8 质量域的工具调用链 | 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 | |---|---|---|---| | 1 | 工具 5 文档结构解析 | 质量标准、检验规程与判据文件还原为章节树与条款 | 来源家族取源文档标识;条款保留版次,供按时点匹配 | | 2 | 工具 7 工单转对话 | 不合格品票与返修记录转写为处置对话 | 追加事实来源分级与脱敏记录;票面人员字段按脱敏后视图处理 | | 3 | 工具 14 本体规则标注 | 按缺陷类别本体与判据表给标签,校验结论与标准条款的一致性 | 追加本体版本与规则版本;结论与条款冲突的进冲突清单 | | 4 | 工具 12、15 预标注与一致性校验 | 缺陷归类与证据等级标注及裁决 | 追加置信度档、证据片段定位与一致性指标 | | 5 | 工具 1、2 思维链构建与修订 | 判废与返修判定的推理样本,专家修订错误步骤 | 追加步骤可信度与修订差异;判据引用须指向具体条款与版次 | | 6 | 工具 18 文本重写与多样化 | 标准与判据类文本的多样化表达 | 术语保护词表约束改写;追加保护项校验记录与合成标记 | | 7 | 工具 19、20 去重与分布 | 去重、污染扫描与缺陷类别配比均衡 | 长尾缺陷类目的覆盖缺口转补齐需求单 | | 8 | 工具 22 切分与基准构建 | 按票据族与文档族归集后切分,冻结质量类基准题目 | 数据集版本生成并冻结;基准题目的判据版次随题目一并冻结 | | 9 | 工具 23、24、25 评测、归因与血缘 | 质量判定类能力评测、归因与链路追溯 | 错题若归因到判据版次不匹配,修订动作是重挂条款版次而非重标样本 | 四条链的共同点有三条,它们是四个领域能共用一套底座而不重复建设的原因。第一,入口不同而出口相同:四条链都在第 8 至第 10 环汇入同一组把关与反馈工具,质量门、切分规则与评测协议是同一套。第二,五项标识的写入时点一致,因此跨域合并时不需要再做一次对齐。第三,领域特性只体现在配置上——工艺设计域按图号族判同族、制造过程域按炉次族判同族、质量域按票据族判同族,判定逻辑是同一套,配置差异记在各域的配置档里。 ## 4、工具链技术架构与公共服务设计 招标文件 3.2.3.11 节的六条要求约束的不是某一类工具,而是 25 个工具的共同行为(b1146)。接口、数据格式、血缘、质量、安全与验收六项一律实现在工具运行的公共层,条款的逐项实现——接口定义表、格式约定表、血缘字段表、通用质量指标表、安全管控设计与验收五件套口径——见工具链(三)。 ### 4.1 公共服务设计 25 个工具若各自定义接口、各自决定输出格式、各自实现血缘记录,结果是 25 套用法与 25 种口径,集成成本与验收成本全部落在甲方身上。我方的做法是把六条通用要求实现在工具运行的公共层:工具只实现自己的业务算子,接口、格式、血缘、质量上报、安全管控与验收材料由公共层统一承担。公共层承载在奔牛数据智能平台之上,与 25 个工具同步版本管理。 这一安排有一个必须守住的时序:公共层必须先于任何加工批次上线。血缘的写入能力若不随第一批工具同时具备,早期加工的样本就没有血缘记录,而血缘是不能事后补回的——样本经过了哪些算子、用了哪一版规则与提示词,当时不记,日后无从还原。把血缘整体推到后期是常见的失误,代价是前期数据全部缺证。因此本方案把公共层列为第零批交付,其验收判据与工具批次同等对待(见本章第 6 节)。 ### 4.2 六条通用要求的总体做法与归属 表 4-1 3.2.3.11 节六条通用要求的总体做法与详述位置(b1146—b1158) | 条 | 要求 | 对应单元 | 总体做法 | 详述位置 | |---|---|---|---|---| | (1) | 接口要求:标准 API 或平台内部服务接口,支持任务创建、任务查询、结果获取、异常重试、批量导出、状态回调 | b1147、b1148 | 六类调用由公共层统一提供,REST 风格与平台内部服务接口共用同一套参数与返回结构;另设参数校验与能力描述两类辅助接口,使运营平台无需硬编码各工具参数表;任务状态固定为八态,调用方按状态编程 | 工具链(三)5.1 | | (2) | 数据格式要求:支持 JSON、JSONL、Markdown、CSV、Parquet 等格式,可按平台数据集标准转换入库 | b1149、b1150 | 五种格式各有定位而非同一内容的五种包装;多格式由同一份内部表示经统一序列化层生成并附同一结果集指纹;入库按数据集标准做字段映射、入库校验与入库凭据登记,数据集标准本身由数据治理体系出具 | 工具链(三)5.2 | | (3) | 血缘要求:每条样本关联原始数据、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果、审核状态 | b1151、b1152 | 八项字段由公共层在每个环节追加写入,不由工具自填;血缘记录只追加不修改,更正以追加更正记录实现;粒度分层——指令样本、偏好对比组与基准题目逐条记录,预训练语料记录到文档与批次级并保留文档标识 | 工具链(三)5.3 | | (4) | 质量要求:输出质量指标与问题样本清单,支持按批次、来源、任务类型、数据集版本生成质量报告 | b1153、b1154 | 指标分两层——各工具专有指标与 25 个工具共同上报的八项通用指标;四个维度的报告共用同一份指标底料;问题样本清单字段跨工具统一,可合并后呈现一条样本的全貌,并作为修订工单的生成输入 | 工具链(三)5.4 | | (5) | 安全要求:敏感信息识别、脱敏、授权校验、访问控制、审计日志;外部模型调用须记录调用范围与数据出域情况 | b1155、b1156 | 五项能力实现在公共层,工具不自行实现——安全能力分散实现等于留若干个口子;统一模型网关为唯一外部出口,不可出域字段在网关层强制拦截,脱敏后回扫,调用逐次留记录;全项目安全体系另见安全方案一章 | 工具链(三)5.5 | | (6) | 验收要求:每个工具链提供演示样例、输入输出样例、配置说明、接口说明、测试报告 | b1157、b1158 | 五件套按工具逐个提供,9 类 25 个共 25 套,内容口径统一,使验收按同一张表逐项核对;功能测试用例与招标文件功能要求逐条对应,用例编号标注其回应的单元标识,便于按条目反查有无对应测试 | 工具链(三)5.6、第 6 节 | 表 4-1 的第六条有一项全局安排在此说明:25 套五件套在整体验收前汇总成册并编制索引,索引按招标文件单元标识排序。这样做的用途是让验收方不必先理解工具的内部结构,就能按招标文件条目找到对应的测试证据。 ### 图 4-1 公共层与业务算子的分层,以及血缘的写入点 调用层 运营平台任务提交界面 | 平台内部模块直接调用 | 加工任务服务 | 平台能力租用 公共层(25 个工具共用,对应 b1146—b1158) 六类调用接口 五种格式序列化 八项血缘字段写入 通用质量指标上报 安全管控与审计 业务算子层 工具 1—8 数据构建 | 工具 9—18 对齐与标注 | 工具 19—25 质量与验证(各工具只实现自身算子) 统一模型网关(外部模型调用的唯一出口,逐次记录调用范围与出域) 血缘服务(只追加不修改)·配置与规则资产库(按版本加载) 任务与参数 派发批次 模型调用 每环节追加血缘 指标与问题样本清单回报 图 4-1 公共层与业务算子的分层,以及血缘的写入点。血缘字段在公共层逐环节追加,业务算子不参与血缘填写。数据来源:招标文件第五章 3.2.3.11 节(1)—(6)条(b1147—b1158)。 ### 4.3 系统架构的四个统一面 若按 25 个独立程序交付,常见后果是整体不成线:样本靠人工搬运、字段口径各工序重释、质量判断无法汇总、模型换代须逐工具回归。招标文件 3.2.3.11 节将接口、格式、血缘、质量、安全、验收六条统一约束(b1146),以避免分散实现导致失配。 我方的系统架构按四个统一面组织,每一面对应上述失败形态中的一种:**任务编排**统一的是作业的生命周期,使 25 个工具对调用方呈现同一套用法;**数据契约**统一的是字段模式、版本与指纹,使样本在工具之间流动时含义不漂移;**评测回路**统一的是质量判断的来源与去向,使数据侧的问题能被定位并转成有版本的修订;**人工介入通道**统一的是判定权的行使方式,使需要人来定的事情有固定的入口与留痕。四个统一面之外,模型调用经统一网关收口,整套系统承载在奔牛数据智能平台之上,共用其身份认证、权限控制、任务调度、版本管理与日志审计能力。 ### 图 4-2 专项智能工具链的系统架构 调用侧 数据集运营服务管理平台 加工生产作业 场景验证与质量评测 统一任务编排层 任务受理 参数校验 批次切分 调度执行 质量门判定 结果发布 业务算子层:9 类 25 个专项工具 数据构建组 工具 1—8 对齐与标注组 工具 9—18 质量与验证组 工具 19—25 统一数据契约层 字段模式 版本标识 内容指纹 血缘字段 统一评测回路 基准集评测 错题归因 修订工单 会签后发新版本 统一模型网关 唯一外部出口 出域字段拦截 调用逐次留记录 可替换 可评测 可随代升级 样本只记网关 标识与版本号 不绑定具体型号 统一人工介入通道 中置信复核 不一致裁决 策略变更会签 例外放行审批 判定权在此行使 不因引入智能体 而放宽门控 处置逐条留痕 奔牛数据智能平台运行底座 身份认证 权限控制 任务调度 版本管理 日志审计 版本回灌 实线为一次加工作业的正向流转;细虚线为公共能力的调用关系;粗虚线为评测回路发出的版本回灌 图 4-2 专项智能工具链的系统架构。四个统一面自上而下为任务编排、业务算子、数据契约与评测回路,模型网关与人工介入通道纵贯其间,整体承载于奔牛数据智能平台。数据来源:招标文件第五章 3.2.3.11 节(b1146—b1158)、3.2.3.1 节工具链清单(b0917)。 ### 4.4 统一任务编排层 编排层解决的是「25 个工具对调用方呈现同一套用法」。它承担一次加工作业从受理到发布的全过程:接收任务、校验参数、切分批次、调度算子执行、判定质量门、发布结果,其间按状态变更推送回调;作业可被暂停与恢复、可按批次重试、可在发布前取消。 **调用契约。** 公共层对 25 个工具提供同一组调用,调用方按同一套参数与返回结构编程,不为每个工具另学一套用法。招标文件 3.2.3.11 节第(1)条要求的六类调用,加上参数校验与能力描述两类辅助调用,构成表 4-1A。标准应用程序接口与平台内部服务接口两种形态同时提供,共用同一套参数与返回结构;接口的字段定义与错误码分类见工具链(三)。 表 4-1A 公共层对外提供的调用及其契约 | 调用 | 作用 | 关键入参 | 返回 | 幂等口径 | |---|---|---|---|---| | 任务创建 | 提交一次加工作业 | 输入数据集版本引用、参数集版本引用、输出落点、回调地址、客户端请求标识、优先级声明 | 任务标识、受理状态、预估批次数 | 按客户端请求标识幂等,重复提交返回同一任务标识 | | 任务查询 | 取任务当前状态与进度 | 任务标识 | 状态、阶段、批次进度、已完成与失败条数、指标快照 | 天然幂等 | | 结果获取 | 分页取结果记录 | 任务标识、分页参数、按批次与状态的筛选条件 | 结果记录分页、结果集指纹 | 天然幂等 | | 异常重试 | 重跑失败批次 | 任务标识、批次标识列表(缺省为全部失败批次)、是否沿用原参数版本 | 重试任务标识、纳入重试的批次清单 | 按批次幂等,已成功批次不重复执行 | | 批量导出 | 异步导出结果 | 格式、筛选条件、是否含未审核样本、脱敏级别 | 导出作业标识、取件地址、有效期、导出清单 | 按筛选条件指纹幂等 | | 状态回调 | 向调用方推送状态变更 | 任务标识、状态、阶段、指标摘要、失败摘要 | 调用方的接收确认 | 带递增序号与去重标识,允许重复投递 | | 参数校验 | 提交前预检参数集 | 工具标识、参数集 | 校验结论、不合法项与原因 | 天然幂等 | | 能力描述 | 取工具的参数与输出定义 | 工具标识、版本 | 参数清单、取值范围、默认值、输出字段与格式 | 天然幂等 | **作业契约的形态。** 一次作业的输入不是一堆文件路径,而是三个引用:输入数据集的版本引用、参数集的版本引用、输出落点的声明。用引用而不用路径,作业才可重放——同一个作业在半年后按原引用重跑,得到的应是同一批输入与同一套参数。这项约定是「配置即代码」(见本章 3.2)在编排层的落实方式。 **批次粒度的统一。** 所有工具按批次执行,批次是重试、计量、质量门判定与血缘登记的共同单位。粒度不统一会直接导致部分失败无法局部重试:若某工具以整任务为单位,一批十万条样本中失败两百条就要全部重算。批次大小按工具与数据类型配置,但「以批次为失败与重试单位」这一条不因工具而异。 **质量门的位置固定。** 质量门判定排在结果发布之前,由编排层按集中登记的门限执行,算子只上报指标、不自判放行。这样门限不会散落在各工具的代码里,验收时在一处即可核对。门限配置集中登记,变更走策略会签(见本章 4.7)。 **任务状态与合法迁移。** 任务状态固定为八个,调用方按状态编程,不以自由文本判断进展。八个状态、各自允许的操作与合法迁移见表 4-1B。表中未列的迁移一律拒绝并返回状态冲突错误:这使「跳过质量门直接发布」「对已发布结果就地改写」一类动作在接口层就不成立,而不是靠流程纪律约束。 表 4-1B 八个任务状态与合法迁移 | 状态 | 含义 | 本状态允许的操作 | 可迁出到 | 迁出的触发 | |---|---|---|---|---| | 已受理 | 任务已登记,尚未校验 | 查询、取消 | 参数校验中;终止(已取消) | 自动进入校验;调用方撤回 | | 参数校验中 | 校验参数集、输入版本引用与调用权限 | 查询、取消 | 执行中;终止(参数不合法、已取消) | 校验通过进入执行;校验未过即终止并给出不合法项 | | 执行中 | 按批次调度算子 | 查询、暂停、取消 | 质量门判定;部分失败;已挂起;终止(已取消) | 全部批次完成;出现失败批次;人工暂停或配额耗尽 | | 部分失败 | 有批次失败,成功批次的产出保留 | 查询、按批次重试、放弃失败批次、取消 | 执行中;质量门判定;终止(已取消) | 重试后续作;经授权角色确认放弃失败批次后进入判定 | | 质量门判定 | 按集中登记的门限判定本次产出 | 查询 | 已完成;已挂起 | 门限通过;门限未过 | | 已挂起 | 人工暂停、质量门未过或配额耗尽 | 查询、恢复、阈值回退一档重跑、人工放行、取消 | 执行中;已完成;终止(已取消) | 恢复或重跑;人工复核放行 | | 已完成 | 结果齐备,尚未发布 | 查询、取结果、发布、退回 | 结果已发布;已挂起 | 发布流程通过;发布前复核退回 | | 结果已发布 | 结果可被引用、导出与下游消费 | 查询、取结果、导出 | 不再迁出 | 更正以发布新版本实现,不就地改写 | 两个终止标记不计入上述八态:参数不合法由参数校验中进入,不可恢复,须修正参数后新建任务;已取消由任何非终态进入,取消后不再调度新批次。 **暂停与恢复。** 暂停有三种触发:授权角色人工暂停、配额耗尽自动挂起、质量门未过自动挂起。挂起不丢进度——已完成批次的产出与血缘记录保留,恢复后从下一个未完成批次续作,不从头重算。挂起状态一律不自动恢复,须显式恢复、重跑或放行;自动恢复会让一次本该有人看一眼的中断悄悄过去。 **取消。** 取消是显式动作,由提交方或授权角色发起并带取消理由。取消后不再调度新批次,在途批次按配置或立即中止或跑完当前批次再停。取消作业中已完成批次的产出保留但标记为取消作业产出,不进发布版本;确需使用的走例外放行审批(见本章 4.7)。取消理由、发起角色与中止方式一并记入批次审计。 **运行时的八项约定。** 状态机规定了一次作业能走哪些路,下面八项规定的是作业在并发、故障与版本变动中的行为。这八项不写明,25 个工具在实施时会各自给出一种做法,而它们之间的差异只有在压力下才暴露:队列堵住、重复提交多跑一遍、断点重来、超时静默失败。八项约定见表 4-1C。 表 4-1C 编排引擎的八项运行时约定 | 约定 | 做法 | 不这样做的后果 | |---|---|---| | 队列优先级 | 作业分三档:评测与发布类作业优先于日常加工作业,日常加工作业优先于回溯与重跑作业。同档按提交时序;长作业按批次让出执行位,避免短作业饿死。优先级由提交方在授权范围内声明,越权声明降为默认档并记一条审计 | 一次全量重跑可以把当期的发布评测堵到交付节点之后 | | 配额 | 按调用方、按工具、按模型网关调用量三个维度设配额。配额耗尽的作业转挂起而非失败,并在任务查询中给出耗尽原因与可恢复时点;网关调用量另设单作业批次上限 | 一个回溯作业占满外部调用额度,当期生产停摆 | | 幂等 | 任务创建按客户端请求标识幂等,重试按批次幂等,导出按筛选条件指纹幂等,回调带递增序号与去重标识 | 网络重试导致同一批样本被加工两遍,数据集里出现无法解释的重复 | | 断点续作 | 进度以批次为单位持久化,记已完成批次清单、各批次输入与输出指纹、本作业固定的参数版本组合。进程中断或节点故障后按清单续作,续作沿用原参数版本而非当时的最新版本 | 一批跑了八成的大作业因一次中断全部重算;或续作时取了新版本,同一数据集里出现两种口径 | | 超时 | 三层超时各自设值:单次外部调用超时、单批次超时、整作业超时。前两层按暂态故障退避重试,第三层转挂起并告警 | 作业长期停在执行中而无人察觉,看板上显示在跑、实际已经死了 | | 故障隔离 | 算子在独立执行单元内运行,一个工具的异常不影响同节点上的其他作业;模型网关、索引服务、源系统只读接口等外部依赖各设熔断,连续失败达阈值即熔断并挂起依赖该服务的作业,熔断与恢复均记入任务日志 | 一个依赖抖动引发全平台作业连锁失败,恢复时无从判断该先起哪一批 | | 版本兼容 | 字段模式只增不改:新增字段必为可选,不删既有字段,不改既有字段语义;确需改语义则发布新主版本,旧版本在一个发布周期内保持可读。作业按提交时固定的版本组合执行,运行期间上游发版不改变在途作业所用版本 | 先投产的工具每次上游改版都要跟着改一遍,分批投产无法成立 | | 批次审计 | 每个批次留一条审计记录:批次标识、所属作业、输入与输出指纹、参数与规则版本、执行节点、起止时点、处理条数、失败条数、质量门结论、人工处置动作。记录只追加不修改,按作业、按工具、按时间窗可查 | 出了问题只能问人,答案取决于谁还记得 | 批次审计记录与血缘记录是两套,不互相替代:血缘记录的是一条样本经历了什么,审计记录的是一次作业发生了什么。两者按批次标识关联,一条样本出问题时可由样本查到批次,再由批次查到当时的执行情况与处置动作。 ### 4.5 统一数据契约:字段模式、版本与指纹 数据契约解决的是「样本在工具之间流动时含义不漂移」。它由四件构成:字段模式、版本标识、内容指纹与血缘字段。八项血缘字段的定义见工具链(三);字段模式、版本标识与内容指纹三件的约定如下。 **字段模式**是每一类产出的字段定义,含字段名、类型、取值域、必填性与语义说明。模式本身是受版本管理的资产,工具在输出中声明所用模式的标识与版本,下游按模式名读取字段而不按位置读取。模式的兼容性规则定为只增不改:新增字段须为可选,不删除既有字段,不改变既有字段的含义。确需变更语义时发布新主版本,旧版本在一个发布周期内保持可读,期间下游完成迁移。这条规则看着保守,但它是 25 个工具能够分批投产的前提——若模式可以随意改,先投产的工具每次都要跟着改一遍。 **版本标识**分五类,彼此独立编号、互不代替。混用版本号是数据加工中一类隐蔽的错误:规则库改了而数据集版本不变,半年后就无法回答「这批样本是按哪一版规则处理的」。五类版本的定义与变更规则如表 4-2。 表 4-2 五类版本标识的定义与变更规则 | 版本类 | 标识对象 | 谁来递增 | 变更的触发 | 变更后的影响面 | |---|---|---|---|---| | 数据集版本 | 一个可发布、可引用、内容冻结的数据集 | 发布流程 | 样本集合发生增删改并通过发布审核 | 训练与评测须声明所用版本;旧版本保留可取用 | | 字段模式版本 | 一类产出的字段定义 | 模式评审 | 新增字段或发布新主版本 | 下游读取逻辑;跨主版本须迁移 | | 规则库版本 | 本体约束、脱敏规则、评分规则、判定阈值 | 策略会签 | 规则增删或阈值调整 | 此后处理的样本;已处理样本不追溯重写 | | 模板库版本 | 提示词模板、生成模板、报告模板 | 策略会签 | 模板内容或槽位结构变更 | 此后生成的样本;留旧版本以备重放 | | 工具版本 | 算子实现本身 | 发布流程 | 功能变更或缺陷修复 | 需做回归比对后方可切换 | **内容指纹**是对一段内容按确定算法算出的摘要,用途有三:判两份导出件是否同源、判一次重放的结果与原结果是否一致、判一份交付物在流转中是否被改动。指纹算在三个层次上,分别是样本级、批次级与结果集级。层次分开的理由是粒度不同用途不同:核对一条样本的争议用样本级,核对一次重放用批次级,核对一份交付物用结果集级。 模式说明语义,版本说明批次,指纹核对是否被改动。三件齐备,样本跨工具全程可解释。 ### 4.6 统一评测回路 评测回路解决的是「数据侧的问题能被定位并转成有版本的修订」。前三个统一面支撑作业运转;评测回路支撑数据侧问题定位与带版本修订。 回路由六个环节构成,起点是评测、终点是新版本的规则库或模板库,中间必经一次人工会签。六个环节与其产出见表 4-3。第五环节约定:**改进建议不自动生效**。评测与归因产出的是建议,建议须经人工会签后才形成新版本的规则或模板,发布时带版本号与回滚路径。把这一环写死,是因为自动采纳改进建议会制造一类很难查的问题——数据集的处理口径在无人察觉时发生了漂移,而漂移的起点无从追溯。 表 4-3 评测回路的六个环节 | 环 | 动作 | 承担工具 | 产出物 | 留痕 | |---|---|---|---|---| | 1 | 在冻结基准集上按既定协议评测 | 工具 23 | 评测报告、样本级评测结果 | 协议版本、基准集版本、随机种子、被测对象标识 | | 2 | 将错题关联到训练样本、来源、标注批次、生成批次、质量问题或覆盖盲区 | 工具 24 | 错题聚类、归因结论 | 归因依据与置信说明 | | 3 | 按血缘回溯到具体的数据集版本与处理链路 | 工具 25 | 影响范围清单 | 血缘查询记录 | | 4 | 将归因结论转为修订工单,分派到对应环节 | 工具 24 | 修订工单 | 工单号、责任环节、期望动作 | | 5 | 人工会签:判断建议是否采纳、采纳到什么程度 | 项目组与甲方业务口 | 会签意见 | 会签记录(记角色不记姓名)、未采纳项的理由 | | 6 | 发布新版本规则库或模板库,登记回滚点 | 编排层与策略管理 | 新版本及其变更说明 | 版本号、变更项、回滚路径、生效范围 | 回路的有效性不以「回路跑通」为判据,而以版本间的对比为判据:每一次规则库或模板库发版后,在同一冻结基准集上以同一协议重跑一次,产出新旧两版的对比报告。首期以第一次完整回路的实测结果作为基线,此后各版与基线比对;若新版本在基准集上的表现未达上一版水平,按第 6 环登记的回滚路径回退到上一版,并把该次比对结论记入版本说明。本项目所称迭代限于:有界、留痕、可回退;不采用无人值守的自行演化。 回滚路径的具体内容在发版时写明,含回滚的触发判据、回滚后受影响的在途作业如何处置、以及已按新版本处理的样本是否需要重处理。最后一项按情形分别约定:若新版本只影响此后生成的样本,回滚不触发重处理;若新版本改变了判定口径并已回写到存量样本,回滚须同时撤销该次回写,撤销动作本身作为一条追加记录写入血缘而不是抹去原记录。 ### 4.7 统一人工介入通道与智能体加速的边界 人工介入通道解决的是「需要人来定的事情有固定入口与留痕」。通道按介入性质分四类,各有其触发条件、承办角色与留痕要求,见表 4-4 上半部。 这一面还承担另一项职责:界定智能体加速的边界。招标文件在多轮对话数据构建类工具链中明确要求基于多智能体机制自动生成多轮对话(b0968、b0969),在项目目标中两处要求提升模型与智能体的能力(b0663、b0674)。我方据此在加工生产侧引入智能体协同,用途是候选生成与初筛——由智能体产出候选样本、候选标签、候选切分方案与候选规则建议,交由既有的质检与验证门控判定。 这项引入**不改变任何门控**:置信度分档逻辑不变,抽检比例不变,不一致裁决规则不变,质量门的位置与门限不变,中置信与低置信样本仍进人工复核与人工标注队列。门限的任何调整都走策略会签,与是否引入智能体无关。 智能体仅改变候选产出方式,不改变判定口径来源。放宽门控等于以未验证变化抵扣已验证保障;口径漂移会进入训练集并传导至模型,回溯成本高。 表 4-4 人工介入的四类通道,以及智能体在各环节的职责界限 | 类别 | 触发条件 | 承办 | 留痕要求 | |---|---|---|---| | 中置信复核 | 工具输出落在复核带内 | 复核岗 | 原判、复核判、修改理由、耗时 | | 不一致裁决 | 多人标注或双通道评分不一致超限 | 裁决岗或领域专家 | 分歧点、裁决结论、所依据的规则条款 | | 策略变更会签 | 规则库、模板库、阈值、门限的任何变更 | 项目组与甲方业务口 | 变更项、理由、生效范围、回滚路径 | | 例外放行审批 | 质量门未过而需放行,或导出含未审核样本与敏感字段 | 授权角色 | 放行理由、影响范围、有效期、后续补做事项 | | 环节 | 智能体承担 | 判定权在哪 | 门控有无变化 | |---|---|---|---| | 采集接入 | 来源与格式的候选识别、疑似异常批次的初筛清单 | 采集环节既有的接收校验与来源登记 | 无变化 | | 清洗去噪 | 候选清洗规则建议、疑似噪声样本清单 | 清洗规则经策略会签后生效;样本去留按既有阈值 | 无变化 | | 数据构建 | 候选推理路径、候选对话、候选长上下文切分 | 自一致性筛选、质量评分与人工复核(工具 1、6、8) | 无变化 | | 智能标注 | 预标注候选标签与证据片段、待标注优先序 | 置信度分档与一致性裁决(工具 12—15) | 无变化 | | 治理支撑 | 术语与本体的候选条目、治理文档的候选草案段落 | 数据治理体系的标准评审与会签 | 无变化 | | 质量与验证 | 问题样本的候选聚类、归因的候选解释 | 质量门与评测协议;归因结论经人工确认 | 无变化 | ### 图 4-3 智能体加速与质检门控的职责分界 智能体协同区:候选生成与初筛 候选样本 候选标签 候选切分方案 候选规则建议 初筛:按既有判据排序与打标 产出的是候选与排序,不产出结论 既有门控 置信度分档 抽检与复核比例 不一致裁决规则 质量门与门限 判定与留痕 高置信:入候选集并按比例抽检 中置信:进人工复核,工具给修改建议 低置信:进人工标注,工具输出仅作参考 人工处置结果回流,用作候选生成与初筛的标定集 门控的分档逻辑、抽检比例、裁决规则与门限不因引入智能体而调整;任何调整走策略变更会签 处置逐条写入血缘的审核状态字段 图 4-3 智能体加速与质检门控的职责分界。智能体的产出止于候选与排序,判定权保留在既有门控上。数据来源:招标文件 3.2.3.4.1 节多智能体对话生成要求(b0968、b0969)、项目目标中提升模型与智能体能力的表述(b0663、b0674);置信度三档处置口径见本章 3.2。 智能体在加工生产侧的用途有一处范围边界:本包交付数据集加工生产、质量评测与场景验证服务,智能体限于加工生产侧的作业组织,不构成为甲方建设智能体应用。数据集运营服务管理平台中列明的智能体开发服务(b1810、b1811)是平台面向行业用户的服务供给能力,其服务形态与配额口径见数据集运营服务管理平台一节。 ### 4.8 可替换、可评测、可随代升级落在哪一层 凡涉及大模型调用的环节一律经统一模型网关接入,网关侧采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级。这三项不是一句表态,它们各自落在架构的具体位置上,见表 4-5。 表 4-5 三项能力的实现位置与判据 | 能力 | 落在哪一层 | 具体做法 | 判据 | |---|---|---|---| | 可替换 | 统一模型网关 | 算子通过网关调用,不直接对接任何模型服务;样本与血缘只登记网关分配的标识与版本号 | 替换模型不需改动算子实现,不需改动字段模式,不需回改存量样本的血缘记录 | | 可评测 | 统一评测回路 | 候选模型在冻结基准集与留存回归集上按同一协议评测,产出与在用模型的对比报告 | 对比报告给出逐能力项差异;未达在用模型基线水平的候选不予切换 | | 可随代升级 | 编排层的版本发布流程 | 升级按发版流程执行,灰度一个批次后再全量切换,登记回滚点 | 灰度批次的评测结论达基线方可扩大范围;不达标按回滚路径退回 | 模型换代后,存量样本的血缘记录保持可追溯:记录中的网关标识与版本号不随换代改写,使半年前的一批样本仍能回答「当时用的是网关登记的哪一个模型版本」。这一条与 4.5 的「血缘只追加不修改」是同一条约定在模型维度上的表现。 ### 4.9 统一的统计判据:自动采纳门限、批次估计与比较口径 公共层上还有一组东西,比接口与字段更不显眼,但它决定了全部二十五个工具报出来的数能不能当证据用。那就是统计判据——门限怎么定、批次合格率怎么算、两个版本的差异怎么判断是真差异还是波动。这三件事若由各工具自行处置,二十五个工具就会有二十五套算法,报表汇到一处无法合并,验收时也无从复核。因此本项目把它们做成公共层的三条统一判据,一次定义、各工具调用。 **第一条,自动采纳的门限由校准算出,不由人定。** 工具的输出按置信度分三档,高置信档自动进入候选集,这件事的关键在于「高」从哪里划。常见做法是在试点批次上看一眼置信度与正确率的对应关系,取一个看起来合适的数。本项目把这一步做成可复算的标定过程:取一批已由人工确认的样本作校准集,把工具输出的置信度当作打分依据,在校准集上搜索门限值,使「置信度不低于该门限的样本,其标签错误率不超过设定上限」这一结论在给定的置信水平下成立。门限随校准集扩充自动重算,不由人临时调整。 这个做法与「抽检合格率达到某个数」的差别,在于它是事前保证还是事后统计。抽检是产出之后抽一部分看对不对,结论只覆盖抽到的那部分;校准是产出之前先把门限算出来,使门限以上的那一部分整体错误率有上界。验收时招标方问「凭什么说自动入库的那部分是对的」,可以出示校准集、搜索过程与门限值,第三方用同一校准集能算出同一个门限。 落实上有两处要讲清楚。一是校准集必须与生产批次同分布,所以**每个业务域、每类任务单独校准**——图纸要素抽取与工单实体抽取的置信度含义不同,不能共用一个门限。二是工具的输出记录要增加三个字段:校准集版本、错误率上限设定值、算出的门限值,使任何一条自动采纳的样本都能回答「它是按哪一次校准的哪一个门限进来的」。 落实上还有一处比门限本身更要先定下来:**什么算一条样本错了。** 错误率上限是对一个集合说的,集合里每一条的对错若无统一的判定规则,上限就无法验收——验收时招标方只要问一句「你说错误率不超过百分之五,什么算错」,就须当场答得出来。而七类适用环节的「错」彼此完全不同,不能共用一条规则,须逐环节写定,见表 4-6。判错规则一经确定即随门限一并版本化,变更走配置变更会签,不在校准过程中临时放宽——**放宽判错规则可以让任何门限都「达标」,这正是这类保证最容易失效的地方。** 判错分两类记账。一类是硬错:取值与原始凭据不符、标签与标注规范冲突、证据片段在原文中无法定位,这类直接计入错误率。另一类是可修复问题:字段缺项、格式不规范、表述不完整而取值无误,这类另立口径统计,不计入错误率,但按批次登记并纳入质量报告——把可修复问题混进错误率,会使门限被压得过低、自动采纳比例失去意义。 表 4-6 七类适用环节的判错规则与首期错误率上限 | 适用环节 | 打分依据(置信度来源) | 一条样本「错」的判定规则 | 首期上限 | 校准集来源 | |---|---|---|---|---| | 大模型预标注 | 多次采样的答案归并后最大类占比 | 标签与标注规范不符,或证据片段在原文中无法定位 | 百分之五 | 复用一致性校验已确认的标注结果,按任务类型分建 | | 文档结构解析 | 版式路线的坐标自洽度;视觉路线的识别置信度 | 标题层级错挂、跨页表格拼接错、页码或段序号溯源错 | 百分之五 | 已人工核对的章节树与表格样本 | | 图纸要素抽取 | 图元解析完备度与五项工程自检结论 | 字段值与图纸不符,或几何量与按同一公式手算结果偏差超图纸公差带 | 百分之三 | 已由工艺或设计口确认的图纸样本 | | 视频—文本对齐 | 时钟校准置信度与帧事件匹配度 | 帧与事件配错、帧说明中的数值与同时刻读数不符 | 百分之五 | 人工标定的共现事件样本 | | 时序—事件对齐 | 锚点可靠性分档与变化点检测置信度 | 片段切到错误的事件窗,或诊断文本中的数值与特征计算结果不符 | 百分之五 | 专家确认过时点的事件样本 | | 对话质量筛选 | 多模型评分的共识程度 | 判为通过的对话经人工复核判为低质 | 百分之五 | 已双盲复核的对话样本 | | 语义级去重判定 | 向量近邻的相似度 | 判为重复的两条实际不重复(误删方向);漏判另按召回口径统计 | 百分之二 | 人工裁定过的重复组样本 | 表 4-6 数据来源:打分依据与判错规则依各工具链分节的输出字段与质量口径;图纸要素抽取与语义级去重判定的上限从严,理由见下段;上限取值为本方案设定的首期目标,属待验证目标,随首轮校准实测结果调整后报招标方确认。 两处上限从严有具体理由。图纸要素抽取取百分之三,因为下料尺寸写错一条即是整张钢板的废料,错误代价不对称;语义级去重判定取百分之二,且判错方向定为误删,因为被误删的样本不会再被发现——它不进数据集,也不进问题清单,而漏删的重复样本尚可在后续批次中被查出。**判错方向的选择本身就是一项工程决定,须写明而不是留给实现者。** 门限的有效性还依赖一个前提:生产批次与校准集来自同一分布。这个前提在建设期内会被打破,而且打破时不会报错,因此要有监测。四项信号任一触发即挂起该环节的自动采纳、转为全部进复核队列,并启动重标定:置信度分布与校准集相比发生偏移;自动采纳比例相对近期批次突变;抽检实测错误率连续两批高于设定上限;输入构成发生已知变化——新增图纸类型、新上线设备、提示词模板或输出格式换版、模型经网关随代升级。前三项由工具自动监测,第四项由变更记录驱动,两条路径都登记在批次质量报告中。 重标定的代价是可控的,原因在于**校准集不额外产生标注工作量**:它复用人工复核与一致性裁决本就要做的确认结果,按业务域与任务类型分池累积,随建设推进越积越厚。首轮校准所需的样本量在数百条量级(取决于设定的上限与置信水平),这一批在试点阶段的复核产出中即可满足;不足时按前述口径取保守门限并在报告中注明。模型随代升级后不沿用旧门限,而是在新模型上重跑校准——**门限属于「某个模型版本在某类任务上的」门限,不属于工具本身**,这一点在字段上已由校准集版本与模型标识共同体现。 **第二条,批次合格率报区间,不报单点。** 批次质检的通常做法是抽二百到五百条双盲复核,用复核通过率作批次合格率。这个数的问题不是不准,而是它的不确定性没有被报出来——抽三百条得到 96%,真实值可能在 93% 到 98% 之间,而报表上只有 96% 这一个数。扩大抽检量可以收窄区间,代价是人工线性增长。 本项目的处置是把两种信息合起来用:工具对全量样本都有评分,这个评分覆盖面大但有系统偏差;人工对小样本有复核,这个结论可信但覆盖面小。做法是先用全量评分得出初始估计,再用人工复核样本上「模型判定与人工判定的差值」对初始估计做偏差纠正。得到的结果是一个无偏的点估计加一个置信区间,而且在同等人工投入下,区间比纯抽检更窄。换一个角度说,要达到同样的区间宽度,需要的人工复核量比纯抽检少。 这里有一条必须守住的前提:人工复核的样本要**随机抽取**。不能专挑难的,也不能专挑模型打分低的——一旦抽样有倾向,差值纠正项本身就带了偏,算出来的区间看着窄却是错的。确实需要按难度或来源分层抽取时,用分层的纠正口径,分层比例一并留档。另一条前提是全量模型评分与人工复核必须用同一张评分表、同一套判定口径,否则两者的差值没有意义。 **第三条,版本之间的比较用配对口径。** 评测结论要回答的常见问题是「这一版比上一版好了多少」。本项目对此固定三件事。一是基准指标一律报为均值与百分之九十五区间,区间按题目层面的自助重采样计算;二是两个版本或两个模型的比较用**配对**检验——拿同一批题目的逐题结果做配对重采样,而不是比较两个独立区间是否重叠,后一种做法会把本来能分辨出来的差异判成分辨不出;三是给出基准集规模与可分辨差异的对应关系,即零点九五万条基准在题目层面能稳定分辨多大的差异,写明这个量级,使「提升零点八个百分点」这类结论有判断依据。 自助重采样有一个容易做错的地方要点明:重采样要按**题目簇**而不是按单题进行。同一份文档或同一张工单派生出的若干道题彼此相关,若按单题独立重采样,算出来的区间会偏窄,看起来比实际更有把握。 这三条判据与本章 4.6 的统一评测回路是同一套东西的两面:评测回路规定了什么时候测、测什么、结论往哪走,统计判据规定了结论本身怎么算、精度怎么表达。三条判据的指标口径按本章 8.1 的三段式表述,汇总见表 4-7。 表 4-7 三条统一统计判据的首期基线、度量方式与回退 | 判据 | 适用环节 | 首期基线 | 度量方式 | 未达基线时的回退 | |---|---|---|---|---| | 自动采纳门限的校准 | 大模型预标注、文档结构解析、图纸要素抽取、视频对齐、时序对齐、对话质量筛选、语义级去重判定 | 错误率上限按百分之五设定并完成首轮校准(逐环节细化与从严项见表 4-6);每季度随校准集扩充复算 | 出示校准集版本、搜索过程记录与门限值,第三方用同一校准集复算 | 校准样本量不足时门限取保守侧(宁可少自动采纳),并在质量报告中注明本批按保守门限运行 | | 批次合格率的区间估计 | 批次质检报告、数据集质量评测、验收抽样结论、标注一致性指标 | 报告一律给出点估计与置信区间两段;人工复核样本随机抽取且比例留档 | 复核样本的抽取记录+全量评分与人工判定的差值台账 | 人工复核量不足以给出有效区间时,退回纯人工抽检口径并在报告中注明口径变更 | | 版本比较的配对检验 | 基准评测的版本对比、模型候选对比、整改前后对比 | 主指标一律带百分之九十五区间;版本比较一律用配对口径;写明基准集可分辨的差异量级 | 逐题结果留档,重采样按题目簇进行;比较结论附检验口径说明 | 差异未达可分辨量级时,结论表述为「未检出显著差异」而不表述为持平或提升 | 表 4-7 数据来源:适用环节依本章表 1-1 的工具清单与第 3 节的供需关系;基线取值为本方案设定的首期目标,属待验证目标,随首轮校准与首轮评测的实测结果调整后报招标方确认。 ### 4.10 计算接地:叙述里的每一个数都能回指一次计算 工具链中有若干环节要输出文字说明,而不只是输出字段。时序对齐之后要出一段工况诊断说明,视频对齐之后要出帧级的事件描述,图纸要素抽取之后要把几何量组织成可读的条目,故障场景构建要把故障树与处置建议写成文本。这些文字说明里必然带数值——温度多少度、持续多少秒、偏差多少毫米、判定为哪一档。 这些数值的来源必须说清楚,因为它关系到招标方最在意的一件事:数据集里会不会有编出来的内容。本项目对此定一条公共层的格式约束:**凡输出文本中出现的数值、单位、阈值与结论标签,一律来自确定性计算的结果,由模板填入;语言模型只负责把已经填好的事实组织成通顺的说明,不参与任何数值的产生。** 落实的办法是在输出记录里保留一个计算事实字段,逐项登记本条说明所依据的计算结果——测点编号、时间区间、计算式名称、输入值与输出值。校验器机械比对说明文本中出现的每一个数字与该字段中的值,不一致即判不通过,退回重新生成。这道校验是逐字符比对,不依赖任何语义判断,因此可以全量运行而不只是抽检。 这条约束的作用有三层。对数据集本身,它使每一段诊断说明都可复算——招标方拿到一条样本,照着计算事实字段把计算重做一遍,应当得到说明里的同一个数。对加工过程,它把语言模型的职责限定在组织语言上,模型换代不影响数值的正确性,因为数值从来不由模型产生。对将来的使用方,它使说明文本可以安全地进入训练语料:一段数值可复算的工况说明,教给模型的是真实的工艺事实;一段数值由模型生成的说明,教给模型的可能是一个看起来合理的错数,而这种错在海量样本里不会被摊薄,只会被学会。 需要说明适用边界:这条约束管的是数值与结论标签,不管定性描述的措辞。一段说明里「焊接电流在第三道出现明显波动」中的「明显」二字由模板的档位规则决定,而「第三道」与波动幅值来自计算;模型可以调整句子的组织方式,不能改动这两项。校验器只比对数值,措辞层面的质量由抽检与人工复核把关。 ## 5、与相邻建设内容的责任边界 本包交付的是数据集加工生产、质量评测与场景验证。工具链建设属其中的加工生产手段。我方在本章范围内不承担智能场景建设,不承担模型训练与推理服务部署;工具链产出训练与评测所需的数据与评测结论,由训练推理技术服务消费。工具链的运行承载在奔牛数据智能平台之上,共用平台的身份认证、权限控制、任务调度、版本管理与日志审计能力,不各自另建运行支撑。 ### 5.1 边界划在数据的交接点上 工具链与相邻建设内容的边界划在数据的交接点上,而不是划在组织上:交接点是一组具体字段、一次可演练的交接动作和一条不通过时的处置路径,责任随字段走。边界总表见表 5-1,四处交接密集的相邻内容在 5.2 至 5.5 逐一给出接口字段与交接用例。 表 5-1 工具链与相邻建设内容的责任边界 | 相邻内容 | 交接的是什么 | 工具链一侧的责任 | 相邻一侧的责任 | |---|---|---|---| | 数据资源采集接入 | 清洗后语料、结构化业务记录、图纸、测点时序、视频的只读取数 | 接收已登记来源、已完成格式归一与敏感信息初筛的数据;按来源出质量报告并据此提取数改进要求 | 源系统接入、协议对接、清洗去噪、初筛、接口开通推动 | | 数据集加工生产环节 | 工具与规范的使用 | 交付工具、标注规范文本、阈值与规则的首期基线配置 | 标注与复核作业的产能组织、排班、计件;逐样本质检的执行 | | 数据治理体系 | 统一对象标识服务、数据集标准、术语与本体资产 | 作为使用方提出接口要求,按数据集标准转换入库,按本体版本加约束 | 交付统一标识服务与数据集标准,组织标准与本体的版本演进 | | 行业大模型训练推理技术服务 | 数据集版本的取用与被测对象的推理接口 | 产出训练与评测数据并携带完整血缘;按协议在冻结基准集上执行评测 | 训练、调参、算力调度;提供推理接口与检查点登记;训练任务须登记所用数据集版本 | | 数据集运营服务管理平台 | 任务提交、看板、血缘图谱与审计查询的入口 | 提供接口与数据,提供能力描述接口使平台无需硬编码参数表 | 界面与交互实现;数据集与工具链能力的对外提供形态与配额 | | 数据集质量评测 | 过程证据与成品评测 | 提供样本级与批次级的过程指标、问题样本清单、运行记录与冻结集 | 成品数据集的指标体系、评测组织、第三方盖章报告的出具 | | 场景验证 | 样本与可核对的评测口径 | 提供各场景所需样本与评测口径的计算方式 | 验证用例的组织、现场验证流程与结论形成 | | 智能场景建设 | —— | 不在本包范围 | —— | 表 5-1 中下列两条边界实施阶段争议较多,展开说明: **与训练推理技术服务的边界**按「工具产数据、训推消费数据」划分。工具链不写训练方案,训练推理一侧不写工具的功能设计。两者之间有三个接口是硬约束:被测对象经统一模型网关以同一种调用形式接入,工具链不感知对象差异;训练任务必须登记其使用的数据集版本,否则血缘链路在训练任务这一节点断开,缺血缘字段的训练作业不予调度;留出对比所需的额外训练轮次由训练推理一侧承担,工具链负责设计对比方案、提供子集划分与评测执行。贡献度估计的具体算法在验证与归因类工具中给出,两处使用同一套方法,不在两处给出不同算法。 **与运营平台的边界**按「工具提供能力、平台提供入口」划分。工具链不设计界面,平台不实现工具算子。两者之间的接口是公共层的六类调用、参数校验与能力描述调用。工具链能力的对外提供形态按数据集运营服务管理平台约定的平台能力租用与加工任务服务两种方式执行,基准测试数据集按评测服务方式提供而不交付题目与标准答案本身——理由与本章的评测集隔离原则一致:基准集的题目与答案一旦外流,它就不再具备评测效力。 ### 5.2 与数据资源采集接入的接口字段与交接用例 采集接入向工具链交接的是一个带完整声明的数据包,不是一批文件。表 5-2 是数据包必备字段,缺任一项的批次不进加工——这些字段不是元数据的装饰,后面每一道判断都依赖它们。 表 5-2 采集接入向工具链交接的数据包字段 | 字段 | 含义 | 填写方 | 工具链一侧的校验 | |---|---|---|---| | 来源系统标识 | 数据取自哪一个源系统 | 采集接入侧 | 与来源登记表比对,未登记的来源拒收 | | 源对象标识 | 源系统中的业务主键 | 采集接入侧 | 非空,且与声明的来源系统的编码形态相符 | | 内部对象主键 | 经统一对象标识服务换取的内部主键 | 采集接入侧 | 齐备性核对,未命中与冲突的条目不进加工,列入待补映射清单 | | 来源家族标识 | 源文档标识或源对象族 | 采集接入侧 | 非空;为空者整族标未知并排除出评测集 | | 采集时点与业务发生时点 | 两个时点分别登记 | 采集接入侧 | 业务发生时点用于映射解析与条款版次匹配,缺失即无法回放 | | 格式归一结论 | 原格式、归一后格式、归一规则版本 | 采集接入侧 | 归一后格式须在五种格式之内;规则版本须可解析 | | 敏感信息初筛结论 | 命中类别、处置方式、规则版本 | 采集接入侧 | 缺失的批次不得进入任何涉及外部模型调用的环节 | | 许可标识 | 使用范围分档 | 采集接入侧 | 缺失按最严一档处理并挂起相关环节 | | 内容指纹 | 本批内容的摘要 | 采集接入侧 | 逐批重算比对,不符即整批退回 | | 完整性声明 | 条数、字节数、已知缺失清单 | 采集接入侧 | 与实收比对,不符即整批退回 | 交接用例以一批热处理炉次记录与同期测点时序的交接为例。第一步,采集侧按上表字段打包并登记批次,给出完整性声明与内容指纹。第二步,工具链侧先校验完整性声明与指纹,条数或指纹不符即整批退回,不做部分接收——部分接收会切断来源家族,后续切分隔离无从判定。第三步,校验内部对象主键齐备性,未命中的条目不进加工,列入待补映射清单同时回传采集侧与治理侧。第四步,校验敏感信息初筛结论与许可标识,两项任缺其一,本批不得进入经网关的调用环节,只能走内网处理。第五步,接收后按来源出质量报告,报告中的问题类型与条数即向该源系统提取数改进要求的依据。整个交接过程的可核验之处在于:每一步比对的都是表 5-2 中的具体字段,退回与挂起都有对应的字段名与条数,不以「数据质量不好」这类结论交接。 ### 5.3 与数据治理体系的接口字段与交接用例 治理体系向工具链交付三类资产:统一对象标识服务、数据集标准、术语与本体资产。工具链是使用方,按表 5-3 的字段调用与核对。 表 5-3 数据治理体系向工具链交付的资产与接口字段 | 资产 | 调用或引用字段 | 返回或约定内容 | 工具链一侧的核对 | |---|---|---|---| | 统一对象标识服务 | 源编码类别、源编码值、业务发生时点 | 内部主键、映射版本、生效区间、命中状态(命中/未命中/冲突) | 三种状态分别处置;映射版本写入本批血缘 | | 数据集标准 | 字段模式标识与版本 | 字段定义、编码规则、入库校验规则 | 入库前按标准校验,不过的记录不入库并返回失败清单;登记入库凭据 | | 术语与本体资产 | 本体标识与版本、术语表版本 | 类与属性定义、约束清单、术语标准写法 | 按版本加载;约束冲突出清单不自动消解;术语写法进保护词表 | 交接用例以本体发新版后的联动为例。治理侧发布本体新版本并给出变更清单,清单分新增类、改名类与约束变更项三栏。工具链侧按变更清单评估受影响的规则标注配置与标注规范文本,受影响的配置改版并登记其依赖的本体版本号。新版本生效后处理的样本按新版本加约束;已处理样本不追溯重写,其血缘中的规则版本字段保留原值。若变更涉及标签值域收缩,存量样本中落在被删值域上的标签进复核队列,复核结论作为追加记录写入,不抹去原标注。联动是否完成有一个可核验的判据:规则标注工具的配置版本、标注规范文本版本与本体版本三者能在同一张依赖表里对上,且抽样样本的规则版本字段指向正确的那一版。 ### 5.4 与行业大模型训练推理技术服务的接口字段与交接用例 工具链产数据、训推消费数据,两者之间交接的字段见表 5-4。三项硬约束在前文已述,此处给出它们落在哪些字段上。 表 5-4 工具链与训练推理技术服务的交接字段 | 字段 | 含义 | 填写方 | 对方一侧的使用与核对 | |---|---|---|---| | 数据集版本引用 | 数据集标识、版本号、内容指纹 | 工具链侧 | 训练任务登记其所用版本;未登记的训练作业不进评测排期 | | 切分集合标识 | 训练、验证、测试、冻结基准四类 | 工具链侧 | 训练只取训练与验证集;基准集不参与训练 | | 样本级血缘引用 | 指向血缘记录的键 | 工具链侧 | 缺血缘字段的训练作业不予调度 | | 被测对象标识 | 网关登记的标识与版本 | 训推侧 | 评测引擎按同一调用形式接入,不感知对象差异 | | 推理接口契约 | 输入字段、输出字段、超时、并发上限 | 训推侧 | 评测前做一次契约核对,不符即退回,不在评测中临时适配 | | 训练任务登记 | 任务标识、所用数据集版本、检查点标识、起止时点 | 训推侧 | 血缘服务据此把数据集与检查点连起来 | | 评测协议版本与随机种子 | 协议标识、版本、种子值 | 工具链侧 | 两次评测须用同一协议与同一种子方可比较 | 交接用例以一次版本对比评测为例。工具链侧提供冻结基准集版本与评测协议版本,训推侧提供两个检查点的推理接口并经网关接入,调用形式一致。评测引擎按同一协议、同一随机种子分别跑两次,逐题结果留档。比较用配对口径(见本章 4.9),结论含均值、百分之九十五区间与该基准集可分辨的差异量级。随后做一次交叉核对:取训推侧登记的训练数据集版本,与基准集做同族隔离核对——若被比较的检查点其训练集与基准集之间存在同族样本,本次对比结论作废并重做切分,而不是在结论里加一句说明。核对通过后,对比结论回到评测回路第四环,按归属分派:指向数据的转修订工单,指向模型的转训推侧改进建议。 ### 5.5 与数据集运营服务管理平台的接口字段与交接用例 平台提供入口,工具链提供能力与数据。两者之间的字段见表 5-5。 表 5-5 工具链与数据集运营服务管理平台的交接字段 | 字段组 | 具体字段 | 方向 | 用途与核对 | |---|---|---|---| | 能力描述 | 工具标识、版本、参数清单、取值范围、默认值、输出字段与格式 | 工具链→平台 | 平台据此生成配置界面,不硬编码参数表 | | 任务提交 | 工具标识、输入数据集版本引用、参数集版本引用、输出落点、回调地址、客户端请求标识、优先级声明 | 平台→工具链 | 提交前先过参数校验调用;越权的优先级声明降为默认档 | | 任务状态 | 状态、阶段、批次进度、指标快照、失败摘要 | 工具链→平台 | 平台按八态渲染进度,不按自由文本判断 | | 导出 | 格式、筛选条件、是否含未审核样本、脱敏级别、审批记录、取件地址与有效期 | 双向 | 含未审核样本或敏感字段的导出须带审批记录方可生成 | | 血缘与审计查询 | 查询类型、查询键、时点、返回分页 | 平台→工具链 | 五类审计查询按预置用例返回 | | 计量 | 批次数、处理条数、外部调用次数、人工介入工时 | 工具链→平台 | 平台据此出配额与对外服务形态的计量 | 交接用例以平台上线一个新工具的配置界面为例。平台调用能力描述接口取参数清单与取值范围,按返回结构生成界面;用户提交前平台调参数校验接口预检,不合法项直接在界面提示,不产生无效作业;作业提交后平台按状态字段渲染进度;工具升级导致参数清单变化时,平台重新取一次能力描述即自动更新界面。这条链路的可核验判据是一句可实测的话:平台上新增一个工具,前端代码不作改动。验收时按此实测,不以接口文档齐备代替。 ## 6、建设节奏:公共层先行与分批投产 25 个工具不一次性全部投产。排序依据是数据流上的依赖关系与问题出现的时间先后,不按工具编号。 ### 图 6-1 公共层先行与四个投产阶段 建设期 第零批 公共层 接口·格式·血缘写入 第一批 工具 5·3 工具 9·12·14 工具 19 文档解析·图纸抽取·首轮标注·去重与污染扫描 第二批 工具 4·1 工具 11·15·13 工具 20·21·22 检索增强·思维链·时序与一致性·分布均衡·切分冻结 第三批 工具 2·6·7·8 工具 10·16·18 工具23·24·25 对话与协同标注·多模态与指令生成·评测归因与血缘 第四批 工具 17 长尾故障场景定向补齐 图 6-1 公共层先行与四个投产阶段。横轴为建设期时序,各批次之间有重叠,箭头表示前置依赖而非严格串行。数据来源:招标文件第五章 3.2.3 各节的能力依赖关系;批次内容与本章之后三节的分批安排一致。 表 6-1 各批次的前置条件、解锁的工作与判为可用的依据 | 批次 | 内容 | 前置条件 | 本批解锁的工作 | 判为可用的依据 | |---|---|---|---|---| | 第零批 | 公共层:六类调用接口、五种格式序列化、八项血缘字段写入、通用指标上报、安全管控 | 平台接口规范确定;敏感字段标定与授权矩阵由甲方确认 | 任何工具可部署,任何批次可留血缘 | 六类接口按文档可调通;血缘八项字段写入完整;脱敏回扫无命中;越权与出域拦截生效 | | 第一批 | 文档结构解析、切分与拼接;图纸抽取、预标注、本体规则标注;去重与污染扫描 | 文档资源清点完成;图纸与企业文档只读接口开通;本体首版发布 | 工艺设计域语料结构化与首轮标注;候选池可入库 | 解析与抽取的抽样准确率达基线;污染回灌测试识别率达基线;来源反查双向可验 | | 第二批 | 检索增强构建、自生成思维链;时序对齐、一致性校验、主动学习;分布分析与均衡、模板化生成、切分与基准构建 | 第一批产出可用;统一模型网关可用;专家题库首批完成;测点时序接口开通 | 标注资源按配比投放;首轮训练可启动;评测可开始 | 检索增强六项指标实测;三粒度一致率达基线;泄漏构造例逐类检出;基准集冻结后不可改 | | 第三批 | 人机协同思维链标注、对话三个工具;视频对齐、指令生成、文本重写;评测引擎、归因溯源、血缘查询与图谱 | 标注工位与评分规则会签完成;脱敏规则与甲方数据安全要求对齐;视频布点完成;首个模型检查点产出 | 对话与指令样本批量生产;数据集价值可被验证 | 同协议重复运行偏差达基线;注入错误样本可被归因命中;五类审计查询按预置返回 | | 第四批 | 工单与故障场景模拟生成 | 故障域本体与名录完备;历史工单频次统计完成 | 长尾故障场景的定向补齐 | 构造场景经业务口裁定;长尾类目样本量披露 | 批次安排有三处时序不可调整:公共层先于一切批次,理由在 4.1 已述。去重与污染扫描排在第一批,因为重复在候选池建立的第一天就存在,而污染一旦进入基准集且未被发现,受影响的全部评测结论都要作废,返工代价是整条链路。切分与基准构建排在第二批末尾、首轮训练之前,它的前置是数据集已完成去重与同族登记;基准集的建设周期较长——题目要专家出、要经污染核验,所以须与切分工具并行准备。 四批之后进入持续生产与迭代期,直至建设期结束。迭代期以校准为主:阈值随人工复核反馈按季度反推调整,分布的最小可用量随场景验证结果调整,模板约束表随工艺口裁定逐条回写,评测协议随能力维度的区分度调整,基准集按期组织复核与补题。每一项调整都按本章 8.1 的三段式登记基线、趋向与回退,不作无判据的调参。 表 6-1 的前置条件中有四项取决于甲方业务规则的成文程度:备料分厂的正式工序字典(28 道工序的标准名称、编码与分档规则)、各场景的判据字典(热处理三级判定、焊接缺陷类别与检出手段的对应、故障名录与证据分级)、历史文档资源的清点结果(按类型、份数、页数、电子化程度与扫描质量分档)、源系统只读接口的开通范围与协议。这四项我方在蓝图设计阶段以工作坊形式逐项确认并成文,确认结果即成为规则资产的首个版本,后续按版本演进;确认完成之前,相关工具按通用规则运行,并在批次质量报告中标注其配置来源为通用规则而非本项目规则资产。把散见于经验的规则落成可执行、可版本化的规则库,本身就是一项交付价值,其用途不限于本项目。 ## 7、工具链产出与四大数据集、场景验证的对应 工具清单本身不是交付目标,数据集与场景验证结论才是。表 7-1 给出九类工具对四大数据集的类级贡献,逐工具的贡献在各类工具的功能设计中分别列明。 表 7-1 九类工具对四大数据集的类级贡献 | 类 | 预训练数据集 615 亿 Token | 指令微调数据集 89 万条 | 强化学习偏好数据 6.6 万组 | 基准测试数据集 0.95 万条 | |---|---|---|---|---| | 1 思维链构建 | —— | 推理类指令样本的主产出 | 同一问题多路径的优劣配对 | 推理评测题 | | 2 长上下文数据构建 | 文档类长上下文语料的主产出 | 检索增强三元组经格式转换计入 | —— | 检索增强评测样本 | | 3 多轮对话数据构建 | —— | 多轮对话样本的主产出 | 对话样本的高低分配对 | 对话评测样本 | | 4 多模态数据对齐 | 图文与时序成对语料 | 抽取与推理类指令的输入素材 | 多模态描述与诊断结论的候选回答对 | 多模态与诊断类评测题的事实依据 | | 5 智能标注 | 语料的类型与质量分级标注 | 各任务类型的标注结果 | 偏好比较的初筛与一致性校验 | 评测题标注的一致性保证 | | 6 数据生成与增强 | 增强文本(按配比上限) | 指令与场景样本的扩充 | 表达不同而内容相同的回答对 | 不参与 | | 7 数据质量与分布控制 | 去重、污染拦截与分布均衡 | 同左 | 同左 | 污染核验与同族隔离 | | 8 数据生成控制与评测 | 切分隔离 | 结构化合成样本 | —— | 基准集构建与冻结 | | 9 数据集验证与归因 | 覆盖盲区识别与补齐需求 | 同左 | 同左 | 评测执行与题目失效判定 | 表中第 6 类与第 8 类的「不参与」是评测集隔离的落实:生成类工具的产出一律带不可用于评测集的标记,评测集构造按该标记排除。预训练语料的实际 Token 量受甲方可用文档的实际体量约束——解析工具能把现有文档的结构还原出来,不能增加文档总量。我方的做法是先完成文档资源清点与解析覆盖度统计,按业务域给出可得 Token 量的实测值,与目标存在差距的域在数据卡中列明并提出补充来源建议,由项目组与甲方共同确定补充路径。逐数据集的规模对账与数据卡见四大数据集规模一节。 表 7-2 工具链对场景验证的支撑点(类级) | 场景 | 工具链提供的关键支撑 | 验证时可核对的口径 | |---|---|---| | 产品智能选型 | 历史选型方案的结构化抽取;选型校核类推理样本;相似工况检索样本 | 推理步骤可按校核公式复算;相似案例检索的命中位次 | | 板材备料工艺 | 图纸几何要素与加工要求抽取;28 道工序内的排序候选;展开长确定性计算;历史图卡成对回归样本 | 展开长与手算的一致性;工序排序与历史工艺卡的符合度;字段抽取正确率 | | 库存控制 | 物料与口径的实体归一;供需计划域的推理与工具调用样本 | 口径归一正确率;工具调用参数的结构合规性 | | 热处理 | 时序片段切分与特征;炉次关联样本;规程类文本的多样化表达 | 诊断文本事实层的数值准确性;关键信息保持率 | | 焊接 | 关键帧与焊道对齐样本;参数流时序片段;缺陷描述归类标注 | 对齐正确率;缺陷归类与人工标注的一致率 | | 健康诊断 | 报警与维修前后窗片段;诊断推理与排障对话样本;长尾故障补齐样本 | 证据等级分档的正确性;长尾类目样本充足度的披露 | | 五个通用信息类场景 | 制度与标准的改写增强样本;带引用的问答样本;条款级证据定位 | 答案依据可定位率;原文换版后的样本联动比例 | 表 7-2 右列是工具链与场景验证之间的接口:验证时核对的就是这些口径,而口径的计算方式在各工具的质量口径表中已逐项定义。场景验证的组织方式、验证用例与验收流程见六个专业场景验证方案与五个通用场景验证方案两节。本包只提供场景验证所需的样本与评测口径,不承担场景建设。 ## 8、工具链的总体验收口径 25 个工具链共用一套验收口径:指标一律按三段表述,验收分三类且三类不互相替代。具体指标值与回退动作在各工具的功能设计中逐项列明。 ### 8.1 指标一律按基线、趋向、回退三段表述 工具链质量指标按作用对象分档约定:同一能力作用于电子版规程与陈旧扫描件,结果本不相同,故指标按资料品质分档给出,各档以首轮实测值作为基线。漏报一类指标以抽检复核的实测值呈现,并随样本积累逐轮更新。 因此每项能力按三段表述:**基线**说明首期可达到的水平及其测量方法;**趋向**说明服务期内随样本积累与阈值校准逐步接近的目标;**回退**说明达不到时的具体动作与兜底方。各工具的指标表均按这三段给出,且回退列写的是可执行动作——整批转人工复核、改以人工判定为准、退回上一稳定配置版本、批次不得出加工域、阈值调向保守侧并扩宽复核带——不是原则性表述。 验收时的用法随之明确:按基线值核对实测值,达到或超过基线即判通过;未达基线的,核对回退动作是否已执行并留有记录,回退已执行且未达项已登记的判为有条件通过并列入服务期校准计划;回退未执行的判不通过。趋向目标不作为验收判据,它在服务期的阶段性检查中核对改进趋势。据此在验收前约定未达标时的回退与登记动作。 ### 8.2 三类验收的对象与依据不互相替代 「验收」在本方案中指三件不同的事,对象与依据各异,不以一类代替另一类。 表 8-1 三类验收的对象、依据与归属 | 验收类别 | 验收对象 | 判定依据 | 口径归属 | |---|---|---|---| | 工具的单项验收 | 单个工具链 | 五件套齐备;功能要求逐条对应测试用例;指标达首期基线 | 本章第 4 节与工具链(三)5.6 | | 数据集的发布验收 | 某一版数据集 | 质量门全过;血缘挂接率达门限;无未裁定的高风险污染;无未关闭的高优工单 | 工具链(三)第二、四节 | | 项目的整体验收 | 全部交付物 | 数据集规模与质量、工具链 25 个、运营平台功能模块、治理文档、场景验证结论 | 项目管理措施与数据集质量评测方案 | 三类验收的证据链是串联的:工具验收合格的工具产出数据集,发布验收合格的数据集版本进入整体验收的交付清单,整体验收所需的质量证据由前两类的记录与第三方评测报告共同构成。第三方盖章的数据集质量评测报告不由本章的测试报告替代;两者的关系是本章提供过程证据——协议版本、冻结集、运行记录、指标与原始测试记录,第三方据此与自行抽测结论出具评测报告。为使第三方可复核,本方案承诺评测过程的可复现性:协议版本化、基准集冻结、随机种子固定、运行记录留存,第三方按同一协议与同一冻结集重跑应得到一致结果。