递交截止 2026-10-20 09:30 · 生成于 2026-10-16 15:44
预览稿,非最终投标文件;各节内容以各任务 MAIN.md 为准。
本章给出多模态数据对齐、智能标注、数据生成与增强三类共 10 个工具的设计与交付内容。
本章承担的是数据加工主线上的三段功能:把分属不同模态的记录挂接到同一业务对象与同一时间轴上,为挂接后的样本生成可复核的标签,在既有事实的基础上扩充数量不足、分布不均的样本。全部 9 类 25 个工具的统一视图与交付清单在本卷「专项智能工具链总述」一节给出;数据构建类 3 类 8 个工具在「工具链一」一节给出;质量与验证类 3 类 7 个工具以及 3.2.3.11 通用接口、追溯与验收要求在「工具链三」一节给出。本章工具产出的对齐样本、标注集与合成样本,由本卷「数据加工生产」各节的生产流程按环节门控消费,其入库准入与版本冻结由该处判定。
矿山装备制造领域的数据与互联网语料的差别,不在体量而在形态。甲方的事实散落在三种互不相通的载体里:一是图纸与工艺卡片一类的工程文档,约六十三万张历史图纸且每张历史上都配有一份已审核签发的工艺卡片,天然成对但配对关系只存在于文件目录与人的记忆中;二是设备过程中产生的时序信号与报警日志,采样密度到秒级,但与具体工件、炉次、焊道没有稳定的主键关系;三是人写下来的自然语言记录,包括工单、检验结论、不合格品票与改造方案,表述自由、口径不一。要把这三类载体变成可以喂给行业大模型的训练与评测样本,必须先解决「对不上」的问题,再解决「没标签」的问题,最后解决「样本不够、长尾缺失」的问题。本章三类工具按该顺序排布。
多模态数据对齐类工具链解决「对不上」:把图纸里的几何与符号抽成结构化字段,把视频关键帧挂到设备运行事件与工艺阶段的时间轴上,把时序片段切到报警与维修工单的时间窗里(b0990)。智能标注类工具链解决「没标签」:用大模型做预标注、用主动学习把人力投到最该投的样本上、用领域本体约束标签之间的逻辑关系、用多方交叉校验把一致性做成可测量的指标(b1008)。数据生成与增强类工具链解决「不够与不均」:按任务类型与难度层次扩充指令样本,按本体与历史工单分布构造故障场景,在保持语义与事实不变的前提下为同一条内容生成多种表达(b1041)。
三类工具共用同一套对象标识、版本与血缘字段,以及同一套置信度分级与人工介入口径;十个工具的产出才能拼成一份可验收的数据集,而不是十堆互不认账的中间文件。
图 1-1 三类十个工具在数据加工主线上的位置与数据流向。数据来源:招标文件第五章 3.2.3.5(b0989)、3.2.3.6(b1007)、3.2.3.7(b1040)节工具划分,以及 3.2.6.3 节加工环节划分。
本章技术选择遵守三条约束,后文取舍均据此执行。
第一条,凡是能用确定性程序算出来的,不交给模型。图纸压弯件的展开长按中性层公式计算,时序特征按既定算法计算,本体约束按逻辑规则判定——这些环节的正确性可以复算、可以审计,用模型反而引入不确定性。模型用在理解与组织上:读懂多视图的投影关系、把一段时序的异常形态写成人能看懂的诊断说明、把一条工单扩展成多轮排障对话。
第二条,凡是输出要被人采信的,必须带证据与置信度。本章所有工具的输出都包含证据字段:图纸抽取给出图元句柄与所在图层,视频对齐给出帧时间戳与事件编号,预标注给出证据片段与模型版本(b1015)。没有证据的标签在复核时无法判断对错,在训练时也无法定位脏数据的来源。
第三条,凡是指标,必须同时给出基线、验收口径与达不到时的回退。本章给出的每项指标都附三样东西:首期基线取值、验收抽样方式、低于门限时的处置动作。本章列明的每一项指标均作为验收应答条款;同步给出回退路径,便于建设期内指标达不到时仍有可执行处置。
本章十个工具作为奔牛数据智能平台的功能模块交付与运行,共用平台的身份认证、权限控制、任务调度、版本管理与日志审计能力,不各自另建一套运行支撑。以下六项为三类工具一体适用的工程约定:对象标识与时间基准、血缘与版本字段、置信度分级与人工介入口径、配置即代码与回放能力、与相邻章节的功能分工、不合格产出的隔离与发布门槛。通用接口风格、血缘追溯平台与验收总口径按本卷「工具链三」一节 3.2.3.11 的统一条款执行。
三类工具的产出要能彼此拼接,前提是指向同一个业务对象时用同一个标识。甲方当前的困难恰在此处:施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号、设备编码与故障记录之间没有稳定的主键关系,跨系统追一件事仍需人工对账。因此本章所有工具在读写数据时一律通过统一对象标识服务换取内部主键,不直接使用源系统的业务编码做关联键。
统一对象标识服务由数据治理体系建设交付,本章作为使用方提出三项接口要求:一是提供「源系统编码到内部主键」的双向查询;二是在映射缺失时返回明确的未命中状态而不是空值,由调用方记录为待补映射并进入人工对账队列;三是映射关系本身带版本,历史样本回放时按当时版本解析。
时间基准统一到协调世界时存储、按 ISO 8601 格式带时区偏移量表达,展示层转为北京时间。设备侧采集的时间戳普遍存在设备时钟漂移,视频-文本对齐与时序-事件对齐两个工具都要处理这一问题,具体办法见第 3 节。
本章十个工具的每一条输出记录,都携带表 2-1 所列的公共字段。字段名在三类工具间保持一致,使得一条样本从原始文件到对齐、到标注、到增强的全过程可以用同一组键串起来。
表 2-1 十个工具公共携带的血缘与版本字段
| 字段 | 含义 | 取值说明 |
|---|---|---|
record_id | 本条记录的唯一标识 | 由工具生成,全局唯一且不复用 |
object_key | 所指向的业务对象内部主键 | 来自统一对象标识服务;未命中时置为待补并记录源编码 |
source_ref | 原始来源引用 | 文件指纹+页/帧/行偏移,或测点编号+时间区间 |
tool_id / tool_version | 产出本条记录的工具与版本 | 语义化版本号,与工具发布记录对应 |
config_version | 本次运行所用配置版本 | 配置以文件形式入库并纳入版本管理 |
model_ref / prompt_version | 调用的模型标识与提示词版本 | 模型标识为统一网关侧的登记名与版本号,不写品牌 |
confidence | 本条记录的置信度 | 取值 0–1,分级口径见 2.3 |
evidence | 证据字段 | 图元句柄、原文片段、帧编号、时间区间等 |
review_state | 复核状态 | 未复核/机器通过/人工通过/驳回/专家裁决 |
computed_facts | 本条输出所依据的计算结果 | 测点编号、时间区间、计算式名称、输入值与输出值;凡输出文本含数值者必填 |
batch_id | 所属批次 | 批次为调度与追溯的最小单位 |
created_at / updated_at | 生成与更新时刻 | 协调世界时,ISO 8601 |
字段说明:model_ref 记录的是统一网关为每个接入模型分配的登记名与版本号,便于在模型随代升级后回溯某批样本是在哪一代能力下生成的;投标文件与交付文档中不绑定具体模型品牌与型号,模型可替换、可评测、可随代升级。
三类工具都要回答同一个问题:什么样的输出可以直接入库,什么样的必须由人看过。统一按表 2-2 的三档处置,各工具只调阈值不改分档逻辑。
表 2-2 置信度分级与对应处置
| 档位 | 判定条件 | 处置 | 人工投入 |
|---|---|---|---|
| 高置信 | 置信度不低于高阈值且通过结构校验与约束校验 | 直接入候选集,按比例抽检 | 抽检比例首期取 5%,连续三批抽检通过率不低于门限后可降至 3% |
| 中置信 | 置信度介于两档阈值之间,或校验出可修复的轻微问题 | 进入人工复核队列,工具给出修改建议 | 逐条复核,复核时只需确认或修改,不必从零标注 |
| 低置信 | 置信度低于低阈值,或校验出结构性冲突 | 进入人工标注队列,工具输出仅作参考 | 按原始标注工时计 |
阈值的初值由各工具在试点批次上标定:取一批已由人工确认的样本作为标定集,画出置信度与实际正确率的对应曲线,把高阈值定在实际正确率达到目标水平的位置,低阈值定在工具输出已无参考价值的位置。标定集随建设推进扩充,阈值每季度复标一次,复标记录入库。这个办法的好处是阈值有来处、可复核;代价是首期需要一批人工确认样本,这部分工作量已计入试点阶段。
高阈值的确定还要再严一道。画曲线取点这一步仍带主观性,而高置信档是自动入库的那一档,它的错误率需要有上界而不只是有个经验值。因此本章各工具的高阈值一律按工具链总述第 4.9 节的门限校准口径确定:在校准集上搜索门限,使门限以上样本的标签错误率不超过设定上限这一结论在给定置信水平下成立,门限随校准集扩充自动重算。校准按业务域与任务类型分别进行——图纸要素抽取与工单实体抽取的置信度含义不同,不共用门限。各工具的输出记录相应登记校准集版本、错误率上限与门限值三项,方法与依据不在本章重复,见总述第 4.9 节。逐环节的判错规则与首期上限见该节表 4-6——「什么算一条样本错了」各环节不同,不共用一条规则;本章十个工具中的图纸要素抽取、视频—文本对齐、时序—事件对齐、大模型预标注四项属该表的适用环节。门限因监测信号触发而挂起、以及重标定的条件同样按该节执行,本章不另定。
公共字段表里的计算结果字段同样有一道机械校验:凡输出文本中含数值的记录,校验器逐一比对文本中的数字与该字段登记的计算结果,不一致即判不通过并退回重新生成。这道校验不作语义判断,因此可以全量运行。其口径与适用边界见总述第 4.10 节。
十个工具的所有可调项——提示词模板、输出 Schema、本体版本、采样策略参数、改写比例、相似度阈值——一律以配置文件形式入库并纳入版本管理,运行时按版本号加载,不在界面上做不留痕的临时修改。配合 2.2 的血缘字段,任何一批样本都可以在原配置版本下重新跑一遍,比对两次结果的差异。这项能力在三种情形下是必需的:甲方对某批样本的质量提出疑问时用于复现;模型随代升级后用于评估新旧差异;验收阶段用于抽样复算。
工具链的建设与数据加工的作业组织天然交织:同一项标注工作,规范由谁定、工具由谁建、人力由谁组织、质量由谁判,若不在动工前划清,实施期必然出现同一事项两处口径、或两处都以为对方已覆盖的情形。划分的依据是产物形态——凡产物是软件、接口、规范文本与配置基线的,归本章;凡产物是作业排班、产能与计件的,归数据加工生产各节;凡属全局统一口径的接口风格、血缘追溯与验收总口径,本章遵循而不另立。下表左列是容易含糊的八项事项,中列给出本章的交付物,右列指明其余部分的落点;末行是范围性质的约定,智能场景建设不在本包,本包交付的是场景验证所需的样本与评测结论。按此表逐项核对,十个工具的交付清单(见 7.1)与标注作业的组织安排之间既不留空档,也不重复投入。
表 2-3 本章与相邻章节的功能分工
| 事项 | 本章 | 相邻章节 |
|---|---|---|
| 工具的设计、接口、流程、样例 | 本章交付 | —— |
| 标注规范、标签体系、一致性判定口径 | 本章交付规范文本与工具实现 | 「数据加工生产(二)」一节按本规范组织标注作业 |
| 人工标注与复核的产能组织、排班、计件 | 不在本章 | 「数据加工生产(二)」一节 |
| 统一接口风格、血缘追溯平台、验收总口径 | 本章遵循 | 「工具链三」一节 |
| 数据集质检抽样与判定 | 本章提供可质检的输出字段 | 「数据加工生产(二)」一节、《数据集质量评测方案》 |
| 模型训练与推理 | 本章产出训练与评测样本 | 「行业大模型训练推理技术服务」一节 |
| 思维链、长上下文与 RAG、多轮对话数据构建 | 不在本章 | 「工具链一」一节 |
| 智能场景建设 | 不在本包范围 | 本包交付场景验证所需样本与评测结论 |
十个工具的产出都要经过同一道发布门槛才能作为合格训练数据进入数据集。门槛只有一条总则:映射缺失、对齐失败、质量不合格三类情形中的任何一类成立,该条记录或该批次都不自动发布,而是按类型进入对应队列等待处置。这条总则与数据加工生产各环节的门控是同一套口径——门控由设在每个加工环节之后的检查节点构成,检查节点依据质量规则判断数据是否符合进入后续工序或交付的条件,判定不通过的不予放行,不进入下一道工序;判定结论取通过、有条件通过、不通过三值。本章工具是这些检查节点的上游供料方,因此在工具侧就把不合格产出拦下并标记,而不是等到下游质检再分拣;越晚分拣,前面投入的加工与标注工时作废得越多。
表 2-4 三类不合格情形的判定、隔离位置与解除条件
| 情形 | 判定 | 隔离位置与状态位 | 解除条件 | 对应的下游检查节点 |
|---|---|---|---|---|
| 映射缺失 | 业务对象主键未命中,或命中多个候选 | 待补映射队列/冲突隔离表,publish_state 置隔离,block_reason 记具体成因 | 对账或裁决结清并回写主键后,整条按原流程重新判定 | 入口检查节点与预处理检查节点 |
| 对齐失败 | 时间残差超容差、空间变换链缺环且无降级依据、语义无本体归属,或总体置信度低于低阈值 | 冲突隔离表,状态位同上 | 时钟补校、点位标定、本体评审采纳后重新计算并重新判定 | 预处理检查节点 |
| 质量不合格 | 结构校验、本体约束校验、一致性指标或抽检任一项不达线 | 返工队列,批次状态置不通过 | 按问题清单返工并复检通过 | 标注检查节点与合成增强检查节点 |
三类情形共用四个字段:publish_state 取候选、隔离、待裁决、已发布、已作废五值;block_reason 记成因代码;disposition 记处置队列、工单号与时限;release_ref 在解除后记录解除依据与复判结论。字段随记录一同进入数据集台账,版本冻结前按 publish_state 做一次全量核验,仍处隔离或待裁决状态的记录不计入该版本。
有两点需要说明其分寸。其一,隔离不等于丢弃。隔离记录连同其证据与处置工单一并保留至批次关闭后的约定期限,一方面便于回溯,另一方面这些记录本身就是数据通道与知识缺口的清单——某一类映射长期补不上,指向的是源系统标识体系的缺环,该结论应当上报而不是沉默地丢掉样本。其二,降级不等于隔离。精度不足以支撑某些用途但关系成立的样本属降级件,可用、用途受限,按位置表达层级与可用性字段分流(见 3.2.3);把降级件一律隔离会损失大量可用语料,把隔离件当降级件放行则会把错误事实写进数据集,两者在字段上严格区分。
发布门槛的三项指标按三段式给出。其一,隔离解除时长:自记录进入隔离到完成复判的时长,基线按首批实测取值,趋向为随规则沉淀与标识补齐逐季缩短,长期高于门限时按成因分类上报并调整派发节奏。其二,误拦率:隔离记录经裁决确认为本可发布的比例,基线首批实测,趋向为随判定规则细化下降,高于门限时逐项复核判定条件,调整的是规则而不是阈值。其三,漏放率:已发布记录在下游门控中被判为三类情形之一的比例,基线首批实测,趋向为逐季下降,高于门限时对同批次做一次全量复扫并补充工具侧的拦截规则。
本章四张质量口径表(表 3-13、表 4-6、表 4-12、表 5-12)中的门限分两类来路。招标文件已给定量值的,承诺值即取条款值本身,口径不改写、量值不下调;条款只给了定性要求而未给量值的,由我方设立承诺值,把「缺失补齐」「置信度阈值控制」「识别并剔除冲突标注」一类要求转换为可实测、可验收的数值。后一类共七项,分散在四张表里,其设立依据、设计值与测法统一列于本小节,与各表同一行对应。自设量值属对招标要求的补充量化,不替代、不改写招标文件的任何一条要求,验收时与前一类同表核对。
承诺值是写入验收单的判据,设计值是工具设计、算力配置与人工产能排布所依据的内部目标。七项均为「不低于」型比率指标,设计值一律高于承诺值,高出的部分是留给运行期工况波动、本体迭代与词典补录的余量,不作为对招标方的承诺。设立依据一列约束的是我方自己:每一项都要指得回一个具体的工程配置或产能平衡点,依据站不住的,该改的是承诺值本身。
表 2-5 七项自设量值的招标口径、承诺值与设计值
| 指标项 | 所在表 | 招标口径 | 承诺值(首期基线) | 设计值(趋向) | 设立依据 |
|---|---|---|---|---|---|
| 填充比例合规率 | 表 3-13 | 3.2.3.5.3 第(2)条要求支持缺失补齐,未给补齐比例上限 | 单片段填充比例不超过配置上限的片段占比不低于 95% | 不低于 98%,且配置上限按测点类型分档收紧 | 填充比例上限按采样周期与通道心跳设定,超过该比例的片段其统计特征已失去代表性;95% 对应通道中断时长分布推算的可达值,余下部分对应计划检修与网络中断窗口 |
| 频域特征可用率 | 表 3-13 | 3.2.3.5.3 第(3)条要求计算频域与时频域特征,未给可用率 | 有转速基准的测点不低于 90%;无基准按额定估算的,转频偏差在门限内的比例不低于 70% | 有基准不低于 95%;无基准不低于 80% | 有基准测点的可用率取决于转速信号的连续可用时长,90% 对应变频调速工况下基准信号有效时段的占比;无基准测点以额定转速估算,偏差受负载率波动支配,70% 对应负载率在额定值邻域内的运行时长占比 |
| 低置信档的召回效果 | 表 4-6 | 3.2.3.6.1 第(3)条要求低置信样本自动进入人工标注队列,未给阈值标定口径 | 被判为低置信的样本中,人工标注后与模型结果不一致的比例不低于 50% | 不低于 60% | 低阈值的作用是把人工产能投向模型确实判不准的样本。不一致比例低于一半,即说明派进人工队列的样本中过半模型本来就对;50% 是人工产能的平衡点,设计值按标定集迭代数轮后可达的水平设定 |
| 候选集命中率 | 表 4-12 | 3.2.3.6.3 第(1)条要求基于本体关系生成候选标签,未给覆盖率 | 人工最终确认的标签落在候选集内的比例不低于 85% | 不低于 92% | 候选集由设备、部件、故障、工艺、材料、质量指标、安全规则七类本体关系推出,85% 对应首版本体在四个业务域上的类目覆盖面;余下部分为新术语与跨域组合,经新术语发现流程回流后逐版收敛 |
| 冲突检出的有效性 | 表 4-12 | 3.2.3.6.3 第(2)条要求识别并剔除冲突标注,未给误判容忍度 | 被判为冲突的标注中,经人工裁决确认确为标注错误的比例不低于 70% | 不低于 80% | 与同表「假冲突率不高于 30%」互为补角,两项是同一口径的正反两面;70% 是人工裁决产能的平衡点——每十条冲突提示中至少七条确为错标,逐条裁决才有产出 |
| 归一覆盖率 | 表 4-12 | 3.2.3.6.3 第(2)条把同义词与别名列入校验范围,未给词典覆盖率 | 实体归一值能在词典中命中的比例不低于 90% | 不低于 95% | 归一词典首版词条取自物料编码、设备台账与工艺术语表三处已有口径,这三处覆盖日常用语的主体;余下部分为工单口语与手写简称,靠新术语发现流程按频次补入,故基线按已有口径的实际覆盖面设定 |
| 骨架约束通过率 | 表 5-12 | 3.2.3.7.2 第(1)条要求生成工单描述、故障树等六类产出,未给生成合格率 | 本体与业务规则约束的组合通过率不低于 70% | 不低于 85% | 生成侧的骨架先经本体关系与业务规则校验再落地,作废属正常开销;70% 对应每生成十条骨架七条可用的算力与复核预算,低于此值算力即消耗在作废样本上;设计值按本体关系补齐、缺项收敛后可达的水平设定 |
门限定下来之后,验收现场真正要争的是这个数怎么算出来的。同一批片段,填充比例按点数算还是按时长算、计划检修窗口扣不扣,能算出两个结论;冲突检出的有效性按裁决条数算还是按裁决人次算,差距可以到一倍。七项指标因此逐项钉死五件事:怎么测与抽多少、多久测一次、按什么公式算、多少算过、不过怎么办。其中频次一列最易被省略——只给一个门限而不给频次,等于只在交付那一次成立;本章工具按批次产出,故除词典与台账类按月、按季复算外,一律按批次测。
表 2-6 七项自设量值的测法:方法、频次与计算公式
| 指标项 | 测量方法与样本量 | 频次 | 计算公式 | 判定口径 | 不达标处置 |
|---|---|---|---|---|---|
| 填充比例合规率 | 逐条统计每个片段的填充点数与总点数,不抽样;填充动作由预处理按参数版本留痕,可按记录重算 | 每批次一次,并按月汇总出通道分布 | 合规率=填充比例不超过配置上限的片段数÷该批次片段总数 | 按批次判,连续两批低于承诺值即判不达标 | 超限片段降级不入训练集,并对相应通道出采集连续性工单;连续两批不达标的,复核该通道的采样配置与断点成因,整改后对同通道历史批次重算一轮;两轮仍不达标的,在数据卡中单列该通道的实际合规率与成因,配置上限不随之上调 |
| 频域特征可用率 | 两类测点分开统计:有基准的按转速信号有效时长判,无基准的按额定估算值与实测转频的偏差判,偏差门限随测点类型在配置中固化 | 每批次一次;测点台账每次更新后按季复算一轮 | 可用率=偏差在门限内的片段数÷该类测点片段总数,两类分列不合并 | 两类各自判;任一类低于其承诺值即判该类不达标 | 偏差超门限的片段频域特征标记不可用,仅保留统计与趋势特征;无基准类连续两批不达标的,提出该测点加装转速基准的采集建议,并在数据卡披露受影响片段数;加装前偏差门限维持原值 |
| 低置信档的召回效果 | 每批次从低置信队列抽取 200 条,人工标注后与模型结果逐条比对,比对结果并入标定集 | 每批次一次;低阈值按累计标定集每月重定一次 | 不一致比例=人工标注与模型结果不一致的条数÷抽取条数 | 按批次判;连续两批低于承诺值即判低阈值定得过高 | 按标定集重定阈值,重定后下一批次复测;两轮仍不达标的,该任务类型的低置信档改为按不确定性排序定额派发,并在月度报告中单列该任务类型的实际不一致比例 |
| 候选集命中率 | 抽样 300 条已完成人工确认的标注,核对最终标签是否落在该条的候选集内;抽样按四个业务域分层配额,不集中于单一域 | 每批次一次;本体每次更新后加测一轮 | 命中率=最终标签落在候选集内的条数÷抽样条数 | 按批次判;抽样命中率低于承诺值即判本体覆盖有缺口 | 按未命中标签梳理本体补项,期间放宽候选集规模;补项发布后对同批次重测;连续两批不达标的,暂停该业务域的自动候选生成改人工指定,并把未命中标签清单提交本体更新流程评审 |
| 冲突检出的有效性 | 抽样 200 条冲突记录,交人工裁决逐条判定是否确为标注错误;与同表假冲突率共用同一批样本,一次抽样两项同出 | 每批次一次;约束规则每次变更后加测一轮 | 有效性=裁决确认为标注错误的条数÷抽样冲突条数;假冲突率=1-有效性,并按未归一、约束过严两类分列成因 | 按批次判;低于承诺值即判约束定义过严 | 逐条复核约束定义并区分硬约束与软提示,复核后下一批次复测;两轮仍不达标的,把该类约束降为只提示不拦截,并在规则台账中记录降级依据与影响范围,裁决标准不随之放宽 |
| 归一覆盖率 | 逐条统计该批次实体的归一结果,不抽样;未命中词条按出现频次排序落入新术语发现流程 | 每批次一次;词典每月发布一版,发布后对上一批次重算 | 覆盖率=归一值在词典中命中的实体数÷该批次实体总数 | 按批次判;连续两批低于承诺值即判词典有缺口 | 未命中词条按频次排序进入新术语发现流程,优先补高频项;连续两批不达标的,把该批次高频未命中词条提交本体更新流程加急评审,期间相关标注的冲突判定一律转人工,归一校验保持启用 |
| 骨架约束通过率 | 按批次统计生成条数与作废条数,不抽样;作废原因按本体关系缺项、约束过严、模板错配三类分列 | 每批次一次;本体或业务规则每次更新后加测一轮 | 通过率=(生成条数-作废条数)÷生成条数 | 按批次判;低于承诺值即判不达标,并按作废原因分类定位 | 按作废原因梳理本体,梳理结果发布后对该类目重跑一轮;两轮仍不达标的,暂停该类目的自动生成、先补本体描述,并在数据卡中如实披露该类目的实际样本数,约束校验保持启用 |
七项指标据此都按三段给齐:基线是表 2-5 的承诺值,趋向是表 2-5 的设计值,回退是表 2-6 末列与各质量口径表第四列的同一行。三段之间的分寸有一条共同约定——回退动作一律指向修订规则、补齐本体与改进采集,不指向调低判定标准或放宽统计口径。连续两批不达标即进入整改单跟踪,两轮整改后仍不达标的,在当期数据卡与月度报告中单列该项的实际值、成因与改进计划,提交招标方评审后随下一版本重测。
本类工具提供面向图纸、工艺图、图像、视频关键帧、文本、传感器时序和运维事件的数据对齐能力,建立不同模态之间的语义、时间、空间和业务关联关系,形成可用于多模态模型训练、评测和场景验证的数据样本,覆盖图纸结构化、关键帧与事件对齐、时序事件对齐、特征抽取和诊断说明生成等环节。
处理对象的现状可以概括为「量不少、关联少、口径散」:生产业务数据留存完整,十年前生产了哪个矿的哪些产品都可追溯;设备过程参数已在采集并长期保存;历史图纸约六十三万张且每张历史上都配有一份已审核签发的工艺卡片。但是图纸与工艺卡片的配对关系存在于文件目录与人的记忆中;焊接参数流与工件、焊道没有对应;热处理炉次与工件、材料批次、检测结果之间没有稳定关联;故障记录与数据段没有配对;纸质检测报告数量可观但尚未数字化。
现场缺口在关联而非体量。本类工具不重复采集,而将既有数据按业务对象、时间轴与空间位置挂接,并记录依据与置信度,供训练使用及错样回溯。
招标文件要求建立语义、时间、空间和业务四类关联关系(b0990)。四类关系的含义与承载方式见表 3-1。
表 3-1 四类关联关系的含义、矿山装备制造场景下的具体对象与承载工具
| 关联类型 | 含义 | 本项目中的具体对象 | 主要承载工具 |
|---|---|---|---|
| 语义关联 | 不同模态描述同一事物时的概念对应 | 图纸上的粗糙度符号与工艺卡片上的加工方法;视频画面中的作业动作与工单文字描述;时序曲线形态与诊断结论用语 | 图纸结构化抽取(3.2.3.5.1)、视频-文本对齐(3.2.3.5.2)、时序-事件对齐(3.2.3.5.3) |
| 时间关联 | 不同模态在同一时间轴上的位置对应 | 视频帧时间戳与设备运行事件、工艺阶段;传感器采样时刻与报警、停机、维修工单的发生时刻;热处理炉次的开完工记录与实际温度曲线 | 视频-文本对齐、时序-事件对齐 |
| 空间关联 | 不同模态在同一物理位置上的对应 | 图纸视图上的作用表面与实物焊道、加工面;相机视场与焊接部位;振动测点在轴上的角位置基准 | 图纸结构化抽取、视频-文本对齐 |
| 业务关联 | 不同模态记录归属同一业务对象 | 施工号—产品号—图号—零件号—工单号—炉次—焊道—测点—故障记录之间的归属链 | 三个工具均通过统一对象标识服务挂接(见 2.1) |
四类关系的建立顺序固定为业务对象、时间、空间、语义四步,每一步有独立的判定结论与独立的失败出口,见图 3-1。前一步不成立时后续步骤不执行,也不以后续步骤的结果反推前一步:一段时序若说不清属于哪个工件,它与报警时刻对得再准也没有训练价值;反过来用时间上的巧合去推定工件归属,等于把偶然当成事实写进数据集。四步各自的判定依据、置信度分量与失败出口在 3.2.1 至 3.2.6 逐项给出,三个对齐工具按同一口径实现,差别只在各自处理的模态。
图 3-1 四类关联关系的建立顺序、置信度合成与三个失败出口。数据来源:招标文件第五章 3.2.3.5 节对四类关联关系的要求(b0990),以及本章 2.3 置信度分级与 2.6 发布门槛口径。
业务对象关联要回答的是「这条记录说的是哪一件东西上的哪一道工序、由哪台设备做的、由哪个测点测的」。本项目的标识链自上而下为施工号、产品号、图号与零件号、工序号、设备编码、测点编号,横向另有炉次号、焊缝与焊道号、工单号、检验记录号四组与工序挂接的标识。各层的键形态、来源与取键方式见表 3-1A。
表 3-1A 标识链各层的键形态、来源与取键方式
| 层级 | 标识 | 来源系统 | 与上一层的关系 | 现状缺口 | 取键方式 |
|---|---|---|---|---|---|
| 项目 | 施工号 | 生产业务系统 | —— | 口径完整,可追溯至十年前 | 直接换取内部主键 |
| 产品 | 产品号 | 生产业务系统 | 一个施工号含多个产品号 | 口径完整 | 直接换取内部主键 |
| 零件 | 图号、零件号 | 产品全生命周期管理系统 | 一个产品号含多个零件号 | 历史图纸的图号与文件命名规则不统一 | 按图号规范化后换取,规范化失败转人工对账 |
| 工序 | 工序号 | 制造执行系统 | 一个零件号含多道工序 | 备料分厂工序字典未成文,现掌握口径为二十八道 | 按已掌握口径匹配,匹配不上的记录源值并转人工 |
| 设备 | 设备编码 | 设备管理系统 | 一道工序对应一台或多台设备 | 编码与现场设备的对应基本可用 | 直接换取内部主键 |
| 测点 | 测点编号 | 采集网关与设备管理系统 | 一台设备含多个测点 | 部件级振动测点与轴上角位置基准缺失 | 直接换取;基准缺失的测点在空间分量上降级 |
| 横向 | 炉次号 | 热处理作业记录 | 一个炉次含多个零件 | 炉次与工件、材料批次、检测结果之间无稳定关联 | 按炉次时间窗与装炉清单双向比对 |
| 横向 | 焊缝与焊道号 | 工艺文件与焊接作业记录 | 一道焊接工序含多条焊道 | 焊接参数流与工件、焊道无对应 | 按工位、时间窗与工艺文件焊道表三者比对 |
| 横向 | 工单号 | 生产工单与服务工单系统 | 一道工序或一次维修对应一张工单 | 服务工单的处置结果无结构化记录 | 直接换取;处置结果按回填接口补入 |
| 横向 | 检验记录号 | 质量管理系统与纸质台账 | 一道工序对应零至多次检验 | 纸质检测报告尚未数字化 | 已数字化部分直接换取,纸质部分列入数字化范围 |
挂接按三条规则执行。其一,一律通过统一对象标识服务换取内部主键,不直接用源系统的业务编码做关联键;源编码在 source_ref 中原样保留,便于回查。其二,换取未命中时返回明确的未命中状态,记录进待补映射队列并生成对账工单,不以空值、默认值或就近匹配代替。其三,一条记录命中多个候选主键时不取最高分的那一个,而是整条转入冲突隔离表,按 3.2.6 裁决——在工程语境下,一个挂错了工件的样本比一个没挂上的样本代价更大,后者只是少了一条数据,前者会把另一件产品的事实写到这件产品名下。
业务对象关联的成功与失败样本见下。成功样本取一条焊接参数流片段,四级标识齐备且各级关系自洽;失败样本取同一产线上另一条片段,工位与时间窗同时命中两条焊道,整条转隔离。
{
"case": "业务对象关联·成功",
"record_id": "ALN-OBJ-2027041700912",
"object_key": {
"project": "PJ-00002218", "product": "PD-0000031142",
"part": "PK-0000000931", "process": "OP-WLD-0240",
"equipment": "EQ-WLD-0007", "weld_bead": "WB-0000418203"
},
"source_ref": {"src_codes": {"工位": "W-07", "派工单": "MO-2027-041733", "焊道表行": "7"},
"stream": "CAM-WELD-03", "window": "2027-04-17T14:16:40Z/14:21:10Z"},
"resolution": {"service_version": "OIDS-2027.03", "hit": "exact",
"evidence": ["派工单→零件号 直接映射", "焊道表行→焊道号 唯一命中",
"工位→设备编码 台账唯一"]},
"alignment_confidence": {"business": 0.97},
"review_state": "机器通过"
}
{
"case": "业务对象关联·失败(一对多挂接,转冲突隔离)",
"record_id": "ALN-OBJ-2027041700947",
"object_key": {"project": "PJ-00002218", "product": "PD-0000031142", "part": "PENDING"},
"source_ref": {"src_codes": {"工位": "W-07", "派工单": null},
"stream": "CAM-WELD-03", "window": "2027-04-17T15:02:10Z/15:06:55Z"},
"resolution": {"service_version": "OIDS-2027.03", "hit": "ambiguous",
"candidates": [
{"part": "PK-0000000931", "weld_bead": "WB-0000418207", "score": 0.61,
"basis": "时间窗与该焊道的工艺节拍吻合"},
{"part": "PK-0000000944", "weld_bead": "WB-0000418331", "score": 0.57,
"basis": "同工位同班次的另一件在制品,装夹时间重叠"}],
"reason": "派工单未在该时段报工,工位与时间窗同时命中两条焊道"},
"alignment_confidence": {"business": 0.0},
"publish_state": "隔离",
"block_reason": "OBJ-AMBIGUOUS",
"disposition": {"queue": "冲突隔离表", "ticket": "CFL-2027-0417-0032",
"ask": "请工艺与生产调度确认该时段 W-07 工位的在制件归属",
"sla_hours": 48}
}
两条样本的差别不在算法而在证据:成功样本的三条证据各自独立且相互印证,失败样本的两个候选分数接近且都只有一条间接证据。工具不在这种情形下取高分者,这一取舍写入候选评分的使用口径,评分只用于排列裁决时的查看顺序,不用于自动定夺。
时间关联的难点不是比较时间戳,而是比较之前要先确认这些时间戳是否可比。本项目的时间戳来自四类时钟,彼此独立且都存在偏差:设备控制器时钟、录像设备时钟、业务系统的人工录入时刻、采集网关时钟。四类时钟的偏差量级与校准办法,以及各数据源的采样频率,见表 3-1B。
表 3-1B 各数据源的采样频率、时间戳来源与时钟误差的处置
| 数据源 | 典型采样频率 | 时间戳来源 | 误差成因与量级 | 校准办法 |
|---|---|---|---|---|
| 焊接参数流(电流、电压、送丝) | 10–50 赫兹 | 产线控制系统时钟 | 控制器时钟长期漂移,未定期同步时可达秒级 | 以网络时间同步源为基准定期校时;历史数据按起弧、熄弧等特征事件与视频互相关求偏移量 |
| 热处理炉温与工艺曲线 | 0.1–1 赫兹 | 炉控系统时钟 | 同上,另有开炉门等人工操作与记录时刻不同步 | 按装炉、升温起点等特征拐点对齐装炉清单的记录时刻 |
| 振动与温度等状态量 | 1–1000 赫兹(按测点) | 采集网关时钟 | 网关已接入同步源,偏差多在百毫秒内 | 直接使用,登记同步状态与上次校时时刻 |
| 工艺过程视频 | 25–30 帧每秒 | 录像设备时钟 | 录像设备时钟独立走时,偏差可达分钟级 | 按画面内可见的事件(起弧、落料、设备指示灯)与事件流互相关求偏移量,残差入库 |
| 报警与设备运行事件 | 事件触发 | 产线控制系统时钟 | 与参数流同源,偏差一致 | 与参数流共用同一偏移量 |
| 生产工单与服务工单 | 事件触发 | 人工录入 | 录入时刻晚于事实发生时刻,滞后从数分钟到数日不等 | 事实发生时点与记录时点分两个字段登记,对齐一律用事实发生时点 |
| 检验记录 | 事件触发 | 人工录入或仪器导出 | 同上 | 同上;仪器导出的以仪器时钟为准并登记其同步状态 |
时钟偏移量的求法与残差登记在视频-文本对齐与时序-事件对齐两个工具中已分别实现,字段为 clock_offset_ms,含取值、求法与残差三项(见 3.4.3 与 3.5.2)。本节约定的是三类工具共用的两条口径:其一,凡参与对齐的时间戳必须附带其时钟来源与同步状态,无同步状态登记的时间戳按未校准处理;其二,对齐容差不取经验值,按参与对齐的两路数据的采样周期与时钟不确定度合成:取两路采样周期之半与两路时钟不确定度的平方和根,其中已接入同步源的按登记的同步精度取值,经特征事件互相关校准的按校准残差取值。匹配时刻差超出容差的一律判为不成立。另有一条独立约束:若某一路的时钟不确定度本身已超出该业务对象所需的时间分辨率(如热处理保温段与升温段的边界判定要求),则无论匹配时刻差大小,该路都须先补校时钟再参与对齐。
时间窗口按四类定义,窗长不是一个全局常数,而是按窗口类型与业务对象的节拍分别取值,见表 3-1C。
表 3-1C 四类时间窗口的定义、窗长取法与典型用途
| 窗口类型 | 定义 | 窗长取法 | 典型用途 |
|---|---|---|---|
| 事件前窗 | 自事件时刻向前截取的区间 | 按该类事件的典型前兆时长取值,首期按历史样本的前兆持续时间分布取其上四分位数 | 报警前兆片段、停机前的参数异常片段 |
| 事件后窗 | 自事件时刻向后截取的区间 | 按该类事件的影响消退时长取值 | 维修后的恢复过程、换辊后的参数稳定过程 |
| 稳态窗 | 工艺参数在容差带内持续的区间 | 按参数进入并保持在工艺窗口内的实际时长动态确定,不固定窗长 | 焊接主焊缝段、热处理保温段的特征提取 |
| 过渡窗 | 两个稳态窗之间的区间 | 由相邻两个稳态窗的边界确定 | 升温段、起弧与收弧段的异常检出 |
窗口之间允许重叠,重叠部分的样本带全部命中的窗口标识,不做归一;但一个窗口同时落入两个业务对象的归属区间时,按 3.2.6 转冲突隔离。窗口的步进在批量切分时按窗长的四分之一取值,使边界处的异常不会因恰好落在切点而被截断。
{
"case": "时间关联·成功",
"record_id": "ALN-TIM-2027041700912",
"object_key": {"equipment": "EQ-WLD-0007", "weld_bead": "WB-0000418203"},
"streams": [
{"name": "焊接参数流", "rate_hz": 25, "clock": "产线控制系统",
"sync_state": "已同步", "offset_ms": 0, "residual_ms": 40},
{"name": "工艺过程视频", "rate_fps": 25, "clock": "录像设备",
"sync_state": "未同步", "offset_ms": -2280,
"method": "特征事件互相关(起弧 12 次)", "residual_ms": 140}
],
"tolerance_ms": {"value": 148, "formula": "sqrt(20^2+20^2+40^2+140^2)",
"note": "两路采样周期之半(各 20 毫秒)与两路时钟不确定度(40、140 毫秒)的平方和根"},
"window": {"type": "稳态窗", "code": "WLD-MAIN-SEAM",
"start": "2027-04-17T14:17:01.280+08:00", "end": "2027-04-17T14:20:48.640+08:00",
"basis": "电流在 230±15 A 工艺窗口内持续"},
"matched_events": [{"event_id": "EVT-WLD-9931", "type": "焊接起弧", "delta_ms": 86}],
"alignment_confidence": {"business": 0.97, "time": 0.93}
}
{
"case": "时间关联·失败(残差超容差,对齐不成立)",
"record_id": "ALN-TIM-2027041701338",
"object_key": {"equipment": "EQ-HT-0002", "heat_lot": "HL-2027-0417-03"},
"streams": [
{"name": "炉温曲线", "rate_hz": 0.2, "clock": "炉控系统",
"sync_state": "未同步", "offset_ms": 41000,
"method": "装炉拐点对齐", "residual_ms": 9600},
{"name": "装炉清单记录时刻", "clock": "人工录入",
"fact_time": null, "record_time": "2027-04-17T09:40:00+08:00",
"note": "仅有记录时点,事实发生时点未填报"}
],
"resolution_required_ms": {"value": 3000, "basis": "保温段与升温段的边界判定所需分辨率"},
"alignment_confidence": {"business": 0.91, "time": 0.0},
"publish_state": "隔离",
"block_reason": "TIME-FACT-POINT-MISSING",
"note": "另:炉控时钟校准残差 9600 毫秒已超出该炉次切分所需分辨率,须先补校时钟",
"disposition": {"queue": "冲突隔离表", "ticket": "CFL-2027-0417-0051",
"ask": "请热处理班组按装炉实际时刻补填事实发生时点",
"fallback": "补填前该炉次只参与炉次级统计,不产出时间对齐样本"}
}
失败样本说明一条口径:装炉清单只填了记录时点而未填事实发生时点时,工具不以记录时点近似代替,因为人工录入的滞后在本项目上实测可达数十分钟,用它做时间对齐会把升温段切成保温段。该炉次的数据不丢弃,而是降级为炉次级统计样本,待事实时点补填后重新切分。
空间关联要回答的是「图纸上标的这个要求,落在实物的哪个面上;画面里看到的这一处,是工件的哪个部位;这个测点在轴上的哪个角位置」。本项目涉及四个坐标系与三道变换,见表 3-1D。
表 3-1D 四个坐标系、三道变换与标定方式
| 坐标系或变换 | 内容 | 标定或判定方式 | 未标定时的处置 |
|---|---|---|---|
| 图纸视图坐标系 | 各视图自身的平面坐标,含剖视与局部放大视图的比例 | 由原生图纸文件的图元坐标直接给出,比例取自视图标注 | 不涉及 |
| 视图到工件的变换 | 多视图投影关系的重建,把同一几何要素在不同视图上的表达归并为一个要素 | 先按视图框与投影线索几何对齐,再用标注一致性校验归并(见 3.3.2) | 输出候选对应关系并标注置信度,低于阈值的转人工确认 |
| 工件坐标系 | 以设计基准面与基准孔建立的工件自身坐标 | 由图纸基准标注确定;焊道、加工面、检验部位均在此坐标系下表达 | 基准标注缺失时只记录要素间相对位置,不记录绝对坐标 |
| 工件到设备的变换 | 装夹基准与机床零点的对应 | 取自工装台账与装夹工艺文件 | 台账缺项的记为待补,位置表达退回工件坐标系 |
| 相机内参与外参 | 像素坐标到相机坐标、相机坐标到工件或设备坐标的变换 | 新布点按标定板标定,登记标定时刻、重投影误差与有效期;既有安防点位一般不具备标定条件 | 未标定点位只登记「视场覆盖某部位」这一定性结论,不输出像素到实物的定量位置 |
| 测点角位置基准 | 振动测点在轴上的角位置与键相基准 | 由设备设计资料与现场测量确定 | 基准缺失时频域特征按额定转速估算并标记降级(见 3.5.4),空间分量置零 |
空间关联的输出一律带两项附加字段:变换链(本条位置经过了哪几道变换得出)与位置表达层级(绝对坐标、相对位置、定性覆盖三档)。这两项决定了该样本在下游的可用范围——定性覆盖档的样本可用于画面描述类训练,不可用于需要精确部位的缺陷定位类训练,标注规范按此分流。
{
"case": "空间关联·成功",
"record_id": "ALN-SPA-2027041700912",
"object_key": {"part": "PK-0000000931", "weld_bead": "WB-0000418203"},
"transform_chain": ["像素→相机(内参 CAM-WELD-03/2027-03-21)",
"相机→设备(外参,标定板,重投影误差 0.42 px)",
"设备→工件(装夹台账 FX-0231,基准面 A、基准孔 B1)"],
"position": {"level": "绝对坐标", "frame": "工件坐标系",
"bead_start_mm": [412.0, 68.5, 0.0], "bead_end_mm": [1286.0, 68.5, 0.0],
"observed_point_mm": [861.4, 70.2, 0.0]},
"drawing_link": {"view": "主视图", "entity_handle": "2F1A", "layer": "焊接符号",
"requirement": "角焊缝 k=8,GB/T 324 标注"},
"calibration": {"valid_until": "2027-09-21", "residual_px": 0.42},
"alignment_confidence": {"business": 0.97, "time": 0.93, "space": 0.89}
}
{
"case": "空间关联·失败(点位未标定,降为定性覆盖)",
"record_id": "ALN-SPA-2027041701902",
"object_key": {"part": "PK-0000000944", "process": "OP-WLD-0240"},
"source_profile": {"origin": "安防既有点位", "resolution": "1280x720", "fps": 15,
"fov_note": "斜俯视全工位,焊接部位在画面远端"},
"transform_chain": ["像素→相机(未标定)"],
"position": {"level": "定性覆盖", "frame": null,
"statement": "画面覆盖 W-07 工位整体,可判断是否在焊接,不可判断焊道位置"},
"alignment_confidence": {"business": 0.95, "time": 0.90, "space": 0.31},
"downstream_use": {"画面描述类训练": "可用", "缺陷定位类训练": "不可用",
"basis": "位置表达层级为定性覆盖"},
"publish_state": "候选",
"note": "该点位的可用率单列统计,不并入总体;新增布点的视场与清晰度要求另行提出"
}
第二条样本不是隔离件而是降级件,二者的区别需要讲清楚:隔离是指这条记录的关系判定不成立,不能作为合格训练数据发布;降级是指关系成立但精度不足以支撑某些用途,样本可用、用途受限。工具在字段上把两者分开,下游按 position.level 与 downstream_use 取用,不靠人记。
语义关联要回答的是「图纸上这个符号,在工艺语言里叫什么;画面里这个现象,在工单里怎么写;这段曲线形态,在诊断结论里对应哪句话」。三类映射的依据、判定方式与歧义处置见表 3-1E。
表 3-1E 三类语义映射的依据与歧义处置
| 映射类型 | 从 | 到 | 判定依据 | 歧义处置 |
|---|---|---|---|---|
| 符号到加工要求 | 粗糙度、坡口、倒角、形位公差、焊接符号 | 加工方法、工序、检验项 | 符号按国家标准表示法规则解析;符号到工序的对应取自工序字典与加工方法分档规则 | 一个符号对应多种加工方法时输出候选集与适用条件,不自动择一 |
| 现象到业务用语 | 画面中的作业动作与可见现象、时序曲线形态 | 工单描述用语、工艺阶段名称 | 本体主词条与别名表;标注规范中的判例 | 别名表未覆盖的表述进入新术语发现流程,不就近归入相近词条 |
| 结论到判据用语 | 诊断结论、检验判定 | 故障名录条目、判定分级、缺陷类别 | 故障名录、热处理三级判定、缺陷与检出手段对应关系 | 判据未成文的部分按工具内置分档输出并标注其依据来源,与业务口径的差异在标注质量报告中单列 |
语义映射一律经由领域本体与术语词典,不在工具内硬编码词表;本体版本号随每条记录登记,本体改版后历史记录按 4.5.4 的三档口径处置。这样做的实际好处是,业务口径更新时改的是本体,不是十个工具的代码,而改了什么、影响哪些历史样本有据可查。
{
"case": "语义关联·成功",
"record_id": "ALN-SEM-2027031200781",
"object_key": {"part": "PK-0000000931", "surface": "SF-A3"},
"ontology": {"version": "ONT-2027.02", "domain": "工艺"},
"mapping": {
"from": {"modality": "图纸符号", "handle": "3C07", "symbol": "Ra 3.2",
"standard": "GB/T 131—2006"},
"to": {"term": "精铣", "term_id": "ONT-PROC-0117",
"aliases_hit": ["半精加工后精铣"], "process_candidates": ["OP-MIL-0120"]},
"basis": ["粗糙度分档规则:Ra 3.2 对应精铣或精磨",
"该表面为平面且相邻工序为铣削,排除精磨",
"工序字典中备料与机加工序集合内仅 OP-MIL-0120 满足"]},
"alignment_confidence": {"business": 0.99, "space": 0.94, "semantic": 0.91}
}
{
"case": "语义关联·失败(别名未覆盖,转新术语发现)",
"record_id": "ALN-SEM-2027041702216",
"object_key": {"equipment": "EQ-HT-0002", "work_order": "WO-2027-041801"},
"ontology": {"version": "ONT-2027.02", "domain": "质量"},
"mapping": {
"from": {"modality": "工单文本", "span": [46, 53], "text": "发闷响、带周期"},
"to": null,
"nearest": [{"term": "异响", "term_id": "ONT-FAULT-0301", "similarity": 0.62},
{"term": "周期性冲击", "term_id": "ONT-FAULT-0318", "similarity": 0.58}],
"reason": "两个候选的相似度接近且语义指向不同层级,别名表未收录该表述"},
"alignment_confidence": {"semantic": 0.0},
"publish_state": "隔离",
"block_reason": "SEM-NO-TERM",
"disposition": {"queue": "新术语发现池", "ticket": "TRM-2027-0418-0007",
"submit": {"候选表述": "发闷响、带周期", "出现频次": 23,
"建议归属": "故障域·现象层", "证据样本": 5},
"fallback": "本体评审采纳前,该条不参与故障标签标注,仅进语料"}
}
失败样本中的「出现频次 23」是这条线索值得提交评审的理由:孤例不进评审池,达到频次门限的才提交,避免本体被低频表述灌满。频次门限按业务域分别设定,首期取值与复标周期随本体评审机制一并约定。
每条对齐记录登记四个置信度分量与一个总体值,字段为 alignment_confidence,取值 0 至 1。四个分量的计算依据见表 3-1F。
表 3-1F 四个置信度分量的计算依据与降级条件
| 分量 | 计算依据 | 取 1 的条件 | 降级条件 |
|---|---|---|---|
| 业务分量 | 主键换取的命中方式与证据条数 | 精确命中且有两条以上独立证据 | 单证据命中降一档;多候选命中置零并隔离 |
| 时间分量 | 匹配残差与对齐容差之比 | 残差不足容差的五分之一 | 残差接近容差按比例线性降低;超容差置零 |
| 空间分量 | 变换链完整度与标定残差 | 变换链完整且重投影误差在标定允许范围内 | 变换链缺环按缺的那一道降档;未标定置为定性档上限 |
| 语义分量 | 本体命中方式与候选分离度 | 主词条精确命中 | 别名命中降一档;多候选且分离度不足置零并隔离 |
总体值取四个分量的最小值,不取加权平均。理由是四个分量描述的是四件互不替代的事:时间对得再准,工件挂错了仍是错样;语义映射再确切,空间位置说不清就不能用于定位类训练。加权平均会让一个高分量掩盖一个致命的低分量,而数据集里最难查的恰恰是这种「总分不低、某一维已经不成立」的样本。总体值按 2.3 的三档口径分流,高阈值按工具链总述第 4.9 节的门限校准口径确定,不另取经验值。
对齐置信度的分布本身作为一项质量指标按批次统计:基线为首批实测的四分量分布与总体值分布;趋向为高置信档占比随标识链补齐、点位标定与本体扩充逐季提高,中低置信档占比相应下降;低于门限时的回退为按分量定位短板所在环节(主键、时钟、标定、本体),把该环节的补齐事项列入对应清单,期间该批次按实际档位分流,不调整阈值凑占比。
前四节各自给出了失败出口,本节统一约定冲突的分类、隔离方式与裁决流程。五类冲突及其处置见表 3-1G。
表 3-1G 五类对齐冲突的判定、隔离方式与裁决口径
| 冲突类型 | 判定 | 隔离方式 | 裁决依据与结论回写 |
|---|---|---|---|
| 一对多挂接 | 一条记录命中多个候选业务对象主键 | 整条进冲突隔离表,主键置待定 | 由工艺与生产调度按派工与在制记录确认;结论回写主键并标记裁决来源 |
| 时间窗归属重叠 | 一个窗口同时落入两个业务对象的归属区间 | 该窗口的切分结果整体隔离 | 由作业班组按实际作业顺序确认;结论回写窗口边界 |
| 空间作用面冲突 | 同一表面上存在两项相互冲突的加工或检验要求 | 该符号条目降为候选推荐,不写入工艺卡片字段 | 由工艺确认;属图纸本身标注冲突的记入图纸问题清单提交甲方,不自行改数 |
| 语义标签互斥 | 命中的本体标签之间违反互斥约束 | 整条进冲突隔离表 | 按本体约束校验结论处置;属本体缺口的提交本体评审 |
| 跨模态结论矛盾 | 同一事实在两个模态上得出相反结论(如画面显示在焊而参数流显示未起弧) | 两条记录同时隔离并相互引用 | 由设备与工艺联合确认;结论回写并沉淀为新的校验规则 |
裁决按工单组织,工单含四项必备内容:冲突类型与判定依据、各候选及其证据、需要确认的具体问题、处理时限。时限按冲突对下游的阻塞程度分两档,阻塞批次流转的按一个工作日、不阻塞的按三个工作日。裁决结论一律回写原记录并留痕,留痕内容包括裁决人岗位、裁决时刻、所依据的材料与结论;同一类冲突在同一业务域内累计达到约定次数后,由工具提出规则补充建议,经确认后沉淀为自动判定规则,使同类冲突在后续批次中不再重复占用人力。
冲突隔离与裁决的三项指标按三段式给出。其一,隔离率:按冲突类型分别统计隔离记录占本批次记录数的比例,首批实测取基线;趋向为随标识链补齐与规则沉淀逐季下降;持续高于门限时按类型定位成因,属数据通道缺口的转对应清单,属规则不足的补充规则,不以放宽判定条件压低隔离率。其二,裁决及时率:在时限内结清的工单占比,基线按首批实测取值,趋向为稳定在约定水平以上,低于门限时缩短单批派发量并提高派发频次。其三,裁决后复发率:同一业务对象在裁决结清后再次因同类冲突进入隔离的比例,基线首批实测,趋向为随规则沉淀下降,高于门限时说明裁决结论未转为规则,需补充规则并对同类历史记录做一次复扫。
本工具从设备和工艺图纸中抽取结构化的数据信息。
甲方的板材备料工艺编制困难集中在重复劳动。工艺人员要读懂多视图的投影关系,读出材料牌号、板厚、外形轮廓、孔与方孔、坡口与倒角、压弯线与粗糙度符号,据此在备料分厂固定且封闭的工序集合中挑选并排序——该集合现掌握的口径为二十八道,以工艺部门确认的正式工序字典为准——再逐字段填写卡片、关联设备与工装样板、按中性层公式换算压弯件展开长。
当前编制方式下工时大量消耗在录入而非工艺判断上:编制一张图纸的工艺卡需完成数百次点击与录入,一套四百张量级的项目仅工艺编审即需两天以上,而其中七八成图纸本有可借用的既有工艺,仍需逐张打开核对。出错代价不对称——材料定额中的下料尺寸写错,钢板割下来就是废料。
图纸抽取的首要验收点是:抽出的尺寸与定额能否被工艺人员直接采信。无置信度分级、无证据回指时,即便识别率高,工艺人员也无法判断哪些数字须复核,该工具在本场景不可用。
工具按五个功能单元组织,见表 3-2。
表 3-2 图纸与工艺图结构化抽取工具的功能单元
| 功能单元 | 做什么 | 关键技术取舍 |
|---|---|---|
| 原生图元解析 | 直接读取原生 CAD 图纸文件(DWG、DXF 等)的图元、图层、线型、块引用、尺寸标注与标题栏,保留每个图元的句柄 | 读原生文件而非截图识别。原生文件中尺寸标注的测量值是确定的数值,不需要识别;截图路线会把确定的数值变成识别结果,这是本项目不采用它的原因 |
| 版面与表格还原 | 解析标题栏、明细栏、技术要求文本块与图框信息,还原为字段值 | 标题栏与明细栏位置在企业内部有固定模板,按模板匹配优先、通用表格还原兜底 |
| 符号与标注语义解析 | 解析粗糙度、坡口、倒角、形位公差、尺寸公差、焊接符号、热处理要求等符号表达的加工要求,并确定其作用的表面范围 | 符号本身按国家标准的表示法规则解析,依据 GB/T 131—2006《产品几何技术规范(GPS) 技术产品文件中表面结构的表示法》与 GB/T 1800.1—2020《产品几何技术规范(GPS) 线性尺寸公差 ISO 代号体系 第 1 部分》;作用范围的判定需结合视图投影关系,由模型辅助给出候选、规则校验收敛 |
| 多视图投影关系重建 | 识别主视图、俯视图、左视图与剖视、局部放大视图之间的投影对应,把同一几何要素在不同视图上的表达归并为一个要素 | 先按视图框与投影线索做几何对齐,再用标注一致性校验归并结果。本项无法完全自动化时,输出候选对应关系供人工确认 |
| 几何要素与工艺特征提取 | 提取外形轮廓、板厚、孔(含方孔)位置与尺寸、压弯线、切割长度、面积,并计算压弯件展开长与材料定额 | 展开长按中性层公式确定性计算,中性层系数按板厚、折弯角度与模具的对应关系取自工装台账;台账缺失处输出为待补并给出经验区间,不静默取默认值 |
扫描件与纸质图纸的处理另按一条路线:先做版面分析与光学字符识别,再进入符号语义解析;此路线的输出一律不进高置信档,默认进入人工复核队列。这是因为扫描件上的尺寸数值来自识别而非原始数据,置信度在工程语境下不足以直接采信。两条路线的选择由输入文件类型自动判定,处理结果在 source_ref 字段中标明来源路线。
图纸抽取工具的接口设计受一条硬条件约束:图纸与工艺文件属产品定义资料,解析须在内网就地完成、文件不出内网,因此接口只取只读权限,并按图号或项目分批拉取,不做整库导出。输入三项分别对应三类依据——图纸文件是待解析对象,工序字典与规则是判定依据,历史成对样本是校验依据;三者均带版本号,便于日后复算时还原当时的判定环境。输出三项中,结构化图纸记录是主产物,要素级证据索引是其可核验性的保障:每个抽取出的字段都能回指到图元句柄、图层名与坐标范围,复核人员无须重新读图即可定位到原处;待补与冲突清单则是不确定部分的出口,未命中与存疑条目以工单形式交人工,而不混入主产物。三项输出合起来即表明,本工具产出的每个字段都可追到图上一处,这是 3.3.6 各项抽取正确率得以按字段分别验收的前提。
表 3-3 图纸结构化抽取工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 图纸文件获取 | 按图号或项目从产品全生命周期管理系统按已授权范围只读读取图纸文件、物料清单与工艺文件;解析在内网就地进行,文件不出内网 | 工具侧发起只读调用;原生图纸不支持整批导出时按图号或项目批量拉取 |
| 输入 | 工序字典与规则 | 备料分厂工序集合(现掌握口径二十八道)、加工方法分档规则、中性层系数台账、工装压模与样板台账 | 从知识本体与规则库读取,带版本号 |
| 输入 | 历史成对样本 | 历史图纸与其已审核签发的工艺卡片配对样本,用于抽取结果的回归比对 | 从数据集原始区读取,按批次 |
| 输出 | 结构化图纸记录 | 标题栏字段、明细栏行、几何要素表、符号与加工要求表、视图对应关系、材料定额与展开长 | 以 JSON 文档写入对齐区,附表 2-1 公共字段 |
| 输出 | 要素级证据索引 | 每个字段回指到图元句柄、图层名、视图编号与坐标范围 | 与结构化记录同库存储,供复核时定位 |
| 输出 | 待补与冲突清单 | 未命中对象主键、台账缺失、视图对应存疑、符号无法解析的条目 | 以工单形式推入人工处理队列 |
图 3-2 图纸与工艺图结构化抽取流程与责任边界。数据来源:招标文件第五章 3.2.3.5.1 节(b0991、b0992);工序口径与中性层计算方式依甲方工艺部门现行做法。
下例为一张压弯件图纸的抽取结果片段,字段名与表 2-1、表 3-3 一致。为便于阅读省略了部分重复的要素行。
{
"record_id": "DWG-EXT-2027031200781",
"object_key": {"part": "PK-0000000931", "drawing": "DW-0000045127", "project": "PJ-00002218"},
"source_ref": {"route": "A-native", "file_digest": "sha256:9f1c…a4", "layout": "主视图+俯视图+局部放大A"},
"title_block": {
"part_name": "过渡槽帮板",
"material": "Q355B",
"thickness_mm": 16,
"drawing_rev": "C",
"designer_role": "设计岗位",
"approve_state": "已签发"
},
"geometry": {
"outline_perimeter_mm": 4318.6,
"outline_area_mm2": 862140.0,
"holes": [
{"type": "round", "d_mm": 22.0, "count": 8, "evidence": {"handle": "2F3A", "layer": "ARC-HOLE", "view": "V1"}},
{"type": "square", "a_mm": 40.0, "count": 2, "evidence": {"handle": "2F55", "layer": "ARC-HOLE", "view": "V1"}}
],
"bends": [
{"line_id": "B1", "angle_deg": 90.0, "radius_mm": 20.0,
"neutral_factor": 0.41, "neutral_factor_source": "工装台账 v2027.02 / 板厚16-角度90-模具 M-18",
"evidence": {"handle": "31C7", "layer": "ARC-BEND", "view": "V2"}}
],
"developed_length_mm": {"value": 1486.3, "method": "中性层公式", "recomputable": true}
},
"process_requirements": [
{"type": "roughness", "value": "Ra 12.5", "applies_to": {"surface_id": "S3", "view": "V1", "bbox": [412, 180, 760, 214]},
"spec_ref": "GB/T 131—2006", "confidence": 0.94, "evidence": {"handle": "3A02", "layer": "ARC-SYM"}},
{"type": "bevel", "value": "单边V形 30°±2°, 钝边 2mm", "applies_to": {"surface_id": "S7", "view": "V3"},
"confidence": 0.71, "evidence": {"handle": "3A4D", "layer": "ARC-SYM"}}
],
"view_mapping": [
{"element_id": "S3", "views": ["V1", "V2"], "method": "投影线索+标注一致性", "confidence": 0.88},
{"element_id": "S7", "views": ["V1", "V3"], "method": "候选待确认", "confidence": 0.52, "review_state": "未复核"}
],
"material_quota": {"net_area_mm2": 862140.0, "nesting_pending": true,
"note": "套料利用率需在下料排版后回填"},
"confidence": 0.86,
"review_state": "机器通过",
"tool_id": "dwg-extract", "tool_version": "1.4.0", "config_version": "cfg-2027Q1-03",
"model_ref": "gw-vlm/v3", "prompt_version": "p-sym-0112",
"batch_id": "B-20270312-DWG-017",
"pending": [
{"item": "坡口作用表面跨视图对应存疑", "element_id": "S7", "action": "转人工确认"}
]
}
样例中有两处值得说明。一是 developed_length_mm 带 recomputable: true 标记,表示该值由公式与台账参数确定性算出,验收时可独立复算;中性层系数的来源写明了台账版本与匹配条目,台账缺失时此处会改为待补而不是取默认系数。二是 view_mapping 中 S7 的置信度为 0.52,低于阈值,整条记录因此在 pending 中列出并转人工确认,而不是把存疑的坡口要求当作已确认结果写入工艺卡片字段。
前一节的输出样例里有一处安排值得单独说明:developed_length_mm 带可复算标记,view_mapping 的低置信条目转人工。这两处体现的是同一个判断——图纸抽取的结果不能只靠抽样复核来确认,它应当先由工具自己校一遍。
理由在于两种质量手段的性质不同。抽样复核是有限的、靠人的、用来估计整体正确率的;一批三百张的抽样可以告出"字段抽取正确率约为多少",但它不保证剩下的图纸里没有结构性错误。而图纸这一类载体有一个别处没有的便利:它自己带着可验算的约束。 尺寸之间要闭合,标题栏与明细栏之间要对应,符号必须落在实际存在的表面上,工艺参数必须落在工艺规程许可的范围内。这些约束可以逐张机械校验,成本接近于零,且不依赖人工判断。工具因此在输出之前对每一张图纸执行五项工程一致性自检,不通过的条目不进高置信档。
五项自检的判据、不通过时的处置与留下的证据如表 3-3A。
表 3-3A 图纸抽取结果的五项工程一致性自检
| 自检项 | 判据 | 不通过时的处置 | 留存证据 |
|---|---|---|---|
| 尺寸链闭合 | 同一方向上各组成尺寸之和与该方向的封闭尺寸一致,允差按图纸标注的公差带合成 | 区分三种成因分别处置:抽取有误的重算该方向尺寸,仍不闭合则转人工;图纸本身标注不闭合的记入图纸问题清单并提交甲方确认,不自行改数;缺标注的记为待补 | 参与本次计算的尺寸标注图元句柄清单与合成允差 |
| 标题栏与明细栏自洽 | 必填项齐全(图号、名称、材质、板厚、比例、数量、签署状态);图号与文件命名及档案编号一致;明细栏件号连续、数量与装配图引用一致 | 字段级记为待补或待核,不以默认值填充;图号不一致的整张转人工,因为它影响工艺卡片的归档关系 | 各字段的取值位置(表格单元坐标或图元句柄)与比对结果 |
| 材质牌号合法 | 牌号对照材料标准词典与企业常用牌号台账校验;别名与手写变体做归一化 | 可归一的给出归一候选并标注原始写法;不可归一的转人工,同时把该写法提交术语表更新流程 | 原始写法、归一候选、所依据的词典版本 |
| 符号作用范围自洽 | 粗糙度、坡口、倒角、形位公差与焊接符号的作用表面,须落在已识别的几何要素上;同一表面不得同时存在相互冲突的两项要求 | 作用范围判定不自洽的,该符号条目降为候选推荐,不写入工艺卡片字段,与本节 3.3.6 对符号类型的回退口径一致 | 符号图元句柄、所指几何要素标识、冲突条目对 |
| 工艺参数落在工艺窗口内 | 热处理温度与保温时间、焊接电流与电压、压弯角度与板厚对应的最小弯曲半径等,对照工艺规程给定的参数窗口校验 | 越界不判为错误,判为需工艺确认:转工艺人员裁定,裁定结论(属特殊工艺、属技术要求特批、属图纸笔误)记入样本并回流参数窗口库 | 参数取值、所比对的窗口条目与规程版本、裁定结论 |
表 3-3A 数据来源:自检项依本节表 3-2 各功能单元的产出字段设计,判据取自图纸标注的公差带、企业材料台账与工艺规程窗口;符号表示法的解析依据见表 3-2 所引国家标准。五项的首期执行范围与基线见本节 3.3.6。
第五项的处置方式需要特别说明,它是本工具与一般识别工具的分界。 工艺参数越界有三种成因:图纸写错、工艺本身特殊、规程窗口本身不全。工具无从分辨,所以它只能把越界事实与所比对的窗口条目一并呈报,由工艺人员裁定。把越界一律判为错误并剔除,会把真实的特殊工艺样本删掉——制造现场的例外是常态,而被删掉的恰恰是最有训练价值的样本;反过来,把越界静默放行,则等于把一条可能写错的工艺参数当作事实写进数据集。裁定结论回流参数窗口库这一步同样重要:窗口不全是现场实情,每一次裁定都在把隐性经验变成可复用的规则,这与数据治理体系建设中工序字典与规程成文的工作同向。
自检与抽样复核是两件事,不互相替代。 自检是逐张执行的、机械的、判"有没有违反可验算的约束";抽样复核是有限的、靠人的、判"抽出来的值对不对"。一张图纸可以通过全部五项自检而仍然抽错——例如把一个孔的直径从十二读成十八,恰好不破坏任何闭合关系;也可以自检不通过而抽取无误——例如图纸本身标注不闭合。因此两者在验收中并列:自检保证不漏过结构性错误,抽样复核给出正确率的估计值。本节 3.3.6 的五项正确率指标由抽样复核得出,自检的指标另立两项,见该节配套补充。
每张图纸输出一份校验单。 校验单按图号归档,内容为五项自检的逐项结论、命中条目、所依据的证据句柄与处置去向。它有三重用处:其一,它就是通用接口、追溯与验收要求所要求的质量指标与问题样本清单在本工具上的具体形态,不另造一套;其二,证据句柄使甲方可以独立复算——打开原图按句柄定位到那几个标注,自行验算闭合关系,不必信任我方的结论;其三,自检不通过的条目天然是高价值素材:它们是图纸解读类基准题目最好的来源(难度真实、答案可验算),也是标注环节优先派发的样本。
本项能力对历史资料另有一层用处。 五项自检的执行不依赖人工,可对历史工艺样本批量运行,形成一份历史图纸的标注问题清单,作为资料质量普查的副产品交付甲方。普查的覆盖面取决于原生图纸文件的可获得比例——扫描件路线的抽取结果本就不进高置信档,其自检结论只作提示。本方案的承诺因此落在三件可核对的事上:首期在试点批次上执行并给出可普查比例的实测值;服务期内随原生文件获取范围扩大逐步扩展覆盖,每期在质量报告中更新已覆盖比例;覆盖不到的部分在数据卡中显式标注,使使用方知道哪一部分未经自检。
自检能力的基线与回退按三项给出。 其一,自检可执行率:五项中能够实际执行的项数占比,它取决于图纸标注完整性与台账可获得性,首期在试点批次上实测取基线,不可执行的项按待补记录而不是按通过记录——把无法校验记成通过,是这类自检最常见的失真方式,本工具在字段上区分"通过"与"未校验"两种状态。其二,自检命中的准确率:自检报出的问题经人工确认为真问题的比例,按项分别统计;某一项准确率低于门限时,该项降为提示、不参与拦截,避免大量误报挤占复核人力。其三,自检漏过率:以抽样复核发现的错误为分母,统计其中未被任何自检项命中的比例,用于判断自检规则是否需要补充。三项均属待验证目标,首批实测后随规则补充逐步改善;任一项长期不达门限时,该项自检退为质量报告中的统计项,图纸抽取的质量判定仍以本节 3.3.6 的抽样复核口径为准,交付完整性不受影响。
表 3-4 图纸结构化抽取工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 标题栏与明细栏字段抽取正确率 | 原生图纸路线不低于 95%,扫描件路线不低于 85% | 按图号分层随机抽样不少于 300 张,与人工核对结果比对;每个字段单独计分 | 对未达标的字段类型关闭自动填写,改为输出候选值供人工选择 |
| 几何要素(轮廓、孔、压弯线)抽取正确率 | 原生图纸路线不低于 95% | 同上,按要素计数,位置偏差超过图纸公差带的计为错 | 对特定图层或块引用样式做专项适配后重跑该批 |
| 符号与加工要求解析正确率 | 不低于 88%,并逐步接近人工复核水平 | 抽样 300 张,按符号条目计分;作用表面范围判定错误单独统计 | 低于基线的符号类型从自动解析转为候选推荐,仍保留证据回指 |
| 压弯件展开长计算一致性 | 与工艺人员按同一公式、同一系数手算结果逐步接近一致 | 抽取 100 件压弯件独立复算,偏差超过 1mm 计为不一致 | 定位为系数台账缺项或角度解析错误,分别走台账补录与几何重算 |
| 可借用历史工艺的召回情况 | 在历史成对样本上,相似工艺候选的前五位命中率不低于 80% | 用历史图纸与其已签发工艺卡片做回归比对 | 检索键从工艺特征退回到图号与材料牌号组合,召回范围放宽、由人工筛选 |
| 工程一致性自检可执行率 | 在试点批次上实测取基线,按五项分别统计 | 逐张统计五项的可执行、通过、不通过、未校验四种状态分布;未校验不计入通过 | 不可执行项的缺项成因登记为待补(标注缺失或台账缺项),分别走图纸确认与台账补录 |
| 自检命中的准确率 | 按项分别设定,首期以人工确认为真问题的比例实测取基线 | 每批次抽取自检命中条目不少于 100 条,由工艺或设计口人员确认 | 准确率低于门限的自检项降为提示、不参与拦截;规则修订后重新评估 |
上表前五项由抽样复核得出,后两项由逐张自检得出,两类手段并列而不互相替代。需要说明的是,上表所有基线是在甲方提供的试点批次图纸上标定的目标值,首期试点规模与图纸构成在实施方案中明确。工具上线后按季度复测并公布实测值,实测值低于基线时按回退列的动作处置,不以调整统计口径的方式达标。
此外有两项前置条件写在这里,因为它们直接决定本工具能达到的上限:备料分厂的工序字典与加工方法分档规则目前未成文,中性层扣除量按板厚、折弯角度与模具的对应关系散见于经验,图号与命名规则在历史图纸上不统一。这三项的梳理与成文纳入数据治理体系建设的标准制定范围,本工具在它们成文之前按已掌握的口径运行并把缺项显式记录为待补,不以推测值填充。
甲方的厂区视频监控当前仅用于安防,点位、角度与清晰度不满足观察焊接部位一类工艺过程的要求。工艺过程所需的图像采集须按各场景的数据要求单独提出并另行布点。这意味着视频-文本对齐工具面对的是两类输入:既有安防视频中可用的作业过程片段,以及本项目新布点采集的工艺过程视频。两类输入的画质、帧率与视场差别很大,工具必须在同一套接口下处理,并在输出中标明来源,使下游训练时可以按来源分层。
更重要的问题是对齐依据。一段焊接视频本身不包含「这是第几道焊道、处在哪个工艺阶段」的信息,这些信息在制造执行系统的工序流转记录与物联网平台的设备报警记录里。把两者挂起来,靠的是时间戳;而设备时钟漂移、报工时点相对实际作业有滞后,这两件事是甲方现场的既有状况。因此本工具的设计重点有两个:一是对齐,二是把对齐的不确定性如实记录并可检出。
工具支持三种关键帧抽取方式,并在抽取后结合画面光学字符识别与视觉描述形成帧级文本说明(b0994、b0995)。三种方式的适用情形见表 3-5。
表 3-5 三种关键帧抽取方式的触发条件与适用情形
| 抽取方式 | 触发条件 | 适用情形 | 产出密度 |
|---|---|---|---|
| 事件触发 | 由设备报警、工序开完工、炉次开炉、焊接起弧与收弧、停机等事件的时间戳触发,按事件前后各取可配置时长的窗口抽帧 | 构造「事件—画面」成对样本,用于诊断类与质量类数据集 | 每事件 3 至 30 帧,按事件类型配置 |
| 关键帧检测 | 按画面变化度、场景切换、运动量与清晰度评分自动选帧,并做相似帧去重 | 长时段连续录像的压缩采样,用于生成画面描述与工艺阶段识别样本 | 按配置的每分钟上限控制 |
| 人工标记 | 由工艺人员、质检人员在复核界面上标记时点,或从既有的交检拍照记录中取时点 | 稀缺但高价值的样本,如典型缺陷出现时刻、工装异常时刻 | 由标记数量决定 |
帧级文本说明由三部分合成:画面中可见的文字(设备面板读数、工位牌、工件标识、字幕叠加的时间与参数)由光学字符识别取得;画面内容的自然语言描述由多模态模型生成,描述模板按场景约束,要求写明可见的对象、位置关系与可观察到的状态,不写推断性结论;可直接从画面读取的量化信息(如面板显示的电流值、温度值)单独成字段,与描述文本分离存放。
把量化信息与描述文本分开存放,是因为两者的可信度不同,下游用法也不同:面板读数经核对后可以作为标签使用,描述文本更适合作为模型的理解材料。混在一段文字里,下游就无法分别处理。
工具支持视频关键帧与设备运行事件、工艺阶段进行时间戳对齐,输出帧时间戳、视觉描述、事件标签、工艺阶段和置信度(b0996、b0997)。输出字段的定义见表 3-6。
表 3-6 视频-文本对齐记录的输出字段
| 字段 | 定义 | 取值与说明 |
|---|---|---|
frame_ts | 帧时间戳 | 协调世界时,ISO 8601 带时区偏移;原始设备时间与校准后时间分别保留 |
clock_offset_ms | 本路视频相对统一时间基准的时钟偏移 | 由时钟校准步骤估得,附估计方法与残差 |
visual_desc | 视觉描述 | 自然语言,描述可见对象、位置关系与可观察状态 |
ocr_text | 画面文字识别结果 | 原样保留,附逐条置信度与在画面中的坐标框 |
panel_readings | 从画面读取的量化信息 | 键值对,附单位与识别置信度 |
event_tags | 事件标签 | 来自设备报警、工序流转、炉次记录等事实源的事件编号与类型,可多值 |
process_stage | 工艺阶段 | 取自工序字典的阶段编码,附判定依据(来自工序流转记录/由画面推断/人工标注) |
object_key | 业务对象主键 | 工件、焊道、炉次、设备等,来自统一对象标识服务 |
align_confidence | 对齐置信度 | 由时间距离、时钟偏移残差、事实源记录的时点可靠性三项合成 |
align_method | 对齐方法 | 事件时点直接匹配/最近邻时间窗匹配/人工确认 |
source_profile | 采集来源画像 | 安防既有点位/本项目新布点;分辨率、帧率、视场说明 |
align_confidence 的合成方式写明在配置里:时间距离越近得分越高;时钟偏移残差越大扣分越多;事实源记录的时点可靠性按事实源分档取系数——炉次开完工记录与设备报警记录的时点较可靠,制造执行系统的报工时点因存在滞后而取较低系数。这样做的结果是,同样一帧画面挂到报警事件上的置信度会高于挂到报工记录上,下游可以据此筛选样本。
工具支持关键帧与事件标签的对齐校验,识别时间漂移、描述缺失和画面不匹配(b0998、b0999)。三类问题的检出方法见表 3-7。
表 3-7 对齐校验的三类问题与检出方法
| 问题类型 | 表现 | 检出方法 | 处置 |
|---|---|---|---|
| 时间漂移 | 视频时间轴与事实源时间轴整体或分段错位,表现为画面内容系统性地早于或晚于事件 | 一是用画面内可见的时钟或叠加时间戳与统一基准比对;二是选取一批有明确视觉特征的事件(起弧、开炉、工件进场)做互相关估计,求整段偏移与分段偏移;三是监测偏移估计值的时间趋势,线性漂移单独标记 | 偏移小于阈值时自动校正并记入 clock_offset_ms;超出阈值或存在非线性漂移时该段视频降级为低置信,转人工确认采集侧时钟配置 |
| 描述缺失 | visual_desc、ocr_text 或 panel_readings 为空或内容无效(如全为模糊、遮挡、黑屏) | 画面质量评分(清晰度、曝光、遮挡比例)低于门限;描述文本长度或信息量低于门限;识别结果置信度整体偏低 | 该帧标记为无效帧,不进入训练样本;连续无效帧比例超过门限时对该路视频出采集质量工单 |
| 画面不匹配 | 画面内容与所挂事件标签在语义上对不上,如挂着「焊接起弧」的帧里没有弧光与焊枪 | 一是用事件类型对应的画面特征检查表做规则校验(事件类型—应当可见的对象清单);二是用多模态模型对「画面与事件标签是否相符」打分;三是把同一事件类型的帧聚类,离群帧单独检出 | 不相符的记录不自动删除,改为降级并写入 pending,由人工判断是对齐错误还是事件记录本身有误;后者回流到事实源数据质量问题清单 |
三类校验都不以「自动修正后直接入库」为默认动作。时间漂移在阈值内自动校正,其余两类一律降级转人工,原因是自动修正的错误在下游不可见,而降级转人工的代价是可计量的工时。
视频对齐的接口设计绕着一个前提展开:视频侧与业务侧的时钟多半不是同一个来源,二者的偏移若不先测出来,帧与事件的对应便是看似齐整、实则错位。时钟与抽帧配置因此列为输入项,并约定缺 clock_source 即拒收、不自行推定基准——宁可任务不启动,也不产出无从判断可信度的对齐结果。事实源事件统一使用协调世界时,是为避免各系统本地时区与夏令时差异混入残差。输出侧按来源分层是另一条关键约定:既有安防点位与本项目新布点的视场、清晰度不同,可用率相差较大,合并成一个总数会掩盖部分点位实际不可用的事实,故不同点位的可用率分列不合并。三类分流队列把采集质量问题与事实源数据质量问题分开推送,两者的处置方与整改动作并不相同。
表 3-7A 视频-文本对齐工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 视频流/录像 | 安防既有点位与本项目新布点;点位加时段或文件引用 | 按授权只读拉取;输出以 source_profile 标明来源分层 |
| 输入 | 事实源事件 | 设备报警、工序开完工、炉次、起弧/收弧等时点 | 物联网/制造执行/产线控制只读;时间用协调世界时 |
| 输入 | 工艺阶段与对象主键 | 工序字典阶段编码、统一对象标识服务 | 带版本读取(对应第 8 节 stage_table_version) |
| 输入 | 时钟与抽帧配置 | 视频侧与业务侧时钟来源、三种抽帧策略(表 3-5)、对齐容差 | 任务参数传入;缺 clock_source 须拒收,不自行猜基准 |
| 输出 | 帧级对齐记录 | 表 3-6 全字段(含校准偏移、对齐置信度、校验结果) | 写入对齐区,附表 2-1 公共字段 |
| 输出 | 关键帧与校准统计 | 关键帧清单、clock_calibration、按来源分层可用率 | 与对齐批同交;不同点位可用率分列,不合并成一个总数 |
| 输出 | 分流队列 | 人工确认队列、采集质量工单、事实源数据质量问题清单 | 工单/队列推送 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.2(表 8-4、表 8-5)。
图 3-3 视频-文本对齐流程:三路抽帧、时钟校准与对齐校验。数据来源:招标文件第五章 3.2.3.5.2 节(b0993—b0999);采集侧现状依甲方视频监控与物联网平台现行覆盖范围。
{
"record_id": "VID-ALN-2027041708812",
"object_key": {"work_order": "WO-00417722", "weld_seam": "WS-0041-07", "equipment": "EQ-ROB-03"},
"source_ref": {"stream": "CAM-WELD-03", "clip": "20270417T061200Z-0930s", "frame_no": 14238},
"source_profile": {"origin": "本项目新布点", "resolution": "1920x1080", "fps": 25, "fov_note": "焊接部位斜上方 45°"},
"frame_ts": {"device": "2027-04-17T14:17:03.560+08:00", "calibrated": "2027-04-17T14:17:01.280+08:00"},
"clock_offset_ms": {"value": -2280, "method": "特征事件互相关(起弧 12 次)", "residual_ms": 140},
"visual_desc": "焊接机器人焊枪位于槽帮板长焊缝中段上方,可见连续弧光与飞溅,工件由两组压紧工装固定,焊缝左侧已成形焊道表面呈鱼鳞纹;画面右下角工位牌可见。",
"ocr_text": [
{"text": "工位 W-07", "conf": 0.97, "bbox": [1642, 968, 1812, 1004]},
{"text": "I=238A", "conf": 0.91, "bbox": [96, 72, 236, 108]}
],
"panel_readings": {"current_A": {"value": 238, "conf": 0.91}, "voltage_V": {"value": 26.4, "conf": 0.88}},
"event_tags": [
{"event_id": "EVT-WLD-9931", "type": "焊接起弧", "ts": "2027-04-17T14:16:58+08:00", "source": "产线控制系统"},
{"event_id": "EVT-MES-55120", "type": "工序开工报工", "ts": "2027-04-17T14:05:00+08:00", "source": "制造执行系统"}
],
"process_stage": {"code": "WLD-MAIN-SEAM", "name": "结构件主焊缝焊接", "basis": "来自工序流转记录"},
"align_method": "事件时点直接匹配",
"align_confidence": 0.89,
"align_detail": {"nearest_event_gap_s": 3.3, "source_reliability_factor": 0.95,
"note": "报工时点滞后 11.9 分钟,未用于对齐,仅作业务归属依据"},
"checks": {"time_drift": "已校正", "desc_missing": "通过", "frame_mismatch": "通过(事件特征检查:弧光=有,焊枪=可见)"},
"confidence": 0.89, "review_state": "机器通过",
"tool_id": "video-text-align", "tool_version": "1.2.1", "config_version": "cfg-2027Q2-01",
"model_ref": "gw-vlm/v3", "prompt_version": "p-frame-0241",
"batch_id": "B-20270417-VID-004"
}
样例中 align_detail 记下了一件现场事实:制造执行系统的报工时点比实际起弧晚了近十二分钟,因此报工记录只用来确定这一帧属于哪个工单(业务关联),不用来做时间对齐(时间关联)。两类关联分开处理,是表 3-1 划分四类关联关系的实际用处。
表 3-8 视频-文本对齐工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 时钟偏移估计残差 | 中位数不超过 200ms | 选取有明确视觉特征的事件不少于 50 次,人工判读起始帧与估计值比对 | 残差超限的视频通道改为仅做业务关联,不输出帧级时间对齐样本 |
| 事件—帧对齐正确率 | 不低于 90% | 抽样 500 帧,由熟悉该工序的人员判断所挂事件标签是否相符 | 把对齐窗口放宽并全部降级为中置信,转人工确认 |
| 画面不匹配检出率 | 在人工构造的错配样本上不低于 85% | 注入已知错配样本 200 条,统计检出比例 | 增补事件类型的画面特征检查表条目;检查表无法覆盖的事件类型改为逐条人工核对 |
| 帧级描述可用率 | 不低于 90% 的帧产出有效描述 | 按描述长度、信息项覆盖与人工评分三项判定 | 对低可用率的采集点位出布点整改建议,附所需视场与清晰度要求 |
| 工艺阶段判定正确率 | 依据工序流转记录判定的不低于 95%,依据画面推断的不低于 75% | 分别抽样统计,两类分开计分 | 画面推断路径仅作候选,阶段字段以工序流转记录为准 |
本工具的能力上限受采集条件制约。安防既有点位的视场与清晰度不满足工艺过程观察要求,这一点在前文已述;本工具对这类输入输出的样本一律在 source_profile 中标明来源,并在数据卡中按来源分层统计可用率,不把两类来源混在一个指标里报告。工艺过程所需的新增布点清单由硬件选型与场景验证提出,本工具提出的接口要求是:每个点位须登记视场说明、分辨率、帧率与时钟同步方式。
甲方已建成远程运维平台,采集在役装备旋转部件的振动、温度、压力与冷却水流量等信号,并以阈值与多参数组合规则给出报警。平台具备从事后维修走向状态服务的基础,但面对一个典型难题:报警不少,故障标签很少,报警与真实故障之间缺少可核对的证据。井下装备连续运行、工况恶劣、维护窗口有限、传感器易损,加之刮板输送机被液压支架推移、被采煤机在机身上行走,三类设备运动相互耦合,在役监测信号中含有大量来自其他设备的耦合干扰。
从数据集建设的角度看,这个难题可以拆成三件事。一是把时序数据切成有业务含义的片段——报警前后、维修前后,而不是按固定长度盲切。二是把切出来的片段洗干净——重采样、补缺、去异常、归一化、校正基线漂移、同步多测点时间。三是给片段配上人能读懂的说明——统计与频域特征算出来还是数字,要让它成为训练样本,需要一段把这些数字翻译成工程语言的诊断文本。本工具的三项要求正好对应这三件事。
工具支持传感器时序数据与告警、停机、维修工单、运维事件等进行时间窗对齐,能够按报警前后、维修前后或指定滑窗策略切分时序片段(b1001、b1002)。四种切分策略见表 3-9。
表 3-9 时序片段的四种切分策略
| 策略 | 切分规则 | 产出用途 | 参数项 |
|---|---|---|---|
| 报警前后窗 | 以报警时刻为锚点,向前取可配置时长作为前驱窗,向后取可配置时长作为后继窗;前驱窗再细分为远段与近段 | 构造「异常演化—报警」样本,用于早期征兆识别与报警有效性评估 | 前驱远段、前驱近段、后继窗时长;是否跨报警合并 |
| 维修前后窗 | 以维修工单的开工与完工时刻为边界,向前取维修前运行段,向后取维修后运行段 | 构造「故障—处置—恢复」样本,用于验证维修有效性并为故障标签提供依据 | 维修前后取样时长;是否剔除停机段 |
| 指定滑窗 | 按固定窗长与步长在连续运行段上滑动切分,可按工况分段后分别滑动 | 构造基线样本与正常态分布,用于偏离基线判据的标定 | 窗长、步长、重叠比例、按工况分段的分段依据 |
| 事件区间窗 | 以停机、换班、工况切换、三机联动状态变化等区间事件的起止时刻为边界切分 | 构造工况分段样本,用于分离耦合干扰 | 事件类型清单、区间最短时长 |
四种策略可以叠加使用,同一段时序可以同时属于多个片段。片段之间的包含与重叠关系在输出中显式记录,避免下游在划分训练集与评测集时把同一段原始数据的两个重叠片段分到两边造成泄漏。泄漏隔离在本项目尤其要紧:故障样本本就稀少,一旦泄漏,评测结果会系统性偏高,验收看到的指标无法反映上线表现。
对齐的难点在于时点可靠性差异。设备报警记录与停机记录由系统自动打点,时点较可靠;维修工单的时点由人填写,可能是事后补录;运维事件的描述则常常只说「某日处理」,没有具体时刻。工具按表 3-10 分档处理。
表 3-10 事实源时点可靠性分档与对齐处置
| 时点来源 | 可靠性 | 对齐处置 | 片段标记 |
|---|---|---|---|
| 设备报警、停机记录(系统自动打点) | 高 | 直接作为锚点 | anchor_quality: high |
| 服务工单的派工与到场时点 | 中 | 作为锚点,但前驱窗适当放宽 | anchor_quality: medium |
| 维修完工时点、备件出库时点 | 中 | 作为区间边界而非精确锚点 | anchor_quality: medium |
| 仅有日期无时刻的运维事件 | 低 | 不作锚点;取当日运行段整体作为候选区间,并列出同日报警供人工关联 | anchor_quality: low,默认进人工关联队列 |
分档处置解决的是「这个时点能不能当锚点用」,还有一步可以再往前走:对时点可靠性为中档与低档的事件,用信号侧的客观变化把事件时间校回来。 维修工单的时点由人事后填写,偏差可能到若干小时;但设备侧的停机沿、负荷跌落、温度骤变是客观发生的,且带秒级时标。做法是在工单声明时点的容差窗内检测通道上的显著变化点,若窗内存在唯一显著变化点,即把事件时间重定位到该变化点,并记录重定位前后的差值;窗内无变化点、或存在多个难以取舍的变化点时,不重定位,按表 3-10 的原档位处置。容差窗宽度按事件类型分别设定——停机类窗口窄,维修完工类窗口宽,仅有日期的事件以当日运行段为窗。
重定位的结论须可追溯,为此在片段上增三项记录:事件时间的来源(工单声明或信号重定位)、重定位差值、所依据的变化点所在通道与检测口径。三项与现稿的锚点质量分档字段并存而不替代它——分档说的是原始时点有多可靠,重定位说的是我方把它校到了哪里,两件事都要留痕。 重定位差值的分布本身是一项有用的产出:若某个班组或某类工单的差值系统性偏向某一方向,说明填报习惯存在固定偏差,这个结论回流运维平台的填报规范,属数据治理范围,不在本工具内处置。
本项能力按三段式口径交付。首期基线:在专家确认过真实时点的事件样本上实测重定位命中率(重定位结果与专家确认时点之差落在允差内的比例),并按事件类型分别统计;服务期内随变化点检测参数的校准与通道覆盖面扩大逐步改善。达不到门限时的回退:该事件类型停用重定位,退回表 3-10 的分档处置,受影响的片段在数据卡中标注时间精度等级,不以未校准的重定位结果去切分严格时间窗样本。还需说明一点,重定位与时序预处理中的多测点时间同步是两件不同的事:后者处理的是通道之间的时钟偏移,前者处理的是人填时点与客观发生时刻的偏差,两者的参数、依据与留痕字段互不共用,不存在重复建设。
工具支持时序数据重采样、缺失补齐、异常值处理、归一化、基线漂移校正和多测点时间同步(b1003、b1004)。六项处理的方法与可配置项见表 3-11。
表 3-11 时序预处理的六项处理
| 处理项 | 方法 | 配置项 | 不可用时的处置 |
|---|---|---|---|
| 重采样 | 按目标采样率做降采样或插值升采样;降采样时按通道性质选择取值方式(温度类取均值,振动类保留原始率或取包络,开关量取最后值) | 目标采样率、按通道的取值方式 | 原始采样率低于目标率且差距过大时不升采样,该通道标记为采样率不足 |
| 缺失补齐 | 短缺口按线性或前值填充,长缺口不填充而标记为空洞;填充处写入 imputed 标记与填充方法 | 短缺口判定阈值、填充方法、单片段允许的填充比例上限 | 填充比例超过上限的片段整体降级,不进入训练样本 |
| 异常值处理 | 分两类:量程越界与物理不可能值按规则剔除;统计离群值按稳健统计量(中位数绝对偏差)检出后标记而不直接删除 | 量程表、物理约束、离群判定倍数 | 量程表缺失的通道只做物理约束检查,并列为待补量程清单 |
| 归一化 | 按通道做标准化或按量程做极值归一化;归一化参数按设备型号与测点类型分组统计并固化为版本 | 归一化方式、分组维度、参数版本 | 分组内样本不足时不单独统计,沿用同类型测点的组参数并标明 |
| 基线漂移校正 | 对温度类与缓变量用低频趋势分离,对振动类用去均值与高通滤波;校正量作为独立字段保留,不覆盖原值 | 趋势估计窗长、滤波截止频率 | 漂移量超过设定上限时判为测点失效征兆,出测点可信度工单 |
| 多测点时间同步 | 以统一时间基准为准,按各通道的时钟偏移估计做对齐;偏移估计来自采集侧对时记录,缺失时用通道间互相关估计 | 对齐容差、互相关估计窗长 | 偏移无法估计且超出容差的通道不参与跨测点特征计算 |
六项处理有一条共同约定:原始值一律保留,处理结果以新字段写出,处理动作与参数记入血缘。这样做占用更多存储,换来的是任何一条特征值都能回溯到它是在哪一套预处理参数下算出来的。本项目的时序数据存在缺失与噪声,这是甲方已确认的数据质量状况;在这种输入条件下,不可回溯的预处理会让下游无法判断一个异常结论到底来自设备还是来自处理步骤。
工具支持对时序片段进行特征抽取,计算统计指标、趋势特征、峰值、频域特征和时频域特征,并生成对应诊断文本说明(b1005、b1006)。特征清单见表 3-12。
表 3-12 时序片段的五类特征
| 特征族 | 具体特征 | 适用通道 | 在本项目中的用处 |
|---|---|---|---|
| 统计指标 | 均值、中位数、标准差、变异系数、极差、均方根、偏度、峰度、分位数(P05/P50/P95/P99)、有效值 | 全部通道 | 构造同工况正常基线;偏离基线作为异常判据,替代固定阈值 |
| 趋势特征 | 线性斜率及其置信区间、分段斜率、单调段长度、变点位置与变点前后均值差、与前一周期同工况的差值 | 温度、压力、流量、振动有效值 | 识别缓慢劣化(轴承磨损、冷却能力下降);为早期征兆样本提供标签依据 |
| 峰值特征 | 峰值、峰值因子、峰峰值、脉冲因子、裕度因子、超限次数与累计超限时长、峰值出现时刻相对锚点的位置 | 振动、电流、压力 | 识别冲击类异常(齿轮断齿、异物卡阻);峰值相对报警时刻的位置用于判断报警及时性 |
| 频域特征 | 频谱主峰频率与幅值、各阶特征频率处的幅值与边频带、倍频比、谱重心、谱熵、频带能量占比 | 振动、电流 | 旋转部件故障的机理性判据;按设备转速与传动比计算特征频率 |
| 时频域特征 | 短时傅里叶变换与小波包的频带能量随时间分布、包络谱、瞬时频率、调制特征 | 振动 | 工况非稳态与变转速条件下的异常识别;三机联动耦合干扰的分离线索 |
频域与时频域特征的计算有一项前置条件:需要转速信息与轴上角位置基准,否则特征频率无法确定,边频带也无从判读。甲方当前的状况是部件级振动测点与轴上角位置基准缺失。本工具在基准缺失时的做法是:按额定转速与传动比计算理论特征频率并标记为「按额定值估算」,同时在频谱上搜索转频候选并输出其与额定值的偏差;两者差异超过门限时该片段的频域特征降级,不作为故障标签的依据。测点与基准的补齐需求由本工具向场景验证与硬件选型提出。
诊断文本说明的生成不是把特征值念一遍。生成规则分三层:第一层是事实层,按模板把关键特征值、与基线的偏离幅度、超限情况写成陈述句,这一层由程序生成,数值与结论可复算;第二层是形态层,描述曲线与频谱呈现的形态(持续上升、阶跃、周期性冲击、边频带出现),形态判定由规则与模型共同给出,附判定依据;第三层是关联层,列出同一时间窗内其他通道的同步变化与相关事件,不给出因果结论。诊断文本把三层按固定顺序拼成一段,并在末尾注明所依据的基线版本与特征配置版本。
分三层而不是直接让模型写一段,是因为这段文本的下游用途是作为训练样本与评测参考。如果事实层的数值由模型组织语言产生,数值出错就无法检出;分层之后,事实层可以逐项核对,形态层与关联层的描述即便有偏差也不会污染数值。
时序对齐工具的接口承担着一项别处没有的职责:把「数据不可信」这件事如实传出去,而不是补齐成一份看起来完整的数据。转速与角位置基准一项最为典型——缺失时频域特征按额定值估算并标记降级,不把估算值当作可依赖的基准,因为转频估错会使整段频谱的谱线归属全部偏移,后续故障判断便建立在错误前提之上。运维事件的时点可靠性按表 3-10 分档入参,分档结果决定片段切分是自动进行还是转人工。输出侧的三层诊断文本按可靠程度分层,无结论性记录时不臆造关联层结论,使用方可按需只取事实层。分流与回填一项是本工具的长期价值所在:维修事实回填之后,工具按工单反查对应片段补写标签,故障标签的覆盖度因此逐季提高,这也是 3.5.8 中故障标签配对覆盖度一项设为按季统计、首期不低于 30% 的由来。
表 3-12A 传感器时序-运维事件对齐工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 测点时序 | 振动、温度、压力、流量等通道;测点编号集合与取数时间窗 | 远程运维平台/时序库只读;大批量结果按流式取回 |
| 输入 | 运维事件 | 报警日志、停机记录、维修工单、炉次记录 | 事实源只读;时点可靠性按表 3-10 分档 |
| 输入 | 切分与预处理配置 | 四种切分策略(表 3-9)、六项预处理(表 3-11)、特征族开关(表 3-12) | 任务参数;缺省按测点类型预置 |
| 输入 | 转速/角位置基准 | 测点对应的转速与轴上角位置(若有) | 缺失时频域特征降级标记,不静默按额定值充当金标准 |
| 输出 | 时序片段与特征 | 片段边界、重叠关系、五类特征、降级项清单 | 片段与特征分文件/流式输出 |
| 输出 | 事件关联与诊断文本 | event_links、三层诊断文本(事实/形态/关联) | 无结论性记录时不臆造关联层结论 |
| 输出 | 分流与回填 | 测点可信度工单、基准补齐需求、维修事实回填写回入口 | 工单推送;回填后按工单反查片段写标签 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.3(表 8-6、表 8-7)。
图 3-4 传感器时序-运维事件对齐流程:切分、预处理、特征与诊断文本。数据来源:招标文件第五章 3.2.3.5.3 节(b1000—b1006);测点与角位置基准现状依甲方远程运维平台现行条件。
{
"record_id": "TSS-ALN-2027052200311",
"object_key": {"equipment": "EQ-AFC-K2207", "component": "CP-RED-01", "measure_point": "MP-RED-01-V-H",
"service_order": "SO-2027-01188"},
"segment": {
"strategy": "报警前后窗",
"anchor": {"event_id": "ALM-2027-77214", "type": "减速器振动超限报警",
"ts": "2027-05-20T03:42:11+08:00", "anchor_quality": "high"},
"window": {"pre_far": "-72h ~ -8h", "pre_near": "-8h ~ 0h", "post": "0h ~ +24h"},
"overlap_with": ["TSS-SEG-2027052200298(指定滑窗,重叠 6.2h)"]
},
"preprocess": {
"resample": {"target_hz": 1, "channel_rule": "振动有效值取包络", "applied": true},
"impute": {"gaps": 3, "imputed_ratio": 0.021, "method": "短缺口前值填充", "within_limit": true},
"outlier": {"range_violation_removed": 2, "statistical_flagged": 14, "method": "中位数绝对偏差 5 倍"},
"normalize": {"mode": "按设备型号分组标准化", "param_version": "nrm-K22-v3"},
"detrend": {"channel": "temp_bearing", "method": "低频趋势分离", "removed_slope_c_per_day": 0.21},
"sync": {"offset_ms": {"MP-RED-01-V-H": 0, "MP-RED-01-T": 340}, "tolerance_ms": 500, "within_tolerance": true}
},
"features": {
"stat": {"rms_mm_s": 7.84, "p95_mm_s": 11.2, "kurtosis": 4.31, "cv": 0.28},
"trend": {"slope_mm_s_per_day": 0.46, "slope_ci95": [0.31, 0.62], "changepoint_ts": "2027-05-18T21:10:00+08:00",
"pre_post_mean_diff_mm_s": 2.37},
"peak": {"peak_mm_s": 23.6, "crest_factor": 3.01, "over_limit_count": 41, "over_limit_minutes": 68,
"peak_offset_to_anchor_h": -5.3},
"freq": {"rotating_freq_hz": {"value": 24.6, "basis": "谱峰搜索", "rated_value": 24.9, "deviation_pct": 1.2},
"bpfo_hz": 112.4, "bpfo_amp_ratio": 2.8, "sideband_present": true,
"quality": "可用(转频偏差在门限内)"},
"timefreq": {"band_energy_shift": "500–1500Hz 频带能量在报警前 6h 起上升 2.4 倍",
"envelope_peak_hz": 112.3}
},
"baseline_ref": {"version": "bl-K22-RED-2027Q1", "condition": "同工况:三机联动正常推移,负载 60–80%"},
"diagnosis_text": {
"fact": "该测点振动有效值 7.84mm/s,相对同工况基线(4.10mm/s)偏高 91%;P95 达 11.2mm/s;报警前 24 小时内超限 41 次、累计 68 分钟。轴承温度趋势已扣除 0.21℃/日的基线漂移。",
"morphology": "振动有效值自 5 月 18 日 21 时起呈持续上升,变点前后均值差 2.37mm/s;频谱在滚动体外圈通过频率 112.4Hz 处出现主峰且幅值比达 2.8,伴有边频带;500–1500Hz 频带能量在报警前 6 小时起上升约 2.4 倍。形态判定依据:规则(特征频率幅值比超门限)+模型(冲击类形态,置信度 0.83)。",
"relation": "同时间窗内,减速器轴承温度上升 6.2℃,冷却水流量无明显变化;同日另有 2 条采煤机行走相关报警,工况分段显示其中 1 条与本测点时间窗重叠。",
"basis": {"baseline_version": "bl-K22-RED-2027Q1", "feature_config": "cfg-ts-2027Q2-02"}
},
"label_candidates": [
{"label": "减速器输出轴轴承外圈点蚀(候选)", "evidence_level": "二级:机理特征+趋势一致",
"source": "工具建议,待维修事实回填确认"}
],
"confidence": 0.81, "review_state": "未复核",
"tool_id": "ts-event-align", "tool_version": "1.3.2", "config_version": "cfg-ts-2027Q2-02",
"batch_id": "B-20270522-TSS-009"
}
label_candidates 一项说明本工具与故障标签的关系:工具给出候选标签与证据等级,标签成立与否要等维修事实回填。甲方当前的维修事实没有结构化记录,历史数据也没有事件级标签,故障样本须靠回填与回溯配对形成。本工具因此配套一项回填接口:当服务工单的处置结果录入后,按工单上的设备、部件与时间区间反查已生成的片段,把处置结果作为标签写回片段并更新证据等级。回填接口的填报入口由数据加工生产环节在既有业务流程中增设,由系统预填、经手人确认。
时序对齐的质量无法用一个总体准确率表达,因为这条链路上的误差来自三个互不相干的环节:片段切得对不对、预处理动作能否复现、特征所依赖的基准是否可信。六项指标按此分列,前三项考核切分与预处理,频域特征可用率考核基准条件,后两项考核产出文本与标签。频域特征可用率按有无转速基准分开统计,是因为两类测点能达到的上限本就不同,合并成一个数会掩盖无基准测点的真实状况。诊断文本的事实层单列考核,则是因为事实层的数值直接引自基线与实测,一旦有误,形态层与关联层的描述即全部失去依托。表中第三列给出每项的抽样量与核对方式,第四列的回退动作多为降级而非停用——降级后片段仍然可用,只是用途受限。其中填充比例合规率与频域特征可用率两项的量值由我方设立,其设立依据、设计值与测法(方法、样本量、频次、计算公式与不达标处置)见 2.7 的表 2-5 与表 2-6 同一行。
表 3-13 传感器时序-运维事件对齐工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 片段切分正确率 | 锚点可靠性为高档的片段,边界偏差不超过一个采样周期 | 抽样 200 个片段核对锚点与边界 | 低档锚点片段全部转人工关联,不自动切分 |
| 预处理可回溯性 | 逐步接近全部处理动作可复现 | 随机抽取 50 个片段,按记录的参数版本重跑并比对结果 | 定位不可复现的处理项并固化其参数,暂停该处理项的自动执行 |
| 填充比例合规率 | 单片段填充比例不超过配置上限的片段占比不低于 95% | 批次统计 | 超限片段降级不入训练集,并对相应通道出采集连续性工单 |
| 频域特征可用率 | 有转速基准的测点不低于 90%;无基准按额定估算的,转频偏差在门限内的比例不低于 70% | 两类分开统计 | 偏差超门限的片段频域特征标记不可用,仅保留统计与趋势特征 |
| 诊断文本事实层准确率 | 数值与所引基线逐步接近完全一致 | 抽样 200 条逐项核算 | 事实层生成改为纯程序填充模板,不经模型组织语言 |
| 故障标签配对覆盖度 | 按季度统计已回填处置结果的片段占全部报警片段的比例,首期目标不低于 30%,随回填机制运行逐步提高 | 按批次统计并在数据卡中披露 | 覆盖度不足时,评测集中故障类样本按实际数量披露,不以合成样本补足评测集 |
「故障标签配对覆盖度」一行约定:故障样本稀少属客观条件。训练集可用合成与增强扩充;评测金标准集不用合成填充,各类实际样本数在数据卡如实披露。部分故障类型评测置信区间可能较宽,验收指标对应真实覆盖。相关口径与数据集质量评测方案保持一致。
本类工具提供面向文本、图像、图纸、工单和多模态样本的自动化与半自动化标注能力,用以降低人工标注成本、提高标注一致性、增强标注可复核性并形成稳定的数据标注生产流程,覆盖大模型预标注、主动学习、本体规则标注、一致性校验、复核裁决和标注质量报告等环节。
标注决定指令微调、偏好与基准集可用性。四大数据集规模为:预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条。指令微调与偏好数据需大量人工判断;基准集是验收与模型迭代的度量尺,标错即尺子偏移。纯人工无法承受本项目量级;全自动则一致性与可复核性不足,模型偏差会进入数据集并在训练中放大。
本类工具据此定位为人机协同:模型承担第一遍的量,人承担判断与裁决,工具负责把二者之间的交接做成可计量、可审计的流程。四个工具各管一段——预标注管量,主动学习管人力投向,本体规则管逻辑自洽,一致性校验管质量可测。
另有一条现场约束决定了标注规范的写法:各场景的标注依据必须统一到各场景的判据与分级口径上。热处理有三级判定,焊接有十一类缺陷与检出手段的对应,健康诊断有故障名录与四档证据分级。如果标注口径与判据口径分别演进,标出来的样本与业务上实际使用的判据就会失配,训练出的模型在现场不可用。本类工具因此把判据作为外部输入(领域本体与标注规范),不在工具内硬编码标签体系。
招标文件列明了本类工具应能处理的输入与应当生成的产出(b1009)。全景对照见表 4-1。
表 4-1 智能标注类工具链的输入与产出对照
| 招标文件所列输入 | 本项目中的具体来源 | 招标文件所列产出 | 由哪个工具生成 |
|---|---|---|---|
| 未标注文本 | 工单描述、检验结论、不合格品票、改造方案、制度与标准文本 | 预标注结果 | 大模型预标注(3.2.3.6.1) |
| 未标注图像 | 交检拍照、新布点采集的工艺过程图像、关键帧 | 人工标注结果 | 四个工具共同支撑的标注工作台 |
| 未标注图纸 | 原生 CAD 图纸与扫描件 | 候选标签 | 本体驱动规则标注(3.2.3.6.3)、大模型预标注 |
| 未标注工单 | 服务工单、生产工单、派工与备件出库记录 | 约束校验结果 | 本体驱动规则标注 |
| 多模态样本 | 第 3 节产出的对齐样本(图纸结构化记录、帧级对齐记录、时序片段) | 一致性指标 | 一致性校验标注(3.2.3.6.4) |
| 领域本体 | 设备、部件、故障、工艺、材料、质量指标、安全规则七域本体 | 复核任务 | 一致性校验标注 |
| 术语词典 | 企业术语与别名表、行业标准术语 | 专家裁决记录 | 一致性校验标注 |
| 标注规范 | 本章交付的分任务标注规范文本 | 标注质量报告 | 一致性校验标注(报告模板见 4.7) |
| 未标注样本池 | 按业务域与数据集分库组织的待标注池 | —— | 主动学习标注(3.2.3.6.2)从池中采样 |
人机协同的方式按四档划分,见表 4-2。划分依据是任务的客观性程度与出错代价。
表 4-2 四档人机协同方式
| 档位 | 适用任务 | 机器做什么 | 人做什么 | 典型任务 |
|---|---|---|---|---|
| 机器主导、按比例抽检 | 客观性强、标签可枚举、出错代价低 | 批量预标注并自评置信度 | 按比例抽检,发现系统性错误时整批退回 | 文本语种与类型判别、工单字段抽取、术语识别 |
| 机器预标、人工逐条确认 | 客观性较强但存在边界模糊 | 给出标签与证据片段,标出可疑处 | 逐条确认或修改,只改不重做 | 实体抽取、关系抽取、需求分类、缺陷描述归类 |
| 人机交叉、多方比对 | 主观判断成分大、一致性要求高 | 参与一路标注,并计算一致性指标 | 两名及以上标注人员独立标注 | 偏好数据的优劣判断、答案质量评分、工艺可借用性判断 |
| 人工主导、机器辅助检索 | 需要工程经验,样本稀缺且价值高 | 检索相似历史样本、提供上下文与计算结果 | 独立做出判断并写明依据 | 基准测试集的金标准标注、故障标签确认、安全约束判定 |
四档的分配不是一次定死的。随着某类任务的一致率与抽检通过率稳定提高,可以从低档位上移到高档位,节省的人力转投到仍处低档位的任务上。档位调整以季度为周期,依据是该任务类型近三批的实测一致率与抽检通过率,调整记录入库。
四档协同之上,还有一组按模态分别约定的标注口径。同一档协同方式用在文本与用在时序上,具体做法差别很大:文本的标签模式是跨度与类目,时序的标签模式是区间与波形判读;文本的敏感字段是人名与客户信息,图像的敏感字段是画面中可见的工位牌与图纸标题栏。把这些差别写在一处,标注规范分册与工具配置才能对上。四类模态的标签模式与辅助推荐方式见表 4-2A。
表 4-2A 四类模态的标签模式与机器辅助推荐方式
| 模态 | 标签模式 | 标注粒度 | 机器辅助推荐的形式 | 推荐的证据字段 |
|---|---|---|---|---|
| 文本(工单、检验结论、制度与标准、不合格品票) | 字符跨度+类目+归一值;关系标注为跨度对+关系类型 | 篇、段、句、跨度四级,按任务类型指定 | 预填跨度与类目,标出低置信处;给出同类历史判例供比对 | 原文跨度偏移、命中的本体节点与别名、模板与模型版本 |
| 图纸(原生文件与扫描件) | 字段值+图元句柄;几何要素为要素标识+属性组;符号为符号条目+作用表面 | 整张、视图、要素、符号条目四级 | 预填标题栏与明细栏字段、几何要素表与符号条目,附要素级证据索引 | 图元句柄、图层名、视图编号与坐标范围 |
| 图像与视频帧 | 帧级类目+区域框+帧级文本说明;事件标注为帧区间+事件类型 | 帧、帧区间、区域三级 | 预填帧级描述与候选事件标签,低清晰度帧标为仅可判定在制与否 | 帧编号与时间戳、区域坐标、画面文字识别结果与置信度 |
| 传感器时序 | 区间标签+工况类目+特征值;故障标注为区间+候选标签+证据等级 | 片段、区间、测点三级 | 预填切分边界、工况判别与候选故障标签,附特征计算结果 | 测点编号、时间区间、特征计算式与输入输出值 |
人工环节按统一流程走,四类模态的差别在于复核的着眼点与仲裁的依据,见表 4-2B。
表 4-2B 人工修订、双人复核与仲裁的分模态口径
| 模态 | 人工修订的常见动作 | 双人复核的触发范围 | 仲裁依据 | 仲裁人角色 |
|---|---|---|---|---|
| 文本 | 调整跨度边界、改判类目、补填归一值、标记无法判定 | 偏好判断、答案质量评分、需求分类中的边界类目;抽样比例内的其余任务 | 标注规范判例、本体定义、原文上下文 | 该业务域的标注规范责任岗位 |
| 图纸 | 修正字段值、确认视图对应、确认符号作用表面、补台账缺项 | 视图对应存疑条目、符号作用范围冲突条目、尺寸链不闭合条目 | 图纸标注原文、公差带合成结果、工装与材料台账 | 工艺岗位 |
| 图像与视频帧 | 修订帧级描述、调整事件帧区间、剔除无效帧 | 事件边界帧、低清晰度来源帧、画面与事件流结论不一致帧 | 事件流记录、工艺阶段划分、同一时段其他点位画面 | 设备与工艺联合 |
| 传感器时序 | 调整区间边界、改判工况、确认或否定候选故障标签 | 候选故障标签、跨工况过渡区间、特征值异常片段 | 维修事实回填结果、故障名录与证据分级、同类历史片段 | 售后服务与设备岗位 |
双人复核一律采用独立标注后比对的方式,两名标注人员在提交前互不可见对方结果;比对产生分歧的条目进入仲裁,仲裁结论既回写样本,也作为规范修订的候选判例。比对与仲裁的指标口径(一致性指标、分歧类型归类、裁决记录)由一致性校验标注工具统一实现,见 4.6。
批次质控、模型版本与敏感字段三项按表 4-2C 约定。这三项与标签本身无关,却决定了标注结果能否被复核与追溯:没有批次质控,一个系统性错误会蔓延整批;没有模型版本,模型随代升级后无法回溯某批样本在哪一代能力下产出;没有敏感字段处置,工单里的人员姓名与客户信息会随标注结果一路流入数据集。
表 4-2C 批次质控、模型版本登记与敏感字段处置
| 事项 | 做法 | 分模态的差别 | 不达标时的处置 |
|---|---|---|---|
| 批次质控 | 每批次混入隐蔽考核样本并按比例抽检;按批次统计通过率、返工率与一致性指标 | 文本与时序批次按任务类型分层抽样;图纸按来源路线分层(原生与扫描件分开统计);图像按来源点位分层 | 批次不通过时整批退回并出问题清单;同一问题跨批次重复出现时先修订规范或配置,再重标 |
| 模型版本登记 | 每条记录登记统一网关侧的模型登记名与版本号、提示词模板版本、输出结构版本 | 图像与时序任务另登记特征计算组件版本;图纸任务另登记解析器版本与本体版本 | 版本字段缺失的记录不进入候选集;模型换代后对同任务已完成批次做一次抽样回归比对 |
| 敏感字段处置 | 按数据分级结论在进入标注工作台前脱敏,完整内容保留在原始区按权限访问 | 文本脱人员姓名、客户与联系方式;图纸脱设计与审核签署人、客户名称;图像对画面中可见的人员与工位牌、图纸标题栏做遮蔽;时序脱操作人工号 | 脱敏规则未覆盖的字段按最高级别处置并补充规则;标注工作台不显示未脱敏内容 |
敏感字段的分级依据 GB/T 43697—2024《数据安全技术 数据分类分级规则》与 GB/T 38667—2020《信息技术 大数据 数据分类指南》与本项目数据分级办法,具体条款见本卷「安全方案」一节。标注人员在工作台上看到的是脱敏后的内容,复核确需原文时按权限单条调阅并留痕,调阅记录进入审计日志。
图 4-1 智能标注类四个工具的协同关系与人机交接点。数据来源:招标文件第五章 3.2.3.6 节(b1007—b1039)工具划分与输入产出清单。
工具支持多任务预标注模板管理,针对实体抽取、关系抽取、需求分类、摘要生成、问答生成、图文标注、缺陷描述等任务配置不同提示词和输出 Schema(b1011、b1012、b1013)。七类任务的模板要点见表 4-3。
表 4-3 七类预标注任务的模板配置要点
| 任务类型 | 本项目中的具体用法 | 输出 Schema 要点 | 提示词的关键约束 |
|---|---|---|---|
| 实体抽取 | 从工单、检验结论、改造方案中抽取设备、部件、故障现象、材料牌号、工艺参数、规格尺寸 | 实体类型(取自本体类目)、文本跨度、归一化值、本体节点编号、置信度、证据片段 | 实体类型只能取本体已定义的类目;抽不到时返回空数组而不是编造;归一化值须给出所依据的词典条目 |
| 关系抽取 | 抽取「部件—所属设备」、「故障现象—可能原因」、「工艺要求—作用表面」、「物料—替代物料」等关系 | 主体与客体的实体编号、关系类型、关系方向、置信度、证据片段 | 关系类型与方向须符合本体定义;跨句关系须给出两处证据 |
| 需求分类 | 对矿方来文、商机描述、技术交流记录做工作面类型、产量区间、地质条件、接口约束分类 | 分类标签(可多标签)、每个标签的置信度、未覆盖情形标记 | 标签体系封闭,出现无法归类的情形时置「待扩充分类」而不是强行归入最近类 |
| 摘要生成 | 为长篇技术文件、标准条文、复盘总结生成摘要,用于检索与长上下文样本构造 | 摘要文本、覆盖的原文章节编号、关键信息项清单 | 摘要中出现的数值与结论必须在原文中有对应,并给出位置 |
| 问答生成 | 从制度、标准、工艺规程、历史工单生成问答对,用于指令微调与评测样本 | 问题、答案、依据原文片段与位置、难度等级、任务类型 | 答案只能基于给定原文;原文不足以回答时生成「依据不足」类样本 |
| 图文标注 | 为关键帧、交检拍照、图纸局部视图生成描述与标签 | 图像标识、描述文本、标签集、可见对象清单、画面坐标框 | 只描述可见内容,不写推断性结论;缺陷判定不由本任务给出 |
| 缺陷描述 | 把自由文本的缺陷描述归一到企业缺陷分类与检出手段对应关系上 | 缺陷类别、位置描述、尺寸或程度、检出手段、处置建议归类 | 缺陷类别取自企业已确认的分类表;检出手段须与缺陷类别的对应关系相符 |
模板的管理方式有三条约定。一是模板与输出 Schema 成对版本化,提示词改了 Schema 没改、或反过来,都会在发布前的一致性检查中被拦住。二是每个模板附一组回归样例,模板修改后先在回归样例上跑一遍,比对新旧输出差异,差异超过门限时需要人工确认后才能发布。三是模板按业务域与数据集分别维护,不做跨域通用模板——矿山装备制造的实体类型与通用领域差别很大,通用模板的产出需要大量返工。
工具支持调用大模型批量生成预标注结果,输出结果包含标签、解释、证据片段、置信度、模型版本和提示词版本等信息(b1014、b1015)。所采用的模型为当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级;网关为每个接入模型分配登记名与版本号,写入输出记录的 model_ref 字段。
六类输出信息各有其用,分述如下。标签是结果本身。解释是模型给出的判断理由,它的价值不在于准确,而在于让复核人员快速判断这条标签该不该信——理由写得离题,标签基本不用再看。证据片段是标签在原文中的依据位置,复核时据此定位,训练时据此做证据对齐。置信度用于分档处置。模型版本与提示词版本用于回溯:同一批样本在模型升级后重跑,差异可以归因到模型变更还是提示词变更。
置信度的取得方式需要说明,因为直接让模型自报置信度并不可靠。本工具取三路信号合成:一是模型输出的对数概率在标签对应位置上的取值;二是同一样本在提示词轻微扰动下(如调整示例顺序、改写指令措辞)的多次采样一致性;三是规则校验与本体约束校验的通过情况。三路信号按配置权重合成为 0 到 1 的分值,权重按任务类型分别标定。对输出为长文本的任务(摘要、问答生成),第一路信号改为对关键信息项的覆盖检查。
工具支持输出 Schema 校验、字段完整性校验和置信度阈值控制,高置信样本可进入抽检流程,低置信样本自动进入人工标注队列(b1016、b1017)。校验与分流的处理顺序见表 4-4,顺序本身是设计的一部分——先做成本低的校验,再做成本高的。
表 4-4 预标注结果的校验与分流顺序
| 序 | 处理 | 判定内容 | 不通过时的动作 |
|---|---|---|---|
| 1 | Schema 校验 | 输出是否为合法结构、字段类型是否匹配、枚举值是否在定义范围内 | 自动重试(提示词中追加格式纠正说明),重试上限内仍失败则记为格式失败并入人工队列 |
| 2 | 字段完整性校验 | 必填字段是否齐全、证据片段是否非空且能在原文中定位、置信度是否在取值范围内 | 证据片段无法定位的,标签降为候选并标记「证据缺失」;必填字段缺失的入人工队列 |
| 3 | 取值合理性校验 | 数值是否在量程与物理约束内、文本跨度是否落在原文范围内、归一化值是否在词典中 | 越界值剔除并记录;词典未命中的归一化值列入待补词条 |
| 4 | 本体约束校验 | 交由本体驱动规则标注工具(见 4.5)做父子类、互斥、关系方向等校验 | 冲突标注按 4.5 的口径剔除或降级 |
| 5 | 置信度阈值分档 | 按表 2-2 的三档口径分流 | 高置信入候选集并按比例抽检;中置信入复核队列;低置信入人工标注队列 |
抽检比例的设定有一条规则:高置信样本的抽检比例首期取 5%,连续三批抽检通过率不低于门限后可降至 3%;任何一批抽检发现系统性错误(同一错误模式占比超过门限),该批整批退回重标,并把错误模式写入模板的回归样例。这条规则的作用是让抽检不只是统计,而是能触发模板改进。
工具支持批量任务调度、失败重试、并发控制、成本统计和模型调用日志记录(b1018、b1019)。五项运行治理能力的要点见表 4-5。
表 4-5 预标注的批量调度与运行治理
| 能力 | 做法 | 关键参数 |
|---|---|---|
| 批量任务调度 | 以批次为调度单位,批次内按样本分片并行;支持按数据集、业务域、任务类型、优先级组织队列;支持定时与手动触发 | 批次大小、分片大小、队列优先级、调度窗口 |
| 失败重试 | 区分可重试失败(限流、超时、瞬时错误、格式失败)与不可重试失败(输入缺失、权限不足);可重试失败按指数退避重试,重试次数与间隔可配;不可重试失败直接记录并跳过 | 重试上限、初始间隔、退避倍数、单批次允许失败率 |
| 并发控制 | 按网关侧的配额与速率限制设定并发上限;支持按时段分配配额,把大批量任务安排在业务低谷时段 | 全局并发上限、按任务类型的并发配额、分时策略 |
| 成本统计 | 逐次记录输入与输出 Token 数、调用次数、重试次数,按批次、任务类型、数据集、业务域四个维度汇总;按单位样本成本给出趋势 | 统计维度、汇总周期、单位成本告警门限 |
| 模型调用日志 | 记录调用时刻、模型登记名与版本、提示词版本、输入摘要与输入指纹、输出指纹、耗时、返回状态、Token 用量;日志按配置周期归档,保留期与审计要求一致 | 日志字段、保留期、脱敏规则 |
成本统计这一项在本项目中有实际约束作用。预训练数据集 615 亿 Token 的规模决定了大批量处理的调用量不小,若不按单位样本成本做趋势监控,很容易在某个任务类型上出现成本异常而不被发现。工具按批次给出单位样本成本,超过告警门限时暂停该队列并提示检查——常见原因是提示词中的示例过长、或重试率异常升高。
日志中的输入摘要需要脱敏。工单与检验记录中可能包含人员姓名与客户信息,日志按配置的脱敏规则处理后再落盘;完整输入保留在原始区并按权限访问,不进调用日志。脱敏规则的制定依据 GB/T 43697—2024《数据安全技术 数据分类分级规则》与 GB/T 38667—2020《信息技术 大数据 数据分类指南》与本项目数据分级办法,具体条款见本卷「安全方案」一节。
工具支持预标注结果与原始样本、提示词版本和模型版本绑定,保障可追溯(b1020、b1021)。绑定关系由表 2-1 的公共字段承载:source_ref 指向原始样本及其在文件中的位置,prompt_version 与 model_ref 指向本次生成所用的提示词与模型,config_version 指向模板与阈值配置的版本,batch_id 指向所属批次。
绑定要能用,关键在于被指向的对象不可变。本工具的做法是:提示词模板与输出 Schema 一经发布即只读,修改必产生新版本号;原始样本以内容指纹标识,文件被替换时指纹变化,旧指纹仍可在归档区检索到;模型版本由网关侧登记,网关侧模型下线后其登记记录保留。配合 2.4 的回放能力,任何一条预标注结果都可以回答三个问题:它是从哪条原文的哪个位置来的、是在哪一套提示词与模型下产生的、重跑一遍是否还是这个结果。
预标注工具的接口有两条与别的工具不同的约定,都与模型可替换这一要求直接相关。其一,模板与标签体系成对版本化发布,入参只传版本号、不传模板全文,如此同一批预标注结果日后可按版本号还原出当时所用的模板与标签口径,模板改版不会回溯污染历史批次。其二,模型以统一网关登记的标识入参,不接受品牌与型号,缺省取该任务类型当期择优项,使模型随代升级时上游调用方无须改动。输出侧的关键约定是三档结果均须返回:高、中、低三档分别对应机器主导、人工确认、人工重标三种处置,只回高置信档会让分流统计失去分母,也就无从核算人力投向是否合理。绑定关系一行把提示词版本、模型标识、配置版本与批次号一并写入公共字段,这是 4.3.9 中回放一致性一项可被验收的前提。
表 4-5A 大模型预标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 待标注样本池 | 样本标识集合或池引用加筛选条件 | 从标注区/原始区只读;含不可出域字段时由网关拦截 |
| 输入 | 模板与标签体系 | 任务类型、提示词模板版本、输出 Schema、标签体系版本 | 成对版本化只读发布;入参传版本号不传模板全文 |
| 输入 | 模型与阈值 | 统一网关登记的模型标识、高低置信阈值、是否要求证据片段 | 不接受品牌/型号入参;缺省取该任务类型当前择优项 |
| 输出 | 预标注结果 | 标签、解释、证据片段、置信度、tier 三档、模型与提示词版本 | 三档结果均须返回,不只回高置信 |
| 输出 | 校验失败与批次统计 | Schema/完整性/本体校验失败项、分流计数、成本与调用日志摘要 | 失败项入人工队列;日志按脱敏规则落盘 |
| 输出 | 绑定关系 | source_ref、prompt_version、model_ref、config_version、batch_id | 附表 2-1 公共字段写入 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.4(表 8-8、表 8-9)。
图 4-2 大模型预标注的批量处理与分流。数据来源:招标文件第五章 3.2.3.6.1 节(b1010—b1021)五项要求。
下例为一条服务工单的实体与关系预标注结果。
{
"record_id": "PRE-ANN-2027060300471",
"task_type": "实体抽取+关系抽取",
"object_key": {"service_order": "SO-2027-01188", "equipment": "EQ-AFC-K2207"},
"source_ref": {"doc": "SOS/工单正文/SO-2027-01188", "digest": "sha256:4b7e…c1", "char_span_total": 412},
"input_excerpt": "5月21日到矿,用户反映机头减速器异响并有轻微漏油,测振动偏大。拆检发现输出轴轴承外圈有点蚀,更换轴承(型号见备件单)并补加润滑脂,复机后振动恢复正常。",
"entities": [
{"ent_id": "E1", "type": "设备", "text": "机头减速器", "span": [14, 19],
"normalized": "刮板输送机机头减速器", "onto_node": "ONT-EQ-0217",
"confidence": 0.96, "evidence": "原文第 14–19 字"},
{"ent_id": "E2", "type": "故障现象", "text": "异响", "span": [20, 22],
"normalized": "异常噪声", "onto_node": "ONT-SYM-0044", "confidence": 0.93},
{"ent_id": "E3", "type": "故障现象", "text": "轻微漏油", "span": [24, 28],
"normalized": "渗漏油", "onto_node": "ONT-SYM-0071", "confidence": 0.91},
{"ent_id": "E4", "type": "部件", "text": "输出轴轴承", "span": [44, 49],
"normalized": "减速器输出轴滚动轴承", "onto_node": "ONT-CP-0163", "confidence": 0.94},
{"ent_id": "E5", "type": "故障模式", "text": "外圈有点蚀", "span": [49, 54],
"normalized": "滚动轴承外圈点蚀", "onto_node": "ONT-FM-0122", "confidence": 0.89},
{"ent_id": "E6", "type": "处置措施", "text": "更换轴承", "span": [55, 59],
"normalized": "部件更换", "onto_node": "ONT-ACT-0031", "confidence": 0.95}
],
"relations": [
{"rel_id": "R1", "type": "部件所属设备", "subject": "E4", "object": "E1", "direction": "E4→E1",
"confidence": 0.95, "evidence": "原文第 14–54 字同句指代"},
{"rel_id": "R2", "type": "现象指向故障模式", "subject": "E2", "object": "E5", "direction": "E2→E5",
"confidence": 0.78, "evidence": ["原文第 20–22 字", "原文第 44–54 字"]},
{"rel_id": "R3", "type": "处置应对故障模式", "subject": "E6", "object": "E5", "direction": "E6→E5",
"confidence": 0.92, "evidence": "原文第 49–59 字"}
],
"explanation": "工单正文中「机头减速器」为设备主体,「异响」「轻微漏油」为到场观察到的现象,「输出轴轴承外圈点蚀」为拆检确认的故障模式,三者构成现象—模式—处置链。关系 R2 的置信度较低,原因是原文未明确说明异响由点蚀直接引起,判断依据为同一次拆检中的时间先后。",
"checks": {
"schema": "通过", "field_completeness": "通过",
"value_range": "通过",
"ontology": {"result": "通过", "detail": "E4 属于 E1 的子部件(父子类校验通过);E5 为 E4 允许的故障模式(取值范围校验通过)"}
},
"confidence": 0.90,
"routing": {"tier": "中置信", "reason": "R2 置信度 0.78 低于关系类高阈值 0.85", "queue": "人工复核"},
"model_ref": "gw-llm/v7", "prompt_version": "p-ner-rel-0318", "config_version": "cfg-ann-2027Q2-04",
"tool_id": "llm-preannotate", "tool_version": "2.1.0",
"batch_id": "B-20270603-PRE-022",
"cost": {"input_tokens": 1842, "output_tokens": 731, "retries": 0},
"review_state": "未复核"
}
这条样例还有一个用处:它的 relations 中 R2 一旦经人工确认,就成为「异常噪声—外圈点蚀」这一条现象到故障模式的配对证据。前文 3.5.6 节时序样例中的候选标签正是等这类证据来确认的。两类工具的产出在同一个对象主键下汇合,这是第 3 节与第 4 节能够拼接的原因。
预标注的价值不在于标得多准,而在于「哪些能信、哪些要人核」这件事本身是否判得准,因此考核分两层:格式与证据属工具自身的工程质量,置信分档的效果则决定人力投向是否划算。六项指标据此设定——Schema 合规率与证据片段可定位率考核前者,取值按自动校验可达到的水平设定;高置信档正确率与低置信档召回效果考核后者,两者是一对,高档定得太松会把错标直接放进数据集,低档定得太紧则人力被耗在模型本来就对的样本上,故须同时盯住。单位样本成本与回放一致性两项,前者约束规模化使用的经济性,后者保证同配置同输入的结果可复现。表中第二列是基线,第三列写明用什么样本、按什么口径测得,第四列是未达标时的动作:所有回退都指向调阈值、改模板或下移协同档位,没有一项是放宽统计口径。
其中低置信档的召回效果一项的量值由我方设立,其设立依据、设计值与测法见 2.7 的表 2-5 与表 2-6 同一行;低阈值按标定集每月重定一次。
表 4-6 大模型预标注工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| Schema 合规率 | 重试后不低于 99% | 按批次统计格式失败条数 | 格式失败率超限时在提示词中固化结构化输出约束并简化 Schema 层级 |
| 高置信档的实际正确率 | 不低于 95% | 抽检样本与人工标注比对,按任务类型分别统计 | 上调高阈值,直至抽检正确率回到基线;相应任务的档位从「机器主导」下移到「人工逐条确认」 |
| 低置信档的召回效果 | 被判为低置信的样本中,人工标注后与模型结果不一致的比例不低于 50% | 按批次统计 | 若不一致比例过低,说明低阈值定得过高,人力被浪费在模型本来就对的样本上,按标定集重定阈值 |
| 证据片段可定位率 | 不低于 98% | 校验步骤自动统计 | 证据无法定位的任务类型改为要求模型输出字符偏移而非引文复述 |
| 单位样本成本 | 按任务类型设定预算,按批次监控 | 成本统计模块出报表 | 超预算时优先精简提示词示例、合并同类任务、下调重复采样次数 |
| 回放一致性 | 同配置同输入重跑,结构化字段逐步接近完全一致 | 每月抽取 100 条回放比对 | 对一致性不足的任务固定采样参数(温度取零或固定随机种子) |
人工产能有限、待标池大,须决定标注优先级。随机抽样效率低:常见故障与常规工艺占绝大多数,继续标注收益低;边界与长尾情形才需人工判断,随机抽中概率小。
主动学习工具的作用就是把人工标注的投向从随机改为按收益排序。它不增加标注产能,但能让同样的产能产出更有价值的样本。这件事对基准测试集 0.95 万条的构造尤其重要——这个数量级的样本要覆盖四个业务域的典型与边界情形,不能靠随机抽样碰运气。
工具支持主动学习采样机制,能够基于模型不确定性、低置信度、边界样本、模型分歧、长尾类别和错误高发来源优先分配人工标注(b1023、b1024)。六种机制的实现方式见表 4-7。
表 4-7 六种主动学习采样机制
| 机制 | 怎么算 | 优先选出什么样的样本 | 在本项目中的典型收益 |
|---|---|---|---|
| 模型不确定性 | 按预测分布的熵或互信息排序;对生成类任务用多次采样结果的分散程度 | 模型对该样本的判断不稳定 | 工艺可借用性判断、偏好数据的优劣比较 |
| 低置信度 | 按 4.3.2 合成的置信度分值直接排序 | 模型自己也不确定的样本 | 覆盖面最广,是默认通道 |
| 边界样本 | 在特征或表示空间中与决策边界距离最近的样本;对分类任务取首位与次位标签的概率差最小者 | 两个标签之间难以区分 | 缺陷类别归类、故障现象归一、工作面类型分类 |
| 模型分歧 | 用两路及以上不同配置(不同提示词版本、不同模型、规则通道与模型通道)对同一样本标注,取结果不一致者 | 不同判断路径给出不同答案 | 本体规则与模型判断冲突的样本,往往指向本体缺项 |
| 长尾类别 | 统计各标签在已标注集中的频次,按逆频次加权采样;对本体中已定义但样本数为零的类目单独设最低配额 | 稀少但本体中存在的类别 | 稀缺故障模式、特殊工作面条件、非常规工艺 |
| 错误高发来源 | 按来源(源系统、文档类型、设备型号、车间、时间段)统计历史返工率与抽检失败率,对高发来源加权 | 来自已知质量较差来源的样本 | 填写不完整的工单、新上线系统的早期记录、扫描件图纸 |
六种机制不是择一使用,而是按配额组合。每一轮采样的批次由多种机制按配额拼成,配额本身可配置并随进度调整。首期的配额分配建议见表 4-8,分配依据是各机制在冷启动阶段的可用性——模型尚未训练时,不确定性与分歧类机制信号弱,长尾与来源类机制则不依赖模型,可以先用。
表 4-8 主动学习采样配额的阶段性分配建议
| 阶段 | 低置信度 | 模型不确定性 | 边界样本 | 模型分歧 | 长尾类别 | 错误高发来源 | 说明 |
|---|---|---|---|---|---|---|---|
| 冷启动(无可用模型) | —— | —— | —— | —— | 50% | 30% | 余 20% 为随机采样,用于建立无偏基线 |
| 起步(首轮模型可用) | 30% | 15% | 10% | 10% | 20% | 10% | 随机采样降至 5%,长期保留 |
| 稳定运行 | 20% | 20% | 20% | 15% | 15% | 5% | 随机采样保留 5%,作为分布漂移的监测通道 |
表中保留随机采样的那一小部分不是冗余。按收益排序采样会系统性地偏离真实分布,若完全不留随机通道,就无法判断模型在真实分布上的表现是否也在提升。这 5% 的随机样本专用于监测,不参与阈值标定。
六种机制都是对单条样本打分再排序,这里有一处落地时最容易出的问题必须处置:按分排序挑出来的一批,彼此可能高度雷同。 不确定性高的样本常常成簇出现——同一张图纸上相似的几处标注、同一条生产线上同一类报警、同一道工序里同一种参数越界,它们的得分都高,排序后就被一起挑了出来。结果是人工标了五百条,真正覆盖到的情形只有三五种,而另外十几种情形因为单条得分略低一直排不上队。这不是打分机制的问题,是「逐条打分、整批选取」这个做法本身的缺口。
本项目对此采用两段式批量选择。第一段照表 4-7 的六种机制打分,筛出一个候选池,池子规模取目标批量的数倍;第二段不再看分数,而在候选池上做覆盖最大化选择:把候选样本按其向量表示放在同一空间里,每次选入一条——选的是能使「池中其余样本到已选样本集合的最近距离」改善最大的那一条,如此循环直到凑满批量。通俗地说,第一段负责把值得标的样本找出来,第二段负责在它们之间挑开,不让一批里挤满同一类。工程实现是一次贪心循环,不需要训练任何模型,开销与候选池规模成正比。
这样做的好处可以被量出来,这一点比做法本身更重要。度量用两个数:一是批内平均最近邻距离,它反映这一批样本彼此的分散程度;二是批内覆盖的标签类目数与本体类目数,它反映这一批实际触及了多少种情形。两个数都可以与两条对照基线比较——纯随机采样,以及只按不确定性排序不做覆盖选择。首期按同等标注量下的类目覆盖数设定基线,目标是覆盖最大化选择的类目覆盖数不低于纯不确定性排序的水平并趋向改善;若连续两批未见改善,则退回纯不确定性排序,并在质量报告中记录该批次的选择口径,不留无依据的做法在产线上。
覆盖最大化选择的适用范围不止本工具。分布均衡的欠采样要在删减多数类时保住情形的多样性,基准测试集的构造要让零点九五万条覆盖四个业务域的典型与边界,文本重写要挑开改写对象避免同一类句式被反复改写——这三处的需求与本处相同,做法一致,口径见各工具相应小节,方法不重复论证。
主动学习工具的接口有一条写在最前面的限制:采样接口对评测库无读权限。这不是权限配置上的细节,而是评测结论可信度的根基——采样若能看见评测集,被选中的样本就可能与评测题目同源,模型在评测上的表现随之虚高。其余输入项中,机制配额决定六种采样机制各占多少,上一轮人工反馈用于调整下一轮配比,首轮可以没有反馈;无模型信号时降级为长尾与来源两类机制,使冷启动阶段同样能够运行。输出侧的优先序清单要求逐条填写入选机制与入选理由,因为人工标注人员正是据此判断该样本值得花多少工夫;机制执行报告给出各机制的计划与实际配额及未填满原因,可当场核对;覆盖盲区与质量问题分列,前者要去定向采集,后者要去整改数据通道,处置动作完全不同。
表 4-8A 主动学习标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 待标注样本池 | 池引用与版本、轮次号、本轮总配额 | 采样接口对评测库无读权限,防泄漏 |
| 输入 | 机制配额与反馈 | 六种机制配额(表 4-7、表 4-8)、上一轮人工反馈引用、多样性下限 | 缺省按阶段建议分配;首轮可无反馈 |
| 输入 | 模型信号(可选) | 不确定性/分歧等度量所需的模型输出或登记版本 | 冷启动无模型时降级为长尾与来源机制 |
| 输出 | 优先序清单 | ranked_samples:样本标识、优先级、入选机制、入选理由、度量值 | 写入派单队列;理由逐条必填 |
| 输出 | 机制执行报告 | 各机制计划/实际配额、未填满原因、随机对照档占比 | 与清单同批交付,可当场核对 |
| 输出 | 定向采集与覆盖盲区 | 池中无合适样本但模型薄弱的方向、覆盖缺口登记 | 与质量问题分列,处置动作不同 |
| 输出 | 批次留痕 | 采样批次号、模型版本、策略参数、派发与回收记录 | 供审计与按参数复算 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.5(表 8-10、表 8-11)。
工具支持标注结果回流模型训练,形成模型预测、人工标注、增量训练、再次采样的闭环(b1025、b1026)。闭环的四个环节与本项目的接口关系见图 4-3。
需要说明本包在这个闭环中的位置。本包交付的是数据集加工生产服务,模型的训练与推理由行业大模型训练推理技术服务承担,智能场景建设不在本包范围。因此本工具在「增量训练」这一环的职责是:按约定格式导出增量训练样本集、声明样本的来源与版本、接收训练侧返回的模型版本与在验证集上的表现指标,据此计算下一轮采样的信号。训练本身的实施由训推侧完成,两侧以样本集版本号与模型版本号对接。
闭环的周期按数据集与任务类型分别设定。指令微调类样本的闭环周期较短,建议按两周一轮;基准测试集的金标准标注不进入模型训练闭环,它的作用是评测,按季度扩充并保持与训练集的隔离。隔离按来源与时间双重切分实现:同一来源的样本不同时出现在训练集与评测集,评测集的时间窗在训练集之后。这一条口径与数据集质量评测方案一致。
处理流程见图 4-3:采样 → 预标注与人工标注 → 增量样本集导出 → 训推侧增量训练(本包对接版本号)→ 采样信号重算。
图 4-3 主动学习回流闭环与本包的职责位置。数据来源:招标文件第五章 3.2.3.6.2 节(b1022—b1027);本包与训推侧的边界依第 01 包业务范围。
工具支持避免重复派单和样本泄漏,保留采样批次、模型版本和策略参数(b1027)。这一项要求看着是工程细节,实际影响数据集的可用性,因此分两部分说清。
防重复派单有三层措施。第一层是样本指纹去重:每个样本以内容指纹标识,指纹相同的样本只派发一次;近重复样本(如同一工单的两次修订、同一图纸的两个版本)按相似度聚成同族,同族样本在同一批次派给同一人,避免两个人对几乎相同的内容给出不同标注。
第二层是已标注集排除:采样时从池中排除已标注、正在标注、已派发未回收三类样本;派发超时未回收的样本按配置时限回收后重新入池,回收记录保留。第三层是跨批次核对:每轮采样完成后比对本批与历史批次的交集,交集非空时记录并排查原因,通常是指纹计算逻辑变更或样本被重复导入。
防样本泄漏有四条规则。一是评测集样本永不进入采样池,评测集与采样池在存储上分库,采样接口无评测库读权限。二是同族样本不跨集合切分,一族样本整体归入训练集或评测集,不拆开。三是时间切分优先于随机切分,评测集取训练集时间窗之后的样本,避免用未来数据训练、用过去数据评测的倒置。四是对齐样本的重叠关系遵守,第 3 节 3.5.2 所述的时序片段重叠与包含关系在切分时作为同族约束处理。
留痕内容包括:采样批次号、批次生成时刻、所用模型版本、六种机制的配额参数与阈值、每条样本的入选机制与入选分值、派发与回收时刻、标注人员角色(不记姓名,记角色与工号映射,映射表按权限访问)。留痕的用处是回答两类质疑:某条样本为什么会被选中标注,以及某批标注结果为什么与另一批差别较大。
一条优先序清单的出参样例(节选):
{
"round_no": 9,
"pool_ref": "POOL-DEVICE-2027Q2@v3",
"quota": 1200,
"ranked_samples": [
{
"sample_id": "SMP-WO-2027-118822",
"rank": 1,
"priority": 0.94,
"mechanism": "模型分歧",
"reason": "规则通道判「外圈点蚀」,模型通道判「润滑不良」;冲突指向本体适用关系待确认",
"uncertainty": {"entropy": 1.72, "top2_margin": 0.04},
"domain": "装备健康诊断"
},
{
"sample_id": "SMP-DWG-2027-004417",
"rank": 2,
"priority": 0.91,
"mechanism": "长尾类别",
"reason": "本体类目「特殊材质超厚板坡口」已标注样本为 0,命中最低配额",
"uncertainty": null,
"domain": "产品工艺设计"
},
{
"sample_id": "SMP-RND-2027-000881",
"rank": 1180,
"priority": 0.12,
"mechanism": "随机对照",
"reason": "本轮 5% 无偏对照配额;不参与阈值标定",
"uncertainty": null,
"domain": "制造过程"
}
],
"mechanism_report": {
"低置信度": {"planned": 240, "actual": 240},
"模型不确定性": {"planned": 240, "actual": 238, "unfilled_reason": "度量不可用 2 条改入多样性"},
"边界样本": {"planned": 240, "actual": 240},
"模型分歧": {"planned": 180, "actual": 180},
"长尾类别": {"planned": 180, "actual": 180},
"错误高发来源": {"planned": 60, "actual": 60},
"随机对照": {"planned": 60, "actual": 60}
},
"coverage_gap": [{"ontology_node": "ONT-FM-0881", "label": "液压系统内泄漏(稀有)", "action": "定向采集"}],
"batch_id": "AL-R9-2027Q2-009",
"tool_id": "active-learning", "tool_version": "1.1.0"
}
样例核对要点:每条含入选机制与理由;mechanism_report 计划与实际并列;随机对照档存在且可区分。
主动学习的效果不能用标注准确率衡量——它并不产出标注,只决定标注的先后次序,因此考核的是同样的人工工时是否换来了更多的模型收益。采样有效性一项据此设定:主动采样批与随机对照批同期派发、同口径统计人工修改率,修改率高说明选中的确实是模型拿不准的样本,这个比值而非绝对数才是判据,也正是每轮都要保留随机对照档的原因。重复派单率与泄漏检出两项防的是工程性错误,前者浪费工时,后者直接损害评测结论的可信度,故泄漏一经发现,该版本评测集即不予发布。长尾覆盖进度与批次可复算两项分别对应覆盖面与可审计性。表中第三列给出每项的核对时点——有的按轮次、有的按季度、有的在评测集发布前,核对时点与派发节奏对齐,使问题在本轮之内暴露,而不是累积到验收时才显形。
表 4-9 主动学习标注工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 采样有效性 | 按主动学习采样的样本,其人工修改率不低于随机采样样本的 1.5 倍 | 每轮对比主动采样批与随机对照批的修改率 | 有效性不足时调整配额,提高长尾与来源类机制权重 |
| 重复派单率 | 不高于 0.5% | 按轮次统计本批与历史批次的样本交集 | 重复率超限时暂停自动派发,先排查指纹逻辑与导入链路 |
| 泄漏检出 | 训练集与评测集交集逐步接近为空 | 每次评测集发布前做交集核对,核对结果入数据卡 | 发现交集时该版本评测集不予发布,重做切分并说明影响范围 |
| 长尾覆盖进度 | 本体中已定义的故障模式类目,有标注样本的比例按季度提升 | 按季度统计类目覆盖情况 | 覆盖进度滞后的类目转由故障场景模拟生成(见 5.3)构造训练样本,但评测样本仍以实际样本为准 |
| 批次可复算 | 给定批次号可复现其样本清单 | 抽取 10 个历史批次按留痕参数重算 | 不可复现时固化采样的随机种子与排序稳定性规则 |
单条预标注可能合理,汇总后仍可能出现逻辑冲突:设备与部件归属错配、故障模式挂错部件、同件材料牌号不一致、互斥属性双值并存。单条复核不易发现,因各条局部看似成立。
本体驱动规则标注工具从两个方向处理这个问题。正向是生成:按本体中已定义的关系推出候选标签,减少模型从零生成的随意性。反向是校验:按本体中的约束检查已有标注的自洽性,识别并剔除冲突。本项目的本体覆盖设备、部件、故障、工艺、材料、质量指标、安全规则七个域,这是招标文件明列的范围(b1029、b1030)。
工具支持领域本体驱动的规则标注,基于设备、部件、故障、工艺、材料、质量指标、安全规则等本体关系生成候选标签(b1029、b1030)。七个域在本项目中的内容与候选标签生成方式见表 4-10。
表 4-10 本体七域的内容与候选标签生成方式
| 本体域 | 主要类目与关系 | 候选标签生成方式 | 典型候选标签 |
|---|---|---|---|
| 设备 | 产品型谱、机型档位、整机与子系统、设备编码与型号映射 | 由工单或记录中的设备编码查本体,推出型号、机型档位、所属子系统 | 「机型档位=大采高型」、「子系统=机头传动」 |
| 部件 | 部件层级(整机—部件—零件)、部件与设备的从属、标准件与非标件、替代关系 | 由提到的部件名查本体,推出所属设备、上级部件、同类替代件 | 「所属设备=机头减速器」、「可替代件清单」 |
| 故障 | 故障模式名录、现象与模式的关联、模式与部件的适用关系、检出手段、证据分级 | 由现象查本体,推出该现象在该部件上可能对应的故障模式候选集 | 「候选故障模式=外圈点蚀/润滑不良/对中偏差」 |
| 工艺 | 工序字典(备料分厂现掌握口径二十八道)、加工方法分档、工序前后依赖与禁止条件、工装与设备资源 | 由图纸结构化记录中的几何要素与加工要求,推出可用工序候选与排序约束 | 「候选工序=下料—校平—压弯—钻孔」、「禁止:压弯后钻孔」 |
| 材料 | 材料牌号、力学性能区间、适用工艺、热处理要求、替代材料 | 由牌号查本体,推出适用工艺与热处理要求,校验与图纸标注是否相符 | 「适用工艺=火焰切割/等离子切割」、「预热要求」 |
| 质量指标 | 检验项目、指标定义与量纲、判定分级(如热处理三级判定)、检出手段与缺陷类别对应 | 由检验记录推出应有的检验项目与判定分级,缺项列为待补 | 「应检项=硬度/金相」、「判定分级=二级」 |
| 安全规则 | 作业安全约束、禁止操作、井下使用限制、涉及安全的参数边界 | 对处置建议与工艺方案做安全约束匹配,命中约束的标注标记为需安全复核 | 「命中约束:带电作业禁止」、「需安全复核」 |
候选标签生成有一条关键约定:工具只生成候选,不直接判定。候选标签带上它的推理路径(从哪个本体节点、经哪条关系、推到哪个类目),交由模型或人在候选集内选择。这样做比让模型自由生成标签有两个好处:标签必然落在本体定义范围内,不会出现本体里没有的类目;选择结果可以回溯到本体版本,本体更新后能找出受影响的历史标注。
工具支持本体约束校验,利用父子类、互斥关系、必选属性、关系方向、同义词、别名和取值范围识别并剔除冲突标注(b1031、b1032)。七类约束的校验规则与处置见表 4-11。
表 4-11 七类本体约束的校验规则与处置
| 约束类型 | 校验规则 | 冲突表现举例 | 处置 |
|---|---|---|---|
| 父子类 | 标注的类目与其上级类目须构成本体中已定义的父子路径;子类标注同时隐含其所有父类 | 把「减速器」标为「液压支架」的部件 | 剔除该条关系标注,保留实体标注并入冲突清单 |
| 互斥关系 | 本体中声明互斥的类目不得同时标注在同一对象上 | 同一焊缝同时标为「已返修」与「首次合格」 | 两条标注均降级,整条记录转人工裁决 |
| 必选属性 | 某类目要求的必选属性须有取值 | 标为「故障模式」但未给出所在部件 | 补齐提示返回标注端;无法补齐的降为候选 |
| 关系方向 | 关系的主客体顺序须与本体定义一致 | 把「部件所属设备」标成设备属于部件 | 方向可唯一纠正时自动纠正并留痕;存在歧义时转人工 |
| 同义词 | 同义词须归一到主词条;归一后不得出现同一对象被标为两个同义类目 | 「异响」与「噪声异常」被当作两类现象 | 自动归一到主词条,归一记录留痕 |
| 别名 | 企业内部别名、现场俗称须能映射到标准术语;未登记的别名不得静默忽略 | 现场称「大链」实为「刮板链」 | 已登记别名自动映射;未登记的进入新术语发现流程(见 4.6.4) |
| 取值范围 | 数值与枚举取值须在本体定义的范围内 | 板厚标为 160mm 而本体定义范围为 4–60mm | 越界值剔除并记入异常清单;范围定义本身可疑的提交本体复核 |
校验的执行顺序是先做归一(同义词、别名),再做结构检查(父子类、关系方向、必选属性),最后做取值与互斥检查。顺序颠倒会产生大量假冲突——未归一的同义词会被父子类检查当成不同类目。
校验结果分三种处置,上表已分别注明:自动纠正并留痕、降级为候选、转人工裁决。有一条通则:工具不静默删除任何标注。被剔除的标注移入冲突清单并保留原值与剔除理由,原因是冲突有时指向本体缺项而不是标注错误。本项目的本体是边建边用的,把冲突当成本体改进的线索比当成错误处理更有价值。
本体会更新,这是必然的。新故障模式被发现、新工艺术语被确认、取值范围被修订,都会产生本体新版本。历史标注在本体更新后怎么处理,需要事先定好口径,否则数据集会出现同一类目在不同批次中含义不同的情况。
本工具的口径分三档。向后兼容的更新(新增类目、新增别名、放宽取值范围)不触发历史标注重校验,历史标注仍然有效,只在数据卡中记录本体版本。影响既有标注的更新(类目合并、类目拆分、关系方向修订、收紧取值范围)触发受影响标注的重校验,重校验范围按本体差异自动计算,结果分为仍然有效、需自动迁移、需人工重标三类。涉及判定口径的更新(判定分级标准变更、缺陷分类调整)一律触发人工复核,不自动迁移,因为这类更新背后是业务判据的变化,机械迁移会把旧判据的结论挂到新口径上。
每次本体更新后生成一份影响评估报告:受影响的标注条数、按三类处置的分布、需人工重标的工时估算。报告提交数据治理侧与甲方相关部门确认后执行。本体的建设与维护流程在数据治理体系详述,本节只写本工具与本体之间的接口与处置口径。
本体是标注口径的依据,而依据本身会变,因此本工具的接口把版本控制放在首位:本体七域版本、约束规则集版本、术语与别名表版本均须显式入参,被替代的版本不静默升级。理由是同一条样本在不同本体版本下的校验结论可能不同,版本若随调用时点浮动,日后便无从解释某条标注当时为何通过。约束范围与冲突策略作为入参,允许按批次选择启用哪几类约束、以及冲突是拦截还是标记放行;工序字典尚未成文时,相关约束标为未校验而非默认通过,使缺口显式可见。输出侧有一条反直觉但必要的约定:被约束剔除的标签不静默删除,而是进冲突清单并保留原值——删除会让人误以为模型从未给出该标签,保留原值才能统计约束的实际拦截效果。新术语候选与本体反馈两项构成回流通道,使用中发现的必选属性过严、缺项等问题汇总后交治理侧评审。
表 4-11A 本体驱动规则标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 待校验/待生成样本 | 样本标识或池引用(通常为预标注结果) | 只读取标注区记录 |
| 输入 | 本体与规则版本 | 本体七域版本、约束规则集版本、术语与别名表版本 | 入参显式传版本;被替代版本不静默升级 |
| 输入 | 约束范围与冲突策略 | 启用的约束类别、冲突处置(拦截/标记放行) | 缺省七类全启;工序字典未成文时相关约束标「未校验」 |
| 输出 | 本体标签与约束结论 | 候选/确认标签、约束逐条判定、冲突清单 | 不静默删除;剔除项进冲突清单留原值 |
| 输出 | 新术语候选与生效版本 | new_term_candidates、effective_versions | 回流本体更新流程;回传实际生效版本供核对 |
| 输出 | 本体反馈 | 使用中发现的必选属性过严、缺项等建议 | 汇总后交治理侧评审 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.6(表 8-12、表 8-13)。
处理顺序固定为:同义词/别名归一 → 父子类/关系方向/必选属性结构检查 → 取值与互斥检查 → 冲突分处置(自动纠正留痕/降级候选/转人工)→ 写入约束结论与本体反馈。顺序颠倒会产生假冲突。本体改版后的历史标注按本节 4.5.4 三档口径处置。
{
"record_id": "ONT-CHK-2027061100233",
"target_record": "PRE-ANN-2027060300471",
"ontology_version": "ONT-2027Q2-v5",
"normalization": [
{"field": "entities.E2.normalized", "from": "异响", "to": "异常噪声",
"rule": "同义词归一", "dict_entry": "SYN-0044-03"},
{"field": "entities.E4.normalized", "from": "输出轴轴承", "to": "减速器输出轴滚动轴承",
"rule": "别名映射", "dict_entry": "ALS-0163-01"}
],
"candidates_generated": [
{"for": "entities.E2", "candidate_set": [
{"node": "ONT-FM-0122", "label": "滚动轴承外圈点蚀", "path": "现象(异常噪声)→可能模式→部件(ONT-CP-0163)适用"},
{"node": "ONT-FM-0131", "label": "润滑不良", "path": "现象(异常噪声)→可能模式→部件适用"},
{"node": "ONT-FM-0140", "label": "轴系对中偏差", "path": "现象(异常噪声)→可能模式→部件适用"}
], "note": "模型已选 ONT-FM-0122,在候选集内,接受"}
],
"constraint_checks": [
{"type": "父子类", "subject": "ONT-CP-0163", "object": "ONT-EQ-0217", "result": "通过",
"detail": "减速器输出轴滚动轴承 ⊂ 机头减速器"},
{"type": "关系方向", "relation": "R1", "result": "通过"},
{"type": "必选属性", "node": "ONT-FM-0122", "required": ["所在部件", "检出手段"],
"result": "部分缺失", "missing": ["检出手段"], "action": "补齐提示已回传标注端"},
{"type": "取值范围", "field": "无", "result": "不适用"},
{"type": "互斥关系", "result": "通过"},
{"type": "同义词", "result": "已归一 1 项"},
{"type": "别名", "result": "已映射 1 项;未登记别名 0 项"}
],
"conflicts": [],
"pending_ontology_feedback": [
{"type": "必选属性建议", "content": "工单文本中常不写检出手段,建议将 ONT-FM-0122 的「检出手段」从必选改为条件必选(有检验记录关联时必选)",
"submitted_to": "本体更新流程", "status": "待评审"}
],
"confidence": 0.93, "review_state": "机器通过",
"tool_id": "onto-rule-annotate", "tool_version": "1.5.0",
"config_version": "cfg-onto-2027Q2-02", "batch_id": "B-20270611-ONT-007"
}
pending_ontology_feedback 一项展示了这个工具的另一个产出:使用中发现的本体问题。工单文本里通常不写检出手段,把它定为无条件必选会在大量工单上产生假缺失。这类反馈汇总后提交本体更新流程评审,是本体从「设计出来」走向「用得顺」的主要途径。
本体驱动的校验有两种方向相反的失败方式:约束定得松,错标漏过去;约束定得严,对的标注被判成冲突,人工反复裁决却一无所获。五项指标正是围绕这对矛盾设定的——候选集命中率衡量本体覆盖够不够,冲突检出的有效性与假冲突率一正一反衡量约束定得是否恰当,三项合看才能判断问题出在本体还是出在规则。归一覆盖率是前三项的共同前提:实体若未归一,同一事物的不同写法会被判成冲突,这类假冲突与约束过严造成的假冲突成因不同、处置也不同,故表中要求分类统计假冲突原因。本体更新影响可评估一项考核的不是标注本身,而是变更管理能力:每次本体更新都须产出受影响条数可复算的影响评估报告,做不到即暂停自动迁移、一律人工复核。表中第四列的回退动作一律指向修订本体与规则,而不是调低判定标准。候选集命中率、冲突检出的有效性与归一覆盖率三项的量值由我方设立,其设立依据、设计值与测法见 2.7 的表 2-5 与表 2-6 同一行。
表 4-12 本体驱动规则标注工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 候选集命中率 | 人工最终确认的标签落在候选集内的比例不低于 85% | 抽样 300 条统计 | 命中率不足说明本体覆盖有缺口,按未命中标签梳理本体补项;期间放宽候选集规模 |
| 冲突检出的有效性 | 被判为冲突的标注中,经人工裁决确认确为标注错误的比例不低于 70% | 抽样 200 条冲突记录统计 | 有效性不足说明约束定义过严,逐条复核约束定义并区分硬约束与软提示 |
| 假冲突率 | 不高于 30%,且其中因未归一造成的假冲突逐步接近为零 | 同上,分类统计假冲突原因 | 调整校验顺序、补充同义词与别名词条 |
| 归一覆盖率 | 实体归一值能在词典中命中的比例不低于 90% | 按批次统计 | 未命中词条按频次排序进入新术语发现流程,优先补高频项 |
| 本体更新影响可评估 | 每次更新均产出影响评估报告 | 检查报告是否齐备且受影响条数可复算 | 不可复算时补建本体差异比对能力,期间暂停自动迁移、一律人工复核 |
标注质量这件事,如果没有量化指标,就只能靠抽检时的主观感觉判断。而抽检发现的是个别错误,发现不了系统性偏差——比如两个标注人员对「轻微渗漏」算不算故障的理解不同,各自标了几千条,每一条在自己的理解下都是对的,合起来的数据集却自相矛盾。模型在这种数据上训练,学到的是两种口径的混合。
一致性校验工具的作用是把「标得准不准」这个难以直接测量的问题,转化为「不同标注者之间一致不一致」这个可以测量的问题。一致率低不一定说明标错,但一定说明标注规范在这一类样本上没写清楚——这是规范需要修订的信号。
工具支持多人、多模型和人机交叉标注,并能计算一致率、冲突率等一致性指标(b1034、b1035)。三种交叉方式与适用情形见表 4-13。
表 4-13 三种交叉标注方式
| 交叉方式 | 做法 | 适用情形 | 成本 |
|---|---|---|---|
| 多人交叉 | 同一样本由两名及以上标注人员独立标注,互相不可见 | 主观判断成分大的任务;新规范上线初期;新标注人员入场期 | 按交叉人数成倍增加 |
| 多模型交叉 | 同一样本用不同配置(不同提示词版本、不同模型、不同采样参数)各标一次 | 大批量样本的质量监测;模型升级前后的差异评估 | 增加调用成本,不占人力 |
| 人机交叉 | 同一样本由模型预标注并由人独立标注(人不看模型结果),之后比对 | 标定置信度阈值;评估某任务类型能否上移协同档位 | 占用人力但产出标定数据 |
一致性指标按表 4-14 计算。指标的选择依任务类型而定,不是所有任务都用同一个指标。
表 4-14 一致性指标及其适用任务
| 指标 | 定义 | 适用任务 | 基线取值建议 |
|---|---|---|---|
| 一致率 | 两方标注完全相同的样本数占比 | 标签可枚举且取值不多的分类任务 | 不低于 85% |
| 冲突率 | 两方标注在同一字段上取值不同且不可兼容的样本数占比 | 全部任务;与一致率互补,用于区分「不一致」与「不兼容」 | 不高于 10% |
| Cohen κ 系数 | 扣除随机一致后的一致程度,两方标注时使用 | 二分类与少类别分类任务 | 不低于 0.75 |
| Krippendorff α 系数 | 可处理多标注者、缺失值与不同测量尺度的一致性系数 | 多人交叉、多标签、序数标签任务 | 不低于 0.70 |
| 跨度重叠率 | 抽取类任务中标注跨度的交并比 | 实体抽取、缺陷位置标注 | 不低于 0.80 |
| 严格匹配率与宽松匹配率 | 抽取类任务中,标签与跨度全同为严格匹配,标签同且跨度重叠超门限为宽松匹配 | 实体抽取、关系抽取 | 严格不低于 0.70,宽松不低于 0.85 |
指标按任务类型、标注人员、样本来源、批次四个维度分别统计,这一点很重要。整体一致率合格而某一个来源或某一名标注人员的一致率明显偏低,是定位问题的直接线索;只看整体数字会把这类问题平均掉。
一致率低于基线时的动作不是直接返工。先做归因:是规范在这类样本上没写清楚,是标注人员理解有偏差,还是样本本身就是边界情形。三类原因对应三种处置——修订规范并附判例、组织规范宣讲与复测、把样本标记为边界样本并提交裁决。把一致率低一概当成标注人员的问题,会导致规范的缺陷被反复掩盖。
工具支持复核与裁决工作流,记录标注、修改、审核、驳回、专家裁决和最终确认全过程,满足审计追溯要求(b1036、b1037)。工作流的状态与流转见图 4-4。
图 4-4 标注复核与裁决工作流的状态流转。数据来源:招标文件第五章 3.2.3.6.4 节(b1033—b1039)。
工作流有三条设计约定需要说明。
第一,修改保留双版本。复核人员修改标注时,原值与新值同时保留,修改理由必填。这不只是为了审计——修改记录是标注规范改进的主要素材,哪类样本被改得最多,规范在哪里就不清楚。修改归因还会沉淀为企业规则与评测样本,这与甲方在工艺设计口提出的要求一致:把每一次修改归因并沉淀为企业规则与评测样本。
第二,驳回与修改分开。审核人认为标注错误时可以驳回,退回原标注人修改;审核人也可以直接修改。两者的区别在于谁来做判断:驳回保留了原标注人学习与申辩的机会,直接修改效率更高但不利于标注人员提高。首期以驳回为主,同一标注人在同一类问题上被驳回超过门限次数时触发规范宣讲。
第三,专家裁决的结果进判例库。裁决不是一次性的,它对后续同类样本有指导作用。判例库按任务类型与标签组织,条目包括样本摘要、争议点、裁决结论与理由。标注工作台在标注人员遇到相似样本时推送相关判例。判例库随建设推进积累,是标注规范的实际延伸。
工具支持新术语发现和本体回流,将标注中发现的别名、新故障模式、新工艺术语和规则歧义提交本体更新流程(b1038、b1039)。四类提交项的识别方式与提交内容见表 4-15。
表 4-15 四类本体回流项的识别与提交
| 回流类型 | 识别方式 | 提交内容 | 评审关注点 |
|---|---|---|---|
| 别名 | 标注人员手动标记「这是某标准术语的现场说法」;或自动检出——未能归一的文本片段与某主词条在上下文分布上高度相似 | 别名文本、建议归属主词条、出现频次、首次出现批次、证据样本不少于 3 条 | 是否确为同义;是否存在一词多义风险 |
| 新故障模式 | 标注人员在候选集中找不到合适模式并选择「新增」;或冲突归因中反复出现「本体缺项」 | 模式名称、所在部件、典型现象、检出手段、与既有模式的区别、证据样本 | 是否可归入既有模式的子类;检出手段是否可操作 |
| 新工艺术语 | 图纸与工艺文件解析中出现的未登记符号、工序名、工装名 | 术语文本、所属工艺环节、来源文件、建议类目 | 是否为企业内部惯用写法;是否需同步工序字典 |
| 规则歧义 | 同一规则在不同样本上导致矛盾结论;或多名标注人员对同一规则的理解不一致 | 规则编号、歧义描述、导致矛盾的样本对、各方理解 | 规则表述如何收紧;是否需拆为多条 |
回流不是把发现的东西直接写进本体。四类提交项先进入待评审池,按频次与影响面排序,由本体评审机制取舍后才进入本体新版本。评审机制、评审周期与参与角色在数据治理体系规定,本工具的职责是把线索完整地、带证据地提交上去,并在提交后跟踪状态(待评审/已采纳/已驳回/合并至其他条目),把采纳结果回写到相关历史标注的待重校验清单。
一致性指标最容易在不经意间被做高:若只取已到齐的几路标注计算,未按时完成的那一路往往正是分歧最大的一路,指标便系统性偏高。故本工具在输入侧约定多路未齐时不计算指标,宁可等待,也不出一个偏乐观的数。指标集按任务类型选取、不适用项拒收,是因为分类任务与跨度标注任务的一致性本不是同一回事,用一个指标通算只会得出无法解释的结果。输出侧有两条要求值得指明:一致性指标按任务、人员、来源、批次分组给出,不只给一个总值,因为整体尚可而某一人员或某一来源持续偏低是常见情形,合并之后即看不见;裁决结论须写明所依据的规则条款与版本,无依据条款的裁决不得入库,使日后复核时能够区分「规范如此」与「当时如此裁定」。返工清单与规范修订建议分列,反复出现的同类分歧指向的是规范本身不清。
表 4-15A 一致性校验标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 多路标注结果 | 标注任务批次标识;多人/多模型/人机交叉的各路产出 | 多路未齐时不计算指标,避免偏高 |
| 输入 | 交叉方式与指标集 | 表 4-13 交叉方式、表 4-14 指标集、分歧阈值、裁决规则版本 | 按任务类型选取指标,不适用项拒收 |
| 输出 | 一致性指标 | 一致率、冲突率、κ/α、跨度重叠等;按任务/人员/来源/批次分组 | 不只给一个总值 |
| 输出 | 分歧与裁决 | 分歧点、各路取值、裁决结论、所依据规则条款与版本 | 裁决无依据条款的不得入库 |
| 输出 | 返工与规范反馈 | 返工清单、反复出现的同类分歧 → 规范修订建议 | 与报告模板表 4-16 字段对齐 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.7(表 8-14、表 8-15)。
一条一致性校验与裁决出参样例(节选):
{
"annotation_task_id": "ANN-QUAL-2027Q1-016",
"cross_mode": "双人独立标注+分歧裁决",
"consistency_metrics": {
"overall": {"agreement_rate": 0.81, "conflict_rate": 0.12, "cohen_kappa": 0.74},
"by_annotator_role": {
"标注人A": {"agreement_rate": 0.88},
"标注人B": {"agreement_rate": 0.79}
},
"by_source": {"不合格品票": {"agreement_rate": 0.72}, "交检记录": {"agreement_rate": 0.91}}
},
"disagreements": [
{
"sample_id": "SMP-QC-004812",
"field": "defect_class",
"values": {"标注人A": "咬边", "标注人B": "余高超差"},
"type": "标签不兼容",
"span_iou": null
}
],
"arbitrations": [
{
"sample_id": "SMP-QC-004812",
"conclusion": "咬边",
"rule_ref": {"clause": "缺规§3.2.4", "version": "ARB-v1.2"},
"role": "领域专家",
"rationale": "坡口边缘金属缺损特征符合咬边定义;余高超差另列检验项且本样本未测余高"
}
],
"rework_list": [{"sample_id": "SMP-QC-004812", "scope": "同来源咬边/余高边界样本 36 条", "reason": "规范边界不清"}],
"spec_feedback": [{"topic": "咬边与余高边界", "freq": 14, "action": "修订规范并附判例"}],
"batch_id": "CONS-2027Q1-016",
"tool_id": "consistency-check", "tool_version": "1.0.4"
}
样例核对要点:指标按标注人与来源分组;每条裁决带规则条款与版本。
本工具的质量口径与标注质量报告合并呈现:批次/周期报告字段见表 4-16;接口层可核对项见第 8 节表 8-15。首期基线:整体一致率不低于表 4-14 建议值;低于门限时整批返工并触发规范复核,而不是只退单条样本。达不到口径时的回退:多路未齐不报部分指标;裁决无条款转专家裁决并进规范修订队列;同类分歧反复出现则进 spec_feedback 有界迭代。
招标文件在本类工具的总述中要求产出标注质量报告(b1008、b1009)。报告由一致性校验工具按批次与周期生成,模板字段见表 4-16。
表 4-16 标注质量报告的模板字段
| 章节 | 字段 | 说明 |
|---|---|---|
| 报告标识 | 报告编号、生成时刻、统计周期、覆盖批次清单 | 报告本身版本化、可复算 |
| 规范与本体版本 | 所依据的标注规范版本、本体版本、判例库版本 | 用于判断不同报告之间是否可直接比较 |
| 产量 | 按任务类型、数据集、业务域统计的标注条数;预标注条数与人工条数分列;四档协同方式的分布 | 产量与质量分开陈述,不混为一个综合分 |
| 一致性 | 表 4-14 各项指标按任务类型、来源、批次分别统计;与上一周期对比 | 不合格项逐条列出并注明归因分类 |
| 复核与裁决 | 复核条数、修改率、驳回率、专家裁决条数;修改原因分布 | 修改率按标注人员角色统计,不列姓名 |
| 冲突与剔除 | 本体约束校验的冲突条数按七类约束分布;剔除与降级条数;假冲突率 | 附冲突清单引用,不在报告正文列全部明细 |
| 置信度标定 | 各档阈值当期取值、高置信档抽检通过率、低置信档不一致比例 | 用于判断阈值是否需要复标 |
| 本体回流 | 本周期提交的四类回流项条数与状态分布;已采纳项对历史标注的影响范围 | 与本体更新影响评估报告相互引用 |
| 待办与建议 | 规范待修订条目、本体待补条目、采集质量待整改点位、需追加人力的任务类型 | 每条附依据数据与建议优先级 |
报告按批次生成简版、按月生成完整版,按季度生成含趋势分析的汇总版。报告是数据集质量评测与数据集质检的输入之一,三者的指标定义保持一致,避免同一个一致率在三处报出三个数。报告模板的样例文本在「标准规范与报告模板」附件中给出。
本类工具提供面向训练数据扩充、长尾场景补齐、表达多样化和稀缺样本构造的数据生成与增强能力,用以生成指令数据、模拟工单故障场景、扩展排障对话,并对已有文本进行语义保持的重写增强,覆盖种子指令管理、指令进化、受控合成、故障场景模拟、文本改写和生成质量过滤等环节。
本类工具的处理对象是「量不够、分布不均」的数据缺口,本项目在这两方面的缺口是具体的、可以指名道姓的。指令微调数据集要 89 万条,强化学习偏好数据要 6.6 万组,全靠从历史记录中抽取与人工编写是做不出来的。更要紧的是长尾:甲方的故障记录与数据段没有配对,历史数据没有事件级标签,稀缺但后果严重的情形(断链、异物卡阻、特定材料批次的热处理异常)在历史样本里可能只有个位数条记录。模型在这种分布上训练,对常见情形应对自如,对真正要紧的情形毫无把握。
与此同时,合成数据是有风险的。生成出来的样本如果脱离工程实际,训练出的模型会学到一套看着像真的、实际上不成立的知识;如果生成分布过于集中,模型会在少数表达方式上过拟合;如果改写时把关键数值或安全约束改掉了,样本就成了错误知识的载体。本项目涉及井下装备,安全约束不能动。
因此本类工具的设计有三条贯穿始终的原则,分别对应三个工具。
第一条,生成必须有依据。指令数据生成的依据是种子指令、领域文档与任务模板;故障场景生成的依据是领域本体、历史工单分布与业务规则;文本重写的依据是已有的高质量原始样本。三个工具都不从零凭空编造,而是在既有事实的基础上做扩展、组合与变换。
第二条,生成必须可标识。每一条合成样本都带来源记录,写明由哪个工具、依据哪些素材、用哪一版模板与哪一代模型生成。这不是形式要求——训练侧需要按合成比例控制配比,评测侧需要排除合成样本,质检侧需要在发现问题样本时定位同源批次。没有标识,这三件事都做不了。
第三条,生成必须过滤。生成之后的过滤比生成本身更重要。本类工具配置了四道过滤(规则校验、模型评分、重复检测、人工抽检),并且约定一条:过滤的通过门限由数据集用途决定——用于预训练的样本门限较宽,用于指令微调的较严,用于偏好数据的最严,评测集不接受合成样本。
招标文件列明了本类工具应能基于的输入与应当生成的产出(b1042)。全景对照见表 5-1。
表 5-1 数据生成与增强类工具链的输入与产出对照
| 招标文件所列输入 | 本项目中的具体来源 | 招标文件所列产出 | 由哪个工具生成 |
|---|---|---|---|
| 种子指令 | 由业务骨干编写的典型问法,以及从历史问答、工单、技术交流记录中抽取并经人工确认的问法 | SFT 指令样本 | 指令数据生成(3.2.3.7.1) |
| 领域文档 | 企业制度、技术标准、工艺规程、设备手册、历史标书、工程资料 | 合成工单 | 工单与故障场景模拟生成(3.2.3.7.2) |
| 任务模板 | 按七类任务配置的生成模板,与预标注模板共用版本管理机制 | 增强文本样本 | 文本重写与多样化(3.2.3.7.3) |
| 历史工单 | 服务工单、生产工单、不合格品票、改造方案 | 生成批次 | 三个工具均以批次为调度单位 |
| 设备本体 | 本体七域中的设备、部件两域 | 合成日志 | 三个工具的生成日志按统一格式记录 |
| 故障知识库 | 本体故障域、故障名录、四档证据分级、检出手段对应关系 | —— | —— |
| 场景模板 | 按业务域与场景编写的情境框架(工况、人员角色、时间线、可观察信息) | —— | —— |
| 业务约束 | 工序前后依赖与禁止条件、安全规则、井下使用限制、参数边界 | —— | —— |
| 高质量原始样本 | 已通过质检与一致性校验的标注样本 | —— | —— |
| 术语保护词表 | 企业术语主词条、别名表、不可改写项清单 | —— | —— |
| 语义校验模型 | 经统一网关接入的向量表示与语义判别能力 | —— | —— |
合成样本在各数据集中的配比需要事先定好并在数据卡中披露。配比建议见表 5-2。建议的依据是各数据集的用途:预训练对表达多样性的需求大于对事实精确性的需求,指令微调反之,评测集则不接受合成样本。
表 5-2 合成与增强样本在四大数据集中的配比建议
| 数据集 | 规模 | 合成与增强样本配比建议 | 理由与约束 |
|---|---|---|---|
| 预训练数据集 | 615 亿 Token(供需 276+工艺 70+制造 105+质量 164) | 增强文本(重写与多样化)不超过 20%;不含凭空生成的事实性内容 | 预训练需要表达多样性;但重写样本与原文同源,过高配比会放大原文的分布偏差 |
| 指令微调数据集 | 89 万条(40+10+15+24) | 合成指令样本可占较大比例,但须满足:每条有可追溯依据、按表 5-5 控制分布、四道过滤全部通过 | 这是本类工具的主产出场;人工编写的种子指令与经确认的真实问法作为分布锚点 |
| 强化学习偏好数据 | 6.6 万组(3.2+0.8+1+1.6) | 回答候选可由模型生成,优劣判断以人工为主;纯模型判定的偏好组单独标识并限比例 | 偏好数据的价值在于反映人的判断;若判断也由模型给出,等于把模型偏差固化 |
| 基准测试数据集 | 0.95 万条(0.4+0.1+0.2+0.25) | 不接受合成样本 | 评测集是验收与迭代的尺子;合成样本入评测集会使指标系统性偏高 |
表中「不接受合成样本」一条是硬约束,与数据集质量评测方案和数据集验证保持同一口径。基准测试集的条目由人工依据真实事实构造或从真实记录中挑选并标注,构造过程本身记录在案。
配比之外,生成与增强还有一组准入约定,它们决定一条合成样本是否有资格进入候选集。约定分五项:素材的使用许可、来源家族的登记、工艺与安全约束、允许与禁止的变换及其参数范围、语义不变检查。五项中任何一项不成立,该条样本不进入候选集,按 2.6 的口径隔离。
素材许可与来源家族见表 5-2A。许可解决的是「这份素材能不能用来生成」,来源家族解决的是「生成出来的东西和哪些样本同源」——后者是训练集与评测集隔离、以及重复增强控制的技术基础。
表 5-2A 素材的使用许可与来源家族登记
| 素材类别 | 许可的核验内容 | 许可缺失时的处置 | 来源家族的构成 |
|---|---|---|---|
| 企业内部文档(制度、工艺规程、设备手册、工程资料) | 内部使用范围与密级标识;是否含第三方权利内容 | 不进入生成素材池,列入待确认清单 | 以原始对象标识为族根,同一文档派生的全部样本同族 |
| 历史工单与检验记录 | 数据分级结论;脱敏执行情况;客户相关内容的处置结论 | 脱敏未完成的不进入素材池 | 以工单号对应的原始对象标识为族根 |
| 外部标准与公开资料 | 引用方式是否合规;是否可全文入库或仅可引用条款号 | 仅可引用的按条款号引用,不全文入池 | 以资料标识为族根,引用型素材单独标记 |
| 已标注样本(用于改写与偏好构造) | 该样本自身的许可状态是否仍然有效 | 源样本已作废的,其派生样本同步作废 | 继承源样本的族根 |
| 经网关调用的模型能力 | 生成内容的使用范围登记;教师模型许可登记 | 登记缺失的批次不发布 | 不构成族根,登记在 model_ref 中 |
来源家族标识与四大数据集加工生产总述中约定的原始对象标识同源,不另起一套:一个原始对象在不同数据集中的所有派生样本共享该标识,隔离核验时按该标识做交集检查,交集非空即触发隔离失效告警。本章三个生成类工具在输出时一律写入 family_id 与 family_depth(自族根起的派生层数),派生层数超过约定上限的不再继续派生——层数越深,样本与真实事实的距离越远,而血缘上仍然合法,容易在统计上造成「数据量增加」的假象。
工艺约束与允许、禁止的变换见表 5-2B。约束来自业务而非来自算法:井下装备的安全约束、工序的前后依赖与禁止条件、参数的工艺窗口,这三类内容在生成与改写中一律不可变动。
表 5-2B 允许与禁止的变换、参数范围与约束来源
| 变换类别 | 允许的变换 | 禁止的变换 | 参数范围 | 约束来源 |
|---|---|---|---|---|
| 文本表达层 | 句式改写、详略调整、语体转换、问法多样化、同义别名替换 | 改动数值、单位、量纲、判定结论、安全约束与禁止条件 | 改写后长度相对原文在 0.6 至 1.6 倍之间;同一源样本的改写副本不超过 3 个 | 术语保护词表、安全规则本体、数据加工生产章的增强副本上限 |
| 指令构造层 | 调整任务类型与难度层次、更换提问角色、增删上下文、组合多跳推理 | 构造超出授权范围的数据查询、构造答案含越权信息的样本 | 每轮进化不超过约定跳数;难度分层按配额派发 | 数据分级办法、角色权限矩阵 |
| 场景组合层 | 组合设备、部件、故障模式、现象、原因、处置流程、备件与安全约束 | 组合出本体中不存在的部件与故障对应、违反工序依赖的处置顺序 | 组合须全部落在种子样本所属业务域的本体范围内 | 领域本体、工序字典、故障名录 |
| 参数取值层 | 在工艺窗口内取值、按历史分布采样 | 取值越出工艺窗口、越出量程、违反物理约束 | 焊接、热处理等参数按工艺规程给定窗口取值;越窗样本一律剔除 | 工艺规程、量程表、物理约束 |
| 图像与时序增强 | 在真实采集条件可能出现的范围内做变换 | 变换幅度超出真实采集条件可能出现的范围 | 变换参数的取值区间按该来源的实测分布确定;同一源样本的增强副本按类型设上限 | 采集条件实测统计、数据加工生产章的增强口径 |
语义不变检查是变换类生成的最后一道机械关口,检查项与判定见表 5-2C。它不作主观判断,只判「该保持不变的是否变了」,因此可以全量运行。
表 5-2C 语义不变检查的检查项与判定
| 检查项 | 检查方式 | 判定 |
|---|---|---|
| 数值与单位一致 | 抽取改写前后的全部数值、单位与量纲,逐一比对 | 任一处不一致即不通过,不进入候选集 |
| 术语主词条保持 | 比对保护词表中的主词条在改写后是否仍然存在且未被替换为非等义表述 | 主词条被改动即不通过 |
| 结论与判定保持 | 比对判定分级、合格与否、故障结论等结论性表述 | 结论变化即不通过 |
| 安全约束保持 | 比对安全规则、禁止条件、井下使用限制的表述完整性 | 任一条缺失或弱化即不通过 |
| 整体语义距离 | 计算改写前后的语义相似度 | 低于门限的样本丢弃;批次丢弃率超线则整批回退重做 |
配比统计按三个维度分别出数,统计口径见表 5-2D。统计不是事后的汇总动作,而是生成过程中的控制依据:配额在生成前按维度派发,生成中按实际产出回扣配额,超出配额的生成请求不再派发。
表 5-2D 配比统计的维度、统计口径与披露位置
| 维度 | 统计内容 | 统计口径 | 披露位置 |
|---|---|---|---|
| 按数据集 | 合成与增强样本在各数据集中的条数与占比 | 以入集样本计,不以生成样本计;过滤未通过的不计入 | 数据卡的来源构成一栏 |
| 按业务域与任务类型 | 各域、各任务类型的合成样本条数与占比,与真实样本的分布距离 | 分布距离按任务类型、长度、标签取值、业务域、难度五维计算 | 生成批次报告 |
| 按来源家族 | 每个族根派生的样本数、最大派生层数、同族样本在训练与评测集中的分布 | 同族样本同时出现在训练集与评测集即判隔离失效 | 版本级质检报告与数据卡 |
三项配比指标按三段式给出。其一,配额执行偏差:实际产出与派发配额的偏差幅度,基线按首批实测取值,趋向为随派发粒度细化逐季收窄,超门限时缩小单次派发批量并提高回扣频次。其二,同族重复度:同一族根下样本之间的近重复比例,基线首批实测,趋向为随派生层数上限与改写副本上限的执行逐季下降,高于门限时下调该族的派生上限。其三,隔离失效告警数:按批次统计训练集与评测集的同族交集告警条数,基线为零、趋向保持为零,一旦出现即暂停该批次发布并按族根回溯剔除,不以比例容忍。
图 5-1 数据生成与增强类三个工具的素材来源、生成路径与过滤门限。数据来源:招标文件第五章 3.2.3.7 节(b1040—b1042);四大数据集规模依招标文件逐数据集规模表。
工具支持基于种子指令集批量生成指令响应数据,覆盖知识问答、推理分析、信息抽取、摘要、分类、工具调用和多模态描述等任务类型(b1044、b1045)。七类任务在本项目中的具体落法见表 5-3。表中每类任务均给出矿山装备制造场景下的实例,并以该实例约束生成口径:通用指令数据对行业模型的作用有限,生成的指令须落在本项目的设备、工艺、故障与质量对象上。
表 5-3 七类指令任务在本项目中的具体落法
| 任务类型 | 本项目中的指令实例 | 依据素材 | 答案的可核对方式 |
|---|---|---|---|
| 知识问答 | 「Q355B 钢板厚度 16mm 做 90 度压弯,中性层系数取多少?依据是什么?」 | 材料本体、工装台账、工艺规程 | 答案中的数值须能在台账或规程中定位,答案附依据条目编号 |
| 推理分析 | 「某工作面铺设长度 320 米、倾角 12 度、年产 600 万吨,现配机型的链条按功率口径安全系数不足,可能的调整方向有哪些?」 | 选型校核公式、机型型谱、历史选型方案 | 推理链条的每一步可按公式复算;结论给出多个方向而非单一答案 |
| 信息抽取 | 「从下列工单正文中抽出设备、部件、故障现象、处置措施,以表格给出。」 | 已标注的工单样本(来自第 4 节) | 抽取结果与标注结果比对,严格匹配与宽松匹配分别计分 |
| 摘要 | 「总结这份热处理工艺规程对保温时间的要求,按材料牌号分列。」 | 工艺规程、技术标准 | 摘要中的每项要求须回指原文章节 |
| 分类 | 「判断这条不合格品票属于哪一类缺陷,并说明检出手段。」 | 企业缺陷分类表、检出手段对应关系 | 分类标签取自封闭标签集,可与人工标注比对 |
| 工具调用 | 「查询施工号 SG-2027-0318 的物料清单中,提前期超过 60 天的外购件。」 | 接口定义、参数规范、权限约束 | 生成的调用参数可按接口定义做结构校验;返回结果的正确性由接口侧保证 |
| 多模态描述 | 「描述这张关键帧中焊接部位的可见状态,并指出画面中可读取的设备面板读数。」 | 帧级对齐记录(来自第 3 节) | 描述与对齐记录中的 visual_desc、panel_readings 比对 |
七类任务按四个业务域分别设定生成数量,数量分配与四大数据集的域内规模保持一致:供需计划域、产品工艺设计域、制造过程域、质量域。工具按域与任务类型的二维配额组织生成批次,配额表随进度调整并记入批次留痕。
工具支持种子指令管理,维护任务类型、业务领域、难度等级、输入输出格式和参考答案(b1046、b1047)。种子指令库的字段设计见表 5-4。
表 5-4 种子指令库的字段设计
| 字段 | 说明 | 取值与约束 |
|---|---|---|
seed_id | 种子指令编号 | 全局唯一 |
task_type | 任务类型 | 取自表 5-3 的七类,封闭取值 |
domain | 业务领域 | 供需计划/产品工艺设计/制造过程/质量,四域封闭取值 |
sub_scene | 细分场景 | 如选型校核、备料工艺、库存控制、热处理、焊接、健康诊断及通用信息类场景 |
difficulty | 难度等级 | 一至五级:一级为单跳事实查询,三级需跨文档综合,五级需多步推理并处理冲突信息 |
instruction | 指令文本 | 人工编写或从真实问法中抽取并经确认 |
input_format | 输入格式 | 纯文本/文本+附件/结构化参数/图像/时序片段 |
output_format | 输出格式 | 自由文本/表格/结构化字段/带引用的答案/调用参数 |
reference_answer | 参考答案 | 人工撰写或经人工确认;附依据来源 |
answer_checkable | 答案可核对方式 | 可复算/可定位原文/可与标注比对/需人工判断 |
source | 种子来源 | 业务骨干编写/历史问答抽取/工单抽取/技术交流记录抽取 |
evolve_from | 进化来源 | 若本条由其他种子进化而来,记录父条编号与所用算子 |
status | 状态 | 草稿/已确认/已停用;已停用的种子不参与生成但保留血缘 |
ontology_refs | 关联本体节点 | 用于按本体类目统计覆盖情况,发现未被任何种子覆盖的类目 |
种子指令库的建设方式分两条路。一条是业务骨干编写,覆盖典型与关键问法,数量不大但质量高;这部分需要甲方各业务口的参与,具体安排与工时在实施计划中明确。另一条是从历史记录中抽取真实问法,覆盖面广且贴近实际表达,但需要人工确认与改写。两条路的产出都进同一个库,source 字段区分,便于后续分析哪类来源的种子衍生出的样本质量更高。
种子库本身要做覆盖分析。按 ontology_refs 统计本体类目的覆盖情况,找出「本体中有定义但没有任何种子指令涉及」的类目——这些是指令数据集的盲区。盲区清单按本体类目的业务重要性排序,补种子指令的优先级据此确定。
工具支持指令进化生成能力,对原始指令进行难度提升、约束增加、场景迁移、任务组合和表达变化,形成多层次训练样本(b1048、b1049)。五种进化算子的做法与控制见表 5-5。
表 5-5 五种指令进化算子
| 算子 | 做法 | 本项目中的示例 | 控制要点 |
|---|---|---|---|
| 难度提升 | 把单跳问题改为多跳;把给定条件齐全的问题改为需先确认缺失条件的问题;引入需要排除的干扰信息 | 由「中性层系数取多少」提升为「图纸只给了板厚与折弯角度,未注明模具,应如何确定展开长,需补哪些信息」 | 难度等级逐级提升,不跳级;提升后的参考答案须重新确认 |
| 约束增加 | 追加输出格式约束、字数约束、必须引用依据的约束、必须给出不确定性说明的约束 | 由「分析原因」增加为「分析原因,按证据等级分档列出,每档注明所依据的检测手段」 | 约束须可验证,否则无法用于过滤 |
| 场景迁移 | 把一个业务域的指令迁移到另一个域的同构问题上 | 把热处理的「同批次横向比对」问法迁移到焊接的「同型部件参数横向比对」 | 迁移后须核对该域确有对应业务;不存在对应业务的迁移作废 |
| 任务组合 | 把两类任务串成一条指令,前一步的输出作为后一步的输入 | 「先从工单中抽取故障现象,再按故障名录给出候选故障模式及其检出手段」 | 组合深度不超过三步;每步的中间产物在参考答案中分步给出 |
| 表达变化 | 同一问题改为不同措辞、不同语气、不同详略程度、含错别字与口语化的真实表达 | 把「请核算链条安全系数」改为口语化的「这个链子按功率算够不够」 | 表达变化不改变问题语义;变化后的样本与原样本标为同族,防集合切分泄漏 |
指令进化容易出现两个问题,工具各有对策。一是进化失控——连续多轮进化后,指令与原始业务问题脱节,变成一道只有文字难度没有业务意义的题。对策是限制进化代数(默认不超过三代),每一代进化后抽样人工确认,确认不通过的分支整支作废。二是同族爆炸——一个种子进化出大量相似样本,使数据集表面量大实际多样性低。对策是按种子统计衍生样本数并设上限,同族样本在分布控制中按一条计权。
工具支持按领域、任务、难度、长度、来源和质量等级控制生成分布,避免生成数据集中于单一场景或单一表达方式(b1050、b1051)。六个维度的控制方式见表 5-6。
表 5-6 分布控制的六个维度
| 维度 | 控制方式 | 目标分布的确定依据 | 偏离时的动作 |
|---|---|---|---|
| 领域 | 按四个业务域设配额,配额与四大数据集的域内规模比例对应 | 招标文件逐数据集规模表的域内分配(供需 276/工艺 70/制造 105/质量 164 等) | 配额不足的域暂停其他域的生成,优先补齐 |
| 任务 | 按七类任务设配额;配额按场景验证对各类能力的需求权重确定 | 六个专业场景与通用信息类场景的能力需求 | 同上,按配额补齐 |
| 难度 | 一至五级设目标比例,中间难度占主体,两端留足样本 | 建议比例 10%/25%/35%/20%/10%,依据是模型训练中难度梯度的常用安排,首期标定后按评测表现调整 | 偏离超过门限时在后续批次中定向生成缺口档位 |
| 长度 | 按指令长度与答案长度分桶统计,各桶设上下限 | 从真实问法的长度分布估计 | 过长过短样本按比例裁减,不直接删除 |
| 来源 | 按种子来源与进化代数统计,限制单一来源与单一代数的占比 | 单一种子衍生样本上限、单一代数占比上限 | 超限时暂停该来源的衍生生成 |
| 质量等级 | 按过滤环节给出的质量评分分档,限制低分档入库比例 | 按数据集用途分档的门限(见 5.2) | 低分档超限时整批退回并排查生成模板 |
分布控制有一条实现要点:控制在生成前做,不在生成后筛。先按配额算出各单元格还需多少条,再按单元格派发生成任务;生成后统计实际分布与目标的偏差,偏差进入下一轮配额。若反过来——先大量生成再筛选到目标分布——会浪费大量调用成本,且被筛掉的样本中可能包含稀缺单元格里本就不多的样本。
工具支持规则过滤、模型评分、人工抽检和重复检测,剔除低质量、幻觉、越权和格式错误样本(b1052、b1053)。四道过滤的检查项见表 5-7。
表 5-7 四道生成质量过滤的检查项
| 过滤 | 检查项 | 判定方式 | 处置 |
|---|---|---|---|
| 规则过滤 | 格式是否符合 output_format 声明;必填部分是否齐全;数值是否带单位且在物理与量程范围内;是否出现禁止内容(个人姓名、客户敏感信息、超出授权范围的数据) | 程序判定,逐项可复算 | 不通过直接剔除并记录原因;越权类不通过另记安全事件 |
| 模型评分 | 答案与指令的相关性;答案是否有事实依据且依据可定位;推理步骤是否自洽;表达是否符合技术文档规范 | 由模型按评分量表打分,量表含分档描述与示例;多次采样取中位数 | 分数低于门限的剔除;处于门限附近的送人工抽检 |
| 重复检测 | 完全重复;近重复(文本相似度超门限);语义重复(向量相似度超门限);同族过度繁殖(单种子衍生数超上限) | 三级检测依次执行,由廉价到昂贵 | 完全重复与近重复去重保留其一;语义重复按分布控制需要保留或剔除;同族超限的裁减 |
| 人工抽检 | 按批次抽样,由熟悉该业务域的人员判断样本是否符合工程实际、答案是否正确、是否存在误导性内容 | 抽检表含通过/可改/不通过三档与原因分类 | 批次不通过率超过门限时整批退回;发现系统性问题时修订生成模板并把问题写入回归样例 |
幻觉的检出需要单独说明,因为这是合成数据最主要的风险。本工具的做法是把幻觉拆成三种可检的形态。一是无依据的事实陈述——答案中出现了具体数值、型号、标准编号或结论,但在给定素材中找不到对应;检出方式是对答案中的事实性片段做依据定位,定位失败的标为无依据。
二是依据错位——答案引用了素材中的内容,但引用位置与内容不符;检出方式是比对引用位置的原文与答案表述。三是过度确定——素材中本是条件性或存疑的表述,答案把它说成确定结论;检出方式是检查素材片段中的限定词是否在答案中保留。三种形态分别检出后合并统计,作为该批次的幻觉率指标。
越权样本的检出依据数据分级与权限规则。指令数据生成过程中可能产生涉及超出授权范围的数据查询,或答案中包含不应向该角色披露的信息。工具按本项目数据分级办法对答案内容做密级判定,密级高于该样本声明的使用范围时剔除并记录。相关分级依据 GB/T 43697—2024《数据安全技术 数据分类分级规则》与 GB/T 38667—2020《信息技术 大数据 数据分类指南》,具体规则见本卷「安全方案」一节。
工具支持基于领域本体、历史工单分布和业务规则生成故障场景,能够组合设备、部件、故障模式、现象、原因、处置流程、备件和安全约束(b1054、b1055)。这一项在招标文件中列于指令数据生成工具之下,其实现与 3.2.3.7.2 工单与故障场景模拟生成工具共用同一套场景生成器;本节说明生成器的组合逻辑,具体产出形态在 5.4 节展开。
八个要素的组合不是自由排列。组合受三层约束,见表 5-8。
表 5-8 故障场景八要素的组合约束
| 约束层 | 约束内容 | 来源 | 违反时的处置 |
|---|---|---|---|
| 本体约束 | 部件必须属于该设备;故障模式必须是该部件的允许模式;现象必须是该模式的已知现象;备件必须与该部件匹配 | 本体七域及其关系定义 | 组合作废,不生成 |
| 分布约束 | 组合出现的频次须与历史工单分布大致相称;长尾组合按定向补齐配额生成,不按自然频次 | 历史服务工单的统计分布 | 超出频次上限的组合暂停生成;长尾组合按配额单独派发 |
| 业务规则约束 | 处置流程须符合工序依赖与禁止条件;涉及井下作业的处置须命中安全规则检查;备件更换须符合在产状态与替代关系 | 工序字典、安全规则本体、备件台账 | 命中安全约束的场景标记为需安全复核,经确认后方可入库 |
长尾组合的定向补齐是这个生成器的主要价值。历史工单分布中出现次数为零或个位数的故障模式,按自然频次生成等于不生成;而这些恰恰是模型最需要见过的情形。工具的做法是:从本体中列出所有「已定义但历史样本不足」的故障模式,按业务重要性(后果严重程度、井下处置难度)排序,为每个模式生成一定数量的场景样本,数量按配额设定。这些样本标明为长尾补齐样本,训练时可按需调整采样权重,评测时不使用。
需要如实说明一点:长尾补齐样本的事实性依赖本体与业务规则的完备程度。本体中对某个稀缺故障模式的现象、原因与处置描述若本身不够准确,生成的场景也不会准确。因此长尾补齐样本的人工抽检比例高于常规样本,首期取 20%,并由熟悉该类故障的人员审核。抽检发现本体描述不准确时,按 4.6.4 的流程提交本体更新。
指令生成工具的接口约定集中在一点上:不许无中生有。输入三项各自带版本引用,种子指令须已确认才参与生成,素材范围按版本引用领域文档、本体标签与结构化素材,某一路素材不可读则该路不参与,全部不可读则任务不启动——没有素材就不生成,而不是让模型凭已有知识写出看似合理的指令。配额在生成前派发而非生成后筛选,是因为先生成再按分布裁剪会把算力花在最终被丢弃的样本上,且裁剪本身还会引入新的分布偏差。eval_use 字段在入参处即固定为假,使本工具的产出无论经何种途径流转都不会进入基准测试集。输出侧的过滤与分布报告逐道给出计数与配额偏差,使四道过滤是否生效、六维分布偏在哪一维可当场核对,这也是 5.3.9 中分布偏差一项得以按批次与累计两个口径验收的数据来源。
表 5-8A 指令数据生成工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 种子指令库 | 种子引用与版本(表 5-4 字段) | 已确认种子才参与生成 |
| 输入 | 任务与配额 | 任务类型清单、配额配置版本、目标条数、进化算子 | 配额生成前派发;eval_use 固定为假 |
| 输入 | 素材范围 | 领域文档、本体标签、结构化素材的版本引用 | 素材不可读则该路不参与;全部不可读则不启动 |
| 输出 | 指令样本 | 任务类型、难度、素材引用、合成标记、可追溯依据 | 流式写出;无依据样本不产出 |
| 输出 | 过滤与分布报告 | 四道过滤逐道计数、六维分布与配额偏差 | 可当场核对过滤是否生效 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.8(表 8-16、表 8-17)。
{
"record_id": "GEN-SFT-2027071400913",
"task_type": "推理分析",
"domain": "供需计划",
"sub_scene": "选型校核",
"difficulty": 4,
"instruction": "某工作面铺设长度 320m、倾角 12°、设计年产 600 万吨,现拟配置的机型按功率口径核算链条实际安全系数为 4.6,低于门限。请分析可调整的方向,按可行性排序,并说明每个方向需要补充确认哪些参数。",
"input_format": "结构化参数",
"output_format": "带引用的答案",
"response": "可调整方向按可行性排序如下。……(正文略,共 1 142 字,含三个方向与各自需确认的参数清单)",
"answer_evidence": [
{"claim": "链条理论安全系数门限取值", "locator": "选型校核契约 v3 / 第 4.2 条"},
{"claim": "可选链环直径档位", "locator": "标准化部件库 / 链条型谱表"},
{"claim": "按功率口径与按力口径的区别", "locator": "选型校核契约 v3 / 第 3.1 条"}
],
"answer_checkable": "可复算",
"provenance": {
"synthesis_source": "seed_evolution",
"seed_id": "SEED-XX-00417",
"evolve_chain": [
{"gen": 1, "operator": "难度提升", "from": "SEED-XX-00417"},
{"gen": 2, "operator": "约束增加", "note": "追加「说明需补充确认的参数」"}
],
"teacher_model": "gw-llm/v7",
"template_version": "tpl-sft-reason-0207",
"sampling_params": {"temperature": 0.7, "top_p": 0.95, "n_samples": 3, "selected": "评分中位数"}
},
"filters": {
"rule": {"result": "通过", "checks": ["格式合规", "数值带单位", "无禁止内容", "无越权数据"]},
"model_score": {"relevance": 4.5, "evidence_grounded": 4.0, "reasoning_coherence": 4.5,
"style": 4.0, "scale": "1–5", "threshold": 3.5, "result": "通过"},
"hallucination": {"unsupported_claims": 0, "misattributed_refs": 0, "overconfident_statements": 1,
"detail": "一处将「通常」表述为「应当」,已在人工抽检中修改", "result": "修改后通过"},
"dedup": {"exact": "无", "near_dup_max_sim": 0.71, "semantic_max_sim": 0.78,
"family_size": 6, "family_limit": 12, "result": "通过"},
"human_sample": {"sampled": true, "verdict": "可改", "editor_role": "选型业务骨干",
"edits": 1, "note": "措辞由「应当」改为「通常」"}
},
"distribution_tags": {"length_bucket": "L3(800–1500字)", "quality_tier": "A", "source_tier": "种子进化"},
"dataset_target": "指令微调数据集 / 供需计划域",
"confidence": 0.88, "review_state": "人工通过",
"tool_id": "sft-gen", "tool_version": "1.6.0", "config_version": "cfg-gen-2027Q3-01",
"batch_id": "B-20270714-GEN-031"
}
样例中 filters.hallucination 一项记录了一次实际修改:模型把素材中的「通常」写成了「应当」,属于过度确定型幻觉。这类问题规则过滤检不出来、模型评分也容易放过,是人工抽检的主要价值所在。记录下来之后,这个错误模式会写入生成模板的回归样例,后续批次在该模式上做专项检查。
生成类工具的风险与采集类恰好相反:产能不是问题,可信才是问题。七项指标围绕三件事设定——产出是否成形,对应规则过滤通过率与去重后有效产出率;内容是否有据,对应幻觉率与人工抽检通过率;整体构成是否符合预期,对应分布偏差、长尾类目覆盖与评测集隔离。其中幻觉率按逐条定位依据的办法核查,而不凭读起来是否合理判断,因为合成文本的通病恰是表述流畅而事实无源;抽检比例对长尾补齐样本提高到 20%,是因为这部分样本可供参照的实例最少,出错概率也最高。表中第四列的回退动作分三档,收紧素材范围、后续批次定向补齐、整批退回并暂停该任务类型,严重程度递增。末行是硬约束:基准测试集不接受合成样本,发布前按 synthesis_source 字段核对,核对不通过即不发布。
表 5-9 指令数据生成工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 规则过滤通过率 | 不低于 90% | 按批次统计 | 通过率过低说明生成模板的格式约束不清,修订模板并补充示例 |
| 幻觉率 | 无依据事实陈述占比不高于 3%,并逐步接近更低水平 | 抽样 300 条做依据定位核查 | 超限时收紧素材范围(只允许引用给定素材)、降低采样温度、提高人工抽检比例 |
| 人工抽检通过率 | 通过与可改合计不低于 90%,不通过不高于 10% | 按批次抽样 5%(长尾补齐样本 20%) | 不通过率超限整批退回;连续两批超限暂停该任务类型生成,先修订模板 |
| 分布偏差 | 六个维度的实际分布与目标分布的偏差均不超过 10 个百分点 | 按批次与累计两个口径统计 | 偏差超限时在后续批次定向补齐,并在数据卡中披露当期偏差 |
| 去重后有效产出率 | 不低于 80% | 统计去重前后条数 | 产出率过低说明进化算子多样性不足,调整算子配比并提高种子覆盖 |
| 长尾类目覆盖 | 本体中业务重要性为高的故障模式,每个至少有配额内数量的场景样本 | 按类目核对 | 覆盖不足的类目在数据卡中列为缺口,不以降低抽检标准的方式凑数 |
| 评测集隔离 | 基准测试集中合成样本条数为零 | 发布前按 synthesis_source 字段核对 | 发现合成样本时该版本评测集不予发布,重做构造并说明影响范围 |
甲方的售后服务口要求把既有远程运维平台从阈值报警推进到可解释诊断,输出形态是按证据等级给出的部件级异常判断、处置建议与检查顺序。要让模型具备这个能力,需要大量「从现象出发、逐步收敛到部件与原因、给出处置与检查顺序」的推理样本。而现场的实际情况是:维修事实没有结构化记录,历史数据没有事件级标签,故障样本须靠回填与回溯配对形成。真实的完整推理过程基本没有留痕——工程师到现场看一眼就知道怎么办,不会把推理过程写下来。
本工具的作用是把本体中的故障知识与历史工单中的真实片段,组合成完整的推理样本。生成内容是将本体故障知识与历史工单片段展开为完整叙述,而非虚构未定义故障。设计约束:每条内容须回指本体节点或历史工单片段,不允许出现本体中没有的故障模式、现象或处置措施。
工具支持生成工单描述、故障树、诊断推理、维修建议、复盘总结和多轮排障对话(b1057、b1058)。六类产出的内容要点与用途见表 5-10。
表 5-10 六类产出形态的内容要点与用途
| 产出形态 | 内容要点 | 字数与结构 | 主要用途 |
|---|---|---|---|
| 工单描述 | 报修时间、报修人角色、设备与部件、现象描述(按现场人员的真实表达方式,含不精确与口语化表述)、已采取的临时措施、当时可观察到的信息 | 100–400 字,自由文本 | 训练模型从不规范的现场描述中提取要素;作为信息抽取与分类任务的输入 |
| 故障树 | 以顶层故障为根,按原因层级展开;每个节点标注该层的检出手段与排除条件;叶节点为可直接处置的原因 | 结构化树,深度 3–5 层 | 训练模型的层级化归因能力;作为诊断推理的骨架 |
| 诊断推理 | 从现象出发,逐步引入证据、排除候选、收敛到结论;每一步写明所依据的证据与其等级;结论按证据等级分档给出 | 400–1200 字,分步结构 | 本工具的核心产出;直接对应售后服务口要求的可解释诊断形态 |
| 维修建议 | 处置步骤与顺序、所需备件与工装、预计工时、安全约束与防护要求、处置后的验证方式 | 200–600 字,步骤结构 | 训练模型给出可执行的处置方案;安全约束部分须经安全规则校验 |
| 复盘总结 | 事件经过、根本原因、处置是否得当、同类风险的排查范围、预防措施建议 | 300–800 字,段落结构 | 训练模型的总结与推广能力;作为摘要类任务样本 |
| 多轮排障对话 | 现场人员与系统的多轮交互:系统追问关键信息、现场人员给出观察结果、系统逐步收敛并给出检查顺序 | 4–10 轮,每轮 50–200 字 | 训练多轮交互中的信息索取与渐进收敛能力;与多轮对话数据构建类工具的边界见下 |
多轮排障对话与「工具链一」一节中的多轮对话数据构建类工具(3.2.3.4)存在交叉,边界划分如下:该类工具提供通用的对话结构构造、轮次管理、上下文一致性校验等能力;本工具提供故障排查这一特定场景下的对话内容生成,即每一轮该追问什么、什么样的回答能推进收敛、何时应当给出结论。本工具生成的对话内容交由该类工具做结构规范化与一致性校验,不重复实现对话管理能力。
六类产出不是各自独立生成的。同一个故障场景的六类产出必须相互一致——故障树上的原因与诊断推理的结论要对得上,维修建议中的备件要与故障树叶节点对应,复盘总结的根本原因不能与诊断推理矛盾。若分别生成,这种一致性很难保证。
工具的做法是先生成场景骨架,再按骨架展开六类产出。骨架由 5.3.6 节所述的场景生成器按八要素组合产生,包含设备、部件、故障模式、现象、原因、处置流程、备件、安全约束,以及这些要素之间的关系。骨架本身是结构化的,不是文本。六类产出都从同一个骨架展开,骨架中的要素在各产出中的出现情况被逐一核对——这就是一致性校验的实现方式。
图 5-2 故障场景从骨架到六类产出的展开与一致性校验。数据来源:招标文件第五章 3.2.3.7.1 第(6)项(b1054、b1055)与 3.2.3.7.2 节(b1056—b1060)。
跨产出一致性校验不通过时,整组产出作废而不做局部修补。这个选择是有代价的——作废意味着这一组的生成成本白费。但局部修补会留下隐患:修补后的产出之间可能仍有未被检出的矛盾,而这类样本一旦进入训练集,模型学到的就是自相矛盾的推理。整组作废的另一个好处是,作废率本身成为生成模板质量的指标,作废率上升说明模板需要修订。
工具支持合成样本标识和来源记录,明确 synthesis_source、teacher_model、template_version 和采样参数(b1059、b1060)。四个字段的取值规范见表 5-11。
表 5-11 合成样本来源字段的取值规范
| 字段 | 取值规范 | 本项目中的取值举例 | 用处 |
|---|---|---|---|
synthesis_source | 枚举值,标明合成方式 | seed_evolution(种子进化)、ontology_scenario(本体场景组合)、workorder_template(历史工单模板化)、text_rewrite(文本重写)、longtail_fill(长尾定向补齐) | 训练侧按方式控制配比;质检侧按方式定位同源问题 |
teacher_model | 统一网关为生成所用模型分配的登记名与版本号,不写品牌与型号 | gw-llm/v7、gw-vlm/v3 | 模型随代升级后回溯某批样本的生成能力代次;评估新旧模型产出的质量差异 |
template_version | 生成模板的语义化版本号,模板只读、改必升版 | tpl-fault-scenario-0314 | 定位某一类问题样本所用的模板,修订后按版本重跑 |
| 采样参数 | 结构化记录温度、top-p、采样次数、候选选择方式、随机种子 | 见 5.3.8 样例中的 sampling_params | 回放复算;采样参数是生成多样性与稳定性的主要调节手段,不留痕则无法归因 |
除上述四项外,本工具另记三项:骨架编号(指向生成本组产出的场景骨架)、所依据的本体版本与业务规则版本、同骨架展开的六类产出的记录编号互引。这三项使得一组产出可以作为整体被检索、被复核、被整组作废。
来源记录的一项实际用途值得写明。假设模型在场景验证中出现一类系统性错误——比如把某种现象一概归到某个故障模式上。排查时可以按这个故障模式检索训练样本,按 synthesis_source 区分真实样本与合成样本,若合成样本占比过高且集中在某个 template_version 上,问题就定位到了模板。没有来源记录,这个排查只能靠猜。
场景模拟生成的接口设有两道拒收条件,均在任务启动前判定:场景模板与故障域本体不配套则拒收,历史工单分布不可读则不启动。前者防的是模板中的要素在本体里没有对应定义,生成出的故障组合在工艺上并不成立;后者防的是在不知道真实分布的情况下凭估计生成,合成数据一旦偏离实际故障构成,模型学到的就是一份被扭曲的先验。长尾类目同样不以估计分布替代,而是按配额单独派发。输出侧把八要素场景样本与六类派生形态分文件输出、以场景标识相互关联,便于按形态分别送入不同用途的子集;约束拦截计数与历史分布对照一并输出,使生成过程中的约束是否真正生效可当场核对。合成标记与 eval_use=false 两项是硬性字段,合成样本无来源字段不入库,这是基准测试集不含合成样本得以按字段核验的基础。
表 5-11A 工单与故障场景模拟生成工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 场景模板与本体 | 场景模板版本、故障域本体与故障名录、八要素组合约束版本 | 模板与本体不配套则拒收 |
| 输入 | 历史分布与配额 | 历史工单分布引用、配额配置、目标条数、产出形态清单 | 分布不可读则不启动;长尾不以估计分布替代 |
| 输出 | 场景与六类派生 | 八要素场景样本及六类形态分文件(表 5-10) | 文件间以场景标识关联 |
| 输出 | 约束拦截与合成标记 | 组合约束拦截计数、synthetic_marks、eval_use=false、与历史分布对照 | 合成样本无来源字段不入库 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.9(表 8-18、表 8-19)。
下例为一组长尾补齐场景的产出摘录,六类产出各取片段。
{
"scenario_id": "FSC-2027081100127",
"skeleton": {
"equipment": {"node": "ONT-EQ-0217", "label": "刮板输送机机头传动部"},
"component": {"node": "ONT-CP-0188", "label": "链轮组件"},
"fault_mode": {"node": "ONT-FM-0231", "label": "链轮齿面异常磨损导致跳链",
"historical_count": 3, "longtail": true},
"symptoms": [{"node": "ONT-SYM-0052", "label": "运行中周期性冲击响声"},
{"node": "ONT-SYM-0089", "label": "刮板链张紧度异常波动"}],
"causes": [{"node": "ONT-CAU-0104", "label": "链条节距伸长超限与链轮齿形不匹配"},
{"node": "ONT-CAU-0117", "label": "链轮安装对中偏差"}],
"disposal": {"flow": ["停机断电挂牌", "检测链条节距伸长量", "检查链轮齿面磨损量",
"按磨损量判定修复或更换", "重新张紧并对中", "空载试运转验证"]},
"spares": [{"code": "SP-0188-02", "label": "链轮齿块", "in_production": true,
"alternative": "SP-0188-02A"}],
"safety_constraints": [{"node": "ONT-SAF-0019", "label": "井下检修须停机断电挂牌,禁止带电作业"},
{"node": "ONT-SAF-0033", "label": "链条张紧操作须确认无人处于链条行程内"}],
"constraint_checks": {"ontology": "通过", "distribution": "长尾定向补齐配额内",
"business_rule": "命中安全约束 2 项,已标记需安全复核"}
},
"outputs": {
"work_order_desc": {
"record_id": "GEN-WO-2027081100451",
"text": "8月9日夜班,司机反映机头那边跑起来有一下一下的响声,听着像是哪儿打上了,链子松紧也不太稳,拉紧了跑一会儿又松。没停机,让下个班注意看着。",
"note": "采用现场口语化表达,含不精确描述(「哪儿打上了」),用于训练要素提取"
},
"fault_tree": {
"record_id": "GEN-FT-2027081100452",
"root": "机头传动部周期性冲击响声",
"levels": [
{"depth": 1, "node": "链传动啮合异常", "detection": "听音定位+空载观察"},
{"depth": 2, "node": "链轮齿面异常磨损", "detection": "齿面磨损量测量(样板比对)",
"exclusion": "齿面磨损量在允许范围内可排除"},
{"depth": 2, "node": "链条节距伸长超限", "detection": "节距伸长量抽测(连续 11 节)",
"exclusion": "伸长量低于限值可排除"},
{"depth": 3, "node": "链轮安装对中偏差", "detection": "对中检测",
"exclusion": "对中在公差内可排除"}
]
},
"diagnosis": {
"record_id": "GEN-DX-2027081100453",
"steps": [
{"step": 1, "observation": "周期性冲击响声,周期与链速相关",
"inference": "指向链传动啮合环节,排除轴承类连续性异响",
"evidence_level": "三级:现场听音,依据工况经验"},
{"step": 2, "observation": "张紧度反复波动,张紧后短时间内再度松弛",
"inference": "提示链条节距已伸长,张紧行程被消耗",
"evidence_level": "二级:可量测的运行表现"},
{"step": 3, "observation": "齿面磨损量测量结果超出样板限值,节距伸长量亦超限",
"inference": "链轮齿形与伸长后的链条不匹配,形成跳齿冲击",
"evidence_level": "一级:实测数据"}
],
"conclusion": {"primary": "链轮齿面异常磨损与链条节距伸长共同导致啮合不良",
"evidence_level": "一级",
"alternatives": [{"cause": "链轮安装对中偏差", "evidence_level": "四级:尚无直接证据",
"next_check": "对中检测"}]}
},
"repair_advice": {
"record_id": "GEN-RA-2027081100454",
"steps": ["停机断电并挂牌,确认链条行程内无人", "抽测链条节距伸长量(连续 11 节,三处取样)",
"用样板比对链轮齿面磨损量", "伸长量与磨损量均超限时,链轮齿块与对应链条段同步更换",
"更换后重新张紧并做对中检测", "空载试运转不少于规定时长,确认响声消除"],
"spares": ["SP-0188-02 链轮齿块(在产);替代件 SP-0188-02A"],
"safety": ["停机断电挂牌,禁止带电作业", "张紧操作前确认无人处于链条行程内"],
"verification": "空载试运转期间听音无周期性冲击,张紧度在规定时长内保持稳定",
"safety_review": {"required": true, "state": "已确认", "note": "安全约束表述与安全规则本体一致"}
},
"retrospective": {
"record_id": "GEN-RS-2027081100455",
"root_cause": "链条使用周期内未对节距伸长量做例行抽测,伸长累积后与链轮齿形失配",
"scope": "同批次投运的同型机头传动部,建议排查节距伸长量",
"prevention": "将节距伸长量抽测纳入定期点检项,抽测周期与限值按设备手册确定"
},
"dialogue": {
"record_id": "GEN-DG-2027081100456",
"turns": 6,
"excerpt": [
{"role": "现场", "text": "机头有响声,一下一下的。"},
{"role": "系统", "text": "响声的间隔与链条速度是否相关?张紧度近期是否需要反复调整?"},
{"role": "现场", "text": "好像是跟着链子走的。张紧这两天调过两回了。"},
{"role": "系统", "text": "这两项指向链传动啮合异常。建议先停机,按连续 11 节抽测链条节距伸长量,并用样板比对链轮齿面磨损量。两项结果能把范围收到链轮或链条。"}
]
}
},
"consistency_check": {
"tree_vs_diagnosis": "一致(诊断结论对应故障树 depth2 两节点)",
"leaf_vs_spares": "一致(齿块更换对应齿面磨损叶节点)",
"retro_vs_diagnosis": "一致",
"dialogue_convergence": "一致(收敛到同一故障模式)",
"result": "通过"
},
"provenance": {
"synthesis_source": "longtail_fill",
"teacher_model": "gw-llm/v7",
"template_version": "tpl-fault-scenario-0314",
"sampling_params": {"temperature": 0.6, "top_p": 0.9, "n_samples": 2, "selected": "一致性校验通过者"},
"ontology_version": "ONT-2027Q3-v6", "rule_version": "RUL-2027Q3-v2"
},
"filters": {"rule": "通过", "model_score": 4.2, "dedup": "通过", "human_sample": {"sampled": true, "verdict": "通过",
"reviewer_role": "售后服务业务骨干", "note": "处置顺序与现场做法相符;节距抽测节数按手册为 11 节,正确"}},
"dataset_target": "指令微调数据集 / 质量域;偏好数据候选(回答优劣由人工判断)",
"longtail_flag": true, "eval_use": false,
"batch_id": "B-20270811-FSC-006"
}
样例末尾 eval_use: false 是一条硬性标记:长尾补齐样本不用于评测。它的作用是让评测集构造工具在取样时自动排除这类样本,而不依赖人工记得排除。
模拟生成的样本要经得起两重追问:这个故障在物理与工艺上成不成立,六类派生产出彼此说不说得通。骨架约束通过率与跨产出一致性通过率分别对应这两重——前者由本体与业务规则在生成时拦截,通过率过低并不说明生成质量差,更可能是本体关系定义过严或存在缺项,故回退动作指向梳理本体;后者按组校验,不通过时先定稿故障树与诊断、再据此生成其余四类,用生成顺序换取一致性。人工抽检通过率、安全约束表述正确率、口语化描述真实度三项由人工判断,分工各不相同:熟悉业务的人员判专业上是否成立,售后服务人员盲评是否像现场人写的,安全约束则逐条核对、不抽样。长尾类目的样本充足度一项约定了披露口径,未达配额的类目如实列为缺口,不以降低抽检标准的方式凑数。表中第四列最重的一档是暂停该类目生成、先补本体描述。骨架约束通过率一项的量值由我方设立,其设立依据、设计值与测法见 2.7 的表 2-5 与表 2-6 同一行。
表 5-12 工单与故障场景模拟生成工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 骨架约束通过率 | 本体与业务规则约束的组合通过率不低于 70% | 按批次统计生成与作废条数 | 通过率过低说明本体关系定义过严或存在缺项,按作废原因梳理本体 |
| 跨产出一致性通过率 | 不低于 85% | 按组统计一致性校验结果 | 低于基线时拆分生成步骤,先定稿故障树与诊断,再据此生成其余四类 |
| 人工抽检通过率 | 常规样本抽检 5%、长尾补齐样本抽检 20%,通过与可改合计不低于 90% | 由熟悉相应业务的人员审核 | 不通过率超限整批退回;长尾类目连续不通过时暂停该类目生成,先补本体描述 |
| 安全约束表述正确率 | 涉及安全约束的样本,表述与安全规则本体逐步接近完全一致 | 逐条核对,不抽样 | 不一致时该样本不入库;安全约束部分改为从本体直接引用原文,不由模型生成 |
| 口语化工单描述的真实度 | 抽检中被判为「像现场人写的」的比例不低于 80% | 由售后服务业务人员盲评 | 真实度不足时从历史工单中抽取真实表达片段作为模板示例 |
| 长尾类目的样本充足度 | 业务重要性为高的故障模式,每类的场景样本数达到配额 | 按类目核对并在数据卡披露 | 未达配额的类目如实披露缺口,不降低抽检标准凑数 |
甲方的文本资料有一个共同特点:同一件事的表述方式单一。制度条文是书面语,工艺规程是技术语,工单是现场口语,三者各自内部的表达方式都很固定。模型在这种语料上训练,对本语料库的表达方式掌握得好,换一种问法就答不上来。通用场景的需求里写得很直白:要能就企业制度、技术标准、工艺规程与历史资料进行自然语言问答——而提问人是各业务口的全体员工,他们的问法不会按制度条文的句式来。
文本重写工具的作用是在不改变内容的前提下,为同一份事实生成多种表达。这件事的风险也很明显:改写很容易把内容改掉。技术文本中的数值、单位、工艺参数、故障结论与安全约束,改一个字含义就变了。因此本工具的设计重心不在「能改出多少种花样」,而在「怎么保证改完之后内容没变」。
工具支持文本重写与风格迁移,在保持语义一致的前提下生成口语化、书面化、技术化、简化、扩写、压缩等不同表达版本(b1062、b1063)。六种风格的做法与适用对象见表 5-13。
表 5-13 六种改写风格的做法与适用对象
| 风格 | 做法 | 适用的原文类型 | 本项目中的用处 |
|---|---|---|---|
| 口语化 | 换用日常词汇、缩短句子、允许省略主语、保留不精确的程度表达 | 制度条文、技术标准、工艺规程 | 生成贴近员工真实问法的提问与表述,用于问答样本的问题侧 |
| 书面化 | 补全主语与关联词、规范术语、去除口语缀词 | 工单、交流记录、现场描述 | 把现场记录规范化,用于摘要与归档类样本 |
| 技术化 | 用标准术语替换俗称、补全参数与单位、引入标准依据 | 工单、现场描述、通俗解释 | 训练模型在正式答复中使用规范表述 |
| 简化 | 去除修饰与冗余、保留结论与关键条件、降低句式复杂度 | 长篇技术文件、复盘总结 | 生成不同详略度的答案版本,用于长度分布控制 |
| 扩写 | 补充背景、展开步骤、追加说明与注意事项;补充内容须有依据 | 条文式要求、简短结论 | 生成详细版答案;扩写内容不得引入原文与素材中没有的事实 |
| 压缩 | 按目标字数压缩,优先保留数值、结论与约束 | 长篇答案、规程全文 | 生成摘要类样本;压缩后关键信息项的保留情况可核对 |
扩写是六种风格中风险最高的一种,因为它要「增加内容」。工具对扩写的约束是:扩写只能使用三类材料——原文自身的其他部分、与原文关联的已确认素材(同一规程的其他条款、同一设备的手册内容)、本体中的已定义知识。三类材料之外不得引入。扩写结果中的每个新增事实点都要标出其来源材料,无法标出来源的新增内容在过滤环节被剔除。
工具支持语义一致性校验,使用向量相似度、关键信息抽取和规则检查防止语义漂移(b1064、b1065)。三个通道的检查内容与门限见表 5-14。
表 5-14 语义一致性校验的三个通道
| 通道 | 检查内容 | 判定方式与门限 | 检不出什么 |
|---|---|---|---|
| 向量相似度 | 原文与改写文本在语义表示空间中的相似程度 | 余弦相似度;门限按风格分别设定(口语化与技术化门限较低,简化与压缩门限中等,扩写按原文对改写的覆盖方向单边判定) | 检不出局部的数值错误——改一个数字对整体向量影响很小。因此此通道只作粗筛,不单独定结论 |
| 关键信息抽取 | 从原文与改写文本中分别抽取关键信息项(数值、单位、实体、型号、标准编号、结论、条件、约束),逐项比对 | 关键信息项须逐项一致;缺失、新增、取值不同均判为不一致 | 检不出语气与限定程度的变化(如「通常」改为「应当」),需规则检查补充 |
| 规则检查 | 限定词保留检查(通常/一般/原则上/应当/必须/禁止);否定词检查;条件句结构检查;数值与单位的格式与量级检查;术语保护词表命中检查 | 逐条规则判定,不通过即判为不一致 | 检不出整体语义的微妙偏移,需向量通道与人工抽检补充 |
三个通道各有盲区,这是为什么要三个一起用。判定逻辑是:关键信息抽取与规则检查任一不通过即判为语义漂移,直接剔除;两者都通过但向量相似度低于门限的,送人工抽检;三者都通过的进入下一道过滤。
关键信息抽取这一通道的实现要点是抽取器本身要稳定。如果抽取器对原文与改写文本的抽取能力有差异,比对结果就不可信。本工具的做法是:抽取器对两侧使用同一配置、同一版本;抽取结果为空时不判为一致,而是判为无法校验并转人工;抽取器的稳定性按季度用标定集复测。
工具支持术语保护和事实保护,改写过程中不得改变关键实体、数值、单位、工艺参数、故障结论、安全约束和业务规则(b1066、b1067)。七类保护对象的识别与保护方式见表 5-15。
表 5-15 七类保护对象的识别与保护方式
| 保护对象 | 识别方式 | 保护方式 | 违反时的处置 |
|---|---|---|---|
| 关键实体 | 术语保护词表中的主词条与其别名;本体中的设备、部件、材料、工序节点名 | 改写前做占位替换:把实体替换为占位符,改写完成后回填原文;不允许模型接触到可改写的实体文本 | 占位符缺失或数量不符时该条作废 |
| 数值 | 正则识别数值与其上下文;结构化素材中已标明的参数值 | 同占位替换;数值连同其单位作为一个不可分割的占位单元 | 回填后比对数值集合,不一致即作废 |
| 单位 | 单位词表;数值后紧随的量纲表达 | 与数值一体保护;单位换算一律不在改写环节进行 | 同上 |
| 工艺参数 | 工艺规程中的参数项;本体中标明为参数的节点 | 占位替换+规则检查双重保护 | 作废并记录 |
| 故障结论 | 由故障域本体节点标识的结论性表述;诊断样本中的 conclusion 字段 | 结论句整句不参与改写,改写只作用于其余部分 | 结论句被改动时作废 |
| 安全约束 | 安全规则本体节点;含禁止、严禁、不得、必须等强制语的句子 | 整句从本体直接引用,不参与改写 | 安全约束句出现任何差异即作废并记安全事件 |
| 业务规则 | 规则库中的规则表述;工序依赖与禁止条件 | 整句不参与改写 | 作废并记录 |
占位替换为事前约束:模型仅见占位符,只能改写占位符之间的连接语句;回填后比对占位符数量与顺序即可发现改坏。自然度可能略降、占位符附近句式或显生硬;数值与实体类错误由概率问题转为结构问题。对自然度要求高的场合(如口语化改写用于生成提问),占位替换的范围可以收窄到数值、单位与安全约束,实体允许用别名替换——此时别名替换的映射关系记入输出,仍然可追溯。
工具支持改写比例、改写次数、相似度阈值和风格分布配置,避免过度增强导致数据偏移(b1068、b1069)。四项配置的含义与建议取值见表 5-16。
四项参数之所以成组出现,是因为它们控制的是同一件事的不同侧面:改写比例与改写次数决定同源内容在数据集中占多大份额,相似度阈值与风格分布决定每一条改写是否真的换了表达方式。只控其一必然失效——比例压得很低而同一条原文改写十遍,同族样本照样扎堆;比例合适而阈值定得过高,产出的只是近义替换,数量上去了多样性并没上去。建议取值的来由有三处:改写比例的上限取自合成配比口径,相似度阈值按六种风格的语义改动幅度分别标定,风格分布按原文类型的实际用途推定。表中第四列写的是过度设置的后果,它与第三列的建议取值互为说明——取值的边界不是凭经验拍定的,而是由越过边界后出现的具体症状反推出来的。
表 5-16 改写配置的四项参数
| 参数 | 含义 | 建议取值与依据 | 过度设置的后果 |
|---|---|---|---|
| 改写比例 | 原始样本中有多少比例被选去做改写增强 | 预训练语料不超过 20%(见表 5-2);指令微调样本按任务类型分别设定 | 比例过高时数据集中同源内容占比上升,模型在原文表达上过拟合 |
| 改写次数 | 同一条原文最多生成几个改写版本 | 建议不超过 3 个;按风格分配,同一风格不重复生成 | 次数过多时同族样本挤占分布,表面量大实际多样性低 |
| 相似度阈值 | 向量通道的门限,按风格分别设定 | 口语化 0.78、技术化 0.80、书面化 0.82、简化 0.80、压缩 0.75、扩写按覆盖方向单边判定不低于 0.85 | 阈值过高时改写被压成近义替换,起不到多样化作用;过低时语义漂移风险上升 |
| 风格分布 | 六种风格在改写产出中的占比 | 按原文类型设定:制度与标准类以口语化、简化为主;工单类以书面化、技术化为主;长文类以压缩、简化为主 | 风格集中时模型只见过一种转换方向 |
四项配置都按原文类型与数据集分别设定,不设全局统一值。配置变更按版本管理,变更前后的产出在数据卡中分段统计,便于判断某次配置调整是否带来了预期效果。
工具支持生成数据质量过滤,通过规则校验、模型评分、语义相似度检测、重复检测和人工抽检剔除虚假、不合理、越权或语义漂移样本(b1070、b1071)。本工具的五道过滤与 5.3.5 节所述四道过滤的关系是:规则校验、模型评分、重复检测、人工抽检四道沿用同一套实现与门限配置,语义相似度检测为本工具专有,即 5.5.3 节所述三通道校验中的向量通道。
过滤的执行顺序与各道的剔除重点见表 5-17。
表 5-17 文本重写产出的五道过滤
| 序 | 过滤 | 本工具中的剔除重点 | 成本 |
|---|---|---|---|
| 1 | 占位回填校验 | 占位符数量与顺序不符、回填失败 | 极低,程序判定 |
| 2 | 规则校验 | 限定词被改动、否定词增删、单位缺失、安全约束句有差异、术语保护词表命中项被替换 | 低,程序判定 |
| 3 | 关键信息比对 | 数值、实体、型号、标准编号、结论项缺失或不一致 | 中,需抽取器运行两次 |
| 4 | 语义相似度检测 | 整体语义漂移;相似度过高(改写无实际差异)同样剔除 | 中,需向量计算 |
| 5 | 重复检测与人工抽检 | 同族过度繁殖;改写后与已有样本重复;表达不自然、不符合业务语境 | 高,部分占用人力 |
第 4 道中「相似度过高同样剔除」值得说明。改写的目的是增加表达多样性,如果改写结果与原文几乎相同(只换了个别词),它既占用了配额也不带来收益,还会在重复检测中与原文形成近重复对。因此向量通道是双向门限:低于下限判为语义漂移剔除,高于上限判为改写无效剔除。上限按风格设定,压缩与简化的上限较低(内容本就应当减少),口语化的上限较高。
工具支持输出原文与改写文本的映射关系、相似度评分、改写策略和审核状态(b1072、b1073)。映射记录的字段见表 5-18。
表 5-18 原文与改写文本的映射记录字段
| 字段 | 内容 | 用处 |
|---|---|---|
rewrite_id | 改写记录编号 | 唯一标识 |
source_record_id | 原文记录编号 | 回指原文;原文为外部文档时另记 source_ref |
family_id | 同族标识,同一原文的所有改写版本共用 | 集合切分时按族整体归入训练集或评测集,防泄漏 |
style | 改写风格 | 六种风格之一 |
rewrite_strategy | 改写策略明细 | 占位保护范围、是否允许别名替换、目标字数、是否允许重排段落顺序 |
similarity | 相似度评分 | 向量余弦相似度、关键信息项一致项数与总项数、字面重叠率 |
protected_items | 本次保护的对象清单 | 按七类分列,每项记占位符编号与回填结果 |
alias_substitutions | 别名替换映射 | 允许别名替换时记录原词与替换词及其词典条目 |
key_info_diff | 关键信息比对明细 | 一致项、缺失项、新增项、取值不同项 |
filter_results | 五道过滤的逐道结果 | 每道记通过/不通过与原因 |
review_state | 审核状态 | 未审核/自动通过/人工通过/驳回/已剔除 |
reviewer_role | 审核人角色 | 记角色不记姓名 |
provenance | 来源字段 | synthesis_source 固定为 text_rewrite;另记 teacher_model、template_version、采样参数 |
映射关系的一项实际用途:当原文被更新时(制度换版、规程修订),按 source_record_id 可以找出所有由它衍生的改写样本,一并标记为待复核。没有映射关系,旧版制度衍生的样本会留在数据集里,模型答出来的是已经作废的规定。这在通用场景的制度问答中是直接的业务风险——通用场景的核心需求本就是回答时能说清依据的是哪一版文件。
改写工具在输入侧设了一道前置门:只接受已通过质检与一致性校验的样本。这条约定的理由是改写会放大原文的缺陷——一条事实有误的原文改写成三种风格,错误即由一条变成四条,且因表述各异而更难在去重中被发现,故改写不承担纠错职责,只承担表达多样化职责。保护词表版本列为必填入参,是因为术语与安全约束的保护范围随版本变化,不记版本则日后无从判断某条改写当时受哪些保护项约束。输出侧两项各有用途:改写样本带风格标记与原文引用,使同族样本在配比统计与去重时可被整体识别;保护与过滤报告逐道给出计数,使五道过滤是否真正生效可当场核对,保护失败项不入库,而不是标记之后放行。原文—改写映射记录是原文换版时联动标记待复核的依据。
表 5-18A 文本重写与多样化工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 原文样本 | 已通过质检与一致性校验的样本标识集合 | 未质检样本不接受改写 |
| 输入 | 风格与保护配置 | 六种风格、保护词表版本、改写四项参数、语义校验通道 | 保护词表版本必填 |
| 输出 | 改写样本 | 风格标记、原文引用、改写比例、映射记录 | 流式写出 |
| 输出 | 保护与过滤报告 | 保护项逐条校验、五道过滤逐道计数、原文—改写映射(表 5-18) | 保护失败项不入库 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.10(表 8-20)。
{
"rewrite_id": "RWR-2027090200688",
"source_record_id": "DOC-REG-0004471",
"source_ref": {"doc": "热处理工艺规程 / 第 5.3 条", "version": "v2026-11", "digest": "sha256:1a93…7f"},
"family_id": "FAM-REG-0004471",
"source_text": "调质处理的回火温度应控制在 580±10℃,保温时间按有效厚度每 25mm 不少于 1h 计,且总保温时间通常不少于 2h。装炉量超过额定装炉量 80% 时,保温时间应按工艺员确认后的数值执行。",
"style": "口语化",
"rewrite_strategy": {"placeholder_scope": ["数值", "单位", "工艺参数", "业务规则"],
"alias_substitution_allowed": true, "target_length": "不限", "reorder_allowed": false},
"rewrite_text": "调质的回火温度得控在 580±10℃,保温时间按有效厚度算,每 25mm 不少于 1h,总的通常不能少于 2h。要是装炉量超过额定的 80%,保温时间就得按工艺员确认过的数来。",
"protected_items": {
"数值": [{"ph": "[[N1]]", "value": "580±10", "refilled": true},
{"ph": "[[N2]]", "value": "25", "refilled": true},
{"ph": "[[N3]]", "value": "1", "refilled": true},
{"ph": "[[N4]]", "value": "2", "refilled": true},
{"ph": "[[N5]]", "value": "80", "refilled": true}],
"单位": [{"ph": "[[U1]]", "value": "℃"}, {"ph": "[[U2]]", "value": "mm"}, {"ph": "[[U3]]", "value": "h"}],
"工艺参数": [{"ph": "[[P1]]", "value": "回火温度"}, {"ph": "[[P2]]", "value": "保温时间"},
{"ph": "[[P3]]", "value": "有效厚度"}, {"ph": "[[P4]]", "value": "额定装炉量"}],
"业务规则": [{"ph": "[[R1]]", "value": "应按工艺员确认后的数值执行", "rewrite_allowed": false,
"note": "整句保护,口语化仅作用于连接语句"}]
},
"alias_substitutions": [{"from": "调质处理", "to": "调质", "dict_entry": "ALS-TRT-0007"}],
"similarity": {"cosine": 0.891, "key_info_matched": 14, "key_info_total": 14, "literal_overlap": 0.62},
"key_info_diff": {"consistent": ["580±10℃", "25mm", "1h", "2h", "80%", "调质", "回火温度",
"保温时间", "有效厚度", "额定装炉量", "工艺员确认", "不少于×3", "应/得", "超过"],
"missing": [], "added": [], "value_changed": []},
"rule_checks": {"限定词保留": "通过(「通常」已保留)", "否定词": "通过", "条件句结构": "通过",
"数值单位格式": "通过", "术语保护词表": "通过(别名替换在允许范围内)"},
"filter_results": {
"1_占位回填": "通过(占位符 12 个,数量与顺序一致)",
"2_规则校验": "通过",
"3_关键信息比对": "通过(14/14 一致)",
"4_语义相似度": "通过(0.891 在 [0.78, 0.95] 区间内)",
"5_重复与抽检": "通过(族内 2 个版本,上限 3;抽检未命中)"
},
"review_state": "自动通过", "reviewer_role": null,
"provenance": {"synthesis_source": "text_rewrite", "teacher_model": "gw-llm/v7",
"template_version": "tpl-rewrite-colloquial-0118",
"sampling_params": {"temperature": 0.8, "top_p": 0.95, "n_samples": 2, "selected": "相似度居中者"}},
"dataset_target": "预训练数据集 / 质量域(增强文本);指令微调问题侧素材",
"eval_use": false,
"batch_id": "B-20270902-RWR-014"
}
这条样例中 rule_checks 的第一项是关键:原文的「通常不少于 2h」是条件性表述,改写后保留为「通常不能少于 2h」。如果改成「不能少于 2h」,规定的强制程度就变了——这正是限定词保留检查要防的事。规程类文本的改写中,这类错误比数值错误更常见也更难发现。
改写增强的全部风险可归为一句话:换了说法,不能换了意思。七项指标按「不能错的」与「要做到的」两类分列——关键信息保持率、安全约束与业务规则零改动、限定词保留率属前者,其中安全约束一项逐条核对而不抽样,因为涉安全表述一旦被改写,错误会随样本进入模型并在排障场景中被复述;改写有效性、风格辨识度、同族数量合规属后者,衡量的是改写是否真起到了多样化作用,而非把原文做了一遍近义替换。原文更新的联动一项防的是时间性失效:制度与规程换版之后,其衍生的改写样本若不标记待复核,数据集里就留下了与现行文件不一致的表述。表中第二列的基线按风格与原文类型分别设定,第四列回退动作中最重的一档,是对规程、安全规定一类原文停用改写——这类原文宁可不做增强,也不冒改动语义的风险。
表 5-19 文本重写与多样化工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 关键信息保持率 | 关键信息项逐步接近完全一致;实测不一致率不高于 1% | 抽样 500 条逐项核对 | 扩大占位保护范围,必要时整句保护;仍不达标的原文类型暂停改写 |
| 安全约束与业务规则零改动 | 该类句子的差异条数为零 | 逐条核对,不抽样 | 出现差异即剔除该批次相关样本,并把该类句子改为整句引用,彻底不进改写 |
| 限定词保留率 | 不低于 99% | 规则检查自动统计并抽样复核 | 把限定词纳入占位保护;对高风险原文类型(规程、安全规定)停用改写 |
| 改写有效性 | 相似度落在设定区间内的比例不低于 85% | 按风格分别统计 | 区间外比例过高时调整提示词与采样温度,或缩小该风格的配额 |
| 风格辨识度 | 抽检中改写版本能被正确识别为目标风格的比例不低于 80% | 人工盲评,按风格统计 | 辨识度不足的风格修订模板示例;仍不足的从风格清单中暂时移除 |
| 同族数量合规 | 单条原文的改写版本数不超过配置上限 | 按族统计 | 超限自动裁减,保留相似度分布最分散的若干条 |
| 原文更新的联动 | 原文换版后,其衍生样本被标记为待复核的比例逐步接近全部 | 抽取 20 次换版事件核对 | 联动机制不完整时改为按文档目录定期逐份扫描比对 |
十个工具的价值由其产出决定:产出进了哪一个数据集、支撑了哪一项场景验证、在业务链上与别的工具如何交接、要占用多少加工资源。本节按这四问给出对照,使工具链与四大数据集、十一项场景验证之间的支撑关系逐项可核。
工具链的建设投入最终要折算成数据集的产出,下表回答的正是这个折算关系:每个工具的产出进了哪一个数据集、以什么形态进入。横向读一行,可见某个工具的产出是否过于集中——只服务单一数据集的工具,其建设优先级与规模测算应与服务四个数据集的工具区别对待;纵向读一列,可见某个数据集的供给是否有缺口,一列中「——」过多即意味着该数据集的素材来源单薄,需在采集或生成侧补位。对齐类三个工具在预训练与基准两列同时有产出,是因为同一批对齐结果既可作语料,也可作评测条目的事实依据,区别在于后者须经人工确认;三个生成类工具在基准测试数据集一列均为「不参与」,这一列即评测集隔离原则在工具层面的落点。按此表逐项核对,四大数据集的规模目标都能回指到具体工具的产出路径。
表 6-1 十个工具对四大数据集的贡献
| 工具 | 预训练数据集 615 亿 Token | 指令微调数据集 89 万条 | 强化学习偏好数据 6.6 万组 | 基准测试数据集 0.95 万条 |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 提供工艺设计域的结构化图纸语料与图卡成对文本 | 提供信息抽取与推理分析类指令的输入素材 | —— | 提供工艺设计域评测条目的事实依据 |
| 视频-文本对齐 | 提供制造过程域与质量域的图文成对语料 | 提供多模态描述类指令样本 | 提供多模态描述的候选回答对 | 提供多模态描述类评测条目 |
| 传感器时序-运维事件对齐 | 提供质量域的时序片段与诊断文本成对语料 | 提供推理分析类指令的输入素材 | 提供诊断结论的候选回答对 | 提供诊断类评测条目的事实依据 |
| 大模型预标注 | 为语料做类型与质量分级标注 | 产出各类任务的标注结果 | 产出偏好比较的初筛结果 | 为评测条目产出候选标注,由人工确认 |
| 主动学习标注 | —— | 决定人工标注的投向,提高单位工时产出 | 定向采集难以判断的偏好对 | 定向采集覆盖边界情形的评测条目候选 |
| 本体驱动规则标注 | 为语料挂本体标签,支撑按类目采样 | 约束标签取值,保证标签体系自洽 | 校验偏好判断的逻辑一致性 | 校验评测条目的标签合规性 |
| 一致性校验标注 | 产出语料标注的质量指标 | 产出标注一致性指标与裁决记录 | 产出偏好判断的一致性指标 | 保证金标准标注的一致性 |
| 指令数据生成 | —— | 本工具的主产出场 | 产出偏好比较的回答候选 | 不参与(评测集不接受合成样本) |
| 工单与故障场景模拟生成 | —— | 产出质量域与制造过程域的推理类样本 | 产出排障对话的回答候选 | 不参与 |
| 文本重写与多样化 | 产出增强文本(配比不超过 20%) | 产出问题侧的多样化表达 | 产出表达不同但内容相同的回答对 | 不参与 |
表中「不参与」三格是本章对评测集隔离的具体落实:三个生成类工具的产出一律带 eval_use: false 标记,评测集构造工具在取样时按该字段排除。
本包只做场景验证服务,不负责智能场景建设。十个工具在场景验证中的作用是提供可用的样本与可核对的评测口径,具体对应见表 6-2。
表 6-2 十个工具对场景验证的支撑点
| 场景 | 本章工具提供的关键支撑 | 场景验证时可核对的口径 |
|---|---|---|
| 产品智能选型 | 历史选型方案的结构化抽取;选型校核类推理指令样本;相似工作面条件的检索样本 | 推理步骤可按校核公式复算;相似案例检索的前五位命中率 |
| 板材备料工艺 | 图纸结构化抽取的几何要素与加工要求;工序排序候选;展开长确定性计算;历史图卡成对回归样本 | 展开长与手算一致性;工序排序与历史工艺卡的符合度;字段抽取正确率 |
| 库存控制 | 物料与口径相关的实体归一;供需计划域的推理与工具调用样本 | 口径归一的正确率;工具调用参数的结构合规性 |
| 热处理 | 时序片段切分与特征;炉次关联样本;规程类文本的多样化表达 | 诊断文本事实层的数值准确性;关键信息保持率 |
| 焊接 | 关键帧与焊道的对齐样本;参数流时序片段;缺陷描述归类标注 | 对齐正确率;缺陷归类与人工标注的一致率 |
| 健康诊断 | 报警前后窗与维修前后窗片段;诊断推理与排障对话样本;长尾故障模式补齐样本 | 诊断结论的证据等级分档正确性;长尾类目的样本充足度披露 |
| 通用信息类场景 | 制度与标准的改写增强样本;带引用的问答样本;条款级证据定位 | 答案依据可定位率;原文换版后的样本联动比例 |
表 6-2 的右列是本章工具与场景验证之间的接口:验证时核对的是这些口径,而这些口径的计算方式在前三节各工具的质量口径表中已逐一定义。场景验证的组织方式、验证用例与验收流程见本卷「六个专业场景验证方案」与「五个通用场景验证方案」两节。
十个工具单独看是十件工具,在生产中是按业务链串起来用的。本节取图纸工艺、热处理、焊接、质量检测四条链,说明工具之间如何交接、在哪些点设门、最终出什么货。选这四条的理由是它们分别代表四种典型的数据形态组合:纯工程文档、时序加记录、多模态并行、文本加图像,其余业务链的联用方式可按同一模式推得。
图 6-1 四条业务链上的工具联用与出货口。数据来源:本章第 3 至第 5 节各工具的输入输出接口,以及数据加工生产各环节的门控设置。
四条链的工具序列、交接物与门控点见表 6-3。表中「交接物」一列是上一个工具交给下一个工具的东西,它同时也是两个工具之间可核对的接口——联调时核对的就是这一列。
表 6-3 四条业务链的工具序列、交接物与门控点
| 业务链 | 工具序列 | 关键交接物 | 门控点与判定 | 产出与用途 |
|---|---|---|---|---|
| 图纸工艺链 | 图纸与工艺图结构化抽取 → 本体驱动规则标注 → 大模型预标注 → 一致性校验标注 → 指令数据生成 → 文本重写与多样化 | 结构化图纸记录+要素级证据索引 → 候选工序与加工方法标签 → 工艺要点摘要与问答对 → 一致性指标与裁决记录 → 工艺推理指令样本 → 多样化表达 | 对齐后判图号主键与视图对应置信度;标注后判工序标签与工序字典的符合性;生成后判数值与定额是否可独立复算 | 产品工艺设计域的预训练语料、指令样本与评测条目事实依据 |
| 热处理链 | 传感器时序-运维事件对齐 → 大模型预标注 → 本体驱动规则标注 → 一致性校验标注 → 工单与故障场景模拟生成 | 炉次时间窗片段+特征值 → 工况与判定分级候选标签 → 三级判定约束校验结论 → 分歧裁决结论 → 长尾炉次异常场景 | 对齐后判炉次主键与事实发生时点可靠性;标注后判判定分级与企业标准正式文本的一致;生成后判参数是否落在工艺窗口内 | 产品质量域的时序—文本成对语料、诊断类指令样本与评测条目 |
| 焊接链 | 视频-文本对齐与传感器时序-运维事件对齐(双路并行) → 大模型预标注 → 主动学习标注 → 一致性校验标注 → 文本重写与多样化 | 帧级对齐记录与参数流片段(共用焊道主键) → 缺陷描述归类与帧级说明 → 高价值待标样本优先序 → 一致性指标 → 表达多样化样本 | 对齐后判双路结论是否矛盾(画面与参数流);标注后判缺陷类别与检出手段对应关系的符合性;生成后判术语与安全约束是否保持 | 制造过程域的多模态成对语料、缺陷描述指令样本与多模态评测条目 |
| 质量检测链 | 视频-文本对齐(交检拍照) → 大模型预标注 → 本体驱动规则标注 → 一致性校验标注 → 指令数据生成 | 图像与检验结论的对齐记录 → 缺陷类型与检出手段标签 → 质量指标域约束校验结论 → 金标准候选与裁决记录 → 判定推理类指令样本 | 对齐后判检验记录号主键与图像来源可用性;标注后判金标准标注的一致性;生成后判合成样本是否被评测集排除 | 产品质量域的判定推理样本与基准测试条目候选 |
四条链有一条共同的约束要写明:链上任何一个环节的不合格产出都不自动流向下一环节。具体而言,图纸工艺链上视图对应存疑的条目不进入工序标签生成,热处理链上事实发生时点缺失的炉次不进入判定分级标注,焊接链上双路结论矛盾的片段两条同时隔离,质量检测链上来源为未标定点位的图像不进入缺陷定位类标注。这些判定在各工具的质量口径表中已逐项定义,在链上的作用是把门设在交接处,而不是等到最后一道工序再分拣。
工具链的资源需求按工作量正算,不按「配置若干台服务器」交代。测算分三类:经统一网关调用模型能力的部分按 Token 量折算,向量化与语义相似度计算按嵌入处理量折算,图纸原生解析与时序特征计算属确定性程序,按处理器核时折算。三类的测算前提与训练推理服务章节一致——推理算力按每生成一个 Token 消耗两倍参数量估算,单卡有效算力按每卡日约 7.8×10¹⁸ 次浮点运算折算——沿用同一套前提的好处是两章的数可以直接相加,不需要换算。
表 6-4 十个工具的处理规模与模型调用量测算
| 工具 | 处理对象与建设期总量 | 单位处理的调用量(输入+输出 Token) | 调用量合计 | 折合卡天(80 亿参数档) |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 63 万张图纸及其配对工艺卡 | 约 4,600(符号作用范围与视图对应候选;几何与定额为确定性计算,不调模型) | 约 29.0 亿 | 约 5.9 |
| 视频-文本对齐 | 关键帧约 60 万帧 | 约 1,700(帧级描述与画面文字后处理) | 约 10.2 亿 | 约 2.1 |
| 传感器时序-运维事件对齐 | 时序片段约 40 万条 | 约 2,300(特征摘要到诊断文本) | 约 9.2 亿 | 约 1.9 |
| 大模型预标注 | 指令微调 89 万条、偏好 6.6 万组、基准 0.95 万条、预训练语料抽样复核约 24 万篇 | 1,600 至 3,000(按任务类型) | 约 18.1 亿 | 约 3.7 |
| 主动学习标注 | 候选池约 300 万条的不确定性估计 | 约 620(输入为主,输出极短) | 约 18.6 亿 | 约 3.8 |
| 本体驱动规则标注 | 约 200 万条候选标签推荐 | 约 980(约束校验为规则执行,不调模型) | 约 19.6 亿 | 约 4.0 |
| 一致性校验标注 | 交叉标注约 60 万条中的机器一路 | 约 1,500 | 约 9.0 亿 | 约 1.8 |
| 指令数据生成 | 产出 89 万条,按过滤通过率与进化轮次折算实际生成约 225 万条 | 约 2,000 | 约 45.0 亿 | 约 9.2 |
| 工单与故障场景模拟生成 | 约 15 万条场景,含六类产出与多轮对话展开 | 约 7,400 | 约 11.1 亿 | 约 2.3 |
| 文本重写与多样化 | 增强文本产出约 123 亿 Token(预训练配比上限 20%) | 输入原文与输出改写合计约为产出量的 2.2 倍 | 约 270.0 亿 | 约 55.4 |
| 合计 | —— | —— | 约 440 亿 | 约 90 |
表 6-4 的卡天按 80 亿参数档折算。主用推理档位换到 300 亿参数时按同一公式线性放大,合计约 338 卡天;再大的档位按参数量比例外推,公式不变。建设期自工具分批上线起可用窗口约 18 个月,按推理池中用于批量生成的卡数折算,净占用约在 11 至 42 天之间,峰值集中在文本重写与指令生成两项,这两项可排在夜间窗口与标注作业错峰执行。
另两类资源按下列口径测算。向量化与语义相似度计算覆盖重复检测、语义不变检查与检索类校验,处理量约 750 亿 Token;嵌入模型的参数规模比主用推理档位小两个数量级,按同一公式折算约 6 卡天,可与批量生成共用推理池。确定性计算部分:图纸原生解析按每张约 20 核秒计,63 万张合计约 3,500 核时;时序预处理与特征计算按每片段约 5 核秒计,40 万条合计约 560 核时;两项均为处理器作业,在加工集群上按批次并行执行,不占用加速卡。
测算的不确定性有三处,处置办法与训练推理服务章节一致。其一,主用推理档位的参数规模尚未确定,因此卡天给的是按档位折算的区间而非单点值。其二,实际处理量会随数据加工进度浮动,图纸归集进度、视频布点完成时点与种子指令库的起步规模都会改变各工具的实际处理条数。其三,过滤通过率与改写副本数在首批实测前只能按经验取值,这两项直接决定生成类工具的实际调用量。因此测算按区间加触发式复算给出:在工具分批上线各批完成试点标定后、首批数据加工完成后、以及合成配比首次复核后三个时点分别复算,每次复算输出更新后的资源需求说明并留存前后差异的原因。
交付物清单回答的是验收时交什么、何时交、交几份这一问。清单按八类组织,依据是接收方与使用时点不同:工具软件与接口文档交运维与集成方,随工具上线;标注规范与培训材料交作业组织方,须在标注作业启动前与相应岗位上岗前到位,晚于作业开始的规范等于没有规范;配置基线与质量报告模板交质量管理方,前者在工具上线时固化首期取值,后者须早于首批样本产出,否则第一批数据将无报告可出。表中第四列的交付时点因此不是按文档类型排的,而是按其被使用的时点倒推得出。测试与验收材料一类包含标定集与回归样例集,这两项是日后复测与回放比对的基准,须与工具同批冻结并纳入版本管理,否则工具升级之后便无从判断指标变化是改进还是漂移。第三列的份数与形式给出可清点的交付单位,使验收不依赖主观判断。
表 7-1 本章三类十个工具的交付物清单
| 类别 | 交付物 | 份数或形式 | 交付时点 |
|---|---|---|---|
| 工具软件 | 十个工具的可部署程序包、依赖清单、部署手册、配置说明 | 每工具一套 | 按分批上线计划 |
| 接口文档 | 每个工具的输入输出接口说明、字段定义、错误码、调用示例 | 每工具一份 | 工具上线同步 |
| 标注规范 | 按任务类型编写的标注规范文本,含标注粒度、标签体系层级、判例、一致性判定口径、返工门限 | 按任务类型分册,不少于七册 | 标注作业启动前 |
| 配置基线 | 提示词模板与输出 Schema、本体接口配置、阈值配置、采样策略配置、改写配置的首期基线版本 | 每类一套,纳入版本管理 | 工具上线同步 |
| 质量报告模板 | 标注质量报告模板、生成批次报告模板、对齐质量报告模板 | 三份 | 首批样本产出前 |
| 测试与验收材料 | 单元测试用例、集成测试用例、标定集与回归样例集、验收测试报告 | 按工具与批次 | 验收节点 |
| 运行手册 | 批量调度操作说明、常见故障处置、成本监控与告警处置、阈值复标操作说明 | 一份 | 工具上线同步 |
| 培训材料 | 标注人员培训材料、复核与裁决操作培训材料、工具运维培训材料 | 三套 | 对应岗位上岗前 |
标注规范的分册安排按任务类型而非按业务域,原因是同一任务类型跨域的标注口径基本一致,而同一业务域内不同任务类型的口径差别很大。分册目录与规范样例在「标准规范与报告模板」附件中给出。
十个工具不一次性全部上线。排序依据是依赖关系与紧迫程度:对齐类工具的产出是标注类工具的输入,标注类工具的产出是生成类工具的素材;而图纸抽取与预标注两项的产能缺口最紧迫,优先上线。
表 7-2 分批上线安排
| 批次 | 工具 | 前置条件 | 本批交付后可开展的工作 |
|---|---|---|---|
| 第一批 | 图纸与工艺图结构化抽取;大模型预标注;本体驱动规则标注 | 统一对象标识服务可用;本体首版发布;图纸只读接口开通 | 工艺设计域语料的结构化与首轮标注;置信度阈值的首次标定 |
| 第二批 | 传感器时序-运维事件对齐;一致性校验标注;主动学习标注 | 测点配置与时序数据只读接口开通;标注规范首版发布;首批标注样本可用 | 质量域时序样本的切分与特征;标注质量指标开始按批次出报告 |
| 第三批 | 视频-文本对齐;指令数据生成;文本重写与多样化 | 工艺过程视频布点完成并可取数;种子指令库达到起步规模;高质量原始样本达到起步规模 | 多模态样本与指令样本的批量生产;增强文本产出 |
| 第四批 | 工单与故障场景模拟生成 | 故障域本体与故障名录完备;历史工单分布统计完成 | 长尾故障场景的定向补齐 |
每批上线按三道关口:工具自身的测试验收、在试点批次上的质量指标标定、与上下游工具的联调。三道关口全部通过后转入批量生产,生产期间按季度复测质量指标。各批次节点的具体日期与项目总进度计划的衔接见本卷「项目管理措施」一节。
本章十个工具的验收分三层,三层各有独立的判定依据,不以一层代替另一层。
第一层是功能验收。按接口文档逐项核对工具是否实现了招标文件所列的各项要求,核对方式是用验收测试用例调用接口并比对输出。这一层的判定是二元的:实现或未实现。本章前三节每个工具的功能设计表与接口表即为这一层的核对清单。
第二层是质量验收。按各工具质量口径表中的指标,用约定的抽样方式实测并与首期基线比对。这一层的关键是抽样方式事先约定并写入验收方案,包括抽样规模、分层维度、判定人员的岗位要求、判定分歧的处理方式。实测值低于基线时,按回退列的动作处置并在约定期限内复测;不以调整统计口径或更换抽样方式的方式达标。
第三层是生产验收。看的是工具在批量生产中的实际表现:单位样本的工时与成本、批次通过率、返工率、人工介入比例的变化趋势。这一层的意义在于,一个在测试集上指标漂亮但批量运行时返工率很高的工具,实际上没有降低成本。生产验收按季度出报告,报告内容与标注质量报告合并。
三层验收的口径与数据集质量评测方案、数据集质检、通用接口与追溯验收要求保持一致。本章在质量口径表中给出的指标定义与那三处使用同一套定义,不另立口径。
功能验收的核对不靠逐项问答,而靠一组事先写定的验收测试用例。用例按五类构成,每类的用意不同:功能用例证明做到了,边界用例证明在极端输入下仍按约定行事,异常用例证明出错时走的是约定的回退路径而不是静默放行,回归用例证明改动没有破坏已通过的部分,性能用例证明批量规模下仍可用。五类用例的构成与通过判据见表 7-3。
表 7-3 十个工具的验收测试用例构成与通过判据
| 用例类别 | 每个工具的用例构成 | 典型用例举例 | 通过判据 |
|---|---|---|---|
| 功能用例 | 覆盖该工具接口契约中的每一个必填入参与每一个出参字段,每项至少一例 | 图纸抽取:给定一张含压弯件的原生图纸,核对展开长、材料定额、符号条目与要素级证据索引四组字段齐备 | 字段齐备且取值与人工核算一致 |
| 边界用例 | 覆盖量程边界、空集、超长输入、单条输入、最大批量五种情形 | 时序对齐:给定一个仅含单个采样点的时间窗;给定一个跨越两个工况的窗口 | 返回明确结论或明确的不可处理状态,不返回空值 |
| 异常用例 | 覆盖该工具特有的异常情形,每一条异常码至少一例 | 预标注:构造一条结构校验必然失败的输出,核对是否按约定分流而非写入候选集 | 异常码、回退动作与日志记录三者与契约一致 |
| 回归用例 | 以历史成对样本与已人工确认的标定集构成,每次版本发布前全量跑一遍 | 图纸抽取:63 万张历史图纸中抽取的回归子集与其已签发工艺卡片比对 | 与上一版本的差异逐条有解释,无解释的差异即不通过 |
| 性能用例 | 覆盖单批最大规模、并发上限、断点续跑三种情形 | 文本重写:单批次满额改写并在中途中断后续跑,核对幂等与不重复产出 | 规模内完成且无重复记录、无丢失记录 |
验收测试用例随工具一并交付并纳入版本管理,用例本身的变更同样留痕。有一条执行口径需要写明:异常用例的通过判据是「按约定失败」,不是「不失败」。一个在异常输入下仍然返回了看似正常结果的工具,比一个明确报错的工具危险得多——前者会把错误结果一路带进数据集,而验收时看不出来。
质量指标不达线时要重做,重做的范围、责任与次数都须事先约定,否则到时候只能逐事商量。重工按三级划分,依据是问题的波及范围,见表 7-4。
表 7-4 质量失败的重工分级
| 级别 | 触发情形 | 重工范围 | 重工前的必办事项 | 工时与成本归属 |
|---|---|---|---|---|
| 条级重工 | 单条记录的结构校验、约束校验或复核不通过 | 该条记录 | 记录不通过成因代码 | 计入该批次的正常返工工时 |
| 批级重工 | 批次的一致性指标、抽检通过率或分布偏离度不达线 | 该批次全部记录 | 出问题清单并归类分歧类型;判明是配置问题还是作业问题 | 配置问题由工具侧承担并修订配置;作业问题按原作业口径重做 |
| 范围重工 | 同一问题跨三个及以上批次重复出现,或规范、本体、模板发生实质变更 | 受影响的全部历史批次,按影响评估报告划定 | 先修订规范、本体或配置并发布新版本,再出影响评估报告(受影响条数、按处置分档的分布、工时估算) | 按影响评估报告与甲方确认后执行 |
三级之间有一条硬性次序:同一问题不得连续两次以条级重工处理。第二次出现即升级为批级,并在升级时判明是规范不清、配置不当还是作业不规范——反复以条级重工打补丁,表面上每条都改好了,实际上成因从未被处理,同类问题会一直消耗人力。
重工的次数与收敛按两条口径约束。其一,同一批次的批级重工不超过两轮;第二轮仍不达线的,该批次转入范围重工的评估流程,由规范与配置侧先行处置,不再以重做施压于作业端。其二,重工后一律复检,复检的抽样规模不低于首检,且抽样不复用首检的样本——复用首检样本会使复检退化为对已知问题的确认,查不出首检未覆盖的部分。
重工的三项指标按三段式给出。其一,重工率:按级别分别统计重工记录或批次占比,基线按首批实测取值;趋向为随规范稳定与配置标定逐季下降;高于门限时按成因分类定位,属规范不清的修订规范,属配置不当的重标阈值,不以降低判定标准压低重工率。其二,重工一次通过率:重工后复检即通过的比例,基线首批实测,趋向为逐季提高,低于门限时说明问题清单的成因归类不准确,需重新归类后再派发。其三,范围重工的影响面:每次范围重工涉及的历史批次数与记录条数,基线为首次实际值,趋向为随规范与本体趋于稳定而减少,单次影响面超过门限时该次变更先做小范围试点再全面执行。
重工与隔离是两件事,不可互相替代:隔离处理的是「这条不能发布」,重工处理的是「这批得重做」。一条记录可以被隔离而不触发重工(如等待对账的待补映射),一个批次也可以在没有隔离记录的情况下触发重工(如整批一致性不达线)。两者的状态位分设,统计时分别出数。
本章的风险集中在两处:一是工具所依赖的外部条件——源系统接口、本体与工序字典、采集点位、测点基准——未必按期齐备;二是工具自身产能高,容易在无人盯防时把不合格或过量的产出推进数据集。两类风险的共同点是发生时并不报错,而是以「可用率偏低」「分布偏移」这类缓慢的形式体现,因此应对不能依赖事后发现,须在设计阶段就留好降级路径。下表第二列写的是风险的可观察表现,即判断它是否已经发生的依据;第三列写的是已经落进工具设计的应对动作,并指明需由其他环节推动的事项落在何处。八项之中,前四项属外部条件,应对方式是降级运行加显式标记,不以推测值填充;后四项属作业与产出控制,应对方式是在生成或派发之前按配额与门限约束,而不是等到质检环节拦截。按此表逐项落实,本章交付节点对外部条件的硬依赖可收敛到接口开通一项。
表 7-5 本章工具链的主要风险点与应对
| 风险点 | 具体表现 | 应对 |
|---|---|---|
| 源系统接口开通滞后 | 图纸只读读取、测点时序只读读取未按期开通,第一、二批工具无数据可处理 | 工具按离线包方式先行调试,用甲方提供的样本包完成功能验收;接口开通后再做质量标定。接口推动事项见数据资源采集接入 |
| 本体与工序字典未成文 | 备料分厂工序字典与加工方法分档规则未成文,中性层系数散见于经验,候选标签生成与约束校验缺依据 | 按已掌握口径(备料工序二十八道)运行,缺项显式记为待补,不以推测值填充;梳理成文工作见数据治理体系 |
| 采集条件不满足 | 安防既有视频点位的视场与清晰度不满足工艺过程观察要求,视频-文本对齐可用率低 | 输出按来源分层统计可用率,不混报;新增布点需求与所需视场、清晰度指标向硬件选型提出 |
| 测点与角位置基准缺失 | 部件级振动测点与轴上角位置基准缺失,频域特征不可靠 | 按额定值估算并标记降级,频域特征不作为故障标签依据;基准补齐需求向场景验证提出 |
| 故障标签稀少 | 维修事实无结构化记录,历史数据无事件级标签,评测集中故障类样本数量不足 | 训练集可用长尾补齐样本扩充;评测集不以合成样本填充,各类故障的实际样本数在数据卡中如实披露 |
| 人工标注产能不足 | 标注量大、业务骨干时间有限,一致性校验所需的多人交叉进一步放大工时 | 主动学习把人力投向高收益样本;协同档位按实测一致率逐季上移;交叉比例在规范稳定后下调。产能组织见数据加工生产二 |
| 合成样本比例失控 | 生成类工具产能高,容易在某些域或任务上过量生成,造成分布偏移 | 分布控制在生成前按配额派发;合成配比在数据卡中按数据集披露;评测集按 eval_use 字段硬性排除 |
| 本体更新造成历史标注失效 | 类目合并拆分、判据变更后,历史标注含义与新口径不一致 | 按三档处置口径执行(向后兼容不重校验、影响既有标注的重校验、涉及判据的一律人工复核);每次更新出影响评估报告 |
本节按工具逐个给出接口契约、输入输出样例与接口层面的验收口径。
六类标准调用(任务创建、任务查询、结果获取、异常重试、批量导出、状态回调)、八态任务状态机、错误码四分类与幂等口径按工具链(三)第 5 节的统一条款执行。本节给出十个工具各自的部分:入参与出参的字段契约、一次任务创建的请求与响应样例、配置项与版本化对象、本工具特有的停留态、异常情形与回退动作、权限与日志口径、批量调度与重试幂等的取值,以及接口层面可核对的验收口径。各工具的质量指标与回退路径按本章各自的质量口径表验收。
还有两组入参是十个工具共用的,只在 8.1 的契约表中完整列出一次,其余各表不重复:一是客户端请求标识 client_request_id,口径与幂等用法见工具链(三)第 5 节;二是输出落点组 output.dataset_ref 与 output.formats,含义与缺省值同 8.1。调用样例中这两组逐条出现,是为了保持样例可直接照搬。
入参与出参逐字段写定并附完整调用样例,验收时可当场核对字段是否交付。样例中的图号、物料编码、工单号、测点编号一律按甲方确认的脱敏口径替换为代号,数值与结构保持真实形态。
表 8-1 十个工具在六类标准调用上的差异
| 工具 | 任务粒度 | 幂等键 | 结果获取方式 | 批量导出 | 状态回调的额外内容 |
|---|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 图号批次 | 客户端请求标识+图号集合指纹 | 分页,可按置信度与待补状态筛选 | 支持,含要素级证据索引 | 待补映射与冲突条目计数 |
| 视频-文本对齐 | 视频文件或时段 | 客户端请求标识+视频文件指纹 | 分页,可按帧区间与对齐类型筛选 | 支持,含抽帧图与对齐记录 | 时钟校准结果、可用率分层统计 |
| 传感器时序-运维事件对齐 | 测点加时间窗 | 客户端请求标识+测点集合+时间窗 | 流式,大体量按批次拉取 | 支持,时序片段与特征分文件 | 事实源时点可靠性分档计数 |
| 大模型预标注 | 待标注样本批次 | 客户端请求标识+样本标识集合指纹 | 分页,按置信档位筛选 | 支持 | 三档分流计数、模板版本 |
| 主动学习标注 | 采样轮次 | 客户端请求标识+样本池版本+轮次号 | 一次性返回优先序清单 | 支持 | 本轮各采样机制的配额执行情况 |
| 本体驱动规则标注 | 待标注样本批次 | 客户端请求标识+样本标识集合+本体版本 | 分页,按约束违反类型筛选 | 支持 | 约束违反条目计数、本体版本 |
| 一致性校验标注 | 标注任务批次 | 客户端请求标识+标注任务标识 | 分页,按分歧类型筛选 | 支持,含裁决记录 | 一致性指标快照、待裁决条目数 |
| 指令数据生成 | 生成批次 | 客户端请求标识+种子集合+配额配置版本 | 流式 | 支持 | 四道过滤的逐道通过计数 |
| 工单与故障场景模拟生成 | 生成批次 | 客户端请求标识+场景模板集合+配额配置版本 | 流式 | 支持,六类产出分文件 | 八要素组合约束的拦截计数 |
| 文本重写与多样化 | 改写批次 | 客户端请求标识+原文样本集合+改写配置版本 | 流式 | 支持,含原文与改写映射 | 五道过滤的逐道通过计数、保护项命中数 |
幂等键一列需要说明其作用。批量加工作业在网络波动时会出现重复提交,若不按幂等键去重,同一批图纸会被抽取两遍并产生两套 record_id,而两套记录都带着合法的血缘,事后很难判断哪一套是有效的。十个工具的幂等键一律由客户端请求标识与输入集合的指纹共同构成,重复提交返回首次受理的任务标识而不是新建任务。
十个工具另有四组与接口同等重要、但不属于契约字段的约定:配置项与版本化对象、任务状态机上的工具特有停留态、权限与日志口径、批量调度与重试幂等。把它们集中在此处逐工具列出,是因为这四组内容在验收与运维时是横向比对的——运维人员查的是「这十个工具的日志该去哪里看、哪个状态卡住了要找谁」,而不是逐个翻工具手册。
配置是工具行为的全部可调面,凡可调的一律入库并带版本,运行时按版本号加载,输出记录登记所用版本(见 2.4)。各工具的配置项与版本化对象见表 8-1A。
表 8-1A 十个工具的配置项与版本化对象
| 工具 | 主要配置项 | 版本化对象 | 变更生效方式 |
|---|---|---|---|
| 图纸与工艺图结构化抽取 | 解析路线判定规则、标题栏模板、符号解析词表、置信度阈值、自检项开关 | 解析器版本、本体版本、工序字典版本、中性层系数台账版本 | 新版本并行试跑一个批次并比对差异后切换 |
| 视频-文本对齐 | 抽帧策略与帧率、时钟校准方法与残差上限、描述模板、对齐校验项 | 点位标定参数版本、事件类型词表版本、模板版本 | 同上;标定参数过期即自动降级为定性覆盖档 |
| 传感器时序-运维事件对齐 | 窗口类型与窗长取法、预处理算子参数、特征集合、诊断文本模板 | 量程表版本、特征计算组件版本、故障名录版本 | 同上;量程表缺项的通道只做物理约束检查 |
| 大模型预标注 | 七类任务的提示词模板与输出结构、三档阈值、分流规则、批量并发 | 模板版本、输出结构版本、模型登记名与版本、本体版本 | 新模板先在标定集上跑一轮,比对后生效 |
| 主动学习标注 | 六种采样机制的配额、优先序权重、防重复派单窗口、轮次规模 | 采样策略配置版本、样本池版本 | 按轮次生效,轮次内不改配置 |
| 本体驱动规则标注 | 候选标签生成规则、七类约束的启用与严格度、冲突处置分档 | 本体版本、规则库版本 | 本体改版后按三档口径处置历史标注(见 4.5.4) |
| 一致性校验标注 | 交叉标注比例、一致性指标选型与分档线、裁决派发规则 | 标注规范版本、判例集版本 | 规范改版后对同任务在制批次重新派发 |
| 指令数据生成 | 七类任务配额、种子集合、进化轮次与跳数上限、四道过滤门限 | 种子集合版本、模板版本、配额配置版本 | 按生成批次生效 |
| 工单与故障场景模拟生成 | 场景模板集合、八要素组合约束、长尾类目配额、六类产出开关 | 场景模板版本、本体版本、故障分布统计版本 | 同上 |
| 文本重写与多样化 | 六种风格开关、改写比例、相似度阈值、保护词表、副本数上限 | 改写配置版本、术语保护词表版本 | 同上;保护词表更新后对在制批次重跑保护检查 |
任务状态机的八个状态与流转条件按工具链(三)第 5 节的统一定义执行,本章十个工具不另设状态。但各工具在批量运行中容易停留的状态不同,运维与验收时查的就是这些停留态,对照见表 8-1B。
表 8-1B 任务状态机上的工具特有停留态与退出条件
| 工具 | 最常见的停留态 | 停留成因 | 退出条件 | 超时处置 |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 执行中(等待源系统分批取数) | 原生图纸按图号或项目分批拉取,受源系统并发上限制约 | 本批图号全部取回或取数窗口关闭 | 转部分完成,已取回部分照常产出,未取回图号列入续跑清单 |
| 视频-文本对齐 | 执行中(等待时钟校准) | 特征事件数量不足以求出偏移量 | 累计特征事件达到约定条数 | 转降级完成,该时段只输出帧级描述不输出事件对齐 |
| 传感器时序-运维事件对齐 | 执行中(流式拉取) | 大体量时序按批次拉取,单任务跨多个批次 | 时间窗内全部测点拉取完毕 | 按已拉取部分产出并登记缺口区间 |
| 大模型预标注 | 执行中(网关限流排队) | 批量调用触发网关配额或并发上限 | 配额窗口滚动释放 | 任务保持排队,超过约定时长转次日窗口,不丢批 |
| 主动学习标注 | 等待回执 | 本轮优先序清单已下发,等待标注完成与模型侧指标回传 | 回执齐备或轮次截止 | 按已回收部分计算下一轮信号并记录回收率 |
| 本体驱动规则标注 | 等待人工(冲突裁决) | 约束冲突条目转人工裁决 | 裁决结清并回写 | 按时限升级派发,批次其余部分不受阻 |
| 一致性校验标注 | 等待人工(分歧仲裁) | 分歧条目进入仲裁队列 | 仲裁结清 | 同上 |
| 指令数据生成 | 执行中(过滤回炉) | 某一道过滤通过率低,触发重新生成 | 通过率达线或达到重生成次数上限 | 达上限后转批级重工流程(见 7.4) |
| 工单与故障场景模拟生成 | 执行中(组合约束拦截) | 八要素组合大量违反本体约束 | 拦截率回落至门限内 | 暂停该模板的生成并出拦截成因分布 |
| 文本重写与多样化 | 执行中(保护检查未通过回炉) | 术语或数值被改动触发拦截 | 通过保护检查 | 达重生成次数上限后该条丢弃并计入丢弃率 |
异常码按工具链(三)5.1 的四分类编码,每个工具占一个编码段,段内的具体异常与回退在该工具自己的异常表中逐条给出。段位分配与各工具最常见的特有异常见表 8-1C。
表 8-1C 异常码段位分配与各工具的特有异常
| 工具 | 异常码段 | 本工具特有的异常(明细见各自异常表) | 共性异常 |
|---|---|---|---|
| 图纸与工艺图结构化抽取 | DWG-xx | 扫描件清晰度不足、中性层系数台账无匹配条目、工序字典版本已废止 | 参数类、输入类、执行类、策略类四分类的共性异常按统一口径返回 |
| 视频-文本对齐 | VTA-xx | 时钟偏移量无法求出、点位标定过期、视场不满足工艺观察要求 | 同上 |
| 传感器时序-运维事件对齐 | TSA-xx | 量程表缺失、转速基准缺失、事实发生时点未填报 | 同上 |
| 大模型预标注 | PRE-xx | 输出结构校验不通过、网关限流、模板版本与输出结构版本不匹配 | 同上 |
| 主动学习标注 | ACT-xx | 样本池版本过期、回执超时、重复派单命中 | 同上 |
| 本体驱动规则标注 | ONT-xx | 本体版本不存在、约束冲突无法自动纠正、类目缺失 | 同上 |
| 一致性校验标注 | CON-xx | 参与方数量不足、仲裁超时、判例集版本不一致 | 同上 |
| 指令数据生成 | GEN-xx | 种子集合为空、配额已用尽、过滤通过率持续低于门限 | 同上 |
| 工单与故障场景模拟生成 | SIM-xx | 场景模板缺要素、组合违反工序依赖、长尾类目无历史分布依据 | 同上 |
| 文本重写与多样化 | RWR-xx | 保护项被改动、语义相似度低于门限、副本数超上限 | 同上 |
权限与日志按平台的统一能力实现,各工具的差别在于受控对象与日志中必须脱敏的内容,见表 8-1D。
表 8-1D 权限、日志与敏感字段的分工具口径
| 工具 | 调用权限的受控对象 | 日志必记内容 | 日志中的脱敏处置 |
|---|---|---|---|
| 图纸与工艺图结构化抽取 | 按项目与图号范围授权;配置变更另需工艺岗位会签 | 取数范围、解析路线、各阶段耗时、待补与冲突条目计数 | 标题栏中的设计与审核签署人、客户名称脱敏 |
| 视频-文本对齐 | 按点位授权;原始视频调阅单独授权并留痕 | 点位、时段、时钟校准结果与残差、可用率分层统计 | 画面文字识别结果中的人员与工位信息脱敏 |
| 传感器时序-运维事件对齐 | 按测点与时间窗授权 | 测点集合、窗口类型与边界、特征计算输入输出 | 操作人工号脱敏 |
| 大模型预标注 | 按任务类型与数据域授权;模板变更需规范责任岗位会签 | 模板与模型版本、三档分流计数、结构校验失败成因 | 输入摘要按脱敏规则处理后落盘,完整输入留原始区按权限访问 |
| 主动学习标注 | 按样本池授权 | 各采样机制配额执行情况、派单与回收记录 | 标注人员标识以工号代号记录 |
| 本体驱动规则标注 | 按本体域授权;本体版本切换需数据治理侧确认 | 本体版本、约束违反类型计数、自动纠正留痕 | 不涉及个人信息 |
| 一致性校验标注 | 按标注任务授权;裁决权限按岗位授予 | 一致性指标快照、分歧类型分布、裁决记录 | 标注与裁决人员以工号代号记录 |
| 指令数据生成 | 按数据域与任务类型授权 | 种子与配额版本、四道过滤逐道计数、越权样本剔除记录 | 生成内容中的客户与人员信息按规则剔除 |
| 工单与故障场景模拟生成 | 按业务域授权 | 模板与组合约束版本、拦截计数、合成标识写入情况 | 取自历史工单的素材先脱敏再入素材池 |
| 文本重写与多样化 | 按源样本范围授权 | 改写配置版本、五道过滤计数、保护项命中数 | 原文与改写映射中的敏感字段同步脱敏 |
批量调度、重试与幂等的统一口径在工具链(三)第 5 节,各工具的批量粒度、并发安排与重试策略按表 8-1E 配置。幂等键的构成已在表 8-1 给出,此处写的是重试时如何保证幂等不被破坏。
表 8-1E 批量调度、重试与幂等的分工具配置
| 工具 | 批量粒度与典型批量 | 并发安排 | 重试策略 | 重试的幂等保障 |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 按图号集合,单批 2,000 张 | 受源系统并发上限制约,按其给定值配置 | 取数失败按图号重试,解析失败按张重试 | 以图号加文件指纹为粒度去重,已成功的张次不重跑 |
| 视频-文本对齐 | 按视频文件或时段,单批 50 个文件 | 抽帧与描述分两级并发 | 按文件重试;时钟校准失败不重试,转降级 | 以文件指纹加帧区间去重 |
| 传感器时序-运维事件对齐 | 按测点加时间窗,单批 10 万条片段 | 按测点分片并发 | 按分片重试,支持断点续跑 | 以测点加时间区间去重 |
| 大模型预标注 | 按样本批次,单批 10 万条 | 按数据域设配额,夜间窗口跑大批量 | 网关限流按退避重试,结构校验失败不重试转分流 | 以样本标识加模板版本去重 |
| 主动学习标注 | 按采样轮次 | 单轮串行,轮次之间不并发 | 轮次内失败整轮重算 | 以样本池版本加轮次号去重 |
| 本体驱动规则标注 | 按样本批次,单批 10 万条 | 规则执行并发,无外部依赖 | 按条重试 | 以样本标识加本体版本去重 |
| 一致性校验标注 | 按标注任务批次 | 按任务并发 | 指标计算失败按任务重试 | 以标注任务标识去重 |
| 指令数据生成 | 按生成批次,单批 5 万条 | 生成与过滤流水线并发 | 过滤未通过的按条回炉,次数上限内重试 | 以种子标识加配额配置版本加序号去重 |
| 工单与故障场景模拟生成 | 按生成批次,单批 1 万条场景 | 同上 | 组合约束拦截的不重试,换组合重新生成 | 以场景模板加要素组合指纹去重 |
| 文本重写与多样化 | 按改写批次,单批 5 万条 | 同上 | 保护检查未通过按条回炉,次数上限内重试 | 以原文样本标识加改写配置版本加副本序号去重 |
重试与幂等放在一起约定,是因为二者在批量加工中互为条件:没有重试,网络抖动会让整批作废;没有幂等,重试会造出两套带着合法血缘的记录,事后无从判断哪一套有效。十个工具的重试一律在幂等键保护下进行,重试产生的记录沿用首次受理的任务标识,不新建任务。
输入输出契约见表 8-2。本工具的入参分三组:取数范围、解析参数、输出落点。取数范围用图号集合或项目引用表达,不用文件路径——图纸文件在产品全生命周期管理系统内只读读取,路径随系统版本变化而工具契约不应随之变化。
表 8-2 图纸与工艺图结构化抽取工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.drawing_nos 或 selector.project_ref | 列表或字符串 | 二选一 | 图号集合或项目引用;两者同时给出时取交集 |
| 入 | selector.drawing_kind | 枚举 | 否 | 原生图纸/扫描件/不限;缺省为不限,工具按文件类型自行分路 |
| 入 | params.ontology_version | 引用 | 是 | 本体与术语词典版本,决定符号与加工要求的解析词表 |
| 入 | params.process_dict_version | 引用 | 是 | 工序字典与加工方法分档规则版本;未成文期间传已掌握口径的版本号 |
| 入 | params.neutral_layer_table_version | 引用 | 否 | 中性层系数台账版本;缺省取当前生效版本,台账无匹配条目时展开长置为待补 |
| 入 | params.confidence_thresholds | 结构 | 否 | 高低两档阈值,缺省取本工具当前标定值(口径见本章 2.3) |
| 入 | params.enable_reuse_search | 布尔 | 否 | 是否执行可借用历史工艺检索,缺省开启 |
| 入 | output.dataset_ref | 引用 | 是 | 结果写入的数据集与分区 |
| 入 | output.formats | 列表 | 否 | 缺省为 JSON Lines;可另要求 Parquet |
| 出 | title_block / item_list | 结构 | 是 | 标题栏字段与明细栏行,逐字段带 confidence 与 evidence |
| 出 | geometry | 结构 | 是 | 轮廓、孔、压弯线等几何要素表,带图元句柄与坐标范围 |
| 出 | symbols | 结构 | 是 | 符号与加工要求条目,含作用表面范围判定与其置信度 |
| 出 | view_mapping | 结构 | 是 | 视图对应关系,逐项带置信度;低于阈值的进 pending |
| 出 | material_quota.developed_length_mm | 数值 | 否 | 压弯件展开长;带 recomputable 标记与所用系数来源,可独立复算 |
| 出 | reuse_candidates | 列表 | 否 | 可借用历史工艺候选,带相似度与命中依据 |
| 出 | pending | 列表 | 是 | 待补与冲突条目,含未命中对象主键、台账缺项、视图对应存疑、符号无法解析四类 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 血缘与版本字段,由公共层写入 |
一次任务创建的调用样例:
{
"client_request_id": "REQ-2027Q1-DWG-0007",
"selector": {"project_ref": "PRJ-XXXX-01", "drawing_kind": "原生图纸"},
"params": {
"ontology_version": "ONT-2027.01",
"process_dict_version": "GYZD-BL-V3",
"neutral_layer_table_version": "NLT-2026.11",
"confidence_thresholds": {"high": 0.90, "low": 0.60},
"enable_reuse_search": true
},
"output": {"dataset_ref": "DS-ALIGN-2027Q1/dwg", "formats": ["jsonl", "parquet"]},
"callback_url": "https://<平台内部回调地址>/tools/dwg-extract/events"
}
受理返回:
{
"task_id": "T-DWG-000417",
"accepted_at": "2027-02-18T03:12:44+08:00",
"param_check": "passed",
"batch_count": 18,
"estimated_records": 5400,
"resolved_config_version": "dwg-extract-cfg-v1.3",
"idempotent_hit": false
}
异常与回退见表 8-3。表中"错误类"一列按工具链(三)5.1 的四分类填写,使调用方可以用同一套分支逻辑处理十个工具的异常。
表 8-3 图纸结构化抽取工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 工序字典版本不存在或已废止 | 参数类 | 所传版本号、当前生效版本清单 | 不受理任务;调用方改传生效版本 |
| 图纸文件只读读取未开通或授权范围不含该项目 | 输入类 | 未授权的项目或图号、所需授权范围 | 任务不启动;接口推动事项按本章 7.5 风险表处置 |
| 扫描件清晰度不足以解析标题栏 | 执行类(批次级) | 图号清单、失败阶段、清晰度实测指标 | 该批次转候选值输出模式,字段给候选不给结论,整批进人工确认 |
| 中性层系数台账无匹配条目 | 策略类 | 板厚与折弯角组合、台账版本 | 展开长字段置为待补并记录原因,不取默认系数填充 |
| 对象主键未命中 | 策略类 | 源编码、未命中类型 | 记录进 pending 并推入人工对账队列,该条记录仍产出但标记待补映射 |
| 某符号类型解析正确率持续低于基线 | 策略类 | 符号类型、近期实测值、所依据的抽样 | 按表 3-4 回退列,该符号类型由自动解析转候选推荐,证据回指保留 |
接口层面的验收口径有三条可当场核对:其一,用一份含压弯件的图纸批次调用,返回的 developed_length_mm 带 recomputable 标记且系数来源可查,验收方按同一公式独立复算;其二,构造一个工序字典版本不存在的请求,接口须在受理前返回参数类错误并给出生效版本清单,而不是受理后再失败;其三,重复提交同一请求,第二次返回 idempotent_hit 为真且任务标识与首次一致。质量指标的验收仍按表 3-4 执行。
本工具的契约有一处与其他九个不同:入参必须显式声明时钟来源,因为视频设备时钟与业务系统时钟的偏差是这类对齐最主要的误差来源,若由工具自行猜测对齐基准,同一批数据在不同批次运行会得到不同结果。
表 8-4 视频-文本对齐工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.video_refs | 列表 | 是 | 视频文件引用或点位加时段;按只读授权范围读取 |
| 入 | selector.event_window | 结构 | 是 | 待对齐的事件时间窗,用协调世界时表达 |
| 入 | params.clock_source | 结构 | 是 | 视频侧与业务侧的时钟来源标识,以及已知偏差值(若有) |
| 入 | params.keyframe_policy | 枚举组合 | 是 | 三种抽帧方式的启用与参数(口径见本章表 3-5) |
| 入 | params.stage_table_version | 引用 | 是 | 工艺阶段表版本,决定帧与阶段的对应判定 |
| 入 | params.alignment_tolerance_ms | 整数 | 否 | 允许的时间对齐容差,缺省按点位类型预置 |
| 出 | clock_calibration | 结构 | 是 | 本次校准得到的偏差与校准依据,未能校准时显式标记降级 |
| 出 | alignment_records | 列表 | 是 | 对齐记录,字段按本章表 3-6;逐条带关联类型与置信度 |
| 出 | keyframes | 列表 | 是 | 关键帧引用、帧时间戳、抽取方式与触发条件 |
| 出 | check_results | 结构 | 是 | 三类对齐问题的检出结果(口径见本章表 3-7) |
| 出 | availability_by_source | 结构 | 是 | 按来源分层的可用率统计,不同点位分别计,不合并成一个总数 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
{
"client_request_id": "REQ-2027Q1-VID-0031",
"selector": {
"video_refs": [{"site_code": "SITE-XX-07", "from": "2027-02-10T22:00:00Z", "to": "2027-02-11T06:00:00Z"}],
"event_window": {"from": "2027-02-10T22:00:00Z", "to": "2027-02-11T06:00:00Z"}
},
"params": {
"clock_source": {"video": "NVR-XX-07", "business": "MES", "known_offset_ms": null},
"keyframe_policy": {"by_event": true, "by_interval_s": 30, "by_change_detection": true},
"stage_table_version": "STG-2027.01",
"alignment_tolerance_ms": 2000
},
"output": {"dataset_ref": "DS-ALIGN-2027Q1/video", "formats": ["jsonl"]}
}
表 8-5 视频-文本对齐工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 时钟来源无法确定或偏差无法校准 | 策略类 | 两侧时钟标识、校准失败原因 | 本批标记为降级完成,对齐记录只保留事件触发的帧,按间隔抽取的帧不参与时间关联 |
| 视场或清晰度不满足工艺过程观察要求 | 策略类 | 点位编码、实测清晰度与视场判定 | 该点位的可用率单列统计,不并入总体;新增布点需求按本章 7.5 风险表提出 |
| 视频文件损坏或分段缺失 | 输入类(批次级) | 文件引用、缺失时段 | 缺失时段的对齐记录不生成且不以邻近帧填充,缺口在可用率中如实计入 |
| 工艺阶段表版本与事件类型不匹配 | 参数类 | 所传版本、事件类型清单 | 不受理,提示改传匹配版本 |
| 单批帧数超出单任务上限 | 参数类 | 实际帧数、上限值、建议切分方式 | 按建议切分后重提;已切分批次按批次独立重试 |
| 对齐校验检出成组错位 | 执行类(批次级) | 错位区间、检出方法 | 该区间重跑并改用事件触发抽帧;两次仍错位的转人工确认 |
接口层面可核对的点有两条:构造一个不给 clock_source 的请求,接口须返回参数类错误而不是自行采用默认时钟;对一段已知有时钟偏差的视频调用,clock_calibration 须给出偏差值与校准依据,无法校准时须显式标记降级而不是静默按原始时间戳对齐。质量指标按表 3-8 验收。
本工具单批产出的时序片段与特征数据体量大,契约上因此有两处专门安排:结果以流式方式获取,时序片段与特征分文件存放,避免单个结果文件过大导致下游读不动。
表 8-6 传感器时序-运维事件对齐工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.point_codes | 列表 | 是 | 测点编号集合;按设备或部件展开时由调用方先行展开 |
| 入 | selector.time_window | 结构 | 是 | 取数时间窗 |
| 入 | selector.event_refs | 列表 | 是 | 待对齐的事件来源:报警日志、停机记录、维修工单、炉次记录 |
| 入 | params.segmentation | 枚举+参数 | 是 | 四种切分策略之一及其参数(口径见本章表 3-9) |
| 入 | params.preprocess | 结构 | 否 | 六项预处理的启用与参数(见本章表 3-11),缺省按测点类型预置 |
| 入 | params.feature_set | 列表 | 否 | 需要抽取的特征类别(见本章表 3-12),缺省为五类全开 |
| 入 | params.source_reliability_policy | 结构 | 否 | 事实源时点可靠性分档的处置口径(见本章表 3-10) |
| 出 | segments | 列表(流式) | 是 | 时序片段,含测点、时间区间、采样率、片段指纹 |
| 出 | features | 列表(流式) | 是 | 片段级特征,频域特征在角位置基准缺失时标记降级 |
| 出 | event_links | 列表 | 是 | 片段与事件的关联,带可靠性分档与关联依据 |
| 出 | diagnosis_text | 列表 | 否 | 诊断说明文本,仅在事件侧有结论性记录时生成,无记录时不臆造 |
| 出 | degraded_items | 列表 | 是 | 降级条目清单,含降级原因与影响的特征类别 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
{
"client_request_id": "REQ-2027Q1-TS-0112",
"selector": {
"point_codes": ["PT-XXXX-01", "PT-XXXX-02", "PT-XXXX-07"],
"time_window": {"from": "2026-10-01T00:00:00Z", "to": "2027-01-01T00:00:00Z"},
"event_refs": ["报警日志", "维修工单"]
},
"params": {
"segmentation": {"strategy": "事件前后固定窗", "pre_s": 600, "post_s": 300},
"preprocess": {"resample_hz": 1, "outlier_policy": "标记不删除"},
"feature_set": ["时域统计", "趋势", "频域", "工况归一", "事件上下文"],
"source_reliability_policy": {"低可靠时点": "仅做粗对齐并标记"}
},
"output": {"dataset_ref": "DS-ALIGN-2027Q1/ts", "formats": ["parquet", "jsonl"]}
}
表 8-7 时序-事件对齐工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 测点编号未在台账登记 | 参数类 | 未登记测点清单 | 不受理该测点,其余测点正常执行,未登记项列入待补 |
| 时序只读读取接口未开通 | 输入类 | 未开通的系统与测点范围 | 任务不启动;按本章 7.5 风险表走离线样本包先行调试 |
| 部件级角位置基准缺失 | 策略类 | 测点、缺失的基准项 | 频域特征按额定值估算并标记降级,该特征不作为故障标签依据 |
| 事件时点落在低可靠档 | 策略类 | 事件标识、可靠性分档依据 | 按分档口径只做粗对齐并标记,不按精确时刻切片 |
| 采样率不足以支撑所请求的频域特征 | 策略类 | 实际采样率、该特征所需下限 | 该特征不输出并在 degraded_items 中说明,其余特征照常产出 |
| 单任务数据量超出上限 | 参数类 | 估算数据量、上限、建议切分 | 按测点或时间窗切分后重提 |
接口层面可核对的点:对一个采样率不足的测点请求频域特征,接口须在 degraded_items 中给出该特征缺失的原因而不是输出一个无意义的数值;对低可靠时点的事件,event_links 中须带可靠性分档字段。质量指标按表 3-13 验收。
本工具的模型调用量大,契约上有两处专门约定:模型只以网关登记标识表达,入参不接受品牌或型号;三档分流的结果必须在出参中逐条可见,不允许只返回已通过的部分。后一条的理由是中置信与低置信样本是人工队列的输入,若接口只回高置信结果,人工队列就要另找来源,分流也就失去意义。
表 8-8 大模型预标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.sample_ids 或 selector.pool_ref | 列表或引用 | 二选一 | 样本标识集合,或待标注池引用加筛选条件 |
| 入 | params.task_type | 枚举 | 是 | 七类预标注任务之一(口径见本章表 4-3) |
| 入 | params.label_schema_version | 引用 | 是 | 标签体系版本;与标注规范文本同版本 |
| 入 | params.prompt_template_version | 引用 | 是 | 模板版本;模板内容本身不在接口中传递 |
| 入 | params.model_ref | 引用 | 否 | 统一网关登记的模型标识与版本,缺省取该任务类型的当前择优选用项 |
| 入 | params.confidence_thresholds | 结构 | 否 | 高低两档阈值,缺省取当前标定值 |
| 入 | params.evidence_required | 布尔 | 否 | 是否要求逐条给出证据片段,缺省为真 |
| 出 | labels | 列表 | 是 | 逐样本的候选标签,含标签项、置信度、证据片段与片段位置 |
| 出 | tier | 枚举 | 是 | 高/中/低置信档位,逐条标注 |
| 出 | suggestions | 列表 | 否 | 中置信条目的修改建议,供复核岗确认或修改 |
| 出 | check_failures | 列表 | 是 | 结构校验与约束校验未过的条目及失败项(顺序见本章表 4-4) |
| 出 | batch_stats | 结构 | 是 | 三档分流计数、模板版本、所用模型登记标识与版本 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入,含 model_ref 与 prompt_version |
调用样例:
{
"client_request_id": "REQ-2027Q1-PRE-0286",
"selector": {"pool_ref": "POOL-QUALITY-2027Q1", "filter": {"doc_type": "不合格品票", "unlabeled": true, "limit": 5000}},
"params": {
"task_type": "缺陷描述归类",
"label_schema_version": "LBL-QUAL-v2.1",
"prompt_template_version": "PRE-QUAL-v1.4",
"model_ref": "gw-model-a@2027.01",
"confidence_thresholds": {"high": 0.88, "low": 0.55},
"evidence_required": true
},
"output": {"dataset_ref": "DS-LABEL-2027Q1/quality", "formats": ["jsonl"]}
}
表 8-9 大模型预标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 标签体系版本与任务类型不匹配 | 参数类 | 所传版本、该任务类型适用的版本清单 | 不受理 |
| 模型网关不可用或限流 | 执行类(批次级) | 失败批次、网关返回的状态 | 按退避策略自动重试三次;仍失败的批次挂起,已完成批次结果照常可取 |
| 样本含不可出域字段 | 策略类 | 被拦截的字段名、所依据的策略版本 | 网关层拦截,该样本不发起外部调用,转入内部处理路径或人工标注队列 |
| 输出不符合标签体系结构 | 执行类(条目级) | 样本标识、结构校验失败项 | 该条按表 4-4 顺序进入低置信档,不进入候选集 |
| 整批置信度分布异常偏低 | 策略类 | 分布统计、与近期批次的比对 | 批次挂起并提示检查模板版本与样本来源是否变化,不自动放行 |
| 抽检通过率低于门限 | 策略类 | 抽检结果、门限值 | 按表 4-6 回退列处置,整批退回重标,模板问题走策略会签后改版 |
接口层面可核对的点有三条:出参中三档条目都在,不只回高置信;model_ref 回的是网关登记标识与版本而不是品牌型号;构造一条含不可出域字段的样本,须被网关层拦截并在返回中给出所依据的策略版本。质量指标按表 4-6 验收。
本工具不产出标签,它产出的是下一批该标哪些样本的顺序。契约因此与其余九个不同:出参的主体是一份带优先级与入选理由的清单,而不是样本内容。入选理由必须逐条给出,否则标注岗无法判断这份顺序是否合理,主动学习就退化成一个不可质疑的黑箱排序。
表 8-10 主动学习标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.pool_ref | 引用 | 是 | 待标注样本池引用与版本 |
| 入 | params.round_no | 整数 | 是 | 采样轮次号,与幂等键共同构成本轮唯一性 |
| 入 | params.quota | 整数 | 是 | 本轮采样总配额 |
| 入 | params.mechanism_mix | 结构 | 否 | 六种采样机制的配额分配(口径见本章表 4-7、表 4-8),缺省按阶段建议分配 |
| 入 | params.feedback_ref | 引用 | 否 | 上一轮人工标注反馈的引用;首轮可缺省 |
| 入 | params.diversity_constraint | 结构 | 否 | 按业务域或类别的多样性下限,防止配额被单一类别吃满 |
| 出 | ranked_samples | 列表 | 是 | 优先序清单,逐条含样本标识、优先级、入选机制、入选理由、不确定性度量值 |
| 出 | mechanism_report | 结构 | 是 | 各机制的实际配额执行情况与未执行原因 |
| 出 | targeted_collection | 列表 | 否 | 定向采集清单:池中无合适样本但模型表现薄弱的方向 |
| 出 | coverage_gap | 列表 | 否 | 覆盖盲区登记,区别于质量问题,处置动作不同 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
{
"client_request_id": "REQ-2027Q2-AL-0009",
"selector": {"pool_ref": "POOL-DEVICE-2027Q2@v3"},
"params": {
"round_no": 9,
"quota": 1200,
"mechanism_mix": {"不确定性": 0.35, "代表性": 0.20, "多样性": 0.15, "难例回流": 0.15, "覆盖补齐": 0.10, "随机对照": 0.05},
"feedback_ref": "AL-FEEDBACK-R8",
"diversity_constraint": {"min_per_domain": 60}
},
"output": {"dataset_ref": "DS-LABEL-2027Q2/queue", "formats": ["jsonl", "csv"]}
}
出参中保留一档随机对照配额是有意的。全部按不确定性采样会让标注集中在模型当前最困惑的一小片区域,随机对照那一档提供的是无偏参照,用来判断主动学习本身是否真的比随机挑选更划算——这个判断如果没有对照组,就只能靠相信。
表 8-11 主动学习标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 样本池版本与上一轮不一致 | 参数类 | 两次版本号、差异规模 | 提示确认;确认后按新版本执行并在报告中注明基准变更 |
| 不确定性度量不可用(无可用模型输出) | 执行类 | 缺失原因 | 本轮降级为代表性与多样性两机制,降级在 mechanism_report 中显式记录 |
| 某机制配额无法填满 | 策略类 | 机制名、缺口数 | 缺口按多样性约束回填其他机制,不自动放宽多样性下限 |
| 配额全部落入单一业务域 | 策略类 | 域分布、多样性下限 | 拦截并按下限重采,不发布该轮清单 |
| 上一轮反馈缺失 | 输入类 | 缺失的轮次 | 按无反馈模式执行,并在报告中标明本轮未纳入反馈 |
接口层面可核对的点:ranked_samples 中每条都有入选理由与度量值;mechanism_report 中各机制的实际与计划配额并列可比;随机对照那一档确实存在且比例与入参一致。质量指标按表 4-9 验收。
本工具的契约核心是本体版本。本体一旦改版,既有标注的含义可能随之变化,因此入参必须显式传本体版本,出参必须回传实际生效的本体版本——两者不一致时(例如所传版本已被更高版本替代)须显式提示,不静默采用新版。
表 8-12 本体驱动规则标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.sample_ids 或 selector.pool_ref | 列表或引用 | 二选一 | 待标注样本范围 |
| 入 | params.ontology_version | 引用 | 是 | 本体七域版本(内容见本章表 4-10) |
| 入 | params.rule_set_version | 引用 | 是 | 约束规则集版本(七类约束见本章表 4-11) |
| 入 | params.term_dict_version | 引用 | 是 | 术语与别名表版本 |
| 入 | params.constraint_scope | 列表 | 否 | 本次启用的约束类别,缺省为七类全启 |
| 入 | params.conflict_policy | 枚举 | 否 | 冲突处置:拦截/标记放行;缺省为按约束类别预置 |
| 出 | ontology_labels | 列表 | 是 | 本体标签,逐条含所依据的本体条目标识与路径 |
| 出 | constraint_results | 列表 | 是 | 约束校验结论,逐条含约束编号、判定、所依据规则版本 |
| 出 | conflicts | 列表 | 是 | 冲突清单,含冲突双方、冲突类型与建议处置 |
| 出 | new_term_candidates | 列表 | 否 | 新术语候选,供本体回流(口径见本章表 4-15) |
| 出 | effective_versions | 结构 | 是 | 实际生效的本体、规则集与术语表版本 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
{
"client_request_id": "REQ-2027Q1-ONT-0054",
"selector": {"pool_ref": "POOL-WORKORDER-2027Q1", "filter": {"limit": 8000}},
"params": {
"ontology_version": "ONT-2027.01",
"rule_set_version": "RULE-ONT-v1.6",
"term_dict_version": "TERM-2026.12",
"constraint_scope": ["类目互斥", "层级归属", "取值域", "工序前后依赖", "安全规则", "单位与量纲", "必填完备"],
"conflict_policy": "拦截"
},
"output": {"dataset_ref": "DS-LABEL-2027Q1/ontology", "formats": ["jsonl"]}
}
表 8-13 本体驱动规则标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 所传本体版本已被替代 | 参数类 | 所传版本、当前生效版本、差异摘要 | 不自动采用新版;由调用方确认后重提 |
| 规则集与本体版本不配套 | 参数类 | 两者版本、不配套的规则条目 | 不受理 |
| 工序字典未成文,工序依赖约束无依据 | 策略类 | 受影响的约束编号 | 该类约束跳过并在 constraint_results 中标记为未校验,不按推测规则判定 |
| 样本命中互斥类目 | 策略类 | 冲突双方、约束编号 | 按 conflict_policy 处置;拦截模式下该条进人工标注队列 |
| 术语表无匹配且无法归入既有类目 | 策略类 | 术语原文、上下文 | 进 new_term_candidates,按本体回流流程走人工确认,不自建类目 |
| 本体改版导致历史标注口径变化 | 策略类 | 受影响的标注批次范围 | 按本章 7.5 三档处置口径执行,并出影响评估报告 |
接口层面可核对的点:constraint_results 中"未校验"与"校验通过"是两个不同的取值,不得合并——未校验意味着依据缺失,校验通过意味着依据齐备且判定合格,把前者记成后者是这类工具最容易出的一种假达标。质量指标按表 4-12 验收。
本工具的输入是同一批样本的多路标注结果,输出是一致性指标与裁决记录。契约上需要定死一件事:裁决结论必须带所依据的规则条款,不接受只有结论没有依据的裁决。原因是裁决记录会回流成为标注规范的修订依据,没有依据的裁决无法复用,也无法在争议时复查。
表 8-14 一致性校验标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.annotation_task_id | 引用 | 是 | 标注任务批次标识 |
| 入 | params.cross_mode | 枚举 | 是 | 三种交叉标注方式之一(见本章表 4-13) |
| 入 | params.metric_set | 列表 | 是 | 启用的一致性指标(见本章表 4-14),按任务类型选取 |
| 入 | params.disagreement_threshold | 结构 | 否 | 分歧判定阈值,缺省按任务类型预置 |
| 入 | params.arbitration_rule_version | 引用 | 是 | 裁决规则版本 |
| 出 | consistency_metrics | 结构 | 是 | 一致性指标值,按任务类型与标注人分组分别给出 |
| 出 | disagreements | 列表 | 是 | 分歧条目,含分歧点、各路标注值、分歧类型 |
| 出 | arbitrations | 列表 | 是 | 裁决记录,含裁决结论、所依据规则条款与版本、裁决角色(记角色不记姓名) |
| 出 | rework_list | 列表 | 否 | 返工清单,含返工理由与返工范围 |
| 出 | spec_feedback | 列表 | 否 | 标注规范的修订建议,来自反复出现的同类分歧 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
{
"client_request_id": "REQ-2027Q1-CONS-0073",
"selector": {"annotation_task_id": "ANN-QUAL-2027Q1-016"},
"params": {
"cross_mode": "双人独立标注+分歧裁决",
"metric_set": ["一致率", "科恩卡帕", "克里潘多夫阿尔法"],
"disagreement_threshold": {"label_mismatch": 1, "span_iou_below": 0.7},
"arbitration_rule_version": "ARB-v1.2"
},
"output": {"dataset_ref": "DS-LABEL-2027Q1/consistency", "formats": ["jsonl", "md"]}
}
表 8-15 一致性校验标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 多路标注未全部完成 | 输入类 | 缺失的路数与标注人角色 | 不计算指标;已完成部分不作部分统计,避免指标偏高 |
| 某指标不适用于该任务类型 | 参数类 | 指标名、适用任务类型 | 不受理该指标,其余指标照常计算并在报告中注明 |
| 一致性指标低于门限 | 策略类 | 指标值、门限、分歧类型分布 | 该批整体返工;同时触发标注规范复核,而不是只退样本 |
| 裁决规则无对应条款 | 策略类 | 分歧类型、现有规则覆盖范围 | 转专家裁决,裁决结论与理由作为规则补充项进规范修订队列 |
| 同类分歧反复出现 | 策略类 | 分歧类型、出现频次与批次分布 | 进 spec_feedback,按有界迭代路径经会签后修订规范并发新版本 |
接口层面可核对的点:arbitrations 中每条都带规则条款与版本;一致性指标按标注人分组给出而不只给一个总值——只有总值的报告无法分辨是规范模糊还是某一路标注偏离。本工具的质量指标与标注质量报告合并呈现(模板字段见本章表 4-16)。
生成类三个工具的契约有一项共同要求:入参必须携带配额配置版本,出参必须回传四道(本工具)或五道(文本重写)过滤的逐道通过计数。配额在生成前派发而不是生成后筛选,是分布控制能够生效的前提;逐道计数则使"过滤确实在起作用"这件事可核对——只给一个最终产出数的接口,无法分辨是过滤严格还是根本没有被拦截的样本。
表 8-16 指令数据生成工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.seed_ref | 引用 | 是 | 种子指令库引用与版本(字段设计见本章表 5-4) |
| 入 | params.task_types | 列表 | 是 | 本批生成的指令任务类型(七类落法见本章表 5-3) |
| 入 | params.quota_config_version | 引用 | 是 | 配额配置版本,含六个分布维度的目标(见本章表 5-6) |
| 入 | params.evolution_ops | 列表 | 否 | 启用的指令进化算子(五种见本章表 5-5),缺省按任务类型预置 |
| 入 | params.material_refs | 列表 | 是 | 可用素材范围:领域文档、本体标签、结构化素材的版本引用 |
| 入 | params.target_count | 整数 | 是 | 本批目标条数,受配额上限约束 |
| 入 | params.eval_use | 布尔 | 否 | 固定为假;本工具产出不得进入基准测试集 |
| 出 | instructions | 列表(流式) | 是 | 指令样本,逐条含任务类型、难度、所依据素材引用与合成标记 |
| 出 | filter_report | 结构 | 是 | 四道过滤的逐道通过与拦截计数及拦截原因分布(检查项见本章表 5-7) |
| 出 | distribution_report | 结构 | 是 | 六个维度的实际分布与配额目标的偏差 |
| 出 | traceability | 列表 | 是 | 每条样本的可追溯依据,无依据的样本不产出 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入,含 model_ref 与 prompt_version |
调用样例:
{
"client_request_id": "REQ-2027Q2-INS-0145",
"selector": {"seed_ref": "SEED-PROCESS-2027Q2@v2"},
"params": {
"task_types": ["工艺判断", "标准问答", "故障诊断"],
"quota_config_version": "QUOTA-SFT-2027Q2-v1",
"evolution_ops": ["加约束", "换视角", "提难度", "多步化"],
"material_refs": ["DOC-STD-2027.01", "ONT-2027.01", "DS-ALIGN-2027Q1/dwg@v4"],
"target_count": 20000,
"eval_use": false
},
"output": {"dataset_ref": "DS-SFT-2027Q2/process", "formats": ["jsonl"]}
}
表 8-17 指令数据生成工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 配额配置版本缺失或已过期 | 参数类 | 所传版本、当前生效版本 | 不受理;配额不得由工具自行推定 |
| 目标条数超出该维度配额上限 | 策略类 | 维度名、配额上限、本批已用量 | 按上限截断并返回截断量,不超额生成 |
| 素材引用版本不可读 | 输入类 | 素材引用、失败原因 | 该素材不参与本批生成;若全部素材不可读则任务不启动 |
| 某条生成结果无可追溯依据 | 策略类 | 该条的生成路径 | 不产出该条并计入拦截,不以"模型常识"充作依据 |
| 四道过滤中某一道通过率骤降 | 策略类 | 该道的通过率、与近期批次比对 | 批次挂起,检查模板版本与素材变化,不自动放行 |
eval_use 被置为真 | 参数类 | 该字段取值 | 拒绝受理;基准测试集不接受合成样本(本章表 5-2 硬约束) |
接口层面可核对的点有两条:filter_report 四道计数齐全且拦截原因可分类;构造一个 eval_use 为真的请求,接口须拒绝受理而不是受理后在下游拦截。质量指标按表 5-9 验收。
本工具的产出是六类形态(见本章表 5-10),契约上按形态分文件输出,并要求每条合成样本携带来源字段(取值规范见本章表 5-11)。八要素的组合约束在生成前校验,违反约束的组合拦截而不是生成后再筛。
表 8-18 工单与故障场景模拟生成工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.scenario_templates | 列表 | 是 | 场景模板引用与版本 |
| 入 | params.fault_ontology_version | 引用 | 是 | 故障域本体与故障名录版本 |
| 入 | params.element_constraints_version | 引用 | 是 | 八要素组合约束版本(见本章表 5-8) |
| 入 | params.distribution_ref | 引用 | 是 | 历史工单分布引用,作为长尾补齐的参照基准 |
| 入 | params.output_forms | 列表 | 否 | 需要的产出形态,缺省为六类全出 |
| 入 | params.quota_config_version | 引用 | 是 | 配额配置版本 |
| 入 | params.target_count | 整数 | 是 | 本批目标条数 |
| 出 | scenarios | 列表(流式) | 是 | 故障场景样本,逐条含八要素取值与组合校验结论 |
| 出 | derived_outputs | 结构 | 是 | 六类产出形态分文件存放,文件间以场景标识关联 |
| 出 | constraint_blocks | 结构 | 是 | 组合约束拦截计数与拦截原因分布 |
| 出 | synthetic_marks | 结构 | 是 | 合成标记与 eval_use 标记,逐条随样本留存 |
| 出 | coverage_vs_history | 结构 | 是 | 与历史工单分布的对照,长尾补齐部分单独标识 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
{
"client_request_id": "REQ-2027Q2-FLT-0062",
"selector": {"scenario_templates": ["SCN-CONVEYOR-07@v2", "SCN-REDUCER-03@v1"]},
"params": {
"fault_ontology_version": "ONT-FAULT-2027.01",
"element_constraints_version": "ELC-v1.3",
"distribution_ref": "WO-DIST-2024-2026",
"output_forms": ["合成工单", "排障对话候选", "故障描述", "处置记录", "复盘摘要", "标签组"],
"quota_config_version": "QUOTA-FAULT-2027Q2-v1",
"target_count": 6000
},
"output": {"dataset_ref": "DS-SFT-2027Q2/fault", "formats": ["jsonl"]}
}
表 8-19 工单与故障场景模拟生成工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 八要素组合违反约束 | 策略类 | 要素取值、违反的约束编号 | 该组合拦截不生成,计入 constraint_blocks |
| 故障名录中该故障无检出手段对应 | 策略类 | 故障条目、缺失项 | 该故障的场景不生成诊断类产出,仅生成描述类产出并标注 |
| 历史工单分布引用不可读 | 输入类 | 引用标识 | 任务不启动;长尾补齐失去参照基准时不以估计分布替代 |
| 场景模板版本与本体版本不配套 | 参数类 | 两者版本 | 不受理 |
| 某故障类的合成量超过配额 | 策略类 | 故障类、配额、已生成量 | 按配额截断;需要扩大配额的走策略会签 |
| 合成样本未带来源字段 | 执行类(条目级) | 样本标识 | 该条不入库;来源字段是合成样本进入数据集的必要条件 |
接口层面可核对的点:synthetic_marks 逐条存在且 eval_use 为假;coverage_vs_history 把长尾补齐部分与真实分布部分分开呈现,不合并成一条曲线。质量指标按表 5-12 验收。
本工具的契约重点在保护项。改写的价值在于表达多样化,风险在于改坏术语、数值、条款编号这类不可变内容。契约要求入参传保护词表版本,出参逐条回传保护项校验记录与原文映射(字段见本章表 5-18),使任何一条改写样本都能回到原文逐字比对。
表 8-20 文本重写与多样化工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | selector.source_sample_ids | 列表 | 是 | 原始样本标识集合;须为已通过质检与一致性校验的样本 |
| 入 | params.styles | 列表 | 是 | 启用的改写风格(六种见本章表 5-13) |
| 入 | params.protect_dict_version | 引用 | 是 | 术语保护词表版本(七类保护对象见本章表 5-15) |
| 入 | params.rewrite_config | 结构 | 是 | 改写配置四项参数(见本章表 5-16) |
| 入 | params.semantic_check_channels | 列表 | 否 | 语义一致性校验的三个通道(见本章表 5-14),缺省三路全开 |
| 入 | params.max_ratio_per_source | 整数 | 否 | 单条原文最多产出的改写条数,缺省按数据集配比上限推定 |
| 出 | rewrites | 列表(流式) | 是 | 改写样本,逐条含风格标记、原文引用与改写比例 |
| 出 | protection_check | 列表 | 是 | 保护项校验记录,逐条列出被保护对象与校验结论 |
| 出 | source_mapping | 列表 | 是 | 原文与改写文本的映射记录(字段见本章表 5-18) |
| 出 | filter_report | 结构 | 是 | 五道过滤的逐道通过与拦截计数(见本章表 5-17) |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
{
"client_request_id": "REQ-2027Q2-RWT-0208",
"selector": {"source_sample_ids": ["SMP-STD-000911", "SMP-STD-000912", "……"]},
"params": {
"styles": ["口语化", "书面化", "简述", "详述", "换问法", "换视角"],
"protect_dict_version": "PROT-2027.01",
"rewrite_config": {"rewrite_ratio": 0.35, "min_edit_distance": 0.25, "keep_structure": true, "max_length_delta": 0.3},
"semantic_check_channels": ["规则", "向量相似", "模型判别"],
"max_ratio_per_source": 3
},
"output": {"dataset_ref": "DS-PRETRAIN-2027Q2/rewrite", "formats": ["jsonl"]}
}
表 8-21 文本重写与多样化工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 原始样本未通过质检 | 输入类 | 样本标识、质检状态 | 不改写;改写不良样本只会放大问题 |
| 保护项被改动 | 策略类 | 被改动的保护对象、原值与改后值 | 该条拦截不产出,并记入拦截原因分布 |
| 语义一致性三通道判定不一致 | 策略类 | 三通道各自结论 | 该条进人工复核队列,不按多数通过自动放行 |
| 单条原文改写条数超上限 | 策略类 | 原文标识、上限 | 按上限截断,防止少量原文被过度复制稀释多样性 |
| 改写后与原文编辑距离低于下限 | 策略类 | 实测距离、下限 | 该条拦截,近似复制不计入多样化产出 |
| 增强样本占比超过数据集配比上限 | 策略类 | 当前占比、上限 | 停止该数据集的改写生成;需要调整配比的走策略会签 |
接口层面可核对的点有两条:取任一条改写样本,按 source_mapping 能回到原文并逐字比对;构造一条改动了术语主词条的改写,须被 protection_check 判为未通过并拦截。质量指标按表 5-19 验收。
十个工具的契约、样例与异常口径与本卷「工具链一」「工具链三」两节同源:六类标准调用、错误四分类、状态机与幂等口径取自「工具链三」一节第 5 节,输出格式与入库口径取自该节 5.2,血缘字段取自本章表 2-1 与该节 5.3。三处若出现表述差异,以「工具链三」一节第 5 节为准。