## 1、服务范围、交付责任与技术边界 招标文件在数据集场景验证服务要求的开篇写明：本项目不负责智能场景的建设，只负责场景验证服务（b1602、b1603）。本包据此交付的是一套可执行、可见证、可复核的验证工作：用本项目建设的四大数据集，证明这些数据喂给模型与智能体之后，十一个场景所列的能力达到了约定的可用水平，并把证明过程做成可追溯、可复用的工程资产。其中六个专业场景的验证方案见第 2 节，五个通用场景的验证方案见本投标文件「五个通用场景验证方案」节，两节共用同一套方法框架、同一套判据体例与同一套报告体例。 ### 1.1　服务范围与交付责任 本服务的交付责任分五项，逐项写明接收方与产出物，作为验收与争议裁断的依据。 数据读取责任。我方按甲方授权从源系统只读取数，不改写源系统任何数据。取数方式按只读接口、数据库只读视图、受控文件导入三种并存，字段定义先行统一；每一次取数记录数据时点、取数方式、授权依据与经手环节。取数范围限于验证所需的业务对象与字段，超出范围的数据不取。 验证执行责任。我方承担验证方案与用例集设计，验证用数据资产（金标准集、回放窗口、构造样本、对照实验配比方案）的建设与隔离管理，验证台的搭建、验证环境的数据准备与模型接入，以及按冻结用例集在评测沙箱内的执行与过程留痕。执行条件（数据集版本、模型版本、判据版本、随机种子与采样参数）在执行前登记并在执行时由见证岗位核对。 结果复核责任。我方对每一项验证结论按三级复核后出具：执行自检、非本场景人员交叉复核、出具前由方法与判据角色复核结论句与数据的一致性。复核记录是交付物的一部分，验收时可查。甲方指派业务见证岗位参与执行与判定两步，涉及企业技术权威的判据由甲方相应部门确认后固化。 整改责任。验证失败用例由我方做归因并分两条去向处置：判为数据侧的，转为结构化的数据集改进需求提交数据集加工生产侧，按提交、受理、执行、复测、关闭五态留痕；判为实现侧的，单列移交场景建设方，不进入数据集缺陷统计。属我方责任的部分（标注质量、方法实现、判据口径），由我方在质保期内整改，不另行计费。 复测责任。整改完成后由我方组织复测，复测范围为受影响用例子集与回归子集两部分，不作整批重跑；复测结论与差异说明进复测报告，由甲方确认闭环。复测次数与集中复测安排的口径与本投标文件「数据集质量评测方案」节一致。 与之对应，六个专业场景的功能开发与界面实现、设备控制参数的写入与工艺参数的签发变更、甲方既有业务系统的改造、场景上线后的业务运营决策，由场景建设方与甲方相应部门承担。甲方承担源系统只读接口与数据授权的开通、业务见证岗位的指派、专业判据中依赖企业技术权威部分的确认与提供（选型校核公式的签封版本、正式工艺文件的参数窗口、备料分厂的工序字典、库存的财务计价口径、刮板输送装备的故障名录），以及试点范围的确定，含试点炉型、试点产线、试点车间与跟踪矿点。三方责任的接口关系见图 1-1。 ### 图 1-1　场景验证服务在本项目中的位置与责任边界 本包范围（第 01 包：数据集加工生产 · 质量测评 · 场景验证） 四大数据集 加工生产 质检与评测 版本与血缘 验证用数据资产 金标准集 · 回放窗口 构造样本 对照与消融配比 场景验证台 模型版本 · 验证智能体 评测沙箱 · 归因 旁路运行 · 不写回 验证结论 能力指标与增量 可用性结论 错题归因清单 场景建设方范围（不在本包） 六个专业场景的功能实现、界面交付、上线运行 生产态参数写入与控制回路 甲方范围 只读授权 · 见证岗位 · 技术权威判据确认 试点范围确定 · 业务结论采纳 判据确认与见证 实现侧问题单独归类 验证结论的两条去向：判为数据侧缺口的，按整改任务单回流四大数据集加工环节并复测； 判为实现侧问题的，单列一类移交场景建设方，不计入数据集缺陷统计。 图 1-1　场景验证服务在本项目中的位置与责任边界。数据来源：招标文件 3.2.6.5（b1602、b1603）；采购清单第 5 项、第 7 项（b0804r06、b0804r08）。 ### 1.2　技术边界 验证工作以旁路方式运行，边界有三条，三条都在验证台的实现上落到具体约束，而不只是声明。 其一，旁路运行、只读不写。验证台从源系统与数据集中读取数据，不向任何业务系统、设备控制系统或群控系统写入；验证台与生产网络之间按只读方向配置，写入通道在实现上即不存在。 其二，不交付生产态应用。验证台的界面只面向验证执行与见证，不面向业务岗位的日常作业；它不替代场景建设方交付的功能，也不承担上线运行。 其三，结论不直接触发生产动作。热处理的参数建议、焊接的参数推荐与干预判断、库存的补货与调拨建议、健康诊断的处置与备件建议，在验证台里都只到「给出结论并记录」这一步，是否采纳由甲方岗位在其自有流程中决定。焊接场景的受控闭环一级涉及流程动作与参数干预，不在本包验证范围，验证台不执行该级。 与边界相配的是人工通道。六个场景的输出都进入有责任的业务流程，系统不可用、输入不可解析或置信度不足时，须有不依赖本项目成果的人工通道可走；该通道的可用性本身是一项验证内容，板材备料的应急工艺通道即属此类（b1628），验证方式是演练而非指标。 ### 1.3　验证的三个层次与承载装置 场景验证要回答三个层次的提问，三层对应本服务的三条主线：数据就绪度核验、能力项指标验证、数据集贡献度验证。 第一层是数据够不够。某个场景要成立，需要哪些业务对象、哪些字段、什么时间粒度的数据，这些数据当前在哪个系统里、能不能成对、口径是否统一。热处理的炉次与工件、材料批次、实际曲线、检验结果之间若没有稳定的一次一档关联，再好的模型也只能给出批次级的笼统结论；焊接的参数流、熔池视觉与探伤结果若各记一套位置口径，缺陷谱就拼不出来。这一层不过关，后面的指标做出来也无法解释。 第二层是能力达不达标。招标文件逐条列出的验证项（需求解析、参数计算与验算、选型推荐、图纸识别与元素解析、工艺卡片生成、库存评级与需求预测、工艺参数匹配与寻优、质量关联性分析、视觉缺陷检测、规则智能编排、时序模型分析），每一条要在什么样的用例集上、用什么指标、达到什么阈值才算通过。 第三层是数据集到底贡献了多少。场景能力达标可能来自三处：基座模型本身的通用能力、检索到的知识，或者本项目生产的数据集。若不把三者分开度量，验证报告只能说明这套东西能用，说明不了这批数据有用。而招标方购买的是数据集，不是场景系统。因此本方案对每个场景都设计基座裸测、知识检索、数据集微调、子集消融四组对照，用同一套场景基准题集横向评测，输出能力增量而不只是绝对分值。 要验证一项能力，手里须有一个能跑起来的东西。承载三层验证的装置是场景验证台，它由四部分组成：从四大数据集中按场景划取的数据切片；经统一网关接入的基座模型与按本项目数据集适配后的模型版本；按场景装配的验证智能体，负责把一次业务任务拆成可执行、可留痕的若干步；以及一个可复现的评测沙箱，固定题型、判分规则、版本号与随机种子。验证台的产出是能力指标、能力增量、可用性结论与错题归因清单。它的构成与数据流向见图 2-1，三条技术边界如 1.2 节所述。 这一界定对三方各有用处。对招标方，验证结论此后可以复用：场景建设方交付实现之后，同一套金标准集、同一套判据与同一个沙箱可以直接用于验收，不必重新定义指标。对本包，工作量与责任边界清楚：交付验证方案、验证资产、验证执行与验证报告，不交付场景功能。对评标，它说明了「不负责建设」与「须验证能力」之间如何衔接。 验证台所依赖的平台能力不另行建设。模型的训练、对齐、评测与版本管理在本项目行业大模型训练推理技术服务所建的训推平台上进行；数据集的切分、基准构建、评测执行、贡献度归因与版本血缘由本项目九类二十五个智能工具链中相应工具承担；验证过程的留痕、版本与审计记录进入天地奔牛煤机装备数据智能平台（以下简称奔牛数据智能平台）的审计与版本模块统一管理。 ### 1.4　术语与口径约定 场景验证台，指 1.3 节所述的旁路验证装置。全文凡提「验证台」均指此物，不指任何生产态系统。 金标准集，指用于能力项指标计算的冻结样本集，由业务骨干双人独立标注、分歧仲裁后形成，与训练集按来源与时间双重切分隔离。全文凡提「指标在金标准集上计算」，即指本集，不含训练样本。 回放窗口，指完整保留的一批历史真实任务，含当时的原始输入与当时的真实产出。用于端到端任务验证与系统改动后的非预期变化比对。 构造样本，指针对天然稀少而后果严重的情形人工构造或定向检索得到的样本。单独统计，不混入主指标分母。 场景基准题集，指按题型组织、用于四组对照横评的题目集合，不含任何形式的合成数据。它与数据集交付物中的基准测试数据集同源不同用，关系见 2.1.13 节。 基线档与目标档，前者为首轮验证的承诺水平与整改红线，后者为观察期内趋向的水平。两档的判定口径、测量方法与数据来源完全一致，区别只在时点。 对比基线，指当前完全依赖人工经验、无历史指标可比的验证项所采用的判据方式，写成「在同一历史窗口上不劣于企业现行做法，并给出改善幅度」。采用这一方式的项，第一步工作是把现行做法的水平统计出来。 分档，指 A 完整、B 受限、C 只做管理三档，通用口径见表 2-3，各场景在其数据条件上具体化。全文凡提「按受限档执行」，即指 B 档。 确定性判据与统计性判据，前者用于有唯一正确答案且算法明确的计算，容差写到数量级；后者用于有多个可行答案而有优劣之分的推断，配可解释率。两者在指标表中分列，不合并统计。 三元标识，指数据集版本指纹、模型版本、判据版本三者的组合，每一次验证运行均绑定，用于前后比对与指标归因。 称谓口径：招标方称甲方，我方称我方或项目组，六个专业场景的功能实现方称场景建设方。平台统一称奔牛数据智能平台，全称天地奔牛煤机装备数据智能平台已在 1.3 节首次出现时给出。模型按「当期能力评测领先的通用大模型，经统一网关接入」表述，不点具体型号。 ### 1.5　与本投标文件其他章节的接口 本服务与本投标文件其他四处内容相邻，接口关系如下。 与四大数据集加工生产的关系是消费与回流：本服务从四大数据集划取切片作为验证输入，并按固定格式把验证失败所暴露的需求回流到采集、预处理、标注、合成、增强、质检相应环节。四大数据集的规模与分域构成以该节口径为准。 与数据集质量测评的关系是两侧看同一件事。质量测评按《高质量数据集质量评测规范》TC609-5-2025-04 对数据集本身打分，其中模型应用维度含模型适配性、业务相关性等指标；本节从业务一侧验证同一批数据在真实场景任务上的表现。两节共用一套缺陷字典与一套样本标识，结论可以合并统计，同一个问题不会在两处各记一笔而无法对账。两者的分工在 3.8 节另有专述。 与行业大模型训练推理技术服务的关系是平台与用例。训推平台提供分布式继续预训练、指令微调、偏好对齐、多阶段横评与可复现评测沙箱的能力；本节提供这些能力在六个场景上的具体用例、配比方案与判据。算力规模与平台形态见该节。 与硬件选型与配置的关系是数据源的接口。四十六台设备中的四十二台感知设备（十五台熔池相机、六台高温热成像、二十一台热成像）是焊接与热处理两个场景多模态验证数据的物理来源。本节写清每一类设备到位与否对应哪一档验证能力，以及未到位期间按什么口径降档运行。 ## 2、专业场景验证服务（3.2.6.5.1） ### 2.1　六个专业场景共用的验证方法框架 六个场景的业务对象差别很大，验证的做法却可以统一。统一之后，各场景只需要定义自己的对象、字段、指标与阈值，不必各自发明一套流程，验收时也只需掌握一套口径。 #### 2.1.1　六个场景的四条共性 六个专业场景的共性有四条，它们直接决定了方法框架的形状。 第一条，真正的瓶颈不在模型能力，而在数据对不上。热处理现场的过程曲线采集基础其实已经不错，淬火机床与中频电源的功率、频率、电流、电压与周期炉的设定与实际温度多已接入，采样可到秒级；缺的是把曲线绑定到具体零件所需的那几项条件数据：实际装载量、件间间隙、炉内位置、感应器对位间隙、本批材料成分。焊接的过程参数也在采，但外观检查、超声探伤与磁粉检测分处三个环节、由三拨人在三个时点完成，三份结果各记各的位置口径，事后只能靠记忆拼到同一条焊道上。健康诊断的报警不少，可处置完成后的拆检发现与更换部件没有结构化回到数据链上，故障事实与数据段的对应关系建立不起来，历史数据因此没有事件级标签。验证若不先核查这些配对关系，指标做出来无法解释，也无法指导改进。 第二条，六个场景都存在同一类数据缺口：当前完全无记录，须在业务流程中增设填报入口才能逐步积累。选型的投运使用评价、备料的图卡配对台账、热处理的装炉位置登记、焊接的层间温度逐件记录、健康诊断的维修事实回填，都属于这一类。这类缺口不能靠一次采购补齐，验证必须允许分档推进，并如实记录当前处在哪一档。 第三条，六个场景的输出都要进入有责任的业务流程。工艺卡片要签发，采购建议要审批，报警结论要派工，参数建议要进工艺文件。因此验证不只测准确率，还要测证据链能否被核对，一个结论拿不出它所依据的原始数据段与判据版本，岗位就不会用它。 第四条，六个场景的能力里混着两类性质完全不同的东西。一类是确定性计算：链条安全系数的复算、展开长的中性层换算、焊接线能量的核算、轴承与齿轮特征频率的计算。这一类有唯一正确答案，判据应当是复算一致性，容差写到数量级。另一类是带不确定性的推断：选型方案的排序、工序的编排、库存健康的评级、缺陷成因的归因。这一类有多个可行答案而有优劣之分，判据只能是统计性的，并且需要可解释性作为配套。把两类混在一个「准确率」里报，是这类方案最常见的失手处。 这四条共性落到四个设计上：建一套旁路验证台承载能力验证；分四级层级推进、低级不过则高级暂缓；把验证数据按四类资产分建并双重切分隔离；给每一条判据配基线档与目标档，并明确区分确定性判据与统计性判据。 #### 2.1.2　场景验证台：旁路验证装置的构成 验证台是本节的工程主体。它不是一套新建系统，而是把本项目已有的四类能力（数据集、训推平台、智能工具链、运营服务管理平台）按场景装配成一个可反复运行的验证装置。装配关系见图 2-1。 验证台的输入是数据集切片。每一次验证运行都要声明本次使用的数据集版本指纹、所取的数据域与子集、以及切片规则。声明进入运行记录，与模型版本、判据版本一并构成本次结论的三元标识。这一点看起来琐碎，但缺了它，下一轮升级后指标变化来自数据侧还是模型侧就说不清了。 中间是模型层与智能体层。模型经统一网关接入，采用当期能力评测领先的通用大模型，可替换、可评测、可随代升级；按本项目数据集适配后的模型版本与基座模型并列在网关之后，供对照实验调用。智能体层按场景装配，职责是把一次完整的业务任务拆成若干可执行、可留痕的步骤，并在需要人工判断的位置停下来等确认。以产品选型为例，一次验证任务要走要素抽取、参数归一、工况分型、校核送参、可行解生成、排序、规格书成稿七步，每一步的输入输出都单独留痕，这样某次任务失败时能定位到是哪一步出的问题，而不是只知道整件不可用。智能体的开发在本项目智能体开发与运行能力之上进行，属验证用途，不交付生产态场景应用。 智能体层还有一项作用容易被忽略：它是「包括但不限于」这类条目的承接点。招标文件在每个场景的验证要求开头都写了这一句，意味着条目清单是示例而非穷举。验证智能体按业务任务的真实步骤组织，而不是按条目清单组织，条目之外的步骤（比如选型里的单位量纲消歧、备料里的借用件分堆）自然落在任务链条上，不会因为标书没列就漏掉。 出口是评测沙箱。沙箱固定四件事：题型与判分规则、数据集与模型的版本号、随机种子、以及温度一类采样参数。固定这四件事的目的是可复现，同一批用例在同一版本上重跑，结果应当一致；若不一致，说明沙箱本身有问题，这比指标高低更要紧。沙箱按多协议模型评测引擎工具链实现，支持同一批用例并行投向多个模型版本，这是对照实验能够成立的技术前提。 验证台按 1.2 节的三条技术边界运行：旁路只读取、不交付生产态应用、结论不直接触发生产动作。热处理的参数建议、焊接的参数推荐、库存的补货建议在验证台里都只到「给出建议并记录」这一步，是否采纳由甲方岗位在其自有流程中决定。 #### 图 2-1　场景验证台的构成与数据流向 数据集切片 预训练语料子集 指令微调子集 偏好数据子集 基准测试子集 声明版本指纹与切分规则 模型层（经统一网关） 基座模型（对照组） 检索增强（对照组） 指令微调版本 偏好对齐版本 子集消融版本按需派生 场景验证智能体 任务拆步与状态保存 确定性引擎调用 检索与规则调用 人审检查点 逐步留痕，可定位失败步 评测沙箱 题型与判分规则 版本号与随机种子 多模型并行投放 指标与能力增量 同版本重跑结果一致 验证用数据资产（与训练集双重切分隔离） 金标准集：能力项指标的唯一依据，冻结版本 回放窗口：历史真实任务的原始输入与当时产出 构造样本：低频高损情形，单独统计 归因与回流 失败用例回溯到数据集切片与样本标识 四类方向判定：输入／标注口径／样本不足／实现侧 数据侧出整改任务单，复测后闭环 失败用例与原始留痕 三条硬约束：只读取不写入，不接入生产控制回路｜不交付生产态场景应用，界面只面向验证与见证｜ 结论只进验证报告与数据集整改流程，参数建议是否采纳由甲方岗位在其自有流程中决定。 血缘标识：每次运行绑定「数据集版本指纹 + 模型版本 + 判据版本」三元，供前后比对与指标归因。 图 2-1　场景验证台的构成与数据流向。数据来源：招标文件 3.2.6.5（b1602、b1603）、采购清单第 2 项智能工具链第 22 至 25 条（b0804r03）、3.2.6.2 行业大模型训练推理技术服务。 #### 2.1.3　四级验证层级 验证分四级推进，低级不通过则高级暂缓。这样安排是为了避免在数据没对齐的情况下测模型、在模型没稳定的情况下谈业务收益，两种情形都会产出一个好看但没有意义的数字。 表 2-1　四级验证层级 | 层级 | 验证什么 | 判据性质 | 甲方角色 | |---|---|---|---| | L1 数据就绪度 | 业务对象、主键关系、关键字段、时间粒度、配对关系是否成立 | 结构性，以覆盖度与配对率度量 | 授权与口径确认 | | L2 能力项 | 标书逐条列出的单项能力在金标准集上的表现 | 量化，以分档阈值度量 | 结果见证 | | L3 端到端任务 | 一个完整业务任务从输入到可用输出的闭环 | 任务级，以可用率与返工率度量 | 岗位参与并签认 | | L4 观察期 | 投入实际业务后在约定观察期内的稳定性与岗位采纳 | 过程性，以采纳率与异常处置记录度量 | 业务主导 | 表 2-1　数据来源：招标文件 3.2.6.5.1 各场景「验证要求」段落的条目结构。 L1 是开工条件，六个场景的核查项一致：核心业务对象能否从源系统读到，主键能否落到具体物理对象，关键字段的非空率与取值合法率，过程数据与结果数据的配对率，时间基准是否统一。其中主键贯通是共同前置条件，六场景涉及的主键有施工号与项目号、产品号与图号、零件号与物料编码、工单号、炉次号与件次号、焊缝与焊道编号、设备编码与故障单号。这些主键不通，后面的指标都落不到对象上。因此 L1 的第一批工作是用真实业务对象做端到端追溯：每类对象至少取三个实例，确认它能从源系统读取、能被岗位人员认出、能支撑后续分析。追溯不成立的对象，其所在验证项按 2.1.10 节降级规则处理。 L2 是标书条目的直接应答层。每一条「须验证……能力」都在 L2 对应一组用例、一组指标、一组阈值。L2 的指标一律在金标准集上计算，不在训练样本上计算；这一条没有例外，也是我方愿意把基线档写成硬承诺的前提。 L3 回答岗位关心的问题。单项指标都达标而任务仍不可用是常见情形：工艺卡片的字段准确率很高，但只要有一个关键尺寸错了，这张卡仍需整张返工；选型的各项参数都抽对了，契约版本绑错一处，报告里的校核结论就是另一回事。L3 以任务为单位三分判定。可直接进入审核流程的计为可用，需人工修改的记录修改字段数与耗时，整件作废的计为失败。 L4 不追求指标，追求稳定。观察期内记录岗位的实际采纳、降级发生次数、异常处置是否按预案执行。观察期的长度按场景的任务频次确定，在各场景的执行安排中给出。 #### 图 2-2　四级验证层级的推进与回退关系 L1 数据就绪度 主键贯通 · 字段覆盖 配对率 · 时间基准 L2 能力项 金标准集上逐项指标 确定性项与统计性项分开 L3 端到端任务 回放窗口 + 真实新任务 可用／返工／失败三分 L4 观察期 岗位采纳率 降级次数 · 异常处置 指标不达基线且归因为数据缺口：退回补采与扩充 任务级失败而单项达标：退回检查步间衔接与版本绑定 暂缓规则：L1 未通过的验证项不起算 L2 指标；L2 中确定性判据未通过的，其所在任务不进入 L3； L3 未形成闭环记录的场景不进入 L4。暂缓不等于失败，暂缓原因与所缺条件在验证报告中逐项列明。 图 2-2　四级验证层级的推进与回退关系。数据来源：招标文件 3.2.6.5.1 各场景验证要求条目结构；整改复测口径与本投标文件「数据集质量评测方案」节一致。 #### 2.1.4　数据集贡献度：四组对照与消融设计 这一小节是本节的核心，也是本包区别于一般软件测试的地方。招标方买的是数据集，验证必须能回答「这批数据让场景能力提升了多少」，而不是只回答「这套东西能不能用」。 把一个场景的能力拆开看，它的表现来自三个来源：基座模型的通用能力、检索到的知识、以及训练进模型参数里的领域能力。三者的边界在实践中常被混淆。用上检索之后指标涨了，很容易被当成数据集的功劳，实际上可能只是把文档喂进了上下文，而数据集的标注、切分、合成工作一点没用上。要把三者分开，只能靠对照。 本方案对每个场景设计四组对照，同一批场景基准题集、同一个沙箱、同一组判分规则，只换被测对象。 第一组是基座裸测。被测对象是未经本项目数据适配的基座模型，不提供检索，只给任务指令。这一组的作用是立零点。基座在矿山装备领域的表现不会是零（通用语料里有机械设计与煤矿安全的内容），但在链轮感应淬火的工艺窗口、刮板链的多边形效应、备料分厂的 28 道工序这类企业内部知识上，它只能给出听起来合理而实际错误的回答。把这个零点量出来，后面的增量才有意义。 第二组是检索增强。被测对象仍是基座模型，但接入本项目知识库与知识本体，按场景检索后将证据片段放入上下文。这一组的作用是分离「知识可得」与「能力内化」。有相当一部分场景能力，检索就足够了：技术标准的条文查询、工艺文件的参数窗口核对都属于这一类。本方案不回避这个事实：凡检索即可达标的能力项，在验证报告中明确标注「检索充分」，不把它算到微调的账上。这既是诚实，也是对甲方有用的信息。它意味着这部分能力在模型换代后不需要重做。 第三组是数据集适配。被测对象是以本项目指令微调子集训练后的模型版本，涉及有优劣之分的任务时再叠加偏好对齐版本。这一组与第二组的差值，就是数据集中加工环节所创造的那部分价值：标注的粒度、思维链的构建、多轮对话的组织、长上下文的切分拼接。这一组要同时报正向指标与负向观察：指令遵循与任务完成度上升的同时，有没有出现回答冗余、行为退化、在通用任务上的能力回退。偏好对齐版本还要报偏好判别准确率与奖励均值的变化趋势，并检查是否出现奖励黑客式的取巧回答。 第四组是子集消融。被测对象是抽掉某一类数据之后重训的模型版本。消融的切法按场景选择，常用三种：按数据域抽（比如热处理场景抽掉质量域的检验结果语料），按工具链产出抽（比如焊接场景抽掉时序与运维事件对齐工具链产出的对齐样本），按合成与真实抽（抽掉合成与增强产出的样本，只留真实标注样本）。消融的意义在于回答一个很具体的问题：这批数据里哪一部分真的在起作用。它的结论直接指导后续的数据投入方向，也是回流机制里优先级排序的依据。 四组对照的输出形态是能力增量表与能力雷达图，按验证项逐项给出四组的指标值与两两差值。这里要写清三件事，否则对照实验容易做成形式。 其一，基准题集必须完全不含合成数据。招标文件在数据合成要求中已有明文，基准评测子集不得使用任何形式的合成数据；本节的场景基准题集沿用这一约束，题目与参考答案全部取自真实业务记录与业务骨干标注。 其二，训练与评测的隔离按来源与时间双重切分，切分规则随金标准集一并提交并冻结。消融版本的训练集与完整版本的训练集必须使用同一套切分，否则差值里混进了切分差异。 其三，对照组之间只允许存在一个变量。换数据就不换基座，换基座就重跑全部四组。基座模型按当期能力评测择优选用并随代升级，这是正常的工程演进；但换代当次必须把四组对照重跑一遍，否则历史增量数据不可比。这一条写进验证纪律，不是可选项。 四组对照的规模要与之匹配的配比实验在训推侧进行：指令微调按场景、任务、难度切片，设基础微调、子集消融微调、混合配比微调三套实验，记录损失曲线、评测准确率、显存与吞吐（见本投标文件「行业大模型训练推理技术服务」节）。场景侧负责给出题集、判据与结论采信规则，训练工程的做法见该节。 需要说明一处取舍。四组对照并非每个场景、每个验证项都全做。确定性计算类的验证项不做对照，链条安全系数的复算结果与模型无关，做四组对照没有意义，这类项只做复算一致性。多模态检测类的验证项（焊接的视觉缺陷检测、热处理的外观缺陷判别）按专用模型的训练集规模做学习曲线，不按微调配比做消融，因为这类能力的主导变量是标注样本量与标注质量，而不是语料配比。各场景实际做哪几组，在 2.2 至 2.7 节的对照实验小节逐一写明，并说明不做的理由。 #### 2.1.5　确定性计算与模型推断的分工 上一小节提到确定性项不做对照，这背后是一条贯穿六个场景的原则，值得单独写清：凡有唯一正确答案且算法明确的计算，一律由确定性引擎承担，不交给模型；模型只做它擅长的事。从非结构化文本与图像里把信息提出来，在多个可行答案之间给出有依据的排序，以及把结论组织成人能读的表述。 这条原则在六个场景里的落点很具体。 产品选型的校核计算是确定性的。企业现有的选型公式在性质上是校核公式而不是正算公式：工程师要先预设一整套配置（槽宽档位对应的机型、动力部功率、链环直径），再连同工况参数代入，验算整机消耗总功率与链条理论安全系数、以及按力与按功率两个口径的实际安全系数能否过门槛。招标文件 b1616 的用词是「自动计算与验算」，与这一事实一致。公式回答的是「这套配置行不行」，回答不了「该配哪一套」。所以参数计算能力的判据是复算一致性，而推荐能力的判据是排序质量，两者不能合成一个准确率。 板材备料的展开长与下料尺寸是确定性的。带压弯的零件须按中性层公式换算展开长，扣除量由板厚、折弯角度、所用下模 V 口宽度与上模圆角共同决定；割缝宽度、坡口留量与切割热变形收缩量各有标定值。这些量错一个，钢板下料后即成废料，后果与「工序少排了一道」完全不在一个量级上。因此这一类字段不走模型生成，走确定性计算，并且做双路互校，一路按公式算，一路按历史同类件回归，两路不一致即停下来等人确认。 焊接的线能量核对是确定性的。电流、电压与焊接速度三者给定，线能量即确定，与工艺规程给出的参数窗口比对是算术问题。模型在这里做的是另一件事：从工艺卡片与评定报告的文本里把参数窗口抽出来，以及在参数、熔池视觉与检测结果三者之间找关联。 健康诊断的特征频率是确定性的。减速器各级传动比与齿数、轴承型号与位置、链轮齿数与节距都在设备档案里，齿轮啮合频率与轴承特征频率可以直接算出来。刮板链的多边形效应同理，链节绕过链轮时以多边形而非圆周方式啮合，链速按链轮齿数产生周期性起伏，形成一组由链速、链节距与链轮齿数共同决定的固有冲击激励。它算得出来，就减得掉；减掉之后剩余的冲击成分才具备诊断意义。这一步必须是确定性的，交给模型去「学」是舍近求远，而且学出来的东西无法向岗位解释。 把这条原则写进验证方案，有三个实际好处。确定性项的判据可以写得很硬（相对偏差的数量级），不需要留统计余量；模型项的判据可以老实写成统计性的，配可解释率而不是硬指标；而两类项分开之后，一次任务失败能迅速判断是算错了还是判断偏了，归因效率完全不同。 #### 2.1.6　验证数据按四类资产分建并隔离 验证结果可信的前提是验证数据与训练数据分开。若同一批标注样本既用于数据集加工过程中的模型适配，又用于场景验证，指标会系统性偏高，而偏高多少无法估计，验收看到的数值与上线表现之间会留下一段无人能说清的差距。本项目把验证数据按四类资产分建，各自的来源、规模口径与管理方式不同。 训练用标注集供数据集加工与模型适配使用，按标注规范持续扩充，不参与 L2 指标计算，版本随数据集版本走。金标准集是 L2 能力项指标计算的唯一依据，从历史记录中分层抽样后由业务骨干双人独立标注、分歧交第三人仲裁，自建设之初即与训练集隔离，冻结版本管理，变更须经评审并留差异记录。回放窗口用于 L3 端到端任务验证，完整保留一批历史真实任务的原始输入与当时的真实产出，窗口内数据不得进入训练，按窗口编号冻结。构造样本覆盖天然稀少但后果严重的情形，由业务骨干与我方共同设计后人工构造或从历史中定向检索，单独统计、不混入主指标分母，另列专项通过要求。 双重切分的含义需要讲清楚，否则容易做成形式隔离。按来源切分，是指金标准集所取的对象（图号、炉次、工件、设备、项目）不出现在训练集中。这一条比按比例随机划分要严格得多：六个场景的对象在历史数据里反复出现，同一个图号可能有十几个版本，同一台设备可能有上百条工单，随机划分会把同一对象的不同视图分到两边，模型在评测集上看到的其实是训练时见过的东西。按时间切分，是指金标准集取某一时间点之后的数据，训练集取该时间点之前的数据，用来检验模型在时间漂移下的表现。这一条针对的是六个场景都会发生的事：工序字典会修订，库存财务口径会调整，焊接工艺规程会换版，设备会大修后换型。时间切分能把这类漂移暴露出来，随机划分会把它藏起来。 金标准集的规模按场景的对象数量与指标精度要求确定，不追求大。常用的定规是：若要在百分之九十五置信水平下把准确率的区间半宽控制在五个百分点以内，单项指标的金标准样本量约需三百个以上；对需要分层报告的指标（按零件复杂度分层、按物料品类分层、按部件分层），各层分别满足该量级。各场景的具体规模在 2.2 至 2.7 节分别给出，同时写明该规模下指标的置信区间大致有多宽，便于评审时判断指标的可信度而不只看点估计。 构造样本这一类要多说一句，因为它最容易被省掉而又最不该省。热处理的开裂、焊接的根部未熔合、健康诊断的早期轴承损伤，都是低频高损情形，发生频率低，一旦发生损失大。这类情形的自然样本等不来，而验证若不覆盖它们，现场专家的第一个问题就会把方案问住。构造的办法有两条：一条是从历史数据中按特征定向检索相似片段，哪怕当时没有被判定为故障；另一条是在业务骨干指导下人工构造异常输入：参数矛盾、单位陷阱、边界工况、要件缺失，用来验证系统在异常输入下给出正确追问而不是静默填一个合理的数。定向检索不到相似片段的，如实标注该情形暂无样本并列入长期积累计划，不拿相近情形凑数。 #### 2.1.7　判据的定义方式 招标文件的验证要求以能力描述为主，多数条目没有给出数值阈值。本方案为每一条验证项定义判据，定义方式统一为四件事：度量口径、基线档、目标档、不达标时的处置。 度量口径写清分子分母与统计单位。同一个「准确率」，按字段统计、按文档统计、按任务统计会得到三个完全不同的数：一张工艺卡片有四十个字段，三十九个对一个错，按字段算是百分之九十七点五，按文档算是零。验证方案若不写清统计单位，验收时必然产生争议。本节所有指标均注明统计单位，并在涉及高危字段时单列统计。 基线档是我方承诺在首轮验证中达到的水平，也是不达标即进入整改的红线。目标档是经过数据补采与数据集扩充后，在约定观察期内趋向的水平。两档并列而不是只写一个数，原因是本项目多数场景的数据条件要在实施过程中才逐步补齐：以焊接为例，首轮验证时可用的熔池影像仅覆盖已装相机的工位与已采集时段，观察期末则增加了补采数据与新装工位；同一套方法在两个时点上的表现本就不同。用一个数去描述两个时点，要么首轮定得过高而不可达，要么观察期末定得过低而没有意义。 基线档是硬承诺，不是软目标。首轮验证中任一验证项未达基线档，该项即判为不通过，进入整改并复测；整改期内不出具该项的通过结论，也不以「接近基线」作为通过理由。基线档的取值依据写在每个场景的判据表中，三种取法：有历史数据可统计的，取企业现行做法的实测水平作下限；有同类工程经验可参照的，取经验区间的保守端；两者都没有的，用对比基线方式定义。三种取法都可被追问、可被复算。 对比基线是第三种定义方式，适用于当前完全依赖人工经验、没有历史指标可比的验证项，库存的物料需求预测、安全库存阈值测算、热处理的参数寻优都属于这一类。这类项的判据写成「在同一历史窗口上不劣于企业现行做法，并给出改善幅度」，而不是写一个绝对数值，企业现行做法的水平本身尚无统计，凭空给绝对数值既无法验收也无法申辩。采用对比基线的项，第一步工作是把现行做法的水平统计出来，这份统计本身是交付物之一。 不达标时的处置分三种。数据缺口导致的，进入补采或数据集扩充并复测；判据本身定得不合理的，经甲方业务部门与我方共同评审后修订判据并留记录；能力确实不足的，按降级口径交付当前可达档位，并在验证报告中如实标注所处档位与受限原因。观察期末未达目标档的，我方出具差距分析报告，逐项说明差距来自数据覆盖、标注质量、方法适用性还是场景本身的可预测性上限，并给出继续改善的动作与所需条件；其中属我方责任的部分（标注质量、方法实现），由我方在质保期内继续整改，不另行计费。 判据一经确认即进入判据登记表集中管理，登记字段与一条完整登记样例见 4.2 节。 #### 2.1.8　验证流程 验证按七步推进，每一步有明确的输入、输出与签认对象。 表 2-2　场景验证七步流程 | 步骤 | 做什么 | 输出 | 签认 | |---|---|---|---| | 一 方案评审 | 定被验证能力清单、指标口径、两档判据、试点范围、见证安排 | 单场景验证方案 | 甲方业务与技术部门 | | 二 就绪度体检 | 核查对象、主键、字段、配对率、取数通道与授权 | 就绪度报告与缺口清单 | 我方出具，甲方确认缺口归属 | | 三 资产建设 | 分层抽样、双人标注与仲裁、回放窗口冻结、构造样本设计 | 冻结版金标准集与用例集 | 业务骨干确认标注口径 | | 四 环境与基线 | 数据集版本与模型版本成对登记，四组对照的模型版本派生完成 | 环境基线记录与对照组清单 | 我方 | | 五 执行与见证 | 按用例集在沙箱内执行，过程留痕，异常现场记录 | 执行日志与原始结果 | 甲方见证岗位 | | 六 判定与归因 | 按判据判定，失败用例做贡献度归因与错题溯源 | 验证结论与归因报告 | 联合评审 | | 七 整改与复测 | 数据补采或数据集修订后，跑受影响子集与回归子集 | 复测报告与差异说明 | 甲方确认闭环 | 表 2-2　数据来源：招标文件 3.2.6.5.1 验证要求条目；归因与溯源能力对应采购清单第 2 项第 24 条数据贡献度归因与错题溯源工具链（b0804r03）。 第四步容易被当成例行准备，实际上它是对照实验能否成立的关口。四组对照的模型版本必须在这一步一次派生完成并冻结，之后执行期内不再改动。若在执行过程中因为某一组表现不好而重新训练一版，再把新版本的结果填进表里，整张对照表就失去意义了。环境基线记录要写明每一组的数据集切片、训练配置与版本号，见证岗位在第五步核对的第一件事就是执行时所用版本与基线记录是否一致。 第六步的归因是本节与一般功能测试的主要区别。一次用例失败可能来自四个方向：输入数据本身有错或缺字段；标注口径与判据口径不一致；数据集在该类情形上的样本不足；场景实现侧的问题。归因要给出方向判断与证据，而不是只报一个失败数。 做法是把失败用例按对象回溯到它所依赖的数据集切片与样本，统计这些切片在同类失败中的出现频次，再与成功用例的切片分布比对。频次显著偏高的切片即为嫌疑来源，进入抽样复核。复核确认为样本不足的，转为数据集扩充需求，附上需要补多少、补什么特征的具体说明。2.1.4 节的子集消融结果在这里有第二重用途：某一类数据抽掉后指标下降明显的，说明该类数据是当前能力的主要支撑，相关失败优先往这一类上查。 第七步的复测范围不是整批重跑。整批重跑耗时，而且会把问题掩盖在平均数里。复测跑两个子集：受影响用例子集，即本次整改所针对的失败用例及其同类用例；回归子集，从历次已通过用例中按比例抽取，用于发现整改引入的回退。复测次数的口径与本投标文件「数据集质量评测方案」节的集中复测安排一致，不另立一套。 #### 2.1.9　归因结论的两条去向 归因的价值在于它的去向。本方案把归因结论分两条路处理，两条路的格式、接收方与闭环方式都不同。 判为数据侧的，转为一条结构化的数据集改进需求，提交数据集加工生产侧。字段固定为六项：来源用例（失败用例编号、所属场景、所属验证项，可回溯到原始输入与输出）；失败表现（具体错在哪一字段或哪一判断，不写「准确率不够」，写「某类坡口的倒角要素被漏提」）；归因结论（方向判断及其证据，数据侧缺陷按缺陷字典归类定级，成因归入采集、解析、标注、加工、治理五类环节之一，等级按高中低三级划定）；所需补充（需要补什么数据、补多少、补什么特征）；影响范围（该缺口还会影响哪些验证项与哪些场景）；优先级与期限。需求的提交、受理、执行、复测、关闭五个状态在奔牛数据智能平台上留痕，每次状态变更记录时间与岗位。 判为实现侧的，单列一类移交场景建设方，不进入数据集缺陷统计，也不计入数据侧的整改闭环率。这一条是责任边界的必要界定：验证台能够区分「数据没教会它」和「它没按数据做」，前者是本包的责任，后者不是。区分的证据来自验证智能体的逐步留痕：同一条输入，若检索到的证据片段正确、确定性引擎的计算结果正确，而最终输出错了，问题就不在数据侧。 加工质检、数据集评测、场景验证三道关口共用一套缺陷记录口径，结论可合并统计。这一点在实施中很要紧：三处各记一笔而口径不同，到验收时就对不上账，整改率这类汇总指标会出现三个版本。 #### 2.1.10　降级与回退 绝对指标在工程上站不住，验证方案必须写清条件不具备时退到哪里。本方案的降级遵循三条规则。 第一条，就地降级并如实标注。任一数据条件暂不可用时，相关能力退到该条件下仍成立的层级，并在输出上标注当前分析层级与受限原因，而不是静默给出一个无依据的结论。健康诊断在缺少轴上角位置基准时，结论止于测点级而不下到部件级；焊接在人工焊工位不具备焊道级采集条件时，可用粒度只到焊缝级；热处理在无炉位登记时，位置类结论只到炉次级。 第二条，条件恢复后重算。缺口补齐后按完整能力重新计算，历史结论保留其当时所依据的判据版本与数据段，供前后比对。这一条要求验证记录带版本与数据段引用，不能只存结论。 第三条，人工通道始终可用。六个场景的输出都进入有责任的业务流程，系统不可用、输入不可解析或置信度不足时，须有不依赖本项目成果的人工通道可走。该通道的可用性本身是一个验证项，板材备料的应急工艺通道即属此类（b1628），验证方式是演练而非指标。 表 2-3　降级分档的通用口径 | 档位 | 触发条件 | 输出形态 | 标注要求 | |---|---|---|---| | A 完整 | 数据通道齐备、字段覆盖达标、配对关系成立 | 按完整判据输出结论与建议 | 标注数据集版本与判据版本 | | B 受限 | 部分通道缺失或粒度不足，核心对象仍可定位 | 输出较粗粒度结论并给出缺口说明 | 标注受限维度与当前分析层级 | | C 只做管理 | 关键配对关系不成立或采集链路体检未通过 | 只做趋势呈现与事件登记，不给判断结论 | 标注退出判断的具体原因与检查建议 | 表 2-3　数据来源：本方案按招标文件各场景数据条件差异设定；分档规则在 2.2 至 2.7 节逐场景具体化。 降级之外还有两类情形需要事先约定，它们不是方法问题也不是数据量问题，而是该场景在当前现场条件下无法形成可判定的结论。 第一类是判定来源本身不存在。某类缺陷在企业历史上从未做过系统性的判定记录，既没有检验结论也没有返修记录，那么无论采集多少图像都构造不出带可信标签的验证集。缺的是标签的来源，不是标注的工作量。处置是在就绪度核验阶段即识别并上报，与招标方共同在三种办法中选一种：改为由业务专家现场逐例判定，形成新的判定来源，需额外工时；缩小该验证项的范围至有判定记录的子类；或将该项移出本期验证范围并在验证报告中如实说明。三种处置都在报告中留痕。 第二类是可预测性上限低于判据。某些现象受未被采集的变量主导，熔池状态同时受保护气流量、母材表面状态、环境风速影响，而后两者当前无采集手段；此时即便数据量继续增加，验证指标也会在某个水平上停住。处置是在首轮验证后用学习曲线判断：若指标随样本量增加已趋平而仍低于基线档，则判定为可预测性受限，出具专项说明，列明缺失的变量与补齐该变量所需的条件，并建议调整该项判据或增设采集手段。用数据说明到这里为什么上不去，比反复加样本更负责，也比把指标写低更经得起追问。 这两类情形的识别时点都在就绪度核验与首轮验证之间，目的是不让项目在明知不可达的目标上持续投入。 #### 2.1.11　标注口径与一致性管理 金标准集的可信度取决于标注，标注的可信度取决于口径与一致性管理。本节把六个场景的标注要求集中规定，各场景按此执行；标注规范的总体体例见本投标文件「数据标注与质检」相关节，本节只写验证用金标准集的特定要求。 第一条规则是标注口径与判据口径同源并同版本发布。各场景的标注依据统一到该场景所述的判据与分级口径上：热处理的质量判定分级、焊接的缺陷类别与检出手段对应关系、健康诊断的故障名录与证据分级。标注口径与判据口径分别演进，是样本与模型失配最常见的起因，标注员按一套理解打标签，验证时按另一套口径判对错，指标再怎么调也对不上。因此判据修订时标注规范同步复核，并对此前已标注样本中同类情形做回溯复核。 第二条规则是标注粒度与被验证能力的最小判定单位一致。能力判定到焊道一级，标注就要到焊道一级；能力判定到炉位一级，标注就要带炉位号。粒度不足会导致指标虚高：把焊缝级标注用于焊道级判定，等于把一条焊缝上四道焊当成同一个答案。 第三条规则是一致性必须被度量而不是被假定。双人独立标注之后先算一致率，再处理分歧。一致率低于门限时不是简单仲裁了事，而要回头检查标注规范本身是否有歧义，两位骨干都按规范做却得到不同结果，问题在规范，不在人。 表 2-4　六场景金标准集的标注粒度与一致性门限 | 场景 | 标注对象与粒度 | 一致性度量方式 | 门限与返工规则 | |---|---|---|---| | 产品智能选型 | 任务级要素取值与原文位置；配置级历史定案与校核结果 | 逐字段比对，取值与单位须同时一致方计一致 | 字段级一致率低于 90% 该批返工并复核参数字典别名 | | 板材备料工艺智能设计 | 图纸级要素取值；零件级工序序列、设备工装、定额与展开长；另标判读依据 | 几何类按坐标容差，符号类按类别，工序序列按集合与顺序分别比对 | 要素级低于 92%、工序集合低于 88% 返工；判读依据缺失的样本不入集 | | 库存控制智能化 | 物料级健康评级；复盘条目级成因主因与次因 | 评级用加权一致性系数；成因按主因一致与前两位命中分别统计 | 加权系数低于 0.55 返工并复核评价因子；主因一致率低于 70% 重定成因大类 | | 热处理过程智能监控 | 炉次级与件次级质量判定；不合格票级成因 | 检验实测值直接取客观值不作标注，成因双人独立复核 | 成因主因一致率低于 72% 返工并复核故障机理描述 | | 焊接过程控制智能监控 | 图像级与缺陷实例级类别与位置；焊道级质量结论 | 位置按重合度，类别按混淆矩阵统计，边界模糊样本单列 | 类别低于 90%、位置重合达标率低于 85% 返工；裂纹与未熔合三人标注取多数 | | 刮板输送装备健康智能诊断 | 事件级部件与失效模式、数据段区间；测点级采集链路问题 | 部件与失效模式双人独立判定；数据段按起止时刻偏差比对 | 部件低于 88%、失效模式低于 80% 返工并复核故障名录；证据等级分歧按较低等级采纳 | 表 2-4　数据来源：各场景判据口径（见 2.2.2.10、2.3.2.11、2.4.2.11、2.5.2.10、2.6.2.10、2.7.2.11 各节）；标注规范体例见本投标文件数据标注与质检相关节。 仲裁的组织方式统一：分歧样本集中到仲裁会上处理，仲裁人不参与原标注；仲裁结论写明依据，可以是规范条款、原文位置、检验记录或拆检发现，并判断该分歧是否暴露规范歧义。仲裁记录编号写入用例卡的参考答案字段，使任一条参考答案都能追到它的形成过程。 标注员培训与抽检也写入流程：正式标注启动前以不少于三十个样本做口径对齐，对齐通过后方可正式标注；正式标注期间按不低于百分之五的比例抽检，抽检不合格的批次整批复核。 #### 2.1.12　血缘、留痕与见证 验证结论若不绑定版本，下一轮升级后就无法判断指标变化来自哪一侧。本方案要求每一次验证运行绑定三元标识：数据集版本指纹、模型版本、判据版本。三元标识由数据集与模型版本血缘追溯工具链记录（采购清单第 2 项第 25 条，b0804r03），进入奔牛数据智能平台的版本与审计模块。血缘记录暂不可用时以验证报告中的版本登记替代，但自动溯源能力相应不具备，这一点在报告中注明。 留痕覆盖四项：用例输入与输出的原始记录；判定结论及其所依据的判据版本；数据集版本与模型版本的成对标识；见证人员的签认记录。留痕的覆盖率趋向全量，首轮验证的抽样复核比例不低于用例总数的百分之十，复核发现留痕缺失的用例判定为未完成并重跑。 验证执行由我方组建的验证组承担，按场景分工，不另设与甲方重叠的岗位。验证组的工作分三类：方案与判据设计、金标准集建设与标注仲裁、执行与归因。甲方指派业务见证岗位参与第五步执行与第六步判定；涉及企业技术权威的判据由甲方相应部门确认后固化为判据依据，验证过程中不自行修改。 见证有一项操作纪律需要写明：见证不是旁观。见证岗位在第五步要核对三件事，投放的用例集是否为冻结版本，数据集与模型版本是否与环境基线记录一致，异常用例是否被如实记录。核对不一致的，当次执行结果不计入统计，纠正后重跑。这一条是为了防止验证结论建立在无人核对过的执行条件上。七步流程的通用见证点清单见 4.4 节，各场景在此基础上增补场景特有见证点。 #### 2.1.13　验证用数据与四大数据集、工具链的对应关系 六个场景的验证数据并非另建一套，而是从本项目四大数据集中按场景划取切片；验证所用的工具也不另行开发，而是调用本项目九类二十五个智能工具链中的相应工具。写清这两重对应关系有三个作用：让验证结论可以落回到具体的数据集切片与工具产出，让数据集的规模指标与场景验证的覆盖范围互相印证，以及让采购清单第 2 项所列的二十五条工具链在场景侧有具体落点。 表 2-5　六场景与四大数据集分域、主要工具链的对应 | 场景 | 主要取用数据域 | 取用的数据集类型 | 本场景重点调用的工具链 | |---|---|---|---| | 产品智能选型 | 供需计划、产品工艺设计 | 预训练语料、指令微调、基准测试 | 文档结构解析、RAG 数据构建、人机协同思维链标注、数据集切分与基准构建 | | 板材备料工艺智能设计 | 产品工艺设计 | 预训练语料、指令微调、偏好数据、基准测试 | 设备图纸与工艺图结构化抽取、本体驱动规则标注、一致性校验标注、模板化数据生成 | | 库存控制智能化 | 供需计划 | 预训练语料、指令微调、基准测试 | 结构化工单转对话、数据分布分析与均衡、指令数据生成、多协议模型评测引擎 | | 热处理过程智能监控 | 制造过程、产品质量 | 预训练语料、指令微调、基准测试 | 传感器时序与运维事件对齐、大模型预标注、主动学习标注、数据贡献度归因与错题溯源 | | 焊接过程控制智能监控 | 制造过程、产品质量 | 预训练语料、指令微调、多模态标注、基准测试 | 视频与文本对齐、传感器时序与运维事件对齐、大模型预标注、数据去重与相似度过滤 | | 刮板输送装备健康智能诊断 | 制造过程、产品质量 | 预训练语料、指令微调、偏好数据、基准测试 | 工单与故障场景模拟生成、传感器时序与运维事件对齐、主动学习标注、数据集与模型版本血缘追溯 | 表 2-5　数据来源：四大数据集分域构成见本投标文件四大数据集规模指标节（预训练 615 亿 Token 由供需计划 276、工艺设计 70、制造过程 105、质量 164 四域构成；指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条按同一四域分配）；工具链名称与编号依采购清单第 2 项（b0804r03）。 两处取用关系需要特别说明。 基准测试数据集与本节金标准集的关系是同源不同用。基准测试数据集是数据集交付物的一部分，规模口径为 0.95 万条，按四个数据域分配；本节的场景基准题集按场景从同一批素材中划取，但二者在使用上严格分开。基准测试集用于数据集自身的规模与质量指标核算，场景基准题集用于场景能力的指标计算与四组对照的横评。若两者混用，场景指标会被基准集的构造方式带偏，而数据集的质量指标又会被场景任务的难度带偏。划取时按对象与时间双重切分，切分规则随金标准集一并提交。 偏好数据的来源在两个场景上有特殊性。板材备料的工序排序优劣、健康诊断的检查顺序优劣，都属于有多个可行答案而有优劣之分的情形，适合构成偏好对；这类偏好数据的标注依据直接来自本节的判读依据标注与建议采纳记录。因此这两个场景的验证执行本身就在产出偏好数据，验证与数据集建设在这里是同一件事的两面。偏好数据的总规模口径为 6.6 万组，分域构成见四大数据集规模指标节。 #### 2.1.14　智能体的步骤级验证 六个场景的验证任务都不是一次模型调用能完成的。一次选型任务要走七步，一张工艺卡片要走七步，一个炉次的分析要走六步，一条焊道要走六步。任务由多步组成，这件事本身给验证带来三个只在多步系统上才出现的问题，必须单独立判据，否则整件任务不可用而每一步的指标都好看，归因无从下手。 第一个问题是误差传播。多步任务的整体正确率不是各步正确率的简单乘积，但它确实随步数衰减；更要紧的是衰减不均匀，某一步的错误会被下游放大，另一些步的错误会被下游的校验吸收。选型里的参数归一错一个单位，后面校核、排序、成稿全错；而工步描述写得不够规范，在成稿环节会被模板纠正。因此本方案要求对每一步单独统计步级正确率，并统计条件正确率，即在上游各步均正确的前提下该步的正确率。两个数并列才能看出问题在哪：步级正确率低而条件正确率高，说明该步本身没问题，是上游污染；两个都低，才是该步的能力问题。 第二个问题是工具调用的正确性。验证智能体要调用确定性引擎、检索、规则库与计算组件，调用正确性包含三件事：选对了工具（该调校核引擎的地方没有自己算）、传对了参数（契约规定的输入清单与单位量纲都对）、以及正确处理了返回（含异常码的处理）。这三件事在指标上常被忽略，因为最终输出可能碰巧对，模型自己算出的驱动功率可能接近真值，但它绕过了签封公式，这个结论在工程上不成立。因此工具调用正确性单列为验证项，判据是选择正确率、参数正确率与异常处理正确率三项，统计单位按调用次数。涉及确定性计算的场景，这一项的基线写成不允许绕过：应当调用确定性引擎而未调用的次数为零。 第三个问题是人审检查点的有效性。六个场景都在关键位置设了人审检查点，检查点的作用是拦住一旦错过后面全错的情形。检查点有没有用，不能靠它存在来证明，要靠拦截数据来证明。本方案对每个检查点统计三个量：触达率（应当停下来等确认的任务中实际停下来的比例）、拦截有效数（在检查点上被改正的实质错误数）、以及误停率（无实质问题而被要求确认的比例）。误停率这一项不可省，检查点停得太勤，岗位会养成不看就点确认的习惯，那时检查点等于不存在。误停率的门限按场景的任务频次设定，频次高的场景门限要严。 多轮状态一致性是第四项，它在选型与库存两个场景上尤其重要。任务状态由系统统一保存一份、各步共同读写，不各自留存副本。验证方式是在任务中途改动一项输入，检查全部下游步骤是否按新值重算，以及最终输出中引用的参数版本是否与实际送算的版本一致。这一类不一致在报告成稿之后极难发现，报告读起来通顺，数字却来自旧版本。因此本方案把它写成一项独立验证项，用构造样本检验：在人审检查点改一个参数，看系统是否拦住了未重算就成稿的动作。 #### 表 2-6　智能体步骤级验证的四项通用判据 | 判据 | 度量口径 | 基线档 | 适用场景 | |---|---|---|---| | 步级与条件正确率 | 按步统计正确率，并统计上游全对前提下的条件正确率，两数并列 | 各步条件正确率不低于该场景 L2 同类指标的基线 | 六场景 | | 工具调用正确性 | 按调用次数统计选择、参数、异常处理三项正确率 | 三项各 ≥98%；应调确定性引擎而未调的次数为零 | 六场景 | | 人审检查点有效性 | 触达率、拦截有效数、误停率三项 | 触达率 ≥98%；误停率按场景任务频次设门限并逐轮下降 | 六场景 | | 多轮状态一致性 | 中途改动输入后下游重算完整率；输出引用版本与实际送算版本一致率 | 两项均趋向全量；不一致即判该用例失败 | 选型、库存、备料 | 表 2-6　数据来源：本方案按六场景的任务步骤结构设计；工具链与确定性引擎的接口见本投标文件智能工具链节。 #### 2.1.15　评测沙箱与判分规则 沙箱是对照实验与指标复现的载体，它的要求不多，但每一条都不能省。 固定题型。场景基准题集按题型组织，每一类题型有固定的输入格式、输出格式与判分方式。本节涉及的题型有六类：要素抽取类（输出为字段取值与位置，按字段比对）、复算类（输出为数值，按相对偏差比对）、分类与判级类（输出为类别，按混淆矩阵统计）、排序与推荐类（输出为有序列表，按一致率与命中率统计）、检测与定位类（输出为类别加位置，按类别与重合度分别统计）、生成与说明类（输出为文本，按关键事实覆盖率与证据字段完整率统计，不用文本相似度）。最后一类的判分方式要特别说明：生成类输出用文本相似度打分是常见做法，但在本项目不适用，一份归因说明写得与参考答案字面接近而事实错了，相似度会给高分。因此本方案对生成类一律按关键事实清单逐项核对，清单随参考答案一并标注。 固定版本与种子。每次运行记录数据集版本指纹、模型版本、判据版本、随机种子与采样参数。同一组配置重跑，结果应当一致；不一致说明沙箱本身有问题，这件事比指标高低更要紧，因此本方案把沙箱自检列为第四步环境准备的内容：同一批用例在同一版本上连跑两次，结果不一致即停下来查沙箱，不带着不确定的沙箱往下做。 多协议并行投放。同一批用例要能同时投向多个模型版本，这是四组对照成立的技术前提。实现由多协议模型评测引擎工具链承担（采购清单第 2 项第 23 条，b0804r03），验证侧的要求是：各组之间除被测对象外的全部条件必须一致，含提示词、上下文构造方式、检索配置与采样参数。提示词在各组之间保持一致这一条容易被忽略，给微调版本写一套更贴合的提示词，再去和基座比，得到的差值里混进了提示词工程的贡献。 判分的人工环节也要固定。分类与判级类、生成与说明类的部分判分依赖人工，判分人须与标注人分离，判分规则须在执行前成文，判分过程按不低于百分之十的比例做复核。人工判分的一致率本身要统计并报告，判分不一致的指标，其精度上限就是判分的一致率。 #### 2.1.16　模型侧训练与对齐在场景验证中的用法 场景验证按以下方式使用训推侧的训练与对齐成果并采信其结论。训推平台的形态、算力规划与训练工程做法见本投标文件行业大模型训练推理技术服务节。 继续预训练的验证用法是知识注入探针。四大数据集中的预训练语料经分布式继续预训练后，其知识是否真的进了模型，不能靠下游任务间接判断，下游任务的提升可能来自指令格式的适配而不是知识。因此本节在六个场景上各建一组领域知识探针题，题目形式是企业内部事实的直接问答（某牌号的工艺窗口上限、某工序的前置依赖、某部件的典型失效模式），不含推理成分，用来单独度量知识注入的效果。同时监测保留语料的困惑度变化，用以发现灾难性遗忘。两项合起来，才能说明继续预训练这一步是否有效。 指令微调的验证用法是按切片评测。指令微调数据按场景、任务、难度切片，评测也按同样的切片报告。不按切片报告，一个总体准确率会把难题上的失败藏在易题的高分里。本节要求每个场景的 L2 指标按难度分层报告，分层依据在抽样框架中给出。基础微调、子集消融微调、混合配比微调三套实验的结果，在场景侧按 2.1.4 节的对照规则采信。 偏好对齐的验证用法限定在三类任务上：板材备料的工序排序、健康诊断的检查顺序、以及各场景的参数与方案推荐。这三类的共同特征是有多个可行答案而有优劣之分，适合用偏好数据表达。对齐效果的验证报四项：偏好判别准确率、对齐前后在场景基准题集上的指标变化、以及两项负向观察，回答长度分布的变化与奖励取巧的迹象。奖励取巧在本项目有具体的表现形式，在各场景中已分别写明：备料场景表现为倾向多排工序以提高不漏序的评分，健康诊断表现为建议把所有能查的都查一遍，焊接表现为给出过宽的参数区间以避免越界。这三种取巧都能提高表面分数而降低实用价值，必须用分布比对的方式发现，不能只看准确率。 多阶段横评是上述三项的汇总形式。同一批场景基准题集投向基座、继续预训练后、指令微调后、偏好对齐后四个阶段的模型版本，输出各阶段的指标与能力雷达图。横评的作用是让每一笔训练投入都有对应的能力变化可查；若某一阶段的投入没有带来可观测的能力变化，这个结论本身有价值，它指向该阶段的数据或配比需要调整。 错题归因是闭环的最后一环，也是本节与训推侧的主要接口。横评与场景验证产出的错题，按 2.1.9 节的格式做训练数据归因，形成结构化整改任务单回流数据集加工环节；整改后的数据集版本重新训练与评测，新旧结果按三元血缘标识对齐比较。 #### 2.1.17　三类模态在验证中的对齐与标注口径 六个场景涉及文本、图像与时序三类模态，三类的对齐方式与标注口径不同，集中在此规定，各场景不再重复。 文本侧的口径是位置可回溯。凡从文档中抽取的取值，须能定位到来源文件与段落；凡引用规范或工艺文件的结论，须带文件号与版本。位置可回溯率是一项独立指标，不并入抽取正确率，抽对了但说不出出处，在有责任的业务流程里仍然不可用。 图像侧的口径是位置定义与容差先行。缺陷标注的位置须有明确的坐标系与定位方式：焊接按焊缝编号加里程加层道三级定位，热处理按零件部位分区定位。重合度的判定容差在标注规范中写明并经骨干确认，不在判定时临时商定。图像的采集条件也要记录：取景距离、光照、是否清渣，这些条件的变化会显著影响检出指标，不记录就无法解释指标的批次间波动。 时序侧的口径是时间基准统一与切窗规则明确。多测点、多设备的时间基准须对齐，偏移量须测定并记录；跨系统取数时，各系统的时间戳语义（采集时刻、入库时刻、事件发生时刻）须逐一确认，混用会把正常曲线算成异常。切窗规则按事件锚定：以起弧、出炉、报警、工况切换等事件为锚点向前后取窗，窗长在验证方案中写明；按固定长度均匀切窗的做法在本项目不适用，因为事件的持续时间差别很大。重采样与缺失补齐的算子版本与参数须登记，这一点影响复现：同一段原始数据用不同的补齐方式处理，部件级特征频率的幅值会有差别。 三类模态的交叉对齐是焊接与热处理两个场景的特有问题，口径已在 2.6.2.4 节与 2.5.2.4 节分别写明：融合在决策层而非特征层，两侧的不一致本身作为待查信号记录。 #### 2.1.18　「包括但不限于」条目的应答方式 六个场景的验证要求开头都写着「须提供……全流程验证能力，包括但不限于」（b1610、b1626、b1644、b1667、b1681、b1701）。这一句式意味着后面列出的条目是示例而非穷举，应答方式因此不能是逐条对号入座了事。本方案的处理分三层。 第一层，列出的条目逐条应答，不遗漏、不合并。2.2 至 2.7 节的被验证能力表与招标文件条目一一对应，每一条给编号、判据性质与验证层级，便于合稿索引与评标核对。条目拆分的原则在 2.1.1 节已写明：一项能力对应一种判据性质，确定性计算与统计性推断不混在一项里。 第二层，按业务任务的真实步骤组织验证，而不是按条目清单组织。验证智能体的拆步依据是岗位实际怎么做这件事，因此条目之外但任务必经的步骤会自然落在链条上。举几处具体的：选型的单位量纲消歧与多来源冲突处理不在条目里，但它是任务能否走通的前提；备料的借用件分堆不在条目里，但一套产品五百多张图纸中相当比例属借用，不分堆就谈不上效率；热处理的计量状态前置检查不在条目里，但没有它，曲线类结论的可信度无从保证；焊接的焊道边界锚定不在条目里，而条目中要求的「一一关联」若没有它根本不成立。这些步骤在本节都给了判据，它们正是「不限于」所覆盖的内容。 第三层，把条目之外的验证内容明确标出。2.2 至 2.7 节的被验证能力表中，凡标书依据列能指到具体单元 id 的，属列出条目；少数由任务链条推导而来的验证项，在正文中说明其与哪一条条目的关系，不虚构标书依据。这样做的用意是让评标能清楚分辨哪些是对条目的应答、哪些是我方按专业判断补充的内容，二者都有，但不混在一起充数。 #### 2.1.19　服务采购清单条目与二十五条工具链在场景验证中的落点 服务采购清单共七项服务，场景验证服务是第 5 项「数据集加工生产实施服务」下的子项。七项之间的接口关系与工具链的具体落点如下。 第 1 项数据资源建设服务（b0804r02）列出的外围应用系统，是本节六个场景验证数据的取数来源。十七个系统中，本节直接取用的有 PLM、ERP、MES、QMS、WMS、SCM、CRM、SCADA、EAM、热处理群控系统与主数据管理平台；其中 PLM 与 ERP 在五个场景中都要取数，是接口开通的优先项。多格式多模态数据接入这一条对应本节两处：图纸的原生格式直读与矢量化，以及熔池视频、焊缝图像与热成像的离线非结构化数据解析。 第 2 项数据集加工生产专项智能工具链建设服务（b0804r03）所列九类二十五个工具链，与本节的对应关系见 2.1.13 节表 2-5。其中第 22 至 25 条是验证台的直接支撑：数据集切分与基准构建工具链产出场景基准题集与金标准集的切分；多协议模型评测引擎工具链实现评测沙箱与多模型并行投放；数据贡献度归因与错题溯源工具链实现失败用例回溯到数据集切片；数据集与模型版本血缘追溯工具链实现三元标识的记录与溯源。四条工具链的建设见本投标文件智能工具链建设节，此处只写它们在验证中的用法。 第 3 项数据集运营服务管理平台建设服务（b0804r04）所列十六个功能模块中，本节使用版本管理、全流程审计管理、数据集服务与对外接口四个：验证过程的留痕、版本登记与审计记录进入平台统一管理，不另建台账；验证所用的数据集切片通过平台的数据集服务取用，取用记录进审计。 第 4 项系统集成服务（b0804r05）与本节的接口在硬件侧：感知设备的网络连接与适配完成后，焊接与热处理两个场景的多模态验证数据才具备在线获取条件；设备到位前的降档口径见 2.6.2.2 节与 2.5.2.2 节。 第 5 项数据集加工生产实施服务（b0804r06）的八条备注中，第 1 条列出的七项全流程实施服务含「数据集场景验证服务」，即本节；第 4 条数据标注规范与本节的金标准集标注要求同源，本节的特定要求见 2.1.11 节；第 7 条项目安全合规建设对本服务的约束见 2.1.20 节。其余各条在本投标文件相应章节应答。 第 6 项信息安全风险评估服务（b0804r07）不在本节范围，但本节的验证台作为处理生产数据与矿方运行数据的装置，其数据处理位置、权限控制与审计记录须纳入该项评估范围，这一点在本节写明以免遗漏。 第 7 项数据集质量测评服务（b0804r08）与本节的分工边界见 3.8 节。 九类二十五条工具链在六个场景验证中的落点按工具链一侧逐类列明如下（b0804r03）；场景一侧的对应关系见 2.1.13 节表 2-5。 思维链构建类两条。大模型自生成思维链工具链与人机协同思维链标注工具链，在本节的落点是判读依据与归因依据的结构化。板材备料的判读依据标注、热处理的成因判定依据、健康诊断的失效模式判定依据，都是「结论加推理过程」的形式，由这两条工具链组织；它们也是偏好数据与可解释率参考答案的来源。 长上下文数据构建类三条。文档切分与拼接、RAG 数据构建、文档结构解析三条，在本节的落点是选型的矿方资料解析与要素抽取、以及检索增强对照组的证据片段构造。选型任务的输入是多份长文档，参数散在正文与附表，文档结构解析的质量直接决定要素抽取的上限。 多轮对话数据构建类三条。对话模拟生成、结构化工单转对话、对话质量筛选三条，在本节的主要落点是库存场景的复盘问答与健康诊断的运维问答。结构化工单转对话这一条在健康诊断上尤其直接：服务工单的结构化回填内容经转换后构成问答样本，这也是回填这项流程改造的第二重价值。 多模态数据对齐类三条。设备图纸与工艺图结构化抽取工具链是板材备料场景的核心工具，图纸要素提取的全部样本由它组织；视频与文本对齐工具链用于焊接场景的熔池视频与检测结论对齐；传感器时序与运维事件对齐工具链在热处理、焊接、健康诊断三个场景都用，分别对应曲线与炉次绑定、参数段与焊道绑定、数据段与故障事件绑定。2.6.2.11 节的对齐样本消融实验度量的正是后两条工具链的产出价值。 智能标注类四条。大模型预标注与主动学习标注两条用于热处理与焊接的图像标注，两个场景的缺陷样本量大而标注资源有限，预标注加人工确认是现实的组织方式，主动学习用于在样本不均衡时优先挑选信息量大的样本送标。本体驱动规则标注工具链用于板材备料的工序与要素标注，规则来自工序字典与分档规则表。一致性校验标注工具链用于六个场景的双人标注一致率计算与分歧归集，2.1.11 节所述的一致性管理由它实现。 数据生成与增强类三条。指令数据生成工具链用于各场景指令微调子集的组织；工单与故障场景模拟生成工具链用于健康诊断的构造样本，特别是低频失效模式的情景构造；文本重写与多样化工具链用于口语与书面表述的覆盖扩充，选型场景的会商口语表述、健康诊断的运维记录用语都用到它。须写明一处约束：这三条工具链的产出一律不进入场景基准题集，基准题集不含任何形式的合成数据。 数据质量与分布控制类两条。数据去重与相似度过滤工具链在本节有一项关键用途，保证金标准集与训练集的双重切分真正干净。按对象与时间切分之后，仍可能存在内容高度相似的样本跨两侧分布（同一零件的不同版本图纸、同一矿井不同工作面的资料），须由相似度过滤查出并处理。数据分布分析与均衡工具链用于分层抽样框架的构造与各层覆盖度的核算。 数据生成控制与评测类两条。模板化数据生成工具链用于构造样本中模板化情形的批量生成，如单位陷阱与要件缺失类样本。数据集切分与基准构建工具链产出场景基准题集与金标准集的切分，并保证消融版本与完整版本使用同一套切分。这一点是对照实验差值可信的前提。 数据集验证与归因类三条，是验证台的三根支柱。多协议模型评测引擎工具链实现评测沙箱与多模型并行投放，四组对照由它承载。数据贡献度归因与错题溯源工具链实现失败用例回溯到数据集切片与样本标识，2.1.8 节第六步与 2.1.9 节的回流格式依赖它。数据集与模型版本血缘追溯工具链记录三元标识，使验证结论在数据集与模型双侧升级后仍可比对。 二十五条之中，本节直接使用或间接依赖的覆盖全部九类。工具链自身的功能设计、实现方式与交付标准见本投标文件智能工具链建设节。 #### 2.1.20　验证数据的合规处置 本节涉及三类需要合规处置的数据，处置方式在此写明。 矿方运行数据。健康诊断场景的运行数据来自在役设备所在矿井，其处理位置与外传范围以矿方授权为准，授权范围逐矿点确认并形成可实施矿点清单。授权不包含外传的，数据处理在矿方受控域内完成，只有分析结论与脱敏后的特征统计出域。 企业技术秘密数据。图纸、工艺文件、参数窗口、选型方案、校核公式与故障机理文件属企业技术秘密，按敏感级别分级管理。调用模型服务时的放行判据统一到模型网关：命中最高敏感级判定规则的内容一律在网关层拦截，不以已裁剪为最小必要上下文作为放行理由。这一条在本节的具体落点是对照实验，检索增强组要把证据片段放入上下文，而证据片段来自企业知识库，因此该组的执行须在合规域内进行，不得将片段带出。 人员相关数据。焊工资质与培训记录、操作人员与报工记录涉及个人信息，按授权只读接入并作去标识化处理；未获授权时只输出频次统计，不输出可关联到个人的结论。本节的任何指标、任何报告均不以个人为统计单位，也不出具个人能力评价。 验证过程产生的留痕数据按项目数据管理制度归档，保留期限与访问权限随数据集运营服务管理平台的审计模块统一设定。 ### 2.2　产品智能选型（3.2.6.5.1.1） #### 2.2.1　场景介绍（3.2.6.5.1.1.1） 产品智能选型是矿山装备从客户需求到技术方案输出的首要环节，面向刮板输送机、转载机、破碎机、带式输送机用自移机尾、转载机自移系统开展。矿方提供矿井产量、采高、工作面长度、倾角、配套设备等参数后，当前由工程师手工计算、经验调整、文档编撰完成选型方案，招标文件列出四类痛点：选型高度依赖专家经验、知识传承困难；理论计算与实际选型存在断层；历史数据价值未充分挖掘、缺乏闭环优化；定制化比例偏高、增加交付成本与周期（b1607）。场景主线为客户需求输入、参数智能解析、参数计算、选型方案推荐、选型结果生成，基于产品设计数据、产品参数组配、选型规则、历史案例和专家经验构建选型数据集，通过大模型、公式引擎与规则引擎联合实现需求结构化、参数自动计算、方案自动匹配推荐与报告生成（b1608）。 从验证的角度看，这个场景有四处容易被忽略的地方，它们决定了验证方案的设计，也决定了指标该怎么定。 第一处是选型任务的输入不来自单一文件。产量与作业制度类参数来自矿方生产规划，地质与煤质类参数来自地质条件报告与采煤规程，而截深、截割高度、水平推移步距、支架中心距一类配套接口参数，是矿方与采煤机、液压支架、破碎机各方会商妥协之后确定的。现场会商通常要开两天，谈定的接口条件往往只存在于交流过程中，缺少规范的电子留痕：某项参数当时由谁提出、各方是否都认了、有没有附带条件，事后只能凭记忆复述。因此需求解析能力的验证不能只测「从一份文档里抽字段」，而要测多来源输入在同一选型任务号下的归集、版本管理与冲突处理。 第二处，也是最要紧的一处，是企业现有的选型公式在性质上是校核公式而非正算公式。工程师须先预设一整套配置（槽宽档位对应的机型、动力部功率与布置方式、链环直径与链条规格），再连同工况参数代入公式，验算整机消耗总功率、链条理论安全系数、以及按力与按功率两个口径的实际安全系数能否过门槛。招标文件 b1616 的用词是「自动计算与验算」，与这一事实吻合。公式回答的是「这套配置行不行」，回答不了「该配哪一套」。这一条差别直接决定判据的写法：参数计算能力的判据是复算一致性，同输入、同公式版本必得同结果，容差写到数量级；推荐能力的判据是排序质量，在可行组合中给出有依据的优先次序。两者不能合成一个准确率。企业既有的自研辅助程序能穷举可行组合但不区分优先次序、不含造价与复用维度，取舍仍依赖资深经验，推荐能力要补的正是这一段。 第三处是选型结论的颗粒度与复用条件。现行选型结论只到整机机型一级，机头、动力部、中部槽、电缆槽、齿轨、机尾装置等构件仍需逐张出图；企业正在按槽宽规格逐档构建标准化部件库，但适用条件、替代关系、是否在产这三项字段尚不齐备，图库也还没有形成按槽宽族的检索入口。没有这三项字段，标准件可用率就无法可靠测算，「降低定制化率」这一痛点也就没有可度量的落点。因此本场景的验证把标准件可用率单列为一项，并明确它的统计范围只覆盖已完成梳理与认定的档位，未认定档位以待认定状态单列、不进分母。 第四处是历史资料的状况。年度选型任务在数百笔量级，方案全部以文档形式散存，没有结构化库；更关键的是输入参数未随结论留存，翻出一份当年的选型方案，能看到最终配置，看不到当时依据的工况取值与公式版本。设备投运之后用得好不好也没有回到选型环节，返修与改造情况没有与当初的选型输入建立关联记录。这决定了两件事：金标准集须从历史方案批量归集后反向结构化形成，这是一项实打实的工作量；而投运使用评价属于当前完全无记录、须从零补录的字段，相关验证项按受限档起步，不以它作为首轮通过条件。 #### 2.2.2　验证要求（3.2.6.5.1.1.2） ##### 2.2.2.1　验证要求的拆解与被验证能力 招标文件为本场景列了三条验证要求，展开为八项可独立判定的能力。拆解的原则是一项能力对应一种判据性质，不把确定性计算与统计性推断混在一项里。 表 2-7　产品智能选型场景被验证能力 | 编号 | 被验证能力 | 标书依据 | 判据性质 | 层级 | |---|---|---|---|---| | X1-1 | 需求采集方式：结构化表单、参数模板、附件上传 | b1611 | 功能可用性 | L2 | | X1-2 | 选型关键要素自动识别（八类要素） | b1612、b1613 | 统计性 | L2 | | X1-3 | 缺失信息提醒与数据校验 | b1614 | 统计性，配构造样本专项 | L2 | | X1-4 | 参数智能计算与验算（五类关键参数） | b1615、b1616 | 确定性，复算一致 | L2 | | X1-5 | 选型智能推荐 | b1617、b1618 | 统计性，配可解释率 | L2 | | X1-6 | 规格书与报价配置清单自动生成 | b1618、b1619 | 字段完备性 + 核算一致性 | L2／L3 | | X1-7 | 在线编辑、确认与版本留痕 | b1620 | 功能完整性 | L2 | | X1-8 | 全流程端到端任务 | b1610 | 任务级 | L3 | 表 2-7　数据来源：招标文件 b1610 至 b1620 逐条拆解。 八项之中，X1-2 的八类要素须逐类统计而不是合成一个总准确率。输送能力、输送距离、倾角、煤层厚度四类是数值型，有单位与量纲问题；工作面条件、配套设备两类是组合型，一项里含多个子字段；可靠性要求与特殊定制要求两类是文本型，常以条件句表达，例如「倾角段超过十五度区段要求加装防滑装置」。三种类型的抽取难度相差很大，合成统计会把文本型的失败藏在数值型的高分里。 X1-4 的五类参数在复算上也要分开看。输送能力与刮板链速度是正算量，给定配置与工况直接算出；运行阻力与驱动功率的计算链较长，中间量多；链条安全系数要同时给出理论值与按力、按功率两个口径的实际值，三个数各有判据。复算一致性按公式项统计，不按任务统计。 ##### 2.2.2.2　数据就绪度核验 L1 阶段核查十类数据对象。按最小可用集与增量项两类组织：能够跑通一次完整选型验证的最小组合是一组核心工况参数、机型与部件型谱、可调用或可导入的校核结果，以及参数字典；其余各类每补齐一类，对应能力由受限档升到完整档。这样组织不是为了降低要求，而是因为选型任务的来料本身高度不齐，矿方各不相同，同一矿方不同工作面的资料完备程度也不一样，把清单当成前置条件会让验证长期停在等资料齐套的状态。 核心工况参数以选型任务号加资料版本号为主键，字段含煤的容重与原煤松散比重、工作面倾角、采高、煤层厚度、铺设长度、年计划产量或小时过煤量、生产天数与日生产小时数，每项须绑定来源文件与原文位置。原文位置这一项不是附加要求：选型结论将来要被追问「这个采高是从哪儿来的」，答不上来，结论就立不住。L1 的核验项是字段非空率与原文位置可回溯率。 配套接口参数以选型任务号加确认单版本为主键，字段含采煤机型号、开机率、截深、截割高度、牵引与行走方式，液压支架型号、中心距、水平推移步距，破碎机处理能力。这一类当前多为会商口头结论、无电子留痕，属须补录字段。L1 阶段的要求不是覆盖率，而是填报入口可用并完成不少于三十条试填，其中至少十条取自实际会商任务，用来验证表单字段与现场实际谈的内容对得上。 校核公式与版本以公式编码加版本号为主键，须含适用工作面类型、输入输出定义、系数、适用条件、阈值与签封状态。这是 X1-4 复算验证的前置条件，没有签封版本就没有参考答案。公式的签封由甲方技术部门完成，我方不自行设定；签封版本能否只读获取、还是以受控导入方式取得，在就绪度体检中确认并记录，两种方式都要完成版本绑定与留痕。 标准化部件库以部件编码为主键，须含型谱、适用条件、替代关系、是否在产、所属产品族。前已述及，适用条件、替代关系、在产状态三项当前缺失，L1 阶段由受控表格导入补齐，导入版本须经甲方标准化口确认。 其余各类的核验项与处置方式同理，在就绪度报告中逐项列出，含选型参数字典（参数编码为主键，字段为名称、别名、单位、取值范围、口径说明与版本）、候选与最终配置、历史选型案例、投运与用后反馈、参考报价、以及选型任务过程留痕六类。 L1 的通过要求是：十类对象中前七类达到主键可贯通、关键字段非空率不低于百分之八十五；配套接口参数与投运用后反馈两类按补录项处理，只要求填报入口可用并完成试填，不计入字段覆盖判据。参数字典的别名与单位两列须齐备，这一项单独列为硬条件，别名不齐，要素抽取的指标会被口语表述与规范名称的差异系统性拉低，而那不是模型的问题。 ##### 2.2.2.3　金标准集与用例设计 金标准集从历史选型案例中分层抽样形成，分层维度两个：工作面类型，分超长、常规、大采高、薄煤层四层；产品类别，按招标文件所列五类设备分层。合计不少于三百个历史选型任务，各层不少于三十个。按这个规模，单项要素抽取准确率在百分之九十五置信水平下的区间半宽约在三至五个百分点，分层报告时各层的区间半宽约在九个百分点，这个精度足以判断是否达到基线档，但不足以比较相邻两层的细微差异，验证报告中按此口径陈述，不做过度解读。 标注内容三项：输入要素的正确取值与原文位置、当年的校核结果、当年的最终配置。标注由选型骨干双人独立完成，分歧交第三人仲裁，仲裁记录留存。历史方案的反向结构化是这里的主要工作量：输入参数未随结论留存，须从方案正文、附件计算书与当年的往来资料中回溯，回溯不到的任务只作部分标注并标明缺哪几项，不强行填补。 用例集分五组。 要素抽取组用于 X1-2 与 X1-3，每个任务的输入文档按原样投放，不做预清洗。扫描件、低质量传真件、表格嵌在正文里的 Word 文档都原样进入，因为实际来料就是这样。其中专门构造一组异常样本用于验证缺失提醒与数据校验，不少于六十例，覆盖四类情形：要件缺失（缺采高或缺铺设长度）、取值越界（倾角写成四十五度）、单位不一致（吨每小时与吨每日混写、米与毫米混写）、前后矛盾（正文与附表的工作面长度不一致）。构造样本单独统计。 复算组用于 X1-4，取历史任务的已知输入与已知校核结果，按签封公式逐式比对。这一组的参考答案是客观的，不需要标注，只需要确认当年的公式版本。 推荐组用于 X1-5 与 X1-6，以历史最终配置为参考，但判据不写成「必须与历史一致」。历史定案本身可能不是最优，其中还含有当年的商务因素与客户指定，这部分无法从工况参数复现。因此采用一致率与可解释率两项并列。 端到端组用于 X1-8，从回放窗口取不少于五十个完整任务，另取实施期内的真实新任务不少于二十个。回放窗口的任务要保留当时的全部原始输入与当时的真实产出，用来比对系统改动后结论是否发生非预期变化。 留痕组用于 X1-7，抽样复核不少于两百条在线修改动作，逐条核对修改人、时间、修改前后值与版本号。 ##### 2.2.2.4　验证台在本场景的装配 本场景的验证智能体把一次选型任务拆成七步：要素抽取、参数归一与校验、工况分型、校核送参与结果绑定、可行解生成、多目标排序、规格书与清单成稿。七步各自留痕，失败时能定位到步。 分工按 2.1.5 节的原则安排。要素抽取与参数归一用模型，依托文档结构解析与 RAG 数据构建两类工具链的产出，参数字典与校验规则作为约束注入；工况分型按明写的判定条件执行，属规则；校核计算调用确定性引擎，按契约送参并绑定公式版本；可行解生成是组合枚举，属确定性；排序用明写权重的多目标评分函数，权重项含校核余量、标准件可用率、成熟度与造价估算四维，每一项的计算方式可逐项复算；规格书成稿用模型，按企业模板与表述规范组织。 这样分工有一处是刻意的：排序不用判别模型。理由是选型判据在项目初期尚在成文过程中：参数字典、分型判据、替代关系清单都是本期的首要交付物，此时训练一个评分模型，样本会随判据修订而部分作废；而明写权重的评分函数可逐项复算、可解释、可按业务反馈调整权重。若实施期内该环节经独立评测确未达业务门槛，再按门槛为其配置专用模型，届时判据已稳定、标注样本也不会白做。这一取舍写进验证方案，是因为它直接影响判据的写法：评分函数的验证做的是排序质量与权重敏感性，而不是模型准确率。 人审检查点设三处：参数归一完成后、校核结果绑定后、规格书成稿后。检查点的位置不是随意定的，三处都是一旦错过后面全错的位置，参数错了校核就错，契约版本绑错了报告里的结论就是另一回事，规格书成稿后再改要重走版本。 ##### 2.2.2.5　本场景的步骤级判据 七步之中，三步设步级判据，另四步的结果已被下游指标覆盖，不另立判据以免重复统计。 要素抽取与参数归一两步合并为一个判据单元，因为它们的错误在下游不可区分：抽错了值与归错了单位，到校核环节都表现为参数不对。这一单元统计步级正确率与条件正确率，条件正确率的前提是输入文档完整可解析。校核送参与结果绑定这一步单独立判据，度量三件事：是否调用了签封公式而非自行计算、送参是否按契约的输入清单与单位量纲、以及公式版本是否正确绑定到结论。第三件最易出错也最隐蔽，前已述及。规格书成稿这一步的判据是引用一致性，即报告中引用的每一个参数值与实际送算值一致。 工具调用正确性在本场景的基线写成硬条件：应当调用校核引擎而由模型自行计算的次数为零。这不是苛刻，校核公式是企业签封的技术文件，绕过它得出的安全系数在工程上不成立，哪怕数值接近。 人审检查点的三处统计按 2.1.14 节口径执行。参数归一后这一处的误停率门限定得相对宽，因为本场景年任务量在数百笔、单笔价值高，多停一次的代价远低于放过一个错参数；规格书成稿后这一处的门限要严，否则岗位会形成不看就确认的习惯。 ##### 2.2.2.6　一个完整用例的走法 举一个具体的用例，把判据落到实处。用例取自回放窗口，是一笔超长工作面的刮板输送机选型任务。 输入三份资料：矿方地质条件报告（PDF，矢量可复制）、招标技术要求（Word，参数散在正文与附表两处）、以及配套参数确认单（本次为依确认单格式回填的结构化记录）。参考答案由选型骨干标注，含输入要素的正确取值与原文位置、当年的校核结果、当年的最终配置。 第一步要素抽取。系统须抽出的核心项是年计划产量、工作面长度、倾角、采高、煤层厚度、煤的容重与原煤松散比重、生产天数与日生产小时数。本例的两处陷阱都是真实来料里常见的：工作面长度在正文写的是一个数、在附表写的是另一个数（设计长度与实际铺设长度之别），倾角写的是一个区段范围而非单值。判据的落点是系统应把这两处识别为冲突与范围值，并按 2.1.14 节的多来源归集规则列出候选、交人审检查点，而不是自行择一。若系统静默取了正文那个数并继续往下算，这条用例即判失败，失败原因记为冲突未识别，而不是抽取错误。两者的整改方向不同。 第二步参数归一。配套确认单里的表述是口语化的，「一米四的槽宽」须归一到槽宽一千四百毫米，「一千两千的中双链」须对齐到型谱中的规范型号。这一步的失败多来自参数字典的别名缺失，归因路径已在 2.2.2.12 节写明。 第三步工况分型。按明写的判定条件判为超长工作面，这一步属规则，结果可逐条复核。 第四步校核送参。此处是本用例最吃紧的一步。系统须先预设配置（槽宽档位对应的机型、动力部功率与布置、链环直径与链条规格），再按契约送参，取回整机消耗总功率、链条理论安全系数、以及按力与按功率两个口径的实际安全系数。判据有三项：是否调用了签封公式而非自行计算（基线为绕过次数零）；送参的单位量纲是否按契约（功率单位、长度单位、倾角的度与弧度）；以及取回的结果是否绑定了公式版本。本例的参考答案含当年的校核结果，因此复算一致性可逐式比对，容差一百万分之一量级。 第五步可行解生成与第六步排序。枚举出的可行组合中应当包含当年的实际定选配置，这一点是可行域正确性的硬判据。若当年定选的配置根本没进可行解集合，问题在枚举规则或型谱数据，比排序偏差严重。排序结果与当年定选比对，给 Top-1 一致率与 Top-3 命中率；若排序把当年定选排在第二位，须说明差异来自哪一维度，本例中若因该配置的标准件可用率较低而被压后，这个说明就是有效的可解释。 第七步成稿。规格书的三类必填内容（推荐产品及配置、主要技术参数、规则校验结果），逐字段核对；并核对报告中引用的每一个参数值与实际送算值一致，这是 2.2.2.5 节所述引用一致性判据的落点。 这条用例在四组对照中各跑一次。基座裸测组预计在第一步就会取走正文那个数、不识别冲突，在第四步会自行计算而不调用公式；检索增强组在参数归一上应有明显改善；数据集适配组的改善应主要出现在冲突识别与报告组织两处。三组的差值即为该用例对能力增量的贡献。 ##### 图 2-3　产品智能选型场景的验证链路与判据落点 多来源输入 地质报告 · 生产规划 招标文件 · 技术协议 配套参数确认单 要素抽取与归一 八类要素逐类统计 单位量纲消歧 缺失提醒与校验 校核（确定性） 按契约送参 绑定公式签封版本 验算是否过门槛 可行解与排序 组合枚举（确定性） 四维加权评分 权重可复算 规格书与报价清单 在线编辑 · 版本留痕 确定性判据（复算一致） 输送能力 · 刮板链速度：正算量逐式复算 运行阻力 · 驱动功率：中间量逐步比对 链条安全系数：理论值 + 按力 + 按功率三值 容差写到数量级，不留统计余量 统计性判据（配可解释率） 要素抽取：八类分开统计，文本型单列 推荐排序：Top-1 一致率 + Top-3 命中率 + 差异可解释率 可行域正确性：被推荐方案须全部通过四项校核，越界推荐为零 历史定案含商务因素，不以一致率单独判定 图 2-3　产品智能选型场景的验证链路与判据落点。数据来源：招标文件 b1608、b1611 至 b1620；校核公式的校核性质依甲方现行选型做法。 ##### 2.2.2.7　逐项验证的来源数据、样本结构与基准答案 八项被验证能力逐项列明它所用的来源数据、样本如何组织、参考答案从哪里来、以及在什么环境中执行、与哪几组对照同投。表中所列为本场景单场景验证方案的编制依据，实施时按试点范围细化。 表 2-8　产品智能选型逐项验证的数据、样本与基准答案 | 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 | |---|---|---|---|---| | X1-1 需求采集方式 | 矿方地质条件报告、招标技术要求、配套参数确认单三类来料原件 | 结构化表单、参数模板、附件上传三种方式各不少于 20 件；附件按文本型、表格型、扫描型三类交叉覆盖 | 应入库字段清单，由选型骨干在收件登记时确认 | 验证台采集入口，只读取不回写；功能可用性项，不设对照组 | | X1-2 要素自动识别 | 历史选型任务的原始输入文档，按原样投放不作预清洗；选型参数字典的名称、别名、单位三列 | 300 个历史任务，按工作面类型四层与产品类别五层交叉分层，各层不少于 30 个；八类要素按数值型四类、组合型两类、文本型两类分列 | 要素正确取值与原文位置，选型骨干双人独立标注、第三人仲裁，仲裁记录编号写入用例卡 | 评测沙箱，要素抽取类题型，种子与采样参数登记；基座裸测、检索增强、数据集适配三组同投 | | X1-3 缺失提醒与数据校验 | 按四类情形构造的异常输入：要件缺失、取值越界、单位不一致、前后矛盾 | 不少于 60 例，四类各不少于 15 例；单独统计，不混入主指标分母 | 每例的应提醒项与应校验项清单，构造时由骨干写定并随样本冻结 | 同一沙箱配置，三组对照同投 | | X1-4 参数计算与验算 | 历史任务的已知输入；甲方签封的校核公式及其版本与适用条件；当年的校核结果 | 按公式项组织，覆盖输送能力、刮板链速度、运行阻力、驱动功率、链条安全系数（理论值与按力、按功率两个实际值） | 当年校核结果为客观答案，不需标注，只需确认当年的公式版本 | 确定性引擎按契约送参并绑定公式版本；结果与模型无关，不做对照 | | X1-5 选型智能推荐 | 历史最终配置；机型与部件型谱；标准化部件库的适用条件、替代关系、在产状态；物料价格主数据 | 同 X1-2 的 300 个任务，按工作面类型分层；排序输出取前三位 | 当年最终配置；因其含商务因素与客户指定，一致率之外并列差异可解释率 | 明写权重的多目标评分函数加沙箱；三组对照同投 | | X1-6 规格书与报价清单生成 | 企业规格书模板与表述规范；报价清单的标准件核算口径；第四步的实际送算值 | 闭合任务不少于 100 份文档，按模板必填字段清单逐字段核对 | 必填字段清单为字段完备性的答案；引用一致性的答案即本次实际送算值 | 沙箱生成类题型，按关键事实清单判分，不用文本相似度；三组对照同投 | | X1-7 在线编辑与版本留痕 | 验证台的修改动作日志与版本记录 | 抽样不少于 200 条修改动作，覆盖参数归一后、校核绑定后、成稿后三处检查点 | 修改人、时间、修改前后值与版本号的实际发生事实 | 留痕抽样复核；功能完整性项，不设对照组 | | X1-8 全流程端到端任务 | 回放窗口的完整任务与实施期内的真实新任务 | 回放任务不少于 50 个，新任务不少于 20 个；按任务计，分可用、返工、失败三类 | 回放任务取当时的真实产出；新任务取岗位签认结论 | 七步验证智能体全链路，逐步留痕；对照实验在端到端题集子集上做 | 表 2-8　数据来源：能力编号与标书依据见表 2-7；样本规模见表 3-3；标注与仲裁口径见 2.1.11 节。 ##### 2.2.2.8　逐项验证的指标公式、招标门槛与闭环责任 指标公式写明分子、分母与统计单位，避免同一个「准确率」在验收时出现三种算法。招标门槛一栏照录招标文件自己给出的要求及其原文前提；未给数值的条目如实写明未设数值门槛，不代为编造。人工复核、失败归因、补采返工与复测三栏是该项不达标时的闭环路径。 表 2-9　产品智能选型逐项验证的指标公式与闭环责任 | 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 | |---|---|---|---|---| | X1-1 | 可用采集方式数 ÷ 应支持采集方式数；附件按三类各记成功件数 ÷ 投放件数 | b1611 要求支持结构化表单、参数模板与附件上传，未设数值门槛 | 选型骨干核对收件字段是否齐备 | 按来料形态归类；扫描型附件走人工录入通道，不记为能力失败；通道演练一次留痕 | | X1-2 | 抽取正确字段数 ÷ 参与比对字段数，取值与单位同时正确方计正确；八类要素分列，另算原文位置可回溯字段数 ÷ 抽取字段数 | b1612、b1613 列出八类要素，未设数值门槛 | 骨干按仲裁后的参考答案逐字段核；文本型两类全量复核 | 先查原文有无该项（无则属来料缺失，由 X1-3 拦截）；再查别名是否登记；别名已登记仍未抽到的，按表述形式统计覆盖并转数据集扩充，复测跑该表述子集与回归子集 | | X1-3 | 正确提醒的构造例数 ÷ 应提醒的构造例数；误报率为误提醒字段数 ÷ 参与校验字段数 | b1614 要求具备缺失信息提醒与数据校验，未设数值门槛 | 骨干逐例核对提醒内容与实际缺口是否对应 | 漏提醒逐例归因到校验规则缺口，补规则后复测该类构造样本；误报偏高的调整规则阈值并复测 | | X1-4 | 相对偏差 ≤1×10⁻⁶ 的公式项数 ÷ 参与复算的公式项数；门槛判定按任务计一致数 ÷ 任务数 | b1615、b1616 要求「自动计算与验算」五类关键参数，未设数值门槛 | 甲方技术部门逐条过差异台账，判定属公式理解偏差还是输入取值偏差 | 超限项进差异台账逐条判定，不以「工程上可接受」放过；属输入取值的回流要素抽取，属公式理解的修订送参契约，两类均重跑全部复算组 | | X1-5 | Top-1 与历史定案一致任务数 ÷ 任务数；Top-3 命中任务数 ÷ 任务数；可解释项数 ÷ 不一致项数；越界推荐条数（绝对数） | b1617、b1618 要求具备选型智能推荐能力，未设数值门槛 | 骨干对每一处与历史不同的推荐核对差异说明是否成立 | 先核可行域：历史定案未进可行解集合的，归因到枚举规则或型谱数据；可行域正确而排序靠后的，核四维权重中压低它的那一维及其输入数据质量；部件库字段补齐后重跑推荐组 | | X1-6 | 必填字段齐备文档数 ÷ 文档数；清单核算一致行数 ÷ 清单行数；引用一致性按参数值计一致数 ÷ 引用数 | b1618、b1619 要求自动生成规格书与报价配置清单，未设数值门槛 | 骨干逐份核对三类必填内容与送算值 | 缺字段项列清单并回流模板映射；引用不一致的追版本绑定链路，属参数变更未重算的按构造样本复测 | | X1-7 | 可追溯修改动作数 ÷ 抽样修改动作数 | b1620 要求支持在线编辑、确认与版本留痕，未设数值门槛 | 见证岗位抽查留痕条目与实际操作是否对应 | 缺失留痕的动作判定未完成并重跑；留痕链路修复后重新抽样 | | X1-8 | 可用任务数 ÷ 任务数；返工任务另记修改字段数与耗时；失败任务数 ÷ 任务数 | b1610 要求提供全流程验证能力，包括但不限于所列条目，未设数值门槛 | 岗位对可用、返工、失败三分逐任务签认 | 按步定位失败步骤，再按该步的单项归因路径排查；整改后复测受影响任务子集与回归子集，不作整批重跑 | 表 2-9　数据来源：招标门槛一栏照录招标文件 b1610 至 b1620 原文要求；指标数值见表 2-11；闭环格式见 2.1.9 节。 ##### 2.2.2.9　正常、边界与异常三类用例 每一项能力都配正常、边界、异常三类用例。正常用例检验能力在常规来料上是否成立；边界用例检验判据在取值边缘、范围表述与档位交界处是否仍然可判；异常用例检验系统在输入有错、要件缺失或条件不具备时是否停下来追问，而不是静默给出一个看起来合理的数。三类用例分别统计，异常类不混入主指标分母。 表 2-10　产品智能选型的三类用例 | 能力 | 正常用例 | 边界用例 | 异常用例 | |---|---|---|---| | X1-1 | 矢量可复制的地质报告加结构化确认单，三类采集方式各走一遍 | 附件为表格嵌在正文中的文档；单份来料超出常见篇幅 | 附件为扫描图片版传真件，应转人工录入通道并留痕 | | X1-2 | 参数散在正文与附表、表述规范的历史任务 | 倾角写成区段范围而非单值；槽宽以口语表述给出 | 正文与附表的工作面长度不一致，应识别为冲突并列候选交人审 | | X1-3 | 要件齐备的任务，校验应全部通过且不误报 | 倾角取值落在工艺适用区间的端点上 | 缺采高或缺铺设长度；吨每小时与吨每日混写；倾角写成四十五度 | | X1-4 | 输入齐备、公式版本明确的历史任务逐式复算 | 安全系数恰在门槛值附近，检验门槛判定的取舍方向 | 送参单位量纲与契约不符；应调校核引擎而系统自行计算，须判该用例失败 | | X1-5 | 常规工作面任务，历史定案应落在可行解集合内 | 两套配置的加权得分接近，检验差异说明是否指得出维度 | 型谱中已停产的档位被推在前列，须由在产状态拦截并计越界 | | X1-6 | 闭合任务成稿，三类必填内容齐备 | 报价清单含非标准件行，核算口径分列 | 成稿前在人审检查点改一个参数而未重算，须被拦住 | | X1-7 | 常规修改动作，留痕四要素齐备 | 同一字段连续多次修改，版本序列须连续 | 并发修改同一任务，须保留全部动作而不覆盖 | | X1-8 | 回放窗口中资料齐套的完整任务 | 配套确认单缺一项非关键参数，任务应可完成并标明缺口 | 签封公式版本不可取，任务应在第四步停下并记录受限原因 | 表 2-10　数据来源：用例组划分见 2.2.2.3 节；构造样本的四类情形见该节。 ##### 2.2.2.10　验证指标与通过判据 表 2-11　产品智能选型场景的验证指标 | 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 | |---|---|---|---|---| | X1-1 | 三类采集方式的用例通过情况；附件按文本型、表格型、扫描型三类分别记录 | 三类采集方式均可用；扫描型附件走人工录入通道 | 扫描型附件可识别后由人工确认 | 走人工录入通道并记录 | | X1-2 | 关键要素抽取正确率，按字段；取值与单位均正确方计正确 | ≥85%；年计划产量、采高、工作面长度、倾角、煤层厚度五项 ≥90%；文本型两类单列不低于 75% | ≥92%，核心五项 ≥95% | 定位失败来源切片，补参数字典别名或补样本 | | X1-2 | 原文位置可回溯率，按字段 | ≥90% | 趋向全量 | 不可回溯字段标注为待人工确认 | | X1-3 | 缺失要素提醒召回率，按构造样本 | ≥95% | 趋向全量 | 漏提醒逐例归因并补校验规则 | | X1-3 | 数据校验误报率，按字段 | ≤5% | ≤3% | 调整规则阈值并复测 | | X1-4 | 复算相对偏差达标项占比，按公式项 | 相对偏差 ≤1×10⁻⁶ 的项数占比 ≥99%，超限项逐项列差异台账 | 趋向全部项一致 | 差异台账交技术部门判定属公式理解偏差或输入取值偏差 | | X1-4 | 门槛判定一致性，按任务 | ≥98% | 趋向全量 | 不一致项逐例复核 | | X1-5 | Top-1 与历史最终配置一致率，按任务 | ≥60% | ≥70% | 不一致项须给出差异说明 | | X1-5 | Top-3 命中率，按任务 | ≥85% | ≥90% | 未命中项归因 | | X1-5 | 差异可解释率，按不一致项 | ≥90% | 趋向全量 | 不可解释项计为失败 | | X1-5 | 可行域正确性，按推荐项 | 越界推荐数为零，一旦出现即判该轮不通过 | 保持 | 拦截规则补强后复测 | | X1-6 | 规格书必填字段完备率，按文档 | ≥95% | 趋向全量 | 缺字段项列清单 | | X1-6 | 报价清单标准件核算一致性，按清单行 | ≥98% | 趋向全量 | 差异行列明口径 | | X1-7 | 修改留痕完整性，按修改动作 | 抽样不少于二百条逐条可追溯；覆盖率趋向全量 | 保持 | 缺失留痕的动作判定未完成 | | X1-8 | 端到端任务可用率，按任务 | ≥70% | ≥80% | 返工任务统计修改字段数与耗时 | | X1-8 | 端到端任务失败率（整件作废），按任务 | ≤5% | ≤3% | 逐例归因 | 表 2-11　数据来源：指标项对应招标文件 b1611 至 b1620；阈值为我方按历史资料条件设定的承诺口径，最终随蓝图设计确认。 Top-1 一致率的基线定在百分之六十，不是指标做不高，而是口径所致。历史定案中含有当年的商务因素与客户指定，这部分无法从工况参数复现；把一致率定得过高，等于要求系统去复现商务决定，那不是选型能力。因此一致率之外另设差异可解释率，要求系统对每一处与历史不同的推荐说清差异来自哪一维度：校核余量、标准件可用率、成熟度还是造价。这一项比一致率更能反映选型知识是否真的被固化下来，也是将来向岗位解释推荐结果的依据。 X1-4 的容差写到 1×10⁻⁶ 这个量级，是因为它是确定性计算，差异只应来自浮点舍入。超出这个量级就说明两边算的不是同一件事：要么公式理解有偏差，要么输入取值不同，要么单位换算有问题。三种都是实质问题，都要进差异台账逐条判定，不以「工程上可接受」放过。 ##### 2.2.2.11　数据集贡献度的对照实验 本场景做四组对照中的前三组，不做子集消融。不做消融的理由是本场景的数据主要集中在供需计划与产品工艺设计两域，可消融的维度少；而要素抽取与推荐排序两项能力的主导变量是参数字典的完备度与历史案例的结构化程度，这两者不是语料配比问题。首轮验证后若指标分布显示某一类历史案例贡献显著，再追加按产品类别的消融。 三组对照的题集取自场景基准题集中的要素抽取与方案推荐两类题型，不少于一百五十题，全部来自真实历史任务，不含任何合成数据。 基座裸测组用来立零点。预期的表现是：数值型要素能抽出相当一部分，因为它们有明确的词面线索；文本型要素（可靠性要求、特殊定制要求）表现会明显低，因为它们需要理解企业的表述习惯；而配置推荐会给出看起来合理但在企业型谱里并不存在的机型。这一组的结果不是用来贬低基座，而是用来说明哪些能力必须靠本项目数据才能得到。 检索增强组接入选型知识库与参数字典，按任务检索后把证据片段放入上下文。这一组与第一组的差值，衡量的是知识可得性的价值。可以预见，参数字典的接入对单位量纲消歧的提升会很直接，「一米四的槽宽」能对齐到「槽宽 1400 毫米」，这是字典的功劳，不是训练的功劳。本方案在报告中明确标注这部分为检索充分，不计入微调的贡献。 数据集适配组使用以本项目选型相关指令微调子集训练后的模型版本。这一组要报的除了正向指标，还有两项负向观察：一是在通用任务上的能力有无回退，用保留的通用评测集抽测；二是回答有无冗余化倾向，用输出长度分布与信息密度两项度量。微调带来的常见副作用是模型学会了企业的表述格式却丢了判断力，输出变长而内容变空，这件事必须被度量出来而不是靠人读了觉得还行。 三组结果按验证项逐项列出指标值与两两差值，形成能力增量表，并以雷达图呈现八项能力在三组上的分布。差值的解读规则写在报告里：第二组减第一组记作知识可得增量，第三组减第二组记作数据集加工增量，后者才是本包数据加工工作的直接贡献。 ##### 2.2.2.12　归因、整改与复测 本场景的失败归因有两类高频情形，在验证方案中预先给出排查路径，不等到现场再想。 第一类是要素抽取失败。排查顺序是：先看原文里有没有这一项，没有的属于来料缺失，应由缺失提醒拦住而不是算抽取失败；有而未抽到的，看是否属于别名未登记，这一类补字典即可；别名已登记而仍未抽到的，看该表述形式在训练样本中的覆盖情况，覆盖不足的转数据集扩充需求，需写明补什么类型的表述、补多少。 第二类是推荐不一致。排查顺序是：先核可行域，若历史定案根本没进可行解集合，问题在枚举规则或型谱数据，属实现侧或数据侧的结构问题，比排序偏差严重得多；可行域正确而排序靠后的，看四维权重中哪一维把它压下去了，并检查该维的输入数据是否准确，造价估算依赖物料价格主数据，标准件可用率依赖部件库的在产状态，这两处的数据质量直接影响排序。 第三类情形值得单列：输入正确、抽取正确、校核正确，而最终规格书里的数仍然不对。这一类几乎都出在版本绑定上，送校时用的是公式 A 版，成稿时引用的是 B 版的结论，或者参数在人审检查点被改过而校核未重算。它在按环节统计的单点指标上观测不到，只能在端到端任务级暴露，这也是本方案把 L3 单列一层的原因之一。排查依据是验证智能体的逐步留痕：每一步的输入快照、契约版本与调用记录都在，比对一遍即可定位。防范办法是把「参数变更即触发重算」写成硬规则并作为一个独立验证项，用构造样本检验。在人审检查点改一个参数，看系统是否拦住了未重算就成稿的动作。 ##### 2.2.2.13　执行批次、观察期与见证安排 本场景的验证分三批执行，分批依据是数据条件的到位节奏而不是能力的难易。 第一批执行复算组与要素抽取组。这两组只依赖已签封的校核公式、参数字典与历史方案的结构化成果，不依赖任何需要新建流程的台账，因此在就绪度体检通过后即可开跑，也适合作为方法框架的首次检验。第一批的见证安排是：复算组的差异台账由甲方技术部门逐条过一遍，确认每一条差异属公式理解偏差还是输入取值偏差；要素抽取组按产品类别分五次执行，每次至少一位选型骨干到场，核对投放的用例集为冻结版本、模型版本与环境基线记录一致。 第二批执行推荐组与成稿组，前置条件是标准化部件库的适用条件、替代关系、在产状态三项字段完成导入并经甲方标准化口确认。这一批的指标对部件库的质量很敏感：在产状态标错一个档位，排序结果就会把已停产的配置推到前面，而这类错误在指标上表现为推荐不一致，容易被误判为算法问题。因此第二批执行前先做一次部件库抽样核对，抽样比例不低于已认定档位的百分之十，核对不通过的档位暂不纳入本批统计范围。 第三批执行端到端组与留痕组，并进入观察期。观察期的长度按任务频次确定：本场景年任务量在数百笔量级，折算到月在数十笔，观察期取不少于两个月，期内累计真实任务不少于三十笔方具备统计意义。观察期内记录四项：岗位对推荐结果的实际采纳情况（直接采纳、调整后采纳、不采纳三分）、降级档位的发生次数与原因、人审检查点的拦截次数与拦截内容、以及任务各阶段的耗时。 耗时这一项要单独说明。本场景当前没有可比的基线：企业现无选型任务的工时台账，单笔任务的实际投入、返工次数与资料齐套等待时长都没有记录。因此观察期的第一件事不是比快慢，而是把基线建起来：按矿方与工作面类型分组记录，并区分使用验证台与不使用两种情形。这份统计本身是交付物之一，也是将来评估成效的唯一可信依据。在基线建立之前，验证报告不就效率提升给出数值结论，只给出已记录的分组数据。这比给一个无从复算的百分比更有用。 ##### 2.2.2.14　验证记录、报告字段与版本关联 本场景的验证记录按用例、按轮次、按场景三级留存，字段在此写定，与 4.1 节的用例卡体例一致，不另立一套。 用例级记录的必填字段：用例编号、所属验证项与用例组、输入对象标识（选型任务号加资料版本号，须为真实业务标识）、输入数据快照引用、参考答案内容与其来源、仲裁记录编号、执行时间、沙箱配置（随机种子与采样参数）、实际输出、七步逐步留痕引用、见证人签认记录、判据编号与判据版本、判定结论、归因方向、对照实验组别。失败用例另填失败步骤、失败表现与所需补充数据。 轮次级记录的必填字段：本轮所用的数据集版本指纹、模型版本（四组对照逐组登记）、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单、以及本轮的复算抽样记录。本场景另加两项本场景特有的记录：校核公式的签封版本号与取得方式（只读调用或受控导入），标准化部件库的导入版本与抽样核对结论。 场景报告的字段按 4.3 节的九章体例出具，本场景在其中填入的内容为：被验证能力清单与条目对照（八项）；数据就绪度结论（十类对象的字段非空率、原文位置可回溯率、补录项试填完成情况）；验证资产说明（分层抽样框架、标注一致率、仲裁记录摘要、回放窗口与构造样本规模）；执行情况（三批执行的版本登记与见证记录）；逐项判定结论（每项给指标值、分母规模、判据版本、判定结果与置信区间说明）；数据集贡献度结论（三组对照的能力增量表与能力雷达图）；归因分析（按四类方向分列并给证据）；可用性结论与档位说明（含投运用后评价维度所处的受限档）；改进需求与优先级。报告另附选型任务工时与返工基线统计。 版本关联按三元标识执行：每一条判定结论绑定数据集版本指纹、模型版本与判据版本，三者缺一该结论不出具。本场景另绑第四项，校核公式版本号；成稿文档中引用的每一个参数值须与该版本下的实际送算值一致，这一关联是 X1-6 引用一致性判据的落点。版本记录进奔牛数据智能平台的版本与审计模块，血缘记录暂不可用时以验证报告中的版本登记替代，并在报告中注明自动溯源能力当前不具备。 ##### 2.2.2.15　本场景验证资产的跨场景复用 选型场景的三类验证资产在其他场景可以直接复用，写明复用关系是为了避免重复建设，也为了让六个场景的口径天然一致。 参数字典的建设方法与维护责任在六个场景通用。本场景建立的字典含名称、别名、单位、取值范围、口径说明与版本六列，别名列是实际工作中最吃力也最有用的一列：同一个量在矿方资料、企业内部表格、会商口语里有三种叫法。板材备料的工艺要素字典、热处理的工艺参数字典、焊接的参数窗口字典都按这一体例建立。 契约式调用与版本绑定的做法在热处理与焊接两个场景同样适用。本场景的校核契约定义了输入清单、单位量纲、阈值口径、结果字段、异常码与版本标识六项；热处理的工艺窗口校验、焊接的参数窗口核对都是同一类问题，以正式文件为唯一依据，对实际值作确定性核对，并把文件版本绑进结论。三处共用一套契约定义体例与一套版本绑定规则。 多来源输入的归集与冲突处理在库存场景有对应。选型要把矿方资料、配套确认单、企业型谱三方输入归到同一任务号下并处理冲突；库存要把销售、供应链、生产、设计四侧输入归到同一测算轮次下并处理口径冲突。两者的冲突处理规则同源：标明每一项取值的来源与时点，冲突时不自行择一，列出候选并交人审检查点。 ##### 2.2.2.16　交付物 本场景的交付物有七项：产品智能选型场景验证方案，含被验证能力清单、判据登记、用例集设计与见证安排；数据就绪度核验报告与缺口清单；冻结版金标准集与用例集，含标注规范、分层抽样框架与仲裁记录；验证执行记录与见证签认档案；场景验证报告，含三组对照的能力增量表与能力雷达图、逐项判定结论、可用性结论与置信区间说明；选型任务工时与返工基线统计；错题归因清单与数据集改进需求单。交付物的格式约定见第 4 节。 ### 2.3　板材备料工艺智能设计（3.2.6.5.1.2） 其中 b1634 对「全部识别通过后智能生成的工艺卡片及工序附图」所提的准确率要求是本场景判据设计的焦点，2.3.2.2 节专门说明我方的应答口径。 #### 2.3.1　场景介绍（3.2.6.5.1.2.1） 结构件是矿山装备的主体骨架，板材备料作为结构件制造的首道工序，其工艺设计质量直接影响后续生产效率与产品稳定性。招标文件指出当前采用「人工识别图纸＋经验设计工艺＋手工填写卡片」的传统模式（b1623），场景以「图纸输入—工艺卡片输出」为核心目标：设计师上传零件设计图纸后，系统通过智能图纸识别模块自动解析图纸元素（形状、尺寸、材料、公差、技术要求等），提取关键特征后驱动工序推荐引擎匹配最优工序方案，自动生成结构化工艺卡片及工序附图，所生成数据返回 PLM 系统，经工艺工程师人工审核确认后下发生产车间（b1624）。 这个场景在六个场景里数据条件最好，验证难度却不低，原因在于它的专业实质与出错代价结构都比较特殊。 专业实质是把机械制图表达的成品状态反推为可加工、可下发、可考核的加工路线。图纸画的是零件做完之后的样子，而加工要从一张大钢板开始；中间那条路线不写在图上，它在工艺人员的判断里。判断主要依赖两组分档条件。一组是粗糙度：要按所标的档次数值判读而不是按标没标判读，较粗的一档切割本身即可达到，可在编程气割工序中一次割出；较细的档次必须在切割与调平之后另行安排机加。另一组是板厚，它决定切割方式在等离子、火焰、激光之间如何分档。还有一处最容易出事的地方：未单独标注符号的孔与面按标题栏「其余」一档执行，而「其余」填的是哪一档要看图纸本身，漏看一处的后果可能是整道机加工序缺失。验证若只统计「尺寸抽对了几个」，这类判读失误完全测不出来。 工序侧的约束有三层，三层都要进验证判据。第一层，企业的 28 道标准工序已覆盖全部备料加工内容，任何一张卡片都由这一集合内的工序排列组合而成。这意味着工序推荐不是开放生成而是受限选择，判据可以写成集合与顺序的比对，比写成文本相似度严谨得多。第二层是物理顺序约束：第一道永远是编程气割；带压弯的件必须先按展开尺寸下平板再折弯成形；折弯之后才能加工的孔只能排在折弯之后。第三层是合并规则：相同工艺、相同工序的加工内容要合并到同一道序。三层约束合起来构成一个可判定的结构，验证不必依赖主观评价。 出错代价高度不对称，而人工校验的强度在各字段上是相同的，这是现场的真实痛点。下料长宽、板厚与展开长一旦偏差，钢板下料后即成废料；而工步描述里少一个形容词几乎没有后果。带压弯的零件须按中性层公式换算展开长，扣除量由板厚、折弯角度以及所用下模 V 口宽度与上模圆角共同决定，四个变量，错一个就是整块料。这一条直接决定本场景的判据必须按字段分级：高危字段单列统计，实质错误数的判据写成零，而不是让它混在整张卡片四十来个字段的平均准确率里被稀释掉。 数据条件方面，企业已积累 63 万张历史工艺样本，每张图纸都配有一张经审核签发的工艺卡片，构成大量成对样本。这是六个场景里唯一天然具备大规模监督信号的场景，也是本场景验证指标可以定得比其他场景高的根据。但有三件事要先做：图纸与工艺卡的配对关系目前存于文件目录与人员记忆，需显性化为可检索台账；28 道工序的名称与代码分散在三处来源且不完全一致，须由工艺部门牵头归并并正式发布为按版本维护的字典；中性层展开系数表现多按板厚与角度两维记录、缺模具参数一维，须按适用压模号回标。这三项是 L1 的硬前置，不是可以边做边补的。 还有两项现场事实影响验证范围的设定。一套产品的图纸量可达五百多张，其中相当比例属图号级借用，却仍需逐张打开确认借用关系，借用件判定因此是一项有实际价值的能力，验证时单列。另一方面，紧急临时试制图纸的人工编制周期长，影响新品试制交付，招标文件把「应急工艺通道」列为验证项（b1628），它的验证方式是演练而不是指标，这一点在 2.3.2.11 节写明。 #### 2.3.2　验证要求（3.2.6.5.1.2.2） ##### 2.3.2.1　验证要求的拆解与被验证能力 招标文件为本场景列了四条验证要求，展开为十二项能力。 表 2-12　板材备料工艺智能设计场景被验证能力 | 编号 | 被验证能力 | 标书依据 | 判据性质 | 层级 | |---|---|---|---|---| | X2-1 | 接收并解析 PLM 任务及图纸数据 | b1626 | 功能可用性 | L1／L2 | | X2-2 | 自动生成工艺卡片 | b1626 | 统计性，分字段分级 | L2 | | X2-3 | 生成工序附图 | b1626 | 统计性 | L2 | | X2-4 | 工艺变更自动修订 | b1627 | 统计性，配回归比对 | L2 | | X2-5 | 工艺规则库及设备台账维护 | b1628 | 功能完整性 | L2 | | X2-6 | 应急工艺通道 | b1628 | 演练验证 | L2／L3 | | X2-7 | 批量识别 DWG／DXF、STP／STEP | b1629 | 功能与成功率 | L2 | | X2-8 | 工艺卡片与工序附图的 PDF 导出及打印 | b1630 | 功能可用性 | L2 | | X2-9 | 图纸元素解析（形状、尺寸、材料、公差、技术要求） | b1631 | 统计性，分要素类别 | L2 | | X2-10 | 解析后图纸按要素或图层在线预览展示 | b1632 | 功能可用性 | L2 | | X2-11 | 工艺卡片及工序附图内容准确率 | b1633、b1634 | 确定性与统计性并用，见 2.3.2.2 节 | L2 | | X2-12 | 全流程端到端任务 | b1626 | 任务级 | L3 | 表 2-12　数据来源：招标文件 b1626 至 b1634 逐条拆解。 有三项的拆法需要说明。X2-2 的工艺卡片是个复合产物，内含基础信息、28 道序内的工序序列、每道序的设备与工装、工步内容、材料定额与工时定额五类字段；五类的判据性质不同，混统计没有意义，因此 X2-2 在指标表里拆成五行分别给判据。X2-9 的五类要素同理：形状与尺寸是几何量，按坐标与数值容差判定；材料是枚举量，按牌号对照表判定；公差是符号量，按符号类别与作用面判定；技术要求是文本量，须判读出其中的管控内容而不只是抽出文字。X2-4 的变更修订不能只测「改没改」，要测「改对没改对、有没有连带漏改」，因此配一组回归比对，同一零件改版前后两张卡片，比对差异集合与应改集合是否一致。 ##### 2.3.2.2　工艺卡片与工序附图准确率条款的应答口径 招标文件 b1634 的原文是：「需验证工艺卡片及工序附图内容准确率，支持通过全部识别通过后智能生成的工艺卡片及工序附图 100% 准确率」。这一条的要求与它自带的前提须一并照录：要求是 100% 准确率，前提是「全部识别通过后」。而「识别通过」又以 b1631 所列图纸元素解析（形状、尺寸、材料、公差、技术要求）为其前置条件，解析不到的判读点，谈不上识别通过。我方的应答由四件事构成，四件事合起来是一套交付门槛，不是把原文要求换算成一个较低的数。 第一件事，把前提定义为可判定、可见证的闭合条件。一张图纸进入闭合集，须同时满足四项：图纸为可直读的原生矢量格式或已完成矢量化，几何与标注实体可完整提取；该零件所需的全部判读点均被提取且要素级置信度达到门限，即 b1631 五类要素在该零件上的解析完整；该零件涉及的加工方法分档、工序依赖与合并规则在已发布的规则库中有覆盖，不存在规则缺口；高危字段的双路互校一致，即展开长与下料尺寸由中性层公式计算与历史同类件回归两路分别得出且差值在容差内。四项中任一项不满足，该图纸不进入闭合集。闭合条件的门限在实施准备期标定并经甲方工艺部门确认，标定方法与标定结果一并交付，标定过程由工艺骨干见证。 第二件事，闭合集内按全量核对与逐条关闭组织交付。生成的每一张工艺卡片与每一幅工序附图，按受控模板的字段清单逐卡逐字段与参考答案全量核对，不作抽样；核对出的每一处差异进差异台账，由工艺骨干逐条判定属实质错误还是等效表述，属实质错误的修正后关闭，属等效表述的按已确认的认定规则标注关闭。台账中存在未关闭项的卡片不予下发，这一阻断在验证台的流转状态上实现，不依赖人工记得去看。工艺骨干的人工审核是最后一道兜底：全部差异关闭后仍须经骨干确认签发，签发记录进见证档案。 第三件事，闭合集外给通道，不给判据。不满足闭合条件的图纸转人工确认通道或只做辅助读图，界面标明缺的是哪一项；正常通道不可用或规则未覆盖时走应急工艺通道（b1628），通道的可用性按演练验证。闭合集外的图纸不计入准确率判据的分母，但其规模要被报告：闭合率本身是一项独立指标，按零件复杂度分层统计，首轮验证不预设闭合率的高低，只要求如实统计并给出未闭合原因的分布。闭合率低说明规则覆盖或图纸条件还需要补，这是有用的信息；把闭合率混进准确率，得到的是一个既不能指导工作也无法验收的数。 第四件事，字段级一致率是过程指标，不是交付门槛的替身。首轮验证实测的字段级一致率、高危字段实质错误数与整卡可用率，三项均如实统计并逐轮报告，用于判断规则与样本还要补什么；它们不替代上一段所述的「差异逐条关闭、未关闭即阻断下发」这一门槛，也不以「整卡可用率已达某值」作为本条的应答。两者的关系在验证报告中写明：门槛判的是下发口是否守住，过程指标判的是生成质量在往哪个方向走。 还要写明一处判定纪律：「一致」的判定不含等效表述的差异。工步描述写「气割下料」与写「编程气割下料」在实质上相同，这类差异由工艺骨干判定为等效，不计入实质错误；而尺寸、板厚、展开长、设备编号、工序顺序这几类不存在等效表述，差异一律计为实质错误并须修正后关闭。等效表述的认定规则在首轮验证前成文并经甲方工艺部门确认，避免验收时逐条争论。 ##### 2.3.2.3　数据就绪度核验 本场景 L1 的最小可用集是四项：一批可打开的原生格式零件图与其配套设计报表；已正式发布的 28 道标准工序字典及其前后依赖与禁止条件；加工方法分档规则表；工步内容标准语句库与设备资源库。四项齐备即可跑通一张图纸的编制并给出可复核草稿。其余各类为增量项，每补一类，对应能力由受限档升到完整档。 图纸类的核验分三件事。可打开率按零件类型、年代与复杂度分层取样统计，老图可能缺字体或缺外参文件，打不开不是解析能力问题而是来料问题，必须先分清。扫描图片版 PDF 先矢量化后进入同一解析路径，未转换前只作检索提示、不进入自动成卡，这一条写进就绪度判定。关键判读点可提取率是第三件，按粗糙度符号、板厚标注、孔位与孔径、折弯线与角度、技术要求条目五类分别统计，这五类是判读链的入口，任一类提取率过低，后面的工序推导都不成立。 图卡配对台账是本场景最关键的 L1 项。63 万张成对样本的价值全在配对关系上，而这个关系现在存在文件目录与人员记忆里。L1 的要求是建立以图号加零件号为主键的可检索台账，并统计图卡可对应率。可对应率是分层抽样统计量，不要求一次做到逐张齐备，逐张配对是一项长期工作，但首期用于验证的产品族范围内须达到可用水平，具体门限在就绪度体检时按抽样结果商定。 工序字典是第二个硬前置。字典须含编码、标准名称、适用条件、禁止条件、前后依赖、可合并规则、定制化需求审批与版本八项。现状是工序名称与代码分散在三处来源且不完全一致，这意味着在字典正式发布之前，工序序列一致率这项指标连参考答案都定不下来。因此字典的归并与正式发布由甲方工艺部门牵头，我方派人驻场配合整理，发布后按版本维护；字典换版时，相关判据与标注规范同步复核。 定额类数据的核验要落到索引键上。中性层展开系数表的索引键是材质、板厚、折弯角度、下模 V 口宽度或压模号四项，须与工装压模台账的编号对齐。现有系数多按板厚与角度两维记录、缺模具参数一维，须按适用压模号回标；无法回标的组合，在新组合首件实测后确定。这一项直接决定高危字段双路互校能否成立，不具备时该互校退为单路计算加人工确认，闭合集相应变窄。割缝宽度表、坡口留量规则与切割热变形收缩量标定值同样须统一确认一版并按版本维护，使历史结果可复算。 设备、工装与样板台账的核验重点在两列：状态与有效期。设备资源库现有编码、类型、大小号、可加工板厚与尺寸范围、可加工材料，缺状态与有效期，也缺明确的替代规则。缺这两列的后果很具体，系统会把一台正在检修的设备排进工艺卡片。因此这两列列为 L1 补齐项，并约定新增设备在建档环节同步填写。 接口侧的核验按三种对接方式分别确认：PLM 的图纸与设计报表读取、草稿回写与任务状态同步；ERP 的物料档案与订单读取、工艺规格与用料回填；MES 的工艺下发与完工读取、QMS 的检验下发与异常读取、工时系统的定额双向互通。某一写入接口暂未开放时，以标准格式文件交付、由相应岗位导入过渡，这一过渡状态在验证记录中标明，不影响 L2 指标的成立，但影响 X2-1 与 X2-12 的判定档位。 ##### 2.3.2.4　金标准集与用例设计 金标准集按零件复杂度分三层：简单件、典型件、复杂件。分层依据是判读点数量与工序道数，具体门限在抽样框架中给出并经工艺骨干确认。每层不少于一百件，合计不少于三百件；另按产品族维度做交叉覆盖，首期覆盖的产品族在试点范围确定后列明。 标注内容四项：图纸要素的正确取值；零件的正确工序序列、设备与工装编号、定额与展开长；判读依据；以及该零件的闭合条件判定结果。第三项判读依据是本场景标注的特色，也是最有价值的一项：要求标注员写明「这道机加序是因为图上哪一处粗糙度标注而排的」、「这个孔为什么必须排在折弯之后」。写明依据有三个用处：它使仲裁有据可依；它构成偏好数据的标注依据；它还直接用于验证系统的可解释性，系统给出一道工序时若说不出依据，这道工序即便排对了也不计为完全正确。 标注一致性按要素类别与工序序列分别度量。几何类按坐标容差比对，符号类按类别比对，工序序列按集合与顺序分别比对，集合一致说明选对了工序，顺序一致说明排对了次序，两者分开看才能定位问题。要素级一致率低于百分之九十二、工序集合一致率低于百分之八十八时该批返工；判读依据缺失的样本不进入金标准集。 用例集分六组。 解析组用于 X2-7、X2-9、X2-10，按格式交叉投放：原生 DWG／DXF、三维 STP／STEP、矢量 PDF、扫描图片版 PDF 四类，每类不少于六十件。四类的成功率分别统计，不合并，合并统计会让扫描件的低成功率拖累整体，而扫描件本来就走不同路径。 成卡组用于 X2-2、X2-3、X2-11，在闭合集内执行，逐字段比对。 变更组用于 X2-4，取历史改版案例不少于五十对，每对含改版前后的图纸与两张已签发卡片。判据是差异集合与应改集合的一致性，并单列漏改数，漏改比错改危险，因为它不会在界面上表现出来。 应急组用于 X2-6，以演练方式执行：模拟一张紧急临时试制图纸，在正常通道不可用或规则未覆盖的条件下，验证应急通道能否在约定时限内给出可下发的最简工艺并留痕。演练不少于三次，覆盖三种触发情形：图纸不可解析、规则缺口、系统不可用。 台账组用于 X2-5，验证工艺规则库与设备台账的维护能力：可视化配置修改一条工序逻辑或切割参数后，相关卡片是否按新规则重算，旧卡片是否保留其当时依据的规则版本。 端到端组用于 X2-12，从回放窗口取不少于八十个完整零件的编制任务，另取实施期内真实新任务不少于三十个。 构造样本不少于八十例，覆盖本场景的四类高风险情形：标题栏「其余」一档填写不规范或缺失、粗糙度符号标在非常见位置、同一尺寸在两个视图上标注不一致、板厚只以代号形式标在主视图上。这四类都是现场确实发生过且后果严重的情形。 ##### 2.3.2.5　验证台在本场景的装配 本场景的验证智能体把一次编制任务拆成七步：图纸解析与要素提取、借用件与同件判定、加工方法判定、工序编排、设备与工装匹配、定额计算、卡片装配与附图生成。 分工依然按确定性与推断两分。图纸解析以原生 CAD 矢量直读为准，图像识别只用于图框信息补全与图面完整性提示，这一点在判据上有体现，矢量直读的几何提取是确定性的，容差按图纸标注精度设定；图像识别的结果只作提示，不单独构成判定依据。加工方法判定按分档规则表执行，属规则；工序依赖与合并按工序字典的约束执行，属规则；展开长、下料尺寸、割缝与收缩量按公式计算，属确定性，并做双路互校。工序编排的次序选择在规则允许的多个可行序列之间取优，这一段是推断，判据写成集合与顺序一致率加可解释率。工步内容的组织与技术要求的判读用模型，依托设备图纸与工艺图结构化抽取、本体驱动规则标注两类工具链的产出。 人审检查点设两处，与现场习惯一致：要素判读完成后、卡片装配完成后。第一处是因为判读错了后面全错；第二处是因为卡片一旦下发，错误就进了车间。 验证台的界面按现场的双屏看图填表习惯组织成左图右卡形态，这不是为了好看，验证执行时工艺骨干要逐字段核对，界面若不是他们熟悉的形态，核对效率低且容易看漏。界面只用于验证执行与见证，不交付为生产态作业工具。 ##### 2.3.2.6　本场景的步骤级判据 七步之中，四步设步级判据。 图纸解析与要素提取这一步的步级判据与 X2-9 共用指标，不另立；但要单独统计「提取完整性」，该零件所需的判读点是否全部被提取，这是闭合条件的第二项，与提取正确率是两件事：提取了五项而全对，和应提七项只提了五项，正确率都是百分之百。 借用件与同件判定这一步单独立判据，因为它的错误方向不对称：判成借用而实际不可借用，会导致工艺卡沿用错误的加工路线；判成不可借用而实际可借用，只是多做一次编制。因此这一步的判据分两向统计，误判为借用的次数单列并要求趋向零。 工序编排这一步的步级判据是集合与顺序一致率，与 X2-2 共用；条件正确率的前提是要素提取完整且规则无缺口。定额计算这一步的判据是双路互校的执行率与一致率，执行率指应当做双路互校的字段中实际做了的比例，一致率指两路结果在容差内的比例；不一致时是否按规则停下来等人确认，这一点用构造样本检验。 卡片装配这一步不设独立判据，其结果由 X2-11 的字段级一致率覆盖。 人审检查点两处，要素判读后与卡片装配后。前一处的误停率要盯住：备料场景的任务频次高，一套产品图纸可达五百多张，停得太勤会让整条线慢下来，岗位的应对通常是批量点确认，那时检查点就失效了。因此这一处的误停率门限按日处理量设定，并在观察期内逐轮收紧。 ##### 2.3.2.7　一个完整用例的走法 举一个中部槽侧板的编制任务为例。输入是一份原生格式零件图与其配套设计报表，参考答案是该零件已签发的工艺卡片与工序附图。 第一步解析与要素提取。几何与标注实体从矢量图直读。本例的判读点有七处：板厚（以代号形式标在主视图）、四处孔的孔径与位置（孔径标在局部视图、位置标在主视图，须跨视图关联）、两处折弯线与折弯角度、三处单独标注的粗糙度符号、标题栏「其余」一档的粗糙度值、一条坡口要求、以及技术要求中的一条特殊管控内容。提取完整性的判据在这里起作用：七处判读点若只提取了六处，提取正确率仍可能是百分之百，但闭合条件的第二项不满足，该零件不进入闭合集。 第二步借用件判定。按设计报表的借用字段与几何特征索引查重。本例为新图号，查重结果应为无可借用件；若系统误判为可借用，这一方向的误判单列统计并要求趋向零，理由已在 2.3.2.6 节写明。 第三步加工方法判定。三处单独标注的粗糙度中，两处较粗的一档由编程气割一次割出、不另排机加；一处较细的档次须在切割与调平之后安排机加。标题栏「其余」填的那一档决定了未单独标注的四处孔是否需要机加。本例中「其余」为较细档，因此四处孔须排机加。这一处是本场景最容易出事的地方，判据单列为「其余」一档判读正确率，漏判即计错。 第四步工序编排。两处折弯决定了顺序约束：首道编程气割，按展开尺寸下平板；两处折弯线之后才能加工的孔必须排在折弯之后；相同工艺、相同工序的加工内容合并到同一道序。编排结果与已签发卡片比对，集合一致率看选对了哪些工序，顺序一致率看排对了次序。若系统把折弯后的孔排在折弯之前，这是顺序错误，归因到依赖规则；若系统少排了那道机加，这是集合错误，归因到「其余」一档的判读。 第五步设备与工装匹配。按板厚与尺寸范围选切割设备，按折弯角度与板厚选压模。判据除一致率之外，另要求排入非可用状态设备的次数为零。这一项依赖设备台账的状态与有效期两列，缺列时该判据不成立。 第六步定额计算。两处折弯须按中性层公式换算展开长，扣除量由板厚、折弯角度、下模 V 口宽度与上模圆角四项决定。双路互校在此执行：一路按公式算，一路按历史同类几何回归。本例若两路结果差值超容差，系统须停下来交人审，而不是取其一继续。这一行为用构造样本检验。 第七步卡片装配与附图生成。字段级一致率在闭合集内统计，尺寸与定额类高危字段单列、实质错误数判据为零。等效表述的差异由工艺骨干判定，不计入错误。 四组对照在这个场景上的分工最清楚：基座裸测组在第三步与第四步基本不可用，企业的分档规则与 28 道工序的受限集合不在通用语料里；检索增强组在选对工序上会有明显改善，但顺序与合并仍会出错；数据集适配组的改善应出现在顺序与合并上，并应在可解释率上有明显提升。三组消融的结论见 2.3.2.12 节。 ##### 图 2-4　板材备料场景的闭合条件与双路互校 图纸与设计报表 原生 DWG／DXF STP／STEP · PDF 要素提取与判读 粗糙度档次 · 板厚 · 孔位 折弯角度 · 技术要求 四项闭合条件 可直读 · 判读点齐全达门限 规则无缺口 · 互校一致 闭合集内：字段级判据 基线 ≥99%，高危字段实质错误为零 目标趋向全部字段一致 闭合集外：转人工确认通道或只做辅助读图 不计入准确率分母；闭合率按复杂度分层单列统计，未闭合原因按分布报告 任一项不满足 高危字段的双路互校 路一：中性层公式计算 　索引键＝材质 · 板厚 · 折弯角度 · 下模 V 口或压模号 路二：历史同类件回归 　取自 63 万张成对样本中的同类几何 两路差值超容差即停，交人审检查点，不自动成卡 工序侧的三层可判定约束 集合约束：28 道标准工序为受限选择集 顺序约束：首道编程气割；压弯件先下平板再成形； 　折弯后才能加工的孔排在折弯之后 合并约束：同工艺同工序的加工内容并入同一道序 判据写成集合一致率与顺序一致率，分开统计 图 2-4　板材备料场景的闭合条件与双路互校。数据来源：招标文件 b1633、b1634；28 道工序与 63 万张样本为本投标文件既定事实口径。 ##### 2.3.2.8　逐项验证的来源数据、样本结构与基准答案 表 2-13　板材备料逐项验证的数据、样本与基准答案 | 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 | |---|---|---|---|---| | X2-1 接收解析 PLM 任务与图纸 | PLM 的任务单、图形文件与配套设计报表 | 不少于 150 个任务，覆盖三层零件复杂度与首期产品族 | 任务字段与图纸清单的应接收内容，以 PLM 任务原始记录为准 | 验证台只读接口；接口未开通时以标准格式文件过渡并标注；不设对照组 | | X2-2 自动生成工艺卡片 | 原生格式零件图与设计报表；28 道工序字典；加工方法分档规则表；工步语句库；设备与工装台账；中性层系数表 | 金标准集 300 件，简单件、典型件、复杂件各不少于 100 件 | 该零件已签发的工艺卡片的结构化版本，经工艺骨干对参考答案作一轮确认，确认不通过的剔除并记录剔除比例 | 规则与确定性引擎承担分档、依赖与定额，模型承担工步组织；四组对照全做 | | X2-3 生成工序附图 | 零件图的几何实体与工序编排结果 | 与成卡组同源，按附图计不少于 300 幅 | 已签发工序附图及其与工序的对应关系 | 同成卡组沙箱；四组对照 | | X2-4 工艺变更自动修订 | 历史改版案例的改版前后图纸与两张已签发卡片 | 不少于 50 对改版案例，覆盖尺寸改、材料改、技术要求改三类 | 两张已签发卡片的实际差异集合即应改集合 | 回归比对执行环境，差异集合逐项比对；四组对照 | | X2-5 规则库与台账维护 | 工艺规则库、设备资源库、工装与样板台账 | 配置变更不少于 20 次，覆盖工序逻辑、切割参数、设备状态三类 | 变更后应重算的卡片范围与旧卡片应保留的规则版本 | 验证台配置界面；功能完整性项，不设对照组 | | X2-6 应急工艺通道 | 紧急临时试制图纸；最简工艺模板 | 演练不少于 3 次，覆盖图纸不可解析、规则缺口、系统不可用三种触发 | 约定时限内应产出的可下发最简工艺内容，由工艺与生产两侧会商写定 | 演练环境，生产节拍之外安排；演练验证，不设对照组 | | X2-7 批量格式识别 | 原生 DWG／DXF、三维 STP／STEP、矢量 PDF、扫描图片版 PDF 四类文件 | 四类各不少于 60 件，按零件类型与年代交叉 | 可打开与可提取的客观判定结果；失败件记原因（缺字体、缺外参、图层异常） | 解析引擎，四类分别统计不合并；不设对照组 | | X2-8 PDF 导出与打印 | 已生成的卡片与附图 | 导出不少于 100 份；打印抽检不少于 30 份，覆盖三类复杂度 | 界面显示内容为参考，逐份比对字体、图幅、线型 | 导出与打印实机核对；不设对照组 | | X2-9 图纸元素解析 | 零件图的几何与标注实体；标题栏；技术要求条目 | 按五类要素分别组织：形状与尺寸、材料、公差符号、技术要求、「其余」一档 | 要素正确取值与判读依据，工艺骨干双人独立标注、第三人仲裁 | 矢量直读为主、图像识别只作提示；四组对照 | | X2-10 按要素或图层在线预览 | 解析结果与原图图层信息 | 不少于 100 件，五类要素与图层各走一遍筛选 | 解析结果与原图的对位关系 | 验证台预览界面；功能可用性项，不设对照组 | | X2-11 卡片与附图内容准确率 | 闭合集内的生成卡片与附图；受控卡片模板的字段清单 | 闭合集全量，逐卡逐字段核对不作抽样；闭合集外单列统计闭合率 | 已签发卡片的结构化版本；等效表述按已确认的认定规则判定 | 全量核对加差异台账，未关闭即阻断下发；四组对照 | | X2-12 全流程端到端任务 | 回放窗口的编制任务与实施期内真实新任务 | 回放任务不少于 80 个，新任务不少于 30 个 | 回放任务取当时已签发卡片；新任务取工艺骨干签认结论 | 七步验证智能体全链路，逐步留痕；四组对照在端到端题集子集上做 | 表 2-13　数据来源：能力编号与标书依据见表 2-12；样本规模见表 3-3；闭合条件见 2.3.2.2 节。 ##### 2.3.2.9　逐项验证的指标公式、招标门槛与闭环责任 表 2-14　板材备料逐项验证的指标公式与闭环责任 | 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 | |---|---|---|---|---| | X2-1 | 成功接收解析任务数 ÷ 投放任务数 | b1626 要求接收并解析 PLM 任务及图纸数据，未设数值门槛 | 工艺骨干核对接收字段与 PLM 原始记录 | 失败任务按原因分类；接口未开通的按过渡方式执行并标注判定档位 | | X2-2 | 按五类字段分别计：一致字段数 ÷ 参与比对字段数；工序集合按零件计一致数 ÷ 零件数；工序顺序同；定额按零件计相对偏差达标数 ÷ 零件数 | b1626 要求自动生成工艺卡片，未设数值门槛 | 工艺骨干按已签发卡片逐字段核，集合与顺序分别核 | 漏序先查判读点是否漏提，再查分档规则覆盖，最后才查编排逻辑；属样本不足的转数据集扩充，复测跑该类零件子集与回归子集 | | X2-3 | 可用附图数 ÷ 生成附图数；附图与工序对应正确数 ÷ 附图数 | b1626 要求生成工序附图，未设数值门槛 | 骨干核对附图所示加工内容与该道序是否对应 | 不可用附图列原因（几何缺失、视图选择错、标注遮挡），按原因补规则后复测 | | X2-4 | 差异集合一致的改版对数 ÷ 改版对数；漏改数为绝对数 | b1627 要求工艺变更自动修订，未设数值门槛 | 骨干逐对核对差异集合与应改集合 | 漏改逐例归因到比对规则的覆盖面；规则补强后复测全部改版对 | | X2-5 | 变更后重算结果正确的配置次数 ÷ 配置变更次数；旧卡片保留原规则版本的比例 | b1628 要求工艺规则库及设备台账维护，未设数值门槛 | 骨干核对重算范围是否完整、旧卡片版本是否保留 | 未按版本留存的判定未完成；重算范围不全的补关联规则后重测 | | X2-6 | 演练在约定时限内产出可下发最简工艺的次数 ÷ 演练次数 | b1628 要求应急工艺通道，未设数值门槛 | 工艺与生产两侧岗位同时见证并签认 | 演练未通过的修订通道流程后重新演练，演练记录进见证档案 | | X2-7 | 四类格式分别计：成功解析件数 ÷ 投放件数 | b1629 要求批量识别 DWG／DXF、STP／STEP，未设数值门槛 | 骨干核对失败件原因分类是否成立 | 缺字体、缺外参的属来料问题，须补齐字体库与外参文件后重跑；图层异常的补解析规则后复测 | | X2-8 | 导出件与界面一致的文档数 ÷ 导出文档数；打印抽检逐份核对结果 | b1630 要求 PDF 导出及打印，未设数值门槛 | 抽检不少于 30 份逐份人工比对 | 字体替换、图幅缩放、线型丢失逐项修正后重新抽检 | | X2-9 | 五类要素分别计：正确要素数 ÷ 参与比对要素数；「其余」一档按图纸计正确数 ÷ 图纸数，漏判计错 | b1631 列出形状、尺寸、材料、公差、技术要求五类要素，未设数值门槛；本项是工艺卡片准确率条款（b1634）的前置 | 骨干按判读依据标注逐要素核 | 按要素类别补规则或补样本；「其余」一档漏判逐例复核并补规则，复测该类图纸全集 | | X2-10 | 五类要素与图层均可筛选显示且与原图可对位的图纸数 ÷ 投放图纸数 | b1632 要求按要素或图层在线预览展示，未设数值门槛 | 骨干核对筛选结果与原图对位 | 不可对位的图纸列入待处理并查坐标变换链路 | | X2-11 | 下发门槛：差异台账未关闭项数（按卡片，绝对数）；过程指标：一致字段数 ÷ 参与比对字段数、高危字段实质错误数、闭合零件数 ÷ 参与零件数 | 招标文件原文（b1634）：「全部识别通过后智能生成的工艺卡片及工序附图 100% 准确率」，其原文前提为「全部识别通过后」，并以图纸元素解析（b1631）完整为前置 | 全部差异关闭后由工艺骨干确认签发，签发记录进见证档案 | 实质错误回溯其规则与样本来源并修订，对该类字段整体复测；等效表述按认定规则关闭；闭合率低的层单列改进项 | | X2-12 | 可用零件数 ÷ 零件数；失败零件数 ÷ 零件数；返工零件另记修改字段数与耗时 | b1626 要求提供全流程验证能力，包括但不限于所列条目，未设数值门槛 | 工艺骨干对三分判定逐零件签认 | 按步定位失败步骤后走该步的归因路径；复测受影响零件子集与回归子集 | 表 2-14　数据来源：招标门槛一栏照录招标文件 b1626 至 b1634 原文要求；指标数值见表 2-16；应答口径见 2.3.2.2 节。 ##### 2.3.2.10　正常、边界与异常三类用例 表 2-15　板材备料的三类用例 | 能力 | 正常用例 | 边界用例 | 异常用例 | |---|---|---|---| | X2-1 | 完整的 PLM 任务单加原生图形文件 | 任务单含多张零件图且部分为借用图号 | 任务单与图形文件版本不一致，应拒收并提示 | | X2-2 | 典型件：两处折弯、四处孔、三处单独标注粗糙度 | 工序可合并与不可合并的交界情形，检验合并规则取舍 | 规则库未覆盖该加工方法组合，应判为不闭合并转人工通道 | | X2-3 | 常规工序附图，每道序一幅 | 同一道序含多个加工位置，附图须标全 | 几何实体缺失导致附图无法生成，应记录而非输出空图 | | X2-4 | 尺寸改版，差异集合明确 | 改版仅动技术要求文字，应判出其是否影响工序 | 改版后新增一道序而旧卡片已下发，应提示连带影响范围 | | X2-5 | 修改一条切割参数，相关卡片按新规则重算 | 规则变更当日已有在途卡片，须区分新旧版本 | 配置改成相互矛盾的两条规则，应在生效前拦住 | | X2-6 | 图纸不可解析触发，按时限产出最简工艺 | 时限临界，检验超时的处理与升级路径 | 系统不可用叠加规则缺口，两种触发同时发生 | | X2-7 | 原生 DWG 与三维 STP 批量投放 | 超大图幅或超多图层的文件 | 缺字体或缺外参文件的老图，应报原因而非静默失败 | | X2-8 | 常规卡片导出与打印逐份核对 | 超长工序表跨页打印，表头须重复 | 打印环境字体缺失，应回退为内嵌字体而非替换 | | X2-9 | 五类要素齐备、标注规范的零件图 | 粗糙度符号标在非常见位置；同一尺寸在两个视图上标注不一致 | 标题栏「其余」一档缺失或填写不规范；板厚只以代号标在主视图上 | | X2-10 | 解析结果按要素筛选显示并与原图对位 | 图层命名不规范的老图 | 坐标基准不一致导致对位偏移，应提示而非错位显示 | | X2-11 | 闭合集内典型件，逐卡逐字段全量核对 | 工步描述存在等效表述，须判为等效而非错误 | 差异台账存在未关闭项，卡片须被阻断下发 | | X2-12 | 回放窗口中资料齐套的编制任务 | 零件同时命中借用件与新图特征，须交人审判定 | 双路互校结果超容差，须停下等人确认而非取其一继续 | 表 2-15　数据来源：用例组划分与构造样本的四类高风险情形见 2.3.2.4 节。 ##### 2.3.2.11　验证指标与通过判据 表 2-16　板材备料工艺智能设计场景的验证指标 | 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 | |---|---|---|---|---| | X2-1 | PLM 任务与图纸接收解析成功率，按任务 | ≥95%；失败任务给出原因分类 | 趋向全量 | 原因分类后按类处置 | | X2-7 | 格式识别成功率，按文件，四类格式分别统计 | 原生 DWG／DXF ≥98%；STP／STEP ≥95%；矢量 PDF ≥90%；扫描版先矢量化，不单独设门限 | 前三类趋向全量 | 失败件列原因（缺字体、缺外参、图层异常等） | | X2-9 | 要素解析正确率，按要素，五类分别统计 | 形状与尺寸 ≥95%；材料 ≥98%；公差符号 ≥92%；技术要求条目判读 ≥85% | 前三类趋向全量，技术要求 ≥90% | 按类补规则或补样本 | | X2-9 | 「其余」一档判读正确率，按图纸 | ≥98%，漏判即计错 | 趋向全量 | 逐例复核并补规则 | | X2-10 | 按要素或图层在线预览的可用性 | 五类要素与图层均可筛选显示，解析结果与原图可对位 | 保持 | 不可对位的图纸列入待处理 | | X2-2 | 工艺卡片基础信息字段一致率，按字段 | ≥99% | 趋向全量 | 差异字段逐条判定 | | X2-2 | 工序集合一致率，按零件 | ≥92% | ≥95% | 不一致项按工序字典复核 | | X2-2 | 工序顺序一致率，按零件 | ≥90% | ≥94% | 顺序错误逐例归因到依赖规则 | | X2-2 | 设备与工装匹配一致率，按道序 | ≥95%；排入非可用状态设备数为零 | 趋向全量 | 台账状态字段核查 | | X2-2 | 定额偏差，按零件；材料定额与工时定额分列 | 材料定额相对偏差 ≤2% 的占比 ≥95%；工时定额 ≤5% 的占比 ≥90% | 材料 ≤1%、工时 ≤3% 的占比各提升 | 偏差项核查系数版本与几何提取 | | X2-11 | 下发门槛：差异台账未关闭项数，按卡片 | 零；台账存在未关闭项的卡片不予下发，阻断在流转状态上实现 | 保持为零 | 未关闭项逐条判定并修正后关闭，关闭后方可下发 | | X2-11 | 闭合集内高危字段实质错误数，按字段 | 零；出现即判该轮不通过 | 保持为零 | 回溯规则与样本，该类字段整体复测 | | X2-11 | 闭合集内字段级一致率，按字段（过程指标，不替代下发门槛） | ≥99% | 趋向全部字段一致 | 差异字段由工艺骨干判定实质错误或等效表述 | | X2-11 | 闭合率，按零件，分三层统计（过程指标） | 如实统计并报告未闭合原因分布，首轮不预设门限 | 随规则覆盖与台账补齐逐层提升 | 闭合率低的层单列改进项 | | X2-3 | 工序附图生成可用率，按附图 | ≥92%，附图与工序对应关系正确率 ≥98% | ≥96% | 不可用附图列原因 | | X2-8 | PDF 导出与打印一致性，按文档 | 导出件与界面显示一致，打印抽检不少于三十份逐份核对 | 保持 | 不一致项修正后复核 | | X2-4 | 变更差异集合一致率，按改版对 | ≥92%；漏改数为零 | 趋向全量 | 漏改逐例归因到比对规则 | | X2-5 | 规则与台账维护的生效正确性，按配置变更 | 变更后重算结果正确，旧卡片保留其原规则版本 | 保持 | 未按版本留存的判定未完成 | | X2-6 | 应急通道演练 | 三种触发情形各演练不少于一次，均在约定时限内给出可下发最简工艺并留痕 | 保持 | 演练未通过的重新演练 | | X2-12 | 端到端任务可用率，按零件 | ≥75% | ≥85% | 返工零件统计修改字段数与耗时 | | X2-12 | 端到端任务失败率，按零件 | ≤4% | ≤2% | 逐例归因 | 表 2-16　数据来源：指标项对应招标文件 b1626 至 b1634；阈值为我方按数据条件设定的承诺口径，最终随蓝图设计确认。 两处阈值的取法在此说明。工艺卡片基础信息与闭合集内字段级一致率都定在百分之九十九，依据是本场景有 63 万张成对样本这一监督条件。在有现成参考答案的字段上，定得低反而说不过去。而工序集合与顺序一致率定在九十二与九十，依据是另一条现场事实：不同工艺员编制方案本就存在差异，工序选多选少、如何合并、顺序如何排有经验成分，历史卡片之间也不是完全一致。把这两项定到九十九，等于要求系统复现某一位工艺员的个人习惯，那不是标准化。因此这两项的配套要求是可解释率，系统排出的每一道序都要能指回它的依据条款或依据图面标注。 ##### 2.3.2.12　数据集贡献度的对照实验 本场景四组对照全做，是六个场景里对照设计最完整的一个，原因是它的监督样本量足以支撑消融。 题集取自场景基准题集中的要素判读与工序编排两类题型，不少于二百题，全部来自已签发的历史卡片，不含合成数据。 基座裸测组在这个场景上的结果有特别的说明价值。基座模型见过大量机械制图的通识内容，能认出粗糙度符号是什么，但认不出「本企业的较粗一档在编程气割工序中一次割出」这条企业规则，更排不出 28 道工序的受限集合。预期表现是要素识别尚可、工序编排基本不可用。这一组的指标说明了一件对甲方有用的事：这个场景的能力几乎全部来自企业自有数据，通用模型的通识在这里帮不上忙。 检索增强组接入工序字典、加工方法分档规则与工步语句库。这一组的提升预期主要落在工序集合的正确性上，规则一旦可检索，选对工序就不难。但顺序与合并仍会出问题，因为那依赖对多条约束的联合推理，不是查条文能解决的。这一组与下一组的差值因此特别有解释力。 数据集适配组使用以本场景指令微调子集训练的模型版本，并叠加偏好对齐版本。偏好数据的来源就是 2.3.2.4 节所说的判读依据标注，同一零件有多个可行工序序列而有优劣之分，骨干对优劣的判断构成偏好对。这一组要报偏好判别准确率，并检查对齐之后是否出现奖励取巧，典型表现是系统倾向于多排工序以提高「不漏序」的评分，而多排的工序在现场是多余成本。这一倾向要用工序道数分布与历史卡片比对来发现，不能只看准确率。 子集消融组做三组切法。第一组抽掉合成与增强产出的样本，只留真实标注样本，用来判断本场景的合成工作是否必要，本场景真实样本量大，合成的边际价值可能不高，这个结论本身对后续投入有直接意义。第二组抽掉判读依据标注，只保留结果标注，用来度量「写明依据」这项额外标注投入换来了多少能力，特别是可解释率的变化。第三组按零件复杂度抽，抽掉复杂件样本后看复杂件上的指标跌多少，用来判断复杂件样本的补充优先级。 三组消融的结论直接进入回流机制的优先级排序：跌幅最大的那一类，就是数据集扩充的首选方向。 ##### 2.3.2.13　归因、整改与交付物 本场景的归因有三类高频情形，排查路径预先写明。 工序漏排。排查顺序是先看该道序所依据的图面标注是否被提取，绝大多数漏序源自判读点漏提，不是编排逻辑错；标注已提取而序未排的，查加工方法分档规则是否覆盖该组合；规则已覆盖而仍未排的，才是编排逻辑问题，转实现侧。 展开长偏差。排查顺序是先核中性层系数的索引键是否命中，四维索引缺一维时系统会退到就近组合，这会带来系统性偏差而不是随机误差，表现上很容易被误认为算法精度不足。索引命中而仍偏差的，核板厚与折弯角度的提取值，再核压模号的台账对应。 借用件误判。借用关系判错有两个方向，判成借用而实际不可借用后果更重。排查时先核几何特征索引的建库范围，首期只按部分产品族建库，范围外的零件本来就判不准，这属于范围问题不是能力问题，须在统计时剔除并说明。 本场景交付物八项：场景验证方案；数据就绪度核验报告与缺口清单，含图纸家底分层抽样统计；闭合条件的标定方法与标定结果；冻结版金标准集与用例集，含判读依据标注规范与仲裁记录；验证执行记录与见证签认档案，含打印抽检记录与应急通道演练记录；场景验证报告，含四组对照的能力增量表、三组消融结论与闭合率分层统计；等效表述认定规则；错题归因清单与数据集改进需求单。 ##### 2.3.2.14　执行批次、观察期与见证安排 本场景分三批执行。第一批是解析组与成卡组，前置条件是工序字典正式发布、加工方法分档规则成文、中性层系数完成一版确认，三项齐备即可开跑。第一批的见证重点在参考答案的权威性：金标准集的参考答案取自已签发卡片，但卡片本身可能存在当年的笔误或已被后续修订，因此抽样投放前由工艺骨干对参考答案做一轮确认，确认不通过的样本剔除并记录，剔除比例一并报告。 第二批是变更组、台账组与应急组。变更组依赖历史改版案例的归集，台账组依赖设备状态与有效期两列的补齐，应急组依赖演练方案的会商确定。应急通道的演练要在生产节拍之外安排，三种触发情形分别演练，演练过程由工艺与生产两侧岗位同时见证。这一项验证的是流程可用性而非系统能力，见证人的覆盖面比指标更重要。 第三批是端到端组，并进入观察期。观察期取不少于两个月，期内累计编制任务不少于一百五十件方具备分层统计意义。观察期内重点记录三项：工艺骨干对生成草稿的修改分布（哪些字段改得最多）、闭合率随规则库完善的变化曲线、以及因台账缺口触发人工通道的次数。第一项的用处最直接，改得最多的字段就是下一轮规则与样本补充的入口，这比总体准确率更能指导工作。 打印抽检单独安排。招标文件要求验证工艺卡片与工序附图的 PDF 导出及打印（b1630），打印件与屏幕显示的差异（字体替换、图幅缩放、线型丢失）只有打出来才能发现，因此抽检不少于三十份、覆盖三类复杂度，逐份与界面显示核对，抽检记录进见证档案。 ##### 2.3.2.15　验证记录、报告字段与版本关联 用例级记录的必填字段与 4.1 节一致，本场景的输入对象标识为图号加零件号，参考答案来源统一填「已签发工艺卡片的结构化版本」并附该卡片的签发版本号与参考答案确认记录编号。本场景的用例卡另加三项：闭合条件四项的逐项判定结果；差异台账编号与未关闭项数；双路互校的两路结果与差值。 轮次级记录的必填字段：数据集版本指纹、四组对照的模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加四项：工序字典的发布版本号、加工方法分档规则表的版本号、中性层系数表的版本号与索引键完备情况、以及卡片模板的受控版本号。这四项中任一项换版，相关判据与标注规范同步复核，已按旧版本判定的用例按 4.5 节的修订纪律回溯重判。 场景报告按 4.3 节的九章体例出具，本场景填入的内容为：被验证能力清单与条目对照（十二项）；数据就绪度结论（图纸可打开率、图卡可对应率、关键判读点可提取率、设备台账状态与有效期补齐情况）；验证资产说明（三层分层抽样框架、要素级与工序集合一致率、仲裁记录摘要、参考答案确认的剔除比例）；执行情况（三批执行的版本登记、打印抽检记录、应急通道演练记录）；逐项判定结论；数据集贡献度结论（四组对照的能力增量表与三组消融结论）；归因分析；可用性结论与档位说明（含闭合率分层统计与未闭合原因分布）；改进需求与优先级。报告另附闭合条件的标定方法与标定结果、等效表述认定规则、以及差异台账的关闭情况汇总。 版本关联按三元标识执行，本场景另绑两项：卡片所依据的工序字典版本与规则库版本。每一张生成卡片在档案中记录其生成时所用的规则版本，规则换版后旧卡片保留其原版本，这一点既是 X2-5 的验证内容，也是卡片可追溯的前提。差异台账的每一条记录绑定用例编号、字段名、判定结论（实质错误或等效表述）、处置与关闭时间、关闭人；台账与卡片的流转状态联动，未关闭即不予下发。 ##### 2.3.2.16　本场景验证资产的跨场景复用 闭合条件这一方法在其他三个场景有直接对应。热处理的分析层级分档、焊接的档位判定、健康诊断的证据分级，本质上都是「先判定本次输入够不够支撑一个确定的结论，够则给结论、不够则降档并标明」。本场景把它定义得最具体，四项条件可逐项核对，其余场景按同一体例定义自己的闭合或分档条件。 双路互校的做法在热处理的参数补偿与焊接的线能量核对上同样适用：一路按公式或正式文件算，一路按历史同类回归，不一致即停。这一做法的价值不在提高精度，而在把「可能错」变成「会被拦住」，对于高危字段，拦住比算准更重要。 判读依据标注这一标注体例在六个场景通用。热处理的成因判定、焊接的缺陷类别、健康诊断的失效模式，都要求标注员写明依据；依据既是仲裁的基础，也是偏好数据的来源，还是系统可解释性的参考答案。本场景在这一体例上投入最多，形成的标注规范与培训材料供其余场景复用。 ### 2.4　库存控制智能化（3.2.6.5.1.3） #### 2.4.1　场景介绍（3.2.6.5.1.3.1） 招标文件对本场景的现状描述很具体：矿山装备行业采用按订单定制化项目生产为主、备件备货生产为辅的经营模式，全链路库存管理具有高复杂性，三条特征分别是物料清单结构复杂、单品生命周期多依赖项目周期、除大宗材料外通用性较低，各类物料的计划和库存管控逻辑各不相同；供应网络分布广，多制造厂区并存、国内及海外采购并行，各主体协同难度高；工艺路线长、生产周期和材料采购周期长，受需求波动和制造扰动影响大（b1637 至 b1640）。招标文件进而指出，依赖传统手段做库存管控已遭遇瓶颈，物料预测和备货逻辑拆解缺乏科学依据，库存金额管控与供需计划流、库存实物流管控脱节（b1641）。场景的建设方向是基于库存运作相关数据，构建库存领域对象知识本体，支持大模型、机器学习模型、双口径指标计算模型运作（b1642）。 这个场景的验证设计有五处关键判断。 第一处是库存的性质。这里的库存不是面向稳定销量的商品库存，而是围绕具体项目与交付节点形成的项目性储备。整机按工作面长度、地质条件、倾角与装机功率单独配置，物料清单逐单不同；库存主体是钢板，结构件的备料件由大板下料、钻孔、成形，再焊接为项目专用部件。这一性质决定了预测类能力的验证不能照搬商品库存的做法。对一个每单配置都不同的产品做单品级需求预测，预测的对象本身就不稳定。因此本方案把物料需求预测按招标文件所列的四个品类分别验证：大宗金属材料、标准件、定制异形件、通用制品（b1656）。四类的可预测性相差很大：大宗金属材料与订单量有稳定的折算关系，标准件有历史消耗规律，通用制品介于两者之间，而定制异形件本质上不可独立预测，只能随项目清单推导。把四类合成一个预测准确率去考核，等于用可预测性最好的那一类的成绩掩盖最差的那一类。 第二处是供应约束的两种性质。外购部分集中在紧固件与标准件、外购电动机以及部分外购链条，其约束是采购与运输提前期；而矿用减速器与另一部分链条由企业自制，其约束是自制产能与内部制造周期，不是采购提前期。两种约束在安全库存测算与补给调度中的算法完全不同，验证时须分开统计，否则自制件的提前期会被按采购件的口径算错。 第三处，也是本场景最要紧的一处，是双口径问题。库存数量与金额在不同口径下并不一致，直接影响全部量化结论：财务口径将半成品视为尚未转化价值的原材料计入库存资金，生产管理口径认为半成品已按单投产、不计入考核范围。招标文件要求搭建标准化、可配置的库存管控指标体系并实现指标差距多维度穿透（b1645、b1646），而穿透的前提是口径先定。因此本方案把库存口径字典列为 L1 的硬前置，并把双口径的差额桥接单列为一项验证内容。不是只报两个数，而是要能说清两个数之间的差额由哪些明细构成。口径不先定下来，后面所有指标都会出现两个版本，验收时无法判定对错。 第四处是时间屏障。本场景的多数能力（需求预测、态势预判、安全库存测算、呆滞成因溯源）都要在历史窗口上做回溯检验，而回溯检验最容易出的问题是看到了未来信息。一次预测若在计算时用到了预测期之后才产生的数据，指标会漂亮得毫无意义。因此本方案要求时间屏障以数据视图裁剪实现，而不是靠流程约定：按预测基准时点冻结一份快照，只暴露该时点及之前可见的数据，之后的数据在视图层不可达。这一条是本场景验证可信度的根本，写在 2.4.2.4 节的方法里。 第五处是基线的缺失。现行备料计划以历史类比为主要依据，参照往年同期用量与本年上一季度的销售订单情况估算，约每两个月组织一轮。这种方式缺少可复算的测算依据，也没有留下过程记录：每一笔新增积压形成于哪一轮储备决策、依据何种需求假设，都没有被记录下来。这意味着本场景的多数验证项没有现成的绝对基线可比，只能用对比基线方式定义判据。在同一历史窗口上不劣于现行做法，并给出改善幅度。而「现行做法的水平」本身也需要先统计出来，这份统计是本场景的第一项交付物。 还有一点须写明边界：本场景的目标不是压缩库存总量。提前储备本身有必要性，外购件与自制件的交付周期直接影响整机齐套；验证的落点是在保障交付的前提下降低资金占用的峰值与波动、减少新增呆滞，而不是把库存压低。把目标写成压降总量，是在给自己挖一个将来解释不清的坑，总量压低而齐套出问题，责任无法划分。 #### 2.4.2　验证要求（3.2.6.5.1.3.2） ##### 2.4.2.1　验证要求的拆解与被验证能力 招标文件为本场景列了五条验证要求，展开为十一项能力。 表 2-17　库存控制智能化场景被验证能力 | 编号 | 被验证能力 | 标书依据 | 判据性质 | 层级 | |---|---|---|---|---| | X3-1 | 标准化、可配置的库存管控指标体系 | b1645 | 口径一致性 | L1／L2 | | X3-2 | 库存指标差距多维度穿透（合同、令号、批次、客户、供应商） | b1646 | 穿透完整性与可对账性 | L2 | | X3-3 | 超龄库存、慢速滞留库存成因溯源 | b1647 | 统计性，成因命中率 | L2 | | X3-4 | 多品类库存智能评级与健康诊断 | b1648、b1649 | 统计性，一致性系数 | L2 | | X3-5 | 合理库存水位、标准库龄阈值、最优结构配比生成 | b1650、b1651 | 对比基线 | L2／L3 | | X3-6 | 全周期库存态势智能预判 | b1652、b1653 | 回溯检验 | L2 | | X3-7 | 库存风险预警（超储积压、缺货、滞留、结构劣化） | b1654、b1655 | 召回率与误报率 | L2 | | X3-8 | 四品类物料需求预测 | b1656 至 b1658 | 回溯检验，四类分别统计 | L2 | | X3-9 | 安全库存动态测算 | b1659、b1660 | 对比基线，自制与外购分列 | L2／L3 | | X3-10 | 跨分厂闲置物料识别与调拨策略 | b1660、b1661 | 可执行性与采纳率 | L3 | | X3-11 | 一轮完整测算的端到端任务 | b1644 | 任务级 | L3 | 表 2-17　数据来源：招标文件 b1644 至 b1661 逐条拆解。 X3-5 与 X3-9 两项要特别说明判据性质。「合理库存水位」「标准库龄阈值」「最优结构配比」「动态安全库存」这几个量都没有客观正确答案。它们是决策建议，优劣取决于在交付保障与资金占用之间的取舍偏好。因此这两项不写准确率，写成两部分：一是建议的可复算性，即每一个数值都能追到它的输入、模型与参数，换一组偏好参数能重算出另一组建议；二是回溯检验下的效果对比，即若在历史某一时点按系统建议执行，到期末的资金占用与缺货次数与实际执行相比如何。第二部分是对比基线判据。 ##### 2.4.2.2　数据就绪度核验 本场景涉及五套业务系统，建设时点与覆盖范围本就不同，有的字段齐备且可开放只读接口，有的仅覆盖部分车间或以线下台账维护。L1 的最小可用集是四项：物料主数据；已签订单与在执行合同的交付节点与配置清单；库存实物账的数量、库位与质量状态；采购订单的承诺与实际到货记录。四项齐备可跑通一轮测算并给出可核对结论。 取数侧按系统分别确认。企业资源计划系统取物料主数据、销售订单、需求计划、采购订单与库存金额账；制造执行系统取工单与报工、在制数量、已领未用与线边库存；仓储管理系统取实时库存、出入库记录、库存批次、库位信息、质量与冻结状态与项目占用；客户关系管理系统取客户档案、商机阶段、预计签约窗口、历史销量与销售预测；供应链管理系统取采购周期、到货时效、供应商履约率与合格供方名录。五套的只读授权在就绪度体检阶段逐套确认并记录开通时间，未开通的以受控导出过渡并标注数据时点。 L1 的核验重点有四项，每一项都直接对应一类指标能否成立。 库存口径字典是第一项。须含计价范围、资金占用统计口径、半成品与在制是否计入、呆滞认定周期与金额口径五类定义，并与月度库存报表对账通过。口径尚未书面确认时，本场景只输出数量与缺料风险，金额侧仅呈现两个口径的差异构成，不出金额类结论。这一处置写明是必要的。在口径未定的情况下给出金额结论，等于把一个将来会被两个部门分别质疑的数字写进报告。 物料分类打标是第二项。招标文件要求对四个品类分别建模（b1656），而现状是采购与自制属性、通用件与项目专用标识、代用关系三类标识不完整，代用关系散见历史文件。L1 要求完成一次分类打标与汇总，并约定新增物料在编码环节同步打标。打标的准确性直接决定四类预测的分母是否干净。 主数据对应关系是第三项。物料与部件、项目的对应关系，订单与项目号与物料需求的对应关系，图号与物料编码的对应关系，这三组映射是穿透分析成立的前提。招标文件要求按销售合同、施工令号、生产批次、客户、供应商五个维度穿透（b1646），每一个维度都需要一条可追的映射链。L1 的核验方式是取三个真实令号做端到端穿透追溯，确认从金额差距能逐层下钻到具体物料与具体批次。 历史序列长度是第四项。归一化指标的基线需要月度库存金额序列，序列不足两年时归一化指标暂不出结论。供应链侧的历史保留期限须先行确认并导出一段完整历史。这一点与热处理场景的时序数据保存期问题同类，都属于「样本会随保存周期流失」的情形，须在项目启动阶段先行导出，不能等到需要时再找。 还有两类数据的处理方式要写明。钢板与余料的可用尺寸（材质、厚度、平面尺寸、切割状态、质量状态），目前只有账面重量而无尺寸记录，能否套用于下一项目无法由物料编码判断。L1 阶段按不可直接套用处理并列入待测量清单；余料套用与跨项目复用撮合这项能力在台账建立之后才具备验证条件，首轮验证中按受限档处理并说明。设计侧的清单冻结状态字段，可获取时按其定量测算前置采购敞口，不可获取时按同类产品历史变更幅度分档给出，两种处置在验证报告中分别标明所用方式。 ##### 2.4.2.3　金标准集、回放窗口与用例设计 本场景的验证资产以回放窗口为主，这与前两个场景不同，选型与备料有现成的「正确答案」可标注，而库存的多数能力没有正确答案，只有历史事实。 回放窗口按期次组织。取不少于二十四个连续月份的历史数据，按月冻结为二十四份快照，每份快照只含该月末及之前可见的数据。期次结构要包含完整的业务周期：至少覆盖两个完整年度的季节波动，以及至少一轮集中交付期与一轮淡季。每份快照须同时保留三类内容：该时点的库存实物与金额状态、该时点已知的订单与计划、以及该时点之后实际发生的结果（到货、领用、缺料、呆滞认定）。前两类用于测算，第三类用于判定，在视图层严格隔离。 金标准集用于两项需要人工判断的能力。一是库存健康评级（X3-4），由物料管理与财务骨干各一名双人独立评级，按五档打标，用加权一致性系数度量，系数低于零点五五时返工并复核评价因子定义。二是成因溯源（X3-3），对超龄与慢速滞留库存的成因做标注，成因大类分需求侧、供应侧、计划侧、执行侧四类，每条记录标主因与次因；按主因一致与前两位命中两项分别统计，主因一致率低于百分之七十时重新定义成因大类。评级样本按物料品类分层，各层不少于一百条；成因样本不少于三百条，取自已完成盘点与回溯的历史条目。 构造样本针对本场景的四类极端情形设计，不少于五十例：需求端突发大单、供应端单一供应商中断、设计端清单大幅变更、以及财务口径调整期。前三类在历史中有过真实发生但次数少，定向检索相似期次；第四类按业务骨干指导人工构造。构造样本考察的是建议的稳健性。在这类情形下系统给出的建议是否明显不合理，而不是准确率。 用例集分六组。穿透组用于 X3-1 与 X3-2，取三个以上真实令号与两个以上供应商，逐层下钻并与报表对账。溯源组用于 X3-3。评级组用于 X3-4。预测组用于 X3-8，按四品类分别执行，按期滚动。推演组用于 X3-6 与 X3-7。决策组用于 X3-5、X3-9、X3-10，在回溯窗口上做建议与实际的对比。端到端组用于 X3-11，取不少于六轮完整测算。 ##### 2.4.2.4　回溯检验的方法与时间屏障 这一小节单列，因为本场景一半以上的指标依赖它，而它做不干净，所有指标都不可信。 方法是按期滚动。从回放窗口的第 N 份快照出发，只用该快照暴露的数据做测算，输出预测值、水位建议、风险预警与补货建议；然后用第 N+k 份快照中实际发生的结果作为判定依据，计算指标；再把起点推进一期，重复。k 的取值按能力的预测跨度确定：需求预测按月度与季度两个跨度分别做，态势预判按三个月滚动，安全库存建议按一个采购周期后的实际缺货与库存水位判定。 时间屏障以数据视图裁剪实现。具体做法是在验证台的数据层按快照时点建立视图，视图之外的数据在接口层不可达，而不是靠执行人员「注意不要用到未来数据」。这个区别很重要：靠约定的屏障在实际执行中几乎必然被绕过，尤其是在数据加工与特征构造环节，一个按全历史统计的均值就足以把未来信息泄漏进来。本方案对此的检查办法是在首轮执行时做一次泄漏检验：故意把某一期的实际结果从快照中抽掉，若指标无明显变化，说明该结果未被用到，屏障有效；若指标显著变化，说明泄漏存在，须查特征构造链路。这项检验结果进验证记录。 裁剪不可实现的情形也写明处置：改为按时间顺序逐期滚动执行，并记录每期可见的数据范围；此时屏障的强度弱于视图裁剪，在验证报告中注明该项指标的可信度受限。 对比基线的建立方式同样在这一小节固定。现行做法的水平按两步统计：第一步从历史记录中还原每一轮储备决策的时点与结果，第二步按同一套指标口径计算现行做法在各期的表现。能还原的期次纳入基线，还原不到的期次剔除并说明。基线统计完成后与甲方确认，确认后冻结；之后的所有对比均以这份冻结基线为参照，不在验证过程中更新基线，基线一边比一边改，对比就失去意义。 ##### 图 2-5　库存场景的快照冻结与回溯检验 回放窗口：不少于 24 个连续月份，按月冻结为 24 份快照 第 N 期 第 N+k 期 第 N+1 期 …滚动 快照 N 暴露的数据（可见） 期初库存 · 在途库存 · 库龄与库位 已签订单 · 生产计划 · 发货计划 采购承诺 · 商机阶段 · 价格走势 第 N+k 期实际结果（不可见） 实际到货与领用 实际缺料与停等记录 呆滞认定结果 本期测算输出 四品类需求预测 水位建议 · 库龄阈值 · 结构配比 风险预警 · 补货与调拨建议 时间屏障：视图层裁剪，接口不可达 判定：输出 vs 实际结果 并与冻结的现行做法基线对比 泄漏检验：抽掉某一期实际结果后指标无明显变化，判屏障有效；显著变化则查特征构造链路。 基线一经确认即冻结，验证过程中不更新；还原不到的期次剔除并在报告中说明。 图 2-5　库存场景的快照冻结与回溯检验。数据来源：招标文件 b1652 至 b1658；双口径与现行做法的描述依招标文件 b1641 及甲方现行计划方式。 ##### 2.4.2.5　验证台在本场景的装配 本场景的验证智能体把一轮测算拆成八步：外部条件对齐、需求情景生成、项目清单归集与敞口测算、真实可用库存核算与双口径桥接、提前期与自制产能校准、参数与阈值测算、补货与调拨求解、指标核算与复盘成文。 分工上，这个场景的确定性成分比前两个更重。双口径桥接是会计恒等关系，属确定性；真实可用库存的核算（扣除质量冻结、项目占用、已领未用）是规则；约束求解是在交付红线、资金上限、提前期、起订量、经济批量、自制产能与库容约束下的优化问题，属确定性求解器，不是模型生成；指标核算是公式。模型承担三件事：从非结构化的复盘记录、会议结论与供应商沟通记录中抽取结构化事实；在成因溯源中给出候选成因与排序；以及把测算结果组织成业务可读的复盘说明。需求预测按品类选方法，大宗金属材料与标准件走统计与机器学习模型，定制异形件由项目清单推导不做独立预测，通用制品两路并行取优；这一分工在判据表中体现为四类分别统计。 这里有一处取舍要写明：本场景不把补货决策交给大模型生成。理由是补货建议须满足一组硬约束，而硬约束的满足不能靠概率性生成来保证，一个违反交付红线或超出资金上限的建议，哪怕只出现一次，岗位就不会再信任这套系统。因此求解由确定性求解器承担，模型只负责解释求解结果与候选方案之间的差异。验证的落点相应调整为两项：解的可行性（是否满足全部硬约束，判据为零违约）与解的质量（在同一约束下与实际执行的对比）。 人审检查点设三处：需求情景确认后、双口径桥接确认后、补货建议下达前。第二处是本场景特有的，因为金额类结论一旦出口径问题，后续的全部讨论都会跑偏。 ##### 2.4.2.6　本场景的步骤级判据 八步之中，四步设步级判据。 项目清单归集与敞口测算这一步的判据是归集完整率与敞口测算的口径正确性。归集完整率按施工令号统计：该令号下的零件明细是否齐、清单版本与冻结状态是否取到；取不到冻结状态时按同类产品历史变更幅度分档给出，这一分档的执行正确率单列统计。 真实可用库存核算与双口径桥接这一步的判据是桥接明细覆盖率与核算规则的执行正确率。后者指质量冻结、项目占用、已领未用三类扣减是否按规则执行，这三类都是规则，不涉及模型，基线写成全量正确。 参数与阈值测算这一步的判据是可复算性：每一个水位、库龄阈值与配比建议可追到输入、模型与参数，换一组偏好参数能重算出另一组建议。可复算性用抽样复算检验，抽样比例不低于建议条目的百分之十。 补货与调拨求解这一步的判据是硬约束违约数与解的质量。违约数的基线写成零，理由在 2.4.2.5 节已述：一个违反交付红线或资金上限的建议，出现一次就会损害岗位对整套系统的信任。 时间屏障的执行正确性是本场景特有的一项步级判据，覆盖前三步：每一步所读取的数据是否都在当期快照的可见范围内。检验方式是 2.4.2.4 节所述的泄漏检验，执行一次并记入验证记录。 人审检查点三处，需求情景确认后、双口径桥接确认后、补货建议下达前。三处的触达率均要求趋向全量；误停率在本场景不是主要矛盾，因为测算按两个月一轮的节奏组织，停下来确认的频次本身不高。 ##### 2.4.2.7　一个完整用例的走法 举一轮测算为例，起点为回放窗口的某一期快照，该期之后实际发生了一次大宗金属材料的集中到货与一次定制异形件的缺料停等。 第一步外部条件对齐。读入该期可见的年度销售指标、预算额度与资金占用上限，以及该期已知的钢材价格走势。本例中价格走势数据若按公开渠道信息与本企业采购品种建立了映射，则进入择时提示；映射不成立的品类只作提示、不进测算。 第二步需求情景生成。按已签订单、分级商机与年度盘子生成多套可比需求。本例的关键是商机转化的不确定性：该期有若干处于中后期阶段的商机，是否转化、何时转化在该时点无法确定。判据不是「预测对了几个商机」，而是情景集是否覆盖了实际发生的情形，以及各情景的假设是否明写。 第三步项目清单归集与敞口测算。按施工令号归集零件明细，查清单版本与冻结状态。本例中造成后续缺料的那个定制异形件，其所在清单在该期尚未冻结。这正是前置采购敞口测算要处理的情形。判据是敞口测算的口径正确性：冻结状态可获取时按其定量测算，不可获取时按同类产品历史变更幅度分档，分档的执行正确率单列统计。 第四步真实可用库存核算与双口径桥接。扣减质量冻结、项目占用与已领未用三类，得到真实可用量；再做财务口径与生产管理口径的差额桥接，差额须能逐项说明构成。本例的半成品金额是两个口径差异的主要来源，桥接明细覆盖率的判据在此落地。 第五步提前期与自制产能校准。外购件按承诺与实际到货记录反算有效提前期，自制件按产能排程与历史制造周期校准。两类的算法不同，须分列。本例的定制异形件若属自制，其约束是自制产能而非采购提前期，按采购口径算会把锁定时点算早或算晚。 第六步参数与阈值测算、第七步补货与调拨求解。在交付红线、资金上限、提前期、起订量、经济批量、自制产能与库容约束下求解。判据两项：硬约束违约数为零；以及解的质量，即若在该期按系统建议执行，到第 N+k 期的资金占用与缺货次数与实际执行相比如何。本例的实际结果中有一次缺料停等，因此这一项的核心看点是系统是否在该期就把那个物料识别为缺货风险并给出前置建议。 第八步指标核算与复盘成文。复盘说明的判据是关键事实覆盖率与信息密度，不用文本相似度，理由见 2.1.15 节。 全过程受时间屏障约束：前七步所读取的数据都须在该期快照的可见范围内，第 N+k 期的实际结果在视图层不可达。泄漏检验按 2.4.2.4 节执行一次并记入验证记录。这条用例也说明了为什么本场景的多数判据写成对比基线，「该不该在那一期就备那批料」这个问题没有客观正确答案，只有与现行做法的比较。 ##### 2.4.2.8　逐项验证的来源数据、样本结构与基准答案 表 2-18　库存控制智能化逐项验证的数据、样本与基准答案 | 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 | |---|---|---|---|---| | X3-1 指标体系与口径 | 库存口径字典；月度库存报表；企业资源计划系统的库存金额账 | 指标项全集逐项对账；差额桥接按金额明细组织 | 现行月度报表为对账参照；差额构成以财务与生产管理两部门共同确认的明细归集规则为准 | 确定性核算，不涉及模型；不设对照组 | | X3-2 五维度穿透 | 销售合同、施工令号、生产批次、客户、供应商五组映射链；物料与部件、项目的对应关系 | 真实令号不少于 3 个、供应商不少于 2 个，逐层下钻到物料与批次 | 各层级的实际明细与报表金额，取自源系统当期账 | 穿透查询在快照视图上执行；不设对照组 | | X3-3 成因溯源 | 超龄与慢速滞留库存条目；历史复盘记录、会议结论、供应商沟通记录 | 成因样本不少于 300 条，取自已完成盘点与回溯的历史条目 | 主因与次因，物料管理与计划骨干双人独立标注，成因大类分需求侧、供应侧、计划侧、执行侧四类 | 沙箱分类与排序题型；基座裸测、检索增强、数据集适配三组 | | X3-4 多品类评级 | 库存实物账、库龄、周转、项目占用、质量冻结状态 | 评级样本按物料品类分层，各层不少于 100 条 | 五档评级，物料管理与财务骨干各一名双人独立评级，加权一致性系数度量 | 评价因子与权重明写，可逐项复算；三组对照 | | X3-5 水位、库龄阈值与结构配比 | 回放窗口的月度快照；交付节点；资金占用上限 | 不少于 24 个连续月份快照，覆盖两个完整年度与至少一轮集中交付期 | 无客观正确答案，采用对比基线：现行做法在同一历史窗口上的表现，统计后冻结 | 确定性求解器加回溯检验；本项不做模型对照 | | X3-6 态势智能预判 | 月度快照序列；在执行合同与需求计划 | 按三个月滚动，每期一次推演，覆盖全部期次 | 第 N+k 期快照中的实际结果 | 时间屏障以数据视图裁剪实现；统计与机器学习模型，不做微调对照 | | X3-7 风险预警 | 快照序列；已发生的超储、缺货、滞留与结构劣化事件记录 | 按已发生风险事件计召回，按预警条数计误报 | 事后确认的风险事件为客观答案 | 规则与模型联合，门限可调；不做微调对照 | | X3-8 四品类需求预测 | 销售订单、需求计划、历史消耗、项目清单；物料分类打标结果 | 按大宗金属材料、标准件、定制异形件、通用制品四类分别组织，按月度与季度两个跨度滚动 | 第 N+k 期的实际领用与采购量；定制异形件不做独立预测，以项目清单推导的覆盖情况为准 | 统计与机器学习模型，按品类选法；不做微调对照 | | X3-9 安全库存动态测算 | 采购与运输提前期的承诺与实际到货记录；自制产能排程与历史制造周期 | 外购件与自制件分列，各按物料分层 | 对比基线：同一历史窗口上现行储备量所对应的缺货次数与资金占用 | 确定性测算加回溯检验；不做模型对照 | | X3-10 跨分厂闲置识别与调拨 | 各分厂库存实物账、库位、项目占用与质量状态；余料台账 | 识别条目全量，调拨建议按条目计 | 仓储与计划岗位现场核实结果 | 约束求解器；不做模型对照 | | X3-11 一轮完整测算 | 以上全部来源在同一期快照下的组合 | 不少于 6 轮完整测算 | 各环节产出的可核对结论与复盘说明 | 八步验证智能体全链路，全程受时间屏障约束 | 表 2-18　数据来源：能力编号与标书依据见表 2-17；回放窗口与期次结构见 2.4.2.3 节；时间屏障见 2.4.2.4 节。 ##### 2.4.2.9　逐项验证的指标公式、招标门槛与闭环责任 表 2-19　库存控制智能化逐项验证的指标公式与闭环责任 | 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 | |---|---|---|---|---| | X3-1 | 可对账指标项数 ÷ 指标项总数；差额中可归入明细的金额 ÷ 差额金额 | b1645 要求搭建标准化、可配置的库存管控指标体系，未设数值门槛 | 财务与生产管理两部门共同核对差额构成 | 先核口径字典版本与报表期间，再核明细归集规则，最后才看计算逻辑；口径未书面确认前不出金额类结论 | | X3-2 | 可下钻至物料与批次的维度数 ÷ 应支持维度数（五维） | b1646 要求指标差距多维度穿透，列举合同、令号、批次、客户、供应商，未设数值门槛 | 骨干按真实令号逐层核对下钻结果 | 映射缺失的维度列入补齐清单；映射建立后重跑该维度穿透 | | X3-3 | 主因一致条目数 ÷ 条目数；前两位命中条目数 ÷ 条目数 | b1647 要求超龄库存、慢速滞留库存成因溯源，未设数值门槛 | 骨干按标注依据核对候选成因与排序 | 未命中项先核成因大类定义是否覆盖该情形，再核复盘记录的结构化质量；属样本不足的转数据集扩充并复测该类条目 | | X3-4 | 加权一致性系数（系统评级与骨干评级）；可复算评级数 ÷ 评级数 | b1648、b1649 要求多品类库存智能评级与健康诊断，未设数值门槛 | 骨干抽样复核评定因子得分 | 系数低于门限的复核评价因子权重与定义；不可复算的判定未完成并修复因子记录后重测 | | X3-5 | 对比基线：按期次计，系统建议下的期末资金占用与缺货次数，对冻结基线的差值 | b1650、b1651 要求生成合理库存水位、标准库龄阈值与最优结构配比，未设数值门槛 | 计划岗位核对建议的可执行性与假设是否明写 | 劣于基线的期次逐期归因，区分约束缺失与参数设定；约束补齐后重解该期并复测相邻期 | | X3-6 | 按期次与科目计：推演值与实际值的相对偏差，取中位数 | b1652、b1653 要求全周期库存态势智能预判，未设数值门槛 | 计划岗位核对推演假设与实际差异的解释 | 偏差大的科目单列归因；先做泄漏检验排除屏障失效，再查特征构造 | | X3-7 | 命中的已发生风险事件数 ÷ 已发生风险事件数；误报条数 ÷ 预警条数 | b1654、b1655 要求库存风险预警，列举超储积压、缺货、滞留、结构劣化，未设数值门槛 | 岗位对每条预警标记有效或无效 | 漏报逐例归因并补判据；误报归因后调整阈值，调整过程与每次取值留痕 | | X3-8 | 按品类与期次计：加权平均绝对百分比偏差；定制异形件按项目清单推导的覆盖条目数 ÷ 应覆盖条目数 | b1656 至 b1658 要求四品类物料需求预测，列明大宗金属材料、标准件、定制异形件、通用制品，未设数值门槛 | 计划岗位核对输入侧的清单冻结状态与打标正确性 | 先区分模型偏差与输入偏差：清单未冻结属业务流程问题须如实说明，打标错误属数据侧须回流修正；排除输入问题后才作模型归因并复测该品类 | | X3-9 | 对比基线：外购件与自制件分列，同一历史窗口上缺货次数与资金占用对冻结基线的差值；可复算建议条目数 ÷ 建议条目数 | b1659、b1660 要求安全库存动态测算，未设数值门槛 | 采购与生产计划岗位分别核对两类约束的取值 | 劣于基线的物料逐项归因；自制件按采购口径算的提前期错误须改算法并重跑自制件全集 | | X3-10 | 经现场核实成立的识别条目数 ÷ 识别条目数；硬约束违约条数（绝对数）；经岗位判定可执行的建议数 ÷ 建议数 | b1660、b1661 要求跨分厂闲置物料识别与调拨策略，未设数值门槛 | 仓储与计划岗位现场核实库位与占用状态 | 误识别逐例核查库位与占用状态字段；不可执行建议追到缺失的那一条约束，补入约束集后重解 | | X3-11 | 全部环节完成并出复盘说明的轮次数 ÷ 轮次数 | b1644 要求提供全流程验证能力，包括但不限于所列条目，未设数值门槛 | 计划岗位对每轮复盘说明签认 | 未完成环节列明阻塞项；阻塞条件解除后重跑该轮 | 表 2-19　数据来源：招标门槛一栏照录招标文件 b1644 至 b1661 原文要求；指标数值见表 2-21；对比基线的建立方式见 2.4.2.4 节。 ##### 2.4.2.10　正常、边界与异常三类用例 表 2-20　库存控制智能化的三类用例 | 能力 | 正常用例 | 边界用例 | 异常用例 | |---|---|---|---| | X3-1 | 口径字典已确认的月份，指标与报表逐项对账 | 半成品金额占比异常高的月份，检验两口径差额的可解释性 | 口径字典未确认，系统须只输出数量与缺料风险，不出金额结论 | | X3-2 | 常规令号，五维逐层下钻到批次 | 一个物料同时归属两个令号，下钻须可分摊并说明 | 图号与物料编码映射缺失，须提示断链位置而非给出不完整金额 | | X3-3 | 典型超龄条目，成因记录较完整 | 主因与次因影响相当，检验前两位命中的判定 | 该条目无任何复盘记录，应标注证据不足而非编造成因 | | X3-4 | 各品类常规物料评级 | 评级落在两档交界处，检验因子权重的取舍 | 库存实物账与实物不符的物料，应先提数据质量问题 | | X3-5 | 常规期次，建议与实际执行可比 | 资金上限与交付红线同时接近约束边界 | 两条约束互相冲突无可行解，应报无解与冲突约束而非给出违约解 | | X3-6 | 平稳期的三个月滚动推演 | 跨年度切换期，科目口径变更 | 该期快照缺失某一科目，应缩小推演范围并标注 | | X3-7 | 已发生的超储事件，应被提前预警 | 风险指标恰在阈值附近波动 | 同一风险在四个维度上同时触发，应合并为一条而非四条 | | X3-8 | 大宗金属材料的月度滚动预测 | 标准件在集中交付期的用量跃升 | 定制异形件被误配入可预测品类，应由打标校验拦截 | | X3-9 | 外购紧固件按历史提前期测算 | 提前期分布双峰，检验安全库存取值依据 | 自制减速器按采购口径测算，应被约束类型校验拦住 | | X3-10 | 同材质同规格余料跨分厂撮合 | 余料尺寸恰好临界可用 | 被识别物料已被其他项目占用，应由占用状态拦截 | | X3-11 | 资料齐备期次的完整一轮测算 | 商机转化不确定性高的期次，情景集须覆盖实际发生情形 | 时间屏障泄漏检验未通过，本轮指标须标注可信度受限 | 表 2-20　数据来源：用例组划分与构造样本的四类极端情形见 2.4.2.3 节。 ##### 2.4.2.11　验证指标与通过判据 表 2-21　库存控制智能化场景的验证指标 | 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 | |---|---|---|---|---| | X3-1 | 指标体系与报表对账一致率，按指标项 | 全部指标与现行报表可对账；差额须能逐项说明构成 | 保持 | 不可对账指标暂不输出并列明缺口 | | X3-1 | 双口径差额桥接的明细覆盖率，按金额 | 差额中可归入明细的比例 ≥95% | ≥98% | 未归入部分单列并说明 | | X3-2 | 五维度穿透的下钻完整率，按穿透路径 | 合同、令号、批次、客户、供应商五维均可下钻至物料与批次 | 保持 | 映射缺失的维度列入补齐清单 | | X3-3 | 成因主因命中率，按条目 | ≥70% | ≥80% | 未命中项复核成因大类定义 | | X3-3 | 成因前两位命中率，按条目 | ≥85% | ≥92% | 同上 | | X3-4 | 评级与骨干评级的加权一致性系数 | ≥0.55 | ≥0.70 | 低于门限复核评价因子权重 | | X3-4 | 评级结果的可复算性，按物料 | 每一级评定可追到因子得分与权重，逐项可复算 | 保持 | 不可复算的判定未完成 | | X3-5 | 水位、库龄阈值、结构配比建议的回溯效果，按期次 | 不劣于冻结基线；并给出资金占用与缺货次数两项的改善幅度 | 两项均有可测量改善 | 劣于基线的期次逐期归因 | | X3-6 | 态势推演偏差，按期次与科目 | 库存金额三个月滚动推演的相对偏差中位数 ≤15% | ≤10% | 偏差大的科目单列归因 | | X3-7 | 风险预警召回率，按已发生风险事件 | ≥80% | ≥90% | 漏报逐例归因并补判据 | | X3-7 | 风险预警误报率，按预警条数 | ≤25% | ≤15% | 误报归因并调整阈值 | | X3-8 | 需求预测偏差，按品类与期次分别统计 | 大宗金属材料月度加权平均绝对百分比偏差 ≤15%；标准件 ≤20%；通用制品 ≤25%；定制异形件不做独立预测，按项目清单推导的覆盖率 ≥90% | 前三类各改善不少于三个百分点 | 按品类归因，区分模型与清单质量 | | X3-9 | 安全库存建议的回溯效果，外购件与自制件分列 | 同一历史窗口上缺货次数不增加，资金占用不劣于基线 | 资金占用有可测量下降 | 劣于基线的物料逐项归因 | | X3-9 | 建议的可复算性，按建议条目 | 每一条建议可追到输入、模型与参数，换参数可重算 | 保持 | 不可复算的条目判定未完成 | | X3-10 | 跨分厂闲置余量识别的查准率，按识别条目 | ≥85%，经仓储与计划岗位现场核实 | ≥92% | 误识别逐例核查库位与占用状态 | | X3-10 | 调拨建议的可执行性，按建议条目 | 硬约束违约数为零；经岗位判定可执行的比例 ≥70% | ≥85% | 不可执行项记录原因并补约束 | | X3-11 | 一轮测算的端到端完成度，按轮次 | 不少于六轮，每轮全部环节完成并出复盘说明 | 保持 | 未完成环节列明阻塞项 | 表 2-21　数据来源：指标项对应招标文件 b1645 至 b1661；阈值为我方按数据条件设定的承诺口径，最终随蓝图设计确认。 几处阈值的取法在此说明。需求预测的四档阈值按可预测性从高到低排，依据是四类物料与订单量的关联强度不同：大宗金属材料与整机台数有相对稳定的折算关系，标准件有历史消耗规律但受配置差异影响，通用制品的用量分布更散，而定制异形件逐单不同、不存在可独立预测的时间序列。把定制异形件写成「按项目清单推导的覆盖率」而不是预测偏差，是因为对它做时间序列预测在方法上就不成立，写一个偏差指标是自己给自己设一个达不到的条款。 风险预警的误报率基线定在百分之二十五，看起来偏宽，这是有意的。预警类能力的失败模式是误报高到岗位不看，误报率一旦超过某个水平，这项能力的实际价值就是零，而不是打个折。首轮把误报率的门限定得宽，是为了让召回率先达标，再在观察期内压误报；两项的权衡过程与每次阈值调整都记入验证记录，而不是只报最后一组数。 态势推演与安全库存两项都用「不劣于基线」的写法，理由在 2.4.2.4 节已述：现行做法的水平本身尚无统计，凭空给绝对数值既无法验收也无法申辩。 ##### 2.4.2.12　数据集贡献度的对照实验 本场景做四组对照中的三组，不做子集消融，原因是本场景的数据集中在供需计划一域，消融的切面少；而主要能力依赖确定性求解与统计模型，语料配比对它们影响有限。首轮验证后若发现复盘记录类语料的贡献显著，再追加按语料类型的消融。 题集取自场景基准题集中的成因溯源与复盘问答两类题型，不少于一百二十题，全部来自真实复盘记录与盘点结论，不含合成数据。需要说明的是，四品类预测、水位测算与求解这几项能力不进对照实验。它们不由大模型承担，做对照没有意义。这一点在报告中写明，避免把对照实验的覆盖范围说得比实际大。 基座裸测组在成因溯源题上的预期表现是能给出常见成因的通识性判断（「需求变更导致积压」这一类），但说不清本企业特有的成因结构：比如项目专用料受材质、厚度、平面尺寸与项目占用四重限制而无法转用这一条，通识里没有。检索增强组接入库存领域知识本体、口径字典与历史复盘库，预期在成因候选的完整性上有明显提升。数据集适配组使用以本场景指令微调子集训练的模型版本，重点看两项：成因排序的主因命中率，以及复盘说明的信息密度，复盘说明是给管理层看的，写得长而空比写得短而准更糟，因此这一项的度量要同时看长度分布与关键事实覆盖率。 ##### 2.4.2.13　归因、整改与交付物 本场景的归因有三类高频情形。 口径类失败。表现是指标对不上报表或两个口径的差额解释不清。排查顺序是先核口径字典的版本与报表期间是否一致，再核明细的归集规则，最后才看计算逻辑。这一类归因几乎总落在数据侧，且多数是映射关系问题而非样本不足。 预测类失败。排查时先区分是模型偏差还是输入偏差：输入侧的常见问题是清单未冻结导致需求量本身在变、以及打标错误使物料进了错误的品类模型。两类输入问题的处置方式完全不同，前者是业务流程问题须如实说明，后者是数据侧缺陷须回流修正。只有排除输入问题之后，模型偏差才是有意义的归因结论。 建议类失败。表现是建议被岗位判定不可执行。排查重点是约束集是否完整，漏一条约束，求解结果就会在现实中撞墙。每一条不可执行的建议都要追到缺哪一条约束，并把该约束补进约束集后重解，这个过程本身是约束集逐步完备的主要途径。 本场景分三批执行。第一批是穿透组与溯源组，前置条件是口径字典书面确认与三组映射关系建立。第二批是评级组、预测组与推演组，前置条件是物料分类打标完成、两年以上月度序列导出完成、现行做法基线统计并冻结。第三批是决策组与端到端组，并进入观察期；观察期取不少于三个完整测算轮次，按现行两个月一轮的节奏折算不少于六个月。观察期内记录建议的采纳情况、因约束缺失导致的重解次数、以及资金占用与缺货两项指标的实际走势。 交付物八项：场景验证方案；数据就绪度核验报告与缺口清单；库存口径字典与双口径桥接规则（与甲方财务及生产管理部门共同确认）；现行做法的基线统计报告；回放窗口与期次结构说明，含时间屏障实现方式与泄漏检验记录；冻结版金标准集与用例集，含评级与成因标注规范及仲裁记录；场景验证报告，含三组对照的能力增量表、回溯检验逐期结果与基线对比；错题归因清单与数据集改进需求单。 ##### 2.4.2.14　验证记录、报告字段与版本关联 用例级记录的必填字段与 4.1 节一致，本场景的输入对象标识为物料编码加期次编号，或施工令号加测算轮次号。本场景的用例卡另加三项：所用快照的期次编号与可见数据范围；判定所用的第 N+k 期快照编号；以及该用例是否纳入对比基线的比较范围。 轮次级记录的必填字段：数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加四项：库存口径字典的确认版本号与适用期间；物料分类打标的版本与覆盖率；现行做法基线统计的冻结版本号；以及本轮的时间屏障实现方式与泄漏检验结果。泄漏检验未通过的轮次，其全部回溯类指标在报告中标注可信度受限，不作为验收依据。 场景报告按 4.3 节的九章体例出具，本场景填入的内容为：被验证能力清单与条目对照（十一项）；数据就绪度结论（五套系统的授权与取数方式、口径字典确认情况、三组映射关系的建立情况、历史序列长度）；验证资产说明（二十四期快照的期次结构、评级与成因标注的一致性度量、构造样本规模）；执行情况（三批执行的版本登记、泄漏检验记录、见证记录）；逐项判定结论，其中对比基线类的项须同时给出基线值、系统值与差值三栏；数据集贡献度结论（三组对照的能力增量表，并写明四品类预测、水位测算与求解三项不进对照及其理由）；归因分析（口径类、预测类、建议类三类分列）；可用性结论与档位说明（含金额类结论是否成立、余料套用能力所处档位）；改进需求与优先级。报告另附现行做法的基线统计报告与双口径桥接规则。 版本关联按三元标识执行，本场景另绑两项：库存口径字典版本与快照期次编号。任一金额类结论须同时绑定口径字典版本，口径换版后历史结论保留其当时的口径版本，不作追溯改写；任一回溯类结论须绑定其所用的快照期次与判定期次，两者在报告中成对呈现。基线一经冻结不在验证过程中更新，基线的版本号与冻结时间进判据登记表的版本记录。 ##### 2.4.2.15　本场景验证资产的跨场景复用 回溯检验与时间屏障这一套方法，在其余场景中有两处直接复用。热处理与焊接的参数寻优建议都要做回溯效果对比。若在历史某一时点按系统建议执行，结果与实际执行相比如何；这类对比同样会面临看到未来信息的风险，同样须以视图裁剪而非流程约定实现屏障，同样须做一次泄漏检验。健康诊断的规则离线回放也是一类回溯，其时间约束较松（规则判定不依赖未来数据），但基线冻结这一条同样适用：既有平台的历史判断结果一经提取即冻结，不在对比过程中更新。 对比基线的建立方法在四个场景通用。库存、热处理、焊接的参数寻优、健康诊断的规则效果，这四处都没有现成的绝对基线，判据都写成「不劣于现行做法并给出改善幅度」。四处的第一步工作都相同：把现行做法的水平按同一套指标口径统计出来并冻结。本场景在这一方法上投入最多，形成的基线统计体例供其余场景复用。 多方口径冲突的处理规则在本场景与选型场景同源，已在 2.2.2.15 节写明。库存侧的特殊性在于冲突涉及财务与生产管理两个部门的制度性口径差异，不是数据错误；因此处理方式不是择一，而是两个口径并行呈现加差额桥接。这一做法在其他涉及多部门口径的验证项上同样适用。 ### 2.5　热处理过程智能监控（3.2.6.5.1.4） #### 2.5.1　场景介绍（3.2.6.5.1.4.1） 热处理是提升矿山装备关键零部件强度、硬度、耐磨性的核心工序，主要包括调质、退火、正火、回火等工艺，依赖淬火温度、冷却温度、保温时间等参数控制。招标文件指出当前依靠人工设定工艺、事后切片检测，存在工艺依赖经验、过程不可视、缺陷难以追溯三个问题（b1664）；场景方向是通过采集淬火温度、冷却温度、质量检验结果等数据构建热处理高质量数据集，实现工艺参数优化、工艺智能匹配、质量智能分析，提升产品质量一致性、降低不良率、节约能耗（b1665）。验证要求三条：工艺参数智能匹配、工艺参数优化、以及链轮齿轨刮板感应淬火及调质生产线的质量智能分析（b1668 至 b1675）。 这个场景的验证设计建立在一个判断上：这里的真实瓶颈是数据关联，而不是模型能力。把现场情况摊开看就清楚。 链轮的热处理由两道工序构成，性质不同。预备热处理调质在周期式电阻炉上按炉次成批完成，终热处理感应淬火在链轮淬火机床上按件次逐件完成；两道各有独立的工艺要求与检验判据，而终工序的结果又受前道调质形成的原始组织制约。感应淬火按上料、升温、保温、淬火、冷却、下料六个工序推进。这意味着验证的对象单位有两个，炉次与件次，不能混用；而且分析一件链轮的最终硬度时，必须能回溯到它所在的调质炉次，否则前道影响这一项变量就进不了分析。 工艺参数本身不是自由变量。加热温度、淬火温度、保温时间、冷却时间与淬火次数均写在经正式编制、审核、批准的工艺卡与作业指导书中，可调余量仅限标准本身给出的范围；参数通过群控系统下发到设备，工序路线下发到经营系统。参数取值既已固定，质量波动的成因通常不落在参数选择上，而落在两类条件上：工艺曲线能否按要求执行，以及来料与前道状态是否落在工艺假设范围之内。招标文件的三条验证要求与这一判断是吻合的。第一条要的是「历史工艺智能检索、择优匹配推荐」，即在已有工艺中选，不是重新设计；第二条要的是「工艺参数区间智能寻优分析」，即在区间内优化；第三条要的是关联性分析与缺陷溯源，直指执行与条件两类变量。 设备侧的采集基础其实不错。淬火机床与中频电源的功率、频率、电流、电压，周期炉的程序号与段号、设定与实际温度、加热输出，多已接入物联网平台，采样周期通常为秒级；材料成分与理化试验由检测环节按批次化验并保存。缺的是把曲线绑定到具体零件所需的条件数据，具体有六项：每次的实际装载量、件间间隙、炉内位置、感应器对位间隙、本批材料成分与实物批次的对应关系、以及出炉到淬火的转移时序。这六项当前都无结构化记录，而它们恰恰是分析中最关键的自变量。同一段程序在不同设备、不同时期、不同装载条件下执行出的曲线并不相同；装载量与件间间隙的规范化已由建设单位完成并见效，但每次的实际值没有记录，就无法作为变量参与分析。 还有两处现场事实直接影响验证范围。一是报警记录：设备本体报警多在现场处置后即行复位，现有记录不足以还原某次处理的运行状态，因此「异常发生后是否被及时识别」这件事在历史数据上几乎无法回溯验证，只能在验证期内按前向方式记录。二是来料状态事前不可得：零件按批次流转，部分批次没有带料单，成分与理化结果保存在检测环节，开工时并不掌握本批成分；排查只能先出现硬度不合或开裂、再回头化验。这对开裂尤其不利，零件一旦开裂即为直接损失。参数补偿类能力的验证因此分两档：材料成分与实物批次的一对一关联建立之后，事前补偿才具备验证条件；未建立前只能做事后归因，这一点在判据中如实分档。 主要缺陷类型是收敛的。热处理的主要缺陷只有开裂、变形、硬度不足三类，招标文件在验证要求中点出的外观缺陷是烧伤与裂纹，硬度侧是硬度异常（b1673）。缺陷类型少是好事。它意味着标签体系不必复杂，分层样本也容易组织；但也意味着开裂这类低频高损缺陷的自然样本很少，构造样本与定向检索的工作量会比较大。 #### 2.5.2　验证要求（3.2.6.5.1.4.2） ##### 2.5.2.1　验证要求的拆解与被验证能力 招标文件三条验证要求展开为九项能力。 表 2-22　热处理过程智能监控场景被验证能力 | 编号 | 被验证能力 | 标书依据 | 判据性质 | 层级 | |---|---|---|---|---| | X4-1 | 一炉一档与一件一档的对象绑定完整性 | b1665 | 配对率，L1 前置 | L1／L2 | | X4-2 | 工艺窗口解析与越窗判定 | b1664、b1668 | 确定性核对 | L2 | | X4-3 | 历史工艺智能检索（按目标链轮特征） | b1668 | 统计性，检索命中 | L2 | | X4-4 | 择优匹配推荐 | b1668 | 统计性，配可解释率 | L2 | | X4-5 | 工艺参数区间寻优分析 | b1670、b1671 | 对比基线，窗口内硬约束 | L2／L3 | | X4-6 | 外观缺陷（烧伤、裂纹）识别与判级 | b1672、b1673 | 统计性，检出指标 | L2 | | X4-7 | 硬度异常判定与同批不均定位 | b1673 | 统计性，分档 | L2 | | X4-8 | 缺陷与关键工艺参数的关联性分析 | b1673、b1674 | 关联显著性 + 机理一致性 | L2 | | X4-9 | 缺陷溯源与归因排序 | b1675 | 统计性，主因命中率 | L2／L3 | 表 2-22　数据来源：招标文件 b1667 至 b1675 逐条拆解。 X4-8 的判据性质需要在这里就说明，因为它是本场景最容易做错的一项。招标文件要求「开展外观缺陷、硬度异常与加热功率、加热温度、淬火液温度等关键工艺参数的关联性分析，明晰参数波动与质量问题的内在联系」。关联性分析在统计上不难做，难的是做出来的关联要站得住。热处理现场的混杂因素很多：同一时期可能同时换了材料批次、换了炉型、改了装载方式，这几件事都会和缺陷率同向变化，直接算相关系数会得到一堆似是而非的结论。因此本方案对这一项设两重判据：第一重是统计显著性，并要求在分层控制下成立。按牌号、炉型、工序类型分层，层内仍显著方计有效；第二重是机理一致性，关联的方向须与热处理的既有机理相符，方向相反的关联一律列为待查而不直接作为结论。两重都过的关联才进缺陷溯源的判据库。这一条写明，是为了方案在专家面前站得住。把相关当因果，是这类分析最常见也最致命的失手。 ##### 2.5.2.2　数据就绪度核验 热处理现场的设备来自不同年代，控制装置、接口形式、字段含义与采样能力差异较大。本方案不要求设备控制系统一次性改造成同一种接口，而是按设备类别分别给出取数方式，并在合法授权范围内进行接口探测、协议识别与兼容性适配，形成可复用的适配模板；字段含义无法确认时生成待确认清单，由现场人员一次确认后沉淀为映射规则。 L1 的最小可用集是四项：一路可用的过程时序通道，至少含温度或功率与时间；正式工艺文件中的参数要求；工单与零件批次标识；硬度检验结果。四项齐备可跑通一次处理并给出可核对结论。其余为增量项，每补一类，对应能力由受限档升到完整档：材料成分与实物批次的一对一关联使事前参数补偿成立；测温与仪表计量校验记录使曲线类结论得以进入偏离判定与比较基线；装载量与炉内位置登记使同批硬度不均定位到具体位置。 L1 的核验重点有五项。 对象绑定是第一项，也是本场景的命门。要求建立一炉一档与一件一档两级档案，炉次档案以炉次号为主键，件次档案以件次标识为主键并关联其所属炉次。核验方式是取不少于三十个真实炉次做端到端追溯，确认每个炉次能找到它的工单、零件批次、材料批次、过程曲线段、检验结果与处置记录；件次级同样取不少于三十件。配对率按环节分别统计，曲线段与炉次的配对率、检验结果与件次的配对率、材料批次与零件批次的配对率，三项分开报，因为三项的缺口原因与补齐方式完全不同。 工艺文件的结构化是第二项。控制参数现以文字段落形式保存在工艺文件中，须解析为结构化的参数窗口，解析结果由工艺员在检查点确认。版本无法确认的，只存原始曲线并提示缺口，不进入越窗判定。用一个版本不明的窗口去判越窗，判出来的结论无法作为依据。 计量状态是第三项，这一项在其他场景没有对应，必须单列。测温与仪表计量记录包括有效加热区测定、温度测量系统精度校验与检测设备周期检定。未接入前标注计量状态未知；校验超期或偏差超限的批次，其曲线类结论自动降级为数据级，即只保留原始数据而不出判定结论。这一条是热处理分析的专业前提：一条来自未校验热电偶的温度曲线，看起来和正常曲线一样，但基于它做出的偏离判定没有意义。 材料侧是第四项。化学成分实测值、理化结论、供应来源与炉批须能与实物批次一对一关联；该牌号的淬透性带或随批末端淬火试验结果，不可得时退回按成分区间给风险方向并标注结论局限。含碳量是参数决策的起点，这一点决定了成分获取的手段选择：手持 X 射线荧光对碳这类轻元素无响应，手持激光诱导击穿光谱对碳的精度较低、只能用于牌号确认与混料分选，正式复核须以火花直读为准。方案在数据条件上写明这一区别，是为了避免把一个测不到碳的手段写成能支撑参数决策的条件。 历史回放的可用范围是第五项。采集平台的时序数据存在保存期限、若干年后覆盖，而生产与工单记录保存期更长，因此历史回放的可用范围受时序数据窗口约束，超出窗口的年份只能做工单与检验层面的统计。处置是在项目启动阶段先行导出一段完整的历史时序数据与对应检验记录用于回放验证，避免样本随保存周期流失。这一动作须尽早安排，它不可追补。 ##### 2.5.2.3　金标准集与用例设计 本场景的验证资产以炉次档案与件次档案为主体。 档案样本按三个维度分层：工序类型分调质与感应淬火两层；零件族按链轮、齿轨、刮板三类分层；质量结论按合格、硬度异常、外观缺陷、开裂四类分层。合计不少于四百个炉次档案与不少于六百个件次档案，其中缺陷类档案不少于一百五十件。缺陷类档案的组织是本场景的主要工作量：三类缺陷中开裂的自然样本最少，须从历史不合格票、返修票、报废票与质量分析报告中定向检索并逐例配对到数据段，配不上数据段的只作统计不进金标准集。 标注内容三项：质量判定（硬度实测值与外观缺陷类别及部位，其中检验结果类标签直接取客观实测值，不作主观标注）；成因主因与次因；以及成因判定的依据。缺陷分类按三层组织。缺陷大类分外观、硬度、变形、组织四类，其下是缺陷类型，再其下是部位。成因标注由热处理工艺骨干与质量骨干各一名双人独立复核，主因一致率低于百分之七十二时返工并复核故障机理描述；无炉位信息的样本只作炉级标注并标明。 用例集分六组。窗口核对组用于 X4-2，取不少于三百个炉次与件次，逐段比对实际曲线与工艺窗口。检索匹配组用于 X4-3 与 X4-4，以目标链轮的特征（牌号、模数与齿数、齿面要求硬度、有效硬化层深度要求、几何尺寸）为输入，考察检索出的历史工艺是否可用。寻优组用于 X4-5，在历史窗口上做回溯对比。外观检测组用于 X4-6，按烧伤与裂纹两类分别组织图像样本。硬度组用于 X4-7。关联与溯源组用于 X4-8 与 X4-9。 构造样本不少于六十例，覆盖四类情形：计量超期批次（验证系统是否按规则自动降级而不是照常出结论）、曲线通道中途失效（验证是否识别为数据问题而非工艺异常）、材料成分越出工艺假设范围、以及同一炉次内硬度分布明显分层。这四类都是现场发生过、而处理方式容易出错的情形。 ##### 2.5.2.4　验证台在本场景的装配 本场景的验证智能体把一次处理的分析拆成六步：工艺窗口解析与确认、材料批次核对、装炉与工位条件登记校验、过程曲线分段与越窗判定、检验结果回填与归因排序、以及参数区间寻优建议。 分工上，确定性成分占主导。工艺窗口校验以正式工艺文件为唯一依据，对温度、时间、速率、淬火次数与介质条件作确定性核对；曲线分段、速率与过冲计算、恒温段偏差带统计、可比批次基线比较都是算法明确的计算；异常判级按三级规则判定，并做同源合并与重复抑制：同一次劣化会在温度、功率、介质几个通道上形成多条并行报警，不合并则岗位看到的是一堆重复条目。模型承担四件事：从工艺文件的文字段落中抽取参数窗口；在历史工艺检索中做特征相似度匹配与排序；在归因中给出候选成因与排序；以及把一次炉次的分析结论组织成可读的监督卡。外观缺陷识别由专用视觉模型承担，依托大模型预标注与主动学习标注两类工具链组织标注。 介质侧的条件判定要单独说一句，它是本场景专业性的一个落点。淬火液浓度是聚合物类淬火液冷却曲线的主导变量，因而是这类介质下硬度不足的第一判据；而对非聚合物类介质，浓度这一变量不适用。因此验证台在介质相关的判据上按线体的介质类型分支，不做统一处理；线体的介质类型以甲方确认为准。同理，介质温度越限指向的是冷却能力不足这一可处置对象，而不是笼统的「工艺异常」，归因要给到可处置的对象上，这是归因有用的前提。 人审检查点设两处：工艺窗口解析确认后、归因结论成文前。第一处是因为窗口解析错了全盘皆错；第二处是因为归因结论要进质量分析流程，必须由工艺与质量岗位认过。 ##### 2.5.2.5　本场景的步骤级判据 六步之中，三步设步级判据。 工艺窗口解析这一步的判据是解析正确率与版本绑定正确率，与 X4-2 共用前者。版本绑定单列的理由与选型场景同类：用一个版本不明的窗口去判越窗，判出来的结论无法作为依据。 曲线分段与越窗判定这一步的判据除一致性之外，另立一项「计量前置检查的执行率」，即在出具曲线类结论之前，是否检查了该批次的计量状态并按规则降级。这一项用构造样本检验：投放一个计量超期批次，看系统是否自动把结论降为数据级。执行率的基线写成全量，漏一次即判该项不通过，因为这一规则一旦可被绕过，全部曲线类结论的可信度都要打折。 归因排序这一步的判据是主因命中率与证据字段完整率。证据字段完整率这一项要求归因结论必须附带具体证据：哪一段曲线、哪一项条件数据、哪一条机理判据，三者缺一不算完整。这一项的用处在观察期内会显现：带证据的归因岗位会去核，不带证据的归因岗位只会扫一眼。 工具调用正确性在本场景的落点是确定性核对与模型推断的边界：工艺窗口的核对、速率与过冲的计算、恒温段偏差带的统计都应由确定性组件完成，由模型给出的次数为零。 ##### 2.5.2.6　一个完整用例的走法 举一个链轮感应淬火的件次档案为例，该件最终检出齿面硬度偏低。 第一步工艺窗口解析。从正式工艺文件中抽取该牌号该规格的加热温度、保温时间、淬火介质与温度、冷却时间与淬火次数的要求值与允差，并绑定工艺卡版本。本例的工艺文件中参数以文字段落表述，解析结果须经工艺员在检查点确认。 第二步材料批次核对。查该件所属零件批次的化学成分实测值与理化结论。本例若该批次无带料单、成分不可得，这一步的结果是出一条成分缺口记录并提示按标准中值参数执行；相应地，事前参数补偿这一能力在本例上不具备验证条件，该用例在 X4-5 的分母中剔除并说明。这是分档如实标注的一个具体例子。 第三步装炉与工位条件校验。查该件的前道调质炉次、炉内位置、感应器对位间隙。本例若炉位无登记，位置类结论只能到炉次级，同批硬度不均的定位判据在本例上不起算。 第四步曲线分段与越窗判定。先做计量前置检查：该批次的测温系统精度校验是否在有效期内。本例假定校验有效，则进入判定；分段后比对恒温段的实际温度与窗口、升温速率与过冲、冷却段的介质温度。若发现恒温段实际温度在窗口下限附近持续一段时间，这一事实即为一条候选证据。判据是越窗判定与人工复核的一致性。 第五步检验结果回填与归因排序。该件的硬度实测值低于下限，归因须在候选成因中排序。本例的候选有四条：恒温段温度偏低（有曲线证据）、介质温度偏高导致冷却能力不足（须看介质温度记录是否可得）、材料成分偏离工艺假设（本例成分不可得，列为未排除）、以及感应器对位间隙偏大（本例无记录，列为未排除）。排序结果与质量骨干的判定比对，给主因命中率与前两位命中率。这里的关键是证据字段完整率：系统给出的主因须附带具体证据，哪一段曲线、哪一项条件数据、哪一条机理判据；本例中「恒温段实际温度低于窗口下限十二分钟」就是一条合格的证据，而「加热不足」不是。 第六步参数区间寻优。本例的寻优建议须落在正式工艺窗口内，越窗建议数判据为零。建议的效果按回溯方式检验，口径见 2.5.2.10 节。 这条用例还说明了条件数据消融实验的意义：本例的四条候选成因中有两条因缺记录而无法排除，归因只能停在「恒温段温度偏低为最可能主因」。若装载条件与成分关联补齐，这两条可被排除或确认，归因的确定性随之提高。2.5.2.11 节的消融实验正是用数据量化这一提高的幅度。 ##### 图 2-6　热处理场景的一炉一档结构与分析层级 条件侧 材料成分与实物批次 淬透性带或末端淬火 装载量 · 件间间隙 · 炉位 感应器对位间隙 多为须补录项 执行侧 设定与实际温度曲线 功率 · 频率 · 电流 · 电压 介质温度与冷却状态 转移时序 · 报警事件 秒级采集已多数具备 结果侧 硬度与有效硬化层 外观：烧伤 · 裂纹 变形量 · 金相结论 不合格与返修票据 检验值取客观实测 计量侧（前提） 有效加热区测定 测温系统精度校验 设备周期检定 超期或超限批次 曲线结论降为数据级 一炉一档 / 一件一档：炉次号与件次标识为主键，件次关联其所属调质炉次 配对率按曲线—炉次、检验—件次、材料批次—零件批次三项分别统计 A 档：件次级 炉位登记与成分关联齐备 可定位同批硬度不均到具体位置 支持事前参数补偿 关联分析按牌号 · 炉型 · 工序分层 B 档：炉次级 缺炉位或成分关联 结论止于炉次，不定位到位置 只做事后归因，不做事前补偿 界面标明当前分析层级 C 档：只做管理 曲线与炉次配对不成立 或计量状态未知 只做趋势呈现与事件登记 标明退出判断的具体原因 图 2-6　热处理场景的一炉一档结构与分析层级。数据来源：招标文件 b1664、b1665、b1673、b1674；两道工序与缺陷类型依甲方现行热处理工艺组织方式。 ##### 2.5.2.7　逐项验证的来源数据、样本结构与基准答案 表 2-23　热处理过程智能监控逐项验证的数据、样本与基准答案 | 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 | |---|---|---|---|---| | X4-1 对象绑定完整性 | 炉次号、件次标识、工单、零件批次、材料批次、过程曲线段、检验结果、处置记录 | 炉次不少于 30 个、件次不少于 30 件做端到端追溯；配对率按曲线与炉次、检验与件次、材料批次与零件批次三项分别统计 | 各环节的实际记录是否存在且可对应，为客观判定 | 追溯查询在档案结构上执行；L1 前置项，不设对照组 | | X4-2 工艺窗口解析与越窗判定 | 经正式编制、审核、批准的工艺卡与作业指导书；过程时序通道 | 窗口核对组不少于 300 个炉次与件次，逐段比对实际曲线与窗口 | 工艺文件中的参数要求值与允差为客观答案；解析结果由工艺员在检查点确认 | 文本抽取用模型、窗口核对用确定性组件；解析项进三组对照，核对项不进 | | X4-3 历史工艺智能检索 | 历史炉次与件次档案；链轮特征（牌号、模数与齿数、齿面硬度要求、有效硬化层深度、几何尺寸） | 检索任务不少于 150 个，按零件族三类与工序类型两类交叉 | 工艺骨干判定的可用历史工艺集合，前五位命中为度量 | 特征相似度匹配加沙箱；三组对照 | | X4-4 择优匹配推荐 | 同 X4-3；设备可用性与排产信息 | 同检索任务集 | 骨干的择优选择；因含设备可用性与排产因素，一致率之外并列差异说明 | 沙箱排序题型；三组对照 | | X4-5 工艺参数区间寻优 | 历史炉次与件次档案；正式工艺窗口；硬度实测与不良率记录 | 按零件族分组做回溯对比，覆盖调质与感应淬火两道工序 | 对比基线：现行取值在同一历史窗口上的硬度离散度与不良率，统计后冻结 | 寻优计算加回溯检验；本项不做微调对照 | | X4-6 外观缺陷识别与判级 | 烧伤与裂纹的图像样本；采集条件记录（取景距离、光照、是否清渣） | 缺陷类档案不少于 150 件；烧伤与裂纹两类分别组织图像样本 | 缺陷类别与部位，工艺与质量骨干双人独立标注，边界模糊样本单列 | 专用视觉模型；按标注样本量做学习曲线，不做微调配比消融 | | X4-7 硬度异常判定与同批不均定位 | 硬度检验实测值；取点位置约定；装炉位置登记 | 件次档案不少于 600 个，其中缺陷类不少于 150 件 | 检验实测值为客观答案，不作主观标注；位置类结论以炉位登记为准 | 规则判定；位置定位按 A 档与 B 档分列；三组对照仅用于归因叙述 | | X4-8 缺陷与参数关联性分析 | 加热功率、加热温度、淬火液温度等关键参数；材料成分、装载条件、转移时序三类条件变量；缺陷记录 | 按牌号、炉型、工序类型分层，层内分别计算 | 无参考答案，判据为分层控制下的统计显著性加机理方向一致性，结论经甲方工艺部门确认 | 统计分析加机理判据库；不做模型对照 | | X4-9 缺陷溯源与归因排序 | 缺陷件的曲线段、条件数据、检验结果、处置记录；故障机理知识 | 缺陷件全集，按三类缺陷分层 | 质量骨干的主因与次因判定及其依据，双人独立复核 | 机理规则给候选、模型排序；三组对照，并另做条件数据消融 | 表 2-23　数据来源：能力编号与标书依据见表 2-22；档案分层与构造样本见 2.5.2.3 节；关联分析的双重判据见 2.5.2.1 节。 ##### 2.5.2.8　逐项验证的指标公式、招标门槛与闭环责任 表 2-24　热处理过程智能监控逐项验证的指标公式与闭环责任 | 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 | |---|---|---|---|---| | X4-1 | 三项分别计：可配对炉次数 ÷ 炉次数、可配对件次数 ÷ 件次数、可配对批次数 ÷ 批次数 | b1665 要求构建热处理高质量数据集以支撑三类分析，未对配对率设数值门槛 | 工艺与质量骨干核对追溯链是否完整 | 未配对项列原因（通道缺失、时间基准偏移、带料单缺失）；按原因分别补采或补录，复测取相同炉次重跑 | | X4-2 | 解析正确参数项数 ÷ 参数项数；越窗判定与人工复核一致的炉次与件次数 ÷ 参与判定数 | b1664、b1668 要求实现工艺智能匹配与过程可视，未设数值门槛 | 工艺员在检查点确认解析结果与版本绑定 | 解析失败项由工艺员补录并回流样本；判定不一致的先核窗口版本，版本不明的只存原始曲线不作判定 | | X4-3 | 相似工艺在前五位命中的检索任务数 ÷ 检索任务数 | b1668 要求历史工艺智能检索，未设数值门槛 | 骨干判定检索结果是否可用 | 未命中项核查特征维度完整性；缺特征的补档案字段后复测该零件族 | | X4-4 | 与骨干择优一致的任务数 ÷ 任务数；推荐参数越出正式工艺窗口的条数（绝对数） | b1668 要求择优匹配推荐，未设数值门槛 | 骨干核对差异说明是否指得出设备与排产因素 | 不一致项给差异说明；越窗推荐出现即判该轮不通过，补窗口约束后重跑全部推荐任务 | | X4-5 | 对比基线：按零件族计，建议取值下的硬度离散度与不良率对冻结基线的差值；越窗建议条数（绝对数） | b1670、b1671 要求工艺参数区间智能寻优分析，原文前提是在区间内优化，未设数值门槛 | 工艺部门核对建议是否落在正式窗口内 | 劣于现行取值的逐项归因；越窗建议出现即判不通过；观察期内只记录建议与岗位判断，不触发参数变更 | | X4-6 | 两类分别计：检出缺陷实例数 ÷ 缺陷实例数；误检图像数 ÷ 图像数 | b1672、b1673 要求外观缺陷（烧伤、裂纹）识别，未设数值门槛 | 质量骨干复核漏检与误检样本 | 漏检逐例归因并补样本；按学习曲线判断补样本是否仍有收益，曲线已趋平而仍低于基线的按可预测性受限出专项说明 | | X4-7 | 与检验结论一致的件次数 ÷ 件次数；A 档炉次的位置定位正确数 ÷ A 档炉次数 | b1673 要求硬度异常判定，未设数值门槛 | 质量骨干核对取点位置约定是否一致 | 不一致项核查取点位置；B 档炉次不出位置结论，炉位登记补齐后升档并复测 | | X4-8 | 分层控制下统计显著且机理方向一致的关联条数（绝对数）；经工艺部门确认可用的条数 ÷ 关联条数 | b1673、b1674 要求关联性分析并明晰参数波动与质量问题的内在联系，未设数值门槛 | 甲方工艺部门逐条确认关联是否可用 | 被否掉的关联在各层内重新计算，若某一层贡献全部显著性则重述适用范围或撤回；撤回的关联进待查清单，不悄悄删除 | | X4-9 | 主因命中的缺陷件数 ÷ 缺陷件数；前两位命中数 ÷ 缺陷件数；证据字段完整的结论数 ÷ 结论数 | b1675 要求缺陷溯源，未设数值门槛 | 质量骨干按判定依据核对归因证据 | 先看条件变量齐不齐，缺变量的直接转数据补录需求；变量齐备的核机理描述覆盖；两项正常才转样本不足并复测该类缺陷 | 表 2-24　数据来源：招标门槛一栏照录招标文件 b1667 至 b1675 原文要求；指标数值见表 2-26；条件数据消融见 2.5.2.11 节。 ##### 2.5.2.9　正常、边界与异常三类用例 表 2-25　热处理过程智能监控的三类用例 | 能力 | 正常用例 | 边界用例 | 异常用例 | |---|---|---|---| | X4-1 | 记录齐备的调质炉次，六类内容均可追溯 | 一个炉次跨班次完成，曲线段须按炉次合并而非拆为两档 | 零件批次无带料单，材料侧须记为缺口而非留空 | | X4-2 | 窗口版本明确的炉次，逐段比对 | 恒温段实际温度恰在窗口下限，检验判定取舍方向 | 工艺文件版本不可确认，须只存原始曲线并提示缺口 | | X4-3 | 常规链轮特征检索历史工艺 | 该规格为首次生产，近邻特征差距较大 | 特征字段缺模数或硬化层深度，须提示缺项而非按缺省检索 | | X4-4 | 多套可用历史工艺中择优 | 两套工艺评分接近，检验差异说明 | 推荐参数越出正式工艺窗口，须被窗口约束拦截 | | X4-5 | 某零件族在历史窗口上的区间寻优 | 建议取值贴近窗口边界 | 建议越出工艺窗口，须判该轮不通过 | | X4-6 | 清晰取景的烧伤与裂纹图像 | 细微裂纹，须结合磁粉检测结论确认 | 未清渣或光照不足的图像，须标注采集条件受限 | | X4-7 | 硬度实测齐备的件次判定 | 实测值落在下限附近 | 炉位无登记，同批不均定位不起算并如实标注 | | X4-8 | 分层后仍显著的参数与缺陷关联 | 某层样本量偏小，须给出适用范围限定 | 关联方向与机理相反，须列为待查而非作为结论 | | X4-9 | 条件变量齐备的缺陷件归因 | 两条候选成因证据相当，检验前两位命中 | 四条候选中两条因缺记录无法排除，归因须停在可支撑的层级并标明 | 表 2-25　数据来源：用例组划分与构造样本的四类情形见 2.5.2.3 节。 ##### 2.5.2.10　验证指标与通过判据 表 2-26　热处理过程智能监控场景的验证指标 | 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 | |---|---|---|---|---| | X4-1 | 曲线段与炉次配对率，按炉次 | ≥90% | ≥96% | 未配对炉次列原因（通道缺失、时间基准偏移等） | | X4-1 | 检验结果与件次配对率，按件次 | ≥85% | ≥95% | 硬度计联机后复测 | | X4-1 | 材料批次与零件批次配对率，按批次 | 首轮如实统计并报告缺口，带料单缺失批次单列 | ≥80% | 缺口批次只出成分缺口清单 | | X4-2 | 工艺窗口解析正确率，按参数项 | ≥95%，经工艺员确认 | 趋向全量 | 解析失败项由工艺员补录并回流样本 | | X4-2 | 越窗判定一致性，按炉次与件次 | 与人工复核结论一致率 ≥98% | 趋向全量 | 不一致项逐例复核窗口版本 | | X4-3 | 历史工艺检索命中率，按检索任务 | 相似工艺在前五位命中 ≥85% | ≥92% | 未命中项核查特征维度完整性 | | X4-4 | 择优推荐与骨干择优一致率，按任务 | ≥65% | ≥75% | 不一致项须给出差异说明 | | X4-4 | 推荐的窗口合规性，按推荐项 | 推荐参数越出正式工艺窗口的条数为零 | 保持 | 出现即判该轮不通过 | | X4-5 | 寻优建议的回溯效果，按零件族 | 在历史窗口上不劣于现行取值；并给出硬度离散度与不良率两项的改善幅度 | 两项均有可测量改善 | 劣于现行取值的逐项归因 | | X4-5 | 寻优建议的窗口内硬约束 | 建议一律落在正式工艺窗口内，越窗建议数为零 | 保持 | 出现即判不通过 | | X4-6 | 烧伤与裂纹检出率，按缺陷实例，两类分别统计 | 烧伤 ≥90%；裂纹 ≥85% | 烧伤 ≥95%；裂纹 ≥92% | 漏检逐例归因并补样本 | | X4-6 | 外观误检率，按图像 | ≤10% | ≤6% | 误检归因并调整判级门限 | | X4-7 | 硬度异常判定一致性，按件次 | 与检验结论一致率 ≥97% | 趋向全量 | 不一致项核查取点位置约定 | | X4-7 | 同批硬度不均的位置定位准确率，按炉次 | A 档炉次 ≥75%；B 档炉次不出位置结论 | A 档 ≥85% | 位置登记补齐后复测 | | X4-8 | 关联结论的有效条数，按参数—缺陷对 | 在分层控制下统计显著且机理方向一致的关联不少于十对，逐对给出证据与适用范围 | 不少于十八对 | 方向相反的关联列为待查，不作结论 | | X4-8 | 关联结论的经工艺确认率，按条 | ≥85% 经甲方工艺部门确认可用 | ≥92% | 未确认条目列入待查清单 | | X4-9 | 缺陷溯源主因命中率，按缺陷件 | ≥70% | ≥80% | 未命中项复核机理描述与变量完整性 | | X4-9 | 缺陷溯源前两位命中率，按缺陷件 | ≥85% | ≥92% | 同上 | 表 2-26　数据来源：指标项对应招标文件 b1668 至 b1675；阈值为我方按数据条件设定的承诺口径，最终随蓝图设计确认。 三处阈值的取法说明如下。择优推荐的一致率定在百分之六十五，低于选型场景的排序一致率，原因是热处理的择优本身存在合理的不同选择，同一链轮特征下有多套历史工艺都能满足要求，骨干的选择带有设备可用性与排产因素。因此这一项的配套要求是差异说明，而不是把一致率往上压。 裂纹检出率低于烧伤十个百分点，依据是两类缺陷的可见性差异：烧伤在表面有明显的颜色与形貌变化，裂纹特别是细微裂纹在常规图像上特征弱，常需结合磁粉检测才能确认。把两类定成同一个数，等于忽略这个物理差别。 关联结论用「有效条数」而不用准确率，是因为关联分析的产出是结论集而不是预测。十对与十八对这两个数的依据是三类缺陷与招标文件所列三类关键参数（加热功率、加热温度、淬火液温度）的组合空间，再加上介质、装载与转移三类条件变量；在分层控制下能稳定成立的关联不会太多，报一个大数反而说明分层没做。 ##### 2.5.2.11　数据集贡献度的对照实验 本场景做四组对照中的三组加一组专项，专项是外观检测的学习曲线。 语言类能力的三组对照，题集取自场景基准题集中的工艺检索、归因排序与监督卡成文三类题型，不少于一百二十题，全部来自真实炉次档案与质量分析报告，不含合成数据。基座裸测组在归因题上的预期表现是能说出热处理的通识成因（「冷却速度不足导致硬度不足」这一类），但给不出本企业特定炉型与介质条件下的判据顺序。检索增强组接入工艺文件库、故障机理知识与历史质量分析报告，预期在成因候选完整性上提升明显。数据集适配组使用以本场景指令微调子集训练的模型版本，重点看主因命中率与归因证据的具体程度，归因写成「参数波动」没有用，写成「该炉次恒温段实际温度低于窗口下限十二分钟，同期介质温度高于标定值」才有用，这一点以证据字段完整率度量。 外观检测走专项路径，不做微调配比的消融，而做标注样本量的学习曲线。做法是按两成、五成、八成与全部样本四档标注样本量分别训练并评测，画出检出率随样本量的变化曲线。这项实验有两个用处：一是判断当前标注量是否已接近收益递减区，若曲线已趋平而检出率仍低于基线，按 2.1.10 节判定为可预测性受限并出专项说明；二是为裂纹这类稀缺样本的补充量提供依据，需要补多少才有意义，看曲线比凭经验估准得多。 另外做一组条件数据的消融，这一组是本场景特有的，也是最能说明数据价值的一组。做法是在关联分析与归因中分别抽掉三类条件变量：材料成分、装载条件（装载量与炉位）、转移时序，各抽一次，看主因命中率下降多少。这组实验直接回答一个甲方关心的问题：那几项当前无记录、需要增设登记入口的数据，到底值不值得补。若抽掉装载条件后命中率下降明显，装炉位置登记这项流程改造就有了量化依据；若下降不明显，说明优先级可以后排。把这个判断交给数据而不是交给主张，是本方案在这一场景上的一个具体做法。 ##### 2.5.2.12　归因、整改与交付物 本场景的归因有三类高频情形。 曲线类结论可疑。排查顺序是先核计量状态，校验超期或偏差超限的批次，其曲线结论本应自动降级，若未降级说明规则未生效，这是实现侧问题；计量状态正常的，核时间基准是否对齐，多设备多通道的时间偏移会把一段正常曲线算成过冲；两项都正常的，才看分段算法。 归因不命中。排查顺序是先看该缺陷件的条件变量齐不齐，六项条件数据缺几项，归因的搜索空间就少几维，不命中多半是变量缺失而非模型不行，这一类直接转数据补录需求；变量齐备而仍不命中的，核机理描述的覆盖：故障机理知识是判据、测点与标注的共同依据，描述不覆盖该情形时归因无从展开；两项都正常的，才转样本不足。 关联结论被工艺部门否掉。这一类要认真对待，它往往说明分层控制做得不够。排查方式是把该关联在各层内重新计算一遍，看是否某一层贡献了全部显著性。若是，则原结论混进了层间差异，须重述适用范围或撤回。撤回的关联也进报告，列在待查清单里，不悄悄删掉。 本场景分三批执行。第一批是窗口核对组与检索匹配组，前置条件是工艺文件结构化完成并经工艺员确认、计量记录接入。第二批是硬度组、外观检测组与关联溯源组，前置条件是硬度计联机、外观图像样本按两类组织完成、材料成分与实物批次关联的首批建立。第三批是寻优组，并进入观察期；寻优建议涉及工艺参数，观察期内只记录建议与岗位判断，不触发任何参数变更，参数的签发变更不在本包范围。观察期取不少于两个月，期内覆盖炉次不少于一百二十个。 交付物九项：场景验证方案；数据就绪度核验报告与缺口清单，含三项配对率的分项统计；一炉一档与一件一档的档案结构定义；工艺窗口结构化成果与版本登记；冻结版金标准集与用例集，含缺陷分类体系、成因标注规范与仲裁记录；验证执行记录与见证签认档案；场景验证报告，含三组对照的能力增量表、外观检测学习曲线、条件数据消融结论与关联结论清单（含适用范围与待查项）；条件数据补录的优先级建议（基于消融结论）；错题归因清单与数据集改进需求单。 ##### 2.5.2.13　验证记录、报告字段与版本关联 用例级记录的必填字段与 4.1 节一致，本场景的输入对象标识为炉次号或件次标识，件次须同时记录其所属调质炉次。本场景的用例卡另加四项：该批次的计量状态（测温与仪表校验是否在有效期内）；所用曲线段的通道清单与时间区间；材料成分的可得性；以及本例所处的分析档位（A 完整、B 受限、C 只做管理）。计量状态未知或超期的用例，其曲线类结论在卡上直接标注为数据级。 轮次级记录的必填字段：数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加三项：工艺文件结构化成果的版本号与适用牌号炉型范围；故障机理描述的受控文件版本；以及本轮所用历史时序数据的导出批次与实际可用窗口长度。时序数据受采集平台保存期限约束，实际窗口长度须如实记录，不以计划窗口代替。 场景报告按 4.3 节的九章体例出具，本场景填入的内容为：被验证能力清单与条目对照（九项）；数据就绪度结论（三项配对率的分项统计、计量状态接入情况、材料侧关联建立情况、历史回放可用范围）；验证资产说明（炉次与件次档案的三维分层、成因标注一致性、缺陷类档案的定向检索与配对情况）；执行情况（三批执行的版本登记与见证记录）；逐项判定结论，分析层级分档的项须在结论句中标明档位；数据集贡献度结论（三组对照的能力增量表、外观检测学习曲线、条件数据消融结论）；归因分析（曲线类、归因类、关联类三类分列）；可用性结论与档位说明；改进需求与优先级。报告另附一炉一档与一件一档的档案结构定义、关联结论清单（含适用范围与待查项）、以及条件数据补录的优先级建议。 版本关联按三元标识执行，本场景另绑两项：工艺卡与作业指导书的版本号、计量校验记录的有效期区间。任一越窗判定结论须绑定其所依据的工艺窗口版本，版本换版后旧结论保留其当时的窗口版本；任一曲线类结论须绑定计量状态，计量状态不满足的结论自动降为数据级并在档案中标注降级原因。寻优建议另绑零件族标识与基线冻结版本号。 ##### 2.5.2.14　本场景验证资产的跨场景复用 一炉一档这一档案组卷方法，在焊接与健康诊断两个场景有直接对应。焊接的焊道档案、健康诊断的故障事件档案，与本场景的炉次档案是同一类东西：把条件侧、执行侧与结果侧的事实按一个确定的对象标识组卷，使分析有可复核的依据。三处的组卷完整性判据都按内容类别分项统计，缺哪一类分别记录，这份记录直接指向数据补齐的优先顺序。 计量状态前置检查这一做法，在焊接场景同样适用。焊接的温度测量、几何测量同样依赖计量有效的器具，校验超期的器具所得读数不应进入判定；本场景把这一规则写成步级判据并要求执行率全量，焊接按同一体例执行。这一做法的价值在于它把一类隐蔽错误变成了可拦截的错误，未校验器具的读数在数值上看不出异常。 关联分析的双重判据，即分层控制下的统计显著性加机理方向一致性，在焊接场景的参数与缺陷关联分析上直接复用。两个场景的混杂因素结构类似：同一时期可能同时换了材料批次、换了设备、改了工艺，几件事都与缺陷率同向变化。分层控制的维度不同（本场景按牌号、炉型、工序，焊接按板厚、材质、焊道类型），方法相同。 证据字段完整率这一判据在六个场景通用。归因结论须附带具体证据：哪一段数据、哪一项条件、哪一条机理判据，三者缺一不算完整。这一判据的实际作用在观察期内显现：带证据的结论岗位会去核，不带证据的结论岗位只会扫一眼。 ### 2.6　焊接过程控制智能监控（3.2.6.5.1.5） #### 2.6.1　场景介绍（3.2.6.5.1.5.1） 焊接是刮板运输机、减速机、机架等核心装备制造的关键成型工艺，焊接质量直接决定设备强度与使用寿命。招标文件写明现状：企业现有十五台发那科焊接机器人，已通过 SCADA 系统采集电流、电压、温度、速度等过程参数，但当前数据利用仅停留在参数记录和简单阈值报警层面（b1678）。场景以「多源数据融合＋视觉 AI 检测」为核心，在焊接作业过程中实时采集电流、电压、焊接速度等时序参数，同步通过视觉相机监测熔池状态并对焊缝图像进行缺陷检测；质量评估须综合时序参数与视觉数据，判断是否触发预警并决策是否干预参数；工艺参数优化须基于历史数据挖掘最优参数组合，为不同工况提供参数推荐；质量追溯须将参数、视觉数据与检测结果一一关联，形成「采集—监测—评估—优化—追溯」的体系（b1679）。 这个场景在六个场景中技术要素最密，验证设计上有六处判断。 第一处是对象单位。焊接的对象不是「工件」这一级，而是四级对象树：工件、焊缝、焊层、焊道。厚板部位采用多层多道焊，同一条焊缝按坡口尺寸常需焊接四道、分两至三层完成。这四级关系决定了一切：参数要绑到焊道，视觉要绑到焊道，检测结果也要能落到焊道。而现状是已采集的过程参数与工件、焊道均未建立对应关系，人工清点不具备可行性，一件大型单部件的短焊缝可达数百条，靠人去标注哪段参数属于哪条焊道，不是工作量问题而是不可行。因此焊道边界的自动锚定是本场景 L1 的第一道关口，不过这一关，后面的一一关联无从谈起（b1692）。 第二处是两条生产组织路线差异极大，验证须分列。中部槽以批量件方式组织，单批约一百至一百五十件，以长直焊缝为主，按批抽检；大型单部件以人工焊为主，工件重量从一吨到三十三吨、最长约八点八米、筋板位置各异，逐件交检。前者参数稳定、样本同质，适合做参数窗口与过程偏差的统计；后者每件都不同，适合做追溯与档案完整性的验证。把两条路线合起来统计任何指标都没有意义。更要紧的是采集能力的差别：机器人工作站可采焊接速度、焊枪摆动振幅与频率、停留时间与各轴角度，手工半自动焊机与专机只能采电流、电压、送丝速度与气体流量，而人工焊工位当前没有过程采集。招标文件的八类采集项（b1682 至 b1684）在三类工位上的可得性完全不同，验证按工位类型分档。 第三处是检测结果的位置口径，这是本场景最现实的难题。外观检查、超声探伤与磁粉检测分处三个环节、由三拨人在三个时点完成，三份结果各记各的位置口径；探伤结果只给出大致尺寸与深度，报告以纸质为主、不进入信息系统，也不落到焊缝里程与层号道号。这意味着缺陷谱难以成形的原因不在分析方法，而在三份结果拼不到同一条焊道上。本方案把位置口径的统一列为 L1 硬前置，并把「检测结果能否落到焊缝里程与焊层」作为分档条件：带编码器的相控阵设备能给出里程，普通手工超声只能给区域；前者支持参数与缺陷的关联分析，后者只支持区域级的档案关联。两档的指标口径不同，在判据中分列。 第四处是样本的系统性偏差，这一点必须在方案里说清，否则指标会被高估。正式缺陷记录只来自交检开票，而过程巡检发现的问题多在现场即行处置、少有记录。这造成两件事：缺陷样本既稀少，又偏向「没被现场处置掉的那些」。也就是说，历史缺陷样本不是焊接缺陷的随机抽样，而是经过一次人工筛选后的残留。用这样的样本训练与评测，指标会系统性偏离真实情况。处置办法有两条：在验证期内按前向方式补记过程偏差事实，由越窗判定与预设值核对自动留痕，不依赖人工记录；以及在验证报告中明确标注历史样本的偏差性质与其对指标的影响方向，不把它藏起来。 第五处是预设值。焊机预设值与工艺卡片区间没有比对环节，预设值一旦输错，则后续全部参数分析都建立在错误基准上。这一条看着简单，实际上是本场景最高性价比的验证项。它只需要能读到预设值并与结构化后的参数窗口比对，不需要任何模型，却能在起弧前拦住一类系统性错误。因此本方案把它单列为一项能力，并放在第一批执行。 第六处是边界。招标文件第三条要求验证「判断是否触发预警并决策是否干预调整参数」（b1688、b1689）。本包只做验证，不做干预：验证台对干预决策只给出结论并记录，不向焊机、机器人或产线控制系统写入任何参数。验证的落点是决策结论与事后事实的一致性，系统判定应当干预的焊道，事后检测是否确实出了问题；系统判定无需干预的，事后是否确实合格。这一口径在 2.6.2.10 节的判据中体现为预警的召回与误报，以及干预建议与事后结论的一致率。 #### 2.6.2　验证要求（3.2.6.5.1.5.2） ##### 2.6.2.1　验证要求的拆解与被验证能力 招标文件六条验证要求展开为十三项能力。 表 2-27　焊接过程控制智能监控场景被验证能力 | 编号 | 被验证能力 | 标书依据 | 判据性质 | 层级 | |---|---|---|---|---| | X5-1 | 四级对象树与焊道边界锚定 | b1692 | 配对率，L1 前置 | L1／L2 | | X5-2 | 时序参数采集完整性（八类参数） | b1682 至 b1684 | 覆盖率与采样率 | L1／L2 | | X5-3 | 焊道类型识别（打底／填充／盖面） | b1683、b1684 | 统计性 | L2 | | X5-4 | 参数窗口结构化与越窗判定 | b1694、b1695 | 确定性核对 | L2 | | X5-5 | 焊机预设值与工艺卡区间一致性核对 | b1682、b1694 | 确定性核对 | L2 | | X5-6 | 温度类参数核对（预热、层间、后热） | b1682、b1683 | 覆盖率与一致性 | L2 | | X5-7 | 熔池视觉状态检测 | b1685、b1686 | 统计性 | L2 | | X5-8 | 焊缝表面缺陷检测（六类及以上） | b1686、b1687 | 统计性，分类别 | L2 | | X5-9 | 综合时序与视觉的质量评估与预警 | b1688、b1689 | 召回率与误报率 | L2 | | X5-10 | 干预决策建议与事后事实一致性 | b1689 | 统计性 | L2／L3 | | X5-11 | 工艺参数优化与分工况推荐 | b1690、b1691 | 对比基线，窗口内硬约束 | L2／L3 | | X5-12 | 三流一一关联与全程追溯 | b1692、b1693 | 关联完整率 | L2／L3 | | X5-13 | 焊接工艺知识库建设 | b1694、b1695 | 内容完备性与检索可用性 | L2 | 表 2-27　数据来源：招标文件 b1681 至 b1695 逐条拆解。 X5-12 的「三流」指参数流、视觉流与检测结果流。招标文件要求「将参数、视觉数据与检测结果一一关联，支持全程可溯源」（b1692、b1693），这是本场景的核心交付。关联完整率按三流两两关联分别统计，再统计三流齐备的焊道占比，只报三流齐备率会掩盖问题，因为参数与视觉的关联和参数与检测的关联，难度和缺口原因完全不同。 ##### 2.6.2.2　数据就绪度核验 L1 的最小可用集是四项：结构化后的工艺参数窗口与检验要求；工件与焊缝的身份标识；一路可用的焊接过程信号；交检与探伤的判定结论。四项齐备可跑通一条焊缝并给出可核对结论。 焊道边界锚定是第一项核验，办法按工位分三路。机器人工作站可取程序段执行事件，边界最准，但开通需与原厂协调；未开通时以三路旁路信号建立焊道边界：起弧与熄弧的电流跳变、送气阀动作数字量、以及送丝启停。专机与半自动焊机走旁路信号路线。人工焊工位当前无过程采集，边界只能到焊缝级，这一档如实标明。L1 的核验指标是焊道边界识别的正确率，以人工抽样标注为参考，按三类工位分别统计。 采集覆盖与采样率是第二项。过程参数的统计档要求提至不低于每秒十点并按工件归档，这一档不新增硬件；波形档按起弧段、收弧段与越窗前后三类触发录制、不低于每秒五千点。两档的用途不同，统计档用于参数窗口核对与趋势分析，波形档用于异常时刻的细节还原。L1 核验的是两档是否都能取到、以及通道缺失的分布。气体流量在未加装流量传感器的工位按班次点检录入，这属于补录项，不进入自动核对的分母。 位置口径统一是第三项，也是本场景最需要甲方配合的一项。要求建立焊缝编号体系，并在检测结果中增加焊缝编号、里程与层道三个字段。现状是检测报告以纸质为主、位置口径三套并存，因此这一项的 L1 要求是：焊缝编号体系经甲方工艺与质量部门确认发布；检测结果的位置字段在新发生的检测中按新口径填写；历史检测结果按可对应程度分三档入档。可落到里程与层道的、只能落到区域的、只能落到焊缝的。三档的规模如实统计，后续指标按档分列。 参数窗口与评定报告的结构化是第四项。工艺卡片、操作指导书中的参数窗口、温度与检验要求须抽取为结构化规则，由工艺人员确认后生效；焊接工艺评定报告须结构化入库并建立重要因素覆盖范围表。这里有一处专业判断要写明：若某项参数的窗口上下限抽取后宽度不为正（即上限不大于下限，这是文件编制中确实会出现的情形），该项不得按原文生效，须列为工艺澄清项交甲方工艺部门处理。把一个宽度不为正的窗口投进越窗判定，会得到百分之百越窗的结果，看起来是系统在报警，实际上是文件问题。 硬件到位与分档是第五项。本项目采购的四十二台感知设备中，十五台熔池相机与二十一台热成像直接服务本场景。设备到位前，熔池视觉与焊缝表面图像按移动端取景规范拍照取样，可支撑表面缺陷检测的离线验证，但不支撑熔池状态的实时性验证；层间温度在夹持式接触测温配置到位前按移动端录入，可支撑达标判定但不支撑逐件逐层的自动核对。各验证项与设备到位的依赖关系在验证方案中逐项列明，指标按实际到位情况标注所处档位。 物料与环境侧按补录项处理：焊丝牌号、直径与批次，保护气与清渣液批次，母材带料单与材质证明，按出库领用扫码绑定；车间温湿度与表面状态按班次点检与移动端勾选拍照。这几项当前都不在系统里，但它们在归因中有用，保护气批次异常与气孔率的关联，只有在批次可追的前提下才查得出来。 ##### 2.6.2.3　金标准集与用例设计 本场景的验证资产分三类组织，与三流对应。 图像标注集用于视觉类能力。按缺陷类别分层，覆盖招标文件所列的气孔、裂纹、咬边、余高、弧坑、焊脚偏差六类，并按企业既有缺陷谱补充未熔合、未焊透、夹渣、焊瘤等类别。每类不少于二百个缺陷实例，裂纹与未熔合两类因样本稀缺，不足时以定向检索加构造补充并单列说明。标注内容为类别、位置与尺寸；位置按焊缝编号加里程加层道三级定位。标注一致性按类别与位置分别度量：类别按混淆矩阵统计，位置按重合度比对；类别一致率低于百分之九十、位置重合达标率低于百分之八十五时返工；裂纹与未熔合两类须三人标注取多数。边界模糊样本单列，不进主指标分母。 焊道档案集用于参数与关联类能力。按两条生产路线分别组织：中部槽批量件取不少于三十批、每批抽取不少于十件；大型单部件取不少于三十件，每件抽取不少于二十条焊道。档案内容含对象标识、工艺窗口版本、参数时序段、温度记录、视觉样本、检测结论与返修记录。 回放窗口用于端到端与追溯验证，取不少于六个月的历史生产数据，保留当时的原始参数流与检测结论。 构造样本不少于八十例，覆盖五类情形：预设值输错（偏离工艺卡区间但仍在设备可设范围内）、参数窗口宽度不为正、焊道边界信号中断、同一焊缝的三流位置口径冲突、以及保护气流量中途下降。前四类是本场景实际会遇到且处理方式容易出错的，第五类用于验证系统能否把表面气孔与气路问题关联起来。 用例集分七组：边界锚定组（X5-1、X5-3）、采集核验组（X5-2、X5-6）、窗口核对组（X5-4、X5-5）、视觉检测组（X5-7、X5-8）、评估预警组（X5-9、X5-10）、寻优组（X5-11）、追溯与知识库组（X5-12、X5-13）。 ##### 2.6.2.4　验证台在本场景的装配 本场景的验证智能体把一条焊道的分析拆成六步：对象绑定与档案组卷、焊前条件核对、过程参数窗口核对与越窗判定、多模态状态分析、焊后检测结果解析与位置对齐、关联归因与参数建议。 分工上，前三步与第五步以确定性为主。对象绑定与档案组卷是规则与信号处理；焊前条件核对是比对（预设值对工艺卡、焊工资质对工艺要求、焊材批次对牌号要求）；参数窗口核对含线能量计算：电流、电压与焊接速度给定，线能量即确定，与规程窗口比对是算术问题；检测结果解析含位置换算与区域对齐，属确定性。第四步的多模态状态分析由专用视觉模型与时序模型承担，模型负责从熔池视频与焊缝图像中判别状态与缺陷，从参数时序中识别异常模式。第六步的关联归因与参数建议由模型与统计方法联合承担，参数建议须落在工艺规程窗口与评定报告的重要因素覆盖范围之内，这是硬约束。 多模态融合的做法要写清，因为招标文件明确要求「结合时序数据与视觉数据」作质量评估（b1688）。本方案的融合在决策层而非特征层：时序侧与视觉侧各自给出判别结果与置信度，再按规则合成，两侧一致则按一致结论输出；两侧不一致则按预设优先级与置信度门限处理，并把不一致本身作为一个待查信号记录。选择决策层融合的理由有两条：两侧的采样率、时间基准与覆盖范围差异很大，特征层对齐的误差会污染两侧；而决策层融合的每一步都可解释，岗位能看懂为什么报警，这在现场是能否被采纳的关键。不一致率本身是一项有价值的观测量，它往往指向对齐问题而不是判别问题。 影子运行是本场景的执行方式，分三级推进但本包只到前两级。影子观测阶段，结论只进入后台供工艺人员回看核验，用以检验对象绑定正确率、规则适用性与提醒有效率；提醒阶段，在不干扰生产节拍的前提下向岗位推送，每条提醒含对象、时间、涉及参数、引用条款、原始数据链接与置信等级，岗位的标记（确认有效、确认无效、暂不判断、需复核）进入规则收敛。第三级受控闭环涉及流程动作与参数干预，不在本包验证范围，验证台不执行该级。 人审检查点设两处：参数窗口结构化确认后、提醒规则发布前。后者是因为提醒直接到岗位，门限设错会造成提醒泛滥，一旦泛滥岗位就不再看，这项能力的价值即归零。 ##### 2.6.2.5　本场景的步骤级判据 六步之中，四步设步级判据。 对象绑定与档案组卷这一步的判据与 X5-1、X5-12 共用，但另立一项「组卷完整性」：一条焊道的档案是否含齐对象标识、窗口版本、参数段、温度记录、视觉样本与检测结论六类内容；缺项的焊道按缺哪一类分别统计，这份统计直接指向加装与流程改造的优先顺序。 焊前条件核对这一步的判据是三项核对的执行率与拦截有效性：预设值对工艺卡区间、焊工资质对工艺要求、焊材批次对牌号要求。三项都是比对，不涉及模型，基线写成执行率全量、构造样本全部拦截。 参数窗口核对这一步含线能量计算，属确定性，判据是计算偏差的数量级与窗口比对的一致性。这里要写明一处纪律：线能量由电流、电压与焊接速度算出，三项中任一项的采样缺失都会使线能量不可算，此时该焊道不进入越窗判定的分母，而不是按缺省值计算。按缺省值算出来的越窗结论会被现场一眼看破。 多模态状态分析这一步的判据是两侧各自的判别指标与两侧不一致率，口径见 2.6.2.10 节。 人审检查点两处，参数窗口结构化确认后与提醒规则发布前。后一处没有误停率可言，它的判据是发布前的规则评审覆盖率：每一条拟发布的提醒规则是否经工艺与质量岗位评审并留记录。提醒直接到岗位，一条门限设错的规则会在一个班次内产生大量无效提醒，这类损害一旦发生，恢复岗位信任的成本远高于当初的评审成本。 ##### 2.6.2.6　一个完整用例的走法 举一条中部槽承力结构件的厚板对接焊缝为例，按坡口尺寸需焊四道、分两层完成，焊后超声探伤在某一位置检出未熔合。 第一步对象绑定与档案组卷。本条焊缝须绑定到工件、焊缝编号、两个焊层与四条焊道。焊道边界的锚定在机器人工位取程序段执行事件；本例若在专机工位，则以起弧熄弧的电流跳变、送气阀动作与送丝启停三路旁路信号建立边界。组卷完整性的判据在此：六类内容（对象标识、窗口版本、参数段、温度记录、视觉样本、检测结论），缺哪一类分别统计。本例若该工位未配接触测温、温度记录来自移动端录入，这一类按补录项计并标明。 第二步焊前条件核对。三项比对：焊机预设电流电压与工艺卡区间、焊工资质与该接头的工艺要求、焊材牌号批次与母材材质的对应关系。本例构造一个预设值偏离工艺卡区间但仍在设备可设范围内的情形，判据是系统在起弧前拦住。 第三步过程参数窗口核对。四条焊道各算线能量，电流乘电压除以焊接速度，与规程窗口比对。本例的打底道若焊接速度高于窗口上限，线能量偏低，这是未熔合的一条典型候选原因，须被判为越窗并留痕。此处有一条纪律：三项中任一项采样缺失则线能量不可算，该焊道不进越窗判定的分母，不按缺省值计算。 第四步多模态状态分析。时序侧从参数波形中识别起弧段异常与送丝波动；视觉侧从熔池视频判别熔池形态、从焊缝表面图像检测可见缺陷。本例的未熔合位于层间，表面图像上通常无可见特征，因此视觉侧的判别结果预期为无异常。这正是两侧不一致的一个典型来源：时序侧报越窗、视觉侧报正常。按 2.6.2.4 节的决策层融合规则，这种不一致本身作为待查信号记录，并按预设优先级与置信度门限处理。不一致率的统计与原因查明在 2.6.2.10 节。 第五步焊后检测结果解析与位置对齐。探伤报告给出缺陷的里程与深度。本例若检测设备为带编码器的相控阵，缺陷可落到焊缝里程与焊层，从而与第三步的打底道对应起来，参数与缺陷的关联分析成立；若为普通手工超声，只能落到区域，关联只到焊缝级。两档的指标口径不同并分列统计。 第六步关联归因与参数建议。本例的归因结论应指向打底道线能量偏低，证据是该道的参数段越窗记录与探伤位置的对应关系。参数建议须落在规程窗口与评定报告的重要因素覆盖范围之内，越界条数判据为零。 这条用例把本场景的三个关键判据串起来了：焊道边界锚定决定了参数能否对应到具体焊道，位置口径统一决定了检测结果能否落回那条焊道，而两者齐备之后参数与缺陷的关联才成立。缺任一环，归因只能停在焊缝级，这就是 2.6.2.10 节把三流关联完整率按两两分别统计的原因。 ##### 图 2-7　焊接场景的四级对象树与三流对齐 四级对象树：参数、视觉与检测结果须落到同一级才能一一关联 工件 焊缝 焊层（2–3 层） 焊道（常 4 道） 打底 / 填充 / 盖面 参数绑定的最小单位 参数流 电流 · 电压 · 送丝速度 · 气流量 焊接速度 · 摆动 · 停留 · 各轴角度 统计档 ≥10 点/秒；波形档 ≥5000 点/秒 视觉流 熔池实时视频（熔池相机） 焊缝表面图像 · 热成像 设备到位前按取景规范拍照取样 检测结果流 外观检查 · 超声探伤 · 磁粉检测 三环节 · 三时点 · 位置口径须统一 带编码器相控阵可落里程与焊层 焊道档案：三流在焊道一级一一关联 关联完整率按两两关联分别统计，再统计三流齐备率 决策层融合：时序与视觉各出判别与置信度，按规则合成； 两侧不一致本身作为待查信号记录，常指向对齐问题而非判别问题。 不选特征层融合：两侧采样率与时间基准差异大，对齐误差会污染两侧。 本包边界：验证台只给结论与记录，不向焊机、机器人或 产线控制系统写入参数；受控闭环一级不在本包验证范围。 干预决策的判据是结论与事后检测事实的一致性。 图 2-7　焊接场景的四级对象树与三流对齐。数据来源：招标文件 b1679、b1682 至 b1693；多层多道与两条生产路线依甲方现行焊接组织方式；感知设备数量依本投标文件硬件选型节。 ##### 2.6.2.7　逐项验证的来源数据、样本结构与基准答案 表 2-28　焊接过程控制智能监控逐项验证的数据、样本与基准答案 | 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 | |---|---|---|---|---| | X5-1 四级对象树与焊道边界锚定 | 机器人工作站的程序段执行事件；起弧熄弧电流跳变、送气阀动作、送丝启停三路旁路信号 | 按机器人、专机与半自动、人工焊三类工位分别统计；中部槽批量件不少于 30 批、大型单部件不少于 30 件 | 人工抽样标注的焊道起止时刻 | 信号处理与规则；三类工位分列，不合并；不设对照组 | | X5-2 时序参数采集完整性 | 电流、电压、送丝速度、气体流量、焊接速度、焊枪摆动、停留时间、各轴角度八类通道 | 按工位统计通道覆盖；统计档按工件归档，波形档按起弧段、收弧段、越窗前后三类触发 | 通道是否可取、采样率是否达档为客观判定 | 采集链路核验；不设对照组 | | X5-3 焊道类型识别 | 层道顺序；参数特征；坡口与工艺卡要求 | 焊道档案集全集，按打底、填充、盖面三类分层 | 工艺骨干标注的焊道类型 | 沙箱分类题型；三组对照 | | X5-4 参数窗口结构化与越窗判定 | 工艺卡片、操作指导书中的参数窗口、温度与检验要求 | 参数项全集；越窗判定按焊道计 | 工艺人员确认后的结构化窗口；线能量由电流、电压与焊接速度算出，为客观值 | 文本抽取用模型、线能量计算与窗口比对用确定性组件；抽取项进三组对照 | | X5-5 预设值与工艺卡区间核对 | 焊机预设值；结构化后的参数窗口 | 构造的预设值输错样本，偏离工艺卡区间但仍在设备可设范围内 | 工艺卡区间为客观答案 | 起弧前比对；不设对照组 | | X5-6 温度类参数核对 | 预热、层间、后热温度记录；接触测温配置情况 | 配置接触测温的工位与未配置工位分列统计 | 工艺规程的温度要求值与允差 | 配置到位的自动核对，未配置的按移动端录入；不设对照组 | | X5-7 熔池视觉状态检测 | 熔池相机视频；取景与光照条件记录 | 视频片段按工况与坡口类型分层 | 工艺骨干判读的熔池状态 | 专用视觉模型；按标注量与标注质量两组实验，不做微调配比消融 | | X5-8 焊缝表面缺陷检测 | 焊缝表面图像；缺陷标注集 | 六类基本缺陷每类不少于 200 个实例，并按企业缺陷谱补充未熔合、未焊透、夹渣、焊瘤等类别；裂纹与未熔合不足时定向检索加构造补充并单列 | 缺陷类别、位置与尺寸，位置按焊缝编号加里程加层道三级定位；裂纹与未熔合三人标注取多数 | 专用视觉模型；标注量与标注质量两组实验 | | X5-9 综合质量评估与预警 | 时序侧判别结果与置信度；视觉侧判别结果与置信度；事后检测结论 | 按焊道计召回与误报；两侧不一致率单列 | 事后确认的缺陷焊道为客观答案 | 决策层融合，规则合成；不做微调对照 | | X5-10 干预决策建议 | 过程参数、视觉状态与窗口判定结果；事后检测结论 | 按建议条目计 | 事后检测结论为客观答案 | 影子观测与提醒两级；不做微调对照 | | X5-11 工艺参数优化与分工况推荐 | 历史参数流、检测结论、返修记录；工艺规程窗口与评定报告重要因素覆盖范围 | 按工况组合（板厚、材质、焊道类型）分组做回溯对比 | 对比基线：现行取值在同一历史窗口上的一次交检合格率与返修次数，统计后冻结 | 统计方法加规程约束；不做微调对照 | | X5-12 三流一一关联与追溯 | 参数流、视觉流、检测结果流；焊缝编号体系与位置字段 | 按焊道计三流两两关联与三流齐备；追溯抽查不少于 100 条焊道 | 三流记录是否存在且可对应到同一焊道，为客观判定 | 档案组卷与位置对齐；检测侧按带编码器与普通手工超声两档分列 | | X5-13 焊接工艺知识库 | 工艺卡片、国标规范、焊丝型号、板厚与材质对应关系、焊道要求、合格参数区间六类条目 | 六类条目逐类核内容完备与可检索 | 受控工艺文件与标准文本为答案来源 | 知识库检索；三组对照用于知识库问答题型 | 表 2-28　数据来源：能力编号与标书依据见表 2-27；三类验证资产的组织见 2.6.2.3 节；位置口径分档见 2.6.2.2 节。 ##### 2.6.2.8　逐项验证的指标公式、招标门槛与闭环责任 表 2-29　焊接过程控制智能监控逐项验证的指标公式与闭环责任 | 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 | |---|---|---|---|---| | X5-1 | 三类工位分别计：边界识别正确的焊道数 ÷ 抽样焊道数 | b1692 要求参数、视觉数据与检测结果一一关联，边界锚定为其前置，未设数值门槛 | 骨干抽样核对自动边界与人工标注的起止时刻 | 边界错误逐例核查旁路信号质量；信号缺失的工位降为焊缝级并如实标注，加装后复测该工位全集 | | X5-2 | 可取通道数 ÷ 应采通道数（按工位）；统计档达采样率且按工件归档完整的工件数 ÷ 工件数 | b1682 至 b1684 列出八类采集项，未设数值门槛 | 核对通道清单与现场实际接线 | 缺口按加装批次排期；丢档逐例核查链路；气体流量未加装传感器的按班次点检录入，不进自动核对分母 | | X5-3 | 类型识别正确的焊道数 ÷ 焊道数 | b1683、b1684 涉及焊道级采集与记录，未设数值门槛 | 骨干核对层道顺序与参数特征 | 错判逐例核查层道顺序与参数特征；属样本不足的补标注后复测 | | X5-4 | 结构化正确的参数项数 ÷ 参数项数；越窗判定与人工复核一致的焊道数 ÷ 参与判定焊道数；线能量计算相对偏差；窗口宽度不为正的识别条数 ÷ 实际存在条数 | b1694、b1695 要求建立工艺知识库并支撑参数窗口核对，未设数值门槛 | 工艺人员确认结构化窗口 | 结构化失败项由工艺人员补录并回流样本；宽度不为正的列为工艺澄清项交工艺部门，不按原文生效；三项采样缺一则该焊道不进越窗判定分母 | | X5-5 | 被拦截的构造样本数 ÷ 投放的预设值输错构造样本数 | b1682、b1694 涉及焊机参数与工艺卡区间，未设数值门槛 | 骨干核对拦截提示内容是否指到具体参数 | 漏拦截逐例归因到比对规则与预设值读取链路，修复后重跑全部构造样本 | | X5-6 | 配置接触测温工位：自动核对覆盖的焊道数 ÷ 焊道数；未配置工位按移动端录入覆盖率如实统计 | b1682、b1683 列出预热、层间、后热温度，未设数值门槛 | 质量岗位抽查录入值与实测是否一致 | 缺口按加装批次排期；录入质量差的工位加培训与抽检，配置到位后复测 | | X5-7 | 判别正确的视频片段数 ÷ 视频片段数 | b1685、b1686 要求熔池状态监测，未设数值门槛 | 工艺骨干判读为参考，复核错判片段 | 错判逐例核查取景与光照条件；采集条件受限的单列统计；设备到位前只支撑离线验证 | | X5-8 | 按类别计：检出缺陷实例数 ÷ 缺陷实例数；误检图像数 ÷ 图像数 | b1686、b1687 要求焊缝图像缺陷检测，列举气孔、裂纹、咬边、余高、弧坑、焊脚偏差六类，未设数值门槛 | 质量骨干复核漏检与误检 | 漏检逐例归因；集中在裂纹与未熔合的按学习曲线判断是补样本还是增设检测手段；历史样本的筛选偏差须量化说明 | | X5-9 | 命中的事后确认缺陷焊道数 ÷ 事后确认缺陷焊道数；误报条数 ÷ 预警条数；两侧不一致焊道数 ÷ 参与融合焊道数 | b1688、b1689 要求综合时序与视觉数据作质量评估并判断是否触发预警，未设数值门槛 | 岗位对提醒作四类标记（确认有效、确认无效、暂不判断、需复核） | 漏报先核三流齐备情况，缺流的不进该项分母；误报先核参数窗口是否偏窄，再核工况分层；不一致率不设门限，按原因分布归因，属对齐问题的转数据侧整改 | | X5-10 | 与事后检测结论一致的建议条数 ÷ 建议条数 | b1689 要求决策是否干预调整参数；本包只验证决策结论与事后事实的一致性，不执行干预 | 工艺与质量岗位核对建议与事后结论 | 不一致项逐例归因；受控闭环一级不在本包范围，验证台不执行该级 | | X5-11 | 对比基线：按工况组合计，推荐取值下的一次交检合格率与返修次数对冻结基线的差值；越出规程窗口或评定覆盖范围的推荐条数（绝对数） | b1690、b1691 要求基于历史数据挖掘最优参数组合并分工况推荐，原文前提是在工艺规程范围内，未设数值门槛 | 工艺部门核对推荐是否在评定覆盖范围内 | 劣于现行取值的逐项归因；越界条数出现即判该轮不通过，补约束后重跑全部工况组合 | | X5-12 | 三项两两关联分别计：可关联焊道数 ÷ 焊道数；三流齐备焊道数 ÷ 焊道数；抽查可回溯焊道数 ÷ 抽查焊道数 | b1692、b1693 要求参数、视觉数据与检测结果一一关联并支持全程可溯源，未设数值门槛 | 质量岗位按焊缝编号抽查回溯链 | 先核对象标识（扫码点、焊缝编号、检测位置字段），再核时间基准偏移，最后才查边界锚定算法；位置口径按三档分列统计 | | X5-13 | 有结构化条目且可检索的内容类别数 ÷ 应有类别数（六类） | b1694、b1695 要求建设焊接工艺知识库，列举六类内容，未设数值门槛 | 工艺人员核对条目内容与受控文件一致 | 缺类补齐后复核；评定报告入库后扩充并重新核对覆盖范围表 | 表 2-29　数据来源：招标门槛一栏照录招标文件 b1681 至 b1695 原文要求；指标数值见表 2-31；影子运行与分级见 2.6.2.4 节。 ##### 2.6.2.9　正常、边界与异常三类用例 表 2-30　焊接过程控制智能监控的三类用例 | 能力 | 正常用例 | 边界用例 | 异常用例 | |---|---|---|---| | X5-1 | 机器人工位长直焊缝，程序段事件齐备 | 同一焊缝两层四道，层间停顿时间短 | 焊道边界信号中途中断，须标为不可锚定而非按整段计一道 | | X5-2 | 机器人工位八类通道齐备的工件 | 波形档触发条件同时满足三类 | 某通道恒定不变，须判为失效并从分析中摘除 | | X5-3 | 典型多层多道焊缝的三类焊道识别 | 填充与盖面参数接近的焊道 | 层道顺序记录缺失，应只到焊缝级 | | X5-4 | 窗口完整的工艺卡逐项结构化 | 线能量恰在窗口上限 | 参数窗口上限不大于下限，须列为工艺澄清项不予生效 | | X5-5 | 预设值在工艺卡区间内，正常放行 | 预设值恰在区间端点 | 预设值偏离区间但仍在设备可设范围内，须在起弧前拦住 | | X5-6 | 配置接触测温的工位逐件逐层核对 | 层间温度处于上下限之间的窄带 | 测温器具校验超期，该读数不得进入判定 | | X5-7 | 清晰取景的熔池视频片段 | 熔池形态处于两类状态过渡期 | 相机未到位，只能按移动端取景，须标注不支撑实时性验证 | | X5-8 | 气孔与咬边的表面图像检出 | 余高接近允差边界 | 层间未熔合，表面无可见特征，视觉侧应报正常并由时序侧补位 | | X5-9 | 时序与视觉两侧判别一致的焊道 | 两侧置信度均在门限附近 | 时序报越窗而视觉报正常，须作为待查信号记录并查明原因 | | X5-10 | 判定应干预的焊道，事后检测确有缺陷 | 判定边缘情形，事后检测合格但有返修痕迹 | 建议内容涉及参数写入，验证台须只记录不执行 | | X5-11 | 常见工况组合的参数推荐回溯对比 | 推荐取值贴近评定覆盖范围边缘 | 推荐越出评定重要因素覆盖范围，须判该轮不通过 | | X5-12 | 带编码器相控阵检测的焊缝，三流齐备 | 检测结果只能落到区域，关联只到焊缝级 | 同一焊缝的三流位置口径互相冲突，须记为待查并列出冲突点 | | X5-13 | 六类内容齐备的知识库检索 | 同一参数在规程与评定中取值不同，须同时给出并标明出处 | 检索到的条款已作废，须按版本过滤不予返回 | 表 2-30　数据来源：用例组划分与构造样本的五类情形见 2.6.2.3 节。 ##### 2.6.2.10　验证指标与通过判据 表 2-31　焊接过程控制智能监控场景的验证指标 | 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 | |---|---|---|---|---| | X5-1 | 焊道边界识别正确率，按焊道；三类工位分列 | 机器人工作站 ≥95%；专机与半自动 ≥85%；人工焊工位只到焊缝级 | 机器人趋向全量；专机 ≥92% | 边界错误逐例核查旁路信号质量 | | X5-2 | 八类参数的通道覆盖率，按工位 | 机器人工作站八类齐备；专机与半自动按可采范围如实统计并列明缺口 | 加装到位后逐项补齐 | 缺口按加装批次排期 | | X5-2 | 统计档采样率与归档完整率，按工件 | 统计档 ≥10 点/秒且按工件归档完整率 ≥95%；波形档三类触发均可录制 | 趋向全量 | 丢档逐例核查链路 | | X5-3 | 焊道类型识别正确率，按焊道 | ≥90% | ≥95% | 错判逐例核查层道顺序与参数特征 | | X5-4 | 参数窗口结构化正确率，按参数项 | ≥95%，经工艺人员确认 | 趋向全量 | 失败项由工艺人员补录并回流样本 | | X5-4 | 越窗判定一致性，按焊道 | 与人工复核一致率 ≥98%；线能量计算相对偏差 ≤1×10⁻⁶ | 趋向全量 | 不一致项核查窗口版本与单位换算 | | X5-4 | 窗口宽度不为正的识别，按参数项 | 全部识别并列为工艺澄清项，不按原文生效 | 保持 | 漏识别即判该项不通过 | | X5-5 | 预设值与工艺卡区间核对的拦截有效性，按构造样本 | 构造的预设值输错样本全部拦截 | 保持 | 漏拦截逐例归因 | | X5-6 | 温度类参数核对覆盖率，按焊道 | 配置接触测温的工位 ≥90%；未配置工位按移动端录入，覆盖率如实统计 | 配置到位后 ≥95% | 缺口按加装批次排期 | | X5-7 | 熔池状态判别正确率，按视频片段 | ≥85%，以工艺骨干判读为参考 | ≥90% | 错判逐例核查取景与光照条件 | | X5-8 | 表面缺陷检出率，按缺陷实例，分类别统计 | 气孔、咬边、余高、弧坑、焊脚偏差五类各 ≥88%；裂纹 ≥80% | 前五类 ≥93%；裂纹 ≥88% | 漏检逐例归因并补样本 | | X5-8 | 表面缺陷误检率，按图像 | ≤12% | ≤7% | 误检归因并调整判级门限 | | X5-9 | 预警召回率，按事后确认的缺陷焊道 | ≥80% | ≥90% | 漏报逐例归因并补判据 | | X5-9 | 预警误报率，按预警条数 | ≤20% | ≤12% | 误报归因并调整门限 | | X5-9 | 时序与视觉两侧判别的不一致率，按焊道 | 如实统计并逐例查明原因分布，不预设门限 | 不一致中属对齐问题的比例逐轮下降 | 对齐问题转数据侧整改 | | X5-10 | 干预建议与事后检测结论的一致率，按建议条目 | ≥75% | ≥85% | 不一致项逐例归因 | | X5-11 | 分工况参数推荐的回溯效果，按工况组合 | 在历史窗口上不劣于现行取值；并给出一次交检合格率与返修次数两项的改善幅度 | 两项均有可测量改善 | 劣于现行取值的逐项归因 | | X5-11 | 推荐的窗口与评定覆盖合规性，按推荐项 | 推荐参数越出规程窗口或超出评定重要因素覆盖范围的条数为零 | 保持 | 出现即判该轮不通过 | | X5-12 | 三流两两关联完整率，按焊道 | 参数—视觉 ≥85%；参数—检测 ≥80%；视觉—检测 ≥80% | 各提升不少于八个百分点 | 未关联焊道列原因分布 | | X5-12 | 三流齐备率，按焊道 | ≥70% | ≥85% | 齐备率低的工位单列改进项 | | X5-12 | 全程追溯的可回溯率，按抽查 | 抽查不少于一百条焊道，逐条可从检测结论回溯到参数段与视觉样本 | 趋向全量 | 不可回溯项核查档案组卷 | | X5-13 | 知识库内容完备性，按条目类别 | 工艺卡片、国标规范、焊丝型号、板厚与材质对应关系、焊道要求、合格参数区间六类均有结构化条目且可检索 | 保持并随评定报告入库扩充 | 缺类补齐后复核 | 表 2-31　数据来源：指标项对应招标文件 b1682 至 b1695；阈值为我方按工位采集条件设定的承诺口径，最终随蓝图设计确认。 三处阈值的取法说明。裂纹检出率比其他五类低八个百分点，与热处理场景同理，是两类缺陷在表面图像上的可分辨性差异所致；细微裂纹常需结合磁粉检测确认，单靠表面图像判定有物理上限。 三流关联完整率的三个数不同，依据是三条链路的缺口原因不同：参数与视觉同属过程侧，时间基准接近，关联相对容易；参数与检测、视觉与检测都要跨过位置口径这一关，而检测侧的位置精度取决于设备，带编码器的相控阵能给里程，普通手工超声只能给区域。因此后两项的基线定得低八到五个百分点，并在报告中按检测档位分列统计。 两侧判别不一致率不设门限，只要求如实统计并查明原因分布。理由是这个量在首轮验证时的取值无法预估，而它的有用之处不在高低，而在其原因构成。若不一致主要来自对齐问题，那是数据侧的事，补对齐即可下降；若主要来自两侧的真实判别差异，那说明有一侧的判据需要修订。预设一个门限会诱导把不一致压下去，而压下去的办法往往是让两侧趋同，那恰好丢掉了多模态融合的价值。 ##### 2.6.2.11　数据集贡献度的对照实验 本场景的对照实验分两条线，这是六个场景中唯一需要分线设计的。 视觉线做标注量与标注质量两组实验，不做语料配比消融。标注量实验按两成、五成、八成与全部样本四档分别训练并评测，按缺陷类别分别画学习曲线；六类缺陷的曲线形状预期差别很大：气孔与咬边样本多、特征明显，曲线会较早趋平；裂纹样本少、特征弱，曲线可能仍在上升段，这说明补样本还有收益。标注质量实验的做法是用一致率低的那一批标注（返工前的版本）与返工后的版本分别训练，比较评测结果，用来量化标注返工这项投入的价值。这组实验的结论对数据集建设有直接意义：它回答「在这个场景上，是补数量更划算还是提质量更划算」。 语言线做三组对照，题集取自场景基准题集中的缺陷归因、参数推荐依据说明与知识库问答三类题型，不少于一百五十题，全部来自真实检测报告、工艺评定与返修记录，不含合成数据。基座裸测组在焊接通识上会有相当表现，焊接缺陷的成因在公开文献中讨论充分；但在本企业的工况组合（具体板厚与材质对应、具体焊道要求、具体合格参数区间）上会失准，且容易给出超出本企业评定覆盖范围的参数建议。这一点正是检索增强组要解决的：接入工艺库、标准接头图库、评定库与缺陷特征库之后，参数建议的合规性应有明显改善。数据集适配组使用以本场景指令微调子集训练的模型版本，重点看两项：归因证据的具体程度（能否指到焊道、里程、参数段与引用条款），以及参数建议的越界条数，越界条数应当为零，若微调后反而出现越界，说明模型学到了「给建议」而没学到「受约束」，这是必须被发现的失败模式。 另外做一组多模态对齐样本的消融，这一组是本场景特有的。做法是抽掉由视频与文本对齐、以及传感器时序与运维事件对齐两类工具链产出的对齐样本，看三流关联类能力与综合评估能力下降多少。这组实验度量的是两条对齐工具链的实际价值，结论直接影响后续对齐工作的投入强度。 ##### 2.6.2.12　归因、整改与交付物 本场景的归因有四类高频情形。 关联不上。排查顺序是先核对象标识：工位有没有扫码点、焊缝编号有没有发布、检测结果有没有填位置字段；标识齐备而关联不上的，核时间基准偏移；两项正常的，才查边界锚定算法。这一类归因绝大多数落在数据侧的流程环节，不是算法问题。 误报偏多。排查重点是参数窗口本身。窗口抽取偏窄会造成系统性误报，而这类误报看起来像是判据过敏；核窗口无误后，看是否存在工况分层不足，同一套门限用在不同板厚与材质上，必然在某些工况下偏严。 漏报。排查顺序是先核该焊道的三流齐备情况。缺视觉或缺参数的焊道本来就只能按较粗档位判定，漏报不计入该项指标的分母；三流齐备而漏报的，查缺陷类型分布，若集中在裂纹与未熔合，属已知的检出能力限制，按学习曲线判断是补样本还是增设检测手段。 样本偏差带来的指标虚高。这一类不是失败而是风险，但必须在归因报告中单列。做法是把验证期内按前向方式自动留痕的过程偏差事实，与历史交检开票样本做分布比对；若两者的缺陷类型分布明显不同，说明历史样本的偏差确实存在，须在报告中量化说明其对指标的影响方向。 本场景分三批执行，与数据条件的三批加装对应。第一批是窗口核对组与预设值核对组，依靠工艺文件结构化与设备接口读取即可落地、不新增硬件，上线后当班即可给出可核对结论。第二批是边界锚定组、采集核验组与视觉检测组，前置条件是旁路信号接入、焊接部位相机安装与标定、采样率提升与长期归档、检测原始数据导出与位置字段规范。第三批是评估预警组、寻优组与追溯组，并进入观察期；观察期取不少于三个月，期内覆盖中部槽批量件不少于十批、大型单部件不少于三十件。观察期内按影子观测与提醒两级推进，记录岗位对提醒的四类标记分布。这份分布是规则收敛的主要依据，也是判断提醒是否泛滥的直接证据。 交付物十项：场景验证方案；数据就绪度核验报告与缺口清单，含三类工位的采集能力分档；焊缝编号体系与检测位置口径统一方案（与甲方工艺及质量部门共同确认）；参数窗口结构化成果、工艺澄清项清单与评定覆盖范围表；冻结版图像标注集、焊道档案集与用例集，含缺陷标注规范与仲裁记录；验证执行记录与见证签认档案，含影子观测与提醒两级的记录；场景验证报告，含视觉线两组实验、语言线三组对照、对齐样本消融结论、三流关联分层统计与样本偏差说明；分工况参数推荐的回溯对比报告；对齐工作的投入优先级建议；错题归因清单与数据集改进需求单。 ##### 2.6.2.13　验证记录、报告字段与版本关联 用例级记录的必填字段与 4.1 节一致，本场景的输入对象标识为工件号加焊缝编号加层号道号四级标识，缺层道信息的按可得层级记录并标明。本场景的用例卡另加五项：该焊道的工位类型（机器人、专机与半自动、人工焊）；焊道边界的锚定来源（程序段事件或三路旁路信号）；三流齐备情况（参数、视觉、检测逐项记有无）；检测侧的位置档位（可落里程与层道、只到区域、只到焊缝）；以及时序侧与视觉侧的判别结果与置信度两栏，不一致时另记不一致原因。 轮次级记录的必填字段：数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加四项：参数窗口结构化成果的版本号与工艺澄清项清单；焊缝编号体系的发布版本；焊接工艺评定报告的入库版本与重要因素覆盖范围表版本；以及影子观测与提醒两级的推进状态与提醒规则的发布版本。提醒规则每次发布前的评审记录随轮次归档。 场景报告按 4.3 节的九章体例出具，本场景填入的内容为：被验证能力清单与条目对照（十三项）；数据就绪度结论（三类工位的采集能力分档、位置口径三档的规模统计、感知设备到位情况）；验证资产说明（图像标注集按类别的规模与一致性、焊道档案集按两条生产路线的组织、回放窗口长度）；执行情况（三批执行的版本登记、影子观测与提醒两级的记录、岗位四类标记分布）；逐项判定结论，按工位类型与检测档位分列，不合并；数据集贡献度结论（视觉线两组实验、语言线三组对照、对齐样本消融结论）；归因分析（关联不上、误报偏多、漏报、样本偏差四类分列，样本偏差须量化说明方向）；可用性结论与档位说明；改进需求与优先级。报告另附分工况参数推荐的回溯对比报告与对齐工作的投入优先级建议。 版本关联按三元标识执行，本场景另绑三项：工艺规程与参数窗口版本、焊缝编号体系版本、提醒规则版本。任一越窗判定绑定其所依据的窗口版本；任一预警与干预建议绑定当时生效的提醒规则版本，规则调整后历史结论保留其当时版本，便于判断误报下降来自规则改进还是数据改善。三流关联记录以焊道为键，参数段、视觉样本与检测结论各记其原始存储引用，使任一条检测结论可回溯到参数段与视觉样本。 ##### 2.6.2.14　本场景验证资产的跨场景复用 决策层融合的做法在热处理与健康诊断两个场景有对应。热处理的曲线判定与外观判定、健康诊断的振动判定与温度判定，都是多路判别需要合成一个结论的情形；三处都采用决策层融合而非特征层融合，理由相同：各路的采样率、时间基准与覆盖范围差异大，特征层对齐的误差会污染各路；而决策层融合的每一步可解释，岗位看得懂为什么报警。各路不一致作为待查信号记录这一做法，在三处通用。 影子运行这一执行方式在健康诊断场景直接复用。两个场景的共同点是结论要推送到岗位，而推送质量不过关会造成不可逆的信任损失，提醒一旦泛滥，岗位就不再看，这项能力的价值即归零。因此两个场景都按影子观测与提醒两级推进，门限在观测阶段用回看核验的方式调，不在真实推送中试错。岗位标记的四类分布（确认有效、确认无效、暂不判断、需复核）是规则收敛的共同依据。 位置口径统一这一工作在热处理场景有较轻的对应：热处理的检验部位与抽检点位同样须一次性约定并建档，否则硬度结果落不到部位上，同批不均的定位无从谈起。本场景的位置三级定位体例（对象编号加里程加层道）与热处理的部位分区体例虽不同，但「位置定义与容差先行」这一原则一致，已写在 2.1.17 节。 样本偏差的量化说明这一做法，在六个场景通用但以本场景最典型。凡历史样本经过人工筛选或只来自某一特定环节的，其分布不是真实总体的随机抽样；处置是量化说明偏差的性质与方向，并用前向自动留痕补充，而不是在报告中含糊带过。 ### 2.7　刮板输送装备健康智能诊断（3.2.6.5.1.6） #### 2.7.1　场景介绍（3.2.6.5.1.6.1） 刮板输送机是矿山综采工作面核心输送装备，长期在重载、粉尘、潮湿、大倾角工况下运行，关键部件（链条、链轮、溜槽、减速器、电机、联轴器、液压系统）易出现磨损、疲劳、裂纹、松动、卡滞、渗漏等故障。招标文件指出当前主要依靠现有装备远程运维服务平台进行监控，存在机理规则适配性不足、多模态诊断样本数据管理缺失等问题（b1698）；场景方向是基于实时运行数据、设备历史故障记录、点检巡检数据、维修保养记录、设备说明书、失效分析报告、运行工况参数构建高质量刮板机健康诊断数据集，通过物联网采集电流、电压、温度、振动、张力、转速、油压、流量等状态数据，结合 AI 模型实现诊断数据样本管理、基于时序模型的历史数据分析、工况识别、故障分析及规则智能编排，提升现有平台诊断的准确性、针对性、易用性和持续优化能力（b1699）。 招标文件最后那句话定了本场景验证的性质：这里要验证的是「提升」，而不是「从零建成」。企业已建成售后服务管理系统，实现刮板机运行、运维、故障维保数据的集中汇聚与统一管理，并已具备阈值报警、多参数组合判断、智能问答、预警分析与报告生成等能力；既有的运行判断也已不是单参数越限报警，而是带失效机理的多参数组合判断，可依据负载在后台动态调整阈值。因此本场景的验证必须是对比式的：以既有平台在同一样本集上的表现为基线，验证新判据、新规则与新模型带来的增量。只给一组绝对指标，说明不了「提升」，也无法向甲方证明这笔投入的价值。这一条是本场景判据设计的起点。 在此基础上，验证设计有六处关键判断。 第一处是诊断对象的收敛。监测侧的对象已经清楚：电动机、传动系统、链轮轴组三大传动部件，加上刮板链与中部槽的磨损量，以及张紧制动装置与电气控制。三大件上已布有振动、轴承与壳体温度、油位与油温，冷却系统有水温、进水流量与压力，电机侧有三相电流、转速与功率；刮板链另有断裂预警装置可独立输出预警结果与断点大致位置。除油液分析外主要参数基本齐备。对象收敛是好事，它使故障名录与标签体系可以做得具体，而不必泛泛覆盖「所有可能的故障」。 第二处是诊断结论的粒度差。既有能力的结论落到测点与参数组合，落不到具体部件与失效形式：「减速器测点振动升高」推进不到「哪一级、哪个轴承、什么性质的损伤」。招标文件要求的部件级诊断（b1706 明确列出链条、链轮、溜槽、电机、减速器、液压系统六类部件的典型故障）正是要补这一段。粒度从测点级推进到部件级，是本场景能力增量的主要内容，也是验证指标的主要落点。 第三处，也是本场景专业性最集中的一处，是振动诊断在刮板输送机上的成立条件。常规振动诊断方法的三个前提是转速稳定、载荷平稳、传递路径不变，而刮板输送机三条全不成立：链传动本身有速度波动，煤流量变化使载荷大幅起伏，井下三机搭接产生的外部激励还在改变传递路径，支架推溜时整体推拉输送机，采煤机直接在中部槽上行走。其中最要紧的是链传动的多边形效应：刮板链绕过链轮时链节以多边形而非圆周方式啮合，链速按链轮齿数产生周期性起伏，形成一组由链速、链节距与链轮齿数共同决定的固有冲击激励；它的频率成分往往与齿轮啮合频率、轴承特征频率处在同一量级，足以把后者淹没。 这一条对验证方案的意义在于，它既是难点也是可解的。链速、链节距与链轮齿数都是设备档案里的已知量，激励频率可以直接算出来，算得出就减得掉。分离之后剩余的冲击成分才具备诊断意义。而多边形效应本身的幅值与相位变化，反过来又是链条伸长与链轮齿形磨损的一项间接指标。因此本方案把干扰分离单列为一项验证能力，判据是分离前后部件级特征频率的信噪比改善，以及分离后部件级判据的误报下降幅度。这一项是本场景最能体现技术含量的验证内容，也是「机理规则适配性不足」这一问题的直接应答。 第四处是轴上角位置基准的缺失。键相或编码器信号当前无部署，而阶次分析与相位类判据的成立依赖它。缺失时结论止于测点级，部件级归因不成立。这一条必须如实写明并分档，不能含糊过去。没有角位置基准而声称能做部件级定位，专家一问就穿。处置是把它列为按证据分级的加装首选项，并在未加装期间把相关验证项按受限档执行。 第五处是采集链路的可信性。井下传感器损坏率高，过保后少有人报修，已失效的通道仍在参与判断，测点在线率随运行时间下降。这造成一类特别隐蔽的问题：一个读数恒定不变的温度通道，在统计上看起来比正常通道更「平稳」，用它做判断不会报警，而实际情况可能是设备已经出问题而传感器早就坏了。因此采集链路体检是本场景 L1 的第一道关口，且它本身是一项验证能力：体检要能识别出失效通道、漂移通道与饱和通道，并把它们从判断链中摘除。 第六处是标签的来源。处置完成后的检查项、拆检发现、更换部件与恢复情况没有结构化回到数据链上，故障与数据段的对应关系因此建立不起来，历史数据没有事件级标签。这一条决定了本场景的样本工作是整个项目中最费力的：故障样本不能靠标注历史数据得来，只能靠「维修事实回填」与「历史工单回溯配对」两条路逐例配对。回填须在服务工单增设结构化字段，这是流程改造；回溯配对则受时序数据保存期限的约束。两条路的产出速度都不快，因此本场景的样本覆盖按类别统计覆盖度，未达标类别以机理判据与趋势外推给出结论并标明，不假装样本已经够了。 #### 2.7.2　验证要求（3.2.6.5.1.6.2） ##### 2.7.2.1　验证要求的拆解与被验证能力 招标文件四条验证要求展开为十二项能力。 表 2-32　刮板输送装备健康智能诊断场景被验证能力 | 编号 | 被验证能力 | 标书依据 | 判据性质 | 层级 | |---|---|---|---|---| | X6-1 | 采集链路体检与失效通道识别 | b1710 | 统计性，L1 前置 | L1／L2 | | X6-2 | 诊断标签体系建立 | b1702 | 体系完备性与可用性 | L2 | | X6-3 | 从历史数据划取典型故障样本 | b1703 | 配对率与覆盖度 | L2 | | X6-4 | 样本质量检查与审核、版本管理、来源追溯 | b1703、b1704 | 流程完整性 | L2 | | X6-5 | 机理规则台账管理 | b1706 | 台账完备性 | L2 | | X6-6 | 按工况生成候选规则 | b1707 | 统计性，配可解释率 | L2 | | X6-7 | 规则离线回放、效果验证与对比分析 | b1708 | 对比基线 | L2／L3 | | X6-8 | 工况识别与干扰分离 | b1709、b1710 | 统计性 + 信噪比改善 | L2 | | X6-9 | 时序数据价值挖掘与历史数据质量分析报告 | b1709、b1710 | 报告完备性与结论可核对 | L2 | | X6-10 | 相似故障模式搜索 | b1710 | 统计性，命中率 | L2 | | X6-11 | 实时在线异常检测与持续优化 | b1711 | 召回率、误报率与收敛趋势 | L2／L3 | | X6-12 | 报警的原因分析、处置方法与备件准备建议 | b1712 | 统计性 + 采纳率 | L3 | 表 2-32　数据来源：招标文件 b1701 至 b1712 逐条拆解。 X6-7 是本场景判据体系的枢轴。招标文件要求「使用历史样本对不同规则展开离线回放、效果验证和对比分析」（b1708），这正好给了对比式验证的依据：同一批故障样本与正常样本，既有规则跑一遍、新规则跑一遍，比召回、比误报、比定位粒度。本方案把所有部件级判据的效果都挂到这一项上报告，使「提升」有确切的度量。 X6-12 的备件准备建议要特别说明。建议的正确性不能只看「建议的备件是否与实际更换的一致」，还要看时效，提前太多会造成库存占用，提前不足等于没建议。因此这一项的判据分两部分：建议备件与实际更换备件的一致率，以及建议提出时点相对实际更换时点的提前量分布。后者按分布报告而不是按均值，因为均值会把「有些提前三天、有些提前三个月」平均成一个看不出问题的数。 ##### 2.7.2.2　数据就绪度核验 在役设备分布在不同矿井，既有系统、传感配置、数据保存周期与授权状态逐矿点不同。L1 的最小组合是三项：设备与部件档案，至少含型号与主要配置；一路可用的运行数据通道；服务工单。三项齐备可把一台设备纳入验证范围。 矿方数据授权是第一项核验，且是前置于一切的一项。实施准备期逐矿点确认授权范围与回传条件，形成可实施矿点清单；授权不可得的矿点按不依赖新增测点的手段缩减范围交付，交付内容与统计口径以该清单为准。矿方运行数据的处理位置与外传范围以矿方授权为准，这一条在验证方案中明确，不以技术便利为由扩大数据使用范围。 设备与部件档案是第二项，它决定部件级判据能否成立。所需字段含电机参数、减速器各级传动比与齿数、轴承型号与位置、链轮齿数与节距、中部槽规格、倾角与设计运量。传动比、齿数或轴承型号缺失时，该设备的部件级判据自动关闭并列入补录清单，由设计与技术部门补录。这不是可以估算的参数，特征频率算错一个倍频，诊断结论就指向别的部件。链轮齿数与链节距这两项还有第二重用途：它们是多边形效应激励频率的计算输入，缺失则干扰分离无从进行。 采集链路体检是第三项，也是本场景独有的一项。体检内容四类：测点覆盖度评估（哪些部件完全没有感知，形成无感知失效清单）、通道有效性判定（识别失效、漂移、饱和与常值通道）、采样能力核查（原始波形是否可得，仅有分钟级均值的通道只支撑趋势与事件管理，部件级定位不成立并如实标注）、以及转速可靠性核查（转速不可靠则阶次分析不成立）。体检结果直接决定每台设备进入哪一档分析，也是加装建议的依据。体检本身要出一份报告，并作为 X6-1 的验证对象。 轴上角位置基准是第四项，按加装项处理。缺失时阶次分析与相位类判据不成立，结论止于测点级；加装后可支撑部件级归因。本方案把它列为按证据加装的首选项，并在验证方案中写明：加装前后的对比本身可作为一组实验，用来向甲方量化这一项加装换来了多少诊断能力。 服务事实的结构化是第五项，它是故障样本配对的唯一来源，不可省。所需字段含服务工单、检查项结果、拆检发现、更换备件编码、处置与恢复时间。现记录粒度与结构化程度不足，须在服务工单增设结构化回填字段。L1 的要求是回填入口投用并完成不少于五十条试填，其中拆检发现字段的填写质量单独核查。这一字段最容易被填成「已处理」三个字，而它恰恰是标签的实质内容。 其余各类的核验方式同理：测点与采集配置（测点清单、方向、量程、采样率、安装位置）；运行时序数据（须明确各通道的保存周期与循环覆盖规则）；报警与既有专项子系统结果（阈值报警日志、断链预警、油液分析、工况监测与大块煤识别、哑铃销丢失监测，直接取其结果并完成对象绑定，不重复分析，断链预警装置的保护功能保持独立，本方案只接入结果、不替代其功能）；备件与工艺知识（备件编码与故障编码的对应关系需一次性建立）；故障机理知识与故障名录（由机理研究产出并形成受控文件，是判据、测点与标注的共同依据，须先行交付首版）。 时序数据的保存期限在本场景同样是一个不可追补的问题，与热处理场景同类。各通道的保存周期须先行确认，并在项目启动阶段导出一段完整的历史时序数据与对应工单记录用于回放，避免样本随保存周期流失。 ##### 2.7.2.3　诊断标签体系与样本管理的验证口径 招标文件把标签体系与样本管理列为第一条验证要求（b1702、b1703、b1704），这一条在六个场景中比较特殊。它验证的不是一个分析能力，而是一套数据管理机制。因此判据也不同，重在体系的完备性、可用性与流程的闭合。 标签体系按三层组织：部件层，覆盖招标文件所列六类部件并细化到可诊断的子部件（减速器分级、轴承位置、链轮与链条、溜槽区段）；失效模式层，按磨损、疲劳、裂纹、松动、卡滞、渗漏等类型并结合机理研究细化；证据等级层，按证据强度分档。证据等级这一层是本方案特有的设计，分四档：拆检确认（有拆检发现记录）、更换确认（有备件更换记录但无拆检描述）、处置推断（有处置记录可推断失效形式）、趋势疑似（仅有数据异常而无处置事实）。分档的作用是让每一个样本都带着它的可信度一起进入训练与评测，四档样本的使用方式不同，拆检确认档可作金标准，趋势疑似档只能用于无监督的模式发现，不能作为评测参考答案。证据等级判定分歧时一律按较低等级采纳。 样本管理的验证按流程闭合度考察四件事：质量检查（通道有效性、数据段完整性、工况一致性三项自动校验）、审核（双人独立判定部件与失效模式，数据段区间按起止时刻偏差比对）、版本管理（样本集按版本冻结，变更留差异记录）、来源追溯（每个样本可追到其原始数据段、工单编号与判定依据）。四件事各有可核对的产物，验证方式是抽样核查而不是看功能演示。 样本覆盖度按部件与失效模式的组合统计，并按证据等级分层报告。首轮验证不预设覆盖率门限，只要求如实统计并列明哪些组合样本不足；不足的组合在诊断中以机理判据与趋势外推给出结论，并在输出上标明该结论未经样本验证。这一处置写明是必要的：故障样本按真实故障的发生速度积累，承诺一个覆盖率等于承诺故障的发生频率，那是无法兑现的。 ##### 2.7.2.4　金标准集、回放集与用例设计 本场景的验证资产分三类。 故障样本集按部件、失效模式与证据等级三维分层。合计不少于三百个配对样本，其中拆检确认档不少于八十个。每个样本含故障事实（部件、失效模式、处置内容）与对应的数据段（起止时刻、涉及通道、当时工况）。样本按机型分组，首期覆盖的机型在可实施矿点清单确定后列明。 正常样本集用于误报率统计，规模不少于故障样本的五倍，按工况分层抽取：重载、空载、启停、堵转等工况各有覆盖。正常样本的选取有一个容易忽略的要求：须经确认该时段设备确实无故障，而不是「无报警」。无报警不等于无故障，用无报警时段作负样本会把漏报学成正常。确认方式是比对该时段之后一个检修周期内的拆检与更换记录。 规则回放集用于 X6-7，是故障样本与正常样本的合集，加上既有平台在这批样本上的历史判断结果。第三部分是对比验证的参照，须从既有平台的报警日志中按时间与设备对齐提取。 构造样本不少于六十例，覆盖五类情形：通道失效但读数看似正常、多通道并行报警实为同一次劣化、支架推溜期间的外部激励干扰、采煤机通过中部槽时的激励干扰、以及转速不可靠时段。前两类针对招标文件所提的多模态样本管理与规则适配问题，后三类针对干扰分离能力。 用例集分七组：体检组（X6-1）、标签与样本组（X6-2 至 X6-4）、规则台账组（X6-5）、规则编排与回放组（X6-6、X6-7）、工况与分离组（X6-8）、时序分析组（X6-9、X6-10）、在线检测与处置建议组（X6-11、X6-12）。 ##### 2.7.2.5　验证台在本场景的装配 本场景的验证智能体把一次诊断拆成六步：采集链路体检、工况分段与干扰分离、同工况基线比较、部件级信号分析、多通道归并与事件形成、以及归因与处置建议生成。 分工上，前四步以确定性与信号处理为主。采集链路体检按规则判定通道状态；工况分段按转速、电流与煤流量特征划分；干扰分离按运动学参数计算多边形效应的激励频率并从频谱中剔除，这一步完全是确定性的：链速、链节距与链轮齿数三个量给定，激励频率即确定；部件级信号分析用包络谱、阶次分析与特征频率匹配三类方法，特征频率由设备档案中的传动比、齿数与轴承型号算出。第五步的多通道归并按同源判定规则合并，避免同一次劣化被报成多条。第六步由模型与机理规则联合承担：机理规则给出候选失效形式及其判据依据，模型负责在候选中排序、组织原因分析的叙述，并按故障编码与备件编码的对应关系给出备件建议。 三类诊断模型的承载方式沿用既有体系，不另建独立的模型库系统：诊断模型的注册、版本管控、效果评估与按需调度沿用既有平台的统一纳管能力，机理规则纳入其现有规则引擎管理；模型的训练、评测与发布在本项目的训推平台与数据集管理能力上进行。两层以既有的注册规范与服务接口衔接。本场景的验证智能体一律通过本项目的智能体开发能力实现，不在统一技术架构之外独立建设。 同工况基线替代固定阈值是本场景的一项方法选择，要写明理由与回退。刮板输送机的信号含三机联动的耦合干扰，固定阈值在不同工况下意义不同，误报会高到岗位不看；同工况基线的做法是按工况段分别建立正常范围，比较时只与同工况的基线比。工况识别不可靠时退回固定阈值并只做趋势与事件管理，这一回退在判据中体现为分档。 人审检查点设两处：规则发布前、处置建议下达前。前者是因为规则直接决定报警量；后者是因为处置建议与备件建议进入服务流程，须由售后技术岗位认过。 ##### 2.7.2.6　本场景的步骤级判据 六步之中，四步设步级判据。 采集链路体检这一步的判据与 X6-1 共用，但另立一项「摘除执行率」：被判定为失效、漂移或饱和的通道，是否确实从后续判断链中摘除。这一项用构造样本检验：投放一个读数恒定不变的温度通道，看该通道是否被摘除且相关判据是否相应降档。基线写成全量，漏一次即判不通过，理由与热处理的计量前置检查相同。 工况分段与干扰分离这一步的判据是工况识别正确率与信噪比改善，口径见 2.7.2.11 节；另立一项「运动学参数来源正确率」：多边形效应的激励频率由链速、链节距与链轮齿数算出，三项须取自设备档案而非估算值，取自估算值的次数为零。这一项看似琐碎，实则是分离能否有效的前提：齿数取错一个，剔除的就是别的频率成分，而频谱上看不出异样。 部件级信号分析这一步的判据是特征频率计算的正确性与分档执行的正确性。前者按设备档案逐项复算；后者指在角位置基准缺失、转速不可靠或仅有分钟级均值的情形下，是否按规则退到对应档位而不是照常给出部件级结论。 归因与处置建议这一步的判据是主因命中率、处置方法可用率与备件建议一致率，口径见 2.7.2.11 节；另立证据等级标注的正确率，每一条结论须标明其所依据样本的证据等级，趋势疑似档的结论不得按拆检确认档的口径陈述。 人审检查点两处，规则发布前与处置建议下达前。前一处的判据与焊接场景同理，是规则评审覆盖率；后一处的判据是建议内容的签认完整率，因为处置建议与备件建议进入服务流程后会引发实际的人力与备件安排。 ##### 2.7.2.7　一个完整用例的走法 举一个减速器高速轴轴承损伤的故障样本为例，该样本为拆检确认档，有拆检发现记录与备件更换记录。 第一步采集链路体检。查该设备在该时段的通道状态：振动通道是否有效、转速通道是否可靠、温度通道有无漂移或常值。本例假定振动通道有效、转速可用，但某一路温度通道读数长期恒定，该通道须被判为失效并摘除，不参与后续判断。摘除执行率是步级判据，基线写成全量。 第二步工况分段与干扰分离。先按转速、电流与煤流量特征划分工况段，剔除支架推溜与采煤机通过中部槽的时段；再按运动学参数计算多边形效应的激励频率并从频谱中剔除。激励频率由链速、链节距与链轮齿数算出，三项取自设备档案。本例若链轮齿数在档案中缺失，这一步不成立，该设备的部件级判据自动关闭并列入档案补录清单。这不是可以估算的参数，齿数取错一个，剔除的就是别的频率成分，而频谱上看不出异样。 第三步同工况基线比较。与该设备同工况段的历史正常范围比较，而不是与固定阈值比较。本例若该设备近期运量上升、载荷整体偏高，固定阈值会把整段时间都报成异常，同工况基线则只报出真正偏离的部分。 第四步部件级信号分析。按设备档案中的各级传动比、齿数与轴承型号算出齿轮啮合频率与轴承特征频率，用包络谱与阶次分析在分离后的频谱中匹配。本例的高速轴轴承外圈特征频率及其倍频若出现并伴有边频，指向外圈损伤。此处的前提是轴上角位置基准可用。若未加装，阶次分析与相位类判据不成立，结论只能止于「该测点振动偏高」，这就是 A 档与 B 档的实际差别。 第五步多通道归并与事件形成。同一次劣化在振动、轴承温度与电机电流三个通道上可能各自触发报警，须按同源判定规则合并为一条事件。本例的三条报警若未合并，岗位看到的是三件事，这正是招标文件所指的现有问题之一。 第六步归因与处置建议。归因结论为高速轴轴承外圈损伤，证据是分离后的特征频率匹配与同工况基线偏离；处置方法取自维修工艺库；备件建议按故障编码与备件编码的对应关系给出，并给提前量。判据三项：主因命中率（与拆检发现比对）、处置方法可用率（由售后技术岗位判定）、备件建议一致率与提前量分布。 这条用例同时是规则离线回放对比的一个样本：既有平台在同一数据段上的判断结果为「减速器测点振动升高」，落到测点级；新判据给出「高速轴轴承外圈损伤」，落到部件级并带失效形式。两者在同一样本上的差别，就是 2.7.2.11 节所说的定位粒度提升的具体含义。 ##### 图 2-8　健康诊断场景的干扰分离与分档验证 采集链路体检 失效 · 漂移 · 饱和 · 常值 采样能力与转速可靠性 不过体检即摘除，不参与判断 工况分段与干扰分离 多边形效应：由链速 · 链节距 · 链轮齿数算出激励频率后剔除 三机搭接激励按工况段识别 部件级信号分析 包络谱 · 阶次分析 特征频率匹配 同工况基线比较 归并与归因 同源合并，避免并行报警 原因 · 处置 · 备件建议 候选排序 + 判据依据 对比式验证（规则离线回放） 同一批故障样本与正常样本 既有平台判断结果　vs　新判据与新规则 比召回 · 比误报 · 比定位粒度 「提升」须有确切度量，不只报绝对指标 证据四档（样本按档使用） 拆检确认：有拆检发现记录　→　可作金标准 更换确认：有备件更换但无拆检描述 处置推断：有处置记录可推断失效形式 趋势疑似：仅数据异常　→　只作模式发现，不作参考答案 A 档：部件级 轴上角位置基准已加装 原始波形可得 · 转速可靠 传动比 · 齿数 · 轴承型号齐备 结论到部件与失效形式 B 档：测点级 缺角位置基准或转速不可靠 阶次与相位类判据不成立 退回同工况基线与趋势判定 结论止于测点与参数组合 C 档：只做管理 仅分钟级均值或体检未通过 部件级定位不成立 只做趋势呈现与事件管理 同时出无感知失效清单与加装建议 图 2-8　健康诊断场景的干扰分离与分档验证。数据来源：招标文件 b1698、b1699、b1706 至 b1711；多边形效应、三机搭接激励与既有平台能力依甲方现行运维体系与装备结构。 ##### 2.7.2.8　逐项验证的来源数据、样本结构与基准答案 表 2-33　刮板输送装备健康智能诊断逐项验证的数据、样本与基准答案 | 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 | |---|---|---|---|---| | X6-1 采集链路体检 | 测点清单与采集配置；各通道的运行时序数据；转速通道 | 可实施矿点清单内设备全集，按通道计 | 人工核查结果（失效、漂移、饱和、常值四类判定） | 规则判定；不设对照组 | | X6-2 诊断标签体系 | 故障名录；机理研究产出的受控文件；备件与故障编码对应关系 | 按部件与失效模式组合统计覆盖，证据等级四档分层 | 招标文件所列六类部件的典型故障清单，经甲方售后与技术部门确认 | 体系完备性核查；不设对照组 | | X6-3 典型故障样本划取 | 服务工单、检查项结果、拆检发现、更换备件记录；运行时序数据段 | 配对样本不少于 300 个，拆检确认档不少于 80 个；正常样本不少于故障样本五倍，按重载、空载、启停、堵转分层 | 故障事实（部件、失效模式、处置内容）与其对应数据段；正常样本须经确认该时段确无故障，而不仅是无报警 | 回填与回溯配对两条路；不设对照组 | | X6-4 样本质量检查与版本管理 | 样本集；质量校验规则；版本与来源追溯记录 | 四项各抽查不少于 30 个样本 | 四项流程各自的可核对产物 | 抽样核查，不看功能演示；不设对照组 | | X6-5 机理规则台账 | 故障机理知识；适用机型与工况条件；依据出处 | 六类部件的典型故障逐条建账 | 受控机理文件为依据来源 | 台账完备性核查；不设对照组 | | X6-6 按工况生成候选规则 | 工况分段结果；机理判据；历史样本 | 按工况场景计候选规则条数 | 售后技术岗位对候选规则可用性的判定 | 规则生成加人工评审；三组对照用于规则依据的叙述部分 | | X6-7 规则离线回放与对比 | 故障样本集与正常样本集；既有平台在同一批样本上的历史判断结果 | 回放集为两类样本的合集；既有平台结果按时间与设备对齐提取 | 故障事实为客观答案；既有平台结果为对比基线，提取后冻结 | 同一批样本新旧规则并跑；按部件分列报告增量 | | X6-8 工况识别与干扰分离 | 转速、电流、煤流量特征；设备档案中的链速、链节距与链轮齿数；三机搭接事件 | 工况段按人工标注为参考；分离实验按样本计信噪比改善 | 工况段的人工标注；多边形效应激励频率由运动学参数算出，为客观值 | 确定性计算与信号处理；另做分离消融两组 | | X6-9 时序数据价值挖掘与质量分析报告 | 各通道的运行数据；保存周期；缺失分布 | 按设备出具报告 | 五项结论（通道有效性、采样能力、保存周期、缺失分布、可用分析层级）逐项可核对 | 统计分析；三组对照用于报告叙述部分 | | X6-10 相似故障模式搜索 | 故障样本集的特征表示；工况归一方法 | 查询不少于 150 次，覆盖六类部件 | 售后技术骨干判定的相似样本集合，前五位命中为度量 | 特征检索加沙箱；三组对照 | | X6-11 实时在线异常检测 | 验证期内的在线数据流；同工况基线 | 按验证期内经确认的异常计召回，按报警条数计误报，并按月统计收敛趋势 | 事后确认的异常事实 | 影子观测与提醒两级；不做微调对照 | | X6-12 原因分析、处置与备件建议 | 分离后的频谱与特征频率；机理判据；维修工艺库；故障与备件编码对应关系 | 按报警事件与建议条目计 | 拆检发现为主因的客观答案；处置方法与备件建议由售后技术岗位判定 | 机理规则给候选、模型排序；三组对照并叠加偏好对齐版本 | 表 2-33　数据来源：能力编号与标书依据见表 2-32；三类验证资产的组织见 2.7.2.4 节；证据四档定义见 2.7.2.3 节。 ##### 2.7.2.9　逐项验证的指标公式、招标门槛与闭环责任 表 2-34　刮板输送装备健康智能诊断逐项验证的指标公式与闭环责任 | 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 | |---|---|---|---|---| | X6-1 | 正确识别的失效通道数 ÷ 系统判定的失效通道数（查准）；正确识别数 ÷ 人工核查确认的失效通道数（查全）；另计被判失效通道的摘除执行数 ÷ 应摘除数 | b1710 要求历史数据质量分析，通道有效性为其内容，未设数值门槛 | 运维岗位抽查通道状态判定 | 漏识别逐例核查判定规则；摘除漏执行一次即判不通过，修复后重跑全部构造样本 | | X6-2 | 已建标签的部件与失效模式组合数 ÷ 应覆盖组合数 | b1702 要求建立诊断标签体系，原文前提是覆盖六类部件的典型故障 | 售后与技术部门确认组合清单 | 未覆盖组合列入待补，随机理研究深化扩充后复核 | | X6-3 | 可配对故障事件数 ÷ 已记录故障事件数；按组合与证据等级统计样本覆盖度 | b1703 要求从历史数据划取典型故障样本，未设数值门槛 | 售后技术岗位核对配对的数据段与工单时间 | 未配对事件列原因（数据段已覆盖、工单无时间、通道当时已失效）；三类均属客观限制，如实统计不强行配对；回填积累后按月复测配对率 | | X6-4 | 四项分别计：可核对样本数 ÷ 抽查样本数 | b1703、b1704 要求样本质量检查与审核、版本管理、来源追溯 | 抽样核查而非功能演示 | 不可核对项判定未完成；流程补齐后重新抽查 | | X6-5 | 有完整规则条目的典型故障数 ÷ 典型故障数；每条须含判据、适用机型、适用工况与依据出处 | b1706 要求机理规则台账管理，原文列出六类部件的典型故障 | 售后技术岗位核对规则依据出处 | 缺项补齐后复核；依据出处缺失的条目不进台账 | | X6-6 | 经判定可用的候选规则数 ÷ 候选规则数；可追到机理判据与出处的条数 ÷ 候选规则条数 | b1707 要求按工况生成候选规则，未设数值门槛 | 售后技术岗位逐条判定可用性 | 不可用项记录原因并补约束后重新生成；不可解释条目不进台账 | | X6-7 | 三项分别计：新规则召回的故障样本数 ÷ 故障样本数，与既有平台同口径之差；新规则误报条数 ÷ 正常样本时段数，与既有平台同口径之差；结论达部件级的样本数 ÷ A 档设备故障样本数 | b1708 要求使用历史样本对不同规则展开离线回放、效果验证和对比分析，原文前提是同一批历史样本 | 售后技术岗位按部件核对新旧结论差异 | 未达项逐例归因到判据或样本；误报上升的规则撤回并修订后重跑同一回放集 | | X6-8 | 工况段识别正确数 ÷ 工况段数；分离前后部件级特征频率的信噪比差值，按样本分布报告；分离后误报条数 ÷ 正常样本时段数，与分离前比 | b1709、b1710 要求工况识别与时序数据价值挖掘，未设数值门槛 | 运维与技术岗位核对工况分段结果 | 无改善样本先核运动学参数来源（须取自设备档案，估算值次数为零）；参数缺失的设备部件级判据自动关闭并列入档案补录清单 | | X6-9 | 五项结论齐备且可核对的设备数 ÷ 出具报告的设备数 | b1709、b1710 要求出具历史数据质量分析报告，未设数值门槛 | 技术岗位核对结论与原始统计 | 缺项补齐后复核 | | X6-10 | 相似样本在前五位命中的查询数 ÷ 查询数 | b1710 要求相似故障模式搜索，未设数值门槛 | 售后技术骨干判定相似性 | 未命中项核查特征表示与工况归一；特征维度补齐后复测 | | X6-11 | 命中的经确认异常数 ÷ 经确认异常数；误报条数 ÷ 报警条数，并按月给收敛曲线；合并为一条的同源事件数 ÷ 同源劣化事件数 | b1711 要求实时在线异常检测与持续优化模型准确性，原文的「持续优化」以收敛趋势为其证据 | 岗位对报警作有效或无效标记 | 漏报逐例归因；误报归因后调整门限，每次调整的时间、取值与理由留痕，收敛曲线进报告；未合并项核查同源判定规则 | | X6-12 | 主因命中的报警事件数 ÷ 报警事件数；经判定可用的处置方法条数 ÷ 建议条数；建议备件与实际更换一致的条数 ÷ 建议条数，提前量按分布报告不取均值 | b1712 要求给出报警的原因分析、处置方法与备件准备建议，未设数值门槛 | 售后技术岗位逐条判定处置方法与备件建议 | 归因不命中先看证据等级，趋势疑似档不计入分母；备件不一致的核故障与备件编码对应关系，映射补全后复测全部建议 | 表 2-34　数据来源：招标门槛一栏照录招标文件 b1701 至 b1712 原文要求；指标数值见表 2-36；对比式验证的组织方式见 2.7.1 节。 ##### 2.7.2.10　正常、边界与异常三类用例 表 2-35　刮板输送装备健康智能诊断的三类用例 | 能力 | 正常用例 | 边界用例 | 异常用例 | |---|---|---|---| | X6-1 | 通道齐备且读数正常的设备体检 | 通道读数缓慢漂移，尚未越限 | 温度通道读数长期恒定，须判失效并从判断链摘除 | | X6-2 | 六类部件的常见失效模式建标 | 同一部件两种失效模式表现接近 | 某组合在历史上无任何判定记录，须标为样本不足而非编造标签 | | X6-3 | 有拆检发现记录的故障事件配对 | 工单时间精确到日而数据段需精确到时 | 该时段时序数据已过保存期被覆盖，须记为客观限制不强行配对 | | X6-4 | 常规样本的四项流程逐项核对 | 样本集换版，须保留差异记录 | 样本来源不可追溯，该样本不得进入评测参考答案 | | X6-5 | 减速器各级典型故障的规则建账 | 同一故障在不同机型上判据不同，须分机型建条 | 规则无依据出处，不得进台账 | | X6-6 | 重载稳定工况下生成候选规则 | 工况处于两类之间的过渡段 | 工况识别不可靠，须退回固定阈值并只作趋势与事件管理 | | X6-7 | 同一批样本新旧规则并跑对比 | 某部件既有平台本来就判得不差，增量有限 | 新规则在正常样本上误报上升，须撤回并修订 | | X6-8 | 链轮齿数与节距齐备的设备做分离 | 多边形效应频率与轴承特征频率接近 | 设备档案缺链轮齿数，部件级判据须自动关闭 | | X6-9 | 通道与保存周期清楚的设备出报告 | 通道间保存周期不一致 | 仅有分钟级均值的通道，须标明不支撑部件级定位 | | X6-10 | 典型轴承损伤样本检索相似案例 | 两类失效模式特征相近 | 查询样本工况与库内样本工况差异大，须作工况归一后再比 | | X6-11 | 验证期内发生并经确认的异常 | 指标在同工况基线边缘波动 | 同一次劣化在振动、温度、电流三通道同时报警，须合并为一条事件 | | X6-12 | 拆检确认档样本的归因与备件建议 | 两条候选成因证据相当 | 该事件仅为趋势疑似档，结论不得按拆检确认档的口径陈述 | 表 2-35　数据来源：用例组划分与构造样本的五类情形见 2.7.2.4 节。 ##### 2.7.2.11　验证指标与通过判据 表 2-36　刮板输送装备健康智能诊断场景的验证指标 | 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 | |---|---|---|---|---| | X6-1 | 失效通道识别的查准率与查全率，按通道 | 以人工核查为参考，查准率 ≥90%，查全率 ≥85% | 两项各 ≥95% | 漏识别通道逐例核查判定规则 | | X6-1 | 体检报告完备性，按设备 | 四类体检内容齐备，并输出无感知失效清单与加装建议 | 保持 | 缺项补齐后复核 | | X6-2 | 标签体系覆盖度，按部件—失效模式组合 | 覆盖招标文件所列六类部件的典型故障；组合清单经甲方售后与技术部门确认 | 随机理研究深化扩充 | 未覆盖组合列入待补 | | X6-3 | 故障样本配对率，按已记录故障事件 | ≥60%，其中拆检确认档不少于八十个样本 | ≥75% | 未配对事件列原因（数据段已覆盖、工单无时间、通道缺失等） | | X6-3 | 样本覆盖度统计，按组合与证据等级 | 如实统计并列明样本不足的组合，首轮不预设门限 | 随回填进度逐类提升 | 不足组合的结论标明未经样本验证 | | X6-4 | 样本管理流程闭合度，按抽样 | 质量检查、审核、版本管理、来源追溯四项各抽查不少于三十个样本，逐项可核对 | 保持 | 不可核对项判定未完成 | | X6-5 | 机理规则台账完备性，按规则条目 | 六类部件的典型故障均有规则条目，每条含判据、适用机型、适用工况与依据出处 | 随机理研究扩充 | 缺项补齐后复核 | | X6-6 | 候选规则生成的可用率，按工况场景 | 生成的候选规则经售后技术岗位判定可用的比例 ≥70% | ≥85% | 不可用项记录原因并补约束 | | X6-6 | 候选规则的可解释率，按条 | ≥90%，每条可追到机理判据与依据出处 | 趋向全量 | 不可解释条目不进台账 | | X6-7 | 回放对比：部件级判据相对既有平台的召回提升，按故障样本 | 在同一样本集上召回率提升不少于十个百分点 | 不少于十八个百分点 | 未达项逐例归因到判据或样本 | | X6-7 | 回放对比：误报下降，按正常样本时段 | 同一样本集上误报率不高于既有平台水平 | 相对下降不少于三成 | 误报上升的规则撤回并修订 | | X6-7 | 回放对比：定位粒度提升，按故障样本 | 结论达到部件级的样本占比 ≥55%（A 档设备） | ≥70% | 未达样本核查档位与档案字段 | | X6-8 | 工况识别正确率，按工况段 | ≥88%，以人工标注为参考 | ≥93% | 错判逐例核查分段特征 | | X6-8 | 干扰分离的信噪比改善，按样本 | 分离后部件级特征频率的信噪比有可测量改善，改善量按样本分布报告 | 改善样本占比提升 | 无改善样本核查运动学参数准确性 | | X6-8 | 分离后部件级判据的误报下降，按正常样本 | 相对分离前有可测量下降 | 下降幅度提升 | 无下降则核查激励频率计算 | | X6-9 | 历史数据质量分析报告完备性，按设备 | 含通道有效性、采样能力、保存周期、缺失分布与可用分析层级五项结论，逐项可核对 | 保持 | 缺项补齐后复核 | | X6-10 | 相似故障模式搜索命中率，按查询 | 相似样本在前五位命中 ≥75% | ≥85% | 未命中项核查特征表示与工况归一 | | X6-11 | 在线异常检测召回率，按验证期内经确认的异常 | ≥75% | ≥85% | 漏报逐例归因 | | X6-11 | 在线异常检测误报率，按报警条数 | ≤25%，并按月统计收敛趋势 | ≤15% | 误报归因并调整门限，调整过程留痕 | | X6-11 | 多通道归并有效性，按同源劣化事件 | 同一次劣化合并为一条事件的比例 ≥85% | ≥92% | 未合并项核查同源判定规则 | | X6-12 | 原因分析主因命中率，按报警事件 | ≥70% | ≥80% | 未命中项复核机理判据 | | X6-12 | 处置方法可用率，按建议条目 | 经售后技术岗位判定可用 ≥80% | ≥90% | 不可用项记录原因 | | X6-12 | 备件建议一致率与提前量，按建议条目 | 建议备件与实际更换一致率 ≥70%；提前量按分布报告，不取均值 | 一致率 ≥82% | 不一致项核查故障与备件编码对应关系 | 表 2-36　数据来源：指标项对应招标文件 b1702 至 b1712；阈值为我方按矿点数据条件与既有平台水平设定的承诺口径，最终随蓝图设计确认。 四处阈值的取法说明。故障样本配对率的基线定在百分之六十，依据是配对的失败来源有三类客观原因：时序数据已过保存期被覆盖、工单无准确时间无法定位数据段、涉事通道当时已失效。这三类都不是努力能克服的，把配对率定到九成等于承诺历史数据的质量，那不在我方控制范围内。 召回提升与误报下降用相对既有平台的增量表述，而不是绝对值，理由在 2.7.1 节已述：本场景验证的是提升。用绝对值反而说不清，既有平台在某些部件上的表现本来就不差，在另一些部件上基本没有判据，合在一起取绝对值会把两种情况混掉。按部件分列报告增量，才看得出钱花在哪里有效。 定位粒度的百分之五十五只针对 A 档设备统计，这一点必须写明。B 档设备没有角位置基准，部件级定位在方法上就不成立，把它放进分母是在给自己设一个达不到的条款。 在线检测的误报率基线与库存场景同为百分之二十五，并要求按月统计收敛趋势。要求报趋势而不只报终值，是因为在线检测的门限需要在真实流量上逐步收敛，首月的误报率必然偏高；只报终值会掩盖收敛过程，而收敛过程本身是「持续优化模型准确性」这一要求（b1711）的直接证据。 ##### 2.7.2.12　数据集贡献度的对照实验 本场景做三组对照加两组专项，专项是本场景最有说服力的部分。 三组对照的题集取自场景基准题集中的原因分析、处置建议与相似案例检索三类题型，不少于一百二十题，全部来自真实工单、拆检记录与失效分析报告，不含合成数据。基座裸测组在刮板输送机这一特定装备上的表现会明显低于通用机械诊断：装备结构特殊、失效模式与煤矿工况绑定紧，通用语料覆盖薄。检索增强组接入故障机理知识库、设备参数库、维修工艺库、备件库、标准规范库与典型案例库六类，预期在处置方法与备件建议上提升显著，因为这两项本质上是知识查询加对应关系匹配。数据集适配组使用以本场景指令微调子集与偏好子集训练的模型版本；偏好数据来自检查顺序的优劣判断，面对同一组报警，先查什么后查什么有优劣之分，售后技术骨干的判断构成偏好对。这一组要报偏好判别准确率，并检查是否出现「建议把所有能查的都查一遍」这种取巧倾向，度量方式是建议检查项数的分布与骨干实际做法比对。 第一组专项是加装效果实验，针对轴上角位置基准。做法是在完成加装的设备上，分别用加装前后的数据跑同一套部件级判据，比较定位粒度与召回。这组实验的价值在于它把一项硬件投入的收益量化了，甲方可以据此决定在多少台设备上推广加装，而不是凭判断。 第二组专项是干扰分离的消融。做法是在部件级信号分析中分别关闭多边形效应分离与三机搭接工况分离，各跑一次，比较部件级特征频率的信噪比与误报率。这组实验直接验证 2.7.1 节所述的技术判断是否成立，也是「机理规则适配性不足」这一问题得到解决的直接证据。两项分离的贡献分开度量，因为它们的实现成本差别很大，多边形效应分离只需设备档案中的三个参数，三机搭接分离需要可靠的工况识别。 另外做一组维修事实回填的消融：抽掉由结构化回填产生的新样本，只用历史回溯配对的样本，看各项指标下降多少。这组实验度量的是服务工单结构化改造这项流程投入的价值，结论对甲方的流程决策有直接意义。 ##### 2.7.2.13　归因、整改与交付物 本场景的归因有四类高频情形。 部件级定位不准。排查顺序是先核设备档案的传动比、齿数与轴承型号。这三项错一个，特征频率就算到别的部件上，表现为「定位到了但定错了」，比定不到更危险；档案无误的，核转速取值与角位置基准的可用性；两项正常的，才查干扰分离是否充分。 误报集中在某类工况。排查重点是工况识别与同工况基线。若误报集中在支架推溜或采煤机通过的时段，说明外部激励未被分离干净，须核激励识别的时间窗；若误报集中在启停与堵转时段，说明基线分段不够细。 归因不命中。排查顺序是先看该事件的证据等级，趋势疑似档的事件本来就没有确定的失效形式，不应计入主因命中率的分母；证据等级足够而不命中的，核机理判据的覆盖，再核样本在该组合上的数量。 备件建议不一致。排查重点是故障编码与备件编码的对应关系，这一组映射当前需要一次性建立，映射不完整时建议必然偏差，属数据侧问题而非模型问题。 本场景分三批执行，是六个场景中排期最后的一个，原因是故障样本只能随真实故障逐步积累、验证窗口本身需要时长。第一批是体检组、规则台账组与时序分析组，前置条件是可实施矿点清单确定、设备档案补录完成、故障名录首版交付。第二批是标签与样本组、规则编排与回放组、工况与分离组，前置条件是服务工单回填入口投用并积累一段时间、历史时序数据导出完成、角位置基准在首批设备完成加装。第三批是在线检测与处置建议组，并进入观察期；观察期取不少于三个月，期内覆盖设备不少于可实施矿点清单中的三分之一。观察期内按月统计误报收敛趋势、岗位对处置建议的采纳情况、以及新增故障事件的样本配对速度。 交付物十一项：场景验证方案；可实施矿点清单与授权范围记录；采集链路体检报告，含无感知失效清单与按证据分级的加装建议；诊断标签体系（三层，含证据四档定义）；故障样本集与正常样本集，含质量检查、审核、版本与来源追溯记录；机理规则台账；规则离线回放对比报告，按部件分列既有平台与新规则的召回、误报与定位粒度；历史数据质量分析报告，按设备出具；场景验证报告，含三组对照的能力增量表、加装效果实验结论、干扰分离消融结论与回填消融结论；加装与流程改造的优先级建议（基于三组专项实验）；错题归因清单与数据集改进需求单。 ##### 2.7.2.14　验证记录、报告字段与版本关联 用例级记录的必填字段与 4.1 节一致，本场景的输入对象标识为设备编码加数据段起止时刻，故障类用例另记服务工单编号。本场景的用例卡另加五项：该样本的证据等级（拆检确认、更换确认、处置推断、趋势疑似四档）；采集链路体检结论与被摘除的通道清单；设备档案中传动比、齿数与轴承型号的完备情况；轴上角位置基准的可用性；以及本例所处的分析档位。证据等级为趋势疑似的用例不得作为评测参考答案，只用于模式发现，这一点在卡上直接标明。 轮次级记录的必填字段：数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加五项：可实施矿点清单的版本与授权范围；故障名录与机理规则台账的版本号；既有平台历史判断结果的提取批次与冻结时间；本轮所用历史时序数据的导出批次与实际可用窗口长度；以及服务工单结构化回填的累计条数与拆检发现字段的填写质量抽查结论。 场景报告按 4.3 节的九章体例出具，本场景填入的内容为：被验证能力清单与条目对照（十二项）；数据就绪度结论（矿点授权、设备档案补录、采集链路体检四类内容、角位置基准加装进度、服务事实结构化情况）；验证资产说明（故障样本三维分层、正常样本的工况分层与确认方式、规则回放集的构成）；执行情况（三批执行的版本登记、影子观测与提醒记录、岗位标记分布）；逐项判定结论，回放对比类的项须按部件分列并同时给出既有平台值、新规则值与增量三栏，不合成一个总体数；数据集贡献度结论（三组对照的能力增量表、加装效果实验、干扰分离消融、回填消融三组专项结论）；归因分析（部件级定位不准、误报集中、归因不命中、备件建议不一致四类分列）；可用性结论与档位说明（A 档与 B 档设备分列）；改进需求与优先级。报告另附采集链路体检报告、历史数据质量分析报告，以及加装与流程改造的优先级建议。 版本关联按三元标识执行，本场景另绑三项：设备档案版本、机理规则台账版本、既有平台对比基线的冻结版本。任一部件级结论绑定其所用的设备档案版本，档案字段补录后结论可重算而历史结论保留其当时版本；任一回放对比结论绑定基线冻结版本，基线一经提取不在对比过程中更新；任一在线检测结论绑定当时生效的规则版本与门限取值，使误报收敛曲线可以区分规则改进与数据改善两种来源。矿方运行数据相关的档案，其存放位置与访问范围以矿方授权为准，版本记录中一并登记授权依据。 ##### 2.7.2.15　本场景验证资产的跨场景复用 采集链路体检这一做法，在热处理与焊接两个场景有直接对应。三个场景都依赖过程采集通道，三个场景都会遇到通道失效、漂移、饱和与常值的情形；本场景把体检做得最系统（四类内容加摘除执行率），其判定规则与摘除机制供其余两场景复用。这一做法解决的是一类特别容易被忽略的问题：一个读数不变的通道在统计上看起来比正常通道更平稳，用它做判断永远不会报警。 证据分级这一设计在六个场景通用。本场景的四档（拆检确认、更换确认、处置推断、趋势疑似）是按证据强度划分样本可信度，使每个样本带着它的可信度进入训练与评测；热处理的成因标注、焊接的缺陷判定同样面临证据强度不一的问题，按同一体例分档。分档的实际约束是：低证据档的样本不得作为评测参考答案，只能用于模式发现。 对比式验证的组织方式在本场景最完整，其体例供其余场景在涉及「相对现有做法的提升」时复用。要点有三：基线从现有系统或现行做法中提取并冻结；同一批样本上新旧并跑，不用两批样本比；以及按细分维度分列报告增量，不合成一个总体数，合成之后会把「本来就不差」与「本来没有」两种情形混掉，看不出投入在哪里有效。 按证据分级的加装建议这一产出形式，在热处理场景直接对应。两个场景都面临「缺哪一项测量就永远判不准」的情形，两个场景都用消融或加装前后对比的方式量化每一项加装换来的分析能力，使加装决策有数据依据而不是凭主张。这一产出对甲方的价值独立于验证结论本身。 ## 3、六场景验证的汇总、回流机制与实施安排 ### 3.1　六场景的横向比较 六个场景的验证难度不同，数据起点不同，可排期的时间也不同。横向排在一起看，便于判断先做哪个、哪个需要先补数据。 表 3-1　六场景验证的横向比较 | 场景 | 数据起点 | 最关键的 L1 前置条件 | 主要判据类型 | 分档必要性 | |---|---|---|---|---| | 产品智能选型 | 历史方案以文档散存，无结构化库；校核公式已签封 | 历史方案归集与反向结构化；签封公式可取 | 复算一致性＋排序质量 | 中 | | 板材备料工艺智能设计 | 63 万张图纸与配对卡片，天然成对监督样本 | 图卡配对台账；28 道工序字典成文；中性层系数确认一版 | 字段级一致性（高阈值）＋闭合率 | 低 | | 库存控制智能化 | 多系统数据齐全但口径并存 | 库存口径字典与报表对账；快照与时间屏障 | 口径一致性＋回溯检验＋对比基线 | 中 | | 热处理过程智能监控 | 过程参数在采，炉次与工件、材料、检验无稳定关联 | 一炉一档配对率；计量状态接入 | 确定性核对＋关联显著性＋归因命中 | 高 | | 焊接过程控制智能监控 | 参数已采，视觉与检测结果割裂 | 焊道边界锚定；检测位置口径统一 | 检出指标＋三流关联完整率 | 高 | | 刮板输送装备健康智能诊断 | 报警多、标签少，维修事实无结构化记录 | 采集链路体检；维修事实回填入口；故障名录首版 | 相对既有平台的增量＋误报水平 | 最高 | 表 3-1　数据来源：2.2 至 2.7 节各场景 L1 核验要求汇总。 ### 3.2　实施批次与排期依据 排期依据是数据就绪度，不是业务重要性。这一点在与甲方的方案评审中要讲清，否则容易被误读为我方对场景价值的判断。 板材备料与产品选型放在第一批。前者有现成的成对样本，后者有已签封的确定性公式，两者都能在数据补采尚未完成时就产出可核查的指标，适合作为方法框架的首次检验。第一批的另一个作用是检验方法本身，若判据体例、金标准建设流程、沙箱的可复现性在这两个场景上走得通，后面四个场景就按同一套做，不必重新磨合。 热处理、焊接、库存三个场景放在第二批。这三个的关键前置条件都需要在业务流程中增设登记或统一口径：热处理的装炉位置登记与计量接入，焊接的焊缝编号体系与检测位置字段，库存的口径字典与分类打标。这类工作有固定的投用与稳定期，急不得，流程改造投用当月的数据质量通常不可用，须等数据稳定一段时间后再作为验证输入。 健康诊断放在第三批。它的故障样本只能随真实故障逐步积累，验证窗口本身需要时长；而且它依赖的加装项（角位置基准）与流程改造（服务工单回填）都要先行。 三批之间不是串行。第一批执行期间，第二批的前置条件同步推进；第二批执行期间，第三批的样本积累已经开始。实际排期在项目实施计划中与整体里程碑对齐，本节只给排序依据与并行关系。 ### 3.3　统一的汇总判据 六个场景各有一套指标，验收时还需要一组跨场景可比的汇总判据，用于回答「场景验证这项服务做成了没有」。本方案给出六项。 表 3-2　场景验证服务的汇总判据 | 汇总判据 | 口径 | 基线档 | 目标档 | |---|---|---|---| | 条目应答完整性 | 六个场景验证要求所列条目均有对应验证项、指标与判定结论 | 全部条目有对应验证项与判定结论；未能判定的须给出受限原因与所缺数据 | 全部条目完成判定 | | L1 通过场景数 | 完成数据就绪度核验并达到各自 L1 通过要求的场景数 | 不少于五个场景达到 L1 通过要求，未达场景给出缺口与补齐计划 | 六个全部达到 | | L2 指标达基线比例 | 各场景 L2 指标中达到基线档的比例，按指标项统计、六场景合并 | ≥85%；未达基线的指标项逐项给出归因与整改计划 | ≥95% | | L3 端到端闭环场景数 | 完成端到端任务级验证并形成闭环记录的场景数 | 不少于四个场景完成端到端闭环 | 六个全部完成 | | 数据集贡献度可量化场景数 | 完成对照实验并给出能力增量结论的场景数 | 六个场景全部给出；其中不做对照的验证项须说明理由 | 保持，并逐轮更新增量 | | 错题回流有效性 | 验证失败用例中转化为数据集扩充或修订需求并被实际执行的比例 | ≥70% | ≥85% | 表 3-2　数据来源：招标文件 b1602 至 b1712 条目总数与结构；基线档按分批排期的可达性设定。 表中六项判据按十一个场景合并统计，不分专业与通用两套。五个通用场景与本节六个专业场景共用四级验证层级、四类验证资产的切分隔离、判据的三种定义方式、七步流程与见证点清单、归因的四类方向与两条去向、以及评测沙箱的配置要求，因此两侧的判据登记表、用例卡与报告体例同为一套，十一个场景的验证记录可以合并检索与统计。 第五项与第六项是本节与一般功能测试最大的区别，也是本包价值所在。场景验证如果只输出一份通过与不通过的报告，它对招标方的长期价值有限；只有把数据集的贡献量化出来、把失败用例转化为数据集的具体改进，验证才真正参与了数据资产的建设。因此这两项列为汇总判据并要求逐条可核查。 ### 3.4　验证结果回流数据集的机制 回流不是一句原则，它需要固定的格式、固定的接收方与固定的闭环状态。格式见 2.1.9 节所述六项字段，接收方是数据集加工生产侧，状态机为提交、受理、执行、复测、关闭五态，每次状态变更记录时间与岗位，全程在奔牛数据智能平台上留痕。回流有效性按关闭状态的需求条数占提交条数的比例统计。 回流的优先级排序有依据，不靠主张。依据来自三处：各场景子集消融实验的结论，跌幅大的数据类别优先补；失败用例的归因频次，同一数据切片在多场景失败中反复出现的优先补；以及影响范围，跨场景影响的优先于单场景。三处依据合成一个优先级，排序过程与结论一并进验证报告。这样甲方看到的不是一张需求清单，而是一个有理由的投入顺序。 ### 图 3-1　场景验证与数据集建设的回流闭环 数据集版本 N 四大数据集切片 版本指纹已登记 场景验证执行 L1 至 L4 四级 四组对照并行 判定与归因 四类方向判断 回溯到切片与样本 验证报告 能力增量与结论 档位与受限说明 数据集改进需求单（六字段固定格式） 来源用例 · 失败表现 · 归因结论 · 所需补充 · 影响范围 · 优先级 优先级依据：消融跌幅 ＋ 归因频次 ＋ 跨场景影响范围 判为数据侧 采集 · 解析 · 标注 · 加工 · 治理 判为实现侧 单列移交场景建设方 不计入数据集缺陷统计 五态闭环：提交 → 受理 → 执行 → 复测 → 关闭。复测只跑受影响用例子集与回归子集，不整批重跑。 加工质检、数据集评测、场景验证三道关口共用一套缺陷字典与样本标识，结论可合并统计。 图 3-1　场景验证与数据集建设的回流闭环。数据来源：招标文件 b1602 至 b1604；缺陷字典与整改复测口径与本投标文件数据集质量评测方案节一致。 ### 3.5　验证组织与投入 验证执行由我方组建的验证组承担，按场景分工。验证组的构成按三类角色组织：方法与判据角色负责验证方案设计、判据登记与报告出具；资产角色负责金标准集建设、标注组织与仲裁；执行角色负责沙箱运行、对照实验派生、留痕与归因。三类角色在六个场景上复用，不按场景各建一套，判据体例与资产建设方法在六个场景通用，复用是本方案把方法前置到 2.1 节的直接收益。 甲方侧的投入主要在三处：业务见证岗位的到场、技术权威判据的确认、以及标注与核对环节的骨干参与。标注与核对这一处的投入在六个场景上差别较大：板材备料与焊接的标注量最大，热处理与健康诊断的标注难度最高（需要工艺与售后骨干的专业判断），选型与库存的参与主要在口径确认与结论核对。各场景的具体参与方式与节奏在单场景验证方案中与甲方商定。 ### 3.6　风险与应对 本节列四项对验证结论影响最大的风险，各给应对，不作笼统表述。 数据条件未按期补齐。影响是相关验证项只能在受限档执行。应对是在验证方案中把每一项指标与其依赖的数据条件逐项绑定，条件未到位时该项按受限档出结论并标明，不顺延整个场景的验证；条件到位后按完整档重算，历史结论保留其当时依据。 技术权威判据迟到。选型校核公式、热处理工艺窗口、焊接工艺规程与焊缝编号、健康诊断故障名录、库存财务口径，这几项是判据的依据，由甲方相应部门确认。应对是在就绪度体检阶段即逐项明确责任部门与所需内容，并把它们列为对应场景第一批执行的前置条件；迟到的，该场景的执行批次相应后移，但其余场景不受影响。 样本偏差与样本稀缺。焊接的历史缺陷样本经过现场处置筛选，健康诊断的历史数据无事件级标签，热处理的开裂样本天然稀少。应对分两步：在报告中量化说明偏差的性质与方向，不掩盖；以及用构造样本与前向留痕补充，前者覆盖低频高损情形，后者不依赖人工记录。 基座模型换代。本项目周期跨年，基座按当期能力评测择优选用并随代升级，换代会使历史对照数据不可比。应对是把「换代当次重跑四组对照」写进验证纪律，并在每次报告中注明所用基座的评测时点；历史增量数据保留但标注其基座版本，不与新数据直接合并比较。 ### 3.7　交付物汇总与验收口径 本节范围内的交付物分三类。 场景级交付物，每个场景一套，内容见 2.2 至 2.7 节各节末；六套合计构成本服务的主体交付。跨场景交付物六项：六场景验证方法框架说明（即 2.1 节内容的正式版本）；判据登记表全集；验证用例卡全集；验证报告体例与模板；缺陷字典与归因口径说明（与数据集质量评测方案共用一套）；数据集改进需求台账与优先级排序依据。过程性交付物三项：验证执行与见证档案；对照实验的环境基线记录与版本登记；三元血缘标识的登记记录。 验收口径按两层。单场景按该场景的汇总判定出结论：L1 通过、L2 指标达基线比例、L3 闭环形成、对照实验完成、交付物齐备五项均满足即判该场景验证服务完成。整体按 3.3 节的六项汇总判据出结论。两层的判定结论均需甲方见证岗位与业务部门签认。 有一项口径须事先约定，以免验收时出现争议：场景能力未达基线档，不等于本服务未完成。本服务交付的是验证，而不是场景能力本身。能力未达基线时，本服务的交付要求是给出准确的判定、可核对的归因、以及指向明确的改进需求；三者齐备即属本服务完成。这一条区分不写明，验收时会把场景建设方的能力问题算到本包的服务质量上。 ### 3.8　本服务与数据集质量测评服务的分工边界 采购清单第 7 项是数据集质量测评服务（b0804r08），与本节的场景验证服务是两件事，但它们在模型应用维度上会相邻，边界须写清。 质量测评按《高质量数据集质量评测规范》TC609-5-2025-04 的三维度指标体系对数据集本身打分，其模型应用维度含模型适配性、内容多样性、规模完整性、标注准确性、业务相关性、内容均衡性、时间跨度覆盖度七项一级指标，评的是数据集作为训练资源的属性。本节的场景验证评的是同一批数据在六个专业场景的真实业务任务上的表现，产出的是业务可用性结论。 两者的分工可以这样概括：质量测评回答「这批数据合不合规、够不够格」，场景验证回答「这批数据在矿山装备的六个业务环节上管不管用」。前者的结论是综合分与盖章报告，后者的结论是能力指标、能力增量与可用性判定。 两者共用三样东西，以保证结论可以对账：一套缺陷字典（成因按采集、解析、标注、加工、治理五类环节分，等级按高中低三级分）；一套样本标识（涉事样本以唯一标识定位，并映射到业务对象标识：施工号、图号、炉次号、焊道号、设备编码）；以及一套整改复测流程。三样共用之后，同一个问题在两处的记录可以合并统计，不会出现两个版本的整改率。 两者不共用的是评测集。质量测评用基准测试数据集，场景验证用场景基准题集与金标准集，二者同源不同用，划取时按对象与时间双重切分，理由见 2.1.13 节。 ### 3.9　L4 观察期的统一口径 六个场景的 L4 观察期在各节分别给出了长度与覆盖量，口径在此统一，避免六套做法。 观察期的起点是该场景 L3 形成闭环记录之日，不以日历节点起算。起点之前的运行记为试运行，数据不计入观察期统计：试运行期间往往还在调门限、补台账，把这段算进来会压低采纳率而掩盖真实水平。 观察期内记录四类事实，六个场景一致。岗位采纳情况按直接采纳、调整后采纳、不采纳三分记录，不采纳的须记原因；原因按五类归并：结论不对、结论对但不可执行、信息不足无法判断、与现场实际不符、以及其他。降级发生次数按档位与触发条件记录，用于判断分档规则的触发是否符合预期，某一档从未被触发，可能说明该档的触发条件定得太严。人审检查点的拦截内容逐条记录，这份记录是检查点有效性的唯一证据。异常处置是否按预案执行，按次记录。 观察期的通过要求不是指标，是三件事齐备：四类事实的记录完整；期内发生的异常均按预案处置且有记录；以及对未达目标档的项出具差距分析报告。观察期不以采纳率作为通过门限：采纳率受岗位习惯、排产压力与培训程度影响，把它写成门限等于把业务侧的因素算到本服务的交付质量上。采纳率如实统计并分析原因，这比定一个门限有用。 观察期结束后出具该场景的最终验证报告，报告中的结论须注明是首轮验证结论还是观察期末结论，两者的数据条件不同，不可混用。 ### 3.10　验证资产的规模一览 六个场景的验证资产规模汇总如下，便于判断工作量与甲方的参与投入。各项规模为本方案的承诺下限，实际按试点范围确定后在单场景验证方案中细化。 表 3-3　六场景验证资产规模一览 | 场景 | 金标准／档案样本 | 构造样本 | 回放窗口 | 对照实验题集 | |---|---|---|---|---| | 产品智能选型 | 不少于 300 个历史选型任务，四类工作面各不少于 30 个 | 不少于 60 例，覆盖四类异常输入 | 不少于 50 个完整任务，另真实新任务不少于 20 个 | 不少于 150 题 | | 板材备料工艺智能设计 | 不少于 300 件，三层复杂度各不少于 100 件 | 不少于 80 例，覆盖四类高风险情形 | 不少于 80 个编制任务，另真实新任务不少于 30 个 | 不少于 200 题 | | 库存控制智能化 | 评级样本按品类分层各不少于 100 条；成因样本不少于 300 条 | 不少于 50 例，覆盖四类极端情形 | 不少于 24 个连续月份快照，不少于 6 轮完整测算 | 不少于 120 题 | | 热处理过程智能监控 | 不少于 400 个炉次档案与 600 个件次档案，其中缺陷类不少于 150 件 | 不少于 60 例 | 受时序数据保存窗口约束，启动阶段先行导出 | 不少于 120 题 | | 焊接过程控制智能监控 | 图像标注集每类缺陷不少于 200 个实例；焊道档案不少于 30 批与 30 件 | 不少于 80 例，覆盖五类情形 | 不少于 6 个月历史生产数据 | 不少于 150 题 | | 刮板输送装备健康智能诊断 | 故障配对样本不少于 300 个，拆检确认档不少于 80 个；正常样本不少于故障样本五倍 | 不少于 60 例，覆盖五类情形 | 受时序数据保存窗口约束，启动阶段先行导出 | 不少于 120 题 | 表 3-3　数据来源：2.2 至 2.7 节各场景金标准集与用例设计小节汇总。 表中两处需说明。热处理与健康诊断的回放窗口没有写具体月份数，原因是两者受采集平台时序数据保存期限约束，可用范围不由我方决定；处置是在项目启动阶段先行导出一段完整历史，导出所得即为可用窗口，并在验证报告中写明实际窗口长度。健康诊断的正常样本规模按故障样本的五倍设定，是误报率统计的需要，误报率的分母是正常样本时段，分母太小则该指标的置信区间会宽到无法判断。 ### 3.11　验证工作的构成与节奏 本服务的工作量不均匀分布在周期内，写明构成便于排期与资源协调。 前段以资产建设为主。六个场景的金标准集建设、历史资料的反向结构化、标注与仲裁，占本服务工作量的较大部分，且这部分工作对甲方骨干的参与依赖最强：标注口径对齐、参考答案确认、仲裁判定三件事都需要业务骨干实际投入时间，不能由我方代为决定。因此前段的排期要与甲方骨干的可投入时间协调，这一点在实施准备期明确。 中段以执行与归因为主。执行本身的时间成本不高，沙箱可以并行跑；时间主要花在归因与整改的往复上。归因的效率取决于两件事：留痕是否完整（逐步留痕使失败能定位到步），以及缺陷字典是否统一（三道关口共用一套口径，结论可合并）。两件事在方法上已经安排，这是把中段时间压下来的前提。 后段以观察期与报告为主。观察期的长度由场景的任务频次决定，不能压缩，任务频次低的场景，期内累计任务量不够就没有统计意义。报告出具按 7.1 节的三级复核执行。 跨场景的方法复用是本服务控制工作量的主要手段。判据体例、金标准建设流程、沙箱配置、标注规范体例、归因格式在六个场景通用，第一批两个场景把这套方法跑通之后，后四个场景按同一套做。因此第一批的排期不宜压缩。它承担的是方法检验的职责，在这里多花的时间会在后四个场景上收回来。 ## 4、验证用例卡、判据登记与报告格式约定 本节给出三类格式约定。统一格式的目的有两个：使六个场景的验证记录可以合并检索与统计，以及使验收时的核对有固定的对象，核对一份用例卡该看哪几项，不必每次重新商定。 ### 4.1　验证用例卡 用例卡是验证执行的最小记录单位，一条用例一张卡。字段分五组。 标识组四项：用例编号（按场景代号加能力编号加序号组成）、所属场景、所属验证项、所属用例组。输入组四项：输入对象标识（业务对象的真实标识，如图号、炉次号、焊道编号、设备编码、选型任务号）、输入数据快照引用、数据集版本指纹、模型版本。参考答案组三项：参考答案内容、答案来源（历史记录、骨干标注或客观实测）、仲裁记录编号。执行组五项：执行时间、沙箱配置（含随机种子与采样参数）、实际输出、逐步留痕引用、见证人签认。判定组五项：判据编号、判定结论、所依据的判据版本、归因方向（失败时填）、以及该用例在对照实验中的所属组别。 字段设计上有三处是刻意的。输入对象标识要求用真实业务标识而不是内部序号，目的是让岗位人员能认出这条用例对应的是哪一件实物，验证报告拿给工艺员看，他能翻出那张图纸，这份报告才有说服力。逐步留痕引用指向验证智能体各步的输入输出记录，这是归因到步的依据。所属组别字段使同一条用例在四组对照中的表现可以横向对齐，这是能力增量表的数据基础。 #### 4.1.1　一条完整验证用例 以 2.3.2.7 节所举的中部槽侧板编制任务为例，给出一条完整验证用例的全部记录内容。六个场景的用例均按此粒度组织。 表 4-1　一条完整验证用例的记录内容 | 字段组 | 字段 | 记录内容 | |---|---|---| | 标识 | 用例编号 | 按场景代号加能力编号加序号组成，本例对应板材备料场景 X2-11 项下的一条成卡用例 | | 标识 | 所属场景与验证项 | 板材备料工艺智能设计 · X2-11 工艺卡片及工序附图内容准确率 | | 标识 | 所属用例组与用例类别 | 成卡组（闭合集内）· 正常用例 | | 输入 | 输入对象标识 | 该中部槽侧板的真实零件图号加零件号 | | 输入 | 输入数据快照引用 | 原生格式图形文件与配套设计报表的快照编号 | | 输入 | 闭合条件判定 | 四项逐项结果：矢量可直读、七处判读点全部提取且置信度达门限、规则库无缺口、双路互校差值在容差内 | | 输入 | 数据集版本指纹 | 本轮验证所用数据集版本指纹 | | 输入 | 模型版本 | 本例所属对照组别对应的模型版本标识 | | 参考答案 | 参考答案内容 | 该零件已签发工艺卡片的结构化版本，含工序序列、设备与工装、材料与工时定额、展开长 | | 参考答案 | 答案来源 | 已签发卡片，并经工艺骨干对参考答案作过一轮确认 | | 参考答案 | 仲裁记录编号 | 本例双人标注无分歧，无仲裁记录 | | 执行 | 执行时间 | 本次执行的起止时刻 | | 执行 | 沙箱配置 | 随机种子与采样参数取值，与环境基线记录一致 | | 执行 | 实际输出 | 生成的工艺卡片与工序附图，逐字段比对结果另附差异清单 | | 执行 | 差异台账 | 台账编号；本例共三处差异，两处经判定为等效表述、一处为工步顺序实质错误，均已修正关闭，未关闭项为零 | | 执行 | 逐步留痕引用 | 七步各步的输入输出记录编号 | | 执行 | 见证人签认 | 见证岗位签认记录编号 | | 判定 | 判据编号与版本 | 闭合集字段级判据编号及其判据版本号 | | 判定 | 判定结论 | 差异台账未关闭项为零，卡片准予下发；字段级一致率与高危字段实质错误数作为过程指标另行统计 | | 判定 | 归因方向 | 本例通过，无归因 | | 判定 | 对照实验组别 | 数据集适配组 | 表 4-1　数据来源：字段设计按 4.1 节；用例内容对应 2.3.2.7 节所举用例；闭合条件与下发门槛见 2.3.2.2 节。 三处记录纪律。输入对象标识用真实业务标识而不是内部序号，报告拿给工艺员看，他能翻出那张图纸，这份报告才有说服力。实际输出栏记实际产出并另附差异清单，不记结论性的「通过」，差异清单是判定的依据而不是判定的结果。对照实验组别使同一条用例在四组中的表现可以横向对齐，这是能力增量表的数据基础；一条用例在四组中各有一份记录，编号相同而组别不同。 ### 4.2　判据登记表 判据登记表不是指标的汇总清单，而是每一条判据的完整约定。登记后冻结，修订按本节 4.5 节的纪律执行。表 4-2 以板材备料场景的闭合集字段级判据为例，给出一条判据的完整登记形态；六个场景的全部判据均按此粒度登记。 表 4-2　判据登记的完整样例 | 登记字段 | 登记内容 | |---|---| | 判据编号 | X2-11-P2 | | 所属场景与验证项 | 板材备料工艺智能设计 · X2-11 工艺卡片及工序附图内容准确率 | | 招标文件依据 | b1633、b1634 | | 度量口径 | 分子为闭合集内生成卡片与参考答案逐字段比对一致的字段数；分母为闭合集内参与比对的字段总数；统计单位按字段；字段清单以受控工艺卡片模板为准；尺寸与定额类字段单列统计 | | 基线档 | 不低于百分之九十九；尺寸与定额类字段实质错误数为零 | | 目标档 | 趋向全部字段一致；尺寸与定额类字段实质错误数保持为零 | | 不达标处置 | 差异字段逐条列出，由工艺骨干判定属实质错误还是等效表述；属实质错误的回溯其规则与样本来源并修订，对该类字段整体复测 | | 依赖的数据条件 | 闭合条件门限已完成标定并经甲方工艺部门确认；参考答案为已签发工艺卡片的结构化版本；中性层系数已确认一版 | | 分档适用范围 | 闭合集内适用；闭合集外的图纸不进本判据分母，另按闭合率单列统计 | | 等效表述规则 | 按已确认的等效表述认定规则执行；尺寸、板厚、展开长、设备编号、工序顺序五类不存在等效表述 | | 复核周期 | 每轮验证复核一次；工序字典或卡片模板换版时即时复核 | | 版本与评审记录 | 版本号、评审时间、评审岗位、修订前后对照 | 表 4-2　数据来源：判据内容依招标文件 b1633、b1634 与 2.3.2.2、2.3.2.11 两节；登记字段按 2.1.7 节判据定义方式。 ### 4.3　验证报告的目录结构 单场景验证报告按固定目录出具，共九章。第 1 章验证范围与依据，含被验证能力清单与招标文件条目对照。第 2 章数据就绪度结论，含缺口清单与归属判定。第 3 章验证资产说明，含金标准集抽样框架、标注一致率、仲裁记录摘要、回放窗口与构造样本说明。第 4 章执行情况，含沙箱配置、版本登记、见证记录与异常用例说明。第 5 章逐项判定结论，每一项给指标值、判据、判定结果与置信区间说明。第 6 章数据集贡献度结论，含对照实验的能力增量表、雷达图与消融结论。第 7 章归因分析，按四类方向分列并给证据。第 8 章可用性结论与档位说明，写明当前处在哪一档、受限原因与条件补齐后的预期。第 9 章改进需求与优先级。 报告有三条写作纪律。一是指标必须带统计单位与分母规模，不单独给一个百分数。二是未达基线的项不以修饰性表述带过，直接写未达并给归因。三是受限档位的结论须在结论句中标明档位，不在脚注里标，读者只看结论句的情形是常态。 汇总报告在单场景报告之上出具，内容为 3.3 节六项汇总判据的判定、六场景横向比较、回流台账与优先级排序依据。 ### 4.4　见证点清单 见证点按七步流程固定并写入单场景验证方案，执行时逐点签认。 表 4-3　七步流程的通用见证点 | 步骤 | 见证事项 | 签认物 | |---|---|---| | 一 方案评审 | 能力清单、判据口径、两档阈值、试点范围 | 评审纪要 | | 二 就绪度体检 | 缺口清单及其归属判定 | 就绪度报告签认页 | | 三 资产建设 | 抽样框架、标注一致率、仲裁记录 | 金标准集冻结记录 | | 四 环境与基线 | 数据集与模型版本成对登记、四组对照派生完成并冻结 | 环境基线记录与对照组清单 | | 五 执行与见证 | 每组用例至少到场一次，核对版本与判据一致、异常如实记录 | 执行日志见证记录 | | 六 判定与归因 | 判定结论与归因方向 | 归因报告评审记录 | | 七 整改复测 | 复测范围与复测结论 | 复测报告签认页 | 表 4-3　数据来源：七步流程见表 2-2；见证组织方式按 2.1.12 节。 各场景在此基础上增补特有见证点：选型的复算差异台账逐条过审，备料的打印抽检与应急通道演练，库存的口径对账与基线冻结，热处理的工艺窗口确认与计量状态核查，焊接的提醒门限发布与影子观测回看，健康诊断的采集链路体检与规则发布前审核。 ### 4.5　判据与资产的修订纪律 判据、金标准集与用例集一经冻结即不在执行过程中改动。确有修订必要的，按三条纪律处理。 修订须有触发事由，且事由限于四类：判据所依据的技术权威文件换版；标注规范被发现存在歧义；度量口径在执行中发现无法落地（如分母不可统计）；以及招标文件条目的理解经与甲方澄清后调整。四类之外的修订不受理，尤其不受理「指标达不到所以改判据」。 修订须经评审并留对照。评审由甲方业务部门与我方共同进行，修订前后的内容对照、修订理由与评审结论一并记入判据登记表的版本记录。 修订后须回溯复核。已按旧判据判定的用例，须按新判据重新判定；已按旧规范标注的样本，须对同类情形做回溯复核。回溯范围与结果在报告中说明。这一条是为了避免同一份报告里混着两套判据下的结论，那种报告无法作为验收依据。 ### 4.6　验证档案的归档与检索 验证档案按场景、按轮次、按用例三级组织，进入奔牛数据智能平台的版本与审计模块。检索入口按四类提供：按业务对象标识检索（给一个炉次号，能查到它参与过哪些用例、结论如何）；按判据编号检索；按数据集版本检索；按归因方向检索。第一类入口是现场最常用的，质量追溯时岗位拿到的是一个实物标识，而不是用例编号。 档案的保留与访问权限随项目数据管理制度设定。涉及矿方运行数据的档案，其存放位置与访问范围以矿方授权为准。 ## 5、实施前置条件与需配合事项 本节把前十一节中涉及甲方配合与实施期先行工作的事项集中列出，便于在合同签订后的实施准备期统一推进。列出的目的不是条件未备就不开工（2.1 节已写明六个场景均按最小可用集起步、首期上线不以任何一类资料齐套为前提），而是把哪些条件影响哪一项指标说清，使排期与判定有依据。 ### 5.1　须由甲方确认的技术权威判据 五项判据的依据属企业技术权威，由甲方相应部门确认后固化，我方不自行设定。 选型校核公式的签封版本与适用条件，由技术部门提供，影响产品选型场景的复算一致性判据。提供方式可以是只读调用接口，也可以是受控导入的结果与公式定义，两种方式都要完成版本绑定与留痕。 备料分厂的 28 道标准工序字典与加工方法分档规则，由工艺部门牵头归并并正式发布，影响板材备料场景的工序集合与顺序一致率判据。中性层展开系数表须统一确认一版并按版本维护，索引键须补齐模具参数一维，影响高危字段的双路互校能否成立。 库存的财务计价与资金占用口径，含计价范围、半成品与在制是否计入、呆滞认定周期与金额口径，由财务与生产管理部门共同确认，影响库存场景的全部金额类指标。口径未书面确认前，该场景只输出数量与缺料风险，金额侧仅呈现两个口径的差异构成。 热处理的正式工艺文件参数窗口（分牌号与炉型）与焊接的工艺规程参数窗口、焊缝编号体系，分别由工艺部门与工艺质量部门确认，影响两个场景的越窗判定与对象树建立。其中焊接的参数窗口若出现宽度不为正的情形，列为工艺澄清项由工艺部门处理，不按原文生效。 刮板输送装备的故障名录，含六类部件的典型失效模式与判据条件，由售后与技术部门确认，是健康诊断场景判据、测点与标注的共同依据，须先行交付首版。 ### 5.2　须在实施准备期先行完成的工作 六项工作的性质是台账建立、字段补充与一次性整理，由我方派人驻场配合，相关岗位按环节参与确认。 图卡配对台账的显性化，以图号加零件号为主键，首期用于验证的产品族范围内须达到可用水平。图纸家底的分层抽样统计（可打开率、图卡可对应率、关键判读点可提取率、无法解析原因分布）一并完成，它是分级交付判据的依据。 历史选型方案的归集与反向结构化，把散存文档中的输入参数、校核结果与最终配置提取入库。这一项是选型场景金标准集的来源，工作量较实，须在第一批执行前完成首批。 库存侧的物料分类打标与三组映射关系建立：物料与部件、项目的对应关系，订单与项目号与物料需求的对应关系，图号与物料编码的对应关系。打标的准确性决定四类预测的分母是否干净。 设备、工装与样板台账的状态与有效期字段补齐，并明确替代规则；设备资源库缺这两列会导致系统把检修中的设备排进工艺卡片。 一炉一档与一件一档的档案结构建立，含装炉条件的登记方式确定；装炉位置登记的具体形态按现场条件商定，具备逐件标识条件时逐件登记，否则位置类结论按炉次级。 服务工单的结构化回填字段增设，含检查项结果、拆检发现、更换备件编码、处置与恢复时间。这是健康诊断场景故障样本配对的唯一来源，须尽早投用以积累样本。 ### 5.3　须尽早安排且不可追补的事项 两项事情有时间窗，过了窗口无法补救，须在项目启动阶段即安排。 历史时序数据的导出。热处理与健康诊断两个场景所用的采集平台时序数据存在保存期限，若干年后循环覆盖；而生产与工单记录保存期更长。因此历史回放的可用范围受时序数据窗口约束。处置是在项目启动阶段先行导出一段完整的历史时序数据与对应的检验记录、工单记录，用于回放验证。这一动作延后一个月，可用样本就少一个月，且无法追补。供应链侧的历史保留期限同理，须先行确认并导出一段完整历史。 试点范围的确定。试点炉型、试点产线、试点车间与跟踪矿点的确定直接决定三个场景的 L1 统计范围与样本组织方式。试点范围迟定，金标准集的抽样框架就无法冻结，后续全部工作顺延。因此这一项建议在实施准备期的前段完成。 ### 5.4　须按采购排期到位的感知条件 本项目采购的感知与检测设备到位时间影响相关验证项的执行批次，依赖关系在此列明，以便排期对齐。 焊接场景依赖熔池相机与热成像设备，到位后熔池视觉状态检测与焊缝表面缺陷检测的在线验证方具备条件；到位前按移动端取景规范拍照取样，支撑离线验证但不支撑实时性验证。层间温度的逐件逐层自动核对依赖夹持式接触测温的配置，未配置时按移动端录入，覆盖率如实统计。 热处理场景依赖高温热成像设备与硬度计联机。前者用于出炉与淬火区的温度记录，后者使硬度结果自动回填件次档案并统计抽检覆盖；硬度计联机不涉及设备本体改动，建议优先安排。 健康诊断场景依赖轴上角位置基准的加装，这是部件级诊断成立的前提，建议作为按证据加装的首选项并在首批设备先行完成，其加装前后的对比本身构成一组可向甲方交付的实验结论。 上述设备的型号、参数、数量与质保见本投标文件硬件选型与配置节，本节只写它们与验证项的依赖关系。 ### 5.5　源系统接口的开通 六个场景的取数涉及十余个源系统，接口开通清单与时间由甲方信息化部门统一安排。本节的处置口径一致：接口可得时按只读接口取数；暂不可得时按受控批量导出过渡，并在验证记录中标明数据时点与取数方式；三种对接方式（只读接口、数据库只读视图、受控文件导入）并存，字段定义先行统一。取数方式影响 L1 的判定档位，但不影响 L2 指标的成立，指标在金标准集上计算，与取数通道无关。 接口开通的优先顺序建议按场景批次对齐：第一批优先 PLM 与 ERP 的图纸、设计报表、物料与订单读取；第二批补 MES、QMS、WMS、SCM、CRM 与热处理群控系统、SCADA；第三批补售后服务管理系统的结构化回填与矿端数据通道。这一顺序与 3.2 节的执行批次一致。 ### 5.6　实施准备期的工作排序建议 把前五小节的事项按先后排一个顺序，依据是依赖关系而非重要程度。 最先做两件不可追补的事：历史时序数据的导出与保留期限确认，以及试点范围的确定。前者每延后一个月就少一个月可用样本，后者不定则抽样框架无法冻结。这两件事建议在实施准备期的第一阶段完成。 其次做技术权威判据的确认。五项判据分属不同部门，确认过程涉及内部评审与正式发布，周期不由我方控制，因此要早启动。其中备料的工序字典与健康诊断的故障名录两项工作量最大。前者要归并三处来源并正式发布为按版本维护的字典，后者要以机理研究为基础形成受控文件。这两项建议与第一阶段并行启动。 第三做台账建立与字段补充。图卡配对台账、库存口径字典与分类打标、设备台账的状态与有效期、一炉一档档案结构、服务工单回填字段，五项的共同特点是一次性整理加流程约定；整理由我方派人驻场配合，流程约定需相关岗位确认。其中服务工单回填字段要尽早投用。它的产出是随时间积累的，投用越早，健康诊断场景的样本越充足。 第四做源系统接口开通，按 5.5 节的三批顺序推进。接口开通与台账建立可以并行，但接口的字段定义须在台账整理的结论上确定，因此顺序上略后于台账。 最后做感知条件的到位与首批加装。硬件按采购排期，本节只对三项提优先建议：硬度计联机不涉及设备本体改动、成本低见效快，建议优先；轴上角位置基准是健康诊断部件级诊断的前提，建议在首批设备先行完成；焊接的接触测温配置影响温度类参数的自动核对覆盖率，建议与相机安装同批。 上述排序与 3.2 节的执行批次对应：第一批两个场景所依赖的条件，集中在技术权威判据与台账建立两类，不依赖硬件；第二批三个场景依赖流程改造的投用与稳定；第三批依赖加装与样本积累。排序的目的是让每一批执行开始时，它所需的条件已经到位，而不是边执行边等条件。 ## 6、六场景现场问题、数据缺口与验证项的对应 本节把 2.2 至 2.7 节分散的判断集中成一份对应关系：每一个现场问题对应哪一处数据缺口，该缺口影响哪一项验证，缺口补齐前按什么档位执行。这份对应关系有两个用处。对招标方，它说明本方案的每一项指标都挂在一个具体的现场事实上，不是凭空定的；对实施，它是补数据的工作清单与排序依据。 ### 6.1　产品智能选型 现场问题之一是需求侧输入多为非结构化文本，参数需人工逐一查找与转译。对应的数据条件是选型参数字典的别名与单位两列，以及矿方资料的可解析程度。影响的验证项是要素抽取正确率与原文位置可回溯率。别名不齐时，口语与规范名称的差异会系统性拉低抽取指标，而这不是模型的问题；因此字典的别名列列为 L1 硬条件，不具备时相关指标不起算。 现场问题之二是现场会商确定的配套接口参数没有电子留痕，事后追溯与传导困难。对应的数据条件是配套参数确认单的表单化与版本管理。影响的验证项是多来源输入的归集与冲突处理，以及端到端任务的参数完整性。补齐方式是在会商环节增设确认单并保留版本，任一方调整即触发重算；补齐前该类参数按补录项处理，只要求填报入口可用并完成试填。 现场问题之三是候选配置的生成与排序缺少工具支撑，既有自研程序可穷举可行组合但不区分优先次序、不含造价与复用维度。对应的数据条件是标准化部件库的适用条件、替代关系与在产状态三项字段，以及物料与价格主数据。影响的验证项是推荐排序的一致率与可行域正确性。三项字段缺失时，标准件可用率无法可靠测算，排序的复用维度也就不成立；因此这三项在 L1 阶段由受控表格导入补齐，且统计范围只覆盖已认定档位。 现场问题之四是设备投运后的运行状况、返修与改造情况没有与当初的选型输入建立关联记录。对应的数据条件是用后台账。影响的验证项是排序权重中的成熟度维度。这一项当前完全无记录，须从零补录，相关权重在首轮验证中按受限档处理，不参与加权；台账覆盖充足的工作面类型分批纳入。 ### 6.2　板材备料工艺智能设计 现场问题之一是人工读图工作量巨大，孔径标在一处而位置在另一视图，板厚可能只以代号标在主视图上。对应的数据条件是图纸的可打开率与关键判读点可提取率。影响的验证项是要素解析正确率与闭合率。处置是按零件类型、年代与复杂度分层取样统计家底，缺字体或缺外参的老图须一并提供字体库与外参文件，未提供的图纸不进入自动成卡的分母。 现场问题之二是工艺标准化不足，不同工艺员编制方案存在差异，工序选多选少、如何合并、顺序如何排均依赖经验判断。对应的数据条件是 28 道工序字典与加工方法分档规则。影响的验证项是工序集合与顺序一致率。这一问题还决定了判据的写法：历史卡片之间本就不完全一致，把一致率定到接近完全一致等于要求复现某一位工艺员的个人习惯，因此这两项的配套要求是可解释率。 现场问题之三是标准化零件无法复用历史成熟工艺，一套产品的图纸量可达五百多张而相当比例属图号级借用，却仍需逐张打开确认。对应的数据条件是图卡配对台账与几何特征索引。影响的验证项是借用件判定与同件检索。几何特征索引首期只按部分产品族建库，范围外的零件判不准属范围问题而非能力问题，统计时剔除并说明。 现场问题之四是出错代价高度不对称而校验强度相同：下料长宽、板厚与展开长一旦偏差，钢板下料后即成废料。对应的数据条件是中性层展开系数表的四维索引键与工装压模台账的编号对齐。影响的验证项是定额偏差与高危字段的实质错误数。索引缺模具参数一维时，系统会退到就近组合，带来系统性偏差而非随机误差，这一点在归因中已写明排查顺序。 现场问题之五是设计图纸改版后人工比对差异耗时，易出现漏改、错改。对应的数据条件是历史改版案例的归集。影响的验证项是变更差异集合一致率与漏改数。漏改数的判据写成零，理由是漏改不会在界面上表现出来，不像错改那样能被发现。 ### 6.3　库存控制智能化 现场问题之一是物料清单在需要决策的时点往往尚未冻结，按单定制下逐单清单不同、设计变更频繁。对应的数据条件是清单冻结状态字段与设计变更单的关联。影响的验证项是前置采购敞口的测算精度。冻结状态可获取时按其定量测算，不可获取时按同类产品历史变更幅度分档给出，两种处置在报告中分别标明所用方式。 现场问题之二是安全库存与锁定时点均缺少可核算依据，现行储备量由经验给出。对应的数据条件是采购与运输提前期的历史记录、自制产能排程、以及现行做法的基线统计。影响的验证项是安全库存建议的回溯效果。基线统计本身是交付物，须先完成并冻结，之后的对比均以这份基线为参照。 现场问题之三是库存数量与金额在不同口径下不一致。对应的数据条件是库存口径字典。影响的验证项是全部金额类指标。口径未书面确认前只输出数量与缺料风险，这一处置不是保守，而是避免给出一个将来会被两个部门分别质疑的数字。 现场问题之四是项目专用料复用困难，钢板与余料仅有账面重量而无尺寸记录。对应的数据条件是余料可用尺寸台账。影响的验证项是余料套用与跨项目复用撮合。台账建立前该项按受限档处理，排样仅在标准板规格上求解。 现场问题之五是呆滞识别依靠盘点与人工回溯，每一笔新增积压形成于哪一轮储备决策、依据何种需求假设未被记录。对应的数据条件是测算过程留痕。影响的验证项是成因溯源的主因命中率，以及效果验证的基线。留痕自首期起由验证台逐轮积累，这是本场景效果验证的唯一可信依据。 ### 6.4　热处理过程智能监控 现场问题之一是执行侧与条件侧均无结构化记录，每次的实际装载量、件间间隙、炉内位置与感应器对位间隙都无记录。对应的数据条件是装载条件登记与对刀标定值留痕。影响的验证项是同批硬度不均的位置定位与归因中的条件变量完整度。2.5.2.11 节的条件数据消融实验正是为这一问题设计：它用数据回答这些登记项值不值得补。 现场问题之二是异常监测滞后，温度、压力、流量、时长等关键参数的小幅异常波动无法实时识别。对应的数据条件是过程时序通道的采样能力与计量状态。影响的验证项是越窗判定与异常判级。计量超期或偏差超限的批次结论自动降级为数据级，这一规则的执行率单列为步级判据。 现场问题之三是报警机制缺失，设备本体报警多在现场处置后即行复位。对应的数据条件是报警全生命周期留痕。影响的验证项是异常识别的历史回溯。这件事在历史数据上几乎无法验证，只能在验证期内按前向方式记录。这一限制在验证方案中写明，不以历史数据硬凑结论。 现场问题之四是来料状态在事前不可得，部分批次没有带料单，成分与理化结果保存在检测环节。对应的数据条件是材料成分与实物批次的一对一关联。影响的验证项是事前参数补偿。关联建立前只能做事后归因，这一点在判据中分档；获取手段的选择也已写明，含碳量是参数决策的起点，而手持 X 射线荧光对碳无响应，正式复核须以火花直读为准。 现场问题之五是处理批次、工件、材料批次、实际曲线与检测结果之间没有形成稳定的一次一档关联，每次废品分析都要从头查起。对应的数据条件是一炉一档与一件一档的档案结构。影响的验证项是全部关联性分析与归因能力。这是本场景的命门，L1 的配对率按三项分别统计。 ### 6.5　焊接过程控制智能监控 现场问题之一是缺陷检测滞后，探伤结果只给出大致尺寸与深度，报告以纸质为主、不进入信息系统，也不落到焊缝里程与层号道号。对应的数据条件是检测结果的位置字段与检测设备的定位能力。影响的验证项是三流关联完整率与参数与缺陷的关联分析。带编码器的相控阵能给里程，普通手工超声只能给区域，两档的指标口径不同并分列统计。 现场问题之二是过程管控缺失，熔池状态、层间温度、气体波动等关键质量因子无实时监测。对应的数据条件是感知设备的到位与接触测温的配置。影响的验证项是熔池状态判别、温度类参数核对与综合质量评估。设备到位前按移动端取景与录入运行，支撑离线验证但不支撑实时性验证，这一分档在判据中写明。 现场问题之三是已采集的过程参数与工件、焊道均未建立对应关系，人工清点不具备可行性。对应的数据条件是焊道边界锚定的信号来源。影响的验证项是全部焊道级能力。三类工位的锚定方式与正确率基线已分列。 现场问题之四是检测结果位置口径不一致，外观检查、超声探伤与磁粉检测分处三个环节、由三拨人在三个时点完成。对应的数据条件是焊缝编号体系与位置字段规范。影响的验证项是三流两两关联完整率。这是本场景最需要甲方配合的一项，历史检测结果按可对应程度分三档入档。 现场问题之五是执行侧事实缺少载体，焊机预设值与工艺卡片区间没有比对环节；正式缺陷记录只来自交检开票，样本既稀少又存在系统性偏差。对应的数据条件是预设值的可读取性与过程偏差事实的自动留痕。影响的验证项是预设值核对的拦截有效性，以及全部视觉与评估类指标的可信度。样本偏差这一项在归因中单列为风险，须量化说明其对指标的影响方向，不掩盖。 ### 6.6　刮板输送装备健康智能诊断 现场问题之一是判断结论只落到测点与参数组合，落不到具体部件与失效形式。对应的数据条件是设备与部件档案中的传动比、齿数与轴承型号，以及轴上角位置基准。影响的验证项是定位粒度与部件级召回。档案三项缺失时该设备的部件级判据自动关闭；角位置基准缺失时结论止于测点级。 现场问题之二是同一次劣化会在温度、振动、电流通道上形成多条并行报警，需人工判断是否同一件事。对应的数据条件是同源判定规则与多通道的时间对齐。影响的验证项是多通道归并有效性。 现场问题之三是井下三机搭接产生的外部激励未从信号中分离。对应的数据条件是工况识别的可靠性与设备运动学参数。影响的验证项是干扰分离的信噪比改善与部件级判据的误报。多边形效应的分离只需设备档案中的三个参数，三机搭接的分离需要可靠的工况识别，两者的实现成本不同，因此 2.7.2.12 节把两项分离的贡献分开度量。 现场问题之四是井下传感器损坏率高、过保后少有人报修，已失效通道仍在参与判断。对应的数据条件是采集链路体检。影响的验证项是全部判据的可信度。体检的摘除执行率列为步级判据且基线写成全量，理由是一个读数恒定的失效通道在统计上看起来比正常通道更平稳，用它做判断永远不会报警。 现场问题之五是处置完成后的检查项、拆检发现、更换部件与恢复情况没有结构化回到数据链上，故障与数据段的对应关系无法建立。对应的数据条件是服务工单的结构化回填字段。影响的验证项是故障样本配对率与全部有监督能力。这是本场景唯一的标签来源，不可省；2.7.2.12 节的回填消融实验度量的正是这项流程改造的价值。 ## 7、验证服务的质量保证与自查 本节说明我方对本服务自身质量的保证方式。场景验证是一项出结论的工作，而结论会被用于判定数据集是否合格、是否需要整改；因此验证本身出错的代价不低于被验证对象出错。本节不写管理套话，只写四项可核对的做法。 ### 7.1　三级复核 验证的每一项产出都经三级复核后出具。一级是执行自检，执行人按自检清单逐项核对本次执行的版本一致性、用例完整性与留痕完整性，自检记录随执行日志归档。二级是交叉复核，由非本场景的验证人员复核判据应用是否正确、指标口径是否与登记一致、归因方向是否有证据支撑；交叉复核的意义在于同一场景的人容易形成共同的理解偏差，而判据口径的偏差一旦形成会贯穿整轮验证。三级是出具前复核，由方法与判据角色复核报告的结论句是否与数据一致、档位标注是否完整、未达基线项是否如实陈述。 三级复核的记录是交付物的一部分，验收时可查。复核中发现并纠正的问题按类型统计并在汇总报告中列出。这份统计是我方自身质量的证据，比一句「我方建立了严格的质量管理体系」有说服力。 ### 7.2　沙箱自检与指标复算 每轮验证开始前做沙箱自检：同一批用例在同一版本配置上连跑两次，结果须一致。不一致即停下来排查，不带着不确定的沙箱往下做。自检记录进环境基线记录。 指标按不低于百分之十的比例做人工复算。复算的对象是指标本身，取一组用例，按判据的分子分母定义手工算一遍，与系统给出的指标值比对。这一步常被省略，而它恰恰能发现最尴尬的一类错误：统计单位用错、分母包含了应剔除的用例、或者某一类用例被重复计入。复算不通过的指标全部重算。 ### 7.3　判据的反向自测 判据写完之后要反向自测一次：用一组已知应当不通过的样本去跑，看判据是否确实判它不通过。这一步针对的是一类隐蔽问题，判据写得过宽或者分母定得过松，结果是什么都能通过，而这在正常样本上看不出来。各场景的构造样本有一部分就是为此准备的：计量超期批次、窗口宽度不为正、通道读数恒定、预设值输错，这几类都应当被判据拦住；拦不住说明判据有漏洞，不是被测对象表现好。 反向自测的结果记入判据登记表的版本记录。自测不通过的判据修订后重新自测。 ### 7.4　结论的保守表述纪律 验证报告的表述守三条纪律，三条都直接影响报告的可信度。 指标不脱离条件陈述。每一项指标都写明它的统计单位、分母规模、所用数据集与模型版本、以及当前档位。脱离条件的指标在验收时无法复核，在后续轮次也无法比较。 未达项不作修饰。未达基线档的项直接写未达，给出归因与整改计划，不用「接近预期」「基本达成」一类表述。这一条看似对我方不利，实际相反：一份把未达项写清楚的报告，其已达项的结论才可信。 受限结论标明档位。按受限档或只做管理档输出的结论，须在结论句中标明档位与受限原因，不放在脚注。读者只看结论句是常态，档位藏在脚注里等于没标。