数据接入与采集作业使用一致的数据源登记信息、授权范围、业务对象标识和任务编号。接口联调时验证身份认证、字段映射、字符编码、时间格式、增量标识、分页规则、异常返回和重试机制。每次取数记录请求范围、返回数量、传输结果及落地校验结果,并与源端可核对的记录数、文件清单或校验值进行核对。出现漏数、重复、格式异常或中断时,依据源端响应、传输日志与落地检查记录确定受影响范围,完成补采或重传后重新核对;未通过检查的批次保持隔离。
数据加工调用已部署并完成测试的工具实例,登记输入数据版本、处理规则、参数配置、算子及软件版本、输出位置、处理数量和异常记录。涉及模型推理的作业同时登记实际使用的模型、提示词及相关配置版本。调整处理规则或工具版本后,对受影响样本实施回归检查,确认结果满足作业要求后再投入相应批次生产。
本体建设采用经确认的业务术语、数据元、参考数据、指标定义及其版本,与主数据管理平台的组织机构、人员、物料编码和 PLM 的 BOM、零部件信息建立映射。发现同名异义、异名同义、编码冲突或标准尚未覆盖的概念时,记录原始定义、来源依据、适用业务和拟调整内容,提交相关业务专家及标准管理责任人审查。审定后发布有效版本,保留旧版定义和映射记录,并同步检查受影响的标注标签、合成约束、检索索引及已有知识条目。未审定的概念及存在争议的映射不投入正式生产。
**数据接收、成果交付与检查要求**
| 作业事项 | 接收或配置内容 | 实施与检查要求 | 形成的记录和成果 |
|---|---|---|---|
| 多源数据接入与采集 | CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其、主数据管理平台、热处理群控系统及安全监管平台的数据接入配置;安全监管平台采用单向获取 | 按数据源核验权限、字段、时间范围、接口或文件协议;对源端记录与落地结果进行完整性、数量和格式核对;异常批次隔离、补采并复检 | 数据源登记、接口联调记录、采集任务记录、分域原始数据批次、差异及补采记录 |
| 多格式多模态数据录入 | 授权范围内的文档、图纸、图像、时序、视频及其他适用资料;文件清单和来源信息 | 检查文件可读性、编码、完整性、版本和使用许可;按原始对象保存来源位置与业务关联,保留原件和加工副本的对应关系 | 原始文件清单、录入结果、来源定位、异常隔离与处理记录 |
| 智能工具配置与调用 | 9 类 25 个工具的可运行实例、接口、参数配置、测试报告、使用文档及相应授权 | 验证任务创建、状态查询、结果获取、失败重试、批量导出和状态回调等接口;按批次登记实际工具、规则及其版本,涉及模型的作业登记模型与提示词版本 | 接口测试记录、工具配置、调用日志、输入输出清单、处理及异常记录 |
| 数据标准与本体维护 | 经确认的术语、参考数据、数据元、指标定义和编码映射 | 审核定义、业务适用条件及生效版本;对主数据和 PLM 实体编码进行映射;冲突项审定后发布并检查受影响数据和知识 | 本体文件、术语表、同义词别名表、编码映射、审查及版本变更记录 |
| 规范化样本与知识成果交付 | 完成预处理检查的样本,以及经业务专家终审的知识条目、图谱、本体和检索索引 | 核对来源、用途、权限、版本、质量结果和专家终审状态;未通过检查的样本不放行,未经终审的知识条目不用于标注和合成;基准评测来源及其衍生内容与训练、合成作业隔离 | 交接清单、样本与原始数据对照关系、专家终审记录、使用权限及版本记录 |
| 数据集指标统计与数据卡编制 | 各业务域、各用途子集的样本清单和质量检查结果 | 按实际有效数据统计 Token、条数和偏好组数,分别核验各域各子集规模、多模态比例和近三年时效性比例;剔除重复、不合格和不可合法使用的数据,追踪补齐结果 | 可复算统计结果、数据卡、样本清单、统计规则和不足项补齐记录 |
| 运营平台登记与交付 | 完成规定质量、安全和交付检查的数据集文件、元数据、数据卡、版本信息及授权条件 | 核验文件校验值、登记信息、访问权限、交付范围和版本关系;按实际许可办理登记注册、交付及相关业务,保留全程审计信息 | 版本及目录登记、文件清单、权限配置、交付记录和审计记录 |
| 数据集质量测评 | 实际待测数据、说明文档、质量证据、模型及应用验证所需的合法资料和独立基准数据 | 向独立测评提供真实可核验的数据、说明文档、质量证据及所需受控访问条件;首轮开展全量测评,覆盖说明文档、数据质量和模型应用三个维度及全部适用指标,逐项满足最低要求且综合得分不低于 85 分;高风险缺陷 100% 清零、中低风险缺陷 100% 完成整改,完成相应复测并核对报告、问题台账和实际数据版本一致。 | 原始测评记录、评分及判定依据、问题清单、整改和复测证据、正式盖章测评报告、与实际成果版本一致的完整质量档案。 |
| 数据安全与授权控制 | 分类分级结果、使用授权、脱敏规则、密钥与密码服务配置、账号权限和审计要求 | 在采集前落实授权与访问控制,在采集及加工中执行脱敏、加密、权限检查和审计;映射关系限权存放,授权到期或撤回后及时限制相关数据及衍生成果的使用 | 许可核验、脱敏复核、权限检查、密码服务调用及安全审计记录 |
| 新增感知设备数据采集 | 熔池图像、高温热成像、焊前及淬火后热成像等设备的有效数据、设备标识、时间信息和实际校准资料 | 核对接口、测量或图像参数、时间同步、安装调试状态及适用校准信息;按实际生产记录关联设备、工件、工序、焊道或炉次,无法确认的关联保持待核实,不将批次测量伪装为单件测量 | 设备接入和联调记录、采集批次、校准或检查记录、业务对象关联及异常处理记录 |
加工平台按处理状态分别管理接收数据、贴源数据、规范化样本、知识成果和供样候选成果。接收区仅保存已获准采集的数据及传输校验记录,实施隔离存储和最小权限控制。完成数据源登记、使用许可、入口脱敏、文件完整性与格式检查后,形成可进入预处理的原始数据批次;检查不通过的数据记录任务标识、来源和问题,保持隔离并启动核实、补采或格式修复。
预处理作业保留原件,生成版本化处理结果,检查结构还原、图文对应、对象标识、时间对齐、去重和来源追溯信息。检查通过后,按实际用途进入样本加工或知识抽取。知识本体经定义、关系、编码映射和版本一致性检查及业务专家审查后发布;知识条目及图谱关系完成业务专家逐条终审,并具备来源证据和数据字典后,方可交付标注与合成作业使用。
供样区按业务领域、用途子集和版本管理候选成果,记录输入来源、加工记录、权限及检查状态。完成预处理不等于完成数据集交付;各类候选样本继续接受相应用途的加工、质量检查和验证,满足规定的质量、安全和成果交付条件后方可正式发布。基准评测数据及其衍生成果实行独立访问和使用控制,禁止进入训练或合成流程。检查不通过时,隔离受影响成果,定位原因,修复后复检并检查关联结果;未经复检通过,不得恢复下游使用。
图 1 数据采集与预处理流程
图 2 知识构建及样本质量控制流程
生产前建立质量检查规则及其版本,明确检查对象、判定条件、检查方法、执行岗位、复核岗位、异常处置和放行记录。数据来源、使用许可、安全控制、专家终审以及各项交付质量指标均作为必须满足的条件,不因首批数据分布、生产数量或进度压力而降低。
对需要结合实际设备和数据特征配置的处理参数,使用具有代表性的样本开展验证,记录样本来源、参数取值、测试过程、异常识别结果、误差及业务专家意见。确认参数适用的设备、材料、工艺、业务对象和时间范围后,发布经批准的参数版本。参数验证结果不得替代强制质量指标,也不得将尚未通过检查的数据计入合格成果。
生产过程中监测输入特征、处理结果及异常变化。发现参数不适用、结果漂移或规则缺陷时,隔离受影响成果,开展原因分析和参数复核;调整后验证当前结果并追查受影响的历史批次。保留调整前后的配置、适用范围、批准记录及复检结果,完成检查并确认满足放行条件后恢复相应作业。
| 检查环节 | 检查时点 | 必须核验的内容 | 检查方法 | 执行与复核 | 不通过时的处置 |
|---|---|---|---|---|---|
| 数据接收与准入检查 | 采集前核验授权,采集及接收时检查传输、脱敏和数据完整性;进入预处理前完成准入判定 | 数据源可定位,采集与后续用途获得有效授权,访问范围符合许可;敏感信息已按适用规则处理;文件或记录完整、可读,格式和编码正确,来源及采集记录齐全 | 许可及配置审核、自动完整性和格式校验、按风险确定范围的人工复核;发现高风险问题,对相关范围开展全面检查并逐项确认处置结果 | 采集及受理人员执行,质量人员复核数据结果,安全人员复核许可、敏感数据与访问控制 | 保留任务编号、接收记录、原始批次标识和问题清单;相关数据隔离且不得进入后续生产。缺少授权时停止相关采集或使用,取得有效授权后重新核验;漏数、损坏、格式错误按原因补采或修复并复检,不以删除记录掩盖异常 |
| 预处理质量检查 | 各预处理作业输出后,进入样本加工或知识抽取前 | 文档结构及出处可核验,图文与业务对象关联准确,时间与测点对应正确,视频片段及同步信息完整,重复和异常已处理;输入输出、处理算子、实际参数及版本可追溯 | 自动校验结合业务对象、模态、来源、风险和处理规则分层复核;对缺陷涉及的范围追查,核对原件与加工结果,检查修复对关联样本的影响 | 预处理人员自检,质量人员独立复核,涉及业务语义的结果由相应业务专家确认 | 隔离受影响输出,保留原件、问题版本及其状态;按来源、配置、规则、算子或关联错误确定修复范围。存在系统性缺陷立即暂停受影响配置或作业,不等待第二个失败批次;修复后重跑必要环节并复检,结果合格后才恢复下游使用 |
| 本体审查与版本发布检查 | 新建或修订本体发布前,以及影响范围发生变化时 | 对象类目、属性、层次和关联关系完整一致;实体编码可与主数据及 PLM 映射;概念定义、适用条件、来源依据和版本明确;与有效业务标准的冲突已审定,受影响的标签、规则、知识及索引已识别 | 本体结构与一致性校验、编码映射核对、业务专家审查及关联成果回归检查 | 本体维护人员提交,业务专家审查,标准管理及相关业务责任人核定适用定义,质量人员核查发布材料 | 不发布未通过版本;争议定义及映射保持待核实。仅在确认旧版仍正确、授权有效且不受本次问题影响时允许继续使用;涉及旧版错误或失效时立即限制相关作业,修订并复核受影响成果,不能默认沿用至批次结束 |
| 知识成果专家终审 | 知识条目及图谱关系正式发布、交付标注和合成前 | 每条知识及关系有可定位的有效来源,内容和适用条件正确;实体、属性、关系及引用对应准确,数据字典和版本记录齐全,使用权限符合实际用途 | 自动检查字段、来源链接和结构完整性;业务专家对拟发布知识条目及图谱关系逐条终审,记录结论、审查人、日期、依据和修改情况。风险分级用于安排审查重点,不用于免除逐条终审 | 知识抽取人员提交,具备相应领域能力的业务专家终审,质量人员核验终审记录与发布成果一致性 | 待审、退回和证据不足的条目及关系不发布,不用于标注或合成;按问题补证、重抽或修订后重新终审。已发布条目发现错误时限制其使用并追查受影响标签、样本和检索结果,完成修复及复核后恢复 |
发现不合格数据或处理结果后,登记问题对象、来源、批次、处理配置、发现方式和影响范围,暂停受影响成果的下游使用。核查问题由源数据、授权、传输、解析、对象关联、时间同步、处理参数还是知识引用引起,并追踪同一原因可能影响的其他样本和批次。源数据缺失或错误由采集作业补采、核实后重新处理;处理规则或参数错误修复后,重新执行受影响的作业及其后续检查。保留原始数据、问题版本、修复记录和复检结果,不以覆盖文件或删除失败记录替代整改。数据增强批次未通过规定检查时执行整批回滚,完成原因分析、修正和重新验证后再按要求生产。
各加工环节按实际输入、作业记录、输出清单和质量结果办理交接。生产前明确检查对象、检查范围、方法、指标、判定条件和异常处置要求,对需要抽样检查的项目确定抽样总体、分层方式、样本量依据和复核方法;须全量检查或逐条专家终审的项目按相应范围执行。未满足放行条件的成果保持隔离,修复后重新检查,合格结果及签认记录与对应数据版本一并归档。内部作业交接与正式项目验收分别留存记录,正式验收按规定程序、完整交付成果和实际运行效果组织实施。
项目经理根据数据来源、业务领域、数据模态、生产任务量和人员能力安排采集受理、安全管理、预处理、质量检查、本体维护、知识抽取及业务专家审查职责,形成具名责任清单和替补安排。数据处理人员记录作业结果、问题及交接事项,质量复核人员核对输入输出、适用规则、版本和检查证据;本人完成的作业不得仅以本人自检结果替代独立质量复核。
交接双方核对数据清单、质量状态、使用权限和未解决问题,记录接收时间、交接版本及责任人。涉及跨专业问题时组织采集、加工、安全、质量及相关业务专家共同核查,形成明确的处理结论和后续责任;沟通形成的决定及时纳入作业记录和配置版本。人员调整时完成任务、资料、权限及未结问题移交,避免因岗位变化中断数据追溯和问题整改。
| 作业职责 | 执行内容 | 复核及放行记录 |
|---|---|---|
| 数据采集与受理 | 维护数据源、授权、采集任务和批次台账;完成接收、校验、问题登记及补采跟踪 | 记录实际执行人与时间;质量人员核对接收与校验结果,安全人员复核许可及相关控制,满足准入条件后登记放行结论 |
| 数据安全管理 | 落实分类分级、授权范围、脱敏、访问权限、加密及审计;受控保存脱敏映射,处理授权变化和安全问题 | 核验安全配置、脱敏结果和审计证据;存在许可或安全问题时限制相关采集及使用,记录处理与复核结论 |
| 数据预处理 | 按模态配置和执行处理任务,登记输入输出、规则、算子、参数及实际版本;处理异常并自检 | 提交自检结果、原始数据对照关系及异常记录,由质量人员独立复核,涉及业务语义的结果提交相应业务专家确认 |
| 质量检查与问题跟踪 | 执行全量规则检查和适用的人工复核,追踪缺陷影响范围、整改与复检结果 | 核对放行条件和证据完整性,记录不合格隔离、整改、复检与最终质量结论,不以生产人员自检替代复核 |
| 知识本体维护 | 维护对象类目、属性、关系、术语、同义词和编码映射;开展版本变更及影响分析 | 提交结构与一致性检查结果和业务依据,由具备对应领域能力的专家审查,经规定流程批准后发布有效版本 |
| 知识抽取与索引维护 | 开展条目抽取、条款切分、图谱构建、检索索引和查询—证据—回答样本生产,维护来源、权限和版本 | 提交待审知识及来源证据,逐条记录专家终审结论;仅发布符合条件的成果,按实际用途控制样本与索引访问 |
| 业务专家审查 | 审查专业概念、关系、工艺规则、质量特性、指标定义、知识条目及图谱关系,确认适用条件和业务准确性 | 按业务领域落实具备相应能力的审查人员及审查安排,记录姓名、专业范围、审查对象、依据、结论和日期;需招标方业务人员确认的事项按项目协作程序组织,未确认事项不以项目组自行签认替代 |
数据追溯从数据源及实际取得的文件、记录和事件开始建立。数据源登记后生成稳定标识;每次采集、接收及加工任务分别生成任务标识和批次标识,记录输入对象、输出对象、执行时间、处理配置及状态。源系统原有主键、记录版本、文件校验值和业务发生时间按实际情况保存;未提供原生主键的数据通过受控生成的记录标识定位,并记录其来源位置及生成规则。
采集批次、预处理批次、知识构建批次及后续样本加工批次分别管理。批次分拆、合并、增量补采、重跑或跨来源组合时,显式登记输入与输出之间的一对多、多对一或多对多关系,保留关联对象的版本及处理记录。样本和知识条目使用稳定标识,内容变更形成新版本;来源或用途归属变化记录为属性及关联变化,不通过覆盖旧标识丢失历史。失败、隔离和撤回成果保留必要标识、状态及审计记录,按权限和保留规则管理。
对样本、知识条目和评测记录提供受控追溯查询,展示其来源对象与版本、采集和处理任务、所用规则与工具、引用知识及相应审查结果。处理错误或质量问题按实际来源、处理配置和引用关系查找关联成果,生成受影响对象清单,并记录暂停使用、修复、重新检查和恢复使用的结果。
数据存储位置变化时更新位置索引,保留对象标识及历史位置记录;文件迁移前后核对完整性和校验值,验证访问权限及关联查询。人员变更通过责任清单和账号权限交接管理,追溯记录不依赖个人目录、个人账号或口头说明。源记录、文件、处理任务、样本和知识成果的标识在各对象创建时生成,并与已有来源及输入对象建立明确关联。
对象标识在其管理范围内保持唯一且稳定,由平台按统一规则生成并校验冲突。业务领域、来源系统、对象类型、用途、采集日期、生产状态和访问等级作为可查询属性保存;业务归属或用途调整时保留对象标识,记录属性变更及批准依据。确需便于人工查找的展示编号可采用受控业务代码,但不得将人员姓名、合同内容等敏感信息直接写入编号,也不得仅凭编号判断使用权限。
文件内容校验值用于检查传输、存储及复制前后的完整性,并辅助识别内容相同的文件。登记校验算法、计算对象、对象长度及计算结果;文件内容相同不代表来源授权、业务含义、有效版本或用途完全相同,是否去重须结合这些信息判断。
处理配置摘要采用规范化序列化后的算子标识、版本、参数及必要依赖生成,同时保存完整配置。每次任务还记录输入对象与版本、软件依赖和运行环境、输出对象及状态;涉及模型时记录实际模型、提示词、推理配置和适用的随机控制信息。对确定性处理核对重跑结果的一致性;对包含随机性或运行环境差异的作业,按已确认的评价方法检查结果有效性及允许差异。不得仅凭配置摘要相同就认定输出内容必然相同或免除结果检查。
| 标识或记录 | 生成及维护时点 | 保存内容 | 检查与使用要求 |
|---|---|---|---|
| 数据源标识 | 数据源登记时生成,来源变化时维护登记版本 | 稳定唯一标识;来源系统或提供方、数据对象、责任人、访问方式、使用许可及有效期 | 核验来源身份和许可范围;业务域等属性变化保留历史,数据源标识不代替授权判断 |
| 采集及加工批次标识 | 每次实际采集、接收和加工批次创建时生成 | 批次标识、任务标识、业务属性、输入输出清单、时间范围及状态 | 分拆、合并、补采和重跑均保留各批次及关联关系;失败和隔离批次同样登记,不覆盖旧记录 |
| 文件对象标识与内容校验值 | 文件接收或派生文件生成时建立 | 稳定对象标识、来源位置、对象版本、文件长度、格式、校验算法及校验值 | 文件内容与来源身份分别记录;以校验值验证完整性并辅助去重,去重时核对业务对象、许可和有效版本 |
| 源记录标识 | 源记录接收时建立并保存变化历史 | 数据源标识、源对象或表名、原生主键或受控替代标识、记录版本、业务时间、采集时间和来源位置 | 跨系统及跨表主键不得混淆;同一源记录多次采集建立关联,历史更正保留原值与有效时间,不把重复采集自动算成新业务记录 |
| 处理配置标识及摘要 | 规则、算子或参数配置发布时建立 | 算子及规则标识、版本、完整参数、必要依赖、规范化序列化方式、摘要算法及结果 | 配置变更生成新版本;摘要用于配置比对,完整配置用于核验,敏感配置按权限管理 |
| 任务执行标识 | 每次实际执行或重跑时生成 | 任务类型、输入对象及版本、批次、配置版本、执行环境、起止时间、执行状态、日志和输出;模型作业同时保存实际模型、提示词及推理配置版本 | 每次执行单独记录,重试与原任务关联;区分成功、失败、取消和结果未确认,按实际结果登记,不以重复执行覆盖失败证据 |
| 样本标识及版本 | 样本首次生成时建立稳定标识,内容变化时形成新版本 | 来源对象及版本、处理任务、输入输出关系、模态、业务领域、实际用途、权限和质量状态 | 切分、组合、配对、修订和衍生样本建立明确关联;基准评测样本及其衍生内容与训练和合成数据隔离 |
| 本体标识及版本 | 本体创建、审查和发布时维护 | 本体标识、版本、定义与编码映射、变更说明、审查结论、生效状态及影响范围 | 标签、规则、知识及索引引用具体有效版本;旧版保留受控历史,不默认所有旧版均可继续用于生产 |
| 知识条目标识及版本 | 条目或图谱关系创建时建立,修订时形成新版本 | 稳定标识、内容版本、来源证据、实体及关系、适用条件、许可、终审状态和审查记录 | 终审状态对应具体内容版本;修改内容或证据后重新判断审查范围,未审定版本不得沿用旧版通过状态 |
| 查询—证据—回答样本标识及版本 | 检索增强样本生成时建立 | 样本标识、查询、证据对象和位置、回答、来源版本、构建记录、实际用途及质量结果 | 按用途分别保存和控制访问;基准样本须来自独立真实资料,核查内容及衍生关系泄漏,禁止通过换编号将训练或合成内容转为基准 |
| 成果关联记录 | 每次切分、合并、转换、引用、配对、修复或发布时维护 | 上游与下游对象标识及版本、关联类型、实际处理任务、建立时间和必要依据 | 支持多来源和多阶段追溯;关联缺失、冲突或证据不足时记录待核实状态,未确认的关系不作为可靠业务事实交付 |
建立标准及企业技术文件登记清单,记录标准编号、完整名称、版本、实施日期、适用对象及受控获取方式。数据字段、质量规则、图纸符号、检验方法和知识定义分别关联实际采用的标准条目与企业有效技术文件,保存规则配置、适用条件和版本。标准用于确定相应技术内容和实施方法,项目规模、质量、安全及交付指标仍按约定要求执行,不因通用标准中的较低要求降低交付条件。
处理历史图纸、工艺卡和检验记录时,保留原文件采用的标准版本、技术状态和业务发生时间。发现版本不明、符号含义冲突、旧新版本定义不一致或企业规则缺失时,登记问题并由相应专业人员核实,不以当前标准直接覆盖历史原文,不根据通用惯例生成未经确认的质量结论。核实后的解释和映射与原始记录分开保存,记录依据、适用范围、审查结论及生效状态。
企业机械制图要求、工艺编制准则和工序字典以实际取得并确认有效的文件为依据,核对文件编号、批准状态、修订记录和适用产品。缺失资料列入调查和补充清单,涉及未确认规则的加工结果保持待核实状态;规则确认后验证解析、分类和关联结果,再投入相应生产作业。
**数据加工采用的标准与技术文件**
| 作业对象 | 标准或技术文件 | 实施内容及保留记录 |
|---|---|---|
| 数据管理与成熟度建设 | GB/T 36073-2025《数据管理能力成熟度评估模型》 | 组织数据管理能力建设与检查,明确管理职责、制度流程、执行任务和能力评价要求,保存制度发布、过程执行、检查评价及改进记录。按项目确定的成熟度建设目标梳理能力项和实施证据,跟踪不足项整改,形成可核验的管理制度、过程记录及评价材料。 |
| 数据质量规则与检查 | GB/T 36344-2018《信息技术 数据质量评价指标》 | 按规范性、完整性、准确性、一致性、时效性、可访问性组织适用评价内容,结合实际数据对象配置格式、空值、重复、值域、关联、业务逻辑和时效等检查规则。各规则登记对应评价指标、适用对象、计算范围、判定条件、执行方法和版本,保存检查结果、问题对象、整改及复核记录,并核对统计结果与实际成果版本一致。 |
| 元数据、数据定义与标识 | GB/T 18391.3-2026《信息技术 元数据注册系统(MDR)第 3 部分:注册系统公共设施元模型》;GB/T 18391.4-2009《信息技术 元数据注册系统(MDR)第 4 部分:数据定义的形成》;GB/T 18391.5-2009《信息技术 元数据注册系统(MDR)第 5 部分:命名和标识原则》 | 建立受控元数据及数据字典,登记名称、定义、标识、数据类型、表示格式、值域、来源、责任人和版本等实际管理属性;检查定义一致性、标识唯一性及版本关系,保存注册、变更与审查记录 |
| 图纸视图、剖视与断面解析 | GB/T 4458.1-2002《机械制图 图样画法 视图》;GB/T 4458.6-2002《机械制图 图样画法 剖视图和断面图》 | 结合原图采用版本识别视图、剖视和断面表达,保留图号、版本、位置及关联视图;图层命名与企业特殊表达另按有效图纸管理要求核对,存在歧义时提交专业确认 |
| 图样表面结构标注解析 | GB/T 131-2006《产品几何技术规范(GPS)技术产品文件中表面结构的表示法》 | 保留表面结构符号、参数、数值、标注位置、作用对象及适用条件,并与原图对应;符号或作用表面无法确定时保留待核实状态,不仅凭识别置信度生成确定性工艺要求 |
| 熔化焊接头缺欠名称及分类 | GB/T 6417.1-2005《金属熔化焊接头缺欠分类及说明》 | 根据原始检验资料建立缺欠名称、分类编码和企业标签的映射,保存分类依据及版本;区分缺欠分类、检测结果和质量合格判定,不能仅凭类别名称推出不合格结论;企业自定义标签经业务专家确认后使用 |
| 焊缝超声检测记录加工 | GB/T 11345-2023《焊缝无损检测 超声检测 技术、检测等级和评定》 | 核对检测报告所用方法、标准版本、检测等级、对象、位置及评定信息,保持报告结论和原始证据可定位;不将超声方法作为所有焊缝检测记录的默认方法,不以图像识别结果代替实际检测报告 |
| 洛氏硬度记录加工 | GB/T 230.1-2018《金属材料 洛氏硬度试验 第 1 部分:试验方法》 | 保留原始试验方法、硬度标尺、数值、测点、试样或工件关联及报告版本;不同标尺不得直接混算,其他硬度试验方法保持其实际方法标识,确需转换时记录适用依据和审核结果 |
| 企业工艺及图纸数据 | 经确认有效的企业机械制图标准、工艺编制准则、工序字典及相关产品技术文件 | 登记企业技术文件编号、版本、批准状态、生效时间和适用产品,核验图层、工序、参数及特殊技术要求。对资料缺失、版本冲突或规则含义不明的情况形成调查清单,保存实际取得的文件、核实依据及专业审查结论;经确认后发布适用的加工规则,保留历史依据及变更关系,复查相关图纸解析、字段抽取和业务关联结果。 |
发现企业技术文件与所适用的国家、行业标准或项目技术要求不一致时,分别记录原文、版本、生效时间、适用对象和具体差异,组织标准管理及相关业务专业人员核实。核查历史资料所处的技术状态、现行生产规则以及本次加工用途,形成有依据的处理结论和适用范围;不得以企业现行版本为由直接覆盖其他适用要求。涉及项目约定要求的差异按项目规定程序确认,不由加工人员自行降低指标或修改验收条件。
差异未解决前,暂停依赖该差异规则的自动归一、标签赋值及知识发布,对不受影响且满足授权和质量条件的数据继续按有效规则处理。审定后分别保存原始内容、确认后的解释或映射、处理依据及审查记录,完成受影响规则、知识和样本的检查与修订;历史记录保留原采用版本,不将后续版本反写为原始依据。
## 1、数据采集(3.2.6.3.1)
采集企业业务系统、设备系统及具有合法使用授权的外部来源数据,按供需计划、产品工艺设计、制造过程、产品质量四个业务领域建立原始数据批次。每个数据源登记来源系统或资料提供方、业务对象、采集范围、采集方式、更新频率、数据责任人、使用授权及其有效期。实施取数前核验允许采集、加工、训练、验证和交付的用途及范围,完成访问授权、字段范围与传输保护配置。对个人信息、企业敏感数据等按分类分级结果执行入口脱敏和访问控制,保留受控的来源定位及处理记录。
完成文件完整性、格式、编码、字段结构、对象标识和时间信息检查后,按业务领域形成原始数据批次及采集记录。记录数据源、采集任务、采集时间、业务发生时间、记录或文件数量、校验结果和异常处置情况;来源不明、授权不足、文件损坏或必要字段缺失的数据进入隔离区,核实补采后重新检查。通过检查的数据进入预处理作业,保留原始数据与后续样本、知识条目及其版本的对应关系。
采集任务按供需计划、产品工艺设计、制造过程、产品质量四个业务领域登记,分别维护数据对象、来源系统、取数范围、业务时间、授权条件和质量要求。制度、合同、经营指标、主数据及外部行业资料按实际来源和内容单独登记,并建立与适用业务领域的关联;同一资料支撑多个领域时保留统一来源及多重关联,不通过重复复制增加有效数据规模。
原始数据接收时记录已确认的用途限制和业务属性,后续按实际加工及质量结果分别形成预训练、指令微调、强化学习偏好和基准评测用途的数据。涉及基准评测的数据在划分时落实独立来源、内容及衍生关系隔离,禁止通过改变域标签或样本编号转入训练和合成作业。
为各领域明确具名的采集受理责任人、复核人员和替补安排,根据任务量、专业能力及生产计划配置实际人力。责任人维护来源、许可、任务、批次和问题台账,跨域共用数据由相关责任人核对适用范围、权限和版本,交接记录与实际成果一致。
### 1.1 受理作业流程
采集任务执行前完成数据源登记及本次取数授权核验,确认允许采集的对象、字段、时间范围、后续用途和存储环境,配置访问权限、传输保护及适用脱敏规则。未经许可的数据不发起采集;需在源端脱敏的数据先完成源端处理,再按批准范围传输。获准在受控环境处理原始敏感数据的,按授权范围限制原始数据访问和保留时间,并在进入相应后续加工前完成规定脱敏及检查。
每次受理建立任务和接收记录,按实际过程记录清点、校验、脱敏、对象关联、问题处理和准入判定结果。发现授权、完整性、格式或关联异常时保存问题与状态,隔离受影响数据并启动核实或补采。各项准入条件满足后,形成可进入预处理的分域原始数据批次和采集记录;任务编号及异常记录不因未获准放行而省略。
接收数据时核对源端交付清单、对象数量、传输结果及可获得的校验值。源端已执行脱敏或其他转换的,以实际获准交付的输出清单和校验记录进行核对,不要求接收未经许可的原始敏感文件。平台内对获准处理的原件生成脱敏或规范化副本时,分别登记原始对象和派生对象的标识、版本、校验值及转换任务,保留受控关联,避免用转换后的校验值直接与转换前原件比较。
格式、编码、字段映射或解析规则发生错误时,检查使用相同来源和配置的其他批次,按实际影响范围隔离、修正并复检。人工修正必须有原始依据、修改记录和复核结论,无法确认的数据保持待核实状态,不按猜测补齐必填项或业务关联。
时序、图像和视频数据的工件、工序、焊道、设备及炉次关联以实际生产记录为依据,记录关联来源、时间范围和确认状态。后续取得新的有效证据需要修订关联时,保留修订前后内容、依据、处理人及复核记录,更新受影响样本和统计结果;不得覆盖历史记录,也不得把未确认关联计入已完成准确关联的成果。
| 步骤 | 输入与前提 | 作业内容 | 保存记录 | 异常处置与放行条件 |
|---|---|---|---|---|
| 1 采集申请与任务登记 | 明确的业务需求、来源对象、拟取字段和时间范围 | 登记数据源,核对实际采集方式、用途、执行环境和责任人;建立任务编号、接收记录及计划,明确本次交付清单和检查要求 | 数据源登记、采集申请、任务记录、字段及对象清单 | 来源不明或需求范围不清时不执行相关取数,记录待补事项;补齐并复核后进入授权检查 |
| 2 使用许可与访问核验 | 有效的授权材料、许可条款、源系统权限及适用用途 | 核验数据取得、存储、加工、训练、验证、交付等实际用途是否获准;核对期限、对象范围、地域或环境限制及外部模型调用限制,配置相应访问与传输保护 | 许可核验结果、材料定位、有效期限、访问配置和限制条件 | 授权不明、失效或超范围时停止相关采集或使用;取得有效许可并复核后才执行,不能以公开可下载或数据责任人口头同意替代必要授权 |
| 3 受控接收与清点 | 许可范围内的实际交付数据、源端清单及传输记录 | 按批准方式接收,核对对象数量、文件长度、可读性、校验值及记录范围;源端有转换时核对相应转换后的交付清单;识别重复接收及缺失数据 | 接收时间、对象及批次标识、源端清单、校验记录、差异清单 | 漏传、损坏、重复或数量不一致时保留已接收状态并核对原因,按差异补采或重传后复检;受影响数据不进入后续生产 |
| 4 脱敏与安全检查 | 已确认的分类分级、字段用途、授权环境和脱敏规则 | 需源端脱敏的在传输前执行;获准在受控环境处理的按字段和用途采用适当的删除、遮蔽、泛化、替换等方法,检查敏感信息残留及业务可用性;必要映射限权保存 | 规则版本、执行对象、原始与派生对象关联、脱敏结果及复核记录、受控映射记录 | 规则缺失或脱敏未通过时隔离相关数据并修正规则;不得默认保留顺序、可逆关系或额外敏感字段,未经复核不放行 |
| 5 格式与内容准入校验 | 已接收且符合适用安全条件的数据、格式和字段规则 | 检查格式、编码、必填字段、数据类型、值域、时间与时区、单位及精度;在实际源系统及对象范围核对主键和重复记录;保留原始值与转换记录 | 校验报告、问题对象、适用规则及版本、修复或补采记录 | 不合格对象进入隔离管理;根据原始证据补采、修复并复检,人工修改保留依据及复核,禁止虚构字段或静默删除问题 |
| 6 业务对象关联检查 | 工单、报工、工序、设备、焊道、炉次及工件等实际生产记录 | 按时间和有效业务关系核对数据对应对象,保存一对多、多对一及返工关系;区分炉次、批次与单件,不能以批次检验代替逐件实测 | 关联对象、来源证据、有效时间、确认状态及修订记录 | 关联不明时单列待核实,补证后复核;是否可进入不依赖该关联的其他用途须按用途规则审查,不得将未知关系作为已确认事实交付 |
| 7 批次准入与交接 | 各项检查、异常处理及复核结果 | 核对输入清单、许可、安全、质量及关联状态,确认可放行对象范围,形成原始数据批次、采集记录和交接清单,登记判定人与时间 | 全过程任务及批次台账、放行结论、实际交接范围、未放行对象及原因 | 未通过对象保持隔离并保留原批次或接收标识;经批准的拆分交接须保留父子关系和各自检查结果,不以拆分隐藏失败或绕过必须整批处理的要求 |
### 1.2 供需计划域
本域对应供需计划数据集的原始数据底座(`b1364`—`b1370`)。受理内容按源系统归集。
本域的受理难点不在数据量,而在**同一笔业务在三个系统里各有一条记录**。一个客户从商机到回款,CRM 记商机与报价、ERP 记订单与开票、财务系统记回款,三处的主键各不相同:CRM 用商机编号、ERP 用销售订单号、财务用合同号。单看任一系统的数据都是完整的,合起来却对不上——同一份合同在 ERP 里拆成了三张订单,在财务侧只有一条回款。
处置办法是在受理阶段即建立**业务链主键**,以合同编号为轴,把三侧记录挂到同一条业务链上,挂不上的进差异台账逐条处理。差异的常见成因有三类:合同在 ERP 侧补录时编号写法不一致(带前缀、带年份、全角半角混用);一份合同对应多张订单而订单侧未回填合同号;历史合同在系统上线前签订,ERP 里只有订单没有合同。第一类按归一化规则自动处理,第二类按金额与客户组合匹配后人工确认,第三类在数据卡中声明其业务链不完整并限定可用于哪些任务。
第二处难点是**非结构化件与结构化记录的挂接**。招标与投标文件、资质文件、业绩合同三类属文件本体,其价值在于与具体项目的对应关系;若只把文件收进来而不挂到项目号上,它在数据集中就只是一堆文档。受理时按项目号或合同号批量归集,无法确定归属的单独成组并登记原因,不强行挂接——错挂比不挂的代价更高,错挂会把一个项目的资质证明算到另一个项目名下,而这类错误在后续加工中几乎无法被自动发现。
第三处是**增量边界**。本域大部分对象按变更时间增量受理,这依赖源系统的变更时间戳可信。实际情况是部分表的更新时间字段由应用层维护,批量修数据时不会刷新。因此首轮采集后执行一次全量对账:按主键比对源系统与采集侧的记录数与关键字段校验和,对不上的表改为整表快照方式受理,并在数据源登记表中标明该表不支持增量。
#### 1.2.1 客户关系管理系统(CRM)
CRM 侧受理的九类对象分两组性质:客户、商机、报价、合同、订单、回款六类是结构化的事务记录,招标与投标文件、资质文件、业绩合同三类是文件本体。两组的受理方式与校验重点都不同,放在一张表里是因为它们在业务上属同一条链路——一个商机从接触到回款的完整过程,结构化记录给出了时点与金额,文件本体给出了当时的技术方案与承诺内容,两者合起来才构成供需计划类任务可用的样本。
校验重点一列中,**「同一商机多版本报价按版本号保留,不覆盖」**这一条需要特别说明。业务系统中报价常以最新版本覆盖历史版本,而对数据集而言,报价的修订过程本身是有价值的信息:一个项目的报价从初版到终版的调整幅度与调整方向,反映了技术方案与商务条件的权衡过程,这正是产品智能选型与投标类场景需要学习的内容。因此受理时按版本全留,并在同一商机下按版本号排序。
「工作面类型取本体值域」一条指向的是本节与知识本体环节的衔接。工作面类型是矿山装备选型的关键参数,CRM 中的填写常不规范(同一类型有多种写法、也有直接填写文字描述的)。受理阶段不强行归一,而是保留原值并标记是否落在本体值域内;归一在预处理环节由术语表执行,使归一规则集中维护、可追溯、可随本体版本更新重算。
| 数据对象 | 字段组 | 形态 | 受理方式 | 校验重点 |
|---|---|---|---|---|
| 客户 | 客户编号、名称、所属区域、客户类型、信用等级 | 结构化 | 整表初始化 + 按变更时间增量 | 客户编号唯一性;与主数据客户编码可映射 |
| 商机 | 商机编号、关联客户、矿井名称、工作面类型、预计规模、阶段状态 | 结构化 | 增量 | 阶段状态值域合规;工作面类型取本体值域 |
| 报价 | 报价单号、关联商机、产品配置、报价金额、版本 | 结构化 | 增量 | 同一商机多版本报价按版本号保留,不覆盖 |
| 合同 | 合同编号、关联客户、签订日期、金额、交付期、产品清单 | 结构化 | 增量 | 合同编号与 ERP 侧一致性比对 |
| 订单 | 订单号、关联合同、物料、数量、交付节点 | 结构化 | 增量 | 与 ERP 销售订单的勾稽关系 |
| 回款 | 回款单号、关联合同、金额、日期 | 结构化 | 增量 | 与应收数据的勾稽关系 |
| 招标与投标文件 | 文件本体、项目名称、客户、投标日期、结果状态 | 非结构化(`b1365`) | 按项目号或合同号批量归集 | 文件可解析性;版本与结果状态完整 |
| 资质文件 | 文件本体、资质类型、编号、有效期 | 非结构化(`b1365`) | 按资质类型归集 | 有效期必填;过期件标注状态 |
| 业绩合同 | 文件本体、项目、金额、验收状态 | 非结构化(`b1365`) | 按项目归集 | 与业绩类知识归集目录对齐 |
#### 1.2.2 企业资源计划系统(ERP)
ERP 是四个业务域中与其他系统交叉最多的一个:销售订单与 CRM 对应、采购与 SCM 对应、库存与 WMS 对应、成本核算与质量域的返工损失对应。因此本系统的校验重点多数是**跨系统一致性校验**而非本系统内的完整性校验——物料编码取主数据值域、供应商编码与 SCM 侧一致、金额与合同勾稽,这三项都要同时取到两侧数据才能校验。
受理顺序上因此有一个约定:ERP 的受理排在 CRM 与 SCM 之后,使跨系统校验在受理当时即可执行,而不必等到预处理阶段再回头比对。若按系统逐个独立受理再统一比对,发现不一致时相关批次都已成形,返工代价更大。
「金额保留原始精度」与「期间闭合状态」两项是财务数据受理的常规要求,但在数据集建设中有额外含义。金额若按业务习惯取整,成本核算类任务的计算结果就无法与财务账核对,数据集的可信度随之下降。未闭合期间的数据是可变的,后续还会调整;标注闭合状态使使用方知道哪些期间的数字是终值、哪些仍可能变动,避免把未闭合期间的数据当作事实学习。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 销售订单 | 订单号、客户、物料编码、数量、单价、交付日期(`b1366`) | 增量 | 物料编码取主数据值域;金额保留原始精度 |
| 采购 | 采购单号、供应商、物料、数量、价格、到货日期 | 增量 | 供应商编码与 SCM 侧一致 |
| 成本核算 | 核算期间、成本中心、成本要素、金额 | 按期间 | 期间闭合状态;未闭合期间标注 |
| 应收应付 | 凭证号、对象、金额、账龄、状态 | 增量 | 与回款数据勾稽 |
| 物料主数据与价格 | 物料编码、名称、材料牌号、规格、单位、单价 | 整表初始化 + 增量 | 作为本体物料类目的编码基准之一 |
#### 1.2.3 供应链管理系统(SCM)
供应链侧的受理有一处与其他系统不同:**它的数据价值主要在时间差上**。供应商评估等级、采购计划量、约定到货日这些字段单独看都是静态属性,真正能支撑供需计划类任务的是「计划量与实际下单量的差」「约定到货日与实际到货日的差」这两组差值。因此本节的受理口径不是取某个时点的快照,而是把计划与执行两侧成对取回,并校验它们的对应关系——一条采购计划可能对应多张订单,一张订单也可能跨多个计划期,对应关系断了,差值就算不出来。
供应商评估等级这一字段需要额外登记其评估口径的来源。企业的供应商评估标准在多年中调整过,等级的含义前后不完全一致;只取等级值而不记口径,后续模型学到的就是一个随时间漂移的标签。受理时按评估日期关联到当期的评估办法版本,办法版本由采购部门提供,暂未提供的在数据源登记表中标明待确认。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 供应商档案与评估 | 供应商编号、名称、资质、评估等级、评估日期(`b1366`、`b1367`) | 整表初始化 + 增量 | 评估等级值域;评估口径登记来源 |
| 采购计划与订单 | 计划号、物料、计划量、下单量、计划期 | 增量 | 计划与订单的对应关系 |
| 供货履约 | 订单号、约定到货日、实际到货日、数量差异 | 增量 | 日期逻辑(实际不早于下单) |
| 付款计划 | 合同号、付款节点、金额、状态 | 增量 | 节点金额合计与合同金额勾稽 |
| 物料采购周期 | 物料编码、采购周期、统计期间、样本量 | 按期间 | 派生指标,登记计算口径来源,本环节不重算 |
| 到货时效与供应商履约率 | 供应商、统计期间、时效指标、履约率(`b1368`) | 按期间 | 同上;口径与指标知识库登记一致 |
#### 1.2.4 仓储管理系统(WMS)
仓储数据在本项目中的作用不止于库存控制场景。**批次号是连接仓储与质量两个域的唯一纽带**:一批物料从入库到投产,其检验记录、使用去向、最终产品的质量结论,全靠批次号串起来。因此本节把「批次号与质量域检验批次的对应关系」列为校验重点之首——这一对应断了,库存控制智能化与质量类场景之间就无法做联合分析。
实际情况是两个系统的批次编号规则可能不同:WMS 按入库批次编号,质量系统按检验批次编号,一个入库批次可能分几次检验,一次检验也可能覆盖多个入库批次。受理时不试图把两套编号统一成一套,而是建立批次对应表,记录多对多关系及其产生原因。统一编号属业务流程调整,不在本项目范围内;建立对应表则是数据加工侧可以完成的工作。
仓库、货位、库位三级的编码唯一性与层级一致性是基础校验,看似简单,实践中问题不少:历史停用的货位仍在编码表中、货位编码被重复使用、库位挂在已撤销的货位下。这类问题在受理阶段按层级闭环校验逐条检出,检出的进差异台账,由仓储部门确认处置方式后再决定是否纳入。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 仓库与货位 | 仓库编码、货位编码、库区、容量(`b1368`) | 整表初始化 | 编码唯一性与层级关系 |
| 物料与库存批次 | 物料编码、批次号、入库日期、供应商、数量 | 增量 | 批次号与质量域检验批次的对应关系 |
| 库位信息 | 库位编码、物料、占用状态 | 整表初始化 + 增量 | 与货位的层级一致 |
| 实时库存存量 | 物料、仓库、可用量、占用量、快照时刻(`b1369`) | 按时点快照 | 快照时刻必填;与业务时点的偏差登记 |
| 出入库记录 | 单据号、类型、物料、批次、数量、时间 | 流水增量 | 收发存平衡校验 |
#### 1.2.5 历史销量、订单量与销售预测
这三类数据是供需计划域中**唯一直接构成预测类任务标签**的部分,它们的受理口径因此格外要紧。表中「层级口径统一到物料清单层级」一条是关键:历史销量在不同报表中可能按产品型号、按产品系列、按客户行业分别汇总,三种口径的数字互不可加。若受理时不统一层级,后续建模会把不同粒度的数字混在一起,得到的预测模型在任何粒度上都不准。统一到物料清单层级是因为这一层级可以向上聚合成任何更粗的口径,反之不行。
「预测值与实际值分列保存,不做覆盖」这一条针对的是一个常见的数据陷阱。业务系统中销售预测常在期末被实际值替换,于是历史数据里只剩实际值,预测的准确程度无从回溯。而对本项目而言,**历史预测与历史实际的差,正是预测类场景需要学习的对象**——它包含了预测偏差的系统性规律(哪类产品常被高估、哪个季度常被低估)。因此两列并存,并保留预测版本与编制部门,使偏差可按版本与部门分解。
与 CRM 订单的勾稽校验在此处的作用是交叉验证:同一笔订单在 CRM 与销售统计中的数量应一致,不一致说明其中一侧有口径问题(常见成因是退货与变更的处理方式不同)。差异逐条登记并由业务部门确认以哪一侧为准,确认结果写入数据源登记表。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 历史销量 | 年月、物料或产品层级、数量、金额(`b1369`) | 按年月整表 | 层级口径统一到物料清单层级 |
| 历史订单量 | 年月、客户、物料、数量 | 按年月整表 | 与 CRM 订单勾稽 |
| 销售预测 | 预测版本、预测期间、物料、预测量、编制部门 | 按版本 | 预测值与实际值分列保存,不做覆盖 |
#### 1.2.6 本域的时点口径
库存账、实物库存与项目占用分属不同系统,三者时点不一致时下游的供需样本就会自相矛盾。本方案的做法是:每个批次统一记录一个业务时点,三类数据按该时点取快照;取不到同一时点的数据在批次说明中注明实际时点与偏差,偏差超出批次计划约定范围时提示下游环节。
### 1.3 产品工艺设计域
本域对应产品工艺设计数据集的原始数据底座(`b1371`—`b1375`)。
本域的核心受理对象是历史工艺样本,招标文件给出的规模是 63 万张。这个量级本身不构成困难,困难在于**它们的形态跨度极大**:近几年的图纸在 PLM 中有结构化的属性与版本记录,更早的只有扫描件,再往前还有一部分是纸质件的翻拍,图面有折痕、有手写批注、有盖章遮挡。同一套工艺规程,可能同时存在系统内的受控版本、车间现场的打印件扫描、以及工艺员个人整理的汇总表三个来源,三者的内容不完全一致。
对此,受理阶段做两件事。第一是**按资料品质分档登记**:电子原生件、清晰扫描件、低质扫描件与翻拍件三档分别统计数量,并各自记录可提取的要素范围。分档不是为了把低质资料排除——低质件往往是年代较早、工艺信息最独特的那部分——而是为了让后续各环节对它们有不同的处理预期与不同的质量判据。
第二是**同一对象多来源时的取舍规则**:以 PLM 受控版本为准,车间打印件与个人汇总表作为补充,三者不一致时在差异台账中登记并由工艺工程师判定,判定结果回写 PLM 的做法由招标方决定,本项目侧只保留判定记录。
按企业实际有效的工艺路线、工序目录和生产记录建立备料相关工序清单,登记工序标识、名称、适用零件或产品、设备及工装条件、技术文件版本和有效时间。设计规定值、设备或作业设定值、过程实际测量值及检验结果分别采集和标识,保留单位、精度、适用范围、来源位置和记录时间,不将不同性质的数值合并为同一参数。
工艺规程、生产执行记录及获准取得的其他有效资料按实际清点结果登记来源和覆盖范围。手工记录采集时核对原件、形成日期、业务对象、填写及确认信息,数字化结果与原件关联;无法辨认、缺少签认或对象不明的内容单列核实,不以经验补写工艺参数。
比较设计与实际参数时,先核对产品配置、工序版本、设备、工况、测量位置和时间等适用条件,并依据有效工艺及检验要求解释差异。差异不能直接作为错误、原因或新的工艺规律。资料缺失时登记受影响对象、补采来源、责任人和计划,补齐并验证后更新成果;无法补齐的内容保持明确限制,不计入依赖该内容的合格成果,也不以数据卡披露代替应完成的交付要求。
#### 1.3.1 PLM 结构化数据采集
采集PLM中的BOM、工序数据、变更记录和零部件信息,核对各对象的实际标识、版本机制、批准与发布状态、适用产品配置以及生效和失效条件。保留对象原始内容、关联文件及来源位置,建立产品、零部件、BOM、工艺路线和工序之间的有效关系。
对可取得的历史版本分别保存形成时间、业务有效时间、适用范围和变更依据,区分草稿、已审定、已发布、已失效等实际状态,不将版本号大小或导出时间作为唯一有效性依据。不同配置、型号、项目或工况下的并存版本分别管理,不能误合并为单一全局最新版本。
变更记录采集实际涉及的对象、前后内容、批准及实施条件、原因和关联证据。变更原因缺失时登记待核实,不仅凭参数增减或工序数量变化推断原因;变更效果需结合对应生产和质量证据核查,不能将未经验证的推断写成工艺知识或监督标签。
对BOM、工序、变更和零部件对象分别调查接口、可取得历史范围、版本及删除或失效机制、字段映射和权限条件,验证初始提取、增量识别、断点续取、重试和补采方式。按实际产品配置及有效版本取得相互一致的数据,记录提取条件、任务、对象清单、数量和校验结果,避免跨版本拼接父子项或工序。
BOM按完整适用结构或经确认的分段范围采集,核对根对象、父子引用、数量单位和结构完整性;工序和零部件按可靠变化依据跟踪,变更记录保留实际可得的完整内容及其关联。源端不具备可靠增量或历史查询能力时,按获准并经验证的其他方式补充采集,不把接口不支持的历史数据列为已取得。
历史技术状态查询依据已保存的对象版本、有效时间、配置条件和变更记录进行。证据覆盖完整的范围内给出可复核状态;版本缺失、时间冲突或引用不完整时标记缺口和影响对象,安排补证并限制相应使用,不推断或虚构任意历史时点的工艺状态。
对用于物料展开的BOM结构,先确定根对象、产品配置、有效版本、生效条件和实际父子装配关系,再检查直接自引用、间接环路、缺失子项、重复关系、数量单位及引用版本一致性。以对象标识、版本和适用配置区分节点,不把历史版本、替代关系或其他非装配关系混入同一层级;结构展开设置访问记录和循环检测,异常时停止受影响展开,保存问题路径及关联对象。
发现结构问题后,隔离依赖该结构的展开结果和样本,核对源端资料、引用关系及提取完整性,由PLM管理及相关设计人员按职责核实。保留原始数据和差异记录,修订或补采后重新执行结构与结果检查;不能删除异常边后自行拼成未经确认的BOM,也不能仅因发现问题而丢失原始追溯记录。
工序标识和名称保留源值,按经确认的有效工序目录、本体定义及适用产品建立映射。检查同名异义、异名同义、复合工序、重复执行和返工情况,不能仅按名称合并工序或强制匹配固定数量的目录。未覆盖或含义不明的工序提交业务专家审查,确认后更新目录及映射版本,并复核受影响的设计、制造关联和样本。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 物料清单(BOM) | 物料清单编号、层级、父子项、用量、版本(`b1371`) | 按产品或项目整表 + 版本增量 | 层级闭环(无自引用);版本有效性 |
| 工序数据 | 工序号、工序名称、所属零件、设备资源、工时定额(`b1371`) | 增量 | 工序名称取备料工序字典值域 |
| 变更记录 | 变更单号、对象、变更前后、生效日期、原因(`b1372`) | 增量 | 生效日期与版本对应 |
| 零部件信息 | 零件号、名称、材料牌号、规格、重量(`b1372`) | 整表初始化 + 增量 | 零件号与物料编码的映射 |
#### 1.3.2 设计文件与规范资料采集
设计文件采集前登记实际资料来源、访问权限、目录结构、文件类型和可用元数据,核实PLM附件及其他获准档案中可取得的对象范围。保留源系统文件标识、附件关系、原始文件名、存放位置和已有属性,同时为接收对象建立稳定标识和内容校验记录,不能因属于文件而丢弃其已有结构化信息。
以设计主体、对象或图号、适用产品配置、版本、批准状态和有效时间等实际信息识别设计对象,分别管理业务对象与物理文件。一份图纸的不同格式、副本或扫描件通过经确认的关系归集;图号相同但版本、适用配置或主体不同的资料分别保留,不仅凭图号或文件名自动合并。
重复检查结合内容校验、页面及图幅、元数据和业务语义进行。确认内容等同的副本保留来源及复制关系,统计时区分物理文件数、去重后的有效对象数和版本数,避免重复计入合格规模。内容不一致、版本不明或对象身份冲突的资料登记具体差异和证据位置,审查确认后更新关系及加工结果,未确认前不合并为同一有效设计。
按文件实际格式和内部内容识别解析方式,检查文件能否打开、页数或图幅是否完整、所需字体及引用资源是否可用。PDF分别核查文字层、矢量对象、嵌入图像和页面结构,不能仅按扩展名认定为扫描件;DWG、DXF核查实际图层、图元、块、尺寸标注、单位、坐标及外部参照,Word等文档保留正文、表格、图像、页眉页脚及附件关联。
解析结果与原始文件逐项对应,记录文字、尺寸、符号、表格、图形和关键技术条件的位置及提取状态。内容提取不完整、资源缺失或格式不受支持时,按实际问题补齐依赖、采用获准转换或人工复核方式,保留转换配置、前后文件和差异;不能把转换成功或文件可打开直接视为内容完整准确。
接收清单按实际文件类型核验对象标识、版本、页数或图幅、附件范围及业务关联。选型方案核对对应项目和适用配置,存在合同关联时再核对合同;图纸与卡片根据有效引用和技术状态建立关系,不预设一一对应。清点数量、内容检查和业务关联分别记录,任何一项缺失均不得被单纯文件计数替代。
采集适用于企业设计和工艺业务的机械制图标准、工艺编制准则及相关有效技术规定,登记编号、名称、版本、发布和批准信息、生效时间、适用产品及使用许可。核对图纸实际采用的标准和技术状态,将符号、尺寸、图面表达、工序命名和参数等解析规则关联到具体有效依据;企业图层及模板约定按实际取得的文件或经确认规则登记,不假定通用标准已包含所有企业要求。
依赖专业定义的解析、规范化和知识抽取在规则核实后执行。依据暂缺时可在获准范围内保留文件原件并完成格式、完整性和基础结构检查,但涉及含义不明的图层、符号、参数和工序不得自动赋予确定性业务结论。补齐依据或完成专业确认后,更新规则版本,验证受影响的解析与抽取结果。
标准和准则作为知识来源或训练资料使用时,另行核验允许的取得、复制、加工和使用范围,保留来源、版本及引用位置。历史文件解释依据与当前生产规则分别管理,未经确认不把当前版本定义覆盖到旧图纸,也不将许可不允许的标准全文投入模型训练或对外交付。
| 文件类型 | 格式 | 受理方式 | 校验重点 |
|---|---|---|---|
| 选型方案 | PDF/Word(`b1372`) | 按项目号归集 | 可解析性;项目号可回指合同 |
| 工艺图纸 | PDF(`b1373`) | 按图号批量 | 图号可识别;页数与清册一致 |
| CAD 图纸 | DWG/DXF(`b1373`) | 按图号或项目号分批读取 | 原生可解析;图层与图元完整 |
| 工艺卡片 | PDF(`b1373`) | 按卡片号批量 | 卡片号与图号的配对关系 |
| 机械制图标准 | 文档(`b1374`) | 按标准号归集 | 标准号、版本状态 |
| 工艺编制准则 | 文档(`b1374`) | 按文件编号归集 | 发布部门、生效日期 |
原生图纸在批准的内网环境内读取和解析,按数据授权范围配置专用访问账号、目录或接口权限、处理资源及审计记录,原始文件不上传公共网络或未获准的外部服务。批量导出能力不足时,采用源系统实际支持且经批准的分批接口、受控导出或其他获取方式,不绕过访问限制或修改源系统安全配置。
分批任务按设计对象、适用版本和实际来源定位生成清单,记录计划文件、已取得文件、失败项、数量及校验值。根据源系统负荷和允许作业窗口控制批量、并发及重试,重试核对对象版本和已接收结果,避免重复入库;采集中发生版本变化时记录并重新核对受影响对象,不将多个时点的不一致内容拼成同一版本。
解析在受控工作区保存原件、必要依赖、工具及配置版本和输出,核查图纸及外部参照完整性。失败、缺失和不支持的文件保留问题清单,补齐资源或采用获准转换后复检;交付加工结果前核验内容准确性、追溯关系及权限,任务完成后按批准的保留规则管理临时副本和账号权限。
#### 1.3.3 图纸与工艺卡片关联登记
清点实际取得的图纸和工艺卡片,分别核实对象标识、版本、适用零件或产品、工艺路线、批准与发布状态、生效时间及来源。按有效文件中的明确引用、PLM关联及实际变更记录建立图纸与卡片关系,核对适用配置和技术状态,登记一对一、一对多、多对一或不同版本之间的实际关联。
图号相同、名称近似、材料相同或文件目录相邻仅能形成待核实线索,不能直接证明有效关联。缺少卡片、缺少图纸、版本不匹配、审批状态不明或多份文件冲突时,记录缺口和候选依据,取得有效补充资料并完成专业确认后再使用。缺失资料不通过模型生成后冒充历史原件,也不以关联置信分数替代业务证据。
构建图纸与工艺卡监督样本前,核验文件内容、实际关联、版本适用性、使用许可和质量结果,保留来源位置、确认记录及加工过程。未经确认的关联不得作为正确标签交付;合格样本数量按实际通过检查的有效对象统计,不按假定图纸总量或文件副本数推算。
| 配对登记字段 | 说明 | 取值来源 |
|---|---|---|
| 图号 | 主键之一 | 图纸标题栏或文件名解析 |
| 工艺卡片号 | 主键之一 | 卡片抬头或文件名解析 |
| 物料清单行号 | 关联零件在物料清单中的位置 | PLM 物料清单 |
| 零件名称与材料牌号 | 核对配对正确性的辅助字段 | 图纸标题栏、PLM 零部件信息 |
| 配对判定依据 | 自动匹配、人工确认、待核对 | 受理作业结果 |
| 配对置信标记 | 高(图号与卡片号完全对应)、中(经零件名称与材料牌号交叉核对)、低(仅目录位置相邻) | 受理作业结果 |
图纸与卡片的候选关联由有效引用、系统关系和经确认的业务属性产生,记录候选依据及规则版本。来源仅为文件目录、相近名称或口头线索的,登记为待核实线索,补充有效文件或形成可追溯的业务确认记录后再判断,不以人员记忆直接形成确定性关系。
候选对象进入受控核查工作区,由具备相应专业能力的人员检查技术状态、适用配置、原文引用和冲突项。通过核查的关系发布有效版本,未通过或证据不足的保持待核实、退回或否定状态,并保留原因和处理记录。
正式样本和知识检索仅使用满足相应用途条件的有效关系。待核实候选可供获准的审核人员检索核对,但须与正式知识索引分开管理并明确状态,不向生产或模型应用输出为已确认工艺事实,也不作为训练标签或合成知识依据。关系纠正或撤回后,更新受影响的索引、样本及使用状态并复核处理结果。
### 1.4 制造过程域数据采集
制造过程域采集MES生产工单、生产进度及焊丝牌号、直径等业务记录;采集SCADA设备电流、电压、温度、湿度和运行状态,以及焊接实时与预设电流、电压、焊接速度、焊枪摆动振幅与频率、停留时间、变位机状态、送丝速度、保护气体流量、起弧与收弧等过程数据,并取得层间温度、熔池图像及焊后焊道表面图像。对设定值、实时测量值、设备状态和事件分别标识,保存原始单位、精度、采集配置和来源。
从热处理群控系统及加装传感器采集工件淬火前后表面温度、加热功率和频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度,以及设备运行和启停状态、运行时长、报警代码;从EMS采集能耗时序;从EAM、SOS采集设备基础信息与台账、点检、维修工单、报警规则与数据、报警确认信息、诊断结论、处置建议及设备档案、维修记录、诊断报告和故障案例。记录各对象实际来源、业务时间、版本、适用设备及使用权限。
对事务、时序、图像、视频及文档分别核实实际生成机制、采集频率、时间戳、时钟来源和业务对象关联。连续采集、事件触发、抽检和人工记录按真实机制登记,核查设备、工件、工序、焊道或炉次的有效关系,再按具体任务开展时间和对象对齐。不存在或未确认的测点、关联和字段列入调查与补采计划,不将拟采集内容写成已经存在的现场数据。
按实际测点和设备登记采集机制、预期频率或触发条件、允许作业状态及应采集时间范围,检查时间戳、记录序列、重复、乱序和缺失。区分有效零值、未触发采样、设备停机、通信异常、传感器故障、数据未到达和来源不明等状态,结合设备日志、采集任务、运行状态和业务记录核实原因;不能只按缺失持续时间判定故障类型。
连续缺失和间断缺失分别记录起止时间、对象、影响样本和已核实原因。优先核查源端缓存、合法可用的历史记录或其他同等有效来源能否补采,记录补采依据、范围、结果及复核。需要设备或接口修复时,按实际责任安排处理并验证恢复结果,历史缺失不因采集恢复而视为已补齐。
数据完整性按已确认的应采集对象、运行条件和时间范围计算。经证据确认本不应采样的时段按有效规则处理,实际应采而缺失的部分如实计入问题;调整统计范围须保留依据及版本,不能为提高指标排除故障或缺失时段。数据卡披露缺失范围和限制,不代替必需的质量条件及规模要求。
仅在数据类型、工艺状态、变化特征和任务用途允许且经过验证时生成插补派生数据,记录方法、参数、使用的前后文、缺失掩码及插补比例。停机、报警、起收弧、快速变化或跨工况边界等不得未经验证平滑跨越;原始测量与插补值分别保存,不能将插补标成实测。不能可靠修复的片段隔离或限制用途,补齐合格数据后完成相关交付。
登记各时序通道的实际采样或触发机制、名义周期、实际时间间隔、时间戳来源、精度、单位和设备配置版本。原始数据按实际取得顺序和时间信息保存,分别记录重复、乱序、迟到、缺失及质量标志,不把接收时间直接当作测量时间。
根据具体任务确定时间窗口、比较对象和对齐要求,核对设备时钟、同步记录及可验证的偏差。只有具备依据时才修正时间,保存原始与修正时间及方法;对齐依据不足时标记状态和影响范围,不通过随意移动曲线追求表面一致。
需要降采样、窗口聚合或重采样时,按信号性质和业务目的验证方法及参数,明确窗口边界、统计量、滤波、缺失处理和事件保留要求。连续测量、离散状态、累计量和事件记录分别处理,避免用平均值代替状态或跨起弧、停机等工况边界混合;提高采样密度生成的派生值不得标成新增实测点。
派生视图保存来源范围、输入版本、处理配置、时间映射和质量结果,与原始序列保持对应。通过代表性工况和异常片段检查信息损失及任务影响,满足相应用途要求后使用;不同任务可以采用不同合法、有效的时间表示,不为统一粒度而强制丢弃必要信息。
图像和视频按实际采集来源、设备、时间、工件或焊道、工序、图像类型及使用许可登记,保存原始文件、分辨率、实际帧率或触发方式、必要采集参数及可得的质量标志。检查内容完整性、清晰度、遮挡、过曝、重复、时间和对象关联,区分熔池图像、焊后表面图像、热成像及其他实际类型,不将普通视觉图像的像素直接解释为测温结果。
已有检验或诊断结论的资料,核对结论实际对应对象、位置、时间、方法、覆盖范围、版本和审查状态,保留报告证据及标签来源。报告中存在合格结论不代表所有图像区域均可标为无缺陷,批次或抽样结果也不能直接作为每张图片的逐点真值;不适用或关系不明的结论不得用于确定性标注。
尚无适用标签的资料在完成许可和基础质量检查后,按实际用途进入受控待标注或其他合格加工流程。由具备相应专业能力的人员依据有效规范、原始证据及标注规则开展标注和复核,记录分歧、裁决及质量结果;无法从图像或有效资料中判断的缺陷类型、等级或原因保留未知,不根据视觉相似性编造检验事实。
监督样本在对象关联、标签依据、专家或质量复核及用途条件全部满足后方可放行。标注计划根据清点结果落实人员、任务量、规则和补采安排,资料不足时补充合格来源或重新采集;不能以历史标签不足为由降低已约定的成果规模或质量要求。
调查生产执行系统实际工单、派工、报工、工序执行、完工、返工及取消等对象和状态,明确各业务路径适用的必要记录与关系。保留源系统、组织、工单及明细标识、工序或路线、工件或批次、设备、执行次数、状态和时间,按有效规则建立关联,不仅凭工单号字符串聚合不同业务。
核查应发生事件是否具备实际记录,区分尚未执行、不适用、已取消、正常跳转、数据迟到和实际缺失。返工、并行工序、拆分合并、委外及跨班次等实际流程按各自关系和时间保留,不能为满足线性顺序补造事件,原始记录与后续修订分别保存。
按工单、工序、对象和时段登记缺失或冲突及其影响,结合完整性、关联准确性、时间一致性、权限和任务所需证据确定可用范围。需要完整执行链的分析或样本不使用缺少必要环节的数据;不依赖缺失环节的其他用途须经对应质量检查,不能仅凭总体缺环比例判断所有数据可用或不可用。补采和核实后重新检查关联成果,保留整改与放行记录。
#### 1.4.1 制造过程数据采集与检查
按MES、SCADA、热处理群控及加装传感器、EMS、EAM和SOS等实际来源建立制造过程数据清单,分别登记结构化记录、连续测量、状态与事件、图像视频和文档的对象、字段、生成机制、时间信息、版本及使用权限。一个来源包含多种形态时分别配置采集和检查,不以系统名称推定只有一种数据。
结构化对象根据核实后的接口、主键、版本和变更机制取得初始及后续记录;时序按测点、设备、业务状态和时间范围接收,保留实际采样与质量标志;图像及视频按连续、事件触发或实际拍摄机制采集,记录帧或文件与设备、作业和对象的关系;文档保存原件、版本、附件及来源位置。
各采集方式分别验证完整性、时间、重复、对象关联、权限及失败恢复。任务创建、执行、重试和补采均登记输入范围、实际结果与异常,未满足准入条件的数据保持隔离。跨模态关联在各自检查通过且有可靠业务和时间依据后建立,不因同批接收就推定属于同一工件或事件。
焊接过程分别采集实际与预设电流、电压,以及速度、摆动振幅和频率、停留时间、送丝速度、保护气体流量、变位机状态、起弧和收弧等数据,登记测点定义、单位、采样或事件机制、设备及程序配置版本。预设值、测量值和状态事件保留各自属性,缺失参数列明来源与补采安排,不以相近通道代替未采集的参数。
依据有效生产记录关联焊接工位、设备、工件、接头、焊缝、焊道或实际层次、作业次数和返修状态。起弧与收弧作为过程分段依据之一,与任务、程序及对象记录共同核验;中断、分段施焊、重复起弧及返修均单独记录,不能默认每段电流数据对应一条完整且唯一的焊缝。
在原始序列保留基础上,按具体任务形成作业或事件窗口,登记实际起止、前后背景区间、缺失情况和与原始文件的定位关系。源端按固定文件分段提供数据时保留顺序与边界,核验后可组合为有依据的业务窗口;不能通过拼接补造连续性,也不能将尚未验证完整性的窗口直接作为合格样本。
进场调查逐项核实制造过程数据源、测点覆盖、接口或导出方式、历史保留范围、访问授权、资源限制及相关厂商配合条件,形成可追踪的数据源清单和缺口记录。每个缺口注明对象、时间范围、必要字段、受影响用途、确认依据、责任人及处理计划,不将待核实来源列为已取得数据。
对接口未开放、历史记录缺失、测点不完整或格式受限等情况,核查合法可用的缓存、档案和同等有效来源,落实授权取数、厂商接口配合、获准分批导出、补充采集或必要设备联调等措施。实施前核实权限、工作量、源系统负荷及质量要求,完成后检查实际覆盖、完整性和可用性。
持续核算各业务域、用途子集和场景验证所需的有效数据,跟踪补齐进度及质量结果。未取得或未通过检查的数据不计入合格规模,缺口和限制如实登记并按项目程序协调解决;数据卡披露和风险记录不代替应完成的规模、质量、功能及场景验证要求,不擅自缩减交付范围。
| 来源 | 受理内容 | 形态 | 受理方式 |
|---|---|---|---|
| 制造执行系统(MES) | 生产工单、生产进度、焊丝牌号与直径(`b1376`) | 结构化 | 增量 |
| 数据采集与监控系统(SCADA)设备侧 | 设备电流、电压、温度、湿度、运行状态(`b1377`) | 时序 | 按测点与时间窗 |
| SCADA 焊接侧 | 实时电流、实时电压、预设电流、预设电压、焊接速度、焊枪摆动振幅、摆动频率、焊枪停留时间、变位机状态、送丝速度、保护气体流量、起弧与收弧(`b1377`—`b1379`) | 时序 + 事件 | 按焊接作业时间窗 |
| 焊接过程补充采集 | 层间温度、熔池图像、焊后焊道表面图像(`b1380`) | 时序 + 图像 | 按焊道 |
| 热处理群控系统与加装传感器 | 工件淬火前后表面温度、加热功率、频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度(`b1380`、`b1381`) | 时序 | 按炉次或工件 |
| 热处理设备状态 | 设备运行状态、启停状态、运行时长、设备报警代码(`b1381`、`b1382`) | 时序 + 事件 | 按设备与时间窗 |
| 能源管理系统(EMS) | 能耗时序数据(`b1383`) | 时序 | 按测点与时间窗 |
| 设备资产管理系统(EAM) | 设备基础信息、设备台账、点检、维修工单(`b1383`、`b1384`) | 结构化 | 整表初始化 + 增量 |
| 售后服务系统(SOS) | 报警规则、报警数据、报警确认信息、诊断结论与处置建议(`b1384`、`b1385`) | 结构化 + 事件 | 增量 |
| 设备类文档 | 设备档案、维修记录、诊断报告、故障案例(`b1385`) | 非结构化 | 按设备号归集 |
#### 1.4.2 时序数据采集参数与时间窗口
核实时序信号的测量对象、传感器及设备配置、采样或触发机制、时间精度、原始单位、量程和质量标志。记录实际取得的数据分辨率及缺失范围,不能将源系统已经聚合或降采样的结果视为更高频原始测量,也不能通过插值生成不存在的真实采样信息。
跨设备或产线比较前,确认信号含义、单位、测量位置、设备状态、产品和工艺条件及时间基准。不同采样配置的记录保留原始时间信息,按实际用途选择可验证的事件对齐、窗口统计、适当重采样或其他处理方式;不要求所有数据强制变成同一步长,也不因采样不同就直接否定全部比较用途。
处理方案通过实际可得的代表性信号、工况和异常片段验证,检查峰值、持续时间、状态转换、事件顺序及任务相关特征是否被改变。与缺陷、故障或工艺质量有关的判断须有相应业务和检验依据,不能仅凭采样频率或曲线波动推定因果关系。验证结果、配置、限制和质量检查记录与派生数据一并保存。
保存获准取得的原始时序、源端元数据、采集配置及完整性检查记录,按设备、测点、时间范围和对象版本组织受控存储。原始序列与后续清洗、时间修正、重采样或窗口统计结果分别管理,保留原始值、异常和缺失标志,不用派生结果覆盖原记录。
依据实际任务生成所需的派生数据,登记输入范围、处理任务、规则及算子版本、参数、时间映射、输出和质量结果。多个任务复用同一有效派生结果时通过版本及权限控制,任务条件或规则变化后重新验证;不以统一步长作为所有训练及验证用途的默认输入。
调查源系统保留策略和可恢复范围,在批准的计划内落实必要历史数据采集、备份、容量核算、访问控制及恢复检查。已采集数据若频率、精度、时段或测点覆盖不能满足用途要求,仍须评估补采或新增有效数据来源;不能以现有原始副本替代缺失信息,后续用途对频率、精度、时段或测点覆盖提出更高要求时,按补采流程重新取数。
依据具体任务、设备和工艺记录定义业务窗口,分别确定起止事件、适用对象、前后背景区间、最短必要覆盖及中断处理规则。焊接窗口核对实际作业、起收弧、焊道和返修关系;热处理窗口按对应设备与工件的加热、淬火、冷却、返热等实际阶段及有效记录确定,不将所有过程固定视为同一种炉次。
原始数据按源端实际文件或记录分段接收,保存顺序、时间和来源关系。形成业务窗口时核查段间连续性、重复、缺失和事件完整性,需要组合的记录按可靠对象及时间证据关联;缺少必要阶段或存在无法确认的中断时标记影响范围,不把不完整过程自动登记为完整样本。
设备状态和报警窗口按实际事件及用途确定,记录触发、持续、恢复和确认等可得状态。故障分析可按明确目的使用事件前后资料;用于预测或在线识别的历史样本只能使用其判定时点可获得的信息,不能把后续处置或恢复结果放入过去输入。
能耗数据保留原始计量范围和粒度,按实际分析对象生成设备、工序、作业、班次、日或其他经确认的统计窗口,核对累计量变化、状态和时间覆盖。各窗口均经内容、对象、时间和用途检查后再进入样本加工,不能以窗口已划定代替质量判定。
| 数据组 | 测点数量级 | 原始采样 | 受理时间窗 | 受理后保留 |
|---|---|---|---|---|
| 焊接参数流 | 按工位与焊枪计,测点清单按 1.4.5 的现场调查结论逐工位确定 | 设备侧秒级或亚秒级 | 按焊接作业起止 + 前后各一段余量 | 原始密度一份 + 统一步长一份 |
| 热处理炉次参数 | 按炉台计 | 秒级 | 按开炉至完工 | 原始密度一份 + 统一步长一份 |
| 设备状态与报警 | 按设备计 | 事件触发 | 按事件时刻 + 前后窗 | 事件原样保留 |
| 能耗 | 按计量点计 | 分钟级 | 按自然日 | 统一步长 |
| 在役装备测点 | 按设备与测点计 | 按远程运维平台既有配置 | 按事件与定期取样 | 统一步长 + 事件窗原始密度 |
#### 1.4.3 焊接实时参数与预设参数关联采集
焊接参数按工艺要求、设备实际设定和过程实际测量分别登记。工艺要求记录有效工艺规程或卡片中的目标、范围、适用材料与接头、工序及版本;设备设定记录实际程序、配置、下发和生效证据及操作变更;测量记录实际传感器或反馈通道、单位、采样机制、质量状态和时间。
实时电流、实时电压与预设电流、预设电压按各自真实来源采集,核对字段定义及适用设备。焊接速度、摆动振幅和频率等其他参数同样核实实际可得的设计、设定或测量属性,不能把工艺文件中的推荐值当作当时已经生效的设备设定,也不能将设备计算值冒充独立实测反馈。
各类数据分别保存原值、来源对象、版本和适用时间,通过经核实的设备、程序、任务及工件焊道关系建立关联。缺少实际设定或反馈证据的参数记录缺口并安排核实补采,不以另一类数值替代后标为已取得。
参数接收时保留工艺规定值、设备设定值和实际测量值的独立字段及属性,登记字段来源、单位、含义、更新时间和实际变化机制。设备设定可能随程序、工艺阶段、操作或控制方式变化,按实际生效记录保存,不预设在整个焊缝内恒定;实时波动记录其客观状态,不从曲线形态直接推断物理原因。
关联前核实同一设备、通道、参数定义、工艺阶段、任务及时间范围,检查时钟、延迟、版本和单位可比性。仅对具有可靠生效区间和时间依据的设定与测量建立相应关系,记录匹配方式、有效范围和无法匹配的点或片段。
需要逐点配对的作业按经验证的时间规则和信号特征执行,保留原始时间、校正依据、插值或保持规则及质量标志。不能可靠配对的片段保持未确认状态,不通过任意前向填充、移动时间轴或以工艺默认值替代设定来生成完整偏差序列;后续补证后形成新版本并复核关联结果。
对已确认可比的实时值与实际生效设定,按相同单位、工艺阶段及时间范围计算差值、适用的相对差异、超出有效阈值的持续时间等派生信息。保留原始测量、设定来源、匹配关系、计算规则和结果;设定为零、接近零或定义不适合比例比较时,不直接计算或传播无意义的相对偏差。
工艺参数评价同时核对实际绝对值、设定及工艺允许范围、材料和接头、设备状态、作业阶段、相关过程记录和检验依据。缺陷归因及优化建议须有相应证据和业务专家审查,不能因偏差较大就直接标定缺陷原因,也不能把偏差较小视为质量合格证明。
缺少可信设定值的序列不用于依赖实时与设定差异的确定性标签或评价;其用于其他训练、检索、状态分析或验证任务时,分别核查授权、来源、对象关联、标签证据、质量及独立性条件。数据用途按实际满足的条件确定,不以是否有设定值一项条件替代全部质量判断。
| 参数对 | 实时值来源与采样 | 给定值来源与变更粒度 | 配对产出 |
|---|---|---|---|
| 电流(实时电流/预设电流) | SCADA 焊接侧,秒级或亚秒级 | 焊机程序参数表的预设电流,按程序号变更 | 逐点绝对偏差、相对偏差、偏离持续时长 |
| 电压(实时电压/预设电压) | SCADA 焊接侧,秒级或亚秒级 | 焊机程序参数表的预设电压,按程序号变更 | 逐点绝对偏差、相对偏差、偏离持续时长 |
| 焊接速度(实测/给定) | 焊接小车或机械手反馈,秒级 | 工艺卡与焊机程序参数表的给定速度,按焊道变更 | 逐点偏差、焊道均值偏差 |
| 焊枪摆动振幅(实测/给定) | 摆动机构反馈,秒级 | 程序参数表的摆幅设定,按程序号变更 | 逐点偏差、单周期峰值偏差 |
| 摆动频率(实测/给定) | 摆动机构反馈,按周期计 | 程序参数表的摆频设定,按程序号变更 | 周期均值偏差、周期抖动量 |
送丝速度、保护气体流量等参数分别核实实际测量、设备设定和工艺要求的来源及定义。具备可信的实际生效设定和可比测量时,按设备、单位、工艺阶段和时间建立关联并生成经验证的差异信息;只有工艺文件目标、只有设定或只有测量时分别保留其真实属性,不复制为另一类数据。
焊枪停留时间核对其表示设定时长、实际持续时间还是事件推导结果,保存单位、起止定义、来源及生效条件。变位机数据按实际提供的离散状态、位置、角度或其他对象分别登记,不能仅按字段名称统一归为事件;只采集获准且实际存在的信息,未提供的对象记录核实或补采需求。
起弧、收弧及其他有效事件用于核对工艺阶段和窗口,保留事件时间、设备、作业、状态及实际处理记录。时长比较、状态一致性或其他评价按真实定义和证据分别设置规则,不在缺少适用依据时强行计算数值偏差,也不一概免除必要的质量检查。
设备实际设定依据真实程序或配置版本及其下发、生效、执行或操作记录核验,记录设备、作业、适用阶段和有效时间。程序参数表仅作为配置资料时,应另行确认其是否在对应时段实际使用;不能因表中存在某参数就推定其已经下发或生效。
MES关联的工艺卡、PLM工艺规程和其他有效文件中的目标或范围作为工艺要求独立保存,记录版本、适用产品和生效条件。设备实际设定缺失时,登记缺口并核查合法可取得的控制日志、历史配置、作业记录或其他有效证据,不以工艺默认值填充为真实设定。
不同来源不一致时,保存各自原值、定义、版本、时间和适用范围,核实是文件变更、配置未生效、操作调整、时序错配还是其他实际原因。争议未解决前,不使用该关系生成确定性的执行偏差或违规标签;完成专业确认后发布相应关联版本,复核受影响的样本和统计。用于工艺要求比较的结果须明确比较对象,不与设备设定跟踪结果混为一类。
设定值时间关联依据源设备实际提供的配置、阶段、下发、生效、执行和操作变更记录建立,分别保存事件发生时间、记录时间及适用对象。核对设备与采集平台的时间基准、时钟偏差和延迟证据后,确定可验证的生效区间;存在时间不确定性时记录其范围和影响,不将软件接收时刻直接作为物理生效时刻。
只有在设定于所述区间内保持有效且变更记录完整的条件下,才按已验证规则生成对应保持序列。程序切换、手动调整、阶段变更、停机、重启、通信中断或记录缺失时重新核验有效性;无法确认的区间保留未知状态,不向后无限填充,不将上一次已知设定覆盖到整个缺失期。实际设定为连续变化或采用其他机制时,按真实形式处理,不强制转换为阶梯常数。
根据实际工艺与设备记录识别起弧、过程阶段、稳态及收弧等适用区间,保留阶段识别依据和版本。各阶段按其有效设定、控制定义及技术要求分别检查,不能一概豁免瞬态;若某项统计仅适用于稳态,明确其覆盖范围和未覆盖区间,不将该统计代替整个作业的质量结论。
保存原始序列、时间映射、设定生效关系、阶段标记及计算结果。配对后抽查事件边界、变更前后和异常区间,核对实际来源证据,未通过的关系隔离并修复复检后使用。
| 配对失败情形 | 判定依据 | 处置 |
|---|---|---|
| 实时段不带程序号 | 程序号字段为空或设备未上传 | 标记为无给定值,入预训练语料,不进偏差样本 |
| 程序号有、程序参数表无该版本 | 程序号在参数表中查不到 | 该段挂起待补,列入待补材料清单 |
| 受理时窗内多次程序切换 | 切换事件在同一受理窗内出现两次以上 | 按切换点拆分为多段,分别配对 |
| 工艺卡与程序参数表给定值不一致 | 同参数两来源数值超登记容差 | 两值并存,标注来源等级与差异量 |
| 疑似面板临时改参未回写 | 稳态段实时值中心与给定值长时间系统性偏离 | 以最后一次有效下发值为给定值,加「疑似人工干预」标记 |
偏差结果与原始参数流及实际设定记录关联保存,登记参数名称、定义、单位、设备与作业对象、原始和匹配时间、测量值、设定值、设定证据及版本、有效区间、工艺阶段、匹配状态、计算规则及输出质量。未确认设定或不适用比较的记录保留原因,不填入虚假的偏差值。
计算时明确有符号差值为实时值减去可比设定值,绝对差为该差值的绝对值;相对差异须明确所采用的公式、分母含义和适用条件。设定为零、接近零、参数含义不适合比值或输入无效时,不输出无意义比例;缺失及未确认状态与零偏差分别表示。汇总统计记录时间范围、有效样本覆盖和权重,不能跨缺失区间默认连续。
超出允许条件的判断依据实际适用且经确认的工艺规程、设备条件、材料、厚度、接头或位置、焊丝、工艺阶段及有效技术要求,关联具体规则版本和审查记录。知识本体用于统一参数定义和适用关系,不能仅凭通用值域替代专业工艺限值。无有效判定依据时保留客观测量和差异,不编造超差结论;相关结论及标签经规定复核后方可用于正式成果。
按设备、产线、产品、工艺阶段、参数和时间范围统计关联检查结果,分别登记应完成关联的对象数、已取得两侧数据的对象数、证据与时间检查通过的对象数,以及缺设定、缺测量、版本不明、时间冲突和其他失败情况。统计规则明确对象或有效时长的计量基础,同一结果中分子分母保持一致;不适用项单独列明技术依据及审查记录,不随意排除失败对象。
对需实际取得的实时电流、电压与预设电流、电压等数据,按具体来源落实接口、字段、版本及生效证据核实,登记缺口、补采任务、责任人和计划。首批结果用于发现问题和调整实施安排,不能替代规定的采集、质量及交付要求;未满足条件的关联不作为有效成果统计。
后续批次持续复核新增数据和修复结果,检查规则变更对已生产样本的影响。补齐后重新计算统计并保留前后版本,确认各项必要数据、关联证据、质量结果和使用条件满足要求后放行,不以「逐步接近」或附加说明作为未完成事项的验收依据。
#### 1.4.4 生产对象关联登记
调查制造过程数据中实际保存的设备、工位、工件、工序、焊缝或焊道、炉次及其他生产批次标识,核对来源系统、编码范围、有效时间和实际业务关系。接收参数、图像、视频和检验资料时保留已有对象信息,不以设备号与时间戳取代源端已经提供的有效标识。
依据真实生产任务、执行记录、装载或领用记录、采集配置及有效检验凭据建立对象关联,登记输入对象与版本、关系类型、证据位置、适用时间及确认状态。对于缺失、冲突或一对多关系,分别保存实际情况并组织核查,不强行合并为唯一工件或唯一焊道。
关联结果经对象、时间、数量范围和业务适用性检查后发布,未确认关系进入待核实清单并限制相应使用。源记录及其关联变化保留历史版本,修订后追查受影响样本、知识和统计结果,完成复检后恢复使用。
对拟用于特定工件或工序任务的数据,逐项核对设备过程记录、生产对象、材料批次、工艺要求、实际设定和检验结果之间的真实关系。每条关系保留适用对象、版本、时间、数量或检测覆盖范围及证据,不能仅因标识已填充或时间接近就认定关系有效。
监督样本须进一步核验标签来源、专业含义、检验方法和结论适用范围,完成规定的标注及质量复核。偏好数据还须具备实际可审查的候选回答、比较条件、偏好依据和审查记录,不能把过程参数与质量结果直接转换为偏好对;因果或归因标签须有相应证据,不由关联关系自动推出。
缺少某项对象关系的数据,按实际用途检查其来源、许可、内容、质量和必要证据。需要该关系的任务不使用未确认记录,其他用途另行审查,不能自动归入预训练。关联完成情况作为过程质量记录保存,与各用途的其他质量检查共同判定可用性,不将单一关联率换算为数据集的全部能力或合格程度。
| 锚定类型 | 锚定依据 | 判定规则 | 锚定失败的处置 |
|---|---|---|---|
| 焊接参数流 → 工件与焊道 | 设备号 + 时间区间 + MES 工单与报工 | 时间区间落在同一工单的同一工序报工区间内,且设备号与工单派工设备一致 | 标记为未锚定,单独存放 |
| 焊接图像 → 焊道 | 采集时点 + 相机位号 + 焊道标识 | 采集时点落在该焊道的焊接时间窗内 | 标记为未锚定 |
| 热处理参数 → 工件与炉次 | 炉台号 + 炉次工单 + 装炉清单 | 炉次工单的开完工时刻覆盖该段参数,装炉清单给出工件列表 | 保留炉次级锚定,工件级标记为未锚定 |
| 热处理参数 → 材料批次 | 装炉清单 + WMS 库存批次 | 工件所用物料批次可在库存批次中查到 | 材料批次字段留空并标记 |
| 在役装备时序 → 设备与测点 | 设备号 + 测点配置 | 测点配置在该时间窗内有效 | 测点配置变更期的数据单列 |
| 报警事件 → 维修事实 | 设备号 + 时间邻近 + 维修工单 | 维修工单的报修时刻在报警后约定时窗内,且部位一致 | 保留报警,故障标签留空 |
未完成必要对象关联的数据保留原始记录、已知元数据、待核实关系和限制状态,按权限及保留要求管理。对不依赖缺失关系的用途,另行核验来源、许可、内容质量及相应用途条件;未经检查不能直接加入预训练、检索或其他正式成果。
按业务领域、设备、工序、对象类型及用途统计关联完整性,分别列出应关联范围、已确认关系、待核实项和失败原因。采用明确且一致的对象数或有效时长计量基础,保留不适用项的依据,不能删除失败对象以提高成功率,也不能将批次级关联计成已经完成单件追溯。
逐项落实补证、补采和修复任务,记录责任人、计划、实际结果及复核结论。首批调查和试运行结果用于安排后续工作,不能替代规定的质量及交付条件;相关成果只有在所需对象关系和其他质量要求均满足后放行,未完成事项不能以「逐步接近」或数据卡披露作为完成依据。
层间温度与熔池图像采集分别采用满足相应用途的测温和图像采集设备,核对实际采购设备参数、安装位置、接口、采集范围及有效调试状态。建立设备、测点、相机和生产工位的标识关系,记录安装及位置变化、配置版本、时间同步和实际适用的校准或检查资料。
测温数据保存测量位置、单位、量程、必要测量条件及质量状态,核对温度对应的工件和工艺阶段;图像保存原始文件、分辨率、实际帧率或触发信息、曝光等可取得的有效配置和采集时间。普通熔池视觉图像不能因具有亮度或颜色变化直接生成温度真值,热成像测温结果需关联对应测温配置和有效原始数据。
联调时检查数据传输、时钟与业务事件对应、对象关联、连续性、丢帧或缺失、视场和清晰度、文件完整性及权限审计。异常数据保持问题记录,修复配置、补采或重新校验后复检;通过检查的资料形成可追溯批次和交接清单,不以接口连通代替采集质量验收。
#### 1.4.5 焊接设备程序与参数来源调查
按实际焊接工位、设备及控制器开展程序和参数来源调查,核实设备身份、型号及软件版本、程序或配置管理方式、历史保存范围、参数定义、变更机制和获准获取方式。清点可取得的配置文件、实际下发与生效记录、执行日志、操作变更及相关工单,分别记录已有资料、缺失内容、访问条件和证据位置。
调查程序标识是否唯一、是否重复使用、版本及适用设备如何确定,核对程序与实际任务、工艺阶段、工件或焊道之间的关系。工艺卡和规程中的目标与范围独立登记,不能作为设备实际生效设定缺失时的自动替代。
对每类来源验证字段含义、时间基准、格式、权限、导出完整性、版本一致性和异常恢复方式,形成经相关业务与技术人员确认的来源及关联规则。未确认事项列明责任人、补证措施和完成计划,涉及实际设定或对象关系的样本在条件满足并复检通过后生产;调查结论变化时更新规则版本并检查受影响成果。
| 调查项 | 内容 |
|---|---|
| 调查对象 | 焊接工位所用焊机的控制器程序存储,以及与之对应的程序参数记录。按工位逐台清点,先行覆盖参与首批场景验证的试点产线,再按批次扩展到其余工位 |
| 甲方责任部门 | 设备部门负责焊机控制器侧的程序号、程序存储方式与导出方式;工艺部门负责工艺卡与工艺规程中的给定值来源及其与程序号的对应关系;生产管理部门负责工位与工单的对应关系 |
| 我方对接岗位 | 数据受理岗牵头,预处理工程岗参与导出方式与格式的核定,安全管理岗参与导出通道的合规确认 |
分别登记设备、程序或配置版本、参数项和实际执行记录,使用稳定标识及明确关系保存实际业务结构。设备记录关联工位、控制器和软件版本;程序或配置记录关联适用设备、版本、工艺条件和有效状态;参数项记录实际定义、单位、值、范围和变更条件;执行记录关联任务、对象、阶段、实际生效配置及时间。
一台设备具有多个程序、同一程序存在多版本或不同适用配置时,分别保存各对象和有效关系,不以程序号字符串作为跨设备、跨时间的唯一身份。没有独立程序号的来源,依据实际控制机制登记能够可靠定位的配置与执行标识,不虚构程序号补齐字段。
调查统计分别给出应覆盖与已核实设备、配置版本、参数项及执行记录范围,列明缺失和无法关联对象。每条参数的实际适用范围由证据确定,不能以行数多或字段齐全代替设备覆盖和历史生效完整性;资料补齐或版本变化后重新核对关联并保留历史。
调查设备允许的参数调整方式,包括程序配置、面板操作及其他实际控制路径,核实各类调整是否记录操作时间、参数前后值、适用阶段和生效结果。分别登记程序文件回写、控制器日志、上位系统记录及其他有效审计来源,不因单一参数表未更新就认定所有操作无记录。
针对实际采集时段检查参数调整证据与执行配置的对应关系。允许修改但没有证据表明当时发生修改的,保持事实状态,不直接标注人工干预;已知发生修改但缺少完整值或生效时间的,明确受影响区间和缺口,不继续把旧设定作为确定基准。
设备功能调查结果作为制定采集及核实方案的依据,具体偏差样本仍须有相应时段真实生效设定、可比测量及质量检查记录。不能仅以「可改/不可改」「回写/不回写」的设备属性给全部历史数据统一判为可信或不可信。
| 层次 | 采集字段 | 用途 |
|---|---|---|
| 焊机台账 | 焊机编号、所在工位、焊接方法、控制器型式与软件版本、可存储程序数、程序导出方式(控制器界面导出、网口读取、人工抄录)、是否接入监控系统、接入起始时点 | 判断该工位能否取到程序号与给定值,以及用哪种方式取 |
| 程序 | 程序号、程序名称、适用产品型号与焊缝类型、适用板厚区间、适用焊丝牌号与直径、建立日期、最近修改日期、当前是否在用 | 建立程序号到工艺条件的映射,作为给定值阶梯序列的断点依据 |
| 参数 | 预设电流、预设电压、焊接速度、焊枪摆动振幅、摆动频率、焊枪停留时间、送丝速度、保护气体流量;每项另记单位、是否可在焊机面板临时修改、修改后是否回写 | 构成给定值集合;「可否面板临时修改、修改后是否回写」两项决定 1.4.3 中「疑似人工干预」判据是否适用于该工位 |
核对设备台账、工艺资料和程序配置的对象、版本、内容及适用范围,保存原始文件位置和核验记录。资料能够证明的配置、工艺要求或历史状态分别登记,不能仅按资料形式划定统一可信等级,也不能用资料存在替代实际执行证明。
通过源系统实际支持且经批准的读取或导出方式核实设备配置,记录设备身份、读取时间、软件和配置版本、获取范围、操作人员及结果。根据现场条件协调作业窗口,采用只读获取及相应访问控制,不未经授权更改生产设定;无法直接读取的对象通过其他有效记录补证,不能仅因读取受限就降低必要证据要求。
验证历史作业设定时,核对对应配置版本与下发、生效、执行及操作变更记录,检查其设备、任务、工艺阶段和时间是否一致。当前控制器状态不能反推全部历史,缺失历史链条时明确可证明范围和待补事项,不将当前读取值复制为过去实际设定。
实时参数用于检查时间、量纲、测量质量及关联结果是否存在异常,与设定的接近或偏离仅作为核查线索,不作为证明设定身份的独立依据。发现差异时核实配置、执行、测量和时间证据,原因未明保持待核实状态;未经确认不生成确定性工艺偏差、人工改参或故障原因标签。
按拟用任务逐项核验设备身份、参数定义、配置版本、实际生效时段、执行对象、测量及时间质量和使用许可。证据内容必须覆盖其支撑的具体结论,来源可定位且相互一致;单条当前读取、配置表或曲线比对结果不得代替其他必要条件。
事实尚未确认的资料保存在受控调查及审核区域,可供获准人员核查,但不作为正式知识、监督标签或合成依据发布。能够确认的工艺要求、配置资料和真实执行事实分别管理,不能把其中一种事实扩展为另一种事实。
满足相应用途全部条件后,由规定的业务和质量责任人复核并记录结论,关联具体资料及样本版本。证据不足、冲突或适用范围变化时限制相关使用,补证及复检通过后再更新状态;不以笼统「强证据」标记替代完整准入检查。
| 核实方法 | 做法 | 产出的证据 | 证据级别 |
|---|---|---|---|
| 台账与文件核对 | 按焊机台账与工艺卡逐台核对程序号与参数项的记载是否齐备 | 核对清单,逐台标注齐备、部分齐备或无记载 | 弱 |
| 控制器现场读取 | 在停机间隙由设备部门人员在控制器界面逐程序读取参数并记录,或按约定方式导出 | 读取记录或导出文件,含读取时间与操作岗位 | 强 |
| 实时数据反证 | 取该工位一段已知程序号的实时参数流,比对稳态段中心值与读取到的给定值 | 比对报告,给出偏差量与一致性结论 | 强(用于校验前两道的结论) |
将焊接设备程序、参数和实际执行证据调查纳入经确认的项目实施计划,按实际设备范围、数据用途、接口与权限条件、作业窗口和资料获取依赖落实任务、责任人及完成时间。需要招标方相关人员或设备厂商协同的事项提前明确资料、授权和验证安排,记录未落实条件及对进度的影响。
涉及实际设定的样本生产前,完成相应设备、配置版本、生效记录、对象关联和时间质量的核实;涉及专业工艺限值的判断,取得有效技术要求并完成业务审查。不得先生成无依据的偏差标签,再以首批结果反向认定设定或人为干预。
调查、读取和试用验证按实际条件衔接,范围或版本变化后补充核验,保留计划调整、问题整改和复检记录。首批覆盖不能代替后续应覆盖对象,必要证据未齐备的作业不放行,同时按计划推进不受影响且已满足条件的其他工作。
设备程序、配置、适用工艺或参数记录发生经确认的新增、修改、停用或替换时,登记变更对象、前后版本、批准和实际生效信息及影响范围。同步核查采集接口、字段、时间、程序与任务关系和参数定义,更新有效配置及关联规则,保留旧版本和其适用历史。
通过实际可用的变更通知、系统记录和核对机制跟踪状态,明确对接责任、更新计划及未同步事项的处理。新版本相关数据在必要证据和检查完成后按其真实有效区间处理,不用新配置回填旧时段,也不把最后一次已知配置延用到未经核实的变更期。
发现配置更新滞后或记录冲突时,定位受影响数据、样本和统计,限制相关确定性结论,补证后修复复检并记录结果。程序资料维护与样本关联检查持续覆盖实施及约定服务范围,不以首次调查完成替代后续版本管理。
| 时点 | 完成内容 |
|---|---|
| 进场后第 2 周内 | 完成试点产线焊机台账的清点,确定各工位的程序导出方式与可行性 |
| 进场后第 4 周内 | 完成试点产线在用程序的程序号与参数读取,形成首版程序参数对照表 |
| 进场后第 6 周内 | 完成实时数据反证,给出首版对照表的一致性结论,配对口径按结论定稿 |
| 随后各批次 | 按批次计划扩展到其余工位;程序新增或修改时由设备部门在变更后按约定时限同步对照表 |
对无法取得或无法确认的数据逐项登记来源、对象、时间、原因、所缺证据、影响用途和需要完成的补采或核实工作,落实责任人和计划,保存实际处理及复核结果。原始记录、已确认事实和未知部分分别管理,不以估计值、邻近设备参数、当前版本或理论默认值补成历史实际记录。
结合各业务域、用途子集和场景验证要求核对实际合格数据覆盖,及时落实合法历史资料补采、必要接口协同、重新采集及其他具备真实证据的补齐措施。未通过质量或证据检查的对象不计入合格成果,数据卡如实反映来源和使用限制,但不能代替规模、质量、功能或验证要求。
涉及实际实施条件变化的事项按项目约定程序提出并处理,保留影响分析、批准结论和落实记录,不能由加工人员自行修改交付范围或验收条件。缺口处理完成后重新核算有效覆盖并复检受影响成果,形成可核验的处理闭环。
| 情形 | 判定依据 | 补采方案 |
|---|---|---|
| 控制器可读、暂无导出通道 | 台账核对显示参数存在,但无网口或导出功能 | 由设备部门在换型停机间隙按程序号逐项抄录,抄录表经本岗位与工艺部门双签后入库,证据级别记为强;抄录周期随换型排程 |
| 控制器不可读、工艺卡有给定值 | 控制器无参数显示或已停用,工艺卡记载完整 | 取工艺卡给定值,来源等级降一档登记;同时在批次说明中注明该工位的给定值为工艺意图而非下发值 |
| 两者皆无、仅有实时流 | 台账与工艺卡均无记载 | 该工位的实时参数流按无给定值处理,进预训练语料,不进偏差样本;在数据卡中按工位标注该段样本的可用范围 |
| 程序号存在但参数记录缺失版本 | 程序号可读,对照表中查不到该版本 | 该段挂起,待设备部门补录该版本参数后按版本回填;补录前不做偏差计算,也不按相邻版本近似 |
| 新增工位或改造后工位 | 测点配置变更时点晚于本批次时间窗 | 变更时点之后的数据单列批次,按新配置重新执行本调查的三层字段采集 |
按实际设备、工位、配置版本、参数和时间范围维护调查及证据覆盖台账,向获准的项目管理、质量和相关业务人员提供核查结果。分别记录应覆盖范围、已完成核实、部分完成、待补和不适用项,附依据与责任;设备数量覆盖与历史时段、版本覆盖分别统计,不能用一份现行表代替全部必要历史证据。
发现任何影响必需成果的缺口时及时登记、分析和落实补采,不等待连续两个批次后才处理。未完成事项持续跟踪任务、计划、协同条件及实际结果,必要时按项目程序协调资源和调整实施安排;不能因重复失败自动降低证据要求、改用途计数或缩减约定验证范围。
后续数据及配置变更重新核查适用范围和质量,补齐后更新台账并保留历史状态。依赖具体实际设定或对象关系的成果,在必要证据、数据质量和使用条件全部满足后放行;未满足条件的数据如实标识和受控管理,不以「逐步接近」作为完成结论。
### 1.5 产品质量域数据采集
从QMS采集进厂、制程、出厂及成品检验记录、质量台账,以及淬火硬度、淬火区域位置与均匀性、外观缺陷和质检结果等数据;采集质量报告、产品质量档案、质量知识及熔池图像、焊后焊道表面图像、工件外观缺陷图像等资料。各类记录保留实际来源、对象、版本、时间、权限和使用范围。
检验记录同时保存原始测量或观察结果、单位或标尺、检验对象及范围、方法与设备信息、实际适用的标准或规程版本、判定条件、结论和审查状态。区分原始结果、计算结果、人工标注、检验判定及后续处置,不用合格或不合格结论替代可取得的测量依据,也不根据测量值自行重写原报告结论。
对不同人员、方法、设备、时期或规则下的结果,核对业务条件与证据后判断其可比性。发现结论冲突、依据缺失或版本不明时,保留各自原值和出处,登记问题并由相关质量专业人员核实;未经确认不把差异认定为质量变化、人员偏差或规则漂移。
采集判定信息时登记实际执行与复核岗位、判定时间、检验方法、适用标准和规程版本、对象及抽检范围、必要设备及校准或核查信息,并关联原始结果和证据。对批次、单件和测点结论分别标识适用范围,不能将抽样结果作为全部单件的直接测量事实。
质量指标发生变化时,先核对统计对象、数量基础、检验覆盖、产品和材料构成、工艺与设备状态、检验方法、规则版本、数据完整性及更正记录,记录检查结果和待核实因素。必要时由质量专业人员对照原始报告、有效规程和可取得实物或复检资料开展复核,不仅凭时间趋势或人员字段推断变化原因。
经证据确认存在定义或判据差异的,分别管理适用时期、对象及版本,按实际用途确定可比范围与分组方式。原始判定与复核结论分开保存,记录依据和批准状态;原因未明的数据保持明确限制,不能自动校正标签、调整比例或将未经证实的原因写入知识和训练样本。
另一项是**缺陷分类体系的历史版本问题**。企业的缺陷分类目录在多年中修订过,早期记录用的是旧分类,与现行目录不是一对一关系:有的旧类别被拆成两类,有的两个旧类别被合并。受理时按原始分类如实入库,同时建立旧版到现行目录的映射表,映射关系为一对多或多对一的,在映射表中标明并说明处理方式。映射表由质量部门确认后生效,不由项目组单方面确定——分类口径属业务定义,确认权在业务部门。
还有一项是**不合格品处理记录的闭环性**。一条不合格判定之后,应有返工、让步接收或报废的处置记录与之对应;实际数据中存在判定有记录而处置无记录的情况。受理后按判定单号核查处置记录的匹配率,未匹配的单独统计。这个匹配率决定质量数据集能否支撑「缺陷到处置」的因果类任务;匹配率不足时,该类任务的数据基础在数据卡中如实说明,相关场景验证的判据随之调整。
| 数据对象 | 字段组 | 形态 | 校验重点 |
|---|---|---|---|
| 进厂检验 | 检验单号、物料、批次、供应商、检验项、结果(`b1387`) | 结构化 | 物料批次与 WMS 库存批次对应 |
| 制程检验 | 检验单号、工单、工序、检验项、结果 | 结构化 | 工单与 MES 工单对应 |
| 出厂检验与成品检验 | 检验单号、产品、检验项、结果、检验日期(`b1387`、`b1388`) | 结构化 | 产品与合同、订单对应 |
| 质量台账 | 期间、产品、不合格类型、数量、处置 | 结构化 | 与检验记录勾稽 |
| 淬火硬度 | 工件号、测点位置、硬度值、检测方法(`b1388`) | 结构化 | 测点位置取本体值域 |
| 淬火区域位置及均匀性 | 工件号、区域标识、位置偏差、均匀性指标(`b1388`) | 结构化 | 指标口径登记来源 |
| 外观缺陷与质检结果 | 工件号、缺陷类型、位置、严重程度、判定(`b1388`) | 结构化 | 缺陷类型取本体缺陷值域 |
| 质量报告与产品质量档案 | 文件本体、产品、期间 | 非结构化(`b1389`) | 按产品归集 |
| 质量知识 | 文件本体、主题、来源 | 非结构化(`b1389`) | 进知识库抽取通道 |
| 质量影像 | 熔池图像、焊后焊道表面图像、工件外观缺陷图像(`b1390`) | 图像 | 与检验记录的引用关系 |
#### 1.5.1 质量影像与检验记录关联
采集质量检验使用的熔池图像、焊后焊道表面图像、工件外观缺陷图像及其关联记录,登记来源系统或采集设备、原始文件标识、文件版本、采集时间、产品或工件标识、工序、焊道或检验部位、检验单号、检验项目和使用权限。原始文件、图像元数据与检验记录分别保存,并通过关联记录建立对应关系。未取得明确对应依据的影像登记为待核实对象,保留来源信息,不自动赋予检验结论。
对制造过程与质量检验共同使用的影像,核实文件内容、版本、来源及授权条件后实施存储去重,保留各来源的业务标识、原始引用和访问限制。内容相同但业务来源不同的文件不合并其业务记录;不同时间、不同版本或不同处理结果的影像分别登记。共享存储对象的访问仍逐项校验使用者对相应业务资料的权限,引用关系不扩大原始资料的授权范围。
检验记录与影像按实际对应关系建立多对多关联。关联记录包括检验记录及版本、影像标识及版本、工件标识、焊道或部位、图像区域、采集阶段、检验时间、关联依据、确认状态和确认时间。区域信息采用原图坐标或可复核的部位标识记录;裁剪、缩放后的图像保留与原图区域的转换关系。关联核验同时检查对象身份、工序阶段、检验覆盖范围与时间关系,不以时间邻近代替业务对应依据。检验结论仅适用于实际检验覆盖的对象和范围,不自动扩展至整幅图像、同批全部工件或其他工序。更正关联关系时保留原记录、变更原因和核验结果。
#### 1.5.2 纸质检测报告调查与数字化
进场后调查纸质检测报告、检验原始记录及质量证明附件的保管情况,核对现有档案目录、移交记录和实物,编制资料清册。清册记录存放位置、资料类别、产品与检验对象、形成时间、报告版本、实际份数和页数、完整程度、装订状态、可读性、调阅条件及授权使用范围。实物清点数量与估算数量分别标识,数字化计划依据核实结果安排作业批次、人员、设备、场地及质量检查。
数字化作业保留报告封面、正文、附页、签章及更正记录之间的关系,检查扫描文件的页面完整性、顺序、清晰度和与原件的一致性。识别形成的文字、表格和检验字段与原始页图逐项关联,对无法辨读、缺页、版本不明或对象不明的资料登记问题并核实,不推测补齐原始检验结果。数字化成果与QMS检验记录及其他质量资料共同纳入采集覆盖检查,按实际可用数量制定补采措施,保证产品质量域数据规模、质量和业务覆盖要求落实。
| 调查项 | 内容 |
|---|---|
| 调查对象 | 质量管理部门及各分厂质检点留存的纸质检测报告、检验原始记录与随附的质量证明文件。按存放点逐处清点,不按部门估算 |
| 甲方责任部门 | 质量管理部门负责报告的归档规则、保管年限与存放点清单;档案管理部门负责已移交档案室部分的调阅与借用手续;各分厂质检点负责在用与近期归档部分的现场配合 |
| 我方对接岗位 | 数据受理岗牵头清册编制与扫描批次管理,安全管理岗负责扫描件的密级判定与脱敏规则落实,预处理工程岗负责扫描参数的核定与首批扫描件的可解析性验证 |
资料清册按存放点、报告类别、产品或工件、形成年度和资料状态登记,记录报告份数、实际页数或页数估算依据、附件数量、装订形式、可读性、对应业务记录及授权条件。扫描批次综合考虑业务覆盖、资料保存风险、检验对象、作业条件和资料可用程度安排,明确每批原件范围、预计工作量、负责人、作业地点和检查要求;试作业后依据实测作业效率校正排期,保留调整原因及对后续批次的影响记录。
逐批检查装订、折痕、破损、褪色、油污及文字遮挡情况,按原件状态选择非破坏性扫描方式。未经资料保管责任方许可不拆订、不裁切、不清洗原件;确需拆装订或采取特殊处理的,先办理许可,记录原始装订、页序和缺损情况,由具备相应操作能力的人员处理,完成后按批准要求恢复并核对。对无法安全展开或文字仍不可辨读的原件,保留现状图像及问题位置,另行核实可用副本或对应业务记录。
扫描地点、设备、人员和作业时间执行资料调阅及安全管理要求。仅限现场处理的资料在指定场所作业,扫描设备和存储介质按授权配置,禁止通过个人设备或外部网络传输。每次交接核对原件编号、册数、页数及状态,登记领用和归还人员、时间及差异。外带或委托第三方处理须履行适用审批程序,明确资料范围、保管责任、访问限制和成果交接要求,未经批准不实施。
对已有结构化检验记录的纸质报告,核对报告编号、版本、检验对象、检验项目、检验时间、结果及附件,建立经核实的对应关系。相同报告号下存在更正报告或复检记录的,分别登记版本与检验轮次,保留原始结果和更正依据。报告与业务记录存在数值、单位、对象或结论差异的,记录差异并交由相应业务责任人员核实,未经确认不合并为同一检验事实。
对尚未建立对应关系的报告,实施页面解析、表格识别和字段抽取,保存字段到原始页码及区域的定位信息,并按业务标识核实对象与记录。图文候选样本须经过对象与版本一致性、内容完整性、授权范围、字段准确性及任务适用性检查,再进入相应标注、质检和验证流程。重复扫描件、更正前后报告以及由同一原始报告派生的文件保留共同来源关系,参与数据集划分时防止跨训练集与评测集泄漏,不以多份派生文件重复累计独立样本数量。扫描优先级同时满足产品、年代和检验类别覆盖要求,不仅依据是否已有结构化记录确定。
| 字段 | 取值与说明 | 用途 |
|---|---|---|
| 存放点标识 | 存放部门、房间或柜架编号 | 分批扫描的作业单位 |
| 报告类别 | 进厂检验、制程检验、出厂检验、成品检验、第三方检测、其他 | 与结构化检验记录的对应关系判定 |
| 覆盖产品范围 | 产品型号或工件品类 | 按场景验证的首批型号确定优先次序 |
| 年度区间 | 起止年份 | 判断与现行检验规程、现行缺陷分类目录的对应关系 |
| 份数与页数 | 分别计数,页数可抽样推算并标注推算方式 | 扫描工作量与排期测算的直接依据 |
| 装订与品相 | 散页、装订成册、装入档案盒;是否有折痕、褪色、油污、装订孔压字 | 决定是否需拆装订、是否需特殊扫描参数 |
| 是否有结构化对应记录 | 有、部分有、无 | 有对应记录的优先扫描,可直接形成图文对照样本 |
| 密级与可用范围 | 按数据分级结论判定;含第三方检测机构标识与客户信息的单列 | 扫描件的存放权限与脱敏规则 |
| 可否外带或外包扫描 | 可、仅限内网现场扫描、不可移动 | 决定扫描作业方式 |
资料数量以可追溯的清点记录和档案核验结果登记。先核对目录、移交及借阅记录,确认资料保管位置和当前状态,再按实际保管单元清点报告及附件。访谈获取的数量作为待核实线索单独记录,不直接计入已核实存量;目录数量、实物数量和业务系统记录数量分别列示,标明各自统计对象、范围和截止时间。对移交、借出、缺失、重复归档及目录未更新等差异逐项核查,形成差异原因、处理责任和复核结果。
按资料目录走访实际存放点,核实在库、移交、借出及其他保管状态。能够逐册或逐份清点的资料,登记实际册数、报告份数及可核实的页数,记录清点范围、日期、人员和复核结果。对暂不具备全面逐页清点条件的资料,可为作业排期开展分层抽样估算,记录分层依据、总体范围、样本选取方式、实测数量、计算方法及估算的不确定性;估算结果与实际清点值分开列示,后续随逐批作业以实测结果更新,不将估算值作为最终交付数量。
与结构化检验记录对账时,先确认同一报告是否包含多项检验、同一检验是否形成多份报告,以及更正、复检和附件的统计关系,再按报告编号、检验对象、检验时间和版本建立可核实的对应关系。对仅有纸质报告、仅有系统记录、关联冲突或重复登记的情况分别登记和核查,不以两侧数量不等直接认定数据遗漏。对账结果保留匹配依据、未匹配对象、差异原因及处理状态。
| 核实方法 | 做法 | 产出的证据 | 适用范围 |
|---|---|---|---|
| 存放点走访 | 按质量管理部门给出的存放点清单逐处查看,确认实物是否在册、是否已移交档案室 | 存放点确认单,逐处标注在册与实际的差异 | 全部存放点 |
| 实物逐册清点 | 按册或按盒逐一清点份数,记录报告类别与年度区间 | 清册条目,含清点岗位与清点日期 | 份数在约定规模以内的存放点 |
| 抽样推算 | 对份数很大的存放点,按册或按盒抽样计数后推算总量,抽样比例与推算方式随清册登记 | 抽样记录与推算说明,总量标注为推算值 | 份数超出逐册清点可行范围的存放点 |
| 与结构化记录对账 | 取同一产品同一年度的结构化检验记录条数,与清册中的报告份数比对 | 对账表,给出覆盖率与差异成因 | 有结构化对应记录的部分 |
清册及进度统计分别列示估算量、已清点量、已扫描量、已核验合格量和待整改量,注明各项统计单位、范围及截止时间。引用估算结果时保留估算标识和计算依据,不改记为实测数量。批次完成后按实际原件、扫描页图及检查记录更新数量,保留估算与实测差异;最终交付数量以核验合格的实际成果及其明细为依据,重复副本、无效文件和未完成整改的资料不计入合格交付量。
纸质资料调查、清点、试扫描、批量数字化、复核及缺口补采纳入合同签订后三日内提交并加盖公章的《项目管理计划》,明确任务负责人、前置条件、起止日期、阶段成果及与预处理、标注、质检和验证的衔接。进场后及时核实调阅和作业条件,具备条件的资料分批开展调查与试作业;现场核实结果用于细化批次安排和资源投入。出现资料调阅、保存状态或工作量变化时,分析关键路径影响并采取补救措施,按项目变更程序处理,确保2028年5月前完成终验收。
批量扫描前选取具有代表性的原件开展试扫描,覆盖主要报告版式、表格结构、装订方式以及实际存在的褪色、污损和手写情况。分别验证扫描分辨率、色彩模式、曝光和图像处理参数,检查细小文字、小数点、正负号、单位、上下标、表格线、签章及批注的可辨识性。原始扫描文件保持原件内容和颜色信息;去底色、去噪、纠偏等处理形成独立派生版本,记录处理参数并检查是否造成内容损失。
试扫描文件依次完成页面完整性检查、版面解析、表格识别和关键字段抽取,核对检验单号、检验对象、检验项目、测量值、单位、判定依据和结论与原件是否一致。字段可被抽取不等于抽取正确,须检查数值、符号、单位、行列对应关系和原页定位。对识别失败或结果不一致的页面查明原因,调整参数或转人工核验,并复查受影响的同类资料;试作业检查通过后再按对应参数开展批量作业。批量作业中发现新的版式或保存状态时重新验证适用参数,保留试作业和复查记录。
| 时点 | 完成内容 |
|---|---|
| 进场后第 3 周内 | 完成存放点走访,确定存放点清单与各点的清点方式 |
| 进场后第 6 周内 | 完成首批存放点的实物清点,形成首版清册,给出可数字化总量的区间估计 |
| 进场后第 8 周内 | 完成扫描参数核定与首批试扫,验证扫描件在文档类通道的可解析性与关键字段可抽取性 |
| 补齐批内 | 按清册分批扫描,扫描件逐批进入预处理环节的文档类通道;清册与扫描进度按批次更新 |
按产品、检验类别、年度、检验部位及资料来源核实可用数据覆盖,区分数量不足、内容缺失、识别质量不足、关联不明和使用授权受限等问题,分别制定补采及整改任务。优先核查已有业务系统、合法留存副本、关联检验资料和实际可获得的补充来源,明确责任人员、完成时间及复核要求。纸质报告不足不直接等同于质量域全部数据不足;补充来源须满足相应内容、模态、真实性和授权要求,不以重复文件或同一记录的多种导出格式虚增成果数量。合成数据单独标识来源及生成过程,不登记为真实历史检验记录,不纳入禁止使用合成数据的评测基准集。
真实检验资料与合成样本分别登记数据类型、来源和生成方式。真实资料保留业务记录标识、检验对象、检验时间、结果及原始证据;合成样本保留生成任务、使用的模型或规则版本、输入资料标识、生成时间、质量检查和审核状态,不生成虚假的历史检验编号、签章、审批记录或设备测量证据。由真实资料派生的样本同时保留原始来源和加工过程,不能仅以新的样本编号替代来源追溯。
用于稀疏类别或边界条件补充的合成样本,按相应生产流程完成业务合理性、安全性和质量检查后,再用于获准的训练任务;合成标签不作为真实缺陷或现场检验事实。评测基准集不使用任何形式的合成数据,并检查其原始来源及派生关系,防止评测内容、答案或其改写进入训练材料。发现来源标识错误或合成样本误入真实资料集合时,隔离受影响数据,沿加工关系排查派生成果和已发布版本,完成更正、复核及必要的重新验证后处理相应版本。
同一批资料存在保存状态、数量、关联和授权等多项问题时,分别登记问题并组合执行相应措施,不以单一批次结论覆盖其他未解决问题。每项整改明确影响的数据范围、拟采取措施、责任人员、计划日期及复核方法,处理后重新核验数量、质量和业务覆盖。无法立即补齐的资料列入持续跟踪清单,评估对加工和验证任务的影响并落实补救安排;在数据说明中披露缺口不替代实际补采与整改,不自行缩小约定验证范围、降低判定标准或以其他领域数据抵补本领域要求。涉及实施范围或验收要求的调整,履行正式变更程序,不由加工环节自行决定。
| 情形 | 判定依据 | 补采方案 |
|---|---|---|
| 存量充足但品相差 | 清册显示份数够,低品相占比高 | 低品相件单独成批,按提高扫描分辨率与灰度模式处理,进文档类通道后置信标记降一档;识别置信度低于门限的页进人工复核队列,复核后的字段可用于监督样本 |
| 存量充足但不可移动 | 档案室规定不可外带 | 在内网现场扫描,扫描设备与作业人员进场按甲方档案管理规定执行;扫描件即时写入落地区,原件当场归还 |
| 存量不足、结构化记录完整 | 清册总量低于预期,但结构化检验记录覆盖同期 | 质量域的历史样本以结构化记录为主,纸质报告作为证据补充;在数据卡中如实说明该子集的样本来源构成 |
| 存量不足、结构化记录亦缺 | 两侧均不覆盖某些年度或产品 | 该年度或该产品的历史样本在数据卡中列为覆盖缺口,相关场景验证的历史回溯范围随之缩小,判据在验证方案中相应调整 |
| 含第三方检测机构内容 | 报告由外部机构出具,含机构标识与委托信息 | 按许可核验口径处理:未明确允许进入训练语料的,仅登记元数据与检测结论字段,正文不入库 |
按批次更新资料清册和扫描进度,分别统计已核实资料、已完成扫描、已通过质量检查、待复核及待补采的数量,并在项目授权范围内向相关责任人员提供进度记录。每批核对计划范围、实际完成量、页面完整性、内容可读性、解析准确性、原件对应关系和问题整改结果,确保计划范围内的资料完成数字化并符合交付要求。
发现进度偏差、重复返工、关键字段无法辨读或调阅受限时,及时登记影响范围和原因,安排责任人员采取参数调整、原件核查、资源调配或补采措施,不等待连续两个批次或固定月度会议后再处理。进度调整同时检查对预处理、标注、质检、验证及总交付期限的影响,保留处理过程和复核结果;需要变更计划的按项目管理程序执行。
### 1.6 通用语料与外部语料采集
采集协同办公系统中的管理制度与合同文档、久其系统中的营业收入、利润、成本及资产负债等经营指标,以及主数据管理平台中的组织机构、人员和物料编码。保留来源系统、业务标识、版本、生效或所属期间、采集时间及使用权限,建立通用资料与四个业务领域数据的关联。资料同时涉及多个业务领域时保留实际关联,不因复制到多个目录而重复统计独立内容。
按预训练子集的Token规模目标补充行业标准、学术文献、厂商资料和公开数据集等外部语料。外部语料选择结合矿山装备制造相关专业内容、语言质量、版本适用性、来源可靠性和授权范围开展,登记原始出处、内容版本、获取时间、许可条件及适用业务主题。采集后的内部与外部资料均经过内容完整性、重复性、质量及安全检查,再进入相应加工流程;与项目业务无关、来源不明或不满足使用条件的内容不计入合格成果。
对内部和外部来源分别核实资料提供主体、实际权利与授权范围,明确是否允许采集、存储、加工、模型训练、检索展示、验证及对外交付。保留适用于当前内容版本的授权文件或许可条款、有效期限、署名要求、传播限制及其他使用条件,并将这些条件关联至原始资料和派生成果。公开可访问、已购买或已在企业系统保存,不直接等同于允许用于全部加工和交付用途。
授权不明、条款不一致或包含第三方限制的资料,登记待核实事项并提交相应责任人员确认;未确认前不投入受限用途。许可核验按具体内容和使用方式开展,不以资料类型统一推定能否训练或再分发。交付前再次检查拟交付内容及派生成果是否满足约定使用权限,并提供必要的授权及限制记录,不将供应方尚未解决的许可问题视为已随交付自动转移。内容质量、完整性、业务适用性和许可条件分别检查,任一项不满足要求均须整改或采用符合条件的替代来源。
组织机构、人员和物料主数据按实际标识、版本及生效期间采集,保留新增、变更、停用、合并和拆分等可获取的状态记录。核对主数据编码与各来源系统业务标识之间的关系,记录映射依据、适用时间、确认状态及冲突信息;同名不同对象、旧编码复用和多编码对应同一对象的情况分别核查,不仅依据名称相同合并实体。历史业务记录保留其发生时的原始编码,关联到主数据的转换关系单独记录,不以当前编码覆盖历史事实。
人员数据按项目必要用途和授权范围确定采集字段,对不必要的身份及联系信息不予采集。需脱敏的字段在进入相应加工环境前处理;确需跨记录关联的,在授权范围内采用受控映射标识,限制原始身份映射的访问权限,并检查脱敏后关联关系的正确性。组织、人员和物料之间的业务关系依据可核实记录建立,主数据映射经核验后用于本体实体对齐及业务关联。
| 来源 | 受理内容 | 形态 | 校验重点 |
|---|---|---|---|
| 协同办公系统(OA) | 管理制度、合同文档(`b1392`) | 非结构化 | 文件版本状态、发布部门、生效日期 |
| 久其系统 | 营业收入、利润、成本、资产负债等经营指标(`b1393`) | 结构化 | 期间闭合状态;口径与指标知识库一致 |
| 主数据管理平台 | 组织机构、人员、物料编码(`b1393`、`b1394`) | 结构化 | 作为本体编码对齐的基准;人员字段入口脱敏 |
| 外部行业标准 | 标准文本、标准号、版本状态(`b1395`) | 非结构化 | 许可类型;版本状态 |
| 学术文献 | 文献全文或摘要、出版信息(`b1395`) | 非结构化 | 许可类型;可否用于训练 |
| 厂商资料 | 产品手册、技术白皮书(`b1395`) | 非结构化 | 许可类型;是否含第三方保密内容 |
| 公开数据集 | 数据文件、许可协议(`b1395`) | 结构化/图像/文本 | 许可协议条款;可否二次分发 |
按各预训练子集分别核算可用语料量和补充需求,使用确定版本的分词器及计数规则,对完成解析、清洗、去重、权限核验和质量检查的有效文本计算Token数量,记录处理版本、计数范围和排除项。原始下载体积、文件页数、未清洗文本和重复内容不直接折算为最终合格Token量。多领域共用来源保留共同出处及实际分配记录,按确定的去重和统计规则核算,不通过重复复制抵补规模缺口。
补充计划同时检查行业主题、产品工艺知识、资料时效性、语言质量和业务覆盖,根据合格语料缺口确定来源、采集任务和加工批次。补采后重新执行质量检查和数量核验,分别满足各数据集及各子集的规模要求,不以总量达到目标代替分项达标,也不以增加无关通用文本或重复材料填补行业语料缺口。
### 1.7 四领域多模态数据采集与登记
对供需计划、产品工艺设计、制造过程和产品质量领域的数据,分别登记文本、图像、时序和视频的采集对象、来源、格式、编码、记录粒度、时间信息及关联标识。采集规则同时考虑业务对象、来源系统、模态特点和实际设备条件,明确完整性检查、时间校准、版本识别及授权核验要求。同名文件或相同版式资料仍按来源、内容、版本和业务对象核实身份,不直接视为同一资料。
每条原始记录、文件和影像段保留来源标识、采集批次及适用业务领域;跨领域使用的数据登记多个经核实的关联关系,不以批次归属替代逐对象登记。原始数据与转换、裁剪、抽帧及重采样等派生成果建立可追溯关系,保留处理版本和参数。格式转换或模态派生不改变原始事实来源,不将同一内容的多种保存形式当作新增独立来源。
原始数据登记实际模态、来源形成时间、采集时间及其判定依据,并保留到加工样本、子集和发布版本的对应关系。对配对图文、同步图像与时序、视频及关联文本等样本,核验各组成内容的对象、时间和语义关联,记录样本所含模态及组合方式;文件后缀、压缩包数量或不同格式的重复副本不作为新增模态的依据。抽帧、转写、重采样和合成处理分别登记,不以派生文件数量重复累计独立样本。
按完成质检和验证的实际成果核算模态构成及数据时效,覆盖文本、图像、时序、视频四种模态,多模态数据条数占比不低于40%,近3年内时效性数据条数占比不低于40%。统计记录明确样本计数单位、适用范围、分子分母、去重规则、统计基准日和计算结果,并与实际发布清单一致。近3年数据根据能够核实的原始业务发生或内容形成时间判定,不以重新上传、扫描、复制或生成日期替代原始时间;时间缺失或无法核实的资料不得直接计入近3年数据。各加工阶段持续检查覆盖变化,发现缺口及时补采并重新核验。
#### 1.7.1 采集对象与登记要求
采集对象按来源系统、业务标识及版本建立唯一登记记录。结构化数据保留原始主键、行项目和变更信息;文件保留原始文件标识、版本、附件关系及页码;图纸和工艺卡同时记录所属产品或零部件、图号或卡片号、版本及适用配置。原始业务标识在不同系统中重复时,增加来源标识区分;同一业务对象存在多个版本时分别登记,不以图号、名称或文件名直接覆盖旧版本。
图像、时序和视频分别记录采集设备、时间基准和采集序列,与工件、工序、焊道、炉次或检验对象的关联须有可复核依据。关联信息不完整的保留原始数据并登记待核实项,不根据时间邻近或名称相似自动确认业务身份。新增采集登记标识仅用于追溯,不能替代或伪造原始业务编号。
对各业务领域的实际模态来源开展调查,记录已确认来源、尚待核实来源和建设补采需求,并检查来源的业务相关性、使用权限及质量条件。某一来源暂未发现视频或其他模态时,登记调查范围、时间和结果,不将尚未核实的情况写成该领域永久不存在该模态,也不虚构已经留存的视频、测点或记录。
根据整体模态覆盖要求和各领域实际业务任务安排采集与补采,明确拟采集内容、设备或系统条件、授权、标识和质量检查。跨领域使用的资料保留同一来源及各项真实关联,不能为填满表格而任意改变领域归属、重复复制或将无关影像配入业务样本。阶段性来源缺口持续跟踪至补采及核验完成,不以留空或记零替代交付要求。
| 数据领域 | 模态 | 采集对象 | 格式、粒度及时间记录 | 对象标识与关联核验 |
|---|---|---|---|---|
| 供需计划 | 文本及结构化业务记录 | 客户、商机、报价、合同、订单、回款、采购、供应商、库存及出入库等相关业务记录,招投标文件、资质文件和业绩合同 | 保存源接口字段、字符集、数值精度、单位及记录版本;结构化数据保留单据头和明细,文件保留原始格式、版本及附件;记录业务发生时间与采集时间 | 使用来源系统和各类业务对象原始标识,按实际关系关联商机、合同、订单、回款及采购库存记录;文件记录原始文件标识和版本,不强制所有对象以合同号为唯一主键 |
| 供需计划 | 图像 | 实际取得且获准使用的合同、证照扫描页及业务附件图像 | 保留原始文件和页图,登记页序、扫描分辨率、色彩信息及处理版本;扫描时间与文件形成时间分开 | 以源文件标识、版本及页码定位,关联实际合同或资质对象;重复扫描保留关系,不新增独立业务事实 |
| 供需计划 | 时序 | 历史销量、订单量、销售预测、库存快照及出入库事件形成的时序数据 | 按源系统真实记录粒度采集,保留业务时间、统计期间、快照时刻、单位及更新状态;月度等汇总作为独立派生成果,记录汇总规则,不覆盖明细;预测值与实际值分列 | 结合来源、物料、组织或仓储范围、统计期间及源记录标识定位;区分事件时间和快照时间,预测任务使用在预测时点实际可获得的数据 |
| 供需计划 | 视频 | 调查与供需业务有关且有授权的现有视频及经确认的新增采集需求 | 如存在可用来源,登记原始封装、编码、分辨率、帧率、时长、音轨及时间信息;无已核实来源的列入调查或补采记录,不虚构存量 | 保存来源文件与采集段标识,按真实业务证据关联对象;不将无关宣传影像直接组成供需训练样本,不以本行待核实改变整体模态目标 |
| 产品工艺设计 | 文本及结构化业务记录 | 物料清单、工序、变更、零部件和选型资料,机械制图标准、工艺编制准则及相关文档 | 结构化数据保留对象、关系及版本;文档保存原始格式、章节页码、附件和适用配置;记录生效、失效及更正关系 | 使用来源系统、对象标识和版本区分;BOM保留实际父子层级及配置,工序保留路线和版本,不以名称相同自动合并 |
| 产品工艺设计 | 图像及工程图形 | 工艺图纸、工艺卡片中的原生工程图形、矢量内容及扫描图像 | 保留实际取得的DWG、DXF、PDF等原文件及转换版本,登记页码、图层或视图信息;扫描件记录分辨率及色彩信息;CAD及含矢量内容的PDF不等同于普通栅格图像 | 使用来源、图号或卡片号、版本及适用配置定位;图纸和卡片按实际引用关系登记,不要求一图必配一卡;转换图像保留原文件及视图或页面定位 |
| 产品工艺设计 | 时序及时间事件记录 | 实际存在的工时定额、工艺参数等随时间变化的记录及其变更事件 | 分别登记实际测量时序与设计规定值的版本事件;记录生效时间、记录时间、变更序号及依据,不将离散版本自动插值成连续实测曲线 | 结合来源、对象、配置、版本及事件标识定位;同日多次变更不能只用日期区分,设计值不作为实际执行或测量真值 |
| 产品工艺设计 | 视频 | 调查与工艺设计、工艺讲解或作业知识相关且有授权的现有视频及经确认的新增采集需求 | 对核实可用的资料保存原始编码、封装、帧率、时间信息、版本和适用产品工艺;待调查来源单独登记,不声明已经具备 | 以文件或采集段标识关联经核实的产品、工艺路线和版本;视频所示方法的适用条件须经业务核验,不能因出现同类设备即确认适用 |
| 制造过程 | 文本及结构化业务记录 | 生产工单、报工、焊丝牌号与直径、设备台账、点检、维修工单、作业及运维计划、报警确认、诊断结论、售后工单、备件消耗,以及设备档案、维修记录、诊断报告和故障案例 | 保存原始单据、明细、工序、事件及文档版本,分别登记计划、实际执行、确认和更正时间;文档保留原始格式和附件 | 以来源、工单或事件标识、工序及版本定位,设备档案关联设备标识;一台设备的多次维修、报警和更换记录不得按设备号合并为一条 |
| 制造过程 | 图像 | 熔池图像、焊后焊道表面图像、淬火与焊接相关热成像,以及实际可用的检修部位照片 | 保存原始图像、采集时间、设备参数和处理版本;具备辐射测温数据输出的热成像设备按实际接口保存温度数据及测温参数,普通CMOS图像不作为温度矩阵 | 使用设备、采集序列和原始图像标识定位,核实与工件、焊道、工序或维修记录的关系;图像区域和工艺阶段分别登记,时间邻近不能单独证明关联 |
| 制造过程 | 时序 | 焊接实时测量及真实生效设定参数、层间温度、热处理过程参数、设备状态及报警、能耗、在役装备健康测点等 | 按真实采样机制采集,登记时标、序列、采样频率或事件触发方式、单位、量程和质量标志;保留原始频率与缺失情况,不预设全部为秒级或分钟级;设计值、设定值和测量值分列 | 使用来源、设备、测点、时间及必要序号定位,同一时标多值不覆盖;经核实后关联工件、焊道、炉次及运行阶段,时间校正保留原值及校正依据 |
| 制造过程 | 视频 | 按采集设备能力和业务需求获取熔池及相关制造过程视频;其他录像来源逐项调查确认 | 保存原始视频或设备支持的连续影像及实际时间信息,登记编码、封装、分辨率、帧率、缺帧和分段情况;逐帧时标仅在设备实际提供或可据实推导时登记,并注明依据 | 以设备、采集任务和片段标识定位,核实与工件、工序、焊道或炉次的关系;不默认已存在热处理装出炉录像,不将不连续图片拼接后冒充原始连续录像 |
| 产品质量 | 文本及结构化业务记录 | 进厂、制程、出厂及成品检验记录、质量台账,淬火硬度、淬火区域位置及均匀性、外观缺陷和质检结果,质量报告、产品质量档案及质量知识 | 按检验单、项目、测点、轮次及报告版本采集,保留数值、单位或标尺、方法、依据和判定;纸质资料保留扫描页图、解析结果及原件对应关系 | 使用来源、检验记录、项目、轮次及版本定位,核实工件或批次与检验覆盖范围;抽样结论不扩展为批内每件实测,质量知识按流程经业务专家终审 |
| 产品质量 | 图像 | 熔池图像、焊后焊道表面图像、工件外观缺陷图像,以及实际检验部位照片和报告扫描页 | 保留原始文件、采集时点、部位或图像区域、采集阶段及相关参数;报告扫描页登记页序和版本,派生区域保留原图坐标关系 | 以原始图像或文件标识及版本定位,关联经核实的检验记录、对象和区域;共享制造影像仍保留各业务引用及权限,检验结论不默认适用于整幅图像 |
| 产品质量 | 时序 | 实际检验过程中按时间记录的连续或事件型测量数据 | 登记实际测量时间、采样方式、仪器、单位或标尺及质量状态;硬度沿深度或位置的分布另按空间测量记录保存位置坐标与测值,不将空间顺序当成时间顺序 | 使用来源、检验轮次、测量对象、测点和时间或事件序号定位;空间分布须保留位置基准,只有真实时间信息才能形成相应时序关联 |
| 产品质量 | 视频 | 调查并采集实际存在且获准使用的检验过程视频,按经确认的业务需求组织必要补采 | 保存原始文件、编码、帧率、时长、时间信息及采集方法;具体探伤或外观检查录像是否存在须据实确认,不预设所有检验规程均要求录像 | 以检验记录、检验轮次和片段标识建立经核实的关联,明确录像覆盖对象、部位及阶段;过程录像不自动等同于缺陷或合格结论的证据 |
模态来源调查结果按已确认可用、待核实、需补采及不适用分别登记,并说明调查范围及判断依据。暂未取得资料的模态列明后续调查或补采任务,不直接形成永久缺失结论。最终模态统计以经质量检查和验证的实际发布样本为依据,明确各样本的组成模态及真实关联;缺口处理完成前持续跟踪其对总体和分项交付要求的影响,不用表格留空、记零或其他模态数量增加替代应完成的建设要求。
#### 1.7.2 文本及结构化记录采集
结构化业务记录与文档资料分别保留原始形态及可追溯标识。结构化记录采集字段名称、数据类型、精度、单位、主键、关联关系和可获取的时间信息;文档采集原始文件、既有业务编号、版本、附件、来源目录及使用权限。原始标识缺失或不足以唯一定位时,另设采集登记标识并保留来源位置,不伪造源系统编号。
结构化记录按实际业务任务用于数据分析、时序构建、知识抽取或文本样本制作,文档按内容和用途开展版面解析、图文关联、条款抽取及知识加工。各类转换均保留原始内容、处理规则和派生关系,不以单一文本化形式替代仍需保存的结构、图形、数值精度及文档证据。
| 口径项 | 结构化记录 | 文档资料 |
|---|---|---|
| 受理清单 | 按数据源登记表的表与字段范围逐表受理,字段清单随批次固定版本 | 按目录范围逐件受理,形成受理清册并与源侧目录核对件数 |
| 格式与编码 | 按接口返回的原始类型取回,数值不转字符串、日期不转文本;字符集统一登记,非约定字符集的在受理时转换并记录转换规则 | 保留原格式入库,解析在预处理环节进行;逐件计算文件指纹并登记字符编码判定结论 |
| 采集粒度 | 按记录逐条,不在受理阶段做聚合;需要聚合的派生量由加工环节按登记口径计算 | 按件受理,件内的章节与条款粒度在预处理与知识库环节切分 |
| 时间口径 | 每条记录登记业务发生时间与源系统写入时间两个时标,缺其一的标注缺哪一个 | 登记文件的发布日期、生效日期与入库时间;三者缺失的按文件内可见日期补并标注来源 |
| 业务主键 | 源系统主键 + 批次号;跨系统对象另建业务链主键 | 源文件编号 + 文件名称与版本;同一文件多版本并存,不以新版覆盖旧版 |
| 版本登记 | 按变更时间增量的表,登记变更时间字段是否可信;不可信的转整表快照并在登记表中标明 | 登记版本状态为现行、已修订或已废止;废止件保留并标注替代关系 |
| 许可核验 | 按来源系统的授权范围核验,取数范围须被授权范围覆盖 | 按件核验密级与可用范围;外部文献与标准按许可条款登记可否全文入库、可否用于训练 |
金额、测量值、比例和计数等字段保留原始数值语义,记录数据类型、有效精度、小数位数、单位、允许空值及必要的计算规则。对金额等精度敏感字段采用能够准确保存原值的表示方式,避免不必要的浮点转换、截断或舍入;需要字符串序列化时保存明确的类型描述及格式规则,并验证反序列化后数值、精度和单位一致。编号、前导零编码和带字母的业务标识保持其标识属性,不自动转为数值。
采集校验覆盖空值与零值、负值、小数点、千位分隔符、科学计数法和超出目标字段范围等实际可能出现的情况,记录转换失败及处理结果。原始值、标准化值和派生计算值分别保存;单位换算或精度调整须有明确规则、版本和适用条件,不覆盖原始测量或账务值。发现精度、单位或字段解析差异时隔离受影响记录,核对原始数据并修正转换过程,复查同规则处理的其他记录后再进入后续加工。
#### 1.7.3 图像采集与质量检查
采集图纸与工艺卡片扫描图像、熔池及焊后焊道表面图像、热处理和焊接相关热成像、工件外观缺陷图像及其他经确认的业务图像,分别保留原始文件、对象、版本、采集条件和使用权限。同一图像用于工艺分析、质量检查或知识加工时,登记各用途对应的业务关系,不因用途不同重复创建独立事实。图纸与卡片中的几何形状、尺寸、符号和版面关系与文字内容共同保留,解析文本不能代替原始图像。
熔池相机保存带时间戳的原始帧及采集参数,核验电弧、熔池、焊丝和坡口边缘的可辨识性。高温热成像及在线热成像设备保存全辐射数据流、逐像素温度数据及发射率、反射温度、大气透过率等测温参数,并记录与显示图像的对应关系。普通CMOS图像的亮度、色彩及伪彩显示不直接作为温度测量结果。
质量图像按实际检验对象、部位、检验轮次及覆盖范围关联,检查清晰度、曝光、遮挡、视场、拍摄角度及必要尺度信息。图像显示的现象、人工标注和正式检验结论分别登记,结论须有相应检验方法和业务记录支持,不仅凭分辨率或取景一致就认定质量结论有效。
| 口径项 | 图纸与卡片扫描件 | 工艺过程图像 | 质量缺陷图像 |
|---|---|---|---|
| 受理清单 | 按图号与卡片号清册逐件受理 | 按焊道与炉次的采集计划逐段受理 | 按检验单逐件受理,与检验记录成对 |
| 格式与编码 | 栅格图像格式,登记扫描分辨率、色彩模式与压缩方式;低损压缩优先 | 可见光图像按原始位深取回;热成像同时取可视化图与每像素原始温度矩阵,两者分列保存并互相指向 | 栅格图像格式,登记分辨率与色彩模式 |
| 采集粒度 | 按页,多页件保留页序 | 按采集时点,一个焊道一段连续采集 | 按工件与检测部位,一个部位至少一件 |
| 时间与设备校准 | 登记扫描时间与扫描设备标识;同一清册分批扫描时登记各批的扫描参数 | 相机时钟与企业统一时间基准按约定周期校时,校时记录随批次保存;热成像设备按检定周期做温度标定,标定记录与有效期登记在测点配置中;取景框与安装位姿变更即登记变更时点 | 登记拍摄时间与采集岗位;同一检测部位的取景框按规程固定 |
| 业务主键 | 源文件编号 + 页码;图号与卡片号为关联键 | 相机位号 + 采集时点;锚定后挂工件号与焊道号 | 工件号 + 部位标识 + 采集时点;检验单号为关联键 |
| 版本登记 | 同一图号的多次扫描按扫描批次登记版本,择优不删劣,低质件保留并标注品质档 | 同一焊道的重复采集按采集序号登记,不覆盖 | 复检产生的新图按复检序号登记,与原图并存 |
| 许可核验 | 按文档密级执行;含客户标识的图纸按入口脱敏规则处理 | 内部采集,按数据分级结论执行;画面中出现的人员与铭牌按脱敏规则处理 | 同左 |
热成像数据分别保存全辐射原始数据、逐像素温度数据和用于显示的图像,记录各数据文件、帧及像素区域之间的对应关系。温度数据同时登记单位、量程、无效像素或超量程状态、发射率、反射温度、大气透过率及实际采用的其他补偿参数;参数变更记录生效时间和适用帧范围。设备校准记录、测温配置及采集对象关联到相应数据,便于核验测量条件。
温度标注、区域统计及质量检查使用经核实的测温数据和适用参数,区分原始测量、校正结果及派生统计值,保留算法、参数和输入版本。检查图像与温度数据的尺寸、像素位置及时间对应关系,防止裁剪、缩放或错帧造成温度错配。显示图像保留调色和显示范围等参数,不通过颜色反推替代原始测温值;测温条件或数据有效性无法确认时,记录问题并限制进入要求温度真值的任务,完成核实、修复或补采后重新检查。
按采集任务所需的时间分辨率、设备能力和业务事件间隔确定允许时间偏差及检查方法,在采集前核验设备时间基准、同步方式和校时状态,并在运行中按计划及异常触发条件复核。首批试采用于验证配置和检查方法,正式采集数据从首批起执行相应要求,不以逐步改善替代应达到的同步条件。发现时钟跳变、记录缺失、偏差超限或配置改变时,及时确定影响时段,标识并隔离不满足时间关联要求的数据。
时间修正须有对应时段的同步日志、设备记录或经独立核实的共同事件等依据,记录原始时标、偏差方向、计算方法、适用区间及修正后不确定性。采用共同事件比对时核实其确为同一事件,并区分采集、传输和处理延迟,不以相似曲线或最近时间点直接认定钟差。缺乏可靠依据的时段保留时间不确定状态,不补造精确时标;修正后复查对象关联及受影响样本,必要时重新采集。测温校准异常另行评估和处理,不能用时间校正替代温度校准。
#### 1.7.4 时序数据采集与时间校验
时序数据按来源系统、设备、测点及有效配置建立采集清单,登记采样或事件触发机制、字段类型、单位、量程、质量状态、时间基准及业务关联。采集前核对测点在目标时间范围内的启用、停用、替换和配置变更情况,采集过程中保留原始时标及记录顺序,并分别记录接收时间和加工时间。不同来源数据需要关联时,先完成时间与对象一致性核验,再按任务要求形成关联数据或派生序列,不直接将各系统时间字段视为同一含义。
焊接参数、温度、能耗、设备状态及报警等数据分别核实时间字段的产生位置和含义,区分设备测量时间、控制器事件时间、平台接收时间与数据库写入时间。结合实际同步日志、采集链路及试采记录检查时钟偏差、传输延迟、缓存补发、乱序、重复和时间跳变,记录各问题的影响时段及范围。跨来源关联须满足目标任务的时间精度及对象对应要求,不仅根据数值平滑或时间接近认定对齐正确。
对数据空缺和连续不变值,综合测点状态、设备运行记录、采集日志、通信情况及维护记录核查原因。设备停机、测点停用、通信中断、传感器故障和数据未提供分别登记;证据不足时保留原因未明状态,不将缺失值填成零值,也不把长期恒定值直接判为设备停机。需要修复或新增采集的形成处理任务,保留实际恢复时间和补采范围,不凭后续运行数据补造历史测量记录。
质量状态与时间校验记录按实际发生过程保存历史版本,记录检查时间、适用数据范围、依据、规则版本、结果及处理人员或任务。源系统提供的质量标志保持原值,并登记其定义和有效配置;采集侧生成的完整性、通信或格式检查结果单独记录,不冒充设备原生质量标志。状态更正保留原结果、修改依据及影响范围。
时钟偏差及修正参数按经核实的有效时段管理,保留同步前后记录、设备重启、时钟调整和配置变更等信息。历史数据修正使用其对应时段的可靠依据,当前测得的钟差不直接用于过去时段。不能确认历史偏差或变化规律的数据保持时间不确定标志,受影响的跨来源关联及样本须重新核验。
| 口径项 | 内容 |
|---|---|
| 受理清单 | 按测点清单逐点受理,测点清单随数据源登记表版本固定;受理前核对测点配置在该时间窗内是否有效,配置变更期的数据单列 |
| 格式与编码 | 时标、测点编号、测值、质量码四列为必备;测值按原始数值类型取回,单位与量程取自测点配置并随批次登记;状态与报警类的取值按参考数据标准的值域登记,表外取值登记为新值候选 |
| 采集粒度 | 保留源侧原始采样密度一份;统一步长一份按数据组分档生成,两份在血缘中互相指向(口径见 1.4.2) |
| 时间基准 | 以企业统一时间基准为准;各源系统的时钟偏差按源登记,偏差值与补偿方向写入数据源登记表,受理时按登记值补偿 |
| 校时周期与留痕 | 设备侧时钟按约定周期与统一时间基准核对一次,核对结果逐次留痕;两次校时之间的漂移按线性分摊补偿,分摊方式随批次登记 |
| 设备校准 | 温度、流量、浓度类测点按检定或校准周期登记校准记录与有效期;校准有效期已过的测点,其数据在批次说明中标注并在数据卡中限定用途 |
| 业务主键 | 设备号 + 测点编号 + 时标;经对象锚定后另挂工件号、焊道号或炉次号(口径见 1.4.4) |
| 版本登记 | 同一时间窗的重采或补采按采集序号登记新版本,原版本保留;重采样产出按算子指纹登记为派生版本 |
| 许可核验 | 设备数据属内部来源,按数据分级结论执行;涉及在役装备所属矿井位置的字段按地理信息的泛化规则处理 |
源侧提供质量码时保留原始值、含义及版本,核查质量码对应的测点和时间范围。源侧未提供时明确登记未提供,不推定为正常,也不生成与源质量码混同的替代字段。采集侧依据实际检查结果分别记录接收成功、通信异常、格式错误、时标异常、重复记录和按预期机制识别的缺样等状态,保留检查规则、输入证据及生成时间。
缺样判断结合测点是否启用、实际采样机制、事件触发条件及可核实日志开展;对仅在变化时上传的测点,不按固定周期无数据直接认定通信中断。设备停机、测点故障和正常无事件等业务状态须有相应设备或业务证据支持,无法判明时标为原因待核实。采集侧状态用于质量分析和问题处置,不直接替代设备测量状态或作为故障标签。
#### 1.7.5 视频采集与分段管理
视频采集保存设备实际输出的原始文件或原始帧序列,登记采集任务、设备、视场、起止时间、实际帧率、分辨率、编码及文件完整性。原始录像与业务片段分别管理,保留原片连续关系和缺失区间,不因业务切段覆盖或丢弃原始内容。
依据可核实的工单、设备事件和采集记录建立片段索引,记录每个片段在原始视频中的起止位置、对应对象、业务阶段、分段依据及确认状态。焊接起弧、收弧及相邻阶段按实际任务需要确定覆盖范围,前后保留时长具有明确依据;热处理或检验录像按真实存在的采集范围及业务事件关联,不预设每段必然只含一个工件或炉次。一个片段涉及多个对象时分别登记时间和区域关系,不能确认边界的标为待核实。
供标注、检索或训练使用的切段文件按经确认的索引生成,保存分段规则、输入版本、处理参数及输出位置映射。后续修订边界或关联对象时形成新版本并追踪受影响样本,不重复人工裁切而丢失原片对应关系。
| 口径项 | 内容 |
|---|---|
| 受理清单 | 按相机位号与采集计划逐段受理;受理清册给出相机位号、覆盖工位或炉台、采集时间窗与预期段数,与实际落地段数核对 |
| 格式与编码 | 原始帧序列按相机软件开发工具包导出,保留逐帧时间戳与原始位深,作为溯源基准;另生成通用视频封装格式的归档副本供查看与标注,登记帧率、分辨率、编码参数与色彩空间。归档副本的参数变更即登记变更时点 |
| 采集粒度 | 以一次业务事件为一段:焊接按起弧至收弧并前后各留一段余量,热处理按装炉至出炉,检验按一次检验作业。段内保留全部帧,不在受理阶段抽帧 |
| 时间与设备校准 | 相机时钟按约定周期与统一时间基准校时,校时记录随批次保存;逐帧时间戳与同期时序数据的事件时刻比对一次,偏差超出约定范围的该段标注时基不确定。相机安装位姿、焦距与取景框变更即登记变更时点,变更前后的段不按同一取景框处理 |
| 业务主键 | 相机位号 + 段起止时刻为段主键;帧以段主键 + 帧序号标识。锚定后挂工件号与焊道号或炉次号,锚定依据与 1.4.4 的图像锚定一致 |
| 版本登记 | 同一事件的重复录制按采集序号登记,不覆盖;归档副本按转码参数登记版本,原始帧序列为唯一溯源基准 |
| 许可核验 | 按数据分级结论执行;画面中出现的人员、工牌与铭牌按入口脱敏规则在受理阶段处理,处理前的原片按最小权限存放 |
依据相机数量、实际分辨率、位深、帧率或编码码率、采集时长及保存要求测算视频存储容量,同时计入索引、元数据、派生副本、冗余保护和容量余量。采用试采实测文件量校核估算,按设备、任务和保存层级形成容量及吞吐需求,检查采集写入、转码、检索、恢复和交付过程的资源条件。容量不足时调整资源配置和经确认的存储方案,不自行降低应保存的数据完整性或设备采集要求。
原始数据按用途、追溯和交付要求确定保存范围、期限及访问方式,并在数据管理计划中明确。用于训练、标注、质检、验证和验收的资料保留所需原始证据及全部派生关系;其他采集资料按经确认的保存策略管理,不能仅因已生成可播放副本就认定原始信息可以舍弃。可采用分层存储安排访问频率不同的数据,迁移前后核验文件完整性、索引及恢复能力,保留迁移和恢复检查记录。保存策略变更须评估对样本追溯、质量复查和交付的影响,履行批准及记录程序。
按经确认的视频采集范围建立业务事件清单,核对每个应采事件的对象、起止时间、相关相机及实际录像位置。分别检查事件是否有有效影像、目标对象是否在视场内、关键过程是否完整、帧序列是否连续及画面是否可判读。一事件多段或一段多事件的按实际关联记录统计,不以录像段数与业务事件数的简单比值代替覆盖率。覆盖指标明确应采事件总数、合格覆盖事件数、排除项及依据,并保留逐事件明细。
首批试采验证触发、分段、时间关联和存储配置,正式批次从开始即执行质量要求,不以逐步接近代替完整交付。发现漏录、错录、缺帧、存储异常或目标未覆盖时及时登记并核查触发条件、设备状态、网络、容量及索引逻辑,明确影响时段和补救措施。对不合格资料隔离并禁止进入正式成果,设备排障期间按实际条件继续受控保存可获得的原始数据,避免无依据停止接收扩大缺口。修复后检查配置、试采结果及受影响关联,新增补采据实记录发生时间,不能冒充已错过的历史事件录像。
#### 1.7.6 数据版本与使用授权管理
数据采集和加工按对象保存来源版本、采集实例、处理版本及授权状态,分别记录标识、生效时间、变更依据和适用范围。业务内容修订、设备或测点配置改变、重新采集、格式转换及授权调整分别登记,不将所有变化统一视为文件版本变化。相同名称或编号的对象发生内容、配置或适用范围变化时,核实其身份和历史关系,保留变更前后记录。
每个采集批次核对适用版本和授权条件,进入标注、训练、验证、共享或交付前再次检查相应用途是否获准。授权具有期限、对象、字段、地域或接收方限制的,保存具体条件并在访问和任务执行时落实。变更后沿来源与派生关系识别受影响数据、样本及已发布成果,执行相应限制、整改和复核,不仅修改当前登记表而忽略既有派生成果。
授权核验逐项确认允许的资料对象、字段、内容范围和使用方式。发现许可缺失、含义不清、版本不适用或条款冲突时,记录具体疑点、涉及对象、拟使用目的及所需确认事项,提交相应责任人员核实。未经确认不执行尚未获准的采集、存储、加工或对外提供操作;已经接收的资料按适用管理程序隔离并限制访问,保留必要的接收及处置记录,不能仅加限制标签后继续使用。
可独立使用的部分须有明确授权和可分离依据,核实与受限内容分开后不会泄露相关信息,且仍满足目标业务任务的完整性与质量要求。元数据、原始字段、结论摘录、脱敏副本和派生成果分别核验,删除部分字段或去除标识不自动产生使用权。不能确认可用范围的,继续补充授权或获取符合要求的其他真实来源;来源缺口列入补采任务,不能通过缩减应交付内容代替解决。
| 模态 | 版本的判定依据 | 同一对象多版本的处置 | 许可核验的要点 | 许可不明时的处置 |
|---|---|---|---|---|
| 文本(结构化) | 源系统的变更时间与版本字段 | 按变更时间保留历史,不以新值覆盖旧值 | 授权范围是否覆盖本次取数的表与字段 | 缩小取数范围至授权覆盖部分,差额列入缺口清单 |
| 文本(文档) | 文件内的版本号、发布日期与版本状态 | 现行件与历史件并存,建立替代关系 | 密级、可用范围、可否进入训练语料;外部件另核许可条款 | 仅登记元数据,正文不入库 |
| 图像 | 扫描批次或采集序号 | 多次采集并存,低质件保留并标注品质档 | 数据分级结论;画面中的人员与标识是否已按规则处理 | 整图标记为限制使用,不进入默认可见范围 |
| 时序 | 采集序号与算子指纹 | 原始密度版本与派生版本并存,互相指向 | 数据分级结论;位置类字段是否已按规则泛化 | 相关字段留空并标记,其余字段照常受理 |
| 视频 | 采集序号与转码参数版本 | 原始帧序列为溯源基准,归档副本按参数版本登记 | 数据分级结论;画面中的人员与铭牌是否已处理;涉及外来人员出镜的另核告知与同意记录 | 该段标记为限制使用,仅保留段级元数据 |
授权核验记录关联具体来源、资料对象、内容版本、字段或区域、使用目的及有效期间,保存授权依据、核验结果和确认记录。同一来源适用多项授权或限制时逐项登记,并明确各项条件的适用对象;不同用途分别检查,不以整批同一许可标签覆盖差异。
授权到期、撤回、范围调整或条件变更时,记录生效时间及适用依据,识别相关原始资料、派生样本、任务和已发布版本,按实际条件调整访问与使用范围,并跟踪整改结果。采集批次可根据管理需要分组,但对象级授权记录持续保留;历史资料和既有成果如何处理依据具体授权条件核实,不机械按采集时间切批后认定问题已解决。对尚未明确的影响范围保持受控状态,完成核验后更新记录并复查执行结果。
### 1.8 数据源登记
采集前建立数据源主记录,并按实际对象、接口、目录、授权范围及配置版本登记明细。来源登记关联原系统或文件提供方、责任主体、取数范围、授权凭证、采集配置和变更记录,形成可核查的来源证据链。登记记录与原始文件、接口响应、业务标识及交接记录相互关联,不以登记表填写完整替代真实性和授权核验。
新增或变化的数据来源先完成登记及必要核验,再纳入获准采集任务。尚未登记或来源不明的资料不直接进入正式加工批次;对已收到的文件按适用程序受控隔离,记录接收情况并补充来源和授权核实,核实通过后方可进入相应流程。
对业务部门临时补交、重新导出或通过其他通道提供的资料,登记提交主体、接收时间、文件清单、原始系统及业务范围,核实其与既有来源登记和授权记录的关系。文件名称、内容可读或提供人员属于企业内部,不作为来源和使用权限已确认的依据。已有登记未覆盖新增对象、字段、时段或用途的,先补充相应登记与核验。
资料进入加工批次后,保留原始文件或记录标识、采集任务、处理规则及派生样本的关系。发现来源缺失、授权超范围或关联错误时,及时识别同来源及其派生成果,暂停未获准用途,核实影响范围并执行整改。更正后的来源关系、处置结果和重新核验记录随版本保存,确保已加工样本能够回溯至实际原始资料。
数据源登记内容覆盖来源身份、责任主体、业务归属、采集对象、技术接入、授权条件、分类分级、脱敏规则及运行状态。登记项关联实际凭证和配置,不适用事项明确记录原因,尚待核实事项保留待核实状态,不用默认值填充缺失证据。
授权依据登记文件或记录标识、提供主体、允许用途、对象范围及生效条件,按实际条款记录终止日期、终止事件或其他有效性限制。未约定终止日期的如实登记,不能填造期限,也不直接推定为永久授权。对有期限或条件变化风险的授权设置复核安排,在到期、范围变更、对象新增或用途改变时重新核验;确认不再有效的授权及时停止相应操作,并检查已采集及派生成果的处置要求。
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
| 登记编号 | 字符 | 是 | 业务域码 + 源系统码 + 顺序号 |
| 源系统名称 | 字符 | 是 | 与采集接入章节的系统清单一致 |
| 所属业务域 | 枚举 | 是 | 供需计划/产品工艺设计/制造过程/产品质量/通用语料 |
| 数据集归属 | 枚举 | 是 | 对应四类数据集之一或多个 |
| 责任部门 | 字符 | 是 | 甲方侧数据责任部门 |
| 取数方式 | 枚举 | 是 | 接口、数据库只读视图、文件导出、实时订阅 |
| 数据内容范围 | 文本 | 是 | 表、字段或文件目录范围 |
| 更新频次 | 枚举 | 是 | 实时、日、周、月、按期间、一次性 |
| 授权文件编号 | 字符 | 是 | 甲方出具的授权依据 |
| 授权有效期 | 日期 | 是 | 到期前按约定提前复核 |
| 敏感等级 | 枚举 | 是 | 取安全方案的分级结论 |
| 脱敏规则版本 | 字符 | 是 | 关联脱敏规则表 |
| 登记状态 | 枚举 | 是 | 生效、暂停、作废 |
### 1.9 许可核验
每次采集任务执行前,将实际配置的来源、对象、字段、行级范围、时间范围、接入方式及用途与有效授权逐项核对,保存任务配置版本、授权依据和核验结果。接口查询、导出模板或脚本修改涉及新增对象、字段、关联查询或用途时,先评估授权是否覆盖变化,未覆盖部分完成补充核验后再执行。
跨表关联或文件附件中包含其他主体资料的,核验关联结果及附件本身的使用范围,不能由主表或正文授权自动推定全部关联内容获准。采集完成后检查实际落地内容与已核验任务范围是否一致,发现超范围、错误路由或权限条件变化时,及时限制相关数据使用并处理受影响批次及派生记录,保留整改和复核结果。
许可核验采用共性检查与来源专项检查结合的方式。共性检查覆盖资料来源及权利主体、有效授权、拟处理目的、对象与字段范围、允许接收方、保存期限或条件、商业用途限制和交付要求,保留实际依据及核验结论。授权内容不清或与任务范围不一致的,先核实差异并补充必要条件,不扩大解释。
内部业务系统核查实际查询和关联范围;内部文档核查正文、附件、版本及可用于训练或交付的条件;含个人信息的数据同时检查处理必要性、授权条件、直接及间接识别风险、脱敏效果和后续使用限制;行业标准、学术文献和公开数据集核查具体内容版本及许可条款;厂商资料核查提供方的授权范围及其中第三方内容的限制。查阅许可、获取许可、训练许可与对外交付许可分别核实,不因已经脱敏或来自内部系统而省略其他检查。
不通过项按原因分别安排授权补充、范围更正、脱敏整改、来源核实或替代数据采集,明确责任和复核条件。完成单项整改后重新检查任务所需全部条件,未解决的受限内容不得进入对应加工或交付用途,不能仅因一次规则处理完成就判定整体可用。
逐批保存许可核验记录,包含来源及对象标识、任务与配置版本、核验用途、适用授权依据、检查范围、结果、异常项、处置及复核记录。核验结论关联实际授权文件、来源证明和采集交接资料,保证记录与真实数据及派生成果能够对应。
项目检查和质量评测所需材料按授权范围提供,核验台账、原始依据及问题处置记录相互一致;敏感凭证采用受控查阅或经确认的处理方式,不因提供证明而扩大资料访问范围。实际来源和使用条件发生变化时同步更新记录并检查相关成果,不用历史通过结论替代当前有效性核验。
| 来源类别 | 核验内容 | 判定规则 | 不通过的处置 |
|---|---|---|---|
| 内部业务系统 | 授权范围与取数范围是否匹配、授权是否在有效期内 | 取数范围须被授权范围覆盖,不作扩大解释 | 缩小取数范围或补授权 |
| 内部文档资料 | 文件密级、可用范围、可否进入训练语料 | 按安全方案分级结论执行 | 高密级文件不进入训练语料,仅保留目录信息 |
| 含个人信息的数据 | 是否已按分级结论去标识化 | 直接标识字段须已处理 | 退回脱敏步骤 |
| 外部行业标准与文献 | 许可类型、是否允许全文入库、是否允许用于模型训练 | 许可条款未明确允许的按不允许处理 | 仅登记元数据,不入全文 |
| 公开数据集 | 许可协议、署名要求、二次分发限制 | 按协议条款逐项登记 | 协议不允许的用途不使用 |
| 厂商资料 | 是否含第三方保密内容、是否有使用授权 | 无授权的不入库 | 退回来源方补授权 |
许可核验结论与来源、数据对象、内容版本、采集任务及实际使用目的关联保存,注明核验日期、依据、有效条件和未解决事项。每次新增用途、变更范围或交付版本时复核相关结论,发现依据失效或条件不再满足时及时限制对应使用并处理受影响成果。历史记录保留原结论和变更过程,不以更新后的状态覆盖既有核验记录。
### 1.10 入口脱敏
在采集环节实施入口脱敏,对涉及个人信息、敏感地理信息、重要行业数据和企业秘密的数据,依据已确认的分类分级、授权用途及处理规则完成去标识化或脱敏。普通加工区、共享数据区及后续训练流程仅接收通过相应检查的数据,未完成必要处理的资料不得绕过入口直接进入正式加工批次。
优先在授权的源侧接口、导出步骤或受控采集处理环节完成敏感内容识别和处理。确需在处理过程中接触原始敏感数据的,仅限获准人员及任务,在隔离并受控的处理环境中按最小必要范围操作,明确临时文件、缓存、日志、备份和中间结果的保存与清理规则,不将原始敏感内容输出到普通运行日志或通用共享目录。必要原始证据的留存范围、期限和访问权限另行核验并按批准策略执行。
处理完成后校验文件及记录的完整性、脱敏效果和业务可用性,保存规则版本、任务、处理范围、检查结果及异常处置记录。发现遗漏、错误替换或任务绕过时,限制受影响数据的流转,排查原始及派生副本,整改并复核通过后再进入相应用途。
敏感字段按实际识别能力、业务必要性及授权用途确定处理方式,不只依据字段名称分类。姓名、证件号码、联系方式以及能够直接定位人员的工号等,按任务需要删除、替换或采取经验证的保护措施;确需保留跨记录关联时使用受控映射标识,原始身份信息与普通加工数据分开管理。岗位、班组、时间、位置等组合后可能识别个人的字段,结合实际数据分布检查组合风险,采用适当泛化、抑制或其他处理,不以归并一个层级就认定风险消除。
客户、供应商等业务标识的处理兼顾授权限制和任务所需关联。在明确的项目、用途及数据版本范围内保持必要的一致映射,区分不同来源的同值编码,记录映射范围及版本,防止错误合并对象。不要求假名保留原编号的大小顺序,也不默认允许跨用途关联;需要可逆映射的,仅在获准条件下受控保存映射关系和访问记录,普通样本使用者不能通过样本获得原始标识。
处理后同时检查敏感信息残留、对象关联准确性及业务可用性。用于统计或模型任务的字段经过泛化、区间化等变换时,记录变换规则及对精度、分布和结果解释的影响,不将变换后的值作为原始真实测量或交易值。
对工单备注、维修记录、报告正文及其他自由文本,结合格式规则、词典、上下文识别和适用模型检测人名、联系方式、证件号码、人员编号、地址及其他受限内容。核对文本中的别名、错写、分隔符变化和跨字段组合,检查附件、表格、页眉页脚、OCR 结果及文件元数据等可能保留敏感内容的位置。识别和处理任务在获准环境中执行,未经许可不将原始文本提交外部服务。
按数据类型、来源、识别规则和风险分层安排复核,重点核查规则未覆盖、识别冲突、异常格式及高风险对象,同时检查误删是否破坏故障描述、技术参数和业务关联。发现残留后追查相同来源、规则及处理配置影响的全部相关数据,修正规则并重处理,执行全量适用检测及必要人工核验。高风险缺陷完成整改并有复核证据后方可放行,不以抽检未发现问题替代高风险清零要求。
| 字段类型 | 典型字段 | 处理方式 | 技术口径 | 可逆性 |
|---|---|---|---|---|
| 直接标识 | 人员姓名、身份证号、联系方式 | 替换或遮蔽 | 整字段替换为类型占位,或保留首尾字符遮蔽中间 | 不可逆 |
| 准标识 | 岗位、所属班组、工号 | 泛化 | 归并到上一层级(如班组归并到车间) | 不可逆 |
| 需保留关联性的标识 | 客户编号、供应商编号 | 保序假名化 | 同一原值映射同一假名,映射表单独存放 | 受控可逆 |
| 金额与价格 | 合同金额、物料单价 | 按分级结论决定 | 高敏感的按区间化处理,低敏感的保留原值 | 区间化不可逆 |
| 地理与位置 | 矿井名称、工作面位置 | 按分级结论决定 | 敏感地理信息按区域层级泛化 | 不可逆 |
| 自由文本中的标识 | 工单备注、维修记录中的人名与电话 | 识别后替换 | 先命名实体识别,再按直接标识处理 | 不可逆 |
脱敏规则与字段、资料类型、授权用途及处理配置同步版本化,记录适用范围、变更依据和验证结果。每批对全部处理数据执行适用的自动检测,核查必处理字段、敏感模式、文件及附件范围、任务执行完整性和异常结果;人工复核根据数据来源、敏感程度、规则变化、识别风险及总体分布确定分层方式和样本量,保留选取依据和复核明细,不以固定比例覆盖所有场景。规定须全量检查的项目按全量执行,不能用 5% 抽检替代。
发现敏感信息残留、映射错误或系统性漏处理时,立即限制受影响批次及派生成果的使用,分析同来源、同规则和同配置的全部影响范围,修正规则并重处理,复查残留和业务可用性。需要整批重新处理的不得仅修补抽中的条目;高风险缺陷 100% 清零并有整改复核证据后方可放行。发布和交付前再次核对安全状态与实际数据版本,不能沿用整改前的通过结论。
必要的假名映射和密钥按职责分离及最小权限管理,映射信息与普通数据集分开保存,访问、查询、导出和变更均保留审计记录。明确映射版本、授权用途、保存期限及密钥更换后的关联处理办法,检查备份、恢复和注销等环节的控制效果;未经授权不向普通加工或交付使用者提供恢复原始身份所需的信息。
### 1.11 格式合规校验
采集数据进入预处理前,执行文件解析、字符编码、记录结构、字段类型、必填项、标识唯一性、关联关系、时间格式、单位与值域检查。校验结果关联数据源、采集批次、文件或记录标识、校验规则版本和执行时间;文件级失败记录定位到文件,字段级失败记录定位到记录与字段。保留接收原件和原始字段值,转换结果独立存储,建立原值、转换规则和结果之间的对应关系。
发现工单起止时间倒置等业务逻辑异常时,核对源系统记录、字段映射、时间精度、时区依据、记录版本和补录情况,由数据加工人员与对应业务人员共同确认原因。存在有效业务例外的,记录证据和适用条件;无法确认的,隔离相关记录并暂停依赖该记录的关联、统计和样本生成。时间字段的时区可由字段值或经核实的数据源配置确定;缺少可靠依据时,保留原始时间表示并登记待核实事项,不擅自按服务器本地时区补齐。异常修复及复核通过后,重新执行受影响的校验和关联处理。
校验任务按文件、记录、字段和取值之间的依赖关系执行。文件接收后先核对传输完整性、格式标识、压缩或加密状态及解析器适配情况;可解析文件继续检查记录边界、字段结构和数据类型,再执行关联、时间、数值、单位、枚举及模态质量检查。每个校验项分别记录通过、不通过、不适用或因前置失败未执行的状态;不适用项必须具备明确的对象类型和适用条件,未执行项不得计为通过。
异常处理根据原因和影响范围确定。传输不完整的重新传输,解析配置错误的修正配置并重新运行,格式损坏或源导出内容缺失的回源核实后重新导出。涉及关键标识、授权、脱敏、时间关联或业务含义的不确定记录暂停用于下游生产;对同批次其他记录,核实其未受同一故障影响并完成全部适用检查后,按独立子批次记录处理结果。任何位置发现的异常均需形成问题记录、修复证据和复核结论,不以检查顺序作为放行依据。
采集前建立适用于各数据对象的格式校验规则,记录检查字段、规则表达式、适用条件、问题等级、处理方式和复核要求。必填字段根据对象定义及后续使用要求逐项确定,分别识别实际缺失、合法空值、条件不适用、解析失败和源记录不存在等情形,保留原始状态,禁止用占位文本或虚构数值补齐。对来源、授权、对象身份和必要业务关联等影响可用性的关键字段,存在未核实缺失时,相关数据不得进入依赖该字段的生产任务。
乱码、缺失及关联失败分别按文件、记录和字段统计,保存检查总量、失败数量、适用对象范围和去重方式,使统计结果能够复算。比例统计用于定位问题分布,不能代替对异常记录的处理。历史扫描件通过原件核对、图像处理、人工校读及来源补充等措施修复;无法可靠辨认的内容保留不确定标记并隔离相应加工结果,不按推测生成正文、数值或关联关系。
规则在投入执行前完成验证并形成受控版本,质量目标不因首批样本情况、资料年代或生产进度而降低。发现异常即开展定位和处置;调整规则时记录变更依据、影响范围和验证结果,对受影响数据重新检查,并保留旧版执行结果与新版复核结果。
| 校验项 | 校验内容 | 判定口径 | 不通过的处置 |
|---|---|---|---|
| 文件可解析性 | 文件能否被对应解析器打开 | 打不开即判不通过 | 入隔离区,回源侧重新导出 |
| 字符编码 | 编码是否为约定编码、是否有乱码 | 乱码率超过批次计划约定值判不通过 | 尝试编码转换,失败则回源侧 |
| 必填字段完整性 | 登记为必填的字段是否有值 | 按字段逐项统计缺失率,缺失率门限按字段重要度分档 | 关键字段缺失的记录入隔离区 |
| 主键唯一性 | 主键是否重复 | 存在重复即判不通过 | 按去重规则处理或回源侧确认 |
| 外键可解析 | 关联字段能否在对应主表查到 | 悬挂外键按比例统计 | 超门限的回源侧核对 |
| 时间戳格式与时区 | 格式是否统一、时区是否标注 | 无时区标注的按源系统默认时区补齐并登记 | 无法确定时区的记录标记 |
| 时间逻辑 | 开始不晚于结束、实际不早于计划下达 | 逻辑冲突即标记 | 标记后交业务侧确认 |
| 数值量程 | 是否落在物理量程内 | 超量程即标记 | 标记为疑似异常,交预处理环节判定 |
| 量纲与单位 | 单位是否与数据元标准一致 | 不一致的做单位换算并登记 | 单位缺失的回源侧确认 |
| 枚举值域 | 取值是否在参考数据标准的值域内 | 越界值登记为新值候选 | 候选提交数据治理环节确认 |
| 图像可读性 | 图像能否解码、分辨率是否达到约定下限 | 不可解码或低于下限即判不通过 | 回源侧重新采集或标记为仅存档 |
| 文件指纹重复 | 是否与已入库文件重复 | 指纹相同即判重复 | 不重复入库,登记引用关系 |
校验不通过的数据进入受控隔离区,问题记录载明来源、批次、对象标识、失败规则、异常位置、影响范围、责任岗位和处理状态。隔离数据限制访问和流转,禁止直接用于训练、评测或成果交付。需要源侧修复的,回传问题定位信息并核对重新提供的数据;能够在加工侧修复的,依据可核验原件、字段定义或已确认的转换规则生成修正版,记录修复前后值、证据、操作人、时间和工具版本,不覆盖接收原件。
人工修正由具备相应权限的人员执行,并由独立复核人员核验依据及结果;不得凭经验补造业务事实。修复完成后重新执行失败项及受影响的关联检查,确认通过后解除对应隔离状态。对已生成的下游结果记录影响范围,按需撤回、重算或重新生成。原件、隔离副本和处置记录分别按授权期限、保密要求及项目档案管理规定保存;到期处置履行审批和核验,保留处置记录,不因批次关闭自动删除全部追溯依据。
### 1.12 原始数据批次与采集记录
分别按供需计划、产品工艺设计、制造过程和产品质量业务域组织原始数据批次,并同步形成采集记录。每个批次设置唯一标识,关联数据源登记记录、采集任务、实际采集范围、时间范围、原始文件或记录清单、授权凭据及入口检查结果。对同一业务对象涉及多个源系统、文件或采集时点的情形,分别保存来源及版本,通过经核实的对象关系建立关联。
批次进入预处理时,同时移交数据清单、采集记录和异常处置记录。拆分、合并、重采和重新处理均生成可追溯的关联记录,使后续文件、记录、片段及样本能够反查原始来源。采集数量、文件数量、存储数据量、有效记录数量及后续各类数据集规模分别统计,不以批次数量替代样本条数或 Token 规模。质检按规定覆盖全部适用数据和指标,批次作为组织检查与追溯的管理单位,不改变全量检查要求。
授权记录关联可核验的许可文件及有效版本,明确数据范围、使用目的、允许操作、使用主体、期限和限制条件。脱敏记录关联实际执行的规则、处理对象、运行结果、复核证据及问题处置结论。格式校验记录保存适用规则、检查总量、失败对象、未执行项目、隔离数据和复核结果;授权、脱敏及格式校验分别形成结论,不以单一通过率替代综合判断。
每次采集与处理均保存当次执行记录,原始结论不得被后续结果覆盖。授权到期或变更、脱敏规则更新、发现新增风险或历史处理缺陷时,定位受影响数据及其派生结果,核验当前使用条件并执行必要的重新检查、限制使用、修复或撤回。复核记录关联原执行版本、变更原因、影响范围和新结论,同时保留历史过程与当前有效状态。数据再次用于加工、训练、评测或发布前,检查其当前授权和质量状态。
| 字段组 | 字段 |
|---|---|
| 批次标识 | 批次号、业务域、数据集归属、批次生成时间、业务时点 |
| 来源 | 数据源登记编号、源系统、取数方式、取数时间窗 |
| 内容 | 记录数或文件数、数据量、模态构成、字段清单版本 |
| 合规 | 授权文件编号、许可类型与有效期、脱敏规则版本、脱敏复核结论 |
| 校验 | 格式校验规则版本、各校验项通过率、隔离记录数、问题清单编号 |
| 锚定 | 对象锚定类型、锚定成功数、未锚定数 |
| 状态 | 入口检查节点判定结论、判定岗位、判定时间、批次状态 |
数据集加工生产平台记录采集批次的受理、挂起、形成、移交预处理、采集任务关闭和作废状态。接收数据时建立受理记录与唯一标识;授权、脱敏、格式或必要关联存在未解决问题的,进入挂起状态并记录隔离对象和解除条件。入口检查通过、清单及采集记录完整后,形成可移交的原始数据批次;预处理任务确认接收后,记录移交时间、接收清单和任务标识。
采集任务关闭须完成数量核对、问题处置或有明确后续责任的受控移交、记录归档及交接确认。采集任务关闭仅表示本次采集作业已结清,不代表后续加工、质量测评或数据集验收完成。因撤销、重复任务或来源失效而作废的,记录原因、授权审批及下游影响,停止相关任务继续使用;数据和记录的保存或删除按批准的处置要求执行。已移交数据发现问题时,根据影响范围暂停或撤回下游任务,修复后生成新版本并重新履行检查和交接。
每次状态变化保存原状态、新状态、原因、操作者、审批记录、时间和关联证据。平台支持按批次、来源、问题和下游任务查询与导出,保留完整历史,不以当前状态覆盖既往处置过程。
### 1.13 数据采集质量检查
采集任务启动前完成数据源登记、许可核验及接入条件检查,确认来源、范围、用途、期限和允许的采集方式。数据接收时即建立任务、批次和对象标识,记录提供方、接收时间、清单、原始位置及检查状态;异常接收数据同样保留可追溯记录,并按权限限制存储和处理。授权缺失、过期或不涵盖拟定用途的,不启动相应采集;对已接收后发现授权问题的数据,立即暂停使用,核查影响对象和派生结果,按核实结论执行补充核验、限制、撤回或处置。
数据源登记、许可核验、入口脱敏和格式合规校验在采集环节完成。检查结果逐项关联证据,未通过的数据保持受控隔离,不直接进入后续生产。对象关联、业务时点、重复采集和清点一致性同步检查,分别形成明确结论;任一问题影响授权、安全、对象身份或内容可信度时,暂停相关数据及依赖任务,修复并复核通过后恢复处理。
对采集数据执行全量自动化脱敏检查,覆盖直接标识、组合识别信息、敏感字段、文档正文、图像文字及其他适用载体;按数据敏感程度、识别难度、规则变更和历史问题确定人工复核对象与方法。自动检查不能可靠识别的内容、存在冲突的结果和高风险问题进入专项人工核查,记录定位信息、判断依据和处理结果。人工抽样仅作为补充验证,不以固定抽样比例认定整个批次不存在泄露。
发现敏感信息残留时,隔离受影响数据及其派生结果,定位规则遗漏或执行缺陷,修正规则并对受影响范围重新处理和检查。高风险问题实现 100% 清除,中低风险问题完成 100% 整改;未达到相应要求的,不予放行。复核证据与处理对象、规则版本、执行任务及复核人员关联保存。
格式合规检查使用经验证的受控规则,按照对象适用条件逐项执行,分别记录全部检查对象、失败对象、未执行项目和原因。资料来源、年代和模态差异通过解析适配、原件核验、人工校读及数据修复处理,不降低质量目标,不采用按批次逐步提高门槛的方式替代达标。新发现的异常立即处置,规则变更后对受影响对象重新检查。
时序、图像和视频数据按实际业务关系关联设备、产品、工单、工序、炉次及相应时间区间。关联记录保存源标识、目标对象及版本、匹配依据、适用时间、处理方法和复核证据,区分已确认、待核实、冲突和不适用状态。按业务域、对象类型和批次分别统计应关联数量、已确认数量、待核实数量及冲突数量;多对多关联分别保存关系,不通过重复计数提高关联完成比例。
关联失败时核查标识映射、业务记录、采集时间、设备时钟和版本范围,依据可靠资料补充或修复。未确认关系的数据隔离于需要该关系的工序归因、缺陷定位和样本构建任务;存在其他合法且适用用途的,独立审核并明确记录使用限制。关联不足影响约定的业务覆盖或数据规模时,通过源侧补充、重新采集和关系修复满足要求,不能仅修改数据卡用途即视作完成。人工确认关系须保留可核验证据,不以经验推测替代真实关联。
| 控制点 | 方法 | 判定口径 | 责任岗位 |
|---|---|---|---|
| 来源可追溯 | 数据源登记表与批次台账双向核对 | 每一批次可反查到登记编号与授权文件,逐步接近可逐批追溯的状态 | 数据受理岗 |
| 授权完备 | 受理前核验授权范围、许可类型与有效期 | 授权缺失或过期的来源不生成批次 | 数据受理岗、安全管理岗 |
| 脱敏有效 | 规则校验 + 抽样人工复核,比例不低于 5% | 复核发现残留标识即整改并重跑该批次脱敏 | 安全管理岗 |
| 格式合规 | 规则库自动校验 | 各校验项通过率以首批标定值为基线按批次上调;隔离记录须有处置结论 | 数据受理岗 |
| 对象锚定 | 时序与图像数据同工单、炉次记录比对 | 锚定成功率按批次统计并公示,未锚定数据单列存放 | 数据受理岗 |
| 时点一致 | 批次统一业务时点,偏差登记 | 偏差超出批次计划约定范围时在批次说明中注明并提示下游 | 数据受理岗 |
| 重复入库 | 文件指纹比对 | 指纹相同的文件不重复入库,登记引用关系 | 数据受理岗 |
| 清点一致 | 落地清点单与通道侧交付单核对 | 数量不一致的先核对后受理 | 数据受理岗 |
### 1.14 数据采集成果与交付
数据采集形成按业务域组织的原始数据批次及配套记录。交付内容包括数据文件或记录、采集记录、数据源登记、许可核验及授权凭据、脱敏规则与执行复核记录、格式校验规则与结果、问题处置清单、对象关联记录和接收清点资料。每项成果标明唯一编号、适用范围、版本、形成时间、责任人员、存储位置及访问权限,并与对应批次和对象建立关联。
交付前核对数据清单、数量、校验值、文件可读性、记录完整性和引用关系,明确已通过检查的数据、受控隔离数据及未结事项。移交预处理的副本须满足授权、脱敏和格式要求;未经脱敏的受控原件不随普通加工包分发。接收人员根据清单核验并记录接收结果,对缺失、损坏、权限不符或关系不明的资料登记问题,补齐并复核后完成相应交接。
采集资料随对应数据版本同步维护并纳入项目成果档案。数据集发布时,数据卡中的来源、采集方式、形成时间、模态构成、许可条件和处理过程引用已核验的采集资料,确保登记内容能够追溯至具体证据。资料缺失、引用失效或结论不一致时,先完成补充核验及修正,再履行发布审批。
质量测评需要查验采集证据时,按授权提供可定位、可复核的资料及相应数据范围,保留资料提供和查验记录;涉及敏感内容的,采用受控访问或经审核的脱敏副本。项目交付提供采集记录结构、规则版本、运行和复核记录、查询导出方法及维护说明,保证后续增量采集能够沿用受控流程,并按实际变化更新来源、许可和质量记录。新增数据重新履行采集检查,不沿用历史批次的通过结论代替本次核验。
数据源登记资料按项目确定的职责和权限移交至指定接收人员,并与数据治理目录保持关联。登记内容包括系统和业务对象、接口方式、字段范围、增量机制、时间含义、调用限制、维护责任及验证记录。接口依赖、时间异常和增量能力等事项以实际检查结果填写,未核实事项单独标识并记录核实责任、所需证据和处理状态。
交接双方核对资料版本、数据范围、访问权限及未结事项,形成交接记录。后续源系统接口、字段、字典、权限或时间配置发生变化时,更新对应登记版本,通知受影响的采集和治理任务,完成适配验证后恢复或继续运行。敏感配置和访问凭据通过受控机制管理,不写入普通交付清单或公开资料。
| 产出物 | 形式 | 交付对象 |
|---|---|---|
| 各业务域原始数据批次 | 贴源区数据 | 预处理环节 |
| 采集记录 | 结构化表 | 预处理环节、数据卡回填 |
| 数据源登记表 | 结构化表 | 甲方信息化部门、数据治理环节 |
| 许可核验台账 | 结构化表 | 合规与安全环节 |
| 脱敏规则与复核记录 | 文档 + 结构化表 | 安全环节 |
| 格式校验问题清单 | 结构化表 | 源侧与受理岗 |
| 图纸与工艺卡片配对登记表 | 结构化表 | 预处理图像通道、标注环节 |
| 时序对象锚定登记表 | 结构化表 | 预处理时序通道、标注环节 |
| 落地清点单 | 结构化表 | 采集接入环节对账 |
数据源登记记录使用唯一资源标识关联数据资源目录,保存系统、业务对象、数据范围、责任人员和版本信息。新增或变更来源时,先核验登记内容及接口范围,再更新相应目录条目,记录变更原因、执行人员和生效时间。批次采集记录引用当次有效的资源版本,目录更新不覆盖历史批次的来源依据。
入口格式校验规则纳入数据质量规则管理,分别保存规则标识、版本、适用对象、表达式、执行参数、验证结果和生效状态。采集任务引用明确的规则版本并记录运行结果;规则修改完成验证后发布,定位受影响的历史批次及下游任务,按变更影响重新检查或处理,保留前后结果。
脱敏规则关联数据分类分级、授权范围、使用目的和安全控制要求。分类分级或使用条件变化时,开展影响评估,确定需要调整的规则、访问限制及受影响对象;规则变更经验证后实施,对相关数据及派生结果重新核查。移交现行规则、历史版本、验证资料及运行复核记录,确保目录、规则、任务和具体数据之间可双向追溯。
| 本环节产出 | 对应的治理成果 | 口径关系 |
|---|---|---|
| 数据源登记表 | 数据资源目录 | 按业务域登记来源,治理环节汇总为企业级目录 |
| 格式校验规则库 | 数据质量校验规则库 | 入口校验项是规则库的子集,规则版本同源 |
| 脱敏规则与复核记录 | 数据安全相关制度与记录 | 规则依据安全方案的分级结论 |
### 1.15 数据采集对账
每次采集任务执行后,核对源侧导出或接口返回记录、传输任务记录和实际接收清单。对账使用同一任务标识关联采集范围、业务时间、增量位置、文件或记录标识、数量、校验值及执行状态。确认接收完整且入口检查通过后,形成相应交接结论;存在差异时登记具体对象和原因,完成重传、补采或更正后重新核对,不以任务显示发送成功代替实际接收确认。
对账覆盖数量、对象清单、业务时间范围、增量位置、字段结构、接口版本和内容完整性。增量采集核对前后任务的起止位置、检查点及实际返回记录,区分无新增数据、任务未执行、接口返回不完整和传输中断;无记录时核验源侧状态,不仅凭时间窗口连续即判定完整。
字段及格式对账比较本次返回结构与适用版本,检查字段增删、类型、长度、单位、枚举及可空条件变化。数量相同仍需核对对象标识和关键内容,防止重复记录抵消遗漏。发现差异后关联源侧与接收侧证据,定位到具体任务、文件或记录,确定补采、重传、映射修正或接口适配措施;修复后执行清点、结构及内容复核,并更新受影响批次的状态和追溯关系。
检测到未适配的接口或数据结构变化时,暂停受影响任务向生产区移交,保存最后确认的采集检查点、已接收数据、差异结构和错误记录。根据数据源的缓存、历史查询和补采能力制定恢复措施;对无法事后重取的数据,事先配置经批准的受控缓存或持续原始留存机制,避免适配期间出现不可恢复缺口。
核实变更涉及的字段、类型、单位、编码、枚举及授权范围,更新接口适配与校验规则,在隔离环境验证解析、对象关系、增量接续及下游影响。不同结构版本分别标识和处理,经映射验证后形成一致的加工结果,不无标识混入同一处理任务。恢复运行后从确认的检查点补采或重放,采用唯一标识和版本关系控制重复接收,核对暂停期间的完整性并完成复核后解除限制。
| 对账项 | 通道侧依据 | 受理侧依据 | 不一致的处置 |
|---|---|---|---|
| 交付数量 | 调度日志的记录数或文件数 | 落地清点单 | 差额按时间窗逐段核对,定位到具体调度批 |
| 时间窗完整性 | 取数时间窗 | 批次取数时间窗 | 时间窗有空洞的补调度 |
| 字段范围 | 接口返回字段清单 | 字段清单版本 | 字段缺失的核对授权范围与接口版本 |
| 链路异常 | 链路告警与重试记录 | 采集中断标记 | 中断时段登记并安排补采 |
| 格式变更 | 源系统接口版本变更通知 | 格式校验失败突增 | 暂停该源受理,待字段清单更新后恢复 |
对账结论记入批次说明。连续两个批次对账不一致的源系统,提请与源系统责任方共同核查接口版本与授权范围。
### 1.16 采集环节的输入、产出、验收与退回
采集环节的验收由两方共同进行:来源合法性与授权完备性属甲方信息化部门职责,数据内容是否符合业务实际只有各业务域的数据责任部门能判断,二者缺一不可。退回路径按缺陷成因分流——通道不通或授权缺失退回采集接入环节,数据内容本身的缺陷退回源侧,格式与编码问题在本环节的隔离区内修正后重新提交入口检查节点判定。
| 项 | 内容 |
|---|---|
| 输入 | 落地区的原始文件与原始记录;数据源登记表;授权文件与外部语料许可协议;数据分级结论 |
| 产出 | 各业务域原始数据批次、采集记录、许可核验台账、脱敏规则与复核记录、格式校验问题清单、图纸与工艺卡片配对登记表、时序对象锚定登记表、落地清点单 |
| 验收方 | 甲方信息化部门与各业务域数据责任部门 |
| 验收方式 | 按业务域清点批次与采集记录,抽查来源可追溯性与授权完备性 |
| 抽样或统计口径 | 批次台账逐批核对;脱敏复核不低于每批 5%;锚定成功率按批次统计 |
| 退回路径 | 入口检查节点不通过的批次挂起,不生成批次号;缺来源与授权的退回采集接入环节补齐;格式不合规的记录进隔离区并出问题清单;源数据本身的质量缺陷退回源侧 |
## 2、数据预处理(3.2.6.3.2)
### 2.1 五条通道与算子框架
预处理按五条通道并行推进:文档类、图纸与图像、设备时序、视频、结构化与时序的文本化。五条通道的产出在规范区汇合,统一登记算子与版本,统一经预处理检查节点判定。
通道划分的依据是数据形态而不是业务域,原因是同一业务域内往往同时存在文档、图像、时序与视频四种形态,按形态分工比按域分工更能复用算子。业务域的归属信息随批次号带入,不因通道划分而丢失。
视频单列一条通道而不并入图像通道,是因为两者处理的东西不同:图像通道处理单帧的内容,视频通道处理帧与帧之间的变化,并且它的第一步作业是按业务事件分段,这一步在图像通道里没有对应物。
图 3 预处理五条通道、算子链与预处理检查节点的回退路径(数据来源:招标文件 3.2.6.3.2 各项处理要求,`b1400`—`b1414`)
五条通道各由若干算子串联。算子是预处理的最小可调度与可复算单位,定义如下表。
| 算子属性 | 说明 |
|---|---|
| 算子编号 | 通道码 + 序号,全局唯一 |
| 算子版本 | 主版本.次版本,参数结构变化进主版本 |
| 输入契约 | 输入数据的形态、字段与前置算子 |
| 输出契约 | 输出数据的形态、字段与下游算子 |
| 参数集 | 可配置参数及其默认值、取值范围 |
| 失败判定 | 判定为失败的条件与门限 |
| 失败处置 | 重试、跳过并标记、整批回退三种之一 |
| 指纹 | 算子编号、版本与参数取值的哈希 |
失败处置的三种取向有明确分工:可恢复的临时性失败(如解析器超时)用重试;个别样本的内容性失败用跳过并标记,不影响整批;契约性失败(输入字段缺失、前置算子未执行)用整批回退。
### 2.2 文档类通道
处理对象为合同、招投标文件、管理制度、技术标准、设备档案、维修记录、诊断报告、故障案例、质量报告等文档类资料(`b1400`)。处理动作与产出要求见 `b1401`、`b1402`、`b1403`。
#### 2.2.1 版式判定与解析路径选择
版面解析先判版式,再分路处理。判定规则如下表。
| 版式判定结果 | 判定依据 | 解析路径 | 失败判定 |
|---|---|---|---|
| 原生电子文档 | 文件内含可提取文本层,且文本层字符数与页面面积比例落在正常区间 | 结构树解析:读取样式、层级、表格对象 | 可提取字符数低于每页约定下限时改判为扫描件 |
| 扫描件 | 无文本层,或文本层为乱码 | 版面分析 + 文字识别 | 识别置信度低于门限的页进人工复核队列 |
| 混合版式 | 部分页有文本层、部分页无 | 按页分路,结果按页序合并 | 合并后页序不连续即判失败 |
| 表单类文档 | 版面以表格为主、正文占比低 | 表格优先解析,正文按残余文本处理 | 表格结构识别失败即整文件回退 |
| 图纸化文档 | 页面以矢量图元或图像为主 | 转入图纸与图像通道 | — |
版式判定之后进入版面抽取与文字识别。这一步在本通道里工作量最大、也最容易在后续被发现做坏了,因此把步骤、规则与失败去向逐项写明。
**作业步骤**。一、页面预处理:去噪、纠偏、按内容密度剔除空白页与分隔页,纠偏角度与噪点阈值随算子参数登记。二、版面分析:把页面切成标题区、正文区、表格区、图区、页眉页脚区与印章区,切分结果以区域框坐标与类型记录。三、阅读顺序判定:按栏数与区域位置排出区域的阅读次序,双栏与混排页按栏内优先。四、分区识别:正文区与标题区做文字识别,表格区转表格重建路径(3.2.3),图区转图纸与图像通道,印章区单独识别并登记印章文本与位置。五、结果回写:逐区写回文本、区域坐标、识别置信度与所用识别模型版本。六、页级自检:核对识别字符数与页面内容密度是否匹配,核对区域框是否重叠或遗漏。
**抽取规则**。表格区与图区不做整页文字识别,避免把表格内容拉成一串失去行列关系的文字;页眉页脚区识别后不进正文,作为文件元数据单列;印章区的文字不混入正文,单列为印章字段,理由是印章文本与正文混排后会在条款切分时造成断句错误。竖排与手写批注区按单独区域类型登记,手写批注不进入正文切片,作为页级附注保留。表面有折痕或装订孔压字的区域,识别置信度按区域单独统计,不与整页平均值混算。
**输入输出实例**。下例按本节已定义的字段结构与判定规则推演,用于说明一页扫描件被抽成什么、每个字段怎么填与怎么检;页数、坐标与置信度在首批标定后按实测回填,不代表现场实测结果。
输入:一份纸质检验报告的扫描页,无文本层,含抬头、一张有线表、一处检验结论文字、一枚检验专用章、页脚页码。
| 输出区域 | 区域类型 | 阅读次序 | 处理路径 | 产出字段 |
|---|---|---|---|---|
| 抬头 | 标题区 | 1 | 文字识别 | 层级路径、标题文本、置信度 |
| 检验项目表 | 表格区 | 2 | 转表格重建 | 行列索引、表头、单元格文本、合并关系 |
| 检验结论 | 正文区 | 3 | 文字识别 | 正文文本、位置偏移、置信度 |
| 检验专用章 | 印章区 | 不进正文 | 印章识别 | 印章文本、区域坐标 |
| 页脚页码 | 页眉页脚区 | 不进正文 | 剔除并登记 | 页码值,写入文件元数据 |
页级自检的核对项:五个区域框互不重叠且覆盖页面有效内容区;识别字符数与内容密度比值落在正常区间;表格区的行列数判定唯一;置信度低于门限的区域为零。任一项不满足即按下表隔离。
**失败隔离路径**。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 页面不可解码 | 图像解码失败或分辨率低于下限 | 隔离区,入问题清单 | 回源侧重新扫描或提高扫描分辨率后重新受理 |
| 区域框重叠或遗漏 | 页级自检命中 | 该页回退重做版面分析,降低切分灵敏度后重试一次 | 重试仍不通过的进人工复核队列 |
| 区域识别置信度低于门限 | 区域级平均置信度低于门限 | 该区域进人工复核队列,同页其余区域照常产出 | 复核补录后按区域回填,不整页重做 |
| 整页识别置信度低于门限 | 页级平均置信度低于门限 | 整页进人工复核队列 | 复核结论为可用的补录后入库,为不可用的标记为仅存档 |
| 阅读顺序判定不唯一 | 栏数判定出现多个候选 | 该页回退,按单栏强制处理一次并标注 | 标注后的结果供人工复核确认 |
| 印章遮挡正文 | 印章区与正文区重叠面积超门限 | 被遮挡的正文片段标记为不完整,不进条款级索引 | 取同一文件的其他副本或原件重扫后替换 |
进人工复核队列的页不阻塞同一文件其余页的处理:其余页照常产出并标记该文件为部分待复核,复核完成后按页序合并。这一安排的代价是同一文件可能在两个时点分两批产出,因此合并时按页序号校验连续性,不连续即判失败并整文件回退。
#### 2.2.2 章节结构还原
章节结构还原依据三类线索交叉判定:标题样式(字号、字重、编号格式)、编号序列(章条款项的连续性)、目录页(若存在,用作校验而非主依据)。三类线索不一致时按编号序列优先,理由是编号序列是文档作者的显式结构表达,比样式更稳定。
| 还原项 | 方法 | 保留字段 | 失败判定与处置 |
|---|---|---|---|
| 标题层级 | 样式聚类 + 编号序列解析 | 层级号、层级路径、标题文本 | 编号序列出现断号且无法用样式补齐时,该文件标记为结构不完整,进人工复核 |
| 来源页码 | 解析时记录每一节的起止页 | 起始页、结束页 | 页码缺失的文件不进入条款级索引 |
| 正文位置偏移 | 记录每一节在全文字符流中的起止偏移 | 起始偏移、结束偏移 | 偏移与重解析结果不一致即判失败 |
| 目录校验 | 将还原结果与目录页比对 | 校验结论、差异条目 | 差异条目数超门限的进人工复核 |
| 附件与附录 | 按标识识别并单列 | 附件标识、所属主文件 | 无法判定归属的单独成件 |
#### 2.2.3 表格与公式重建
表格重建是版式解析中最容易出错的一步,原因是**表格的视觉结构与逻辑结构不一致**。人看一张有线表,线框就是单元格边界;而扫描件的线框可能残缺、可能被折痕打断,按线框切分就会把一个单元格切成两个。无线表没有线框,只能靠文本对齐推断列边界,而工艺文档里常有跨列的说明文字,它会让列投影出现多个候选切分位置。
因此本节对每类表格都明确了**失败处置**,而不是只给处理方法。线框残缺的转无线表路径,是因为两条路径的失败模式不同,一条失败另一条可能成功;列数判定不唯一的进人工复核,是因为这种情形下自动选择必然有一半概率选错,而选错的表格会把整行数据错位,这类错误在后续加工中极难被发现。跨页表格不合并的条件写得很具体——表头不重复且无续表标记——因为误合并两张不相关的表,比把一张表拆成两张的后果严重得多。
公式处理上保留结构化表达而非转成图片,是为了让公式中的变量与数值可被检索与核算。材料定额、工艺参数窗口这类信息常以公式形式出现在工艺规程中,若只保留图片,这部分知识在数据集中就是不可用的。识别失败时保留原文字符串,至少使人工后续补录有据可依。
| 对象 | 处理方法 | 保留信息 | 失败处置 |
|---|---|---|---|
| 有线表 | 按线框检测切分单元格 | 行列索引、单元格合并关系、表头 | 线框残缺的转无线表路径 |
| 无线表 | 按文本对齐与列投影切分 | 同上 | 列数判定不唯一的进人工复核 |
| 跨页表格 | 按表头重复与续表标记合并 | 合并前各页范围 | 表头不重复且无续表标记的不合并,分别成表 |
| 嵌套表格 | 按层级分别重建 | 父子表关系 | 层级超过约定深度的降级为文本 |
| 行内公式 | 保留结构化表达 | 公式文本、变量符号 | 识别失败的保留原文字符串 |
| 独立公式块 | 保留结构化表达 | 公式编号、所在章节 | 识别失败的回退为图像并在正文留占位与引用 |
| 图片化公式 | 回退为图像 | 图像引用、所在位置 | — |
#### 2.2.4 正文切分
切分按「章节边界优先、长度边界兜底」的次序进行:先按还原出的章节层级切分,章节过长再按段落与句子边界二次切分,切片之间保留重叠窗口以免跨切片的语义被切断。
| 切分参数 | 口径 | 说明 |
|---|---|---|
| 一级切分依据 | 章节层级边界 | 不跨章节切分 |
| 二级切分依据 | 段落边界,其次句子边界 | 不在句子内部切断 |
| 切片长度目标区间 | 按用途分档:预训练子集用长切片,检索增强用中等切片,条款级索引用条款自然长度 | 具体取值写入算子参数,随批次登记 |
| 重叠窗口 | 相邻切片保留一段重叠 | 重叠长度按用途分档配置 |
| 最小切片长度 | 低于下限的切片与相邻切片合并 | 避免产生无信息量的碎片 |
| 保留字段 | 层级路径、来源页码、位置偏移、切片序号 | 回查原文的依据 |
管理制度与技术标准另有条款级切分要求,在知识库环节处理,见 4.3。
#### 2.2.5 去重与去噪
去重分三层,各层方法与参数如下。
| 层级 | 方法 | 判定口径 | 处置 |
|---|---|---|---|
| 文件级 | 内容哈希比对 | 哈希相同即判重复 | 不重复入库,登记引用关系 |
| 段落级 | 最小哈希相似度过滤 | 相似度超过门限判近重复,门限按文档类型分档 | 保留版本较新或来源更权威的一份,其余登记为重复 |
| 句子级 | 模板化套话的频次统计 | 全库出现频次超过门限且不携带业务信息的句式 | 批量剔除并记录剔除规则 |
去噪处理下表所列噪声类型。
| 噪声类型 | 识别方法 | 处置 |
|---|---|---|
| 页眉页脚 | 跨页重复位置与重复文本 | 剔除,保留一份作为文件元数据 |
| 水印 | 固定位置的重复文本或图层 | 剔除 |
| 修订痕迹 | 修订标记与批注对象 | 按版本状态决定:定稿件剔除,草稿件保留并标记 |
| 目录残留 | 页码点线串与目录样式 | 剔除正文中的目录副本,保留目录结构 |
| 扫描噪点与倾斜 | 图像预处理检测 | 去噪、纠偏后再识别 |
| 乱码片段 | 字符分布异常检测 | 标记并剔除,超门限的整页进人工复核 |
| 空白页与分隔页 | 内容密度检测 | 剔除,保留页序记录 |
去重与去噪都保留处置记录,被剔除的内容可按批次回查。这一条是刻意保留的:下游若发现某类内容被误剔除,可按规则批量恢复,不必重新解析。
去重与去噪的作业步骤、规则与失败去向如下。
**作业步骤**。一、文件级:对入库文件逐件计算内容哈希,与已入库指纹库比对,命中即登记引用关系并跳过后续处理。二、切片级预分桶:对通过文件级的切片按长度与首部特征分桶,减少两两比对的范围。三、段落级近重复判定:桶内按最小哈希计算相似度,超过门限的成对标记。四、择一保留:成对的切片按来源权威度与版本新旧择一保留,其余登记为重复并指向被保留的那一条。五、句子级套话剔除:统计全库句式频次,超过频次门限且不携带业务信息的句式按规则批量剔除。六、去噪:按噪声类型逐项处理页眉页脚、水印、修订痕迹、目录残留、噪点与倾斜、乱码片段、空白页。七、处置登记:被剔除与被判重复的内容逐条登记,记录命中规则与所属批次。
**判定规则**。相似度门限按文档类型分档:制度与标准类文档的条款表述高度规范,门限设得严;维修记录与故障案例的表述自由,门限设得松。择一保留的次序是先看来源权威度(受控版本优先于打印件扫描、现行版本优先于历史版本),权威度相同再看版本新旧,两者皆同则保留先入库的一条。套话剔除设白名单:含有数值、术语表内词条、条款编号或对象标识的句子不剔除,即使频次很高——「按本标准第 X 条执行」这类句式频次高但携带引用关系,剔掉之后条款引用识别就失去线索。修订痕迹按版本状态处理:定稿件的修订标记剔除,草稿件保留并标记,理由是草稿中的修订过程本身是工艺与制度演变的素材。
**输入输出实例**。下例按本节的分层与判定规则推演,用于说明三层去重各自命中什么、处置记录怎么填;相似度数值与批次计数在首批标定后按实测回填,不代表现场实测结果。
输入:同一份工艺规程的三个来源件,以及一批维修记录切片。
| 输入对象 | 来源 | 命中层级 | 判定依据 | 处置 | 登记内容 |
|---|---|---|---|---|---|
| 工艺规程甲(受控版本) | 产品生命周期管理系统 | — | 未命中 | 保留,作为基准件 | — |
| 工艺规程乙(车间打印件扫描) | 车间现场 | 文件级 | 内容哈希与甲不同(扫描件带噪点) | 继续进段落级 | — |
| 工艺规程乙的正文切片 | 同上 | 段落级 | 与甲的对应切片相似度超门限 | 判近重复,保留甲 | 重复登记,指向甲的切片编号,记录相似度与命中规则 |
| 工艺规程丙(工艺员汇总表) | 个人整理 | 段落级 | 与甲相似度未超门限(内容有增补) | 保留,标注来源权威度为低 | 差异台账条目,交工艺工程师判定 |
| 维修记录中的「按规程执行,故障排除」 | 制造执行与设备管理系统 | 句子级 | 全库频次超门限,不含数值与术语表词条 | 剔除 | 剔除规则编号、命中条数、所属批次 |
| 维修记录中的「更换三号轴承,间隙调至规程下限」 | 同上 | 句子级 | 频次高但含对象标识与规程引用 | 白名单命中,保留 | 白名单命中登记 |
**失败隔离路径**。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 近重复过滤比例异常升高 | 本批次过滤比例较基线明显升高 | 暂停该算子,本批次切片原样保留在规范层待定区 | 复核门限并确认升高成因后重跑;成因为来源重复入库的,回采集侧核对清点 |
| 套话剔除后信息量低于下限 | 文件剩余有效字符数低于下限 | 该文件回退,撤销本次剔除 | 调整频次门限或补白名单后重跑该文件 |
| 去噪后字符损失率超门限 | 去噪前后字符数差值超门限 | 该文件回退并降低去噪阈值重试一次 | 重试仍超门限的进人工复核队列 |
| 择一保留择错 | 质检抽样复核发现保留了低权威度件 | 按被保留切片编号整批回查同一规则命中的条目 | 修正权威度登记后按规则批量重判,被误剔除的按处置记录恢复 |
| 指纹库冲突 | 两份内容不同的文件指纹相同 | 两份均保留并标记冲突 | 更换哈希算法重算该批次后解除标记 |
去重去噪的全部处置记录保留在废弃层,不随批次关闭删除。下游若发现某类内容被误剔除,按规则编号批量恢复即可,不必回到原始文件重新解析。
#### 2.2.6 文档类通道的产出字段
| 字段 | 说明 |
|---|---|
| 样本编号 | 批次号 + 通道码 + 顺序号 |
| 源文件编号 | 关联采集环节的文件登记 |
| 文件名称与版本 | 原文件标识 |
| 层级路径 | 如「第 3 章>第 2 节>第五条」 |
| 来源页码 | 起始页、结束页 |
| 位置偏移 | 起始偏移、结束偏移 |
| 正文文本 | 切片内容 |
| 表格对象 | 结构化表格数据(若有) |
| 公式对象 | 结构化公式或图像引用(若有) |
| 处置标记 | 去重、去噪、人工复核的处置记录 |
| 算子指纹链 | 本样本所经各算子的指纹序列 |
产出:保留章节层级与来源页码的结构化长文本,供预训练子集与检索增强样本构建使用(`b1402`、`b1403`)。
### 2.3 图纸与图像通道
处理对象为工艺图纸(PDF)、CAD 图纸(DWG/DXF)、工艺卡片、熔池图像、焊后焊道表面图像与工件外观缺陷图像(`b1404`、`b1405`)。
#### 2.3.1 矢量化程度判定
「什么程度算可进原生解析路径」需要一个明确口径,否则同一批图纸会被不同作业人员分到不同路径。判定规则如下表,按顺序逐项判定,任一项不满足即降级。
| 判定项 | 可进原生解析路径的条件 | 不满足时的降级路径 |
|---|---|---|
| 图元可读 | 文件能被原生解析器打开,图元对象可枚举 | 转栅格路径 |
| 图层结构 | 图层名可读,且与企业制图标准的图层约定可对应 | 原生解析但图层信息留空,图层相关字段标记为缺失 |
| 尺寸标注对象 | 标注以标注对象存在,而非散落的文字与线段 | 原生解析 + 标注重建,标注置信标记为中 |
| 文字对象 | 文字以文本对象存在,非图形化描边 | 对文字区域做识别补齐,置信标记为中 |
| 视图投影关系 | 视图边界可识别,视图间对应关系可按投影规则推断 | 仅做单视图解析,投影关系字段留空 |
| 外部引用 | 外部参照与块定义完整,无缺失引用 | 缺失引用的部分标记为不完整 |
降级不等于废弃:降级路径的产出仍可用于检索与图像标注,只是不进入需要精确尺寸的样本构建。这一分级口径与下游标注环节共用。
#### 2.3.2 原生图元解析
原生图元解析与图像识别是两条完全不同的路径,必须分开讲清。电子图纸中保存的是几何图元的精确坐标与属性,解析它是**读取**而不是**识别**,结果是确定的;扫描件只有像素,必须靠算法推断轮廓,结果带置信度。本节的五类解析对象都属前者,因此它们的抽取准确性不以识别率衡量,而以解析覆盖率衡量——即图纸中有多少图元被成功读出并归类。
五类对象中,图层信息的价值最容易被低估。按制图标准,轮廓线、中心线、剖面线、标注分别位于不同图层,图层名与线型本身就携带了语义;不读图层而只读几何,则所有线条都是等价的线段,轮廓还原要靠几何推断,准确性大幅下降。实际情况是企业的图层命名并不完全规范,存在自定义图层与混放情形,因此解析时按图层名与线型双重判据归类,两者冲突的进待确认列表,由工艺人员确认后形成本企业的图层映射表。
符号标注一类(粗糙度、坡口、倒角、形位公差、焊接符号)是备料与焊接工艺设计的直接输入。它们在图纸中既可能是块引用,也可能由线段与文字拼成;后一种情形无法按块读取,需按符号的几何特征与相对位置组合判定。这部分的实测覆盖率在预处理环节的质量报告中单列,因为它直接决定板材备料工艺智能设计场景的数据基础是否成立。
| 解析对象 | 抽取内容 | 用途 |
|---|---|---|
| 几何图元 | 线、圆弧、圆、样条、多段线的坐标与属性 | 轮廓还原、特征识别 |
| 图层 | 图层名、线型、颜色、可见性 | 按制图标准区分轮廓、中心线、剖面线、标注 |
| 尺寸标注 | 标注类型、测量值、公差、关联几何 | 尺寸提取、材料定额核算的输入 |
| 符号标注 | 粗糙度、坡口、倒角、形位公差、焊接符号 | 加工要求识别,作用表面范围判定 |
| 文字与属性 | 标题栏属性、技术要求文本、零件序号 | 元数据抽取 |
| 块与外部参照 | 块名、插入点、属性值 | 标准件识别 |
| 视图与边界 | 视图框、比例、投影方向 | 多视图投影关系推断 |
#### 2.3.3 图面区域切分
图面区域切分按图纸的固有分区进行,切分后分别抽取。
| 区域 | 识别依据 | 抽取内容 |
|---|---|---|
| 标题栏 | 图框右下角固定位置 + 字段标签 | 图号、名称、材料牌号、比例、版本、设计与审核标识(标识字段按入口脱敏规则处理) |
| 明细表区 | 表格结构 + 序号列 | 零件序号、名称、数量、材料、备注 |
| 视图区 | 图框内除上述区域的几何密集区 | 视图边界、视图类型、所含图元 |
| 技术要求区 | 文本块 + 关键词(如「技术要求」) | 文字条款逐条切分 |
| 修改记录区 | 图框内的修改表 | 修改单号、日期、内容 |
#### 2.3.4 图文关联
建立三类对照,字段如下。
| 对照类型 | 关联键 | 字段 | 用途 |
|---|---|---|---|
| 图号与工艺卡片号 | 图号 | 图号、卡片号、物料清单行号、配对置信标记 | 工艺设计监督样本构建 |
| 图元与标注 | 标注关联几何的句柄 | 标注编号、关联图元标识、测量值、作用表面范围 | 尺寸与加工要求的结构化 |
| 图像与检验记录 | 工件号 + 焊道号 + 采集时点 | 图像编号、检验单号、检验项、结论 | 质量影像的标签来源 |
工艺过程图像另按工件号、焊道号与采集时点挂接到制造过程域的时序片段上,形成图像与参数的同期对照。挂接依据是采集环节的对象锚定登记。
图文配对是本通道中唯一产出监督关系而非产出内容的一步,配错的代价因此与别处不同:内容错了下游能看出来,配对错了下游看不出来,它只会在模型里变成一条错误的对应关系。本小节给出配对的步骤、判定规则、实例与失败去向。
**作业步骤**。一、取键:从图纸标题栏抽出图号、零件名称与材料牌号,从工艺卡片抬头抽出卡片号与所属图号,从图像元数据取工件号、焊道号与采集时点。二、一级匹配:按主键直接匹配——图号对图号、工件号加焊道号加时点对检验记录。三、二级交叉核对:一级匹配成功的,再用辅助字段交叉核对一次,零件名称与材料牌号两项同时对上才判高置信。四、三级兜底:一级匹配不成功的,按目录位置相邻、文件名相似度与物料清单行号三项线索给出候选,候选进人工核对队列。五、置信分级与登记:按前三步结果打高、中、低三档,逐条登记配对判定依据。六、反向校验:抽取已配对条目,从卡片号反查图号,核对是否回到同一条。
**判定规则**。一对一是常态但不是前提:一张图可能对应多个版本的工艺卡,一张卡也可能覆盖同族的几个图号。配对表按多对多登记,不强行压成一对一。主键对上而辅助字段对不上的,不判高置信而判中置信并进核对队列——图号相同而零件名称不同,多半是图号被重复使用或标题栏抽取出错,两种情形都不能直接采信。置信标记为低的配对不进入监督样本,只作为检索候选,这一口径与 2.3.1 的矢量化分级口径并列,都是「降级不废弃」。图像与检验记录的配对另有一条时间规则:采集时点须落在该焊道的焊接时间窗内或检验时点的约定邻域内,落在区间外的即使工件号焊道号都对也不配对,因为那多半是另一次返修或复检的图像。
**输入输出实例**。下例按本节定义的三级匹配与置信分级规则推演,用于说明配对表怎么填、三档分别对应什么情形;条数与比例在首批标定后按实测回填,不代表现场实测结果。
输入:四组待配对对象。
| 序 | 输入 | 一级匹配 | 二级交叉核对 | 三级兜底 | 置信标记 | 去向 |
|---|---|---|---|---|---|---|
| 1 | 图纸(图号、零件名称、材料牌号齐全)与同图号工艺卡片 | 图号对上 | 零件名称与材料牌号均对上 | — | 高 | 进工艺设计监督样本 |
| 2 | 图纸与工艺卡片,图号对上但卡片所载材料牌号不同 | 图号对上 | 材料牌号不一致 | — | 中 | 进人工核对队列;核对为版本差异的升为高,为图号重用的拆开重配 |
| 3 | 扫描图纸标题栏未识别出图号,同目录下有一张卡片 | 不成立 | — | 目录位置相邻、文件名相似 | 低 | 仅作检索候选,不进监督样本 |
| 4 | 焊道表面图像与该工件该焊道的检验记录,采集时点晚于焊接时间窗 | 工件号与焊道号对上 | 时间规则不满足 | — | 不配对 | 单列为复检或返修图像,待工单补充后重判 |
输出的配对登记条目字段为:图号、卡片号、物料清单行号、零件名称、材料牌号、配对判定依据(自动匹配/人工确认/待核对)、置信标记、核对岗位与时间、反向校验结论。
**失败隔离路径**。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 关联键缺失 | 图号或卡片号抽取为空 | 置信标记为低,进检索候选池 | 标题栏重新抽取或人工补录图号后重配 |
| 一对多超出合理范围 | 同一图号匹配到的卡片数超出约定上限 | 该图号的全部候选进人工核对队列 | 核对确定对应关系后按多对多登记 |
| 反向校验不一致 | 从卡片号反查不回原图号 | 该条配对撤销,两侧对象重回待配对池 | 查明键值重复或抽取错误后重配 |
| 图像时间规则不满足 | 采集时点落在时间窗外 | 单列为复检或返修图像 | 补到对应的返修工单后按新时间窗重判 |
| 批次配对率低于下限 | 本批次高置信配对占比低于批次计划约定的下限 | 暂停该批次进入标注,不暂停受理 | 核查标题栏抽取与图号清册后重跑配对算子 |
| 抽样复核发现错挂 | 质检岗抽样核对命中 | 按图号整批回查同一规则命中的条目 | 修正匹配规则后批量重判,错挂条目撤销并留痕 |
配对率按批次统计并公示。首批以试点产品型号的图纸与卡片标定基线,后续批次逐步接近每一张有卡片的图纸都带高置信配对的状态;连续两个批次高置信占比低于下限,暂停该来源的自动配对,转全量人工核对并排查标题栏抽取算子。
#### 2.3.5 图像样本的规范化
| 处理项 | 口径 |
|---|---|
| 格式统一 | 统一为约定的无损或低损格式,原始文件保留 |
| 分辨率 | 低于约定下限的标记为仅存档,不进入标注样本 |
| 色彩与曝光 | 熔池图像保留原始亮度信息,不做自动增强,避免改变可判读特征 |
| 区域切分 | 按采集点位的固定取景框切出有效区域 |
| 元数据 | 采集时点、相机位号、工件号、焊道号、工序、关联参数窗 |
| 脱敏 | 画面中出现的人员与铭牌信息按入口脱敏规则处理 |
产出:可用于多模态标注与训练的图像样本及其图文对照记录(`b1406`)。
### 2.4 设备时序通道
处理对象为 SCADA、热处理群控、EMS、SOS 等来源的设备时序数据(`b1407`)。处理动作为多测点时间对齐、重采样、缺失补齐与异常值处理,并按事件锚定切分时间窗(`b1408`、`b1409`)。
#### 2.4.1 时间基准与多测点对齐
时间对齐是制造过程数据加工里**最不显眼也最容易塌方**的一步。它不显眼,因为对齐做对了看不出来;它容易塌方,因为一旦错位,后续所有基于时序的分析都会得出看似合理却完全错误的结论——焊接电流的峰值被对到了上一道工序的时间窗里,模型学到的就是一个凭空的关联。
本节把对齐拆成五个处理项,核心是**先解决基准、再解决相位、最后用事件锚点做二次校正**。源系统时钟偏差先按源登记并补偿,这是基准层;各测点按主测点时标做最近邻或插值对齐,这是相位层;在此之上再以开炉、起弧这类物理事件为锚点校正一次,因为前两层只能消除系统性偏差,消除不了设备启停的记录延迟。三层做完仍有残差超门限的,整段标记而不是强行使用。
失败处置一列全部指向「标记」而不是「丢弃」。时基不确定的数据仍有价值——它可以用于不依赖精确时序的任务(如工况分布统计),只是不能用于需要时序因果的任务(如参数到缺陷的归因)。把它标记出来而不是删掉,使数据集的可用范围由使用方按任务判断,而不是在加工阶段替使用方作决定。这一原则贯穿本节各环节:**不可用的信息要被标出,不要被抹去**。
| 处理项 | 方法 | 参数 | 失败处置 |
|---|---|---|---|
| 时间基准统一 | 以企业统一时间基准为准,各源系统时钟偏差按源登记并在对齐时补偿 | 偏差值、补偿方向 | 偏差未知的源,该时间窗数据标记为时基不确定 |
| 时区归一 | 统一到约定时区并显式标注 | 目标时区 | 无时区信息的按源系统默认时区补齐并标记 |
| 采样相位对齐 | 以主测点时标为参照,其余测点按最近邻或插值对齐 | 对齐容差 | 超容差的测点在该窗内标记为未对齐 |
| 跨系统对齐 | 以事件时刻(开炉、起弧)为锚点做二次校正 | 锚点类型、允许平移量 | 校正后残差超门限的整段标记 |
| 对齐校验 | 跨测点时标一致性校验 + 同期事件比对 | 一致性门限 | 发现跨测点错位的,该设备该时间窗整段回退重对齐 |
#### 2.4.2 重采样
重采样按物理量性质选择方法,不用一种方法处理所有量。
| 物理量类别 | 典型测点 | 重采样方法 | 说明 |
|---|---|---|---|
| 温度类 | 淬火前后表面温度、层间温度、返热温度 | 窗内均值 | 保留窗内极值作为附加字段 |
| 电气连续量 | 实时电流、实时电压、加热功率 | 窗内均值 + 均方根 | 焊接侧另保留原始密度版本 |
| 频率与速度 | 频率、焊接速度、送丝速度 | 窗内均值 | 变化率作为附加字段 |
| 流量与浓度 | 淬火液流量、浓度、保护气体流量 | 窗内均值 | 零值与停机状态区分标记 |
| 几何量 | 感应器间隙、焊枪摆动振幅 | 窗内均值 | 设定值与实际值分列 |
| 状态类 | 设备运行状态、启停状态、变位机状态 | 窗内众数 | 状态翻转次数作为附加字段 |
| 累计量 | 能耗、运行时长 | 窗内差分 | 计数器回绕按规则修正 |
| 事件类 | 报警代码、起弧与收弧 | 不重采样 | 事件原样保留并带时标 |
统一步长按数据组分档设定,写入算子参数并随批次登记;焊接参数在统一步长版本之外另保留原始密度版本,供需要细节的样本构建使用。
**作业步骤**。一、取物理量类别:按测点配置查出该测点的物理量类别,据此选定重采样方法,类别缺失的按本体能耗与工况类目的属性回查。二、定窗:按统一步长划分重采样窗,窗边界对齐到整步长时刻,不按数据起点随机对齐,否则不同测点的窗边界错开,后续横向比较仍对不上。三、窗内聚合:按方法表计算窗内值,同时计算附加字段(极值、均方根、变化率、翻转次数)。四、有效性判定:统计窗内有效点数,低于下限的窗不产出聚合值,标记为有效点不足。五、双份落地:焊接侧与热处理侧在统一步长版本之外另落原始密度版本,两份互相指向。六、登记:写入算子指纹,含统一步长取值、方法表版本与各测点的方法选择结果。
**聚合规则**。连续量取窗内均值,电气量另取均方根——焊接电流的有效值与算术均值在波形不对称时差别明显,而缺陷相关的是有效值。状态类取窗内众数而非首值或末值,并把翻转次数作为附加字段保留,因为一个窗内状态翻转三次与稳定不变,众数可能相同而工况完全不同。累计量取窗内差分,计数器回绕按量程上限修正,修正动作逐次登记。事件类不重采样,原样保留带时标——事件一旦被归并到窗里,它的发生时刻精度就降到了步长量级,而事件锚定切窗正是靠这个时刻定边界的。有设定值的参数,实际值与设定值分列重采样,不先作差再重采样,理由是差值的重采样会把符号相反的偏离互相抵消。
**输入输出实例**。下例按本节的方法表与窗口规则推演,用于说明同一个窗内不同物理量各自产出什么字段;数值在首批标定后按实测回填,不代表现场实测结果。
输入:一个统一步长窗内的五类测点原始采样。
| 测点类别 | 窗内原始点 | 重采样方法 | 输出主字段 | 输出附加字段 | 有效性判定 |
|---|---|---|---|---|---|
| 实时电流(电气连续量) | 窗内多点连续采样 | 均值 + 均方根 | 窗内均值、窗内均方根 | 窗内最大值、最小值、变化率上界 | 有效点数达下限,产出 |
| 层间温度(温度类) | 窗内多点连续采样 | 均值 | 窗内均值 | 窗内极大值、极小值 | 有效点数达下限,产出 |
| 变位机状态(状态类) | 窗内若干次状态记录 | 众数 | 窗内众数状态 | 状态翻转次数 | 有效点数达下限,产出 |
| 能耗读数(累计量) | 窗首与窗尾读数 | 差分 | 窗内增量 | 是否发生计数器回绕、修正量 | 窗尾读数小于窗首且未判回绕,标记待判 |
| 起弧标记(事件类) | 窗内一次事件 | 不重采样 | 事件类型、原始时标 | — | 原样保留 |
同一窗的输出另带三项公共字段:窗起止时刻、窗内有效点数与总点数、本窗所用算子指纹。焊接侧的原始密度版本与本窗在血缘中互相指向,指向关系写入对照关系表。
**失败隔离路径**。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 方法表未覆盖该物理量 | 测点配置的物理量类别在方法表中查不到 | 该测点本窗跳过并标记,同窗其余测点照常产出 | 方法表补该类别后重跑该测点,不整批重跑 |
| 窗内有效点不足 | 有效点数低于下限 | 本窗不产出聚合值,标记为有效点不足 | 缺失补齐环节补短缺口后按补齐结果重算 |
| 窗边界未对齐 | 窗起止时刻不在整步长时刻上 | 整段回退重划窗 | 修正对齐基准后重跑 |
| 计数器回绕判定不成立 | 窗尾读数小于窗首,但差值不接近量程上限 | 该窗增量标记为待判,不进入能耗统计 | 核对量程配置或源侧读数后重算 |
| 双份落地缺一 | 焊接侧或热处理侧只产出了统一步长版本 | 该批次该通道回退 | 补落原始密度版本并建立互指关系后重跑 |
| 同指纹复算结果不一致 | 质检岗按算子指纹复算命中 | 暂停该算子版本,受影响批次按指纹定位 | 查明不确定性来源并固定后重发版本 |
#### 2.4.3 缺失补齐
| 缺口长度 | 判定 | 处置 | 标记 |
|---|---|---|---|
| 单点缺失 | 相邻点均有效 | 线性插值 | 标记为插值值 |
| 短缺口 | 缺口长度不超过约定上限 | 线性插值或前向填充(状态类用前向填充) | 标记为插值值并记录缺口长度 |
| 长缺口 | 缺口长度超过约定上限 | 不补,整段标记缺失 | 标记为缺失段 |
| 整测点缺失 | 该窗内测点无任何数据 | 不补,字段留空 | 标记为测点无数据 |
| 采集中断 | 多测点同时缺失且时长相近 | 判为链路中断,整窗标记 | 标记为采集中断并提示采集接入环节 |
补齐与否的边界由下游用途决定,因此预处理只做两件事:按规则补短缺口,并把所有补齐动作标记清楚。插值值在样本中可被下游按需过滤。
**作业步骤**。一、缺口识别:按测点逐段扫描时标序列,识别缺口位置与长度;多测点同时缺失且时长相近的先判为采集中断,不按单测点缺失处理。二、缺口定级:按单点、短缺口、长缺口、整测点缺失、采集中断五档定级,分级门限按物理量类别分档写入算子参数。三、方法选择:连续量用线性插值,状态类用前向填充,累计量不插值只标记——累计量插值会凭空造出一段并不存在的用量。四、执行与标记:按方法补齐,逐点写入插值标记、缺口长度与所用方法。五、比例统计:按测点统计插值点占比与缺失段占比,写入批次质量字段。六、超限处置:占比超出批次计划约定上限的测点,整段不补并标记,交质检岗判定该测点在本批次的可用范围。
**补齐规则**。补短不补长,是本节最硬的一条:缺口越长,插值出来的值与实际偏离越远,而下游无从知道这一段是造出来的还是测出来的。因此长缺口一律不补,整段标记缺失。状态类即使是单点缺失也不用插值而用前向填充,因为状态是离散的,两个状态之间的线性中间值没有物理含义。跨工况分段边界不插值:边界两侧属于不同工况,用一侧的值去补另一侧会把工况切换抹平。事件类不补,事件没有发生就是没有发生。采集中断判定成立的整窗不补,并回提采集接入环节核对链路告警与重试记录,与 1.15 的对账口径一致。
**输入输出实例**。下例按本节的定级与方法规则推演,用于说明五档缺口各自怎么处置、标记字段怎么填;缺口长度门限在首批标定后按实测回填,不代表现场实测结果。
输入:一个事件窗内五处缺口。
| 序 | 缺口情形 | 定级 | 处置方法 | 输出标记 | 对下游的影响 |
|---|---|---|---|---|---|
| 1 | 淬火液温度单点缺失,前后点均有效 | 单点缺失 | 线性插值 | 该点标记为插值值 | 可用于全部任务;需严格实测的任务可按标记过滤 |
| 2 | 加热功率连续缺失数点,未超短缺口上限 | 短缺口 | 线性插值 | 标记为插值值并记录缺口长度 | 同上 |
| 3 | 层间温度连续缺失超出短缺口上限 | 长缺口 | 不补 | 整段标记为缺失段 | 该段不进入需要连续温度曲线的样本;窗内其余测点不受影响 |
| 4 | 感应器间隙在本窗内无任何数据 | 整测点缺失 | 不补,字段留空 | 标记为测点无数据 | 该窗不进入需要该参数的样本;在数据卡中按测点登记覆盖缺口 |
| 5 | 炉温、功率、流量三测点同时缺失且时长相近 | 采集中断 | 整窗不补 | 标记为采集中断,提示采集接入环节 | 整窗退出本批次有效区间;补采后按新采集序号并入同一批次体系 |
| 6 | 设备运行状态在工况分段边界处单点缺失 | 单点缺失但跨边界 | 不插值 | 标记为跨工况边界未补 | 该点按未知状态处理,不参与状态翻转计数 |
输出另带三项统计字段随批次保存:本测点插值点占比、缺失段总时长占窗长比例、采集中断窗数。
**失败隔离路径**。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 缺口判定失败 | 时标序列本身不可解析或存在重复时标 | 整段标记缺失,不做补齐 | 时间基准统一环节修正后重跑 |
| 插值点占比超上限 | 本测点插值点占比超出批次计划约定上限 | 该测点本批次整段不补并标记,交质检岗判定可用范围 | 源侧补采或测点修复后按新采集序号重新受理 |
| 补齐后分布异常 | 补齐前后的统计分布偏移超出约定范围 | 撤销本次补齐,恢复原始缺口 | 核查插值方法选择与缺口定级后重跑 |
| 采集中断频发 | 同一链路连续多窗判为采集中断 | 暂停该源受理,整段数据保留但标记 | 采集接入环节核查链路并出结论后恢复 |
| 状态类被误插值 | 质检抽样发现状态字段出现非值域取值 | 该测点整批回退重做补齐 | 修正方法选择表后重跑 |
#### 2.4.4 异常值处理
异常判定按三道判据顺序执行,任一道命中即标记,并记录命中的判据。
| 判据 | 方法 | 参数 | 说明 |
|---|---|---|---|
| 物理量程校验 | 与测点量程、物理可行区间比对 | 量程上下限 | 量程取自测点配置,配置缺失的按本体的正常区间字段 |
| 变化率校验 | 相邻点变化率与该物理量的可行变化率比对 | 变化率上限 | 温度、流量类设上限;电气量按工艺特性单独设定 |
| 同工况统计离群 | 同设备同工况历史分布的离群判定 | 离群判定方法与门限 | 需先有工况分段,首批次以试点设备标定 |
判定为异常的点标记而不直接删除,删除动作留给下游按用途决定。这是本方案的刻意选择:预处理不替下游做取舍,只提供标记。异常点占比按测点统计,占比异常升高时触发传感器可信度核查,核查结论回写测点配置。
**作业步骤**。一、取判据参数:从测点配置取量程上下限与可行变化率,配置缺失的取本体能耗与工况类目的正常区间字段,两者皆缺的只做变化率判定并标记。二、量程判定:逐点与物理可行区间比对,越界即标记并记录越界幅度。三、变化率判定:计算相邻点变化率,超出该物理量可行变化率上限的标记。四、同工况离群判定:在已有工况分段的前提下,与同设备同工况的历史分布比对,离群点标记并记录所用判定方法与门限。五、命中登记:每个被标记的点记录命中了哪一道判据,三道都命中的记三条,不合并。六、占比统计与回查:按测点统计异常点占比,占比异常升高时触发传感器可信度核查,核查结论回写测点配置并回流本体。
**判定规则**。三道判据顺序执行而非择一:量程判据抓的是明显不可能的值,变化率判据抓的是物理上来不及的跳变,离群判据抓的是看起来正常但与同工况历史不符的值,三者抓的是不同的东西。标记不删除是本节的原则——被判为异常的点中,一部分确实是测量故障,另一部分恰恰是真实发生的工艺异常,而区分这两者需要结合工单与检验结论,那是标注与质检环节的工作,不是预处理能定的。首批次之前没有本企业的同工况分布,离群判据暂不启用,先以试点设备标定分布后再按批次开启;未启用期间的批次在质量标记中注明离群判据未参与,使下游知道这批数据的异常标记只覆盖前两道。
**输入输出实例**。下例按本节的三道判据与标记规则推演,用于说明同一段数据里不同成因的异常各自命中什么、下游如何区别对待;门限取值在首批标定后按实测回填,不代表现场实测结果。
输入:一段焊接稳态段的实时电流序列与同期的层间温度序列。
| 序 | 数据点情形 | 量程判据 | 变化率判据 | 离群判据 | 标记结果 | 下游处置 |
|---|---|---|---|---|---|---|
| 1 | 实时电流出现一个远超焊机额定上限的点 | 命中 | 命中 | — | 标记异常,记两条命中 | 判为测量故障候选,进传感器可信度核查队列 |
| 2 | 实时电流在相邻两点间跳变幅度超可行变化率,但两点均在量程内 | 未命中 | 命中 | 命中 | 标记异常,记两条命中 | 结合同期熔池影像与检验结论判定是真实瞬态还是采样抖动 |
| 3 | 层间温度整段高于同工况历史分布,但在量程内且变化平缓 | 未命中 | 未命中 | 命中 | 标记异常,记一条命中 | 判为工况异常候选,进工艺归因;不作测量故障处理 |
| 4 | 层间温度在停机段恒为量程下限 | 未命中 | 未命中 | 命中 | 标记异常,记一条命中 | 结合设备状态判定为停机而非异常,标记在质检环节解除并登记解除依据 |
| 5 | 某测点量程与正常区间均缺失,电流出现跳变 | 不可判 | 命中 | 不可判 | 标记异常并标注仅变化率判定 | 在数据卡中注明该测点的异常判定覆盖面较窄 |
输出字段:异常标记、命中判据清单、越界幅度或离群程度、判定时所用参数版本、是否曾被人工解除及解除依据。
**失败隔离路径**。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 量程与正常区间均缺失 | 测点配置与本体属性皆查不到 | 仅做变化率判定并标记判定覆盖面 | 测点配置补录或本体补正常区间后重跑 |
| 工况分段未完成 | 该设备无工况分段结论 | 离群判据跳过,工况字段留空 | 工况分段算子产出后重跑离群判定 |
| 异常点占比异常升高 | 本测点异常占比较基线明显升高 | 该测点进传感器可信度核查队列,数据照常产出但带标记 | 核查结论回写测点配置后按新参数重判 |
| 判定参数版本不一致 | 同一批次内不同测点使用了不同版本的量程表 | 整批回退重判 | 固定参数版本后重跑 |
| 标记被下游误删 | 质检岗复核发现供样区样本缺质量标记字段 | 该样本不进入供样区 | 补齐标记字段后重新提交预处理检查节点判定 |
异常点的处置到标记为止,删与留交下游按用途决定。这一分工的理由与缺失补齐一致:预处理不替下游判断哪些信息该丢。
#### 2.4.5 事件锚定切窗
按报警、停机、开炉、焊接作业四类事件锚定切分时间窗(`b1408`)。窗长按事件类型分别设定并写入算子参数。
| 事件类型 | 事件时刻定义 | 前置窗 | 事件窗 | 后置窗 | 关联测点 |
|---|---|---|---|---|---|
| 报警 | 报警产生时刻 | 覆盖报警前的工况演变 | 报警持续期 | 覆盖报警确认与处置 | 该设备同期相关通道 |
| 停机 | 运行状态转为停止的时刻 | 覆盖停机前运行段 | 停机持续期 | 覆盖重启与恢复 | 状态、电气量、温度 |
| 开炉 | 炉次工单开工时刻 | 覆盖装炉准备 | 开炉至完工 | 覆盖出炉与返热 | 热处理全部参数 |
| 焊接作业 | 起弧时刻 | 覆盖引弧前准备 | 起弧至收弧 | 覆盖收弧后冷却与层间等待 | 焊接全部参数 + 层间温度 |
切窗结果形成「时序片段—事件」样本对,字段如下(`b1409`)。
| 字段 | 说明 |
|---|---|
| 样本编号 | 批次号 + 通道码 + 顺序号 |
| 事件类型与事件时刻 | 四类之一 + 时标 |
| 窗口定义 | 前置窗、事件窗、后置窗的起止时刻 |
| 所属设备与测点清单 | 设备号、测点编号列表 |
| 所属对象 | 工件号、焊道号或炉次号(来自对象锚定登记) |
| 时序数据 | 各测点的对齐重采样序列 |
| 质量标记 | 插值点位置、缺失段、异常点与命中判据 |
| 工况标记 | 工况分段结论(若已具备) |
| 算子指纹链 | 本样本所经各算子的指纹序列 |
同一时间窗内相关通道的多条报警按设备与时间邻近归并为一次事件,原始报警逐条保留。归并规则与在役装备健康诊断场景的事件口径一致,详见场景验证章节。
### 2.5 视频通道
处理对象为熔池影像、焊接过程录像、热处理装出炉过程录像与按检验规程留存的检测过程录像。受理口径见 1.7.5,本节处理的是受理成段之后的解码、分段、抽帧、规范化与三方对齐。
视频与图像在加工上不是同一件事。图像通道处理的是单帧的内容,视频通道处理的是帧与帧之间的变化:熔池的形态怎样随电流波动改变、焊道表面在收弧后如何冷却、工件入炉后多久开始发亮。这些信息只存在于时间维度上,抽成单帧就没有了。另一方面,训练与标注并不消费整段视频,消费的是被切成业务单元的片段与被选出的代表帧。本通道的工作因此集中在三件事:把段切到业务单元上、把代表帧选准、把片段与同期时序和文本挂上。
#### 2.5.1 解码与时基核对
| 处理项 | 方法 | 参数 | 失败处置 |
|---|---|---|---|
| 解码 | 按归档副本的封装与编码参数解码,逐帧取出帧序号、显示时间戳与像素数据 | 目标色彩空间、是否按原始位深解码 | 解码失败的段入隔离区,回受理侧按原始帧序列重新转码 |
| 帧时标还原 | 以原始帧序列的逐帧时间戳为准;仅有归档副本时按段起始时刻与帧率推算,并标注为推算时标 | 帧率、起始时刻来源 | 帧率不均匀且无逐帧时间戳的段,整段标注时基不确定 |
| 丢帧检测 | 按相邻帧时间戳差值与标称帧率比对 | 丢帧判定倍率 | 丢帧率超门限的段标注为不连续,分段时不跨越丢帧位置 |
| 时基核对 | 段内帧时标与同期时序数据的事件时刻(起弧、开炉)比对一次 | 允许偏差 | 偏差超出允许范围的,按事件时刻做整段平移并记录平移量;平移后仍超限的整段标注时基不确定 |
| 位姿与取景核对 | 段起始帧与该相机位号的基准取景框比对 | 位移与缩放容差 | 超容差的段标注取景变更,不与变更前的段共用同一区域切分参数 |
时基核对放在分段之前,次序不能颠倒。分段依据的是时序侧的事件时刻,而事件时刻与帧时标若不在同一基准上,切出来的段边界会整体偏移;边界偏移之后再去挂工件与焊道,挂到的就是相邻的那一条。
#### 2.5.2 视频分段
受理阶段已按一次业务事件切出粗段(1.7.5),本节在粗段之内按工艺阶段做二次分段,使每一个片段对应一个可判读的工艺阶段,而不是一段笼统的过程录像。
分段按四步执行。
第一步,取同期事件序列。从设备时序通道的事件锚定切窗结果中取出该段覆盖时间范围内的事件:焊接取起弧、收弧、程序切换、停弧,热处理取装炉、升温起点、保温起点、保温终点、出炉,检验取开始与结束。事件来自时序侧而非视频内容,这是本方案的选择——事件时刻在时序数据中是明确的记录,在视频里只能靠画面推断,推断的边界不稳定。
第二步,按事件时刻切分。以事件时刻为边界切出阶段片段,边界两侧各留一段余量,余量长度按事件类型写入算子参数。相邻事件间隔短于最小片段长度的,两个阶段合并为一段并保留两个阶段标记。
第三步,内容校验。对切出的片段做一次画面一致性校验:焊接片段的稳态段内应持续存在高亮区域,装炉片段内应出现工件进入取景框的画面变化。校验不通过的片段不直接丢弃,标记为与事件不符并单列,由人工判读该段究竟是事件记录有误还是相机未拍到。
第四步,登记与编号。每个片段登记片段编号、所属粗段、阶段标记、起止帧序号与起止时标、所属对象、校验结论。
| 分段规则 | 内容 | 不满足时的处置 |
|---|---|---|
| 边界取自时序事件 | 片段边界以同期事件时刻为准,不按画面内容自行判定 | 该粗段无同期事件记录的,整段按粗段保留,不做二次分段,阶段标记留空 |
| 不跨丢帧位置 | 片段内不包含丢帧判定命中的位置 | 丢帧位置落在片段内的,以丢帧位置为界再切一次,两侧分别成段并标注 |
| 不跨取景变更 | 片段内不包含取景变更时点 | 变更时点落在片段内的,以变更时点为界切开,变更后的片段按新基准取景框处理 |
| 最小片段长度 | 短于下限的片段与相邻片段合并,保留两个阶段标记 | — |
| 一片段一对象 | 一个片段只挂一个工件与焊道,或一个炉次 | 粗段内对象发生更替的,以更替时刻为界切开;更替时刻不可确定的,该片段标记为未锚定 |
分段的输入输出实例如下。例中的字段结构与取值按本节已定义的规则推演,用于说明一段录像被切成什么、每个字段怎么填;具体的时刻、帧号与段数在首批标定后按实测回填,不代表现场实测结果。
**输入**:一段焊接过程录像的粗段。
| 字段 | 取值 |
|---|---|
| 粗段编号 | 相机位号 + 段起始时标 + 顺序号 |
| 相机位号 | 焊接工位相机位号 |
| 段起止时标 | 起弧前余量起点至收弧后余量终点 |
| 帧率与分辨率 | 按归档副本登记值 |
| 所属对象(受理侧锚定) | 工件号 + 焊道号 |
| 同期事件序列 | 起弧、程序切换、收弧三类事件各带时刻 |
**输出**:四个阶段片段。
| 片段编号 | 阶段标记 | 边界依据 | 所属对象 | 内容校验结论 | 去向 |
|---|---|---|---|---|---|
| 粗段编号 + 01 | 引弧前准备 | 段起点至起弧时刻 | 同粗段 | 通过 | 预训练语料;工况背景帧来源 |
| 粗段编号 + 02 | 起弧瞬态 | 起弧时刻 + 前后余量 | 同粗段 | 通过 | 多模态标注;与实时参数瞬态段对照 |
| 粗段编号 + 03 | 稳态焊接 | 起弧余量终点至收弧时刻,程序切换处再切一次 | 同粗段 | 通过 | 熔池形态标注;与实时—预设偏差序列对照 |
| 粗段编号 + 04 | 收弧与冷却 | 收弧时刻至段终点 | 同粗段 | 与事件不符(取景框内无高亮区域) | 单列待人工判读,不进监督样本 |
第四个片段的处置说明了失败隔离的做法:它既没有被丢弃,也没有被当作正常片段流向下游,而是带着校验结论单列。人工判读之后,若判定为相机在收弧后被遮挡,该片段回到预训练语料;若判定为事件时刻记录有误,则该粗段的四个片段一并回退重切。
#### 2.5.3 视频分段的失败隔离路径
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 解码失败 | 解码器报错或输出帧数为零 | 隔离区,登记问题清单 | 受理侧按原始帧序列重新转码后重新进通道 |
| 时基不确定 | 无逐帧时间戳且帧率不均匀,或时基核对平移后仍超限 | 不进隔离区,整段带标记流向预训练语料 | 相机校时记录补齐后按新偏差值重算时标并重跑 |
| 无同期事件 | 该粗段时间范围内取不到任一类事件记录 | 保留粗段,阶段标记留空,不进需要阶段标签的样本 | 时序通道的事件锚定切窗补齐后重跑分段算子 |
| 内容校验不通过 | 画面一致性校验命中 | 单列待判读队列 | 人工判读给出结论后按结论分流 |
| 对象未锚定 | 粗段内对象更替时刻不可确定 | 片段标记为未锚定,单独存放 | 对象锚定登记补齐后重跑挂接 |
| 片段数异常 | 同一粗段切出的片段数超出该事件类型的合理区间 | 整粗段回退,暂停该相机该时间窗的分段 | 核查事件记录重复或缺失后重跑 |
隔离区的片段不删除,保留至批次关闭后约定期限,与文档通道的隔离口径一致。
#### 2.5.4 关键帧抽取与帧级样本规范化
标注与训练消费的是帧,因此每个阶段片段要选出代表帧。选帧不是均匀抽样——均匀抽样在稳态段会取到大量近乎相同的帧,而在变化剧烈处又取不够。
| 抽帧策略 | 适用阶段 | 规则 | 产出 |
|---|---|---|---|
| 事件对齐帧 | 瞬态阶段 | 取事件时刻前后各若干帧,间隔按帧率换算 | 与事件强相关的帧序列 |
| 等间隔基线帧 | 稳态阶段 | 按固定时间间隔抽取,间隔写入算子参数 | 覆盖全阶段的基线帧 |
| 变化触发帧 | 全阶段 | 相邻帧的有效区域差异超过门限即抽一帧 | 形态变化处的帧 |
| 参数触发帧 | 有同期时序的阶段 | 实时—预设偏差超出约定范围的时刻对应的帧 | 疑似异常处的帧,供缺陷归因 |
| 人工指定帧 | 全阶段 | 判读人员在标注过程中补选 | 补充难例 |
抽出的帧按图像通道的规范化口径处理(2.3.5),另加视频特有的四个字段:所属片段编号、帧序号、帧时标、抽帧策略。熔池帧与焊道帧保留原始亮度信息,不做自动增强,理由与 2.3.5 一致。
近重复帧的剔除按有效区域的相似度判定,门限按阶段分档:稳态阶段门限较松,瞬态阶段门限较严,避免把形态变化剧烈处的相邻帧误判为重复。剔除记录保留,可按片段回查。
#### 2.5.5 视频与时序、文本的三方对齐
视频片段单独使用价值有限,它的价值在于与同期的参数曲线和文本记录形成对照。三方对齐按统一的对象与时间基准执行。
| 对齐关系 | 关联键 | 对齐方式 | 产出 |
|---|---|---|---|
| 片段与时序片段 | 对象标识 + 时间区间 | 以同一事件锚点为基准,取时间区间相交的时序片段 | 片段—时序对照记录,含两侧的起止时标与重叠区间 |
| 帧与时序采样点 | 帧时标 | 按最近邻取同一时刻的测值,偏差超容差的标记为未对齐 | 帧级参数标注,含电流、电压、层间温度等同期测值 |
| 片段与文本记录 | 对象标识 + 工单号或炉次工单号 | 取覆盖该时间区间的工单、报工与检验记录 | 片段—文本对照记录,供视频与文本对齐类样本构建 |
| 片段与检验结论 | 工件号 + 焊道号 + 检验单号 | 取该焊道的检验结论作为片段级标签候选 | 带标签候选的片段,标签确认在标注环节 |
三方对齐的产出是本通道交给下游的主要形态:一个片段、它同期的参数曲线、它对应的工单与检验结论,三者带着同一组对象标识与时间区间。多模态数据对齐类工具链在本步调用,调用参数与版本随批次登记。
对齐成功率按片段统计。首批以试点产线的一个月采集量标定基线,统计「有同期时序对照的片段占比」与「有检验结论的片段占比」两个数;后续批次逐步接近每个稳态片段都带同期参数曲线的状态。某一相机连续两个批次前一个比值低于批次计划约定的下限,暂停该相机片段进入多模态标注,转查时基核对与对象锚定两处。
#### 2.5.6 视频通道的产出字段
| 字段 | 说明 |
|---|---|
| 片段编号 | 粗段编号 + 阶段顺序号 |
| 所属粗段与相机位号 | 受理侧登记 |
| 阶段标记 | 引弧前准备/起弧瞬态/稳态焊接/收弧与冷却,或热处理与检验对应的阶段集 |
| 起止帧序号与起止时标 | 片段边界 |
| 所属对象 | 工件号、焊道号或炉次号 |
| 代表帧清单 | 帧序号、帧时标、抽帧策略、帧级样本编号 |
| 同期时序对照 | 对照的时序样本编号与重叠区间 |
| 同期文本对照 | 工单号、报工记录标识、检验单号 |
| 质量标记 | 时基不确定、丢帧、取景变更、内容校验结论、未锚定 |
| 算子指纹链 | 本片段所经各算子的指纹序列 |
产出:按工艺阶段切分并与参数曲线、文本记录对照的视频片段与代表帧样本,供多模态标注、多模态指令样本与多模态评测题构建使用。
### 2.6 结构化与时序的文本化通道
处理对象为 CRM、ERP、SCM、WMS、MES、QMS、EAM 等系统的业务表单、工单记录、检验数据与设备运行曲线,要求转换为自然语言文本样本,使结构化数据与时序数据可被大模型直接消费(`b1410`、`b1411`、`b1412`)。
#### 2.6.1 模板体系
转换以模板法为主、模型改写为辅。模板按业务对象设计,一类对象一组模板。
| 业务对象 | 模板组 | 字段槽 | 文本样本用途 |
|---|---|---|---|
| 销售订单与合同 | 订单叙述、交付节点叙述 | 客户、产品配置、数量、金额区间、交付期 | 预训练子集、供需计划指令样本 |
| 采购与供应商履约 | 采购叙述、履约评价叙述 | 供应商、物料、周期、到货时效、履约率 | 预训练子集、供需计划指令样本 |
| 库存与出入库 | 库存状态叙述、流转叙述 | 物料、仓库、批次、可用量、占用量 | 供需计划指令样本 |
| 生产工单与报工 | 工单叙述、工序流转叙述 | 工单号、产品、工序、进度、设备 | 制造过程指令样本 |
| 检验记录 | 检验结论叙述、不合格处置叙述 | 工件、检验项、测值、判定、处置 | 产品质量指令样本 |
| 设备台账与点检 | 设备档案叙述、点检叙述 | 设备、部位、点检项、结论 | 制造过程指令样本 |
| 维修工单与诊断 | 故障处置叙述 | 设备、现象、原因、措施、备件 | 制造过程指令样本、故障链图谱素材 |
| 设备运行曲线 | 曲线形态叙述 | 见 2.6.2 | 制造过程与产品质量指令样本 |
| 物料清单与工序 | 结构叙述、工艺路线叙述 | 零件、层级、用量、工序序列 | 产品工艺设计指令样本 |
模板中的术语一律取自知识本体的术语表,单位与量纲按数据元标准统一。模板本身版本化,模板版本进入算子指纹。
#### 2.6.2 设备运行曲线的文本化口径
曲线文本化不逐点叙述,而是按形态特征描述。特征口径如下表,取值由时序通道计算后带入模板。
| 特征 | 定义 | 适用物理量 |
|---|---|---|
| 升温段斜率 | 升温区间内的平均变化率 | 温度类 |
| 保温段波动范围 | 保温区间内的极差与标准差 | 温度类 |
| 峰值与出现时刻 | 窗内最大值及其时标 | 温度、电流、功率 |
| 谷值与出现时刻 | 窗内最小值及其时标 | 温度、流量 |
| 与设定值的偏离区间 | 实际值与设定值之差超出允差的时间区间 | 有设定值的参数 |
| 偏离方向与幅度 | 偏高或偏低、最大偏离量 | 同上 |
| 稳定段时长占比 | 变化率低于门限的时长占窗长比例 | 连续量 |
| 状态翻转次数 | 状态类测点在窗内的翻转计数 | 状态类 |
| 事件序列 | 窗内事件按时序排列 | 事件类 |
#### 2.6.3 模型改写的使用边界
模型改写只用于句式多样化,不用于生成事实。改写后逐条回查:数值、术语、单位、对象标识是否被改动,任一项被改动即废弃该条,不做修补。废弃率按批次统计,升高时回退模板或调整改写参数。
每条文本样本挂回其源记录主键与批次号,可逆回查。文本化产出的任何一句话都能回到它的源记录,核对不上的样本不进入供样区。这一条是防幻觉的关键。
#### 2.6.4 文本化通道的产出字段
| 字段 | 说明 |
|---|---|
| 样本编号 | 批次号 + 通道码 + 顺序号 |
| 源记录主键 | 源系统主键 + 批次号 |
| 业务对象类型 | 对应模板组 |
| 模板编号与版本 | 所用模板标识 |
| 文本内容 | 生成的自然语言文本 |
| 字段取值清单 | 填入模板的各字段原值 |
| 术语归一记录 | 原始表述与归一后术语的对照 |
| 回查结论 | 数值与术语一致性回查结果 |
| 算子指纹链 | 本样本所经各算子的指纹序列 |
产出:供预训练子集与指令微调子集使用的自然语言文本样本及其源记录对照表(`b1412`)。
### 2.7 分域保存与对照关系
预处理产出按四类数据集分域保存,与原始数据的对照关系随之保存;每个业务域产出贴源数据与规范化样本两层。
| 分区与分层 | 内容 | 保留期与版本 |
|---|---|---|
| 贴源层(按业务域) | 原始数据批次、采集记录、隔离区记录 | 按批次保留,不覆盖 |
| 规范层(按业务域 + 通道) | 结构化长文本、图像样本、时序样本对、视频片段与代表帧、文本化样本 | 按批次与算子指纹保留,重跑产出为新版本 |
| 对照层 | 规范化样本与原始记录、原始文件、原始测点的对照关系 | 与规范层同生命周期 |
| 废弃层 | 质量检查节点判定不通过的批次与被剔除内容 | 保留至批次关闭后约定期限 |
对照关系表的字段为:样本编号、批次号、业务域、数据集归属、源文件编号或源记录主键、源内位置(页码与偏移、图元句柄、测点与时间窗、视频片段编号与帧区间)、算子指纹链、产出版本。
### 2.8 算子登记与可复算
每个批次登记所用算子及其版本与参数取值,登记对象为 2.11 所列各算子。
| 字段 | 说明 |
|---|---|
| 批次号 | 输入批次 |
| 处理通道 | 文档/图像/时序/视频/文本化 |
| 算子编号与名称 | 算子标识 |
| 算子版本 | 主版本.次版本 |
| 参数取值 | 本次执行的全部参数 |
| 算子指纹 | 编号、版本与参数的哈希 |
| 执行时间与时长 | 调度记录 |
| 输入与输出批次号 | 血缘链 |
| 执行结果 | 成功、部分成功(含跳过计数)、失败 |
| 失败原因与处置 | 对应失败判定项 |
算子版本与参数取值合并计算指纹,指纹相同即处理过程可复现。重跑某批次时沿用原指纹可得到同一结果,这是质检与验证环节做复算的前提。同一算子连续两批次未通过预处理检查节点,暂停该算子版本并排查。
### 2.9 预处理环节的质量控制点
预处理环节的控制点与采集环节有一个根本区别:采集管的是「数据对不对」,预处理管的是「加工有没有把数据改坏」。原始数据再差也是事实,而预处理的每一步都在改变数据形态——解析、切分、归一、对齐——每一步都可能引入原数据中不存在的错误。因此本环节的控制点全部指向**可逆性与可追溯性**,而非指向数据质量本身。
「来源页码可追溯」与「切片回指页码核对不一致的整文件回退重解析」这一对,是本环节最硬的一道。切片回指出错意味着一段文本被挂到了错误的原文位置,这类错误在后续加工中不会暴露,但会在场景验证时表现为「引用了依据但依据与结论不符」——而那时已无法判断是检索错了还是切片错了。因此判定口径定为整文件回退,不做局部修补:局部修补无法保证同一文件内其他切片没有同类问题。
章节结构还原的判定不设固定数值,而以首批抽样复核结果为基线按批次上调。原因在于不同类型文档的结构规整程度差别极大,制度文件有明确的章条款层级,而工艺卡片与会议记录往往没有;对两类文档用同一个还原率要求,要么前者过松,要么后者永远不过。以文档类型分别标定基线,再按批次改进,才是可执行的控制方式。
| 控制点 | 方法 | 判定口径 | 责任岗位 |
|---|---|---|---|
| 章节结构还原 | 按文档类型抽样人工复核 | 以首批抽样复核结果作为基线,按批次上调并逐步接近可按条款定位的状态 | 预处理工程岗、质检岗 |
| 来源页码可追溯 | 自动核对切片与原文位置 | 切片回指页码核对不一致的,整文件回退重解析 | 质检岗 |
| 图文对照可核 | 按图号抽样核对图纸、卡片与明细行 | 对照错挂的按图号整批回查 | 质检岗 |
| 矢量化分级正确 | 按判定项抽样复核 | 分级错判的重新判定并转对应路径 | 预处理工程岗 |
| 时序对齐正确 | 跨测点时标一致性校验 + 同期事件比对 | 发现跨测点错位的,该设备该时间窗整段回退重对齐 | 预处理工程岗 |
| 插值与异常标记完备 | 标记字段完整性校验 | 标记缺失的样本不进入供样区 | 质检岗 |
| 视频分段边界正确 | 片段边界与同期事件时刻核对 + 抽样人工判读 | 边界依据字段缺失或与事件时刻不符的,整粗段回退重切 | 预处理工程岗、质检岗 |
| 视频三方对齐可核 | 按片段抽样核对同期时序与文本记录的对象标识与时间区间 | 对象标识不一致的按片段回查;有同期时序对照的片段占比按批次统计并公示 | 质检岗 |
| 文本化保真 | 数值与术语回查源记录 | 回查不一致的样本废弃,不做修补 | 预处理工程岗 |
| 去重有效 | 相似度分布统计 + 抽样人工判读 | 重复样本占比按批次统计并公示,逐步下降 | 质检岗 |
| 可复算 | 算子指纹复算 | 同指纹重跑结果不一致时,暂停该算子版本并排查 | 预处理工程岗 |
| 术语一致 | 与本体术语表比对 | 出现表外术语的,提交本体回流流程 | 本体维护岗 |
### 2.10 预处理环节产出物
本环节的产出物清单有一个值得注意的结构:**每一类样本都配一份对照记录**。结构化长文本配切片与原文位置的对应,图像样本配图文对照记录,时序样本配事件样本对,文本化样本配源记录对照表。这些对照记录的体量不小,但它们是整条加工链可追溯性的实际承载——没有它们,加工后的样本就是无源之水,任何一处疑问都无法回溯核验。
交付对象一列显示出本环节在整条链路中的枢纽位置:产出同时流向预训练子集、知识库抽取、多模态标注、图谱构建与条款级索引五个下游。这意味着本环节的任一缺陷都会向五个方向扩散,这也是为什么前述控制点把判定口径定得偏严——在这个位置上,宽一分,下游要多担十分。
算子登记表作为产出物之一,记录了每一个加工算子的版本、参数与指纹。它的作用在于使加工过程可复算:给定同一份原始数据与同一份算子登记表,应当得到相同的产出。这一性质在三个场合被用到:质检岗复核时按指纹复算、数据集发布时填写加工过程说明、以及后续发现某个算子有缺陷时按指纹定位受影响的全部批次。
| 产出物 | 形式 | 交付对象 |
|---|---|---|
| 结构化长文本 | 样本集 | 预训练子集、知识库抽取、条款级索引 |
| 图像样本与图文对照记录 | 样本集 + 结构化表 | 多模态标注、图谱 B、图纸索引 |
| 时序片段—事件样本对 | 样本集 | 制造过程数据集标注、图谱 A |
| 视频片段、代表帧与三方对照记录 | 样本集 + 结构化表 | 多模态标注、多模态评测题、图谱 B |
| 文本化样本与源记录对照表 | 样本集 + 结构化表 | 预训练与指令微调子集 |
| 各业务域贴源数据与规范化样本 | 分域存储 | 全部下游环节 |
| 对照关系表 | 结构化表 | 质检、验证、数据卡回填 |
| 算子登记表 | 结构化表 | 质检复算、血缘追溯 |
| 去重去噪处置记录 | 结构化表 | 质检、误剔除恢复 |
| 人工复核队列与结论 | 结构化表 | 质检、整改任务单 |
### 2.11 预处理算子清单
下表列出五条通道的算子及其关键参数与失败判定,是 2.8 节算子登记表的登记对象。参数的具体取值随批次登记,首批取值在标定批确定。
| 算子编号 | 名称 | 通道 | 关键参数 | 失败判定 | 失败处置 |
|---|---|---|---|---|---|
| D-01 | 版式判定 | 文档 | 文本层字符密度下限、乱码率上限 | 判定结果与人工复核不一致率超门限 | 跳过并标记 |
| D-02 | 文字识别 | 文档 | 识别模型版本、置信度门限、纠偏开关 | 页级平均置信度低于门限 | 进人工复核队列 |
| D-03 | 章节层级还原 | 文档 | 线索优先级、编号格式集、断号容忍数 | 编号断号且样式无法补齐 | 标记结构不完整 |
| D-04 | 页码与偏移登记 | 文档 | 无 | 页码缺失或偏移回查不一致 | 整文件回退 |
| D-05 | 有线表重建 | 文档 | 线框检测灵敏度、合并单元格判定 | 行列数判定不唯一 | 转 D-06 |
| D-06 | 无线表重建 | 文档 | 列投影阈值、对齐容差 | 列数判定不唯一 | 进人工复核队列 |
| D-07 | 跨页表合并 | 文档 | 表头相似度门限、续表标记集 | 表头不重复且无续表标记 | 不合并,分别成表 |
| D-08 | 公式重建 | 文档 | 公式识别开关、回退为图像开关 | 识别失败 | 回退为图像并留占位 |
| D-09 | 正文切分 | 文档 | 一级与二级边界、长度区间、重叠长度、最小长度 | 切片越过章节边界 | 整文件回退 |
| D-10 | 文件级去重 | 文档 | 哈希算法 | — | 登记引用关系 |
| D-11 | 段落级近重复过滤 | 文档 | 相似度门限(按文档类型分档) | 过滤比例异常升高 | 暂停并复核门限 |
| D-12 | 句子级套话剔除 | 文档 | 频次门限、白名单 | 剔除后文件信息量低于下限 | 回退该文件 |
| D-13 | 去噪 | 文档 | 页眉页脚判定、水印判定、噪点阈值 | 去噪后字符损失率超门限 | 回退并降低阈值 |
| G-01 | 矢量化分级 | 图纸 | 六项判定条件 | 判定项无法执行 | 降级为栅格路径 |
| G-02 | 原生图元解析 | 图纸 | 图元类型集、图层映射表 | 图元枚举失败 | 转 G-03 |
| G-03 | 栅格图纸处理 | 图纸 | 分辨率下限、二值化参数 | 低于分辨率下限 | 标记为仅存档 |
| G-04 | 标注重建 | 图纸 | 标注关联容差 | 标注与几何关联失败率超门限 | 置信标记降级 |
| G-05 | 图面区域切分 | 图纸 | 图框模板、区域关键词集 | 标题栏未识别 | 进人工复核队列 |
| G-06 | 标题栏与明细表抽取 | 图纸 | 字段标签集 | 必填字段(图号)缺失 | 整文件回退 |
| G-07 | 视图投影关系推断 | 图纸 | 视图边界判定、投影规则集 | 视图边界不可识别 | 投影关系字段留空 |
| G-08 | 图文对照挂接 | 图纸与图像 | 关联键优先级、置信分级规则 | 关联键缺失 | 置信标记为低 |
| G-09 | 图像规范化 | 图像 | 目标格式、分辨率下限、取景框 | 解码失败 | 入隔离区 |
| G-10 | 图像脱敏 | 图像 | 人员与铭牌检测门限 | 检测失败 | 整图标记为限制使用 |
| T-01 | 时间基准统一 | 时序 | 源时钟偏差表、目标时区 | 源偏差未知 | 标记时基不确定 |
| T-02 | 多测点相位对齐 | 时序 | 主测点、对齐容差、对齐方法 | 超容差测点比例超门限 | 整段回退重对齐 |
| T-03 | 重采样 | 时序 | 统一步长(按数据组)、按物理量的方法表 | 方法表未覆盖该物理量 | 跳过并标记 |
| T-04 | 缺失补齐 | 时序 | 短缺口上限、插值方法(按物理量) | 缺口判定失败 | 整段标记缺失 |
| T-05 | 异常值判定 | 时序 | 量程表、变化率上限、离群判定门限 | 量程与正常区间均缺失 | 仅做变化率判定并标记 |
| T-06 | 工况分段 | 时序 | 分段规则集、最小段长 | 规则集未覆盖该设备 | 工况字段留空 |
| T-07 | 事件锚定切窗 | 时序 | 四类事件的前置窗、事件窗、后置窗 | 事件时刻缺失 | 不切窗,整段保留 |
| T-08 | 报警归并 | 时序 | 时间邻近窗、部位一致判定 | 归并后原始报警丢失 | 回退并保留原始 |
| V-01 | 视频解码 | 视频 | 目标色彩空间、原始位深开关 | 解码失败或输出帧数为零 | 入隔离区 |
| V-02 | 帧时标还原与时基核对 | 视频 | 帧率、允许偏差、平移上限 | 平移后残差仍超限 | 整段标注时基不确定 |
| V-03 | 丢帧检测 | 视频 | 丢帧判定倍率 | 丢帧率超门限 | 标注不连续,分段不跨丢帧位置 |
| V-04 | 视频分段 | 视频 | 四类事件的余量长度、最小片段长度 | 该粗段无同期事件记录 | 保留粗段,阶段标记留空 |
| V-05 | 分段内容校验 | 视频 | 画面一致性判据、门限 | 校验不通过 | 单列待判读队列 |
| V-06 | 关键帧抽取 | 视频 | 五类抽帧策略的参数、近重复门限(按阶段分档) | 片段内有效帧不足 | 该片段不产出代表帧并标记 |
| V-07 | 帧级规范化与脱敏 | 视频 | 目标格式、取景框、人员与铭牌检测门限 | 检测失败 | 整帧标记为限制使用 |
| V-08 | 三方对齐 | 视频 | 对象标识优先级、时间区间相交判定、最近邻容差 | 关联键缺失 | 片段标记为未锚定,单独存放 |
| N-01 | 对象与模板匹配 | 文本化 | 对象类型映射表、模板选择规则 | 对象类型无对应模板 | 跳过并标记 |
| N-02 | 术语与量纲归一 | 文本化 | 术语表版本、单位换算表 | 出现表外术语 | 提交本体回流,该条暂挂 |
| N-03 | 曲线特征计算 | 文本化 | 九项特征的计算参数 | 窗内有效点不足 | 特征字段留空 |
| N-04 | 模板渲染 | 文本化 | 模板编号与版本 | 必填字段槽为空 | 跳过并标记 |
| N-05 | 句式多样化改写 | 文本化 | 改写强度、候选条数 | 回查发现数值或术语被改动 | 废弃该条 |
| N-06 | 源记录回查 | 文本化 | 回查字段集 | 回查不一致 | 废弃该条 |
### 2.12 通用语料与外部语料的预处理口径
通用语料与外部语料不构成独立通道,按形态分流到上述五条通道,但有三项专项口径。
| 语料 | 分流通道 | 专项口径 |
|---|---|---|
| OA 管理制度与合同 | 文档类 | 除常规处理外,另按 4.3 的条款级切分口径处理,一份文件同时产出长文本切片与条款级索引记录 |
| 久其经营指标 | 文本化 | 按期间与指标维度展开为文本样本;指标名称与计量单位取指标知识库的已确认口径,未确认指标不生成样本 |
| 主数据组织机构、人员与物料编码 | 结构化(不文本化) | 作为本体编码对齐的基准数据直接入知识区;人员字段按入口脱敏规则处理后仅保留组织层级 |
| 外部行业标准 | 文档类 | 按技术标准元数据抽取口径处理(见 4.3.4);许可不允许全文入库的仅保留元数据 |
| 学术文献 | 文档类 | 按文献结构(摘要、方法、结论)切分;与本企业工艺无关的主题在配比阶段降权 |
| 厂商资料 | 文档类 + 图纸 | 技术参数表按表格重建;含第三方保密内容的不入库 |
| 公开数据集 | 按形态分流 | 按许可协议登记可用范围;与企业数据合并前先做口径对照,单位与术语不一致的先归一 |
外部语料的一个处理原则是不让它冲淡领域特征:外部语料在预训练子集中的占比与主题分布按配比计划控制,配比口径见四大数据集规模与数据卡章节。
### 2.13 预处理环节的输入、产出、验收与退回
预处理环节的缺陷绝大多数可定位到单个算子,因此退回以**算子单项重跑**为主,不整批退回:原批次保留并标记为废弃版本,重跑结果以新的算子指纹登记,两版之间的差异可复算比对。只有当缺陷来自源数据本身时才退回采集环节。同一算子连续两个批次未通过的,暂停该算子版本并排查参数基线,避免同一问题在后续批次重复出现。
| 项 | 内容 |
|---|---|
| 输入 | 通过入口检查节点的原始数据批次;本体术语表(用于术语归一);算子库与算子参数基线 |
| 产出 | 见 2.10 |
| 验收方 | 甲方信息化部门 + 项目组质检岗 |
| 验收方式 | 按通道抽样复核结构还原、图文对照、时序对齐与视频分段边界;按算子指纹复算 |
| 抽样或统计口径 | 文档类按文件类型抽样;图像按图号抽样;时序按设备与时间窗抽样;视频按相机位号与阶段类型抽样;复算覆盖每批至少一个算子链 |
| 退回路径 | 预处理检查节点不通过的按算子单项重跑,原批次保留并标记为废弃版本;源数据缺陷退回采集环节;同一算子连续两批次未通过则暂停该算子版本并排查 |
## 3、知识本体(3.2.6.3.3)
### 3.1 本体的定位与数据标准的关系
本体在本方案中承担一项职能:给同一件事一个唯一名字,并说明它与别的事之间是什么关系。标注标签从哪里来、合成时允许引用哪些知识、检索时按什么词召回,三件事都回到本体。这样做的直接效果是口径不随人走——换一批标注人员,标签体系不变。
本体与数据治理的数据标准规划是同一套口径的两种表达。对应关系如下表。
| 数据治理成果 | 本体中的对应物 | 引用方向 |
|---|---|---|
| 业务术语标准(`b1276`) | 术语表的名词、定义与业务含义 | 本体引用标准;标准未覆盖的领域概念由本体先行定义并回流为标准草案 |
| 主数据(`b1278`) | 实体编码的对齐基准 | 本体引用主数据编码 |
| 参考数据标准与代码值域字典(`b1280`、`b1281`) | 类目属性的枚举值域 | 本体引用值域;本体新增的值候选提交标准侧确认 |
| 数据元标准(`b1282`) | 属性的名称、类型、格式与值域 | 本体属性定义引用数据元;冲突时以数据元标准为准 |
| 指标标准(`b1284`) | 指标知识库的指标口径 | 知识库引用指标标准 |
| 标准映射对照表(`b1286`) | 本体实体与企业编码的映射条目 | 本体向对照表写入映射条目 |
两者的版本号互相引用。本体发布说明中写明所引用的各标准版本;标准修订时反向评估受影响的本体条目。
### 3.2 类目总览、实体标识与约束规则
#### 3.2.1 七类对象类目
本体覆盖七类对象类目,每一类明确属性、层次关系与关联关系(`b1417`、`b1418`、`b1419`)。
| 类目 | 层次关系 | 实例来源 | 对外关联 | 对应验证场景的业务对象 |
|---|---|---|---|---|
| 设备与部件 | 主机产品—部件—零件—测点 | PLM 物料清单、EAM 台账、测点配置 | 故障模式、工艺与工序、能耗与工况 | 装备健康智能诊断、热处理与焊接过程监控 |
| 工艺与工序 | 工艺路线—工序—工步—工艺参数项 | PLM 工序数据、备料工序字典、工艺编制准则 | 设备与部件、物料、质量特性 | 板材备料工艺智能设计、热处理与焊接过程监控 |
| 故障模式 | 系统—部件—故障模式—现象 | 故障案例、维修记录、诊断报告、报警规则 | 设备与部件、检验项、备件物料 | 装备健康智能诊断 |
| 质量特性与检验项 | 质量特性—检验项—判定规则 | QMS 检验项目、技术标准、质量知识 | 工艺参数项、故障模式、物料 | 热处理与焊接过程监控、质量数据集建设 |
| 物料与物料清单 | 产品—部件—零件—原材料 | 主数据物料编码、PLM 物料清单、ERP 物料主数据 | 供应商、工序、库存 | 产品智能选型、库存控制智能化 |
| 供应商与合同 | 供应商—合同—条款 | SCM 供应商档案、CRM 与 OA 合同 | 物料、采购订单、制度条款 | 库存控制智能化、合同合规智能审查 |
| 能耗与工况 | 设备—测点—工况分段 | EMS 计量点、SCADA 测点配置 | 设备与部件、工序、时序样本 | 装备健康智能诊断、过程监控 |
#### 3.2.2 实体标识体系
类目与属性定下来之后,紧接着要定的是每一个实体用什么标识。标识看似是技术细节,实际决定了本体能不能长期用下去:标识一旦被下游引用,它就不再属于本体自己,改一次要牵动所有引用它的样本、条目与索引。
本体的标识分两层。**本体标识**是本体内部的唯一名字,由本体发放、本体维护,不随企业系统的编码变化;**企业编码**是同一个对象在企业各系统中的名字,由各系统维护,本体只引用不发放。两层之间以编码映射关系连接(3.6)。分两层的理由很直接:企业编码会因系统升级、主数据合并、设备改造而变更,而本体标识一旦变更,所有引用过它的历史样本都要重标。
| 标识项 | 构成 | 发放与维护 | 变更规则 |
|---|---|---|---|
| 本体实体标识 | 类目码 + 层级码 + 顺序号 | 本体维护岗发放,随本体版本发布 | 不复用、不回收、不因企业编码变更而变更 |
| 本体属性标识 | 实体标识 + 属性序号 | 同上 | 属性废弃后标识保留并置为废弃状态 |
| 本体关系实例标识 | 关系类型码 + 源实体标识 + 目标实体标识 + 序号 | 同上 | 关系删除后标识保留并置为废弃状态 |
| 术语条目标识 | 术语表顺序号 + 版本 | 同上 | 标准词变更按同义等价关系登记,不换标识 |
| 企业编码引用 | 系统码 + 该系统内的编码 | 各源系统维护,本体只登记 | 源侧变更时本体更新映射条目,实体标识不动 |
标识的三条硬规则。**不复用**:一个标识一经发放,即使其所指实体被废弃,该标识也不再分配给别的实体——复用会让历史样本在新版本里指到另一个对象上,而且这种错误不会报错。**不随业务属性编码**:标识中不嵌入材料牌号、产品型号一类会变的业务信息,嵌进去之后属性一变标识就得变。**不跨层级合并**:部件与零件各自有标识,不因某个部件只含一个零件就合用一个标识,否则物料清单结构一旦调整就要重编。
实体的合并与拆分是标识体系必须预先定好的两种情形。
| 情形 | 发生场景 | 标识处置 | 对下游的影响 |
|---|---|---|---|
| 合并 | 两个标识被确认指向同一物理对象(多由编码对齐时的清冲突发现) | 指定其一为保留标识,另一置为「已合并」状态并指向保留标识 | 引用被合并标识的样本按指向自动映射,不需重标 |
| 拆分 | 一个概念被确认实际涵盖两类对象(多由标注歧义或专家评审发现) | 原标识置为「已拆分」状态并指向两个新标识,不保留原标识继续使用 | 引用原标识的样本需重标,重标范围随版本发布说明给出 |
| 废弃 | 对象退役或概念不再适用 | 置为废弃状态,标识保留 | 引用该标识的知识条目转入待审,样本按版本规则处理 |
| 迁移类目 | 实体被确认应归属另一类目 | 发新标识并把原标识置为「已迁移」状态指向新标识 | 自动映射;层级路径发生变化的按版本规则评估是否需重标 |
四种状态与版本规则(3.8.2)衔接:合并与迁移按次版本处理并自动映射,拆分与废弃按主版本处理并评估重标范围。
#### 3.2.3 本体约束规则
属性集与关系定义回答了「有什么」,约束规则回答的是「什么样的取值与连接是成立的」。没有约束,本体只是一份词表;有了约束,它才能充当标注的校验器与合成的护栏。本节的约束按六类组织,每一类给出表述方式、校验时机与违反时的处置。
| 约束类型 | 约束的内容 | 表述方式 | 校验时机 | 违反时的处置 |
|---|---|---|---|---|
| 必填约束 | 哪些属性必须有值 | 属性集的「是否必填」列 | 实例录入时、本体版本发布前 | 必填缺失的实例不予发布,退回补录 |
| 值域约束 | 属性取值的枚举集合或数值区间 | 引用参考数据标准的值域;数值区间引用量程与正常区间 | 实例录入时、标注时、预处理术语归一时 | 越界取值登记为新值候选,不直接写入;标注侧拒收 |
| 类型与格式约束 | 属性的数据类型、长度、格式 | 引用数据元标准 | 实例录入时 | 格式不符的退回修正,与数据元标准冲突时以数据元标准为准 |
| 基数约束 | 一个实体在某关系上可连接的对象数量 | 关系定义的「基数」列(一对多、多对多) | 关系实例建立时、图谱入库时 | 超出基数的关系实例不建边,进待确认列表 |
| 定义域与值域约束 | 关系两端各自允许的类目 | 关系定义的「定义域」「值域」两列 | 关系实例建立时、图谱入库时 | 两端类目不符的拒绝建边并登记原因 |
| 互斥与依赖约束 | 哪些取值不能同时成立,哪些属性的存在依赖另一属性 | 本体自建的约束条目,逐条带业务依据 | 实例录入时、合成样本生成时 | 互斥命中的拒绝写入;依赖缺失的标记为不完整实例 |
前四类约束可直接由属性集与关系定义导出,不需另行编制;后两类需要逐条建立,它们承载的是本领域真正的工艺知识。下表给出互斥与依赖约束的条目结构与本体首批沉淀的约束方向。
| 字段 | 说明 |
|---|---|
| 约束编号 | 约束类型码 + 顺序号 |
| 约束类型 | 互斥/依赖/条件必填/条件值域 |
| 作用对象 | 类目、实体或属性标识 |
| 约束表述 | 可被校验工具执行的条件表达 |
| 业务依据 | 引用的技术标准条款、工艺编制准则条款或专家确认记录 |
| 适用范围 | 适用的产品、工序或设备范围;超出范围不生效 |
| 违反时的处置 | 拒绝写入/标记不完整/进待确认列表 |
| 生效版本与状态 | 现行/已修订/已废止 |
| 约束方向 | 所属类目 | 约束的业务含义 | 依据来源 |
|---|---|---|---|
| 工序前后不可逆 | 工艺与工序 | 存在前后依赖的两道工序不得出现互为前置的关系实例 | 工艺编制准则、工序字典 |
| 工艺参数项的条件值域 | 工艺与工序 | 同一参数项在不同工序、不同材料牌号下的正常区间不同,值域按适用范围分条登记 | 工艺编制准则、热处理与焊接工艺规程 |
| 设定值可比性 | 工艺与工序 | 标注为设定值不可比的参数,跨设备或跨炉型的取值不得进入同一比较语境 | 本体属性、专家确认 |
| 检验方法与质量特性的对应 | 质量特性与检验项 | 一个质量特性只能由其规定的检验方法判定,方法与特性不匹配的检验记录标为不完整 | 技术标准条款 |
| 缺陷类型互斥 | 质量特性与检验项 | 按缺陷分类标准互斥的两类缺陷不得同时标注在同一判定位置 | 金属熔化焊接头缺欠分类标准 |
| 故障原因依赖测点 | 故障模式 | 以测量链路为原因的故障实例,须关联到具体测点并带可信度核查结论 | 传感器可信度核查结论 |
| 物料层级闭环 | 物料与物料清单 | 层次包含关系不得出现环 | 产品生命周期管理系统物料清单结构 |
| 证照覆盖依赖 | 设备与部件、物料 | 标注需持证的对象,其证照关联不得为空;证照状态为已失效的不满足覆盖 | 投标资料归集的证照条目 |
约束的校验由本体一致性校验工具在口径检查节点执行(见质量控制点一节),校验结论随版本发布说明给出。约束本身也版本化:约束的新增与放宽按次版本处理,约束的收紧按主版本处理,因为收紧会使已有实例与已标注样本越界。
### 3.3 七类目的属性集
属性集按「属性名—类型—值域或取值来源—是否必填—对齐基准」给出。类型与格式引用数据元标准,值域引用参考数据标准。
#### 3.3.1 设备与部件
设备与部件类目的建法有一个必须先定的问题:**以 EAM 的台账编码为主干,还是以 PLM 的零部件号为主干**。两套编码的组织逻辑不同——EAM 按实物资产台账编,一台在役设备一个编码;PLM 按设计结构编,同一型号的零部件共用一个编码。前者回答「现场那台设备怎么了」,后者回答「这个零件应该是什么样」。
本方案不在两者中选一个作主干,而是**双主键并存、各自对齐**:设备层以 EAM 编码为基准,部件层以 PLM 零部件号为基准,两层之间通过「实物设备—设计型号」的映射关联。这样做的理由是本项目的任务两类都有:刮板输送装备健康智能诊断需要按实物设备追溯运行历史,板材备料工艺智能设计需要按设计型号检索工艺方案。强行统一到一套编码,总有一类任务要在数据层做反复转换。
名称一列取自业务术语标准而非源系统原值,是因为同一部件在 EAM、PLM、维修工单中的叫法常不一致(「链轮」「驱动链轮」「主链轮」)。术语标准作为对齐基准,源系统原值作为别名保留在同义词别名表中,使按任一叫法都能检索到同一对象。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 设备编码 | 字符 | EAM 台账编码 | 是 | EAM |
| 部件编码 | 字符 | PLM 物料清单零部件号 | 是 | PLM |
| 名称 | 字符 | 业务术语标准 | 是 | 术语标准 |
| 类型 | 枚举 | 主机产品/部件/零件/测点 | 是 | 本体 |
| 型号与规格档位 | 字符 | PLM、产品技术文件 | 否 | PLM |
| 安装位置 | 字符 | 装配结构或矿井工作面位置 | 否 | PLM、CRM |
| 投运时间 | 日期 | EAM 台账 | 否 | EAM |
| 所属主机产品 | 引用 | 本类目上层实例 | 是(非顶层) | 本体 |
| 关联测点 | 引用(多) | 测点配置 | 否 | SCADA、远程运维平台 |
| 常见故障模式 | 引用(多) | 故障模式类目 | 否 | 本体 |
| 备件物料 | 引用(多) | 物料类目 | 否 | 主数据 |
#### 3.3.2 工艺与工序
工序类目的基准是**甲方工艺部门的工序字典**,而非 PLM 中的工序数据。这个选择需要说明:PLM 的工序记录是实际使用中的数据,数量多、覆盖全,但它的工序名称是历史积累形成的,存在同名不同义与同义不同名;工序字典是工艺部门维护的规范目录,权威但可能未覆盖全部实际情形。
本方案以工序字典为值域基准,同时把 PLM 工序数据中无法落到字典的工序逐条列出,形成**工序字典缺口清单**提交工艺部门。清单不是为了指出字典的不足,而是因为这些未覆盖的工序往往对应着实际存在而未被规范化的作业——它们恰恰是工艺知识中最需要被记录下来的部分。缺口的处置由工艺部门决定:补入字典、归并到现有工序、或判定为已废止。
28 道备料工序是本类目中最要紧的一段。备料是整条工艺链的起点,其工序划分直接决定下游工序数据的归集粒度。本方案按工艺部门确认的工序划分建立类目实例,并保留每道工序与上下游工序的前后序关系——这一关系使工序级的数据可以沿工艺路线聚合,支撑工艺设计类任务按路线而非按单工序分析。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 工序编码 | 字符 | 备料工序字典、PLM 工序数据 | 是 | 甲方工艺部门工序字典 |
| 工序名称 | 字符 | 工序字典 | 是 | 工序字典 |
| 所属工艺路线 | 引用 | 本类目上层实例 | 是 | PLM |
| 所属车间或分厂 | 枚举 | 组织机构主数据 | 是 | 主数据 |
| 设备资源 | 引用(多) | 设备与部件类目 | 否 | EAM |
| 工装与样板 | 字符 | 工装压模号、样板号 | 否 | PLM、工艺资料 |
| 工时定额 | 数值 | 工时定额系统 | 否 | 工时定额口径 |
| 前置工序 | 引用(多) | 本类目同层实例 | 否 | 工艺编制准则 |
| 禁止组合 | 引用(多) | 本类目同层实例 | 否 | 工艺编制准则 |
| 工艺参数项 | 引用(多) | 工艺参数项子类 | 否 | 本体 |
| 适用材料牌号 | 引用(多) | 物料类目 | 否 | 主数据 |
#### 3.3.3 故障模式
故障模式是本体中最难定的一类。设备与部件有 PLM 的物料结构可依,工艺与工序有工艺规程可依,而故障模式在企业内部往往**没有一份权威目录**:维修工单上的故障描述是自由文本,报警系统有自己的报警码,质量部门的不合格分类又是另一套,三者之间没有映射。
因此本节的做法是以自建编码为主干,同时挂接三个来源的映射:报警规则映射到故障编码、工单自由文本经术语标准归一后映射、不合格分类作为相关项关联。自建不等于凭空设计,编码体系的层级与粒度取自现行维修与报警实践,并由设备部门确认。确认之前不作为正式版本发布,只在加工环境内以草案版本使用,草案与正式版之间的差异在血缘中可追。
「征兆(现象)」一列设为多值引用,是因为同一故障在现场常表现为多个并发现象,取单值会迫使录入人选一个主现象,而这个选择带有主观性,不同班组的选法不同。多值引用让现象组合本身成为可分析的特征,也避免了把主观判断固化进数据。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 故障编码 | 字符 | 本体自建 + 报警规则映射 | 是 | 本体 |
| 故障名称 | 字符 | 业务术语标准、故障案例 | 是 | 术语标准 |
| 所属部件 | 引用 | 设备与部件类目 | 是 | PLM、EAM |
| 征兆(现象) | 引用(多) | 现象子类 | 是 | 本体 |
| 发生条件 | 文本 | 故障案例、诊断报告 | 否 | 专家确认 |
| 可能原因 | 引用(多) | 原因子类 | 否 | 本体 |
| 处置措施 | 文本 | 维修记录、诊断报告 | 否 | 专家确认 |
| 相关备件 | 引用(多) | 物料类目 | 否 | 主数据 |
| 关联报警代码 | 字符(多) | 报警规则、设备报警代码 | 否 | SOS、热处理群控 |
| 关联测点 | 引用(多) | 能耗与工况类目 | 否 | 测点配置 |
| 严重度分级 | 枚举 | 本体自建值域 | 否 | 专家确认 |
#### 3.3.4 质量特性与检验项
质量特性与检验项是两个常被混用而实质不同的概念,本节把它们分开定义:**质量特性是产品应当具备的属性**(如焊缝熔深、热处理硬度),**检验项是为确认该属性而执行的测量动作**(如超声测厚、硬度打点)。一个质量特性可能由多个检验项共同确认,一个检验项也可能同时覆盖多个特性。
分开定义的实际意义在于两类任务的差别。质量预测类任务预测的是质量特性的取值,其标签来自检验结果但对象是特性;检验安排优化类任务处理的是检验项的组合与时机。若两者混为一个类目,任何一类任务都要先在数据里做拆分。
值域与取值来源一列中,质量特性的判据来自技术标准与图纸要求,检验项的方法来自检验规程。两者的版本都要登记——标准与规程在多年中都有修订,同一个特性在不同版本下的合格判据可能不同。不记版本,历史检验数据的合格与否就失去了解释依据。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 质量特性编码 | 字符 | 本体自建 | 是 | 本体 |
| 特性名称 | 字符 | QMS 检验项目、技术标准 | 是 | 术语标准 |
| 检验项编码 | 字符 | QMS 检验项目 | 是 | QMS |
| 检验方法 | 枚举 | 技术标准 | 是 | 技术标准 |
| 判定限值 | 数值或区间 | 技术标准、工艺编制准则 | 是 | 技术标准 |
| 计量单位 | 枚举 | 数据元标准 | 是 | 数据元标准 |
| 检验阶段 | 枚举 | 进厂/制程/出厂/成品 | 是 | QMS |
| 适用工件品类 | 引用(多) | 物料类目 | 否 | 主数据 |
| 关联工艺参数项 | 引用(多) | 工艺与工序类目 | 否 | 本体 |
| 缺陷类型 | 引用(多) | 缺陷类型子类 | 否 | 本体 |
| 数据来源测点 | 引用(多) | 能耗与工况类目 | 否 | 测点配置 |
#### 3.3.5 物料与物料清单
物料类目的难点不在物料本身,而在**物料清单的版本与有效期**。一个产品的物料清单在其生命周期内会多次变更,每次变更产生新版本;而制造过程数据中的物料消耗记录对应的是当时生效的那个版本。若本体中只保留当前版本,历史生产数据就无法与正确的清单版本对应,用量核算与定额分析都会出错。
因此本类目的实例按「物料清单编号 + 版本」唯一标识,并记录每个版本的生效与失效日期。查询某个历史工单的用料构成时,按工单日期定位到当时生效的版本,而不是取当前版本。这一设计在数据量上有代价——同一产品会有多份清单实例——但它是历史数据可用的前提。
替代料关系是本类目的另一处要点。生产中因缺料而使用替代料是常态,替代关系若不在本体中显式表达,物料消耗数据会呈现为「清单上要 A 却消耗了 B」的异常,而实际上这是合规的替代。本方案把替代关系作为物料之间的一类关系登记,并记录替代的批准依据,使这类数据不被误判为异常。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 物料编码 | 字符 | 主数据物料编码 | 是 | 主数据 |
| 名称 | 字符 | 主数据 | 是 | 术语标准 |
| 材料牌号 | 字符 | 主数据、图纸标题栏 | 否 | 主数据 |
| 规格 | 字符 | 主数据、PLM | 否 | 主数据 |
| 计量单位 | 枚举 | 数据元标准 | 是 | 数据元标准 |
| 物料类型 | 枚举 | 原材料/自制件/外购件/标准件/备件 | 是 | 主数据 |
| 所属物料清单层级 | 引用 | PLM 物料清单 | 否 | PLM |
| 采购周期 | 数值 | SCM 物料采购周期 | 否 | 指标口径 |
| 主供应商 | 引用(多) | 供应商类目 | 否 | SCM |
| 适用工序 | 引用(多) | 工艺与工序类目 | 否 | PLM |
| 工件品类 | 枚举 | 本体工件品类值域 | 否 | 本体 |
#### 3.3.6 供应商与合同
供应商与合同类目服务于供需计划域的任务,其建法与其他类目的差别在于**大量属性是时变的**:供应商的资质有效期、评估等级、合作状态都随时间变化,合同的履约状态更是全程变动。本体若只记录当前状态,供应商选择与履约预测类任务就失去了历史依据。
处置方式是把时变属性建为带时间戳的属性值序列,而非单值。查询「某供应商在某时点的评估等级」时按时点取值,查询「评估等级的变化轨迹」时取整个序列。这一结构使供应商表现的趋势成为可分析对象——一个评估等级持续下滑的供应商与一个长期稳定在同一等级的供应商,在选择决策中的含义完全不同。
合同一侧需要特别处理的是**合同与订单的层级关系**。一份框架合同下可能有多批订单,一批订单也可能跨越多份合同(如分批采购协议)。本体中把两者建为多对多关系并记录分摊依据,避免把合同金额简单除以订单数这类失真处理。涉及商务敏感信息的字段(单价、折扣)的可用范围按数据分级结论确定,分级未定前不纳入可对外流通的子集。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 供应商编码 | 字符 | SCM 供应商档案 | 是 | SCM |
| 名称 | 字符 | SCM(按入口脱敏规则处理) | 是 | SCM |
| 资质类型与编号 | 字符(多) | 资质文件 | 否 | 资质归集目录 |
| 评估等级 | 枚举 | SCM 供应商评估 | 否 | SCM |
| 履约率 | 数值 | SCM 派生指标 | 否 | 指标知识库口径 |
| 合同编号 | 字符 | CRM、ERP、OA | 是(合同实例) | 合同台账 |
| 合同类型 | 枚举 | 销售/采购/项目/技术协议 | 是 | 本体 |
| 条款编号 | 字符 | 合同条款切分结果 | 否 | 知识库 |
| 关联物料 | 引用(多) | 物料类目 | 否 | 主数据 |
| 关联制度条款 | 引用(多) | 制度条款索引 | 否 | 知识库 |
#### 3.3.7 能耗与工况
能耗与工况类目的建立目的,是让设备运行数据有可解释的背景。同一台设备在不同工况下的能耗与振动特征完全不同,脱离工况看能耗曲线,正常的负荷变化与真实异常无法区分。因此本类目定义的核心不是能耗值,而是**工况的分段依据**。
工况分段按三类判据组合确定:设备运行状态(停机、空载、负载)、作业对象(当前工单与产品型号)、以及环境条件(井下温湿度、季节)。三类判据都来自已有数据,不需额外采集,但需要在本体中约定分段的优先级与边界——例如负载区间按什么门限划分、跨工单的连续运行如何切分。约定不清,不同批次的数据分段方式就会不一致,无法横向比较。
能耗侧的计量点与设备的对应关系是本类目的实际难点。企业的计量点通常按配电回路设置,一个回路可能供多台设备,一台大型设备也可能跨多个回路。本方案按实际计量架构建立「计量点—设备」的多对多关系并记录分摊方式;无法分摊到单台设备的,在数据卡中说明其能耗数据的最小可归属单元是回路而非设备,相应任务的分析粒度随之限定。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 测点编码 | 字符 | SCADA、EMS、远程运维平台测点配置 | 是 | 测点配置 |
| 测点名称 | 字符 | 测点配置、术语标准 | 是 | 术语标准 |
| 物理量 | 枚举 | 温度/电流/电压/功率/频率/流量/浓度/速度/间隙/能耗/状态 | 是 | 本体 |
| 量纲与单位 | 枚举 | 数据元标准 | 是 | 数据元标准 |
| 采样周期 | 数值 | 测点配置 | 否 | 测点配置 |
| 量程上下限 | 数值 | 测点配置、设备技术文件 | 否 | 设备文件 |
| 正常区间 | 数值区间 | 工艺编制准则、同工况统计 | 否 | 专家确认 |
| 所属设备或部件 | 引用 | 设备与部件类目 | 是 | EAM |
| 关联工序 | 引用(多) | 工艺与工序类目 | 否 | PLM |
| 工况分段定义 | 文本 + 规则 | 本体自建 | 否 | 专家确认 |
| 是否设定值可比 | 布尔 | 测点配置 | 否 | 本体 |
### 3.4 六类关系的定义域与值域
关系类型统一为六种。类型受限是有意为之:类型越少,标注时判断越一致,图谱查询也越可控。
| 关系 | 定义 | 定义域 | 值域 | 基数 | 是否可传递 | 典型用途 |
|---|---|---|---|---|---|---|
| 层次包含 | 上层对象在结构上包含下层对象 | 设备与部件、工艺与工序、物料与物料清单、故障模式、质量特性 | 同类目的下层实例 | 一对多 | 可 | 部件层级展开、物料清单展开 |
| 工艺前后依赖 | 前道工序完成后方可开始后道工序 | 工艺与工序(工序、工步) | 工艺与工序(工序、工步) | 多对多 | 可 | 工序排序与校核、禁止组合判定 |
| 因果 | 原因导致现象,现象指向故障模式 | 故障模式(原因)、故障模式(故障) | 故障模式(现象)、故障模式(原因) | 多对多 | 不可 | 故障链图谱、诊断归因 |
| 检验对应 | 工艺参数项与质量特性或检验项的对应 | 工艺与工序(工艺参数项) | 质量特性与检验项 | 多对多 | 不可 | 工艺质量链图谱、参数与结果比对 |
| 编码映射 | 本体实体与企业既有编码的对应 | 全部七类目 | 主数据编码、PLM 编码、EAM 编码、QMS 编码 | 一对多 | 不可 | 跨系统对象贯通 |
| 同义等价 | 标准词与别名、缩写、口语表述等价 | 术语表条目 | 同义词别名表条目 | 一对多 | 可 | 检索同义扩展、标注术语归一 |
关系实例另带三个公共属性:来源(抽取算子或专家确认)、证据强度(强/中/弱,定义见 4.4.1)、生效版本。
### 3.5 领域实例的沉淀
#### 3.5.1 主机产品部件层级
以刮板输送装备为主线沉淀部件层级与安装关系。层级取自 PLM 物料清单,层级深度按物料清单实际结构确定,不另设虚层。在役监测的测点按部件挂接,使报警与部件可对应。同类装备的部件层级差异按型号分支维护,不合并为一棵通用树——合并会让诊断场景的部件定位失真。
#### 3.5.2 工件品类
| 工件品类 | 主要工艺环节 | 关键质量特性 | 常见缺陷倾向 |
|---|---|---|---|
| 链轮 | 焊接、热处理(感应淬火)、机加工 | 淬火硬度、淬火区域位置及均匀性、齿形尺寸 | 淬火烧伤、淬火裂纹 |
| 齿轨 | 焊接、热处理、机加工 | 淬火硬度、硬化层分布、直线度 | 淬火裂纹、焊接未熔合 |
| 刮板 | 下料、成形、焊接 | 焊缝质量、外形尺寸 | 偏焊、咬边、未焊透 |
| 压板 | 下料、成形、焊接、机加工 | 焊缝质量、平面度 | 气孔、焊瘤 |
| 哑铃销 | 机加工、热处理 | 淬火硬度、尺寸公差 | 淬火裂纹 |
品类清单按甲方确认的产品范围扩充,上表为本体首批沉淀范围(`b1420`、`b1421`)。各品类的材料牌号区间、热处理要求与检验项逐项登记,取值来源为图纸标题栏、工艺卡片与技术标准。
#### 3.5.3 热处理工艺参数项
热处理参数项的定义要回答一个问题:**哪些参数之间可比,哪些不可比**。表中「设定值可比」一列正是为此设置。炉温设定值在同一炉型、同一工艺牌号之间可比,跨炉型就不可比——不同炉型的热场分布不同,同样的设定温度对应的工件实际温度不同。若不标注可比性,模型会把跨炉型的设定值差异当作工艺差异学习。
关联质量特性一列把参数与后果连起来,这是本表最实用的部分。热处理的质量问题(硬度不足、变形、开裂、氧化脱碳)各自与不同的参数组合相关;把这一对应写明,场景验证时的归因分析就有了假设起点,不必从全部参数中盲搜。对应关系取自热处理工艺规程与冶金原理,并在首轮数据分析后按实测相关性校正——写入方案的是初始对应,校正过程与结果在验证报告中记录。
需要说明的是,参数的采集完备性受设备条件限制。部分老旧炉台只有炉温记录而无气氛与压力数据,这类炉次的数据在建模时可用范围较窄。各炉台的参数覆盖情况在数据源登记表中逐台登记,不以整体覆盖率掩盖个别炉台的缺口。
| 参数项 | 物理量 | 单位 | 设定值可比 | 关联工序 | 关联质量特性 |
|---|---|---|---|---|---|
| 淬火前工件表面温度 | 温度 | ℃ | 否 | 感应淬火 | 淬火硬度 |
| 淬火后工件表面温度 | 温度 | ℃ | 否 | 感应淬火 | 淬火硬度、淬火裂纹 |
| 加热功率 | 功率 | kW | 是 | 感应加热 | 硬化层深度 |
| 加热频率 | 频率 | kHz | 是 | 感应加热 | 硬化层深度 |
| 淬火液温度 | 温度 | ℃ | 是 | 淬火 | 淬火硬度、淬火裂纹 |
| 淬火液浓度 | 浓度 | % | 是 | 淬火 | 淬火硬度 |
| 淬火液流量 | 流量 | L/min | 是 | 淬火 | 淬火均匀性 |
| 感应器间隙 | 长度 | mm | 是 | 感应加热 | 淬火区域位置及均匀性 |
| 加热时间 | 时间 | s | 是 | 感应加热 | 硬化层深度 |
| 冷却时间 | 时间 | s | 是 | 淬火 | 淬火硬度 |
| 返热温度 | 温度 | ℃ | 否 | 回火或自回火 | 淬火裂纹 |
| 装炉量 | 计数 | 件 | 否 | 装炉 | 批次均匀性 |
#### 3.5.4 焊接工艺参数项
焊接参数项的设计围绕一组对照:**预设值与实时值并列**。表中每一项电参数都有预设与实时两行,这不是重复,而是本类目最核心的信息结构——预设值代表工艺意图,实时值代表实际发生,两者的偏差正是焊接过程控制要监控的对象。只取实时值,看不出偏差;只取预设值,看不出执行情况。
「设定值可比」一列中,预设值标为「—」而实时值标为「是」,原因是预设值在不同焊接方法、不同板厚、不同坡口形式之间不具可比性(埋弧焊与气保焊的电流量级本就不同),而实时值相对预设值的偏差率是跨工况可比的。因此本节约定:参数的绝对值按工艺条件分组使用,偏差率可跨组比较。
关联质量特性一列是焊接场景归因的基础。熔深与未熔合主要受电流影响,熔宽与气孔与电压相关,烧穿与电流及速度的组合相关,摆动参数影响成形。这些对应关系来自焊接工艺原理,在数据集中作为先验知识记录,使模型训练与结果解释都有依据。焊接方法(埋弧、气保)作为一个必要的分组维度在本表中显式保留——同一参数值在两种方法下的工艺含义不同,不分组会得出矛盾的结论。
| 参数项 | 物理量 | 单位 | 设定值可比 | 关联质量特性 |
|---|---|---|---|---|
| 预设电流 | 电流 | A | — | 熔深、未熔合 |
| 实时电流 | 电流 | A | 是 | 熔深、未熔合、烧穿 |
| 预设电压 | 电压 | V | — | 熔宽、气孔 |
| 实时电压 | 电压 | V | 是 | 熔宽、气孔 |
| 焊接速度 | 速度 | mm/s | 是 | 熔深、焊瘤、未焊透 |
| 焊枪摆动振幅 | 长度 | mm | 是 | 熔宽、偏焊 |
| 焊枪摆动频率 | 频率 | Hz | 是 | 熔池稳定性 |
| 焊枪停留时间 | 时间 | s | 是 | 咬边、烧穿 |
| 送丝速度 | 速度 | mm/s | 是 | 熔敷量、焊瘤 |
| 保护气体流量 | 流量 | L/min | 是 | 气孔、夹渣 |
| 层间温度 | 温度 | ℃ | 是 | 冷裂纹、未熔合 |
| 变位机状态 | 状态 | — | 否 | 偏焊 |
| 起弧与收弧 | 事件 | — | 否 | 气孔、未焊透 |
| 焊丝牌号与直径 | 标识 | — | 否 | 熔敷金属性能 |
#### 3.5.5 缺陷类型
焊接缺陷十类(`b1421`、`b1422`)。「易混淆类型」一列专为标注一致性设置:标注人员在判别相近缺陷时直接查本体,不靠个人经验。
| 缺陷类型 | 判别要点 | 主要检验方法 | 相关参数偏离方向 | 易混淆类型 |
|---|---|---|---|---|
| 热裂纹 | 高温阶段形成,常沿焊缝中心 | 外观检查、无损检测 | 焊接速度偏高、拘束度大 | 冷裂纹 |
| 冷裂纹 | 冷却后延迟出现,常在热影响区 | 无损检测(延迟复检) | 层间温度偏低、冷却过快 | 热裂纹 |
| 偏焊 | 焊缝中心偏离坡口中心 | 外观检查、尺寸测量 | 摆动振幅不足、变位机状态异常 | 咬边 |
| 咬边 | 母材被过度熔化形成沟槽 | 外观检查 | 电流偏高、停留时间偏长 | 偏焊、烧穿 |
| 夹渣 | 焊缝内残留非金属夹杂 | 无损检测 | 保护气体流量不足、清渣不彻底 | 气孔 |
| 烧穿 | 熔池击穿母材形成孔洞 | 外观检查 | 电流偏高、速度偏低 | 咬边 |
| 未熔合 | 焊道与母材或层间未结合 | 无损检测 | 电流偏低、层间温度偏低 | 未焊透 |
| 未焊透 | 根部未达到设计熔深 | 无损检测 | 电流偏低、速度偏高 | 未熔合 |
| 气孔 | 焊缝内球形孔穴 | 无损检测、外观检查 | 保护气体流量不足、电压偏高 | 夹渣 |
| 焊瘤 | 熔化金属溢出堆积 | 外观检查 | 送丝速度偏高、速度偏低 | 咬边 |
热处理外观缺陷两类(`b1422`、`b1423`)。
| 缺陷类型 | 判别要点 | 主要检验方法 | 相关参数偏离方向 | 易混淆类型 |
|---|---|---|---|---|
| 烧伤 | 表面过热导致的变色或组织改变 | 外观检查、硬度复测 | 加热功率偏高、加热时间偏长、感应器间隙偏小 | 裂纹(表面色差掩盖) |
| 裂纹 | 淬火应力导致的表面开裂 | 外观检查、无损检测 | 冷却过快、淬火液温度偏低、返热不足 | 烧伤 |
「相关参数偏离方向」一列的作用是把缺陷与工艺参数项通过检验对应关系连起来,使图谱 B 的边有业务依据。该列取值需业务专家逐条确认后生效,专家未确认的标记为弱证据,不用于合成样本的事实性断言。
#### 3.5.6 典型故障模式
按在役装备的部件分组沉淀,每条登记现象、原因、处置措施与相关备件(`b1423`)。首批沉淀范围以远程运维平台已覆盖的部件与已有故障案例为准,字段结构见 3.3.3。故障标签稀少是客观条件,因此首批以「现象—部件」关系为主,「现象—原因」关系按证据强度分级,强证据条目优先进入图谱 A。
#### 3.5.7 备料工序集合
备料分厂的工序集合是封闭的,当前掌握的口径为 28 道,以甲方工艺部门确认的正式工序字典为准。本体按该字典登记工序编码、名称、设备资源与前后依赖。工序按加工性质分组登记,分组用于工艺排序校核时缩小候选范围。
| 工序分组 | 组内工序的共同特征 | 排序约束 |
|---|---|---|
| 下料类 | 从原材料切出零件轮廓 | 位于工艺路线前端,组内一般不重复 |
| 成形类 | 改变零件几何形状 | 在下料之后、制孔之前或之后,按图纸要求定 |
| 制孔类 | 加工孔与方孔 | 与成形类的先后按变形影响判定 |
| 边缘处理类 | 坡口、倒角、去毛刺 | 一般在成形与制孔之后 |
| 矫正类 | 矫平、矫直 | 可在成形后或焊接后,按变形情况插入 |
| 表面处理类 | 打磨、清理 | 位于工艺路线后端 |
| 检验与标识类 | 过程检验、打标 | 按关键工序设置点 |
组内具体工序名称与道数以备料分厂的正式工序字典为准。工序字典的取得按现场调查办理:由甲方工艺部门提供现行版本,项目组按工序分组、工序名称、所属设备资源、前后依赖与工时定额五项字段逐条核对,核对结果经工艺部门书面确认后作为本体工艺与工序类目的值域基准,完成时点与首版本体发布对齐。确认之前,本体按上表的工序分组登记骨架实例,分组内的具体工序名称标记为待确认,不进入标注标签;预处理的术语归一在此期间只归一到分组一级,不归一到工序一级。
#### 3.5.8 现象与原因子类的值域
故障模式类目下的「现象」与「原因」作为独立子类维护,原因是同一现象可对应多个故障模式,同一原因也可导致多个现象,作为属性无法表达这种多对多关系。两个子类的值域按来源分层登记。
| 子类 | 值域分层 | 取值示例方向 | 取值来源 | 证据要求 |
|---|---|---|---|---|
| 现象·可观测量异常 | 按测点物理量分组 | 温度偏高、振动增大、电流波动、流量下降 | 测点配置 + 报警规则 | 强(有测点与阈值依据) |
| 现象·状态与事件 | 按设备状态分组 | 非计划停机、报警频发、启停异常 | 设备状态记录、报警数据 | 强 |
| 现象·外观与感官 | 按部位分组 | 异响、渗漏、磨损痕迹、变形 | 点检记录、维修记录 | 中 |
| 现象·质量结果异常 | 按检验项分组 | 硬度不达标、硬化层偏浅、缺陷检出 | QMS 检验记录 | 强 |
| 原因·工况与载荷 | 按工况分段 | 超载运行、工况突变、三机联动耦合干扰 | 诊断报告、专家确认 | 中或弱 |
| 原因·工艺执行偏差 | 按工艺参数项 | 参数偏离设定、装炉方式差异、冷却不足 | 时序数据 + 工艺准则 | 强或中 |
| 原因·物料与来源 | 按材料批次 | 材料批次差异、来料不合格 | 库存批次 + 进厂检验 | 中 |
| 原因·装配与维护 | 按部件 | 装配间隙超差、紧固失效、润滑不足 | 维修记录 | 中 |
| 原因·测量链路 | 按测点 | 传感器漂移、断链、测点失效 | 测点可信度核查结论 | 强 |
「原因·测量链路」单列的理由是:诊断类场景中相当一部分异常来自测量链路本身而不是设备本体,不把这一类单列会污染故障标签。该子类的实例由预处理环节的传感器可信度核查结论回填(见 2.4.4)。
### 3.6 与企业既有编码体系的对齐
本体实体编码以主数据管理平台的组织机构、人员与物料编码,以及 PLM 的物料清单与零部件信息为基准对齐。
#### 3.6.1 对齐三步
本体与企业编码的对齐是三步而不是一步,原因是这三步解决的是三类性质不同的问题,混在一起做必然卡住。
**建映射解决的是「能不能对上」。** 本体实体与企业编码之间多数是一对一,但一对多是常态:本体中的一个「刮板」概念,在 PLM 中可能对应十几个具体零部件号。映射要求可双向查询,是因为两个方向都有实际用途——从本体概念找实例用于检索,从实例找概念用于归类。
**清冲突解决的是「对上了但对上好几个」。** 同一物理对象在 EAM、PLM、WMS 中各有编码,这是企业信息化历史形成的,不可能也不必要求统一。本方案的做法是指定一个基准编码、其余登记为别名,而不是试图合并——合并需要修改源系统,属主数据治理范畴,周期长且不在本项目范围内。指定基准的原则是取该对象的权威维护方所用的编码。
**登缺口解决的是「对不上」。** 企业编码体系未覆盖的本体概念单独成表提交数据治理环节。这份清单的价值超出本项目:它是主数据扩充的直接输入,指出的是企业编码体系与实际业务之间的空白。缺口不在本项目内自行补编码,因为编码的发放权属主数据管理,自行补编会在企业内形成第二套编码。
| 步骤 | 动作 | 产出 | 判定 |
|---|---|---|---|
| 建映射 | 本体实体与企业编码建立一对一或一对多映射 | 标准映射对照表的本体侧条目 | 映射须可双向查询 |
| 清冲突 | 同一物理对象在不同系统有不同编码的,指定基准编码并登记其余为别名 | 基准编码清单、别名登记 | 一个物理对象只有一个基准编码 |
| 登缺口 | 企业编码体系未覆盖的本体概念单独列表 | 编码缺口清单 | 提交数据治理环节纳入主数据扩充计划 |
#### 3.6.2 各类目的对齐基准与冲突处置
| 类目 | 基准编码来源 | 常见冲突情形 | 处置口径 |
|---|---|---|---|
| 设备与部件 | EAM 设备编码 + PLM 零部件号 | 同一部件在 EAM 与 PLM 编码不同 | 设备级取 EAM,部件级取 PLM,互登别名 |
| 工艺与工序 | 工艺部门工序字典 | PLM 工序名称与字典用词不一致 | 取字典为基准,PLM 用词入别名表 |
| 故障模式 | 本体自建编码 | 报警代码与故障模式非一对一 | 报警代码作为关联属性,不作为基准编码 |
| 质量特性与检验项 | QMS 检验项目编码 | 同一特性在不同检验阶段编码不同 | 特性取本体编码,检验项按阶段分别登记 |
| 物料与物料清单 | 主数据物料编码 | ERP 与 PLM 物料编码不一致 | 取主数据为基准,其余入别名表 |
| 供应商与合同 | SCM 供应商编码 | 同一供应商多编码(历史合并) | 取现行编码为基准,历史编码入别名表 |
| 能耗与工况 | 测点配置编码 | 测点改造后编码变更 | 保留历史编码并登记变更时点,时序数据按时点归属 |
映射的完备程度按类目统计并逐批提升,首批以参与场景验证的对象范围为准,覆盖面逐步接近企业核心编码体系可双向映射的状态。
### 3.7 产出物与统一引用
产出三件主件与两件辅件。
| 产出物 | 内容 | 格式 | 使用方 |
|---|---|---|---|
| 本体文件 | 类目、属性、关系、实例 | 机器可读的本体交换格式 | 标注工具、合成工具、检索索引 |
| 术语表 | 名词、定义、业务含义、所属类目、引用标准、生效版本 | 结构化表 + 文档 | 预处理术语归一、标注、知识库 |
| 同义词别名表 | 标准词、别名、别名来源、适用场景、生效版本 | 结构化表 | 检索同义扩展、术语归一 |
| 编码缺口清单 | 未被企业编码覆盖的本体概念 | 结构化表 | 数据治理环节 |
| 版本发布说明 | 变更内容、影响评估、所引标准版本 | 文档 | 全部下游环节 |
统一引用的落实方式是技术性的而非倡议性的。
| 引用点 | 引用内容 | 落实方式 |
|---|---|---|
| 标注标签体系 | 本体类目与值域 | 标注工具从本体文件加载标签,不允许工具侧自定义标签 |
| 合成知识约束 | 本体关系类型与值域 | 合成工具以本体关系作为校验规则,越界关系的样本不生成 |
| 检索业务口径 | 术语表与同义词别名表 | 索引的同义词扩展词表取自别名表 |
| 预处理术语归一 | 术语表 | 文本化模板的术语槽取自术语表 |
| 知识库建库口径 | 类目、关系、编码映射 | 知识条目类型取自类目,图谱节点与边取自类目与关系 |
四处引用同一个版本号,版本号不一致时相关作业暂停。
本体环节的产出有六项同时是数据治理成果清单中的条目,口径关系如下表。治理文档的份数与清单见数据治理章节,此处不另行计数。
| 本环节产出 | 对应的治理成果 | 口径关系 |
|---|---|---|
| 术语表 | 业务术语标准 | 引用治理环节发布的标准;新增概念回流为标准草案 |
| 同义词别名表 | 业务术语标准的同义词部分 | 同源维护,一处修改两处生效 |
| 本体属性集与数据字典 | 数据元标准 | 字段定义冲突时以数据元标准为准 |
| 类目枚举值域 | 参考数据标准与代码值域字典 | 本体新增值候选提交标准侧确认后生效 |
| 编码缺口清单 | 主数据扩充计划 | 本体环节提出缺口,治理环节纳入计划 |
| 标准映射对照表的本体侧条目 | 标准映射对照表 | 本体环节写入,治理环节汇总发布 |
### 3.8 术语回流、同义词维护与版本管理
加工过程中新增或修订的术语、故障模式与工艺参数项回流至本体,产出带版本记录的本体更新,并同步更新受影响的标注与合成口径。
#### 3.8.1 回流来源与节奏
| 回流来源 | 回流内容 | 发现环节 |
|---|---|---|
| 预处理术语归一 | 表外术语、单位不一致项 | 文本化通道 |
| 标注作业 | 歧义标签、缺失标签、易混淆类型补充 | 标注环节 |
| 质检与验证 | 口径冲突、值域越界 | 质检与验证环节 |
| 知识抽取 | 新故障模式、新工艺参数项、新缺陷表述 | 知识库环节 |
| 场景验证 | 业务对象对应不上的情形 | 场景验证环节 |
| 数据治理 | 标准修订带来的术语变更 | 数据治理环节 |
回流按双周一次集中处理:各环节的变更申请汇总后,经业务专家评审合并入下一版本。集中处理而非随到随改,是为了避免同一批次内出现两种口径。
#### 3.8.2 版本规则与影响评估
| 变更类型 | 版本位 | 影响评估 | 已标注样本处置 |
|---|---|---|---|
| 新增实例(术语、故障模式、参数项) | 次版本 | 评估是否与现有实例重叠 | 不受影响 |
| 修订实例属性 | 次版本 | 评估引用该实例的样本范围 | 自动映射 |
| 新增类目或关系类型 | 主版本 | 评估标注工具与合成规则的适配 | 不受影响,新批次起用 |
| 调整类目层级 | 主版本 | 评估层级路径变化的样本范围 | 自动映射或需重标,按层级变化幅度定 |
| 废弃实例 | 主版本 | 评估引用该实例的样本与知识条目 | 需重标;知识条目转入待审 |
| 值域收紧 | 主版本 | 评估越界取值的样本 | 越界样本需重标 |
受影响样本按三档处理:不受影响、自动映射、需重标。评估结论随版本发布说明一并给出。
#### 3.8.3 版本与下游作业的衔接
已发布版本冻结;在用作业继续使用原版本直至批次结束,新批次从新版本起用。样本记录中保存其所用本体版本号,使跨批次的口径差异可被识别而不是被掩盖。
#### 3.8.4 专业术语同义词的来源、分类与歧义处置
同义词别名表在产出物中只占一行,但它是检索召回与标注归一两处的实际依据。一个标准词挂不上车间的口语说法,检索就召不回;一个别名被错挂到另一个标准词下,标注就会把两类对象归成一类。本小节给出别名的来源、分类与歧义的处置口径。
| 别名来源 | 典型形态 | 采集方式 | 证据留痕 |
|---|---|---|---|
| 企业既有标准与制度 | 术语定义条款中的括注、简称约定 | 从制度与标准的定义型条款自动抽取(见条款切分的定义性条款判据) | 条款出处与页码 |
| 源系统值域 | 同一业务对象在不同系统中的不同叫法 | 受理阶段的枚举值域校验产出的表外取值候选 | 源系统与字段 |
| 车间与运维口语 | 工序、部件、缺陷的现场叫法与简称 | 从维修记录、工单备注、点检记录的自由文本中抽取高频表述 | 源记录主键与出现频次 |
| 图纸与工艺卡用语 | 同一特征在标题栏、技术要求与卡片中的不同写法 | 从图纸技术要求区与卡片抬头抽取 | 图号与区域标识 |
| 标注与质检回流 | 标注人员遇到的表外术语、质检发现的口径冲突 | 回流变更申请 | 申请来源与评审结论 |
| 外部标准与文献 | 国家标准与行业标准中的规范用语、英文对应词 | 从技术标准条目抽取 | 标准号与条款号 |
别名按五类登记,分类的作用是让检索与标注分别取用:检索取全部类型做同义扩展,标注归一只取前三类,后两类不参与自动归一。
| 别名类型 | 定义 | 示例方向 | 检索同义扩展 | 标注自动归一 |
|---|---|---|---|---|
| 规范简称 | 标准或制度中明文约定的简称 | 标准名称的通行简称 | 用 | 用 |
| 系统别称 | 同一对象在不同源系统中的叫法 | 同一部件在设备管理与产品生命周期管理两侧的名称差异 | 用 | 用 |
| 现场口语 | 车间与运维人员的习惯叫法 | 工序与缺陷的现场简称 | 用 | 用 |
| 近义但不等价 | 语义相近、范围不同 | 上位概念与下位概念被混用的情形 | 用,并带范围提示 | 不用 |
| 英文与缩写 | 英文全称、缩写、代号 | 工艺方法与检测方法的英文缩写 | 用 | 不用,需人工确认 |
「近义但不等价」单列一类,是本表最要紧的一处。实际语料中大量的所谓同义其实是上下位关系:把下位词当同义词归一到上位词,标签就粗了一级,而这种粗化在样本里看不出来。因此这一类只参与检索扩展并在结果中带范围提示,不参与标注归一。
歧义的处置按三种情形分别给出,共同的原则是**歧义不在别名表里解决,而是回到本体里拆开**。
| 歧义情形 | 判定依据 | 处置 | 留痕 |
|---|---|---|---|
| 一词多义 | 同一表述在不同类目下各有对应实体 | 不挂为任一方的别名;在术语表中为每个义项单列条目并各带限定语与适用范围 | 歧义登记条目,记录发现来源与评审结论 |
| 一词多指同类目内多实体 | 同一表述在同一类目下可指多个实体 | 回本体判断是否应拆分实体;拆分后分别挂别名,不拆分的标记为需上下文消歧并给出消歧线索字段 | 同上 |
| 同义链冲突 | 甲是乙的别名、乙是丙的别名,而甲与丙并不等价 | 断开中间环节,按等价的实际范围重挂;同义等价关系虽可传递,但传递前须逐跳核对范围 | 冲突条目与断开依据 |
别名表的维护与术语回流同节奏,双周一次集中处理。新增别名在评审通过前进待确认列表,参与检索扩展但带待确认标记,不参与标注归一——检索多召回一些的代价远小于标注归一错一批的代价。
### 3.9 跨域概念冲突的识别与裁决
七类目并不各自独立:同一个对象常被四个业务域从各自的角度描述,描述一旦不一致,本体就会出现两处口径。一个零件在工艺侧叫工件、在仓储侧叫物料、在质量侧叫受检件;一个「批次」在仓储是入库批次、在质量是检验批次、在生产是投产批次;一道工序在工艺字典、生产执行系统与工时定额表里可能是三个粒度。这类冲突不属于编码对齐(3.6)要解决的「同一对象多个编码」,而是「同一个词在不同域指不同的东西」或「同一个东西在不同域被切成不同粒度」。编码对齐能把编码接上,接不上含义。
本节因此单设一道跨域冲突的识别与裁决流程。它的产出不是一个结论列表,而是让每一处冲突都有一个明确的归属:要么合并为一个实体,要么拆成带限定语的两个实体,要么保留两个实体并建立映射关系。
#### 3.9.1 冲突的四种类型
| 冲突类型 | 表现 | 典型发生处 | 不处理的后果 |
|---|---|---|---|
| 同名异义 | 同一表述在两个域指向不同对象 | 批次、工序、规格、等级 | 检索召回混入另一域的内容;标注标签跨域污染 |
| 异名同义 | 两个表述指向同一对象 | 工件与物料、受检件与零件 | 同一对象的数据被分成两份,统计口径对不上 |
| 粒度不一致 | 两个域对同一事物的切分深度不同 | 工序与工步、部件与零件、检验项与检验子项 | 跨域关联时多对多关系失控,图谱边爆炸 |
| 口径不一致 | 同一属性在两个域的计算或判定方式不同 | 合格判定、周期起止、数量口径 | 同一属性出现两个值,下游无从取舍 |
#### 3.9.2 识别来源
冲突不靠人工通读本体发现,而是从五个日常作业环节的产出里自动捞出来。
| 识别来源 | 捞取方式 | 产出 |
|---|---|---|
| 编码对齐 | 一个本体实体映射到多个系统编码,而这些编码在源侧分属不同对象类型 | 疑似异名同义或粒度不一致 |
| 术语归一 | 同一标准词被两个域的别名同时命中,而两个别名的适用范围不重叠 | 疑似同名异义 |
| 属性值域校验 | 同一属性在两个域的取值分布明显分属两个集合 | 疑似口径不一致 |
| 关系基数校验 | 跨域关系的实际连接数远超定义基数 | 疑似粒度不一致 |
| 标注与质检回流 | 标注人员报歧义标签、质检报口径冲突 | 各类型均可能 |
五个来源的产出合并进跨域冲突台账,台账字段为:冲突编号、冲突类型、涉及类目与实体标识、涉及业务域、识别来源、证据(样本编号或条目编号)、提出时间、当前状态。
#### 3.9.3 裁决流程与裁决规则
裁决按四步执行,前两步由本体维护岗完成,后两步须业务专家参与。
一、取证。为每一处冲突取不少于约定条数的实例证据,证据须指向具体样本或知识条目,不以印象描述立案。二、定型。按上表四种类型定型,定型不明的先按证据最充分的一类立案,裁决时可改判。三、分域确认。请涉及的各业务域分别确认本域的用法与依据,确认结果书面留痕。四、裁决与落地。按下表规则裁决,裁决结论写入本体并随版本发布。
| 冲突类型 | 裁决规则 | 落地方式 | 版本位 |
|---|---|---|---|
| 同名异义 | 不合并。为每个义项建独立实体,各带限定语与适用范围;原通用表述置为需消歧,不再单独使用 | 术语表分列义项;别名表按义项分挂;检索结果带义项提示 | 主版本(原实体被拆) |
| 异名同义 | 合并。取权威维护方的用词为标准词,另一用词入别名表 | 实体按合并规则处置(3.2.2),引用自动映射 | 次版本 |
| 粒度不一致 | 不就粗也不就细。保留两个层级各自的实体,在二者之间建层次包含关系,并登记跨域映射的对应方式 | 层次包含关系实例;跨域映射条目标注对应方式为一对多或多对多 | 次版本(新增层级时为主版本) |
| 口径不一致 | 不调和。两个口径各自登记为带限定语的属性,并在属性定义中写明适用范围;需要统一的提交数据治理环节纳入标准 | 属性分列;指标类的转指标知识库按域登记 | 次版本 |
四条规则有一条共同取向:**不替业务做合并**。合并会让一方的历史数据按另一方的口径被重新解释,而这种解释在样本里不留痕迹。保留差异并把差异显式登记下来,下游至少知道有两个口径,可以按任务选取。
裁决权的归属按冲突所涉的对象定:对象的权威维护方所在业务域有主裁决权,其余相关域有陈述权;两域对同一对象都主张权威的,提交业务专家评审组裁决,评审结论书面留痕。裁决不成的冲突不悬着——按「保留两个实体并建立映射关系」的保守处置先行落地,台账状态置为待裁决,在下一次集中评审时重议。
#### 3.9.4 跨域冲突台账的状态与闭环
| 状态 | 含义 | 可否影响下游作业 |
|---|---|---|
| 已立案 | 证据齐备,类型已定 | 否;涉及的实体在标注中按现行版本使用 |
| 分域确认中 | 已发出确认,等待业务域回复 | 否 |
| 已裁决待发布 | 裁决结论已出,等待随版本发布 | 否;结论不提前生效 |
| 已发布 | 结论随本体版本生效 | 是;受影响样本按版本规则处理 |
| 待裁决 | 两域主张冲突,已按保守处置落地 | 部分;保守处置的映射关系可用,合并不生效 |
台账按批次统计未闭环条目数。首批以参与场景验证的类目范围标定基线,后续批次逐步接近台账无长期挂起条目的状态;同一冲突连续两次集中评审未裁决,提请在月度例会上明确裁决方,并在前提条件与风险应对一节中按未落实项跟踪。
### 3.10 本体环节的输入、产出、验收与退回
本体环节的输入最杂:既要预处理产出的术语候选,又要主数据、PLM、EAM、QMS 四套企业编码,还要数据治理发布的四套标准,以及企业的制图标准与工艺编制准则。输入多意味着**依赖多**,本环节因此是四个环节中最容易被上游进度牵制的一环。
处置办法是把本体建设分两期:第一期以预处理产出的术语候选与已有的企业编码为基础,建立七类目的骨架与首批实例,不等四套标准全部发布;第二期在治理标准发布后做一次对齐与补全,并按标准调整类目划分与属性定义。两期之间的差异在版本发布说明中记录,使使用方知道手上的本体版本处于哪个阶段、哪些部分还会变。
产出中的**编码缺口清单**需要强调一下。它不是本环节的副产品,而是治理规划环节的正式输入——它指出的是企业主数据体系未覆盖的概念,这些缺口不补,后续数据加工中相应对象只能用临时编码,而临时编码会在数据集中留下无法与企业系统对接的部分。因此本清单作为正式交付物提交,并在治理实施的主数据扩充计划中跟踪闭环。
退回路径上,本环节的缺陷由本体维护岗修订后重新提交口径检查节点,而不退回预处理——本体的问题多在类目设计与映射关系上,与上游样本质量无关。
| 项 | 内容 |
|---|---|
| 输入 | 预处理产出的结构化长文本与术语候选;主数据、PLM、EAM、QMS 的编码;数据治理发布的四套标准;企业机械制图标准与工艺编制准则;各环节的回流变更申请 |
| 产出 | 本体文件、术语表、同义词别名表、编码缺口清单、版本发布说明 |
| 验收方 | 甲方业务部门(按类目分别确认)+ 数据治理环节 |
| 验收方式 | 类目与关系完整性自检 + 编码映射覆盖统计 + 业务专家分类目评审 |
| 抽样或统计口径 | 七类目逐项核对;映射覆盖率按类目统计;场景对象对应逐项核对 |
| 退回路径 | 口径检查节点不通过则版本不予发布,本体维护岗按评审意见修订后重新提交;受影响的标注与合成口径暂不变更 |
### 3.11 本体环节的质量控制点
本体环节的控制点与前两个环节不同:前两环节管的是数据,本环节管的是**结构的正确性**,判定方式因此多为逻辑校验而非抽样复核。
「关系无环」一项是硬性的。层次包含关系中出现环(A 包含 B、B 又包含 A)或工艺前后依赖中出现环(工序甲在乙之前、乙又在甲之前),都是逻辑上不可能的情形,出现即为建模错误。这类错误不能靠抽样发现——环可能跨越很多层,人工核对看不出来——必须靠图论方法做全量环检测。发现环即判不通过,不设容许量。
「类目完整」一项按招标文件要求的七类目逐项核对,每类目须有属性集与至少一条实例。要求有实例而非只有定义,是因为一个只有定义没有实例的类目无法验证其属性设计是否可用;实际建模中,属性设计的问题往往在录入第一条实例时才暴露。
控制点的判定在本环节全部由自动校验执行,这与其他环节以抽样人工复核为主不同。原因是本体的规模虽不大,但关系数量多、交叉引用密,人工核对的遗漏率高于自动校验;而本体一旦带错发布,下游所有依赖它的加工都要重做。
| 控制点 | 方法 | 判定口径 |
|---|---|---|
| 类目完整 | 对照 `b1417` 的七类目逐项核对 | 七类目齐备,每类目有属性集与至少一条实例 |
| 关系无环 | 层次包含与工艺前后依赖的环检测 | 发现环即判不通过 |
| 值域合规 | 属性取值与参考数据标准比对 | 越界取值登记为新值候选,不直接写入 |
| 术语唯一 | 同一概念是否存在多个标准词 | 一概念一标准词,其余入别名表 |
| 编码可映射 | 映射双向查询测试 | 映射覆盖率按类目统计并逐批提升 |
| 场景对象对应 | 与各验证场景的业务对象清单逐项核对 | 对应不上的登记为缺口并补充实例(`b1424`) |
| 约束可执行 | 六类约束逐条由本体一致性校验工具执行 | 互斥与依赖约束条目须带业务依据与适用范围,缺依据的不生效 |
| 标识未复用 | 标识发放台账与废弃状态清单核对 | 已废弃或已拆分的标识不得再次分配 |
| 跨域冲突已闭环 | 跨域冲突台账状态核对 | 台账无长期挂起条目;待裁决条目已按保守处置落地 |
| 版本可追溯 | 版本发布说明与变更申请核对 | 每一变更可追到申请来源与评审结论 |
## 4、知识库(3.2.6.3.4)
### 4.1 知识库的构成与本体的关系
知识库由五部分构成:结构化知识条目、文档类知识资产、两类核心知识图谱、九个业务域的四类知识库、统一检索索引。五部分共用一套本体口径——知识条目的类型取自本体类目,图谱的节点与边取自本体实体与关系类型,检索索引的同义词扩展取自本体别名表。
图 4 知识本体与知识库的层次关系、终审检查节点与向下游的交付面(数据来源:招标文件 3.2.6.3.3、3.2.6.3.4 各项要求,`b1417`—`b1431`、`b1434`—`b1460`)
### 4.2 结构化知识条目的抽取与出处登记
抽取来源为设备档案与说明书、维修记录、诊断报告、故障案例、技术标准、工艺编制准则、质量知识与管理制度,共八类资料。
#### 4.2.1 按资料类型的抽取重点
| 资料类型 | 抽取实体 | 抽取属性 | 抽取关系 | 终审分档 |
|---|---|---|---|---|
| 设备档案与说明书 | 设备、部件、测点、备件 | 型号、规格、参数范围、维护周期 | 层次包含、编码映射 | 抽样审 |
| 维修记录 | 设备、部件、现象、处置措施、备件 | 发生时间、停机时长、更换件 | 因果、层次包含 | 抽样审 |
| 诊断报告 | 设备、故障模式、原因、处置建议 | 证据描述、判定依据 | 因果 | 全审(涉及处置措施) |
| 故障案例 | 故障模式、现象、原因、措施 | 工况条件、复现条件 | 因果 | 全审 |
| 技术标准 | 质量特性、检验项、判定限值 | 标准号、条款号、适用范围 | 检验对应 | 全审(涉及判定限值) |
| 工艺编制准则 | 工序、工艺参数项、禁止组合 | 适用材料、参数区间 | 工艺前后依赖、检验对应 | 全审 |
| 质量知识 | 缺陷类型、成因、预防措施 | 判别要点、检验方法 | 因果、检验对应 | 全审 |
| 管理制度 | 制度、条款、职责主体、业务对象 | 制度元数据(见 4.3.1) | 条款引用、层次包含 | 全审(涉及安全与合规要求) |
全审与抽样审的分界线是后果:涉及判定限值、处置措施、安全与合规要求的条目全审,其余抽样审。抽样比例按资料类型设定,首批不低于每类 10%,按终审发现的问题率调整。
#### 4.2.2 抽取三道流程
| 流程 | 动作 | 工具支撑 | 不通过的处置 |
|---|---|---|---|
| 模型预抽 | 按本体类目逐类抽取,输出候选条目 | 工具链的文档结构解析与智能标注类工具 | 置信度低于门限的候选不进入下一道 |
| 规则校验 | 用本体的关系类型与属性值域作约束 | 本体驱动规则校验 | 不符合值域的候选退回,记录退回原因 |
| 人工终审 | 按 4.2.1 的分档逐条或抽样确认 | 平台的条目评审界面 | 退回重抽或标记为不采纳 |
三道流程的次序不可调换,理由是规则校验成本远低于人工终审,先用规则过滤可以把人工时间留给真正需要判断的条目。
#### 4.2.3 条目记录字段
知识条目的字段设计有一条贯穿的原则:**每一条知识都必须能回答「你从哪里来」**。条目编号中含类目码与版本,条目类型取自本体七类目,再加上出处字段——三者合起来使任一条目可以定位到它所属的类目体系、它的版本、以及它在原始文档中的来源位置。
这一原则的实际意义在场景验证时才完全体现。管理制度智能问答、技术标准智能问答这类场景,回答的可信度不取决于语言是否流畅,而取决于能否给出依据并且依据确实支持结论。若知识条目没有可回查的出处,模型给出的回答无法被核验,场景验证也就无从判定。因此出处字段在入库校验中是强制项,缺失即不入库——这是本环节唯一不设缓冲的硬性条件。
条目编号带版本号,是因为知识本身会变。制度修订、标准换版、工艺调整,都会使原有条目失效而非消失;历史数据中引用了旧条目的样本,仍需能查到当时的条目内容。按版本保留而不覆盖,使知识库同时具备「当前有效知识」与「历史知识」两种查询能力。
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
| 条目编号 | 字符 | 是 | 类目码 + 顺序号 + 版本 |
| 条目类型 | 枚举 | 是 | 取自本体七类目 |
| 实体标识 | 引用 | 是 | 本体实体或新实例候选 |
| 属性名与属性值 | 字符/数值 | 是 | 引用数据元标准的类型与格式 |
| 关系类型与关系对象 | 枚举 + 引用 | 否 | 取自本体六类关系 |
| 证据强度 | 枚举 | 是 | 强/中/弱,定义见 4.4.1 |
| 本体版本号 | 字符 | 是 | 抽取时所用本体版本 |
| 终审状态 | 枚举 | 是 | 通过/修订后通过/退回重抽/不采纳/待审 |
| 适用范围 | 文本 | 否 | 适用的产品、设备或工序范围 |
#### 4.2.4 出处登记字段
出处登记是硬要求:没有出处的条目不入库。这条规则同时是检索增强样本能给出证据的前提。
| 字段 | 必填 | 说明 |
|---|---|---|
| 源文件编号 | 是 | 关联采集环节的文件登记 |
| 文件名称与版本 | 是 | 原文件标识 |
| 文件类型 | 是 | 对应 4.2.1 的八类资料 |
| 章节号与层级路径 | 是(文档类) | 条款级定位 |
| 页码 | 是(文档类) | 起始页、结束页 |
| 段落位置偏移 | 是 | 全文字符流中的起止偏移 |
| 抽取时间 | 是 | 作业时点 |
| 抽取算子与版本 | 是 | 可复算依据 |
| 审核岗位与审核时间 | 是 | 终审留痕 |
| 出处回查测试结论 | 是 | 按出处字段能否定位回原文的测试结果 |
### 4.3 文档类知识资产的元数据抽取与条款级切分
三类文档资料的处理口径分述如下。
#### 4.3.1 管理制度
以「制度条款」为最小知识单元建立索引(`b1437`)。六项元数据与扩展字段如下。
| 字段 | 必填 | 取值来源 | 说明 |
|---|---|---|---|
| 制度名称 | 是(`b1438`) | 文件标题 | 与 OA 文档目录核对 |
| 制度编号 | 是(`b1438`) | 文件编号栏 | 编号缺失的按发布文号补 |
| 发布部门 | 是(`b1438`) | 发文机关或签发栏 | 归并到组织机构主数据 |
| 生效日期 | 是(`b1438`) | 文件生效条款 | 无明确生效日的取发布日并标记 |
| 适用范围 | 是(`b1438`) | 适用范围条款 | 按组织层级与业务范围两个维度登记 |
| 制度层级 | 是(`b1438`) | 文件类型与发布层级 | 集团级/公司级/部门级/车间级 |
| 制度类别 | 是(`b1439`) | 按业务域与管理主题识别 | 取参考数据标准的类别值域 |
| 版本状态 | 是 | 文件状态标识 | 现行/已修订/已废止 |
| 废止替代关系 | 否 | 文件中的废止条款 | 指向被废止的制度或条款 |
| 条款层级路径 | 是 | 条款级切分结果 | 如「第 3 章>第 2 节>第五条」 |
| 条款文本 | 是 | 切分结果 | 条款原文 |
| 条款引用关系 | 否(`b1439`) | 引用识别结果 | 见 4.3.3 |
#### 4.3.2 条款级切分的粒度判据
条款级切分的难点是粒度:切得太粗则一条索引里混多个要求,切得太细则一个要求被拆散。判据按顺序执行。
| 判据 | 内容 | 粒度结论 |
|---|---|---|
| 1 显式编号 | 文本有「第 X 条」「X.Y」等条款编号 | 以编号单元为一条 |
| 2 款项下挂 | 条下有「(一)」「1.」等款项 | 款项不单独成条,作为该条的子单元保留层级 |
| 3 单一要求判定 | 该编号单元内是否只表达一个可执行要求 | 含多个并列独立要求且各自有主体与动作时,拆为多条并标注同源条款号 |
| 4 跨条引用 | 该条是否必须结合被引条款才完整 | 不合并,保留引用关系,由检索时联带召回 |
| 5 定义性条款 | 该条是否为术语定义 | 单独成条并标记为定义型,同时回流本体术语表 |
| 6 附则与附件 | 是否为附则、附表或附件 | 单独成条并标记类型,附表按表处理 |
| 7 最小长度 | 切分结果是否短于约定下限且无独立语义 | 与上一条合并,保留原编号 |
切分结果逐条成为独立索引记录,记录中保留层级路径、来源页码与位置偏移。切分正确性按制度抽样核对条款边界与层级路径,边界错切的整文件回退重切。
#### 4.3.3 条款引用关系的三类识别
| 引用类型 | 识别线索 | 登记内容 | 用途 |
|---|---|---|---|
| 显式条内引用 | 「依据第 X 条」「按本办法第 X 条」 | 源条款、目标条款、引用措辞 | 检索时联带召回被引条款 |
| 文件间引用 | 「按《某办法》执行」「依据《某标准》」 | 源条款、目标文件、目标条款(若指明) | 跨文件证据链 |
| 废止替代关系 | 「本办法自生效之日起废止《某办法》」 | 新文件、被废止文件或条款、生效日期 | 版本状态判定,避免引用失效条款 |
引用关系入图谱,支撑按条款追溯适用依据。识别不确定的标记为待确认,不直接建边。
#### 4.3.4 技术标准
抽取标准名称、发布部门与生效日期等核心元数据(`b1439`、`b1440`),并扩展版本状态与代替关系。
| 字段 | 必填 | 说明 |
|---|---|---|
| 标准名称 | 是 | 标准封面名称 |
| 标准号 | 是 | 含年份号 |
| 标准类别 | 是 | 国家标准/行业标准/团体标准/企业标准 |
| 发布部门 | 是(`b1440`) | 发布机构 |
| 生效日期 | 是(`b1440`) | 实施日期 |
| 版本状态 | 是 | 现行/即将实施/已废止/被代替 |
| 代替与被代替关系 | 否 | 指向相关标准号 |
| 适用范围 | 否 | 标准范围条款 |
| 引用标准清单 | 否 | 规范性引用文件章节 |
| 关键条款索引 | 否 | 判定限值、检验方法所在条款 |
版本状态关系到问答结论的正确性,按季度与公开标准信息源核对一次,核对记录留档。已废止或被代替的标准在检索结果中标注状态,不从库中删除——历史样本的判定依据需要可回查。
#### 4.3.5 投标相关资料
按四类归集(`b1440`—`b1442`)。
| 归集类别 | 包含内容 | 登记字段 | 有效期与敏感度 |
|---|---|---|---|
| 投标文件模板库 | 历史投标文件、章节模板 | 项目、客户、产品范围、年份、章节结构 | 按敏感度分级,限定可见范围 |
| 设备材料 | 设备与材料的技术资料 | 设备或物料编码、型号、参数、来源 | 一般无有效期,按版本管理 |
| 资质 | 安标证书、防爆证书、检验检测报告、产品合格证 | 资质类型、编号、发证机构、有效期、覆盖产品 | 有效期必填,过期件在检索结果中标注失效 |
| 业绩 | 业绩合同、发票、验收单、中标通知书、技术协议 | 项目、客户、金额、签订与验收日期、产品范围 | 按敏感度分级,金额字段按入口脱敏规则处理 |
资质一类的条目结构与其他文档资产差别最大:它的知识价值不在正文叙述,而在证照本身的几个关键字段及其时效状态。一张已过期的安标证书,正文与有效期内的那张完全相同,拿它去应答投标资格要求却是错的。四类证照因此按统一字段结构逐张登记,有效期与状态为必填项(`b1441`)。
| 字段 | 必填 | 取值与来源 | 用途 |
|---|---|---|---|
| 证照类型 | 是 | 枚举:安标证书/防爆证书/检验检测报告/产品合格证 | 按资格要求条目检索的首要筛选键 |
| 证照编号 | 是 | 证照载明编号 | 条目唯一标识,与扫描件一一对应 |
| 发证机构 | 是 | 证照载明机构全称 | 判断证照效力范围与认可资格 |
| 发证日期 | 是 | 证照载明日期 | 时效计算起点 |
| 有效期至 | 是(设有效期者) | 证照载明到期日 | 状态计算与到期提示的唯一依据 |
| 覆盖范围 | 是 | 产品名称、型号与规格档位 | 判断某型号投标是否被该证照覆盖 |
| 关联设备或物料编码 | 是 | 引用本体设备与部件、物料与物料清单类目 | 由设备或材料反查其应备证照 |
| 依据标准 | 否 | 引用技术标准知识条目 | 与技术标准问答互为证据 |
| 结论或等级 | 否 | 证照载明结论、等级或准用范围 | 应答中需引述的实质结论 |
| 换证关系 | 否 | 前序与后继证照编号 | 支撑同一资格的连续性查询 |
| 状态 | 是 | 枚举:有效/临近到期/已失效/已换证 | 检索默认过滤项 |
| 扫描件标识与页码 | 是 | 采集环节的文件登记编号 + 页码 | 证据回查定位 |
四类证照共用上表,各自另有特有字段与关联对象。
| 证照类型 | 登记主体 | 有效期口径 | 特有字段 | 主要关联对象 |
|---|---|---|---|---|
| 安标证书 | 按产品型号与规格档位 | 证书载明到期日 | 安全标志编号、准用范围 | 设备与部件类目的主机产品或部件实例 |
| 防爆证书 | 按产品型号 | 证书载明到期日 | 防爆型式与标志全文、适用环境类别 | 设备与部件类目实例 |
| 检验检测报告 | 按样品与检测批次 | 多不载明到期日,按报告日期加采信时限登记并注明 | 检测机构、检测依据标准、检测项与结果、样品批次 | 物料与物料清单、质量特性与检验项类目 |
| 产品合格证 | 按出厂批次或序列号 | 不设有效期 | 出厂编号或序列号、出厂日期、执行标准 | 设备与部件实例、物料批次 |
一张证照常覆盖多个型号,一台设备或一种材料也可能同时需要数张证照,关联关系因此不压进证照条目的单一字段,而另立证照—对象关联表,逐条登记证照编号、关联对象类型、对象编码与覆盖方式(整体覆盖/按规格档位覆盖/按批次覆盖)。对象编码取本体的设备编码、部件编码与物料编码,与 3.6 的编码对齐口径一致。
状态字段不手工维护,按日重算:以有效期至与当日的差值分三档打标,距到期九十日内标为临近到期并进入待换证清单,三十日内升一档,过期后标为已失效。换证件入库时按覆盖范围与型号匹配前序证照,建立换证关系,并把前序件置为已换证。
已失效与已换证的条目不从库中删除,检索结果带状态标注返回——历史样本与历史投标应答的依据需要可回查,这与技术标准废止件的处理一致(4.3.4)。检索默认只返回有效件,查历史需显式放开状态过滤,口径见 4.6.5。待换证清单的推送与提醒由平台承载,本节交付的是字段定义、状态口径与清单的生成规则。
资质条目是否齐备,直接决定标书智能问答能否正确回答「某型号投标需要哪些证照、哪些证照将在投标有效期内到期」这类问题。在册证照的盘点按现场调查办理:调查对象为质量管理部门与市场部门留存的安标证书、防爆证书、检验检测报告与产品合格证原件及扫描件;采集字段取上表的十二项登记字段,另加存放形态与可否获取扫描件两项;核实方法为按产品型号逐一清点原件并与已有扫描件比对编号,编号不一致的以原件为准;完成时点为进场后第 4 周内完成参与首批场景验证型号的清点、补齐批内完成其余型号。
清点结果不足时按三档处置:有原件无扫描件的,由项目组在质量管理部门现场扫描后登记,原件当场归还;有扫描件无原件的,按扫描件登记并标注原件未见,该条目在应答类场景中带来源提示返回;两者皆无而型号确需该证照的,按证照—对象关联表的覆盖要求列为缺口,在待换证与待补清单中逐型号列出,场景验证中涉及该型号资格问题的用例相应标注数据基础不完整。
三类文档资产分别支撑管理制度智能问答、技术标准智能问答与标书智能问答场景的数据与知识供给(`b1443`)。场景本身的建设不在本包范围,本节交付的是其所需的知识库内容、索引与证据链;场景验证口径见场景验证章节。
#### 4.3.6 合同与招投标文件的条款切分
合同在本节有两重身份:既是供需计划域的业务文件,也是条款级知识单元的来源(`b1400`、`b1434`)。切分口径与管理制度同源,但条款类型另按下表登记,以支撑合同合规智能审查场景的知识供给。
| 条款类型 | 识别线索 | 登记字段 | 关联对象 |
|---|---|---|---|
| 标的与规格条款 | 产品名称、型号、技术参数 | 产品范围、技术要求、引用标准 | 物料、技术标准 |
| 价格与结算条款 | 金额、单价、税率、结算方式 | 金额(按敏感度处理)、结算节点 | 付款计划 |
| 交付与验收条款 | 交付期、交付地点、验收标准 | 交付节点、验收依据 | 订单、检验项 |
| 质量与质保条款 | 质保期、质量责任、索赔 | 质保期限、责任范围 | 质量特性、检验项 |
| 违约与争议条款 | 违约金、解除条件、争议解决 | 违约情形、责任比例 | 制度条款 |
| 知识产权与保密条款 | 知识产权归属、保密期限 | 归属约定、保密范围 | 制度条款 |
| 变更与不可抗力条款 | 变更程序、不可抗力情形 | 变更条件、通知义务 | 制度条款 |
| 其他约定 | 附件、特别约定 | 约定内容 | — |
招投标文件按 4.3.5 的投标资料四类归集处理,其中技术协议按合同条款类型切分,招标文件按要求条目切分并登记要求编号,便于与投标应答逐条对照。合同与招投标文件的敏感度一般高于制度文件,条款入库后按敏感等级限定可见范围;金额与客户标识字段按入口脱敏规则处理后再进入检索索引。
### 4.4 两类核心知识图谱
#### 4.4.1 图谱 A:故障链图谱
链路为「设备—部件—故障模式—现象—原因—处置措施—备件」,服务制造过程数据集的标注与合成(`b1444`)。
| 节点类型 | 来源本体类目 | 关键属性 | 实例来源 |
|---|---|---|---|
| 设备 | 设备与部件 | 设备编码、型号、投运时间 | EAM 台账 |
| 部件 | 设备与部件 | 部件编码、所属设备、安装位置 | PLM、EAM |
| 故障模式 | 故障模式 | 故障编码、名称、严重度 | 故障案例、诊断报告 |
| 现象 | 故障模式(现象子类) | 现象描述、关联测点、可观测方式 | 维修记录、报警规则 |
| 原因 | 故障模式(原因子类) | 原因描述、发生条件 | 诊断报告、专家确认 |
| 处置措施 | 故障模式(属性升格为节点) | 措施描述、所需工时、所需资质 | 维修记录、诊断报告 |
| 备件 | 物料与物料清单 | 物料编码、名称、库存状态引用 | 主数据、WMS |
| 边类型 | 定义域 | 值域 | 本体关系 | 证据强度要求 |
|---|---|---|---|---|
| 设备—部件 | 设备 | 部件 | 层次包含 | 强(取自结构化台账) |
| 部件—故障模式 | 部件 | 故障模式 | 层次包含 | 强或中 |
| 故障模式—现象 | 故障模式 | 现象 | 因果 | 中以上 |
| 现象—原因 | 现象 | 原因 | 因果 | 分三级登记 |
| 原因—处置措施 | 原因 | 处置措施 | 因果 | 中以上 |
| 处置措施—备件 | 处置措施 | 备件 | 层次包含 | 强(取自备件出库记录) |
| 现象—测点 | 现象 | 能耗与工况(测点) | 检验对应 | 强(取自测点配置) |
图谱 A 的构建要处理一个现实条件:甲方的报警记录数量可观但故障标签稀少,报警与真实故障之间缺少可核对的证据。因此「现象—原因」边按证据强度分三级。
| 证据强度 | 定义 | 可用范围 |
|---|---|---|
| 强 | 有维修事实回填(维修工单记录了实际原因与更换件) | 可用于标注标签与合成样本的事实性断言 |
| 中 | 有诊断报告或检验结论支持,但无维修事实闭环 | 可用于标注候选与检索召回,合成时须带条件表述 |
| 弱 | 仅由专家经验给出,无文档证据 | 仅用于检索召回与候选提示,不用于事实性断言 |
证据级别随边保存,下游合成样本时按级别决定可否引用。级别可随维修事实回填而升级,升级动作记入边的版本历史。
#### 4.4.2 图谱 B:工艺质量链图谱
链路为「工件—工艺参数—切片结果—硬度指标—质检结论」,服务产品质量数据集的标注与合成(`b1445`)。
| 节点类型 | 来源本体类目 | 关键属性 | 实例来源 |
|---|---|---|---|
| 工件 | 物料与物料清单 | 工件号、物料编码、工件品类、材料批次 | MES、WMS、PLM |
| 工艺参数(参数项实例) | 工艺与工序 | 参数项、设定值、实际值统计特征 | 时序通道的样本对 |
| 切片结果 | 质量特性与检验项 | 切片位置、金相或硬化层观测结果 | QMS 检验记录 |
| 硬度指标 | 质量特性与检验项 | 测点位置、硬度值、检测方法、判定限值 | QMS 检验记录 |
| 质检结论 | 质量特性与检验项 | 判定结果、缺陷类型、处置 | QMS 检验记录 |
| 工序与炉次 | 工艺与工序 | 工序号、炉次号、作业时间窗 | MES、热处理群控 |
| 边类型 | 定义域 | 值域 | 本体关系 | 建边依据 |
|---|---|---|---|---|
| 工件—工序/炉次 | 工件 | 工序与炉次 | 工艺前后依赖 | 对象锚定登记 |
| 工序/炉次—工艺参数 | 工序与炉次 | 工艺参数 | 层次包含 | 时序样本对的窗口归属 |
| 工艺参数—硬度指标 | 工艺参数 | 硬度指标 | 检验对应 | 同工件同炉次的检验记录 |
| 工艺参数—切片结果 | 工艺参数 | 切片结果 | 检验对应 | 同工件的切片检验记录 |
| 硬度指标—质检结论 | 硬度指标 | 质检结论 | 检验对应 | 判定限值比对 |
| 工艺参数—缺陷类型 | 工艺参数 | 质量特性与检验项(缺陷) | 检验对应 | 本体的「相关参数偏离方向」+专家确认 |
| 工件—材料批次 | 工件 | 物料与物料清单 | 层次包含 | 装炉清单 + WMS 库存批次 |
图谱 B 的关键是把淬火硬度、淬火区域位置及均匀性的检测结果与同炉次的工艺参数串起来,使「参数如何—结果如何」可按件查询。串接依据是采集环节的对象锚定登记;锚定失败的工件进不了图谱 B 的工件级链路,只保留炉次级链路。
#### 4.4.3 图谱构建流程与一致性校验
| 步骤 | 动作 | 校验 |
|---|---|---|
| 节点抽取 | 按节点类型从知识条目与结构化数据生成节点 | 节点唯一性(同一实体不重复建点) |
| 边生成 | 按建边依据生成边并带证据强度 | 定义域与值域合规 |
| 冲突检测 | 同一对节点存在矛盾边(如两条互斥因果) | 冲突对提交专家裁决 |
| 环检测 | 层次包含与工艺前后依赖的环 | 发现环即阻断入库 |
| 孤点检测 | 无任何边的节点 | 孤点登记原因(数据缺口或锚定失败) |
| 覆盖统计 | 按部件、工件品类、工序统计节点与边覆盖 | 覆盖缺口进下一批次计划 |
| 专家确认 | 按 4.8 的终审规则确认 | 未确认的边不进入标注与合成 |
两类图谱的规模与覆盖范围按参与验证的产品与设备范围分批建设,首批范围以试点产线、试点炉型与在役监测覆盖设备为准。首批范围的确定按现场调查办理:调查对象为在产产品型号清单、产线与工位清单、热处理炉台清单与在役监测设备清单;责任部门为生产管理部门与设备部门;采集字段为型号与规格档位、所属产线与工位、对应炉型与炉台、在役监测覆盖的设备与测点、近一年的产量或作业批次数;核实方法为按清单与生产执行系统的工单分布、设备管理系统的台账逐项对照,对照不一致的以台账为准并登记差异;完成时点为进场后第 3 周内提出候选范围、第 5 周内由招标方书面确认。确认之前,图谱按在役监测已覆盖的设备与已接入的炉台先行构建,构建范围在批次说明中逐批列明。
#### 4.4.4 图谱向标注与合成的交付接口
两类图谱不直接交付图数据库访问权,而是按下表的三种接口形式交付,目的是让下游调用有稳定契约、口径变化可被识别。
| 接口形式 | 内容 | 使用方 | 口径约定 |
|---|---|---|---|
| 标签候选接口 | 按对象给出可选标签集合(故障模式、缺陷类型、检验结论) | 标注工具 | 仅返回终审通过的节点;候选按证据强度排序 |
| 知识约束接口 | 按对象给出允许的关系与值域 | 合成工具 | 越界关系的样本不生成;弱证据边不作事实性断言 |
| 证据链接口 | 按查询返回节点、边与其出处 | 检索增强样本构建、场景验证 | 每一条边返回证据强度与出处字段 |
三种接口共用同一套版本号。图谱版本变更时,发布说明中列明受影响的标签候选与关系约束,下游按 3.8.3 的衔接规则在新批次起用。
### 4.5 九个业务域的四类知识库
按甲方提供的指标口径与计算逻辑,构建覆盖人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量九个业务域的四类知识库。业务域划分与数据治理章节的九域口径一致(`b1336`、`b1448`)。
#### 4.5.1 九个业务域与数据来源
指标知识库覆盖九个业务域,这个范围取自招标文件对数据资源建设的要求。本表的作用不是把指标定下来——**指标定义权在各业务部门,不在数据加工方**——而是把每个域的数据来源、指标方向与口径确认部门列清,使指标定义工作有明确的对接对象与可用素材。
表中「口径确认对接方式」一列给的是各域对接谁、怎么对接,而不是预填一个部门名称。九个业务域的指标口径涉及人力、设计、工艺、生产、质量、采购、仓储、销售、财务等多个管理条线,各条线的归口岗位由招标方在需求确认阶段指定;在指定之前预填部门名称,一旦与实际不符,整张表的对接关系都要重做。本方案的安排是:由招标方按域指定口径确认人,项目组据此逐域开展指标梳理,梳理结果经该域确认后入库,确认人岗位与确认日期逐指标留痕(见指标知识库字段)。
「指标示例方向」一列给的是方向而非具体指标,同样出于口径确认权的考虑。示例方向用于说明本方案对各域指标内容的理解,便于招标方判断我方是否掌握了业务要点;具体指标的名称、计算式、统计维度与数据来源,在逐域梳理时确定并形成指标字典。这一安排避免了在投标阶段预设指标、而项目期发现与业务实际不符的被动局面。
| 业务域 | 主要数据来源 | 指标示例方向 | 口径确认对接方式 |
|---|---|---|---|
| 人力资源 | 主数据人员信息、工时定额 | 人员结构、工时利用 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 研发设计 | PLM 物料清单与变更记录、图纸与工艺卡片 | 图纸与工艺复用、变更频次 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 生产制造 | MES 工单与报工、SCADA、热处理群控 | 工序周期、在制、设备利用 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 仓储物流 | WMS 库存与流水、ERP 需求计划 | 库存周转、呆滞、齐套 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 财务 | 久其经营指标、ERP 成本与应收应付 | 收入、利润、成本、资产负债 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 设备 | EAM 台账与点检、SOS 工单、EMS | 设备完好、故障停机、能耗 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 采购 | SCM 采购与履约、ERP 采购 | 采购周期、到货时效、履约率 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 营销 | CRM 客户商机合同订单回款 | 商机转化、订单、回款 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 质量 | QMS 检验与台账 | 一次合格、不合格分布、返修 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
#### 4.5.2 指标知识库
逐项登记指标(`b1449`、`b1450`)。
| 字段 | 必填 | 说明 |
|---|---|---|
| 指标编号 | 是 | 业务域码 + 顺序号 |
| 指标名称 | 是(`b1449`) | 取业务术语标准用词 |
| 指标描述 | 是(`b1449`) | 业务含义的完整表述 |
| 业务限定 | 是(`b1449`) | 适用的业务范围与前提条件 |
| 维度 | 是(`b1450`) | 可下钻维度清单(如组织、产品、客户、期间) |
| 统计周期 | 是(`b1450`) | 日/月/季/年 |
| 统计范围 | 是(`b1450`) | 组织范围、业务范围、数据范围 |
| 计量单位 | 是(`b1450`) | 引用数据元标准 |
| 计算逻辑 | 是(`b1450`) | 公式表达 + 文字说明 |
| 关联指标 | 否 | 上下级或构成关系 |
| 数据来源 | 是 | 源系统与字段 |
| 口径确认人岗位与日期 | 是 | 甲方确认留痕 |
| 口径状态 | 是 | 已确认/待确认/已变更 |
| 口径版本 | 是 | 变更历史可追溯 |
指标知识库同时是数据治理成果清单中「指标标准」的来源:本环节按甲方确认的口径逐条登记,治理环节在此基础上汇总发布为企业级指标标准,两处口径同源。
#### 4.5.3 业务概念知识库
登记决策分析相关的业务术语与行业、财务专业名词(`b1451`)。
| 字段 | 必填 | 说明 |
|---|---|---|
| 概念编号 | 是 | 顺序号 |
| 术语 | 是 | 标准词 |
| 定义 | 是 | 完整定义 |
| 所属业务域 | 是 | 九域之一或跨域 |
| 术语类别 | 是 | 行业术语/财务术语/管理术语/本企业专用 |
| 同义词与别名 | 否 | 与本体同义词别名表同源 |
| 引用标准或制度 | 否 | 定义依据 |
| 常见误用说明 | 否 | 易混淆概念与区分要点 |
| 关联指标 | 否 | 该概念涉及的指标 |
「常见误用说明」一列是为问答场景设置的:同名不同义的术语是问答答错的主要来源之一,把区分要点写进知识库比靠模型自行判断更可靠。
#### 4.5.4 规则知识库
登记各指标的业务管理逻辑、管控要求、业务边界,以及数据来源、过滤条件与加工逻辑(`b1451`—`b1453`)。
| 字段 | 必填 | 说明 |
|---|---|---|
| 规则编号 | 是 | 业务域码 + 顺序号 |
| 关联指标 | 是 | 指向指标知识库条目 |
| 业务管理逻辑 | 是(`b1452`) | 该指标在管理上如何使用 |
| 管控要求 | 是(`b1452`) | 目标值、阈值或管控方向 |
| 业务边界 | 是(`b1452`) | 不适用的情形与例外 |
| 数据来源 | 是(`b1452`) | 源系统、表、字段 |
| 过滤条件 | 是(`b1453`) | 取数时的过滤逻辑 |
| 加工逻辑 | 是(`b1453`) | 聚合、换算、分摊规则 |
| 异常判定 | 否 | 指标异常的判定方式 |
| 规则状态与版本 | 是 | 现行/已变更 |
#### 4.5.5 分析报告知识库
归集月度、季度、年度经营分析报告、专题分析报告与常态化业务台账(`b1453`、`b1454`)。
| 字段 | 必填 | 说明 |
|---|---|---|
| 报告编号 | 是 | 顺序号 |
| 报告名称 | 是 | 原文件名称 |
| 报告类型 | 是 | 月度/季度/年度经营分析/专题分析/常态化台账 |
| 期间 | 是 | 覆盖期间 |
| 编制部门 | 是 | 归并到组织机构主数据 |
| 涉及指标 | 否 | 指向指标知识库条目 |
| 结论要点 | 否 | 条款级切分后的结论句 |
| 原文定位 | 是 | 源文件编号、章节、页码 |
| 敏感等级 | 是 | 按安全方案分级,限定可见范围 |
四类知识库的关系是:指标知识库说明「算什么」,规则知识库说明「怎么算、算的边界在哪」,业务概念知识库说明「名词是什么意思」,分析报告知识库提供「历史上怎么解读」。四者联合支撑决策数据智能问答场景的知识供给(`b1454`)。
#### 4.5.6 指标口径的确认流程
指标口径与计算逻辑须由甲方提供(`b1447`)。本方案的承接方式分五步。
| 步骤 | 动作 | 产出 |
|---|---|---|
| 1 清单初拟 | 按九域与现有报表、台账反向整理指标候选清单 | 指标候选清单 |
| 2 口径访谈 | 按业务域与甲方业务部门逐项确认名称、维度、周期、范围与计算逻辑 | 访谈记录、口径草案 |
| 3 可计算校验 | 按数据来源与过滤条件试算,核对能否取到数 | 试算报告、数据缺口清单 |
| 4 口径确认 | 由业务部门书面确认,登记确认人岗位与日期 | 已确认指标清单 |
| 5 入库与发布 | 写入指标知识库与规则知识库,发布可用范围 | 指标知识库版本 |
未确认的指标进入待确认列表,不出现在问答可用范围内。口径未定的指标进入问答,给出的答案无从核验,因此先不提供。
九个业务域的指标清单与计算逻辑的取得按现场调查办理:调查对象为各域现行的管理报表、经营分析报告与常态化台账;责任方为招标方按域指定的口径确认人,项目组数据受理岗与知识抽取岗对接;采集字段为指标名称、业务含义、统计周期、统计范围、可下钻维度、计量单位、计算式与数据来源八项;核实方法为按候选清单逐项试算,核对能否从已接入的源系统取到数,取不到的列入数据缺口清单;完成时点为进场后第 6 周内完成候选清单与首轮访谈,第 10 周内完成首批域的书面确认,其余域在铺开批内按域推进。某一域在两次约访后仍未指定确认人的,该域的指标与规则知识库暂不入库,决策问答场景中涉及该域的用例相应标注数据基础不完整。
### 4.6 统一检索索引
对文本、图纸、图像建立统一检索索引,支撑标注过程中的规范对齐、合成过程中的知识引用与验证场景中的证据检索。
#### 4.6.1 索引单元、切分粒度与元数据
建索引之前要先定清楚「一条索引记录是什么」。这件事定得粗,检索能命中文件却指不到依据;定得细,一条要求被拆散在几条记录里,召回其中一条等于只看了半句话。本节按对象类型分别给出索引单元与切分粒度,并给出每类单元必备的元数据。
| 索引单元 | 切分粒度 | 粒度判据 | 不单独成条的部分 |
|---|---|---|---|
| 制度条款 | 一条为一个单元 | 按条款级切分的七条判据(4.3.2) | 款项作为条的子单元随条保留层级 |
| 技术标准条款 | 关键条款单独成条,其余按章节成条 | 含判定限值、检验方法、术语定义的条款单独成条 | 范围、规范性引用文件等章节按章成条 |
| 合同与招投标条款 | 按条款类型切分后一条为一个单元 | 按合同条款类型表识别(4.3.6) | 附件按件成条,不逐条拆 |
| 结构化长文本切片 | 一个切片为一个单元 | 章节边界优先、长度边界兜底(3.2.4) | 短于下限的切片与相邻切片合并 |
| 知识条目 | 一条条目为一个单元 | 一实体一属性一关系为一条 | 同一实体的多个属性不并为一条 |
| 指标与规则条目 | 一个指标或一条规则为一个单元 | 指标与其规则分列,互相引用 | 指标的维度清单随指标条目,不单独成条 |
| 分析报告结论句 | 一个结论句为一个单元 | 条款级切分后取结论型句子 | 数据表随报告成件,不逐行成条 |
| 图纸 | 一张图为一个单元 | 一图号一条;多页图按页建子单元 | 单个图元与标注不单独成条,作为该图的可检索字段 |
| 工艺卡片 | 一张卡为一个单元 | 一卡片号一条 | 卡内工序行作为该卡的子字段 |
| 图像 | 一件图像为一个单元 | 一工件一部位一时点一条 | 图像内的区域不单独成条 |
| 视频片段 | 一个阶段片段为一个单元 | 按视频分段结果(2.5.2) | 代表帧作为片段的子单元,可独立召回但带片段归属 |
| 时序片段 | 一个事件窗为一个单元 | 按事件锚定切窗结果(2.4.5) | 窗内采样点不单独成条 |
切分粒度的调整只在本节一处定义,检索侧与标注侧共用同一份定义;粒度一经发布即随知识库版本固定,调整须按版本流程走,不在索引侧临时改参数。
每类索引单元的元数据分三组:**定位组**让人回得到原文,**口径组**让人判断这条能不能用,**状态组**让检索能做过滤。三组缺一,索引都有一半不能用。
| 元数据组 | 字段 | 适用单元 | 作用 |
|---|---|---|---|
| 定位组 | 源文件编号、文件名称与版本、层级路径、章节号、页码、位置偏移;图纸为图号与区域标识;图像为图像标识与采集元数据;视频为片段编号与帧区间;时序为设备号、测点与时间窗 | 全部 | 按 4.6.6 的口径回查原文 |
| 口径组 | 条目类型、所属业务域、本体版本号、知识库版本号、证据强度、适用范围、引用标准号与条款号 | 全部 | 判断该条的适用边界与依据来源 |
| 状态组 | 终审状态、版本状态、有效期与时效状态、敏感等级、可见范围 | 全部 | 权限与状态过滤的输入(4.6.5) |
| 关联组 | 关联实体标识、关联指标编号、引用关系与被引用关系、配对对象标识 | 按单元类型取用 | 联带召回与证据链展开 |
元数据的取值不在索引侧另行编制,一律取自条目记录、出处登记与本体,索引只做冗余存储以支撑过滤与排序。取值来源单一,是避免同一条内容在条目库与索引里出现两个状态的唯一办法。
#### 4.6.2 三类索引的检索键与字段
| 索引 | 索引对象 | 检索键 | 返回字段 |
|---|---|---|---|
| 文本索引 | 结构化长文本切片、制度条款、技术标准条款、知识条目、报告结论句 | 全文、实体编码、元数据字段(制度编号、标准号、发布部门、生效日期、版本状态)、术语与别名 | 条目或切片内容、层级路径、来源页码、位置偏移、版本状态 |
| 图纸索引 | 工艺图纸、CAD 图纸、工艺卡片 | 图号、零件名称、材料牌号、工艺特征、所属项目、物料清单行 | 图纸标识、标题栏字段、明细表行、配对卡片号、矢量化分级 |
| 图像索引 | 熔池图像、焊后焊道表面图像、工件外观缺陷图像 | 工件号、焊道号、采集时点、图像类型、关联检验结论、缺陷类型 | 图像标识、采集元数据、关联时序窗、关联检验记录 |
图纸索引以工艺特征作为检索键,是为了支撑按特征找可借用历史工艺,而不是只能按文件名找。这一点直接对应工艺设计场景的数据需求。
#### 4.6.3 召回方式与核对顺序
| 召回通道 | 适用情形 | 权重取向 |
|---|---|---|
| 结构化检索 | 按实体、编码、元数据字段过滤 | 首选,结果确定可解释 |
| 全文检索 | 按条款与切片粒度命中关键词 | 主通道 |
| 同义扩展检索 | 提问用词与文件用语不一致 | 扩展词表取自本体别名表 |
| 向量检索 | 措辞差异大、需跨表述召回 | 补充通道,不单独作为证据来源 |
四路召回结果合并后统一回原文核对,核对不上的结果不作为证据输出。这一处置顺序是本方案的明确选择——先定位原文,再组织回答。
#### 4.6.4 检索配置
四路召回的行为由一组配置决定。配置写入索引服务并随知识库版本登记,不在界面上临时调整——临时调过的参数无法复现,而场景验证要求同一问题在同一版本下给出同一结果。
| 配置项 | 内容 | 取值依据 | 调整的影响 |
|---|---|---|---|
| 分词与词典 | 领域词典取自本体术语表与同义词别名表;专有名词、型号与编码按不切分处理 | 本体版本 | 词典未覆盖的术语会被切碎,召回率下降;词典随本体版本重建 |
| 字段权重 | 标题、层级路径、条款文本、正文切片、备注各设权重,标题与层级路径高于正文 | 按任务类型分档配置 | 权重失衡会使泛泛命中排在精确命中之前 |
| 过滤器执行次序 | 先执行状态与权限过滤,再执行结构化字段过滤,最后做相关性排序 | 固定次序,不可配置 | 次序颠倒会让无权查看的内容参与排序并影响结果条数 |
| 召回条数 | 各通道的初召回条数上限与合并后的候选上限 | 按任务类型分档 | 条数过小则跨源证据召不全,过大则核对成本上升 |
| 同义扩展层级 | 扩展只取一跳,不做链式传递;近义但不等价类带范围提示返回 | 别名类型(3.8.4) | 多跳扩展会把上位概念拉进来,证据失准 |
| 向量检索门限 | 相似度下限与返回条数上限 | 首批标定 | 门限过低会引入语义相近但事实无关的片段 |
| 重排规则 | 合并后按证据强度、版本状态、字段权重、来源权威度重排 | 本节定义 | 重排规则决定人工核对的先后次序 |
| 联带召回 | 命中条款带有引用关系的,联带召回被引条款;命中指标的,联带召回其规则条目 | 条款引用关系(4.3.3)、指标与规则的关联 | 不联带则跨条款的要求只看到一半 |
| 结果返回字段 | 按索引单元类型返回定位组与口径组字段 | 4.6.1 | 缺定位字段则无法回查 |
四路召回的通道取向在 4.6.3 已定:结构化检索首选、全文为主通道、同义扩展补用词差异、向量检索只作补充且不单独作为证据来源。本节补一条配置原则:**向量检索的结果必须经全文或结构化通道二次定位之后才进入候选**,即先用向量找到可能相关的单元,再按该单元的定位字段取回原文核对,核对不上的直接丢弃。这样安排是因为向量检索给出的是相似度而不是依据,把相似度当依据会产生看起来贴切却查无实据的回答。
配置的版本与知识库版本绑定,配置变更按版本发布并记录变更内容。场景验证使用的配置版本随验证报告一并记录,使同一组评测题在不同时点可复算。
#### 4.6.5 权限与状态过滤
索引里同时存在三类不该被所有人、所有用途看到的内容:未终审的条目、已失效的版本、超出使用方敏感等级的内容。过滤在检索链路的最前端执行,不在结果返回后再做剔除——后置剔除会使返回条数与排序失真,也会在日志中留下不该出现的命中记录。
**状态过滤**按两个状态字段执行。
| 过滤维度 | 默认行为 | 可显式放开的情形 | 放开时的处理 |
|---|---|---|---|
| 终审状态 | 仅返回「通过」与「修订后通过」 | 评审人员查看待审条目 | 返回结果带待审标记,且不得用于标注与合成作业 |
| 版本状态(标准与制度) | 仅返回现行件 | 查历史依据、回溯历史样本的判定依据 | 返回结果带已废止或被代替标记,并联带返回替代件 |
| 时效状态(证照) | 仅返回有效件 | 查换证连续性、核历史投标应答依据 | 返回结果带已失效或已换证标记 |
| 口径状态(指标) | 仅返回已确认口径 | 口径梳理阶段的内部查看 | 返回结果带待确认标记,不进入问答可用范围 |
**权限过滤**按敏感等级与可见范围两个字段执行,粒度到条目与字段两级。
| 过滤层级 | 过滤对象 | 规则 | 不满足时的返回 |
|---|---|---|---|
| 条目级 | 整条索引记录 | 条目敏感等级高于请求方可见范围的,不进入召回 | 不返回,也不在结果计数中出现 |
| 字段级 | 条目内的个别字段 | 条目可见但其中金额、客户标识、矿井位置等字段超出可见范围的,该字段按入口脱敏规则的处理结果返回 | 返回脱敏后取值,并标注该字段已按规则处理 |
| 附件级 | 条目关联的原文件与扫描件 | 条目可见不等于原件可见;原件按文件密级单独判定 | 返回条目与定位信息,原件链接按权限屏蔽 |
| 用途级 | 按调用方用途区分 | 标注与合成工具的调用按终审状态过滤;场景验证的调用按敏感度合规校验(4.7.3) | 超出允许范围的替换证据或不返回 |
权限判定的依据取自安全方案的分级分类结论与可见范围定义,本节不另立一套分级。过滤的执行结果逐次留痕:记录请求方、请求时间、过滤命中的维度与被过滤的条数,不记录被过滤内容本身。留痕的用途是在验证阶段分辨「模型答不出」与「内容被过滤掉了」——这两种情形在结果上看不出区别,而处置方式完全不同。
过滤有效性按批次抽样检索测试:构造一组指向待审条目、已废止标准与高敏感内容的查询,核对默认召回范围中是否出现。首批以首版索引标定基线,后续批次逐步接近默认召回范围内不出现受限内容的状态;测试命中即暂停该索引的对外服务,修正过滤规则并重跑测试后恢复。
#### 4.6.6 引用定位与原文回查
检索给出条目之后,证据链还差最后一步:按条目回到原文的确切位置。这一步决定了问答能不能给出可核验的依据,也决定了评测错题能不能归因。
| 对象类型 | 定位粒度 | 定位字段 | 回查动作 |
|---|---|---|---|
| 文档条款 | 条款级 | 源文件编号、层级路径、章节号、起止页码、起止偏移 | 按文件编号取原件,按页码翻到该页,按偏移定位该条款,比对文本一致 |
| 长文本切片 | 切片级 | 源文件编号、层级路径、页码、起止偏移、切片序号 | 同上,另核切片边界是否落在章节内 |
| 表格单元 | 单元格级 | 源文件编号、页码、表序号、行列索引、合并关系 | 定位到该表该单元格,核对取值与合并关系 |
| 图纸要素 | 图元级 | 图号、区域标识、图元句柄或标注编号 | 按图号取原图,按句柄定位该图元或标注 |
| 图像 | 件级与区域级 | 图像标识、区域框坐标 | 取原图,按区域框定位 |
| 视频 | 片段级与帧级 | 片段编号、起止帧序号、帧时标 | 取归档副本定位片段,按帧序号取代表帧;需精确时取原始帧序列 |
| 时序 | 窗级与点级 | 设备号、测点编号、时间窗、采样点时标 | 取对应批次的时序样本,按时标定位 |
| 知识条目 | 条目级 | 条目编号与版本、出处登记字段 | 按出处字段执行上述对应动作 |
**出处回查测试**是入库前的强制项(见知识库环节的质量控制点):对每一条新入库条目按其出处字段实际定位一次,核对该位置的内容是否对应这条条目。字段非空但指向错误的情形在自动抽取中并不罕见——页码偏移一页、章节号串行、图元句柄在重新解析后变更,都会产生看似完整实则错误的出处。回查失败的条目不入库。
**定位的稳定性**由两条规则保证。一是原文件不可变:源文件一经入库即按文件指纹固定,修订产生新版本而非覆盖,旧版本的定位字段因此长期有效。二是重解析产生新版本而非原地更新:同一文件被重新解析后,新产出的切片与条款是新版本,原版本保留,历史条目仍指向原版本。两条规则的代价是存储量增加,收益是任何一条历史样本的依据在项目期之后仍可回查。
回查链路的产出在三处被用到:问答场景给出依据时返回定位信息,评测错题归因时按定位回溯是检索错还是切分错,质检复核时按定位抽查条目与原文的一致性。回查成功率按批次统计,首批以首批入库条目标定基线,后续批次逐步接近每条条目均可按出处字段定位回原文的状态;某一文件类型连续两个批次回查失败率高于基线,暂停该类型的条目入库并回查其解析算子。
#### 4.6.7 索引的增量更新、重建与回滚
索引不是建一次就完的。条目在改、终审状态在变、本体在发新版本、标准在换版,每一类变化对索引的影响范围不同,处理方式也不同。把它们混成一种「重建索引」的操作,代价是每次小改动都要停服重建;分开处理,才能做到大部分变更在线完成。
| 变更类型 | 影响范围 | 处理方式 | 是否影响在线检索 |
|---|---|---|---|
| 条目新增 | 单条 | 增量写入对应索引项 | 否 |
| 条目内容修订 | 单条及其被引用关系 | 新版本写入,旧版本置为历史并保留 | 否 |
| 终审状态变更 | 单条的状态字段 | 原地更新状态字段,过滤规则随之生效 | 否 |
| 标准或制度版本状态变更 | 该文件的全部条款单元 | 按文件批量更新状态字段,并写入替代关系 | 否 |
| 证照时效状态变更 | 该证照条目 | 按日重算状态字段(4.3.5) | 否 |
| 本体版本发布 | 同义扩展词表与领域词典 | 重建词表与词典;受影响的条目按本体版本号标记 | 短时影响召回,按版本切换窗口执行 |
| 切分粒度调整 | 该类对象的全部索引单元 | 整类重建 | 是,按重建流程执行 |
| 检索配置变更 | 全部召回行为 | 按新配置版本切换,旧配置保留 | 短时影响排序 |
| 索引结构变更 | 全部索引 | 整体重建 | 是,按重建流程执行 |
**重建流程**按影子索引方式执行,不在现用索引上原地改:新索引在影子环境建成并通过校验后再切换,切换失败则保持原索引继续服务。校验项为四项——单元总数与条目库记录数一致;抽样条目的定位字段回查通过;状态过滤测试通过;一组固定的回归查询在新旧索引上返回结果的一致性比对结论。四项全通过方可切换。
**回滚**按三个层次分别给出,层次越高代价越大,因此判定也越严。
| 回滚层次 | 触发条件 | 回滚动作 | 回滚后的处置 |
|---|---|---|---|
| 条目级 | 单条条目被发现内容或出处有误 | 该条回退到上一版本,当前版本置为退回重抽 | 按条目编号回查引用该条的三元组与样本,受影响的标记待复核 |
| 批次级 | 某批次入库的条目被发现系统性问题(同一抽取算子的缺陷) | 按批次号与算子指纹定位该批全部条目,整批置为待审并退出默认召回 | 修正算子后重抽该批;引用该批条目的三元组按证据重新校验 |
| 索引级 | 重建后的校验不通过,或切换后回归查询结果明显偏离 | 切回上一版索引,新索引保留供排查 | 排查结论记入问题清单;原因查明并修正后重走重建流程 |
三个层次共用一个前提:**索引的每一个版本都可被指认**。索引版本号由知识库版本、本体版本、切分粒度版本与检索配置版本四项共同构成,四项中任一项变化即产生新的索引版本号。检索结果中返回索引版本号,使任何一次回答都能对应到当时的索引状态——没有这一条,回滚之后就无法判断历史上的某个回答当时依据的是哪一版。
索引版本保留的份数按批次计划约定,至少保留当前版本与上一版本;参与场景验证的版本另行标记并保留至验证报告出具之后。
### 4.7 检索增强样本的构建
以知识库内容为依据构建检索增强样本,产出「查询—证据—回答」三元组,供指令微调子集与基准评测子集使用。
#### 4.7.1 构建四步
| 步骤 | 动作 | 口径 |
|---|---|---|
| 1 生成查询 | 三类来源:业务人员真实提问的归集、按知识条目反向生成、按历史报告与工单抽取 | 三类来源按配比组合,配比随批次登记;真实提问优先 |
| 2 检索证据 | 在统一索引中检索,保留出处字段 | 证据条数上限与去重规则写入算子参数 |
| 3 组织回答 | 基于证据组织回答,回答中的每一处事实对应至少一条证据 | 不允许引入证据之外的事实 |
| 4 校验 | 证据是否支持回答、回答是否超出证据范围、出处是否可回查 | 任一项不通过即处置(见 4.7.3) |
#### 4.7.2 三元组字段定义
三元组的字段设计围绕一个目标:**让每一条样本的来源可追、可复核**。查询文本、检索依据、答案三者构成一条训练样本,但只有这三项时,一条样本出了问题无法判断是提问本身不合理、检索没找到依据、还是答案组织有误。因此字段中强制包含查询来源(真实提问/条目反向生成/报告与工单抽取)与场景归属两项。
查询来源分三类不是分类学上的讲究,而是因为**三类来源的质量特征完全不同**。真实提问来自业务人员,表述口语化、有省略、有歧义,是最接近实际使用的样本,但数量有限;条目反向生成由知识条目自动造问,数量可以做大,但问法规整、与真实提问的分布有差距;报告与工单抽取介于两者之间。三类的配比直接影响模型在实际使用中的表现,因此配比在数据卡中明示,并在场景验证时按来源分别统计准确率——若真实提问类的准确率显著低于反向生成类,说明样本分布偏了,需要补充真实提问。
场景归属一项用于控制覆盖均衡。十一个场景对知识的需求不同,若三元组集中在少数几个场景上,其余场景的验证就缺少对应样本。受理与构建阶段按场景统计条目数,低于下限的场景列入补采清单。
| 字段 | 必填 | 说明 |
|---|---|---|
| 三元组编号 | 是 | 批次号 + 场景码 + 顺序号 |
| 查询文本 | 是 | 自然语言问题 |
| 查询来源 | 是 | 真实提问/条目反向生成/报告与工单抽取 |
| 场景归属 | 是 | 对应的验证场景 |
| 任务类型 | 是 | 事实问答/条款定位/口径解释/比对分析 |
| 难度等级 | 是 | 按证据跨度与推理步数分级 |
| 证据清单 | 是 | 证据编号、条目或切片标识、出处字段 |
| 证据跨度 | 是 | 单条证据/多条同源/多条跨源 |
| 回答文本 | 是 | 组织后的回答 |
| 事实—证据对应表 | 是 | 回答中每一处事实指向的证据编号 |
| 本体版本号与知识库版本号 | 是 | 构建时所用版本 |
| 校验结论 | 是 | 四项校验的逐项结果 |
| 人工复核结论 | 是(基准评测子集) | 复核岗位与结论 |
#### 4.7.3 校验项与处置
| 校验项 | 判定 | 处置 |
|---|---|---|
| 证据支持性 | 回答中的事实能否在证据中找到依据 | 无证据支持的片段按条剔除 |
| 范围一致性 | 回答是否超出证据所述范围 | 超范围的回答改写或整条废弃 |
| 出处可回查 | 按出处字段能否定位回原文 | 回查失败的三元组废弃 |
| 证据内部一致 | 多条证据之间是否矛盾 | 矛盾的交专家裁决,裁决前不入库 |
| 版本有效 | 所引证据是否为现行版本 | 引用已废止条款的标注状态或替换证据 |
| 敏感度合规 | 证据的敏感等级是否允许进入该用途 | 超出允许范围的替换证据或废弃 |
三元组的质量判定口径与数据集质检、质量评测两章保持一致,本节不另立标准。基准评测子集所用三元组另加一道人工复核,复核比例按评测子集规模确定。
### 4.8 专家终审与数据字典
知识库与知识图谱成果须经业务专家终审,并产出数据字典;未经终审的知识条目不得用于标注与合成作业。
#### 4.8.1 终审组织与状态管理
按业务域组建评审小组,成员为甲方业务专家与项目组技术人员。评审按批次进行,每批次出一份终审意见与一份条目状态清单。
| 条目状态 | 含义 | 可否用于标注与合成 | 可否进入检索默认范围 |
|---|---|---|---|
| 通过 | 内容与出处均确认无误 | 可 | 可 |
| 修订后通过 | 经评审意见修订后确认 | 可 | 可 |
| 待审 | 已入库但未终审 | 不可(`b1460`) | 不可 |
| 退回重抽 | 内容有误或出处不实 | 不可 | 不可 |
| 不采纳 | 不属于本项目范围或无业务价值 | 不可 | 不可 |
状态写入条目记录;标注与合成工具在加载知识时按状态过滤,仅加载「通过」与「修订后通过」的条目。这是终审检查节点的技术落点——用工具侧过滤而非制度要求来保证,避免靠人记住规则。
#### 4.8.2 数据字典
数据字典覆盖知识条目表、图谱节点与边、四类业务知识库与索引元数据。
| 字典项 | 内容 |
|---|---|
| 字段名称与中文名 | 字段标识与业务名称 |
| 定义 | 字段的业务含义 |
| 类型与长度 | 引用数据元标准 |
| 格式 | 日期、数值、编码格式 |
| 值域 | 枚举值或取值范围,引用参考数据标准 |
| 是否必填 | 必填规则 |
| 来源 | 源系统与字段,或本体、算子产出 |
| 示例 | 一条合规取值示例 |
| 版本与变更记录 | 字段定义的变更历史 |
数据字典与数据治理章节输出的数据元标准互相引用,字段定义冲突时以数据元标准为准。
### 4.9 知识库环节的输入、产出、验收与退回
知识库环节是四个环节中唯一**同时依赖前三个环节产出与甲方业务输入**的一环。输入项里既有预处理的规范化样本与已发布的本体版本,也有甲方提供的指标口径与制度文本。这一特点决定了本环节的进度不完全由我方控制:指标口径未确认、制度文本未提供,对应的知识条目就无法构建。
因此本环节的排期按两条线并行:不依赖甲方输入的部分(从已有文档抽取条目、建立条款级索引、构建三元组)先行推进,依赖甲方输入的部分(指标知识库、口径确认)按甲方提供节奏推进,两线在环节验收时汇合。这样安排的结果是,即使某个业务域的口径确认滞后,也不会阻塞整个环节的交付;滞后的域在交付说明中列明其完成状态与预计时点。
退回路径上,本环节的缺陷分两类处置:条目自身的问题(出处缺失、切分错误、三元组证据不足)由知识抽取岗修订后重提;上游来的问题(本体类目不全、规范化样本结构错误)退回对应环节。区分的依据是缺陷的成因位置,而不是发现位置——在知识库环节发现的问题,相当一部分根源在预处理或本体。
| 项 | 内容 |
|---|---|
| 输入 | 通过预处理检查节点的规范化样本(结构化长文本、图像样本、时序样本对、文本化样本);已发布的本体版本;甲方提供的指标口径与计算逻辑;对象锚定登记表 |
| 产出 | 见 4.11 |
| 验收方 | 业务专家评审组(按业务域)+ 甲方相关业务部门 |
| 验收方式 | 抽查出处可回查、条款切分正确性、图谱证据级别与冲突处置、指标口径确认留痕、终审覆盖情况 |
| 抽样或统计口径 | 涉及判定限值与处置措施的条目全审,其余不低于每类 10%;出处回查按条目抽样;三元组按场景抽样 |
| 退回路径 | 终审检查节点不通过的条目标记为「退回重抽」或「待审」,由知识抽取岗重抽或人工补录;口径未定的转入待确认列表,不进入可用范围 |
### 4.10 知识库环节的质量控制点
本环节的四个控制点里,「条目有出处」与「条款切分正确」是基础性的,另两项指向更深一层的问题。
**出处回查测试**不只是校验字段非空,而是实际按出处字段去原文定位一次,确认该位置的内容确实对应这条条目。字段非空但指向错误的情形在自动抽取中并不罕见——页码偏移一页、章节号串行,都会产生看似完整实则错误的出处。回查测试是唯一能检出这类错误的办法,因此列为入库前的强制项。
**条款切分正确**的判定口径定为「边界错切的整文件回退重切」,与预处理环节的处理原则一致。条款切分的错误具有传染性:一处边界切错,其后的所有条款编号都会错位,而条款编号正是制度类问答的检索键。局部修补无法保证同一文件内其余条款没有同类问题,因此整文件重切。
控制点的责任岗位列明了知识抽取岗与质检岗的分工:抽取岗负责入库前的自检,质检岗负责抽样复核。两道是必要的——自检覆盖全部条目但由作业人自己执行,复核由独立岗位执行但只能抽样,两者互补。抽样比例与复核结论进质检记录,并作为该批次能否进入下一环节的依据。
| 控制点 | 方法 | 判定口径 | 责任岗位 |
|---|---|---|---|
| 条目有出处 | 入库校验出处字段完整性 + 出处回查测试 | 出处字段缺失或回查失败的条目不入库 | 知识抽取岗 |
| 条款切分正确 | 按制度抽样核对条款边界与层级路径 | 边界错切的整文件回退重切 | 知识抽取岗、质检岗 |
| 引用关系可靠 | 抽样核对引用识别结果 | 识别不确定的标记为待确认,不建边 | 知识抽取岗 |
| 标准版本有效 | 季度核对标准版本状态 | 已废止或被代替的标准在检索结果中标注状态 | 知识抽取岗 |
| 图谱边可信 | 证据强度分级登记 + 冲突检测 | 弱证据边不用于合成样本的事实性断言;冲突边提交专家裁决 | 知识抽取岗、业务专家评审组 |
| 图谱结构合规 | 环检测、孤点检测、定义域值域校验 | 发现环即阻断入库;孤点登记原因 | 知识抽取岗 |
| 指标口径已确认 | 逐指标登记确认人岗位与日期 | 未确认指标不进入问答可用范围 | 知识抽取岗 |
| 三元组证据充分 | 回答与证据逐条比对 | 无证据支持的片段剔除,矛盾三元组废弃 | 知识抽取岗、质检岗 |
| 索引状态过滤生效 | 按状态字段抽样检索测试 | 待审与失效内容不出现在默认召回范围 | 知识抽取岗 |
| 权限过滤生效 | 构造指向高敏感条目与受限原件的查询并抽样测试 | 超出可见范围的条目不进入召回;字段级受限项按脱敏结果返回并标注 | 知识抽取岗、安全管理岗 |
| 索引版本可指认 | 核对检索结果返回的索引版本号与四项构成要素 | 四项中任一项变化即产生新版本号;重建切换前四项校验全通过 | 知识抽取岗 |
| 回滚可执行 | 按条目级、批次级、索引级各演练一次 | 三级回滚均可执行且回滚后受影响范围可按标识定位 | 知识抽取岗、质检岗 |
| 终审完备 | 条目状态清单与终审意见核对 | 未终审条目在工具侧被过滤,不进入标注与合成 | 业务专家评审组 |
### 4.11 知识库环节产出物
知识库环节的五项产出各自对应明确的下游用途,这一对应关系值得说明,因为它直接决定了本环节的工作重点。
**结构化知识条目库**是通用底座,标注、合成、检索三类后续作业都依赖它。**制度条款级索引**直接供给管理制度智能问答场景——这个场景的特点是答案必须指向具体条款,而非泛泛的制度概述,因此索引的粒度必须切到条款一级。**指标知识库**供给决策数据智能问答,其价值在于把散落在各业务系统中的指标口径集中成一份可查的字典。**知识图谱**支撑需要关系推理的任务。**问答三元组**则是指令微调子集的直接素材。
把五项分别列出而不合并为「知识库」一项,是因为它们的验收口径不同:条目库按条目数与出处完整率验收,条款索引按条款定位准确率验收,指标知识库按口径确认部门的书面确认验收,图谱按实体与关系的覆盖度验收,三元组按证据支持率与人工抽检通过率验收。合并成一项,这五套口径就无处落地。
| 产出物 | 形式 | 交付对象 |
|---|---|---|
| 结构化知识条目库 | 结构化表 + 出处登记 | 标注、合成、检索 |
| 制度条款级索引 | 结构化表 | 管理制度智能问答场景的数据供给 |
| 技术标准元数据表 | 结构化表 | 技术标准智能问答场景的数据供给 |
| 投标资料四类归集目录 | 结构化表 | 标书智能问答场景的数据供给 |
| 核心知识图谱 A | 图数据 + 节点边字典 | 制造过程数据集标注与合成 |
| 核心知识图谱 B | 图数据 + 节点边字典 | 产品质量数据集标注与合成 |
| 九业务域四类知识库 | 结构化表 | 决策数据智能问答场景的数据供给 |
| 统一检索索引 | 索引服务 | 标注、合成、场景验证 |
| 索引配置与版本登记 | 结构化表 | 场景验证复算、质检、运营服务管理平台移交 |
| 检索增强三元组 | 样本集 | 指令微调子集、基准评测子集 |
| 终审意见与条目状态清单 | 文档 + 结构化表 | 质检、验证、验收 |
| 知识库与知识图谱数据字典 | 文档 + 结构化表 | 全部下游环节、数据治理 |
## 5、四类典型对象的完整加工实例与检验用例
### 5.1 实例的取值基准与适用范围
四个环节的方法、口径与控制点已按环节逐项给出。方法是否可执行,要看一个具体对象从进厂到入库的全过程能不能用这套方法走通,以及走到每一步时能不能检出做错了。下面取四类对象各走一遍:零件图纸与工艺卡片、热处理炉次曲线、焊道影像与焊接参数流、质量检测报告。四类分别覆盖文档与图纸、时序、图像与视频、文档与结构化四种加工形态,合起来覆盖前四个环节的全部关键算子。
**实例中的取值基准。** 每个实例的字段结构、处理次序、判定规则与检验方法,全部按前面四个环节已定义的口径推演得出,推演路径在各例中逐步写明,可逐条复核。实例中出现的具体数值、编号与比例是按上述规则构造的示意取值,用于说明字段怎么填、检验怎么做;它们不是现场实测结果,也不代表招标方现有数据的实际状况。各对象的实际取值在首批标定批完成受理与现场调查之后按实测回填,回填前相关数值在批次说明中标注为待标定。
**实例的适用范围。** 四个实例是作业规程的具体化,不是样本模板。同类对象按本节的步骤与检验用例执行;不同类对象按相近形态的实例类推,类推不成立的在批次计划中单列并补定口径。
### 5.2 实例一:零件图纸与工艺卡片
#### 5.2.1 对象与来源
一张刮板零件的工艺图纸,以及与它成对的已审核签发工艺卡片。图纸来自产品生命周期管理系统的受控版本,形态为原生矢量交换格式;工艺卡片为扫描件,来自车间归档。两者在历史上天然成对(1.3.3),配对关系是工艺设计数据集中监督样本的主要来源。
选这一对作为第一个实例,是因为它同时触发四条链路:图纸走原生图元解析、卡片走扫描件的版面抽取与文字识别、两者之间走图文配对、抽出的工艺参数走本体的值域与约束校验。任一条断了,工艺设计类样本就建不成。
#### 5.2.2 采集环节
| 作业步 | 对图纸 | 对工艺卡片 |
|---|---|---|
| 受理申请 | 核对数据源登记编号与授权范围覆盖该图号所属项目 | 同左,来源为车间归档目录 |
| 许可核验 | 内部受控文件,按密级与可用范围核验 | 同左 |
| 落地清点 | 按图号清点件数,计算文件指纹 | 按卡片号清点件数与页数,计算文件指纹 |
| 入口脱敏 | 标题栏的设计与审核标识按直接标识规则处理 | 卡片签署栏同左 |
| 格式合规校验 | 原生可解析性、图层与图元完整、外部参照无缺失 | 图像可解码、扫描分辨率达下限、页序连续 |
| 对象锚定登记 | 图号与物料清单行号关联 | 卡片号与图号配对登记 |
| 批次成形 | 生成批次号,写入贴源区,生成采集记录 | 同左,同批次 |
受理产出的配对登记条目(按 1.3.3 的字段):
| 字段 | 取值方式 | 本例取值 |
|---|---|---|
| 图号 | 图纸标题栏解析 | 标题栏图号字段的原值 |
| 工艺卡片号 | 卡片抬头解析 | 抬头卡片号字段的原值 |
| 物料清单行号 | 查产品生命周期管理系统物料清单 | 该零件在所属部件清单中的行号 |
| 零件名称与材料牌号 | 标题栏与零部件信息交叉取值 | 两侧取值一致 |
| 配对判定依据 | 受理作业结果 | 自动匹配 |
| 配对置信标记 | 按三级匹配规则(2.3.4) | 高(图号与卡片号对应,零件名称与材料牌号交叉核对一致) |
#### 5.2.3 预处理环节
图纸走图纸与图像通道的原生解析路径,卡片走文档类通道的扫描件路径,两条链路的产出在图文配对处汇合。
| 序 | 算子 | 输入 | 产出 | 本例的判定 |
|---|---|---|---|---|
| 1 | 矢量化分级 | 原生图纸文件 | 分级结论 | 六项判定条件逐项满足,进原生解析路径 |
| 2 | 原生图元解析 | 同上 | 几何图元、图层、尺寸标注、符号标注、文字与属性、块与外部参照、视图与边界 | 图层名与企业制图标准的图层约定可对应;符号标注中的坡口与粗糙度按块引用读出 |
| 3 | 图面区域切分 | 解析产出 | 标题栏、明细表区、视图区、技术要求区、修改记录区 | 五区均识别,标题栏必填字段图号非空 |
| 4 | 标题栏与明细表抽取 | 区域切分产出 | 图号、名称、材料牌号、比例、版本 | 必填字段齐备 |
| 5 | 视图投影关系推断 | 视图与边界 | 视图类型与投影对应关系 | 视图边界可识别,投影关系成立 |
| 6 | 版式判定(卡片) | 卡片扫描件 | 版式结论 | 无文本层,判为扫描件 |
| 7 | 版面抽取与文字识别(卡片) | 同上 | 抬头区、工序表格区、签署区、页脚区 | 表格区转表格重建;签署区按印章与标识规则单列 |
| 8 | 有线表重建(卡片) | 工序表格区 | 行列索引、表头、单元格文本 | 线框完整,行列数判定唯一 |
| 9 | 图文对照挂接 | 图纸产出 + 卡片产出 | 图文对照记录 | 一级匹配按图号成立,二级交叉核对一致,置信标记为高 |
| 10 | 正文切分(卡片技术要求) | 识别文本 | 切片 + 层级路径 + 页码 + 偏移 | 切片不跨章节边界 |
预处理产出的图文对照记录字段:图号、卡片号、物料清单行号、零件名称、材料牌号、配对判定依据、置信标记、反向校验结论、算子指纹链。
#### 5.2.4 知识本体环节
从图纸与卡片抽出的要素落到三个类目,并触发四类约束校验。
| 抽出要素 | 落入类目 | 落入属性或实例 | 触发的约束 |
|---|---|---|---|
| 零件名称、零件号、材料牌号、规格、重量 | 物料与物料清单 | 零件实例的属性 | 类型与格式约束(引用数据元标准);编码映射约束(零件号与物料编码可映射) |
| 工序名称、工序号、设备资源、工时定额 | 工艺与工序 | 工序实例与工艺路线 | 值域约束(工序名称取备料工序字典值域);工序前后不可逆约束 |
| 坡口型式、粗糙度要求、形位公差 | 工艺与工序(工艺参数项)、质量特性与检验项 | 参数项实例与质量特性实例 | 条件值域约束(按材料牌号与板厚分条);检验方法与质量特性的对应约束 |
| 图号与卡片号的配对 | — | 不入本体,作为知识库的图纸索引关联键 | — |
本例在约束校验中可能命中的两处:工序名称若不在备料工序字典值域内,按值域约束登记为新值候选并提交数据治理环节确认,不直接写入;坡口型式与材料牌号的组合若落在互斥约束的禁止组合内,按约束拒绝写入并进待确认列表,由工艺工程师判定是图纸标注有误还是约束条目的适用范围需要放宽。
#### 5.2.5 知识库环节
| 产出 | 索引单元 | 切分粒度 | 定位字段 | 用途 |
|---|---|---|---|---|
| 图纸条目 | 一张图一条 | 一图号一条 | 图号、区域标识、图元句柄 | 图纸索引;按工艺特征找可借用历史工艺 |
| 工艺卡片条目 | 一张卡一条 | 一卡片号一条 | 卡片号、源文件编号、页码 | 与图纸条目成对 |
| 技术要求条款 | 一条为一个单元 | 按条款级切分判据 | 源文件编号、层级路径、页码、偏移 | 加工要求的条款级检索 |
| 工序知识条目 | 一实体一属性一关系一条 | 同 4.6.1 | 出处登记字段 | 工艺设计监督样本的标签来源 |
| 检索增强三元组 | 一条三元组 | — | 证据清单指向上述条目 | 指令微调与基准评测子集 |
本例可支撑的三元组形态:查询为「某材料牌号某板厚的刮板,坡口型式与粗糙度要求是什么」,证据为图纸条目的符号标注字段与技术要求条款,回答中的每一处事实对应至少一条证据,事实—证据对应表逐项填写。证据跨度记为多条同源。
#### 5.2.6 检验用例
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 原生图元解析的覆盖 | 该图纸文件 | 执行原生图元解析,统计被成功读出并归类的图元数与文件内图元总数 | 解析覆盖率达到首批标定的基线并按批次上调;未归类图元逐个带原因 | 自动统计 + 抽样人工核对归类是否正确 | 未归类比例超基线的,核对图层映射表后重跑;图层命名不规范的进待确认列表 |
| 二 | 标题栏必填字段 | 同上 | 抽取标题栏 | 图号非空且与文件名解析结果一致 | 自动校验 | 图号缺失的整文件回退;两处不一致的进人工复核队列 |
| 三 | 符号标注的读出 | 同上 | 抽取坡口、粗糙度、形位公差、焊接符号 | 以块引用存在的全部读出;由线段与文字拼成的按几何特征组合判定并标注置信 | 按符号类型分别统计读出数,抽样人工核对 | 组合判定失败的置信标记降级,不进入需要精确加工要求的样本 |
| 四 | 卡片识别置信 | 卡片扫描件 | 执行版面抽取与文字识别 | 各区域置信度达门限;工序表格行列数判定唯一 | 区域级置信统计 + 表格结构自检 | 区域置信低于门限的该区域进人工复核;行列判定不唯一的转无线表路径再判 |
| 五 | 图文配对正确 | 图纸与卡片产出 | 一级匹配 + 二级交叉核对 + 反向校验 | 置信标记为高;从卡片号反查回到同一图号 | 自动校验 + 按图号抽样人工核对 | 反向校验不一致的撤销该配对,两侧对象重回待配对池 |
| 六 | 工序名称值域 | 卡片工序表 | 与备料工序字典比对 | 全部取值落在字典值域内 | 本体值域校验 | 表外取值登记为新值候选,提交数据治理环节确认,确认前该条目不入标注标签 |
| 七 | 条款定位回查 | 技术要求条款条目 | 按出处字段回原文定位 | 定位到的内容与条目文本一致 | 出处回查测试 | 回查失败的条目不入库;同一文件连续失败的整文件回退重解析 |
| 八 | 三元组证据支持 | 该例构造的三元组 | 逐条核对回答中的事实与证据 | 每一处事实对应至少一条证据,无超出证据范围的表述 | 四项校验(4.7.3) | 无证据支持的片段按条剔除;超范围的改写或整条废弃 |
### 5.3 实例二:热处理炉次曲线
#### 5.3.1 对象与来源
一个感应淬火炉次的全过程参数曲线,来源为热处理群控系统与加装传感器,包含工件淬火前后表面温度、加热功率、频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度。该炉次对应一张炉次工单与一份装炉清单,装炉清单给出炉内工件列表。
这一例检验的是时序通道的四道关键算子(时间基准对齐、重采样、缺失补齐、异常值判定)与对象锚定的两级结构(炉次级与工件级),以及它们产出的样本能否支撑热处理过程监控场景的数据供给。
#### 5.3.2 采集环节
| 作业步 | 内容 | 本例的处置 |
|---|---|---|
| 受理参数 | 按 1.4.2,热处理炉次参数按炉台计,原始秒级,受理时间窗按开炉至完工 | 原始密度一份 + 统一步长一份 |
| 时间窗取法 | 按作业自然边界,不按固定时长切片 | 一个炉次为一个完整时间窗 |
| 对象锚定 | 热处理参数 → 工件与炉次:炉台号 + 炉次工单 + 装炉清单 | 炉次工单的开完工时刻覆盖该段参数,锚定成立 |
| 材料批次锚定 | 装炉清单 + 仓储库存批次 | 工件所用物料批次可在库存批次中查到的,材料批次字段回填;查不到的留空并标记 |
| 质量码 | 源侧未提供的,按采集中断判定规则补受理侧质量码 | 补列并在数据源登记表中标明为受理侧生成 |
| 设备校准 | 温度类测点按检定或校准周期登记校准记录与有效期 | 校准有效期已过的测点,其数据在批次说明中标注并限定用途 |
#### 5.3.3 预处理环节
| 序 | 算子 | 本例的处理 | 产出字段 |
|---|---|---|---|
| 1 | 时间基准统一 | 群控系统时钟偏差按源登记值补偿;时区统一并显式标注 | 补偿后的时标、偏差值与补偿方向 |
| 2 | 多测点相位对齐 | 以炉温主测点时标为参照,其余测点按最近邻对齐 | 对齐容差内的测点序列;超容差测点在该窗内标记未对齐 |
| 3 | 跨系统对齐 | 以开炉事件时刻为锚点做二次校正 | 平移量;残差超门限的整段标记 |
| 4 | 重采样 | 温度类取窗内均值并保留极值;功率取均值与均方根;流量与浓度取均值并区分零值与停机;加热与冷却时间按事件差分 | 统一步长序列 + 附加字段 |
| 5 | 缺失补齐 | 单点与短缺口线性插值并标记;长缺口不补整段标记;跨工况边界不插值 | 插值标记、缺口长度、缺失段标记 |
| 6 | 异常值判定 | 三道判据顺序执行;首批次离群判据未启用的在质量标记中注明 | 异常标记、命中判据清单 |
| 7 | 工况分段 | 按装炉、升温、保温、淬火、返热分段 | 工况分段结论;规则集未覆盖该炉型的字段留空 |
| 8 | 事件锚定切窗 | 开炉事件:前置窗覆盖装炉准备,事件窗为开炉至完工,后置窗覆盖出炉与返热 | 时序片段—事件样本对 |
| 9 | 曲线文本化 | 按九项曲线特征计算后带入模板 | 升温段斜率、保温段波动范围、峰值与出现时刻、与设定值的偏离区间等 |
曲线文本化产出的文本样本挂回源记录主键与批次号,数值与术语逐条回查,回查不一致的废弃不修补。
#### 5.3.4 知识本体环节
| 抽出要素 | 落入类目 | 触发的约束 |
|---|---|---|
| 炉温、加热功率、频率、淬火液温度与浓度、感应器间隙、加热与冷却时间、返热温度 | 工艺与工序(热处理工艺参数项) | 条件值域约束(按炉型与工艺牌号分条);设定值可比性约束(炉温设定值跨炉型不可比) |
| 炉台、感应器、测点 | 设备与部件、能耗与工况 | 层次包含约束(测点挂到部件);量程与正常区间的值域约束 |
| 淬火硬度、硬化层深度、淬火区域位置及均匀性 | 质量特性与检验项 | 检验方法与质量特性的对应约束 |
| 参数项与质量特性的关联 | 检验对应关系 | 定义域与值域约束(参数项对质量特性) |
本例在设定值可比性约束上的处置值得单列:若该炉次的炉温设定值要与另一炉型的炉次比较,约束判定不成立,比较请求被拒绝并提示两炉型的热场分布不同。这条约束把「同样的设定温度对应同样的工件实际温度」这个不成立的默认前提挡在了建模之前。
#### 5.3.5 知识库环节
| 产出 | 索引单元 | 定位字段 | 用途 |
|---|---|---|---|
| 时序片段条目 | 一个事件窗一条 | 设备号、测点、时间窗 | 热处理过程监控场景的证据检索 |
| 工艺参数知识条目 | 一实体一属性一条 | 出处登记字段 | 参数正常区间与关联质量特性的查询 |
| 工艺质量链图谱的边 | 参数项与质量特性之间的检验对应边 | 证据指向条目与时序片段 | 质量归因 |
| 曲线文本样本 | 一条文本样本 | 源记录主键 | 预训练与指令微调子集 |
| 检索增强三元组 | 一条三元组 | 证据指向时序片段与参数条目 | 评测子集的时序判读题 |
#### 5.3.6 检验用例
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 跨测点时间对齐 | 该炉次多测点原始序列 | 跨测点时标一致性校验 + 同期事件比对 | 无跨测点错位;开炉事件在各测点上落在同一时刻邻域内 | 自动校验 | 发现错位的,该设备该时间窗整段回退重对齐 |
| 二 | 重采样方法选择 | 同上 | 按方法表逐测点选方法并执行 | 温度取均值并带极值;状态取众数并带翻转次数;累计量取差分 | 核对产出字段是否齐备 | 方法表未覆盖的测点跳过并标记,补表后单测点重跑 |
| 三 | 窗边界对齐 | 重采样产出 | 核对窗起止时刻是否落在整步长时刻 | 全部窗边界对齐 | 自动校验 | 未对齐的整段回退重划窗 |
| 四 | 缺失处置分档 | 含五类缺口的序列 | 按五档定级并处置 | 单点与短缺口补并标记;长缺口与整测点缺失不补并标记;采集中断整窗标记并回提采集接入环节 | 核对标记字段与处置的一致性 | 长缺口被补的整段回退重做;标记缺失的样本不进供样区 |
| 五 | 异常标记保留 | 含疑似异常点的序列 | 三道判据顺序执行 | 异常点被标记而非删除;每点记录命中的判据 | 抽样核对标记字段 | 标记缺失的样本不进入供样区 |
| 六 | 炉次与工件两级锚定 | 装炉清单与炉次工单 | 执行对象锚定 | 炉次级锚定成立;工件级锚定按装炉清单逐件建立,清单缺失的保留炉次级并标记工件级未锚定 | 核对锚定登记表 | 锚定率低的批次在数据卡中限定用途,不进入需要按件追溯的子集 |
| 七 | 设定值可比性 | 两个不同炉型的炉次 | 发起炉温设定值的跨炉次比较 | 约束判定不成立,比较被拒绝并给出理由 | 本体约束校验 | 约束未生效的,核对属性「是否设定值可比」的取值是否回填 |
| 八 | 曲线文本化保真 | 曲线特征与模板渲染产出 | 数值、术语、单位、对象标识逐项回查源记录 | 四项均未被改动 | 自动回查 | 任一项被改动即废弃该条,不做修补;废弃率升高时回退模板或调整改写参数 |
| 九 | 片段回查 | 时序片段条目 | 按设备号、测点与时间窗回查对应批次的时序样本 | 定位到的序列与条目一致 | 出处回查测试 | 回查失败的条目不入库 |
### 5.4 实例三:焊道影像与焊接参数流
#### 5.4.1 对象与来源
一条焊缝的完整形成过程记录,包含三样同期产生的东西:焊接实时参数流(来自数据采集与监控系统的焊接侧)、熔池影像与焊后焊道表面图像(来自加装的工业相机与热成像设备)、以及该焊道所属的工单与报工记录(来自制造执行系统)。参数流另带一组由焊机程序下发的给定值。
这一例检验的是本节最复杂的一条链路:三种模态同期产生、按同一组对象标识挂接、再与检验结论配成带标签的多模态样本。它也是硬件章节所列感知设备的数据落点——设备取回的带时间戳原始帧与每像素原始温度,在这里变成可标注的样本。
#### 5.4.2 采集环节
| 对象 | 受理口径 | 本例的处置 |
|---|---|---|
| 焊接实时参数流 | 按焊接作业起止 + 前后各一段余量取段;原始密度一份 + 统一步长一份(1.4.2) | 一条焊缝一段,段内不按固定时长切片 |
| 给定值 | 三条来源按优先级取用:焊机程序参数表、工单所挂工艺卡、工艺规程默认值(1.4.3) | 取程序参数表,来源等级记为一档;程序号在参数表中查不到的,该段挂起 |
| 实时—给定配对 | 给定值展开为阶梯序列后与实时值逐点配对;按起弧、稳态、收弧三段打标 | 产出逐点绝对偏差、相对偏差、偏离持续时长 |
| 熔池影像 | 原始帧序列按相机软件开发工具包导出并带逐帧时间戳;归档副本登记帧率与编码参数(1.7.5) | 以起弧至收弧并前后留余量为一个粗段 |
| 焊后焊道表面图像 | 栅格图像格式;热成像另取每像素原始温度矩阵与可视化图分列保存(1.7.3) | 按焊道与采集时点受理 |
| 对象锚定 | 参数流 → 工件与焊道:设备号 + 时间区间 + 工单与报工;影像 → 焊道:采集时点 + 相机位号 + 焊道标识(1.4.4) | 时间区间落在同一工单同一工序报工区间内,设备号与派工设备一致,锚定成立 |
| 设备校准 | 相机按约定周期校时;热成像按检定周期做温度标定 | 校时记录与标定记录随批次保存,有效期登记在测点配置中 |
#### 5.4.3 预处理环节
三条通道并行,在三方对齐处汇合。
| 通道 | 序 | 算子 | 本例的处理 |
|---|---|---|---|
| 时序 | 1 | 时间基准统一 | 监控系统时钟偏差按源登记补偿 |
| 时序 | 2 | 多测点相位对齐 | 以实时电流测点为主测点,其余按最近邻对齐 |
| 时序 | 3 | 重采样 | 电气量取均值与均方根;焊接侧另保留原始密度版本 |
| 时序 | 4 | 异常值判定 | 三道判据;量程取自测点配置 |
| 时序 | 5 | 事件锚定切窗 | 焊接作业事件:前置窗覆盖引弧前准备,事件窗为起弧至收弧,后置窗覆盖收弧后冷却与层间等待 |
| 视频 | 6 | 解码与时基核对 | 帧时标与起弧事件时刻比对,偏差超限的按事件时刻整段平移并记录平移量 |
| 视频 | 7 | 视频分段 | 按起弧、程序切换、收弧三类事件切出四个阶段片段 |
| 视频 | 8 | 关键帧抽取 | 瞬态段取事件对齐帧;稳态段取等间隔基线帧与变化触发帧;偏差超约定范围处取参数触发帧 |
| 视频 | 9 | 帧级规范化 | 保留原始亮度信息,不做自动增强;画面中的人员与铭牌按脱敏规则处理 |
| 图像 | 10 | 图像规范化 | 格式统一、分辨率校验、按固定取景框切有效区域 |
| 图像 | 11 | 图文关联 | 图像与检验记录按工件号 + 焊道号 + 采集时点挂接 |
| 汇合 | 12 | 三方对齐 | 片段与时序片段按对象标识与时间区间相交取对;帧与采样点按帧时标最近邻取值;片段与工单、检验结论按对象标识挂接 |
三方对齐的产出是本例交给下游的主要形态:一个阶段片段、它同期的实时—预设偏差序列、它对应的工单与检验结论,三者带同一组对象标识与时间区间。
#### 5.4.4 知识本体环节
| 抽出要素 | 落入类目 | 触发的约束 |
|---|---|---|
| 预设电流、预设电压、焊接速度、摆动振幅与频率、送丝速度、保护气体流量 | 工艺与工序(焊接工艺参数项) | 条件值域约束(按焊接位置、板厚与焊丝牌号分条);设定值可比性约束 |
| 焊缝、焊道、坡口 | 工艺与工序、物料与物料清单 | 层次包含约束 |
| 气孔、咬边、未焊透、未熔合、焊瘤、偏焊等缺陷类型 | 质量特性与检验项(缺陷值域) | 缺陷类型互斥约束;检验方法与质量特性的对应约束 |
| 相机、热成像设备、测点 | 设备与部件、能耗与工况 | 层次包含约束;量程与正常区间 |
| 参数偏离与缺陷的关联 | 检验对应关系 | 定义域与值域约束 |
采集环节只做偏差的计算与留存,不下超差结论;超差的判定口径取本体焊接工艺参数项的值域,由标注与质检环节执行。这一分工在本例中体现为:预处理产出的是偏差序列与三段标记,本体提供的是该焊接位置、该板厚、该焊丝牌号下的容许范围,两者相遇才产生「超差」这个结论。
#### 5.4.5 知识库环节
| 产出 | 索引单元 | 定位字段 | 用途 |
|---|---|---|---|
| 视频片段条目 | 一个阶段片段一条 | 片段编号、起止帧序号、帧时标 | 焊接过程监控场景的证据检索 |
| 代表帧条目 | 一帧一条,带片段归属 | 图像标识、区域框坐标 | 多模态标注与评测题 |
| 时序片段条目 | 一个事件窗一条 | 设备号、测点、时间窗 | 参数判读与归因 |
| 故障链图谱的边 | 现象—原因边:参数偏离指向缺陷 | 证据指向偏差序列与检验结论,证据强度按来源分级 | 焊接缺陷的参数归因 |
| 检索增强三元组 | 一条三元组 | 证据跨源:影像、参数、检验结论 | 多模态评测题;证据跨度记为多条跨源 |
本例构造的三元组形态:查询为「这一段焊接的实时电流相对给定值偏离了多久,对应焊道的外观检验结论是什么」,证据为偏差序列条目、片段代表帧与检验记录条目三条,分属三个来源,证据跨度记为多条跨源。回答中的每一处事实对应至少一条证据,超出证据范围的表述按校验剔除。
#### 5.4.6 检验用例
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 实时与给定的配对 | 一段带程序号的实时参数流 | 展开给定值阶梯序列并逐点配对 | 稳态段逐点带给定值;三段标记齐备;偏差统计只取稳态段 | 自动校验 + 抽样核对 | 程序号缺失的段标记为无给定值,入预训练语料;参数表无该版本的挂起待补 |
| 二 | 程序切换的拆分 | 受理时窗内出现两次程序切换的段 | 按切换点拆分并分别配对 | 拆成三段,各段的给定值对应各自的程序号 | 核对段数与程序号的对应 | 未拆分的整段回退重配 |
| 三 | 疑似人工干预的识别 | 稳态段实时值中心长时间系统性偏离给定值的段 | 按判据标记 | 以最后一次有效下发值为给定值,加「疑似人工干预」标记 | 自动判定 + 人工复核 | 该工位的面板可改参属性未登记的,回 1.4.5 的调查补采该字段 |
| 四 | 视频时基核对 | 一段焊接录像与同期起弧事件 | 帧时标与事件时刻比对 | 偏差在允许范围内;超出的按事件时刻平移并记录平移量 | 自动校验 | 平移后仍超限的整段标注时基不确定,不进需要精确对齐的样本 |
| 五 | 分段边界取自事件 | 同上 | 执行视频分段 | 片段边界与起弧、程序切换、收弧时刻对应;不跨丢帧位置与取景变更 | 核对边界依据字段 | 无同期事件的粗段不做二次分段,阶段标记留空 |
| 六 | 分段内容校验 | 四个阶段片段 | 画面一致性校验 | 稳态片段内持续存在高亮区域 | 自动校验 + 人工判读 | 不通过的单列待判读,不丢弃也不直接下游 |
| 七 | 热成像双份保存 | 焊后焊道表面热像 | 核对保存结构 | 可视化图与每像素原始温度矩阵分列保存并互相指向 | 核对对照关系表 | 仅有可视化图的回受理侧补取原始温度矩阵 |
| 八 | 帧与采样点对齐 | 代表帧与同期时序 | 按帧时标最近邻取测值 | 偏差在容差内的帧带同期参数;超容差的标记未对齐 | 自动校验 | 未对齐帧不进入需要参数标注的样本 |
| 九 | 图像与检验记录配对 | 焊道表面图像与检验记录 | 按工件号 + 焊道号 + 采集时点配对 | 采集时点落在该焊道焊接时间窗内的配对成立 | 自动校验 + 抽样核对 | 时点落在窗外的单列为复检或返修图像,待工单补充后重判 |
| 十 | 缺陷类型互斥 | 该焊道的标注结果 | 本体约束校验 | 互斥的两类缺陷不同时出现在同一判定位置 | 本体一致性校验 | 命中互斥的拒绝写入并进待确认列表 |
| 十一 | 三元组跨源证据 | 该例构造的三元组 | 四项校验 | 三条证据分属三源且互不矛盾;出处均可回查 | 自动校验 + 人工复核 | 证据矛盾的交专家裁决,裁决前不入库 |
### 5.5 实例四:质量检测报告
#### 5.5.1 对象与来源
一份出厂检验报告,形态为纸质件扫描后的多页扫描件,内容包含抬头、检验项目表、淬火硬度测值表、外观检验结论、检验专用章与签署栏。该报告在质量管理系统中有对应的结构化检验记录,两者按检验单号关联。报告的年度较早,所用缺陷分类目录为旧版。
这一例检验的是三件事:纸质资料经扫描与识别后能否形成可核验的条目;结构化记录与文档记录的对账;以及历史分类目录与现行目录之间的映射如何处理而不丢信息。
#### 5.5.2 采集环节
| 作业步 | 内容 | 本例的处置 |
|---|---|---|
| 现场调查与清册 | 按 1.5.2 的清册字段逐册登记 | 该报告所属存放点已走访,类别为出厂检验,年度区间已登记,品相为装订成册且有装订孔压字 |
| 分批扫描 | 按清册分批,拆装订与扫描参数按品相定 | 装订孔压字区域按提高分辨率与灰度模式处理 |
| 判定来源登记 | 额外登记判定来源(岗位与所依据的检验规程版本)与判定时间(1.5) | 两项齐备,供后续识别判定尺度漂移 |
| 缺陷分类映射 | 按原始分类如实入库,同时建立旧版到现行目录的映射表 | 该报告的缺陷类别为旧版,映射关系为一对多,在映射表中标明并说明处理方式;映射表由质量部门确认后生效 |
| 结构化对应 | 与质量管理系统的检验记录按检验单号关联 | 关联成立;不合格判定与处置记录的匹配情况按判定单号核查 |
| 入口脱敏 | 签署栏的人员姓名按直接标识规则处理 | 整字段替换为类型占位 |
| 许可核验 | 内部文件按密级执行;含第三方检测机构内容的另核许可 | 本例为内部出厂检验,按内部文档资料核验 |
#### 5.5.3 预处理环节
| 序 | 算子 | 本例的处理 | 失败去向 |
|---|---|---|---|
| 1 | 版式判定 | 无文本层,判为扫描件 | 文本层为乱码的同样判扫描件 |
| 2 | 页面预处理 | 去噪、纠偏、剔除空白页与分隔页 | 去噪后字符损失率超门限的回退并降低阈值 |
| 3 | 版面分析 | 切出抬头、检验项目表、硬度测值表、结论正文、印章区、页眉页脚区 | 区域框重叠或遗漏的回退重做 |
| 4 | 阅读顺序判定 | 单栏,按区域位置排序 | 判定不唯一的按单栏强制处理并标注 |
| 5 | 文字识别 | 分区识别;装订孔压字区域的置信度单独统计 | 区域置信低于门限的该区域进人工复核 |
| 6 | 有线表重建 | 检验项目表与硬度测值表按线框切分 | 线框残缺的转无线表路径;列数判定不唯一的进人工复核 |
| 7 | 跨页表合并 | 硬度测值表跨两页,按表头重复与续表标记合并 | 表头不重复且无续表标记的不合并,分别成表 |
| 8 | 印章区处理 | 印章文本单列,不混入正文 | 印章与正文重叠面积超门限的,被遮挡片段标记为不完整 |
| 9 | 章节结构还原与页码登记 | 记录每一节起止页与全文偏移 | 页码缺失的不进入条款级索引 |
| 10 | 正文切分 | 结论正文按段落边界切分,保留层级路径与偏移 | 切片越过章节边界的整文件回退 |
| 11 | 文本化(结构化侧) | 质量管理系统的检验记录按检验结论叙述模板转文本 | 必填字段槽为空的跳过并标记 |
| 12 | 源记录回查 | 文本化产出的数值与术语逐项回查 | 回查不一致的废弃该条 |
#### 5.5.4 知识本体环节
| 抽出要素 | 落入类目 | 触发的约束 |
|---|---|---|
| 检验项、判定限值、检验方法 | 质量特性与检验项 | 检验方法与质量特性的对应约束;值域约束(检验方法取标准值域) |
| 淬火硬度、测点位置 | 质量特性与检验项 | 值域约束(测点位置取本体值域) |
| 外观缺陷类型(旧版分类) | 质量特性与检验项(缺陷值域) | 值域约束:旧版取值不在现行值域内,按映射表归一;映射为一对多的不自动归一,进待确认列表 |
| 受检工件、所属产品 | 物料与物料清单、设备与部件 | 编码映射约束 |
| 判定来源与规程版本 | 质量特性与检验项的属性 | 必填约束(判定来源与判定时间) |
旧版缺陷分类的处置在本例中是关键:映射为一对一的按映射表自动归一并登记原值;映射为一对多或多对一的不自动归一,保留原值并进待确认列表,由质量部门确认后按确认结果归一。分类口径属业务定义,确认权在业务部门,项目组不单方面决定。
#### 5.5.5 知识库环节
| 产出 | 索引单元 | 定位字段 | 用途 |
|---|---|---|---|
| 检验结论条款 | 一条结论为一个单元 | 源文件编号、页码、偏移 | 质量问答的证据 |
| 检验项知识条目 | 一实体一属性一条 | 出处登记字段 | 判定限值查询;与技术标准条目互为证据 |
| 硬度测值表条目 | 一张表一条,单元格可定位 | 页码、表序号、行列索引 | 硬度分布的检索与比对 |
| 工艺质量链图谱的边 | 参数项与质量特性的检验对应边 | 证据指向本报告条目 | 质量归因 |
| 检索增强三元组 | 一条三元组 | 证据指向结论条款与检验项条目 | 条款定位类与事实问答类评测题 |
#### 5.5.6 检验用例
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 扫描件可解析 | 该报告扫描件 | 图像可读性校验 | 可解码且分辨率达约定下限 | 自动校验 | 不通过的回源侧重扫或提高分辨率;不可改善的标记为仅存档 |
| 二 | 区域切分完整 | 同上 | 版面分析 | 六类区域互不重叠且覆盖有效内容区 | 页级自检 | 重叠或遗漏的该页回退重做 |
| 三 | 压字区域识别 | 装订孔压字区域 | 区域级置信统计 | 该区域置信度单独统计,不与整页平均值混算 | 自动统计 | 低于门限的该区域进人工复核队列,同页其余区域照常产出 |
| 四 | 跨页表合并正确 | 跨两页的硬度测值表 | 按表头重复与续表标记判定 | 合并成一张表并保留合并前各页范围 | 自动校验 + 抽样核对 | 表头不重复且无续表标记的不合并,分别成表 |
| 五 | 印章不入正文 | 印章区 | 分区处理 | 印章文本单列为印章字段,正文中不含印章文字 | 自动校验 | 混入的该页回退重做分区 |
| 六 | 与结构化记录对账 | 报告与质量管理系统检验记录 | 按检验单号关联并逐项比对检验项与测值 | 两侧检验项一致;测值差异在允许范围内 | 自动比对 + 差异逐条登记 | 差异逐条登记并由业务部门确认以哪一侧为准,确认结果写入数据源登记表 |
| 七 | 不合格处置闭环 | 该报告的不合格判定 | 按判定单号核查返工、让步接收或报废的处置记录 | 判定与处置成对 | 匹配率按批次统计 | 未匹配的单独统计;匹配率不足时在数据卡中说明,相关场景验证的判据随之调整 |
| 八 | 旧版缺陷分类映射 | 旧版缺陷类别取值 | 查映射表 | 一对一的自动归一并登记原值;一对多的不自动归一并进待确认列表 | 本体值域校验 + 映射表核对 | 映射表未经质量部门确认的,相关条目暂不入标注标签 |
| 九 | 判定来源完备 | 该报告的判定记录 | 必填约束校验 | 判定来源与判定时间两项齐备 | 本体必填约束 | 缺失的退回补录;长期缺失的在数据卡中标注该时段样本的分层处理方式 |
| 十 | 条款定位回查 | 检验结论条款条目 | 按出处字段回原文定位 | 定位内容与条目文本一致 | 出处回查测试 | 回查失败的条目不入库;同一文件连续失败的整文件回退重解析 |
| 十一 | 敏感字段过滤 | 含签署栏与客户标识的条目 | 按敏感等级与可见范围检索 | 超出可见范围的字段按脱敏结果返回并标注已处理 | 权限过滤测试 | 未过滤的暂停该索引对外服务,修正规则并重跑测试后恢复 |
### 5.6 四个实例的检验用例汇总与判定
四个实例共给出三十九条检验用例。它们不是并列的检查项,而是按三类作用分布:一类验证加工做对了(解析覆盖、对齐正确、合并正确),一类验证加工没有把信息改坏(标记保留、原值保留、不自动归一),一类验证产出可被核验(出处回查、反向校验、证据支持)。第三类是前两类的兜底——前两类靠的是执行时的判定,第三类靠的是事后能不能查回去。
| 作用类别 | 对应用例 | 共同判定口径 | 不通过的共同处置 |
|---|---|---|---|
| 加工做对了 | 原生图元解析覆盖、标题栏抽取、跨测点对齐、重采样方法选择、窗边界对齐、分段边界取自事件、跨页表合并、区域切分完整 | 以首批标定结果为基线,按批次上调,上调幅度在月度例会上确认后写入下一批次计划 | 按算子单项回退重跑;同一算子连续两批次未通过,暂停该算子版本并排查 |
| 没有把信息改坏 | 异常标记保留、缺失处置分档、热成像双份保存、印章不入正文、旧版分类不自动归一、设定值可比性、缺陷类型互斥 | 标记与原值须齐备,缺一即判不通过,不设容许比例 | 标记缺失的样本不进入供样区;原值被覆盖的整批回退 |
| 产出可被核验 | 条款定位回查、片段回查、反向校验、三元组证据支持、与结构化记录对账、敏感字段过滤 | 出处字段完整且实际定位成功;证据支持逐条成立 | 回查失败的条目不入库;同一文件类型连续两批次失败率高于基线,暂停该类型入库并回查解析算子 |
四类实例的用例执行结果进入所属环节的质量控制点记录,作为该批次能否进入下一环节的依据之一。用例本身随批次计划版本化:对象类型扩展时按同一结构补充用例,不在执行时临时增删。
## 6、四环节的工具支撑、交付与实施安排
四个环节的工具调用点、批次节奏、实施前提与平台承载汇总于此,与专项智能工具链章节、项目实施计划共用同一套口径。
四个环节会用到三组数值,它们的定义权都不在本节,本节只按定义执行并回填实际值。数据集的规模分解、模态构成占比与时效性占比由四大数据集规模与数据卡章节定义,本节按批次回填各数据集的来源、算子、版本与模态构成;质检的抽样比例与判定标准由数据集质检与验证章节定义,本节的质量控制点按其口径设门限;评测的指标体系、权重与综合分口径由数据集质量评测方案定义,本节交付其所需的三元组与证据出处记录。
同一组数值只在定义它的那一章给出,本节各处的门限与比例一律以首批标定值为基线按批次上调,基线数值与上调幅度随批次计划登记,不在本节另行给定固定值。
### 6.1 工具链在四环节的调用点
招标文件要求交付不少于 9 类 25 个专项智能工具链(`b0915`、`b0917`)。工具本身的设计、接口与样例见专项智能工具链章节,本节只说明在四个环节的哪一步调用哪一类工具、调用的输入与产出是什么。
| 环节与步骤 | 调用工具类别 | 输入 | 产出 | 本节对应小节 |
|---|---|---|---|---|
| 采集·文件受理 | 长上下文数据构建类(文档结构解析) | 落地区文档文件 | 可解析性判定、版式初判 | 1.1、1.11 |
| 采集·自由文本脱敏 | 智能标注类(大模型预标注) | 工单备注、维修记录文本 | 文本中的标识实体位置 | 1.10 |
| 预处理·文档解析 | 长上下文数据构建类(文档结构解析、文档切分与拼接) | 文档文件 | 章节层级、来源页码、切片 | 2.2 |
| 预处理·图纸解析 | 多模态数据对齐类(设备图纸与工艺图结构化抽取) | CAD 与 PDF 图纸 | 图元、标注、标题栏与明细表字段 | 2.3.2、2.3.3 |
| 预处理·图文关联 | 多模态数据对齐类(视频—文本对齐、图纸抽取) | 图像样本、检验记录 | 图文对照记录 | 2.3.4 |
| 预处理·时序对齐 | 多模态数据对齐类(传感器时序—运维事件对齐) | 多测点时序、事件记录 | 对齐序列、时序片段—事件样本对 | 2.4.1、2.4.5 |
| 预处理·视频分段与对齐 | 多模态数据对齐类(视频—文本对齐、传感器时序—运维事件对齐) | 视频粗段、同期事件序列、工单与检验记录 | 阶段片段、代表帧、三方对照记录 | 2.5.2、2.5.5 |
| 预处理·文本化 | 数据生成与增强类(文本重写与多样化)、数据生成控制与评测类(模板化数据生成) | 业务表单、工单、检验记录、曲线特征 | 自然语言文本样本 | 2.6 |
| 预处理·去重 | 数据质量与分布控制类(数据去重与相似度过滤) | 文本切片 | 去重结果与重复登记 | 2.2.5 |
| 本体·术语收口 | 智能标注类(本体驱动规则标注、一致性校验标注) | 术语候选、标注结果 | 术语表更新、歧义项清单 | 3.8.1、3.8.4 |
| 本体·约束与冲突校验 | 智能标注类(本体驱动规则标注) | 本体实例、关系实例、跨域冲突台账 | 约束校验结论、冲突裁决依据 | 3.2.3、3.9 |
| 知识库·条目抽取 | 智能标注类(大模型预标注、主动学习标注) | 八类资料的结构化长文本 | 候选知识条目 | 4.2.2 |
| 知识库·条款切分 | 长上下文数据构建类(文档切分与拼接) | 制度与标准文本 | 条款级索引记录 | 4.3.2 |
| 知识库·图谱构建 | 智能标注类(本体驱动规则标注)、多模态对齐类 | 知识条目、结构化数据、锚定登记 | 图谱节点与边 | 4.4.3 |
| 知识库·检索增强样本 | 长上下文数据构建类(RAG 数据构建) | 查询、索引、知识条目 | 查询—证据—回答三元组 | 4.7 |
| 知识库·三元组校验 | 数据质量与分布控制类、数据集验证与归因类 | 三元组 | 校验结论、废弃清单 | 4.7.3 |
| 知识库·索引配置与过滤 | 长上下文数据构建类(RAG 数据构建) | 索引单元、权限与状态字段 | 检索配置版本、过滤测试结论 | 4.6.4、4.6.5 |
| 全环节·血缘 | 数据集验证与归因类(数据集—模型版本血缘追溯) | 批次、算子、条目、样本标识 | 血缘链记录 | 总述「批次与血缘标识体系」、2.8 |
对调用的一个约定:工具按算子注册,调用参数与版本随批次登记(见 2.8),不允许在工具界面上临时改参数而不留痕。这样做的目的是让质检与验证环节有复算依据。
### 6.2 四环节产出与四类数据集的对应
| 本节产出 | 预训练子集 | 指令微调子集 | 偏好数据 | 基准评测子集 |
|---|---|---|---|---|
| 结构化长文本 | 主要来源 | 作为背景材料 | — | 作为题干材料 |
| 图像样本与图文对照 | 多模态部分 | 多模态指令样本 | — | 多模态评测题 |
| 时序片段—事件样本对 | 时序部分 | 时序分析类指令样本 | — | 时序判读评测题 |
| 视频片段与代表帧 | 多模态部分 | 多模态指令样本 | 过程判读的偏好对比 | 多模态评测题 |
| 文本化样本 | 结构化数据的语言化部分 | 主要来源之一 | — | — |
| 知识本体 | 术语归一依据 | 标签与口径依据 | 偏好判别的口径依据 | 判分口径依据 |
| 知识条目与图谱 | — | 事实性指令样本来源 | 偏好对比的事实依据 | 事实类评测题来源 |
| 检索增强三元组 | — | 主要来源之一(`b1458`) | — | 主要来源之一(`b1458`) |
| 九域四类知识库 | — | 决策问答类指令样本 | — | 口径解释类评测题 |
四类数据集的规模分解、模态占比与时效性占比口径见四大数据集规模与数据卡章节,本节不重复给数。
### 6.3 批次计划与推进节奏
四环节按业务域分批推进。首批以参与场景验证的业务域与试点范围为准,后续批次按批次计划扩展,直至覆盖四类数据集的来源要求。批次节奏安排如下,具体日期随项目实施计划提交。
| 批次 | 覆盖范围 | 四环节的推进重点 | 出口判定 |
|---|---|---|---|
| 首批(标定批) | 每个业务域各取一个代表性来源,试点产线与试点炉型 | 校准门限、标定算子参数、建立首版本体 | 四道质量检查节点的门限基线确定,首版本体发布 |
| 第二批(铺开批) | 四个业务域的主要源系统全覆盖 | 采集与预处理规模化,知识条目抽取铺开 | 各域批次台账完整,条目终审覆盖首批资料 |
| 第三批(补齐批) | 外部语料、纸质资料数字化、新增测点与图像 | 补齐模态与时效性缺口,图谱覆盖扩展 | 模态构成与时效性满足数据卡要求 |
| 第四批(收口批) | 全范围复核 | 口径收口、版本固化、数据字典定稿 | 数据字典与终审意见齐备,可交付验收 |
批次之间的关系不是简单的时间先后:首批的作用是标定,第二批之后各批次并行推进,不同业务域的批次可以不同步。门限基线一经确定即对后续批次生效,调整须在月度例会上确认后写入下一批次计划。
### 6.4 前提条件与风险应对
本节列出影响四环节落地的具体前提,以及前提不成立时的应对方式。这些都是可核实的事项,不是泛泛的风险提示。
| 前提条件 | 不成立时的影响 | 应对方式 |
|---|---|---|
| 源系统按已授权范围开放只读接口 | 对应业务域无法形成批次 | 按已开放范围先行受理并出缺口清单;未开放部分以文件导出方式过渡,过渡期的频次与时效在批次说明中注明 |
| 原生 CAD 图纸可按图号分批读取 | 工艺设计域降级为栅格路径,尺寸类样本不可用 | 按 2.3.1 的分级口径降级处理,降级部分仅用于检索与图像标注;同时推进按图号分批读取的开通 |
| 层间温度与熔池图像的传感器与相机到位 | 焊接过程的关键参数与图像缺项 | 先用既有测点构建样本并标注缺项;设备到位后按批次补采,补采数据并入同一批次体系 |
| 热处理炉次与工件、材料批次可关联 | 图谱 B 只能建到炉次级 | 保留炉次级链路,工件级标记未锚定;推动装炉清单与库存批次的字段补录 |
| 报警与维修事实可配对 | 图谱 A 的「现象—原因」边以中弱证据为主 | 按证据强度分级交付,强证据条目优先;维修事实回填后按版本升级边的证据级别 |
| 甲方提供九域指标口径与计算逻辑 | 指标与规则知识库无法入库 | 交付指标登记模板、口径访谈提纲与试算工具,按域分批确认;未确认指标不进入问答可用范围 |
| 纸质检测报告完成数字化 | 质量域历史样本量不足 | 先按产品与年度出清册,按清册分批扫描;未数字化部分在数据卡中注明 |
| 焊机程序号与程序参数表可取 | 焊接偏差样本缺给定值,仅能作预训练语料 | 按 1.4.5 的三档补采方案处置:可抄录的现场抄录,仅有工艺卡的降一档登记,两者皆无的该工位按无给定值处理并在数据卡中限定用途 |
| 工位相机与录像采集触发条件可用 | 视频片段与业务事件对不上,多模态样本缺一侧 | 先用既有图像与时序构建样本;按 1.7.5 的分段完整性判定逐批核查,连续两批低于下限的暂停该相机受理并回查采集触发条件 |
| 业务专家评审组按批次到位 | 终审滞后,条目积压在「待审」 | 按业务域错峰安排评审;全审条目优先排期,抽样审条目可合并批次 |
| 数据分级分类结论发布 | 入口脱敏规则无依据 | 先按最严口径处理,分级结论发布后按结论回调,回调动作留痕并重跑受影响批次的脱敏 |
### 6.5 四环节在平台上的承载与状态流转
四个环节的作业均在奔牛数据智能平台的数据集加工生产部分上执行与留痕,不依赖线下台账。按招标文件 `b0804r05`,数据集加工生产平台与数据集运营服务管理平台是两套分别安装适配的系统:本节四个环节的作业对象、状态与留痕落在前者;后者承载的是版本移交登记之后的目录、权限、服务与审计,其功能模块、界面与流程见数据集运营平台章节。本包交付责任至向运营服务管理平台移交登记完成为止。本节只说明各环节在加工生产平台上的作业对象、状态与留痕位置。
| 环节 | 平台上的作业对象 | 状态流转 | 留痕内容 |
|---|---|---|---|
| 数据采集 | 数据源登记、受理单、批次 | 受理中 → 挂起 → 已成形 → 已进入预处理 → 已关闭/废弃 | 受理单、许可核验结论、脱敏执行记录、校验报告、入口检查节点判定 |
| 数据预处理 | 批次、算子任务、人工复核队列 | 待处理 → 处理中 → 待复核 → 已通过/已回退 | 算子登记、失败原因、复核结论、预处理检查节点判定 |
| 知识本体 | 本体版本、变更申请 | 草案 → 评审中 → 已发布/退回 | 变更申请、影响评估、评审意见、口径检查节点判定 |
| 知识库 | 知识条目、图谱节点与边、索引任务 | 待审 → 通过/修订后通过/退回重抽/不采纳 | 抽取记录、出处登记、终审意见、终审检查节点判定 |
四类作业对象之间以总述所列的标识体系关联,从任一条样本可向上回溯到批次与数据源,向下追踪到其被哪些知识条目与三元组引用。这条双向可追溯是质检、验证与评测错题归因的基础。
## 7、待补材料清单
下列事项需由招标方确认或由现场调查取得结论后回填。每一项给出责任方、核实方法、完成时点与未取得时的处置;其中焊机程序与程序参数表、纸质检测报告存量两项的详细调查安排见 1.4.5 与 1.5.2。
| 序号 | 待确认事项 | 责任方 | 核实方法 | 完成时点 | 未取得时的处置 |
|---|---|---|---|---|---|
| 1 | 16 个以上源系统的接口文档、数据字典与授权范围说明 | 甲方信息化部门 | 按数据源登记表字段逐系统核对接口与授权范围,试取一次数验证可得性 | 进场后第 4 周内完成已开放系统,其余随开通推进 | 按已开放范围受理并出缺口清单(1.2—1.7) |
| 2 | 备料分厂正式工序字典(现掌握口径为 28 道) | 甲方工艺部门 | 按工序分组、名称、设备资源、前后依赖、工时定额五项逐条核对后书面确认 | 与首版本体发布对齐 | 按工序分组登记骨架实例,组内名称标记待确认,不进标注标签(3.5.7) |
| 3 | 主数据编码规则与物料清单编码规则 | 甲方信息化与设计部门 | 取现行编码规则文件,按本体七类目做映射双向查询测试 | 进场后第 6 周内 | 先建本体自建标识,规则到位后补映射,实体标识不变(3.2.2、3.6) |
| 4 | 九个业务域的指标清单、统计口径与计算逻辑 | 甲方相关业务部门 | 按现有报表反向整理候选清单,逐项访谈并试算验证可取数 | 首批域第 10 周内,其余域铺开批内 | 交付模板与访谈提纲,未确认指标不入可用范围(4.5.6) |
| 5 | 纸质检测报告存量清册与分批数字化计划 | 甲方质量管理部门、档案管理部门 | 存放点走访 + 实物逐册清点或抽样推算 + 与结构化记录对账 | 走访第 3 周内,首版清册第 6 周内,试扫第 8 周内 | 按 1.5.2 的四档补采方案处置,缺口在数据卡中如实说明 |
| 6 | 首批产品型号、试点产线与试点炉型清单 | 甲方生产与设备部门 | 候选清单与工单分布、设备台账逐项对照后书面确认 | 候选第 3 周内,确认第 5 周内 | 按在役监测已覆盖范围先行构建,范围逐批列明(4.4.3) |
| 7 | 数据分级分类结论与脱敏字段清单 | 甲方信息化与安全管理部门 | 取安全方案的分级结论,按字段清单逐项核对覆盖情况 | 与首批次受理对齐 | 按最严口径先行处理,结论发布后回调并重跑受影响批次脱敏(1.10) |
| 8 | 焊接与热处理的测点清单与测点配置 | 甲方设备部门 | 按测点编号、量程、单位、校准记录与有效期逐点核对 | 试点产线第 4 周内,其余按批次 | 按既有配置先行受理,新增测点按批次补入(1.4.2、3.3.7) |
| 9 | 焊机程序号与程序参数表 | 甲方设备与工艺部门 | 台账与文件核对 + 控制器现场读取 + 实时数据反证三道 | 台账第 2 周、读取第 4 周、反证第 6 周 | 按 1.4.5 的五档补采方案处置,两者皆无的按无给定值处理 |
| 10 | 工位相机、热成像设备的校时与标定记录 | 甲方设备部门 | 取校时与检定记录,核对有效期;与同期时序事件时刻比对反证 | 与首批视频受理对齐 | 校时记录缺失的段标注时基不确定,转事件锚点二次校正(1.7.3、1.7.5) |
| 11 | 外部语料的采购或授权渠道确认 | 项目组与甲方共同确认 | 按许可条款逐项核对可否全文入库、可否用于训练 | 补齐批内 | 仅登记元数据,不入全文(1.6、1.9) |
| 12 | 业务专家评审组的人员范围与评审节奏 | 甲方各业务部门 | 按业务域确认评审成员与可用时段,排出评审日历 | 进场后第 5 周内 | 按业务域错峰安排,全审条目优先(见总述的岗位设置与 4.8.1) |
| 13 | 企业机械制图标准与工艺编制准则的现行版本 | 甲方工艺与标准化部门 | 取现行版本,按图层约定与参数区间逐项核对解析规则 | 进场后第 6 周内 | 按通用制图惯例先行解析,置信标记降一级(2.3.1、3.5.3、3.5.4) |
| 14 | 组织机构与人员主数据的脱敏后可用字段范围 | 甲方信息化与人力部门 | 按字段逐项确认脱敏后可留存范围 | 与首批次受理对齐 | 仅保留组织层级,人员字段不入库(4.5.1) |
| 15 | 在册安标证书、防爆证书、检验检测报告与产品合格证清册 | 甲方质量管理与市场部门 | 按产品型号逐一清点原件并与已有扫描件比对编号 | 首批型号第 4 周内,其余补齐批内 | 按三档处置:现场扫描、按扫描件登记并标注、或列为缺口(4.3.5) |
| 16 | 旧版缺陷分类目录到现行目录的映射表 | 甲方质量管理部门 | 逐条确认映射关系,标明一对多与多对一的处理方式 | 与质量域首批受理对齐 | 一对一的自动归一,一对多的保留原值并进待确认列表(5.5.4) |
| 17 | 各业务域口径确认人的指定 | 甲方相关业务部门 | 按域确认归口岗位并书面指定 | 需求确认阶段内 | 未指定域的指标与规则知识库暂不入库,相关用例标注数据基础不完整(4.5.1) |
本清单按批次更新:已取得结论的条目注明结论与生效版本,未取得的在前提条件与风险应对(6.4)中按未落实项跟踪。