这是奔牛项目的撰写首页。新提的意见和交稿只留在本机。 今日总结 · 定稿条件 · 返回项目列表
投标文件预览 1 节 · 已撰写 1 · 生成 2026-10-16 15:48 ← 任务卡片招标文件原文成稿目录 ✎ 阅读批注(1819) 选中任意一段文字即可提修改意见;点橙色单元号回招标文件原文 ⬇ 终稿 PDF ⬇ 终稿 DOCX 致移动三章 预览 ⬇ 致移动三章 Word

GHY-26691 · 数据加工生产服务(第01包)
投 标 文 件(预览稿)

递交截止 2026-10-20 09:30 · 生成于 2026-10-16 15:48
预览稿,非最终投标文件;各节内容以各任务 MAIN.md 为准。

目 录

  1. 第四卷 附录佐证
  2. A5 附录:数据架构类文档样章(3 份:模型分层架构/数据分布及流图/集成共享管理规范) 批注 1 ······1752

第四卷 附录佐证

4.5 附录:数据架构类文档样章(3 份:模型分层架构/数据分布及流图/集成共享管理规范)

A5 ↗

负责人 何建力 · 状态 初稿 · 覆盖 3 个标书单元 ·  批注 1

附录 数据架构类文档样章(三份)

一、本附录的定位与使用方式

招标文件要求至少交付不少于 25 份数据治理规划文档,并逐份列明名称与形态(b1332、b1333r01—b1333r38), 同时说明具体的交付文档数量和名称可在实施阶段滚动优化(b1334)。清单共 37 份, 按能力域归类后分散在本投标文件附录各节。本节只处理数据架构域中的三份, 其余各域的样章见对应附录节次;同属数据架构域的第 12 项《元数据管理办法》(b1333r13) 因与元数据、资产两域的文档成组,归入数据资产与元数据类样章一并出具,本附录不重复给出。

三份文档按确定引用顺序编制:分布台账与数据流图先说明数据在哪里、经什么路径流动;分层架构据此确定每一层承接什么、由谁加工;集成共享管理规范再把前两份中的通道、作业与权属关系条文化,成为可被考核的制度。项目期编制顺序为:分布与流图 → 分层架构 → 管理规范;发布后互为依据,任一份修订须按本附录各样章规定的机制通知另两份的使用方。

图 A5-1 三份文档的编制顺序、相互引用与使用方

《数据分布及数据流图》 分布台账 · 三视角流图 交互矩阵 · 断点清单 b1259、b1260、b1333r11 《数据模型分层架构》 五层职责 · 命名规范 维表与事实表设计 b1257、b1258、b1333r10 《数据集成共享管理规范》 通道选用 · 作业管理 共享审批 · 变更评估 b1261、b1262、b1333r12 可取数的源与字段 各层落点与责任岗位 作业编号与变更结论回写 新增通道与断点打通结果 共同使用方:数据汇聚与加工作业开发岗 · 数据建模岗 · 数据质量岗 · 数据安全与权限岗 · 甲方系统管理岗位 · 场景验证取数方 三份文档的编号、版本与修订记录统一登记在治理文档台账中,使用方按编号引用,不引用文件名 第 12 项《元数据管理办法》(b1333r13)同属数据架构域,与元数据、资产两域文档成组出具,见数据资产与元数据类样章 实线为编制顺序与主引用方向,虚线为发布后的反向回写关系;三份文档均以甲方数据管理办公室评审通过为生效条件 本图说明文档间关系,不代表系统架构

图 A5-1 三份文档的编制顺序、相互引用与使用方。数据来源:招标文件 3.2.6.1.1.2.3 (b1256—b1262、b1265)与 3.2.6.1.1.2.10 交付物清单第 9—12 项(b1333r10—b1333r13)。

1.1 样章的体例

每份样章按同一体例出具,六项齐备:文件标识与版本号;适用范围与生效条件; 章节结构写到三级;关键条款或关键字段的实际内容——管理规范给出条文, 标准与台账类给出字段定义表、取值域与校验规则,并附若干条真实形态的样例行; 与矿山装备制造业务的结合点;评审与修订机制。样章中不使用「此处略」「详见附件」一类留白, 凡确需甲方确认后才能定值之处,以【待填:…】标出并在本附录末尾的待补材料清单中逐条列明。

样章与正式文档的差异如下:(1)样例行说明填写粒度与字段口径,数值取自方案阶段调研与既定事实口径,正式版以现状评估与接口开通后的实测为准;(2)样章章节即为正式文档目录,正式文档各节另含设计说明与取证记录,篇幅数倍于样章;(3)样章生效条件为「经甲方数据管理办公室评审通过后发布」,投标提交的样章不构成已发布制度。

1.2 文档编号与版本号规则

三份文档的编号沿用本投标文件附录《标准规范、样例数据卡与质检/验证报告模板》 第 2.3 节确定的五段式编号 GHY26691-<类别码>-<域码>-<序号>-<版本号>,不另立规则。 数据治理各域的文档取类别码 GV,域码即治理域号,数据架构域为 03, 这三份文档因此同属 GV-03 号段——编号本身即标明文档属于哪个治理域。序号在本域内按本节清单的出场顺序连续分配,从 0001 起,不编码招标文件交付清单的行号——清单一经增补或某一行下挂多份文件,由行号推导出的编号就不再成立;与清单的对应关系写在「对应条目」一列。

表 A5-1 本附录三份文档的标识

招标文件序号文档名称文档编号类别码含义形态对应招标文件单元
9《数据模型分层架构》V1.0GHY26691-GV-03-0001-V1.0DS 设计与说明书文档b1333r10、b1257、b1258
10《数据分布及数据流图》V1.0GHY26691-GV-03-0002-V1.0DS 设计与说明书文档b1333r11、b1259、b1260
11《数据集成共享管理规范》V1.0GHY26691-GV-03-0003-V1.0ST 标准规范与制度文档b1333r12、b1261、b1262

版本号规则同样沿用该附录的两段式:主版本号在章节结构调整、字段增删或条款实质变更时递增, 次版本号在取值域扩充、样例更新、文字勘误时递增。主版本号递增须重新履行评审; 次版本号递增由编制岗位提出、文档管理岗位核准后发布,并在修订记录中注明变更条目。 三份文档的 V1.0 均以蓝图设计阶段完成评审为发布时点,此后按各自第十章规定的周期滚动修订(b1334)。

1.3 本附录与技术方案正文的分工

技术方案数据治理章节已就数据架构规划给出规划口径:五层分层的职责与约束、主题域划分、 分布台账的登记字段、系统间交互关系、七类采集通道的适用场景与管理要求。 本附录不重复论述这些口径,而是把它们落成文档样章,补充三类正文不便展开的内容: 一是字段级设计——维表与事实表逐字段的类型、来源、取值域与校验规则; 二是条文级规范——集成与共享的条款、审批矩阵与表单; 三是可直接填写的台账与表单模板。读者如需了解某项设计的决策理由,见技术方案正文; 如需了解项目期将交付的文档长什么样、字段怎么定、条款怎么写,见本附录。

三份样章合计给出 64 张表、10 幅图与 62 条规范条文。表与图均可直接作为正式文档的对应章节使用。

二、样章一:《数据模型分层架构》V1.0

本节为招标文件交付物清单第 9 项的样章(b1333r10),回应数据架构规划第(1)项 对可复用数据仓库模型与五层分层架构的要求(b1257、b1258)。

2.1 文件标识与版本

表 A5-2 文件标识(正式文档首页)

项内容
文件名称数据模型分层架构
文件编号GHY26691-GV-03-0001-V1.0
版本号V1.0
文件类别数据治理规划成果 · 设计与说明书
密级内部 · 限项目组与甲方相关岗位
编制项目组数据建模岗
校核项目组数据治理负责岗
审核甲方数据管理办公室
批准甲方数据治理委员会分管领导【待填:审批岗位与签批人以甲方治理组织架构发布后为准】
生效日期经审批发布之日起生效【待填:发布日期】
修订周期每半年一次例行复核;遇触发条件即时修订(见 2.10 节)
保存期限项目期内长期有效,项目结束后随治理成果移交并按甲方档案管理要求归档(b2236)
页数与附件正文【待填:页码】页,附模型设计说明书 1 份、首批模型清单 1 份

表 A5-3 修订记录(正式文档首页背面,样例形态)

版本日期修订内容修订依据编制审核
V1.0【待填】首次发布蓝图设计阶段评审结论数据建模岗甲方数据管理办公室
V1.1【待填】补充焊道参数事实表的层间温度字段;修订可信度等级取值域焊接场景数据要求评审意见第 3 条数据建模岗甲方数据管理办公室
V2.0【待填】新增在役服务主题域的测点时序汇总模型;调整汇总层分区策略装备健康诊断场景首批验证结论数据建模岗甲方数据治理委员会

2.2 适用范围与生效条件

2.2.1 适用范围

本文件适用于本项目数据治理与加工生产平台内全部数据模型的设计、开发、变更与下线, 覆盖招标文件所列人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、 采购管理、营销管理、质量管理共 9 个业务域(b1336)在平台侧的模型落地, 以及四类数据集加工与 11 个验证场景取数所需的全部模型对象。

本文件不适用于三类情形:甲方各源业务系统内部的表结构设计,源系统的结构由其自身管理, 本文件只约定接入后在平台各层如何组织;数据集封装包的内部结构,该部分由数据集封装与 自描述规范约定;智能场景侧的应用数据结构,场景建设不属本包范围,平台按本文件应用层 约定的输出形态向场景提供数据与验证服务。

2.2.2 生效条件

本文件生效须同时满足三项条件:一是经甲方数据管理办公室组织评审通过并由甲方正式发布; 二是平台的建模工具与元数据登记功能已具备,使本文件约定的命名、分区与登记要求可被工具检查; 三是数据标准域的业务术语标准、数据元标准与参考数据标准已发布首版, 因为本文件中字段的取值域引用的是这些标准条目,标准未发布则取值域无依据。 第三项条件在时间上构成前后关系:数据标准首版发布早于本文件发布,二者在蓝图设计阶段同步推进。

本文件发布后,新建模型一律按本文件执行;评估阶段为验证取数可行性而建的临时模型, 在本文件发布后三十个工作日内完成整改或下线,整改清单由数据建模岗提出、治理负责岗核准。

2.2.3 与其他文件的关系

表 A5-4 本文件的上位依据与下位引用

关系文件关系说明
上位依据《数据治理顶层规划方案》本文件是其数据架构域的分项落实
上位依据GB/T 36073 数据管理能力成熟度评估模型数据架构能力域三级要求
同级引用《数据分布及数据流图》本文件各层的输入来源与取数通道取其结论
同级引用《数据集成共享管理规范》本文件的加工作业须按其规定申请、登记与变更
同级引用《元数据管理办法》本文件约定的表、字段、作业须按其要求登记
同级引用《数据元标准》《参考数据标准》《指标标准》本文件字段的取值域与指标口径引用其条目
下位文件《数据设计开发规范》按本文件的分层与命名约定展开开发作业要求
下位文件模型设计说明书(逐模型一份)按本文件 2.9.4 节模板出具

2.3 总体分层架构

2.3.1 分层设计的三条原则

本项目的分层设计遵循三条原则,它们决定了后续所有字段级设计的取舍。

第一条是一致性维度先行。本企业的数据特征是同一物理工件的过程事实分散、 且各系统的标识字段互不相同:施工号、产品号、图号、零件号、物料编码、工单号、炉次号、 焊缝与焊道编号、设备编码之间没有稳定的主键关系。若在接入层就不解决标识对齐, 上层每一个汇总模型都要各自做一遍关联,关联规则会分叉,同一个问题在不同模型里得到不同答案。 因此维表层先立起来,事实表一律引用维表层代理键,事实表之间不得按业务编码直接关联。

第二条是层间只做一件事。每一层只承担一类加工:贴源层只承接不转换,明细层只做清洗、 落标与标识对齐,汇总层只做按主题的轻度汇总,应用层只做面向消费方的组装。 把转换集中在明细层的好处是出了问题只查一处;代价是明细层的作业较重, 这一代价由作业级的重跑与幂等要求来对冲(见 2.9.2 节)。

第三条是先立结构后等数据。现状评估将把数据资产按供给能力分四档, 其中部分资产当前尚无取数通道或字段缺失。对这类资产,模型结构先行建立并在元数据中 标注「待数据到位」状态,数据到位后直接灌入,不必返工改模型。 热处理炉次事实表中的装炉量与码装方式两个字段即属此例,它们须甲方在既有业务流程中 增设填报入口后才能填充。

2.3.2 五层职责、建模方法与工程约束

表 A5-5 五层职责、建模方法、工程约束与保留策略

层次层代码职责建模方法工程约束保留与分区
贴源层ODS原样承接源系统结构化数据与非结构化文件的登记信息,不做业务加工与源表结构一一对应,追加采集时间、批次号、源系统标识禁止口径转换与字段改名;源系统字段变更须先走变更通知流程再调整本层;表名前缀标明来源系统源数据按采集日分区长期保留,不做裁剪
明细层DWD按业务过程组织明细事实,完成清洗、标准落标与标识对齐维度建模的事实表,按业务过程建表,一事实一粒度必须引用维表层代理键;禁止事实表之间按业务编码直接关联;每条清洗规则须登记并可追溯到数据标准条目或质量规则编号保留全项目期,按业务日期分区
维表层DIM承载一致性维度,是平台内唯一的主数据出口缓慢变化维,按需采用历史拉链代理键由平台生成且终身不变;业务编码作为自然键保留;维表变更须经主数据流程;禁止在事实表加工作业中就地新增维度成员保留全部历史版本,不分区
汇总层DWS按主题域组织轻度汇总与指标中间结果按主题与统计周期建宽表指标定义须引用指标标准条目;同一指标只在一处计算,他处引用不重算;禁止跨主题域关联保留全项目期,按统计周期分区
应用层ADS面向 11 个验证场景与四类数据集加工的直接输出按场景与数据集需求建表或视图不在本层做跨主题的复杂加工;每个输出须登记血缘与版本号;对外提供前须完成分级标识与脱敏检查按消费方约定,保留不少于两个版本

层代码既是表名前缀也是元数据中的层次属性,两者取值一致,不另设映射。

2.3.3 各层之间的加工作业与门控

分层的名字是通用的,分层能不能守住靠两样东西:层间约束与门控检查。 层间的门控检查即质量检查节点——设置在数据生产流程中的检查环节, 依据质量规则判断数据是否符合进入后续工序或交付的条件,未通过的不进入下一层。 下图给出五层之间的加工作业、每道作业的门控检查项以及不通过时的处置, 这也是《数据设计开发规范》中作业设计的依据。

图 A5-2 五层之间的加工作业、门控检查与不通过处置

源端(甲方) 按授权只读 贴源层 ODS 源表镜像 明细层 DWD 业务过程事实 维表层 DIM 一致性维度 汇总层 DWS 主题宽表 代理键 作业 A 接入落地 不通过 → 本批次挂起,重取该批次,不进下游 作业 B 清洗 · 落标 · 标识对齐 门控:主键唯一 · 非空率达线 · 枚举落标 ·维表命中率达线 不通过 → 落入待处理区并生成质量问题单,达线部分正常入库 维表未命中的记录入「未匹配明细」,不得自动新建维度成员 作业 C 维表加载 门控:自然键唯一 · 代理键不复用 ·拉链区间不重叠 不通过 → 回滚本次加载,维表保持上一版本 作业 D 汇总与指标计算 应用层 ADS 场景与数据集输出 作业 E 组装 作业 E 门控(发布前置) 血缘已登记至字段级 · 版本号已生成 分级标识齐备 · 脱敏规则已执行并留痕 训练集与评测集按来源与时间双重切分且无交叠 不通过 → 不予发布,退回作业 B 或 D定向修复 责任边界 源端取数范围与字段变更通知:甲方系统管理岗位 作业 A—E 的开发、运行与门控执行:项目组 维度成员新增与主数据裁决:甲方数据管理办公室 指标口径裁决:指标责任部门 门控门限取值见质量域校验规则库 门控:批次完整性 · 行数与源端对账 ·文件摘要一致 门控:指标引用标准条目 · 同指标单点计算 ·环比波动在阈内 不通过 → 指标标记「待核」并通知指标责任岗位,不对外发布

图 A5-2 五层之间的加工作业、门控检查与不通过处置。数据来源:招标文件 3.2.6.1.1.2.3 第(1)项(b1257、b1258);门控设置口径与数据集生产链路的门控规则一致(b1215)。

2.3.4 分层禁止事项

下列事项在本文件中明确禁止,违反者在模型评审环节不予通过。禁止条款是分层架构里 唯一需要写成否定句的部分——它们界定的是工程责任边界,列清楚比论述有用。

表 A5-6 分层禁止事项与检查方式

编号禁止事项禁止的理由检查方式
P-01在贴源层做口径转换、字段改名或过滤贴源层一经加工即失去与源端对账的能力元数据比对源表结构,字段名与类型逐一核对
P-02事实表之间按业务编码直接关联业务编码在各系统口径不一,关联规则会分叉作业脚本静态扫描关联条件
P-03在事实表加工作业中自动新建维度成员维表是唯一主数据出口,自动新建会绕过主数据流程作业评审与维表加载日志核查
P-04跨主题域在汇总层直接关联跨域关联应在应用层按消费方需求组装模型评审检查表
P-05同一指标在两处分别计算两处口径必然在某次修改后分叉指标登记表查重
P-06应用层直接读取贴源层绕过清洗与落标,输出不可追溯血缘图扫描,检查是否存在 ODS 到 ADS 的直接边
P-07代理键在维度成员删除后被复用历史事实表将指向错误的维度成员代理键发号记录核查
P-08在模型中硬编码取值映射映射关系应落在参考数据标准中,硬编码无法统一维护作业脚本静态扫描常量映射

2.4 命名与编码规范

2.4.1 表命名规则

表名采用小写字母与下划线,结构为 <层代码>_<主题域码>_<业务对象>_<表类型后缀>。 层代码取 ods/dwd/dim/dws/ads;主题域码见 2.5.1 节;表类型后缀标明表的性质。 贴源层另在主题域码位置放源系统码,因贴源层按来源组织而非按主题组织。

表 A5-7 表类型后缀与命名示例

后缀含义适用层命名示例中文名
_f事务型事实表DWDdwd_mfg_furnace_batch_f炉次事实表
_fs周期快照事实表DWD、DWSdws_inv_stock_day_fs库存日快照
_fa累积快照事实表DWDdwd_ord_workorder_fa工单累积快照
_d维表DIMdim_process_d工序维表
_dz拉链维表DIMdim_item_dz零件与物料拉链维表
_w主题宽表DWSdws_qual_weld_month_w焊接质量月度宽表
_i指标表DWSdws_dec_kpi_month_i决策指标月表
_v视图ADSads_scene_weld_param_v焊接场景参数视图
_ds数据集加工输入集ADSads_dataset_proc_sft_ds制造过程指令微调输入集
_tmp临时表各层dwd_mfg_weld_pass_f_tmp临时表须标明有效期,逾期自动清理

表 A5-8 贴源层源系统码

源系统码系统源系统码系统
crm客户关系管理eam设备资产管理
erp企业资源计划plm产品全生命周期管理
scm供应链管理scada数据采集与监控
qms质量管理oa协同办公
wms仓储管理jq经营指标报送
mes制造执行mdm主数据管理平台
lms物流管理htc热处理群控
ems能源管理safe安全监管平台
sos设备远程运维file离线文件与档案(非系统来源)

源系统码取值与招标文件 3.2.2.1 所列集成对象一致(b0804r02、b0808—b0908), file 一项用于承接离线非结构化数据的批量导入与解析登记(b0909、b0910、b0911)。

2.4.2 字段命名规则

字段名同样采用小写字母与下划线。规则共六条,其中第四条与第五条最常被忽略, 在模型评审检查表中单列检查项。

表 A5-9 字段命名规则与正误示例

规则要求正例反例
一、语义取自数据元标准同一业务含义在全平台同名plate_thickness_mmthk、bh、banhou
二、代理键后缀统一维度代理键以 _sk 结尾,自然键以 _bk 结尾process_sk、process_bkprocess_id 混用
三、量值字段带单位物理量字段名后缀标单位,单位取自数据元标准unfold_length_mm、hardness_hbwlength、hardness
四、时间字段区分三类业务发生时间 _time、系统记录时间 _ts、分区日期 _dtweld_start_time、load_ts、biz_dt统一叫 time
五、布尔与状态不混用布尔以 is_ 开头,状态以 _status 结尾且取值域为枚举is_valid、card_statusflag、status 存 0/1/2 无字典
六、禁止保留字与拼音缩写不使用数据库保留字,不使用无字典的拼音缩写furnace_batch_noorder、lch
2.4.3 作业与调度命名

加工作业命名为 <层代码>_<目标表名去层前缀>_<作业类型>,作业类型取 load/merge/calc/pub。 作业编号由平台发号,格式 JOB-<层代码>-<四位序号>,编号写入元数据并与《数据集成共享 管理规范》中的集成作业登记台账同号,便于一处查到作业的申请、上线与变更全过程。 调度窗口的分配遵循一条硬性约束:面向甲方源系统的取数作业一律安排在业务低峰时段, 招标文件对各源系统提出的低峰时段要求为零点至五点(b0814、b0821、b0828、b0835、b0841、 b0846、b0852、b0857、b0864、b0870、b0877、b0883、b0889、b0894、b0899、b0905), 平台侧作业据此排在五点之后,使源端取数与平台加工在时间上不叠加。

2.4.4 代理键、自然键与分区

代理键由平台统一发号,整型自增,终身不变,不承载业务含义,维度成员失效后其代理键不再复用。 自然键保留源系统的业务编码原值并标明来源系统,用于回溯与对账。 同一物理对象在多个系统有不同编码时,维表中保留全部自然键并标注权威来源, 权威来源的判定依据《数据分布及数据流图》中的权威源归属一列。

分区策略按层统一:贴源层按采集日分区,明细层按业务日期分区,汇总层按统计周期分区, 应用层按消费方约定。跨年历史数据按年做二级分区。分区字段名统一为 biz_dt 或 load_dt, 不允许各表自取名。时序类数据不进关系型分区表,按时间窗分段存储并在明细层登记段标识, 段标识即过程数据与结果数据的配对键。

2.5 主题域划分与首批模型清单

2.5.1 主题域划分口径

主题域按业务过程划分,与招标文件所列 9 个业务域(b1336)不是一回事: 业务域是管理视角,用于治理责任划分;主题域是数据视角,用于模型归属。 两者须有明确映射,否则建模岗位与业务归口部门对不上话。本项目划分六个主题域, 划分口径与四类数据集的四个方向对齐——供需计划、产品工艺设计、制造过程、产品质量, 另加在役服务与基础支撑两域,使数据集加工的输入边界与主题域边界一致,加工作业不必跨域取数。

表 A5-10 六个主题域与 9 个业务域的映射

主题域码主题域覆盖业务过程对应业务域(b1336)对应数据集方向
plan供需计划商机与项目、需求计划、采购与到货、库存与出入库、物流营销管理、采购管理、仓储物流、财务管理供需计划数据集
design产品工艺设计选型校核、出图、工艺路线编排、工艺卡编制、变更研发设计产品工艺设计数据集
mfg制造过程工单下达、工序流转与报工、热处理炉次、焊接作业、机加与装配、能耗生产制造、设备管理制造过程数据集
qual产品质量进厂检验、制程检验、交检、不合格品处置、返修、无损检测质量管理产品质量数据集
serv在役服务测点采集、报警、服务工单、备件更换、维修设备管理制造过程与质量数据集的在役部分
base基础支撑组织与人员、制度与标准归档、合同与标书、术语与指标、安全监管人力资源、财务管理及跨域四类数据集的通用语料

映射为多对多关系,一个业务域的数据可能落在多个主题域,一个主题域也可能跨多个业务域。 元数据中对每个模型同时登记主题域与业务域两个属性,治理考核按业务域统计,建模管理按主题域统计。

2.5.2 首批模型清单

首批模型以支撑第一批场景验证与四类数据集首批加工为目标,按供给能力 A、B 两档资产优先建设。 C、D 两档资产对应的事实表先建结构、留空等数据,在元数据中标注「待数据到位」状态。 清单共 48 个模型对象,分布为维表 11、明细层 19、汇总层 10、应用层 8。

表 A5-11 首批模型清单(维表层与明细层)

模型编码中文名层主题域粒度主键更新频率主要来源支撑对象
dim_project_d项目与施工号维表DIMplan一施工号一行project_sk日CRM、ERP、生产管理全部场景
dim_product_part_dz产品与部件拉链维表DIMdesign一部件版本一行part_sk日PLM选型、备料、焊接
dim_drawing_dz图纸拉链维表DIMdesign一图号一版本一行drawing_sk日PLM、离线档案备料工艺
dim_item_dz零件与物料拉链维表DIMplan一物料编码一版本一行item_sk日主数据平台、ERP库存、备料
dim_process_d工序维表DIMmfg一工序一行process_sk按发布工艺系统工序字典备料、热处理、焊接
dim_equipment_d设备与测点维表DIMmfg一设备或一测点一行equip_sk日EAM、物联网平台、SCADA热处理、焊接、诊断
dim_furnace_d炉次维表DIMmfg一炉次一行furnace_sk按炉次热处理群控热处理
dim_weld_d焊缝与焊道维表DIMmfg一焊道一行weld_pass_sk按工单工艺系统、焊接产线焊接
dim_org_d组织与岗位维表DIMbase一组织单元一行org_sk周主数据平台、ERP全部场景
dim_date_d时间维表DIMbase一日一行date_sk一次性平台生成全部场景
dim_doc_class_d文件分类维表DIMbase一分类一行doc_class_sk按发布OA、企业文档四个问答场景
dwd_plan_opportunity_f商机事实表DWDplan一商机一行opp_sk日CRM选型、问数据
dwd_plan_demand_f需求计划事实表DWDplan一计划行一行demand_sk日ERP库存与供应链
dwd_plan_po_delivery_f采购到货事实表DWDplan一到货行一行po_dlv_sk日SCM、WMS库存与供应链
dws_plan_stock_day_fs库存日快照DWDplan一物料一仓一日一行复合日WMS、ERP库存与供应链
dwd_plan_stock_move_f出入库流水事实表DWDplan一流水一行move_sk准实时WMS库存与供应链
dwd_plan_logistics_f物流运单事实表DWDplan一运单一行waybill_sk日LMS问数据
dwd_design_selection_f选型方案事实表DWDdesign一方案一版本一行sel_sk按件离线文档解析、CRM产品智能选型
dwd_design_drawing_ver_f图纸版本事实表DWDdesign一图号一版本一行dwg_ver_sk日PLM、离线档案备料工艺
dwd_design_route_f工艺路线事实表DWDdesign一零件一路线版本一行route_sk日工艺系统备料工艺
dwd_design_card_step_f工艺卡工序明细事实表DWDdesign一卡一工序一行card_step_sk日工艺系统、图纸解析备料工艺
dwd_mfg_workorder_fa工单累积快照DWDmfg一工单一行wo_sk准实时MES全部制造场景
dwd_mfg_step_report_f工序报工事实表DWDmfg一报工一行report_sk准实时MES全部制造场景
dwd_mfg_furnace_batch_f炉次事实表DWDmfg一炉次一行furnace_batch_sk按炉次热处理群控、SCADA、质量管理热处理过程
dwd_mfg_furnace_item_f炉次工件明细事实表DWDmfg一炉次一工件一行furnace_item_sk按炉次新增填报、MES热处理过程
dwd_mfg_weld_pass_f焊道参数事实表DWDmfg一焊道一行weld_pass_fact_sk按工单焊接产线、SCADA焊接过程
dwd_mfg_energy_f能耗事实表DWDmfg一设备一时段一行energy_sk日EMS问数据
dwd_qual_inspect_f检验记录事实表DWDqual一检验项一行insp_sk日QMS热处理、焊接、问数据
dwd_qual_ndt_f无损检测结果事实表DWDqual一检测位置一行ndt_sk日QMS、检测设备焊接过程
dwd_qual_nc_disposal_f不合格品处置事实表DWDqual一处置票一行nc_sk日QMS、OA热处理、焊接
dwd_serv_signal_seg_f测点时序分段事实表DWDserv一测点一时间窗一行seg_sk日远程运维平台装备健康诊断
dwd_serv_alarm_event_f报警事件事实表DWDserv一事件一行alarm_sk准实时远程运维平台装备健康诊断
dwd_serv_service_order_f服务工单事实表DWDserv一工单一行svc_sk日SOS装备健康诊断
dwd_base_doc_version_f文件版本事实表DWDbase一文件一版本一行doc_ver_sk日OA、企业文档四个问答场景
dwd_base_contract_term_f合同条款事实表DWDbase一条款一行term_sk日OA、CRM合同合规审查

表 A5-12 首批模型清单(汇总层与应用层)

模型编码中文名层主题域统计粒度更新频率消费方
dws_plan_item_month_w物料供需月度宽表DWSplan物料×月月库存与供应链、问数据
dws_plan_stock_turn_month_i库存周转指标月表DWSplan物料类×月月问数据
dws_design_card_reuse_month_i工艺复用率指标月表DWSdesign分厂×月月备料工艺、问数据
dws_design_part_feature_w零件工艺特征宽表DWSdesign零件×版本日备料工艺
dws_mfg_furnace_curve_w炉次曲线特征宽表DWSmfg炉次按炉次热处理过程
dws_mfg_weld_param_w焊道参数特征宽表DWSmfg焊道按工单焊接过程
dws_qual_pass_rate_month_i一次交检合格率指标月表DWSqual分厂×产品类×月月焊接过程、问数据
dws_qual_defect_type_month_w缺陷类型分布宽表DWSqual缺陷类型×月月焊接、热处理
dws_serv_baseline_w测点同工况基线宽表DWSserv设备×测点×工况段周装备健康诊断
dws_dec_kpi_month_i决策指标月表DWSbase指标×组织×月月问数据
ads_scene_selection_v选型场景取数视图ADSdesign按请求实时产品智能选型验证
ads_scene_card_pair_v图卡成对样本视图ADSdesign一图一卡日板材备料工艺验证
ads_scene_furnace_case_v炉次档案视图ADSmfg一炉次按炉次热处理过程验证
ads_scene_weld_param_v焊接参数比对视图ADSmfg焊道按工单焊接过程验证
ads_scene_diag_evidence_v诊断证据视图ADSserv事件准实时装备健康诊断验证
ads_dataset_pretrain_ds预训练语料输入集ADS跨域文档片段批次预训练数据集加工
ads_dataset_sft_ds指令微调输入集ADS跨域问答对批次指令微调数据集加工
ads_dataset_bench_ds基准与偏好输入集ADS跨域题目或偏好组批次基准测试与偏好数据集加工

四类数据集的加工输入集与数据集规模的对应关系在 2.8.3 节说明。 模型清单在项目期按季度滚动更新,新增模型按 2.9 节流程评审后进入清单(b1334)。

2.6 维表层设计

2.6.1 一致性维度清单

维表层是本架构的核心。十一张维表中,工序、炉次、焊缝与焊道、图纸四张是本项目特有的, 通用数据仓库设计里没有对应物,它们的字段设计直接决定四个制造与质量场景能否成立。

表 A5-13 一致性维度清单与关键设计点

维表维度成员定义自然键来源变更处理关键设计点
项目与施工号一个施工号对应一个制造批次生产管理下发的施工号新增为主,属性变更覆盖施工号与合同号、项目号三者映射关系须显式落表
产品与部件一个部件的一个设计版本PLM 部件编号+版本拉链承载槽宽档位、链环直径等选型关键属性
图纸一个图号的一个版本PLM 图号+版本拉链承载图幅、原生格式、是否已解析、解析批次
零件与物料一个物料编码的一个版本主数据平台物料编码拉链承载专用程度、周转性分层、替代关系
工序备料分厂封闭工序集合中的一道工艺部门工序字典编码按发布版本整体切换现掌握口径为 28 道,以正式工序字典为准
设备与测点一台设备或一个测点EAM 设备编码、测点编码拉链测点与物理部件的对应关系、采集有效区间
炉次一次装炉作业热处理群控炉次号新增与炉台、工艺程序、材料批次的关联键
焊缝与焊道一条焊缝的一道焊工艺系统焊缝编号+道次新增一件大型部件焊缝可达数百条,一缝可焊四道
组织与岗位一个组织单元或岗位主数据平台组织编码拉链用于责任归属与权限范围
时间一个日历日平台生成一次性含班次、工作日、生产周历属性
文件分类一个文件类别OA 制度分类与文档分类按发布对应 11 类管理制度与 9 类合同文档

图 A5-3 一致性维度与明细层事实表的引用关系

维表层 DIM 11 张一致性维表 代理键发号 · 唯一主数据出口 拉链维保留全部历史版本 工艺卡工序明细事实 项目·图纸·零件·工序 图纸版本事实 项目·图纸·零件 炉次事实 炉次·设备·时间 炉次工件明细事实 炉次·零件·项目 焊道参数事实 焊道·设备·零件·时间 工序报工事实 工单·工序·组织·时间 检验记录事实 零件·工序·炉次·焊道 无损检测结果事实 焊道·零件·设备 不合格品处置事实 零件·工序·组织 出入库流水事实 物料·项目·组织·时间 测点时序分段事实 设备·测点·时间 报警事件事实 设备·测点·时间 事实表之间无直接连线:禁止按业务编码互相关联(禁止事项 P-02) 跨事实表的问题一律经维表层作答,例如「这一炉工件后来的检验结论如何」 经炉次维与零件维两跳获得,不在两张事实表之间直接按炉次号关联 连线方向为事实表引用维表代理键;一张事实表引用的维表见各表字段设计 图中列出 12 张明细层事实表,首批共 19 张,其余 7 张引用关系同体例 责任边界:维度成员的新增与裁决在甲方数据管理办公室,事实表加工由项目组承办

图 A5-3 一致性维度与明细层事实表的引用关系。数据来源:招标文件 3.2.6.1.1.2.3 第(1)项(b1257、b1258);维度对象取现状评估阶段确定的业务对象清单。

2.6.2 工序维表字段设计

工序维表是备料工艺场景的基准表。备料分厂的工序集合固定且封闭,现掌握的口径为 28 道, 正式工序字典以工艺部门确认的版本为准。本维表的设计要点是把「挑选并排序」这件事所依赖的 约束显式落表:每道工序的前置工序、禁止组合、适用板厚区间、所需设备与工装类型, 都是字段而不是说明文字——只有落成字段,工艺卡的校核才能由规则执行,而不是靠人记得。

表 A5-14 dim_process_d 工序维表字段设计

字段类型必填取值域/约束来源说明
process_sk整型是平台发号,终身不变平台生成主键
process_bk字符(16)是工序字典编码,全局唯一工艺系统工序字典自然键
process_name字符(64)是引用业务术语标准条目工艺系统工序名称
process_category字符(16)是下料/成形/制孔/边缘加工/表面处理/矫正/标识(枚举,见参考数据标准)工艺部门确认工序大类
workshop_code字符(16)是组织维自然键主数据平台所属分厂或车间
default_seq整型是1—99工艺部门确认工艺路线中的默认排序位
pre_process_bk字符(128)否工序字典编码列表,逗号分隔工艺部门确认前置工序约束
forbid_after_bk字符(128)否工序字典编码列表工艺部门确认禁止紧随其后的工序
thickness_min_mm数值(6,2)否大于 0工艺部门确认适用板厚下限
thickness_max_mm数值(6,2)否大于 thickness_min_mm工艺部门确认适用板厚上限
equip_type_code字符(16)否设备类型枚举设备资源库所需设备类型
tooling_type_code字符(16)否压模/样板/夹具/无(枚举)工艺部门确认所需工装类型
need_unfold_calc布尔是真/假工艺部门确认是否需按中性层公式计算展开长
is_key_process布尔是真/假工艺部门确认关键工序标记,为真时检查项推送质量系统
quota_basis_code字符(16)否按件/按米/按平方米/按重量(枚举)工时定额系统工时定额计算基准
dict_version字符(16)是形如 V1.0工艺部门发布工序字典版本号
valid_from日期是—工艺部门发布生效日
valid_to日期否空表示当前有效工艺部门发布失效日
is_current布尔是真/假平台派生当前版本标记
load_ts时间是—平台生成入库时点

表 A5-15 dim_process_d 样例行(示例口径,正式取值以工艺部门确认的 28 道工序字典为准)

process_bk工序名称大类默认序前置工序板厚区间设备类型工装需展开计算关键工序
BL-010划线标识10—4—60平台样板否否
BL-020数控火焰切割下料20BL-01010—60火焰切割机无否是
BL-030数控等离子切割下料20BL-0104—30等离子切割机无否是
BL-040激光切割下料20BL-0101—20激光切割机无否是
BL-050剪板下料20—1—16剪板机无否否
BL-060锯切下料20——带锯床夹具否否
BL-070冲孔制孔30BL-0501—12冲床压模否否
BL-080钻孔制孔30BL-0204—60摇臂钻/数控钻夹具否是
BL-090坡口加工边缘加工40BL-0208—60坡口机无否是
BL-100倒角边缘加工40BL-0804—60倒角机无否否
BL-110压弯成形50BL-0903—25折弯机压模是是
BL-120卷圆成形50BL-0203—20卷板机无是否
BL-130矫平矫正60BL-0204—40矫平机无否否
BL-140抛丸表面处理70BL-130—抛丸机无否否
BL-150打磨表面处理70BL-090—角磨无否否
BL-160标记打码标识80BL-140—打码机无否是
【待填:其余工序】【待填】————————

样例行中「需展开计算」为真的两道工序(压弯、卷圆)是中性层公式的作用对象。 展开长的计算在工艺卡工序明细事实表中落值,同时记录所用中性层系数及其取值来源, 使某一个展开长可以回溯到按哪条经验算出(见 2.7.3 节)。

2.6.3 图纸维表字段设计

图纸维表承载本项目体量最大的一类资产:历史图纸约 63 万张,且每一张图纸历史上都配有 一张已审核签发的工艺卡片,天然构成成对的监督样本。维表的设计要点是把「这张图能不能用」 与「这张图解析到什么程度」两件事变成可查询的字段,因为备料场景首批取样时需要按 可解析程度与配对完整度筛选,而不是按图号区间盲取。

表 A5-16 dim_drawing_dz 图纸拉链维表字段设计

字段类型必填取值域/约束来源说明
drawing_sk整型是平台发号平台生成主键,一图号一版本一键
drawing_bk字符(48)是PLM 图号PLM自然键
drawing_ver字符(16)是PLM 版本号PLM自然键第二段
drawing_name字符(128)是—PLM图纸名称
part_bk字符(48)否零件维自然键PLM对应零件
project_bk字符(32)否项目维自然键PLM、生产管理首次使用的施工号
product_model字符(64)否产品型号枚举PLM所属产品型号
drawing_type字符(16)是零件图/部件图/总装图/工序图(枚举)PLM图纸类型
sheet_size字符(8)否A0—A4、加长(枚举)PLM图幅
native_format字符(8)是DWG/DXF/PDF/纸质扫描(枚举)PLM、离线档案原生格式
storage_path_ref字符(256)是文件登记标识,不存明文路径贴源层文件登记指向文件登记记录
file_digest字符(64)是SM3 摘要平台计算文件指纹,用于判重与变更识别
parse_status字符(16)是未解析/已解析/部分解析/解析失败(枚举)文件解析作业解析状态
parse_batch_no字符(32)否解析批次号文件解析作业血缘键
parse_coverage数值(5,2)否0—100文件解析作业关键图元解析覆盖比例
has_paired_card布尔是真/假配对作业是否已找到已审签发的工艺卡
paired_card_bk字符(48)否工艺卡编号配对作业配对的工艺卡
pair_confidence字符(8)否高/中/低(枚举)配对作业配对可信度,低者不进训练集
is_borrowable布尔否真/假工艺部门标注是否属可借用的既有零件
sensitivity_level字符(8)是按数据安全分级标准取值安全职能确认敏感级别
valid_from/valid_to/is_current—是拉链三件套平台派生版本区间

「配对可信度」一列的三档判定规则写在配对作业的规则说明中:图号与卡号直接引用关系存在者为高; 经零件号与项目号两项一致匹配且无歧义者为中;仅按文件目录位置或名称相近推定者为低。 低档记录保留在库但不进入成对样本集,这是为了避免把人工推定的配对当成事实标签。 首批加工目标是把高档与中档配对的占比逐步做高,起点与阶段目标见数据集加工章节的批次计划。

2.6.4 炉次、焊缝与焊道、设备与测点三张维表

这三张维表共同解决过程数据与质量结果如何对上的问题。热处理与焊接场景的主要障碍是数据关联不稳定:炉次与工件、材料批次、实际曲线、检测结果之间缺少稳定关联键;焊接参数流连续而工件与焊道离散,一件大型单部件焊缝可达数百条,一条焊缝多层多道可焊四道,两者对不上就无法横向比对。维表负责提供两侧可共同引用的键。

表 A5-17 dim_furnace_d 炉次维表字段设计(节选关键字段)

字段类型必填取值域/约束来源说明
furnace_sk整型是平台发号平台生成主键
furnace_bk字符(32)是群控系统炉次号热处理群控自然键
equip_bk字符(32)是设备维自然键热处理群控炉台编码
furnace_type字符(16)是井式/台车式/箱式/中频感应(枚举)设备档案炉型
program_bk字符(32)是工艺程序编号热处理群控下发的设定程序
process_doc_bk字符(48)是工艺文件编号+版本工艺系统本炉执行的正式工艺文件
heat_treat_type字符(16)是淬火/回火/正火/退火/调质(枚举)工艺文件处理类型
signal_seg_ref字符(64)是时序段标识时序采集本炉对应的时序数据段,配对键
charge_ts时间是—热处理群控开炉时间
discharge_ts时间否—热处理群控完工时间
calib_valid布尔是真/假计量校验记录温度测量系统在本炉期间校验是否有效
trust_level字符(8)是高/中/低(枚举,派生)平台派生按测点可用性与校验状态分级
valid_from/valid_to/is_current—是拉链三件套平台派生—

表 A5-18 dim_weld_d 焊缝与焊道维表字段设计(节选关键字段)

字段类型必填取值域/约束来源说明
weld_pass_sk整型是平台发号平台生成主键,一焊道一键
weld_seam_bk字符(32)是工艺系统焊缝编号工艺系统焊缝自然键
pass_no整型是1—8焊接产线、工艺文件道次序号,一缝可焊四道
part_bk字符(48)是零件维自然键工艺系统所属部件
seam_type字符(16)是对接/角接/搭接/塞焊(枚举)工艺文件接头形式
groove_type字符(16)否坡口形式枚举图纸解析、工艺文件坡口
position_code字符(16)是焊接位置枚举工艺文件焊接位置
seam_length_mm数值(8,1)否大于 0图纸解析焊缝长度
coord_ref字符(64)否部件坐标系下的位置描述工艺文件、视觉留痕位置口径,统一外观、超声、磁粉三类检测的定位基准
wps_bk字符(32)否焊接工艺规程编号工艺系统适用规程
is_key_seam布尔是真/假工艺文件关键焊缝标记
valid_from/valid_to/is_current—是拉链三件套平台派生—

coord_ref 用于统一外观、超声、磁粉三类检测的位置口径。三类检查对同一处缺陷的位置描述不一致时,无法将结论叠加到同一焊道;将该口径统一到部件坐标系并写入维表后,方可支撑焊接场景的参数差异比对。位置口径的具体定义须经工艺与质量两个职能共同确认【待填:部件坐标系定位基准的正式口径】。

表 A5-19 dim_equipment_d 设备与测点维表字段设计(节选关键字段)

字段类型必填取值域/约束来源说明
equip_sk整型是平台发号平台生成主键
equip_bk字符(32)是EAM 设备编码EAM自然键
node_type字符(8)是设备/部件/测点(枚举)平台派生本行是设备、部件还是测点
parent_equip_bk字符(32)否本表自然键EAM、测点配置层级父节点
point_bk字符(32)否测点编码物联网平台、SCADA测点自然键
signal_type字符(16)否振动加速度/温度/压力/流量/电流/电压/速度(枚举)测点配置信号类型
unit_code字符(8)否计量单位,引用数据元标准测点配置单位
sample_period_ms整型否大于 0测点配置采样周期,秒级测点取 1000
mounted_part字符(64)否物理部件名称现场核对测点所在物理部件,诊断场景的关键关联
collect_from/collect_to日期否—测点配置采集有效区间
point_health字符(8)是正常/漂移/失效/未补装(枚举)链路核查作业测点可信度状态
is_in_scope布尔是真/假接口开通清单是否在本期已开通采集范围内

point_health 与 is_in_scope 两个字段对应现场的两类实际情形:矿方传感器损坏后往往不予补装; 采集范围目前仅覆盖部分车间与部分设备。把这两件事落成字段而不是写在说明里, 诊断场景取数时才能按测点健康状态分层处理,基线计算也才能排除失效期间的数据。

2.6.5 缓慢变化维与代理键的处理规则

表 A5-20 缓慢变化维处理规则

维表处理方式触发新版本的字段变更不触发新版本的变更
产品与部件拉链结构变更、关键参数变更名称勘误、描述补充
图纸拉链图号版本升版、原生文件摘要变化解析状态与解析覆盖率更新
零件与物料拉链物料分类、专用程度、替代关系变更库位、安全库存等业务参数
工序按字典版本整体切换工序字典发布新版本单道工序的描述修订
设备与测点拉链测点配置、安装部件、采样周期变更测点健康状态更新
组织与岗位拉链组织撤并、上级变更联系方式
炉次、焊缝与焊道新增为主—属性补录直接覆盖并留审计日志

拉链维表统一使用 valid_from、valid_to、is_current 三个字段表达版本区间, 区间左闭右开,不允许重叠或空档。加载作业的门控检查项包含区间连续性检查, 不通过即回滚本次加载、维表保持上一版本(见图 A5-2 作业 C)。

代理键的稳定性是跨年历史数据可用的前提。本文件规定三条:代理键一经发出即终身绑定该 维度成员的该版本,不因属性变更而重发;维度成员失效后其代理键不再复用; 平台重建或迁移时代理键随数据一并迁移,不重新发号。第三条在项目期的平台升级中须作为 迁移方案的验收项,否则历史事实表将指向错误的维度成员。

2.7 明细层事实表设计

2.7.1 事实表设计通则

每张事实表的设计说明须先写清四件事,缺一项在模型评审环节不予通过:粒度声明—— 一行代表什么,用一句话写明,例如「一行代表一个炉次中的一个工件」;度量的可加性—— 哪些度量可跨维相加、哪些是半可加、哪些不可加;退化维的处理——保留在事实表中的业务单据号; 空值语义——空值代表未采集、不适用还是待填报,三者不可混用。

第四项在本项目尤其重要。现状评估将把数据资产按供给能力分四档,C、D 两档资产的字段 在首批加工时普遍为空,而空值的含义各不相同:装炉量为空是因为甲方尚未增设填报入口; 预热温度为空是因为采集手段尚未补齐;某些历史炉次的检验结论为空是因为纸质报告未数字化。 三类空值在下游的处理方式不同,因此本文件规定:凡允许为空的字段,须同时设一个状态字段 或在数据字典中声明空值语义,不允许仅凭空值让下游自行推断。

表 A5-21 度量可加性的三类处理

类别示例度量处理要求
完全可加下料数量、出入库数量、工时、能耗可按任意维度汇总
半可加库存余额、在制品数量可跨物料与仓库相加,不可跨时间相加;汇总层按时点快照组织
不可加硬度值、温度、合格率、安全系数禁止直接求和;汇总层只做平均、极值、分布与比率,计算口径须引用指标标准条目
2.7.2 焊道参数事实表

技术方案正文已给出工艺卡工序明细事实表与炉次事实表两张示例的字段设计, 本节不重复,补出另外三张与质量场景直接相关的事实表。焊道参数事实表解决的是 参数流与焊道的对齐问题:焊接机器人已能记录电流、电压、送丝速度、焊接速度、摆幅与 左右停留时间,这几项正是排查质量问题的重点参数,但参数流是连续的,工件与焊道是离散的。 本表的粒度声明为「一行代表一个焊道一次焊接作业」,参数按该焊道的起止时间窗 从时序数据中切段聚合,并保留段标识以便回查原始曲线。

表 A5-22 dwd_mfg_weld_pass_f 焊道参数事实表字段设计

字段类型必填取值域/约束来源说明
weld_pass_fact_sk整型是平台发号平台生成主键
weld_pass_sk整型是引用焊缝与焊道维DIM维度键
part_sk整型是引用产品与部件维DIM维度键
project_sk整型是引用项目与施工号维DIM维度键
equip_sk整型是引用设备与测点维DIM焊接工作站或机器人
wo_bk字符(32)是工单号MES退化维
weld_start_time时间是—焊接产线本道起弧时间
weld_end_time时间是大于起弧时间焊接产线本道收弧时间
signal_seg_ref字符(64)是时序段标识时序采集参数流段标识,回查原始曲线用
wire_grade字符(32)是焊丝牌号枚举MES焊丝牌号(b0844)
wire_diameter_mm数值(4,2)是大于 0MES焊丝直径(b0844)
current_avg_a数值(7,2)否大于 0SCADA电流均值(b0880、b0881)
current_std_a数值(7,2)否不小于 0平台派生电流标准差,表征稳定性
voltage_avg_v数值(6,2)否大于 0SCADA电压均值
wire_feed_speed数值(7,2)否大于 0SCADA送丝速度
travel_speed数值(7,2)否大于 0SCADA焊接速度
weave_width_mm数值(6,2)否不小于 0焊接产线摆幅
dwell_left_ms整型否不小于 0焊接产线左停留时间
dwell_right_ms整型否不小于 0焊接产线右停留时间
gas_flow数值(6,2)否大于 0SCADA保护气流量(b0881)
preheat_temp_c数值(6,1)否空值语义:未采集新增采集手段预热温度,当前为人工抽检纸质记录,属待补齐采集项
interpass_temp_c数值(6,1)否空值语义:未采集新增采集手段层间温度,同上
heat_input_calc数值(8,2)否派生字段平台派生按电流、电压与焊接速度计算的线能量,计算式登记在指标标准中
image_ref字符(64)否影像登记标识工业相机焊接部位形貌留痕,用于标定后的视觉测量
param_source字符(16)是产线记录/人工录入/推定(枚举)平台派生参数来源,推定值不进训练集
trust_level字符(8)是高/中/低(枚举,派生)平台派生按参数完整度与测点健康状态分级
biz_dt日期是—平台派生分区字段
load_ts时间是—平台生成入库时点

preheat_temp_c 与 interpass_temp_c 两个字段是典型的「先立结构后等数据」: 这两项最影响气孔与裂纹,当前只能人工抽检、纸质记录,采集手段补齐后直接灌入本表, 表结构不必返工。param_source 一列把推定值与实测值分开,是为了保证焊接场景的 参数差异清单建立在实测数据之上——用推定参数算出的差异没有排查价值。

2.7.3 检验记录事实表

检验记录事实表是四个质量相关场景的共同标签来源。设计要点是把检验结论挂到 正确的物理对象上:按工序检验的挂到工序报工,按炉次检验的挂到炉次, 按焊道检验的挂到焊道,按整件检验的挂到零件。本表用一组可空的维度键表达这种 多挂点关系,并以 inspect_object_type 声明本行实际挂在哪一类对象上。

表 A5-23 dwd_qual_inspect_f 检验记录事实表字段设计

字段类型必填取值域/约束来源说明
insp_sk整型是平台发号平台生成主键
insp_bk字符(48)是QMS 检验记录号+检验项序号QMS自然键
inspect_stage字符(16)是进厂/制程/交检/出厂/成品(枚举)QMS检验阶段(b0832)
inspect_object_type字符(16)是零件/工序/炉次/焊道/批次(枚举)平台派生本行挂点类型
item_sk整型否引用零件与物料维DIM挂点为零件时必填
process_sk整型否引用工序维DIM挂点为工序时必填
furnace_sk整型否引用炉次维DIM挂点为炉次时必填
weld_pass_sk整型否引用焊缝与焊道维DIM挂点为焊道时必填
insp_item_code字符(32)是检验项目编码,引用数据元标准QMS检验项目
insp_method字符(16)是外观/量具/硬度/超声/磁粉/渗透/拉伸(枚举)QMS检验方法
spec_lower/spec_upper数值(12,4)否下限小于上限工艺文件、图纸解析规格上下限
measured_value数值(12,4)否空值语义:定性检验不适用QMS、自动硬度计实测值
measure_unit字符(8)否计量单位,引用数据元标准QMS单位
conclusion字符(8)是合格/让步/不合格(枚举)QMS检验结论,构成标签
defect_type_code字符(16)否咬边/未熔合/气孔/裂纹/变形/硬度不足/开裂等(枚举)QMS、标注归一缺陷类型
defect_desc文本否—QMS原始文字描述,保留原文供归一化回溯
defect_position字符(64)否部件坐标系口径QMS缺陷位置,与焊道维 coord_ref 同口径
insp_equip_bk字符(32)否设备维自然键QMS检测设备
insp_time时间是—QMS检验时间
inspector_org_sk整型是引用组织与岗位维DIM检验班组,不记录个人
photo_ref字符(64)否影像登记标识QMS 交检拍照交检影像(b0833)
source_ref字符(64)是贴源层记录标识ODS回溯用
biz_dt日期是—平台派生分区字段

defect_type_code 与 defect_desc 并存是一条有意的设计。缺陷描述当前以文字为主、 未与工艺参数关联,归一化到枚举是本项目要做的加工;但归一化规则会随标注规范迭代, 保留原文才能在规则变更后重新归一,而不必回源系统重取。inspector_org_sk 只到班组一级, 不记录检验员个人,这是数据最小化要求在模型层的落实。

2.7.4 测点时序分段事实表

时序数据不进关系型分区表。本表记录的是时间窗分段的元信息与段级特征, 原始时序按时间窗分段存储在时序存储中,两者以 seg_ref 关联。这样设计的理由有两条: 一是时序数据按秒级采样,若逐点入关系表则规模失控且无查询价值; 二是诊断与热处理两个场景使用时序的方式都是「取某段、算特征、与基线比」, 段级特征入表后,绝大多数查询不必触及原始点位。

表 A5-24 dwd_serv_signal_seg_f 测点时序分段事实表字段设计

字段类型必填取值域/约束来源说明
seg_sk整型是平台发号平台生成主键
seg_ref字符(64)是全局唯一平台生成段标识,关联时序存储
equip_sk整型是引用设备与测点维DIM测点
seg_start_time/seg_end_time时间是起小于止时序采集段区间
condition_segment字符(16)是停机/空载/正常负载/重载/启停过渡(枚举)工况识别作业工况分段,三机联动的耦合干扰按此分离
sample_count整型是大于 0平台统计本段采样点数
missing_ratio数值(5,2)是0—100平台统计缺点比例
value_mean/value_std/value_max/value_min数值(14,4)否—平台计算段级统计特征
feature_vector_ref字符(64)否特征登记标识特征计算作业频域等派生特征的存放位置
baseline_ref字符(64)否基线登记标识基线计算作业对应的同工况正常基线
deviation_score数值(8,4)否—平台计算相对基线的偏离度,异常判据按偏离基线而非固定阈值
link_status字符(16)是正常/断链/漂移/失效(枚举)链路核查作业采集链路状态
trust_level字符(8)是高/中/低(枚举,派生)平台派生本段可用性分级
biz_dt日期是—平台派生分区字段

炉次事实表中的 signal_seg_ref 与焊道参数事实表中的 signal_seg_ref 指向的都是本表的 seg_ref。这一个字段把热处理的实际温度曲线、焊接的参数流与各自的质量结论串在了一起, 是「一炉一档、一道一档」在模型层的实现方式。

2.8 汇总层与应用层设计

2.8.1 汇总层设计要求

汇总层按主题与统计周期建宽表,三条要求:同一指标只在一处计算,他处引用不重算; 指标定义须引用指标标准条目,表中保留 metric_code 字段指向标准条目编号; 禁止跨主题域关联,跨域需求在应用层按消费方组装。

不可加度量在汇总层的处理需单列说明。一次交检合格率当前维持在百分之九十七至九十八, 企业要求为百分之九十九,这项指标的分子分母口径、统计范围与剔除规则必须在指标标准中写定, 汇总层只按写定的口径计算。本文件不定义指标口径,只约定引用方式——这是分层职责的要求, 指标口径的裁决权在指标责任部门。

2.8.2 应用层输出清单

应用层面向两类消费方:11 个验证场景与四类数据集加工。两类消费方对输出的要求不同, 场景侧要的是可直接查询的视图与证据链,数据集侧要的是可批量导出的样本集与切分标记。

表 A5-25 应用层输出清单与消费方口径

输出消费方输出形态粒度关键字段版本与刷新
选型场景取数视图产品智能选型验证视图按请求工况参数、候选配置、历史方案可比性、投运评价标签实时查询,视图定义版本化
图卡成对样本视图板材备料工艺验证视图+导出一图一卡图纸解析字段、工艺卡工序序列、配对可信度、是否可借用日刷新,按批次固化版本
炉次档案视图热处理过程验证视图一炉次装炉清单、材料批次、设定程序、曲线特征、检验结论、可信度按炉次追加
焊接参数比对视图焊接过程验证视图焊道参数均值与标准差、线能量、同型部件横向比对基准、缺陷标签按工单刷新
诊断证据视图装备健康诊断验证视图事件归并后的事件、相关测点段、基线偏离度、维修事实回填状态准实时
库存与供需视图库存与供应链验证视图物料×时点统一时点口径下的需求、库存、在途、项目占用、呆滞标记日刷新
文档问答语料集四个问答场景验证导出文档片段片段正文、出处定位、版本状态、敏感级别、有效区间按批次
合同条款对照集合同合规审查验证导出条款条款原文、所属合同类型、对照规则编号、风险标记按批次
预训练语料输入集预训练数据集加工导出文档片段片段、来源、模态、领域子集、许可条件、去重指纹按批次固化
指令微调输入集指令微调数据集加工导出问答对指令、输入、参考答案、任务类型、难度等级、来源证据按批次固化
基准与偏好输入集基准测试与偏好数据集加工导出题目或偏好组题干、判分规则、随机种子、偏好对、冲突标记按批次固化
2.8.3 应用层输出与四类数据集规模的对应

四类数据集的规模目标为预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、 基准测试 0.95 万条,按四个方向分解(b1578)。应用层输入集的作用是把模型层的结构化事实 与解析后的文档片段组织成可供加工的原料,加工环节的工序与质量检查节点不属本文件范围。 本文件只约定一件事:每个输入集须登记其构成血缘——由哪些模型对象的哪些版本、 按什么筛选条件与切分规则生成,以及训练用与评测用的切分是否交叠。

表 A5-26 应用层输入集与四类数据集的对应关系

数据集规模目标主要输入集主要来源模型对象切分要求
预训练数据集615 亿 Token预训练语料输入集文件版本事实、合同条款事实、选型方案事实、解析后的图纸与工艺文件片段按来源与时间双重切分,保留语料不进训练
指令微调数据集89 万条指令微调输入集图卡成对样本、炉次档案、焊接参数与检验结论、库存与供需视图按施工号与时间切分,评测集来源与训练集不交叠
强化学习偏好数据6.6 万组基准与偏好输入集工艺卡修改前后对照、诊断结论与维修事实对照、选型方案与投运评价对照偏好对的两侧须来自同一上下文,冲突样本单列
基准测试数据集0.95 万条基准与偏好输入集各场景的金标准样本与训练数据去重,题型协议与随机种子固化

四个方向的分解口径为:预训练按供需计划 276 亿、产品工艺设计 70 亿、制造过程 105 亿、 产品质量 164 亿 Token;指令微调按 40 万、10 万、15 万、24 万条;偏好数据按 3.2 万、0.8 万、 1 万、1.6 万组;基准测试按 0.4 万、0.1 万、0.2 万、0.25 万条。 模型层按主题域与四个方向一致的划分(见 2.5.1 节),正是为了使这一分解可以按主题域统计进度。

2.9 建模流程、变更管理与一致性检查

2.9.1 建模流程与评审点

表 A5-27 建模五步流程、产出与评审点

步骤输入产出评审点评审人
一、需求受理场景取数需求或数据集加工需求建模需求单(含粒度、字段、时效、量级)需求是否已有模型可满足;是否属跨域需求数据建模岗+需求提出方
二、概念设计建模需求单、分布台账主题域归属、业务过程识别、维度与度量清单粒度声明是否唯一;维度是否已在一致性维度清单中数据治理负责岗
三、逻辑设计概念设计字段清单(含类型、取值域、来源、校验规则)、落标对照字段是否引用数据元标准;取值域是否引用参考数据标准数据标准岗
四、物理设计逻辑设计建表语句、分区与索引、作业设计、调度窗口命名是否合规;分区策略是否按层统一;取数窗口是否在低峰时段数据建模岗+平台运维岗
五、上线与登记物理设计元数据登记、血缘登记、质量规则挂接、模型设计说明书登记是否齐备;门控检查项是否已配置数据治理负责岗

五步之间不设审批会议,评审以检查表方式在工具内完成,评审意见与处理结果留痕。 需求受理到上线登记的目标周期为十个工作日内,复杂跨域模型另议。 评审不通过的,退回上一步并记录退回原因,退回原因按季度汇总用于修订本文件。

2.9.2 作业的重跑与幂等要求

把转换集中在明细层的代价是作业较重,对冲办法是让每个作业可以安全重跑。本文件规定: 所有加工作业须按业务日期或批次号幂等——同一批次重复执行的结果与执行一次相同; 重跑须支持按分区范围指定,不允许只能全表重算;重跑产生的数据变更须在作业日志中 记录受影响的分区与行数,并触发下游依赖作业的重算。时序分段作业的幂等键为段标识, 文件解析作业的幂等键为文件摘要与解析规则版本的组合——解析规则升级后同一文件须重解析, 这正是用文件摘要加规则版本作幂等键而非仅用文件摘要的原因。

2.9.3 模型变更分级与影响评估

表 A5-28 模型变更分级、审批与处置

级别变更情形影响评估要求审批下游通知时限
一级维表粒度或代理键规则变更;事实表粒度变更;分层归属调整血缘反查覆盖已登记的全部下游对象,列出受影响的作业、模型、视图、数据集版本与场景;给出回归验证方案甲方数据管理办公室变更实施前十个工作日
二级字段新增;取值域扩充;分区策略调整;指标计算口径调整血缘反查至直接下游两层;列出需同步修改的作业与视图数据治理负责岗变更实施前五个工作日
三级字段注释修订;非关键字段类型放宽;索引调整登记变更记录即可数据建模岗变更后三个工作日内通知
源端触发甲方源系统字段、接口或口径变更按《数据集成共享管理规范》第五章执行;影响评估结论回写本文件修订记录按变更级别对应层级以源端通知时点起算,五个工作日内给出评估结论

一级变更须同时评估已发布数据集版本的有效性。若变更导致某一版数据集的构成血缘不再成立, 该版本不自动作废,而是在数据集台账中标注「口径已变更」并给出影响说明, 由数据集发布责任岗位决定是否重出。这一处理方式的理由是数据集一经交付可能已被下游使用, 静默作废会造成下游结论无法解释。

图 A5-4 模型变更的影响评估与发布路径

变更触发 需求/源端/质量问题 变更分级 一级/二级/三级 血缘反查 字段级·正向与反向 影响评估单 清单+回归验证方案 分级审批 见表 A5-28 同步修改与复测 作业·视图·规则 下游通知 按级别定时限 修订记录归档 版本号递增 反向血缘回答:这个结论是从哪来的 场景结论 → 应用层视图 → 汇总模型 → 明细事实 → 贴源字段 →源系统 用于归因:某一炉的判断依据哪几段曲线与哪条检验记录 两个方向都要能查,才算可追溯 正向血缘回答:这个字段被谁用了 贴源字段 → 明细事实 → 汇总指标 → 应用层输出 → 数据集版本与场景 用于变更:源端改了一个字段,哪些数据集版本的口径随之变化 已发布数据集版本不自动作废,标注「口径已变更」并给出影响说明 责任边界:源端变更的通知责任在甲方系统管理岗位;影响评估与同步修改由项目组承办;一级变更审批在甲方数据管理办公室 血缘登记的完备程度决定影响评估的可靠程度,故血缘登记列为作业上线的门控项(见图 A5-2 作业 E) 本图为文档中的流程图,不代表系统界面

图 A5-4 模型变更的影响评估与发布路径。数据来源:招标文件 3.2.6.1.1.2.3 第(4)项 对变更管理方法的要求(b1263、b1264);变更分级口径见本文件表 A5-28。

2.9.4 模型与标准的一致性检查

模型设计是否真的落了标,不能靠评审时人眼看。本文件规定五项可由工具执行的检查, 在模型上线前自动运行,检查结果附在模型设计说明书后。

表 A5-29 模型与标准的一致性检查项

检查项检查内容判定不通过处置
字段落标率明细层与维表层字段中已映射到数据元标准条目的比例首批目标不低于百分之八十,未映射字段须逐一说明理由列入落标整改清单,按季度推进
取值域合规枚举字段的取值域是否引用参考数据标准中的代码值域引用缺失即不通过退回逻辑设计
命名合规表名与字段名是否符合 2.4 节规则逐条机器校验退回物理设计
指标单点同一指标编码是否只在一处计算查重退回逻辑设计
血缘完备作业的输入输出是否已登记至字段级缺口清单为空方通过不予上线

字段落标率首批目标不低于 80%:部分源系统字段尚无对应数据元标准条目,须随标准体系逐步补齐;未落标字段逐一说明理由并列入整改清单,按季度推进,避免建模停等标准。

2.9.5 模型设计说明书模板

表 A5-30 模型设计说明书模板(逐模型一份)

章节内容要求
1 模型标识模型编码、中文名、层次、主题域、业务域、责任岗位、版本号
2 需求来源建模需求单编号、提出方、支撑的场景或数据集
3 粒度声明一行代表什么,一句话写明
4 字段清单字段名、类型、必填、取值域、来源字段、清洗与落标规则、空值语义
5 维度引用引用的维表及代理键字段,关联方式与命中率目标
6 度量说明度量清单与可加性分类
7 加工逻辑作业编号、输入输出、加工步骤摘要、幂等键、调度窗口与依赖
8 质量规则挂接的质量规则编号、门控门限、不通过处置
9 分区与保留分区字段、分区粒度、保留期限、归档与退役衔接
10 安全属性字段级敏感标识、脱敏要求、可访问范围
11 一致性检查结果表 A5-29 五项检查的执行结果
12 变更记录版本、日期、变更内容、影响评估单编号

2.10 评审与修订机制

表 A5-31 本文件的评审与修订机制

项规定
例行复核每半年一次。由数据建模岗提出复核报告,内容含本期新增模型、禁止事项违规统计、落标率变化、退回原因汇总
触发修订五类情形即时启动:工艺部门发布新版工序字典;甲方源系统发生一级变更;新增主题域或新增一致性维度;场景验证提出模型层无法满足的取数需求;质量域发现由模型设计导致的系统性问题
评审组织甲方数据管理办公室组织;参加方包括业务归口部门代表、项目组数据建模与治理岗、平台运维岗
评审材料修订说明、受影响模型清单、影响评估单、回归验证方案
评审结论通过/附条件通过/不通过三种。附条件通过须列明条件与完成时限
版本发布主版本号递增须重新评审;次版本号递增由文档管理岗核准发布
下游通知发布后三个工作日内通知全部使用方;一级变更按表 A5-28 的时限提前通知。通知方式为治理文档台账更新+项目周例会通报+使用方岗位签收
签收与追溯通知的签收记录留存,用于争议时确认下游是否已知悉变更
废止本文件废止须经甲方数据治理委员会批准,废止前须明确替代文件

「使用方岗位签收」用于变更追溯:模型层变更对下游的影响常滞后暴露(例如字段取值域扩充后,下游作业可能数周后才因新取值报错)。签收记录用于在问题出现时区分「通知未达」与「下游未及时适配」,缩小排查范围。

2.11 与矿山装备制造业务的结合点

本节把前述设计与业务对象的对应关系集中说明一次,便于使用方按业务问题索引模型。 这是本文件与通用数据仓库设计文档的主要差别所在。

表 A5-32 模型设计与业务对象、场景的对应

业务对象与现场问题模型层的处理支撑的场景或数据集
备料分厂 28 道封闭工序的挑选与排序工序维表显式落表前置工序、禁止组合、适用板厚区间、所需设备与工装(表 A5-14、A5-15)板材备料工艺验证;产品工艺设计数据集
63 万张历史图纸与已审签发工艺卡的天然配对图纸维表的解析状态、配对标记与配对可信度三组字段,低可信度配对不进训练集(表 A5-16)板材备料工艺验证;指令微调数据集
压弯件展开长按中性层公式换算工序维表 need_unfold_calc 标记;工艺卡工序明细事实表同时落展开长与中性层系数及其来源板材备料工艺验证
约七八成图纸属可借用的既有零件图纸维表 is_borrowable;汇总层工艺复用率指标月表板材备料工艺验证;工艺效率度量
一炉工件、材料批次、实际曲线与检验结论对不上炉次维表提供统一炉次键与时序段标识;炉次工件明细事实表落装炉清单;检验记录事实表按炉次挂点(表 A5-17、A5-23)热处理过程验证;产品质量数据集
装炉量与码装方式无结构化记录字段先建结构、标注「待数据到位」,空值语义声明为待填报热处理过程验证
焊接参数流连续、焊道离散,对不上焊道维表到道次粒度;焊道参数事实表按焊道时间窗切段聚合并保留段标识(表 A5-18、A5-22)焊接过程验证;制造过程数据集
外观、超声、磁粉三类检测位置口径不一致焊道维表 coord_ref 统一到部件坐标系;检验记录事实表 defect_position 同口径焊接过程验证
预热与层间温度仅人工抽检、纸质记录字段先建结构,空值语义声明为未采集;采集手段补齐后直接灌入焊接过程验证
三机联动使在役振动信号含耦合干扰测点时序分段事实表的工况分段字段,按工况段分离后再与基线比对装备健康诊断验证
矿方传感器损坏后不予补装设备与测点维表 point_health、is_in_scope,失效期间数据不参与基线计算装备健康诊断验证
库存三套口径并存汇总层按统一时点口径组织;权威源归属取《数据分布及数据流图》的结论库存与供应链验证;问数据
11 类管理制度与 9 类合同文档文件分类维表与文件版本事实表,保留版本状态与生效区间四个问答场景与合同合规审查验证

表中最后一列说明了一件事:模型层的每一项特殊设计都对应一个具体场景的具体需求, 没有为完备性而设的结构。这也是首批模型清单只列 48 个对象而非穷举全部业务对象的原因。

2.12 职责矩阵与责任边界

本文件各节分别写明了设计规则、流程与评审点,但「谁拟、谁签、谁批」散在表 A5-27 的评审人一列与表 A5-31 的评审组织一行里,查一件事要翻两处且两处的粒度不同。下表把本文件项下的动作逐项落到承办方,一项动作一行。代码的含义是:拟指起草与填报,签指会签并对本方口径负责,审指审核并出具意见,批指批准并承担决定后果,执指按已批准的结论执行,督指事后核查执行情况,配指按要求提供材料,横线表示该方在此动作中无职责。

列中的数据建模岗、数据标准岗与平台运维岗,沿用表 A5-27 与表 A5-31 已在用的岗位名,其归属按本文件既有规定;使用方指表 A5-25 中列出的应用层输出消费方。

表 A5-65 《数据模型分层架构》职责矩阵

序动作对应章节数据治理委员会数据管理办公室业务归口部门数据建模岗数据标准岗平台运维岗使用方
1五层划分与各层职责的确定2.3.2批审签拟配配配
2层间门控检查项的设置与调整2.3.3—批配拟签执—
3门控不通过的处置判定2.3.3—审配批配执配
4分层禁止事项的认定与检查2.3.4—督配审配执配
5表命名与字段命名规则的制定2.4—批签拟签配—
6源系统码的分配与登记2.4.1—批配执配配—
7代理键与分区策略的确定2.4.4—审—批配签—
8主题域划分口径的确定2.5.1审批签拟配—配
9首批模型清单的确定2.5.2—批签拟配配签
10一致性维度清单的维护2.6.1—批签执签配配
11维表字段设计与取值域确认2.6—审批拟签配配
12工序维表取值与工序字典的对齐2.6.2—审批执签—配
13缓慢变化维处理方式的选定2.6.5—审签批配配配
14事实表粒度声明与度量可加性判定2.7.1—审签批配—配
15事实表字段设计与来源标注2.7—审签拟签配配
16汇总层指标口径的确认2.8.1—审批执签—签
17应用层输出清单与消费口径的约定2.8.2—批签拟配配签
18应用层输出与四类数据集对应关系的维护2.8.3—审配拟配—签
19建模需求的受理与是否已有模型可满足的判定2.9.1—督配批配—拟
20概念设计与粒度唯一性评审2.9.1—批签拟配—配
21逻辑设计的落标对照评审2.9.1—审签拟批—配
22物理设计与调度窗口评审2.9.1—审配拟配批—
23上线登记、血缘登记与质量规则挂接2.9.1—批配执签执—
24作业幂等与重跑能力的实现与验证2.9.2—督—执—批配
25模型变更分级的判定2.9.3审批签拟签配配
26变更影响评估与回归验证方案2.9.3—审签拟配执配
27模型与标准一致性检查的执行与整改2.9.4—批签执执配配
28模型设计说明书的编制与归档2.9.5—批配拟配配—
29半年度例行复核报告2.10审批签拟配配配
30本文件的修订与版本发布2.10审批签拟签配配
31发布后的下游通知与岗位签收2.10—执配执配配签
32本文件的废止与替代文件的确定2.10批拟签配配配配

表 A5-65 数据来源:动作取自本文件第 2.3 节至第 2.10 节;岗位名取自表 A5-27 评审人一列与表 A5-31 评审组织一行。

第 11 行与第 12 行把字段设计的「批」放在业务归口部门,而把「拟」放在数据建模岗。维表字段的类型、长度与分区是建模问题,取值域不是——工序维表能不能只有二十八个取值,是工艺部门的事实,不是建模岗可以设计出来的。第 12 行因此把工序维表取值与工序字典的对齐单列一行:字典未成文之前,这一行的「批」无从行使,依赖该维表的下游模型相应挂起,这一依赖关系在表 A5-11 的首批模型清单中已有标注。

第 19 行的「批」在数据建模岗,是本矩阵中少见的把受理权放在执行岗的安排。判断一个取数需求是否已有模型可满足,须同时知道现有模型的粒度与新需求的粒度,这件事只有建模岗做得了;办公室在本行只占「督」,它核查的是受理是否及时、退回是否记录了原因,不替代这项技术判断。退回原因按季度汇总用于修订本文件(第 2.9.1 节),这条回路使受理权不至于变成单方拒收。

第 24 行把幂等与重跑能力的「批」放在平台运维岗。幂等是写在设计里的属性,但它是否真的成立要在重跑中才看得出来,而重跑的后果由运维承担。把验收权放在承担后果的一方,是本文件在这一点上与通常做法不同之处。

责任边界按下列五条划定。

其一,业务含义、取值域、口径与剔除条件由业务归口部门确认。项目组承担建模、字段设计、落标与实现,提供候选口径及其依据,不代行业务口径的确认;口径分歧且协调未果的,按本附录第 4.5 节的争议处理路径提交裁定,不作单方面选择。

其二,源系统内部的字段改造与历史数据回改由系统主管部门决定。项目组提供映射方案、影响评估与转换规则,在不改造源系统的前提下通过贴源层与映射维持可用性;源系统改造带来的工作量与排期另行确认。

其三,使用方自行在应用层之上构建的加工逻辑,由使用方负责。项目组对表 A5-25 所列输出的口径、时效与字段稳定性负责,对使用方在其下游二次加工中引入的口径偏离,只在一致性检查中提出问题清单,不承担其整改实施。

其四,模型变更的下游适配由各使用方负责。项目组按表 A5-28 的时限发出通知并提供影响清单与回归验证方案,通知已签收而下游未适配造成的问题,归入下游适配未完成一类处理。

其五,本文件为样章,供甲方在实施期按实际系统环境与机构设置修改后发布。样章中的模型清单、字段设计与样例取值为模板与示意,不构成已经甲方确认的设计定稿。

本矩阵每一格的分工,是按本文件现有条款与表 A5-27、表 A5-31 推出来的承办关系,不是甲方现行制度中的实际分工。甲方机构设置与岗位名称明确后,本矩阵须逐行复核;复核中发现条款与实际分工不一致的,以修订条款为先,不以调整矩阵单方面迁就。

三、样章二:《数据分布及数据流图》V1.0

本节为招标文件交付物清单第 10 项的样章(b1333r11),回应数据架构规划第(2)项 对梳理各业务系统数据分布现状、绘制数据流图、明确数据存储位置、数据流向与数据交互关系的 要求(b1259、b1260)。

3.1 文件标识与版本

表 A5-33 文件标识(正式文档首页)

项内容
文件名称数据分布及数据流图
文件编号GHY26691-GV-03-0002-V1.0
版本号V1.0
文件类别数据治理规划成果 · 设计与说明书
密级内部 · 限项目组与甲方相关岗位。本文件含源系统存储位置信息,分发范围按甲方信息安全要求控制
编制项目组数据架构岗
校核项目组数据治理负责岗
审核甲方数据管理办公室、甲方信息化管理部门
批准【待填:审批岗位与签批人以甲方治理组织架构发布后为准】
生效日期经审批发布之日起生效【待填:发布日期】
修订周期随接口开通滚动更新;每季度一次例行复核
附件附件一 数据分布台账(电子表格);附件二 系统间交互关系矩阵(电子表格);附件三 数据流图图元规范

本文件的密级高于同域另两份文档,因为台账中登记了数据库实例、库名与文件存储路径一类信息。 正式文档中这类字段按甲方信息安全要求以登记标识代替明文,明文清单单独成册、单独分发 (见 3.4.4 节)。

3.2 适用范围与生效条件

本文件适用于本项目数据汇聚范围内的全部数据来源,覆盖招标文件 3.2.2.1 所列 17 套外围 应用系统(b0804r02、b0808—b0908)、设备侧的过程数据采集通道,以及不在系统内的三类资产: 纸质档案、散存文档与只存在于交流过程中的事实。本文件是三类工作的共同底图: 数据模型分层架构确定各层输入的依据、集成作业与接口开通清单的编制依据、 以及数据安全分级与权限范围划定的依据。

本文件不涉及甲方各源系统内部的数据结构设计与系统间既有集成关系的改造。 台账中登记的系统间现存交互关系用于判断权威源与口径差异,不构成对这些交互关系的变更建议; 确需改造的,按甲方信息化管理流程另行提出。

生效条件为经甲方数据管理办公室与信息化管理部门共同评审通过并发布。 因本文件的内容依赖现场取证,V1.0 的发布时点定在现状评估阶段完成、首批接口开通清单 确认之后;此前的工作稿不作为对外依据。

3.3 编制方法与证据要求

3.3.1 两条索引互为校验

数据分布台账与数据资产盘点表共用同一份调研底稿,但组织方式不同:盘点表以业务对象为 主索引,分布台账以系统为主索引。两者互为校验——盘点表中登记了对象在哪些系统有记录, 分布台账中登记了系统承载哪些数据域及其存储位置,二者对不上就说明盘点有遗漏。 按系统逐个盘点得到的是十七张互不衔接的字段清单,按业务对象盘点才能看出链路在哪一环断掉, 两条索引都做才既不漏系统也不漏对象。

3.3.2 取证方式与证据留存

台账中每一项登记须注明取证方式与取证时点,不接受「据了解」。取证方式分四类: 系统取证(从数据字典、数据库设计说明书、表结构或接口文档中读取)、 抽样统计(在已开通的只读通道上执行统计语句)、访谈确认(业务归口部门口头确认并书面回执)、 现场核对(到档案室、车间现场实地清点)。四类取证的可信度递减关系须在台账中体现, 后续建模取值时优先采用系统取证与抽样统计的结论。

招标文件已要求各源系统提供数据库连接信息、API 接口信息或 FTP 信息,以及数据字典或 数据库设计说明书(如 b0813、b0815、b0820、b0822、b0827、b0829、b0834、b0840、b0845、 b0851、b0856、b0863、b0869、b0876、b0882、b0888、b0893、b0898、b0904)。 这些材料是台账系统取证部分的直接依据,到位进度直接决定台账的完成进度, 因此台账每一行均设「取证材料到位状态」一列,未到位者标注并进入甲方配合事项清单(见 3.8 节)。

3.4 数据分布台账

3.4.1 台账字段定义

表 A5-34 数据分布台账字段定义

字段类型必填取值域/校验规则取证方式
台账行号字符(12)是形如 DL-001,全局唯一平台生成
系统名称字符(64)是取自源系统清单,与源系统码一一对应系统取证
系统类别字符(16)是业务系统/采集系统/文档系统/主数据/设备侧/离线档案(枚举)系统取证
承载数据域字符(128)是主题域码列表,取自分层架构 2.5.1 节访谈确认
承载数据对象字符(256)是业务对象清单中的一项或多项系统取证
数据形态字符(64)是结构化/半结构化/文档/图纸/图像/时序/视频/音频(可多选)系统取证
存储位置标识字符(32)是指向明文清单的登记标识,台账中不存明文系统取证
存储介质类别字符(16)是关系库/时序库/文件服务器/文档库/对象存储/纸质(枚举)系统取证
部署区域字符(32)是机房或区域名称系统取证
存量规模字符(32)是条数、张数或容量,须注明统计时点抽样统计
时间覆盖字符(32)是最早记录年份至今,中断区间须标注抽样统计
增量频率字符(16)是日增量或月增量数值抽样统计
标识字段字符(128)是该资产对外关联的主键或业务标识字段名系统取证
上游来源字符(128)否系统名称列表,无上游填「源发」访谈确认
下游流向字符(128)否系统名称列表访谈确认
交互方式字符(16)是接口调用/文件交换/数据库直连/消息/人工导入导出/暂无(枚举)系统取证
交互频率字符(16)是实时/准实时/日批/周批/按需/不定期(枚举)系统取证
主数据归属字符(32)是权威源/副本/不涉及(枚举),权威源须注明主数据域访谈确认
口径差异文本否与其他系统同名字段的口径差异逐条说明访谈确认+抽样统计
质量初判字符(64)是主键唯一性、非空率、枚举合规率三项抽样结果抽样统计
本项目取数通道字符(16)是七类通道之一或「暂无通道」,取自集成共享管理规范第二章系统取证
低峰时段字符(16)是可取数时间窗,默认零点至五点访谈确认
敏感级别字符(8)是按数据安全分级标准取值安全职能确认
责任部门字符(32)是业务归口部门访谈确认
变更通知责任岗位字符(32)是该系统字段与接口变更的通知责任岗位访谈确认
取证材料到位状态字符(16)是已到位/部分到位/未到位(枚举)项目组登记
取证时点日期是—项目组登记

「主数据归属」与「口径差异」两列是台账的要点。企业当前的问题之一是同一类字段在不同 系统中的填写完整度差别很大,更麻烦的是同一个名称在不同系统中指的不是同一件事—— 库存三套口径并存就是典型。台账把权威源与副本分清、把口径差异逐条写明, 数仓建模时才知道该取哪一处的值。

3.4.2 台账样例行:结构化业务数据来源

下列三表按系统类别分组给出台账样例行。为便于阅读,表中只保留关键列, 完整字段按表 A5-34 在附件一的电子表格中登记。存量规模与增量频率标注为【待填】的, 须在接口开通并执行抽样统计后填入,不作估计。

表 A5-35 台账样例行(结构化业务数据来源)

行号系统承载数据对象数据形态介质标识字段取数通道主数据归属口径差异与现存问题
DL-001客户关系管理客户、商机、报价、合同、订单、回款(b0810)结构化+文档关系库+文件服务器客户编码、商机号、合同号接口取数商机与客户的权威源正在上线,历史数据较少;商机与成交的对应关系待核
DL-002企业资源计划组织、人力、物料、采购、销售订单、成本核算、应收应付、凭证、资产、资金(b0818、b0819)结构化关系库物料编码、订单号、凭证号批量取数账务口径的权威源;物料主数据为副本需求运算未启用;库存账面口径与实物口径有差异
DL-003供应链管理供应商档案与评估、采购计划与订单、订单下达、供货履约、付款计划(b0825、b0826)结构化关系库供应商编码、采购订单号批量取数供应商档案的权威源履约记录与到货记录的时点口径须对齐
DL-004质量管理制程检验、进厂检验、出厂检验、成品检验、质量台账;质量报告、检验数据、产品质量档案、质量知识(b0832、b0833)结构化+文档+图像关系库+文件服务器检验记录号、工单号、零件号增量取数+文件采集检验结论的权威源新上线、正在推行;缺陷描述为文字,未与工艺参数关联
DL-005仓储管理仓库、库区、货位、物料、批次、到货单、入库单、出库单(b0838、b0839)结构化关系库货位编码、批次号、单据号增量取数实物库存的权威源库存三套口径并存;批次号与物料编码的对应待梳理
DL-006制造执行焊丝牌号、焊丝直径、生产工单、生产进度(b0844)结构化关系库工单号、工序号增量取数工单与工序流转的权威源报工时点相对实际作业滞后;车间自编工艺卡未全部回传
DL-007物流管理物流需求、运单、调度结果、装卸、取货、送达、运输时间(b0849、b0850)结构化关系库运单号批量取数运单的权威源—
DL-008能源管理能耗监控、能耗统计、能耗分析(b0855)时序时序库设备编码、测点编码时序取数能耗数据的权威源与设备档案的编码对应待核
DL-009设备资产管理设备台账、设备档案、设备点检、维修工单、作业计划(b0867、b0868)结构化关系库设备编码批量取数设备编码的权威源设备编码与测点配置的对应关系不完整
DL-010产品全生命周期管理物料清单编号、工序数据、变更、零部件信息;选型方案、工艺图纸、CAD 图纸、工艺卡片(b0873、b0874、b0875)结构化+图纸+文档关系库+文件服务器图号、部件编号、物料清单编号批量取数+文件采集产品结构与图纸的权威源原生图纸不支持整批导出,须按项目分批;图纸与工艺卡配对未结构化
DL-011主数据管理平台组织机构、人员、物料编码(b0897)结构化关系库组织编码、人员编码、物料编码批量取数组织、人员、物料主数据的权威源纳管范围与审批流程记录完整度待核
DL-012经营指标报送营业收入、利润、成本、资产负债(b0892)结构化关系库指标编码、期间接口取数对外报送口径的权威源指标口径与业务系统口径存在差异

表 A5-36 台账样例行(时序与设备侧数据来源)

行号系统承载数据对象采样与时间覆盖介质取数通道现存问题
DL-013数据采集与监控设备电流、电压、温度、湿度、运行状态、焊接电流与电压、送丝速度、气体流量(b0880、b0881)秒级;历史长期留存,覆盖部分车间与部分设备时序库时序取数采集范围有限,按场景优先级分批扩展,首期以试点炉型、试点产线与试点车间为准
DL-014热处理群控当前与设置温度、电流与电压、加热与冷却时间、冷却水温度、淬火液温度、淬火水温、温控测量值(b0902、b0903)秒级;炉次级记录可追溯时序库+关系库时序取数+接口取数炉次与装炉工件清单、材料批次无结构化关联
DL-015设备远程运维健康状态时序;设备运维计划、报警处置、售后工单、备件消耗;设备档案、维修记录、诊断报告、故障案例(b0860、b0861、b0862)按测点配置;在役装备持续采集时序库+关系库+文件服务器时序取数+接口取数+文档采集报警与真实故障无配对;传感器损坏后不予补装;与售后工单未打通
DL-016安全监管平台安全监管数据、生产过程监控数据(b0907、b0908)按事件关系库接口取数(单向)与设备、作业对象的关联待建立
DL-017协同办公11 类管理制度、9 类合同文档(b0886)按件归档文档库文档采集版本状态字段不完整;附件可导出性待核

表 A5-37 台账样例行(系统外资产)

行号资产承载对象存量与位置取数通道处置方式
DL-018纸质检测报告检验记录、质量报告数量可观但尚未数字化,存于档案室【待填:册数与年份区间】暂无通道批量扫描后按文件采集通道入库,纳入离线非结构化数据录入范围(b0909、b0910)
DL-019历史选型方案选型方案与校核过程约四五百套,以文档形式散存,无结构化库文件采集解析后入选型方案事实表,投运评价标签须另行补录
DL-020历史工艺图纸与工艺卡图纸、工艺卡片图纸约 63 万张,每张历史上配有一张已审核签发的工艺卡文件采集按项目分批读取与解析,配对关系结构化落库
DL-021配套会商确定的接口参数截深、截高、推移步距等接口参数多方会商结论,往往无规范电子留痕暂无通道进入新增采集部分:在既有业务流程中增设填报入口、由系统预填、经手人确认,不作一次性补录
DL-022装炉量与码装方式热处理装炉作业记录无结构化记录暂无通道同上,须甲方增设填报入口
DL-023预热温度与层间温度焊接过程参数人工抽检、纸质记录暂无通道须补齐采集手段,属新增采集项

系统外资产的四行(DL-021 至 DL-023 及 DL-018)对应的是同一类问题:数据不在系统里, 因而不能靠接口解决。处置方式分两种——已有纸质载体的做数字化,没有载体的在业务流程中 增设填报入口。后者的落地依赖甲方推动流程变更,本项目交付的是填报字段设计、预填逻辑 与校验规则,流程发文与岗位执行由甲方负责。这一责任边界在台账中逐行注明。

3.4.3 存量规模与增量频率的填写要求

存量与增量两列不接受估计值。填写要求为:结构化数据按主表行数统计并注明统计语句与执行时点; 文档与图纸按文件数与总容量统计并注明统计路径;时序数据按测点数、采样周期与保留期限 折算并注明折算方式。未开通取数通道的资产,两列填【待填】并在取证材料到位状态列标注未到位, 不以推测值填入。这条要求的理由是存量规模直接影响加工批次计划与算力资源测算, 用估计值填表会把误差传导到后续计划。

3.4.4 存储位置的登记口径

存储位置分两级登记。台账中登记存储位置标识与介质类别、部署区域,不存明文; 明文清单(数据库实例地址、库名、文件存储路径、挂载点)单独成册, 按甲方信息安全要求限定分发范围与借阅登记,并随项目结束一并移交。 这样处理的理由是分布台账的使用方较广——建模、取数、质量、安全各岗位都要查, 而明文位置信息的知悉范围应当更窄。两级登记以标识关联,查明文须另行申请。

3.5 数据流图

3.5.1 三个视角与各自用途

数据流图按三个视角出图,各有用途,不互相替代:系统间交互视图用于看清现有交互关系与 冗余路径,是接口改造与权威源判定的依据;业务对象流转视图用于看清一个工件的过程事实 如何在系统间传递以及标识在哪一跳断掉,是标识贯通方案的依据;本项目取数视图用于看清 从哪些系统取哪些数据、经哪条通道、落到哪一层,是接口开通清单与集成作业清单的底图。

正式文档中每个视角按主题域各出一张分图,合计十余张。本样章给出三个视角各一张全景图, 分图按同一图元规范(见 3.11 节)绘制。

3.5.2 视角一:系统间数据交互全景

图 A5-5 系统间数据交互全景与权威源分布

设计与工艺 产品全生命周期管理 ★图纸 工艺系统 ★工艺路线 工时定额 主数据与经营 主数据管理平台 ★组织物料 经营指标报送 ★报送口径 营销与供应 客户关系管理 ★商机 供应链管理 ★供应商 企业资源计划 ★账务 制造与质量 制造执行 ★工单 热处理群控 ★炉次 质量管理 ★检验结论 仓储管理 ★实物库存 数据采集与监控 ★过程参数 设备资产管理 ★设备编码 能源管理 ★能耗 远程运维 ★报警事件 文档与协同 协同办公 ★制度发布 企业文档 ★标准归档 安全监管平台 物流与售后 物流管理 ★运单 售后与备件 ★服务工单 物料清单 工艺路线 物料主数据 入出库指令 不合格品票流转 报警与工单(未打通) 炉次与开完工 测点配置(口径不一) 工时定额(互为来源) ★ 标记为该类数据的权威源;实线为已有稳定交互,虚线为交互缺失或口径不一致;箭头上标注传递的数据内容 设备与采集 在役服务 关键工序与重要尺寸

图 A5-5 系统间数据交互全景与权威源分布。数据来源:招标文件 3.2.2.1 各系统集成要求 (b0808—b0908)与 3.2.6.1.1.2.3 第(2)项(b1259、b1260);权威源判定取现状评估访谈结论。

3.5.3 视角二:一个工件的标识传递链

这一视角是本文件最有诊断价值的一张图。它跟踪同一个物理工件从施工号下发到交付在役的 全过程,逐跳标注传递的是哪个标识字段,断在哪一跳。企业的根因之一是业务对象标识不贯通—— 施工号、产品号、图号、零件号、物料编码、工单号、炉次、焊缝与焊道、设备编码与故障记录 之间没有稳定主键关系,同一台产品在不同系统里叫不同的名字。把断点标在图上, 标识贯通方案要做哪几件事就一目了然。

图 A5-6 一个工件的标识传递链与标识断点

合同与项目 合同号·项目号 施工号下发 施工号 出图 图号·版本 工艺编制 工艺卡号·工序号 物料与备料 物料编码·批次号 工单下达与报工 工单号·工序号 焊接作业 焊缝号·道次 热处理 炉次号 检验与交检 检验记录号 装配与发运 产品号·发运单 在役运行 设备编码·测点号 报警与维修 事件号·服务工单号 ① ② ③ ④ ⑤ 标识断点与打通方式 ① 图号到工艺卡:配对关系在人的记忆与文件目录中 →按图号与零件号双键配对并标可信度 ② 工单到焊道:参数流连续、焊道离散 → 按焊道时间窗切段,建一道一档 ③ 焊道到炉次:工件在两处的标识不同 → 经零件维与项目维两跳关联 ④ 炉次到检验:无稳定一炉一档关联 → 炉次工件明细事实表建立装炉清单 ⑤ 报警到维修:报警不少、故障标签很少,两者无可核对的证据 → 维修事实回填到归并后的事件,逐步积累配对样本 实线为标识可稳定传递的一跳,虚线为断点;每一跳标注传递的标识字段 责任边界:打通所需的关联规则与加工成果由项目组交付;须新增填报或采集的,由甲方推动流程落地 本图跟踪一个物理工件,不表示系统部署关系

图 A5-6 一个工件的标识传递链与标识断点。数据来源:招标文件 3.2.6.1.1.2.3 第(2)项 (b1259、b1260);断点条目取现状评估阶段对数据条件的调研结论。

3.5.4 视角三:本项目取数通道与各层落点

第三个视角是接口开通清单的底图:七类通道分别承接哪些数据形态、从哪些系统取、 落到分层架构的哪一层,以及受控回写的范围。技术方案正文已给出这一视角的总体流图, 本文件在其基础上补出通道与层次的逐一对应关系,并标明各通道的取数窗口。

图 A5-7 七类取数通道、数据形态与分层落点

源端数据形态 结构化主数据与账务 高频变动业务数据 按键查询类数据 原生图纸与工艺文件 制度标准合同标书 设备过程时序 图像与扫描件 ① 批量取数 只读视图·日批·0—5 时 ② 增量取数 变更捕获·准实时 ③ 接口取数 只读接口·按需 ④ 文件采集 按项目分批·就地解析 ⑤ 文档采集 目录·正文·版本状态 ⑥ 时序取数 测点配置+时间窗分段 ⑦ 图像与视频采集 按场景布点·批量入库 贴源层 ODS ① ② ③ → 源表镜像 ④ ⑤ ⑦ → 文件登记 ⑥ → 测点配置与段索引 追加采集时间·批次号 源系统标识 原样承接,不做口径转换 原样 解析与分段作业 图纸图元与标注解析 文档切分与出处定位 时序按时间窗分段 影像标定与登记 明细层 DWD 清洗·落标·标识对齐 19 张事实表 维表层 · 汇总层 11 张维表 · 10 张宽表 代理键·主题汇总 应用层 ADS 场景视图·数据集输入集 发布前置门控 受控回写 仅限约定范围,经甲方岗位确认后写入 产出进明细层,原件留贴源层 零件明细·物料清单·工时定额建议

图 A5-7 七类取数通道、数据形态与分层落点。数据来源:招标文件 3.2.6.1.1.2.3 第(3)项 (b1261、b1262)、3.2.2.1 各系统低峰时段要求(b0814 等)、3.2.2.2 离线非结构化数据录入要求 (b0909—b0913)。

3.6 系统间交互关系矩阵

数据流图给出的是整体样貌,接口开通与变更影响评估还需要一张逐对关系的矩阵。 矩阵按「谁是权威源、谁是副本、经什么方式传递、现存什么问题」登记。 技术方案正文已给出矩阵的体例与十二条关键关系,本文件在正式版本中按逐对关系补全, 并增设三列用于接口管理:接口编号、字段数与取数窗口。下表给出增设列后的样例行。

表 A5-38 系统间交互关系矩阵(增设接口管理列,样例行)

接口编号上游系统下游系统/本平台传递内容方式频率取数窗口字段数权威源归属现存问题
IF-001产品全生命周期管理本平台产品结构与物料清单只读视图日批0—5 时【待填】产品结构导入时点与出图时点不一致时下游取到旧版
IF-002产品全生命周期管理本平台原生图纸与工艺文件文件读取按项目分批0—5 时不适用图纸原生格式不支持整批导出
IF-003工艺系统本平台工艺路线与工艺卡工序明细只读接口日批0—5 时【待填】工艺路线车间自编工艺卡未全部回传
IF-004工时定额本平台工序工时定额只读接口日批0—5 时【待填】定额两处互为来源两侧不一致时无仲裁规则
IF-005企业资源计划本平台物料、采购、销售订单、成本、应收应付、凭证、资产、资金只读视图日批0—5 时【待填】账务口径库存账面口径与实物口径差异
IF-006主数据管理平台本平台组织机构、人员、物料编码只读接口日批0—5 时【待填】组织、人员、物料主数据纳管范围待核
IF-007制造执行本平台工单、工序流转与报工、焊丝牌号与直径变更捕获准实时全天【待填】工单报工时点滞后
IF-008质量管理本平台检验记录、处置票据、拍照附件变更捕获+文件准实时全天【待填】检验结论缺陷描述为文字,未与工艺参数关联
IF-009仓储管理本平台库存、批次、出入库流水变更捕获准实时全天【待填】实物库存批次与物料编码对应待梳理
IF-010供应链管理本平台供应商档案与评估、采购计划与履约只读接口日批0—5 时【待填】供应商档案履约与到货时点口径待对齐
IF-011客户关系管理本平台客户、商机、报价、合同、订单、回款及附件只读接口+文件日批0—5 时【待填】商机历史数据较少
IF-012物流管理本平台物流需求、运单、调度、装卸与送达时间只读接口日批0—5 时【待填】运单—
IF-013能源管理本平台能耗监控、统计与分析时序取数日批0—5 时不适用能耗与设备档案编码对应待核
IF-014设备资产管理本平台设备台账与档案、点检、维修工单、作业计划只读接口日批0—5 时【待填】设备编码设备与测点对应关系不完整
IF-015数据采集与监控本平台设备电流电压温湿度、运行状态、焊接参数、气体流量时序取数按时间窗0—5 时取历史,增量准实时不适用过程参数采集仅覆盖部分车间与设备
IF-016热处理群控本平台炉次工单、开完工记录、设定与实际温度、冷却与淬火相关温度接口+时序按炉次全天【待填】炉次炉次与装炉工件清单无结构化关联
IF-017设备远程运维本平台健康状态时序、运维计划、报警处置、售后工单、备件消耗及文档接口+时序+文件准实时全天【待填】报警事件报警与真实故障无配对
IF-018售后与备件本平台服务工单、派工、备件出库只读接口日批0—5 时【待填】服务工单与远程运维事件未打通
IF-019协同办公本平台11 类管理制度、9 类合同文档、票据流转文档采集按件0—5 时不适用制度发布记录版本状态字段不完整
IF-020企业文档本平台标准、技术手册、工程资料归档文档采集按件0—5 时不适用标准归档归档完整度待核
IF-021经营指标报送本平台营业收入、利润、成本、资产负债只读接口按报送周期0—5 时【待填】报送口径指标口径与业务系统口径差异
IF-022安全监管平台本平台安全监管数据、生产过程监控数据只读接口(单向)按事件全天【待填】安全监管记录与设备、作业对象关联待建立
IF-023离线档案与散存文档本平台纸质检测报告扫描件、历史选型方案、历史图纸与工艺卡批量导入按批次不限不适用不适用纸质未数字化;选型方案无结构化库
IF-024本平台企业资源计划备料场景回填的零件明细与物料清单受控回写按件约定窗口【待填】回写须经甲方岗位确认回写范围须在协议中写定
IF-025本平台工时定额备料场景回填的工时定额建议受控回写按件约定窗口【待填】同上同上

矩阵中「现存问题」一列与现状评估的不足项清单逐条对应,两份文件在项目期内同步维护。 「权威源归属」一列是数仓建模取值的直接依据:同一字段在多个系统中都有,一律取权威源的值, 副本只用于交叉校验。表中有两处当前无仲裁规则的情形(工时定额两处互为来源、库存口径差异), 须经口径确认流程产生结论后方可建模。接口编号与集成作业编号一一对应,在《数据集成共享 管理规范》的作业登记台账中同号登记,便于从接口追到作业、再追到模型。

3.7 数据断点与打通方案清单

断点清单是本文件最直接服务于项目目标的一节。清单逐条登记断点现象、影响的场景、 打通方式、责任边界与验收口径,是场景验证能否成立的前置条件表。

表 A5-39 数据断点与打通方案清单

断点编号现象影响的场景与数据集打通方式责任边界验收口径
BP-01图纸与工艺卡的配对关系存在于人的记忆与文件目录中,未结构化落库板材备料工艺验证;产品工艺设计数据集按图号与零件号双键配对,配对结果标注高中低三档可信度,低档不进成对样本集配对规则与加工由项目组;配对结果的业务确认由工艺部门抽样复核抽样复核中高档配对的判定一致率达到约定门限;门限值随首批结果确定
BP-02炉次与工件、材料批次、实际曲线、检测结果之间无稳定关联热处理过程验证;产品质量数据集炉次维表提供统一炉次键与时序段标识;炉次工件明细事实表落装炉清单;检验记录按炉次挂点关联规则与加工由项目组;装炉清单的填报入口由甲方增设试点炉型的炉次档案可一次调出装炉清单、材料批次、曲线特征与检验结论
BP-03装炉量与码装方式无结构化记录热处理过程验证字段先建结构、标注待数据到位;在既有作业流程中增设填报入口,系统预填、经手人确认字段设计与校验规则由项目组;流程发文与岗位执行由甲方填报入口上线后试点炉型的填报完成情形达到约定比例
BP-04焊接参数流连续、工件与焊道离散,两者对不上焊接过程验证;制造过程数据集焊道维表到道次粒度;参数按焊道时间窗切段聚合并保留段标识切段规则与加工由项目组;焊道编号规则由工艺部门确认问题部件可在约定时间内调出自身与同型部件在本批次及其他批次的参数比对
BP-05外观、超声、磁粉三类检测的位置口径不一致焊接过程验证位置口径统一到部件坐标系,落成焊道维表与检验记录事实表的同名字段口径定义由工艺与质量两职能共同确认;落库由项目组同一焊道的三类检测结论可叠加展示
BP-06预热温度与层间温度仅人工抽检、纸质记录焊接过程验证补齐采集手段;字段先建结构,空值语义声明为未采集采集手段的选型与安装属硬件配套范围;字段与校验由项目组采集上线后试点产线的两项参数进入焊道参数事实表
BP-07报警与真实故障无配对,历史数据无事件级标签装备健康诊断验证同一设备同一时间窗的相关通道报警归并为一次事件并保留原始报警;维修事实回填到事件归并规则与加工由项目组;维修事实的回填由售后岗位在既有流程中完成回填率逐步提高,起点与阶段目标随首批数据确定
BP-08矿方传感器损坏后往往不予补装,测点连续性不足装备健康诊断验证测点健康状态字段与采集有效区间;失效期间数据不参与基线计算并在结论中标注证据等级补装由矿方与售后协商,不属本项目;分层处理由项目组诊断结论附证据等级,低等级结论明确标注数据不足
BP-09历史选型方案未随结论留存输入参数,投运评价无系统性记录产品智能选型验证文档解析提取输入参数与配置结论;投运评价标签由业务补录解析与入库由项目组;评价标签补录由售前与售后岗位解析成功的方案数与补录评价的方案数达到首批约定规模
BP-10库存三套口径并存;库存物料与部件对应关系未梳理库存与供应链验证;问数据统一时点口径在汇总层组织;权威源归属按本文件矩阵结论取值口径仲裁由财务与生产管理职能;建模由项目组同一时点的三套口径差异可解释并出具差异说明
BP-11纸质检测报告未数字化,无法进入任何链路产品质量数据集;热处理与焊接验证批量扫描后按文件采集通道入库,纳入离线非结构化数据录入范围扫描作业的组织由甲方档案职能,解析与入库由项目组首批扫描批次的解析可用率达到约定门限
BP-12配套会商确定的接口参数无电子留痕产品智能选型验证在售前流程中增设填报入口,系统预填、经手人确认字段与校验由项目组;流程落地由甲方新增项目的接口参数填报完成情形达到约定比例
BP-13车间自行编制的本车间工艺卡未全部回传工艺系统板材备料工艺验证回传范围与方式由工艺部门确认;未回传部分按离线文件采集回传流程由甲方,采集与解析由项目组试点分厂的工艺卡覆盖情形达到约定比例
BP-14远程运维平台与售后服务系统未打通,维修事实无法回填事件装备健康诊断验证以服务工单号与设备编码、时间窗三项关联,建立回填通道两系统的接口开通由甲方协调,关联规则由项目组回填通道上线并有试点数据通过验证

清单中「验收口径」一列多处写为「达到约定门限」而非具体数值,原因是门限值须以首批实测 结果为基线确定。本文件规定门限确定的时点与方式:首批数据到位后两周内由项目组提出 基线报告与建议门限,经甲方数据管理办公室确认后写入本文件次版本。先定方法、后定数值, 比在无基线时写一个数更可执行。

3.8 接口开通清单与甲方配合事项

表 A5-40 接口开通所需材料与配合事项

系统所需材料与配合事项招标文件依据状态
客户关系管理数据库连接信息、API 接口信息或 FTP 信息;数据字典或数据库设计说明书;低峰时段确认b0813、b0814、b0815【待填:到位状态】
企业资源计划数据库连接信息或 API 接口信息;数据字典或数据库设计说明书;低峰时段确认b0820、b0821、b0822【待填】
供应链管理同上b0827、b0828、b0829【待填】
质量管理数据库连接信息、API 接口信息或 FTP 信息;低峰时段确认;拍照附件的读取方式b0834、b0835【待填】
仓储管理数据库连接信息或 API 接口信息;低峰时段确认b0840、b0841【待填】
制造执行数据库连接信息或 API 接口信息;低峰时段确认b0845、b0846【待填】
物流管理同上b0851、b0852【待填】
能源管理同上;测点与设备编码对应表b0856、b0857【待填】
设备远程运维数据库连接信息、API 接口信息或 FTP 信息;测点配置表;文档读取方式;低峰时段确认b0863、b0864【待填】
设备资产管理数据库连接信息或 API 接口信息;低峰时段确认b0869、b0870【待填】
产品全生命周期管理数据库连接信息、API 接口信息或 FTP 信息;图纸按项目分批导出的配合安排;低峰时段确认b0876、b0877【待填】
数据采集与监控数据库连接信息或 API 接口信息;现有采集范围清单;扩展清单以现场勘察结论为准b0882、b0883【待填】
协同办公数据库连接信息、API 接口信息或 FTP 信息;11 类制度与 9 类合同的分类口径b0888、b0889【待填】
经营指标报送数据库连接信息、API 接口信息或 FTP 信息;指标口径说明b0893、b0894【待填】
主数据管理平台同上;纳管范围清单b0898、b0899【待填】
热处理群控数据库连接信息、API 接口信息或 FTP 信息;炉台与工艺程序清单b0904、b0905【待填】
安全监管平台单向集成的接口信息与数据范围确认b0907、b0908【待填】
离线档案档案室清点配合、扫描作业组织、散存文档的目录与位置b0909、b0910、b0911【待填】

本表在项目期按周更新状态,是接口开通进度的唯一依据。材料未到位的系统, 其台账相关行保持【待填】而不以推测值填入;若某一系统的材料长期未到位而影响场景验证进度, 按项目变更流程提出并记录对进度的影响。源系统厂商配合的协调由甲方推动, 本项目交付的是接口规格要求与联调验证方案。

3.9 与矿山装备制造业务的结合点

本文件的三个视角分别回答三个业务问题,这是它区别于通用数据分布文档的地方。 系统间交互全景回答「同一件事在哪几套系统里都有记录、该信哪一处」—— 库存三套口径并存、工时定额两处互为来源、指标口径与业务系统口径有差异, 这三件事在矩阵的权威源归属一列有明确结论。标识传递链回答「为什么跨系统追一件事要靠人工对账」—— 五处标识断点逐一标注,每一处都对应断点清单中的一条打通方案。取数通道视图回答 「为什么不能用一种方式把数据都接进来」——原生图纸不支持整批导出、时序按秒级采样、 纸质报告尚未数字化,三类资产的取数方式各不相同。

三个视角共同服务于一件具体的事:使 63 万张图纸与其配对工艺卡、 试点炉型的炉次档案、试点产线的焊道参数三类成对样本能够被稳定地组织出来。 这三类成对样本是四类数据集中最有价值也最难获得的部分, 它们的可获得性完全取决于本文件所梳理的分布与断点是否清楚。

3.10 维护、评审与修订机制

表 A5-41 本文件的维护与修订机制

项规定
滚动维护台账与矩阵随接口开通逐行更新,更新由集成作业开发岗提出、数据架构岗核准,不走版本发布流程
例行复核每季度一次。复核内容:台账行的取证时点是否超过六个月、断点清单的打通进度、权威源归属是否有新的仲裁结论
触发修订四类情形即时启动:新增或下线源系统;某一系统的存储位置或部署区域变更;权威源归属发生仲裁结论变更;断点清单新增或关闭条目
版本发布季度复核后出一个次版本;新增源系统或权威源归属变更须出主版本并重新评审
评审组织甲方数据管理办公室与信息化管理部门共同组织;源系统业务归口部门代表参加
下游通知发布后三个工作日内通知建模、取数、质量、安全四类岗位;涉及权威源变更的,同时通知受影响模型的责任岗位并附影响评估单
明文位置清单与台账同步维护,分发范围按甲方信息安全要求单独控制,借阅登记留存
废止项目结束后随治理成果移交,按甲方档案管理要求归档(b2236),不单独废止

3.11 附录:数据流图图元规范

正式文档中的十余张分图由不同岗位分别绘制,图元不统一会导致同一种线型在两张图里 含义不同。本节规定图元口径,一并作为交付物的一部分。

表 A5-42 数据流图图元规范

图元含义样式要求
实线箭头已有稳定数据传递深色描边,箭头上必须标注传递的数据内容
虚线箭头传递缺失、口径不一致或须新建的路径浅色描边+虚线,须在图注中编号说明
实线无箭头登记、引用关系,非数据流动细线
圆角矩形系统或平台组件浅底深描边,不用深色填充
虚线框责任边界或区域分组虚线边框,左上角标注分组名
五角星标记该类数据的权威源置于系统名称前
圆圈数字断点或说明条目编号与图注中的编号对应
字体与字号正文 13px,标注 11.5—12px,图题 12.5px字体取无衬线中文字体,避免在导出环境缺字
配色浅底深描边,不使用大面积深色块交付物须适应黑白打印
图题与来源每图必须有图题与数据来源说明来源指向招标文件章节号或本文件表号

图元规范中「箭头上必须标注传递的数据内容」一条是有具体原因的:不标内容的箭头图只能 说明两个系统之间有联系,不能用于判断接口开通范围。本项目的数据流图要直接作为接口清单的 底图使用,因此每条边都须可追溯到矩阵中的一行。

3.12 职责矩阵与责任边界

本文件是一份台账加图集,它的管理动作与制度类文件不同:多数动作是取证、登记与核对,少数是裁定与审批。表 A5-41 规定了维护与修订的走法,但逐行取证、权威源归属、断点认定这些日常动作归谁,仍须一张可查的表。下表把本文件项下的动作逐项落到承办方。代码的含义是:拟指起草与填报,签指会签并对本方口径负责,审指审核并出具意见,批指批准并承担决定后果,执指按已批准的结论执行,督指事后核查执行情况,配指按要求提供材料,横线表示该方在此动作中无职责。

本矩阵把「源系统业务归口部门」与「信息化管理部门」分列两列。两者在表 A5-41 的评审组织里并列出现,但职责不同:前者确认数据的业务含义与权威性,后者确认系统的部署、接口与账号。合并一列会使权威源仲裁与接口开通这两条路径在矩阵上重叠,而本项目中卡住的恰恰是它们各自的那一端。

表 A5-66 《数据分布及数据流图》职责矩阵

序动作对应章节数据管理办公室信息化管理部门源系统业务归口部门安全职能数据架构岗集成作业开发岗
1编制方法与两条索引互校口径的确定3.3.1批签配—拟配
2取证方式的选定与证据留存3.3.2督签签配审执
3台账字段定义的确定3.4.1批签配配拟配
4台账行的逐行填报3.4督配签—审执
5存量规模与增量频率的填写3.4.3—配签—审执
6存储位置与部署区域的登记3.4.4审批配签执执
7明文位置清单的维护与分发控制3.10审配配批执配
8权威源归属的认定3.5.2审签批—拟配
9权威源归属争议的仲裁3.5.2批签签配拟配
10系统间数据交互全景图的绘制与维护3.5.2审签签配拟执
11标识传递链与标识断点的核对3.5.3审配签—拟执
12取数通道与分层落点的确定3.5.4批签配签拟执
13系统间交互关系矩阵的维护3.6审签签—执执
14数据断点的认定与登记3.7批配签—拟执
15打通方案的编制与可行性确认3.7审签签配拟配
16打通方案的实施排期3.7批签签配审执
17接口开通清单的编制3.8审签签配拟执
18接口与账号的开通、回收与定期复核3.8审批签签配配
19甲方配合事项的提出与跟踪3.8批执执配拟配
20台账与矩阵的滚动更新核准3.10督配配—批拟
21季度例行复核与取证时点的超期核查3.10批配签—执执
22新增或下线源系统时的修订启动3.10批签签配执配
23版本发布与主次版本的判定3.10批签配—拟配
24发布后四类岗位的通知与影响评估单附送3.10执配配配拟配
25图元规范的制定与执行核查3.11审配——批执
26项目结束时的移交与归档3.10批签签签执执

表 A5-66 数据来源:动作取自本文件第 3.3 节至第 3.11 节;岗位名取自表 A5-41 评审组织与滚动维护两行。

第 8 行与第 9 行须分开读。权威源的认定在正常情形下由源系统业务归口部门作出——哪个系统的数据算数,这是业务判断。只有两个部门各自主张本系统为权威源而协调不成时,才进入第 9 行的仲裁,由数据管理办公室裁定。两行不合并的原因是:合并之后,认定权就实际上升到了办公室,而办公室并不掌握判断所需的业务事实,结果是每一次认定都要开一次会。

第 18 行把接口与账号开通的「批」放在信息化管理部门,而第 17 行的清单编制由数据架构岗「拟」。本项目中这条路径的滞后在第 3.8 节已有记载,矩阵把两步分开,是为了在月度跟踪时能分清是清单没提出来,还是提出来了没批。第 19 行随之把配合事项的「执」同时给到信息化管理部门与源系统业务归口部门:授权开通的两个前提——系统侧放行与业务侧同意——缺一不可,任一方未动都足以使该事项挂起。

第 20 行是本矩阵中唯一一行「批」在数据架构岗而办公室只占「督」的。台账随接口开通逐行更新,若每一行都要办公室核准,更新就会积压到季度复核时一次补录,而补录的台账在取证时点上已经失真。表 A5-41 因此规定滚动维护不走版本发布流程,矩阵与之一致;办公室的「督」落在季度复核时核查取证时点是否超过六个月。

责任边界按下列四条划定。

其一,源系统内数据的准确与完整由源系统主管部门负责。项目组负责分布的梳理、取证与登记,对台账所记事实与取证记录的一致性负责,不对源系统内数据本身的质量作出保证,发现的问题按本附录第 4.5 节的路径反馈。

其二,接口开通、账号发放与授权范围由甲方决定。项目组提出规格要求、配合联调并登记开通状态,不绕过授权流程自行取数;授权未开通期间,相关台账行记为待取证并在月度报告中列明,其影响在偏差归因中单独列示。

其三,权威源归属的最终认定权在甲方。项目组提供候选结论、比对证据与影响清单,不代行认定;认定结论变更导致的模型与作业改动,按表 A5-28 的变更分级处理,工作量与排期另行确认。

其四,本文件为样章,其中的台账行、系统清单与断点条目为按现有访谈与现场核实整理的示意,取证结论以实施期的逐行取证记录为准,不构成已经甲方确认的现状定稿。

本矩阵每一格的分工,是按本文件现有条款与表 A5-41 推出来的承办关系,不是甲方现行制度中的实际分工。甲方机构设置与岗位名称明确后,本矩阵须逐行复核;本文件的台账随接口开通滚动更新,复核宜与季度例行复核同期进行。

四、样章三:《数据集成共享管理规范》V1.0

本节为招标文件交付物清单第 11 项的样章(b1333r12),回应数据架构规划第(3)项 对规划统一数据集成架构、明确多模态数据采集适用场景、制定数据集成共享管理规范的 要求(b1261、b1262)。本文件为制度类文档,正文采用条文体,共八章六十二条。

4.1 文件标识与版本

表 A5-43 文件标识(正式文档首页)

项内容
文件名称数据集成共享管理规范
文件编号GHY26691-GV-03-0003-V1.0
版本号V1.0
文件类别数据治理规划成果 · 标准规范与制度
密级内部
编制项目组数据治理岗
校核项目组数据架构岗、安全与合规岗
审核甲方数据管理办公室、甲方信息安全管理部门
批准甲方数据治理委员会【待填:签批人以甲方治理组织架构发布后为准】
生效日期经审批发布之日起生效【待填:发布日期】
条文数八章六十二条,附表单五件
修订周期每年一次例行复核;遇触发条件即时修订

4.2 适用范围与生效条件

本规范适用于本项目范围内一切数据集成与数据共享活动,包括:从甲方各源业务系统、 设备侧采集通道与离线档案向本项目平台的数据接入;平台内各层之间的加工作业调度; 平台向本项目各验证场景、数据集加工环节的数据提供;以及平台数据向甲方内部其他使用方 或甲方授权的外部对象提供。参与上述活动的项目组岗位、甲方相关岗位均须遵守本规范。

本规范不适用于甲方各源业务系统之间既有的集成关系,这类关系按甲方既有信息化管理规定执行; 也不适用于数据集封装包交付后由使用方在其自身环境内的再加工。 数据集通过运营服务管理平台挂牌展示与对外发布的环节属平台侧职责, 本规范只约定移交与登记的衔接要求。

本规范生效须同时满足:经甲方数据管理办公室与信息安全管理部门共同评审通过并由甲方发布; 《数据分布及数据流图》已发布首版,使本规范第二章的通道选用有台账依据; 数据安全分级标准已发布首版,使第四章的审批矩阵有分级依据。

4.3 正文结构

表 A5-44 《数据集成共享管理规范》章节结构

章节条文范围
第一章 总则1.1 目的与依据 1.2 适用范围 1.3 术语 1.4 基本原则 1.5 职责分工第一条—第七条
第二章 集成架构与通道管理2.1 统一集成架构 2.2 七类通道与适用场景 2.3 通道选用规则 2.4 新增通道的申请与审批 2.5 取数窗口与只读优先 2.6 受控回写第八条—第十八条
第三章 集成作业管理3.1 作业申请与评审 3.2 作业登记 3.3 命名与调度 3.4 上线与试运行 3.5 监控、告警与失败处置 3.6 作业变更与下线第十九条—第三十一条
第四章 数据共享管理4.1 共享分级 4.2 申请与审批 4.3 用途限定与期限 4.4 脱敏要求 4.5 共享方式与交付 4.6 回收与二次分发 4.7 对外提供的额外要求第三十二条—第四十四条
第五章 源端变更与影响评估5.1 变更通知 5.2 变更分级 5.3 影响评估 5.4 同步修改与复测第四十五条—第五十条
第六章 安全、审计与留痕6.1 访问控制 6.2 日志留痕 6.3 审计抽查 6.4 违规情形的处置第五十一条—第五十六条
第七章 责任、考核与监督7.1 三方责任边界 7.2 考核指标 7.3 监督与报告第五十七条—第六十条
第八章 附则8.1 解释与修订 8.2 生效与附件第六十一条—第六十二条

4.4 第一章 总则

第一条(目的) 为规范本项目数据集成与数据共享活动,使数据从源端进入平台、 在平台内加工、再提供给使用方的每一步都有申请、有登记、有权限、有日志,制定本规范。

第二条(依据) 本规范依据《数据治理顶层规划方案》《数据安全管理办法》 《数据安全分级标准》《数据权限管理规范》制定,并引用《数据分布及数据流图》的 台账与矩阵结论、《数据模型分层架构》的分层与命名约定。 本规范与上位制度冲突时,以上位制度为准。

第三条(适用范围) 见 4.2 节,不在条文中重复。

第四条(术语) 本规范中: 集成,指把数据从一处系统或载体按约定方式移动或读取到另一处的活动; 通道,指承载集成活动的技术路径,本规范划分七类; 集成作业,指在某条通道上按调度执行的一个可独立运行的数据处理单元; 共享,指平台已有数据向使用方提供访问或副本的活动; 受控回写,指平台向甲方源系统写入数据的活动,仅限明确约定的范围; 权威源,指某类数据在多个系统中的取值依据来源,判定结论见《数据分布及数据流图》。

第五条(基本原则之一:登记在先) 任何集成活动须先在元数据中登记来源、字段、 频率、责任岗位与用途,登记完成后方可开通。未登记的取数行为按违规处置。

第六条(基本原则之二:只读优先、最小必要) 对甲方源系统的访问一律只读优先; 取数范围限于已登记用途所必需的表与字段,不以「将来可能用到」为理由扩大范围; 确需回写的,按第十七条、第十八条执行。

第七条(职责分工) 甲方系统管理岗位负责源端通道的开通、字段与接口变更的通知; 甲方数据管理办公室负责通道新增与共享申请的审批、权威源与口径的仲裁; 甲方信息安全管理部门负责分级、权限与对外提供的安全审查; 项目组负责集成作业的设计、开发、运行、监控与变更,负责影响评估与同步修改, 并按本规范保存全部登记与日志。各方职责的详细边界见第七章。

4.5 第二章 集成架构与通道管理

第八条(统一集成架构) 统一集成架构的「统一」指所有取数走同一套登记、同一套权限、 同一套日志,不指用一种技术承接全部数据形态。本企业的数据形态跨度很大: 结构化账务、原生图纸文件、秒级时序、工艺过程图像、纸质扫描件各不相同, 用一种采集方式必然削足适履。因此架构上分七类通道,管理上统一登记。

第九条(七类通道与适用场景) 七类通道的适用数据形态、适用场景、取数方式与 不适用情形见表 A5-45。通道编号在作业登记中引用。

表 A5-45 七类集成通道与适用场景

通道编号通道适用数据形态适用场景取数方式不适用的情形
CH-1批量取数结构化主数据、账务、台账物料主数据、库存账、价格、工时定额、经营指标只读视图日批整表或按分区增量要求分钟级时效的数据
CH-2增量取数高频变动的结构化业务数据工单流转与报工、库存出入库、检验记录变更数据捕获,准实时源系统不具备变更标识字段的表
CH-3接口取数需按业务键按需查询的数据商机与项目、测点配置、服务工单、安全监管记录只读接口按需调用大批量历史回溯
CH-4文件采集原生图纸、工艺文件、设计文档图纸解析、工艺卡解析、图卡配对按图号或项目只读读取,解析在内网就地进行原生格式不支持整批导出时须按项目分批
CH-5文档采集制度、标准、合同、标书等文本四个问答场景与合同合规审查目录、正文与版本状态只读读取密级超出授权范围的文件
CH-6时序取数设备过程参数、测点时序热处理温度曲线、焊接参数流、在役振动与温度测点配置+按时间窗分段取数采集尚未覆盖的设备
CH-7图像与视频采集工艺过程图像、检测影像、扫描件焊接部位形貌留痕、无损检测影像、纸质报告数字化按场景布点采集;扫描件批量入库厂区安防视频,其用途不变、不纳入本期

第十条(通道技术要求) 各通道的技术参数要求见表 A5-46。参数未达要求的通道不得上线; 源端条件暂不满足的,按第十二条申请变通方案并记录。

表 A5-46 七类通道的技术要求

通道并发上限单次取数量上限超时与重试幂等要求断点续传对源端的压力控制
CH-1 批量取数按源系统承受能力协商确定按分区,单分区不超过约定行数超时三十分钟,重试三次,间隔递增按分区幂等支持按分区续传限定在低峰时段;限制并行连接数
CH-2 增量取数单表单作业按变更量,设单批上限超时五分钟,重试五次按变更序号幂等支持按位点续传位点落后超过阈值时告警而非加速追赶
CH-3 接口取数按接口方约定按单次请求条数上限超时三十秒,重试两次按业务键幂等不适用设每分钟调用上限
CH-4 文件采集按项目分批,单批文件数设上限单文件容量上限超时按文件大小动态设定按文件摘要+解析规则版本幂等支持按文件续传读取不改动原件;不在源端执行解析
CH-5 文档采集单目录单作业按件超时五分钟,重试三次按文件摘要+版本号幂等支持只读目录与正文,不改动版本状态
CH-6 时序取数按测点分组按时间窗,单窗时长上限超时十分钟,重试三次按测点+时间窗幂等支持按时间窗续传历史回溯放在低峰时段,增量准实时
CH-7 图像与视频采集按采集点单批容量上限按批次重试按影像摘要幂等支持采集侧带宽与存储配额预留

第十一条(通道选用规则) 通道选用按下列顺序判定,不得跳过前序条件直接选用后序通道: 一、本项目已有同源同类通道的,复用既有通道,仅扩展字段范围; 二、源端具备变更标识字段且需求时效为分钟级以内的,选 CH-2; 三、需求时效为日级且数据为结构化整表的,选 CH-1; 四、仅需按业务键查询少量记录的,选 CH-3; 五、数据为文件形态的,按文件性质选 CH-4 或 CH-5; 六、数据为时序或影像的,选 CH-6 或 CH-7; 七、以上均不适用的,按第十二条申请新增通道。

表 A5-47 通道选用判定表

判定条件结论
已有同源同类通道复用,提交字段扩展申请
结构化+有变更标识+时效分钟级CH-2 增量取数
结构化+时效日级+整表CH-1 批量取数
结构化+按键查询+单次少量CH-3 接口取数
原生图纸或工艺文件CH-4 文件采集
制度、标准、合同、标书文本CH-5 文档采集
测点时序或过程参数CH-6 时序取数
工艺过程图像、检测影像、扫描件CH-7 图像与视频采集
源端无任何可用通道列入新增采集或填报入口需求,不在本规范内解决

第十二条(新增通道的申请与审批) 新增通道须提交申请,内容含:需求来源与用途、 为何七类通道均不适用、拟采用的技术方式、对源端的影响评估、安全评估与回退方案。 申请由项目组数据架构岗提出,甲方数据管理办公室会同信息安全管理部门审批。 审批通过的新增通道须在本规范次版本中补入通道清单。

第十三条(取数窗口) 面向甲方源系统的取数作业一律安排在业务低峰时段, 招标文件对各源系统提出的低峰时段要求为零点至五点,本项目据此排程(b0814、b0821、b0828、 b0835、b0841、b0846、b0852、b0857、b0864、b0870、b0877、b0883、b0889、b0894、b0899、b0905)。 准实时类通道(CH-2、CH-3 及 CH-6 的增量部分)不受窗口限制,但须设流量上限; 历史回溯一律在窗口内执行。窗口的实际时段以各系统业务归口部门确认为准, 确认结果登记在分布台账的「低峰时段」一列。

第十四条(取数范围变更) 已开通通道的字段范围扩展,按作业变更处理(第二十九条), 不重新申请通道;跨系统的新增取数,须新增作业并重新登记。

第十五条(源端条件不满足时的处置) 源端不具备变更标识字段、不支持整批导出、 采集范围未覆盖所需设备三类情形,不以降低数据要求的方式绕过,而按下列方式处置并记录: 无变更标识的改用 CH-1 按分区比对;不支持整批导出的按项目分批读取; 采集未覆盖的列入分批扩展清单,扩展范围以现场勘察结论为准。三类处置均在作业登记中注明。

第十六条(解析就地执行) 原生图纸与工艺文件的解析在甲方内网就地进行, 原件不出内网。解析产出的结构化字段进入平台明细层,原件仍留在源端或贴源层文件登记中。

第十七条(受控回写的范围) 平台向甲方源系统的回写限于明确约定的范围, 当前约定范围为备料场景回填的零件明细与物料清单、工时定额建议两项。 范围的扩大须经甲方数据管理办公室审批并更新本条。

第十八条(受控回写的执行要求) 受控回写须满足四项: 回写内容须经甲方对应岗位在界面上确认后方可提交,不得自动写入; 回写记录须保留提交前后的值与确认岗位; 回写失败须回滚并告警,不得部分写入; 回写通道与取数通道物理分离,账号权限分设。

4.6 第三章 集成作业管理

第十九条(作业申请) 新建集成作业须提交《数据集成作业申请单》(见附件一), 内容含:作业名称与拟用通道、数据来源与目标、字段清单、用途与支撑的场景或数据集、 调度频率与窗口、预估数据量、责任岗位、安全分级初判。申请单经数据架构岗评审、 数据治理负责岗核准后进入开发。

第二十条(作业评审要点) 评审检查六项:用途是否明确且与已登记需求对应; 字段范围是否最小必要;通道选用是否符合第十一条;调度窗口是否符合第十三条; 幂等键是否已定义;失败处置是否已定义。六项任一不满足即退回。

第二十一条(作业登记) 作业经评审通过即在元数据中登记,登记字段见表 A5-48。 登记内容与《数据分布及数据流图》的接口编号一一对应,与分层架构的作业编号同号。

表 A5-48 集成作业登记字段定义

字段必填取值域/校验规则
作业编号是形如 JOB-ODS-0001,平台发号,全局唯一
作业名称是按《数据模型分层架构》2.4.3 节命名规则
对应接口编号是形如 IF-001,取自系统间交互关系矩阵;无对应接口的内部作业填「内部」
通道编号是CH-1 至 CH-7 之一,或经审批的新增通道编号
源系统与对象是源系统码+源表或源目录标识
目标对象是目标层次+目标表名
字段清单引用是指向字段映射表的登记标识
用途是支撑的场景编号或数据集方向,不接受「数据分析」一类笼统表述
调度频率是实时/准实时/日批/周批/按需(枚举)
调度窗口是时间区间,源端取数作业须落在低峰时段内
幂等键是字段名或字段组合
依赖作业否上游作业编号列表
失败处置是重试次数、告警对象、是否阻断下游(枚举+参数)
预估与实际数据量是预估值在申请时填,实际值在试运行后回填
安全分级是按数据安全分级标准取值
责任岗位是开发岗与运维岗,记录岗位不记录个人
上线日期是—
状态是申请中/开发中/试运行/运行中/已变更/已下线(枚举)
最近变更单号否指向作业变更记录

第二十二条(命名与版本) 作业命名与版本号按《数据模型分层架构》第 2.4 节执行, 本规范不另立规则。作业脚本纳入配置管理,版本与作业登记的版本号一致。

第二十三条(调度与依赖) 作业依赖关系须显式声明,不允许用时间间隔隐式表达依赖。 上游失败时下游是否执行,按作业登记中的「是否阻断下游」取值决定: 取「阻断」的,上游失败则下游不启动并告警;取「不阻断」的,下游按上一可用批次执行 并在输出中标注数据时点。库存与供需一类对时点敏感的汇总作业一律取「阻断」。

第二十四条(上线与试运行) 作业上线前须完成试运行,试运行要求: 不少于三个完整调度周期;与源端对账,行数与关键度量差异在约定容差内; 幂等性验证,同一批次重复执行结果一致;失败注入验证,人为中断后可按幂等键安全重跑。 试运行结论记入作业登记,未通过不得转入运行中状态。

第二十五条(监控与告警) 作业须纳入统一监控,监控项含:执行成功与失败、 执行时长偏离历史均值的幅度、取数行数偏离历史均值的幅度、位点落后时长、 源端连接失败次数。告警分级与响应时限见表 A5-49。

表 A5-49 告警分级与响应时限

级别触发情形通知对象响应时限处置要求
一级作业连续失败三次;源端连接中断超过两小时;受控回写失败运维岗、数据治理负责岗、甲方系统管理岗位三十分钟内响应当日内恢复或给出替代方案;形成故障记录
二级单次失败;位点落后超过阈值;取数行数偏离均值超过阈值运维岗两小时内响应次日调度前恢复
三级执行时长偏离均值超过阈值;非关键字段的校验告警运维岗当日内查看纳入周报分析,不要求即时处置

第二十六条(失败处置与重试) 失败后按作业登记的重试参数自动重试; 重试耗尽仍失败的,置作业为失败状态并告警,不得静默跳过该批次。 跳过某一批次须经数据治理负责岗批准并在作业日志中记录跳过原因与影响范围。

第二十七条(数据延迟的处置) 源端数据延迟导致取数为空或不完整的, 作业不得将空结果作为正常结果写入下游。处置方式为:保持上一批次有效数据, 标记本批次为延迟,并按告警二级通知。延迟超过两个调度周期的升为一级。

第二十八条(重跑) 重跑须指定分区或批次范围,不允许无范围全表重算。 重跑产生的变更须记录受影响分区与行数,并触发下游依赖作业重算。

第二十九条(作业变更) 作业变更分三类: 字段范围扩展与调度参数调整为轻微变更,由数据架构岗核准; 源对象变更、通道变更、目标表变更为重大变更,须重新评审并试运行; 用途变更须重新进行安全分级与审批。三类变更均生成变更单并更新作业登记。

第三十条(作业下线) 作业下线须确认无下游依赖、已完成数据归档或退役处置、 已关闭源端账号权限三项,下线记录保留。下线不等于删除历史数据, 历史数据的处置按数据退役管理规范执行。

第三十一条(作业台账) 全部作业的登记构成集成作业台账,台账按月出具运行报表, 内容含作业数量、成功率、告警统计、变更统计与下线统计。报表随项目月报提交。

图 A5-8 集成作业的生命周期与各节点的审批与留痕

申请 附件一申请单 评审 六项检查 登记 元数据+接口同号 开发 脚本纳入配置管理 试运行 三周期+对账 运行中 纳入统一监控 变更 三类分级 重大变更回到评审 下线 三项确认 运行期的留痕(第六章要求) 每次执行:作业编号 · 批次 · 起止时间 · 行数 · 结果 · 失败原因 每次取数:源对象 · 字段范围 · 调用账号 · 调用方岗位 · 客户端标识 每次回写:提交前值 · 提交后值 · 确认岗位 · 确认时间 日志保留期限按数据安全管理办法规定,不短于项目期 各节点的审批责任 申请与评审:项目组数据架构岗提出,治理负责岗核准 新增通道、用途变更:甲方数据管理办公室会同信息安全部门 源端账号开通与回收:甲方系统管理岗位 审批记录与作业登记一并保存,可按作业编号检索全过程 轻微变更(字段范围扩展、调度参数调整)不回到评审节点,由数据架构岗核准后直接更新登记 实线为正常流转,虚线为重大变更的回退路径 本图为制度流程图,不代表平台界面

图 A5-8 集成作业的生命周期与各节点的审批与留痕。数据来源:招标文件 3.2.6.1.1.2.3 第(3)项(b1261、b1262);低峰时段要求见 3.2.2.1 各系统集成要求。

4.7 第四章 数据共享管理

第三十二条(共享的三种情形) 本规范区分三种共享: 项目内共享,指平台数据提供给本项目的场景验证与数据集加工环节; 甲方内部共享,指提供给甲方其他部门或其他系统; 对外提供,指提供给甲方授权的外部对象。三种情形的审批层级与要求递增。

第三十三条(共享分级) 共享的审批层级由数据敏感级别与共享情形共同决定,见表 A5-50。 敏感级别按《数据安全分级标准》取值。本表是本章的核心条文,审批不得越级简化。

表 A5-50 共享审批权限矩阵

敏感级别项目内共享甲方内部共享对外提供
公开数据架构岗登记即可数据管理办公室备案数据管理办公室审批
内部数据治理负责岗核准数据管理办公室审批数据管理办公室+信息安全部门审批
敏感数据管理办公室审批数据管理办公室+业务归口部门审批数据治理委员会审批,并须出具安全评估意见
重要数据管理办公室+信息安全部门审批数据治理委员会审批不提供原始数据,仅可按经审批的统计口径提供派生结果

第三十四条(共享申请) 共享申请须提交《数据共享申请与审批单》(见附件二), 内容含:申请方与用途、数据范围与字段、使用期限、存放位置、拟采用的共享方式、 是否二次分发、脱敏要求。用途须具体到业务事项,不接受「用于研究」一类表述。

第三十五条(用途限定) 共享数据仅可用于申请时登记的用途。 用途变更须重新申请;超出用途使用按违规处置。

第三十六条(使用期限与回收) 共享须设使用期限,到期自动失效。 期限届满需延续的,重新申请。以副本方式提供的数据,到期后使用方须按约定方式销毁 并提交销毁确认;以访问方式提供的,到期后由平台回收权限。

第三十七条(脱敏要求) 共享数据中含人员、客户、价格、成本等敏感字段的, 按表 A5-51 的规则脱敏。脱敏在共享环节执行,不改动平台内原始数据; 脱敏执行结果须留痕,含脱敏规则编号与执行时间。

表 A5-51 脱敏规则表

字段类型典型字段脱敏方法保留的信息适用共享情形
人员标识人员编码、姓名、联系方式替换为岗位或班组标识组织归属全部情形
客户标识客户名称、矿方名称按客户类型与区域编码替换类型与区域甲方内部共享、对外提供
价格与成本物料单价、成本、报价分档区间化或按基期归一相对高低与趋势甲方内部共享、对外提供
合同金额合同额、回款额区间化量级对外提供
图纸标识图号、工艺卡号保留结构、替换序列段可关联性对外提供
位置与路径存储路径、实例地址替换为登记标识可追溯性全部情形
设备与测点矿方设备编码、矿名按设备类型与工况类型替换类型与工况对外提供

脱敏方法一列的「保留的信息」是本表的设计要点:脱敏不是把字段抹掉, 而是在去掉识别性的同时保留下游分析所需的可比性。 价格字段若直接抹除,库存与供应链场景的物料分层就无法做; 按基期归一则既不暴露绝对值又能保留相对关系。

第三十八条(共享方式) 共享方式按优先顺序为: 平台内授权访问(不产生副本)优先; 按需导出的受控副本次之; 数据接口服务用于系统间集成; 离线介质交付仅在前三种不可行时采用,须经额外审批并登记介质编号与交接记录。

第三十九条(禁止二次分发) 共享数据未经原审批方同意不得二次分发。 申请单中须明确使用方的保管责任与人员范围。

第四十条(项目内共享的简化) 项目内共享在不涉及敏感与重要级数据时按登记制, 不逐次审批,但须在作业登记中注明消费方与用途,并纳入月度共享台账。 这一简化的前提是项目内各环节的访问权限已按岗位最小必要配置。

第四十一条(对外提供的额外要求) 对外提供除按矩阵审批外,另须完成三项检查: 一是数据权属检查,确认所提供数据的权属与使用权范围; 二是合规检查,核查是否包含不可用于商业用途的建设内容、是否含第三方许可受限内容; 三是安全检查,确认脱敏已执行、提供方式与交接记录齐备。三项检查的结论附在审批单后。

第四十二条(对外服务的接口口径) 本项目的数据集将具备按统一目录标识登记、 统一身份注册与标准接口互联互通对接的条件(b1206、b0676), 对外提供的审批口径因此须先行写定,不等到挂牌时再议。 数据集通过运营服务管理平台挂牌与对外发布的具体环节属平台侧职责, 本规范约定移交时须同时移交的材料:数据集版本指纹、数据卡、质检与验证报告、 权属与许可登记记录。

第四十三条(共享台账) 全部共享申请与审批构成共享台账,登记字段见附件五。 台账按月统计共享次数、涉及数据范围、到期回收执行情况,随项目月报提交。

第四十四条(拒绝与申诉) 共享申请被拒绝须书面说明理由。 申请方认为理由不成立的,可向上一级审批方提出一次复核,复核结论为最终结论。

图 A5-9 数据共享的申请、审批、授权、使用与回收闭环

共享申请 用途·范围·期限 分级判定 级别×情形 按矩阵审批 表 A5-50 脱敏与授权 规则编号留痕 使用 限用途·留日志 期限届满 自动失效 回收与销毁确认 权限回收或销毁回执 台账登记 月度统计与审计 需延续则重新申请,不自动续期 对外提供的三项附加检查(第四十一条) 权属检查:所提供数据的权属与使用权范围 合规检查:是否含不可用于商业用途的建设内容、第三方许可受限内容 安全检查:脱敏已执行、提供方式与交接记录齐备 数据集移交时随附材料(第四十二条) 版本指纹 · 数据卡 · 质检报告 · 验证报告 权属与许可登记记录 挂牌展示与对外发布环节属运营平台侧职责 责任边界:审批在甲方相应层级;脱敏执行、授权配置、日志保存与回收由项目组承办;使用方承担保管与用途限定责任 实线为正向流转,虚线为期限届满后需重新申请的路径

图 A5-9 数据共享的申请、审批、授权、使用与回收闭环。数据来源:招标文件 3.2.6.1.1.2.3 第(3)项(b1261、b1262);对外服务接口要求见 b1206、b0676。

4.8 第五章 源端变更与影响评估

第四十五条(变更通知责任) 甲方源系统的表结构、字段含义、接口协议、 取值域或数据口径发生变更,由该系统的变更通知责任岗位在变更实施前通知项目组。 通知责任岗位逐系统登记在分布台账中。未经通知的变更导致数据异常, 按第五十六条的情形二处理。

第四十六条(变更分级) 源端变更分四级,分级与处置要求见表 A5-52。 分级由项目组数据架构岗在收到通知后一个工作日内判定并反馈。

表 A5-52 源端变更分级与处置

级别变更情形影响评估范围处置时限审批
一级主键或业务标识规则变更;表拆分或合并;系统停用或替换血缘反查覆盖已登记的全部下游对象,含受影响的作业、模型、视图、数据集版本与场景结论评估结论五个工作日内出,同步修改方案十个工作日内出甲方数据管理办公室
二级口径变更;取值域变更;字段语义变更血缘反查至直接下游两层,含落标与质量规则的连带修改评估结论三个工作日内出数据治理负责岗
三级字段新增;字段长度放宽;接口版本升级且向后兼容影响登记,必要时扩展字段范围两个工作日内完成登记数据架构岗
四级注释修订;非取数范围内的变更仅登记五个工作日内登记无需审批

第四十七条(影响评估单) 一级与二级变更须出具《源端变更影响评估单》(见附件三), 内容含:变更内容与来源通知、受影响的作业与模型清单、受影响的数据集版本与场景结论、 同步修改方案、复测方案、回退方案、建议的实施时点。

第四十八条(已发布数据集版本的处置) 变更导致某一版数据集的构成血缘不再成立时, 该版本不自动作废,而在数据集台账中标注「口径已变更」并给出影响说明, 由数据集发布责任岗位决定是否重出。理由是数据集一经交付可能已被下游使用, 静默作废会造成下游结论无法解释。

第四十九条(同步修改与复测) 同步修改完成后须复测: 修改涉及的作业按第二十四条重新试运行一个完整周期; 修改涉及的模型按模型变更复测要求执行; 修改涉及的数据集输入集须重新经质量检查节点判定并出具结论。复测通过方可恢复正常调度。

第五十条(变更的反向回写) 变更评估与处置结论须回写三处: 分布台账的相应行与矩阵的相应接口;集成作业登记的最近变更单号; 受影响文档(分层架构、本规范)的修订记录。三处回写完成,该次变更方可关闭。

图 A5-10 源端变更的通知、评估与关闭流程

甲方变更通知 责任岗位逐系统登记 分级判定 一个工作日内反馈 血缘反查 作业·模型·数据集·场景 影响评估单 附件三 分级审批 表 A5-52 同步修改与复测 一周期试运行 三处回写 台账·作业登记·修订记录 变更关闭 三处齐备方可关闭 未经通知的变更:作业告警触发排查 → 定位为源端变更 → 补做评估并记录为未通知变更 → 纳入月度报告 这类情形的处置重点不是追责,而是把变更补入台账,否则下一次同类问题还会重复发生 已发布数据集版本不自动作废,标注「口径已变更」并给出影响说明(第四十八条) 责任边界:变更通知在甲方系统管理岗位;分级、评估、修改与复测由项目组承办;一级变更审批在甲方数据管理办公室 本图为制度流程图;血缘反查的能力依赖元数据登记的完备程度

图 A5-10 源端变更的通知、评估与关闭流程。数据来源:招标文件 3.2.6.1.1.2.3 第(4)项 对变更管理方法的要求(b1263、b1264);本规范第五章条文。

4.9 第六章 安全、审计与留痕

第五十一条(访问控制) 集成与共享涉及的账号按岗位最小必要配置,一岗一账号, 不设共享账号;源端账号由甲方系统管理岗位开通并定期复核; 平台内权限按数据分级与岗位职责授予,权限变更留痕。

第五十二条(日志留痕) 下列活动须完整记录日志,字段见表 A5-53: 集成作业的每次执行、对源端的每次取数调用、每次受控回写、 每次共享授权与访问、每次权限变更。日志不可修改,保留期限按 《数据安全管理办法》规定且不短于项目期。

表 A5-53 审计日志字段定义

字段必填说明
日志编号是平台发号,全局唯一
活动类型是作业执行/源端取数/受控回写/共享授权/共享访问/权限变更(枚举)
发生时间是精确到秒
作业或申请编号是关联作业编号或共享申请编号
对象标识是源对象或目标对象标识
字段范围是本次涉及的字段清单引用
操作账号是账号标识
操作岗位是岗位名称,不记录个人姓名
客户端标识是发起端标识
数据量是行数或容量
结果是成功/失败/部分成功(枚举)
失败原因否失败时必填
脱敏规则编号否共享类活动涉及脱敏时必填
确认岗位与时间否受控回写必填

日志字段中「操作岗位」只记录岗位不记录个人姓名,这与数据最小化要求一致; 需要追溯到具体人员时,经甲方信息安全管理部门按既有流程从账号台账反查。

第五十三条(审计抽查) 每季度一次审计抽查,抽查内容: 作业登记与实际取数范围是否一致;共享授权是否均有对应申请与审批; 到期共享是否已回收;脱敏是否按规则执行;日志是否完整无缺口。 抽查比例不低于当期作业数与共享申请数各百分之十,抽查报告提交甲方数据管理办公室。

第五十四条(取数范围核对) 审计抽查中发现实际取数范围超出登记范围的, 立即收窄至登记范围并补做评估;属登记遗漏的,补登记;属擅自扩大的,按违规处置。

第五十五条(日志完整性) 日志出现缺口(时间段无记录但有数据变化)须作为一级问题处置, 查明原因并补全可补部分,不可补部分在审计报告中明确标注。

第五十六条(违规情形与处置) 下列情形按违规处置: 情形一,未登记即取数或未审批即共享——立即停止该活动,补做申请与评估,记入月度报告; 情形二,源端变更未通知导致数据异常——由双方在项目例会上确认事实,补入台账, 并复核该系统的通知责任岗位登记是否准确; 情形三,共享数据超出登记用途使用或二次分发——停止授权并回收,由甲方按内部管理规定处理; 情形四,日志缺失或被修改——作为一级问题处置并追查原因。 违规处置的目的是恢复可控状态与补齐记录,而非替代甲方内部的管理问责。

4.10 第七章 责任、考核与监督

第五十七条(三方责任边界) 责任边界见表 A5-54。表中未列事项按「谁产生谁负责、 谁使用谁负责」的原则协商确定,协商结论补入本表。

表 A5-54 源端、集成方与使用方的责任边界

事项甲方源端项目组(集成方)使用方
通道开通与账号开通、回收、定期复核提出规格要求、配合联调—
取数材料提供提供连接信息、数据字典或设计说明书、低峰时段据以编制台账与作业—
源端数据质量源系统内数据的准确与完整清洗、落标与质量问题反馈反馈使用中发现的问题
变更通知变更实施前通知分级、评估、同步修改与复测接受通知并适配
集成作业运行—开发、调度、监控、失败处置—
数据分级业务含义与敏感性判定按分级配置权限与脱敏按级别保管
共享审批按矩阵审批执行授权、脱敏与回收按用途与期限使用
日志与审计配合核对记录、保存、抽查与报告配合核对
受控回写岗位确认、流程落地提供回写内容与校验—
填报入口与采集补齐流程发文与岗位执行、采集设施配合字段设计、预填逻辑与校验规则—

第五十八条(考核指标) 本规范的执行情况按四项指标考核,按季度统计: 作业登记完备率(已登记作业数与实际运行作业数之比); 共享合规率(有完整申请与审批的共享次数占比); 到期回收执行率;变更评估按时完成率。四项指标的目标值在首季度统计后确定基线, 此后逐季逐步接近约定目标,不在无基线时预设数值。

第五十九条(监督) 甲方数据管理办公室对本规范的执行情况进行监督, 可随时调阅作业登记、共享台账与审计日志。项目组按月提交执行情况报告。

第六十条(报告内容) 月度报告内容:新增与下线作业数、告警统计与处置情况、 共享申请与审批统计、到期回收情况、源端变更统计与评估完成情况、违规情形与处置、 四项考核指标的当期值。

4.11 第八章 附则

第六十一条(解释与修订) 本规范由甲方数据管理办公室负责解释。 每年一次例行复核;下列情形即时启动修订:新增集成通道经审批通过; 数据安全分级标准修订;受控回写范围调整;对外提供口径调整; 审计抽查发现制度性缺口。修订须经原审批层级重新批准。

第六十二条(生效与附件) 本规范自甲方发布之日起生效。 附件一《数据集成作业申请单》、附件二《数据共享申请与审批单》、 附件三《源端变更影响评估单》、附件四《集成作业登记台账》、附件五《数据共享台账》 与本规范具有同等效力。

4.12 与矿山装备制造业务的结合点

本规范的条文多数是通用的制度语言,但其中六处是按本企业的实际条件写的, 这几处决定了规范能不能真正执行。

表 A5-55 规范条文与业务条件的对应

条文对应的业务条件若按通用写法会出什么问题
第十三条 取数窗口限定零点至五点招标文件对 17 套源系统均提出低峰时段要求;生产系统白天负载高通用写法只说「避开业务高峰」,排程时无依据,源端会要求重新协商
第十五条 源端条件不满足时的三类处置原生图纸不支持整批导出;部分表无变更标识字段;采集仅覆盖部分车间与设备通用写法要求「源端应提供标准接口」,遇到做不到的情形就无路可走
第十六条 解析就地执行、原件不出内网图纸与工艺文件是企业核心设计资产,约 63 万张通用写法允许文件外传到加工环境,与资产保护要求冲突
第十七、十八条 受控回写限定两项并须岗位确认备料场景需向企业资源计划回填零件明细与物料清单、向工时定额回填定额建议通用写法笼统允许「双向同步」,会把回写范围做成无边界
第二十七条 数据延迟不得以空结果写入下游制造执行系统的报工时点相对实际作业有滞后通用写法只要求「保证数据及时性」,滞后发生时无处置口径,下游会把空当成零
第三十七条 价格字段按基期归一而非抹除库存与供应链场景需按单价对物料分层,库存资金年内由约七亿累积至年底最高十亿通用写法把价格一律抹除,物料分层无法做,场景验证失去输入

六处之外,第四十二条关于对外提供口径先行写定的要求,针对的是本项目数据集的既定去向—— 按统一目录标识、统一身份登记、统一接口要求接入国家数据基础设施, 并在数据交易所挂牌(b0676、b1206)。对外提供的审批口径若等到挂牌时再议, 届时会发现部分数据的权属与许可条件未在加工期登记,无法补证。 因此权属与许可登记在加工期即须完成,这一要求通过第四十一条的权属检查前置落实。

4.13 评审与修订机制

表 A5-56 本规范的评审与修订机制

项规定
例行复核每年一次。复核报告内容:四项考核指标的年度变化、违规情形统计、条文执行中的争议与解释、建议修订条文清单
触发修订五类情形见第六十一条
评审组织甲方数据管理办公室与信息安全管理部门共同组织;源系统业务归口部门与使用方代表参加
评审材料修订说明、受影响条文对照表、执行影响评估、过渡期安排
过渡期条文修订涉及已开通作业或已批共享的,设不少于二十个工作日的过渡期,过渡期内按原条文执行
版本发布条文实质变更递增主版本号并重新批准;表单格式与附录调整递增次版本号
下游通知发布后三个工作日内通知全部执行岗位,并组织一次条文宣讲;涉及审批矩阵变更的,同时通知全部在批申请的申请方
签收执行岗位签收记录留存

4.14 附件:表单模板与样例填写

4.14.1 附件一 数据集成作业申请单

表 A5-57 《数据集成作业申请单》模板与样例填写

栏目填写要求样例填写
申请单号平台发号AP-JOB-0037
申请日期—【待填】
申请岗位岗位名称数据架构岗
作业名称按命名规则ods_htc_furnace_record_load
拟用通道CH-1 至 CH-7CH-3 接口取数+CH-6 时序取数(两个子作业)
数据来源系统+对象热处理群控系统:炉次工单、开炉与完工记录;当前与设置温度、冷却水温度、淬火液温度、温控测量值
对应接口编号取自交互矩阵IF-016
目标对象层次+表名ods_htc_furnace_record、ods_htc_signal_index
字段清单引用字段映射表映射表登记标识 FM-0142,共【待填】个字段
用途具体到业务事项支撑热处理过程验证场景的炉次档案构建;支撑制造过程数据集与产品质量数据集的炉次成对样本
调度频率与窗口—炉次记录按炉次触发,全天;历史时序回溯日批,零点至五点
预估数据量注明口径炉次记录按试点炉型月增【待填】条;时序按秒级采样折算【待填】
幂等键字段或组合炉次号;时序按测点+时间窗
依赖作业—无上游依赖
失败处置重试与告警重试三次,间隔递增;失败告警至运维岗,阻断下游炉次档案视图刷新
安全分级初判按分级标准内部
评审意见六项检查结论六项通过;补充要求:须在登记中注明装炉量与码装方式字段当前为空及其空值语义
核准岗位与日期数据治理负责岗【待填】
4.14.2 附件二 数据共享申请与审批单

表 A5-58 《数据共享申请与审批单》模板与样例填写

栏目填写要求样例填写
申请单号平台发号AP-SH-0019
申请方与岗位部门+岗位甲方工艺职能部门【待填:部门全称】
共享情形项目内/内部/对外甲方内部共享
数据范围表或视图+字段图卡成对样本视图中的图纸解析字段与工艺卡工序序列,限试点分厂、限 2023 年以后图号
敏感级别按分级标准内部
用途具体业务事项工艺编制岗位核对历史可借用工艺的差异项,用于复用率统计口径校对
使用期限起止日期三个月,到期自动失效
共享方式四类之一平台内授权访问,不产生副本
存放位置若产生副本须填不适用
是否二次分发是/否否
脱敏要求规则编号无敏感人员与价格字段,不涉及脱敏
审批层级按矩阵内部级+甲方内部共享 → 数据管理办公室审批
审批意见—【待填】
授权执行执行岗位与时间项目组权限管理岗【待填】
回收记录到期回收情况【待填:到期日与回收确认】
4.14.3 附件三 源端变更影响评估单

表 A5-59 《源端变更影响评估单》模板与样例填写

栏目填写要求样例填写
评估单号平台发号CH-IMP-0006
变更来源通知通知文号或记录甲方系统管理岗位通知记录【待填】
变更内容原状与变更后物料主数据的物料分类编码由四位扩为六位,分类层级由三层增至四层
变更级别一至四级二级(取值域与语义变更)
受影响作业作业编号清单JOB-ODS-0005、JOB-DWD-0011、JOB-DIM-0003
受影响模型模型编码清单dim_item_dz、dwd_plan_stock_move_f、dws_plan_item_month_w
受影响视图与数据集清单库存与供需视图;供需计划数据集 V1.2 的物料分层字段
受影响场景结论说明库存与供应链验证的物料分层结果需重算;已出结论标注口径已变更
同步修改方案步骤与工期扩展字段长度、补建四层分类映射、重跑近两年分区、更新落标对照;预计【待填】工日
复测方案—三张受影响模型各抽样对账;物料分层结果与业务抽样核对
回退方案—保留原四位编码字段并行一个季度,异常时切回
建议实施时点—下一月度变更窗口
审批岗位与日期数据治理负责岗【待填】
4.14.4 附件四与附件五 两份台账

附件四《集成作业登记台账》的字段即表 A5-48 的全部字段,按作业编号排列, 每月出具运行报表。附件五《数据共享台账》的字段见下表,按申请单号排列。

表 A5-60 《数据共享台账》字段与样例行

申请单号共享情形申请方数据范围级别用途期限方式审批层级状态
AP-SH-0019内部共享工艺职能部门图卡成对样本视图(限试点分厂)内部复用率统计口径校对三个月授权访问数据管理办公室生效中
AP-SH-0020项目内共享场景验证取数方炉次档案视图内部热处理过程验证随项目授权访问治理负责岗核准生效中
AP-SH-0021内部共享生产管理职能部门库存与供需视图(价格字段按基期归一)敏感季度储备量测算口径核对一个季度授权访问数据管理办公室+业务归口部门审批中
AP-SH-0022对外提供【待填:外部对象】【待填】【待填】【待填】【待填】【待填】数据治理委员会待申请

4.15 职责矩阵与责任边界

第七条以四句话概括了四方的职责分工,第五十七条与表 A5-54 又按事项列出了三方的责任边界。两处都对,但都不足以在办一件具体的事时直接查到谁拟、谁签、谁批——第七条的粒度是「负责什么」,表 A5-54 的粒度是「谁对什么后果负责」,中间少了一层动作级的对应。

下表补这一层:把第二章至第七章的管理动作逐项落到承办方,一项动作一行。代码的含义是:拟指起草与填报,签指会签并对本方口径负责,审指审核并出具意见,批指批准并承担决定后果,执指按已批准的结论执行,督指事后核查执行情况,配指按要求提供材料,横线表示该方在此动作中无职责。

列名沿用第七条所称的四方,并把「使用方」单列——第四章的共享管理中使用方不是旁观者,用途限定、期限回收与禁止二次分发三条的执行责任都在它。

表 A5-67 《数据集成共享管理规范》职责矩阵

序动作对应条文数据管理办公室源系统管理岗位信息安全管理部门业务归口部门集成作业开发岗使用方
1本规范的起草与修订第六十一条批签签签拟配
2本规范的解释第六十一条批—————
3通道技术参数要求的确定第十条批签签—拟—
4通道选用顺序的判定第十一条审签配配批—
5新增通道的申请与审批第十二条批签签配拟配
6取数窗口与低峰时段的约定第十三条审批—配拟—
7取数范围变更的处理第十四条批签签签拟配
8源端条件不满足时的处置方式选定第十五条批签配签拟配
9原生图纸与工艺文件的就地解析第十六条审签批配执—
10受控回写范围的约定第十七条批签签批拟—
11受控回写的执行与岗位确认第十八条督执配执执—
12集成作业申请单的提交第十九条审配配签拟拟
13作业评审六项检查第二十条批签签签执配
14作业登记与元数据字段填报第二十一条督配配配执—
15作业依赖关系的显式声明第二十三条督配—配执配
16上线前试运行与对账第二十四条审签—签执签
17监控项配置与告警处置第二十五条督配配—执配
18失败重试与人工介入的判定第二十六条督配—配批配
19源端数据延迟的处置第二十七条审签—签执配
20重跑范围的指定与执行第二十八条督配—配执配
21作业变更的分级与审批第二十九条批签配签拟配
22作业下线与下游依赖确认第三十条批签配签拟签
23集成作业台账与月度运行报表第三十一条审配配配拟—
24共享情形与审批层级的判定第三十三条批配签签执配
25共享申请的提交与用途登记第三十四条审配配签执拟
26用途限定的遵守第三十五条督—督配配执
27使用期限的设定与到期回收第三十六条批配签配执签
28脱敏规则的确定与执行第三十七条审配批签执配
29共享方式的选定第三十八条批配签签拟签
30二次分发的审批与违规认定第三十九条批配签配配执
31对外提供的三项额外检查第四十一条审配批签执配
32共享申请拒绝理由的说明与申诉受理第四十四条批配签签配拟
33源端变更的通知第四十五条审执配签配配
34源端变更的分级第四十六条批签配签拟配
35影响评估单的出具第四十七条审签配签拟配
36已发布数据集版本的处置判定第四十八条批配签签拟签
37同步修改与复测第四十九条督配—签执配
38账号按岗位最小必要配置与复核第五十一条审执批配配配
39日志留痕与日志完整性核查第五十二条审配批—执配
40季度审计抽查第五十三条批配执配配配
41违规情形的认定与处置第五十六条批签签签配配
42四项考核指标的统计与基线确定第五十八条批配配配拟配
43月度执行情况报告的提交第六十条审配配配拟—

表 A5-67 数据来源:动作取自本规范第八条至第六十二条;方名取自第七条职责分工与表 A5-54。

第 10 行是本矩阵中唯一一行出现两个「批」的。受控回写的范围要同时过两道:数据管理办公室批的是回写这件事在治理上是否允许,业务归口部门批的是回写的内容在业务上是否正确。第十七条把回写限于明确约定的范围,而「明确约定」在实践中容易变成只有治理一侧签字;两个「批」分列,是要求业务侧在范围表上同样留痕。第 11 行随之把「执」给到三方——岗位确认在源端与业务侧,内容与校验在集成侧,缺任一方该次回写都不成立。

第 26 行与第 30 行的职责都落在使用方,这在一张以集成方为主的矩阵里容易被忽略。用途限定与禁止二次分发是共享管理中最常被突破的两条,而突破它们的动作发生在使用方那一侧,集成方从日志里只能看到数据被取走,看不到之后流向哪里。矩阵把「执」明确放在使用方,办公室与安全部门占「督」,对应第五十三条的季度抽查——这两条的落实靠事后抽查,不靠事前管控,条文与矩阵在此是一致的。

第 36 行把已发布数据集版本的处置判定列为需要使用方会签的事项。源端一处字段变更,可能使某一版数据集的构成血缘不再成立;此时是重新生成、标注失效还是维持原版并附说明,直接影响已经基于该版本开展的评测与场景验证。使用方在本行占「签」而不是「配」,是为了让这个判断在作出之前就听到下游的意见。

责任边界按下列六条划定,与表 A5-54 配合使用:表 A5-54 按事项划分三方责任,本节按动作补充其中容易含混的几处。

其一,源系统内数据的准确与完整由甲方源端负责。项目组负责清洗、落标与质量问题的反馈,不对源系统内数据本身作出保证;因源端数据问题导致的下游返工,其工作量按第二十九条的作业变更处理。

其二,通道开通、账号发放与授权范围由甲方决定。项目组提出规格要求并配合联调,不绕过授权流程自行取数;源端条件不满足时按第十五条提出替代方案,替代方案的采用须经审批,项目组不单方面选定。

其三,受控回写的内容由项目组提供并校验,回写动作所对应的业务流程与岗位确认由甲方落地。回写数据进入源系统后的使用与留存,按甲方对该系统的管理规定执行。

其四,共享数据在使用方处的用途、期限与分发,由使用方负责。项目组执行授权、脱敏与到期回收,并保存相应日志;对使用方在授权范围之外的使用行为,项目组在审计抽查中提出问题清单,不承担其整改实施。

其五,数据的敏感级别与业务含义由甲方判定。项目组按判定结果配置权限与脱敏规则,不代行分级;分级结论变更的,相应的权限与脱敏配置按第二十九条作为作业变更处理。

其六,本规范为样章,供甲方在实施期按自身系统环境与安全制度修改后发布。样章中的通道清单、技术参数与审批层级为模板与建议值,不构成已经甲方确认的制度条文。

本矩阵每一格的分工,是按本规范现有条文与表 A5-54 推出来的承办关系,不是甲方现行制度中的实际分工。甲方机构设置与岗位名称明确后,本矩阵须逐行复核,与第七条的职责分工条文一并更新;条文与矩阵不一致的,以修订条文为先。

五、三份文档的项目期交付与验收口径

5.1 交付时点与节奏

招标文件要求至少交付不少于 25 份数据治理规划文档(b1332),并说明具体的交付文档数量和 名称可在实施阶段滚动优化(b1334)。本附录三份文档的交付安排如下表。 三份均在蓝图设计阶段交付首版,作为后续建模与取数的前置依据。

表 A5-61 三份文档的交付时点与交付物构成

文档首版交付时点交付物构成后续版本节奏
《数据分布及数据流图》现状评估完成、首批接口开通清单确认后正文+分布台账电子表格+交互矩阵电子表格+三视角分图十余张+图元规范+明文位置清单(单独分发)随接口开通滚动维护;每季度出次版本
《数据模型分层架构》数据标准首版发布、分布台账首版发布后正文+首批模型清单+逐模型设计说明书+一致性检查结果每半年例行复核;遇触发条件即时修订
《数据集成共享管理规范》前两份发布、数据安全分级标准首版发布后正文八章六十二条+五件附表每年例行复核;遇触发条件即时修订

5.2 验收口径

三份文档的验收不按页数与字数,按下表的可检查项。验收人可按表逐项核对, 核对不通过的退回补充。这张表在项目期也是我方自查的清单。

表 A5-62 三份文档的验收检查项

文档验收检查项
《数据模型分层架构》一、五层职责、建模方法、工程约束与保留策略逐层写明;二、命名规则含正误示例且可由工具机器校验;三、六个主题域与 9 个业务域的映射完整;四、首批模型清单逐模型给出粒度、主键、更新频率与支撑对象;五、11 张一致性维表均有字段级设计,其中工序、图纸、炉次、焊缝与焊道、设备与测点五张给出完整字段表;六、事实表设计给出粒度声明、度量可加性与空值语义;七、禁止事项附检查方式;八、变更分级与通知时限明确;九、模型设计说明书模板可直接套用
《数据分布及数据流图》一、台账字段定义含取值域、校验规则与取证方式;二、17 套源系统与系统外资产逐行登记,未取证项标注待填而非估计;三、存储位置两级登记口径明确;四、三个视角的流图齐备且图元符合规范;五、系统间交互关系矩阵含权威源归属与现存问题,接口编号与作业编号对应;六、断点清单逐条给出打通方式、责任边界与验收口径;七、接口开通清单逐系统列出所需材料与招标文件依据
《数据集成共享管理规范》一、八章六十二条齐备,条文可执行且无「原则上」一类无判定标准的表述;二、七类通道的技术要求含并发、超时、幂等与断点续传参数;三、通道选用判定表可直接用于判定;四、作业登记字段定义完整;五、告警分级含触发情形、通知对象与响应时限;六、共享审批矩阵覆盖四个敏感级别与三种共享情形;七、脱敏规则表给出方法与保留信息;八、源端变更四级分级含评估范围与时限;九、审计日志字段定义完整;十、三方责任边界逐事项列明;十一、五件附表可直接使用

5.3 与其他治理文档的衔接

本附录三份文档与招标文件交付物清单中其余 34 份的衔接关系,集中在五处, 项目期编制时须按此口径对齐,避免同一事项在两份文档中给出不同规定。

表 A5-63 与其他治理文档的衔接口径

衔接事项本附录文档中的规定另一份文档对齐口径
元数据登记要求本附录规定作业与模型须登记,登记项见各表《元数据管理办法》(b1333r13)登记字段的权威定义在元数据管理办法,本附录引用
字段取值域本附录字段表标注「引用参考数据标准」《参考数据标准》《数据元标准》(b1333r20、b1333r21)取值域的权威定义在标准文档,本附录不自定义枚举值
质量规则与门限本附录规定门控检查项,门限值引用质量域《数据质量校验规则库》(b1333r26)门限值的权威定义在规则库
敏感分级本附录审批矩阵按四级分《数据安全分级标准》(b1333r31)级别定义与判定方法在分级标准
数据开放流程本规范第四章管内部共享与对外提供的审批《数据开放共享管理规范》(b1333r38)面向外部的开放申请、授权与回收流程在开放共享管理规范;两份文档的分界为:本规范管「平台内与内部共享及对外提供的审批口径」,开放共享管理规范管「对外开放的完整流程与对外服务形态」

第五处:《数据集成共享管理规范》属数据架构域(b1333r12、b1261、b1262),《数据开放共享管理规范》属应用流通域(b1333r38、b1327、b1330)。本附录按架构域口径编写,对外开放完整流程不在此展开,避免与应用流通域文档重复。

六、本稿待补材料清单

下列材料不在本平台上,须由相应方提供后填入三份样章的对应占位。 清单按材料而非按文档组织,便于一次索取。

表 A5-64 待补材料清单

序号待补材料用于填补的占位需要谁提供影响
1甲方治理组织架构的正式发布文件(审批岗位与签批人)三份文档的文件标识表中的批准栏甲方数据治理委员会不影响正文,影响文件首页签批栏
2备料分厂正式工序字典(28 道工序的编码、名称、约束)表 A5-15 的样例行与「其余工序」行甲方工艺部门工序维表的取值域无法定稿
3部件坐标系定位基准的正式口径焊道维表 coord_ref 字段说明甲方工艺与质量两职能三类检测结论无法叠加
417 套源系统的数据字典或数据库设计说明书、连接信息、低峰时段确认表 A5-35 至 A5-37 的存量规模、增量频率、字段数;表 A5-40 的到位状态甲方各系统管理岗位(招标文件已要求提供,见 b0813 等)台账与矩阵无法定稿,接口开通无法排程
5档案室纸质检测报告的册数与年份区间表 A5-37 第 DL-018 行甲方档案职能数字化批次计划无法测算
6现有采集范围清单与扩展清单(以现场勘察结论为准)表 A5-36 第 DL-013 行;设备与测点维表 is_in_scope甲方设备与信息化职能时序取数范围无法确定
7数据安全分级标准首版表 A5-50 审批矩阵的级别定义;各字段表的敏感级别列本项目安全域交付(项目期内)共享审批无法执行
8数据元标准、参考数据标准首版各字段表「引用数据元标准」「引用参考数据标准」处本项目标准域交付(项目期内)字段取值域无依据
9库存三套口径与工时定额两处来源的仲裁结论表 A5-38 权威源归属列;表 A5-39 第 BP-10 行甲方财务、生产管理与工艺职能相关模型无法建
1011 类管理制度与 9 类合同文档的正式分类口径文件分类维表取值甲方协同办公与法务职能四个问答场景的语料分类无依据
11受控回写范围的书面约定本规范第十七条甲方数据管理办公室与业务归口部门回写范围无边界
12各项门限值与考核指标目标值的基线表 A5-39 验收口径列;本规范第五十八条首批数据到位后由项目组提出、甲方确认验收无量化标准

清单中第 4 项与第 7、8 两项的性质不同:第 4 项是甲方须提供的既有材料, 招标文件已明确要求各源系统提供(b0813、b0815、b0820、b0822 等),到位进度直接决定 台账完成进度;第 7、8 两项是本项目自身在其他能力域的交付物,属项目内部的前后依赖, 在实施计划中已按先后顺序安排。两类材料的催办路径不同,清单中分列便于分别跟进。

✎ 对这段提意见

修改意见 ·