递交截止 2026-10-20 09:30 · 生成于 2026-10-16 15:48
预览稿,非最终投标文件;各节内容以各任务 MAIN.md 为准。
招标文件要求至少交付不少于 25 份数据治理规划文档,并逐份列明名称与形态(b1332、b1333r01—b1333r38), 同时说明具体的交付文档数量和名称可在实施阶段滚动优化(b1334)。清单共 37 份, 按能力域归类后分散在本投标文件附录各节。本节只处理数据架构域中的三份, 其余各域的样章见对应附录节次;同属数据架构域的第 12 项《元数据管理办法》(b1333r13) 因与元数据、资产两域的文档成组,归入数据资产与元数据类样章一并出具,本附录不重复给出。
三份文档按确定引用顺序编制:分布台账与数据流图先说明数据在哪里、经什么路径流动;分层架构据此确定每一层承接什么、由谁加工;集成共享管理规范再把前两份中的通道、作业与权属关系条文化,成为可被考核的制度。项目期编制顺序为:分布与流图 → 分层架构 → 管理规范;发布后互为依据,任一份修订须按本附录各样章规定的机制通知另两份的使用方。
图 A5-1 三份文档的编制顺序、相互引用与使用方。数据来源:招标文件 3.2.6.1.1.2.3 (b1256—b1262、b1265)与 3.2.6.1.1.2.10 交付物清单第 9—12 项(b1333r10—b1333r13)。
每份样章按同一体例出具,六项齐备:文件标识与版本号;适用范围与生效条件; 章节结构写到三级;关键条款或关键字段的实际内容——管理规范给出条文, 标准与台账类给出字段定义表、取值域与校验规则,并附若干条真实形态的样例行; 与矿山装备制造业务的结合点;评审与修订机制。样章中不使用「此处略」「详见附件」一类留白, 凡确需甲方确认后才能定值之处,以【待填:…】标出并在本附录末尾的待补材料清单中逐条列明。
样章与正式文档的差异如下:(1)样例行说明填写粒度与字段口径,数值取自方案阶段调研与既定事实口径,正式版以现状评估与接口开通后的实测为准;(2)样章章节即为正式文档目录,正式文档各节另含设计说明与取证记录,篇幅数倍于样章;(3)样章生效条件为「经甲方数据管理办公室评审通过后发布」,投标提交的样章不构成已发布制度。
三份文档的编号沿用本投标文件附录《标准规范、样例数据卡与质检/验证报告模板》 第 2.3 节确定的五段式编号 GHY26691-<类别码>-<域码>-<序号>-<版本号>,不另立规则。 数据治理各域的文档取类别码 GV,域码即治理域号,数据架构域为 03, 这三份文档因此同属 GV-03 号段——编号本身即标明文档属于哪个治理域。序号在本域内按本节清单的出场顺序连续分配,从 0001 起,不编码招标文件交付清单的行号——清单一经增补或某一行下挂多份文件,由行号推导出的编号就不再成立;与清单的对应关系写在「对应条目」一列。
表 A5-1 本附录三份文档的标识
| 招标文件序号 | 文档名称 | 文档编号 | 类别码含义 | 形态 | 对应招标文件单元 |
|---|---|---|---|---|---|
| 9 | 《数据模型分层架构》V1.0 | GHY26691-GV-03-0001-V1.0 | DS 设计与说明书 | 文档 | b1333r10、b1257、b1258 |
| 10 | 《数据分布及数据流图》V1.0 | GHY26691-GV-03-0002-V1.0 | DS 设计与说明书 | 文档 | b1333r11、b1259、b1260 |
| 11 | 《数据集成共享管理规范》V1.0 | GHY26691-GV-03-0003-V1.0 | ST 标准规范与制度 | 文档 | b1333r12、b1261、b1262 |
版本号规则同样沿用该附录的两段式:主版本号在章节结构调整、字段增删或条款实质变更时递增, 次版本号在取值域扩充、样例更新、文字勘误时递增。主版本号递增须重新履行评审; 次版本号递增由编制岗位提出、文档管理岗位核准后发布,并在修订记录中注明变更条目。 三份文档的 V1.0 均以蓝图设计阶段完成评审为发布时点,此后按各自第十章规定的周期滚动修订(b1334)。
技术方案数据治理章节已就数据架构规划给出规划口径:五层分层的职责与约束、主题域划分、 分布台账的登记字段、系统间交互关系、七类采集通道的适用场景与管理要求。 本附录不重复论述这些口径,而是把它们落成文档样章,补充三类正文不便展开的内容: 一是字段级设计——维表与事实表逐字段的类型、来源、取值域与校验规则; 二是条文级规范——集成与共享的条款、审批矩阵与表单; 三是可直接填写的台账与表单模板。读者如需了解某项设计的决策理由,见技术方案正文; 如需了解项目期将交付的文档长什么样、字段怎么定、条款怎么写,见本附录。
三份样章合计给出 64 张表、10 幅图与 62 条规范条文。表与图均可直接作为正式文档的对应章节使用。
本节为招标文件交付物清单第 9 项的样章(b1333r10),回应数据架构规划第(1)项 对可复用数据仓库模型与五层分层架构的要求(b1257、b1258)。
表 A5-2 文件标识(正式文档首页)
| 项 | 内容 |
|---|---|
| 文件名称 | 数据模型分层架构 |
| 文件编号 | GHY26691-GV-03-0001-V1.0 |
| 版本号 | V1.0 |
| 文件类别 | 数据治理规划成果 · 设计与说明书 |
| 密级 | 内部 · 限项目组与甲方相关岗位 |
| 编制 | 项目组数据建模岗 |
| 校核 | 项目组数据治理负责岗 |
| 审核 | 甲方数据管理办公室 |
| 批准 | 甲方数据治理委员会分管领导【待填:审批岗位与签批人以甲方治理组织架构发布后为准】 |
| 生效日期 | 经审批发布之日起生效【待填:发布日期】 |
| 修订周期 | 每半年一次例行复核;遇触发条件即时修订(见 2.10 节) |
| 保存期限 | 项目期内长期有效,项目结束后随治理成果移交并按甲方档案管理要求归档(b2236) |
| 页数与附件 | 正文【待填:页码】页,附模型设计说明书 1 份、首批模型清单 1 份 |
表 A5-3 修订记录(正式文档首页背面,样例形态)
| 版本 | 日期 | 修订内容 | 修订依据 | 编制 | 审核 |
|---|---|---|---|---|---|
| V1.0 | 【待填】 | 首次发布 | 蓝图设计阶段评审结论 | 数据建模岗 | 甲方数据管理办公室 |
| V1.1 | 【待填】 | 补充焊道参数事实表的层间温度字段;修订可信度等级取值域 | 焊接场景数据要求评审意见第 3 条 | 数据建模岗 | 甲方数据管理办公室 |
| V2.0 | 【待填】 | 新增在役服务主题域的测点时序汇总模型;调整汇总层分区策略 | 装备健康诊断场景首批验证结论 | 数据建模岗 | 甲方数据治理委员会 |
本文件适用于本项目数据治理与加工生产平台内全部数据模型的设计、开发、变更与下线, 覆盖招标文件所列人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、 采购管理、营销管理、质量管理共 9 个业务域(b1336)在平台侧的模型落地, 以及四类数据集加工与 11 个验证场景取数所需的全部模型对象。
本文件不适用于三类情形:甲方各源业务系统内部的表结构设计,源系统的结构由其自身管理, 本文件只约定接入后在平台各层如何组织;数据集封装包的内部结构,该部分由数据集封装与 自描述规范约定;智能场景侧的应用数据结构,场景建设不属本包范围,平台按本文件应用层 约定的输出形态向场景提供数据与验证服务。
本文件生效须同时满足三项条件:一是经甲方数据管理办公室组织评审通过并由甲方正式发布; 二是平台的建模工具与元数据登记功能已具备,使本文件约定的命名、分区与登记要求可被工具检查; 三是数据标准域的业务术语标准、数据元标准与参考数据标准已发布首版, 因为本文件中字段的取值域引用的是这些标准条目,标准未发布则取值域无依据。 第三项条件在时间上构成前后关系:数据标准首版发布早于本文件发布,二者在蓝图设计阶段同步推进。
本文件发布后,新建模型一律按本文件执行;评估阶段为验证取数可行性而建的临时模型, 在本文件发布后三十个工作日内完成整改或下线,整改清单由数据建模岗提出、治理负责岗核准。
表 A5-4 本文件的上位依据与下位引用
| 关系 | 文件 | 关系说明 |
|---|---|---|
| 上位依据 | 《数据治理顶层规划方案》 | 本文件是其数据架构域的分项落实 |
| 上位依据 | GB/T 36073 数据管理能力成熟度评估模型 | 数据架构能力域三级要求 |
| 同级引用 | 《数据分布及数据流图》 | 本文件各层的输入来源与取数通道取其结论 |
| 同级引用 | 《数据集成共享管理规范》 | 本文件的加工作业须按其规定申请、登记与变更 |
| 同级引用 | 《元数据管理办法》 | 本文件约定的表、字段、作业须按其要求登记 |
| 同级引用 | 《数据元标准》《参考数据标准》《指标标准》 | 本文件字段的取值域与指标口径引用其条目 |
| 下位文件 | 《数据设计开发规范》 | 按本文件的分层与命名约定展开开发作业要求 |
| 下位文件 | 模型设计说明书(逐模型一份) | 按本文件 2.9.4 节模板出具 |
本项目的分层设计遵循三条原则,它们决定了后续所有字段级设计的取舍。
第一条是一致性维度先行。本企业的数据特征是同一物理工件的过程事实分散、 且各系统的标识字段互不相同:施工号、产品号、图号、零件号、物料编码、工单号、炉次号、 焊缝与焊道编号、设备编码之间没有稳定的主键关系。若在接入层就不解决标识对齐, 上层每一个汇总模型都要各自做一遍关联,关联规则会分叉,同一个问题在不同模型里得到不同答案。 因此维表层先立起来,事实表一律引用维表层代理键,事实表之间不得按业务编码直接关联。
第二条是层间只做一件事。每一层只承担一类加工:贴源层只承接不转换,明细层只做清洗、 落标与标识对齐,汇总层只做按主题的轻度汇总,应用层只做面向消费方的组装。 把转换集中在明细层的好处是出了问题只查一处;代价是明细层的作业较重, 这一代价由作业级的重跑与幂等要求来对冲(见 2.9.2 节)。
第三条是先立结构后等数据。现状评估将把数据资产按供给能力分四档, 其中部分资产当前尚无取数通道或字段缺失。对这类资产,模型结构先行建立并在元数据中 标注「待数据到位」状态,数据到位后直接灌入,不必返工改模型。 热处理炉次事实表中的装炉量与码装方式两个字段即属此例,它们须甲方在既有业务流程中 增设填报入口后才能填充。
表 A5-5 五层职责、建模方法、工程约束与保留策略
| 层次 | 层代码 | 职责 | 建模方法 | 工程约束 | 保留与分区 |
|---|---|---|---|---|---|
| 贴源层 | ODS | 原样承接源系统结构化数据与非结构化文件的登记信息,不做业务加工 | 与源表结构一一对应,追加采集时间、批次号、源系统标识 | 禁止口径转换与字段改名;源系统字段变更须先走变更通知流程再调整本层;表名前缀标明来源系统 | 源数据按采集日分区长期保留,不做裁剪 |
| 明细层 | DWD | 按业务过程组织明细事实,完成清洗、标准落标与标识对齐 | 维度建模的事实表,按业务过程建表,一事实一粒度 | 必须引用维表层代理键;禁止事实表之间按业务编码直接关联;每条清洗规则须登记并可追溯到数据标准条目或质量规则编号 | 保留全项目期,按业务日期分区 |
| 维表层 | DIM | 承载一致性维度,是平台内唯一的主数据出口 | 缓慢变化维,按需采用历史拉链 | 代理键由平台生成且终身不变;业务编码作为自然键保留;维表变更须经主数据流程;禁止在事实表加工作业中就地新增维度成员 | 保留全部历史版本,不分区 |
| 汇总层 | DWS | 按主题域组织轻度汇总与指标中间结果 | 按主题与统计周期建宽表 | 指标定义须引用指标标准条目;同一指标只在一处计算,他处引用不重算;禁止跨主题域关联 | 保留全项目期,按统计周期分区 |
| 应用层 | ADS | 面向 11 个验证场景与四类数据集加工的直接输出 | 按场景与数据集需求建表或视图 | 不在本层做跨主题的复杂加工;每个输出须登记血缘与版本号;对外提供前须完成分级标识与脱敏检查 | 按消费方约定,保留不少于两个版本 |
层代码既是表名前缀也是元数据中的层次属性,两者取值一致,不另设映射。
分层的名字是通用的,分层能不能守住靠两样东西:层间约束与门控检查。 层间的门控检查即质量检查节点——设置在数据生产流程中的检查环节, 依据质量规则判断数据是否符合进入后续工序或交付的条件,未通过的不进入下一层。 下图给出五层之间的加工作业、每道作业的门控检查项以及不通过时的处置, 这也是《数据设计开发规范》中作业设计的依据。
图 A5-2 五层之间的加工作业、门控检查与不通过处置。数据来源:招标文件 3.2.6.1.1.2.3 第(1)项(b1257、b1258);门控设置口径与数据集生产链路的门控规则一致(b1215)。
下列事项在本文件中明确禁止,违反者在模型评审环节不予通过。禁止条款是分层架构里 唯一需要写成否定句的部分——它们界定的是工程责任边界,列清楚比论述有用。
表 A5-6 分层禁止事项与检查方式
| 编号 | 禁止事项 | 禁止的理由 | 检查方式 |
|---|---|---|---|
| P-01 | 在贴源层做口径转换、字段改名或过滤 | 贴源层一经加工即失去与源端对账的能力 | 元数据比对源表结构,字段名与类型逐一核对 |
| P-02 | 事实表之间按业务编码直接关联 | 业务编码在各系统口径不一,关联规则会分叉 | 作业脚本静态扫描关联条件 |
| P-03 | 在事实表加工作业中自动新建维度成员 | 维表是唯一主数据出口,自动新建会绕过主数据流程 | 作业评审与维表加载日志核查 |
| P-04 | 跨主题域在汇总层直接关联 | 跨域关联应在应用层按消费方需求组装 | 模型评审检查表 |
| P-05 | 同一指标在两处分别计算 | 两处口径必然在某次修改后分叉 | 指标登记表查重 |
| P-06 | 应用层直接读取贴源层 | 绕过清洗与落标,输出不可追溯 | 血缘图扫描,检查是否存在 ODS 到 ADS 的直接边 |
| P-07 | 代理键在维度成员删除后被复用 | 历史事实表将指向错误的维度成员 | 代理键发号记录核查 |
| P-08 | 在模型中硬编码取值映射 | 映射关系应落在参考数据标准中,硬编码无法统一维护 | 作业脚本静态扫描常量映射 |
表名采用小写字母与下划线,结构为 <层代码>_<主题域码>_<业务对象>_<表类型后缀>。 层代码取 ods/dwd/dim/dws/ads;主题域码见 2.5.1 节;表类型后缀标明表的性质。 贴源层另在主题域码位置放源系统码,因贴源层按来源组织而非按主题组织。
表 A5-7 表类型后缀与命名示例
| 后缀 | 含义 | 适用层 | 命名示例 | 中文名 |
|---|---|---|---|---|
_f | 事务型事实表 | DWD | dwd_mfg_furnace_batch_f | 炉次事实表 |
_fs | 周期快照事实表 | DWD、DWS | dws_inv_stock_day_fs | 库存日快照 |
_fa | 累积快照事实表 | DWD | dwd_ord_workorder_fa | 工单累积快照 |
_d | 维表 | DIM | dim_process_d | 工序维表 |
_dz | 拉链维表 | DIM | dim_item_dz | 零件与物料拉链维表 |
_w | 主题宽表 | DWS | dws_qual_weld_month_w | 焊接质量月度宽表 |
_i | 指标表 | DWS | dws_dec_kpi_month_i | 决策指标月表 |
_v | 视图 | ADS | ads_scene_weld_param_v | 焊接场景参数视图 |
_ds | 数据集加工输入集 | ADS | ads_dataset_proc_sft_ds | 制造过程指令微调输入集 |
_tmp | 临时表 | 各层 | dwd_mfg_weld_pass_f_tmp | 临时表须标明有效期,逾期自动清理 |
表 A5-8 贴源层源系统码
| 源系统码 | 系统 | 源系统码 | 系统 |
|---|---|---|---|
| crm | 客户关系管理 | eam | 设备资产管理 |
| erp | 企业资源计划 | plm | 产品全生命周期管理 |
| scm | 供应链管理 | scada | 数据采集与监控 |
| qms | 质量管理 | oa | 协同办公 |
| wms | 仓储管理 | jq | 经营指标报送 |
| mes | 制造执行 | mdm | 主数据管理平台 |
| lms | 物流管理 | htc | 热处理群控 |
| ems | 能源管理 | safe | 安全监管平台 |
| sos | 设备远程运维 | file | 离线文件与档案(非系统来源) |
源系统码取值与招标文件 3.2.2.1 所列集成对象一致(b0804r02、b0808—b0908), file 一项用于承接离线非结构化数据的批量导入与解析登记(b0909、b0910、b0911)。
字段名同样采用小写字母与下划线。规则共六条,其中第四条与第五条最常被忽略, 在模型评审检查表中单列检查项。
表 A5-9 字段命名规则与正误示例
| 规则 | 要求 | 正例 | 反例 |
|---|---|---|---|
| 一、语义取自数据元标准 | 同一业务含义在全平台同名 | plate_thickness_mm | thk、bh、banhou |
| 二、代理键后缀统一 | 维度代理键以 _sk 结尾,自然键以 _bk 结尾 | process_sk、process_bk | process_id 混用 |
| 三、量值字段带单位 | 物理量字段名后缀标单位,单位取自数据元标准 | unfold_length_mm、hardness_hbw | length、hardness |
| 四、时间字段区分三类 | 业务发生时间 _time、系统记录时间 _ts、分区日期 _dt | weld_start_time、load_ts、biz_dt | 统一叫 time |
| 五、布尔与状态不混用 | 布尔以 is_ 开头,状态以 _status 结尾且取值域为枚举 | is_valid、card_status | flag、status 存 0/1/2 无字典 |
| 六、禁止保留字与拼音缩写 | 不使用数据库保留字,不使用无字典的拼音缩写 | furnace_batch_no | order、lch |
加工作业命名为 <层代码>_<目标表名去层前缀>_<作业类型>,作业类型取 load/merge/calc/pub。 作业编号由平台发号,格式 JOB-<层代码>-<四位序号>,编号写入元数据并与《数据集成共享 管理规范》中的集成作业登记台账同号,便于一处查到作业的申请、上线与变更全过程。 调度窗口的分配遵循一条硬性约束:面向甲方源系统的取数作业一律安排在业务低峰时段, 招标文件对各源系统提出的低峰时段要求为零点至五点(b0814、b0821、b0828、b0835、b0841、 b0846、b0852、b0857、b0864、b0870、b0877、b0883、b0889、b0894、b0899、b0905), 平台侧作业据此排在五点之后,使源端取数与平台加工在时间上不叠加。
代理键由平台统一发号,整型自增,终身不变,不承载业务含义,维度成员失效后其代理键不再复用。 自然键保留源系统的业务编码原值并标明来源系统,用于回溯与对账。 同一物理对象在多个系统有不同编码时,维表中保留全部自然键并标注权威来源, 权威来源的判定依据《数据分布及数据流图》中的权威源归属一列。
分区策略按层统一:贴源层按采集日分区,明细层按业务日期分区,汇总层按统计周期分区, 应用层按消费方约定。跨年历史数据按年做二级分区。分区字段名统一为 biz_dt 或 load_dt, 不允许各表自取名。时序类数据不进关系型分区表,按时间窗分段存储并在明细层登记段标识, 段标识即过程数据与结果数据的配对键。
主题域按业务过程划分,与招标文件所列 9 个业务域(b1336)不是一回事: 业务域是管理视角,用于治理责任划分;主题域是数据视角,用于模型归属。 两者须有明确映射,否则建模岗位与业务归口部门对不上话。本项目划分六个主题域, 划分口径与四类数据集的四个方向对齐——供需计划、产品工艺设计、制造过程、产品质量, 另加在役服务与基础支撑两域,使数据集加工的输入边界与主题域边界一致,加工作业不必跨域取数。
表 A5-10 六个主题域与 9 个业务域的映射
| 主题域码 | 主题域 | 覆盖业务过程 | 对应业务域(b1336) | 对应数据集方向 |
|---|---|---|---|---|
| plan | 供需计划 | 商机与项目、需求计划、采购与到货、库存与出入库、物流 | 营销管理、采购管理、仓储物流、财务管理 | 供需计划数据集 |
| design | 产品工艺设计 | 选型校核、出图、工艺路线编排、工艺卡编制、变更 | 研发设计 | 产品工艺设计数据集 |
| mfg | 制造过程 | 工单下达、工序流转与报工、热处理炉次、焊接作业、机加与装配、能耗 | 生产制造、设备管理 | 制造过程数据集 |
| qual | 产品质量 | 进厂检验、制程检验、交检、不合格品处置、返修、无损检测 | 质量管理 | 产品质量数据集 |
| serv | 在役服务 | 测点采集、报警、服务工单、备件更换、维修 | 设备管理 | 制造过程与质量数据集的在役部分 |
| base | 基础支撑 | 组织与人员、制度与标准归档、合同与标书、术语与指标、安全监管 | 人力资源、财务管理及跨域 | 四类数据集的通用语料 |
映射为多对多关系,一个业务域的数据可能落在多个主题域,一个主题域也可能跨多个业务域。 元数据中对每个模型同时登记主题域与业务域两个属性,治理考核按业务域统计,建模管理按主题域统计。
首批模型以支撑第一批场景验证与四类数据集首批加工为目标,按供给能力 A、B 两档资产优先建设。 C、D 两档资产对应的事实表先建结构、留空等数据,在元数据中标注「待数据到位」状态。 清单共 48 个模型对象,分布为维表 11、明细层 19、汇总层 10、应用层 8。
表 A5-11 首批模型清单(维表层与明细层)
| 模型编码 | 中文名 | 层 | 主题域 | 粒度 | 主键 | 更新频率 | 主要来源 | 支撑对象 |
|---|---|---|---|---|---|---|---|---|
dim_project_d | 项目与施工号维表 | DIM | plan | 一施工号一行 | project_sk | 日 | CRM、ERP、生产管理 | 全部场景 |
dim_product_part_dz | 产品与部件拉链维表 | DIM | design | 一部件版本一行 | part_sk | 日 | PLM | 选型、备料、焊接 |
dim_drawing_dz | 图纸拉链维表 | DIM | design | 一图号一版本一行 | drawing_sk | 日 | PLM、离线档案 | 备料工艺 |
dim_item_dz | 零件与物料拉链维表 | DIM | plan | 一物料编码一版本一行 | item_sk | 日 | 主数据平台、ERP | 库存、备料 |
dim_process_d | 工序维表 | DIM | mfg | 一工序一行 | process_sk | 按发布 | 工艺系统工序字典 | 备料、热处理、焊接 |
dim_equipment_d | 设备与测点维表 | DIM | mfg | 一设备或一测点一行 | equip_sk | 日 | EAM、物联网平台、SCADA | 热处理、焊接、诊断 |
dim_furnace_d | 炉次维表 | DIM | mfg | 一炉次一行 | furnace_sk | 按炉次 | 热处理群控 | 热处理 |
dim_weld_d | 焊缝与焊道维表 | DIM | mfg | 一焊道一行 | weld_pass_sk | 按工单 | 工艺系统、焊接产线 | 焊接 |
dim_org_d | 组织与岗位维表 | DIM | base | 一组织单元一行 | org_sk | 周 | 主数据平台、ERP | 全部场景 |
dim_date_d | 时间维表 | DIM | base | 一日一行 | date_sk | 一次性 | 平台生成 | 全部场景 |
dim_doc_class_d | 文件分类维表 | DIM | base | 一分类一行 | doc_class_sk | 按发布 | OA、企业文档 | 四个问答场景 |
dwd_plan_opportunity_f | 商机事实表 | DWD | plan | 一商机一行 | opp_sk | 日 | CRM | 选型、问数据 |
dwd_plan_demand_f | 需求计划事实表 | DWD | plan | 一计划行一行 | demand_sk | 日 | ERP | 库存与供应链 |
dwd_plan_po_delivery_f | 采购到货事实表 | DWD | plan | 一到货行一行 | po_dlv_sk | 日 | SCM、WMS | 库存与供应链 |
dws_plan_stock_day_fs | 库存日快照 | DWD | plan | 一物料一仓一日一行 | 复合 | 日 | WMS、ERP | 库存与供应链 |
dwd_plan_stock_move_f | 出入库流水事实表 | DWD | plan | 一流水一行 | move_sk | 准实时 | WMS | 库存与供应链 |
dwd_plan_logistics_f | 物流运单事实表 | DWD | plan | 一运单一行 | waybill_sk | 日 | LMS | 问数据 |
dwd_design_selection_f | 选型方案事实表 | DWD | design | 一方案一版本一行 | sel_sk | 按件 | 离线文档解析、CRM | 产品智能选型 |
dwd_design_drawing_ver_f | 图纸版本事实表 | DWD | design | 一图号一版本一行 | dwg_ver_sk | 日 | PLM、离线档案 | 备料工艺 |
dwd_design_route_f | 工艺路线事实表 | DWD | design | 一零件一路线版本一行 | route_sk | 日 | 工艺系统 | 备料工艺 |
dwd_design_card_step_f | 工艺卡工序明细事实表 | DWD | design | 一卡一工序一行 | card_step_sk | 日 | 工艺系统、图纸解析 | 备料工艺 |
dwd_mfg_workorder_fa | 工单累积快照 | DWD | mfg | 一工单一行 | wo_sk | 准实时 | MES | 全部制造场景 |
dwd_mfg_step_report_f | 工序报工事实表 | DWD | mfg | 一报工一行 | report_sk | 准实时 | MES | 全部制造场景 |
dwd_mfg_furnace_batch_f | 炉次事实表 | DWD | mfg | 一炉次一行 | furnace_batch_sk | 按炉次 | 热处理群控、SCADA、质量管理 | 热处理过程 |
dwd_mfg_furnace_item_f | 炉次工件明细事实表 | DWD | mfg | 一炉次一工件一行 | furnace_item_sk | 按炉次 | 新增填报、MES | 热处理过程 |
dwd_mfg_weld_pass_f | 焊道参数事实表 | DWD | mfg | 一焊道一行 | weld_pass_fact_sk | 按工单 | 焊接产线、SCADA | 焊接过程 |
dwd_mfg_energy_f | 能耗事实表 | DWD | mfg | 一设备一时段一行 | energy_sk | 日 | EMS | 问数据 |
dwd_qual_inspect_f | 检验记录事实表 | DWD | qual | 一检验项一行 | insp_sk | 日 | QMS | 热处理、焊接、问数据 |
dwd_qual_ndt_f | 无损检测结果事实表 | DWD | qual | 一检测位置一行 | ndt_sk | 日 | QMS、检测设备 | 焊接过程 |
dwd_qual_nc_disposal_f | 不合格品处置事实表 | DWD | qual | 一处置票一行 | nc_sk | 日 | QMS、OA | 热处理、焊接 |
dwd_serv_signal_seg_f | 测点时序分段事实表 | DWD | serv | 一测点一时间窗一行 | seg_sk | 日 | 远程运维平台 | 装备健康诊断 |
dwd_serv_alarm_event_f | 报警事件事实表 | DWD | serv | 一事件一行 | alarm_sk | 准实时 | 远程运维平台 | 装备健康诊断 |
dwd_serv_service_order_f | 服务工单事实表 | DWD | serv | 一工单一行 | svc_sk | 日 | SOS | 装备健康诊断 |
dwd_base_doc_version_f | 文件版本事实表 | DWD | base | 一文件一版本一行 | doc_ver_sk | 日 | OA、企业文档 | 四个问答场景 |
dwd_base_contract_term_f | 合同条款事实表 | DWD | base | 一条款一行 | term_sk | 日 | OA、CRM | 合同合规审查 |
表 A5-12 首批模型清单(汇总层与应用层)
| 模型编码 | 中文名 | 层 | 主题域 | 统计粒度 | 更新频率 | 消费方 |
|---|---|---|---|---|---|---|
dws_plan_item_month_w | 物料供需月度宽表 | DWS | plan | 物料×月 | 月 | 库存与供应链、问数据 |
dws_plan_stock_turn_month_i | 库存周转指标月表 | DWS | plan | 物料类×月 | 月 | 问数据 |
dws_design_card_reuse_month_i | 工艺复用率指标月表 | DWS | design | 分厂×月 | 月 | 备料工艺、问数据 |
dws_design_part_feature_w | 零件工艺特征宽表 | DWS | design | 零件×版本 | 日 | 备料工艺 |
dws_mfg_furnace_curve_w | 炉次曲线特征宽表 | DWS | mfg | 炉次 | 按炉次 | 热处理过程 |
dws_mfg_weld_param_w | 焊道参数特征宽表 | DWS | mfg | 焊道 | 按工单 | 焊接过程 |
dws_qual_pass_rate_month_i | 一次交检合格率指标月表 | DWS | qual | 分厂×产品类×月 | 月 | 焊接过程、问数据 |
dws_qual_defect_type_month_w | 缺陷类型分布宽表 | DWS | qual | 缺陷类型×月 | 月 | 焊接、热处理 |
dws_serv_baseline_w | 测点同工况基线宽表 | DWS | serv | 设备×测点×工况段 | 周 | 装备健康诊断 |
dws_dec_kpi_month_i | 决策指标月表 | DWS | base | 指标×组织×月 | 月 | 问数据 |
ads_scene_selection_v | 选型场景取数视图 | ADS | design | 按请求 | 实时 | 产品智能选型验证 |
ads_scene_card_pair_v | 图卡成对样本视图 | ADS | design | 一图一卡 | 日 | 板材备料工艺验证 |
ads_scene_furnace_case_v | 炉次档案视图 | ADS | mfg | 一炉次 | 按炉次 | 热处理过程验证 |
ads_scene_weld_param_v | 焊接参数比对视图 | ADS | mfg | 焊道 | 按工单 | 焊接过程验证 |
ads_scene_diag_evidence_v | 诊断证据视图 | ADS | serv | 事件 | 准实时 | 装备健康诊断验证 |
ads_dataset_pretrain_ds | 预训练语料输入集 | ADS | 跨域 | 文档片段 | 批次 | 预训练数据集加工 |
ads_dataset_sft_ds | 指令微调输入集 | ADS | 跨域 | 问答对 | 批次 | 指令微调数据集加工 |
ads_dataset_bench_ds | 基准与偏好输入集 | ADS | 跨域 | 题目或偏好组 | 批次 | 基准测试与偏好数据集加工 |
四类数据集的加工输入集与数据集规模的对应关系在 2.8.3 节说明。 模型清单在项目期按季度滚动更新,新增模型按 2.9 节流程评审后进入清单(b1334)。
维表层是本架构的核心。十一张维表中,工序、炉次、焊缝与焊道、图纸四张是本项目特有的, 通用数据仓库设计里没有对应物,它们的字段设计直接决定四个制造与质量场景能否成立。
表 A5-13 一致性维度清单与关键设计点
| 维表 | 维度成员定义 | 自然键来源 | 变更处理 | 关键设计点 |
|---|---|---|---|---|
| 项目与施工号 | 一个施工号对应一个制造批次 | 生产管理下发的施工号 | 新增为主,属性变更覆盖 | 施工号与合同号、项目号三者映射关系须显式落表 |
| 产品与部件 | 一个部件的一个设计版本 | PLM 部件编号+版本 | 拉链 | 承载槽宽档位、链环直径等选型关键属性 |
| 图纸 | 一个图号的一个版本 | PLM 图号+版本 | 拉链 | 承载图幅、原生格式、是否已解析、解析批次 |
| 零件与物料 | 一个物料编码的一个版本 | 主数据平台物料编码 | 拉链 | 承载专用程度、周转性分层、替代关系 |
| 工序 | 备料分厂封闭工序集合中的一道 | 工艺部门工序字典编码 | 按发布版本整体切换 | 现掌握口径为 28 道,以正式工序字典为准 |
| 设备与测点 | 一台设备或一个测点 | EAM 设备编码、测点编码 | 拉链 | 测点与物理部件的对应关系、采集有效区间 |
| 炉次 | 一次装炉作业 | 热处理群控炉次号 | 新增 | 与炉台、工艺程序、材料批次的关联键 |
| 焊缝与焊道 | 一条焊缝的一道焊 | 工艺系统焊缝编号+道次 | 新增 | 一件大型部件焊缝可达数百条,一缝可焊四道 |
| 组织与岗位 | 一个组织单元或岗位 | 主数据平台组织编码 | 拉链 | 用于责任归属与权限范围 |
| 时间 | 一个日历日 | 平台生成 | 一次性 | 含班次、工作日、生产周历属性 |
| 文件分类 | 一个文件类别 | OA 制度分类与文档分类 | 按发布 | 对应 11 类管理制度与 9 类合同文档 |
图 A5-3 一致性维度与明细层事实表的引用关系。数据来源:招标文件 3.2.6.1.1.2.3 第(1)项(b1257、b1258);维度对象取现状评估阶段确定的业务对象清单。
工序维表是备料工艺场景的基准表。备料分厂的工序集合固定且封闭,现掌握的口径为 28 道, 正式工序字典以工艺部门确认的版本为准。本维表的设计要点是把「挑选并排序」这件事所依赖的 约束显式落表:每道工序的前置工序、禁止组合、适用板厚区间、所需设备与工装类型, 都是字段而不是说明文字——只有落成字段,工艺卡的校核才能由规则执行,而不是靠人记得。
表 A5-14 dim_process_d 工序维表字段设计
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
process_sk | 整型 | 是 | 平台发号,终身不变 | 平台生成 | 主键 |
process_bk | 字符(16) | 是 | 工序字典编码,全局唯一 | 工艺系统工序字典 | 自然键 |
process_name | 字符(64) | 是 | 引用业务术语标准条目 | 工艺系统 | 工序名称 |
process_category | 字符(16) | 是 | 下料/成形/制孔/边缘加工/表面处理/矫正/标识(枚举,见参考数据标准) | 工艺部门确认 | 工序大类 |
workshop_code | 字符(16) | 是 | 组织维自然键 | 主数据平台 | 所属分厂或车间 |
default_seq | 整型 | 是 | 1—99 | 工艺部门确认 | 工艺路线中的默认排序位 |
pre_process_bk | 字符(128) | 否 | 工序字典编码列表,逗号分隔 | 工艺部门确认 | 前置工序约束 |
forbid_after_bk | 字符(128) | 否 | 工序字典编码列表 | 工艺部门确认 | 禁止紧随其后的工序 |
thickness_min_mm | 数值(6,2) | 否 | 大于 0 | 工艺部门确认 | 适用板厚下限 |
thickness_max_mm | 数值(6,2) | 否 | 大于 thickness_min_mm | 工艺部门确认 | 适用板厚上限 |
equip_type_code | 字符(16) | 否 | 设备类型枚举 | 设备资源库 | 所需设备类型 |
tooling_type_code | 字符(16) | 否 | 压模/样板/夹具/无(枚举) | 工艺部门确认 | 所需工装类型 |
need_unfold_calc | 布尔 | 是 | 真/假 | 工艺部门确认 | 是否需按中性层公式计算展开长 |
is_key_process | 布尔 | 是 | 真/假 | 工艺部门确认 | 关键工序标记,为真时检查项推送质量系统 |
quota_basis_code | 字符(16) | 否 | 按件/按米/按平方米/按重量(枚举) | 工时定额系统 | 工时定额计算基准 |
dict_version | 字符(16) | 是 | 形如 V1.0 | 工艺部门发布 | 工序字典版本号 |
valid_from | 日期 | 是 | — | 工艺部门发布 | 生效日 |
valid_to | 日期 | 否 | 空表示当前有效 | 工艺部门发布 | 失效日 |
is_current | 布尔 | 是 | 真/假 | 平台派生 | 当前版本标记 |
load_ts | 时间 | 是 | — | 平台生成 | 入库时点 |
表 A5-15 dim_process_d 样例行(示例口径,正式取值以工艺部门确认的 28 道工序字典为准)
process_bk | 工序名称 | 大类 | 默认序 | 前置工序 | 板厚区间 | 设备类型 | 工装 | 需展开计算 | 关键工序 |
|---|---|---|---|---|---|---|---|---|---|
BL-010 | 划线 | 标识 | 10 | — | 4—60 | 平台 | 样板 | 否 | 否 |
BL-020 | 数控火焰切割 | 下料 | 20 | BL-010 | 10—60 | 火焰切割机 | 无 | 否 | 是 |
BL-030 | 数控等离子切割 | 下料 | 20 | BL-010 | 4—30 | 等离子切割机 | 无 | 否 | 是 |
BL-040 | 激光切割 | 下料 | 20 | BL-010 | 1—20 | 激光切割机 | 无 | 否 | 是 |
BL-050 | 剪板 | 下料 | 20 | — | 1—16 | 剪板机 | 无 | 否 | 否 |
BL-060 | 锯切 | 下料 | 20 | — | — | 带锯床 | 夹具 | 否 | 否 |
BL-070 | 冲孔 | 制孔 | 30 | BL-050 | 1—12 | 冲床 | 压模 | 否 | 否 |
BL-080 | 钻孔 | 制孔 | 30 | BL-020 | 4—60 | 摇臂钻/数控钻 | 夹具 | 否 | 是 |
BL-090 | 坡口加工 | 边缘加工 | 40 | BL-020 | 8—60 | 坡口机 | 无 | 否 | 是 |
BL-100 | 倒角 | 边缘加工 | 40 | BL-080 | 4—60 | 倒角机 | 无 | 否 | 否 |
BL-110 | 压弯 | 成形 | 50 | BL-090 | 3—25 | 折弯机 | 压模 | 是 | 是 |
BL-120 | 卷圆 | 成形 | 50 | BL-020 | 3—20 | 卷板机 | 无 | 是 | 否 |
BL-130 | 矫平 | 矫正 | 60 | BL-020 | 4—40 | 矫平机 | 无 | 否 | 否 |
BL-140 | 抛丸 | 表面处理 | 70 | BL-130 | — | 抛丸机 | 无 | 否 | 否 |
BL-150 | 打磨 | 表面处理 | 70 | BL-090 | — | 角磨 | 无 | 否 | 否 |
BL-160 | 标记打码 | 标识 | 80 | BL-140 | — | 打码机 | 无 | 否 | 是 |
| 【待填:其余工序】 | 【待填】 | — | — | — | — | — | — | — | — |
样例行中「需展开计算」为真的两道工序(压弯、卷圆)是中性层公式的作用对象。 展开长的计算在工艺卡工序明细事实表中落值,同时记录所用中性层系数及其取值来源, 使某一个展开长可以回溯到按哪条经验算出(见 2.7.3 节)。
图纸维表承载本项目体量最大的一类资产:历史图纸约 63 万张,且每一张图纸历史上都配有 一张已审核签发的工艺卡片,天然构成成对的监督样本。维表的设计要点是把「这张图能不能用」 与「这张图解析到什么程度」两件事变成可查询的字段,因为备料场景首批取样时需要按 可解析程度与配对完整度筛选,而不是按图号区间盲取。
表 A5-16 dim_drawing_dz 图纸拉链维表字段设计
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
drawing_sk | 整型 | 是 | 平台发号 | 平台生成 | 主键,一图号一版本一键 |
drawing_bk | 字符(48) | 是 | PLM 图号 | PLM | 自然键 |
drawing_ver | 字符(16) | 是 | PLM 版本号 | PLM | 自然键第二段 |
drawing_name | 字符(128) | 是 | — | PLM | 图纸名称 |
part_bk | 字符(48) | 否 | 零件维自然键 | PLM | 对应零件 |
project_bk | 字符(32) | 否 | 项目维自然键 | PLM、生产管理 | 首次使用的施工号 |
product_model | 字符(64) | 否 | 产品型号枚举 | PLM | 所属产品型号 |
drawing_type | 字符(16) | 是 | 零件图/部件图/总装图/工序图(枚举) | PLM | 图纸类型 |
sheet_size | 字符(8) | 否 | A0—A4、加长(枚举) | PLM | 图幅 |
native_format | 字符(8) | 是 | DWG/DXF/PDF/纸质扫描(枚举) | PLM、离线档案 | 原生格式 |
storage_path_ref | 字符(256) | 是 | 文件登记标识,不存明文路径 | 贴源层文件登记 | 指向文件登记记录 |
file_digest | 字符(64) | 是 | SM3 摘要 | 平台计算 | 文件指纹,用于判重与变更识别 |
parse_status | 字符(16) | 是 | 未解析/已解析/部分解析/解析失败(枚举) | 文件解析作业 | 解析状态 |
parse_batch_no | 字符(32) | 否 | 解析批次号 | 文件解析作业 | 血缘键 |
parse_coverage | 数值(5,2) | 否 | 0—100 | 文件解析作业 | 关键图元解析覆盖比例 |
has_paired_card | 布尔 | 是 | 真/假 | 配对作业 | 是否已找到已审签发的工艺卡 |
paired_card_bk | 字符(48) | 否 | 工艺卡编号 | 配对作业 | 配对的工艺卡 |
pair_confidence | 字符(8) | 否 | 高/中/低(枚举) | 配对作业 | 配对可信度,低者不进训练集 |
is_borrowable | 布尔 | 否 | 真/假 | 工艺部门标注 | 是否属可借用的既有零件 |
sensitivity_level | 字符(8) | 是 | 按数据安全分级标准取值 | 安全职能确认 | 敏感级别 |
valid_from/valid_to/is_current | — | 是 | 拉链三件套 | 平台派生 | 版本区间 |
「配对可信度」一列的三档判定规则写在配对作业的规则说明中:图号与卡号直接引用关系存在者为高; 经零件号与项目号两项一致匹配且无歧义者为中;仅按文件目录位置或名称相近推定者为低。 低档记录保留在库但不进入成对样本集,这是为了避免把人工推定的配对当成事实标签。 首批加工目标是把高档与中档配对的占比逐步做高,起点与阶段目标见数据集加工章节的批次计划。
这三张维表共同解决过程数据与质量结果如何对上的问题。热处理与焊接场景的主要障碍是数据关联不稳定:炉次与工件、材料批次、实际曲线、检测结果之间缺少稳定关联键;焊接参数流连续而工件与焊道离散,一件大型单部件焊缝可达数百条,一条焊缝多层多道可焊四道,两者对不上就无法横向比对。维表负责提供两侧可共同引用的键。
表 A5-17 dim_furnace_d 炉次维表字段设计(节选关键字段)
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
furnace_sk | 整型 | 是 | 平台发号 | 平台生成 | 主键 |
furnace_bk | 字符(32) | 是 | 群控系统炉次号 | 热处理群控 | 自然键 |
equip_bk | 字符(32) | 是 | 设备维自然键 | 热处理群控 | 炉台编码 |
furnace_type | 字符(16) | 是 | 井式/台车式/箱式/中频感应(枚举) | 设备档案 | 炉型 |
program_bk | 字符(32) | 是 | 工艺程序编号 | 热处理群控 | 下发的设定程序 |
process_doc_bk | 字符(48) | 是 | 工艺文件编号+版本 | 工艺系统 | 本炉执行的正式工艺文件 |
heat_treat_type | 字符(16) | 是 | 淬火/回火/正火/退火/调质(枚举) | 工艺文件 | 处理类型 |
signal_seg_ref | 字符(64) | 是 | 时序段标识 | 时序采集 | 本炉对应的时序数据段,配对键 |
charge_ts | 时间 | 是 | — | 热处理群控 | 开炉时间 |
discharge_ts | 时间 | 否 | — | 热处理群控 | 完工时间 |
calib_valid | 布尔 | 是 | 真/假 | 计量校验记录 | 温度测量系统在本炉期间校验是否有效 |
trust_level | 字符(8) | 是 | 高/中/低(枚举,派生) | 平台派生 | 按测点可用性与校验状态分级 |
valid_from/valid_to/is_current | — | 是 | 拉链三件套 | 平台派生 | — |
表 A5-18 dim_weld_d 焊缝与焊道维表字段设计(节选关键字段)
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
weld_pass_sk | 整型 | 是 | 平台发号 | 平台生成 | 主键,一焊道一键 |
weld_seam_bk | 字符(32) | 是 | 工艺系统焊缝编号 | 工艺系统 | 焊缝自然键 |
pass_no | 整型 | 是 | 1—8 | 焊接产线、工艺文件 | 道次序号,一缝可焊四道 |
part_bk | 字符(48) | 是 | 零件维自然键 | 工艺系统 | 所属部件 |
seam_type | 字符(16) | 是 | 对接/角接/搭接/塞焊(枚举) | 工艺文件 | 接头形式 |
groove_type | 字符(16) | 否 | 坡口形式枚举 | 图纸解析、工艺文件 | 坡口 |
position_code | 字符(16) | 是 | 焊接位置枚举 | 工艺文件 | 焊接位置 |
seam_length_mm | 数值(8,1) | 否 | 大于 0 | 图纸解析 | 焊缝长度 |
coord_ref | 字符(64) | 否 | 部件坐标系下的位置描述 | 工艺文件、视觉留痕 | 位置口径,统一外观、超声、磁粉三类检测的定位基准 |
wps_bk | 字符(32) | 否 | 焊接工艺规程编号 | 工艺系统 | 适用规程 |
is_key_seam | 布尔 | 是 | 真/假 | 工艺文件 | 关键焊缝标记 |
valid_from/valid_to/is_current | — | 是 | 拉链三件套 | 平台派生 | — |
coord_ref 用于统一外观、超声、磁粉三类检测的位置口径。三类检查对同一处缺陷的位置描述不一致时,无法将结论叠加到同一焊道;将该口径统一到部件坐标系并写入维表后,方可支撑焊接场景的参数差异比对。位置口径的具体定义须经工艺与质量两个职能共同确认【待填:部件坐标系定位基准的正式口径】。
表 A5-19 dim_equipment_d 设备与测点维表字段设计(节选关键字段)
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
equip_sk | 整型 | 是 | 平台发号 | 平台生成 | 主键 |
equip_bk | 字符(32) | 是 | EAM 设备编码 | EAM | 自然键 |
node_type | 字符(8) | 是 | 设备/部件/测点(枚举) | 平台派生 | 本行是设备、部件还是测点 |
parent_equip_bk | 字符(32) | 否 | 本表自然键 | EAM、测点配置 | 层级父节点 |
point_bk | 字符(32) | 否 | 测点编码 | 物联网平台、SCADA | 测点自然键 |
signal_type | 字符(16) | 否 | 振动加速度/温度/压力/流量/电流/电压/速度(枚举) | 测点配置 | 信号类型 |
unit_code | 字符(8) | 否 | 计量单位,引用数据元标准 | 测点配置 | 单位 |
sample_period_ms | 整型 | 否 | 大于 0 | 测点配置 | 采样周期,秒级测点取 1000 |
mounted_part | 字符(64) | 否 | 物理部件名称 | 现场核对 | 测点所在物理部件,诊断场景的关键关联 |
collect_from/collect_to | 日期 | 否 | — | 测点配置 | 采集有效区间 |
point_health | 字符(8) | 是 | 正常/漂移/失效/未补装(枚举) | 链路核查作业 | 测点可信度状态 |
is_in_scope | 布尔 | 是 | 真/假 | 接口开通清单 | 是否在本期已开通采集范围内 |
point_health 与 is_in_scope 两个字段对应现场的两类实际情形:矿方传感器损坏后往往不予补装; 采集范围目前仅覆盖部分车间与部分设备。把这两件事落成字段而不是写在说明里, 诊断场景取数时才能按测点健康状态分层处理,基线计算也才能排除失效期间的数据。
表 A5-20 缓慢变化维处理规则
| 维表 | 处理方式 | 触发新版本的字段变更 | 不触发新版本的变更 |
|---|---|---|---|
| 产品与部件 | 拉链 | 结构变更、关键参数变更 | 名称勘误、描述补充 |
| 图纸 | 拉链 | 图号版本升版、原生文件摘要变化 | 解析状态与解析覆盖率更新 |
| 零件与物料 | 拉链 | 物料分类、专用程度、替代关系变更 | 库位、安全库存等业务参数 |
| 工序 | 按字典版本整体切换 | 工序字典发布新版本 | 单道工序的描述修订 |
| 设备与测点 | 拉链 | 测点配置、安装部件、采样周期变更 | 测点健康状态更新 |
| 组织与岗位 | 拉链 | 组织撤并、上级变更 | 联系方式 |
| 炉次、焊缝与焊道 | 新增为主 | — | 属性补录直接覆盖并留审计日志 |
拉链维表统一使用 valid_from、valid_to、is_current 三个字段表达版本区间, 区间左闭右开,不允许重叠或空档。加载作业的门控检查项包含区间连续性检查, 不通过即回滚本次加载、维表保持上一版本(见图 A5-2 作业 C)。
代理键的稳定性是跨年历史数据可用的前提。本文件规定三条:代理键一经发出即终身绑定该 维度成员的该版本,不因属性变更而重发;维度成员失效后其代理键不再复用; 平台重建或迁移时代理键随数据一并迁移,不重新发号。第三条在项目期的平台升级中须作为 迁移方案的验收项,否则历史事实表将指向错误的维度成员。
每张事实表的设计说明须先写清四件事,缺一项在模型评审环节不予通过:粒度声明—— 一行代表什么,用一句话写明,例如「一行代表一个炉次中的一个工件」;度量的可加性—— 哪些度量可跨维相加、哪些是半可加、哪些不可加;退化维的处理——保留在事实表中的业务单据号; 空值语义——空值代表未采集、不适用还是待填报,三者不可混用。
第四项在本项目尤其重要。现状评估将把数据资产按供给能力分四档,C、D 两档资产的字段 在首批加工时普遍为空,而空值的含义各不相同:装炉量为空是因为甲方尚未增设填报入口; 预热温度为空是因为采集手段尚未补齐;某些历史炉次的检验结论为空是因为纸质报告未数字化。 三类空值在下游的处理方式不同,因此本文件规定:凡允许为空的字段,须同时设一个状态字段 或在数据字典中声明空值语义,不允许仅凭空值让下游自行推断。
表 A5-21 度量可加性的三类处理
| 类别 | 示例度量 | 处理要求 |
|---|---|---|
| 完全可加 | 下料数量、出入库数量、工时、能耗 | 可按任意维度汇总 |
| 半可加 | 库存余额、在制品数量 | 可跨物料与仓库相加,不可跨时间相加;汇总层按时点快照组织 |
| 不可加 | 硬度值、温度、合格率、安全系数 | 禁止直接求和;汇总层只做平均、极值、分布与比率,计算口径须引用指标标准条目 |
技术方案正文已给出工艺卡工序明细事实表与炉次事实表两张示例的字段设计, 本节不重复,补出另外三张与质量场景直接相关的事实表。焊道参数事实表解决的是 参数流与焊道的对齐问题:焊接机器人已能记录电流、电压、送丝速度、焊接速度、摆幅与 左右停留时间,这几项正是排查质量问题的重点参数,但参数流是连续的,工件与焊道是离散的。 本表的粒度声明为「一行代表一个焊道一次焊接作业」,参数按该焊道的起止时间窗 从时序数据中切段聚合,并保留段标识以便回查原始曲线。
表 A5-22 dwd_mfg_weld_pass_f 焊道参数事实表字段设计
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
weld_pass_fact_sk | 整型 | 是 | 平台发号 | 平台生成 | 主键 |
weld_pass_sk | 整型 | 是 | 引用焊缝与焊道维 | DIM | 维度键 |
part_sk | 整型 | 是 | 引用产品与部件维 | DIM | 维度键 |
project_sk | 整型 | 是 | 引用项目与施工号维 | DIM | 维度键 |
equip_sk | 整型 | 是 | 引用设备与测点维 | DIM | 焊接工作站或机器人 |
wo_bk | 字符(32) | 是 | 工单号 | MES | 退化维 |
weld_start_time | 时间 | 是 | — | 焊接产线 | 本道起弧时间 |
weld_end_time | 时间 | 是 | 大于起弧时间 | 焊接产线 | 本道收弧时间 |
signal_seg_ref | 字符(64) | 是 | 时序段标识 | 时序采集 | 参数流段标识,回查原始曲线用 |
wire_grade | 字符(32) | 是 | 焊丝牌号枚举 | MES | 焊丝牌号(b0844) |
wire_diameter_mm | 数值(4,2) | 是 | 大于 0 | MES | 焊丝直径(b0844) |
current_avg_a | 数值(7,2) | 否 | 大于 0 | SCADA | 电流均值(b0880、b0881) |
current_std_a | 数值(7,2) | 否 | 不小于 0 | 平台派生 | 电流标准差,表征稳定性 |
voltage_avg_v | 数值(6,2) | 否 | 大于 0 | SCADA | 电压均值 |
wire_feed_speed | 数值(7,2) | 否 | 大于 0 | SCADA | 送丝速度 |
travel_speed | 数值(7,2) | 否 | 大于 0 | SCADA | 焊接速度 |
weave_width_mm | 数值(6,2) | 否 | 不小于 0 | 焊接产线 | 摆幅 |
dwell_left_ms | 整型 | 否 | 不小于 0 | 焊接产线 | 左停留时间 |
dwell_right_ms | 整型 | 否 | 不小于 0 | 焊接产线 | 右停留时间 |
gas_flow | 数值(6,2) | 否 | 大于 0 | SCADA | 保护气流量(b0881) |
preheat_temp_c | 数值(6,1) | 否 | 空值语义:未采集 | 新增采集手段 | 预热温度,当前为人工抽检纸质记录,属待补齐采集项 |
interpass_temp_c | 数值(6,1) | 否 | 空值语义:未采集 | 新增采集手段 | 层间温度,同上 |
heat_input_calc | 数值(8,2) | 否 | 派生字段 | 平台派生 | 按电流、电压与焊接速度计算的线能量,计算式登记在指标标准中 |
image_ref | 字符(64) | 否 | 影像登记标识 | 工业相机 | 焊接部位形貌留痕,用于标定后的视觉测量 |
param_source | 字符(16) | 是 | 产线记录/人工录入/推定(枚举) | 平台派生 | 参数来源,推定值不进训练集 |
trust_level | 字符(8) | 是 | 高/中/低(枚举,派生) | 平台派生 | 按参数完整度与测点健康状态分级 |
biz_dt | 日期 | 是 | — | 平台派生 | 分区字段 |
load_ts | 时间 | 是 | — | 平台生成 | 入库时点 |
preheat_temp_c 与 interpass_temp_c 两个字段是典型的「先立结构后等数据」: 这两项最影响气孔与裂纹,当前只能人工抽检、纸质记录,采集手段补齐后直接灌入本表, 表结构不必返工。param_source 一列把推定值与实测值分开,是为了保证焊接场景的 参数差异清单建立在实测数据之上——用推定参数算出的差异没有排查价值。
检验记录事实表是四个质量相关场景的共同标签来源。设计要点是把检验结论挂到 正确的物理对象上:按工序检验的挂到工序报工,按炉次检验的挂到炉次, 按焊道检验的挂到焊道,按整件检验的挂到零件。本表用一组可空的维度键表达这种 多挂点关系,并以 inspect_object_type 声明本行实际挂在哪一类对象上。
表 A5-23 dwd_qual_inspect_f 检验记录事实表字段设计
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
insp_sk | 整型 | 是 | 平台发号 | 平台生成 | 主键 |
insp_bk | 字符(48) | 是 | QMS 检验记录号+检验项序号 | QMS | 自然键 |
inspect_stage | 字符(16) | 是 | 进厂/制程/交检/出厂/成品(枚举) | QMS | 检验阶段(b0832) |
inspect_object_type | 字符(16) | 是 | 零件/工序/炉次/焊道/批次(枚举) | 平台派生 | 本行挂点类型 |
item_sk | 整型 | 否 | 引用零件与物料维 | DIM | 挂点为零件时必填 |
process_sk | 整型 | 否 | 引用工序维 | DIM | 挂点为工序时必填 |
furnace_sk | 整型 | 否 | 引用炉次维 | DIM | 挂点为炉次时必填 |
weld_pass_sk | 整型 | 否 | 引用焊缝与焊道维 | DIM | 挂点为焊道时必填 |
insp_item_code | 字符(32) | 是 | 检验项目编码,引用数据元标准 | QMS | 检验项目 |
insp_method | 字符(16) | 是 | 外观/量具/硬度/超声/磁粉/渗透/拉伸(枚举) | QMS | 检验方法 |
spec_lower/spec_upper | 数值(12,4) | 否 | 下限小于上限 | 工艺文件、图纸解析 | 规格上下限 |
measured_value | 数值(12,4) | 否 | 空值语义:定性检验不适用 | QMS、自动硬度计 | 实测值 |
measure_unit | 字符(8) | 否 | 计量单位,引用数据元标准 | QMS | 单位 |
conclusion | 字符(8) | 是 | 合格/让步/不合格(枚举) | QMS | 检验结论,构成标签 |
defect_type_code | 字符(16) | 否 | 咬边/未熔合/气孔/裂纹/变形/硬度不足/开裂等(枚举) | QMS、标注归一 | 缺陷类型 |
defect_desc | 文本 | 否 | — | QMS | 原始文字描述,保留原文供归一化回溯 |
defect_position | 字符(64) | 否 | 部件坐标系口径 | QMS | 缺陷位置,与焊道维 coord_ref 同口径 |
insp_equip_bk | 字符(32) | 否 | 设备维自然键 | QMS | 检测设备 |
insp_time | 时间 | 是 | — | QMS | 检验时间 |
inspector_org_sk | 整型 | 是 | 引用组织与岗位维 | DIM | 检验班组,不记录个人 |
photo_ref | 字符(64) | 否 | 影像登记标识 | QMS 交检拍照 | 交检影像(b0833) |
source_ref | 字符(64) | 是 | 贴源层记录标识 | ODS | 回溯用 |
biz_dt | 日期 | 是 | — | 平台派生 | 分区字段 |
defect_type_code 与 defect_desc 并存是一条有意的设计。缺陷描述当前以文字为主、 未与工艺参数关联,归一化到枚举是本项目要做的加工;但归一化规则会随标注规范迭代, 保留原文才能在规则变更后重新归一,而不必回源系统重取。inspector_org_sk 只到班组一级, 不记录检验员个人,这是数据最小化要求在模型层的落实。
时序数据不进关系型分区表。本表记录的是时间窗分段的元信息与段级特征, 原始时序按时间窗分段存储在时序存储中,两者以 seg_ref 关联。这样设计的理由有两条: 一是时序数据按秒级采样,若逐点入关系表则规模失控且无查询价值; 二是诊断与热处理两个场景使用时序的方式都是「取某段、算特征、与基线比」, 段级特征入表后,绝大多数查询不必触及原始点位。
表 A5-24 dwd_serv_signal_seg_f 测点时序分段事实表字段设计
| 字段 | 类型 | 必填 | 取值域/约束 | 来源 | 说明 |
|---|---|---|---|---|---|
seg_sk | 整型 | 是 | 平台发号 | 平台生成 | 主键 |
seg_ref | 字符(64) | 是 | 全局唯一 | 平台生成 | 段标识,关联时序存储 |
equip_sk | 整型 | 是 | 引用设备与测点维 | DIM | 测点 |
seg_start_time/seg_end_time | 时间 | 是 | 起小于止 | 时序采集 | 段区间 |
condition_segment | 字符(16) | 是 | 停机/空载/正常负载/重载/启停过渡(枚举) | 工况识别作业 | 工况分段,三机联动的耦合干扰按此分离 |
sample_count | 整型 | 是 | 大于 0 | 平台统计 | 本段采样点数 |
missing_ratio | 数值(5,2) | 是 | 0—100 | 平台统计 | 缺点比例 |
value_mean/value_std/value_max/value_min | 数值(14,4) | 否 | — | 平台计算 | 段级统计特征 |
feature_vector_ref | 字符(64) | 否 | 特征登记标识 | 特征计算作业 | 频域等派生特征的存放位置 |
baseline_ref | 字符(64) | 否 | 基线登记标识 | 基线计算作业 | 对应的同工况正常基线 |
deviation_score | 数值(8,4) | 否 | — | 平台计算 | 相对基线的偏离度,异常判据按偏离基线而非固定阈值 |
link_status | 字符(16) | 是 | 正常/断链/漂移/失效(枚举) | 链路核查作业 | 采集链路状态 |
trust_level | 字符(8) | 是 | 高/中/低(枚举,派生) | 平台派生 | 本段可用性分级 |
biz_dt | 日期 | 是 | — | 平台派生 | 分区字段 |
炉次事实表中的 signal_seg_ref 与焊道参数事实表中的 signal_seg_ref 指向的都是本表的 seg_ref。这一个字段把热处理的实际温度曲线、焊接的参数流与各自的质量结论串在了一起, 是「一炉一档、一道一档」在模型层的实现方式。
汇总层按主题与统计周期建宽表,三条要求:同一指标只在一处计算,他处引用不重算; 指标定义须引用指标标准条目,表中保留 metric_code 字段指向标准条目编号; 禁止跨主题域关联,跨域需求在应用层按消费方组装。
不可加度量在汇总层的处理需单列说明。一次交检合格率当前维持在百分之九十七至九十八, 企业要求为百分之九十九,这项指标的分子分母口径、统计范围与剔除规则必须在指标标准中写定, 汇总层只按写定的口径计算。本文件不定义指标口径,只约定引用方式——这是分层职责的要求, 指标口径的裁决权在指标责任部门。
应用层面向两类消费方:11 个验证场景与四类数据集加工。两类消费方对输出的要求不同, 场景侧要的是可直接查询的视图与证据链,数据集侧要的是可批量导出的样本集与切分标记。
表 A5-25 应用层输出清单与消费方口径
| 输出 | 消费方 | 输出形态 | 粒度 | 关键字段 | 版本与刷新 |
|---|---|---|---|---|---|
| 选型场景取数视图 | 产品智能选型验证 | 视图 | 按请求 | 工况参数、候选配置、历史方案可比性、投运评价标签 | 实时查询,视图定义版本化 |
| 图卡成对样本视图 | 板材备料工艺验证 | 视图+导出 | 一图一卡 | 图纸解析字段、工艺卡工序序列、配对可信度、是否可借用 | 日刷新,按批次固化版本 |
| 炉次档案视图 | 热处理过程验证 | 视图 | 一炉次 | 装炉清单、材料批次、设定程序、曲线特征、检验结论、可信度 | 按炉次追加 |
| 焊接参数比对视图 | 焊接过程验证 | 视图 | 焊道 | 参数均值与标准差、线能量、同型部件横向比对基准、缺陷标签 | 按工单刷新 |
| 诊断证据视图 | 装备健康诊断验证 | 视图 | 事件 | 归并后的事件、相关测点段、基线偏离度、维修事实回填状态 | 准实时 |
| 库存与供需视图 | 库存与供应链验证 | 视图 | 物料×时点 | 统一时点口径下的需求、库存、在途、项目占用、呆滞标记 | 日刷新 |
| 文档问答语料集 | 四个问答场景验证 | 导出 | 文档片段 | 片段正文、出处定位、版本状态、敏感级别、有效区间 | 按批次 |
| 合同条款对照集 | 合同合规审查验证 | 导出 | 条款 | 条款原文、所属合同类型、对照规则编号、风险标记 | 按批次 |
| 预训练语料输入集 | 预训练数据集加工 | 导出 | 文档片段 | 片段、来源、模态、领域子集、许可条件、去重指纹 | 按批次固化 |
| 指令微调输入集 | 指令微调数据集加工 | 导出 | 问答对 | 指令、输入、参考答案、任务类型、难度等级、来源证据 | 按批次固化 |
| 基准与偏好输入集 | 基准测试与偏好数据集加工 | 导出 | 题目或偏好组 | 题干、判分规则、随机种子、偏好对、冲突标记 | 按批次固化 |
四类数据集的规模目标为预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、 基准测试 0.95 万条,按四个方向分解(b1578)。应用层输入集的作用是把模型层的结构化事实 与解析后的文档片段组织成可供加工的原料,加工环节的工序与质量检查节点不属本文件范围。 本文件只约定一件事:每个输入集须登记其构成血缘——由哪些模型对象的哪些版本、 按什么筛选条件与切分规则生成,以及训练用与评测用的切分是否交叠。
表 A5-26 应用层输入集与四类数据集的对应关系
| 数据集 | 规模目标 | 主要输入集 | 主要来源模型对象 | 切分要求 |
|---|---|---|---|---|
| 预训练数据集 | 615 亿 Token | 预训练语料输入集 | 文件版本事实、合同条款事实、选型方案事实、解析后的图纸与工艺文件片段 | 按来源与时间双重切分,保留语料不进训练 |
| 指令微调数据集 | 89 万条 | 指令微调输入集 | 图卡成对样本、炉次档案、焊接参数与检验结论、库存与供需视图 | 按施工号与时间切分,评测集来源与训练集不交叠 |
| 强化学习偏好数据 | 6.6 万组 | 基准与偏好输入集 | 工艺卡修改前后对照、诊断结论与维修事实对照、选型方案与投运评价对照 | 偏好对的两侧须来自同一上下文,冲突样本单列 |
| 基准测试数据集 | 0.95 万条 | 基准与偏好输入集 | 各场景的金标准样本 | 与训练数据去重,题型协议与随机种子固化 |
四个方向的分解口径为:预训练按供需计划 276 亿、产品工艺设计 70 亿、制造过程 105 亿、 产品质量 164 亿 Token;指令微调按 40 万、10 万、15 万、24 万条;偏好数据按 3.2 万、0.8 万、 1 万、1.6 万组;基准测试按 0.4 万、0.1 万、0.2 万、0.25 万条。 模型层按主题域与四个方向一致的划分(见 2.5.1 节),正是为了使这一分解可以按主题域统计进度。
表 A5-27 建模五步流程、产出与评审点
| 步骤 | 输入 | 产出 | 评审点 | 评审人 |
|---|---|---|---|---|
| 一、需求受理 | 场景取数需求或数据集加工需求 | 建模需求单(含粒度、字段、时效、量级) | 需求是否已有模型可满足;是否属跨域需求 | 数据建模岗+需求提出方 |
| 二、概念设计 | 建模需求单、分布台账 | 主题域归属、业务过程识别、维度与度量清单 | 粒度声明是否唯一;维度是否已在一致性维度清单中 | 数据治理负责岗 |
| 三、逻辑设计 | 概念设计 | 字段清单(含类型、取值域、来源、校验规则)、落标对照 | 字段是否引用数据元标准;取值域是否引用参考数据标准 | 数据标准岗 |
| 四、物理设计 | 逻辑设计 | 建表语句、分区与索引、作业设计、调度窗口 | 命名是否合规;分区策略是否按层统一;取数窗口是否在低峰时段 | 数据建模岗+平台运维岗 |
| 五、上线与登记 | 物理设计 | 元数据登记、血缘登记、质量规则挂接、模型设计说明书 | 登记是否齐备;门控检查项是否已配置 | 数据治理负责岗 |
五步之间不设审批会议,评审以检查表方式在工具内完成,评审意见与处理结果留痕。 需求受理到上线登记的目标周期为十个工作日内,复杂跨域模型另议。 评审不通过的,退回上一步并记录退回原因,退回原因按季度汇总用于修订本文件。
把转换集中在明细层的代价是作业较重,对冲办法是让每个作业可以安全重跑。本文件规定: 所有加工作业须按业务日期或批次号幂等——同一批次重复执行的结果与执行一次相同; 重跑须支持按分区范围指定,不允许只能全表重算;重跑产生的数据变更须在作业日志中 记录受影响的分区与行数,并触发下游依赖作业的重算。时序分段作业的幂等键为段标识, 文件解析作业的幂等键为文件摘要与解析规则版本的组合——解析规则升级后同一文件须重解析, 这正是用文件摘要加规则版本作幂等键而非仅用文件摘要的原因。
表 A5-28 模型变更分级、审批与处置
| 级别 | 变更情形 | 影响评估要求 | 审批 | 下游通知时限 |
|---|---|---|---|---|
| 一级 | 维表粒度或代理键规则变更;事实表粒度变更;分层归属调整 | 血缘反查覆盖已登记的全部下游对象,列出受影响的作业、模型、视图、数据集版本与场景;给出回归验证方案 | 甲方数据管理办公室 | 变更实施前十个工作日 |
| 二级 | 字段新增;取值域扩充;分区策略调整;指标计算口径调整 | 血缘反查至直接下游两层;列出需同步修改的作业与视图 | 数据治理负责岗 | 变更实施前五个工作日 |
| 三级 | 字段注释修订;非关键字段类型放宽;索引调整 | 登记变更记录即可 | 数据建模岗 | 变更后三个工作日内通知 |
| 源端触发 | 甲方源系统字段、接口或口径变更 | 按《数据集成共享管理规范》第五章执行;影响评估结论回写本文件修订记录 | 按变更级别对应层级 | 以源端通知时点起算,五个工作日内给出评估结论 |
一级变更须同时评估已发布数据集版本的有效性。若变更导致某一版数据集的构成血缘不再成立, 该版本不自动作废,而是在数据集台账中标注「口径已变更」并给出影响说明, 由数据集发布责任岗位决定是否重出。这一处理方式的理由是数据集一经交付可能已被下游使用, 静默作废会造成下游结论无法解释。
图 A5-4 模型变更的影响评估与发布路径。数据来源:招标文件 3.2.6.1.1.2.3 第(4)项 对变更管理方法的要求(b1263、b1264);变更分级口径见本文件表 A5-28。
模型设计是否真的落了标,不能靠评审时人眼看。本文件规定五项可由工具执行的检查, 在模型上线前自动运行,检查结果附在模型设计说明书后。
表 A5-29 模型与标准的一致性检查项
| 检查项 | 检查内容 | 判定 | 不通过处置 |
|---|---|---|---|
| 字段落标率 | 明细层与维表层字段中已映射到数据元标准条目的比例 | 首批目标不低于百分之八十,未映射字段须逐一说明理由 | 列入落标整改清单,按季度推进 |
| 取值域合规 | 枚举字段的取值域是否引用参考数据标准中的代码值域 | 引用缺失即不通过 | 退回逻辑设计 |
| 命名合规 | 表名与字段名是否符合 2.4 节规则 | 逐条机器校验 | 退回物理设计 |
| 指标单点 | 同一指标编码是否只在一处计算 | 查重 | 退回逻辑设计 |
| 血缘完备 | 作业的输入输出是否已登记至字段级 | 缺口清单为空方通过 | 不予上线 |
字段落标率首批目标不低于 80%:部分源系统字段尚无对应数据元标准条目,须随标准体系逐步补齐;未落标字段逐一说明理由并列入整改清单,按季度推进,避免建模停等标准。
表 A5-30 模型设计说明书模板(逐模型一份)
| 章节 | 内容要求 |
|---|---|
| 1 模型标识 | 模型编码、中文名、层次、主题域、业务域、责任岗位、版本号 |
| 2 需求来源 | 建模需求单编号、提出方、支撑的场景或数据集 |
| 3 粒度声明 | 一行代表什么,一句话写明 |
| 4 字段清单 | 字段名、类型、必填、取值域、来源字段、清洗与落标规则、空值语义 |
| 5 维度引用 | 引用的维表及代理键字段,关联方式与命中率目标 |
| 6 度量说明 | 度量清单与可加性分类 |
| 7 加工逻辑 | 作业编号、输入输出、加工步骤摘要、幂等键、调度窗口与依赖 |
| 8 质量规则 | 挂接的质量规则编号、门控门限、不通过处置 |
| 9 分区与保留 | 分区字段、分区粒度、保留期限、归档与退役衔接 |
| 10 安全属性 | 字段级敏感标识、脱敏要求、可访问范围 |
| 11 一致性检查结果 | 表 A5-29 五项检查的执行结果 |
| 12 变更记录 | 版本、日期、变更内容、影响评估单编号 |
表 A5-31 本文件的评审与修订机制
| 项 | 规定 |
|---|---|
| 例行复核 | 每半年一次。由数据建模岗提出复核报告,内容含本期新增模型、禁止事项违规统计、落标率变化、退回原因汇总 |
| 触发修订 | 五类情形即时启动:工艺部门发布新版工序字典;甲方源系统发生一级变更;新增主题域或新增一致性维度;场景验证提出模型层无法满足的取数需求;质量域发现由模型设计导致的系统性问题 |
| 评审组织 | 甲方数据管理办公室组织;参加方包括业务归口部门代表、项目组数据建模与治理岗、平台运维岗 |
| 评审材料 | 修订说明、受影响模型清单、影响评估单、回归验证方案 |
| 评审结论 | 通过/附条件通过/不通过三种。附条件通过须列明条件与完成时限 |
| 版本发布 | 主版本号递增须重新评审;次版本号递增由文档管理岗核准发布 |
| 下游通知 | 发布后三个工作日内通知全部使用方;一级变更按表 A5-28 的时限提前通知。通知方式为治理文档台账更新+项目周例会通报+使用方岗位签收 |
| 签收与追溯 | 通知的签收记录留存,用于争议时确认下游是否已知悉变更 |
| 废止 | 本文件废止须经甲方数据治理委员会批准,废止前须明确替代文件 |
「使用方岗位签收」用于变更追溯:模型层变更对下游的影响常滞后暴露(例如字段取值域扩充后,下游作业可能数周后才因新取值报错)。签收记录用于在问题出现时区分「通知未达」与「下游未及时适配」,缩小排查范围。
本节把前述设计与业务对象的对应关系集中说明一次,便于使用方按业务问题索引模型。 这是本文件与通用数据仓库设计文档的主要差别所在。
表 A5-32 模型设计与业务对象、场景的对应
| 业务对象与现场问题 | 模型层的处理 | 支撑的场景或数据集 |
|---|---|---|
| 备料分厂 28 道封闭工序的挑选与排序 | 工序维表显式落表前置工序、禁止组合、适用板厚区间、所需设备与工装(表 A5-14、A5-15) | 板材备料工艺验证;产品工艺设计数据集 |
| 63 万张历史图纸与已审签发工艺卡的天然配对 | 图纸维表的解析状态、配对标记与配对可信度三组字段,低可信度配对不进训练集(表 A5-16) | 板材备料工艺验证;指令微调数据集 |
| 压弯件展开长按中性层公式换算 | 工序维表 need_unfold_calc 标记;工艺卡工序明细事实表同时落展开长与中性层系数及其来源 | 板材备料工艺验证 |
| 约七八成图纸属可借用的既有零件 | 图纸维表 is_borrowable;汇总层工艺复用率指标月表 | 板材备料工艺验证;工艺效率度量 |
| 一炉工件、材料批次、实际曲线与检验结论对不上 | 炉次维表提供统一炉次键与时序段标识;炉次工件明细事实表落装炉清单;检验记录事实表按炉次挂点(表 A5-17、A5-23) | 热处理过程验证;产品质量数据集 |
| 装炉量与码装方式无结构化记录 | 字段先建结构、标注「待数据到位」,空值语义声明为待填报 | 热处理过程验证 |
| 焊接参数流连续、焊道离散,对不上 | 焊道维表到道次粒度;焊道参数事实表按焊道时间窗切段聚合并保留段标识(表 A5-18、A5-22) | 焊接过程验证;制造过程数据集 |
| 外观、超声、磁粉三类检测位置口径不一致 | 焊道维表 coord_ref 统一到部件坐标系;检验记录事实表 defect_position 同口径 | 焊接过程验证 |
| 预热与层间温度仅人工抽检、纸质记录 | 字段先建结构,空值语义声明为未采集;采集手段补齐后直接灌入 | 焊接过程验证 |
| 三机联动使在役振动信号含耦合干扰 | 测点时序分段事实表的工况分段字段,按工况段分离后再与基线比对 | 装备健康诊断验证 |
| 矿方传感器损坏后不予补装 | 设备与测点维表 point_health、is_in_scope,失效期间数据不参与基线计算 | 装备健康诊断验证 |
| 库存三套口径并存 | 汇总层按统一时点口径组织;权威源归属取《数据分布及数据流图》的结论 | 库存与供应链验证;问数据 |
| 11 类管理制度与 9 类合同文档 | 文件分类维表与文件版本事实表,保留版本状态与生效区间 | 四个问答场景与合同合规审查验证 |
表中最后一列说明了一件事:模型层的每一项特殊设计都对应一个具体场景的具体需求, 没有为完备性而设的结构。这也是首批模型清单只列 48 个对象而非穷举全部业务对象的原因。
本文件各节分别写明了设计规则、流程与评审点,但「谁拟、谁签、谁批」散在表 A5-27 的评审人一列与表 A5-31 的评审组织一行里,查一件事要翻两处且两处的粒度不同。下表把本文件项下的动作逐项落到承办方,一项动作一行。代码的含义是:拟指起草与填报,签指会签并对本方口径负责,审指审核并出具意见,批指批准并承担决定后果,执指按已批准的结论执行,督指事后核查执行情况,配指按要求提供材料,横线表示该方在此动作中无职责。
列中的数据建模岗、数据标准岗与平台运维岗,沿用表 A5-27 与表 A5-31 已在用的岗位名,其归属按本文件既有规定;使用方指表 A5-25 中列出的应用层输出消费方。
表 A5-65 《数据模型分层架构》职责矩阵
| 序 | 动作 | 对应章节 | 数据治理委员会 | 数据管理办公室 | 业务归口部门 | 数据建模岗 | 数据标准岗 | 平台运维岗 | 使用方 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 五层划分与各层职责的确定 | 2.3.2 | 批 | 审 | 签 | 拟 | 配 | 配 | 配 |
| 2 | 层间门控检查项的设置与调整 | 2.3.3 | — | 批 | 配 | 拟 | 签 | 执 | — |
| 3 | 门控不通过的处置判定 | 2.3.3 | — | 审 | 配 | 批 | 配 | 执 | 配 |
| 4 | 分层禁止事项的认定与检查 | 2.3.4 | — | 督 | 配 | 审 | 配 | 执 | 配 |
| 5 | 表命名与字段命名规则的制定 | 2.4 | — | 批 | 签 | 拟 | 签 | 配 | — |
| 6 | 源系统码的分配与登记 | 2.4.1 | — | 批 | 配 | 执 | 配 | 配 | — |
| 7 | 代理键与分区策略的确定 | 2.4.4 | — | 审 | — | 批 | 配 | 签 | — |
| 8 | 主题域划分口径的确定 | 2.5.1 | 审 | 批 | 签 | 拟 | 配 | — | 配 |
| 9 | 首批模型清单的确定 | 2.5.2 | — | 批 | 签 | 拟 | 配 | 配 | 签 |
| 10 | 一致性维度清单的维护 | 2.6.1 | — | 批 | 签 | 执 | 签 | 配 | 配 |
| 11 | 维表字段设计与取值域确认 | 2.6 | — | 审 | 批 | 拟 | 签 | 配 | 配 |
| 12 | 工序维表取值与工序字典的对齐 | 2.6.2 | — | 审 | 批 | 执 | 签 | — | 配 |
| 13 | 缓慢变化维处理方式的选定 | 2.6.5 | — | 审 | 签 | 批 | 配 | 配 | 配 |
| 14 | 事实表粒度声明与度量可加性判定 | 2.7.1 | — | 审 | 签 | 批 | 配 | — | 配 |
| 15 | 事实表字段设计与来源标注 | 2.7 | — | 审 | 签 | 拟 | 签 | 配 | 配 |
| 16 | 汇总层指标口径的确认 | 2.8.1 | — | 审 | 批 | 执 | 签 | — | 签 |
| 17 | 应用层输出清单与消费口径的约定 | 2.8.2 | — | 批 | 签 | 拟 | 配 | 配 | 签 |
| 18 | 应用层输出与四类数据集对应关系的维护 | 2.8.3 | — | 审 | 配 | 拟 | 配 | — | 签 |
| 19 | 建模需求的受理与是否已有模型可满足的判定 | 2.9.1 | — | 督 | 配 | 批 | 配 | — | 拟 |
| 20 | 概念设计与粒度唯一性评审 | 2.9.1 | — | 批 | 签 | 拟 | 配 | — | 配 |
| 21 | 逻辑设计的落标对照评审 | 2.9.1 | — | 审 | 签 | 拟 | 批 | — | 配 |
| 22 | 物理设计与调度窗口评审 | 2.9.1 | — | 审 | 配 | 拟 | 配 | 批 | — |
| 23 | 上线登记、血缘登记与质量规则挂接 | 2.9.1 | — | 批 | 配 | 执 | 签 | 执 | — |
| 24 | 作业幂等与重跑能力的实现与验证 | 2.9.2 | — | 督 | — | 执 | — | 批 | 配 |
| 25 | 模型变更分级的判定 | 2.9.3 | 审 | 批 | 签 | 拟 | 签 | 配 | 配 |
| 26 | 变更影响评估与回归验证方案 | 2.9.3 | — | 审 | 签 | 拟 | 配 | 执 | 配 |
| 27 | 模型与标准一致性检查的执行与整改 | 2.9.4 | — | 批 | 签 | 执 | 执 | 配 | 配 |
| 28 | 模型设计说明书的编制与归档 | 2.9.5 | — | 批 | 配 | 拟 | 配 | 配 | — |
| 29 | 半年度例行复核报告 | 2.10 | 审 | 批 | 签 | 拟 | 配 | 配 | 配 |
| 30 | 本文件的修订与版本发布 | 2.10 | 审 | 批 | 签 | 拟 | 签 | 配 | 配 |
| 31 | 发布后的下游通知与岗位签收 | 2.10 | — | 执 | 配 | 执 | 配 | 配 | 签 |
| 32 | 本文件的废止与替代文件的确定 | 2.10 | 批 | 拟 | 签 | 配 | 配 | 配 | 配 |
表 A5-65 数据来源:动作取自本文件第 2.3 节至第 2.10 节;岗位名取自表 A5-27 评审人一列与表 A5-31 评审组织一行。
第 11 行与第 12 行把字段设计的「批」放在业务归口部门,而把「拟」放在数据建模岗。维表字段的类型、长度与分区是建模问题,取值域不是——工序维表能不能只有二十八个取值,是工艺部门的事实,不是建模岗可以设计出来的。第 12 行因此把工序维表取值与工序字典的对齐单列一行:字典未成文之前,这一行的「批」无从行使,依赖该维表的下游模型相应挂起,这一依赖关系在表 A5-11 的首批模型清单中已有标注。
第 19 行的「批」在数据建模岗,是本矩阵中少见的把受理权放在执行岗的安排。判断一个取数需求是否已有模型可满足,须同时知道现有模型的粒度与新需求的粒度,这件事只有建模岗做得了;办公室在本行只占「督」,它核查的是受理是否及时、退回是否记录了原因,不替代这项技术判断。退回原因按季度汇总用于修订本文件(第 2.9.1 节),这条回路使受理权不至于变成单方拒收。
第 24 行把幂等与重跑能力的「批」放在平台运维岗。幂等是写在设计里的属性,但它是否真的成立要在重跑中才看得出来,而重跑的后果由运维承担。把验收权放在承担后果的一方,是本文件在这一点上与通常做法不同之处。
责任边界按下列五条划定。
其一,业务含义、取值域、口径与剔除条件由业务归口部门确认。项目组承担建模、字段设计、落标与实现,提供候选口径及其依据,不代行业务口径的确认;口径分歧且协调未果的,按本附录第 4.5 节的争议处理路径提交裁定,不作单方面选择。
其二,源系统内部的字段改造与历史数据回改由系统主管部门决定。项目组提供映射方案、影响评估与转换规则,在不改造源系统的前提下通过贴源层与映射维持可用性;源系统改造带来的工作量与排期另行确认。
其三,使用方自行在应用层之上构建的加工逻辑,由使用方负责。项目组对表 A5-25 所列输出的口径、时效与字段稳定性负责,对使用方在其下游二次加工中引入的口径偏离,只在一致性检查中提出问题清单,不承担其整改实施。
其四,模型变更的下游适配由各使用方负责。项目组按表 A5-28 的时限发出通知并提供影响清单与回归验证方案,通知已签收而下游未适配造成的问题,归入下游适配未完成一类处理。
其五,本文件为样章,供甲方在实施期按实际系统环境与机构设置修改后发布。样章中的模型清单、字段设计与样例取值为模板与示意,不构成已经甲方确认的设计定稿。
本矩阵每一格的分工,是按本文件现有条款与表 A5-27、表 A5-31 推出来的承办关系,不是甲方现行制度中的实际分工。甲方机构设置与岗位名称明确后,本矩阵须逐行复核;复核中发现条款与实际分工不一致的,以修订条款为先,不以调整矩阵单方面迁就。
本节为招标文件交付物清单第 10 项的样章(b1333r11),回应数据架构规划第(2)项 对梳理各业务系统数据分布现状、绘制数据流图、明确数据存储位置、数据流向与数据交互关系的 要求(b1259、b1260)。
表 A5-33 文件标识(正式文档首页)
| 项 | 内容 |
|---|---|
| 文件名称 | 数据分布及数据流图 |
| 文件编号 | GHY26691-GV-03-0002-V1.0 |
| 版本号 | V1.0 |
| 文件类别 | 数据治理规划成果 · 设计与说明书 |
| 密级 | 内部 · 限项目组与甲方相关岗位。本文件含源系统存储位置信息,分发范围按甲方信息安全要求控制 |
| 编制 | 项目组数据架构岗 |
| 校核 | 项目组数据治理负责岗 |
| 审核 | 甲方数据管理办公室、甲方信息化管理部门 |
| 批准 | 【待填:审批岗位与签批人以甲方治理组织架构发布后为准】 |
| 生效日期 | 经审批发布之日起生效【待填:发布日期】 |
| 修订周期 | 随接口开通滚动更新;每季度一次例行复核 |
| 附件 | 附件一 数据分布台账(电子表格);附件二 系统间交互关系矩阵(电子表格);附件三 数据流图图元规范 |
本文件的密级高于同域另两份文档,因为台账中登记了数据库实例、库名与文件存储路径一类信息。 正式文档中这类字段按甲方信息安全要求以登记标识代替明文,明文清单单独成册、单独分发 (见 3.4.4 节)。
本文件适用于本项目数据汇聚范围内的全部数据来源,覆盖招标文件 3.2.2.1 所列 17 套外围 应用系统(b0804r02、b0808—b0908)、设备侧的过程数据采集通道,以及不在系统内的三类资产: 纸质档案、散存文档与只存在于交流过程中的事实。本文件是三类工作的共同底图: 数据模型分层架构确定各层输入的依据、集成作业与接口开通清单的编制依据、 以及数据安全分级与权限范围划定的依据。
本文件不涉及甲方各源系统内部的数据结构设计与系统间既有集成关系的改造。 台账中登记的系统间现存交互关系用于判断权威源与口径差异,不构成对这些交互关系的变更建议; 确需改造的,按甲方信息化管理流程另行提出。
生效条件为经甲方数据管理办公室与信息化管理部门共同评审通过并发布。 因本文件的内容依赖现场取证,V1.0 的发布时点定在现状评估阶段完成、首批接口开通清单 确认之后;此前的工作稿不作为对外依据。
数据分布台账与数据资产盘点表共用同一份调研底稿,但组织方式不同:盘点表以业务对象为 主索引,分布台账以系统为主索引。两者互为校验——盘点表中登记了对象在哪些系统有记录, 分布台账中登记了系统承载哪些数据域及其存储位置,二者对不上就说明盘点有遗漏。 按系统逐个盘点得到的是十七张互不衔接的字段清单,按业务对象盘点才能看出链路在哪一环断掉, 两条索引都做才既不漏系统也不漏对象。
台账中每一项登记须注明取证方式与取证时点,不接受「据了解」。取证方式分四类: 系统取证(从数据字典、数据库设计说明书、表结构或接口文档中读取)、 抽样统计(在已开通的只读通道上执行统计语句)、访谈确认(业务归口部门口头确认并书面回执)、 现场核对(到档案室、车间现场实地清点)。四类取证的可信度递减关系须在台账中体现, 后续建模取值时优先采用系统取证与抽样统计的结论。
招标文件已要求各源系统提供数据库连接信息、API 接口信息或 FTP 信息,以及数据字典或 数据库设计说明书(如 b0813、b0815、b0820、b0822、b0827、b0829、b0834、b0840、b0845、 b0851、b0856、b0863、b0869、b0876、b0882、b0888、b0893、b0898、b0904)。 这些材料是台账系统取证部分的直接依据,到位进度直接决定台账的完成进度, 因此台账每一行均设「取证材料到位状态」一列,未到位者标注并进入甲方配合事项清单(见 3.8 节)。
表 A5-34 数据分布台账字段定义
| 字段 | 类型 | 必填 | 取值域/校验规则 | 取证方式 |
|---|---|---|---|---|
| 台账行号 | 字符(12) | 是 | 形如 DL-001,全局唯一 | 平台生成 |
| 系统名称 | 字符(64) | 是 | 取自源系统清单,与源系统码一一对应 | 系统取证 |
| 系统类别 | 字符(16) | 是 | 业务系统/采集系统/文档系统/主数据/设备侧/离线档案(枚举) | 系统取证 |
| 承载数据域 | 字符(128) | 是 | 主题域码列表,取自分层架构 2.5.1 节 | 访谈确认 |
| 承载数据对象 | 字符(256) | 是 | 业务对象清单中的一项或多项 | 系统取证 |
| 数据形态 | 字符(64) | 是 | 结构化/半结构化/文档/图纸/图像/时序/视频/音频(可多选) | 系统取证 |
| 存储位置标识 | 字符(32) | 是 | 指向明文清单的登记标识,台账中不存明文 | 系统取证 |
| 存储介质类别 | 字符(16) | 是 | 关系库/时序库/文件服务器/文档库/对象存储/纸质(枚举) | 系统取证 |
| 部署区域 | 字符(32) | 是 | 机房或区域名称 | 系统取证 |
| 存量规模 | 字符(32) | 是 | 条数、张数或容量,须注明统计时点 | 抽样统计 |
| 时间覆盖 | 字符(32) | 是 | 最早记录年份至今,中断区间须标注 | 抽样统计 |
| 增量频率 | 字符(16) | 是 | 日增量或月增量数值 | 抽样统计 |
| 标识字段 | 字符(128) | 是 | 该资产对外关联的主键或业务标识字段名 | 系统取证 |
| 上游来源 | 字符(128) | 否 | 系统名称列表,无上游填「源发」 | 访谈确认 |
| 下游流向 | 字符(128) | 否 | 系统名称列表 | 访谈确认 |
| 交互方式 | 字符(16) | 是 | 接口调用/文件交换/数据库直连/消息/人工导入导出/暂无(枚举) | 系统取证 |
| 交互频率 | 字符(16) | 是 | 实时/准实时/日批/周批/按需/不定期(枚举) | 系统取证 |
| 主数据归属 | 字符(32) | 是 | 权威源/副本/不涉及(枚举),权威源须注明主数据域 | 访谈确认 |
| 口径差异 | 文本 | 否 | 与其他系统同名字段的口径差异逐条说明 | 访谈确认+抽样统计 |
| 质量初判 | 字符(64) | 是 | 主键唯一性、非空率、枚举合规率三项抽样结果 | 抽样统计 |
| 本项目取数通道 | 字符(16) | 是 | 七类通道之一或「暂无通道」,取自集成共享管理规范第二章 | 系统取证 |
| 低峰时段 | 字符(16) | 是 | 可取数时间窗,默认零点至五点 | 访谈确认 |
| 敏感级别 | 字符(8) | 是 | 按数据安全分级标准取值 | 安全职能确认 |
| 责任部门 | 字符(32) | 是 | 业务归口部门 | 访谈确认 |
| 变更通知责任岗位 | 字符(32) | 是 | 该系统字段与接口变更的通知责任岗位 | 访谈确认 |
| 取证材料到位状态 | 字符(16) | 是 | 已到位/部分到位/未到位(枚举) | 项目组登记 |
| 取证时点 | 日期 | 是 | — | 项目组登记 |
「主数据归属」与「口径差异」两列是台账的要点。企业当前的问题之一是同一类字段在不同 系统中的填写完整度差别很大,更麻烦的是同一个名称在不同系统中指的不是同一件事—— 库存三套口径并存就是典型。台账把权威源与副本分清、把口径差异逐条写明, 数仓建模时才知道该取哪一处的值。
下列三表按系统类别分组给出台账样例行。为便于阅读,表中只保留关键列, 完整字段按表 A5-34 在附件一的电子表格中登记。存量规模与增量频率标注为【待填】的, 须在接口开通并执行抽样统计后填入,不作估计。
表 A5-35 台账样例行(结构化业务数据来源)
| 行号 | 系统 | 承载数据对象 | 数据形态 | 介质 | 标识字段 | 取数通道 | 主数据归属 | 口径差异与现存问题 |
|---|---|---|---|---|---|---|---|---|
| DL-001 | 客户关系管理 | 客户、商机、报价、合同、订单、回款(b0810) | 结构化+文档 | 关系库+文件服务器 | 客户编码、商机号、合同号 | 接口取数 | 商机与客户的权威源 | 正在上线,历史数据较少;商机与成交的对应关系待核 |
| DL-002 | 企业资源计划 | 组织、人力、物料、采购、销售订单、成本核算、应收应付、凭证、资产、资金(b0818、b0819) | 结构化 | 关系库 | 物料编码、订单号、凭证号 | 批量取数 | 账务口径的权威源;物料主数据为副本 | 需求运算未启用;库存账面口径与实物口径有差异 |
| DL-003 | 供应链管理 | 供应商档案与评估、采购计划与订单、订单下达、供货履约、付款计划(b0825、b0826) | 结构化 | 关系库 | 供应商编码、采购订单号 | 批量取数 | 供应商档案的权威源 | 履约记录与到货记录的时点口径须对齐 |
| DL-004 | 质量管理 | 制程检验、进厂检验、出厂检验、成品检验、质量台账;质量报告、检验数据、产品质量档案、质量知识(b0832、b0833) | 结构化+文档+图像 | 关系库+文件服务器 | 检验记录号、工单号、零件号 | 增量取数+文件采集 | 检验结论的权威源 | 新上线、正在推行;缺陷描述为文字,未与工艺参数关联 |
| DL-005 | 仓储管理 | 仓库、库区、货位、物料、批次、到货单、入库单、出库单(b0838、b0839) | 结构化 | 关系库 | 货位编码、批次号、单据号 | 增量取数 | 实物库存的权威源 | 库存三套口径并存;批次号与物料编码的对应待梳理 |
| DL-006 | 制造执行 | 焊丝牌号、焊丝直径、生产工单、生产进度(b0844) | 结构化 | 关系库 | 工单号、工序号 | 增量取数 | 工单与工序流转的权威源 | 报工时点相对实际作业滞后;车间自编工艺卡未全部回传 |
| DL-007 | 物流管理 | 物流需求、运单、调度结果、装卸、取货、送达、运输时间(b0849、b0850) | 结构化 | 关系库 | 运单号 | 批量取数 | 运单的权威源 | — |
| DL-008 | 能源管理 | 能耗监控、能耗统计、能耗分析(b0855) | 时序 | 时序库 | 设备编码、测点编码 | 时序取数 | 能耗数据的权威源 | 与设备档案的编码对应待核 |
| DL-009 | 设备资产管理 | 设备台账、设备档案、设备点检、维修工单、作业计划(b0867、b0868) | 结构化 | 关系库 | 设备编码 | 批量取数 | 设备编码的权威源 | 设备编码与测点配置的对应关系不完整 |
| DL-010 | 产品全生命周期管理 | 物料清单编号、工序数据、变更、零部件信息;选型方案、工艺图纸、CAD 图纸、工艺卡片(b0873、b0874、b0875) | 结构化+图纸+文档 | 关系库+文件服务器 | 图号、部件编号、物料清单编号 | 批量取数+文件采集 | 产品结构与图纸的权威源 | 原生图纸不支持整批导出,须按项目分批;图纸与工艺卡配对未结构化 |
| DL-011 | 主数据管理平台 | 组织机构、人员、物料编码(b0897) | 结构化 | 关系库 | 组织编码、人员编码、物料编码 | 批量取数 | 组织、人员、物料主数据的权威源 | 纳管范围与审批流程记录完整度待核 |
| DL-012 | 经营指标报送 | 营业收入、利润、成本、资产负债(b0892) | 结构化 | 关系库 | 指标编码、期间 | 接口取数 | 对外报送口径的权威源 | 指标口径与业务系统口径存在差异 |
表 A5-36 台账样例行(时序与设备侧数据来源)
| 行号 | 系统 | 承载数据对象 | 采样与时间覆盖 | 介质 | 取数通道 | 现存问题 |
|---|---|---|---|---|---|---|
| DL-013 | 数据采集与监控 | 设备电流、电压、温度、湿度、运行状态、焊接电流与电压、送丝速度、气体流量(b0880、b0881) | 秒级;历史长期留存,覆盖部分车间与部分设备 | 时序库 | 时序取数 | 采集范围有限,按场景优先级分批扩展,首期以试点炉型、试点产线与试点车间为准 |
| DL-014 | 热处理群控 | 当前与设置温度、电流与电压、加热与冷却时间、冷却水温度、淬火液温度、淬火水温、温控测量值(b0902、b0903) | 秒级;炉次级记录可追溯 | 时序库+关系库 | 时序取数+接口取数 | 炉次与装炉工件清单、材料批次无结构化关联 |
| DL-015 | 设备远程运维 | 健康状态时序;设备运维计划、报警处置、售后工单、备件消耗;设备档案、维修记录、诊断报告、故障案例(b0860、b0861、b0862) | 按测点配置;在役装备持续采集 | 时序库+关系库+文件服务器 | 时序取数+接口取数+文档采集 | 报警与真实故障无配对;传感器损坏后不予补装;与售后工单未打通 |
| DL-016 | 安全监管平台 | 安全监管数据、生产过程监控数据(b0907、b0908) | 按事件 | 关系库 | 接口取数(单向) | 与设备、作业对象的关联待建立 |
| DL-017 | 协同办公 | 11 类管理制度、9 类合同文档(b0886) | 按件归档 | 文档库 | 文档采集 | 版本状态字段不完整;附件可导出性待核 |
表 A5-37 台账样例行(系统外资产)
| 行号 | 资产 | 承载对象 | 存量与位置 | 取数通道 | 处置方式 |
|---|---|---|---|---|---|
| DL-018 | 纸质检测报告 | 检验记录、质量报告 | 数量可观但尚未数字化,存于档案室【待填:册数与年份区间】 | 暂无通道 | 批量扫描后按文件采集通道入库,纳入离线非结构化数据录入范围(b0909、b0910) |
| DL-019 | 历史选型方案 | 选型方案与校核过程 | 约四五百套,以文档形式散存,无结构化库 | 文件采集 | 解析后入选型方案事实表,投运评价标签须另行补录 |
| DL-020 | 历史工艺图纸与工艺卡 | 图纸、工艺卡片 | 图纸约 63 万张,每张历史上配有一张已审核签发的工艺卡 | 文件采集 | 按项目分批读取与解析,配对关系结构化落库 |
| DL-021 | 配套会商确定的接口参数 | 截深、截高、推移步距等接口参数 | 多方会商结论,往往无规范电子留痕 | 暂无通道 | 进入新增采集部分:在既有业务流程中增设填报入口、由系统预填、经手人确认,不作一次性补录 |
| DL-022 | 装炉量与码装方式 | 热处理装炉作业记录 | 无结构化记录 | 暂无通道 | 同上,须甲方增设填报入口 |
| DL-023 | 预热温度与层间温度 | 焊接过程参数 | 人工抽检、纸质记录 | 暂无通道 | 须补齐采集手段,属新增采集项 |
系统外资产的四行(DL-021 至 DL-023 及 DL-018)对应的是同一类问题:数据不在系统里, 因而不能靠接口解决。处置方式分两种——已有纸质载体的做数字化,没有载体的在业务流程中 增设填报入口。后者的落地依赖甲方推动流程变更,本项目交付的是填报字段设计、预填逻辑 与校验规则,流程发文与岗位执行由甲方负责。这一责任边界在台账中逐行注明。
存量与增量两列不接受估计值。填写要求为:结构化数据按主表行数统计并注明统计语句与执行时点; 文档与图纸按文件数与总容量统计并注明统计路径;时序数据按测点数、采样周期与保留期限 折算并注明折算方式。未开通取数通道的资产,两列填【待填】并在取证材料到位状态列标注未到位, 不以推测值填入。这条要求的理由是存量规模直接影响加工批次计划与算力资源测算, 用估计值填表会把误差传导到后续计划。
存储位置分两级登记。台账中登记存储位置标识与介质类别、部署区域,不存明文; 明文清单(数据库实例地址、库名、文件存储路径、挂载点)单独成册, 按甲方信息安全要求限定分发范围与借阅登记,并随项目结束一并移交。 这样处理的理由是分布台账的使用方较广——建模、取数、质量、安全各岗位都要查, 而明文位置信息的知悉范围应当更窄。两级登记以标识关联,查明文须另行申请。
数据流图按三个视角出图,各有用途,不互相替代:系统间交互视图用于看清现有交互关系与 冗余路径,是接口改造与权威源判定的依据;业务对象流转视图用于看清一个工件的过程事实 如何在系统间传递以及标识在哪一跳断掉,是标识贯通方案的依据;本项目取数视图用于看清 从哪些系统取哪些数据、经哪条通道、落到哪一层,是接口开通清单与集成作业清单的底图。
正式文档中每个视角按主题域各出一张分图,合计十余张。本样章给出三个视角各一张全景图, 分图按同一图元规范(见 3.11 节)绘制。
图 A5-5 系统间数据交互全景与权威源分布。数据来源:招标文件 3.2.2.1 各系统集成要求 (b0808—b0908)与 3.2.6.1.1.2.3 第(2)项(b1259、b1260);权威源判定取现状评估访谈结论。
这一视角是本文件最有诊断价值的一张图。它跟踪同一个物理工件从施工号下发到交付在役的 全过程,逐跳标注传递的是哪个标识字段,断在哪一跳。企业的根因之一是业务对象标识不贯通—— 施工号、产品号、图号、零件号、物料编码、工单号、炉次、焊缝与焊道、设备编码与故障记录 之间没有稳定主键关系,同一台产品在不同系统里叫不同的名字。把断点标在图上, 标识贯通方案要做哪几件事就一目了然。
图 A5-6 一个工件的标识传递链与标识断点。数据来源:招标文件 3.2.6.1.1.2.3 第(2)项 (b1259、b1260);断点条目取现状评估阶段对数据条件的调研结论。
第三个视角是接口开通清单的底图:七类通道分别承接哪些数据形态、从哪些系统取、 落到分层架构的哪一层,以及受控回写的范围。技术方案正文已给出这一视角的总体流图, 本文件在其基础上补出通道与层次的逐一对应关系,并标明各通道的取数窗口。
图 A5-7 七类取数通道、数据形态与分层落点。数据来源:招标文件 3.2.6.1.1.2.3 第(3)项 (b1261、b1262)、3.2.2.1 各系统低峰时段要求(b0814 等)、3.2.2.2 离线非结构化数据录入要求 (b0909—b0913)。
数据流图给出的是整体样貌,接口开通与变更影响评估还需要一张逐对关系的矩阵。 矩阵按「谁是权威源、谁是副本、经什么方式传递、现存什么问题」登记。 技术方案正文已给出矩阵的体例与十二条关键关系,本文件在正式版本中按逐对关系补全, 并增设三列用于接口管理:接口编号、字段数与取数窗口。下表给出增设列后的样例行。
表 A5-38 系统间交互关系矩阵(增设接口管理列,样例行)
| 接口编号 | 上游系统 | 下游系统/本平台 | 传递内容 | 方式 | 频率 | 取数窗口 | 字段数 | 权威源归属 | 现存问题 |
|---|---|---|---|---|---|---|---|---|---|
| IF-001 | 产品全生命周期管理 | 本平台 | 产品结构与物料清单 | 只读视图 | 日批 | 0—5 时 | 【待填】 | 产品结构 | 导入时点与出图时点不一致时下游取到旧版 |
| IF-002 | 产品全生命周期管理 | 本平台 | 原生图纸与工艺文件 | 文件读取 | 按项目分批 | 0—5 时 | 不适用 | 图纸 | 原生格式不支持整批导出 |
| IF-003 | 工艺系统 | 本平台 | 工艺路线与工艺卡工序明细 | 只读接口 | 日批 | 0—5 时 | 【待填】 | 工艺路线 | 车间自编工艺卡未全部回传 |
| IF-004 | 工时定额 | 本平台 | 工序工时定额 | 只读接口 | 日批 | 0—5 时 | 【待填】 | 定额两处互为来源 | 两侧不一致时无仲裁规则 |
| IF-005 | 企业资源计划 | 本平台 | 物料、采购、销售订单、成本、应收应付、凭证、资产、资金 | 只读视图 | 日批 | 0—5 时 | 【待填】 | 账务口径 | 库存账面口径与实物口径差异 |
| IF-006 | 主数据管理平台 | 本平台 | 组织机构、人员、物料编码 | 只读接口 | 日批 | 0—5 时 | 【待填】 | 组织、人员、物料主数据 | 纳管范围待核 |
| IF-007 | 制造执行 | 本平台 | 工单、工序流转与报工、焊丝牌号与直径 | 变更捕获 | 准实时 | 全天 | 【待填】 | 工单 | 报工时点滞后 |
| IF-008 | 质量管理 | 本平台 | 检验记录、处置票据、拍照附件 | 变更捕获+文件 | 准实时 | 全天 | 【待填】 | 检验结论 | 缺陷描述为文字,未与工艺参数关联 |
| IF-009 | 仓储管理 | 本平台 | 库存、批次、出入库流水 | 变更捕获 | 准实时 | 全天 | 【待填】 | 实物库存 | 批次与物料编码对应待梳理 |
| IF-010 | 供应链管理 | 本平台 | 供应商档案与评估、采购计划与履约 | 只读接口 | 日批 | 0—5 时 | 【待填】 | 供应商档案 | 履约与到货时点口径待对齐 |
| IF-011 | 客户关系管理 | 本平台 | 客户、商机、报价、合同、订单、回款及附件 | 只读接口+文件 | 日批 | 0—5 时 | 【待填】 | 商机 | 历史数据较少 |
| IF-012 | 物流管理 | 本平台 | 物流需求、运单、调度、装卸与送达时间 | 只读接口 | 日批 | 0—5 时 | 【待填】 | 运单 | — |
| IF-013 | 能源管理 | 本平台 | 能耗监控、统计与分析 | 时序取数 | 日批 | 0—5 时 | 不适用 | 能耗 | 与设备档案编码对应待核 |
| IF-014 | 设备资产管理 | 本平台 | 设备台账与档案、点检、维修工单、作业计划 | 只读接口 | 日批 | 0—5 时 | 【待填】 | 设备编码 | 设备与测点对应关系不完整 |
| IF-015 | 数据采集与监控 | 本平台 | 设备电流电压温湿度、运行状态、焊接参数、气体流量 | 时序取数 | 按时间窗 | 0—5 时取历史,增量准实时 | 不适用 | 过程参数 | 采集仅覆盖部分车间与设备 |
| IF-016 | 热处理群控 | 本平台 | 炉次工单、开完工记录、设定与实际温度、冷却与淬火相关温度 | 接口+时序 | 按炉次 | 全天 | 【待填】 | 炉次 | 炉次与装炉工件清单无结构化关联 |
| IF-017 | 设备远程运维 | 本平台 | 健康状态时序、运维计划、报警处置、售后工单、备件消耗及文档 | 接口+时序+文件 | 准实时 | 全天 | 【待填】 | 报警事件 | 报警与真实故障无配对 |
| IF-018 | 售后与备件 | 本平台 | 服务工单、派工、备件出库 | 只读接口 | 日批 | 0—5 时 | 【待填】 | 服务工单 | 与远程运维事件未打通 |
| IF-019 | 协同办公 | 本平台 | 11 类管理制度、9 类合同文档、票据流转 | 文档采集 | 按件 | 0—5 时 | 不适用 | 制度发布记录 | 版本状态字段不完整 |
| IF-020 | 企业文档 | 本平台 | 标准、技术手册、工程资料归档 | 文档采集 | 按件 | 0—5 时 | 不适用 | 标准归档 | 归档完整度待核 |
| IF-021 | 经营指标报送 | 本平台 | 营业收入、利润、成本、资产负债 | 只读接口 | 按报送周期 | 0—5 时 | 【待填】 | 报送口径 | 指标口径与业务系统口径差异 |
| IF-022 | 安全监管平台 | 本平台 | 安全监管数据、生产过程监控数据 | 只读接口(单向) | 按事件 | 全天 | 【待填】 | 安全监管记录 | 与设备、作业对象关联待建立 |
| IF-023 | 离线档案与散存文档 | 本平台 | 纸质检测报告扫描件、历史选型方案、历史图纸与工艺卡 | 批量导入 | 按批次 | 不限 | 不适用 | 不适用 | 纸质未数字化;选型方案无结构化库 |
| IF-024 | 本平台 | 企业资源计划 | 备料场景回填的零件明细与物料清单 | 受控回写 | 按件 | 约定窗口 | 【待填】 | 回写须经甲方岗位确认 | 回写范围须在协议中写定 |
| IF-025 | 本平台 | 工时定额 | 备料场景回填的工时定额建议 | 受控回写 | 按件 | 约定窗口 | 【待填】 | 同上 | 同上 |
矩阵中「现存问题」一列与现状评估的不足项清单逐条对应,两份文件在项目期内同步维护。 「权威源归属」一列是数仓建模取值的直接依据:同一字段在多个系统中都有,一律取权威源的值, 副本只用于交叉校验。表中有两处当前无仲裁规则的情形(工时定额两处互为来源、库存口径差异), 须经口径确认流程产生结论后方可建模。接口编号与集成作业编号一一对应,在《数据集成共享 管理规范》的作业登记台账中同号登记,便于从接口追到作业、再追到模型。
断点清单是本文件最直接服务于项目目标的一节。清单逐条登记断点现象、影响的场景、 打通方式、责任边界与验收口径,是场景验证能否成立的前置条件表。
表 A5-39 数据断点与打通方案清单
| 断点编号 | 现象 | 影响的场景与数据集 | 打通方式 | 责任边界 | 验收口径 |
|---|---|---|---|---|---|
| BP-01 | 图纸与工艺卡的配对关系存在于人的记忆与文件目录中,未结构化落库 | 板材备料工艺验证;产品工艺设计数据集 | 按图号与零件号双键配对,配对结果标注高中低三档可信度,低档不进成对样本集 | 配对规则与加工由项目组;配对结果的业务确认由工艺部门抽样复核 | 抽样复核中高档配对的判定一致率达到约定门限;门限值随首批结果确定 |
| BP-02 | 炉次与工件、材料批次、实际曲线、检测结果之间无稳定关联 | 热处理过程验证;产品质量数据集 | 炉次维表提供统一炉次键与时序段标识;炉次工件明细事实表落装炉清单;检验记录按炉次挂点 | 关联规则与加工由项目组;装炉清单的填报入口由甲方增设 | 试点炉型的炉次档案可一次调出装炉清单、材料批次、曲线特征与检验结论 |
| BP-03 | 装炉量与码装方式无结构化记录 | 热处理过程验证 | 字段先建结构、标注待数据到位;在既有作业流程中增设填报入口,系统预填、经手人确认 | 字段设计与校验规则由项目组;流程发文与岗位执行由甲方 | 填报入口上线后试点炉型的填报完成情形达到约定比例 |
| BP-04 | 焊接参数流连续、工件与焊道离散,两者对不上 | 焊接过程验证;制造过程数据集 | 焊道维表到道次粒度;参数按焊道时间窗切段聚合并保留段标识 | 切段规则与加工由项目组;焊道编号规则由工艺部门确认 | 问题部件可在约定时间内调出自身与同型部件在本批次及其他批次的参数比对 |
| BP-05 | 外观、超声、磁粉三类检测的位置口径不一致 | 焊接过程验证 | 位置口径统一到部件坐标系,落成焊道维表与检验记录事实表的同名字段 | 口径定义由工艺与质量两职能共同确认;落库由项目组 | 同一焊道的三类检测结论可叠加展示 |
| BP-06 | 预热温度与层间温度仅人工抽检、纸质记录 | 焊接过程验证 | 补齐采集手段;字段先建结构,空值语义声明为未采集 | 采集手段的选型与安装属硬件配套范围;字段与校验由项目组 | 采集上线后试点产线的两项参数进入焊道参数事实表 |
| BP-07 | 报警与真实故障无配对,历史数据无事件级标签 | 装备健康诊断验证 | 同一设备同一时间窗的相关通道报警归并为一次事件并保留原始报警;维修事实回填到事件 | 归并规则与加工由项目组;维修事实的回填由售后岗位在既有流程中完成 | 回填率逐步提高,起点与阶段目标随首批数据确定 |
| BP-08 | 矿方传感器损坏后往往不予补装,测点连续性不足 | 装备健康诊断验证 | 测点健康状态字段与采集有效区间;失效期间数据不参与基线计算并在结论中标注证据等级 | 补装由矿方与售后协商,不属本项目;分层处理由项目组 | 诊断结论附证据等级,低等级结论明确标注数据不足 |
| BP-09 | 历史选型方案未随结论留存输入参数,投运评价无系统性记录 | 产品智能选型验证 | 文档解析提取输入参数与配置结论;投运评价标签由业务补录 | 解析与入库由项目组;评价标签补录由售前与售后岗位 | 解析成功的方案数与补录评价的方案数达到首批约定规模 |
| BP-10 | 库存三套口径并存;库存物料与部件对应关系未梳理 | 库存与供应链验证;问数据 | 统一时点口径在汇总层组织;权威源归属按本文件矩阵结论取值 | 口径仲裁由财务与生产管理职能;建模由项目组 | 同一时点的三套口径差异可解释并出具差异说明 |
| BP-11 | 纸质检测报告未数字化,无法进入任何链路 | 产品质量数据集;热处理与焊接验证 | 批量扫描后按文件采集通道入库,纳入离线非结构化数据录入范围 | 扫描作业的组织由甲方档案职能,解析与入库由项目组 | 首批扫描批次的解析可用率达到约定门限 |
| BP-12 | 配套会商确定的接口参数无电子留痕 | 产品智能选型验证 | 在售前流程中增设填报入口,系统预填、经手人确认 | 字段与校验由项目组;流程落地由甲方 | 新增项目的接口参数填报完成情形达到约定比例 |
| BP-13 | 车间自行编制的本车间工艺卡未全部回传工艺系统 | 板材备料工艺验证 | 回传范围与方式由工艺部门确认;未回传部分按离线文件采集 | 回传流程由甲方,采集与解析由项目组 | 试点分厂的工艺卡覆盖情形达到约定比例 |
| BP-14 | 远程运维平台与售后服务系统未打通,维修事实无法回填事件 | 装备健康诊断验证 | 以服务工单号与设备编码、时间窗三项关联,建立回填通道 | 两系统的接口开通由甲方协调,关联规则由项目组 | 回填通道上线并有试点数据通过验证 |
清单中「验收口径」一列多处写为「达到约定门限」而非具体数值,原因是门限值须以首批实测 结果为基线确定。本文件规定门限确定的时点与方式:首批数据到位后两周内由项目组提出 基线报告与建议门限,经甲方数据管理办公室确认后写入本文件次版本。先定方法、后定数值, 比在无基线时写一个数更可执行。
表 A5-40 接口开通所需材料与配合事项
| 系统 | 所需材料与配合事项 | 招标文件依据 | 状态 |
|---|---|---|---|
| 客户关系管理 | 数据库连接信息、API 接口信息或 FTP 信息;数据字典或数据库设计说明书;低峰时段确认 | b0813、b0814、b0815 | 【待填:到位状态】 |
| 企业资源计划 | 数据库连接信息或 API 接口信息;数据字典或数据库设计说明书;低峰时段确认 | b0820、b0821、b0822 | 【待填】 |
| 供应链管理 | 同上 | b0827、b0828、b0829 | 【待填】 |
| 质量管理 | 数据库连接信息、API 接口信息或 FTP 信息;低峰时段确认;拍照附件的读取方式 | b0834、b0835 | 【待填】 |
| 仓储管理 | 数据库连接信息或 API 接口信息;低峰时段确认 | b0840、b0841 | 【待填】 |
| 制造执行 | 数据库连接信息或 API 接口信息;低峰时段确认 | b0845、b0846 | 【待填】 |
| 物流管理 | 同上 | b0851、b0852 | 【待填】 |
| 能源管理 | 同上;测点与设备编码对应表 | b0856、b0857 | 【待填】 |
| 设备远程运维 | 数据库连接信息、API 接口信息或 FTP 信息;测点配置表;文档读取方式;低峰时段确认 | b0863、b0864 | 【待填】 |
| 设备资产管理 | 数据库连接信息或 API 接口信息;低峰时段确认 | b0869、b0870 | 【待填】 |
| 产品全生命周期管理 | 数据库连接信息、API 接口信息或 FTP 信息;图纸按项目分批导出的配合安排;低峰时段确认 | b0876、b0877 | 【待填】 |
| 数据采集与监控 | 数据库连接信息或 API 接口信息;现有采集范围清单;扩展清单以现场勘察结论为准 | b0882、b0883 | 【待填】 |
| 协同办公 | 数据库连接信息、API 接口信息或 FTP 信息;11 类制度与 9 类合同的分类口径 | b0888、b0889 | 【待填】 |
| 经营指标报送 | 数据库连接信息、API 接口信息或 FTP 信息;指标口径说明 | b0893、b0894 | 【待填】 |
| 主数据管理平台 | 同上;纳管范围清单 | b0898、b0899 | 【待填】 |
| 热处理群控 | 数据库连接信息、API 接口信息或 FTP 信息;炉台与工艺程序清单 | b0904、b0905 | 【待填】 |
| 安全监管平台 | 单向集成的接口信息与数据范围确认 | b0907、b0908 | 【待填】 |
| 离线档案 | 档案室清点配合、扫描作业组织、散存文档的目录与位置 | b0909、b0910、b0911 | 【待填】 |
本表在项目期按周更新状态,是接口开通进度的唯一依据。材料未到位的系统, 其台账相关行保持【待填】而不以推测值填入;若某一系统的材料长期未到位而影响场景验证进度, 按项目变更流程提出并记录对进度的影响。源系统厂商配合的协调由甲方推动, 本项目交付的是接口规格要求与联调验证方案。
本文件的三个视角分别回答三个业务问题,这是它区别于通用数据分布文档的地方。 系统间交互全景回答「同一件事在哪几套系统里都有记录、该信哪一处」—— 库存三套口径并存、工时定额两处互为来源、指标口径与业务系统口径有差异, 这三件事在矩阵的权威源归属一列有明确结论。标识传递链回答「为什么跨系统追一件事要靠人工对账」—— 五处标识断点逐一标注,每一处都对应断点清单中的一条打通方案。取数通道视图回答 「为什么不能用一种方式把数据都接进来」——原生图纸不支持整批导出、时序按秒级采样、 纸质报告尚未数字化,三类资产的取数方式各不相同。
三个视角共同服务于一件具体的事:使 63 万张图纸与其配对工艺卡、 试点炉型的炉次档案、试点产线的焊道参数三类成对样本能够被稳定地组织出来。 这三类成对样本是四类数据集中最有价值也最难获得的部分, 它们的可获得性完全取决于本文件所梳理的分布与断点是否清楚。
表 A5-41 本文件的维护与修订机制
| 项 | 规定 |
|---|---|
| 滚动维护 | 台账与矩阵随接口开通逐行更新,更新由集成作业开发岗提出、数据架构岗核准,不走版本发布流程 |
| 例行复核 | 每季度一次。复核内容:台账行的取证时点是否超过六个月、断点清单的打通进度、权威源归属是否有新的仲裁结论 |
| 触发修订 | 四类情形即时启动:新增或下线源系统;某一系统的存储位置或部署区域变更;权威源归属发生仲裁结论变更;断点清单新增或关闭条目 |
| 版本发布 | 季度复核后出一个次版本;新增源系统或权威源归属变更须出主版本并重新评审 |
| 评审组织 | 甲方数据管理办公室与信息化管理部门共同组织;源系统业务归口部门代表参加 |
| 下游通知 | 发布后三个工作日内通知建模、取数、质量、安全四类岗位;涉及权威源变更的,同时通知受影响模型的责任岗位并附影响评估单 |
| 明文位置清单 | 与台账同步维护,分发范围按甲方信息安全要求单独控制,借阅登记留存 |
| 废止 | 项目结束后随治理成果移交,按甲方档案管理要求归档(b2236),不单独废止 |
正式文档中的十余张分图由不同岗位分别绘制,图元不统一会导致同一种线型在两张图里 含义不同。本节规定图元口径,一并作为交付物的一部分。
表 A5-42 数据流图图元规范
| 图元 | 含义 | 样式要求 |
|---|---|---|
| 实线箭头 | 已有稳定数据传递 | 深色描边,箭头上必须标注传递的数据内容 |
| 虚线箭头 | 传递缺失、口径不一致或须新建的路径 | 浅色描边+虚线,须在图注中编号说明 |
| 实线无箭头 | 登记、引用关系,非数据流动 | 细线 |
| 圆角矩形 | 系统或平台组件 | 浅底深描边,不用深色填充 |
| 虚线框 | 责任边界或区域分组 | 虚线边框,左上角标注分组名 |
| 五角星标记 | 该类数据的权威源 | 置于系统名称前 |
| 圆圈数字 | 断点或说明条目编号 | 与图注中的编号对应 |
| 字体与字号 | 正文 13px,标注 11.5—12px,图题 12.5px | 字体取无衬线中文字体,避免在导出环境缺字 |
| 配色 | 浅底深描边,不使用大面积深色块 | 交付物须适应黑白打印 |
| 图题与来源 | 每图必须有图题与数据来源说明 | 来源指向招标文件章节号或本文件表号 |
图元规范中「箭头上必须标注传递的数据内容」一条是有具体原因的:不标内容的箭头图只能 说明两个系统之间有联系,不能用于判断接口开通范围。本项目的数据流图要直接作为接口清单的 底图使用,因此每条边都须可追溯到矩阵中的一行。
本文件是一份台账加图集,它的管理动作与制度类文件不同:多数动作是取证、登记与核对,少数是裁定与审批。表 A5-41 规定了维护与修订的走法,但逐行取证、权威源归属、断点认定这些日常动作归谁,仍须一张可查的表。下表把本文件项下的动作逐项落到承办方。代码的含义是:拟指起草与填报,签指会签并对本方口径负责,审指审核并出具意见,批指批准并承担决定后果,执指按已批准的结论执行,督指事后核查执行情况,配指按要求提供材料,横线表示该方在此动作中无职责。
本矩阵把「源系统业务归口部门」与「信息化管理部门」分列两列。两者在表 A5-41 的评审组织里并列出现,但职责不同:前者确认数据的业务含义与权威性,后者确认系统的部署、接口与账号。合并一列会使权威源仲裁与接口开通这两条路径在矩阵上重叠,而本项目中卡住的恰恰是它们各自的那一端。
表 A5-66 《数据分布及数据流图》职责矩阵
| 序 | 动作 | 对应章节 | 数据管理办公室 | 信息化管理部门 | 源系统业务归口部门 | 安全职能 | 数据架构岗 | 集成作业开发岗 |
|---|---|---|---|---|---|---|---|---|
| 1 | 编制方法与两条索引互校口径的确定 | 3.3.1 | 批 | 签 | 配 | — | 拟 | 配 |
| 2 | 取证方式的选定与证据留存 | 3.3.2 | 督 | 签 | 签 | 配 | 审 | 执 |
| 3 | 台账字段定义的确定 | 3.4.1 | 批 | 签 | 配 | 配 | 拟 | 配 |
| 4 | 台账行的逐行填报 | 3.4 | 督 | 配 | 签 | — | 审 | 执 |
| 5 | 存量规模与增量频率的填写 | 3.4.3 | — | 配 | 签 | — | 审 | 执 |
| 6 | 存储位置与部署区域的登记 | 3.4.4 | 审 | 批 | 配 | 签 | 执 | 执 |
| 7 | 明文位置清单的维护与分发控制 | 3.10 | 审 | 配 | 配 | 批 | 执 | 配 |
| 8 | 权威源归属的认定 | 3.5.2 | 审 | 签 | 批 | — | 拟 | 配 |
| 9 | 权威源归属争议的仲裁 | 3.5.2 | 批 | 签 | 签 | 配 | 拟 | 配 |
| 10 | 系统间数据交互全景图的绘制与维护 | 3.5.2 | 审 | 签 | 签 | 配 | 拟 | 执 |
| 11 | 标识传递链与标识断点的核对 | 3.5.3 | 审 | 配 | 签 | — | 拟 | 执 |
| 12 | 取数通道与分层落点的确定 | 3.5.4 | 批 | 签 | 配 | 签 | 拟 | 执 |
| 13 | 系统间交互关系矩阵的维护 | 3.6 | 审 | 签 | 签 | — | 执 | 执 |
| 14 | 数据断点的认定与登记 | 3.7 | 批 | 配 | 签 | — | 拟 | 执 |
| 15 | 打通方案的编制与可行性确认 | 3.7 | 审 | 签 | 签 | 配 | 拟 | 配 |
| 16 | 打通方案的实施排期 | 3.7 | 批 | 签 | 签 | 配 | 审 | 执 |
| 17 | 接口开通清单的编制 | 3.8 | 审 | 签 | 签 | 配 | 拟 | 执 |
| 18 | 接口与账号的开通、回收与定期复核 | 3.8 | 审 | 批 | 签 | 签 | 配 | 配 |
| 19 | 甲方配合事项的提出与跟踪 | 3.8 | 批 | 执 | 执 | 配 | 拟 | 配 |
| 20 | 台账与矩阵的滚动更新核准 | 3.10 | 督 | 配 | 配 | — | 批 | 拟 |
| 21 | 季度例行复核与取证时点的超期核查 | 3.10 | 批 | 配 | 签 | — | 执 | 执 |
| 22 | 新增或下线源系统时的修订启动 | 3.10 | 批 | 签 | 签 | 配 | 执 | 配 |
| 23 | 版本发布与主次版本的判定 | 3.10 | 批 | 签 | 配 | — | 拟 | 配 |
| 24 | 发布后四类岗位的通知与影响评估单附送 | 3.10 | 执 | 配 | 配 | 配 | 拟 | 配 |
| 25 | 图元规范的制定与执行核查 | 3.11 | 审 | 配 | — | — | 批 | 执 |
| 26 | 项目结束时的移交与归档 | 3.10 | 批 | 签 | 签 | 签 | 执 | 执 |
表 A5-66 数据来源:动作取自本文件第 3.3 节至第 3.11 节;岗位名取自表 A5-41 评审组织与滚动维护两行。
第 8 行与第 9 行须分开读。权威源的认定在正常情形下由源系统业务归口部门作出——哪个系统的数据算数,这是业务判断。只有两个部门各自主张本系统为权威源而协调不成时,才进入第 9 行的仲裁,由数据管理办公室裁定。两行不合并的原因是:合并之后,认定权就实际上升到了办公室,而办公室并不掌握判断所需的业务事实,结果是每一次认定都要开一次会。
第 18 行把接口与账号开通的「批」放在信息化管理部门,而第 17 行的清单编制由数据架构岗「拟」。本项目中这条路径的滞后在第 3.8 节已有记载,矩阵把两步分开,是为了在月度跟踪时能分清是清单没提出来,还是提出来了没批。第 19 行随之把配合事项的「执」同时给到信息化管理部门与源系统业务归口部门:授权开通的两个前提——系统侧放行与业务侧同意——缺一不可,任一方未动都足以使该事项挂起。
第 20 行是本矩阵中唯一一行「批」在数据架构岗而办公室只占「督」的。台账随接口开通逐行更新,若每一行都要办公室核准,更新就会积压到季度复核时一次补录,而补录的台账在取证时点上已经失真。表 A5-41 因此规定滚动维护不走版本发布流程,矩阵与之一致;办公室的「督」落在季度复核时核查取证时点是否超过六个月。
责任边界按下列四条划定。
其一,源系统内数据的准确与完整由源系统主管部门负责。项目组负责分布的梳理、取证与登记,对台账所记事实与取证记录的一致性负责,不对源系统内数据本身的质量作出保证,发现的问题按本附录第 4.5 节的路径反馈。
其二,接口开通、账号发放与授权范围由甲方决定。项目组提出规格要求、配合联调并登记开通状态,不绕过授权流程自行取数;授权未开通期间,相关台账行记为待取证并在月度报告中列明,其影响在偏差归因中单独列示。
其三,权威源归属的最终认定权在甲方。项目组提供候选结论、比对证据与影响清单,不代行认定;认定结论变更导致的模型与作业改动,按表 A5-28 的变更分级处理,工作量与排期另行确认。
其四,本文件为样章,其中的台账行、系统清单与断点条目为按现有访谈与现场核实整理的示意,取证结论以实施期的逐行取证记录为准,不构成已经甲方确认的现状定稿。
本矩阵每一格的分工,是按本文件现有条款与表 A5-41 推出来的承办关系,不是甲方现行制度中的实际分工。甲方机构设置与岗位名称明确后,本矩阵须逐行复核;本文件的台账随接口开通滚动更新,复核宜与季度例行复核同期进行。
本节为招标文件交付物清单第 11 项的样章(b1333r12),回应数据架构规划第(3)项 对规划统一数据集成架构、明确多模态数据采集适用场景、制定数据集成共享管理规范的 要求(b1261、b1262)。本文件为制度类文档,正文采用条文体,共八章六十二条。
表 A5-43 文件标识(正式文档首页)
| 项 | 内容 |
|---|---|
| 文件名称 | 数据集成共享管理规范 |
| 文件编号 | GHY26691-GV-03-0003-V1.0 |
| 版本号 | V1.0 |
| 文件类别 | 数据治理规划成果 · 标准规范与制度 |
| 密级 | 内部 |
| 编制 | 项目组数据治理岗 |
| 校核 | 项目组数据架构岗、安全与合规岗 |
| 审核 | 甲方数据管理办公室、甲方信息安全管理部门 |
| 批准 | 甲方数据治理委员会【待填:签批人以甲方治理组织架构发布后为准】 |
| 生效日期 | 经审批发布之日起生效【待填:发布日期】 |
| 条文数 | 八章六十二条,附表单五件 |
| 修订周期 | 每年一次例行复核;遇触发条件即时修订 |
本规范适用于本项目范围内一切数据集成与数据共享活动,包括:从甲方各源业务系统、 设备侧采集通道与离线档案向本项目平台的数据接入;平台内各层之间的加工作业调度; 平台向本项目各验证场景、数据集加工环节的数据提供;以及平台数据向甲方内部其他使用方 或甲方授权的外部对象提供。参与上述活动的项目组岗位、甲方相关岗位均须遵守本规范。
本规范不适用于甲方各源业务系统之间既有的集成关系,这类关系按甲方既有信息化管理规定执行; 也不适用于数据集封装包交付后由使用方在其自身环境内的再加工。 数据集通过运营服务管理平台挂牌展示与对外发布的环节属平台侧职责, 本规范只约定移交与登记的衔接要求。
本规范生效须同时满足:经甲方数据管理办公室与信息安全管理部门共同评审通过并由甲方发布; 《数据分布及数据流图》已发布首版,使本规范第二章的通道选用有台账依据; 数据安全分级标准已发布首版,使第四章的审批矩阵有分级依据。
表 A5-44 《数据集成共享管理规范》章节结构
| 章 | 节 | 条文范围 |
|---|---|---|
| 第一章 总则 | 1.1 目的与依据 1.2 适用范围 1.3 术语 1.4 基本原则 1.5 职责分工 | 第一条—第七条 |
| 第二章 集成架构与通道管理 | 2.1 统一集成架构 2.2 七类通道与适用场景 2.3 通道选用规则 2.4 新增通道的申请与审批 2.5 取数窗口与只读优先 2.6 受控回写 | 第八条—第十八条 |
| 第三章 集成作业管理 | 3.1 作业申请与评审 3.2 作业登记 3.3 命名与调度 3.4 上线与试运行 3.5 监控、告警与失败处置 3.6 作业变更与下线 | 第十九条—第三十一条 |
| 第四章 数据共享管理 | 4.1 共享分级 4.2 申请与审批 4.3 用途限定与期限 4.4 脱敏要求 4.5 共享方式与交付 4.6 回收与二次分发 4.7 对外提供的额外要求 | 第三十二条—第四十四条 |
| 第五章 源端变更与影响评估 | 5.1 变更通知 5.2 变更分级 5.3 影响评估 5.4 同步修改与复测 | 第四十五条—第五十条 |
| 第六章 安全、审计与留痕 | 6.1 访问控制 6.2 日志留痕 6.3 审计抽查 6.4 违规情形的处置 | 第五十一条—第五十六条 |
| 第七章 责任、考核与监督 | 7.1 三方责任边界 7.2 考核指标 7.3 监督与报告 | 第五十七条—第六十条 |
| 第八章 附则 | 8.1 解释与修订 8.2 生效与附件 | 第六十一条—第六十二条 |
第一条(目的) 为规范本项目数据集成与数据共享活动,使数据从源端进入平台、 在平台内加工、再提供给使用方的每一步都有申请、有登记、有权限、有日志,制定本规范。
第二条(依据) 本规范依据《数据治理顶层规划方案》《数据安全管理办法》 《数据安全分级标准》《数据权限管理规范》制定,并引用《数据分布及数据流图》的 台账与矩阵结论、《数据模型分层架构》的分层与命名约定。 本规范与上位制度冲突时,以上位制度为准。
第三条(适用范围) 见 4.2 节,不在条文中重复。
第四条(术语) 本规范中: 集成,指把数据从一处系统或载体按约定方式移动或读取到另一处的活动; 通道,指承载集成活动的技术路径,本规范划分七类; 集成作业,指在某条通道上按调度执行的一个可独立运行的数据处理单元; 共享,指平台已有数据向使用方提供访问或副本的活动; 受控回写,指平台向甲方源系统写入数据的活动,仅限明确约定的范围; 权威源,指某类数据在多个系统中的取值依据来源,判定结论见《数据分布及数据流图》。
第五条(基本原则之一:登记在先) 任何集成活动须先在元数据中登记来源、字段、 频率、责任岗位与用途,登记完成后方可开通。未登记的取数行为按违规处置。
第六条(基本原则之二:只读优先、最小必要) 对甲方源系统的访问一律只读优先; 取数范围限于已登记用途所必需的表与字段,不以「将来可能用到」为理由扩大范围; 确需回写的,按第十七条、第十八条执行。
第七条(职责分工) 甲方系统管理岗位负责源端通道的开通、字段与接口变更的通知; 甲方数据管理办公室负责通道新增与共享申请的审批、权威源与口径的仲裁; 甲方信息安全管理部门负责分级、权限与对外提供的安全审查; 项目组负责集成作业的设计、开发、运行、监控与变更,负责影响评估与同步修改, 并按本规范保存全部登记与日志。各方职责的详细边界见第七章。
第八条(统一集成架构) 统一集成架构的「统一」指所有取数走同一套登记、同一套权限、 同一套日志,不指用一种技术承接全部数据形态。本企业的数据形态跨度很大: 结构化账务、原生图纸文件、秒级时序、工艺过程图像、纸质扫描件各不相同, 用一种采集方式必然削足适履。因此架构上分七类通道,管理上统一登记。
第九条(七类通道与适用场景) 七类通道的适用数据形态、适用场景、取数方式与 不适用情形见表 A5-45。通道编号在作业登记中引用。
表 A5-45 七类集成通道与适用场景
| 通道编号 | 通道 | 适用数据形态 | 适用场景 | 取数方式 | 不适用的情形 |
|---|---|---|---|---|---|
| CH-1 | 批量取数 | 结构化主数据、账务、台账 | 物料主数据、库存账、价格、工时定额、经营指标 | 只读视图日批整表或按分区增量 | 要求分钟级时效的数据 |
| CH-2 | 增量取数 | 高频变动的结构化业务数据 | 工单流转与报工、库存出入库、检验记录 | 变更数据捕获,准实时 | 源系统不具备变更标识字段的表 |
| CH-3 | 接口取数 | 需按业务键按需查询的数据 | 商机与项目、测点配置、服务工单、安全监管记录 | 只读接口按需调用 | 大批量历史回溯 |
| CH-4 | 文件采集 | 原生图纸、工艺文件、设计文档 | 图纸解析、工艺卡解析、图卡配对 | 按图号或项目只读读取,解析在内网就地进行 | 原生格式不支持整批导出时须按项目分批 |
| CH-5 | 文档采集 | 制度、标准、合同、标书等文本 | 四个问答场景与合同合规审查 | 目录、正文与版本状态只读读取 | 密级超出授权范围的文件 |
| CH-6 | 时序取数 | 设备过程参数、测点时序 | 热处理温度曲线、焊接参数流、在役振动与温度 | 测点配置+按时间窗分段取数 | 采集尚未覆盖的设备 |
| CH-7 | 图像与视频采集 | 工艺过程图像、检测影像、扫描件 | 焊接部位形貌留痕、无损检测影像、纸质报告数字化 | 按场景布点采集;扫描件批量入库 | 厂区安防视频,其用途不变、不纳入本期 |
第十条(通道技术要求) 各通道的技术参数要求见表 A5-46。参数未达要求的通道不得上线; 源端条件暂不满足的,按第十二条申请变通方案并记录。
表 A5-46 七类通道的技术要求
| 通道 | 并发上限 | 单次取数量上限 | 超时与重试 | 幂等要求 | 断点续传 | 对源端的压力控制 |
|---|---|---|---|---|---|---|
| CH-1 批量取数 | 按源系统承受能力协商确定 | 按分区,单分区不超过约定行数 | 超时三十分钟,重试三次,间隔递增 | 按分区幂等 | 支持按分区续传 | 限定在低峰时段;限制并行连接数 |
| CH-2 增量取数 | 单表单作业 | 按变更量,设单批上限 | 超时五分钟,重试五次 | 按变更序号幂等 | 支持按位点续传 | 位点落后超过阈值时告警而非加速追赶 |
| CH-3 接口取数 | 按接口方约定 | 按单次请求条数上限 | 超时三十秒,重试两次 | 按业务键幂等 | 不适用 | 设每分钟调用上限 |
| CH-4 文件采集 | 按项目分批,单批文件数设上限 | 单文件容量上限 | 超时按文件大小动态设定 | 按文件摘要+解析规则版本幂等 | 支持按文件续传 | 读取不改动原件;不在源端执行解析 |
| CH-5 文档采集 | 单目录单作业 | 按件 | 超时五分钟,重试三次 | 按文件摘要+版本号幂等 | 支持 | 只读目录与正文,不改动版本状态 |
| CH-6 时序取数 | 按测点分组 | 按时间窗,单窗时长上限 | 超时十分钟,重试三次 | 按测点+时间窗幂等 | 支持按时间窗续传 | 历史回溯放在低峰时段,增量准实时 |
| CH-7 图像与视频采集 | 按采集点 | 单批容量上限 | 按批次重试 | 按影像摘要幂等 | 支持 | 采集侧带宽与存储配额预留 |
第十一条(通道选用规则) 通道选用按下列顺序判定,不得跳过前序条件直接选用后序通道: 一、本项目已有同源同类通道的,复用既有通道,仅扩展字段范围; 二、源端具备变更标识字段且需求时效为分钟级以内的,选 CH-2; 三、需求时效为日级且数据为结构化整表的,选 CH-1; 四、仅需按业务键查询少量记录的,选 CH-3; 五、数据为文件形态的,按文件性质选 CH-4 或 CH-5; 六、数据为时序或影像的,选 CH-6 或 CH-7; 七、以上均不适用的,按第十二条申请新增通道。
表 A5-47 通道选用判定表
| 判定条件 | 结论 |
|---|---|
| 已有同源同类通道 | 复用,提交字段扩展申请 |
| 结构化+有变更标识+时效分钟级 | CH-2 增量取数 |
| 结构化+时效日级+整表 | CH-1 批量取数 |
| 结构化+按键查询+单次少量 | CH-3 接口取数 |
| 原生图纸或工艺文件 | CH-4 文件采集 |
| 制度、标准、合同、标书文本 | CH-5 文档采集 |
| 测点时序或过程参数 | CH-6 时序取数 |
| 工艺过程图像、检测影像、扫描件 | CH-7 图像与视频采集 |
| 源端无任何可用通道 | 列入新增采集或填报入口需求,不在本规范内解决 |
第十二条(新增通道的申请与审批) 新增通道须提交申请,内容含:需求来源与用途、 为何七类通道均不适用、拟采用的技术方式、对源端的影响评估、安全评估与回退方案。 申请由项目组数据架构岗提出,甲方数据管理办公室会同信息安全管理部门审批。 审批通过的新增通道须在本规范次版本中补入通道清单。
第十三条(取数窗口) 面向甲方源系统的取数作业一律安排在业务低峰时段, 招标文件对各源系统提出的低峰时段要求为零点至五点,本项目据此排程(b0814、b0821、b0828、 b0835、b0841、b0846、b0852、b0857、b0864、b0870、b0877、b0883、b0889、b0894、b0899、b0905)。 准实时类通道(CH-2、CH-3 及 CH-6 的增量部分)不受窗口限制,但须设流量上限; 历史回溯一律在窗口内执行。窗口的实际时段以各系统业务归口部门确认为准, 确认结果登记在分布台账的「低峰时段」一列。
第十四条(取数范围变更) 已开通通道的字段范围扩展,按作业变更处理(第二十九条), 不重新申请通道;跨系统的新增取数,须新增作业并重新登记。
第十五条(源端条件不满足时的处置) 源端不具备变更标识字段、不支持整批导出、 采集范围未覆盖所需设备三类情形,不以降低数据要求的方式绕过,而按下列方式处置并记录: 无变更标识的改用 CH-1 按分区比对;不支持整批导出的按项目分批读取; 采集未覆盖的列入分批扩展清单,扩展范围以现场勘察结论为准。三类处置均在作业登记中注明。
第十六条(解析就地执行) 原生图纸与工艺文件的解析在甲方内网就地进行, 原件不出内网。解析产出的结构化字段进入平台明细层,原件仍留在源端或贴源层文件登记中。
第十七条(受控回写的范围) 平台向甲方源系统的回写限于明确约定的范围, 当前约定范围为备料场景回填的零件明细与物料清单、工时定额建议两项。 范围的扩大须经甲方数据管理办公室审批并更新本条。
第十八条(受控回写的执行要求) 受控回写须满足四项: 回写内容须经甲方对应岗位在界面上确认后方可提交,不得自动写入; 回写记录须保留提交前后的值与确认岗位; 回写失败须回滚并告警,不得部分写入; 回写通道与取数通道物理分离,账号权限分设。
第十九条(作业申请) 新建集成作业须提交《数据集成作业申请单》(见附件一), 内容含:作业名称与拟用通道、数据来源与目标、字段清单、用途与支撑的场景或数据集、 调度频率与窗口、预估数据量、责任岗位、安全分级初判。申请单经数据架构岗评审、 数据治理负责岗核准后进入开发。
第二十条(作业评审要点) 评审检查六项:用途是否明确且与已登记需求对应; 字段范围是否最小必要;通道选用是否符合第十一条;调度窗口是否符合第十三条; 幂等键是否已定义;失败处置是否已定义。六项任一不满足即退回。
第二十一条(作业登记) 作业经评审通过即在元数据中登记,登记字段见表 A5-48。 登记内容与《数据分布及数据流图》的接口编号一一对应,与分层架构的作业编号同号。
表 A5-48 集成作业登记字段定义
| 字段 | 必填 | 取值域/校验规则 |
|---|---|---|
| 作业编号 | 是 | 形如 JOB-ODS-0001,平台发号,全局唯一 |
| 作业名称 | 是 | 按《数据模型分层架构》2.4.3 节命名规则 |
| 对应接口编号 | 是 | 形如 IF-001,取自系统间交互关系矩阵;无对应接口的内部作业填「内部」 |
| 通道编号 | 是 | CH-1 至 CH-7 之一,或经审批的新增通道编号 |
| 源系统与对象 | 是 | 源系统码+源表或源目录标识 |
| 目标对象 | 是 | 目标层次+目标表名 |
| 字段清单引用 | 是 | 指向字段映射表的登记标识 |
| 用途 | 是 | 支撑的场景编号或数据集方向,不接受「数据分析」一类笼统表述 |
| 调度频率 | 是 | 实时/准实时/日批/周批/按需(枚举) |
| 调度窗口 | 是 | 时间区间,源端取数作业须落在低峰时段内 |
| 幂等键 | 是 | 字段名或字段组合 |
| 依赖作业 | 否 | 上游作业编号列表 |
| 失败处置 | 是 | 重试次数、告警对象、是否阻断下游(枚举+参数) |
| 预估与实际数据量 | 是 | 预估值在申请时填,实际值在试运行后回填 |
| 安全分级 | 是 | 按数据安全分级标准取值 |
| 责任岗位 | 是 | 开发岗与运维岗,记录岗位不记录个人 |
| 上线日期 | 是 | — |
| 状态 | 是 | 申请中/开发中/试运行/运行中/已变更/已下线(枚举) |
| 最近变更单号 | 否 | 指向作业变更记录 |
第二十二条(命名与版本) 作业命名与版本号按《数据模型分层架构》第 2.4 节执行, 本规范不另立规则。作业脚本纳入配置管理,版本与作业登记的版本号一致。
第二十三条(调度与依赖) 作业依赖关系须显式声明,不允许用时间间隔隐式表达依赖。 上游失败时下游是否执行,按作业登记中的「是否阻断下游」取值决定: 取「阻断」的,上游失败则下游不启动并告警;取「不阻断」的,下游按上一可用批次执行 并在输出中标注数据时点。库存与供需一类对时点敏感的汇总作业一律取「阻断」。
第二十四条(上线与试运行) 作业上线前须完成试运行,试运行要求: 不少于三个完整调度周期;与源端对账,行数与关键度量差异在约定容差内; 幂等性验证,同一批次重复执行结果一致;失败注入验证,人为中断后可按幂等键安全重跑。 试运行结论记入作业登记,未通过不得转入运行中状态。
第二十五条(监控与告警) 作业须纳入统一监控,监控项含:执行成功与失败、 执行时长偏离历史均值的幅度、取数行数偏离历史均值的幅度、位点落后时长、 源端连接失败次数。告警分级与响应时限见表 A5-49。
表 A5-49 告警分级与响应时限
| 级别 | 触发情形 | 通知对象 | 响应时限 | 处置要求 |
|---|---|---|---|---|
| 一级 | 作业连续失败三次;源端连接中断超过两小时;受控回写失败 | 运维岗、数据治理负责岗、甲方系统管理岗位 | 三十分钟内响应 | 当日内恢复或给出替代方案;形成故障记录 |
| 二级 | 单次失败;位点落后超过阈值;取数行数偏离均值超过阈值 | 运维岗 | 两小时内响应 | 次日调度前恢复 |
| 三级 | 执行时长偏离均值超过阈值;非关键字段的校验告警 | 运维岗 | 当日内查看 | 纳入周报分析,不要求即时处置 |
第二十六条(失败处置与重试) 失败后按作业登记的重试参数自动重试; 重试耗尽仍失败的,置作业为失败状态并告警,不得静默跳过该批次。 跳过某一批次须经数据治理负责岗批准并在作业日志中记录跳过原因与影响范围。
第二十七条(数据延迟的处置) 源端数据延迟导致取数为空或不完整的, 作业不得将空结果作为正常结果写入下游。处置方式为:保持上一批次有效数据, 标记本批次为延迟,并按告警二级通知。延迟超过两个调度周期的升为一级。
第二十八条(重跑) 重跑须指定分区或批次范围,不允许无范围全表重算。 重跑产生的变更须记录受影响分区与行数,并触发下游依赖作业重算。
第二十九条(作业变更) 作业变更分三类: 字段范围扩展与调度参数调整为轻微变更,由数据架构岗核准; 源对象变更、通道变更、目标表变更为重大变更,须重新评审并试运行; 用途变更须重新进行安全分级与审批。三类变更均生成变更单并更新作业登记。
第三十条(作业下线) 作业下线须确认无下游依赖、已完成数据归档或退役处置、 已关闭源端账号权限三项,下线记录保留。下线不等于删除历史数据, 历史数据的处置按数据退役管理规范执行。
第三十一条(作业台账) 全部作业的登记构成集成作业台账,台账按月出具运行报表, 内容含作业数量、成功率、告警统计、变更统计与下线统计。报表随项目月报提交。
图 A5-8 集成作业的生命周期与各节点的审批与留痕。数据来源:招标文件 3.2.6.1.1.2.3 第(3)项(b1261、b1262);低峰时段要求见 3.2.2.1 各系统集成要求。
第三十二条(共享的三种情形) 本规范区分三种共享: 项目内共享,指平台数据提供给本项目的场景验证与数据集加工环节; 甲方内部共享,指提供给甲方其他部门或其他系统; 对外提供,指提供给甲方授权的外部对象。三种情形的审批层级与要求递增。
第三十三条(共享分级) 共享的审批层级由数据敏感级别与共享情形共同决定,见表 A5-50。 敏感级别按《数据安全分级标准》取值。本表是本章的核心条文,审批不得越级简化。
表 A5-50 共享审批权限矩阵
| 敏感级别 | 项目内共享 | 甲方内部共享 | 对外提供 |
|---|---|---|---|
| 公开 | 数据架构岗登记即可 | 数据管理办公室备案 | 数据管理办公室审批 |
| 内部 | 数据治理负责岗核准 | 数据管理办公室审批 | 数据管理办公室+信息安全部门审批 |
| 敏感 | 数据管理办公室审批 | 数据管理办公室+业务归口部门审批 | 数据治理委员会审批,并须出具安全评估意见 |
| 重要 | 数据管理办公室+信息安全部门审批 | 数据治理委员会审批 | 不提供原始数据,仅可按经审批的统计口径提供派生结果 |
第三十四条(共享申请) 共享申请须提交《数据共享申请与审批单》(见附件二), 内容含:申请方与用途、数据范围与字段、使用期限、存放位置、拟采用的共享方式、 是否二次分发、脱敏要求。用途须具体到业务事项,不接受「用于研究」一类表述。
第三十五条(用途限定) 共享数据仅可用于申请时登记的用途。 用途变更须重新申请;超出用途使用按违规处置。
第三十六条(使用期限与回收) 共享须设使用期限,到期自动失效。 期限届满需延续的,重新申请。以副本方式提供的数据,到期后使用方须按约定方式销毁 并提交销毁确认;以访问方式提供的,到期后由平台回收权限。
第三十七条(脱敏要求) 共享数据中含人员、客户、价格、成本等敏感字段的, 按表 A5-51 的规则脱敏。脱敏在共享环节执行,不改动平台内原始数据; 脱敏执行结果须留痕,含脱敏规则编号与执行时间。
表 A5-51 脱敏规则表
| 字段类型 | 典型字段 | 脱敏方法 | 保留的信息 | 适用共享情形 |
|---|---|---|---|---|
| 人员标识 | 人员编码、姓名、联系方式 | 替换为岗位或班组标识 | 组织归属 | 全部情形 |
| 客户标识 | 客户名称、矿方名称 | 按客户类型与区域编码替换 | 类型与区域 | 甲方内部共享、对外提供 |
| 价格与成本 | 物料单价、成本、报价 | 分档区间化或按基期归一 | 相对高低与趋势 | 甲方内部共享、对外提供 |
| 合同金额 | 合同额、回款额 | 区间化 | 量级 | 对外提供 |
| 图纸标识 | 图号、工艺卡号 | 保留结构、替换序列段 | 可关联性 | 对外提供 |
| 位置与路径 | 存储路径、实例地址 | 替换为登记标识 | 可追溯性 | 全部情形 |
| 设备与测点 | 矿方设备编码、矿名 | 按设备类型与工况类型替换 | 类型与工况 | 对外提供 |
脱敏方法一列的「保留的信息」是本表的设计要点:脱敏不是把字段抹掉, 而是在去掉识别性的同时保留下游分析所需的可比性。 价格字段若直接抹除,库存与供应链场景的物料分层就无法做; 按基期归一则既不暴露绝对值又能保留相对关系。
第三十八条(共享方式) 共享方式按优先顺序为: 平台内授权访问(不产生副本)优先; 按需导出的受控副本次之; 数据接口服务用于系统间集成; 离线介质交付仅在前三种不可行时采用,须经额外审批并登记介质编号与交接记录。
第三十九条(禁止二次分发) 共享数据未经原审批方同意不得二次分发。 申请单中须明确使用方的保管责任与人员范围。
第四十条(项目内共享的简化) 项目内共享在不涉及敏感与重要级数据时按登记制, 不逐次审批,但须在作业登记中注明消费方与用途,并纳入月度共享台账。 这一简化的前提是项目内各环节的访问权限已按岗位最小必要配置。
第四十一条(对外提供的额外要求) 对外提供除按矩阵审批外,另须完成三项检查: 一是数据权属检查,确认所提供数据的权属与使用权范围; 二是合规检查,核查是否包含不可用于商业用途的建设内容、是否含第三方许可受限内容; 三是安全检查,确认脱敏已执行、提供方式与交接记录齐备。三项检查的结论附在审批单后。
第四十二条(对外服务的接口口径) 本项目的数据集将具备按统一目录标识登记、 统一身份注册与标准接口互联互通对接的条件(b1206、b0676), 对外提供的审批口径因此须先行写定,不等到挂牌时再议。 数据集通过运营服务管理平台挂牌与对外发布的具体环节属平台侧职责, 本规范约定移交时须同时移交的材料:数据集版本指纹、数据卡、质检与验证报告、 权属与许可登记记录。
第四十三条(共享台账) 全部共享申请与审批构成共享台账,登记字段见附件五。 台账按月统计共享次数、涉及数据范围、到期回收执行情况,随项目月报提交。
第四十四条(拒绝与申诉) 共享申请被拒绝须书面说明理由。 申请方认为理由不成立的,可向上一级审批方提出一次复核,复核结论为最终结论。
图 A5-9 数据共享的申请、审批、授权、使用与回收闭环。数据来源:招标文件 3.2.6.1.1.2.3 第(3)项(b1261、b1262);对外服务接口要求见 b1206、b0676。
第四十五条(变更通知责任) 甲方源系统的表结构、字段含义、接口协议、 取值域或数据口径发生变更,由该系统的变更通知责任岗位在变更实施前通知项目组。 通知责任岗位逐系统登记在分布台账中。未经通知的变更导致数据异常, 按第五十六条的情形二处理。
第四十六条(变更分级) 源端变更分四级,分级与处置要求见表 A5-52。 分级由项目组数据架构岗在收到通知后一个工作日内判定并反馈。
表 A5-52 源端变更分级与处置
| 级别 | 变更情形 | 影响评估范围 | 处置时限 | 审批 |
|---|---|---|---|---|
| 一级 | 主键或业务标识规则变更;表拆分或合并;系统停用或替换 | 血缘反查覆盖已登记的全部下游对象,含受影响的作业、模型、视图、数据集版本与场景结论 | 评估结论五个工作日内出,同步修改方案十个工作日内出 | 甲方数据管理办公室 |
| 二级 | 口径变更;取值域变更;字段语义变更 | 血缘反查至直接下游两层,含落标与质量规则的连带修改 | 评估结论三个工作日内出 | 数据治理负责岗 |
| 三级 | 字段新增;字段长度放宽;接口版本升级且向后兼容 | 影响登记,必要时扩展字段范围 | 两个工作日内完成登记 | 数据架构岗 |
| 四级 | 注释修订;非取数范围内的变更 | 仅登记 | 五个工作日内登记 | 无需审批 |
第四十七条(影响评估单) 一级与二级变更须出具《源端变更影响评估单》(见附件三), 内容含:变更内容与来源通知、受影响的作业与模型清单、受影响的数据集版本与场景结论、 同步修改方案、复测方案、回退方案、建议的实施时点。
第四十八条(已发布数据集版本的处置) 变更导致某一版数据集的构成血缘不再成立时, 该版本不自动作废,而在数据集台账中标注「口径已变更」并给出影响说明, 由数据集发布责任岗位决定是否重出。理由是数据集一经交付可能已被下游使用, 静默作废会造成下游结论无法解释。
第四十九条(同步修改与复测) 同步修改完成后须复测: 修改涉及的作业按第二十四条重新试运行一个完整周期; 修改涉及的模型按模型变更复测要求执行; 修改涉及的数据集输入集须重新经质量检查节点判定并出具结论。复测通过方可恢复正常调度。
第五十条(变更的反向回写) 变更评估与处置结论须回写三处: 分布台账的相应行与矩阵的相应接口;集成作业登记的最近变更单号; 受影响文档(分层架构、本规范)的修订记录。三处回写完成,该次变更方可关闭。
图 A5-10 源端变更的通知、评估与关闭流程。数据来源:招标文件 3.2.6.1.1.2.3 第(4)项 对变更管理方法的要求(b1263、b1264);本规范第五章条文。
第五十一条(访问控制) 集成与共享涉及的账号按岗位最小必要配置,一岗一账号, 不设共享账号;源端账号由甲方系统管理岗位开通并定期复核; 平台内权限按数据分级与岗位职责授予,权限变更留痕。
第五十二条(日志留痕) 下列活动须完整记录日志,字段见表 A5-53: 集成作业的每次执行、对源端的每次取数调用、每次受控回写、 每次共享授权与访问、每次权限变更。日志不可修改,保留期限按 《数据安全管理办法》规定且不短于项目期。
表 A5-53 审计日志字段定义
| 字段 | 必填 | 说明 |
|---|---|---|
| 日志编号 | 是 | 平台发号,全局唯一 |
| 活动类型 | 是 | 作业执行/源端取数/受控回写/共享授权/共享访问/权限变更(枚举) |
| 发生时间 | 是 | 精确到秒 |
| 作业或申请编号 | 是 | 关联作业编号或共享申请编号 |
| 对象标识 | 是 | 源对象或目标对象标识 |
| 字段范围 | 是 | 本次涉及的字段清单引用 |
| 操作账号 | 是 | 账号标识 |
| 操作岗位 | 是 | 岗位名称,不记录个人姓名 |
| 客户端标识 | 是 | 发起端标识 |
| 数据量 | 是 | 行数或容量 |
| 结果 | 是 | 成功/失败/部分成功(枚举) |
| 失败原因 | 否 | 失败时必填 |
| 脱敏规则编号 | 否 | 共享类活动涉及脱敏时必填 |
| 确认岗位与时间 | 否 | 受控回写必填 |
日志字段中「操作岗位」只记录岗位不记录个人姓名,这与数据最小化要求一致; 需要追溯到具体人员时,经甲方信息安全管理部门按既有流程从账号台账反查。
第五十三条(审计抽查) 每季度一次审计抽查,抽查内容: 作业登记与实际取数范围是否一致;共享授权是否均有对应申请与审批; 到期共享是否已回收;脱敏是否按规则执行;日志是否完整无缺口。 抽查比例不低于当期作业数与共享申请数各百分之十,抽查报告提交甲方数据管理办公室。
第五十四条(取数范围核对) 审计抽查中发现实际取数范围超出登记范围的, 立即收窄至登记范围并补做评估;属登记遗漏的,补登记;属擅自扩大的,按违规处置。
第五十五条(日志完整性) 日志出现缺口(时间段无记录但有数据变化)须作为一级问题处置, 查明原因并补全可补部分,不可补部分在审计报告中明确标注。
第五十六条(违规情形与处置) 下列情形按违规处置: 情形一,未登记即取数或未审批即共享——立即停止该活动,补做申请与评估,记入月度报告; 情形二,源端变更未通知导致数据异常——由双方在项目例会上确认事实,补入台账, 并复核该系统的通知责任岗位登记是否准确; 情形三,共享数据超出登记用途使用或二次分发——停止授权并回收,由甲方按内部管理规定处理; 情形四,日志缺失或被修改——作为一级问题处置并追查原因。 违规处置的目的是恢复可控状态与补齐记录,而非替代甲方内部的管理问责。
第五十七条(三方责任边界) 责任边界见表 A5-54。表中未列事项按「谁产生谁负责、 谁使用谁负责」的原则协商确定,协商结论补入本表。
表 A5-54 源端、集成方与使用方的责任边界
| 事项 | 甲方源端 | 项目组(集成方) | 使用方 |
|---|---|---|---|
| 通道开通与账号 | 开通、回收、定期复核 | 提出规格要求、配合联调 | — |
| 取数材料提供 | 提供连接信息、数据字典或设计说明书、低峰时段 | 据以编制台账与作业 | — |
| 源端数据质量 | 源系统内数据的准确与完整 | 清洗、落标与质量问题反馈 | 反馈使用中发现的问题 |
| 变更通知 | 变更实施前通知 | 分级、评估、同步修改与复测 | 接受通知并适配 |
| 集成作业运行 | — | 开发、调度、监控、失败处置 | — |
| 数据分级 | 业务含义与敏感性判定 | 按分级配置权限与脱敏 | 按级别保管 |
| 共享审批 | 按矩阵审批 | 执行授权、脱敏与回收 | 按用途与期限使用 |
| 日志与审计 | 配合核对 | 记录、保存、抽查与报告 | 配合核对 |
| 受控回写 | 岗位确认、流程落地 | 提供回写内容与校验 | — |
| 填报入口与采集补齐 | 流程发文与岗位执行、采集设施配合 | 字段设计、预填逻辑与校验规则 | — |
第五十八条(考核指标) 本规范的执行情况按四项指标考核,按季度统计: 作业登记完备率(已登记作业数与实际运行作业数之比); 共享合规率(有完整申请与审批的共享次数占比); 到期回收执行率;变更评估按时完成率。四项指标的目标值在首季度统计后确定基线, 此后逐季逐步接近约定目标,不在无基线时预设数值。
第五十九条(监督) 甲方数据管理办公室对本规范的执行情况进行监督, 可随时调阅作业登记、共享台账与审计日志。项目组按月提交执行情况报告。
第六十条(报告内容) 月度报告内容:新增与下线作业数、告警统计与处置情况、 共享申请与审批统计、到期回收情况、源端变更统计与评估完成情况、违规情形与处置、 四项考核指标的当期值。
第六十一条(解释与修订) 本规范由甲方数据管理办公室负责解释。 每年一次例行复核;下列情形即时启动修订:新增集成通道经审批通过; 数据安全分级标准修订;受控回写范围调整;对外提供口径调整; 审计抽查发现制度性缺口。修订须经原审批层级重新批准。
第六十二条(生效与附件) 本规范自甲方发布之日起生效。 附件一《数据集成作业申请单》、附件二《数据共享申请与审批单》、 附件三《源端变更影响评估单》、附件四《集成作业登记台账》、附件五《数据共享台账》 与本规范具有同等效力。
本规范的条文多数是通用的制度语言,但其中六处是按本企业的实际条件写的, 这几处决定了规范能不能真正执行。
表 A5-55 规范条文与业务条件的对应
| 条文 | 对应的业务条件 | 若按通用写法会出什么问题 |
|---|---|---|
| 第十三条 取数窗口限定零点至五点 | 招标文件对 17 套源系统均提出低峰时段要求;生产系统白天负载高 | 通用写法只说「避开业务高峰」,排程时无依据,源端会要求重新协商 |
| 第十五条 源端条件不满足时的三类处置 | 原生图纸不支持整批导出;部分表无变更标识字段;采集仅覆盖部分车间与设备 | 通用写法要求「源端应提供标准接口」,遇到做不到的情形就无路可走 |
| 第十六条 解析就地执行、原件不出内网 | 图纸与工艺文件是企业核心设计资产,约 63 万张 | 通用写法允许文件外传到加工环境,与资产保护要求冲突 |
| 第十七、十八条 受控回写限定两项并须岗位确认 | 备料场景需向企业资源计划回填零件明细与物料清单、向工时定额回填定额建议 | 通用写法笼统允许「双向同步」,会把回写范围做成无边界 |
| 第二十七条 数据延迟不得以空结果写入下游 | 制造执行系统的报工时点相对实际作业有滞后 | 通用写法只要求「保证数据及时性」,滞后发生时无处置口径,下游会把空当成零 |
| 第三十七条 价格字段按基期归一而非抹除 | 库存与供应链场景需按单价对物料分层,库存资金年内由约七亿累积至年底最高十亿 | 通用写法把价格一律抹除,物料分层无法做,场景验证失去输入 |
六处之外,第四十二条关于对外提供口径先行写定的要求,针对的是本项目数据集的既定去向—— 按统一目录标识、统一身份登记、统一接口要求接入国家数据基础设施, 并在数据交易所挂牌(b0676、b1206)。对外提供的审批口径若等到挂牌时再议, 届时会发现部分数据的权属与许可条件未在加工期登记,无法补证。 因此权属与许可登记在加工期即须完成,这一要求通过第四十一条的权属检查前置落实。
表 A5-56 本规范的评审与修订机制
| 项 | 规定 |
|---|---|
| 例行复核 | 每年一次。复核报告内容:四项考核指标的年度变化、违规情形统计、条文执行中的争议与解释、建议修订条文清单 |
| 触发修订 | 五类情形见第六十一条 |
| 评审组织 | 甲方数据管理办公室与信息安全管理部门共同组织;源系统业务归口部门与使用方代表参加 |
| 评审材料 | 修订说明、受影响条文对照表、执行影响评估、过渡期安排 |
| 过渡期 | 条文修订涉及已开通作业或已批共享的,设不少于二十个工作日的过渡期,过渡期内按原条文执行 |
| 版本发布 | 条文实质变更递增主版本号并重新批准;表单格式与附录调整递增次版本号 |
| 下游通知 | 发布后三个工作日内通知全部执行岗位,并组织一次条文宣讲;涉及审批矩阵变更的,同时通知全部在批申请的申请方 |
| 签收 | 执行岗位签收记录留存 |
表 A5-57 《数据集成作业申请单》模板与样例填写
| 栏目 | 填写要求 | 样例填写 |
|---|---|---|
| 申请单号 | 平台发号 | AP-JOB-0037 |
| 申请日期 | — | 【待填】 |
| 申请岗位 | 岗位名称 | 数据架构岗 |
| 作业名称 | 按命名规则 | ods_htc_furnace_record_load |
| 拟用通道 | CH-1 至 CH-7 | CH-3 接口取数+CH-6 时序取数(两个子作业) |
| 数据来源 | 系统+对象 | 热处理群控系统:炉次工单、开炉与完工记录;当前与设置温度、冷却水温度、淬火液温度、温控测量值 |
| 对应接口编号 | 取自交互矩阵 | IF-016 |
| 目标对象 | 层次+表名 | ods_htc_furnace_record、ods_htc_signal_index |
| 字段清单 | 引用字段映射表 | 映射表登记标识 FM-0142,共【待填】个字段 |
| 用途 | 具体到业务事项 | 支撑热处理过程验证场景的炉次档案构建;支撑制造过程数据集与产品质量数据集的炉次成对样本 |
| 调度频率与窗口 | — | 炉次记录按炉次触发,全天;历史时序回溯日批,零点至五点 |
| 预估数据量 | 注明口径 | 炉次记录按试点炉型月增【待填】条;时序按秒级采样折算【待填】 |
| 幂等键 | 字段或组合 | 炉次号;时序按测点+时间窗 |
| 依赖作业 | — | 无上游依赖 |
| 失败处置 | 重试与告警 | 重试三次,间隔递增;失败告警至运维岗,阻断下游炉次档案视图刷新 |
| 安全分级初判 | 按分级标准 | 内部 |
| 评审意见 | 六项检查结论 | 六项通过;补充要求:须在登记中注明装炉量与码装方式字段当前为空及其空值语义 |
| 核准 | 岗位与日期 | 数据治理负责岗【待填】 |
表 A5-58 《数据共享申请与审批单》模板与样例填写
| 栏目 | 填写要求 | 样例填写 |
|---|---|---|
| 申请单号 | 平台发号 | AP-SH-0019 |
| 申请方与岗位 | 部门+岗位 | 甲方工艺职能部门【待填:部门全称】 |
| 共享情形 | 项目内/内部/对外 | 甲方内部共享 |
| 数据范围 | 表或视图+字段 | 图卡成对样本视图中的图纸解析字段与工艺卡工序序列,限试点分厂、限 2023 年以后图号 |
| 敏感级别 | 按分级标准 | 内部 |
| 用途 | 具体业务事项 | 工艺编制岗位核对历史可借用工艺的差异项,用于复用率统计口径校对 |
| 使用期限 | 起止日期 | 三个月,到期自动失效 |
| 共享方式 | 四类之一 | 平台内授权访问,不产生副本 |
| 存放位置 | 若产生副本须填 | 不适用 |
| 是否二次分发 | 是/否 | 否 |
| 脱敏要求 | 规则编号 | 无敏感人员与价格字段,不涉及脱敏 |
| 审批层级 | 按矩阵 | 内部级+甲方内部共享 → 数据管理办公室审批 |
| 审批意见 | — | 【待填】 |
| 授权执行 | 执行岗位与时间 | 项目组权限管理岗【待填】 |
| 回收记录 | 到期回收情况 | 【待填:到期日与回收确认】 |
表 A5-59 《源端变更影响评估单》模板与样例填写
| 栏目 | 填写要求 | 样例填写 |
|---|---|---|
| 评估单号 | 平台发号 | CH-IMP-0006 |
| 变更来源通知 | 通知文号或记录 | 甲方系统管理岗位通知记录【待填】 |
| 变更内容 | 原状与变更后 | 物料主数据的物料分类编码由四位扩为六位,分类层级由三层增至四层 |
| 变更级别 | 一至四级 | 二级(取值域与语义变更) |
| 受影响作业 | 作业编号清单 | JOB-ODS-0005、JOB-DWD-0011、JOB-DIM-0003 |
| 受影响模型 | 模型编码清单 | dim_item_dz、dwd_plan_stock_move_f、dws_plan_item_month_w |
| 受影响视图与数据集 | 清单 | 库存与供需视图;供需计划数据集 V1.2 的物料分层字段 |
| 受影响场景结论 | 说明 | 库存与供应链验证的物料分层结果需重算;已出结论标注口径已变更 |
| 同步修改方案 | 步骤与工期 | 扩展字段长度、补建四层分类映射、重跑近两年分区、更新落标对照;预计【待填】工日 |
| 复测方案 | — | 三张受影响模型各抽样对账;物料分层结果与业务抽样核对 |
| 回退方案 | — | 保留原四位编码字段并行一个季度,异常时切回 |
| 建议实施时点 | — | 下一月度变更窗口 |
| 审批 | 岗位与日期 | 数据治理负责岗【待填】 |
附件四《集成作业登记台账》的字段即表 A5-48 的全部字段,按作业编号排列, 每月出具运行报表。附件五《数据共享台账》的字段见下表,按申请单号排列。
表 A5-60 《数据共享台账》字段与样例行
| 申请单号 | 共享情形 | 申请方 | 数据范围 | 级别 | 用途 | 期限 | 方式 | 审批层级 | 状态 |
|---|---|---|---|---|---|---|---|---|---|
AP-SH-0019 | 内部共享 | 工艺职能部门 | 图卡成对样本视图(限试点分厂) | 内部 | 复用率统计口径校对 | 三个月 | 授权访问 | 数据管理办公室 | 生效中 |
AP-SH-0020 | 项目内共享 | 场景验证取数方 | 炉次档案视图 | 内部 | 热处理过程验证 | 随项目 | 授权访问 | 治理负责岗核准 | 生效中 |
AP-SH-0021 | 内部共享 | 生产管理职能部门 | 库存与供需视图(价格字段按基期归一) | 敏感 | 季度储备量测算口径核对 | 一个季度 | 授权访问 | 数据管理办公室+业务归口部门 | 审批中 |
AP-SH-0022 | 对外提供 | 【待填:外部对象】 | 【待填】 | 【待填】 | 【待填】 | 【待填】 | 【待填】 | 数据治理委员会 | 待申请 |
第七条以四句话概括了四方的职责分工,第五十七条与表 A5-54 又按事项列出了三方的责任边界。两处都对,但都不足以在办一件具体的事时直接查到谁拟、谁签、谁批——第七条的粒度是「负责什么」,表 A5-54 的粒度是「谁对什么后果负责」,中间少了一层动作级的对应。
下表补这一层:把第二章至第七章的管理动作逐项落到承办方,一项动作一行。代码的含义是:拟指起草与填报,签指会签并对本方口径负责,审指审核并出具意见,批指批准并承担决定后果,执指按已批准的结论执行,督指事后核查执行情况,配指按要求提供材料,横线表示该方在此动作中无职责。
列名沿用第七条所称的四方,并把「使用方」单列——第四章的共享管理中使用方不是旁观者,用途限定、期限回收与禁止二次分发三条的执行责任都在它。
表 A5-67 《数据集成共享管理规范》职责矩阵
| 序 | 动作 | 对应条文 | 数据管理办公室 | 源系统管理岗位 | 信息安全管理部门 | 业务归口部门 | 集成作业开发岗 | 使用方 |
|---|---|---|---|---|---|---|---|---|
| 1 | 本规范的起草与修订 | 第六十一条 | 批 | 签 | 签 | 签 | 拟 | 配 |
| 2 | 本规范的解释 | 第六十一条 | 批 | — | — | — | — | — |
| 3 | 通道技术参数要求的确定 | 第十条 | 批 | 签 | 签 | — | 拟 | — |
| 4 | 通道选用顺序的判定 | 第十一条 | 审 | 签 | 配 | 配 | 批 | — |
| 5 | 新增通道的申请与审批 | 第十二条 | 批 | 签 | 签 | 配 | 拟 | 配 |
| 6 | 取数窗口与低峰时段的约定 | 第十三条 | 审 | 批 | — | 配 | 拟 | — |
| 7 | 取数范围变更的处理 | 第十四条 | 批 | 签 | 签 | 签 | 拟 | 配 |
| 8 | 源端条件不满足时的处置方式选定 | 第十五条 | 批 | 签 | 配 | 签 | 拟 | 配 |
| 9 | 原生图纸与工艺文件的就地解析 | 第十六条 | 审 | 签 | 批 | 配 | 执 | — |
| 10 | 受控回写范围的约定 | 第十七条 | 批 | 签 | 签 | 批 | 拟 | — |
| 11 | 受控回写的执行与岗位确认 | 第十八条 | 督 | 执 | 配 | 执 | 执 | — |
| 12 | 集成作业申请单的提交 | 第十九条 | 审 | 配 | 配 | 签 | 拟 | 拟 |
| 13 | 作业评审六项检查 | 第二十条 | 批 | 签 | 签 | 签 | 执 | 配 |
| 14 | 作业登记与元数据字段填报 | 第二十一条 | 督 | 配 | 配 | 配 | 执 | — |
| 15 | 作业依赖关系的显式声明 | 第二十三条 | 督 | 配 | — | 配 | 执 | 配 |
| 16 | 上线前试运行与对账 | 第二十四条 | 审 | 签 | — | 签 | 执 | 签 |
| 17 | 监控项配置与告警处置 | 第二十五条 | 督 | 配 | 配 | — | 执 | 配 |
| 18 | 失败重试与人工介入的判定 | 第二十六条 | 督 | 配 | — | 配 | 批 | 配 |
| 19 | 源端数据延迟的处置 | 第二十七条 | 审 | 签 | — | 签 | 执 | 配 |
| 20 | 重跑范围的指定与执行 | 第二十八条 | 督 | 配 | — | 配 | 执 | 配 |
| 21 | 作业变更的分级与审批 | 第二十九条 | 批 | 签 | 配 | 签 | 拟 | 配 |
| 22 | 作业下线与下游依赖确认 | 第三十条 | 批 | 签 | 配 | 签 | 拟 | 签 |
| 23 | 集成作业台账与月度运行报表 | 第三十一条 | 审 | 配 | 配 | 配 | 拟 | — |
| 24 | 共享情形与审批层级的判定 | 第三十三条 | 批 | 配 | 签 | 签 | 执 | 配 |
| 25 | 共享申请的提交与用途登记 | 第三十四条 | 审 | 配 | 配 | 签 | 执 | 拟 |
| 26 | 用途限定的遵守 | 第三十五条 | 督 | — | 督 | 配 | 配 | 执 |
| 27 | 使用期限的设定与到期回收 | 第三十六条 | 批 | 配 | 签 | 配 | 执 | 签 |
| 28 | 脱敏规则的确定与执行 | 第三十七条 | 审 | 配 | 批 | 签 | 执 | 配 |
| 29 | 共享方式的选定 | 第三十八条 | 批 | 配 | 签 | 签 | 拟 | 签 |
| 30 | 二次分发的审批与违规认定 | 第三十九条 | 批 | 配 | 签 | 配 | 配 | 执 |
| 31 | 对外提供的三项额外检查 | 第四十一条 | 审 | 配 | 批 | 签 | 执 | 配 |
| 32 | 共享申请拒绝理由的说明与申诉受理 | 第四十四条 | 批 | 配 | 签 | 签 | 配 | 拟 |
| 33 | 源端变更的通知 | 第四十五条 | 审 | 执 | 配 | 签 | 配 | 配 |
| 34 | 源端变更的分级 | 第四十六条 | 批 | 签 | 配 | 签 | 拟 | 配 |
| 35 | 影响评估单的出具 | 第四十七条 | 审 | 签 | 配 | 签 | 拟 | 配 |
| 36 | 已发布数据集版本的处置判定 | 第四十八条 | 批 | 配 | 签 | 签 | 拟 | 签 |
| 37 | 同步修改与复测 | 第四十九条 | 督 | 配 | — | 签 | 执 | 配 |
| 38 | 账号按岗位最小必要配置与复核 | 第五十一条 | 审 | 执 | 批 | 配 | 配 | 配 |
| 39 | 日志留痕与日志完整性核查 | 第五十二条 | 审 | 配 | 批 | — | 执 | 配 |
| 40 | 季度审计抽查 | 第五十三条 | 批 | 配 | 执 | 配 | 配 | 配 |
| 41 | 违规情形的认定与处置 | 第五十六条 | 批 | 签 | 签 | 签 | 配 | 配 |
| 42 | 四项考核指标的统计与基线确定 | 第五十八条 | 批 | 配 | 配 | 配 | 拟 | 配 |
| 43 | 月度执行情况报告的提交 | 第六十条 | 审 | 配 | 配 | 配 | 拟 | — |
表 A5-67 数据来源:动作取自本规范第八条至第六十二条;方名取自第七条职责分工与表 A5-54。
第 10 行是本矩阵中唯一一行出现两个「批」的。受控回写的范围要同时过两道:数据管理办公室批的是回写这件事在治理上是否允许,业务归口部门批的是回写的内容在业务上是否正确。第十七条把回写限于明确约定的范围,而「明确约定」在实践中容易变成只有治理一侧签字;两个「批」分列,是要求业务侧在范围表上同样留痕。第 11 行随之把「执」给到三方——岗位确认在源端与业务侧,内容与校验在集成侧,缺任一方该次回写都不成立。
第 26 行与第 30 行的职责都落在使用方,这在一张以集成方为主的矩阵里容易被忽略。用途限定与禁止二次分发是共享管理中最常被突破的两条,而突破它们的动作发生在使用方那一侧,集成方从日志里只能看到数据被取走,看不到之后流向哪里。矩阵把「执」明确放在使用方,办公室与安全部门占「督」,对应第五十三条的季度抽查——这两条的落实靠事后抽查,不靠事前管控,条文与矩阵在此是一致的。
第 36 行把已发布数据集版本的处置判定列为需要使用方会签的事项。源端一处字段变更,可能使某一版数据集的构成血缘不再成立;此时是重新生成、标注失效还是维持原版并附说明,直接影响已经基于该版本开展的评测与场景验证。使用方在本行占「签」而不是「配」,是为了让这个判断在作出之前就听到下游的意见。
责任边界按下列六条划定,与表 A5-54 配合使用:表 A5-54 按事项划分三方责任,本节按动作补充其中容易含混的几处。
其一,源系统内数据的准确与完整由甲方源端负责。项目组负责清洗、落标与质量问题的反馈,不对源系统内数据本身作出保证;因源端数据问题导致的下游返工,其工作量按第二十九条的作业变更处理。
其二,通道开通、账号发放与授权范围由甲方决定。项目组提出规格要求并配合联调,不绕过授权流程自行取数;源端条件不满足时按第十五条提出替代方案,替代方案的采用须经审批,项目组不单方面选定。
其三,受控回写的内容由项目组提供并校验,回写动作所对应的业务流程与岗位确认由甲方落地。回写数据进入源系统后的使用与留存,按甲方对该系统的管理规定执行。
其四,共享数据在使用方处的用途、期限与分发,由使用方负责。项目组执行授权、脱敏与到期回收,并保存相应日志;对使用方在授权范围之外的使用行为,项目组在审计抽查中提出问题清单,不承担其整改实施。
其五,数据的敏感级别与业务含义由甲方判定。项目组按判定结果配置权限与脱敏规则,不代行分级;分级结论变更的,相应的权限与脱敏配置按第二十九条作为作业变更处理。
其六,本规范为样章,供甲方在实施期按自身系统环境与安全制度修改后发布。样章中的通道清单、技术参数与审批层级为模板与建议值,不构成已经甲方确认的制度条文。
本矩阵每一格的分工,是按本规范现有条文与表 A5-54 推出来的承办关系,不是甲方现行制度中的实际分工。甲方机构设置与岗位名称明确后,本矩阵须逐行复核,与第七条的职责分工条文一并更新;条文与矩阵不一致的,以修订条文为先。
招标文件要求至少交付不少于 25 份数据治理规划文档(b1332),并说明具体的交付文档数量和 名称可在实施阶段滚动优化(b1334)。本附录三份文档的交付安排如下表。 三份均在蓝图设计阶段交付首版,作为后续建模与取数的前置依据。
表 A5-61 三份文档的交付时点与交付物构成
| 文档 | 首版交付时点 | 交付物构成 | 后续版本节奏 |
|---|---|---|---|
| 《数据分布及数据流图》 | 现状评估完成、首批接口开通清单确认后 | 正文+分布台账电子表格+交互矩阵电子表格+三视角分图十余张+图元规范+明文位置清单(单独分发) | 随接口开通滚动维护;每季度出次版本 |
| 《数据模型分层架构》 | 数据标准首版发布、分布台账首版发布后 | 正文+首批模型清单+逐模型设计说明书+一致性检查结果 | 每半年例行复核;遇触发条件即时修订 |
| 《数据集成共享管理规范》 | 前两份发布、数据安全分级标准首版发布后 | 正文八章六十二条+五件附表 | 每年例行复核;遇触发条件即时修订 |
三份文档的验收不按页数与字数,按下表的可检查项。验收人可按表逐项核对, 核对不通过的退回补充。这张表在项目期也是我方自查的清单。
表 A5-62 三份文档的验收检查项
| 文档 | 验收检查项 |
|---|---|
| 《数据模型分层架构》 | 一、五层职责、建模方法、工程约束与保留策略逐层写明;二、命名规则含正误示例且可由工具机器校验;三、六个主题域与 9 个业务域的映射完整;四、首批模型清单逐模型给出粒度、主键、更新频率与支撑对象;五、11 张一致性维表均有字段级设计,其中工序、图纸、炉次、焊缝与焊道、设备与测点五张给出完整字段表;六、事实表设计给出粒度声明、度量可加性与空值语义;七、禁止事项附检查方式;八、变更分级与通知时限明确;九、模型设计说明书模板可直接套用 |
| 《数据分布及数据流图》 | 一、台账字段定义含取值域、校验规则与取证方式;二、17 套源系统与系统外资产逐行登记,未取证项标注待填而非估计;三、存储位置两级登记口径明确;四、三个视角的流图齐备且图元符合规范;五、系统间交互关系矩阵含权威源归属与现存问题,接口编号与作业编号对应;六、断点清单逐条给出打通方式、责任边界与验收口径;七、接口开通清单逐系统列出所需材料与招标文件依据 |
| 《数据集成共享管理规范》 | 一、八章六十二条齐备,条文可执行且无「原则上」一类无判定标准的表述;二、七类通道的技术要求含并发、超时、幂等与断点续传参数;三、通道选用判定表可直接用于判定;四、作业登记字段定义完整;五、告警分级含触发情形、通知对象与响应时限;六、共享审批矩阵覆盖四个敏感级别与三种共享情形;七、脱敏规则表给出方法与保留信息;八、源端变更四级分级含评估范围与时限;九、审计日志字段定义完整;十、三方责任边界逐事项列明;十一、五件附表可直接使用 |
本附录三份文档与招标文件交付物清单中其余 34 份的衔接关系,集中在五处, 项目期编制时须按此口径对齐,避免同一事项在两份文档中给出不同规定。
表 A5-63 与其他治理文档的衔接口径
| 衔接事项 | 本附录文档中的规定 | 另一份文档 | 对齐口径 |
|---|---|---|---|
| 元数据登记要求 | 本附录规定作业与模型须登记,登记项见各表 | 《元数据管理办法》(b1333r13) | 登记字段的权威定义在元数据管理办法,本附录引用 |
| 字段取值域 | 本附录字段表标注「引用参考数据标准」 | 《参考数据标准》《数据元标准》(b1333r20、b1333r21) | 取值域的权威定义在标准文档,本附录不自定义枚举值 |
| 质量规则与门限 | 本附录规定门控检查项,门限值引用质量域 | 《数据质量校验规则库》(b1333r26) | 门限值的权威定义在规则库 |
| 敏感分级 | 本附录审批矩阵按四级分 | 《数据安全分级标准》(b1333r31) | 级别定义与判定方法在分级标准 |
| 数据开放流程 | 本规范第四章管内部共享与对外提供的审批 | 《数据开放共享管理规范》(b1333r38) | 面向外部的开放申请、授权与回收流程在开放共享管理规范;两份文档的分界为:本规范管「平台内与内部共享及对外提供的审批口径」,开放共享管理规范管「对外开放的完整流程与对外服务形态」 |
第五处:《数据集成共享管理规范》属数据架构域(b1333r12、b1261、b1262),《数据开放共享管理规范》属应用流通域(b1333r38、b1327、b1330)。本附录按架构域口径编写,对外开放完整流程不在此展开,避免与应用流通域文档重复。
下列材料不在本平台上,须由相应方提供后填入三份样章的对应占位。 清单按材料而非按文档组织,便于一次索取。
表 A5-64 待补材料清单
| 序号 | 待补材料 | 用于填补的占位 | 需要谁提供 | 影响 |
|---|---|---|---|---|
| 1 | 甲方治理组织架构的正式发布文件(审批岗位与签批人) | 三份文档的文件标识表中的批准栏 | 甲方数据治理委员会 | 不影响正文,影响文件首页签批栏 |
| 2 | 备料分厂正式工序字典(28 道工序的编码、名称、约束) | 表 A5-15 的样例行与「其余工序」行 | 甲方工艺部门 | 工序维表的取值域无法定稿 |
| 3 | 部件坐标系定位基准的正式口径 | 焊道维表 coord_ref 字段说明 | 甲方工艺与质量两职能 | 三类检测结论无法叠加 |
| 4 | 17 套源系统的数据字典或数据库设计说明书、连接信息、低峰时段确认 | 表 A5-35 至 A5-37 的存量规模、增量频率、字段数;表 A5-40 的到位状态 | 甲方各系统管理岗位(招标文件已要求提供,见 b0813 等) | 台账与矩阵无法定稿,接口开通无法排程 |
| 5 | 档案室纸质检测报告的册数与年份区间 | 表 A5-37 第 DL-018 行 | 甲方档案职能 | 数字化批次计划无法测算 |
| 6 | 现有采集范围清单与扩展清单(以现场勘察结论为准) | 表 A5-36 第 DL-013 行;设备与测点维表 is_in_scope | 甲方设备与信息化职能 | 时序取数范围无法确定 |
| 7 | 数据安全分级标准首版 | 表 A5-50 审批矩阵的级别定义;各字段表的敏感级别列 | 本项目安全域交付(项目期内) | 共享审批无法执行 |
| 8 | 数据元标准、参考数据标准首版 | 各字段表「引用数据元标准」「引用参考数据标准」处 | 本项目标准域交付(项目期内) | 字段取值域无依据 |
| 9 | 库存三套口径与工时定额两处来源的仲裁结论 | 表 A5-38 权威源归属列;表 A5-39 第 BP-10 行 | 甲方财务、生产管理与工艺职能 | 相关模型无法建 |
| 10 | 11 类管理制度与 9 类合同文档的正式分类口径 | 文件分类维表取值 | 甲方协同办公与法务职能 | 四个问答场景的语料分类无依据 |
| 11 | 受控回写范围的书面约定 | 本规范第十七条 | 甲方数据管理办公室与业务归口部门 | 回写范围无边界 |
| 12 | 各项门限值与考核指标目标值的基线 | 表 A5-39 验收口径列;本规范第五十八条 | 首批数据到位后由项目组提出、甲方确认 | 验收无量化标准 |
清单中第 4 项与第 7、8 两项的性质不同:第 4 项是甲方须提供的既有材料, 招标文件已明确要求各源系统提供(b0813、b0815、b0820、b0822 等),到位进度直接决定 台账完成进度;第 7、8 两项是本项目自身在其他能力域的交付物,属项目内部的前后依赖, 在实施计划中已按先后顺序安排。两类材料的催办路径不同,清单中分列便于分别跟进。