## 一、本节范围与编写说明
本节回应招标文件第五章 3.2.6.1.1.2.5 至 3.2.6.1.1.2.10 以及 3.2.6.1.2 的全部要求,即数据治理规划中的数据标准、数据质量、数据安全、数据生存周期、数据应用流通五个规划域,加上治理规划成果交付要求与数据治理实施要求(b1275)(b1288)(b1300)(b1310)(b1322)(b1331)(b1335)。
数据治理规划的前四个域——现状评估、数据战略、数据治理组织与制度、数据架构与数据资产——在技术方案「数据治理一」一节中论述,本节不重复展开,涉及时以域名引用。数据治理的总体路径、DCMM(Data Management Capability Maturity Assessment Model,数据管理能力成熟度评估模型)三级贯标安排与九大能力域的整体对应关系,见「数据治理体系总述」一节。
本节与投标文件其余部分有三处边界需要先行说清,否则评阅时容易把两件事看成一件事。
第一处是数据质量。本节讲的是天地奔牛九个业务域内**业务数据**的质量治理——企业资源计划系统里的物料主数据是否完整、制造执行系统里的工单报工是否及时、质量管理系统里的缺陷描述能否与工艺参数对上。四类高质量数据集本身的质量评测,依据《高质量数据集质量评测规范》开展,指标体系与评测过程在服务方案「数据集质量评测方案」一节论述。两者的关系是前者为后者供料:业务数据的质量决定了数据集加工的起点,数据集的评测结论又反过来成为业务数据质量规则的修订线索。
第二处是数据安全。本节讲的是管理侧的规划成果——分类分级标准怎么定、权限规范怎么写、审计要求怎么提、合规制度怎么落(b1300)。国密算法应用、等保 2.0 测评、信创适配比例、脱敏与去标识的技术实现、密码产品配置与第三方测评安排,在技术方案「安全方案」一节论述。本节提出的分级口径与那一节的技术实现为同一套,分级标签是技术管控策略的输入。
第三处是治理文档的提交形态。招标文件要求交付不少于 25 份数据治理规划文档,并以表格列出 37 份具体名称(b1332)。这 37 份文档是**项目实施期的交付物**,须在现状评估结论与甲方现行制度体系确认之后才能定稿。投标阶段若将 37 份文档全文附上,一是内容必然建立在未经核实的假设之上,二是与招标文件「避免套话过多、无关材料过多」的要求相悖。本节采取的做法是:给出 37 份文档的完整清单、每份的编制依据、章节骨架、责任域与提交节点(见本节第七章),并在附录佐证卷提供标准规范清单与模板样例;文档全文按项目计划在相应阶段提交评审。
### 1.1 本节与招标文件单元的对应关系
表 4B-1 列出本节各章与招标文件单元的对应关系,便于逐条核对。
表 4B-1 本节章节与招标文件单元对照
| 本节章节 | 招标文件条款 | 覆盖单元 |
|---|---|---|
| 二、数据标准规划 | 3.2.6.1.1.2.5 | b1275–b1287 |
| 三、数据质量规划 | 3.2.6.1.1.2.6 | b1288–b1299 |
| 四、数据安全规划 | 3.2.6.1.1.2.7 | b1300–b1309 |
| 五、数据生存周期规划 | 3.2.6.1.1.2.8 | b1310–b1321 |
| 六、数据应用流通规划 | 3.2.6.1.1.2.9 | b1322–b1330 |
| 七、治理规划成果交付 | 3.2.6.1.1.2.10 | b1331–b1334、b1333r01–b1333r38 |
| 八、数据治理实施 | 3.2.6.1.2 | b1335–b1336 |
### 1.2 五个规划域为什么按这个顺序建设
五个域不是并列的五张清单,它们之间有先后约束。数据标准定义了「什么是对的」,数据质量才有校验依据;没有统一的数据元与值域,质量规则只能写成空值率一类最浅的检查。数据安全的分级标签是权限、脱敏与审计三类管控的输入,分级没定,防护策略就只能按系统边界粗粒度地给。数据生存周期管的是数据从需求到退役的过程规范,它承接标准与质量的要求并把要求嵌进开发与运维动作。数据应用流通是出口,治理后的数据以什么形态、按什么权限、向谁提供,决定了前四个域的投入能否被业务感知到。
这一先后关系也决定了本项目治理工作的排期:标准与安全分级先行,质量规则随标准落地同步建设,生存周期规范在首批数据汇聚开始前发布,应用流通规范在首批数据服务上线前发布。具体里程碑见本节第八章第五节。
图 4B-1 五个数据治理规划域的先后约束与安全域的贯穿关系。数据来源:招标文件第五章 3.2.6.1.1.2.5–3.2.6.1.1.2.9 各域输出要求。
## 二、数据标准规划
本章回应招标文件 3.2.6.1.1.2.5 数据标准规划要求的全部五项内容与输出要求(b1275)。
### 2.1 需要解决的现场问题
甲方的信息化底座已经成型:设计与工艺、生产计划与工单、质量检验、库存与物流、公文与合同流转、设备过程参数采集、在役装备远程运维各有系统承载,业务数据长期留存。真正的困难不在于缺系统,而在于同一个物理对象在不同系统里有不同的名字、不同的编码规则、不同的填写习惯,跨系统追一件事仍要靠人工对账。
这个问题在本项目中有三处具体表现,它们直接决定了数据标准规划的落点。
一是同一工序在不同车间有不同叫法。板材备料的工序链共 28 道,总工艺路线之下各车间再编本车间的工艺卡片,同一道工序在备料车间的卡片上与在结构件车间的卡片上名称可能不同,工序代码也不成体系。工艺类数据集要以工序为检索键组织样本,工序名称不统一,样本就无法按工序聚合。
二是图纸与工艺卡的配对关系没有可计算的键。历史图纸约 63 万张,每一张历史上都配有一张已审核签发的工艺卡片,这在数据集建设上是天然成对的监督样本,但配对关系存在于文件目录与人的记忆里,没有稳定的图号—卡片号对应标准。
三是指标口径分散。同一个「库存周转」在供应链口与财务口的算法不同,分母取期初期末平均还是取时点值、是否扣除项目专用占用,各部门各有习惯。决策数据问答场景要基于九个业务域与一套决策指标体系作答,口径不统一,同一问题会得到两个都「正确」的答案。
数据标准规划要交付的不是一本术语词典,而是一套能把上述三类不一致收敛下来、并且在后续系统改造与数据加工中持续生效的标准体系。
### 2.2 标准体系的总体构成
本项目的数据标准分五类:业务术语标准、主数据标准、参考数据标准、数据元标准、指标标准。五类标准之上有一部《数据标准管理办法》规定标准的制定、评审、发布、变更与废止程序;五类标准之下有一张《标准映射对照表》把标准项落到具体系统的具体字段。这一结构与招标文件要求输出的六份成果物一一对应(b1286)(b1287)。
五类标准的关系可以用一句话概括:业务术语管概念,主数据与参考数据管实例,数据元管字段,指标管算法。概念层统一了「叫什么」,实例层统一了「有哪些」,字段层统一了「怎么存」,算法层统一了「怎么算」。四层缺一层,上层标准落地时都会卡住。
图 4B-2 数据标准体系的四层构成与三条落地通道。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(1)至(6)项。
### 2.3 业务术语标准
#### 2.3.1 术语标准的编制范围与方法
业务术语标准覆盖九个业务域:人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理(b1336)。编制目标是形成公司统一的业务术语标准,厘清业务名词的定义、业务含义与同义词(b1276)。每个域的术语从三个来源汇集。
第一个来源是现行业务文档。工艺规程、作业指导书、检验规范、管理制度、合同模板里反复出现的业务名词构成术语的主体。我方以文档解析工具批量抽取候选名词,按词频与共现关系排序,再由业务域对口部门确认。采用当期能力评测领先的通用大模型经统一网关接入完成候选术语的定义初稿与同义词聚类,模型可替换、可评测、可随代升级;定义的最终确认权在业务部门,模型输出只作为编制底稿。
第二个来源是系统字段与数据字典。企业资源计划、制造执行、质量管理、产品全生命周期管理等系统的字段中文名、注释与下拉选项是术语的实际使用形态,也是术语与字段映射的起点。
第三个来源是国家标准与行业标准。煤矿用刮板输送机、矿用链条、钢材牌号、焊接工艺、热处理工艺等领域已有成文标准,标准中的术语优先采用,企业自定义术语仅在标准未覆盖处设立并注明「企业自定义」。
#### 2.3.2 术语卡的结构
每条术语以一张术语卡承载,字段结构如表 4B-2。结构本身就是评审的检查项:定义写不出来、同义词列不清、归属部门认不下的术语,不进标准正式发布版,先入待议清单。
表 4B-2 业务术语卡字段结构
| 字段 | 说明 | 示例(示意,实际取值待现场核定) |
|---|---|---|
| 术语标识 | 全局唯一编号,域代码+序号 | MFG-T-0137 |
| 中文名称 | 标准名称,发布后作为唯一正式称法 | 装炉量 |
| 英文名称 | 对外接口与英文文档使用 | Furnace Charge Quantity |
| 业务定义 | 一句话定义,说明边界而非举例 | 单一炉次一次性装入炉膛的工件重量合计 |
| 业务含义 | 该术语在业务判断中起什么作用 | 影响升温速率与保温时间的可调量依据 |
| 同义词 | 现行文档与系统中的其他称法 | 装炉重量、投料量、单炉重量 |
| 禁用词 | 明确不再使用的旧称法 | 投料量(2026 版后停用) |
| 易混术语 | 相近但不同的术语及区别 | 装炉工件数(计件,不计重) |
| 所属业务域 | 九个业务域之一 | 生产制造 |
| 归口部门 | 术语定义的解释责任部门 | 【待填:甲方归口部门名称】 |
| 关联数据元 | 该术语对应的数据元标识 | DE-MFG-0412 |
| 关联指标 | 以该术语为维度或度量的指标 | IDX-MFG-0088 |
| 版本与状态 | 草案/发布/修订/停用 | 发布 V1.0 |
#### 2.3.3 术语在三个场合的落地
招标文件要求术语在业务文档、系统字段、指标说明中落地应用(b1277)。这三个场合的落地方式不同,不能用一条措施覆盖。
在业务文档中落地,办法是把术语表嵌入文档模板。工艺卡片、检验规范、不合格品票、改造方案等模板的填写指引中,涉及标准术语的字段给出术语标识与正式名称,禁用词在模板校验时提示。对已归档的历史文档不做回改,只在数据加工环节做术语归一映射,映射关系记录在标准映射对照表中。
在系统字段中落地,办法是分新建与存量两条路径。新建或改造的系统,在设计评审时核对字段中文名是否取自术语标准,不一致的须说明理由;存量系统不强制改字段名,改的是数据汇聚层的映射配置,由映射把源字段名归一到标准术语。这一取舍的理由很直接:改源系统字段名要动业务逻辑与界面,代价与风险都高于在汇聚层做映射,而数据集加工与指标计算取的是汇聚层的数据。
在指标说明中落地,办法是指标卡的维度与度量名称强制引用术语标识。指标卡中出现未登记的业务名词时,指标无法通过评审发布。
#### 2.3.4 规模与验收口径
术语标准的首批发布规模按九个业务域各 60 至 120 条估算,合计不少于 600 条,其中生产制造域与研发设计域因工序与工艺术语密集,条目数高于其他域。第二批在数据汇聚与指标建设过程中滚动补充。
验收口径设三条,均以可核查的抽样方式检验:
一是术语覆盖率。从四类数据集加工所实际用到的业务字段中随机抽样 200 项,检查其对应业务名词是否已登记在术语标准中。首批发布时的基线按抽样覆盖不低于 75% 设定,随滚动补充逐步接近全覆盖;未覆盖项列入下一批编制清单,这是本指标的回退路径。
二是同义词归并有效性。对抽样术语检查其同义词清单是否包含该名词在现行系统中的实际称法,遗漏一条计一次不符合,单批不符合超过 10% 则该域术语退回复审。
三是指标卡引用合规性。发布的指标卡中,维度与度量名称引用术语标识的比例逐步接近全部;未引用的指标卡在发布前退回修改。
### 2.4 主数据标准与全生命周期审批流程记录
#### 2.4.1 主数据域的识别
招标文件对主数据提出的要求是补齐全生命周期审批流程记录,形成 DCMM 评审可查阅的证据材料(b1278)(b1279)。这一要求的实质是:主数据不只要有标准,还要有「谁在什么时候按什么依据批准了这条主数据」的留痕,否则 DCMM 评审时拿不出证据。
本项目识别的主数据域及其与数据集建设的关系见表 4B-3。识别原则是:被两个以上业务系统共同引用、且其变更会影响跨系统一致性的基础实体,纳入主数据管理。
表 4B-3 主数据域清单与管理重点
| 主数据域 | 核心实体 | 主要承载系统 | 与数据集建设的关系 | 管理重点 |
|---|---|---|---|---|
| 物料主数据 | 原材料、零件、部件、产成品 | 企业资源计划 | 备料工艺与库存控制类样本的对象主键 | 编码规则、分类、计量单位、规格描述 |
| 产品与物料清单 | 产品结构、层级关系 | 产品全生命周期管理 | 图纸与工艺卡配对、零件借用判断 | 版本与有效性、与物料编码的对应 |
| 客户与项目 | 矿方客户、工作面项目、施工号 | 客户关系管理、生产管理 | 选型类样本的工况上下文 | 施工号与项目的唯一对应 |
| 供应商 | 钢材与外协供应商、材料批次来源 | 企业资源计划、采购管理 | 热处理批次档案的材料来源追溯 | 供应商编码、资质状态、材料批次关联 |
| 设备与工装 | 加工设备、炉台、焊接产线、压模、样板 | 设备管理、制造执行 | 工艺设计类样本的设备资源引用 | 设备编码、位号、与测点的对应 |
| 组织与人员 | 部门、车间、班组、岗位 | 人力资源 | 操作主体与责任留痕 | 组织编码、岗位与权限的对应 |
| 工序与工艺路线 | 28 道备料工序及其余工序、工艺路线 | 制造执行、工时定额 | 工艺类样本的检索键与聚合维度 | 工序代码体系、名称唯一、前后依赖 |
| 计量与检验项 | 检验项目、关键工序、重要尺寸 | 质量管理 | 质量类样本的标签来源 | 检验项编码、与工艺标注的对应 |
工序主数据是本项目新增的管理重点。甲方现状是总工艺路线与各车间卡片并行、工序代码不成体系,而工艺类与制造过程类数据集都以工序为聚合维度,因此工序主数据的建立不是治理的附带产物,而是数据集加工的前置条件。
#### 2.4.2 主数据全生命周期流程与留痕节点
主数据的生命周期定义为申请、审核、发布、变更、停用五个状态。每一次状态迁移产生一条不可修改的流程记录,记录内容构成 DCMM 评审的证据材料。
图 4B-3 主数据五态流程与审批留痕节点。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(2)项主数据要求。
#### 2.4.3 历史主数据的审批记录补齐
现存主数据绝大部分是历史沉淀下来的,当初并无规范审批流程,记录无法凭空补造。我方采取的办法是追认与补证两步,并且把两者在证据包里分开标识,不混为一谈。
追认是对现行有效的历史主数据,由归口部门按当前标准做一次性确认,形成《历史主数据追认清单》,清单本身即一条有审批人、审批时间与审批意见的流程记录,记录类型标为「历史追认」。补证是对有原始依据可查的主数据,把原始依据(立项文件、图纸签发记录、合同、入库单等)作为附件挂到主数据上,记录类型标为「依据补录」。
两类记录与新建主数据的「正常流程」记录在证据包中分列统计。DCMM 评审时呈现的是真实状况:哪些有完整流程、哪些是追认、哪些有原始依据,而不是一份看起来全部合规、实际无法回溯的台账。追认与补证的覆盖比例按主数据域分别设定目标,首年以物料、工序、设备三个与数据集加工直接相关的域为重点,逐步接近全部现行有效主数据;未完成的域在诊断报告中列明并排入下一阶段。
#### 2.4.4 主数据编码规则
编码规则按「分类码+流水码」设计,分类码表达稳定属性,流水码不承载含义。这样做的理由是:把可变属性编进码里,属性一变就要改码,改码会打断历史引用。规格、材质、供应商一类会变的属性放在属性字段里,不进编码。
编码规则的具体位数与分类层级在现状评估阶段依据甲方现行编码体系确定,原则是尽量沿用现行有效编码、减少换码带来的历史数据映射成本。需要换码的,在标准映射对照表中保留新旧编码对应关系,历史数据按对应关系归一,原码作为别名保留可查。
### 2.5 参考数据标准与代码值域字典
#### 2.5.1 管理范围的界定
招标文件要求明确参考数据的管理范围并识别各类参考数据的取值范围(b1280)(b1281)。参考数据与主数据的区别在于:主数据是业务实体,参考数据是对实体属性取值的约束集合。物料是主数据,物料分类代码是参考数据;设备是主数据,设备状态代码是参考数据。
本项目将参考数据按来源分三类管理,管控强度不同。
第一类是国家标准与行业标准代码。例如钢材牌号、焊接方法代码、计量单位、行政区划、币种。这类代码直接采用标准发布版,企业不自行增删,标准更新时按版本替换,替换过程保留旧版映射。
第二类是行业通用但无强制标准的代码。例如煤矿工作面类型、刮板输送机机型档位、链条规格档位。这类代码由我方整理候选集合,由甲方技术部门核定后作为企业参考数据发布。
第三类是企业自定义代码。例如工序代码、缺陷类型代码、不合格品处置方式、炉型代码、班组代码。这类代码数量最多、变化最频繁,也是数据集标签体系的直接依据,管控要求最严。
表 4B-4 列出参考数据的首批管理清单示例,实际清单在现状评估阶段依据系统字典盘点结果确定。
表 4B-4 参考数据首批管理清单(示例,实际范围以现场盘点为准)
| 参考数据名称 | 来源类别 | 取值范围识别方式 | 关联业务域 | 预估码值数量 |
|---|---|---|---|---|
| 工序代码 | 企业自定义 | 总工艺路线与各车间卡片取并集后归一 | 生产制造 | 备料 28 道,全工序约 120 |
| 钢材材质牌号 | 国家标准 | 按现行牌号标准取值,企业在用子集 | 采购管理、生产制造 | 约 60 |
| 缺陷类型代码 | 企业自定义 | 质量管理系统缺陷描述文本聚类后核定 | 质量管理 | 约 80 |
| 不合格品处置方式 | 企业自定义 | 协同办公不合格品票流转选项 | 质量管理 | 约 10 |
| 工作面类型 | 行业通用 | 超长、常规、大采高、薄煤层等 | 营销管理、研发设计 | 约 8 |
| 机型与槽宽档位 | 行业通用 | 企业现行产品谱系 | 研发设计 | 【待填:以产品谱系核定】 |
| 链条规格档位 | 行业通用 | 链环直径与强度等级组合 | 研发设计 | 【待填:以产品谱系核定】 |
| 炉型代码 | 企业自定义 | 热处理群控系统炉台台账 | 设备管理、生产制造 | 约 20 |
| 设备状态代码 | 企业自定义 | 设备管理系统状态字典 | 设备管理 | 约 12 |
| 检验项目代码 | 企业自定义 | 质量管理系统检验项字典 | 质量管理 | 约 200 |
| 计量单位 | 国家标准 | 按法定计量单位,企业在用子集 | 全域 | 约 40 |
| 库存状态代码 | 企业自定义 | 仓储管理系统状态字典 | 仓储物流 | 约 10 |
#### 2.5.2 取值范围的识别方法
取值范围不是拍出来的,是从现存数据里查出来、再由业务核定的。我方对每一类参考数据执行三步。
第一步是字典抽取。从源系统的字典表、下拉选项、枚举常量中抽取已定义的码值集合。
第二步是实际取值扫描。对业务表中该字段的实际取值做去重统计,统计结果与字典对照,得到三类差异:字典中有但实际未使用的码值、实际使用但字典中没有的码值(多为自由文本或历史脏值)、实际使用频次极低的码值。第三类往往是录入错误,需要逐一判定。
第三步是业务核定。把三类差异提交归口部门,确认哪些码值保留、哪些归并、哪些废止。核定结论形成代码值域字典的正式版本,同时产生两项副产物:废止码值的归并映射关系进入标准映射对照表,自由文本到标准码值的映射规则进入数据加工的清洗逻辑。
缺陷类型代码是这一方法价值最明显的例子。甲方质量管理系统中缺陷描述为自由文本,未与工艺参数关联。按上述三步,先对历史缺陷描述文本做聚类,得到候选缺陷类型,再由质量部门核定为代码体系,然后把历史文本按映射规则归一到代码。归一之后,缺陷才能作为标签与焊接参数流、热处理炉次档案对齐,质量类数据集的标注才有依据。
#### 2.5.3 代码值域字典的结构与维护
代码值域字典按表 4B-5 的结构维护。字典与数据元标准通过「值域引用」关联:数据元标准中声明该数据元引用哪一张码表,码表更新时所有引用该码表的数据元同步生效,不必逐个修改。
表 4B-5 代码值域字典字段结构
| 字段 | 说明 |
|---|---|
| 码表标识 | 全局唯一编号 |
| 码表名称 | 正式名称,引用术语标准 |
| 来源类别 | 国家标准/行业通用/企业自定义 |
| 标准依据 | 国标或行标编号与版本;企业自定义填制定依据 |
| 码值 | 代码值,定长或变长按码表声明 |
| 码值名称 | 中文名称 |
| 码值定义 | 该码值的判定边界 |
| 上级码值 | 多层码表的父节点 |
| 启用状态 | 启用/停用/归并至 |
| 归并目标 | 停用码值归并到哪个码值 |
| 生效与失效时间 | 支持按时点回放历史取值 |
| 归口部门 | 【待填:甲方归口部门】 |
| 版本 | 码表版本号 |
码表变更走数据标准管理办法规定的变更流程。变更申请须附影响评估:哪些系统字段引用了该码表、哪些质量规则以该码表为值域、哪些指标以该码值为维度。影响评估由治理平台依据映射对照表与元数据血缘自动生成初稿,由申请人补充业务影响后提交评审。
### 2.6 数据元标准
#### 2.6.1 数据元的六项规范
招标文件要求针对核心业务域制定数据元定义标准,明确数据元标识、名称、定义、类型、格式、值域等规范(b1282)(b1283)。本项目的数据元标准按 GB/T 18391 数据元规范的思路组织,每个数据元的属性集合见表 4B-6。
表 4B-6 数据元标准属性集合
| 属性 | 规范要求 | 示例(示意) |
|---|---|---|
| 数据元标识 | 域代码+类别码+序号,全局唯一 | DE-MFG-0412 |
| 数据元名称 | 「对象类+特性+表示」三段式,引用术语标准 | 炉次_装炉量_数值 |
| 业务定义 | 一句话说明边界,不举例替代定义 | 单一炉次一次性装入炉膛的工件重量合计 |
| 数据类型 | 整型/小数/字符/日期/日期时间/布尔/二进制 | 小数 |
| 格式与精度 | 长度、小数位、日期格式、编码格式 | 10 位,2 位小数 |
| 计量单位 | 引用计量单位码表 | kg |
| 值域 | 枚举型引用码表标识;数值型给上下限 | 大于 0,不超过炉膛额定装载量 |
| 允许空值 | 是/否,否则说明默认值来源 | 否 |
| 唯一性 | 是否参与业务唯一键 | 否 |
| 敏感级别 | 引用数据安全分级标准 L1–L5 | L2-内部 |
| 来源系统与字段 | 对应的物理落点,可多条 | 热处理群控系统炉次表装炉重量字段 |
| 质量规则 | 绑定的校验规则标识 | QR-MFG-0233、QR-MFG-0234 |
| 归口部门 | 定义解释责任部门 | 【待填:甲方归口部门】 |
| 版本与状态 | 草案/发布/修订/停用 | 发布 V1.0 |
这张表里有三个字段是把数据元标准与其他治理域串起来的关键。敏感级别把数据元接到安全分级标准,使权限与脱敏策略可以按字段粒度下发。质量规则把数据元接到校验规则库,数据元一发布,与之绑定的规则即进入稽核调度。来源系统与字段把数据元接到标准映射对照表与元数据血缘。没有这三个字段,数据元标准就只是一本不生效的词典。
#### 2.6.2 核心业务域的数据元范围
数据元不追求把所有字段都标准化,那样投入大而收效低。本项目按两条判据筛选核心数据元:被两个以上系统或两个以上场景共同使用的字段,以及四类数据集加工所直接依赖的字段。
表 4B-7 按业务域给出数据元的重点范围与估算条目数。估算依据是各域主干业务表的字段规模与跨系统引用情况,实际条目数在现状评估的数据资产盘点完成后确定。
表 4B-7 各业务域核心数据元重点范围与估算条目
| 业务域 | 数据元重点范围 | 估算条目 |
|---|---|---|
| 研发设计 | 图号、版本、零部件标识、材质、规格参数、展开长、材料定额、借用关系、工作面工况参数 | 约 180 |
| 生产制造 | 施工号、工单号、工序代码、工艺卡片号、设备编码、工装与压模号、工时定额、报工时间、炉次号、装炉量、设定与实际温度、焊道标识、焊接参数 | 约 320 |
| 质量管理 | 检验项编码、检验结论、实测值、关键工序标识、重要尺寸、缺陷类型、不合格品票号、处置方式、复检结论 | 约 210 |
| 仓储物流 | 物料编码、批次号、库位、库存数量、项目占用、出入库时间与类型、呆滞标识 | 约 130 |
| 采购管理 | 供应商编码、采购订单号、到货批次、材料来源厂家、采购价格、采购周期 | 约 110 |
| 设备管理 | 设备编码、测点标识、测点类型、采样周期、报警记录、维修工单、备件编码、运行状态 | 约 160 |
| 营销管理 | 客户编码、矿方项目标识、商机编号、销售预测、合同标识、交付节点 | 约 90 |
| 财务管理 | 科目编码、成本中心、费用类型、物料价格、项目成本归集、结算状态 | 约 100 |
| 人力资源 | 组织编码、岗位编码、人员标识、技能与资质、班组、排班 | 约 70 |
合计约 1370 条。这个量级与九个业务域、十余套源系统的规模相称;若现状评估后实际筛出的条目数显著低于此,说明筛选判据执行偏严,须复核是否漏掉了跨场景共用字段。
#### 2.6.3 数据元与物理字段的映射
一个数据元可以对应多个系统的多个物理字段,这是现状的常态而非例外。装炉量在热处理群控系统、物联网与设备数据平台、制造执行系统里可能各有一个字段,名称、单位、精度都未必一致。映射要记录的不只是对应关系,还有转换规则。
映射关系的记录结构见本章第八节标准映射对照表。需要在此说明的是三类转换:单位换算(吨与千克)、精度取舍(保留两位小数的规则是四舍五入还是截断)、口径差异(装炉量是否含工装夹具重量)。第三类最容易被忽略,而它导致的数值差异远大于前两类。映射评审时,口径差异必须由业务部门明确取哪一个口径为标准口径,其余口径的数据按换算规则归一或标记为不可比。
### 2.7 指标标准
#### 2.7.1 指标的四项要素与分层
招标文件要求制定指标标准,明确指标业务含义、统计口径、计算逻辑、维度与数据来源(b1284)(b1285)。这四项要素对应指标卡的四组字段。本项目把指标按原子指标、派生指标、复合指标三层组织,分层的作用是把口径冲突收敛到最底层解决。
原子指标是不可再分解的度量,直接对应一个数据元的聚合,例如「入库数量」「报工工时」「检验不合格件数」。原子指标的口径由其引用的数据元与聚合方式唯一确定。
派生指标是原子指标加上限定条件与时间周期,例如「本月备料工序报工工时」「钢材类物料当期入库数量」。限定条件只能引用已登记的维度与码值。
复合指标是多个原子或派生指标的运算结果,例如「库存周转天数」「一次交检合格率」。复合指标必须写明分子、分母各自引用哪个下层指标,以及分母为零时的取值约定。
这样分层之后,「库存周转」口径之争就落到可以讨论的位置上:争的不是指标本身,而是分母引用的是「期初期末平均库存金额」还是「期末时点库存金额」,是否扣除「项目占用库存」。两个口径都可以保留,但必须是两个不同标识、不同名称的指标,不能共用一个名字。
图 4B-4 指标三层结构与口径向下追溯路径。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(5)项指标数据要求。
#### 2.7.2 指标卡结构
表 4B-8 给出指标卡的字段结构。一张指标卡填完,招标文件要求的业务含义、统计口径、计算逻辑、维度与数据来源四项要素即齐备。
表 4B-8 指标卡字段结构
| 字段组 | 字段 | 规范要求 |
|---|---|---|
| 标识 | 指标标识、指标名称、英文简称 | 名称引用术语标准,同一名称不得对应两套口径 |
| 标识 | 指标层级 | 原子/派生/复合 |
| 业务含义 | 业务定义、业务用途、责任部门、关注人 | 说明这个数该给谁看、用来判断什么 |
| 统计口径 | 统计范围、剔除条件、时点与周期、币种与单位 | 剔除条件逐条列明,不写「等」 |
| 计算逻辑 | 计算公式、引用下层指标、分母为零约定、取整与精度 | 公式以指标标识书写,不写自然语言描述 |
| 维度 | 支持维度清单、维度层级、默认维度 | 维度取值引用码表标识 |
| 数据来源 | 来源指标或数据元、来源系统、数据延迟、数据起始时间 | 延迟写明是 T+1 还是实时 |
| 质量约束 | 依赖的质量规则、置信标记规则 | 来源数据未通过质量门限时的标记方式 |
| 版本 | 版本号、生效时间、变更记录 | 口径变更须新版本,历史口径保留可回放 |
「质量约束」一组字段回应的是甲方数据质量不均的现状。各系统数据质量参差,指标不能假定输入一律可用。指标卡声明依赖的质量规则后,指标计算时若来源数据未通过对应质量门限,指标值随附置信标记,在决策数据问答一类场景中随答案一并呈现。这一机制的回退路径是:数据质量不足以支撑该指标时,指标状态置为「暂不发布」,而不是给出一个看不出问题的数。
#### 2.7.3 决策指标体系的衔接
招标文件在数据治理服务的总体要求中提出同步构建决策数据指标体系(b1225),并在通用场景中说明决策数据问答助手基于九个业务域与一套决策指标体系作答(b1759)。指标标准是这套体系的规范基础:决策指标体系中的每一个指标都须有指标卡,口径可向下追溯到数据元与源字段。
决策指标体系的指标选取、分层设计与问答场景的交互设计,在技术方案「五个通用场景验证方案」一节论述。本节交付的是指标标准与指标卡规范,两者的接口是指标卡:本节定义卡的结构与评审发布流程,场景侧按结构填卡并提出指标需求。
#### 2.7.4 指标标准的首批范围
首批指标按九个业务域核定,规模估算见表 4B-9。估算口径是每个业务域的核心管理关注点对应 8 至 20 个复合指标,每个复合指标平均牵出 2 至 4 个派生指标与 1 至 3 个原子指标。
表 4B-9 首批指标规模估算
| 业务域 | 原子指标 | 派生指标 | 复合指标 | 小计 |
|---|---|---|---|---|
| 研发设计 | 14 | 20 | 10 | 44 |
| 生产制造 | 26 | 42 | 20 | 88 |
| 质量管理 | 20 | 32 | 18 | 70 |
| 仓储物流 | 16 | 26 | 14 | 56 |
| 采购管理 | 14 | 22 | 12 | 48 |
| 设备管理 | 16 | 24 | 12 | 52 |
| 营销管理 | 12 | 18 | 10 | 40 |
| 财务管理 | 16 | 24 | 14 | 54 |
| 人力资源 | 10 | 14 | 8 | 32 |
| 合计 | 144 | 222 | 118 | 484 |
首批指标的筛选以决策数据问答场景的实际问句为线索:场景侧整理高频业务问句,逐句判断回答该问句需要哪些指标,由此得到的指标清单比自上而下设计的指标体系更贴合实际使用。未被问句牵出但管理上必需的指标另行补充。
### 2.8 标准映射对照表与标准落地机制
#### 2.8.1 映射对照表的结构
标准映射对照表是五类标准与物理数据之间唯一的连接件,也是招标文件要求的六份输出之一(b1286)(b1287)。结构见表 4B-10。
表 4B-10 标准映射对照表字段结构
| 字段 | 说明 |
|---|---|
| 映射标识 | 全局唯一编号 |
| 标准类型 | 术语/主数据/参考数据/数据元/指标 |
| 标准项标识 | 对应的术语标识、主数据域、码表标识、数据元标识或指标标识 |
| 源系统 | 系统名称与环境标识 |
| 源对象 | 库、表或接口名称 |
| 源字段 | 字段名与原始类型 |
| 映射类型 | 直接对应/单位换算/值域归一/口径换算/拆分/合并/不可比 |
| 转换规则 | 换算公式、归一映射表、拆分合并逻辑 |
| 口径说明 | 与标准口径的差异描述 |
| 质量规则 | 该映射上绑定的校验规则标识 |
| 责任部门 | 源系统业务归口部门 |
| 生效状态 | 生效/待评审/已失效 |
| 版本 | 映射版本与变更记录 |
「不可比」是一个必要的映射类型。有些源字段与标准项在业务口径上确实无法换算——例如某系统的装炉量含工装夹具重量而标准口径不含,且该系统未单独记录夹具重量。这种情况下不应强行换算,而应标记为不可比,使用方据此决定是否采用该来源。把不可比的数据强行归一,错误会沉默地传到数据集与指标里。
#### 2.8.2 标准落地的四个入口
标准发布之后要真正生效,需要四个入口上的机制,缺一个标准就会停在纸面上。
第一个入口是新建与改造系统的设计评审。数据模型设计、接口契约设计提交评审时,核对字段是否引用已发布数据元、枚举字段是否引用已发布码表、指标是否有指标卡。不一致的须在评审意见中说明理由并记录为例外,例外清单定期复核。
第二个入口是存量系统的改造清单。现状评估识别出的标准不一致项按影响面与改造成本排序,形成分批改造清单。排序原则是:影响四类数据集加工的优先、跨系统关联所必需的优先、改造只涉及汇聚层配置的优先于需要改动源系统的。
第三个入口是数据加工的入口校验。数据汇聚与加工任务在读入数据时按数据元标准做类型、格式、值域校验,按码表做值域归一,不符合的记录进入质量问题台账并按规则严重级决定是阻断任务还是标记放行。这是标准生效最强的一个入口,因为它直接作用在数据流上。
第四个入口是质量规则绑定。数据元标准中的类型、格式、值域、允许空值、唯一性五项属性可直接生成对应的质量校验规则,由治理平台自动派生规则草案,由数据质量管理员确认后入规则库。标准一发布,规则即生效,两者不会脱节。
#### 2.8.3 标准的变更与版本管理
标准会变,变更管理的要求是让变更可控、可追溯、可回放。
变更申请须附影响评估,评估内容由治理平台依据映射对照表与元数据血缘自动生成初稿:哪些系统字段、哪些质量规则、哪些指标、哪些数据集加工任务引用了待变更的标准项。申请人在初稿基础上补充业务影响与过渡安排。
变更按影响面分三级审批。只影响单一业务域、不改变值域的,由该域归口部门审批;跨业务域或改变值域的,由数据治理管理层审批;涉及主数据编码规则或指标口径的,由数据治理决策层审批。审批层级的组织设计在「数据治理一」一节论述。
标准发布采用版本与基线机制。每次发布形成一个版本,重要节点(如 DCMM 评审前、年度审计前)固化为基线。数据集加工与指标计算记录所依据的标准版本号,使历史结果可按当时的标准版本回放。这一点对数据集的可追溯性尤其重要:一份两年前加工的数据集,其标签体系依据的码表版本必须可查,否则无法解释标签含义的变化。
### 2.9 数据标准规划的交付物与验收口径
表 4B-11 列出本章对应的交付物与验收口径,对应招标文件要求输出的六份成果(b1286)(b1287)。
表 4B-11 数据标准规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据标准管理办法 | 五类标准的制定、评审、发布、变更、废止程序;组织与职责;版本与基线规则 | 经甲方数据治理管理层评审通过并以企业文件形式发布 |
| 业务术语标准 | 九业务域术语卡,首批不少于 600 条 | 抽样 200 项业务字段,术语覆盖率不低于 75% 并逐步提高;未覆盖项入下批清单 |
| 参考数据标准 | 参考数据管理范围、三类来源的管控要求 | 首批管理清单经归口部门逐项核定 |
| 代码值域字典 | 各码表的码值、定义、层级、启用状态与归并关系 | 码表与源系统实际取值的差异项逐条有核定结论 |
| 数据元标准 | 核心业务域数据元属性集合,估算约 1370 条 | 四类数据集加工所依赖字段的数据元覆盖率逐步接近全部,缺口在月度例会列明 |
| 指标标准 | 指标卡规范与首批约 484 个指标 | 发布指标的口径可向下追溯到数据元与源字段;同名不同口径的指标为零 |
| 标准映射对照表 | 标准项到物理字段的映射与转换规则 | 已汇聚数据对象的映射登记完整,口径差异项有业务核定结论 |
上述验收口径中,凡以比例表述的,均配有基线与回退安排:基线为首批发布时的实测值,目标为逐期提高,未达期段目标的在数据治理月度例会上列明缺口与补齐计划,相关数据集加工任务按置信标记降级输出而非停止,避免治理进度直接阻断数据集交付。
## 三、数据质量规划
本章回应招标文件 3.2.6.1.1.2.6 数据质量规划要求的全部五项内容与输出要求(b1288)。
### 3.1 需要解决的现场问题
甲方的数据质量状况可以概括为「量不少、关联少、口径散」,各系统之间的差别很大。企业资源计划系统录入规范相对严格,数据质量较好;制造执行系统中部分工单填写不完整,报工时点相对实际作业有滞后;设备运行数据存在测点缺失与噪声;质量管理系统新上线不久,缺陷描述为自由文本,未与工艺参数关联。
这些状况对四类数据集的影响是直接的,不是间接的。举三个例子。
工单报工时点滞后,意味着以报工时间推算的工序实际耗时不可靠,制造过程类数据集中与节拍、工时相关的样本会带入系统性偏差。缺陷描述未与工艺参数关联,意味着质量类数据集缺少可用的标签来源,焊接与热处理的参数—结果配对样本无法直接构造。测点缺失与噪声,意味着设备健康诊断类样本的输入通道本身需要先做可信度判别,否则学到的是传感器故障而不是设备故障。
所以数据质量规划在本项目中不是一个合规性动作。它要回答的问题是:哪些数据现在就能用、哪些要先修、哪些修不好只能标注为低置信并在数据集加工时降权或排除。这个判断要有规则、有分数、有台账,而不是靠加工人员临场感觉。
### 3.2 质量治理的总体闭环
数据质量管理按需求、规则、检查、分析、提升五个环节构成闭环,每个环节有明确的输入输出与责任角色。闭环的驱动来源有两处:常态化的周期稽核,以及数据集加工与场景验证反馈回来的错样归因。第二处驱动是本项目特有的,它把数据集的使用效果变成业务数据质量规则的修订依据。
图 4B-5 数据质量治理五环闭环与两处外部驱动。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(1)至(4)项。
### 3.3 数据质量需求梳理
#### 3.3.1 两个方向同时推进
招标文件要求梳理各业务域核心数据的质量诉求(b1289)。本项目从两个方向同时推进,单用一个方向都会漏。
自上而下是场景倒推。十一个智能化应用场景与四类数据集对数据各有要求,把这些要求逐条翻译成对具体字段的质量诉求。例如板材备料工艺智能设计场景要求按工艺特征检索可借用的历史工艺,这就要求图号、零件标识、材质、规格参数、工序代码五类字段的完整性与准确性达到可检索的程度;缺失这些字段的历史工艺记录检索不到,等于不存在。
自下而上是现状扫描。对已盘点的数据对象逐字段统计空值率、取值分布、格式符合度、跨系统一致率,把实测结果差的字段列为候选质量问题,再由业务部门判断该字段是否重要。有些字段空值率高但业务上确实不填,不构成问题;有些字段空值率只有百分之几,但它是关联键,缺一条就断一链,优先级反而最高。
两个方向汇合后形成数据质量需求清单。清单的优先级按三条判据排序:是否为跨系统关联键、是否为四类数据集加工的必需输入、问题的业务后果大小。
#### 3.3.2 质量需求清单的结构
表 4B-12 数据质量需求清单字段结构
| 字段 | 说明 |
|---|---|
| 需求标识 | 全局唯一编号 |
| 业务域 | 九个业务域之一 |
| 数据对象 | 系统、表或业务实体 |
| 数据元标识 | 对应的数据元,引用数据元标准 |
| 质量维度 | 完整性/准确性/一致性/唯一性/及时性/有效性 |
| 质量诉求 | 一句话写明「该字段须达到什么状态」 |
| 诉求来源 | 场景倒推/现状扫描/数据集错样归因/业务提报 |
| 现状实测 | 首次扫描的实测值与扫描日期 |
| 目标值与达成期 | 分期目标,按季度设定 |
| 业务后果 | 不达标时的具体影响 |
| 优先级 | 高/中/低,按三条判据判定 |
| 关联规则 | 由该诉求派生的校验规则标识 |
| 责任部门 | 数据录入或接口提供的责任方 |
清单中「现状实测」与「目标值」两列是后续质量评分的基线来源。没有基线的目标值不可验收,这是本项目在质量规划上的一条硬要求:任何质量目标都须先有实测基线,首轮扫描完成前不对外承诺具体数值。
### 3.4 六大维度与数据质量校验规则库
#### 3.4.1 六个维度在本项目中的具体含义
招标文件明确遵循完整性、准确性、一致性、唯一性、及时性、有效性六大维度(b1290)。六个维度是通用的,但判定方法必须落到本项目的具体对象上才可执行。表 4B-13 给出各维度的判定方法与本项目实例。
表 4B-13 六大质量维度的判定方法与本项目实例
| 维度 | 判定方法 | 本项目实例 |
|---|---|---|
| 完整性 | 必填字段非空率;记录级与关联级的齐备性 | 工单的工序代码、设备编码、报工时间三项必须齐备;热处理炉次必须有装炉工件清单;焊接参数流必须能对应到焊道标识 |
| 准确性 | 与权威源比对;与物理约束比对;与业务规则比对 | 展开长与按中性层公式计算值的偏差;实测温度不超过炉膛额定上限;物料价格与采购订单价一致 |
| 一致性 | 跨系统同一事实的取值比对;同一记录内字段间逻辑自洽 | 物料库存在企业资源计划、仓储管理、实物盘点三方的数量一致;工单完工时间不早于开工时间 |
| 唯一性 | 业务唯一键去重;近似重复识别 | 施工号唯一;同一图号同一版本的工艺卡片不应有两条有效记录;物料编码不得一物多码 |
| 及时性 | 数据产生到可用的时延;更新频率符合约定 | 报工数据在班次结束后约定时限内到达;设备时序数据按秒级采样不缺段;检验记录在交检后约定时限内录入 |
| 有效性 | 格式符合、值域符合、引用完整 | 材质牌号在钢材牌号码表内;缺陷类型在缺陷类型码表内;供应商编码在供应商主数据中存在 |
「准确性」一列中「与物理约束比对」这一条对本项目的设备与工艺数据特别有效。温度不能低于环境温度、链条安全系数不能为负、装炉量不能超过炉膛额定装载量、焊接电流在设备输出能力范围内——这类规则不依赖外部权威源,只依赖物理与设备约束,编写成本低而捕获的错误往往是录入或采集通道的硬故障。
#### 3.4.2 规则的类型与模板
规则库按十类规则模板组织。模板化的作用是让规则编写不依赖编程能力:数据质量管理员选模板、填参数即可生成规则,复杂逻辑才写表达式。
表 4B-14 校验规则十类模板
| 模板类型 | 参数 | 对应维度 | 典型用途 |
|---|---|---|---|
| 空值检查 | 对象、字段、允许空值条件 | 完整性 | 必填字段非空 |
| 值域检查 | 对象、字段、码表标识或数值上下限 | 有效性 | 材质牌号、缺陷类型在码表内 |
| 格式检查 | 对象、字段、正则或日期格式 | 有效性 | 图号格式、日期格式 |
| 唯一性检查 | 对象、唯一键字段组合 | 唯一性 | 施工号、物料编码 |
| 引用完整性检查 | 对象、外键字段、被引对象与键 | 有效性 | 工单引用的设备编码在设备主数据中存在 |
| 跨系统比对 | 两侧对象、关联键、比对字段、容差 | 一致性 | 三方库存数量比对,容差按计量精度设定 |
| 逻辑自洽检查 | 对象、字段间约束表达式 | 一致性 | 完工时间不早于开工时间 |
| 物理约束检查 | 对象、字段、约束表达式与参照参数 | 准确性 | 装炉量不超过炉膛额定装载量 |
| 时效检查 | 对象、时间字段、约定时限 | 及时性 | 报工在班次结束后约定时限内到达 |
| 分布与连续性检查 | 对象、字段、基线分布或采样周期 | 准确性、及时性 | 时序数据缺段识别、取值分布突变识别 |
最后一类规则对设备时序数据不可缺。测点断链、漂移与失效在固定阈值下不会报警,但在分布与连续性检查下可以识别:采样间隔突然变长说明断链,取值长期恒定不变说明可能卡死,均值缓慢单向偏移说明可能漂移。识别结果不直接判为设备故障,而是标记为测点可信度下降,供设备健康诊断类样本的构造使用。
#### 3.4.3 规则的元数据与严重级
表 4B-15 校验规则元数据结构
| 字段 | 说明 |
|---|---|
| 规则标识 | 全局唯一编号 |
| 规则名称 | 一句话说明检查什么 |
| 规则模板 | 十类模板之一;自定义规则标为表达式型 |
| 质量维度 | 六维度之一 |
| 检查对象 | 系统、表、字段或接口 |
| 关联数据元 | 引用数据元标准 |
| 规则参数或表达式 | 模板参数值或 SQL/表达式 |
| 阈值 | 通过门限,例如非空率不低于某值 |
| 严重级 | 阻断/告警/提示 |
| 触发方式 | 入口校验/周期稽核/按需稽核 |
| 执行频率 | 实时/T+1/周/月 |
| 责任部门 | 问题分派的默认责任方 |
| 来源 | 标准派生/需求清单/错样归因/业务提报 |
| 启用状态 | 启用/停用/观察期 |
| 版本 | 规则版本与变更记录 |
严重级的三档区分很重要,它决定了规则对业务的影响程度。阻断级规则不通过则数据不进入加工链路,适用于关联键缺失、唯一性冲突一类会导致下游错误的问题。告警级规则不通过则数据带标记进入,适用于非关键字段缺失、取值分布异常一类问题。提示级规则仅记录,用于观察期的新规则。
新规则一律先进观察期。观察期内规则按提示级运行两到四周,统计其触发量与误报率,误报率高的规则回炉修改。这个安排的理由是:规则直接上阻断级会造成大量任务失败,运维成本高且会削弱业务部门对治理工作的配合意愿。
#### 3.4.4 规则库的规模与分布
表 4B-16 校验规则库首批规模估算
| 业务域 | 完整性 | 准确性 | 一致性 | 唯一性 | 及时性 | 有效性 | 小计 |
|---|---|---|---|---|---|---|---|
| 研发设计 | 42 | 26 | 18 | 10 | 6 | 38 | 140 |
| 生产制造 | 76 | 52 | 40 | 16 | 22 | 64 | 270 |
| 质量管理 | 50 | 34 | 26 | 12 | 14 | 46 | 182 |
| 仓储物流 | 30 | 18 | 24 | 10 | 10 | 26 | 118 |
| 采购管理 | 26 | 16 | 14 | 8 | 6 | 22 | 92 |
| 设备管理 | 36 | 30 | 16 | 8 | 20 | 30 | 140 |
| 营销管理 | 22 | 12 | 10 | 6 | 4 | 18 | 72 |
| 财务管理 | 24 | 18 | 16 | 6 | 6 | 20 | 90 |
| 人力资源 | 16 | 8 | 8 | 4 | 2 | 14 | 52 |
| 合计 | 322 | 214 | 172 | 80 | 90 | 278 | 1156 |
规则数量与数据元数量大体成一比一的量级关系:约 1370 条数据元派生出约 1156 条规则,再加上跨系统比对与物理约束一类不由单字段派生的规则。生产制造域规则最多,因为该域字段最多、时序数据与跨系统关联最密集。
### 3.5 数据质量检查
#### 3.5.1 稽核的三种触发方式
招标文件要求基于规则库开展数据质量稽核、调度执行多源数据校验、快速定位质量异常数据(b1291)(b1292)。本项目的稽核按三种方式触发。
入口校验在数据汇聚与加工任务读入数据时同步执行,针对的是单条记录可判定的规则——空值、格式、值域、引用完整性。入口校验的优点是问题在进入加工链路前就被拦住,缺点是只能做记录级判断,跨系统比对与分布检查做不了。
周期稽核按调度计划批量执行,针对的是需要全量或大范围数据才能判定的规则——唯一性、跨系统比对、分布与连续性、及时性。周期稽核的频率按数据更新节奏设定:工单与报工类 T+1,库存三方比对每周,主数据一致性每月,设备时序连续性按日。
按需稽核由数据质量管理员或数据集加工人员手工发起,针对特定对象做专项检查。典型场合是数据集加工前对本批次取数范围做一次定向稽核,以及质量问题整改后的复核。
图 4B-6 质量稽核的三种触发方式与异常定位链路。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(2)项数据质量检查要求。
#### 3.5.2 多源数据校验的实现
多源校验是本项目质量检查中技术含量最高、业务价值也最直接的部分。它要解决的是跨系统追一件事需要人工对账的现状。
多源校验的前提是关联键贯通。没有稳定的关联键,两个系统的数据无法自动比对。本项目的关联键按业务对象确定:施工号关联项目与工单,图号与版本关联设计与工艺,物料编码与批次关联库存与采购,工单号与工序代码关联制造与质检,设备编码与测点标识关联设备与时序数据,炉次号关联热处理与检验结果。关联键的贯通工作与主数据标准建设同步进行。
首批多源校验的对口关系见表 4B-17。每一组对比都对应一个甲方现在要靠人工对账的场合。
表 4B-17 首批多源数据校验对口关系
| 校验项 | 参与数据源 | 关联键 | 比对内容 | 容差口径 | 执行频率 |
|---|---|---|---|---|---|
| 库存三方比对 | 企业资源计划、仓储管理、实物盘点 | 物料编码+库位+批次 | 库存数量 | 按计量精度,整件物料零容差 | 每周 |
| 图纸与工艺卡配对 | 产品全生命周期管理、制造执行 | 图号+版本 | 是否存在有效工艺卡片 | 零容差,缺失即记问题 | 每月 |
| 工单与报工闭合 | 制造执行、工时定额 | 工单号+工序代码 | 工序是否全部报工、工时与定额偏差 | 偏差率超约定上限记问题 | T+1 |
| 检验结论与工艺标注 | 质量管理、产品全生命周期管理 | 图号+重要尺寸标识 | 工艺标注的重要尺寸是否均有检验记录 | 零容差 | 每周 |
| 炉次与检验结果配对 | 热处理群控、质量管理 | 炉次号+工件标识 | 炉次是否有对应检验结论 | 零容差 | T+1 |
| 焊接参数与焊道配对 | 物联网与设备数据平台、制造执行 | 工件标识+焊道标识 | 参数流是否能对应到焊道 | 按时间窗对齐,未匹配记问题 | T+1 |
| 材料批次来源追溯 | 采购管理、仓储管理、热处理群控 | 批次号 | 批次是否可追到供应商与到货单 | 零容差 | 每周 |
| 设备测点连续性 | 物联网与设备数据平台、装备远程运维平台 | 设备编码+测点标识 | 采样缺段、恒值、单向漂移 | 按测点类型分别设定 | 每日 |
| 价格一致性 | 企业资源计划、财务 | 物料编码+期间 | 物料价格 | 零容差 | 每月 |
| 服务工单与报警配对 | 售后服务与备件管理、装备远程运维平台 | 设备编码+时间窗 | 维修事实是否回填到报警事件 | 按时间窗匹配 | 每周 |
表中「焊接参数与焊道配对」与「服务工单与报警配对」两项,当前甲方尚不具备可配对的数据条件——焊接参数流与工件、焊道无对应,故障记录与数据段无配对。这两项校验在首期的作用不是发现偶发错误,而是度量配对覆盖率本身,作为相关数据集可构造样本量的前置判断依据。
#### 3.5.3 异常的快速定位
招标文件要求快速定位质量异常数据(b1292)。定位分两个方向。
向下定位到记录。异常明细台账记录规则标识、检查对象、问题记录的业务主键、实测值与期望值。业务人员按主键可直接在源系统中找到该条记录,不需要由技术人员再查一遍。这一点决定了整改能否由业务部门自行完成。
向上定位到源头。沿元数据血缘回溯,判断问题是源系统录入产生的、接口传输产生的,还是加工逻辑产生的。回溯依据是加工链路上每个节点的输入输出校验结果:若某节点输入已有问题,责任在上游;若输入正常而输出有问题,责任在该节点的加工逻辑。元数据血缘的建设在「数据治理一」一节的元数据管理办法中规定,本节使用其成果。
### 3.6 数据质量分析
#### 3.6.1 质量评估方案
招标文件要求制定数据质量评估方案,明确质量指标、质量评分与评估分析方法(b1293)。本项目的评估方案按三层设计:规则级通过率、对象级质量分、域级质量分。
规则级通过率是最底层的实测值,等于通过检查的记录数占被检查记录数的比例。对数据集合级规则(如跨系统比对),通过率按比对项计。
对象级质量分按六个维度加权汇总。某数据对象在某维度上的得分,等于该对象该维度下所有规则通过率按规则严重级加权的平均值;对象总分等于六个维度得分按维度权重加权之和。维度权重按业务域设定而非全局统一,理由是不同域的质量短板不同:设备管理域的及时性与准确性权重应高于唯一性,财务管理域的一致性与准确性权重应高于及时性。
表 4B-18 质量维度权重设置(示例,实际权重经甲方数据治理管理层核定)
| 业务域 | 完整性 | 准确性 | 一致性 | 唯一性 | 及时性 | 有效性 |
|---|---|---|---|---|---|---|
| 研发设计 | 0.25 | 0.20 | 0.15 | 0.15 | 0.05 | 0.20 |
| 生产制造 | 0.22 | 0.20 | 0.18 | 0.08 | 0.17 | 0.15 |
| 质量管理 | 0.22 | 0.25 | 0.18 | 0.08 | 0.12 | 0.15 |
| 仓储物流 | 0.20 | 0.15 | 0.28 | 0.12 | 0.10 | 0.15 |
| 采购管理 | 0.20 | 0.20 | 0.20 | 0.12 | 0.08 | 0.20 |
| 设备管理 | 0.18 | 0.25 | 0.12 | 0.05 | 0.25 | 0.15 |
| 营销管理 | 0.25 | 0.18 | 0.17 | 0.12 | 0.08 | 0.20 |
| 财务管理 | 0.20 | 0.25 | 0.25 | 0.10 | 0.05 | 0.15 |
| 人力资源 | 0.28 | 0.17 | 0.15 | 0.15 | 0.05 | 0.20 |
域级质量分按该域各数据对象的分数加权,权重取对象的业务重要度。全公司质量分按九个域加权,权重按域对数据集建设的贡献度设定。
评分结果按五档评级:优(90 分及以上)、良(80 至 90)、中(70 至 80)、需改进(60 至 70)、差(60 以下)。评级的用途不是打分排名,而是决定管控动作:需改进与差两档的数据对象,其涉及的数据集加工任务须附置信标记,且该对象进入下一季度的整改重点清单。
#### 3.6.2 评估分析方法
评分只说明「有多差」,分析要回答「为什么差」和「先修哪个」。本项目用四种分析方法。
构成分析把质量问题按维度、按业务域、按源系统、按责任部门分解,找出问题集中的位置。实践中问题往往高度集中:少数几个字段贡献大部分问题量。
趋势分析按月对比质量分与问题量,区分三种情形:治理起效后的持续下降、整改后的反弹、因新增数据对象纳管带来的分数下降。第三种情形容易被误判为治理退步,须在月报中单独说明纳管范围变化。
根因分析对问题量靠前的规则做逐条归因,归因分类见表 4B-19。归因结论决定治理动作,这是质量分析与质量提升之间的接口。
表 4B-19 质量问题根因分类与对应治理动作
| 根因分类 | 典型表现 | 治理动作 |
|---|---|---|
| 录入不规范 | 必填字段留空、自由文本代替码值 | 界面必填校验、下拉替代文本、填写指引与培训 |
| 流程缺环 | 业务动作发生但系统中无记录 | 补流程节点、把线下动作纳入系统 |
| 接口缺陷 | 传输截断、编码转换错误、增量漏取 | 接口改造、增量水位线校正、补数机制 |
| 标准缺失 | 同一事实多口径并存 | 补数据元或指标标准、建立映射 |
| 规则不当 | 规则本身误判,误报率高 | 规则回炉修改或降级 |
| 源头不可得 | 数据在业务上确实未产生或未采集 | 评估采集可行性;不可得的纳入已知缺口清单 |
| 历史遗留 | 历史数据不符合现行标准 | 分批清洗或仅做映射标记,不强求回改 |
最后两类不能靠整改解决,必须作为已知缺口登记在册。把不可得的数据算进整改任务,会让整改率这个指标永远不达标,并在后续评审中掩盖真正能解决的问题。
#### 3.6.3 常态化质量监控评估工作机制
招标文件要求建立常态化质量监控评估工作机制(b1294)。本项目的机制按日、月、季三个节奏运行。
日节奏是监控。稽核任务按调度执行,异常量与质量分在质量看板上实时更新,阻断级问题即时推送至责任部门。看板的最小粒度到数据对象与规则。
月节奏是分析与通报。出《数据质量分析报告》,内容包括质量分与问题量的构成、趋势、根因归因、整改进展、已知缺口变化。报告在数据治理月度例会上通报,会上确定下月重点整改清单。
季节奏是评估与调整。做一次完整的质量评估,输出域级与全公司质量分,复核维度权重与规则严重级设置是否仍然合理,复核质量需求清单的目标值与达成期。季度评估结论进入数据战略评估机制,相关安排在「数据治理一」一节论述。
质量目标的设定方式是:首轮全量扫描完成后确定基线,此后按季度设定提升目标,目标值以「相对基线的问题量下降幅度」表述而非绝对达标率。这样做的理由是不同对象的起点差别很大,统一的绝对达标率对起点差的对象不可达、对起点好的对象无约束力。全公司质量分的长期目标是逐步接近良级并保持,达不到期段目标时的处置是在月度例会列明缺口、调整整改资源投入,而非调低规则门限。
### 3.7 数据质量提升
#### 3.7.1 五环闭环处置流程
招标文件要求设计数据质量问题闭环处置流程,明确上报、分派、整改、复核、归档的管理要求(b1295)(b1296)(b1297)。
图 4B-7 质量问题五环闭环处置流程与两条分流路径。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(4)项数据质量提升要求。
#### 3.7.2 各环节的管理要求与时限
表 4B-20 质量问题处置各环节管理要求
| 环节 | 责任角色 | 必填内容 | 时限要求 |
|---|---|---|---|
| 上报 | 稽核任务自动生成;业务人员手工提报 | 规则标识、检查对象、问题记录主键、实测值、期望值、严重级 | 自动生成即时;手工提报随时 |
| 分派 | 数据质量管理员 | 责任部门、责任人、要求完成时间 | 阻断级 1 个工作日内;告警级 3 个工作日内 |
| 整改 | 责任部门 | 根因分类、整改措施、涉及记录数、是否需要系统改造 | 阻断级 5 个工作日内;告警级按月度清单排期 |
| 复核 | 数据质量管理员 | 复跑规则结果、是否通过、未通过原因 | 整改完成后 2 个工作日内 |
| 归档 | 数据质量管理员 | 关闭原因、台账编号、是否派生规则修订 | 复核通过后即时 |
时限要求的设定考虑了业务部门的实际承受能力。阻断级问题的整改时限定为 5 个工作日,是因为这类问题多为关联键缺失或唯一性冲突,通常由业务部门补录或更正即可完成,不需要系统改造。需要系统改造的问题单独标记,整改时限按改造排期另定,不占用常规时限统计。
#### 3.7.3 质量问题整改台账
整改台账是招标文件要求的输出之一(b1298)(b1299),也是质量治理成效的主要证据。台账按问题单逐条记录,字段包括问题单号、发现日期、规则标识、业务域、数据对象、严重级、根因分类、责任部门、整改措施、涉及记录数、整改完成日期、复核结论、关闭日期、派生的规则或标准修订。
台账的统计口径须说清三件事,否则数字容易被误读。第一,问题单数与问题记录数是两个量,一个问题单可能涉及上万条记录。第二,关闭率的分母应剔除转入已知缺口清单的问题单。第三,重复出现的问题单须标记为复发,复发率比关闭率更能说明整改是否触及根因。
#### 3.7.4 与数据集质检的接口
数据集质检与场景验证产生的错样,是业务数据质量问题的一个重要发现渠道。错样归因的结论若指向源数据问题,则按本节流程生成质量问题单,责任部门为源系统业务归口部门;若指向加工逻辑问题,则在数据集加工环节处置,不进本台账。
两边的界线以「问题是否存在于源数据中」划定。一条样本的标签错了,若源系统的检验结论本身就是错的,这是业务数据质量问题;若源系统结论正确而加工环节映射错了,这是加工质量问题。数据集质检的指标体系、质检方法与错样归因机制,在「数据加工生产二」与「数据集质量评测方案」两节论述。
### 3.8 数据质量规划的交付物与验收口径
表 4B-21 数据质量规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据质量管理办法 | 组织与职责、六维度模型、规则管理、稽核管理、评分与评级、问题闭环、考核与通报 | 经甲方数据治理管理层评审通过并发布 |
| 数据质量需求清单 | 九业务域核心数据的质量诉求、现状实测、分期目标 | 每条诉求有实测基线与责任部门,无基线的不设目标值 |
| 数据质量校验规则库 | 十类模板、首批约 1156 条规则及元数据 | 规则可执行、误报率在观察期后收敛至约定水平以下 |
| 质量分析报告 | 按月出具,含构成、趋势、根因、整改进展、已知缺口 | 月度例会通报并形成下月整改清单 |
| 质量问题整改台账 | 问题单全生命周期记录与统计 | 关闭率与复发率分别统计,已知缺口单列 |
## 四、数据安全规划
本章回应招标文件 3.2.6.1.1.2.7 数据安全规划要求的全部四项内容与输出要求(b1300)。
本章与技术方案「安全方案」一节的分工在本节第一章已作说明:本章交付管理侧的规划成果——分类分级标准、合规管理制度、安全管理办法、权限管理规范,并提出防护与审计的管控要求;国密算法应用、等保 2.0 测评、信创适配、脱敏与去标识的技术实现、密码产品配置与第三方测评安排,在「安全方案」一节论述。两章的分级口径为同一套,本章定义的 L1 至 L5 分级标签是「安全方案」中技术管控策略的输入。
### 4.1 数据合规管理与分类分级
#### 4.1.1 合规依据
数据合规管理的依据分三层。第一层是法律法规,包括数据安全法、个人信息保护法以及工业和信息化领域数据安全管理的相关规定。第二层是国家标准,包括个人信息安全规范、数据分类分级的通用要求、网络安全等级保护的基本要求。第三层是甲方现行的保密与信息安全制度。
本项目的做法是把第三层作为起点而非终点:先梳理甲方现行制度与前两层要求的差距,形成差距清单,再在差距清单基础上编制《数据合规管理制度》,而不是另起一套与现行制度并行的体系。制度并行会导致执行时无人知道该依哪一套。
#### 4.1.2 五级分级标准
招标文件明确按 L1-公开、L2-内部、L3-重要、L4-敏感、L5-机密五个层级制定数据安全分级标准(b1301)(b1302)(b1303)。表 4B-22 给出各级的判定依据与本项目的具体实例。实例是分级标准能否执行的关键:只给级别定义不给实例,分级工作一定做不下去。
表 4B-22 数据安全五级分级标准与本项目实例
| 级别 | 判定依据 | 本项目实例 | 泄露或滥用的后果 |
|---|---|---|---|
| L1-公开 | 已对外发布或可对外发布,泄露不产生影响 | 产品样本参数、企业标准中已公开部分、对外宣传资料 | 无实质影响 |
| L2-内部 | 仅限内部使用,泄露影响有限 | 工序代码表、设备台账、班组排班、一般检验记录、通用耗材库存 | 内部管理秩序受影响 |
| L3-重要 | 关系生产经营与行业运行,泄露影响较大 | 产品图纸与物料清单、工艺卡片与工艺参数、设备过程参数、产能与工时定额、质量缺陷统计 | 技术与经营优势受损,可能影响行业数据安全 |
| L4-敏感 | 含个人信息、客户敏感信息或敏感地理信息 | 人员身份与薪酬信息、矿方客户联系人信息、矿井位置与工作面地质条件参数 | 侵害个人权益或客户利益,可能触及地理信息安全 |
| L5-机密 | 核心技术秘密与重大商业秘密,泄露后果严重 | 选型校核公式与修订参数、关键工艺的核心参数窗口、重大项目报价与成本构成、合同关键条款 | 核心竞争力受损,可能造成重大经济损失 |
矿井位置与工作面地质条件参数定为 L4,理由是这类信息属于敏感地理信息范畴,且涉及矿方客户的生产安全信息。这一点对本项目有实际约束:选型类数据集的样本携带工作面工况参数,加工与流通时须按 L4 要求做去标识处理,具体技术手段在「安全方案」一节论述。
选型校核公式与关键工艺核心参数窗口定为 L5。这两类是甲方的核心技术秘密,也是数据集中价值最高的部分。L5 数据进入数据集加工链路须单独审批,加工环境与人员范围单独限定,加工产物的流通范围在数据卡中明确声明。
#### 4.1.3 分类与分级的作业流程
分类按「业务域+数据主题」二维组织。九个业务域为第一维,每个域下按数据主题细分,例如生产制造域下分工单与报工、工艺执行、热处理炉次、焊接过程、设备运行五个主题。分类的粒度到数据主题,分级的粒度到数据元。
分级作业按识别、定级、审批、标记、复核五步执行。
图 4B-8 数据分类分级作业流程与两类定级输入。数据来源:招标文件第五章 3.2.6.1.1.2.7 第(1)项数据合规管理要求。
「聚合后敏感度升级」这条裁决规则在本项目中会反复用到。单条工艺卡片是 L3,但某一产品全部工序的工艺卡片聚合在一起,其技术秘密含量接近 L5;单个测点的温度读数是 L2,但某炉型全部炉次的完整温度曲线集合反映的是关键工艺参数窗口。因此数据集的级别不等于其成分数据元级别的最大值,须按聚合后的实际敏感度单独定级,定级结论记录在数据集的数据卡中。数据卡的结构在「四大数据集规模与数据卡」一节与附录佐证卷论述。
#### 4.1.4 重要数据与敏感数据的识别
重要数据的识别按「泄露后是否可能影响行业运行与生产安全」判定。本项目识别的重要数据候选范围包括:矿用刮板输送机的关键结构参数与选型校核方法、关键工艺参数窗口、重大项目的产能与交付能力数据、矿方工作面地质条件参数。候选范围提交甲方确认并按相关管理要求履行必要的报备程序,报备的具体口径以甲方主管部门意见为准。
敏感数据的识别覆盖四类:个人信息、敏感地理信息、重要行业数据、企业秘密数据,这与招标文件在安全合规要求中提出的去标识化与脱敏处理范围一致。识别手段分规则与人工两步:先按字段名敏感词表与取值格式特征(证件号、手机号、坐标、银行账号)做机器预判,再由业务部门确认。预判的召回率目标是尽可能高,宁可多报由人工剔除,也不漏报;漏报的后果比误报严重得多。
### 4.2 数据安全防护要求
招标文件要求构建多维度安全控制能力,涵盖权限管控、敏感数据脱敏、数据水印、访问审批等防护手段(b1304)(b1305)。本节提出各手段的管理要求与分级对应关系,技术实现见「安全方案」一节。
#### 4.2.1 权限管控
权限模型按角色与属性结合设计。角色定义岗位的基本权限集合,属性在角色之上做动态约束。属性包括数据级别、业务域、项目范围、时间范围、访问环境。这样设计的原因是单纯的角色模型在本项目中粒度不够:同一个工艺工程师角色,对本人负责产品的工艺卡片应可读写,对其他产品线的工艺卡片只应可读或不可见,纯角色模型要为此建大量角色。
权限授予遵循最小必要原则,具体落实为三条规则。权限申请须声明用途与期限,无期限的长期权限仅限岗位固有权限。L4 与 L5 数据的权限逐事项审批,不随角色自动获得。权限按季度复核,复核时核对实际使用情况,连续一个季度未使用的非固有权限自动进入待回收清单。
#### 4.2.2 分级与管控措施的对应矩阵
表 4B-23 把五个级别与各类管控措施对应起来。这张矩阵是《数据权限管理规范》的核心内容,也是技术侧下发策略的依据。
表 4B-23 数据级别与管控措施对应矩阵
| 管控措施 | L1-公开 | L2-内部 | L3-重要 | L4-敏感 | L5-机密 |
|---|---|---|---|---|---|
| 访问授权方式 | 无需授权 | 角色授予 | 角色授予+业务域限定 | 逐事项审批 | 逐事项审批+归口部门负责人复批 |
| 查询展示 | 明文 | 明文 | 明文 | 关键字段脱敏展示 | 脱敏展示,原文需二次授权 |
| 批量导出 | 允许 | 按量阈值告警 | 审批后允许,记录导出清单 | 审批后允许,导出件带水印 | 原则上不导出,特殊情形逐事项审批 |
| 接口调用 | 开放 | 鉴权后开放 | 鉴权+调用方登记 | 鉴权+调用方登记+频次限制 | 专线或专用通道,单独登记 |
| 加工环境 | 无限制 | 内网 | 内网 | 内网受控区 | 内网受控区,环境与人员单独限定 |
| 脱敏要求 | 无 | 无 | 按用途判定 | 必须去标识或脱敏 | 必须去标识或脱敏 |
| 水印要求 | 无 | 无 | 导出件加可见水印 | 导出件加可见与隐式水印 | 导出件加可见与隐式水印 |
| 审计留痕 | 基本日志 | 基本日志 | 全操作日志 | 全操作日志+定期审计分析 | 全操作日志+专项审计 |
| 留存期限 | 按业务需要 | 按业务需要 | 不少于约定期限 | 按法规与合同约定 | 按法规与合同约定,到期评估 |
#### 4.2.3 脱敏与去标识
脱敏按用途分静态与动态两种。静态脱敏用于数据集加工与对外提供场合,在数据落地时即完成变换,产物不可逆;动态脱敏用于查询展示场合,在返回结果时按访问者权限实时变换,底层数据不变。
脱敏规则按数据类型选择方法:个人身份与联系方式用部分遮蔽或泛化;矿方名称与矿井位置用代号替换并保留可追溯的映射表,映射表单独存放并按 L4 管控;地质条件参数用区间化处理,保留分布特征而去除精确定位能力;价格与成本用比例缩放或区间化,保留可比性而去除绝对值。
脱敏的一个边界须写清:脱敏会损失信息,损失到什么程度仍满足数据集的使用需求,须由场景侧确认。例如地质条件参数区间化后若区间过宽,选型类样本的工况区分度会下降。本项目的处理办法是对每一类脱敏规则记录其信息损失特征,由数据集加工与场景验证侧评估可用性,评估结论记入数据卡。
#### 4.2.4 数据水印
水印有两个用途,对应两种形态。可见水印用于文档与报表导出件,标注使用者、时间与用途,作用是提示与心理约束。隐式水印用于数据集与批量导出的结构化数据,在不影响使用的前提下嵌入可追溯标记,作用是在发生外泄时判断来源批次。
隐式水印对数据集的流通尤其有意义:本项目的数据集将进入运营与流通环节,一份数据集被授权给多个使用方后,若出现未授权扩散,隐式水印是判断来源的依据。水印的嵌入方式、强度与抗攻击能力在「安全方案」一节论述;本节规定的是管理要求——L3 及以上级别的导出件须带水印,水印与导出审批记录关联,可由水印反查到审批单。
#### 4.2.5 访问审批
访问审批的管理要求集中在三点。审批要素须完整:申请人、用途、数据范围、字段范围、级别、期限、使用环境、是否允许导出、是否允许二次提供。审批层级按级别设定,与表 4B-23 的授权方式一致。审批记录与后续的访问日志关联,使「谁批准了这次访问」与「这次访问实际做了什么」可以对上。
第三点是本项目安排的一个检查机制:按季度抽取审批单,核对其授权范围与实际访问日志的一致性,对超出授权范围的访问追溯原因。抽查比例按级别设定,L4 与 L5 的审批单抽查比例高于 L3。
### 4.3 数据安全审计要求
招标文件要求完整记录数据查询、修改、删除、接口调用等全链路操作日志,操作留痕可追溯(b1306)(b1307)。
#### 4.3.1 日志要素与覆盖范围
表 4B-24 操作日志要素
| 要素 | 内容 | 说明 |
|---|---|---|
| 操作主体 | 账号标识、所属组织、所属角色、关联自然人标识 | 服务账号须登记实际责任人 |
| 操作时间 | 发起时间、完成时间 | 统一时间基准,与系统时钟同步 |
| 操作类型 | 查询、新增、修改、删除、导出、接口调用、授权变更 | 授权变更本身也须记录 |
| 操作对象 | 系统、对象、字段范围、记录范围或条件 | 批量操作记录影响范围与记录数 |
| 操作内容 | 修改类记录变更前后值;查询类记录查询条件 | 变更前后值按级别决定是否脱敏存储 |
| 访问环境 | 来源地址、终端标识、访问通道 | 用于异常行为判别 |
| 执行结果 | 成功、失败、被拒绝及原因 | 被拒绝的访问尝试同样记录 |
| 关联凭据 | 审批单号、任务标识、会话标识 | 使日志可与审批记录对应 |
覆盖范围包括治理平台与数据集运营平台自身的操作,以及经统一数据服务通道对源系统数据的访问。源系统内部的直接操作日志由源系统自身记录,本项目通过接口采集其可获取部分并在审计分析中合并;源系统日志能力不足的,在诊断报告中列为缺口并提出改造建议。这是一条责任边界:本项目不替源系统补建其内部审计能力。
#### 4.3.2 审计分析与追溯
日志只记不看等于没记。审计分析按三类模型运行:阈值类(单位时间内查询量、导出量、失败次数超出基线)、行为模式类(非常规时段访问、非常规来源访问、首次访问高级别数据、权限变更后立即大量访问)、关联类(审批范围与实际访问范围不符、同一数据被多账号集中访问)。命中的事件生成审计告警,按级别推送至安全管理岗与归口部门。
追溯能力的验收采用抽样核验:从日志中抽取一定数量的高级别数据访问记录,逐条核验能否还原「谁、何时、通过什么通道、对哪些记录、做了什么、依据哪张审批单」。抽样可追溯率的目标是逐步接近全部,首次核验结果作为基线;未能还原的记录逐条分析原因(日志字段缺失、关联凭据未写入、源系统日志不可得),形成日志完善清单。核验不达期段目标时的处置是补齐日志字段与关联凭据,并对相应级别的数据暂时收紧授权方式,这是本指标的回退安排。
#### 4.3.3 日志的保护与留存
日志自身须防篡改与防删除。管理要求是:日志写入后不可修改,删除须经安全管理岗与归口部门双人审批并留下删除记录;日志存储与业务数据存储分离;运维人员对日志存储的权限与对业务数据的权限分离。留存期限按级别与法规要求设定,不少于相关规定的最低期限,具体技术措施见「安全方案」一节。
### 4.4 数据安全规划的交付物与验收口径
表 4B-25 数据安全规划交付物与验收口径(b1308)(b1309)
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据合规管理制度 | 合规依据、与现行制度的衔接、合规责任、重要数据与敏感数据识别与报备、违规处理 | 经甲方评审通过并发布;与现行保密制度无冲突条款 |
| 数据安全管理办法 | 组织与职责、分类分级管理、防护要求、审计要求、事件响应、考核 | 经甲方评审通过并发布 |
| 数据安全分级标准 | L1–L5 判定依据、实例、分级作业流程、裁决规则、复评机制 | 纳管数据元的分级标签登记完整;L4/L5 定级有审批记录 |
| 数据权限管理规范 | 权限模型、申请与审批流程、分级管控矩阵、复核与回收机制 | 分级管控矩阵可直接转为技术策略;季度复核有记录 |
## 五、数据生存周期规划
本章回应招标文件 3.2.6.1.1.2.8 数据生存周期规划要求的全部五项内容与输出要求(b1310)。
数据生存周期管的是过程规范。前三章定下了「什么是对的」「怎么判断对不对」「谁能看什么」,本章要把这些要求嵌进从需求提出到数据退役的每一个动作里,使标准与质量要求不是事后检查,而是过程中的检查点。
图 4B-9 数据生存周期四阶段、阶段间交接物与嵌入的治理检查点。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(1)至(4)项。
### 5.1 数据需求管理
#### 5.1.1 需求的来源与分类
招标文件要求建立标准化数据需求管理流程,规范需求提交、评审、排期、反馈闭环,并完整留存流程记录(b1311)(b1312)。
本项目的数据需求有四类来源,处理方式不同。第一类是数据集建设需求,来自四类数据集的加工计划与十一个验证场景的数据要求,这类需求量最大且有明确的交付时点。第二类是指标与报表需求,来自决策指标体系与各部门管理需要。第三类是数据服务需求,来自应用系统对标准化数据接口的需要。第四类是数据质量整改需求,由质量问题闭环中需要系统改造的问题单转化而来。
四类需求统一进一个需求池,按统一流程处理,但排期时按来源区分优先级:带交付时点的数据集建设需求优先,阻断级质量整改需求优先,其余按业务价值与实现成本排序。
#### 5.1.2 需求单与评审要素
表 4B-26 数据需求单字段结构
| 字段组 | 字段 | 填写要求 |
|---|---|---|
| 基本信息 | 需求编号、提交部门、提交时间、需求类型、期望交付时间 | 期望时间须说明依据 |
| 业务背景 | 业务场景、使用方式、不满足时的业务后果 | 写清这个数据拿去做什么判断 |
| 数据范围 | 业务域、数据对象、字段清单、时间范围、数据量级 | 字段清单引用数据元标识 |
| 质量要求 | 完整性、准确性、及时性等维度的具体要求 | 及时性写明可接受的时延 |
| 安全要求 | 涉及的最高数据级别、使用人员范围、是否需要脱敏 | 引用分级标准 |
| 交付形态 | 接口、文件、视图、订阅、数据集 | 选定形态后引用对应服务标准 |
| 评审意见 | 必要性、合法性、可行性、安全合规、工作量评估 | 逐项给结论,不写「同意」了事 |
| 排期信息 | 排期结论、计划开始与完成时间、承接团队 | 未排期的须写明原因与再评估时点 |
| 反馈信息 | 交付时间、交付内容、提交方验收结论 | 验收不通过的转回开发并记录轮次 |
评审从四个角度给结论。必要性看是否已有同类数据或指标可满足,避免重复建设;本项目预期这一项会筛掉相当一部分需求,因为部门各自提报时并不知道其他部门已有相同数据。合法性看数据来源是否合法、使用用途是否在授权范围内,这与数据来源合法性核查的要求一致。可行性看源数据是否存在、质量是否够用、接口是否可开通。安全合规看级别、脱敏要求与人员范围是否匹配。
四角度中「可行性」最常给出否定结论,原因通常是源数据不存在或源系统接口未开通。这类需求不是简单驳回,而是转为两条动作:若需要扩大采集范围,转入采集扩展清单;若需要源系统开通接口,转入接口协调清单。两张清单按月与甲方对接推进,这也是本项目需求管理与采集接入工作的接口。
#### 5.1.3 流程记录的留存
流程记录是 DCMM 评审的证据之一,也是甲方后续自主运营的基础。留存要求是:需求单的每一次状态变更(提交、受理、评审、排期、开发中、交付、验收、关闭、驳回)产生一条记录,记录操作人、时间、意见与附件;驳回与未排期的需求同样留存,不删除;需求变更不覆盖原需求,以版本方式追加。
需求管理的运行指标按月统计:受理时效、评审时效、按期交付率、验收一次通过率、驳回原因构成。其中驳回原因构成最有诊断价值——若「已有同类数据」占比高,说明数据资源目录的宣传与检索不够好;若「源数据不存在」占比高,说明采集范围需要扩展。
### 5.2 数据设计与开发规范
招标文件要求制定数据设计开发统一规范,明确数据采集、数据加工、数据模型、接口开发等相关要求(b1313)(b1314)。
#### 5.2.1 数据采集规范
本项目的数据来源形态差别很大,采集规范按五类分别规定,见表 4B-27。
表 4B-27 五类数据的采集规范要点
| 数据形态 | 典型对象 | 采集方式 | 频率与增量口径 | 校验要求 |
|---|---|---|---|---|
| 结构化业务数据 | 物料、工单、报工、库存、检验记录、采购订单 | 只读接口或数据库只读视图 | 按更新时间戳增量,T+1 或按小时;水位线持久化 | 入口校验空值、格式、值域、外键 |
| 文档类数据 | 制度、技术标准、工艺规程、合同、标书 | 文档目录与正文只读导出 | 按版本变更触发 | 格式可解析性、版本有效性、密级标记 |
| 图纸类数据 | 产品图纸、零部件图 | 按图号或项目只读读取,解析在内网就地进行 | 按图号批次 | 图元完整性、图号与版本可识别 |
| 时序数据 | 炉台温度、中频电源参数、焊接参数、在役装备测点 | 按测点订阅或周期取数 | 按测点采样周期,秒级测点按窗口批量 | 缺段、恒值、漂移检查;时间基准对齐 |
| 图像数据 | 焊接部位图像、交检拍照 | 按工件或工单关联采集 | 按作业批次 | 分辨率、标定参数、与工件标识的关联完整性 |
时序数据的时间基准对齐是一条容易被忽略而后果很大的要求。热处理炉控、物联网平台、制造执行系统的时钟若不同步,炉次与温度曲线、焊道与参数流的对齐就会错位,错位的样本在数据集中是污染而不是噪声。本项目要求纳入采集的所有数据源使用统一时间基准,不具备条件的须记录其时钟偏差并在加工时校正。
采集范围的扩展按场景优先级分批推进。甲方现有的数据采集与监控覆盖部分车间与部分设备,首期以试点炉型、试点产线与试点车间所需设备为准,扩展清单以现场勘察结论为准。这一安排的责任边界是:采集点位的布设与设备侧改造涉及甲方生产现场,须由甲方确认停机窗口与施工条件。
#### 5.2.2 数据加工规范
加工规范的核心是四条可执行要求。
分层落地。加工任务按数据仓库分层写入,层间依赖单向,不跨层直连。分层架构的定义在「数据治理一」一节的数据模型分层架构中给出,本节规定的是执行要求:每个加工任务声明其读取层与写入层,违反单向依赖的任务不予上线。
幂等与可重跑。同一任务对同一输入批次重复执行,结果一致。实现要求是写入按业务主键与批次标识做覆盖而非追加,任务记录处理水位线并支持按指定水位线重跑。这条要求的实际价值在质量问题整改后的补数场合:没有幂等性,补数会产生重复记录,反而制造新的质量问题。
命名与注释。表名、字段名、任务名按统一命名规则,字段中文名引用数据元标准名称。加工逻辑中的业务判断须有注释说明依据,例如某字段取值被过滤的理由。
血缘登记。加工任务上线时登记输入输出对象与字段级映射关系,供质量问题溯源与标准变更影响评估使用。未登记血缘的任务不予上线。
#### 5.2.3 接口开发规范
接口规范覆盖六项:契约定义(请求与响应结构、字段引用数据元标准、错误码表)、版本管理(新增字段向后兼容,不兼容变更须新版本并公告过渡期)、鉴权(按调用方登记,L3 及以上数据的接口须登记调用方与用途)、限流与配额(按调用方与数据级别设定)、幂等(写类接口须支持幂等键)、可观测(调用量、时延、错误率、数据量上报监控)。
接口的 SLA 分级与数据服务标准合并规定,见本节第六章第四节。
#### 5.2.4 开发过程的评审检查点
表 4B-28 数据开发过程评审检查点
| 阶段 | 检查点 | 不通过的处置 |
|---|---|---|
| 设计评审 | 字段引用数据元标准;枚举引用码表;安全级别与脱敏要求标注;模型分层合规 | 退回修改;确有理由的记例外并说明过渡安排 |
| 开发自检 | 幂等与重跑验证;命名合规;注释完整 | 不进入测试 |
| 测试评审 | 质量规则绑定并试跑;血缘登记完整;接口契约与文档一致 | 不进入上线评审 |
| 上线评审 | 调度配置、告警配置、运维责任人确认、交维清单齐备 | 不予上线 |
| 上线后复核 | 首个周期的质量稽核结果、任务运行稳定性 | 回退上线或限制使用范围 |
最后一行的「回退上线」是本项目在数据开发上保留的回退机制。新上线的加工任务在首个运行周期内若出现质量规则大面积不通过或任务反复失败,先回退到上一稳定版本并限制下游使用,再定位问题,而不是在生产环境上反复修补。下游若已有数据集加工依赖该任务,则该批次数据集加工暂停并在数据卡中记录延期原因。
### 5.3 数据运维管理
招标文件要求制定数据运维管理制度,明确采集、加工、数据服务运维责任,针对任务失败、接口异常、数据延迟配置告警机制,建立运维故障闭环处置流程(b1315)(b1316)(b1317)。
#### 5.3.1 运维责任的划分
表 4B-29 数据运维责任矩阵
| 运维对象 | 日常监控 | 一线处置 | 二线处置 | 源头协调 | 业务确认 |
|---|---|---|---|---|---|
| 采集任务 | 数据运维岗 | 数据运维岗 | 项目组数据开发 | 源系统归口部门 | 需求提交部门 |
| 加工任务 | 数据运维岗 | 数据运维岗 | 项目组数据开发 | — | 数据归口部门 |
| 数据服务接口 | 数据运维岗 | 数据运维岗 | 项目组平台支持 | — | 调用方部门 |
| 治理平台本体 | 平台运维岗 | 平台运维岗 | 项目组平台支持 | — | — |
| 数据质量规则 | 数据质量管理员 | 数据质量管理员 | 项目组数据开发 | 源系统归口部门 | 业务归口部门 |
责任边界有一条须写明:源系统自身的故障、接口未按约定提供数据、源系统数据内容错误,其处置责任在源系统归口部门,项目组负责定位、通知与协调,并在数据服务侧按降级策略维持可用性。这条边界在实际运行中会经常用到,因为甲方的部分源系统由不同厂商维护。
#### 5.3.2 三类告警的规则设计
表 4B-30 三类告警的判定规则与响应
| 告警类型 | 判定规则 | 级别 | 通知对象 | 响应时限 |
|---|---|---|---|---|
| 任务失败 | 任务执行返回失败;重试仍失败 | 关键任务为一级,其余为二级 | 一级推送运维岗与数据开发;二级推送运维岗 | 一级 30 分钟内响应 |
| 任务超时 | 执行时长超过基线一定倍数 | 二级 | 运维岗 | 2 小时内响应 |
| 接口异常 | 错误率或时延超阈值;连续调用失败 | 按接口 SLA 级别定 | 运维岗与调用方 | 按 SLA 级别定 |
| 数据延迟 | 数据到达时间超过约定时限 | 影响数据集交付的为一级 | 运维岗、数据归口部门 | 一级 1 小时内响应 |
| 数据量异常 | 批次记录数偏离基线超过阈值 | 二级 | 运维岗与数据质量管理员 | 4 小时内响应 |
| 质量规则大面积不通过 | 单任务阻断级规则不通过比例超阈值 | 一级 | 运维岗、数据质量管理员、业务归口部门 | 1 小时内响应 |
「数据量异常」这一类告警在实践中捕获的问题往往比任务失败更隐蔽。任务成功执行但只取到平日十分之一的记录,多半是源系统接口变更或增量水位线错位,而任务状态是成功的,不设量级告警就发现不了。阈值按对象历史分布设定并按季度复核,新纳管对象在积累两个月基线后启用该告警。
#### 5.3.3 故障闭环处置流程
图 4B-10 数据运维故障闭环处置流程与三条定位分支。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(3)项数据运维要求。
故障关闭的条件有两条,缺一不可:故障现象消除,以及受影响的数据批次已补齐并通过质量规则复跑。只恢复任务运行而不补数,会留下一段数据空洞,这段空洞在日后被数据集加工取用时无法察觉。
### 5.4 数据退役管理
招标文件要求制定数据退役管理规范,明确数据归档、销毁、审批处置流程,对到期闲置数据资产开展评估,区分归档与销毁处置路径(b1318)(b1319)。
#### 5.4.1 退役的触发与资产评估
退役触发有四种情形:保留期限到期、业务下线导致数据不再产生且不再使用、系统替换后旧数据已迁移、数据资产评估判定为无保留价值。
到期闲置数据资产的评估按四个维度打分:使用热度(近一年的访问与引用次数)、业务价值(是否仍为某业务判断的依据)、合规义务(法规、合同、审计是否要求保留)、复建成本(销毁后若需要是否还能重新获得)。
四个维度中合规义务具有否决权:存在保留义务的数据不进入销毁路径,无论其使用热度多低。复建成本高的数据倾向归档而非销毁,这一条对本项目的历史数据尤为重要——历史图纸与配套工艺卡片构成天然成对的监督样本,这类数据即使当前使用热度低,复建成本实际上是不可复建,应归档保留。
图 4B-11 数据退役的评估判定与归档、销毁双路径。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(4)项数据退役要求。
#### 5.4.2 归档与销毁的管理要求
归档的要求是「可检索、可复活」。归档台账记录数据对象、归档范围与时间区间、存储位置与介质、数据格式与解析说明、检索方式、复活流程与责任人、下次评估时点。格式解析说明这一项常被忽略,而它决定了十年后归档数据还能不能读——私有格式的归档数据须同时归档格式说明或转为通用格式。
销毁的要求是「可证明、不可恢复」。销毁方式按数据级别选择,L3 及以上须采用不可恢复的方式并由安全管理岗监督,销毁后出具销毁证明,证明记录销毁对象、范围、方式、执行人、监督人、时间。销毁范围须包含备份与副本,仅销毁主库而遗留备份不算完成销毁,这一点在销毁申请中须逐项列出副本清单并逐项确认。
退役处置须同步更新三处记录:数据资源目录中该对象的状态、元数据与血缘中的下游引用关系、相关质量规则的启用状态。下游仍有引用的数据对象不得直接退役,须先完成下游改造或确认下游可接受数据缺失。
### 5.5 数据生存周期规划的交付物与验收口径
表 4B-31 数据生存周期规划交付物与验收口径(b1320)(b1321)
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据需求管理规范 | 需求来源与分类、需求单模板、评审四角度、排期规则、流程记录留存、运行指标 | 经甲方评审通过并发布;需求池运行并有完整流程记录 |
| 数据设计开发规范 | 五类采集规范、加工四条要求、接口六项规范、五个评审检查点 | 新上线任务按检查点评审,例外有记录 |
| 数据运维管理制度 | 责任矩阵、六类告警规则、故障闭环流程、复盘要求 | 告警配置覆盖已上线任务与接口;一级故障有复盘报告 |
| 数据退役管理规范 | 触发情形、四维度评估、归档与销毁要求、审批层级、同步更新要求 | 经甲方评审通过并发布;首批到期闲置资产完成一轮评估 |
## 六、数据应用流通规划
本章回应招标文件 3.2.6.1.1.2.9 数据应用流通规划要求的全部四项内容与输出要求(b1322)。
数据应用流通是治理工作的出口。前四个域把数据做对、做可信、管起来,本章决定这些数据以什么形态、按什么权限、向谁提供。本章与数据集运营平台的边界是:本章交付的是管理规范与服务标准,平台的功能模块、界面与操作流程在「数据集运营平台」一节论述。
### 6.1 数据应用
#### 6.1.1 应用需求的梳理方法
招标文件要求梳理数据应用需求,明确数据范围及要求,为数据应用提供治理后的可靠数据(b1323)(b1324)。
本项目的数据应用需求有两个明确的来源:四类高质量数据集的加工需求,以及十一个验证场景的数据需求。两者不是一回事——数据集加工需要的是大批量、可标注、可追溯的原始与中间数据;场景验证需要的是能支撑具体业务判断的、口径明确的查询与指标。梳理时分开处理,否则会把两类要求混成一张含混的清单。
梳理按三步做。先按场景逐条列出其业务判断所需的数据对象与字段,形成《高质量数据集验证场景数据需求清单》,这份清单是现状评估阶段的输出之一,在「数据治理一」一节论述,本章承接其结论。再按清单核对数据供给能力:该字段是否已纳管、质量是否达到清单要求、安全级别是否允许该场景使用。最后把差距项分流——质量不足的进质量需求清单,未纳管的进采集扩展或接口协调清单,级别不允许的提交安全审批或改用脱敏形态。
表 4B-32 以几个代表性场景示意数据范围与要求的对应关系。完整清单在现状评估完成后交付。
表 4B-32 场景数据需求与供给要求对应(示例)
| 验证场景 | 核心数据范围 | 质量要求重点 | 安全级别与形态 |
|---|---|---|---|
| 产品智能选型 | 历史选型方案、工作面工况参数、产品谱系与配置、投运效果标签 | 工况参数完整性;选型方案结构化程度;效果标签覆盖率 | 工况参数 L4,须去标识;选型校核参数 L5,加工环境单独限定 |
| 板材备料工艺智能设计 | 图纸与图元解析结果、工艺卡片、28 道工序与工艺路线、设备与工装资源、工时定额 | 图号与版本准确性;图纸—卡片配对覆盖率;工序代码一致性 | L3,内网加工 |
| 库存控制智能化 | 商机与销售预测、需求计划、库存账与实物库存、项目占用、物料价格 | 三方库存一致性;时点口径统一;价格一致性 | 价格与成本 L5;其余 L3 |
| 热处理过程智能监控 | 炉次工单、装炉清单、材料批次、设定程序、实际温度曲线、检验结论 | 炉次与检验配对率;时序缺段率;时间基准对齐 | 工艺参数窗口 L5;其余 L3 |
| 焊接过程控制智能监控 | 焊接参数流、焊道标识、工件标识、预热与层间温度、检验与无损检测结论 | 参数流与焊道配对率;测点可信度 | L3 |
| 刮板输送装备健康智能诊断 | 测点配置、时序数据、报警日志、维修工单与备件出库 | 测点连续性与可信度;维修事实回填率 | 矿方位置信息 L4 须去标识;其余 L3 |
| 决策数据智能问答 | 九业务域指标与决策指标体系 | 指标口径唯一;来源数据质量门限 | 按指标涉及的最高级别;L5 指标限定人员范围 |
#### 6.1.2 「可靠数据」的交付口径
把治理后的数据交给应用,要说清可靠到什么程度。本项目对每一个供应用使用的数据对象给出三项声明。
一是质量状态声明,给出该对象当期的质量分与评级、各维度实测值、已知缺口清单。二是口径声明,给出该对象字段对应的数据元标准与版本、涉及指标的指标卡与版本。三是时效声明,给出数据更新频率、延迟与最近一次更新时间。
三项声明随数据一并提供,在数据资源目录中可查,在接口响应的元信息中返回。这样安排的用意是把「数据可不可靠」变成使用方可以自行判断的事实,而不是由供给方给一个笼统的保证。质量未达门限的数据对象,其输出带置信标记,由使用方决定是否采用或降权使用;标记规则在指标卡的质量约束字段中声明。
### 6.2 外部数据管理
招标文件要求建立外部数据引入管理制度,规范外部数据采购、接入、核验、评估流程,明确外部数据存储、加工、共享的使用边界与约束(b1325)(b1326)。
#### 6.2.1 外部数据在本项目中的范围
本项目可能引入的外部数据有四类:国家与行业标准文本及其附带数据、市场行情与价格指数(供库存控制场景判断采购时机)、公开的地质与煤炭行业统计数据、供应商提供的材料质保书与检测数据。四类数据的来源合法性要求不同,管控强度也不同。
#### 6.2.2 四阶段引入流程
图 4B-12 外部数据引入四阶段流程与合法性核查要素。数据来源:招标文件第五章 3.2.6.1.1.2.9 第(2)项外部数据管理要求。
合法性核查是四阶段中不可简化的一环,理由与本项目的性质直接相关:本项目的产出是用于大模型训练的数据集,招标文件在安全合规要求中明确须核查项目建设过程中是否包含不可用于商业用途的建设内容,并承诺数据集来源的合法性。外部数据一旦混入数据集而其许可范围不覆盖训练与商业使用,整份数据集的合法性都会受牵连。因此核查结论须逐项记录在外部数据台账中,并在数据集的数据卡中声明所含外部数据的来源与许可范围。
#### 6.2.3 使用边界与约束
表 4B-33 外部数据使用边界约束要素
| 约束维度 | 约束内容 | 记录位置 |
|---|---|---|
| 存储 | 存储位置与期限、是否允许留存原始件、备份范围 | 外部数据台账 |
| 加工 | 是否允许衍生加工、衍生品权属、是否允许进入训练数据集 | 台账与数据卡 |
| 共享 | 可共享的对象范围、是否允许对外提供、二次提供是否需供方同意 | 台账与开放授权记录 |
| 署名与引用 | 是否要求署名、引用格式 | 数据卡与成果文档 |
| 期限 | 许可有效期、到期处置方式 | 台账,到期前触发提醒 |
| 退出 | 终止引入时的清除范围,含衍生品处置约定 | 台账与退役处置单 |
到期与退出两项须在引入时就约定清楚。许可到期后衍生数据集能否继续使用,不同供方的约定不同;没有事先约定,到期时会面对一个两难——继续使用可能越权,停止使用则已交付的数据集要召回。本项目的做法是在采购阶段即把「许可到期后衍生品的处置方式」列为合同必谈条款,并把约定结果写入台账与数据卡。
### 6.3 数据开放共享
招标文件要求制定数据开放共享流程,规范数据申请、审批、授权、回收等流程(b1327)(b1328)。
数据开放的对象分三层,管控强度依次提高:企业内部跨部门共享、面向甲方关联单位的共享、面向外部的数据集流通。第三层与数据集运营流通直接相关,其业务形态在「数据集运营平台」一节论述,本章规定其管理流程。
图 4B-13 数据开放的申请、审批、授权、使用监测与回收流程。数据来源:招标文件第五章 3.2.6.1.1.2.9 第(3)项数据开放要求。
授权环节有三项要素须一并绑定,缺一则后续无法管控。授权凭据须与具体的数据范围、字段范围、时间范围绑定,不签发无范围限定的凭据。脱敏策略按受众与级别绑定在凭据上,同一数据对象对不同受众返回不同的脱敏结果。水印策略按级别绑定,L3 及以上的导出件带水印且水印可反查到授权凭据。
回收有五种触发情形:授权到期、申请用途变更、监测发现越权访问、发生违规事件、申请人岗位变动。回收执行后凭据立即失效,已导出的数据按约定处置方式处理并记录。回收记录与申请单关联,便于复核同一受众的历史授权情况。
### 6.4 数据服务标准
招标文件要求构建数据服务标准,面向数据应用提供标准化数据服务(b1329)。
#### 6.4.1 服务形态与适用场合
表 4B-34 数据服务的四种形态与适用场合
| 形态 | 适用场合 | 技术要求要点 | 适用级别 |
|---|---|---|---|
| 接口服务 | 应用系统在线查询,单次返回量小 | 契约化、鉴权、限流、幂等、元信息随返 | L1–L4,L4 返脱敏结果 |
| 文件服务 | 批量取数、数据集交付 | 批次标识、校验值、清单文件、水印 | L1–L5,L4/L5 逐事项审批 |
| 视图服务 | 分析与报表直连 | 只读、行列级权限、动态脱敏 | L1–L3 |
| 订阅服务 | 变更驱动的下游同步 | 变更事件格式、顺序保证、重放能力 | L1–L3 |
#### 6.4.2 服务目录与 SLA 分级
每一项数据服务在服务目录中登记:服务标识与名称、提供的数据对象与字段、调用方式与契约、更新频率与延迟、质量状态声明、安全级别与脱敏策略、SLA 级别、责任部门与联系通道、版本与变更记录。服务目录与数据资源目录互相引用,使用方可以从数据对象找到可用服务,也可以从服务找到其数据来源。
SLA 按三级设定:一级服务供数据集加工与关键场景使用,可用性与时延要求最高,故障按一级响应;二级服务供常规业务查询使用;三级服务供分析探索使用,允许在资源紧张时降级。SLA 的具体指标值与系统非功能指标相关,在「非功能性」一节给出,本节规定的是分级原则与服务登记要求。
#### 6.4.3 服务的计量与审计
每次服务调用记录调用方、时间、数据范围、返回量、授权凭据。计量数据有三个用途:按受众统计使用情况,作为数据资产价值评估的输入;识别异常调用,作为安全审计的输入;度量服务实际负载,作为容量规划的输入。资产价值评估办法在「数据治理一」一节论述,本章提供其所需的使用计量数据。
### 6.5 数据应用流通规划的交付物与验收口径
表 4B-35 数据应用流通规划交付物与验收口径(b1330)
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 外部数据引入管理办法 | 范围界定、四阶段流程、合法性核查要素、使用边界约束、台账要求、到期与退出 | 经甲方评审通过并发布;已引入外部数据的台账与授权凭证齐备 |
| 数据开放共享管理规范 | 三层开放对象、申请审批授权回收流程、审批层级、授权要素绑定、留痕要求 | 经甲方评审通过并发布;授权凭据均带范围限定;回收有记录 |
数据服务标准与服务目录作为《数据开放共享管理规范》的附件交付,数据应用需求的梳理结论以《高质量数据集验证场景数据需求清单》形式交付,该清单归属现状评估阶段成果,见「数据治理一」一节。
## 七、数据治理规划成果交付
本章回应招标文件 3.2.6.1.1.2.10 数据治理规划成果交付要求(b1331)(b1332)(b1334)与成果清单表的全部行(b1333r01 至 b1333r38)。
### 7.1 交付清单
招标文件要求至少交付不少于 25 份数据治理规划文档,并以表格列明 37 份具体名称与形态(b1332)。我方按 37 份编制,不低于清单要求。表 4B-36 逐行对应招标文件清单,并补充三列便于甲方核对:编制依据所属的规划域、本投标文件中论述该文档内容的章节、计划提交节点。表头行对应 b1333r01。
表 4B-36 数据治理规划文档交付清单(对应招标文件 b1333 表全部行)
| 序号 | 名称 | 形态 | 数量 | 所属规划域 | 本投标文件论述章节 | 计划提交节点 | 单元 |
|---|---|---|---|---|---|---|---|
| 1 | 数据战略管理办法 | 文档 | 1 | 数据战略 | 数据治理一 | 规划期第一阶段 | b1333r02 |
| 2 | 数据战略规划 | 文档 | 1 | 数据战略 | 数据治理一 | 规划期第一阶段 | b1333r03 |
| 3 | 数据战略实施计划 | 文档 | 1 | 数据战略 | 数据治理一 | 规划期第一阶段 | b1333r04 |
| 4 | 战略评估报告 | 文档 | 1 | 数据战略 | 数据治理一 | 首次评估周期结束 | b1333r05 |
| 5 | 数据治理顶层规划方案 | 文档 | 1 | 数据治理 | 数据治理一 | 规划期第一阶段 | b1333r06 |
| 6 | 数据治理组织架构 | 文档 | 1 | 数据治理 | 数据治理一 | 规划期第一阶段 | b1333r07 |
| 7 | 全套数据治理顶层管理制度 | 文档 | 1 | 数据治理 | 数据治理一 | 规划期第一阶段 | b1333r08 |
| 8 | 数据文化建设方案 | 文档 | 1 | 数据治理 | 数据治理一 | 规划期第二阶段 | b1333r09 |
| 9 | 数据模型分层架构 | 文档 | 1 | 数据架构 | 数据治理一 | 规划期第一阶段 | b1333r10 |
| 10 | 数据分布及数据流图 | 文档 | 1 | 数据架构 | 数据治理一 | 规划期第一阶段 | b1333r11 |
| 11 | 数据集成共享管理规范 | 文档 | 1 | 数据架构 | 数据治理一 | 规划期第一阶段 | b1333r12 |
| 12 | 元数据管理办法 | 文档 | 1 | 数据架构 | 数据治理一 | 规划期第一阶段 | b1333r13 |
| 13 | 数据资产管理办法 | 文档 | 1 | 数据资产 | 数据治理一 | 规划期第二阶段 | b1333r14 |
| 14 | 数据资源目录 | 文档 | 1 | 数据资产 | 数据治理一 | 随纳管范围滚动更新 | b1333r15 |
| 15 | 资产价值评估办法 | 文档 | 1 | 数据资产 | 数据治理一 | 规划期第二阶段 | b1333r16 |
| 16 | 数据资产运营流程规范 | 文档 | 1 | 数据资产 | 数据治理一 | 规划期第二阶段 | b1333r17 |
| 17 | 数据标准管理办法 | 文档 | 1 | 数据标准 | 本节第二章 2.2、2.8 | 规划期第一阶段 | b1333r18 |
| 18 | 业务术语标准 | 文档 | 1 | 数据标准 | 本节第二章 2.3 | 首批第一阶段,滚动补充 | b1333r19 |
| 19 | 参考数据标准 | 文档 | 1 | 数据标准 | 本节第二章 2.5 | 首批第一阶段,滚动补充 | b1333r20 |
| 20 | 数据元标准 | 文档 | 1 | 数据标准 | 本节第二章 2.6 | 首批第一阶段,滚动补充 | b1333r21 |
| 21 | 指标标准 | 文档 | 1 | 数据标准 | 本节第二章 2.7 | 首批第二阶段,滚动补充 | b1333r22 |
| 22 | 标准映射对照表 | 文档 | 1 | 数据标准 | 本节第二章 2.8 | 随纳管范围滚动更新 | b1333r23 |
| 23 | 数据质量管理办法 | 文档 | 1 | 数据质量 | 本节第三章 3.2、3.7 | 规划期第一阶段 | b1333r24 |
| 24 | 数据质量需求清单 | 文档 | 1 | 数据质量 | 本节第三章 3.3 | 首轮扫描完成后 | b1333r25 |
| 25 | 数据质量校验规则库 | 文档 | 1 | 数据质量 | 本节第三章 3.4 | 首批第一阶段,滚动补充 | b1333r26 |
| 26 | 质量分析报告 | 文档 | 1 | 数据质量 | 本节第三章 3.6 | 按月出具 | b1333r27 |
| 27 | 质量问题整改台账 | 文档 | 1 | 数据质量 | 本节第三章 3.7 | 持续维护,按季汇总 | b1333r28 |
| 28 | 数据合规管理制度 | 文档 | 1 | 数据安全 | 本节第四章 4.1 | 规划期第一阶段 | b1333r29 |
| 29 | 数据安全管理办法 | 文档 | 1 | 数据安全 | 本节第四章 4.2、4.3 | 规划期第一阶段 | b1333r30 |
| 30 | 数据安全分级标准 | 文档 | 1 | 数据安全 | 本节第四章 4.1 | 规划期第一阶段 | b1333r31 |
| 31 | 数据权限管理规范 | 文档 | 1 | 数据安全 | 本节第四章 4.2 | 规划期第一阶段 | b1333r32 |
| 32 | 数据需求管理规范 | 文档 | 1 | 生存周期 | 本节第五章 5.1 | 规划期第一阶段 | b1333r33 |
| 33 | 数据设计开发规范 | 文档 | 1 | 生存周期 | 本节第五章 5.2 | 规划期第一阶段 | b1333r34 |
| 34 | 数据运维管理制度 | 文档 | 1 | 生存周期 | 本节第五章 5.3 | 规划期第二阶段 | b1333r35 |
| 35 | 数据退役管理规范 | 文档 | 1 | 生存周期 | 本节第五章 5.4 | 规划期第二阶段 | b1333r36 |
| 36 | 外部数据引入管理办法 | 文档 | 1 | 应用流通 | 本节第六章 6.2 | 规划期第二阶段 | b1333r37 |
| 37 | 数据开放共享管理规范 | 文档 | 1 | 应用流通 | 本节第六章 6.3 | 规划期第二阶段 | b1333r38 |
提交节点按三个阶段安排:第一阶段为制度与标准的基础件,须在数据汇聚与首批数据集加工开始前发布,否则加工过程无规范可依;第二阶段为运营类规范与办法,在首批数据服务与资产运营启动前发布;滚动更新类的三份(数据资源目录、标准映射对照表、整改台账)与按期出具类的两份(质量分析报告、战略评估报告)随工作进展持续交付。
### 7.2 文档编制与评审发布
每份文档按统一体例编制:封面与版本页、适用范围、引用依据、术语、正文条款、附表与模板、生效与修订记录。制度类文档的正文条款须写明责任主体与可核查的动作,避免只写原则不写动作——「应加强数据质量管理」这类条款无法执行也无法检查,须改写为「某角色在某时点完成某动作并留存某记录」。
评审分三道。项目组内部评审核对体例、条款可执行性、与其他文档的一致性。甲方业务评审由各业务域归口部门核对条款与本域实际业务流程是否冲突。甲方管理层评审确认制度的责任分工与考核要求。三道评审均通过后由甲方按企业文件发布程序发布,发布后的制度即为项目实施的依据。
文档之间存在引用关系,须统一维护一张引用关系表,避免一份文档修订后其他文档的引用内容失效。引用关系表作为治理文档体系的索引随文档集一并交付。
### 7.3 滚动优化机制
招标文件明确交付文档的数量与名称可在实施阶段滚动优化(b1334)。本项目的滚动优化按三条规则执行。
数量只增不减。37 份是下限,实施过程中若发现某一主题需要单独成文(例如时序数据的采集与质量规范),增编文档并在引用关系表中登记。
拆分与合并须经甲方确认。若某份文档内容过多宜拆分,或两份文档内容高度重叠宜合并,须提交变更申请说明理由与对照关系,经甲方数据治理管理层确认后执行,并在交付清单中保留与招标文件原清单的对应关系,使验收时可逐项核对。
版本与基线。每份文档按版本管理,重要节点固化基线。DCMM 评审前固化一次评审基线,项目验收前固化一次验收基线。基线固化后的修订另起版本,不覆盖基线版本。
### 7.4 投标阶段的提交口径
本节第一章已说明:37 份文档是项目实施期交付物,其内容须建立在现状评估结论与甲方现行制度体系的确认之上。投标阶段我方提交的是本节所述的编制方案——每份文档的编制依据、章节骨架、责任域、提交节点与验收口径,以及附录佐证卷中提供的标准规范清单与模板样例。文档全文按表 4B-36 的提交节点在实施期提交评审。
这一安排与招标文件要求并不冲突:3.2.6.1.1.2.10 规定的是「交付」不少于 25 份文档,交付的时点属于项目实施期;招标文件同时要求投标文件避免无关材料过多(b0497)。若甲方评标阶段需要查看某份文档的详细样式,我方可按要求补充提供样例。
## 八、数据治理实施
本章回应招标文件 3.2.6.1.2 数据治理实施要求(b1335)(b1336)。
### 8.1 实施范围与落地矩阵
招标文件要求根据数据治理规划成果,对数据集生产加工相关的九个业务域,把数据汇聚、数据处理、元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全管理、数据指标管理、数据服务管理九项内容在数据治理开发工具平台上落地实施(b1336)。
九个业务域与九项治理内容构成一个 9×9 的落地矩阵。矩阵不是均匀的:不同业务域在不同治理内容上的工作量与优先级差别很大。表 4B-37 给出各单元格的实施重点与优先批次,优先批次按三批划分,第一批为数据集加工的必需前提,第二批为治理能力成形所需,第三批为运营与优化所需。
表 4B-37 九业务域 × 九项治理内容落地矩阵(单元格内为优先批次)
| 业务域 | 数据汇聚 | 数据处理 | 元数据 | 数据资产 | 数据标准 | 数据质量 | 数据安全 | 数据指标 | 数据服务 |
|---|---|---|---|---|---|---|---|---|---|
| 研发设计 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 生产制造 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 质量管理 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 仓储物流 | 一 | 一 | 二 | 二 | 一 | 一 | 二 | 二 | 二 |
| 设备管理 | 一 | 一 | 二 | 二 | 一 | 一 | 二 | 二 | 二 |
| 采购管理 | 二 | 二 | 二 | 三 | 二 | 二 | 二 | 二 | 三 |
| 营销管理 | 二 | 二 | 二 | 三 | 二 | 二 | 一 | 二 | 三 |
| 财务管理 | 二 | 二 | 二 | 三 | 二 | 二 | 一 | 二 | 三 |
| 人力资源 | 二 | 二 | 三 | 三 | 二 | 二 | 一 | 三 | 三 |
排序依据是业务域对四类数据集的贡献度:研发设计、生产制造、质量管理三个域直接产出工艺设计类、制造过程类、产品质量类数据集的主体样本,仓储物流与设备管理支撑供需计划类与设备诊断类场景,其余四个域主要支撑决策指标与通用场景。营销管理、财务管理、人力资源三个域的数据安全排在第一批,原因是这三个域集中了 L4 与 L5 数据(客户信息、价格与成本、人员信息),分级与权限须先行。
### 8.2 治理实施的平台载体与责任边界
招标文件要求九项内容在数据治理开发工具平台上落地实施(b1336)。治理平台作为奔牛数据智能平台 的治理组件部署,承担元数据、标准、质量、安全策略、资产目录、指标、服务七类治理对象的集中管理,以及汇聚与加工任务的调度与监控。平台的功能模块划分、界面设计与操作流程在「数据集运营平台」一节论述;数据集加工生产的七个生产环节在「四大数据集加工生产总述」及其分节论述。本节讲的是治理实施在平台上的落地方式与各侧责任边界。
责任边界须一次说清,因为治理实施牵涉源系统、治理平台、加工链路、应用侧四方。
图 4B-14 治理实施的四侧责任边界与数据流向。数据来源:招标文件第五章 3.2.6.1.2 实施要求与 3.2.6.1.1 规划成果。
四侧边界中有三条须在实施启动前与甲方书面确认,否则实施推进会反复停顿。
第一条是源系统接口的开通范围与配合责任。本项目所需的是按已授权数据域开放只读接口或数据库只读视图,不替换、不重建任何一套业务系统。接口开通涉及原厂配合的,配合方式与工作量须另行确认。
第二条是源头数据错误的处置责任。治理侧负责发现、定位、通知与在服务侧降级维持可用,数据内容的更正由业务归口部门执行。这条边界决定了质量问题整改台账中「责任部门」一列的填法。
第三条是采集范围扩展的现场条件。设备侧采集点位的布设与改造涉及生产现场,停机窗口与施工条件由甲方确认,扩展清单以现场勘察结论为准。
### 8.3 九项治理内容的落地实施
#### 8.3.1 数据汇聚
数据汇聚解决「数据从哪来、怎么进来」。实施内容包括源清单确认、接入通道建设、增量机制配置、时间基准统一、接入质量入口校验。
源清单按九个业务域梳理,覆盖设计与工艺、物料与库存、工单与报工、检验与不合格品、采购与供应商、设备与测点、公文与合同、项目与商机、在役装备运维各类承载系统。各系统的具体接入方式、增量口径与对接推进安排在「数据资源采集接入」一节论述,本节不重复展开。
本节要落实的是汇聚环节的治理动作,共四项。接入对象登记进元数据,包括源系统、对象、字段、类型、更新频率、负责人;字段按数据元标准做映射登记,无对应数据元的新建数据元草案;按分级标准标注接入字段的安全级别,L4 与 L5 字段的接入须单独审批;接入任务配置入口校验规则与数据量异常告警。四项动作未完成的接入对象,不进入下一环节的加工。
对时序数据与图纸类数据,汇聚环节另有两项专门要求。时序数据须在接入时完成时间基准校正并记录各源的时钟偏差。图纸类数据的解析在内网就地进行,解析产物(图元、尺寸、标注、图层、线型、视图投影关系)作为新的数据对象登记元数据,与原始图纸建立血缘关系,使后续工艺类样本的每一个特征都可回溯到图纸上的具体图元。
#### 8.3.2 数据处理
数据处理解决「数据怎么变得能用」。实施内容按四类处理动作组织。
结构化归一处理:按码表做值域归一,按映射规则做单位与口径换算,按主数据做关联键补全。关联键补全是本项目工作量最大的一项,因为甲方现状中图纸与工艺卡配对关系、焊接参数与焊道对应、热处理炉次与工件和材料批次关联、故障记录与数据段配对均未建立。补全的办法按对象分别设计:有确定性规则可依的(图号与版本对应卡片编号)按规则补全并抽样核验;只能按时间窗与设备位置推断的(焊接参数与焊道)按推断规则补全并标注置信度,置信度低的样本在数据集加工时降权或排除。
文档与图纸解析处理:按文档类型分流解析,输出结构化段落、表格、符号与图元。工艺规程中的粗糙度、坡口、倒角、公差等符号表达须解析为可计算的加工要求,这部分技术实现在「数据加工生产一」一节论述。
时序处理:重采样与对齐、缺段标注、异常点标注、工况分段。工况分段对设备诊断类数据特别重要,因为刮板输送机在井下被液压支架推移、被采煤机在机身上行走,测点信号含有来自其他设备的耦合干扰,不分段直接建模学到的是混合工况下的平均特征。
衍生计算处理:按确定性公式计算衍生字段,例如按中性层公式计算展开长与材料定额。这类计算的要求是同一输入与同一版本必得同一结果且过程可复算,计算所依据的公式版本记录在血缘中。
四类处理动作的共同治理要求是幂等、可重跑、血缘登记完整,见本节第五章第二节。
#### 8.3.3 元数据管理
元数据管理解决「有什么数据、它从哪来、谁在用」。实施内容是业务元数据、技术元数据、管理元数据三类的采集与维护,以及血缘分析与变更管理。元数据管理办法在「数据治理一」一节交付,本节落实其执行。
业务元数据的采集靠标准建设带动:术语卡、数据元标准、指标卡本身就是业务元数据的主体。技术元数据从源系统字典、数据库目录、加工任务配置自动采集,采集频率按对象变化节奏设定。管理元数据包括责任人、安全级别、质量状态、生命周期状态,由各治理动作写入。
血缘的粒度要求到字段级。字段级血缘是三件事的前提:质量问题的向上溯源、标准变更的影响评估、数据集样本的来源追溯。其中第三件对本项目尤其关键——数据集要做到可溯源,每一条样本须能回答它的各个字段分别来自哪个源系统的哪条记录经过了哪些加工。表级血缘回答不了这个问题。
变更管理的实施要求是:源系统字段变更、加工逻辑变更、标准变更三类事件均触发影响评估,评估结果通知受影响对象的责任人。源系统字段变更的发现依赖技术元数据的周期采集比对,比对发现的未报备变更作为接口协调事项提出。
#### 8.3.4 数据资产管理
数据资产管理解决「数据作为资产怎么登记、怎么作价、怎么被用起来」。实施内容是数据资源目录的建设与维护、权属登记、价值评估的执行、资产运营流程的落地。四项办法与规范在「数据治理一」一节交付,本节落实其执行。
数据资源目录按业务域与数据主题两级组织,条目到数据对象。每个条目呈现的信息包括:业务定义、字段清单与数据元引用、数据量级与时间跨度、更新频率与延迟、质量分与评级、安全级别、可用的数据服务、责任部门、申请方式。目录的价值在于让使用方自己能找到并判断数据能不能用,因此目录的质量状态与安全级别两项必须是实时的而非人工填报的——这两项由质量评分与分级标签自动带出。
权属登记须区分原始数据与治理后形成的数据资产。原始数据的来源与存储位置按源系统登记;治理后形成的数据资产,其所有权与使用权按甲方与项目的约定登记,涉及外部数据衍生品的按外部数据台账中的约定登记。
价值评估的执行依赖使用计量数据,计量来源是数据服务调用记录与数据集流通记录。首轮评估在首批数据服务运行满一个季度后开展,此前不作评估,理由是没有使用数据的价值评估只能靠主观打分。
#### 8.3.5 数据标准管理
数据标准管理在平台上的落地形态是四件事:标准的在线维护与版本管理、标准到物理字段的映射登记、标准发布时的规则派生、标准变更时的影响评估。四件事的规范在本节第二章给出,此处说明平台落地要点。
标准在线维护要支持按业务域分权维护:各域归口部门维护本域术语与数据元草案,数据标准管理员审核发布。这一安排是为了让标准维护的工作量分散到业务侧,由项目组集中维护的标准体系在项目结束后往往难以持续。
映射登记支持两种来源:从技术元数据自动推荐(按字段名与类型相似度)与人工确认。自动推荐降低登记工作量,确认权在人。推荐的准确率在首批登记后统计并作为推荐规则调优依据。
规则派生与影响评估的机制见本节第二章第八节。
#### 8.3.6 数据质量管理
数据质量管理在平台上的落地形态是规则库维护、稽核调度、异常台账、评分看板、问题工单五个部分,对应本节第三章的五环闭环。实施要点有三。
规则的分权维护与标准同理:各域业务人员可提报规则需求并参与阈值设定,数据质量管理员审核入库。阈值由业务参与设定这一点很重要,技术侧定的阈值往往与业务容忍度不符,导致大量误报。
稽核调度与加工调度解耦。质量稽核作为独立任务运行,不嵌在加工任务内部,这样稽核规则的调整不需要改动加工任务,稽核失败也不会直接导致加工任务失败——由入口校验按严重级决定是否阻断。
评分看板按三个视角呈现:业务域视角给管理层看趋势,数据对象视角给数据责任人看明细,规则视角给质量管理员看规则有效性。三个视角用同一套底层数据,避免出现口径不一的几张报表。
#### 8.3.7 数据安全管理
数据安全管理在平台上的落地形态是分级标签维护、权限策略配置、脱敏规则配置、审批流程、审计日志与分析五个部分,对应本节第四章。实施要点有三。
分级标签的落地粒度到数据元并向上汇总到数据对象与数据集。数据对象的级别取其字段级别的最高值作为默认值,数据集的级别按聚合后敏感度单独定级,不取最大值,理由见本节第四章第一节。
权限与脱敏策略由分级标签驱动自动生成默认策略,再由安全管理岗按业务需要调整。自动生成的作用是保证新纳管对象不会因为漏配策略而处于无保护状态——默认策略按级别从严,调整只能往宽且须记录理由。
审计日志的采集范围、分析模型与追溯核验要求见本节第四章第三节。平台侧落地要注意一点:日志量会很大,须按级别分别设定采样与留存策略,L3 及以上全量留存,L1 与 L2 可按采样留存,避免日志存储成本挤占数据存储资源。
#### 8.3.8 数据指标管理
数据指标管理在平台上的落地形态是指标卡维护、指标计算配置、指标血缘、口径一致性校验四个部分。实施要点有二。
指标计算须与指标卡声明的计算逻辑一致,不允许在计算任务里写一套、在指标卡里写另一套。落地做法是指标卡的计算公式以指标标识书写并由平台翻译为计算逻辑,而不是由开发人员按文字描述自行实现。这是本项目防止口径漂移的主要手段。
口径一致性校验在指标发布前运行,检查三件事:是否存在同名不同口径的指标、维度取值是否全部引用已发布码表、来源数据元是否均已发布。三项任一不过则指标不予发布。
决策指标体系的指标选取与问答场景设计在「五个通用场景验证方案」一节论述。
#### 8.3.9 数据服务管理
数据服务管理在平台上的落地形态是服务目录、服务发布与下线、契约与版本管理、鉴权与限流、调用计量与监控五个部分,规范见本节第六章第四节。实施要点有二。
服务发布须与资源目录联动:服务发布时自动在对应数据对象的目录条目上挂出可用服务,服务下线时同步撤出。两边脱节会出现目录里写着有服务、实际已下线的情况。
调用计量数据同时供三方使用——资产价值评估、安全审计、容量规划,因此计量记录的字段设计须一次满足三方需要,见本节第六章第四节。
### 8.4 九个业务域的实施重点
九项治理内容是横向能力,九个业务域是纵向对象。横向能力在各域落地时的重点不同,下面逐域说明。各域的工作均包含汇聚、处理、元数据登记、标准映射、质量规则、分级标注六项基础动作,此处只写该域的特殊之处。
**研发设计域**。核心对象是图纸、物料清单、工艺文件与产品谱系。实施重点有三:建立图号与版本的唯一标识体系并打通与物料编码的对应;建立图纸与工艺卡片的配对关系,这是约 63 万张历史图纸形成成对监督样本的前提;把工作面工况参数(产量与作业制度、地质与煤质、截深截高推移步距等接口参数)结构化登记,这类参数在甲方现状中往往只存在于多方会商过程中而无规范电子留痕,实施时须与业务部门确定补录范围与补录方式。该域的质量重点是图号与版本的准确性和配对覆盖率;安全重点是选型校核公式与修订参数按 L5 管控。
**生产制造域**。核心对象是施工号、工单、工序、报工、工艺执行记录、热处理炉次、焊接过程参数。实施重点有四:建立工序主数据与工序代码体系,把 28 道备料工序及其余工序在总工艺路线与各车间卡片之间的名称差异归一;建立炉次与装炉工件清单、材料批次、设定程序、实际温度曲线、检验结论的串联关系;建立焊接参数流与工件标识、焊道标识的时间窗对齐机制;对报工时点相对实际作业的滞后做量化刻画,作为制造过程类样本时间字段可信度的依据。该域规则数量最多,质量重点是完整性、及时性与跨系统一致性;安全重点是关键工艺参数窗口按 L5 管控。
**质量管理域**。核心对象是检验项目与记录、交检拍照、质量报告、不合格品与返修票据。实施重点有三:建立检验项编码体系并与工艺标注的关键工序、重要尺寸建立对应,使工艺要求与检验执行可以逐项核对;把自由文本的缺陷描述按聚类结论归一为缺陷类型代码,这是质量类数据集标签体系的来源;把不合格品票与返修记录的流转结果回填到工件与工序上,形成可用的结果标签。该域的质量重点是准确性与配对完整性。
**仓储物流域**。核心对象是实物库存、批次、库位、物料流转。实施重点有二:打通企业资源计划库存账、仓储管理实物库存与项目占用三者的时点口径,这是库存三方比对与库存控制场景的前提;建立批次号在采购到货、入库、领用、热处理装炉之间的贯通,使材料来源可追溯。该域的质量重点是一致性与唯一性。
**设备管理域**。核心对象是设备台账、测点配置、时序数据、报警记录、维修工单与备件。实施重点有三:建立设备编码与测点标识体系,并把炉台、焊接产线、自动化产线设备、在役装备纳入同一编码空间;建立测点可信度评价机制,识别断链、漂移与失效测点,这是设备诊断类样本输入可信的前提;把服务工单与备件出库记录回填到报警事件上,逐步积累故障与数据段的配对样本。该域的质量重点是及时性与准确性;该域数据量级最大,须注意存储与计算成本。
**采购管理域**。核心对象是供应商、采购订单、到货批次、采购价格与周期。实施重点有二:建立供应商主数据并与材料批次来源关联;把采购价格与周期数据的口径统一,供库存控制场景的采购时机判断使用。该域的安全重点是价格与成本按 L5 管控。
**营销管理域**。核心对象是客户、矿方项目、商机、销售预测、合同与交付节点。实施重点有二:建立客户与项目主数据,并与施工号建立唯一对应;把销售预测与需求计划的口径对齐,供供需计划类数据集与库存控制场景使用。该域的安全重点是矿方客户信息与矿井位置按 L4 管控,去标识后方可进入数据集。
**财务管理域**。核心对象是科目、成本中心、物料价格、项目成本归集。实施重点有二:建立物料价格的权威源并解决企业资源计划与财务两侧价格不一致的问题;建立项目成本归集口径,供选型场景的参考报价核算使用。该域的安全重点是成本构成与项目报价按 L5 管控。
**人力资源域**。核心对象是组织、岗位、人员、技能资质、班组与排班。实施重点有二:建立组织与岗位编码,作为权限模型与责任留痕的基础,这一项是其他八个域的权限管理与操作留痕的前提,因此虽然该域在数据集贡献上权重最低,组织与岗位主数据的建设须排在第一批;按个人信息保护要求对人员数据做分级与去标识,人员数据原则上不进入数据集,确需使用的以去标识后的岗位与技能属性形式使用。
### 8.5 实施路径与里程碑
实施按三个阶段推进,阶段划分的依据是数据集加工对治理成果的依赖顺序:第一阶段交付加工所必需的标准、分级与质量规则并完成重点域汇聚;第二阶段补齐治理能力的其余部分并支撑首批数据集与场景验证;第三阶段转入常态运营、DCMM 评审与优化。
图 4B-15 数据治理实施的三阶段路径、阶段门禁与贯穿动作。数据来源:招标文件第五章 3.2.6.1.2 实施要求与第三章建设周期要求。
表 4B-38 给出各阶段的主要工作项与完成标志。具体日期在合同签订后按项目总体计划排定,本表给出的是阶段顺序与完成标志,项目管理的进度计划与资源安排在服务方案「项目管理措施」一节论述。
表 4B-38 实施阶段工作项与完成标志
| 阶段 | 主要工作项 | 完成标志 |
|---|---|---|
| 第一阶段 | 现状评估;标准管理办法与首批标准发布;分级标准与权限规范发布;首批质量规则入库并投入稽核;研发设计、生产制造、质量管理、仓储物流、设备管理五域汇聚 | 加工所依赖字段的数据元与分级标签登记完整;首批规则稽核运行并出首轮扫描结果 |
| 第二阶段 | 指标标准与首批指标发布;运维制度、退役规范、外部数据与开放规范发布;资产目录与服务目录上线;其余四域汇聚;质量评分与月度报告常态化 | 质量评分基线出具;首批数据服务通过验收;治理文档第二阶段件全部提交评审 |
| 第三阶段 | DCMM 评审证据包整理与贯标支撑;质量目标分期达成;资产运营与流通授权;文档滚动优化;运维与管理能力移交培训 | 评审证据包齐备;质量目标按季度达成情况有记录;移交培训完成并通过考核 |
### 8.6 实施的验收口径与回退安排
治理实施的验收不以「文档交齐」为唯一标志,而以可核查的运行状态为标志。表 4B-39 给出各项治理内容的验收口径。
表 4B-39 九项治理内容的验收口径
| 治理内容 | 验收口径 | 不达标时的回退安排 |
|---|---|---|
| 数据汇聚 | 纳管对象的接入任务稳定运行;接入对象的元数据、标准映射、分级标签、入口校验四项登记完整 | 未完成四项登记的对象不进入加工,列入下期纳管清单 |
| 数据处理 | 加工任务幂等可重跑;血缘登记到字段级;关联键补全的抽样核验结果达到约定水平 | 置信度低的补全结果标注后降权使用,不进入高要求样本 |
| 元数据管理 | 纳管对象的三类元数据齐备;字段级血缘可回溯到源系统字段 | 血缘不完整的对象在质量溯源中标记为不可溯源,优先补齐 |
| 数据资产管理 | 资源目录条目完整且质量分与安全级别实时带出;权属登记完整 | 使用计量不足一季度的对象暂不作价值评估 |
| 数据标准管理 | 五类标准按节点发布;映射登记覆盖已纳管对象;标准变更有影响评估记录 | 未覆盖对象按原口径使用并标注非标,列入下批标准化范围 |
| 数据质量管理 | 规则库投入运行;质量评分与月报按期出具;问题闭环有台账 | 质量未达门限的数据按置信标记降级输出,不直接中断数据集加工 |
| 数据安全管理 | 分级标签登记完整;权限与脱敏策略由标签驱动;审计日志可追溯性抽样核验达到约定水平 | 可追溯性不足的级别暂时收紧授权方式,同步补齐日志字段 |
| 数据指标管理 | 发布指标有指标卡且口径可追溯到数据元;同名不同口径指标为零 | 口径未定的指标置为暂不发布,不以含混口径对外提供 |
| 数据服务管理 | 服务目录与资源目录联动;服务按 SLA 级别运行;调用计量完整 | 三级服务在资源紧张时降级,一级服务优先保障 |
表中各项「约定水平」在实施启动阶段依据首轮实测基线确定,确定后写入项目质量计划。本项目不在投标阶段给出未经基线实测的具体比例值,理由在本节第三章第三节已说明:没有基线的目标值不可验收。
### 8.7 实施的前提条件与风险应对
治理实施的推进依赖若干外部前提,这些前提不成立时的应对安排须事先说清,而不是在实施中临时商议。
表 4B-40 实施前提条件与风险应对
| 前提条件 | 不成立时的影响 | 应对安排 |
|---|---|---|
| 源系统按已授权范围开放只读接口,涉及原厂的配合到位 | 相关业务域无法汇聚,依赖该域的数据集样本量不足 | 按域分批推进,优先推进已可开通的域;未开通的域以现场导出或离线交换作为过渡方案,并在数据卡中记录来源方式;接口协调事项按月与甲方对接 |
| 设备侧采集范围扩展具备停机窗口与施工条件 | 时序与图像类数据覆盖不足,设备诊断与焊接类样本量受限 | 首期以试点炉型、试点产线与试点车间为准,扩展清单以现场勘察结论为准;覆盖不足的部分在数据集规模中按实际可得量核算 |
| 各业务域归口部门确定并能承担标准与质量的核定工作 | 标准无法发布,质量阈值无业务依据 | 在第一阶段开展数据管理能力培训与责任人确认;归口未定的域由项目组先出草案,核定完成后发布,期间该域数据按非标标注使用 |
| 历史主数据的追认与补证由业务部门确认 | 主数据审批流程记录无法形成 DCMM 可查阅证据 | 按追认、依据补录、正常流程三类分列呈现真实状况;未完成的域在诊断报告中列明并排入下一阶段 |
| 重要数据识别结论与报备口径经甲方主管部门确认 | 重要数据的管控与流通边界不明 | 先按本节分级标准的候选范围从严管控;报备口径以甲方主管部门意见为准,确认后调整 |
| 外部数据的许可范围覆盖模型训练与商业使用 | 含该外部数据的数据集合法性受牵连 | 引入阶段即核查授权链与许可范围,许可不覆盖的终止引入并清除已接入副本;衍生品到期处置方式在采购阶段列为必谈条款 |
六项前提中,前两项是本项目推进节奏的主要变量。本节的处理方式是把它们明确为前提而非隐含假设,并给出过渡方案与量化口径的调整办法,使实施进度与数据集规模的关系可以随前提的落实情况被重新核算,而不是在交付时才发现差距。
## 九、本稿待补材料清单
本节的结构与论述已按招标文件要求完整给出,以下内容需由甲方确认或由项目组在现状评估阶段核定后补入,稿件中已以【待填:…】标注。
表 4B-41 待补材料清单
| 序号 | 待补内容 | 所在位置 | 需由谁提供 |
|---|---|---|---|
| 1 | 各业务域术语、数据元、码表的归口部门名称 | 表 4B-2、表 4B-5、表 4B-6 | 甲方数据治理组织确定后提供 |
| 2 | 产品机型与槽宽档位、链条规格档位的码值范围 | 表 4B-4 | 甲方研发设计部门按现行产品谱系提供 |
| 3 | 甲方现行编码体系与各系统字典的盘点结果 | 第 2.4.4 节、第 2.5.2 节 | 现状评估阶段由项目组会同甲方完成 |
| 4 | 质量维度权重的核定值 | 表 4B-18 | 甲方数据治理管理层核定 |
| 5 | 各项质量指标、可追溯率等比例类目标的基线实测值 | 表 4B-11、表 4B-21、表 4B-39 | 首轮全量扫描与首次审计核验后确定 |
| 6 | 重要数据识别结论与报备口径 | 第 4.1.4 节 | 甲方主管部门意见 |
| 7 | 数据留存期限的具体年限要求 | 表 4B-23、第 4.3.3 节 | 甲方按法规与合同义务确认 |
| 8 | 源系统接口开通范围与原厂配合安排 | 第 8.2 节、表 4B-40 | 甲方推动,按月对接 |
| 9 | 设备侧采集范围扩展清单与现场条件 | 第 5.2.1 节、表 4B-40 | 现场勘察结论与甲方停机窗口安排 |
| 10 | 各实施阶段的具体日期 | 表 4B-38 | 合同签订后按项目总体计划排定 |