递交截止 2026-10-20 09:30 · 生成于 2026-10-16 15:46
预览稿,非最终投标文件;各节内容以各任务 MAIN.md 为准。
甲方的信息化底座已经成型:设计与工艺、生产计划与工单、质量检验、库存与物流、公文与合同流转、设备过程参数采集、在役装备远程运维各有系统承载,业务数据长期留存。真正的困难不在于缺系统,而在于同一个物理对象在不同系统里有不同的名字、不同的编码规则、不同的填写习惯,跨系统追一件事仍要靠人工对账。
这个问题在本项目中有三处具体表现,它们直接决定了数据标准规划的落点。
一是同一工序在不同车间有不同叫法。板材备料的工序链共 28 道,总工艺路线之下各车间再编本车间的工艺卡片,同一道工序在备料车间的卡片上与在结构件车间的卡片上名称可能不同,工序代码也不成体系。工艺类数据集要以工序为检索键组织样本,工序名称不统一,样本就无法按工序聚合。
二是图纸与工艺卡的配对关系没有可计算的键。历史图纸约 63 万张,每一张历史上都配有一张已审核签发的工艺卡片,这在数据集建设上是天然成对的监督样本,但配对关系存在于文件目录与人的记忆里,没有稳定的图号—卡片号对应标准。
三是指标口径分散。同一个「库存周转」在供应链口与财务口的算法不同,分母取期初期末平均还是取时点值、是否扣除项目专用占用,各部门各有习惯。决策数据问答场景要基于九个业务域与一套决策指标体系作答,口径不统一,同一问题会得到两个都「正确」的答案。
数据标准规划要交付的不是一本术语词典,而是一套能把上述三类不一致收敛下来、并且在后续系统改造与数据加工中持续生效的标准体系。
本项目的数据标准分五类:业务术语标准、主数据标准、参考数据标准、数据元标准、指标标准。五类标准之上有一部《数据标准管理办法》规定标准的制定、评审、发布、变更与废止程序;五类标准之下有一张《标准映射对照表》把标准项落到具体系统的具体字段。这一结构与招标文件要求输出的六份成果物一一对应(b1286)(b1287)。
五类标准的关系可以用一句话概括:业务术语管概念,主数据与参考数据管实例,数据元管字段,指标管算法。概念层统一了「叫什么」,实例层统一了「有哪些」,字段层统一了「怎么存」,算法层统一了「怎么算」。四层缺一层,上层标准落地时都会卡住。
图 1-1 数据标准体系的四层构成与三条落地通道。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(1)至(6)项。
业务术语标准覆盖九个业务域:人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理(b1336)。编制目标是形成公司统一的业务术语标准,厘清业务名词的定义、业务含义与同义词(b1276)。每个域的术语从三个来源汇集。
第一个来源是现行业务文档。工艺规程、作业指导书、检验规范、管理制度、合同模板里反复出现的业务名词构成术语的主体。我方以文档解析工具批量抽取候选名词,按词频与共现关系排序,再由业务域对口部门确认。采用当期能力评测领先的通用大模型经统一网关接入完成候选术语的定义初稿与同义词聚类,模型可替换、可评测、可随代升级;定义的最终确认权在业务部门,模型输出只作为编制底稿。
第二个来源是系统字段与数据字典。企业资源计划、制造执行、质量管理、产品全生命周期管理等系统的字段中文名、注释与下拉选项是术语的实际使用形态,也是术语与字段映射的起点。
第三个来源是国家标准与行业标准。煤矿用刮板输送机、矿用链条、钢材牌号、焊接工艺、热处理工艺等领域已有成文标准,标准中的术语优先采用,企业自定义术语仅在标准未覆盖处设立并注明「企业自定义」。
术语统一的难处不在于把名词列成清单,而在于判定两个叫法是不是同一件事、由谁说了算、落到哪个字段与哪个指标上。术语卡的字段结构即围绕这三个问题设置。
每条术语以一张术语卡承载,字段结构如表 1-1。中文名称、英文名称、业务定义、业务含义、同义词五项对应招标文件对业务术语标准提出的定义、业务含义与同义词要求;禁用词与易混术语两项取自现场实情——同一个量在工艺卡片上写「装炉量」、在报工界面上写「投料量」、在台账里写「单炉重量」,不把已停用的旧称与近义而不同义的术语分开记明,归一时就会把本不相同的两件事并到一起。归口部门一项解决解释权归属,关联数据元与关联指标两项是术语标准与数据元标准、指标标准的接合点。
判定一条术语能否发布,看的是业务定义与同义词两格是否填实;追溯一条术语的权威性,看的是归口部门与版本状态两格。结构本身就是评审的检查项:定义写不出来、同义词列不清、归属部门认不下的术语,不进标准正式发布版,先入待议清单。字段齐备的术语卡构成后续三个落地场合与术语覆盖率抽样验收的共同基础。
表 1-1 业务术语卡字段结构
| 字段 | 说明 | 示例(示意,实际取值待现场核定) |
|---|---|---|
| 术语标识 | 全局唯一编号,域代码+序号 | MFG-T-0137 |
| 中文名称 | 标准名称,发布后作为唯一正式称法 | 装炉量 |
| 英文名称 | 对外接口与英文文档使用 | Furnace Charge Quantity |
| 业务定义 | 一句话定义,说明边界而非举例 | 单一炉次一次性装入炉膛的工件重量合计 |
| 业务含义 | 该术语在业务判断中起什么作用 | 影响升温速率与保温时间的可调量依据 |
| 同义词 | 现行文档与系统中的其他称法 | 装炉重量、投料量、单炉重量 |
| 禁用词 | 明确不再使用的旧称法 | 投料量(2026 版后停用) |
| 易混术语 | 相近但不同的术语及区别 | 装炉工件数(计件,不计重) |
| 所属业务域 | 九个业务域之一 | 生产制造 |
| 归口部门 | 术语定义的解释责任部门 | 按业务域对应的招标方归口部门填写,随术语卡发布逐条登记 |
| 关联数据元 | 该术语对应的数据元标识 | DE-MFG-0412 |
| 关联指标 | 以该术语为维度或度量的指标 | IDX-MFG-0088 |
| 版本与状态 | 草案/发布/修订/停用 | 发布 V1.0 |
招标文件要求术语在业务文档、系统字段、指标说明中落地应用(b1277)。这三个场合的落地方式不同,不能用一条措施覆盖。
在业务文档中落地,办法是把术语表嵌入文档模板。工艺卡片、检验规范、不合格品票、改造方案等模板的填写指引中,涉及标准术语的字段给出术语标识与正式名称,禁用词在模板校验时提示。对已归档的历史文档不做回改,只在数据加工环节做术语归一映射,映射关系记录在标准映射对照表中。
在系统字段中落地,办法是分新建与存量两条路径。新建或改造的系统,在设计评审时核对字段中文名是否取自术语标准,不一致的须说明理由;存量系统不强制改字段名,改的是数据汇聚层的映射配置,由映射把源字段名归一到标准术语。这一取舍的理由很直接:改源系统字段名要动业务逻辑与界面,代价与风险都高于在汇聚层做映射,而数据集加工与指标计算取的是汇聚层的数据。
在指标说明中落地,办法是指标卡的维度与度量名称强制引用术语标识。指标卡中出现未登记的业务名词时,指标无法通过评审发布。
术语标准的首批发布规模按九个业务域各 60 至 120 条估算,合计不少于 600 条,其中生产制造域与研发设计域因工序与工艺术语密集,条目数高于其他域。第二批在数据汇聚与指标建设过程中滚动补充。
验收口径设三条,均以可核查的抽样方式检验:
一是术语覆盖率。从四类数据集加工所实际用到的业务字段中随机抽样 200 项,检查其对应业务名词是否已登记在术语标准中。首批发布时的基线按抽样覆盖不低于 75% 设定,随滚动补充逐步接近全覆盖;未覆盖项列入下一批编制清单,这是本指标的回退路径。该指标的招标值、承诺值与设计值见表 1-12,测量方法、样本量、测量频次、计算公式与未达标处置见表 1-13。
二是同义词归并有效性。对抽样术语检查其同义词清单是否包含该名词在现行系统中的实际称法,遗漏一条计一次不符合,单批不符合超过 10% 则该域术语退回复审。
三是指标卡引用合规性。发布的指标卡中,维度与度量名称引用术语标识的比例逐步接近全部;未引用的指标卡在发布前退回修改。
招标文件对主数据提出的要求是补齐全生命周期审批流程记录,形成 DCMM 评审可查阅的证据材料(b1278)(b1279)。这一要求的实质是:主数据不只要有标准,还要有「谁在什么时候按什么依据批准了这条主数据」的留痕,否则 DCMM 评审时拿不出证据。
本项目识别的主数据域及其与数据集建设的关系见表 1-2。识别原则是:被两个以上业务系统共同引用、且其变更会影响跨系统一致性的基础实体,纳入主数据管理。
表 1-2 主数据域清单与管理重点
| 主数据域 | 核心实体 | 主要承载系统 | 与数据集建设的关系 | 管理重点 |
|---|---|---|---|---|
| 物料主数据 | 原材料、零件、部件、产成品 | 企业资源计划 | 备料工艺与库存控制类样本的对象主键 | 编码规则、分类、计量单位、规格描述 |
| 产品与物料清单 | 产品结构、层级关系 | 产品全生命周期管理 | 图纸与工艺卡配对、零件借用判断 | 版本与有效性、与物料编码的对应 |
| 客户与项目 | 矿方客户、工作面项目、施工号 | 客户关系管理、生产管理 | 选型类样本的工况上下文 | 施工号与项目的唯一对应 |
| 供应商 | 钢材与外协供应商、材料批次来源 | 企业资源计划、采购管理 | 热处理批次档案的材料来源追溯 | 供应商编码、资质状态、材料批次关联 |
| 设备与工装 | 加工设备、炉台、焊接产线、压模、样板 | 设备管理、制造执行 | 工艺设计类样本的设备资源引用 | 设备编码、位号、与测点的对应 |
| 组织与人员 | 部门、车间、班组、岗位 | 人力资源 | 操作主体与责任留痕 | 组织编码、岗位与权限的对应 |
| 工序与工艺路线 | 28 道备料工序及其余工序、工艺路线 | 制造执行、工时定额 | 工艺类样本的检索键与聚合维度 | 工序代码体系、名称唯一、前后依赖 |
| 计量与检验项 | 检验项目、关键工序、重要尺寸 | 质量管理 | 质量类样本的标签来源 | 检验项编码、与工艺标注的对应 |
工序主数据是本项目新增的管理重点。甲方现状是总工艺路线与各车间卡片并行、工序代码不成体系,而工艺类与制造过程类数据集都以工序为聚合维度,因此工序主数据的建立不是治理的附带产物,而是数据集加工的前置条件。
数据管理能力成熟度评审考查的不是主数据台账当前是否干净,而是每一条主数据的产生与变化是否经过授权、依据是否留存。一份整洁却无法说明来历的台账,在评审中拿不到相应等级。主数据管理因此须把状态流转与留痕绑定,使证据随流程自然沉淀,不靠事后整理。
主数据的生命周期定义为申请、审核、发布、变更、停用五个状态。每一次状态迁移产生一条不可修改的流程记录,记录内容构成 DCMM 评审的证据材料。五个状态的划分依据是主数据实际发生的授权事件:申请与审核分离,保证提报方与核定方不是同一主体;发布单独成态,使主数据有明确的生效时点供历史引用对齐;变更不另建编码而是回到发布,保留同一编码下的版本连续性;停用保留历史引用,不做物理删除,否则引用该编码的历史工单与工艺记录会断链。
图 1-2 上排是五态主链与变更回到发布的回边,中部横条列出每次状态迁移必须写入的八项要素,下方是这些记录在评审中的用途。判断留痕是否合格,看的是中部八项是否齐备、记录是否只追加不修改;按主数据编码即可调出该条数据的全部历史迁移,这正是评审所需的证据形态。
图 1-2 主数据五态流程与审批留痕节点。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(2)项主数据要求。
现存主数据绝大部分是历史沉淀下来的,当初并无规范审批流程,记录无法凭空补造。我方采取的办法是追认与补证两步,并且把两者在证据包里分开标识,不混为一谈。
追认是对现行有效的历史主数据,由归口部门按当前标准做一次性确认,形成《历史主数据追认清单》,清单本身即一条有审批人、审批时间与审批意见的流程记录,记录类型标为「历史追认」。补证是对有原始依据可查的主数据,把原始依据(立项文件、图纸签发记录、合同、入库单等)作为附件挂到主数据上,记录类型标为「依据补录」。
两类记录与新建主数据的「正常流程」记录在证据包中分列统计。DCMM 评审时呈现的是真实状况:哪些有完整流程、哪些是追认、哪些有原始依据,而不是一份看起来全部合规、实际无法回溯的台账。追认与补证的覆盖比例按主数据域分别设定目标,首年以物料、工序、设备三个与数据集加工直接相关的域为重点,逐步接近全部现行有效主数据;未完成的域在诊断报告中列明并排入下一阶段。
编码规则按「分类码+流水码」设计,分类码表达稳定属性,流水码不承载含义。这样做的理由是:把可变属性编进码里,属性一变就要改码,改码会打断历史引用。规格、材质、供应商一类会变的属性放在属性字段里,不进编码。
编码规则的具体位数与分类层级在现状评估阶段依据甲方现行编码体系确定,原则是尽量沿用现行有效编码、减少换码带来的历史数据映射成本。需要换码的,在标准映射对照表中保留新旧编码对应关系,历史数据按对应关系归一,原码作为别名保留可查。
招标文件要求明确参考数据的管理范围并识别各类参考数据的取值范围(b1280)(b1281)。参考数据与主数据的区别在于:主数据是业务实体,参考数据是对实体属性取值的约束集合。物料是主数据,物料分类代码是参考数据;设备是主数据,设备状态代码是参考数据。
本项目将参考数据按来源分三类管理,管控强度不同。
第一类是国家标准与行业标准代码。例如钢材牌号、焊接方法代码、计量单位、行政区划、币种。这类代码直接采用标准发布版,企业不自行增删,标准更新时按版本替换,替换过程保留旧版映射。
第二类是行业通用但无强制标准的代码。例如煤矿工作面类型、刮板输送机机型档位、链条规格档位。这类代码由我方整理候选集合,由甲方技术部门核定后作为企业参考数据发布。
第三类是企业自定义代码。例如工序代码、缺陷类型代码、不合格品处置方式、炉型代码、班组代码。这类代码数量最多、变化最频繁,也是数据集标签体系的直接依据,管控要求最严。
表 1-3 列出参考数据的首批管理清单示例,实际清单在现状评估阶段依据系统字典盘点结果确定。
表 1-3 参考数据首批管理清单(示例,实际范围以现场盘点为准)
| 参考数据名称 | 来源类别 | 取值范围识别方式 | 关联业务域 | 预估码值数量 |
|---|---|---|---|---|
| 工序代码 | 企业自定义 | 总工艺路线与各车间卡片取并集后归一 | 生产制造 | 备料 28 道,全工序约 120 |
| 钢材材质牌号 | 国家标准 | 按现行牌号标准取值,企业在用子集 | 采购管理、生产制造 | 约 60 |
| 缺陷类型代码 | 企业自定义 | 质量管理系统缺陷描述文本聚类后核定 | 质量管理 | 约 80 |
| 不合格品处置方式 | 企业自定义 | 协同办公不合格品票流转选项 | 质量管理 | 约 10 |
| 工作面类型 | 行业通用 | 超长、常规、大采高、薄煤层等 | 营销管理、研发设计 | 约 8 |
| 机型与槽宽档位 | 行业通用 | 企业现行产品谱系 | 研发设计 | 按现行产品谱系逐档核定后登记,新机型投产时随谱系变更增补 |
| 链条规格档位 | 行业通用 | 链环直径与强度等级组合 | 研发设计 | 按现行产品谱系的链环直径与强度等级组合逐档核定后登记 |
| 炉型代码 | 企业自定义 | 热处理群控系统炉台台账 | 设备管理、生产制造 | 约 20 |
| 设备状态代码 | 企业自定义 | 设备管理系统状态字典 | 设备管理 | 约 12 |
| 检验项目代码 | 企业自定义 | 质量管理系统检验项字典 | 质量管理 | 约 200 |
| 计量单位 | 国家标准 | 按法定计量单位,企业在用子集 | 全域 | 约 40 |
| 库存状态代码 | 企业自定义 | 仓储管理系统状态字典 | 仓储物流 | 约 10 |
取值范围不是拍出来的,是从现存数据里查出来、再由业务核定的。我方对每一类参考数据执行三步。
第一步是字典抽取。从源系统的字典表、下拉选项、枚举常量中抽取已定义的码值集合。
第二步是实际取值扫描。对业务表中该字段的实际取值做去重统计,统计结果与字典对照,得到三类差异:字典中有但实际未使用的码值、实际使用但字典中没有的码值(多为自由文本或历史脏值)、实际使用频次极低的码值。第三类往往是录入错误,需要逐一判定。
第三步是业务核定。把三类差异提交归口部门,确认哪些码值保留、哪些归并、哪些废止。核定结论形成代码值域字典的正式版本,同时产生两项副产物:废止码值的归并映射关系进入标准映射对照表,自由文本到标准码值的映射规则进入数据加工的清洗逻辑。
缺陷类型代码是这一方法价值最明显的例子。甲方质量管理系统中缺陷描述为自由文本,未与工艺参数关联。按上述三步,先对历史缺陷描述文本做聚类,得到候选缺陷类型,再由质量部门核定为代码体系,然后把历史文本按映射规则归一到代码。归一之后,缺陷才能作为标签与焊接参数流、热处理炉次档案对齐,质量类数据集的标注才有依据。
代码值域字典按表 1-4 的结构维护。字典与数据元标准通过「值域引用」关联:数据元标准中声明该数据元引用哪一张码表,码表更新时所有引用该码表的数据元同步生效,不必逐个修改。
表 1-4 代码值域字典字段结构
| 字段 | 说明 |
|---|---|
| 码表标识 | 全局唯一编号 |
| 码表名称 | 正式名称,引用术语标准 |
| 来源类别 | 国家标准/行业通用/企业自定义 |
| 标准依据 | 国标或行标编号与版本;企业自定义填制定依据 |
| 码值 | 代码值,定长或变长按码表声明 |
| 码值名称 | 中文名称 |
| 码值定义 | 该码值的判定边界 |
| 上级码值 | 多层码表的父节点 |
| 启用状态 | 启用/停用/归并至 |
| 归并目标 | 停用码值归并到哪个码值 |
| 生效与失效时间 | 支持按时点回放历史取值 |
| 归口部门 | 按码表所属业务域对应的招标方归口部门填写,随码表发布登记 |
| 版本 | 码表版本号 |
码表变更走数据标准管理办法规定的变更流程。变更申请须附影响评估:哪些系统字段引用了该码表、哪些质量规则以该码表为值域、哪些指标以该码值为维度。影响评估由治理平台依据映射对照表与元数据血缘自动生成初稿,由申请人补充业务影响后提交评审。
招标文件要求针对核心业务域制定数据元定义标准,明确数据元标识、名称、定义、类型、格式、值域等规范(b1282)(b1283)。本项目的数据元标准按 GB/T 18391 数据元规范的思路组织,每个数据元的属性集合见表 1-5。
表 1-5 数据元标准属性集合
| 属性 | 规范要求 | 示例(示意) |
|---|---|---|
| 数据元标识 | 域代码+类别码+序号,全局唯一 | DE-MFG-0412 |
| 数据元名称 | 「对象类+特性+表示」三段式,引用术语标准 | 炉次_装炉量_数值 |
| 业务定义 | 一句话说明边界,不举例替代定义 | 单一炉次一次性装入炉膛的工件重量合计 |
| 数据类型 | 整型/小数/字符/日期/日期时间/布尔/二进制 | 小数 |
| 格式与精度 | 长度、小数位、日期格式、编码格式 | 10 位,2 位小数 |
| 计量单位 | 引用计量单位码表 | kg |
| 值域 | 枚举型引用码表标识;数值型给上下限 | 大于 0,不超过炉膛额定装载量 |
| 允许空值 | 是/否,否则说明默认值来源 | 否 |
| 唯一性 | 是否参与业务唯一键 | 否 |
| 敏感级别 | 引用数据安全分级标准 L1–L5 | L2-内部 |
| 来源系统与字段 | 对应的物理落点,可多条 | 热处理群控系统炉次表装炉重量字段 |
| 质量规则 | 绑定的校验规则标识 | QR-MFG-0233、QR-MFG-0234 |
| 归口部门 | 定义解释责任部门 | 按数据元所属业务域对应的招标方归口部门填写,随数据元发布登记 |
| 版本与状态 | 草案/发布/修订/停用 | 发布 V1.0 |
这张表里有三个字段是把数据元标准与其他治理域串起来的关键。敏感级别把数据元接到安全分级标准,使权限与脱敏策略可以按字段粒度下发。质量规则把数据元接到校验规则库,数据元一发布,与之绑定的规则即进入稽核调度。来源系统与字段把数据元接到标准映射对照表与元数据血缘。没有这三个字段,数据元标准就只是一本不生效的词典。
数据元不追求把所有字段都标准化,那样投入大而收效低。本项目按两条判据筛选核心数据元:被两个以上系统或两个以上场景共同使用的字段,以及四类数据集加工所直接依赖的字段。
表 1-6 按业务域给出数据元的重点范围与估算条目数。估算依据是各域主干业务表的字段规模与跨系统引用情况,实际条目数在现状评估的数据资产盘点完成后确定。
表 1-6 各业务域核心数据元重点范围与估算条目
| 业务域 | 数据元重点范围 | 估算条目 |
|---|---|---|
| 研发设计 | 图号、版本、零部件标识、材质、规格参数、展开长、材料定额、借用关系、工作面工况参数 | 约 180 |
| 生产制造 | 施工号、工单号、工序代码、工艺卡片号、设备编码、工装与压模号、工时定额、报工时间、炉次号、装炉量、设定与实际温度、焊道标识、焊接参数 | 约 320 |
| 质量管理 | 检验项编码、检验结论、实测值、关键工序标识、重要尺寸、缺陷类型、不合格品票号、处置方式、复检结论 | 约 210 |
| 仓储物流 | 物料编码、批次号、库位、库存数量、项目占用、出入库时间与类型、呆滞标识 | 约 130 |
| 采购管理 | 供应商编码、采购订单号、到货批次、材料来源厂家、采购价格、采购周期 | 约 110 |
| 设备管理 | 设备编码、测点标识、测点类型、采样周期、报警记录、维修工单、备件编码、运行状态 | 约 160 |
| 营销管理 | 客户编码、矿方项目标识、商机编号、销售预测、合同标识、交付节点 | 约 90 |
| 财务管理 | 科目编码、成本中心、费用类型、物料价格、项目成本归集、结算状态 | 约 100 |
| 人力资源 | 组织编码、岗位编码、人员标识、技能与资质、班组、排班 | 约 70 |
合计约 1370 条。这个量级与九个业务域、十余套源系统的规模相称;若现状评估后实际筛出的条目数显著低于此,说明筛选判据执行偏严,须复核是否漏掉了跨场景共用字段。
一个数据元可以对应多个系统的多个物理字段,这是现状的常态而非例外。装炉量在热处理群控系统、物联网与设备数据平台、制造执行系统里可能各有一个字段,名称、单位、精度都未必一致。映射要记录的不只是对应关系,还有转换规则。
映射关系的记录结构见本章第 8 节标准映射对照表。需要在此说明的是三类转换:单位换算(吨与千克)、精度取舍(保留两位小数的规则是四舍五入还是截断)、口径差异(装炉量是否含工装夹具重量)。第三类最容易被忽略,而它导致的数值差异远大于前两类。映射评审时,口径差异必须由业务部门明确取哪一个口径为标准口径,其余口径的数据按换算规则归一或标记为不可比。
招标文件要求制定指标标准,明确指标业务含义、统计口径、计算逻辑、维度与数据来源(b1284)(b1285)。这四项要素对应指标卡的四组字段。本项目把指标按原子指标、派生指标、复合指标三层组织,分层的作用是把口径冲突收敛到最底层解决。
原子指标是不可再分解的度量,直接对应一个数据元的聚合,例如「入库数量」「报工工时」「检验不合格件数」。原子指标的口径由其引用的数据元与聚合方式唯一确定。
派生指标是原子指标加上限定条件与时间周期,例如「本月备料工序报工工时」「钢材类物料当期入库数量」。限定条件只能引用已登记的维度与码值。
复合指标是多个原子或派生指标的运算结果,例如「库存周转天数」「一次交检合格率」。复合指标必须写明分子、分母各自引用哪个下层指标,以及分母为零时的取值约定。
这样分层之后,「库存周转」口径之争就落到可以讨论的位置上:争的不是指标本身,而是分母引用的是「期初期末平均库存金额」还是「期末时点库存金额」,是否扣除「项目占用库存」。两个口径都可以保留,但必须是两个不同标识、不同名称的指标,不能共用一个名字。
图 1-3 指标三层结构与口径向下追溯路径。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(5)项指标数据要求。
表 1-7 给出指标卡的字段结构。一张指标卡填完,招标文件要求的业务含义、统计口径、计算逻辑、维度与数据来源四项要素即齐备。
表 1-7 指标卡字段结构
| 字段组 | 字段 | 规范要求 |
|---|---|---|
| 标识 | 指标标识、指标名称、英文简称 | 名称引用术语标准,同一名称不得对应两套口径 |
| 标识 | 指标层级 | 原子/派生/复合 |
| 业务含义 | 业务定义、业务用途、责任部门、关注人 | 说明这个数该给谁看、用来判断什么 |
| 统计口径 | 统计范围、剔除条件、时点与周期、币种与单位 | 剔除条件逐条列明,不写「等」 |
| 计算逻辑 | 计算公式、引用下层指标、分母为零约定、取整与精度 | 公式以指标标识书写,不写自然语言描述 |
| 维度 | 支持维度清单、维度层级、默认维度 | 维度取值引用码表标识 |
| 数据来源 | 来源指标或数据元、来源系统、数据延迟、数据起始时间 | 延迟写明是 T+1 还是实时 |
| 质量约束 | 依赖的质量规则、置信标记规则 | 来源数据未通过质量门限时的标记方式 |
| 版本 | 版本号、生效时间、变更记录 | 口径变更须新版本,历史口径保留可回放 |
「质量约束」一组字段回应的是甲方数据质量不均的现状。各系统数据质量参差,指标不能假定输入一律可用。指标卡声明依赖的质量规则后,指标计算时若来源数据未通过对应质量门限,指标值随附置信标记,在决策数据问答一类场景中随答案一并呈现。这一机制的回退路径是:数据质量不足以支撑该指标时,指标状态置为「暂不发布」,而不是给出一个看不出问题的数。
招标文件在数据治理服务的总体要求中提出同步构建决策数据指标体系(b1225),并在通用场景中说明决策数据问答助手基于九个业务域与一套决策指标体系作答(b1759)。指标标准是这套体系的规范基础:决策指标体系中的每一个指标都须有指标卡,口径可向下追溯到数据元与源字段。
决策指标体系的指标选取、分层设计与问答场景的交互设计,在技术方案「五个通用场景验证方案」一节论述。本节交付的是指标标准与指标卡规范,两者的接口是指标卡:本节定义卡的结构与评审发布流程,场景侧按结构填卡并提出指标需求。
首批指标按九个业务域核定,规模估算见表 1-8。估算口径是每个业务域的核心管理关注点对应 8 至 20 个复合指标,每个复合指标平均牵出 2 至 4 个派生指标与 1 至 3 个原子指标。
表 1-8 首批指标规模估算
| 业务域 | 原子指标 | 派生指标 | 复合指标 | 小计 |
|---|---|---|---|---|
| 研发设计 | 14 | 20 | 10 | 44 |
| 生产制造 | 26 | 42 | 20 | 88 |
| 质量管理 | 20 | 32 | 18 | 70 |
| 仓储物流 | 16 | 26 | 14 | 56 |
| 采购管理 | 14 | 22 | 12 | 48 |
| 设备管理 | 16 | 24 | 12 | 52 |
| 营销管理 | 12 | 18 | 10 | 40 |
| 财务管理 | 16 | 24 | 14 | 54 |
| 人力资源 | 10 | 14 | 8 | 32 |
| 合计 | 144 | 222 | 118 | 484 |
首批指标的筛选以决策数据问答场景的实际问句为线索:场景侧整理高频业务问句,逐句判断回答该问句需要哪些指标,由此得到的指标清单比自上而下设计的指标体系更贴合实际使用。未被问句牵出但管理上必需的指标另行补充。
标准映射对照表是五类标准与物理数据之间唯一的连接件,也是招标文件要求的六份输出之一(b1286)(b1287)。结构见表 1-9。
表 1-9 标准映射对照表字段结构
| 字段 | 说明 |
|---|---|
| 映射标识 | 全局唯一编号 |
| 标准类型 | 术语/主数据/参考数据/数据元/指标 |
| 标准项标识 | 对应的术语标识、主数据域、码表标识、数据元标识或指标标识 |
| 源系统 | 系统名称与环境标识 |
| 源对象 | 库、表或接口名称 |
| 源字段 | 字段名与原始类型 |
| 映射类型 | 直接对应/单位换算/值域归一/口径换算/拆分/合并/不可比 |
| 转换规则 | 换算公式、归一映射表、拆分合并逻辑 |
| 口径说明 | 与标准口径的差异描述 |
| 质量规则 | 该映射上绑定的校验规则标识 |
| 责任部门 | 源系统业务归口部门 |
| 生效状态 | 生效/待评审/已失效 |
| 版本 | 映射版本与变更记录 |
「不可比」是一个必要的映射类型。有些源字段与标准项在业务口径上确实无法换算——例如某系统的装炉量含工装夹具重量而标准口径不含,且该系统未单独记录夹具重量。这种情况下不应强行换算,而应标记为不可比,使用方据此决定是否采用该来源。把不可比的数据强行归一,错误会沉默地传到数据集与指标里。
标准发布之后要真正生效,需要四个入口上的机制,缺一个标准就会停在纸面上。
第一个入口是新建与改造系统的设计评审。数据模型设计、接口契约设计提交评审时,核对字段是否引用已发布数据元、枚举字段是否引用已发布码表、指标是否有指标卡。不一致的须在评审意见中说明理由并记录为例外,例外清单定期复核。
第二个入口是存量系统的改造清单。现状评估识别出的标准不一致项按影响面与改造成本排序,形成分批改造清单。排序原则是:影响四类数据集加工的优先、跨系统关联所必需的优先、改造只涉及汇聚层配置的优先于需要改动源系统的。
第三个入口是数据加工的入口校验。数据汇聚与加工任务在读入数据时按数据元标准做类型、格式、值域校验,按码表做值域归一,不符合的记录进入质量问题台账并按规则严重级决定是阻断任务还是标记放行。这是标准生效最强的一个入口,因为它直接作用在数据流上。
第四个入口是质量规则绑定。数据元标准中的类型、格式、值域、允许空值、唯一性五项属性可直接生成对应的质量校验规则,由治理平台自动派生规则草案,由数据质量管理员确认后入规则库。标准一发布,规则即生效,两者不会脱节。
标准会变,变更管理的要求是让变更可控、可追溯、可回放。
变更申请须附影响评估,评估内容由治理平台依据映射对照表与元数据血缘自动生成初稿:哪些系统字段、哪些质量规则、哪些指标、哪些数据集加工任务引用了待变更的标准项。申请人在初稿基础上补充业务影响与过渡安排。
变更按影响面分三级审批。只影响单一业务域、不改变值域的,由该域归口部门审批;跨业务域或改变值域的,由数据治理管理层审批;涉及主数据编码规则或指标口径的,由数据治理决策层审批。审批层级的组织设计在「数据治理一」一节论述。
标准发布采用版本与基线机制。每次发布形成一个版本,重要节点(如 DCMM 评审前、年度审计前)固化为基线。数据集加工与指标计算记录所依据的标准版本号,使历史结果可按当时的标准版本回放。这一点对数据集的可追溯性尤其重要:一份两年前加工的数据集,其标签体系依据的码表版本必须可查,否则无法解释标签含义的变化。
五类标准要落到可执行的程度,每一类都须把六件事定下来:管哪些业务对象、这些对象的字段字典长什么样、校验规则怎么写、谁审批、在平台上怎么配置、出了异常怎么处置、版本怎么变。表 1-10 按标准类别逐项列出,表中各项即为《数据标准管理办法》的条款来源。
表 1-10 数据标准域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 业务术语:工序、施工号、炉次、焊道、不合格品等九域业务概念 | 术语标识、中文名、英文名、定义、同义词、所属业务域、归口部门、状态、启用日期 | 同一业务域内不得有两条语义相同的术语同时处于启用状态;术语定义中引用的其他术语须均已发布 | 业务域归口部门起草,数据标准管理员审核体例与重复性,数据治理管理层批准发布 | 术语库按业务域分权维护,草案态与发布态分库,发布态只读;术语标识在数据元、指标卡中以引用方式关联 | 发现同义重复的,择一为主术语,其余转为同义词并指向主术语;引用方不改写,由平台按同义关系解析 | 定义修订升次版本;术语合并或废止升主版本,废止术语保留条目并标注替代项与废止日期 |
| 主数据:物料、设备与测点、供应商、客户与项目、组织与岗位 | 主数据编码、名称、分类、关键属性集、生效区间、来源系统、责任人、审批记录标识、状态 | 一物一码,同一物料不得存在两条有效编码;编码须符合该域编码规则;关键属性不得为空 | 业务部门申请,归口部门审核,主数据管理员发布,相关系统回执确认同步完成 | 按对象建模,新增、变更、冻结、启用、作废五类流程分别配置审批链与必填项;分发通道按系统订阅配置 | 重码按保留规则合并,建立旧码到新码的映射并保留旧码为历史态,下游按映射改读而非删除旧码 | 属性新增升次版本;编码规则调整升主版本并同时出具存量数据的迁移方案与回退方案 |
| 参考数据与代码值域:材质牌号、缺陷类型、工序代码、计量单位等码表 | 码表标识、码值、码名、定义、上级码值、启用状态、归并关系、适用系统、归口部门 | 取值须落在启用码值集合内;归并后的旧码值不得用于新增记录;层级码表的上级码值须存在 | 归口部门提报码值,数据标准管理员审核,发布后通知引用系统并确认生效 | 码表集中维护、各系统订阅取用,不允许系统本地扩码;值域校验规则在码表发布时自动派生 | 超出码表的取值先进待归并清单,核定后归并到既有码值或新增码值,期间相关记录按非标标注并计入质量缺口 | 新增码值升次版本;码值含义变更一律新增码值,不修改既有码值的含义,避免历史数据被追溯改写 |
| 数据元:九个业务域核心业务对象的字段级定义 | 数据元标识、中文名、定义、数据类型、长度与精度、值域、计量单位、允许空、归口部门 | 物理字段的类型、长度、值域须与所引数据元一致;同一业务含义的字段不得引用两个数据元 | 归口部门起草,数据标准管理员审核,发布后进入映射登记环节 | 数据元库与标准映射登记联动,发布时自动派生空值、格式与值域三类校验规则并下发稽核 | 一字段映射到两个数据元的,由数据标准管理员裁决保留项并记录裁决理由;无对应数据元的字段新建草案 | 值域扩充升次版本并重派生规则;数据类型或计量单位变更升主版本,变更前出具下游影响评估 |
| 指标:九域管理指标与决策指标体系 | 指标标识、名称、业务定义、计算口径、统计维度、计量单位、刷新频率、来源数据元、归口部门 | 同名不同口径的指标不得同时发布;统计维度取值须引用已发布码表;来源数据元须均已发布 | 业务部门提报,指标归口部门核定口径,数据标准管理员发布 | 指标卡的计算公式以指标标识书写并由平台翻译为计算逻辑,不由开发人员按文字描述自行实现 | 口径未达成一致的指标置为暂不发布并进入口径裁决清单,按月提交数据治理管理层裁决 | 口径调整升主版本,历史数据是否重算在变更申请中逐项明确;指标废止保留条目并标注替代指标 |
| 标准映射对照表:标准项到物理字段的落地登记 | 标准项标识、源系统、物理表、物理字段、转换规则、核定人、核定日期、差异说明、状态 | 已汇聚数据对象中加工所依赖的字段须登记完整;一个物理字段只保留一条有效映射 | 平台自动推荐,业务域归口部门确认,数据标准管理员登记入册 | 按字段名与类型相似度自动推荐候选映射,确认权在人;推荐准确率按批统计并用于调优 | 无对应标准项的字段新建数据元草案并按非标标注使用,列入下批标准化范围 | 源字段结构变更触发映射复核,复核结果以新版本登记,旧版本保留以支撑历史数据的口径还原 |
表中「异常处置」一列遵循同一条原则:异常不以删除或覆盖的方式消解,而是以归并、映射、标注三种方式保留痕迹。历史数据的口径还原依赖这些痕迹,删掉旧码值或旧映射,三年前的样本就无法解释。
表 1-11 列出本章对应的交付物与验收口径,对应招标文件要求输出的六份成果(b1286)(b1287)。
表 1-11 数据标准规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据标准管理办法 | 五类标准的制定、评审、发布、变更、废止程序;组织与职责;版本与基线规则 | 经甲方数据治理管理层评审通过并以企业文件形式发布 |
| 业务术语标准 | 九业务域术语卡,首批不少于 600 条 | 抽样 200 项业务字段,术语覆盖率不低于 75% 并逐步提高,门限见表 1-12、测法见表 1-13;未覆盖项入下批清单 |
| 参考数据标准 | 参考数据管理范围、三类来源的管控要求 | 首批管理清单经归口部门逐项核定 |
| 代码值域字典 | 各码表的码值、定义、层级、启用状态与归并关系 | 码表与源系统实际取值的差异项逐条有核定结论 |
| 数据元标准 | 核心业务域数据元属性集合,估算约 1370 条 | 四类数据集加工所依赖字段的数据元覆盖率逐步接近全部,缺口在月度例会列明 |
| 指标标准 | 指标卡规范与首批约 484 个指标 | 发布指标的口径可向下追溯到数据元与源字段;同名不同口径的指标为零 |
| 标准映射对照表 | 标准项到物理字段的映射与转换规则 | 已汇聚数据对象的映射登记完整,口径差异项有业务核定结论 |
上述验收口径中,凡以比例表述的均为招标文件未规定的过程优化目标,一律配基线、分期目标与回退安排:基线为首批发布时的实测值,目标按期段逐级提高并写入项目质量计划,未达期段目标的在数据治理月度例会上列明缺口、责任部门与补齐计划,相关数据集加工任务按置信标记降级输出而非停止,避免治理进度直接阻断数据集交付。招标文件已明定的指标不在此列,按招标要求的原值承诺并纳入验收。
这些比例口径中带具体量值的是术语覆盖率一项,量值 75% 由我方设立。两类量值的处理方式在此一并写明:招标文件给定量值的,承诺值取条款值本身,口径不改写、量值不下调;条款未给量值的,由我方设立承诺值,并连同设立依据、测量方法与未达标处置一并给出,属对招标要求的补充量化,不替代、不改写招标文件的任何一条要求。表 1-12 定数,给出招标值、承诺值与设计值三列——承诺值是写入验收记录的判据,设计值是我方编制排期与资源配置所依据的内部目标,高于承诺值,为滚动补充留出余量。表 1-13 定判法,把「怎么测、多久测一次、怎么算、不达标怎么办」四件事逐列钉死,验收时照该行走一遍即可,不必临时商定算法。
表 1-12 术语覆盖率的招标值、承诺值与设计值(招标值抄录招标文件 b1277;承诺值与设计值为我方设立)
| 指标项 | 招标值 | 承诺值(首期基线) | 设计值(趋向) | 设立依据 |
|---|---|---|---|---|
| 业务字段术语覆盖率 | 条款未给量值,仅要求术语在业务文档、系统字段、指标说明三个场合落地 | 首批术语发布时抽样覆盖率不低于 75% | 第二批滚动补充完成后不低于 90%,其后逐批提高并趋向全覆盖 | 首批 600 条术语按九个业务域主干业务对象的字段规模折算,可覆盖数据集加工高频引用的字段;低频字段与临时统计字段留给滚动批次,故首期不按全覆盖取值 |
表 1-13 术语覆盖率的测量方法、频次与计算公式(测法、频次与处置口径为我方设立)
| 测量方法 | 抽样与样本量 | 计算公式 | 判定阈值 | 测量频次 | 证据 | 不达标处置 |
|---|---|---|---|---|---|---|
| 从四类数据集加工当期实际引用的业务字段清单中随机抽样,逐项检索其业务名词在术语标准正式发布版中的登记情况;命中禁用词而未命中正式名称的、以及一个字段对应两条未归并同义词的,均计为未覆盖 | 单轮 200 项;抽样框取奔牛数据智能平台导出的当期字段引用清单,九个业务域按字段引用量配额分配,单域不少于 10 项 | 覆盖率=已登记为正式发布术语的抽样字段数 ÷ 抽样字段总数 × 100%,结果保留一位小数,不做四舍五入进位 | 首批发布时不低于 75%;其后每轮不低于上一轮实测值,并按表 1-12 设计值逐批提高 | 首批术语发布后 10 个工作日内测一轮;此后术语标准每次版本发布后测一轮,当季无版本发布的按季度测一轮 | 抽样字段清单、逐项检索记录、覆盖率计算表,随术语标准对应版本一并归档,验收时可逐项复算 | 未达阈值的,本轮全部未覆盖字段列入下一批编制清单,逐项指定归口部门与补齐时点,补齐后对同一抽样框重测;连续两轮未达的,在数据治理月度例会上列明缺口条目、责任部门与专项补齐计划,并按加大单批编制量或调整域间编制优先级的方式调拨资源;缺口期间相关字段在加工环节按非标术语标注使用并记入标准映射对照表,数据集加工照常推进 |
甲方的数据质量状况可以概括为「量不少、关联少、口径散」,各系统之间的差别很大。企业资源计划系统录入规范相对严格,数据质量较好;制造执行系统中部分工单填写不完整,报工时点相对实际作业有滞后;设备运行数据存在测点缺失与噪声;质量管理系统新上线不久,缺陷描述为自由文本,未与工艺参数关联。
这些状况对四类数据集的影响是直接的,不是间接的。举三个例子。
工单报工时点滞后,意味着以报工时间推算的工序实际耗时不可靠,制造过程类数据集中与节拍、工时相关的样本会带入系统性偏差。缺陷描述未与工艺参数关联,意味着质量类数据集缺少可用的标签来源,焊接与热处理的参数—结果配对样本无法直接构造。测点缺失与噪声,意味着设备健康诊断类样本的输入通道本身需要先做可信度判别,否则学到的是传感器故障而不是设备故障。
所以数据质量规划在本项目中不是一个合规性动作。它要回答的问题是:哪些数据现在就能用、哪些要先修、哪些修不好只能标注为低置信并在数据集加工时降权或排除。这个判断要有规则、有分数、有台账,而不是靠加工人员临场感觉。
本章治理的是九个业务域内业务数据的质量——企业资源计划系统里的物料主数据是否完整、制造执行系统里的工单报工是否及时、质量管理系统里的缺陷描述能否与工艺参数对上。四类高质量数据集本身的质量评测依据《高质量数据集质量评测规范》开展,其指标体系与评测过程在服务方案「数据集质量评测方案」一节论述。两者是供料关系:业务数据的质量决定数据集加工的起点,数据集的评测结论反过来成为业务数据质量规则的修订线索,这条回流通道的接口规定见第 2.7.4 节。
数据质量管理按需求、规则、检查、分析、提升五个环节构成闭环,每个环节有明确的输入输出与责任角色。闭环的驱动来源有两处:常态化的周期稽核,以及数据集加工与场景验证反馈回来的错样归因。第二处驱动是本项目特有的,它把数据集的使用效果变成业务数据质量规则的修订依据。
图 2-1 数据质量治理五环闭环与两处外部驱动。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(1)至(4)项。
招标文件要求梳理各业务域核心数据的质量诉求(b1289)。本项目从两个方向同时推进,单用一个方向都会漏。
自上而下是场景倒推。十一个智能化应用场景与四类数据集对数据各有要求,把这些要求逐条翻译成对具体字段的质量诉求。例如板材备料工艺智能设计场景要求按工艺特征检索可借用的历史工艺,这就要求图号、零件标识、材质、规格参数、工序代码五类字段的完整性与准确性达到可检索的程度;缺失这些字段的历史工艺记录检索不到,等于不存在。
自下而上是现状扫描。对已盘点的数据对象逐字段统计空值率、取值分布、格式符合度、跨系统一致率,把实测结果差的字段列为候选质量问题,再由业务部门判断该字段是否重要。有些字段空值率高但业务上确实不填,不构成问题;有些字段空值率只有百分之几,但它是关联键,缺一条就断一链,优先级反而最高。
两个方向汇合后形成数据质量需求清单。清单的优先级按三条判据排序:是否为跨系统关联键、是否为四类数据集加工的必需输入、问题的业务后果大小。
表 2-1 数据质量需求清单字段结构
| 字段 | 说明 |
|---|---|
| 需求标识 | 全局唯一编号 |
| 业务域 | 九个业务域之一 |
| 数据对象 | 系统、表或业务实体 |
| 数据元标识 | 对应的数据元,引用数据元标准 |
| 质量维度 | 完整性/准确性/一致性/唯一性/及时性/有效性 |
| 质量诉求 | 一句话写明「该字段须达到什么状态」 |
| 诉求来源 | 场景倒推/现状扫描/数据集错样归因/业务提报 |
| 现状实测 | 首次扫描的实测值与扫描日期 |
| 目标值与达成期 | 分期目标,按季度设定 |
| 业务后果 | 不达标时的具体影响 |
| 优先级 | 高/中/低,按三条判据判定 |
| 关联规则 | 由该诉求派生的校验规则标识 |
| 责任部门 | 数据录入或接口提供的责任方 |
清单中「现状实测」与「目标值」两列是后续质量评分的基线来源。目标值按两类分别确定并在清单中分列标注。招标文件已明定的指标按招标要求承诺,直接写入目标值列并纳入验收,不因基线尚未实测而下调、延后或改为区间;首轮扫描的实测值对这一类只用于安排补齐路径,不用于调整目标。招标文件未规定的过程优化目标,由现状调查与首轮基线测试确定分期值,确定后写入项目质量计划,按季考核并在月度例会通报达成情况。两类目标共用同一套评分口径与同一本整改台账,区别只在目标值的来源与可否调整。
招标文件明确遵循完整性、准确性、一致性、唯一性、及时性、有效性六大维度(b1290)。六个维度是通用的,但判定方法必须落到本项目的具体对象上才可执行。表 2-2 给出各维度的判定方法与本项目实例。
表 2-2 六大质量维度的判定方法与本项目实例
| 维度 | 判定方法 | 本项目实例 |
|---|---|---|
| 完整性 | 必填字段非空率;记录级与关联级的齐备性 | 工单的工序代码、设备编码、报工时间三项必须齐备;热处理炉次必须有装炉工件清单;焊接参数流必须能对应到焊道标识 |
| 准确性 | 与权威源比对;与物理约束比对;与业务规则比对 | 展开长与按中性层公式计算值的偏差;实测温度不超过炉膛额定上限;物料价格与采购订单价一致 |
| 一致性 | 跨系统同一事实的取值比对;同一记录内字段间逻辑自洽 | 物料库存在企业资源计划、仓储管理、实物盘点三方的数量一致;工单完工时间不早于开工时间 |
| 唯一性 | 业务唯一键去重;近似重复识别 | 施工号唯一;同一图号同一版本的工艺卡片不应有两条有效记录;物料编码不得一物多码 |
| 及时性 | 数据产生到可用的时延;更新频率符合约定 | 报工数据在班次结束后约定时限内到达;设备时序数据按秒级采样不缺段;检验记录在交检后约定时限内录入 |
| 有效性 | 格式符合、值域符合、引用完整 | 材质牌号在钢材牌号码表内;缺陷类型在缺陷类型码表内;供应商编码在供应商主数据中存在 |
「准确性」一列中「与物理约束比对」这一条对本项目的设备与工艺数据特别有效,但物理约束不写成普适断言,而是按工艺阶段、测点位置、仪表量程与有效运行状态分别给出合理上下限,并为冷却、停机、检修与环境变化这类合法状态设定适用条件,否则正常工况会被大量误判。
以热处理炉温为例。规则只在该炉次处于加热段或保温段、且该测点在测点台账中标记为有效时启用;上限取该炉型的额定炉温并计入仪表允差,下限取该工艺阶段的工艺下限,两端均不超出仪表量程。炉次处于冷却段、停机状态,或测点标记为检修、失效、未接入时,规则不启用,改由分布与连续性检查判别该测点是否断链、卡死或漂移。读数低于环境温度时不直接判为数据错误,先比对同炉次相邻测点与同时段的环境温度记录:三者同向变化的按环境变化处理并记为正常,仅该测点偏离的才判为测点故障,标记可信度下降并进入测点整改清单。
链条安全系数、装炉量、焊接电流三类规则按同一办法设限。安全系数的下限取设计校核的许用值,上限取校核模型的适用范围;装炉量的上限取该炉型的额定装载量,下限按该炉次的最小经济装载量设定并允许试制炉次例外;焊接电流的上下限取该焊接工艺规程规定的参数窗口与设备输出能力的交集,引弧与收弧时段按瞬态窗口单独设限。三类规则均只在工艺执行记录标记为正常作业的时段内启用,试制、调试、空载与停机时段不参与判定。这类规则不依赖外部权威源,只依赖已登记的设备参数与工艺规程,编写成本低而捕获的错误往往是录入或采集通道的硬故障。规则所引的参照参数(额定值、量程、工艺窗口、许用值)作为规则元数据登记,与设备台账、工艺规程的版本绑定;参照参数或其版本变更时,引用它的规则自动进入复核队列,复核通过后随新版本生效,复核未完成期间按原版本继续运行并标注待复核。
规则库按十类规则模板组织。模板化的作用是让规则编写不依赖编程能力:数据质量管理员选模板、填参数即可生成规则,复杂逻辑才写表达式。
表 2-3 校验规则十类模板
| 模板类型 | 参数 | 对应维度 | 典型用途 |
|---|---|---|---|
| 空值检查 | 对象、字段、允许空值条件 | 完整性 | 必填字段非空 |
| 值域检查 | 对象、字段、码表标识或数值上下限 | 有效性 | 材质牌号、缺陷类型在码表内 |
| 格式检查 | 对象、字段、正则或日期格式 | 有效性 | 图号格式、日期格式 |
| 唯一性检查 | 对象、唯一键字段组合 | 唯一性 | 施工号、物料编码 |
| 引用完整性检查 | 对象、外键字段、被引对象与键 | 有效性 | 工单引用的设备编码在设备主数据中存在 |
| 跨系统比对 | 两侧对象、关联键、比对字段、容差 | 一致性 | 三方库存数量比对,容差按计量精度设定 |
| 逻辑自洽检查 | 对象、字段间约束表达式 | 一致性 | 完工时间不早于开工时间 |
| 物理约束检查 | 对象、字段、约束表达式、参照参数、适用工艺阶段与有效状态条件 | 准确性 | 加热段与保温段的炉温在额定上限与工艺下限之间;装炉量不超过炉膛额定装载量 |
| 时效检查 | 对象、时间字段、约定时限 | 及时性 | 报工在班次结束后约定时限内到达 |
| 分布与连续性检查 | 对象、字段、基线分布或采样周期 | 准确性、及时性 | 时序数据缺段识别、取值分布突变识别 |
最后一类规则对设备时序数据不可缺。测点断链、漂移与失效在固定阈值下不会报警,但在分布与连续性检查下可以识别:采样间隔突然变长说明断链,取值长期恒定不变说明可能卡死,均值缓慢单向偏移说明可能漂移。识别结果不直接判为设备故障,而是标记为测点可信度下降,供设备健康诊断类样本的构造使用。
表 2-4 校验规则元数据结构
| 字段 | 说明 |
|---|---|
| 规则标识 | 全局唯一编号 |
| 规则名称 | 一句话说明检查什么 |
| 规则模板 | 十类模板之一;自定义规则标为表达式型 |
| 质量维度 | 六维度之一 |
| 检查对象 | 系统、表、字段或接口 |
| 关联数据元 | 引用数据元标准 |
| 规则参数或表达式 | 模板参数值或 SQL/表达式 |
| 阈值 | 通过门限,例如非空率不低于某值 |
| 严重级 | 阻断/告警/提示 |
| 触发方式 | 入口校验/周期稽核/按需稽核 |
| 执行频率 | 实时/T+1/周/月 |
| 责任部门 | 问题分派的默认责任方 |
| 来源 | 标准派生/需求清单/错样归因/业务提报 |
| 启用状态 | 启用/停用/观察期 |
| 版本 | 规则版本与变更记录 |
严重级的三档区分很重要,它决定了规则对业务的影响程度。阻断级规则不通过则数据不进入加工链路,适用于关联键缺失、唯一性冲突一类会导致下游错误的问题。告警级规则不通过则数据带标记进入,适用于非关键字段缺失、取值分布异常一类问题。提示级规则仅记录,用于观察期的新规则。
新规则一律先进观察期。观察期内规则按提示级运行两到四周,统计其触发量与误报率,误报率高的规则回炉修改。这个安排的理由是:规则直接上阻断级会造成大量任务失败,运维成本高且会削弱业务部门对治理工作的配合意愿。
规则库的规模同时决定三件事:规则编制的工作量与排期、稽核任务的调度容量与执行窗口、数据质量管理岗的人力配置。因此在规则模板与元数据结构确定之后,先给出一份可据以排期的规模估算。
估算方法是自下而上折算,不取经验总数。以各业务域已识别的数据元条数为底,按六个维度对该域字段的适用比例逐项折算:完整性与有效性几乎对每个字段都适用,故两列数值最高;唯一性只对业务主键与编码类字段适用,及时性只对有时限约定的对象适用,故两列数值最低;一致性取决于该域有多少同一事实被两个以上系统并行记录。跨系统比对与物理约束两类规则不由单字段派生,按已识别的跨系统关联点与设备工艺参数条目单独计入。
表 2-5 的行给出各业务域的编制工作量与责任分摊,列给出该域的治理重点落在哪个维度,末行合计是首批建设的排期依据。表中数值为规划阶段的估算值,现状评估完成、数据元清单核定后按实际条数修订。
表 2-5 校验规则库首批规模估算
| 业务域 | 完整性 | 准确性 | 一致性 | 唯一性 | 及时性 | 有效性 | 小计 |
|---|---|---|---|---|---|---|---|
| 研发设计 | 42 | 26 | 18 | 10 | 6 | 38 | 140 |
| 生产制造 | 76 | 52 | 40 | 16 | 22 | 64 | 270 |
| 质量管理 | 50 | 34 | 26 | 12 | 14 | 46 | 182 |
| 仓储物流 | 30 | 18 | 24 | 10 | 10 | 26 | 118 |
| 采购管理 | 26 | 16 | 14 | 8 | 6 | 22 | 92 |
| 设备管理 | 36 | 30 | 16 | 8 | 20 | 30 | 140 |
| 营销管理 | 22 | 12 | 10 | 6 | 4 | 18 | 72 |
| 财务管理 | 24 | 18 | 16 | 6 | 6 | 20 | 90 |
| 人力资源 | 16 | 8 | 8 | 4 | 2 | 14 | 52 |
| 合计 | 322 | 214 | 172 | 80 | 90 | 278 | 1156 |
规则数量与数据元数量大体成一比一的量级关系:约 1370 条数据元派生出约 1156 条规则,再加上跨系统比对与物理约束一类不由单字段派生的规则。生产制造域规则最多,因为该域字段最多、时序数据与跨系统关联最密集。
招标文件要求基于规则库开展数据质量稽核、调度执行多源数据校验、快速定位质量异常数据(b1291)(b1292)。本项目的稽核按三种方式触发。
入口校验在数据汇聚与加工任务读入数据时同步执行,针对的是单条记录可判定的规则——空值、格式、值域、引用完整性。入口校验的优点是问题在进入加工链路前就被拦住,缺点是只能做记录级判断,跨系统比对与分布检查做不了。
周期稽核按调度计划批量执行,针对的是需要全量或大范围数据才能判定的规则——唯一性、跨系统比对、分布与连续性、及时性。周期稽核的频率按数据更新节奏设定:工单与报工类 T+1,库存三方比对每周,主数据一致性每月,设备时序连续性按日。
按需稽核由数据质量管理员或数据集加工人员手工发起,针对特定对象做专项检查。典型场合是数据集加工前对本批次取数范围做一次定向稽核,以及质量问题整改后的复核。
图 2-2 质量稽核的三种触发方式与异常定位链路。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(2)项数据质量检查要求。
多源校验是本项目质量检查中技术含量最高、业务价值也最直接的部分。它要解决的是跨系统追一件事需要人工对账的现状。
多源校验的前提是关联键贯通。没有稳定的关联键,两个系统的数据无法自动比对。本项目的关联键按业务对象确定:施工号关联项目与工单,图号与版本关联设计与工艺,物料编码与批次关联库存与采购,工单号与工序代码关联制造与质检,设备编码与测点标识关联设备与时序数据,炉次号关联热处理与检验结果。关联键的贯通工作与主数据标准建设同步进行。
首批多源校验的对口关系见表 2-6。每一组对比都对应一个甲方现在要靠人工对账的场合。
表 2-6 首批多源数据校验对口关系
| 校验项 | 参与数据源 | 关联键 | 比对内容 | 容差口径 | 执行频率 |
|---|---|---|---|---|---|
| 库存三方比对 | 企业资源计划、仓储管理、实物盘点 | 物料编码+库位+批次 | 库存数量 | 按计量精度,整件物料零容差 | 每周 |
| 图纸与工艺卡配对 | 产品全生命周期管理、制造执行 | 图号+版本 | 是否存在有效工艺卡片 | 零容差,缺失即记问题 | 每月 |
| 工单与报工闭合 | 制造执行、工时定额 | 工单号+工序代码 | 工序是否全部报工、工时与定额偏差 | 偏差率超约定上限记问题 | T+1 |
| 检验结论与工艺标注 | 质量管理、产品全生命周期管理 | 图号+重要尺寸标识 | 工艺标注的重要尺寸是否均有检验记录 | 零容差 | 每周 |
| 炉次与检验结果配对 | 热处理群控、质量管理 | 炉次号+工件标识 | 炉次是否有对应检验结论 | 零容差 | T+1 |
| 焊接参数与焊道配对 | 物联网与设备数据平台、制造执行 | 工件标识+焊道标识 | 参数流是否能对应到焊道 | 按时间窗对齐,未匹配记问题 | T+1 |
| 材料批次来源追溯 | 采购管理、仓储管理、热处理群控 | 批次号 | 批次是否可追到供应商与到货单 | 零容差 | 每周 |
| 设备测点连续性 | 物联网与设备数据平台、装备远程运维平台 | 设备编码+测点标识 | 采样缺段、恒值、单向漂移 | 按测点类型分别设定 | 每日 |
| 价格一致性 | 企业资源计划、财务 | 物料编码+期间 | 物料价格 | 零容差 | 每月 |
| 服务工单与报警配对 | 售后服务与备件管理、装备远程运维平台 | 设备编码+时间窗 | 维修事实是否回填到报警事件 | 按时间窗匹配 | 每周 |
表中「焊接参数与焊道配对」与「服务工单与报警配对」两项,当前甲方尚不具备可配对的数据条件——焊接参数流与工件、焊道无对应,故障记录与数据段无配对。这两项校验在首期的作用不是发现偶发错误,而是度量配对覆盖率本身,作为相关数据集可构造样本量的前置判断依据。
招标文件要求快速定位质量异常数据(b1292)。定位分两个方向。
向下定位到记录。异常明细台账记录规则标识、检查对象、问题记录的业务主键、实测值与期望值。业务人员按主键可直接在源系统中找到该条记录,不需要由技术人员再查一遍。这一点决定了整改能否由业务部门自行完成。
向上定位到源头。沿元数据血缘回溯,判断问题是源系统录入产生的、接口传输产生的,还是加工逻辑产生的。回溯依据是加工链路上每个节点的输入输出校验结果:若某节点输入已有问题,责任在上游;若输入正常而输出有问题,责任在该节点的加工逻辑。元数据血缘的建设在「数据治理一」一节的元数据管理办法中规定,本节使用其成果。
招标文件要求制定数据质量评估方案,明确质量指标、质量评分与评估分析方法(b1293)。本项目的评估方案按三层设计:规则级通过率、对象级质量分、域级质量分。
规则级通过率是最底层的实测值,等于通过检查的记录数占被检查记录数的比例。对数据集合级规则(如跨系统比对),通过率按比对项计。
对象级质量分按六个维度加权汇总。某数据对象在某维度上的得分,等于该对象该维度下所有规则通过率按规则严重级加权的平均值;对象总分等于六个维度得分按维度权重加权之和。维度权重按业务域设定而非全局统一,理由是不同域的质量短板不同:设备管理域的及时性与准确性权重应高于唯一性,财务管理域的一致性与准确性权重应高于及时性。
表 2-7 质量维度权重设置(示例,实际权重经甲方数据治理管理层核定)
| 业务域 | 完整性 | 准确性 | 一致性 | 唯一性 | 及时性 | 有效性 |
|---|---|---|---|---|---|---|
| 研发设计 | 0.25 | 0.20 | 0.15 | 0.15 | 0.05 | 0.20 |
| 生产制造 | 0.22 | 0.20 | 0.18 | 0.08 | 0.17 | 0.15 |
| 质量管理 | 0.22 | 0.25 | 0.18 | 0.08 | 0.12 | 0.15 |
| 仓储物流 | 0.20 | 0.15 | 0.28 | 0.12 | 0.10 | 0.15 |
| 采购管理 | 0.20 | 0.20 | 0.20 | 0.12 | 0.08 | 0.20 |
| 设备管理 | 0.18 | 0.25 | 0.12 | 0.05 | 0.25 | 0.15 |
| 营销管理 | 0.25 | 0.18 | 0.17 | 0.12 | 0.08 | 0.20 |
| 财务管理 | 0.20 | 0.25 | 0.25 | 0.10 | 0.05 | 0.15 |
| 人力资源 | 0.28 | 0.17 | 0.15 | 0.15 | 0.05 | 0.20 |
域级质量分按该域各数据对象的分数加权,权重取对象的业务重要度。全公司质量分按九个域加权,权重按域对数据集建设的贡献度设定。
评分结果按五档评级:优(90 分及以上)、良(80 至 90)、中(70 至 80)、需改进(60 至 70)、差(60 以下)。评级的用途不是打分排名,而是决定管控动作:需改进与差两档的数据对象,其涉及的数据集加工任务须附置信标记,且该对象进入下一季度的整改重点清单。
评分只说明「有多差」,分析要回答「为什么差」和「先修哪个」。本项目用四种分析方法。
构成分析把质量问题按维度、按业务域、按源系统、按责任部门分解,找出问题集中的位置。实践中问题往往高度集中:少数几个字段贡献大部分问题量。
趋势分析按月对比质量分与问题量,区分三种情形:治理起效后的持续下降、整改后的反弹、因新增数据对象纳管带来的分数下降。第三种情形容易被误判为治理退步,须在月报中单独说明纳管范围变化。
根因分析对问题量靠前的规则做逐条归因,归因分类见表 2-8。归因结论决定治理动作,这是质量分析与质量提升之间的接口。
表 2-8 质量问题根因分类与对应治理动作
| 根因分类 | 典型表现 | 治理动作 |
|---|---|---|
| 录入不规范 | 必填字段留空、自由文本代替码值 | 界面必填校验、下拉替代文本、填写指引与培训 |
| 流程缺环 | 业务动作发生但系统中无记录 | 补流程节点、把线下动作纳入系统 |
| 接口缺陷 | 传输截断、编码转换错误、增量漏取 | 接口改造、增量水位线校正、补数机制 |
| 标准缺失 | 同一事实多口径并存 | 补数据元或指标标准、建立映射 |
| 规则不当 | 规则本身误判,误报率高 | 规则回炉修改或降级 |
| 源头不可得 | 数据在业务上确实未产生或未采集 | 评估采集可行性;不可得的纳入已知缺口清单 |
| 历史遗留 | 历史数据不符合现行标准 | 分批清洗或仅做映射标记,不强求回改 |
最后两类不能靠整改解决,必须作为已知缺口登记在册。把不可得的数据算进整改任务,会让整改率这个指标永远不达标,并在后续评审中掩盖真正能解决的问题。
招标文件要求建立常态化质量监控评估工作机制(b1294)。本项目的机制按日、月、季三个节奏运行。
日节奏是监控。稽核任务按调度执行,异常量与质量分在质量看板上实时更新,阻断级问题即时推送至责任部门。看板的最小粒度到数据对象与规则。
月节奏是分析与通报。出《数据质量分析报告》,内容包括质量分与问题量的构成、趋势、根因归因、整改进展、已知缺口变化。报告在数据治理月度例会上通报,会上确定下月重点整改清单。
季节奏是评估与调整。做一次完整的质量评估,输出域级与全公司质量分,复核维度权重与规则严重级设置是否仍然合理,复核质量需求清单的目标值与达成期。季度评估结论进入数据战略评估机制,相关安排在「数据治理一」一节论述。
质量目标的设定方式是:首轮全量扫描完成后确定基线,此后按季度设定提升目标,目标值以「相对基线的问题量下降幅度」表述而非绝对达标率。这样做的理由是不同对象的起点差别很大,统一的绝对达标率对起点差的对象不可达、对起点好的对象无约束力。全公司质量分的长期目标是逐步接近良级并保持,达不到期段目标时的处置是在月度例会列明缺口、调整整改资源投入,而非调低规则门限。
招标文件要求设计数据质量问题闭环处置流程,明确上报、分派、整改、复核、归档的管理要求(b1295)(b1296)(b1297)。
稽核一旦常态运行,问题单便持续产生,治理成效取决于这些问题单能否逐条收口,而不取决于发现了多少条。闭环的设计因此有两个着力点:一是五个环节各有唯一的责任角色与完成标志,避免问题单停在无人认领的中间状态;二是为两类注定无法按常规整改的问题预留出口,否则它们会在分派与退回之间反复循环,既占用处置资源,又使关闭率失真。
图 2-3 的横向主链是常规路径——上报、分派、整改、复核、归档,复核不通过的退回整改,构成一次闭合。两个浅色方框是分流路径,其判定发生在整改环节的根因归类之后:根因为规则本身不当的,退回规则库修改或降级,不计为数据问题,以免规则误报推高问题基数;根因为源头不可得或历史遗留的,转入已知缺口清单按季复评。底部一行是闭环的沉淀去向,处置结论回写校验规则、质量需求目标值与维度权重,使同类问题再次发生的概率下降。
该流程支撑的是质量提升的可验证性:任一问题单在整改台账中均可查到责任部门、处置结论与关闭依据,复发的问题单可按根因追溯到上一次处置的不足之处。
图 2-3 质量问题五环闭环处置流程与两条分流路径。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(4)项数据质量提升要求。
闭环流程要能运行,每一环还需两件东西:交付什么才算做完,以及多久之内要做完。缺前者,问题单会以已处理的状态关闭而无从复核;缺后者,告警级问题会被无限期顺延。
必填内容按「下一环需要什么」反推确定,取最小字段集而不求详尽:分派环节要用到上报环节记录的规则标识与严重级,复核环节要用到整改环节记录的涉及记录数与是否需要系统改造,归档环节要用到复核结论。字段每多一项即增加一次人工录入,故凡能由稽核结果自动带出的,不再要求人工填写。时限按严重级分档而非一刀切:阻断级问题直接拦住数据进入加工链路,其时限按数据集加工的排产节奏倒推;告警级问题不阻断流转,纳入月度清单统一排期,以免高频的轻微问题挤占处置资源。
表 2-9 中「必填内容」一列是各环节的完成判据,「时限要求」一列是处置及时率的统计口径,两列共同构成质量问题处置的考核依据。
表 2-9 质量问题处置各环节管理要求
| 环节 | 责任角色 | 必填内容 | 时限要求 |
|---|---|---|---|
| 上报 | 稽核任务自动生成;业务人员手工提报 | 规则标识、检查对象、问题记录主键、实测值、期望值、严重级 | 自动生成即时;手工提报随时 |
| 分派 | 数据质量管理员 | 责任部门、责任人、要求完成时间 | 阻断级 1 个工作日内;告警级 3 个工作日内 |
| 整改 | 责任部门 | 根因分类、整改措施、涉及记录数、是否需要系统改造 | 阻断级 5 个工作日内;告警级按月度清单排期 |
| 复核 | 数据质量管理员 | 复跑规则结果、是否通过、未通过原因 | 整改完成后 2 个工作日内 |
| 归档 | 数据质量管理员 | 关闭原因、台账编号、是否派生规则修订 | 复核通过后即时 |
时限要求的设定考虑了业务部门的实际承受能力。阻断级问题的整改时限定为 5 个工作日,是因为这类问题多为关联键缺失或唯一性冲突,通常由业务部门补录或更正即可完成,不需要系统改造。需要系统改造的问题单独标记,整改时限按改造排期另定,不占用常规时限统计。
整改台账是招标文件要求的输出之一(b1298)(b1299),也是质量治理成效的主要证据。台账按问题单逐条记录,字段包括问题单号、发现日期、规则标识、业务域、数据对象、严重级、根因分类、责任部门、整改措施、涉及记录数、整改完成日期、复核结论、关闭日期、派生的规则或标准修订。
台账的统计口径须说清三件事,否则数字容易被误读。第一,问题单数与问题记录数是两个量,一个问题单可能涉及上万条记录。第二,关闭率的分母应剔除转入已知缺口清单的问题单。第三,重复出现的问题单须标记为复发,复发率比关闭率更能说明整改是否触及根因。
数据集质检与场景验证产生的错样,是业务数据质量问题的一个重要发现渠道。错样归因的结论若指向源数据问题,则按本节流程生成质量问题单,责任部门为源系统业务归口部门;若指向加工逻辑问题,则在数据集加工环节处置,不进本台账。
两边的界线以「问题是否存在于源数据中」划定。一条样本的标签错了,若源系统的检验结论本身就是错的,这是业务数据质量问题;若源系统结论正确而加工环节映射错了,这是加工质量问题。数据集质检的指标体系、质检方法与错样归因机制,在「数据加工生产二」与「数据集质量评测方案」两节论述。
质量治理的五个环节各有其管理对象,表 2-10 按对象逐项给出字段字典、规则实例、审批、平台配置、异常处置与版本变化。
表 2-10 数据质量域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 质量需求条目 | 需求标识、业务域、数据对象、质量维度、具体诉求、现状实测值与扫描日期、目标类别、目标值与达成期、业务后果、优先级、关联规则、责任部门 | 目标类别须标注为招标明定或过程优化;过程优化类的目标值不得早于基线实测日期填写 | 业务域归口部门提报,数据质量管理员汇总,数据治理管理层核定优先级与目标值 | 需求清单与规则库双向关联,一条需求可派生多条规则,规则执行结果回写需求的当期达成值 | 诉求无法量化的转为观察项,先建规则取基线、不设目标,连续两个季度有基线后再定目标 | 目标值调整升次版本并记录调整理由;招标明定类目标不随版本调整 |
| 校验规则 | 规则标识、名称、所属维度、规则类型模板、检查对象与字段、参数与阈值、参照参数、适用条件、严重级、执行频率、责任部门、启用状态 | 阻断级规则须写明放行例外的申请方式;物理约束类规则须写明适用工艺阶段与有效状态条件 | 业务人员提报规则需求并参与阈值设定,数据质量管理员审核入库,阻断级规则另经数据治理管理层确认 | 模板化配置,选模板填参数即可生成规则,复杂逻辑才写表达式;规则按对象挂载,随对象纳管自动继承 | 误报率超出约定水平的规则转入观察态,阈值复核后重新启用;连续两期零命中的规则进入复核队列 | 阈值调整升次版本并保留历史阈值与对应期的命中数据;规则逻辑变更升主版本,旧版本结果不追溯重判 |
| 稽核任务 | 任务标识、规则集合、调度周期、检查范围与分区、执行人或调度账号、超时阈值、结果留存期 | 稽核任务与加工任务解耦,稽核失败不直接中断加工,由入口校验按严重级决定是否阻断 | 数据质量管理员配置并启用,涉及生产库直连的另经安全管理岗审批 | 独立调度,按业务域分队列;大表按分区增量稽核,避免全表扫描挤占源系统资源 | 稽核任务失败按三次重试,仍失败的生成运维工单并在看板标注该对象本期无评分,不以上期分数顶替 | 调度周期或范围变更升次版本;规则集合变更随规则版本联动,评分曲线在版本切换处标注断点 |
| 质量评分 | 对象标识、统计期、规则级通过率、对象级质量分、域级质量分、维度权重版本、评级、同比与环比 | 评分口径一经发布当期不得变更;维度权重调整只能从下一统计期生效 | 评分口径与权重由数据治理管理层核定,数据质量管理员执行 | 看板按业务域、数据对象、规则三个视角呈现,三视角共用同一套底层数据 | 本期无有效稽核结果的对象标注为无评分,不计入域级平均,避免拉高或拉低整体分 | 权重或评分公式变更升主版本,并同时给出新旧口径的对照期数据,供趋势判读 |
| 质量问题工单 | 问题单号、发现日期、规则标识、检查对象、问题记录主键、实测值与期望值、严重级、根因分类、责任部门与责任人、整改措施、涉及记录数、整改完成日期、复核结论、关闭日期、派生修订项 | 阻断级一个工作日内分派、五个工作日内整改;需系统改造的单独标记并按改造排期另定时限 | 自动生成或业务提报,数据质量管理员分派,责任部门整改,数据质量管理员复核归档 | 工单与规则、对象、台账三方关联;复核触发规则复跑,复跑未通过的自动退回整改并记录轮次 | 整改确无条件完成的转入已知缺口清单,列明原因、影响范围与再评估时点,从关闭率分母中剔除 | 整改措施变更以追加记录的方式留存,不覆盖原记录;复发问题单标注关联原单号并计入复发率 |
五类对象的记录共同构成数据管理能力成熟度评审中「质量管理」能力域的执行证据。证据的价值在于连续,因此上述各表的历史记录一律只追加不覆盖,版本切换处标注断点而非重写历史。
表 2-11 数据质量规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据质量管理办法 | 组织与职责、六维度模型、规则管理、稽核管理、评分与评级、问题闭环、考核与通报 | 经甲方数据治理管理层评审通过并发布 |
| 数据质量需求清单 | 九业务域核心数据的质量诉求、现状实测、分期目标 | 每条诉求有实测基线与责任部门;招标明定指标按原值承诺并验收,过程优化目标按基线测试定分期值 |
| 数据质量校验规则库 | 十类模板、首批约 1156 条规则及元数据 | 规则可执行、误报率在观察期后收敛至约定水平以下 |
| 质量分析报告 | 按月出具,含构成、趋势、根因、整改进展、已知缺口 | 月度例会通报并形成下月整改清单 |
| 质量问题整改台账 | 问题单全生命周期记录与统计 | 关闭率与复发率分别统计,已知缺口单列 |
五份交付物的责任分工是固定的:管理办法与需求清单由项目组起草、归口部门核定、数据治理管理层批准发布;规则库由数据质量管理员维护并对规则的可执行性负责;分析报告与整改台账由数据质量管理员按期出具,责任部门对本域整改结果负责。验收时逐份核对发布文件、规则运行记录、月度报告与台账统计四类证据,缺证据的文档不计入已交付。
本章与技术方案「安全方案」一节的分工如下:本章交付管理侧的规划成果——分类分级标准、合规管理制度、安全管理办法、权限管理规范,并提出防护与审计的管控要求;国密算法应用、等保 2.0 测评、信创适配、脱敏与去标识的技术实现、密码产品配置与第三方测评安排,在「安全方案」一节论述。两章的分级口径为同一套,本章定义的 L1 至 L5 分级标签是「安全方案」中技术管控策略的输入。
数据合规管理的依据分三层。第一层是法律法规,包括数据安全法、个人信息保护法以及工业和信息化领域数据安全管理的相关规定。第二层是国家标准,包括个人信息安全规范、数据分类分级的通用要求、网络安全等级保护的基本要求。第三层是甲方现行的保密与信息安全制度。
本项目的做法是把第三层作为起点而非终点:先梳理甲方现行制度与前两层要求的差距,形成差距清单,再在差距清单基础上编制《数据合规管理制度》,而不是另起一套与现行制度并行的体系。制度并行会导致执行时无人知道该依哪一套。
招标文件明确按 L1-公开、L2-内部、L3-重要、L4-敏感、L5-机密五个层级制定数据安全分级标准(b1301)(b1302)(b1303)。表 3-1 给出各级的判定依据与本项目的具体实例。实例是分级标准能否执行的关键:只给级别定义不给实例,分级工作一定做不下去。
表 3-1 数据安全五级分级标准与本项目实例
| 级别 | 判定依据 | 本项目实例 | 泄露或滥用的后果 |
|---|---|---|---|
| L1-公开 | 已对外发布或可对外发布,泄露不产生影响 | 产品样本参数、企业标准中已公开部分、对外宣传资料 | 无实质影响 |
| L2-内部 | 仅限内部使用,泄露影响有限 | 工序代码表、设备台账、班组排班、一般检验记录、通用耗材库存 | 内部管理秩序受影响 |
| L3-重要 | 关系生产经营与行业运行,泄露影响较大 | 产品图纸与物料清单、工艺卡片与工艺参数、设备过程参数、产能与工时定额、质量缺陷统计 | 技术与经营优势受损,可能影响行业数据安全 |
| L4-敏感 | 含个人信息、客户敏感信息或敏感地理信息 | 人员身份与薪酬信息、矿方客户联系人信息、矿井位置与工作面地质条件参数 | 侵害个人权益或客户利益,可能触及地理信息安全 |
| L5-机密 | 核心技术秘密与重大商业秘密,泄露后果严重 | 选型校核公式与修订参数、关键工艺的核心参数窗口、重大项目报价与成本构成、合同关键条款 | 核心竞争力受损,可能造成重大经济损失 |
矿井位置与工作面地质条件参数定为 L4,理由是这类信息属于敏感地理信息范畴,且涉及矿方客户的生产安全信息。这一点对本项目有实际约束:选型类数据集的样本携带工作面工况参数,加工与流通时须按 L4 要求做去标识处理,具体技术手段在「安全方案」一节论述。
选型校核公式与关键工艺核心参数窗口定为 L5。这两类是甲方的核心技术秘密,也是数据集中价值最高的部分。L5 数据进入数据集加工链路须单独审批,加工环境与人员范围单独限定,加工产物的流通范围在数据卡中明确声明。
分类按「业务域+数据主题」二维组织。九个业务域为第一维,每个域下按数据主题细分,例如生产制造域下分工单与报工、工艺执行、热处理炉次、焊接过程、设备运行五个主题。分类的粒度到数据主题,分级的粒度到数据元。
分级作业按识别、定级、审批、标记、复核五步执行。
图 3-1 数据分类分级作业流程与两类定级输入。数据来源:招标文件第五章 3.2.6.1.1.2.7 第(1)项数据合规管理要求。
「聚合后敏感度升级」这条裁决规则在本项目中会反复用到。单条工艺卡片是 L3,但某一产品全部工序的工艺卡片聚合在一起,其技术秘密含量接近 L5;单个测点的温度读数是 L2,但某炉型全部炉次的完整温度曲线集合反映的是关键工艺参数窗口。因此数据集的级别不等于其成分数据元级别的最大值,须按聚合后的实际敏感度单独定级,定级结论记录在数据集的数据卡中。数据卡的结构在「四大数据集规模与数据卡」一节与附录佐证卷论述。
重要数据的识别按「泄露后是否可能影响行业运行与生产安全」判定。本项目识别的重要数据候选范围包括:矿用刮板输送机的关键结构参数与选型校核方法、关键工艺参数窗口、重大项目的产能与交付能力数据、矿方工作面地质条件参数。候选范围提交甲方确认并按相关管理要求履行必要的报备程序,报备的具体口径以甲方主管部门意见为准。
敏感数据的识别覆盖四类:个人信息、敏感地理信息、重要行业数据、企业秘密数据,这与招标文件在安全合规要求中提出的去标识化与脱敏处理范围一致。识别手段分规则与人工两步:先按字段名敏感词表与取值格式特征(证件号、手机号、坐标、银行账号)做机器预判,再由业务部门确认。预判的召回率目标是尽可能高,宁可多报由人工剔除,也不漏报;漏报的后果比误报严重得多。
招标文件要求构建多维度安全控制能力,涵盖权限管控、敏感数据脱敏、数据水印、访问审批等防护手段(b1304)(b1305)。本节提出各手段的管理要求与分级对应关系,技术实现见「安全方案」一节。
权限模型按角色与属性结合设计。角色定义岗位的基本权限集合,属性在角色之上做动态约束。属性包括数据级别、业务域、项目范围、时间范围、访问环境。这样设计的原因是单纯的角色模型在本项目中粒度不够:同一个工艺工程师角色,对本人负责产品的工艺卡片应可读写,对其他产品线的工艺卡片只应可读或不可见,纯角色模型要为此建大量角色。
权限授予遵循最小必要原则,具体落实为三条规则。权限申请须声明用途与期限,无期限的长期权限仅限岗位固有权限。L4 与 L5 数据的权限逐事项审批,不随角色自动获得。权限按季度复核,复核时核对实际使用情况,连续一个季度未使用的非固有权限自动进入待回收清单。
分级若只落在标签上,而访问、导出、接口、加工环境的实际做法并无差别,分级就只是一次文档作业。表 3-2 把五个级别与各类管控措施对应起来,要回答的是:同一份数据定为 L3 还是 L4,在各类管控措施上究竟差在哪里。这张矩阵是《数据权限管理规范》的核心内容,也是技术侧下发策略的依据。
九类措施对应数据被使用的九个出口——授权、展示、导出、接口、加工环境、脱敏、水印、审计、留存,出口覆盖不全,级别就会从未覆盖处漏出去。各级强度有三个取值来源:涉及个人信息与敏感地理信息的,按数据安全法、个人信息保护法与矿方合同的保密约定取法定下限;涉及甲方工艺秘密与商业秘密的,沿用招标方现行保密制度的既有做法;其余按本项目数据加工的实际操作成本校准,避免管控强度高到业务无法执行。
横向一行是某一级别的完整管控包,可作为该级别的策略模板直接下发;纵向一列是同一类措施在五个级别之间的强度梯度,用于核查梯度是否单调、有无级别倒挂。L3 与 L4 之间是全表最关键的一道分界——授权由角色授予转为逐事项审批、展示由明文转为脱敏、导出件开始强制带水印,本项目多数工艺与质量数据落在这一分界附近。矩阵支撑的承诺是:管控强度随级别逐级提高且可逐条核对,管理侧的审批要求与技术侧的策略配置出自同一张表。
表 3-2 数据级别与管控措施对应矩阵
| 管控措施 | L1-公开 | L2-内部 | L3-重要 | L4-敏感 | L5-机密 |
|---|---|---|---|---|---|
| 访问授权方式 | 无需授权 | 角色授予 | 角色授予+业务域限定 | 逐事项审批 | 逐事项审批+归口部门负责人复批 |
| 查询展示 | 明文 | 明文 | 明文 | 关键字段脱敏展示 | 脱敏展示,原文需二次授权 |
| 批量导出 | 允许 | 按量阈值告警 | 审批后允许,记录导出清单 | 审批后允许,导出件带水印 | 原则上不导出,特殊情形逐事项审批 |
| 接口调用 | 开放 | 鉴权后开放 | 鉴权+调用方登记 | 鉴权+调用方登记+频次限制 | 专线或专用通道,单独登记 |
| 加工环境 | 无限制 | 内网 | 内网 | 内网受控区 | 内网受控区,环境与人员单独限定 |
| 脱敏要求 | 无 | 无 | 按用途判定 | 必须去标识或脱敏 | 必须去标识或脱敏 |
| 水印要求 | 无 | 无 | 导出件加可见水印 | 导出件加可见与隐式水印 | 导出件加可见与隐式水印 |
| 审计留痕 | 基本日志 | 基本日志 | 全操作日志 | 全操作日志+定期审计分析 | 全操作日志+专项审计 |
| 留存期限 | 按业务需要 | 按业务需要 | 不少于约定期限 | 按法规与合同约定 | 按法规与合同约定,到期评估 |
脱敏按用途分静态与动态两种。静态脱敏用于数据集加工与对外提供场合,在数据落地时即完成变换,产物不可逆;动态脱敏用于查询展示场合,在返回结果时按访问者权限实时变换,底层数据不变。
脱敏规则按数据类型选择方法:个人身份与联系方式用部分遮蔽或泛化;矿方名称与矿井位置用代号替换并保留可追溯的映射表,映射表单独存放并按 L4 管控;地质条件参数用区间化处理,保留分布特征而去除精确定位能力;价格与成本用比例缩放或区间化,保留可比性而去除绝对值。
脱敏的一个边界须写清:脱敏会损失信息,损失到什么程度仍满足数据集的使用需求,须由场景侧确认。例如地质条件参数区间化后若区间过宽,选型类样本的工况区分度会下降。本项目的处理办法是对每一类脱敏规则记录其信息损失特征,由数据集加工与场景验证侧评估可用性,评估结论记入数据卡。
水印有两个用途,对应两种形态。可见水印用于文档与报表导出件,标注使用者、时间与用途,作用是提示与心理约束。隐式水印用于数据集与批量导出的结构化数据,在不影响使用的前提下嵌入可追溯标记,作用是在发生外泄时判断来源批次。
隐式水印对数据集的流通尤其有意义:本项目的数据集将进入运营与流通环节,一份数据集被授权给多个使用方后,若出现未授权扩散,隐式水印是判断来源的依据。水印的嵌入方式、强度与抗攻击能力在「安全方案」一节论述;本节规定的是管理要求——L3 及以上级别的导出件须带水印,水印与导出审批记录关联,可由水印反查到审批单。
访问审批的管理要求集中在三点。审批要素须完整:申请人、用途、数据范围、字段范围、级别、期限、使用环境、是否允许导出、是否允许二次提供。审批层级按级别设定,与表 3-2 的授权方式一致。审批记录与后续的访问日志关联,使「谁批准了这次访问」与「这次访问实际做了什么」可以对上。
第三点是本项目安排的一个检查机制:按季度抽取审批单,核对其授权范围与实际访问日志的一致性,对超出授权范围的访问追溯原因。抽查比例按级别设定,L4 与 L5 的审批单抽查比例高于 L3。
招标文件要求完整记录数据查询、修改、删除、接口调用等全链路操作日志,操作留痕可追溯(b1306)(b1307)。
表 3-3 操作日志要素
| 要素 | 内容 | 说明 |
|---|---|---|
| 操作主体 | 账号标识、所属组织、所属角色、关联自然人标识 | 服务账号须登记实际责任人 |
| 操作时间 | 发起时间、完成时间 | 统一时间基准,与系统时钟同步 |
| 操作类型 | 查询、新增、修改、删除、导出、接口调用、授权变更 | 授权变更本身也须记录 |
| 操作对象 | 系统、对象、字段范围、记录范围或条件 | 批量操作记录影响范围与记录数 |
| 操作内容 | 修改类记录变更前后值;查询类记录查询条件 | 变更前后值按级别决定是否脱敏存储 |
| 访问环境 | 来源地址、终端标识、访问通道 | 用于异常行为判别 |
| 执行结果 | 成功、失败、被拒绝及原因 | 被拒绝的访问尝试同样记录 |
| 关联凭据 | 审批单号、任务标识、会话标识 | 使日志可与审批记录对应 |
覆盖范围包括治理平台与数据集运营平台自身的操作,以及经统一数据服务通道对源系统数据的访问。源系统内部的直接操作日志由源系统自身记录,本项目通过接口采集其可获取部分并在审计分析中合并;源系统日志能力不足的,在诊断报告中列为缺口并提出改造建议。这是一条责任边界:本项目不替源系统补建其内部审计能力。
日志只记不看等于没记。审计分析按三类模型运行:阈值类(单位时间内查询量、导出量、失败次数超出基线)、行为模式类(非常规时段访问、非常规来源访问、首次访问高级别数据、权限变更后立即大量访问)、关联类(审批范围与实际访问范围不符、同一数据被多账号集中访问)。命中的事件生成审计告警,按级别推送至安全管理岗与归口部门。
追溯能力的验收采用抽样核验:从日志中抽取一定数量的高级别数据访问记录,逐条核验能否还原「谁、何时、通过什么通道、对哪些记录、做了什么、依据哪张审批单」。抽样可追溯率的目标是逐步接近全部,首次核验结果作为基线;未能还原的记录逐条分析原因(日志字段缺失、关联凭据未写入、源系统日志不可得),形成日志完善清单。核验不达期段目标时的处置是补齐日志字段与关联凭据,并对相应级别的数据暂时收紧授权方式,这是本指标的回退安排。
日志自身须防篡改与防删除。管理要求是:日志写入后不可修改,删除须经安全管理岗与归口部门双人审批并留下删除记录;日志存储与业务数据存储分离;运维人员对日志存储的权限与对业务数据的权限分离。留存期限按级别与法规要求设定,不少于相关规定的最低期限,具体技术措施见「安全方案」一节。
安全域的管理对象有六类:分级标签、权限策略、脱敏规则、水印策略、访问审批单、审计日志。六类对象的落位要素见表 3-4,表中内容即为《数据安全分级标准》与《数据权限管理规范》的条款来源。
表 3-4 数据安全域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 分级标签 | 对象标识、字段标识、级别、判定依据条款、定级人与定级日期、审批记录、复评时点、聚合定级说明 | 数据对象默认取其字段级别的最高值;数据集按聚合后敏感度单独定级,不取最大值 | 业务域归口部门初判,数据安全管理岗复核,L4 与 L5 另经数据治理管理层审批 | 标签维护粒度到数据元,向上汇总到数据对象与数据集;新纳管对象未定级前按候选最高级占位 | 定级有争议的提交裁决,裁决期内按从严原则占位管控;超期未复评的自动降为只读并提醒责任人 | 级别调整升次版本并记录调整依据;判定依据条款变更升主版本并触发全量复评 |
| 权限策略 | 策略标识、主体(角色或人员)、客体(对象与字段范围)、操作类型、生效区间、来源申请单、审批记录、复核时点 | 最小必要:授权范围不得超出申请单载明的用途;L4 及以上不授予长期批量导出权限 | 使用方申请,数据责任人审核必要性,数据安全管理岗审核级别匹配,L5 另经数据治理管理层审批 | 由分级标签驱动生成默认策略,默认从严;人工调整只能在记录理由后放宽,收紧不需理由 | 监测到越权访问的立即冻结该主体相关策略并生成安全事件单,解冻须经原审批链重新确认 | 策略变更升次版本并保留历史授权区间,季度复核结果以新版本登记,撤销的策略保留记录不删除 |
| 脱敏与去标识规则 | 规则标识、适用对象与字段、受众分组、脱敏算法、保留位规则、一致性要求、生效区间 | 同一数据对象对不同受众返回不同脱敏结果;跨表关联所需的标识须采用一致性脱敏 | 数据安全管理岗配置,涉及个人信息的另经合规责任岗确认 | 脱敏在服务侧按受众与级别动态执行,不生成明文中间副本;规则与权限策略共用受众分组 | 脱敏后仍可重标识的,收紧受众范围并改用更强算法,同时回溯已导出件的处置 | 算法或保留位规则变更升主版本,变更前评估对已建立的跨表关联的影响并给出过渡期 |
| 水印策略 | 策略标识、适用级别与导出形态、水印要素、嵌入方式、反查索引、留存期 | L3 及以上的导出件带水印,且水印可反查到授权凭据与导出人 | 数据安全管理岗配置,按级别统一下发,不接受逐事项豁免 | 水印在导出通道统一嵌入,反查索引与审计日志同库存放 | 反查不到凭据的导出件按异常导出处理,生成安全事件单并核查导出通道配置 | 水印要素增减升次版本;嵌入方式变更升主版本,历史导出件按原方式反查 |
| 访问审批单 | 申请单号、申请人与部门、数据范围与字段范围、用途与期限、涉及最高级别、审批链与各级意见、授权凭据标识、回收记录 | 不签发无范围限定的凭据;用途变更须重新申请,不在原单上续期 | 按级别分层审批:L1 与 L2 由数据责任人审批,L3 加数据安全管理岗,L4 与 L5 加数据治理管理层 | 审批链按级别自动路由;凭据与范围、脱敏策略、水印策略三项绑定签发 | 审批超时未决的申请自动提醒并升级,连续两次超时的提交数据治理管理层直接裁决 | 审批层级调整以制度版本发布,历史申请按当期制度版本归档,不按新制度追溯重判 |
| 审计日志 | 日志标识、时间、主体、客体、操作类型、数据范围、返回量、来源地址与通道、授权凭据标识、结果 | L3 及以上全量留存,L1 与 L2 可按采样留存;日志不得由业务账号删改 | 日志采集范围由数据安全管理岗核定,留存期按法规与合同义务由招标方确认 | 按级别分别设定采样率与留存期,避免日志存储挤占数据存储资源;日志独立权限,运维账号只读 | 日志缺失或链路中断的,先收紧该通道的授权方式,同步补齐日志字段后恢复 | 日志字段扩充升次版本并保持旧字段兼容;采样与留存策略变更升主版本并提前一个周期公告 |
六类对象之间是单向驱动关系:分级标签驱动权限、脱敏与水印三类策略,三类策略的执行与审批单的签发共同产生审计日志,审计日志又作为分级与授权是否合理的复核依据。这条链路上任一环节的记录缺失,都会使后续环节失去判据,因此六类对象的记录完整性是安全域验收的首要条件。
表 3-5 数据安全规划交付物与验收口径(b1308)(b1309)
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据合规管理制度 | 合规依据、与现行制度的衔接、合规责任、重要数据与敏感数据识别与报备、违规处理 | 经甲方评审通过并发布;与现行保密制度无冲突条款 |
| 数据安全管理办法 | 组织与职责、分类分级管理、防护要求、审计要求、事件响应、考核 | 经甲方评审通过并发布 |
| 数据安全分级标准 | L1–L5 判定依据、实例、分级作业流程、裁决规则、复评机制 | 纳管数据元的分级标签登记完整;L4/L5 定级有审批记录 |
| 数据权限管理规范 | 权限模型、申请与审批流程、分级管控矩阵、复核与回收机制 | 分级管控矩阵可直接转为技术策略;季度复核有记录 |
四份交付物中,合规管理制度与安全管理办法由合规责任岗与安全管理岗共同起草并经数据治理管理层批准;分级标准由安全管理岗牵头、各业务域归口部门逐域核定;权限管理规范由安全管理岗起草并经管理层批准。验收时核对三类证据:发布文件、纳管数据元的分级标签登记统计、L4 与 L5 定级与授权的审批记录。四份文档互为依据,分级标准未发布则权限规范无法执行,因此四份一并发布、一并验收,不分批通过。
数据生存周期管的是过程规范。前三章定下了「什么是对的」「怎么判断对不对」「谁能看什么」,本章要把这些要求嵌进从需求提出到数据退役的每一个动作里,使标准与质量要求不是事后检查,而是过程中的检查点。
图 4-1 数据生存周期四阶段、阶段间交接物与嵌入的治理检查点。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(1)至(4)项。
招标文件要求建立标准化数据需求管理流程,规范需求提交、评审、排期、反馈闭环,并完整留存流程记录(b1311)(b1312)。
本项目的数据需求有四类来源,处理方式不同。第一类是数据集建设需求,来自四类数据集的加工计划与十一个验证场景的数据要求,这类需求量最大且有明确的交付时点。第二类是指标与报表需求,来自决策指标体系与各部门管理需要。第三类是数据服务需求,来自应用系统对标准化数据接口的需要。第四类是数据质量整改需求,由质量问题闭环中需要系统改造的问题单转化而来。
四类需求统一进一个需求池,按统一流程处理,但排期时按来源区分优先级:带交付时点的数据集建设需求优先,阻断级质量整改需求优先,其余按业务价值与实现成本排序。
表 4-1 数据需求单字段结构
| 字段组 | 字段 | 填写要求 |
|---|---|---|
| 基本信息 | 需求编号、提交部门、提交时间、需求类型、期望交付时间 | 期望时间须说明依据 |
| 业务背景 | 业务场景、使用方式、不满足时的业务后果 | 写清这个数据拿去做什么判断 |
| 数据范围 | 业务域、数据对象、字段清单、时间范围、数据量级 | 字段清单引用数据元标识 |
| 质量要求 | 完整性、准确性、及时性等维度的具体要求 | 及时性写明可接受的时延 |
| 安全要求 | 涉及的最高数据级别、使用人员范围、是否需要脱敏 | 引用分级标准 |
| 交付形态 | 接口、文件、视图、订阅、数据集 | 选定形态后引用对应服务标准 |
| 评审意见 | 必要性、合法性、可行性、安全合规、工作量评估 | 逐项给结论,不写「同意」了事 |
| 排期信息 | 排期结论、计划开始与完成时间、承接团队 | 未排期的须写明原因与再评估时点 |
| 反馈信息 | 交付时间、交付内容、提交方验收结论 | 验收不通过的转回开发并记录轮次 |
评审从四个角度给结论。必要性看是否已有同类数据或指标可满足,避免重复建设;本项目预期这一项会筛掉相当一部分需求,因为部门各自提报时并不知道其他部门已有相同数据。合法性看数据来源是否合法、使用用途是否在授权范围内,这与数据来源合法性核查的要求一致。可行性看源数据是否存在、质量是否够用、接口是否可开通。安全合规看级别、脱敏要求与人员范围是否匹配。
四角度中「可行性」最常给出否定结论,原因通常是源数据不存在或源系统接口未开通。这类需求不是简单驳回,而是转为两条动作:若需要扩大采集范围,转入采集扩展清单;若需要源系统开通接口,转入接口协调清单。两张清单按月与甲方对接推进,这也是本项目需求管理与采集接入工作的接口。
流程记录是 DCMM 评审的证据之一,也是甲方后续自主运营的基础。留存要求是:需求单的每一次状态变更(提交、受理、评审、排期、开发中、交付、验收、关闭、驳回)产生一条记录,记录操作人、时间、意见与附件;驳回与未排期的需求同样留存,不删除;需求变更不覆盖原需求,以版本方式追加。
需求管理的运行指标按月统计:受理时效、评审时效、按期交付率、验收一次通过率、驳回原因构成。其中驳回原因构成最有诊断价值——若「已有同类数据」占比高,说明数据资源目录的宣传与检索不够好;若「源数据不存在」占比高,说明采集范围需要扩展。
招标文件要求制定数据设计开发统一规范,明确数据采集、数据加工、数据模型、接口开发等相关要求(b1313)(b1314)。
本项目的数据来源形态差别很大,采集规范按五类分别规定,见表 4-2。
表 4-2 五类数据的采集规范要点
| 数据形态 | 典型对象 | 采集方式 | 频率与增量口径 | 校验要求 |
|---|---|---|---|---|
| 结构化业务数据 | 物料、工单、报工、库存、检验记录、采购订单 | 只读接口或数据库只读视图 | 按更新时间戳增量,T+1 或按小时;水位线持久化 | 入口校验空值、格式、值域、外键 |
| 文档类数据 | 制度、技术标准、工艺规程、合同、标书 | 文档目录与正文只读导出 | 按版本变更触发 | 格式可解析性、版本有效性、密级标记 |
| 图纸类数据 | 产品图纸、零部件图 | 按图号或项目只读读取,解析在内网就地进行 | 按图号批次 | 图元完整性、图号与版本可识别 |
| 时序数据 | 炉台温度、中频电源参数、焊接参数、在役装备测点 | 按测点订阅或周期取数 | 按测点采样周期,秒级测点按窗口批量 | 缺段、恒值、漂移检查;时间基准对齐 |
| 图像数据 | 焊接部位图像、交检拍照 | 按工件或工单关联采集 | 按作业批次 | 分辨率、标定参数、与工件标识的关联完整性 |
时序数据的时间基准对齐是一条容易被忽略而后果很大的要求。热处理炉控、物联网平台、制造执行系统的时钟若不同步,炉次与温度曲线、焊道与参数流的对齐就会错位,错位的样本在数据集中是污染而不是噪声。本项目要求纳入采集的所有数据源使用统一时间基准,不具备条件的须记录其时钟偏差并在加工时校正。
采集范围的扩展按场景优先级分批推进。甲方现有的数据采集与监控覆盖部分车间与部分设备,首期以试点炉型、试点产线与试点车间所需设备为准,扩展清单以现场勘察结论为准。这一安排的责任边界是:采集点位的布设与设备侧改造涉及甲方生产现场,须由甲方确认停机窗口与施工条件。
加工规范的核心是四条可执行要求。
分层落地。加工任务按数据仓库分层写入,层间依赖单向,不跨层直连。分层架构的定义在「数据治理一」一节的数据模型分层架构中给出,本节规定的是执行要求:每个加工任务声明其读取层与写入层,违反单向依赖的任务不予上线。
幂等与可重跑。同一任务对同一输入批次重复执行,结果一致。实现要求是写入按业务主键与批次标识做覆盖而非追加,任务记录处理水位线并支持按指定水位线重跑。这条要求的实际价值在质量问题整改后的补数场合:没有幂等性,补数会产生重复记录,反而制造新的质量问题。
命名与注释。表名、字段名、任务名按统一命名规则,字段中文名引用数据元标准名称。加工逻辑中的业务判断须有注释说明依据,例如某字段取值被过滤的理由。
血缘登记。加工任务上线时登记输入输出对象与字段级映射关系,供质量问题溯源与标准变更影响评估使用。未登记血缘的任务不予上线。
接口规范覆盖六项:契约定义(请求与响应结构、字段引用数据元标准、错误码表)、版本管理(新增字段向后兼容,不兼容变更须新版本并公告过渡期)、鉴权(按调用方登记,L3 及以上数据的接口须登记调用方与用途)、限流与配额(按调用方与数据级别设定)、幂等(写类接口须支持幂等键)、可观测(调用量、时延、错误率、数据量上报监控)。
接口的 SLA 分级与数据服务标准合并规定,见本节第 5 章第 4 节。
表 4-3 数据开发过程评审检查点
| 阶段 | 检查点 | 不通过的处置 |
|---|---|---|
| 设计评审 | 字段引用数据元标准;枚举引用码表;安全级别与脱敏要求标注;模型分层合规 | 退回修改;确有理由的记例外并说明过渡安排 |
| 开发自检 | 幂等与重跑验证;命名合规;注释完整 | 不进入测试 |
| 测试评审 | 质量规则绑定并试跑;血缘登记完整;接口契约与文档一致 | 不进入上线评审 |
| 上线评审 | 调度配置、告警配置、运维责任人确认、交维清单齐备 | 不予上线 |
| 上线后复核 | 首个周期的质量稽核结果、任务运行稳定性 | 回退上线或限制使用范围 |
最后一行的「回退上线」是本项目在数据开发上保留的回退机制。新上线的加工任务在首个运行周期内若出现质量规则大面积不通过或任务反复失败,先回退到上一稳定版本并限制下游使用,再定位问题,而不是在生产环境上反复修补。下游若已有数据集加工依赖该任务,则该批次数据集加工暂停并在数据卡中记录延期原因。
招标文件要求制定数据运维管理制度,明确采集、加工、数据服务运维责任,针对任务失败、接口异常、数据延迟配置告警机制,建立运维故障闭环处置流程(b1315)(b1316)(b1317)。
数据链路由采集、加工、服务、平台四段构成,各段的故障现象相近而处置主体不同。运行期最常见的损耗并非技术上无法修复,而是故障发生后在归属判断上往返确认,响应时间消耗在协调而非处置。运维责任矩阵的作用,是把这一判断前置成一张随时可查的表。
五列的划分对应一次故障处置必经的五个角色:谁先看见(日常监控)、谁先动手(一线处置)、谁能改配置与代码(二线处置)、谁能让源头配合(源头协调)、谁确认恢复之后数据确已可用(业务确认)。少任何一列都会留下缺口——只分到一线,需要改动的问题就会悬置;不设业务确认,则会出现任务已恢复而数据仍不可用却已按结案处理的情形。表中「—」表示该对象不涉及该角色,例如加工任务与数据服务接口的源头在项目组可控范围内,无需外部协调。
按行查,可在告警到达时直接定位处置链路;按列查,可核对各岗位的责任覆盖是否有遗漏、同一对象是否出现多头负责。
表 4-4 数据运维责任矩阵
| 运维对象 | 日常监控 | 一线处置 | 二线处置 | 源头协调 | 业务确认 |
|---|---|---|---|---|---|
| 采集任务 | 数据运维岗 | 数据运维岗 | 项目组数据开发 | 源系统归口部门 | 需求提交部门 |
| 加工任务 | 数据运维岗 | 数据运维岗 | 项目组数据开发 | — | 数据归口部门 |
| 数据服务接口 | 数据运维岗 | 数据运维岗 | 项目组平台支持 | — | 调用方部门 |
| 治理平台本体 | 平台运维岗 | 平台运维岗 | 项目组平台支持 | — | — |
| 数据质量规则 | 数据质量管理员 | 数据质量管理员 | 项目组数据开发 | 源系统归口部门 | 业务归口部门 |
责任边界有一条须写明:源系统自身的故障、接口未按约定提供数据、源系统数据内容错误,其处置责任在源系统归口部门,项目组负责定位、通知与协调,并在数据服务侧按降级策略维持可用性。这条边界在实际运行中会经常用到,因为甲方的部分源系统由不同厂商维护。
告警设计的目标,是让异常在影响数据集交付之前被发现,而不是在交付延误之后用于复盘。招标文件明定的任务失败、接口异常、数据延迟三类,针对的是「停了」这一种失效;本项目在其上补充任务超时、数据量异常与质量规则大面积不通过三类,针对的是「没停但已经不对」这一种失效。后者在数据加工链路中更为常见,也更难在交付前察觉。
每类告警的判定规则取自可直接观测的运行量,不依赖人工巡检:执行状态、执行时长、接口错误率与时延、数据到达时间、批次记录数、阻断级规则不通过比例。阈值按对象自身的历史分布设定,而非全局统一取值,原因是各采集对象的数据量级与节奏差异很大,统一阈值会在高频对象上频繁误报、在低频对象上长期失灵。
级别一列决定通知范围与响应时限,凡影响数据集交付的一律定为一级。按行读取的是单类告警的完整配置模板,按级别、通知对象、响应时限三列对照读取,可核对响应资源是否与风险等级相匹配。
表 4-5 三类告警的判定规则与响应
| 告警类型 | 判定规则 | 级别 | 通知对象 | 响应时限 |
|---|---|---|---|---|
| 任务失败 | 任务执行返回失败;重试仍失败 | 关键任务为一级,其余为二级 | 一级推送运维岗与数据开发;二级推送运维岗 | 一级 30 分钟内响应 |
| 任务超时 | 执行时长超过基线一定倍数 | 二级 | 运维岗 | 2 小时内响应 |
| 接口异常 | 错误率或时延超阈值;连续调用失败 | 按接口 SLA 级别定 | 运维岗与调用方 | 按 SLA 级别定 |
| 数据延迟 | 数据到达时间超过约定时限 | 影响数据集交付的为一级 | 运维岗、数据归口部门 | 一级 1 小时内响应 |
| 数据量异常 | 批次记录数偏离基线超过阈值 | 二级 | 运维岗与数据质量管理员 | 4 小时内响应 |
| 质量规则大面积不通过 | 单任务阻断级规则不通过比例超阈值 | 一级 | 运维岗、数据质量管理员、业务归口部门 | 1 小时内响应 |
「数据量异常」这一类告警在实践中捕获的问题往往比任务失败更隐蔽。任务成功执行但只取到平日十分之一的记录,多半是源系统接口变更或增量水位线错位,而任务状态是成功的,不设量级告警就发现不了。阈值按对象历史分布设定并按季度复核,新纳管对象在积累两个月基线后启用该告警。
图 4-2 数据运维故障闭环处置流程与三条定位分支。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(3)项数据运维要求。
故障关闭的条件有两条,缺一不可:故障现象消除,以及受影响的数据批次已补齐并通过质量规则复跑。只恢复任务运行而不补数,会留下一段数据空洞,这段空洞在日后被数据集加工取用时无法察觉。
招标文件要求制定数据退役管理规范,明确数据归档、销毁、审批处置流程,对到期闲置数据资产开展评估,区分归档与销毁处置路径(b1318)(b1319)。
退役触发有四种情形:保留期限到期、业务下线导致数据不再产生且不再使用、系统替换后旧数据已迁移、数据资产评估判定为无保留价值。
到期闲置数据资产的评估按四个维度打分:使用热度(近一年的访问与引用次数)、业务价值(是否仍为某业务判断的依据)、合规义务(法规、合同、审计是否要求保留)、复建成本(销毁后若需要是否还能重新获得)。
四个维度中合规义务具有否决权:存在保留义务的数据不进入销毁路径,无论其使用热度多低。复建成本高的数据倾向归档而非销毁,这一条对本项目的历史数据尤为重要——历史图纸与配套工艺卡片构成天然成对的监督样本,这类数据即使当前使用热度低,复建成本实际上是不可复建,应归档保留。
图 4-3 数据退役的评估判定与归档、销毁双路径。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(4)项数据退役要求。
归档的要求是「可检索、可复活」。归档台账记录数据对象、归档范围与时间区间、存储位置与介质、数据格式与解析说明、检索方式、复活流程与责任人、下次评估时点。格式解析说明这一项常被忽略,而它决定了十年后归档数据还能不能读——私有格式的归档数据须同时归档格式说明或转为通用格式。
销毁的要求是「可证明、不可恢复」。销毁方式按数据级别选择,L3 及以上须采用不可恢复的方式并由安全管理岗监督,销毁后出具销毁证明,证明记录销毁对象、范围、方式、执行人、监督人、时间。销毁范围须包含备份与副本,仅销毁主库而遗留备份不算完成销毁,这一点在销毁申请中须逐项列出副本清单并逐项确认。
退役处置须同步更新三处记录:数据资源目录中该对象的状态、元数据与血缘中的下游引用关系、相关质量规则的启用状态。下游仍有引用的数据对象不得直接退役,须先完成下游改造或确认下游可接受数据缺失。
生存周期四个阶段各有其管理对象:需求阶段是需求单,设计开发阶段是采集与加工任务、接口,运维阶段是告警与故障工单,退役阶段是退役处置单。各对象的落位要素见表 4-6。
表 4-6 数据生存周期域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 数据需求单 | 需求编号、提交部门与时间、需求类型、业务场景与使用方式、数据范围与字段清单、质量要求、安全要求、交付形态、评审四角度意见、排期信息、反馈与验收结论 | 字段清单须引用数据元标识;安全要求须引用分级标准;评审四角度逐项给结论,不以「同意」代替 | 提交部门提报,数据管理岗受理,四角度评审由对应责任岗分别给结论,排期由数据治理管理层例会确认 | 需求池统一入口,按来源打优先级标签;状态变更逐条留痕,驳回与未排期的同样留存 | 可行性不成立的不简单驳回,转入采集扩展清单或接口协调清单,按月与招标方对接推进 | 需求变更以版本追加,不覆盖原需求;交付范围缩减须在反馈信息中写明原因与补做计划 |
| 采集与加工任务 | 任务标识、来源对象、目标对象、增量口径、时间基准、调度周期、幂等键、重跑窗口、血缘登记状态、责任人 | 任务须幂等可重跑,同一输入与同一版本必得同一结果;血缘登记到字段级方可上线 | 开发人员提交,数据管理岗按五个评审检查点评审,涉及生产库直连的另经安全管理岗审批 | 任务配置与血缘登记联动,血缘未登记完整的任务不予发布;时序任务另配时钟偏差校正参数 | 任务失败按重试策略处理,超出重试次数生成运维工单;重跑须声明重跑区间,区间外数据不受影响 | 加工逻辑变更升主版本并触发下游影响评估;参数调整升次版本,变更记录写入血缘 |
| 数据接口 | 接口标识、提供方与消费方、契约定义、鉴权方式、限流阈值、幂等要求、错误码表、版本号、下线计划 | 接口变更须保持前向兼容或并行提供新旧版本;错误码不得复用于不同语义 | 开发人员提交契约,数据管理岗评审,消费方确认后发布 | 契约集中登记,鉴权与限流由网关统一配置,调用计量随接口自动开启 | 接口不可用超出约定时长的按故障流程处置,消费方按降级方案取数并记录降级期 | 新增字段升次版本;字段语义或类型变更升主版本,旧版本设并行期与下线公告期 |
| 告警与故障工单 | 告警标识、类别、触发规则与阈值、影响对象与范围、首报时间、响应人、处置过程、恢复时间、根因、复盘结论、改进项 | 一级故障须出复盘报告;告警配置须覆盖已上线任务与接口,新上线对象未配告警不予放行 | 告警规则由数据管理岗配置,阈值与业务侧确认;一级故障复盘由数据治理管理层审阅 | 三类告警分别配置通知渠道与升级路径;告警与任务、接口、对象三方关联,便于定位影响面 | 重复告警按同一根因合并为一张工单,避免工单数虚高;误报告警调整阈值并记录调整依据 | 告警规则调整升次版本;响应时限或升级路径调整以制度版本发布 |
| 退役处置单 | 处置单号、数据对象与范围、触发情形、四维度评估得分、处置路径、审批记录、归档台账标识或销毁证明编号、副本清单与逐项确认、同步更新三处记录的回执 | 合规义务项具否决权,存在保留义务的不进入销毁路径;下游仍有引用的不得直接退役 | 数据责任人发起,归档由数据管理岗审批,销毁由数据安全管理岗与数据治理管理层双签 | 退役处置与资源目录、血缘、质量规则三处状态联动,回执缺一则处置单不予关闭 | 下游引用未清理的,处置单挂起并生成下游改造任务,改造完成或下游确认可接受缺失后继续 | 评估维度或权重调整以制度版本发布;已执行的处置单不随新版本重判,保留当期评估记录 |
五类对象串起来就是一条数据从提出到退出的完整轨迹。轨迹的可追溯性是数据管理能力成熟度评审「数据生存周期管理」能力域的核心证据,也是本项目数据集样本可溯源的底层保障。
表 4-7 数据生存周期规划交付物与验收口径(b1320)(b1321)
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据需求管理规范 | 需求来源与分类、需求单模板、评审四角度、排期规则、流程记录留存、运行指标 | 经甲方评审通过并发布;需求池运行并有完整流程记录 |
| 数据设计开发规范 | 五类采集规范、加工四条要求、接口六项规范、五个评审检查点 | 新上线任务按检查点评审,例外有记录 |
| 数据运维管理制度 | 责任矩阵、六类告警规则、故障闭环流程、复盘要求 | 告警配置覆盖已上线任务与接口;一级故障有复盘报告 |
| 数据退役管理规范 | 触发情形、四维度评估、归档与销毁要求、审批层级、同步更新要求 | 经甲方评审通过并发布;首批到期闲置资产完成一轮评估 |
四份规范覆盖数据从需求到退役的全过程,责任分工按阶段划分:需求管理规范由数据管理岗执行,设计开发规范由开发侧执行并经数据管理岗评审,运维管理制度由运维值守岗执行,退役管理规范由数据责任人发起、安全管理岗与管理层审批。四份规范的执行记录——需求单、评审记录、故障复盘报告、退役处置单——是数据管理能力成熟度评审中生存周期管理能力域的主要证据,因此规范发布与记录积累同步推进,不等规范齐备再开始留痕。
数据应用流通是治理工作的出口。前四个域把数据做对、做可信、管起来,本章决定这些数据以什么形态、按什么权限、向谁提供。本章与数据集运营平台的边界是:本章交付的是管理规范与服务标准,平台的功能模块、界面与操作流程在「数据集运营平台」一节论述。
招标文件要求梳理数据应用需求,明确数据范围及要求,为数据应用提供治理后的可靠数据(b1323)(b1324)。
本项目的数据应用需求有两个明确的来源:四类高质量数据集的加工需求,以及十一个验证场景的数据需求。两者不是一回事——数据集加工需要的是大批量、可标注、可追溯的原始与中间数据;场景验证需要的是能支撑具体业务判断的、口径明确的查询与指标。梳理时分开处理,否则会把两类要求混成一张含混的清单。
梳理按三步做。先按场景逐条列出其业务判断所需的数据对象与字段,形成《高质量数据集验证场景数据需求清单》,这份清单是现状评估阶段的输出之一,在「数据治理一」一节论述,其结论在本章使用。再按清单核对数据供给能力:该字段是否已纳管、质量是否达到清单要求、安全级别是否允许该场景使用。最后把差距项分流——质量不足的进质量需求清单,未纳管的进采集扩展或接口协调清单,级别不允许的提交安全审批或改用脱敏形态。
表 5-1 以几个代表性场景示意数据范围与要求的对应关系。完整清单在现状评估完成后交付。
表 5-1 场景数据需求与供给要求对应(示例)
| 验证场景 | 核心数据范围 | 质量要求重点 | 安全级别与形态 |
|---|---|---|---|
| 产品智能选型 | 历史选型方案、工作面工况参数、产品谱系与配置、投运效果标签 | 工况参数完整性;选型方案结构化程度;效果标签覆盖率 | 工况参数 L4,须去标识;选型校核参数 L5,加工环境单独限定 |
| 板材备料工艺智能设计 | 图纸与图元解析结果、工艺卡片、28 道工序与工艺路线、设备与工装资源、工时定额 | 图号与版本准确性;图纸—卡片配对覆盖率;工序代码一致性 | L3,内网加工 |
| 库存控制智能化 | 商机与销售预测、需求计划、库存账与实物库存、项目占用、物料价格 | 三方库存一致性;时点口径统一;价格一致性 | 价格与成本 L5;其余 L3 |
| 热处理过程智能监控 | 炉次工单、装炉清单、材料批次、设定程序、实际温度曲线、检验结论 | 炉次与检验配对率;时序缺段率;时间基准对齐 | 工艺参数窗口 L5;其余 L3 |
| 焊接过程控制智能监控 | 焊接参数流、焊道标识、工件标识、预热与层间温度、检验与无损检测结论 | 参数流与焊道配对率;测点可信度 | L3 |
| 刮板输送装备健康智能诊断 | 测点配置、时序数据、报警日志、维修工单与备件出库 | 测点连续性与可信度;维修事实回填率 | 矿方位置信息 L4 须去标识;其余 L3 |
| 决策数据智能问答 | 九业务域指标与决策指标体系 | 指标口径唯一;来源数据质量门限 | 按指标涉及的最高级别;L5 指标限定人员范围 |
把治理后的数据交给应用,要说清可靠到什么程度。本项目对每一个供应用使用的数据对象给出三项声明。
一是质量状态声明,给出该对象当期的质量分与评级、各维度实测值、已知缺口清单。二是口径声明,给出该对象字段对应的数据元标准与版本、涉及指标的指标卡与版本。三是时效声明,给出数据更新频率、延迟与最近一次更新时间。
三项声明随数据一并提供,在数据资源目录中可查,在接口响应的元信息中返回。这样安排的用意是把「数据可不可靠」变成使用方可以自行判断的事实,而不是由供给方给一个笼统的保证。质量未达门限的数据对象,其输出带置信标记,由使用方决定是否采用或降权使用;标记规则在指标卡的质量约束字段中声明。
招标文件要求建立外部数据引入管理制度,规范外部数据采购、接入、核验、评估流程,明确外部数据存储、加工、共享的使用边界与约束(b1325)(b1326)。
本项目可能引入的外部数据有四类:国家与行业标准文本及其附带数据、市场行情与价格指数(供库存控制场景判断采购时机)、公开的地质与煤炭行业统计数据、供应商提供的材料质保书与检测数据。四类数据的来源合法性要求不同,管控强度也不同。
图 5-1 外部数据引入四阶段流程与合法性核查要素。数据来源:招标文件第五章 3.2.6.1.1.2.9 第(2)项外部数据管理要求。
合法性核查是四阶段中不可简化的一环,理由与本项目的性质直接相关:本项目的产出是用于大模型训练的数据集,招标文件在安全合规要求中明确须核查项目建设过程中是否包含不可用于商业用途的建设内容,并承诺数据集来源的合法性。外部数据一旦混入数据集而其许可范围不覆盖训练与商业使用,整份数据集的合法性都会受牵连。因此核查结论须逐项记录在外部数据台账中,并在数据集的数据卡中声明所含外部数据的来源与许可范围。
表 5-2 外部数据使用边界约束要素
| 约束维度 | 约束内容 | 记录位置 |
|---|---|---|
| 存储 | 存储位置与期限、是否允许留存原始件、备份范围 | 外部数据台账 |
| 加工 | 是否允许衍生加工、衍生品权属、是否允许进入训练数据集 | 台账与数据卡 |
| 共享 | 可共享的对象范围、是否允许对外提供、二次提供是否需供方同意 | 台账与开放授权记录 |
| 署名与引用 | 是否要求署名、引用格式 | 数据卡与成果文档 |
| 期限 | 许可有效期、到期处置方式 | 台账,到期前触发提醒 |
| 退出 | 终止引入时的清除范围,含衍生品处置约定 | 台账与退役处置单 |
到期与退出两项须在引入时就约定清楚。许可到期后衍生数据集能否继续使用,不同供方的约定不同;没有事先约定,到期时会面对一个两难——继续使用可能越权,停止使用则已交付的数据集要召回。本项目的做法是在采购阶段即把「许可到期后衍生品的处置方式」列为合同必谈条款,并把约定结果写入台账与数据卡。
招标文件要求制定数据开放共享流程,规范数据申请、审批、授权、回收等流程(b1327)(b1328)。
数据开放的对象分三层,管控强度依次提高:企业内部跨部门共享、面向甲方关联单位的共享、面向外部的数据集流通。第三层与数据集运营流通直接相关,其业务形态在「数据集运营平台」一节论述,本章规定其管理流程。
图 5-2 数据开放的申请、审批、授权、使用监测与回收流程。数据来源:招标文件第五章 3.2.6.1.1.2.9 第(3)项数据开放要求。
授权环节有三项要素须一并绑定,缺一则后续无法管控。授权凭据须与具体的数据范围、字段范围、时间范围绑定,不签发无范围限定的凭据。脱敏策略按受众与级别绑定在凭据上,同一数据对象对不同受众返回不同的脱敏结果。水印策略按级别绑定,L3 及以上的导出件带水印且水印可反查到授权凭据。
回收有五种触发情形:授权到期、申请用途变更、监测发现越权访问、发生违规事件、申请人岗位变动。回收执行后凭据立即失效,已导出的数据按约定处置方式处理并记录。回收记录与申请单关联,便于复核同一受众的历史授权情况。
招标文件要求构建数据服务标准,面向数据应用提供标准化数据服务(b1329)。
表 5-3 数据服务的四种形态与适用场合
| 形态 | 适用场合 | 技术要求要点 | 适用级别 |
|---|---|---|---|
| 接口服务 | 应用系统在线查询,单次返回量小 | 契约化、鉴权、限流、幂等、元信息随返 | L1–L4,L4 返脱敏结果 |
| 文件服务 | 批量取数、数据集交付 | 批次标识、校验值、清单文件、水印 | L1–L5,L4/L5 逐事项审批 |
| 视图服务 | 分析与报表直连 | 只读、行列级权限、动态脱敏 | L1–L3 |
| 订阅服务 | 变更驱动的下游同步 | 变更事件格式、顺序保证、重放能力 | L1–L3 |
四种形态的选择由使用方式与数据级别共同决定,不由提供方单方指定:在线查询选接口服务,批量取数与数据集交付选文件服务,分析报表直连选视图服务,下游同步选订阅服务;L4 数据经接口服务提供时一律返回脱敏结果,L5 数据只经文件服务并逐事项审批。形态一经确定即写入服务契约,变更形态按服务变更流程重新审批,不在原契约上追加。
每一项数据服务在服务目录中登记:服务标识与名称、提供的数据对象与字段、调用方式与契约、更新频率与延迟、质量状态声明、安全级别与脱敏策略、SLA 级别、责任部门与联系通道、版本与变更记录。服务目录与数据资源目录互相引用,使用方可以从数据对象找到可用服务,也可以从服务找到其数据来源。
SLA 按三级设定:一级服务供数据集加工与关键场景使用,可用性与时延要求最高,故障按一级响应;二级服务供常规业务查询使用;三级服务供分析探索使用,允许在资源紧张时降级。SLA 的具体指标值与系统非功能指标相关,在「非功能性」一节给出,本节规定的是分级原则与服务登记要求。
每次服务调用记录调用方、时间、数据范围、返回量、授权凭据。计量数据有三个用途:按受众统计使用情况,作为数据资产价值评估的输入;识别异常调用,作为安全审计的输入;度量服务实际负载,作为容量规划的输入。资产价值评估办法在「数据治理一」一节论述,本章提供其所需的使用计量数据。
流通域的管理对象有五类:数据服务、服务目录条目、外部数据台账、开放授权凭据、共享申请单。五类对象的落位要素见表 5-4。
表 5-4 数据应用流通域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 数据服务 | 服务标识与名称、形态、提供的数据对象与字段、调用契约、更新频率与延迟、质量状态声明、安全级别与脱敏策略、服务等级、责任部门与联系通道、版本与变更记录 | 服务返回的数据须随附质量状态与安全级别;超出所声明字段范围的返回视为配置错误 | 开发方提交,数据管理岗评审契约,数据安全管理岗核定级别与脱敏策略,发布前经服务责任部门确认 | 服务发布时自动在对应数据对象的目录条目挂出,下线时同步撤出;鉴权与限流由网关统一配置 | 服务不达所声明等级的按降级处置:三级服务在资源紧张时降级,一级服务优先保障并生成容量工单 | 契约新增字段升次版本;字段语义变更或等级调整升主版本,设并行期并提前公告消费方 |
| 服务目录条目 | 条目标识、关联数据对象、可用服务清单、业务定义、数据量级与时间跨度、质量分与评级、安全级别、申请方式、责任部门 | 质量状态与安全级别两项须由评分与分级标签实时带出,不接受人工填报 | 由服务发布与对象纳管自动生成,责任部门确认业务定义与申请方式 | 服务目录与数据资源目录互相引用,可从对象找服务,也可从服务找来源 | 目录与实际不符的(目录有服务而实际已下线)按日巡检发现并自动置为不可用,同时通知责任部门 | 条目内容随对象与服务的版本自动更新,不单独编版本;业务定义修订升次版本 |
| 外部数据台账 | 台账编号、数据名称与来源方、获取方式、授权链证据、许可范围(训练、商用、再分发)、许可期限、存储与加工约束、共享与署名要求、到期处置方式、关联数据集与衍生品清单 | 许可范围不覆盖模型训练或商业使用的,不得进入四类数据集;二次提供须经供方同意的逐项标注 | 需求方提报,合规责任岗核查授权链与许可范围,数据治理管理层批准引入 | 台账与数据卡、数据集血缘三方关联;许可到期前按设定提前量自动提醒 | 核查发现授权链不完整的终止引入并清除已接入副本,已进入数据集的按衍生品处置约定回退并记录 | 许可条款变更升主版本并重新评估已建成数据集的合法性;台账条目只追加不删除 |
| 开放授权凭据 | 凭据标识、受众、数据范围与字段范围、时间范围、用途、脱敏策略、水印策略、生效与到期时间、关联申请单、回收记录与回收原因 | 不签发无范围限定的凭据;凭据须与脱敏策略、水印策略一并绑定签发 | 由共享申请单的审批结论签发,数据安全管理岗执行签发与回收 | 凭据作为服务调用与导出的唯一通行依据,调用计量与审计日志均记录凭据标识 | 五种回收情形(到期、用途变更、越权访问、违规事件、岗位变动)任一触发即刻失效,已导出数据按约定处置并记录 | 范围调整不改原凭据,作废后重新签发;回收记录与申请单长期关联,供同一受众的历史授权复核 |
| 共享申请单 | 申请单号、申请方与层级(内部跨部门、关联单位、外部流通)、数据范围、用途与期限、涉及最高级别、审批链与意见、授权凭据标识、使用监测结论 | 三层开放对象的管控强度依次提高;外部流通层须另行核查合法性与许可范围 | 按开放层级与数据级别分层审批,外部流通层由数据治理管理层审批 | 申请、审批、授权、监测、回收五段在同一单据上留痕,监测结论回写申请单 | 监测发现实际使用超出申报用途的,回收凭据并将该申请方的后续申请提级审批 | 审批层级与监测口径调整以制度版本发布,在途申请按受理时的制度版本办结 |
五类对象的共同约束是范围绑定:服务绑定字段范围,凭据绑定数据、字段、时间与用途四重范围,台账绑定许可范围。范围一旦不绑定,后续的监测、回收与合法性追溯都无从执行,这也是本项目把范围要素作为必填项而非建议项的原因。
应用流通域的管理动作可归为两个方向:数据进来,与数据出去。外部数据引入解决进来的合法性,数据开放共享解决出去的可控性,数据应用需求梳理与数据服务标准分别是这两个方向的输入与实现手段。交付物因此收敛为两份正式规范,而不按小节数拆成四份——规范拆得过细,跨文件的口径一致反而难以维持,执行时也容易出现同一事项依不同文件办理。
两条验收口径均取可核对的物证,不取主观评价。引入侧核的是台账与授权凭证是否与已引入的外部数据逐条对应,有数据而无授权链证据的即判不合格;开放侧核的是已签发凭据是否均带数据、字段、时间与用途的范围限定,以及回收动作是否留有记录。两项都可由奔牛数据智能平台直接导出清单比对,不依赖人工说明。
这两份规范发布并通过上述核对,即表明本项目的数据对外提供已具备合法性与可追溯性的制度基础,数据集与数据服务可以进入运营流通环节。
表 5-5 数据应用流通规划交付物与验收口径(b1330)
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 外部数据引入管理办法 | 范围界定、四阶段流程、合法性核查要素、使用边界约束、台账要求、到期与退出 | 经甲方评审通过并发布;已引入外部数据的台账与授权凭证齐备 |
| 数据开放共享管理规范 | 三层开放对象、申请审批授权回收流程、审批层级、授权要素绑定、留痕要求 | 经甲方评审通过并发布;授权凭据均带范围限定;回收有记录 |
数据服务标准与服务目录作为《数据开放共享管理规范》的附件交付,数据应用需求的梳理结论以《高质量数据集验证场景数据需求清单》形式交付,该清单归属现状评估阶段成果,见「数据治理一」一节。
数据治理规划文档是规划阶段的成果载体,也是数据管理能力成熟度评审与项目验收的主要书面证据。本章对招标文件列明的全部文档逐份确定编制依据、章节骨架、责任域、形成时点、签审层级、输入输出与验收证据,并在项目实施期按计划节点提交评审。各份文档的内容建立在现状评估结论与招标方现行制度体系的确认之上,确认完成即按本章规定的时点与签审流程出具,附录佐证卷同步提供标准规范清单与模板样例,供评审时核对交付粒度。
招标文件要求至少交付不少于 25 份数据治理规划文档,并以表格列明 37 份具体名称与形态(b1332)。项目组按 37 份编制交付,高于不少于 25 份的要求。表 6-1 给出全部 37 份文档的形态、数量、所属规划域与计划提交节点,表 6-2 逐份给出编制输入、核心内容、输出去向、签审层级与验收证据,两表合起来即为每一份文档的交付约定。
表 6-1 数据治理规划文档交付清单(全 37 份)
| 序号 | 名称 | 形态 | 数量 | 所属规划域 | 计划提交节点 | 单元 |
|---|---|---|---|---|---|---|
| 1 | 数据战略管理办法 | 文档 | 1 | 数据战略 | 规划期第一阶段 | b1333r02 |
| 2 | 数据战略规划 | 文档 | 1 | 数据战略 | 规划期第一阶段 | b1333r03 |
| 3 | 数据战略实施计划 | 文档 | 1 | 数据战略 | 规划期第一阶段 | b1333r04 |
| 4 | 战略评估报告 | 文档 | 1 | 数据战略 | 首次评估周期结束 | b1333r05 |
| 5 | 数据治理顶层规划方案 | 文档 | 1 | 数据治理 | 规划期第一阶段 | b1333r06 |
| 6 | 数据治理组织架构 | 文档 | 1 | 数据治理 | 规划期第一阶段 | b1333r07 |
| 7 | 全套数据治理顶层管理制度 | 文档 | 1 | 数据治理 | 规划期第一阶段 | b1333r08 |
| 8 | 数据文化建设方案 | 文档 | 1 | 数据治理 | 规划期第二阶段 | b1333r09 |
| 9 | 数据模型分层架构 | 文档 | 1 | 数据架构 | 规划期第一阶段 | b1333r10 |
| 10 | 数据分布及数据流图 | 文档 | 1 | 数据架构 | 规划期第一阶段 | b1333r11 |
| 11 | 数据集成共享管理规范 | 文档 | 1 | 数据架构 | 规划期第一阶段 | b1333r12 |
| 12 | 元数据管理办法 | 文档 | 1 | 数据架构 | 规划期第一阶段 | b1333r13 |
| 13 | 数据资产管理办法 | 文档 | 1 | 数据资产 | 规划期第二阶段 | b1333r14 |
| 14 | 数据资源目录 | 文档 | 1 | 数据资产 | 随纳管范围滚动更新 | b1333r15 |
| 15 | 资产价值评估办法 | 文档 | 1 | 数据资产 | 规划期第二阶段 | b1333r16 |
| 16 | 数据资产运营流程规范 | 文档 | 1 | 数据资产 | 规划期第二阶段 | b1333r17 |
| 17 | 数据标准管理办法 | 文档 | 1 | 数据标准 | 规划期第一阶段 | b1333r18 |
| 18 | 业务术语标准 | 文档 | 1 | 数据标准 | 首批第一阶段,滚动补充 | b1333r19 |
| 19 | 参考数据标准 | 文档 | 1 | 数据标准 | 首批第一阶段,滚动补充 | b1333r20 |
| 20 | 数据元标准 | 文档 | 1 | 数据标准 | 首批第一阶段,滚动补充 | b1333r21 |
| 21 | 指标标准 | 文档 | 1 | 数据标准 | 首批第二阶段,滚动补充 | b1333r22 |
| 22 | 标准映射对照表 | 文档 | 1 | 数据标准 | 随纳管范围滚动更新 | b1333r23 |
| 23 | 数据质量管理办法 | 文档 | 1 | 数据质量 | 规划期第一阶段 | b1333r24 |
| 24 | 数据质量需求清单 | 文档 | 1 | 数据质量 | 首轮扫描完成后 | b1333r25 |
| 25 | 数据质量校验规则库 | 文档 | 1 | 数据质量 | 首批第一阶段,滚动补充 | b1333r26 |
| 26 | 质量分析报告 | 文档 | 1 | 数据质量 | 按月出具 | b1333r27 |
| 27 | 质量问题整改台账 | 文档 | 1 | 数据质量 | 持续维护,按季汇总 | b1333r28 |
| 28 | 数据合规管理制度 | 文档 | 1 | 数据安全 | 规划期第一阶段 | b1333r29 |
| 29 | 数据安全管理办法 | 文档 | 1 | 数据安全 | 规划期第一阶段 | b1333r30 |
| 30 | 数据安全分级标准 | 文档 | 1 | 数据安全 | 规划期第一阶段 | b1333r31 |
| 31 | 数据权限管理规范 | 文档 | 1 | 数据安全 | 规划期第一阶段 | b1333r32 |
| 32 | 数据需求管理规范 | 文档 | 1 | 生存周期 | 规划期第一阶段 | b1333r33 |
| 33 | 数据设计开发规范 | 文档 | 1 | 生存周期 | 规划期第一阶段 | b1333r34 |
| 34 | 数据运维管理制度 | 文档 | 1 | 生存周期 | 规划期第二阶段 | b1333r35 |
| 35 | 数据退役管理规范 | 文档 | 1 | 生存周期 | 规划期第二阶段 | b1333r36 |
| 36 | 外部数据引入管理办法 | 文档 | 1 | 应用流通 | 规划期第二阶段 | b1333r37 |
| 37 | 数据开放共享管理规范 | 文档 | 1 | 应用流通 | 规划期第二阶段 | b1333r38 |
提交节点按三个阶段安排:第一阶段为制度与标准的基础件,须在数据汇聚与首批数据集加工开始前发布,否则加工过程无规范可依;第二阶段为运营类规范与办法,在首批数据服务与资产运营启动前发布;滚动更新类的三份(数据资源目录、标准映射对照表、整改台账)与按期出具类的两份(质量分析报告、战略评估报告)随工作进展持续交付。
每一份文档的交付约定由五项要素构成:编制输入(依据哪些已有成果起草)、核心内容(文档正文必须覆盖的条款范围)、输出去向(这份文档被谁、在哪个环节作为依据使用)、签审层级(谁审谁批)、验收证据(以什么材料证明这份文档已交付且已生效)。形成时点按表 6-1 的计划提交节点执行。表 6-2 逐份列出。
表 6-2 数据治理规划文档的编制输入、核心内容、输出去向、签审与验收证据
| 序号 | 名称 | 编制输入 | 核心内容 | 输出去向 | 签审层级 | 验收证据 |
|---|---|---|---|---|---|---|
| 1 | 数据战略管理办法 | 现状评估结论、招标方现行规划与计划管理制度 | 数据战略的制定、评审、发布、调整与废止程序及职责分工 | 数据战略规划与实施计划的编制依据 | 数据治理管理层批准,按企业文件发布 | 发布文件、评审纪要 |
| 2 | 数据战略规划 | 现状评估差距清单、业务战略、数据集建设目标 | 管理愿景、重点任务、资源投入与分期目标 | 实施计划、年度预算与考核目标 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 3 | 数据战略实施计划 | 数据战略规划、项目总体计划 | 任务分解、时点、责任部门与资源安排 | 各域年度工作计划与进度考核 | 数据治理管理层批准 | 发布文件、季度进度记录 |
| 4 | 战略评估报告 | 实施计划执行记录、各域运行指标 | 执行偏差分析、原因判断与调整建议 | 下一周期战略与计划的修订输入 | 数据治理管理层审阅 | 评估报告、审阅记录 |
| 5 | 数据治理顶层规划方案 | 现状评估结论、成熟度目标 | 治理目标、体系框架、能力域建设路线与里程碑 | 各域专项规划与制度的编制依据 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 6 | 数据治理组织架构 | 招标方现行组织设置、组织与岗位主数据 | 组织设置、岗位职责、议事与决策机制 | 全部制度中责任主体的来源 | 招标方管理层批准并任命 | 发文、岗位任命记录 |
| 7 | 全套数据治理顶层管理制度 | 顶层规划方案、组织架构 | 治理工作的通用管理条款、考核与通报办法 | 各专项制度的上位依据 | 数据治理管理层批准 | 发布文件、制度清单 |
| 8 | 数据文化建设方案 | 现状评估中的人员与能力结论 | 宣贯、培训、激励与评价安排 | 培训计划与能力考核 | 数据治理管理层批准 | 发布文件、培训与考核记录 |
| 9 | 数据模型分层架构 | 资产盘点结论、业务对象清单 | 分层定义、建模规范、命名规则 | 加工任务建模与数据元标准编制 | 数据架构责任岗审核,管理层批准 | 发布文件、模型登记册 |
| 10 | 数据分布及数据流图 | 系统清单、接口盘点结论 | 各业务域数据分布、流转路径与现存断点 | 汇聚方案与接口协调清单 | 数据架构责任岗审核 | 发布文件、与血缘登记的一致性核对记录 |
| 11 | 数据集成共享管理规范 | 数据流图、接口盘点结论 | 集成方式、接口契约要求、共享边界与审批 | 接口开发规范与开放共享规范 | 数据治理管理层批准 | 发布文件、接口登记册 |
| 12 | 元数据管理办法 | 架构规划、平台元数据模型 | 三类元数据的采集、维护、血缘分析与变更管理 | 元数据与血缘登记的执行依据 | 数据治理管理层批准 | 发布文件、元数据登记完整性统计 |
| 13 | 数据资产管理办法 | 资源目录初稿、权属约定 | 资产认定、登记、权属、运营与退出 | 资源目录与价值评估的执行依据 | 数据治理管理层批准 | 发布文件、资产登记台账 |
| 14 | 数据资源目录 | 元数据登记、质量评分、分级标签 | 按业务域与数据主题组织的资产条目 | 使用方检索与申请的入口 | 数据管理岗维护,责任部门确认 | 目录条目、质量分与级别的实时带出记录 |
| 15 | 资产价值评估办法 | 服务调用计量、数据集流通记录 | 评估维度、计分方法与结果应用场合 | 资产运营与投入决策 | 数据治理管理层批准 | 发布文件、首轮评估记录 |
| 16 | 数据资产运营流程规范 | 资产管理办法、服务目录 | 上架、供需对接、计量、变更与下架流程 | 运营平台的流程配置依据 | 数据治理管理层批准 | 发布文件、运营流水记录 |
| 17 | 数据标准管理办法 | 现状评估中的标准现状、组织架构 | 五类标准的制定、评审、发布、变更、废止程序与版本规则 | 五类标准与标准映射对照表的编制依据 | 数据治理管理层批准 | 发布文件、标准发布记录 |
| 18 | 业务术语标准 | 各域业务文件、系统字典、访谈记录 | 九业务域术语卡 | 数据元定义与指标业务定义 | 归口部门核定,数据标准管理员发布 | 发布版本、术语覆盖率抽样记录 |
| 19 | 参考数据标准 | 系统字典盘点、行业与国家标准 | 参考数据管理范围与三类来源的管控要求 | 代码值域字典与值域校验规则 | 归口部门核定,数据标准管理员发布 | 发布版本、归口核定记录 |
| 20 | 数据元标准 | 物理字段盘点、业务术语标准 | 核心业务域数据元的属性集合 | 映射登记、规则派生、指标口径 | 归口部门核定,数据标准管理员发布 | 发布版本、加工依赖字段的覆盖记录 |
| 21 | 指标标准 | 决策指标需求、数据元标准 | 指标卡规范与首批指标定义 | 指标计算配置与问答场景口径 | 指标归口部门核定口径,数据标准管理员发布 | 发布版本、口径一致性校验记录 |
| 22 | 标准映射对照表 | 技术元数据、数据元标准 | 标准项到物理字段的映射与转换规则 | 规则派生与标准变更影响评估 | 归口部门确认,数据标准管理员登记 | 登记册、已纳管对象的映射覆盖记录 |
| 23 | 数据质量管理办法 | 标准体系、组织架构 | 六维度模型、规则管理、稽核管理、评分评级、问题闭环与考核 | 规则库建设与稽核调度的执行依据 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 24 | 数据质量需求清单 | 各域质量诉求、首轮扫描结果 | 核心数据的质量诉求、基线、目标类别与分期目标 | 规则派生与质量目标考核 | 归口部门提报,数据治理管理层核定 | 清单版本、基线实测记录 |
| 25 | 数据质量校验规则库 | 数据元标准、质量需求清单 | 十类模板下的规则条目及其元数据 | 稽核任务配置与加工入口门控 | 数据质量管理员审核入库,阻断级经管理层确认 | 规则库版本、稽核运行记录 |
| 26 | 质量分析报告 | 稽核结果、问题台账 | 质量构成、趋势、根因分析与整改进展 | 月度例会整改清单 | 数据质量管理员出具,管理层审阅 | 按月报告、例会纪要 |
| 27 | 质量问题整改台账 | 质量问题工单全量记录 | 问题单全生命周期记录与关闭率、复发率统计 | 规则与标准的修订线索 | 数据质量管理员维护,按季汇总报管理层 | 台账、分项统计表 |
| 28 | 数据合规管理制度 | 法律法规与国家标准、招标方现行保密制度 | 合规依据、合规责任、重要数据与敏感数据识别与报备、违规处理 | 分级标准与安全管理办法 | 合规责任岗审核,管理层批准 | 发布文件、合规差距清单闭环记录 |
| 29 | 数据安全管理办法 | 合规管理制度、组织架构 | 分类分级管理、防护要求、审计要求、事件响应与考核 | 权限、脱敏、水印、审计四类配置的依据 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 30 | 数据安全分级标准 | 资产盘点结论、合规差距清单 | L1 至 L5 判定依据、本项目实例、分级作业流程、裁决与复评机制 | 权限与脱敏策略的生成依据 | 安全管理岗复核,L4 与 L5 经管理层审批 | 发布文件、分级标签登记完整性统计 |
| 31 | 数据权限管理规范 | 分级标准、组织与岗位主数据 | 权限模型、申请与审批流程、分级管控矩阵、复核与回收 | 平台权限策略配置 | 数据治理管理层批准 | 发布文件、季度复核记录 |
| 32 | 数据需求管理规范 | 组织架构、标准与分级成果 | 需求来源分类、需求单模板、评审四角度、排期规则与流程留痕 | 需求池运行 | 数据治理管理层批准 | 发布文件、需求池流程记录 |
| 33 | 数据设计开发规范 | 数据模型分层架构、标准与质量要求 | 采集、加工、模型、接口规范与开发过程评审检查点 | 任务与接口的上线评审 | 数据管理岗审核,管理层批准 | 发布文件、上线评审记录 |
| 34 | 数据运维管理制度 | 任务与接口清单、平台告警能力 | 运维责任矩阵、告警规则、故障闭环流程与复盘要求 | 运维值守与故障处置 | 数据治理管理层批准 | 发布文件、一级故障复盘报告 |
| 35 | 数据退役管理规范 | 资产台账、法规与合同的保留义务清单 | 触发情形、四维度评估、归档与销毁要求、审批层级与同步更新要求 | 退役处置单的执行依据 | 数据治理管理层批准 | 发布文件、首轮到期资产评估记录 |
| 36 | 外部数据引入管理办法 | 外部数据需求、法规与许可要求 | 范围界定、四阶段流程、合法性核查要素、使用边界约束与台账要求 | 外部数据台账与数据卡 | 合规责任岗审核,管理层批准 | 发布文件、台账与授权凭证 |
| 37 | 数据开放共享管理规范 | 分级标准、数据服务标准 | 三层开放对象、申请审批授权回收流程、授权要素绑定与留痕 | 授权凭据签发与使用监测 | 数据治理管理层批准 | 发布文件、授权与回收记录 |
表 6-2 的「验收证据」一列是本章验收的落点。一份文档只写完正文不算交付:制度类须有发布文件,清单与台账类须有可核对的条目与统计,报告类须有审阅记录。三类证据与文档正文一并归入项目验收材料,也是数据管理能力成熟度评审的证据来源。
现状评估阶段的成果与数据治理规划文档是两组材料,分别计数、分别验收,不相互顶替。招标文件列明的 37 份是规划阶段的成果;现状评估阶段另行出具评估类成果,它们是 37 份规划文档的编制输入,不计入 37 份之内。表 6-3 列出现状评估阶段成果及其与规划成果的关系,各成果的章节结构与验收口径在「数据治理规划(一)」一节给出。
表 6-3 现状评估阶段成果及其与规划成果的关系
| 成果名称 | 形态 | 形成时点 | 签审 | 作为哪些规划成果的输入 |
|---|---|---|---|---|
| 数据治理现状诊断报告 | 报告 | 现状评估结束,第一阶段内提交 | 项目组出具,招标方评审确认 | 顶层规划方案、数据战略规划、各域专项规划的差距依据 |
| 高质量数据集验证场景数据需求清单 | 清单 | 现状评估结束,第一阶段内提交 | 项目组出具,招标方评审确认 | 数据质量需求清单、数据需求管理规范、采集扩展清单 |
| 全域数据资产盘点结果 | 清单(诊断报告附件) | 随诊断报告提交 | 归口部门逐域确认 | 数据元标准、数据资源目录、数据安全分级标准 |
| 合规与制度差距清单 | 清单(诊断报告附件) | 随诊断报告提交 | 合规责任岗确认 | 数据合规管理制度、数据安全管理办法 |
两组材料的计数口径在项目验收清单中分列:规划成果按 37 份计,评估成果按实际出具份数单列。两者的内容若出现不一致,以评估成果为事实依据、以规划成果为管理依据,规划内容按评估结论调整并在阶段评审会上说明调整依据。
每份文档按统一体例编制:封面与版本页、适用范围、引用依据、术语、正文条款、附表与模板、生效与修订记录。制度类文档的正文条款须写明责任主体与可核查的动作,避免只写原则不写动作——「应加强数据质量管理」这类条款无法执行也无法检查,须改写为「某角色在某时点完成某动作并留存某记录」。
评审分三道。项目组内部评审核对体例、条款可执行性、与其他文档的一致性。甲方业务评审由各业务域归口部门核对条款与本域实际业务流程是否冲突。甲方管理层评审确认制度的责任分工与考核要求。三道评审均通过后由甲方按企业文件发布程序发布,发布后的制度即为项目实施的依据。
文档之间存在引用关系,须统一维护一张引用关系表,避免一份文档修订后其他文档的引用内容失效。引用关系表作为治理文档体系的索引随文档集一并交付。
招标文件明确交付文档的数量与名称可在实施阶段滚动优化(b1334)。本项目的滚动优化按三条规则执行。
数量只增不减。37 份是下限,实施过程中若发现某一主题需要单独成文(例如时序数据的采集与质量规范),增编文档并在引用关系表中登记。
拆分与合并须经甲方确认。若某份文档内容过多宜拆分,或两份文档内容高度重叠宜合并,须提交变更申请说明理由与对照关系,经甲方数据治理管理层确认后执行,并在交付清单中保留与招标文件原清单的对应关系,使验收时可逐项核对。
版本与基线。每份文档按版本管理,重要节点固化基线。DCMM 评审前固化一次评审基线,项目验收前固化一次验收基线。基线固化后的修订另起版本,不覆盖基线版本。
37 份文档按表 6-1 的计划提交节点分三批交付:第一批为制度与标准的基础件,在数据汇聚与首批数据集加工开始前发布;第二批为运营类规范与办法,在首批数据服务与资产运营启动前发布;滚动更新类与按期出具类随工作进展持续交付。每一批次提交时同时提交该批次的验收证据,按表 6-2 的「验收证据」一列逐份核对。
各份文档的正文内容以现状评估结论与招标方现行制度体系的确认为依据,确认完成即按本章规定的时点、签审层级与证据要求出具。附录佐证卷提供标准规范清单与模板样例,供评审时核对交付粒度;需要查看某份文档的详细样式的,按招标方要求另行提供样例。
招标文件要求根据数据治理规划成果,对数据集生产加工相关的九个业务域,把数据汇聚、数据处理、元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全管理、数据指标管理、数据服务管理九项内容在数据治理开发工具平台上落地实施(b1336)。
九个业务域与九项治理内容构成一个 9×9 的落地矩阵。矩阵不是均匀的:不同业务域在不同治理内容上的工作量与优先级差别很大。表 7-1 给出各单元格的实施重点与优先批次,优先批次按三批划分,第一批为数据集加工的必需前提,第二批为治理能力成形所需,第三批为运营与优化所需。
表 7-1 九业务域 × 九项治理内容落地矩阵(单元格内为优先批次)
| 业务域 | 数据汇聚 | 数据处理 | 元数据 | 数据资产 | 数据标准 | 数据质量 | 数据安全 | 数据指标 | 数据服务 |
|---|---|---|---|---|---|---|---|---|---|
| 研发设计 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 生产制造 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 质量管理 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 仓储物流 | 一 | 一 | 二 | 二 | 一 | 一 | 二 | 二 | 二 |
| 设备管理 | 一 | 一 | 二 | 二 | 一 | 一 | 二 | 二 | 二 |
| 采购管理 | 二 | 二 | 二 | 三 | 二 | 二 | 二 | 二 | 三 |
| 营销管理 | 二 | 二 | 二 | 三 | 二 | 二 | 一 | 二 | 三 |
| 财务管理 | 二 | 二 | 二 | 三 | 二 | 二 | 一 | 二 | 三 |
| 人力资源 | 二 | 二 | 三 | 三 | 二 | 二 | 一 | 三 | 三 |
排序依据是业务域对四类数据集的贡献度:研发设计、生产制造、质量管理三个域直接产出工艺设计类、制造过程类、产品质量类数据集的主体样本,仓储物流与设备管理支撑供需计划类与设备诊断类场景,其余四个域主要支撑决策指标与通用场景。营销管理、财务管理、人力资源三个域的数据安全排在第一批,原因是这三个域集中了 L4 与 L5 数据(客户信息、价格与成本、人员信息),分级与权限须先行。
招标文件要求九项内容在数据治理开发工具平台上落地实施(b1336)。治理平台作为奔牛数据智能平台的治理组件部署,承担元数据、标准、质量、安全策略、资产目录、指标、服务七类治理对象的集中管理,以及汇聚与加工任务的调度与监控。平台的功能模块划分、界面设计与操作流程在「数据集运营平台」一节论述;数据集加工生产的七个生产环节在「四大数据集加工生产总述」及其分节论述。本节讲的是治理实施在平台上的落地方式与各侧责任边界。
责任边界须一次说清,因为治理实施牵涉源系统、治理平台、加工链路、应用侧四方。
图 7-1 治理实施的四侧责任边界与数据流向。数据来源:招标文件第五章 3.2.6.1.2 实施要求与 3.2.6.1.1 规划成果。
四侧边界中有三条须在实施启动前与甲方书面确认,否则实施推进会反复停顿。
第一条是源系统接口的开通范围与配合责任。本项目所需的是按已授权数据域开放只读接口或数据库只读视图,不替换、不重建任何一套业务系统。接口开通涉及原厂配合的,配合方式与工作量须另行确认。
第二条是源头数据错误的处置责任。治理侧负责发现、定位、通知与在服务侧降级维持可用,数据内容的更正由业务归口部门执行。这条边界决定了质量问题整改台账中「责任部门」一列的填法。
第三条是采集范围扩展的现场条件。设备侧采集点位的布设与改造涉及生产现场,停机窗口与施工条件由甲方确认,扩展清单以现场勘察结论为准。
数据汇聚解决「数据从哪来、怎么进来」。实施内容包括源清单确认、接入通道建设、增量机制配置、时间基准统一、接入质量入口校验。
源清单按九个业务域梳理,覆盖设计与工艺、物料与库存、工单与报工、检验与不合格品、采购与供应商、设备与测点、公文与合同、项目与商机、在役装备运维各类承载系统。各系统的具体接入方式、增量口径与对接推进安排在「数据资源采集接入」一节论述,本节不重复展开。
本节要落实的是汇聚环节的治理动作,共四项。接入对象登记进元数据,包括源系统、对象、字段、类型、更新频率、负责人;字段按数据元标准做映射登记,无对应数据元的新建数据元草案;按分级标准标注接入字段的安全级别,L4 与 L5 字段的接入须单独审批;接入任务配置入口校验规则与数据量异常告警。四项动作未完成的接入对象,不进入下一环节的加工。
对时序数据与图纸类数据,汇聚环节另有两项专门要求。时序数据须在接入时完成时间基准校正并记录各源的时钟偏差。图纸类数据的解析在内网就地进行,解析产物(图元、尺寸、标注、图层、线型、视图投影关系)作为新的数据对象登记元数据,与原始图纸建立血缘关系,使后续工艺类样本的每一个特征都可回溯到图纸上的具体图元。
数据处理解决「数据怎么变得能用」。实施内容按四类处理动作组织。
结构化归一处理:按码表做值域归一,按映射规则做单位与口径换算,按主数据做关联键补全。关联键补全是本项目工作量最大的一项,因为甲方现状中图纸与工艺卡配对关系、焊接参数与焊道对应、热处理炉次与工件和材料批次关联、故障记录与数据段配对均未建立。补全的办法按对象分别设计:有确定性规则可依的(图号与版本对应卡片编号)按规则补全并抽样核验;只能按时间窗与设备位置推断的(焊接参数与焊道)按推断规则补全并标注置信度,置信度低的样本在数据集加工时降权或排除。
文档与图纸解析处理:按文档类型分流解析,输出结构化段落、表格、符号与图元。工艺规程中的粗糙度、坡口、倒角、公差等符号表达须解析为可计算的加工要求,这部分技术实现在「数据加工生产一」一节论述。
时序处理:重采样与对齐、缺段标注、异常点标注、工况分段。工况分段对设备诊断类数据特别重要,因为刮板输送机在井下被液压支架推移、被采煤机在机身上行走,测点信号含有来自其他设备的耦合干扰,不分段直接建模学到的是混合工况下的平均特征。
衍生计算处理:按确定性公式计算衍生字段,例如按中性层公式计算展开长与材料定额。这类计算的要求是同一输入与同一版本必得同一结果且过程可复算,计算所依据的公式版本记录在血缘中。
四类处理动作的共同治理要求是幂等、可重跑、血缘登记完整,见本节第 4 章第 2 节。
元数据管理解决「有什么数据、它从哪来、谁在用」。实施内容是业务元数据、技术元数据、管理元数据三类的采集与维护,以及血缘分析与变更管理。元数据管理办法在「数据治理一」一节交付,本节落实其执行。
业务元数据的采集靠标准建设带动:术语卡、数据元标准、指标卡本身就是业务元数据的主体。技术元数据从源系统字典、数据库目录、加工任务配置自动采集,采集频率按对象变化节奏设定。管理元数据包括责任人、安全级别、质量状态、生命周期状态,由各治理动作写入。
血缘的粒度要求到字段级。字段级血缘是三件事的前提:质量问题的向上溯源、标准变更的影响评估、数据集样本的来源追溯。其中第三件对本项目尤其关键——数据集要做到可溯源,每一条样本须能回答它的各个字段分别来自哪个源系统的哪条记录经过了哪些加工。表级血缘回答不了这个问题。
变更管理的实施要求是:源系统字段变更、加工逻辑变更、标准变更三类事件均触发影响评估,评估结果通知受影响对象的责任人。源系统字段变更的发现依赖技术元数据的周期采集比对,比对发现的未报备变更作为接口协调事项提出。
数据资产管理解决「数据作为资产怎么登记、怎么作价、怎么被用起来」。实施内容是数据资源目录的建设与维护、权属登记、价值评估的执行、资产运营流程的落地。四项办法与规范在「数据治理一」一节交付,本节落实其执行。
数据资源目录按业务域与数据主题两级组织,条目到数据对象。每个条目呈现的信息包括:业务定义、字段清单与数据元引用、数据量级与时间跨度、更新频率与延迟、质量分与评级、安全级别、可用的数据服务、责任部门、申请方式。目录的价值在于让使用方自己能找到并判断数据能不能用,因此目录的质量状态与安全级别两项必须是实时的而非人工填报的——这两项由质量评分与分级标签自动带出。
权属登记须区分原始数据与治理后形成的数据资产。原始数据的来源与存储位置按源系统登记;治理后形成的数据资产,其所有权与使用权按甲方与项目的约定登记,涉及外部数据衍生品的按外部数据台账中的约定登记。
价值评估的执行依赖使用计量数据,计量来源是数据服务调用记录与数据集流通记录。首轮评估在首批数据服务运行满一个季度后开展,此前不作评估,理由是没有使用数据的价值评估只能靠主观打分。
数据标准管理在平台上的落地形态是四件事:标准的在线维护与版本管理、标准到物理字段的映射登记、标准发布时的规则派生、标准变更时的影响评估。四件事的规范在本节第 1 章给出,此处说明平台落地要点。
标准在线维护要支持按业务域分权维护:各域归口部门维护本域术语与数据元草案,数据标准管理员审核发布。这一安排是为了让标准维护的工作量分散到业务侧,由项目组集中维护的标准体系在项目结束后往往难以持续。
映射登记支持两种来源:从技术元数据自动推荐(按字段名与类型相似度)与人工确认。自动推荐降低登记工作量,确认权在人。推荐的准确率在首批登记后统计并作为推荐规则调优依据。
规则派生与影响评估的机制见本节第 1 章第 8 节。
数据质量管理在平台上的落地形态是规则库维护、稽核调度、异常台账、评分看板、问题工单五个部分,对应本节第 2 章的五环闭环。实施要点有三。
规则的分权维护与标准同理:各域业务人员可提报规则需求并参与阈值设定,数据质量管理员审核入库。阈值由业务参与设定这一点很重要,技术侧定的阈值往往与业务容忍度不符,导致大量误报。
稽核调度与加工调度解耦。质量稽核作为独立任务运行,不嵌在加工任务内部,这样稽核规则的调整不需要改动加工任务,稽核失败也不会直接导致加工任务失败——由入口校验按严重级决定是否阻断。
评分看板按三个视角呈现:业务域视角给管理层看趋势,数据对象视角给数据责任人看明细,规则视角给质量管理员看规则有效性。三个视角用同一套底层数据,避免出现口径不一的几张报表。
数据安全管理在平台上的落地形态是分级标签维护、权限策略配置、脱敏规则配置、审批流程、审计日志与分析五个部分,对应本节第 3 章。实施要点有三。
分级标签的落地粒度到数据元并向上汇总到数据对象与数据集。数据对象的级别取其字段级别的最高值作为默认值,数据集的级别按聚合后敏感度单独定级,不取最大值,理由见本节第 3 章第 1 节。
权限与脱敏策略由分级标签驱动自动生成默认策略,再由安全管理岗按业务需要调整。自动生成的作用是保证新纳管对象不会因为漏配策略而处于无保护状态——默认策略按级别从严,调整只能往宽且须记录理由。
审计日志的采集范围、分析模型与追溯核验要求见本节第 3 章第 3 节。平台侧落地要注意一点:日志量会很大,须按级别分别设定采样与留存策略,L3 及以上全量留存,L1 与 L2 可按采样留存,避免日志存储成本挤占数据存储资源。
数据指标管理在平台上的落地形态是指标卡维护、指标计算配置、指标血缘、口径一致性校验四个部分。实施要点有二。
指标计算须与指标卡声明的计算逻辑一致,不允许在计算任务里写一套、在指标卡里写另一套。落地做法是指标卡的计算公式以指标标识书写并由平台翻译为计算逻辑,而不是由开发人员按文字描述自行实现。这是本项目防止口径漂移的主要手段。
口径一致性校验在指标发布前运行,检查三件事:是否存在同名不同口径的指标、维度取值是否全部引用已发布码表、来源数据元是否均已发布。三项任一不过则指标不予发布。
决策指标体系的指标选取与问答场景设计在「五个通用场景验证方案」一节论述。
数据服务管理在平台上的落地形态是服务目录、服务发布与下线、契约与版本管理、鉴权与限流、调用计量与监控五个部分,规范见本节第 5 章第 4 节。实施要点有二。
服务发布须与资源目录联动:服务发布时自动在对应数据对象的目录条目上挂出可用服务,服务下线时同步撤出。两边脱节会出现目录里写着有服务、实际已下线的情况。
调用计量数据同时供三方使用——资产价值评估、安全审计、容量规划,因此计量记录的字段设计须一次满足三方需要,见本节第 5 章第 4 节。
上述九项的实施不停在原则层面。表 7-2 逐项给出平台上的配置步骤与一个本项目的数据处理实例,表 7-3 逐项给出常态运行记录与权限职责分工;验收用例与回退方法在第 7.8 节逐项给出。三张表与本节的九个小节一一对应,构成每一项治理内容从配置、运行到验收的完整约定。
表 7-2 九项治理内容的平台配置步骤与数据处理实例
| 治理内容 | 平台配置步骤 | 本项目的数据处理实例 |
|---|---|---|
| 数据汇聚 | 登记源系统与只读接入账号;定义接入对象与字段并映射数据元;配置增量口径与时间基准;配置入口校验规则与数据量异常告警;试运行三个批次后转常态调度 | 制造执行系统工单表按工单更新时间做增量接入,接入时校正该源与统一时间基准的时钟偏差并记录偏差值;入口校验工序代码、设备编码、报工时间三项非空;当日增量量级偏离近三十日均值超出设定幅度时告警并暂停下游加工 |
| 数据处理 | 按处理类型选模板;配置幂等键与重跑窗口;配置归一与补全规则;登记字段级血缘;通过评审检查点后发布 | 焊接参数流按设备位置与时间窗与焊道标识对齐,对齐结果写入置信度字段:规则唯一命中的记为高,时间窗内存在多个候选焊道的记为中并保留候选清单,无候选的记为低且不进入成对样本 |
| 元数据管理 | 接入源系统字典与数据库目录;配置采集频率;配置血缘解析范围;配置变更比对与通知规则 | 每日比对源系统字典快照,发现新增或变更字段即生成变更事件,按血缘定位受影响的加工任务与数据集,通知责任人并把未完成影响评估的下游任务挂起 |
| 数据资产管理 | 定义目录分类树;配置条目字段与自动带出项;登记权属;配置价值评估所需的计量取数 | 资源目录中「热处理炉次」条目的质量分与安全级别由评分与分级标签实时带出,人工只维护业务定义与申请方式;条目上挂出该对象可用的接口服务与文件服务 |
| 数据标准管理 | 建标准库与版本策略;配置分权维护范围;配置映射自动推荐;配置发布时的规则派生;配置变更影响评估 | 数据元「材质牌号」发布后自动派生空值、格式与值域三条校验规则并下发稽核;该数据元值域扩充时,引用它的物理字段映射与已派生规则一并进入复核队列,复核通过后随新版本生效 |
| 数据质量管理 | 按模板建规则;配置阈值与严重级;配置稽核任务与调度;配置评分权重与看板;配置工单流转 | 「三方库存数量比对」规则按物料编码与统计时点关联企业资源计划账、仓储实物账与盘点结果,容差按计量精度设定;超差记录生成告警级工单并带出差异明细与涉及记录数 |
| 数据安全管理 | 登记分级标签;由标签生成默认权限与脱敏策略;配置审批链路由;配置水印与导出通道;配置日志采样与留存 | 「矿方客户联系人」字段定为 L4,默认策略为仅归口部门可见、对外服务一律脱敏;分析场景提出使用申请并经三级审批后,签发限定字段与期限的凭据,导出件带可反查到该凭据的水印 |
| 数据指标管理 | 建指标卡;以指标标识书写计算公式;配置计算任务与刷新频率;配置发布前口径一致性校验 | 「库存周转率」指标卡写明分母取期初期末平均并扣除项目专用占用,公式引用三个数据元标识;发布前校验命中同名不同口径的既有指标,既有指标置为待裁决,两者均不予发布直至裁决完成 |
| 数据服务管理 | 登记服务与契约;配置鉴权与限流;配置与资源目录的联动;配置调用计量;配置服务等级与降级策略 | 「工艺卡片查询」接口按凭据鉴权并按受众返回不同脱敏结果,每次调用记录凭据标识、数据范围与返回量;服务下线时资源目录条目上的该服务自动撤出,避免目录与实际脱节 |
表 7-3 九项治理内容的常态运行记录与权限职责
| 治理内容 | 常态运行记录 | 权限与职责分工 |
|---|---|---|
| 数据汇聚 | 接入任务运行日志、批次量级与时延记录、入口校验命中记录、失败与重试记录 | 项目组数据管理岗建设与值守;源系统侧按已授权范围提供只读接口并保障接口可用;接入账号一律只读,权限按对象授予而非按库授予 |
| 数据处理 | 任务运行与重跑记录、字段级血缘登记记录、补全置信度分布、抽样核验记录 | 开发人员提交任务,数据管理岗评审并发布,直连生产库的另经安全管理岗审批;重跑权限仅授予数据管理岗且须声明重跑区间 |
| 元数据管理 | 元数据采集日志、变更事件与通知记录、血缘覆盖率统计、未报备变更清单 | 技术元数据自动采集;业务元数据由各域归口部门维护;管理元数据由各治理动作写入,不开放人工直接修改 |
| 数据资产管理 | 目录条目变更记录、权属登记记录、使用计量汇总、价值评估记录 | 目录由数据管理岗维护、责任部门确认;权属登记经招标方资产归口确认;评估结果报数据治理管理层审议 |
| 数据标准管理 | 标准发布与版本记录、映射登记与确认记录、规则派生记录、变更影响评估记录 | 各域归口部门维护本域草案,数据标准管理员审核发布;发布权限集中、维护权限分散,使标准工作在项目结束后仍可由业务侧承接 |
| 数据质量管理 | 稽核运行记录、异常台账、质量评分与月度报告、问题工单与复核记录 | 业务人员可提报规则需求并参与阈值设定;数据质量管理员审核入库;阻断级规则经数据治理管理层确认;整改由责任部门执行并留痕 |
| 数据安全管理 | 分级登记与复评记录、授权与回收记录、脱敏与水印执行记录、审计日志 | 安全管理岗配置策略,数据责任人审核必要性,L4 与 L5 经数据治理管理层审批;审计日志独立权限,运维账号只读,业务账号不可删改 |
| 数据指标管理 | 指标发布记录、口径一致性校验记录、指标计算运行记录、口径裁决记录 | 口径核定权在指标归口部门,发布权在数据标准管理员,计算配置权在数据管理岗;三权分置,避免口径被单方改写 |
| 数据服务管理 | 服务发布与下线记录、契约版本记录、调用计量与监控记录、降级与容量记录 | 服务责任部门确认发布,安全管理岗核定级别与脱敏策略,网关统一承担鉴权与限流;消费方只持授权凭据,不持底层库账号 |
九项治理内容是横向能力,九个业务域是纵向对象。横向能力在各域落地时的重点不同,下面逐域说明。各域的工作均包含汇聚、处理、元数据登记、标准映射、质量规则、分级标注六项基础动作,此处只写该域的特殊之处。
研发设计域。核心对象是图纸、物料清单、工艺文件与产品谱系。实施重点有三:建立图号与版本的唯一标识体系并打通与物料编码的对应;建立图纸与工艺卡片的配对关系,这是约 63 万张历史图纸形成成对监督样本的前提;把工作面工况参数(产量与作业制度、地质与煤质、截深截高推移步距等接口参数)结构化登记,这类参数在甲方现状中往往只存在于多方会商过程中而无规范电子留痕,实施时须与业务部门确定补录范围与补录方式。该域的质量重点是图号与版本的准确性和配对覆盖率;安全重点是选型校核公式与修订参数按 L5 管控。
生产制造域。核心对象是施工号、工单、工序、报工、工艺执行记录、热处理炉次、焊接过程参数。实施重点有四:建立工序主数据与工序代码体系,把 28 道备料工序及其余工序在总工艺路线与各车间卡片之间的名称差异归一;建立炉次与装炉工件清单、材料批次、设定程序、实际温度曲线、检验结论的串联关系;建立焊接参数流与工件标识、焊道标识的时间窗对齐机制;对报工时点相对实际作业的滞后做量化刻画,作为制造过程类样本时间字段可信度的依据。该域规则数量最多,质量重点是完整性、及时性与跨系统一致性;安全重点是关键工艺参数窗口按 L5 管控。
质量管理域。核心对象是检验项目与记录、交检拍照、质量报告、不合格品与返修票据。实施重点有三:建立检验项编码体系并与工艺标注的关键工序、重要尺寸建立对应,使工艺要求与检验执行可以逐项核对;把自由文本的缺陷描述按聚类结论归一为缺陷类型代码,这是质量类数据集标签体系的来源;把不合格品票与返修记录的流转结果回填到工件与工序上,形成可用的结果标签。该域的质量重点是准确性与配对完整性。
仓储物流域。核心对象是实物库存、批次、库位、物料流转。实施重点有二:打通企业资源计划库存账、仓储管理实物库存与项目占用三者的时点口径,这是库存三方比对与库存控制场景的前提;建立批次号在采购到货、入库、领用、热处理装炉之间的贯通,使材料来源可追溯。该域的质量重点是一致性与唯一性。
设备管理域。核心对象是设备台账、测点配置、时序数据、报警记录、维修工单与备件。实施重点有三:建立设备编码与测点标识体系,并把炉台、焊接产线、自动化产线设备、在役装备纳入同一编码空间;建立测点可信度评价机制,识别断链、漂移与失效测点,这是设备诊断类样本输入可信的前提;把服务工单与备件出库记录回填到报警事件上,逐步积累故障与数据段的配对样本。该域的质量重点是及时性与准确性;该域数据量级最大,须注意存储与计算成本。
采购管理域。核心对象是供应商、采购订单、到货批次、采购价格与周期。实施重点有二:建立供应商主数据并与材料批次来源关联;把采购价格与周期数据的口径统一,供库存控制场景的采购时机判断使用。该域的安全重点是价格与成本按 L5 管控。
营销管理域。核心对象是客户、矿方项目、商机、销售预测、合同与交付节点。实施重点有二:建立客户与项目主数据,并与施工号建立唯一对应;把销售预测与需求计划的口径对齐,供供需计划类数据集与库存控制场景使用。该域的安全重点是矿方客户信息与矿井位置按 L4 管控,去标识后方可进入数据集。
财务管理域。核心对象是科目、成本中心、物料价格、项目成本归集。实施重点有二:建立物料价格的权威源并解决企业资源计划与财务两侧价格不一致的问题;建立项目成本归集口径,供选型场景的参考报价核算使用。该域的安全重点是成本构成与项目报价按 L5 管控。
人力资源域。核心对象是组织、岗位、人员、技能资质、班组与排班。实施重点有二:建立组织与岗位编码,作为权限模型与责任留痕的基础,这一项是其他八个域的权限管理与操作留痕的前提,因此虽然该域在数据集贡献上权重最低,组织与岗位主数据的建设须排在第一批;按个人信息保护要求对人员数据做分级与去标识,人员数据原则上不进入数据集,确需使用的以去标识后的岗位与技能属性形式使用。
治理动作落在单一域内时流程清楚,跨域时容易停在无人裁决的状态。本项目把五类跨域情形写成固定流程,每一条都明确触发、定位办法、裁决人、执行动作与完成标志。五条流程共用同一条骨架:触发登记、定位影响面、裁决与处置、回写与验证。
图 7-2 五条跨域处置流程的共用骨架与各自的处置动作。数据来源:招标文件第五章 3.2.6.1.2 实施要求与 3.2.6.1.1.2.5 至 3.2.6.1.1.2.9 各域管理要求。
跨域规则冲突。同一数据对象被两个域的规则同时约束而结论相反,是规则库规模上来之后必然出现的情形。典型如:标准域要求物料编码一物一码,而仓储域的历史实物账中同一物料存在两条在用编码;安全域要求某字段对外服务一律脱敏,而质量域的跨系统比对规则需要该字段明文参与比对。处置办法是:冲突由稽核结果或配置校验自动识别并登记为冲突单,由数据标准管理员与数据安全管理岗联合定位涉及的规则、对象与业务流程,提交数据治理管理层裁决;裁决结论写入规则元数据的例外说明,涉及的规则同步更新并复跑一次稽核,复跑结果与裁决结论一并归档。裁决未出之前,按从严一方执行,不以任一方单独放行。
历史数据修复。标准发布、口径调整或规则修订之后,存量数据往往不符合新口径。不加区分地全量重算代价高且会打断在产的数据集加工,因此修复按影响面分级处理:由血缘定位受影响的物理字段、加工任务与已交付数据集,按三档确定范围——影响数据集样本标签的全量重算,影响统计口径的按期段重算,仅影响展示的不重算而在资源目录标注口径变更时点。重算结果标注修复批次号并在血缘中登记,已交付的数据集按版本追加修订说明,不覆盖原版本。修复期间原口径数据继续可用并标注口径标识,避免下游在两套口径之间无法分辨。
外部数据的共享限制传导。外部数据的许可范围是一组限制,这组限制必须传导到由它衍生出来的每一件产物上,否则限制在第一次加工之后就失效了。处置办法是:外部数据台账中的许可范围在引入时即写入数据卡,加工任务按血缘把限制标识传递给衍生对象与数据集;开放授权与服务发布时,平台按限制标识自动收紧可选的受众范围与交付形态,许可不覆盖的组合不出现在可选项中。许可条款发生变化的,按血缘反向定位全部衍生物并逐件复核,复核结论回写台账与数据卡。
退役清理。退役不只是删一份数据,而是要把这份数据在资源目录、元数据血缘、质量规则、服务目录、授权凭据五处的痕迹一并处理干净。处置办法是:退役处置单发起后,由血缘自动列出下游引用清单,下游仍有引用的挂起处置并生成下游改造任务;改造完成或下游书面确认可接受数据缺失后,按归档或销毁路径执行,销毁范围须逐项列出副本清单并逐项确认;执行完成后,资源目录条目置为退役、血缘节点置为历史态、相关质量规则停用、相关服务下线、相关授权凭据回收,五处回执齐备方可关闭处置单。
权利撤回的传播。外部数据供方撤回授权、个人信息主体撤回同意、合作方终止数据提供,三类情形的共同要求是撤回必须传播到全部副本与衍生品。处置办法是:撤回登记后立即冻结相关数据对象的全部授权凭据与在用服务,由血缘列出副本、衍生对象与已交付数据集;按撤回的法律效力确定处置方式——要求删除的,副本与衍生品按约定清除并出具处置回执;仅要求停止新增使用的,存量保留但标注停用并从后续加工中排除。涉及已交付数据集的,按数据卡中的回退约定执行并通知使用方。处置全过程留痕,回执作为合规证据归档。
五条流程的触发、定位办法、裁决人与完成标志汇总见表 7-4,表中各项即为跨域处置的作业约定。
表 7-4 五条跨域处置流程的触发、裁决与完成标志
| 流程 | 触发情形 | 定位办法 | 裁决或审批 | 完成标志 |
|---|---|---|---|---|
| 跨域规则冲突 | 稽核结果相互抵触;策略配置校验报冲突 | 按规则元数据与对象清单列出涉及的规则、字段与业务流程 | 数据标准管理员与安全管理岗联合提报,数据治理管理层裁决 | 裁决结论写入规则例外说明;规则更新并复跑一次稽核;冲突单归档 |
| 历史数据修复 | 标准发布、口径调整、规则修订 | 按字段级血缘定位受影响的字段、任务与已交付数据集 | 修复范围由数据管理岗提出,数据治理管理层确认 | 按三档范围完成重算并标注修复批次;数据集追加修订说明;原口径标识清除 |
| 外部共享限制传导 | 外部数据引入;许可条款变更 | 按血缘列出全部衍生对象、数据集与在用服务 | 合规责任岗核定限制范围,管理层批准引入或变更 | 限制标识随血缘传递到位;授权与服务的可选项已按限制收紧;台账与数据卡同步 |
| 退役清理 | 保留期到期、业务下线、系统替换、评估判定无保留价值 | 按血缘列出下游引用清单与副本清单 | 归档经数据管理岗审批;销毁经安全管理岗与管理层双签 | 目录、血缘、质量规则、服务、授权凭据五处回执齐备;销毁证明出具 |
| 权利撤回传播 | 供方撤回授权、个人撤回同意、合作终止 | 按血缘列出副本、衍生对象与已交付数据集 | 合规责任岗认定法律效力,管理层批准处置方式 | 凭据与服务已冻结;副本与衍生品按认定方式清除或停用;处置回执归档 |
五条流程的共同点是以血缘为定位手段。血缘登记不到字段级,五条流程的第二步都无法执行,这也是第 7.3 节把字段级血缘列为加工任务发布前提的原因。
五项专项规划之间是单向依赖关系,依赖决定实施动作的先后与各项成果的发布时点。数据标准先行:数据元与值域一经发布,质量校验规则才有判定依据;标准未发布的对象,规则只能停在空值率一类浅层检查上。数据安全的分级标签是权限、脱敏、审计三类管控策略的输入;分级未定,防护策略只能按系统边界粗粒度下发。数据生存周期把标准与质量的要求嵌进需求、设计开发、运维、退役四个阶段的动作里,承接前两项的输出并把要求转为过程中的检查点。数据应用流通是出口,决定治理后的数据以什么形态、按什么权限、向谁提供,其服务标准与开放授权规则以前三项的成果为判据。规划成果交付贯通五项,按各项的发布时点出具文档并留存签审记录。
上游四个规划域为本章五项专项规划提供输入:现状评估给出数据资产盘点结论与能力差距清单,数据战略给出重点任务与资源投入,数据治理组织与制度给出归口责任与审批层级,数据架构与数据资产给出模型分层、数据流图与资源目录。四个域的规划成果在「数据治理规划(一)」一节交付,其发布时点先于本章首批标准的发布;上游成果未到位的业务域,本章按表 7-5 的过渡办法推进,不以等待为由停止该域的治理动作。
表 7-5 五项专项规划的依赖关系、输出与发布时点
| 规划域 | 上游输入 | 本域输出 | 下游用途 | 发布时点 | 上游未到位时的过渡办法 |
|---|---|---|---|---|---|
| 数据标准 | 资产盘点清单、数据模型分层、各域归口责任人 | 五类标准、代码值域字典、标准映射对照表 | 质量规则的判定依据;元数据登记的字段口径 | 首批标准随第一阶段发布,其后按季滚动补充 | 归口未定的域由项目组出草案并标注非标,核定后转正式发布 |
| 数据质量 | 数据元与值域、主数据关联键、业务质量诉求 | 质量需求清单、六维度校验规则库、评分与评级口径 | 加工入口门控;质量问题整改台账 | 首批规则随第一阶段入库并投入稽核 | 标准未覆盖字段先按源系统现行口径建规则,标准发布后重派生 |
| 数据安全 | 资产盘点清单、合规差距清单、组织与岗位主数据 | 分级标准、权限管理规范、防护与审计要求 | 权限、脱敏、水印、审计四类策略的下发依据 | 分级标准与权限规范随第一阶段发布 | 未定级对象按候选最高级从严管控,定级后按实际级别放宽 |
| 数据生存周期 | 数据标准、质量规则、分级标签 | 需求管理规范、设计开发规范、运维制度、退役规范 | 四阶段动作的检查点与留痕要求 | 需求与开发规范随第一阶段发布,运维与退役规范随第二阶段发布 | 规范发布前的在途任务按评审检查点逐项补做并记录例外 |
| 数据应用流通 | 质量评分、分级标签、资源目录与服务目录 | 外部数据引入办法、开放共享规范、数据服务标准 | 服务发布、开放授权、外部数据引入的判据 | 随第二阶段发布,先于首批数据服务上线 | 规范发布前的开放申请按逐事项审批处理,发布后统一登记补齐 |
图 7-3 五项专项规划的依赖链与数据安全域的贯穿关系。数据来源:招标文件第五章 3.2.6.1.1.2.5 至 3.2.6.1.1.2.9 各域输出要求。
依赖关系落到实施步骤上是五步:第一步按资产盘点清单确定首批纳管对象,第二步为纳管对象登记数据元并标注安全级别,第三步按已发布标准派生首批质量规则并投入稽核,第四步把标准、规则与分级要求配置为生存周期四阶段的检查点,第五步按服务标准发布首批数据服务并开通开放授权。五步之间以前一步的登记完整率为放行条件,未达放行条件的对象顺延至下一批,不跳步推进。三阶段的时间安排与阶段门禁见第 7.7 节。
实施按三个阶段推进,阶段划分的依据是数据集加工对治理成果的依赖顺序:第一阶段交付加工所必需的标准、分级与质量规则并完成重点域汇聚;第二阶段补齐治理能力的其余部分并支撑首批数据集与场景验证;第三阶段转入常态运营、DCMM 评审与优化。
图 7-4 数据治理实施的三阶段路径、阶段门禁与贯穿动作。数据来源:招标文件第五章 3.2.6.1.2 实施要求与第 3 章建设周期要求。
表 7-6 给出各阶段的主要工作项与完成标志。具体日期在合同签订后按项目总体计划排定,本表给出的是阶段顺序与完成标志,项目管理的进度计划与资源安排在服务方案「项目管理措施」一节论述。
表 7-6 实施阶段工作项与完成标志
| 阶段 | 主要工作项 | 完成标志 |
|---|---|---|
| 第一阶段 | 现状评估;标准管理办法与首批标准发布;分级标准与权限规范发布;首批质量规则入库并投入稽核;研发设计、生产制造、质量管理、仓储物流、设备管理五域汇聚 | 加工所依赖字段的数据元与分级标签登记完整;首批规则稽核运行并出首轮扫描结果 |
| 第二阶段 | 指标标准与首批指标发布;运维制度、退役规范、外部数据与开放规范发布;资产目录与服务目录上线;其余四域汇聚;质量评分与月度报告常态化 | 质量评分基线出具;首批数据服务通过验收;治理文档第二阶段件全部提交评审 |
| 第三阶段 | DCMM 评审证据包整理与贯标支撑;质量目标分期达成;资产运营与流通授权;文档滚动优化;运维与管理能力移交培训 | 评审证据包齐备;质量目标按季度达成情况有记录;移交培训完成并通过考核 |
治理实施的验收不以「文档交齐」为唯一标志,而以可核查的运行状态为标志。表 7-7 逐项给出验收口径、可当场执行的验收用例与不达标时的回退方法。验收用例的作用是让验收有可重复的操作:按用例执行一遍,结果与口径一致即为通过,不以说明材料代替执行结果。
表 7-7 九项治理内容的验收口径、验收用例与回退方法
| 治理内容 | 验收口径 | 验收用例 | 不达标时的回退方法 |
|---|---|---|---|
| 数据汇聚 | 纳管对象的接入任务稳定运行;接入对象的元数据、标准映射、分级标签、入口校验四项登记完整 | 任取三个已纳管对象,核对其元数据、标准映射、分级标签、入口校验四项登记是否齐备,并复算当日增量批次量级与源系统侧是否一致 | 未完成四项登记的对象不进入加工,列入下期纳管清单 |
| 数据处理 | 加工任务幂等可重跑;血缘登记到字段级;关联键补全的抽样核验结果达到约定水平 | 任取一个加工任务按同一输入重跑,核对两次结果完全一致;任取二十条样本,逐条回溯到源系统字段 | 置信度低的补全结果标注后降权使用,不进入高要求样本 |
| 元数据管理 | 纳管对象的三类元数据齐备;字段级血缘可回溯到源系统字段 | 任取十条数据集样本,逐条展示其各字段的来源链路直至源系统记录;在源系统侧改一个字段类型,核对变更事件与影响通知是否生成 | 血缘不完整的对象在质量溯源中标记为不可溯源,优先补齐 |
| 数据资产管理 | 资源目录条目完整且质量分与安全级别实时带出;权属登记完整 | 任取五个资源目录条目,核对其质量分与安全级别是否与当期评分、分级标签实时一致;核对权属登记项是否齐备 | 使用计量不足一季度的对象暂不作价值评估 |
| 数据标准管理 | 五类标准按节点发布;映射登记覆盖已纳管对象;标准变更有影响评估记录 | 任取一个数据元执行一次值域扩充,核对规则重派生记录与下游影响评估记录是否同时生成,映射是否进入复核队列 | 未覆盖对象按原口径使用并标注非标,列入下批标准化范围 |
| 数据质量管理 | 规则库投入运行;质量评分与月报按期出具;问题闭环有台账 | 对一条阻断级规则构造一条违例记录,核对告警、工单分派、整改复核、归档四段留痕是否完整,复跑是否自动触发 | 质量未达门限的数据按置信标记降级输出,不直接中断数据集加工 |
| 数据安全管理 | 分级标签登记完整;权限与脱敏策略由标签驱动;审计日志可追溯性抽样核验达到约定水平 | 以无权限账号申请读取一个 L4 字段,核对是否被拒绝并留痕;按正常流程授权后导出,核对脱敏结果与水印能否反查到该凭据 | 可追溯性不足的级别暂时收紧授权方式,同步补齐日志字段 |
| 数据指标管理 | 发布指标有指标卡且口径可追溯到数据元;同名不同口径指标为零 | 提交一个与已发布指标同名而口径不同的指标,核对发布是否被拒绝并进入口径裁决清单;任取一个已发布指标,核对其口径能否追溯到数据元 | 口径未定的指标置为暂不发布,不以含混口径对外提供 |
| 数据服务管理 | 服务目录与资源目录联动;服务按 SLA 级别运行;调用计量完整 | 下线一项服务,核对资源目录条目上的该服务是否同步撤出;发起超出限流阈值的调用,核对是否被限流且调用计量记录完整 | 三级服务在资源紧张时降级,一级服务优先保障 |
表中各项「约定水平」属招标文件未规定的过程优化目标,在实施启动阶段依据现状调查与首轮基线测试确定,确定后写入项目质量计划,按季考核并留存达成记录。招标文件已明定的指标按招标要求承诺并纳入验收,不随基线测试结果调整;两类目标的区分口径见第 2.3.2 节。
治理实施的推进依赖若干外部前提,这些前提不成立时的应对安排须事先说清,而不是在实施中临时商议。
表 7-8 实施前提条件与风险应对
| 前提条件 | 不成立时的影响 | 应对安排 |
|---|---|---|
| 源系统按已授权范围开放只读接口,涉及原厂的配合到位 | 相关业务域无法汇聚,依赖该域的数据集样本量不足 | 按域分批推进,优先推进已可开通的域;未开通的域以现场导出或离线交换作为过渡方案,并在数据卡中记录来源方式;接口协调事项按月与甲方对接 |
| 设备侧采集范围扩展具备停机窗口与施工条件 | 时序与图像类数据覆盖不足,设备诊断与焊接类样本量受限 | 首期以试点炉型、试点产线与试点车间为准,扩展清单以现场勘察结论为准;覆盖不足的部分在数据集规模中按实际可得量核算 |
| 各业务域归口部门确定并能承担标准与质量的核定工作 | 标准无法发布,质量阈值无业务依据 | 在第一阶段开展数据管理能力培训与责任人确认;归口未定的域由项目组先出草案,核定完成后发布,期间该域数据按非标标注使用 |
| 历史主数据的追认与补证由业务部门确认 | 主数据审批流程记录无法形成 DCMM 可查阅证据 | 按追认、依据补录、正常流程三类分列呈现真实状况;未完成的域在诊断报告中列明并排入下一阶段 |
| 重要数据识别结论与报备口径经甲方主管部门确认 | 重要数据的管控与流通边界不明 | 先按本节分级标准的候选范围从严管控;报备口径以甲方主管部门意见为准,确认后调整 |
| 外部数据的许可范围覆盖模型训练与商业使用 | 含该外部数据的数据集合法性受牵连 | 引入阶段即核查授权链与许可范围,许可不覆盖的终止引入并清除已接入副本;衍生品到期处置方式在采购阶段列为必谈条款 |
六项前提中,前两项是本项目推进节奏的主要变量。本节的处理方式是把它们明确为前提而非隐含假设,并给出过渡方案与量化口径的调整办法,使实施进度与数据集规模的关系可以随前提的落实情况被重新核算,而不是在交付时才发现差距。