本项目硬件为五类四十六台(套):服务器密码机 1 台、接入连接器 3 台、红外图像采集设备 15 台、在线高温热成像设备 6 台、在线热成像设备 21 台,分别承担密码运算、数据接入与交付、焊接熔池影像采集、热处理高温段测温与焊接前测温五项职能。其中四十二台为现场感知设备,其输出是四类数据集中焊接与热处理过程样本的原始数据来源;四台为机房设备,承担数据进出通道与国密运算。
我方对采购清单所列全部技术参数逐条对照响应,响应值不低于招标文件要求值,无负偏离项。招标文件所列参考品牌不涉及指定、仅供参考,投标人可选用性能不低于本技术要求的其他品牌并提供同等档次或以上型号产品。我方按此原则选型:参数以招标文件要求值为下限;逐设备的确定供货配置、数量、关键参数、招标要求值与我方响应值见 1.1.6 至 1.1.10 各节,对应的证明材料与核验时点见表 1.1-6。
设备所采集数据进入四类数据集加工主线的采集、预处理与入库口径,见数据加工生产(一):采集、预处理、知识本体与知识库一节(【页码:T1A】);专业场景使用这些数据完成验证的口径,见专业场景验证方案一节(【页码:T5】);平台与设备的集成实施步骤、接口清单与调试方法,见系统集成方案一节(【页码:T7】);平台侧的性能、容灾与可靠性指标,见非功能性技术要求一节(【页码:T11】);硬件费用的分项计列,见投标报价一览表及软件/硬件/实施服务分项明细表(【页码:B3】)。
招标文件以采购清单表列出五类设备的技术参数及规格要求与数量。本节按清单顺序逐设备给出供货配置、逐条参数响应、选型比较、安装位置与测点、供电、网络、接口、环境、防护、标定、数据质量、时间同步、维护更换、故障诊断、备件、质保与现场验收的安排,并在 1.1.11 节汇总为采购清单与配置表。
五类设备的配置数量取自招标文件采购清单,台数不增不减。每一类的分布、容量设计依据与余量安排列于表 1.1-1。容量设计的口径是:机房设备按本项目的实际运算与通道负荷测算,感知设备按测点数量与采集占空比测算,两者都不以设备规格的上限为设计值。
表 1.1-1 五类设备的配置分布与容量设计
| 设备 | 配置数量与分布 | 容量设计依据 | 容量测算 | 余量安排 |
|---|---|---|---|---|
| 服务器密码机 | 1 台,数据中心机房机柜 | 三类加解密集成的运算负荷:数据集元数据与受控字段的批量加解密、用户与企业信息的交互式签名验签、接入与交付事件存证的杂凑与签名 | 以指令微调 89 万条、单条受控字段合计数百字节计,单轮批量加密数据量在百兆字节量级;按 SM4 加解密 1800Mbps 计,单轮运算时间在秒级 | 交互型负荷按 SM2 签名 ≥100000 次/秒、验签 ≥40000 次/秒,相对平台登记、确权、挂牌、交易与审计的并发留有余量;批量负荷在平台侧排入异步队列削峰 |
| 接入连接器 | 3 台,数据中心机房机柜,按采集、治理、交付三条通道分工 | 三条流量的特征不同:采集流长时持续、单条数据小、吞吐稳定;交付流突发、单批可达数十吉字节;管理流频次低但留痕完整性要求最高 | 每台国产中央处理器 16 核 3.5GHz、内存 32GB、2 块 960GB 固态盘镜像;可用容量用于通道缓冲与日志留存,数据集本体存放于平台侧存储资源 | 任一台故障时另两台按降级策略接管,接管后对应通道吞吐下降但不中断 |
| 红外图像采集设备 | 15 台,15 台焊接机器人工作站各 1 台 | 熔池影像的采集点位与焊接机器人工作站一一对应,一个工位一个视场 | 单台 1280×960、50fps 原始帧输出;按外触发分段采集,起弧触发、收弧停止,不作长时连续录制 | 工位侧本地缓存按断网 24 小时的采集量配置,网络恢复后按时间戳补传 |
| 在线高温热成像设备 | 6 台,3 台淬火机床各 2 台(加热段 1 台、出炉转移段 1 台) | 感应淬火的加热段与出炉转移段是两处必测位置,每台机床各需一处 | 单台红外分辨率 ≥384×288、测温范围 -20~1500℃、热灵敏度 ≤50mK;全辐射数据流按工件加热周期分段落地 | 测温上限 1500℃ 相对感应淬火的表面加热温度区间(通常八百至一千摄氏度)留有余量,高温段不截顶 |
| 在线热成像设备 | 21 台:3 台淬火机床各 2 台(淬火后工位)共 6 台,15 台焊接机器人各 1 台(焊前测温)共 15 台 | 淬火后表面温度、返热温度、焊前预热温度三项测量对象,分布在两类车间 | 单台红外分辨率 ≥384×288、测温范围 -20~650℃、热灵敏度 ≤50mK,支持 5 个测温点、10 条测温线、10 个测温区域 | 650℃ 量程覆盖淬火后与焊前预热的实际温度区间,并在该区间内的精度与灵敏度表现优于宽量程机型 |
表 1.1-1 数据来源:数量与分布依招标文件 3.3.1 节采购清单及备注;焊接机器人台数依 3.2.6.5.1.5 节场景介绍「现有 15 台焊接机器人」;运算与通道负荷依 3.1.2.3 节系统集成要求与 3.2.5 节系统集成服务;数据集规模依四大数据集规模测算与数据卡一节表 1(【页码:T1C】)。
配置依据的另一面是数据来源:每一类设备都对应一处当前取不到数、因而相应分析结论无法成立的现场缺口。招标文件在制造过程域与产品质量域的采集要求中明确提出了既有系统里没有的几项数据:层间温度、熔池图像、焊后焊道表面图像,以及「从热处理群控系统及加装传感器采集工件淬火前后表面温度」。「加装传感器」四个字是本节三类感知设备的直接依据。
焊接侧,招标文件指出企业现有十五台焊接机器人,已通过数据采集与监控系统采集电流、电压、温度、速度等过程参数,但数据利用仍停留在参数记录与简单阈值报警层面;焊接过程智能监控的验证要求之一是「支持视觉 AI 模型结合熔池实时视频、焊缝表面图像及各类缺陷样本(气孔、裂纹、咬边、余高、弧坑、焊脚偏差等)进行缺陷检测」。没有面向焊接部位的影像采集手段,这一条验证要求所需的样本无从产生——厂区既有视频监控是出于安全考虑的宏观场景监控,其点位、角度与清晰度达不到观察电弧与熔池的要求。预热温度与层间温度同理:招标文件要求采集预热温度、层间温度,而当前这两项只能以测温枪抽检并作纸质记录,既无连续读数,也无法与具体工件、具体焊层对应。
热处理侧,招标文件要求验证链轮、齿轨、刮板感应淬火及调质生产线的质量智能分析能力,针对热处理后烧伤、裂纹等外观缺陷及硬度指标,开展外观缺陷、硬度异常与加热功率、加热温度、淬火液温度等关键工艺参数的关联性分析。关联性分析成立的前提是工件实际经历的温度历程可被记录。热处理群控系统记录的是炉台与机床的设定值与仪表读数,它回答的是设备按什么程序运行;工件出炉表面温度、加热段的温度分布与淬火后的表面温度属于工件侧的实际状态,群控系统不提供。在线高温热成像设备与在线热成像设备补齐的正是工件侧的温度事实。
数据侧的两类设备同理有明确落点。接入连接器承担数据集运营服务管理平台的数据接入、登记、交付与审计职能,招标文件要求完成采购的接入连接器与数据集运营服务管理平台的安装和适配。服务器密码机承担国密算法运算,支撑系统集成要求中的三项加解密集成:与数据集加工生产平台集成实现指定数据集的加解密、实现用户信息与企业信息等关键数据的加解密、与数据集运营服务管理平台集成实现数据集元数据的加解密,并需完成国密算法的调试。
表 1.1-2 把五类设备与招标文件的要求条目逐一对应,便于核对每一台设备的配置都有明确依据与明确去向。
表 1.1-2 五类设备与招标文件要求的对应关系
| 设备 | 解决的现场问题 | 对应采集要求 | 对应验证要求 | 输出数据与去向 |
|---|---|---|---|---|
| 服务器密码机 1 台 | 数据集元数据与关键字段缺少合规密码运算支撑 | — | — | 为三类加解密集成提供国密运算;国密算法调试 |
| 接入连接器 3 台 | 数据接入、登记、交付与审计缺少统一通道与留痕 | 多源异构数据集成采集与多格式多模态数据接入 | — | 贴源批次、元数据、交付包与存证记录进入运营服务管理平台 |
| 红外图像采集设备 15 台 | 焊接区在强弧光下不可见;既有视频监控的点位与清晰度达不到观察焊接部位的要求 | 熔池图像、焊后焊道表面图像 | 视觉模型结合熔池实时视频与焊缝表面图像的缺陷检测;参数、视觉数据与检测结果一一关联 | 带时间戳的原始帧进入制造过程与产品质量数据集 |
| 在线高温热成像设备 6 台 | 群控系统只记录设备侧设定值与仪表读数,工件侧实际受热状态无记录 | 工件淬火前表面温度、加热功率、频率 | 热处理质量智能分析与缺陷溯源,外观缺陷、硬度异常与加热功率、加热温度的关联性分析 | 加热段温度曲线与出炉温度进入制造过程与产品质量数据集 |
| 在线热成像设备 21 台 | 淬火后表面温度与返热无记录;焊前预热温度以测温枪抽检、纸质记录,无法与工件焊层对应 | 工件淬火后表面温度、返热温度;预热温度、层间温度 | 热处理质量智能分析;焊接实时数据采集与质量追溯 | 淬火后温度曲线、焊前面温度分布进入制造过程与产品质量数据集 |
表中密码机与连接器两行的「对应验证要求」为空,不是遗漏:这两类设备服务于数据集加工与运营的全过程,不单独对应某一个专业场景的验证条目,其验收以 1.2.7 节的联调验收为准。
表 1.1-2 数据来源:设备种类与数量依招标文件 3.3.1 节采购清单;采集要求依 3.2.6.3 节制造过程域与产品质量域采集要求;验证要求依 3.2.6.5.1 节专业场景验证要求。
招标文件对整套数据集提出「多模态数据条数占比不低于 40%」。本节四十二台感知设备与该指标的关系,按同一套计数口径核对,不另立口径;口径定义与测算值以四大数据集规模测算与数据卡一节表 26(【页码:T1C】)为唯一出处,本节作引用与分设备核对。
第一,分母范围。 该占比的统计基数为以条或组计量的样本合计,即有监督指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,合计 96.55 万条。预训练子集以 Token 计量(615 亿 Token),其篇章级样本条数单列统计,不计入该分母。采用这一口径的理由是三类以条计量的子集计量单位同质,占比可直接计算与复算;而预训练子集的条数取决于篇章切分粒度,占比结果对粒度敏感。
须明确的是,该口径下的 45.9% 是针对上述 96.55 万条这一范围的测算结果,不等于四类数据集的全部数据均已达标。排除预训练子集的是计量单位不同质,不是达标与否的判断。若评测机构要求把预训练子集的篇章级条数一并计入分母(按平均 3,000 Token 一条测算约 2,050 万条,合计约 2,146.55 万条),占比按新分母重新测算,并相应调整各集的多模态样本生产计划与图像、时序类来源的占比,总规模不变。两套口径的定义、测算与调整办法在四大数据集规模测算与数据卡一节写明,验收时双方按同一口径复算。
第二,去重与归并规则。 同一业务对象的多种模态表达——一张缺陷图像、它的结构化描述文本、它在检验报告中的文字结论——属同一条样本的不同字段,合并计一条,不按模态拆成三条。判重以业务对象主键加业务发生时间为键:同一键下的多模态记录先归并,再参与去重与规模计量。跨数据集之间以对象标识双向引用关联,引用不产生新的计量条目;增强副本不计入规模。该规则使「多模态样本条数」与「样本总条数」取自同一个分母,不会出现模态越多、条数越多的计量膨胀。
第三,配对有效性。 一条样本计入多模态,须同时满足三项:其一,非文本模态的载体真实存在且可回放或可重算——影像可按时间戳回放,温度数据可按发射率参数组重算;其二,该载体与文本字段按同一业务对象主键与时间窗配对成功,配对偏差在登记的容差之内;其三,该模态字段通过数据集质检的门控规则,即视场有效、标定状态在有效期内、时间戳连续、绑定粒度已登记。三项中任一不满足的,该样本按单模态计量,并在数据卡中标注未配对原因。
由此可以说清一处容易混淆的关系:传感器台数不能代替有效多模态样本条数。四十二台设备产生的是帧与温度数据流,须经「按工艺过程成形样本 → 配对有效性判定 → 去重归并」三步之后才形成计量条数。一条焊接过程样本可能包含一段时序、若干帧熔池影像与一帧焊后焊道影像,它计为一条样本而非多条;设备数量、采集帧数与样本条数三者之间没有换算关系,本节不以设备台数论证指标达成。
第四,四类数据集的分别核算。 表 1.1-3 按四类数据集列出条数基数、多模态条数、占比与来源构成,并标明该集的多模态是否依赖本节设备。
表 1.1-3 四类数据集的多模态条数分集核算
| 数据集 | 条数基数(万条) | 多模态条数(万条) | 多模态占比 | 多模态来源构成 | 是否依赖本节设备 |
|---|---|---|---|---|---|
| 供需计划 | 43.6 | 6.54 | 15% | 矿方资料扫描件、构件图与选型图、报表图片 | 否 |
| 产品工艺设计 | 10.9 | 9.27 | 85% | 二维图纸与图纸局部视图、工艺卡片 | 否 |
| 制造过程 | 16.2 | 12.96 | 80% | 熔池影像、工件侧温度场、设备图像、时序段落 | 是 |
| 产品质量 | 25.85 | 15.51 | 60% | 缺陷图像、焊道表面影像、交检拍照、纸质报告扫描件 | 是 |
| 合计 | 96.55 | 44.28 | 45.9% | — | 部分 |
表 1.1-3 数据来源:条数基数与多模态条数依四大数据集规模测算与数据卡一节表 26(【页码:T1C】);来源构成依该节各集的来源构成表;指标要求依招标文件 3.2.6.3 节数据集其它指标要求。
分集核算的层级须一并说清。招标文件的 40% 是对整套数据集提出的,因此在四集汇总层面核算达标,分集占比如实记录在各自的数据集卡片中。供需计划数据集的多模态占比测算为 15%,低于 40%,本方案不对该集单独作达标陈述——该集的多模态来源以资料扫描件与报表图片为主,受原始资料数字化程度制约。汇总层面核算成立的前提是十六个子集的规模各自达到分配值:规模按格承诺、按格核验,某一子集超产不得用于冲抵另一子集的欠产;十六格都足量,汇总占比才有意义。
第五,本节设备在这笔账里的位置。 制造过程数据集与产品质量数据集的多模态条数测算分别为 12.96 万条与 15.51 万条,合计 28.47 万条,占多模态总数 44.28 万条的 64.3%。这两集中凡涉及焊接过程控制、热处理过程监控、焊接与热处理质量判定的样本,其熔池影像、焊道表面影像、工件侧温度场、焊前预热与层间温度四项字段,只能由本节四十二台设备产生:招标方现有信息系统中,焊接过程只有设定值与工艺卡记录,没有熔池与焊道的图像;热处理只有群控系统的炉温设定值与仪表读数,没有工件侧的实际温度场;既有车间视频监控的点位与清晰度达不到观察焊接部位的要求,强弧光下熔池在可见光下本就不可成像。需要区分的是,数据集的图像模态并不都出自本节设备——产品工艺设计集的图纸、供需计划集的资料扫描件与报表图片同属图像模态,来自既有资料的数字化,不依赖本节设备。
设备到位时点对这两集的影响是可计量的。预热温度与层间温度当前无采集手段,熔池状态与保护气波动无实时监测,这部分样本在设备到位前只能以工艺文件的参数窗口与事后检验结论构造,样本量按比例下调并在数据卡中标注。下调直接作用于制造过程与产品质量两集的多模态条数,进而压缩汇总占比高于 40% 的那 5.9 个百分点余量。本项配置如期到货、安装并投入采集,是解除该项下调条件的前提。
第六,复算安排。 本节设备形成的多模态样本子集,在投标阶段给边界不给单点值。该子集只计含熔池影像、焊道表面影像、工件侧温度场、焊前预热与层间温度四项之一且配对有效的样本,不含既有时序段落、既有检验拍照与纸质报告扫描件;它是制造过程与产品质量两集合计 28.47 万条中的一部分,而不是另一笔账。不给单点值的原因有三:建设期内的实际焊接作业与热处理炉次数量由招标方生产计划决定;一次焊接作业形成几条样本取决于焊缝数量与样本切分粒度,切分粒度须在首批数据加工后按模型训练的实测效果校准;设备安装后的实际可采集率受工位条件影响,含镜头遮挡、作业中断与设备维护窗口三类。
处置办法是:首批数据加工完成后给出实测基数并复算一次,复算结果写入数据卡与阶段报告,并与表 26 的测算值逐集对账。若复算结果显示占比达成有压力,按两个方向处置——一是提高样本切分粒度的利用率,同一作业过程中可独立判定的焊缝分别成样;二是在补采计划中增加采集批次。两个方向都不改变计数口径,分母与分子的定义自始至终以数据卡的模态字段为准。设备到货、安装与现场调试的时点影响可采集的作业批次数量,相关前置条件在 1.2.12 节列明。
五类设备在数据流中的位置、各自输出的数据种类以及接收方,示于图 1.1-1。图中箭头上标注的是传递的数据内容,虚线框标注责任归属。
1.1-1 五类硬件设备在数据流中的位置与责任边界
图 1.1-1 数据来源:设备种类与数量依招标文件 3.3.1 节采购清单;责任划分依 3.3.2 节服务与质保要求与 3.4 节网络部分;数据去向依 3.2.6.3 节采集要求与 3.2.6.5.1 节场景验证要求。
表 1.1-4 把图 1.1-1 的链路逐设备写成可核对的行:设备侧的输出形态与接口、传输与落地通道、进入哪一个数据集的哪一类子集、支撑哪一项场景验证。链路上任何一环不成立,该设备的数据就进不了数据集,这也是单机验收与联调验收分两级设置的原因。
表 1.1-4 五类设备的数据链路
| 设备 | 设备侧输出与接口 | 传输与落地通道 | 进入的数据集与子集 | 支撑的场景验证项 |
|---|---|---|---|---|
| 服务器密码机 | 按 GM/T 0018 接口提供 SM1、SM2、SM3、SM4、SM9 与 RSA、AES、3DES 运算;业务侧光口、管理侧电口 | 由商用密码服务平台统一纳管与调度,应用不直接访问设备 | 不产生样本;为四类数据集的元数据与受控字段提供加解密、杂凑与签名 | 不单独对应场景验证项,以联调验收的端到端加解密结果为准 |
| 接入连接器 | 数据库直连、接口调用、文件交换三类接入;标准交付接口;区块链存证事件 | 采集通道接入贴源批次,治理通道登记元数据与权限,交付通道生成交付包与存证记录 | 四类数据集全部子集的入库与出库通道 | 不单独对应场景验证项,以联调验收的批次登记与存证记录为准 |
| 红外图像采集设备 | 软件开发工具包输出带时间戳的原始帧;千兆以太网/以太网供电;外触发同步输入 | 工位交换机 → 采集通道 → 贴源区按批次落地;工位侧缓存,断网后按时间戳补传 | 制造过程数据集(焊接过程子集)、产品质量数据集(焊接缺陷子集) | 焊接过程控制智能监控:缺陷检测验证、参数—视觉—检测结果关联与全程可溯源验证 |
| 在线高温热成像设备 | 全辐射数据流,软件开发工具包逐像素读取原始温度;Modbus RTU/TCP;RJ45、RS485 | 车间接入箱 → 采集通道 → 按工件号与加热周期归档落地 | 制造过程数据集(热处理过程子集)、产品质量数据集(热处理质量子集) | 热处理过程智能监控:工艺参数智能匹配、参数区间智能寻优、质量智能分析与缺陷溯源 |
| 在线热成像设备 | 同上 | 热处理侧按工件号与加热周期、焊接侧按工件号—焊缝—焊层归档落地 | 制造过程数据集(热处理、焊接两子集)、产品质量数据集 | 热处理质量智能分析与缺陷溯源;焊接实时数据采集与质量追溯 |
表 1.1-4 数据来源:输出形态与接口依招标文件 3.3.1 节设备参数;落地通道依 3.2.5 节系统集成服务;数据集归属依 3.2.6.3 节采集要求;验证项依 3.2.6.5.1 节专业场景验证要求。
链路中有一段不由本节设备承担,须一并交代以免对齐口径落空:焊接过程的电流、电压、送丝速度与焊接速度由招标方既有的数据采集与监控系统采集,本节设备不重复采集这一路电参量。本节的责任是使影像与温度数据与其按同一时基对齐——两侧时间戳接入同一时间源,对齐锚点取起弧、程序段切换与收弧三个事件。该路数据的量程、精度与采样频率以既有系统的实际配置为准,在勘察阶段逐工位登记并写入数据卡的来源字段,不由本节另行规定。
本标段为数据加工生产服务,交付内容是数据集加工生产、质量评测与场景验证。就硬件而言,这一边界含两层意思。
第一层是设备的用途边界。本节所采购的三类感知设备,其输出用于构建数据集样本与支撑场景验证,不替代现场既有的工艺判定与质量放行环节。热成像设备输出的是工件表面温度场与可回放的温度数据流,它为温度类结论提供可核对的记录;预热温度与层间温度是否达标、热处理曲线是否合格,判定依据仍是招标方的工艺文件与检验制度,设备侧的职责是把测量方式、测点位置与标定状态随数据一并记录下来,使每一条温度数据的可信程度可以被追溯。
红外图像采集设备输出的是带时间戳的熔池原始帧与焊道表面图像,它为缺陷检测模型提供训练与评测样本;焊缝的最终判定仍由无损检测与检验岗位负责。这一划分不是能力上的保留,而是数据集建设的必要条件——数据集里的每一个标签都必须有一个明确的、可以被重新核对的判定来源,否则标注一致性无从谈起。
第二层是实施的责任边界。招标文件规定,本项目涉及的网络建设工作由招标方负责,硬件安装部分除外。据此,网络侧的交换机、链路、地址规划与安全域划分由招标方承担;我方承担所采购硬件的现场安装、接线、调试、校准与系统联调,并提供全套安装辅材、支架、线缆及配套配件。
涉及设备本体改动的事项——例如在焊接机器人工作站加装相机支架、在淬火机床增设热像安装位——按招标文件第 10 章规定,须经招标方同意并签字确认,且以不影响设备原有控制逻辑与原厂保修条件为前提。具体界面划分见第 2 章。
招标文件在五类设备的参数栏中各列出若干参考品牌,并在特殊说明中明确:技术要求中所列品牌/型号产品均不涉及指定,仅供投标人参考,投标人可参照其性能选用其他品牌,但不得低于本技术要求,须提供同等档次或以上型号产品。我方据此确立三条口径。
其一,参数以招标文件数值为下限,不以参考品牌为选型锚点。各设备参数响应表中「我方响应值」一栏逐项不低于招标文件要求值;凡招标文件给出推荐值的——红外图像采集设备帧频「≥30fps(推荐≥50fps)」——按推荐值响应;凡给出两种口径取较大值的——测温精度「±2℃ 或 ±2% 读数,取二者较大值」——按对投标人更严的一侧响应。
其二,同等档次的判定不只看单项参数。两台设备在分辨率一栏数值相同,并不意味着档次相同。除清单参数之外的判定项列于表 1.1-5,并在各设备的选型比较中逐项展开——例如热成像设备是否输出全辐射数据流并开放每像素原始温度读取,这一项决定了数据能否进入数据集加工,而不只是能否在设备自带软件里看一眼温度。
表 1.1-5 列出本节五类设备共用的选型准则。准则的排序是有先后的:参数达标是入场条件,现场适应性与数据可取性决定设备装上去之后能不能持续产出可用数据,经济性与维护便利性决定三年建设期内的实际成本。
表 1.1-5 硬件选型准则与判据
| 准则 | 判据 | 不满足时的处理 |
|---|---|---|
| 一、参数达标与余量 | 清单所列每一项参数不低于要求值;测温范围、工作温度、防护等级三项留有余量,不取临界值 | 不进入候选 |
| 二、工业现场适应性 | 防护等级、工作温度区间、抗振、抗电磁干扰满足安装点位实测条件;焊接工位另须满足弧光、烟尘、飞溅条件 | 不进入候选,或加配防护附件后复评 |
| 三、数据可取性 | 提供可用于二次开发的软件开发工具包(SDK),可获取带时间戳的原始帧或每像素原始温度;支持标准工业协议输出;时间戳可与平台时基对齐 | 不进入候选——该项不满足则数据无法进入数据集加工 |
| 四、国产化与合规 | 密码设备须持有国家密码管理局颁发的《商用密码产品认证证书》;接入连接器须为国产中央处理器(CPU)与国产操作系统;感知设备优先选用具备国产化适配证明的型号 | 密码设备与连接器为否决项;感知设备作加权项 |
| 五、可维护性与备件 | 国内有备件库与技术支持;易损件(镜头、窗口片、滤光片、线缆、光学窗口吹扫件)可单独采购;具备现场可更换设计 | 作加权项,并相应提高备件储备量 |
| 六、经济性 | 按全生命周期成本比较:采购价 + 安装辅材 + 质保期外年度服务费 + 易损件年耗 + 标定校准费 | 作加权项 |
| 七、操作与维护便利性 | 具备中文界面与中文文档;支持远程参数配置与固件升级;现场无需专用仪器即可完成日常点检 | 作加权项 |
准则三需要单独说明,因为它是本项目与一般视频监控、一般测温改造的分界线。招标文件在红外图像采集设备一项要求「须提供 SDK 可直接获取带时间戳的原始帧」,在两类热成像设备一项要求「支持输出全辐射数据流,可通过 SDK 读取每个像素原始温度数据」。
这两条要求的指向是一致的:进入数据集的必须是原始测量数据,而不是设备内部处理后的显示结果。熔池影像若只能取到压缩后的视频流,帧与焊接过程参数就无法按毫秒级对齐,焊道级的参数—影像—缺陷关联分析失去时间锚点;热像若只能取到伪彩图或若干测温点读数,发射率与反射温度的事后修正就无法进行,同一批工件在不同环境条件下的温度数据也不具可比性。因此本节把「原始数据可取」列为否决项,不作加权项。
其三,供货配置与证明材料的确认程序。我方按上述参数与准则确定供货配置:每一设备的数量、关键参数值、接口形态、随机软件与随机附件列于 1.1.6 至 1.1.10 各节的参数响应表与部署运维要目表,是我方的供货承诺值,供货时不低于该值。品牌与具体型号的最终确定及证明材料的提交按下列程序执行——合同签订后十五个工作日内提交《硬件选型确认单》,逐设备列明拟选型号、原厂参数页、认证证书、交货周期、质保条款以及与本节参数响应表的逐条对照结论,经招标方书面确认后订货;到货验收时以原厂参数页、认证证书与到货实测三者核验,核验通过后该设备方进入安装。凡证明材料尚未经核验的参数项,本节按承诺值列示,不作已具备的陈述。若某一参数因原厂改版或停产无法达到,按「同等档次或以上型号产品」原则提出替换方案并重新报请确认。
表 1.1-6 逐设备的证明材料、核验内容与核验时点
| 设备 | 证明材料 | 核验内容 | 提交与核验时点 | 装订位置 |
|---|---|---|---|---|
| 服务器密码机 | 《商用密码产品认证证书》、原厂技术规格书、GM/T 0018 接口一致性说明、国产中央处理器与国产操作系统适配证明、出厂检验报告 | 证书载明的产品名称、型号、认证依据标准与有效期须覆盖所供型号并覆盖建设期;证书型号、设备铭牌与随机文件三者一致;接口一致性说明覆盖所调用的全部算法 | 选型确认单随附复印件;到货验收核验原件并登记证书编号与有效期 | 证明材料随投标文件分项索引按定稿页码标注(【页码:B1】) |
| 接入连接器 | 原厂技术规格书、国产中央处理器与国产操作系统适配证明、出厂检验报告、十四项功能说明文件 | 中央处理器核数与主频、内存容量、固态盘容量与数量、双冗余热插拔电源逐项比对;十四项功能逐项可操作并产生对应记录 | 同上 | 同上 |
| 红外图像采集设备 | 原厂技术规格书、防护等级检测报告、整机重量实测值、软件开发工具包接口文档、出厂校准证书 | 分辨率、帧频、光学工作距离、防护等级、重量、接口与外触发能力逐项比对并现场实测 | 同上 | 同上 |
| 在线高温热成像设备 | 原厂技术规格书、出厂标定记录、测温精度与热灵敏度原厂测试报告、软件开发工具包接口文档、计量校准证书 | 测温范围、测温精度、热灵敏度、测温点线区数量、全辐射数据流逐像素读取能力逐项比对并现场实测 | 同上 | 同上 |
| 在线热成像设备 | 同上 | 同上,测温区域按 5 点 10 线 10 区核对 | 同上 | 同上 |
表 1.1-6 数据来源:材料项依招标文件 3.3.1 节各设备技术参数要求与 3.1.2.3 节密码产品认证要求;核验内容与时点依 3.3.2 节服务要求与 1.2.7 节的三级验收安排。
参数响应的拆条口径与供货变更的处置路径如下。1.1.6 至 1.1.10 各节对招标文件相应条款的参数描述按分号与顿号拆至最小可判定项,共形成一百二十余条,每条给出要求值、响应值与响应结论,不以「满足上述全部要求」一句笼统作答;拆条结果与技术与商务规格差异表(【页码:B9】)逐行一致。供货阶段若出现原厂停产、参数改版或现货周期不能满足项目计划,按下列次序处理:优先在同一档次内更换型号并提交确认单;确认单未获批准时,上报招标方协商调整安装批次或分批到货,保证首批验证点位先行可用;上述两条均不可行时,按招标文件「要求不一致时按较高要求执行」的原则,以不低于原要求的替代配置报请确认。三条路径均不改变本节承诺的参数下限。
(1)用途与部署位置
服务器密码机是本项目密码运算的硬件基础。招标文件在系统集成要求中列出三项加解密集成:与数据集加工生产平台集成实现指定数据集的加解密、与数据集加工生产平台集成实现用户信息、企业信息等关键数据的加解密、与数据集运营服务管理平台集成实现数据集元数据的加解密;并在系统集成服务中要求完成采购的服务密码机的国密算法调试。
此外,招标文件采购的安全软件即商用密码服务平台,须统一调用底层各类密码软硬件资源、为上层应用提供全栈密码服务,并要求支持针对不同厂商的密码机设备集成。密码机在这一结构中处于底层密码资源位置,由商用密码服务平台统一纳管与调度,应用不直接访问密码机。
部署位置为招标方数据中心机房机柜,与数据集加工生产平台同一安全域,按两张网络接入:业务侧通过光口接入平台所在业务网段提供密码运算服务,管理侧通过电口接入独立管理网段用于设备管理与审计日志外送。
一台设备为招标文件规定数量,其可用性保障依靠设备自身的冗余电源与多端口冗余链路,以及商用密码服务平台侧的降级策略——平台在密码机不可用时暂停涉密字段的写入并进入只读,待密码机恢复后补齐队列,这一策略的实现见系统集成方案一节(【页码:T7】)与非功能性技术要求一节(【页码:T11】)。
密码机、商用密码服务平台与两个业务平台之间的调用关系示于图 1.1-2。图中的要点是应用不直接访问密码机,而经由商用密码服务平台统一调度——这一结构使后续更换或扩容密码设备不需改动应用。
1.1-2 服务器密码机在密码服务结构中的位置与三类加解密调用
图 1.1-2 数据来源:三类加解密集成要求依招标文件 3.1.2.3 节系统集成要求;商用密码服务平台的职能依 3.1 节安全软件建设要求与采购清单;密码机参数与规范依 3.3.1 节采购清单。
(2)选型比较与同等档次判定
密码机的选型比较不在品牌之间进行,而在形态与接口两条线上进行,因为这两条线决定了设备能否被商用密码服务平台统一纳管、能否在建设期内替换。
形态上有三种可选路径:服务器内插密码卡、密码服务虚拟化资源、独立服务器密码机。前两种在单机成本上占优,但密码卡与宿主服务器绑定,宿主机维护即导致密码服务中断,且密钥随宿主机迁移存在合规风险;虚拟化资源无法满足招标文件对物理设备型号、端口与存储密钥数量的逐项规定。独立服务器密码机的密钥不出设备、管理口独立组网、可被平台按资源池纳管,与招标文件的规定一致,故取独立设备形态。
接口上的判定项有三条,均为否决项:须按 GM/T 0018《密码设备应用接口规范》提供标准接口,不以厂商专有接口替代——这一条决定应用是否可以在不改代码的前提下更换设备;须持有在有效期内的《商用密码产品认证证书》且证书载明型号与所供型号一致;须支持国产化中央处理器与国产操作系统并提供适配证明。除否决项外,冗余电源与端口数量、密钥存储容量、各算法速率按表 1.1-7 逐项比对,取不低于要求值且在工作温度与功耗上留有余量的型号。
(3)逐条参数响应
表 1.1-7 按招标文件原文拆条对照。拆条规则为:以分号为主切分,参数栏内并列枚举项按类合并为一条并在响应值中逐项列明。
表 1.1-7 服务器密码机参数响应表
| 序号 | 招标文件要求 | 我方响应值 | 响应结论 |
|---|---|---|---|
| 1 | 支持国产化 CPU、操作系统 | 采用国产中央处理器与国产操作系统,提供原厂国产化平台说明及适配证明 | 满足 |
| 2 | 配置冗余电源 | 配置双路冗余热插拔电源,单路故障不中断运行,支持在线更换 | 满足 |
| 3 | ≥4 个电口 + 4 个光口 | 配置 4 个千兆电口与 4 个光口,电口用于管理与审计外送,光口用于业务侧密码服务接入 | 满足 |
| 4 | 单设备最大存储 ≥4096 个对称密钥 | 对称密钥存储容量不少于 4096 个 | 满足 |
| 5 | 单设备最大存储 ≥2048 对非对称密钥 | 非对称密钥对存储容量不少于 2048 对 | 满足 |
| 6 | SM1 加解密 ≥1500Mbps | SM1 加解密吞吐不低于 1500Mbps | 满足 |
| 7 | SM2 密钥对生成 ≥100000 次/秒 | SM2 密钥对生成不低于 100000 次/秒 | 满足 |
| 8 | SM2 签名 ≥100000 次/秒 | SM2 签名不低于 100000 次/秒 | 满足 |
| 9 | SM2 验签 ≥40000 次/秒 | SM2 验签不低于 40000 次/秒 | 满足 |
| 10 | SM3 算法 ≥1800Mbps | SM3 杂凑吞吐不低于 1800Mbps | 满足 |
| 11 | SM4 加解密 ≥1800Mbps | SM4 加解密吞吐不低于 1800Mbps | 满足 |
| 12 | 支持国际 RSA2048/RSA4096 算法 | 支持 RSA2048 与 RSA4096 | 满足 |
| 13 | 支持国密 SM1/SM2/SM3/SM4/SM9 算法 | 支持 SM1、SM2、SM3、SM4、SM9 五类国密算法 | 满足 |
| 14 | 支持 256 位 SM2 公钥密码算法 | 支持 256 位 SM2 公钥密码算法 | 满足 |
| 15 | 支持对称算法 AES、3DES 等多种算法 | 支持 AES(128/192/256)、3DES 等对称算法 | 满足 |
| 16 | 支持 ECB、CBC、OFB 多种算法模式 | 支持 ECB、CBC、OFB 等分组密码工作模式 | 满足 |
| 17 | 支持 SHA256、SHA384、SHA512 杂凑算法 | 支持 SHA256、SHA384、SHA512 | 满足 |
| 18 | 符合 GM/T 0018—2012《密码设备应用接口规范》 | 符合该规范,提供接口一致性说明 | 满足 |
| 19 | 符合 GM/T 0030《服务器密码机技术规范》 | 符合该规范,提供产品认证证书与检测报告编号 | 满足 |
| 20 | 数量 1 台 | 供货 1 台 | 满足 |
上表第 18、19 两项所涉规范是密码机能否被商用密码服务平台与应用正常调用的前提。GM/T 0018 规定了密码设备应用接口,应用通过该接口调用密码运算而不依赖某一厂商的专有接口;GM/T 0030 规定了服务器密码机的技术要求与检测方法,是产品认证的依据。
本项目同时要求安全软件支持不少于三家厂商密码设备的互认,该要求指向的正是接口规范的通用性。我方在选型确认时一并提交密码机的《商用密码产品认证证书》与接口一致性说明,并在系统集成阶段按 GM/T 0018 接口完成平台侧对接,使后续扩容更换设备不改动应用代码。
(4)证书范围、型号一致性与互操作验证
密码设备与其余四类设备的不同之处在于,它的合规性不是由参数表决定的,而是由证书与互操作结果决定的。三项核验分别如下。
证书范围。所供密码机须持有国家密码管理局颁发的《商用密码产品认证证书》。核验的不只是「有没有证书」,而是证书的覆盖范围:证书载明的产品名称与型号须与所供设备一致;认证依据的标准须覆盖 GM/T 0030《服务器密码机技术规范》;证书有效期须覆盖本项目建设期,若在建设期内到期,由供货渠道提供续证或换证说明并重新登记。证书编号、发证日期与有效期在到货验收时逐项登记入设备台账。
型号一致性。到货验收核对三处是否指向同一型号:认证证书载明型号、设备铭牌型号、随机文件与原厂参数页所列型号。三处不一致即拒收,不以「同系列产品」替代——同系列不同型号的密码模块实现可能不同,证书不自动延伸。同时核对设备序列号与随机文件登记一致,防止同型号换机。
互操作验证。招标文件要求商用密码服务平台支持不少于三家厂商密码设备的集成与互认,这一要求指向的正是接口规范的通用性。我方按 GM/T 0018 接口组织一次互操作验证,验证项六条:设备在平台资源池中的注册与纳管;密钥的生成、导入、授权与销毁全流程;SM1、SM2、SM3、SM4、SM9 五类国密算法与 RSA、AES、3DES 的逐一调用,运算结果与标准测试向量比对一致;同一调用在平台已纳管的其他厂商密码设备上的结果一致性比对;异常返回码的处理与上层应用的降级行为;设备替换后应用不改代码即可继续调用。六项的输出为《密码设备互操作验证记录》,与《国密算法调试记录》一并作为验收依据。
(5)容量与性能的适配
招标文件规定的性能指标是设备侧能力下限,是否够用取决于本项目的实际密码运算负荷。按本项目的加解密落点测算,负荷来自三处。
第一处是数据集元数据与关键字段的加解密。本项目四类数据集的规模为预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条。
需要加解密的不是全部样本正文,而是元数据中的受控字段与涉及个人信息、企业秘密的字段——招标文件要求对涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据进行去标识化或脱敏处理,去标识化之后仍需加密保存的字段量级在样本条数乘以若干字段的范围内。以指令微调 89 万条、每条平均加密字段合计数百字节计,单轮按批加密的数据量在百兆字节量级,按 SM4 吞吐 1800Mbps 计,单轮运算时间在秒级,不构成瓶颈。
第二处是用户与企业信息的加解密以及签名验签。这部分负荷与平台并发用户数相关,属交互型负荷,特征是单次数据量小、频次高。SM2 签名不低于 100000 次/秒、验签不低于 40000 次/秒的能力,相对于数据集运营服务管理平台的登记、确权、挂牌、交易合同与审计等场景的实际并发有较大余量。
第三处是区块链存证相关的杂凑与签名。接入连接器的功能要求中含区块链存证,存证的每一条记录需计算杂凑并签名。按数据集按批次登记、每批次产生若干存证记录估算,这部分负荷远低于前两处。
三处负荷叠加后的峰值,主要出现在数据集批量入库与批量交付两个时段。应对方式不是提高设备规格,而是在平台侧把批量加解密任务排入异步队列并限速,使峰值削平到设备稳定区间;交互型负荷则走同步通道并设优先级。这一调度策略的实现在商用密码服务平台侧,本节仅说明密码机规格与负荷的匹配关系,调度实现见系统集成方案一节(【页码:T7】)。
(6)部署、接口与运维要目
表 1.1-7 给出的是设备能力,表 1.1-8 给出的是这台设备在招标方现场怎么装、怎么接、怎么维护。两表合起来即本设备的完整交付口径。
表 1.1-8 服务器密码机的部署、接口与运维要目
| 要目 | 本设备的安排 |
|---|---|
| 安装位置与测点 | 数据中心机房机柜,与数据集加工生产平台同一安全域;机架式上架,不设现场测点 |
| 供电 | 双路冗余热插拔电源分接机柜两路不同配电回路;单路断电业务不中断,到货验收逐路断电测试 |
| 网络 | 两张网分别接入:业务侧经光口接入平台所在业务网段,管理侧经电口接入独立管理网段;管理访问限定来源地址 |
| 接口 | GM/T 0018《密码设备应用接口规范》标准接口;4 个千兆电口与 4 个光口;由商用密码服务平台统一纳管,应用不直接访问 |
| 环境条件 | 机房常温环境,温湿度与洁净度按机房既有条件;设备工作温度区间与功耗在选型确认单中登记并与机柜散热条件核对 |
| 防护 | 机柜内安装,不另配防护件;管理口与业务口物理分离,闲置端口封堵 |
| 标定 | 无计量标定项;以标准测试向量核验各算法运算结果代替标定,核验记录随单机验收提交 |
| 数据质量判据 | 密文可解、密钥可轮换、审计日志完整三项全部通过;任一不通过不进入联调 |
| 时间同步 | 接入与平台、审计服务器同一时间源;签名时间戳与平台时基的偏差在约定范围内,偏差值在调试阶段实测登记 |
| 维护与更换 | 固件升级按变更流程执行并留痕;配置基线在调试完成后导出备份,变更前后各备份一次;电源模块现场可更换 |
| 故障诊断 | 设备自检与告警外送至审计服务器;平台侧监测密码服务调用成功率与时延,异常按阈值告警;故障时平台对涉密字段进入只读并排队,恢复后补齐 |
| 备件 | 电源模块 1 套,质保期内备用、用后补齐 |
| 质保 | 整机质保期不少于 12 个月,自联调验收签署之日起算;质保内容含本体故障检修与更换、固件升级与接口版本适配 |
| 现场验收 | 单机验收核对算法与性能、冗余与端口两项(表 1.2-3);联调验收核对三类加解密调用的端到端结果 |
(7)安装、调试与国密算法联调
密码机的服务与质保要求为「须提供安装、调试服务,整机质保期不少于 12 个月」。该行未列入安装辅材、线缆与校准项,但设备安装实际需要导轨、理线件与网线光纤跳线。招标文件规定要求不一致时按较高要求执行,我方按其余四类设备的供货范围口径执行,即一并提供密码机的安装辅材与线缆,不另计费。
调试与联调分四步。第一步设备初始化:机柜上架、双路电源分别接入不同配电回路、业务与管理网口按规划接入,完成管理员与操作员分权设置、密码机初始化与密钥体系建立。第二步算法自检:按 GM/T 0018 接口逐一调用 SM1、SM2、SM3、SM4、SM9 与 RSA、AES、3DES 算法,核对运算结果与标准测试向量一致,并实测各算法吞吐与速率,形成实测记录。
第三步平台对接:商用密码服务平台纳管密码机,完成资源池注册、分组与驱动配置,配置应用接入授权。第四步业务联调:由数据集加工生产平台与运营服务管理平台分别发起三类加解密调用,核对密文可解、密钥可轮换、审计日志完整。四步的输出为《国密算法调试记录》与《密码服务联调报告》,作为验收依据。
国密算法调试的一项易被忽略的前置条件是时间同步与证书有效期。签名验签涉及时间戳,密码机、平台与审计服务器须接入同一时间源;设备证书与应用证书的有效期须在项目建设期内可覆盖,到期更换流程须在质保期内演练一次并形成操作记录。这两项列入 1.2.4 节的调试检查表。
(8)密评与等保的衔接
招标文件要求对本项目建设的信息系统进行等级保护测评及商用密码应用安全性评估。密码机是商用密码应用安全性评估的核心受评对象,评估关注三类问题:密码产品是否合规(看认证证书)、密码算法与密钥管理是否正确使用(看密钥生成、存储、分发、销毁的全过程记录)、密码服务是否覆盖了应当覆盖的业务环节(看机密性、完整性、真实性、不可否认性四项要求在各业务流程中的落实)。
为此,我方在密码机交付时同步提交三份材料:《商用密码产品认证证书》复印件、《密钥管理方案》(含密钥分类、生成方式、存储位置、使用授权、轮换周期与销毁记录格式)、《密码应用点位清单》(逐条列明哪一个业务环节调用了哪一类密码服务、对应哪一项安全目标)。这三份材料是密评进场后首先被索取的内容,提前准备可避免测评期间的返工。密评与等保测评的组织、受评范围与整改安排见安全方案一节(【页码:T10】),本节不重复。
(1)用途与三台的角色划分
接入连接器是数据集运营服务管理平台的数据进出通道。招标文件在系统集成服务中要求完成采购的接入连接器与数据集运营服务管理平台的安装和适配,并在设备参数栏中列出十四项国产操作系统适配功能要求:数据接入、数据资源、数据登记、数据接口、数据交付、审核管理、系统日志、日志分析、日志审计、身份管理、配置中心、区块链存证、运行监测管理、访问控制。
这十四项功能的性质并不相同:数据接入、数据接口、数据交付是通道职能;数据资源、数据登记、审核管理是治理职能;系统日志、日志分析、日志审计、区块链存证、运行监测管理是留痕与监测职能;身份管理、访问控制、配置中心是管控职能。
招标文件规定数量为 3 台。三台设备不宜配置为简单的三副本,原因是本项目的数据进出有三条特征明显不同的流量:一条是从企业内部各业务系统与现场感知设备向数据集加工侧汇入的采集流,特征是长时间持续、单条数据小、吞吐稳定;一条是数据集向外交付的出库流,特征是突发、单次数据量大(数据集按批次交付,单批可达数十吉字节)、对带宽敏感;一条是登记、确权、挂牌与审计的管理流,特征是请求频次低但对一致性与留痕完整性要求最高。三条流量混在同一台设备上,出库流的突发会挤占采集流的稳定性,这是工程上可以预见的。
因此我方按职能分工配置三台,并在平台侧按通道路由,示于图 1.1-3。三台设备硬件配置相同(按要求统一配置),差别在于启用的功能模块与资源分配权重;任一台故障时,另两台可按降级策略接管其职能,接管后对应通道的吞吐下降但不中断。这一配置既满足招标文件的数量与功能要求,也使三台设备各有明确的工作负荷,而不是两台闲置。
1.1-3 三台接入连接器的通道划分与数据流向
图 1.1-3 数据来源:设备数量与十四项功能要求依招标文件 3.3.1 节采购清单;平台与连接器的安装适配关系依 3.2.5 节系统集成服务;源系统范围依 3.2.1 节服务采购清单。
(2)选型比较与同等档次判定
连接器的选型比较在整机形态与适配深度两条线上进行。整机形态上,招标文件规定为工控机形态。可选路径有三种:通用机架服务器、工业级机架式整机、嵌入式工控盒。通用机架服务器在算力与扩展性上占优,但本设备部署于机房机柜、长期连续运行、对冗余电源与国产化适配有硬性要求,其优势用不上;嵌入式工控盒不具备双冗余热插拔电源。工业级机架式整机同时满足国产中央处理器、双冗余热插拔电源、机架上架与长期连续运行四项条件,故取该形态。
适配深度上的判定项有三条:国产中央处理器 16 核 3.5GHz 与国产操作系统的适配须有原厂适配证明,不以「可运行」替代「已适配」;十四项功能须在国产操作系统上逐项可操作并产生对应记录,不以功能清单替代实际演示;固态盘须支持镜像组织,单盘故障不丢登记与存证数据。三条均为否决项。
(3)逐条参数响应
表 1.1-9 接入连接器硬件参数响应表
| 序号 | 招标文件要求 | 我方响应值 | 响应结论 |
|---|---|---|---|
| 1 | 1 台工控机(单台配置) | 每台为工业级机架式整机,适应机房长期连续运行 | 满足 |
| 2 | 国产 CPU:16 核心,3.5GHz | 配置国产中央处理器,核心数不少于 16,主频不低于 3.5GHz | 满足 |
| 3 | 内存:32GB DDR5 | 配置 DDR5 内存不少于 32GB,预留扩展插槽 | 满足 |
| 4 | 存储:2 块 960GB SSD | 配置 2 块容量不低于 960GB 的固态盘(SSD),按镜像方式组织,系统与数据分区分离 | 满足 |
| 5 | 电源:双冗余热插拔电源 | 配置双路冗余热插拔电源,单路故障不中断运行 | 满足 |
| 6 | 国产操作系统适配 | 预装国产操作系统,提供与所选国产中央处理器的适配证明 | 满足 |
| 7 | 功能:数据接入 | 支持数据库直连、接口调用、文件交换三类接入方式,支持结构化、文档与二进制数据流 | 满足 |
| 8 | 功能:数据资源 | 支持接入资源的分类编目、资源属性维护与资源状态管理 | 满足 |
| 9 | 功能:数据登记 | 支持按批次登记数据来源、授权依据、责任人与登记时间 | 满足 |
| 10 | 功能:数据接口 | 支持对外提供标准接口,接口可按授权范围开放与回收 | 满足 |
| 11 | 功能:数据交付 | 支持按批次打包交付、断点续传、交付凭证生成 | 满足 |
| 12 | 功能:审核管理 | 支持接入、交付、权限变更三类事项的分级审核与留痕 | 满足 |
| 13 | 功能:系统日志 | 记录系统运行、配置变更与异常事件,日志本地留存并外送 | 满足 |
| 14 | 功能:日志分析 | 支持按时间、对象、操作类型检索与统计,支持异常模式告警 | 满足 |
| 15 | 功能:日志审计 | 支持面向审计的只读视图、日志完整性校验与防篡改保护 | 满足 |
| 16 | 功能:身份管理 | 支持用户、角色、机构三级身份管理与双因素认证接入 | 满足 |
| 17 | 功能:配置中心 | 支持接入、交付与安全策略的集中配置与版本化管理 | 满足 |
| 18 | 功能:区块链存证 | 支持对数据接入与交付关键事件生成存证记录,存证内容含杂凑值与时间戳,杂凑与签名由服务器密码机提供 | 满足 |
| 19 | 功能:运行监测管理 | 支持通道状态、吞吐、时延、失败率监测与阈值告警 | 满足 |
| 20 | 功能:访问控制 | 支持按用户、角色、资源、操作四元组的访问控制策略 | 满足 |
| 21 | 数量 3 台 | 供货 3 台,按 1.1.7 节划分采集、治理、交付三条通道 | 满足 |
上表第 4 项需作一句配置说明。招标文件给出的是两块 960GB 固态盘,未规定组织方式。我方按镜像方式组织,原因是连接器承担数据登记与审计留痕职能,这类数据一旦因单盘故障丢失,已交付批次的凭证链即出现断点,事后无法补齐;镜像以牺牲一半容量换取单盘故障下数据不丢,对本项目是合适的取舍。连接器不承担数据集本体的长期存储,数据集本体存放在平台侧存储资源上,因此单台 960GB 的可用容量足以承担通道缓冲与日志留存。日志留存期与轮转策略在 1.2.4 节调试阶段按招标方审计要求设定。
(4)通道容量与分工测算
三台设备硬件配置相同,差别在启用的功能模块与资源分配权重。三条通道的容量设计与降级关系如下:采集通道承接十六类源系统与四十二台感知设备的持续写入,资源权重向网络接收与本地缓冲倾斜;治理通道承接登记、确权、挂牌与审核请求,频次低但要求每一笔都落审计,资源权重向磁盘同步写与日志倾斜;交付通道承接批量出库,单批可达数十吉字节,按限速与排队组织,避免挤占采集通道。任一台故障时,其职能由另两台按预置策略接管:采集通道优先由治理通道接管(登记类请求可短时排队),交付通道优先由采集通道在业务低峰接管。接管后对应通道吞吐下降但不中断,接管动作与降级时段记录入运行监测日志。
(5)部署、接口与运维要目
表 1.1-10 接入连接器的部署、接口与运维要目
| 要目 | 本设备的安排 |
|---|---|
| 安装位置与测点 | 数据中心机房机柜,3 台分机位上架,避免同机柜同路供电;不设现场测点 |
| 供电 | 每台双路冗余热插拔电源分接两路不同配电回路;逐路断电测试通过方进入下一级验收 |
| 网络 | 业务、管理两张网分别接入;采集、治理、交付三条通道在平台侧按路由区分,交付通道单独限速 |
| 接口 | 对内支持数据库直连、接口调用、文件交换三类接入;对外提供标准交付接口,按授权范围开放与回收;存证的杂凑与签名调用服务器密码机,不在本机实现密码算法 |
| 环境条件 | 机房常温环境;设备工作温度区间与功耗在选型确认单中登记并与机柜散热条件核对 |
| 防护 | 机柜内安装;操作系统基线加固,关闭非必需服务与端口,闲置网口封堵 |
| 标定 | 无计量标定项;以十四项功能逐项操作一次并核对留痕代替标定 |
| 数据质量判据 | 批次登记完整、交付凭证可生成、存证记录可验证、日志不可篡改四项全部通过 |
| 时间同步 | 接入统一时间源;批次时间戳、登记时间与存证时间取同一时基,偏差在约定范围内 |
| 维护与更换 | 固态盘与电源模块现场可更换;配置与策略在配置中心集中管理并版本化,变更前后各导出一次基线 |
| 故障诊断 | 运行监测管理模块监测通道状态、吞吐、时延与失败率,按阈值告警;固态盘镜像状态纳入监测,降级即告警 |
| 备件 | 固态盘 1 块、电源模块 1 套,质保期内备用、用后补齐 |
| 质保 | 整机质保期不少于 12 个月,自联调验收签署之日起算;含本体故障检修与更换、平台适配的版本跟进 |
| 现场验收 | 单机验收核对硬件配置与十四项功能(表 1.2-3);联调验收核对端到端取数、批次登记与存证 |
(6)安装与平台适配
三台连接器部署于招标方数据中心机柜,按业务、管理两张网络分别接入。安装内容含上架、理线、双路电源接入不同配电回路、网口与光口按规划连接,以及操作系统基线加固,含关闭非必需服务与端口、设置口令策略、开启审计、配置时间同步源。基线加固项按等级保护 2.0 二级以上要求执行,具体条目与安全方案一节(【页码:T10】)保持一致。
平台适配是本设备的实施重点。招标文件要求完成接入连接器与数据集运营服务管理平台的安装和适配。适配工作分三项:一是通道配置,按 1.1.7 节的三条流量分别配置路由、限速与重试策略;二是接口对接,把十四项功能中与平台重叠的部分(数据资源、数据登记、审核管理、身份管理、访问控制)与平台侧的同名模块做职责切分并打通,避免同一笔登记在两处各记一份而口径不一致;三是存证对接,把区块链存证的杂凑与签名调用指向服务器密码机,完成一次端到端存证与验证。三项的输出为《接入连接器适配记录》,含通道配置清单、接口对照表与一次完整的存证验证记录。
此处需说明一处与关联任务的分工:连接器十四项功能与数据集运营服务管理平台的功能模块(招标文件实列 16 项)存在名称重叠,职责切分的最终口径以数据集运营服务管理平台方案一节(【页码:T3】)与系统集成方案一节(【页码:T7】)的界定为准,本节按设备侧能力描述,不另定口径。
该设备在采购清单备注中标注为熔池相机。
(1)现场条件与本设备的落点
招标文件在焊接过程控制智能监控场景中提出,企业现有十五台焊接机器人,过程参数已通过数据采集与监控系统采集,但数据利用停留在参数记录与简单阈值报警层面;场景验证要求之一是支持视觉模型结合熔池实时视频、焊缝表面图像及各类缺陷样本进行缺陷检测,另一条要求是支持将参数、视觉数据与检测结果一一关联、支持全程可溯源。采集要求一节同时列明须采集熔池图像与焊后焊道表面图像。
把这几条要求放在一起看,本设备要解决的不是「有没有摄像头」,而是三件具体的事。
第一件是在强弧光条件下看清焊接区。电弧亮度与坡口、焊丝等非发光区域的亮度相差若干个数量级,普通工业相机在这种条件下只能得到一个过曝的白斑加一片死黑。招标文件对此给出的技术路径是明确的:高动态 CMOS 成像,配合窄带滤光或主动近红外照明的强弧光抑制能力,要求电弧、熔池、焊丝、坡口边缘同屏可辨。这一条是本设备最核心的技术指标,也是验收时最需要实测的一项。
第二件是把图像与参数对上。招标文件要求参数、视觉数据与检测结果一一关联。关联的技术条件是时间戳同源——相机输出的原始帧须带时间戳,且该时间戳须能与机器人控制器输出的程序段事件、数据采集与监控系统采集的电流电压时序落在同一时间基准上。因此招标文件要求「须提供 SDK 可直接获取带时间戳的原始帧」并「支持外触发同步与工业接口」。我方按此配置外触发接入,以机器人起弧信号作为触发源,使每一段影像的起点与焊道的起点对应,而不是靠事后按时钟推算。
第三件是在焊接工位长期存活。焊接工位的环境条件为飞溅、烟尘、弧光辐射与较高的环境温度,设备若频繁故障或镜头窗口迅速污染,采集的连续性就无从保证。招标文件对此规定防护等级不低于 IP65、工作温度 -10℃~60℃、重量不超过 500g。重量限制的用意在于设备需随焊枪或机械臂安装,过重会影响机器人负载与动作精度。
(2)选型比较与同等档次判定
熔池成像的技术路径有三条,三条的差别决定了同样标称「高动态 CMOS、1280×960」的设备能否在焊接工位用得住,因此逐条比较。
路径一,纯高动态成像。只靠成像器件的宽动态范围压住电弧亮度,不加滤光与补光。优点是结构简单、无附加件;缺点是电弧与坡口的亮度差跨越若干数量级,单靠动态范围仍会在电弧区饱和、坡口区欠曝,且不同焊接工艺参数下的表现不稳定。不单独采用。
路径二,窄带滤光。在镜头前加窄带滤光片,只通过电弧辐射较弱的波段,把电弧压暗、让熔池与坡口显形。优点是对电弧的抑制直接有效、不增加现场功耗;缺点是透过率低、画面整体偏暗,对坡口边缘这类不发光区域的呈现依赖环境照明。
路径三,主动近红外照明配合滤光。以近红外照明主动照亮焊接区,滤光片中心波长与照明波段匹配,使不发光区域也有足够信号。优点是电弧、熔池、焊丝、坡口边缘四者可同屏呈现;缺点是需在工位配置照明模块并解决其安装与供电。
我方取路径二与路径三的组合配置:标配窄带滤光片组,并按工位条件配置主动近红外照明,两种手段可单独或组合使用,在调试阶段按该工位的焊接工艺参数与坡口形式确定组合方式。这一选择直接对应招标文件「具备窄带滤光或主动近红外照明的强弧光抑制能力,电弧、熔池、焊丝、坡口边缘同屏可辨」的要求——该要求用的是「或」,我方按两者兼备配置,以便逐工位择优而不是到现场才发现只有一种手段。
除成像路径外,三条判定项为否决项:须提供软件开发工具包可直接获取带时间戳的原始帧,不接受只能取压缩视频流的型号;须支持外触发同步输入,不接受只能按时钟自由运行的型号;整机重量不超过 500g,否则随焊枪安装会侵占机器人末端负载余量。防护等级、工作温度与以太网供电能力按表 1.1-11 逐项比对,取留有余量的型号。
(3)逐条参数响应
表 1.1-11 红外图像采集设备参数响应表
| 序号 | 招标文件要求 | 我方响应值 | 响应结论 |
|---|---|---|---|
| 1 | 高动态 CMOS 成像 | 采用高动态范围 CMOS 成像器件,单帧动态范围满足电弧与坡口同屏成像需要 | 满足 |
| 2 | 分辨率 ≥1280×960 | 分辨率不低于 1280×960 | 满足 |
| 3 | 帧频 ≥30fps(推荐 ≥50fps) | 按推荐值响应,帧频不低于 50fps | 满足(按推荐值) |
| 4 | 光学工作距离 160~400mm | 工作距离覆盖 160~400mm;镜头按各工位实测安装距离在该区间内选配并可调 | 满足 |
| 5 | 可调或可定制 | 镜头焦距与视场可按工位需要选配,支持定制镜筒长度与安装法兰 | 满足 |
| 6 | 具备窄带滤光或主动近红外照明的强弧光抑制能力 | 配置窄带滤光片组,并按工位条件配主动近红外照明;两种手段可单独或组合使用 | 满足 |
| 7 | 电弧、熔池、焊丝、坡口边缘同屏可辨 | 现场实测验证,判据与方法见 1.1.8 节;验证记录随单机验收提交 | 满足 |
| 8 | 千兆以太网/PoE 接口 | 配置千兆以太网接口并支持以太网供电(PoE),单线缆完成供电与数据传输 | 满足 |
| 9 | 须提供 SDK 可直接获取带时间戳的原始帧 | 提供软件开发工具包,可获取未经压缩的原始帧及其帧级时间戳;提供接口文档与示例代码 | 满足 |
| 10 | 防护 ≥IP65 | 整机防护等级不低于 IP65;另配防飞溅保护窗与遮弧挡板作为易损件 | 满足并留余量 |
| 11 | 工作温度 -10℃~60℃ | 工作温度区间不窄于 -10℃~60℃;高温工位另配隔热安装件 | 满足 |
| 12 | 重量 ≤500g | 整机重量不超过 500g(不含支架与线缆) | 满足 |
| 13 | 支持外触发同步与工业接口 | 支持硬触发输入与同步输出,具备工业数字量接口;触发源取机器人起弧信号 | 满足 |
| 14 | 数量 15 台 | 供货 15 台,按 15 台焊接机器人工作站各配 1 台 | 满足 |
(4)测量对象、量程、精度、频率与误差校验
本设备的测量对象是视觉量,不是物理量,因此「精度」在这里指的是空间分辨能力与时间对齐能力,而非测量不确定度。表 1.1-13 按实际测量对象展开。
表 1.1-12 红外图像采集设备的测量对象与误差校验
| 测量对象 | 量程/覆盖范围 | 精度/分辨能力 | 采集频率 | 布置 | 误差校验方法 |
|---|---|---|---|---|---|
| 熔池形态与尺寸 | 光学工作距离 160~400mm,视场按工位坡口宽度与焊缝长度选配镜头 | 分辨率不低于 1280×960;在工作距离内单像素对应的实际尺寸在调试阶段以标定靶实测并登记 | 不低于 50fps,按外触发分段采集 | 随焊枪安装或工位固定安装,逐工位按表 1.1-13 判定 | 以已知尺寸标定靶在实际工作距离下成像,实测像素当量;十五台设备共用同一标定靶做几何畸变与灰度响应一致性比对 |
| 电弧、焊丝与坡口边缘的同屏可辨性 | 覆盖电弧区至坡口边缘的完整亮度跨度 | 四个目标区域均不出现整片饱和或整片欠曝 | 同上 | 同上 | 按本节(5)的三项判据实测,打底、填充、盖面三类焊道各采集不少于 30 秒并抽帧指认 |
| 焊后焊道表面形貌 | 焊道全长,按复走路径分段抓拍 | 分辨率同上;抓拍时关闭主动近红外照明、切换常规成像配置并配辅助照明 | 按焊后复走节拍抓拍,不连续录制 | 同工位,复走路径定点 | 以标准试件的已知焊道尺寸核对成像尺寸;不具备复走条件的工位按统一取景规范补充拍摄并标注采集方式 |
| 帧与焊接过程的时间对齐 | 覆盖起弧至收弧全程 | 帧时间戳与触发信号的偏差稳定在约定范围内 | 帧级 | 外触发取机器人起弧信号 | 起弧触发测试,比对首帧时间戳与触发日志;偏差值逐工位登记入批次 |
表 1.1-12 数据来源:量程与频率依招标文件 3.3.1 节设备参数;采集对象依 3.2.6.3 节制造过程域采集要求;可辨性判据依本节(5);时间对齐要求依 3.2.6.5.1.5 节。
(5)安装方案与同步时序
十五台设备按一台机器人工作站一台配置。安装方式按工位分两类:机器人焊枪随行安装与工位固定安装。随行安装的优点是视场随焊枪移动、始终对准焊接区,代价是线缆随机械臂运动、需配拖链并关注弯曲半径与寿命;固定安装的优点是线缆静止、可靠性高,代价是长焊缝时视场覆盖不全。两类方式的选择按工位实际焊缝长度与机械臂动作范围在勘察阶段逐工位确定,确定结果列入《安装点位确认表》。
供电与数据按以太网供电方式单线缆接入,减少现场线缆数量。每个工位配工业交换机端口一个,交换机侧的供电预算与端口数量由招标方网络建设统筹,我方在勘察阶段提出端口与供电需求清单。
同步时序是本设备安装调试的关键环节,示于图 1.1-4。时序设计的目标是让每一帧影像都能回答「它拍的是哪一条焊缝、第几层、第几道、起弧后第几毫秒」。
1.1-4 熔池影像与焊接过程数据的同步时序
图 1.1-4 数据来源:外触发同步与原始帧时间戳要求依招标文件 3.3.1 节设备参数;参数采集范围依 3.2.6.3 节制造过程域采集要求;参数与视觉数据一一关联的验证要求依 3.2.6.5.1.5 节。
时序设计中有一处需要如实说明的条件依赖。影像绑定到焊道一级,前提是机器人控制器能输出程序段号或等效的焊道切换事件;若该接口在实施期未能开通,影像仍可通过工件扫码启停与起弧收弧事件绑定到焊缝一级,粒度由焊道降为焊缝,相应的焊道级参数—影像关联分析降为焊缝级。我方按前者设计、按后者兜底,并把当前实际绑定粒度随每一批样本一并记录,使数据集的使用者知道每一条样本的绑定粒度是哪一级。接口开通事项由招标方与设备原厂协调。
两类安装方式的比较列于表 1.1-13,供勘察阶段逐工位判断。
表 1.1-13 熔池相机两类安装方式的比较
| 比较项 | 焊枪随行安装 | 工位固定安装 |
|---|---|---|
| 视场特性 | 随焊枪移动,始终对准焊接区 | 视场固定,长焊缝时覆盖不全 |
| 线缆条件 | 随机械臂运动,需配拖链并控制弯曲半径 | 线缆静止,可靠性高 |
| 对机器人的影响 | 增加末端负载,须核算在允许负载内(设备重量 ≤500g 即为此设限) | 无影响 |
| 维护便利性 | 清洁窗口需停机进入 | 可在工位外侧完成日常清洁 |
| 适用工位 | 焊缝较长、焊枪行程大的工作站 | 焊接区位置相对固定的工作站 |
| 勘察确认事项 | 末端安装面、负载余量、拖链路径与弯曲寿命、与工装的空间冲突 | 视场覆盖范围、与工件摆放方式的匹配、遮挡物 |
(6)强弧光抑制能力的验证方法
「电弧、熔池、焊丝、坡口边缘同屏可辨」是一项定性表述,若不在投标阶段把验证方法说清,验收时容易各执一词。我方提出的验证方法与判据如下,列入单机验收记录。
验证条件:在实际焊接工位、使用本工位常用的焊接工艺参数与焊材,分别在打底、填充、盖面三种焊道类型下各连续采集不少于三十秒。
判据一,四个目标区域可辨。在同一帧影像上,电弧、熔池、焊丝端部、坡口边缘四个区域均不出现整片饱和或整片欠曝,各区域轮廓可由人工在不调整显示参数的条件下指认。判定方式为抽取不少于二十帧由焊接工艺岗位与我方实施人员共同指认,可辨帧数占比不低于九成。
判据二,灰度分布可用。按上述抽帧统计电弧区与坡口区的灰度均值差,二者须落在成像器件有效动态范围之内,不出现电弧区饱和像素占比过高或坡口区欠曝像素占比过高的情形,具体阈值在调试阶段按实测基线确定并写入验收记录。
判据三,连续性可用。三十秒连续采集中无丢帧或丢帧率低于约定值,时间戳连续递增且与触发信号的偏差稳定。
三项判据任一不满足时,按下列次序处置:调整滤光片中心波长与带宽、调整主动照明功率与角度、调整镜头光圈与工作距离、更换镜头或滤光片组。上述调整在质保期内不另计费。若在同一工位经上述调整仍不满足,该工位列入专项记录,由我方与招标方共同评估是改变安装方式还是调整工艺参数窗口,评估结论形成书面意见,不以「现场条件所限」一句结案。
(7)焊道表面图像的采集安排
招标文件在采集要求中同时列出熔池图像与焊后焊道表面图像,在验证要求中列出焊缝表面图像与各类缺陷样本(气孔、裂纹、咬边、余高、弧坑、焊脚偏差等)的缺陷检测。本节采购的十五台设备的主用途是熔池影像采集,其安装位置与光学配置是面向焊接过程的。焊后焊道表面图像与熔池影像的采集条件不同:前者在无弧光条件下采集、关注表面形貌与尺寸、需要均匀照明与标定,后者在强弧光条件下采集、关注熔池形态。
我方的安排是:在具备条件的工位,利用本设备在焊后复走路径定点抓拍焊道表面图像,此时关闭主动近红外照明、切换至常规成像配置,并在抓拍点位配置辅助照明;在不具备复走条件的工位(例如人工焊工位与大型单部件工位),焊道表面图像按招标方质量管理系统既有的交检拍照取得,并按统一取景规范补充拍摄,图像随检验记录一并进入产品质量数据集。两条路径的图像在数据集中分别标注采集方式与标定状态,不混为一类。这一安排不增加本节硬件数量,也不改变招标文件规定的设备配置。
焊后外观的判定责任仍在无损检测与检验岗位,影像的作用是形成标准化样本与形貌留痕,这一点与1.1.4 节的用途边界一致。
(8)部署、接口与运维要目
表 1.1-14 红外图像采集设备的部署、接口与运维要目
| 要目 | 本设备的安排 |
|---|---|
| 安装位置与测点 | 15 台焊接机器人工作站各 1 台;按工位分焊枪随行安装与工位固定安装两类,逐工位在勘察阶段按表 1.1-13 判定并记入《安装点位确认表》 |
| 供电 | 以太网供电单线缆完成供电与数据传输;工位交换机侧的供电预算由招标方网络建设统筹,我方在勘察阶段提出端口与供电需求清单;主动近红外照明模块按工位另接供电 |
| 网络 | 每工位配工业交换机端口 1 个;原始帧带宽按分辨率、帧率与位深估算单台峰值,按外触发分段采集并在工位侧缓存、分时上传以削峰 |
| 接口 | 千兆以太网/以太网供电;软件开发工具包取带时间戳原始帧;硬触发输入与同步输出,触发源取机器人起弧信号;工业数字量接口 |
| 环境条件 | 焊接工位,飞溅、烟尘、弧光辐射与较高环境温度;工作温度区间不窄于 -10℃~60℃,高温工位另配隔热安装件 |
| 防护 | 整机防护等级不低于 IP65;另配防飞溅保护窗与遮弧挡板;随行安装的线缆配拖链并控制弯曲半径 |
| 标定 | 几何与成像一致性标定:同一标定靶下核对各台相机的几何畸变与灰度响应差异,使十五台设备的图像具备跨工位可比性;成像参数(曝光、增益、滤光配置、照明功率)按工位预置并登记 |
| 数据质量判据 | 四目标区域可辨帧数占比不低于九成;30 秒连续采集无丢帧或丢帧率低于约定值;时间戳连续递增;视场无遮挡 |
| 时间同步 | 接入统一时间源;以机器人起弧信号外触发启采,帧时间戳与触发信号的偏差稳定;对齐锚点取起弧、程序段切换、收弧三处,对齐偏差登记入批次 |
| 维护与更换 | 防飞溅保护窗与滤光片现场免工具更换;日常点检含窗口清洁与视场遮挡检查;镜头与滤光片可单独采购 |
| 故障诊断 | 设备在线状态纳入统一监测,长时间离线触发待办;图像质量(饱和像素占比、丢帧率)纳入监测,超阈值告警——设备在线不等于数据可用,两项分别监测 |
| 备件 | 防飞溅保护窗按每台 2 片配置共 30 片;整机备件 1 台,故障时先行替换,故障机返厂维修后归还备件池 |
| 质保 | 整机质保期不少于 12 个月,自联调验收签署之日起算;含成像参数重新调整、保护窗与滤光片更换、软件开发工具包版本适配 |
| 现场验收 | 单机验收核对分辨率与帧频、弧光抑制、时间戳与触发、防护与重量四项(表 1.2-3);联调验收核对端到端取数与绑定粒度 |
采购清单备注为「热处理加热过程测温、拍照(每台淬火机床设备 2 台,共 6 台)」。
(1)现场条件与本设备的落点
招标文件在热处理过程智能监控场景中指出,当前依靠人工设定工艺、事后切片检测,存在工艺依赖经验、过程不可视、缺陷难以追溯等问题;验证要求中列出须验证链轮、齿轨、刮板感应淬火及调质生产线质量智能分析能力,针对热处理后烧伤、裂纹等外观缺陷及硬度指标,开展外观缺陷、硬度异常与加热功率、加热温度、淬火液温度等关键工艺参数的关联性分析,明晰参数波动与质量问题的内在联系,实现热处理缺陷溯源。采集要求一节列明须从热处理群控系统及加装传感器采集工件淬火前后表面温度、加热功率、频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度。
这里有一处需要分清的区别:群控系统能提供的是设备侧的设定值与仪表读数,它回答「设备按什么程序在运行」;本设备提供的是工件侧的实际表面温度场,它回答「这一件工件实际被加热到了什么温度、温度分布是否均匀」。
感应淬火的硬化层深度由电流透入深度与比功率共同决定,同一台机床、同一套程序,工件的实际受热状态仍会因感应器间隙、工件来料状态、表面氧化皮与冷却条件而变化。只采设定值与仪表读数,这类差异在数据里是看不见的;外观缺陷与硬度异常的关联分析因此只能停留在参数区间比对的层面。本设备补齐的就是工件侧这一路证据。
测温范围为什么需要到 1500℃:感应淬火的表面加热温度通常在八百至一千摄氏度区间,但感应加热的局部瞬时温度与表面氧化皮的辐射特性会使读数显著偏高,测温上限若贴近工艺温度,高温段将出现截顶而无法记录峰值。招标文件规定 -20~1500℃,该区间对加热段测温留有充分余量,这是把它与1.1.10 节 -20~650℃ 的设备分开配置的原因。
(2)选型比较与同等档次判定
热成像测温设备的选型比较在探测器类型、量程组织与数据开放度三条线上进行。
探测器类型上,制冷型探测器在热灵敏度与响应速度上占优,但体积大、功耗高、含机械制冷部件,在车间连续运行的维护成本与故障率均高;非制冷型探测器在 ≤50mK 热灵敏度与本项目所需的采样节拍下已能满足要求,且无运动部件、适合长期在线。故取非制冷型。
量程组织上,可选单一宽量程机型或按量程段切换的机型。单一宽量程机型在八百至一千摄氏度的实际工作区间内,其分辨力被整个量程摊薄;按量程段切换的机型在当前段内精度与灵敏度表现更好,代价是数据中须记录当前量程段、且切换时刻须标注。我方取后者,并要求量程段随每一条温度数据输出——这也是把加热段(-20~1500℃)与淬火后(-20~650℃)分成两类设备配置的同一条理由。
数据开放度是否决项:须输出全辐射数据流并可通过软件开发工具包逐像素读取原始温度数据。只能取伪彩图或若干测温点读数的型号一律不进入候选——发射率与反射温度的事后修正无法进行,同一批工件在不同环境条件下的温度数据也不具可比性。其余如三项补偿参数设置、测温点线区数量、Modbus 与 RS485 协议输出、超温报警输出按表 1.1-15 逐项比对。
(3)逐条参数响应
表 1.1-15 在线高温热成像设备参数响应表
| 序号 | 招标文件要求 | 我方响应值 | 响应结论 |
|---|---|---|---|
| 1 | 红外分辨率 ≥384×288 | 红外分辨率不低于 384×288 | 满足 |
| 2 | 测温范围 -20~1500℃ | 测温范围覆盖 -20~1500℃,按量程段切换并在数据中标注当前量程段 | 满足 |
| 3 | 测温精度 ±2℃或 ±2% 读数,取二者较大值 | 按较严一侧响应:测温精度不劣于 ±2℃或 ±2% 读数(取较大值),随机提供原厂精度说明与出厂标定记录 | 满足 |
| 4 | 热灵敏度 ≤50mK | 噪声等效温差(NETD)不高于 50mK | 满足 |
| 5 | 具备发射率、反射温度、大气透过率参数补偿设置 | 三项补偿参数均可设置并随数据记录当前取值,支持按工位预置参数组 | 满足 |
| 6 | 测温区域至少支持 5 个测温点、5 个测温线、5 个测温区域 | 支持不少于 5 个测温点、5 条测温线、5 个测温区域,可按工位模板批量下发 | 满足 |
| 7 | 自动对焦 | 具备自动对焦功能,并可锁定焦距避免现场误触 | 满足 |
| 8 | 支持输出全辐射数据流,可通过 SDK 读取每个像素原始温度数据 | 输出全辐射数据流,提供软件开发工具包可逐像素读取原始温度数据,支持事后修改发射率重算 | 满足 |
| 9 | 温度输出支持 SDK 输出、Modbus RTU/TCP 等协议输出 | 同时支持软件开发工具包取数与 Modbus RTU、Modbus TCP 协议输出 | 满足 |
| 10 | 具备超温报警输出能力,可对接外部控制系统 | 具备可配置阈值的报警数字量输出,可对接外部控制系统;本项目按只读与提示方式使用,不接入设备联锁 | 满足 |
| 11 | 具备 RJ45 网口、RS485 等工业通讯接口 | 配置 RJ45 网口与 RS485 接口 | 满足 |
| 12 | 数量 6 台,每台淬火机床设备 2 台 | 供货 6 台,按 3 台淬火机床各配 2 台,分别对准加热段与出炉转移段 | 满足 |
第 10 项需作边界说明。设备具备超温报警输出能力并可对接外部控制系统,这是设备能力;本项目的使用方式是只读取数与提示,不把报警信号接入淬火机床的控制联锁回路。理由是本标段为数据加工生产服务,改变设备控制逻辑超出本包范围,且招标文件第 10 章规定涉及第三方参与须经招标方同意。若招标方后续要求接入联锁,由招标方与设备原厂确认后另行安排,设备侧已具备该能力,不需更换硬件。
(4)测量对象、量程、精度、频率与误差校验
表 1.1-16 在线高温热成像设备的测量对象与误差校验
| 测量对象 | 量程 | 精度 | 采集频率 | 布置 | 误差校验方法 |
|---|---|---|---|---|---|
| 工件加热段表面温度与温度分布 | -20~1500℃,按量程段切换并随数据标注当前段 | ±2℃ 或 ±2% 读数(取较大值)为设备指标;现场实际不确定度取决于发射率标定质量,按本节(6)处理 | 按加热周期连续采集,采样节拍在调试阶段按工件加热时长确定并登记 | 每台淬火机床 1 台,视场覆盖感应器出口至工件离开加热区的一段 | 以经计量溯源的黑体辐射源分段比对;现场以表面热电偶或经校准的接触式测温仪读数为参照反推发射率;精度校验超期的批次按降级规则标注 |
| 升温速率与峰值温度 | 同上 | 由温度时序差分得出,其不确定度由温度测量不确定度与采样节拍共同决定 | 同上 | 同上 | 与群控系统的加热功率、频率、加热时间时序比对,核对升温段起止时刻一致 |
| 同一工件不同周向位置的温差 | 同上 | 以同一帧内多个测温区域的读数差计算,不受绝对偏差影响,适合作相对比较 | 同上 | 测温区域按零件族典型部位预置,不少于 5 点 5 线 5 区 | 以同一工件在静态条件下的多点接触式测温比对,核对区域设置覆盖关键部位 |
| 出炉与淬火转移段表面温度、转移温降 | 同上 | 同上 | 按转移节拍连续采集 | 每台淬火机床 1 台,视场覆盖工件离开加热区至入液前的路径 | 与转移时延记录比对,核对温降幅度与转移时长的对应关系 |
表 1.1-16 数据来源:量程与精度依招标文件 3.3.1 节设备参数;采集对象依 3.2.6.3 节制造过程域采集要求;校验手段依本节(6)与 1.2.5 节校准安排。
(5)布点方案
六台设备按三台淬火机床各两台配置(备注)。每台机床的两台设备分工如下,示于图 1.1-5。
一台对准加热段,视场覆盖感应器出口至工件离开加热区的一段,取工件表面温度随加热时间的变化,用于记录实际加热温度与温度分布均匀性。关注的数据是峰值温度、升温速率以及同一工件不同周向位置的温度差——后者是链轮一类回转体零件硬度不均的候选原因之一。
一台对准出炉与淬火转移段,视场覆盖工件离开加热区至入液前的路径,取工件出炉表面温度与转移过程中的温降。关注的数据是入液前温度以及转移时长内的温降幅度,这两项与淬火转移时延配合,使「转移超时导致淬火前温度偏低」这一已知机理成为可核对的事实而非经验推断。
1.1-5 淬火机床工位热像布点与温度数据流向
图 1.1-5 数据来源:设备数量与布点依据招标文件 3.3.1 节采购清单备注;采集对象依 3.2.6.3 节制造过程域采集要求;关联性分析要求依 3.2.6.5.1.4 节验证要求。
安装条件在勘察阶段须逐工位确认四项:视场角与遮挡(机床护罩、工装与行车可能遮挡视线)、粉尘与水汽干扰(淬火区水汽对红外路径影响明显,需配吹扫或防护罩)、安装位置的环境温度与振动(靠近加热段的安装点需配隔热与减振件)、线缆走向与接线箱位置。四项确认结果与安装方式一并列入《安装点位确认表》。
表 1.1-17 为安装条件的勘察确认事项,每一项都对应一个会使数据失效的具体原因,勘察时逐项填写结论。
表 1.1-17 热成像设备安装条件勘察确认事项
| 确认事项 | 不确认会出现的后果 | 处置方式 |
|---|---|---|
| 视场角与遮挡(机床护罩、工装、行车) | 视场被遮挡时读数为遮挡物温度,数据看似正常实则无效 | 调整安装位置或角度;无法避开时改变测温区域设置并记录有效视场范围 |
| 粉尘与水汽(淬火区水汽对红外路径衰减明显) | 读数系统性偏低且随工况波动,无法事后修正 | 配防护罩与压缩空气吹扫;吹扫滤芯列为易损件按周期更换 |
| 安装点环境温度与振动 | 设备工作温度超限或成像抖动,长期影响寿命与数据质量 | 配隔热安装件与减振件;安装点环境温度实测后选配 |
| 线缆走向与接线箱位置 | 线缆经高温辐射区或水汽区,绝缘老化导致间歇断连 | 避开高温区,穿金属保护管并隔热包覆;接线箱选在干燥侧 |
(6)发射率标定与测温可信度
热成像测温的准确度在很大程度上取决于发射率设置是否与被测对象的实际表面状态一致。钢材表面的红外发射率随氧化皮厚度、表面粗糙度与温度而变化,范围可以很宽;淬火工位还叠加水汽对红外路径的衰减。这意味着设备出厂精度指标(±2℃或 ±2% 读数)是在标准黑体条件下的指标,现场实际测温不确定度取决于标定质量。
我方按三项措施处理这一问题,并把处理结果如实写入数据。
第一,现场标定在真实工况下完成。标定不在洁净条件下进行,而在含水汽与实际氧化皮状态的生产工况下,以接触式测温(表面热电偶或经校准的接触式测温仪)读数为参照,反推并设置发射率与反射温度参数;按不同零件族、不同表面状态分别建立参数组并在设备中预置。
第二,定期复标并记录。发射率参数组按约定周期复标,复标周期在调试阶段与招标方工艺与计量岗位共同确定(建议不长于季度,并在感应器更换、工艺调整或介质更换后追加复标)。每次复标形成记录,记录含复标时间、参照手段、原参数与新参数。
第三,可信度随数据传递。每一条温度数据在进入数据集时,携带当前使用的发射率参数组标识、上次复标时间与设备校准状态三项元数据。测温系统精度校验超期或偏差超限时,该时段的温度数据在数据集中降级标注为数据级,仅作记录保存,不进入温度类偏离判定与跨批次比较基线。这一降级规则的意思是:曲线类结论的可信度不高于测温系统本身的有效性,与其让一条标定状态不明的曲线混进基线污染后续分析,不如明确标注它只能作为原始记录。
上述三项中,接触式测温参照手段与计量校验记录属招标方既有计量管理范围,我方在标定时使用、不另行采购计量器具;校验记录的接入口径在调试阶段确认。设备自身的周期校准由我方在质保期内承担一次,具体安排见 1.2.5 节。
(7)部署、接口与运维要目
表 1.1-18 在线高温热成像设备的部署、接口与运维要目
| 要目 | 本设备的安排 |
|---|---|
| 安装位置与测点 | 3 台淬火机床各 2 台,一台对准加热段、一台对准出炉转移段;测温点线区按零件族典型部位预置,逐工位记入《安装点位确认表》 |
| 供电 | 自车间电源接入点至设备的供电接线由我方承担,接入点由招标方提供;靠近加热段的点位供电线路避开高温辐射区 |
| 网络 | 每点位配车间接入箱或交换机端口 1 个;温度数据流按工件加热周期分段上传,网络中断时本地缓存按约定时长留存、恢复后按时间戳补传 |
| 接口 | 全辐射数据流,软件开发工具包逐像素读取原始温度;Modbus RTU/TCP 协议输出;RJ45 网口与 RS485 接口;超温报警数字量输出按只读与提示方式使用,不接入设备联锁 |
| 环境条件 | 热处理车间,靠近感应加热段,环境温度高、有粉尘与水汽;安装点环境温度与振动在勘察阶段实测后选配隔热与减振件 |
| 防护 | 配防护罩与压缩空气吹扫;镜头保护窗列为易损件;线缆避开高温区,穿金属保护管并隔热包覆 |
| 标定 | 发射率在真实工况下标定,按零件族与表面状态分别建立参数组并在设备中预置;按约定周期复标,建议不长于季度,感应器更换、工艺调整或介质更换后追加复标;质保期内由我方组织一次经计量溯源的黑体源周期校准 |
| 数据质量判据 | 视场无遮挡、发射率参数组标识齐全、校准状态在有效期内、量程段已标注四项全部满足方进入温度类比较基线;任一不满足降级标注为数据级 |
| 时间同步 | 接入统一时间源;温度时序与群控系统的设定值时序、工件扫码登记时刻取同一时基,偏差在约定范围内 |
| 维护与更换 | 镜头保护窗与吹扫滤芯现场可更换;日常点检含窗口清洁、吹扫气压确认与视场遮挡检查;参数组可按工位模板批量下发 |
| 故障诊断 | 在线状态与读数合理性(恒定值、越界值、长时无变化)纳入监测,异常触发待办;吹扫失效导致的系统性偏低可由与接触式测温的定期比对发现 |
| 备件 | 镜头保护窗按每台 1 片配置;吹扫滤芯按配置吹扫的点位每点位 2 件;1500℃ 量程整机备件 1 台 |
| 质保 | 整机质保期不少于 12 个月,自联调验收签署之日起算;含测温参数重新调整、发射率参数组复标、一次周期校准 |
| 现场验收 | 单机验收核对测温范围与精度、热灵敏度、全辐射数据流、测温点线区数量、协议输出与接口、报警输出六项(表 1.2-3);联调验收核对端到端取数与一件一档归档 |
(8)与场景验证的衔接
本设备产出的数据进入制造过程数据集与产品质量数据集,支撑热处理过程智能监控场景的三项验证要求:工艺参数智能匹配需要历史工艺与实际温度历程配对,本设备提供后者;工艺参数区间智能寻优需要参数与质量结果的成对样本,本设备提供温度一路;质量智能分析与缺陷溯源需要外观缺陷、硬度异常与工艺参数的关联,本设备提供加热温度与出炉温度两项关键自变量。
场景验证的口径、指标与通过判据见专业场景验证方案一节(【页码:T5】),本节不重复。需要在此点明的是硬件与验证之间的依赖关系:本设备到位并完成标定,是热处理温度类验证项成立的前置条件;若某台机床因现场条件无法完成安装,该机床对应的验证项按粗粒度结论处理并在验证报告中标注条件,不以合格结论呈现。
采购清单备注为「热处理淬火后、温度测量、拍照;焊接前温度测量(每台淬火机床设备 2 台,共 6 台),焊接前温度测量 15 台(15 个焊接机器人配 1 台)」。
(1)二十一台的用途拆分
按清单备注,二十一台分两处使用:热处理侧六台,按三台淬火机床各两台,用于淬火后温度测量与拍照;焊接侧十五台,按十五台焊接机器人各一台,用于焊接前温度测量。两处的测量对象与安装条件不同,以下分别论述。
热处理侧六台与1.1.9 节的六台高温热像在同一工位上形成前后接续:高温热像覆盖加热段与出炉转移段(温度高、需 1500℃ 量程),本设备覆盖淬火后工位(温度已降至数百摄氏度以内,650℃ 量程足够且在该区间内精度与灵敏度表现更好)。淬火后的表面温度与返热温度是招标文件明确要求采集的对象。返热是淬火后工件心部余热向表面回传造成的表面温度回升,其幅度与持续时间与心部冷却是否充分有关,是开裂与硬度不足的一条线索。
焊接侧十五台用于焊接前温度测量,对应招标文件焊接场景验证要求中的预热温度一项。当前这一项以测温枪抽检并作纸质记录,既无连续读数,也无法与具体工件、焊缝与焊层对应。本设备提供的是工件表面温度场的连续记录,解决的是「这一件工件焊前实际有没有预热到位、预热是否均匀」这个问题。
需要如实说明一处技术分工。红外测温读数受表面发射率影响,而钢材表面状态在焊前差异较大(氧化皮、油污、打磨痕迹均影响发射率),预热温度的工艺档位间隔通常只有数十摄氏度,发射率偏差有可能使读数偏离一整档。
因此本设备在预热温度上的定位是面温度分布与同一工件不同区域之间的相对比较,以及连续记录与留痕;预热是否达标的判定口径以招标方工艺文件规定的测量方式为准。我方在数据集中如实记录每一条温度数据的测量方式与标定状态,不把红外读数直接等同于达标判定结论。这一处理与1.1.4 节的用途边界一致,也是数据集标注一致性的要求。
表 1.1-19 列出二十一台的用途拆分与各自的测量对象,便于与1.1.9 节的六台高温热像一并核对。
表 1.1-19 在线热成像设备二十一台的用途拆分(依备注)
| 使用场所 | 数量 | 配置方式 | 测量对象 | 关注的数据 | 安装方式 |
|---|---|---|---|---|---|
| 热处理车间淬火后工位 | 6 台 | 3 台淬火机床各 2 台 | 工件淬火后表面温度、返热温度 | 入液后温降过程、返热幅度与持续时间、同一工件不同部位温差 | 固定安装,靠近出料工位,配防护罩与吹扫 |
| 焊接车间机器人工作站 | 15 台 | 15 台焊接机器人各 1 台 | 工件焊前表面温度场 | 预热是否均匀、焊缝区段间温差、焊道间隙的层间温度读数 | 工位固定安装,视场覆盖工件主要焊接区域,配保护窗 |
| 合计 | 21 台 | — | — | — | — |
(2)选型比较与同等档次判定
本设备与 1.1.9 节高温热像同属非制冷型在线热成像,选型比较的三条线相同,不重复论述;两处差别构成本设备单独的判定项。
其一,量程。本设备量程为 -20~650℃。在淬火后与焊前预热的实际温度区间内,窄量程机型的分辨力优于宽量程机型,这是本设备不与 1.1.9 节设备合并配置的技术理由,而不只是价格理由。
其二,测温区域数量。本设备要求不少于 5 个测温点、10 条测温线、10 个测温区域,高于 1.1.9 节设备的 5 点 5 线 5 区。该差异的工程含义是本设备须在一个视场内同时监视更多测温位置:淬火后工位需同时跟踪工件多个部位的温降与返热,焊接工位需按焊缝区段分别读取预热温度。选型时核对的是设备在同时启用全部点线区时的刷新节拍是否仍满足采集要求,而不只是标称支持的数量。
(3)逐条参数响应
表 1.1-20 在线热成像设备参数响应表
| 序号 | 招标文件要求 | 我方响应值 | 响应结论 |
|---|---|---|---|
| 1 | 红外分辨率 ≥384×288 | 红外分辨率不低于 384×288 | 满足 |
| 2 | 测温范围 -20~650℃ | 测温范围覆盖 -20~650℃ | 满足 |
| 3 | 测温精度 ±2℃或 ±2% 读数,取二者较大值 | 按较严一侧响应:不劣于 ±2℃或 ±2% 读数(取较大值),随机提供出厂标定记录 | 满足 |
| 4 | 热灵敏度 ≤50mK | 噪声等效温差不高于 50mK | 满足 |
| 5 | 具备发射率、反射温度、大气透过率参数补偿设置 | 三项补偿参数可设置并随数据记录当前取值,按工位与零件族预置参数组 | 满足 |
| 6 | 测温区域至少支持 5 个测温点、10 个测温线、10 个测温区域 | 支持不少于 5 个测温点、10 条测温线、10 个测温区域;焊接工位按焊缝区段配置测温线 | 满足 |
| 7 | 自动对焦 | 具备自动对焦功能并可锁定 | 满足 |
| 8 | 视频流:支持输出全辐射数据流,可通过 SDK 读取每个像素原始温度数据 | 输出全辐射数据流,软件开发工具包可逐像素读取原始温度数据,支持事后重算 | 满足 |
| 9 | 温度输出:支持 SDK 输出、Modbus RTU/TCP 等协议输出 | 同时支持软件开发工具包取数与 Modbus RTU、Modbus TCP 输出 | 满足 |
| 10 | 具备超温报警输出能力,可对接外部控制系统 | 具备可配置阈值的报警数字量输出;本项目按只读与提示方式使用,不接入设备联锁 | 满足 |
| 11 | 具备 RJ45 网口、RS485 等工业通讯接口 | 配置 RJ45 网口与 RS485 接口 | 满足 |
| 12 | 数量 21 台(热处理 6 台 + 焊接前 15 台) | 供货 21 台,按 3 台淬火机床各 2 台、15 台焊接机器人各 1 台配置 | 满足 |
与1.1.9 节高温热像的参数差异集中在两项:测温范围由 1500℃ 降至 650℃,测温区域由 5 点 5 线 5 区增至 5 点 10 线 10 区。
后一项差异的工程含义是本设备需要在一个视场内同时监视更多测温位置,这与它的两种用途相符:淬火后工位需要同时跟踪工件多个部位的温降与返热,焊接工位需要按焊缝区段分别读取预热温度。我方在调试阶段按工位建立测温线与测温区域模板:热处理侧按零件族的典型部位设置,焊接侧按焊缝区段划分设置,区段划分口径由招标方焊接工艺岗位确认后固化。
(4)测量对象、量程、精度、频率与误差校验
表 1.1-21 在线热成像设备的测量对象与误差校验
| 测量对象 | 量程 | 精度 | 采集频率 | 布置 | 误差校验方法 |
|---|---|---|---|---|---|
| 工件淬火后表面温度与温降过程 | -20~650℃ | ±2℃ 或 ±2% 读数(取较大值)为设备指标;现场不确定度取决于发射率标定与水汽衰减,按 1.1.9 节(6)同一办法处理 | 按出料节拍连续采集,采样节拍在调试阶段确定并登记 | 热处理侧 6 台,3 台淬火机床各 2 台,视场覆盖淬火后工件的停留位置 | 经计量溯源的黑体源分段比对;现场以接触式测温读数为参照反推发射率;精度校验超期的批次按降级规则标注 |
| 返热温度(心部余热回传引起的表面温升) | 同上 | 以同一测温区域的温度时序极值差计算,属相对量,受绝对偏差影响小 | 同上,采集时长覆盖返热完整过程 | 同上 | 与同一工件的入液时刻、介质记录比对,核对返热起止时刻;与硬度检验结果作关联性核对 |
| 工件焊前表面温度场(预热温度) | 同上,实际工作区间在预热工艺档位附近 | 设备指标同上;红外读数受表面发射率影响,而焊前钢材表面状态差异大(氧化皮、油污、打磨痕迹),预热档位间隔通常只有数十摄氏度,故本设备在该对象上的定位是面温度分布与同一工件不同区域之间的相对比较及连续记录,达标判定口径以招标方工艺文件规定的测量方式为准 | 起弧前连续采集,读数时刻与工件、焊缝区段对应 | 焊接侧 15 台,15 台焊接机器人各 1 台,工位固定安装,视场覆盖工件主要焊接区域 | 与招标方既有测温枪抽检读数作定期比对并记录偏差;按零件族与表面状态分别建立发射率参数组 |
| 焊道间隙的层间温度 | 同上 | 同上;焊接过程中的烟尘与弧光会间歇性影响读数质量 | 在焊道间隙按时间窗提取有效读数 | 同上 | 对每一条读数标注有效性判定结果(视场是否被遮挡、是否处于弧光影响时段);无有效读数的焊层显式标注缺失,不以插值填充 |
表 1.1-21 数据来源:量程与精度依招标文件 3.3.1 节设备参数;采集对象依 3.2.6.3 节制造过程域采集要求;校验手段依 1.1.9 节(6)与 1.2.5 节校准安排。
缺失标注与插值填充的区别对数据集质量影响很大:插值得到的温度看起来连续,但它不是测量值,混入训练样本会使模型学到不存在的规律。本设备在数据集中如实记录每一条温度数据的测量方式与标定状态,不把红外读数直接等同于达标判定结论。
(5)两类工位的安装差异
热处理侧六台的安装条件与1.1.9 节相同,按同一勘察表逐工位确认,不重复论述。两处差异:一是视场应覆盖淬火后工件的停留位置而非转移路径,因此安装点更靠近出料工位;二是水汽影响更显著,防护罩与吹扫配置优先级更高。
焊接侧十五台的安装方式与熔池相机不同。熔池相机需随焊枪对准焊接区,本设备需覆盖工件表面较大范围以读取面温度分布,因此采用工位固定安装,安装位置选在不受焊枪动作干扰且视场能覆盖工件主要焊接区域的位置。安装时需确认四项:视场覆盖范围与工件摆放方式的匹配(工件摆放变化会使测温区域失效,须与工装定位配合)、与焊接工位既有设备的空间冲突、弧光与飞溅对镜头窗口的影响(配保护窗并列为易损件)、线缆走向避开焊接回路以减少电磁干扰。
两类工位的供电与通讯一并纳入第 2 章的界面划分清单。
(6)测温数据的组织方式
本设备输出的温度数据按两条主键组织,与数据集加工侧的档案结构对应。
热处理侧按工件号与加热周期组织,归入一件一档:每一件工件的淬火后温度曲线与返热曲线,与其加热段曲线(1.1.9 节设备提供)、设定程序、材料批次、介质记录与硬度检验结果绑定在同一档案下。这一组织方式的必要性在于热处理是逐件或成批作业,同批不同工位的受热与冷却条件并不相同;若只建立批级档案,同批硬度不均就无法定位到具体工件。
焊接侧按工件号、焊缝编号与焊层序号组织:每一次预热温度读数记录其对应的工件、焊缝区段与焊层,以及读数时刻与测量方式。这一组织方式对应招标文件要求的参数、视觉数据与检测结果一一关联、支持全程可溯源。
两条主键的字段定义、取值来源与更新频率,以数据资源采集接入一节与数据集加工生产各节的口径为准,本节只说明设备侧需要输出哪些随行信息:时间戳、设备编号、测温区域标识、当前发射率参数组标识、量程段、设备校准状态。这六项随每一条温度数据输出,是数据可追溯的最小集合。
(7)部署、接口与运维要目
表 1.1-22 在线热成像设备的部署、接口与运维要目
| 要目 | 本设备的安排 |
|---|---|
| 安装位置与测点 | 热处理侧 6 台,3 台淬火机床各 2 台,固定安装、靠近出料工位;焊接侧 15 台,15 台焊接机器人各 1 台,工位固定安装,位置选在不受焊枪动作干扰且视场覆盖工件主要焊接区域处;测温线与测温区域按零件族典型部位与焊缝区段划分预置 |
| 供电 | 自车间电源接入点至设备的供电接线由我方承担,接入点由招标方提供;焊接工位的供电线路避开焊接回路 |
| 网络 | 每点位配车间接入箱或交换机端口 1 个;网络中断时本地缓存按约定时长留存、恢复后按时间戳补传 |
| 接口 | 全辐射数据流,软件开发工具包逐像素读取原始温度;Modbus RTU/TCP 协议输出;RJ45 网口与 RS485 接口;超温报警数字量输出按只读与提示方式使用,不接入设备联锁 |
| 环境条件 | 热处理侧水汽影响显著;焊接侧弧光、飞溅与烟尘,并有焊接回路的电磁干扰 |
| 防护 | 热处理侧配防护罩与吹扫,优先级高于加热段点位;焊接侧配镜头保护窗;信号线采用屏蔽线并单端接地,与焊接电缆交叉而非平行走线 |
| 标定 | 发射率按零件族与表面状态分别建立参数组并预置;焊接侧另按表面状态(氧化皮、打磨、油污)分组;复标周期与追加复标条件同 1.1.9 节(6);质保期内由我方组织一次周期校准 |
| 数据质量判据 | 视场无遮挡、发射率参数组标识齐全、校准状态在有效期内、读数有效性判定已标注四项全部满足方进入温度类比较基线;焊接侧另判是否处于弧光影响时段 |
| 时间同步 | 接入统一时间源;热处理侧与工件扫码登记、群控时序同基,焊接侧与起弧信号、焊层切换事件同基 |
| 维护与更换 | 镜头保护窗与吹扫滤芯现场可更换;日常点检含窗口清洁、视场遮挡检查与工件摆放变化复核——焊接侧工件摆放变化会使测温区域失效,须与工装定位配合复核 |
| 故障诊断 | 在线状态与读数合理性纳入监测,异常触发待办;焊接侧另监测有效读数占比,占比持续偏低提示视场被工装或烟尘遮挡 |
| 备件 | 镜头保护窗按每台 1 片配置共 21 片(与 1.1.9 节 6 台合计 27 片);吹扫滤芯按配置吹扫的点位每点位 2 件;650℃ 量程整机备件 1 台 |
| 质保 | 整机质保期不少于 12 个月,自联调验收签署之日起算;含测温参数重新调整、发射率参数组复标、一次周期校准 |
| 现场验收 | 单机验收项同 1.1.9 节(7),测温区域按 5 点 10 线 10 区核对(表 1.2-3);联调验收核对两条主键的归档完整性 |
(8)与焊接场景验证的衔接
本设备在焊接侧产出的数据支撑招标文件焊接场景的两项验证要求:实时数据采集能力的验证中包含预热温度与层间温度,本设备提供预热温度一路的连续记录;焊接质量追溯能力的验证要求将参数、视觉数据与检测结果一一关联,本设备提供温度这一维度的对齐数据。
层间温度(焊道之间的温度)与预热温度的测量时机不同:预热在起弧前测,层间温度在焊道之间测。本设备以固定安装方式覆盖工件表面,在焊道间隙同样可以读取面温度分布,但焊接过程中的烟尘与弧光会间歇性影响读数质量。
我方的处理是:在焊道间隙按时间窗提取有效读数,并对每一条读数标注有效性判定结果(视场是否被遮挡、是否处于弧光影响时段);无有效读数的焊层在数据中显式标注缺失,不以插值填充。缺失标注与插值填充的区别对数据集质量影响很大——插值得到的温度看起来连续,但它不是测量值,混入训练样本会使模型学到不存在的规律。
场景验证的指标与判据见专业场景验证方案一节(【页码:T5】)。
本节按招标文件采购清单表头汇总全部硬件的名称、数量、安装位置与配置要点,作为报价分项与到货验收的对照依据。
表 1.1-23 硬件采购清单汇总
| 序号 | 名称 | 数量 | 安装位置 | 配置要点 |
|---|---|---|---|---|
| 1 | 服务器密码机 | 1 台 | 数据中心机房机柜 | 国产中央处理器与操作系统;双冗余电源;4 电口 + 4 光口;SM1/2/3/4/9 与 RSA、AES、3DES;符合 GM/T 0018—2012 与 GM/T 0030 |
| 2 | 接入连接器 | 3 台 | 数据中心机房机柜 | 国产中央处理器 16 核 3.5GHz;32GB DDR5;2×960GB 固态盘镜像;双冗余热插拔电源;国产操作系统;十四项功能按采集、治理、交付三通道分工 |
| 3 | 红外图像采集设备(熔池相机) | 15 台 | 15 台焊接机器人工作站,各 1 台 | 高动态 CMOS;≥1280×960;≥50fps;工作距离 160~400mm;窄带滤光配主动近红外;千兆以太网供电;软件开发工具包取原始帧;≥IP65;≤500g;外触发 |
| 4 | 在线高温热成像设备 | 6 台 | 3 台淬火机床,各 2 台(加热段、出炉转移段) | ≥384×288;-20~1500℃;±2℃或 ±2%;≤50mK;三项补偿;5 点 5 线 5 区;全辐射数据流;Modbus RTU/TCP;RJ45 与 RS485 |
| 5 | 在线热成像设备 | 21 台 | 3 台淬火机床各 2 台(淬火后工位)共 6 台;15 台焊接机器人各 1 台(焊前测温)共 15 台 | ≥384×288;-20~650℃;±2℃或 ±2%;≤50mK;三项补偿;5 点 10 线 10 区;全辐射数据流;Modbus RTU/TCP;RJ45 与 RS485 |
| — | 合计 | 46 台 | — | — |
表 1.1-23 中四十六台为招标文件规定数量,我方不增不减。随设备供货的安装辅材、支架、线缆与配套配件按 1.2.2 节清单计列,其数量按实际安装点位确定,不计入设备台数。
两项数量关系在此交代清楚,便于评标委员会核对:三台淬火机床的台数由招标文件备注「每台淬火机床设备 2 台,共 6 台」推得;十五台焊接机器人的台数来自招标文件焊接场景介绍「现有 15 台焊接机器人」与备注「15 个焊接机器人配 1 台」,两处一致。单台淬火机床配置的热像设备合计四台(高温热像 2 台 + 常温热像 2 台),三台机床合计十二台,加焊接侧十五台,热像设备合计二十七台,与清单的 6 + 21 相符。
表 1.1-24 按安装位置汇总,便于施工组织与分批到货安排。
表 1.1-24 按安装位置汇总的设备分布
| 安装区域 | 设备种类与数量 | 施工特点 | 建议实施批次 |
|---|---|---|---|
| 数据中心机房 | 服务器密码机 1 台、接入连接器 3 台 | 室内机柜作业,不涉及生产停机;依赖网络与机柜条件就位 | 第一批(平台建设同步) |
| 热处理车间(3 台淬火机床) | 高温热成像 6 台、在线热成像 6 台 | 需停机窗口;高温、水汽、粉尘;安装位需防护与隔热 | 第二批(先完成 1 台机床试点,验证后推广) |
| 焊接车间(15 台机器人工作站) | 红外图像采集 15 台、在线热成像 15 台 | 需停机窗口;弧光、飞溅、烟尘;涉及机械臂随行安装与外触发接线 | 第三批(先完成 1~2 个工位试点,验证后推广) |
分批实施的理由是热处理与焊接两类工位的安装方案含若干需现场验证的变量:视场与遮挡、发射率标定、线缆走向、触发信号可取性。先在一台机床与一两个焊接工位完成全流程安装、标定与联调,确认数据连续性与绑定成功率后再推广,可以避免同一处设计缺陷在数十个点位上重复一遍。试点点位的选择与推广时点由我方与招标方在实施计划中共同确定,不改变总台数与总交付时间。
本项目硬件按国产化要求与密码合规要求配置与交付,并承担硬件侧受评对象与合规材料的准备。
(1)国产化要求的落实
招标文件国产化要求含三条:支持国产化硬件设备,包括但不限于国产服务器、中央处理器、存储设备、网络设备、个人计算机、移动终端等;支持国产化操作系统;支持国产化数据库。这三条的主体是平台软件的适配能力,在本节硬件侧的落实情况分三类。
第一类是明确要求国产化的设备。服务器密码机要求支持国产化中央处理器与操作系统,接入连接器要求国产中央处理器 16 核 3.5GHz 与国产操作系统适配。这两类设备按要求选用国产中央处理器与国产操作系统,并在选型确认单中提交适配证明。
第二类是感知设备。三类感知设备(熔池相机与两类热成像)的技术参数中未提出国产化强制要求。我方按 1.1.5 节准则四处理:国产化适配作为加权项,在参数达标的候选中优先选用具备国产化平台适配证明的型号。需如实说明的是,高动态成像器件与红外探测器属专用器件,其国产化可选范围小于通用计算设备;本节的承诺是在满足全部技术参数的前提下优先国产化,而不是承诺感知设备一律采用国产器件。选型确认阶段逐台核实国产化适配情况并如实填报,不作无依据的承诺。
第三类是配套件。支架、线缆、防护罩、接线箱、保护窗等辅材优先选用国产件,这部分不存在技术障碍。
平台侧对国产操作系统、中央处理器、数据库、中间件的适配与兼容性互认证明属软件范围,见非功能性技术要求一节(【页码:T11】)与安全方案一节(【页码:T10】),本节不重复。
表 1.1-25 国产化要求在本节硬件侧的落实
| 招标文件要求 | 本节硬件侧的落实 | 佐证 |
|---|---|---|
| 支持国产化硬件设备,含国产服务器、CPU、存储、网络设备、PC 机、移动终端等 | 密码机与接入连接器采用国产中央处理器;感知设备按参数达标前提下优先选用具备国产化适配证明的型号;配套辅材优先国产件 | 选型确认单、原厂适配证明 |
| 支持国产化操作系统 | 密码机与接入连接器预装国产操作系统,并完成与所选国产中央处理器的适配 | 适配证明、系统信息截图 |
| 支持国产化数据库 | 属平台软件范围,见非功能性技术要求一节(【页码:T11】);本节硬件不承载数据库 | — |
| 密码设备须支持国产化 CPU、操作系统 | 按 1.1.6 节第 1 项响应 | 表 1.1-7 第 1 项 |
| 接入连接器须为国产 CPU 16 核 3.5GHz 与国产操作系统适配 | 按 1.1.7 节第 2、6 项响应 | 表 1.1-9 第 2、6 项 |
(2)密码合规
招标文件要求安全软件与相关密码产品须具有国家密码管理局颁发的《商用密码产品认证证书》,并要求对本项目建设的信息系统进行商用密码应用安全性评估。
本节硬件中的密码合规对象是服务器密码机。我方承诺所供密码机持有有效的《商用密码产品认证证书》,证书复印件随到货验收提交并经招标方核验(见 1.2.7 节)。证书的有效期须覆盖本项目建设期;若在建设期内证书到期,由供货渠道提供续证或换证说明。
接入连接器的区块链存证功能涉及杂凑与签名运算。该运算由服务器密码机提供,不在连接器本地实现自研密码算法——这一设计是为满足密码合规要求:商用密码应用安全性评估关注密码运算是否由合规密码产品完成,自研或开源算法实现无法通过该项评估。连接器侧只调用,不实现。
(3)设备侧的安全措施
硬件设备本身也是攻击面,三项措施列明如下。
身份与访问:机房设备的管理账号按最小权限分设管理员、操作员与审计员,三员分立;感知设备的管理界面修改默认口令并关闭不必要的服务与端口;设备管理网段与业务网段隔离,管理访问限定来源地址。
固件与配置:设备固件版本在到货时登记入台账,升级按变更流程执行并留痕;配置基线在调试完成后导出备份,变更前后各备份一次,便于回退。
留痕与监测:设备侧日志外送至审计服务器;接入连接器的运行监测管理模块监测各通道状态、吞吐与失败率,异常按阈值告警。感知设备的在线状态纳入监测,长时间离线触发待办——设备装上去之后持续在线,比装了多少台更重要,因为数据集的完整性直接取决于采集的连续性。
等级保护测评与商用密码应用安全性评估的组织、受评范围、整改安排与证据准备见安全方案一节(【页码:T10】),本节只负责把硬件侧的受评对象、合规材料与基线配置准备到位。
硬件的质量、安全性、可靠性、耐用性、实用性、经济性与操作维护便利性七个方面的选型与配置考虑如下。表 1.1-26 逐项列出我方举措与可核验证据,正文随后就其中三项作补充说明。
表 1.1-26 评价维度、我方举措与可核验证据
| 评价维度 | 我方举措 | 可核验证据 |
|---|---|---|
| 质量 | 选型以原厂正式型号与原厂参数页为依据,不采用改装或贴牌件;到货验收核对随机文件与出厂标定记录;安装质量由双方签字确认 | 选型确认单、原厂参数页、合格证与出厂标定记录、到货验收记录、安装复位确认 |
| 安全性 | 设备电气安全按规范接线并接地;安装不改变既有设备控制逻辑与安全装置;报警输出不接入联锁;施工按作业许可与安全措施执行;设备侧账号与网络按 1.1.12 节加固 | 接线与接地检查记录、复位确认、作业许可、设备加固基线清单 |
| 可靠性 | 机房设备配双冗余电源与多端口;连接器固态盘镜像;三台连接器按通道分工并可相互降级接管;感知设备配整机备件先行替换;网络中断时本地缓存补传 | 逐路断电测试记录、镜像状态截图、降级接管演练记录、备件台账、断网补传测试记录 |
| 耐用性 | 防护等级、工作温度区间两项不取临界值而留余量;焊接工位配防飞溅保护窗与遮弧挡板,热处理工位配防护罩、吹扫与隔热件;线缆按耐弯折工业级选用并配拖链 | 防护等级报告、工作温度区间参数页、附件清单、易损件更换周期与备件量 |
| 实用性 | 每一类设备的配置均对应一项招标文件明确要求的采集对象与一项场景验证要求,不配置无数据去向的设备;数据输出为可进入数据集加工的原始数据而非显示结果 | 1.1.3 节图 1.1-1 的数据去向对照、各章与场景验证要求的对应关系、联调验收的端到端取数记录 |
| 经济性 | 按全生命周期成本选型(采购 + 辅材 + 易损件年耗 + 标定校准 + 质保期外服务);以太网供电单线缆降低敷设成本;分批试点避免设计缺陷在数十点位重复;触发分段采集降低带宽与存储投入 | 选型比较记录、辅材与易损件清单、分批实施计划、采集策略说明 |
| 操作与维护便利性 | 中文界面与中文文档;参数与固件支持远程配置与升级;日常点检不需专用仪器;测温参数组按工位预置、可批量下发;设备在线状态纳入统一监测 | 操作手册、点检表、参数模板、监测界面、培训记录 |
(1)关于可靠性的两点补充
可靠性在本项目有两层含义,容易被混为一谈。一层是设备不坏,另一层是数据不断。后者才是数据集建设真正关心的。
一台相机的平均无故障时间很长,但如果它的镜头保护窗在两周内被飞溅糊住、现场无人察觉,这两周的数据就是空白,而设备台账上它一直「在线」。因此本节的可靠性措施中,设备在线状态统计与数据完整性监测的权重不低于硬件冗余——1.1.12 节把感知设备在线状态纳入监测并对长时间离线触发待办,1.2.11 节把镜头窗口清洁与视场遮挡检查列入日常点检培训,都是针对这一层。
第二点是降级路径须预先定义。本节各处定义了三类降级:密码机不可用时平台涉密字段进入只读并排队(1.1.6 节);连接器单台故障时另两台按降级策略接管(1.1.7 节);影像绑定粒度在触发信号不可取时由焊道级降为焊缝级(1.1.8 节)。降级不是为出问题找退路,而是让「部分可用」有明确的口径与标注方式,使数据集的使用者知道每一段数据是在什么条件下采到的。
(2)关于经济性的说明
均价基准价法下报价不是越低越好,但选型的经济性仍要讲清口径。本节的经济性判断按全生命周期成本,含五项:采购价、安装辅材与施工、易损件年耗、标定与校准、质保期外年度服务。五项中后三项在三年建设期内的累计金额并不小,尤其是易损件。焊接工位的镜头保护窗与热处理工位的吹扫滤芯属高频更换件,若选型时只比采购价、选中一款保护窗需整体更换镜筒的型号,三年的使用成本会显著高于采购价的差额。因此1.1.5 节准则五把「易损件可单独采购、现场可更换」列为判定项。
另有两项成本优化来自实施方式而非选型。一是以太网供电方式使熔池相机单线缆完成供电与数据传输,车间内每台设备省去一路供电敷设;二是触发分段采集而非全程连续录制,使存储与带宽投入按实际焊接时长而非日历时长计算。两项的节省不以降低数据可用性为代价——触发采集覆盖的正是焊接过程本身,焊接间隙的影像对数据集没有价值。
硬件费用的具体分项与计列口径见投标报价一览表及软件/硬件/实施服务分项明细表(【页码:B3】),本节不列金额。
(3)关于安全性的界面
招标文件评价维度中的「安全性」在硬件语境下含三层:设备电气与作业安全、不影响既有生产设备安全、设备作为信息资产的安全。前两层在表 1.1-26 与1.2.3 节已述,第三层见「数据加工生产(一):采集、预处理、知识本体与知识库」一节。
这里补充一条责任边界:本节感知设备的报警输出不接入既有设备的安全联锁回路(1.1.9 节)。既有设备的安全保护由其原有系统承担,本项目加装的测温与影像设备是观测手段,不参与安全保护逻辑。这一划分在投标阶段写明,是为了避免将来出现「加装了测温设备为什么没拦住超温」这一类责任争议——观测设备的职责是记录与提示,拦截属设备控制系统的职责,二者不可替代。若招标方要求将报警接入联锁,须由招标方与设备原厂共同确认改造方案与安全评估,另行安排。
招标文件对五类设备逐一列出硬件技术服务和质保要求。本节按统一口径给出服务范围、供货清单、现场安装与接线、调试、校准、实施流程与节点、三级验收与判据、不通过时的处置、质保期与响应、备品备件、培训与实施风险的安排。
招标文件对五类设备的服务与质保要求有一处差异:服务器密码机一行要求「须提供安装、调试服务,整机质保期不少于 12 个月」,其余四类设备一行要求「提供全套安装辅材、支架、线缆及配套配件,负责现场安装、接线、调试、校准、系统联调;整机质保期不少于 12 个月」。
我方按较高要求统一执行,即五类设备一律提供全套安装辅材、支架、线缆及配套配件,并承担现场安装、接线、调试、校准、系统联调与不少于 12 个月的整机质保。密码机虽为机房设备、无需现场支架与校准,其机柜导轨、理线件与跳线仍按辅材供货,调试内容按 1.1.6 节的四步执行。统一口径的好处是避免实施期对「某一项是否包含在内」的争议。
表 1.2-1 为服务与质保矩阵,逐设备对照招标文件要求项。
表 1.2-1 硬件配套技术服务与质保矩阵
| 服务项 | 服务器密码机 | 接入连接器 | 红外图像采集设备 | 在线高温热成像 | 在线热成像 |
|---|---|---|---|---|---|
| 全套安装辅材、支架、线缆及配套配件 | 提供(机柜导轨、理线件、电源与网络跳线) | 提供(同左) | 提供(支架、拖链、保护窗、网线) | 提供(支架、防护罩、吹扫件、隔热件、网线) | 提供(同左) |
| 现场安装 | 承担 | 承担 | 承担 | 承担 | 承担 |
| 接线 | 承担 | 承担 | 承担 | 承担 | 承担 |
| 调试 | 承担(含国密算法调试) | 承担(含平台适配) | 承担(含成像参数与触发) | 承担(含测温参数) | 承担(含测温参数) |
| 校准 | 承担(算法测试向量核验) | 不适用(无计量项) | 承担(几何与成像一致性标定) | 承担(发射率标定与周期校准) | 承担(同左) |
| 系统联调 | 承担 | 承担 | 承担 | 承担 | 承担 |
| 整机质保期 | ≥12 个月 | ≥12 个月 | ≥12 个月 | ≥12 个月 | ≥12 个月 |
| 培训 | 承担 | 承担 | 承担 | 承担 | 承担 |
| 备品备件 | 按 1.2.10 节配置 | 按 1.2.10 节配置 | 按 1.2.10 节配置 | 按 1.2.10 节配置 | 按 1.2.10 节配置 |
| 对应单元 | 招标文件相应条款 | 相应条款 | 相应条款 | 相应条款 | 相应条款 |
「全套安装辅材、支架、线缆及配套配件」是一项范围性要求,不写清具体内容,实施时容易出现扯皮。我方按设备类别列明,列入供货清单并随合同附件确认。
机房设备(密码机、连接器):机柜导轨与固定件、理线槽与绑扎件、电源线(含两条接入不同配电回路)、千兆网线、光纤跳线与光模块、标签标识、机柜内盲板。
熔池相机(15 台):相机安装支架与调节云台、随机械臂安装所需的拖链与固定夹、防飞溅保护窗(含备件)、窄带滤光片组、主动近红外照明模块及其支架、以太网供电网线(工业级、耐弯折)、触发信号线与接线端子、接线箱、线缆保护管、现场标识。
热成像设备(27 台):安装支架与可调云台、防护罩、镜头保护窗(含备件)、吹扫装置及气路接头(需压缩空气的工位)、隔热安装件(靠近加热段的点位)、网线与 RS485 屏蔽线、接线箱、线缆保护管、现场标识。
上述清单中的易损件(保护窗、滤光片、吹扫滤芯)按 1.2.10 节配置备件量。清单在现场勘察完成后按实际点位数量核定,核定结果经招标方确认后作为供货依据;核定数量高于本节估算时由我方承担,不另行要价。
表 1.2-2 安装辅材、支架、线缆及配套配件供货清单
| 设备类别 | 供货内容 | 其中易损件 |
|---|---|---|
| 机房设备(密码机 1 台、连接器 3 台) | 机柜导轨与固定件、理线槽与绑扎件、电源线(两条分接不同配电回路)、千兆网线、光纤跳线与光模块、标签标识、机柜盲板 | — |
| 熔池相机(15 台) | 相机安装支架与调节云台、随机械臂安装的拖链与固定夹、防飞溅保护窗、遮弧挡板、窄带滤光片组、主动近红外照明模块及支架、工业级耐弯折以太网供电网线、触发信号线与接线端子、接线箱、线缆保护管、现场标识 | 防飞溅保护窗、滤光片 |
| 热成像设备(27 台) | 安装支架与可调云台、防护罩、镜头保护窗、吹扫装置与气路接头、隔热安装件、网线与 RS485 屏蔽线、接线箱、线缆保护管、现场标识 | 镜头保护窗、吹扫滤芯 |
安装作业分四步:定位、固装、接线、复位检查。
定位按《安装点位确认表》执行,该表在勘察阶段逐点位形成,内容含安装坐标、视场方向、与被测对象的距离、支架形式、线缆路径、接线箱位置、是否需要防护与隔热附件。定位结果在正式施工前经招标方设备管理与工艺岗位确认签字,避免装好之后因影响作业而拆改。
固装的原则是不改变设备本体结构与控制逻辑。支架优先采用抱箍、卡装或利用既有安装孔的方式;确需在设备或机架上开孔、焊接的,按招标文件第 10 章规定事先取得招标方同意并签字确认,并与设备原厂确认不影响保修条件。不具备安装条件的点位不强行施工,列入专项记录并提出替代方案。
接线的要点在焊接车间与热处理车间有所不同。焊接车间的核心问题是电磁干扰:焊接回路电流大,信号线若与焊接电缆平行敷设,干扰会直接体现为图像噪声与数据丢包。处理方式是信号线与焊接回路保持距离并交叉而非平行走线、采用屏蔽线并单端接地、以太网供电段尽量缩短。热处理车间的核心问题是高温与水汽:线缆需避开高温辐射区,必要时穿金属保护管并加隔热包覆;接线箱选在远离淬火区水汽的位置并保证防护等级。
复位检查指安装完成后恢复现场原有的防护、护罩与安全装置,并核对设备原有功能未受影响。该项由我方实施人员与招标方设备管理岗位共同签字确认,作为该点位安装完成的标志。
调试内容按设备分列。机房设备的调试见 1.1.6 节与1.1.7 节。现场感知设备的调试含四项。
成像与测温参数调试:熔池相机调试曝光、增益、滤光配置与照明功率,达到1.1.8 节的三项判据;热成像设备调试量程段、发射率参数组、反射温度、大气透过率、测温点线区模板与报警阈值。
时间同步调试:各设备接入统一时间源,核对设备时间戳与平台时基的偏差在约定范围内;熔池相机另需核对外触发信号与帧时间戳的对应关系。
取数通道调试:按软件开发工具包与 Modbus 两条路径分别取数,核对原始帧与逐像素温度数据可完整读取、数据格式与接口文档一致、断连后可自动重连并按缓存补传。
数据落地调试:由接入连接器采集通道接入设备数据流,核对数据按批次落地、随行元数据(设备编号、测温区域标识、发射率参数组、量程段、校准状态)齐全、批次登记与存证记录生成。
四项调试逐点位形成《单机调试记录》,内容含调试前后参数值、实测指标与遗留问题。
校准分两类,口径不同,须分开说明。
一类是设备计量校准,对象是热成像设备的测温准确度。按设备出厂标定与周期校准两级处理:出厂标定记录随设备交付;周期校准在质保期内由我方组织一次,采用经计量溯源的黑体辐射源比对,形成校准记录并标注有效期。校准超期的设备,其数据按 1.1.9 节的降级规则标注。
另一类是现场应用标定,对象是发射率参数组与成像一致性。发射率标定方法见 1.1.9 节。成像一致性标定针对熔池相机,内容是在同一标定靶条件下核对各台相机的几何畸变与灰度响应差异,使十五台设备采集的图像具备跨工位可比性——这一项对数据集很重要:若十五台相机的成像特性各不相同且未经标定,同一类缺陷在不同工位的图像上表现不同,模型学到的可能是工位特征而非缺陷特征。
两类校准的记录一并纳入设备台账,并随数据集的数据卡一并说明。数据卡的格式见标准规范与样例数据卡一节(【页码:A2】)。
实施分七个节点,示于图 1.2-1。图中每一节点标注输出物与确认方式,节点之间的依赖关系即为进度约束。
1.2-1 硬件实施流程与节点输出
图 1.2-1 数据来源:实施内容依招标文件 3.3.2 节服务要求;国密算法调试与平台适配节点依 3.2.5 节系统集成服务;设备本体改动需经招标方确认依第 10 章其它要求。
节点①现场勘察在订货前完成,是本流程中最不可压缩的一步。勘察输出的《安装点位确认表》决定了镜头焦距与视场选配、支架形式、线缆长度与辅材数量,这些都是订货内容的一部分;勘察不做在前面,订货就只能按估算来,到货后再发现镜头工作距离不匹配,返工代价远高于勘察成本。勘察需招标方安排车间进入许可、设备停机窗口与工艺岗位陪同,这一条列入第 2 章的招标方配合事项。
节点②的《硬件选型确认单》字段为:设备名称、拟选型号、关键参数逐项实测值或原厂标称值、原厂参数页与认证证书、交货周期、质保条款、与本节参数响应表的逐条对照结论。该单经招标方书面确认后方行订货(见 1.1.5 节)。
验收分到货验收、单机验收、联调验收三级,逐级不通过则不进入下一级。
到货验收核对四项:数量与型号与选型确认单一致;外观与包装完好;随机文件齐全(合格证、出厂标定记录、操作手册、软件开发工具包与接口文档、密码机另需《商用密码产品认证证书》);通电自检通过。四项中任一不符即拒收并记录。
单机验收按设备类别核对可实测项,判据列于表 1.2-3。表中「实测方法」一栏说明验收时的具体操作,避免以「查看资料」代替实测。
表 1.2-3 单机验收判据与实测方法
| 设备 | 验收项 | 判据 | 实测方法 |
|---|---|---|---|
| 服务器密码机 | 算法与性能 | 五类国密算法与国际算法运算结果与标准测试向量一致;各算法速率不低于响应值 | 按 GM/T 0018 接口逐算法调用并记录吞吐与速率 |
| 服务器密码机 | 冗余与端口 | 断开任一路电源业务不中断;4 电口 + 4 光口均可用 | 逐路断电测试;逐口连通性测试 |
| 接入连接器 | 硬件配置 | 中央处理器核数与主频、内存容量、磁盘容量与镜像状态、双电源冗余均符合响应值 | 系统命令读取并截图留存;逐路断电测试 |
| 接入连接器 | 十四项功能 | 每项功能可操作并产生对应记录 | 逐项操作一次并核对留痕 |
| 红外图像采集设备 | 分辨率与帧频 | 实际输出不低于 1280×960、50fps | 软件开发工具包取原始帧统计分辨率与帧率 |
| 红外图像采集设备 | 弧光抑制 | 1.1.8 节三项判据 | 实际焊接条件下三类焊道各采集不少于 30 秒并抽帧指认 |
| 红外图像采集设备 | 时间戳与触发 | 帧时间戳连续递增;触发信号与首帧时间偏差稳定在约定范围 | 起弧触发测试并比对日志 |
| 红外图像采集设备 | 防护与重量 | 防护等级证明不低于 IP65;整机重量不超过 500g | 查验原厂防护等级报告;现场称重 |
| 热成像设备(两类) | 测温范围与精度 | 覆盖规定量程;与参照手段比对偏差在响应值范围内 | 黑体源分段比对;现场与接触式测温比对 |
| 热成像设备(两类) | 热灵敏度 | 噪声等效温差不高于 50mK | 查验原厂测试报告并现场复核噪声水平 |
| 热成像设备(两类) | 全辐射数据流 | 可逐像素读取原始温度数据;修改发射率后温度可重算 | 软件开发工具包取数并做一次发射率重算 |
| 热成像设备(两类) | 测温点线区数量 | 高温型不少于 5 点 5 线 5 区;常温型不少于 5 点 10 线 10 区 | 现场配置至上限并核对可用 |
| 热成像设备(两类) | 协议输出与接口 | 软件开发工具包与 Modbus RTU/TCP 均可取数;RJ45 与 RS485 均可用 | 两条路径分别取数比对一致性 |
| 热成像设备(两类) | 报警输出 | 阈值可配置,报警数字量输出可被外部读取 | 设置阈值并触发一次,核对输出 |
| 全部感知设备 | 安装质量 | 固装牢固、视场无遮挡、线缆规范、防护恢复 | 现场检查并由招标方设备管理岗位签字 |
联调验收核对端到端链路:由设备采集的数据经接入连接器落入平台,随行元数据齐全,批次登记与存证记录生成,涉密字段经密码机加解密正确。联调验收的通过标志为连续运行一段约定时长(建议不少于 72 小时)内数据连续、无异常中断,并形成《联调验收报告》。该报告的签署日为质保起算日(见 1.2.9 节)。
表 1.2-4 列出三级验收的核对内容与通过标志。
表 1.2-4 三级验收的核对内容与通过标志
| 级别 | 核对内容 | 参与方 | 通过标志 | 不通过的处置 |
|---|---|---|---|---|
| 到货验收 | 数量与型号、外观与包装、随机文件齐全性、通电自检 | 我方实施人员与招标方设备管理岗位 | 《到货验收记录》双方签字 | 拒收并记录,按 1.1.5 节回退路径处理 |
| 单机验收 | 表 1.2-3 逐设备可实测项;安装质量与现场复位 | 我方实施人员、招标方设备管理与工艺岗位 | 《单机调试记录》与《单机验收记录》双方签字 | 返工后重新验收,返工不计入质保期消耗 |
| 联调验收 | 端到端取数、随行元数据齐全性、批次登记与存证、涉密字段加解密、连续运行不少于 72 小时 | 我方实施人员、招标方信息化与工艺岗位 | 《联调验收报告》双方签字,该日为质保起算日 | 按 1.2.8 节三种情形分别处置 |
验收不通过分三种情形,处置方式不同。
参数不符:若实测参数低于响应值,按 1.1.5 节的回退路径处理,即同档次更换型号并重新报请确认,由我方承担更换费用与工期影响。
安装或调试质量问题:由我方返工,返工不计入质保期消耗,返工后重新验收。
现场条件不具备:例如某一工位因遮挡无法获得有效视场、因空间限制无法安装支架、因原厂接口未开通无法取得触发信号。此类情形不由单方认定,处置程序为:我方出具现场条件说明与两套以上替代方案(改变安装方式、改变视场方案、降级绑定粒度),与招标方共同评估后形成书面结论;结论为降级实施的,该点位对应的数据在数据集中标注实际采集条件与绑定粒度,相关场景验证项按粗粒度结论处理并在验证报告中说明。本节不预先把任何点位排除在交付范围之外,但也不以「已安装」等同于「数据可用」——数据可用性以联调验收的实测结果为准。
质保期为整机不少于 12 个月。起算点按设备通过联调验收并经招标方书面确认之日起算;分批到货的设备按批次分别起算,并在质保台账中逐台登记起算日与到期日。因招标方原因导致安装或验收延迟的,质保起算点相应顺延,顺延以书面确认为准。
质保期内服务内容:设备本体故障的检修与更换、因安装质量导致的问题返工、成像与测温参数的重新调整、发射率参数组复标、一次周期校准、固件升级与软件开发工具包版本适配。上述内容不另计费。
响应安排按故障影响程度分级。表 1.2-5 列出分级口径与响应时限。时限的起算点为招标方通过约定渠道提出故障通知并经我方确认受理之时。
表 1.2-5 质保期内故障分级与响应时限
| 级别 | 判定口径 | 响应方式 | 响应时限 | 修复目标 |
|---|---|---|---|---|
| 一级 | 服务器密码机不可用,导致平台涉密字段读写受阻 | 远程响应并同步启动现场支援 | 2 小时内响应 | 24 小时内恢复或启用降级方案 |
| 二级 | 接入连接器单台故障,或同一车间三台以上感知设备同时失效 | 远程响应,必要时现场处理 | 4 小时内响应 | 48 小时内恢复 |
| 三级 | 单台感知设备故障或数据质量异常 | 远程诊断,按计划安排现场处理 | 8 小时内响应 | 5 个工作日内恢复 |
| 四级 | 参数优化、标定复核、使用咨询 | 远程支持,纳入月度现场服务 | 1 个工作日内响应 | 按约定计划完成 |
上表时限为我方承诺值,留有余量。一级故障的 24 小时恢复目标含启用降级方案一项。密码机不可用时平台进入涉密字段只读并排队,业务不中断但相关写入暂停,待设备恢复后补齐;这一降级路径的实现见非功能性技术要求一节(【页码:T11】)。
质保期满后的延续服务(含年度服务内容与计费口径)属售后服务方案范围,见售后服务方案一节(【页码:S2】)。本节不提出年度服务费比例,以避免与该节口径不一致。
备件配置按两条原则:易损件按年耗量备足,核心件按关键点位备用。
易损件(随质保期供货,不另计费):熔池相机防飞溅保护窗按每台 2 片配置,共 30 片;热成像镜头保护窗按每台 1 片配置,共 27 片;吹扫滤芯按配置吹扫的点位数量每点位 2 件;现场线缆与接线端子按总长度的百分之五备料。
核心件(质保期内备用,用后补齐):熔池相机整机备件 1 台、热成像设备整机备件 1 台(按量程分别备 1500℃ 与 650℃ 各 1 台)、接入连接器关键部件(固态盘、电源模块)各 1 套、密码机电源模块 1 套。整机备件的作用是在单台设备故障时先行替换、保证采集连续性,故障机返厂维修后归还备件池。
备件清单与存放位置在实施阶段与招标方确认,存放于招标方指定场所并建立领用台账。
培训对象分两类,内容与课时分别设置。
设备操作与日常点检培训,对象为热处理与焊接车间的设备管理与工艺岗位人员,内容含设备功能与界面操作、日常点检项目(镜头窗口清洁、视场遮挡检查、指示状态确认)、常见异常的现场判别与处理、报修流程。采取集中讲解加现场实操方式,按车间分别组织。
数据与标定培训,对象为招标方信息化与计量岗位人员,内容含取数接口与数据格式、随行元数据的含义、发射率参数组的管理与复标流程、校准记录的维护、数据降级规则的理解与使用。这一部分的意义在于把数据可信度的管理交给招标方自己掌握,而不是依赖我方长期在场。
培训教材、考核与记录归档随项目培训计划统一组织,见售后服务方案一节(【页码:S2】)。
硬件在实施期的风险与应对措施列于表 1.2-6,按发生可能性与影响程度排序,均为可在实施期观察与处置的具体事项。
表 1.2-6 硬件实施风险与应对
| 序号 | 风险 | 影响 | 应对措施 | 残余风险处理 |
|---|---|---|---|---|
| 1 | 现场勘察无法按期进入(停机窗口、进厂许可未批) | 订货内容无法确定,镜头选配与辅材数量只能估算,到货后返工 | 勘察需求在合同签订后五个工作日内提出,含所需停机窗口时长与陪同岗位;勘察分批进行,先完成机房与可进入工位 | 未能勘察的工位按通用配置订货并预留可调镜头与可调支架,到货后现场适配 |
| 2 | 设备原厂接口未开通(机器人程序段事件、群控系统取数) | 影像与参数的焊道级绑定不成立,绑定粒度降级 | 按 1.1.8 节双路径设计,主路径用程序段事件、兜底路径用扫码启停与起弧收弧事件 | 绑定粒度降为焊缝级并在数据中标注;接口开通后按同一接口规范接入并重算 |
| 3 | 发射率标定偏差导致温度数据不可比 | 温度类分析结论失真,跨批次比较基线污染 | 标定在真实工况下完成并定期复标(1.1.9 节);每条数据携带参数组标识与复标时间 | 标定状态不明或校验超期的数据降级标注为数据级,不进基线 |
| 4 | 焊接工位弧光与飞溅导致镜头窗口快速污染 | 采集连续性下降,出现无人察觉的数据空白 | 配防飞溅保护窗与遮弧挡板;保护窗列为易损件按每台 2 片配备;日常点检含窗口清洁;在线状态与图像质量纳入监测 | 污染频次高于预期的工位调整安装角度或增配吹扫,相应提高备件量 |
| 5 | 原厂停产或参数改版导致选定型号不可供 | 供货延期或参数偏离 | 按 1.1.5 节三条回退路径处理,同档次更换并重新报请确认 | 不可行时按不低于原要求的替代配置报请确认,参数下限不变 |
| 6 | 机房网络与机柜条件未就位 | 机房设备无法上架调试,国密调试与平台适配延后 | 接入需求清单提前十个工作日提交(2.2 节);机房设备列第一批实施,与平台建设同步 | 条件未就位时先完成设备到货验收与离线初始化,待条件具备后上架 |
| 7 | 熔池相机原始帧带宽超出车间网络能力 | 数据上传拥塞或丢帧 | 按触发分段采集与工位侧缓存分时上传(2.2 节);采集时长与上传策略按实测带宽确定 | 带宽仍不足时降低采集占空比并优先保证打底与盖面焊道,策略变更记录入批次 |
| 8 | 安装涉及设备本体改动未获许可 | 该点位无法按设计安装 | 支架优先采用非侵入方式(抱箍、卡装、利用既有安装孔);需开孔焊接的事先报批并与原厂确认保修 | 未获许可的点位出具替代方案并共同评估,按 1.2.8 节程序形成书面结论 |
| 9 | 停机窗口被生产任务挤占导致安装进度滞后 | 第二、三批实施延期 | 分批试点、单工位施工时长控制在一个窗口内完成;准备工作(支架预制、线缆预截、接线箱预装)在窗口外完成 | 窗口不足时按工位优先级调整顺序,优先完成验证所需的试点工位 |
| 10 | 质保期内备件供应周期长 | 单台故障后恢复超时 | 配整机备件先行替换(1.2.10 节),故障机返厂维修后归还备件池 | 备件被占用期间提高响应等级并与招标方商定临时方案 |
风险一与风险九有共同根源,都指向停机窗口这一稀缺资源。我方的处理原则是把需要窗口的作业压缩到最少:勘察、支架预制、线缆预截、接线箱预装、参数预配置都在窗口外完成,窗口内只做固装、接线与通电确认。按此安排,单个焊接工位的窗口内作业时间可控制在数小时量级,单台淬火机床视安装条件而定。具体时长在勘察后给出,并作为实施计划的输入。
招标文件规定:本项目涉及的网络建设工作由招标方负责(硬件安装部分除外),不影响项目系统上线。据此,网络侧的交换机、路由、防火墙、链路、地址规划与安全域划分由招标方承担与建设;我方承担所采购硬件的安装侧工作,含设备本体安装、至就近网络接入点的线缆敷设与接线,并就硬件接入所需的网络条件提出需求清单与实施方案。界面逐项列于 2.1 节,我方在硬件安装侧的网络方案见 2.2 节。
网络建设由招标方负责、硬件安装部分除外,这一条划定的是大的归属;真正影响工期的,是每一项现场条件在哪一点交接、交接处以什么为凭。十二项事项并非按专业罗列,而是沿设备进场、上架、接电、接网、走线、固定、标定、交还生产的实际工序反推而得——工序每遇到一处须由对方先行具备的条件,即成一项;凡单方无法独立完成的事项,如停机窗口、进厂与作业许可、既有设备的原厂配合,按谁掌握资源谁承担归位。
中间两列是责任归属,末列「交界点」是判据:每一行都落到一个可当场指认的位置或可签署的凭证——机柜 U 位、交换机端口、配电箱出线端、作业票、时间服务地址,责任至此为止、自此接手,不以专业名义含糊其词。其中车间网络接入点与停机窗口两行最需先行确认,前者决定线缆敷设的工程量与以太网供电预算,后者直接约束安装窗口与复产时点。
逐项落实后,硬件安装侧的工作有明确的起止与验收凭证,网络建设与硬件安装可并行推进而互不阻塞,实施期也不致出现「网线归谁拉」一类争议影响进度;各交界点的确认结果在勘察阶段形成书面件,并作为现场安装与三级验收的输入。
表 2-1 网络与现场配套条件的界面划分
| 事项 | 招标方承担 | 我方承担 | 交界点 |
|---|---|---|---|
| 机房机柜与机位 | 提供机柜空间、机位与承重条件 | 设备上架、导轨安装、理线 | 机柜 U 位 |
| 机房供电 | 提供双路配电回路与插座 | 设备电源线接入 | 机柜 PDU 插座 |
| 机房网络 | 提供交换机端口、地址规划、安全域与访问策略 | 设备侧网口配置、跳线连接 | 交换机端口 |
| 车间网络接入点 | 提供至各安装区域的网络接入点(交换机或接入箱),含以太网供电预算与端口数量 | 自接入点至设备的线缆敷设、接线、标识 | 车间接入箱/交换机端口 |
| 车间供电 | 提供安装区域的电源接入点 | 自接入点至设备的供电接线(非以太网供电点位) | 车间配电箱出线端 |
| 桥架与管路 | 提供既有桥架使用许可;需新增主桥架时由招标方统筹 | 自桥架至设备的分支保护管、线槽与固定件 | 既有桥架分支点 |
| 压缩空气(吹扫) | 提供气源接入点与压力条件 | 自接入点至设备的气路管件与吹扫装置 | 气源接口 |
| 设备本体安装条件 | 既有设备的安装许可、原厂配合、保修条件确认 | 支架设计、固装施工、复位检查 | 设备安装面 |
| 停机窗口 | 安排生产停机窗口与作业许可 | 按窗口组织施工并按时交还 | 作业票 |
| 进厂与安全 | 进厂许可、安全教育、动火与高处作业许可 | 施工人员资质、工具与个人防护、安全措施落实 | 作业许可 |
| 时间源 | 提供网络时间同步服务 | 设备侧时间同步配置 | 时间服务地址 |
| 计量参照手段 | 提供既有接触式测温与计量校验记录 | 标定操作与记录 | 计量记录接口 |
网络建设虽由招标方负责,硬件接入所需的网络条件须由我方给出可施工的输入。以下三项即我方在硬件安装侧的网络方案,均在勘察阶段形成书面件交招标方。
一是接入需求清单。勘察阶段输出各安装区域所需的网络接入点数量、端口类型、以太网供电预算(按每台熔池相机的供电等级计算单交换机的供电总额)、带宽估算(熔池相机输出未压缩原始帧,带宽需求显著高于一般网络摄像机;按分辨率、帧率与位深估算单台峰值带宽,并提出是否需在工位侧做缓存与分时上传)、地址数量与安全域归属建议。清单在勘察完成后十个工作日内提交。
二是带宽与存储的削峰方案。十五台熔池相机若同时以 50fps 输出原始帧,瞬时带宽相当可观。我方的处理方式是不做长时连续录制,而按外触发分段采集:以起弧为触发点录制焊接过程片段,焊接间隙不采集;同时在工位侧做本地缓存,按网络空闲时段分时上传。这一方式既降低峰值带宽,也避免产生大量无内容的空帧数据。采集时长、触发条件与上传策略在调试阶段按实际带宽条件确定并记录。
三是网络异常时的本地留存。网络中断时,设备侧与工位侧缓存按约定时长留存数据,恢复后按时间戳补传并标注补传标识。缓存容量按断网 24 小时的采集量估算配置。
本项目同时涉及矿山装备制造的现场业务与数据集加工生产两套专业语汇,同一个词在两边的所指并不相同:批次在生产现场指一次投料或一次装炉,在数据集生产中指一组具有唯一标识、可关联到采集与交付记录的受理数据。用词不统一,质量检查的判据、验收的计量口径与争议时的裁定对象就会落在不同的事物上。以下两表确定全卷的用词取值,实施期按同一取值执行,不因章节或交付文件不同而改变。
表 0-1 收录招标方现行信息系统与管理制度中的既有简写,释义以招标文件原文与现用命名为准,不另行改译;凡本投标文件正文出现该简写,即按本表释义理解。
表 0-1 术语定义
| 序号 | 简写名称 | 释义 |
|---|---|---|
| 1 | 天地奔牛 | 宁夏天地奔牛实业集团有限公司 |
| 2 | Token | 词元,大模型处理文本的最小单位 |
| 3 | ERP | 企业资源计划 |
| 4 | MES | 制造执行系统 |
| 5 | QMS | 质量管理系统 |
| 6 | WMS | 仓储管理系统 |
| 7 | LMS | 物流管理系统 |
| 8 | EAM | 设备资产管理系统 |
| 9 | OA | 办公自动化系统 |
| 10 | CRM | 客户关系管理系统 |
| 11 | SCM | 供应链管理系统 |
| 12 | SOS | 售后服务管理系统 |
| 13 | SCADA | 数据采集与监控系统 |
| 14 | IIoT | 工业物联网平台 |
| 15 | MDM | 主数据管理系统 |
| 16 | ESB | 企业服务总线 |
| 17 | WCS | 仓库控制系统 |
| 18 | WMS-APP | 仓储管理系统移动端 |
| 19 | PDA | 手持终端 |
| 20 | RBAC | 基于角色的权限访问控制 |
| 21 | SSL 协议 | 安全套接层协议 |
| 22 | 6S | 整理(SEIRI)、整顿(SEITON)、清扫(SEISO)、清洁(SEIKETSU)、素养(SHITSUKE)、安全(SECURITY)六个项目 |
| 23 | RFID | 射频识别 |
| 24 | AGV | 自动引导搬运车 |
| 25 | PMP | 项目管理专业人士 |
| 26 | PgMP | 项目集管理专业人士 |
| 27 | RPA | 机器人流程自动化程序 |
| 28 | PPT | 演示文稿 |
| 29 | CRON 表达式 | 一种时间表达式,用于指定定时任务的时间规则 |
表 0-2 收录数据集加工生产的专有术语,释义依据招标文件用户需求书的用词、现行数据质量评测标准与本方案的生产链路设计确定。其中批次、数据集版本、质量检查节点、定向回流四条是后文质量论述的承重词:质量检查在哪一级对象上放行、血缘追溯追到什么粒度、整改要求退回到哪一道加工环节,均以这四条的定义为准。
表 0-2 数据集生产术语定义
| 术语 | 释义 |
|---|---|
| 业务域 | 按照业务对象、业务活动及管理职责划分的数据组织单元。 |
| 用途子集 | 按照模型使用目的划分的数据子集,包括预训练、有监督指令微调、人类偏好对齐和基准评测。 |
| 批次 | 具有唯一标识的一组受理数据,采集、加工、质量检查和交付记录通过该标识关联。 |
| 数据集版本 | 具有唯一版本标识,经质量检查和场景验证后冻结的数据成果及其配套交付文件。 |
| 数据卡 | 记录数据集来源、组成、规模、模态、时间范围、加工过程、质量结果、适用用途和使用限制的交付文件。 |
| 质量检查节点 | 设置在数据生产流程中的检查环节,依据质量规则判断数据是否符合进入后续工序或交付的条件。 |
| 定向回流 | 依据质量检查结论、场景验证结论与错例归因结果,结合数据血缘定位受影响的来源、环节、批次与算子,将修订要求送回相应加工环节执行补采、重标或重切,并对处理结果及其下游成果重新检查与验证。 |
面向矿山装备制造领域,建设数据加工生产及运营服务能力,汇聚供需计划、产品工艺设计、制造过程和产品质量业务数据,开展数据治理、标注、合成、增强、质量检查和验证,形成可追溯、可训练、可评测、可交付的数据集。建设专项智能工具链和数据集运营服务管理平台,实施系统集成、训练推理技术服务、场景验证及配套保障,支持数据资源持续更新、质量改进和合规使用。
围绕专业数据供给、标注规则一致性和场景适配开展数据资源调查、治理加工及验证。调查数据来源、业务对象、保存形式、覆盖时间、更新机制和授权条件,形成资源清单;建立标签体系、标注规则、复核及争议处理流程,形成可执行的标注规范;逐场景明确数据需求和验证条件,形成测试用例、验证记录及整改成果。
对历史业务记录、设备过程数据、图纸和工艺文件开展数据盘点,核查覆盖时间、文件数量、有效版本、审核状态、关键字段及保存完整性。图纸与工艺卡按图号、版本、产品或零部件标识建立候选关联,复核变更记录和签发状态后确认配对关系;无法唯一匹配的记录列入异常清单,交由业务人员确认,未经确认不得作为配对监督样本。
选型方案抽取工况、需求、配置及校核结果;焊接数据关联工件、焊缝、焊道和工艺任务;热处理数据关联炉次、工件、材料批次和检验结果;故障数据关联设备、事件时间、诊断和维修记录。对缺失关联分别制定数据补充、编码映射或人工复核措施,保存原始证据、处理记录和关联置信状态。
建立跨系统业务对象标识及映射关系,记录对象类型、统一标识、来源系统、源记录主键、映射依据和规则版本。对一对多、多对一及无法匹配的记录设置复核流程,不覆盖原始主键。统一数据时间格式和时区,分别保留业务发生时间、系统记录时间、采集时间及修正依据。完成关联完整性、唯一性和时间一致性检查后,将合格数据纳入相应数据集;原始数据缺失或粒度不足的,按场景需求组织补采并保留来源记录。
表 1-1 对象标识映射登记表的字段、取值规则与校验方法
| 字段 | 含义 | 取值规则 | 校验方法 | 不合格处置 |
|---|---|---|---|---|
| 统一对象标识 | 跨系统唯一标识一个业务对象 | 按对象类型分段编码,同一对象在各系统中对应同一标识 | 唯一性校验、重复标识比对 | 重复或冲突的挂起,经业务确认后合并或拆分 |
| 对象类型 | 工件、工单、焊缝、焊道、炉次、材料批次、检验批、设备、部件、物料、合同等 | 取自知识本体发布版本的类目 | 与本体版本的类目清单逐项比对 | 类目缺失的提交本体变更申请,审批后补入 |
| 来源系统 | 该条映射记录的数据来源 | 取自数据源登记台账的数据源编号 | 与台账逐条核对 | 未登记来源的记录不予建立映射 |
| 源记录主键 | 来源系统中该记录的主键值 | 原值保存,不覆盖、不改写 | 回源抽样核对 | 回源查不到的标记为失效,暂停使用 |
| 关系类型 | 等同、从属、派生、关联 | 按关系字典取值 | 关系闭合性与方向性校验 | 关系成环或方向矛盾的转人工裁定 |
| 业务发生时间 | 业务事件的发生时刻 | 与系统记录时间、采集时间分别保存 | 与工单执行记录、设备事件比对 | 时间缺失或超出合理区间的进入复核队列 |
| 时区与时间精度 | 时间字段的时区与精度 | 统一记录时区、精度与同步状态,保留原始值 | 抽样复算时间换算结果 | 换算依据缺失的不纳入时序敏感样本 |
| 映射规则版本 | 生成该条映射所用规则的版本号 | 规则发布后绑定,加工过程中不切换 | 与规则库发布记录比对 | 版本不一致的重新执行映射 |
| 映射依据 | 建立该映射所依据的资料 | 记录资料名称、版本与条目位置 | 抽查依据资料的有效性 | 依据缺失的降为待确认,不进入样本构建 |
| 关联置信状态 | 映射成立的把握程度 | 按依据强度分档记录,低于阈值的转人工确认 | 人工抽样复核,统计复核通过率 | 低于阈值且复核未通过的不计入有效映射 |
| 审核状态 | 待审、通过、驳回 | 通过后方可被下游引用 | 审核记录完整性检查 | 未通过的不对下游开放 |
| 生效与失效时间 | 映射关系的有效区间 | 对象发生变更或拆并时登记失效时间 | 区间重叠与断档检查 | 区间冲突的按业务确认结论修订 |
逐系统核对产品、物料、设备、工序及缺陷等对象的代码、名称、定义和使用范围,建立编码映射与差异清单。对工艺卡记录与实际执行记录开展对应检查,识别工序名称、粒度和顺序差异,形成经业务审核的转换规则。焊缝缺陷保留原始描述,增加规范化缺陷类别、部位、程度、检测方法及关联工艺参数。设备报警关联故障诊断和维修证据,区分未确认报警、已确认故障和误报,未经核验不得直接用作故障标签。
标注作业启动前,完成标签体系、标注粒度、标注规则、一致性检查方法和返工条件的编制、评审及发布。每项标签记录定义、适用对象、判定依据、正反例、排除条件和歧义处理方法。标注人员使用同版本规则开展试标,复核结果达到质量要求后进入批量作业。规范未覆盖的对象暂停标注,登记问题并提交业务专家裁决;规则修订后确定受影响样本范围,组织补标或复标。标注、复核、裁决及返工记录关联样本标识、人员、时间和规则版本。
选型数据按使用工况、技术需求、设备配置、计算条件、校核过程和结论组织,保留公式、参数单位、适用范围和专业审核记录。工艺设计数据建立图纸特征与工艺路线、工序参数、工装及检验要求的关联,区分现行、变更和作废版本,记录可复用条件及限制。库存数据保留物料、批次、库位、收发存、订单需求、在途状态和成本期间,分别形成数量与金额指标,支持按物料、项目、时间和业务原因开展分析及场景验证。
建设供需计划、产品工艺设计、制造过程和产品质量四类数据集,每类分别形成预训练、有监督指令微调、人类偏好对齐和基准评测子集。样本记录来源系统及业务对象,按场景、产品类别、部件族、时间和质量状态进行分层统计,识别覆盖不足、分布失衡及重复样本。训练配比和采样规则经实验验证后版本化保存;基准评测子集独立管理,执行跨子集重复检查和隔离控制。
图 1-1 数据关联、标注与验证流程
供需计划、产品工艺设计、制造过程和产品质量数据分别开展来源识别、业务对象核验、数据粒度分析和关联关系建设。对每类数据记录业务主管部门、来源系统、对象标识、关键字段、保存形式、时间范围及更新方式,明确采集任务、加工规则、质量检查和问题处理责任。资源调查结果经业务确认后纳入数据目录,变更时同步更新关联规则和加工任务。
表 1-2 业务数据来源与加工要求
| 业务领域 | 数据来源及对象 | 加工处理 | 质量核验 | 交付规模 |
|---|---|---|---|---|
| 供需计划 | CRM 项目与商机,ERP 需求计划和库存账,SCM 采购计划与履约,WMS 实物库存和批次,LMS 运输记录,历史选型文件 | 建立客户、项目、物料、订单与批次关联;抽取选型需求、配置和校核记录;统一时间字段,分别计算库存数量与金额指标 | 检查授权、关键字段、对象匹配、时间一致性、数量平衡和方案审核依据 | 预训练 276 亿 Token;指令微调 40 万条;偏好对齐 3.2 万组;基准评测 0.4 万条 |
| 产品工艺设计 | PLM 产品结构、零部件、图纸、工艺卡片和变更记录,工序字典及工艺规程 | 校验文件版本与有效性;建立图纸、零部件和工艺卡片关联;抽取尺寸、材料、工序、参数及检验要求 | 检查图文对应、版本一致、配对有效、参数单位和工艺规则;不确定关联转人工复核 | 预训练 70 亿 Token;指令微调 10 万条;偏好对齐 0.8 万组;基准评测 0.1 万条 |
| 制造过程 | MES 工单和工序记录,SCADA 及工业物联网平台过程数据,热处理炉次及温控记录,EMS 能耗数据,设备运维记录 | 关联工单、设备、工件、焊道、炉次及材料批次;处理时间同步、缺失、异常和重复;标注过程事件与工况 | 检查采样粒度、时钟偏差、事件关联、计量单位、序列连续性及异常处理记录 | 预训练 105 亿 Token;指令微调 15 万条;偏好对齐 1 万组;基准评测 0.2 万条 |
| 产品质量 | QMS 检验及质量记录,检测报告、图像和附件,无损检测、硬度检测、售后及维修记录 | 规范缺陷类别、部位、程度和检测方法;关联工艺参数、材料批次、检验对象及维修事实 | 检查检验依据、结论一致性、附件可读性、缺陷定位和证据关联;区分报警与确认故障 | 预训练 164 亿 Token;指令微调 24 万条;偏好对齐 1.6 万组;基准评测 0.25 万条 |
各领域、各用途子集分别计量验收,不用一个领域的超额数量抵补另一领域。
汇聚 CRM 的客户、商机、报价、合同、订单、回款记录,以及获准使用的招投标文件、资质文件和业绩合同;接入 ERP 的组织、人力、物料、采购、销售订单、成本核算、应收应付、凭证、资产及资金数据;接入 SCM 的供应商档案与评估、采购计划与订单、订单下达、供货履约和付款计划;接入 WMS 的仓库、库区、货位、物料、批次及出入库单据;接入 LMS 的物流需求、运单、调度、装卸、取货、送达和运输时间数据。
对历史选型方案建立文档目录,记录项目、客户需求、产品配置、方案版本、审核状态及文件校验值。各数据源在采集前确认字段范围、访问权限、更新机制和责任人;个人、财务及商业敏感信息按授权范围和分类分级策略处理。
库存关联数据分别保留合同签订、需求计划、核算期间、实物收发和运输事件的时间字段,禁止将不同业务含义的时间直接替换。按确定的统计截止时点生成库存快照,记录在途、在库、占用、冻结和已消耗状态。数量指标使用实物计量单位和批次明细,金额指标关联成本期间、计价规则和财务记录。
以销售合同、施工令号、生产批次、客户、供应商和物料标识关联供需计划、库存实物流与资金记录。设置数量平衡、单据衔接和时间顺序校验,对未达账、延迟记账、单位转换及跨期业务分别登记差异原因、处理依据和复核结果,支持库存指标的多维追溯。
历史选型方案按需求条件、产品配置、参数校核、审核结果和后续使用记录组织。将验收、售后工单、故障与维修记录及获准使用的运行反馈关联至方案版本,记录反馈来源、时间、适用条件和可靠性。缺少使用效果证据的方案保留其需求与配置关系,并标明可用于的任务类型;不得补写未经证实的效果标签或将专家推断标记为实际运行结果。
库存样本保留指标计算明细及业务关联,支持按合同、施工令号、批次、客户和供应商追溯超龄、滞留及结构异常的原因。偏好对齐样本在相同需求条件下组织候选配置,按安全约束、适配程度、技术校核、交付条件及可用效果证据开展专家比较,形成排序或成对偏好标签。保存评价依据、专家复核记录和分歧裁决结果;证据不足、条件不可比或存在关键约束冲突的样本不进入合格偏好子集。
建立各系统时间字段的语义映射,分别保存业务发生、单据创建、审核、记账、采集和运输事件时间。库存分析采用明确的统计截止时点和状态转换规则,对延迟记录、补录、冲销及跨期事项保留修正记录。实物数量与库存金额分别计算并保留关联明细,差异通过单据、批次、计价及时间因素逐项核验。
选型效果评价关联验收记录、售后工单及运行反馈,由专家按明确的评价规则开展复核。样本注明评价属于实际测量、历史记录核验或专家判断,记录证据来源、适用工况、评价人员、时间及规则版本。专家评定的偏好标签单独标识;缺乏支持证据的效果结论不写入合格样本。
接入 PLM 的 BOM 编号、工序、变更记录和零部件信息,以及选型方案、工艺图纸、CAD 图纸和工艺卡片。建立文件目录及元数据,记录图号、版本、零部件标识、文件类型、审核状态、签发日期、变更关联和校验值。依据图号、零部件及变更版本生成图纸与工艺卡候选配对,核对业务关联和有效状态后形成配对样本;多候选、版本冲突和缺失文件进入人工复核,保存判定依据。
建立图纸与工艺卡关联表,记录源文件标识、图号、零部件标识、图纸版本、工艺卡版本、匹配方法、复核状态及证据位置。对工艺卡工序名称与执行记录开展比对,按有效工序字典建立映射,保留原始表述、标准代码及差异原因。
原生 CAD 文件与扫描文件分别处理:原生文件提取图元、图层、尺寸标注和文本,扫描文件开展图像质量检查、版面识别和文字抽取。区分现行、历史、作废和变更中版本,关联变更通知及生效时间;训练样本标明版本用途,不将不同版本内容拼接成同一有效工艺。
工艺设计样本建立图纸特征、工序序列和工艺卡字段的关联。图纸特征包括形状、尺寸、材料、公差及技术要求;工序记录包括工序代码、顺序、加工参数、设备、工装和检验要求;工艺卡字段记录值、单位、来源位置及审核状态。逐样本检查特征到工序、工序到卡片的对应关系,确认前后版本一致、关键字段完整、单位正确及技术约束满足要求。配对缺失、关联冲突或专业复核不通过的样本进入整改流程。
按图号、零部件编号和变更版本建立图纸与工艺卡关联,记录匹配规则、冲突情况和人工复核结论。工序分类使用工艺主管部门审核发布的字典,记录代码、名称、适用范围和版本;卡片记录与实际执行记录存在差异时,保存双方原值、差异类型、确认依据和处理结果。
原生图纸采用图元、图层和标注解析,扫描图纸采用图像预处理、版面识别与文字抽取。对关键尺寸、公差、材料和工艺参数执行规则校验及人工复核;低置信度、无法解析和规则冲突的内容进入问题队列,纠正后重新检查。先以代表性样本完成解析、配对、标注和质量验证,再按照生产计划扩大处理规模。
接入 MES 的焊丝牌号、焊丝直径、生产工单、工序及生产进度记录,接入 EAM 的设备台账、设备档案、点检记录、维修工单和作业计划。通过设备标识、工单标识和作业时间建立业务记录关联,核验字段类型、计量单位、时间语义及更新方式,保留来源记录主键和采集批次。
通过 SCADA 接入设备电流、电压、温度、湿度、运行状态及焊接电流、电压、送丝速度、气体流量等过程数据;通过热处理群控系统接入设定与实测温度、电流、电压、加热和冷却时间、冷却水及淬火介质温度等数据;通过 EMS 接入能耗监测和统计数据。
逐设备登记测点、采样周期、量程、单位、数据质量标识和时钟来源,执行连通性、取值范围、时间连续性及异常状态测试。将通过核验的测点纳入采集任务;未接通、缺测或精度不满足要求的测点列入整改清单,完成联调和复测后启用。
天地奔牛现有 15 台焊接机器人,通过 SCADA 系统采集电流、电压、温度和速度等过程参数。对既有采集通道核验设备标识、测点配置、采样周期、时间同步和数据完整性,建立设备、工单、工件及焊道的关联,扩展参数数据与熔池影像、温度数据和检测结果的联合处理能力。
以工件、焊缝和焊道为对象关联焊接过程数据。关联记录包含设备标识、工单、工件标识、焊缝及焊道编号、工艺版本、作业起止时间、参数序列和检测结果。根据作业事件及时间窗口生成候选关联,再结合任务切换、工件流转和工艺记录核验;同一时段存在多工件或多道焊接时,无法唯一确认的数据进入人工复核。保留关联规则、时间偏差、缺失片段和复核结果,支持同类焊道在不同工况下的参数及质量比较。
建立热处理炉次、工单、工件、材料批次和检验结果的关联。记录工艺类型、设定参数、实测曲线、装炉信息、作业起止时间及温度测量条件,关联外观、硬度和其他质量检测记录。逐炉次核验工件清单、过程时间窗口、材料批次及检测对象,检查缺测、重复、错配和版本冲突。无法确认关联的数据保留原始记录并进入业务复核,不以时间相近直接认定同一处理对象。
配置 15 台红外图像采集设备获取焊接熔池影像,配置 6 台在线高温热成像设备用于热处理加热过程测温和图像采集,配置 21 台在线热成像设备,其中 6 台用于热处理淬火后测温和图像采集,15 台用于焊接前温度测量。设备安装后完成测量范围、精度、发射率及环境补偿参数设置,开展校准、时间同步、接口联调和样本核验,记录设备与工位、工件及作业任务的关系。
图像与温度数据保留采集时间、设备标识、测量区域、配置版本和质量状态。工单数据同时保留实际作业与报工时间,使用任务事件及经核验的时间窗口关联过程数据;存在延迟报工时记录偏差依据,不覆盖原始时间,不以固定偏移量代替逐任务核验。
热处理样本关联炉次工艺曲线、工件及材料批次、工艺参数、外观检测和硬度结果,支持工艺条件与质量表现的关联验证。焊接样本关联焊道级参数序列、熔池影像、测温数据和缺陷检测结果,保存多模态同步关系、缺陷位置及专业复核依据。设备诊断样本关联工况片段、报警事件、故障诊断、维修工单和复查结论,用于诊断规则与模型的离线回放及效果比较。各类样本记录有效时间范围、数据完整性、关联可信状态和不适用条件,关联未确认的样本不得作为确定性监督标签。
按炉次、工件、焊缝、焊道和工单建立过程档案,关联设备、材料、工艺版本、过程参数、图像及质量结果。新增感知设备完成安装、校准和联调后,以代表性设备和任务开展试采,检查覆盖范围、时间同步、质量状态及业务关联,再按实施计划完成全部配置设备的接入和验证。
时序数据保留原始采样时间及周期;工单保留实际作业与报工事件。对时钟偏差、传输延迟和业务补录分别识别、记录和修正,修正前后数据及规则可追溯。跨模态关联设置时间容差和事件校验,超出条件的数据转人工复核,禁止无依据补齐或强行配对。
接入 QMS 的制程检验、进厂检验、出厂检验、成品检验和质量台账,以及质量报告、检验数据、产品质量档案和质量知识资料。接入 SOS 的设备健康状态时序数据、运维计划、报警处置、售后工单和备件消耗记录,以及设备档案、维修记录、诊断报告和故障案例。
以产品、设备、工件、批次、检验单和服务工单建立数据关联,保留检测方法、检测时间、检验依据、结论及附件。采集前确认使用权限与数据分类分级,处理过程中保留原文和标准化字段,确保质量结论能够回溯至原始证据。
对缺陷记录建立标准化分类与属性,覆盖气孔、裂纹、咬边、余高、弧坑、焊脚偏差等对象,记录缺陷位置、尺寸或程度、检测方法、判定依据及审核结果。保留原始文本和图像,将规范化标签与原始证据关联。缺陷类别存在歧义、检测结论冲突或证据缺失时,提交专业人员复核并登记裁决结果。
纸质及扫描检测报告按报告标识、检验对象、批次、日期和页码登记,检查扫描完整性、清晰度、旋转、遮挡及附件缺页,达到可识别条件后开展文字与表格提取;无法可靠读取的内容转人工核对,不以推测补写检测结果。
无损检测与硬度检测报告保留原件或原始影像,结构化提取检验对象、检测位置、方法、设备、测量值、单位、判定标准和结论。手写批注与印刷内容分区提取,人工核对关键数值及结论,记录来源页码、区域位置、识别结果和复核人员。
报警数据通过设备标识、事件时间和处置工单关联诊断、维修、更换备件及复查结果。区分已确认故障、误报、已处理但原因未定和待确认事件。故障标签须具备相应诊断或维修证据;不能确认的事件保留状态,不强制归入故障类别。
产品质量数据集交付预训练数据 164 亿 Token、指令微调数据 24 万条、偏好对齐数据 1.6 万组和基准评测数据 0.25 万条。按缺陷类型、产品及部件类别、检测方法、工况和时间范围统计样本覆盖情况,分别检查各用途子集的数量、重复、完整性、准确性和适用性。生产计划同时安排数据补充、专业标注、证据复核和质量检查,合格数据方可纳入交付计量。
质量数据加工前完成缺陷分类、属性、判定规则和复核要求的评审发布。纸质资料执行影像质量检查、版面分析、字段提取和人工核验;未适配模板及手写内容进入专门复核流程,关键参数与检测结论逐项核对原始证据。
报警、处置工单、更换备件和复查结论通过设备、事件和时间窗口关联,记录关联依据及复核状态。无法确认的事件保留未确认标识,与已确认故障样本分开管理。数据卡记录来源、处理方法、样本构成、质量结果、使用限制和不适用场景;问题样本完成整改复核后再纳入发布版本。
表 1-3 数据来源与接入核验要求
| 数据来源 | 接入对象 | 关联与加工要求 | 接入核验内容 |
|---|---|---|---|
| CRM系统 | 客户、商机、报价、合同、订单、回款及相关文档 | 按项目、客户、合同和订单标识关联结构化记录与附件,登记选型方案及其业务对象 | 核验主键唯一性、附件对应、授权范围和更新方式,抽样检查合同与订单关系 |
| ERP系统 | 组织、人力、物料、采购、销售、成本、应收应付、凭证、资产和资金数据 | 区分业务发生时间与核算期间,保存数量、金额、币种、单位和统计范围 | 核验账期、单据状态、冲销关系及统计口径,开展业务对账 |
| SCM系统 | 供应商、采购计划、采购订单、履约及付款计划 | 关联供应商、物料、订单行与履约节点,记录计划与实际到货时间 | 核验订单行标识、分批交付、变更、退货及付款节点 |
| QMS系统 | 制程、进厂、出厂、成品检验、质量台账及报告 | 关联检验批、工件、材料批次和工序,规范缺陷类别、测量值和判定结果 | 核验检验标准版本、测量单位、报告有效性及复检记录 |
| WMS系统 | 仓库、库区、货位、物料、批次及出入库单据 | 关联实物批次、订单与生产对象,分别记录库存数量及其统计时点 | 核验批次流转、库存状态、单位换算、退料及盘点调整 |
| MES系统 | 焊丝信息、生产工单及生产进度 | 关联工单、工序、工件、焊道与炉次,分别保存业务事件时间和报工时间 | 核验工序状态、对象标识、报工延迟及记录修订 |
| LMS系统 | 物流需求、运单、调度及取货、装卸、送达信息 | 关联订单、发货计划与运单节点,记录在途状态和事件时间 | 核验拆单合单、异常签收、回单及运输节点完整性 |
| EMS系统 | 能耗监控、统计及分析数据 | 按设备、计量点和时间区间关联生产对象,保留计量单位及累计值属性 | 核验采样周期、计量边界、累计值复位、缺测和异常跳变 |
| SOS系统 | 健康状态、运维计划、报警处置、售后工单、备件及相关文档 | 关联设备、报警事件、处置工单、维修部件和复查结论,区分报警与确认故障 | 核验事件时间、故障确认依据、维修闭环和标签来源 |
| EAM系统 | 设备台账、档案、点检、维修工单和作业计划 | 建立设备与部件层级,关联点检、维修和更换记录 | 核验设备编码、部件变更、维修状态及历史记录连续性 |
| PLM系统 | BOM、工序、变更、零部件、选型方案、图纸与工艺卡片 | 按图号、零件编号和有效版本建立配对关系,保存变更链与有效状态 | 核验文件可读性、版本有效性、图纸卡片对应关系及配对可信度 |
| SCADA系统 | 设备状态、电流、电压、温度、湿度及焊接过程参数 | 保存测点、设备、采样时间、单位和质量标志,并与工单、工件或焊道建立关联 | 核验采样周期、时间同步、量程、缺测、重复及采集异常 |
| OA系统 | 管理制度和合同文档 | 按文档、条款、版本、发布部门和适用范围组织,保留引用与失效关系 | 核验文档授权、现行状态、附件、签发及条款完整性 |
| 久其系统 | 营业收入、利润、成本及资产负债等指标 | 保存指标定义、统计期间、组织范围、计量单位和来源口径 | 核验指标口径、汇总层级、期间一致性及修订记录 |
| 主数据管理平台 | 组织机构、人员和物料编码 | 以有效主数据建立跨系统映射,记录编码版本、生效时间及变更关系 | 核验编码唯一性、有效状态、审批记录和映射冲突 |
| 热处理群控系统 | 温度、电流、电压、加热冷却时间及相关过程数据 | 关联炉次、工件、材料批次、工艺曲线和检验结果 | 核验测点含义、采样时间、炉次边界、曲线完整性及单位 |
| 安全监管平台 | 经授权的安全监管和生产监控数据 | 采用单向只读方式接入,按批准范围登记业务归属和使用限制 | 核验接口范围、访问权限、字段授权及接入日志 |
| 离线资料 | 文档、图片、工程图纸、技术书籍、票据和音视频 | 登记来源与授权,分类解析并关联业务对象,保留原件与加工记录 | 核验文件完整性、清晰度、版本、重复及抽取准确性 |
| 新增感知设备 | 15 台红外图像采集设备的熔池影像;6 台在线高温热成像设备的热处理加热测温与图像;21 台在线热成像设备的热处理淬火后和焊接前测温数据 | 按设备、工位、工件、炉次或焊接任务建立关联,记录采集时间、测量区域、配置和校准版本 | 核验安装位置、视场、测量范围与精度、发射率及环境补偿、时间同步、SDK 或工业接口和采集完整性 |
表 1-4 数据来源、加工用途与验证场景
| 数据来源 | 适用业务范围 | 数据加工用途 | 验证场景 |
|---|---|---|---|
| CRM | 供需计划 | 商机与合同文本;选型问答指令样本;经证据支持的选型偏好样本;独立基准评测样本(选型要素识别) | 产品智能选型、库存控制智能化、标书智能问答、合同合规智能审查 |
| ERP | 供需计划 | 经授权并完成敏感信息处理的经营记录;经营分析指令样本;独立指标一致性评测样本 | 库存控制智能化、决策数据智能问答、合同合规智能审查 |
| SCM | 供需计划 | 采购与履约记录;补货与履约问答指令样本 | 库存控制智能化、决策数据智能问答 |
| QMS | 产品质量 | 检验记录与质量报告;缺陷判定问答指令样本;判定分歧偏好样本;独立基准评测样本(判定一致性) | 焊接过程控制智能监控、刮板输送装备健康智能诊断、技术标准智能问答 |
| WMS | 供需计划 | 出入库流水;库存问答指令样本 | 库存控制智能化 |
| MES | 制造过程 | 工单与工序流转记录;工艺执行问答指令样本 | 板材备料工艺智能设计、焊接过程控制智能监控、热处理过程智能监控 |
| LMS | 供需计划 | 运单与节点时间记录 | 库存控制智能化 |
| EMS | 制造过程 | 能耗时序摘要;独立基准评测样本(能耗异常判定) | 热处理过程智能监控 |
| SOS | 产品质量 | 售后工单与维修记录;故障问答指令样本;处置方案偏好样本 | 刮板输送装备健康智能诊断 |
| EAM | 产品质量 | 设备台账与点检记录;点检与维修问答指令样本 | 刮板输送装备健康智能诊断 |
| PLM | 产品工艺设计 | 经版本核验的图纸与工艺记录;经复核的图纸和工艺卡配对样本;工艺编制指令样本;经专家裁决的方案偏好样本;独立要素识别与计算评测样本 | 产品智能选型、板材备料工艺智能设计、技术标准智能问答 |
| SCADA | 制造过程 | 过程参数时序摘要;参数异常问答指令样本;独立基准评测样本(异常识别) | 焊接过程控制智能监控、热处理过程智能监控、刮板输送装备健康智能诊断 |
| OA | 管理制度、合同及业务管理 | 经授权的有效制度和合同文本;制度检索与问答样本;独立条款出处和适用性评测样本 | 管理制度智能问答、合同合规智能审查、标书智能问答 |
| 久其系统 | 供需计划 | 经营指标序列;指标口径问答指令样本;独立基准评测样本(指标定义与计算一致性) | 决策数据智能问答 |
| 主数据管理平台 | 四个业务领域共用 | 业务对象标识、编码映射、版本与有效状态校验 | 各验证场景的业务对象识别与关联核验 |
| 热处理群控系统 | 制造过程 | 炉次曲线摘要;配方与偏差问答指令样本;独立基准评测样本(工艺偏差判定) | 热处理过程智能监控 |
| 安全监管平台 | 制造过程 | 单向获取且获准使用的安全与生产监控记录,经分类分级处理后形成授权用途的数据样本 | 刮板输送装备健康智能诊断的授权工况信息核验 |
| 离线资料 | 四个业务领域 | 经权属和授权核验的文档、图像、图纸、音视频内容;经质量检查的问答及结构化样本;独立来源核验评测样本 | 技术标准智能问答、标书智能问答、管理制度智能问答、板材备料工艺智能设计 |
| 新增感知与检测设备 | 制造过程、产品质量 | 熔池影像与温度时序;工况判读问答指令样本;独立基准评测样本(缺陷与温度判读) | 焊接过程控制智能监控、热处理过程智能监控 |
样本记录来源系统、源记录或文件标识、采集批次、处理任务、数据集版本及授权信息。数据从采集到加工、质量检查和验证的关系纳入血缘管理,支持按样本追溯来源及处理过程。
建立数据需求和采集任务清单,逐项记录业务用途、来源、字段、授权、更新频率、加工任务及验证方式。采集范围覆盖项目确定的数据资源和服务任务,新增或调整对象履行需求确认与变更审批。场景验证发现数据问题时,根据样本血缘、共享规则和版本依赖确定影响范围,制定补采或返工任务;涉及共用源数据、映射规则或模型配置的,同步检查关联数据集和场景。整改后完成回归验证并记录关闭结果。
选型验证覆盖需求解析、参数计算与验算、配置推荐及方案生成。数据样本记录矿井产量、采高、工作面长度、倾角、配套设备等需求条件,关联候选产品配置、计算参数、校核结果和审核记录。对公式及规则登记名称、版本、输入输出、单位、适用条件和约束,核验输送能力、运行阻力、驱动功率、刮板链速度及链条安全系数等计算结果。
构建包含需求工况、历史配置、计算过程、校核结果和专业审核结论的指令样本,并建立相同需求下候选配置的成对偏好样本。候选配置首先满足适用规则和安全约束,再按设备适配、性能、可制造性及使用证据开展比较。模型推荐结果经公式与规则校验,对关键计算和配置冲突设置人工复核,不以语言模型判断替代工程计算。
从 CRM 项目记录和 PLM 选型方案中提取需求条件与历史配置,从方案文档、计算书和审核记录中提取校核过程及结论。核对字段单位、配置版本、适用工况和审核状态后形成关联样本。偏好标签依据有效验收记录、售后工单、运行反馈和专家评审形成,分别标识证据类型、评价条件和不确定项。专家意见不一致时开展复核裁决,保留原始意见和最终依据;无充分证据的样本不标记为确定优劣。
图 1-2 产品智能选型样本构建与验证流程
表 1-5 场景数据需求与样本结构
| 场景 | 数据对象与样本结构 | 主要来源 | 加工与核验要求 |
|---|---|---|---|
| 产品智能选型 | 工况、候选配置、计算条件、校核结果及候选方案偏好 | CRM 关联项目资料、PLM 选型资料、校核与运行反馈 | 统一参数和单位,关联配置版本与证据,复核校核结果及偏好标签 |
| 板材备料工艺智能设计 | 图纸要素、零件特征、材料、工序序列及工艺卡片字段 | PLM 图纸、工艺文件、有效工序字典 | 按图号、零件和版本配对,检查要素完整性及工序约束,低置信结果转人工复核 |
| 库存控制智能化 | 物料、需求、采购履约、出入库、在途状态和库存时序 | ERP、SCM、WMS、LMS | 保留数量与金额口径,统一统计时点,关联订单和批次,核验需求消耗及库存变化 |
| 热处理过程智能监控 | 炉次、工件、材料批次、工艺曲线及质量检测结果 | 热处理群控、MES、QMS 及相关检测设备 | 关联炉次边界和测点时间,校验曲线完整性、温度单位及检验结果对应关系 |
| 焊接过程控制智能监控 | 工件、焊道、过程参数、影像及缺陷标签 | SCADA、MES、感知设备及质量检测记录;焊接前温度测量对应 15 台在线热成像设备,熔池影像对应 15 台红外图像采集设备 | 按焊道关联参数和影像,保存工艺条件、时间映射、缺陷位置及复核结论 |
| 刮板输送装备健康智能诊断 | 设备部件、工况分段、状态参数、报警及维修结果 | SOS、EAM、点检巡检和失效分析资料 | 区分报警与确认故障,关联维修及复查证据,按设备和工况分层组织样本 |
| 管理制度智能问答 | 问题、答案、制度条款、适用对象及有效版本 | 授权使用的现行制度及历史版本 | 解析条款层级与引用关系,检查答案出处、适用范围和版本状态 |
| 技术标准智能问答 | 问题、条文、参数限值、单位及适用条件 | 有效技术标准、设计手册和企业标准 | 关联标准版本,校验参数及单位,记录引用链和替代关系 |
| 标书智能问答 | 问题、采购要求、响应资料、资质证据及原文位置 | 授权使用的招标文件、历史投标资料和企业资质资料 | 区分具体项目、有效期及证据来源,建立条目检索与回答核验样本,防止跨项目混用 |
| 决策数据智能问答 | 问句、指标定义、统计期间、取数路径及计算结果 | 久其系统及经授权的业务系统指标数据 | 统一指标、单位和组织范围,保留数据更新时间及计算过程,校验结果可追溯性 |
| 合同合规智能审查 | 合同条款、审查事项、风险类别、适用规则及复核结论 | 授权合同、有效制度规则和专业审查记录 | 按条款定位风险,保留规则版本和证据,冲突及证据不足事项转人工复核 |
表 1-6 场景数据需求清单的记录字段与取值要求
| 字段 | 取值要求 | 来源 | 核验方法 |
|---|---|---|---|
| 场景编号与名称 | 取招标文件场景验证服务要求列明的场景名称 | 招标文件场景条目 | 与场景清单逐项比对,不增不减 |
| 业务任务 | 一句话写明该场景要完成的业务动作 | 业务部门确认 | 业务部门书面确认记录 |
| 输入条件 | 执行该任务所需的业务输入及其取值范围 | 现行业务流程调查 | 与业务流程记录核对 |
| 目标输出 | 任务应产生的结论形态及其表达方式 | 业务部门确认 | 与验证用例的期望输出一致 |
| 业务对象 | 该场景涉及的对象类型及其层级 | 知识本体发布版本 | 与本体类目比对 |
| 样本字段 | 逐字段给出名称、类型、单位、取值域、必填性 | 数据源字段映射表 | 字段级比对与空值率统计 |
| 样本量 | 该场景所需样本的条数或组数,按生产计划分配 | 数据集分域指标与验证用例规模 | 与分域承诺量核对,不以其他领域抵补 |
| 时间范围 | 样本的业务时间起止 | 业务部门确认与时效占比要求 | 时效占比统计 |
| 来源系统与授权 | 数据来源及其授权范围、有效期 | 数据源登记台账 | 授权文件有效性核验 |
| 模态构成 | 文本、图像、时序、视频各自的条数占比 | 采集与加工计划 | 按数据卡字段统计 |
| 质量要求 | 适用的质量维度及其判定规则 | 质量规则库发布版本 | 规则可执行性检查 |
| 标注规范引用 | 适用的标注规范名称与版本 | 数据标注规范 | 规范版本与标注任务配置一致 |
| 验证用例编号 | 与该需求对应的验证用例标识 | 验证用例集 | 需求与用例双向可追溯 |
| 评价指标与通过判据 | 指标名称、计算规则与通过阈值 | 评测方法文件 | 指标可复算,判据有数值或判定规则 |
| 生产任务编号 | 承接该需求的加工任务标识 | 加工任务池 | 需求、任务、批次三者可追溯 |
合同审查样本按合同类别、条款类型、审查事项和风险类别组织,关联有效审查规则、业务制度及专业复核记录。核验条款定位、适用条件、规则版本和证据完整性,形成风险识别、依据检索、审查结果展示及人工复核的验证用例。对证据不足、规则冲突或超出适用范围的事项保留状态并转交专业复核,记录处理结果和版本变化。
管理制度、技术标准和标书问答保留文档名称、版本、有效状态、条款或页码及证据片段,答案与引用内容逐项核对。决策数据问答关联指标定义、组织范围、统计期间、查询条件、取数路径及计算过程,确保结果可复算。设置无有效证据、版本冲突、越权查询和问题歧义测试用例;证据不足时提示缺少的条件,不生成无依据答案。独立评测检查回答正确性、引用准确性、适用性和权限控制,保存输入输出及复核记录。
建立数据质量指标、检查规则、测试数据和结果记录,覆盖保真度、完备性、规整性、均衡性、可用性和可信性要求。对各数据集版本组织质量检查和正式评测,保存检查范围、计算方法、样本及运行记录。内部检查与正式评测采用明确且可比较的指标定义,差异逐项核查原因。首轮评测发现的问题形成整改清单,明确责任、措施和完成时间;整改后复测并记录关闭结果,交付正式评测报告及完整的数据质量档案。
建设目录标识、身份登记及标准接口对接能力,建立项目元数据与接入字段的映射,配置标识登记、身份注册、接口认证、调用审计和异常处理机制。对外接口完成格式、权限、错误处理和数据一致性测试,交付接口文档、映射表及测试记录。外部服务具备接入条件后,开展标识注册、解析及联调验证;外部条件尚未具备时,完成项目侧接口实现和模拟验证,记录外部依赖、待联调事项及后续实施安排。
数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件整体国产化比率不低于 80%。建立软硬件清单,逐项记录名称、型号或版本、生产厂商、国产化属性、证明材料和部署位置。按确定的统计范围和计算规则测算比率,核对计数依据及配套证明,完成操作系统、数据库、芯片、接口和密码组件的适配测试。交付国产化清单、测算记录、证明材料和适配测试结果,实施变更后重新核验。
梳理数据要素市场化配置、高质量数据集建设、人工智能产业发展、新型信息基础设施、数据安全及绿色低碳等领域的法律法规、产业政策、专项规划、技术导则、建设指南和评价标准,形成不少于 25 个文件的政策与标准清单。逐份登记发布机构、文件编号、发布日期、生效及有效状态、适用范围、实施事项和责任岗位,形成梳理报告。对文件更新、替代和废止建立跟踪机制,评估对建设、运营及交付成果的影响,经审核后更新实施要求及相关记录。
数据集发布前完成来源授权、权属材料、数据质量、使用范围和交付条件核验,登记数据集名称、版本、内容范围、质量结果、许可条件和使用限制。对外服务按批准的产品及服务目录执行,保留挂牌、订单、授权、交付、计量、结算和审计记录。成本归集记录关联生产任务、资源投入和数据集版本,支持企业开展数据资源管理及相关核算工作。涉及权利、会计及交易事项,由相应责任主体依据有效材料履行审核和确认程序。
项目建设目标包括协同汇聚、平台技术、数据质量、标准生态、场景赋能及服务与安全六个方面。建立数据资源协同机制,完善数据加工与运营能力,形成质量可检验的数据集、专业人员及制度支撑,完成场景验证和安全保障。各项目标分别落实到实施任务、交付成果和验收记录。
建立行业数据协同汇聚机制,整合企业内部、产业链上下游及经授权使用的公共数据资源,建设行业数据资源库。按业务场景识别数据需求,以知识本体及对象关系组织资源目录,明确参与单位、数据责任、授权条件、共享方式和更新要求,形成多方参与的数据资源协同工作机制。
企业内部数据汇聚按实施单位、业务对象和来源系统组织,指定数据接口人,确认字段含义、授权范围及更新频率。外部数据在接入前核验提供方权限、许可范围、使用目的和有效期限。数据源登记后按批次受理,每批次保留来源、授权、采集时间、数据范围、处理记录和质量状态;许可失效或授权变化时暂停相应使用并开展影响处置。
表 1-7 数据源登记台账的字段、取值规则与维护要求
| 字段 | 取值规则 | 维护责任 | 更新时机 | 核验方法 |
|---|---|---|---|---|
| 责任部门与接口人 | 记录责任部门、岗位及获准用于项目协作的接口人姓名和工作联系方式,按最小必要原则控制访问 | 来源部门 | 人员或职责变动时更新 | 核对部门授权和接口人确认记录,职责变化时同步更新 |
| 来源系统或资料名称 | 取系统正式名称或资料正式名称 | 数据管理岗 | 登记时填写,更名时同步 | 与资产清单核对 |
| 授权范围 | 写明可用于的业务用途与数据范围 | 数据管理岗维护,来源单位或权利主体审核确认 | 授权变更时更新 | 核对授权主体、用途、数据范围、有效期和限制条件,确认台账与有效授权材料一致 |
| 许可条件与有效期 | 记录使用限制、保密要求与到期日 | 数据管理岗维护,来源单位或权利主体审核确认 | 许可变更或续期时更新 | 到期前复核,失效即暂停使用 |
| 授权范围 | 写明可用于的业务用途与数据范围 | 管理单位批准 | 授权变更时更新 | 授权文件与台账一致 |
| 许可条件与有效期 | 记录使用限制、保密要求与到期日 | 管理单位批准 | 许可变更或续期时更新 | 到期前复核,失效即暂停使用 |
| 接入方式 | 数据库只读抽取、接口调用、文件通道、测点订阅、离线录入 | 采集实施岗 | 接入方案变更时更新 | 与接入配置一致 |
| 更新频率 | 按实时、按日、按周、按批次记录 | 采集实施岗 | 调度调整时更新 | 与调度配置及实际作业记录比对 |
| 批次受理记录 | 记录每批次的采集时间、数据范围、对账结果 | 采集实施岗 | 每次采集作业结束 | 核对记录数、文件数、校验值和关键业务汇总,超出容差的批次隔离调查,确认原因并完成补采或重采后复核 |
| 使用限制 | 出域、留存期限、加工限制 | 安全管理岗 | 策略调整时更新 | 出域记录与限制一致 |
| 批次受理记录 | 记录每批次的采集时间、数据范围、对账结果 | 采集实施岗 | 每次采集作业结束 | 对账差异超范围的挂起复采 |
| 状态 | 在用、暂停、终止 | 数据管理岗 | 状态变化时更新 | 暂停与终止的数据源无新增取数记录 |
针对十一个验证场景分别明确业务对象、字段、时间范围、样本结构和质量要求,形成场景数据需求清单,并据此配置采集与加工任务。通过知识本体定义对象、属性和关系,将跨系统数据映射到统一业务语义,建立可查询、可追溯的对象关联和知识检索能力。
建设不少于 9 类 25 项数据集加工生产专项智能工具链,实施多模态数据治理、智能标注、数据合成和质量验证,配套建设数据集运营服务管理平台,形成数据生产、管理、发布与服务的持续运行能力。
对 25 项工具分别明确输入数据、处理规则、输出结构、调用接口、权限、执行日志及验收用例。工具共用任务调度、版本管理、质量规则、血缘登记和审计服务,按依赖关系分批部署和验证。工具调用保留任务标识、数据及规则版本、运行参数、执行结果和异常记录,支持失败重试、结果复核与定向回流。
完成数据集运营服务管理平台 16 项功能模块建设,并实现平台服务与 SLA 保障能力。对各模块分别开展功能设计、业务流程配置、权限设置、接口联调及测试,提供相应功能界面、操作流程和验收证据。服务保障覆盖运行监测、事件响应、问题处理和服务报告,形成可持续运营能力。
通过多模态数据对齐和元数据管理统一处理文本、图像、时序及视频数据;通过预标注、主动学习、规则标注和一致性校验支持标注生产;通过受控生成、场景模拟和文本重写形成合成及增强数据。合成样本单独记录生成来源、方法、模型及规则版本,并按用途子集执行比例控制和质量核验。基准测试数据集采用独立受控数据,禁止训练、合成或增强结果泄漏至基准测试数据。
表 1-8 合成与增强数据的登记字段与控制规则
| 登记字段 | 取值规则 | 控制规则 | 核验方法 |
|---|---|---|---|
| 生成方法 | 受控生成、场景模拟、文本重写、数据增强,逐条标明 | 方法须在数据合成方案中列明并经评审 | 与方案登记的方法清单比对 |
| 生成来源样本 | 记录种子样本的批次号与对象标识 | 种子样本须为已通过质量检查的样本 | 回溯种子样本的质量结论 |
| 生成来源样本 | 记录种子样本的批次号与对象标识 | 种子样本通过质量检查,授权范围允许相应加工及生成用途,且不含受保护的基准评测内容 | 回溯种子样本的质量结论与授权记录 |
| 规则或模板版本 | 记录生成规则、提示模板的版本号 | 版本在作业启动时绑定,过程中不切换 | 与规则库发布记录比对 |
| 生成参数 | 记录采样参数、长度限制、约束条件 | 参数随批次留存,不逐条改动 | 抽样复现生成结果 |
| 生成参数 | 记录采样参数、随机种子、长度限制、约束条件和实际生效配置 | 批次绑定参数版本,样本记录其实际使用的配置;参数变更时建立新任务版本,不覆盖原记录 | 核对任务配置和运行日志,在保存环境下复测并记录结果差异 |
| 人工复核结论 | 通过、修改后通过、废弃 | 按用途、生成方法和风险分层复核,关键业务参数及安全相关结论执行专项复核;抽检不合格时扩大检查范围并隔离受影响批次 | 复核记录完整性与一致率统计 |
| 占比上限 | 按用途子集分别给定,取值写入数据合成方案 | 批次入库时校验,超出上限的部分不予入库 | 按数据卡字段统计批次与累计占比 |
| 基准测试数据集隔离 | 基准测试数据集不接受合成与增强样本 | 入库前执行来源标识检查与近重复检测 | 检出泄漏即作废该基准版本并重建 |
| 基准测试数据集隔离 | 基准测试数据集不接受合成与增强样本 | 入库前执行来源标识检查与近重复检测 | 发现泄漏后立即停止受影响基准版本使用,定位污染范围,替换受影响样本,重新冻结版本并对相关评测结论重新验证 |
四类业务数据集分别达到各用途子集的交付数量和质量要求,覆盖文本、图像、时序、视频等超过 3 种模态,多模态数据条数占比不低于 40%,近 3 年内时效性数据条数占比不低于 40%。落实保真度、完备性、规整性、均衡性、可用性和可信性要求,按适用评测规范完成质量检查、正式评测及缺陷整改复测。
表 1-9 数据集交付指标与核验方法
| 指标 | 交付指标 | 计量与核验方法 |
|---|---|---|
| 预训练数据 | 合计 615 亿 Token;供需计划 276 亿、产品工艺设计 70 亿、制造过程 105 亿、产品质量 164 亿 | 固定分词规则和工具版本,按有效交付数据计量,逐业务域登记并核对,保留计算记录 |
| 指令微调数据 | 合计 89 万条;四业务域分别 40 万、10 万、15 万、24 万条 | 按有效指令样本计量,保存任务、输入输出及必要上下文,执行重复检查和质量核验 |
| 强化学习偏好数据 | 合计 6.6 万组;四业务域分别 3.2 万、0.8 万、1 万、1.6 万组 | 按完整有效偏好组计量,核验共同任务条件、候选内容、偏好结论及依据 |
| 基准测试数据 | 合计 0.95 万条;四业务域分别 0.4 万、0.1 万、0.2 万、0.25 万条 | 独立冻结测试样本、答案及判分规则,检查训练隔离、重复及泄漏风险 |
| 数据模态 | 覆盖文本、图像、时序、视频四类 | 根据实际数据结构及模态标记统计,检查文件内容与元数据一致性 |
| 多模态条数占比 | 不低于 40% | 以纳入计量范围的合格多模态条目数除以合格条目总数;固定条目定义、统计范围和去重规则,不将 Token 数与条数直接相加 |
| 近 3 年内时效性数据条数占比 | 不低于 40% | 按数据原始产生时间及统计截止日核验,保留时间证据;采集、转换或复制时间不得替代原始产生时间 |
| 数据质量 | 保真度、完备性、规整性、均衡性、可用性、可信性达到规定要求 | 执行统一指标定义和质量控制规则,完成正式评测及整改复测,保存可复算的证据 |
多轮样本保留完整任务上下文与确定的样本单位,不以拆轮重复放大计量。
各业务数据集按用途子集制定分期生产计划,分别登记目标数量、合格数量、缺陷数量和待补数量。阶段核验未达计划时,分析数据来源、加工产能及质量损耗,落实补采、补标和资源调整,安排后续批次补足。最终按各业务域及用途子集分别验收,不通过改变计量规则、重复归集或跨业务域抵销完成指标。阶段目标不足的纠正措施纳入批准的项目计划并满足合同交付节点;发生计划变更时履行审批。
数据加工质量控制与正式评测使用一致的指标定义、计算规则、适用条件和证据要求。将质量指标配置到相应加工环节,对输入、过程和输出执行检查并记录结果;发现偏差时定位受影响批次,组织整改和复核。正式评测结论与过程检查存在差异的,核查样本范围、规则版本和计算过程,完成问题处置后重新验证。
吸引不少于 5 家数据企业、高校或科研院所参与数据集建设,建立不少于 50 名专家的数据标注专家库,形成覆盖数据采集、标注和质量检查的专业人才支撑体系。明确参与任务、人员能力要求、工作职责、成果要求和协作机制,并对参与过程及成果进行记录和考核。
按建设任务组织参与单位开展协同工作,明确任务负责人、实施内容、交付成果及知识产权安排。专家库执行申请、资格审核、专业分类、任务分配、履职评价和退出管理;采集、标注及质检岗位分别建立能力要求、培训内容和考核规则。任务分配与质量复核相互制约,过程记录与成果关联保存。
专家库按专业领域、实践经验和履职能力组织人员入库,登记资格材料、擅长领域、可承担任务及利益冲突信息。按照任务对象和专业要求派工,对规则评审、标注争议及质量复核实施回避和独立复核,参与生产或存在利益关联的人员不得独立完成同一事项的最终裁决。
建成的数据集支撑不少于 11 个行业细分任务场景,围绕研发设计、中试验证、生产制造和经营管理开展数据适用性验证及模型能力评测。按场景建立任务、数据、指标和用例的对应关系,记录模型及数据版本,量化验证结果,并将质量缺陷和覆盖不足转化为后续数据整改任务。
实施十一个场景的数据集验证,完成数据准备、验证环境配置、测试样本及用例设计、验证执行、结果分析和整改复测。各场景逐项验证相应业务能力,保存数据版本、模型版本、规则版本、输入输出及指标计算记录。对验证未通过的事项分析数据质量、样本覆盖、标注、模型或环境原因,形成整改任务并复测。交付验证方案、用例、运行记录、验证报告和问题关闭记录。
利用模型评测结果识别数据质量缺陷、覆盖盲区、歧义标注及难度分布问题,关联数据血缘定位受影响批次,形成包含对象、原因、处理要求和复核条件的整改任务。对修复后的数据重新检查并开展回归评测,在一致的测试条件下比较不同数据及模型版本的表现,记录指标变化和影响因素。
表 1-10 场景验证任务与成果
| 类别 | 场景 | 验证任务 | 交付记录 |
|---|---|---|---|
| 专业场景 | 产品智能选型 | 验证需求解析、缺失信息提醒与校验;计算与验算输送能力、运行阻力、驱动功率、刮板链速度和链条安全系数;验证配置推荐、方案规格书与报价配置清单生成、编辑确认及版本留痕 | 需求解析结果、计算明细、规则校验、配置与方案输出、编辑及版本记录 |
| 专业场景 | 板材备料工艺智能设计 | 验证 PLM 任务与图纸接收、工艺卡片及工序附图生成、工艺变更修订、规则库与设备台账维护、应急工艺通道;验证 DWG/DXF 及 STP/STEP 批量识别、图纸要素提取与在线预览、PDF 导出与打印;对全部识别通过后生成的工艺卡片及工序附图逐项核验内容准确性 | 任务及图纸版本、要素识别明细、卡片与附图、专业逐项核验、变更记录、导出打印测试 |
| 专业场景 | 库存控制智能化 | 验证可配置库存指标及多维穿透;库存评级与健康诊断;全周期库存预测及风险预警;差异化物料需求预测;安全库存动态测算、智能补给及跨分厂调拨建议 | 指标计算及对账、分类评价、预测与实际对比、预警、补给和调拨测试记录 |
| 专业场景 | 热处理过程智能监控 | 验证结合目标链轮特征的历史工艺检索与推荐、工艺参数区间优化、链轮齿轨刮板感应淬火及调质生产线质量分析;分析外观缺陷、硬度异常与加热功率、温度及淬火介质参数的关联 | 炉次与样本关联、检索推荐、参数优化、缺陷与硬度分析、追溯结果 |
| 专业场景 | 焊接过程控制智能监控 | 验证电流、电压、预热及层间温度、焊接与送丝速度、气体流量、焊道类型等采集;熔池视频和焊缝图像缺陷检测;时序与视觉联合质量评估及预警干预判定;不同焊道、板厚和材质的参数优化;参数影像与检测结果追溯;工艺知识库 | 采集及同步记录、缺陷检测明细、质量评估与预警判定、参数推荐、关联追溯、知识库验证记录 |
| 专业场景 | 刮板输送装备健康智能诊断 | 验证诊断标签、典型故障样本划取、质检审核、版本与溯源;多机型结构工况的规则编排、机理台账及离线回放比较;时序质量分析、工况识别、故障模式搜索和在线异常检测;原因、处置及备件建议 | 样本与标签记录、规则台账、回放及比较、异常诊断、原因和处置建议验证结果 |
| 通用场景 | 管理制度智能问答 | 验证制度条文及类别、适用范围、发布部门和关联关系知识管理;精准检索、语义解读及跨制度咨询;引用关系和逻辑校验;查询与复杂咨询响应效率改善 | 知识条目、问答与引用、关联及冲突检查、人工基线与响应时间比较 |
| 通用场景 | 技术标准智能问答 | 验证标准条文、限值、引用、版本更迭及合规案例知识管理;多轮与历史版本问答;表格及公式提取并达到单元格级表格解析;检索量、高频条款和用户活跃度统计可视化 | 标准及版本记录、问答、表格单元格和公式解析结果、统计图表及核验记录 |
| 通用场景 | 标书智能问答 | 验证投标文本与商务知识库;项目、资格、评分、废标、技术设备及业绩材料要求提取与风险标注;商务及技术方案内容生成;废标、资格、评分、遗漏和格式检查及评审报告生成 | 知识库检查、条目提取与风险标注、生成内容核验、评审报告和漏误检记录 |
| 通用场景 | 决策数据智能问答 | 验证业务概念、指标定义与计算规则、分析报告知识管理;自然语言查数、可视化和多维分析;指标异动识别与影响因素追踪;多轮意图及条件继承 | 指标定义与计算、查询与图表、异动归因、对话上下文和权限检查记录 |
| 通用场景 | 合同合规智能审查 | 验证合同文本、附件、补充协议及合规风控知识管理;Word 和 PDF 解析与关键信息提取;合规、责任、交付及付款风险识别;单份合同审查效率提升 | 文件解析、条款及风险定位、依据复核、人工基线与审查用时比较 |
图 1-3 项目建设任务与交付成果
面向行业用户提供高质量数据集服务,建设目录标识、身份登记和标准接口对接能力,推进数据集登记、挂牌、上架和交易。定向开放执行用途确认、授权审批和受控交付,保留数据范围、使用期限、交付记录与审计证据。数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件整体国产化比率不低于 80%,完成适配测试和证明材料核验。
数据集运营平台维护数据目录、标识、版本、元数据和许可条件,提供身份登记、接口认证、协议适配、访问控制和调用审计功能。对接时完成字段映射、身份验证、目录查询、标识解析及接口异常测试,保留联调结果。
挂牌和交易前核验权属及授权材料、数据质量和服务条件,完成产品登记、展示发布、订单及合同管理、交付、费用记录和清算。定向开放单独登记服务对象、用途、数据范围、期限和出域条件,经审批后执行;超范围访问、授权失效及异常下载触发拦截和处置。
建立软硬件国产化清单和适配测试记录,核对型号、版本、国产化属性及证明材料。商用密码服务平台对身份认证、通信保护、数据存储、完整性校验和密钥管理提供密码服务,配置权限、密钥生命周期和审计策略,开展接口及应用验证。组织等级保护测评和商用密码应用安全性评估,由具备相应能力和资质的机构开展测评评估;项目组提供系统资料、配置、测试环境及运行记录,逐项完成问题整改和复测,交付报告及关闭证据。
对项目采购和交付的数据库、安全软件、云平台、服务器、存储、网络、芯片等建立逐项清单,记录名称、型号或版本、数量、部署位置、国产化属性及证明材料。确定统计对象、计算单位、分子分母、重复计入处理和复核责任,保存计算规则及数据来源,整体国产化比率不低于 80%。硬件整机与内含芯片、配套操作系统及软件组件分别登记,测算时避免重复计入。交付配置或数量变更后重新核验比率与兼容性,保留复核结果。
项目实施覆盖刮板机研究分院、工艺研究分院、备料加工分厂、生产管理部、热处理分厂、结构件焊接分厂、企业管理部、科研管理部、营销中心和审计法务部,管理单位为数字化转型工作办公室。围绕各单位参与的业务、资料和使用任务,开展需求调查、数据清点、专业核验、授权协同、成果验证及培训。
本项目实施数据资源汇聚与接入、数据治理规划与实施、数据集加工生产专项智能工具链建设、数据集运营服务管理平台建设、系统集成、行业大模型训练推理技术服务、数据加工生产、数据集场景验证和运营推广服务。配套完成安全软件与硬件部署、信息安全风险评估、数据集质量评测、技术标准验证、专家库与标注规范建设,以及管理制度、组织保障、安全合规和知识产权管理工作,形成软件、数据、服务成果及配套交付文件。
来源单位确认数据目录、接口人、授权范围和更新频率,按批次完成交接及对账。业务主管部门组织工序字典、部件层级、缺陷判定和指标定义评审,形成规则版本、适用范围、生效时间及审核记录;规则变更或新问题出现时重新评审,并检查受影响数据和任务。成果使用单位参与阶段样本复核及场景验证,记录评价依据、问题和改进要求。项目组跟踪问题处理与复测结果,阶段评审意见纳入后续任务安排。
数字化转型工作办公室统筹跨部门协调、计划推进和问题升级。数据开放及使用授权由具有相应管理权限的单位审核,分类分级由业务与安全管理责任部门评审,阶段验收由项目确定的验收组织实施。项目组登记申请事项、依据材料、审核角色、处理时限和批准结果;存在意见冲突时提交协调处理,未经授权批准不得开放数据或扩大用途。
对每项资料分别登记业务责任、来源系统、维护人员、提供人员、专业审核人员、使用对象和审批权限。一个单位承担多种职责或一项业务涉及多个单位时,明确对应事项及协作关系;管理协调、技术提供、专业判断和授权批准分别落实到具有相应职责的人员,授权依据按人员职责登记而不按单位名称推定。
业务资料清单记录对象、来源位置、格式、版本、有效时间、缺失内容及补充安排。涉及多个部门的同一对象保留来源和定义差异,通过实际业务记录及有效审核确认关联方式;未确认事项跟踪至完成,变更后检查受影响数据及成果。各单位的业务对接任务、资料核验内容与对接成果如表 2-1。
表 2-1 实施单位业务协同与资料核验
| 协同单位 | 业务对接任务 | 资料核验内容 | 加工与验证用途 | 对接成果及处理要求 |
|---|---|---|---|---|
| 营销中心 | 围绕需求、订单和产品选型组织业务调查,协调实际资料责任人员参与核验 | 客户需求、订单、销量、预测记录、历史选型方案及反馈的来源、版本、形成时间和使用权限;区分实际结果、预测值和主观评价 | 供需计划数据及产品智能选型、库存相关需求分析;共享资料按实际用途授权使用 | 形成业务对象和字段清单、需求及选型评价依据。偏好结论对应真实候选方案、条件和专业评定,效果分级以已验证的专业评定为准;缺失信息明确补充责任 |
| 生产管理部 | 协调生产计划、工单、排产、完工及相关库存物流业务资料核验 | 计划与实际执行时间、工单状态、产品及物料对象、库存时点和业务范围,核对来源系统和实际维护责任;仓储物流数据的持有范围按实际维护责任登记 | 供需计划、制造过程及相关业务指标和场景验证 | 形成计划执行关联、状态定义、时间与统计范围记录;返工、撤销、变更和跨部门交接保留历史。生产与仓储数据差异由相关业务责任人员共同核实,差异结论随事实记录保留 |
| 刮板机研究分院 | 围绕产品结构、部件设计、性能参数及选型技术条件开展专业核验 | 主机与部件设计资料、规格参数、技术规范和设计版本,区分设计类目、型号、具体产品和实际设备;核实参数适用条件及证据 | 产品工艺设计、供需计划中的产品技术与选型数据,相关知识和场景验证 | 形成对象关系、有效设计版本和参数依据;实物唯一标识单独建立,与设计编号分列对应。数据复用时登记用途,技术判断由具有实际职责及专业能力的人员审核 |
| 工艺研究分院 | 组织图纸、工艺卡、编制规则、工序及工艺变更的专业核验 | 图号、零件编号、版本、生效时间、工序、参数、工装和技术要求,检查图纸与工艺卡实际对应关系及适用条件 | 产品工艺设计及相关制造、质量知识,板材备料等场景验证 | 形成工序与工艺规则、来源及专业审核记录;保留共用工艺、多版本和变更历史,关联关系按实际对应情况建立。知识条目完成终审后用于标注、合成 |
| 备料加工分厂 | 核验备料工序执行、设备运行、完工、返工及异常处理资料 | 实际任务、设备、工件、工序、作业时间、执行参数、异常和处置记录,与有效工艺要求逐项关联 | 制造过程及工艺设计、质量相关样本和板材备料场景验证 | 形成实际执行与工艺要求的对应及偏差记录;无实测数据时保留缺失状态,计划参数与实际运行值分列登记。资料与设备时间不一致时核对事件和记录依据 |
| 热处理分厂 | 组织热处理工艺、设备、工件、材料及检验记录核验 | 炉次或实际热处理事件、群控曲线、装载对象、时间、温度及其他工艺参数、硬度和相关检测结果;检查返工复检及材料关系 | 制造过程、产品质量及热处理场景验证和知识构建 | 形成工件、处理事件、工艺版本、曲线和检验关联。不同处理方式按真实业务记录建立关系,炉次结构只用于以炉次组织的设备;批次检测结果按批次记录并标明覆盖范围,时间与计量信息保留原值和处理记录 |
| 结构件焊接分厂 | 围绕焊接任务、工件、焊道、参数、影像及检验开展核验 | 焊接程序或任务、设备、工件与焊道关系、过程参数、时间戳、熔池及相关图像、焊缝检查和返修记录,核实缺陷判定依据 | 制造过程、产品质量及焊接场景验证 | 形成焊接事件与影像、参数、检查结果的关联和专业审核记录;返修另记事件及版本,原过程记录保留。报警、异常信号与已确认缺陷分别登记,各自保留判定依据 |
| 企业管理部 | 组织管理制度、流程及相关业务知识的有效性核验,协调使用人员参与应用验证 | 制度名称、编号、发布部门、生效时间、适用范围、层级、引用关系和废止情况;核实可使用版本及权限 | 制度知识库、管理制度智能问答及获准的相关训练评测材料 | 形成条款级来源与有效版本记录,关联引用和适用范围。共享知识按实际用途纳入四类数据集的相应子集并防止重复计量;过期制度保留历史标识,当前有效规则以现行版本为准 |
| 科研管理部 | 协调技术资料、科研成果、标准工作及知识产权资料归集与核验 | 技术报告、项目成果、标准的来源版本、状态、权属和使用条件,核实论文、专利及软件成果的实际形成与办理记录 | 专业知识、技术标准智能问答、研究验证及知识产权成果管理 | 形成资料与项目成果对应、有效版本和权利证明清单;研究结论、建议、已发布标准和已取得成果分类登记,计划或申报安排另列为在办事项 |
| 审计法务部 | 围绕合同、投标相关资料及合规审查规则开展专业协同 | 合同要素、模板基线、实际条款差异、资料版本及适用依据,核实商业秘密、个人信息和其他敏感内容的处理及使用条件 | 供需计划中的合同条款及风险数据,合同合规审查、标书问答及相关知识应用 | 形成审核依据、条款标注和敏感内容处理记录;专业审核、数据使用授权和最终业务决定分别按实际权限执行,数据开放范围以单独的授权记录为准 |
| 数字化转型工作办公室 | 履行项目管理与跨单位协调职责,组织需求、数据、技术、质量、安全和成果事项的协同 | 参与人员及实际职责、需求任务、跨系统依赖、待确认事项、资源条件、变更和阶段成果,核验相应审批主体和程序 | 四类数据集及配套平台、工具、治理、验证和交付工作协调 | 形成协调计划、责任分工、问题跟踪和有效确认记录。数据授权、分类分级、专业终审、质量结论及正式验收分别由具备相应权限的人员或机构完成,各项批准保留本方的主体与依据 |
数据来源同时登记业务责任单位和实际来源系统,记录对象、字段、维护人员、提取方式、授权范围及使用任务。跨部门共享系统的数据按具体业务对象核验责任与含义;同一业务存在多系统记录时,比较形成时间、状态、版本及业务依据,确定适用关系并保留差异,有效性判定以业务依据与版本核验结果为准。
需要确认的事项按数据授权、专业规则、质量结论、安全控制和业务使用分别提交有相应权限的责任人员处理。数字化转型工作办公室组织跨单位协调及进度跟踪,批准和审核结果保留实际主体、内容、版本、生效时间及适用范围。
已有标准和审批结果在对象、用途、规则、版本和权限仍有效时按适用条件使用。每个任务启动仍检查相关条件,出现数据新增、用途变化、规则修订、权限失效或影响质量的差异时重新核验并完成必要审批,有效性检查逐任务执行。确认结果需要转为本体、知识或标准时,分别完成相应专业审核、发布和任务关联。
建设高质量数据集,实施应用场景验证、数据集运营服务管理平台建设、数据加工生产专项智能工具链建设、知识产权成果工作和数据集质量评测。各项任务分别明确交付清单、实施计划、质量要求、验证方法和验收记录,统一纳入项目进度与质量管理。
建设四个业务领域、四种用途的行业多模态高质量数据集,完成来源接入、加工、知识建设、质量检查、训练验证和版本交付。数据集与模型、知识、工具和评测记录建立实际关联,支撑业务使用、持续更新及受控服务。
完成九类 25 个专项智能工具和数据集运营服务管理平台建设,提供实际运行实例、必要授权、接口、配置和测试资料。运营平台落实 16 项功能及订单、交付、清算、审计和 SLA 要求,配套建立协同汇聚、运营组织、服务供给和实际国家数据基础设施接入能力,功能完成情况分别核验。
六个专业场景和五个通用场景按各自业务任务完成数据、模型及应用效果验证,检查全部要求功能和量化指标。正式数据质量评测完成首轮全量评测、模型对照、缺陷整改复测及盖章报告,由承担评测的机构独立于过程质检单独组织。
建设不少于 50 名、覆盖六个专业领域的数据标注专家库,形成标注规范和完整软建设成果;累计发表论文不少于 5 篇、申请发明专利不少于 3 项、获得软件著作权不少于 6 项。各类成果保存实际完成状态和证明,以建设与交付实物为验收依据。六项业务建设内容、交付成果与检查要求如表 2-2。
表 2-2 业务建设内容与成果检查要求
| 业务内容 | 实施内容 | 交付成果 | 检查要求 |
|---|---|---|---|
| 高质量数据集建设 | 按供需计划、产品工艺设计、制造过程、产品质量四领域建设预训练、指令微调、偏好对齐和基准评测子集;开展来源核验、预处理、知识及标注、适用合成增强、质检、训练验证与版本管理 | 实际数据体、数据卡、数据字典、来源授权、加工与质量记录、验证报告、血缘及规模结构明细 | 四领域预训练分别达到 276、70、105、164 亿 Token,微调 40、10、15、24 万条,偏好 3.2、0.8、1、1.6 万组,基准 0.4、0.1、0.2、0.25 万条。分项独立核验,不同领域与用途之间不互相抵充;具备文本、图像、时序、视频,多模态及近三年数据条数占比均不低于 40%。计数、去重、分母及来源时间可核验,基准子集独立建设且不使用任何形式的合成数据 |
| 应用场景验证 | 完成产品智能选型、板材备料工艺智能设计、库存控制智能化、热处理过程智能监控、焊接过程控制智能监控、刮板输送装备健康智能诊断六个专业场景,以及管理制度智能问答、技术标准智能问答、标书智能问答、决策数据智能问答、合同合规智能审查五个通用场景的验证任务 | 适用数据与知识、模型及验证环境、用例与实际输入输出、各功能和指标结果、问题及复测报告 | 逐场景验证全部要求功能和指标,数据、模型、规则及报告对应实际版本。板材备料对全部识别通过后生成的工艺卡片及工序附图逐卡逐字段全量核对,差异进台账并逐条关闭,存在未关闭项的卡片不予下发;闭合条件与等效表述认定规则在首轮验证前经甲方工艺部门确认。验证以功能实现与完整用例执行为准,数据可用性说明、测试计划与演示记录作为过程材料一并提交 |
| 数据集运营服务管理平台 | 建设目录、元数据、上传、下载、权限、动态更新、检索预览、版本、服务、对外接口、登记注册、确权、挂牌展示、交易合同、交易费用、全流程审计 16 项功能,落实订单、服务交付、清算及 SLA,并完成相应实际接入 | 可运行平台、不限节点及许可数量的授权、部署配置、接口与操作文档、测试记录,目录及版本登记、权限、交付、计量清算、审计及接入成果 | 逐项检查功能及正常异常流程,核验用户、用途、对象、版本、授权和期限,交付内容与登记一致,计量清算与订单和执行对应。SLA 功能和指标满足要求,国家数据基础设施接入以实际联调与运行记录为完成判据 |
| 数据集加工生产专项智能工具链 | 建设思维链构建、长上下文数据构建、多轮对话数据构建、多模态数据对齐、智能标注、数据生成与增强、数据质量与分布控制、数据生成控制与评测、数据集验证与归因九类 25 个工具,接入实际加工任务 | 25 个可运行工具、授权、输入输出及配置、接口文档、用例和测试报告、使用维护资料及任务追溯记录 | 逐工具核验真实功能,检查创建任务、状态查询、结果获取、重试、导出及回调等适用接口,权限、异常和版本记录完整;不限制使用节点及许可数量,验收以可运行实例的实测结果为准 |
| 专家库、标注规范、软建设及知识产权 | 建设不少于 50 人且覆盖标准编制、数据生产、质量管控、行业应用、项目管理、安全合规六领域的专家库和机制,形成各模态标注规范;完成政策梳理、规划、制度机制、标准规范等配套任务及实际知识产权成果 | 专家名单与能力资料、遴选派工考核,标注规范及实践记录;25 个政策文件梳理,中长期规划、4 项专项实施方案、制度体系、动态调整机制、年度政策符合性评估,5 项机制,2 项关键行业标准、18 项细分标准及 6 项实施技术规范等具体成果;论文发表、专利申请、软著登记证明 | 各项内容分别完整,按上列具体数量逐项核验。累计发表论文不少于 5 篇、申请发明专利不少于 3 项、获得软著不少于 6 项,完成状态与证据一一对应;专家身份、能力及实际任务可查,规范和机制有执行记录,人员、标准与权利状态以在办与已成两类分别登记 |
| 数据集质量评测 | 由承担评测的机构和人员组织首轮全量评测、模型对照实验、缺陷定位指导及整改复测,覆盖说明文档、数据质量和模型应用 | 完整评测方案、原始执行记录、分项及综合评分、模型实验、缺陷整改复测、正式盖章报告和质量档案 | 三维度指标覆盖率按《高质量数据集质量评测规范》(TC609-5-2025-04)的三级指标清单计量,分母为该受检版本适用的全部三级指标条目,分子为已完成取证、给出分项得分且结论可复算的条目;首轮正式评测对自建数据集按全量执行、不抽样,首期承诺基线不低于 98%,目标逐步接近全部覆盖。判定时点为每个交付批次随版本封装判定一次,服务期内增量数据按季度抽检复核一次,抽样批次按来源、模态与业务领域分层抽取,单维度样本量不少于 384 条,对应 95% 置信水平与 5% 误差上限,覆盖率结果与受检版本号、原始执行记录一并记入评测报告,由承担评测的机构出具。未覆盖项逐项说明原因、责任岗位与补测时间,在下一轮评测集中补测;连续两轮仍未覆盖的,单列说明并提请甲方确认处置方式后重测;各维度达到最低合格标准且综合得分不低于 85 分;高风险缺陷按复测抽样复查零发现判定达标,中低风险缺陷整改完成率趋向全部完成、承诺基线 99%,未闭环项附经甲方确认的不整改评估;模型动态验证达到最低性能提升阈值。报告与受检版本一致,正式评测独立于过程质检单独组织 |
按任务依赖组织软件部署、工具链开发、数据准备、加工生产、质量评测和场景验证。优先完成共用认证、存储、调度、版本及审计能力和首批数据接入,工具与数据分批实施,完成相应测试后进入下一阶段。各批次同步开展质量检查、缺陷整改与场景验证;知识产权及文档成果随研发和实施过程形成,分别登记成果、证据、评审状态和完成节点。各类交付成果独立核验,不以数据集数量达标替代平台、工具或服务验收。
面向六个专业场景和五个通用场景开展数据集验证,完成场景数据需求分析、样本准备、验证环境配置、测试用例设计、验证执行、结果分析和整改复测。验证记录关联数据集版本、模型版本、测试条件及评价指标,形成能够复核的数据适用性结论和场景验证报告。
逐场景编制数据需求清单和验证用例,明确业务对象、字段、样本结构、数据量、时间范围、质量条件、评价指标及通过判据。验证前检查数据、模型、环境和授权条件;准备条件不满足时登记缺项,明确责任岗位和完成时间,补齐后执行验证。
验证过程中保存输入、输出、指标计算、人工复核和异常记录。数据质量问题追溯至来源及加工环节,完成补采、清洗、标注修正或重新加工后复测;涉及场景接口或运行条件的问题形成协同处理单,记录责任方、措施和关闭结果。未通过的验证项持续整改和复测,达到验收要求后形成最终报告;待处理问题不得以情况说明代替完成成果。
场景验证交付验证方案、用例、测试数据版本清单、运行记录、指标计算结果、问题及整改记录、复测结果和验证报告。训练推理服务交付数据配比实验、各阶段训练配置与运行记录、模型版本及检查点、评测报告、错例归因和数据改进记录。数据集交付数据文件、版本清单、数据卡、质量检查与评测报告、血缘记录、授权及使用限制文件,并完成发布登记、移交确认和运营支持。
表 2-3 场景验证作业的步骤、输入、产出与判定依据
| 步骤 | 业务对象与输入 | 处理内容 | 角色与权限 | 产出物 | 判定依据 | 不合格处置 |
|---|---|---|---|---|---|---|
| 需求确认 | 场景任务说明、业务规则、授权范围 | 确定业务对象、字段、样本结构、数据量、时间范围与质量条件 | 场景分析岗编制,业务部门确认 | 场景数据需求清单 | 清单各字段齐备且经业务部门书面确认 | 字段或授权未确认的登记缺项,补齐后再进入下一步 |
| 用例设计 | 场景数据需求清单、评测指标定义 | 编制验证用例、评价指标、通过判据与抽样规则 | 验证设计岗编制,评审组核准 | 验证用例集与判据表 | 每条用例可对应到指标与判据,判据给出数值或判定规则 | 判据不可计算的退回重编 |
| 环境与数据准备 | 冻结的数据集版本、模型版本、运行配置 | 配置验证环境,核验数据、模型、授权与版本一致性 | 验证执行岗配置,安全管理岗核验授权 | 环境配置记录、版本清单 | 数据、模型、代码、规则和配置版本与批准的用例基线对应,依赖环境、访问授权及资源条件满足要求 | 版本不一致或授权缺失的暂停执行 |
| 验证执行 | 验证用例集、测试数据、运行环境 | 执行用例,记录输入、输出、运行参数与异常 | 验证执行岗执行,复核岗抽查 | 运行记录、原始输出 | 用例执行覆盖率与记录完整性达到用例集要求 | 保留失败日志、输入及中间状态,检查重复执行风险,恢复环境并确认幂等或回退条件后重新执行 |
| 结果分析 | 运行记录、指标定义 | 计算指标,逐项比对判据,标注未通过项 | 验证分析岗计算,评审组复核 | 指标计算结果、未通过项清单 | 指标计算过程可复算,结论有数据支撑 | 结论无法复算的重新计算 |
| 问题归因 | 未通过项清单、数据血缘、模型记录 | 核查数据来源、加工规则、标注、模型、接口与环境因素,记录证据及责任任务 | 归因岗分析,专家库裁定争议项 | 问题清单与归因结论 | 每一项问题定位到具体对象、环节与责任方 | 补充日志、对照实验和专业复核,证据不足时保持待确认,不以专家意见直接替代事实证据 |
| 整改复测 | 问题清单、补采与返工任务 | 执行补采、清洗、标注修正或重新加工,模型、接口和环境问题由相应责任岗位修复,完成后复测 | 加工责任岗与平台责任岗整改,验证执行岗复测 | 整改记录、复测结果 | 复测指标达到判据,且未引入新的不合格项 | 复测仍不合格的再次归因并整改,直至达到判据 |
| 结论出具 | 复测结果、全过程记录 | 汇总形成数据适用性结论与场景验证报告 | 项目组出具,招标方确认 | 场景验证报告 | 报告含用例、指标、证据与整改闭环记录 | 待处理事项未关闭的不出具最终结论 |
图 2-1 数据生产、验证与运营流程。实线为作业流转,虚线为整改返回。
数据治理贯穿数据生产全过程,知识本体与知识库为各加工环节提供对象、属性、关系、规则及知识服务。数据依次完成采集、预处理、标注、合成、增强、质量检查和验证,四类数据集按照各自业务特点配置加工路径,共用基础能力和质量规则。训练前完成数据质量检查,训练后完成数据集验证;未通过验证的数据依据问题归因和血缘记录定位责任环节,修复后重新执行受影响的质量检查和验证任务。每次返工形成新的任务或版本,保存前后关联和处理记录。
数据治理与加工任务按批准的实施计划协同开展。每批数据进入标注前,核验所涉业务对象、主键、编码、术语、分类分级和标注规则的有效版本。定义缺失、编码冲突或规则存在歧义时,暂停受影响对象的批量标注,完成业务评审、规则发布及试标验证后再处理。已具备条件的任务按计划执行;规则变更后识别受影响样本,组织复核与必要返工,保存变更及处理记录。
建立业务对象、属性、关系、术语和约束规则,形成经评审发布的知识本体版本。知识库接入获准使用的业务资料,记录来源、有效期、适用范围和证据位置,建立可检索知识条目及索引。标注、合成和检索任务引用明确版本的本体及知识内容;关键业务规则关联专业审核依据。知识更新先开展影响分析和回归测试,再发布新版本并通知相关任务。
在采集完成、预处理完成、本体版本发布、知识库交付、标注完成、合成增强完成和数据集版本冻结前设置质量检查。采集检查授权、来源、记录及文件完整性;预处理检查解析、去重、单位及时间规范化结果;本体检查类目、关系、约束和版本兼容性;知识库检查来源有效性、条目完整性及检索结果;标注检查标签准确性、一致性和专业复核;合成增强检查来源标识、生成约束、真实性及跨子集泄漏;版本冻结检查分项规模、质量结果、授权、数据卡和交付文件。
各检查明确对象、规则版本、执行岗位、复核岗位、通过条件和异常处理。未通过的对象隔离并生成整改任务,处理后重新检查;训练后的数据集验证独立执行,未通过时按问题归因返回相应环节,修复后重新质检和验证。
在采集和每个加工任务记录输入对象、来源批次、处理规则、算子及版本、参数、输出对象和执行时间,形成样本与任务级血缘。问题发生后结合错例、规则版本和共享依赖确定影响范围,将整改任务分配至对应来源、环节、批次或算子。返工保留原结果和新版本,重新执行受影响的下游检查及场景验证;共享源数据或规则问题影响多个数据集时,扩大检查范围,禁止仅修复单个错例而遗漏关联成果。
模型通过统一接入网关注册、授权和调用,保存模型名称、版本、许可、配置及测试记录。训练环境与评测环境隔离,基准评测数据不向训练任务开放。模型升级前完成任务适用性、质量、安全和性能回归评测,经批准后切换;异常时恢复已验证版本和配置。训练推理服务按任务交付模型版本、检查点、运行配置、训练记录和评测成果,数据集与所用模型、规则及环境建立可追溯关联。
表 3-1 建设成果与核验要求
| 建设成果 | 交付内容 | 核验要求 |
|---|---|---|
| 四类数据集 | 预训练 615 亿 Token、指令微调 89 万条、偏好对齐 6.6 万组、基准评测 0.95 万条,附版本、数据卡和质量文件 | 各业务领域及用途子集分别达标,按固定计量规则核验有效数量、质量、来源和授权,保留计算记录 |
| 专项智能工具链 | 不少于 9 类 25 项工具链及部署、配置、接口和运行文档 | 逐项核验输入输出、处理规则、权限、异常处理和验收用例,保存功能及性能测试记录 |
| 运营服务管理平台 | 16 项功能模块及平台服务与 SLA 保障能力 | 验证数据及服务管理、订单、交付、清算、审计和对外接口,核验监测与服务记录 |
| 本体与知识库 | 本体版本、术语、知识条目、图谱、检索索引和对象映射 | 核验来源、版本、对象关系、约束、检索效果和接口调用,保留专业评审与测试结果 |
| 数据治理成果 | 治理规划、实施记录、标准规则和不少于 25 份治理文档,支撑 DCMM 三级目标 | 核对治理任务及执行证据,开展规则测试、文档评审和适用性检查,配合评估并整改 |
| 场景验证成果 | 六个专业场景及五个通用场景的方案、用例、运行记录、报告和整改复测成果 | 逐项验证业务能力及指标,核验数据、模型、规则与环境版本,确认问题关闭 |
| 安全及国产化成果 | 国产化清单、适配记录、安全测试、等级保护测评和密码应用安全性评估材料 | 整体国产化比率不低于 80%,统计依据可核验;完成测评评估及整改复测 |
| 运营移交成果 | 数据集发布版本、登记信息、权限及使用限制、运维文档和移交记录 | 检查交付文件校验值、版本和数据卡一致性,测试授权及交付链路,完成双方移交确认 |
编制任务依赖和分阶段实施计划,明确数据授权、网络与资源环境、身份权限、标准规则、工具组件及验收条件。首批加工前完成必要的本体、字典、映射及质量规则发布;各工具按依赖关系部署和测试,数据集分批加工。运营平台的登记、授权、目录和交付能力在相应发布任务前完成验证。治理、安全及审计贯穿建设过程,场景验证使用经质量检查并受控冻结的数据版本。各阶段完成条件和交付节点纳入计划,未达条件时制定纠正措施并履行计划调整程序。
按依赖关系编排数据采集、预处理、标注、合成、增强、质量检查和验证任务,任务执行前核验输入版本、规则、授权及资源条件。各次执行形成有向无环的任务依赖图;整改重新生成任务并关联原失败任务,不覆盖历史输入输出。治理、安全、版本和审计控制覆盖全部任务,四类数据集分别配置加工路径,共享获准使用的基础能力。
通过数据库只读抽取、接口调用、文件交换、测点订阅和离线录入接入数据。接入前核验来源主体、授权范围、数据分类分级和接口安全条件,确定全量及增量识别规则。按批次记录源对象、时间范围、记录数、文件数及校验值,执行对账和入口保护,对不满足条件的数据隔离处理。
建立对象、属性、关系及约束定义,发布本体、字典和业务规则;知识资料完成授权、有效性和内容质量检查后入库,保存证据位置并建立索引。跨系统对象通过主键映射关联,各时间字段保留语义、原值、时区及转换规则,向加工任务提供确定版本的知识和规则服务。
数据加工任务调用专项工具完成标注、合成、增强及质量检查,记录每项任务的输入、规则、模型、参数、输出和血缘。按业务领域、部件类别和任务用途制定训练数据配比,开展配比预实验、继续预训练、指令微调和偏好对齐,保存配置、检查点及阶段结果。独立评测环境使用冻结基准进行模型与数据效果评测,形成质量结论、能力变化记录和问题清单。
开展十一个场景的业务能力验证,定位不合格项并组织整改复测。通过质量检查、评测、场景验证和发布审核的数据集封装为交付版本,完成数据卡、血缘、授权及使用限制文件核验,再移交运营平台登记和提供受控服务。
数据标准、质量规则、分类分级、元数据和血缘管理通过版本化配置及接口贯穿生产任务。任务启动核验适用规则和授权,运行时记录执行状态,完成后回传质量结果与血缘。密码、身份认证、权限、脱敏和审计能力按服务职责配置至采集、加工、存储、调用及交付环节,跨区域访问通过受控接口实施检查。敏感数据按分级策略限制字段、用途、接收方和留存期限,记录操作主体、对象、时间及结果,异常访问触发阻断和告警。
整改任务关联问题样本、来源批次、处理规则、算子和下游依赖,记录原因、影响范围、责任岗位、处理要求及复核条件。按确认的影响范围重新加工和验证,存在共用来源或规则问题时检查其他关联成果。新结果保留与原任务的版本关系,问题关闭后更新质量记录和交付版本。
建立覆盖供需计划、产品工艺设计、制造过程和产品质量的知识本体,定义业务对象、属性、关系、编码及取值约束。知识库保存经授权的制度、标准、工艺文件和业务记录,并登记文件版本、有效期、适用范围及原文位置。本体、知识库与加工规则分别实行版本管理。采集、标注、合成、质检、训练和场景验证任务登记所引用的版本,依据对象标识及证据位置关联源数据,支持复核、影响分析和结果追溯。
知识本体定义设备与部件、工艺与工序、故障模式、质量特性与检验项、物料与物料清单、供应商与合同、能耗与工况七类业务对象。交付类目定义、属性及值域、关系定义、对象标识映射、术语及别名、标准映射和版本记录。类目登记编码、名称、定义、适用范围及上下级关系;属性登记数据类型、计量单位、允许值、必填条件及来源;关系登记两端对象类型、方向、基数及有效时间。发布前检查编码重复、必填信息缺失、关系端点不存在、层级循环和规则冲突。一个术语存在多个业务含义时,分别登记所属领域、定义及适用条件;同一概念的不同称谓作为别名维护。评审未通过的条目不进入正式版本。
建立跨系统对象标识映射,分别保留设备资产编号、产品编号、零部件编号、物料编码、维修工单编号及其来源系统。根据对象类型、产品配置、部件层级、业务关系和有效时间识别记录间的对应关系,区分同一实物对象、同型号产品、替换部件及物料批次。候选映射登记匹配依据、置信度和复核状态;编号重复、关系冲突或依据不足的记录进入待核查队列。业务人员确认后发布有效映射,关联记录保留原始标识和历史版本。工序字典及历史工艺样本分别核验名称、数量、版本、来源和适用范围,形成可追溯的数据清单。
标注任务引用已发布的本体版本、标签集版本和标注规范版本,按对象类型、属性约束及关系定义执行标注。合成任务同时绑定工艺规则、适用参数范围、知识证据和生成模板,生成结果通过约束校验及人工复核后入库。检索任务按对象标识关联知识库条目,返回条目编号、文件版本、适用条件和原文位置。每项任务记录完整的版本依赖清单,运行期间保持依赖配置固定;需要更新时终止或完成当前任务,登记变更原因,经评审后以新的任务标识启动,保留前后结果的关联关系。
场景验证通过对象查询接口检索设备、部件、工艺、物料及其关联记录,查询请求携带对象标识、业务范围、时间范围和访问权限,返回结果保留来源与版本。验证发现的问题分别登记数据缺失、数据错误、对象映射错误、本体定义错误、知识证据缺失、检索错误及模型输出错误,关联验证用例、输入、实际输出、预期结果和复现条件。经复核属于本体的问题提交本体修订任务;其他问题分别交由数据加工、知识库、检索或模型服务岗位处理。修订前分析关联数据集与场景的影响,修订后实施对应复测及受影响用例回归,保存修订和验证记录。
图 3-1 数据加工、知识服务与场景验证流程
总体架构按六层一横一纵组织。六层是数据资源层、采集接入层、知识底座层、加工生产层、训练与评测层、运营服务层;一横是数据治理管控层,在六层之上横向贯穿;一纵是安全与国产化底座,自下向上纵向支撑。场景验证服务跨训练与评测层、运营服务层展开,是本包三类交付成果之一。
图 3-2 总体技术架构。向上箭头为数据与成果的主流向;治理层横向贯穿六层,安全与国产化底座纵向支撑六层。数据来源:架构骨架依招标文件;各层条目依第 3 章对应章节号(3.2.2、3.2.3、3.2.4、3.2.6.2、3.2.6.3、3.2.6.5);功能模块依招标文件相应条款实列 16 项并另增 1 项;25 个工具链依相应条款;硬件台数依第五章硬件采购清单。
架构图给的是位置关系,真正决定可实施性的是层与层之间交什么、交到什么状态算完成。下表把六层的职责与交接物逐层写明,交接物的格式与字段在各节细化。
表 3-2 六层的职责、交接物与完成判据
| 层 | 本层职责 | 向上一层交什么 | 完成判据 | 详述位置 |
|---|---|---|---|---|
| 第一层数据资源层 | 甲方既有系统与资料,本包不建设,只按授权范围取数 | 源系统的只读数据、离线资料、设备时序 | 授权书面确认、接口可连通、样本可取回 | 本卷「数据资源采集接入方案」一节第三部分 |
| 第二层采集接入层 | 五类通道接入、接入四要素核验、增量识别、入口脱敏、批次成形 | 带批次号与采集记录的原始数据,写入落地区 | 入口检查节点通过:四要素齐备、格式合规、脱敏生效、批次台账登记 | 本卷「数据资源采集接入方案」一节、「数据加工生产(一):采集、预处理、知识本体与知识库」一节第二部分 |
| 第三层知识底座层 | 本体类目与关系定义、知识库建设、主数据与对象主键、时间基准统一 | 本体版本、术语表、知识条目与图谱、检索索引、主键映射表 | 口径检查节点与终审门通过:类目与关系经评审、与企业既有编码对齐、检索可用 | 本卷「数据加工生产(一):采集、预处理、知识本体与知识库」一节第四、第五部分 |
| 第四层加工生产层 | 十环节加工、25 个工具链执行、七道质量检查节点判定、定向回流 | 经质检与验证通过并冻结的数据集版本,含数据体、数据卡、质检与验证报告、血缘清单 | 版本检查节点通过:规模、模态、时效、六维质量指标达判据,血缘完整 | 本卷「四大数据集加工生产总体方案」一节、「专项智能工具链总体方案」一节 |
| 第五层训练与评测层 | 训练配比与四阶段训练、评测沙箱、多阶段评测与错题归因 | 知识注入有效性报告、能力增量结论、结构化整改任务单 | 评测可复现(同种子同版本同结果)、增量结论有对照 | 本卷「行业大模型训练推理技术服务方案」一节 |
| 第六层运营服务层 | 功能模块(招标列明 16 个+我方增建 1 个):登记注册、目录与元数据、确权挂牌、订单与交付、清算与审计、SLA 保障、对外接口 | 可对外交付的数据集服务与交易记录 | 版本登记完成、目录可检索、交付通道可用、SLA 指标可度量 | 本卷「数据集运营服务管理平台方案」一节 |
| 横向治理管控层 | 标准、质量规则、安全分级、元数据与血缘;九大能力域规划与实施 | 在每层生效的标准与规则,以及 DCMM 贯标所需执行记录 | 规则在平台上可执行、执行记录可追溯 | 本卷「数据治理规划和实施服务」一节 |
| 纵向安全与国产化底座 | 密码服务、分类分级与出域控制、等保与密评、国产化适配 | 各层可调用的密码服务与安全管控能力 | 密码应用按设计落点生效、测评与评估结论出具、国产化测算表完成 | 本卷「安全方案」一节、「方案可行性分析」一节 |
表 3-2 数据来源:层次划分依招标文件的生产逻辑规定;交接物与判据依各层对应章节的要求条目(3.2.2、3.2.3、3.2.4、3.2.6.1—3.2.6.5)。
六层之中有两层需要特别说明其边界,因为它们容易与甲方既有工作混淆。第一层数据资源层不在本包建设范围,本包对它的要求只有一件:按已授权范围开放只读数据接口。我方不替换、不重建其中任何一套系统,源系统的改造需求若出现,按变更流程另议(详见本卷「系统集成方案」节 1.4、1.10 与「数据资源采集接入」节第二部分的前置条件)。第六层运营服务层属于本包建设范围,但其运营工作本身(挂牌定价、客户拓展、交易撮合)在质保期内由我方提供支持、由甲方主导,机制与分工见本卷「技术创新与机制创新」节运营体系一段。
六层逐层的构成、设立依据、上下层接口与产出消费方如下。六层之中任何一层被当成可以省略的中间环节,省下的工作量都会以返工的形式在下游出现,因此每一层的边界与交接物均须在实施前固化。
本层是甲方既有的数据资产,不在本包建设范围。构成为三部分:十七套业务与设备系统(CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其系统、主数据管理平台、热处理群控系统、安全监管平台,依);离线非结构化资料,含业务域文档、图片、工程图纸、技术书籍、财务票据与音视频;本项目新增的五类 46 台现场感知与检测设备,设备本体由本包供货安装,其产生的数据归甲方。
本层单列成一层而不并入采集环节,原因是本包与甲方的责任边界就划在这一层与第二层之间,划不清楚会在实施期反复扯皮。本包对本层的要求只有三件,都是前置条件而非建设内容:按已授权范围开放只读数据接口或文件通道;提供数据库连接信息、接口信息或 FTP 信息(等各系统同类条目);提供数据字典或数据库设计说明书。我方不替换、不重建其中任何一套系统,源系统的改造需求若出现,按变更流程另议。
接口形式按源系统的条件分别确定,取数时段按各系统要求安排在业务低峰(各系统条目均写明例如 0 点至 5 点)。本层的产出被第二层消费,消费方式是只读抽取与文件取回,不回写。
本层有五类通道:数据库只读抽取、接口服务调用、文件与图纸取回、时序测点订阅、离线与纸质录入。每类通道内含五个固定动作:接入四要素核验(源系统、授权范围、字段清单、责任人)、格式合规校验、入口脱敏、增量水位线识别、批次成形与采集记录登记。本层还承担对象主键的初次贯通尝试,即在批次成形时写入可识别的业务主键。
本层单列而不由加工环节直连源库,有三条理由。其一,脱敏必须在入口完成:高敏字段一旦进入加工域再脱敏,加工域就已经留下了副本,分类分级的管控失效。其二,增量识别必须在入口完成:十七套系统的增量判定方式各不相同,有的有时间戳、有的只能靠主键比对,这件事放到下游做会导致每个加工环节各写一套增量逻辑。其三,批次号必须在入口生成:批次号是后续血缘、定向回流与版本登记的唯一串联键,它若不是在数据第一次进入我方平台时生成,中间就一定有一段无法追溯。
向上交接的是带批次号与采集记录的原始数据,写入落地区,并附数据源登记台账与增量水位线对账结果。交接判据是入口检查节点通过:四要素齐备、格式合规、脱敏生效、批次台账登记完成。本层产出被第四层加工生产层消费,登记台账与水位线同时被横向治理层消费(用于元数据与质量规则的执行记录)。
本层有四件东西:知识本体(类目、属性、关系)、知识库(知识条目、图谱、检索索引、三元组)、主数据与对象主键映射表、时间基准与折算规则。本体的工序类目按工艺部门确认的 28 道备料工序字典建立,部件层级按链条、链轮、溜槽、电机、减速器、液压系统等刮板输送装备部件构成建立。
底座须先立,依据是招标文件已把本体与知识库定为标注口径、合成约束与检索证据的唯一来源。若不先立,三件事会同时失控:标注员各自按理解给标签,同一缺陷在不同批次里有不同名字;合成样本没有约束条件,生成出与工艺事实冲突的内容;检索增强给不出可核对的出处。这三件事的共同特点是发现得晚、返工量大——它们都要到质检或场景验证阶段才暴露,而那时相关批次已经加工完毕。
与下层的接口是从第二层取规范化样本与术语原料;与上层的接口是向第四层下发本体版本、术语表、标注口径与合成约束,向第五层提供检索证据与评测题目的事实依据。交接判据是口径检查节点与终审门通过:类目与关系经评审、与企业既有编码对齐、检索可用。本层产出被第四层、第五层共同消费,且被四个数据集共享——四集共用一套底座,不各建一套,这是本架构与按数据集分别建库的做法的主要差别。
本层是本包工作量的主体,有三块内容:十个加工环节(采集、预处理、本体构建、知识库建设、标注、合成、增强、质检、验证、项目管理)、9 类 25 个专项智能工具链、七道质量检查节点与三类定向回流。
环节细分到十个而不按采集—加工—交付三段组织,原因是门控的位置由环节边界决定。每一个环节之后设一道判定,一批数据的问题最多向后传递一个环节;若只分三段,问题会积累到交付段才暴露,返工的范围就是整段而不是单个算子。这一层的设计取舍已在第 3.0.1 节第三条交代。
与下层的接口是从第二层取原始数据、从第三层取本体与口径;与上层的接口是向第五层交冻结封装的数据集版本(数据体、数据卡、质检报告、验证报告、血缘清单),向第六层交版本封装包与登记信息。交接判据是版本检查节点通过:规模、模态、时效与六维质量指标达判据,血缘完整。本层产出的消费方有三个:第五层用于训练与评测,第六层用于对外交付,服务方案卷的质量评测节用于外部评测送检。
本层按三域一网关组织:训练域(配比预实验、继续预训练、指令微调、偏好对齐)、评测域(冻结沙箱)、推理域(内网隔离区与受控区),三域之上是统一模型接入与评测网关,承担鉴权、数据分级校验、多协议适配、调用计量留痕与版本路由。
评测域做成与训练域隔离的冻结沙箱,原因是基准测试数据集一旦进入训练数据,评测结论就失去意义,而本项目的交付物价值恰恰要靠评测结论来证明。隔离的代价是沙箱内的运维成本与评测作业的排队,收益是模型替换之后评测结论仍然可比(依的可复现要求)。这也是全卷唯一一条写成无回退的技术约束。
本层单列而不把数据集直接交出,原因是本包承诺的不是「交付了多少数据」,而是「数据管用」。管用与否要靠两个证据:知识注入有效性(同一基准在注入前后的能力差)与错题归因(答错的题对应哪一批样本的缺陷)。这两个证据只能在训练与评测环节产生。
与下层的接口是从第四层取数据集版本、从第三层取事实依据;与上层的接口是向第六层提供可对外说明的能力增量结论,向第四层反向交付结构化整改任务单——这条反向接口就是招标文件相应条款要求的定向回流在层间的体现。交接判据是评测可复现(同版本、同种子、同结果)且增量结论有对照基准。
本层承载的功能模块共 17 个,其中招标文件服务采购清单列明 16 个、我方额外增建 1 个:目录与元数据、上传下载、检索预览、版本与动态更新、权限、确权与挂牌、登记注册、数据集服务、订单、交易合同、交易费用、交付、清算、审计、对外接口(以上 15 项与国家数据基础设施对接能力 1 项,合计为招标列明的 16 项),以及我方增建的平台服务与 SLA 保障模块 1 项。对接国家数据基础设施按统一目录标识、统一身份登记、统一接口要求实施。模块数量取采购清单实列的 16 项并另增 1 项,高于招标文件相应条款的不少于 14 个模块要求。
本层的设立依据是:招标文件对本项目的目标不止于建成数据集,还要求数据集可服务行业用户、可在交易所挂牌上架交易。没有这一层,数据集停在资产状态,政策要求的资本转化一段就没有承载物。
与下层的接口是接收第四层的版本封装包与登记信息、接收第五层的能力增量结论作为挂牌说明材料;对外接口按三统一要求提供目录、服务与交易接口。交接判据是版本登记完成、目录可检索、交付通道可用、SLA 指标可度量。本层产出被外部用户消费;其运营工作本身(挂牌定价、客户拓展、交易撮合)在质保期内由我方提供支持、由甲方主导。
本层横向贯穿六层,内容是五类管控对象:数据标准(术语、主数据、参考数据、数据元、指标)、质量规则库、分类分级结论、元数据与血缘库、九大能力域的治理实施记录,另含治理实施要求的决策数据指标体系。
治理层设为横向而非前置阶段,取舍理由见第 3.0.1 节第一条:治理规划的九大能力域成果需要数月,而加工必须尽早启动。横向的含义是治理的产出在每一层都生效而不是只在开头生效——标准在采集层决定字段清单、在知识底座层决定类目命名、在加工层决定质检规则、在运营层决定目录元数据字段。
接口是双向的:向各层下发标准与规则,从各层接收元数据与执行记录。交接判据是规则在平台上可执行、执行记录可追溯。本层产出的消费方是全部六层,另外被 DCMM 贯标评估消费。
本层纵向支撑六层,内容是:商用密码服务平台与服务器密码机承担的国密加解密、数据分类分级与出域控制、等保三级与密码应用安全性评估、RBAC 与三员分权、审计日志留痕与计量,以及数据库、安全软件、云平台、服务器、存储、网络、芯片的国产化适配与比率测算。
安全做成纵向底座而不在每层各设一套安全措施,原因是安全管控的有效性取决于是否存在绕过路径。分级在采集层做、出域控制在网关层做、留痕在交付层做,这三处若各自实现,就会出现分级结论在网关层读不到的情况,而那正是高敏数据出域的典型漏洞。底座的做法是三处共用同一套分级结论与同一套审计日志。
接口是向各层提供可调用的密码服务与安全管控能力,从各层接收调用记录。交接判据是密码应用按设计落点生效、测评与评估结论出具、国产化测算表完成。本层产出被全部六层消费,测评与评估结论同时作为验收材料。
层间接口按施工口径逐条编号列出,每条给出传递内容、形式、触发时机与失败处理。失败处理一列是本表的要点:集成项目的实际故障大多不在接口不通,而在接口通了但上游给的内容不合格,而下游没有拒收的依据。
表 3-3 层间接口清单
| 编号及接口 | 提供方与接收方 | 传递内容及形式 | 触发与检查条件 | 失败处理与恢复 |
|---|---|---|---|---|
| I-01 结构化数据抽取 | 来源数据库→采集任务 | 获准库表字段的只读数据,附来源、范围、时间和增量位置 | 按来源系统确认的频率及低峰窗口执行,先核验权限、查询、字段映射和源端负载 | 连接异常记录任务状态,按验证的策略重试;权限或结构错误先整改;恢复后对已读范围和源端结果对账,重叠部分去重,确认完整后提交进度 |
| I-02 业务接口采集 | 来源业务接口→采集任务 | 接口返回的数据、分页或游标、状态及必要校验信息 | 按确认的调度、事件或订阅触发,核验身份、范围、接口版本及格式 | 区分限流、超时、权限错误和数据错误;保存已成功页面或对象及未完成范围,失败批次保留实际状态,不发布为完整批次;结果未知先查询再决定重试 |
| I-03 文件及图纸接收 | 来源文件通道→文件接收任务 | 原生图纸、工艺卡、报告等文件及清单、版本、校验信息 | 按获准清单接收,确认传输完成及文件完整后解析 | 缺失、损坏、不可读或版本不明的文件逐项登记并补取或修复;原始文件和异常记录保留,未修复对象不得计为合格交付 |
| I-04 设备数据采集 | 设备或历史数据服务→时序及图像采集任务 | 测点、事件、时间戳、序号、单位、帧及实际采样配置 | 按批准的连续、事件或历史补采任务执行,检查时间、顺序、重复、缺帧和延迟 | 中断后按设备支持的时间段、事件号或有效位置补取;不可补取范围记录原因和影响,安排其他合规补采或调整样本,不将缺失数据计为合格数量;处理后重新检查质量与规模 |
| I-05 离线资料录入 | 资料提供单位→录入任务 | 纸质件、扫描件及音视频,附来源、目录、页序或时间位置 | 按接收批次核验授权、完整性、清晰度和文件可读性 | 缺页、损坏和不可辨识内容补交、重扫或由有依据的人工复核处理;保留原件及转换结果,不通过增强生成不存在的文字或事实 |
| I-06 采集成果移交 | 采集任务→加工任务 | 合格批次、源对象标识、采集清单、授权、脱敏及质量结果 | 完成入口检查和对账,接收方核验内容、版本、权限及校验信息后取用 | 未通过对象进入受控异常区并生成整改任务;受影响批次保持未完成状态,复检通过后交接,原始结果及修订关系保留 |
| I-07 采集管理记录 | 采集任务→元数据及治理服务 | 来源登记、实际增量位置、数据量、采集状态和对账记录 | 采集状态变化或批次结束时提交,与实际接收数据关联 | 写入失败保留受保护的待提交记录并告警;先核查差异源于数据、记录或时点,再补录、补采或修订;恢复后对账,禁止无依据重复全量采集 |
| I-08 本体与映射资料 | 采集及预处理任务→本体和映射建设任务 | 规范化业务样本、术语、源编码、对象候选关系及出处 | 本体建设或修订时按授权范围提供,登记来源和版本 | 候选关系冲突或依据不足时保持待核查,检查对象类型、来源系统、有效时间及复合标识,专业确认后发布,不随意选择一个候选值 |
| I-09 本体及规则发布 | 本体与规则管理→标注及适用生成任务 | 本体、术语、标签规范、工艺约束和适用知识版本 | 专业评审通过后按确认的生效计划发布,任务固定记录所用版本 | 未通过版本不发布;已运行任务按影响分析继续、暂停或重建,历史样本按受影响范围复核,不能未经核查全部切换到新规则 |
| I-10 知识检索服务 | 知识库→获准加工及验证任务 | 索引、知识条目、图谱关系、证据位置、适用条件及版本 | 按任务授权调用,基准题目及答案资料独立限制访问 | 服务失败记录请求及状态;使用替代查询方式前确认权限、功能和证据要求仍满足;人工核查结果保留依据,不能以人工检索冒充原接口功能已通过验证 |
| I-11 对象及时间规则 | 映射与规则服务→获准使用任务 | 对象映射、原始与标准编码、有效时间、时区和单位转换规则 | 经确认发布后按生效范围调用,任务记录实际版本 | 映射不成立或时间单位不明时暂停该关联,补充依据及专业确认;新版本不自动覆盖历史结果,按影响范围重算和复核,保留原值及修订记录 |
| I-12 待验证数据移交 | 加工任务→训练及独立评测任务 | 受控冻结数据、数据卡、字典、质检结果、版本指纹、来源授权及血缘 | 完成相应质检和隔离核验后提交;训练子集与基准子集分别封装授权 | 质检或授权未通过的对象不送训;缺项补齐并复核;待验证包不要求预先存在本轮最终验证报告,完成验证后再绑定报告与实际版本 |
| I-13 正式版本登记 | 发布管理→运营平台 | 正式数据封装、版本及许可、数据卡、字典、质检、验证和规定质量评测成果 | 完成相应质量与验证要求、发布审批及登记信息核验后移交 | 缺项或版本不一致时退回补正,保持未发布状态;核验通过后登记、展示和交付,禁止先开放再补授权或验证结果 |
| I-14 加工元数据与血缘 | 加工执行任务→元数据及血缘服务 | 输入输出标识、任务、算子、模型、参数、规则、质量及版本关系 | 按任务执行和状态变化持久化记录,与实际产出关联 | 写入失败保存可核对的执行记录并补传;无法验证来源与处理链的产出不得纳入正式版本;补齐并通过对账后恢复相应流程,不伪造中间环节 |
| I-15 问题与整改任务 | 评测及专业复核→相应责任任务 | 问题样本、判分证据、已确认原因、待核查线索、影响范围及处理要求 | 发现问题并完成必要核验后登记,按实际原因分类派发 | 原因未明时分派补充调查任务,记录承办及验证安排;专家意见结合证据,不直接替代事实;整改后执行质检、复测和回归再确认关闭 |
| I-16 验证结果移交 | 训练评测及场景验证→成果与运营管理 | 知识注入、能力比较、场景结果、实际条件及适用范围 | 报告审核完成且与数据模型版本对应后提交 | 缺少对照、证据或条件不清的结论补充验证,不作为已证实效果发布;对外资料经审核,不把有限测试结果扩成无条件能力保证 |
| I-17 资源与服务交付 | 运营平台→获准用户及对接平台 | 目录、预览、下载、接口及任务服务;保存版本、授权和交付记录 | 公开展示按发布审批执行,实际数据交付按有效授权、订单或相应服务申请执行;国家数据基础设施接口按接入方案联调运行 | 权属、授权或使用限制不明时停止受影响交付;失败或结果未知先查状态,防止重复交付及计量;恢复前复核版本、权限、期限和文件完整性 |
| I-18 治理规则服务 | 治理管理→相关任务及审批流程 | 数据标准、质量规则、分类分级、指标及相应有效版本 | 自动校验规则经样本测试后发布,人工规则配置职责、流程及证据;按确认生效时间执行 | 未经验证或确认的规则不生效;执行失败检查规则及输入;专业判断转相应审核流程,不强行把所有制度转换成机器表达式 |
| I-19 密码与安全服务 | 密码平台及安全组件→获准应用 | 获准密码算法服务、身份与权限校验、脱敏和交付保护策略 | 按应用身份、资源权限、数据分类及设计保护要求调用,检查实际返回结果 | 必要密码能力不可用时停止受影响操作,告警并按恢复方案处理;恢复后核验密钥、授权、数据状态和调用结果;不得经人工审批绕过加密、认证或访问控制,不以明文替代受保护处理 |
| I-20 审计记录提交 | 业务与安全组件→相应审计服务 | 主体、对象、请求或任务、版本、时间、操作和结果,保留来源关联 | 在规定操作节点生成记录,按角色权限保存及汇聚;密码平台日志仅向审计员开放 | 集中写入失败时使用经验证且受保护的持久记录及补传机制;无法可靠留痕时暂停后续受影响操作。已完成的下载、外部调用或其他不可逆操作如实登记并核查影响,不能宣称已回滚;结果未知先对账确认,再恢复或补偿 |
整改任务登记问题对象、来源批次、样本或文件、处理环节、工具及规则版本、证据、影响范围、处理要求和复核条件。任务指向可识别的业务对象及处理动作,原因未明确的先安排调查和证据补充,确认后执行相应修订。
各次执行按输入、输出和前置任务形成有向无环的任务依赖关系,调度前检查缺失依赖、未完成前置条件和循环引用,检查不通过的任务不启动。任务使用固定输入及规则版本,完成后保存状态、结果和实际依赖。
整改生成新的执行任务和修订版本,分别登记问题来源、历史任务及本次输入关系。历史输入、输出、失败和评测记录保留,新任务完成后重新执行受影响的质量检查、训练评测或场景验证。复核通过后更新问题状态及成果版本,未通过时继续建立后续整改任务,不覆盖旧结果或隐去未解决问题。
治理、加工与运营服务通过版本化接口交换规则、数据和执行记录。治理服务发布经确认的数据元、分类分级标签、质量规则和适用版本;加工服务回传实际字段及对象血缘、质量检查结果和问题处理记录;通过发布审批的数据集版本封装包及登记信息提交运营服务;运营服务按有效授权回传使用计量及服务记录。
接口请求包含调用身份凭证、请求标识、业务对象、数据版本、规则版本和时间戳,接收服务核验凭证、权限、范围、版本及结构,不根据请求方自报角色直接授予权限。处理结果返回状态及必要错误信息,保留实际执行对象和结果;重复或结果未知的请求先核查业务状态,避免重复登记、交付和计量。
各次交换记录提交、接收、处理和确认状态,数据文件、元数据及登记信息完成一致性核验。异常记录关联原请求、任务及版本,由对应责任岗位处理,恢复后对账并确认结果,未完成对象保持可查询的真实状态。
异步任务采用持久化队列、幂等处理、失败重试和人工补偿机制。重复请求核对请求标识与业务状态,避免重复登记、重复交付或重复计量;重放任务保留原始请求及重放记录。运营服务不可用时,具备独立运行条件的加工与质检任务继续执行,待发布成果进入受控队列,恢复后核验授权、版本和文件校验值再补办登记。加工服务不可用时,仅对已完成发布且存储、认证和交付链路正常的数据集提供运营服务。接口恢复和人工补偿保留原请求及实际业务状态,不因修改台账抹去失败、重复或已交付的事实。
治理服务不可用时,逐项检查缓存规则的版本、有效期及授权状态。仅在规则仍有效、权限可核验且未触发撤销或风险告警的条件下继续已批准任务;无法确认权限或规则有效性的任务暂停处理,不新增发布和对外交付。恢复后核对变更记录,按血缘识别影响范围,执行补充检查或返工。共享认证、网络、存储和审计服务异常时,依据依赖关系暂停受影响业务,完成恢复验证后再开放调用。
图 3-3 数据生产、验证与发布流程
数据生产在采集、预处理、本体发布、知识终审、标注、合成增强和版本检查等环节实施质量控制,分别明确检查对象、规则版本、覆盖范围、判定条件、执行及复核人员。质量结果与实际输入、输出和处理版本关联,未通过对象进入整改和复检。
后续任务使用已有检查结果前,核验对象内容、版本、规则、授权及适用条件是否保持一致。发生转换、聚合、切分、重标、生成、规则修订或来源变更时,重新检查受影响的质量项;发现跨批次或共用规则问题时扩大核查范围。未受变化影响且证据完整的结果按确认方案引用,保留引用关系及适用范围。
正式数据集质量评测完成首轮全量评测,说明文档、数据质量和模型应用三维度指标 100% 覆盖,并按规定完成缺陷整改及复测。内部环节检查结果作为过程证据提交,不能替代正式评测或减少规定的验证范围。最终成果与实际版本及完整质量记录对应,达到要求后办理发布和交付。
采集、加工、质量检查、评测和交付任务在执行过程中形成相应记录,关联任务标识、输入输出、来源、配置、版本、执行时间、人员及处理结果。采集清单、缺项、标注复核、质量统计、异常和整改资料随实际操作保存,原始记录与后续修订分别保留。
任务完成检查核验规定产出和过程记录是否齐备、内容是否可读、版本是否一致、关键关联是否完整,以及质量和复核结果是否满足条件。检查通过后将任务转为完成;资料未写入、无法校验或缺少确认时,任务保持待补齐或待复核状态,并记录责任和处理要求。
文件、数据对象和记录分别写入时,保存各自持久化及确认状态,完成交叉核验后确认任务结果。失败或部分完成时核查已保存内容及实际业务状态,按恢复方案补传、补录或重新执行,避免重复生成和计量。补充记录标明实际补录时间、原因和证据来源,不以事后补写冒充原始同步记录。
表 3-4 数据生产质量检查与不合格处置
| 检查环节 | 检查对象与内容 | 执行与复核 | 不合格处置 | 形成记录 |
|---|---|---|---|---|
| 采集入口检查 | 检查来源和授权、数据对象与字段或文件范围、采集配置、分类分级及脱敏、格式完整性、原始标识、批次及源端对账 | 采集人员执行,平台完成适用自动校验,数据及安全责任人员按职责复核 | 保留实际接收与失败状态,未经批准的数据不进入一般加工任务;缺授权、字段、文件或质量问题分别补正,复核后恢复受影响任务,不以删除失败批次记录代替处置 | 来源及授权登记、采集批次、原始标识、实际增量位置、脱敏与入口检查、差异及补正记录 |
| 预处理质量检查 | 检查文档结构和页序、表格公式、图像及图纸区域、时序对齐与重采样、编码单位时间转换、缺失重复冲突、结构化文本化及原始来源关联 | 加工人员执行,质量人员复核,专业人员处理业务歧义和低置信内容 | 按问题定位修正解析、转换或规则,低置信及关键业务信息转人工核验;保留原件和前后结果,重新执行受影响检查,不单以程序运行成功认定内容合格 | 规范化数据、处理规则和参数、质量结果、缺项清单、人工复核、修订及复检记录 |
| 本体专业评审 | 检查类目、属性、关系、值域、单位、术语别名、企业编码映射、适用条件及版本;区分同词多义与同义别名,核验层级和关系约束 | 本体建设人员准备,相关业务及专业人员评审确认 | 冲突、缺项和依据不足的条目修订或保持待确认,未通过内容不发布;按影响范围暂停相关标注或生成任务,不扩大到无关任务;修订后重新评审 | 本体文件、术语及别名、映射、专业依据、评审意见、处理及版本记录 |
| 知识专业终审 | 检查条目与图谱事实、来源和证据位置、有效期及适用范围、本体关联、数据字典、检索结果与访问权限 | 知识建设人员自检,业务专家完成专业终审,质量人员核验终审及技术检查记录 | 缺少有效来源、事实冲突、适用错误或未终审条目保持待处理,不用于标注与合成;修订后重新审核及检索验证,保留初始资料和处理过程 | 知识条目与图谱、字典、索引、来源及证据、终审与检索权限测试记录 |
| 标注质量检查 | 检查标签完整性、规范和本体版本、业务准确性、跨标注员一致性、黄金集通过情况及自检抽检仲裁结果;按确认规则记录覆盖和统计范围 | 标注人员自检,质检人员抽检与复核,专家处理争议 | 分析问题来自人员操作、样本、规则或专业歧义,分别安排返工、补充审核、培训或规范修订;达到批次返工条件时按确认范围返工,规范本身有效时保持原规范,修订规则先评审再应用 | 标注规范及实际版本、样本结果、自检抽检、一致性和黄金集统计、争议裁决、返工与复检记录 |
| 合成与增强质量检查 | 核验真实种子、教师模型许可、生成方法、模型及提示词版本、参数、来源标识、用途占比、业务合理性、分布差异、重复与基准相似度;增强同时检查语义和标签一致性 | 生产人员自检,质检及专业人员按规则复核 | 按事实、参数、规则、分布或污染原因修复;不能仅靠降低占比处理错误内容。增强校验不通过的批次整体回退,不纳入数据集版本;基准子集禁止合成数据;重新生成或增强后重新质检 | 种子与许可、生成及增强记录、比例和分布、去重与泄漏检查、业务复核、批次回退、重新执行及复检记录 |
| 待验证版本准备检查 | 核验实际数据与用途、对应环节质检、来源授权、数据卡和字典、版本指纹、血缘、训练基准隔离及评测协议;实验任务样本范围和使用目的明确 | 任务及版本管理人员准备,质量与验证人员检查,权限责任人员核验访问 | 资料或质量未满足执行条件时暂停对应训练验证,补齐后重新检查;冻结实际待验证内容,记录状态和权限。本阶段不预先填写尚未实施的最终验证结论 | 待验证版本清单、实际规模与模态统计、数据卡、字典、质检、指纹、血缘、授权及准备检查记录 |
| 正式版本发布与交付检查 | 逐领域逐用途检查交付规模,合计预训练 615 亿 Token、指令微调 89 万条、偏好 6.6 万组、基准 0.95 万条;覆盖文本图像时序视频,多模态和近 3 年数据条数占比均不低于 40%;检查保真度、完备性、规整性、均衡性、可用性、可信性及规定正式评测与验证成果 | 版本与质量人员核验,业务和专业人员复核,按发布及验收程序确认 | 未满足规模质量、授权、报告或封装要求的不作为合格正式版本发布;按影响范围整改及复检,数据变化后更新实际验证和报告关系。正式评测三维度指标 100% 覆盖、首轮全量、综合得分不低于 85 分,高风险清零,中低风险整改完成率 100% | 正式数据、自描述封装、字典、数据卡、版本指纹、质检及验证报告、正式盖章评测报告、整改复测、来源授权、发布及交付确认 |
质量阈值和统计方法在相应任务方案中明确并确认,已明确的项目数量、质量及安全指标严格执行。
图 3-4 图纸数据加工与板材备料场景验证流程
图纸数据加工以经授权接收的 PLM 任务、原生图纸、有效工艺卡片及工序附图为输入。接收时登记任务标识、文件标识、图号、版本、批准状态、适用对象、来源路径和文件校验值,核对文件清单及关联关系。原生 CAD 文件与扫描图纸分别配置解析流程,保留图元、图层、几何结构和文字要素到原始文件位置的对应关系。工艺资料关联以有效版本、批准记录和适用范围为依据,不能仅凭名称相似或部分编码相同确认配对。
解析、关联、标注、质检、模型验证和场景验证分别记录输入版本、执行配置、处理人员、时间、结果和异常。批次规模、并发数量及解析置信度阈值通过代表性数据试运行确定,记录测试样本覆盖、误识别情况、人工复核工作量、耗时和资源占用,经技术与业务复核后纳入受控作业配置。阈值仅用于任务分流和复核安排,不能替代业务正确性检查,也不改变工艺卡片及工序附图的准确率要求。
表 3-5 图纸数据加工、验证与修订作业要求
| 作业环节 | 输入与处理要求 | 检查与判定要求 | 责任与异常处置 | 成果与交接记录 |
|---|---|---|---|---|
| 文件接收 | 根据批准的访问权限接收 PLM 任务及其图纸、工艺卡片、工序附图和关联清单;记录任务、图号、版本、文件标识、批准状态、适用范围及校验值。源系统访问遵循授权方式和经确认的作业窗口。 | 逐项检查授权、清单完整性、文件可读取性、校验值及关联关系;对需脱敏的数据检查脱敏结果和业务可用性。 | 采集人员执行,数据源责任人员协助核查。缺失、损坏或越权文件进入异常清单,不以空记录替代合格文件;连接异常按接口状态查询及重试策略恢复,防止重复入库。 | 原生文件、接收清单、授权及校验记录、批次标识和异常清单。 |
| 图纸分类解析 | DWG/DXF 保留图元、图层和标注;STP/STEP 提取几何与结构特征;扫描件进行图像处理和文字识别。提取形状、尺寸、材料、公差、技术要求,并建立要素到原始位置的对应关系。 | 检查单位、数值、符号、尺寸关联和技术要求完整性。置信度用于复核分流;对冲突、模糊、未覆盖格式或版式进行人工专业复核,不以高置信度替代正确性检查。 | 加工人员执行,工艺专业人员复核。无法可靠识别的文件隔离并登记原因;通过补充解析规则、原文件核查或人工校核处理,不以推测数值填充关键要素。 | 结构化要素、图元和图层信息、来源位置、解析配置及复核记录。 |
| 工艺资料关联 | 结合图号、零部件编号、变更版本、批准记录、生效范围及业务关联表,确认图纸与工艺卡片、工序附图、设备资料之间的一对一或一对多等实际关系。 | 校验文件版本有效性、引用对象、变更历史和适用条件。编码相等仅作为核验线索;候选关系存在冲突或多个有效对象时,由工艺人员确认。 | 加工人员提出关联结果,工艺专业人员批准。未确认关系保留待核验状态,不用于生成训练答案或工艺结果;已失效资料与现行资料区分管理。 | 带有效期和适用条件的关联表、专业确认记录、相关知识对象及关系版本。 |
| 用途划分与泄漏检查 | 按图纸家族、零部件关系、修订版本及近重复情况归组,再划分训练、开发验证和独立基准用途;衍生、合成和增强样本继承源数据用途限制。 | 检查同源及近重复样本跨用途泄漏。基准评测子集不得使用任何形式的合成数据,也不得作为合成或增强种子输入训练流程。 | 数据管理人员执行,质量人员复核。发现泄漏时暂停相关版本使用,核查已执行训练和评测的影响,重新划分并完成必要的重新训练或评测。 | 用途清单、分组依据、去重及泄漏检查记录、基准封存记录和访问授权。 |
| 标注与专业复核 | 依据有效标注规范、工艺规则、设备条件和图纸要素形成标注;记录标注人员、规范版本、时间、来源和判断依据。 | 按任务类型执行完整性、合法性、业务正确性及一致性检查;分歧经专业复核形成结论,未解决争议不得计入合格交付。 | 标注人员执行,质量人员检查,相关领域专家处理争议。按错误原因确定返工范围;执行错误采用纠正、培训和复核,规范确有错误时履行变更评审并重检受影响数据。 | 标注结果、质检记录、分歧处理结论及必要的规范变更记录。 |
| 合成、增强与候选封装 | 对允许用途的数据开展经批准的合成或增强,记录原始样本、模型、提示词、规则、参数及衍生关系;完成质量检查、去重、计量和候选版本封装。 | 检查事实一致性、适用范围和六维质量;增强校验不通过的批次整体回退。候选包按实际合格量计量,尚未完成的验证不得写为通过。 | 加工和质量人员分别执行与复核。失败结果不进入合格版本;按影响分析修订输入、加工配置或标注,再重做受影响检查。 | 候选数据体、数据字典、数据卡、质量记录、样本清单、版本指纹和血缘记录;状态标明待验证或已完成的实际阶段。 |
| 模型验证 | 使用固定候选版本、训练配置、模型版本和独立测试协议开展相应训练及评测,记录环境、参数、指标、错例和可复现运行信息。 | 核查数据隔离、评测覆盖和结果真实性;对模型输出与专业预期结果的差异逐项记录。训练指标不能替代场景验证或正式质量评测。 | 模型与评测人员执行,业务专业人员复核关键结果。资源、数据、接口或环境不足须建立整改任务,补足条件后执行验证;未执行项目不得判为合格。 | 训练及评测记录、模型版本、测试结果、错例清单和待整改事项。 |
| 板材备料场景验证 | 验证 PLM 任务及图纸接收解析、工艺卡片和工序附图生成、工艺变更自动修订、工艺规则库及设备台账维护、应急工艺通道;验证 DWG/DXF 和 STP/STEP 批量识别、按要素或图层在线预览、PDF 导出和打印,以及结果回传和工艺审核。 | 分别核验功能、输入输出关联和业务结果。全部识别通过后,智能生成的工艺卡片及工序附图内容准确率达到 100%。记录测试总量、识别状态、逐项核验结果、错误明细及计算依据。 | 场景验证人员执行,工艺专业人员核验。识别未通过的情况单独记录并修复,不能从验证记录中隐藏;内容不准确、功能缺失或环境未就绪均不得形成全部通过结论。 | 场景测试记录、生成卡片及附图、预览与导出打印证据、PLM 交互记录、专业审核记录和验证报告。 |
| 原因分析与修订 | 结合原文件、数据血缘、规则与知识版本、模型运行、接口日志、环境状态及测试用例分析错误,区分已证实原因与待验证假设。 | 核查证据能否支持原因及影响范围;共享规则、共同源数据、模型或接口变化须检查关联批次和下游版本,不能仅按当前批次划定范围。 | 相关责任人员联合分析,专业人员复核。原因未明时先安排诊断取证和必要隔离,明确负责人及完成期限;依据验证后的原因安排补采、重解析、重标注、规则修订、模型或接口修复。 | 问题单、诊断记录、原因证据、影响清单、修订任务和版本变更记录。 |
| 复测与正式发布 | 修订后完成受影响环节检查、原错例复测及必要回归测试;完成数据集正式质量评测,核对领域、用途、规模、模态、时效、血缘、安全和交付资料后发布正式版本。 | 保持有效测试判据和强制指标;测试用例或标准答案确有错误时,经专业评审修订、记录版本并重做受影响比较,不因连续失败降低验收标准。问题关闭须有通过记录,不能以待观察代替。 | 质量、评测及相应业务人员复核,授权人员批准发布。未满足条件的版本保持待整改状态;已发布版本受影响时进行受控暂停、修订及通知,保留原版本和审计记录。 | 正式数据集版本、质量评测和场景验证报告、修订及复测记录、成果交接清单和运营登记资料。 |
各加工环节完成后记录检查结果,未通过检查的输出不得作为合格数据进入后续生产或发布。对后续训练、场景验证或质量评测中发现的问题,依据样本血缘、规则和模型版本、执行记录及业务复核结果确定影响范围。涉及共享数据、共同规则、模型或接口的缺陷,同时检查关联批次及下游成果;已发布成果受影响时,采取受控暂停使用、修订和重新验证措施,并保留通知及处置记录。
成果发布前完成加工质量检查、模型验证、场景验证和正式质量评测,核对数据体、说明文档、来源及处理记录、质量报告、场景验证报告和交接清单。各类结果分别留存、相互关联,未完成或未通过的项目不得以其他环节通过结果替代。
容量计划分别核算原始数据、加工中间结果、合格数据集、索引、血缘、审计日志、模型及检查点、训练和评测临时数据、备份副本的存储需求,同时核算采集带宽、解析和质检吞吐、训练及推理吞吐、人工标注复核工时和各阶段峰值并发。四类数据集按领域及用途分别统计,预训练合计 615 亿 Token、指令微调合计 89 万条、偏好数据合计 6.6 万组、基准测试合计 0.95 万条;不同用途的计量单位分别保留,不相互折抵。
资源配置以数据清单、实测文件大小、处理耗时、模型运行记录和实施进度为依据,记录测量时间、测试数据覆盖、软硬件配置、并发条件、统计方法和适用限制。项目实施中按数据增量、有效吞吐、队列等待和资源峰值更新容量计划,核对剩余工作量与剩余有效作业时间。预计不能按计划完成时,及时调整处理配置、作业排期和合格人员或资源投入,履行必要变更手续并重新验证,不降低交付规模、质量要求或强制指标,也不自行顺延合同节点。
表 3-6 数据处理工作量与资源容量测算
| 测算对象 | 计量基础 | 计算与配置方法 | 实测验证要求 | 偏差处置 |
|---|---|---|---|---|
| 合格语料及文件容量 | 按供需计划、产品工艺设计、制造过程、产品质量分别统计预训练 276、70、105、164 亿 Token;指令微调 40、10、15、24 万条;偏好 3.2、0.8、1、1.6 万组;基准 0.4、0.1、0.2、0.25 万条。 | 预训练 Token 数由受控分词器及配置统计;按领域和文件类型实测编码后的字节数、索引大小和封装开销。预计数据体容量采用各类目标量乘以该类实测单位容量后求和,图像、视频、时序及附件单独计量,避免漏计或重复计算。 | 保存分词器版本、配置、样本范围、计量脚本、文件清单和统计结果;核验抽样覆盖、去重结果与实测单位容量的适用性。 | 数据构成或编码方式变化后重算容量并调整配置;保持各领域及用途交付量,不以汉字数、文件数或原始采集量替代合格交付量。 |
| 去重处理与索引容量 | 统计文档、片段、图像和其他样本数量、长度分布、指纹大小、候选对数量及索引开销。 | 精确重复先以校验值或标准化指纹筛查;近重复按数据类型建立候选检索与相似性核验流程。运行时间按指纹生成、索引构建、候选召回、精确核验及结果写入分别测量;索引内存与磁盘容量按实测规模及增长量配置。 | 采用经人工确认的重复和非重复样本验证误删、漏检及跨业务域重复检出情况;监测分桶倾斜、候选数量和峰值内存。 | 调整索引、分区、分批和并发方式,并重新验证覆盖及质量;跨域检查仍覆盖应检对象,不能以跨域抽样替代既定全量去重流程。 |
| 图纸解析与人工校核 | 以实际授权资源清单统计 DWG/DXF、STP/STEP、扫描图纸、工艺卡片和附图数量,按文件大小、复杂度、版式及可读取状态分组。 | 每组自动处理工作量为文件数乘以实测平均处理时间;人工工作量分别累计必核项目、低置信度项目、关系确认和异常处理的实际工时。并发配置依据 CPU、内存、存储读写和适配工具许可的实测约束确定。 | 代表性试运行覆盖各格式、复杂结构、历史版本和异常文件,记录成功率、错误类型、复核比例、人工时间、吞吐及峰值资源。 | 补充解析适配、调整调度和复核人员;资源不足时提交补充投入和排期措施,缺失资料建立补充获取任务,不能仅在数据卡列缺口后视作达标。 |
| 时序采集、存储及派生数据 | 按来源系统及测点清单登记实际记录频率、记录结构、运行时长、事件触发条件和保留要求。 | 周期型记录量按各数据流实际记录速率乘以有效采集时间后求和;事件型记录量依据实测事件频次单独估算。容量计入记录体、时间及设备标识、索引、压缩、必要副本和备份;派生窗口数据单独统计来源及容量。 | 核对源端和接收端计数、时间同步、丢失重复、异常中断及数据分辨率;验证场景需要的原始变化特征是否保留。 | 根据确认的点位、频率和业务工况调整资源。派生降采样不得替代需要保留的原始数据,不以任意切窗、重复记录或改变条目定义凑足模态与时效指标。 |
| 图像、视频和全辐射热成像容量 | 分别核算 15 台红外图像采集设备、6 台在线高温热成像设备和 21 台在线热成像设备;区分 CMOS 熔池图像、温度矩阵、普通预览图及相关元数据。 | 原始帧容量按有效采集时长、实际帧率和每帧字节数计算;编码视频按实测码率乘以时长再除以 8 换算字节数。全辐射温度矩阵、标定和测温参数、时间戳及设备信息另行累计;同一文件的容器与内容不得重复计量。 | 在正常工况、焊接起止、缺陷事件、温度变化和通信恢复条件下验证采集完整性、同步精度、数据可解码性及 SDK 原始数据获取。红外图像采集设备保持帧频不低于 30fps 的能力。 | 留存期限、触发条件、事件前后记录和派生降帧须经过业务、质量及安全评审并验证不遗漏所需事件;不能先行假定只留焊接段或炉次段。必要时增加存储及传输能力,不以丢弃必需原始帧或温度信息解决容量不足。 |
| 标注、偏好判断及专业复核工时 | 指令微调 89 万条、偏好 6.6 万组分别核算,另计其他用途所需标注、专家争议处理及整改复核。 | 按任务类别累计首次处理、复核、仲裁和预计返工工时。每类工时等于相应任务数量乘以实测单项时间;需要多名人员独立判断的任务分别累计投入。预标注节省量以真实试运行结果核算,不预设全部样本只需快速复核。 | 记录样本难度、预标注可用率、复核要求、错误率、人员有效作业时间及质量结果;不同工艺和数据类型分别测量。 | 调整人工与工具协同方式、补充合格人员并安排培训和质量复核;专家库不少于 50 人的建设要求与实际可投入工时分别落实,不能把名册人数等同于全时生产能力,也不因此下调交付任务。 |
| 训练算力与模型存储 | 按实际选用模型、参数规模、上下文长度、模态、精度、训练方式、计划训练 Token 或样本量及训练轮次建立任务清单。 | 在拟用软硬件配置上实测有效训练吞吐,阶段运行时间按计划训练工作量除以实测吞吐计算,并分别计入初始化、数据读取、验证和检查点保存时间。总资源计划按继续预训练、指令微调、奖励模型及偏好对齐的实际任务累计。模型权重、优化器状态、检查点和临时文件分别计量。 | 保存设备及数量、软件版本、并行策略、批量、序列长度、数据构成、显存峰值和稳定运行记录;多模态及长上下文任务单独验证,不能仅用短文本吞吐外推。 | 通过经验证的批量、并行和调度配置提高利用率,必要时补充符合适配与安全要求的算力;变更后复测效果及资源占用,不以跳过训练阶段或降低数据规模替代资源保障。 |
| 基准及场景评测资源 | 基准测试 0.95 万条按领域、题型、模态、模型阶段及评测轮次分别核算;另计场景功能验证、问题复测和正式质量评测工作量。 | 以固定测试协议测量每类任务的处理时间、并发效率、内存和存储占用,按各类执行次数累计资源时间;模型加载、人工评审、报告生成及异常恢复单独计入。评测环境与训练数据访问权限实施隔离。 | 固定数据和模型版本、判分配置、适用随机种子及运行条件,记录每轮实际耗时和结果;检查训练、推理和评测并发时的资源争用。 | 按进度预留可核实的评测资源和执行窗口,调整调度或补充资源并重新验证;不得假定任意一次重放成本完全相同,不因训练占用而取消评测或开放基准数据用于训练。 |
| 血缘、任务状态和审计容量 | 分别统计源文件、样本、派生关系、任务执行、规则和模型版本、状态变更及审计事件;记录一对多、多对一及重复执行关系。 | 按各记录类型的数量乘以实测记录大小计算基础容量,并分别计入索引、关系边、必要副本和备份。按峰值任务并发及单任务事件量测算写入速率,按常用追溯范围测量查询开销。 | 检查样本能否追溯至来源及全部关键处理步骤,并可查询所用工具、模型、提示词、规则、质量结果和授权信息;验证断点恢复、重复提交及批量任务下的关系完整性。 | 优化写入批次、存储分区和查询索引,补充资源并重测;保留所需样本级和处理级关系,不退化为仅有批次号或无法关联的算子日志。 |
| 存储、网络与阶段峰值资源 | 汇总原始区、加工区、合格数据区、索引、模型、检查点、日志、血缘、临时文件及备份,按保留期限和并发时间分别统计。 | 各时间窗口按同时存续的数据及运行任务计算实际占用;复制与备份按真实策略计入。网络按采集、批量传输、训练读取、评测和交付的并发流量核算;资源余量依据实测波动、故障恢复及扩容周期确定并记录批准值。 | 核对资源配置、采购与可用时间、已占用容量、可用吞吐、峰值压力、恢复耗时及项目关键节点;检查所有业务共用资源时的合计负载,避免同一资源被多个任务重复全额分配。 | 建立容量预警与处置记录,提前完成优化、扩容或排期调整;涉及设备、网络和安全变更的履行相应手续,保持合同节点、数据质量及全部交付要求。 |
影像数据采集与留存策略按设备类型、作业工况、质量分析及追溯用途配置。分别保存业务所需的原始帧、视频、全辐射测温数据及时间同步信息,保证数据能够关联到设备、工件、任务和对应工艺过程。采用事件触发留存时,验证触发条件、漏触发情形、事件前后记录范围、通信中断恢复和原始数据完整性;在验证通过并完成审批前,不以触发截取或降帧结果替代必需的原始记录。容量不足时按剩余空间、预计增量和补充资源周期提前处置,不能自行删除未达到保留条件的数据。
血缘采集随数据接收、解析、转换、标注、合成、增强、检查、训练验证及版本发布同步执行,关联源文件、样本、任务、工具、模型、提示词、规则、配置和输出版本。任务状态与血缘记录保持一致,记录持久化失败时保留实际执行状态,阻止依赖缺失证据的发布操作,并按故障记录恢复和核对。发现历史记录缺失时,依据可信原始文件、执行日志及版本清单开展补充核查,明确已确认和无法确认的关系;无法证明质量或来源的成果不计入合格交付,按影响范围安排重处理与复验。
数据集加工生产平台、数据集运营服务管理平台和数据治理平台通过受控接口协同运行。各系统分别管理其业务对象、服务身份和访问权限,建立用户及服务身份映射、数据集标识关联和版本关联机制。数据集从接收、加工、检查、验证到发布移交持续保留来源及处理记录;运营侧登记的数据集版本与加工侧正式发布版本建立可核验对应关系,不因跨系统移交丢失原始标识、版本指纹和血缘。
身份认证集成保留各系统必要的角色分离和最小权限控制。元数据、血缘及审计信息按业务用途、数据分类分级和授权范围查询,跨系统汇聚时继续执行原有访问限制。商用密码服务平台的登录、管理及密码调用审计日志仅向审计员开放,不能因统一检索或日志汇聚而扩大其他角色的读取权限。涉及权限撤销、账户停用和服务身份变更时,及时同步相关访问控制,记录生效结果与异常处置。
数据集加工生产专项智能工具链支持数据采集、数据预处理、领域本体构建、知识库构建、数据标注、数据合成、数据增强、数据质量检查、数据验证和数据集项目管理。配置思维链、长上下文、多轮对话、多模态对齐、智能标注、生成增强、质量分布分析、生成控制评测、验证归因九类工具,交付二十五个工具链功能组件。各组件通过作业标识、数据版本、规则版本和运行日志关联,记录输入、处理参数、输出及异常结果。
数据集运营服务管理平台提供数据及服务管理、订单管理、交付管理、清算管理、审计管理、平台服务与 SLA 保障、对外接口能力。数据集发布前完成版本登记、权属及授权材料审核、使用条件配置和交付方式确认;订单、授权、交付、计量、清算及审计记录关联保存。平台服务设置运行监测、故障告警、服务请求受理、恢复验证和服务报告机制。
数据治理工具管理数据元与数据标准、质量规则、元数据、数据血缘、数据分类分级和访问权限。规则发布实施版本控制和审核审批;加工任务引用确定的规则版本,处理完成后回传质量结果和血缘记录。
在采购的通用服务器上完成数据集加工生产平台的安装、配置和适配,在采购的接入连接器上完成数据集运营服务管理平台的安装、配置和适配。部署前核验处理器、操作系统、内存、存储、网络接口、数据库及依赖组件的版本与兼容性,形成部署清单和安装记录。对安装完成的服务执行启动停止、权限访问、接口调用、数据交换、异常恢复和业务流程测试,保存配置、日志和测试结果。
数据治理平台与相关加工、运营服务按照经确认的资源及网络部署方案集成,记录实际承载节点、服务地址、端口、数据存储位置和调用关系。训练、推理及评测环境实施相应访问隔离,基准数据采用独立授权和受控访问,原始业务数据及敏感资料不得因模型调用或评测上传至未经授权的外部环境。跨安全区域业务访问通过受控接口执行身份认证、权限校验和审计;数据服务、管理维护及系统内部依赖分别配置必要访问规则,不开放无关端口或越权数据库访问。
完成服务器密码机国密算法与应用接口调试,核验密钥管理、密码调用、权限分离和日志审计功能;完成采购硬件的网络连接及适配,核对链路、地址、时间同步、数据传输和异常告警。涉及现有网络和系统配置变更时,履行变更审批、备份、实施及恢复验证手续,按实际测试结果确认集成状态。
各服务通过经批准的身份映射和认证接口协同,分别设置人员及服务账号权限。加工过程数据、运营订单及清算数据、治理管理数据按业务职责分别保存;元数据、血缘和审计记录交换遵循分类分级、最小必要和原始访问权限要求。商用密码服务平台的审计日志仅向审计员开放,统一汇聚、备份或检索不改变该限制。
加工中间数据和待验证版本不得作为正式数据集对外发布。对外交付核查正式版本、发布审批、数据权属及许可、接收方授权、使用条件和交付范围,保存交付清单、版本指纹、传输结果及接收确认。目录可见范围与数据下载或使用权限分别控制;授权到期、撤销或版本暂停时,及时停止相应访问并记录处理结果。
订单、交付、计量和清算记录由运营服务关联管理,通过受控接口提供必要状态和核对信息。治理标准及规则按版本发布,加工作业保存所引用版本、适用范围和执行结果;权限策略变更及时生效,执行记录保留当时策略依据,不能以任务使用历史配置为由继续已撤销的访问。
表 3-7 平台功能与服务接口
| 系统 | 服务功能 | 输入对象 | 输出对象 | 接口与访问控制 |
|---|---|---|---|---|
| 数据集加工生产平台 | 执行数据采集、预处理、本体与知识库构建、标注、合成、增强、质量检查、验证、版本发布及数据集项目管理;按作业调度运行九类25个工具功能组件,记录输入、处理参数、输出和异常。 | 获准的源系统数据与离线资料、经专业审核的知识成果、数据标准与质量规则、标注规范、加工配置。 | 加工样本、质量检查与验证记录、算子级血缘、候选数据集与正式发布版本及版本封装包。 | 向数据集运营服务管理平台提交正式版本及登记信息,向数据治理平台回传元数据、质量结果和血缘,按授权调用密码服务完成加解密与签名。接口按服务身份、数据分类分级和授权范围校验;加工中间数据和待验证版本不对外发布。 |
| 数据集运营服务管理平台 | 提供目录与元数据、上传、下载、权限、动态更新、检索预览、版本、服务、对外接口、登记注册、确权、挂牌展示、交易合同、交易费用、全流程审计等功能模块,以及平台服务与SLA保障能力;受理服务请求,记录运行监测、故障告警、恢复验证和服务报告。 | 加工侧正式发布的数据集版本及登记信息、权属与授权材料、质量检查与验证结论。 | 对外数据集目录与数据服务、订单、合同、交付、计量、清算、审计及服务质量记录。 | 对外提供目录、服务与交易接口,按接收方身份、订单或服务授权、用途、期限和转用限制放行;目录可见范围与下载使用权限分别控制;授权到期、撤销或版本暂停时停止相应访问并留存记录。 |
| 数据治理平台 | 管理数据元与数据标准、质量规则、元数据、数据血缘、数据分类分级和访问权限策略;规则发布执行版本控制与审核审批,保留适用范围和生效记录。 | 各系统报送的元数据、作业执行记录与质量结果,以及经批准的标准、规则和分级依据。 | 经审批的标准与规则版本、分类分级结论、血缘关系、授权策略及治理执行记录。 | 按版本化接口向加工侧和运营侧下发标准与规则;元数据、血缘与审计信息按业务用途、分类分级和授权范围提供查询,跨系统汇聚不扩大原有访问权限。 |
建立应用、组件、设备和网络连接的部署清单,登记各服务实际安装位置、承载资源、软件版本、依赖关系、存储位置、接口地址、端口、服务账号和管理责任。数据集加工生产平台在采购的通用服务器上安装和适配,数据集运营服务管理平台在采购的接入连接器上安装和适配,并完成服务器密码机国密算法调试及采购硬件网络连接。部署清单与安装记录、配置文件、授权清单及联调结果关联保存。
按业务重要程度、数据变化量、备份能力及实际资源制定备份和恢复方案,明确故障检测、影响评估、停止受影响操作、状态核对、数据恢复、业务验证和恢复批准的操作步骤。恢复时间及可接受数据恢复范围分别测量和记录,不以服务进程启动成功代替业务恢复。涉及共享存储、身份服务、网络或密码服务的故障,检查全部依赖业务及已有结果的有效性;恢复后核对任务、版本、订单、交付及审计记录,确认一致后恢复相应操作。
表 3-8 系统部署、资源配置与故障恢复要求
| 系统或服务 | 部署与组件要求 | 数据输入及成果 | 资源配置依据 | 故障处置 | 恢复验证 |
|---|---|---|---|---|---|
| 数据采集服务 | 按源系统授权、接口条件及安全区域配置数据库、接口、文件、设备流和离线资料采集组件,登记实际承载位置。不同来源分别管理增量位置、文件校验值、事件序号或快照,不把所有采集组件当然部署到接入连接器。 | 接收业务系统、设备和离线资料的获准数据;输出原始文件或记录、批次清单、授权及校验记录、来源位置和采集异常。 | 按各来源实际增量、文件大小、测点频率、峰值流量、保留时间、网络条件和补采窗口核算带宽、缓存及存储。 | 连接失败先判断超时、授权、限流、源端维护或数据异常;按已确认策略重试。持久化采集位置与已落地数据核对一致后推进,不因重启跳过未落地数据;未知结果先查状态。 | 通过增量对账、重叠补采与去重核查遗漏和重复;验证时间、主键、文件及事件连续性,异常处理完毕后恢复正常任务并保存记录。 |
| 数据集加工生产平台及专项智能工具链 | 在采购的通用服务器上安装和适配加工平台,配置九类25个工具功能组件、作业调度、质量检查、版本及血缘记录能力;记录各组件实际资源和依赖。 | 接收原始数据、有效知识成果、规则及配置,输出加工样本、检查结果、候选数据集、验证记录和正式版本。 | 按各领域及用途目标量、格式复杂度、实测单位处理耗时、并发和中间结果大小核算CPU、内存、存储及必要计算资源,不把合同数据量直接等同于瞬时负载。 | 依据任务阶段和持久化状态决定重试、续作、重处理或回滚,保留失败记录;输出写入失败不得计入合格版本。增强验收不合格的批次整体回退,其他故障按实际事务边界及影响范围处理。 | 核查任务唯一标识、输入版本、已完成输出、血缘及检查记录,防止重复生成、重复计量和遗漏;修订输出重新完成适用质量检查。 |
| 知识本体、知识库及检索服务 | 在经确认的部署资源上配置本体、知识库、图谱、检索及业务标识映射服务;专业审核通过的内容方可发布,记录依赖和接口。 | 输入规范化资料、企业编码、专业确认记录和有效标准;输出本体、术语、知识条目、图谱、来源索引和映射关系。 | 按实体、属性、关系、文档片段、向量或其他索引的实际数量及大小测算存储、构建时间、查询并发和内存峰值。 | 发布失败停止该版本使用;仅在旧版本仍获授权、业务有效且与当前调用兼容时恢复其服务。检索故障时可按获准方案使用结构化查询和专业复核,但不得使用未经终审知识或虚构检索证据。 | 检查版本一致性、查询正确性、证据出处、访问权限及受影响任务;业务要求无法满足时暂停相应自动处理,修复后重检,不把人工临时结果当作原自动能力已通过验收。 |
| 行业模型训练、推理及评测服务 | 配置训练、推理和评测环境及模型接入控制;建立实际资源和访问隔离关系,基准数据独立保存并限制训练任务访问。 | 输入获准的数据、知识、模型和配置;输出模型及检查点、训练日志、各阶段评测报告、知识注入与偏好对齐等验证成果及整改记录。 | 按模型、模态、上下文、训练方式、计划工作量、实测吞吐、显存峰值和评测轮次计算资源与时间,并核算并发争用。 | 训练中断先校验检查点完整性及适用的数据、模型、优化器和运行状态,按恢复方案续训;评测保留失败记录后重跑;推理暂停受影响请求并核对已执行状态。共享设备、网络或存储故障按依赖关系逐项识别影响范围,分别核验各侧受影响的任务与已有结果,不以环境隔离直接认定其他侧未受影响。 | 核对数据及模型版本、代码、依赖、配置、随机状态和关键结果;记录恢复前后差异及原因,必要时重新执行受影响评测,不能仅凭同版本和同种子认定结果完全一致。 |
| 数据集运营服务管理平台 | 在采购的接入连接器上完成安装和适配,配置16项功能模块及订单、交付、清算、审计、服务监测和对外接口能力,记录实际组件及承载关系。 | 接收正式版本及登记、权属、授权和质量资料;形成目录、订单、合同、交付、计量、清算和服务质量记录。 | 按数据集及版本量、并发用户、接口频率、交付流量、订单与审计数据量测量容量;按真实资源验证模块扩展能力。 | 区分模块故障和共享依赖故障,核对受影响订单、交付和清算状态;外部操作结果不明时先查询或对账,防止重复交付或清算。交付方式变更须核验合同及订单约定、授权、安全措施和接收方确认,不自动转为离线交付。 | 核验目录、授权、订单、交付及清算记录的一致性,完成传输校验、接收确认和审计补充核查;按分级SLA记录故障时段、响应、恢复和影响,生成服务质量报告。 |
| 数据治理平台及治理服务 | 配置标准、质量、元数据、资产、分类分级、指标及数据服务等治理能力,记录与加工、运营和来源系统的实际集成位置。 | 接收元数据、执行及质量记录;发布经批准的标准、自动检查规则、专业审核要求、指标定义和授权策略,形成可追溯治理记录。 | 按数据元、规则、对象、关系、样本及事件量计算存储和索引,按峰值写入、查询和规则执行量验证性能。 | 规则发布失败保留原实际状态,评估旧版是否仍合法、有效和兼容后决定恢复方式;已撤销授权和失效规则不得随版本回退重新生效。备份频率与恢复范围依据经确认的数据恢复要求和演练结果配置,不预设每日备份即足够。 | 恢复后核对规则生效范围、元数据、样本关系、血缘及权限;基于可信执行记录核查缺失关系,无法确认的记录保持异常并处置,不能推定所有血缘均已补齐。 |
| 商用密码服务平台与服务器密码机 | 完成商用密码服务平台部署及采购的1台服务器密码机国密算法调试,按实际设备与软件资源验证调度能力、接口适配、密钥权限及三员管理,不虚构额外密码机或双机资源。 | 接收获准的密码调用,提供指定数据集、用户及企业关键数据、运营元数据等加解密,以及哈希、签名验签和对应审计记录;数据使用授权另由相应业务控制执行。 | 按算法、数据长度、批量规模、并发及实际加密和验签频率测量性能,核对设备参数与应用端到端耗时。 | 必要密码服务不可用时停止受影响操作,不通过人工审批改走明文、跳过验签或绕过密钥控制。审计故障时保留可持久化的真实执行证据;不能可靠记录的后续受控操作暂停。已发生的外部动作按实际状态核查,不谎报已回滚。 | 修复后核验算法调用、密钥和权限有效性、数据完整性及日志完整性,完成业务对账。审计补录保留原事件时间、证据来源和补录时间;密码平台日志仅向审计员开放。 |
| 采购硬件网络连接及适配 | 完成采购设备的安装连接、网络接口与通信适配,登记设备、端口、地址、时间同步及获准访问关系;与现有网络的变更按批准方案执行。 | 输入设备数据及系统通信请求;输出可核验的传输数据、运行状态、连接记录和告警。 | 按设备接口能力,同时采集流量、数据传输和异常补传的峰值核算链路负载,验证实际吞吐及丢包情况。 | 定位设备、链路、地址、权限、时间同步和协议异常;按批准方案恢复或切换具备条件的链路,不通过关闭访问控制或未经许可改路恢复业务。 | 核对连接、时间戳、采集连续性、补传、重复数据及告警恢复,完成相关系统联调和业务确认后恢复正常运行。 |
人员账号与服务账号分别管理,禁止共用个人账号执行系统任务。人员账号按岗位角色配置功能和数据访问范围;服务账号绑定具体应用、组件和调用用途,限定允许访问的接口、资源及操作,记录授权人、生效时间、有效期和撤销状态。账号新增、变更、停用和权限调整按审批流程执行,权限撤销及时传递至相关服务,缓存授权同步失效。
跨系统调用按接口安全方案配置可验证的调用方和服务方身份认证,校验证书或其他获准凭证的有效性、适用对象及撤销状态。凭证由受控方式保存和轮换,轮换前完成兼容及连接验证,保留操作记录;失效、来源不明或权限不足的凭证不允许继续调用。
每次数据访问分别核验身份、角色权限、业务用途、资源范围、数据分类分级、字段限制及授权期限。具有较高访问级别不代表可以访问全部同级或低级数据;仍须满足该资源的具体授权条件。接口对获准字段执行查询、脱敏、下载或处理操作,对拒绝请求记录必要的主体、资源、时间、原因及策略版本,避免在错误消息中泄露敏感数据。
对外交付及定向开放同时核对数据权属和许可、正式发布状态、接收方身份、订单或服务授权、用途、期限与转用限制。缺失必需的分类、授权或使用条件时停止该项交付,转入资料核验和审批处理;审批通过后重新执行检查,不能通过人工放行绕过必要密码、权限或审计控制。
对原始数据及文件、业务标识映射、本体和知识库、数据标准、质量及安全规则、标注规范、工具及代码、模型、提示词模板、执行参数、数据集、评测数据和判分配置实施版本管理。各对象记录唯一标识、版本号、内容校验信息、适用范围、审核状态、生效时间、修改原因及发布记录,并建立输入、执行和输出之间的关联关系。
加工作业启动时固化本次执行使用的数据和技术配置,记录任务标识及完整配置清单。运行中需要修改数据、规则或模型时,先按影响范围暂停相应任务,履行变更审核,再以可追溯的新执行记录继续处理;不得覆盖原配置后仍宣称属于同一次未变更执行。身份权限和紧急安全限制按当前有效策略校验,任务绑定历史版本不能延续已经撤销的权限或已经禁止的处理方式。
标准、知识、工具或模型变更后,依据对象依赖、样本来源、执行记录和发布关系识别受影响批次、数据集、模型及下游服务。分别确定是否需要重新解析、标注、检查、训练、评测或发布,记录评估依据、责任人员和处置结果。共享规则或共同来源存在问题时,检查相关历史版本;不能仅以批次不同认定不受影响。
正式发布包关联实际使用的版本清单和验证资料,支持按样本、任务、数据集及模型追溯;修订版本保留与原版本的差异、影响范围和复验记录。原始版本、版本审批、配置变更和验证记录按批准的保留策略保存,修订操作保留操作者、时间、原因和前后版本对应关系,不覆盖既有版本。
训练推理服务设置训练环境、推理环境、评测环境及模型接入网关。训练环境开展数据配比预实验、继续预训练、指令微调和偏好对齐,接收经批准并冻结的数据集版本,输出模型检查点、训练配置、运行日志和训练结果,不直接向业务系统开放推理接口。推理环境提供在线推理、批量生成和检索增强服务,按数据分类分级和授权范围配置内网隔离区、受控区及对应访问策略。评测环境独立保存冻结的基准评测数据、评测程序、评分规则和运行配置,对待评模型执行确定版本的评测任务。
模型接入网关统一实施身份认证、权限校验、数据分级检查、协议适配、版本路由、调用计量和审计。调用记录关联用户、任务、模型版本和数据版本。提示词及响应内容按分类分级策略脱敏、加密和限权保存,审计人员仅在授权范围内查阅;留存期限届满后按照审批流程清理。
训练环境与评测环境使用独立存储和访问凭证。基准评测数据以只读方式提供给评测作业,训练任务无权访问;训练数据制作和版本发布时实施样本交叉检查,防止评测样本及其近重复内容进入训练数据。推理受控区仅调用已批准的数据集和知识库。涉及未脱敏工艺、质量数据的任务在内网隔离区执行,逐项核验业务必要性、访问授权及输出限制,禁止将原始敏感数据转发至受控区。跨区请求经过网关校验,仅传递获准的数据字段和处理结果。
训练推理服务向运营平台提供模型版本、评测报告和数据集与模型的关联记录,向治理服务提供质量检查结果及问题归因记录,向场景验证任务提供经授权的推理和评测接口。接口采用最小权限控制,记录请求、处理结果和异常情况。
训练任务异常后,校验最近有效检查点、数据版本和环境配置,确认一致后恢复训练。评测任务失败后保留失败日志,使用登记的数据、模型、代码、依赖和参数重新执行,并核对结果差异。推理服务异常时暂停受影响的场景任务,保留排队状态和已完成结果,恢复后检查任务幂等性再继续执行。共享资源故障按依赖关系识别影响范围;既有评测报告如涉及受损数据、错误配置或失效模型版本,暂停使用并重新验证。
跨系统数据关联分别识别设计对象、实物对象、生产任务、工艺过程和质量记录。部件或物料编码用于识别设计及物料类别,实物编号或批次用于识别具体生产对象;工单记录生产任务,炉次或加工事件记录一次实际作业,检验批及检验记录反映相应质量检查对象和结果。关联时保留各对象原有编号及其业务含义,不能将工单号、炉次号或检验批号直接作为工件编号。
依据BOM、工单明细、投料或领料记录、工序流转、装炉及加工记录、报验和检验明细,建立对象之间经核实的一对一、一对多或多对多关系。每条关系记录来源系统、原始记录标识、对象类型、关系类型、适用版本或时间范围及业务确认依据。同一工单涉及多件工件、同一炉次包含多个批次、同一工件发生返工或复检时,分别保留明细和事件,不合并为唯一对应关系。
历史资料缺少实物级标识时,记录实际可确认的批次或任务粒度,并登记缺失信息及补充核查任务。不能仅凭编号相近、时间接近或相同材料自动确认实物关联,也不能把加工侧生成的记录标识当成源系统已存在的工件编号。
建立业务对象映射记录,登记来源系统、原始表或文件、原始记录标识、对象类型、业务编号、目标对象及编号、关系类型、关系基数、来源证据、适用时间、适用版本、核验状态和责任人员。原始编号按来源保存;统一物料编码、组织及人员主数据作为相应对象编码对齐的基础,关联生产和质量对象时继续核验实际业务关系。
优先采用来源系统中已建立且经核验的关联键、业务明细及有效流转记录。对历史编号、版本变更、拆分合并、返工和跨系统编码差异,结合批准记录及业务证据建立映射,不以字符串相同或多个候选中分数最高直接判定有效。自动匹配规则记录适用范围、规则版本和测试结果,疑似匹配进入专业复核。
关系状态区分已确认、待核验、冲突和失效,状态变化保留审批及证据。存在多个候选或不一致证据时,禁止未经确认选择其中一条作为训练标签或质量追溯依据。缺失关系建立问题清单,明确待补资料、责任人员、影响的数据用途及处理期限;补齐后重检关联和受影响样本。无法确认的关系保持其真实状态,相应数据仅在经过质量评估、允许缺少该关系的用途下使用,不计入要求关联完整的合格样本。
时间处理分别保存源端时间、业务事件时间、采集接收时间和加工时间,登记时区、时间单位、原始精度、来源设备及同步状态。时间格式转换使用受控规则,保留原始时间值与转换后时间;原记录时区或单位不能确认时,先进入异常核验,不能直接套用默认值。显示时间与存储时间采用明确的转换规则,避免跨日和跨时区记录被错误排序。
设备时序与视频、图像关联前,核查设备时钟、接口时间戳、触发信号和采集链路。通过可识别的同步事件或其他可验证依据测量时间偏移及变化,记录校正方法、测量区间、误差和规则版本。网络传输及队列延迟不直接当成设备时钟偏移;接收时间不能在缺少证据时替代真实作业发生时间。
按数据类型和业务用途确定对齐粒度、窗口长度、容许偏差、插值或重采样方法。连续测量、离散状态及报警事件分别处理;状态切换和缺陷事件保留原始时点,不采用不适用的插值生成虚假状态。补齐值标记方法及来源,保留缺失、异常和数据间断信息。重采样结果与原始序列建立对应关系,检查短时峰值、异常事件和工艺特征是否丢失。
工单报工、检验登记等人工记录分别保存实际业务时间与录入时间,关联时结合工件、设备、作业记录及业务确认,不按录入时间就近强配。对迟到、乱序及补传数据重新核验受影响窗口和关联结果,生成修订记录并重检已使用样本;预测类样本按预测时点限定可用信息,避免使用当时尚未发生或尚不可获得的后续结果。
工序、部件、产品、物料和质量特性等业务对象采用业务主管部门审核发布的代码和字典。字典记录代码、名称、定义、适用范围、版本、生效日期和管理责任人。采集与加工任务记录所用字典版本;对缺失值、无效代码及无法匹配的记录建立问题清单,完成业务确认后更新映射关系并重新校验。字典变更发布前开展影响分析,识别受影响的数据、加工规则和数据集版本,保留变更审批、转换处理及复核记录。
按业务场景、工艺路线及数据用途确定必须具备的对象关联清单,并在检查前固定适用范围。热处理质量分析核验工件或批次、加工事件、工艺曲线及检验结果之间的关系;焊接质量分析核验工件、实际焊接事件、工艺参数、影像和检验结果之间的关系。未经过相应工序的对象不强行配置炉次或焊道关联,适用性判定保留业务依据。
对适用对象全量统计关联状态。必要关联完整率为全部必需关系已经核实的对象数除以应建立这些关系的适用对象总数,再乘以100%;缺失、冲突和待核验对象计入应检查范围,不通过删除异常对象缩小分母。按业务域、对象类型、时间范围及来源批次分别统计,同时列示总量、已确认量、缺失量、冲突量和待核验量。
关联正确性由业务专业人员按确认的核查方案验证,覆盖自动匹配、人工确认、跨版本、返工、复检及存在冲突的记录,逐条对照源记录和关系证据。正确率按核验正确的关系数与实际核验关系总数计算,统计结果同时注明核验范围和发现的错误类型,不能用键字段非空率代替业务关联正确率。
试运行形成基线及整改清单,最终交付按确定的场景质量要求、数据集质量指标和验证结果判定。需要完整关联的样本,相关关系未核实前不计入该用途的合格交付;发现关联错误时追溯其影响的数据、模型和验证结果,修订后重新检查。数据卡记录真实缺口及限制,不能以记录缺口代替完成整改或降低验收要求。
表 3-9 业务对象关联与核验要求
| 关联对象 | 来源资料与核查对象 | 关联与核验要求 | 结果及追溯记录 | 异常处理 |
|---|---|---|---|---|
| 设计部件、BOM与生产对象 | 核查PLM的零部件、BOM、图纸和变更资料,以及生产任务与实际使用版本的对应记录。 | 区分部件类型、BOM位置、设计版本与具体实物或批次;核验BOM生效范围、工单明细和生产所用版本。一个部件编码对应多个实物时保留各实物或批次明细,不把设计编码作为唯一实物标识。 | 记录设计对象、版本、BOM关系、工单或实物标识、适用范围及来源证据;原始编号与加工侧记录标识分别保存。 | 缺少生产关联记录时建立待核查项;变更版本冲突交业务人员确认,未经核实不用于生成工艺或质量关联标签。 |
| 施工令、项目、订单与物料领用 | 从ERP、WMS及经授权的项目、订单和领料资料核查实际业务关系;登记各系统实际存在的标识和字段。 | 核验项目或施工令与订单、领料、退料、转移及批次明细,保留拆单、合单和数量分配关系;同项目或同日领料不能直接证明属于同一实物。 | 保存来源单据标识、明细行、对象关系、数量和单位、业务时间及确认依据,关联退料和调整记录。 | 缺单、数量不符、跨项目使用或编码冲突分别登记,补查业务记录后确认;不得按时间最近或名称相似强行配对。 |
| 生产工单、工序与实物或批次 | 核查MES生产工单、工序执行及经授权的报工、流转记录,结合适用的工艺和对象标识。 | 按工单明细确认产品或部件、数量及执行工序,分别识别正常加工、返工和复制作业。工单与工件、工序事件的关系可为一对多或多对多,按实际明细保存。 | 记录工单、明细行、工序、执行事件、对象、开始结束时间、版本及来源证据,关联每次修订或重新执行。 | 流转中断或实物标识缺失时保持实际可确认粒度并登记影响,不宣称已实现实物级贯通;补齐后重检相关样本及质量结论。 |
| 热处理事件、工件或批次与检验结果 | 核查热处理群控数据、获准的加工任务或装载记录,以及QMS等来源的实际检验资料。 | 按设备、实际作业事件、对象和处理时间核验过程曲线与质量结果;具备炉次记录的按炉次核验,连续或其他不以炉次组织的加工按真实事件组织,不能强造炉次号。区分返热、复处理和复检,确认结果对应的工艺阶段。 | 保存设备、事件、工件或批次、工艺参数、时序范围、检验对象及结果关系,记录时间校正和业务确认依据。 | 对象关系、工艺阶段或检测归属无法确认时,不形成已确认的工艺—质量配对样本;未关联曲线是否可用于其他用途须经质量评估和授权确认。 |
| 焊接事件、焊道、参数与影像及检验结果 | 核查实际焊接任务、工位或机器人、SCADA参数、图像视频时间戳、工艺记录和焊后检验资料。 | 依据工件或批次、设备、任务、焊道位置、打底/填充/盖面类型、作业起止及同步证据建立关系。多次焊接、返修和重复通过分别记录执行事件;不能只用工件号加焊道类型形成必然唯一的标识。 | 保留来源标识,并为加工记录建立唯一事件标识及其生成规则;关联参数窗口、影像片段、工艺条件、缺陷位置和检验结果,记录对齐误差及核验状态。 | 触发信号、时间同步或对象信息不足时标记待核验,不按时间邻近直接给影像附加缺陷标签。补采或专业核查后修订关系并重检已受影响的数据。 |
| 检验批、检验记录与生产或材料对象 | 核查QMS检验明细、报验资料、样本对象、材料或生产批次、生产任务及检验报告。 | 明确检验批与样本、检测项目、结果和适用对象之间的关系;区分抽样检验、全检、复检及报告修订。批次抽检结论与单件实测结果分别保存,不能将一个样本的数值复制为整批每件的实测值。 | 记录检验记录和报告版本、受检对象、检测项目及单位、检测时间、结果和确认依据,关联原检与复检。 | 报验关系缺失、对象冲突、报告失效或检测单位不一致时暂停相关关联判定,核查后修正;原始检验记录保留,不生成无证据的根因追溯样本。 |
| 报警事件、设备、处置和维修结果 | 核查SOS报警及处置、售后工单、备件记录、设备档案,结合适用的EAM维修资料及复查结果。 | 按设备、事件标识、时间和处置流程核验关系;识别重复报警、合并工单、一次维修涉及多个报警及再次发生的情况。报警现象、诊断原因、处置动作和复查结论分别记录,不把报警自动视作已证实故障根因。 | 记录各事件及工单原标识、对象关系、处理阶段、诊断证据、人员确认和结果;关系状态据核验结果确定,不预设调研可信度等级。 | 诊断或复查缺失时保留已知事实并登记待补资料;仅在满足相应用途条件时形成报警或状态样本,不把未确认原因用作确定的故障标签。 |
| 主数据物料编码与各业务系统物料对象 | 核查主数据管理平台的物料编码及经授权取得的ERP、WMS、SCM等系统物料资料和业务明细。 | 以有效主数据编码对齐对象,同时核验名称、规格、型号、单位、版本及生效范围;区分物料类型、库存批次和实物编号。历史编码、替代料和单位转换按批准的业务规则处理,不能仅凭代码相同认定所有属性一致。 | 保存源编码、标准编码、适用系统、关系类型、属性校核结果、转换规则及确认记录,保留历史映射有效期。 | 无主数据记录、重复编码、属性或单位冲突进入差异清单,由责任人员核查;在确认前不覆盖原值或自动合并对象,修正后重新检查受影响的采购、库存及加工数据。 |
加工生产链路上决定交付能否成立的,往往不是顺利情形下的处理能力,而是条件不具备时的处置方式:图纸受加密保护无法直接读取、扫描件缺页或遮挡、合成样本事实一致性不足、模型网关中断、基准数据疑似被训练任务触及。此类情形在长周期实施中并不罕见;处置方式若不预先约定,作业现场便会以放宽判据的方式自行消化,交付数量看似完成而质量依据已经失效。
表 3-10 选入的十项处理任务按两条标准确定:其一,该任务直接决定某一用途子集能否形成,如原生图纸解析之于产品工艺设计数据集、合成样本生成之于指令微调与人类偏好对齐子集;其二,该任务一旦失效将波及下游全部结论,如样本血缘追溯与基准评测隔离。每行的运行条件与恢复及结果判定两列是判据——前者写明该任务允许启动的前置条件,后者写明重新计入合格交付所需的证据;处理措施与异常处置两列是动作。贯穿各行的处置原则是补齐条件后重新验证,招标文件已规定的规模、质量、准确率、覆盖率与时间要求不随异常处置下调;其中基准评测数据与训练域的隔离一行判定最严,出现疑似污染即停止相关数据与结果用于发布和验收,重建基准后重新评测。
表 3-10 关键处理任务的运行条件与异常处置
| 处理任务 | 运行条件 | 处理措施 | 异常处置 | 恢复及结果判定 |
|---|---|---|---|---|
| 原生图纸解析 | 取得获准读取的图纸及有效版本,核验DWG/DXF、STP/STEP等格式、文件完整性、访问权限和可解析状态。 | 按原生图元、图层、标注及几何结构提取要素,保留尺寸、材料、公差、技术要求与原始位置的关系;扫描或仅有影像的图纸按相应图像处理流程执行。 | 加密文件通过合法授权的读取或解密方式处理,不绕过保护;格式、版式或内容异常时登记并补充适配。低置信度、冲突及关键工艺要素交专业人员复核,不把个别人工结论未经验证就自动推广为通用规则。 | 按格式和复杂度覆盖测试,核验图纸要素及工艺结果;人工复核作为质量措施,不能替代批量识别、原生格式支持及场景准确率等功能的实现和验证。 |
| 文档版面、表格及图文解析 | 核对原始文件、页码、版式、扫描质量、附件及版本状态,区分原生文档、扫描件和手写内容。 | 还原章节、阅读顺序、表格单元格、合并关系、公式和图文引用,保存来源页及位置;固定版式可使用经测试的模板,其他版式配置相应解析流程。 | 不可读、缺页、遮挡或识别冲突先核查原件,采用适合的图像处理、补充模板或人工转录与复核;无法确认的文字和数值保持异常,不猜测补齐。 | 对照原件检查内容、结构和来源定位;技术标准表格按单元格级精度验证。新模板和规则发布前检查适用范围及历史数据影响。 |
| 合成、思维链及对话样本生成 | 使用获准的真实业务种子和经审核的知识,核验教师模型许可、调用环境、用途及样本配比;基准评测子集禁止任何形式的合成数据。 | 记录源样本、模型、提示词、规则、参数和衍生关系,执行事实一致性、格式、推理步骤、答案、重复及分布检查;不合格候选拒收,合格结果按实际数量计入允许用途。 | 合成质量不足时分析种子、知识、提示词、模型及检查规则,补充真实资料和合格人员处理,修订后重新验证。必要时调整经批准的合成配比及资源安排,不自行降低子集目标量或顺延合同节点。 | 按来源及用途核验合格量、质量和覆盖。人工修订仍保留合成来源,不因专家复核就改标为真实基准样本;发布前确认基准与合成过程隔离。 |
| 规则、模型及专业质量检查 | 依据各数据类型、业务风险和用途建立检查项,区分可自动执行的规则、需要语义判断的项目及必须专业复核的项目。 | 规则检查结构、格式、取值及明确业务约束;模型辅助检查语义和复杂关系,并保留可核对依据;专业人员处理关键判断和冲突,形成逐项结果。 | 模型或规则通道故障时暂停依赖该检查的放行,安排经确认的替代检查或修复;不能仅通过规则就默认语义检查通过。采用人工检查时明确同等检查项目、覆盖范围、责任和记录,不能任意用少量抽检替代全量要求。 | 重新核验受影响检查及样本,满足各阶段规定覆盖;正式首轮全量评测及说明文档、数据质量、模型应用三维度指标100%覆盖等要求保持不变。 |
| 样本血缘与版本追溯 | 为来源、样本、任务、工具、规则、模型、提示词、质量结果和版本建立可关联标识及持久化记录。 | 在加工执行和成果发布过程中同步记录输入输出关系、变更及状态,支持按样本和模型追溯来源与处理路径,保存一对多和多对多关系。 | 记录写入失败时保留实际执行证据并停止依赖完整血缘的发布;修复后对照可信文件、任务和日志核查。无法证明来源或处理过程的结果不得计入合格交付,不退化为只有批次号的追溯。 | 检查血缘完整性、版本一致性、查询可用性及故障恢复后的缺口;必要时重处理相关数据并重新验证,不以扩大返工范围代替缺失血缘的建设。 |
| 检索增强与带依据回答 | 知识条目经专业终审,具有来源、版本、适用范围及权限,检索输入与输出均在授权范围内。 | 按对象、条款、全文和必要的语义检索组合获取证据,核查出处、有效状态和上下文后形成回答;区分当前有效资料与有明确历史查询目的的旧版资料。 | 检索不足、证据冲突或关键资料缺失时,记录问题并提供可核验的候选信息或转专业处理,不生成无依据的确定答案。修复索引、补充资料或调整查询后重新验证。 | 核验答案与证据一致、出处可定位、权限有效及场景功能完成;人工确认用于质量复核,不能把临时人工服务当成自动问答能力已经达标。模型生成样本不能经人工确认后转入基准集。 |
| 设备工况识别、异常发现与诊断 | 核验测点质量、时间同步、设备结构、机型、现场及运行工况,按真实历史资料建立正常和故障样本及其标签依据。 | 按工况开展基线分析和候选规则生成,结合机理规则台账、时序分析、历史回放、相似故障搜索和在线检测验证效果,记录适用设备、条件及效果。 | 基线不足或工况变化时补充合格样本、核查测点与规则适用性;可使用经专业确认和验证的分工况规则辅助处理,但不得将阈值检查替代必须实现的时序模型、规则编排和诊断验证。 | 使用适用历史样本及场景测试核验误报、漏报、异常发现与原因分析,并验证处置及备件建议;区分报警、异常、诊断假设及确认故障,不虚构现场标签比例或保证消除全部耦合干扰。 |
| 模型接入、授权与版本路由 | 模型和服务经过许可、安全及资源核验,接口具备身份认证、权限控制、版本登记和可审计调用条件;行业模型按私有化部署要求实施。 | 对请求执行数据分类、授权、协议及版本检查,按获准模型路由,记录任务、模型、数据和调用结果,防止敏感业务数据转发到未经授权环境。 | 模型、网关或外部依赖异常时停止受影响调用并核查实际状态;切换到经批准的模型或服务前,验证许可、部署、数据限制、功能和性能。替代资源不具备条件时保持暂停并修复,不绕开网关直连。 | 验证服务恢复、权限、日志及任务结果,对模型变更重新评测;不得以单一替代模型的可运行状态认定原要求的模型支持、多模态能力或场景效果全部通过。 |
| 独立基准评测及沙箱运行 | 基准数据独立封存,训练任务无权访问,固定题型协议、判分规则、数据和模型版本、代码、依赖、配置及适用随机种子。 | 执行同源及近重复检查,监控访问与数据流向,按模型阶段开展可追溯评测;保存输入版本、执行记录、原始结果和报告。 | 发现未授权访问或疑似训练污染时,立即停止相关数据和结果用于发布或验收,保全记录,核查泄露范围、接触模型、训练任务及衍生影响。确认污染后,隔离受影响样本和版本,重新建立满足规模、业务覆盖及独立性要求的基准并执行评测。 | 原受污染评测结果不得继续作为有效能力证明;重新验证数据隔离、基准独立性和相关模型结果,保留事件及版本历史。不能仅换版本号、重新抽取相同近重复样本或删除日志来宣称恢复独立性。 |
各技术章节在总体架构中各有确定的落点。下图给出每一段所处的层次与相邻关系;各段之间交什么、交到什么状态算完成,由第 3.0.16.1 节的接口矩阵逐条给出。
图 3-5 本卷各技术段在总体架构中的位置。跨层的技术段在其主要落点处列出,次要落点在该节正文交代。数据来源:章节划分依本投标文件目录;架构层次依招标文件;设备数量依硬件采购清单。场景验证(「专业场景验证方案」一节专业场景、「通用场景验证方案」一节通用场景)跨第五层与第六层展开,不属单一层,另见图 3-2 底部。
有四段的位置需要补一句说明,因为它们在图上不止一个落点。
「系统集成方案」一节系统集成方案跨第一层到第三层:它在第一层与第二层之间负责连通与联调,在第三层负责提供对象主键映射表与时间基准折算规则。把主键映射放在集成段而不是加工段,理由是它的工作对象是源系统之间的关系,而不是某一批数据。
「专项智能工具链总体方案」一节专项智能工具链落在第四层,但它的消费方横跨第四层与第五层:预标注、合成、去重、分布均衡类工具服务于加工,评测引擎、归因与血缘追溯类工具服务于训练评测与回流。25 个工具的分类与归属见本卷「专项智能工具链总述」节的交付清单。
「专业场景验证方案」一节与「通用场景验证方案」一节场景验证跨第五层与第六层:验证作业在第五层的推理域内执行,验证结论作为挂牌说明材料进入第六层。本包只做验证不做场景建设这一边界,在两节开头各写明一次。
「需求书逐条应答矩阵」一节需求书逐条应答矩阵不落在任何一层:它是对本卷全部内容的索引,产出是条目与页码的对应关系,服务于评审核对而非数据流转。
本项目的指标分两类,承诺方式不同,各节按同一口径执行。
第一类是招标文件已规定数值的指标,包括:四类数据集的规模(预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,含逐数据集规模表给出的四个业务领域分域数值)、模态种类不少于 3 种、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%、软硬件设备整体国产化比率不低于 80%、智能工具链 9 大类 25 个、数据集运营服务管理平台功能模块不少于 14 个(服务采购清单实列 16 个)、数据标注专家库入库专家不少于 50 人、参与建设的数据企业与高校院所不少于 5 家、高质量论文不少于 5 篇、发明专利申请不少于 3 项、软件著作权不少于 6 项。这一类指标按招标文件规定的数值整额承诺并整额验收,不设基线档与目标档之分,不随实测结果逐轮修订,亦不以「合计达标」替代任一分项。 其中四类数据集的分域规模,按第 3.0.13 节表 3-11 逐格承诺。
第二类是招标文件未规定数值、由我方在实施中给出的过程类与优化类指标,例如标注员间一致率、业务对象必要关联完整率、文档解析置信度阈值、数据标准覆盖范围、缺陷整改关闭进度等。这一类指标采用基线档与目标档两档承诺:基线档是我方承诺的下限,阶段验收以它为准;目标档是逐轮优化的目标值,用于过程管理与阶段评议。两档同时列出,并写明测量方法、测量时点与测量主体。首轮实测基线逐轮修订的机制只适用于第二类指标,不适用于第一类。
计量口径统一如下:规模类指标(Token 数、条数、组数)按版本封装时的统一计量规则计量,以去重、去污染、通过版本检查节点后的净交付量为准;占比类指标(多模态占比、时效占比)按数据卡字段统计,分母为该数据集的净交付条数;质量类指标(六维度)按《高质量数据集质量评测规范》(TC609-5-2025-04)的指标定义测量。
表 3-11 四类数据集按业务领域的分项净交付量承诺
| 业务领域 | 预训练数据集(亿 Token) | 指令微调数据集(万条) | 强化学习偏好数据(万组) | 基准测试数据集(万条) |
|---|---|---|---|---|
| 供需计划 | 276 | 40 | 3.2 | 0.4 |
| 产品工艺设计 | 70 | 10 | 0.8 | 0.1 |
| 制造过程 | 105 | 15 | 1 | 0.2 |
| 产品质量 | 164 | 24 | 1.6 | 0.25 |
| **合计** | **615** | **89** | **6.6** | **0.95** |
| 招标文件下限 | ≥600 | ≥80 | ≥6 | ≥0.9 |
表 3-11 数据来源:分域数值依招标文件逐数据集规模表(各集规模要求);下限依招标文件相应条款。
表中每一格均为我方的承诺交付量,逐格计量、逐格验收。任一格未达承诺量,不以其他格超出部分抵补,亦不以合计数达到下限为由免除该格的交付责任;当期未达的,在后续期补足并在数据卡与阶段验收记录中登记未达原因、补足计划与补足结果。
凡涉及覆盖范围与准确程度的表述,一律按趋向与逐步接近的方式写,并配基线值、验收口径与回退机制。以几处典型为例:对象主键贯通按「首期在试点部件族内达到基线值、后续期逐步接近全量贯通,未贯通部分在数据卡中列明」承诺;数据标准覆盖按「首轮覆盖四个加工业务域的核心对象、随治理实施逐步扩展至九个管理业务域」承诺;缺陷整改按「首轮全量评测后对判定为缺陷的项目逐项立单整改并复测,复测未通过的继续立单,趋向全部关闭」承诺。
带基线值、验收口径与回退机制的承诺,在建设期内的每一次抽检与阶段验收中都有明确的判定依据,招标方据此逐期核算实际进展。本方案的覆盖类与准确度类指标(均属上述第二类)一律按基线加改进的方式承诺,并在数据卡与质量报告中逐期披露实测值;属第一类的招标规定值不适用本段,按规定数值整额承诺。
表 3-12 各类指标的承诺方式
| 指标 | 指标类别 | 承诺值(第一类)或基线档(第二类) | 目标档 | 测量方法与时点 | 未达时的处置 |
|---|---|---|---|---|---|
| 四集规模及其分域量 | 第一类,招标规定值 | 615 亿 Token/89 万条/6.6 万组/0.95 万条,并按表 3-11 逐格达标 | 不设目标档,按分期计划逐期完成当期量 | 版本封装时按统一计量规则计量,分期核验 | 在后续期补足并在数据卡登记,不调整计量规则,不以合计抵补分项 |
| 多模态数据条数占比 | 第一类,招标规定值 | 不低于 40% | 不设目标档,按分集测算值组织生产 | 按数据卡模态字段统计,版本冻结时核验 | 调整后续批次的采集与加工配比补足 |
| 近 3 年内时效数据占比 | 第一类,招标规定值 | 不低于 40% | 不设目标档,按分集测算值组织生产 | 按数据产生时间统计,版本冻结时点一并登记 | 增加近期批次采集量补足 |
| 软硬件设备整体国产化比率 | 第一类,招标规定值 | 不低于 80% | 不设目标档 | 按台数与金额两个口径分别测算并取其低者,选型定稿后核验 | 调整选型并重新测算,测算表随验收提交 |
| 标注员间一致率 | 第二类,我方给值 | 按标注任务类型分别设下限,低于下限即返工 | 逐批提升并趋向稳定 | 按抽样复标计算,每批次核验 | 返工并修订标注规范,必要时重做培训与考核 |
| 业务对象必要关联完整率 | 第二类,我方给值 | 试运行形成基线值与整改清单 | 按整改计划逐期提高 | 对适用对象全量统计,按业务域、对象类型、时间范围与来源批次分列总量、已确认量、缺失量、冲突量与待核验量 | 关系未核实的样本不计入要求完整关联的用途;数据卡记录真实缺口与限制,不以记录缺口代替整改 |
| 场景验证通过判据 | 第二类,我方给值(招标已列明门槛的场景按招标门槛) | 各场景按基线档判据通过 | 按目标档判据组织优化 | 按各场景验证流程执行并留见证记录 | 按归因结果形成整改任务单,进入下一期加工 |
表 3-12 数据来源:规模与占比依招标文件;一致率与判据依 3.2.6.3.5 标注要求、3.2.6.5 各场景验证要求;承诺方式依本节统一规定。
第 3.0.2 节至第 3.0.13 节给的是技术视角的架构:有哪几层、层间传什么、数据怎么流、在哪里判定。业务架构给出同一副架构在业务上的运转方式:哪个业务角色在哪个环节出现、在那里承担什么判定或产出。业务角色与技术层次一一对位之后,甲方各业务部门在架构中的位置,以及双方的责任分界即落到具体环节,而不停留在总的分工表述。
业务角色按归属分三类。甲方侧是业务部门与数据治理组织,承担口径确认、数据源授权与成果验收;我方侧是项目组的各作业与质检岗位,承担加工执行与过程判定;双方共同参与的是口径评审组、版本评审组与专家库,这三处的判定需要业务知识与加工口径同时在场,由任何一方单独判定都不成立。
表 3-13 业务角色在各环节的责任与对应判定
| 业务角色 | 归属 | 出现在哪些环节 | 在该环节承担什么 | 对应的门与落点 |
|---|---|---|---|---|
| 业务部门(工艺、质量、生产、供销、设备等) | 甲方 | 需求确认、本体类目确认、数据源授权、成果验收 | 确认术语与编码口径、确认工序字典与工艺卡口径、书面确认分类分级结论 | 口径检查节点③;表 3-18 前置条件 |
| 数据治理组织(委员会、办公室、数据专员) | 甲方主导、我方支持 | 标准发布、规则发布、口径争议裁定、考核 | 发布数据标准与质量规则库,裁定跨部门口径争议 | 横向治理层;表 3-3 接口 I-18 |
| 数据源责任人 | 甲方 | 采集接入 | 提供连接信息与数据字典,处置连接失败与对账差异的阻塞项 | 入口检查节点①;表 3-3 接口 I-01 至 I-05 |
| 采集作业责任岗 | 项目组 | 采集接入 | 执行五类通道取数、增量识别与入口脱敏,登记批次台账 | 入口检查节点①;本卷「数据资源采集接入方案」一节 |
| 加工作业责任岗 | 项目组 | 预处理与规范化、加工十环节 | 执行解析、规范化与各工具链算子,按算子写入血缘 | 预处理门②;本卷「四大数据集加工生产总体方案」一节、「专项智能工具链总体方案」一节 |
| 口径评审组 | 双方共同 | 本体版本发布前 | 评审类目与关系、核对与企业既有编码的对齐情况 | 口径检查节点③ |
| 知识库终审岗与专家库 | 项目组与甲方专家 | 知识库交付前 | 核验条目出处与三元组可核性,抽审知识条目 | 终审门④ |
| 标注员与标注质检岗 | 项目组 | 标注 | 按标注规范执行标注,计算标注员间一致率并组织抽检返工 | 标注门⑤ |
| 专家库仲裁 | 甲方专家为主 | 标注争议、选型优劣判断、归因不明的整改任务单 | 对标注分歧与工程优劣作出判定,回溯评定选型偏好 | 标注门⑤;表 3-3 接口 I-15 |
| 加工质检岗 | 项目组 | 合成与增强之后 | 核验合成样本的来源标识、占比与事实一致性 | 合成增强门⑥ |
| 版本评审组 | 双方共同 | 版本冻结前 | 核验规模、模态、时效与六维质量指标,核验血缘与数据卡齐备性 | 版本版本检查节点⑦ |
| 评测与场景验证岗 | 项目组 | 训练评测、场景验证 | 组织多阶段评测与错题归因,按场景判据给出数据可用性结论 | 本卷「行业大模型训练推理技术服务方案」一节与场景验证各节 |
| 运营岗 | 甲方主导、我方质保期内支持 | 登记、挂牌、订单、交付、清算 | 执行确权挂牌与交易撮合,对外交付经网关计量留痕 | 第六层;本卷「数据集运营服务管理平台方案」一节 |
| 安全与保密责任岗 | 双方各设 | 全环节 | 执行分类分级、出域控制与密码服务调用,审计日志留痕 | 纵向底座;表 3-3 接口 I-19、I-20 |
表 3-13 数据来源:判定主体一列依表 3-4 七道质量检查节点的判定主体设置;甲方侧角色依本卷「数据治理规划和实施服务 · 技术标准验证要求 · 数据标注规范建设要求」节的治理组织设计与招标文件 3.2.6.1 的能力域要求;接口编号依表 3-3;责任分界依招标文件相应条款的移交规定与第 2.2 节的交付责任。
表 3-13 有三行需要单独交代,因为它们是实施期最容易出现责任真空的地方。口径评审组一行,评审结论须有甲方业务部门的书面确认才算通过,这一点在表 3-18 里列为前置条件;逾期未确认时按我方建议口径先行并把该批数据标注为待确认状态,确认后批量复核,待确认状态的批次在版本检查节点前须转为已确认。
专家库一行,选型优劣判断在现场没有现成记录,须由专家库按既有验收记录、售后工单与同类矿井运行反馈回溯评定,这项工作的工作量在实施计划里单列。运营岗一行,本包交付的是平台能力与数据集版本,挂牌定价与客户拓展等运营工作在质保期内由我方提供支持、由甲方主导,分工见本卷「技术创新与机制创新」节运营体系一段。
技术视图按层组织,回答「系统分几层、层间传什么」;功能视图按功能域组织,回答「平台对使用者提供哪些功能、这些功能分别服务哪个环节」。两个视图指向同一套系统:数据集加工生产平台、数据集运营服务管理平台和数据治理平台通过受控接口协同运行,各系统分别管理其业务对象、服务身份和访问权限,元数据、血缘与审计信息按分类分级和授权范围交换(各系统的服务功能与接口控制见表 3-7)。
表 3-14 功能域、所含功能模块与服务的环节
| 功能域 | 所属部分 | 包含的功能模块或工具 | 服务的环节 | 详述位置 |
|---|---|---|---|---|
| 采集接入 | 加工生产 | 五类通道接入、增量识别与水位线、入口脱敏、批次成形与台账、采集记录 | 第二层采集接入 | 本卷「数据资源采集接入方案」一节 |
| 知识底座 | 加工生产 | 本体建模与版本管理、知识库与图谱、检索服务、主数据与对象主键映射、时间基准折算 | 第三层知识底座 | 本卷「四大数据集加工生产总体方案」一节 |
| 数据加工 | 加工生产 | 9 类 25 个工具链,覆盖解析、清洗、标注、合成、增强、质检等十个加工环节,共用任务骨架与血缘写入点 | 第四层加工生产 | 本卷「专项智能工具链总体方案」一节 |
| 训练与评测 | 加工生产 | 训练域、评测域、推理域及其上的统一模型接入与评测网关;评测沙箱与错题归因 | 第五层训练与评测 | 本卷「行业大模型训练推理技术服务方案」一节 |
| 治理管控 | 治理开发工具 | 数据标准管理、质量规则库、元数据管理、血缘管理、分类分级、九大能力域执行记录 | 横向贯穿六层 | 本卷「数据治理规划和实施服务」一节 |
| 运营服务 | 运营服务管理 | 16 项功能模块:目录与元数据、上传下载、检索预览、版本与动态更新、权限、确权与挂牌、登记注册、数据集服务、订单、交易合同、交易费用、交付、清算、审计、对外接口,以及平台服务与 SLA 保障能力;另按三统一要求建设接入国家数据基础设施的对接能力 | 第六层运营服务 | 本卷「数据集运营服务管理平台方案」一节 |
| 安全与运维 | 三部分共用 | 身份与权限、密码服务调用、脱敏与出域控制、审计日志、运维监控与 SLA 度量 | 纵向支撑六层 | 本卷「安全方案」一节、「方案可行性分析」一节 |
表 3-14 数据来源:运营服务模块清单依招标文件相应条款实列 16 项全额交付,另增平台服务与 SLA 保障模块 1 个为我方额外服务能力,两者合计 17 个;招标列明数量为 16 个,相应条款的不少于 14 个为下限,口径说明见第 1.2.2 节;工具链 9 类 25 个依相应条款;三域一网关依 3.2.6.2;治理工具平台依相应条款;功能域划分为我方实施口径。
功能视图与技术视图之间不是一一对应。采集接入、知识底座、数据加工、训练与评测四个功能域各自对应一个技术层次,而治理管控与安全运维两个功能域横跨全部层次,运营服务功能域则同时承担对内的版本登记与对外的交易交付两类职责。功能域这样划分,是为了让平台的建设次序能按功能域排期:公共的身份权限、元数据与血缘、审计日志先行建设,其余功能域在其上分批投产,避免各功能域各建一套底层能力(建设次序见表 3-16)。
本项目各项建设内容之间的生产逻辑为有向无环。接口不固化会出现三种情形:同一事项两处重复执行且口径不同、某一事项两处互相认为由对方承担而均未执行、上游产出与下游输入对不上。接口矩阵、五条贯通主线与五条统一约定用于消除这三种情形。
矩阵按上游、交接物、交接判据、下游四列组织。交接判据规定交付物达到何种状态即算交接完成,下游据此判定是否具备开工条件。
表 3-15 技术方案卷各节的接口矩阵
| 上游节 | 交接物 | 交接判据(达到此状态即算交付) | 下游节 |
|---|---|---|---|
| 「数据资源采集接入方案」一节数据资源采集接入 | 带批次号与采集记录的原始数据,写入落地区;数据源登记台账 | 接入四要素齐备、格式合规校验通过、入口脱敏生效、批次台账登记完成 | 「四大数据集加工生产总体方案」一节四大数据集加工生产 |
| 「数据资源采集接入方案」一节数据资源采集接入 | 增量水位线与对账结果 | 每次增量作业的水位线已更新、与源系统计数对账差异在约定范围内 | 「四大数据集加工生产总体方案」一节、「数据治理规划和实施服务」一节数据治理 |
| 「系统集成方案」一节系统集成方案 | 对象主键映射表、时间基准折算规则 | 映射关系经口径评审、可信度已登记、折算规则已在平台实现 | 「四大数据集加工生产总体方案」一节、「专业场景验证方案」一节、「通用场景验证方案」一节场景验证 |
| 「系统集成方案」一节系统集成方案 | 平台安装与适配结论、国密加解密联调记录、硬件联网记录 | 四级测试门控通过、密码调用链可用、设备数据可取回 | 「四大数据集加工生产总体方案」一节、「安全方案」一节安全方案 |
| 「数据治理规划和实施服务」一节数据治理体系 | 数据标准(术语、主数据、参考数据、数据元、指标)、质量规则库、分类分级结论 | 标准经评审发布、规则在平台上可执行、分级结论已书面确认 | 「四大数据集加工生产总体方案」一节、「专项智能工具链总体方案」一节工具链、「数据集运营服务管理平台方案」一节运营平台 |
| 「数据治理规划和实施服务」一节数据治理体系 | 元数据与血缘库、治理执行记录 | 元数据可检索、血缘可从版本回溯到算子、记录可支撑贯标评估 | 「四大数据集加工生产总体方案」一节、「数据集运营服务管理平台方案」一节、「行业大模型训练推理技术服务方案」一节训练推理 |
| 「数据加工生产(一):采集、预处理、知识本体与知识库」一节数据加工生产(一) | 规范化样本、本体版本与术语表、知识条目与图谱、检索索引 | 入口检查节点与预处理门通过、本体经口径检查节点评审、知识库经终审门 | 「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节数据加工生产(二)、「专项智能工具链总体方案」一节、「专业场景验证方案」一节、「通用场景验证方案」一节 |
| 「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节数据加工生产(二) | 经质检与验证通过的批次、标注规范与一致性记录 | 标注门与合成增强门通过、质检六维度达判据、验证结论出具 | 「数据集建设及指标要求」一节四集规模与数据卡、「行业大模型训练推理技术服务方案」一节 |
| 「数据集建设及指标要求」一节四集规模与数据卡 | 冻结封装的数据集版本:数据体、数据卡、质检与验证报告、血缘清单 | 版本检查节点通过:规模、模态、时效达承诺基线,血缘完整,数据卡字段齐备 | 「数据集运营服务管理平台方案」一节运营平台、「行业大模型训练推理技术服务方案」一节、服务方案卷质量评测节 |
| 「专项智能工具链总体方案」一节专项智能工具链 | 25 个工具的可用实例、接口文档、配置与测试用例 | 单工具验收通过、公共层接口联调通过、任务状态机可追溯 | 「四大数据集加工生产总体方案」一节各节、「行业大模型训练推理技术服务方案」一节 |
| 「行业大模型训练推理技术服务方案」一节训练推理技术服务 | 知识注入有效性报告、多阶段评测结论、能力增量量化、错题归因任务单 | 评测可复现(同版本同种子同结果)、增量结论有对照基准 | 「四大数据集加工生产总体方案」一节(定向回流)、「专业场景验证方案」一节、「通用场景验证方案」一节 |
| 「专业场景验证方案」一节/「通用场景验证方案」一节场景验证 | 各场景验证报告:所需数据就绪度结论、指标实测值、通过判据判定、整改任务单 | 验证流程留见证记录、判据判定有依据、未通过项已归因 | 「四大数据集加工生产总体方案」一节(下一期加工计划)、服务方案卷质量评测节 |
| 服务方案卷质量评测节 | 首轮全量评测结论、缺陷清单、复测结论、盖章评测报告与数据质量档案 | 评测依据与指标与内部门控同一套定义、缺陷逐项立单、复测结论出具 | 「四大数据集加工生产总体方案」一节(整改回流)、「数据集运营服务管理平台方案」一节(登记材料) |
| 「数据集运营服务管理平台方案」一节数据集运营平台 | 版本登记结论、目录与元数据条目、交付通道、SLA 监控数据 | 登记完成、目录可检索、交付通道可用、SLA 指标可度量 | 「技术创新与机制创新方案」一节技术创新(运营推广)、对外服务 |
| 「安全方案」一节安全方案 | 密码应用落点设计、等保测评与密评结论、整改记录 | 密码服务在各环节可调用、测评与评估报告出具、整改闭环记录完整 | 全部技术节 |
| 「方案可行性分析」一节非功能性技术要求 | 七组指标的承诺值、测量方法与实测记录 | 指标测量方法已确认、实测记录可复现 | 「数据集运营服务管理平台方案」一节、「系统集成方案」一节、「安全方案」一节 |
| 「硬件选型与配置」一节硬件选型与配置 | 五类 46 台设备的到货、安装、调试与标定记录 | 参数逐条响应、安装位置与时序经确认、标定结论出具 | 「数据资源采集接入方案」一节(设备侧取数)、「专业场景验证方案」一节(热处理与焊接场景) |
| 「技术创新与机制创新方案」一节技术创新与机制创新 | 专家库机制与名册、标注规范、软建设配套措施、知识产权成果 | 机制文件发布、规范经评审、成果按节奏申报与登记 | 「四大数据集加工生产总体方案」一节(标注与仲裁)、「数据集运营服务管理平台方案」一节(运营)、「数据治理规划和实施服务」一节 |
| 「需求书逐条应答矩阵」一节需求书逐条应答矩阵 | 第五章逐条响应结论与正文页码索引 | 每条有结论、每条指到页码、与差异表口径一致 | 资格与商务卷差异表、定稿索引页 |
表 3-15 数据来源:章节划分依本投标文件目录;交接物与判据依各节对应的招标文件要求条目;移交登记判据依招标文件相应条款。
矩阵中有三处是双向的,需要单独说明,因为单向理解会漏掉回流。其一是训练推理与加工生产之间:加工向训练交数据集版本,训练向加工交错题归因任务单。其二是场景验证与加工生产之间:加工向验证交验证用数据,验证向加工交可用性结论与整改任务单。其三是质量评测与加工生产之间:加工向评测交送检版本,评测向加工交缺陷清单。这三处双向关系就是招标文件相应条款要求的定向回流在章节层面的体现。
各项建设内容之间不是一条单链,而是五条并行的主线。实施期的贯通性检查按主线进行:主线上任一环节断开,相关建设内容即便各自完工,该主线也不计为通过。
图 3-6 贯通全卷的五条主线及其断点检查项。数据来源:主线划分依招标文件的生产逻辑与门控规定、招标文件相应条款错题归因要求、3.2.6.12 安全合规要求;断点检查项为我方实施期的集成检查依据。
五条主线在实施期的用法是:每个阶段验收前按主线各走一遍端到端抽查,抽查对象是真实批次而不是演示数据。主线一与主线三的抽查合并进行,办法是任取一条样本,向上追到源系统记录、向下追到它参与过的评测结论;追不通即为断点,在该阶段整改完成后方可通过阶段验收。这项检查列入项目管理措施的配置管理与质量管理一节(详见服务方案卷「项目管理措施」节)。
本项目各项建设内容在实施期统一遵守以下五条约定,避免同一事项出现两套口径。
第一条,标识与编号的约定。批次号自采集受理时生成,贯穿全程不变更;数据集版本号采用业务域、用途子集、期次三段式;模型版本号与数据集版本号在血缘库中成对登记。各节引用同一对象时用同一标识,不另造别名。
第二条,指标定义的约定。同名指标全卷只有一个定义。六维质量指标(保真度、完备性、规整性、均衡性、可用性、可信性)的定义取自评测方案,加工过程的质检门直接引用,不另行解释;规模与占比的计量规则取自四集指标节;性能与可靠性指标的定义取自非功能性技术要求节。
第三条,术语的约定。招标文件定义的 30 个简写按本节表 0-1 取义;本方案补充的术语按表 0-2 取义;同一事物不换词,数据集不在别处叫数据资产或数据资源。
第四条,绝对指标的约定。覆盖范围与准确程度一律按趋向与逐步接近的方式表述,配基线值、验收口径与回退机制,写法见第 3.0.13 节。全卷唯一的例外是基准集不向训练域开放这一条,它写成硬约束且无回退(见表 3-10 末行)。
第五条,组织层级的约定。本项目涉及三套组织:数据治理组织、运营服务组织、项目建设期的项目管理组织,三套组织各自的职责与议事规则在对应章节规定。招标文件要求的五级组织责任体系(决策级、把关级、管理级、作业级、岗位级)是把这三套组织按责任层级归并后的统一视图,其层级划分、与三套组织的对应关系以及各级的交账产出,在「技术创新与机制创新」节给出。责任层级一律用上述五级名称指代,具体机构一律用三套组织的名称指代,两者不混用。
约定之外仍可能出现冲突,尤其是在实施期需求细化之后。我方的处置机制是三步:发现方在配置库登记冲突点,写明两处的表述与影响范围;由项目组统一裁定并指定唯一口径,裁定结论进入数据标准或方案变更记录;受影响章节同步修订,修订后重新检查引用该口径的其他章节。裁定不由任一技术段自行调和,这是为了避免两段各改一半、改完仍不一致。本投标文件在编制阶段即按此机制处置,发现的口径问题随投标文件以差异表与应答矩阵的形式如实呈现,不在正文中隐去。
实施落地按 3.2.6 总则的规定执行。实施安排由四件事决定:建设顺序、前置条件、指标的验证方式、问题发生后的处置与恢复判定。前两件在以下各条给出,指标验证见第 3.0.13 节,异常处置与恢复判定见表 3-10。
建设周期至 2028 年 5 月。阶段划分依据三项实施约束:知识底座先于标注与合成投产;四个业务领域的数据条件不同,分批加工;外部评测与测评评估需预留整改复测期。
据此划分五个实施阶段,按交付物成形先后排列。各阶段的任务分解、资源配置、里程碑与进度控制办法在项目组织实施与保障措施相应条款详述。
表 3-16 五个实施阶段的工作重点与阶段交付物
| 阶段 | 工作重点 | 阶段交付物 | 阶段验收判据 |
|---|---|---|---|
| 第一阶段 准备与底座 | 需求细化与蓝图确认;源系统授权与接口开通;对象主键映射与时间基准统一;知识本体类目与关系定义;数据标准首轮发布;平台基础功能与工具链公共层上线 | 蓝图设计文件、数据源登记台账、主键映射表、本体首版、数据标准首批、平台基础功能与公共层 | 口径检查节点通过;首批源系统可取回样本;主键映射经评审 |
| 第二阶段 首批加工与首轮验证 | 产品工艺设计数据集首批加工(图纸与工艺卡配对样本);标注规范发布与标注队伍培训考核;质检与验证流程跑通;训练配比预实验 | 首批数据集版本、标注规范、首轮质检与验证报告、配比预实验结论 | 版本检查节点通过;标注员间一致率达下限;首轮验证结论出具 |
| 第三阶段 全面加工与场景验证 | 四集并行加工与规模推进;25 个工具链分批投产;六个专业场景与五个通用场景分批验证;治理九大能力域规划落地与实施 | 分期数据集版本、工具链验收记录、场景验证报告、治理规划与实施成果 | 分期目标量达成;场景按基线判据通过;治理执行记录可支撑贯标评估 |
| 第四阶段 外部评测与整改复测 | 首轮全量质量评测;缺陷逐项立单整改;复测;等保测评与密评;DCMM 贯标评估 | 盖章评测报告与数据质量档案、整改闭环记录、测评与评估结论 | 缺陷趋向全部关闭;测评与评估结论出具 |
| 第五阶段 运营上线与移交 | 版本登记与目录上线;确权、挂牌与交易通道启用;按三统一准备接入国家数据基础设施;成果移交与培训 | 登记与挂牌记录、交付通道、接入材料、移交清单与培训记录 | 目录可检索;交付通道可用;SLA 指标可度量;移交清单签认 |
表 3-16 数据来源:阶段划分依本方案实施安排;交付物依招标文件 3.2.6 各节要求与 3.2.8 评测实施过程(及以下);建设周期依招标文件合同条款。
图 3-7 五个阶段的并行关系与关键里程碑。相邻阶段存在重叠,但箭头所示的四处为硬性前置关系。数据来源:阶段划分依表 3-16;前置关系依招标文件相应条款的知识底座与门控要求。
阶段之间有四处硬性前置关系,写明是为了让进度安排有约束而不是看起来紧凑。其一,知识底座未就绪不开标注——本体类目与工序字典未经口径检查节点,标注即返工。其二,首批数据集版本未通过版本检查节点不转全面加工——首批的作用是把流程跑通并暴露口径问题,跳过它会把问题放大到四集规模。其三,场景验证未出首轮结论不定下一期加工配比——配比要由验证结论决定,不由计划决定。其四,缺陷整改未复测不进运营上线——带缺陷的版本挂牌,对外服务时会被退回。
阶段之间的交接不以时间到点为准,以交接判据达成为准。下表按阶段给出交接物、交接判据、交出方与接收方,以及判据未达成时的处置。阶段交接会由双方共同召开,交接结论书面留档。
表 3-17 五个阶段的交接物、交接判据与责任方
| 阶段交接点 | 交出方 | 接收方 | 交接物 | 交接判据 | 判据未达成时的处置 |
|---|---|---|---|---|---|
| 准备与底座 → 首批加工 | 项目组知识底座与集成岗 | 项目组加工作业岗 | 源系统授权与接口开通清单、本体首版、对象主键映射表、时间基准折算规则、数据标准首批 | 授权覆盖首批加工所需的全部数据源;本体首版过口径检查节点;映射表发版且可被全层调用 | 未开通的源系统启用离线导出过渡通道,该系统所涉对象在数据卡登记为过渡来源;本体未过门的,相关批次暂不进标注 |
| 首批加工 → 分批投产 | 项目组加工作业岗与质检岗 | 项目组评测岗、版本评审组 | 首批冻结数据集版本、质检报告、血缘清单、首轮试产实测的参数标定结论 | 首批版本过版本检查节点;各环节参数完成标定并写入作业规程 | 首批未过门的,按归因定向回流整改后重新送审,分批投产计划相应顺延,不以降低门控阈值放行 |
| 分批投产 → 评测与验证 | 项目组版本评审组 | 项目组评测与场景验证岗、外部评测机构 | 按期冻结的数据集版本及其数据卡、送检批次清单 | 当期承诺量达成且分域量逐格达标;数据卡字段齐备、与版本一致 | 当期未达量的在后续期补足并登记未达原因与补足计划;数据卡不齐备的退回补齐,不先送检后补 |
| 评测与验证 → 整改复测 | 项目组评测与场景验证岗 | 项目组相应环节责任岗 | 评测报告、场景可用性结论、结构化整改任务单 | 任务单指向具体环节、批次与算子;错因归类明确 | 归因不明确的转专家库裁定;裁定后仍不明确的转入观察清单并在下一轮复验 |
| 整改复测 → 移交运营 | 项目组版本评审组 | 运营服务管理平台登记岗(甲方主导、我方支持) | 复测通过的数据集版本封装包、登记信息、质量档案 | 复测通过且原错例不再复现;登记信息字段齐备且与数据卡一致 | 登记信息字段缺失的退回补齐,不先挂牌后补;复测未通过的继续立单,不进入移交 |
表 3-17 数据来源:阶段划分依本方案实施安排;交接物与判据依各环节对应的招标文件要求条目与招标文件相应条款的移交规定;责任方划分依表 3-13 的角色设置。
交接判据与人员职责的对应关系是:每一项交接判据都有唯一的判定主体,判定主体在表 3-13 中有明确的归属与权限;双方共同判定的三处(口径评审组、版本评审组、专家库仲裁)须双方代表同时在场,任一方缺席的判定不成立,判定结论须书面留档并进入对应环节的执行记录。
下列前置条件不在我方单方控制范围内,逐条给出影响、处置办法与责任界面。前置条件的跟踪、升级与变更程序在项目组织实施与保障措施相应条款详述。
表 3-18 前置条件、影响与我方处置
| 前置条件 | 若不具备的影响 | 我方处置 | 责任界面 |
|---|---|---|---|
| 源系统按已授权范围开放只读接口(17 套系统) | 采集接入无法开工,四集加工全线推迟 | 按系统分批推动,先开数据条件最好的 PLM、ERP、MES;未开通的系统先走离线导出通道过渡,并在台账登记过渡方式与差异 | 我方提出接口规范与范围;授权与协调由管理单位决定 |
| 源系统厂商配合提供接口文档与联调支持 | 接口形态需反复试探,集成工期延长 | 以数据库只读视图与文件导出作为不依赖厂商的替代通道;需厂商配合的部分列入变更与协调事项 | 我方负责接入实现;厂商配合由甲方协调 |
| 设备侧采集范围按场景要求分批扩展 | 制造过程与产品质量数据集的时序与影像数据不足 | 首期以试点炉型、试点产线与试点车间所需设备为准,扩展清单以现场勘察结论为准;不足部分在数据卡登记 | 我方提出扩展清单;实施范围由甲方确认 |
| 口径确认方按期给出书面结论(工序字典、部件层级、缺陷判定依据、指标定义) | 标注无依据,已标数据面临返工 | 每类口径设一次正式评审并留书面结论;逾期未确认的,按我方建议口径先行并标注为待确认,确认后批量复核 | 我方提供建议口径与评审材料;结论由口径确认方出具 |
| 数据分类分级结论书面确认 | 脱敏范围与出域控制无依据,安全合规存在缺口 | 按最严口径先行处理,待分级结论确认后放宽;不采取先宽后严的做法 | 我方提出分级建议;结论由管理单位出具 |
| 专家库人员到位(不少于 50 人) | 标注仲裁与规范评审缺少主体 | 按内部专家与社会专家两种情形准备入库条件与派工规则,先启动内部专家入库,社会专家按条件分批补充 | 我方负责机制与组织;内部专家由甲方推荐 |
| 第三方测评与认证机构档期(等保测评、密评、质量评测盖章、DCMM 贯标) | 评测与整改期被压缩到项目末段,复测时间不足 | 在第三阶段中段即启动机构对接与预评估,把正式评测排在整改期之前,留出至少一轮复测的余量 | 我方负责组织与配合;机构由具备资质方承做 |
| 现场驻场条件与安全准入 | 现场勘察、设备安装与标定无法开展 | 按甲方的安全准入要求提前办理,驻场人员按项目管理措施的现场管理一节执行 | 我方负责人员与资质;准入由甲方安排 |
表 3-18 数据来源:前置条件依本方案各节的实施依赖;17 套源系统依招标文件相应条款;设备侧扩展口径依本项目需求调研;测评与认证要求依相应条款。
表 3-18 中口径确认逾期的处置单独说明。我方不采取停工等待的做法,也不采取先标后改的做法,而是按我方建议口径先行并把该批数据标注为待确认状态,确认后批量复核。该做法的代价是复核工作量,收益是进度不被单点阻塞;代价可控,因为待确认状态的批次在版本检查节点前必须转为已确认,不会流入交付版本。
招标文件的验收分阶段进行,交付物分布在各项服务之中。下表按成果类别给出交付物总清单,用于组织阶段验收与核对交付完整性。各交付物的格式与模板见附件卷的标准规范与样例部分。
表 3-19 交付物总清单与归属章节
| 类别 | 交付物 | 归属章节(技术方案卷节号) | 对应要求 |
|---|---|---|---|
| 数据集成果 | 四个数据集的各期版本(数据体、数据卡、质检报告、验证报告、血缘清单) | 「四大数据集加工生产总体方案」一节各节 | 招标文件相应条款、3.2.6.3、3.2.6.4 |
| 数据集成果 | 规模、模态与时效的计量与核验记录 | 「数据集建设及指标要求」一节四集规模与数据卡 | 招标文件相应条款 |
| 平台成果 | 数据集加工生产平台(含工具链 25 个)、运营服务管理平台(招标列明 16 个模块+我方增建 1 个)、治理开发工具平台 | 「四大数据集加工生产总体方案」一节、「专项智能工具链总体方案」一节、「数据集运营服务管理平台方案」一节、「数据治理规划和实施服务」一节 | 招标文件相应条款 |
| 平台成果 | 接口文档、部署文档、运维手册、测试用例与测试报告 | 「专项智能工具链总体方案」一节、「数据集运营服务管理平台方案」一节、「方案可行性分析」一节 | 3.2.3.11、3.2.4.7、3.1.2.2 |
| 治理成果 | 现状诊断报告、九大能力域规划文件、制度与流程文件、决策数据指标体系 | 「数据治理规划和实施服务」一节各节 | 3.2.6.1、招标文件相应条款 |
| 治理成果 | 数据标准(术语、主数据、参考数据、数据元、指标)、质量规则库、分类分级结论 | 「数据治理规划和实施服务」一节各节 | 3.2.6.1.1.2.5、3.2.6.1.1.2.6 |
| 验证成果 | 十一个场景的验证报告与整改任务单 | 「专业场景验证方案」一节、「通用场景验证方案」一节 | 招标文件相应条款、3.2.6.5 |
| 验证成果 | 知识注入有效性报告、能力增量结论、专家偏好对齐度与安全合规通过率报告 | 「行业大模型训练推理技术服务方案」一节 | 招标文件相应条款 |
| 评测成果 | 首轮全量评测报告(正式盖章)、缺陷清单、复测报告、数据质量档案 | 服务方案卷质量评测节 | 招标文件相应条款、3.2.8 |
| 安全成果 | 密码应用方案、等保测评报告、密评报告、整改记录 | 「安全方案」一节 | 招标文件相应条款、3.2.6.12 |
| 集成成果 | 平台安装适配记录、国密联调记录、硬件联网与标定记录、集成测试报告 | 「系统集成方案」一节、「硬件选型与配置」一节 | 招标文件相应条款、3.1.2.3 |
| 机制成果 | 标注规范、专家库机制与名册、软建设配套措施、项目内部管理制度不少于 7 份 | 「技术创新与机制创新方案」一节、服务方案卷项目管理节 | 3.2.6.8、3.2.6.9、3.2.6.10、招标文件相应条款 |
| 知识产权成果 | 论文不少于 5 篇、发明专利不少于 3 项、软件著作权不少于 6 项 | 「技术创新与机制创新方案」一节 | 招标文件相应条款、3.2.6.13 |
| 运营成果 | 版本登记与挂牌记录、交付通道、接入国家数据基础设施材料、SLA 监控报表 | 「数据集运营服务管理平台方案」一节、「技术创新与机制创新方案」一节 | 招标文件相应条款、3.2.4、3.2.6.6.7 |
| 服务成果 | 培训方案与培训记录、质保期内服务记录、质保期外服务承诺 | 服务方案卷售后服务节 | 招标文件相应条款 |
表 3-19 数据来源:交付物依招标文件 3.2.6 各节与 3.2.8 的要求条目;数量要求依招标文件相应条款。
下列风险点逐条给出触发信号与应对动作。风险登记、评估、应对执行与关闭的管理程序在项目组织实施与保障措施相应条款详述。
表 3-20 主要风险、触发信号与应对
| 风险 | 触发信号 | 应对动作 | 残留影响 |
|---|---|---|---|
| 图纸解析要素完备性不足,产品工艺设计数据集首批规模不达期 | 首批抽检中要素完备性低于预处理检查判据,或解析置信度低于阈值的比例超出预期 | 按格式与版式分组定位失败原因,补充解析适配与模板并修订规则;低置信度与关键工艺要素转专业复核,修订后重新完成适用质量检查 | 解析与复核工作量上升,需增加处理批次与人员投入;该领域分项规模按招标规定值整额完成,不与其他领域互相抵充 |
| 业务对象关联无法核实的比例偏高,制造过程与产品质量数据集关联缺口大 | 适用对象的必要关联完整率低于试运行基线,或冲突与待核验记录集中出现 | 按对象类型定位缺失证据,补查源系统明细、流转与业务确认记录后重建关联;关系未核实的样本不计入要求完整关联的用途,补齐后重检受影响样本与质量结论 | 关联核查与复检工作量上升,需增加核验批次与业务确认投入 |
| 标注员间一致率长期低于下限 | 连续两批抽样复标一致率未达下限 | 修订标注规范的粒度定义与边界案例;重做培训与考核;必要时调整标注任务拆分方式 | 标注产能下降,需增加标注批次与周期 |
| 合成样本占比触及上限而规模仍有缺口 | 某用途子集的合成占比已达上限、目标量未达成 | 增加人工撰写与改写比例;扩展采集范围与来源授权以补充真实样本;按批准的配比与资源安排调整合成通道 | 单位成本与人工投入上升,需增加采集与撰写批次 |
| 外部评测缺陷集中在同一维度 | 首轮全量评测中某一质量维度的缺陷占比显著偏高 | 按维度定位到对应环节与算子,批量整改后复测;同步修订该维度的内部门控阈值 | 整改期延长,需占用后续期产能 |
| 第三方机构档期紧张导致评测与测评排期后移 | 机构反馈的档期晚于计划节点 | 提前启动预评估与自评估,把正式评测排在整改期之前;必要时分批送评 | 项目末段并行工作增多,需加强进度管控 |
| 源系统接口迟迟不开通 | 某系统在约定时点后仍未开通且无明确时间 | 启用离线导出过渡通道;该系统所涉对象的数据在数据卡登记为过渡来源 | 该部分数据的时效性与增量能力下降 |
| 场景验证判据争议 | 验证结论与业务方判断不一致 | 由专家库仲裁并留书面结论;判据修订按变更流程处理,修订前的结论保留 | 验证周期延长,需重跑受影响用例 |
表 3-20 数据来源:风险点依本方案各节的实施依赖与现场数据条件(见表 1-2);应对动作依表 3-10 的异常处置与恢复判定和招标文件相应条款的定向回流要求。
表 3-21 数据准备风险及处置措施
| 风险条件 | 影响对象 | 识别方法 | 处置措施 | 完成条件 |
|---|---|---|---|---|
| 图纸与工艺卡片配对不足 | 产品工艺设计样本 | 按图号、零件编号、版本核验配对记录,统计有效配对及缺项 | 补取资料,完善映射,安排人工确认与复核,重新编排生产批次 | 有效配对通过审核,相关用途子集按分域指标完成交付 |
| 跨系统对象关联冲突 | 多源业务样本 | 检查主键唯一性、映射一致性和业务链完整性 | 隔离冲突记录,开展业务核实、规则修订及回归校验 | 映射依据明确,关联结果可追溯,影响批次复核通过 |
| 选型偏好标签不足 | 供需计划偏好数据 | 核查成对候选方案、评价依据和审核结果 | 补充合法来源资料,组织专业评定,增加符合业务范围的样本构建与复核 | 供需计划偏好数据达到分项数量及质量要求,不以其他业务域替代 |
| 工序字典发生修订 | 工艺本体及标注结果 | 评估字典版本差异及受影响数据 | 审批规则变更,发布新版本,重检相关样本并保存版本映射 | 规则、工具、标注及数据卡版本一致,受影响成果通过复核 |
| 设备到货或标定延迟 | 新增采集数据及关联验证 | 跟踪采购、安装、标定和采集计划 | 调整作业顺序,协调设备资源,落实补采及验证计划;不合格设备数据隔离 | 设备标定合格,采集覆盖和相关验证任务完成 |
| 故障标签或正常基线样本不足 | 装备诊断数据 | 按设备、工况和故障类别核验覆盖 | 补充运维资料,复核标签,完善采集和评测计划,未确认标签不得冒充故障事实 | 适用范围明确,数据覆盖与验证结果满足规定要求 |
| 纸质资料数量或可读性不足 | 产品质量数据 | 清点原件,检查清晰度和字段完整性 | 补取原件,重扫、人工录入和双重核验,安排缺口补足生产 | 对应数据集分项数量及质量达标,资料来源可追溯 |
| 采样时间与业务时间错位 | 时序关联样本 | 分析设备事件、业务事件和报工时间差 | 分批确认对齐参数,保存映射规则,无法可靠对齐的样本隔离复核 | 时间关联经核验,质量标志和规则版本完整 |
| 库存统计口径不一致 | 库存与经营指标样本 | 对比组织范围、时点、单位、数量及金额定义 | 经业务确认后建立统一指标定义,保留原始口径与转换规则并开展对账 | 指标定义获得确认,结果可复算,来源及转换过程可追溯 |
各项风险处置纳入项目进度和质量管理,责任人员、完成时点及复核结论在处理记录中登记;需要变更合同约定的事项按正式变更程序执行。
招标文件有若干处未给出确定数值或存在两处表述,我方对这些处的处置口径统一如下,并在实施期按同一口径执行,不因章节不同而改变取值。
留白不处理,影响的不是文字而是交付本身:同一事项在投标阶段与实施阶段各按一种理解执行,差额在验收时即成为争议,相应的工作量与资源安排也无从提前测算。表 3-22 收入的五处,均为会直接影响交付数量、人员组织或功能范围的条目,仅属文字表述出入、不改变交付内容的不列入。各处的取值遵循同一条原则:数值类取两种理解中的较高值,范围类按服务采购清单实列的完整项数交付,构成或归属未明确的按各种可能情形分别给出可执行安排,均不以含糊表述留待事后解释。
读表时,中间一列是招标文件的原文情形,右列是我方在本投标文件中实际执行的口径,二者并列即构成一处可被逐条核对的承诺。
表 3-22 留白处的处置口径
| 留白处 | 招标文件原文情形 | 我方处置口径 |
|---|---|---|
| 服务期内集中复测次数 | 原文写「不少于 X 次(X 在实施阶段由项目蓝图设计要求定义)」 | 在方案中承诺不少于我方给出的次数,并写明最终次数随蓝图设计确认后执行,取两者较高值 |
| 数据标注专家库 50 人的构成 | 未明确为甲方内部专家或社会专家 | 按两种情形都给入库条件与派工规则,内部专家承担口径确认与仲裁,社会专家承担规范评审与争议裁决 |
| 运营服务管理平台的功能模块交付范围 | 业务范围写不少于 14 个,服务采购清单实列 16 个 | 按服务采购清单实列的 16 项功能模块全部交付,逐模块给出功能、界面与关键流程,并实现平台服务与 SLA 保障能力以承载 3.2.4.6 的服务级别要求 |
| 数据集规模的两处表述 | 项目目标与业务范围写下限(≥600 亿 Token 等),逐数据集规模表给四领域分域数值 | 逐数据集规模表的四领域分域数值即我方的交付承诺值,逐项承诺、逐项验收,不以「合计达到下限」替代任一分项;项目目标与业务范围的下限为同一承诺的底线表述,两者并存时以分域数值为准 |
| 资格条件中的设备要求 | 资格审查表列「设备要求」一项,内容指向第一章招标公告 | 按招标公告的资格要求提供对应材料,详见资格与商务卷 |
表 3-22 数据来源:留白情形依招标文件对应条目原文;处置口径依本投标文件统一安排。
据此,本投标文件各节在涉及上述事项时只出现一种取值。实施阶段蓝图设计或招标方书面确认给出更明确要求的,按正式变更程序以确认结果为准,已承诺的数量、项数与人员条件不因此下调。
本项目的交付物、交付方式与验收依据,归纳为以下六项承诺,全卷各节的具体设计均落在这六项之内。
交付对象。 本项目向招标方交付可交易、可复用、可溯源的行业高质量数据资产,以及证明这些资产可支撑业务场景的验证结论。
交付范围。 本包承担数据集加工生产、数据集质量评测、数据集场景验证三类服务。交付责任的起点为原始数据写入平台落地区,终点为数据集版本移交数据集运营服务管理平台并登记完成;智能场景本身的建设不在本包范围。
实施方式。 以数据治理为横向管控层、知识本体与知识库为统一知识底座、十环节加工链为纵向生产主线、七道质量检查节点与三类定向回流为控制手段;四类数据集各走专属加工路径,共享同一套知识底座与质量检查规则。
交付数量与质量。 四类数据集合计交付预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,并按供需计划、产品工艺设计、制造过程、产品质量四个业务领域逐项达到分域承诺量;数据集覆盖文本、图像、时序、视频四种模态,多模态数据条数占比与近 3 年内时效性数据条数占比均不低于 40%;保真度、完备性、规整性、均衡性、可用性、可信性六个质量维度按《高质量数据集质量评测规范》(TC609-5-2025-04)的指标定义达到判据。
验证方式。 内部七道质量检查节点与外部首轮全量评测共用同一套指标定义;十一个场景按各自基线判据给出数据可用性结论;多阶段模型评测量化数据集带来的能力增量;评测错题开展训练数据归因并形成结构化整改任务单,整改后复测。
偏差处置。 每项关键处理任务均给出运行条件、处理措施、异常处置与恢复及结果判定(见表 3-10)。异常处置不降低招标文件已规定的规模、质量、准确率、覆盖率、功能、时间与许可要求,受影响的数据、模型与结论按影响范围重处理并重新验证后方可计入合格交付;基准测试数据集不向训练域开放一条无例外处置。招标文件已规定数值的指标按招标值承诺,不纳入逐轮修订。
本包采购的是一批可清点、可检验的服务成果,而非一组能力描述,因此每一项服务在立项之初就须具备明确的验收依据。七项服务依照招标文件的采购清单划分,数量单位统一取「套」,缘于每项服务均以成套成果整体交付、整体验收,不按人天或单项工作量分拆计价;实施工作所列范围取自用户需求书对各项服务的界定,交付及检查要求所列的数量、比例与合格判据取自招标文件已明确的强制指标与相应标准条款,招标文件未给出数值的事项则以可核验的实物成果和过程记录承接,不以估计值充当承诺。
表中实施工作一列是我方承诺完成的作业范围,交付及检查要求一列是招标方据以判定合格与否的判据,二者逐行对应,任何一项服务都不存在只做不交或只交不验的情形。其中数据集加工生产实施服务与数据集质量测评服务两行构成本包主干:前者决定四类数据集能否按量按质形成,后者决定其能否取得合格结论,其余五项服务分别为其提供数据来源、工具手段、运营出口、运行环境与安全条件。通读全表可以得出的结论是,本包全部服务最终汇聚为一批合格的数据集加工成果及其质量证明,后续各节的作业组织、产能安排与质量检查,均围绕表内列明的交付物与判据展开。
表 1-1 服务采购清单
| 服务名称 | 单位与数量 | 实施工作 | 交付及检查要求 |
|---|---|---|---|
| 数据资源建设服务 | 1 套 | 针对 CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其系统、主数据管理平台、热处理群控系统、安全监管平台,按业务需要完成授权协同、资料核查、采集接入、历史和增量获取;完成纸质及离线非结构化资料电子化、解析和录入 | 交付来源台账、合法授权、接口与字段配置、原始及电子化数据、采集记录、数量和增量对账、异常处理及血缘。检查对象、用途、时段、格式、完整性和实际更新能力;安全监管数据按单向获取要求接入,替代采集方式不绕过授权,也不降低最终能力 |
| 数据集加工生产专项智能工具链建设服务 | 1 套 | 建设思维链、长上下文、多轮对话、多模态对齐、智能标注、数据生成增强、质量分布控制、生成控制评测、验证归因九类 25 个专项工具,配置实际加工调用及公共接口 | 提供 25 个可运行实例、不限使用节点及许可数量的授权、输入输出、配置、接口、部署、使用维护资料及测试结果。逐工具验证所需功能,检查任务创建、查询、结果、重试、导出、回调等适用接口与权限、异常、版本和追溯;验收以可运行实例的实测结果为准 |
| 数据集运营服务管理平台建设服务 | 1 套 | 建设目录、元数据、上传、下载、权限、动态更新、检索预览、版本、服务、对外接口、登记注册、确权、挂牌展示、交易合同、交易费用、全流程审计 16 项功能,落实订单、交付、清算和 SLA 详细功能 | 提供可运行平台、不限使用节点及许可数量的授权、配置、接口和操作维护资料,完成正常及异常流程测试。检查登记内容与实际版本、用户权限与用途、订单与交付、计量费用与清算、审计记录的一致性;平台服务保障落实服务监测、故障记录、响应处置、恢复验证及服务统计,检查结果与实际运行记录一致;国家数据基础设施接入以实际联调与运行记录为准 |
| 系统集成服务 | 1 套 | 完成通用服务器上数据集加工生产平台的安装和适配、接入连接器上数据集运营服务管理平台的安装和适配、服务器密码机国密算法调试,以及采购硬件的网络连接和适配 | 交付实际部署、软件与设备版本、配置、接口、权限及网络记录,完成平台、密码、设备取数及相关业务联合测试。验证数据完整性、对象与时间关联、异常恢复和日志追踪;验收判据为整体集成联合测试通过,单机运行或端口连通只作为其中一项前置检查 |
| 数据集加工生产实施服务 | 1 套 | 实施数据治理规划及落地、行业大模型训练推理、采集预处理及知识建设、标注合成增强、质检验证和项目管理,完成四类数据集及各用途指标、11 个场景验证、运营推广和相关技术攻关;开展技术标准验证、专家库、标注规范、软建设、组织保障、安全合规及知识产权工作 | 交付实际数据、模型、知识和治理成果,完整场景验证、运营推广及基础设施接入成果,专家与规范、配套措施及不少于 7 份内部管理制度。四领域四用途逐项达量达质,知识终审、独立基准及安全条件满足;论文不少于 5 篇已发表、发明专利不少于 3 项已申请、软件著作权不少于 6 项已获得,资料与实施记录一致 |
| 信息安全风险评估服务 | 1 套 | 对项目建设的信息系统开展等级保护 2.0 测评及商用密码应用安全性评估,落实实际系统范围、环境、材料、检查和问题整改 | 提供评估资料、报告或相应证书、缺陷及整改复核记录,实际系统满足适用安全与密码要求。测评等级以定级备案结论为准,完成判据为测评结论出具且问题整改复核完成 |
| 数据集质量测评服务 | 1 套 | 开展多模态自建数据集首轮全量评测、模型对照实验、缺陷定位与整改复测,对说明文档、数据质量和模型应用三个维度的全部适用指标逐项核验;记录受检范围、数据版本、检测方法、结果、问题定位和整改证据,组织复测直至达到全部质量要求 | 交付正式盖章评测报告、全流程原始记录、分项与综合评分、模型实验记录、问题整改及复测记录和完整质量档案。三个维度指标实现 100% 全覆盖核验,各维度分别达到最低合格标准,数据集综合质量得分不低于 85 分;数据内高风险缺陷 100% 清零,中低风险缺陷整改完成率达到 100%,模型动态验证达到最低性能提升阈值。对高风险内容实施全量检测,对检出问题逐项复核、处置和复检,抽样零发现不作为全量清零的替代证明。全部结论与实际受检版本和过程证据一致,正式评测独立于加工过程质检组织 |
围绕供需计划、产品工艺设计、制造过程和产品质量四个业务领域,组织数据采集、预处理、知识本体、知识库、数据标注、合成、增强、数据集质检、验证和项目管理。按实际数据来源、业务责任及授权关系登记处理对象,核对业务系统、设备采集、纸质及离线资料的来源、内容、格式、时间、版本和允许用途,形成可执行的加工任务。
每类数据集分别建设预训练、有监督指令微调、人类偏好对齐和基准评测用途子集,四类合计达到预训练 615 亿 Token、指令微调 89 万条、偏好数据 6.6 万组、基准评测 0.95 万条,并逐领域逐用途满足各分项数量。文本、图像、时序和视频按相应质量和关联规则处理,多模态数据条数占比和近三年数据条数占比均不低于 40%;不同计量单位分别统计,来源时间及占比计算保留可复核记录。
加工任务记录输入批次、规则和知识版本、工具配置、责任人员、实际执行与输出。候选数据完成训练前质检后用于相应训练及验证,最终版本具备合格质量与验证结果、完整数据卡、数据字典、血缘和授权资料,再按实际接收条件移交运营平台。数据登记、访问、对外使用和服务交付分别核验权限及质量条件,登记完成不自动取得公开发布或交易权限。
每项加工任务明确输入对象、执行顺序、处理规则、输出格式、责任人员和接收条件,启动前检查来源授权、相关知识终审、规则有效性、工具及环境可用性。任务实际输入与配置固定记录,执行中保存状态、异常、重试及输出校验,交接依据实际成果和检查证据办理。
数据接收、预处理、知识审核、标注、合成增强、训练前质检和训练后验证分别设置适用检查。未通过的相关对象隔离并暂停后续受影响操作,问题按证据定位至源数据、规则、知识、工具或模型;修正使用新任务或新版本,关联原问题及历史执行结果,重新完成受影响检查和必要回归。共享依赖变更时同时核查相关批次,修正范围覆盖全部受影响样本,而不止于发现问题的那一个样本。
批次台账、质检与验证报告、数据卡、数据字典、资产及血缘资料与实际版本一致。移交时提供复核所需的数据清单、规则配置、工具和模型版本、环境依赖及执行记录;在具备合法授权、必要软件许可和相应资源的受控环境中开展复核。涉及敏感数据和安全配置的资料按权限保存及移交,复核过程同样执行访问控制。
表 1-2 数据集加工生产实施服务任务与成果
| 服务内容 | 实施工作 | 交付成果与检查要求 |
|---|---|---|
| 数据治理规划和实施服务 | 开展业务、数据、系统和管理制度调查,建立问题清单及整改计划;围绕数据战略、治理、架构、资产、标准、质量、安全、生存周期及应用流通建设治理体系;在业务部门完成规则评审后实施数据汇聚、处理、元数据、资产、标准、质量、安全、指标及服务管理,组织制度执行检查和持续改进 | 交付治理现状调查、规划设计、制度规范、实施配置、运行记录和改进报告,治理文件不少于 25 份,交付清单各项内容完整;覆盖人力资源、研发、生产、仓储、财务、设备、采购、营销和质量业务;以通过 DCMM 三级为目标落实能力建设、证据归集及评估改进 |
| 行业大模型训练推理技术服务 | 在私有环境部署国产通用大模型及多模态模型,完成训练数据统计、配比、继续预训练、监督微调、行业奖励模型训练和偏好优化;按模型及资源条件组织全参数或参数高效训练,保存检查点、配置、训练曲线和异常记录;开展独立基准测试、行业知识与安全评估、推理部署及回归验证 | 交付模型及适用许可材料、数据版本清单、训练与推理代码、配置、权重、运行环境说明、实验记录及评估报告;监督微调保留基础、消融及混合实验结果,奖励模型保留独立偏好测试结果;训练、验证和基准评测数据按来源及衍生关系隔离,提供可复现的测试程序与运行证据 |
| 数据加工生产服务要求 | 对授权数据组织采集、预处理、本体构建、知识库构建、标注、合成、增强、质检及验证,按数据用途和处理条件选择适用作业路径,项目管理贯穿全过程;建立来源、原始对象、处理批次、样本、规则、审核和版本之间的追溯关系,处理跨系统关联、缺失冲突、迟到补传及撤回事项 | 交付四领域加工数据、规则配置、知识库与图谱、数据字典、标注规范、加工日志及质量记录;知识条目经业务专家终审后用于标注和合成,基准评测子集不使用任何形式的合成数据,增强校验不通过的批次整体回退;候选数据通过规定的评测和场景验证后形成正式交付版本 |
| 数据集建设及指标要求 | 分别建设供需计划、产品工艺设计、制造过程和产品质量领域的预训练、监督微调、偏好及基准评测数据集;按领域和用途分别统计合格净量,核对模态、来源时间、重复关系、授权状态和数据质量 | 供需计划分别完成 276 亿 Token、40 万条、3.2 万组、0.4 万条;产品工艺设计分别完成 70 亿 Token、10 万条、0.8 万组、0.1 万条;制造过程分别完成 105 亿 Token、15 万条、1 万组、0.2 万条;产品质量分别完成 164 亿 Token、24 万条、1.6 万组、0.25 万条。交付文本、图像、时序、视频等超过 3 种模态的数据,满足多模态数据条数占比不低于 40%、近三年数据条数占比不低于 40% 的要求;逐项提交统计范围、计算依据、明细及抽查记录,各领域各用途分别达标 |
| 数据集场景验证服务要求 | 开展产品智能选型、板材备料工艺智能设计、库存控制智能化、热处理过程智能监控、焊接过程控制智能监控、刮板输送装备健康智能诊断六个专业场景,以及管理制度、技术标准、标书、决策数据智能问答和合同合规智能审查五个通用场景的验证;逐场景完成业务用例、数据准备、功能联调、结果核验、异常修正和复测 | 交付十一场景的验证方案、测试数据版本、运行配置、逐用例记录、结果证据、问题整改及验证报告。板材备料验证包括图纸接收解析、工艺卡片及工序附图生成、在线预览和 PDF 导出打印等实际功能;全部识别通过后生成的工艺卡片及工序附图内容准确率达到 100%。按经确认的图纸、有效工艺规则、设备资料及专业判据逐卡逐字段核验,保存差异、修正和复测记录;存在未关闭差异的结果不作为合格成果。各场景按各自功能与指标完成整体验证,样例展示仅作过程记录 |
| 数据集运营推广服务要求 | 建立持续数据汇聚、数据集运营体系、运营架构、盈利模式、运营组织及公共服务机制;完成资源梳理、服务设计、业务流程、收益与成本测算、职责安排和推广实施;对接国家数据基础设施,组织平台生成数据集和行业用户自有数据集的接入核验 | 交付持续汇聚方案、运营体系及架构设计、盈利模式分析、运营组织职责及工作机制、公共服务方案、推广记录与国家数据基础设施实际接入材料;记录登记、授权、发布、使用及反馈过程,保持经营测算依据可核查。本项范围不含运营团队组建及运营硬件基础设施配套,运营组织设计及相关服务仍由本项完成 |
| 技术标准验证要求 | 结合矿山装备制造数据特点,参与全国数标委标准验证和试点应用;选取实际数据、工具及业务流程建立验证用例,执行测试,分析标准技术指标的适用性及实施问题,提出有数据和记录支撑的改进建议 | 交付参与工作材料、验证方案、指标及用例清单、测试记录、问题分析、试点应用成果和反馈材料;对验证对象、样本版本、方法、条件、结果及建议逐项留档,使标准验证结论与实际试验相对应 |
| 数据标注专家库建设机制建设要求 | 建立专家库建设原则、专家类别、入库标准、遴选流程、职责及考核机制;面向标准编制、数据生产、质量管控、行业应用、项目管理和安全合规六个领域遴选专家,开展资格核验、评审入库、任务指派、回避管理、绩效评价及动态调整 | 建成不少于 50 人的专家库,按人员去重计数;交付管理机制、人员及专业信息、资格审核记录、入库记录、任务履行及考核记录;专家承担的专业审核事项与其能力、职责及授权相匹配,人员补充和退出保留可追溯记录 |
| 数据标注规范建设要求 | 针对文本、图像、时序、视频等数据建立标签定义、对象边界、属性规则、关系规则、样本示例、疑难问题处置、复核和验收要求;组织业务专家审定、标注人员培训、试标与一致性检查,处理争议并发布受控版本 | 交付各类数据标注规范、标签字典、正反例及边界案例、培训与试标记录、争议裁决记录、质量检查表和版本变更记录;将标签、样本及工具配置关联到有效规范版本,规范变更后评估受影响数据并完成必要复核和修正 |
| 项目「软建设」配套措施建设要求 | 梳理 25 个相关政策文件,制定中长期发展规划、专项实施方案、制度体系、政策落地动态调整机制和年度政策符合性评估报告;建立五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励及能力复用五项机制;牵头制定关键行业标准,构建「五位一体」标准体系并制定项目实施技术规范 | 交付 1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制及 1 份年度政策符合性评估报告;形成五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励、能力复用 5 项机制;牵头制定 2 项关键行业标准,构建包含 18 项细分标准的「五位一体」标准体系,制定 6 项项目实施技术规范,提交各项编制、评审、修改和应用记录。政策文件、规划、机制和标准规范分别建立清单,具体成果及数量逐项核验 |
| 项目组织实施与保障措施要求 | 建立组织、协同、管理、协调、保密、资金、档案及环境管理机制,明确任务责任和协作流程;制定知识产权、成果管理及合作权益安排,开展风险识别与处置;制定年度计划及考核计划,按考核结果组织纠偏和改进 | 交付不少于 7 份项目内部管理制度,以及组织职责、风险管理计划、年度计划、考核计划、过程检查与考核记录、成果和合作权益管理文件;实施记录与实际人员、任务、进度和问题处置一致,形成可检查的执行证据 |
| 项目安全合规建设要求 | 逐项核验数据、软件、模型及其他建设内容的来源和商业使用条件;对个人信息、敏感地理信息、重要行业数据、企业秘密数据实施适用的去标识化或脱敏处理;在采集、加工、训练、验证、存储、交付及运营环节实施权限校验、访问名单管理和全流程审计 | 交付来源及授权材料、商业使用条件核验记录、分类分级及脱敏规则、处理与复核记录、权限配置、访问名单和审计记录;用途、对象、范围或授权有效期发生变化时重新核验,数据在完成授权核验后方可投入受限作业、交付或对外发布 |
| 知识产权相关建设要求 | 围绕关键技术和行业应用开展研究、成果整理与知识产权布局,组织论文研究撰写及发表、发明专利申请和软件著作权登记;核查成果来源、作者及权利归属,保留研发、评审和提交材料 | 累计发表学术论文不少于 5 篇、申请发明专利不少于 3 项、获得软件著作权不少于 6 项;分别提供正式发表证明、专利申请证明及软件著作权登记证书,并交付成果清单及归属资料,完成状态与证明材料一致 |
标注作业使用经专业评审并发布的标注规范。任务创建时记录规范版本、标签字典版本、适用业务及样本范围,标注人员完成培训和试标后领取任务。疑难样本进入专业复核,裁决结果及依据随样本保存。规范调整后识别受影响的任务、样本和训练数据版本,组织复核、修正及重新质检;原有版本及变更记录保留,正式标注成果使用经确认的规则版本。
结合矿山装备制造领域的真实数据和业务流程,参与全国数标委标准验证和试点应用。针对拟验证的标准指标确定对象、样本、方法、环境和结果记录方式,组织试验及业务核验,分析指标适用性、实施难点和测量差异,形成验证记录、试点成果、问题清单及改进建议。标准引用关系作为知识来源管理内容记录,标准验证结论以实际测试和试点结果为依据。
对数据、软件、模型及其他建设内容逐项检查来源、许可和商业使用条件,建立授权范围、用途、期限及限制事项记录。对个人信息、敏感地理信息、重要行业数据和企业秘密数据实施适用的去标识化或脱敏处理,并核验处理效果。采集、加工、训练、验证、存储、交付和运营各环节均执行权限校验、访问名单管理及审计记录;授权变化、用途变更或权限撤销时,识别并暂停受影响的操作,核验当前授权、适用用途、质量及安全条件,重新具备相应合法权限并满足操作条件后恢复获准作业,保留复核、授权及恢复记录。
项目交付包括高质量数据集及其加工记录、治理体系和实施成果、行业大模型训练推理成果、专项智能工具链、数据集运营服务管理平台、集成与安全建设成果、场景验证及数据集质量评测成果,以及运营推广、标准验证、专家库、标注规范、软建设和知识产权成果。各类成果按实施计划完成设计、开发或配置、测试、评审、整改、交付和验收,形成成果清单、版本记录及验收证据。
场景验证面向六个专业场景和五个通用场景开展。针对每个场景建立业务任务、输入数据、功能步骤、预期结果及评价指标,完成验证环境配置、数据加载、接口联调、用例执行、业务专家核验和问题复测。项目承担场景验证服务,不承担智能场景本身的建设;验证工作覆盖各场景规定的全流程能力及实际功能,不以离线数据抽查或少量样例演示替代。
产品智能选型验证需求解析、参数计算与验算、配置推荐、规格书及报价配置清单生成、在线编辑确认和版本留痕。板材备料工艺智能设计验证产品全生命周期管理系统任务与图纸接收解析、工艺卡片及工序附图生成、变更修订、规则库和设备台账维护、应急工艺通道、图层与要素在线预览、PDF 导出及打印;全部识别通过后生成的工艺卡片及工序附图内容准确率达到 100%。其余场景分别建立完整功能用例和指标核验记录,保存使用的数据、模型、规则、环境版本和实际输出,问题整改后重新执行受影响的用例并核验相关结果。
数据集完成加工、质量检查及规定的评测验证后,按正式版本封装数据文件、数据字典、数据卡片、来源和授权材料、质量与验证报告、版本指纹及变更记录,向数据集运营服务管理平台移交。接收时逐项核对清单、数量、格式、校验值、权限及有效期,完成入库、元数据登记和版本关联;发现缺项、文件损坏、权限不符或版本不一致时退回修正,复核通过后记录接收结果。
平台建设同步完成数据及服务管理、订单、交付、清算、审计、服务保障和对外接口等功能,支持数据集登记注册、确权、挂牌展示、交易合同及交易费用管理。结合真实授权和业务流程组织功能测试与联调,保存操作、审批、交付及审计证据;数据集移交登记后继续完成平台功能、运营服务和集成验证,不将登记完成视为项目服务结束。
运营推广工作落实持续数据汇聚、运营体系、运营架构、盈利模式、运营组织和公共服务,完成国家数据基础设施实际接入。接入对象覆盖平台生成的数据集及行业用户自有数据集,逐项核验权利来源、适用用途、服务信息、数据版本和接口条件,完成登记资料校验、接口测试及接入结果确认。授权、版本或服务状态变化时及时更新关联信息,并对受影响的发布、交付及使用请求执行复核,保持运营记录与实际有效状态一致。
图 1-1 项目建设与数据集生产运营流程
数据治理贯穿数据采集、预处理、标注、合成、增强、质检和验证全过程。各项作业在执行前绑定有效的数据标准、质量规则、安全等级、授权条件和处理配置,执行中记录输入对象、处理过程、输出版本及异常事项;涉及来源、用途、规则或权限变化时,重新检查受影响作业的适用条件。知识本体、数据字典及知识库经专业审核和发布后,为实体关联、标签定义、样本构造和证据检索提供基础。
供需计划、产品工艺设计、制造过程及产品质量数据分别建立生产任务,按预训练、有监督指令微调、人类偏好对齐和基准评测四种用途组织数据子集。每项任务明确来源对象、处理步骤、适用规则、预期成果和检查要求。基准评测数据与训练数据按来源及衍生关系隔离,不使用任何形式的合成数据;各用途按适用流程执行,不将所有样本强制送入合成、增强步骤。
训练前质检核验数据的完整性、规范性、准确性、一致性、授权条件及内容安全,未通过检查的批次不得作为合格训练输入。训练后验证检查数据对模型能力和业务任务的实际作用,结合模型评估及场景验证记录判定结果。数据质检和训练后验证分别保存检测依据、执行记录、问题清单与结论,两类工作均完成后形成相应正式成果。
验证发现问题时,依据源对象、样本、规则、算子、任务及版本之间的血缘关系分析原因,确定受影响的输入、加工产物、模型和验证用例,形成整改任务。修正形成新的数据或规则版本,保留原版本及问题证据,对受影响结果重新加工、质检、训练或验证。每次执行使用明确的输入版本和输出版本,已执行版本不被回写覆盖;整改形成可追溯的新执行记录。
数据采集、预处理、本体构建、知识库构建、标注、合成、增强、质检和验证分别建立作业任务及成果记录,项目管理覆盖计划制定、资源安排、进度跟踪、质量检查、变更控制、版本管理和成果交付。各阶段执行前核实输入数据、规则和知识成果的适用状态,需使用知识条目的标注、合成任务仅引用已完成业务专家终审的有效条目。
设置采集受理、预处理结果、本体发布、知识成果终审、标注成果、合成与增强结果、正式版本发布七类过程检查。每类检查记录对象、版本、规则、执行人员、复核人员、检测结果、问题及处理决定。合成与增强分别检查各自的输入条件、执行结果和输出质量,合并管理检查记录不免除任一步骤的核验。未满足放行条件的对象保持待处理状态,涉及安全、授权、知识终审、基准评测数据隔离或强制质量指标的问题,不采用「有条件通过」转入受限作业或正式交付。
问题处理按影响分析组织。局部问题定位到具体对象和处理步骤,核查相关衍生结果后实施修正;跨环节缺陷建立整改工单,记录原因、责任人、受影响版本、处置动作及复检结果;模型及场景验证发现的问题联合检查数据、规则、模型和测试条件,验证归因假设后实施整改。增强校验不通过的批次整体回退,其他问题按实际影响范围确定重新加工及验证对象,关联结果一并复查,问题发生在单一节点同样复查其关联结果。
图 1-2 数据集加工、质量检查与验证流程
每个加工环节完成后,对实际产出批次执行质量检查,记录受检对象、数据版本、规则版本、检查方法、结果、问题及放行结论。采集完成后核查来源登记、许可、入口脱敏及格式;预处理完成后核查文本切分、表格与公式还原、时序对齐及结构化文本化转换;标注完成后核查标签完整性、体系符合性、跨标注员一致性及黄金集通过率;合成和增强各自完成后分别核查业务合理性、分布偏离、重复及语义漂移。检查结果与该批次实际产物绑定,后续任务只接收满足适用条件的对象。
本体发布前检查实体、属性、关系、约束、编码映射和术语的一致性,保存专业评审及发布记录。知识成果交付和投入使用前,由业务专家终审知识条目、图谱及数据字典,核验出处、内容、关联关系和适用条件;未通过终审的条目隔离处理,不用于标注或合成。
候选数据在训练和验证前固定输入版本、配置与校验信息,完成训练数据与基准评测数据的去重、相似度比对及隔离核验;版本固定不等于正式发布。正式发布前检查质检结果、训练后验证及场景结果、问题整改、规模与占比、授权状态以及配套资料,全部满足发布条件后封装数据集、数据卡、数据字典、版本指纹、质检报告和验证报告。未通过检查的对象生成整改任务,修正后完成复检及必要的关联结果复核。
表 1-3 数据加工质量检查及处置要求
| 检查事项 | 检查时点与对象 | 检查内容 | 通过条件与记录 | 未通过处置 |
|---|---|---|---|---|
| 采集受理检查 | 采集批次接收后、投入预处理前;检查文件、记录、来源及授权材料 | 核对来源登记、权利来源、许可用途和有效期、对象与时间范围、分类分级、入口脱敏执行、格式与编码、文件清单及数量;确认实际采集对象与获准范围一致 | 来源和授权有效,必要安全处理完成,格式及完整性检查满足接收条件;形成受理清单、检查结果、脱敏复核及采集批次结论,关联源对象、批次、规则和责任人员 | 隔离不合格对象,暂停受影响的后续作业;按原因补充合法材料、修正配置、重新获取或处理数据,并检查已产生的衍生对象;无有效授权的对象不通过补记说明继续使用 |
| 预处理结果检查 | 各预处理批次完成后;检查原始对象、转换产物及执行记录 | 检查文本切分、表格和公式还原、图文对应、时序对齐、结构化文本化转换、单位与编码、去重及算子留痕;对多模态对象核验同一业务事件和时间关系 | 处理结果与来源内容及有效转换规则一致,适用指标达标,输出清单和血缘完整;保存规则版本、算子配置、检查明细、问题定位及批次结论 | 将问题定位至源对象、解析步骤、参数或关联规则,评估受影响范围后重新处理并复检;若共用配置造成系统性错误,覆盖全部受影响对象;保留原结果与重做记录 |
| 本体发布检查 | 本体版本发布及变更生效前;检查类目、实体、属性、关系和约束 | 检查实体定义、层级、关系方向、属性单位、约束一致性、术语及编码映射,核验主数据和业务系统对象的实际对应关系;区分产品设计对象、工件、工单、炉次与检验批,不以相同字段值强行等同 | 专业评审通过,关键定义及映射规则明确,可执行校验无未处置冲突,形成版本、评审、映射和发布记录 | 退回修正定义或映射,分析受影响知识、标签、样本和任务;完成必要的数据重映射及回归检查后发布新版本,未经批准的变更不直接覆盖已使用版本 |
| 知识成果终审 | 知识库、图谱及数据字典交付和投入标注、合成前;检查拟发布知识条目及关联关系 | 逐条核验出处、来源版本、权利条件、内容准确性、适用设备及工况、关系语义、证据关联和字典定义;对跨领域关系组织相应专业核验 | 业务专家对拟发布条目、图谱和数据字典完成终审,记录审核人员、依据、结果及有效版本;抽查通过不外推为全部未审条目通过 | 未通过或待审条目隔离,不用于标注和合成;核验并修复已经产生的受影响样本和引用关系,完成终审及复检后重新发布 |
| 标注成果检查 | 标注批次完成后;检查标签、属性、关系、样本及标注记录 | 检查标签完整性、标签体系符合性、对象边界、属性取值、关系方向、跨标注员一致性和黄金集通过率,检查规则与知识版本、异常样本及争议裁决记录 | 适用质量指标达到既定要求,低一致性及争议问题按流程处置,标注结果与有效规范一致;保存检查结果、低一致性样本清单、裁决和修正记录 | 定位人员理解、规范歧义、工具配置或源数据问题,组织规则澄清、复训、重标及复核;整改覆盖受影响样本,不仅修改被抽到的样本;合格后重新形成批次结论 |
| 合成与增强结果检查 | 合成批次、增强批次分别完成后;分别检查种子、生成或变换配置及输出 | 检查知识终审、来源授权、教师模型及许可、业务合理性、真实样本分布偏离、重复与相似度、语义漂移、标签一致性和血缘;核验基准评测子集不存在任何形式的合成数据,来源时间未被生成时间替代 | 合成和增强分别形成量化检查结果和批次结论,输出符合业务、质量、安全及隔离要求,种子与衍生样本可追溯;正式计量保留去重和用途归属明细 | 合成失败按原因修正生成约束、种子或配置并重新检查;增强校验失败的批次整体回退,不纳入数据集版本;发现污染时检查同源衍生对象及受影响用途子集,隔离修复后复检 |
| 版本质量与发布检查 | 候选数据进入训练前完成数据质检与隔离检查;训练后完成模型和场景验证;正式发布前核对全部成果 | 量化检查保真度、完备性、规整性、均衡性、可用性和可信性,执行训练与基准评测数据去重及相似度比对;核验实际训练、模型能力增量、十一场景结果、整改记录、分领域分用途规模及模态时效占比、授权状态和交付文件 | 训练前质检合格方可进入相应训练;训练后验证及场景结果达标,全部适用发布条件满足后形成正式版本。数据、数据卡、数据字典、自描述封装、版本指纹、质检与验证报告相互一致;正式质量评测三维度 100% 覆盖、各维度最低合格且综合不低于 85 分,高风险清零、中低风险整改 100%,模型应用达到约定最低提升阈值 | 未通过条件对应的对象停止进入下一受限阶段或正式发布,建立缺陷及影响清单;按原因补采、修正、重标、重新合成或增强,并对受影响的模型和场景复验;保存新旧版本关系及全部复检证据,不以抽样零发现、延期补测或有条件发布替代必达指标 |
表中质量阈值必须满足明确的强制指标;未指定数值的过程指标在实施方案中以业务依据、样本试验和评审确定,不由作业侧为补规模自行降低。
按业务领域、用途、来源条件和作业依赖编制批次计划,逐批列明输入就绪时间、处理任务、质检工作量、专业审核安排、训练资源及交付节点。采集和预处理可在授权及接收条件满足后分批滚动;本体和知识成果按实际专业审查进度发布,拟用于标注或合成的知识条目全部完成终审后方可引用。任务排程以已具备的输入和审核状态为准,不将尚未通过检查的成果视为可用产能。
标注、合成和增强各批次完成后及时组织质量检查,记录低一致性样本、生成缺陷及增强校验结果,不等待正式版本汇集后再首次判定。训练与验证任务提前核对数据版本、软件许可、计算资源、实验配置、专家参与及评测数据隔离条件,按实际资源安排执行窗口;并行作业保持各批次的输入、规则、产物和日志独立可追溯。
根据实际通过率、返工量、审核积压和训练验证耗时滚动调整后续计划。出现瓶颈时优先处理影响关键路径及质量达标的任务,通过合规补充资源、调整任务粒度、优化配置和安排专业复核消除积压;检查范围、知识终审、独立基准和最终验收指标保持不变。
在来源接收、各加工环节完成和正式发布前执行相应检查,发现来源许可、内容安全或业务有效性问题时,立即停止受影响对象的继续使用及新增交付。按来源标识、样本及衍生关系、处理任务、数据版本和使用记录追踪影响范围,区分未加工数据、已生成样本、已训练模型和已交付成果,分别登记需要核验、隔离、修正或停止使用的对象。
问题处置记录应包括发现时间、证据、授权与使用状态、影响对象、责任人员、措施和复核结果。可精确识别影响范围的,对受影响对象实施控制并验证其余对象是否仍满足使用条件;无法可靠界定影响范围的,先暂停相关批次或版本的使用与发布,再完成排查。涉及已交付成果时,根据实际授权、影响程度和交付状态组织通知、修正、版本替换或撤回,保留接收方反馈及处置记录,外部操作以可确认的执行回执为准。
整改完成后重新核验来源权利、适用用途、质量和安全条件,检查关联样本及模型是否需要重新处理或验证,形成复核结论后恢复获准作业。原版本、原问题和处置证据保留,新的处理结果另建版本并记录替代关系。
预处理任务按数据模态和实际依赖组织步骤。文档处理核查页面、段落、表格、公式及图文关联,图像处理核查文件、尺寸、有效区域和业务标识,时序处理核查时间基准、采样间隔、单位、缺失和事件关联。每个步骤保存输入、配置、输出及执行状态,发现影响后续结果的结构、时间或关联错误时暂停受影响步骤,定位后修正,避免错误产物继续扩散。
能够独立复用且已通过校验的中间结果按版本保留;重新执行范围由来源、配置、共享依赖及衍生关系的影响分析确定。处理结束后仍对完整预处理批次进行质量判定,局部重做和局部通过不替代整体批次结论。共用解析或时间配置错误影响整批数据时,覆盖全部受影响对象重新处理和核验。
本体检查和知识终审分别执行。本体检查实体、属性、关系、约束及映射规则,知识终审核验具体内容、出处、适用条件和关联关系。任一项变更后识别引用它的规则、标签、样本及任务,组织相应专业审核和回归检查,发布经确认的新版本;本体通过不替代知识终审,知识终审通过也不免除本体结构检查。
工具在作业中执行可自动化的格式、完整性、空值、重复、范围、关系及配置一致性检查,保存实际规则版本、受检数量、命中对象和结果明细。自动检查失败时,对受影响对象设置待处理状态,并将缺陷位置及证据交由责任岗位处置;作业成功结束和质量检查通过分别记录。
专业含义、业务合理性、知识终审、争议标注、安全授权及重要质量问题由具备相应职责和授权的人员复核。各加工环节完成后,由明确的质量责任岗位汇总自动检查和专业审核证据,形成批次结论及整改任务。需跨领域判断的事项组织相关专业共同核验,其他事项按已确定的责任流程处理,保持审核责任、依据和处理结果可追溯。
检查结论绑定具体对象、数据及规则版本和适用条件。复用已有检查结果时核实这些条件仍然成立;输入、规则、授权或依赖发生变化的,重新检查受影响事项。过程检查、知识专家终审、训练后验证及正式质量评测分别履行,自动化检查不替代必要人工审核,人工签认也不替代规定的检测范围。
供需计划、产品工艺设计、制造过程和产品质量分别建立数据集项目,在各项目下按预训练、有监督指令微调、人类偏好对齐和基准评测组织生产任务。每项任务明确业务对象、来源范围、用途、模态、处理步骤、规则版本、质检条件和交付形式,并记录与相关本体、知识成果、工具及数据资产的关联。
物料、产品、设备、工艺、工序、质量及其他共同业务对象采用经确认的术语、编码和关系定义,复用适用的采集、解析、标注、检测与追溯能力;各领域仍分别确定其特有来源、标签、业务规则、样本分布和质量检查。不同用途在满足各自条件的前提下选择适用步骤,基准评测数据独立管理,不使用任何形式的合成数据,不与训练数据及其衍生样本混用。
按领域和用途分别记录投入量、合格产出、剔除与返工、模态构成、来源时间及授权状态,形成独立的规模与质量核验记录。共同来源和衍生关系在血缘中关联,重复数据和重复加工产物按计量规则识别处理,跨领域重复登记不抵补分项建设数量。
表 1-4 四类数据集生产作业与质量检查
| 数据集 | 来源整理与业务关联 | 标注及用途组织 | 合成与增强实施 | 质量检查与成果记录 |
|---|---|---|---|---|
| 供需计划数据集 | 整理客户、合同、订单、产品、销售、采购、库存、物流、排产及经营指标资料;保留订单行、物料、组织、仓库、计划版本和业务时间,区分需求、预测、计划、实际执行及库存快照。按真实主外键、业务单据关系和有效时间建立关联,核对拆分、合并、取消、退货和计划变更,无法确认的关联进入核验清单 | 提取需求要素、工况参数、产品配置、供应约束和计划执行信息,标注业务对象、条件、时间、结果及有效证据;预训练资料保持来源与内容一致,指令任务形成可核验的问题、条件和答案,偏好任务保留同一输入下候选回答、专业判断及理由,基准题按独立来源范围建立并隔离 | 使用获准且经审核的业务资料、规则和知识构造计划决策、配置推荐、供需问答等适用训练样本,核验供需数量、库存变化、时间先后和约束条件;记录生成配置和种子关系。对长尾条件补充合规样本,区分模拟条件与真实执行结果,预测或建议按其性质标注、不写成已发生业务事实;基准评测子集不使用任何形式的合成数据 | 检查物料、数量、单位、组织、时点及单据关系,核验预测与实际结果的区分、答案证据、规则适用性和标签一致性;按数据用途执行去重、隔离和质量检测,形成来源清单、关联核验、标注及合成记录、分布统计、质检和验证结果 |
| 产品工艺设计数据集 | 整理二维及三维图纸、设计文件、工艺卡片、工序资料、设备与加工能力、制图及工艺编制规则;记录图号、文件版本、零件与部件关系、材料、尺寸、公差和技术要求。图纸、工艺卡及工序附图按有效版本关联,变更前后内容和适用范围分别保留 | 标注图形及文字要素、特征位置、尺寸公差、材料、工序、加工方法和工艺约束,建立图纸要素与工艺卡片及附图的对应关系;多解或专业争议经工艺人员核验。按四种用途分别组织材料、指令、偏好比较和独立基准,专业结论以工艺人员判定为准 | 使用已终审的工艺知识、规则和实例构造适用训练样本,保留条件、约束、步骤及核验依据;推理过程逐步核查,工艺事实均附证据。图像与文本增强保持尺寸、公差、材料和工序语义,可能改变几何含义或加工条件的变换须经专业验证;基准评测子集不使用合成数据 | 检查图文对应、单位与数值、版本有效性、特征完整性、工序逻辑、设备能力和工艺规则适配;保存专业审核、差异和修正证据。板材备料场景对全部识别通过后生成的工艺卡片及工序附图完成验证,内容准确率达到 100%,检查记录与实际输出版本一致 |
| 制造过程数据集 | 整理制造执行、设备采集监控、热处理群控、能源管理、设备管理及加装传感设备的获准数据;保留设备、传感器、工件、工单、工序、炉次、位置、时间、采样条件及配置版本。核查时间同步、单位、采样间隔和设备状态,按实际生产事件关联,工单、炉次和工件分别建模,多对多关系保留对应记录 | 按工况和事件划分时序片段,标注启停、运行、异常、维护及已确认故障等适用标签;热处理、焊接和设备健康任务分别关联有效工艺参数、过程记录、检验及维修证据。报警、候选原因和经核验故障分开记录,根因以核验结论为准 | 根据实际分布分析补充长尾工况和适用训练样本,使用规则与物理约束核验模拟数据,记录模拟条件及来源关系,模拟数据与现场实测分别标识。时序切窗、重采样和扰动保持事件顺序及工况语义;图像变换保留有效缺陷特征;增强校验失败批次整体回退,基准评测数据不使用合成样本 | 检查时间与事件对齐、对象关联、工况标签、参数单位、数据缺失、传感器异常和衍生窗口重复;核验故障结论的证据及适用设备条件,隔离跨用途的同源时序和重叠窗口。交付关联映射、片段及标签、加工配置、分布对比、质检和模型场景验证记录 |
| 产品质量数据集 | 整理质量管理系统检验记录、质量台账、缺陷影像、硬度及其他检验结果、处置和复检记录;记录产品或工件、检验批、检测方法、设备、时间、判定标准及有效版本,关联适用工艺与制造过程。区分逐件检测和批次抽检,保持返修前后及重复检测记录,批检结果按批次口径记录 | 标注质量特性、检验项目、缺陷类别、位置、范围、程度及判定依据,按图像、数值和文本各自形式保留证据;检验结论、处置建议和根因判断分别记录,疑难缺陷由质量专业人员核验。按四用途建立样本和任务,独立基准按来源及衍生关系隔离 | 针对实际缺陷分布与覆盖不足构造适用训练样本,使用有效判定规则和经审核证据约束生成;合成缺陷明确记录生成属性,与真实检验记录分别标识。图像增强检查缺陷可见性、位置标注及尺度变化,文本增强保持质量结论和适用条件;校验失败的增强批次整体回退,基准评测子集不使用合成数据 | 检查检测对象、方法、标准版本、单位、标注位置、判定依据、复检及返修关联,核验重复图像和近似缺陷样本、类别分布及标签一致性。形成检验与过程关联、专业复核、标注与增强、缺陷整改、质检和模型验证记录,质量因果结论以检验证据和专业判定为依据 |
各领域共用的本体、知识、工具与检测能力按已审核的版本引用,适用性在任务启动时核验;领域特定规则独立配置,变更后检查受影响任务。
为每项生产任务生成唯一任务标识,为实际投入的处理批次生成唯一批次标识,分别登记数据集、用途子集、来源对象、业务领域、处理路径及其版本、执行配置、授权范围和质量规则。可读业务编号用于展示和检索,系统内部以稳定标识关联记录,重试、拆批、合批和补充处理另记执行实例及父子关系,保留原批次与原结果。
任务调度读取已审核的路径配置和适用规则,执行前核对输入模态、字段、来源授权、知识终审、处理能力及环境条件,确认实际数据符合任务要求后启动。算子组合、参数、模型、知识及检查规则的版本固定记录;配置不兼容、必要条件缺失或权限失效时停止受影响任务并生成处理记录,放行以上述核对结果为准。
多个领域及用途并行生产时,分别管理输入清单、工作目录或对象空间、访问权限、输出清单和日志,交接时核对标识、版本与校验结果。变更路径或规则后识别已运行和待运行任务的影响范围,完成审核、必要测试及版本更新后执行;已完成实例的记录按原样留存。
原始材料及其派生样本建立稳定的来源关联,保留文件或记录版本、来源对象、加工任务、样本及用途分配记录。材料被切分、转写、配对、改写或组合后,记录全部适用来源及衍生关系,使重复内容、近似内容和同源派生对象可被识别。多来源样本保留多对多血缘,按实际来源关系登记。
在训练数据加工和基准题制作前,按来源及衍生关系确定隔离范围。已经分配给独立基准评测的材料及其泄露题干、答案或推导内容的派生样本,不进入相应模型的训练数据;已用于训练的同源材料经改写、换编号或更换用途标记后,仍按同源对象管理,不计为独立基准题。发现跨用途重叠时暂停相关样本入集,重新核验分组和分配,并检查已完成训练或验证是否受到影响。
合规的数据复用分别核验用途授权、内容适用性、重复计量和质量条件。每个用途保留独立任务、合格产物及检查记录,基准评测子集不使用任何形式的合成数据;版本交付时提供隔离检查、命中处置及必要复验记录。
隔离核验同时检查来源标识、内容和衍生关系。对文件、记录及样本保留内容校验信息,识别相同内容和重复副本;结合适用的文本、图像、时序及多模态相似度方法检查近似内容,记录算法、配置、阈值、命中对象和处置依据。相同材料在不同系统或文件名下出现时,建立来源等价关系;切分片段、改写样本、图文配对、重叠时序窗口和多来源组合分别保留与其来源的关联。
训练与基准评测数据的隔离检查覆盖实际输入版本及其来源、重复内容和衍生对象。命中后核查重叠内容、任务关联、答案或推导信息泄露及用途分配,区分普通公共实体关联与实际数据内容泄露,污染判定以实际内容重叠为依据。需要专业判断的命中项进入复核,形成保留、调整分配、剔除或重新构造独立评测材料的明确结论。
对已进入训练或验证流程的污染对象,检查受影响的数据版本、模型和评测结果,重新组织必要的数据处理、训练及独立评测;原结果标明实际有效状态,独立验证证据以复验后的结果为准。交付隔离检查范围、方法、命中清单、专业复核、处置结果和复检记录,使结论与实际训练和评测输入一致。
将技术标准验证、专家库建设、标注规范、软建设配套措施、项目管理和安全合规纳入整体实施计划,与数据集生产任务同步安排责任、进度、评审和成果交付。业务专家参与本体与知识审核、标注争议处理、样本质量判断及场景验证;标准验证使用实际生产和评测记录形成试验结果,适用的改进意见经评审后纳入规则及工具配置。
对试产、正式加工、质量检查、模型训练和场景验证保存完整过程记录,归集实际处理耗时、资源使用、质量问题、整改措施和复验结果。经验成果对应具体数据、规则、工具及环境版本,说明适用条件并经专业复核后纳入操作规程、培训材料和复用配置。制度、规范、标准及工具配置发生变更时,识别受影响的任务和人员,完成必要的培训、测试及再验证后使用。
配套成果分别建立清单,记录名称、内容范围、责任人员、版本、评审意见、修改结果、实施证据和交付状态。制度文件与执行记录配套,专家名单与实际履职记录配套,标准验证结论与试验和试点材料配套,安全措施与配置及核验记录配套;交付前逐项核对完整性及相互一致性。
表 1-5 配套工作实施任务及交付成果
| 配套工作 | 实施任务 | 交付成果 | 检查与执行证据 |
|---|---|---|---|
| 技术标准验证 | 结合矿山装备制造数据及实际业务流程,参与全国数标委标准验证和试点应用;确定验证对象、指标、样本、环境及方法,实施试验,分析指标适用性与实施问题,提出改进建议 | 标准验证方案、指标及用例清单、测试记录、试点应用成果、问题分析和反馈材料 | 核对实际参与及试点材料,样本和工具版本与测试记录一致,结论具有对应数据及证据;标准引用管理记录与实际标准验证成果分别归档 |
| 实践经验积累 | 在试产、加工、质检、训练及验证过程中记录参数、耗时、资源使用、质量结果及整改,比较不同数据类型和工况下的适用性,经专业复核后纳入规程、培训和复用配置 | 试产记录、适用参数与配置、实际产能及损耗统计、问题与整改案例、复验记录、操作规程及培训材料 | 每项经验可追溯至实际任务、数据、规则及环境版本;明确适用条件和使用限制;结论以已证实的记录为准,已失效的配置退出当前作业并保留历史 |
| 项目「软建设」配套措施 | 梳理数据要素、高质量数据集、人工智能、新型信息基础设施、数据安全及绿色低碳等相关文件 25 个;制定规划、实施方案、制度及动态调整机制;建设五项体制机制,牵头制定关键行业标准,构建「五位一体」标准体系并制定实施技术规范 | 1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制、1 份年度政策符合性评估报告;五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励、能力复用 5 项机制;牵头制定 2 项关键行业标准,标准体系包含 18 项细分标准,制定 6 项项目实施技术规范 | 各项分别建立成果清单、内容及版本记录,保存依据核查、编制、评审、修改和应用材料;政策文件、规划、机制、标准和规范分别核验,具体内容和数量逐项满足,分项成果逐项列示 |
| 项目组织实施与保障措施 | 建立组织、协同、管理、协调、保密、资金、档案和环境管理机制;明确知识产权、成果管理及合作权益安排;识别风险并制定管理计划,编制年度计划和考核计划,实施目标考核及纠偏 | 不少于 7 份项目内部管理制度,组织及职责文件、风险管理计划、年度及考核计划、执行检查与考核记录、成果及合作权益管理文件 | 核对制度内容和实际执行,检查责任、计划、任务、会议决定、风险措施和整改记录的一致性;重大变更及问题处置按实际授权记录,计划调整保留原因、影响及批准记录 |
| 数据标注专家库 | 建立建设原则、专家类别、入库标准、遴选流程、职责和考核机制,覆盖标准编制、数据生产、质量管控、行业应用、项目管理和安全合规六大领域;开展人员核验、入库、任务分派、利益回避、履职评价和动态调整 | 不少于 50 人的专家库、管理机制、人员及专业信息、资格及入库记录、任务履行记录、考核及调整记录 | 按人员去重核验规模和专业覆盖,核验参与意愿、职责适配及实际评审记录;软建设与专家库服务共同使用同一实际专家库,人员信息变更及时更新,入库人数以已落实人员计 |
| 数据标注规范 | 围绕文本、图像、时序、视频等数据制定标签、对象边界、属性、关系、例外与争议处理、复核及验收规则;组织专业评审、培训、试标和一致性检验,发布有效版本并跟踪执行 | 正式标注规范、标签及属性字典、正例反例和边界案例、培训及试标记录、裁决与质量检查记录、版本和变更记录 | 规范与实际工具配置、任务及样本相匹配,疑难规则有专业裁决,变更后核验受影响样本;交付包含完整规则和案例,以实际成果为交付内容 |
| 项目安全合规建设 | 核查数据、软件、模型及其他建设内容的来源、许可和商业用途条件;对个人信息、敏感地理信息、重要行业数据及企业秘密数据实施适用去标识化或脱敏;全过程执行权限校验、访问名单控制、审计和异常处置 | 来源及授权材料、商业使用条件核查记录、分类分级及脱敏规则、实际处理与复核记录、权限及访问名单、全流程审计记录、安全问题整改及复核记录 | 检查当前授权与实际用途一致、敏感内容处理有效、权限及名单配置可执行、重要操作有证据;授权撤销或条件失效时暂停受影响操作,重新具备合法权限且满足安全条件后恢复获准作业 |
项目经理将业务规则、来源授权、数据字典、本体、标注规范、知识终审及场景验证等协同事项纳入实施计划,逐项记录确认对象、所需材料、责任岗位、参与专业、计划时点、前置依赖和结果记录方式。提交评审前完成资料整理、差异检查和问题定位,提供可核验的来源、样本、规则及候选处置方案,便于相关业务及管理人员形成明确结论。
我方实施团队承担调研、材料编制、技术核验、会议组织、记录整理、修改落实和复验工作,按真实职责与授权组织相关业务人员及专家参与。来源系统技术联系人提供接口与数据情况,数据授权由具有相应权限的主体确认,业务规则和知识内容由具备相关专业能力与职责的人员审核;数据使用授权与专业终审权限分别由相应主体行使。
协同计划随批次和变更情况更新,关键事项提前识别对后续生产的影响。已确认且不受待定事项影响的任务继续实施;存在依赖的任务在取得有效结论和满足启动条件后执行。实际参与、意见、决定及修改结果与任务和版本关联存档,形成可追溯的协同记录。
基础规则确认包括工序及业务字典、标签体系、缺陷分类、术语、数据分类分级和相关处理规则。根据实际业务范围分批提交专业评审,记录适用对象、版本及确认结果;新增来源、工况、产品或业务规则变化时,重新评估原规则适用性,必要时组织补充评审,批准后发布新版本并识别受影响任务。
批次审核按具体成果和工作量安排。知识终审覆盖拟用于标注和合成的有效知识条目、图谱及数据字典,其他质量审核按相应对象和判定方法执行。评审前提供清单、内容、来源证据、差异和问题,按实际数量、复杂程度、专业覆盖及人员可用时间测算工作量;结果记录关联到审核对象和有效版本,审核投入按实际需要安排。
标注争议、工艺分歧和跨领域冲突建立问题记录,明确涉及样本、依据、争议点及影响范围,由相应专业人员核验。跨领域问题组织有关专业共同审查,形成裁决及适用条件,必要时修正规范和历史样本并复检。持续统计争议类型、处理时长、重复发生和新问题,按实际情况调整培训、规则及审核资源。
对尚未确认的规则、知识或授权事项建立待办记录,列明待确认内容、来源证据、可选方案、涉及任务、预计影响及责任联系人。项目经理组织补充材料和专业讨论,按实际职责及授权提交确认,并在计划中记录影响和调整措施;超过计划时点仍未取得有效结论的,升级协调并更新相关任务排程。
依赖未确认规则的正式标注、合成、训练或交付任务保持待启动状态;知识条目经业务专家终审后用于标注和合成,数据在具备合法权限后进入受限作业。继续推进已确认且不受上述事项影响的来源整理、合法数据处理、工具部署、配置测试、资料编制和其他生产任务。内部方案研究及技术测试使用已获准的资源和数据,结果单独管理,合格交付规模以正式生产成果计。
取得有效确认后记录规则或知识版本、授权条件和生效范围,核对受影响任务的输入及配置,完成必要测试、培训和复核后启动。历史结果受新结论影响的,按血缘定位修正并重新检查;确认意见、变更、执行和复验记录随任务及版本保存。确认以明示的有效结论为准。
建设供需计划、产品工艺设计、制造过程和产品质量四类高质量数据集,分别形成预训练、有监督指令微调、人类偏好对齐和基准评测四种用途子集。四领域各分项规模分别达标,合计完成预训练数据不少于 615 亿 Token、指令微调数据不少于 89 万条、偏好数据不少于 6.6 万组、基准评测数据不少于 0.95 万条;覆盖文本、图像、时序、视频等超过 3 种模态,多模态数据条数占比和近三年数据条数占比均不低于 40%。各用途按对应单位统计,原始对象、重复副本和中间产物与合格交付数据分别计量。
按领域和用途建立生产任务,组织采集、预处理、本体构建、知识库构建、标注、合成、增强、质检和验证,项目管理贯穿全过程。各项任务明确输入、处理配置、输出、责任岗位、交接时点、质量条件和异常处置,维护源对象、样本、规则、工具、执行与版本的追溯关系。根据用途选择适用加工步骤,基准评测子集保持独立且不使用任何形式的合成数据;知识条目完成业务专家终审后用于标注和合成,增强校验失败批次整体回退。
生产计划覆盖实际数据接入、业务关联、分批试产、资源安排、质检返工、规模补足和验证交付。对迟到、重发、撤回及跨系统不一致的数据,识别来源和受影响版本,按证据完成对账、修正及复核。正式版本在质量和验证条件满足后封装数据、数据卡、数据字典、版本指纹、质检及验证报告,完成接收核验、运营平台移交和登记。
交付规模按领域、用途子集及实际交付版本统计合格数据。计入对象完成适用加工步骤、质量检查及规定的验证,具备有效来源、使用权限、版本和追溯记录;未通过检查、待终审、待确认、重复副本、失效数据及仅用于中间处理的临时产物不计入合格净量。正式版本清单与实际交付内容一致,数据登记或封装完成后仍按质量、验证及授权核验结论认定。
预训练数据按 Token 统计,指令微调和基准评测按条统计,偏好数据按组统计。确定并记录可复现的计数程序、分词及配置版本、纳入对象、排除规则、统计时点和去重方法,保存样本明细、执行日志和结果。不同单位分别计算,Token 以实测为准,合格规模以经检查的实际对象为准。
规模统计绑定数据版本和计量规则版本。数据增删、内容修正、去重结果、用途分配、授权状态或计量方法变化时,评估影响并重新统计受影响对象,保留变更前后明细及差异;规则变更经评审确认后生效,并完成必要的历史结果复算,保持同一交付版本各项记录一致。历史版本中的同一对象按首次计入口径统计,重复发布不另计新增成果。
交付成果按合同约定的接收主体、用途和使用权限办理移交,核验接收清单、版本、质量与验证结论及实际授权条件,合格净量按该交付版本的有效对象统计。对外展示、下载、交易及其他后续使用另按具体请求核验接收对象、用途、范围、期限、安全条件和可提供的数据版本,审核通过后执行相应操作并保存授权与交付记录。项目内接收、平台登记和对外使用分别记录办理状态,数据集完成移交或登记后,后续使用仍须处于有效授权范围内。
批次台账、版本清单、规模统计、数据卡及资产记录采用同一交付版本的实际对象明细作为统计依据,分别记录领域、用途、计量单位、状态、来源时间、模态、去重与纳入结果。统计程序从已确认的明细生成各类汇总,校验分项与合计、增量与存量、合格与剔除数量之间的关系,并保存统计时点和执行版本。
交付前逐项对账文件清单、样本清单、Token 或条组数量、质量状态、模态和时效占比及授权信息。发现差异时定位至缺失对象、重复对象、状态变化、用途归属、来源时间或计量配置,完成修正并重新统计;差异以查明原因后的重新统计结果消除。结果更新到对应版本的数据卡和资产资料,保留差异、原因、修正及复核记录。
批次生产进度、候选合格量和正式交付量分别标明状态与统计时点。滚动计划使用实际通过、返工和可用资源数据测算缺口,最终规模以完成全部适用条件的正式交付对象为准;阶段预计量按预计口径单列。
规模不足时,按领域和用途核对合格净量、剔除原因、来源覆盖、生产资源及剩余时间,优先补充获准来源、修复可修复缺陷、组织合规标注与适用合成增强,完成相应质检和验证后补入正式成果。基准评测数据通过独立、真实且获准的材料补充,不以合成数据补量;质量、安全、授权及隔离要求在数量不足时保持不变。
明确的数量、比例、准确率、覆盖率、缺陷清零和整改完成要求保持不变。具体过程参数按业务依据、样本验证和质量影响分析制定,变更时记录原因、证据、适用范围、批准结果及生效版本;经确认的变更方进入正式生产。
参数变更后,对受影响的批次、样本和已形成结果重新检查,核验变化是否影响来源合法性、业务正确性、内容安全、隔离和最终指标。整改与补充成果逐项计量并更新版本记录,未达到交付条件的对象继续处置,数量缺口以实际补足成果消除。
各环节交接以实际输出清单和质量记录办理。移交方提供对象标识、输入来源、处理任务、规则及工具版本、输出文件和数量、校验信息、检查结论、授权条件及未结事项;接收方核对清单与实物、版本与配置、用途与权限、质量与依赖条件,记录接收结果和交接时间。
符合接收条件的成果进入对应作业队列;存在缺项、损坏、版本不一致、权限失效或质量问题的对象保持待处理状态,形成问题记录并确定责任岗位、处置事项和复核条件。可以独立识别的合格对象按经确认的拆分规则办理交接,拆分、合并和重试均保留原任务及批次关联,失败对象及其记录一并留存。
交接记录关联移交、接收、检查和整改人员,反映实际授权和职责。必要专业审核或安全条件尚未完成时,签收文件仅表示收到实物,质量合格与后续使用以相应检查结论为准;整改完成后按受影响范围复核,更新对象状态和交接结果。
表 2-1 数据加工生产任务、成果及交接要求
| 服务环节 | 输入对象 | 处理工作 | 输出成果 | 责任及交接条件 | 质量检查与异常处置 | 追溯记录 |
|---|---|---|---|---|---|---|
| 数据采集 | 获准接入的业务与设备系统、纸质及离线资料、行业及外部语料,来源和许可材料、分类分级及接入配置 | 核查来源与用途,配置实际采集或导入通道,完成历史及适用增量获取、入口脱敏、格式与编码检查、数量对账和批次登记;保留源记录及事件时间,识别重发、变更和撤回 | 分领域原始数据批次、来源台账、许可核验、采集配置及执行记录、脱敏复核、格式与数量检查、异常清单 | 采集实施岗位组织执行,数据受理与质量岗位核验,安全授权事项由相应职责人员复核;受理条件满足后向预处理移交,并保留接收结果 | 来源、权限、安全、格式和完整性检查通过后使用;不合格对象隔离,缺失授权实际补齐且有效后方可使用;异常任务和批次同样生成可追踪标识,保留失败原因及处置记录 | 来源及原始对象标识、来源版本、记录主键或事件标识、采集任务与批次、内容校验、时间与执行配置 |
| 数据预处理 | 通过采集检查的原始数据,有效术语、转换规则、工具与配置,实际模态和用途信息 | 开展文档解析、层级与表格公式还原、文本切分、图纸及图像转换、图文关联、时序对齐与事件切窗、结构化文本化、去重及去噪;记录缺失和异常处理依据 | 保留来源定位的结构化文本、图像及图文对照、时序片段与事件样本、文本化与源记录对照、贴源及规范化数据、算子执行和质量记录 | 预处理岗位执行和自检,质量岗位复核;批次检查通过后向适用的知识构建、标注及其他加工任务移交,后续任务仍检查其所需知识终审和用途条件 | 分别检查语义、结构、数值、时间和关联准确性;按来源、参数及依赖关系确定重做范围,系统性配置问题覆盖全部受影响对象;保留原结果和新执行实例,未受影响证据一并留存 | 源对象与样本标识、输入输出版本、算子及参数版本、批次和执行实例、拆分合并及内容对应关系 |
| 知识本体 | 规范化资料、业务术语、有效主数据与业务系统编码、数据标准、产品及工艺规则 | 建立类目、实体、属性、关系与约束,核验编码及同义关系,组织专业评审、变更影响分析和版本发布;区分设计对象、实物、工单、炉次和检验批 | 本体文件、术语与别名表、实体及关系定义、编码映射、约束规则、缺口与冲突清单、专业评审和版本记录 | 本体建设岗位提交,相关业务专家及授权责任岗位审核;有效版本发布后供知识构建、标注和合成按适用条件引用 | 通过评审的版本方予发布;原版本在内容、权限及适用条件仍有效且获准继续使用时用于相应任务;发现已用版本有错误或失效,暂停受影响引用并修正关联知识和样本 | 本体及术语版本、实体关系标识、映射来源、评审记录、依赖任务及变更影响清单 |
| 知识库 | 规范化资料、有效本体、经确认的业务指标及计算逻辑、来源和授权材料 | 抽取知识并逐条登记出处,开展制度条款切分、标准元数据抽取、图谱和九业务域知识库构建、检索索引、检索增强三元组及数据字典编制,组织业务专家终审 | 结构化知识、制度条款索引、标准元数据、设备故障和工件工艺质量两类核心图谱、九业务域指标与业务概念与规则与分析报告四类知识库、检索索引、三元组、字典、终审和状态记录 | 知识建设岗位提交,相关业务专家终审;拟用于标注和合成的知识条目、图谱及字典完成终审后按有效版本使用,评测取材同时检查独立性及用途授权 | 逐条核查来源、内容、关系与适用条件,待审或退回条目隔离并暂停用于标注合成;逐条终审覆盖全部拟发布条目;发现知识错误时追踪全部受影响引用,修正后重新审核和复检 | 条目、关系和三元组标识,来源文件及页码或条款位置、字典和本体版本、审核人员及结果、实际引用任务 |
| 数据标注 | 规范化样本、有效标签体系和标注规范、已终审的相关知识、黄金集及用途任务 | 分业务域和用途开展要素、属性、关系、对象位置及业务结论标注,执行自检、抽检、跨标注员一致性检查与专业仲裁,处理规范歧义及疑难样本 | 带标签、规范版本、人员和校验结论的样本,标注任务及批次记录、黄金集及一致性结果、低一致性和争议清单、仲裁与整改记录 | 标注岗位执行,质量岗位检查,相关业务专家处理专业争议;适用检查通过后移交后续质检、训练数据准备或独立评测数据准备 | 按原因修正规范、复训、重标或补证,复核范围覆盖受影响的同类样本;证据不足对象保持未通过状态,标签以可核验证据为准、未确定者不计入合格量;本体或知识变更须先完成相应审核 | 样本及原始来源标识、任务与批次、用途、标签及规范版本、标注人员、检查与仲裁记录、修订关系 |
| 数据合成 | 获准的真实种子、已终审知识及本体、有效业务规则、覆盖缺口、教师模型及其使用许可 | 按适用训练任务配置生成、记录种子与提示及模型参数,执行事实、规则、业务约束、分布、重复和内容安全校验,定位失败原因并修正 | 带完整来源、生成属性和配置的合成样本,种子与知识关联、生成任务及批次记录、模型许可、分布和质量检查、失败及修正记录 | 合成岗位执行,质量岗位检查,需专业判断的时序、工艺或业务结果由相关专家复核;通过检查的合成成果进入允许使用合成数据的候选用途子集 | 基准评测子集不纳入合成样本;检查事实和业务有效性、语义、分布偏离和重复;失败对象不计入合格量,批次问题按实际影响范围重新生成和检查,失败与污染记录随对象留存 | 种子及知识标识、生成任务与执行实例、模型及许可、方法与参数版本、输入输出批次、样本及质量记录 |
| 数据增强 | 获准且满足用途条件的真实或合成训练样本、分布分析、适用变换规则和配置 | 按类别、模态、来源、时间与难度缺口实施适用文本、图像及时序增强,保存变换及来源,检查语义、标签、业务关系与分布变化 | 增强样本、种子及衍生关系、算子与参数记录、增强前后分布对比、语义和标签校验、批次结论及回退记录 | 增强岗位执行,质量岗位核验,必要事项组织专业审核;完成全部适用检查的批次进入对应候选用途,仍需后续质检和验证 | 校验不通过的增强批次整体回退,不纳入数据集版本;重新处理形成新执行记录;基准评测子集不使用任何形式的合成数据 | 种子、样本、批次和执行标识、来源及原始时间、变换算子与参数、标签版本、校验和整体回退记录 |
| 数据集质检 | 各环节实际产出、输入输出清单、规则和版本、专业审核及安全记录、用途划分 | 每个加工环节完成后判定产出批次,量化检查保真度、完备性、规整性、均衡性、可用性与可信性;执行训练与基准评测的去重、相似度和血缘隔离检查,形成问题及整改任务 | 各环节批次结论、量化指标、低一致性及重复或污染命中清单、修复工单、复检记录和版本级质检报告 | 质量岗位组织检测和结论汇总,专业及安全事项由相应职责人员核验;训练输入在训练前通过适用质检,正式发布前核对实际版本及完整证据 | 自动全量检测、必要专业复核和适用抽样各按检查对象执行,明确的全量和 100% 覆盖要求按全量执行;不通过对象隔离并跟踪修复至复检合格,剔除后仍须补足分项规模,整改及交付责任延续至达标 | 受检版本、对象与批次、规则方法及参数、命中记录、工单、责任及复核人员、整改和结果版本 |
| 数据集验证 | 已通过训练前质检的候选数据,独立基准、固定评测协议、获准模型、训练环境和十一场景用例 | 实施继续预训练、监督微调、行业奖励模型及偏好对齐训练,对基座及各阶段模型评测,核验知识探针、困惑度、任务质量、偏好判别及安全效果;完成场景功能验证、错样归因和整改复评 | 实验配置和记录、模型及数据版本、分项评测与能力增量、能力雷达图、十一场景结果、结构化整改任务、复验记录及绑定版本的数据集验证报告 | 验证岗位执行,技术及相关业务专业人员核验结果;实验前固定候选输入,完成全部适用验证且结果合格后提供正式版本发布依据 | 失败时先分析数据、规则、训练配置、模型和评测条件,再按影响安排修正及复验;达标工作持续至指标满足,数据问题以数据整改解决;达标版本方予发布 | 实验标识、数据及模型版本、环境依赖、协议及随机性配置、实际输入输出、样本和知识证据关联、整改及复评记录 |
| 数据集项目管理 | 生产需求、来源和权限、任务计划、各阶段成果、质检与验证证据及实际交付条件 | 贯穿全过程组织四领域四用途任务、计划、资源、变更、版本及资产管理;组织候选输入固定、正式版本检查与封装、自描述解析测试、修订计划和运营平台移交登记 | 生产及版本档案、数据内容、数据卡、版本指纹、质检和验证报告、数据字典、自描述封装、资产台账、修订计划、接收核验与登记记录 | 项目管理岗位协调实际责任人员完成审查,质量和验证岗位提供相应证据;正式条件满足后按批准的交付计划移交,在整体项目期限内完成接收、整改及登记,签认主体按实际落实的组织安排 | 材料齐备、版本一致、权限充分、质量与验证通过的版本认定为正式合格版本;解析或接收失败定位格式、字典及配置并修正复测;保留候选、正式和修订版本关系,登记完成后另按授权条件取得公开使用或交易权限 | 项目、任务、批次、版本及内容指纹,来源和许可,规则模型及环境,审批与接收、登记标识及使用状态 |
质量问题建立整改工单,记录发现环节、受影响对象及版本、缺陷证据、初步原因、责任岗位、处理事项和复检条件。源数据内容或授权存在问题的,由采集及相关来源责任人员核验;处理配置或算子造成错误的,由对应实施岗位排查;本体、知识和标注规则问题由相关专业人员审定;训练或评测条件问题由验证岗位分析。原因尚未确定的,由质量岗位牵头组织联合排查,期间保持问题状态与责任跟踪。
修正范围依据输入、配置、共享依赖和衍生关系确定。经证实只影响局部且关联结果仍然有效的,按明确范围重新执行并复检;共用配置、来源或知识错误影响多个任务的,修正范围覆盖全部受影响对象。增强批次校验失败的,回退以整批为单位执行。新的执行结果保留与原工单、原任务和原版本的关联。
工单缺少对象、证据或必要信息的,补充调查并登记补充责任与待办,问题全程在台账内跟踪。处置完成后由相应质量及专业责任人员复核,核验修正结果和相关回归,证据充分且满足条件后关闭;尚未通过的继续处理,工单关闭以复核结论为准。
分别维护原始对象、数据批次、样本、处理任务、执行实例和数据版本的稳定标识,通过关联记录连接输入、配置、输出和检查结果。采集对象进入处理前即建立来源及接收记录,接收异常的对象同样取得标识并留存。批次拆分、合并、重发、补充和重新执行时记录父子或来源关系,新的执行实例保留其实际输入与结果,原执行记录一并留档。
样本血缘支持一个来源产生多个样本、多个来源组成一个样本,以及同一对象在不同受控用途中的加工关系。记录原始文件或记录定位、来源版本、实际算子与参数、规则及本体知识版本、标注与专业审核、质量检查及整改。合成与增强另外记录种子、所用知识、模型或变换配置、生成属性及衍生关系;三元组类样本保留查询、证据与回答的关联,其他模态按实际内容和事件建立追溯关系。
验证记录关联实验、模型、数据版本、评测协议、输入和输出。发现错样时先定位其来源、相关证据及处理路径,再检查可能影响结果的数据、规则、模型和环境,形成经验证的原因与整改范围;模型错误的成因以验证证据为准。发布前核验版本内对象的血缘完整性与可解析性,交付相应明细、字典和关联说明,使接收方能够据记录复核实际加工与检查过程。
知识库、知识图谱及数据字典在交付和投入使用前组织业务专家终审,逐项核查知识内容、来源证据、关联关系、适用条件和有效版本,记录审核人员、意见及结论。标注和合成任务启动时校验所引用知识的终审状态与适用范围,已通过终审且在适用范围内的条目进入相应作业。
数据集正式版本发布前,核对实际数据内容、分项规模、质量检查、训练后验证、场景验证、问题整改、来源许可及配套资料。引用知识的样本同时检查其所用知识版本与审核记录,确认后续变更或失效是否影响数据;输入已通过审核的,加工结果仍按本版本的质检与验证结论判定。
知识审核、批次检查及正式版本审查分别形成记录,并通过条目、样本、任务和版本标识相互关联。检查发现条件未满足的,暂停受影响的引用、加工或发布,按实际影响修正并复核,保留原结论、变更原因和新的有效状态。
标注和合成在任务创建、执行取用及规则变更时核验相关知识的有效版本、终审状态和适用条件。进入作业输入的条目,限于已通过终审、仍在有效期内且处于适用范围之内者;待审、退回、已失效或超出适用范围的条目留在隔离区等待处理。已通过终审的条目按实际授权和适用范围提供引用,并保存条目与任务、样本及输出版本的关联。正式版本审查再次核对知识引用状态,作为使用前控制之后的复核环节。
本体、来源文件、业务规则、许可或适用条件发生变化,以及质检、训练或场景验证发现知识内容、关系、证据存在问题的,启动相关知识复核。根据问题程度暂停受影响条目的引用,核验原审核依据及新增证据,形成维持、修订、撤销或限制使用的结论。条目状态变更后追踪已生成样本、数据版本及相关模型和验证结果,实施必要的修正与复验。
下游版本未通过时,按实际原因判断是否影响知识结论;因封装或其他无关问题失败的,知识结论按原审核证据保持有效,发现知识错误的进入复审。复核及修订保留原版本、原审核、问题证据和新结论,历史记录一并留档。
排程按实际依赖组织。依赖某项知识的任务在该知识终审有效后执行,不依赖该事项且启动条件已满足的任务可以并行。每个运行任务绑定明确的输入版本,知识变更时检查受影响的执行,审查结论随内容版本对应更新。
知识建设岗位提交拟终审成果、来源证据、版本清单、适用范围和问题处理记录,项目经理按知识涉及的业务和专业组织相应专家审核。单一专业能够完整判断的,由具备相关能力及职责的人员审核;涉及产品、工艺、制造、质量、设备或管理规则交叉的,组织相关专业共同核验,明确各自审查内容与综合结论。人员身份、专业意见和授权依据与实际审核记录一致。
正式版本由项目管理岗位汇集成果和检查证据,质量岗位核查数据及问题整改,验证岗位核查实验和场景结果,安全及数据管理责任人员核查适用的授权、安全和交付条件。项目负责人依据经确认的职责和权限组织发布审批,逐项记录审查意见、未满足条件及处理结果;正式发布以必需的质量、验证、授权和安全条件全部满足为前提。
审批记录对应具体的数据与配置版本,质量结论以检测结果和专业判断为依据。对争议事项补充证据并组织相关专业复核,记录最终结论及适用范围;对已签认成果的重大变更重新评估影响并办理必要审查。正式数据版本、候选实验输入和封装测试对象分别管理,获准的候选数据固定与验证工作按计划进行,正式发布以发布审批结论为准。
表 2-2 质量审核职责、放行条件及问题升级
| 审核事项 | 时点及提交内容 | 提请与审核职责 | 状态及放行条件 | 问题处置与升级 | 记录要求 |
|---|---|---|---|---|---|
| 采集受理 | 采集完成、投入预处理前,提交来源、许可、分类分级、脱敏、格式及完整性检查和实际数据清单 | 采集及受理岗位提交和核验,安全与授权事项由具备相应职责权限的人员复核,来源疑点联系实际来源责任人核实 | 检查通过且来源、用途、许可及安全条件有效后接收使用;材料未齐或待核验的保持待处理,条件不满足的判为不通过,授权以实际有效的授权材料为准 | 发现非法来源、权限失效或敏感信息风险立即暂停受影响操作并升级;一般缺项和格式问题按清单补齐修正,反复或系统性问题组织源侧与实施人员联合排查,重大问题一经发现即行处理 | 来源对象、任务及批次、授权条件、检查及复核人员、证据、问题、处置和接收结论 |
| 预处理结果 | 批次处理完成后,提交输入输出对照、解析与转换配置、质量结果和异常记录 | 预处理岗位完成自检,质量岗位按检查要求复核,专业语义或时间关系疑点由相关业务技术人员协助核验 | 批次满足结构、内容、时间、关联及适用质量要求后进入后续任务;待修正和不通过对象留在本环节处理 | 按算子、配置、源数据和衍生关系分析影响范围,修正后复检;共用配置错误或影响多个任务的,暂停受影响配置并开展联合技术排查,重做范围覆盖全部受影响数据 | 输入输出及版本、算子和参数、检测结果、影响清单、整改任务及新执行实例、复检结论 |
| 本体发布 | 拟发布或变更本体前,提交定义、关系、约束、映射、差异和影响分析 | 本体建设岗位提交,相关业务专家及责任人员审核;涉及跨领域对象和关系时组织有关专业共同核验 | 专业审查及必要验证通过后发布有效版本;未确认定义、冲突或不适用映射保持待处理,正式生产使用经确认的规则 | 冲突按业务证据和实际职责组织评审,必要时补充调查;影响已用规则、知识或样本的,暂停相应引用并修正,旧版本在仍然有效且获准继续使用的范围内沿用 | 本体版本、适用范围、专业意见、证据及决定、依赖任务、变更和发布记录 |
| 知识成果终审 | 拟交付或用于标注合成前,提交知识条目、图谱、数据字典、出处和适用条件 | 知识建设岗位提交,业务专家按涉及专业终审;交叉事项组织相关专业共同审核,保留实际人员与权限记录 | 已完成终审且内容、来源和适用条件有效的条目用于标注合成;待审、不通过及失效条目隔离,条目状态逐条判定 | 按证据不足、抽取错误、规则冲突或适用条件不明分类修正;人工补录同样经过来源核验和终审;下游发现知识问题的,复审并检查关联样本及版本 | 逐条来源、内容及版本、审核人员和意见、状态变化、引用任务及样本、修正与复审结果 |
| 标注成果 | 批次完成后,提交标注样本、规范版本、自检与抽检、一致性及黄金集结果、疑难问题 | 标注岗位自检,质量岗位判定,专业分歧由相应业务专家处理;规范变更按实际审核流程确认 | 满足适用标注质量和专业要求后放行;待裁决、待修正及未通过对象继续处理后再行判定 | 根据规范、人员理解、工具配置和源数据原因确定重标、复训及扩大复核范围;系统性缺陷的复核覆盖全部受影响对象;完成修正和复检后恢复相关任务,升级时机按实际影响判断 | 样本和批次、标签及规范版本、人员、检查统计、争议及裁决、影响范围、整改及复检记录 |
| 合成与增强结果 | 合成、增强批次分别完成后,提交种子、知识及模型许可、配置、输出、分布和一致性检查 | 合成增强岗位提交,质量岗位检查,工艺、时序或其他专业事项由相关专家核验 | 合成结果满足事实、规则、业务、质量、安全及用途条件后进入适用候选子集;增强批次通过全部适用校验后放行;基准评测子集的数据来自独立真实来源 | 生成失败按原因修正种子或配置并重新检查;增强校验失败的批次整体回退,回退以整批为单位执行;共用配置存在系统性风险的暂停受影响任务并升级技术排查 | 种子与知识、模型和许可、执行及批次、参数、样本及衍生关系、检查、回退、整改和重新校验结果 |
| 正式版本发布 | 完成适用加工、质检、训练后验证和场景验证后,提交实际版本、规模、报告、整改、授权、封装与接收资料 | 项目管理岗位组织材料,质量和验证岗位分别核验相应证据,安全及数据管理责任人员核验适用条件,项目负责人按实际授权组织发布审批 | 全部适用条件满足后批准正式发布;待核验或存在未达条件的保持未发布状态。候选输入按获准实验计划固定版本,其状态标识为候选输入 | 按实际原因修正、补充或重新验证,受影响内容形成新版本并复核;分项数量和指标缺口在交付期限内补齐,补齐以复检达标为准 | 版本与指纹、对象及规模、质量与验证报告、问题关闭、权限及许可、审查意见、批准记录、实际发布与接收状态 |
检查结果按实际对象记录为通过、待审核或待整改、不通过等明确状态,状态定义与允许的操作一并配置。进入后续任务的对象,限于满足当前作业全部必要条件者;尚未取得授权、尚未完成必要终审、存在未处理安全风险或未达到强制质量要求的对象,保持隔离或待处理状态。
待处理事项登记具体对象、证据、责任人员、处置动作、计划时点及影响范围,相关任务在条件满足并复核通过后恢复。能够独立识别且不受问题影响的其他对象,按其自身条件执行;需要整批回退的增强批次以整批为单位处理。状态变化记录实际依据、操作人、时间和有效版本,状态变更以复核结论为准。
知识条目使用前核对终审状态、有效版本、权限和适用范围;待审、退回及失效条目留在隔离区。正式发布前再次核对全部必需的检查、验证、授权及整改条件,记录审查与批准结果。合格正式成果以实际问题修正与复检通过为准。
建立质量规则和参数清单,记录指标名称、适用对象、计算方法、目标值、判定条件、依据、责任岗位及有效版本。明确的规模、模态及时效占比、准确率、覆盖率、缺陷清零和整改完成指标按既定要求执行;试产用于验证检测方法、数据适配性、实际质量及生产资源,上述指标在试产前后保持一致。
对需要结合业务和数据确定的过程参数,使用经核验的样本、专业规则和试验结果开展论证,检查漏检、误判、业务语义、分布和下游效果,经相应专业及质量审查后形成基线。参数调整由实际问题和证据触发,调整方向与幅度以论证结论为准。
变更申请记录问题、试验依据、建议参数、适用范围、质量和安全影响、受影响任务及回归计划,按实际职责和权限审查后发布新版本。变更后重新核验受影响数据和结果,更新检查记录及规模统计;原始配置、理由、审批及前后结果一并留存。必达指标按原要求执行,未达条件的对象继续整改,合格交付成果以达标对象计。
围绕供需计划、产品工艺设计、制造过程和产品质量,开展业务对象及数据关系核查。逐项登记源系统、表或文件、记录标识、业务时间、版本、主外键及已存在的单据关联,识别订单与计划、图纸与工艺、设备与生产事件、检验与处置之间的实际关系。处理范围和关联规则由源资料、业务规则及专业核验确定,同一对象的判定以标识、业务规则和专业核验为依据。
对已确认的关联建立映射记录,保留关系类型、基数、有效时间、来源证据和核验结果,支持一对多、多对一及多对多关系。缺失标识、冲突版本、时钟偏差或单据关系不完整的,形成问题清单,通过补充原始记录、核对有效业务规则和专业确认处理;候选匹配与已确认关系分开保存,事实标签以经核验的关系为准。
数据清洗、标准化和关系核验按实际依赖协同开展,分别检查内容质量及关联正确性。关联结果用于构造有业务语境的样本,并通过相应训练、评测和场景任务验证效果;原因、故障根因或工艺影响的结论由相应证据及专业验证支持。
表 2-3 四个业务领域的关联主线、版本规则与冲突处理
| 业务领域 | 关联主线与源记录 | 关联及时间版本规则 | 缺失与冲突处理 | 输出样本 | 检查与追溯证据 |
|---|---|---|---|---|---|
| 供需计划 | 订单、计划、采购与库存关联,来源包括客户商机、合同及订单行、生产和物料需求计划、工单、采购订单行、收发记录、库存快照与变更单 | 以实际业务单据关联、主外键及经确认的映射连接客户、订单、计划、需求、采购和收发对象,保留组织、物料、单位及业务时间;拆分、合并、替代、取消、分批到货和退货分别记录;区分账面、可用、在途及其他库存对象和统计时点 | 缺少直接关系时收集业务凭证和变更记录,形成候选匹配并由相关责任人员核验,不仅以客户、型号、交期或物料日期认定关系。库存差异分别核对范围、时点、状态和业务定义;提前期统计明确起止事件、分批收货和异常处理后计算,保留推导字段与依据 | 获准且经核验的需求、方案、计划和执行记录样本,计划决策指令、库存及提前期问答等适用样本;预测、计划和实际结果分别标记 | 源单据及行标识、实际关联关系、组织及时间、版本与变更、候选和确认状态、计算方法、专业核验与差异处置记录 |
| 产品工艺设计 | 图纸、工艺与变更关系,来源包括产品结构、部件及零件、二维三维图纸、工艺卡片、工序和加工方法、工装设备资料、制图及工艺规则、变更单 | 按图号、文件版本、工艺卡及工序标识、适用产品和生效时间建立关系;历史样本匹配当时有效且经核验的版本,当前作业匹配当前适用受控版本;保留图纸、卡片、附图和变更前后对应 | 发现图纸与工艺版本不一致时核查变更、审核、签发及适用记录,组织相应工艺设计责任人员判断;纸质或非受控副本核验来源和有效性后使用。缺字段、无审核或来源不明逐项补证,不以A/B/C概括等级直接决定用途或免除专业检查 | 图形文字要素、工序和加工方法、图纸与工艺卡及附图关联、条件与约束明确的工艺任务样本 | 源图与卡片位置、版本及生效范围、实际映射、材料尺寸公差和工艺约束、专业意见、差异与修订记录 |
| 制造过程 | 设备、生产对象、作业事件及工序关联,来源包括设备与测点配置、工件及工单、工序执行和返修、实际热处理过程、焊接记录、能耗及时序数据 | 按真实设备和测点标识、业务事件、工件或批次、工序执行记录连接数据;具有炉次及装载记录的工艺保留实际对应,其他热处理按实际生产事件关联。焊接保留工件、焊道、层道及作业或返修事件中实际具备的标识;时序切窗按工况、事件和任务需要采用事件窗口或滑动窗口,并检查重叠样本隔离 | 时钟差异先核对时间基准、同步与偏移证据,保存校正方法和误差评价;不能可靠对齐的对象暂停关系样本构造并补证,不自动降为合格单模态数据。缺少装载或工件映射时核对流转及生产记录,时间邻近只作待核验线索;未知关系不生成确定归属或根因标签 | 经核验的时序片段与事件、工况及异常、过程图像与业务对象关联样本;模拟及合成样本按其生成属性单独记录并限定用途 | 设备测点、生产事件、源时间及校正、对象关系及基数、工序和返修记录、窗口及衍生关系、专业判断、质量与隔离检查 |
| 产品质量 | 检验、缺陷、处置与复检关联,来源包括检验任务、逐件或批次检测、硬度、金相及切片、适用无损检测、缺陷记录、质量影像、返修和纸质报告 | 按检测对象、检验批或工件、检验任务及项目、取样位置、检测时间和方法建立关系,连接适用的缺陷及处置记录;区分逐件检测与批次抽检,保留试样到原对象的实际映射和返修前后状态。影像与检测结论仅在对象、部位、时点及方法关系核实后关联 | 纸质报告扫描和结构化提取后核对关键字段及来源定位,识别不清或冲突时人工复核。内部缺陷依据实际检测、切片或其他有效证据标注,不因外观图像相似在图上虚构内部缺陷框。判定标准或尺度变化时按有效版本和适用时间复核,不能仅标注时间分层后继续使用冲突结论 | 缺陷类别位置及等级、检测项目与结论、检验与过程关联、工件或试样的影像、硬度、切片、淬火层深及质检结果等实际具备且关系核实的样本 | 检测及报告标识、对象或检验批、取样和位置映射、标准及方法版本、实际检测值、影像、处置与复检、专业复核及异常记录 |
工单、工件、工艺卡片及其他共同来源在不同业务任务中的使用分别记录。源对象保留稳定标识、版本和内容校验信息,实际加工产物另外记录业务领域、用途、样本形式、质量状态和归属。工单用于计划与排产、工序执行等不同任务时,区分其具体业务内容和加工结果,避免把同一副本或仅增加引用关系作为新增样本。
规模核算以符合条件的实际加工产物为依据,按确认的领域与用途归属计入分项明细,预训练按 Token、指令微调及基准评测按条、偏好数据按组分别统计。复用来源可以产生不同的合格加工产物,但每一产物的内容、任务及质量必须可核验;重复引用、复制、改名和重复发布不增加合格规模,各领域分项缺口不能以重复归属填补。
模态和时效占比使用对应统计范围内去重后的合格条目明细计算,分别保存分子、分母、来源时间、模态及纳入条件。计量归属、去重或质量状态变化后重新核算受影响分项与占比,保持数据卡、版本清单和统计结果一致;训练与基准评测的隔离另按来源、内容及衍生关系核验。
原始对象、派生样本和用途归属分别管理,通过可追溯的关系记录关联。存储、备份、传输或受控交付形成的物理副本保留相同内容或对象关联,不作为新增加工成果计量。多个来源形成的样本记录全部实际来源,拆分、合并和修订保留版本及执行关系,避免将多来源产物强行映射到唯一原始对象。
规模统计按实际加工内容、合格状态、计量单位和确认归属生成明细,同一产物的重复登记、引用和副本只作为使用或保存记录。确有不同任务和内容的派生样本,分别核验其质量、授权及用途条件后计入对应分项,不仅依据不同编号认定为新增有效数据。
训练与独立基准评测数据执行来源、重复内容、近似内容、衍生关系和答案泄露检查,记录检测方法、命中、专业复核及处置。共同设备、物料等业务实体本身的关联不直接等同于内容污染;同一材料改写、切窗或换编号也不消除泄漏风险。疑似命中完成核验前暂停受影响样本入集,实际污染修复后重新检查受影响数据和评测结果。
表 2-4 跨数据集共用的记录及其计量归属
| 记录对象 | 被哪些数据集用到 | 共用方式 | 计量归属 | 这样计量的理由 |
|---|---|---|---|---|
| 工件—外观影像—硬度—切片—淬火层深—质检结论复合样本 | 制造过程、产品质量 | 以同一工件标识关联,内容不复制 | 条数计入产品质量数据集;制造过程数据集按引用计,不重复计条 | 同一事实在两集各计一次会把占比指标的分母撑大,使多模态与时效性占比失真 |
| 热处理炉次记录与群控工艺曲线 | 制造过程、产品质量 | 炉次号为共用键 | 时序片段样本计入制造过程;用于硬度结论归因的派生样本计入产品质量 | 两者的加工深度与质量判据不同,按加工产物归属,不按原始记录归属 |
| 工艺卡片 | 产品工艺设计的预训练、指令微调与基准三个用途子集 | 同一原始对象派生三类样本,共享原始对象标识 | 三类样本分别计入各自用途子集 | 用途子集之间按条计量;原始对象层面须可回指,否则训练集与基准集的隔离核验无从做起 |
| 工单与订单行 | 供需计划、制造过程 | 工单号为共用键 | 计划与排产侧样本计入供需计划;工序执行侧样本计入制造过程 | 按业务语义归属,避免同一工单在两集重复计条 |
| 管理制度与技术标准文本 | 通用语料,支撑管理制度问答、技术标准问答等场景验证 | 条款级索引共用 | 按条款计入预训练与指令微调子集,同一条款计一次 | 同一条款被多个场景引用不重复计量 |
| 知识本体、术语表、知识库条目、检索索引与三元组 | 四类数据集全部 | 作为统一知识底座共享 | 不计入任何数据集的规模 | 它们是加工口径与证据来源,不是交付样本;计入会与其派生样本重复计量 |
按业务领域、用途、来源状态、任务依赖和实际资源编制批次计划。每个批次登记输入清单、目标成果、适用步骤、规则版本、质量检查、专业审核、资源需求和计划交接时间。各环节只有在输入和前置条件满足时启动;可以独立执行的任务并行组织,存在知识、数据或验证依赖的任务按有效成果顺序执行。
采集和预处理按实际来源及接入条件滚动开展,本体与知识成果按专业审核和有效发布状态供给后续任务。标注、合成及增强按照各用途的适用路径组织,不把十项服务画成所有样本必须串行通过的同一条加工线。各加工环节完成后及时判定产出批次,知识终审覆盖拟使用成果,不能因计划高频而改为抽审代替终审。
训练和验证提前核对数据、模型、软件许可、环境及人员条件,按实测耗时和可用资源安排执行窗口及复验任务。项目管理贯穿启动、计划、执行、质量、变更、风险、版本和交付全过程,持续跟踪待审、失败、返工、资源占用及缺口。根据实际进展调整任务和资源,不推迟必要检查至最后版本节点,也不降低必达条件维持排程。
批次分四类,触发条件、规模口径与所走的环节各不相同。
表 2-5 四类批次的触发条件、规模口径与处置
| 批次类型 | 触发条件 | 规模口径 | 走哪些环节与检查节点 | 产出 | 不通过时的处置 |
|---|---|---|---|---|---|
| 试产批 | 新业务域开工、新标注任务开张、新算子或新生成配置首次投产 | 取该任务常规批规模的 5%—10%,且不低于 200 个样本;低于 200 个样本的任务整体作为一个试产批 | 走完十个环节与全部适用的七道质量检查节点 | 门限标定值、算子参数基线、单位工时实测、各环节损耗率实测、规范与本体的问题清单 | 不开常规批;按问题清单修订规范、算子参数或本体后重做试产批,同一任务试产两次不过的提交技术评审 |
| 常规批 | 试产批通过且批次计划已下达 | 按业务域与任务的周期产能排定,单批规模以一个作业周期内可完成一次完整门控判定为上限 | 全部环节与适用的检查节点 | 规范化样本、标注样本、合成与增强样本及其台账 | 按表 2-1 的异常去向逐环节回退,不整链重做 |
| 补缺批 | 质检或验证归因指出覆盖盲区、难度分布缺口,或分期累计达成下限预警 | 按缺口清单的条目数定量,不按产能定量 | 按缺口类型只走相关环节:真实样本缺口走采集与预处理,覆盖盲区走合成,分布缺口走增强 | 缺口关闭记录、补充样本及其溯源 | 缺口两轮未关闭的在验证报告中单列成因,不以放宽判据的方式关闭 |
| 返工批 | 门控不通过、修复工单或整改任务单下达 | 按工单指明的批次与样本范围定量 | 只走工单指明的回流终点环节及其后续检查节点 | 复检结论、工单关闭记录 | 同一工单两次复检不过的升级技术评审,可决定该批不入集转下一版本 |
试产前确定任务目标、必达质量指标、适用规则和受控配置,核验输入、授权、知识终审、人员及环境条件。试产检查数据和流程适配性、实际质量、资源消耗及异常处理能力,对需要业务论证的过程参数形成证据;明确的质量与规模要求保持不变,不能以试产结果重新降低目标。
按任务及样本分层记录有效处理时间、等待与审核时间、计算和存储资源、并行度、失败和返工、合格产出及各环节通过情况,分别形成采集、预处理、知识审核、标注、合成增强、质检、训练和验证的工作量与能力记录。人工、计算、接口、专业审核等不同约束分别测算,不能把全部环节套用同一人数或单一样本耗时。
结合实测条件评估结果可推广范围,检查试产样本是否覆盖主要类别、模态、来源、难度和异常情形。对大批量并发、长文本、多模态大文件或复杂审核等尚未覆盖的情形,补充有代表性的测试后确定排程,避免将少量简单样本的吞吐量直接外推到全量任务。
质量规则还应具备适用标准、业务规则、来源约束和专业审查依据,试产结果与后续实际批次记录共同用于校验过程参数及生产能力。来源、模型、配置、资源或质量分布变化时重新评估并更新计划,保留前后依据、影响分析、审查和复验记录,不仅依赖固定月度会议或首批结果。
按四个业务领域、四种用途子集及交付节点编制生产计划,将各分项合格交付目标分解为来源准备、加工、质量检查、专业审核、训练验证和封装交接任务。结合已有合格成果、在制批次、实际损耗和剩余工作量,测算各环节所需人员、有效工时、计算与存储资源及执行窗口。采集分别统计文件、记录和数据体量,预处理按模态及任务统计处理对象和有效输出,知识构建与终审分别统计实体关系及知识条目,标注、合成和增强按对应样本单位统计。质检工作量包括自动全量检测、适用抽样复核、专业审核、缺陷处置和整改复检;训练验证按实验任务、模型规模、数据规模、计算资源和业务用例测算。各项产能保留自身计量单位,通过实际输入输出关系换算其对最终合格交付量的贡献,并核查前后工序、专业审核及共享资源的排程约束。
人工任务的预计合格产出量 = Σ[各作业人员分配到该任务的有效工时 ÷ 该任务实测单位人工工时 × 对应实测合格率]
自动处理任务的预计合格产出量 = Σ[各互不重复执行时段的稳定运行时长 × 该时段实际资源及并发配置下的实测总吞吐率 × 对应实测合格率]
有效工时扣除已分配给其他任务的时间以及培训、会议、必要准备和停工时间;返工、专业审核与复检分别测算并预留资源。实测吞吐率已包含对应配置的并行处理能力,不再次乘并发数或操作人数。人工和自动处理结果按各自计量单位分别列示;同一路径内相互依赖的工序经实际转换关系折算后,按瓶颈能力和可执行排程确定最终产出。同一对象跨工序流转不重复累加为新增合格成果。
单位人工工时、自动处理吞吐率和合格率按业务领域、数据模态、任务复杂程度、工具及模型版本、实际资源配置分别从试产和正式批次记录中取得,保留投入量、完成量、合格量、返工量、执行时间及环境信息。人员工时以落实的排班和任务分配为依据,计算资源以可用配置、预约时段和实际运行记录为依据。每批完成后对照计划更新耗时、通过率、返工、审核积压与资源占用;人员、来源条件、模型配置、样本难度或质量结果发生明显变化时,重新测算受影响任务并调整后续计划。项目经理组织生产、质量、专业审核和训练验证责任人员核查共享资源冲突、前置任务和交付节点,落实补充资源、任务重排及必要的重新试产,保存测算版本、调整原因和执行结果。各环节的产能计量、实测依据与不足时的实施措施如表 2-6。
表 2-6 各环节的产能计量、实测依据与产能不足时的实施措施
| 环节 | 产能计量及工作量 | 实测依据 | 资源及排程检查 | 不足时的实施措施 |
|---|---|---|---|---|
| 数据采集 | 分来源统计文件、记录、数据体量、数字化页数和合格接收批次;分别登记重发、失败、撤回及新增量 | 按实际来源、接口、格式和通道记录获取耗时、限流、失败重试、数字化与人工校核工时及接收合格率 | 核查合法权限、源系统可用窗口、接口承载、网络与存储、纸质资料整理和校核人员;自动获取与人工环节分别排程 | 协调落实接入条件,优化获准的分批采集与增量策略,补充数字化和校核资源;可用的替代获取方式另行核验权限、内容完整性及真实来源,完成接收检查后投入生产,持续处理原接入问题 |
| 数据预处理 | 按文档、图纸、图像、时序等分别统计输入对象、有效输出、机器处理时长、人工复核与失败重做量 | 记录算子、参数、资源及并发配置下的吞吐率,统计结构还原、图文关联、时间对齐、去重和格式转换结果 | 核查算力、内存、存储读写、任务依赖、人工复核能力和共享资源占用;对重做及复检预留执行窗口 | 定位慢算子、共用配置和输入异常,完成测试后优化配置及并发,补充必要处理与复核资源;系统性缺陷覆盖全部受影响对象重新处理,不以连续合格批次自动减少必要检查 |
| 知识本体 | 按类目、实体、属性、关系、约束及映射工作量统计编制、专业评审、修改和回归检查 | 按领域与复杂程度记录设计、冲突处理、评审及修正工时,关联实际版本和评审结果 | 核查专业覆盖、材料准备、业务字典与主数据条件,以及评审人员实际可用时间 | 分领域准备资料并安排专业评审,优先解决影响后续作业的定义和映射冲突;补充相应专业资源,经评审和回归检查后发布有效版本 |
| 知识库与专家终审 | 分别统计知识条目、关系、三元组、字典及检索成果的构建量、拟发布审核量、退回修改和复审量 | 记录出处定位、知识抽取、关系核验、逐条终审和问题修正的实际耗时及通过结果 | 核查证据资料、来源权限、相关专业专家可用时间和审核积压;知识生成与终审分别列出能力 | 补充出处核查及资料整理人员,按实际数量和复杂程度组织专家审核;来源不可核验或未完成终审的条目保持隔离,补证或重建后重新审核,拟发布条目全部完成终审 |
| 数据标注 | 按模态、任务类型、对象复杂程度统计样本、标注工时、自检、质量复核、仲裁和返工量 | 记录人员及规范版本、黄金集表现、跨标注员一致性、一次通过率、重标和复检耗时 | 核查人员能力与排班、工具可用性、已审核知识、规则歧义及专业裁决积压 | 组织规则澄清、试标复训、工具配置优化和资源补充;预标注结果经适用人工核验和质量检查后使用,规范变化覆盖受影响历史样本;抽样检查按经确认的风险分层方案执行,全量检查与必要专业终审保持完整 |
| 数据合成 | 按适用训练用途统计生成量、有效合格量、失败与重复量、种子审核及专业核验工作量 | 记录知识与种子、教师模型、许可、生成配置、机器耗时、业务与安全检查、分布及重复检测结果 | 核查模型许可、算力时段、种子和知识终审状态、专业核验能力及训练用途限制 | 根据失败原因修正种子、规则、提示和配置,重新生成并检查;通过合规来源补充覆盖缺口,基准评测子集保持真实独立且不使用任何形式的合成数据 |
| 数据增强 | 分别统计投入样本、变换输出、合格批次、校验失败整批回退及重新处理工作量 | 记录算子、参数、种子和衍生关系、运行时长、分布变化、语义与标签检查结果 | 核查资源、专业审核、用途限制和批次校验条件,评估整批回退造成的工作量 | 优化适用变换与资源安排,失败批次整体回退并建立新任务重新处理和检查;保留原批次证据,不通过拆批或只删除个别失败样本将原失败批次转为合格 |
| 数据集质检 | 覆盖每个加工环节的产出批次,分别统计自动全量检测、适用抽样复核、专业审核、版本检测、问题处置与复检工作量 | 保存受检版本、对象数量、规则与配置、检测耗时、命中清单、审核人员及复检结果 | 核查检测资源、人工审核和专业裁决能力,预留整改复检及正式质量评测资源;正式首轮全量评测单独排程 | 优化检测执行和任务组织,补充相应资源,优先处理阻断后续作业的质量问题;不通过对象形成修复工单并跟踪至复检合格,检测范围、必达指标和审核要求不因产能不足下调 |
| 数据集验证 | 按四领域及模型训练阶段列出继续预训练、指令微调、奖励模型与对齐训练、标准化评测和十一场景验证任务,统计计算资源时长、用例执行与专业核验、归因修复和复评工作量 | 记录数据、模型、实验配置、独立基准、环境、运行时间、实际输出、失败原因及整改复评结果 | 核查真实可用算力、许可、实验依赖、场景环境及业务专家时间;为训练、评测和整改分别排程 | 调整资源与执行窗口,定位数据、模型或实验配置问题,落实修复和必要重训复评直至达标;检查点仅在数据、模型、训练阶段和实验条件相容且满足独立实验目的时复用,需重新训练的任务按实际方案执行,不设置免除整改责任的轮数上限 |
| 版本封装与交接 | 统计正式版本文件、字典、数据卡、质检与验证报告、自描述封装、解析测试和交接登记工作量 | 保存封装时长、完整性检查、指纹核对、解析及接收结果、缺项修正记录 | 核查全部前置成果、有效授权、数据及资料版本、存储与传输资源、接收窗口 | 补齐材料、修正格式与版本差异,完成解析测试和接收复核;正式交付规模以质量和验证通过的实际内容计量,在项目期限内完成补足、交接及登记 |
按业务领域、用途子集、来源类别和实际加工路径建立投入产出记录,分别登记原始投入、有效输出、重复剔除、不合格隔离、返工重做、增强整批回退及最终合格量。采集统计许可、完整性和格式不符合条件的对象,预处理统计结构、时间和关联错误及去重结果,标注统计一致性缺陷和争议处置,合成与增强分别统计业务校验、分布、重复、语义及标签检查结果,质检和验证记录后续发现的问题及影响范围。同一对象多次流转或复检保留执行记录,合格成果按有效版本去重计量;失败对象的处理工时计入实际工作量。发现训练与评测污染时,定位来源、衍生样本、训练输入及实验结果,修正数据分配并完成必要的重新训练和独立评测,复验通过后认定有效成果。根据各路径实测的投入输出转换关系和最终合格产出,测算完成分项交付缺口所需的新增来源、加工任务和资源:
某领域某用途子集的合格交付缺口 = max(0,该分项交付目标 - 当前仍有效、可纳入最终交付的已确认合格量)
某条加工路径的预计新增投入量 = 分配给该路径的合格交付缺口 ÷ 该路径每单位新增投入的预计最终合格产出量
路径产出转换率按相同来源类别、模态、复杂程度、加工配置和计量规则的实际批次测定,记录投入单位、最终产出单位、有效样本及质量损耗。涉及文件转样本、样本转 Token、合成或增强的,分别记录实际转换及去重后的合格结果;不同单位不得直接相加。多条路径分担同一缺口时,先明确各自覆盖对象并排除重复,再汇总可用成果。仅在同一计量单位、同一连续加工路径且投入产出对象关系适用时,使用各环节条件通过率的连乘积估算整条路径的保留率;条件通过率以实际进入该环节的对象为分母,重复剔除只计一次。按条、组或文件等离散对象下达任务时向上取整,预训练 Token 数量按固定计量配置实测;产出转换率为零或尚无可靠依据时先定位障碍并组织试产,不据此承诺虚构产能。在制任务的预计贡献单列跟踪,完成适用检查后再转为已确认合格量。
各批次生产计划同时列出目标合格产出、预计投入、实际可用来源、处理任务、质量检查、专业审核、返工与复检资源以及完成时点。投入测算采用经验证的路径产出转换率,并根据新完成批次的实际结果更新;对来源不足、通过率下降、审核积压、算力冲突或工期偏差,形成明确的补充来源、修正配置、增配资源和任务重排措施,记录责任人员及完成时点。项目经理滚动核对各领域、各用途的目标、有效合格存量、在制任务和剩余缺口,落实补采、重标、适用合成增强及训练验证安排。补足任务完成全部适用质量、安全、授权和验证检查后纳入正式版本,分项数量与比例要求持续跟踪至达标。
发现分领域、分用途合格交付量不足时,逐项核查来源、权限、内容覆盖、加工通过率、返工积压、审核与训练验证资源,按原因建立补足任务。可独立实施的措施同步推进,具有前置依赖的任务按实际条件衔接;每项任务明确拟补对象、预计合格产出、责任人员、资源、完成时点和复检要求。补足过程保持质量、安全、授权、独立基准隔离及分项数量比例要求,完成检查与验证后更新正式版本和缺口台账,直至达到交付条件。
表 2-7 合格交付量缺口核查与补足措施
| 缺口原因 | 核查事项 | 补足措施 | 必须保持的条件 |
|---|---|---|---|
| 来源开放范围或授权不到位 | 核查该业务域源系统的只读接口开通状态、授权范围与期限、可提供的对象与时间范围,以及纸质与离线资料的整理进度 | 协调落实接入条件,扩充获准的离线批量导入与增量获取方式;按业务优先级分期开展纸质资料数字化与录入,顺序由相应业务域确认;替代获取方式另行核验权利来源、内容完整性与真实来源 | 替代路径的样本按同一套质量检查与门控判定,不另设宽口径;无有效授权的对象不进入加工与交付 |
| 加工通过率下降或返工积压 | 核查失败与返工的实际原因,区分源数据质量、算子与参数配置、规则歧义、人员熟练度与工具可用性 | 定位慢算子与共用配置问题,完成测试后优化配置与并发;组织规则澄清、试标复训与资源补充;系统性缺陷覆盖全部受影响对象重新处理 | 不放宽一致率与质量阈值;规范修订后对受影响的同类历史样本重做并复检 |
| 专业审核与知识终审积压 | 核查相关专业人员的实际可用时间、待审数量与复杂程度、出处与证据资料的完备程度 | 分领域准备资料并错峰组织评审,优先处理影响后续作业的定义与映射冲突;补充出处核查与资料整理人员 | 拟发布知识条目全部完成终审,抽审不替代终审;来源不可核验的条目保持隔离,补证或重建后重新审核 |
| 覆盖存在结构性盲区 | 核查分领域、分用途、分模态与分难度的覆盖明细,定位缺失的业务对象、工况、缺陷类型与场景用例 | 按缺口清单开立补足任务:真实样本缺口走采集与预处理,场景覆盖盲区走合成,分布缺口走增强;缺口按条目数定量下达 | 补足任务的关闭以复检合格为准,关闭记录随版本留存;缺口两轮未关闭的在验证报告中单列成因,不以放宽判据的方式关闭 |
| 合成与增强可用空间受限 | 核查各用途子集已有的合成样本占比、种子与知识终审状态、教师模型许可条件与业务合理性检查结果 | 按失败原因修正种子、规则、提示与生成配置后重新生成并检查;通过合规来源补充覆盖缺口 | 合成占比按用途控制:预训练子集不高于 30%、指令微调子集不高于 45%、偏好子集不高于 50%;基准评测子集不使用任何形式的合成数据,保持真实、独立与可追溯 |
| 训练验证资源或整改未完成 | 核查可用算力与许可、实验依赖、场景环境、业务专家时间,以及待整改问题与复评任务的清单 | 调整资源与执行窗口,定位数据、模型或实验配置问题,落实修复与必要的重新训练、复评 | 检查范围、必达指标与审核要求不因产能不足下调;未达条件的对象继续整改,合格交付量以达标对象计 |
| 分项数量仍未达标 | 逐项核对各领域、各用途的交付目标、已确认合格存量、在制任务预计贡献与剩余缺口 | 按剩余缺口重新分配来源、加工任务与资源,形成明确的责任人员与完成时点,在项目期限内完成补足、交接与登记 | 各分项缺口不以重复归属、复制、改名或重复发布填补;缺口与处置过程在数据集卡片的局限性字段与缺口台账中如实登记 |
采集与加工过程中持续识别源记录迟到、重发、撤回、内容修订及跨系统差异。对每项异常建立处理记录,保存来源系统、业务对象、原始标识、事件时间、接收时间、来源版本、内容校验值、发现方式和实际授权状态。根据来源与衍生关系定位受影响的批次、样本、知识、模型实验和已交付版本,明确需要暂停、隔离、修正或复验的范围,分别落实数据处理、业务核验、质量复核和安全授权责任。异常处置结果与原记录及后续执行版本关联,经过适用检查后更新对象状态、统计明细及交付记录。
迟到、重发、撤回和内容修订分别按来源证据、实际版本及影响范围办理。已经封装的内容文件保留原指纹和版本关系,修正成果另建版本并完成相应检查;有效性、授权、可用性和交付控制状态通过关联记录及时更新。发现来源撤回、授权失效或影响业务正确性的内容修订时,立即控制受影响对象的新增使用、发布和交付,核查已经进入知识、训练、评测及外部交付的衍生结果,按实际影响组织停止使用、修正、重新训练、复评或版本替换。原始问题、历史版本及执行证据在获准留存范围内受控保存,修订和状态变更记录保持可追溯;后续作业恢复前重新核验质量、安全、授权及必要验证条件。四类异常的识别方式与处置如表 2-8。
表 2-8 源数据四类时间性异常的识别与处置
| 情形 | 识别方式 | 对已发布版本的影响 | 处置动作 | 留痕 |
|---|---|---|---|---|
| 迟到:调度窗口关闭后才到达的记录 | 源记录的业务时间早于本批次时间窗下界 | 不回填已封装版本 | 该批次尚未过入口检查节点的,整批重做;已通过的,并入下一批次并在样本元数据标注「迟到并入」及其原属时间窗 | 批次台账记录迟到条数、原属时间窗与并入批次号 |
| 重发:同一源记录再次推送 | 文件指纹与记录主键双重判重 | 无影响 | 内容一致的丢弃并计入重复命中;内容不一致的按「修订」处置 | 去重记录登记命中数与命中依据 |
| 撤回:源侧声明某批记录作废 | 源侧撤回通知或源记录状态位 | 已发布版本在数据集卡片修订记录中登记,不就地删除 | 未入版本的直接剔除;已入版本的生成撤回工单,按血缘定位其全部派生样本(含以其为种子的合成样本),标记为失效,下一版本不再包含 | 撤回工单登记源记录范围、派生样本清单、受影响版本号 |
| 内容修订:源记录内容变更但未作废 | 记录主键+内容哈希比对 | 已发布版本保持不变 | 新旧样本并存,样本元数据记录各自的有效期区间;基准测试子集中的样本在本版冻结后不随之更新,在下一版基准集中替换 | 修订记录登记变更字段、变更时点与新旧样本编号 |
对跨系统取值差异,先核对是否属于同一业务对象、同一业务事件、同一有效时间、同一统计范围及相同计量单位,区分版本差异、业务状态差异和真实数据错误。建立差异记录,保留各来源原值、来源版本、业务凭证、计算规则、时间信息及已建立的对象映射。由数据治理人员组织相关业务专业人员核验,涉及授权、主数据、工艺、生产、质量及设备时间的事项分别提交具备相应职责和权限的人员确认;跨领域问题组织共同审查。确认结论明确采用值、转换或映射方法、适用条件、生效时间和受影响对象,落实后完成关联数据与样本的复检。尚无充分依据的对象保持待核验状态,依赖该争议结论的加工及使用暂停,已确认且不受影响的任务继续执行。
表 2-9 跨系统不一致的六类情形与仲裁规则
| 不一致类型 | 典型表现 | 仲裁依据 | 仲裁主体 | 未能裁决时的处置 |
|---|---|---|---|---|
| 同一对象多来源取值不同 | 工艺卡片在产品全生命周期管理系统、车间打印件与个人汇总表之间不一致 | 受控版本优先,其余作为补充 | 工艺研究分院 | 登记差异台账,样本标注低置信度,不进基准测试子集 |
| 主数据编码不一致 | 同一物料或同一设备在不同系统中编码不同 | 主数据管理平台的编码为准 | 数字化转型工作办公室 | 建立编码映射对照表,映射不上的列入编码缺口清单并暂缓该对象的跨系统关联 |
| 时间基准不一致 | 设备时序与制造执行记录之间存在时钟偏移 | 以统一时钟源校正,校正量记入批次台账 | 预处理工程岗执行,偏移超限的提请相关业务部门确认 | 偏移量超过切窗粒度的批次不做时序—事件对齐,仅作单模态使用 |
| 指标口径不一致 | 同一指标在不同系统中取值不同 | 数据治理侧发布的指标标准 | 该指标的归口部门 | 转待确认,按我方建议口径先行并在数据卡中标注待确认,确认后批量复核 |
| 状态口径不一致 | 工单完工状态与入库记录相互矛盾 | 以有物料移动凭证的一方为准 | 生产管理部 | 该工单相关样本标注「状态存疑」,不进基准测试子集 |
| 质量判定尺度漂移 | 某时间段不合格率显著偏离前后期而工艺条件未变 | 按判定来源与判定时间分层识别 | 质量归口部门 | 在数据卡中标注,构造训练样本时作分层处理,不作为质量规律学习 |
表 2-9 数据来源:不一致类型依本卷「数据加工生产(一)」节第 2 章各业务域受理时登记的差异情形;取舍规则依该节对多来源取舍与判定来源登记的口径。
仲裁的时限与不停工原则一并写明:仲裁事项自提交起 10 个工作日内未裁决的,不停工等待,也不先标后改,而是按我方建议口径先行,在数据集卡片与样本元数据中标注为待确认,裁决后批量复核。复核工作量由项目组承担,不另行计费;收益是进度不被单点争议卡死。本原则与本投标文件其余各节一致适用。
从源数据接收到版本发布一共经过十五个交接点。每一个交接点有交出方、接收方、交接物与检收动作,并有明确的不收理由与退回去向。清单的用处是让每一方知道自己该交什么、该验什么、什么情况下有权拒收——有权拒收是关键,没有拒收权的检收等于没有检收。
表 2-10 从接收到最终发布的十五个交接点
| 序号 | 交接点 | 交出方 | 接收方 | 交接物 | 接收方的检收动作 | 不收的理由与退回去向 |
|---|---|---|---|---|---|---|
| 1 | 源侧到采集通道 | 各源系统与离线资料提供部门 | 采集接入通道 | 按调度周期的数据推送或离线文件 | 按调度记录核对到达情况 | 链路不通或调度失败的,按采集接入节的异常处理流程重试与告警 |
| 2 | 采集通道到平台落地区 | 采集接入通道 | 数据受理岗 | 落地清点单(文件数、记录数、时间范围)与落地文件 | 按清点单与落地文件逐项核对 | 数量不符的逐项核对,差异原因记入问题清单;对账不通过的批次不生成批次号 |
| 3 | 落地区到贴源区 | 数据受理岗 | 数据受理岗(入口检查节点) | 数据源登记表、授权文件、脱敏复核记录、格式校验结果 | 核来源登记完备性、许可有效期、脱敏抽样、格式合规 | 缺来源或授权的退回采集接入通道补齐;格式不合规的入隔离区出问题清单 |
| 4 | 采集到预处理 | 数据受理岗 | 预处理工程岗 | 过入口检查节点的原始数据批次及批次台账 | 核批次号与批次状态 | 未过入口检查节点的批次挂起不交 |
| 5 | 预处理到质检复判 | 预处理工程岗 | 质检单元(预处理检查节点) | 规范化样本、算子登记表、自检结论 | 按通道抽样复核结构还原、图文对照与时序对齐;按算子指纹复算 | 单项算子回退重跑;源数据缺陷退回采集环节 |
| 6 | 预处理到本体 | 预处理工程岗 | 本体维护岗 | 结构化长文本、术语候选清单 | 核术语候选的出处是否可回查 | 出处不可回查的不进入术语候选 |
| 7 | 本体到标注与合成 | 本体维护岗 | 标注作业单元、合成与增强作业单元 | 已发布的本体版本、术语表、同义词别名表 | 标注与合成工具按本体版本号加载取值域 | 本体版本未发布的不加载,沿用上一已发布版本至批次结束 |
| 8 | 知识库到取材侧 | 知识抽取岗 | 合成与增强作业单元、验证实验单元 | 状态为「通过」的知识条目、两类图谱、统一检索索引、检索增强三元组 | 工具侧按条目状态过滤 | 状态为「待审」或「退回重抽」的条目不被引用 |
| 9 | 标注到质检 | 标注作业单元 | 质检单元(标注检查节点) | 标注样本与八字段质量记录、标注批次台账 | 抽检、一致性计算、黄金集通过率核算 | 出低一致性样本清单,按分歧类型分别退回处置 |
| 10 | 合成与增强到质检 | 合成与增强作业单元 | 质检单元(合成增强检查节点) | 合成与增强样本、溯源记录、批次台账、模型许可登记台账 | 规则校验、分布比对、重复率与语义漂移检查 | 单样本丢弃并记规则编号;批次超线的调整配置后重做 |
| 11 | 质检到上游各环节 | 质检单元 | 采集、预处理、本体、知识库、标注、合成、增强各责任岗位 | 修复工单(指明回流终点环节与具体批次) | 上游按工单定位到批次、算子或标注任务 | 工单未指明回流终点的,退回质检单元重开;不接受「整条链重跑」 |
| 12 | 质检到验证 | 质检单元 | 验证实验单元 | 通过检查节点的四个用途子集、训练与评测隔离核验结论 | 核隔离核验的交集检查结果 | 交集非空的触发隔离失效告警,不开实验 |
| 13 | 验证到项目管理 | 验证实验单元 | 项目管理单元 | 数据集验证报告、能力增量矩阵、错样归因与整改任务单 | 核报告结论与未结整改项 | 有未结整改项的不提请版本冻结 |
| 14 | 项目管理到版本检查节点 | 项目管理单元 | 质检单元、验证实验单元、技术评审 | 版本候选、版本级质检报告、验证报告、数据集卡片、数据字典、第三方解析试验结果、资产台账条目 | 三方分别核验各自职责范围并签认;台账与自动计量结果逐版本对账 | 任一方不签的不冻结;对账差异超过 0.5% 的版本不予发布 |
| 15 | 项目管理到运营平台 | 项目管理单元 | 数据集运营服务管理平台 | 版本封装包、校验信息、登记字段、数据集卡片、数据字典、资产台账条目 | 平台重算版本指纹并比对一致,按登记字段校验完整性,回传登记标识 | 指纹不一致或登记字段不全的,修正封装后重新提交 |
表 2-10 数据来源:交接点依本节表 2-1 的环节划分与招标文件 3.2.6.3 各小节的产出要求;对账口径依本卷「四大数据集建设及指标要求」节第 2 部分;移交与登记要求依 3.2.6.3.10。
十五个交接点中有三个是跨组织的,排期时按较长的响应周期估计:第 1、2 两点在源侧与项目组之间,第 15 点在项目组与运营侧之间,第 14 点的技术评审签认涉及招标方代表参与。其余交接点在项目组内部,按作业周期衔接。跨组织交接点的响应时限在项目启动会上确认后写入批次计划,不按内部交接的节奏估排期。
十个环节分在上下游两段作业,环节之间的交接点、检收动作与拒收理由已在本节「从接收到最终发布的完整交接清单」逐点列明。此外有两条交接不走批次通道,在此写明:其一,标注与合成环节在作业中发现的术语与标签新增、修订候选,按候选编码、建议类目与影响范围(受影响批次与样本数)提交,走知识本体的变更申请与影响评估流程,经评审后发布为新版本,标注侧不自行扩充标签;其二,各集的规模分解、合成占比上限、模态与时效性占比目标与分期累计达成下限,在批次计划编制时作为目标量与配比的依据下达,规模计量规则版本号写入数据集卡片,同一数据集历次版本不中途更换计量规则。
十个环节在四个地方容易对同一事物产生两种说法,以下四项口径在全链统一,各环节按此执行。
第一,样本类型只分三类:真实、合成、增强。三类在样本元数据中有独立标识,占比分别统计并在数据集卡片中分三项披露。真实样本经增强变换后标识为增强样本,不计入真实样本;合成样本经增强后标识为增强样本并保留其种子为合成样本的溯源链。
第二,质量分级只用一套三级:A 级为字段完整、经审核签发、有投产或闭环记录;B 级为缺投产或闭环记录;C 级为字段不完整或未经审核签发。A 级可进基准测试子集,B 级进指令微调与偏好对齐子集,C 级仅进预训练子集。各环节对工艺卡片、选型方案效果、关联关系置信度的分级,都归入这一套的判定依据,不另立分级名称。
第三,「不低于」与「趋向」两种表述的界线。凡招标文件以数值形式明确要求的指标(四集规模数值、模态不少于 3 种、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%),按原文表述为具体数值或「不低于」,并给出达成路径与核算口径。凡本方案自设的内部质量管理目标(各类合格率、标注一致性指标、解析通过率、锚定成功率),一律表述为逐步接近目标值,并附基线确定方式与未达时的处置。两类表述的区别是实质的:前者是对甲方的指标应答,后者是我方的内部管理目标。
第四,平台的两个名称不可混用。数据集加工生产平台承载十个环节的作业与留痕;数据集运营服务管理平台承载移交之后的目录、权限、版本、服务、交易与审计。加工环节的作业对象与状态流转在加工生产平台上,向运营服务管理平台提交的是版本封装包与登记信息,两者不是同一个系统。
图 2-1 加工链上下游环节段的交接物、回流与指标约束。数据来源:交接物与检收动作依表 2-10;标识体系依表 2-1 的追溯记录列;环节划分依招标文件 3.2.6.3 与 3.2.6.4 的小节划分。
数据加工生产服务与相邻服务之间共有九处数据与成果的交接。每一处接口按输入、输出、关键字段、交接协议、责任方与验收条件六项约定:六项未约定齐的接口不开通数据流;已开通的接口变更其中任一项,须经双方书面确认并同步修订接口登记后生效,变更带版本号与生效时点。九处接口的六项约定如表 2-11,其中四处的作业细节在其后各小节展开。
表 2-11 加工链对外九处接口的六项约定
| 接口 | 输入(加工链收) | 输出(加工链发) | 关键字段 | 交接协议 | 责任方划分 | 验收条件 |
|---|---|---|---|---|---|---|
| 数据资源建设服务(3.2.2) | 落地区的原始文件与记录(源系统结构化抽取、离线非结构化文件、外部标准与文献)、按调度周期出具的落地清点单 | 受理回执、批次台账、退回清单与退回原因码 | 来源系统码、数据源登记号、授权凭证号、落地时间戳、文件指纹、记录主键、文件数/记录数/时间范围 | 以平台落地区目录为唯一交接点;清点单出具后受理方在一个工作日内回执;清点单与批次台账逐项对账 | 通道连通性、协议适配、调度与链路异常由采集接入侧负责;数据源登记、许可核验、入口脱敏、格式合规与批次成形由加工链负责 | 清点单与批次台账在文件数、记录数、时间范围三项上一致;不一致项逐项归因并记入问题清单,未归因完毕不生成批次号 |
| 专项智能工具链 | 算子镜像与版本号、参数模板、工具给出的自动判定结论与置信度 | 算子调用记录、参数快照、处理前后的样本指纹、门控的人工判定结论 | 算子编码、算子版本号、算子指纹、参数集哈希、批次号、样本编号、本体版本号 | 工具以注册算子方式接入,调用参数与版本随批次自动登记;不提供不留痕的参数修改入口 | 工具的功能实现、接口与性能由工具链侧负责;调用点选择、参数基线标定与门控结论由加工链负责 | 产出携带批次号、样本编号、算子指纹、本体版本号四项标识,缺一项不被下游接收;同参数同输入可复算且结果一致 |
| 数据治理规划和实施服务(3.2.6.1) | 业务术语、参考数据、数据元、指标四套标准的现行版本;数据质量校验规则库;数据分级分类结论;元数据与血缘的管理要求 | 本体与标准的引用对照表、标准新增与修订候选、各批次的规则命中统计、血缘登记记录 | 标准编码与版本号、规则编码与版本号、密级与分类码、元数据项编码、血缘节点与边标识 | 标准与规则由治理侧单向发布,加工链按版本号引用,不在加工侧另立术语或规则;本体先行定义而标准侧尚未收录的概念以标准草案形式回流 | 标准与规则的制定、发布与版本管理由治理侧负责;在各环节上的执行与留痕由加工链负责 | 每一批次的元数据与血缘登记完整,可按血缘上溯至来源记录与算子;分级结论更新后,受影响批次的脱敏在一个批次周期内重跑完毕 |
| 行业大模型训练推理技术服务(3.2.6.2) | 训练与评测的作业计划、各阶段模型版本标识、评测错题清单与归因结论 | 预训练子集及其 Token 规模/模态分布/来源构成/领域子集统计;按业务场景、任务类型、难度等级切片的指令微调子集;格式归一、冲突已处理、难度已分层的偏好子集及偏好理由字段;题型协议、判分规则、版本号与随机种子已固化的基准子集 | 数据集版本号、子集码、切片维度取值、难度等级、随机种子、题型协议版本、偏好理由字段、来源与时间隔离标记 | 按数据集版本号整包交付,交付后冻结;错题归因结论以整改任务单回流,任务单须指明回流终点环节与具体批次 | 训练与评测环境、算力适配、作业执行、指标记录与五份报告的出具由模型侧负责;子集的内容、切片、分层、固化与隔离由加工链负责 | 基准子集与训练用样本的隔离核验通过(按原始对象标识取交集为空);规模与构成的统计口径可在脱离平台的环境中复算 |
| 数据集质量测评服务 | 评测方案、评测指标与阈值的现行版本、首轮评测结论与缺陷清单、复测结论 | 送检版本封装包、质检报告、验证报告、数据质量档案、整改说明与复测申请 | 数据集版本号、版本指纹、指标编码与取值、缺陷编号与等级、整改任务单号 | 自评与外评共用同一套指标定义、计算方式与判定阈值,差别在实施主体与采信效力;评测方可直接取用质检报告与验证报告作为复核起点 | 评测的实施、结论与盖章报告由评测方负责;缺陷整改与复测材料的准备由加工链负责 | 以第三方评测结论作为数据集规模与质量达成的最终认定依据;缺陷整改项逐条闭环并经复测确认 |
| 数据集场景验证服务(3.2.6.5) | 各场景的验证方案、验证用例与通过判据、可用性结论与数据缺口清单 | 场景所需的样本子集与基准题目、供数清单、按缺口清单生成的补数批次 | 场景编码、用例编号、供数子集码、题目编号与判分规则、缺口项编码与定位(业务域/环节/批次) | 按场景与子集的供数关系取数,一个场景可取多个数据集的子集;可用性结论进入数据集验证环节,判定为数据侧缺口的以整改任务单回流 | 验证方案、用例设计与可用性结论由场景验证侧负责;供数、补数与数据侧缺口的修复由加工链负责 | 每个验证用例均有对应的供数记录;判定为数据侧缺口的项全部有回流任务单与关闭结论 |
| 数据集运营服务管理平台(3.2.6.6) | 平台的接收规范、登记字段定义、登记标识回传;接入国家数据基础设施的目录与身份登记要求 | 版本封装包(内容、数据集卡片、版本指纹、质检报告、验证报告、数据字典)、登记信息与元数据、资产台账条目 | 数据集版本号、版本指纹、卡片字段集、数据字典版本、资产台账编号、目录标识、身份登记号 | 按平台接收规范提交,由平台重算版本指纹比对一致;平台回传登记标识后方视为移交完成 | 目录、权限、版本、服务、确权、挂牌、交易与审计由运营侧负责;版本封装、卡片与元数据的齐备与准确由加工链负责 | 平台重算的版本指纹与提交值一致;登记字段无空缺项;移交后运营侧无须回补数据侧信息 |
| 项目安全合规建设(3.2.6.12) | 数据分级分类结论、密码应用要求、权限与审计要求、脱敏口径 | 入口脱敏执行记录、假名映射表及其存取审批记录、全流程作业日志 | 密级码、脱敏规则编码与版本、假名映射表标识、操作人角色码、操作时间戳、审计事件码 | 涉及个人信息、敏感地理信息、重要行业数据与企业秘密数据的去标识化与脱敏在加工链入口完成;假名映射表与脱敏后数据分域存放、分权审批 | 分级结论、密码方案、权限与审计要求的制定由安全侧负责;入口与作业环节的执行与留痕由加工链负责 | 全部批次有脱敏执行记录;审计日志可按批次、样本、操作人三个维度检索;分级结论更新后受影响批次完成回调 |
| 硬件配置(感知与检测设备) | 设备型号、参数、取数接口能力与到位时间;设备产出的带时间戳原始帧与每像素原始温度数据 | 设备数据的受理回执、对象锚定结果、覆盖缺口记录 | 设备编号、采样时间戳、帧序号、工件/炉次/焊道标识、锚定置信度、缺项标记 | 设备数据按时间戳与对象标识双键锚定到工件、炉次或焊道;设备到位前相关样本按缺项标注并在数据集卡片的局限性字段记录 | 设备选型、参数、到位时间与现场安装由硬件与系统集成侧负责;数据受理、对象锚定与批次成形由加工链负责 | 锚定成功样本占比不低于该业务域首批标定的基线并逐期趋向目标值;未锚定样本全部有原因码并进入补采队列;设备到位后按批次补采并并入同一批次体系 |
表 2-11 数据来源:接口对象依招标文件 3.2.2、3.2.6.1、3.2.6.2、3.2.6.5、3.2.6.6、3.2.6.12 与服务采购清单第 2、3、7 项;移交与登记口径依招标文件相应条款。
招标文件 3.2.2 数据资源建设要求规定数据集所需原始数据来自企业各业务系统,与各系统的集成基于项目实际需求执行;3.2.2.2 多格式多模态的数据录入规定实现离线非结构化数据的解析及录入管理,形成电子化数据资产和相关语料,具体包括业务域文档、图片、工程图纸、技术书籍、财务票据、音视频等多格式多模态离线数据的批量导入与实时接入,建立自动分类、关键信息抽取、结构化转换、质量校验及人工复核机制,形成规范化、标准化的离线电子化数据资产目录,并按业务主题与知识体系进行数据聚类、去噪清洗、格式统一与版本管理。
接口点是平台落地区的目录。落地区之前由数据资源建设服务负责:与 17 个业务与设备系统建立接入通道、确定接口协议与取数方式、设定调度频次、处理链路异常、提供离线文件的批量导入与实时接入入口。落地区之后由加工链负责:数据源登记、许可核验、入口脱敏、格式合规校验、批次成形,以及自动分类、关键信息抽取、结构化转换、质量校验与人工复核的实现,按业务主题与知识体系的聚类、去噪清洗、格式统一与版本管理。责任按这条线落位:链路不通归通道侧,批次不合规归受理岗,样本质量不达标归预处理岗。
验收条件是对账一致。通道侧按调度周期出具落地清点单,列文件数、记录数与时间范围;受理岗在一个工作日内回执并出具批次台账;两份在三项上不一致时按清点单逐项核对,差异原因记入问题清单,对账不通过的批次不生成批次号、不进入预处理。清点单与批次台账均带来源系统码、数据源登记号、授权凭证号、落地时间戳与文件指纹五个字段,任一字段缺失视同对账不通过。通道设计、协议适配与链路异常处理在数据资源建设服务的相应节给出。
招标文件要求研发 9 大类 25 个数据集加工生产专项智能工具链。工具以注册算子的形式接入加工链:加工链向工具输入待处理样本批次与参数模板,工具向加工链输出处理后的样本、算子调用记录、参数快照与自动判定结论。
接口约定有三条。其一,调用参数与版本随批次自动登记,工具端不提供不留痕的参数修改入口——这是质检复算与验证归因的前提。其二,产出必须携带四个标识字段(批次号、样本编号、算子指纹、本体版本号),缺一项即不被下游接收。其三,同一算子版本、同一参数集、同一输入批次的复算结果须与原结果一致,复算不一致的算子版本停用并退回工具侧定位。
责任按此划分:工具的功能实现、接口与性能由工具链建设服务负责;调用点的选择、参数基线的标定与门控结论由加工链各环节负责。工具给出的自动判定结论是门控的输入之一,不直接等于门控结论,门控结论由对应岗位作出。25 个工具的逐一列名、归类与接口定义在专项智能工具链的相应节给出。
治理在生产逻辑中是横向贯穿的管控层。接口在四处,均为治理侧单向发布、加工链按版本号引用:业务术语标准、参考数据标准、数据元标准与指标标准四套标准由治理侧发布,知识本体与知识库按标准编码与版本号引用,不在加工侧另立术语;本体先行定义而标准侧尚未收录的概念,以标准草案形式回流。数据质量校验规则库由治理侧维护,加工链的入口格式校验项是规则库的子集,规则编码与版本同源。
数据分级分类结论由治理与安全侧发布,加工链据以执行入口脱敏;分级结论发布前按最严口径处理,发布后按结论回调,受影响批次的脱敏在一个批次周期内重跑完毕。元数据与血缘的管理要求由治理侧规定,加工链的标识体系按其要求落地,每一批次的元数据与血缘登记完整、可按血缘上溯至来源记录与全部算子,此为本接口的验收条件。治理的达标路径、业务域覆盖与治理文档清单在数据治理规划和实施服务的相应节给出。
招标文件 3.2.6.2 行业大模型训练推理技术服务规定:构建行业大模型并支持私有化部署与国产通用大模型;基于预训练数据集的 Token 规模、模态分布、来源构成和领域子集统计制定多模态数据的训练配比和采样权重,选取适配矿山装备制造业务的基座模型开展分布式继续预训练,记录训练曲线、检查点与中间评测结果,通过领域知识探针、保留语料困惑度等方式验证预训练数据集的知识注入效果并形成知识注入有效性报告;将指令微调数据集按业务场景、任务类型、难度等级切片,设计基础微调、子集消融、混合配比等实验方案,跟踪训练损失、验证集准确率、显存占用、吞吐等指标,通过自动评测与专家抽样人评验证指令遵循、任务完成、格式规范、长上下文理解等方面的能力提升;对偏好数据集作格式归一化、冲突样本处理与难度分层,训练行业奖励模型并评估其在保留偏好集上的判别准确率,基于微调模型与奖励模型开展对齐训练,记录偏好准确率、KL 散度、奖励均值、回答长度变化等指标,识别并缓解奖励黑客、回答冗余、行为退化等风险,形成专家偏好对齐度报告与安全合规通过率报告;固化基准测试数据集的题型协议、判分规则、版本号与随机种子,建设可复现的评测沙箱,在统一评测平台上对基座模型、继续预训练模型、微调模型、对齐模型等多阶段版本开展评测,量化不同数据集带来的能力增量,对评测错题开展训练数据归因分析,识别脏数据、覆盖盲区、歧义标注和难度分布缺口,形成结构化整改任务单,支撑评测、归因、修复、回评的数据闭环。
这组要求由数据侧与模型侧共同完成,责任以交付物划分。模型侧负责训练与评测的环境、算力适配、模型接入与评测网关、训练作业的执行与指标记录,以及上述五份报告的出具。
数据侧负责交付四件,均按数据集版本号整包交付、交付后冻结:按训练配比与采样权重的需要提供预训练子集的 Token 规模、模态分布、来源构成与领域子集统计;按业务场景、任务类型、难度等级三个维度交付已切片的指令微调子集,切片维度的取值来自本体与标签体系;交付格式已归一化、冲突样本已处理、难度已分层的偏好子集,以及偏好理由字段;交付已固化题型协议、判分规则、版本号与随机种子的基准子集,并保证基准子集与训练用样本按来源与时间双重隔离。
错题归因的回流是这组接口里最要紧的一条。评测错题的归因结论由模型侧与数据侧共同判定:归因为脏数据、歧义标注的,回流至本节的采集、预处理或标注环节定向修复;归因为覆盖盲区、难度分布缺口的,回流至合成与增强环节定向补充。两类回流都走统一的整改任务单,任务单指明回流终点环节与具体批次,修复后重新质检与验证。本接口的验收条件有两项:基准子集与训练用样本的隔离核验通过,即按原始对象标识取交集为空;规模、模态与来源构成的统计口径可在脱离平台的环境中复算,复算值与随版本封装的统计值一致。数据集验证环节的实验设计、能力增量结论与归因闭环记录见本卷「数据加工生产(二)」节数据集验证部分,与模型侧共用同一套实验口径与报告结构。
图 2-2 加工链与相邻服务的接口与交接物。数据来源:上游接口依招标文件 3.2.2;模型侧接口依 3.2.6.2;评测接口依招标文件相应条款;运营侧接口依相应条款。
招标文件要求完成本项目多模态自建数据集首轮全量评测与缺陷整改复测,通过标准化评测、实战化模型验证、全流程整改闭环,实现数据质量合规核验、模型实战适配效能验证、缺陷整改闭环管控、标准化成果交付与合规验收四项目标,输出正式盖章评测报告并形成完整数据质量档案。
接口的协议要点是自评与外评共用一套指标定义。加工链上的七道质量检查节点是加工过程内部的自评,第三方评测是外评,两者在指标名称、计算方式与判定阈值上不另立口径,差别在实施主体与采信效力。因此评测方可直接取用质检报告与验证报告作为复核起点,不必从原始数据重建判定;加工侧在版本冻结前即可按同一指标预判外评的提出项,整改发生在交付前而不是验收时。加工侧交出的是送检版本封装包、质检报告、验证报告、数据质量档案与整改说明,字段含数据集版本号、版本指纹、指标编码与取值、缺陷编号与等级、整改任务单号;验收条件是缺陷整改项逐条闭环并经复测确认,第三方评测结论为数据集规模与质量达成的最终认定依据。评测依据、三维度指标体系、评测方法与实施过程在数据集质量评测方案中给出。
招标文件要求通过数据集加工生产平台关键技术研究课题转化的十一个场景验证高质量数据集的价值,有效提升垂域模型和智能体的性能。本包承担的是验证,不承担场景建设。接口在两个方向:数据集向场景验证提供所需的样本子集与评测题目,场景验证向数据集回流可用性结论与缺口清单。
四大数据集与十一个场景不是一对一关系——一个场景通常取多个数据集的子集,一个数据集也服务多个场景,按场景与子集的供数关系表取数。交接的字段为场景编码、用例编号、供数子集码、题目编号与判分规则、缺口项编码及其定位(业务域、环节、批次)。责任划分是:验证方案、用例设计与可用性结论由场景验证服务负责,供数、补数与数据侧缺口的修复由加工链负责。验收条件是每个验证用例均有对应的供数记录,判定为数据侧缺口的项全部有回流任务单与关闭结论。各场景所需的数据来源、验证指标、验证流程与通过判据在六个专业场景与五个通用场景的验证方案中给出;四大数据集与各场景的供数关系在数据集建设及指标要求中给出。
与数据集运营服务管理平台的接口是移交与登记。加工链提交版本封装包与校验信息,平台重算版本指纹并比对一致;加工链按平台的登记字段提交数据集卡片、数据字典与资产台账条目,平台回传登记标识;加工链并提供接入国家数据基础设施所需的目录标识、身份登记与接口对接信息。验收条件是平台重算的指纹与提交值一致、登记字段无空缺项、回传登记标识后方视为移交完成,移交后运营侧无须回补数据侧信息。平台的功能模块、界面与流程在数据集运营平台的相应节给出。
与项目安全合规建设的接口是规定与执行的关系。数据分级分类结论、密码应用要求、权限与审计要求由安全合规建设规定,加工链在入口脱敏、假名映射表存放与权限、作业留痕三处执行。涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据的去标识化与脱敏在加工链入口完成,假名映射表与脱敏后数据分域存放、分权审批;加工链全程的审计与日志记录在加工生产平台上留存。验收条件是全部批次有脱敏执行记录,审计日志可按批次、样本、操作人三个维度检索,分级结论更新后受影响批次完成回调。
与硬件配置的接口是承接关系。焊接层间温度与预热温度等新增感知设备、质量检测设备的型号、参数、取数接口能力与到位时间由硬件选型与系统集成确定,加工链负责其产出数据的受理、对象锚定与批次成形,按采样时间戳与对象标识双键锚定到工件、炉次或焊道。设备到位前,相关样本按缺项标注并在数据集卡片的局限性字段记录覆盖缺口;设备到位后按批次补采并并入同一批次体系。锚定成功样本占比以该业务域首批试产批的实测值为基线,逐期趋向目标值;未锚定样本全部给出原因码并进入补采队列。
招标文件在业务范围与数据加工生产服务要求两处给出同一组规模与指标要求,数值一致:预训练数据集不低于 600 亿 Token、指令微调数据集不低于 80 万条、强化学习偏好数据不低于 6 万组、基准测试数据集不低于 0.9 万条,数据集涵盖不少于 3 种模态(时序数据、图像、文本、视频等),多模态数据条数占比不低于 40%,近 3 年内时效性数据条数占比不低于 40%。
我方按四个数据集的分集规模表承接,四集合计预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,四项均高于上述下限。合计值相对下限留出的余量不用于宣称超额,其用途是吸收质检与验证环节的剔除量。
去重、脱敏剔除、标注返工、分布均衡性削峰都会减少可发布样本,没有余量,交付前就只剩降低质检门槛这一条路可走。各集的规模分解、来源构成、用途子集内容设计、模态与时效性构成测算、规模计量规则、分期累计达成下限与数据集卡片字段,见本卷「四大数据集建设及指标要求」节,本节不重复给数。
规模承诺的核验分三道,三道均不依赖人工报数:第一道是工具链自动计量,每批次发布前自动输出规模统计,统计脚本与分词器版本随数据集一同封装,可在脱离平台的环境中复算;第二道是数据集资产台账复核,台账与自动计量结果逐版本对账,差异超过 0.5% 的版本不予发布;第三道是第三方评测,以其「规模完整性」指标的结论作为最终认定依据。
比例类指标分两类表述。招标文件以数值形式要求的三项,即模态不少于 3 种、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%,按原文承接并给出测算值与计量口径,为对招标方的指标应答。项目组自设的内部质量管理目标,一律表述为逐步接近目标值,并附基线确定方式与未达时的处置,为过程管理目标。两类的采信效力不同,不合并为一类表述。
加工生产服务的全部承诺可收敛为四条总口径:数据从哪里来、经过哪些环节、产出什么规模、如何证明合格。四条口径在本节确定,各子项的具体做法由它们展开;做法与口径不一致时,以本表为准。
表 2-12 加工生产服务的四项总口径
| 总口径 | 内容 | 展开位置 |
|---|---|---|
| 数据来源 | 来自十七个业务与设备系统、纸质与离线资料、外部标准与文献三类来源,处理对象按实际数据来源、业务责任及授权关系登记。通道由数据资源采集接入建立,受理之后的来源登记、许可核验、入口脱敏与批次成形在本项服务范围内,分界点是平台落地区;两侧按落地清点单与批次台账逐周期对账,对账不通过的批次不生成批次号 | 本节表 2-1、「从接收到最终发布的完整交接清单」与「与数据资源建设服务的接口」;实施范围见本卷 2.1 实施范围;各业务域来源清单见本卷「数据加工生产(一)」节第 2 章 |
| 加工链路 | 十个环节:采集、预处理、知识本体、知识库、标注、合成、增强、质检、验证、数据集项目管理。数据治理横向贯穿为管控层,知识本体与知识库为统一知识底座,七道质量检查节点按批次或按版本判定,三类定向回流按血缘定位到具体环节、批次与算子,构成有向无环的生产逻辑 | 本节图 1-2、表 1-3、表 2-1 与「终审检查节点与版本检查节点的先后关系、审批权限与升级路径」;作业方法见「数据加工生产(一)」「数据加工生产(二)」两节 |
| 规模产出 | 四个数据集 × 四个用途子集,合计预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,均为通过检查节点并发布后的净量;模态覆盖文本、图像、时序、视频四类,多模态与近 3 年时效性数据条数占比按不低于 40% 承接。新增投入量按经验证的路径产出转换率测算后下达,并随实际批次结果滚动更新 | 本节的生产计划与产能测算、损耗核算及「规模与指标承诺的总口径」;分解与测算见「四大数据集建设及指标要求」节 |
| 合格证明 | 三层:加工链内部七道质量检查节点的自评;数据集验证环节以继续预训练、指令微调、偏好对齐、基准评测四段实验量化能力增量并出具验证报告;第三方全量评测与缺陷整改复测出具盖章报告,其结论为规模与质量达成的最终认定依据。十一个场景以实际业务任务检验数据集可用性,结论回流修复 | 本节表 2-1、「终审检查节点与版本检查节点的先后关系、审批权限与升级路径」与训练推理、质量测评、场景验证三处接口;实验设计见「数据加工生产(二)」节数据集验证部分;评测见服务方案卷「数据集质量评测方案」节 |
表 2-12 数据来源:各行依本节对应小节;规模与模态要求依招标文件,场景验证范围依招标文件相应条款,评测要求依相应条款,建设目标与生产逻辑依相应条款。
项目实施持续开展来源和业务条件调查,核验新增数据、工序、设备、产品、缺陷及规则对既有任务的影响。项目组提前整理原始材料、样本、差异、业务凭证和待确认问题,落实数据责任、专业核验、授权确认及质量复核人员,按实际数量、复杂程度、专业覆盖和资源安排工作。基础字典、本体、标签、分类分级、计量及判定规则经有效审核后发布受控版本,新增或变化事项按影响提交补充评审,更新相应任务和成果。
每项确认记录对象、来源证据、责任、计划时点、有效结论、适用条件和后续动作。我方负责资料准备、技术核查、协调组织、结果记录及修改复验,相关业务和授权事项由具备相应职责的人员确认。依赖未确认结论的正式作业保持待启动状态,已确认且不受影响的任务继续推进;超出计划时点及时升级协调、补充资源并调整受影响任务,确保工作成果真实可核验。
合同签订后三日内,提交加盖我方公章的《项目管理计划》和《项目人力资源配备表》,提供拟任用项目经理及核心成员简历,明确各项工作的责任、资源、前置条件、成果、检查及交付节点。管理计划覆盖需求、范围、进度、人力与实物资源、沟通、相关方、风险及配置管理,按业务领域组织现场调查、规则核验、分批生产、专业审核、质量检测、训练验证及成果交付。新增来源和业务变化及时补充调查、审核和任务调整。
各批次在满足自身前置条件后滚动执行,知识终审、质量检查、独立评测和缺陷复测随实际成果及时安排。项目计划预留整改、完整交接、竣工验收、试运行与稳定调试、总体成果评估及最终验收时间,在 2028 年 5 月前完成终验收。出现关键任务或资源偏差时组织纠偏并跟踪完成,阶段计划调整保持最终期限和全部交付条件不变。
表 2-13 现场调查、业务规则核验与成果交付安排
| 工作阶段 | 实施内容与方法 | 责任与参与 | 实际成果 | 计划与前置条件 |
|---|---|---|---|---|
| 启动与实施计划 | 落实管理流程、任务范围、资源、沟通与变更安排,编制需求、进度、风险、质量、配置及成果管理计划,建立工作分解和交付节点;核查拟任人员能力及实际参与安排 | 我方项目经理组织,相关技术、业务、质量、安全及实施责任人员参与,按项目程序提交 | 盖章《项目管理计划》、盖章《项目人力资源配备表》、拟任项目经理与核心成员简历、任务及职责安排 | 合同签订后三日内提交规定材料;人员参与度、资源及责任与实际安排一致,后续变更按有效程序办理 |
| 现场调查与试采 | 分业务领域清点源系统、接口、存量电子及纸质离线资料,核查来源和权限、实际对象、质量、时间基准、分类分级及设备条件;在获准范围内试通、试采与复核,实测数量、复杂程度、处理耗时和风险 | 我方调研与采集人员实施,十个实施单位的相关业务、系统及资料责任人员参与,管理协调人员组织协同,授权由有权主体确认 | 数据资源盘点、来源及权限登记、业务对象与接口情况、资料数字化清单、试采与工时质量记录、问题和任务计划 | 按实际来源条件和专业资源分域提交,调查与后续已具备条件的任务衔接;新增来源或条件变化补充调查,未授权数据不试采 |
| 业务规则核验与版本发布 | 核验工序、术语、标签、缺陷分类、业务指标、分类分级、脱敏、计量及质量规则,提供原始证据、样本与差异,组织专业审核和适用测试;新增及变更事项分析影响、重新审核并发布有效版本 | 我方准备材料和技术验证,相关业务专家、数据治理及安全人员按职责核查,由具备权限的责任人员确认 | 有效规则、本体标签与字典、标注规范、计量方法、安全配置、评审记录及影响清单 | 对应正式作业启动前完成必要确认;持续处理新增与变更,不以一次确认免除后续审核。未确认条件依赖的任务不启动,明确后完成配置和历史受影响成果复核 |
| 批次审核及争议处理 | 按实际知识和数据工作量组织审核,知识终审逐条覆盖拟发布条目;标注争议、工艺分歧和跨领域差异核查来源及业务证据,形成适用结论,更新规范并修复受影响对象 | 我方组织资料、会议、记录与修改,相关业务专家完成专业审核,质量及技术人员核查实际执行 | 知识终审、批次质量、争议裁决、规则变更、修正复检及追溯记录 | 按数量、复杂程度、专业覆盖和人员可用时间安排,不一律按半天计;计划时点未完成时升级协调并调整受影响任务,未获得有效结论不视为通过 |
| 质量验证与成果交接 | 各环节完成后执行批次判定,开展真实训练与模型评测、十一场景验证、首轮全量质量评测及缺陷复测;逐项补足规模和证据,通过正式发布检查后封装、解析测试、移交与平台登记 | 我方生产、质量、训练、场景和项目管理人员执行相应任务,业务专家核验,运营平台接收;第三方参与取得招标方同意并签字确认后实施相应评测 | 实际数据、数据卡字典、自描述封装、指纹、质量和验证报告、整改复评、正式盖章评测报告、资产及接收登记记录,相关软件与集成成果资料 | 随实际批次、版本和独立环境条件安排,预留整改及复测资源,必要评测不推迟到最后阶段;移交条件满足后按已落实的接收计划完成,异常及时修正复核 |
| 竣工与最终验收 | 完整建设成果及交付材料通过评审后申请竣工验收;系统试运行并调试至稳定,核查实施效果、运行维护质量及全部适用指标,完成总体成果评估后申请最终验收;处理全部验收整改 | 我方组织测试、资料和申请,招标方按项目程序评审、确认及组织验收,相关业务和运行责任人员参与 | 测试及运行记录、整改复验、完整中文技术资料、设计开发和接口资料、培训及许可设备材料、定制开发与集成接口源代码、全过程可编辑资料、竣工及终验收记录;纸质资料 2 套、电子光盘资料 1 套 | 整体计划包含完整竣工、试运行稳定、评估及终验收所需时间,2028 年 5 月前完成终验收;资料内容、格式及实际成果一致,未达标持续整改至具备验收条件 |
表 2-13 数据来源:确认事项依本节源数据异常与跨系统差异的处置口径及本卷「四大数据集建设及指标要求」节的规模计量规则;移交与登记要求依招标文件 3.2.6.3.10;评测与复测要求依招标文件相应条款。
按实际批次统计业务审核及争议处理工作量,记录新增问题、重复问题、已确认规则复用、跨领域事项、实际处理时长、待审积压和参与专业。项目经理结合数据规模、任务复杂程度、知识条目数量、规则变化和专家可用时间安排审核资源,发现积压或新问题集中出现时补充材料、优化分派并组织相应专业核验。
已形成的有效结论关联具体对象、业务条件、证据和规则版本,应用于后续任务前核查适用条件是否仍成立;条件变化或结论受质疑时重新核验。规范、本体及标签的修改经审核后发布,并检查受影响样本及执行配置。知识终审和各批次必要检查按实际要求完成,复用已有规则不替代新条目的审核;实际审核及整改记录用于调整后续计划和培训。
口径确认事项未按期到位的,按表 2-14 的处置执行。贯穿各项的原则是本节已写明的一条:不停工等待,也不先标后改,按我方建议口径先行并标注为待确认,确认后批量复核,复核工作量由项目组承担。
表 2-14 实施前置条件与异常处理
| 前置事项 | 我方准备与核查 | 确认或执行责任 | 正式使用条件 | 未完成时的处置 |
|---|---|---|---|---|
| 业务、系统和资料责任及授权 | 按来源和业务对象整理联系人、专业职责、资料提供与使用范围、所需证据和任务安排 | 管理协调人员组织相关单位参与,各业务及系统责任人员提供事实,实际有权主体确认相应授权和专业结论 | 责任、权限、来源及用途能够对应到具体对象和任务,必要参与条件落实 | 项目经理补充材料并协调落实,继续已具备条件且无依赖的调查;未明确权限或专业判断的对象保持待核验,联系人登记不替代授权 |
| 17 个业务与设备系统的获准接入 | 梳理实际数据需求、接口条件、对象范围、权限、安全限制、获取方式、窗口及测试用例 | 采集与集成人员实施,来源系统及业务责任人员协同,有权主体确认数据访问,安全监管按单向获取 | 必要授权、接入和安全条件具备,联调通过,来源及获取过程可追溯 | 追查阻碍并落实接入;如有可用离线或数字化材料,分别核验合法来源、许可、完整性及业务覆盖后另建任务,原系统访问权限仍须另行授权。覆盖缺口纳入真实补足计划,局限性记录不替代交付 |
| 数据规模、用途及配比的计量规则 | 编制 Token 及条组定义、分词与统计配置、去重纳入、合成比例控制、模态及时间判定,提供实际样本试算和可复算结果 | 生产、技术和质量人员核查,按项目职责与有权确认程序评审,业务含义由相应专业人员确认 | 规则有效、单位明确、各分项目标和计算方法一致,实际输入输出及统计可复核 | 完善规则及证据、组织评审;未确认方法的试算单独标明状态,不计入正式合格量。可独立完成的获准数据准备继续,正式计量采用有效规则;规则改变后复算受影响结果 |
| 分类分级、敏感处理和使用权限 | 整理来源内容、用途、流转、敏感识别、脱敏与密码方案、访问名单和审计措施,开展获准的效果核验 | 安全、数据治理及相关业务人员按职责核验,有权主体确认范围和条件,生产人员执行 | 必要结论与配置有效,须处理内容已实际处理并复核,权限与用途一致 | 未明确必要条件的对象受控保存和补证,暂停依赖作业及外部使用;条件变更立即控制受影响对象,修正并复核后恢复,以有效判断为准而非以「最严口径」标签代替 |
| 阶段评审、竣工及最终验收安排 | 编制成果清单、技术及质量指标、测试方法、资料和整改计划,落实竣工、试运行稳定、总体评估与终验收排程 | 我方组织测试和资料,招标方按项目程序评审、确认及组织验收,相关运行与业务人员参与 | 实际建设和成果完整、指标达标、资料有效,必要整改完成,满足相应阶段条件 | 持续开展已具备条件的建设和内部检查,及时落实未明事项;内部检查单列状态,不替代对外验收。安排纠偏和资源,2028 年 5 月前完成终验收,节点待确认时同步推进不自行延后 |
| 质量评测主体、范围及报告 | 准备实际送检版本、独立环境、三维度指标、检测方案、质检验证资料、缺陷整改与复测计划,核查主体真实能力及相应证明 | 第三方参与经招标方同意并签字确认,相应评测主体实施检测并出具正式盖章报告,我方落实数据准备与整改 | 主体和范围落实,安全授权有效,首轮全量及后续复测实际执行,报告与受检成果一致 | 提前协调主体和环境,完成可独立开展的生产质检及整改;自评材料仅作待核查证据,独立评测与实际检测照常实施,评测启动后执行完整计划和复测 |
| 运营平台接收规范与登记条件 | 准备正式成果清单、自描述封装、字典、数据卡、版本校验、许可和元数据,提出字段映射及正常异常测试用例 | 生产与项目管理人员准备,平台建设和接收责任人员落实规范、接口及接收,有权主体确认使用条件 | 实际内容完整一致、必要字段有效、权限与格式适配、解析及接收测试通过 | 开展获准的样例封装和适配测试,补齐映射与缺失信息;以实际接收通过为移交完成的判据。修正后复测、查询确认回执并登记,避免重复提交和错误状态 |
| 十一场景的用例、指标及确认 | 逐场景准备完整功能用例、真实输入、预期结果、判分依据、模型规则版本及专业核验材料 | 我方场景验证人员组织,数据、模型、集成人员完成相应准备,相关业务专家及有权责任人员确认专业判据 | 场景环境及输入有效,必要判据明确,实际用例执行和专业核验、问题复验完成 | 开展不依赖争议判据且已获准的准备与技术测试,未确认结论单独管理,场景通过与合格交付以确认后的判据为准;确认后重新执行或复核受影响用例 |
| 项目内部管理制度及执行文件 | 编制不少于 7 份实际管理制度,覆盖相应组织协同、保密、资金、档案、环境及成果风险等管理事项,配套流程、责任和记录表单 | 我方项目管理组织编制,相关管理、技术和业务责任人员按实际职责审核,实施人员执行 | 内容完整且适用,版本、责任和执行记录明确,已履行有效审核程序 | 推进材料编制、专业评审和格式完善,未发布版本保持草案状态;生效后组织宣贯执行,变更保留旧版与影响记录,以已发布版本计入交付成果 |
| 部署位置、网络分区及运行权限 | 调查实际资源、网络、数据分类、系统依赖、密码与审计需求,形成部署和访问关系、资源配置、联调与安全测试方案 | 我方设计及集成人员准备,平台、安全及实际网络资源责任人员核验,按有权审批和变更程序实施 | 必要方案及权限确认,实际资源可用,隔离与访问控制符合任务条件,部署和联调核验通过 | 可开展方案与获准环境测试,正式部署依赖未落实时维持待定,分区与访问范围待确认后确定;落实条件后按有效方案部署、测试和记录,变更同步检查相关数据、接口与日志 |
表 2-14 数据来源:事项依本节各项作业与接口所列前提条件;处置原则依本节的仲裁时限与不停工口径。
数据接入与采集作业使用一致的数据源登记信息、授权范围、业务对象标识和任务编号。接口联调时验证身份认证、字段映射、字符编码、时间格式、增量标识、分页规则、异常返回和重试机制。每次取数记录请求范围、返回数量、传输结果及落地校验结果,并与源端可核对的记录数、文件清单或校验值进行核对。出现漏数、重复、格式异常或中断时,依据源端响应、传输日志与落地检查记录确定受影响范围,完成补采或重传后重新核对;未通过检查的批次保持隔离。
数据加工调用已部署并完成测试的工具实例,登记输入数据版本、处理规则、参数配置、算子及软件版本、输出位置、处理数量和异常记录。涉及模型推理的作业同时登记实际使用的模型、提示词及相关配置版本。调整处理规则或工具版本后,对受影响样本实施回归检查,确认结果满足作业要求后再投入相应批次生产。
本体建设采用经确认的业务术语、数据元、参考数据、指标定义及其版本,与主数据管理平台的组织机构、人员、物料编码和 PLM 的 BOM、零部件信息建立映射。发现同名异义、异名同义、编码冲突或标准尚未覆盖的概念时,记录原始定义、来源依据、适用业务和拟调整内容,提交相关业务专家及标准管理责任人审查。审定后发布有效版本,保留旧版定义和映射记录,并同步检查受影响的标注标签、合成约束、检索索引及已有知识条目。未审定的概念及存在争议的映射不投入正式生产。
数据接收、成果交付与检查要求
| 作业事项 | 接收或配置内容 | 实施与检查要求 | 形成的记录和成果 |
|---|---|---|---|
| 多源数据接入与采集 | CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其、主数据管理平台、热处理群控系统及安全监管平台的数据接入配置;安全监管平台采用单向获取 | 按数据源核验权限、字段、时间范围、接口或文件协议;对源端记录与落地结果进行完整性、数量和格式核对;异常批次隔离、补采并复检 | 数据源登记、接口联调记录、采集任务记录、分域原始数据批次、差异及补采记录 |
| 多格式多模态数据录入 | 授权范围内的文档、图纸、图像、时序、视频及其他适用资料;文件清单和来源信息 | 检查文件可读性、编码、完整性、版本和使用许可;按原始对象保存来源位置与业务关联,保留原件和加工副本的对应关系 | 原始文件清单、录入结果、来源定位、异常隔离与处理记录 |
| 智能工具配置与调用 | 9 类 25 个工具的可运行实例、接口、参数配置、测试报告、使用文档及相应授权 | 验证任务创建、状态查询、结果获取、失败重试、批量导出和状态回调等接口;按批次登记实际工具、规则及其版本,涉及模型的作业登记模型与提示词版本 | 接口测试记录、工具配置、调用日志、输入输出清单、处理及异常记录 |
| 数据标准与本体维护 | 经确认的术语、参考数据、数据元、指标定义和编码映射 | 审核定义、业务适用条件及生效版本;对主数据和 PLM 实体编码进行映射;冲突项审定后发布并检查受影响数据和知识 | 本体文件、术语表、同义词别名表、编码映射、审查及版本变更记录 |
| 规范化样本与知识成果交付 | 完成预处理检查的样本,以及经业务专家终审的知识条目、图谱、本体和检索索引 | 核对来源、用途、权限、版本、质量结果和专家终审状态;未通过检查的样本不放行,未经终审的知识条目不用于标注和合成;基准评测来源及其衍生内容与训练、合成作业隔离 | 交接清单、样本与原始数据对照关系、专家终审记录、使用权限及版本记录 |
| 数据集指标统计与数据卡编制 | 各业务域、各用途子集的样本清单和质量检查结果 | 按实际有效数据统计 Token、条数和偏好组数,分别核验各域各子集规模、多模态比例和近三年时效性比例;剔除重复、不合格和不可合法使用的数据,追踪补齐结果 | 可复算统计结果、数据卡、样本清单、统计规则和不足项补齐记录 |
| 运营平台登记与交付 | 完成规定质量、安全和交付检查的数据集文件、元数据、数据卡、版本信息及授权条件 | 核验文件校验值、登记信息、访问权限、交付范围和版本关系;按实际许可办理登记注册、交付及相关业务,保留全程审计信息 | 版本及目录登记、文件清单、权限配置、交付记录和审计记录 |
| 数据集质量测评 | 实际待测数据、说明文档、质量证据、模型及应用验证所需的合法资料和独立基准数据 | 向独立测评提供真实可核验的数据、说明文档、质量证据及所需受控访问条件;首轮开展全量测评,覆盖说明文档、数据质量和模型应用三个维度及全部适用指标,逐项满足最低要求且综合得分不低于 85 分;高风险缺陷 100% 清零、中低风险缺陷 100% 完成整改,完成相应复测并核对报告、问题台账和实际数据版本一致。 | 原始测评记录、评分及判定依据、问题清单、整改和复测证据、正式盖章测评报告、与实际成果版本一致的完整质量档案。 |
| 数据安全与授权控制 | 分类分级结果、使用授权、脱敏规则、密钥与密码服务配置、账号权限和审计要求 | 在采集前落实授权与访问控制,在采集及加工中执行脱敏、加密、权限检查和审计;映射关系限权存放,授权到期或撤回后及时限制相关数据及衍生成果的使用 | 许可核验、脱敏复核、权限检查、密码服务调用及安全审计记录 |
| 新增感知设备数据采集 | 熔池图像、高温热成像、焊前及淬火后热成像等设备的有效数据、设备标识、时间信息和实际校准资料 | 核对接口、测量或图像参数、时间同步、安装调试状态及适用校准信息;按实际生产记录关联设备、工件、工序、焊道或炉次,无法确认的关联保持待核实,不将批次测量伪装为单件测量 | 设备接入和联调记录、采集批次、校准或检查记录、业务对象关联及异常处理记录 |
加工平台按处理状态分别管理接收数据、贴源数据、规范化样本、知识成果和供样候选成果。接收区仅保存已获准采集的数据及传输校验记录,实施隔离存储和最小权限控制。完成数据源登记、使用许可、入口脱敏、文件完整性与格式检查后,形成可进入预处理的原始数据批次;检查不通过的数据记录任务标识、来源和问题,保持隔离并启动核实、补采或格式修复。
预处理作业保留原件,生成版本化处理结果,检查结构还原、图文对应、对象标识、时间对齐、去重和来源追溯信息。检查通过后,按实际用途进入样本加工或知识抽取。知识本体经定义、关系、编码映射和版本一致性检查及业务专家审查后发布;知识条目及图谱关系完成业务专家逐条终审,并具备来源证据和数据字典后,方可交付标注与合成作业使用。
供样区按业务领域、用途子集和版本管理候选成果,记录输入来源、加工记录、权限及检查状态。完成预处理不等于完成数据集交付;各类候选样本继续接受相应用途的加工、质量检查和验证,满足规定的质量、安全和成果交付条件后方可正式发布。基准评测数据及其衍生成果实行独立访问和使用控制,禁止进入训练或合成流程。检查不通过时,隔离受影响成果,定位原因,修复后复检并检查关联结果;未经复检通过,不得恢复下游使用。
图 1 数据采集与预处理流程
图 2 知识构建及样本质量控制流程
生产前建立质量检查规则及其版本,明确检查对象、判定条件、检查方法、执行岗位、复核岗位、异常处置和放行记录。数据来源、使用许可、安全控制、专家终审以及各项交付质量指标均作为必须满足的条件,不因首批数据分布、生产数量或进度压力而降低。
对需要结合实际设备和数据特征配置的处理参数,使用具有代表性的样本开展验证,记录样本来源、参数取值、测试过程、异常识别结果、误差及业务专家意见。确认参数适用的设备、材料、工艺、业务对象和时间范围后,发布经批准的参数版本。参数验证结果不得替代强制质量指标,也不得将尚未通过检查的数据计入合格成果。
生产过程中监测输入特征、处理结果及异常变化。发现参数不适用、结果漂移或规则缺陷时,隔离受影响成果,开展原因分析和参数复核;调整后验证当前结果并追查受影响的历史批次。保留调整前后的配置、适用范围、批准记录及复检结果,完成检查并确认满足放行条件后恢复相应作业。
| 检查环节 | 检查时点 | 必须核验的内容 | 检查方法 | 执行与复核 | 不通过时的处置 |
|---|---|---|---|---|---|
| 数据接收与准入检查 | 采集前核验授权,采集及接收时检查传输、脱敏和数据完整性;进入预处理前完成准入判定 | 数据源可定位,采集与后续用途获得有效授权,访问范围符合许可;敏感信息已按适用规则处理;文件或记录完整、可读,格式和编码正确,来源及采集记录齐全 | 许可及配置审核、自动完整性和格式校验、按风险确定范围的人工复核;发现高风险问题,对相关范围开展全面检查并逐项确认处置结果 | 采集及受理人员执行,质量人员复核数据结果,安全人员复核许可、敏感数据与访问控制 | 保留任务编号、接收记录、原始批次标识和问题清单;相关数据隔离且不得进入后续生产。缺少授权时停止相关采集或使用,取得有效授权后重新核验;漏数、损坏、格式错误按原因补采或修复并复检,不以删除记录掩盖异常 |
| 预处理质量检查 | 各预处理作业输出后,进入样本加工或知识抽取前 | 文档结构及出处可核验,图文与业务对象关联准确,时间与测点对应正确,视频片段及同步信息完整,重复和异常已处理;输入输出、处理算子、实际参数及版本可追溯 | 自动校验结合业务对象、模态、来源、风险和处理规则分层复核;对缺陷涉及的范围追查,核对原件与加工结果,检查修复对关联样本的影响 | 预处理人员自检,质量人员独立复核,涉及业务语义的结果由相应业务专家确认 | 隔离受影响输出,保留原件、问题版本及其状态;按来源、配置、规则、算子或关联错误确定修复范围。存在系统性缺陷立即暂停受影响配置或作业,不等待第二个失败批次;修复后重跑必要环节并复检,结果合格后才恢复下游使用 |
| 本体审查与版本发布检查 | 新建或修订本体发布前,以及影响范围发生变化时 | 对象类目、属性、层次和关联关系完整一致;实体编码可与主数据及 PLM 映射;概念定义、适用条件、来源依据和版本明确;与有效业务标准的冲突已审定,受影响的标签、规则、知识及索引已识别 | 本体结构与一致性校验、编码映射核对、业务专家审查及关联成果回归检查 | 本体维护人员提交,业务专家审查,标准管理及相关业务责任人核定适用定义,质量人员核查发布材料 | 不发布未通过版本;争议定义及映射保持待核实。仅在确认旧版仍正确、授权有效且不受本次问题影响时允许继续使用;涉及旧版错误或失效时立即限制相关作业,修订并复核受影响成果,不能默认沿用至批次结束 |
| 知识成果专家终审 | 知识条目及图谱关系正式发布、交付标注和合成前 | 每条知识及关系有可定位的有效来源,内容和适用条件正确;实体、属性、关系及引用对应准确,数据字典和版本记录齐全,使用权限符合实际用途 | 自动检查字段、来源链接和结构完整性;业务专家对拟发布知识条目及图谱关系逐条终审,记录结论、审查人、日期、依据和修改情况。风险分级用于安排审查重点,不用于免除逐条终审 | 知识抽取人员提交,具备相应领域能力的业务专家终审,质量人员核验终审记录与发布成果一致性 | 待审、退回和证据不足的条目及关系不发布,不用于标注或合成;按问题补证、重抽或修订后重新终审。已发布条目发现错误时限制其使用并追查受影响标签、样本和检索结果,完成修复及复核后恢复 |
发现不合格数据或处理结果后,登记问题对象、来源、批次、处理配置、发现方式和影响范围,暂停受影响成果的下游使用。核查问题由源数据、授权、传输、解析、对象关联、时间同步、处理参数还是知识引用引起,并追踪同一原因可能影响的其他样本和批次。源数据缺失或错误由采集作业补采、核实后重新处理;处理规则或参数错误修复后,重新执行受影响的作业及其后续检查。保留原始数据、问题版本、修复记录和复检结果,不以覆盖文件或删除失败记录替代整改。数据增强批次未通过规定检查时执行整批回滚,完成原因分析、修正和重新验证后再按要求生产。
各加工环节按实际输入、作业记录、输出清单和质量结果办理交接。生产前明确检查对象、检查范围、方法、指标、判定条件和异常处置要求,对需要抽样检查的项目确定抽样总体、分层方式、样本量依据和复核方法;须全量检查或逐条专家终审的项目按相应范围执行。未满足放行条件的成果保持隔离,修复后重新检查,合格结果及签认记录与对应数据版本一并归档。内部作业交接与正式项目验收分别留存记录,正式验收按规定程序、完整交付成果和实际运行效果组织实施。
项目经理根据数据来源、业务领域、数据模态、生产任务量和人员能力安排采集受理、安全管理、预处理、质量检查、本体维护、知识抽取及业务专家审查职责,形成具名责任清单和替补安排。数据处理人员记录作业结果、问题及交接事项,质量复核人员核对输入输出、适用规则、版本和检查证据;本人完成的作业不得仅以本人自检结果替代独立质量复核。
交接双方核对数据清单、质量状态、使用权限和未解决问题,记录接收时间、交接版本及责任人。涉及跨专业问题时组织采集、加工、安全、质量及相关业务专家共同核查,形成明确的处理结论和后续责任;沟通形成的决定及时纳入作业记录和配置版本。人员调整时完成任务、资料、权限及未结问题移交,避免因岗位变化中断数据追溯和问题整改。
| 作业职责 | 执行内容 | 复核及放行记录 |
|---|---|---|
| 数据采集与受理 | 维护数据源、授权、采集任务和批次台账;完成接收、校验、问题登记及补采跟踪 | 记录实际执行人与时间;质量人员核对接收与校验结果,安全人员复核许可及相关控制,满足准入条件后登记放行结论 |
| 数据安全管理 | 落实分类分级、授权范围、脱敏、访问权限、加密及审计;受控保存脱敏映射,处理授权变化和安全问题 | 核验安全配置、脱敏结果和审计证据;存在许可或安全问题时限制相关采集及使用,记录处理与复核结论 |
| 数据预处理 | 按模态配置和执行处理任务,登记输入输出、规则、算子、参数及实际版本;处理异常并自检 | 提交自检结果、原始数据对照关系及异常记录,由质量人员独立复核,涉及业务语义的结果提交相应业务专家确认 |
| 质量检查与问题跟踪 | 执行全量规则检查和适用的人工复核,追踪缺陷影响范围、整改与复检结果 | 核对放行条件和证据完整性,记录不合格隔离、整改、复检与最终质量结论,不以生产人员自检替代复核 |
| 知识本体维护 | 维护对象类目、属性、关系、术语、同义词和编码映射;开展版本变更及影响分析 | 提交结构与一致性检查结果和业务依据,由具备对应领域能力的专家审查,经规定流程批准后发布有效版本 |
| 知识抽取与索引维护 | 开展条目抽取、条款切分、图谱构建、检索索引和查询—证据—回答样本生产,维护来源、权限和版本 | 提交待审知识及来源证据,逐条记录专家终审结论;仅发布符合条件的成果,按实际用途控制样本与索引访问 |
| 业务专家审查 | 审查专业概念、关系、工艺规则、质量特性、指标定义、知识条目及图谱关系,确认适用条件和业务准确性 | 按业务领域落实具备相应能力的审查人员及审查安排,记录姓名、专业范围、审查对象、依据、结论和日期;需招标方业务人员确认的事项按项目协作程序组织,未确认事项不以项目组自行签认替代 |
数据追溯从数据源及实际取得的文件、记录和事件开始建立。数据源登记后生成稳定标识;每次采集、接收及加工任务分别生成任务标识和批次标识,记录输入对象、输出对象、执行时间、处理配置及状态。源系统原有主键、记录版本、文件校验值和业务发生时间按实际情况保存;未提供原生主键的数据通过受控生成的记录标识定位,并记录其来源位置及生成规则。
采集批次、预处理批次、知识构建批次及后续样本加工批次分别管理。批次分拆、合并、增量补采、重跑或跨来源组合时,显式登记输入与输出之间的一对多、多对一或多对多关系,保留关联对象的版本及处理记录。样本和知识条目使用稳定标识,内容变更形成新版本;来源或用途归属变化记录为属性及关联变化,不通过覆盖旧标识丢失历史。失败、隔离和撤回成果保留必要标识、状态及审计记录,按权限和保留规则管理。
对样本、知识条目和评测记录提供受控追溯查询,展示其来源对象与版本、采集和处理任务、所用规则与工具、引用知识及相应审查结果。处理错误或质量问题按实际来源、处理配置和引用关系查找关联成果,生成受影响对象清单,并记录暂停使用、修复、重新检查和恢复使用的结果。
数据存储位置变化时更新位置索引,保留对象标识及历史位置记录;文件迁移前后核对完整性和校验值,验证访问权限及关联查询。人员变更通过责任清单和账号权限交接管理,追溯记录不依赖个人目录、个人账号或口头说明。源记录、文件、处理任务、样本和知识成果的标识在各对象创建时生成,并与已有来源及输入对象建立明确关联。
对象标识在其管理范围内保持唯一且稳定,由平台按统一规则生成并校验冲突。业务领域、来源系统、对象类型、用途、采集日期、生产状态和访问等级作为可查询属性保存;业务归属或用途调整时保留对象标识,记录属性变更及批准依据。确需便于人工查找的展示编号可采用受控业务代码,但不得将人员姓名、合同内容等敏感信息直接写入编号,也不得仅凭编号判断使用权限。
文件内容校验值用于检查传输、存储及复制前后的完整性,并辅助识别内容相同的文件。登记校验算法、计算对象、对象长度及计算结果;文件内容相同不代表来源授权、业务含义、有效版本或用途完全相同,是否去重须结合这些信息判断。
处理配置摘要采用规范化序列化后的算子标识、版本、参数及必要依赖生成,同时保存完整配置。每次任务还记录输入对象与版本、软件依赖和运行环境、输出对象及状态;涉及模型时记录实际模型、提示词、推理配置和适用的随机控制信息。对确定性处理核对重跑结果的一致性;对包含随机性或运行环境差异的作业,按已确认的评价方法检查结果有效性及允许差异。不得仅凭配置摘要相同就认定输出内容必然相同或免除结果检查。
| 标识或记录 | 生成及维护时点 | 保存内容 | 检查与使用要求 |
|---|---|---|---|
| 数据源标识 | 数据源登记时生成,来源变化时维护登记版本 | 稳定唯一标识;来源系统或提供方、数据对象、责任人、访问方式、使用许可及有效期 | 核验来源身份和许可范围;业务域等属性变化保留历史,数据源标识不代替授权判断 |
| 采集及加工批次标识 | 每次实际采集、接收和加工批次创建时生成 | 批次标识、任务标识、业务属性、输入输出清单、时间范围及状态 | 分拆、合并、补采和重跑均保留各批次及关联关系;失败和隔离批次同样登记,不覆盖旧记录 |
| 文件对象标识与内容校验值 | 文件接收或派生文件生成时建立 | 稳定对象标识、来源位置、对象版本、文件长度、格式、校验算法及校验值 | 文件内容与来源身份分别记录;以校验值验证完整性并辅助去重,去重时核对业务对象、许可和有效版本 |
| 源记录标识 | 源记录接收时建立并保存变化历史 | 数据源标识、源对象或表名、原生主键或受控替代标识、记录版本、业务时间、采集时间和来源位置 | 跨系统及跨表主键不得混淆;同一源记录多次采集建立关联,历史更正保留原值与有效时间,不把重复采集自动算成新业务记录 |
| 处理配置标识及摘要 | 规则、算子或参数配置发布时建立 | 算子及规则标识、版本、完整参数、必要依赖、规范化序列化方式、摘要算法及结果 | 配置变更生成新版本;摘要用于配置比对,完整配置用于核验,敏感配置按权限管理 |
| 任务执行标识 | 每次实际执行或重跑时生成 | 任务类型、输入对象及版本、批次、配置版本、执行环境、起止时间、执行状态、日志和输出;模型作业同时保存实际模型、提示词及推理配置版本 | 每次执行单独记录,重试与原任务关联;区分成功、失败、取消和结果未确认,按实际结果登记,不以重复执行覆盖失败证据 |
| 样本标识及版本 | 样本首次生成时建立稳定标识,内容变化时形成新版本 | 来源对象及版本、处理任务、输入输出关系、模态、业务领域、实际用途、权限和质量状态 | 切分、组合、配对、修订和衍生样本建立明确关联;基准评测样本及其衍生内容与训练和合成数据隔离 |
| 本体标识及版本 | 本体创建、审查和发布时维护 | 本体标识、版本、定义与编码映射、变更说明、审查结论、生效状态及影响范围 | 标签、规则、知识及索引引用具体有效版本;旧版保留受控历史,不默认所有旧版均可继续用于生产 |
| 知识条目标识及版本 | 条目或图谱关系创建时建立,修订时形成新版本 | 稳定标识、内容版本、来源证据、实体及关系、适用条件、许可、终审状态和审查记录 | 终审状态对应具体内容版本;修改内容或证据后重新判断审查范围,未审定版本不得沿用旧版通过状态 |
| 查询—证据—回答样本标识及版本 | 检索增强样本生成时建立 | 样本标识、查询、证据对象和位置、回答、来源版本、构建记录、实际用途及质量结果 | 按用途分别保存和控制访问;基准样本须来自独立真实资料,核查内容及衍生关系泄漏,禁止通过换编号将训练或合成内容转为基准 |
| 成果关联记录 | 每次切分、合并、转换、引用、配对、修复或发布时维护 | 上游与下游对象标识及版本、关联类型、实际处理任务、建立时间和必要依据 | 支持多来源和多阶段追溯;关联缺失、冲突或证据不足时记录待核实状态,未确认的关系不作为可靠业务事实交付 |
建立标准及企业技术文件登记清单,记录标准编号、完整名称、版本、实施日期、适用对象及受控获取方式。数据字段、质量规则、图纸符号、检验方法和知识定义分别关联实际采用的标准条目与企业有效技术文件,保存规则配置、适用条件和版本。标准用于确定相应技术内容和实施方法,项目规模、质量、安全及交付指标仍按约定要求执行,不因通用标准中的较低要求降低交付条件。
处理历史图纸、工艺卡和检验记录时,保留原文件采用的标准版本、技术状态和业务发生时间。发现版本不明、符号含义冲突、旧新版本定义不一致或企业规则缺失时,登记问题并由相应专业人员核实,不以当前标准直接覆盖历史原文,不根据通用惯例生成未经确认的质量结论。核实后的解释和映射与原始记录分开保存,记录依据、适用范围、审查结论及生效状态。
企业机械制图要求、工艺编制准则和工序字典以实际取得并确认有效的文件为依据,核对文件编号、批准状态、修订记录和适用产品。缺失资料列入调查和补充清单,涉及未确认规则的加工结果保持待核实状态;规则确认后验证解析、分类和关联结果,再投入相应生产作业。
数据加工采用的标准与技术文件
| 作业对象 | 标准或技术文件 | 实施内容及保留记录 |
|---|---|---|
| 数据管理与成熟度建设 | GB/T 36073-2025《数据管理能力成熟度评估模型》 | 组织数据管理能力建设与检查,明确管理职责、制度流程、执行任务和能力评价要求,保存制度发布、过程执行、检查评价及改进记录。按项目确定的成熟度建设目标梳理能力项和实施证据,跟踪不足项整改,形成可核验的管理制度、过程记录及评价材料。 |
| 数据质量规则与检查 | GB/T 36344-2018《信息技术数据质量评价指标》 | 按规范性、完整性、准确性、一致性、时效性、可访问性组织适用评价内容,结合实际数据对象配置格式、空值、重复、值域、关联、业务逻辑和时效等检查规则。各规则登记对应评价指标、适用对象、计算范围、判定条件、执行方法和版本,保存检查结果、问题对象、整改及复核记录,并核对统计结果与实际成果版本一致。 |
| 元数据、数据定义与标识 | GB/T 18391.3-2026《信息技术元数据注册系统(MDR)第 3 部分:注册系统公共设施元模型》;GB/T 18391.4-2009《信息技术元数据注册系统(MDR)第 4 部分:数据定义的形成》;GB/T 18391.5-2009《信息技术元数据注册系统(MDR)第 5 部分:命名和标识原则》 | 建立受控元数据及数据字典,登记名称、定义、标识、数据类型、表示格式、值域、来源、责任人和版本等实际管理属性;检查定义一致性、标识唯一性及版本关系,保存注册、变更与审查记录 |
| 图纸视图、剖视与断面解析 | GB/T 4458.1-2002《机械制图图样画法视图》;GB/T 4458.6-2002《机械制图图样画法剖视图和断面图》 | 结合原图采用版本识别视图、剖视和断面表达,保留图号、版本、位置及关联视图;图层命名与企业特殊表达另按有效图纸管理要求核对,存在歧义时提交专业确认 |
| 图样表面结构标注解析 | GB/T 131-2006《产品几何技术规范(GPS)技术产品文件中表面结构的表示法》 | 保留表面结构符号、参数、数值、标注位置、作用对象及适用条件,并与原图对应;符号或作用表面无法确定时保留待核实状态,不仅凭识别置信度生成确定性工艺要求 |
| 熔化焊接头缺欠名称及分类 | GB/T 6417.1-2005《金属熔化焊接头缺欠分类及说明》 | 根据原始检验资料建立缺欠名称、分类编码和企业标签的映射,保存分类依据及版本;区分缺欠分类、检测结果和质量合格判定,不能仅凭类别名称推出不合格结论;企业自定义标签经业务专家确认后使用 |
| 焊缝超声检测记录加工 | GB/T 11345-2023《焊缝无损检测超声检测技术、检测等级和评定》 | 核对检测报告所用方法、标准版本、检测等级、对象、位置及评定信息,保持报告结论和原始证据可定位;不将超声方法作为所有焊缝检测记录的默认方法,不以图像识别结果代替实际检测报告 |
| 洛氏硬度记录加工 | GB/T 230.1-2018《金属材料洛氏硬度试验第 1 部分:试验方法》 | 保留原始试验方法、硬度标尺、数值、测点、试样或工件关联及报告版本;不同标尺不得直接混算,其他硬度试验方法保持其实际方法标识,确需转换时记录适用依据和审核结果 |
| 企业工艺及图纸数据 | 经确认有效的企业机械制图标准、工艺编制准则、工序字典及相关产品技术文件 | 登记企业技术文件编号、版本、批准状态、生效时间和适用产品,核验图层、工序、参数及特殊技术要求。对资料缺失、版本冲突或规则含义不明的情况形成调查清单,保存实际取得的文件、核实依据及专业审查结论;经确认后发布适用的加工规则,保留历史依据及变更关系,复查相关图纸解析、字段抽取和业务关联结果。 |
发现企业技术文件与所适用的国家、行业标准或项目技术要求不一致时,分别记录原文、版本、生效时间、适用对象和具体差异,组织标准管理及相关业务专业人员核实。核查历史资料所处的技术状态、现行生产规则以及本次加工用途,形成有依据的处理结论和适用范围;不得以企业现行版本为由直接覆盖其他适用要求。涉及项目约定要求的差异按项目规定程序确认,不由加工人员自行降低指标或修改验收条件。
差异未解决前,暂停依赖该差异规则的自动归一、标签赋值及知识发布,对不受影响且满足授权和质量条件的数据继续按有效规则处理。审定后分别保存原始内容、确认后的解释或映射、处理依据及审查记录,完成受影响规则、知识和样本的检查与修订;历史记录保留原采用版本,不将后续版本反写为原始依据。
采集企业业务系统、设备系统及具有合法使用授权的外部来源数据,按供需计划、产品工艺设计、制造过程、产品质量四个业务领域建立原始数据批次。每个数据源登记来源系统或资料提供方、业务对象、采集范围、采集方式、更新频率、数据责任人、使用授权及其有效期。实施取数前核验允许采集、加工、训练、验证和交付的用途及范围,完成访问授权、字段范围与传输保护配置。对个人信息、企业敏感数据等按分类分级结果执行入口脱敏和访问控制,保留受控的来源定位及处理记录。
完成文件完整性、格式、编码、字段结构、对象标识和时间信息检查后,按业务领域形成原始数据批次及采集记录。记录数据源、采集任务、采集时间、业务发生时间、记录或文件数量、校验结果和异常处置情况;来源不明、授权不足、文件损坏或必要字段缺失的数据进入隔离区,核实补采后重新检查。通过检查的数据进入预处理作业,保留原始数据与后续样本、知识条目及其版本的对应关系。
采集任务按供需计划、产品工艺设计、制造过程、产品质量四个业务领域登记,分别维护数据对象、来源系统、取数范围、业务时间、授权条件和质量要求。制度、合同、经营指标、主数据及外部行业资料按实际来源和内容单独登记,并建立与适用业务领域的关联;同一资料支撑多个领域时保留统一来源及多重关联,不通过重复复制增加有效数据规模。
原始数据接收时记录已确认的用途限制和业务属性,后续按实际加工及质量结果分别形成预训练、指令微调、强化学习偏好和基准评测用途的数据。涉及基准评测的数据在划分时落实独立来源、内容及衍生关系隔离,禁止通过改变域标签或样本编号转入训练和合成作业。
为各领域明确具名的采集受理责任人、复核人员和替补安排,根据任务量、专业能力及生产计划配置实际人力。责任人维护来源、许可、任务、批次和问题台账,跨域共用数据由相关责任人核对适用范围、权限和版本,交接记录与实际成果一致。
采集任务执行前完成数据源登记及本次取数授权核验,确认允许采集的对象、字段、时间范围、后续用途和存储环境,配置访问权限、传输保护及适用脱敏规则。未经许可的数据不发起采集;需在源端脱敏的数据先完成源端处理,再按批准范围传输。获准在受控环境处理原始敏感数据的,按授权范围限制原始数据访问和保留时间,并在进入相应后续加工前完成规定脱敏及检查。
每次受理建立任务和接收记录,按实际过程记录清点、校验、脱敏、对象关联、问题处理和准入判定结果。发现授权、完整性、格式或关联异常时保存问题与状态,隔离受影响数据并启动核实或补采。各项准入条件满足后,形成可进入预处理的分域原始数据批次和采集记录;任务编号及异常记录不因未获准放行而省略。
接收数据时核对源端交付清单、对象数量、传输结果及可获得的校验值。源端已执行脱敏或其他转换的,以实际获准交付的输出清单和校验记录进行核对,不要求接收未经许可的原始敏感文件。平台内对获准处理的原件生成脱敏或规范化副本时,分别登记原始对象和派生对象的标识、版本、校验值及转换任务,保留受控关联,避免用转换后的校验值直接与转换前原件比较。
格式、编码、字段映射或解析规则发生错误时,检查使用相同来源和配置的其他批次,按实际影响范围隔离、修正并复检。人工修正必须有原始依据、修改记录和复核结论,无法确认的数据保持待核实状态,不按猜测补齐必填项或业务关联。
时序、图像和视频数据的工件、工序、焊道、设备及炉次关联以实际生产记录为依据,记录关联来源、时间范围和确认状态。后续取得新的有效证据需要修订关联时,保留修订前后内容、依据、处理人及复核记录,更新受影响样本和统计结果;不得覆盖历史记录,也不得把未确认关联计入已完成准确关联的成果。
| 步骤 | 输入与前提 | 作业内容 | 保存记录 | 异常处置与放行条件 |
|---|---|---|---|---|
| 1 采集申请与任务登记 | 明确的业务需求、来源对象、拟取字段和时间范围 | 登记数据源,核对实际采集方式、用途、执行环境和责任人;建立任务编号、接收记录及计划,明确本次交付清单和检查要求 | 数据源登记、采集申请、任务记录、字段及对象清单 | 来源不明或需求范围不清时不执行相关取数,记录待补事项;补齐并复核后进入授权检查 |
| 2 使用许可与访问核验 | 有效的授权材料、许可条款、源系统权限及适用用途 | 核验数据取得、存储、加工、训练、验证、交付等实际用途是否获准;核对期限、对象范围、地域或环境限制及外部模型调用限制,配置相应访问与传输保护 | 许可核验结果、材料定位、有效期限、访问配置和限制条件 | 授权不明、失效或超范围时停止相关采集或使用;取得有效许可并复核后才执行,不能以公开可下载或数据责任人口头同意替代必要授权 |
| 3 受控接收与清点 | 许可范围内的实际交付数据、源端清单及传输记录 | 按批准方式接收,核对对象数量、文件长度、可读性、校验值及记录范围;源端有转换时核对相应转换后的交付清单;识别重复接收及缺失数据 | 接收时间、对象及批次标识、源端清单、校验记录、差异清单 | 漏传、损坏、重复或数量不一致时保留已接收状态并核对原因,按差异补采或重传后复检;受影响数据不进入后续生产 |
| 4 脱敏与安全检查 | 已确认的分类分级、字段用途、授权环境和脱敏规则 | 需源端脱敏的在传输前执行;获准在受控环境处理的按字段和用途采用适当的删除、遮蔽、泛化、替换等方法,检查敏感信息残留及业务可用性;必要映射限权保存 | 规则版本、执行对象、原始与派生对象关联、脱敏结果及复核记录、受控映射记录 | 规则缺失或脱敏未通过时隔离相关数据并修正规则;不得默认保留顺序、可逆关系或额外敏感字段,未经复核不放行 |
| 5 格式与内容准入校验 | 已接收且符合适用安全条件的数据、格式和字段规则 | 检查格式、编码、必填字段、数据类型、值域、时间与时区、单位及精度;在实际源系统及对象范围核对主键和重复记录;保留原始值与转换记录 | 校验报告、问题对象、适用规则及版本、修复或补采记录 | 不合格对象进入隔离管理;根据原始证据补采、修复并复检,人工修改保留依据及复核,禁止虚构字段或静默删除问题 |
| 6 业务对象关联检查 | 工单、报工、工序、设备、焊道、炉次及工件等实际生产记录 | 按时间和有效业务关系核对数据对应对象,保存一对多、多对一及返工关系;区分炉次、批次与单件,不能以批次检验代替逐件实测 | 关联对象、来源证据、有效时间、确认状态及修订记录 | 关联不明时单列待核实,补证后复核;是否可进入不依赖该关联的其他用途须按用途规则审查,不得将未知关系作为已确认事实交付 |
| 7 批次准入与交接 | 各项检查、异常处理及复核结果 | 核对输入清单、许可、安全、质量及关联状态,确认可放行对象范围,形成原始数据批次、采集记录和交接清单,登记判定人与时间 | 全过程任务及批次台账、放行结论、实际交接范围、未放行对象及原因 | 未通过对象保持隔离并保留原批次或接收标识;经批准的拆分交接须保留父子关系和各自检查结果,不以拆分隐藏失败或绕过必须整批处理的要求 |
本域对应供需计划数据集的原始数据底座。受理内容按源系统归集。 本域的受理难点不在数据量,而在同一笔业务在三个系统里各有一条记录。一个客户从商机到回款,CRM 记商机与报价、ERP 记订单与开票、财务系统记回款,三处的主键各不相同:CRM 用商机编号、ERP 用销售订单号、财务用合同号。单看任一系统的数据都是完整的,合起来却对不上——同一份合同在 ERP 里拆成了三张订单,在财务侧只有一条回款。
处置办法是在受理阶段即建立业务链主键,以合同编号为轴,把三侧记录挂到同一条业务链上,挂不上的进差异台账逐条处理。差异的常见成因有三类:合同在 ERP 侧补录时编号写法不一致(带前缀、带年份、全角半角混用);一份合同对应多张订单而订单侧未回填合同号;历史合同在系统上线前签订,ERP 里只有订单没有合同。第一类按归一化规则自动处理,第二类按金额与客户组合匹配后人工确认,第三类在数据卡中声明其业务链不完整并限定可用于哪些任务。
第二处难点是非结构化件与结构化记录的挂接。招标与投标文件、资质文件、业绩合同三类属文件本体,其价值在于与具体项目的对应关系;若只把文件收进来而不挂到项目号上,它在数据集中就只是一堆文档。受理时按项目号或合同号批量归集,无法确定归属的单独成组并登记原因,不强行挂接——错挂比不挂的代价更高,错挂会把一个项目的资质证明算到另一个项目名下,而这类错误在后续加工中几乎无法被自动发现。
第三处是增量边界。本域大部分对象按变更时间增量受理,这依赖源系统的变更时间戳可信。实际情况是部分表的更新时间字段由应用层维护,批量修数据时不会刷新。因此首轮采集后执行一次全量对账:按主键比对源系统与采集侧的记录数与关键字段校验和,对不上的表改为整表快照方式受理,并在数据源登记表中标明该表不支持增量。
CRM 侧受理的九类对象分两组性质:客户、商机、报价、合同、订单、回款六类是结构化的事务记录,招标与投标文件、资质文件、业绩合同三类是文件本体。两组的受理方式与校验重点都不同,放在一张表里是因为它们在业务上属同一条链路——一个商机从接触到回款的完整过程,结构化记录给出了时点与金额,文件本体给出了当时的技术方案与承诺内容,两者合起来才构成供需计划类任务可用的样本。
校验重点一列中,「同一商机多版本报价按版本号保留,不覆盖」这一条需要特别说明。业务系统中报价常以最新版本覆盖历史版本,而对数据集而言,报价的修订过程本身是有价值的信息:一个项目的报价从初版到终版的调整幅度与调整方向,反映了技术方案与商务条件的权衡过程,这正是产品智能选型与投标类场景需要学习的内容。因此受理时按版本全留,并在同一商机下按版本号排序。
「工作面类型取本体值域」一条指向的是本节与知识本体环节的衔接。工作面类型是矿山装备选型的关键参数,CRM 中的填写常不规范(同一类型有多种写法、也有直接填写文字描述的)。受理阶段不强行归一,而是保留原值并标记是否落在本体值域内;归一在预处理环节由术语表执行,使归一规则集中维护、可追溯、可随本体版本更新重算。
| 数据对象 | 字段组 | 形态 | 受理方式 | 校验重点 |
|---|---|---|---|---|
| 客户 | 客户编号、名称、所属区域、客户类型、信用等级 | 结构化 | 整表初始化 + 按变更时间增量 | 客户编号唯一性;与主数据客户编码可映射 |
| 商机 | 商机编号、关联客户、矿井名称、工作面类型、预计规模、阶段状态 | 结构化 | 增量 | 阶段状态值域合规;工作面类型取本体值域 |
| 报价 | 报价单号、关联商机、产品配置、报价金额、版本 | 结构化 | 增量 | 同一商机多版本报价按版本号保留,不覆盖 |
| 合同 | 合同编号、关联客户、签订日期、金额、交付期、产品清单 | 结构化 | 增量 | 合同编号与 ERP 侧一致性比对 |
| 订单 | 订单号、关联合同、物料、数量、交付节点 | 结构化 | 增量 | 与 ERP 销售订单的勾稽关系 |
| 回款 | 回款单号、关联合同、金额、日期 | 结构化 | 增量 | 与应收数据的勾稽关系 |
| 招标与投标文件 | 文件本体、项目名称、客户、投标日期、结果状态 | 非结构化 | 按项目号或合同号批量归集 | 文件可解析性;版本与结果状态完整 |
| 资质文件 | 文件本体、资质类型、编号、有效期 | 非结构化 | 按资质类型归集 | 有效期必填;过期件标注状态 |
| 业绩合同 | 文件本体、项目、金额、验收状态 | 非结构化 | 按项目归集 | 与业绩类知识归集目录对齐 |
ERP 是四个业务域中与其他系统交叉最多的一个:销售订单与 CRM 对应、采购与 SCM 对应、库存与 WMS 对应、成本核算与质量域的返工损失对应。因此本系统的校验重点多数是跨系统一致性校验而非本系统内的完整性校验——物料编码取主数据值域、供应商编码与 SCM 侧一致、金额与合同勾稽,这三项都要同时取到两侧数据才能校验。
受理顺序上因此有一个约定:ERP 的受理排在 CRM 与 SCM 之后,使跨系统校验在受理当时即可执行,而不必等到预处理阶段再回头比对。若按系统逐个独立受理再统一比对,发现不一致时相关批次都已成形,返工代价更大。
「金额保留原始精度」与「期间闭合状态」两项是财务数据受理的常规要求,但在数据集建设中有额外含义。金额若按业务习惯取整,成本核算类任务的计算结果就无法与财务账核对,数据集的可信度随之下降。未闭合期间的数据是可变的,后续还会调整;标注闭合状态使使用方知道哪些期间的数字是终值、哪些仍可能变动,避免把未闭合期间的数据当作事实学习。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 销售订单 | 订单号、客户、物料编码、数量、单价、交付日期 | 增量 | 物料编码取主数据值域;金额保留原始精度 |
| 采购 | 采购单号、供应商、物料、数量、价格、到货日期 | 增量 | 供应商编码与 SCM 侧一致 |
| 成本核算 | 核算期间、成本中心、成本要素、金额 | 按期间 | 期间闭合状态;未闭合期间标注 |
| 应收应付 | 凭证号、对象、金额、账龄、状态 | 增量 | 与回款数据勾稽 |
| 物料主数据与价格 | 物料编码、名称、材料牌号、规格、单位、单价 | 整表初始化 + 增量 | 作为本体物料类目的编码基准之一 |
供应链侧的受理有一处与其他系统不同:它的数据价值主要在时间差上。供应商评估等级、采购计划量、约定到货日这些字段单独看都是静态属性,真正能支撑供需计划类任务的是「计划量与实际下单量的差」「约定到货日与实际到货日的差」这两组差值。因此本节的受理口径不是取某个时点的快照,而是把计划与执行两侧成对取回,并校验它们的对应关系——一条采购计划可能对应多张订单,一张订单也可能跨多个计划期,对应关系断了,差值就算不出来。
供应商评估等级这一字段需要额外登记其评估口径的来源。企业的供应商评估标准在多年中调整过,等级的含义前后不完全一致;只取等级值而不记口径,后续模型学到的就是一个随时间漂移的标签。受理时按评估日期关联到当期的评估办法版本,办法版本由采购部门提供,暂未提供的在数据源登记表中标明待确认。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 供应商档案与评估 | 供应商编号、名称、资质、评估等级、评估日期 | 整表初始化 + 增量 | 评估等级值域;评估口径登记来源 |
| 采购计划与订单 | 计划号、物料、计划量、下单量、计划期 | 增量 | 计划与订单的对应关系 |
| 供货履约 | 订单号、约定到货日、实际到货日、数量差异 | 增量 | 日期逻辑(实际不早于下单) |
| 付款计划 | 合同号、付款节点、金额、状态 | 增量 | 节点金额合计与合同金额勾稽 |
| 物料采购周期 | 物料编码、采购周期、统计期间、样本量 | 按期间 | 派生指标,登记计算口径来源,本环节不重算 |
| 到货时效与供应商履约率 | 供应商、统计期间、时效指标、履约率 | 按期间 | 同上;口径与指标知识库登记一致 |
仓储数据在本项目中的作用不止于库存控制场景。批次号是连接仓储与质量两个域的唯一纽带:一批物料从入库到投产,其检验记录、使用去向、最终产品的质量结论,全靠批次号串起来。因此本节把「批次号与质量域检验批次的对应关系」列为校验重点之首——这一对应断了,库存控制智能化与质量类场景之间就无法做联合分析。
实际情况是两个系统的批次编号规则可能不同:WMS 按入库批次编号,质量系统按检验批次编号,一个入库批次可能分几次检验,一次检验也可能覆盖多个入库批次。受理时不试图把两套编号统一成一套,而是建立批次对应表,记录多对多关系及其产生原因。统一编号属业务流程调整,不在本项目范围内;建立对应表则是数据加工侧可以完成的工作。
仓库、货位、库位三级的编码唯一性与层级一致性是基础校验,看似简单,实践中问题不少:历史停用的货位仍在编码表中、货位编码被重复使用、库位挂在已撤销的货位下。这类问题在受理阶段按层级闭环校验逐条检出,检出的进差异台账,由仓储部门确认处置方式后再决定是否纳入。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 仓库与货位 | 仓库编码、货位编码、库区、容量 | 整表初始化 | 编码唯一性与层级关系 |
| 物料与库存批次 | 物料编码、批次号、入库日期、供应商、数量 | 增量 | 批次号与质量域检验批次的对应关系 |
| 库位信息 | 库位编码、物料、占用状态 | 整表初始化 + 增量 | 与货位的层级一致 |
| 实时库存存量 | 物料、仓库、可用量、占用量、快照时刻 | 按时点快照 | 快照时刻必填;与业务时点的偏差登记 |
| 出入库记录 | 单据号、类型、物料、批次、数量、时间 | 流水增量 | 收发存平衡校验 |
这三类数据是供需计划域中唯一直接构成预测类任务标签的部分,它们的受理口径因此格外要紧。表中「层级口径统一到物料清单层级」一条是关键:历史销量在不同报表中可能按产品型号、按产品系列、按客户行业分别汇总,三种口径的数字互不可加。若受理时不统一层级,后续建模会把不同粒度的数字混在一起,得到的预测模型在任何粒度上都不准。统一到物料清单层级是因为这一层级可以向上聚合成任何更粗的口径,反之不行。
「预测值与实际值分列保存,不做覆盖」这一条针对的是一个常见的数据陷阱。业务系统中销售预测常在期末被实际值替换,于是历史数据里只剩实际值,预测的准确程度无从回溯。而对本项目而言,历史预测与历史实际的差,正是预测类场景需要学习的对象——它包含了预测偏差的系统性规律(哪类产品常被高估、哪个季度常被低估)。因此两列并存,并保留预测版本与编制部门,使偏差可按版本与部门分解。
与 CRM 订单的勾稽校验在此处的作用是交叉验证:同一笔订单在 CRM 与销售统计中的数量应一致,不一致说明其中一侧有口径问题(常见成因是退货与变更的处理方式不同)。差异逐条登记并由业务部门确认以哪一侧为准,确认结果写入数据源登记表。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 历史销量 | 年月、物料或产品层级、数量、金额 | 按年月整表 | 层级口径统一到物料清单层级 |
| 历史订单量 | 年月、客户、物料、数量 | 按年月整表 | 与 CRM 订单勾稽 |
| 销售预测 | 预测版本、预测期间、物料、预测量、编制部门 | 按版本 | 预测值与实际值分列保存,不做覆盖 |
库存账、实物库存与项目占用分属不同系统,三者时点不一致时下游的供需样本就会自相矛盾。本方案的做法是:每个批次统一记录一个业务时点,三类数据按该时点取快照;取不到同一时点的数据在批次说明中注明实际时点与偏差,偏差超出批次计划约定范围时提示下游环节。
本域对应产品工艺设计数据集的原始数据底座。 本域的核心受理对象是历史工艺样本,招标文件给出的规模是 63 万张。这个量级本身不构成困难,困难在于它们的形态跨度极大:近几年的图纸在 PLM 中有结构化的属性与版本记录,更早的只有扫描件,再往前还有一部分是纸质件的翻拍,图面有折痕、有手写批注、有盖章遮挡。同一套工艺规程,可能同时存在系统内的受控版本、车间现场的打印件扫描,以及工艺员个人整理的汇总表三个来源,三者的内容不完全一致。
对此,受理阶段做两件事。第一是按资料品质分档登记:电子原生件、清晰扫描件、低质扫描件与翻拍件三档分别统计数量,并各自记录可提取的要素范围。分档不是为了把低质资料排除——低质件往往是年代较早、工艺信息最独特的那部分——而是为了让后续各环节对它们有不同的处理预期与不同的质量判据。
第二是同一对象多来源时的取舍规则:以 PLM 受控版本为准,车间打印件与个人汇总表作为补充,三者不一致时在差异台账中登记并由工艺工程师判定,判定结果回写 PLM 的做法由招标方决定,本项目侧只保留判定记录。
按企业实际有效的工艺路线、工序目录和生产记录建立备料相关工序清单,登记工序标识、名称、适用零件或产品、设备及工装条件、技术文件版本和有效时间。设计规定值、设备或作业设定值、过程实际测量值及检验结果分别采集和标识,保留单位、精度、适用范围、来源位置和记录时间,不将不同性质的数值合并为同一参数。
工艺规程、生产执行记录及获准取得的其他有效资料按实际清点结果登记来源和覆盖范围。手工记录采集时核对原件、形成日期、业务对象、填写及确认信息,数字化结果与原件关联;无法辨认、缺少签认或对象不明的内容单列核实,不以经验补写工艺参数。
比较设计与实际参数时,先核对产品配置、工序版本、设备、工况、测量位置和时间等适用条件,并依据有效工艺及检验要求解释差异。差异不能直接作为错误、原因或新的工艺规律。资料缺失时登记受影响对象、补采来源、责任人和计划,补齐并验证后更新成果;无法补齐的内容保持明确限制,不计入依赖该内容的合格成果,也不以数据卡披露代替应完成的交付要求。
采集PLM中的BOM、工序数据、变更记录和零部件信息,核对各对象的实际标识、版本机制、批准与发布状态、适用产品配置以及生效和失效条件。保留对象原始内容、关联文件及来源位置,建立产品、零部件、BOM、工艺路线和工序之间的有效关系。
对可取得的历史版本分别保存形成时间、业务有效时间、适用范围和变更依据,区分草稿、已审定、已发布、已失效等实际状态,不将版本号大小或导出时间作为唯一有效性依据。不同配置、型号、项目或工况下的并存版本分别管理,不能误合并为单一全局最新版本。
变更记录采集实际涉及的对象、前后内容、批准及实施条件、原因和关联证据。变更原因缺失时登记待核实,不仅凭参数增减或工序数量变化推断原因;变更效果需结合对应生产和质量证据核查,不能将未经验证的推断写成工艺知识或监督标签。
对BOM、工序、变更和零部件对象分别调查接口、可取得历史范围、版本及删除或失效机制、字段映射和权限条件,验证初始提取、增量识别、断点续取、重试和补采方式。按实际产品配置及有效版本取得相互一致的数据,记录提取条件、任务、对象清单、数量和校验结果,避免跨版本拼接父子项或工序。
BOM按完整适用结构或经确认的分段范围采集,核对根对象、父子引用、数量单位和结构完整性;工序和零部件按可靠变化依据跟踪,变更记录保留实际可得的完整内容及其关联。源端不具备可靠增量或历史查询能力时,按获准并经验证的其他方式补充采集,不把接口不支持的历史数据列为已取得。
历史技术状态查询依据已保存的对象版本、有效时间、配置条件和变更记录进行。证据覆盖完整的范围内给出可复核状态;版本缺失、时间冲突或引用不完整时标记缺口和影响对象,安排补证并限制相应使用,不推断或虚构任意历史时点的工艺状态。
对用于物料展开的BOM结构,先确定根对象、产品配置、有效版本、生效条件和实际父子装配关系,再检查直接自引用、间接环路、缺失子项、重复关系、数量单位及引用版本一致性。以对象标识、版本和适用配置区分节点,不把历史版本、替代关系或其他非装配关系混入同一层级;结构展开设置访问记录和循环检测,异常时停止受影响展开,保存问题路径及关联对象。
发现结构问题后,隔离依赖该结构的展开结果和样本,核对源端资料、引用关系及提取完整性,由PLM管理及相关设计人员按职责核实。保留原始数据和差异记录,修订或补采后重新执行结构与结果检查;不能删除异常边后自行拼成未经确认的BOM,也不能仅因发现问题而丢失原始追溯记录。
工序标识和名称保留源值,按经确认的有效工序目录、本体定义及适用产品建立映射。检查同名异义、异名同义、复合工序、重复执行和返工情况,不能仅按名称合并工序或强制匹配固定数量的目录。未覆盖或含义不明的工序提交业务专家审查,确认后更新目录及映射版本,并复核受影响的设计、制造关联和样本。
| 数据对象 | 字段组 | 受理方式 | 校验重点 |
|---|---|---|---|
| 物料清单(BOM) | 物料清单编号、层级、父子项、用量、版本 | 按产品或项目整表 + 版本增量 | 层级闭环(无自引用);版本有效性 |
| 工序数据 | 工序号、工序名称、所属零件、设备资源、工时定额 | 增量 | 工序名称取备料工序字典值域 |
| 变更记录 | 变更单号、对象、变更前后、生效日期、原因 | 增量 | 生效日期与版本对应 |
| 零部件信息 | 零件号、名称、材料牌号、规格、重量 | 整表初始化 + 增量 | 零件号与物料编码的映射 |
设计文件采集前登记实际资料来源、访问权限、目录结构、文件类型和可用元数据,核实PLM附件及其他获准档案中可取得的对象范围。保留源系统文件标识、附件关系、原始文件名、存放位置和已有属性,同时为接收对象建立稳定标识和内容校验记录,不能因属于文件而丢弃其已有结构化信息。
以设计主体、对象或图号、适用产品配置、版本、批准状态和有效时间等实际信息识别设计对象,分别管理业务对象与物理文件。一份图纸的不同格式、副本或扫描件通过经确认的关系归集;图号相同但版本、适用配置或主体不同的资料分别保留,不仅凭图号或文件名自动合并。
重复检查结合内容校验、页面及图幅、元数据和业务语义进行。确认内容等同的副本保留来源及复制关系,统计时区分物理文件数、去重后的有效对象数和版本数,避免重复计入合格规模。内容不一致、版本不明或对象身份冲突的资料登记具体差异和证据位置,审查确认后更新关系及加工结果,未确认前不合并为同一有效设计。
按文件实际格式和内部内容识别解析方式,检查文件能否打开、页数或图幅是否完整、所需字体及引用资源是否可用。PDF分别核查文字层、矢量对象、嵌入图像和页面结构,不能仅按扩展名认定为扫描件;DWG、DXF核查实际图层、图元、块、尺寸标注、单位、坐标及外部参照,Word等文档保留正文、表格、图像、页眉页脚及附件关联。
解析结果与原始文件逐项对应,记录文字、尺寸、符号、表格、图形和关键技术条件的位置及提取状态。内容提取不完整、资源缺失或格式不受支持时,按实际问题补齐依赖、采用获准转换或人工复核方式,保留转换配置、前后文件和差异;不能把转换成功或文件可打开直接视为内容完整准确。
接收清单按实际文件类型核验对象标识、版本、页数或图幅、附件范围及业务关联。选型方案核对对应项目和适用配置,存在合同关联时再核对合同;图纸与卡片根据有效引用和技术状态建立关系,不预设一一对应。清点数量、内容检查和业务关联分别记录,任何一项缺失均不得被单纯文件计数替代。
采集适用于企业设计和工艺业务的机械制图标准、工艺编制准则及相关有效技术规定,登记编号、名称、版本、发布和批准信息、生效时间、适用产品及使用许可。核对图纸实际采用的标准和技术状态,将符号、尺寸、图面表达、工序命名和参数等解析规则关联到具体有效依据;企业图层及模板约定按实际取得的文件或经确认规则登记,不假定通用标准已包含所有企业要求。
依赖专业定义的解析、规范化和知识抽取在规则核实后执行。依据暂缺时可在获准范围内保留文件原件并完成格式、完整性和基础结构检查,但涉及含义不明的图层、符号、参数和工序不得自动赋予确定性业务结论。补齐依据或完成专业确认后,更新规则版本,验证受影响的解析与抽取结果。
标准和准则作为知识来源或训练资料使用时,另行核验允许的取得、复制、加工和使用范围,保留来源、版本及引用位置。历史文件解释依据与当前生产规则分别管理,未经确认不把当前版本定义覆盖到旧图纸,也不将许可不允许的标准全文投入模型训练或对外交付。
| 文件类型 | 格式 | 受理方式 | 校验重点 |
|---|---|---|---|
| 选型方案 | PDF/Word | 按项目号归集 | 可解析性;项目号可回指合同 |
| 工艺图纸 | 按图号批量 | 图号可识别;页数与清册一致 | |
| CAD 图纸 | DWG/DXF | 按图号或项目号分批读取 | 原生可解析;图层与图元完整 |
| 工艺卡片 | 按卡片号批量 | 卡片号与图号的配对关系 | |
| 机械制图标准 | 文档 | 按标准号归集 | 标准号、版本状态 |
| 工艺编制准则 | 文档 | 按文件编号归集 | 发布部门、生效日期 |
原生图纸在批准的内网环境内读取和解析,按数据授权范围配置专用访问账号、目录或接口权限、处理资源及审计记录,原始文件不上传公共网络或未获准的外部服务。批量导出能力不足时,采用源系统实际支持且经批准的分批接口、受控导出或其他获取方式,不绕过访问限制或修改源系统安全配置。
分批任务按设计对象、适用版本和实际来源定位生成清单,记录计划文件、已取得文件、失败项、数量及校验值。根据源系统负荷和允许作业窗口控制批量、并发及重试,重试核对对象版本和已接收结果,避免重复入库;采集中发生版本变化时记录并重新核对受影响对象,不将多个时点的不一致内容拼成同一版本。
解析在受控工作区保存原件、必要依赖、工具及配置版本和输出,核查图纸及外部参照完整性。失败、缺失和不支持的文件保留问题清单,补齐资源或采用获准转换后复检;交付加工结果前核验内容准确性、追溯关系及权限,任务完成后按批准的保留规则管理临时副本和账号权限。
清点实际取得的图纸和工艺卡片,分别核实对象标识、版本、适用零件或产品、工艺路线、批准与发布状态、生效时间及来源。按有效文件中的明确引用、PLM关联及实际变更记录建立图纸与卡片关系,核对适用配置和技术状态,登记一对一、一对多、多对一或不同版本之间的实际关联。
图号相同、名称近似、材料相同或文件目录相邻仅能形成待核实线索,不能直接证明有效关联。缺少卡片、缺少图纸、版本不匹配、审批状态不明或多份文件冲突时,记录缺口和候选依据,取得有效补充资料并完成专业确认后再使用。缺失资料不通过模型生成后冒充历史原件,也不以关联置信分数替代业务证据。
构建图纸与工艺卡监督样本前,核验文件内容、实际关联、版本适用性、使用许可和质量结果,保留来源位置、确认记录及加工过程。未经确认的关联不得作为正确标签交付;合格样本数量按实际通过检查的有效对象统计,不按假定图纸总量或文件副本数推算。
| 配对登记字段 | 说明 | 取值来源 |
|---|---|---|
| 图号 | 主键之一 | 图纸标题栏或文件名解析 |
| 工艺卡片号 | 主键之一 | 卡片抬头或文件名解析 |
| 物料清单行号 | 关联零件在物料清单中的位置 | PLM 物料清单 |
| 零件名称与材料牌号 | 核对配对正确性的辅助字段 | 图纸标题栏、PLM 零部件信息 |
| 配对判定依据 | 自动匹配、人工确认、待核对 | 受理作业结果 |
| 配对置信标记 | 高(图号与卡片号完全对应)、中(经零件名称与材料牌号交叉核对)、低(仅目录位置相邻) | 受理作业结果 |
图纸与卡片的候选关联由有效引用、系统关系和经确认的业务属性产生,记录候选依据及规则版本。来源仅为文件目录、相近名称或口头线索的,登记为待核实线索,补充有效文件或形成可追溯的业务确认记录后再判断,不以人员记忆直接形成确定性关系。
候选对象进入受控核查工作区,由具备相应专业能力的人员检查技术状态、适用配置、原文引用和冲突项。通过核查的关系发布有效版本,未通过或证据不足的保持待核实、退回或否定状态,并保留原因和处理记录。
正式样本和知识检索仅使用满足相应用途条件的有效关系。待核实候选可供获准的审核人员检索核对,但须与正式知识索引分开管理并明确状态,不向生产或模型应用输出为已确认工艺事实,也不作为训练标签或合成知识依据。关系纠正或撤回后,更新受影响的索引、样本及使用状态并复核处理结果。
制造过程域采集MES生产工单、生产进度及焊丝牌号、直径等业务记录;采集SCADA设备电流、电压、温度、湿度和运行状态,以及焊接实时与预设电流、电压、焊接速度、焊枪摆动振幅与频率、停留时间、变位机状态、送丝速度、保护气体流量、起弧与收弧等过程数据,并取得层间温度、熔池图像及焊后焊道表面图像。对设定值、实时测量值、设备状态和事件分别标识,保存原始单位、精度、采集配置和来源。
从热处理群控系统及加装传感器采集工件淬火前后表面温度、加热功率和频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度,以及设备运行和启停状态、运行时长、报警代码;从EMS采集能耗时序;从EAM、SOS采集设备基础信息与台账、点检、维修工单、报警规则与数据、报警确认信息、诊断结论、处置建议及设备档案、维修记录、诊断报告和故障案例。记录各对象实际来源、业务时间、版本、适用设备及使用权限。
对事务、时序、图像、视频及文档分别核实实际生成机制、采集频率、时间戳、时钟来源和业务对象关联。连续采集、事件触发、抽检和人工记录按真实机制登记,核查设备、工件、工序、焊道或炉次的有效关系,再按具体任务开展时间和对象对齐。不存在或未确认的测点、关联和字段列入调查与补采计划,不将拟采集内容写成已经存在的现场数据。
按实际测点和设备登记采集机制、预期频率或触发条件、允许作业状态及应采集时间范围,检查时间戳、记录序列、重复、乱序和缺失。区分有效零值、未触发采样、设备停机、通信异常、传感器故障、数据未到达和来源不明等状态,结合设备日志、采集任务、运行状态和业务记录核实原因;不能只按缺失持续时间判定故障类型。
连续缺失和间断缺失分别记录起止时间、对象、影响样本和已核实原因。优先核查源端缓存、合法可用的历史记录或其他同等有效来源能否补采,记录补采依据、范围、结果及复核。需要设备或接口修复时,按实际责任安排处理并验证恢复结果,历史缺失不因采集恢复而视为已补齐。
数据完整性按已确认的应采集对象、运行条件和时间范围计算。经证据确认本不应采样的时段按有效规则处理,实际应采而缺失的部分如实计入问题;调整统计范围须保留依据及版本,不能为提高指标排除故障或缺失时段。数据卡披露缺失范围和限制,不代替必需的质量条件及规模要求。
仅在数据类型、工艺状态、变化特征和任务用途允许且经过验证时生成插补派生数据,记录方法、参数、使用的前后文、缺失掩码及插补比例。停机、报警、起收弧、快速变化或跨工况边界等不得未经验证平滑跨越;原始测量与插补值分别保存,不能将插补标成实测。不能可靠修复的片段隔离或限制用途,补齐合格数据后完成相关交付。
登记各时序通道的实际采样或触发机制、名义周期、实际时间间隔、时间戳来源、精度、单位和设备配置版本。原始数据按实际取得顺序和时间信息保存,分别记录重复、乱序、迟到、缺失及质量标志,不把接收时间直接当作测量时间。
根据具体任务确定时间窗口、比较对象和对齐要求,核对设备时钟、同步记录及可验证的偏差。只有具备依据时才修正时间,保存原始与修正时间及方法;对齐依据不足时标记状态和影响范围,不通过随意移动曲线追求表面一致。
需要降采样、窗口聚合或重采样时,按信号性质和业务目的验证方法及参数,明确窗口边界、统计量、滤波、缺失处理和事件保留要求。连续测量、离散状态、累计量和事件记录分别处理,避免用平均值代替状态或跨起弧、停机等工况边界混合;提高采样密度生成的派生值不得标成新增实测点。
派生视图保存来源范围、输入版本、处理配置、时间映射和质量结果,与原始序列保持对应。通过代表性工况和异常片段检查信息损失及任务影响,满足相应用途要求后使用;不同任务可以采用不同合法、有效的时间表示,不为统一粒度而强制丢弃必要信息。
图像和视频按实际采集来源、设备、时间、工件或焊道、工序、图像类型及使用许可登记,保存原始文件、分辨率、实际帧率或触发方式、必要采集参数及可得的质量标志。检查内容完整性、清晰度、遮挡、过曝、重复、时间和对象关联,区分熔池图像、焊后表面图像、热成像及其他实际类型,不将普通视觉图像的像素直接解释为测温结果。
已有检验或诊断结论的资料,核对结论实际对应对象、位置、时间、方法、覆盖范围、版本和审查状态,保留报告证据及标签来源。报告中存在合格结论不代表所有图像区域均可标为无缺陷,批次或抽样结果也不能直接作为每张图片的逐点真值;不适用或关系不明的结论不得用于确定性标注。
尚无适用标签的资料在完成许可和基础质量检查后,按实际用途进入受控待标注或其他合格加工流程。由具备相应专业能力的人员依据有效规范、原始证据及标注规则开展标注和复核,记录分歧、裁决及质量结果;无法从图像或有效资料中判断的缺陷类型、等级或原因保留未知,不根据视觉相似性编造检验事实。
监督样本在对象关联、标签依据、专家或质量复核及用途条件全部满足后方可放行。标注计划根据清点结果落实人员、任务量、规则和补采安排,资料不足时补充合格来源或重新采集;不能以历史标签不足为由降低已约定的成果规模或质量要求。
调查生产执行系统实际工单、派工、报工、工序执行、完工、返工及取消等对象和状态,明确各业务路径适用的必要记录与关系。保留源系统、组织、工单及明细标识、工序或路线、工件或批次、设备、执行次数、状态和时间,按有效规则建立关联,不仅凭工单号字符串聚合不同业务。
核查应发生事件是否具备实际记录,区分尚未执行、不适用、已取消、正常跳转、数据迟到和实际缺失。返工、并行工序、拆分合并、委外及跨班次等实际流程按各自关系和时间保留,不能为满足线性顺序补造事件,原始记录与后续修订分别保存。
按工单、工序、对象和时段登记缺失或冲突及其影响,结合完整性、关联准确性、时间一致性、权限和任务所需证据确定可用范围。需要完整执行链的分析或样本不使用缺少必要环节的数据;不依赖缺失环节的其他用途须经对应质量检查,不能仅凭总体缺环比例判断所有数据可用或不可用。补采和核实后重新检查关联成果,保留整改与放行记录。
按MES、SCADA、热处理群控及加装传感器、EMS、EAM和SOS等实际来源建立制造过程数据清单,分别登记结构化记录、连续测量、状态与事件、图像视频和文档的对象、字段、生成机制、时间信息、版本及使用权限。一个来源包含多种形态时分别配置采集和检查,不以系统名称推定只有一种数据。
结构化对象根据核实后的接口、主键、版本和变更机制取得初始及后续记录;时序按测点、设备、业务状态和时间范围接收,保留实际采样与质量标志;图像及视频按连续、事件触发或实际拍摄机制采集,记录帧或文件与设备、作业和对象的关系;文档保存原件、版本、附件及来源位置。
各采集方式分别验证完整性、时间、重复、对象关联、权限及失败恢复。任务创建、执行、重试和补采均登记输入范围、实际结果与异常,未满足准入条件的数据保持隔离。跨模态关联在各自检查通过且有可靠业务和时间依据后建立,不因同批接收就推定属于同一工件或事件。
焊接过程分别采集实际与预设电流、电压,以及速度、摆动振幅和频率、停留时间、送丝速度、保护气体流量、变位机状态、起弧和收弧等数据,登记测点定义、单位、采样或事件机制、设备及程序配置版本。预设值、测量值和状态事件保留各自属性,缺失参数列明来源与补采安排,不以相近通道代替未采集的参数。
依据有效生产记录关联焊接工位、设备、工件、接头、焊缝、焊道或实际层次、作业次数和返修状态。起弧与收弧作为过程分段依据之一,与任务、程序及对象记录共同核验;中断、分段施焊、重复起弧及返修均单独记录,不能默认每段电流数据对应一条完整且唯一的焊缝。
在原始序列保留基础上,按具体任务形成作业或事件窗口,登记实际起止、前后背景区间、缺失情况和与原始文件的定位关系。源端按固定文件分段提供数据时保留顺序与边界,核验后可组合为有依据的业务窗口;不能通过拼接补造连续性,也不能将尚未验证完整性的窗口直接作为合格样本。
进场调查逐项核实制造过程数据源、测点覆盖、接口或导出方式、历史保留范围、访问授权、资源限制及相关厂商配合条件,形成可追踪的数据源清单和缺口记录。每个缺口注明对象、时间范围、必要字段、受影响用途、确认依据、责任人及处理计划,不将待核实来源列为已取得数据。
对接口未开放、历史记录缺失、测点不完整或格式受限等情况,核查合法可用的缓存、档案和同等有效来源,落实授权取数、厂商接口配合、获准分批导出、补充采集或必要设备联调等措施。实施前核实权限、工作量、源系统负荷及质量要求,完成后检查实际覆盖、完整性和可用性。
持续核算各业务域、用途子集和场景验证所需的有效数据,跟踪补齐进度及质量结果。未取得或未通过检查的数据不计入合格规模,缺口和限制如实登记并按项目程序协调解决;数据卡披露和风险记录不代替应完成的规模、质量、功能及场景验证要求,不擅自缩减交付范围。
| 来源 | 受理内容 | 形态 | 受理方式 |
|---|---|---|---|
| 制造执行系统(MES) | 生产工单、生产进度、焊丝牌号与直径 | 结构化 | 增量 |
| 数据采集与监控系统(SCADA)设备侧 | 设备电流、电压、温度、湿度、运行状态 | 时序 | 按测点与时间窗 |
| SCADA 焊接侧 | 实时电流、实时电压、预设电流、预设电压、焊接速度、焊枪摆动振幅、摆动频率、焊枪停留时间、变位机状态、送丝速度、保护气体流量、起弧与收弧 | 时序 + 事件 | 按焊接作业时间窗 |
| 焊接过程补充采集 | 层间温度、熔池图像、焊后焊道表面图像 | 时序 + 图像 | 按焊道 |
| 热处理群控系统与加装传感器 | 工件淬火前后表面温度、加热功率、频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度 | 时序 | 按炉次或工件 |
| 热处理设备状态 | 设备运行状态、启停状态、运行时长、设备报警代码 | 时序 + 事件 | 按设备与时间窗 |
| 能源管理系统(EMS) | 能耗时序数据 | 时序 | 按测点与时间窗 |
| 设备资产管理系统(EAM) | 设备基础信息、设备台账、点检、维修工单 | 结构化 | 整表初始化 + 增量 |
| 售后服务系统(SOS) | 报警规则、报警数据、报警确认信息、诊断结论与处置建议 | 结构化 + 事件 | 增量 |
| 设备类文档 | 设备档案、维修记录、诊断报告、故障案例 | 非结构化 | 按设备号归集 |
核实时序信号的测量对象、传感器及设备配置、采样或触发机制、时间精度、原始单位、量程和质量标志。记录实际取得的数据分辨率及缺失范围,不能将源系统已经聚合或降采样的结果视为更高频原始测量,也不能通过插值生成不存在的真实采样信息。
跨设备或产线比较前,确认信号含义、单位、测量位置、设备状态、产品和工艺条件及时间基准。不同采样配置的记录保留原始时间信息,按实际用途选择可验证的事件对齐、窗口统计、适当重采样或其他处理方式;不要求所有数据强制变成同一步长,也不因采样不同就直接否定全部比较用途。
处理方案通过实际可得的代表性信号、工况和异常片段验证,检查峰值、持续时间、状态转换、事件顺序及任务相关特征是否被改变。与缺陷、故障或工艺质量有关的判断须有相应业务和检验依据,不能仅凭采样频率或曲线波动推定因果关系。验证结果、配置、限制和质量检查记录与派生数据一并保存。
保存获准取得的原始时序、源端元数据、采集配置及完整性检查记录,按设备、测点、时间范围和对象版本组织受控存储。原始序列与后续清洗、时间修正、重采样或窗口统计结果分别管理,保留原始值、异常和缺失标志,不用派生结果覆盖原记录。
依据实际任务生成所需的派生数据,登记输入范围、处理任务、规则及算子版本、参数、时间映射、输出和质量结果。多个任务复用同一有效派生结果时通过版本及权限控制,任务条件或规则变化后重新验证;不以统一步长作为所有训练及验证用途的默认输入。
调查源系统保留策略和可恢复范围,在批准的计划内落实必要历史数据采集、备份、容量核算、访问控制及恢复检查。已采集数据若频率、精度、时段或测点覆盖不能满足用途要求,仍须评估补采或新增有效数据来源;不能以现有原始副本替代缺失信息,后续用途对频率、精度、时段或测点覆盖提出更高要求时,按补采流程重新取数。
依据具体任务、设备和工艺记录定义业务窗口,分别确定起止事件、适用对象、前后背景区间、最短必要覆盖及中断处理规则。焊接窗口核对实际作业、起收弧、焊道和返修关系;热处理窗口按对应设备与工件的加热、淬火、冷却、返热等实际阶段及有效记录确定,不将所有过程固定视为同一种炉次。
原始数据按源端实际文件或记录分段接收,保存顺序、时间和来源关系。形成业务窗口时核查段间连续性、重复、缺失和事件完整性,需要组合的记录按可靠对象及时间证据关联;缺少必要阶段或存在无法确认的中断时标记影响范围,不把不完整过程自动登记为完整样本。
设备状态和报警窗口按实际事件及用途确定,记录触发、持续、恢复和确认等可得状态。故障分析可按明确目的使用事件前后资料;用于预测或在线识别的历史样本只能使用其判定时点可获得的信息,不能把后续处置或恢复结果放入过去输入。
能耗数据保留原始计量范围和粒度,按实际分析对象生成设备、工序、作业、班次、日或其他经确认的统计窗口,核对累计量变化、状态和时间覆盖。各窗口均经内容、对象、时间和用途检查后再进入样本加工,不能以窗口已划定代替质量判定。
| 数据组 | 测点数量级 | 原始采样 | 受理时间窗 | 受理后保留 |
|---|---|---|---|---|
| 焊接参数流 | 按工位与焊枪计,测点清单按 1.4.5 的现场调查结论逐工位确定 | 设备侧秒级或亚秒级 | 按焊接作业起止 + 前后各一段余量 | 原始密度一份 + 统一步长一份 |
| 热处理炉次参数 | 按炉台计 | 秒级 | 按开炉至完工 | 原始密度一份 + 统一步长一份 |
| 设备状态与报警 | 按设备计 | 事件触发 | 按事件时刻 + 前后窗 | 事件原样保留 |
| 能耗 | 按计量点计 | 分钟级 | 按自然日 | 统一步长 |
| 在役装备测点 | 按设备与测点计 | 按远程运维平台既有配置 | 按事件与定期取样 | 统一步长 + 事件窗原始密度 |
焊接参数按工艺要求、设备实际设定和过程实际测量分别登记。工艺要求记录有效工艺规程或卡片中的目标、范围、适用材料与接头、工序及版本;设备设定记录实际程序、配置、下发和生效证据及操作变更;测量记录实际传感器或反馈通道、单位、采样机制、质量状态和时间。
实时电流、实时电压与预设电流、预设电压按各自真实来源采集,核对字段定义及适用设备。焊接速度、摆动振幅和频率等其他参数同样核实实际可得的设计、设定或测量属性,不能把工艺文件中的推荐值当作当时已经生效的设备设定,也不能将设备计算值冒充独立实测反馈。
各类数据分别保存原值、来源对象、版本和适用时间,通过经核实的设备、程序、任务及工件焊道关系建立关联。缺少实际设定或反馈证据的参数记录缺口并安排核实补采,不以另一类数值替代后标为已取得。
参数接收时保留工艺规定值、设备设定值和实际测量值的独立字段及属性,登记字段来源、单位、含义、更新时间和实际变化机制。设备设定可能随程序、工艺阶段、操作或控制方式变化,按实际生效记录保存,不预设在整个焊缝内恒定;实时波动记录其客观状态,不从曲线形态直接推断物理原因。
关联前核实同一设备、通道、参数定义、工艺阶段、任务及时间范围,检查时钟、延迟、版本和单位可比性。仅对具有可靠生效区间和时间依据的设定与测量建立相应关系,记录匹配方式、有效范围和无法匹配的点或片段。
需要逐点配对的作业按经验证的时间规则和信号特征执行,保留原始时间、校正依据、插值或保持规则及质量标志。不能可靠配对的片段保持未确认状态,不通过任意前向填充、移动时间轴或以工艺默认值替代设定来生成完整偏差序列;后续补证后形成新版本并复核关联结果。
对已确认可比的实时值与实际生效设定,按相同单位、工艺阶段及时间范围计算差值、适用的相对差异、超出有效阈值的持续时间等派生信息。保留原始测量、设定来源、匹配关系、计算规则和结果;设定为零、接近零或定义不适合比例比较时,不直接计算或传播无意义的相对偏差。
工艺参数评价同时核对实际绝对值、设定及工艺允许范围、材料和接头、设备状态、作业阶段、相关过程记录和检验依据。缺陷归因及优化建议须有相应证据和业务专家审查,不能因偏差较大就直接标定缺陷原因,也不能把偏差较小视为质量合格证明。
缺少可信设定值的序列不用于依赖实时与设定差异的确定性标签或评价;其用于其他训练、检索、状态分析或验证任务时,分别核查授权、来源、对象关联、标签证据、质量及独立性条件。数据用途按实际满足的条件确定,不以是否有设定值一项条件替代全部质量判断。
| 参数对 | 实时值来源与采样 | 给定值来源与变更粒度 | 配对产出 |
|---|---|---|---|
| 电流(实时电流/预设电流) | SCADA 焊接侧,秒级或亚秒级 | 焊机程序参数表的预设电流,按程序号变更 | 逐点绝对偏差、相对偏差、偏离持续时长 |
| 电压(实时电压/预设电压) | SCADA 焊接侧,秒级或亚秒级 | 焊机程序参数表的预设电压,按程序号变更 | 逐点绝对偏差、相对偏差、偏离持续时长 |
| 焊接速度(实测/给定) | 焊接小车或机械手反馈,秒级 | 工艺卡与焊机程序参数表的给定速度,按焊道变更 | 逐点偏差、焊道均值偏差 |
| 焊枪摆动振幅(实测/给定) | 摆动机构反馈,秒级 | 程序参数表的摆幅设定,按程序号变更 | 逐点偏差、单周期峰值偏差 |
| 摆动频率(实测/给定) | 摆动机构反馈,按周期计 | 程序参数表的摆频设定,按程序号变更 | 周期均值偏差、周期抖动量 |
送丝速度、保护气体流量等参数分别核实实际测量、设备设定和工艺要求的来源及定义。具备可信的实际生效设定和可比测量时,按设备、单位、工艺阶段和时间建立关联并生成经验证的差异信息;只有工艺文件目标、只有设定或只有测量时分别保留其真实属性,不复制为另一类数据。
焊枪停留时间核对其表示设定时长、实际持续时间还是事件推导结果,保存单位、起止定义、来源及生效条件。变位机数据按实际提供的离散状态、位置、角度或其他对象分别登记,不能仅按字段名称统一归为事件;只采集获准且实际存在的信息,未提供的对象记录核实或补采需求。
起弧、收弧及其他有效事件用于核对工艺阶段和窗口,保留事件时间、设备、作业、状态及实际处理记录。时长比较、状态一致性或其他评价按真实定义和证据分别设置规则,不在缺少适用依据时强行计算数值偏差,也不一概免除必要的质量检查。
设备实际设定依据真实程序或配置版本及其下发、生效、执行或操作记录核验,记录设备、作业、适用阶段和有效时间。程序参数表仅作为配置资料时,应另行确认其是否在对应时段实际使用;不能因表中存在某参数就推定其已经下发或生效。
MES关联的工艺卡、PLM工艺规程和其他有效文件中的目标或范围作为工艺要求独立保存,记录版本、适用产品和生效条件。设备实际设定缺失时,登记缺口并核查合法可取得的控制日志、历史配置、作业记录或其他有效证据,不以工艺默认值填充为真实设定。
不同来源不一致时,保存各自原值、定义、版本、时间和适用范围,核实是文件变更、配置未生效、操作调整、时序错配还是其他实际原因。争议未解决前,不使用该关系生成确定性的执行偏差或违规标签;完成专业确认后发布相应关联版本,复核受影响的样本和统计。用于工艺要求比较的结果须明确比较对象,不与设备设定跟踪结果混为一类。
设定值时间关联依据源设备实际提供的配置、阶段、下发、生效、执行和操作变更记录建立,分别保存事件发生时间、记录时间及适用对象。核对设备与采集平台的时间基准、时钟偏差和延迟证据后,确定可验证的生效区间;存在时间不确定性时记录其范围和影响,不将软件接收时刻直接作为物理生效时刻。
只有在设定于所述区间内保持有效且变更记录完整的条件下,才按已验证规则生成对应保持序列。程序切换、手动调整、阶段变更、停机、重启、通信中断或记录缺失时重新核验有效性;无法确认的区间保留未知状态,不向后无限填充,不将上一次已知设定覆盖到整个缺失期。实际设定为连续变化或采用其他机制时,按真实形式处理,不强制转换为阶梯常数。
根据实际工艺与设备记录识别起弧、过程阶段、稳态及收弧等适用区间,保留阶段识别依据和版本。各阶段按其有效设定、控制定义及技术要求分别检查,不能一概豁免瞬态;若某项统计仅适用于稳态,明确其覆盖范围和未覆盖区间,不将该统计代替整个作业的质量结论。
保存原始序列、时间映射、设定生效关系、阶段标记及计算结果。配对后抽查事件边界、变更前后和异常区间,核对实际来源证据,未通过的关系隔离并修复复检后使用。
| 配对失败情形 | 判定依据 | 处置 |
|---|---|---|
| 实时段不带程序号 | 程序号字段为空或设备未上传 | 标记为无给定值,入预训练语料,不进偏差样本 |
| 程序号有、程序参数表无该版本 | 程序号在参数表中查不到 | 该段挂起待补,另行登记 |
| 受理时窗内多次程序切换 | 切换事件在同一受理窗内出现两次以上 | 按切换点拆分为多段,分别配对 |
| 工艺卡与程序参数表给定值不一致 | 同参数两来源数值超登记容差 | 两值并存,标注来源等级与差异量 |
| 疑似面板临时改参未回写 | 稳态段实时值中心与给定值长时间系统性偏离 | 以最后一次有效下发值为给定值,加「疑似人工干预」标记 |
偏差结果与原始参数流及实际设定记录关联保存,登记参数名称、定义、单位、设备与作业对象、原始和匹配时间、测量值、设定值、设定证据及版本、有效区间、工艺阶段、匹配状态、计算规则及输出质量。未确认设定或不适用比较的记录保留原因,不填入虚假的偏差值。
计算时明确有符号差值为实时值减去可比设定值,绝对差为该差值的绝对值;相对差异须明确所采用的公式、分母含义和适用条件。设定为零、接近零、参数含义不适合比值或输入无效时,不输出无意义比例;缺失及未确认状态与零偏差分别表示。汇总统计记录时间范围、有效样本覆盖和权重,不能跨缺失区间默认连续。
超出允许条件的判断依据实际适用且经确认的工艺规程、设备条件、材料、厚度、接头或位置、焊丝、工艺阶段及有效技术要求,关联具体规则版本和审查记录。知识本体用于统一参数定义和适用关系,不能仅凭通用值域替代专业工艺限值。无有效判定依据时保留客观测量和差异,不编造超差结论;相关结论及标签经规定复核后方可用于正式成果。
按设备、产线、产品、工艺阶段、参数和时间范围统计关联检查结果,分别登记应完成关联的对象数、已取得两侧数据的对象数、证据与时间检查通过的对象数,以及缺设定、缺测量、版本不明、时间冲突和其他失败情况。统计规则明确对象或有效时长的计量基础,同一结果中分子分母保持一致;不适用项单独列明技术依据及审查记录,不随意排除失败对象。
对需实际取得的实时电流、电压与预设电流、电压等数据,按具体来源落实接口、字段、版本及生效证据核实,登记缺口、补采任务、责任人和计划。首批结果用于发现问题和调整实施安排,不能替代规定的采集、质量及交付要求;未满足条件的关联不作为有效成果统计。
后续批次持续复核新增数据和修复结果,检查规则变更对已生产样本的影响。补齐后重新计算统计并保留前后版本,确认各项必要数据、关联证据、质量结果和使用条件满足要求后放行,不以「逐步接近」或附加说明作为未完成事项的验收依据。
调查制造过程数据中实际保存的设备、工位、工件、工序、焊缝或焊道、炉次及其他生产批次标识,核对来源系统、编码范围、有效时间和实际业务关系。接收参数、图像、视频和检验资料时保留已有对象信息,不以设备号与时间戳取代源端已经提供的有效标识。
依据真实生产任务、执行记录、装载或领用记录、采集配置及有效检验凭据建立对象关联,登记输入对象与版本、关系类型、证据位置、适用时间及确认状态。对于缺失、冲突或一对多关系,分别保存实际情况并组织核查,不强行合并为唯一工件或唯一焊道。
关联结果经对象、时间、数量范围和业务适用性检查后发布,未确认关系进入待核实清单并限制相应使用。源记录及其关联变化保留历史版本,修订后追查受影响样本、知识和统计结果,完成复检后恢复使用。
对拟用于特定工件或工序任务的数据,逐项核对设备过程记录、生产对象、材料批次、工艺要求、实际设定和检验结果之间的真实关系。每条关系保留适用对象、版本、时间、数量或检测覆盖范围及证据,不能仅因标识已填充或时间接近就认定关系有效。
监督样本须进一步核验标签来源、专业含义、检验方法和结论适用范围,完成规定的标注及质量复核。偏好数据还须具备实际可审查的候选回答、比较条件、偏好依据和审查记录,不能把过程参数与质量结果直接转换为偏好对;因果或归因标签须有相应证据,不由关联关系自动推出。
缺少某项对象关系的数据,按实际用途检查其来源、许可、内容、质量和必要证据。需要该关系的任务不使用未确认记录,其他用途另行审查,不能自动归入预训练。关联完成情况作为过程质量记录保存,与各用途的其他质量检查共同判定可用性,不将单一关联率换算为数据集的全部能力或合格程度。
| 锚定类型 | 锚定依据 | 判定规则 | 锚定失败的处置 |
|---|---|---|---|
| 焊接参数流 → 工件与焊道 | 设备号 + 时间区间 + MES 工单与报工 | 时间区间落在同一工单的同一工序报工区间内,且设备号与工单派工设备一致 | 标记为未锚定,单独存放 |
| 焊接图像 → 焊道 | 采集时点 + 相机位号 + 焊道标识 | 采集时点落在该焊道的焊接时间窗内 | 标记为未锚定 |
| 热处理参数 → 工件与炉次 | 炉台号 + 炉次工单 + 装炉清单 | 炉次工单的开完工时刻覆盖该段参数,装炉清单给出工件列表 | 保留炉次级锚定,工件级标记为未锚定 |
| 热处理参数 → 材料批次 | 装炉清单 + WMS 库存批次 | 工件所用物料批次可在库存批次中查到 | 材料批次字段留空并标记 |
| 在役装备时序 → 设备与测点 | 设备号 + 测点配置 | 测点配置在该时间窗内有效 | 测点配置变更期的数据单列 |
| 报警事件 → 维修事实 | 设备号 + 时间邻近 + 维修工单 | 维修工单的报修时刻在报警后约定时窗内,且部位一致 | 保留报警,故障标签留空 |
未完成必要对象关联的数据保留原始记录、已知元数据、待核实关系和限制状态,按权限及保留要求管理。对不依赖缺失关系的用途,另行核验来源、许可、内容质量及相应用途条件;未经检查不能直接加入预训练、检索或其他正式成果。
按业务领域、设备、工序、对象类型及用途统计关联完整性,分别列出应关联范围、已确认关系、待核实项和失败原因。采用明确且一致的对象数或有效时长计量基础,保留不适用项的依据,不能删除失败对象以提高成功率,也不能将批次级关联计成已经完成单件追溯。
逐项落实补证、补采和修复任务,记录责任人、计划、实际结果及复核结论。首批调查和试运行结果用于安排后续工作,不能替代规定的质量及交付条件;相关成果只有在所需对象关系和其他质量要求均满足后放行,未完成事项不能以「逐步接近」或数据卡披露作为完成依据。
层间温度与熔池图像采集分别采用满足相应用途的测温和图像采集设备,核对实际采购设备参数、安装位置、接口、采集范围及有效调试状态。建立设备、测点、相机和生产工位的标识关系,记录安装及位置变化、配置版本、时间同步和实际适用的校准或检查资料。
测温数据保存测量位置、单位、量程、必要测量条件及质量状态,核对温度对应的工件和工艺阶段;图像保存原始文件、分辨率、实际帧率或触发信息、曝光等可取得的有效配置和采集时间。普通熔池视觉图像不能因具有亮度或颜色变化直接生成温度真值,热成像测温结果需关联对应测温配置和有效原始数据。
联调时检查数据传输、时钟与业务事件对应、对象关联、连续性、丢帧或缺失、视场和清晰度、文件完整性及权限审计。异常数据保持问题记录,修复配置、补采或重新校验后复检;通过检查的资料形成可追溯批次和交接清单,不以接口连通代替采集质量验收。
按实际焊接工位、设备及控制器开展程序和参数来源调查,核实设备身份、型号及软件版本、程序或配置管理方式、历史保存范围、参数定义、变更机制和获准获取方式。清点可取得的配置文件、实际下发与生效记录、执行日志、操作变更及相关工单,分别记录已有资料、缺失内容、访问条件和证据位置。
调查程序标识是否唯一、是否重复使用、版本及适用设备如何确定,核对程序与实际任务、工艺阶段、工件或焊道之间的关系。工艺卡和规程中的目标与范围独立登记,不能作为设备实际生效设定缺失时的自动替代。
对每类来源验证字段含义、时间基准、格式、权限、导出完整性、版本一致性和异常恢复方式,形成经相关业务与技术人员确认的来源及关联规则。未确认事项列明责任人、补证措施和完成计划,涉及实际设定或对象关系的样本在条件满足并复检通过后生产;调查结论变化时更新规则版本并检查受影响成果。
| 调查项 | 内容 |
|---|---|
| 调查对象 | 焊接工位所用焊机的控制器程序存储,以及与之对应的程序参数记录。按工位逐台清点,先行覆盖参与首批场景验证的试点产线,再按批次扩展到其余工位 |
| 甲方责任部门 | 设备部门负责焊机控制器侧的程序号、程序存储方式与导出方式;工艺部门负责工艺卡与工艺规程中的给定值来源及其与程序号的对应关系;生产管理部门负责工位与工单的对应关系 |
| 我方对接岗位 | 数据受理岗牵头,预处理工程岗参与导出方式与格式的核定,安全管理岗参与导出通道的合规确认 |
分别登记设备、程序或配置版本、参数项和实际执行记录,使用稳定标识及明确关系保存实际业务结构。设备记录关联工位、控制器和软件版本;程序或配置记录关联适用设备、版本、工艺条件和有效状态;参数项记录实际定义、单位、值、范围和变更条件;执行记录关联任务、对象、阶段、实际生效配置及时间。
一台设备具有多个程序、同一程序存在多版本或不同适用配置时,分别保存各对象和有效关系,不以程序号字符串作为跨设备、跨时间的唯一身份。没有独立程序号的来源,依据实际控制机制登记能够可靠定位的配置与执行标识,不虚构程序号补齐字段。
调查统计分别给出应覆盖与已核实设备、配置版本、参数项及执行记录范围,列明缺失和无法关联对象。每条参数的实际适用范围由证据确定,不能以行数多或字段齐全代替设备覆盖和历史生效完整性;资料补齐或版本变化后重新核对关联并保留历史。
调查设备允许的参数调整方式,包括程序配置、面板操作及其他实际控制路径,核实各类调整是否记录操作时间、参数前后值、适用阶段和生效结果。分别登记程序文件回写、控制器日志、上位系统记录及其他有效审计来源,不因单一参数表未更新就认定所有操作无记录。
针对实际采集时段检查参数调整证据与执行配置的对应关系。允许修改但没有证据表明当时发生修改的,保持事实状态,不直接标注人工干预;已知发生修改但缺少完整值或生效时间的,明确受影响区间和缺口,不继续把旧设定作为确定基准。
设备功能调查结果作为制定采集及核实方案的依据,具体偏差样本仍须有相应时段真实生效设定、可比测量及质量检查记录。不能仅以「可改/不可改」「回写/不回写」的设备属性给全部历史数据统一判为可信或不可信。
| 层次 | 采集字段 | 用途 |
|---|---|---|
| 焊机台账 | 焊机编号、所在工位、焊接方法、控制器型式与软件版本、可存储程序数、程序导出方式(控制器界面导出、网口读取、人工抄录)、是否接入监控系统、接入起始时点 | 判断该工位能否取到程序号与给定值,以及用哪种方式取 |
| 程序 | 程序号、程序名称、适用产品型号与焊缝类型、适用板厚区间、适用焊丝牌号与直径、建立日期、最近修改日期、当前是否在用 | 建立程序号到工艺条件的映射,作为给定值阶梯序列的断点依据 |
| 参数 | 预设电流、预设电压、焊接速度、焊枪摆动振幅、摆动频率、焊枪停留时间、送丝速度、保护气体流量;每项另记单位、是否可在焊机面板临时修改、修改后是否回写 | 构成给定值集合;「可否面板临时修改、修改后是否回写」两项决定 1.4.3 中「疑似人工干预」判据是否适用于该工位 |
核对设备台账、工艺资料和程序配置的对象、版本、内容及适用范围,保存原始文件位置和核验记录。资料能够证明的配置、工艺要求或历史状态分别登记,不能仅按资料形式划定统一可信等级,也不能用资料存在替代实际执行证明。
通过源系统实际支持且经批准的读取或导出方式核实设备配置,记录设备身份、读取时间、软件和配置版本、获取范围、操作人员及结果。根据现场条件协调作业窗口,采用只读获取及相应访问控制,不未经授权更改生产设定;无法直接读取的对象通过其他有效记录补证,不能仅因读取受限就降低必要证据要求。
验证历史作业设定时,核对对应配置版本与下发、生效、执行及操作变更记录,检查其设备、任务、工艺阶段和时间是否一致。当前控制器状态不能反推全部历史,缺失历史链条时明确可证明范围和待补事项,不将当前读取值复制为过去实际设定。
实时参数用于检查时间、量纲、测量质量及关联结果是否存在异常,与设定的接近或偏离仅作为核查线索,不作为证明设定身份的独立依据。发现差异时核实配置、执行、测量和时间证据,原因未明保持待核实状态;未经确认不生成确定性工艺偏差、人工改参或故障原因标签。
按拟用任务逐项核验设备身份、参数定义、配置版本、实际生效时段、执行对象、测量及时间质量和使用许可。证据内容必须覆盖其支撑的具体结论,来源可定位且相互一致;单条当前读取、配置表或曲线比对结果不得代替其他必要条件。
事实尚未确认的资料保存在受控调查及审核区域,可供获准人员核查,但不作为正式知识、监督标签或合成依据发布。能够确认的工艺要求、配置资料和真实执行事实分别管理,不能把其中一种事实扩展为另一种事实。
满足相应用途全部条件后,由规定的业务和质量责任人复核并记录结论,关联具体资料及样本版本。证据不足、冲突或适用范围变化时限制相关使用,补证及复检通过后再更新状态;不以笼统「强证据」标记替代完整准入检查。
| 核实方法 | 做法 | 产出的证据 | 证据级别 |
|---|---|---|---|
| 台账与文件核对 | 按焊机台账与工艺卡逐台核对程序号与参数项的记载是否齐备 | 核对清单,逐台标注齐备、部分齐备或无记载 | 弱 |
| 控制器现场读取 | 在停机间隙由设备部门人员在控制器界面逐程序读取参数并记录,或按约定方式导出 | 读取记录或导出文件,含读取时间与操作岗位 | 强 |
| 实时数据反证 | 取该工位一段已知程序号的实时参数流,比对稳态段中心值与读取到的给定值 | 比对报告,给出偏差量与一致性结论 | 强(用于校验前两道的结论) |
将焊接设备程序、参数和实际执行证据调查纳入经确认的项目实施计划,按实际设备范围、数据用途、接口与权限条件、作业窗口和资料获取依赖落实任务、责任人及完成时间。需要招标方相关人员或设备厂商协同的事项提前明确资料、授权和验证安排,记录未落实条件及对进度的影响。
涉及实际设定的样本生产前,完成相应设备、配置版本、生效记录、对象关联和时间质量的核实;涉及专业工艺限值的判断,取得有效技术要求并完成业务审查。不得先生成无依据的偏差标签,再以首批结果反向认定设定或人为干预。
调查、读取和试用验证按实际条件衔接,范围或版本变化后补充核验,保留计划调整、问题整改和复检记录。首批覆盖不能代替后续应覆盖对象,必要证据未齐备的作业不放行,同时按计划推进不受影响且已满足条件的其他工作。
设备程序、配置、适用工艺或参数记录发生经确认的新增、修改、停用或替换时,登记变更对象、前后版本、批准和实际生效信息及影响范围。同步核查采集接口、字段、时间、程序与任务关系和参数定义,更新有效配置及关联规则,保留旧版本和其适用历史。
通过实际可用的变更通知、系统记录和核对机制跟踪状态,明确对接责任、更新计划及未同步事项的处理。新版本相关数据在必要证据和检查完成后按其真实有效区间处理,不用新配置回填旧时段,也不把最后一次已知配置延用到未经核实的变更期。
发现配置更新滞后或记录冲突时,定位受影响数据、样本和统计,限制相关确定性结论,补证后修复复检并记录结果。程序资料维护与样本关联检查持续覆盖实施及约定服务范围,不以首次调查完成替代后续版本管理。
| 时点 | 完成内容 |
|---|---|
| 进场后第 2 周内 | 完成试点产线焊机台账的清点,确定各工位的程序导出方式与可行性 |
| 进场后第 4 周内 | 完成试点产线在用程序的程序号与参数读取,形成首版程序参数对照表 |
| 进场后第 6 周内 | 完成实时数据反证,给出首版对照表的一致性结论,配对口径按结论定稿 |
| 随后各批次 | 按批次计划扩展到其余工位;程序新增或修改时由设备部门在变更后按约定时限同步对照表 |
对无法取得或无法确认的数据逐项登记来源、对象、时间、原因、所缺证据、影响用途和需要完成的补采或核实工作,落实责任人和计划,保存实际处理及复核结果。原始记录、已确认事实和未知部分分别管理,不以估计值、邻近设备参数、当前版本或理论默认值补成历史实际记录。
结合各业务域、用途子集和场景验证要求核对实际合格数据覆盖,及时落实合法历史资料补采、必要接口协同、重新采集及其他具备真实证据的补齐措施。未通过质量或证据检查的对象不计入合格成果,数据卡如实反映来源和使用限制,但不能代替规模、质量、功能或验证要求。
涉及实际实施条件变化的事项按项目约定程序提出并处理,保留影响分析、批准结论和落实记录,不能由加工人员自行修改交付范围或验收条件。缺口处理完成后重新核算有效覆盖并复检受影响成果,形成可核验的处理闭环。
| 情形 | 判定依据 | 补采方案 |
|---|---|---|
| 控制器可读、暂无导出通道 | 台账核对显示参数存在,但无网口或导出功能 | 由设备部门在换型停机间隙按程序号逐项抄录,抄录表经本岗位与工艺部门双签后入库,证据级别记为强;抄录周期随换型排程 |
| 控制器不可读、工艺卡有给定值 | 控制器无参数显示或已停用,工艺卡记载完整 | 取工艺卡给定值,来源等级降一档登记;同时在批次说明中注明该工位的给定值为工艺意图而非下发值 |
| 两者皆无、仅有实时流 | 台账与工艺卡均无记载 | 该工位的实时参数流按无给定值处理,进预训练语料,不进偏差样本;在数据卡中按工位标注该段样本的可用范围 |
| 程序号存在但参数记录缺失版本 | 程序号可读,对照表中查不到该版本 | 该段挂起,待设备部门补录该版本参数后按版本回填;补录前不做偏差计算,也不按相邻版本近似 |
| 新增工位或改造后工位 | 测点配置变更时点晚于本批次时间窗 | 变更时点之后的数据单列批次,按新配置重新执行本调查的三层字段采集 |
按实际设备、工位、配置版本、参数和时间范围维护调查及证据覆盖台账,向获准的项目管理、质量和相关业务人员提供核查结果。分别记录应覆盖范围、已完成核实、部分完成、待补和不适用项,附依据与责任;设备数量覆盖与历史时段、版本覆盖分别统计,不能用一份现行表代替全部必要历史证据。
发现任何影响必需成果的缺口时及时登记、分析和落实补采,不等待连续两个批次后才处理。未完成事项持续跟踪任务、计划、协同条件及实际结果,必要时按项目程序协调资源和调整实施安排;不能因重复失败自动降低证据要求、改用途计数或缩减约定验证范围。
后续数据及配置变更重新核查适用范围和质量,补齐后更新台账并保留历史状态。依赖具体实际设定或对象关系的成果,在必要证据、数据质量和使用条件全部满足后放行;未满足条件的数据如实标识和受控管理,不以「逐步接近」作为完成结论。
从QMS采集进厂、制程、出厂及成品检验记录、质量台账,以及淬火硬度、淬火区域位置与均匀性、外观缺陷和质检结果等数据;采集质量报告、产品质量档案、质量知识及熔池图像、焊后焊道表面图像、工件外观缺陷图像等资料。各类记录保留实际来源、对象、版本、时间、权限和使用范围。
检验记录同时保存原始测量或观察结果、单位或标尺、检验对象及范围、方法与设备信息、实际适用的标准或规程版本、判定条件、结论和审查状态。区分原始结果、计算结果、人工标注、检验判定及后续处置,不用合格或不合格结论替代可取得的测量依据,也不根据测量值自行重写原报告结论。
对不同人员、方法、设备、时期或规则下的结果,核对业务条件与证据后判断其可比性。发现结论冲突、依据缺失或版本不明时,保留各自原值和出处,登记问题并由相关质量专业人员核实;未经确认不把差异认定为质量变化、人员偏差或规则漂移。
采集判定信息时登记实际执行与复核岗位、判定时间、检验方法、适用标准和规程版本、对象及抽检范围、必要设备及校准或核查信息,并关联原始结果和证据。对批次、单件和测点结论分别标识适用范围,不能将抽样结果作为全部单件的直接测量事实。
质量指标发生变化时,先核对统计对象、数量基础、检验覆盖、产品和材料构成、工艺与设备状态、检验方法、规则版本、数据完整性及更正记录,记录检查结果和待核实因素。必要时由质量专业人员对照原始报告、有效规程和可取得实物或复检资料开展复核,不仅凭时间趋势或人员字段推断变化原因。
经证据确认存在定义或判据差异的,分别管理适用时期、对象及版本,按实际用途确定可比范围与分组方式。原始判定与复核结论分开保存,记录依据和批准状态;原因未明的数据保持明确限制,不能自动校正标签、调整比例或将未经证实的原因写入知识和训练样本。
另一项是缺陷分类体系的历史版本问题。企业的缺陷分类目录在多年中修订过,早期记录用的是旧分类,与现行目录不是一对一关系:有的旧类别被拆成两类,有的两个旧类别被合并。受理时按原始分类如实入库,同时建立旧版到现行目录的映射表,映射关系为一对多或多对一的,在映射表中标明并说明处理方式。映射表由质量部门确认后生效,不由项目组单方面确定——分类口径属业务定义,确认权在业务部门。
还有一项是不合格品处理记录的闭环性。一条不合格判定之后,应有返工、让步接收或报废的处置记录与之对应;实际数据中存在判定有记录而处置无记录的情况。受理后按判定单号核查处置记录的匹配率,未匹配的单独统计。这个匹配率决定质量数据集能否支撑「缺陷到处置」的因果类任务;匹配率不足时,该类任务的数据基础在数据卡中如实说明,相关场景验证的判据随之调整。
| 数据对象 | 字段组 | 形态 | 校验重点 |
|---|---|---|---|
| 进厂检验 | 检验单号、物料、批次、供应商、检验项、结果 | 结构化 | 物料批次与 WMS 库存批次对应 |
| 制程检验 | 检验单号、工单、工序、检验项、结果 | 结构化 | 工单与 MES 工单对应 |
| 出厂检验与成品检验 | 检验单号、产品、检验项、结果、检验日期 | 结构化 | 产品与合同、订单对应 |
| 质量台账 | 期间、产品、不合格类型、数量、处置 | 结构化 | 与检验记录勾稽 |
| 淬火硬度 | 工件号、测点位置、硬度值、检测方法 | 结构化 | 测点位置取本体值域 |
| 淬火区域位置及均匀性 | 工件号、区域标识、位置偏差、均匀性指标 | 结构化 | 指标口径登记来源 |
| 外观缺陷与质检结果 | 工件号、缺陷类型、位置、严重程度、判定 | 结构化 | 缺陷类型取本体缺陷值域 |
| 质量报告与产品质量档案 | 文件本体、产品、期间 | 非结构化 | 按产品归集 |
| 质量知识 | 文件本体、主题、来源 | 非结构化 | 进知识库抽取通道 |
| 质量影像 | 熔池图像、焊后焊道表面图像、工件外观缺陷图像 | 图像 | 与检验记录的引用关系 |
采集质量检验使用的熔池图像、焊后焊道表面图像、工件外观缺陷图像及其关联记录,登记来源系统或采集设备、原始文件标识、文件版本、采集时间、产品或工件标识、工序、焊道或检验部位、检验单号、检验项目和使用权限。原始文件、图像元数据与检验记录分别保存,并通过关联记录建立对应关系。未取得明确对应依据的影像登记为待核实对象,保留来源信息,不自动赋予检验结论。
对制造过程与质量检验共同使用的影像,核实文件内容、版本、来源及授权条件后实施存储去重,保留各来源的业务标识、原始引用和访问限制。内容相同但业务来源不同的文件不合并其业务记录;不同时间、不同版本或不同处理结果的影像分别登记。共享存储对象的访问仍逐项校验使用者对相应业务资料的权限,引用关系不扩大原始资料的授权范围。
检验记录与影像按实际对应关系建立多对多关联。关联记录包括检验记录及版本、影像标识及版本、工件标识、焊道或部位、图像区域、采集阶段、检验时间、关联依据、确认状态和确认时间。区域信息采用原图坐标或可复核的部位标识记录;裁剪、缩放后的图像保留与原图区域的转换关系。关联核验同时检查对象身份、工序阶段、检验覆盖范围与时间关系,不以时间邻近代替业务对应依据。检验结论仅适用于实际检验覆盖的对象和范围,不自动扩展至整幅图像、同批全部工件或其他工序。更正关联关系时保留原记录、变更原因和核验结果。
进场后调查纸质检测报告、检验原始记录及质量证明附件的保管情况,核对现有档案目录、移交记录和实物,编制资料清册。清册记录存放位置、资料类别、产品与检验对象、形成时间、报告版本、实际份数和页数、完整程度、装订状态、可读性、调阅条件及授权使用范围。实物清点数量与估算数量分别标识,数字化计划依据核实结果安排作业批次、人员、设备、场地及质量检查。
数字化作业保留报告封面、正文、附页、签章及更正记录之间的关系,检查扫描文件的页面完整性、顺序、清晰度和与原件的一致性。识别形成的文字、表格和检验字段与原始页图逐项关联,对无法辨读、缺页、版本不明或对象不明的资料登记问题并核实,不推测补齐原始检验结果。数字化成果与QMS检验记录及其他质量资料共同纳入采集覆盖检查,按实际可用数量制定补采措施,保证产品质量域数据规模、质量和业务覆盖要求落实。
| 调查项 | 内容 |
|---|---|
| 调查对象 | 质量管理部门及各分厂质检点留存的纸质检测报告、检验原始记录与随附的质量证明文件。按存放点逐处清点,不按部门估算 |
| 甲方责任部门 | 质量管理部门负责报告的归档规则、保管年限与存放点清单;档案管理部门负责已移交档案室部分的调阅与借用手续;各分厂质检点负责在用与近期归档部分的现场配合 |
| 我方对接岗位 | 数据受理岗牵头清册编制与扫描批次管理,安全管理岗负责扫描件的密级判定与脱敏规则落实,预处理工程岗负责扫描参数的核定与首批扫描件的可解析性验证 |
资料清册按存放点、报告类别、产品或工件、形成年度和资料状态登记,记录报告份数、实际页数或页数估算依据、附件数量、装订形式、可读性、对应业务记录及授权条件。扫描批次综合考虑业务覆盖、资料保存风险、检验对象、作业条件和资料可用程度安排,明确每批原件范围、预计工作量、负责人、作业地点和检查要求;试作业后依据实测作业效率校正排期,保留调整原因及对后续批次的影响记录。
逐批检查装订、折痕、破损、褪色、油污及文字遮挡情况,按原件状态选择非破坏性扫描方式。未经资料保管责任方许可不拆订、不裁切、不清洗原件;确需拆装订或采取特殊处理的,先办理许可,记录原始装订、页序和缺损情况,由具备相应操作能力的人员处理,完成后按批准要求恢复并核对。对无法安全展开或文字仍不可辨读的原件,保留现状图像及问题位置,另行核实可用副本或对应业务记录。
扫描地点、设备、人员和作业时间执行资料调阅及安全管理要求。仅限现场处理的资料在指定场所作业,扫描设备和存储介质按授权配置,禁止通过个人设备或外部网络传输。每次交接核对原件编号、册数、页数及状态,登记领用和归还人员、时间及差异。外带或委托第三方处理须履行适用审批程序,明确资料范围、保管责任、访问限制和成果交接要求,未经批准不实施。
对已有结构化检验记录的纸质报告,核对报告编号、版本、检验对象、检验项目、检验时间、结果及附件,建立经核实的对应关系。相同报告号下存在更正报告或复检记录的,分别登记版本与检验轮次,保留原始结果和更正依据。报告与业务记录存在数值、单位、对象或结论差异的,记录差异并交由相应业务责任人员核实,未经确认不合并为同一检验事实。
对尚未建立对应关系的报告,实施页面解析、表格识别和字段抽取,保存字段到原始页码及区域的定位信息,并按业务标识核实对象与记录。图文候选样本须经过对象与版本一致性、内容完整性、授权范围、字段准确性及任务适用性检查,再进入相应标注、质检和验证流程。重复扫描件、更正前后报告以及由同一原始报告派生的文件保留共同来源关系,参与数据集划分时防止跨训练集与评测集泄漏,不以多份派生文件重复累计独立样本数量。扫描优先级同时满足产品、年代和检验类别覆盖要求,不仅依据是否已有结构化记录确定。
| 字段 | 取值与说明 | 用途 |
|---|---|---|
| 存放点标识 | 存放部门、房间或柜架编号 | 分批扫描的作业单位 |
| 报告类别 | 进厂检验、制程检验、出厂检验、成品检验、第三方检测、其他 | 与结构化检验记录的对应关系判定 |
| 覆盖产品范围 | 产品型号或工件品类 | 按场景验证的首批型号确定优先次序 |
| 年度区间 | 起止年份 | 判断与现行检验规程、现行缺陷分类目录的对应关系 |
| 份数与页数 | 分别计数,页数可抽样推算并标注推算方式 | 扫描工作量与排期测算的直接依据 |
| 装订与品相 | 散页、装订成册、装入档案盒;是否有折痕、褪色、油污、装订孔压字 | 决定是否需拆装订、是否需特殊扫描参数 |
| 是否有结构化对应记录 | 有、部分有、无 | 有对应记录的优先扫描,可直接形成图文对照样本 |
| 密级与可用范围 | 按数据分级结论判定;含第三方检测机构标识与客户信息的单列 | 扫描件的存放权限与脱敏规则 |
| 可否外带或外包扫描 | 可、仅限内网现场扫描、不可移动 | 决定扫描作业方式 |
资料数量以可追溯的清点记录和档案核验结果登记。先核对目录、移交及借阅记录,确认资料保管位置和当前状态,再按实际保管单元清点报告及附件。访谈获取的数量作为待核实线索单独记录,不直接计入已核实存量;目录数量、实物数量和业务系统记录数量分别列示,标明各自统计对象、范围和截止时间。对移交、借出、缺失、重复归档及目录未更新等差异逐项核查,形成差异原因、处理责任和复核结果。
按资料目录走访实际存放点,核实在库、移交、借出及其他保管状态。能够逐册或逐份清点的资料,登记实际册数、报告份数及可核实的页数,记录清点范围、日期、人员和复核结果。对暂不具备全面逐页清点条件的资料,可为作业排期开展分层抽样估算,记录分层依据、总体范围、样本选取方式、实测数量、计算方法及估算的不确定性;估算结果与实际清点值分开列示,后续随逐批作业以实测结果更新,不将估算值作为最终交付数量。
与结构化检验记录对账时,先确认同一报告是否包含多项检验、同一检验是否形成多份报告,以及更正、复检和附件的统计关系,再按报告编号、检验对象、检验时间和版本建立可核实的对应关系。对仅有纸质报告、仅有系统记录、关联冲突或重复登记的情况分别登记和核查,不以两侧数量不等直接认定数据遗漏。对账结果保留匹配依据、未匹配对象、差异原因及处理状态。
| 核实方法 | 做法 | 产出的证据 | 适用范围 |
|---|---|---|---|
| 存放点走访 | 按质量管理部门给出的存放点清单逐处查看,确认实物是否在册、是否已移交档案室 | 存放点确认单,逐处标注在册与实际的差异 | 全部存放点 |
| 实物逐册清点 | 按册或按盒逐一清点份数,记录报告类别与年度区间 | 清册条目,含清点岗位与清点日期 | 份数在约定规模以内的存放点 |
| 抽样推算 | 对份数很大的存放点,按册或按盒抽样计数后推算总量,抽样比例与推算方式随清册登记 | 抽样记录与推算说明,总量标注为推算值 | 份数超出逐册清点可行范围的存放点 |
| 与结构化记录对账 | 取同一产品同一年度的结构化检验记录条数,与清册中的报告份数比对 | 对账表,给出覆盖率与差异成因 | 有结构化对应记录的部分 |
清册及进度统计分别列示估算量、已清点量、已扫描量、已核验合格量和待整改量,注明各项统计单位、范围及截止时间。引用估算结果时保留估算标识和计算依据,不改记为实测数量。批次完成后按实际原件、扫描页图及检查记录更新数量,保留估算与实测差异;最终交付数量以核验合格的实际成果及其明细为依据,重复副本、无效文件和未完成整改的资料不计入合格交付量。
纸质资料调查、清点、试扫描、批量数字化、复核及缺口补采纳入合同签订后三日内提交并加盖公章的《项目管理计划》,明确任务负责人、前置条件、起止日期、阶段成果及与预处理、标注、质检和验证的衔接。进场后及时核实调阅和作业条件,具备条件的资料分批开展调查与试作业;现场核实结果用于细化批次安排和资源投入。出现资料调阅、保存状态或工作量变化时,分析关键路径影响并采取补救措施,按项目变更程序处理,确保2028年5月前完成终验收。
批量扫描前选取具有代表性的原件开展试扫描,覆盖主要报告版式、表格结构、装订方式以及实际存在的褪色、污损和手写情况。分别验证扫描分辨率、色彩模式、曝光和图像处理参数,检查细小文字、小数点、正负号、单位、上下标、表格线、签章及批注的可辨识性。原始扫描文件保持原件内容和颜色信息;去底色、去噪、纠偏等处理形成独立派生版本,记录处理参数并检查是否造成内容损失。
试扫描文件依次完成页面完整性检查、版面解析、表格识别和关键字段抽取,核对检验单号、检验对象、检验项目、测量值、单位、判定依据和结论与原件是否一致。字段可被抽取不等于抽取正确,须检查数值、符号、单位、行列对应关系和原页定位。对识别失败或结果不一致的页面查明原因,调整参数或转人工核验,并复查受影响的同类资料;试作业检查通过后再按对应参数开展批量作业。批量作业中发现新的版式或保存状态时重新验证适用参数,保留试作业和复查记录。
| 时点 | 完成内容 |
|---|---|
| 进场后第 3 周内 | 完成存放点走访,确定存放点清单与各点的清点方式 |
| 进场后第 6 周内 | 完成首批存放点的实物清点,形成首版清册,给出可数字化总量的区间估计 |
| 进场后第 8 周内 | 完成扫描参数核定与首批试扫,验证扫描件在文档类通道的可解析性与关键字段可抽取性 |
| 补齐批内 | 按清册分批扫描,扫描件逐批进入预处理环节的文档类通道;清册与扫描进度按批次更新 |
按产品、检验类别、年度、检验部位及资料来源核实可用数据覆盖,区分数量不足、内容缺失、识别质量不足、关联不明和使用授权受限等问题,分别制定补采及整改任务。优先核查已有业务系统、合法留存副本、关联检验资料和实际可获得的补充来源,明确责任人员、完成时间及复核要求。纸质报告不足不直接等同于质量域全部数据不足;补充来源须满足相应内容、模态、真实性和授权要求,不以重复文件或同一记录的多种导出格式虚增成果数量。合成数据单独标识来源及生成过程,不登记为真实历史检验记录,不纳入禁止使用合成数据的评测基准集。
真实检验资料与合成样本分别登记数据类型、来源和生成方式。真实资料保留业务记录标识、检验对象、检验时间、结果及原始证据;合成样本保留生成任务、使用的模型或规则版本、输入资料标识、生成时间、质量检查和审核状态,不生成虚假的历史检验编号、签章、审批记录或设备测量证据。由真实资料派生的样本同时保留原始来源和加工过程,不能仅以新的样本编号替代来源追溯。
用于稀疏类别或边界条件补充的合成样本,按相应生产流程完成业务合理性、安全性和质量检查后,再用于获准的训练任务;合成标签不作为真实缺陷或现场检验事实。评测基准集不使用任何形式的合成数据,并检查其原始来源及派生关系,防止评测内容、答案或其改写进入训练材料。发现来源标识错误或合成样本误入真实资料集合时,隔离受影响数据,沿加工关系排查派生成果和已发布版本,完成更正、复核及必要的重新验证后处理相应版本。
同一批资料存在保存状态、数量、关联和授权等多项问题时,分别登记问题并组合执行相应措施,不以单一批次结论覆盖其他未解决问题。每项整改明确影响的数据范围、拟采取措施、责任人员、计划日期及复核方法,处理后重新核验数量、质量和业务覆盖。无法立即补齐的资料列入持续跟踪清单,评估对加工和验证任务的影响并落实补救安排;在数据说明中披露缺口不替代实际补采与整改,不自行缩小约定验证范围、降低判定标准或以其他领域数据抵补本领域要求。涉及实施范围或验收要求的调整,履行正式变更程序,不由加工环节自行决定。
| 情形 | 判定依据 | 补采方案 |
|---|---|---|
| 存量充足但品相差 | 清册显示份数够,低品相占比高 | 低品相件单独成批,按提高扫描分辨率与灰度模式处理,进文档类通道后置信标记降一档;识别置信度低于门限的页进人工复核队列,复核后的字段可用于监督样本 |
| 存量充足但不可移动 | 档案室规定不可外带 | 在内网现场扫描,扫描设备与作业人员进场按甲方档案管理规定执行;扫描件即时写入落地区,原件当场归还 |
| 存量不足、结构化记录完整 | 清册总量低于预期,但结构化检验记录覆盖同期 | 质量域的历史样本以结构化记录为主,纸质报告作为证据补充;在数据卡中如实说明该子集的样本来源构成 |
| 存量不足、结构化记录亦缺 | 两侧均不覆盖某些年度或产品 | 该年度或该产品的历史样本在数据卡中列为覆盖缺口,相关场景验证的历史回溯范围随之缩小,判据在验证方案中相应调整 |
| 含第三方检测机构内容 | 报告由外部机构出具,含机构标识与委托信息 | 按许可核验口径处理:未明确允许进入训练语料的,仅登记元数据与检测结论字段,正文不入库 |
按批次更新资料清册和扫描进度,分别统计已核实资料、已完成扫描、已通过质量检查、待复核及待补采的数量,并在项目授权范围内向相关责任人员提供进度记录。每批核对计划范围、实际完成量、页面完整性、内容可读性、解析准确性、原件对应关系和问题整改结果,确保计划范围内的资料完成数字化并符合交付要求。
发现进度偏差、重复返工、关键字段无法辨读或调阅受限时,及时登记影响范围和原因,安排责任人员采取参数调整、原件核查、资源调配或补采措施,不等待连续两个批次或固定月度会议后再处理。进度调整同时检查对预处理、标注、质检、验证及总交付期限的影响,保留处理过程和复核结果;需要变更计划的按项目管理程序执行。
采集协同办公系统中的管理制度与合同文档、久其系统中的营业收入、利润、成本及资产负债等经营指标,以及主数据管理平台中的组织机构、人员和物料编码。保留来源系统、业务标识、版本、生效或所属期间、采集时间及使用权限,建立通用资料与四个业务领域数据的关联。资料同时涉及多个业务领域时保留实际关联,不因复制到多个目录而重复统计独立内容。
按预训练子集的Token规模目标补充行业标准、学术文献、厂商资料和公开数据集等外部语料。外部语料选择结合矿山装备制造相关专业内容、语言质量、版本适用性、来源可靠性和授权范围开展,登记原始出处、内容版本、获取时间、许可条件及适用业务主题。采集后的内部与外部资料均经过内容完整性、重复性、质量及安全检查,再进入相应加工流程;与项目业务无关、来源不明或不满足使用条件的内容不计入合格成果。
对内部和外部来源分别核实资料提供主体、实际权利与授权范围,明确是否允许采集、存储、加工、模型训练、检索展示、验证及对外交付。保留适用于当前内容版本的授权文件或许可条款、有效期限、署名要求、传播限制及其他使用条件,并将这些条件关联至原始资料和派生成果。公开可访问、已购买或已在企业系统保存,不直接等同于允许用于全部加工和交付用途。
授权不明、条款不一致或包含第三方限制的资料,登记待核实事项并提交相应责任人员确认;未确认前不投入受限用途。许可核验按具体内容和使用方式开展,不以资料类型统一推定能否训练或再分发。交付前再次检查拟交付内容及派生成果是否满足约定使用权限,并提供必要的授权及限制记录,不将供应方尚未解决的许可问题视为已随交付自动转移。内容质量、完整性、业务适用性和许可条件分别检查,任一项不满足要求均须整改或采用符合条件的替代来源。
组织机构、人员和物料主数据按实际标识、版本及生效期间采集,保留新增、变更、停用、合并和拆分等可获取的状态记录。核对主数据编码与各来源系统业务标识之间的关系,记录映射依据、适用时间、确认状态及冲突信息;同名不同对象、旧编码复用和多编码对应同一对象的情况分别核查,不仅依据名称相同合并实体。历史业务记录保留其发生时的原始编码,关联到主数据的转换关系单独记录,不以当前编码覆盖历史事实。
人员数据按项目必要用途和授权范围确定采集字段,对不必要的身份及联系信息不予采集。需脱敏的字段在进入相应加工环境前处理;确需跨记录关联的,在授权范围内采用受控映射标识,限制原始身份映射的访问权限,并检查脱敏后关联关系的正确性。组织、人员和物料之间的业务关系依据可核实记录建立,主数据映射经核验后用于本体实体对齐及业务关联。
| 来源 | 受理内容 | 形态 | 校验重点 |
|---|---|---|---|
| 协同办公系统(OA) | 管理制度、合同文档 | 非结构化 | 文件版本状态、发布部门、生效日期 |
| 久其系统 | 营业收入、利润、成本、资产负债等经营指标 | 结构化 | 期间闭合状态;口径与指标知识库一致 |
| 主数据管理平台 | 组织机构、人员、物料编码 | 结构化 | 作为本体编码对齐的基准;人员字段入口脱敏 |
| 外部行业标准 | 标准文本、标准号、版本状态 | 非结构化 | 许可类型;版本状态 |
| 学术文献 | 文献全文或摘要、出版信息 | 非结构化 | 许可类型;可否用于训练 |
| 厂商资料 | 产品手册、技术白皮书 | 非结构化 | 许可类型;是否含第三方保密内容 |
| 公开数据集 | 数据文件、许可协议 | 结构化/图像/文本 | 许可协议条款;可否二次分发 |
按各预训练子集分别核算可用语料量和补充需求,使用确定版本的分词器及计数规则,对完成解析、清洗、去重、权限核验和质量检查的有效文本计算Token数量,记录处理版本、计数范围和排除项。原始下载体积、文件页数、未清洗文本和重复内容不直接折算为最终合格Token量。多领域共用来源保留共同出处及实际分配记录,按确定的去重和统计规则核算,不通过重复复制抵补规模缺口。
补充计划同时检查行业主题、产品工艺知识、资料时效性、语言质量和业务覆盖,根据合格语料缺口确定来源、采集任务和加工批次。补采后重新执行质量检查和数量核验,分别满足各数据集及各子集的规模要求,不以总量达到目标代替分项达标,也不以增加无关通用文本或重复材料填补行业语料缺口。
对供需计划、产品工艺设计、制造过程和产品质量领域的数据,分别登记文本、图像、时序和视频的采集对象、来源、格式、编码、记录粒度、时间信息及关联标识。采集规则同时考虑业务对象、来源系统、模态特点和实际设备条件,明确完整性检查、时间校准、版本识别及授权核验要求。同名文件或相同版式资料仍按来源、内容、版本和业务对象核实身份,不直接视为同一资料。
每条原始记录、文件和影像段保留来源标识、采集批次及适用业务领域;跨领域使用的数据登记多个经核实的关联关系,不以批次归属替代逐对象登记。原始数据与转换、裁剪、抽帧及重采样等派生成果建立可追溯关系,保留处理版本和参数。格式转换或模态派生不改变原始事实来源,不将同一内容的多种保存形式当作新增独立来源。
原始数据登记实际模态、来源形成时间、采集时间及其判定依据,并保留到加工样本、子集和发布版本的对应关系。对配对图文、同步图像与时序、视频及关联文本等样本,核验各组成内容的对象、时间和语义关联,记录样本所含模态及组合方式;文件后缀、压缩包数量或不同格式的重复副本不作为新增模态的依据。抽帧、转写、重采样和合成处理分别登记,不以派生文件数量重复累计独立样本。
按完成质检和验证的实际成果核算模态构成及数据时效,覆盖文本、图像、时序、视频四种模态,多模态数据条数占比不低于40%,近3年内时效性数据条数占比不低于40%。统计记录明确样本计数单位、适用范围、分子分母、去重规则、统计基准日和计算结果,并与实际发布清单一致。近3年数据根据能够核实的原始业务发生或内容形成时间判定,不以重新上传、扫描、复制或生成日期替代原始时间;时间缺失或无法核实的资料不得直接计入近3年数据。各加工阶段持续检查覆盖变化,发现缺口及时补采并重新核验。
采集对象按来源系统、业务标识及版本建立唯一登记记录。结构化数据保留原始主键、行项目和变更信息;文件保留原始文件标识、版本、附件关系及页码;图纸和工艺卡同时记录所属产品或零部件、图号或卡片号、版本及适用配置。原始业务标识在不同系统中重复时,增加来源标识区分;同一业务对象存在多个版本时分别登记,不以图号、名称或文件名直接覆盖旧版本。
图像、时序和视频分别记录采集设备、时间基准和采集序列,与工件、工序、焊道、炉次或检验对象的关联须有可复核依据。关联信息不完整的保留原始数据并登记待核实项,不根据时间邻近或名称相似自动确认业务身份。新增采集登记标识仅用于追溯,不能替代或伪造原始业务编号。
按业务领域和模态开展来源调查,逐项核对业务系统、文件档案及采集设备中的相关数据,登记调查对象、时间、方法、证据、资料范围、权限和质量状态。已取得且通过核验的来源列入可用清单;来源线索存在但尚未确认的,记录核实责任、所需资料和完成计划;需要新增采集的,明确业务用途、采集对象、设备或系统条件及实施任务。
调查期间未取得视频或其他模态资料时,记录本次实际调查范围与结果,继续按业务需求核查其他有效来源或落实补采。来源状态随核实结果更新并保留历史,采集成功后复核内容、对象关联、授权和质量条件,满足要求的数据再纳入对应生产任务。
根据各业务领域的生产任务及整体模态要求制定采集与补采计划,明确对象、数据内容、来源、设备或系统条件、授权、标识规则、质量检查和交付批次。任务执行后核对实际取得的内容、数量、时间和业务关联,登记完成结果及待解决问题。
跨领域使用的同源资料保留原始来源和经核实的业务关系,按实际用途分别授权;对重复副本和派生结果建立关联,按有效样本统计规则核算数量。影像与文本、时序的组合须通过对象、时间和语义关联检查,缺乏真实业务关系的内容不得组成多模态样本。来源缺口逐项落实补采、整改和复核,完成后重新核验分项规模、模态比例及业务覆盖,不以其他领域或其他模态的超额数量抵补必需内容。
| 数据领域 | 模态 | 采集对象 | 格式、粒度及时间记录 | 对象标识与关联核验 |
|---|---|---|---|---|
| 供需计划 | 文本及结构化业务记录 | 客户、商机、报价、合同、订单、回款、采购、供应商、库存及出入库等相关业务记录,招投标文件、资质文件和业绩合同 | 保存源接口字段、字符集、数值精度、单位及记录版本;结构化数据保留单据头和明细,文件保留原始格式、版本及附件;记录业务发生时间与采集时间 | 使用来源系统和各类业务对象原始标识,按实际关系关联商机、合同、订单、回款及采购库存记录;文件记录原始文件标识和版本,不强制所有对象以合同号为唯一主键 |
| 供需计划 | 图像 | 实际取得且获准使用的合同、证照扫描页及业务附件图像 | 保留原始文件和页图,登记页序、扫描分辨率、色彩信息及处理版本;扫描时间与文件形成时间分开 | 以源文件标识、版本及页码定位,关联实际合同或资质对象;重复扫描保留关系,不新增独立业务事实 |
| 供需计划 | 时序 | 历史销量、订单量、销售预测、库存快照及出入库事件形成的时序数据 | 按源系统真实记录粒度采集,保留业务时间、统计期间、快照时刻、单位及更新状态;月度等汇总作为独立派生成果,记录汇总规则,不覆盖明细;预测值与实际值分列 | 结合来源、物料、组织或仓储范围、统计期间及源记录标识定位;区分事件时间和快照时间,预测任务使用在预测时点实际可获得的数据 |
| 供需计划 | 视频 | 核实与供需业务相关的现有视频来源,并按经确认的业务需求落实必要采集 | 对已取得且获准使用的视频保存原始封装、编码、分辨率、帧率、时长、音轨及时间信息;未取得的对象登记核实或补采任务、责任人员、计划及实际结果 | 保存来源文件、采集任务及片段标识,按业务记录核对其与实际供需对象的关系;缺乏业务关联的内容不用于该领域样本,来源缺口持续跟踪至符合相应覆盖与质量条件 |
| 产品工艺设计 | 文本及结构化业务记录 | 物料清单、工序、变更、零部件和选型资料,机械制图标准、工艺编制准则及相关文档 | 结构化数据保留对象、关系及版本;文档保存原始格式、章节页码、附件和适用配置;记录生效、失效及更正关系 | 使用来源系统、对象标识和版本区分;BOM保留实际父子层级及配置,工序保留路线和版本,不以名称相同自动合并 |
| 产品工艺设计 | 图像及工程图形 | 工艺图纸、工艺卡片中的原生工程图形、矢量内容及扫描图像 | 保留实际取得的DWG、DXF、PDF等原文件及转换版本,登记页码、图层或视图信息;扫描件记录分辨率及色彩信息;CAD及含矢量内容的PDF不等同于普通栅格图像 | 使用来源、图号或卡片号、版本及适用配置定位;图纸和卡片按实际引用关系登记,不要求一图必配一卡;转换图像保留原文件及视图或页面定位 |
| 产品工艺设计 | 时序及时间事件记录 | 实际存在的工时定额、工艺参数等随时间变化的记录及其变更事件 | 分别登记实际测量时序与设计规定值的版本事件;记录生效时间、记录时间、变更序号及依据,不将离散版本自动插值成连续实测曲线 | 结合来源、对象、配置、版本及事件标识定位;同日多次变更不能只用日期区分,设计值不作为实际执行或测量真值 |
| 产品工艺设计 | 视频 | 核实与产品工艺设计、工艺讲解及作业知识相关的授权资料,按实际任务组织必要采集 | 保存原始编码、封装、帧率、时间信息、资料版本及适用产品和工艺;每项来源记录取得状态、权限、核实结果及补采任务 | 关联经核实的产品、工艺路线、技术文件及版本,核对视频所示方法、设备和工况的适用条件;专业内容经业务核验后进入对应加工流程 |
| 制造过程 | 文本及结构化业务记录 | 生产工单、报工、焊丝牌号与直径、设备台账、点检、维修工单、作业及运维计划、报警确认、诊断结论、售后工单、备件消耗,以及设备档案、维修记录、诊断报告和故障案例 | 保存原始单据、明细、工序、事件及文档版本,分别登记计划、实际执行、确认和更正时间;文档保留原始格式和附件 | 以来源、工单或事件标识、工序及版本定位,设备档案关联设备标识;一台设备的多次维修、报警和更换记录不得按设备号合并为一条 |
| 制造过程 | 图像 | 熔池图像、焊后焊道表面图像、淬火与焊接相关热成像,以及获准使用的检修部位照片 | 保存原始图像、采集时间、设备参数和处理版本。新增高温及焊前、淬火后热成像设备采集全辐射数据,通过SDK取得每像素原始温度并保存对应测温参数和配置;测温数据与显示图像分别管理。既有其他影像按实际格式与可验证信息登记,普通CMOS图像保留原始视觉内容 | 使用设备、采集序列和原始图像标识定位,核实工件、焊道、工序或维修记录及适用区域;热成像关联测温配置、有效检查资料和温度数据,视觉图像不生成无测量依据的温度真值 |
| 制造过程 | 时序 | 焊接实时测量及真实生效设定参数、层间温度、热处理过程参数、设备状态及报警、能耗、在役装备健康测点等 | 按真实采样机制采集,登记时标、序列、采样频率或事件触发方式、单位、量程和质量标志;保留原始频率与缺失情况,不预设全部为秒级或分钟级;设计值、设定值和测量值分列 | 使用来源、设备、测点、时间及必要序号定位,同一时标多值不覆盖;经核实后关联工件、焊道、炉次及运行阶段,时间校正保留原值及校正依据 |
| 制造过程 | 视频 | 采集新增熔池CMOS设备支持的连续影像及与制造任务相关的授权视频,按实际需求落实其他过程视频采集 | 新增熔池CMOS采集保留带时间戳的原始帧,记录采集设备、帧序列及采集配置;封装视频时保存帧与原始时间的对应关系。其他视频保存原始文件、编码、封装、分辨率、实际帧率和时长,检查丢帧、重复及时间不连续;补采需求落实到具体任务和检查结果 | 核对设备、采集任务、片段与工件、工序、焊道或炉次之间的关系;保留分段和派生过程,无法确认连续性的资料按实际时间与缺失状态保存,不将拼接或插值结果标为完整真实采集过程 |
| 产品质量 | 文本及结构化业务记录 | 进厂、制程、出厂及成品检验记录、质量台账,淬火硬度、淬火区域位置及均匀性、外观缺陷和质检结果,质量报告、产品质量档案及质量知识 | 按检验单、项目、测点、轮次及报告版本采集,保留数值、单位或标尺、方法、依据和判定;纸质资料保留扫描页图、解析结果及原件对应关系 | 使用来源、检验记录、项目、轮次及版本定位,核实工件或批次与检验覆盖范围;抽样结论不扩展为批内每件实测,质量知识按流程经业务专家终审 |
| 产品质量 | 图像 | 熔池图像、焊后焊道表面图像、工件外观缺陷图像,以及实际检验部位照片和报告扫描页 | 保留原始文件、采集时点、部位或图像区域、采集阶段及相关参数;报告扫描页登记页序和版本,派生区域保留原图坐标关系 | 以原始图像或文件标识及版本定位,关联经核实的检验记录、对象和区域;共享制造影像仍保留各业务引用及权限,检验结论不默认适用于整幅图像 |
| 产品质量 | 时序 | 实际检验过程中按时间记录的连续或事件型测量数据 | 登记实际测量时间、采样方式、仪器、单位或标尺及质量状态;硬度沿深度或位置的分布另按空间测量记录保存位置坐标与测值,不将空间顺序当成时间顺序 | 使用来源、检验轮次、测量对象、测点和时间或事件序号定位;空间分布须保留位置基准,只有真实时间信息才能形成相应时序关联 |
| 产品质量 | 视频 | 核实并采集获准使用的检验过程视频,按经确认的检验业务需求组织必要补采 | 保存原始文件、编码、帧率、时长、时间信息及采集方法,记录实际检验环节、拍摄范围、资料版本和完整性;来源或内容缺口登记核实与补采任务 | 以检验记录、轮次和片段标识建立经核实的关系,明确录像覆盖对象、部位与阶段;检验结论以适用的原始测量、检验依据和审核记录确认,视频按其实际能够支持的内容使用 |
模态来源按已确认可用、待核实、需补采及不适用分别登记,保存调查范围、证据、判断依据、责任人员和更新时间。不适用项须具备对应业务条件和核验记录;暂未取得资料的来源明确后续核实、补采或整改任务,并记录计划与实际结果。来源状态变化后更新清单,保留原状态和变更依据。
最终模态统计以经质量检查和验证的实际发布样本为依据,核对样本组成、来源、业务对象及跨模态关系,并按有效计数规则计算总体和分项覆盖。缺口处理完成后重新检查数据规模、模态比例、时效性及用途条件;必需内容未满足要求的,不认定相应成果完成。统计结果与样本明细、处理版本和发布清单关联保存,支持复核和追溯。
结构化业务记录与文档资料分别保留原始形态及可追溯标识。结构化记录采集字段名称、数据类型、精度、单位、主键、关联关系和可获取的时间信息;文档采集原始文件、既有业务编号、版本、附件、来源目录及使用权限。原始标识缺失或不足以唯一定位时,另设采集登记标识并保留来源位置,不伪造源系统编号。
结构化记录按实际业务任务用于数据分析、时序构建、知识抽取或文本样本制作,文档按内容和用途开展版面解析、图文关联、条款抽取及知识加工。各类转换均保留原始内容、处理规则和派生关系,不以单一文本化形式替代仍需保存的结构、图形、数值精度及文档证据。
| 口径项 | 结构化记录 | 文档资料 |
|---|---|---|
| 受理清单 | 按数据源登记表的表与字段范围逐表受理,字段清单随批次固定版本 | 按目录范围逐件受理,形成受理清册并与源侧目录核对件数 |
| 格式与编码 | 按接口返回的原始类型取回,数值不转字符串、日期不转文本;字符集统一登记,非约定字符集的在受理时转换并记录转换规则 | 保留原格式入库,解析在预处理环节进行;逐件计算文件指纹并登记字符编码判定结论 |
| 采集粒度 | 按记录逐条,不在受理阶段做聚合;需要聚合的派生量由加工环节按登记口径计算 | 按件受理,件内的章节与条款粒度在预处理与知识库环节切分 |
| 时间口径 | 每条记录登记业务发生时间与源系统写入时间两个时标,缺其一的标注缺哪一个 | 登记文件的发布日期、生效日期与入库时间;三者缺失的按文件内可见日期补并标注来源 |
| 业务主键 | 源系统主键 + 批次号;跨系统对象另建业务链主键 | 源文件编号 + 文件名称与版本;同一文件多版本并存,不以新版覆盖旧版 |
| 版本登记 | 按变更时间增量的表,登记变更时间字段是否可信;不可信的转整表快照并在登记表中标明 | 登记版本状态为现行、已修订或已废止;废止件保留并标注替代关系 |
| 许可核验 | 按来源系统的授权范围核验,取数范围须被授权范围覆盖 | 按件核验密级与可用范围;外部文献与标准按许可条款登记可否全文入库、可否用于训练 |
金额、测量值、比例和计数等字段保留原始数值语义,记录数据类型、有效精度、小数位数、单位、允许空值及必要的计算规则。对金额等精度敏感字段采用能够准确保存原值的表示方式,避免不必要的浮点转换、截断或舍入;需要字符串序列化时保存明确的类型描述及格式规则,并验证反序列化后数值、精度和单位一致。编号、前导零编码和带字母的业务标识保持其标识属性,不自动转为数值。
采集校验覆盖空值与零值、负值、小数点、千位分隔符、科学计数法和超出目标字段范围等实际可能出现的情况,记录转换失败及处理结果。原始值、标准化值和派生计算值分别保存;单位换算或精度调整须有明确规则、版本和适用条件,不覆盖原始测量或账务值。发现精度、单位或字段解析差异时隔离受影响记录,核对原始数据并修正转换过程,复查同规则处理的其他记录后再进入后续加工。
采集图纸与工艺卡片扫描图像、熔池及焊后焊道表面图像、热处理和焊接相关热成像、工件外观缺陷图像及其他经确认的业务图像,分别保留原始文件、对象、版本、采集条件和使用权限。同一图像用于工艺分析、质量检查或知识加工时,登记各用途对应的业务关系,不因用途不同重复创建独立事实。图纸与卡片中的几何形状、尺寸、符号和版面关系与文字内容共同保留,解析文本不能代替原始图像。
熔池相机保存带时间戳的原始帧及采集参数,核验电弧、熔池、焊丝和坡口边缘的可辨识性。高温热成像及在线热成像设备保存全辐射数据流、逐像素温度数据及发射率、反射温度、大气透过率等测温参数,并记录与显示图像的对应关系。普通CMOS图像的亮度、色彩及伪彩显示不直接作为温度测量结果。
质量图像按实际检验对象、部位、检验轮次及覆盖范围关联,检查清晰度、曝光、遮挡、视场、拍摄角度及必要尺度信息。图像显示的现象、人工标注和正式检验结论分别登记,结论须有相应检验方法和业务记录支持,不仅凭分辨率或取景一致就认定质量结论有效。
| 口径项 | 图纸与卡片扫描件 | 工艺过程图像 | 质量缺陷图像 |
|---|---|---|---|
| 受理清单 | 按图号与卡片号清册逐件受理 | 按焊道与炉次的采集计划逐段受理 | 按检验单逐件受理,与检验记录成对 |
| 格式与编码 | 栅格图像格式,登记扫描分辨率、色彩模式与压缩方式;低损压缩优先 | 可见光图像按原始位深取回;热成像同时取可视化图与每像素原始温度矩阵,两者分列保存并互相指向 | 栅格图像格式,登记分辨率与色彩模式 |
| 采集粒度 | 按页,多页件保留页序 | 按采集时点,一个焊道一段连续采集 | 按工件与检测部位,一个部位至少一件 |
| 时间与设备校准 | 登记扫描时间与扫描设备标识;同一清册分批扫描时登记各批的扫描参数 | 相机时钟与企业统一时间基准按约定周期校时,校时记录随批次保存;热成像设备按检定周期做温度标定,标定记录与有效期登记在测点配置中;取景框与安装位姿变更即登记变更时点 | 登记拍摄时间与采集岗位;同一检测部位的取景框按规程固定 |
| 业务主键 | 源文件编号 + 页码;图号与卡片号为关联键 | 相机位号 + 采集时点;锚定后挂工件号与焊道号 | 工件号 + 部位标识 + 采集时点;检验单号为关联键 |
| 版本登记 | 同一图号的多次扫描按扫描批次登记版本,择优不删劣,低质件保留并标注品质档 | 同一焊道的重复采集按采集序号登记,不覆盖 | 复检产生的新图按复检序号登记,与原图并存 |
| 许可核验 | 按文档密级执行;含客户标识的图纸按入口脱敏规则处理 | 内部采集,按数据分级结论执行;画面中出现的人员与铭牌按脱敏规则处理 | 同左 |
热成像数据分别保存全辐射原始数据、逐像素温度数据和用于显示的图像,记录各数据文件、帧及像素区域之间的对应关系。温度数据同时登记单位、量程、无效像素或超量程状态、发射率、反射温度、大气透过率及实际采用的其他补偿参数;参数变更记录生效时间和适用帧范围。设备校准记录、测温配置及采集对象关联到相应数据,便于核验测量条件。
温度标注、区域统计及质量检查使用经核实的测温数据和适用参数,区分原始测量、校正结果及派生统计值,保留算法、参数和输入版本。检查图像与温度数据的尺寸、像素位置及时间对应关系,防止裁剪、缩放或错帧造成温度错配。显示图像保留调色和显示范围等参数,不通过颜色反推替代原始测温值;测温条件或数据有效性无法确认时,记录问题并限制进入要求温度真值的任务,完成核实、修复或补采后重新检查。
按采集任务所需的时间分辨率、设备能力和业务事件间隔确定允许时间偏差及检查方法,在采集前核验设备时间基准、同步方式和校时状态,并在运行中按计划及异常触发条件复核。首批试采用于验证配置和检查方法,正式采集数据从首批起执行相应要求,不以逐步改善替代应达到的同步条件。发现时钟跳变、记录缺失、偏差超限或配置改变时,及时确定影响时段,标识并隔离不满足时间关联要求的数据。
时间修正须有对应时段的同步日志、设备记录或经独立核实的共同事件等依据,记录原始时标、偏差方向、计算方法、适用区间及修正后不确定性。采用共同事件比对时核实其确为同一事件,并区分采集、传输和处理延迟,不以相似曲线或最近时间点直接认定钟差。缺乏可靠依据的时段保留时间不确定状态,不补造精确时标;修正后复查对象关联及受影响样本,必要时重新采集。测温校准异常另行评估和处理,不能用时间校正替代温度校准。
时序数据按来源系统、设备、测点及有效配置建立采集清单,登记采样或事件触发机制、字段类型、单位、量程、质量状态、时间基准及业务关联。采集前核对测点在目标时间范围内的启用、停用、替换和配置变更情况,采集过程中保留原始时标及记录顺序,并分别记录接收时间和加工时间。不同来源数据需要关联时,先完成时间与对象一致性核验,再按任务要求形成关联数据或派生序列,不直接将各系统时间字段视为同一含义。
焊接参数、温度、能耗、设备状态及报警等数据分别核实时间字段的产生位置和含义,区分设备测量时间、控制器事件时间、平台接收时间与数据库写入时间。结合实际同步日志、采集链路及试采记录检查时钟偏差、传输延迟、缓存补发、乱序、重复和时间跳变,记录各问题的影响时段及范围。跨来源关联须满足目标任务的时间精度及对象对应要求,不仅根据数值平滑或时间接近认定对齐正确。
对数据空缺和连续不变值,综合测点状态、设备运行记录、采集日志、通信情况及维护记录核查原因。设备停机、测点停用、通信中断、传感器故障和数据未提供分别登记;证据不足时保留原因未明状态,不将缺失值填成零值,也不把长期恒定值直接判为设备停机。需要修复或新增采集的形成处理任务,保留实际恢复时间和补采范围,不凭后续运行数据补造历史测量记录。
质量状态与时间校验记录按实际发生过程保存历史版本,记录检查时间、适用数据范围、依据、规则版本、结果及处理人员或任务。源系统提供的质量标志保持原值,并登记其定义和有效配置;采集侧生成的完整性、通信或格式检查结果单独记录,不冒充设备原生质量标志。状态更正保留原结果、修改依据及影响范围。
时钟偏差及修正参数按经核实的有效时段管理,保留同步前后记录、设备重启、时钟调整和配置变更等信息。历史数据修正使用其对应时段的可靠依据,当前测得的钟差不直接用于过去时段。不能确认历史偏差或变化规律的数据保持时间不确定标志,受影响的跨来源关联及样本须重新核验。
| 口径项 | 内容 |
|---|---|
| 受理清单 | 按测点清单逐点受理,测点清单随数据源登记表版本固定;受理前核对测点配置在该时间窗内是否有效,配置变更期的数据单列 |
| 格式与编码 | 时标、测点编号、测值、质量码四列为必备;测值按原始数值类型取回,单位与量程取自测点配置并随批次登记;状态与报警类的取值按参考数据标准的值域登记,表外取值登记为新值候选 |
| 采集粒度 | 保留源侧原始采样密度一份;统一步长一份按数据组分档生成,两份在血缘中互相指向(口径见 1.4.2) |
| 时间基准 | 以企业统一时间基准为准;各源系统的时钟偏差按源登记,偏差值与补偿方向写入数据源登记表,受理时按登记值补偿 |
| 校时周期与留痕 | 设备侧时钟按约定周期与统一时间基准核对一次,核对结果逐次留痕;两次校时之间的漂移按线性分摊补偿,分摊方式随批次登记 |
| 设备校准 | 温度、流量、浓度类测点按检定或校准周期登记校准记录与有效期;校准有效期已过的测点,其数据在批次说明中标注并在数据卡中限定用途 |
| 业务主键 | 设备号 + 测点编号 + 时标;经对象锚定后另挂工件号、焊道号或炉次号(口径见 1.4.4) |
| 版本登记 | 同一时间窗的重采或补采按采集序号登记新版本,原版本保留;重采样产出按算子指纹登记为派生版本 |
| 许可核验 | 设备数据属内部来源,按数据分级结论执行;涉及在役装备所属矿井位置的字段按地理信息的泛化规则处理 |
源侧提供质量码时保留原始值、含义及版本,核查质量码对应的测点和时间范围。源侧未提供时明确登记未提供,不推定为正常,也不生成与源质量码混同的替代字段。采集侧依据实际检查结果分别记录接收成功、通信异常、格式错误、时标异常、重复记录和按预期机制识别的缺样等状态,保留检查规则、输入证据及生成时间。
缺样判断结合测点是否启用、实际采样机制、事件触发条件及可核实日志开展;对仅在变化时上传的测点,不按固定周期无数据直接认定通信中断。设备停机、测点故障和正常无事件等业务状态须有相应设备或业务证据支持,无法判明时标为原因待核实。采集侧状态用于质量分析和问题处置,不直接替代设备测量状态或作为故障标签。
视频采集保存设备实际输出的原始文件或原始帧序列,登记采集任务、设备、视场、起止时间、实际帧率、分辨率、编码及文件完整性。原始录像与业务片段分别管理,保留原片连续关系和缺失区间,不因业务切段覆盖或丢弃原始内容。
依据可核实的工单、设备事件和采集记录建立片段索引,记录每个片段在原始视频中的起止位置、对应对象、业务阶段、分段依据及确认状态。焊接起弧、收弧及相邻阶段按实际任务需要确定覆盖范围,前后保留时长具有明确依据;热处理或检验录像按真实存在的采集范围及业务事件关联,不预设每段必然只含一个工件或炉次。一个片段涉及多个对象时分别登记时间和区域关系,不能确认边界的标为待核实。
供标注、检索或训练使用的切段文件按经确认的索引生成,保存分段规则、输入版本、处理参数及输出位置映射。后续修订边界或关联对象时形成新版本并追踪受影响样本,不重复人工裁切而丢失原片对应关系。
| 口径项 | 内容 |
|---|---|
| 受理清单 | 按相机位号与采集计划逐段受理;受理清册给出相机位号、覆盖工位或炉台、采集时间窗与预期段数,与实际落地段数核对 |
| 格式与编码 | 原始帧序列按相机软件开发工具包导出,保留逐帧时间戳与原始位深,作为溯源基准;另生成通用视频封装格式的归档副本供查看与标注,登记帧率、分辨率、编码参数与色彩空间。归档副本的参数变更即登记变更时点 |
| 采集粒度 | 以一次业务事件为一段:焊接按起弧至收弧并前后各留一段余量,热处理按装炉至出炉,检验按一次检验作业。段内保留全部帧,不在受理阶段抽帧 |
| 时间与设备校准 | 相机时钟按约定周期与统一时间基准校时,校时记录随批次保存;逐帧时间戳与同期时序数据的事件时刻比对一次,偏差超出约定范围的该段标注时基不确定。相机安装位姿、焦距与取景框变更即登记变更时点,变更前后的段不按同一取景框处理 |
| 业务主键 | 相机位号 + 段起止时刻为段主键;帧以段主键 + 帧序号标识。锚定后挂工件号与焊道号或炉次号,锚定依据与 1.4.4 的图像锚定一致 |
| 版本登记 | 同一事件的重复录制按采集序号登记,不覆盖;归档副本按转码参数登记版本,原始帧序列为唯一溯源基准 |
| 许可核验 | 按数据分级结论执行;画面中出现的人员、工牌与铭牌按入口脱敏规则在受理阶段处理,处理前的原片按最小权限存放 |
依据相机数量、实际分辨率、位深、帧率或编码码率、采集时长及保存要求测算视频存储容量,同时计入索引、元数据、派生副本、冗余保护和容量余量。采用试采实测文件量校核估算,按设备、任务和保存层级形成容量及吞吐需求,检查采集写入、转码、检索、恢复和交付过程的资源条件。容量不足时调整资源配置和经确认的存储方案,不自行降低应保存的数据完整性或设备采集要求。
原始数据按用途、追溯和交付要求确定保存范围、期限及访问方式,并在数据管理计划中明确。用于训练、标注、质检、验证和验收的资料保留所需原始证据及全部派生关系;其他采集资料按经确认的保存策略管理,不能仅因已生成可播放副本就认定原始信息可以舍弃。可采用分层存储安排访问频率不同的数据,迁移前后核验文件完整性、索引及恢复能力,保留迁移和恢复检查记录。保存策略变更须评估对样本追溯、质量复查和交付的影响,履行批准及记录程序。
按经确认的视频采集范围建立业务事件清单,核对每个应采事件的对象、起止时间、相关相机及实际录像位置。分别检查事件是否有有效影像、目标对象是否在视场内、关键过程是否完整、帧序列是否连续及画面是否可判读。一事件多段或一段多事件的按实际关联记录统计,不以录像段数与业务事件数的简单比值代替覆盖率。覆盖指标明确应采事件总数、合格覆盖事件数、排除项及依据,并保留逐事件明细。
首批试采验证触发、分段、时间关联和存储配置,正式批次从开始即执行质量要求,不以逐步接近代替完整交付。发现漏录、错录、缺帧、存储异常或目标未覆盖时及时登记并核查触发条件、设备状态、网络、容量及索引逻辑,明确影响时段和补救措施。对不合格资料隔离并禁止进入正式成果,设备排障期间按实际条件继续受控保存可获得的原始数据,避免无依据停止接收扩大缺口。修复后检查配置、试采结果及受影响关联,新增补采据实记录发生时间,不能冒充已错过的历史事件录像。
数据采集和加工按对象保存来源版本、采集实例、处理版本及授权状态,分别记录标识、生效时间、变更依据和适用范围。业务内容修订、设备或测点配置改变、重新采集、格式转换及授权调整分别登记,不将所有变化统一视为文件版本变化。相同名称或编号的对象发生内容、配置或适用范围变化时,核实其身份和历史关系,保留变更前后记录。
每个采集批次核对适用版本和授权条件,进入标注、训练、验证、共享或交付前再次检查相应用途是否获准。授权具有期限、对象、字段、地域或接收方限制的,保存具体条件并在访问和任务执行时落实。变更后沿来源与派生关系识别受影响数据、样本及已发布成果,执行相应限制、整改和复核,不仅修改当前登记表而忽略既有派生成果。
授权核验逐项确认允许的资料对象、字段、内容范围和使用方式。发现许可缺失、含义不清、版本不适用或条款冲突时,记录具体疑点、涉及对象、拟使用目的及所需确认事项,提交相应责任人员核实。未经确认不执行尚未获准的采集、存储、加工或对外提供操作;已经接收的资料按适用管理程序隔离并限制访问,保留必要的接收及处置记录,不能仅加限制标签后继续使用。
可独立使用的部分须有明确授权和可分离依据,核实与受限内容分开后不会泄露相关信息,且仍满足目标业务任务的完整性与质量要求。元数据、原始字段、结论摘录、脱敏副本和派生成果分别核验,删除部分字段或去除标识不自动产生使用权。不能确认可用范围的,继续补充授权或获取符合要求的其他真实来源;来源缺口列入补采任务,不能通过缩减应交付内容代替解决。
| 模态 | 版本的判定依据 | 同一对象多版本的处置 | 许可核验的要点 | 许可不明时的处置 |
|---|---|---|---|---|
| 文本(结构化) | 源系统的变更时间与版本字段 | 按变更时间保留历史,不以新值覆盖旧值 | 授权范围是否覆盖本次取数的表与字段 | 缩小取数范围至授权覆盖部分,差额列入缺口清单 |
| 文本(文档) | 文件内的版本号、发布日期与版本状态 | 现行件与历史件并存,建立替代关系 | 密级、可用范围、可否进入训练语料;外部件另核许可条款 | 仅登记元数据,正文不入库 |
| 图像 | 扫描批次或采集序号 | 多次采集并存,低质件保留并标注品质档 | 数据分级结论;画面中的人员与标识是否已按规则处理 | 整图标记为限制使用,不进入默认可见范围 |
| 时序 | 采集序号与算子指纹 | 原始密度版本与派生版本并存,互相指向 | 数据分级结论;位置类字段是否已按规则泛化 | 相关字段留空并标记,其余字段照常受理 |
| 视频 | 采集序号与转码参数版本 | 原始帧序列为溯源基准,归档副本按参数版本登记 | 数据分级结论;画面中的人员与铭牌是否已处理;涉及外来人员出镜的另核告知与同意记录 | 该段标记为限制使用,仅保留段级元数据 |
授权核验记录关联具体来源、资料对象、内容版本、字段或区域、使用目的及有效期间,保存授权依据、核验结果和确认记录。同一来源适用多项授权或限制时逐项登记,并明确各项条件的适用对象;不同用途分别检查,不以整批同一许可标签覆盖差异。
授权到期、撤回、范围调整或条件变更时,记录生效时间及适用依据,识别相关原始资料、派生样本、任务和已发布版本,按实际条件调整访问与使用范围,并跟踪整改结果。采集批次可根据管理需要分组,但对象级授权记录持续保留;历史资料和既有成果如何处理依据具体授权条件核实,不机械按采集时间切批后认定问题已解决。对尚未明确的影响范围保持受控状态,完成核验后更新记录并复查执行结果。
采集前建立数据源主记录,并按实际对象、接口、目录、授权范围及配置版本登记明细。来源登记关联原系统或文件提供方、责任主体、取数范围、授权凭证、采集配置和变更记录,形成可核查的来源证据链。登记记录与原始文件、接口响应、业务标识及交接记录相互关联,不以登记表填写完整替代真实性和授权核验。
新增或变化的数据来源先完成登记及必要核验,再纳入获准采集任务。尚未登记或来源不明的资料不直接进入正式加工批次;对已收到的文件按适用程序受控隔离,记录接收情况并补充来源和授权核实,核实通过后方可进入相应流程。
对业务部门临时补交、重新导出或通过其他通道提供的资料,登记提交主体、接收时间、文件清单、原始系统及业务范围,核实其与既有来源登记和授权记录的关系。文件名称、内容可读或提供人员属于企业内部,不作为来源和使用权限已确认的依据。已有登记未覆盖新增对象、字段、时段或用途的,先补充相应登记与核验。
资料进入加工批次后,保留原始文件或记录标识、采集任务、处理规则及派生样本的关系。发现来源缺失、授权超范围或关联错误时,及时识别同来源及其派生成果,暂停未获准用途,核实影响范围并执行整改。更正后的来源关系、处置结果和重新核验记录随版本保存,确保已加工样本能够回溯至实际原始资料。
数据源登记内容覆盖来源身份、责任主体、业务归属、采集对象、技术接入、授权条件、分类分级、脱敏规则及运行状态。登记项关联实际凭证和配置,不适用事项明确记录原因,尚待核实事项保留待核实状态,不用默认值填充缺失证据。
授权依据登记文件或记录标识、提供主体、允许用途、对象范围及生效条件,按实际条款记录终止日期、终止事件或其他有效性限制。未约定终止日期的如实登记,不能填造期限,也不直接推定为永久授权。对有期限或条件变化风险的授权设置复核安排,在到期、范围变更、对象新增或用途改变时重新核验;确认不再有效的授权及时停止相应操作,并检查已采集及派生成果的处置要求。
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
| 登记编号 | 字符 | 是 | 业务域码 + 源系统码 + 顺序号 |
| 源系统名称 | 字符 | 是 | 与采集接入章节的系统清单一致 |
| 所属业务域 | 枚举 | 是 | 供需计划/产品工艺设计/制造过程/产品质量/通用语料 |
| 数据集归属 | 枚举 | 是 | 对应四类数据集之一或多个 |
| 责任部门 | 字符 | 是 | 甲方侧数据责任部门 |
| 取数方式 | 枚举 | 是 | 接口、数据库只读视图、文件导出、实时订阅 |
| 数据内容范围 | 文本 | 是 | 表、字段或文件目录范围 |
| 更新频次 | 枚举 | 是 | 实时、日、周、月、按期间、一次性 |
| 授权文件编号 | 字符 | 是 | 甲方出具的授权依据 |
| 授权有效期 | 日期 | 是 | 到期前按约定提前复核 |
| 敏感等级 | 枚举 | 是 | 取安全方案的分级结论 |
| 脱敏规则版本 | 字符 | 是 | 关联脱敏规则表 |
| 登记状态 | 枚举 | 是 | 生效、暂停、作废 |
每次采集任务执行前,将实际配置的来源、对象、字段、行级范围、时间范围、接入方式及用途与有效授权逐项核对,保存任务配置版本、授权依据和核验结果。接口查询、导出模板或脚本修改涉及新增对象、字段、关联查询或用途时,先评估授权是否覆盖变化,未覆盖部分完成补充核验后再执行。
跨表关联或文件附件中包含其他主体资料的,核验关联结果及附件本身的使用范围,不能由主表或正文授权自动推定全部关联内容获准。采集完成后检查实际落地内容与已核验任务范围是否一致,发现超范围、错误路由或权限条件变化时,及时限制相关数据使用并处理受影响批次及派生记录,保留整改和复核结果。
许可核验采用共性检查与来源专项检查结合的方式。共性检查覆盖资料来源及权利主体、有效授权、拟处理目的、对象与字段范围、允许接收方、保存期限或条件、商业用途限制和交付要求,保留实际依据及核验结论。授权内容不清或与任务范围不一致的,先核实差异并补充必要条件,不扩大解释。
内部业务系统核查实际查询和关联范围;内部文档核查正文、附件、版本及可用于训练或交付的条件;含个人信息的数据同时检查处理必要性、授权条件、直接及间接识别风险、脱敏效果和后续使用限制;行业标准、学术文献和公开数据集核查具体内容版本及许可条款;厂商资料核查提供方的授权范围及其中第三方内容的限制。查阅许可、获取许可、训练许可与对外交付许可分别核实,不因已经脱敏或来自内部系统而省略其他检查。
不通过项按原因分别安排授权补充、范围更正、脱敏整改、来源核实或替代数据采集,明确责任和复核条件。完成单项整改后重新检查任务所需全部条件,未解决的受限内容不得进入对应加工或交付用途,不能仅因一次规则处理完成就判定整体可用。
逐批保存许可核验记录,包含来源及对象标识、任务与配置版本、核验用途、适用授权依据、检查范围、结果、异常项、处置及复核记录。核验结论关联实际授权文件、来源证明和采集交接资料,保证记录与真实数据及派生成果能够对应。
项目检查和质量评测所需材料按授权范围提供,核验台账、原始依据及问题处置记录相互一致;敏感凭证采用受控查阅或经确认的处理方式,不因提供证明而扩大资料访问范围。实际来源和使用条件发生变化时同步更新记录并检查相关成果,不用历史通过结论替代当前有效性核验。
| 来源类别 | 核验内容 | 判定规则 | 不通过的处置 |
|---|---|---|---|
| 内部业务系统 | 授权范围与取数范围是否匹配、授权是否在有效期内 | 取数范围须被授权范围覆盖,不作扩大解释 | 缩小取数范围或补授权 |
| 内部文档资料 | 文件密级、可用范围、可否进入训练语料 | 按安全方案分级结论执行 | 高密级文件不进入训练语料,仅保留目录信息 |
| 含个人信息的数据 | 是否已按分级结论去标识化 | 直接标识字段须已处理 | 退回脱敏步骤 |
| 外部行业标准与文献 | 许可类型、是否允许全文入库、是否允许用于模型训练 | 许可条款未明确允许的按不允许处理 | 仅登记元数据,不入全文 |
| 公开数据集 | 许可协议、署名要求、二次分发限制 | 按协议条款逐项登记 | 协议不允许的用途不使用 |
| 厂商资料 | 是否含第三方保密内容、是否有使用授权 | 无授权的不入库 | 退回来源方补授权 |
许可核验结论与来源、数据对象、内容版本、采集任务及实际使用目的关联保存,注明核验日期、依据、有效条件和未解决事项。每次新增用途、变更范围或交付版本时复核相关结论,发现依据失效或条件不再满足时及时限制对应使用并处理受影响成果。历史记录保留原结论和变更过程,不以更新后的状态覆盖既有核验记录。
在采集环节实施入口脱敏,对涉及个人信息、敏感地理信息、重要行业数据和企业秘密的数据,依据已确认的分类分级、授权用途及处理规则完成去标识化或脱敏。普通加工区、共享数据区及后续训练流程仅接收通过相应检查的数据,未完成必要处理的资料不得绕过入口直接进入正式加工批次。
优先在授权的源侧接口、导出步骤或受控采集处理环节完成敏感内容识别和处理。确需在处理过程中接触原始敏感数据的,仅限获准人员及任务,在隔离并受控的处理环境中按最小必要范围操作,明确临时文件、缓存、日志、备份和中间结果的保存与清理规则,不将原始敏感内容输出到普通运行日志或通用共享目录。必要原始证据的留存范围、期限和访问权限另行核验并按批准策略执行。
处理完成后校验文件及记录的完整性、脱敏效果和业务可用性,保存规则版本、任务、处理范围、检查结果及异常处置记录。发现遗漏、错误替换或任务绕过时,限制受影响数据的流转,排查原始及派生副本,整改并复核通过后再进入相应用途。
敏感字段按实际识别能力、业务必要性及授权用途确定处理方式,不只依据字段名称分类。姓名、证件号码、联系方式以及能够直接定位人员的工号等,按任务需要删除、替换或采取经验证的保护措施;确需保留跨记录关联时使用受控映射标识,原始身份信息与普通加工数据分开管理。岗位、班组、时间、位置等组合后可能识别个人的字段,结合实际数据分布检查组合风险,采用适当泛化、抑制或其他处理,不以归并一个层级就认定风险消除。
客户、供应商等业务标识的处理兼顾授权限制和任务所需关联。在明确的项目、用途及数据版本范围内保持必要的一致映射,区分不同来源的同值编码,记录映射范围及版本,防止错误合并对象。不要求假名保留原编号的大小顺序,也不默认允许跨用途关联;需要可逆映射的,仅在获准条件下受控保存映射关系和访问记录,普通样本使用者不能通过样本获得原始标识。
处理后同时检查敏感信息残留、对象关联准确性及业务可用性。用于统计或模型任务的字段经过泛化、区间化等变换时,记录变换规则及对精度、分布和结果解释的影响,不将变换后的值作为原始真实测量或交易值。
对工单备注、维修记录、报告正文及其他自由文本,结合格式规则、词典、上下文识别和适用模型检测人名、联系方式、证件号码、人员编号、地址及其他受限内容。核对文本中的别名、错写、分隔符变化和跨字段组合,检查附件、表格、页眉页脚、OCR 结果及文件元数据等可能保留敏感内容的位置。识别和处理任务在获准环境中执行,未经许可不将原始文本提交外部服务。
按数据类型、来源、识别规则和风险分层安排复核,重点核查规则未覆盖、识别冲突、异常格式及高风险对象,同时检查误删是否破坏故障描述、技术参数和业务关联。发现残留后追查相同来源、规则及处理配置影响的全部相关数据,修正规则并重处理,执行全量适用检测及必要人工核验。高风险缺陷完成整改并有复核证据后方可放行,不以抽检未发现问题替代高风险清零要求。
| 字段类型 | 典型字段 | 处理方式 | 技术口径 | 可逆性 |
|---|---|---|---|---|
| 直接标识 | 人员姓名、身份证号、联系方式 | 替换或遮蔽 | 整字段替换为类型占位,或保留首尾字符遮蔽中间 | 不可逆 |
| 准标识 | 岗位、所属班组、工号 | 泛化 | 归并到上一层级(如班组归并到车间) | 不可逆 |
| 需保留关联性的标识 | 客户编号、供应商编号 | 保序假名化 | 同一原值映射同一假名,映射表单独存放 | 受控可逆 |
| 金额与价格 | 合同金额、物料单价 | 按分级结论决定 | 高敏感的按区间化处理,低敏感的保留原值 | 区间化不可逆 |
| 地理与位置 | 矿井名称、工作面位置 | 按分级结论决定 | 敏感地理信息按区域层级泛化 | 不可逆 |
| 自由文本中的标识 | 工单备注、维修记录中的人名与电话 | 识别后替换 | 先命名实体识别,再按直接标识处理 | 不可逆 |
脱敏规则与字段、资料类型、授权用途及处理配置同步版本化,记录适用范围、变更依据和验证结果。每批对全部处理数据执行适用的自动检测,核查必处理字段、敏感模式、文件及附件范围、任务执行完整性和异常结果;人工复核根据数据来源、敏感程度、规则变化、识别风险及总体分布确定分层方式和样本量,保留选取依据和复核明细,不以固定比例覆盖所有场景。规定须全量检查的项目按全量执行,不能用 5% 抽检替代。
发现敏感信息残留、映射错误或系统性漏处理时,立即限制受影响批次及派生成果的使用,分析同来源、同规则和同配置的全部影响范围,修正规则并重处理,复查残留和业务可用性。需要整批重新处理的不得仅修补抽中的条目;高风险缺陷 100% 清零并有整改复核证据后方可放行。发布和交付前再次核对安全状态与实际数据版本,不能沿用整改前的通过结论。
必要的假名映射和密钥按职责分离及最小权限管理,映射信息与普通数据集分开保存,访问、查询、导出和变更均保留审计记录。明确映射版本、授权用途、保存期限及密钥更换后的关联处理办法,检查备份、恢复和注销等环节的控制效果;未经授权不向普通加工或交付使用者提供恢复原始身份所需的信息。
采集数据进入预处理前,执行文件解析、字符编码、记录结构、字段类型、必填项、标识唯一性、关联关系、时间格式、单位与值域检查。校验结果关联数据源、采集批次、文件或记录标识、校验规则版本和执行时间;文件级失败记录定位到文件,字段级失败记录定位到记录与字段。保留接收原件和原始字段值,转换结果独立存储,建立原值、转换规则和结果之间的对应关系。
发现工单起止时间倒置等业务逻辑异常时,核对源系统记录、字段映射、时间精度、时区依据、记录版本和补录情况,由数据加工人员与对应业务人员共同确认原因。存在有效业务例外的,记录证据和适用条件;无法确认的,隔离相关记录并暂停依赖该记录的关联、统计和样本生成。时间字段的时区可由字段值或经核实的数据源配置确定;缺少可靠依据时,保留原始时间表示并登记待核实事项,不擅自按服务器本地时区补齐。异常修复及复核通过后,重新执行受影响的校验和关联处理。
校验任务按文件、记录、字段和取值之间的依赖关系执行。文件接收后先核对传输完整性、格式标识、压缩或加密状态及解析器适配情况;可解析文件继续检查记录边界、字段结构和数据类型,再执行关联、时间、数值、单位、枚举及模态质量检查。每个校验项分别记录通过、不通过、不适用或因前置失败未执行的状态;不适用项必须具备明确的对象类型和适用条件,未执行项不得计为通过。
异常处理根据原因和影响范围确定。传输不完整的重新传输,解析配置错误的修正配置并重新运行,格式损坏或源导出内容缺失的回源核实后重新导出。涉及关键标识、授权、脱敏、时间关联或业务含义的不确定记录暂停用于下游生产;对同批次其他记录,核实其未受同一故障影响并完成全部适用检查后,按独立子批次记录处理结果。任何位置发现的异常均需形成问题记录、修复证据和复核结论,不以检查顺序作为放行依据。
采集前建立适用于各数据对象的格式校验规则,记录检查字段、规则表达式、适用条件、问题等级、处理方式和复核要求。必填字段根据对象定义及后续使用要求逐项确定,分别识别实际缺失、合法空值、条件不适用、解析失败和源记录不存在等情形,保留原始状态,禁止用占位文本或虚构数值补齐。对来源、授权、对象身份和必要业务关联等影响可用性的关键字段,存在未核实缺失时,相关数据不得进入依赖该字段的生产任务。
乱码、缺失及关联失败分别按文件、记录和字段统计,保存检查总量、失败数量、适用对象范围和去重方式,使统计结果能够复算。比例统计用于定位问题分布,不能代替对异常记录的处理。历史扫描件通过原件核对、图像处理、人工校读及来源补充等措施修复;无法可靠辨认的内容保留不确定标记并隔离相应加工结果,不按推测生成正文、数值或关联关系。
规则在投入执行前完成验证并形成受控版本,质量目标不因首批样本情况、资料年代或生产进度而降低。发现异常即开展定位和处置;调整规则时记录变更依据、影响范围和验证结果,对受影响数据重新检查,并保留旧版执行结果与新版复核结果。
| 校验项 | 校验内容 | 判定口径 | 不通过的处置 |
|---|---|---|---|
| 文件可解析性 | 文件能否被对应解析器打开 | 打不开即判不通过 | 入隔离区,回源侧重新导出 |
| 字符编码 | 编码是否为约定编码、是否有乱码 | 乱码率超过批次计划约定值判不通过 | 尝试编码转换,失败则回源侧 |
| 必填字段完整性 | 登记为必填的字段是否有值 | 按字段逐项统计缺失率,缺失率门限按字段重要度分档 | 关键字段缺失的记录入隔离区 |
| 主键唯一性 | 主键是否重复 | 存在重复即判不通过 | 按去重规则处理或回源侧确认 |
| 外键可解析 | 关联字段能否在对应主表查到 | 悬挂外键按比例统计 | 超门限的回源侧核对 |
| 时间戳格式与时区 | 格式是否统一、时区是否标注 | 无时区标注的按源系统默认时区补齐并登记 | 无法确定时区的记录标记 |
| 时间逻辑 | 开始不晚于结束、实际不早于计划下达 | 逻辑冲突即标记 | 标记后交业务侧确认 |
| 数值量程 | 是否落在物理量程内 | 超量程即标记 | 标记为疑似异常,交预处理环节判定 |
| 量纲与单位 | 单位是否与数据元标准一致 | 不一致的做单位换算并登记 | 单位缺失的回源侧确认 |
| 枚举值域 | 取值是否在参考数据标准的值域内 | 越界值登记为新值候选 | 候选提交数据治理环节确认 |
| 图像可读性 | 图像能否解码、分辨率是否达到约定下限 | 不可解码或低于下限即判不通过 | 回源侧重新采集或标记为仅存档 |
| 文件指纹重复 | 是否与已入库文件重复 | 指纹相同即判重复 | 不重复入库,登记引用关系 |
校验不通过的数据进入受控隔离区,问题记录载明来源、批次、对象标识、失败规则、异常位置、影响范围、责任岗位和处理状态。隔离数据限制访问和流转,禁止直接用于训练、评测或成果交付。需要源侧修复的,回传问题定位信息并核对重新提供的数据;能够在加工侧修复的,依据可核验原件、字段定义或已确认的转换规则生成修正版,记录修复前后值、证据、操作人、时间和工具版本,不覆盖接收原件。
人工修正由具备相应权限的人员执行,并由独立复核人员核验依据及结果;不得凭经验补造业务事实。修复完成后重新执行失败项及受影响的关联检查,确认通过后解除对应隔离状态。对已生成的下游结果记录影响范围,按需撤回、重算或重新生成。原件、隔离副本和处置记录分别按授权期限、保密要求及项目档案管理规定保存;到期处置履行审批和核验,保留处置记录,不因批次关闭自动删除全部追溯依据。
分别按供需计划、产品工艺设计、制造过程和产品质量业务域组织原始数据批次,并同步形成采集记录。每个批次设置唯一标识,关联数据源登记记录、采集任务、实际采集范围、时间范围、原始文件或记录清单、授权凭据及入口检查结果。对同一业务对象涉及多个源系统、文件或采集时点的情形,分别保存来源及版本,通过经核实的对象关系建立关联。
批次进入预处理时,同时移交数据清单、采集记录和异常处置记录。拆分、合并、重采和重新处理均生成可追溯的关联记录,使后续文件、记录、片段及样本能够反查原始来源。采集数量、文件数量、存储数据量、有效记录数量及后续各类数据集规模分别统计,不以批次数量替代样本条数或 Token 规模。质检按规定覆盖全部适用数据和指标,批次作为组织检查与追溯的管理单位,不改变全量检查要求。
授权记录关联可核验的许可文件及有效版本,明确数据范围、使用目的、允许操作、使用主体、期限和限制条件。脱敏记录关联实际执行的规则、处理对象、运行结果、复核证据及问题处置结论。格式校验记录保存适用规则、检查总量、失败对象、未执行项目、隔离数据和复核结果;授权、脱敏及格式校验分别形成结论,不以单一通过率替代综合判断。
每次采集与处理均保存当次执行记录,原始结论不得被后续结果覆盖。授权到期或变更、脱敏规则更新、发现新增风险或历史处理缺陷时,定位受影响数据及其派生结果,核验当前使用条件并执行必要的重新检查、限制使用、修复或撤回。复核记录关联原执行版本、变更原因、影响范围和新结论,同时保留历史过程与当前有效状态。数据再次用于加工、训练、评测或发布前,检查其当前授权和质量状态。
| 字段组 | 字段 |
|---|---|
| 批次标识 | 批次号、业务域、数据集归属、批次生成时间、业务时点 |
| 来源 | 数据源登记编号、源系统、取数方式、取数时间窗 |
| 内容 | 记录数或文件数、数据量、模态构成、字段清单版本 |
| 合规 | 授权文件编号、许可类型与有效期、脱敏规则版本、脱敏复核结论 |
| 校验 | 格式校验规则版本、各校验项通过率、隔离记录数、问题清单编号 |
| 锚定 | 对象锚定类型、锚定成功数、未锚定数 |
| 状态 | 入口检查节点判定结论、判定岗位、判定时间、批次状态 |
数据集加工生产平台记录采集批次的受理、挂起、形成、移交预处理、采集任务关闭和作废状态。接收数据时建立受理记录与唯一标识;授权、脱敏、格式或必要关联存在未解决问题的,进入挂起状态并记录隔离对象和解除条件。入口检查通过、清单及采集记录完整后,形成可移交的原始数据批次;预处理任务确认接收后,记录移交时间、接收清单和任务标识。
采集任务关闭须完成数量核对、问题处置或有明确后续责任的受控移交、记录归档及交接确认。采集任务关闭仅表示本次采集作业已结清,不代表后续加工、质量测评或数据集验收完成。因撤销、重复任务或来源失效而作废的,记录原因、授权审批及下游影响,停止相关任务继续使用;数据和记录的保存或删除按批准的处置要求执行。已移交数据发现问题时,根据影响范围暂停或撤回下游任务,修复后生成新版本并重新履行检查和交接。
每次状态变化保存原状态、新状态、原因、操作者、审批记录、时间和关联证据。平台支持按批次、来源、问题和下游任务查询与导出,保留完整历史,不以当前状态覆盖既往处置过程。
采集任务启动前完成数据源登记、许可核验及接入条件检查,确认来源、范围、用途、期限和允许的采集方式。数据接收时即建立任务、批次和对象标识,记录提供方、接收时间、清单、原始位置及检查状态;异常接收数据同样保留可追溯记录,并按权限限制存储和处理。授权缺失、过期或不涵盖拟定用途的,不启动相应采集;对已接收后发现授权问题的数据,立即暂停使用,核查影响对象和派生结果,按核实结论执行补充核验、限制、撤回或处置。
数据源登记、许可核验、入口脱敏和格式合规校验在采集环节完成。检查结果逐项关联证据,未通过的数据保持受控隔离,不直接进入后续生产。对象关联、业务时点、重复采集和清点一致性同步检查,分别形成明确结论;任一问题影响授权、安全、对象身份或内容可信度时,暂停相关数据及依赖任务,修复并复核通过后恢复处理。
对采集数据执行全量自动化脱敏检查,覆盖直接标识、组合识别信息、敏感字段、文档正文、图像文字及其他适用载体;按数据敏感程度、识别难度、规则变更和历史问题确定人工复核对象与方法。自动检查不能可靠识别的内容、存在冲突的结果和高风险问题进入专项人工核查,记录定位信息、判断依据和处理结果。人工抽样仅作为补充验证,不以固定抽样比例认定整个批次不存在泄露。
发现敏感信息残留时,隔离受影响数据及其派生结果,定位规则遗漏或执行缺陷,修正规则并对受影响范围重新处理和检查。高风险问题实现 100% 清除,中低风险问题完成 100% 整改;未达到相应要求的,不予放行。复核证据与处理对象、规则版本、执行任务及复核人员关联保存。
格式合规检查使用经验证的受控规则,按照对象适用条件逐项执行,分别记录全部检查对象、失败对象、未执行项目和原因。资料来源、年代和模态差异通过解析适配、原件核验、人工校读及数据修复处理,不降低质量目标,不采用按批次逐步提高门槛的方式替代达标。新发现的异常立即处置,规则变更后对受影响对象重新检查。
时序、图像和视频数据按实际业务关系关联设备、产品、工单、工序、炉次及相应时间区间。关联记录保存源标识、目标对象及版本、匹配依据、适用时间、处理方法和复核证据,区分已确认、待核实、冲突和不适用状态。按业务域、对象类型和批次分别统计应关联数量、已确认数量、待核实数量及冲突数量;多对多关联分别保存关系,不通过重复计数提高关联完成比例。
关联失败时核查标识映射、业务记录、采集时间、设备时钟和版本范围,依据可靠资料补充或修复。未确认关系的数据隔离于需要该关系的工序归因、缺陷定位和样本构建任务;存在其他合法且适用用途的,独立审核并明确记录使用限制。关联不足影响约定的业务覆盖或数据规模时,通过源侧补充、重新采集和关系修复满足要求,不能仅修改数据卡用途即视作完成。人工确认关系须保留可核验证据,不以经验推测替代真实关联。
| 控制点 | 方法 | 判定口径 | 责任岗位 |
|---|---|---|---|
| 来源可追溯 | 数据源登记表与批次台账双向核对 | 每一批次可反查到登记编号与授权文件,逐步接近可逐批追溯的状态 | 数据受理岗 |
| 授权完备 | 受理前核验授权范围、许可类型与有效期 | 授权缺失或过期的来源不生成批次 | 数据受理岗、安全管理岗 |
| 脱敏有效 | 规则校验 + 抽样人工复核,比例不低于 5% | 复核发现残留标识即整改并重跑该批次脱敏 | 安全管理岗 |
| 格式合规 | 规则库自动校验 | 各校验项通过率以首批标定值为基线按批次上调;隔离记录须有处置结论 | 数据受理岗 |
| 对象锚定 | 时序与图像数据同工单、炉次记录比对 | 锚定成功率按批次统计并公示,未锚定数据单列存放 | 数据受理岗 |
| 时点一致 | 批次统一业务时点,偏差登记 | 偏差超出批次计划约定范围时在批次说明中注明并提示下游 | 数据受理岗 |
| 重复入库 | 文件指纹比对 | 指纹相同的文件不重复入库,登记引用关系 | 数据受理岗 |
| 清点一致 | 落地清点单与通道侧交付单核对 | 数量不一致的先核对后受理 | 数据受理岗 |
数据采集形成按业务域组织的原始数据批次及配套记录。交付内容包括数据文件或记录、采集记录、数据源登记、许可核验及授权凭据、脱敏规则与执行复核记录、格式校验规则与结果、问题处置清单、对象关联记录和接收清点资料。每项成果标明唯一编号、适用范围、版本、形成时间、责任人员、存储位置及访问权限,并与对应批次和对象建立关联。
交付前核对数据清单、数量、校验值、文件可读性、记录完整性和引用关系,明确已通过检查的数据、受控隔离数据及未结事项。移交预处理的副本须满足授权、脱敏和格式要求;未经脱敏的受控原件不随普通加工包分发。接收人员根据清单核验并记录接收结果,对缺失、损坏、权限不符或关系不明的资料登记问题,补齐并复核后完成相应交接。
采集资料随对应数据版本同步维护并纳入项目成果档案。数据集发布时,数据卡中的来源、采集方式、形成时间、模态构成、许可条件和处理过程引用已核验的采集资料,确保登记内容能够追溯至具体证据。资料缺失、引用失效或结论不一致时,先完成补充核验及修正,再履行发布审批。
质量测评需要查验采集证据时,按授权提供可定位、可复核的资料及相应数据范围,保留资料提供和查验记录;涉及敏感内容的,采用受控访问或经审核的脱敏副本。项目交付提供采集记录结构、规则版本、运行和复核记录、查询导出方法及维护说明,保证后续增量采集能够沿用受控流程,并按实际变化更新来源、许可和质量记录。新增数据重新履行采集检查,不沿用历史批次的通过结论代替本次核验。
数据源登记资料按项目确定的职责和权限移交至指定接收人员,并与数据治理目录保持关联。登记内容包括系统和业务对象、接口方式、字段范围、增量机制、时间含义、调用限制、维护责任及验证记录。接口依赖、时间异常和增量能力等事项以实际检查结果填写,未核实事项单独标识并记录核实责任、所需证据和处理状态。
交接双方核对资料版本、数据范围、访问权限及未结事项,形成交接记录。后续源系统接口、字段、字典、权限或时间配置发生变化时,更新对应登记版本,通知受影响的采集和治理任务,完成适配验证后恢复或继续运行。敏感配置和访问凭据通过受控机制管理,不写入普通交付清单或公开资料。
| 产出物 | 形式 | 交付对象 |
|---|---|---|
| 各业务域原始数据批次 | 贴源区数据 | 预处理环节 |
| 采集记录 | 结构化表 | 预处理环节、数据卡回填 |
| 数据源登记表 | 结构化表 | 甲方信息化部门、数据治理环节 |
| 许可核验台账 | 结构化表 | 合规与安全环节 |
| 脱敏规则与复核记录 | 文档 + 结构化表 | 安全环节 |
| 格式校验问题清单 | 结构化表 | 源侧与受理岗 |
| 图纸与工艺卡片配对登记表 | 结构化表 | 预处理图像通道、标注环节 |
| 时序对象锚定登记表 | 结构化表 | 预处理时序通道、标注环节 |
| 落地清点单 | 结构化表 | 采集接入环节对账 |
数据源登记记录使用唯一资源标识关联数据资源目录,保存系统、业务对象、数据范围、责任人员和版本信息。新增或变更来源时,先核验登记内容及接口范围,再更新相应目录条目,记录变更原因、执行人员和生效时间。批次采集记录引用当次有效的资源版本,目录更新不覆盖历史批次的来源依据。
入口格式校验规则纳入数据质量规则管理,分别保存规则标识、版本、适用对象、表达式、执行参数、验证结果和生效状态。采集任务引用明确的规则版本并记录运行结果;规则修改完成验证后发布,定位受影响的历史批次及下游任务,按变更影响重新检查或处理,保留前后结果。
脱敏规则关联数据分类分级、授权范围、使用目的和安全控制要求。分类分级或使用条件变化时,开展影响评估,确定需要调整的规则、访问限制及受影响对象;规则变更经验证后实施,对相关数据及派生结果重新核查。移交现行规则、历史版本、验证资料及运行复核记录,确保目录、规则、任务和具体数据之间可双向追溯。
| 本环节产出 | 对应的治理成果 | 口径关系 |
|---|---|---|
| 数据源登记表 | 数据资源目录 | 按业务域登记来源,治理环节汇总为企业级目录 |
| 格式校验规则库 | 数据质量校验规则库 | 入口校验项是规则库的子集,规则版本同源 |
| 脱敏规则与复核记录 | 数据安全相关制度与记录 | 规则依据安全方案的分级结论 |
每次采集任务执行后,核对源侧导出或接口返回记录、传输任务记录和实际接收清单。对账使用同一任务标识关联采集范围、业务时间、增量位置、文件或记录标识、数量、校验值及执行状态。确认接收完整且入口检查通过后,形成相应交接结论;存在差异时登记具体对象和原因,完成重传、补采或更正后重新核对,不以任务显示发送成功代替实际接收确认。
对账覆盖数量、对象清单、业务时间范围、增量位置、字段结构、接口版本和内容完整性。增量采集核对前后任务的起止位置、检查点及实际返回记录,区分无新增数据、任务未执行、接口返回不完整和传输中断;无记录时核验源侧状态,不仅凭时间窗口连续即判定完整。
字段及格式对账比较本次返回结构与适用版本,检查字段增删、类型、长度、单位、枚举及可空条件变化。数量相同仍需核对对象标识和关键内容,防止重复记录抵消遗漏。发现差异后关联源侧与接收侧证据,定位到具体任务、文件或记录,确定补采、重传、映射修正或接口适配措施;修复后执行清点、结构及内容复核,并更新受影响批次的状态和追溯关系。
检测到未适配的接口或数据结构变化时,暂停受影响任务向生产区移交,保存最后确认的采集检查点、已接收数据、差异结构和错误记录。根据数据源的缓存、历史查询和补采能力制定恢复措施;对无法事后重取的数据,事先配置经批准的受控缓存或持续原始留存机制,避免适配期间出现不可恢复缺口。
核实变更涉及的字段、类型、单位、编码、枚举及授权范围,更新接口适配与校验规则,在隔离环境验证解析、对象关系、增量接续及下游影响。不同结构版本分别标识和处理,经映射验证后形成一致的加工结果,不无标识混入同一处理任务。恢复运行后从确认的检查点补采或重放,采用唯一标识和版本关系控制重复接收,核对暂停期间的完整性并完成复核后解除限制。
| 对账项 | 通道侧依据 | 受理侧依据 | 不一致的处置 |
|---|---|---|---|
| 交付数量 | 调度日志的记录数或文件数 | 落地清点单 | 差额按时间窗逐段核对,定位到具体调度批 |
| 时间窗完整性 | 取数时间窗 | 批次取数时间窗 | 时间窗有空洞的补调度 |
| 字段范围 | 接口返回字段清单 | 字段清单版本 | 字段缺失的核对授权范围与接口版本 |
| 链路异常 | 链路告警与重试记录 | 采集中断标记 | 中断时段登记并安排补采 |
| 格式变更 | 源系统接口版本变更通知 | 格式校验失败突增 | 暂停该源受理,待字段清单更新后恢复 |
每次对账形成结构化记录,关联采集任务、批次、源侧和接收侧清单、差异对象、影响范围、证据位置及判定结果。发现不一致即登记问题并指定处理责任,涉及接口版本、授权范围、源记录或业务含义的,由对应责任人员及时联合核查;影响数据完整性、来源可信度或安全性的,立即暂停相关数据流转。
处理完成后保存重传、补采、修正或版本适配记录,重新执行对账及受影响检查,由复核人员确认结果后关闭问题。相同原因重复出现时,分析配置、调度、接口和操作流程,采取防复发措施并验证;存在未结事项的批次明确限制用途和后续责任,不以备注代替修复。
采集交接由采集实施人员提交数据及配套证据,接收人员检查数据清单、来源、授权、脱敏、格式、对象关联和问题处置结果,质量及安全人员按职责复核;涉及业务含义、历史记录或对象关系的,由对应业务责任人员协同核实。具体接收和批准人员按项目确认的职责安排执行,实施方对采集、检查和交付记录的完整性及真实性负责。
异常退回根据核实原因确定处理责任和路径。传输缺漏或链路故障由采集人员组织重传、补采并复核;授权不足由相关责任人员补充核验,未解决前停止受限使用;源记录缺失或业务含义不明的回源核实;解析、编码和映射问题在受控副本上依据有效规则修复,原件损坏或无法确认的回源补充。每次退回保存对象清单、原因、证据、责任人员和处理状态,重新提交时核对新旧版本及修复结果,再执行入口检查和交接确认。
| 项 | 内容 |
|---|---|
| 输入 | 落地区的原始文件与原始记录;数据源登记表;授权文件与外部语料许可协议;数据分级结论 |
| 产出 | 各业务域原始数据批次、采集记录、许可核验台账、脱敏规则与复核记录、格式校验问题清单、图纸与工艺卡片配对登记表、时序对象锚定登记表、落地清点单 |
| 交接检查方 | 按项目确认的职责安排,由接收人员组织检查,质量与安全人员按职责复核;涉及业务含义、历史记录或对象关系的,由对应业务责任人员协同核实 |
| 交接检查方式 | 按业务域清点批次与采集记录,核对来源可追溯性与授权完备性 |
| 抽样或统计口径 | 批次台账逐批核对;脱敏复核不低于每批 5%;锚定成功率按批次统计 |
| 退回路径 | 入口检查节点不通过的批次挂起,不生成批次号;缺来源与授权的退回采集接入环节补齐;格式不合规的记录进隔离区并出问题清单;源数据本身的质量缺陷退回源侧 |
对入口检查通过的数据,按文档、图纸与图像、设备时序、视频、结构化与时序文本化分别配置预处理任务。文档处理形成保留章节层级和来源页码的结构化长文本;图纸与图像处理形成图像样本及图文对照记录;设备时序处理完成多测点时间对齐、重采样、缺失补齐与异常值处理,按报警、停机、开炉、焊接作业等事件形成时序片段与事件样本对;视频处理形成保留原始时间和事件关系的片段及代表帧;结构化与时序文本化形成可回查原始表单、工单、检验数据和运行曲线的自然语言样本。
预处理结果按供需计划、产品工艺设计、制造过程和产品质量业务域保存,并按预训练、指令微调、偏好对齐和基准测试用途进行受控组织。每个结果关联原始数据、处理任务、算子版本、参数、运行记录和检查结论。基准测试数据及其派生内容与训练用途隔离,保持真实来源和独立性,不引入任何形式的合成内容。预处理检查通过形成后续加工输入,后续质量检查、测评和发布条件分别执行,不以预处理通过直接认定数据集交付合格。
任务受理时识别文件格式、模态、业务对象、所属业务域、来源版本和允许用途,将数据分配至相应处理流程。同一业务对象涉及文档、图纸、图像、时序或视频时,分别执行适用处理,并通过可核实的对象标识、版本及时间关系建立关联。结构化与时序文本化任务引用相应的源记录或经检查的处理结果,按照实际依赖顺序调度,不将全部流程无条件串行或并行运行。
处理结果保存业务域、用途、原始对象与片段位置、处理版本及父子关系。拆分、合并和重新处理均生成可追溯记录,不能仅依靠批次号推定单个样本的来源与用途。复用算子时核验其适用格式、参数、单位和业务条件,对不适用对象设置明确的分支或异常处理,禁止以同一配置覆盖未经验证的数据类型。
视频处理先核对文件完整性、容器及编码、轨道信息、帧时间戳和时基,记录可变帧率、丢帧、重复帧、解码失败及时间不连续情况。保留原始文件及其版本,建立视频时间与业务事件时间的可核验映射;缺少可靠时间或对象依据的片段登记为待核实,不直接关联至具体工单或事件。
结合报警、启停和作业记录确定事件区间,在保留必要前后背景的条件下生成片段索引或处理副本,记录原始文件、轨道、起止时间、帧位置及分段规则版本。提取能够表达事件过程的代表帧,保存帧与片段、原视频及关联时序记录的对应关系。检查分段完整性、事件边界、画面质量和跨模态时间一致性;不以抽帧结果替代完整视频,也不将插值生成帧作为真实采集帧。预处理结果按业务域和允许用途保存,异常对象经核实修复并复核后再进入后续加工。
图 3 多模态数据预处理与异常处置流程
预处理任务按实际依赖组织解析、转换、切分、关联和检查操作,配置输入范围、输出结构、适用条件、运行参数及异常处理方式。每项操作登记唯一标识、程序或模型版本、依赖环境和规则版本,执行时核验前置条件并保存输入输出及运行记录。存在条件分支的,记录分支判断及实际执行路径;存在多源输入的,核对各输入的版本、对象范围和授权条件,条件未满足时暂停相关任务。
重新处理使用明确的输入版本和受控配置,保存运行环境、参数及适用的随机条件,并按对应质量规则核对结果。确定性操作检查应一致的内容;涉及随机或模型推理的操作按规定的质量指标和业务事实复核,重算结果的一致性以相应质量指标与业务事实判定。
| 算子属性 | 说明 |
|---|---|
| 算子编号 | 通道码 + 序号,全局唯一 |
| 算子版本 | 主版本.次版本,参数结构变化进主版本 |
| 输入契约 | 输入数据的形态、字段与前置算子 |
| 输出契约 | 输出数据的形态、字段与下游算子 |
| 参数集 | 可配置参数及其默认值、取值范围 |
| 失败判定 | 判定为失败的条件与门限 |
| 失败处置 | 重试、跳过并标记、整批回退三种之一 |
| 指纹 | 算子编号、版本与参数取值的哈希 |
任务失败后,先确认故障原因、输入版本、已有输出及受影响依赖。网络波动或服务暂时不可用等可恢复故障,按已配置的重试次数、间隔和停止条件重新执行;解析器超时同时检查文件规模、资源、配置和程序状态,未确认可恢复前不重复提交同一故障任务。恢复执行前核对是否已形成部分结果,防止重复写入或重复计量。
内容、结构或业务关系异常的对象进入隔离处理,保留原件、失败位置和处理记录。检查同源文件、同一模板、同一规则及关联对象是否受到影响,确认影响范围后分别处置;共享依赖或批次完整性受损时暂停相关批次,局部问题在证明其他对象独立且合格后按受控子批次继续处理。修复后重新执行失败操作及受影响的下游检查,完整记录未完成、受限和已通过对象,不能通过跳过异常对象使原批次显示全部合格。
对合同、招投标文件、管理制度、技术标准、设备档案、维修记录、诊断报告、故障案例和质量报告等资料开展文档预处理。接收时核验文件版本、页数、目录、附件及授权用途,保留原始文件和对应采集记录;根据原生文本、扫描图像及混合页面的实际结构选择解析方式。
完成版面解析、章节结构还原、表格与公式重建、正文切分和去重去噪,形成保留章节层级、来源页码、区域位置及原始对照的结构化长文本。对文档中的表格、图像、印章、签名和批注分别保留对象及关联关系,确保正文、附表、图注和结论之间能够回查。识别不清、结构冲突或原件缺失的内容记录异常并核实修复,不凭推测补全业务事实。经检查的结果按业务域和允许用途保存,供预训练及检索增强样本构建使用,其他用途依相应授权和质量要求执行。
解析前检查文件格式、文本层可提取性、字符映射、页面图像、图形对象、页数及加密状态,按页和区域确定处理路径。对可用文本层提取文字、样式和位置,对扫描或文本层损坏区域采用图像处理及文字识别;同一页面同时存在可用文本和扫描内容时分别处理,合并时保留来源区域,避免遗漏或重复识别。
原生电子文档、扫描文档和混合文档按其内容载体识别;表单和图纸按页面内容特征进一步分类,两类属性可同时存在。文本数量、内容密度和模型置信度用于发现异常,不单独作为页面真实性、完整性或解析正确性的判定依据。处理路径及切换原因关联到具体文件、页码和区域。
| 版式判定结果 | 判定依据 | 解析路径 | 失败判定 |
|---|---|---|---|
| 原生电子文档 | 文件内含可提取文本层,且文本层字符数与页面面积比例落在正常区间 | 结构树解析:读取样式、层级、表格对象 | 可提取字符数低于每页约定下限时改判为扫描件 |
| 扫描件 | 无文本层,或文本层为乱码 | 版面分析 + 文字识别 | 识别置信度低于门限的页进人工复核队列 |
| 混合版式 | 部分页有文本层、部分页无 | 按页分路,结果按页序合并 | 合并后页序不连续即判失败 |
| 表单类文档 | 版面以表格为主、正文占比低 | 表格优先解析,正文按残余文本处理 | 表格结构识别失败即整文件回退 |
| 图纸化文档 | 页面以矢量图元或图像为主 | 转入图纸与图像通道 | — |
完成版式识别后,按文件、页面和内容区域执行版面抽取及文字识别。任务记录关联原始文件版本、物理页序、页面尺寸、区域位置、处理路径及工具配置,保留原页图和处理副本。解析结果同时保存文本、表格、图形、批注及其关系,对内容遗漏、错序、识别差异和不可辨读区域形成问题记录。
处理过程按实际内容选择自动解析、文字识别和人工核验方式,对标题、正文、表格、公式、签章、页眉页脚及手写信息分别检查,确认结果与原始证据一致后进入章节还原和后续加工。共用规则或配置出现问题时,检查同类资料的受影响范围并重新处理,保存修复和复核记录。
接收解析任务后核对原文件、页数和页面尺寸,保存原始页图,建立物理页序与印刷页码、附件编号之间的关系。对疑似空白页、封面、分隔页及签章页检查实际内容并记录页面类型,原件及页序持续保留;经核验不含任务所需内容的页面可在特定文本输出中排除,但记录排除原因和原页位置,不直接删除原始页面。
图像预处理在副本上执行,按原件状况选择去噪、方向校正、纠偏和必要的图像增强,记录参数、工具版本及坐标变换。处理后对照原图检查小数点、正负号、上下标、细线、印章和浅色文字,发现细节损失时回退到原图并调整方法,不能以画面变干净代替内容完整性。
版面分析识别标题、正文、表格、公式、图形、图注、页眉页脚、签章和批注等区域,保存类型、坐标及包含、重叠和引用关系。跨栏标题、跨页表格、脚注和图文混排按实际阅读逻辑关联,结合段落连续性、编号、版面及上下文确定顺序;存在歧义时保留候选关系并人工核对,不强制按单栏或固定栏序合并。
可用原生文本优先按其实际结构提取;扫描或无效文本区域采用文字识别。表格恢复行列、表头和单元格关系,公式保存原始表示与结构,图形进入适用的图纸及图像处理流程并保留正文引用。印章、签名和手写内容单独识别、定位并与相关正文关联,识别不清时保留原图及待核实状态。
每个结果记录文件及页面标识、区域坐标、原始文本或图像位置、识别结果、工具或模型版本、实际参数及可用的置信提示。输出检查覆盖内容遗漏、重复识别、顺序、数字符号、表格结构和跨区域关系,关键字段与原件对照核验;置信分数、字符数和内容密度作为辅助信号,不能单独判定结果正确。异常定位到相应区域及依赖内容,修复后重新检查并保留版本。
文字抽取按区域保留结构和关联。表格内容与行列、表头、单位及合并关系共同输出,图形内文字与图元、标注或图像区域关联,正文引用与对应表格、公式、图像保持连接。对同一内容的原生文本和识别结果进行比对与去重,保留采用依据及原始位置,不能将二维关系压平成无法回查的字符串。
页眉页脚中的页码、版本、文件标识及重复版式信息分别登记;涉及实际条款、技术要求、变更或适用范围的内容经核验后纳入相应正文或结构字段。重复信息从特定正文输出中排除时保留原位置及排除规则。印章、签名与正文分别标识,并保存其对应对象和重叠区域;印章遮挡内容保持不确定状态,核实有效副本后再补充。
竖排、手写批注和更正内容采用适用识别及人工核查方法,记录原文、位置、关联段落、确认依据及有效状态。经确认有效的更正与原内容建立版本或更正关系,来源不明或无法辨认的批注保留为待核实资料,不直接写入确定性条款或训练标签。
折痕、污损、装订孔和遮挡区域单独登记质量问题,定位受影响的字符、单元格或技术要素;根据原件或其他有效副本核实,不由整页平均置信度掩盖局部错误。修复结果记录依据并重新检查相关内容的完整性和一致性。
纸质检验报告按实际页面内容识别报告名称、编号、检验对象、项目、结果、结论、签章、附注及页码等要素。报告包含多页、续表、附件、更正或复检资料时,核对各部分的文件关系、版本和检验轮次,保留物理页序及原始证据。
检验项目表按表头、项目、测量值、单位或标尺、技术要求和判定字段恢复结构,逐项核对数值及对应关系;检验结论关联适用对象、范围、依据和审核状态。签章与正文分别保存并记录对应位置,不凭印章文字自动认定报告真伪、授权范围或检验有效性。识别不清或关系冲突的内容登记核查任务,补证或人工复核后形成可用结果。
| 内容对象 | 处理要求 | 保存结果与关联 | 核验要求 |
|---|---|---|---|
| 报告标题与身份信息 | 按实际版面提取名称、报告编号、版本、对象及相关标识,结合正文和目录核对其含义 | 文件及版本标识、物理页序、区域位置、原始文本、识别结果、适用的章节关系、来源及复核状态 | 核对原件、字符与编号,区分报告名称、页眉和章节标题;身份或版本存在冲突时暂停合并 |
| 检验项目表 | 恢复表头层级、行列、合并单元格、单位、项目与结果关系,跨页续表保持连接 | 表格标识、页及区域位置、行列索引、表头路径、单元格原文与数值、单位或标尺、合并及续表关系 | 逐项核对关键数值、符号、精度、单位与行列对应,空值、未检、无效与零值分别表示,错误修复后复核 |
| 正文与检验结论 | 提取正文及结论,保留与检验对象、范围、依据和签审信息的关系 | 段落及区域标识、原文、阅读顺序、对象和项目引用、结论及适用范围、处理和审核状态 | 核对结论原文及所指对象,区分测量值、判定与后续处置;不从单个测值自行补写结论 |
| 印章、签名与更正 | 分别识别和定位,保存与正文、表格及对象的关联;遮挡或不清晰部分进入核查 | 原始图像位置、可辨认文字、签章或更正类型、重叠区域、对应对象、核实依据及状态 | 核对有效原件或副本,保留不确定内容;签章识别结果不单独构成真实性、授权或检验有效性的证明 |
| 页眉页脚与页码 | 区分重复版式、身份版本信息、页码及实质条款,按实际用途归入元数据或正文 | 物理页序、印刷页码、附件编号、文件及版本信息、实质内容位置、正文排除规则和依据 | 检查缺页、重页、编号变化及附件关系,不能仅因印刷页码跳号认定缺页,也不统一丢弃页眉页脚内容 |
| 图像、附件和批注 | 识别图注、附件引用、手写信息及其与报告内容的关系,保留原件和有效状态 | 对象及版本标识、页或区域位置、图文引用、批注原文、更正关系、来源和确认记录 | 检查附件是否齐全、对象和版本是否匹配,区分有效更正与待核实批注,未确认内容不得作为确定性业务事实 |
页级检查将解析结果与原始页面对照,核验全部有效内容是否被识别或明确记录为待核实对象,检查遗漏、重复、错序、错误切分及跨页关系。区域重叠根据实际版面区分签章遮挡、图文覆盖、容器包含和重复检测,保留真实关系,修正错误区域,不统一要求所有区域互不重叠。
表格检查覆盖表头、行列、合并单元格、跨页连接和数据对应,公式与图形检查关键符号、位置及引用关系。对编号、日期、金额、测量值、单位、正负号、小数点和结论等关键内容开展适用规则检查及原件核验,发现不一致时定位具体区域并复核受影响内容。
识别置信度、字符数量及内容密度用于选择核查对象和定位异常,不能单独作为合格结论。低置信但经原件核实的结果保留人工确认依据;高置信结果仍执行内容及结构检查。未经确认的关键内容及其依赖结果保持隔离,修复后重新检查并保存通过条件和复核记录。
文档解析异常处置与复核要求
| 异常情形 | 定位与判断 | 隔离及修复措施 | 恢复检查 |
|---|---|---|---|
| 文件或页面不可解析 | 核对传输完整性、实际格式、编码、加密状态、解析器及依赖,区分文件损坏、权限不足和工具不适配 | 隔离失败对象及依赖结果;按原因重传、在授权范围修复访问或解析配置、补齐资源,原件损坏时核实有效副本或重新扫描 | 重新解析并核对文件与页数、内容及清单一致性,确认所需对象完整可读,保留修复记录 |
| 清晰度或图像质量不足 | 定位模糊、过曝、污损、折痕、裁边、低有效分辨率及文字遮挡,检查关键内容是否可辨认 | 保留原图,在副本上采用经验证的处理;必要时回源调整采集或扫描条件并重采,不能靠插值放大补造细节 | 对照原件核验关键文字、数值、符号及图形信息,无法确认的内容保持受限状态,取得有效证据后再恢复 |
| 区域遗漏、重复或错误切分 | 对照实际版面区分真实重叠、嵌套关系与检测错误,检查正文、表格、图形和签章范围 | 修正区域识别、合并拆分规则或人工标注,调整参数须验证适用性;检查同配置处理的相关页面,不固定采用降低灵敏度或重试一次的方式 | 核对内容覆盖、重复抑制、区域关系、位置映射及下游抽取,修复依赖结果后复核 |
| 局部识别不确定或内容不一致 | 定位字符、数值、单元格及上下文,综合原图、有效文本层、规则检查和置信提示核实 | 隔离不确定区域及依赖内容,按原件人工核对或采用适配识别方法;其他区域仅在独立性和完整性已验证时形成受控结果 | 复核更正依据、原页定位、表头与正文关系及必要的跨页影响,保留人工确认记录,不因分数升高直接放行 |
| 页面整体识别或结构异常 | 检查系统性字符错误、方向、版面顺序、公共模板和内容遗漏,不能只按平均置信度判断 | 暂停该页及相关依赖结果,修复方向、模板、解析路径或输入质量;同类系统性问题扩大检查范围,必要时重新处理文件 | 核对页面内容、结构、关键字段和跨页关系,全部必要条件满足后恢复;不可恢复内容按授权归档并隔离于相关生产用途 |
| 阅读顺序存在歧义 | 核对跨栏标题、正文续接、脚注、图注、编号及目录等实际线索,保存候选顺序和冲突位置 | 在受控工作区人工确认实际阅读关系,修复结构并重建依赖文本,不强制按单栏顺序生成确定结果 | 按原页面核对段落连接、指代、条款及表图引用,复核后更新结构版本和相关切片 |
| 印章、签名或其他内容遮挡 | 检查真实重叠区域及被遮挡的字符、表格和结论,识别可辨认与不可辨认范围 | 保留签章及正文原始图像,核实同一文件有效副本、电子原件或其他获准证据;重扫仅在采集问题可改善时采用,不能擦除印章或推测补全文字 | 核对补充资料的对象与版本,确认恢复内容有可靠来源;仍不确定的保持标记并限制依赖该内容的索引和样本,保留处置依据 |
部分页面进入人工复核时,核查其与目录、跨页段落、续表、附件和其他页面的依赖关系。已确认不受影响的页面可继续受控处理,文件整体记录为部分待复核;依赖未确认内容的章节、索引、知识条目和样本暂停放行,防止局部结果被误当作完整文件。
复核完成后按原文件版本和物理页序合并处理结果,分别核对印刷页码、附件编号、跨页引用和结构关系。页面缺失、重复或版本不一致时定位受影响范围,补齐或修复后重新检查;仅因印刷页码跳号不直接判定缺页,不对已核实无影响的内容进行无依据的整体回退。
合并记录保存各页处理版本、复核结论、合并时间和输出版本,确认文件清单、必要内容和跨页关系完整后再形成可发布的整体结果。此前形成的局部结果保留来源与状态,后续替换或撤回时追踪已生成的索引及样本并复核。
章节结构还原综合核对原文标题、编号、段落样式、版面位置、目录、正文连接关系及文档可用结构信息。先识别章节标题、正文段落、列表项目、表图标题和公式编号,避免把正文中的数字序号或业务编号误判为章节层级。保留每个候选标题的原文、页码、区域位置和识别依据,结合上下文建立父子关系及阅读顺序。
编号、样式和目录一致时,按实际结构生成章节树并核对正文范围;出现冲突时,检查文字识别错误、跨页续接、目录版本、编号重启、附件独立编号及模板差异。目录、标签或样式的可靠性按具体文件核验,不采用固定的单项优先规则。无法确认的关系保存候选及冲突原因,交人工对照原件核实后再确定。
还原结果保留源标题及源编号,系统内部章节标识与原文编号分别保存,不能为了连续性改写原始编号或补造缺失章节。检查层级完整性、章节起止、父子关系、目录对应及表图引用,修复后重新验证受影响的文本切片和索引;未确认结构不作为确定性条款关系进入知识或样本。
| 还原项 | 方法 | 保留字段 | 失败判定与处置 |
|---|---|---|---|
| 标题层级 | 样式聚类 + 编号序列解析 | 层级号、层级路径、标题文本 | 编号序列出现断号且无法用样式补齐时,该文件标记为结构不完整,进人工复核 |
| 来源页码 | 解析时记录每一节的起止页 | 起始页、结束页 | 页码缺失的文件不进入条款级索引 |
| 正文位置偏移 | 记录每一节在全文字符流中的起止偏移 | 起始偏移、结束偏移 | 偏移与重解析结果不一致即判失败 |
| 目录校验 | 将还原结果与目录页比对 | 校验结论、差异条目 | 差异条目数超门限的进人工复核 |
| 附件与附录 | 按标识识别并单列 | 附件标识、所属主文件 | 无法判定归属的单独成件 |
表格重建是版式解析中最容易出错的一步,原因是表格的视觉结构与逻辑结构不一致。人看一张有线表,线框就是单元格边界;而扫描件的线框可能残缺、可能被折痕打断,按线框切分就会把一个单元格切成两个。无线表没有线框,只能靠文本对齐推断列边界,而工艺文档里常有跨列的说明文字,它会让列投影出现多个候选切分位置。
因此本节对每类表格都明确了失败处置,而不是只给处理方法。线框残缺的转无线表路径,是因为两条路径的失败模式不同,一条失败另一条可能成功;列数判定不唯一的进人工复核,是因为这种情形下自动选择必然有一半概率选错,而选错的表格会把整行数据错位,这类错误在后续加工中极难被发现。跨页表格不合并的条件写得很具体——表头不重复且无续表标记——因为误合并两张不相关的表,比把一张表拆成两张的后果严重得多。
公式处理上保留结构化表达而非转成图片,是为了让公式中的变量与数值可被检索与核算。材料定额、工艺参数窗口这类信息常以公式形式出现在工艺规程中,若只保留图片,这部分知识在数据集中就是不可用的。识别失败时保留原文字符串,至少使人工后续补录有据可依。
| 对象 | 处理方法 | 保留信息 | 失败处置 |
|---|---|---|---|
| 有线表 | 按线框检测切分单元格 | 行列索引、单元格合并关系、表头 | 线框残缺的转无线表路径 |
| 无线表 | 按文本对齐与列投影切分 | 同上 | 列数判定不唯一的进人工复核 |
| 跨页表格 | 按表头重复与续表标记合并 | 合并前各页范围 | 表头不重复且无续表标记的不合并,分别成表 |
| 嵌套表格 | 按层级分别重建 | 父子表关系 | 层级超过约定深度的降级为文本 |
| 行内公式 | 保留结构化表达 | 公式文本、变量符号 | 识别失败的保留原文字符串 |
| 独立公式块 | 保留结构化表达 | 公式编号、所在章节 | 识别失败的回退为图像并在正文留占位与引用 |
| 图片化公式 | 回退为图像 | 图像引用、所在位置 | — |
切分按「章节边界优先、长度边界兜底」的次序进行:先按还原出的章节层级切分,章节过长再按段落与句子边界二次切分,切片之间保留重叠窗口以免跨切片的语义被切断。
一份管理制度或技术标准动辄数十页,整篇既喂不进模型的上下文,检索时命中一整篇也等于没有定位。切分要解决的就是「一条内容多大算一条」:切点落在句子中间,语义被腰斩;切片跨了章节,不相干的内容被并进同一条;切完不留坐标,检索到了也回不去原文核对。
这张表定的是切分的六项参数口径,六项分三组。一级与二级切分依据两项回答按什么边界切,二者是次序关系而非并列;切片长度目标区间、重叠窗口、最小切片长度三项回答切多大,分别管上限、管衔接、管下限;保留字段一项回答切完之后能不能找回原文。
怎么读:口径一栏是判据,说明一栏给出该项要防的情形。切片长度按用途分档而不设统一值——预训练子集要长切片以保留上下文,检索增强要中等切片以提高命中精度,条款级索引取条款的自然长度。读完可得的判断是:切片既不跨章节混入无关内容,也不在句子内部断开,且每一片都带层级路径、页码与位置偏移,可回原文逐字核对。
| 切分参数 | 口径 | 说明 |
|---|---|---|
| 一级切分依据 | 章节层级边界 | 不跨章节切分 |
| 二级切分依据 | 段落边界,其次句子边界 | 不在句子内部切断 |
| 切片长度目标区间 | 按用途分档:预训练子集用长切片,检索增强用中等切片,条款级索引用条款自然长度 | 具体取值写入算子参数,随批次登记 |
| 重叠窗口 | 相邻切片保留一段重叠 | 重叠长度按用途分档配置 |
| 最小切片长度 | 低于下限的切片与相邻切片合并 | 避免产生无信息量的碎片 |
| 保留字段 | 层级路径、来源页码、位置偏移、切片序号 | 回查原文的依据 |
管理制度与技术标准另有条款级切分要求,在知识库环节处理,见 4.3。
去重分三层,各层方法与参数如下。
| 层级 | 方法 | 判定口径 | 处置 |
|---|---|---|---|
| 文件级 | 内容哈希比对 | 哈希相同即判重复 | 不重复入库,登记引用关系 |
| 段落级 | 最小哈希相似度过滤 | 相似度超过门限判近重复,门限按文档类型分档 | 保留版本较新或来源更权威的一份,其余登记为重复 |
| 句子级 | 模板化套话的频次统计 | 全库出现频次超过门限且不携带业务信息的句式 | 批量剔除并记录剔除规则 |
去噪处理下表所列噪声类型。
| 噪声类型 | 识别方法 | 处置 |
|---|---|---|
| 页眉页脚 | 跨页重复位置与重复文本 | 剔除,保留一份作为文件元数据 |
| 水印 | 固定位置的重复文本或图层 | 剔除 |
| 修订痕迹 | 修订标记与批注对象 | 按版本状态决定:定稿件剔除,草稿件保留并标记 |
| 目录残留 | 页码点线串与目录样式 | 剔除正文中的目录副本,保留目录结构 |
| 扫描噪点与倾斜 | 图像预处理检测 | 去噪、纠偏后再识别 |
| 乱码片段 | 字符分布异常检测 | 标记并剔除,超门限的整页进人工复核 |
| 空白页与分隔页 | 内容密度检测 | 剔除,保留页序记录 |
去重与去噪都保留处置记录,被剔除的内容可按批次回查。这一条是刻意保留的:下游若发现某类内容被误剔除,可按规则批量恢复,不必重新解析。
去重与去噪的作业步骤、规则与失败去向如下。
作业步骤。一、文件级:对入库文件逐件计算内容哈希,与已入库指纹库比对,命中即登记引用关系并跳过后续处理。二、切片级预分桶:对通过文件级的切片按长度与首部特征分桶,减少两两比对的范围。三、段落级近重复判定:桶内按最小哈希计算相似度,超过门限的成对标记。四、择一保留:成对的切片按来源权威度与版本新旧择一保留,其余登记为重复并指向被保留的那一条。五、句子级套话剔除:统计全库句式频次,超过频次门限且不携带业务信息的句式按规则批量剔除。六、去噪:按噪声类型逐项处理页眉页脚、水印、修订痕迹、目录残留、噪点与倾斜、乱码片段、空白页。七、处置登记:被剔除与被判重复的内容逐条登记,记录命中规则与所属批次。
判定规则。相似度门限按文档类型分档:制度与标准类文档的条款表述高度规范,门限设得严;维修记录与故障案例的表述自由,门限设得松。择一保留的次序是先看来源权威度(受控版本优先于打印件扫描、现行版本优先于历史版本),权威度相同再看版本新旧,两者皆同则保留先入库的一条。套话剔除设白名单:含有数值、术语表内词条、条款编号或对象标识的句子不剔除,即使频次很高——「按本标准第 X 条执行」这类句式频次高但携带引用关系,剔掉之后条款引用识别就失去线索。修订痕迹按版本状态处理:定稿件的修订标记剔除,草稿件保留并标记,理由是草稿中的修订过程本身是工艺与制度演变的素材。
输入输出实例。下例按本节的分层与判定规则推演,用于说明三层去重各自命中什么、处置记录怎么填;相似度数值与批次计数在首批标定后按实测回填,不代表现场实测结果。
输入:同一份工艺规程的三个来源件,以及一批维修记录切片。
| 输入对象 | 来源 | 命中层级 | 判定依据 | 处置 | 登记内容 |
|---|---|---|---|---|---|
| 工艺规程甲(受控版本) | 产品生命周期管理系统 | — | 未命中 | 保留,作为基准件 | — |
| 工艺规程乙(车间打印件扫描) | 车间现场 | 文件级 | 内容哈希与甲不同(扫描件带噪点) | 继续进段落级 | — |
| 工艺规程乙的正文切片 | 同上 | 段落级 | 与甲的对应切片相似度超门限 | 判近重复,保留甲 | 重复登记,指向甲的切片编号,记录相似度与命中规则 |
| 工艺规程丙(工艺员汇总表) | 个人整理 | 段落级 | 与甲相似度未超门限(内容有增补) | 保留,标注来源权威度为低 | 差异台账条目,交工艺工程师判定 |
| 维修记录中的「按规程执行,故障排除」 | 制造执行与设备管理系统 | 句子级 | 全库频次超门限,不含数值与术语表词条 | 剔除 | 剔除规则编号、命中条数、所属批次 |
| 维修记录中的「更换三号轴承,间隙调至规程下限」 | 同上 | 句子级 | 频次高但含对象标识与规程引用 | 白名单命中,保留 | 白名单命中登记 |
失败隔离路径。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 近重复过滤比例异常升高 | 本批次过滤比例较基线明显升高 | 暂停该算子,本批次切片原样保留在规范层待定区 | 复核门限并确认升高成因后重跑;成因为来源重复入库的,回采集侧核对清点 |
| 套话剔除后信息量低于下限 | 文件剩余有效字符数低于下限 | 该文件回退,撤销本次剔除 | 调整频次门限或补白名单后重跑该文件 |
| 去噪后字符损失率超门限 | 去噪前后字符数差值超门限 | 该文件回退并降低去噪阈值重试一次 | 重试仍超门限的进人工复核队列 |
| 择一保留择错 | 质检抽样复核发现保留了低权威度件 | 按被保留切片编号整批回查同一规则命中的条目 | 修正权威度登记后按规则批量重判,被误剔除的按处置记录恢复 |
| 指纹库冲突 | 两份内容不同的文件指纹相同 | 两份均保留并标记冲突 | 更换哈希算法重算该批次后解除标记 |
去重去噪的全部处置记录保留在废弃层,不随批次关闭删除。下游若发现某类内容被误剔除,按规则编号批量恢复即可,不必回到原始文件重新解析。
一份制度被切成上百条切片之后,每条单独看都只是一段文字:它出自哪份文件的哪一章哪一页、中间被删过什么、经过哪几道算子,都不在文字本身里。这张表定的是每条切片随身带哪些字段,才能脱离原件仍可核对。
十一个字段分四组。样本编号、源文件编号、文件名称与版本三项是身份,回答这条切片属于哪一批、出自哪一件的哪个版本。层级路径、来源页码、位置偏移三项是坐标,三者并列而非择一:层级路径供人按条款查,页码供翻阅原件,字符偏移供程序精确定位。正文文本、表格对象、公式对象三项是内容本体,表格与公式单列而不并入正文,是因为它们一旦被拉平成文字行,行列对应与符号结构就不可恢复。处置标记与算子指纹链两项是加工痕迹,前者记下这条切片在去重、去噪与人工复核中被怎么处置,后者使产出可按同一参数复算。
读完十一行可得的判断是:文档通道的每一条产出都能沿源文件编号与页码偏移回到原文的具体位置,沿算子指纹链回到生成它的处理过程。
| 字段 | 说明 |
|---|---|
| 样本编号 | 批次号 + 通道码 + 顺序号 |
| 源文件编号 | 关联采集环节的文件登记 |
| 文件名称与版本 | 原文件标识 |
| 层级路径 | 如「第 3 章>第 2 节>第五条」 |
| 来源页码 | 起始页、结束页 |
| 位置偏移 | 起始偏移、结束偏移 |
| 正文文本 | 切片内容 |
| 表格对象 | 结构化表格数据(若有) |
| 公式对象 | 结构化公式或图像引用(若有) |
| 处置标记 | 去重、去噪、人工复核的处置记录 |
| 算子指纹链 | 本样本所经各算子的指纹序列 |
产出:保留章节层级与来源页码的结构化长文本,供预训练子集与检索增强样本构建使用。
处理对象为工艺图纸(PDF)、CAD 图纸(DWG/DXF)、工艺卡片、熔池图像、焊后焊道表面图像与工件外观缺陷图像。
分路径的理由在于同为电子图纸,内里并不是一回事:有的文件保存着几何图元的坐标、图层名与文字对象,读它是取值;有的只是把图面印成了一张图片,读它只能靠算法推断轮廓与文字。两者的产出可信度相差一截,混在一条路径上处理,下游拿到一组尺寸就无从判断它是读出来的还是认出来的。
这张表就是把这道分界写成可逐项核对的条件。六项按从整体到局部排布:图元可读是前提,文件打不开则其余五项无从谈起;图层结构、尺寸标注对象、文字对象三项分别对应下游最依赖的三类信息——轮廓归类靠图层,精确尺寸靠标注对象,图面文字靠文本对象;视图投影关系与外部引用两项管的是图纸自身是否完整。
怎么读:中栏是达标条件,右栏不是一句「不合格」,而是该项不达标时改走的做法。六项的降级各不相同,多数只影响某一类字段,并不作废整张图。读完可得的判断是:同一批图纸交给谁判,路径归属都一致,且凡走降级路径的,其缺失字段与置信标记都随产出一并带到下游。
「什么程度算可进原生解析路径」需要一个明确口径,否则同一批图纸会被不同作业人员分到不同路径。判定规则如下表,按顺序逐项判定,任一项不满足即降级。
| 判定项 | 可进原生解析路径的条件 | 不满足时的降级路径 |
|---|---|---|
| 图元可读 | 文件能被原生解析器打开,图元对象可枚举 | 转栅格路径 |
| 图层结构 | 图层名可读,且与企业制图标准的图层约定可对应 | 原生解析但图层信息留空,图层相关字段标记为缺失 |
| 尺寸标注对象 | 标注以标注对象存在,而非散落的文字与线段 | 原生解析 + 标注重建,标注置信标记为中 |
| 文字对象 | 文字以文本对象存在,非图形化描边 | 对文字区域做识别补齐,置信标记为中 |
| 视图投影关系 | 视图边界可识别,视图间对应关系可按投影规则推断 | 仅做单视图解析,投影关系字段留空 |
| 外部引用 | 外部参照与块定义完整,无缺失引用 | 缺失引用的部分标记为不完整 |
降级不等于废弃:降级路径的产出仍可用于检索与图像标注,只是不进入需要精确尺寸的样本构建。这一分级口径与下游标注环节共用。
原生图元解析与图像识别是两条完全不同的路径,必须分开讲清。电子图纸中保存的是几何图元的精确坐标与属性,解析它是读取而不是识别,结果是确定的;扫描件只有像素,必须靠算法推断轮廓,结果带置信度。本节的五类解析对象都属前者,因此它们的抽取准确性不以识别率衡量,而以解析覆盖率衡量——即图纸中有多少图元被成功读出并归类。
五类对象中,图层信息的价值最容易被低估。按制图标准,轮廓线、中心线、剖面线、标注分别位于不同图层,图层名与线型本身就携带了语义;不读图层而只读几何,则所有线条都是等价的线段,轮廓还原要靠几何推断,准确性大幅下降。实际情况是企业的图层命名并不完全规范,存在自定义图层与混放情形,因此解析时按图层名与线型双重判据归类,两者冲突的进待确认列表,由工艺人员确认后形成本企业的图层映射表。
符号标注一类(粗糙度、坡口、倒角、形位公差、焊接符号)是备料与焊接工艺设计的直接输入。它们在图纸中既可能是块引用,也可能由线段与文字拼成;后一种情形无法按块读取,需按符号的几何特征与相对位置组合判定。这部分的实测覆盖率在预处理环节的质量报告中单列,因为它直接决定板材备料工艺智能设计场景的数据基础是否成立。
| 解析对象 | 抽取内容 | 用途 |
|---|---|---|
| 几何图元 | 线、圆弧、圆、样条、多段线的坐标与属性 | 轮廓还原、特征识别 |
| 图层 | 图层名、线型、颜色、可见性 | 按制图标准区分轮廓、中心线、剖面线、标注 |
| 尺寸标注 | 标注类型、测量值、公差、关联几何 | 尺寸提取、材料定额核算的输入 |
| 符号标注 | 粗糙度、坡口、倒角、形位公差、焊接符号 | 加工要求识别,作用表面范围判定 |
| 文字与属性 | 标题栏属性、技术要求文本、零件序号 | 元数据抽取 |
| 块与外部参照 | 块名、插入点、属性值 | 标准件识别 |
| 视图与边界 | 视图框、比例、投影方向 | 多视图投影关系推断 |
图面区域切分按图纸的固有分区进行,切分后分别抽取。
这样做的理由在图纸自身:工程图纸不是一幅画,而是有固定版式的文件——图框右下角是标题栏,上方或侧边是明细表,中间是视图,角落是技术要求与修改记录。这几块承载的信息性质不同,混在一起抽取,标题栏里的图号会和视图里的尺寸数字一样被当成普通文字,明细表的行列结构也会丢失。
表的三列对应三个问题:切哪一块、凭什么认出、认出来之后取什么。识别依据一列可见各区认法并不相同——标题栏靠固定位置加字段标签,明细表靠表格结构加序号列,技术要求区靠文本块加关键词,视图区则是排除法,图框内除去前几块之后的几何密集区。混用三类线索是刻意的:三者各有失效的场合,单靠一类在非标准图框上会失手。
横向读一行即知该区域的认定方式与产出字段。读完五行可得的判断是:一张图纸被拆成五块互不重叠的信息,标题栏与明细表供元数据与物料对应,视图区供几何与投影关系,技术要求区与修改记录区供文本条款与版本线索,图文配对与标注都从这五块取料。
| 区域 | 识别依据 | 抽取内容 |
|---|---|---|
| 标题栏 | 图框右下角固定位置 + 字段标签 | 图号、名称、材料牌号、比例、版本、设计与审核标识(标识字段按入口脱敏规则处理) |
| 明细表区 | 表格结构 + 序号列 | 零件序号、名称、数量、材料、备注 |
| 视图区 | 图框内除上述区域的几何密集区 | 视图边界、视图类型、所含图元 |
| 技术要求区 | 文本块 + 关键词(如「技术要求」) | 文字条款逐条切分 |
| 修改记录区 | 图框内的修改表 | 修改单号、日期、内容 |
建立三类对照,字段如下。
| 对照类型 | 关联键 | 字段 | 用途 |
|---|---|---|---|
| 图号与工艺卡片号 | 图号 | 图号、卡片号、物料清单行号、配对置信标记 | 工艺设计监督样本构建 |
| 图元与标注 | 标注关联几何的句柄 | 标注编号、关联图元标识、测量值、作用表面范围 | 尺寸与加工要求的结构化 |
| 图像与检验记录 | 工件号 + 焊道号 + 采集时点 | 图像编号、检验单号、检验项、结论 | 质量影像的标签来源 |
工艺过程图像另按工件号、焊道号与采集时点挂接到制造过程域的时序片段上,形成图像与参数的同期对照。挂接依据是采集环节的对象锚定登记。
图文配对是本通道中唯一产出监督关系而非产出内容的一步,配错的代价因此与别处不同:内容错了下游能看出来,配对错了下游看不出来,它只会在模型里变成一条错误的对应关系。本小节给出配对的步骤、判定规则、实例与失败去向。
作业步骤。一、取键:从图纸标题栏抽出图号、零件名称与材料牌号,从工艺卡片抬头抽出卡片号与所属图号,从图像元数据取工件号、焊道号与采集时点。二、一级匹配:按主键直接匹配——图号对图号、工件号加焊道号加时点对检验记录。三、二级交叉核对:一级匹配成功的,再用辅助字段交叉核对一次,零件名称与材料牌号两项同时对上才判高置信。四、三级兜底:一级匹配不成功的,按目录位置相邻、文件名相似度与物料清单行号三项线索给出候选,候选进人工核对队列。五、置信分级与登记:按前三步结果打高、中、低三档,逐条登记配对判定依据。六、反向校验:抽取已配对条目,从卡片号反查图号,核对是否回到同一条。
判定规则。一对一是常态但不是前提:一张图可能对应多个版本的工艺卡,一张卡也可能覆盖同族的几个图号。配对表按多对多登记,不强行压成一对一。主键对上而辅助字段对不上的,不判高置信而判中置信并进核对队列——图号相同而零件名称不同,多半是图号被重复使用或标题栏抽取出错,两种情形都不能直接采信。置信标记为低的配对不进入监督样本,只作为检索候选,这一口径与 2.3.1 的矢量化分级口径并列,都是「降级不废弃」。图像与检验记录的配对另有一条时间规则:采集时点须落在该焊道的焊接时间窗内或检验时点的约定邻域内,落在区间外的即使工件号焊道号都对也不配对,因为那多半是另一次返修或复检的图像。
输入输出实例。下例按本节定义的三级匹配与置信分级规则推演,用于说明配对表怎么填、三档分别对应什么情形;条数与比例在首批标定后按实测回填,不代表现场实测结果。
输入:四组待配对对象。
| 序 | 输入 | 一级匹配 | 二级交叉核对 | 三级兜底 | 置信标记 | 去向 |
|---|---|---|---|---|---|---|
| 1 | 图纸(图号、零件名称、材料牌号齐全)与同图号工艺卡片 | 图号对上 | 零件名称与材料牌号均对上 | — | 高 | 进工艺设计监督样本 |
| 2 | 图纸与工艺卡片,图号对上但卡片所载材料牌号不同 | 图号对上 | 材料牌号不一致 | — | 中 | 进人工核对队列;核对为版本差异的升为高,为图号重用的拆开重配 |
| 3 | 扫描图纸标题栏未识别出图号,同目录下有一张卡片 | 不成立 | — | 目录位置相邻、文件名相似 | 低 | 仅作检索候选,不进监督样本 |
| 4 | 焊道表面图像与该工件该焊道的检验记录,采集时点晚于焊接时间窗 | 工件号与焊道号对上 | 时间规则不满足 | — | 不配对 | 单列为复检或返修图像,待工单补充后重判 |
输出的配对登记条目字段为:图号、卡片号、物料清单行号、零件名称、材料牌号、配对判定依据(自动匹配/人工确认/待核对)、置信标记、核对岗位与时间、反向校验结论。
失败隔离路径。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 关联键缺失 | 图号或卡片号抽取为空 | 置信标记为低,进检索候选池 | 标题栏重新抽取或人工补录图号后重配 |
| 一对多超出合理范围 | 同一图号匹配到的卡片数超出约定上限 | 该图号的全部候选进人工核对队列 | 核对确定对应关系后按多对多登记 |
| 反向校验不一致 | 从卡片号反查不回原图号 | 该条配对撤销,两侧对象重回待配对池 | 查明键值重复或抽取错误后重配 |
| 图像时间规则不满足 | 采集时点落在时间窗外 | 单列为复检或返修图像 | 补到对应的返修工单后按新时间窗重判 |
| 批次配对率低于下限 | 本批次高置信配对占比低于批次计划约定的下限 | 暂停该批次进入标注,不暂停受理 | 核查标题栏抽取与图号清册后重跑配对算子 |
| 抽样复核发现错挂 | 质检岗抽样核对命中 | 按图号整批回查同一规则命中的条目 | 修正匹配规则后批量重判,错挂条目撤销并留痕 |
配对率按批次统计并公示。首批以试点产品型号的图纸与卡片标定基线,后续批次逐步接近每一张有卡片的图纸都带高置信配对的状态;连续两个批次高置信占比低于下限,暂停该来源的自动配对,转全量人工核对并排查标题栏抽取算子。
规范化要在两个相反的要求间取平衡:下游标注与训练需要样本格式一致,而工业图像的判读价值恰恰藏在原始细节里。常规图像预处理习惯做自动增强与压缩,放在熔池图像上会出问题——亮度一经自动调整,熔池形态与温度线索就被改写了。这张表回答的是:哪些可以统一,哪些必须原样留着。
六个处理项分两类。格式统一、分辨率、区域切分三项为统一服务,各带一个保底条款:原始文件保留、不达下限的只标记为仅存档不删除、切分按采集点位固定取景框而非画面内容。色彩与曝光一项为保真服务,不做自动增强。元数据与脱敏两项解决另一问题——一张图像脱离采集时点、相机位号、工件号与焊道号,就无法与参数和检验结论对上,画面里出现的人员与铭牌则须按入口规则处理。
横向读一行即知该项的处理口径与例外。读完六行可得的判断是:规范化只动承载形式,不动可判读内容;凡可能改变判读结论的操作一律取「保留原始、另行标记」,与矢量化分级的「降级不废弃」同理。
| 处理项 | 口径 |
|---|---|
| 格式统一 | 统一为约定的无损或低损格式,原始文件保留 |
| 分辨率 | 低于约定下限的标记为仅存档,不进入标注样本 |
| 色彩与曝光 | 熔池图像保留原始亮度信息,不做自动增强,避免改变可判读特征 |
| 区域切分 | 按采集点位的固定取景框切出有效区域 |
| 元数据 | 采集时点、相机位号、工件号、焊道号、工序、关联参数窗 |
| 脱敏 | 画面中出现的人员与铭牌信息按入口脱敏规则处理 |
产出:可用于多模态标注与训练的图像样本及其图文对照记录。
处理对象为 SCADA、热处理群控、EMS、SOS 等来源的设备时序数据。处理动作为多测点时间对齐、重采样、缺失补齐与异常值处理,并按事件锚定切分时间窗。
时间对齐是制造过程数据加工里最不显眼也最容易塌方的一步。它不显眼,因为对齐做对了看不出来;它容易塌方,因为一旦错位,后续所有基于时序的分析都会得出看似合理却完全错误的结论——焊接电流的峰值被对到了上一道工序的时间窗里,模型学到的就是一个凭空的关联。
本节把对齐拆成五个处理项,核心是先解决基准、再解决相位、最后用事件锚点做二次校正。源系统时钟偏差先按源登记并补偿,这是基准层;各测点按主测点时标做最近邻或插值对齐,这是相位层;在此之上再以开炉、起弧这类物理事件为锚点校正一次,因为前两层只能消除系统性偏差,消除不了设备启停的记录延迟。三层做完仍有残差超门限的,整段标记而不是强行使用。
失败处置一列全部指向「标记」而不是「丢弃」。时基不确定的数据仍有价值——它可以用于不依赖精确时序的任务(如工况分布统计),只是不能用于需要时序因果的任务(如参数到缺陷的归因)。把它标记出来而不是删掉,使数据集的可用范围由使用方按任务判断,而不是在加工阶段替使用方作决定。这一原则贯穿本节各环节:不可用的信息要被标出,不要被抹去。
| 处理项 | 方法 | 参数 | 失败处置 |
|---|---|---|---|
| 时间基准统一 | 以企业统一时间基准为准,各源系统时钟偏差按源登记并在对齐时补偿 | 偏差值、补偿方向 | 偏差未知的源,该时间窗数据标记为时基不确定 |
| 时区归一 | 统一到约定时区并显式标注 | 目标时区 | 无时区信息的按源系统默认时区补齐并标记 |
| 采样相位对齐 | 以主测点时标为参照,其余测点按最近邻或插值对齐 | 对齐容差 | 超容差的测点在该窗内标记为未对齐 |
| 跨系统对齐 | 以事件时刻(开炉、起弧)为锚点做二次校正 | 锚点类型、允许平移量 | 校正后残差超门限的整段标记 |
| 对齐校验 | 跨测点时标一致性校验 + 同期事件比对 | 一致性门限 | 发现跨测点错位的,该设备该时间窗整段回退重对齐 |
重采样按物理量性质选择方法,不用一种方法处理所有量。
| 物理量类别 | 典型测点 | 重采样方法 | 说明 |
|---|---|---|---|
| 温度类 | 淬火前后表面温度、层间温度、返热温度 | 窗内均值 | 保留窗内极值作为附加字段 |
| 电气连续量 | 实时电流、实时电压、加热功率 | 窗内均值 + 均方根 | 焊接侧另保留原始密度版本 |
| 频率与速度 | 频率、焊接速度、送丝速度 | 窗内均值 | 变化率作为附加字段 |
| 流量与浓度 | 淬火液流量、浓度、保护气体流量 | 窗内均值 | 零值与停机状态区分标记 |
| 几何量 | 感应器间隙、焊枪摆动振幅 | 窗内均值 | 设定值与实际值分列 |
| 状态类 | 设备运行状态、启停状态、变位机状态 | 窗内众数 | 状态翻转次数作为附加字段 |
| 累计量 | 能耗、运行时长 | 窗内差分 | 计数器回绕按规则修正 |
| 事件类 | 报警代码、起弧与收弧 | 不重采样 | 事件原样保留并带时标 |
统一步长按数据组分档设定,写入算子参数并随批次登记;焊接参数在统一步长版本之外另保留原始密度版本,供需要细节的样本构建使用。
作业步骤。一、取物理量类别:按测点配置查出该测点的物理量类别,据此选定重采样方法,类别缺失的按本体能耗与工况类目的属性回查。二、定窗:按统一步长划分重采样窗,窗边界对齐到整步长时刻,不按数据起点随机对齐,否则不同测点的窗边界错开,后续横向比较仍对不上。三、窗内聚合:按方法表计算窗内值,同时计算附加字段(极值、均方根、变化率、翻转次数)。四、有效性判定:统计窗内有效点数,低于下限的窗不产出聚合值,标记为有效点不足。五、双份落地:焊接侧与热处理侧在统一步长版本之外另落原始密度版本,两份互相指向。六、登记:写入算子指纹,含统一步长取值、方法表版本与各测点的方法选择结果。
聚合规则。连续量取窗内均值,电气量另取均方根——焊接电流的有效值与算术均值在波形不对称时差别明显,而缺陷相关的是有效值。状态类取窗内众数而非首值或末值,并把翻转次数作为附加字段保留,因为一个窗内状态翻转三次与稳定不变,众数可能相同而工况完全不同。累计量取窗内差分,计数器回绕按量程上限修正,修正动作逐次登记。事件类不重采样,原样保留带时标——事件一旦被归并到窗里,它的发生时刻精度就降到了步长量级,而事件锚定切窗正是靠这个时刻定边界的。有设定值的参数,实际值与设定值分列重采样,不先作差再重采样,理由是差值的重采样会把符号相反的偏离互相抵消。
输入输出实例。下例按本节的方法表与窗口规则推演,用于说明同一个窗内不同物理量各自产出什么字段;数值在首批标定后按实测回填,不代表现场实测结果。
输入:一个统一步长窗内的五类测点原始采样。
| 测点类别 | 窗内原始点 | 重采样方法 | 输出主字段 | 输出附加字段 | 有效性判定 |
|---|---|---|---|---|---|
| 实时电流(电气连续量) | 窗内多点连续采样 | 均值 + 均方根 | 窗内均值、窗内均方根 | 窗内最大值、最小值、变化率上界 | 有效点数达下限,产出 |
| 层间温度(温度类) | 窗内多点连续采样 | 均值 | 窗内均值 | 窗内极大值、极小值 | 有效点数达下限,产出 |
| 变位机状态(状态类) | 窗内若干次状态记录 | 众数 | 窗内众数状态 | 状态翻转次数 | 有效点数达下限,产出 |
| 能耗读数(累计量) | 窗首与窗尾读数 | 差分 | 窗内增量 | 是否发生计数器回绕、修正量 | 窗尾读数小于窗首且未判回绕,标记待判 |
| 起弧标记(事件类) | 窗内一次事件 | 不重采样 | 事件类型、原始时标 | — | 原样保留 |
同一窗的输出另带三项公共字段:窗起止时刻、窗内有效点数与总点数、本窗所用算子指纹。焊接侧的原始密度版本与本窗在血缘中互相指向,指向关系写入对照关系表。
失败隔离路径。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 方法表未覆盖该物理量 | 测点配置的物理量类别在方法表中查不到 | 该测点本窗跳过并标记,同窗其余测点照常产出 | 方法表补该类别后重跑该测点,不整批重跑 |
| 窗内有效点不足 | 有效点数低于下限 | 本窗不产出聚合值,标记为有效点不足 | 缺失补齐环节补短缺口后按补齐结果重算 |
| 窗边界未对齐 | 窗起止时刻不在整步长时刻上 | 整段回退重划窗 | 修正对齐基准后重跑 |
| 计数器回绕判定不成立 | 窗尾读数小于窗首,但差值不接近量程上限 | 该窗增量标记为待判,不进入能耗统计 | 核对量程配置或源侧读数后重算 |
| 双份落地缺一 | 焊接侧或热处理侧只产出了统一步长版本 | 该批次该通道回退 | 补落原始密度版本并建立互指关系后重跑 |
| 同指纹复算结果不一致 | 质检岗按算子指纹复算命中 | 暂停该算子版本,受影响批次按指纹定位 | 查明不确定性来源并固定后重发版本 |
| 缺口长度 | 判定 | 处置 | 标记 |
|---|---|---|---|
| 单点缺失 | 相邻点均有效 | 线性插值 | 标记为插值值 |
| 短缺口 | 缺口长度不超过约定上限 | 线性插值或前向填充(状态类用前向填充) | 标记为插值值并记录缺口长度 |
| 长缺口 | 缺口长度超过约定上限 | 不补,整段标记缺失 | 标记为缺失段 |
| 整测点缺失 | 该窗内测点无任何数据 | 不补,字段留空 | 标记为测点无数据 |
| 采集中断 | 多测点同时缺失且时长相近 | 判为链路中断,整窗标记 | 标记为采集中断并提示采集接入环节 |
补齐与否的边界由下游用途决定,因此预处理只做两件事:按规则补短缺口,并把所有补齐动作标记清楚。插值值在样本中可被下游按需过滤。
作业步骤。一、缺口识别:按测点逐段扫描时标序列,识别缺口位置与长度;多测点同时缺失且时长相近的先判为采集中断,不按单测点缺失处理。二、缺口定级:按单点、短缺口、长缺口、整测点缺失、采集中断五档定级,分级门限按物理量类别分档写入算子参数。三、方法选择:连续量用线性插值,状态类用前向填充,累计量不插值只标记——累计量插值会凭空造出一段并不存在的用量。四、执行与标记:按方法补齐,逐点写入插值标记、缺口长度与所用方法。五、比例统计:按测点统计插值点占比与缺失段占比,写入批次质量字段。六、超限处置:占比超出批次计划约定上限的测点,整段不补并标记,交质检岗判定该测点在本批次的可用范围。
补齐规则。补短不补长,是本节最硬的一条:缺口越长,插值出来的值与实际偏离越远,而下游无从知道这一段是造出来的还是测出来的。因此长缺口一律不补,整段标记缺失。状态类即使是单点缺失也不用插值而用前向填充,因为状态是离散的,两个状态之间的线性中间值没有物理含义。跨工况分段边界不插值:边界两侧属于不同工况,用一侧的值去补另一侧会把工况切换抹平。事件类不补,事件没有发生就是没有发生。采集中断判定成立的整窗不补,并回提采集接入环节核对链路告警与重试记录,与 1.15 的对账口径一致。
输入输出实例。下例按本节的定级与方法规则推演,用于说明五档缺口各自怎么处置、标记字段怎么填;缺口长度门限在首批标定后按实测回填,不代表现场实测结果。
输入:一个事件窗内五处缺口。
| 序 | 缺口情形 | 定级 | 处置方法 | 输出标记 | 对下游的影响 |
|---|---|---|---|---|---|
| 1 | 淬火液温度单点缺失,前后点均有效 | 单点缺失 | 线性插值 | 该点标记为插值值 | 可用于全部任务;需严格实测的任务可按标记过滤 |
| 2 | 加热功率连续缺失数点,未超短缺口上限 | 短缺口 | 线性插值 | 标记为插值值并记录缺口长度 | 同上 |
| 3 | 层间温度连续缺失超出短缺口上限 | 长缺口 | 不补 | 整段标记为缺失段 | 该段不进入需要连续温度曲线的样本;窗内其余测点不受影响 |
| 4 | 感应器间隙在本窗内无任何数据 | 整测点缺失 | 不补,字段留空 | 标记为测点无数据 | 该窗不进入需要该参数的样本;在数据卡中按测点登记覆盖缺口 |
| 5 | 炉温、功率、流量三测点同时缺失且时长相近 | 采集中断 | 整窗不补 | 标记为采集中断,提示采集接入环节 | 整窗退出本批次有效区间;补采后按新采集序号并入同一批次体系 |
| 6 | 设备运行状态在工况分段边界处单点缺失 | 单点缺失但跨边界 | 不插值 | 标记为跨工况边界未补 | 该点按未知状态处理,不参与状态翻转计数 |
输出另带三项统计字段随批次保存:本测点插值点占比、缺失段总时长占窗长比例、采集中断窗数。
失败隔离路径。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 缺口判定失败 | 时标序列本身不可解析或存在重复时标 | 整段标记缺失,不做补齐 | 时间基准统一环节修正后重跑 |
| 插值点占比超上限 | 本测点插值点占比超出批次计划约定上限 | 该测点本批次整段不补并标记,交质检岗判定可用范围 | 源侧补采或测点修复后按新采集序号重新受理 |
| 补齐后分布异常 | 补齐前后的统计分布偏移超出约定范围 | 撤销本次补齐,恢复原始缺口 | 核查插值方法选择与缺口定级后重跑 |
| 采集中断频发 | 同一链路连续多窗判为采集中断 | 暂停该源受理,整段数据保留但标记 | 采集接入环节核查链路并出结论后恢复 |
| 状态类被误插值 | 质检抽样发现状态字段出现非值域取值 | 该测点整批回退重做补齐 | 修正方法选择表后重跑 |
异常判定按三道判据顺序执行,任一道命中即标记,并记录命中的判据。
| 判据 | 方法 | 参数 | 说明 |
|---|---|---|---|
| 物理量程校验 | 与测点量程、物理可行区间比对 | 量程上下限 | 量程取自测点配置,配置缺失的按本体的正常区间字段 |
| 变化率校验 | 相邻点变化率与该物理量的可行变化率比对 | 变化率上限 | 温度、流量类设上限;电气量按工艺特性单独设定 |
| 同工况统计离群 | 同设备同工况历史分布的离群判定 | 离群判定方法与门限 | 需先有工况分段,首批次以试点设备标定 |
判定为异常的点标记而不直接删除,删除动作留给下游按用途决定。这是本方案的刻意选择:预处理不替下游做取舍,只提供标记。异常点占比按测点统计,占比异常升高时触发传感器可信度核查,核查结论回写测点配置。
作业步骤。一、取判据参数:从测点配置取量程上下限与可行变化率,配置缺失的取本体能耗与工况类目的正常区间字段,两者皆缺的只做变化率判定并标记。二、量程判定:逐点与物理可行区间比对,越界即标记并记录越界幅度。三、变化率判定:计算相邻点变化率,超出该物理量可行变化率上限的标记。四、同工况离群判定:在已有工况分段的前提下,与同设备同工况的历史分布比对,离群点标记并记录所用判定方法与门限。五、命中登记:每个被标记的点记录命中了哪一道判据,三道都命中的记三条,不合并。六、占比统计与回查:按测点统计异常点占比,占比异常升高时触发传感器可信度核查,核查结论回写测点配置并回流本体。
判定规则。三道判据顺序执行而非择一:量程判据抓的是明显不可能的值,变化率判据抓的是物理上来不及的跳变,离群判据抓的是看起来正常但与同工况历史不符的值,三者抓的是不同的东西。标记不删除是本节的原则——被判为异常的点中,一部分确实是测量故障,另一部分恰恰是真实发生的工艺异常,而区分这两者需要结合工单与检验结论,那是标注与质检环节的工作,不是预处理能定的。首批次之前没有本企业的同工况分布,离群判据暂不启用,先以试点设备标定分布后再按批次开启;未启用期间的批次在质量标记中注明离群判据未参与,使下游知道这批数据的异常标记只覆盖前两道。
输入输出实例。下例按本节的三道判据与标记规则推演,用于说明同一段数据里不同成因的异常各自命中什么、下游如何区别对待;门限取值在首批标定后按实测回填,不代表现场实测结果。
输入:一段焊接稳态段的实时电流序列与同期的层间温度序列。
| 序 | 数据点情形 | 量程判据 | 变化率判据 | 离群判据 | 标记结果 | 下游处置 |
|---|---|---|---|---|---|---|
| 1 | 实时电流出现一个远超焊机额定上限的点 | 命中 | 命中 | — | 标记异常,记两条命中 | 判为测量故障候选,进传感器可信度核查队列 |
| 2 | 实时电流在相邻两点间跳变幅度超可行变化率,但两点均在量程内 | 未命中 | 命中 | 命中 | 标记异常,记两条命中 | 结合同期熔池影像与检验结论判定是真实瞬态还是采样抖动 |
| 3 | 层间温度整段高于同工况历史分布,但在量程内且变化平缓 | 未命中 | 未命中 | 命中 | 标记异常,记一条命中 | 判为工况异常候选,进工艺归因;不作测量故障处理 |
| 4 | 层间温度在停机段恒为量程下限 | 未命中 | 未命中 | 命中 | 标记异常,记一条命中 | 结合设备状态判定为停机而非异常,标记在质检环节解除并登记解除依据 |
| 5 | 某测点量程与正常区间均缺失,电流出现跳变 | 不可判 | 命中 | 不可判 | 标记异常并标注仅变化率判定 | 在数据卡中注明该测点的异常判定覆盖面较窄 |
输出字段:异常标记、命中判据清单、越界幅度或离群程度、判定时所用参数版本、是否曾被人工解除及解除依据。
失败隔离路径。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 量程与正常区间均缺失 | 测点配置与本体属性皆查不到 | 仅做变化率判定并标记判定覆盖面 | 测点配置补录或本体补正常区间后重跑 |
| 工况分段未完成 | 该设备无工况分段结论 | 离群判据跳过,工况字段留空 | 工况分段算子产出后重跑离群判定 |
| 异常点占比异常升高 | 本测点异常占比较基线明显升高 | 该测点进传感器可信度核查队列,数据照常产出但带标记 | 核查结论回写测点配置后按新参数重判 |
| 判定参数版本不一致 | 同一批次内不同测点使用了不同版本的量程表 | 整批回退重判 | 固定参数版本后重跑 |
| 标记被下游误删 | 质检岗复核发现供样区样本缺质量标记字段 | 该样本不进入供样区 | 补齐标记字段后重新提交预处理检查节点判定 |
异常点的处置到标记为止,删与留交下游按用途决定。这一分工的理由与缺失补齐一致:预处理不替下游判断哪些信息该丢。
按报警、停机、开炉、焊接作业四类事件锚定切分时间窗。窗长按事件类型分别设定并写入算子参数。
连续采集的时序数据本身没有边界,一天的曲线摊开来都是数。训练与标注消费的不是整条曲线,而是「某一次报警前后发生了什么」这样一段有头有尾、围着一件事的数据。从连续流里截出这一段,截多长、以哪个时刻为中心、带哪些通道,就是这张表要定死的事;定不死,同一次报警两人截出两段数据,模型学到的因果也跟着飘。
四类事件分开设窗,因为它们在时间上的尺度与形态本就不同:报警是突发的,要看发生前的征兆与发生后的处置;停机要看停之前的运行段与重启恢复;开炉与焊接作业则有明确起止,窗长由作业本身决定而非事先设定。前置、事件、后置三段分列,因为三段各有用处——前置窗供归因,事件窗供识别,后置窗供处置与效果核验。
怎么读:中栏的事件时刻定义是锚点,两侧的窗由它推出;末栏的关联测点决定这一段带几个通道,取多了掺进无关设备,取少了切断因果链。读完可得的判断是:窗口口径按事件类型写定并随算子参数登记,同一事件重复切窗结果一致。
| 事件类型 | 事件时刻定义 | 前置窗 | 事件窗 | 后置窗 | 关联测点 |
|---|---|---|---|---|---|
| 报警 | 报警产生时刻 | 覆盖报警前的工况演变 | 报警持续期 | 覆盖报警确认与处置 | 该设备同期相关通道 |
| 停机 | 运行状态转为停止的时刻 | 覆盖停机前运行段 | 停机持续期 | 覆盖重启与恢复 | 状态、电气量、温度 |
| 开炉 | 炉次工单开工时刻 | 覆盖装炉准备 | 开炉至完工 | 覆盖出炉与返热 | 热处理全部参数 |
| 焊接作业 | 起弧时刻 | 覆盖引弧前准备 | 起弧至收弧 | 覆盖收弧后冷却与层间等待 | 焊接全部参数 + 层间温度 |
切窗结果形成「时序片段—事件」样本对,字段如下。
| 字段 | 说明 |
|---|---|
| 样本编号 | 批次号 + 通道码 + 顺序号 |
| 事件类型与事件时刻 | 四类之一 + 时标 |
| 窗口定义 | 前置窗、事件窗、后置窗的起止时刻 |
| 所属设备与测点清单 | 设备号、测点编号列表 |
| 所属对象 | 工件号、焊道号或炉次号(来自对象锚定登记) |
| 时序数据 | 各测点的对齐重采样序列 |
| 质量标记 | 插值点位置、缺失段、异常点与命中判据 |
| 工况标记 | 工况分段结论(若已具备) |
| 算子指纹链 | 本样本所经各算子的指纹序列 |
同一时间窗内相关通道的多条报警按设备与时间邻近归并为一次事件,原始报警逐条保留。归并规则与在役装备健康诊断场景的事件口径一致,详见场景验证章节。
处理对象为熔池影像、焊接过程录像、热处理装出炉过程录像与按检验规程留存的检测过程录像。受理口径见 1.7.5,本节处理的是受理成段之后的解码、分段、抽帧、规范化与三方对齐。
视频与图像在加工上不是同一件事。图像通道处理的是单帧的内容,视频通道处理的是帧与帧之间的变化:熔池的形态怎样随电流波动改变、焊道表面在收弧后如何冷却、工件入炉后多久开始发亮。这些信息只存在于时间维度上,抽成单帧就没有了。另一方面,训练与标注并不消费整段视频,消费的是被切成业务单元的片段与被选出的代表帧。本通道的工作因此集中在三件事:把段切到业务单元上、把代表帧选准、把片段与同期时序和文本挂上。
视频进入加工链的第一件事不是看画面,而是确认这段画面的时间是否可信。熔池相机与热成像记录的是焊接与热处理过程,只有挂到正确的时刻上,才能与同期的电流电压曲线、与起弧收弧装炉出炉这些事件对上;时间错出几秒,切出来的片段就会挂到相邻的那一条焊道上,而这种错误在画面上看不出来。
这张表列出五道处理项。解码解出像素与帧序;帧时标还原与丢帧检测两项回答「每一帧是什么时候」,前者给出时刻、后者判断时刻序列有没有断;时基核对回答这段视频与生产记录是不是同一个时间基准;位姿与取景核对回答镜头有没有动过——相机位移之后,同一区域切分参数便不再适用。
怎么读:参数一栏是可调之处,取值随批次登记而不写死;失败处置一栏给出不合格段的去向,四类去向分轻重。读完可得的判断是:本环节不修补画面质量,只判定并标注时间可信度,凡标注为不确定的段都带标记进入下游,不被当作已对齐的数据使用。
| 处理项 | 方法 | 参数 | 失败处置 |
|---|---|---|---|
| 解码 | 按归档副本的封装与编码参数解码,逐帧取出帧序号、显示时间戳与像素数据 | 目标色彩空间、是否按原始位深解码 | 解码失败的段入隔离区,回受理侧按原始帧序列重新转码 |
| 帧时标还原 | 以原始帧序列的逐帧时间戳为准;仅有归档副本时按段起始时刻与帧率推算,并标注为推算时标 | 帧率、起始时刻来源 | 帧率不均匀且无逐帧时间戳的段,整段标注时基不确定 |
| 丢帧检测 | 按相邻帧时间戳差值与标称帧率比对 | 丢帧判定倍率 | 丢帧率超门限的段标注为不连续,分段时不跨越丢帧位置 |
| 时基核对 | 段内帧时标与同期时序数据的事件时刻(起弧、开炉)比对一次 | 允许偏差 | 偏差超出允许范围的,按事件时刻做整段平移并记录平移量;平移后仍超限的整段标注时基不确定 |
| 位姿与取景核对 | 段起始帧与该相机位号的基准取景框比对 | 位移与缩放容差 | 超容差的段标注取景变更,不与变更前的段共用同一区域切分参数 |
时基核对放在分段之前,次序不能颠倒。分段依据的是时序侧的事件时刻,而事件时刻与帧时标若不在同一基准上,切出来的段边界会整体偏移;边界偏移之后再去挂工件与焊道,挂到的就是相邻的那一条。
受理阶段已按一次业务事件切出粗段(1.7.5),本节在粗段之内按工艺阶段做二次分段,使每一个片段对应一个可判读的工艺阶段,而不是一段笼统的过程录像。
分段按四步执行。
第一步,取同期事件序列。从设备时序通道的事件锚定切窗结果中取出该段覆盖时间范围内的事件:焊接取起弧、收弧、程序切换、停弧,热处理取装炉、升温起点、保温起点、保温终点、出炉,检验取开始与结束。事件来自时序侧而非视频内容,这是本方案的选择——事件时刻在时序数据中是明确的记录,在视频里只能靠画面推断,推断的边界不稳定。
第二步,按事件时刻切分。以事件时刻为边界切出阶段片段,边界两侧各留一段余量,余量长度按事件类型写入算子参数。相邻事件间隔短于最小片段长度的,两个阶段合并为一段并保留两个阶段标记。
第三步,内容校验。对切出的片段做一次画面一致性校验:焊接片段的稳态段内应持续存在高亮区域,装炉片段内应出现工件进入取景框的画面变化。校验不通过的片段不直接丢弃,标记为与事件不符并单列,由人工判读该段究竟是事件记录有误还是相机未拍到。
第四步,登记与编号。每个片段登记片段编号、所属粗段、阶段标记、起止帧序号与起止时标、所属对象、校验结论。
| 分段规则 | 内容 | 不满足时的处置 |
|---|---|---|
| 边界取自时序事件 | 片段边界以同期事件时刻为准,不按画面内容自行判定 | 该粗段无同期事件记录的,整段按粗段保留,不做二次分段,阶段标记留空 |
| 不跨丢帧位置 | 片段内不包含丢帧判定命中的位置 | 丢帧位置落在片段内的,以丢帧位置为界再切一次,两侧分别成段并标注 |
| 不跨取景变更 | 片段内不包含取景变更时点 | 变更时点落在片段内的,以变更时点为界切开,变更后的片段按新基准取景框处理 |
| 最小片段长度 | 短于下限的片段与相邻片段合并,保留两个阶段标记 | — |
| 一片段一对象 | 一个片段只挂一个工件与焊道,或一个炉次 | 粗段内对象发生更替的,以更替时刻为界切开;更替时刻不可确定的,该片段标记为未锚定 |
分段的输入输出实例如下。例中的字段结构与取值按本节已定义的规则推演,用于说明一段录像被切成什么、每个字段怎么填;具体的时刻、帧号与段数在首批标定后按实测回填,不代表现场实测结果。
输入:一段焊接过程录像的粗段。
| 字段 | 取值 |
|---|---|
| 粗段编号 | 相机位号 + 段起始时标 + 顺序号 |
| 相机位号 | 焊接工位相机位号 |
| 段起止时标 | 起弧前余量起点至收弧后余量终点 |
| 帧率与分辨率 | 按归档副本登记值 |
| 所属对象(受理侧锚定) | 工件号 + 焊道号 |
| 同期事件序列 | 起弧、程序切换、收弧三类事件各带时刻 |
输出:四个阶段片段。
| 片段编号 | 阶段标记 | 边界依据 | 所属对象 | 内容校验结论 | 去向 |
|---|---|---|---|---|---|
| 粗段编号 + 01 | 引弧前准备 | 段起点至起弧时刻 | 同粗段 | 通过 | 预训练语料;工况背景帧来源 |
| 粗段编号 + 02 | 起弧瞬态 | 起弧时刻 + 前后余量 | 同粗段 | 通过 | 多模态标注;与实时参数瞬态段对照 |
| 粗段编号 + 03 | 稳态焊接 | 起弧余量终点至收弧时刻,程序切换处再切一次 | 同粗段 | 通过 | 熔池形态标注;与实时—预设偏差序列对照 |
| 粗段编号 + 04 | 收弧与冷却 | 收弧时刻至段终点 | 同粗段 | 与事件不符(取景框内无高亮区域) | 单列待人工判读,不进监督样本 |
第四个片段的处置说明了失败隔离的做法:它既没有被丢弃,也没有被当作正常片段流向下游,而是带着校验结论单列。人工判读之后,若判定为相机在收弧后被遮挡,该片段回到预训练语料;若判定为事件时刻记录有误,则该粗段的四个片段一并回退重切。
视频分段依赖两样外部条件:解码出的帧序列要有可信时标,同期事件记录要能取到。两样都不由本通道控制,缺一样,分段结果就不能直接采信。麻烦在于分段失败往往不报错——时标不准照样切得出片段,只是每段边界都偏了。失败情形因此事先枚举,每种指定明确去向。
六种情形的隔离去向刻意不同,这是读表要点。解码失败与片段数异常是硬错,整段或整粗段退回重来;时基不确定与无同期事件是部分可用,数据本身没问题,只是不能支撑需要精确时序或阶段标签的用途,因此不进隔离区,带标记流向仍用得上的预训练语料;内容校验不通过与对象未锚定是判不了,单列等人工判读或上游补登记。
恢复条件一列是本表与一般异常清单的分别:每行写明补齐什么才能重新进通道,而不只说明哪里出错。横向读一行即是一条完整处置路径:怎么判、暂放哪、补什么之后能回来。读完六行可得的判断是:一段视频不合格不会连带丢掉可用的部分,不可信的边界也不会混进需要精确时序的样本。
| 失败情形 | 判定依据 | 隔离去向 | 恢复条件 |
|---|---|---|---|
| 解码失败 | 解码器报错或输出帧数为零 | 隔离区,登记问题清单 | 受理侧按原始帧序列重新转码后重新进通道 |
| 时基不确定 | 无逐帧时间戳且帧率不均匀,或时基核对平移后仍超限 | 不进隔离区,整段带标记流向预训练语料 | 相机校时记录补齐后按新偏差值重算时标并重跑 |
| 无同期事件 | 该粗段时间范围内取不到任一类事件记录 | 保留粗段,阶段标记留空,不进需要阶段标签的样本 | 时序通道的事件锚定切窗补齐后重跑分段算子 |
| 内容校验不通过 | 画面一致性校验命中 | 单列待判读队列 | 人工判读给出结论后按结论分流 |
| 对象未锚定 | 粗段内对象更替时刻不可确定 | 片段标记为未锚定,单独存放 | 对象锚定登记补齐后重跑挂接 |
| 片段数异常 | 同一粗段切出的片段数超出该事件类型的合理区间 | 整粗段回退,暂停该相机该时间窗的分段 | 核查事件记录重复或缺失后重跑 |
隔离区的片段不删除,保留至批次关闭后约定期限,与文档通道的隔离口径一致。
标注与训练消费的是帧,因此每个阶段片段要选出代表帧。选帧不是均匀抽样——均匀抽样在稳态段会取到大量近乎相同的帧,而在变化剧烈处又取不够。
| 抽帧策略 | 适用阶段 | 规则 | 产出 |
|---|---|---|---|
| 事件对齐帧 | 瞬态阶段 | 取事件时刻前后各若干帧,间隔按帧率换算 | 与事件强相关的帧序列 |
| 等间隔基线帧 | 稳态阶段 | 按固定时间间隔抽取,间隔写入算子参数 | 覆盖全阶段的基线帧 |
| 变化触发帧 | 全阶段 | 相邻帧的有效区域差异超过门限即抽一帧 | 形态变化处的帧 |
| 参数触发帧 | 有同期时序的阶段 | 实时—预设偏差超出约定范围的时刻对应的帧 | 疑似异常处的帧,供缺陷归因 |
| 人工指定帧 | 全阶段 | 判读人员在标注过程中补选 | 补充难例 |
抽出的帧按图像通道的规范化口径处理(2.3.5),另加视频特有的四个字段:所属片段编号、帧序号、帧时标、抽帧策略。熔池帧与焊道帧保留原始亮度信息,不做自动增强,理由与 2.3.5 一致。
近重复帧的剔除按有效区域的相似度判定,门限按阶段分档:稳态阶段门限较松,瞬态阶段门限较严,避免把形态变化剧烈处的相邻帧误判为重复。剔除记录保留,可按片段回查。
视频片段单独使用价值有限,它的价值在于与同期的参数曲线和文本记录形成对照。三方对齐按统一的对象与时间基准执行。
| 对齐关系 | 关联键 | 对齐方式 | 产出 |
|---|---|---|---|
| 片段与时序片段 | 对象标识 + 时间区间 | 以同一事件锚点为基准,取时间区间相交的时序片段 | 片段—时序对照记录,含两侧的起止时标与重叠区间 |
| 帧与时序采样点 | 帧时标 | 按最近邻取同一时刻的测值,偏差超容差的标记为未对齐 | 帧级参数标注,含电流、电压、层间温度等同期测值 |
| 片段与文本记录 | 对象标识 + 工单号或炉次工单号 | 取覆盖该时间区间的工单、报工与检验记录 | 片段—文本对照记录,供视频与文本对齐类样本构建 |
| 片段与检验结论 | 工件号 + 焊道号 + 检验单号 | 取该焊道的检验结论作为片段级标签候选 | 带标签候选的片段,标签确认在标注环节 |
三方对齐的产出是本通道交给下游的主要形态:一个片段、它同期的参数曲线、它对应的工单与检验结论,三者带着同一组对象标识与时间区间。多模态数据对齐类工具链在本步调用,调用参数与版本随批次登记。
对齐成功率按片段统计。首批以试点产线的一个月采集量标定基线,统计「有同期时序对照的片段占比」与「有检验结论的片段占比」两个数;后续批次逐步接近每个稳态片段都带同期参数曲线的状态。某一相机连续两个批次前一个比值低于批次计划约定的下限,暂停该相机片段进入多模态标注,转查时基核对与对象锚定两处。
视频片段从产线上截下来,画面本身不说明它是谁、来自哪道工序、能不能和同期参数曲线对上。下游的多模态标注、指令样本与评测题构建都不回看原始录像,只认片段随行的这一组字段;少一项就少一种用法。这张表定的是片段交付时必带的信息。
十项字段分五组。片段编号、所属粗段与相机位号、所属对象三项回答这是谁的片段;阶段标记、起止帧序号与起止时标两项把它钉在工艺时间轴上;代表帧清单是可直接取用的内容;同期时序对照与同期文本对照写明它能与哪段参数曲线、哪张工单或检验记录并置;质量标记与算子指纹链交代可信程度与加工来路。
自上而下读一遍,依次得到「这是谁的片段、落在工艺的哪一段、能取出什么、能跟谁对上、信不信得过」的答案。读完可得的判断是:片段可用于什么用途由它自己声明,不靠下游试过才知道——时基不确定、丢帧、未锚定都写在质量标记上;指纹链使任一片段可回推到产生它的算子与参数,出疑问时按片段追查,不必整批重跑。
| 字段 | 说明 |
|---|---|
| 片段编号 | 粗段编号 + 阶段顺序号 |
| 所属粗段与相机位号 | 受理侧登记 |
| 阶段标记 | 引弧前准备/起弧瞬态/稳态焊接/收弧与冷却,或热处理与检验对应的阶段集 |
| 起止帧序号与起止时标 | 片段边界 |
| 所属对象 | 工件号、焊道号或炉次号 |
| 代表帧清单 | 帧序号、帧时标、抽帧策略、帧级样本编号 |
| 同期时序对照 | 对照的时序样本编号与重叠区间 |
| 同期文本对照 | 工单号、报工记录标识、检验单号 |
| 质量标记 | 时基不确定、丢帧、取景变更、内容校验结论、未锚定 |
| 算子指纹链 | 本片段所经各算子的指纹序列 |
产出:按工艺阶段切分并与参数曲线、文本记录对照的视频片段与代表帧样本,供多模态标注、多模态指令样本与多模态评测题构建使用。
处理对象为 CRM、ERP、SCM、WMS、MES、QMS、EAM 等系统的业务表单、工单记录、检验数据与设备运行曲线,要求转换为自然语言文本样本,使结构化数据与时序数据可被大模型直接消费。
转换以模板法为主、模型改写为辅。模板按业务对象设计,一类对象一组模板。
业务系统里的记录是一行行字段与取值,读它要先知道表结构与编码含义,直接作语料没有多少可学的语义。文本化就是把这些记录改写成完整的中文叙述。改写若交给模型自由生成,同一类记录会得到措辞各异、要素时有时无的句子,量一大便无从核对。模板法把哪些字段必须出现、按什么次序叙述、单位怎么写固定下来,模型只作有限的语句润色。
这张表回答三个问题:九类业务对象各配哪一组模板、每组要填哪些字段槽、产出的文本供哪一类子集使用。九类沿订单、采购、库存、工单、检验、设备、维修、曲线、物料清单一线排开,覆盖四类数据集各自需要的业务对象,一类对象一组模板,不用一套通用模板去套所有记录。
怎么读:横向一行是一类对象的完整约定;纵向读末栏,可知每类记录流向哪个子集,其中设备运行曲线一类的字段槽另有口径,见 2.6.2。读完可得的判断是:每一条文本化样本都能回答自己由哪类对象、哪一版模板、哪些字段生成。
| 业务对象 | 模板组 | 字段槽 | 文本样本用途 |
|---|---|---|---|
| 销售订单与合同 | 订单叙述、交付节点叙述 | 客户、产品配置、数量、金额区间、交付期 | 预训练子集、供需计划指令样本 |
| 采购与供应商履约 | 采购叙述、履约评价叙述 | 供应商、物料、周期、到货时效、履约率 | 预训练子集、供需计划指令样本 |
| 库存与出入库 | 库存状态叙述、流转叙述 | 物料、仓库、批次、可用量、占用量 | 供需计划指令样本 |
| 生产工单与报工 | 工单叙述、工序流转叙述 | 工单号、产品、工序、进度、设备 | 制造过程指令样本 |
| 检验记录 | 检验结论叙述、不合格处置叙述 | 工件、检验项、测值、判定、处置 | 产品质量指令样本 |
| 设备台账与点检 | 设备档案叙述、点检叙述 | 设备、部位、点检项、结论 | 制造过程指令样本 |
| 维修工单与诊断 | 故障处置叙述 | 设备、现象、原因、措施、备件 | 制造过程指令样本、故障链图谱素材 |
| 设备运行曲线 | 曲线形态叙述 | 见 2.6.2 | 制造过程与产品质量指令样本 |
| 物料清单与工序 | 结构叙述、工艺路线叙述 | 零件、层级、用量、工序序列 | 产品工艺设计指令样本 |
模板中的术语一律取自知识本体的术语表,单位与量纲按数据元标准统一。模板本身版本化,模板版本进入算子指纹。
曲线文本化不逐点叙述,而是按形态特征描述。特征口径如下表,取值由时序通道计算后带入模板。
一段炉温曲线有上万个采样点,逐点念成文字既占篇幅又没有信息——从「第三千六百秒八百四十二摄氏度」这样的句子里学不到工艺含义。工艺人员看曲线时真正在看的是几件事:升得快不快、稳不稳、峰在哪、偏没偏。这张表把这几件事固化成九项可计算的特征。
九项特征分四组。升温段斜率、保温段波动范围、稳定段时长占比三项描述过程的平稳程度;峰值与谷值及其出现时刻两项定位极端点,数值与时刻同记,才能与工序步骤对上;与设定值的偏离区间、偏离方向与幅度两项针对有设定值的参数,衡量实际执行与工艺要求的差距;状态翻转次数与事件序列两项处理非连续量,状态类与事件类测点无斜率可言,只能计次与排序。
适用物理量一列是防误用的约束:温度类才算升温段斜率,没有设定值的参数不生成偏离描述。横向读一行即知该特征的算法与适用范围。读完九行可得的判断是:每一句曲线叙述都对应一个有定义、可复算的数值,叙述与源数据之间没有无法回查的中间环节。
| 特征 | 定义 | 适用物理量 |
|---|---|---|
| 升温段斜率 | 升温区间内的平均变化率 | 温度类 |
| 保温段波动范围 | 保温区间内的极差与标准差 | 温度类 |
| 峰值与出现时刻 | 窗内最大值及其时标 | 温度、电流、功率 |
| 谷值与出现时刻 | 窗内最小值及其时标 | 温度、流量 |
| 与设定值的偏离区间 | 实际值与设定值之差超出允差的时间区间 | 有设定值的参数 |
| 偏离方向与幅度 | 偏高或偏低、最大偏离量 | 同上 |
| 稳定段时长占比 | 变化率低于门限的时长占窗长比例 | 连续量 |
| 状态翻转次数 | 状态类测点在窗内的翻转计数 | 状态类 |
| 事件序列 | 窗内事件按时序排列 | 事件类 |
模型改写只用于句式多样化,不用于生成事实。改写后逐条回查:数值、术语、单位、对象标识是否被改动,任一项被改动即废弃该条,不做修补。废弃率按批次统计,升高时回退模板或调整改写参数。
每条文本样本挂回其源记录主键与批次号,可逆回查。文本化产出的任何一句话都能回到它的源记录,核对不上的样本不进入供样区。这一条是防幻觉的关键。
文本化把表格和曲线改写成自然语言,风险与别的通道不同:产出读起来总是通顺的,一个被改错的数值、一个被换掉的术语,成文之后看不出异样。防住这一点靠的不是改写更小心,而是让每条文本样本带齐足以回到源记录的字段,使每句话都能被逐项核对。
九个字段分三组。样本编号、源记录主键、业务对象类型三项解决「这条文本从哪来」,源记录主键加批次号是回查入口。模板编号与版本、字段取值清单、术语归一记录三项解决「它是怎么生成的」——填进模板的字段原值单独留存,是数值核对的基准;术语归一记录保留原始表述与归一术语的对照,使替换可被还原。回查结论与算子指纹链两项解决「核对过没有、能不能复算」,文本内容一项是产出本身。
横向读一行即知该字段的构成与职责。读完九行可得的判断是:文本化产出不是无源之水,每一条都能沿源记录主键回到原始记录,沿算子指纹链回到生成它的模板与参数取值;回查核对不上的样本按本通道口径废弃,不进供样区。
| 字段 | 说明 |
|---|---|
| 样本编号 | 批次号 + 通道码 + 顺序号 |
| 源记录主键 | 源系统主键 + 批次号 |
| 业务对象类型 | 对应模板组 |
| 模板编号与版本 | 所用模板标识 |
| 文本内容 | 生成的自然语言文本 |
| 字段取值清单 | 填入模板的各字段原值 |
| 术语归一记录 | 原始表述与归一后术语的对照 |
| 回查结论 | 数值与术语一致性回查结果 |
| 算子指纹链 | 本样本所经各算子的指纹序列 |
产出:供预训练子集与指令微调子集使用的自然语言文本样本及其源记录对照表。
预处理产出按四类数据集分域保存,与原始数据的对照关系随之保存;每个业务域产出贴源数据与规范化样本两层。
预处理把原始数据改写成可供训练的样本,改写之后两份都得留着:样本供下游取用,原件供将来核对。只留原件,下游无数据可用;只留样本,一旦有人问「这个数字是从哪张图纸、哪个测点来的」,便答不上来。质量评测要抽样回溯原件,场景验证要给出结论依据,数据治理要查血缘,三件事都落在这一层保存结构上。
四层按「从原样到可用再到可回溯」排。贴源层按批次原样存放、不覆盖,是回溯的终点;规范层是真正被下游取用的那一层,按批次与算子指纹分版本,重跑不改旧版而是新增一版,任何一版样本都能对上产生它的那套参数;对照层单独成层而不附在样本里,是因为它要被独立检索——要查的往往不是样本,而是「这条原始记录被用到了哪些样本里」;废弃层留的是未通过质检的批次,留它是为使剔除动作本身可被复核。
怎么读:右栏的保留期与版本决定各层能支撑多久的追溯。读完可得的判断是:规范层的每一条样本都能经对照层回到贴源层的一个具体位置。
| 分区与分层 | 内容 | 保留期与版本 |
|---|---|---|
| 贴源层(按业务域) | 原始数据批次、采集记录、隔离区记录 | 按批次保留,不覆盖 |
| 规范层(按业务域 + 通道) | 结构化长文本、图像样本、时序样本对、视频片段与代表帧、文本化样本 | 按批次与算子指纹保留,重跑产出为新版本 |
| 对照层 | 规范化样本与原始记录、原始文件、原始测点的对照关系 | 与规范层同生命周期 |
| 废弃层 | 质量检查节点判定不通过的批次与被剔除内容 | 保留至批次关闭后约定期限 |
对照关系表的字段为:样本编号、批次号、业务域、数据集归属、源文件编号或源记录主键、源内位置(页码与偏移、图元句柄、测点与时间窗、视频片段编号与帧区间)、算子指纹链、产出版本。
每个批次登记所用算子及其版本与参数取值,登记对象为 2.11 所列各算子。
预处理是一连串算子对数据的连续改写,改写完成之后再看产出,已看不出它是怎么来的。质检与验证环节若对某一批中间件存疑,真正有用的不是一段解释,而是把那一批按原样重跑一遍,看结果是否逐字一致;重跑的前提,是当时用的算子版本与参数取值被完整记了下来。
这张表定的就是每批次要记哪些项。十个字段分三组:批次号、处理通道、算子编号与名称三项交代谁对哪一批做了什么;算子版本、参数取值、算子指纹三项交代用的是哪一套设置,指纹是前两者的摘要,比对一个字符串即可判断两次执行是否同一配置,不必逐项核参数;执行时间与时长、输入与输出批次号、执行结果、失败原因与处置四项交代这一次跑得怎么样、数据从哪来到哪去。
怎么读:横向一行是一个字段的口径,纵向看输入与输出批次号一项,它把逐批的登记串成一条血缘链。读完可得的判断是:任一批中间件都能回溯到产生它的那一套算子配置,并据此复算。
| 字段 | 说明 |
|---|---|
| 批次号 | 输入批次 |
| 处理通道 | 文档/图像/时序/视频/文本化 |
| 算子编号与名称 | 算子标识 |
| 算子版本 | 主版本.次版本 |
| 参数取值 | 本次执行的全部参数 |
| 算子指纹 | 编号、版本与参数的哈希 |
| 执行时间与时长 | 调度记录 |
| 输入与输出批次号 | 血缘链 |
| 执行结果 | 成功、部分成功(含跳过计数)、失败 |
| 失败原因与处置 | 对应失败判定项 |
算子版本与参数取值合并计算指纹,指纹相同即处理过程可复现。重跑某批次时沿用原指纹可得到同一结果,这是质检与验证环节做复算的前提。同一算子连续两批次未通过预处理检查节点,暂停该算子版本并排查。
预处理环节的控制点与采集环节有一个根本区别:采集管的是「数据对不对」,预处理管的是「加工有没有把数据改坏」。原始数据再差也是事实,而预处理的每一步都在改变数据形态——解析、切分、归一、对齐——每一步都可能引入原数据中不存在的错误。因此本环节的控制点全部指向可逆性与可追溯性,而非指向数据质量本身。
「来源页码可追溯」与「切片回指页码核对不一致的整文件回退重解析」这一对,是本环节最硬的一道。切片回指出错意味着一段文本被挂到了错误的原文位置,这类错误在后续加工中不会暴露,但会在场景验证时表现为「引用了依据但依据与结论不符」——而那时已无法判断是检索错了还是切片错了。因此判定口径定为整文件回退,不做局部修补:局部修补无法保证同一文件内其他切片没有同类问题。
章节结构还原的判定不设固定数值,而以首批抽样复核结果为基线按批次上调。原因在于不同类型文档的结构规整程度差别极大,制度文件有明确的章条款层级,而工艺卡片与会议记录往往没有;对两类文档用同一个还原率要求,要么前者过松,要么后者永远不过。以文档类型分别标定基线,再按批次改进,才是可执行的控制方式。
| 控制点 | 方法 | 判定口径 | 责任岗位 |
|---|---|---|---|
| 章节结构还原 | 按文档类型抽样人工复核 | 以首批抽样复核结果作为基线,按批次上调并逐步接近可按条款定位的状态 | 预处理工程岗、质检岗 |
| 来源页码可追溯 | 自动核对切片与原文位置 | 切片回指页码核对不一致的,整文件回退重解析 | 质检岗 |
| 图文对照可核 | 按图号抽样核对图纸、卡片与明细行 | 对照错挂的按图号整批回查 | 质检岗 |
| 矢量化分级正确 | 按判定项抽样复核 | 分级错判的重新判定并转对应路径 | 预处理工程岗 |
| 时序对齐正确 | 跨测点时标一致性校验 + 同期事件比对 | 发现跨测点错位的,该设备该时间窗整段回退重对齐 | 预处理工程岗 |
| 插值与异常标记完备 | 标记字段完整性校验 | 标记缺失的样本不进入供样区 | 质检岗 |
| 视频分段边界正确 | 片段边界与同期事件时刻核对 + 抽样人工判读 | 边界依据字段缺失或与事件时刻不符的,整粗段回退重切 | 预处理工程岗、质检岗 |
| 视频三方对齐可核 | 按片段抽样核对同期时序与文本记录的对象标识与时间区间 | 对象标识不一致的按片段回查;有同期时序对照的片段占比按批次统计并公示 | 质检岗 |
| 文本化保真 | 数值与术语回查源记录 | 回查不一致的样本废弃,不做修补 | 预处理工程岗 |
| 去重有效 | 相似度分布统计 + 抽样人工判读 | 重复样本占比按批次统计并公示,逐步下降 | 质检岗 |
| 可复算 | 算子指纹复算 | 同指纹重跑结果不一致时,暂停该算子版本并排查 | 预处理工程岗 |
| 术语一致 | 与本体术语表比对 | 出现表外术语的,提交本体回流流程 | 本体维护岗 |
本环节的产出物清单有一个值得注意的结构:每一类样本都配一份对照记录。结构化长文本配切片与原文位置的对应,图像样本配图文对照记录,时序样本配事件样本对,文本化样本配源记录对照表。这些对照记录的体量不小,但它们是整条加工链可追溯性的实际承载——没有它们,加工后的样本就是无源之水,任何一处疑问都无法回溯核验。
交付对象一列显示出本环节在整条链路中的枢纽位置:产出同时流向预训练子集、知识库抽取、多模态标注、图谱构建与条款级索引五个下游。这意味着本环节的任一缺陷都会向五个方向扩散,这也是为什么前述控制点把判定口径定得偏严——在这个位置上,宽一分,下游要多担十分。
算子登记表作为产出物之一,记录了每一个加工算子的版本、参数与指纹。它的作用在于使加工过程可复算:给定同一份原始数据与同一份算子登记表,应当得到相同的产出。这一性质在三个场合被用到:质检岗复核时按指纹复算、数据集发布时填写加工过程说明,以及后续发现某个算子有缺陷时按指纹定位受影响的全部批次。
| 产出物 | 形式 | 交付对象 |
|---|---|---|
| 结构化长文本 | 样本集 | 预训练子集、知识库抽取、条款级索引 |
| 图像样本与图文对照记录 | 样本集 + 结构化表 | 多模态标注、图谱 B、图纸索引 |
| 时序片段—事件样本对 | 样本集 | 制造过程数据集标注、图谱 A |
| 视频片段、代表帧与三方对照记录 | 样本集 + 结构化表 | 多模态标注、多模态评测题、图谱 B |
| 文本化样本与源记录对照表 | 样本集 + 结构化表 | 预训练与指令微调子集 |
| 各业务域贴源数据与规范化样本 | 分域存储 | 全部下游环节 |
| 对照关系表 | 结构化表 | 质检、验证、数据卡回填 |
| 算子登记表 | 结构化表 | 质检复算、血缘追溯 |
| 去重去噪处置记录 | 结构化表 | 质检、误剔除恢复 |
| 人工复核队列与结论 | 结构化表 | 质检、整改任务单 |
下表列出五条通道的算子及其关键参数与失败判定,是 2.8 节算子登记表的登记对象。参数的具体取值随批次登记,首批取值在标定批确定。
前面各节分通道讲了每一步怎么做,散开看不出全貌:五条通道一共多少道算子、某一道失灵时数据往哪去。预处理真正的风险不在算子本身,而在失败时无人声明——识别不准的算子通常不报错,只产出一批看着正常的样本,到训练或评测阶段才显出问题。本表把算子集中登记,每道都写明判为失败的条件与去向。
编号前缀即通道:D 为文档、G 为图纸与图像、T 为时序、V 为视频、N 为文本化。关键参数一列是每道算子可调之处,也是复现依据,取值随批次登记而不写死;失败判定一列给的是客观可执行的条件而非原则;失败处置一列只落在四类去向上——跳过并标记、进人工复核队列、整文件或整段回退、入隔离区。
按前缀分段纵向读,是一条通道从进料到产出的加工链;横向读一行,是一道算子的全部约定。读完可得的判断是:没有一道算子允许失败之后继续往下走;处置分轻重,分界在错得能否局部隔离——只影响单条的标记后继续,影响整篇结构或整段时序的一律回退重做。
| 算子编号 | 名称 | 通道 | 关键参数 | 失败判定 | 失败处置 |
|---|---|---|---|---|---|
| D-01 | 版式判定 | 文档 | 文本层字符密度下限、乱码率上限 | 判定结果与人工复核不一致率超门限 | 跳过并标记 |
| D-02 | 文字识别 | 文档 | 识别模型版本、置信度门限、纠偏开关 | 页级平均置信度低于门限 | 进人工复核队列 |
| D-03 | 章节层级还原 | 文档 | 线索优先级、编号格式集、断号容忍数 | 编号断号且样式无法补齐 | 标记结构不完整 |
| D-04 | 页码与偏移登记 | 文档 | 无 | 页码缺失或偏移回查不一致 | 整文件回退 |
| D-05 | 有线表重建 | 文档 | 线框检测灵敏度、合并单元格判定 | 行列数判定不唯一 | 转 D-06 |
| D-06 | 无线表重建 | 文档 | 列投影阈值、对齐容差 | 列数判定不唯一 | 进人工复核队列 |
| D-07 | 跨页表合并 | 文档 | 表头相似度门限、续表标记集 | 表头不重复且无续表标记 | 不合并,分别成表 |
| D-08 | 公式重建 | 文档 | 公式识别开关、回退为图像开关 | 识别失败 | 回退为图像并留占位 |
| D-09 | 正文切分 | 文档 | 一级与二级边界、长度区间、重叠长度、最小长度 | 切片越过章节边界 | 整文件回退 |
| D-10 | 文件级去重 | 文档 | 哈希算法 | — | 登记引用关系 |
| D-11 | 段落级近重复过滤 | 文档 | 相似度门限(按文档类型分档) | 过滤比例异常升高 | 暂停并复核门限 |
| D-12 | 句子级套话剔除 | 文档 | 频次门限、白名单 | 剔除后文件信息量低于下限 | 回退该文件 |
| D-13 | 去噪 | 文档 | 页眉页脚判定、水印判定、噪点阈值 | 去噪后字符损失率超门限 | 回退并降低阈值 |
| G-01 | 矢量化分级 | 图纸 | 六项判定条件 | 判定项无法执行 | 降级为栅格路径 |
| G-02 | 原生图元解析 | 图纸 | 图元类型集、图层映射表 | 图元枚举失败 | 转 G-03 |
| G-03 | 栅格图纸处理 | 图纸 | 分辨率下限、二值化参数 | 低于分辨率下限 | 标记为仅存档 |
| G-04 | 标注重建 | 图纸 | 标注关联容差 | 标注与几何关联失败率超门限 | 置信标记降级 |
| G-05 | 图面区域切分 | 图纸 | 图框模板、区域关键词集 | 标题栏未识别 | 进人工复核队列 |
| G-06 | 标题栏与明细表抽取 | 图纸 | 字段标签集 | 必填字段(图号)缺失 | 整文件回退 |
| G-07 | 视图投影关系推断 | 图纸 | 视图边界判定、投影规则集 | 视图边界不可识别 | 投影关系字段留空 |
| G-08 | 图文对照挂接 | 图纸与图像 | 关联键优先级、置信分级规则 | 关联键缺失 | 置信标记为低 |
| G-09 | 图像规范化 | 图像 | 目标格式、分辨率下限、取景框 | 解码失败 | 入隔离区 |
| G-10 | 图像脱敏 | 图像 | 人员与铭牌检测门限 | 检测失败 | 整图标记为限制使用 |
| T-01 | 时间基准统一 | 时序 | 源时钟偏差表、目标时区 | 源偏差未知 | 标记时基不确定 |
| T-02 | 多测点相位对齐 | 时序 | 主测点、对齐容差、对齐方法 | 超容差测点比例超门限 | 整段回退重对齐 |
| T-03 | 重采样 | 时序 | 统一步长(按数据组)、按物理量的方法表 | 方法表未覆盖该物理量 | 跳过并标记 |
| T-04 | 缺失补齐 | 时序 | 短缺口上限、插值方法(按物理量) | 缺口判定失败 | 整段标记缺失 |
| T-05 | 异常值判定 | 时序 | 量程表、变化率上限、离群判定门限 | 量程与正常区间均缺失 | 仅做变化率判定并标记 |
| T-06 | 工况分段 | 时序 | 分段规则集、最小段长 | 规则集未覆盖该设备 | 工况字段留空 |
| T-07 | 事件锚定切窗 | 时序 | 四类事件的前置窗、事件窗、后置窗 | 事件时刻缺失 | 不切窗,整段保留 |
| T-08 | 报警归并 | 时序 | 时间邻近窗、部位一致判定 | 归并后原始报警丢失 | 回退并保留原始 |
| V-01 | 视频解码 | 视频 | 目标色彩空间、原始位深开关 | 解码失败或输出帧数为零 | 入隔离区 |
| V-02 | 帧时标还原与时基核对 | 视频 | 帧率、允许偏差、平移上限 | 平移后残差仍超限 | 整段标注时基不确定 |
| V-03 | 丢帧检测 | 视频 | 丢帧判定倍率 | 丢帧率超门限 | 标注不连续,分段不跨丢帧位置 |
| V-04 | 视频分段 | 视频 | 四类事件的余量长度、最小片段长度 | 该粗段无同期事件记录 | 保留粗段,阶段标记留空 |
| V-05 | 分段内容校验 | 视频 | 画面一致性判据、门限 | 校验不通过 | 单列待判读队列 |
| V-06 | 关键帧抽取 | 视频 | 五类抽帧策略的参数、近重复门限(按阶段分档) | 片段内有效帧不足 | 该片段不产出代表帧并标记 |
| V-07 | 帧级规范化与脱敏 | 视频 | 目标格式、取景框、人员与铭牌检测门限 | 检测失败 | 整帧标记为限制使用 |
| V-08 | 三方对齐 | 视频 | 对象标识优先级、时间区间相交判定、最近邻容差 | 关联键缺失 | 片段标记为未锚定,单独存放 |
| N-01 | 对象与模板匹配 | 文本化 | 对象类型映射表、模板选择规则 | 对象类型无对应模板 | 跳过并标记 |
| N-02 | 术语与量纲归一 | 文本化 | 术语表版本、单位换算表 | 出现表外术语 | 提交本体回流,该条暂挂 |
| N-03 | 曲线特征计算 | 文本化 | 九项特征的计算参数 | 窗内有效点不足 | 特征字段留空 |
| N-04 | 模板渲染 | 文本化 | 模板编号与版本 | 必填字段槽为空 | 跳过并标记 |
| N-05 | 句式多样化改写 | 文本化 | 改写强度、候选条数 | 回查发现数值或术语被改动 | 废弃该条 |
| N-06 | 源记录回查 | 文本化 | 回查字段集 | 回查不一致 | 废弃该条 |
通用语料与外部语料不构成独立通道,按形态分流到上述五条通道,但有三项专项口径。
前面五条通道处理的是企业自有数据。预训练子集还需要通用语料与外部语料作补充——管理制度与合同、经营指标、主数据编码、行业标准、学术文献、厂商资料、公开数据集。这些资料形态上与企业数据并无本质差别,文档仍是文档,再单设一套通道属于重复建设;但它们在许可条件、口径一致性与主题相关性三件事上与企业数据不同,不加处理直接并入又会出问题。
这张表回答的是每一类外部资料走哪条已有通道、在常规处理之外还要加哪一道专项口径。专项口径一栏只写与常规处理不同的那一点,所以它短,但每一条都是不加就会出错的地方。
怎么读:横向一行是一类资料的完整处置。把专项口径一栏纵向读下来,七条落在三件事上——许可边界、口径归一、主题配比。读完可得的判断是:外部语料不另起产线,差别只在入库前的许可核验与入库后的配比控制。
| 语料 | 分流通道 | 专项口径 |
|---|---|---|
| OA 管理制度与合同 | 文档类 | 除常规处理外,另按 4.3 的条款级切分口径处理,一份文件同时产出长文本切片与条款级索引记录 |
| 久其经营指标 | 文本化 | 按期间与指标维度展开为文本样本;指标名称与计量单位取指标知识库的已确认口径,未确认指标不生成样本 |
| 主数据组织机构、人员与物料编码 | 结构化(不文本化) | 作为本体编码对齐的基准数据直接入知识区;人员字段按入口脱敏规则处理后仅保留组织层级 |
| 外部行业标准 | 文档类 | 按技术标准元数据抽取口径处理(见 4.3.4);许可不允许全文入库的仅保留元数据 |
| 学术文献 | 文档类 | 按文献结构(摘要、方法、结论)切分;与本企业工艺无关的主题在配比阶段降权 |
| 厂商资料 | 文档类 + 图纸 | 技术参数表按表格重建;含第三方保密内容的不入库 |
| 公开数据集 | 按形态分流 | 按许可协议登记可用范围;与企业数据合并前先做口径对照,单位与术语不一致的先归一 |
外部语料的一个处理原则是不让它冲淡领域特征:外部语料在预训练子集中的占比与主题分布按配比计划控制,配比口径见四大数据集规模与数据卡章节。
预处理环节的缺陷绝大多数可定位到单个算子,因此退回以算子单项重跑为主,不整批退回:原批次保留并标记为废弃版本,重跑结果以新的算子指纹登记,两版之间的差异可复算比对。只有当缺陷来自源数据本身时才退回采集环节。同一算子连续两个批次未通过的,暂停该算子版本并排查参数基线,避免同一问题在后续批次重复出现。
| 项 | 内容 |
|---|---|
| 输入 | 通过入口检查节点的原始数据批次;本体术语表(用于术语归一);算子库与算子参数基线 |
| 产出 | 见 2.10 |
| 验收方 | 甲方信息化部门 + 项目组质检岗 |
| 验收方式 | 按通道抽样复核结构还原、图文对照、时序对齐与视频分段边界;按算子指纹复算 |
| 抽样或统计口径 | 文档类按文件类型抽样;图像按图号抽样;时序按设备与时间窗抽样;视频按相机位号与阶段类型抽样;复算覆盖每批至少一个算子链 |
| 退回路径 | 预处理检查节点不通过的按算子单项重跑,原批次保留并标记为废弃版本;源数据缺陷退回采集环节;同一算子连续两批次未通过则暂停该算子版本并排查 |
本体在本方案中承担一项职能:给同一件事一个唯一名字,并说明它与别的事之间是什么关系。标注标签从哪里来、合成时允许引用哪些知识、检索时按什么词召回,三件事都回到本体。这样做的直接效果是口径不随人走——换一批标注人员,标签体系不变。
本体与数据治理的数据标准规划是同一套口径的两种表达。对应关系如下表。
| 数据治理成果 | 本体中的对应物 | 引用方向 |
|---|---|---|
| 业务术语标准 | 术语表的名词、定义与业务含义 | 本体引用标准;标准未覆盖的领域概念由本体先行定义并回流为标准草案 |
| 主数据 | 实体编码的对齐基准 | 本体引用主数据编码 |
| 参考数据标准与代码值域字典 | 类目属性的枚举值域 | 本体引用值域;本体新增的值候选提交标准侧确认 |
| 数据元标准 | 属性的名称、类型、格式与值域 | 本体属性定义引用数据元;冲突时以数据元标准为准 |
| 指标标准 | 指标知识库的指标口径 | 知识库引用指标标准 |
| 标准映射对照表 | 本体实体与企业编码的映射条目 | 本体向对照表写入映射条目 |
两者的版本号互相引用。本体发布说明中写明所引用的各标准版本;标准修订时反向评估受影响的本体条目。
本体覆盖七类对象类目,每一类明确属性、层次关系与关联关系。
类目划分不按学科分类,而是按这批数据集要回答的业务问题倒推:矿山装备从选型、备料、工艺设计、制造、检验到运维与采购,链条上反复出现的对象就这么几类,把它们立住,四类数据集的标注对象与知识条目才有共同的挂靠点。七类之外的对象以属性或关系表示,不另立类目,以免重叠。
表的五列各答一个问题。层次关系一列定的是每类对象的颗粒从粗到细怎么分,直接决定标注时标到哪一层、检索时返回哪一级。实例来源一列写明该类实例从哪个系统取,这是本体不凭空定义、可被核对的前提。对外关联一列是关键:七类对象不是七张孤立的表,设备连着故障模式与工况,工艺连着质量特性,物料连着供应商与合同,本体的价值正在这些跨类目的边上。末列把每一类挂回验证场景的业务对象。
横向读一行即知该类目的颗粒、来源、邻居与用途。读完七行可得的判断是:每一类都有确定的系统来源,也都有至少一个验证场景在消费它,没有一类是为体系完整而设、下游却无人使用的。
| 类目 | 层次关系 | 实例来源 | 对外关联 | 对应验证场景的业务对象 |
|---|---|---|---|---|
| 设备与部件 | 主机产品—部件—零件—测点 | PLM 物料清单、EAM 台账、测点配置 | 故障模式、工艺与工序、能耗与工况 | 装备健康智能诊断、热处理与焊接过程监控 |
| 工艺与工序 | 工艺路线—工序—工步—工艺参数项 | PLM 工序数据、备料工序字典、工艺编制准则 | 设备与部件、物料、质量特性 | 板材备料工艺智能设计、热处理与焊接过程监控 |
| 故障模式 | 系统—部件—故障模式—现象 | 故障案例、维修记录、诊断报告、报警规则 | 设备与部件、检验项、备件物料 | 装备健康智能诊断 |
| 质量特性与检验项 | 质量特性—检验项—判定规则 | QMS 检验项目、技术标准、质量知识 | 工艺参数项、故障模式、物料 | 热处理与焊接过程监控、质量数据集建设 |
| 物料与物料清单 | 产品—部件—零件—原材料 | 主数据物料编码、PLM 物料清单、ERP 物料主数据 | 供应商、工序、库存 | 产品智能选型、库存控制智能化 |
| 供应商与合同 | 供应商—合同—条款 | SCM 供应商档案、CRM 与 OA 合同 | 物料、采购订单、制度条款 | 库存控制智能化、合同合规智能审查 |
| 能耗与工况 | 设备—测点—工况分段 | EMS 计量点、SCADA 测点配置 | 设备与部件、工序、时序样本 | 装备健康智能诊断、过程监控 |
为本体概念、实体、属性、关系及术语记录设置可持续引用的标识,并建立统一的登记、发放、校验、变更和停用管理。登记内容包括标识、对象类型、创建时间、责任人、当前状态、所属版本及来源依据。标识在所属管理范围内唯一,同一标识不得重新分配给另一对象;失效、停用或被替代的标识保留历史记录及适用期间。
标识与可变的名称、类别、层级、材料牌号、产品型号及组织归属分别存储。对象名称或属性变更时,先核查对象身份及语义是否发生变化,再确定是否调整标识或建立新对象。对外提供引用时同时保留对象标识与实际采用的版本,历史样本、知识条目和索引能够定位到当时有效的对象定义。
分别管理本体对象标识、企业编码及其映射。本体对象标识由本体管理流程统一登记;企业编码以主数据平台和相应业务系统的有效记录为准,本体不擅自修改源系统编码。映射记录包括来源系统、编码体系、组织或业务范围、实体类型、原始编码、目标本体对象、有效起止时间、映射依据、确认人和状态。
对同一对象在多个系统中的编码,核实其实际指向和有效期间后建立关联;对同一码值在不同组织、时间或编码体系中表示不同对象的,分别建立受适用条件约束的记录。系统升级、编码替换或组织调整发生时,保留旧映射及变更依据,不将新编码覆盖写入历史记录。仅编码变化而对象身份不变时保持本体对象标识;对象身份、概念含义或样本标签含义发生变化时,按影响分析确定新建对象、重新映射或重新标注的范围,并复核结果。
| 标识项 | 构成 | 发放与维护 | 变更规则 |
|---|---|---|---|
| 本体实体标识 | 类目码 + 层级码 + 顺序号 | 本体维护岗发放,随本体版本发布 | 不复用、不回收、不因企业编码变更而变更 |
| 本体属性标识 | 实体标识 + 属性序号 | 同上 | 属性废弃后标识保留并置为废弃状态 |
| 本体关系实例标识 | 关系类型码 + 源实体标识 + 目标实体标识 + 序号 | 同上 | 关系删除后标识保留并置为废弃状态 |
| 术语条目标识 | 术语表顺序号 + 版本 | 同上 | 标准词变更按同义等价关系登记,不换标识 |
| 企业编码引用 | 系统码 + 该系统内的编码 | 各源系统维护,本体只登记 | 源侧变更时本体更新映射条目,实体标识不动 |
标识发放后持续保留唯一归属,停用标识不得重新分配,历史引用不得改指其他对象。材料牌号、产品型号、组织、类目和装配层级等可变信息作为属性或关系管理,不作为稳定标识的组成条件。对同一对象在不同业务场景中的名称、角色和来源编码,经核实后建立映射,避免因展示层级不同重复创建实体。
装配件、组成零件、物料品类、批次和单件实物按照实际业务对象分别建模。装配件只包含一个零件时,仍依据装配定义、物料编码及实物身份判断二者是否为独立对象,不仅按数量决定合并;同一零件参与不同产品或BOM版本时,以组成关系记录其位置、数量和有效条件,不因装配位置改变而另建同一物料的身份。所有合并、拆分或重新归类均保留证据与审定记录。
接收对象合并、拆分、停用或分类调整申请时,核对对象类型、定义、实际身份、企业编码、业务资料、有效期间及已有引用。分别判断概念调整、重复实体清理、实际业务对象变化和关系修订,形成变更依据及影响清单。由相应业务人员与本体管理人员确认处理方案后,更新对象状态和映射,并检查知识条目、图谱关系、标签、合成约束、检索配置及样本中的引用。不能确认对象身份或语义等价的,不执行自动合并或自动迁移。
| 情形 | 发生场景 | 标识处置 | 对下游的影响 |
|---|---|---|---|
| 合并 | 两个标识被确认指向同一物理对象(多由编码对齐时的清冲突发现) | 指定其一为保留标识,另一置为「已合并」状态并指向保留标识 | 引用被合并标识的样本按指向自动映射,不需重标 |
| 拆分 | 一个概念被确认实际涵盖两类对象(多由标注歧义或专家评审发现) | 原标识置为「已拆分」状态并指向两个新标识,不保留原标识继续使用 | 引用原标识的样本需重标,重标范围随版本发布说明给出 |
| 废弃 | 对象退役或概念不再适用 | 置为废弃状态,标识保留 | 引用该标识的知识条目转入待审,样本按版本规则处理 |
| 迁移类目 | 实体被确认应归属另一类目 | 发新标识并把原标识置为「已迁移」状态指向新标识 | 自动映射;层级路径发生变化的按版本规则评估是否需重标 |
根据变更对含义、身份、结构、约束、接口和既有引用的实际影响确定发布版本及兼容性。仅名称文字修订、补充不改变含义的别名等变更,应验证既有任务继续使用的条件;概念含义、标签判定、关系约束或身份映射发生变化时,明确兼容范围、迁移方案和切换条件。
版本发布记录列明新增、修订、合并、拆分、停用及关系调整事项,给出对应对象、变更依据、有效时间、受影响任务和修复结果。存在自动映射的,记录适用条件、规则、执行清单和核验结果;不满足条件的转入人工复核。完成受影响引用、样本及查询检查后发布,保留旧版本的适用范围和历史追溯能力。
为本体属性、关系和业务条件配置可核查的约束规则,逐项登记规则标识、适用对象、输入字段、判断条件、依据、有效期间及违反规则后的处理方法。约束覆盖必填、值域、类型格式、关系数量、关系端点类别、互斥和依赖等事项,结合实际对象及用途设置条件,不把缺乏依据的通用规则直接用于全部业务域。
规则发布前使用符合条件、不符合条件、边界、缺失及不适用等实际类型的验证用例检查判断结果,保存输入、预期处理、实际结果和修订记录。入库、标注、合成和检索配置调用已确认的规则版本,输出被检查对象、命中条件、证据位置和处理状态。
区分原始记录错误、信息暂缺、合法但罕见的取值、真实工况异常及规则自身问题。违反工艺正常范围的真实记录保留原值并标记业务异常,不仅因异常就删除或改写为正常值;结构或关联不符合发布条件的结果暂缓进入正式产物,原始记录及问题证据保留,完成核查和修复后重新检查。
| 约束类型 | 约束的内容 | 表述方式 | 校验时机 | 违反时的处置 |
|---|---|---|---|---|
| 必填约束 | 哪些属性必须有值 | 属性集的「是否必填」列 | 实例录入时、本体版本发布前 | 必填缺失的实例不予发布,退回补录 |
| 值域约束 | 属性取值的枚举集合或数值区间 | 引用参考数据标准的值域;数值区间引用量程与正常区间 | 实例录入时、标注时、预处理术语归一时 | 越界取值登记为新值候选,不直接写入;标注侧拒收 |
| 类型与格式约束 | 属性的数据类型、长度、格式 | 引用数据元标准 | 实例录入时 | 格式不符的退回修正,与数据元标准冲突时以数据元标准为准 |
| 基数约束 | 一个实体在某关系上可连接的对象数量 | 关系定义的「基数」列(一对多、多对多) | 关系实例建立时、图谱入库时 | 超出基数的关系实例不建边,进待确认列表 |
| 定义域与值域约束 | 关系两端各自允许的类目 | 关系定义的「定义域」「值域」两列 | 关系实例建立时、图谱入库时 | 两端类目不符的拒绝建边并登记原因 |
| 互斥与依赖约束 | 哪些取值不能同时成立,哪些属性的存在依赖另一属性 | 本体自建的约束条目,逐条带业务依据 | 实例录入时、合成样本生成时 | 互斥命中的拒绝写入;依赖缺失的标记为不完整实例 |
从已确认的属性、关系、字典和业务要求提取约束后,逐条补齐判断条件、适用范围、输入来源、缺失处理和异常处置,形成可执行配置。对能够自动检查的规则,将表达式、依赖字段和版本纳入配置管理;对需要业务判断的规则,规定复核材料、判定步骤和记录要求,检查结果保持待确认状态直至取得实际结论。
规则配置经过业务含义复核和执行验证后启用。验证覆盖常规记录、合法边界、罕见合法值、真实异常、缺失输入以及不适用场景,检查是否误拒收、漏报或改变原始事实。规则变化时重新检查受影响的数据与任务,保存旧规则、变更原因和验证结果;未经验证的候选规则不直接用于正式标注、合成或批次放行。
| 字段 | 说明 |
|---|---|
| 约束编号 | 约束类型码 + 顺序号 |
| 约束类型 | 互斥/依赖/条件必填/条件值域 |
| 作用对象 | 类目、实体或属性标识 |
| 约束表述 | 可被校验工具执行的条件表达 |
| 业务依据 | 引用的技术标准条款、工艺编制准则条款或专家确认记录 |
| 适用范围 | 适用的产品、工序或设备范围;超出范围不生效 |
| 违反时的处置 | 拒绝写入/标记不完整/进待确认列表 |
| 生效版本与状态 | 现行/已修订/已废止 |
| 约束方向 | 所属类目 | 约束的业务含义 | 依据来源 |
|---|---|---|---|
| 工序前后不可逆 | 工艺与工序 | 存在前后依赖的两道工序不得出现互为前置的关系实例 | 工艺编制准则、工序字典 |
| 工艺参数项的条件值域 | 工艺与工序 | 同一参数项在不同工序、不同材料牌号下的正常区间不同,值域按适用范围分条登记 | 工艺编制准则、热处理与焊接工艺规程 |
| 设定值可比性 | 工艺与工序 | 标注为设定值不可比的参数,跨设备或跨炉型的取值不得进入同一比较语境 | 本体属性、专家确认 |
| 检验方法与质量特性的对应 | 质量特性与检验项 | 一个质量特性只能由其规定的检验方法判定,方法与特性不匹配的检验记录标为不完整 | 技术标准条款 |
| 缺陷类型互斥 | 质量特性与检验项 | 按缺陷分类标准互斥的两类缺陷不得同时标注在同一判定位置 | 金属熔化焊接头缺欠分类标准 |
| 故障原因依赖测点 | 故障模式 | 以测量链路为原因的故障实例,须关联到具体测点并带可信度核查结论 | 传感器可信度核查结论 |
| 物料层级闭环 | 物料与物料清单 | 层次包含关系不得出现环 | 产品生命周期管理系统物料清单结构 |
| 证照覆盖依赖 | 设备与部件、物料 | 标注需持证的对象,其证照关联不得为空;证照状态为已失效的不满足覆盖 | 投标资料归集的证照条目 |
本体约束在对象或关系新增、修改、批次入库、任务配置和版本发布时执行检查,记录所用规则版本、被检查对象、输入来源、判定结果及问题位置。检查结果与本体产物和实际调用任务关联保存;不通过或待确认的项目形成处理任务,完成核查、修复及复检后再按批准状态使用。
约束新增、修改或停用前,分析其对既有实例、标签、合成条件、检索结果及历史样本的影响。范围放宽可能改变可接受对象或标签含义,范围收紧可能使原先可接受的记录不再适用,均须明确业务依据、适用时间和迁移办法。根据实际兼容性确定发布版本,不机械地把所有新增或放宽归为次版本、所有收紧归为主版本。
变更验证同时使用正常、边界、异常、缺失和不适用记录,核查误判及遗漏,保留预期与实际结果。对受影响的正式产物逐项确定保留原版本、重新映射、重新标注或重新加工的处理方式;历史事实按当时适用条件追溯,不以现行规则回写或抹除历史原值。
逐类定义对象属性,登记属性标识、规范名称、业务含义、对象层级、数据类型、格式、单位、精度、允许取值、来源位置及有效版本。类别、型号、批次和单件实物分别配置适用属性,属性值与其来源记录、业务发生时间及采集时间关联保存。引用其他对象的属性同时明确关系类型、允许端点、数量和适用期间。
对正式任务所需属性设置必填或条件必填规则,说明触发条件和实际核查方式;不适用、未知、暂缺和无效分别登记,不以空字符串、零值或默认对象代替真实状态。数据元、字典、工艺文件及设备资料中的定义经核对适用范围和版本后使用,单位转换保留原值及转换依据。
属性发布前核查源系统字段、文档内容及业务解释的一致性,处理同名异义、不同量纲、版本变化及多来源冲突。对引用来源尚未落实的属性建立核验任务,不编造已存在的系统、字段或数值;对要求交付的属性持续补齐来源、映射及检查结果,未完成事项不记为已完成产物。
对设备与部件分别识别设计对象、物料对象和实际实物。设计对象记录产品型号、零部件定义、设计或图纸版本及结构关系;物料对象引用企业物料编码、规格和计量单位;实物对象记录实际设备或部件的身份、台账记录、安装使用情况及生命周期信息。设备台账、产品型号、图号、物料编码和序列标识按各自含义分别保存。
以主数据管理平台的物料编码以及PLM的BOM与零部件信息为基准建立设计和物料映射;从EAM设备台账及档案核验实际设备身份、使用状态和维护记录,并结合SOS设备档案与远程运维记录补充实际对象关联。首先核实各系统编码的对象粒度、唯一范围、版本和有效时间,再建立可追溯的对应关系,不预设所有系统均为一台设备一个编码或同型号对象共用一个编码。
为每个经确认的本体对象分配稳定标识,并保留其全部有效源编码引用。设计型号与实物设备通过经核实的型号、配置、生产或装配资料建立关系;物料与设计零部件通过主数据编码、PLM零部件信息及BOM行项目建立关系。映射记录保存源对象、目标对象、关系类型、适用版本、有效期间、依据和确认结果,不将两套系统编码直接拼成同一主键。
实物部件的安装、拆卸、更换和调拨记录关联具体设备、位置与时间。相同型号可对应多台实物设备,同一实物设备的配置可随维护或改造变化;实际关联数量按资料核实,不强制设成一对一。运行时序、故障和维修记录关联当时实际设备及配置;图纸、工艺和BOM资料关联对应的设计或产品版本。
发布映射前检查编码重复、历史复用、对象粒度不一致、版本冲突和失效关系,按问题记录完成核查。无法确认的关联保留待核验状态,不通过名称相似或型号相同自动合并对象;修复后重新检查关联到样本、知识条目及检索索引的结果。
保留EAM、PLM、SOS、主数据及原始文档中的对象名称,记录来源、上下文、编码、版本和适用范围;另设经确认的规范名称,源名称不被覆盖删除。名称核对同时检查对象类型、功能、结构、型号、位置及企业编码,区分同义名称、上位名称、下位名称和不同对象。
仅在含义及适用对象经核实一致时建立同义词或别名关系,并保存依据;属于类别与子类、部件与装配位置或不同产品配置的名称分别建模。检索时使用规范名称、已确认别名及对象条件进行匹配,存在歧义时返回候选及其型号、位置、版本等区分信息,不将所有相似叫法合并到一个对象。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 设备编码 | 字符 | EAM 台账编码 | 是 | EAM |
| 部件编码 | 字符 | PLM 物料清单零部件号 | 是 | PLM |
| 名称 | 字符 | 业务术语标准 | 是 | 术语标准 |
| 类型 | 枚举 | 主机产品/部件/零件/测点 | 是 | 本体 |
| 型号与规格档位 | 字符 | PLM、产品技术文件 | 否 | PLM |
| 安装位置 | 字符 | 装配结构或矿井工作面位置 | 否 | PLM、CRM |
| 投运时间 | 日期 | EAM 台账 | 否 | EAM |
| 所属主机产品 | 引用 | 本类目上层实例 | 是(非顶层) | 本体 |
| 关联测点 | 引用(多) | 测点配置 | 否 | SCADA、远程运维平台 |
| 常见故障模式 | 引用(多) | 故障模式类目 | 否 | 本体 |
| 备件物料 | 引用(多) | 物料类目 | 否 | 主数据 |
采集PLM工序数据、BOM及变更记录、工艺卡片、工艺图纸和相关工艺文件,整理工序编码、名称、含义、所属路线、工步、适用产品或工件、材料、设备、工装、参数及前后置条件。对甲方已有且经确认有效的工序字典,核验其版本、管理范围和实际使用情况后作为规范定义来源;同时保留源系统原始编码、名称及历史版本。
对不同来源逐项核查业务含义和适用条件,建立原始工序记录与规范工序定义的映射。相同名称但作业内容、材料条件、设备或质量要求不同的记录分别识别;不同名称但作业含义经确认一致的,建立受适用范围约束的对应关系。工序字典、工艺文件与实际记录存在差异时,提交工艺责任人员核查,不能仅按文件名称或来源系统确定优先级。
对尚未完成映射的工序建立核验清单,记录源编码、原名称、作业内容、所属路线及版本、材料和设备条件、来源文件位置、当前匹配结果及不能匹配的原因。分别排查同义名称、同名异义、编码变更、不同工步粒度、历史工艺版本、录入错误和真实新增作业。
工艺责任人员根据原始资料及实际业务确认处理方式。确认同义的,补充别名及映射;确认新工序或新条件的,建立相应定义、属性和适用范围,经审核后纳入字典及本体;确认错误的,修复来源或映射并保留记录;确认已停用的,登记适用期间及替代关系,不删除历史工序事实。
核验结论同步更新工艺字典、本体对象、路线关系和相关样本。尚不能确认的项目保留待审状态及补证任务,不直接归入最相近的已有工序,也不以「已废止」消除未解决差异。完成修订后复核工艺检索、路线组合、标注及生成任务是否正确引用新版本。
板材备料工艺对象按照实际有效的工序资料建立完整清单,覆盖图纸识别、特征提取、工序设计、工艺卡片生成、审查校核和排料优化所需的产品、零件、材料、工序、工装、设备及质量要求。工序数量以核验后的实际清单为准,逐项登记来源、版本、适用范围及确认结果,不能预设固定数量代替完整性核查。
每条工艺路线保存产品或工件、设计图纸及版本、路线版本、工序序列、工步、前置条件、分支条件和相应参数。共享的工序定义可被不同路线引用,各次引用分别记录顺序、设备、工装、工时、参数及适用条件,不将通用工序与路线中的具体位置合并为一个对象。工艺变更保留前后差异、原因及生效时间,关联受影响的工艺卡片和工序附图。
以真实任务及图纸、工艺卡片和工序附图核对对象与关系,检查形状、尺寸、材料、公差、技术要求和工序条件的对应。异常任务、替代路线和应急工艺按经确认的处理流程记录适用条件与审核结果,不自动套用正常路线或删去不符合常规顺序的真实记录。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 工序编码 | 字符 | 备料工序字典、PLM 工序数据 | 是 | 甲方工艺部门工序字典 |
| 工序名称 | 字符 | 工序字典 | 是 | 工序字典 |
| 所属工艺路线 | 引用 | 本类目上层实例 | 是 | PLM |
| 所属车间或分厂 | 枚举 | 组织机构主数据 | 是 | 主数据 |
| 设备资源 | 引用(多) | 设备与部件类目 | 否 | EAM |
| 工装与样板 | 字符 | 工装压模号、样板号 | 否 | PLM、工艺资料 |
| 工时定额 | 数值 | 工时定额系统 | 否 | 工时定额口径 |
| 前置工序 | 引用(多) | 本类目同层实例 | 否 | 工艺编制准则 |
| 禁止组合 | 引用(多) | 本类目同层实例 | 否 | 工艺编制准则 |
| 工艺参数项 | 引用(多) | 工艺参数项子类 | 否 | 本体 |
| 适用材料牌号 | 引用(多) | 物料类目 | 否 | 主数据 |
汇集EAM设备点检与维修工单、SOS报警处置、售后工单、设备档案、维修记录、诊断报告和故障案例,以及与对象相关的监测、检验和工艺资料,整理故障模式、异常现象、报警、原因、影响和处置记录。首先核查现有分类、编码、名称及对应关系,保存资料来源、版本、有效时间和确认状态。
故障模式表示经定义的失效或功能异常类别;故障事件记录具体对象在特定时间发生的实际情况。报警表示监测规则或设备产生的信号,质量不合格表示依据相应检验条件得到的结果,二者与故障模式分别建模并按证据建立关联。维修记录中的初步判断、复检结论、确认原因及已执行措施分别保存,不将自由文本中提到的可能故障直接记为确诊事实。
在核实企业已有故障分类及编码的基础上,建立本体故障模式标识与原有编码、名称和适用对象的对应关系。已有定义明确且适用的条目予以引用;缺少规范定义或存在冲突的,依据真实案例、设备资料、诊断证据和业务复核结论形成候选条目,明确名称、定义、适用范围、现象、判定条件及来源,经确认后发布。
报警关联保存系统、设备、代码、规则版本、触发与恢复条件及适用期间;一条报警可能关联多个排查方向,一个故障也可能对应多种报警或没有报警,实际关系按证据确认。维修工单中的描述保留原文和定位,经核查后分别关联现象、故障、原因及措施;质量不合格与故障之间保存具体关联依据,不仅凭名称接近建立因果关系。
候选定义与正式定义分别管理,候选内容仅用于受控核验和试验,不能直接成为正式交付样本的标签、合成知识约束或现行检索判定依据。确认发布后更新标签、映射和相关任务,复核受影响数据,保存草案、审定意见、正式版本及差异记录。
故障现象采用可重复关联的结构化记录,分别保存现象名称、所属对象或部位、出现时间、持续情况、观测方式及原始证据。每项现象引用经确认的定义,同一事件出现多个现象时分别记录其时间及部位关系;不同事件、不同设备或不同阶段的现象不得无依据拼成一个组合。
区分故障模式资料中描述的典型现象和具体故障事件实际观察到的现象,典型现象不自动补入事件记录。对主现象、伴随现象和未确认描述保留相应状态及依据,不能仅因表中支持多值就把工单中所有词语写成已确认现象。人工判断保留人员、时间、证据及复核结论,更新后能够追溯前后差异。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 故障编码 | 字符 | 本体自建 + 报警规则映射 | 是 | 本体 |
| 故障名称 | 字符 | 业务术语标准、故障案例 | 是 | 术语标准 |
| 所属部件 | 引用 | 设备与部件类目 | 是 | PLM、EAM |
| 征兆(现象) | 引用(多) | 现象子类 | 是 | 本体 |
| 发生条件 | 文本 | 故障案例、诊断报告 | 否 | 专家确认 |
| 可能原因 | 引用(多) | 原因子类 | 否 | 本体 |
| 处置措施 | 文本 | 维修记录、诊断报告 | 否 | 专家确认 |
| 相关备件 | 引用(多) | 物料类目 | 否 | 主数据 |
| 关联报警代码 | 字符(多) | 报警规则、设备报警代码 | 否 | SOS、热处理群控 |
| 关联测点 | 引用(多) | 能耗与工况类目 | 否 | 测点配置 |
| 严重度分级 | 枚举 | 本体自建值域 | 否 | 专家确认 |
分别建立质量特性、检验项目、检验方法、检验记录和判定规则,明确各对象的定义、适用范围及关联。质量特性记录产品、工件、材料或过程需要控制的属性;检验项目记录需要检查的具体内容及对象、部位和阶段;检验方法记录实施检查所采用的程序、条件与依据;检验记录保存实际观测或测量结果;判定规则保存适用的限值、等级、定性条件和接受要求。
对热处理硬度、硬度均匀性、外观缺陷及焊接质量相关特性,依据有效图纸、工艺和检验文件建立项目与方法的对应。明确工件、材料、规格、检验部位、设备或方法条件及适用标准版本,不能仅凭方法名称相近替换实际检验方法。定量结果保留数值、单位或标尺、测量位置和条件;定性结果保留缺陷类别、部位、范围、证据及判定依据,未测量或未确认的项目分别记录状态。
将每条检验记录关联到实际工件或批次、生产工单、工序或作业、检验项目、方法、时间及来源文件,核对其与设备、参数和图像的对应。检验对象为批次或抽样件时,保存抽样对象、批次范围和结论适用条件,不将抽样结果无条件赋给全部单件;存在复验、返修后检验或争议结果时,分别保存原结果、后续结果及相互关系。
用于标注或模型验证的质量标签按实际检验结论及证据建立,区分测量结果、合格性结论、专家判断和模型输出。缺少对象定位、方法依据或有效结论的记录进入核验任务,不通过填充默认合格或复制相邻工件结果补齐。涉及过程预测的样本明确预测时点及当时可获得的信息,后续检验结果可作为目标标签,不能混入用于预测的输入。
质量结论调整后,按来源及版本追溯受影响的样本、知识条目和统计结果,完成修订及复核。检验数据、图像证据与标签之间保留可逐条定位的关系,确保对不一致结果能够回查原始记录并完成纠正。
为每项检验方法和判定规则登记依据文件名称、标识、版本、具体条款或图纸位置、生效期间及适用对象。核对产品技术要求、图纸、有效标准、工艺文件和检验规程之间的引用关系,分别保存检验方法条件与接受判定条件;同一方法可有不同的适用材料、部位、规格和判定等级,应逐项记录。
历史检验结果按当时实际采用且适用的文件及版本保存,当前规则修订不得直接覆盖历史判定依据。需要按新要求重新评估的,生成独立的复核记录,保留原结论、新结论、所用规则、差异和审核结果,不将重新评估写成当时已执行的检验。
依据存在冲突、版本不明或超出适用范围时,登记具体问题并由相应技术和质量责任人员确认处理方法。完成确认后更新规则及关联记录,并核查受影响的标签和质量统计;未经核实的限值、等级或默认单位不得进入正式判定配置。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 质量特性编码 | 字符 | 本体自建 | 是 | 本体 |
| 特性名称 | 字符 | QMS 检验项目、技术标准 | 是 | 术语标准 |
| 检验项编码 | 字符 | QMS 检验项目 | 是 | QMS |
| 检验方法 | 枚举 | 技术标准 | 是 | 技术标准 |
| 判定限值 | 数值或区间 | 技术标准、工艺编制准则 | 是 | 技术标准 |
| 计量单位 | 枚举 | 数据元标准 | 是 | 数据元标准 |
| 检验阶段 | 枚举 | 进厂/制程/出厂/成品 | 是 | QMS |
| 适用工件品类 | 引用(多) | 物料类目 | 否 | 主数据 |
| 关联工艺参数项 | 引用(多) | 工艺与工序类目 | 否 | 本体 |
| 缺陷类型 | 引用(多) | 缺陷类型子类 | 否 | 本体 |
| 数据来源测点 | 引用(多) | 能耗与工况类目 | 否 | 测点配置 |
分别建立物料、BOM定义、BOM版本、BOM行项目及实际领用消耗记录,保存各自标识和对应关系。物料对象引用主数据编码及实际属性;BOM版本记录适用产品、设计或制造用途、配置、来源系统、组织范围、有效条件和批准状态;行项目记录父子物料、位置、数量、单位及替代或可选条件。
将生产工单或实际作业采用的BOM及配置与领料、退料、补料和消耗记录关联,分别保留计划需求与实际执行。出现数量差异、版本变化、返工或替代用料时,保存原计划、变更依据、实际记录和处置结论,不将实际消耗强制改成计划数量。
历史BOM、行项目和业务记录按照实际版本及有效范围保留,当前版本与历史版本分别使用。建立变更前后对象和行项目的对应,检查物料、工艺、订单及库存记录之间的引用,避免以现行结构覆盖历史工单。
物料实体和BOM版本分别设置稳定标识。BOM版本的来源引用保存系统、组织、BOM编号、版本、用途及适用产品或配置,核查其在实际管理范围内的唯一性;不能仅凭跨系统相同编号和版本判定为同一结构。有效条件按源记录保存,包含适用时间、批次、工单或其他已经确认的业务条件。
历史工单优先依据工单实际引用的BOM版本、配置和已批准变更确认用料结构,再核对其有效期间及适用范围。缺少直接引用时,结合工单发布、变更、领用记录及产品配置核实;仅有日期但存在多个候选版本或条件冲突的,列入人工核查,不自动选择当前版本或最近版本。
对回溯补录、追认变更、撤销或修订的记录,同时保存业务生效时间、登记时间和批准依据。确认结果记录所用证据及责任人,并检查其与实际物料数量、单位、替代关系和生产记录的一致性;无法确认的关联不得作为已核实的定额或用量计算依据。
替代料关系分别保存原物料、替代物料、替代方向、适用产品或工件、BOM版本、工序、规格、数量换算、有效期间及批准依据。等效替代、条件替代、临时替代和返工用料按实际业务记录管理,未明确的关系不推定为双向适用,也不通过连续替代自动生成新的替代结论。
核验实际用料时,对照工单、领退料、变更及批准记录检查替代对象、数量、单位和适用条件。满足已批准条件的记录保留相应替代关系;缺少批准、超范围或与实际记录不符的,作为待核查差异处理,不因登记了一条替代关系就自动判为合规。
替代关系变更或失效时,保留历史有效范围和已经执行的业务事实,检查受影响的工艺、库存、质量与样本记录。对替代效果只记录实际检验或业务确认结果,不将尚未验证的技术等效性写成已成立事实。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 物料编码 | 字符 | 主数据物料编码 | 是 | 主数据 |
| 名称 | 字符 | 主数据 | 是 | 术语标准 |
| 材料牌号 | 字符 | 主数据、图纸标题栏 | 否 | 主数据 |
| 规格 | 字符 | 主数据、PLM | 否 | 主数据 |
| 计量单位 | 枚举 | 数据元标准 | 是 | 数据元标准 |
| 物料类型 | 枚举 | 原材料/自制件/外购件/标准件/备件 | 是 | 主数据 |
| 所属物料清单层级 | 引用 | PLM 物料清单 | 否 | PLM |
| 采购周期 | 数值 | SCM 物料采购周期 | 否 | 指标口径 |
| 主供应商 | 引用(多) | 供应商类目 | 否 | SCM |
| 适用工序 | 引用(多) | 工艺与工序类目 | 否 | PLM |
| 工件品类 | 枚举 | 本体工件品类值域 | 否 | 本体 |
分别建立供应商主体、供货关系、评估记录、资质或证明材料、合同、合同版本、条款、附件及履约记录。供应商主体以SCM档案及经核实的企业编码为来源,保存名称、身份标识、组织范围和历史变更;合同按照实际签约方和角色建立关联,不把所有合同对方都强制归为供应商。
对资质、评估等级、合作状态和履约事项分别保存业务生效时间、失效或终止时间、登记时间及来源依据。评估记录保存适用物料或业务范围、评估方法、结果和确认状态;合同记录保存签订、生效、变更、终止等实际事项及其依据,区分文本版本、业务状态和履约事实。
主体更名、合并、替换或编码变更时,核查身份及法律主体是否发生变化,保留旧新对应和证明材料,不仅根据名称或地址相似合并档案。历史采购、合同和履约记录继续关联当时实际主体及适用版本,用于数据加工的各项事实保持可追溯。
对评估等级、合作状态、资质状态和合同履约状态等属性保存完整变更记录,每条记录包括主体、属性、值、适用范围、业务有效期间、登记时间、来源版本和确认依据。后补或修正的记录保留原值及更正关系,不覆盖已经使用过的历史状态。
按业务时点查询时核对当时适用的有效记录;用于历史预测或模型验证时,同时限定该时点实际已经取得的信息,避免把事后补录的结论作为当时已知输入。重叠有效期、冲突值或缺少起止时间的记录进入核查,不以最后导入值直接代替历史真值。
比较不同时期的评估结果前,核对评估方法、等级定义、物料范围及计算依据是否一致。尺度或规则改变时分别呈现,只有具备明确转换依据才进行可比处理;不根据等级字符变化直接生成供应商能力或风险趋势结论。
根据实际合同、订单及其行项目建立关联,保存来源标识、版本、双方主体、物料或服务项目、数量、单位、金额条件和适用期间。框架合同、具体订单、补充协议及变更记录按实际业务关系分别管理,关系结构能够表达经核实的一对一、一对多或多对多情形,不为了统一模型而生成不存在的关联。
订单行与合同条款或行项目的对应以真实引用、批准资料和履约证据核实,记录分配的数量或金额及其计算依据。没有明确分配依据的,不按订单数量平均分摊合同金额;不含固定总额的框架约定也不补造总额。核对币种、含税状态、折扣、计价单位和调整条件,避免重复累计或跨版本混算。
合同、单价、折扣和履约资料按数据分类、授权及实际用途实施访问、加工、导出和交付控制,敏感字段的原值与脱敏值分别管理。分级或授权尚未确认的内容先完成核查,不进入未获准的使用范围;来源证据和必要关联在受控环境中保留,脱敏后复核条款含义、金额关系和对象定位。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 供应商编码 | 字符 | SCM 供应商档案 | 是 | SCM |
| 名称 | 字符 | SCM(按入口脱敏规则处理) | 是 | SCM |
| 资质类型与编号 | 字符(多) | 资质文件 | 否 | 资质归集目录 |
| 评估等级 | 枚举 | SCM 供应商评估 | 否 | SCM |
| 履约率 | 数值 | SCM 派生指标 | 否 | 指标知识库口径 |
| 合同编号 | 字符 | CRM、ERP、OA | 是(合同实例) | 合同台账 |
| 合同类型 | 枚举 | 销售/采购/项目/技术协议 | 是 | 本体 |
| 条款编号 | 字符 | 合同条款切分结果 | 否 | 知识库 |
| 关联物料 | 引用(多) | 物料类目 | 否 | 主数据 |
| 关联制度条款 | 引用(多) | 制度条款索引 | 否 | 知识库 |
建立能源介质、计量指标、计量点、仪表或通道、设备、工况阶段、作业及事件之间的关联,保存实际能耗记录及其业务条件。分别定义瞬时测量值、累计表计、区间用量和派生指标,记录单位、时间范围、来源、有效性及计算方法,不将不同含义的数值混作同一指标。
工况记录关联实际设备、工单或作业、工件或产品、工序、运行状态和已有环境信息,保存各条件的来源及有效期间。按照已确认的判据形成工况片段,记录开始结束时间、边界依据和关联事件;停机、空载、负载变化、工序切换及故障状态分别保存其实际含义。
对比不同片段前,核对计量范围、设备配置、作业对象、阶段、统计时间和单位的一致性。对真实异常、缺失或无效测量分别标记,保留原始曲线和计量记录;不能仅以曲线不同认定故障,也不能为了形成相同工况而改写实际状态。
按设备、工艺和业务任务核查工况判定所需数据,登记运行状态、工单或作业、产品或工件、相关测点及环境信息的来源、时间精度、更新方式和覆盖情况。数据是否可用以接口、文件和实际记录核验为准;缺少必要输入时安排补取、映射修复或业务核查,不能假定全部条件已存在,也不以季节或相邻记录替代缺失的实际环境观测。
分段规则明确适用设备、工艺版本、输入字段、判定条件、边界、状态优先级及异常处理。需要数值阈值、稳定持续时间或状态切换条件时,依据有效工艺、设备配置和代表性实际数据完成确认及验证,记录具体取值和依据,不给所有设备套用统一阈值。
跨工单、跨工序、连续运行、停复机和返工作业按照实际身份与事件确定分段,保留规则冲突和边界不确定记录。输入缺失或证据不足时标记工况未确认,不默认归为空载、停机或正常。抽查片段与原始时序、工单及事件的一致性,修复错误规则后重新检查受影响片段及下游关联。
核查EMS计量点、实际仪表或通道、供能范围、设备及生产区域的对应,保存计量架构、来源记录、有效期间和变更信息。根据真实配置建立单点单设备、共享计量或多点共同覆盖等关系,不预设所有计量点均按配电回路设置,也不强制所有关系为多对多。
总表、分表及区间统计按明确边界组织,核对时间区间、单位、表计倍率、累计读数变化及有效状态,防止重复汇总。累计表计换表、复位、回绕、缺失和时间错位分别核查,原始读数与经过确认的计算结果同时保存,不把异常差值直接改为零或作为真实用量。
共享计量的分配仅在具有可核验的计量、作业或其他业务依据并完成方法验证后执行,记录输入、公式、适用范围、误差或不确定性检查及确认结果。计算分配值与直接测量值分别标识;无依据时保留实际测量范围,不平均分给各设备。对任务要求的设备或作业粒度仍有缺口的,列明缺口、补取及修复安排,核实所需记录与方法后完成相应验证,不以缩小分析粒度代替原任务要求。
| 属性 | 类型 | 值域或取值来源 | 必填 | 对齐基准 |
|---|---|---|---|---|
| 测点编码 | 字符 | SCADA、EMS、远程运维平台测点配置 | 是 | 测点配置 |
| 测点名称 | 字符 | 测点配置、术语标准 | 是 | 术语标准 |
| 物理量 | 枚举 | 温度/电流/电压/功率/频率/流量/浓度/速度/间隙/能耗/状态 | 是 | 本体 |
| 量纲与单位 | 枚举 | 数据元标准 | 是 | 数据元标准 |
| 采样周期 | 数值 | 测点配置 | 否 | 测点配置 |
| 量程上下限 | 数值 | 测点配置、设备技术文件 | 否 | 设备文件 |
| 正常区间 | 数值区间 | 工艺编制准则、同工况统计 | 否 | 专家确认 |
| 所属设备或部件 | 引用 | 设备与部件类目 | 是 | EAM |
| 关联工序 | 引用(多) | 工艺与工序类目 | 否 | PLM |
| 工况分段定义 | 文本 + 规则 | 本体自建 | 否 | 专家确认 |
| 是否设定值可比 | 布尔 | 测点配置 | 否 | 本体 |
按实际业务语义分别定义分类、组成、安装、工艺依赖、因果、故障表现、检验、编码映射、术语别名、组织或主体角色、合同条款、订单履约、物料替代及计量等关系。每种关系登记标识、名称、含义、允许的起点和终点、方向、数量约束、适用条件、有效期间及证据要求;新增关系经业务核验和一致性检查后纳入版本管理。
概念之间、实体之间以及实体与业务记录之间的关系分别管理,不能将类别归属、实物装配和合同组成统一成一种无条件包含关系。关系实例保留实际对象、来源及业务发生时间,允许的关联数量按具体业务范围确定,不把表中概括的基数作为所有版本和场景的统一硬约束。
查询扩展或推断使用明确配置并经过验证的规则,区分直接记录与推导结果。只有语义、对象和适用条件支持的关系才允许相应推导,结果保留完整路径、规则版本和依据;名称相似、时间接近或关系可连通均不能直接证明实体相同或因果成立。
| 关系 | 定义 | 定义域 | 值域 | 基数 | 是否可传递 | 典型用途 |
|---|---|---|---|---|---|---|
| 分类归属 | 实例归入经定义的类别或概念 | 全部对象类目的实例 | 对应类目的概念与类别条目 | 多对一 | 沿类别层级,按已配置规则 | 类别检索、标注术语归集 |
| 结构组成 | 上层对象在产品或物料结构上包含下层对象 | 设备与部件、工艺与工序、物料与BOM、质量特性与检验项 | 同类目的下层实例 | 一对多 | 按已配置规则 | 部件层级展开、物料清单展开 |
| 安装承载 | 实物部件安装于指定位置并承载于上级实物 | 设备与部件(实物) | 设备与部件(安装位置、上级实物) | 多对一 | 按已配置规则 | 在役装备定位、测点挂接 |
| 工艺前后依赖 | 前道工序完成后方可开始后道工序 | 工艺与工序(工序、工步) | 工艺与工序(工序、工步) | 多对多 | 按已配置规则 | 工序排序与校核、禁止组合判定 |
| 因果 | 经证据确认的原因与结果之间的关联 | 故障模式(原因)、质量特性与检验项(不合格结论) | 故障模式(故障、现象) | 多对多 | 不可 | 故障链图谱、诊断归因 |
| 故障表现 | 故障模式在具体对象上可观察到的现象 | 故障模式、故障事件 | 故障模式(现象) | 多对多 | 不可 | 征兆比对、现象检索 |
| 检验对应 | 工艺参数项与质量特性或检验项的对应 | 工艺与工序(工艺参数项) | 质量特性与检验项 | 多对多 | 不可 | 工艺质量链图谱、参数与结果比对 |
| 编码映射 | 本体实体与企业既有编码在限定范围内的对应 | 全部七类目 | 主数据编码、PLM 编码、EAM 编码、QMS 编码 | 一对多 | 不可 | 跨系统对象贯通 |
| 术语别名 | 标准词与别名、缩写、口语表述等价 | 术语表条目 | 同义词别名表条目 | 一对多 | 按已配置规则 | 检索同义扩展、标注术语归一 |
| 主体角色 | 组织或主体在业务记录中担任的角色 | 供应商与合同(主体)、组织单元 | 合同、订单、工单、检验记录 | 多对多 | 不可 | 责任主体定位、履约归集 |
| 合同构成 | 合同、合同版本、条款与附件之间的从属关系 | 供应商与合同(合同) | 供应商与合同(版本、条款、附件) | 一对多 | 按已配置规则 | 条款检索、合同合规审查 |
| 订单履约 | 订单行与合同条款、交付及付款记录的对应 | 供应商与合同(订单行) | 合同条款、到货与付款记录 | 多对多 | 不可 | 履约核对、供应时效分析 |
| 物料替代 | 原物料在限定条件下由替代物料顶用 | 物料与BOM(原物料) | 物料与BOM(替代物料) | 多对多 | 不可 | 实际用料核验、缺料处置 |
| 计量归属 | 计量点所覆盖的设备、区域或工序范围 | 能耗与工况(计量点) | 设备与部件、工艺与工序、生产区域 | 多对多 | 不可 | 能耗归集、工况关联 |
每条关系实例记录关系标识、类型、起点、终点、方向、业务条件、有效期间、来源文档或记录位置、原始证据、建立方式及所用规则或模型版本。来源定位至少能够回到实际文件页码、表格行项、系统记录或时序区间;抽取程序和专家确认记录分别保存,程序执行成功不等于业务关系已经成立。
明确关系的候选、待核验、已确认、修订或失效状态。需要描述证据程度时,保存具体评价规则及理由,区分证据完整性、专家确认和模型置信度,不能用强、中、弱标签代替来源核查。存在相互矛盾的证据时保留各项来源与适用条件,核实后记录处理结论,不静默覆盖。
由规则推导的关系另记推导标识、全部前提关系、执行规则版本、适用条件和核验结果,查询显示及数据导出能够区分直接事实与推导结果。任一前提关系修订或失效时,追溯并重新检查相关推导及下游样本、知识条目和索引,保留变更前后的版本和处理记录。
以刮板输送装备为主线沉淀部件层级与安装关系。层级取自 PLM 物料清单,层级深度按物料清单实际结构确定,不另设虚层。在役监测的测点按部件挂接,使报警与部件可对应。同类装备的部件层级差异按型号分支维护,不合并为一棵通用树——合并会让诊断场景的部件定位失真。
本体的第一件事是回答:数据围绕哪些实物组织。产品谱很宽,但进入首批沉淀范围的工件不是越多越好——每增加一个品类,其工艺环节、质量特性、缺陷表述都要进入术语表与标签体系;范围铺得过宽,每类的样本量反而摊薄到不足以支撑训练。首批因此按工艺链覆盖面挑选,不按产量排序。
四列各管一头。工件品类一列是对象本身;主要工艺环节一列决定数据来自哪些产线与系统;关键质量特性一列决定标注的标签与评测判分点;常见缺陷倾向一列决定缺陷样本的采集重点与难例来源。后两列不是常识复述,取值来自图纸标题栏、工艺卡片与技术标准,登记时带出处。
横向读一行,是一个品类的数据画像;纵向看主要工艺环节一列,五个品类合起来覆盖下料、成形、焊接、热处理、机加工五类环节,不集中在某一道工序。读完可得的判断是:清单一旦确定,术语表、标签体系与缺陷目录的首批边界随之确定;后续扩充是增量动作,按甲方确认的产品范围逐类追加,不推翻已沉淀的部分。
| 工件品类 | 主要工艺环节 | 关键质量特性 | 常见缺陷倾向 |
|---|---|---|---|
| 链轮 | 焊接、热处理(感应淬火)、机加工 | 淬火硬度、淬火区域位置及均匀性、齿形尺寸 | 淬火烧伤、淬火裂纹 |
| 齿轨 | 焊接、热处理、机加工 | 淬火硬度、硬化层分布、直线度 | 淬火裂纹、焊接未熔合 |
| 刮板 | 下料、成形、焊接 | 焊缝质量、外形尺寸 | 偏焊、咬边、未焊透 |
| 压板 | 下料、成形、焊接、机加工 | 焊缝质量、平面度 | 气孔、焊瘤 |
| 哑铃销 | 机加工、热处理 | 淬火硬度、尺寸公差 | 淬火裂纹 |
品类清单按甲方确认的产品范围扩充,上表为本体首批沉淀范围。各品类的材料牌号区间、热处理要求与检验项逐项登记,取值来源为图纸标题栏、工艺卡片与技术标准。
热处理参数项的定义要回答一个问题:哪些参数之间可比,哪些不可比。表中「设定值可比」一列正是为此设置。炉温设定值在同一炉型、同一工艺牌号之间可比,跨炉型就不可比——不同炉型的热场分布不同,同样的设定温度对应的工件实际温度不同。若不标注可比性,模型会把跨炉型的设定值差异当作工艺差异学习。
关联质量特性一列把参数与后果连起来,这是本表最实用的部分。热处理的质量问题(硬度不足、变形、开裂、氧化脱碳)各自与不同的参数组合相关;把这一对应写明,场景验证时的归因分析就有了假设起点,不必从全部参数中盲搜。对应关系取自热处理工艺规程与冶金原理,并在首轮数据分析后按实测相关性校正——写入方案的是初始对应,校正过程与结果在验证报告中记录。
需要说明的是,参数的采集完备性受设备条件限制。部分老旧炉台只有炉温记录而无气氛与压力数据,这类炉次的数据在建模时可用范围较窄。各炉台的参数覆盖情况在数据源登记表中逐台登记,不以整体覆盖率掩盖个别炉台的缺口。
| 参数项 | 物理量 | 单位 | 设定值可比 | 关联工序 | 关联质量特性 |
|---|---|---|---|---|---|
| 淬火前工件表面温度 | 温度 | ℃ | 否 | 感应淬火 | 淬火硬度 |
| 淬火后工件表面温度 | 温度 | ℃ | 否 | 感应淬火 | 淬火硬度、淬火裂纹 |
| 加热功率 | 功率 | kW | 是 | 感应加热 | 硬化层深度 |
| 加热频率 | 频率 | kHz | 是 | 感应加热 | 硬化层深度 |
| 淬火液温度 | 温度 | ℃ | 是 | 淬火 | 淬火硬度、淬火裂纹 |
| 淬火液浓度 | 浓度 | % | 是 | 淬火 | 淬火硬度 |
| 淬火液流量 | 流量 | L/min | 是 | 淬火 | 淬火均匀性 |
| 感应器间隙 | 长度 | mm | 是 | 感应加热 | 淬火区域位置及均匀性 |
| 加热时间 | 时间 | s | 是 | 感应加热 | 硬化层深度 |
| 冷却时间 | 时间 | s | 是 | 淬火 | 淬火硬度 |
| 返热温度 | 温度 | ℃ | 否 | 回火或自回火 | 淬火裂纹 |
| 装炉量 | 计数 | 件 | 否 | 装炉 | 批次均匀性 |
焊接参数项的设计围绕一组对照:预设值与实时值并列。表中每一项电参数都有预设与实时两行,这不是重复,而是本类目最核心的信息结构——预设值代表工艺意图,实时值代表实际发生,两者的偏差正是焊接过程控制要监控的对象。只取实时值,看不出偏差;只取预设值,看不出执行情况。
「设定值可比」一列中,预设值标为「—」而实时值标为「是」,原因是预设值在不同焊接方法、不同板厚、不同坡口形式之间不具可比性(埋弧焊与气保焊的电流量级本就不同),而实时值相对预设值的偏差率是跨工况可比的。因此本节约定:参数的绝对值按工艺条件分组使用,偏差率可跨组比较。
关联质量特性一列是焊接场景归因的基础。熔深与未熔合主要受电流影响,熔宽与气孔与电压相关,烧穿与电流及速度的组合相关,摆动参数影响成形。这些对应关系来自焊接工艺原理,在数据集中作为先验知识记录,使模型训练与结果解释都有依据。焊接方法(埋弧、气保)作为一个必要的分组维度在本表中显式保留——同一参数值在两种方法下的工艺含义不同,不分组会得出矛盾的结论。
| 参数项 | 物理量 | 单位 | 设定值可比 | 关联质量特性 |
|---|---|---|---|---|
| 预设电流 | 电流 | A | — | 熔深、未熔合 |
| 实时电流 | 电流 | A | 是 | 熔深、未熔合、烧穿 |
| 预设电压 | 电压 | V | — | 熔宽、气孔 |
| 实时电压 | 电压 | V | 是 | 熔宽、气孔 |
| 焊接速度 | 速度 | mm/s | 是 | 熔深、焊瘤、未焊透 |
| 焊枪摆动振幅 | 长度 | mm | 是 | 熔宽、偏焊 |
| 焊枪摆动频率 | 频率 | Hz | 是 | 熔池稳定性 |
| 焊枪停留时间 | 时间 | s | 是 | 咬边、烧穿 |
| 送丝速度 | 速度 | mm/s | 是 | 熔敷量、焊瘤 |
| 保护气体流量 | 流量 | L/min | 是 | 气孔、夹渣 |
| 层间温度 | 温度 | ℃ | 是 | 冷裂纹、未熔合 |
| 变位机状态 | 状态 | — | 否 | 偏焊 |
| 起弧与收弧 | 事件 | — | 否 | 气孔、未焊透 |
| 焊丝牌号与直径 | 标识 | — | 否 | 熔敷金属性能 |
焊接缺陷十类。「易混淆类型」一列专为标注一致性设置:标注人员在判别相近缺陷时直接查本体,不靠个人经验。
| 缺陷类型 | 判别要点 | 主要检验方法 | 相关参数偏离方向 | 易混淆类型 |
|---|---|---|---|---|
| 热裂纹 | 高温阶段形成,常沿焊缝中心 | 外观检查、无损检测 | 焊接速度偏高、拘束度大 | 冷裂纹 |
| 冷裂纹 | 冷却后延迟出现,常在热影响区 | 无损检测(延迟复检) | 层间温度偏低、冷却过快 | 热裂纹 |
| 偏焊 | 焊缝中心偏离坡口中心 | 外观检查、尺寸测量 | 摆动振幅不足、变位机状态异常 | 咬边 |
| 咬边 | 母材被过度熔化形成沟槽 | 外观检查 | 电流偏高、停留时间偏长 | 偏焊、烧穿 |
| 夹渣 | 焊缝内残留非金属夹杂 | 无损检测 | 保护气体流量不足、清渣不彻底 | 气孔 |
| 烧穿 | 熔池击穿母材形成孔洞 | 外观检查 | 电流偏高、速度偏低 | 咬边 |
| 未熔合 | 焊道与母材或层间未结合 | 无损检测 | 电流偏低、层间温度偏低 | 未焊透 |
| 未焊透 | 根部未达到设计熔深 | 无损检测 | 电流偏低、速度偏高 | 未熔合 |
| 气孔 | 焊缝内球形孔穴 | 无损检测、外观检查 | 保护气体流量不足、电压偏高 | 夹渣 |
| 焊瘤 | 熔化金属溢出堆积 | 外观检查 | 送丝速度偏高、速度偏低 | 咬边 |
热处理外观缺陷两类。
| 缺陷类型 | 判别要点 | 主要检验方法 | 相关参数偏离方向 | 易混淆类型 |
|---|---|---|---|---|
| 烧伤 | 表面过热导致的变色或组织改变 | 外观检查、硬度复测 | 加热功率偏高、加热时间偏长、感应器间隙偏小 | 裂纹(表面色差掩盖) |
| 裂纹 | 淬火应力导致的表面开裂 | 外观检查、无损检测 | 冷却过快、淬火液温度偏低、返热不足 | 烧伤 |
「相关参数偏离方向」一列的作用是把缺陷与工艺参数项通过检验对应关系连起来,使图谱 B 的边有业务依据。该列取值需业务专家逐条确认后生效,专家未确认的标记为弱证据,不用于合成样本的事实性断言。
按在役装备的部件分组沉淀,每条登记现象、原因、处置措施与相关备件。首批沉淀范围以远程运维平台已覆盖的部件与已有故障案例为准,字段结构见 3.3.3。故障标签稀少是客观条件,因此首批以「现象—部件」关系为主,「现象—原因」关系按证据强度分级,强证据条目优先进入图谱 A。
备料分厂的工序集合是封闭的,当前掌握的口径为 28 道,以甲方工艺部门确认的正式工序字典为准。本体按该字典登记工序编码、名称、设备资源与前后依赖。工序按加工性质分组登记,分组用于工艺排序校核时缩小候选范围。
| 工序分组 | 组内工序的共同特征 | 排序约束 |
|---|---|---|
| 下料类 | 从原材料切出零件轮廓 | 位于工艺路线前端,组内一般不重复 |
| 成形类 | 改变零件几何形状 | 在下料之后、制孔之前或之后,按图纸要求定 |
| 制孔类 | 加工孔与方孔 | 与成形类的先后按变形影响判定 |
| 边缘处理类 | 坡口、倒角、去毛刺 | 一般在成形与制孔之后 |
| 矫正类 | 矫平、矫直 | 可在成形后或焊接后,按变形情况插入 |
| 表面处理类 | 打磨、清理 | 位于工艺路线后端 |
| 检验与标识类 | 过程检验、打标 | 按关键工序设置点 |
组内具体工序名称与道数以备料分厂的正式工序字典为准。工序字典的取得按现场调查办理:由甲方工艺部门提供现行版本,项目组按工序分组、工序名称、所属设备资源、前后依赖与工时定额五项字段逐条核对,核对结果经工艺部门书面确认后作为本体工艺与工序类目的值域基准,完成时点与首版本体发布对齐。确认之前,本体按上表的工序分组登记骨架实例,分组内的具体工序名称标记为待确认,不进入标注标签;预处理的术语归一在此期间只归一到分组一级,不归一到工序一级。
故障模式类目下的「现象」与「原因」作为独立子类维护,原因是同一现象可对应多个故障模式,同一原因也可导致多个现象,作为属性无法表达这种多对多关系。两个子类的值域按来源分层登记。
| 子类 | 值域分层 | 取值示例方向 | 取值来源 | 证据要求 |
|---|---|---|---|---|
| 现象·可观测量异常 | 按测点物理量分组 | 温度偏高、振动增大、电流波动、流量下降 | 测点配置 + 报警规则 | 强(有测点与阈值依据) |
| 现象·状态与事件 | 按设备状态分组 | 非计划停机、报警频发、启停异常 | 设备状态记录、报警数据 | 强 |
| 现象·外观与感官 | 按部位分组 | 异响、渗漏、磨损痕迹、变形 | 点检记录、维修记录 | 中 |
| 现象·质量结果异常 | 按检验项分组 | 硬度不达标、硬化层偏浅、缺陷检出 | QMS 检验记录 | 强 |
| 原因·工况与载荷 | 按工况分段 | 超载运行、工况突变、三机联动耦合干扰 | 诊断报告、专家确认 | 中或弱 |
| 原因·工艺执行偏差 | 按工艺参数项 | 参数偏离设定、装炉方式差异、冷却不足 | 时序数据 + 工艺准则 | 强或中 |
| 原因·物料与来源 | 按材料批次 | 材料批次差异、来料不合格 | 库存批次 + 进厂检验 | 中 |
| 原因·装配与维护 | 按部件 | 装配间隙超差、紧固失效、润滑不足 | 维修记录 | 中 |
| 原因·测量链路 | 按测点 | 传感器漂移、断链、测点失效 | 测点可信度核查结论 | 强 |
「原因·测量链路」单列的理由是:诊断类场景中相当一部分异常来自测量链路本身而不是设备本体,不把这一类单列会污染故障标签。该子类的实例由预处理环节的传感器可信度核查结论回填(见 2.4.4)。
本体实体编码以主数据管理平台的组织机构、人员与物料编码,以及 PLM 的物料清单与零部件信息为基准对齐。
本体与企业编码的对齐是三步而不是一步,原因是这三步解决的是三类性质不同的问题,混在一起做必然卡住。
建映射解决的是「能不能对上」。 本体实体与企业编码之间多数是一对一,但一对多是常态:本体中的一个「刮板」概念,在 PLM 中可能对应十几个具体零部件号。映射要求可双向查询,是因为两个方向都有实际用途——从本体概念找实例用于检索,从实例找概念用于归类。
清冲突解决的是「对上了但对上好几个」。 同一物理对象在 EAM、PLM、WMS 中各有编码,这是企业信息化历史形成的,不可能也不必要求统一。本方案的做法是指定一个基准编码、其余登记为别名,而不是试图合并——合并需要修改源系统,属主数据治理范畴,周期长且不在本项目范围内。指定基准的原则是取该对象的权威维护方所用的编码。
登缺口解决的是「对不上」。 企业编码体系未覆盖的本体概念单独成表提交数据治理环节。这份清单的价值超出本项目:它是主数据扩充的直接输入,指出的是企业编码体系与实际业务之间的空白。缺口不在本项目内自行补编码,因为编码的发放权属主数据管理,自行补编会在企业内形成第二套编码。
| 步骤 | 动作 | 产出 | 判定 |
|---|---|---|---|
| 建映射 | 本体实体与企业编码建立一对一或一对多映射 | 标准映射对照表的本体侧条目 | 映射须可双向查询 |
| 清冲突 | 同一物理对象在不同系统有不同编码的,指定基准编码并登记其余为别名 | 基准编码清单、别名登记 | 一个物理对象只有一个基准编码 |
| 登缺口 | 企业编码体系未覆盖的本体概念单独列表 | 编码缺口清单 | 提交数据治理环节纳入主数据扩充计划 |
同一台设备在资产管理系统里是一个编号,在产品生命周期管理系统里是另一个,在车间的叫法又是第三种。本体若不指定其一为准,同一对象的知识条目就会分裂成几条互不相认的记录。这张表为七类对象各指定一个基准编码来源,并写明冲突往哪收。
基准的选法只凭一条原则:谁是该类对象的权威维护方,就以谁的编码为准。设备级取资产管理系统,部件级取产品生命周期管理系统,工序取工艺部门字典,物料与供应商取主数据与供应链系统,质量特性取检验项目码。两类例外:故障模式在企业侧无统一编码,由本体自建;能耗测点编码随改造变更,须留历史编码并登记变更时点。
处置口径一列的共同取法是定一个基准、其余入别名表,而非择一删除——别名表是检索同义扩展的词表来源,丢掉它等于丢掉车间用语的召回能力。报警代码一行是反例:它与故障模式非一对一,只作关联属性。读完七行可得的判断是:七类对象各有唯一身份来源,跨系统的不同叫法均以别名保留并可双向映射。
| 类目 | 基准编码来源 | 常见冲突情形 | 处置口径 |
|---|---|---|---|
| 设备与部件 | EAM 设备编码 + PLM 零部件号 | 同一部件在 EAM 与 PLM 编码不同 | 设备级取 EAM,部件级取 PLM,互登别名 |
| 工艺与工序 | 工艺部门工序字典 | PLM 工序名称与字典用词不一致 | 取字典为基准,PLM 用词入别名表 |
| 故障模式 | 本体自建编码 | 报警代码与故障模式非一对一 | 报警代码作为关联属性,不作为基准编码 |
| 质量特性与检验项 | QMS 检验项目编码 | 同一特性在不同检验阶段编码不同 | 特性取本体编码,检验项按阶段分别登记 |
| 物料与物料清单 | 主数据物料编码 | ERP 与 PLM 物料编码不一致 | 取主数据为基准,其余入别名表 |
| 供应商与合同 | SCM 供应商编码 | 同一供应商多编码(历史合并) | 取现行编码为基准,历史编码入别名表 |
| 能耗与工况 | 测点配置编码 | 测点改造后编码变更 | 保留历史编码并登记变更时点,时序数据按时点归属 |
映射的完备程度按类目统计并逐批提升,首批以参与场景验证的对象范围为准,覆盖面逐步接近企业核心编码体系可双向映射的状态。
本体环节若只交出一份本体文件,下游各环节仍会各自攒词表:标注工具自建一套标签,检索自备一份同义词,建库另立一套字段名。时间一长,同一个概念在四处有四种写法,谁也说不清哪一种算数。产出清单因此要先回答一个问题——这一环到底交出哪几件东西,每一件由谁取用。
产出三件主件与两件辅件。三件主件分工明确:本体文件回答有哪些类目、属性与关系,是机器加载的那一件;术语表回答每个名词是什么意思、依据哪一项标准;同义词别名表回答同一个意思在各业务域有多少种叫法。两件辅件不供本环节自用,而是交办——编码缺口清单交数据治理环节纳入主数据扩充,版本发布说明交全部下游据以决定新口径何时起用。
怎么读:格式一栏区分机器可读与供人阅读,使用方一栏说明每一件的去向。读完可得的判断是:五件产出件件有明确接收方与取用方式,其中三件直接被工具加载而不是供人参阅,这也是下一张表所列统一引用得以落实的前提。
| 产出物 | 内容 | 格式 | 使用方 |
|---|---|---|---|
| 本体文件 | 类目、属性、关系、实例 | 机器可读的本体交换格式 | 标注工具、合成工具、检索索引 |
| 术语表 | 名词、定义、业务含义、所属类目、引用标准、生效版本 | 结构化表 + 文档 | 预处理术语归一、标注、知识库 |
| 同义词别名表 | 标准词、别名、别名来源、适用场景、生效版本 | 结构化表 | 检索同义扩展、术语归一 |
| 编码缺口清单 | 未被企业编码覆盖的本体概念 | 结构化表 | 数据治理环节 |
| 版本发布说明 | 变更内容、影响评估、所引标准版本 | 文档 | 全部下游环节 |
统一引用的落实方式是技术性的而非倡议性的。
| 引用点 | 引用内容 | 落实方式 |
|---|---|---|
| 标注标签体系 | 本体类目与值域 | 标注工具从本体文件加载标签,不允许工具侧自定义标签 |
| 合成知识约束 | 本体关系类型与值域 | 合成工具以本体关系作为校验规则,越界关系的样本不生成 |
| 检索业务口径 | 术语表与同义词别名表 | 索引的同义词扩展词表取自别名表 |
| 预处理术语归一 | 术语表 | 文本化模板的术语槽取自术语表 |
| 知识库建库口径 | 类目、关系、编码映射 | 知识条目类型取自类目,图谱节点与边取自类目与关系 |
四处引用同一个版本号,版本号不一致时相关作业暂停。
本体环节的产出有六项同时是数据治理成果清单中的条目,口径关系如下表。治理文档的份数与清单见数据治理章节,此处不另行计数。
| 本环节产出 | 对应的治理成果 | 口径关系 |
|---|---|---|
| 术语表 | 业务术语标准 | 引用治理环节发布的标准;新增概念回流为标准草案 |
| 同义词别名表 | 业务术语标准的同义词部分 | 同源维护,一处修改两处生效 |
| 本体属性集与数据字典 | 数据元标准 | 字段定义冲突时以数据元标准为准 |
| 类目枚举值域 | 参考数据标准与代码值域字典 | 本体新增值候选提交标准侧确认后生效 |
| 编码缺口清单 | 主数据扩充计划 | 本体环节提出缺口,治理环节纳入计划 |
| 标准映射对照表的本体侧条目 | 标准映射对照表 | 本体环节写入,治理环节汇总发布 |
加工过程中新增或修订的术语、故障模式与工艺参数项回流至本体,产出带版本记录的本体更新,并同步更新受影响的标注与合成口径。
本体不可能先定稿再使用。真正的缺口要到用起来才暴露:预处理碰上术语表里没有的叫法,标注员遇到两个标签都挂得上的对象,质检发现取值越出值域,场景验证发现业务对象找不到对应。这些发现散在六个环节,若各环节就地改本体,同一批数据里很快并存两套口径。这张表要解决的是:缺口从哪里来、怎样回到本体。
三列对应来源、内容与发现时点。回流来源按环节排,六行覆盖从预处理到数据治理的全链路;回流内容一列写明每个环节能发现什么——各环节看问题的角度不同,能发现的缺口也不同:预处理只看得见术语与单位,标注看得见标签体系的歧义与缺失,场景验证看得见业务对象的对应关系;发现环节一列把提报责任落到岗位上。
横向读一行,即知某类缺口由谁、在什么时候、以什么形式提回。读完六行可得的判断是:本体的完善不指望一次调研穷尽,而靠六个环节各在自己的视角上持续供料,漏掉任一环节就有一类缺口长期无人发现;回流是有组织的提报,不是就地修改。
| 回流来源 | 回流内容 | 发现环节 |
|---|---|---|
| 预处理术语归一 | 表外术语、单位不一致项 | 文本化通道 |
| 标注作业 | 歧义标签、缺失标签、易混淆类型补充 | 标注环节 |
| 质检与验证 | 口径冲突、值域越界 | 质检与验证环节 |
| 知识抽取 | 新故障模式、新工艺参数项、新缺陷表述 | 知识库环节 |
| 场景验证 | 业务对象对应不上的情形 | 场景验证环节 |
| 数据治理 | 标准修订带来的术语变更 | 数据治理环节 |
回流按双周一次集中处理:各环节的变更申请汇总后,经业务专家评审合并入下一版本。集中处理而非随到随改,是为了避免同一批次内出现两种口径。
本体不是一次定稿的文件:术语会增、类目会调、取值范围会收紧。麻烦在于本体一动,已按旧版标注完的样本怎么办——全部重标,代价高到无法承受;一概不动,则同一批数据集里并存两套口径。这张表给的是中间答案:按变更的性质分档,只有真正改变语义的变更才牵动已标注样本。
六类变更按影响面从小到大排列,每一类在三件事上给口径。版本位一列区分主次:新增实例与修订属性只动次版本,因为不改变体系骨架;新增或调整类目、废弃实例、收紧值域动主版本,因为下游的标签体系与校验规则要跟着改。影响评估一列写明每类变更发布前该核查什么范围,是必经动作而非事后补记。末列把后果落到样本上,只分三档:不受影响、自动映射、需重标。
横向读一行即知该类变更的版本升法、评估范围与样本代价。读完六行可得的判断是:版本号本身就是影响面的提示——主版本一跳,下游即知须检查标签体系与已标注样本;变更的代价在发布之前已经算清,不留给下游去发现。
| 变更类型 | 版本位 | 影响评估 | 已标注样本处置 |
|---|---|---|---|
| 新增实例(术语、故障模式、参数项) | 次版本 | 评估是否与现有实例重叠 | 不受影响 |
| 修订实例属性 | 次版本 | 评估引用该实例的样本范围 | 自动映射 |
| 新增类目或关系类型 | 主版本 | 评估标注工具与合成规则的适配 | 不受影响,新批次起用 |
| 调整类目层级 | 主版本 | 评估层级路径变化的样本范围 | 自动映射或需重标,按层级变化幅度定 |
| 废弃实例 | 主版本 | 评估引用该实例的样本与知识条目 | 需重标;知识条目转入待审 |
| 值域收紧 | 主版本 | 评估越界取值的样本 | 越界样本需重标 |
受影响样本按三档处理:不受影响、自动映射、需重标。评估结论随版本发布说明一并给出。
已发布版本冻结;在用作业继续使用原版本直至批次结束,新批次从新版本起用。样本记录中保存其所用本体版本号,使跨批次的口径差异可被识别而不是被掩盖。
同义词别名表在产出物中只占一行,但它是检索召回与标注归一两处的实际依据。一个标准词挂不上车间的口语说法,检索就召不回;一个别名被错挂到另一个标准词下,标注就会把两类对象归成一类。本小节给出别名的来源、分类与歧义的处置口径。
| 别名来源 | 典型形态 | 采集方式 | 证据留痕 |
|---|---|---|---|
| 企业既有标准与制度 | 术语定义条款中的括注、简称约定 | 从制度与标准的定义型条款自动抽取(见条款切分的定义性条款判据) | 条款出处与页码 |
| 源系统值域 | 同一业务对象在不同系统中的不同叫法 | 受理阶段的枚举值域校验产出的表外取值候选 | 源系统与字段 |
| 车间与运维口语 | 工序、部件、缺陷的现场叫法与简称 | 从维修记录、工单备注、点检记录的自由文本中抽取高频表述 | 源记录主键与出现频次 |
| 图纸与工艺卡用语 | 同一特征在标题栏、技术要求与卡片中的不同写法 | 从图纸技术要求区与卡片抬头抽取 | 图号与区域标识 |
| 标注与质检回流 | 标注人员遇到的表外术语、质检发现的口径冲突 | 回流变更申请 | 申请来源与评审结论 |
| 外部标准与文献 | 国家标准与行业标准中的规范用语、英文对应词 | 从技术标准条目抽取 | 标准号与条款号 |
别名按五类登记,分类的作用是让检索与标注分别取用:检索取全部类型做同义扩展,标注归一只取前三类,后两类不参与自动归一。
| 别名类型 | 定义 | 示例方向 | 检索同义扩展 | 标注自动归一 |
|---|---|---|---|---|
| 规范简称 | 标准或制度中明文约定的简称 | 标准名称的通行简称 | 用 | 用 |
| 系统别称 | 同一对象在不同源系统中的叫法 | 同一部件在设备管理与产品生命周期管理两侧的名称差异 | 用 | 用 |
| 现场口语 | 车间与运维人员的习惯叫法 | 工序与缺陷的现场简称 | 用 | 用 |
| 近义但不等价 | 语义相近、范围不同 | 上位概念与下位概念被混用的情形 | 用,并带范围提示 | 不用 |
| 英文与缩写 | 英文全称、缩写、代号 | 工艺方法与检测方法的英文缩写 | 用 | 不用,需人工确认 |
「近义但不等价」单列一类,是本表最要紧的一处。实际语料中大量的所谓同义其实是上下位关系:把下位词当同义词归一到上位词,标签就粗了一级,而这种粗化在样本里看不出来。因此这一类只参与检索扩展并在结果中带范围提示,不参与标注归一。
歧义的处置按三种情形分别给出,共同的原则是歧义不在别名表里解决,而是回到本体里拆开。
| 歧义情形 | 判定依据 | 处置 | 留痕 |
|---|---|---|---|
| 一词多义 | 同一表述在不同类目下各有对应实体 | 不挂为任一方的别名;在术语表中为每个义项单列条目并各带限定语与适用范围 | 歧义登记条目,记录发现来源与评审结论 |
| 一词多指同类目内多实体 | 同一表述在同一类目下可指多个实体 | 回本体判断是否应拆分实体;拆分后分别挂别名,不拆分的标记为需上下文消歧并给出消歧线索字段 | 同上 |
| 同义链冲突 | 甲是乙的别名、乙是丙的别名,而甲与丙并不等价 | 断开中间环节,按等价的实际范围重挂;同义等价关系虽可传递,但传递前须逐跳核对范围 | 冲突条目与断开依据 |
别名表的维护与术语回流同节奏,双周一次集中处理。新增别名在评审通过前进待确认列表,参与检索扩展但带待确认标记,不参与标注归一——检索多召回一些的代价远小于标注归一错一批的代价。
七类目并不各自独立:同一个对象常被四个业务域从各自的角度描述,描述一旦不一致,本体就会出现两处口径。一个零件在工艺侧叫工件、在仓储侧叫物料、在质量侧叫受检件;一个「批次」在仓储是入库批次、在质量是检验批次、在生产是投产批次;一道工序在工艺字典、生产执行系统与工时定额表里可能是三个粒度。这类冲突不属于编码对齐(3.6)要解决的「同一对象多个编码」,而是「同一个词在不同域指不同的东西」或「同一个东西在不同域被切成不同粒度」。编码对齐能把编码接上,接不上含义。
本节因此单设一道跨域冲突的识别与裁决流程。它的产出不是一个结论列表,而是让每一处冲突都有一个明确的归属:要么合并为一个实体,要么拆成带限定语的两个实体,要么保留两个实体并建立映射关系。
跨域冲突不止一种,而是四种。四者的识别线索、裁决规则与代价各不相同,混在一起处置必然顾此失彼:把异名同义当同名异义处理,会把本该合并的两个实体拆开;把粒度不一致当异名同义处理,会把本可共存的两层压成一层,细粒度一侧的信息随之丢失。故先分型、后裁决,使每一处冲突走到与之匹配的规则上。
分型依据是「名」与「义」的错配方式:名同义异、名异义同,是指称层面两种相反的错配;切分深度不同、计算方式不同,则是同一指称之下结构与口径两层面的分歧。四类合起来即覆盖两域描述同一现实时的全部不一致形态。
下表分冲突类型、表现、典型发生处、不处理的后果四栏。横向读一行即可判型:先看表现是否对得上,再用典型发生处核对本域有无这些词;末栏是不裁决要付的代价,决定该类冲突在台账中的处置优先级。四类后果轻重有别:同名异义与口径不一致直接污染下游标注与取值,须优先裁决;异名同义与粒度不一致多表现为口径对不上,可随批次排期处理。
| 冲突类型 | 表现 | 典型发生处 | 不处理的后果 |
|---|---|---|---|
| 同名异义 | 同一表述在两个域指向不同对象 | 批次、工序、规格、等级 | 检索召回混入另一域的内容;标注标签跨域污染 |
| 异名同义 | 两个表述指向同一对象 | 工件与物料、受检件与零件 | 同一对象的数据被分成两份,统计口径对不上 |
| 粒度不一致 | 两个域对同一事物的切分深度不同 | 工序与工步、部件与零件、检验项与检验子项 | 跨域关联时多对多关系失控,图谱边爆炸 |
| 口径不一致 | 同一属性在两个域的计算或判定方式不同 | 合格判定、周期起止、数量口径 | 同一属性出现两个值,下游无从取舍 |
冲突不靠人工通读本体发现,而是从五个日常作业环节的产出里自动捞出来。
跨域冲突不会自己声明。九个业务域各自沿用多年的叫法,单看一域都自洽,并到一套本体里才显出同名异义、异名同义与粒度不一致。本体规模一大,靠人逐条通读既费时又易漏,而漏掉的冲突不会停在本体里,它会顺着标注标签与检索索引带进数据集。可行的办法是让冲突在日常作业里自己暴露:凡作业环节上出现「对不上」的地方,背后多半就有一处冲突。
这张表回答的是从哪些环节捞、按什么信号捞、捞出来的是哪一类疑似冲突。五个来源中前四个机器可判:编码对齐看一个实体是否映射到分属不同对象类型的多个编码,术语归一看标准词是否被适用范围不重叠的别名同时命中,属性值域看取值分布是否分裂,关系基数看连接数是否远超定义。第五个来自人:标注与质检人员最早碰上口径打架。
怎么读:中栏是触发条件,右栏是初判类型,初判只作立案依据不作结论。读完可得的判断是:五个来源的产出并入同一本台账统一编号与定型,之后按 3.9.3 的流程取证、分域确认与裁决。
| 识别来源 | 捞取方式 | 产出 |
|---|---|---|
| 编码对齐 | 一个本体实体映射到多个系统编码,而这些编码在源侧分属不同对象类型 | 疑似异名同义或粒度不一致 |
| 术语归一 | 同一标准词被两个域的别名同时命中,而两个别名的适用范围不重叠 | 疑似同名异义 |
| 属性值域校验 | 同一属性在两个域的取值分布明显分属两个集合 | 疑似口径不一致 |
| 关系基数校验 | 跨域关系的实际连接数远超定义基数 | 疑似粒度不一致 |
| 标注与质检回流 | 标注人员报歧义标签、质检报口径冲突 | 各类型均可能 |
五个来源的产出合并进跨域冲突台账,台账字段为:冲突编号、冲突类型、涉及类目与实体标识、涉及业务域、识别来源、证据(样本编号或条目编号)、提出时间、当前状态。
裁决按四步执行,前两步由本体维护岗完成,后两步须业务专家参与。
一、取证。为每一处冲突取不少于约定条数的实例证据,证据须指向具体样本或知识条目,不以印象描述立案。二、定型。按上表四种类型定型,定型不明的先按证据最充分的一类立案,裁决时可改判。三、分域确认。请涉及的各业务域分别确认本域的用法与依据,确认结果书面留痕。四、裁决与落地。按下表规则裁决,裁决结论写入本体并随版本发布。
| 冲突类型 | 裁决规则 | 落地方式 | 版本位 |
|---|---|---|---|
| 同名异义 | 不合并。为每个义项建独立实体,各带限定语与适用范围;原通用表述置为需消歧,不再单独使用 | 术语表分列义项;别名表按义项分挂;检索结果带义项提示 | 主版本(原实体被拆) |
| 异名同义 | 合并。取权威维护方的用词为标准词,另一用词入别名表 | 实体按合并规则处置(3.2.2),引用自动映射 | 次版本 |
| 粒度不一致 | 不就粗也不就细。保留两个层级各自的实体,在二者之间建层次包含关系,并登记跨域映射的对应方式 | 层次包含关系实例;跨域映射条目标注对应方式为一对多或多对多 | 次版本(新增层级时为主版本) |
| 口径不一致 | 不调和。两个口径各自登记为带限定语的属性,并在属性定义中写明适用范围;需要统一的提交数据治理环节纳入标准 | 属性分列;指标类的转指标知识库按域登记 | 次版本 |
四条规则有一条共同取向:不替业务做合并。合并会让一方的历史数据按另一方的口径被重新解释,而这种解释在样本里不留痕迹。保留差异并把差异显式登记下来,下游至少知道有两个口径,可以按任务选取。
裁决权的归属按冲突所涉的对象定:对象的权威维护方所在业务域有主裁决权,其余相关域有陈述权;两域对同一对象都主张权威的,提交业务专家评审组裁决,评审结论书面留痕。裁决不成的冲突不悬着——按「保留两个实体并建立映射关系」的保守处置先行落地,台账状态置为待裁决,在下一次集中评审时重议。
一处冲突从立案到裁决发布之间有一段时间差,取证、分域确认与随版本发布都需要时间。这段时间里标注与合成作业不会停下来等,于是必须先回答一个问题:一处尚未裁决的冲突,下游能不能用、按什么口径用。答不上这个问题,作业方要么擅自按自己的理解处置,要么整批停工。
这张表把台账条目的生命周期固定为五个状态,并为每个状态写明它对下游作业的效力。效力单列一栏是本表的要点:状态只说明进展,决定作业怎么做的是效力。三个状态标为否——已立案、分域确认中、已裁决待发布都不改变下游用法,一律按现行发布版本使用;已发布为是,受影响样本按版本规则处理;待裁决为部分,指两域相持时先按保守处置落地,映射关系可用而合并不生效。
怎么读:纵向读第三栏,可知裁决结论不提前生效这一条贯穿全表。读完可得的判断是:本体口径变更只有一个生效入口,就是随版本发布,台账的中间状态不构成口径变更。
| 状态 | 含义 | 可否影响下游作业 |
|---|---|---|
| 已立案 | 证据齐备,类型已定 | 否;涉及的实体在标注中按现行版本使用 |
| 分域确认中 | 已发出确认,等待业务域回复 | 否 |
| 已裁决待发布 | 裁决结论已出,等待随版本发布 | 否;结论不提前生效 |
| 已发布 | 结论随本体版本生效 | 是;受影响样本按版本规则处理 |
| 待裁决 | 两域主张冲突,已按保守处置落地 | 部分;保守处置的映射关系可用,合并不生效 |
台账按批次统计未闭环条目数。首批以参与场景验证的类目范围标定基线,后续批次逐步接近台账无长期挂起条目的状态;同一冲突连续两次集中评审未裁决,提请在月度例会上明确裁决方,并在前提条件与风险应对一节中按未落实项跟踪。
本体环节的输入最杂:既要预处理产出的术语候选,又要主数据、PLM、EAM、QMS 四套企业编码,还要数据治理发布的四套标准,以及企业的制图标准与工艺编制准则。输入多意味着依赖多,本环节因此是四个环节中最容易被上游进度牵制的一环。
处置办法是把本体建设分两期:第一期以预处理产出的术语候选与已有的企业编码为基础,建立七类目的骨架与首批实例,不等四套标准全部发布;第二期在治理标准发布后做一次对齐与补全,并按标准调整类目划分与属性定义。两期之间的差异在版本发布说明中记录,使使用方知道手上的本体版本处于哪个阶段、哪些部分还会变。
产出中的编码缺口清单需要强调一下。它不是本环节的副产品,而是治理规划环节的正式输入——它指出的是企业主数据体系未覆盖的概念,这些缺口不补,后续数据加工中相应对象只能用临时编码,而临时编码会在数据集中留下无法与企业系统对接的部分。因此本清单作为正式交付物提交,并在治理实施的主数据扩充计划中跟踪闭环。
退回路径上,本环节的缺陷由本体维护岗修订后重新提交口径检查节点,而不退回预处理——本体的问题多在类目设计与映射关系上,与上游样本质量无关。
| 项 | 内容 |
|---|---|
| 输入 | 预处理产出的结构化长文本与术语候选;主数据、PLM、EAM、QMS 的编码;数据治理发布的四套标准;企业机械制图标准与工艺编制准则;各环节的回流变更申请 |
| 产出 | 本体文件、术语表、同义词别名表、编码缺口清单、版本发布说明 |
| 验收方 | 甲方业务部门(按类目分别确认)+ 数据治理环节 |
| 验收方式 | 类目与关系完整性自检 + 编码映射覆盖统计 + 业务专家分类目评审 |
| 抽样或统计口径 | 七类目逐项核对;映射覆盖率按类目统计;场景对象对应逐项核对 |
| 退回路径 | 口径检查节点不通过则版本不予发布,本体维护岗按评审意见修订后重新提交;受影响的标注与合成口径暂不变更 |
本体环节的控制点与前两个环节不同:前两环节管的是数据,本环节管的是结构的正确性,判定方式因此多为逻辑校验而非抽样复核。
「关系无环」一项是硬性的。层次包含关系中出现环(A 包含 B、B 又包含 A)或工艺前后依赖中出现环(工序甲在乙之前、乙又在甲之前),都是逻辑上不可能的情形,出现即为建模错误。这类错误不能靠抽样发现——环可能跨越很多层,人工核对看不出来——必须靠图论方法做全量环检测。发现环即判不通过,不设容许量。
「类目完整」一项按招标文件要求的七类目逐项核对,每类目须有属性集与至少一条实例。要求有实例而非只有定义,是因为一个只有定义没有实例的类目无法验证其属性设计是否可用;实际建模中,属性设计的问题往往在录入第一条实例时才暴露。
控制点的判定在本环节全部由自动校验执行,这与其他环节以抽样人工复核为主不同。原因是本体的规模虽不大,但关系数量多、交叉引用密,人工核对的遗漏率高于自动校验;而本体一旦带错发布,下游所有依赖它的加工都要重做。
| 控制点 | 方法 | 判定口径 |
|---|---|---|
| 类目完整 | 对照招标文件相应条款的七类目逐项核对 | 七类目齐备,每类目有属性集与至少一条实例 |
| 关系无环 | 层次包含与工艺前后依赖的环检测 | 发现环即判不通过 |
| 值域合规 | 属性取值与参考数据标准比对 | 越界取值登记为新值候选,不直接写入 |
| 术语唯一 | 同一概念是否存在多个标准词 | 一概念一标准词,其余入别名表 |
| 编码可映射 | 映射双向查询测试 | 映射覆盖率按类目统计并逐批提升 |
| 场景对象对应 | 与各验证场景的业务对象清单逐项核对 | 对应不上的登记为缺口并补充实例 |
| 约束可执行 | 六类约束逐条由本体一致性校验工具执行 | 互斥与依赖约束条目须带业务依据与适用范围,缺依据的不生效 |
| 标识未复用 | 标识发放台账与废弃状态清单核对 | 已废弃或已拆分的标识不得再次分配 |
| 跨域冲突已闭环 | 跨域冲突台账状态核对 | 台账无长期挂起条目;待裁决条目已按保守处置落地 |
| 版本可追溯 | 版本发布说明与变更申请核对 | 每一变更可追到申请来源与评审结论 |
知识库由五部分构成:结构化知识条目、文档类知识资产、两类核心知识图谱、九个业务域的四类知识库、统一检索索引。五部分共用一套本体口径——知识条目的类型取自本体类目,图谱的节点与边取自本体实体与关系类型,检索索引的同义词扩展取自本体别名表。
图 4 知识本体与知识库的层次关系、终审检查节点与向下游的交付面(数据来源:招标文件 3.2.6.3.3、3.2.6.3.4 各项要求)
抽取来源为设备档案与说明书、维修记录、诊断报告、故障案例、技术标准、工艺编制准则、质量知识与管理制度,共八类资料。
设备说明书里抽不出故障因果,故障案例里又找不到完整参数规格。知识抽取若对所有资料用同一套规则,产出必然两头落空:该抽的没抽到,不该抽的抽了一堆待审条目压在终审。不同资料承载不同种类的知识,这张表把每类资料该抽什么预先约定,使抽取有靶可循。
前三列对应本体的三类构件:抽取实体、抽取属性、抽取关系逐类写明值得抽的是哪几种,未列入的不在本轮范围;终审分档一列把审核力度与出错后果挂钩——涉及判定限值、处置措施、安全与合规要求的全审,其余抽样审,分界线是错了会不会影响现场作业与合规判断。
横向读一行,即一类资料的抽取任务书:抽哪些对象、抽什么属性、抽哪种关系、按什么力度审。纵向看抽取关系一列可得一条判断:因果关系集中在维修记录、诊断报告、故障案例与质量知识,检验对应集中在技术标准、工艺编制准则与质量知识,层次包含与编码映射来自设备档案与管理制度——知识的种类与资料来源是对应的,缺哪类资料就会缺哪类关系。
| 资料类型 | 抽取实体 | 抽取属性 | 抽取关系 | 终审分档 |
|---|---|---|---|---|
| 设备档案与说明书 | 设备、部件、测点、备件 | 型号、规格、参数范围、维护周期 | 层次包含、编码映射 | 抽样审 |
| 维修记录 | 设备、部件、现象、处置措施、备件 | 发生时间、停机时长、更换件 | 因果、层次包含 | 抽样审 |
| 诊断报告 | 设备、故障模式、原因、处置建议 | 证据描述、判定依据 | 因果 | 全审(涉及处置措施) |
| 故障案例 | 故障模式、现象、原因、措施 | 工况条件、复现条件 | 因果 | 全审 |
| 技术标准 | 质量特性、检验项、判定限值 | 标准号、条款号、适用范围 | 检验对应 | 全审(涉及判定限值) |
| 工艺编制准则 | 工序、工艺参数项、禁止组合 | 适用材料、参数区间 | 工艺前后依赖、检验对应 | 全审 |
| 质量知识 | 缺陷类型、成因、预防措施 | 判别要点、检验方法 | 因果、检验对应 | 全审 |
| 管理制度 | 制度、条款、职责主体、业务对象 | 制度元数据(见 4.3.1) | 条款引用、层次包含 | 全审(涉及安全与合规要求) |
全审与抽样审的分界线是后果:涉及判定限值、处置措施、安全与合规要求的条目全审,其余抽样审。抽样比例按资料类型设定,首批不低于每类 10%,按终审发现的问题率调整。
从几千份设备档案、维修记录与技术标准里抽取知识条目,表面上只有两条路:全部人工读,或全部交给模型。前者做不完,后者的产出不能直接入库——模型会把相近的说法当成同一实体,也会把表格里的数字抽串行。这张表给的是第三条路:让模型、规则与人各做擅长的一段。
三道流程按单位成本从低到高排列。模型预抽按本体类目逐类扫一遍,产出的是候选而不是条目,置信度低于门限的当场拦下。规则校验用本体已定好的关系类型与属性值域作约束,把越界的候选退回并记下原因——这一道不判断内容对不对,只判断它合不合体系。人工终审按 4.2.1 的全审与抽样分档,判定的是业务上成不成立。
不通过的处置一列三种去向各不相同:拦截、退回重抽、不采纳,分别对应证据不足、口径不符与业务上不成立。读完三行可得的判断是:进入知识库的每一条,都已先后经过置信门限、体系约束与业务判断三重过滤,每一次被拦下的原因都有记录可查。
| 流程 | 动作 | 工具支撑 | 不通过的处置 |
|---|---|---|---|
| 模型预抽 | 按本体类目逐类抽取,输出候选条目 | 工具链的文档结构解析与智能标注类工具 | 置信度低于门限的候选不进入下一道 |
| 规则校验 | 用本体的关系类型与属性值域作约束 | 本体驱动规则校验 | 不符合值域的候选退回,记录退回原因 |
| 人工终审 | 按 4.2.1 的分档逐条或抽样确认 | 平台的条目评审界面 | 退回重抽或标记为不采纳 |
三道流程的次序不可调换,理由是规则校验成本远低于人工终审,先用规则过滤可以把人工时间留给真正需要判断的条目。
知识条目的字段设计有一条贯穿的原则:每一条知识都必须能回答「你从哪里来」。条目编号中含类目码与版本,条目类型取自本体七类目,再加上出处字段——三者合起来使任一条目可以定位到它所属的类目体系、它的版本,以及它在原始文档中的来源位置。
这一原则的实际意义在场景验证时才完全体现。管理制度智能问答、技术标准智能问答这类场景,回答的可信度不取决于语言是否流畅,而取决于能否给出依据并且依据确实支持结论。若知识条目没有可回查的出处,模型给出的回答无法被核验,场景验证也就无从判定。因此出处字段在入库校验中是强制项,缺失即不入库——这是本环节唯一不设缓冲的硬性条件。
条目编号带版本号,是因为知识本身会变。制度修订、标准换版、工艺调整,都会使原有条目失效而非消失;历史数据中引用了旧条目的样本,仍需能查到当时的条目内容。按版本保留而不覆盖,使知识库同时具备「当前有效知识」与「历史知识」两种查询能力。
| 字段 | 类型 | 必填 | 说明 |
|---|---|---|---|
| 条目编号 | 字符 | 是 | 类目码 + 顺序号 + 版本 |
| 条目类型 | 枚举 | 是 | 取自本体七类目 |
| 实体标识 | 引用 | 是 | 本体实体或新实例候选 |
| 属性名与属性值 | 字符/数值 | 是 | 引用数据元标准的类型与格式 |
| 关系类型与关系对象 | 枚举 + 引用 | 否 | 取自本体关系定义 |
| 证据强度 | 枚举 | 是 | 强/中/弱,定义见 4.4.1 |
| 本体版本号 | 字符 | 是 | 抽取时所用本体版本 |
| 终审状态 | 枚举 | 是 | 通过/修订后通过/退回重抽/不采纳/待审 |
| 适用范围 | 文本 | 否 | 适用的产品、设备或工序范围 |
出处登记是硬要求:没有出处的条目不入库。这条规则同时是检索增强样本能给出证据的前提。
「有出处」三个字可松可紧。写上一份文件名算有出处,写到某章某条某页也算有出处,两者在问答场景里的差别是:前者让使用者自己去几十页里翻,后者能直接把原文调出来对。这张表要定的就是出处登记到什么颗粒才算数,以及这个颗粒是否被实测验证过。
十个字段分三组。源文件编号、文件名称与版本、文件类型三项回答出自哪份文件。章节号与层级路径、页码、段落位置偏移三项回答在文件的什么位置,三项并列而非择一,缺任何一项都会在某一种核对方式上失效。抽取时间、抽取算子与版本、审核岗位与审核时间三项是加工与审核留痕,使这条出处可复算、可问责。
末行是其余九项的检验:按登记的字段实际回查一次,看能否定位回原文,结论随条目保存。必填一列标出两项条件必填,章节与页码只对文档类资料成立,时序与图像类另有其定位方式。读完十行可得的判断是:出处不是一句声明,而是一组可被逐项执行的定位指令,且已经被执行过一次。
| 字段 | 必填 | 说明 |
|---|---|---|
| 源文件编号 | 是 | 关联采集环节的文件登记 |
| 文件名称与版本 | 是 | 原文件标识 |
| 文件类型 | 是 | 对应 4.2.1 的八类资料 |
| 章节号与层级路径 | 是(文档类) | 条款级定位 |
| 页码 | 是(文档类) | 起始页、结束页 |
| 段落位置偏移 | 是 | 全文字符流中的起止偏移 |
| 抽取时间 | 是 | 作业时点 |
| 抽取算子与版本 | 是 | 可复算依据 |
| 审核岗位与审核时间 | 是 | 终审留痕 |
| 出处回查测试结论 | 是 | 按出处字段能否定位回原文的测试结果 |
三类文档资料的处理口径分述如下。
以「制度条款」为最小知识单元建立索引。六项元数据与扩展字段如下。
以条款而非文件为最小单元,是因为制度进知识库的难点不在存文件,而在让问答结果落到「哪一份制度的哪一条、是不是还在生效」。按整篇建索引做不到——一份制度几十条,命中整篇等于没定位;条款脱离所属文件的身份与时效,又会援引已废止的条款。
十二个字段分三组。制度名称、编号、发布部门、生效日期、适用范围、制度层级六项是文件身份,回答「谁发的、何时起、管到哪」;制度类别、版本状态、废止替代关系三项是归类与时效,其中版本状态决定该条款能否作为现行依据援引;条款层级路径、条款文本、条款引用关系三项是条款本体,回答「这一条在文件里的位置、说了什么、连带看哪一条」。
必填一列是读表要点:标为必填的项缺失即不入库,不以空值进索引。取值来源一列说明每一项从原文何处取,字段值因此可逐项回查。横向读一行即知该字段取自何处、能否缺、按什么口径归并。读完可得的判断是:一条条款入库后,既能定位回原文位置,也能判断是否仍然有效。
| 字段 | 必填 | 取值来源 | 说明 |
|---|---|---|---|
| 制度名称 | 是 | 文件标题 | 与 OA 文档目录核对 |
| 制度编号 | 是 | 文件编号栏 | 编号缺失的按发布文号补 |
| 发布部门 | 是 | 发文机关或签发栏 | 归并到组织机构主数据 |
| 生效日期 | 是 | 文件生效条款 | 无明确生效日的取发布日并标记 |
| 适用范围 | 是 | 适用范围条款 | 按组织层级与业务范围两个维度登记 |
| 制度层级 | 是 | 文件类型与发布层级 | 集团级/公司级/部门级/车间级 |
| 制度类别 | 是 | 按业务域与管理主题识别 | 取参考数据标准的类别值域 |
| 版本状态 | 是 | 文件状态标识 | 现行/已修订/已废止 |
| 废止替代关系 | 否 | 文件中的废止条款 | 指向被废止的制度或条款 |
| 条款层级路径 | 是 | 条款级切分结果 | 如「第 3 章>第 2 节>第五条」 |
| 条款文本 | 是 | 切分结果 | 条款原文 |
| 条款引用关系 | 否 | 引用识别结果 | 见 4.3.3 |
条款级切分的难点是粒度:切得太粗则一条索引里混多个要求,切得太细则一个要求被拆散。判据按顺序执行。
判据之所以排成有先后的七条而不是并列打分,是因为同一段文字常常同时命中好几条:它既带编号,内部又含两三项并列要求,末尾还跟着一句很短的说明。没有先后次序,切出来的结果就随人而异,同一份制度两个人切出两套索引。
七条的次序循着从确定到推断。第一、二条先认文件自带的编号结构,这是最可靠也最省事的依据,款项下挂保留层级而不单独成条;第三、四条处理编号单元与「一个要求」不等长的两种情形——一条里含多个各有主体与动作的要求,拆开并标同源条款号;一条须结合被引条款才完整,则不合并而留引用关系,由检索联带召回;第五、六条挑出定义型与附则附件两类特殊条款,前者还要回流本体术语表;第七条兜底,防止切出无独立语义的碎片。
怎么读:粒度结论一栏给的是执行动作,不只是一个判断结果。读完可得的判断是:切分口径可被复核,边界切错的处置是整文件回退重切。
| 判据 | 内容 | 粒度结论 |
|---|---|---|
| 1 显式编号 | 文本有「第 X 条」「X.Y」等条款编号 | 以编号单元为一条 |
| 2 款项下挂 | 条下有「(一)」「1.」等款项 | 款项不单独成条,作为该条的子单元保留层级 |
| 3 单一要求判定 | 该编号单元内是否只表达一个可执行要求 | 含多个并列独立要求且各自有主体与动作时,拆为多条并标注同源条款号 |
| 4 跨条引用 | 该条是否必须结合被引条款才完整 | 不合并,保留引用关系,由检索时联带召回 |
| 5 定义性条款 | 该条是否为术语定义 | 单独成条并标记为定义型,同时回流本体术语表 |
| 6 附则与附件 | 是否为附则、附表或附件 | 单独成条并标记类型,附表按表处理 |
| 7 最小长度 | 切分结果是否短于约定下限且无独立语义 | 与上一条合并,保留原编号 |
切分结果逐条成为独立索引记录,记录中保留层级路径、来源页码与位置偏移。切分正确性按制度抽样核对条款边界与层级路径,边界错切的整文件回退重切。
制度条款很少能单独成立。一条规定常写着「依据第十二条执行」或「按《某某管理办法》办理」,把这一条单独取出来回答问题,结论就是残缺的;更麻烦的是文件之间的废止关系——援引一条已被废止的规定,答案看上去有出处,实则已失效。
三类的分法依据引用指向哪里、带来什么后果。显式条内引用指向同一文件的另一条,后果是检索时须把被引条款一并召回,否则答案不完整;文件间引用指向另一份文件乃至其中的具体条款,证据链因此跨文件延伸;废止替代关系表面也是引用,作用却完全不同,它不补充内容而让一批条款整体失效,因此单列一类,直接供版本状态判定。
识别线索一列给出每类的判别依据,登记内容一列说明建边要记下哪几项。横向读一行即知该类引用怎么认、记什么、下游拿它做什么。读完三行可得的判断是:条款之间的关系被显式登记为图谱的边,检索可沿边联带召回,版本判定可沿废止边推断条款是否现行;识别不确定的一律标记为待确认,不直接建边。
| 引用类型 | 识别线索 | 登记内容 | 用途 |
|---|---|---|---|
| 显式条内引用 | 「依据第 X 条」「按本办法第 X 条」 | 源条款、目标条款、引用措辞 | 检索时联带召回被引条款 |
| 文件间引用 | 「按《某办法》执行」「依据《某标准》」 | 源条款、目标文件、目标条款(若指明) | 跨文件证据链 |
| 废止替代关系 | 「本办法自生效之日起废止《某办法》」 | 新文件、被废止文件或条款、生效日期 | 版本状态判定,避免引用失效条款 |
引用关系入图谱,支撑按条款追溯适用依据。识别不确定的标记为待确认,不直接建边。
抽取标准名称、发布部门与生效日期等核心元数据,并扩展版本状态与代替关系。
技术标准与管理制度的区别在于换版。同一个标准号隔几年发一新版,判定限值、检验方法、适用范围都可能随之变动,旧版并不因此消失——历史样本当年依据的就是旧版。一条标准条目若只记下名称与编号,回答问题时便无从判断自己引的是不是现行版本,而这类错误在答案的字面上看不出来。
这张表定的是每份标准要登记哪些项、哪些项缺了不予入库。必填六项构成「这是哪一份标准、现在还算不算数」的最低条件,其中版本状态一项把现行、即将实施、已废止、被代替四种情形分开。选填四项补的是用起来才需要的内容:代替与被代替关系连成版本链,适用范围防止把标准套到不适用的对象上,引用标准清单展开它自身的外部依赖,关键条款索引直接指向判定限值与检验方法所在之处。
怎么读:必填一栏即入库门槛,说明一栏给出各项的取值口径。读完可得的判断是:标准条目既可被引用,也可被判断是否仍然有效。
| 字段 | 必填 | 说明 |
|---|---|---|
| 标准名称 | 是 | 标准封面名称 |
| 标准号 | 是 | 含年份号 |
| 标准类别 | 是 | 国家标准/行业标准/团体标准/企业标准 |
| 发布部门 | 是 | 发布机构 |
| 生效日期 | 是 | 实施日期 |
| 版本状态 | 是 | 现行/即将实施/已废止/被代替 |
| 代替与被代替关系 | 否 | 指向相关标准号 |
| 适用范围 | 否 | 标准范围条款 |
| 引用标准清单 | 否 | 规范性引用文件章节 |
| 关键条款索引 | 否 | 判定限值、检验方法所在条款 |
版本状态关系到问答结论的正确性,按季度与公开标准信息源核对一次,核对记录留档。已废止或被代替的标准在检索结果中标注状态,不从库中删除——历史样本的判定依据需要可回查。
按四类归集。
| 归集类别 | 包含内容 | 登记字段 | 有效期与敏感度 |
|---|---|---|---|
| 投标文件模板库 | 历史投标文件、章节模板 | 项目、客户、产品范围、年份、章节结构 | 按敏感度分级,限定可见范围 |
| 设备材料 | 设备与材料的技术资料 | 设备或物料编码、型号、参数、来源 | 一般无有效期,按版本管理 |
| 资质 | 安标证书、防爆证书、检验检测报告、产品合格证 | 资质类型、编号、发证机构、有效期、覆盖产品 | 有效期必填,过期件在检索结果中标注失效 |
| 业绩 | 业绩合同、发票、验收单、中标通知书、技术协议 | 项目、客户、金额、签订与验收日期、产品范围 | 按敏感度分级,金额字段按入口脱敏规则处理 |
资质一类的条目结构与其他文档资产差别最大:它的知识价值不在正文叙述,而在证照本身的几个关键字段及其时效状态。一张已过期的安标证书,正文与有效期内的那张完全相同,拿它去应答投标资格要求却是错的。四类证照因此按统一字段结构逐张登记,有效期与状态为必填项。
| 字段 | 必填 | 取值与来源 | 用途 |
|---|---|---|---|
| 证照类型 | 是 | 枚举:安标证书/防爆证书/检验检测报告/产品合格证 | 按资格要求条目检索的首要筛选键 |
| 证照编号 | 是 | 证照载明编号 | 条目唯一标识,与扫描件一一对应 |
| 发证机构 | 是 | 证照载明机构全称 | 判断证照效力范围与认可资格 |
| 发证日期 | 是 | 证照载明日期 | 时效计算起点 |
| 有效期至 | 是(设有效期者) | 证照载明到期日 | 状态计算与到期提示的唯一依据 |
| 覆盖范围 | 是 | 产品名称、型号与规格档位 | 判断某型号投标是否被该证照覆盖 |
| 关联设备或物料编码 | 是 | 引用本体设备与部件、物料与物料清单类目 | 由设备或材料反查其应备证照 |
| 依据标准 | 否 | 引用技术标准知识条目 | 与技术标准问答互为证据 |
| 结论或等级 | 否 | 证照载明结论、等级或准用范围 | 应答中需引述的实质结论 |
| 换证关系 | 否 | 前序与后继证照编号 | 支撑同一资格的连续性查询 |
| 状态 | 是 | 枚举:有效/临近到期/已失效/已换证 | 检索默认过滤项 |
| 扫描件标识与页码 | 是 | 采集环节的文件登记编号 + 页码 | 证据回查定位 |
四类证照共用上表,各自另有特有字段与关联对象。
| 证照类型 | 登记主体 | 有效期口径 | 特有字段 | 主要关联对象 |
|---|---|---|---|---|
| 安标证书 | 按产品型号与规格档位 | 证书载明到期日 | 安全标志编号、准用范围 | 设备与部件类目的主机产品或部件实例 |
| 防爆证书 | 按产品型号 | 证书载明到期日 | 防爆型式与标志全文、适用环境类别 | 设备与部件类目实例 |
| 检验检测报告 | 按样品与检测批次 | 多不载明到期日,按报告日期加采信时限登记并注明 | 检测机构、检测依据标准、检测项与结果、样品批次 | 物料与物料清单、质量特性与检验项类目 |
| 产品合格证 | 按出厂批次或序列号 | 不设有效期 | 出厂编号或序列号、出厂日期、执行标准 | 设备与部件实例、物料批次 |
一张证照常覆盖多个型号,一台设备或一种材料也可能同时需要数张证照,关联关系因此不压进证照条目的单一字段,而另立证照—对象关联表,逐条登记证照编号、关联对象类型、对象编码与覆盖方式(整体覆盖/按规格档位覆盖/按批次覆盖)。对象编码取本体的设备编码、部件编码与物料编码,与 3.6 的编码对齐口径一致。
状态字段不手工维护,按日重算:以有效期至与当日的差值分三档打标,距到期九十日内标为临近到期并进入待换证清单,三十日内升一档,过期后标为已失效。换证件入库时按覆盖范围与型号匹配前序证照,建立换证关系,并把前序件置为已换证。
已失效与已换证的条目不从库中删除,检索结果带状态标注返回——历史样本与历史投标应答的依据需要可回查,这与技术标准废止件的处理一致(4.3.4)。检索默认只返回有效件,查历史需显式放开状态过滤,口径见 4.6.5。待换证清单的推送与提醒由平台承载,本节交付的是字段定义、状态口径与清单的生成规则。
资质条目是否齐备,直接决定标书智能问答能否正确回答「某型号投标需要哪些证照、哪些证照将在投标有效期内到期」这类问题。在册证照的盘点按现场调查办理:调查对象为质量管理部门与市场部门留存的安标证书、防爆证书、检验检测报告与产品合格证原件及扫描件;采集字段取上表的十二项登记字段,另加存放形态与可否获取扫描件两项;核实方法为按产品型号逐一清点原件并与已有扫描件比对编号,编号不一致的以原件为准;完成时点为进场后第 4 周内完成参与首批场景验证型号的清点、补齐批内完成其余型号。
清点结果不足时按三档处置:有原件无扫描件的,由项目组在质量管理部门现场扫描后登记,原件当场归还;有扫描件无原件的,按扫描件登记并标注原件未见,该条目在应答类场景中带来源提示返回;两者皆无而型号确需该证照的,按证照—对象关联表的覆盖要求列为缺口,在待换证与待补清单中逐型号列出,场景验证中涉及该型号资格问题的用例相应标注数据基础不完整。
三类文档资产分别支撑管理制度智能问答、技术标准智能问答与标书智能问答场景的数据与知识供给。场景本身的建设不在本包范围,本节交付的是其所需的知识库内容、索引与证据链;场景验证口径见场景验证章节。
合同在本节有两重身份:既是供需计划域的业务文件,也是条款级知识单元的来源。切分口径与管理制度同源,但条款类型另按下表登记,以支撑合同合规智能审查场景的知识供给。
| 条款类型 | 识别线索 | 登记字段 | 关联对象 |
|---|---|---|---|
| 标的与规格条款 | 产品名称、型号、技术参数 | 产品范围、技术要求、引用标准 | 物料、技术标准 |
| 价格与结算条款 | 金额、单价、税率、结算方式 | 金额(按敏感度处理)、结算节点 | 付款计划 |
| 交付与验收条款 | 交付期、交付地点、验收标准 | 交付节点、验收依据 | 订单、检验项 |
| 质量与质保条款 | 质保期、质量责任、索赔 | 质保期限、责任范围 | 质量特性、检验项 |
| 违约与争议条款 | 违约金、解除条件、争议解决 | 违约情形、责任比例 | 制度条款 |
| 知识产权与保密条款 | 知识产权归属、保密期限 | 归属约定、保密范围 | 制度条款 |
| 变更与不可抗力条款 | 变更程序、不可抗力情形 | 变更条件、通知义务 | 制度条款 |
| 其他约定 | 附件、特别约定 | 约定内容 | — |
招投标文件按 4.3.5 的投标资料四类归集处理,其中技术协议按合同条款类型切分,招标文件按要求条目切分并登记要求编号,便于与投标应答逐条对照。合同与招投标文件的敏感度一般高于制度文件,条款入库后按敏感等级限定可见范围;金额与客户标识字段按入口脱敏规则处理后再进入检索索引。
链路为「设备—部件—故障模式—现象—原因—处置措施—备件」,服务制造过程数据集的标注与合成。
| 节点类型 | 来源本体类目 | 关键属性 | 实例来源 |
|---|---|---|---|
| 设备 | 设备与部件 | 设备编码、型号、投运时间 | EAM 台账 |
| 部件 | 设备与部件 | 部件编码、所属设备、安装位置 | PLM、EAM |
| 故障模式 | 故障模式 | 故障编码、名称、严重度 | 故障案例、诊断报告 |
| 现象 | 故障模式(现象子类) | 现象描述、关联测点、可观测方式 | 维修记录、报警规则 |
| 原因 | 故障模式(原因子类) | 原因描述、发生条件 | 诊断报告、专家确认 |
| 处置措施 | 故障模式(属性升格为节点) | 措施描述、所需工时、所需资质 | 维修记录、诊断报告 |
| 备件 | 物料与物料清单 | 物料编码、名称、库存状态引用 | 主数据、WMS |
| 边类型 | 定义域 | 值域 | 本体关系 | 证据强度要求 |
|---|---|---|---|---|
| 设备—部件 | 设备 | 部件 | 层次包含 | 强(取自结构化台账) |
| 部件—故障模式 | 部件 | 故障模式 | 层次包含 | 强或中 |
| 故障模式—现象 | 故障模式 | 现象 | 因果 | 中以上 |
| 现象—原因 | 现象 | 原因 | 因果 | 分三级登记 |
| 原因—处置措施 | 原因 | 处置措施 | 因果 | 中以上 |
| 处置措施—备件 | 处置措施 | 备件 | 层次包含 | 强(取自备件出库记录) |
| 现象—测点 | 现象 | 能耗与工况(测点) | 检验对应 | 强(取自测点配置) |
图谱 A 的构建要处理一个现实条件:甲方的报警记录数量可观但故障标签稀少,报警与真实故障之间缺少可核对的证据。因此「现象—原因」边按证据强度分三级。
| 证据强度 | 定义 | 可用范围 |
|---|---|---|
| 强 | 有维修事实回填(维修工单记录了实际原因与更换件) | 可用于标注标签与合成样本的事实性断言 |
| 中 | 有诊断报告或检验结论支持,但无维修事实闭环 | 可用于标注候选与检索召回,合成时须带条件表述 |
| 弱 | 仅由专家经验给出,无文档证据 | 仅用于检索召回与候选提示,不用于事实性断言 |
证据级别随边保存,下游合成样本时按级别决定可否引用。级别可随维修事实回填而升级,升级动作记入边的版本历史。
链路为「工件—工艺参数—切片结果—硬度指标—质检结论」,服务产品质量数据集的标注与合成。
热处理与焊接这类工艺,参数与结果之间隔着一段时间与若干工序:今天调了淬火温度,硬度要等切片检验才知道。车间里这两头的数据分躺在不同系统:参数在群控与时序采集,硬度在检验记录,工件在物料台账。问一句「这一件为什么硬度不达标」,人要翻几个系统凭经验对上;要让模型学会这件事,先得把这条链在数据里接上。
这张表定的是链上有哪几类节点。六类不按系统划分,而按链条环节划分:工件是被追踪的实体,工序与炉次是它经历的时间段,工艺参数是这段时间里的输入,切片结果、硬度指标、质检结论是三种粒度的输出:切片看组织,硬度看数值,质检看判定。来源本体类目一栏表明这六类节点不是为图谱另造的名目,而是落在既有类目上,与标注标签、检索字段同出一源。
怎么读:关键属性一栏是建边与查询用到的字段,实例来源一栏说明各类节点取自哪个系统。读完可得的判断是:同一工件的参数与检验结果可按件串起来查,串不上的只保留炉次级链路。
| 节点类型 | 来源本体类目 | 关键属性 | 实例来源 |
|---|---|---|---|
| 工件 | 物料与物料清单 | 工件号、物料编码、工件品类、材料批次 | MES、WMS、PLM |
| 工艺参数(参数项实例) | 工艺与工序 | 参数项、设定值、实际值统计特征 | 时序通道的样本对 |
| 切片结果 | 质量特性与检验项 | 切片位置、金相或硬化层观测结果 | QMS 检验记录 |
| 硬度指标 | 质量特性与检验项 | 测点位置、硬度值、检测方法、判定限值 | QMS 检验记录 |
| 质检结论 | 质量特性与检验项 | 判定结果、缺陷类型、处置 | QMS 检验记录 |
| 工序与炉次 | 工艺与工序 | 工序号、炉次号、作业时间窗 | MES、热处理群控 |
| 边类型 | 定义域 | 值域 | 本体关系 | 建边依据 |
|---|---|---|---|---|
| 工件—工序/炉次 | 工件 | 工序与炉次 | 工艺前后依赖 | 对象锚定登记 |
| 工序/炉次—工艺参数 | 工序与炉次 | 工艺参数 | 层次包含 | 时序样本对的窗口归属 |
| 工艺参数—硬度指标 | 工艺参数 | 硬度指标 | 检验对应 | 同工件同炉次的检验记录 |
| 工艺参数—切片结果 | 工艺参数 | 切片结果 | 检验对应 | 同工件的切片检验记录 |
| 硬度指标—质检结论 | 硬度指标 | 质检结论 | 检验对应 | 判定限值比对 |
| 工艺参数—缺陷类型 | 工艺参数 | 质量特性与检验项(缺陷) | 检验对应 | 本体的「相关参数偏离方向」+专家确认 |
| 工件—材料批次 | 工件 | 物料与物料清单 | 层次包含 | 装炉清单 + WMS 库存批次 |
图谱 B 的关键是把淬火硬度、淬火区域位置及均匀性的检测结果与同炉次的工艺参数串起来,使「参数如何—结果如何」可按件查询。串接依据是采集环节的对象锚定登记;锚定失败的工件进不了图谱 B 的工件级链路,只保留炉次级链路。
| 步骤 | 动作 | 校验 |
|---|---|---|
| 节点抽取 | 按节点类型从知识条目与结构化数据生成节点 | 节点唯一性(同一实体不重复建点) |
| 边生成 | 按建边依据生成边并带证据强度 | 定义域与值域合规 |
| 冲突检测 | 同一对节点存在矛盾边(如两条互斥因果) | 冲突对提交专家裁决 |
| 环检测 | 层次包含与工艺前后依赖的环 | 发现环即阻断入库 |
| 孤点检测 | 无任何边的节点 | 孤点登记原因(数据缺口或锚定失败) |
| 覆盖统计 | 按部件、工件品类、工序统计节点与边覆盖 | 覆盖缺口进下一批次计划 |
| 专家确认 | 按 4.8 的终审规则确认 | 未确认的边不进入标注与合成 |
两类图谱的规模与覆盖范围按参与验证的产品与设备范围分批建设,首批范围以试点产线、试点炉型与在役监测覆盖设备为准。首批范围的确定按现场调查办理:调查对象为在产产品型号清单、产线与工位清单、热处理炉台清单与在役监测设备清单;责任部门为生产管理部门与设备部门;采集字段为型号与规格档位、所属产线与工位、对应炉型与炉台、在役监测覆盖的设备与测点、近一年的产量或作业批次数;核实方法为按清单与生产执行系统的工单分布、设备管理系统的台账逐项对照,对照不一致的以台账为准并登记差异;完成时点为进场后第 3 周内提出候选范围、第 5 周内由招标方书面确认。确认之前,图谱按在役监测已覆盖的设备与已接入的炉台先行构建,构建范围在批次说明中逐批列明。
两类图谱不直接交付图数据库访问权,而是按下表的三种接口形式交付,目的是让下游调用有稳定契约、口径变化可被识别。
不交付直连权限,是因为图谱一直在变:回流会增删节点与边,终审会改写证据强度,口径裁决会调整关系定义。下游若直接读库,一次内部调整就波及所有调用方,且调用方并不知道自己取到的是哪一版、那条边的证据够不够硬。
三种接口按下游要什么来分,而不是按图谱里有什么来分。标注工具要的是「这个对象可以打哪些标签」,于是给标签候选集合,并且只给终审通过的节点,候选按证据强度排序;合成工具要的是「这样写合不合规」,于是给允许的关系与值域,越界的样本不生成,弱证据边不被写成事实性断言;检索增强样本构建与场景验证要的是「凭什么这么说」,于是给节点、边与出处,每条边都带证据强度。
怎么读:口径约定一栏是各接口的硬约束,也是下游可据以应答的承诺。读完可得的判断是:图谱内部结构的变动不传导为下游改造,版本号是唯一的变更信号。
| 接口形式 | 内容 | 使用方 | 口径约定 |
|---|---|---|---|
| 标签候选接口 | 按对象给出可选标签集合(故障模式、缺陷类型、检验结论) | 标注工具 | 仅返回终审通过的节点;候选按证据强度排序 |
| 知识约束接口 | 按对象给出允许的关系与值域 | 合成工具 | 越界关系的样本不生成;弱证据边不作事实性断言 |
| 证据链接口 | 按查询返回节点、边与其出处 | 检索增强样本构建、场景验证 | 每一条边返回证据强度与出处字段 |
三种接口共用同一套版本号。图谱版本变更时,发布说明中列明受影响的标签候选与关系约束,下游按 3.8.3 的衔接规则在新批次起用。
按甲方提供的指标口径与计算逻辑,构建覆盖人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量九个业务域的四类知识库。业务域划分与数据治理章节的九域口径一致。
指标知识库覆盖九个业务域,这个范围取自招标文件对数据资源建设的要求。本表的作用不是把指标定下来——指标定义权在各业务部门,不在数据加工方——而是把每个域的数据来源、指标方向与口径确认部门列清,使指标定义工作有明确的对接对象与可用素材。
表中「口径确认对接方式」一列给的是各域对接谁、怎么对接,而不是预填一个部门名称。九个业务域的指标口径涉及人力、设计、工艺、生产、质量、采购、仓储、销售、财务等多个管理条线,各条线的归口岗位由招标方在需求确认阶段指定;在指定之前预填部门名称,一旦与实际不符,整张表的对接关系都要重做。本方案的安排是:由招标方按域指定口径确认人,项目组据此逐域开展指标梳理,梳理结果经该域确认后入库,确认人岗位与确认日期逐指标留痕(见指标知识库字段)。
「指标示例方向」一列给的是方向而非具体指标,同样出于口径确认权的考虑。示例方向用于说明本方案对各域指标内容的理解,便于招标方判断我方是否掌握了业务要点;具体指标的名称、计算式、统计维度与数据来源,在逐域梳理时确定并形成指标字典。这一安排避免了在投标阶段预设指标、而项目期发现与业务实际不符的被动局面。
| 业务域 | 主要数据来源 | 指标示例方向 | 口径确认对接方式 |
|---|---|---|---|
| 人力资源 | 主数据人员信息、工时定额 | 人员结构、工时利用 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 研发设计 | PLM 物料清单与变更记录、图纸与工艺卡片 | 图纸与工艺复用、变更频次 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 生产制造 | MES 工单与报工、SCADA、热处理群控 | 工序周期、在制、设备利用 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 仓储物流 | WMS 库存与流水、ERP 需求计划 | 库存周转、呆滞、齐套 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 财务 | 久其经营指标、ERP 成本与应收应付 | 收入、利润、成本、资产负债 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 设备 | EAM 台账与点检、SOS 工单、EMS | 设备完好、故障停机、能耗 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 采购 | SCM 采购与履约、ERP 采购 | 采购周期、到货时效、履约率 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 营销 | CRM 客户商机合同订单回款 | 商机转化、订单、回款 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
| 质量 | QMS 检验与台账 | 一次合格、不合格分布、返修 | 由招标方指定本域口径确认人;按现有报表与台账反向整理候选清单后逐项访谈确认 |
逐项登记指标。
决策分析类问答最常见的错不是算错,而是两边算的根本不是同一个指标。本月产值按开票口径还是完工口径,库存周转分母取期初还是取平均——各部门报来的数各自都对,放一起就打架。模型无从分辨,只会把两套口径一并学去。指标知识库先把口径固定下来:一个指标一条记录,含义、范围、算法与确认人都在记录里。
十四个字段分四段。指标编号与名称是身份;指标描述与业务限定给含义与适用前提;维度、统计周期、统计范围、计量单位、计算逻辑、关联指标六项合起来是可复算的口径;数据来源落到源系统与字段;口径确认人岗位与日期、口径状态、口径版本三项是治理留痕——口径权威不来自编写人,来自甲方确认。
必填一列即入库门槛:十四项中仅关联指标可空,一条指标要么口径齐全要么不入库。读完可得的判断是:库里每一条都足以回答「它是什么、在什么范围成立、怎么算、数从哪来、谁确认的、现在还作不作数」;口径状态一列使未确认的指标可先登记而不被误用。
| 字段 | 必填 | 说明 |
|---|---|---|
| 指标编号 | 是 | 业务域码 + 顺序号 |
| 指标名称 | 是 | 取业务术语标准用词 |
| 指标描述 | 是 | 业务含义的完整表述 |
| 业务限定 | 是 | 适用的业务范围与前提条件 |
| 维度 | 是 | 可下钻维度清单(如组织、产品、客户、期间) |
| 统计周期 | 是 | 日/月/季/年 |
| 统计范围 | 是 | 组织范围、业务范围、数据范围 |
| 计量单位 | 是 | 引用数据元标准 |
| 计算逻辑 | 是 | 公式表达 + 文字说明 |
| 关联指标 | 否 | 上下级或构成关系 |
| 数据来源 | 是 | 源系统与字段 |
| 口径确认人岗位与日期 | 是 | 甲方确认留痕 |
| 口径状态 | 是 | 已确认/待确认/已变更 |
| 口径版本 | 是 | 变更历史可追溯 |
指标知识库同时是数据治理成果清单中「指标标准」的来源:本环节按甲方确认的口径逐条登记,治理环节在此基础上汇总发布为企业级指标标准,两处口径同源。
登记决策分析相关的业务术语与行业、财务专业名词。
决策分析类问答绕不开术语。同一个词,财务口径与生产口径所指常常不是一回事;同一件事,不同条线又各有各的叫法。问答给出错误结论,相当一部分并非算错了数,而是在理解问题的那一步就把词对到了另一个概念上。业务概念知识库登记的正是这些词的标准定义、所属范围与易混淆之处,供问答在取数之前先把词对准。
这张表定的是每条概念要填哪些字段、哪些必填哪些选填。九项分两段:前五项必填,构成一条概念成立的最低条件——有编号可被引用,有标准词与完整定义,知道它属于九域中的哪一域,知道它是行业、财务、管理还是本企业专用术语;后四项选填,补的是关联信息,有则判别更准,缺了不影响条目可用。
怎么读:必填一栏即入库门槛,五项缺一不予登记;说明一栏给出每项的取值口径,其中同义词与别名一项与本体的同义词别名表同源,不另维护一套。读完可得的判断是:概念条目与本体共用一套标准词,知识库只在其上增加面向问答的解释性内容。
| 字段 | 必填 | 说明 |
|---|---|---|
| 概念编号 | 是 | 顺序号 |
| 术语 | 是 | 标准词 |
| 定义 | 是 | 完整定义 |
| 所属业务域 | 是 | 九域之一或跨域 |
| 术语类别 | 是 | 行业术语/财务术语/管理术语/本企业专用 |
| 同义词与别名 | 否 | 与本体同义词别名表同源 |
| 引用标准或制度 | 否 | 定义依据 |
| 常见误用说明 | 否 | 易混淆概念与区分要点 |
| 关联指标 | 否 | 该概念涉及的指标 |
「常见误用说明」一列是为问答场景设置的:同名不同义的术语是问答答错的主要来源之一,把区分要点写进知识库比靠模型自行判断更可靠。
登记各指标的业务管理逻辑、管控要求、业务边界,以及数据来源、过滤条件与加工逻辑。
指标知识库回答的是「算什么」,但一个指标名称撑不住一次问答。同样叫库存周转,取哪张表、分母用期初还是平均、停产物料算不算在内,不同条线的算法可以差出一截;更常见的麻烦是问答给出一个数,追问它怎么来的却说不清。规则知识库补的正是这一段。
十个字段分三段。规则编号与关联指标两项解决这条规则属于哪个指标。业务管理逻辑、管控要求、业务边界三项是管理侧口径,分别回答这个指标在管理上怎么用、什么值算正常、哪些情形不适用——业务边界一项尤其要紧,缺了它,指标会被套用到不该套的场合。数据来源、过滤条件、加工逻辑三项是计算侧口径,三者合起来是一条可照着复算的取数路径。异常判定与规则状态及版本两项分别供告警与时效判断,口径变更按版本留存而不覆盖,历史分析结论才仍有依据。
横向读一行即知该字段属于管理侧还是计算侧。读完十行可得的判断是:库里的每一条都足以支撑「这个数怎么算出来、依据由谁定、现在还作不作数」三问。
| 字段 | 必填 | 说明 |
|---|---|---|
| 规则编号 | 是 | 业务域码 + 顺序号 |
| 关联指标 | 是 | 指向指标知识库条目 |
| 业务管理逻辑 | 是 | 该指标在管理上如何使用 |
| 管控要求 | 是 | 目标值、阈值或管控方向 |
| 业务边界 | 是 | 不适用的情形与例外 |
| 数据来源 | 是 | 源系统、表、字段 |
| 过滤条件 | 是 | 取数时的过滤逻辑 |
| 加工逻辑 | 是 | 聚合、换算、分摊规则 |
| 异常判定 | 否 | 指标异常的判定方式 |
| 规则状态与版本 | 是 | 现行/已变更 |
归集月度、季度、年度经营分析报告、专题分析报告与常态化业务台账。
经营分析报告是企业里少有的「带着结论的历史数据」:同一组产量与成本数字,报告写明了当期为什么升降、采取了什么措施。决策问答要答的恰是这类问题,而这类解读在报表与台账里找不到,只存在于历史报告。归集报告不为让人检索原文,而是让问答能引用「历史上同类情形是怎么判断的」。
这张表定的是每份报告入库登记哪些项。必填六项回答「这是哪一份、管哪段时间、谁写的、原文在哪」——期间一项尤其要紧,经营结论一旦脱离期间就会被误用到别的年份;编制部门归并到组织机构主数据,为使「谁说的」可按组织检索。选填两项把报告拆开用:涉及指标指向指标知识库,使同一指标的历史解读可聚合;结论要点经条款级切分后独立成条,问答引用结论句而非整份报告。敏感等级单列并限定可见范围,经营数据的可见面与工艺数据不同。
怎么读:原文定位一栏是结论回到原件的坐标。读完可得的判断是:报告既可整份检索,也可按指标与结论句引用,引用都带期间与出处。
| 字段 | 必填 | 说明 |
|---|---|---|
| 报告编号 | 是 | 顺序号 |
| 报告名称 | 是 | 原文件名称 |
| 报告类型 | 是 | 月度/季度/年度经营分析/专题分析/常态化台账 |
| 期间 | 是 | 覆盖期间 |
| 编制部门 | 是 | 归并到组织机构主数据 |
| 涉及指标 | 否 | 指向指标知识库条目 |
| 结论要点 | 否 | 条款级切分后的结论句 |
| 原文定位 | 是 | 源文件编号、章节、页码 |
| 敏感等级 | 是 | 按安全方案分级,限定可见范围 |
四类知识库的关系是:指标知识库说明「算什么」,规则知识库说明「怎么算、算的边界在哪」,业务概念知识库说明「名词是什么意思」,分析报告知识库提供「历史上怎么解读」。四者联合支撑决策数据智能问答场景的知识供给。
指标口径与计算逻辑须由甲方提供。本方案的承接方式分五步。
| 步骤 | 动作 | 产出 |
|---|---|---|
| 1 清单初拟 | 按九域与现有报表、台账反向整理指标候选清单 | 指标候选清单 |
| 2 口径访谈 | 按业务域与甲方业务部门逐项确认名称、维度、周期、范围与计算逻辑 | 访谈记录、口径草案 |
| 3 可计算校验 | 按数据来源与过滤条件试算,核对能否取到数 | 试算报告、数据缺口清单 |
| 4 口径确认 | 由业务部门书面确认,登记确认人岗位与日期 | 已确认指标清单 |
| 5 入库与发布 | 写入指标知识库与规则知识库,发布可用范围 | 指标知识库版本 |
未确认的指标进入待确认列表,不出现在问答可用范围内。口径未定的指标进入问答,给出的答案无从核验,因此先不提供。
九个业务域的指标清单与计算逻辑的取得按现场调查办理:调查对象为各域现行的管理报表、经营分析报告与常态化台账;责任方为招标方按域指定的口径确认人,项目组数据受理岗与知识抽取岗对接;采集字段为指标名称、业务含义、统计周期、统计范围、可下钻维度、计量单位、计算式与数据来源八项;核实方法为按候选清单逐项试算,核对能否从已接入的源系统取到数,取不到的列入数据缺口清单;完成时点为进场后第 6 周内完成候选清单与首轮访谈,第 10 周内完成首批域的书面确认,其余域在铺开批内按域推进。某一域在两次约访后仍未指定确认人的,该域的指标与规则知识库暂不入库,决策问答场景中涉及该域的用例相应标注数据基础不完整。
对文本、图纸、图像建立统一检索索引,支撑标注过程中的规范对齐、合成过程中的知识引用与验证场景中的证据检索。
建索引之前要先定清楚「一条索引记录是什么」。这件事定得粗,检索能命中文件却指不到依据;定得细,一条要求被拆散在几条记录里,召回其中一条等于只看了半句话。本节按对象类型分别给出索引单元与切分粒度,并给出每类单元必备的元数据。
| 索引单元 | 切分粒度 | 粒度判据 | 不单独成条的部分 |
|---|---|---|---|
| 制度条款 | 一条为一个单元 | 按条款级切分的七条判据(4.3.2) | 款项作为条的子单元随条保留层级 |
| 技术标准条款 | 关键条款单独成条,其余按章节成条 | 含判定限值、检验方法、术语定义的条款单独成条 | 范围、规范性引用文件等章节按章成条 |
| 合同与招投标条款 | 按条款类型切分后一条为一个单元 | 按合同条款类型表识别(4.3.6) | 附件按件成条,不逐条拆 |
| 结构化长文本切片 | 一个切片为一个单元 | 章节边界优先、长度边界兜底(3.2.4) | 短于下限的切片与相邻切片合并 |
| 知识条目 | 一条条目为一个单元 | 一实体一属性一关系为一条 | 同一实体的多个属性不并为一条 |
| 指标与规则条目 | 一个指标或一条规则为一个单元 | 指标与其规则分列,互相引用 | 指标的维度清单随指标条目,不单独成条 |
| 分析报告结论句 | 一个结论句为一个单元 | 条款级切分后取结论型句子 | 数据表随报告成件,不逐行成条 |
| 图纸 | 一张图为一个单元 | 一图号一条;多页图按页建子单元 | 单个图元与标注不单独成条,作为该图的可检索字段 |
| 工艺卡片 | 一张卡为一个单元 | 一卡片号一条 | 卡内工序行作为该卡的子字段 |
| 图像 | 一件图像为一个单元 | 一工件一部位一时点一条 | 图像内的区域不单独成条 |
| 视频片段 | 一个阶段片段为一个单元 | 按视频分段结果(2.5.2) | 代表帧作为片段的子单元,可独立召回但带片段归属 |
| 时序片段 | 一个事件窗为一个单元 | 按事件锚定切窗结果(2.4.5) | 窗内采样点不单独成条 |
切分粒度的调整只在本节一处定义,检索侧与标注侧共用同一份定义;粒度一经发布即随知识库版本固定,调整须按版本流程走,不在索引侧临时改参数。
每类索引单元的元数据分三组:定位组让人回得到原文,口径组让人判断这条能不能用,状态组让检索能做过滤。三组缺一,索引都有一半不能用。
| 元数据组 | 字段 | 适用单元 | 作用 |
|---|---|---|---|
| 定位组 | 源文件编号、文件名称与版本、层级路径、章节号、页码、位置偏移;图纸为图号与区域标识;图像为图像标识与采集元数据;视频为片段编号与帧区间;时序为设备号、测点与时间窗 | 全部 | 按 4.6.6 的口径回查原文 |
| 口径组 | 条目类型、所属业务域、本体版本号、知识库版本号、证据强度、适用范围、引用标准号与条款号 | 全部 | 判断该条的适用边界与依据来源 |
| 状态组 | 终审状态、版本状态、有效期与时效状态、敏感等级、可见范围 | 全部 | 权限与状态过滤的输入(4.6.5) |
| 关联组 | 关联实体标识、关联指标编号、引用关系与被引用关系、配对对象标识 | 按单元类型取用 | 联带召回与证据链展开 |
元数据的取值不在索引侧另行编制,一律取自条目记录、出处登记与本体,索引只做冗余存储以支撑过滤与排序。取值来源单一,是避免同一条内容在条目库与索引里出现两个状态的唯一办法。
一座知识库里放着三类形态迥异的东西:制度条款与知识条目是文字,工艺图纸的可检索信息集中在标题栏与明细表,熔池与焊道图像一个字也没有。一套检索键管不动它们——按关键词命中得了条款,命中不了图纸的材料牌号;图像只能靠采集时登记的工件号、时点与关联检验结论去找。索引因此分三类建,这张表给的是各自的找法与取回物。
三列依次回答三个问题。索引对象一列划定每类管哪些单元,边界互不重叠;检索键一列写明能用什么条件找得到,是提问方真正可用的入口,键设少了就会库里有、找不出;返回字段一列写明命中后带回什么,其中层级路径、来源页码、位置偏移、标题栏字段等定位信息是必带项——取不回定位信息,等于找到了却回不了原文。
横向读一行,即知该类索引管什么、怎么找、拿回什么。读完三行可得的判断是:三类索引的元数据与过滤规则同源,检索键与返回字段各按形态设;任一类命中的结果都带得回原件位置,三类证据因而可并置在同一条回答里。
| 索引 | 索引对象 | 检索键 | 返回字段 |
|---|---|---|---|
| 文本索引 | 结构化长文本切片、制度条款、技术标准条款、知识条目、报告结论句 | 全文、实体编码、元数据字段(制度编号、标准号、发布部门、生效日期、版本状态)、术语与别名 | 条目或切片内容、层级路径、来源页码、位置偏移、版本状态 |
| 图纸索引 | 工艺图纸、CAD 图纸、工艺卡片 | 图号、零件名称、材料牌号、工艺特征、所属项目、物料清单行 | 图纸标识、标题栏字段、明细表行、配对卡片号、矢量化分级 |
| 图像索引 | 熔池图像、焊后焊道表面图像、工件外观缺陷图像 | 工件号、焊道号、采集时点、图像类型、关联检验结论、缺陷类型 | 图像标识、采集元数据、关联时序窗、关联检验记录 |
图纸索引以工艺特征作为检索键,是为了支撑按特征找可借用历史工艺,而不是只能按文件名找。这一点直接对应工艺设计场景的数据需求。
问句用词与文件用语往往不是一回事。车间问那个销子磨得快,台账登记的是哑铃销;问淬火硬度不够怎么办,标准写的是感应淬火硬度低于下限的处置。单靠一种找法都会漏:按编码过滤,要求提问人知道编码;按关键词命中,要求用词恰好对上;按语义相近召回,会带回一批看着贴切却查无实据的片段。这张表把四种找法并用,写明各自管哪类找不准。
三列各有分工。召回通道一列是四条并行的路;适用情形一列写明每条路专治什么,彼此补位而非重复;权重取向一列不是四选一,而是合并时的先后——结构化检索确定可解释,列为首选,全文检索覆盖面最广,作主通道,同义扩展补用词差异,向量检索只作补充。
横向读一行,即知该通道何时起作用、在合并结果里占多大分量。读完四行可得的判断是:召回宽度由同义扩展与向量检索提供,证据确定性由结构化与全文检索把住,两者分工不互相顶替;相似度不构成依据,向量通道只负责把可能相关的单元找出来,判定那一步交回原文。
| 召回通道 | 适用情形 | 权重取向 |
|---|---|---|
| 结构化检索 | 按实体、编码、元数据字段过滤 | 首选,结果确定可解释 |
| 全文检索 | 按条款与切片粒度命中关键词 | 主通道 |
| 同义扩展检索 | 提问用词与文件用语不一致 | 扩展词表取自本体别名表 |
| 向量检索 | 措辞差异大、需跨表述召回 | 补充通道,不单独作为证据来源 |
四路召回结果合并后统一回原文核对,核对不上的结果不作为证据输出。这一处置顺序是本方案的明确选择——先定位原文,再组织回答。
四路召回的行为由一组配置决定。配置写入索引服务并随知识库版本登记,不在界面上临时调整——临时调过的参数无法复现,而场景验证要求同一问题在同一版本下给出同一结果。
| 配置项 | 内容 | 取值依据 | 调整的影响 |
|---|---|---|---|
| 分词与词典 | 领域词典取自本体术语表与同义词别名表;专有名词、型号与编码按不切分处理 | 本体版本 | 词典未覆盖的术语会被切碎,召回率下降;词典随本体版本重建 |
| 字段权重 | 标题、层级路径、条款文本、正文切片、备注各设权重,标题与层级路径高于正文 | 按任务类型分档配置 | 权重失衡会使泛泛命中排在精确命中之前 |
| 过滤器执行次序 | 先执行状态与权限过滤,再执行结构化字段过滤,最后做相关性排序 | 固定次序,不可配置 | 次序颠倒会让无权查看的内容参与排序并影响结果条数 |
| 召回条数 | 各通道的初召回条数上限与合并后的候选上限 | 按任务类型分档 | 条数过小则跨源证据召不全,过大则核对成本上升 |
| 同义扩展层级 | 扩展只取一跳,不做链式传递;近义但不等价类带范围提示返回 | 别名类型(3.8.4) | 多跳扩展会把上位概念拉进来,证据失准 |
| 向量检索门限 | 相似度下限与返回条数上限 | 首批标定 | 门限过低会引入语义相近但事实无关的片段 |
| 重排规则 | 合并后按证据强度、版本状态、字段权重、来源权威度重排 | 本节定义 | 重排规则决定人工核对的先后次序 |
| 联带召回 | 命中条款带有引用关系的,联带召回被引条款;命中指标的,联带召回其规则条目 | 条款引用关系(4.3.3)、指标与规则的关联 | 不联带则跨条款的要求只看到一半 |
| 结果返回字段 | 按索引单元类型返回定位组与口径组字段 | 4.6.1 | 缺定位字段则无法回查 |
四路召回的通道取向在 4.6.3 已定:结构化检索首选、全文为主通道、同义扩展补用词差异、向量检索只作补充且不单独作为证据来源。本节补一条配置原则:向量检索的结果必须经全文或结构化通道二次定位之后才进入候选,即先用向量找到可能相关的单元,再按该单元的定位字段取回原文核对,核对不上的直接丢弃。这样安排是因为向量检索给出的是相似度而不是依据,把相似度当依据会产生看起来贴切却查无实据的回答。
配置的版本与知识库版本绑定,配置变更按版本发布并记录变更内容。场景验证使用的配置版本随验证报告一并记录,使同一组评测题在不同时点可复算。
索引里同时存在三类不该被所有人、所有用途看到的内容:未终审的条目、已失效的版本、超出使用方敏感等级的内容。过滤在检索链路的最前端执行,不在结果返回后再做剔除——后置剔除会使返回条数与排序失真,也会在日志中留下不该出现的命中记录。
状态过滤按两个状态字段执行。
| 过滤维度 | 默认行为 | 可显式放开的情形 | 放开时的处理 |
|---|---|---|---|
| 终审状态 | 仅返回「通过」与「修订后通过」 | 评审人员查看待审条目 | 返回结果带待审标记,且不得用于标注与合成作业 |
| 版本状态(标准与制度) | 仅返回现行件 | 查历史依据、回溯历史样本的判定依据 | 返回结果带已废止或被代替标记,并联带返回替代件 |
| 时效状态(证照) | 仅返回有效件 | 查换证连续性、核历史投标应答依据 | 返回结果带已失效或已换证标记 |
| 口径状态(指标) | 仅返回已确认口径 | 口径梳理阶段的内部查看 | 返回结果带待确认标记,不进入问答可用范围 |
权限过滤按敏感等级与可见范围两个字段执行,粒度到条目与字段两级。
| 过滤层级 | 过滤对象 | 规则 | 不满足时的返回 |
|---|---|---|---|
| 条目级 | 整条索引记录 | 条目敏感等级高于请求方可见范围的,不进入召回 | 不返回,也不在结果计数中出现 |
| 字段级 | 条目内的个别字段 | 条目可见但其中金额、客户标识、矿井位置等字段超出可见范围的,该字段按入口脱敏规则的处理结果返回 | 返回脱敏后取值,并标注该字段已按规则处理 |
| 附件级 | 条目关联的原文件与扫描件 | 条目可见不等于原件可见;原件按文件密级单独判定 | 返回条目与定位信息,原件链接按权限屏蔽 |
| 用途级 | 按调用方用途区分 | 标注与合成工具的调用按终审状态过滤;场景验证的调用按敏感度合规校验(4.7.3) | 超出允许范围的替换证据或不返回 |
权限判定的依据取自安全方案的分级分类结论与可见范围定义,本节不另立一套分级。过滤的执行结果逐次留痕:记录请求方、请求时间、过滤命中的维度与被过滤的条数,不记录被过滤内容本身。留痕的用途是在验证阶段分辨「模型答不出」与「内容被过滤掉了」——这两种情形在结果上看不出区别,而处置方式完全不同。
过滤有效性按批次抽样检索测试:构造一组指向待审条目、已废止标准与高敏感内容的查询,核对默认召回范围中是否出现。首批以首版索引标定基线,后续批次逐步接近默认召回范围内不出现受限内容的状态;测试命中即暂停该索引的对外服务,修正过滤规则并重跑测试后恢复。
检索给出条目之后,证据链还差最后一步:按条目回到原文的确切位置。这一步决定了问答能不能给出可核验的依据,也决定了评测错题能不能归因。
| 对象类型 | 定位粒度 | 定位字段 | 回查动作 |
|---|---|---|---|
| 文档条款 | 条款级 | 源文件编号、层级路径、章节号、起止页码、起止偏移 | 按文件编号取原件,按页码翻到该页,按偏移定位该条款,比对文本一致 |
| 长文本切片 | 切片级 | 源文件编号、层级路径、页码、起止偏移、切片序号 | 同上,另核切片边界是否落在章节内 |
| 表格单元 | 单元格级 | 源文件编号、页码、表序号、行列索引、合并关系 | 定位到该表该单元格,核对取值与合并关系 |
| 图纸要素 | 图元级 | 图号、区域标识、图元句柄或标注编号 | 按图号取原图,按句柄定位该图元或标注 |
| 图像 | 件级与区域级 | 图像标识、区域框坐标 | 取原图,按区域框定位 |
| 视频 | 片段级与帧级 | 片段编号、起止帧序号、帧时标 | 取归档副本定位片段,按帧序号取代表帧;需精确时取原始帧序列 |
| 时序 | 窗级与点级 | 设备号、测点编号、时间窗、采样点时标 | 取对应批次的时序样本,按时标定位 |
| 知识条目 | 条目级 | 条目编号与版本、出处登记字段 | 按出处字段执行上述对应动作 |
出处回查测试是入库前的强制项(见知识库环节的质量控制点):对每一条新入库条目按其出处字段实际定位一次,核对该位置的内容是否对应这条条目。字段非空但指向错误的情形在自动抽取中并不罕见——页码偏移一页、章节号串行、图元句柄在重新解析后变更,都会产生看似完整实则错误的出处。回查失败的条目不入库。
定位的稳定性由两条规则保证。一是原文件不可变:源文件一经入库即按文件指纹固定,修订产生新版本而非覆盖,旧版本的定位字段因此长期有效。二是重解析产生新版本而非原地更新:同一文件被重新解析后,新产出的切片与条款是新版本,原版本保留,历史条目仍指向原版本。两条规则的代价是存储量增加,收益是任何一条历史样本的依据在项目期之后仍可回查。
回查链路的产出在三处被用到:问答场景给出依据时返回定位信息,评测错题归因时按定位回溯是检索错还是切分错,质检复核时按定位抽查条目与原文的一致性。回查成功率按批次统计,首批以首批入库条目标定基线,后续批次逐步接近每条条目均可按出处字段定位回原文的状态;某一文件类型连续两个批次回查失败率高于基线,暂停该类型的条目入库并回查其解析算子。
索引不是建一次就完的。条目在改、终审状态在变、本体在发新版本、标准在换版,每一类变化对索引的影响范围不同,处理方式也不同。把它们混成一种「重建索引」的操作,代价是每次小改动都要停服重建;分开处理,才能做到大部分变更在线完成。
| 变更类型 | 影响范围 | 处理方式 | 是否影响在线检索 |
|---|---|---|---|
| 条目新增 | 单条 | 增量写入对应索引项 | 否 |
| 条目内容修订 | 单条及其被引用关系 | 新版本写入,旧版本置为历史并保留 | 否 |
| 终审状态变更 | 单条的状态字段 | 原地更新状态字段,过滤规则随之生效 | 否 |
| 标准或制度版本状态变更 | 该文件的全部条款单元 | 按文件批量更新状态字段,并写入替代关系 | 否 |
| 证照时效状态变更 | 该证照条目 | 按日重算状态字段(4.3.5) | 否 |
| 本体版本发布 | 同义扩展词表与领域词典 | 重建词表与词典;受影响的条目按本体版本号标记 | 短时影响召回,按版本切换窗口执行 |
| 切分粒度调整 | 该类对象的全部索引单元 | 整类重建 | 是,按重建流程执行 |
| 检索配置变更 | 全部召回行为 | 按新配置版本切换,旧配置保留 | 短时影响排序 |
| 索引结构变更 | 全部索引 | 整体重建 | 是,按重建流程执行 |
重建流程按影子索引方式执行,不在现用索引上原地改:新索引在影子环境建成并通过校验后再切换,切换失败则保持原索引继续服务。校验项为四项——单元总数与条目库记录数一致;抽样条目的定位字段回查通过;状态过滤测试通过;一组固定的回归查询在新旧索引上返回结果的一致性比对结论。四项全通过方可切换。
回滚按三个层次分别给出,层次越高代价越大,因此判定也越严。
| 回滚层次 | 触发条件 | 回滚动作 | 回滚后的处置 |
|---|---|---|---|
| 条目级 | 单条条目被发现内容或出处有误 | 该条回退到上一版本,当前版本置为退回重抽 | 按条目编号回查引用该条的三元组与样本,受影响的标记待复核 |
| 批次级 | 某批次入库的条目被发现系统性问题(同一抽取算子的缺陷) | 按批次号与算子指纹定位该批全部条目,整批置为待审并退出默认召回 | 修正算子后重抽该批;引用该批条目的三元组按证据重新校验 |
| 索引级 | 重建后的校验不通过,或切换后回归查询结果明显偏离 | 切回上一版索引,新索引保留供排查 | 排查结论记入问题清单;原因查明并修正后重走重建流程 |
三个层次共用一个前提:索引的每一个版本都可被指认。索引版本号由知识库版本、本体版本、切分粒度版本与检索配置版本四项共同构成,四项中任一项变化即产生新的索引版本号。检索结果中返回索引版本号,使任何一次回答都能对应到当时的索引状态——没有这一条,回滚之后就无法判断历史上的某个回答当时依据的是哪一版。
索引版本保留的份数按批次计划约定,至少保留当前版本与上一版本;参与场景验证的版本另行标记并保留至验证报告出具之后。
以知识库内容为依据构建检索增强样本,产出「查询—证据—回答」三元组,供指令微调子集与基准评测子集使用。
检索增强样本与普通问答样本的差别,在于它必须自带证据。一条样本不是「问题+答案」两段,而是「问题+证据+答案」三段,且答案中的每一处事实都要能指回证据中的某一条。这个要求决定了构建过程不能由模型一步作答,而要把查询、证据、回答三者分开产生、逐步落定,最后用一道校验把三者的关系核实一遍。
四个步骤正是按这条依赖链排定的:没有查询就无从检索,没有证据就不能组织回答,回答一旦脱离证据便不再具备可核验性。每一步的产出是下一步的唯一输入,中间不设旁路——先写好答案再回头补证据,产出的三元组看似完整,实际无法复核。
下表分动作与口径两栏:动作一栏说明这一步做什么,口径一栏给出做这一步时必须守住的约束,后者才是四步之间不致走形的保证。读完四行可以得到一条判断:三元组的质量不取决于回答写得是否流畅,而取决于证据能否支撑回答、出处能否回查;校验环节任一项不通过即按 4.7.3 处置,不进入下游子集。
| 步骤 | 动作 | 口径 |
|---|---|---|
| 1 生成查询 | 三类来源:业务人员真实提问的归集、按知识条目反向生成、按历史报告与工单抽取 | 三类来源按配比组合,配比随批次登记;真实提问优先 |
| 2 检索证据 | 在统一索引中检索,保留出处字段 | 证据条数上限与去重规则写入算子参数 |
| 3 组织回答 | 基于证据组织回答,回答中的每一处事实对应至少一条证据 | 不允许引入证据之外的事实 |
| 4 校验 | 证据是否支持回答、回答是否超出证据范围、出处是否可回查 | 任一项不通过即处置(见 4.7.3) |
三元组的字段设计围绕一个目标:让每一条样本的来源可追、可复核。查询文本、检索依据、答案三者构成一条训练样本,但只有这三项时,一条样本出了问题无法判断是提问本身不合理、检索没找到依据、还是答案组织有误。因此字段中强制包含查询来源(真实提问/条目反向生成/报告与工单抽取)与场景归属两项。
查询来源分三类不是分类学上的讲究,而是因为三类来源的质量特征完全不同。真实提问来自业务人员,表述口语化、有省略、有歧义,是最接近实际使用的样本,但数量有限;条目反向生成由知识条目自动造问,数量可以做大,但问法规整、与真实提问的分布有差距;报告与工单抽取介于两者之间。三类的配比直接影响模型在实际使用中的表现,因此配比在数据卡中明示,并在场景验证时按来源分别统计准确率——若真实提问类的准确率显著低于反向生成类,说明样本分布偏了,需要补充真实提问。
场景归属一项用于控制覆盖均衡。十一个场景对知识的需求不同,若三元组集中在少数几个场景上,其余场景的验证就缺少对应样本。受理与构建阶段按场景统计条目数,低于下限的场景列入补采清单。
| 字段 | 必填 | 说明 |
|---|---|---|
| 三元组编号 | 是 | 批次号 + 场景码 + 顺序号 |
| 查询文本 | 是 | 自然语言问题 |
| 查询来源 | 是 | 真实提问/条目反向生成/报告与工单抽取 |
| 场景归属 | 是 | 对应的验证场景 |
| 任务类型 | 是 | 事实问答/条款定位/口径解释/比对分析 |
| 难度等级 | 是 | 按证据跨度与推理步数分级 |
| 证据清单 | 是 | 证据编号、条目或切片标识、出处字段 |
| 证据跨度 | 是 | 单条证据/多条同源/多条跨源 |
| 回答文本 | 是 | 组织后的回答 |
| 事实—证据对应表 | 是 | 回答中每一处事实指向的证据编号 |
| 本体版本号与知识库版本号 | 是 | 构建时所用版本 |
| 校验结论 | 是 | 四项校验的逐项结果 |
| 人工复核结论 | 是(基准评测子集) | 复核岗位与结论 |
三元组看上去总是成立的:回答读着通顺,证据挂在下面,错处不在表面。实际会出问题的有六处——回答混进了证据之外的事实,把证据的适用范围放大了,出处指向的位置没有那段话,几条证据彼此矛盾,所引条款已废止,证据敏感等级不允许进入该用途。六种都不会自己报错,只能逐项去查。这张表给的是查什么、怎么办。
六项分两类。证据支持性、范围一致性、出处可回查、证据内部一致四项查三元组自身是否自洽;版本有效、敏感度合规两项查它与外部状态是否相容——证据当时成立不等于现在成立,查得到不等于能用于该用途。判定一列把每项写成可执行的条件而非原则,处置一列按错的性质给去向。
横向读一行,即一条完整的校验规则:查什么、依什么判、不通过往哪去。读完六行可得的判断是:处置轻重按可否局部修复分档——只影响个别片段的按条剔除,整条不成立的改写或废弃,证据打架的交专家裁决,涉及版本与敏感度的先替换证据;六项里没有一项是记录之后放行。
| 校验项 | 判定 | 处置 |
|---|---|---|
| 证据支持性 | 回答中的事实能否在证据中找到依据 | 无证据支持的片段按条剔除 |
| 范围一致性 | 回答是否超出证据所述范围 | 超范围的回答改写或整条废弃 |
| 出处可回查 | 按出处字段能否定位回原文 | 回查失败的三元组废弃 |
| 证据内部一致 | 多条证据之间是否矛盾 | 矛盾的交专家裁决,裁决前不入库 |
| 版本有效 | 所引证据是否为现行版本 | 引用已废止条款的标注状态或替换证据 |
| 敏感度合规 | 证据的敏感等级是否允许进入该用途 | 超出允许范围的替换证据或废弃 |
三元组的质量判定口径与数据集质检、质量评测两章保持一致,本节不另立标准。基准评测子集所用三元组另加一道人工复核,复核比例按评测子集规模确定。
知识库与知识图谱成果须经业务专家终审,并产出数据字典;未经终审的知识条目不得用于标注与合成作业。
按业务域组建评审小组,成员为甲方业务专家与项目组技术人员。评审按批次进行,每批次出一份终审意见与一份条目状态清单。
知识条目从抽取到可用之间有一段真空期:已经入库、工具已读得到,但它到底对不对还没人确认过。这段时间若不加约束,未经确认的条目会被标注工具当作标签依据、被合成工具写成事实断言、被检索当作证据返回——错误顺着这三条路扩散出去,再追回来就要同时返工标注件、合成件与评测题。终审因此不能只是一道会签,它要在数据上留下一个工具读得懂的开关。
这张表就是那个开关的取值表。五种状态分两类:通过与修订后通过是放行态,后者单列是因为评审改过的内容要与原样通过的区分开,便于回头核查改了什么;待审、退回重抽、不采纳是拦截态,三者的区别不在于能不能用——都不能用——而在于后续动作不同:待审等排期,退回重抽要回到抽取环节重做,不采纳则就此关闭。
怎么读:右侧两栏不是说明文字,而是工具侧的加载条件,标注合成与检索各读一栏。读完可得的判断是:条目能否被用取决于记录上的状态字段,而不取决于使用者是否记得这条规则。
| 条目状态 | 含义 | 可否用于标注与合成 | 可否进入检索默认范围 |
|---|---|---|---|
| 通过 | 内容与出处均确认无误 | 可 | 可 |
| 修订后通过 | 经评审意见修订后确认 | 可 | 可 |
| 待审 | 已入库但未终审 | 不可 | 不可 |
| 退回重抽 | 内容有误或出处不实 | 不可 | 不可 |
| 不采纳 | 不属于本项目范围或无业务价值 | 不可 | 不可 |
状态写入条目记录;标注与合成工具在加载知识时按状态过滤,仅加载「通过」与「修订后通过」的条目。这是终审检查节点的技术落点——用工具侧过滤而非制度要求来保证,避免靠人记住规则。
数据字典覆盖知识条目表、图谱节点与边、四类业务知识库与索引元数据。
知识条目表、图谱的节点与边、四类业务知识库、索引元数据分头建成,各自都有一套字段。同一个设备编号在四处可能长度不同、格式不同、取值范围也不同;等到联表取数或跨库检索才发现对不上,返工代价就落在已入库的数据上。数据字典的用处是把这些定义集中到一处,在入库之前对齐。
九个字典项分三组。字段名称与中文名、定义两项回答这是什么,供人读;类型与长度、格式、值域、是否必填四项回答机器怎么校验,取值一律引用数据元标准与参考数据标准,字典本身不另立一套;来源与示例两项回答从哪里来、长什么样——示例看似可有可无,实则前面几项写得再细也难免歧义,一条合规取值抵得上一段说明。版本与变更记录一项使字段定义的改动有迹可循。
横向读一行,即知该字段的业务含义、技术约束与来路。读完九行可得的判断是:每个字段都同时具备人读得懂的定义与机器校得了的约束,两者指向同一份标准,字典因而既能用于交接说明,也能直接转为入库校验规则。
| 字典项 | 内容 |
|---|---|
| 字段名称与中文名 | 字段标识与业务名称 |
| 定义 | 字段的业务含义 |
| 类型与长度 | 引用数据元标准 |
| 格式 | 日期、数值、编码格式 |
| 值域 | 枚举值或取值范围,引用参考数据标准 |
| 是否必填 | 必填规则 |
| 来源 | 源系统与字段,或本体、算子产出 |
| 示例 | 一条合规取值示例 |
| 版本与变更记录 | 字段定义的变更历史 |
数据字典与数据治理章节输出的数据元标准互相引用,字段定义冲突时以数据元标准为准。
知识库环节是四个环节中唯一同时依赖前三个环节产出与甲方业务输入的一环。输入项里既有预处理的规范化样本与已发布的本体版本,也有甲方提供的指标口径与制度文本。这一特点决定了本环节的进度不完全由我方控制:指标口径未确认、制度文本未提供,对应的知识条目就无法构建。
因此本环节的排期按两条线并行:不依赖甲方输入的部分(从已有文档抽取条目、建立条款级索引、构建三元组)先行推进,依赖甲方输入的部分(指标知识库、口径确认)按甲方提供节奏推进,两线在环节验收时汇合。这样安排的结果是,即使某个业务域的口径确认滞后,也不会阻塞整个环节的交付;滞后的域在交付说明中列明其完成状态与预计时点。
退回路径上,本环节的缺陷分两类处置:条目自身的问题(出处缺失、切分错误、三元组证据不足)由知识抽取岗修订后重提;上游来的问题(本体类目不全、规范化样本结构错误)退回对应环节。区分的依据是缺陷的成因位置,而不是发现位置——在知识库环节发现的问题,相当一部分根源在预处理或本体。
| 项 | 内容 |
|---|---|
| 输入 | 通过预处理检查节点的规范化样本(结构化长文本、图像样本、时序样本对、文本化样本);已发布的本体版本;甲方提供的指标口径与计算逻辑;对象锚定登记表 |
| 产出 | 见 4.11 |
| 验收方 | 业务专家评审组(按业务域)+ 甲方相关业务部门 |
| 验收方式 | 抽查出处可回查、条款切分正确性、图谱证据级别与冲突处置、指标口径确认留痕、终审覆盖情况 |
| 抽样或统计口径 | 涉及判定限值与处置措施的条目全审,其余不低于每类 10%;出处回查按条目抽样;三元组按场景抽样 |
| 退回路径 | 终审检查节点不通过的条目标记为「退回重抽」或「待审」,由知识抽取岗重抽或人工补录;口径未定的转入待确认列表,不进入可用范围 |
本环节的四个控制点里,「条目有出处」与「条款切分正确」是基础性的,另两项指向更深一层的问题。
出处回查测试不只是校验字段非空,而是实际按出处字段去原文定位一次,确认该位置的内容确实对应这条条目。字段非空但指向错误的情形在自动抽取中并不罕见——页码偏移一页、章节号串行,都会产生看似完整实则错误的出处。回查测试是唯一能检出这类错误的办法,因此列为入库前的强制项。
条款切分正确的判定口径定为「边界错切的整文件回退重切」,与预处理环节的处理原则一致。条款切分的错误具有传染性:一处边界切错,其后的所有条款编号都会错位,而条款编号正是制度类问答的检索键。局部修补无法保证同一文件内其余条款没有同类问题,因此整文件重切。
控制点的责任岗位列明了知识抽取岗与质检岗的分工:抽取岗负责入库前的自检,质检岗负责抽样复核。两道是必要的——自检覆盖全部条目但由作业人自己执行,复核由独立岗位执行但只能抽样,两者互补。抽样比例与复核结论进质检记录,并作为该批次能否进入下一环节的依据。
| 控制点 | 方法 | 判定口径 | 责任岗位 |
|---|---|---|---|
| 条目有出处 | 入库校验出处字段完整性 + 出处回查测试 | 出处字段缺失或回查失败的条目不入库 | 知识抽取岗 |
| 条款切分正确 | 按制度抽样核对条款边界与层级路径 | 边界错切的整文件回退重切 | 知识抽取岗、质检岗 |
| 引用关系可靠 | 抽样核对引用识别结果 | 识别不确定的标记为待确认,不建边 | 知识抽取岗 |
| 标准版本有效 | 季度核对标准版本状态 | 已废止或被代替的标准在检索结果中标注状态 | 知识抽取岗 |
| 图谱边可信 | 证据强度分级登记 + 冲突检测 | 弱证据边不用于合成样本的事实性断言;冲突边提交专家裁决 | 知识抽取岗、业务专家评审组 |
| 图谱结构合规 | 环检测、孤点检测、定义域值域校验 | 发现环即阻断入库;孤点登记原因 | 知识抽取岗 |
| 指标口径已确认 | 逐指标登记确认人岗位与日期 | 未确认指标不进入问答可用范围 | 知识抽取岗 |
| 三元组证据充分 | 回答与证据逐条比对 | 无证据支持的片段剔除,矛盾三元组废弃 | 知识抽取岗、质检岗 |
| 索引状态过滤生效 | 按状态字段抽样检索测试 | 待审与失效内容不出现在默认召回范围 | 知识抽取岗 |
| 权限过滤生效 | 构造指向高敏感条目与受限原件的查询并抽样测试 | 超出可见范围的条目不进入召回;字段级受限项按脱敏结果返回并标注 | 知识抽取岗、安全管理岗 |
| 索引版本可指认 | 核对检索结果返回的索引版本号与四项构成要素 | 四项中任一项变化即产生新版本号;重建切换前四项校验全通过 | 知识抽取岗 |
| 回滚可执行 | 按条目级、批次级、索引级各演练一次 | 三级回滚均可执行且回滚后受影响范围可按标识定位 | 知识抽取岗、质检岗 |
| 终审完备 | 条目状态清单与终审意见核对 | 未终审条目在工具侧被过滤,不进入标注与合成 | 业务专家评审组 |
知识库环节的五项产出各自对应明确的下游用途,这一对应关系值得说明,因为它直接决定了本环节的工作重点。
结构化知识条目库是通用底座,标注、合成、检索三类后续作业都依赖它。制度条款级索引直接供给管理制度智能问答场景——这个场景的特点是答案必须指向具体条款,而非泛泛的制度概述,因此索引的粒度必须切到条款一级。指标知识库供给决策数据智能问答,其价值在于把散落在各业务系统中的指标口径集中成一份可查的字典。知识图谱支撑需要关系推理的任务。问答三元组则是指令微调子集的直接素材。
把五项分别列出而不合并为「知识库」一项,是因为它们的验收口径不同:条目库按条目数与出处完整率验收,条款索引按条款定位准确率验收,指标知识库按口径确认部门的书面确认验收,图谱按实体与关系的覆盖度验收,三元组按证据支持率与人工抽检通过率验收。合并成一项,这五套口径就无处落地。
| 产出物 | 形式 | 交付对象 |
|---|---|---|
| 结构化知识条目库 | 结构化表 + 出处登记 | 标注、合成、检索 |
| 制度条款级索引 | 结构化表 | 管理制度智能问答场景的数据供给 |
| 技术标准元数据表 | 结构化表 | 技术标准智能问答场景的数据供给 |
| 投标资料四类归集目录 | 结构化表 | 标书智能问答场景的数据供给 |
| 核心知识图谱 A | 图数据 + 节点边字典 | 制造过程数据集标注与合成 |
| 核心知识图谱 B | 图数据 + 节点边字典 | 产品质量数据集标注与合成 |
| 九业务域四类知识库 | 结构化表 | 决策数据智能问答场景的数据供给 |
| 统一检索索引 | 索引服务 | 标注、合成、场景验证 |
| 索引配置与版本登记 | 结构化表 | 场景验证复算、质检、运营服务管理平台移交 |
| 检索增强三元组 | 样本集 | 指令微调子集、基准评测子集 |
| 终审意见与条目状态清单 | 文档 + 结构化表 | 质检、验证、验收 |
| 知识库与知识图谱数据字典 | 文档 + 结构化表 | 全部下游环节、数据治理 |
四个环节的方法、口径与控制点已按环节逐项给出。方法是否可执行,要看一个具体对象从进厂到入库的全过程能不能用这套方法走通,以及走到每一步时能不能检出做错了。下面取四类对象各走一遍:零件图纸与工艺卡片、热处理炉次曲线、焊道影像与焊接参数流、质量检测报告。四类分别覆盖文档与图纸、时序、图像与视频、文档与结构化四种加工形态,合起来覆盖前四个环节的全部关键算子。
实例中的取值基准。 每个实例的字段结构、处理次序、判定规则与检验方法,全部按前面四个环节已定义的口径推演得出,推演路径在各例中逐步写明,可逐条复核。实例中出现的具体数值、编号与比例是按上述规则构造的示意取值,用于说明字段怎么填、检验怎么做;它们不是现场实测结果,也不代表招标方现有数据的实际状况。各对象的实际取值在首批标定批完成受理与现场调查之后按实测回填,回填前相关数值在批次说明中标注为待标定。
实例的适用范围。 四个实例是作业规程的具体化,不是样本模板。同类对象按本节的步骤与检验用例执行;不同类对象按相近形态的实例类推,类推不成立的在批次计划中单列并补定口径。
一张刮板零件的工艺图纸,以及与它成对的已审核签发工艺卡片。图纸来自产品生命周期管理系统的受控版本,形态为原生矢量交换格式;工艺卡片为扫描件,来自车间归档。两者在历史上天然成对(1.3.3),配对关系是工艺设计数据集中监督样本的主要来源。
选这一对作为第一个实例,是因为它同时触发四条链路:图纸走原生图元解析、卡片走扫描件的版面抽取与文字识别、两者之间走图文配对、抽出的工艺参数走本体的值域与约束校验。任一条断了,工艺设计类样本就建不成。
这一例的受理要同时接住两样东西:一份从产品生命周期管理系统取出的受控电子图纸,一份从车间档案扫描来的工艺卡片。两者业务含义成对,形态却完全不同,受理时若按同一套口径处理,差异会被抹掉,到下游才暴露。表因此按作业步分行、按对象分列,每一步在两侧各给一条口径。
七道作业步覆盖「这批数据能不能收、收进来算不算数」的全部前提:前两步解决来得合不合规,中间三步解决收得完不完整(件数与文件指纹、入口脱敏、格式合规),第六步解决它是谁,第七步把它固化成可追溯的批次。格式合规一行是两列差异最大处:图纸查原生可解析性与外部参照完整,卡片查可解码、分辨率与页序连续,同一个「合规」在两种形态下指的是两回事。
横向读一行即知该作业步在两种来源上各做什么;纵向读一列即是该对象从受理到入库的完整动作序列。读完可得的判断是:两条形态迥异的来源在受理环节即归入同一批次、挂上同一组对象标识,为下一步的图文配对备好可比的两侧。
| 作业步 | 对图纸 | 对工艺卡片 |
|---|---|---|
| 受理申请 | 核对数据源登记编号与授权范围覆盖该图号所属项目 | 同左,来源为车间归档目录 |
| 许可核验 | 内部受控文件,按密级与可用范围核验 | 同左 |
| 落地清点 | 按图号清点件数,计算文件指纹 | 按卡片号清点件数与页数,计算文件指纹 |
| 入口脱敏 | 标题栏的设计与审核标识按直接标识规则处理 | 卡片签署栏同左 |
| 格式合规校验 | 原生可解析性、图层与图元完整、外部参照无缺失 | 图像可解码、扫描分辨率达下限、页序连续 |
| 对象锚定登记 | 图号与物料清单行号关联 | 卡片号与图号配对登记 |
| 批次成形 | 生成批次号,写入贴源区,生成采集记录 | 同左,同批次 |
受理产出的配对登记条目(按 1.3.3 的字段):
| 字段 | 取值方式 | 本例取值 |
|---|---|---|
| 图号 | 图纸标题栏解析 | 标题栏图号字段的原值 |
| 工艺卡片号 | 卡片抬头解析 | 抬头卡片号字段的原值 |
| 物料清单行号 | 查产品生命周期管理系统物料清单 | 该零件在所属部件清单中的行号 |
| 零件名称与材料牌号 | 标题栏与零部件信息交叉取值 | 两侧取值一致 |
| 配对判定依据 | 受理作业结果 | 自动匹配 |
| 配对置信标记 | 按三级匹配规则(2.3.4) | 高(图号与卡片号对应,零件名称与材料牌号交叉核对一致) |
图纸走图纸与图像通道的原生解析路径,卡片走文档类通道的扫描件路径,两条链路的产出在图文配对处汇合。
这张表把这一对图纸与卡片在预处理环节走过的每一步摆开来看:用了哪道算子、吃进什么、吐出什么、本例实际判成什么。它要回答的是一个很具体的问题——两件形态完全不同的原件,经过哪些处理才变成可以配对、可以回查的中间件。
十道算子分三段。第一至第五道是图纸侧:先判矢量化程度定路径,再解析图元,切出图面五区,抽标题栏与明细表,最后推断视图投影关系;第六至第八道是卡片侧:判版式为扫描件,做版面抽取与文字识别,再把工序表格重建成行列;第九道是两条链路的汇合点,按图号作一级匹配、再交叉核对;第十道把卡片的技术要求切成带坐标的切片。
怎么读:输入一栏与上一行的产出一栏首尾相接,纵向读下来即是这一例的加工链;末栏写的是本例的实际判定结果,不是假设。读完可得的判断是:每一步都对应算子清单中的一道,参数与版本随批次登记,可照原样复算。
| 序 | 算子 | 输入 | 产出 | 本例的判定 |
|---|---|---|---|---|
| 1 | 矢量化分级 | 原生图纸文件 | 分级结论 | 六项判定条件逐项满足,进原生解析路径 |
| 2 | 原生图元解析 | 同上 | 几何图元、图层、尺寸标注、符号标注、文字与属性、块与外部参照、视图与边界 | 图层名与企业制图标准的图层约定可对应;符号标注中的坡口与粗糙度按块引用读出 |
| 3 | 图面区域切分 | 解析产出 | 标题栏、明细表区、视图区、技术要求区、修改记录区 | 五区均识别,标题栏必填字段图号非空 |
| 4 | 标题栏与明细表抽取 | 区域切分产出 | 图号、名称、材料牌号、比例、版本 | 必填字段齐备 |
| 5 | 视图投影关系推断 | 视图与边界 | 视图类型与投影对应关系 | 视图边界可识别,投影关系成立 |
| 6 | 版式判定(卡片) | 卡片扫描件 | 版式结论 | 无文本层,判为扫描件 |
| 7 | 版面抽取与文字识别(卡片) | 同上 | 抬头区、工序表格区、签署区、页脚区 | 表格区转表格重建;签署区按印章与标识规则单列 |
| 8 | 有线表重建(卡片) | 工序表格区 | 行列索引、表头、单元格文本 | 线框完整,行列数判定唯一 |
| 9 | 图文对照挂接 | 图纸产出 + 卡片产出 | 图文对照记录 | 一级匹配按图号成立,二级交叉核对一致,置信标记为高 |
| 10 | 正文切分(卡片技术要求) | 识别文本 | 切片 + 层级路径 + 页码 + 偏移 | 切片不跨章节边界 |
预处理产出的图文对照记录字段:图号、卡片号、物料清单行号、零件名称、材料牌号、配对判定依据、置信标记、反向校验结论、算子指纹链。
从图纸与卡片抽出的要素落到三个类目,并触发四类约束校验。
| 抽出要素 | 落入类目 | 落入属性或实例 | 触发的约束 |
|---|---|---|---|
| 零件名称、零件号、材料牌号、规格、重量 | 物料与物料清单 | 零件实例的属性 | 类型与格式约束(引用数据元标准);编码映射约束(零件号与物料编码可映射) |
| 工序名称、工序号、设备资源、工时定额 | 工艺与工序 | 工序实例与工艺路线 | 值域约束(工序名称取备料工序字典值域);工序前后不可逆约束 |
| 坡口型式、粗糙度要求、形位公差 | 工艺与工序(工艺参数项)、质量特性与检验项 | 参数项实例与质量特性实例 | 条件值域约束(按材料牌号与板厚分条);检验方法与质量特性的对应约束 |
| 图号与卡片号的配对 | — | 不入本体,作为知识库的图纸索引关联键 | — |
本例在约束校验中可能命中的两处:工序名称若不在备料工序字典值域内,按值域约束登记为新值候选并提交数据治理环节确认,不直接写入;坡口型式与材料牌号的组合若落在互斥约束的禁止组合内,按约束拒绝写入并进待确认列表,由工艺工程师判定是图纸标注有误还是约束条目的适用范围需要放宽。
到这一步,这一对图纸与工艺卡片已被拆成图元、标题栏、符号标注、工序行与本体条目,但拆出来的仍是散件。要让它们能被检索到、能作为证据被引用,还得先定下三件事:什么算一条、检索命中时返回多大一块、拿到结果之后凭什么回到原件核对。
五行按颗粒从粗到细排列。图纸条目与工艺卡片条目各自一件一条,解决的是找得到这张图、这张卡;技术要求条款细到条款一级,因为加工要求是逐条引用、逐条核对的,命中整篇等于没有定位;工序知识条目细到一实体一属性一关系,供标注环节取标签;末行的检索增强三元组不是新切的一类,而是把前四类组织成的训练与评测成品。
怎么读:定位字段一栏是全表的要害——图号、卡片号、源文件编号、层级路径、页码、位置偏移、图元句柄,都是条目回到原件的坐标,缺一项,条目就只是一段无从核对的文字。读完可得的判断是:同一对对象一次加工,同时支撑工艺借用检索、标签来源与评测三条通路。
| 产出 | 索引单元 | 切分粒度 | 定位字段 | 用途 |
|---|---|---|---|---|
| 图纸条目 | 一张图一条 | 一图号一条 | 图号、区域标识、图元句柄 | 图纸索引;按工艺特征找可借用历史工艺 |
| 工艺卡片条目 | 一张卡一条 | 一卡片号一条 | 卡片号、源文件编号、页码 | 与图纸条目成对 |
| 技术要求条款 | 一条为一个单元 | 按条款级切分判据 | 源文件编号、层级路径、页码、偏移 | 加工要求的条款级检索 |
| 工序知识条目 | 一实体一属性一关系一条 | 同 4.6.1 | 出处登记字段 | 工艺设计监督样本的标签来源 |
| 检索增强三元组 | 一条三元组 | — | 证据清单指向上述条目 | 指令微调与基准评测子集 |
本例可支撑的三元组形态:查询为「某材料牌号某板厚的刮板,坡口型式与粗糙度要求是什么」,证据为图纸条目的符号标注字段与技术要求条款,回答中的每一处事实对应至少一条证据,事实—证据对应表逐项填写。证据跨度记为多条同源。
前面五小节给出的是这一对图纸与工艺卡片怎么被加工,接下来要回答的是另一个问题:加工完成之后,凭什么说它做对了。每一道关键算子各配一条检验用例,用例给出可执行的输入、执行动作与期望结果,使「做对了」不停留在经验判断上,而落到一次可重复执行、可留下记录的检查上。
八条用例对着本例的四条链路选取:原生图元解析覆盖、标题栏必填字段、符号标注读出三条对图纸侧,卡片识别置信一条对扫描件侧,图文配对正确一条对两侧汇合处,工序名称值域与条款定位回查两条对本体与知识库侧,三元组证据支持一条对最终产出。链路上既可能出错、又不易被下游察觉的地方,都对应其中一条。
横向读一行即是一次完整的检查闭环:检验对象与输入界定查什么,执行与期望结果给出判准,判定方式区分自动校验与人工核对,末栏给出不通过时的去向——回退重跑、进人工复核队列,或限定用途不进下游。八条全部通过,这一对对象的加工结果方可作为工艺设计类监督样本交付。
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 原生图元解析的覆盖 | 该图纸文件 | 执行原生图元解析,统计被成功读出并归类的图元数与文件内图元总数 | 解析覆盖率达到首批标定的基线并按批次上调;未归类图元逐个带原因 | 自动统计 + 抽样人工核对归类是否正确 | 未归类比例超基线的,核对图层映射表后重跑;图层命名不规范的进待确认列表 |
| 二 | 标题栏必填字段 | 同上 | 抽取标题栏 | 图号非空且与文件名解析结果一致 | 自动校验 | 图号缺失的整文件回退;两处不一致的进人工复核队列 |
| 三 | 符号标注的读出 | 同上 | 抽取坡口、粗糙度、形位公差、焊接符号 | 以块引用存在的全部读出;由线段与文字拼成的按几何特征组合判定并标注置信 | 按符号类型分别统计读出数,抽样人工核对 | 组合判定失败的置信标记降级,不进入需要精确加工要求的样本 |
| 四 | 卡片识别置信 | 卡片扫描件 | 执行版面抽取与文字识别 | 各区域置信度达门限;工序表格行列数判定唯一 | 区域级置信统计 + 表格结构自检 | 区域置信低于门限的该区域进人工复核;行列判定不唯一的转无线表路径再判 |
| 五 | 图文配对正确 | 图纸与卡片产出 | 一级匹配 + 二级交叉核对 + 反向校验 | 置信标记为高;从卡片号反查回到同一图号 | 自动校验 + 按图号抽样人工核对 | 反向校验不一致的撤销该配对,两侧对象重回待配对池 |
| 六 | 工序名称值域 | 卡片工序表 | 与备料工序字典比对 | 全部取值落在字典值域内 | 本体值域校验 | 表外取值登记为新值候选,提交数据治理环节确认,确认前该条目不入标注标签 |
| 七 | 条款定位回查 | 技术要求条款条目 | 按出处字段回原文定位 | 定位到的内容与条目文本一致 | 出处回查测试 | 回查失败的条目不入库;同一文件连续失败的整文件回退重解析 |
| 八 | 三元组证据支持 | 该例构造的三元组 | 逐条核对回答中的事实与证据 | 每一处事实对应至少一条证据,无超出证据范围的表述 | 四项校验(4.7.3) | 无证据支持的片段按条剔除;超范围的改写或整条废弃 |
一个感应淬火炉次的全过程参数曲线,来源为热处理群控系统与加装传感器,包含工件淬火前后表面温度、加热功率、频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度。该炉次对应一张炉次工单与一份装炉清单,装炉清单给出炉内工件列表。
这一例检验的是时序通道的四道关键算子(时间基准对齐、重采样、缺失补齐、异常值判定)与对象锚定的两级结构(炉次级与工件级),以及它们产出的样本能否支撑热处理过程监控场景的数据供给。
热处理炉次曲线的采集与文档类资料不同:它没有「一份文件」这样天然的边界,数据连续流出,取多长一段、以什么为起止、归属于哪个工件,都要在受理时一并定下,否则后续无论怎么处理,都无法把一段数字序列还原成可追溯的生产事实。
本例的受理口径因此围绕三件事定:取多密、取多长、挂给谁。取多密由参数密度决定,原始密度与统一步长两份并存,前者留判读细节,后者供跨炉次比较;取多长由作业自然边界决定,一个炉次为一个完整时间窗,不按固定时长切片,否则升温段与保温段会被切断在相邻两个片段的两侧;挂给谁由对象锚定决定,炉台号、炉次工单与装炉清单三者相交,才能从炉次级下沉到工件级。
另有三行为数据可信度而设:质量码补列对应源侧未标注采集中断,设备校准登记对应测值是否可用,材料批次锚定对应工件追溯链是否完整。读表时注意末栏的共同取向——凡查不到、已过期、源侧未提供的,一律留空并标记,再在批次说明中限定用途,不以推测值填补。
| 作业步 | 内容 | 本例的处置 |
|---|---|---|
| 受理参数 | 按 1.4.2,热处理炉次参数按炉台计,原始秒级,受理时间窗按开炉至完工 | 原始密度一份 + 统一步长一份 |
| 时间窗取法 | 按作业自然边界,不按固定时长切片 | 一个炉次为一个完整时间窗 |
| 对象锚定 | 热处理参数 → 工件与炉次:炉台号 + 炉次工单 + 装炉清单 | 炉次工单的开完工时刻覆盖该段参数,锚定成立 |
| 材料批次锚定 | 装炉清单 + 仓储库存批次 | 工件所用物料批次可在库存批次中查到的,材料批次字段回填;查不到的留空并标记 |
| 质量码 | 源侧未提供的,按采集中断判定规则补受理侧质量码 | 补列并在数据源登记表中标明为受理侧生成 |
| 设备校准 | 温度类测点按检定或校准周期登记校准记录与有效期 | 校准有效期已过的测点,其数据在批次说明中标注并限定用途 |
群控系统送出的炉温曲线看上去是一条完整的线,实际是多个测点、多套时钟、不等间隔的记录拼在一起的结果。直接拿去训练,学到的可能是时钟偏差造成的假性滞后,或插值补出来的平滑假象。这张表按九道算子的次序,逐道写明做什么、产出什么。
九道算子分三段。前三道解决时间可信:补偿时钟偏差、以炉温主测点为参照对齐各测点、再以开炉事件为锚点做跨系统校正——事件锚定是第二重保险,因为开炉是物理事实,不随系统时钟漂移。中间三道解决数值可信:重采样按物理量分取均值、极值或均方根;缺失补齐只补短缺口且逐点标记,长缺口与跨工况边界不补;异常值按三道判据顺序判定并记录命中项。后三道解决可用:分出五个工况段,按开炉事件切出三段窗口,按九项特征文本化。
产出字段一列贯穿一条取向:凡算子动过手脚或无法处置的,都留一个标记而不是悄悄抹平。读完九行可得的判断是:曲线到达训练侧时,哪些是实测、哪些是补出来的、哪些尚未判明,可逐段分辨。
| 序 | 算子 | 本例的处理 | 产出字段 |
|---|---|---|---|
| 1 | 时间基准统一 | 群控系统时钟偏差按源登记值补偿;时区统一并显式标注 | 补偿后的时标、偏差值与补偿方向 |
| 2 | 多测点相位对齐 | 以炉温主测点时标为参照,其余测点按最近邻对齐 | 对齐容差内的测点序列;超容差测点在该窗内标记未对齐 |
| 3 | 跨系统对齐 | 以开炉事件时刻为锚点做二次校正 | 平移量;残差超门限的整段标记 |
| 4 | 重采样 | 温度类取窗内均值并保留极值;功率取均值与均方根;流量与浓度取均值并区分零值与停机;加热与冷却时间按事件差分 | 统一步长序列 + 附加字段 |
| 5 | 缺失补齐 | 单点与短缺口线性插值并标记;长缺口不补整段标记;跨工况边界不插值 | 插值标记、缺口长度、缺失段标记 |
| 6 | 异常值判定 | 三道判据顺序执行;首批次离群判据未启用的在质量标记中注明 | 异常标记、命中判据清单 |
| 7 | 工况分段 | 按装炉、升温、保温、淬火、返热分段 | 工况分段结论;规则集未覆盖该炉型的字段留空 |
| 8 | 事件锚定切窗 | 开炉事件:前置窗覆盖装炉准备,事件窗为开炉至完工,后置窗覆盖出炉与返热 | 时序片段—事件样本对 |
| 9 | 曲线文本化 | 按九项曲线特征计算后带入模板 | 升温段斜率、保温段波动范围、峰值与出现时刻、与设定值的偏离区间等 |
曲线文本化产出的文本样本挂回源记录主键与批次号,数值与术语逐条回查,回查不一致的废弃不修补。
一个炉次的曲线,处理到这一步仍只是若干条按时间排开的数字序列。要让它能被检索、能参与比较、能在取值异常时被自动拦下,先得把其中出现的参数项、设备测点与质量特性,落到本体已有的类目上去;落不上去的,说明本体缺项,回流补充而不是就地新造一个名目。
四行分两类。前三行是对象:热处理工艺参数项、炉台与感应器测点、淬火硬度与硬化层深度等质量特性,分别落入工艺与工序、设备与部件、质量特性与检验项三个类目;第四行是关系,把参数项与质量特性对应起来,这正是后续做参数归因的本体依据。
怎么读:左栏是本例实际抽出的要素,中栏是它在本体中的归属,右栏是归属一经确定便自动生效的约束——这些约束不是为本例另写的检查脚本,而是类目自带的值域、层次与对应关系规则。读完可得的判断是:本例不新增类目,只作落位,口径与本体章节一致。
| 抽出要素 | 落入类目 | 触发的约束 |
|---|---|---|
| 炉温、加热功率、频率、淬火液温度与浓度、感应器间隙、加热与冷却时间、返热温度 | 工艺与工序(热处理工艺参数项) | 条件值域约束(按炉型与工艺牌号分条);设定值可比性约束(炉温设定值跨炉型不可比) |
| 炉台、感应器、测点 | 设备与部件、能耗与工况 | 层次包含约束(测点挂到部件);量程与正常区间的值域约束 |
| 淬火硬度、硬化层深度、淬火区域位置及均匀性 | 质量特性与检验项 | 检验方法与质量特性的对应约束 |
| 参数项与质量特性的关联 | 检验对应关系 | 定义域与值域约束(参数项对质量特性) |
本例在设定值可比性约束上的处置值得单列:若该炉次的炉温设定值要与另一炉型的炉次比较,约束判定不成立,比较请求被拒绝并提示两炉型的热场分布不同。这条约束把「同样的设定温度对应同样的工件实际温度」这个不成立的默认前提挡在了建模之前。
一个炉次的曲线经预处理后,产出若干段带标记的时序片段与一批文本样本。这些东西要变成知识库中可被检索、可被引用的内容,还差一步:为每一类产出定下它的索引单元与定位字段。索引单元决定检索时返回的最小颗粒,定位字段决定拿到结果之后能否回到原始数据上去核对。两者不定,产出就只是存储里的中间件,进不了证据链。
五类产出各有去向。时序片段条目与工艺参数知识条目是检索侧的两端,一端为过程证据、一端为口径依据;工艺质量链图谱的边把参数项与质量特性连起来,供质量归因;曲线文本样本不走检索而直接进训练子集;检索增强三元组是把前几类组织成评测题的成品。
横向读一行,可以看出这一类产出在下游被谁消费。读完五行可以得到的判断是:同一个炉次的数据同时供给检索、训练与评测三条通路,彼此不重复采集、不重复加工,差别只在索引单元与定位字段的取法上。定位字段一栏尤须逐项核对,它是出处回查能否通过的前提(见 5.3.6 用例九)。
| 产出 | 索引单元 | 定位字段 | 用途 |
|---|---|---|---|
| 时序片段条目 | 一个事件窗一条 | 设备号、测点、时间窗 | 热处理过程监控场景的证据检索 |
| 工艺参数知识条目 | 一实体一属性一条 | 出处登记字段 | 参数正常区间与关联质量特性的查询 |
| 工艺质量链图谱的边 | 参数项与质量特性之间的检验对应边 | 证据指向条目与时序片段 | 质量归因 |
| 曲线文本样本 | 一条文本样本 | 源记录主键 | 预训练与指令微调子集 |
| 检索增强三元组 | 一条三元组 | 证据指向时序片段与参数条目 | 评测子集的时序判读题 |
时序数据出错的方式与文档不同。文档出错多半看得见——漏了一页、串了一行;时序出错往往看不见:一段被整体平移的曲线、一个被悄悄插值补上的长缺口、一个被当作噪声删掉的真实突变,形态上都仍是一条平滑合理的曲线。正因如此,这一例的检验用例有相当一部分不是在查「有没有值」,而是在查「标记还在不在」。
九条用例按时序链路的次序排布:前三条查对齐与重采样有没有把时间轴弄对,第四、五条查缺失与异常是否被如实标记而非被抹平,第六条查炉次级与工件级两级锚定是否建立,第七条查本体约束是否真的拦住了不可比的比较,第八、九条查文本化产出与片段条目能否回到源数据。
横向读一行即是一次可执行的检查,末栏给出不通过时的去向。读完九行可以得到一条总的判准:时序样本的合格不等于曲线好看,而等于每一处人为干预都留有标记、每一段数据都能回查到源。标记缺失的样本不进供样区,回查失败的条目不入库——这两条是时序通道上不设容许比例的硬门。
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 跨测点时间对齐 | 该炉次多测点原始序列 | 跨测点时标一致性校验 + 同期事件比对 | 无跨测点错位;开炉事件在各测点上落在同一时刻邻域内 | 自动校验 | 发现错位的,该设备该时间窗整段回退重对齐 |
| 二 | 重采样方法选择 | 同上 | 按方法表逐测点选方法并执行 | 温度取均值并带极值;状态取众数并带翻转次数;累计量取差分 | 核对产出字段是否齐备 | 方法表未覆盖的测点跳过并标记,补表后单测点重跑 |
| 三 | 窗边界对齐 | 重采样产出 | 核对窗起止时刻是否落在整步长时刻 | 全部窗边界对齐 | 自动校验 | 未对齐的整段回退重划窗 |
| 四 | 缺失处置分档 | 含五类缺口的序列 | 按五档定级并处置 | 单点与短缺口补并标记;长缺口与整测点缺失不补并标记;采集中断整窗标记并回提采集接入环节 | 核对标记字段与处置的一致性 | 长缺口被补的整段回退重做;标记缺失的样本不进供样区 |
| 五 | 异常标记保留 | 含疑似异常点的序列 | 三道判据顺序执行 | 异常点被标记而非删除;每点记录命中的判据 | 抽样核对标记字段 | 标记缺失的样本不进入供样区 |
| 六 | 炉次与工件两级锚定 | 装炉清单与炉次工单 | 执行对象锚定 | 炉次级锚定成立;工件级锚定按装炉清单逐件建立,清单缺失的保留炉次级并标记工件级未锚定 | 核对锚定登记表 | 锚定率低的批次在数据卡中限定用途,不进入需要按件追溯的子集 |
| 七 | 设定值可比性 | 两个不同炉型的炉次 | 发起炉温设定值的跨炉次比较 | 约束判定不成立,比较被拒绝并给出理由 | 本体约束校验 | 约束未生效的,核对属性「是否设定值可比」的取值是否回填 |
| 八 | 曲线文本化保真 | 曲线特征与模板渲染产出 | 数值、术语、单位、对象标识逐项回查源记录 | 四项均未被改动 | 自动回查 | 任一项被改动即废弃该条,不做修补;废弃率升高时回退模板或调整改写参数 |
| 九 | 片段回查 | 时序片段条目 | 按设备号、测点与时间窗回查对应批次的时序样本 | 定位到的序列与条目一致 | 出处回查测试 | 回查失败的条目不入库 |
一条焊缝的完整形成过程记录,包含三样同期产生的东西:焊接实时参数流(来自数据采集与监控系统的焊接侧)、熔池影像与焊后焊道表面图像(来自加装的工业相机与热成像设备),以及该焊道所属的工单与报工记录(来自制造执行系统)。参数流另带一组由焊机程序下发的给定值。
这一例检验的是本节最复杂的一条链路:三种模态同期产生、按同一组对象标识挂接、再与检验结论配成带标签的多模态样本。它也是硬件章节所列感知设备的数据落点——设备取回的带时间戳原始帧与每像素原始温度,在这里变成可标注的样本。
这一例的采集对象不是一样东西,而是同期产生的三类数据再加一组给定值:参数流来自监控系统,影像来自加装的工业相机与热成像设备,工单与报工来自制造执行系统,给定值来自焊机下发的程序。三者时钟不同源、采样率不同、存储形态也不同,若在受理时各管各地登记,后续再想把它们对到同一条焊缝上,就只能靠时间近似去凑。
本例的受理口径因此围绕同一组对象标识来定:无论哪一类数据进来,都要在受理环节挂上设备号、时间区间、工单与焊道标识,使它们在进入预处理之前就已指向同一个物理对象。给定值单列一行,是因为它不是采集来的测量值而是下发的指令值,三条来源有优先级之分,来源等级须随段登记,否则后续算出的偏差无从判断可信度。
表分受理对象、受理口径与本例处置三栏,横向读一行即知这一类数据进厂时要做哪几件事、本例实际怎么做。末两行是整例成立的前提:对象锚定不成立的段不进入下游,校时记录与温度标定记录不全的批次在数据卡中限定用途。
| 对象 | 受理口径 | 本例的处置 |
|---|---|---|
| 焊接实时参数流 | 按焊接作业起止 + 前后各一段余量取段;原始密度一份 + 统一步长一份(1.4.2) | 一条焊缝一段,段内不按固定时长切片 |
| 给定值 | 三条来源按优先级取用:焊机程序参数表、工单所挂工艺卡、工艺规程默认值(1.4.3) | 取程序参数表,来源等级记为一档;程序号在参数表中查不到的,该段挂起 |
| 实时—给定配对 | 给定值展开为阶梯序列后与实时值逐点配对;按起弧、稳态、收弧三段打标 | 产出逐点绝对偏差、相对偏差、偏离持续时长 |
| 熔池影像 | 原始帧序列按相机软件开发工具包导出并带逐帧时间戳;归档副本登记帧率与编码参数(1.7.5) | 以起弧至收弧并前后留余量为一个粗段 |
| 焊后焊道表面图像 | 栅格图像格式;热成像另取每像素原始温度矩阵与可视化图分列保存(1.7.3) | 按焊道与采集时点受理 |
| 对象锚定 | 参数流 → 工件与焊道:设备号 + 时间区间 + 工单与报工;影像 → 焊道:采集时点 + 相机位号 + 焊道标识(1.4.4) | 时间区间落在同一工单同一工序报工区间内,设备号与派工设备一致,锚定成立 |
| 设备校准 | 相机按约定周期校时;热成像按检定周期做温度标定 | 校时记录与标定记录随批次保存,有效期登记在测点配置中 |
三条通道并行,在三方对齐处汇合。
本例的原始数据来自三处:焊机与监控系统记录的电气时序、熔池相机拍下的过程视频、焊后检验留下的图像。三者记的是同一条焊道,但各有各的时钟、各有各的采样密度,直接堆在一起不构成样本。预处理要做的,是把三路数据整到同一条时间轴与同一组对象标识上,使这一段画面、这一段电流、这一条检验结论确实指同一次焊接。
表中四栏,前三栏是产线上固定的工序,第四栏才是本例的参数取法,两者分列,既看得出通用口径,也看得出本例做了哪些选择——例如以实时电流为主测点、焊接侧另留原始密度版本、画面不做自动增强。
怎么读:纵向按通道分四段,时序五道解决数值与时刻可信,视频四道解决画面挂得上时刻,图像两道解决图挂得上工件,末行汇合一道把三者并到一起;横向一行是一道算子在本例中的全部约定。读完可得的判断是:三条通道并行推进而非串行等待,真正的收口只在最后一道三方对齐,前十一道的产出是否合格,到这一道就会显出来。
| 通道 | 序 | 算子 | 本例的处理 |
|---|---|---|---|
| 时序 | 1 | 时间基准统一 | 监控系统时钟偏差按源登记补偿 |
| 时序 | 2 | 多测点相位对齐 | 以实时电流测点为主测点,其余按最近邻对齐 |
| 时序 | 3 | 重采样 | 电气量取均值与均方根;焊接侧另保留原始密度版本 |
| 时序 | 4 | 异常值判定 | 三道判据;量程取自测点配置 |
| 时序 | 5 | 事件锚定切窗 | 焊接作业事件:前置窗覆盖引弧前准备,事件窗为起弧至收弧,后置窗覆盖收弧后冷却与层间等待 |
| 视频 | 6 | 解码与时基核对 | 帧时标与起弧事件时刻比对,偏差超限的按事件时刻整段平移并记录平移量 |
| 视频 | 7 | 视频分段 | 按起弧、程序切换、收弧三类事件切出四个阶段片段 |
| 视频 | 8 | 关键帧抽取 | 瞬态段取事件对齐帧;稳态段取等间隔基线帧与变化触发帧;偏差超约定范围处取参数触发帧 |
| 视频 | 9 | 帧级规范化 | 保留原始亮度信息,不做自动增强;画面中的人员与铭牌按脱敏规则处理 |
| 图像 | 10 | 图像规范化 | 格式统一、分辨率校验、按固定取景框切有效区域 |
| 图像 | 11 | 图文关联 | 图像与检验记录按工件号 + 焊道号 + 采集时点挂接 |
| 汇合 | 12 | 三方对齐 | 片段与时序片段按对象标识与时间区间相交取对;帧与采样点按帧时标最近邻取值;片段与工单、检验结论按对象标识挂接 |
三方对齐的产出是本例交给下游的主要形态:一个阶段片段、它同期的实时—预设偏差序列、它对应的工单与检验结论,三者带同一组对象标识与时间区间。
这一例的要素来自三种模态,但落位规则与前两例并无分别:模态决定怎么抽,不决定落到哪。影像里认出的缺陷与检验记录里写下的缺陷,落的是同一个值域;参数流里的预设电流与工艺卡上的预设电流,落的是同一个参数项。若按模态各立一套标签,多模态样本就无法与单模态样本比对,跨模态的关系也无从建立。
五行中前四行是对象:焊接工艺参数项、焊缝与焊道坡口的层次、缺陷类型的值域、相机与热成像设备及其测点;第五行是关系,把参数偏离与缺陷对应起来,构成故障链图谱现象—原因边的本体依据。缺陷类型互斥约束值得单提:同一位置不能同时判为气孔与未熔合,这条约束挡的是标注阶段的多标签乱打。
怎么读:右栏的约束随中栏的归属自动生效。读完可得的判断是:三种模态共用一套类目与约束,不另立一套焊接专用标签。
| 抽出要素 | 落入类目 | 触发的约束 |
|---|---|---|
| 预设电流、预设电压、焊接速度、摆动振幅与频率、送丝速度、保护气体流量 | 工艺与工序(焊接工艺参数项) | 条件值域约束(按焊接位置、板厚与焊丝牌号分条);设定值可比性约束 |
| 焊缝、焊道、坡口 | 工艺与工序、物料与物料清单 | 层次包含约束 |
| 气孔、咬边、未焊透、未熔合、焊瘤、偏焊等缺陷类型 | 质量特性与检验项(缺陷值域) | 缺陷类型互斥约束;检验方法与质量特性的对应约束 |
| 相机、热成像设备、测点 | 设备与部件、能耗与工况 | 层次包含约束;量程与正常区间 |
| 参数偏离与缺陷的关联 | 检验对应关系 | 定义域与值域约束 |
采集环节只做偏差的计算与留存,不下超差结论;超差的判定口径取本体焊接工艺参数项的值域,由标注与质检环节执行。这一分工在本例中体现为:预处理产出的是偏差序列与三段标记,本体提供的是该焊接位置、该板厚、该焊丝牌号下的容许范围,两者相遇才产生「超差」这个结论。
到这一步,这条焊缝已被拆成片段、帧、时序窗与一条条检验结论。要让它们将来找得到、找到之后还能拿出依据,须先定三件事:什么算一条、命中之后返回多大一块、凭什么回到原始记录。
五行按用途排开。前三行是三种模态各自成条,索引单元不同是因为提问方式不同——问过程取阶段片段,问外观取代表帧,问参数取事件窗;第四行不是条目而是图谱的一条边,现象指向原因,证据指回偏差序列与检验结论;第五行是成品,把前四行组织成可直接用于评测的三元组。
怎么读:定位字段一栏是回到原始记录的坐标,三套坐标分属三种模态——片段编号与起止帧序号、图像标识与区域框坐标、设备号与测点及时间窗。缺了这一栏,检索仍能给出结论,却给不出依据。读完可得的判断是:五类产出件件可被检索命中,且件件可回到它所依据的那一段原始记录。
| 产出 | 索引单元 | 定位字段 | 用途 |
|---|---|---|---|
| 视频片段条目 | 一个阶段片段一条 | 片段编号、起止帧序号、帧时标 | 焊接过程监控场景的证据检索 |
| 代表帧条目 | 一帧一条,带片段归属 | 图像标识、区域框坐标 | 多模态标注与评测题 |
| 时序片段条目 | 一个事件窗一条 | 设备号、测点、时间窗 | 参数判读与归因 |
| 故障链图谱的边 | 现象—原因边:参数偏离指向缺陷 | 证据指向偏差序列与检验结论,证据强度按来源分级 | 焊接缺陷的参数归因 |
| 检索增强三元组 | 一条三元组 | 证据跨源:影像、参数、检验结论 | 多模态评测题;证据跨度记为多条跨源 |
本例构造的三元组形态:查询为「这一段焊接的实时电流相对给定值偏离了多久,对应焊道的外观检验结论是什么」,证据为偏差序列条目、片段代表帧与检验记录条目三条,分属三个来源,证据跨度记为多条跨源。回答中的每一处事实对应至少一条证据,超出证据范围的表述按校验剔除。
三种模态同期采集、按同一组标识挂接,好处是样本信息量大,代价是出错方式也多:任一通道单独看都正常,合起来却可能对错了位。参数配错了给定值、影像平移了半秒、图像配到返修之后的焊道,这几种错误都不会在单通道校验中暴露,只有在配对关系上才查得出来。这一例的检验用例因此集中在「关系对不对」,而非「数据全不全」。
十一条用例按三条通道加一处汇合排布:前三条查参数流与给定值的配对,含程序切换时的拆分与疑似人工干预的识别;第四至七条查影像侧,含时基核对、分段边界、分段内容与热成像的双份保存;第八、九条查跨通道配对,即帧与采样点、图像与检验记录;第十、十一条查本体约束与最终三元组的跨源证据。
横向读一行即是一次闭环检查。读完可以得到的结论是:多模态样本的合格判准不在单条数据的质量,而在对象标识与时间区间是否把它们正确地绑在了一起。凡未对齐、时点落在窗外、证据互相矛盾的,一律单列待判,不丢弃也不直接送入下游。
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 实时与给定的配对 | 一段带程序号的实时参数流 | 展开给定值阶梯序列并逐点配对 | 稳态段逐点带给定值;三段标记齐备;偏差统计只取稳态段 | 自动校验 + 抽样核对 | 程序号缺失的段标记为无给定值,入预训练语料;参数表无该版本的挂起待补 |
| 二 | 程序切换的拆分 | 受理时窗内出现两次程序切换的段 | 按切换点拆分并分别配对 | 拆成三段,各段的给定值对应各自的程序号 | 核对段数与程序号的对应 | 未拆分的整段回退重配 |
| 三 | 疑似人工干预的识别 | 稳态段实时值中心长时间系统性偏离给定值的段 | 按判据标记 | 以最后一次有效下发值为给定值,加「疑似人工干预」标记 | 自动判定 + 人工复核 | 该工位的面板可改参属性未登记的,回 1.4.5 的调查补采该字段 |
| 四 | 视频时基核对 | 一段焊接录像与同期起弧事件 | 帧时标与事件时刻比对 | 偏差在允许范围内;超出的按事件时刻平移并记录平移量 | 自动校验 | 平移后仍超限的整段标注时基不确定,不进需要精确对齐的样本 |
| 五 | 分段边界取自事件 | 同上 | 执行视频分段 | 片段边界与起弧、程序切换、收弧时刻对应;不跨丢帧位置与取景变更 | 核对边界依据字段 | 无同期事件的粗段不做二次分段,阶段标记留空 |
| 六 | 分段内容校验 | 四个阶段片段 | 画面一致性校验 | 稳态片段内持续存在高亮区域 | 自动校验 + 人工判读 | 不通过的单列待判读,不丢弃也不直接下游 |
| 七 | 热成像双份保存 | 焊后焊道表面热像 | 核对保存结构 | 可视化图与每像素原始温度矩阵分列保存并互相指向 | 核对对照关系表 | 仅有可视化图的回受理侧补取原始温度矩阵 |
| 八 | 帧与采样点对齐 | 代表帧与同期时序 | 按帧时标最近邻取测值 | 偏差在容差内的帧带同期参数;超容差的标记未对齐 | 自动校验 | 未对齐帧不进入需要参数标注的样本 |
| 九 | 图像与检验记录配对 | 焊道表面图像与检验记录 | 按工件号 + 焊道号 + 采集时点配对 | 采集时点落在该焊道焊接时间窗内的配对成立 | 自动校验 + 抽样核对 | 时点落在窗外的单列为复检或返修图像,待工单补充后重判 |
| 十 | 缺陷类型互斥 | 该焊道的标注结果 | 本体约束校验 | 互斥的两类缺陷不同时出现在同一判定位置 | 本体一致性校验 | 命中互斥的拒绝写入并进待确认列表 |
| 十一 | 三元组跨源证据 | 该例构造的三元组 | 四项校验 | 三条证据分属三源且互不矛盾;出处均可回查 | 自动校验 + 人工复核 | 证据矛盾的交专家裁决,裁决前不入库 |
一份出厂检验报告,形态为纸质件扫描后的多页扫描件,内容包含抬头、检验项目表、淬火硬度测值表、外观检验结论、检验专用章与签署栏。该报告在质量管理系统中有对应的结构化检验记录,两者按检验单号关联。报告的年度较早,所用缺陷分类目录为旧版。
这一例检验的是三件事:纸质资料经扫描与识别后能否形成可核验的条目;结构化记录与文档记录的对账;以及历史分类目录与现行目录之间的映射如何处理而不丢信息。
纸质检验报告的采集比前三例多一层困难:数据不在任何系统里,而在库房的档案柜中,既不知总量,也不知品相,更不知其中哪些在质量管理系统里有对应的结构化记录。这一例的受理因此不从取数开始,而从摸清家底开始——先走访存放点,按册登记类别、年度区间与品相,再据此定扫描批次与扫描参数。
清册之后的几道作业步各解决一个问题:分批扫描对应装订孔压字与纸张品相带来的识别困难;判定来源登记对应判定尺度随规程版本漂移、事后无从分辨;缺陷分类映射对应旧版目录与现行目录对不上;结构化对应解决同一次检验在文档侧与系统侧各存一份、两份可能不一致。
横向读一行,即知该作业步的通用内容与本例的实际处置。要点集中在两条贯穿全表的处理原则:一是按原始分类如实入库,映射表另建,采集环节不改写原值;二是映射为一对多的不自动归一,待质量部门确认后生效。分类口径属业务定义,解释权在业务部门,采集环节负责把原貌与映射关系同时留存下来。
| 作业步 | 内容 | 本例的处置 |
|---|---|---|
| 现场调查与清册 | 按 1.5.2 的清册字段逐册登记 | 该报告所属存放点已走访,类别为出厂检验,年度区间已登记,品相为装订成册且有装订孔压字 |
| 分批扫描 | 按清册分批,拆装订与扫描参数按品相定 | 装订孔压字区域按提高分辨率与灰度模式处理 |
| 判定来源登记 | 额外登记判定来源(岗位与所依据的检验规程版本)与判定时间(1.5) | 两项齐备,供后续识别判定尺度漂移 |
| 缺陷分类映射 | 按原始分类如实入库,同时建立旧版到现行目录的映射表 | 该报告的缺陷类别为旧版,映射关系为一对多,在映射表中标明并说明处理方式;映射表由质量部门确认后生效 |
| 结构化对应 | 与质量管理系统的检验记录按检验单号关联 | 关联成立;不合格判定与处置记录的匹配情况按判定单号核查 |
| 入口脱敏 | 签署栏的人员姓名按直接标识规则处理 | 整字段替换为类型占位 |
| 许可核验 | 内部文件按密级执行;含第三方检测机构内容的另核许可 | 本例为内部出厂检验,按内部文档资料核验 |
扫描件的预处理是一条长链:从一叠图像到一组可定位、可回查的条目,中间要过十二道算子,任何一道产出不合格,其后各道全部作废。这一例的特点是每道算子都有明确的失败去向——不是停下来等人处理,而是按预定规则转路径、降档或整文件回退,使整批扫描件不致因少数几页卡住而全部停摆。
十二道算子按三段排布:第一至五道把图像整理成可识别的版面,解决纸张品相与扫描质量带来的问题;第六至八道把版面中的表格与印章结构化,这一段最容易丢失信息,跨页表合并与印章区处理各对应一类典型错误;第九至十二道把识别结果变成带出处的条目,并与系统侧的结构化记录对账。
末栏「失败去向」是这张表的重点,须与第三栏对照看:同一道算子,顺利时产出什么、不顺时去哪里,两者合起来才是它的完整口径。由此可得的判断是,扫描件通道的产出允许分档——区域级置信不足的局部进人工复核,页码缺失的不进条款级索引,回查不一致的整条废弃不修补,其余照常产出。
| 序 | 算子 | 本例的处理 | 失败去向 |
|---|---|---|---|
| 1 | 版式判定 | 无文本层,判为扫描件 | 文本层为乱码的同样判扫描件 |
| 2 | 页面预处理 | 去噪、纠偏、剔除空白页与分隔页 | 去噪后字符损失率超门限的回退并降低阈值 |
| 3 | 版面分析 | 切出抬头、检验项目表、硬度测值表、结论正文、印章区、页眉页脚区 | 区域框重叠或遗漏的回退重做 |
| 4 | 阅读顺序判定 | 单栏,按区域位置排序 | 判定不唯一的按单栏强制处理并标注 |
| 5 | 文字识别 | 分区识别;装订孔压字区域的置信度单独统计 | 区域置信低于门限的该区域进人工复核 |
| 6 | 有线表重建 | 检验项目表与硬度测值表按线框切分 | 线框残缺的转无线表路径;列数判定不唯一的进人工复核 |
| 7 | 跨页表合并 | 硬度测值表跨两页,按表头重复与续表标记合并 | 表头不重复且无续表标记的不合并,分别成表 |
| 8 | 印章区处理 | 印章文本单列,不混入正文 | 印章与正文重叠面积超门限的,被遮挡片段标记为不完整 |
| 9 | 章节结构还原与页码登记 | 记录每一节起止页与全文偏移 | 页码缺失的不进入条款级索引 |
| 10 | 正文切分 | 结论正文按段落边界切分,保留层级路径与偏移 | 切片越过章节边界的整文件回退 |
| 11 | 文本化(结构化侧) | 质量管理系统的检验记录按检验结论叙述模板转文本 | 必填字段槽为空的跳过并标记 |
| 12 | 源记录回查 | 文本化产出的数值与术语逐项回查 | 回查不一致的废弃该条 |
检验报告扫描件识别出来的内容,在这一步之前只是一批带位置的字符串。要让它成为可用的知识,必须回答两个问题:这些要素在本体里归入哪个类目,归入之后要接受哪些约束的检查。前者决定它将来能被怎样检索,后者决定它能否入库。
这张表把本例抽出的五组要素逐一落位,并写明每一组触发的约束。约束单列一栏是本表的要点:落位只说明归属,真正拦住错误的是约束——检验方法须与质量特性对应,测点位置须取本体值域,工件与产品须映射到企业编码,判定来源与判定时间为必填。缺了这一栏,条目入库与否只看识别是否成功,不看内容是否成立,而扫描件识别恰恰是读出来了却读错了最常发生的地方。
怎么读:横向一行是一组要素从抽出到入库的完整路径。第三行与其余四行不同:外观缺陷沿用旧版分类,现行值域无对应取值,触发的不是校验而是一次映射归一。读完可得的判断是:五组要素中四组可由机器判定,一组须业务部门确认,凡机器判不准的一律不自动落位。
| 抽出要素 | 落入类目 | 触发的约束 |
|---|---|---|
| 检验项、判定限值、检验方法 | 质量特性与检验项 | 检验方法与质量特性的对应约束;值域约束(检验方法取标准值域) |
| 淬火硬度、测点位置 | 质量特性与检验项 | 值域约束(测点位置取本体值域) |
| 外观缺陷类型(旧版分类) | 质量特性与检验项(缺陷值域) | 值域约束:旧版取值不在现行值域内,按映射表归一;映射为一对多的不自动归一,进待确认列表 |
| 受检工件、所属产品 | 物料与物料清单、设备与部件 | 编码映射约束 |
| 判定来源与规程版本 | 质量特性与检验项的属性 | 必填约束(判定来源与判定时间) |
旧版缺陷分类的处置在本例中是关键:映射为一对一的按映射表自动归一并登记原值;映射为一对多或多对一的不自动归一,保留原值并进待确认列表,由质量部门确认后按确认结果归一。分类口径属业务定义,确认权在业务部门,项目组不单方面决定。
扫描报告经识别、切分与本体校验之后,剩下的问题是它以什么形态进入知识库:哪些内容单独成条、检索时返回多大一块、拿到结果之后凭什么回到原扫描件核对。这张表定的就是这三件事:各类产出的索引单元与定位字段。
五类产出不是同一内容的五种切法,而是四种形态加一件成品。检验结论条款是结论正文,一条结论为一个单元;检验项知识条目是从表里抽出的项值,一实体一属性一条;硬度测值表条目保留表的整体形态,单元格可按行列索引定位;工艺质量链图谱的边不存文字而存对应关系,供质量归因;检索增强三元组则是把前几类组织成评测题的成品。
定位字段一栏对扫描件尤其要紧。报告不是结构化记录,页码、表序号与行列索引是它回到原件的唯一坐标,缺一项,条目就只是一段无从核对的文字。横向读一行即知该类产出的颗粒与回查坐标;读完五行可得的判断是:同一份报告同时供证据检索、质量归因与评测三条通路,彼此不重复加工,差别只在索引单元与定位字段。
| 产出 | 索引单元 | 定位字段 | 用途 |
|---|---|---|---|
| 检验结论条款 | 一条结论为一个单元 | 源文件编号、页码、偏移 | 质量问答的证据 |
| 检验项知识条目 | 一实体一属性一条 | 出处登记字段 | 判定限值查询;与技术标准条目互为证据 |
| 硬度测值表条目 | 一张表一条,单元格可定位 | 页码、表序号、行列索引 | 硬度分布的检索与比对 |
| 工艺质量链图谱的边 | 参数项与质量特性的检验对应边 | 证据指向本报告条目 | 质量归因 |
| 检索增强三元组 | 一条三元组 | 证据指向结论条款与检验项条目 | 条款定位类与事实问答类评测题 |
扫描件这条路上的错,大多不在产出上留下痕迹:一页没切全、一张跨页表没合上、印章压住的字被认成别的字,产出看上去都是完整的条目。因此检验不看产出像不像,而是逐项核对每一道可能悄悄丢信息的关口是否堵上。
十一条用例按加工顺序排布,分四段。前五条查扫描与版面:能不能解码、六类区域有没有切全、压字区域的置信有没有被整页平均值稀释、跨页表有没有合对、印章有没有混进正文。第六、七条查对账:文档侧与系统侧两份检验记录是否一致,不合格判定与处置记录是否成对。第八、九条查本体约束:旧版缺陷分类的映射与判定来源的必填。末两条查对外可用:出处能不能回查、敏感字段有没有被过滤。
横向读一行是一次完整的检查闭环——检什么、拿什么输入、怎么执行、什么算通过、谁来判、不通过往哪去。末栏分三种去向:退回重做、单列待确认、暂停对外服务,轻重分明。读完全表可得的判断是:每一处已知风险都对应一条可执行、可留痕、有兜底去向的检查。
| 用例 | 检验对象 | 输入 | 执行 | 期望结果 | 判定方式 | 不通过的处置 |
|---|---|---|---|---|---|---|
| 一 | 扫描件可解析 | 该报告扫描件 | 图像可读性校验 | 可解码且分辨率达约定下限 | 自动校验 | 不通过的回源侧重扫或提高分辨率;不可改善的标记为仅存档 |
| 二 | 区域切分完整 | 同上 | 版面分析 | 六类区域互不重叠且覆盖有效内容区 | 页级自检 | 重叠或遗漏的该页回退重做 |
| 三 | 压字区域识别 | 装订孔压字区域 | 区域级置信统计 | 该区域置信度单独统计,不与整页平均值混算 | 自动统计 | 低于门限的该区域进人工复核队列,同页其余区域照常产出 |
| 四 | 跨页表合并正确 | 跨两页的硬度测值表 | 按表头重复与续表标记判定 | 合并成一张表并保留合并前各页范围 | 自动校验 + 抽样核对 | 表头不重复且无续表标记的不合并,分别成表 |
| 五 | 印章不入正文 | 印章区 | 分区处理 | 印章文本单列为印章字段,正文中不含印章文字 | 自动校验 | 混入的该页回退重做分区 |
| 六 | 与结构化记录对账 | 报告与质量管理系统检验记录 | 按检验单号关联并逐项比对检验项与测值 | 两侧检验项一致;测值差异在允许范围内 | 自动比对 + 差异逐条登记 | 差异逐条登记并由业务部门确认以哪一侧为准,确认结果写入数据源登记表 |
| 七 | 不合格处置闭环 | 该报告的不合格判定 | 按判定单号核查返工、让步接收或报废的处置记录 | 判定与处置成对 | 匹配率按批次统计 | 未匹配的单独统计;匹配率不足时在数据卡中说明,相关场景验证的判据随之调整 |
| 八 | 旧版缺陷分类映射 | 旧版缺陷类别取值 | 查映射表 | 一对一的自动归一并登记原值;一对多的不自动归一并进待确认列表 | 本体值域校验 + 映射表核对 | 映射表未经质量部门确认的,相关条目暂不入标注标签 |
| 九 | 判定来源完备 | 该报告的判定记录 | 必填约束校验 | 判定来源与判定时间两项齐备 | 本体必填约束 | 缺失的退回补录;长期缺失的在数据卡中标注该时段样本的分层处理方式 |
| 十 | 条款定位回查 | 检验结论条款条目 | 按出处字段回原文定位 | 定位内容与条目文本一致 | 出处回查测试 | 回查失败的条目不入库;同一文件连续失败的整文件回退重解析 |
| 十一 | 敏感字段过滤 | 含签署栏与客户标识的条目 | 按敏感等级与可见范围检索 | 超出可见范围的字段按脱敏结果返回并标注已处理 | 权限过滤测试 | 未过滤的暂停该索引对外服务,修正规则并重跑测试后恢复 |
四个实例共给出三十九条检验用例。它们不是并列的检查项,而是按三类作用分布:一类验证加工做对了(解析覆盖、对齐正确、合并正确),一类验证加工没有把信息改坏(标记保留、原值保留、不自动归一),一类验证产出可被核验(出处回查、反向校验、证据支持)。第三类是前两类的兜底——前两类靠的是执行时的判定,第三类靠的是事后能不能查回去。
| 作用类别 | 对应用例 | 共同判定口径 | 不通过的共同处置 |
|---|---|---|---|
| 加工做对了 | 原生图元解析覆盖、标题栏抽取、跨测点对齐、重采样方法选择、窗边界对齐、分段边界取自事件、跨页表合并、区域切分完整 | 以首批标定结果为基线,按批次上调,上调幅度在月度例会上确认后写入下一批次计划 | 按算子单项回退重跑;同一算子连续两批次未通过,暂停该算子版本并排查 |
| 没有把信息改坏 | 异常标记保留、缺失处置分档、热成像双份保存、印章不入正文、旧版分类不自动归一、设定值可比性、缺陷类型互斥 | 标记与原值须齐备,缺一即判不通过,不设容许比例 | 标记缺失的样本不进入供样区;原值被覆盖的整批回退 |
| 产出可被核验 | 条款定位回查、片段回查、反向校验、三元组证据支持、与结构化记录对账、敏感字段过滤 | 出处字段完整且实际定位成功;证据支持逐条成立 | 回查失败的条目不入库;同一文件类型连续两批次失败率高于基线,暂停该类型入库并回查解析算子 |
四类实例的用例执行结果进入所属环节的质量控制点记录,作为该批次能否进入下一环节的依据之一。用例本身随批次计划版本化:对象类型扩展时按同一结构补充用例,不在执行时临时增删。
四个环节的工具调用点、批次节奏、实施前提与平台承载汇总于此,与专项智能工具链章节、项目实施计划共用同一套口径。
四个环节会用到三组数值,它们的定义权都不在本节,本节只按定义执行并回填实际值。数据集的规模分解、模态构成占比与时效性占比由四大数据集规模与数据卡章节定义,本节按批次回填各数据集的来源、算子、版本与模态构成;质检的抽样比例与判定标准由数据集质检与验证章节定义,本节的质量控制点按其口径设门限;评测的指标体系、权重与综合分口径由数据集质量评测方案定义,本节交付其所需的三元组与证据出处记录。
同一组数值只在定义它的那一章给出,本节各处的门限与比例一律以首批标定值为基线按批次上调,基线数值与上调幅度随批次计划登记,不在本节另行给定固定值。
招标文件要求交付不少于 9 类 25 个专项智能工具链。工具本身的设计、接口与样例见专项智能工具链章节,本节只说明在四个环节的哪一步调用哪一类工具、调用的输入与产出是什么。
| 环节与步骤 | 调用工具类别 | 输入 | 产出 | 本节对应小节 |
|---|---|---|---|---|
| 采集·文件受理 | 长上下文数据构建类(文档结构解析) | 落地区文档文件 | 可解析性判定、版式初判 | 1.1、1.11 |
| 采集·自由文本脱敏 | 智能标注类(大模型预标注) | 工单备注、维修记录文本 | 文本中的标识实体位置 | 1.10 |
| 预处理·文档解析 | 长上下文数据构建类(文档结构解析、文档切分与拼接) | 文档文件 | 章节层级、来源页码、切片 | 2.2 |
| 预处理·图纸解析 | 多模态数据对齐类(设备图纸与工艺图结构化抽取) | CAD 与 PDF 图纸 | 图元、标注、标题栏与明细表字段 | 2.3.2、2.3.3 |
| 预处理·图文关联 | 多模态数据对齐类(视频—文本对齐、图纸抽取) | 图像样本、检验记录 | 图文对照记录 | 2.3.4 |
| 预处理·时序对齐 | 多模态数据对齐类(传感器时序—运维事件对齐) | 多测点时序、事件记录 | 对齐序列、时序片段—事件样本对 | 2.4.1、2.4.5 |
| 预处理·视频分段与对齐 | 多模态数据对齐类(视频—文本对齐、传感器时序—运维事件对齐) | 视频粗段、同期事件序列、工单与检验记录 | 阶段片段、代表帧、三方对照记录 | 2.5.2、2.5.5 |
| 预处理·文本化 | 数据生成与增强类(文本重写与多样化)、数据生成控制与评测类(模板化数据生成) | 业务表单、工单、检验记录、曲线特征 | 自然语言文本样本 | 2.6 |
| 预处理·去重 | 数据质量与分布控制类(数据去重与相似度过滤) | 文本切片 | 去重结果与重复登记 | 2.2.5 |
| 本体·术语收口 | 智能标注类(本体驱动规则标注、一致性校验标注) | 术语候选、标注结果 | 术语表更新、歧义项清单 | 3.8.1、3.8.4 |
| 本体·约束与冲突校验 | 智能标注类(本体驱动规则标注) | 本体实例、关系实例、跨域冲突台账 | 约束校验结论、冲突裁决依据 | 3.2.3、3.9 |
| 知识库·条目抽取 | 智能标注类(大模型预标注、主动学习标注) | 八类资料的结构化长文本 | 候选知识条目 | 4.2.2 |
| 知识库·条款切分 | 长上下文数据构建类(文档切分与拼接) | 制度与标准文本 | 条款级索引记录 | 4.3.2 |
| 知识库·图谱构建 | 智能标注类(本体驱动规则标注)、多模态对齐类 | 知识条目、结构化数据、锚定登记 | 图谱节点与边 | 4.4.3 |
| 知识库·检索增强样本 | 长上下文数据构建类(RAG 数据构建) | 查询、索引、知识条目 | 查询—证据—回答三元组 | 4.7 |
| 知识库·三元组校验 | 数据质量与分布控制类、数据集验证与归因类 | 三元组 | 校验结论、废弃清单 | 4.7.3 |
| 知识库·索引配置与过滤 | 长上下文数据构建类(RAG 数据构建) | 索引单元、权限与状态字段 | 检索配置版本、过滤测试结论 | 4.6.4、4.6.5 |
| 全环节·血缘 | 数据集验证与归因类(数据集—模型版本血缘追溯) | 批次、算子、条目、样本标识 | 血缘链记录 | 总述「批次与血缘标识体系」、2.8 |
对调用的一个约定:工具按算子注册,调用参数与版本随批次登记(见 2.8),不允许在工具界面上临时改参数而不留痕。这样做的目的是让质检与验证环节有复算依据。
采集、预处理、知识本体、知识库四个环节产出的是九类中间件,招标文件要的是四类数据集。两者之间若没有一张对应表,容易出现两种偏差:某类产出被反复加工进多个数据集而不自知,或某类数据集到构建时才发现缺素材来源。这张表把九类产出与四类数据集逐格对上。
行按产出形态排列,从原始形态的结构化长文本、图像、时序、视频,到加工形态的文本化样本,再到知识形态的本体、条目与图谱、检索增强三元组、九域知识库。列按数据集用途排列。格内只取三种值:主要来源、某种辅助角色,或以「—」表示不参与。偏好数据一列的空格最多,这不是遗漏——偏好数据需要成对的优劣样本,只有过程判读类素材天然具备可比性,其余产出若要造偏好对,须另行设计。
纵向读一列即知该类数据集的素材构成,横向读一行即知该类产出被几个数据集消费、各承担什么角色。读完可得的判断是:九类产出没有一类是只产不用的,四类数据集也没有一类缺少确定的素材来源。
| 本节产出 | 预训练子集 | 指令微调子集 | 偏好数据 | 基准评测子集 |
|---|---|---|---|---|
| 结构化长文本 | 主要来源 | 作为背景材料 | — | 作为题干材料 |
| 图像样本与图文对照 | 多模态部分 | 多模态指令样本 | — | 多模态评测题 |
| 时序片段—事件样本对 | 时序部分 | 时序分析类指令样本 | — | 时序判读评测题 |
| 视频片段与代表帧 | 多模态部分 | 多模态指令样本 | 过程判读的偏好对比 | 多模态评测题 |
| 文本化样本 | 结构化数据的语言化部分 | 主要来源之一 | — | — |
| 知识本体 | 术语归一依据 | 标签与口径依据 | 偏好判别的口径依据 | 判分口径依据 |
| 知识条目与图谱 | — | 事实性指令样本来源 | 偏好对比的事实依据 | 事实类评测题来源 |
| 检索增强三元组 | — | 主要来源之一 | — | 主要来源之一 |
| 九域四类知识库 | — | 决策问答类指令样本 | — | 口径解释类评测题 |
四类数据集的规模分解、模态占比与时效性占比口径见四大数据集规模与数据卡章节,本节不重复给数。
四环节按业务域分批推进。首批以参与场景验证的业务域与试点范围为准,后续批次按批次计划扩展,直至覆盖四类数据集的来源要求。批次节奏安排如下,具体日期随项目实施计划提交。
| 批次 | 覆盖范围 | 四环节的推进重点 | 出口判定 |
|---|---|---|---|
| 首批(标定批) | 每个业务域各取一个代表性来源,试点产线与试点炉型 | 校准门限、标定算子参数、建立首版本体 | 四道质量检查节点的门限基线确定,首版本体发布 |
| 第二批(铺开批) | 四个业务域的主要源系统全覆盖 | 采集与预处理规模化,知识条目抽取铺开 | 各域批次台账完整,条目终审覆盖首批资料 |
| 第三批(补齐批) | 外部语料、纸质资料数字化、新增测点与图像 | 补齐模态与时效性缺口,图谱覆盖扩展 | 模态构成与时效性满足数据卡要求 |
| 第四批(收口批) | 全范围复核 | 口径收口、版本固化、数据字典定稿 | 数据字典与终审意见齐备,可交付验收 |
批次之间的关系不是简单的时间先后:首批的作用是标定,第二批之后各批次并行推进,不同业务域的批次可以不同步。门限基线一经确定即对后续批次生效,调整须在月度例会上确认后写入下一批次计划。
本节列出影响四环节落地的具体前提,以及前提不成立时的应对方式。这些都是可核实的事项,不是泛泛的风险提示。
数据加工的进度不只取决于加工一侧,相当一部分取决于源头是否就绪:接口是否开通、图纸能否按图号取、传感器是否到位、口径由谁确认。这些事项多数需招标方与项目组共同推进,列成表而不是口头提示,是为了让双方在同一份清单上跟踪。每一行写明前提是什么、不成立会影响哪一块、这段时间里工作怎么继续。
十一项前提按来源分四类:接口与权限类、设备与采集条件类、历史资料数字化类、口径与评审组织类。影响一列都落到具体的交付物上,不写笼统的进度受影响——降级为栅格路径则尺寸类样本不可用,炉次与工件关联不上则图谱只能建到炉次级,影响面是可核对的。
应对方式一列有共同的结构:先按已具备的条件把能做的做掉并出缺口清单,再给一条前提落实后的补做路径,补做的数据并入原批次体系而不另起一摊。读完十一行可得的判断是:没有一项前提的缺失会使整个环节停摆,缺口均以可见、可跟踪、可回补的方式留在台账上,而不是以放宽口径的方式被掩盖。
| 前提条件 | 不成立时的影响 | 应对方式 |
|---|---|---|
| 源系统按已授权范围开放只读接口 | 对应业务域无法形成批次 | 按已开放范围先行受理并出缺口清单;未开放部分以文件导出方式过渡,过渡期的频次与时效在批次说明中注明 |
| 原生 CAD 图纸可按图号分批读取 | 工艺设计域降级为栅格路径,尺寸类样本不可用 | 按 2.3.1 的分级口径降级处理,降级部分仅用于检索与图像标注;同时推进按图号分批读取的开通 |
| 层间温度与熔池图像的传感器与相机到位 | 焊接过程的关键参数与图像缺项 | 先用既有测点构建样本并标注缺项;设备到位后按批次补采,补采数据并入同一批次体系 |
| 热处理炉次与工件、材料批次可关联 | 图谱 B 只能建到炉次级 | 保留炉次级链路,工件级标记未锚定;推动装炉清单与库存批次的字段补录 |
| 报警与维修事实可配对 | 图谱 A 的「现象—原因」边以中弱证据为主 | 按证据强度分级交付,强证据条目优先;维修事实回填后按版本升级边的证据级别 |
| 甲方提供九域指标口径与计算逻辑 | 指标与规则知识库无法入库 | 交付指标登记模板、口径访谈提纲与试算工具,按域分批确认;未确认指标不进入问答可用范围 |
| 纸质检测报告完成数字化 | 质量域历史样本量不足 | 先按产品与年度出清册,按清册分批扫描;未数字化部分在数据卡中注明 |
| 焊机程序号与程序参数表可取 | 焊接偏差样本缺给定值,仅能作预训练语料 | 按 1.4.5 的三档补采方案处置:可抄录的现场抄录,仅有工艺卡的降一档登记,两者皆无的该工位按无给定值处理并在数据卡中限定用途 |
| 工位相机与录像采集触发条件可用 | 视频片段与业务事件对不上,多模态样本缺一侧 | 先用既有图像与时序构建样本;按 1.7.5 的分段完整性判定逐批核查,连续两批低于下限的暂停该相机受理并回查采集触发条件 |
| 业务专家评审组按批次到位 | 终审滞后,条目积压在「待审」 | 按业务域错峰安排评审;全审条目优先排期,抽样审条目可合并批次 |
| 数据分级分类结论发布 | 入口脱敏规则无依据 | 先按最严口径处理,分级结论发布后按结论回调,回调动作留痕并重跑受影响批次的脱敏 |
四个环节的作业均在奔牛数据智能平台的数据集加工生产部分上执行与留痕,不依赖线下台账。按招标文件,数据集加工生产平台与数据集运营服务管理平台是两套分别安装适配的系统:本节四个环节的作业对象、状态与留痕落在前者;后者承载的是版本移交登记之后的目录、权限、服务与审计,其功能模块、界面与流程见数据集运营平台章节。本包交付责任至向运营服务管理平台移交登记完成为止。本节只说明各环节在加工生产平台上的作业对象、状态与留痕位置。
| 环节 | 平台上的作业对象 | 状态流转 | 留痕内容 |
|---|---|---|---|
| 数据采集 | 数据源登记、受理单、批次 | 受理中 → 挂起 → 已成形 → 已进入预处理 → 已关闭/废弃 | 受理单、许可核验结论、脱敏执行记录、校验报告、入口检查节点判定 |
| 数据预处理 | 批次、算子任务、人工复核队列 | 待处理 → 处理中 → 待复核 → 已通过/已回退 | 算子登记、失败原因、复核结论、预处理检查节点判定 |
| 知识本体 | 本体版本、变更申请 | 草案 → 评审中 → 已发布/退回 | 变更申请、影响评估、评审意见、口径检查节点判定 |
| 知识库 | 知识条目、图谱节点与边、索引任务 | 待审 → 通过/修订后通过/退回重抽/不采纳 | 抽取记录、出处登记、终审意见、终审检查节点判定 |
四类作业对象之间以总述所列的标识体系关联,从任一条样本可向上回溯到批次与数据源,向下追踪到其被哪些知识条目与三元组引用。这条双向可追溯是质检、验证与评测错题归因的基础。
要求的总口径是:按四个用途子集所需的样本形态对各业务域数据实施标注,产出可直接用于训练与评测的标注样本。
数据采集、数据预处理、知识本体与知识库四个环节的产出——规范化样本与贴源对照关系、知识本体给出的标签体系、知识库与检索索引——是标注作业的输入。自标注起,样本依次经过数据合成、数据增强、数据集质检与数据集验证,最后由数据集项目管理组织为可交付的数据集版本。六个环节的数据流与责任边界如图 1-1。
本包是数据加工生产服务,交付物是数据集加工生产、质量评测与场景验证三类成果,交付主体与承诺主体均为中国移动。智能场景本身的建设不在本包范围内,本包只负责场景验证服务;本包在各验证场景中承担的是以实际业务任务检验数据集效果并产出可用性结论的工作。
人工标注作业由我方按四个数据集分别组织实施;标注规范、标签体系、标注工具链、黄金集与质检判定由独立于作业执行的质量判定侧提供并执行,标注产出的验收与返工判定亦由该侧作出。这一分界按事项的逐条划分见表 1-2。
图 1-1 数据标注至数据集项目管理六个环节的数据流与责任边界。数据来源:招标文件第五章 3.2.6.3.5–3.2.6.3.10 环节划分。
宁夏天地奔牛实业集团有限公司(以下简称「天地奔牛」)的数据条件可以概括为「量不少、关联少、口径散」。历史图纸约 63 万张,每张图纸在历史上都配有一张已审核签发的工艺卡片,这是一组天然成对的监督样本;备料分厂的工序集合是封闭的,当前掌握的口径为 28 道;在役装备的远程运维平台已长期采集振动、温度、压力与冷却水流量信号,报警记录可观。
但这些素材目前的状态是:工艺卡片与图纸的配对关系存在于人的记忆与文件目录中,焊接参数流与工件、焊道没有对应,热处理炉次与工件、材料批次、检测结果之间没有稳定关联,报警不少而故障标签很少。
标注在本项目中不是通用的数据加工动作,它要解决的是三件具体的事。
第一件是把专业判断从人的头脑里取出来。选型靠的是资深工程师对工作面条件与机型配置之间对应关系的记忆,工艺编制靠的是工艺人员对图纸特征与备料工序之间对应关系的熟练。这些对应关系在历史文档里是隐含的——一份选型方案里写着工况参数和最终配置,中间的判断过程没有写;一张工艺卡片上写着 28 道工序里选了哪几道、怎么排序,为什么这么选没有写。标注要做的是把这个隐含的对应关系显式地标出来,让模型能够学到的不只是输入输出,还有把输入映射到输出的依据。
第二件是把分散在多个系统里的同一物理事实缝合起来。一个工件的热处理过程事实分散在热处理群控系统的炉次记录、数据采集与监控系统的温度曲线、质量管理系统的硬度检验记录与实验室的切片结果之中,四者之间没有稳定的关联键。标注在这里承担的是关联关系的认定:由具备专业判断的人确认「这条温度曲线对应这一炉、这一炉里有这个工件、这个工件的硬度是这个值、切片是这个结果」,并把认定结果作为标签写下来。这类标注的价值不在标签本身,在它建立的对应关系。
第三件是把「报警」变成「故障」。远程运维平台的报警记录数量可观,但报警与真实故障之间缺少可核对的证据,维修事实没有回填到报警事件上。标注要做的是把维修记录、派工单、备件出库流水与报警时间窗对齐,由专业人员判定这次报警对应的是哪一类故障模式、处于哪一个劣化阶段、根因是什么,从而逐步积累故障与数据段的配对样本。
这三件事的共同点是:标注的质量取决于标注者的专业判断,而不取决于标注工具的易用程度。因此本方案在标注环节投入的重点是标签体系的严密程度、标注规范的可执行程度与一致性校验的严格程度,工具只负责把人的判断高效、无歧义地记录下来并做机器可做的预标注。
各业务域的标注口径以知识本体定义的标签体系统一。本体中已沉淀刮板输送装备等主机产品的部件层级,链轮、齿轨、刮板、压板、哑铃销等工件品类,热处理与焊接的工艺参数项,十类焊接缺陷(热裂纹、冷裂纹、偏焊、咬边、夹渣、烧穿、未熔合、未焊透、气孔、焊瘤)与两类热处理外观缺陷(烧伤、裂纹),以及典型故障模式。标注规范不另行定义标签名称,只引用本体中的类目标识符;标注过程中发现本体未覆盖的类目时,走本体变更流程新增后再标注,不在标注规范中临时造词。
标签体系按三层组织:第一层是对象类目,取自本体的对象类目(设备与部件、工艺与工序、故障模式、质量特性与检验项、物料与 BOM、供应商与合同、能耗与工况);第二层是任务标签集,即某一标注任务在该对象类目下要标的标签字段集合;第三层是取值域,即每个标签字段的合法取值枚举或数值区间。标注工具按第三层的取值域做输入约束,取值域之外的输入在提交时被拒绝,这是标签体系符合性在工具层面的第一道保障。
图 1-2 标签体系与知识本体的引用关系。数据来源:招标文件 3.2.6.3.3 知识本体第(4)(5)项与 3.2.6.3.5 第(6)项。
标注规范是本环节最关键的交付物,它决定了标注结果能否在不同标注员、不同批次之间保持一致。每份标注规范包含六部分内容:标注对象与粒度(标到文档、段落、条款、字段、图元、像素区域还是时间窗);标签体系引用(引用本体哪个类目、本任务用其中哪些字段、每个字段的取值域);判定准则(每个取值的判定条件,以及两个取值之间的分界线划在哪里);边界情形处置(证据不足、多重判定、原件缺损、口径冲突四类情形的处理方式,统一设「无法判定」取值并要求填写原因码,不允许标注员凭感觉选一个);正反例与易混淆对照(每个标签至少三个正例与两个典型误标例);一致率阈值与返工线。
规范带版本号,版本号随标注样本一并记录。规范在作业期间修订的,修订后新作业批次按新版本执行,已完成批次按原版本保留并在样本元数据中标明规范版本,不做追溯性重标,除非修订涉及判定准则的实质变更——此时按 1.9 节的返工口径对受影响批次重标。
标注作业采用机器预标注加人工确认的方式。机器预标注的作用是把人的工作从「从零开始标」变成「核对与修正」,这对本项目尤其有意义:63 万张历史图纸中约七八成属于可借用、可对照的既有零件,预标注可以把这部分的标注工作量显著压下来;而工艺卡片与图纸历史上成对存在,预标注可以直接把卡片上已有的工序序列与参数作为候选标签提给标注员核对。
四类对象的预标注方式与人工介入点如表 1-1。表中「预标注可用度目标」是我方对工具链产出的内部要求,以首批试标 500 个样本的实测值作为基线,逐版本提升;达不到基线的任务降级为纯人工标注并记录原因,不以预标注结果充抵标注产出。
表 1-1 四类标注对象的机器预标注方式与人工介入点
| 标注对象 | 机器预标注方式 | 人工介入点 | 预标注可用度目标 |
|---|---|---|---|
| 文档类(合同、招投标文件、制度、标准) | 版面解析结果上做条款切分与条款类型候选推荐、八大核心要素定位 | 条款类型确认、风险点认定、合规判定结论 | 要素定位召回趋向 90% 以上,类型候选命中前三位 |
| 图纸类(DWG/DXF、工艺图纸 PDF) | 原生图元解析输出图元、尺寸、图层、标题栏与明细栏字段;加工特征按几何规则初判 | 特征确认、投影关系确认、技术要求语义确认 | 几何类特征初判准确率趋向 85% 以上 |
| 图像类(熔池、焊道表面、工件外观) | 缺陷区域候选框与类型候选,按本体十类焊接缺陷与两类热处理外观缺陷输出 | 缺陷类型判定、位置框修正、等级判定 | 候选框召回趋向 80% 以上,类型准确率不作预标注承诺 |
| 时序类(热处理、焊接、设备运行) | 按事件锚点切分时间窗,工况分段初判,参数偏差按设定程序差值初算 | 工艺阶段确认、异常事件认定、故障模式与根因判定 | 工况分段初判准确率趋向 85% 以上 |
预标注结果在标注工具中以「候选」状态呈现,标注员确认后才成为标签值。工具记录标注员是否修改了预标注结果以及修改幅度,这一记录同时用于两个用途:评估预标注质量,以及识别可能的「不加判断直接确认」行为——某标注员在某批次内预标注接受率显著高于同任务其他标注员且抽检不合格率同时升高的,该批次整体进入复核。
人工标注作业由我方按四个数据集分别组织实施。标注环节在组织上分设作业执行与质量判定两侧,按表 1-2 分界。这一分界的实质是:标注做成什么样由质量判定侧定义并判定,标注怎么排班、投入多少工时由作业执行侧组织。两侧同属项目组,但不由同一组人兼任——作业与判定由同一人兼任时,抽检结论失去独立性。
表 1-2 标注环节的交付分界
| 事项 | 质量判定侧 | 作业执行侧 |
|---|---|---|
| 标签体系与标注规范 | 编制、评审、版本维护、修订 | 按规范执行,提出规范问题单 |
| 标注工具链 | 提供智能标注类工具与标注工作台,含输入约束、预标注、留痕与导出 | 使用工具作业 |
| 黄金集 | 编制并保密维护,按任务提供考核题目 | 标注员上岗前通过黄金集考核 |
| 标注员培训 | 提供培训材料、规范宣讲与试标讲评 | 组织标注员参训,安排作业排班 |
| 标注作业 | 出具规范、黄金集与门控判定结论 | 按四个数据集分别组织实施 |
| 自检 | 提供自检项清单与工具内校验规则 | 执行自检 |
| 抽检与一致性校验 | 执行并出具结论 | 配合提供样本与作业记录 |
| 仲裁 | 组织业务专家仲裁、出具仲裁意见 | 按仲裁意见返工 |
| 门控判定与返工通知 | 判定并出具门控结论与低一致性样本清单 | 按清单返工并提交复检 |
| 标注质量记录 | 汇总并随样本封装 | 提供作业过程记录 |
标注员的身份在样本元数据中以匿名工号记录,不记录姓名。这既满足可追溯要求,也避免标注样本在后续流通中带出人员个人信息。工号与人员的对应关系由作业执行侧按保密要求单独维护,质量分析中只使用工号。
标注以批次为单位组织,批次是质检门控、返工与版本计入的最小单位。批次划分遵循三条口径:同一批次内的样本属于同一业务域、同一标注任务、同一规范版本;单批次规模按文档类 200–500 份、图纸类 300–800 张、图像类 2000–5000 张、时序类 1000–3000 个时间窗控制,使单批次的抽检工作量落在两个工作日之内;跨业务域的关联标注(如热处理工艺参数与质量检验结果的关联)单独立批,不混入单域批次。
批次台账记录批次号、业务域、任务、规范版本、样本范围、承接单元、作业起止时间、自检结论、抽检结论、一致性指标、门控结论与返工轮次。台账是后续质检追溯与资产台账编制的基础数据。
本域标注三类对象:招投标文件与合同文本、历史选型方案、订单库存与排产数据,分别支撑合同合规智能审查、产品智能选型与库存控制智能化三个验证场景。
合同文本标注分两条线并行:一条是条款级的类型与风险标注,一条是对标八大核心要素的完整性标注。两条线标在同一份文档上但标签集不同,前者的标注粒度是条款,后者的标注粒度是文档。
条款级标注的第一步是条款切分。合同与招投标文件的条款边界并不总与自然段落一致,一条责任条款可能跨若干段,一个段落也可能包含两条独立义务。标注规范规定以「一个可独立判定履行与违约的义务单元」为一条条款,切分结果由标注员确认;机器按标题序号、「第×条」标记与句式特征给出切分候选。切分之后对每条条款标注条款类型、风险点与合规判定结论三组标签。
条款类型按合同履行要素分类,取值域引用本体中的合同与供应商类目。风险点标注采用「风险类型+风险等级+依据」三元结构:风险类型为枚举值,风险等级分高、中、低三档,依据必须指向具体文字片段的字符位置区间,不允许只给结论不给依据。合规判定结论为合规、不合规、需关注三值,判定依据同样要求指向条款文字与所对照的制度或标准条款编号。
八大核心要素完整性标注对标招标文件明示的八项:当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法。每一项标注三个字段:是否存在、所在条款位置、表述是否完整可执行。「存在但表述不完整」是本项目中出现频率最高的情形,典型如约定了交货期限但未约定交货地点、约定了违约责任但未约定计算基数,标注规范对这类情形单设取值并要求标注缺失的具体子项。
模板基线对照标注解决的是另一类业务需求:企业有自己的合同模板,实际签订的合同相对模板有哪些改动,是审查工作的重点。标注要求对照模板基线标注新增条款、删减条款与修改条款三类差异。标注作业前先确定基线:按合同类型(销售合同、采购合同、技术协议、框架协议)分别指定模板版本,标注时以该版本为基线逐条对照。修改条款进一步标注修改方向——对我方义务加重、减轻还是中性,这一标签是风险审查场景最直接需要的。
表 1-3 合同文本标注的标签集与判定口径
| 标签字段 | 粒度 | 取值域 | 判定口径 | 边界情形处置 |
|---|---|---|---|---|
| 条款类型 | 条款 | 引用本体合同类目枚举 | 按条款约定的核心义务归类,一条条款只归一类 | 跨两类的按主要义务归类并标注次类 |
| 风险类型 | 条款 | 枚举(权利义务不对等、履约条件不明、违约救济不足、争议解决不利、合规瑕疵等) | 须指向文字片段位置区间 | 无风险的标注「无」,不留空 |
| 风险等级 | 条款 | 高/中/低 | 按金额影响、履约可行性、救济难度三要素综合 | 要素之间冲突的提交仲裁 |
| 合规判定结论 | 条款 | 合规/不合规/需关注 | 须指明对照的制度或标准条款编号 | 对照依据缺失的标注「无法判定」并填原因码 |
| 八大核心要素·是否存在 | 文档 | 存在/缺失 | 以是否有可识别的约定文字为准 | 在附件中约定的计为存在并标注附件位置 |
| 八大核心要素·表述完整性 | 文档 | 完整/不完整/缺失 | 不完整须标注缺失子项 | — |
| 模板差异类型 | 条款 | 新增/删减/修改/一致 | 以指定模板版本为基线逐条对照 | 条款顺序调整但内容一致的计「一致」 |
| 修改方向 | 条款 | 我方义务加重/减轻/中性 | 仅对「修改」类条款标注 | — |
四五百套历史选型方案全部以文档形式散存,没有结构化库,这是本项目选型场景的主要数据困难。标注的任务是把每份方案里的选型关键要素及其与选型结果的对应关系标出来。
选型关键要素按招标文件列明的八类标注:输送能力、输送距离、倾角、煤层厚度、工作面条件、配套设备、可靠性要求、特殊定制要求。标注规范对每一类给出字段定义与单位:输送能力标注额定输送量与单位,输送距离标注铺设长度与是否含弯曲段,倾角标注范围与正负向,煤层厚度标注厚度区间与采高类型(超长、常规、大采高、薄煤层),工作面条件标注顶底板条件、瓦斯等级与涌水情况,配套设备标注采煤机、液压支架、破碎机的型号与关键接口参数,可靠性要求标注设计寿命与可用率要求,特殊定制要求以自由文本加分类标签记录。
选型结果标注整机机型、槽宽档位、动力部功率、链条链环直径、减速器配置与关键部件配置六项。在要素与结果之间标注对应关系标签,这是本任务区别于一般信息抽取的地方:标注员需要判定并标注「哪些要素是决定这一项配置的主导要素」,例如链条链环直径的主导要素通常是输送能力与输送距离的组合而非倾角单项。这一标签使数据集能够支撑选型场景的推荐理由生成,而不只是输入输出映射。
接口参数一类要素在历史资料中常常没有规范留痕——截深、截高、推移步距是矿方与各设备厂家会商后确定的,往往只存在于交流过程中。标注规范对此设「来源可信度」字段,取值为方案正文明示、附件推算、专家补充确认、不可得四档。标注为「专家补充确认」的样本在元数据中标明补充人工号与确认日期;标注为「不可得」的样本仍进入数据集,但在数据卡的局限性说明中计入覆盖不足项,不以推测值填充。
此外标注方案的实际使用效果分级,这是选型场景闭环优化的线索来源。效果分级取值为投运良好、投运中有调整、投运有问题、未投运或无反馈四档,依据为售后服务与备件管理系统的服务工单、远程运维平台的事件记录与业务专家的确认意见。无反馈的样本不参与偏好对齐子集的优劣判定。
这类数据是结构化业务数据,标注的任务是在其上标注需求预测标签与库存决策标签。
需求预测标签的标注方式是在历史时点上回看:对某一物料在某一时点标注其后续真实需求量,以及该时点可获得的信息(商机、销售预测、需求计划、在库、在途、项目占用),构成「可得信息—真实需求」的监督样本对。标注的难点不在取数而在时点口径:商机与销售预测、企业资源计划的需求计划、仓储管理的实物库存三者的数据时点必须统一,否则样本会携带未来信息。标注规范规定以自然月末日 24 时为统一时点,跨时点数据按最近快照取值并记录快照时间,无法对齐到同一时点的物料不进入该批次。
库存决策标签标注的是「在当时的条件下应当采取什么动作」,取值为正常补货、分批锁定、提前锁定、暂缓采购、寻找替代、呆滞处置六类。标注依据是物料分层结果(按周转性、时效性、单价、专用程度与缺料代价分层)与当期的保交付红线与资金上限约束。
由于历史上并不存在明确的「应当动作」记录,这一标签由业务专家回溯判定,标注规范要求同一样本由两名专家独立判定,不一致的进入仲裁,并在元数据中标明该标签为专家回溯判定而非历史事实记录。该标识决定子集用途:这类样本在验证环节只用于评估模型与专家判断的一致性,不作为客观真值计算绝对准确率。
表 1-4 供需计划域标注产出与支撑场景的对应
| 标注对象 | 主要标签 | 产出样本形态 | 支撑的验证场景 |
|---|---|---|---|
| 招投标文件与合同文本 | 条款类型、风险点、合规判定、八大核心要素完整性、模板差异 | 条款级标注样本、文档级要素完整性样本、差异对照样本 | 合同合规审查智能助手 |
| 历史选型方案 | 八类选型关键要素、六项选型结果、要素—结果对应关系、效果分级 | 要素—结果配对样本、推荐理由样本 | 产品智能选型 |
| 订单、库存与排产数据 | 需求预测标签、库存决策标签、物料分层 | 可得信息—真实需求样本对、决策动作样本 | 库存控制智能化 |
本域各标签的易混淆边界、正反例与仲裁依据按表 1-4A 执行。表中「典型误标」即 1.2.2 节标注规范要求的反例,随规范一并发布并抽取进入黄金集;「抽检重点」为 1.9.1 节常规抽检比例之外另行全检或加抽的范围,「返工触发」为该字段单独触发批次返工的条件。
表 1-4A 供需计划域标注的易混淆边界、正反例与仲裁口径
| 标签字段 | 易混淆边界的划法 | 正例 | 典型误标(反例) | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 |
|---|---|---|---|---|---|
| 条款类型 | 按条款实际约定的核心义务归类,不按条款标题归类;标题与正文指向不同的以正文为准,标题记入备注 | 标题为「质量保证」而正文约定检验与验收方法的,归检验验收类,次类记质量保证 | 按标题归类,把正文约定付款节点的条款归入质量类 | 以该条款被违反时受损的权利与可主张的救济为准;两人各自指向不同义务句的,由合同专业专家裁定主要义务 | 标题与正文不一致的条款全检;该字段抽检合格率低于 90% 即批次返工 |
| 风险等级 | 高与中的分界在于单一要素是否足以导致履约不能或救济落空;金额影响、履约可行性、救济难度三要素中任一达到该程度即为高 | 违约责任未约定计算基数且赔偿上不封顶的,计高 | 因条款措辞生硬或语气强硬即判高 | 三要素逐项评定后取最高项;评定不一致的由合同与业务两方专家会签定档 | 判「高」的条款全检;高风险误判率超规范给定线即批次返工 |
| 八大核心要素·表述完整性 | 「缺失」指无任何可识别的约定文字;「不完整」指有约定但缺少使其可执行的子项 | 约定交货期限而未约定交货地点的,计「不完整」并标缺失子项「交货地点」 | 把已在附件中约定的要素计为「缺失」 | 以该要素能否据以主张履行或违约为准;附件约定的计为存在并标附件位置 | 计「缺失」的要素项全检;缺失项误判率超线即批次返工 |
| 模板差异类型 | 措辞变化而义务主体、内容、数量或金额、时限四要素均未改变的计「一致」;任一要素改变的计「修改」 | 「乙方应于验收合格后三十日内支付」改为「验收合格后 30 日内由乙方支付」,计一致 | 把条款顺序调整或编号变化计为「修改」 | 逐项比对义务四要素,有一项不同即判修改;分歧条款由合同专业裁定 | 计「一致」的条款按 10% 复核;同一模板版本下差异判定分歧超过三处即全批复核 |
| 选型要素·来源可信度 | 「附件推算」指依方案附件数据按公式算得;「专家补充确认」指方案正文与附件均无记载、由专家凭经验给出 | 截深在正文与附件均未载、由专家依同类项目给出的,计专家补充确认并记工号与确认日期 | 把附件中可直接查得的数值标为专家补充确认 | 以是否存在可指向的原文位置为准:存在原文位置的一律不得标为专家补充确认 | 标为「专家补充确认」的字段全检;该档误标率超线即批次返工 |
| 历史方案效果分级 | 「投运中有调整」指投运后在参数或配套上做过调整而未发生停机、返修或索赔;「投运有问题」指三者之一发生过 | 投运后更换过链条规格、未发生停机的,计投运中有调整 | 以用户口头反馈的好坏直接定级 | 以服务工单与远程运维平台事件记录为准;两类记录冲突的以服务工单为准并记录差异 | 计「投运有问题」的样本全检;无工单或事件记录支撑的定级超过批次 5% 即返工 |
| 库存决策标签 | 「提前锁定」用于需求尚未最终确定即先行锁定产能或物料;「分批锁定」用于需求已确定、按批次释放 | 长周期减速器在中标后、技术协议签订前先锁定产能的,计提前锁定 | 把常规件的例行补货计为提前锁定 | 由供应链专业专家按当期保交付红线与资金上限复算;两名专家不一致的进入仲裁并在样本中保留双方意见 | 按 1.9.1 节判断档比例抽检,两名专家判定不一致的样本全检;仲裁后仍不一致比例超线即返工 |
| 需求预测样本的时点口径 | 各源数据统一取自然月末日 24 时快照;无法对齐到同一时点的物料不进入该批次 | 以某年 6 月 30 日 24 时的在库、在途与需求计划快照构成一条样本 | 以当日最新库存搭配上月末需求计划,样本携带未来信息 | 以各源系统的快照时间戳为准;无快照记录的样本剔除,不以人工推断补齐 | 全批次自动校验快照时间戳一致性,人工复核剔除清单;时点不一致样本比例超过 1% 即批次返工 |
产品工艺设计域是本项目标注工作量最集中的部分:63 万张历史图纸与与之成对的工艺卡片,需要标注出「图纸—特征—工序—卡片—参数」的全链路对应关系。
图纸标注分几何层与工艺层两个层次。几何层标注的是图上画了什么,工艺层标注的是这些几何要素意味着什么加工动作。两层的标注者、标注方式与质检方式都不同,必须分开组织。
几何层标注图元、尺寸标注、技术要求、标题栏与明细栏字段、零件特征。由于本项目直接读取原生 CAD 图纸文件而不依赖截图识别,图元、图层、线型与尺寸标注在解析阶段即可获得结构化结果,几何层标注的实际工作是核对与补齐:核对解析结果与图面是否一致,补齐解析不出的视图投影对应关系(哪个视图是主视图、哪些视图是同一特征的不同投影)。标题栏与明细栏字段按企业图纸模板的字段位置抽取后人工核对,重点核对材料牌号、板厚、图号、版次四项——这四项错了,后续全链路都错。
工艺层标注加工特征。招标文件列明的特征包括阵列特征的数量、位置与尺寸,折弯特征与折弯线补偿尺寸,共料、天窗与工艺孔。这些特征的判定需要工艺判断:一组孔是不是阵列特征、天窗是出于减重还是出于工艺需要、两个零件之间能不能共料,都不是几何规则可以单独决定的。标注规范对每类特征给出判定准则与边界情形,并要求标注依据指向图面位置。
表 1-5 图纸标注的标签集与粒度
| 层次 | 标签字段 | 粒度 | 取值域或格式 | 判定要点 |
|---|---|---|---|---|
| 几何层 | 图元 | 图元 | 类型枚举+几何参数 | 以解析结果为基础人工核对 |
| 几何层 | 尺寸标注 | 标注实体 | 数值+公差+基准 | 核对关联的几何要素是否正确 |
| 几何层 | 技术要求 | 文本块 | 结构化字段+原文 | 识别粗糙度、坡口、倒角、公差所指的作用表面范围 |
| 几何层 | 标题栏字段 | 图纸 | 图号、名称、材料牌号、板厚、数量、版次、签署 | 材料牌号与板厚为关键字段,双人核对 |
| 几何层 | 明细栏字段 | 行 | 序号、代号、名称、数量、材料、备注 | 与产品结构数据对照 |
| 几何层 | 视图投影关系 | 视图组 | 主视图标识+投影对应 | 解析不出,人工标注 |
| 工艺层 | 零件特征 | 特征实例 | 特征类型枚举+所在图面位置 | 引用本体工件品类与特征类目 |
| 工艺层 | 阵列特征 | 特征实例 | 数量+位置坐标集+单元尺寸 | 规则排布但工艺上不同批加工的不计阵列 |
| 工艺层 | 折弯特征 | 特征实例 | 折弯线位置+角度+内弯半径+补偿尺寸 | 补偿尺寸按中性层公式核算,与标注值不符的标注差异 |
| 工艺层 | 共料标识 | 零件对 | 可共料/不可共料+共料方式 | 须同材料牌号、同板厚,且轮廓可嵌套 |
| 工艺层 | 天窗与工艺孔 | 特征实例 | 类型+用途(减重/装配/工艺/排屑) | 用途判定需工艺判断,不可由几何推定 |
工艺卡片标注工序序列、工艺参数与工装要求。备料分厂的工序集合是封闭的,当前掌握的口径为 28 道,以工艺部门确认的正式工序字典为准。标注时工序取值只能从该字典中选,这使工序标签天然具备封闭取值域,一致性相对容易保证;真正的标注难点在工序序列的顺序关系与前后依赖——同样几道工序,顺序不同则工艺不同,标注必须保留顺序并标注哪些顺序关系是强制依赖、哪些是可调的。
工艺参数按工序类型标注:下料工序标注切割方式、切割速度、割缝补偿;压弯工序标注压模号、折弯顺序、展开长;制孔工序标注孔径、孔位公差、加工方式。工装要求标注设备编码、压模号与样板号,取值与设备资源库对齐。
全链路对应是本小节的核心产出。对应关系按「图纸→特征→工序→卡片行→参数」逐级建立,每一级的对应关系都是一条显式标签而不是推断结果。建立方式是:标注员在图纸上选中一个特征,在卡片上选中一行工序,建立二者的对应边,并标注这条边的类型(该工序为加工该特征而设/该工序为该特征的前置准备/该工序服务于多个特征)。一张图纸对应的卡片通常有十余行工序,特征数十个,对应边的数量在数十条量级,这是工艺层标注工时的主要去向。
图 1-3 「图纸—特征—工序—卡片—参数」全链路标注的对应关系与产出形态。数据来源:招标文件 3.2.6.3.5 第(2)项与 3.2.6.5.1.2 板材备料工艺智能设计场景要求(节);工序道数口径见 1.5.2 节。
每张图纸历史上都配有一张已审核签发的工艺卡片,这是本项目最有价值的存量资产。但「成对」不等于「可直接用」,有三件事必须先做:配对关系确认、版次对齐与质量分级。
配对关系确认解决的是配对信息存在于人的记忆与文件目录中的问题。确认方式是以图号与版次为键在产品全生命周期管理系统与工艺文件库中建立配对候选,由工艺人员确认;图号相同但版次不同的按版次就近配对并标注版次差异;无法确认配对的图纸不进入全链路标注批次,单独入库作为图纸单模态样本使用。
版次对齐解决的是图纸改版而卡片未同步改版的情形。标注规范要求对每一对样本标注「图纸版次—卡片版次是否一致」,不一致的标注差异原因(图纸升版未改工艺/工艺升版未改图/记录缺失),这类样本不进入基准评测子集。
质量分级解决的是历史卡片本身的质量参差。分级依据三项:卡片字段完整度、是否经过审核签发、是否有实际投产记录。三项俱全的为 A 级,可进入基准评测子集作为标准答案来源;缺投产记录的为 B 级,进入指令微调子集;字段不完整或未审核签发的为 C 级,仅进入预训练子集的文本语料,不作为监督信号。
这一分级口径同时回答了一个覆盖度问题:63 万张图纸中约七八成属于可借用、可对照的既有零件,意味着特征与工序的组合存在大量重复。标注计划按特征组合去重后分层抽样,优先标注特征组合覆盖度高的样本,对重复组合按比例抽样而非全量标注,使标注工时投向边际信息量最大的样本。抽样比例、覆盖度统计与剩余未标注样本的处置在批次台账中记录。
本域各标签的易混淆边界、正反例与仲裁依据按表 1-5A 执行。表中「典型误标」即 1.2.2 节标注规范要求的反例,随规范一并发布并抽取进入黄金集;「抽检重点」为 1.9.1 节常规抽检比例之外另行全检或加抽的范围,「返工触发」为该字段单独触发批次返工的条件。
表 1-5A 产品工艺设计域标注的易混淆边界、正反例与仲裁口径
| 标签字段 | 易混淆边界的划法 | 正例 | 典型误标(反例) | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 |
|---|---|---|---|---|---|
| 阵列特征 | 几何上规则排布、且工艺上一次装夹按同一程序连续加工的计阵列;规则排布但分属不同工序或不同装夹的不计 | 同一板面等距分布、一次装夹连续钻削的十二个同径螺栓孔,计阵列并标数量、位置坐标集与单元尺寸 | 把两端对称分布但分属折弯前后两道工序加工的孔组合并计为一个阵列 | 由工艺专家按加工程序是否连续、装夹是否同一裁定 | 阵列实例数两个以上的图纸全检单元尺寸与坐标集;阵列误标率超线即批次返工 |
| 天窗与工艺孔·用途 | 用途按设计意图判定,不由孔形与尺寸推定;设计意图无记载的取「无法判定」并填原因码 | 腹板上为减重开设的大圆孔,依设计说明计减重 | 按孔径大小一律把大孔判减重、小孔判工艺 | 以图纸技术要求、同族零件历史卡片、设计说明为序取证;均不可得的保留「无法判定」 | 用途标「工艺」的实例全检;用途误判率超线或「无法判定」未填原因码即批次返工 |
| 共料标识 | 须同时满足同材料牌号、同板厚、轮廓在标准板幅内可嵌套三条;任一不满足即判不可共料 | 同牌号、板厚同为 20 mm 且轮廓互补的两件压板,判可共料并标共料方式 | 仅因两件外形相近即判可共料,忽略板厚不同 | 由排料工艺专家按标准板幅复核嵌套可行性 | 判「可共料」的零件对全检材料牌号与板厚;出现牌号或板厚不一致的误判即批次退回 |
| 折弯补偿尺寸 | 图面标注值与按中性层公式核算值不一致时,标注差异并记录核算参数,不改写图面标注值 | 图面标注展开长 1 242、核算 1 238,标差异 +4 并记板厚、内弯半径与折弯角 | 按核算值覆盖图面标注值 | 以图纸版次与工艺卡片的实际投产记录为准;仍不一致的提交工艺部门定案 | 差异绝对值超规范给定容限的全检;核算参数缺失比例超线即批次返工 |
| 视图投影关系 | 主视图以标题栏方位与最能反映形状特征的视图为准;两者冲突的以技术要求与加工基准为准 | 标题栏方位与形状特征一致时直接取为主视图,其余视图按投影方向连边 | 把局部放大图标为独立视图并单独建立投影关系 | 由制图专业按投影法与加工基准裁定 | 含三个以上视图的图纸按 20% 抽检;投影关系错误导致特征归属错位的即批次退回 |
| 工序对应边类型 | 「为加工该特征而设」指该工序直接形成或去除该特征;「前置准备」指为后续加工创造条件而不直接形成该特征;「服务于多个特征」指一次作业同时处理两个以上特征 | 制孔工序与其所钻孔特征连「为加工该特征而设」边,其前的划线工序连「前置准备」边 | 把下料工序对该图全部特征逐一连边 | 以工序的加工对象描述与工装要求为准;分歧由工艺专家裁定 | 对应边数显著偏离同类图纸均值的样本全检;对应边缺失或冗余比例超线即批次返工 |
| 工序顺序·依赖性质 | 「强制依赖」指顺序颠倒导致工艺不可行或质量不合格;「可调」指顺序改变不影响加工结果 | 先制孔后折弯与先折弯后制孔对孔位精度影响显著的,判强制依赖 | 把车间的习惯作业顺序一律判为强制依赖 | 以工艺规程的禁止条件与历史返修记录为准 | 判「可调」的顺序对按 10% 复核;强制依赖漏标即批次退回 |
| 卡片质量分级 | 字段完整度、审核签发、投产记录三项分别判定,三项俱全为 A、缺投产记录为 B、字段不完整或未签发为 C,三项之间不互相折抵 | 字段完整、经审核签发、有投产记录的卡片判 A,可进基准评测子集 | 以卡片填写工整、版面规范判为 A | 以工艺文件库的签发记录与制造执行记录为准 | 判 A 级的样本全检(直接决定基准评测子集来源);出现 A 级误判即该批次全部 A 级样本复核 |
制造过程域的标注对象有两类形态:时序片段与图像。两类形态的标注方式差别很大,但都要解决同一个困难——把过程数据与物理工件、工艺事件对应起来。
时序片段标注工艺阶段、参数偏差与异常事件三组标签。
工艺阶段标注的是这一段曲线处于工艺程序的哪个阶段。热处理按升温、保温、冷却、返热四个阶段标注,焊接按起弧、稳定焊接、摆动、收弧与中断五个阶段标注。阶段边界的判定不能单靠参数阈值:装炉量不同时升温段的斜率差别很大,同一条曲线上保温段与升温段的分界点需要结合设定程序与实际工况判断。标注规范规定以设定程序的阶段切换时点为第一依据,以实际温度达到设定值并稳定为第二依据,两者差异超过规范给定容限的标注为「阶段切换异常」并作为异常事件记录。
参数偏差标注的是实际值相对设定程序的偏离。标注三个字段:偏差维度(温度、功率、频率、电流、电压、淬火液流量、淬火液温度、淬火液浓度、感应器间隙、焊接速度、送丝速度、保护气体流量、焊枪摆动振幅与频率、焊枪停留时间等)、偏差方向与偏差幅度。幅度按规范给定的分档标注而不标注原始数值差,原因是原始差值在样本流通中可能涉及工艺参数敏感信息,分档标注既保留了训练所需的信息量,也降低了敏感度。分档口径随业务域统一,在标注规范中明确。
异常事件标注的是在这一片段中发生了什么值得记录的事。取值引用本体中的故障模式与异常事件类目,包括阶段切换异常、参数越限、参数振荡、传感器疑似失效、设备报警、人工干预、作业中断等。每个异常事件标注起止时间、涉及测点与严重程度,并在可能时标注与质量结果的关联——这一关联标签是热处理场景与焊接场景最需要的信息,也是最难标的,因为它要求标注员能够把这一炉的曲线异常与后续的硬度检验、切片结果对应起来。
设备运行时序的工况标注按招标文件列明的六类标注:启停、空载、正常运输、重载、过载、堵转。这六类工况的判定对刮板输送装备健康诊断场景是前提性的——不先分段,基线就无法建立。标注的难点在于三机联动的耦合干扰:刮板输送机被液压支架推移、被采煤机在机身上行走,在役监测信号中含有大量来自其他设备的耦合干扰。标注规范要求对每个时间窗额外标注「是否存在耦合干扰」与「干扰来源判断」,标注为存在耦合干扰的窗口在基线计算中单列,不与纯工况窗口混算。
故障模式、劣化阶段与根因判定三组标签解决的是「报警不少、故障标签很少」的问题。标注方式是以报警时间窗为锚点向前后扩展,调取同期的维修工单、派工记录与备件出库流水,由专业人员判定本次报警对应的故障模式、当时处于哪一劣化阶段(正常、早期劣化、明显劣化、功能失效四档)与根因。
关键口径是:维修事实缺失的报警不标注故障模式,标注为「未闭环报警」,这类样本用于训练报警归并与去噪能力,不用于训练故障诊断能力。两类用途在样本元数据中区分,避免未验证的报警被当作故障真值。
表 1-6 时序片段标注的窗口口径与标签集
| 对象 | 切分方式 | 窗口长度口径 | 主要标签 | 元数据要求 |
|---|---|---|---|---|
| 热处理炉次曲线 | 按炉次工单与开完工记录锚定,内部按工艺阶段切分 | 整炉次为一条主样本,阶段段为子样本 | 工艺阶段、参数偏差、异常事件、与质量结果关联 | 炉次号、装炉工件清单、材料批次、码装方式、装炉量、设定程序版本 |
| 焊接参数流 | 按起弧与收弧事件锚定,一道焊缝为一个基本单元 | 一道一档,长焊缝按段细分 | 工艺阶段、参数偏差、异常事件、焊道标识 | 工件标识、焊道编号、焊丝牌号与直径、预热与层间温度、焊接位置 |
| 设备运行时序(在役装备) | 按运行工况变化点与报警事件锚定切分 | 常态窗口 10 分钟量级,事件窗口按事件前后扩展 | 六类运行工况、耦合干扰标识、故障模式、劣化阶段、根因 | 设备编号、测点配置、采样周期、同期工单与备件记录 |
| 设备运行时序(产线设备) | 按启停与报警代码锚定切分 | 按作业批次 | 运行工况、设备报警代码、人工干预 | 设备编码、报警代码字典版本 |
时间窗长度的具体取值在首批试标后按实测标定。标定方式是:对同一段数据按三种候选窗长分别标注,比较标注一致性与下游训练效果,取一致性与效果综合最优的窗长作为该对象的标准窗长,并在标注规范中固化。这一标定过程的记录进入数据集卡片的建设过程说明。
图像标注的任务是标注焊接缺陷类型与位置。缺陷类型引用本体中的十类焊接缺陷:热裂纹、冷裂纹、偏焊、咬边、夹渣、烧穿、未熔合、未焊透、气孔、焊瘤。位置以多边形或矩形框标注,标注规范按缺陷类型指定框型——线状缺陷(裂纹、未熔合、未焊透)用折线加宽度,面状与点状缺陷(气孔、夹渣、焊瘤、咬边、烧穿)用多边形或矩形。
表面图像的标注范围有一条硬边界:熔池图像与焊后焊道表面图像所能观察到的是表面形貌,未熔合、未焊透一类内部缺陷在表面图像上通常不可见。标注规范因此规定表面图像上的缺陷标注只针对表面可观察缺陷;内部缺陷的标签来源于无损检测结果,以检测报告为依据,通过工件标识与焊道编号关联到图像样本,在样本中以「关联检测结论」字段记录而不作为图像上的标注框。这一分离避免了让图像数据集携带不可由图像推出的标签,否则在验证环节会表现为模型学到了伪关联。
缺陷等级标注依据企业检验标准与相关行业标准的判定条款,取值为合格、轻微超标、严重超标三档,并记录所依据的标准条款编号。等级判定由检验岗位人员承担,不由图像标注员判定。
熔池图像的标注另有一层特殊性:熔池形貌与焊接参数之间的关系是焊接场景最关心的,但熔池图像上并不直接呈现缺陷,它呈现的是过程状态。标注规范对熔池图像设独立标签集:熔池形态(正常、偏移、过宽、过窄、不稳定)、熔池边界清晰度、飞溅程度,并与同时刻的焊接参数流建立时间对齐标注。这组样本支撑焊接过程控制智能监控场景的过程判别能力。
工件外观图像标注烧伤、裂纹等热处理外观缺陷,并关联硬度指标、切片结果与淬火层深。
缺陷标注与焊道图像同法:类型引用本体两类热处理外观缺陷,位置以多边形标注,等级由检验岗位判定。真正的工作量在关联标注。一个工件的外观图像、硬度检验记录、切片结果与淬火层深测量结果分散在质量管理系统、实验室记录与纸质检测报告中,纸质检测报告数量可观但尚未数字化。关联标注的作业顺序是:先以工件标识为键建立关联候选,再由质量人员确认;纸质报告先经扫描与结构化录入后进入关联,录入过程的质量按双录比对控制,比对不一致的条目进入人工裁定。
关联标注的产出是一条「工件—外观图像—硬度指标—切片结果—淬火层深—质检结论」的复合样本。这条样本同时服务于制造过程数据集与产品质量数据集,在两个数据集中以同一工件标识关联而不复制内容,避免同一事实在两个数据集中出现口径不一致的两份副本。
表 1-7 制造过程域图像标注的标签集与标签来源
| 图像类型 | 图像上标注的标签 | 不在图像上标注、由外部关联的标签 | 标签来源 |
|---|---|---|---|
| 熔池图像 | 熔池形态、边界清晰度、飞溅程度 | 同时刻焊接参数、本道焊缝检测结论 | 参数流对齐、无损检测报告 |
| 焊后焊道表面图像 | 表面可观察缺陷类型与位置、缺陷等级 | 内部缺陷结论、力学性能结果 | 无损检测报告、检验记录 |
| 工件外观图像(热处理后) | 烧伤、裂纹的类型、位置与等级 | 硬度指标、淬火区域均匀性、切片结果、淬火层深 | 质量管理系统、实验室记录、纸质报告数字化结果 |
本域标注的产出按招标文件要求组织为两种形态:「时序片段—事件—诊断说明」与「图像—缺陷—判定」。
「时序片段—事件—诊断说明」样本的三段分别是:一段带测点与采样周期说明的时序数据、一组标注出的事件、一段以自然语言写成的诊断说明。诊断说明不是自由评论,它按固定结构撰写:现象描述、涉及测点与偏离方向、判定的故障模式与劣化阶段、根因、建议处置与检查顺序、证据等级。证据等级一栏明确本条诊断的依据强度(有维修事实闭环、有同类历史案例、仅有参数证据三档),这一字段使数据集在验证环节可以按证据等级分层评估,也使下游场景能够按证据等级决定输出的确信程度。
「图像—缺陷—判定」样本的三段分别是:图像与其采集条件说明、标注出的缺陷框与类型、判定结论与依据标准条款。采集条件说明包含相机位置、光照条件、分辨率与采集时点,这一信息在增强环节决定哪些几何与光照变换是合理的,在验证环节决定评测结果的适用范围。
本域各标签的易混淆边界、正反例与仲裁依据按表 1-7A 执行。表中「典型误标」即 1.2.2 节标注规范要求的反例,随规范一并发布并抽取进入黄金集;「抽检重点」为 1.9.1 节常规抽检比例之外另行全检或加抽的范围,「返工触发」为该字段单独触发批次返工的条件。
表 1-7A 制造过程域标注的易混淆边界、正反例与仲裁口径
| 标签字段 | 易混淆边界的划法 | 正例 | 典型误标(反例) | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 |
|---|---|---|---|---|---|
| 工艺阶段边界(升温与保温) | 以设定程序的阶段切换时点为第一依据,实际温度达到设定值并稳定为第二依据;两者差异超容限的另记「阶段切换异常」 | 设定保温温度下实测到达并持续波动在设定容限内的,按设定切换时点划界,另记实测到达时刻 | 仅以温度曲线斜率拐点自行划界,不查设定程序版本 | 由热处理专业专家按设定程序版本与装炉量裁定 | 装炉量超出常规范围的炉次全检;阶段边界偏差超容限的样本比例超线即批次返工 |
| 异常事件:参数越限与参数振荡 | 越限指参数超出设定容限带;振荡指在容限带内反复穿越设定值且频次超过规范给定线 | 温度在容限带内每分钟多次穿越设定值且持续数分钟的,标参数振荡 | 把单次尖峰或一次过冲计为振荡 | 按该测点的采样周期与滤波口径复算后裁定 | 同一片段同时标越限与振荡的全检;两类混标率超线即批次返工 |
| 运行工况:重载与过载 | 以额定负载为基准,持续处于额定以上而未触发保护的计重载;超过保护整定值或已触发保护的计过载 | 负载持续高于额定、保护未动作的连续窗口,标重载 | 以电流单点峰值直接判过载 | 以设备铭牌额定值与保护整定值为准;铭牌不可得的由设备专业给出基准并记录来源 | 判过载的窗口全检;过载误判率超线即批次返工 |
| 耦合干扰标识 | 窗口内有采煤机行走或液压支架推移的事件记录,且信号呈现与该事件同步的特征的,标存在耦合干扰并标来源;仅有事件记录而信号无对应特征的不标 | 推移事件时间段内振动信号出现同步冲击的窗口,标存在耦合干扰、来源为支架推移 | 把全部重载窗口一律标为存在耦合干扰 | 以三机联动的事件时间戳与信号互相关结果为准 | 标存在耦合干扰的窗口按 20% 复核;基线计算窗口中混入耦合窗口即批次退回 |
| 劣化阶段 | 早期劣化指特征量偏离基线但在报警阈值内;明显劣化指达到或超过报警阈值而功能尚存;功能失效指丧失规定功能 | 特征量已越报警阈值、设备仍在运转且当班完成生产任务的,标明显劣化 | 以报警次数多少直接定劣化阶段 | 以维修工单记载的实际处置与更换件状态为准;维修事实缺失的不定阶段 | 判「明显劣化」的样本全检;无维修事实支撑的阶段判定出现即批次退回 |
| 故障模式与未闭环报警 | 维修工单、派工记录、备件出库流水任一可构成闭环证据的,标故障模式;三者皆无的标「未闭环报警」,不标故障模式 | 报警时间窗后有派工与备件出库记录的,按处置内容标对应故障模式并引用凭证编号 | 按报警代码字典直接映射为故障模式 | 以可追溯的处置凭证为唯一依据,不由经验补判 | 标故障模式的样本全检凭证引用;出现无凭证的故障模式标注即批次退回 |
| 熔池形态:过宽与不稳定 | 过宽指熔池宽度持续超出该工艺窗口上限;不稳定指宽度或边界在相邻帧间反复变化且幅度超线 | 连续帧序列中宽度持续高于上限而波动不大的,标过宽 | 把单帧飞溅遮挡造成的边界模糊判为不稳定 | 由焊接专业按连续帧序列而非单帧复核 | 同时标过宽与不稳定的样本全检;两类混标率超线即批次返工 |
| 表面可观察缺陷与内部缺陷 | 图像上只标表面可观察缺陷;未熔合、未焊透等内部缺陷不在图像上标框,由无损检测结论经工件标识与焊道编号关联写入「关联检测结论」字段 | 焊道表面咬边标多边形框,同件的未焊透结论写入关联检测结论字段 | 依表面凹陷推断未熔合并在图像上标注缺陷框 | 以无损检测报告为准,图像标注不得推翻或补充检测结论 | 标注含线状缺陷的图像全检;图像上出现内部缺陷标框即整批退回 |
| 咬边与偏焊 | 咬边为母材侧沟槽状缺口,偏焊为焊缝中心线相对坡口中心线偏移;两者可并存,分别标注 | 焊缝整体偏向一侧且该侧母材有连续沟槽的,同时标偏焊与咬边 | 把偏焊造成的一侧母材边缘缺口统标为咬边 | 以坡口中心线位置与缺陷所在侧为准 | 咬边样本按 20% 复核;两类混标率超线即批次返工 |
本域标注三类对象:各环节检验记录、工件外观缺陷图像,以及质量结果与关键工艺参数的关联关系。
检验记录标注检验项、判定结论与不合格类型。检验记录覆盖进厂检验、制程检验、出厂检验与成品检验四个环节,各环节的检验项目字典不同,标注时引用本体中的质量特性与检验项类目,并按环节区分。判定结论取值为合格、不合格、让步接收、复检合格四类——「让步接收」与「复检合格」在企业实际业务中占一定比例,若简化为二值会丢失重要信息,故单设取值。
不合格类型按企业不合格品分类标准标注,并标注处置方式(返修、返工、报废、让步接收)与处置依据票据编号。质量管理系统新上线且正在推行,缺陷描述为文字且未与工艺参数关联,因此检验记录的文字描述需要先做结构化标注:从自由文本的缺陷描述中标注出缺陷部位、缺陷形态、缺陷尺寸与发现工序四个字段。
工件外观缺陷图像标注缺陷类型、位置与等级,标注方式与 1.6.3 节一致,不重复论述;两处的差别在于本域的标注更侧重缺陷等级与判定依据的严密,因为质量数据集要支撑智能质量检验与缺陷自动分类场景,判定结论的权威性要求更高。
关联关系标注是本域的重点。要标注的是淬火硬度、淬火区域均匀性、切片结果与质检结论同加热功率、加热温度、淬火液流量、冷却时间等关键工艺参数之间的关联关系。这一标注的实质是建立因果候选而不是断言因果:标注员标注的是「这一质量结果对应的是这一组工艺参数」的对应关系,以及「业务专家认为本次质量异常的主导参数是哪一项」的专家判断。两者在样本中分列两个字段,前者是事实对应,后者是专家意见,不混为一谈。
表 1-8 产品质量域关联标注的字段结构
| 字段 | 性质 | 取值 | 来源与判定 |
|---|---|---|---|
| 工件标识 | 事实 | 工件编号 | 质量管理系统与热处理炉次记录 |
| 工艺参数组 | 事实 | 加热功率、加热温度、淬火液温度与浓度与流量、感应器间隙、加热与冷却时间、返热温度 | 数据采集与监控系统、热处理群控系统 |
| 质量结果组 | 事实 | 淬火硬度、淬火区域位置与均匀性、切片结果、淬火层深、外观缺陷 | 检验记录、实验室记录、图像标注结果 |
| 对应关系置信度 | 事实判定 | 高/中/低 | 按关联键完整程度判定:工件标识与炉次俱全为高,经时间窗推断为中,仅同批次推断为低 |
| 主导参数判断 | 专家意见 | 参数项枚举+无法判定 | 两名业务专家独立判定,不一致进入仲裁 |
| 判断依据 | 专家意见 | 结构化文本+对照的历史批次编号 | 要求给出可比历史批次作为对照 |
| 质检结论 | 事实 | 合格/不合格/让步接收/复检合格 | 检验记录 |
对应关系置信度为「低」的样本不进入基准评测子集,可进入预训练子集与指令微调子集,并在数据卡中说明其占比。这一处置口径与 1.4.2 节选型要素「来源可信度」字段的处置口径一致:不可得或低可信度的信息如实标明,不以推测值填充,不同可信度的样本按子集用途分流。
本域各标签的易混淆边界、正反例与仲裁依据按表 1-8A 执行;表中「典型误标」随标注规范一并发布并抽取进入黄金集。
表 1-8A 产品质量域标注的易混淆边界、正反例与仲裁口径
| 标签字段 | 易混淆边界的划法 | 正例 | 典型误标(反例) | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 |
|---|---|---|---|---|---|
| 判定结论:让步接收与复检合格 | 让步接收指判定不合格但经授权放行;复检合格指复检后判定为合格 | 不合格品经审批放行使用的,标让步接收并记审批票据编号 | 把复检后判合格的记为让步接收 | 以放行审批票据与复检报告为准,两者俱全时以复检报告的最终判定为准 | 这两类取值的样本全检票据引用;票据编号缺失比例超线即批次返工 |
| 不合格处置:返修与返工 | 返修指修复后不完全符合规定要求;返工指再加工后完全符合规定要求 | 补焊后重新检验完全合格的,标返工 | 把补焊后复检合格的一律记为返修 | 以复检后是否完全符合规定要求为准,依据复检记录 | 返修样本全检复检记录;两类混标率超线即批次返工 |
| 缺陷描述的结构化四字段 | 缺陷部位按本体部件层级取值不用自由文本;形态与尺寸分列;尺寸原文未载的留空并标「原文未载」,不估算 | 「法兰处有裂纹约 10 mm」拆为部位=法兰、形态=裂纹、尺寸=10 mm、发现工序=该票据所载工序 | 把整句描述填入形态字段,部位与尺寸留空 | 以原始不合格品票的文字为准;文字歧义的由质量专业裁定并记录裁定意见编号 | 含两处以上缺陷描述的记录全检;字段串填比例超线即批次返工 |
| 对应关系置信度 | 工件标识与炉次俱全为高;经时间窗推断为中;仅同批次推断为低 | 工件标识与炉次号均可查的关联样本判高 | 以同一天生产即判为高 | 以关联键的完整程度为唯一依据,不由专家经验上调档次 | 判「高」的样本全检关联键;关联键不全而判高的出现即批次退回 |
| 主导参数判断(专家意见) | 主导参数为对本次质量结果影响最大的单一参数项;证据不足时取「无法判定」,不取并列值 | 同炉次中仅冷却时间偏离设定且硬度同向偏离的,主导参数取冷却时间并给出对照批次号 | 把本次全部偏离参数都填入主导参数字段 | 两名专家独立判定,不一致的提交第三方专家会签;仍不一致的在样本中并列记录双方意见与各自依据 | 按判断档比例抽检,两名专家判定不一致的样本全检;仲裁后仍不一致比例超线即批次返工 |
| 淬火区域均匀性 | 按检测点位间硬度极差与规定限值比较判定,不按外观色泽判定 | 各点位硬度极差在限值内的判均匀性合格,并记录点位数与极差值 | 以工件表面颜色深浅不均判为均匀性不合格 | 以硬度检验记录的点位数据为准 | 判不合格的样本全检点位数据;无点位数据支撑的判定出现即批次退回 |
本域标注的对象是自然语言提问,产出「问题—指标口径—取数逻辑—答案」四段样本,支撑决策数据智能问答场景。
标注的前提是指标知识库已登记指标口径。知识库覆盖人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量九个业务域,逐项登记指标名称、描述、业务限定、维度、统计周期(日/月/季/年)、统计范围、计量单位与计算逻辑。标注时严格依据指标知识库登记的口径,不允许标注员自行定义口径。同一业务说法在不同部门可能对应不同指标口径,标注员按自己理解取舍会把口径歧义固化进数据集;口径不明的提问标注「需澄清」并提交指标知识库确认后再标,不自行取舍。
对每个提问标注五组标签:对应的指标项(引用指标知识库的指标标识符)、业务限定、统计维度、统计周期、取数逻辑与标准答案。其中取数逻辑标注为结构化查询意图而非具体 SQL:标注事实表、过滤条件、聚合方式、分组维度与时间范围,使样本不绑定具体的数据库实现。标准答案标注为数值加单位加口径说明三段,口径说明一栏写明本答案所依据的指标版本与数据快照时点,这一栏使答案在数据更新后仍可核验。
本域标注的一个专门处置是口径歧义提问。实际业务中大量提问本身是不精确的,例如「这个月的产值」可能指产值完成额也可能指产值计划完成率。标注规范对这类提问要求标注「需澄清」标识与澄清选项清单,并产出澄清式对话样本:第一轮为用户提问,第二轮为澄清提问,第三轮为用户选择,第四轮为答案。这类样本对决策问答场景的实用性高于强行给出单一答案的样本。
表 1-9 经营决策域标注样本的四段结构与标注要求
| 段 | 内容 | 标注要求 | 质检要点 |
|---|---|---|---|
| 问题 | 自然语言提问 | 保留业务人员的真实说法,不改写为规范术语 | 提问须属九个业务域之一,跨域提问单列 |
| 指标口径 | 指标项、业务限定、统计维度、统计周期、统计范围、计量单位 | 引用指标知识库标识符与版本 | 与指标知识库逐字段核对一致 |
| 取数逻辑 | 事实表、过滤条件、聚合方式、分组维度、时间范围 | 结构化查询意图,不写具体 SQL | 按逻辑复算答案可复现 |
| 答案 | 数值+单位+口径说明(指标版本与数据快照时点) | 须可按取数逻辑复算 | 抽样复算,差异超容限的退回 |
本域各标签的易混淆边界、正反例与仲裁依据按表 1-9A 执行;表中「典型误标」随标注规范一并发布并抽取进入黄金集。
表 1-9A 经营决策域标注的易混淆边界、正反例与仲裁口径
| 标签字段 | 易混淆边界的划法 | 正例 | 典型误标(反例) | 多标注者冲突的仲裁依据 | 抽检重点与返工触发 |
|---|---|---|---|---|---|
| 指标项选择 | 同名异义指标按业务域与统计范围区分,取指标知识库中唯一的指标标识符;无法唯一确定的标「需澄清」 | 「产值」在提问含完成情况语境时映射到产值完成额,含达成率语境时映射到产值计划完成率 | 把全部「产值」提问统一映射到产值完成额 | 由该指标的口径归口部门确认,确认结论回灌指标知识库并升版 | 同名指标在两个以上业务域存在的提问全检;指标标识错误率超过 2% 即批次返工 |
| 业务限定与统计范围 | 业务限定描述口径内涵(如是否含委外),统计范围描述数据边界(如哪些组织、哪些产品线);两者分列不混填 | 「不含委外」填业务限定,「本部与两个分厂」填统计范围 | 把「不含委外」填入统计范围字段 | 按指标知识库的字段定义裁定 | 两字段任一为空的样本全检;串填比例超线即批次返工 |
| 统计周期 | 按提问中的时间表述取日、月、季、年;无时间表述的取知识库登记的默认周期并在口径说明中注明 | 「今年以来的产值」取年周期并在口径说明中标明为自年初至当期的累计口径 | 对「今年以来」取年周期而不标明累计口径 | 以指标登记的周期定义与累计口径为准 | 含「以来」「累计」「同比」「环比」表述的提问全检;周期误标率超线即批次返工 |
| 需澄清与可直接作答 | 提问映射到两个及以上指标标识符,或缺少必需的业务限定时标「需澄清」;其余可直接作答 | 「这个月的产值」映射到两个指标标识符,标需澄清并给出两项澄清选项 | 对口径唯一的提问也生成澄清轮次,产出冗余对话样本 | 以指标知识库的映射结果是否唯一为准 | 标「需澄清」的样本全检澄清选项清单;澄清选项与知识库取值不符的比例超线即批次返工 |
| 取数逻辑:过滤条件与分组维度 | 过滤条件约束参与计算的行,分组维度约束聚合粒度;两者不互填,且一律写为结构化查询意图而非具体 SQL | 「按分厂看本月产值」中分厂进分组维度、本月进时间范围 | 把分组维度写入过滤条件,导致答案按单一粒度返回 | 以按取数逻辑复算的答案与标准答案是否一致裁定 | 复算差异超容限的样本全检;复算不可复现的比例超线即批次返工 |
| 跨域提问 | 一条提问涉及两个及以上业务域指标的单列为跨域样本,不强行归入单一业务域 | 「本月质量损失对利润的影响」涉及质量与财务两域,单列为跨域样本 | 按提问中出现的第一个指标归域 | 按作答所需指标的归属域集合判定 | 跨域样本全检;误归域比例超线即批次返工 |
以知识本体定义的标签体系统一各业务域标注口径,按自检、抽检、仲裁三级校验与跨标注员一致性校验组织作业,产出带标注规范版本、标注人员与校验结论的标注样本及其质量记录。
三级校验按问题性质分层处置:格式与完整性问题在自检层解决,判定准确性问题在抽检层发现,判定分歧在仲裁层定案。三级的职责、方式与判定线如表 1-10。
表 1-10 三级校验的职责、方式与判定线
| 层级 | 执行者 | 检查内容 | 方式 | 判定线与处置 |
|---|---|---|---|---|
| 自检 | 标注员本人 | 必填字段完整性、取值域合规性、依据指向有效性、格式规范性 | 工具内校验规则自动触发+标注员逐条确认 | 自检未通过的样本不允许提交;自检通过率低于 95% 的标注员重新培训 |
| 抽检 | 我方质检岗 | 判定准确性、标注粒度一致性、边界情形处置是否按规范 | 按批次分层抽样,抽样比例随批次质量动态调整 | 抽检合格率低于规范给定阈值的,批次整体退回重标 |
| 仲裁 | 业务专家 | 抽检中发现的判定分歧、标注员提出的规范问题单 | 专家评议并出具仲裁意见,意见回灌标注规范 | 仲裁意见为规范修订依据;同类分歧三次以上的,修订规范并对受影响批次重标 |
抽检比例的动态调整口径是:新任务或新标注员上岗的首两个批次按 20% 抽检;连续三个批次抽检合格率达到阈值的降至 10%;出现批次退回的回升至 20% 并连续三批;同一标注员两次导致批次退回的转入全量复核直至重新通过黄金集考核。这一调整机制使抽检工时投向质量风险高的批次。
抽检合格率阈值按标注任务的客观程度分档设定:取值域封闭且判定准则明确的任务(工序选择、检验项、指标项、工况分类)阈值设为 95%;需要专业判断但有明确准则的任务(条款类型、缺陷类型、加工特征)设为 90%;依赖专家经验的任务(风险等级、根因判定、主导参数判断、库存决策标签)设为 85%,且这类任务的「合格」判定本身以仲裁结论为准而非以单一质检员意见为准。分档的理由是:对主观性强的任务设过高的一致率阈值会迫使标注员向保守取值收敛,反而损失信息量。
一致性校验回答的是「换一个人标会不会标成另一个样」。校验方式是在每个批次中设置重复标注样本:按批次规模的 5% 至 10% 抽取样本,交由两名及以上标注员独立标注,计算一致性指标。
一致性指标按标签类型选用:名义型标签(条款类型、缺陷类型、工况分类、故障模式)用 Cohen's Kappa 系数(两人)或 Fleiss' Kappa 系数(多人);有序型标签(风险等级、缺陷等级、劣化阶段)用加权 Kappa 系数;位置型标签(缺陷框、特征位置)用交并比(IoU)与配对召回;序列型标签(工序序列)用序列编辑距离的归一化相似度;数值型标签(参数偏差幅度分档、尺寸)用绝对差落入容限的比例。
表 1-11 一致性指标的选用与目标值
| 标签类型 | 典型标签 | 指标 | 目标值 | 低于目标值的处置 |
|---|---|---|---|---|
| 名义型 | 条款类型、缺陷类型、工况分类 | Kappa 系数 | 趋向 0.80 以上 | 0.60–0.80 加强培训并补充易混淆对照;低于 0.60 修订规范并重标 |
| 有序型 | 风险等级、缺陷等级、劣化阶段 | 加权 Kappa 系数 | 趋向 0.75 以上 | 同上,并复核分档边界定义 |
| 位置型 | 缺陷框、加工特征位置 | IoU 配对召回(IoU 阈值 0.5) | 趋向 0.85 以上 | 复核框型规定与标注粒度 |
| 序列型 | 工序序列 | 归一化编辑距离相似度 | 趋向 0.90 以上 | 复核强制依赖与可调顺序的界定 |
| 数值型 | 参数偏差分档、展开长 | 落入容限比例 | 趋向 0.95 以上 | 复核容限设定与计算口径 |
| 专家判断型 | 根因、主导参数、库存决策 | Kappa 系数(参考值) | 不设硬性目标,记录实测值 | 实测值写入数据卡局限性说明 |
表中目标值为我方对标注质量的内部管理目标,不是对甲方的交付承诺;首批试标完成后以实测值作为基线写入数据集卡片,后续版本以提升基线为目标。专家判断型标签不设硬性目标:专家之间的合理分歧是领域知识的一部分,强行压低分歧会把数据集收敛为单一专家的意见记录。这类标签保留分歧,在样本中并列记录各方取值与各自依据,由下游按需取用。
黄金集是一致性校验之外的另一道保障。黄金集由我方编制并保密维护,按标注任务组织,每个任务的黄金集包含 50 至 200 个由业务专家标定的样本,覆盖该任务的全部标签取值与主要边界情形。黄金集的用途有三:标注员上岗考核,通过率低于规范给定线的不得上岗;作业期间混入作业流的隐蔽考核,用于监测标注质量漂移;批次门控的客观依据,即标注批次的黄金集通过率作为门控指标之一。黄金集样本定期轮换,轮换比例与周期在标注规范中规定。
图 1-4 标注三级校验、一致性校验与黄金集的组织关系。数据来源:招标文件 3.2.6.3.5 第(6)项与 3.2.6.3.8 第(3)项。
每条标注样本随附的质量记录包含八个字段:标注规范版本号、标注工号、标注时点、自检结论、是否被抽检与抽检结论、是否为重复标注样本及其一致性计算参与情况、是否经仲裁及仲裁意见编号、所属批次号。质量记录与标签值一并封装进样本,不单独存放,这样样本在流通或抽取子集时质量信息不会丢失。
质量记录的汇总结果构成批次质量报告,按业务域、任务、标注员三个维度统计自检通过率、抽检合格率、一致性指标、黄金集通过率与返工轮次。批次质量报告是质检环节出具门控结论的输入,也是数据集卡片中建设过程说明的来源。
标注产出按用途子集组织:指令微调子集产出「指令—输入—响应」样本,人类偏好对齐子集产出同一指令下的优劣回答对,基准评测子集产出带标准答案与判分规则的评测题目。
同一份标注结果可以服务多个子集,但三类子集的样本形态不同,必须分别组织而不是简单导出。组织方式与质量要求如表 1-12。
表 1-12 四个用途子集的样本形态与组织方式
| 用途子集 | 样本形态 | 从标注结果到子集样本的组织方式 | 特有质量要求 |
|---|---|---|---|
| 预训练子集 | 长文本序列 | 标注结果中的结构化事实按模板转写为自然语言陈述,与预处理产出的长文本一并构成语料 | 去重与去噪;不引入标签泄漏到后续评测集的内容 |
| 有监督指令微调子集 | 指令—输入—响应 | 指令由任务模板生成,输入取标注对象,响应由标注标签与依据组织成自然语言回答 | 响应须包含依据而非仅结论;同一输入的多指令覆盖不同任务类型 |
| 人类偏好对齐子集 | 同一指令下的优劣回答对 | 以标注结论为优,以典型误标、规范列出的误判情形、低质量历史记录为劣,构成成对样本 | 优劣差异须可归因到一条明确的判定准则;不构造无意义的明显劣答 |
| 基准评测子集 | 题目+标准答案+判分规则 | 从 A 级样本中抽取,题干去除可泄漏答案的信息,标准答案取已审核签发结论,判分规则按标签类型指定 | 与训练侧样本做去重与相似度比对;标准答案须有审核签发或仲裁背书 |
三类监督子集的组织中有两处口径须统一,分述如下。
第一处是指令微调子集的响应写法。如果响应只给结论(如「本条款为高风险」),模型学到的是分类能力而不是说明能力;本项目各验证场景都需要模型给出理由(选型要说明推荐理由,工艺要交出推理依据,诊断要给出证据等级)。因此标注产出转为指令样本时,响应一律按「结论+依据+适用边界」三段组织,依据取自标注时记录的依据指向与对照标准条款。
第二处是偏好对齐子集的劣答来源。构造劣答最省事的做法是让模型生成一些明显错误的回答,但这样的样本对训练奖励模型价值很低,因为优劣差异过于明显。本方案的劣答来源限定为三类真实来源:标注过程中出现的典型误标(有记录、有误因)、标注规范中列出的易混淆误判情形、历史记录中质量较差的实际文档(如 C 级工艺卡片、未闭环的报警处置记录)。每个偏好对标注「优劣差异归因」字段,写明优答在哪一条判定准则上胜出,这一字段使奖励模型能够学到判别依据而不只是偏好方向。
基准评测子集的样本一律取自真实业务记录,合成数据不进入该子集。判分规则按标签类型指定:名义型用精确匹配,有序型用分档匹配并对相邻档给部分分,位置型用 IoU 阈值匹配,序列型用归一化编辑距离相似度,数值型用相对误差容限,开放文本型用要点覆盖率加人工复核。每道题目的判分规则随题目一并封装,使评测结果在不同评测方之间可复现。
图 1-5 标注产出按四个用途子集的组织方式与规模口径对应。数据来源:招标文件 3.2.6.3.5 第(7)项与 3.2.6.4 各数据集规模要求(节);四集规模分解详见「四大数据集建设及指标要求」章节。
要求的总口径是:对长尾工况、稀缺样本与人工难以覆盖的任务形态实施合成生产,补齐四类数据集的规模与覆盖缺口。
合成在本项目中不是用来凑规模的手段,它要解决三类真实存在的缺口,这三类缺口靠增加标注投入无法解决。
第一类是现场发生频次低的工况与故障。刮板输送装备的堵转、过载是低频事件,热处理的烧伤与裂纹在正常工艺控制下出现率低,焊接的烧穿、焊瘤在成熟工艺下同样少见。这些样本在真实数据中天然稀缺,而它们恰恰是诊断与质检场景最需要识别的类别。等待真实样本积累到足够规模不现实,也不符合企业利益——企业的目标是让这些事件不发生。
第二类是人工难以覆盖的任务形态。推理过程类样本是典型例子:历史工艺卡片记录了结论(选了哪几道工序、参数是多少),没有记录推理过程(为什么这样选)。要让数据集支撑「交出推理依据」的能力,就必须构造带完整推理过程的样本,而让工艺人员为 63 万张图纸逐张补写推理过程是不可行的。多轮排障对话是另一个例子:真实的排障过程发生在现场的口头交流中,没有文本留痕。
第三类是规模缺口。预训练子集的规模目标是 615 亿 Token,企业存量的真实语料总量与之存在差距,外部语料补充之外,基于企业知识的合成扩写是补齐途径之一。但这一类合成必须限定在预训练子集,且受合成占比上限约束。
本方案的合成方法可以概括为「有种子、有约束、有校验、有配比、有溯源」。五个环节各自解决一个问题:种子保证合成内容与企业真实业务相关,约束保证合成内容在专业上成立,校验保证合成内容不与真实分布背离,配比保证合成样本不淹没真实样本,溯源保证合成样本的来源可查、许可可核。
图 2-1 数据合成的五环节流水线与三道校验。数据来源:招标文件 3.2.6.3.6 第(5)(6)项。
生成环节采用当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级。网关对各任务固定模型版本与生成参数,同一批次内不中途切换;版本切换时重新做分布比对与基线对照,变更记录进入合成批次台账。拒绝采样的判据是本节各小节给出的规则校验项加任务特有的专业校验项,采样倍率按任务难度设定,低通过率任务提高采样倍率而不是放宽校验。
每个合成任务的生成配置在作业前固化为一份带版本号的配置文件,配置文件版本号随每一条合成样本记录,使样本可回溯到产生它的全部参数。配置文件的字段、取值约定与变更控制如表 2-1。配置项中任一项发生变更即升配置版本并重新走首样评审:抽取该配置下的首批样本若干条,由规范编制单元与业务专家核验其是否仍满足本任务的专业约束与过滤规则,核验通过后方可放量;未经首样评审的配置不得用于生产批次。
表 2-1 合成生成配置的固化字段与变更控制
| 配置字段 | 内容 | 取值约定 | 变更后的处置 |
|---|---|---|---|
| 任务模板版本 | 该合成任务的提问形态模板、输入插槽定义与输出结构定义 | 带版本号,与标注规范版本对齐引用 | 升配置版本;对已生成批次保留原版本标识,不追溯重做 |
| 指令与提示模板版本 | 生成环节使用的指令文本与其约束段落 | 带版本号,模板全文随批次台账归档 | 升配置版本并重做首样评审 |
| 模型标识与版本 | 经统一网关接入的生成模型标识与版本号 | 同一批次内固定,不中途切换 | 升配置版本;重做分布比对与基线对照后方可继续 |
| 生成参数 | 采样温度、核采样阈值、最大生成长度、重复惩罚、单次生成条数 | 按任务分别固定,取值随样本溯源记录 | 升配置版本并重做首样评审 |
| 拒绝采样倍率 | 每产出一条合格样本的平均生成次数上限 | 按任务难度设定,低通过率任务上调倍率 | 仅上调不下调;下调需技术评审 |
| 专业约束集 | 本任务适用的工艺、校核、图谱与制度约束清单及其依据版本 | 引用本体版本、工序字典版本、规则引擎版本 | 升配置版本;对已生成批次按新约束重做规则校验 |
| 过滤规则集 | 通用过滤项与任务特有过滤项的规则编号清单 | 规则带编号与版本,丢弃时记录触发的规则编号 | 升配置版本;新增过滤规则对已入集样本做一次回扫 |
| 实体替换规则 | 当事人、项目名称、金额、客户标识的替换方式与替换表版本 | 替换表独立维护,不随样本交付 | 升配置版本并对已生成批次做残留扫描 |
| 随机种子 | 生成与抽样所用的随机种子 | 逐批次记录,使同配置可复现 | 不作为变更项,逐批次记录即可 |
以企业真实业务样本为种子,合成产品选型问答、合同条款审查问答、库存与排产决策问答等指令样本,补充供需计划数据集指令微调子集的任务覆盖。
三类问答的种子与约束各不相同,分述如下。
产品选型问答以历史选型方案的标注结果为种子。标注结果已经把八类选型关键要素与六项选型结果及其对应关系标出来了,合成要做的是围绕这一组事实构造多样的提问形态:给全参数求配置、给部分参数求还需补充哪些参数、给两套配置求比较、给一套配置求校核结论、给工况变化求配置调整建议。
约束来自校核公式与标准化部件库:合成的配置必须能通过整机消耗总功率与链条理论安全系数、按力与按功率两个口径的实际安全系数校核,不能通过的直接丢弃;配置中的部件必须存在于标准化库或历史方案中,不允许凭空生成型号。这一约束使合成样本不会教给模型一个物理上不成立的配置。
合同条款审查问答以标注后的合同条款为种子。合成的提问形态包括:给条款求风险判定、给条款求对照的制度依据、给合同求缺失的核心要素清单、给条款对求差异与差异方向、给审查结论求修改建议。约束来自企业合同模板与制度条款库:合成的审查结论必须指向实际存在的制度或标准条款编号,指不出的样本丢弃。此外对涉及具体当事人、金额与项目名称的内容做实体替换,替换规则在合成任务配置中固定,使合成样本不携带可识别的商业敏感信息。
库存与排产决策问答以订单、库存与排产标注样本为种子。合成的提问形态围绕物料分层、补货建议、呆滞料处置与长周期件锁定展开。约束来自物料分层规则与双重约束条件(保交付红线与资金上限):合成的建议必须在给定约束下自洽,例如建议提前锁定的物料其占用资金不得超出当期资金上限。这一校验以规则计算实现,不依赖模型自判。
表 2-2 供需计划域合成任务的种子、约束与校验
| 合成任务 | 种子来源 | 知识约束 | 规则校验项 | 产出形态 |
|---|---|---|---|---|
| 产品选型问答 | 历史选型方案标注样本 | 校核公式、标准化部件库、机型槽宽档位字典 | 功率校核、链条安全系数校核(力与功率双口径)、部件存在性 | 指令—输入—响应,响应含推荐理由 |
| 选型参数补全问答 | 同上,取「来源可信度」为不可得的要素 | 选型要素字典与必需要素清单 | 所问参数须属八类关键要素 | 多轮对话样本 |
| 合同条款审查问答 | 合同条款标注样本 | 企业合同模板、制度与标准条款库 | 依据条款编号存在性、实体替换完成性 | 指令—输入—响应,响应含依据条款 |
| 核心要素完整性问答 | 八大核心要素标注样本 | 八大核心要素定义 | 缺失项与标注结果一致 | 指令—输入—响应 |
| 库存决策问答 | 订单库存排产标注样本 | 物料分层规则、资金上限与保交付红线 | 约束自洽性规则计算 | 指令—输入—响应,响应含核算过程 |
| 呆滞料处置问答 | 呆滞料识别结果 | 可套用与可替代关系、处置方式字典 | 替代关系须存在于物料主数据 | 指令—输入—响应 |
基于工艺编制准则、标准工序与历史工艺卡片,合成工艺设计推理样本与工艺审查问答,并生成带完整推理过程的思维链样本,补充产品工艺设计数据集在推理类任务上的覆盖。
历史卡片记录了结论而没有记录过程,本小节解决的是这一缺口。合成的做法是反向构造推理链——已知图纸特征(输入)与已审核卡片(结论),让生成环节在工艺编制准则的约束下补写从输入到结论的推理过程,再用结论反向校验推理过程是否自洽。
校验方向是这一做法成立的前提。正向生成推理过程与结论时,生成的结论可能与历史卡片不一致,样本即不可用;以历史卡片为既定结论、让生成环节补写过程、再校验过程能否推出该结论,推理链即锚定在已审核的正确结论上。校验分三层:工序集合校验(推理过程中出现的工序必须在封闭的 28 道工序集合内)、顺序依赖校验(推理过程给出的顺序必须满足工艺规程的前后依赖与禁止条件)、结论一致校验(推理过程的最终结论须与历史卡片的工序序列一致,序列相似度低于规范给定线的丢弃)。
展开长一类确定性计算在推理链中以计算步骤呈现而不以生成结果呈现:推理链写明「按中性层公式计算展开长」,具体数值由规则引擎计算后填入,不由模型生成。这一处置避免了合成样本把错误的数值计算教给模型。
表 2-3 工艺设计域合成任务与校验层次
| 合成任务 | 构造方式 | 校验层次 | 丢弃判据 |
|---|---|---|---|
| 工艺设计推理样本 | 以图纸特征为输入、已审核卡片为结论,补写推理过程 | 工序集合校验、顺序依赖校验、结论一致校验 | 工序越界、顺序违规、结论序列相似度低于规范给定线 |
| 思维链样本 | 推理过程按「读图—识特征—定工序—排顺序—取参数—核校」六步展开 | 每步须有可核对的中间产出;数值计算由规则引擎填入 | 缺中间产出、数值由生成环节自行给出 |
| 工艺审查问答 | 以历史审查意见与修改归因记录为种子,构造「给卡片找问题」任务 | 问题须对应实际存在的审查意见类型 | 虚构审查类型 |
| 工艺借用判定问答 | 以特征组合相似的历史图纸对为种子,构造「能否借用及差异在哪」任务 | 差异清单须与特征标注差异一致 | 差异清单与标注不符 |
| 共料与排料问答 | 以共料标识与历史排料记录为种子 | 材料牌号与板厚一致性、轮廓可嵌套性 | 违反材料或几何约束 |
工艺审查问答的种子有一个特别的来源:每一次工艺人员对卡片的修改都会被归因并沉淀为企业规则与评测样本。这意味着随项目推进,审查问答的种子质量会持续改善。本方案在合成计划中为此预留迭代:首版审查问答以历史审查意见为种子,后续版本纳入项目期内积累的修改归因记录。
基于领域本体与历史工单分布,合成长尾故障场景的工单描述、故障树与多轮排障对话,补齐制造过程数据集中现场发生频次低、真实样本不足的故障模式与稀缺工况。
合成的起点是分布诊断:先统计历史工单中各故障模式的出现频次,识别出哪些故障模式在本体中有定义但在工单中出现频次低于规范给定线。这些低频故障模式构成合成的目标清单。目标清单按两个维度排序:该故障模式的后果严重程度(对矿方生产影响)与其在诊断场景中的必要程度,优先合成「后果严重但样本稀缺」的故障模式。
三类产出的构造方式不同。
工单描述的构造以知识图谱中「设备—部件—故障模式—现象—原因—处置措施—备件」的关系链为约束。给定一个故障模式,从图谱中取出其关联的现象、原因、处置措施与备件,以此为骨架生成工单描述。生成的工单描述须包含现场人员会写的内容形态:现象的口语化描述、发生时的工况、已做的处置与结果。这与 3.2 节文本增强中的口语化改写是两件事——此处是从结构化知识生成口语化工单,彼处是对已有文本做风格迁移。
故障树的构造以图谱的因果关系为骨架,按「顶事件—中间事件—底事件」展开,每个节点标注判别依据(看哪个测点、查哪个记录、做哪项检查)。校验要求故障树的每条路径在图谱中存在对应的关系链,不允许生成图谱中不存在的因果连接。
多轮排障对话的构造以故障树为脚本:对话按故障树的一条路径展开,每一轮由排障者提出一个判别问题、现场人员给出观察结果、排障者据此收敛范围。对话轮数按故障树深度确定,通常三到六轮。校验要求对话的收敛路径与故障树一致,且最终结论对应故障树的一个底事件。
稀缺工况的合成另有方法。时序数据的合成不采用自由生成,而采用「真实工况片段的参数化变形」:以真实的重载片段为基础,按物理约束调整负载水平、持续时间与叠加的耦合干扰,生成过载与堵转的候选片段,再由业务专家确认其在物理上是否成立。这一做法的原因是时序数据的合理性无法靠规则完全校验,必须有专家把关;专家确认通过的合成片段在样本中标明「合成—专家确认」,与真实片段在元数据上严格区分,且在验证环节单独统计其对模型效果的贡献。
表 2-4 制造过程域合成任务与约束来源
| 合成任务 | 构造方式 | 约束来源 | 校验方式 | 元数据标识 |
|---|---|---|---|---|
| 长尾故障工单描述 | 由图谱关系链生成口语化工单 | 「设备—部件—故障模式—现象—原因—处置—备件」图谱 | 关系链存在性校验;现象与故障模式对应性校验 | 合成—规则约束 |
| 故障树 | 由图谱因果关系展开顶—中—底事件 | 同上,加判别依据字典 | 每条路径须在图谱中存在对应关系链 | 合成—规则约束 |
| 多轮排障对话 | 以故障树路径为脚本展开对话 | 故障树+排障话术规范 | 收敛路径与故障树一致性校验 | 合成—规则约束 |
| 稀缺工况时序片段 | 真实片段的参数化变形 | 设备物理约束、工况定义、耦合干扰模型 | 物理合理性由业务专家确认 | 合成—专家确认 |
| 热处理异常批次档案 | 以真实批次档案为种子调整执行条件差异 | 工艺程序、装炉量与规格的可调量范围 | 可调量须在允许范围内 | 合成—专家确认 |
基于管理制度、技术标准、招投标文件与知识库条目,合成制度问答、标准问答与标书问答样本,支撑管理制度智能问答、技术标准智能问答与标书智能问答场景。
这三类问答的共同特点是答案必须有出处,这决定了合成方式必须是「证据先行」而非「问题先行」。做法是:先从知识库中取出一个条款级知识单元(管理制度已以「制度条款」为最小知识单元建立索引,抽取了制度名称、编号、发布部门、生效日期、适用范围与制度层级),再围绕这一条款生成提问,使每个合成样本天然带有确定的证据来源。
提问形态按四类组织:事实查询型(这条规定是什么)、适用判定型(某情形是否适用本条)、冲突识别型(两条规定之间是否冲突、哪条优先)、程序引导型(要办某事应按哪些条款走什么流程)。后三类需要跨条款推理,构造时从条款间引用关系中取出相关条款组作为证据集。
三类问答各有专门约束。制度问答须处理失效与替代:生效日期已过或被新制度替代的条款,提问中必须带时点或明确问「当前适用的规定」,答案须指向当期有效版本。标准问答须处理标准版本:同一标准的不同版本条款可能不同,答案须标明依据的标准号与版本年份。标书问答须处理资料分类:投标相关资料按投标文件模板库、设备材料、资质(安标证书、防爆证书、检验检测报告、产品合格证)与业绩(业绩合同、发票、验收单、中标通知书、技术协议)分类归集,合成的提问须落在明确的分类上,答案指向具体的资料条目。
表 2-5 制度、标准与标书问答合成的提问形态与证据要求
| 提问形态 | 证据集构造 | 答案要求 | 典型校验项 |
|---|---|---|---|
| 事实查询型 | 单一条款 | 答案须为条款原文的准确转述+出处 | 答案与条款原文语义一致性校验 |
| 适用判定型 | 单一条款+适用范围字段 | 答案须给出判定与适用范围依据 | 判定与适用范围字段不矛盾 |
| 冲突识别型 | 条款间引用关系取出的条款组 | 答案须指出冲突点与优先关系依据(层级、生效日期) | 条款组须存在引用或同主题关系 |
| 程序引导型 | 同一事项涉及的多条款序列 | 答案须给出步骤与各步依据条款 | 步骤顺序与条款规定顺序一致 |
| 版本时点型 | 同一主题的多版本条款 | 答案须标明依据版本与生效时点 | 版本信息完整性 |
| 资料定位型(标书) | 按四类分类归集的资料条目 | 答案须指向具体资料条目与所在位置 | 资料分类正确性 |
决策数据问答的合成在本小节不另述:其样本形态已在 1.8 节按「问题—指标口径—取数逻辑—答案」四段确定,合成只是按同一结构扩充提问形态与业务域覆盖,约束来自指标知识库登记的口径,校验方式为按取数逻辑复算答案。
对合成产出执行规则校验、与真实样本的分布比对及与基准评测数据的去重比对,并按用途子集控制合成数据占比;基准评测子集的样本一律取自真实业务记录。
三道校验的内容与判定如下。
规则校验在样本级执行,校验项即前述各小节列出的任务特有校验项加通用校验项。通用校验项包括:格式与字段完整性、标签取值域合规性、引用的本体类目与知识条目存在性、实体替换完成性(不残留可识别的具体当事人、项目与金额)、内容安全合规性。规则校验不通过的样本直接丢弃并记录触发的规则编号,批次级不合格率超过规范给定线的,该批次的生成策略须调整后重做。
丢弃的样本不直接废弃,而是按触发的规则编号归入失败样例库。失败样例库按合成任务与规则编号两级组织,记录样本内容、触发规则、生成配置版本与丢弃时点,有三个用途:一是统计各任务的丢弃原因分布,定位生成配置中需要修正的具体环节(约束未生效、模板引导不足、模型版本不适配);二是其中专业判定类的失败样例经业务专家确认后,作为标注规范的反例与偏好对齐子集劣答的来源之一;三是作为生成配置升版后的回归用例——新配置须在旧失败样例上不再产生同类错误。失败样例库随批次台账保留,不进入数据集版本。
分布比对在批次级执行,比对维度包括任务类型分布、样本长度分布、标签取值分布、业务域分布与难度分布。比对方法是计算合成批次与对应真实样本集在各维度上的分布距离,偏离超过容限的调整生成策略后重做。这一校验解决的是合成样本容易「集中在容易生成的形态上」的问题:若不做分布比对,合成出来的样本往往长度相近、任务形态单一、标签取值集中在少数几类。
与基准评测数据的去重比对在样本级执行,方法为精确去重加近似去重两道。精确去重按内容指纹比对,近似去重按语义相似度比对,相似度超过阈值的判为命中。命中样本从合成产出中删除,并产出命中样本清单作为质检记录。这道校验的目的是防止评测污染:若合成样本与评测题目重复,验证环节得到的效果结论就不可信。
合成占比按用途子集与任务类型分别设上限,上限的设定原则是:真实样本充足的任务类型压低合成占比,真实样本稀缺的任务类型放宽但须标明。具体口径如表 2-6。表中占比为我方承诺的控制上限,实际占比按版本在数据集卡片中如实披露。
表 2-6 合成数据在各用途子集中的占比控制口径
| 用途子集 | 合成数据占比上限 | 适用范围与说明 | 不达标时的处置 |
|---|---|---|---|
| 预训练子集 | 不超过 20% | 仅限基于企业知识的扩写语料;外部公开语料不计入合成 | 超限则削减合成部分,规模缺口以外部语料与真实语料扩采补齐 |
| 有监督指令微调子集(真实样本充足任务) | 不超过 30% | 合同审查、检验记录、指标问答等有大量真实记录的任务 | 超限则补充真实样本标注 |
| 有监督指令微调子集(推理与长尾任务) | 不超过 60% | 工艺推理与思维链、长尾故障排障等真实样本不可得的任务 | 超限则在数据卡局限性说明中披露并提出后续补采计划 |
| 人类偏好对齐子集 | 劣答可全部为合成;优答不超过 10% | 优答以真实标注结论或专家背书为主 | 优答合成超限则退回重构 |
| 基准评测子集 | 零 | 样本一律取自真实业务记录 | 发现合成样本混入即整批退回并追溯来源 |
合成占比的计算口径如表 2-6A。口径中最关键的一条是分母与分子均按去重后的样本数计:合成批次内的自重复与近似重复样本在计入规模之前先行剔除,剔除后的条数才计入该子集的合成样本数与总样本数。以近似重复样本充抵规模的批次整批退回,并对该任务的生成配置重做首样评审——近似重复样本在统计上增加条数而不增加信息量,既推高合成占比又无助于覆盖缺口的填补。
表 2-6A 合成数据占比与规模达成的计算口径
| 计算项 | 分子 | 分母 | 去重处理 | 统计时点 |
|---|---|---|---|---|
| 某用途子集的合成占比 | 该子集内样本类型标识为「合成」的条数 | 该子集的样本总条数(真实+合成+增强) | 分子分母均取去重后条数;精确去重与近似去重两道均执行 | 版本冻结时,另在合成增强检查节点(见 4.5 节)出批次级预估值 |
| 某任务类型的合成占比 | 该任务类型下的合成样本条数 | 该任务类型下的样本总条数 | 同上,近似重复按任务类型内比对 | 版本冻结时 |
| 预训练子集的合成占比 | 合成扩写语料的 Token 数 | 该子集的 Token 总数(外部公开语料计入分母,不计入分子) | 按文本指纹与段落级近似去重后统计 | 版本冻结时 |
| 偏好对齐子集的优答合成占比 | 优答为合成内容的偏好对组数 | 该子集的偏好对总组数 | 按指令与优答的组合去重 | 版本冻结时 |
| 规模目标达成率 | 去重后实际入集的条数或 Token 数 | 该子集的规模目标值 | 近似重复样本不计入分子 | 版本冻结时 |
| 合成批次的有效产出率 | 通过三道校验并入集的条数 | 该批次的生成总条数 | 丢弃条数按触发规则编号分类统计 | 每批次结束时 |
表 2-6 四项上限中,预训练子集的一项没有现成标准可以援引,其取值依据、判定方法与不达标处置在此写明,其余三项按同一结构执行。基线为合成扩写语料的 Token 数占该子集 Token 总数的 20%,首版按这一数值设定基线;取值依据是预训练语料以真实文档与业务数据文本化为主体,合成只用于填补企业知识在表达形态上的缺口,合成部分一旦超过五分之一,语料的事实来源即被生成内容稀释,继续预训练实验所得的效果结论也难以归因到真实语料。判定方法按表 2-6A 第三行的口径执行:分子为合成扩写语料的 Token 数,分母为该子集的 Token 总数(外部公开语料计入分母、不计入分子),两端均按文本指纹与段落级近似去重之后统计。统计为全量统计,不以抽样代替——入集语料的样本类型标识在封装前逐文件扫描,合成与真实的 Token 数由工具按标识分别累计;判定频次为每批次在合成增强检查节点出一次批次级预估值,每个版本在冻结之前出一次正式判定值,正式判定值由版本检查节点核验,并写入该版本的数据集卡片。超限处置是先削减合成部分:按覆盖贡献度排序,优先保留填补知识表达形态缺口的样本,削减重复覆盖同一知识点的扩写语料;削减形成的规模缺口以真实语料扩采与外部公开语料补齐,补齐批次重新经入口检查节点与预处理检查节点判定。缺口在本版本周期内补不齐的,不以放宽上限的方式放行,该版本按实测值如实披露,在数据卡局限性说明中单列,并给出下一版本的补采计划;同一数据集连续两个版本超限的,升级技术评审复核该数据集的合成任务设置与语料采集计划。随企业真实语料扩采到位与外部公开语料许可陆续落实,这一上限的目标是逐步接近 15%,下调后的取值在版本评审中确认,确认之前仍按 20% 的基线判定。
各子集的实际合成占比在每一版本的数据集卡片中按数据集、按子集、按任务类型三级披露,并与真实样本的来源构成一并呈现。披露是质量承诺的一部分:使用方据此判断该数据集在其用途上的适用性。
合成样本一律带种子来源、合成方法、提示词版本与模型版本记录,所调用的教师模型及其许可条件逐一登记。
每条合成样本随附的溯源记录包含十个字段:种子样本标识(指向真实样本的唯一标识,可回溯到原始数据)、种子来源类型、合成任务标识、合成方法标识、生成配置版本(含任务模板、指令模板、生成参数与过滤规则集的版本号,字段构成见表 2-1)、所用模型标识与版本、生成参数取值、生成时点、校验结论与触发的校验项、合成批次号。溯源记录与样本一并封装,使任一条合成样本都可以回答「它是从哪条真实样本、用什么方法、在什么配置下生成的」。
模型许可登记是一份独立的台账,按模型逐项登记:模型标识与版本、接入方式、服务提供形态、许可条款中关于生成内容权属与商业使用的约定、对生成内容用于训练的限制条款、许可有效期与续期安排、登记日期与核验人。台账随数据集版本一并交付,使数据集在后续流通、挂牌与交易环节有明确的权属依据。
这一登记有实质意义而不只是形式要求:若某模型的许可条款限制其生成内容用于训练第三方模型,则由该模型生成的样本不能进入对外发布的数据集版本。本方案的处置是在模型接入评估阶段即核验许可条款,不满足要求的模型不进入合成生产链路;评估结论与核验依据进入台账。许可条款在项目期内发生变更的,按变更后的条款重新评估已生成样本的可用性,评估结论与处置记录进入变更台账。
表 2-7 合成样本溯源记录与模型许可登记的字段
| 台账 | 字段 | 用途 |
|---|---|---|
| 样本级溯源记录 | 种子样本标识、种子来源类型、合成任务标识、合成方法标识、生成配置版本、模型标识与版本、生成时点、校验结论、批次号 | 单样本可回溯;质检抽查与争议处置依据 |
| 合成批次台账 | 批次号、任务、目标覆盖缺口、生成量、丢弃量与丢弃原因分布、分布比对结论、去重命中数、入集量、负责单元 | 批次级质量分析与配比核算 |
| 模型许可登记台账 | 模型标识与版本、接入方式、生成内容权属约定、用于训练的限制条款、有效期、核验依据与核验日期 | 数据集对外发布与流通的权属依据 |
| 失败样例库 | 失败样例内容、触发的规则编号、所属合成任务、生成配置版本、丢弃时点、专家确认结论 | 生成配置改进依据;标注规范反例与劣答来源;配置升版的回归用例 |
要求的总口径是:改善四类数据集在类别、模态、来源与难度上的分布均衡性。
增强与合成在本方案中是两件不同的事,两者的产出在元数据标识、占比控制与质检门控上分别处置,不合并统计。
合成产生的是新的事实内容——一个此前不存在的故障场景、一段此前没有写下来的推理过程。增强产生的是同一事实的另一种表达或另一种采样形态——同一句业务描述的口语化说法、同一张缺陷图像在另一个角度下的样子、同一段设备时序在另一种采样条件下的形态。因此合成样本必须经过业务合理性校验,增强样本必须经过语义一致性与标签一致性校验:前者问「这件事会不会发生」,后者问「变换之后还是不是同一件事、标签还对不对」。
两者的元数据标识不同,占比分别统计,质检门控的判定项也不同。在数据集卡片中,真实样本、合成样本与增强样本的数量与占比分三项披露。
按业务域、任务类型、样本长度、数据来源、模态与时间六个维度对各数据集开展分布统计,识别长尾类别、覆盖盲区与来源偏置,产出分布分析结论作为增强作业的依据。
分布统计是增强作业的前置条件,不做统计直接增强等于盲目扩充。统计在每个数据集版本冻结前执行一轮,在增强作业后再执行一轮,两轮结果构成增强前后的分布对比结论。
六个维度的统计口径与关注的问题如表 3-1。每个维度的统计结果给出三类结论:分布本身(各取值的样本数与占比)、与目标分布的差距(目标分布的来源见表中说明),以及识别出的长尾类别、覆盖盲区与来源偏置清单。
表 3-1 六个维度的分布统计口径与目标分布来源
| 维度 | 统计口径 | 目标分布来源 | 关注的问题 |
|---|---|---|---|
| 业务域 | 按供需计划、产品工艺设计、制造过程、产品质量四域及其子域统计样本数与 Token 数 | 四大数据集规模要求:615 亿 Token(276+70+105+164)、89 万条(40+10+15+24)、6.6 万组(3.2+0.8+1+1.6)、0.95 万条(0.4+0.1+0.2+0.25) | 域间规模是否达成;域内子域是否失衡 |
| 任务类型 | 按指令微调子集的任务模板分类统计 | 各验证场景所需的任务类型清单 | 是否存在场景需要但样本极少的任务类型 |
| 样本长度 | 按 Token 数分档统计,长上下文样本单列 | 场景实际输入长度分布(如一个项目四百张图纸量级的卡片编制任务) | 长样本是否过少导致长上下文能力无法训练 |
| 数据来源 | 按源系统与资料类型统计 | 源系统的数据量与业务重要性 | 来源偏置:某一系统数据过多主导分布 |
| 模态 | 按文本、图像、时序、视频统计条数与占比 | 指标要求:数据模态不低于 3 种、多模态数据条数占比不低于 40% | 多模态占比是否达成 |
| 时间 | 按样本业务发生时间分年度统计 | 指标要求:3 年内数据条数占比不低于 40% | 时效性占比是否达成;是否存在年度断档 |
长尾类别的识别标准是:某标签取值的样本数低于该标签全部取值平均样本数的规范给定比例,或低于下游任务可训练的最小样本量。覆盖盲区的识别标准是:本体中有定义、场景中有需要,但数据集中样本数为零或接近零的类目。来源偏置的识别标准是:某一来源的样本占该业务域样本的比例超过规范给定线,且该来源的数据特征与其他来源存在系统性差异。
三类问题按不同路径处置,分布分析结论逐项指明所属路径与处置环节:长尾类别用增强改善,覆盖盲区用合成或补采补齐,来源偏置用抽样调整与补采改善。增强不解决覆盖盲区——本体中有定义而样本数为零的类目,施加任何变换都不产生新样本;把覆盖盲区判给增强处置的结论条目退回重做。
图 3-1 分布诊断与定向增强的回路。数据来源:招标文件 3.2.6.3.7 第(1)(4)(5)项与 3.2.6.4.5 数据集其它指标要求。
对文本样本实施同义改写、句式变换与口语化、书面化风格迁移,扩充同一业务语义的表达多样性,重点覆盖现场口语化描述与规范书面表述之间的差异。
这一条要求的现场依据很具体。企业的业务表达存在明显的两套语言:现场人员描述故障用的是「刮板链响得厉害」「电机有点烫」一类说法,规范文本写的是「刮板链异常声响」「电机温升超限」;工艺人员口头说「这个孔要带坡口」,图纸上写的是符号与公差。各验证场景的输入主要来自前者,而数据集的文本语料主要来自后者。若不做风格迁移,模型在规范文本上训练出的能力到现场提问时会接不上。
三类变换的实施方式与约束如下。
同义改写替换业务术语的同义表达。替换依据是本体的术语表与同义词别名表,不允许自由替换——矿机行业的很多用词看起来同义实则不同(如「刮板」与「铲板」是不同部件),自由替换会引入语义错误。改写后校验替换的术语对在别名表中存在,且改写后的句子中各术语之间的关系未改变。
句式变换调整表达结构而不改变语义,包括主被动转换、长句拆分、短句合并、疑问与陈述转换。对指令微调样本,句式变换主要施加在指令部分而不是响应部分:指令的多样性提升模型对不同问法的适应能力,响应的句式随意变换会影响输出格式的稳定性。
风格迁移是本小节的重点,按两个方向双向实施。规范书面表述到口语化描述的方向,产出模拟现场提问的样本;口语化描述到规范书面表述的方向,产出「把现场说法整理为规范记录」的样本——这一方向本身就是一个有价值的任务类型,对应现场人员填报工单与质检人员撰写报告的实际需求。口语化语料的来源是历史工单的现场描述字段、不合格品票的文字描述、维修记录的处置说明,这些是企业内部真实存在的口语化文本。
表 3-2 文本增强的变换类型、实施口径与校验项
| 变换类型 | 实施口径 | 施加对象 | 校验项 | 不通过处置 |
|---|---|---|---|---|
| 同义改写 | 仅按本体术语表与同义词别名表替换 | 指令与输入部分优先 | 替换对在别名表中存在;术语间关系未改变 | 单样本丢弃并记录 |
| 句式变换 | 主被动转换、长短句调整、问句陈述转换 | 指令部分为主 | 语义一致性校验;响应格式稳定性校验 | 单样本丢弃 |
| 口语化迁移(书面→口语) | 以历史工单与不合格品票的真实口语表达为风格参照 | 输入部分 | 语义一致性;不引入现实中不会出现的表达 | 单样本丢弃 |
| 书面化迁移(口语→书面) | 按企业记录规范的表述格式整理 | 输入与响应成对产出 | 关键信息无遗漏;术语规范化正确 | 单样本丢弃 |
| 长上下文构造 | 将同一项目的多份文档按真实组合方式拼接 | 长样本不足的任务 | 拼接后的文档组合在业务上真实存在 | 单样本丢弃 |
长上下文样本按真实项目或业务事项组织,保留文档之间的关联关系与每一段内容的来源定位(源文档标识、章节层级、页码或图号),不拼接无关文档。本项目的长上下文需求来自实际作业:一个实际项目通常涉及四百张左右图纸,一套完整产品可达五百多张,工艺编审需要在一个项目范围内做借用对照,标书编写需要同时参照多份资料。构造时逐条记录参与组合的文档清单与组合依据(项目号、合同号或业务事项标识),组合依据不成立的样本丢弃;按目标长度随意拼接的长样本会把一种现实中不存在的输入形态写入数据集,在验证环节表现为长上下文指标虚高而场景效果不改善。
对工件外观缺陷图像与焊道表面图像配置旋转、翻转、裁剪、缩放等几何变换与亮度、对比度等光照变换;对设备时序按六类工况分段配置滑动窗口切分、重采样与噪声扰动。
图像增强的核心约束是「合理变换」四个字。几何与光照变换不是随意施加的,它必须对应真实采集条件下可能出现的差异。本项目的图像采集条件有明确的现场背景:工艺过程所需的图像采集按各场景数据要求单独布点,相机位置、光照条件与分辨率在布点时确定并记录;这意味着同一类图像的真实变化范围是可以界定的。
基于这一界定,增强参数按图像类型分别配置而不采用统一参数。以工件外观缺陷图像为例,工件在检验台上的摆放角度存在变化但不会倒置,因此旋转范围按实际摆放变化配置、不做上下翻转;车间照明条件在一天内有变化但不会剧烈,亮度与对比度的调整幅度按实测的昼夜差异配置。以焊道表面图像为例,相机相对焊缝的位置在产线上是固定的,几何变换以小角度旋转与小幅平移为主,不做大角度旋转与镜像——镜像会改变焊缝的走向方位,而焊接缺陷的位置信息与焊接方向有关。
位置型标签在几何变换后必须同步变换,这是标签一致性校验的重点项。缺陷框随图像做同样的几何变换,变换后落在图像外的部分按规则裁剪,裁剪后缺陷面积损失超过规范给定比例的样本丢弃——一个只剩边角的缺陷框不构成有效样本。
表 3-3 图像增强的变换配置口径
| 图像类型 | 允许的几何变换 | 允许的光照变换 | 不施加的变换及原因 | 标签同步要求 |
|---|---|---|---|---|
| 工件外观缺陷图像 | 旋转(按实际摆放变化范围)、小幅平移、裁剪、缩放 | 亮度、对比度(按车间照明实测差异范围) | 不做上下翻转:工件不会倒置摆放 | 缺陷多边形同步变换;面积损失超限丢弃 |
| 焊后焊道表面图像 | 小角度旋转、小幅平移、按焊缝方向的裁剪、缩放 | 亮度、对比度(按产线照明条件) | 不做镜像:改变焊缝走向方位,与缺陷位置语义冲突 | 缺陷框与焊缝方向标签同步 |
| 熔池图像 | 小幅平移、缩放 | 亮度(按实测曝光差异) | 不做旋转与镜像:熔池形态的方位与焊接方向绑定 | 形态标签不随变换改变,须复核 |
| 工艺图纸图像(PDF 转换) | 缩放、分辨率变换 | 不做光照变换 | 不做旋转与翻转:图纸方位承载投影关系语义 | 图元位置标注同步缩放 |
时序增强按六类工况分段配置,这是招标文件明确的口径。分段配置的原因是不同工况的信号特征不同:空载段的有效信息集中在基线稳定性上,重载与过载段的有效信息集中在负载响应与波形特征上,堵转段是短时强冲击。对不同工况施加同样的滑动窗口长度与噪声幅度,等于用一个口径处理性质不同的信号。
表 3-4 时序增强按工况分段的配置口径
| 工况 | 滑动窗口口径 | 重采样口径 | 噪声扰动口径 | 校验要点 |
|---|---|---|---|---|
| 启停 | 以状态切换点为中心,前后各取固定长度 | 按原采样周期的 0.5 至 2 倍范围重采样 | 幅度按该测点实测噪声水平的小倍数 | 切换点不得被窗口边界切断 |
| 空载 | 长窗口、大步长,保留基线特征 | 允许降采样 | 幅度最小,避免掩盖基线漂移特征 | 基线水平统计量在变换前后一致 |
| 正常运输 | 中等窗口与步长 | 按原采样周期的 0.5 至 2 倍范围 | 按实测噪声水平 | 周期性特征在变换后保留 |
| 重载 | 中等窗口、小步长 | 不降采样,保留波形细节 | 幅度受限,不掩盖负载特征 | 负载水平统计量一致 |
| 过载 | 短窗口、小步长 | 不降采样 | 幅度最小 | 越限时刻与幅度不改变 |
| 堵转 | 短窗口,以冲击起点为锚 | 不降采样 | 不施加噪声扰动 | 冲击波形特征完整保留 |
时序增强另有一条约束:耦合干扰的处置。标注环节已对存在三机联动耦合干扰的窗口做了标记,增强时对这类窗口不施加噪声扰动——在已有干扰的信号上再叠加噪声,变换后的样本无法判定其工况标签是否仍成立。这类窗口的增强仅限于窗口切分与重采样。
针对多模态数据条数占比与近 3 年时效性数据条数占比的指标要求,定向补充相应模态与时间范围的样本,产出增强前后的分布对比结论。
两项指标的要求是:多模态数据条数占比不低于 40%,3 年内数据条数占比不低于 40%,另有数据模态不低于 3 种。这两项是数值指标,必须有明确的达成路径与核算口径,不能靠事后统计碰巧达成。
多模态占比的核算口径需要先定义清楚什么样本计为多模态。本方案的口径是:一条样本中同时包含两种及以上模态内容,或其输入与输出分属不同模态的,计为多模态样本。按此口径,图纸标注样本(图像+结构化标签+文本技术要求)、图像缺陷判定样本(图像+文本判定)、时序诊断样本(时序+文本诊断说明)、图文对照样本均计为多模态;纯文本问答样本不计。这一口径在数据集卡片中明示,使占比数字可核验。
达成路径分三条:一是制造过程域与产品质量域的图像与时序样本本身贡献主要的多模态份额,这两域的样本形态天然是多模态的;二是产品工艺设计域的全链路标注样本以图纸为输入,是多模态样本的重要来源;三是增强环节对图像与时序样本的扩充直接提升多模态条数。若统计显示占比不足,优先扩充第一与第二条路径的真实样本,增强作为补充手段而非主要手段——靠增强堆高多模态占比会使数据集的实际信息量与条数不匹配。
时效性占比的达成路径与多模态不同,它无法靠增强解决:增强出来的样本其业务发生时间仍是源样本的时间。因此 3 年内数据占比的达成主要靠采集侧的定向补采——明确哪些业务域、哪些资料类型的近 3 年数据尚未纳入,提出补采清单交采集环节执行。增强在本项的作用仅限于对已纳入的近 3 年样本做扩充,提升其在数据集中的条数占比。时效性占比的分子按样本的业务发生时间计,增强副本沿用源样本的业务发生时间,不因变换而改判为近 3 年;以增强副本推高时效性占比的,该批次的占比统计作废并按源样本重算。
表 3-5 两项指标的核算口径与达成路径
| 指标 | 要求 | 核算口径 | 主要达成路径 | 增强的作用 |
|---|---|---|---|---|
| 数据模态 | 不低于 3 种 | 文本、图像、时序为基本三种,视频按实际采集情况计入 | 各域采集与预处理产出覆盖三种以上模态 | 不适用 |
| 多模态数据条数占比 | 不低于 40% | 一条样本含两种及以上模态内容,或输入与输出分属不同模态的,计为多模态 | 制造过程与产品质量域的图像与时序样本;工艺设计域的全链路标注样本 | 扩充图像与时序样本条数,作为补充手段 |
| 3 年内数据条数占比 | 不低于 40% | 按样本的业务发生时间计,不按入库时间计 | 采集侧定向补采近 3 年数据 | 仅对已纳入的近 3 年样本做扩充;不以增强虚增占比 |
增强前后的分布对比结论按六个维度逐项呈现:增强前分布、增强后分布、变化幅度、目标达成情况、残留的长尾类别与覆盖盲区清单。结论随数据集版本一并交付,并作为下一版本修订计划的输入。
对增强产出执行语义一致性与标签一致性校验,产出通过校验的增强样本;校验不通过的批次整体回退,不纳入数据集版本。
两类校验的内容不同。语义一致性校验问的是「变换之后还是不是在说同一件事」,标签一致性校验问的是「变换之后原来的标签还对不对」。前者主要针对文本变换,后者主要针对图像与时序变换,但两者在各类变换上都要执行。
语义一致性的校验方法是双通道:规则通道检查关键信息要素是否完整保留(数值、单位、术语、实体、否定词、时间状语),模型通道计算变换前后的语义相似度。两通道都通过的判为一致;规则通道不通过的直接丢弃;规则通道通过而模型通道低于阈值的进入人工抽检。否定词的保留是规则通道的重点项——「未发现裂纹」改写成「发现裂纹」是一个在自动改写中真实会出现的错误,且语义相似度指标对此不敏感。
标签一致性的校验方法按标签类型分别执行:位置型标签校验其是否随几何变换同步变换且变换后仍有效;名义型与有序型标签校验其在变换后是否仍成立(例如一张缺陷图像经过大幅裁剪后缺陷是否还在画面内、一段时序经过降采样后其工况特征是否还可判别);数值型标签校验其是否需要随变换换算(例如图像缩放后以像素计的缺陷尺寸须按比例换算)。
批次回退的判定线按规范给定:批次内校验不通过样本的比例超过门控线的,该批次整体回退,不纳入数据集版本。整体回退而非剔除不合格样本的理由是:高不合格率说明该批次的变换配置本身有问题,剔除之后剩下的样本其变换配置同样可疑。回退后的处置是重新审定变换配置与参数范围,调整后重做;两次回退的任务提交技术评审,评审结论决定该类变换是否继续使用。
表 3-6 增强产出的校验项与判定
| 校验类别 | 校验项 | 执行方式 | 判定与处置 |
|---|---|---|---|
| 语义一致性·规则通道 | 数值与单位保留、术语在别名表内、实体一致、否定词保留、时间状语保留 | 自动规则校验,逐项 | 任一项不通过即丢弃该样本 |
| 语义一致性·模型通道 | 变换前后语义相似度 | 自动计算,与阈值比较 | 低于阈值进入人工抽检,抽检不通过则丢弃 |
| 标签一致性·位置型 | 框与多边形随几何变换同步;变换后有效性;面积损失比例 | 自动校验 | 超限丢弃 |
| 标签一致性·名义与有序型 | 变换后标签是否仍成立 | 按变换类型的规则判定+抽样人工复核 | 不成立则丢弃;抽样复核不合格率超线则批次回退 |
| 标签一致性·数值型 | 随变换的换算是否正确 | 自动复算 | 换算错误则丢弃 |
| 批次级 | 不通过样本比例 | 批次统计 | 超门控线则批次整体回退,不纳入版本;两次回退提交技术评审 |
每条增强样本随附一份变换记录,使任一增强样本都可回答「它由哪条样本、经哪个算子、在什么参数下变换而来」。变换记录的字段如表 3-6A。记录与样本一并封装,不单独存放。
表 3-6A 增强样本的变换记录字段
| 字段 | 内容 | 用途 |
|---|---|---|
| 源样本标识 | 被变换的原样本唯一标识;源样本为合成样本的,一并保留其合成溯源链 | 回溯到真实源头;占比统计时避免把增强副本计入真实样本 |
| 变换算子标识与版本 | 所用算子的编号与版本号(同义改写、句式变换、风格迁移、几何变换、光照变换、窗口切分、重采样、噪声扰动) | 算子升版后的影响范围界定 |
| 变换参数取值 | 该次变换的全部参数实际取值(旋转角度、平移像素、亮度与对比度系数、窗口长度与步长、重采样倍率、噪声幅度) | 复现与问题定位;参数超出配置范围的样本可按记录一次性剔除 |
| 变换配置版本 | 该样本类型的变换配置文件版本号 | 配置变更后的批次归属 |
| 随机种子 | 该批次的随机种子 | 同配置可复现 |
| 副本序号与副本总数 | 该源样本在本批次内的第几个副本、共几个副本 | 副本数上限核查(4.5 节) |
| 副本间差异度 | 本副本与同源其他副本的差异度量值(文本取语义与词面双值,图像取像素与特征双值,时序取波形距离) | 近似重复判定 |
| 校验结论 | 语义一致性与标签一致性两类校验的逐项结论 | 入集判定依据 |
| 所属增强批次号 | 批次标识 | 批次级统计与回退 |
同一源样本的多个副本之间须有可测差异:副本间差异度低于规范给定下限的,判为近似重复,仅保留其中一个副本,其余不入集且不计入规模达成。以近似重复副本充抵规模的批次按 3.6 节整体回退,并重新审定该样本类型的变换参数范围——参数范围过窄是副本趋同的直接原因。
要求的总口径是:在每个加工环节后对产出批次实施质量判定,产出质检结论与整改任务。
本环节的设计要点是逐环节设卡,而不是在末端做一次总检。质检不在加工全部完成之后才对成品做一次体检,而是在每个加工环节之后设一道质量检查节点:质量检查节点设置在数据生产流程中,依据质量规则判断数据是否符合进入后续工序或交付的条件——不符合的批次不放行,不进入下一道工序。这样做的理由是加工链条长、返工成本随环节推进急剧上升:一个在采集环节就缺许可凭证的批次,若放到标注之后才发现,前面投入的标注工时全部作废。
加工链共设七道质量检查节点,自上游至下游为入口检查节点、预处理检查节点、口径检查节点、终审检查节点、标注检查节点、合成增强检查节点、版本检查节点。其中口径检查节点与终审检查节点判定的是本体版本与知识条目,详述在「数据加工生产(一)」节;本节详述余下五道,即判定六个加工环节产出批次的入口检查节点、预处理检查节点、标注检查节点、合成增强检查节点与版本检查节点,各自的判定主体、输入、输出如表 4-1。各道的指标体系与《数据集质量评测方案》采用同一套指标名称与判定阈值,两处同以《高质量数据集质量评测规范》(TC609-5-2025-04)为指标定义依据,不另立口径:加工过程内部的逐环节门控是自评,第三方评测是外评,二者共用同一指标定义,差别在实施主体与采信效力。
表 4-1 本节详述的五道质检门控的设置(七道质量检查节点全图见「四大数据集加工生产总述」节表 2-1)
| 检查节点 | 位置 | 判定对象 | 主要判定项 | 输出 | 不通过处置 |
|---|---|---|---|---|---|
| 入口检查节点 | 采集之后 | 采集批次 | 数据源登记完整性、许可凭证有效性、入口脱敏执行情况、格式规范性 | 采集环节门控结论 | 退回采集,补登记、补凭证、补脱敏;凭证不可得的批次不入集 |
| 预处理检查节点 | 预处理之后 | 预处理批次 | 文本切分合理性、表格与公式还原完整性、时序对齐准确性、结构化文本化转换口径一致性 | 预处理环节门控结论 | 退回预处理,调整算子参数后重做 |
| 标注检查节点 | 标注之后 | 标注批次 | 标签完整性、标签体系符合性、跨标注员一致性、黄金集通过率 | 标注环节门控结论+低一致性样本清单 | 按清单返工重标,跟踪至复检通过 |
| 合成增强检查节点 | 合成与增强之后 | 合成批次、增强批次 | 业务合理性、与真实样本分布偏离度、重复率、语义漂移程度 | 合成增强环节门控结论 | 调整生成或变换配置后重做;增强批次按 3.6 节整体回退 |
| 版本检查节点 | 版本冻结前 | 数据集版本候选 | 六维度质量指标、训练与评测数据去重结果、全版本完整性 | 版本级质检报告 | 版本不冻结,按修复工单处置后重新提请 |
各检查节点的判定结论取三值:通过、有条件通过、不通过。
「有条件通过」只在三个条件同时成立时适用:一是缺陷不影响本批次的主体可用性,且属于可在规定期限内补正的非关键项(如部分样本的来源页码缺失、部分元数据字段待补、命名不规范);二是该批次在未结事项结清前仅限项目内部流转,不进入任何对外发布版本、不参与对外提供与挂牌;三是缺陷不涉及安全、许可与强制质量项。涉及这三类的一律判不通过,不得以有条件通过放行,具体为:个人信息与商业敏感信息的脱敏残留、涉密与权限边界处置缺失等安全项;许可凭证缺失、授权范围不覆盖本项目用途、许可条款限制未按用途分流标记等许可项;以及招标文件以数值形式明确要求的强制质量项(四大数据集的规模数值、数据模态不低于 3 种、多模态数据条数占比不低于 40%、3 年内数据条数占比不低于 40%)与标签完整性、标签体系符合性、基准评测子集零合成、训练与评测去重四项。
判为有条件通过的批次在台账中逐条标记未结事项、补正责任单元与补正期限,并同步生成修复工单。未结事项在版本冻结前须全部关闭:冻结核查时仍有未关闭事项的,该批次不计入本版本,转下一版本处置。设这一档的作用是避免少数非关键缺陷阻塞整批流转,同时不让缺陷隐性累积、不让它成为绕开硬项的通道。
对采集批次检查数据源登记完整性、许可凭证有效性、入口脱敏执行情况与格式规范性,产出采集环节的门控结论。
四项检查中,许可凭证有效性是最硬的一项,也是最容易在后期造成被动的一项。数据集建成后要服务行业相关用户、要在数据交易所挂牌上架、要接入国家数据基础设施,权属链条上任何一环缺失都会在流通环节暴露。因此本检查节点对许可凭证采取「无凭证不入集」的口径:凭证缺失的样本不进入数据集版本,可留在贴源区待补。
凭证存在但条款对用途有限制的,按限制的用途逐项分流,不作一概而论的「标记后放行」。分流口径如表 4-2A:许可禁止用于模型训练的样本,不得进入预训练、有监督指令微调与人类偏好对齐三个训练子集;许可禁止对外发布的样本,不得进入对外发布的版本封装包;仅允许内部授权用途或仅允许合法留存的样本,进入独立隔离分区,既不参与训练也不参与对外交付。一条样本同时受两类限制的,按更严的一类执行。分流结果在样本级以「许可用途标记」字段固化,并作为子集抽取与版本封装的强制过滤条件——过滤在抽取脚本中实现,不依赖人工核对;版本冻结前对封装包做一次反向扫描,出现任一不应入包的样本即版本不冻结。各限制类型的样本量与占比在数据集卡片与资产台账中分类披露。
数据源登记完整性检查的字段包括:源系统或资料来源标识、提供方、提供时间、数据范围描述、采集方式、授权依据、责任联系单元。外部语料的登记另加:公开渠道标识、获取时间、许可类型、许可条款摘要、是否允许商业使用、是否允许用于模型训练。
入口脱敏执行情况检查的是脱敏是否在入口执行而不是在后续环节补做。检查方式是对批次做敏感信息扫描,扫描对象包括个人身份信息、联系方式、账户信息,以及企业侧的具体客户名称与合同金额一类商业敏感信息。扫描命中的样本按脱敏规则处置后重新提交入口检查节点判定,未通过的不放行;批次级命中率超过门控线的,退回采集环节检查脱敏规则配置。
格式规范性检查的是文件格式、编码、字段类型与命名是否符合本项目的数据规范。这一项对后续环节的影响是实质的:编码不一致会导致文本切分出乱码,字段类型不一致会导致时序对齐失败,两者都要到下游环节才暴露,返工代价远高于入口处的一次校验。
表 4-2 入口检查节点的检查项与判定口径
| 检查项 | 检查内容 | 检查方式 | 判定口径 |
|---|---|---|---|
| 数据源登记完整性 | 七项必填字段齐备;外部语料另加六项 | 自动校验字段非空+人工核对内容合理性 | 必填字段缺失的样本不通过;批次缺失率超门控线则批次退回 |
| 许可凭证有效性 | 凭证存在、在有效期内、授权范围覆盖本项目用途 | 逐来源核验凭证文件 | 无凭证不入集;条款限制的按表 4-2A 逐用途分流并统计占比 |
| 入口脱敏执行情况 | 个人信息、联系方式、账户信息、商业敏感信息的残留 | 自动扫描+抽样人工复核 | 命中样本处置后重新提交判定,未通过的不放行;批次命中率超线则退回检查脱敏规则 |
| 格式规范性 | 文件格式、字符编码、字段类型、命名规范 | 自动校验 | 不符合的样本退回转换;批次不符合率超线则退回 |
表 4-2A 许可限制按用途的分流口径
| 许可限制类型 | 可进入的子集与版本 | 不得进入 | 样本级标记 | 台账与卡片登记 |
|---|---|---|---|---|
| 无限制(授权范围覆盖本项目全部用途) | 四个用途子集;对外发布版本 | — | 许可用途标记=完整授权 | 计入可对外发布的样本范围 |
| 禁止用于模型训练 | 基准评测子集(限许可明示允许评测用途的);其余仅作合法留存 | 预训练子集、有监督指令微调子集、人类偏好对齐子集 | 许可用途标记=禁训练 | 按禁训练类统计占比;卡片使用限制栏列明 |
| 禁止对外发布 | 四个用途子集的内部版本 | 对外发布版本的封装包;挂牌、上架与对外提供 | 许可用途标记=禁发布 | 按禁发布类统计占比;资产台账「可对外发布的样本范围」中扣除 |
| 仅限内部授权用途或仅允许合法留存 | 独立隔离分区,按授权用途单独取用 | 全部四个用途子集;对外发布版本 | 许可用途标记=隔离留存 | 单列登记,不计入数据集规模达成 |
| 同时受两类及以上限制 | 按最严的一类确定 | 按最严的一类确定 | 并列记录全部限制类型 | 按最严类统计,限制类型逐项列明 |
对预处理批次检查文本切分合理性、表格与公式还原完整性、时序对齐准确性与结构化文本化转换的口径一致性,产出预处理环节的门控结论。
这四项检查的难点是它们都不能完全自动判定,都需要抽样人工核对。因此本检查节点的实施方式是「自动筛可疑+人工核可疑」:自动规则先筛出疑似问题样本,人工只核这部分加一个固定比例的随机抽样,避免全量人工核对造成工期不可控。
文本切分合理性的自动筛查项包括:切分块长度异常(过短或超长)、切分点落在句子中间、章节层级缺失或跳级、同一章节被切分到不连续的块中。人工核对的重点是章节结构还原是否正确——制度文件与技术标准的条款层级若还原错误,知识库的条款级索引就会错,进而影响制度问答与标准问答的证据定位。
表格与公式还原完整性的自动筛查项包括:表格行列数与原文不符、合并单元格丢失、表头缺失、公式符号丢失或变为乱码。人工核对按表格复杂度分层抽样,跨页大表与含合并单元格的表全量核对。技术标准与质量报告中的表格承载着具体的判定限值,还原错误会直接导致后续标注与问答的答案错误。
时序对齐准确性的检查方式与前两项不同,它可以较大程度自动化:检查多测点时间戳的对齐偏差、重采样后的采样点数与时间跨度一致性、缺失补齐的补齐比例与方法记录、异常值处理的处置记录。事件锚定切分的正确性则需核对:抽样核对切分出的时间窗是否确实包含目标事件、事件时点是否落在窗口的预期位置。
结构化文本化转换口径一致性检查的是同类业务数据转换为自然语言文本时是否使用了同一套模板与表述。这一项容易被忽略但影响实质:若工单记录在不同批次被转换成不同句式与不同字段顺序的文本,预训练子集中就会出现大量表述不一致的同类内容,模型学到的是表述噪声。检查方式是按转换模板统计实际产出的表述模式分布,模式数超过模板数的说明存在口径分叉,需追溯原因。
表 4-3 预处理检查节点的检查项与自动筛查规则
| 检查项 | 自动筛查规则 | 人工核对范围 | 判定口径 |
|---|---|---|---|
| 文本切分合理性 | 块长异常、切分点在句中、章节层级缺失或跳级、同章节块不连续 | 筛出的可疑样本+5% 随机抽样 | 可疑样本确认有误的比例超线则批次退回 |
| 表格与公式还原完整性 | 行列数不符、合并单元格丢失、表头缺失、公式乱码 | 跨页大表与含合并单元格的表全量;其余分层抽样 | 承载判定限值的表格有误即退回该表所在文档 |
| 时序对齐准确性 | 时间戳对齐偏差超容限、采样点数与跨度不一致、补齐与异常处置记录缺失 | 事件锚定切分抽样核对 | 对齐偏差超容限的样本退回重做 |
| 结构化文本化口径一致性 | 实际表述模式数超过模板数 | 口径分叉处追溯核对 | 存在口径分叉即退回统一口径后重做 |
对标注批次检查标签完整性、标签体系符合性、跨标注员一致性指标与黄金集通过率,产出标注环节的门控结论与低一致性样本清单。
四项判定项的数据来源已在 1.9 节建立:标签完整性与标签体系符合性来自自检与抽检记录,跨标注员一致性来自重复标注样本的一致性计算,黄金集通过率来自混入作业流的隐蔽考核。本检查节点的工作是把这四项汇总判定并产出清单。
判定口径按标注任务的客观程度分档,与 1.9.1 节的抽检阈值分档一致。各档的四项判定线如表 4-4。四项中任一项不达线即批次不通过,不做加权折算——四项分别对应四类不同性质的问题,一项不达线说明该类问题存在,用其他项的好成绩抵掉没有意义。
表 4-4 标注检查节点的判定线(按标注任务客观程度分档)
| 任务档次 | 典型任务 | 标签完整性 | 标签体系符合性 | 跨标注员一致性 | 黄金集通过率 |
|---|---|---|---|---|---|
| 客观档 | 工序选择、检验项、指标项、工况分类、标题栏字段 | 趋向 100%,缺失即退回 | 趋向 100%,越界即退回 | Kappa 趋向 0.80 以上 | 趋向 95% 以上 |
| 准则档 | 条款类型、缺陷类型、加工特征、工艺阶段 | 必填字段趋向 100% | 趋向 100% | Kappa 趋向 0.80 以上(有序型加权 Kappa 0.75 以上) | 趋向 90% 以上 |
| 判断档 | 风险等级、根因判定、主导参数、库存决策标签 | 必填字段趋向 100%;允许「无法判定」取值 | 趋向 100% | 记录实测值,不设硬性线;仲裁后一致性达标即可 | 趋向 85% 以上 |
表中「趋向 100%」的口径如下。标签完整性与标签体系符合性两项由工具层的输入约束与自检规则保障,技术上不合规的样本在提交时即被拒绝,批次到达本检查节点时这两项应当已是合规状态,本检查节点的检查为复核。验收口径为抽检样本中不合规项为零;出现不合规项即判定工具层约束或自检规则存在漏洞,处置是退回批次、逐项追溯原因并修补约束规则,修补后对同任务已完成批次做一次复扫。
低一致性样本清单是本检查节点的专门输出。清单按样本列出:样本标识、所属批次、涉及的标签字段、参与标注的工号、各自的标注取值、一致性指标值、分歧类型(规范理解不一致/证据不足/本体类目缺失/标注粗心)。分歧类型的归类决定处置方式:规范理解不一致的修订规范并对同类样本重标;证据不足的转为「无法判定」并记入覆盖盲区;本体类目缺失的提交本体变更;标注粗心的退回原标注员重标并纳入其质量记录。
清单同时是下一版本修订计划的输入之一:清单中「证据不足」与「本体类目缺失」两类分歧指向的是数据与知识的缺口,不是标注作业的问题,这部分转为补采与本体完善任务。
对合成与增强批次检查业务合理性、与真实样本分布的偏离度、重复率与语义漂移程度,产出合成增强环节的门控结论。
四项判定项的检查方式与判定口径如表 4-5。合成批次与增强批次在前三项上的检查方式相同但重点不同,在第四项上的含义不同,故分列。
表 4-5 合成增强检查节点的判定项、检查方式与判定口径
| 判定项 | 对合成批次 | 对增强批次 | 判定口径 |
|---|---|---|---|
| 业务合理性 | 规则校验通过率+业务专家抽样评议(时序类合成为专家全量确认) | 变换配置是否对应真实采集条件下可能出现的差异 | 规则校验通过率低于门控线则批次重做;专家评议不合理比例超线则重做 |
| 与真实样本分布偏离度 | 任务类型、长度、标签取值、业务域、难度五维分布距离 | 变换后分布是否仍落在真实分布范围内 | 任一维度偏离超容限则调整配置后重做 |
| 重复率 | 批次内自重复+与既有样本重复 | 同一源样本的增强副本数是否超上限 | 自重复率超线则重做;与既有样本重复的样本删除 |
| 语义漂移程度 | 生成内容相对种子样本的语义偏离 | 变换前后语义相似度(3.6 节语义一致性校验结果) | 漂移超容限的样本丢弃;批次丢弃率超线则批次回退 |
重复率对增强批次另设一条口径:同一源样本的增强副本数按样本类型设上限,文本类不超过 3 个、图像类不超过 5 个、时序类不超过 4 个,超限部分不入集。不设上限时,易于变换的样本会被反复增强出数十个副本,统计上规模达成而实际信息量不增加,并使模型在这部分样本上过拟合。上限的具体取值在首版实测后按下游效果调整,调整依据与结果进入批次台账;调整只在上述分类上限之内收紧,不上调。
语义漂移对合成批次的含义与对增强批次不同。对增强批次,漂移意味着变换破坏了原语义,是错误;对合成批次,一定程度的内容扩展是合成的目的,漂移的判定针对的是「生成内容是否偏离了种子样本所在的业务范围」——以工艺卡片为种子生成的推理样本若写出了备料分厂不做的工序,就是漂移。判定方式是检查生成内容引用的本体类目、工序、参数项是否全部落在种子样本所属业务域的范围内。
按《高质量数据集质量评测规范》等国家标准,对保真度、完备性、规整性、均衡性、可用性与可信性各维度输出可量化的质检指标结果。
六个维度的指标在本方案中与《数据集质量评测方案》采用同一套定义,不另立口径。本小节给出的是各维度在加工过程内部如何量化、数据从哪里来,以及我方承诺的内部管理基线。承诺的基线是我方内部管理目标,首版实测值作为基线写入数据集卡片,后续版本以提升基线为目标;第三方评测的采信结论以评测机构出具的报告为准。首版实测仅用于标定本方案自设的内部管理基线,不用于下调招标文件已明确的指标——表 4-6 中多模态占比与 3 年内数据占比两项取招标文件的数值要求,实测不足时按 6.11 节第四条补齐缺口,不改写该两项的取值与核算口径。
表 4-6 六维度质检指标的量化口径与数据来源
| 维度 | 本项目的量化指标 | 数据来源 | 计算口径 | 内部管理基线 |
|---|---|---|---|---|
| 保真度 | 内容真实性抽检合格率;结构化文本化转换的回算一致率;图像与时序样本的采集条件记录完整率 | 预处理检查节点与标注检查节点抽检记录、转换日志 | 抽检合格样本数/抽检样本数 | 趋向 98% 以上 |
| 完备性 | 必填字段完整率;样本级元数据完整率;来源与许可凭证完整率;规模目标达成率 | 入口检查节点与标注检查节点记录、规模统计 | 各项按字段逐项统计 | 字段完整率趋向 99% 以上;规模达成按四集目标核算 |
| 规整性 | 格式规范符合率;标签体系符合率;命名与编码规范符合率;重复率 | 入口检查节点与标注检查节点记录、去重结果 | 符合样本数/总样本数;重复率为重复样本数/总样本数 | 符合率趋向 99% 以上;重复率低于规范给定线 |
| 均衡性 | 六维分布的基尼系数或分布距离;长尾类别数与占比;来源偏置系数;多模态占比;3 年内数据占比 | 3.2 节分布统计结果 | 按维度分别计算 | 多模态占比不低于 40%;3 年内数据占比不低于 40% |
| 可用性 | 数据字典与自描述封装完整率;解析脚本可用性;第三方平台解析通过率;验证环节的场景可用性结论 | 版本检查节点记录、第三方解析试验、验证报告 | 解析通过的样本文件数/抽样文件数 | 第三方解析通过率趋向 99% 以上 |
| 可信性 | 标注一致性指标;黄金集通过率;专家判断型标签的分歧率;合成样本占比与溯源完整率;未闭环报警样本占比 | 标注检查节点与合成增强检查节点记录、溯源台账 | 按项分别统计 | 溯源完整率趋向 100%;其余项按 4.4 节分档线 |
表 4-6 给出的是各维度采用哪些指标与数据取自何处,指标本身的计算与取证口径按表 4-6A 执行。表 4-6A 逐指标写明分子、分母、全检或抽样、抽样方式与规模,以及复核方式,使同一指标在不同批次、不同数据集之间按同一口径计算,第三方按同一口径可复算。表中「抽样方式与规模」的通用约定是:按批次分层随机抽样,分层维度为业务域与样本类型(真实/合成/增强);抽样规模以能在两个工作日内完成复核为上限,且不低于批次规模的 5%;判定为关键项的一律全检,不以抽样代替。
表 4-6A 各质检指标的分子、分母、抽样范围与复核方式
| 指标 | 分子 | 分母 | 全检或抽样 | 抽样方式与规模 | 复核方式 |
|---|---|---|---|---|---|
| 内容真实性抽检合格率 | 抽检中与原始资料核对一致的样本数 | 抽检样本数 | 抽样 | 按业务域与资料类型分层随机,比例随批次质量在 5%–20% 之间动态调整 | 质检岗核对原件;判不合格的样本由业务专家复核后定案 |
| 结构化文本化转换回算一致率 | 由转换文本回算出的字段值与源记录一致的样本数 | 参与回算的样本数 | 抽样 | 按转换模板分层,每个模板不少于 50 条 | 自动回算+人工核对差异项 |
| 采集条件记录完整率 | 采集条件六项(相机位置、光照、分辨率、采集时点、测点配置、采样周期)齐备的样本数 | 该批次图像与时序样本总数 | 全检 | — | 自动校验字段非空;缺项清单人工追溯布点与配置记录 |
| 必填字段完整率 | 必填字段无缺失的样本数 | 该批次样本总数 | 全检 | — | 自动校验;缺项按字段汇总后追溯工具层约束 |
| 样本级元数据完整率 | 元数据字段齐备的样本数 | 该批次样本总数 | 全检 | — | 自动校验 |
| 来源与许可凭证完整率 | 有有效凭证且许可用途标记已固化的样本数 | 该批次样本总数 | 全检 | — | 自动校验凭证引用+逐来源人工核验凭证文件 |
| 规模目标达成率 | 去重后实际入集的条数或 Token 数 | 该子集的规模目标值 | 全检 | — | 按去重后清单统计;近似重复不计入分子 |
| 格式规范符合率 | 文件格式、编码、字段类型与命名四项全部符合的样本数 | 该批次样本总数 | 全检 | — | 自动校验 |
| 标签体系符合率 | 全部标签取值落在本体取值域内的样本数 | 该批次标注样本总数 | 全检 | — | 自动校验;越界项逐条追溯本体版本与工具约束 |
| 重复率 | 精确去重与近似去重两道判为重复的样本数 | 该批次(或该子集)样本总数 | 全检 | — | 自动比对;近似重复的命中对按 10% 人工复核判定阈值是否合适 |
| 分布距离与长尾类别占比 | 低于长尾判定线的类别所含样本数 | 该维度样本总数 | 全检 | — | 自动统计;长尾清单由规范编制单元复核处置路径归属 |
| 来源偏置系数 | 占比最高来源的样本数 | 该业务域样本总数 | 全检 | — | 自动统计;超线的来源由项目组确认是否存在系统性差异 |
| 多模态数据条数占比 | 按卡片明示口径计为多模态的样本条数 | 该数据集样本总条数 | 全检 | — | 自动统计;计数口径由质检岗按卡片口径逐类抽验 |
| 3 年内数据条数占比 | 业务发生时间在近 3 年内的样本条数 | 该数据集样本总条数 | 全检 | — | 自动统计;业务发生时间缺失的样本单列并人工追溯 |
| 数据字典与自描述封装完整率 | 已在字典中定义的字段数 | 数据集中实际出现的字段数 | 全检 | — | 自动比对;未定义字段逐项补入字典后重算 |
| 第三方平台解析通过率 | 在独立环境中解析成功的文件数 | 抽样的文件数 | 抽样 | 按目录与文件类型分层,覆盖全部文件类型,总量不低于 200 个文件 | 在不安装本项目任何组件的环境中执行解析试验,失败项逐项定位并修正封装后重试 |
| 标注一致性指标 | 按表 1-11 的指标定义计算(名义型取 Kappa、位置型取 IoU 配对召回等) | 参与重复标注的样本数 | 抽样 | 每批次按规模的 5%–10% 抽取重复标注样本,交两名及以上标注员独立标注 | 自动计算;低于目标值的样本进入低一致性清单并按分歧类型处置 |
| 黄金集通过率 | 隐蔽考核中判定正确的黄金集样本数 | 混入该批次的黄金集样本数 | 全检(针对混入的黄金集样本) | 混入比例按标注规范规定,黄金集样本定期轮换 | 自动判分;不通过项由业务专家复核是否黄金集本身有误 |
| 专家判断型标签分歧率 | 两名专家判定不一致的样本数 | 该类标签的双人判定样本数 | 全检(针对双人判定部分) | 该类标签按判断档比例组织双人判定 | 自动统计;分歧样本进入仲裁,仲裁后仍不一致的并列保留 |
| 合成样本占比与溯源完整率 | 溯源记录十个字段齐备的合成样本数 | 合成样本总数 | 全检 | — | 自动校验;缺项样本退回补记,补不齐的剔除 |
| 未闭环报警样本占比 | 标记为「未闭环报警」的样本数 | 设备运行时序样本总数 | 全检 | — | 自动统计;该占比在卡片局限性说明中披露 |
六维度指标按数据集、按用途子集两级出结果,汇总为版本级质检报告。报告的结构包含:各维度指标值与基线对照、不达基线项的原因分析与整改任务、与上一版本的指标变化、残留问题清单与处置计划。质检报告是数据集版本发布物之一。
图 4-1 五道质检门控与修复工单闭环。数据来源:招标文件 3.2.6.3.8 各项要求。
训练数据与基准评测数据之间执行去重与相似度比对,产出命中样本清单与处置结果;对未通过门控的批次产出修复工单,并跟踪至复检通过。
去重比对是数据集可信性的关键一环,它要防的是评测污染:若训练侧样本包含了评测题目或与之高度相似的内容,验证环节得出的效果结论就是虚的,第三方评测也会在复核中发现。
比对在两个时点执行。第一个时点是合成与增强产出入集前(2.6 节),防止新生成的内容撞上评测集。第二个时点是版本冻结前,对整个训练侧(预训练子集、指令微调子集、偏好对齐子集)与基准评测子集做一次全量比对,这是版本级的保障。
比对方法为两道。精确去重按内容指纹比对,对文本按规范化后的内容计算指纹,对图像按感知哈希计算指纹,对时序按片段的特征摘要计算指纹。近似去重按语义相似度比对,对文本计算向量相似度与词面重叠率,对图像计算感知哈希距离与特征相似度,对结构化样本比对关键字段组合。两道都不命中的判为无重复。
命中样本的处置口径是:命中的训练侧样本删除,评测侧样本保留。理由是基准评测子集的样本来自 A 级真实记录且经审核签发,其权威性高于训练侧样本;删训练侧比删评测侧对数据集整体价值的损失小。处置后产出命中样本清单,记录命中样本标识、所在子集、命中的评测题目标识、命中方式(精确或近似)、相似度值与处置结果。清单随版本交付。
修复工单是本环节与下游各环节衔接的载体。每一张不通过或有条件通过的门控结论生成一张或多张修复工单,工单的字段与流转如表 4-7。工单跟踪至复检通过方可关闭;复检仍不通过的二次返工,二次仍不通过的升级至技术评审,评审可决定该批次不入集并转为下一版本的补采或重做任务。
表 4-7 修复工单的字段与流转
| 字段 | 内容 | 用途 |
|---|---|---|
| 工单号 | 按检查节点与批次编号 | 唯一标识 |
| 来源门控结论 | 检查节点标识、批次号、不达线判定项 | 追溯依据 |
| 问题描述 | 具体不合格项、涉及样本范围、样本清单引用 | 执行依据 |
| 工单类型 | 补登记/补凭证/补脱敏/重做预处理/重标/重合成/重增强/补采/本体变更/规范修订 | 分派依据 |
| 责任单元 | 承接执行的作业单元 | 分派 |
| 期限 | 按工单类型与批次规模设定 | 进度控制 |
| 执行记录 | 处置方式、处置范围、完成时点 | 复检依据 |
| 复检结论 | 通过/不通过/升级评审 | 关闭条件 |
| 关联版本 | 本工单影响的数据集版本 | 版本冻结前的未结事项核查 |
工单台账按数据集与版本汇总,版本冻结前核查未结工单:存在未关闭且影响本版本的工单时,该版本不冻结。这一条是版本冻结的硬约束,五道检查节点的判定结果据此对发布生效。
六个加工环节各自的判定与回退已在各自条款下写明,但分散的条款回答不了一个贯通性的问题:一批数据在链路任意一点被判定不通过时,去向是什么、由谁处置、满足什么条件才能回到主链路、最终在哪里收口。表 4-8 把六个环节的判据、证据与去向并列于一处。
表的七列各有来由。输入与产出两列依招标文件写明的纵向链路次序排布,上一环节的产出即下一环节的输入;判定主体一列对应责任归属,区分质检岗的例行判定与业务专家、技术评审的仲裁判定;判定项与通过条件两列不另立新阈值,取值回指各环节条款——标注按任务客观程度的分档线(表 4-4),合成与增强按容限与门控线,质检按五道检查节点的判定项(表 4-1),验证按四段实验的基线值。阈值或由标准明确给出,或依历史样本实测分布测算,或依工程经验设定并在首批实测中校准;校准只对招标文件未定的参数生效。
判定项与通过条件两列合为判据,产出一列是留存的证据物,回退一列是不达线时的去向。数据集质检与数据集项目管理两行是全链条的收口:前者是训练前的门控,后者以未结工单清零作为版本冻结的硬约束。各条回退路径均终止于可裁决的动作:复检通过、重做后复评,或升级技术评审决定不入集并转入下一版本。环节一次通过率以首批实测结果为基线,随规范固化与人员熟练度提升逐步接近既定目标;未达目标的批次按本表回退路径处置,不放宽判定标准。
表 4-8 六环节的输入、产出、判定与回退总表
| 环节 | 输入 | 产出 | 判定主体 | 主要判定项 | 通过条件 | 不通过时的回退 |
|---|---|---|---|---|---|---|
| 数据标注 | 预处理规范化样本、知识本体标签体系、知识库与检索索引 | 五个业务域的标注样本及其质量记录 | 我方质检岗与业务专家(抽检与仲裁) | 标签完整性、标签体系符合性、跨标注员一致性、黄金集通过率 | 按任务客观程度分档达线(表 4-4) | 出低一致性样本清单,按分歧类型分别处置:修订规范重标/转「无法判定」/提交本体变更/退回原标注员 |
| 数据合成 | 真实样本种子、本体与知识图谱约束、工艺准则与规则引擎 | 带溯源记录的合成样本 | 我方质检岗,时序类合成由业务专家确认 | 规则校验通过率、分布偏离度、重复率、语义漂移 | 各项在容限内且占比不超上限 | 单样本丢弃并记规则编号;批次级超线则调整生成配置后重做;时序类未获专家确认不入集 |
| 数据增强 | 已入集的真实与合成样本、分布分析结论 | 带变换算子与参数记录的增强样本 | 我方质检岗 | 语义一致性(规则+模型双通道)、标签一致性、副本数上限 | 批次不通过样本比例在门控线内 | 单样本丢弃;批次超线则整体回退不入版本;两次回退提交技术评审 |
| 数据集质检 | 各环节产出批次 | 五道门控结论、低一致性样本清单、命中样本清单、修复工单 | 我方质检岗 | 见表 4-1 各检查节点判定项 | 门控结论为通过;或为有条件通过(限内部流转、不涉安全与许可与强制质量项)且未结事项在版本冻结前结清 | 生成修复工单,跟踪至复检通过;二次不通过升级技术评审,可决定不入集转下一版本 |
| 数据集验证 | 四个用途子集、固化的评测协议与基座模型 | 四段实验结果、能力增量矩阵与雷达图、场景可用性结论、错样归因与整改闭环记录、《数据集验证报告》 | 我方技术评审与业务专家 | 知识注入有效性、通用能力保持、四类微调指标、偏好与安全指标、场景可用性 | 各项达基线且验证报告经评审出具 | 调整训练配置后重跑(上限三轮);仍不达标转语料与标注整改,生成整改任务单并复评 |
| 数据集项目管理 | 各环节产出、质检与验证报告、许可核验与模型许可登记 | 数据集版本封装包(内容+卡片+指纹+质检报告+验证报告+字典+自描述封装)、资产台账、修订计划、移交登记 | 我方项目组与技术评审 | 发布物齐备性、未结工单清零、第三方解析试验通过 | 三项俱备 | 版本不冻结;按修复工单与整改任务单处置后重新提请;解析试验未通过则修正封装后重试 |
要求的总口径是:通过实际训练与评测验证四类数据集的效果,产出发布前的验证结论。
质检回答的是「这批数据合不合规」,验证回答的是「这批数据有没有用」。两者不能互相替代:一个各项质检指标都达标的数据集,完全可能对模型能力没有增量——比如样本都很规整但任务形态与场景需求不匹配,或者数据集的知识早已包含在基座模型中。因此本项目把验证设为数据集版本发布的前置条件,没有验证报告的版本不发布。
验证实验按四段组织,对应四个用途子集:继续预训练实验、微调实验、偏好对齐实验、基准评测。四段不是独立的四件事,而是一条链:同一个基座模型依次经过继续预训练、微调、对齐,在固化的评测协议下对基座模型、继续预训练模型、微调模型与对齐模型执行标准化评测,从而把每一段的能力增量分离出来。四段链式组织正是为了得出各数据集对模型能力增量的量化结论——要量化增量,就必须有可比的前后两点。
实验设计遵循三条原则。
第一条是环境固化。基座模型、训练框架版本、超参配置、评测协议、随机种子与硬件配置在验证期内固化,固化记录随验证报告交付。本项目采用当期能力评测领先的通用大模型作为基座,经统一网关接入,可替换、可评测、可随代升级;基座更换时对已完成的验证实验重跑或明确标注不可比,不在不同基座的结果之间直接比较增量。
第二条是对照明确。每个实验设对照组:继续预训练实验以基座模型为对照,微调实验以继续预训练模型为对照,对齐实验以微调模型为对照。消融实验按数据集与子集设置:去掉某一数据集的样本后重跑,观察相应能力指标的变化,从而给出该数据集的增量归属。
第三条是结论可复现。评测题目、判分规则、评测脚本与结果明细随验证报告交付,使第三方按同一协议可复现结论。这与数据集质量评测方案中第三方评测的实施是衔接的:我方的内部验证结论与第三方评测结论采用同一套评测题目与判分规则,第三方可直接复核。
第四条是数据隔离。训练侧样本、保留集与基准评测子集三者互斥,任一样本只属于其中一方。隔离按来源切分而不按样本切分:同一源文档、同一图号及其版次族、同一炉次、同一道焊缝、同一报警事件时间窗、同一选型项目所派生的全部样本,整体归入同一侧,不拆开分配——按样本随机切分会使同一事实的不同派生样本横跨训练与评测两侧,造成评测结果虚高。设备运行时序另按时间切分,评测侧取训练侧时间范围之后的区段,避免以未来数据训练、以历史数据评测的反向泄漏。保留集在版本周期开始时抽取并冻结,全程不参与训练;基准评测子集按 6.2 节的依赖关系先于训练侧样本入集冻结,入集时逐批与已冻结的评测子集做去重比对(4.7 节)。隔离结果在版本检查节点核查:出现跨侧样本即版本不冻结,不予放行,并追溯切分脚本的分组键配置。
图 5-1 四段验证实验链、标准化评测与错样归因闭环。数据来源:招标文件 3.2.6.3.9 各项要求。
以各数据集的预训练子集开展继续预训练实验,产出知识注入有效性结论,包括领域知识探针结果与保留语料困惑度变化。
继续预训练要回答的问题是:这 615 亿 Token 的语料,有多少变成了模型的领域知识,又有没有损害模型原有的通用能力。两项都要测,只测前者会出现一种常见结果——领域指标上去了,通用能力掉了,模型在实际场景中反而不可用。
领域知识探针按四个业务域分别构建,探针题目来自本体与知识库而不是来自预训练语料本身,这是避免循环论证的关键:若用语料中的句子作为探针,模型背下来就能答对,测不出知识是否真正注入。构建方式是从知识图谱的关系三元组与指标知识库的口径登记中生成填空式与选择式探针,同一知识点构造多种问法以检验知识的可泛化调用。
表 5-1 四个业务域的领域知识探针构建
| 业务域 | 探针知识点来源 | 典型探针形态 | 探针题量口径 |
|---|---|---|---|
| 供需计划 | 合同条款类型与核心要素定义、选型要素与配置对应关系、物料分层规则 | 给工况问应关注哪些选型要素;给条款类型问其核心义务 | 按知识点覆盖度确定,覆盖本体该域全部一级类目 |
| 产品工艺设计 | 封闭工序集合与工序依赖关系、加工特征定义、工艺编制准则 | 给特征问对应工序;给两道工序问先后依赖 | 覆盖 28 道工序与全部加工特征类型 |
| 制造过程 | 「设备—部件—故障模式—现象—原因—处置—备件」图谱、六类运行工况定义、十类焊接缺陷定义 | 给现象问可能故障模式;给缺陷类型问其典型成因 | 覆盖图谱主干关系与全部缺陷类型 |
| 产品质量 | 「工件—工艺参数—切片结果—硬度指标—质检结论」图谱、检验项字典、不合格类型 | 给质量异常问相关工艺参数;给检验项问判定依据 | 覆盖图谱主干关系与全部检验环节 |
探针结果按业务域、按知识点类型两级呈现,与基座模型的探针结果对照给出知识注入增量。预期的结论形态是:某业务域的知识点正确率从基座的若干水平提升到继续预训练后的若干水平,提升幅度在各知识点类型之间的分布如何。不提升或下降的知识点单列并转入错样归因(5.7 节)——这类知识点通常指向语料中该知识的表述稀少或存在矛盾表述。
保留语料困惑度变化测的是通用能力保持情况。保留语料分两部分:通用保留语料(从公开通用语料中抽取、不参与训练)与领域保留语料(从本项目各域语料中按比例留出、不参与训练)。两部分的困惑度变化含义不同:领域保留语料困惑度下降说明领域语言建模能力提升,通用保留语料困惑度上升说明出现了通用能力退化。
判定口径与回退机制如表 5-2。继续预训练实验采用分级判定而不是简单的通过与否(「有条件通过」一词在本节专指 4.1 节的批次门控结论,不用于实验判定):通用能力退化在容限内的可接受,超出容限的调整训练配置(语料混比、学习率、训练步数)后重跑,调整三轮仍不达标的转为调整语料本身——这通常意味着某一部分语料的质量或分布有问题,转入错样归因与整改。
表 5-2 继续预训练实验的判定口径与回退
| 指标 | 判定口径 | 达标处置 | 不达标处置 |
|---|---|---|---|
| 领域知识探针正确率 | 相对基座模型有可测提升,提升幅度按首轮实测值作为基线 | 结论计入验证报告 | 未提升的知识点单列,转错样归因定位语料缺口 |
| 领域保留语料困惑度 | 相对基座模型下降 | 同上 | 未下降的域单列,检查该域语料规模与质量 |
| 通用保留语料困惑度 | 上升幅度在容限内 | 同上 | 超容限则调整语料混比与训练配置后重跑;三轮不达标转语料整改 |
| 通用能力抽样评测 | 在通用评测题目上的表现不显著低于基座 | 同上 | 显著下降则按上条处置,并在验证报告中如实记录 |
以指令微调子集开展微调实验,产出模型在指令遵循、任务完成质量、行业问答准确性与长上下文理解等方面的评测结果。
四个方面的评测内容、题目来源与指标如表 5-3。四项中「任务完成质量」与各验证场景的关系最直接,它测的不是通用的回答质量,而是本项目十一个验证场景所需的具体任务能不能完成。
表 5-3 指令微调实验的四类评测
| 评测方面 | 评测内容 | 题目来源 | 指标 | 判分方式 |
|---|---|---|---|---|
| 指令遵循 | 是否按要求的格式、字段、口径输出;多约束指令的约束满足率 | 基准评测子集的格式约束题 | 格式合规率、约束满足率 | 规则判分 |
| 任务完成质量 | 工艺卡片工序序列生成、合同要素抽取、缺陷判定、诊断说明撰写、指标问答取数逻辑 | 基准评测子集的各场景任务题 | 按任务类型分别计:序列相似度、要素 F1、分类准确率、要点覆盖率、取数逻辑一致率 | 规则判分+人工复核 |
| 行业问答准确性 | 制度、标准、标书、决策数据问答的答案正确性与出处正确性 | 基准评测子集的问答题 | 答案正确率、出处命中率 | 规则判分+人工复核 |
| 长上下文理解 | 在项目级多文档输入下的信息定位与跨文档比对 | 按真实项目边界构造的长上下文题 | 定位准确率、跨文档比对正确率、不同长度区间的表现曲线 | 规则判分 |
长上下文题按答案位置分层出题:答案位于输入前段、中段、后段与分散在多处的题目各占一定比例,分别统计表现,并给出随输入长度增长的表现曲线。未分层的长上下文结果不单独采信——答案集中在输入前部的题目只需读取前段即可作答,据此得到的指标高于模型的实际长上下文能力。表现曲线的用途是给出输入长度与效果的对应关系,供场景侧确定输入切分策略。
消融实验在本段按数据集设置:分别去掉四个数据集的指令微调样本后重跑微调,观察各类任务指标的变化,产出「某数据集贡献了哪些任务能力」的归属结论。这一结论是四个数据集各自价值的直接证据,也是下一版本资源投向的依据。
出处正确性在行业问答评测中单独计分,这是本项目的一项实质要求:各通用场景都要求给出出处。只测答案正确率会漏掉一种典型失败——答案对但出处编造。因此评测要求同时判定答案与出处,两者都正确才计全分,答案正确而出处错误计部分分并在错样归因中单列。
以人类偏好对齐子集训练行业奖励模型并开展对齐训练,产出偏好判别准确率、回答质量改善情况与安全合规通过率结论。
奖励模型的训练数据是 6.6 万组偏好对(3.2+0.8+1+1.6)。偏好判别准确率在留出的偏好对上测量,并按偏好对的「优劣差异归因」字段分类统计——这一分类统计比总体准确率更有信息量:若模型在「依据缺失」类差异上判别准确而在「判定准则适用错误」类差异上判别不准,说明奖励模型学到的是表面特征而非专业判断,需要补充该类差异的样本。
回答质量改善情况的测量方式是对齐前后的成对比较:在同一组指令上分别采集微调模型与对齐模型的输出,由业务专家做成对偏好判定,统计对齐模型胜出比例。成对比较的组织要点是盲评与随机顺序,评判人不知道哪个输出来自哪个模型。评判维度按本项目场景的实际需求设定:结论正确性、依据充分性、适用边界说明是否恰当、表述是否符合企业规范。
安全合规通过率测的是输出的内容安全与合规性,评测题目包括三类:涉及工艺参数敏感信息的提问(检验模型是否按权限边界回答)、涉及商业敏感信息的提问(检验是否泄露客户与合同信息),以及诱导性提问(检验是否在证据不足时给出确定性结论)。第三类对本项目尤其重要:诊断与质检场景中模型在证据不足时给出确定性结论,比拒答的危害大得多。本方案要求对齐后的模型在证据不足时输出证据等级与建议的进一步检查项,这与 1.6.4 节诊断说明样本中「证据等级」字段的设计是对应的。
表 5-4 偏好对齐实验的指标与判定
| 指标 | 测量方式 | 分类统计维度 | 判定口径 |
|---|---|---|---|
| 偏好判别准确率 | 留出偏好对上的判别正确率 | 按优劣差异归因类型分类 | 总体准确率与各类准确率均记录;某类显著偏低的补充该类样本 |
| 回答质量改善 | 对齐前后输出的盲评成对比较 | 按结论正确性、依据充分性、适用边界、表述规范四维 | 对齐模型胜出比例显著高于持平与落后之和即判为改善 |
| 安全合规通过率 | 三类评测题目上的通过率 | 按权限边界、商业敏感、证据不足三类 | 三类分别统计;证据不足类要求输出证据等级而非确定性结论 |
| 对齐后能力保持 | 在指令微调实验的四类评测上重测 | 同表 5-3 | 对齐不得造成任务完成质量显著下降,下降则调整对齐强度后重跑 |
对齐后能力保持为必测项:对齐训练在提升输出质量的同时可能损害任务完成能力,故按表 5-3 的四类评测在对齐后重测,下降超过容限的调整对齐强度后重跑,并在验证报告中记录调整前后的对照结果。
以基准评测子集在固化的评测协议下对基座模型、继续预训练模型、微调模型与对齐模型执行标准化评测,产出各数据集对模型能力增量的量化结论与能力雷达图。
评测协议的固化内容包括:评测题目集与版本、判分规则、推理配置(上下文长度、采样参数、是否允许多轮)、人工复核的抽样比例与复核规范、结果统计方法。协议文件随验证报告交付,第三方按此协议可复现结论。
四个模型在同一协议下评测,得到四组结果;相邻两组之差即为对应训练段的能力增量。能力维度按本项目场景需求划分为八项,与十一个验证场景的能力需求对应,如表 5-5。八项即能力雷达图的八个轴。
表 5-5 能力维度划分与对应场景
| 能力维度 | 内涵 | 评测题目来源 | 对应验证场景 |
|---|---|---|---|
| 领域知识 | 矿机装备、工艺、质量、设备领域的事实性知识 | 知识探针与知识问答题 | 全部场景的共同基础 |
| 文档理解与要素抽取 | 从合同、制度、标准、报告中定位与抽取结构化要素 | 合同要素题、制度条款题 | 合同合规审查、管理制度问答、技术标准问答、标书问答 |
| 图纸与特征理解 | 从图纸特征描述中识别加工要求 | 图纸特征题、技术要求解读题 | 板材备料工艺智能设计 |
| 工艺推理 | 按准则在封闭工序集合内选择与排序,并给出依据 | 工序序列题、工艺审查题 | 板材备料工艺智能设计、产品智能选型 |
| 时序与图像判别 | 对时序片段与图像样本的工况、缺陷、异常判别 | 工况分类题、缺陷判定题 | 热处理过程智能监控、焊接过程控制智能监控、刮板输送装备健康智能诊断、智能质量检验 |
| 诊断与归因 | 由现象收敛到故障模式与根因,并给出证据等级 | 诊断说明题、根因判定题 | 刮板输送装备健康智能诊断、质量根因追溯 |
| 数值与规则计算 | 按公式与规则完成校核与核算 | 校核题、取数逻辑题、库存核算题 | 产品智能选型、库存控制智能化、决策数据问答 |
| 长上下文与跨文档 | 项目级多文档输入下的定位与比对 | 长上下文题 | 板材备料工艺智能设计、标书问答 |
能力增量结论按「数据集 × 能力维度」出矩阵:行为四个数据集,列为八个能力维度,格内为该数据集对该能力维度的增量贡献(由消融实验得出)。矩阵给出各数据集对各能力维度的量化增量归属,随消融实验明细一并交付,可按明细逐格复核。
雷达图按模型绘制四条折线(基座、继续预训练、微调、对齐),八个轴为八项能力维度,直观呈现逐段提升与各维度的提升不均衡情况。雷达图随验证报告交付,图中各点的数值与评测明细一并给出,不以图代数。
在各数据集验证场景中以实际业务任务检验数据集效果,产出各场景的可用性结论;场景效果不达预期的,须定位至相应数据子集并回流修复。
本包不负责智能场景的建设,只负责场景验证服务。本小节的工作是:在场景侧提供的验证环境中,以实际业务任务为输入,检验数据集训练出的模型能力是否满足该场景的使用要求,并在不满足时定位到数据侧的原因。场景侧的功能设计与实现不在本节范围。
实际业务任务的选取原则是「真实、可判、有基线」。真实指任务来自企业的日常作业而不是为评测编造;可判指任务的结果有明确的正确与否判定方式;有基线指当前人工作业的水平可测量,从而能够比较。按这三条原则,各场景的验证任务与可用性判定口径如表 5-6。表中的判定口径为我方承诺的内部验证口径,场景侧的正式验收指标以场景验证方案章节与蓝图设计确认结论为准。
表 5-6 各验证场景的数据集可用性验证任务与判定口径
| 验证场景 | 实际业务任务 | 数据集侧可用性判定口径 | 不达预期时的定位方向 |
|---|---|---|---|
| 产品智能选型 | 取历史项目的工况参数,生成选型方案初稿 | 关键要素抽取完整;配置通过双口径安全系数校核;推荐理由指向可比历史项目 | 选型要素标注完整性、效果分级样本量、校核规则样本 |
| 板材备料工艺智能设计 | 取历史图纸,生成备料工艺卡片至可审状态 | 工序序列与已审核卡片的相似度;展开长计算正确;可借用历史工艺检出 | 全链路对应边完整性、特征标注覆盖度、推理样本量 |
| 库存控制智能化 | 取历史时点数据,生成补货与锁定建议 | 建议在资金与交付双约束下自洽;与专家回溯判定的一致性 | 物料分层标注、决策标签的专家一致性 |
| 热处理过程智能监控 | 取历史炉次曲线,识别偏离与给出提示 | 阶段划分正确;偏离识别与标注一致;横向比对调取同材料批次正确 | 时序标注窗口口径、异常事件标注、批次档案关联完整性 |
| 焊接过程控制智能监控 | 取历史焊道参数流与图像,生成参数差异清单 | 参数对齐正确;差异维度与方向正确;表面缺陷判定与检验结论一致 | 一件一档关联完整性、熔池与焊道图像标注量 |
| 刮板输送装备健康智能诊断 | 取历史报警时间窗,输出部件级异常判断与检查顺序 | 工况分段正确;耦合干扰识别;诊断结论的证据等级标注恰当 | 故障配对样本量、未闭环报警占比、工况标注一致性 |
| 智能质量检验与缺陷分类 | 取历史检验批次,输出检验项判定与缺陷分类 | 判定结论与检验记录一致;不合格类型分类正确 | 检验记录结构化标注、缺陷图像等级标注 |
| 管理制度智能问答 | 取实际咨询问题,输出答案与出处 | 答案正确且出处指向有效条款;失效条款不被引为当期依据 | 条款级索引完整性、版本与生效日期标注 |
| 技术标准智能问答 | 同上 | 答案正确且标明标准号与版本年份 | 标准元数据完整性 |
| 标书智能问答 | 取实际标书编写需求,定位可用资料 | 资料分类定位正确;引用内容与原件一致 | 投标资料四类归集完整性 |
| 决策数据智能问答 | 取实际业务提问,输出指标口径、取数逻辑与答案 | 指标口径与指标知识库一致;答案可按取数逻辑复算;口径歧义问题触发澄清 | 指标知识库口径登记、澄清式样本量 |
定位至数据子集是本小节的技术要点。场景效果不达预期有多种可能原因(数据、模型、场景实现、评测设计),要能够指向数据侧的具体子集才构成有效的回流修复依据。定位方法是三步:先在基准评测子集上确认相应能力维度的指标是否同样偏低——若场景效果差而对应能力指标正常,问题可能不在数据侧,结论如实写明并移交场景侧;若能力指标同样偏低,则进入错样归因(5.7 节)定位到具体样本类型;再按归因结论生成整改任务单,指向具体的数据集、子集与样本范围。
对评测错样开展归因分析,产出脏数据、矛盾标注、覆盖盲区与难度分布缺口的结构化整改任务单,并在修复后复评,产出闭环记录。
归因分析的做法是对每一条错样做四类排查,排查顺序按确诊成本从低到高,一旦确诊即归入该类,不重复归类。四类的判别方式、典型表现与整改方向如表 5-7。
表 5-7 错样归因的四类判别与整改方向
| 归因类别 | 判别方式 | 典型表现 | 整改方向 | 整改执行环节 |
|---|---|---|---|---|
| 脏数据 | 追溯该题目及相关训练样本,检查原始数据是否存在错误、缺损或格式问题 | 训练样本中该知识点的表述本身有误;同一事实在两处记录不一致 | 修正或剔除错误样本;追溯至采集或预处理环节修补 | 补采、重做预处理 |
| 矛盾标注 | 检查相关训练样本的标注是否自相矛盾 | 同类样本被标注为不同标签;标注与检验结论冲突 | 提交仲裁定案后重标受影响样本;必要时修订标注规范 | 重标、规范修订 |
| 覆盖盲区 | 统计相关知识点或任务类型在训练侧的样本数 | 该知识点在训练侧样本数为零或极少 | 补采真实样本;真实样本不可得的用合成补齐并标明 | 补采、合成 |
| 难度分布缺口 | 按难度分档统计该任务类型的训练样本分布 | 训练样本集中在简单档,评测错样集中在困难档 | 定向补充困难档样本;调整增强策略提升难度覆盖 | 标注、合成、增强 |
四类之外设「其他」类,用于归因不指向数据侧的错样(模型能力限制、评测题目本身有歧义、判分规则不适用)。这一类的处置是:评测题目有歧义的修订题目并记录修订,判分规则不适用的修订规则,模型能力限制的如实记录在验证报告中并说明其不属数据侧问题。归入「其他」类的错样不生成数据侧整改任务单,避免把不属数据侧的问题投入无效整改。
整改任务单的结构与修复工单(4.7 节)一致,但来源与触发不同:修复工单来自质检门控,整改任务单来自验证错样归因。两者共用同一套工单流转与台账,便于统一跟踪。
复评是闭环的最后一步。整改完成后,对受影响的评测题目重新评测,并同时重测该能力维度的整体指标,防止「改对了这几道题、整体没改善」的情形。复评结果与整改前对照,构成闭环记录:错样标识、归因类别、整改任务单号、整改内容与范围、复评结果、是否闭环、未闭环原因。闭环记录随验证报告交付。
整改涉及训练侧样本变动的,须判定是否重跑实验,以及已发布版本是否重发,判定口径如表 5-7A。判定的基本原则是:改动了训练侧样本就不能沿用改动前的实验结果,但重跑范围按改动所影响的训练段确定,不一律从头重跑;已发布版本的处置按结论是否改变区分,结论改变的必须重发并通知已获取方,不以「下一版修正」代替。
表 5-7A 整改后的重跑范围与已发布版本的重发口径
| 整改涉及的改动 | 重跑范围 | 对本版本的处置 | 对已发布版本的处置 |
|---|---|---|---|
| 仅修订评测题目或判分规则,训练侧未变动 | 仅重判受影响题目,不重跑训练 | 更新评测结果与协议版本,记入验证报告 | 换发验证报告修订版;数据集内容与指纹不变 |
| 剔除或修正少量训练侧样本,占该子集比例在规范给定线以内 | 重跑受影响的训练段及其后各段评测 | 以修订号出修复版本;更新版本指纹与卡片受影响字段 | 向已获取方推送修复版本与变更说明 |
| 训练侧样本大范围变动,或某一数据集的规模与配比发生实质变化 | 四段实验全部重跑 | 以次版本号出新版本,重新走版本检查节点与验证评审 | 已发布版本标记为被替代,台账记录替代关系 |
| 发现许可或安全问题(许可条款变更、脱敏残留、权限边界处置缺失) | 按影响范围重跑;不影响能力结论的可不重跑 | 立即冻结该版本的对外提供;剔除受影响样本后出修复版本 | 通知已获取方停止使用受影响范围并换发修复版本,处置记录进资产台账 |
| 复评后能力结论发生方向性改变(原判达标改为不达标,或反之) | 按改动所属训练段重跑并重做标准化评测 | 版本不发布或撤回发布建议,重新出具验证结论 | 向已获取方发出结论更正通知,并换发验证报告与数据集卡片 |
复评仍不达标的,按 5.6 节的定位方法重新归因;同一错样连续两轮复评不闭环的,升级技术评审,由评审决定转入下一版本修订计划还是调整该能力维度的内部管理基线,调整只能上调不能下调招标文件已明确的指标(6.11 节第四条)。
产出与数据集版本绑定的《数据集验证报告》,作为该版本数据集发布的前置条件。
报告与版本一一绑定,版本指纹写入报告首页,使报告与所验证的数据集内容可核对。报告的章节结构如表 5-8。报告由项目组编制,经业务专家与技术评审两道评审后出具;评审意见与处置记录作为报告附件。
表 5-8 《数据集验证报告》的章节结构与内容
| 章节 | 内容 | 对应要求 |
|---|---|---|
| 一·验证对象与环境 | 数据集版本与指纹、各子集规模、基座模型与训练框架版本、超参配置、评测协议版本、硬件配置 | 招标文件相应条款固化评测协议 |
| 二·继续预训练验证 | 领域知识探针结果(按域与知识点类型)、保留语料困惑度变化、通用能力保持情况、知识注入有效性结论 | 招标文件相应条款 |
| 三·指令微调验证 | 指令遵循、任务完成质量、行业问答准确性、长上下文理解四类结果;按数据集的消融结论 | 招标文件相应条款 |
| 四·偏好对齐验证 | 偏好判别准确率(按差异类型)、回答质量改善的盲评结果、安全合规通过率、对齐后能力保持 | 招标文件相应条款 |
| 五·标准化评测与能力增量 | 四个模型的评测结果、「数据集 × 能力维度」增量矩阵、能力雷达图及其数值明细 | 招标文件相应条款 |
| 六·场景可用性结论 | 各验证场景的任务、结果、可用性结论;不达预期场景的定位结论 | 招标文件相应条款 |
| 七·错样归因与整改闭环 | 错样归因统计、整改任务单清单、复评结果、闭环记录、未闭环事项 | 招标文件相应条款 |
| 八·发布建议与使用限制 | 本版本是否建议发布、建议的适用用途、已知局限性、使用限制(许可条款限制、低可信度样本占比等) | 招标文件相应条款 |
| 附件 | 评测协议文件、评测题目与判分规则、结果明细、消融实验明细、评审意见与处置记录 | 招标文件相应条款可复现要求 |
第 8 章「发布建议与使用限制」逐项写明已知局限性与使用限制,包括覆盖不足的类目、低可信度样本的占比、合成样本的占比、专家判断型标签的分歧率、许可用途受限样本的占比;未列出局限性的验证报告不予出具。这些内容同时写入数据集卡片的局限性说明,与质量评测指标体系中「局限性说明」一项逐项对应,两处取值不一致的以报告为准并回改卡片。如实披露是使用方判断适用性的依据,也是数据集后续流通中确认适用边界的依据。
要求的总口径是:按数据集与用途子集组织生产、版本与发布,产出可交付的数据集版本及其配套档案。
前面五个环节产出的是样本,本环节产出的是数据集。两者的差别不在内容而在形态:样本是加工产物,数据集是可交付、可移交、可脱离本项目环境被第三方使用的资产。甲方的建设目标里写得很清楚——数据集要服务行业相关用户,要按「统一目录标识、统一身份登记、统一接口要求」接入国家数据基础设施,要在数据交易所挂牌、上架、交易。
这些用途对交付形态提出了具体要求:没有数据集卡片,使用方不知道这是什么;没有数据字典,第三方平台解析不了;没有版本指纹,流通中无法确认收到的是哪一版;没有许可状态登记,交易环节无法确权。
因此本环节的工作可以归结为四件事:把生产组织成项目与任务(6.2 节),把产出组织成版本与发布物(6.3 节),把版本做成能脱离平台被解析的封装(6.4 节),以及把版本的后续演进与移交管起来(7.5 至 6.7 节)。
为四类数据集分别建立数据集项目,并在项目下按预训练、有监督指令微调、人类偏好对齐、基准评测四个用途子集分别建立生产任务。
组织结构是两层:四个数据集项目,每个项目下四个用途子集的生产任务,共十六个生产任务。十六个任务不是平均用力的——它们的规模、工艺路线与资源构成差别很大,分别组织的意义正在于让各任务按自己的规律推进而不互相拖累。
表 6-1 四个数据集项目与十六个生产任务的组织
| 数据集项目 | 预训练子集任务 | 指令微调子集任务 | 偏好对齐子集任务 | 基准评测子集任务 |
|---|---|---|---|---|
| 供需计划数据集 | 276 亿 Token:合同与招投标文档长文本、业务数据文本化、外部行业语料 | 40 万条:选型问答、合同审查问答、库存决策问答 | 3.2 万组:审查结论优劣对、选型方案优劣对 | 0.4 万条:要素抽取题、风险判定题、核算题 |
| 产品工艺设计数据集 | 70 亿 Token:图纸技术要求与工艺卡片文本、制图标准与工艺编制准则 | 10 万条:工艺卡片生成、工艺审查、借用判定、共料排料 | 0.8 万组:工序序列优劣对、推理依据充分性对 | 0.1 万条:工序序列题、展开长计算题、特征识别题 |
| 制造过程数据集 | 105 亿 Token:设备档案与维修诊断文本、时序事件文本化描述 | 15 万条:诊断说明生成、多轮排障、工况判别、参数差异分析 | 1 万组:诊断结论优劣对、证据等级恰当性对 | 0.2 万条:工况分类题、故障模式题、诊断说明题 |
| 产品质量数据集 | 164 亿 Token:检验记录与质量报告文本、质量知识、缺陷判定依据 | 24 万条:检验项判定、缺陷分类、根因追溯问答 | 1.6 万组:判定结论优劣对、根因归因优劣对 | 0.25 万条:判定题、分类题、追溯题 |
规模口径合计为预训练 615 亿 Token、指令微调 89 万条、偏好对齐 6.6 万组、基准评测 0.95 万条,与招标文件各数据集规模要求表一致(节);各数据集的规模分解、数据卡字段与规模达成的验证方式详见「四大数据集建设及指标要求」章节,本节不重复。
每个生产任务建立独立的任务档案,记录八类内容:任务范围与规模目标、工艺路线(经过哪些加工环节、各环节的作业单元)、批次台账、质检门控记录、修复工单与整改任务单、进度与里程碑、资源投入记录、已知风险与处置。任务档案是项目管理的基本单位,也是版本发布时抽取建设过程说明的来源。
十六个任务的工艺路线并不相同,这是分别建立任务的直接理由。预训练子集任务的主体是采集、预处理与去重,标注环节的参与程度低;基准评测子集任务的主体是从 A 级样本中抽取与出题,合成与增强环节不参与;偏好对齐子集任务的特点是依赖标注与合成两个环节的配合产出成对样本。工艺路线的差异如表 6-2。
表 6-2 四类用途子集生产任务的工艺路线差异
| 用途子集 | 采集 | 预处理 | 标注 | 合成 | 增强 | 质检门控 | 验证实验 |
|---|---|---|---|---|---|---|---|
| 预训练 | 主体环节 | 主体环节 | 轻度参与(结构化事实转写) | 参与(占比不超过 20%,基线取值、判定方法与超限处置见 2.6 节) | 参与(文本改写与长上下文构造) | 入口检查节点、预处理检查节点、合成增强检查节点、版本检查节点 | 继续预训练实验 |
| 有监督指令微调 | 参与 | 参与 | 主体环节 | 主体环节 | 参与 | 入口检查节点至版本检查节点 | 微调实验 |
| 人类偏好对齐 | 参与 | 参与 | 主体环节(优答) | 主体环节(劣答) | 轻度参与 | 入口检查节点至版本检查节点 | 奖励模型与对齐实验 |
| 基准评测 | 参与 | 参与 | 主体环节(A 级样本) | 不参与 | 不参与 | 入口检查节点至标注检查节点、版本检查节点 | 标准化评测 |
任务之间的依赖关系在项目计划中显式管理。最关键的一条依赖是:基准评测子集的出题须在训练侧样本大规模入集之前完成并冻结,否则无法做有效的去重比对——若评测题目在训练样本入集之后才确定,出题人难免受已有样本影响,评测的独立性受损。本方案的处置是在每个版本周期内先冻结评测子集,再放行训练侧样本入集,入集时逐批与已冻结的评测子集做去重比对。
十六个生产任务的排产依据是工时测算,测算口径按作业单位统一,不按人头估算。六个加工环节内的作业单位取三类:标注工位·日(一名标注员一个工作日的有效作业量)、质检工位·日、实验机时(验证实验占用的训练与评测算力时长)。各环节的产能基准按表 6-2A 取值,基准值在首版试点中实测标定后写入项目计划,并在每个版本周期结束时按实际完成量回归修正。
表 6-2A 各加工环节的产能基准与工时测算口径
| 环节与对象 | 产能基准单位 | 基准取值的确定方式 | 工时测算口径 | 影响产能的主要因素 |
|---|---|---|---|---|
| 文档类标注(合同、制度、标准) | 份/标注工位·日 | 首版试点按条款数分档实测 | 批次份数 ÷ 产能基准 × 返工系数 | 条款数、是否需模板基线对照、风险判定比例 |
| 图纸几何层标注(核对与补齐) | 张/标注工位·日 | 按解析可用度分档实测,解析可用度高的核对为主 | 同上 | 视图数、明细栏行数、解析结果可用度 |
| 图纸工艺层与全链路对应标注 | 张/标注工位·日 | 按特征数与对应边数分档实测 | 批次张数 ÷ 产能基准 × 返工系数 | 特征数、对应边数、是否属可借用既有零件 |
| 图像标注(熔池、焊道、工件外观) | 张/标注工位·日 | 按缺陷密度与框型分档实测,线状缺陷低于面状缺陷 | 同上 | 缺陷密度、框型、是否需等级判定 |
| 时序标注(热处理、焊接、设备运行) | 时间窗/标注工位·日 | 按窗口长度与标签组数分档实测 | 同上 | 窗口长度、异常事件密度、是否需跨系统取证 |
| 关联标注(质量结果与工艺参数) | 条/标注工位·日 | 按关联键完整程度分档实测 | 同上,纸质报告录入工时单列 | 关联键完整度、纸质报告数字化进度 |
| 抽检与一致性校验 | 样本/质检工位·日 | 按抽检比例与标签复杂度实测 | 批次规模 × 抽检比例 ÷ 产能基准 | 抽检比例(1.9.1 节动态调整)、分歧率 |
| 合成与增强作业 | 条/批次 | 由生成配置的拒绝采样倍率推算 | 目标条数 × 拒绝采样倍率 ÷ 单位时间生成吞吐 | 采样倍率、校验通过率、专家确认排队 |
| 验证实验 | 实验机时/轮 | 按子集规模与基座规模实测 | 轮数 × 单轮机时 ×(1+重跑裕量) | 重跑轮数(上限三轮)、消融实验组数 |
| 业务专家参与 | 议题/专家·日 | 按仲裁与确认的历史耗时实测 | 议题数 ÷ 产能基准 | 议题批量化程度、意见归档回灌的复用率 |
返工系数按各任务的历史返工轮次取值,首版试点前按规范给定的保守值预置,试点后按实测返工率调整。工时测算结果进入各生产任务的任务档案「资源投入记录」一栏,与实际投入逐期对照;连续两期实际投入超出测算值规范给定幅度的,重新标定该环节的产能基准,不以加班压缩工期的方式吸收偏差。
十六个生产任务并行推进,排程按三条规则组织。
第一条是前置冻结优先。基准评测子集的出题与冻结排在训练侧样本大规模入集之前,这是六个环节排程上唯一的强制前后关系;该项延期将顺延其后的全部训练侧入集,故在计划中设为关键路径节点并留出缓冲。
第二条是瓶颈资源优先排程。业务专家与纸质报告数字化是六个环节的两类瓶颈资源:专家参与的议题(仲裁、时序合成确认、专家回溯判定、盲评)按周集中排期,同一专业的议题批量化处理,不按到达顺序逐件占用;纸质检测报告的数字化按关联标注的批次顺序倒排,优先处理已有工件标识与炉次关联键的报告。
第三条是批次级流水并行。同一生产任务内,标注、合成、增强三条线按批次流水推进:一个批次通过标注检查节点即进入下游,不等待同任务全部批次标注完成。各环节的在制批次数设上限,避免下游门控积压造成返工堆积。
排程结果以生产任务为行、以版本周期为列登记在项目计划中;各阶段的具体时点与建设周期的对应安排在项目管理措施章节的总体实施计划中给出,本节不另行排期。
六个加工环节内的变更按五类管理:标注规范与标签体系变更、知识本体变更、生成与变换配置变更、质检门控规则与判定线变更、规模与配比目标变更。任一类变更提出后先做影响评估再决定是否执行,评估结论与执行记录进入变更台账,台账随数据集版本交付。变更类型、影响范围与处置如表 6-2B。
表 6-2B 变更类型、影响评估与处置口径
| 变更类型 | 影响评估要点 | 对已完成批次的处置 | 对在制批次的处置 | 连带更新 |
|---|---|---|---|---|
| 标注规范修订(判定准则实质变更) | 受影响的标签字段、批次范围与样本量;重标工时 | 按 1.9 节返工口径重标受影响批次 | 新批次按新版本执行 | 黄金集同步修订;一致性基线重算;卡片建设过程说明更新 |
| 标注规范修订(仅补充正反例与边界说明) | 是否改变判定结果 | 不追溯重标,保留原规范版本标识 | 新批次按新版本执行 | 培训材料与黄金集补充 |
| 知识本体变更(新增类目) | 新增类目是否已有样本需回标 | 已完成批次按需补标,不重标其余字段 | 在制批次暂停相关字段标注至本体发布 | 标签取值域、数据字典、探针题目同步 |
| 知识本体变更(类目合并或废止) | 受影响样本量与标签映射关系 | 按映射关系批量转换,无法映射的转「无法判定」并记录 | 同上 | 一致性历史值标注口径变更点,不与变更前直接比较 |
| 生成或变换配置变更 | 是否改变样本的业务含义与标签有效性 | 保留原配置版本标识,不追溯重做;新增过滤规则对已入集样本回扫 | 升配置版本并重做首样评审 | 溯源记录、批次台账、占比统计同步 |
| 质检门控规则或判定线变更 | 变更后已通过批次是否仍满足新线 | 按新线复扫已通过批次,不满足的生成修复工单 | 在制批次按新线判定 | 门控规则配置、修复工单类型、报告模板同步 |
| 规模与配比目标变更 | 对各子集规模达成与占比上限的影响 | 重算达成率与占比,超限部分按削减口径处置 | 调整在制批次的目标量 | 任务档案、资产台账、卡片规模字段同步 |
变更的审批层级按影响范围确定:仅影响单一任务且不改变判定结果的,由规范编制单元审定;影响多个任务或改变判定结果的,提技术评审;涉及招标文件明确指标、对外披露口径或已发布版本的,经技术评审后报项目例会。任何变更不得下调招标文件已明确的指标(6.11 节第四条)。
按版本组织数据集产出,每一正式发布版本须产出数据集内容、数据集卡片、版本指纹、质检报告与验证报告。
版本号采用三段式:主版本号.次版本号.修订号。主版本号变更对应数据集结构的变化(新增用途子集、标签体系的不兼容变更、模态构成的实质变化);次版本号变更对应内容的增量(规模增加、覆盖扩展、新增业务域样本);修订号变更对应修复(错误样本剔除、标注修正、元数据补正),不改变数据集的内容构成口径。
版本类型分三类:正式发布版本、内部里程碑版本与修复版本。只有正式发布版本产出完整的五项发布物并对外发布;内部里程碑版本用于验证实验与阶段评审,产出内容与质检报告,不产出完整卡片与验证报告;修复版本在正式版本基础上剔除或修正样本,产出增量说明与变更记录,继承原版本的卡片并更新受影响字段。
表 6-3 版本类型与发布物要求
| 版本类型 | 版本号变化 | 必备发布物 | 发布范围 | 前置条件 |
|---|---|---|---|---|
| 正式发布版本 | 主版本号或次版本号 | 数据集内容、数据集卡片、版本指纹、质检报告、验证报告,另附数据字典与自描述封装文件、资产台账条目 | 对外发布、移交运营平台 | 版本检查节点通过;无未结修复工单与整改任务单;验证报告经评审出具 |
| 内部里程碑版本 | 次版本号带里程碑标识 | 数据集内容、版本指纹、质检报告 | 项目内部 | 标注检查节点与合成增强检查节点通过 |
| 修复版本 | 修订号 | 变更说明、受影响样本清单、更新后的版本指纹、卡片受影响字段的更新、复检记录 | 与原版本一致 | 修复工单关闭;复检通过 |
版本指纹的作用是让任何人拿到一份数据集都能确认它是哪一版、是否被改动过。本方案的版本指纹由三部分构成:内容指纹、清单指纹与元数据指纹。内容指纹对数据集的全部样本文件按规范化排序后逐文件计算摘要再汇总计算;清单指纹对文件清单(文件名、大小、逐文件摘要)计算摘要;元数据指纹对数据集卡片、数据字典与封装描述文件计算摘要。三段指纹与版本号、生成时点一并构成版本标识块,写入数据集卡片首页、质检报告与验证报告首页,并随封装文件交付。
指纹的核验方式随封装文件提供:封装中包含一份核验脚本与核验说明,使用方可在本地重算并与声明值比对。核验失败说明收到的数据集与声明版本不一致,使用方可据此拒收。这一机制对数据集在交易所挂牌与接入国家数据基础设施的场景是必要的——流通链路上的任何一次转存都可能引入改动。
数据集卡片是使用方了解数据集的唯一入口,它的完整程度直接对应质量评测指标体系中说明文档维度的各项指标。卡片的字段结构按四组组织,与评测指标的四个一级项对应。卡片模板全文附于附件章节,本节给出结构与关键字段的填写口径。
表 6-4 数据集卡片的字段结构与填写口径
| 字段组 | 字段 | 填写口径 |
|---|---|---|
| 基本信息 | 数据集名称、版本号、版本指纹、所属业务域、甲方、发布日期 | 甲方与发布主体按项目合同约定填写 |
| 基本信息 | 数据集规模 | 按用途子集分别给出:Token 数、样本条数、组数、存储空间;与规模目标的达成率 |
| 基本信息 | 格式规范 | 文件类型、字符编码、数据结构描述、字段类型定义 |
| 基本信息 | 文件结构 | 目录组织方式、文件命名规则、各目录与文件的内容说明 |
| 基本信息 | 获取渠道与技术支持 | 申请路径与流程、技术支持渠道、问题反馈方式 |
| 基本信息 | 使用便捷性 | 数据字典、解析脚本、示例代码的位置与使用说明 |
| 内容特征 | 模态类型 | 逐模态列出并给出条数与占比;多模态样本的计数口径明示 |
| 内容特征 | 数据分布 | 六维分布统计结果:业务域、任务类型、样本长度、数据来源、模态、时间 |
| 内容特征 | 标签类别 | 全部标签字段、取值域与每个取值的定义,引用本体版本 |
| 内容特征 | 样本示例 | 每个用途子集至少三个代表性样本,含元数据与质量记录 |
| 内容特征 | 局限性说明 | 覆盖不足的类目、低可信度样本占比、合成样本占比、增强样本占比、专家判断型标签分歧率、许可受限样本占比 |
| 建设过程 | 数据来源与采集方式 | 源系统与资料类型清单、采集范围与时间范围 |
| 建设过程 | 加工环节与方法 | 六环节的实施方法摘要、所用工具链、关键参数标定过程 |
| 建设过程 | 标注组织 | 标注规范版本、标注员规模(匿名统计)、三级校验与一致性指标实测值、黄金集通过率 |
| 建设过程 | 质检与验证 | 质检报告与验证报告的引用、六维度指标值、能力增量结论摘要 |
| 建设过程 | 许可与合规 | 数据来源许可状态统计、模型许可登记摘要、脱敏与安全合规处置说明 |
| 应用说明 | 适用用途 | 建议的用途与不建议的用途(后者为责任边界说明) |
| 应用说明 | 使用限制 | 许可条款限制、权限边界、涉密与敏感处置要求 |
| 应用说明 | 已验证的应用效果 | 各验证场景的可用性结论摘要、能力维度增量 |
| 应用说明 | 版本演进与修订计划 | 本版本的变更说明、已知问题、下一版本的修订计划摘要 |
「局限性说明」与「适用用途」两栏逐项写明覆盖不足的类目与不建议的用途,并给出对应的量化占比;两栏内容与质检报告、验证报告中的同名项逐项对齐,不一致的以报告为准并回改卡片。各项指标均填为优秀、未列出任何边界的卡片不予发布:这类卡片在第三方评测与实际使用中无法通过核验,使用方也无从判断其适用范围。
正式发布版本的交付物按一个交付包整体交付,交付包的构成与清单如表 6-4A。清单随包交付并逐项核对,缺项即版本不冻结;核对结果记入移交核验单(6.7 节第一步)。
表 6-4A 正式发布版本交付包的构成与清单
| 目录 | 内容 | 必备性 | 核对方式 |
|---|---|---|---|
| 数据集内容 | 四个用途子集的样本文件,按子集与业务域分目录组织 | 必备 | 文件清单与逐文件摘要比对;条数与规模统计与卡片一致 |
| 元数据与质量记录 | 样本级元数据、质量记录、溯源记录与变换记录 | 必备 | 字段完整率全检;与样本一一对应 |
| 数据集卡片 | 四组字段的完整卡片(表 6-4) | 必备 | 逐字段核对;局限性说明与报告同名项一致 |
| 版本标识块 | 版本号、内容指纹、清单指纹、元数据指纹、生成时点 | 必备 | 在独立环境重算三段指纹并比对 |
| 质检报告 | 版本级六维度指标值、不达基线项的原因与整改、与上一版本的变化、残留问题清单 | 必备 | 指标值与台账统计一致 |
| 验证报告 | 八章正文与全部附件(评测协议、题目与判分规则、结果明细、消融明细、评审意见) | 必备 | 版本指纹与本包一致;评审意见齐备 |
| 数据字典 | 三层字典的机器可读格式与人可读格式各一份 | 必备 | 两份由同一源定义生成;字段覆盖率全检 |
| 自描述封装文件 | 七部分内容的根描述文件 | 必备 | 第三方解析试验通过 |
| 解析脚本与示例代码 | 读取、加载与校验脚本,覆盖常见使用场景 | 必备 | 在独立环境中实际执行通过 |
| 清单与校验信息 | 文件清单、逐文件摘要、核验脚本与核验说明 | 必备 | 使用方可本地重算比对 |
| 许可与合规附件 | 来源许可状态统计、模型许可登记台账摘要、许可用途标记统计、脱敏与安全处置说明 | 必备 | 与表 4-2A 的分流结果一致;禁发布样本不在包内 |
| 过程记录附件 | 命中样本清单、低一致性样本清单、未结事项与修复工单台账摘要、变更台账、修订计划 | 必备 | 未结工单为零;清单引用可解析 |
| 失败样例库与隔离分区 | 失败样例库、许可隔离留存分区 | 不随包交付 | 在我方侧归档保留,核对时确认未混入包内 |
交付包按版本类型裁剪:内部里程碑版本交付数据集内容、元数据与质量记录、版本标识块与质检报告四项;修复版本交付变更说明、受影响样本清单、更新后的版本标识块、卡片受影响字段与复检记录,其余项继承原版本。
产出数据集的数据字典与自描述封装文件,实现原始数据、元数据与数据字典的绑定封装,使数据集在脱离平台后仍能被第三方平台准确解析。
这一条要求的实质是「不依赖奔牛数据智能平台也能用」。数据集的价值在于流通,而流通的前提是接收方不需要本项目的平台就能解析内容。本方案的做法是把解释数据所需的全部信息随数据一并封装,使封装包成为自解释的。
数据字典逐项定义数据集中出现的每一个字段,内容包括:字段标识、中文名称、英文名称、数据类型、长度或精度、单位、取值域或枚举定义、是否必填、默认值、业务含义说明、来源说明(取自哪个源系统的哪个字段,或由哪个加工环节产出)、关联关系(与其他字段或其他数据集的关联键)、引用的本体类目标识与本体版本。
数据字典按三层组织:数据集级字典(数据集通用的元数据字段与质量记录字段)、子集级字典(各用途子集特有的样本结构字段)、业务域级字典(各业务域特有的业务字段与标签字段)。三层之间的字段标识不重复,同名异义的字段在标识上区分并在说明中交代差异。
数据字典以机器可读格式与人可读格式双份提供:机器可读格式供第三方平台自动解析,人可读格式供使用方查阅。两份内容由同一份源定义生成,避免两者不一致。
表 6-5 数据字典的三层组织与典型字段
| 层级 | 覆盖范围 | 典型字段 | 使用场景 |
|---|---|---|---|
| 数据集级 | 全数据集通用 | 样本标识、所属数据集与子集、业务域、来源标识、许可状态、样本类型(真实/合成/增强)、质量记录字段、版本标识 | 第三方平台导入时的通用解析 |
| 子集级 | 各用途子集 | 预训练:文本块、来源页码、章节层级;指令微调:指令、输入、响应、任务类型;偏好对齐:指令、优答、劣答、差异归因;基准评测:题干、标准答案、判分规则、能力维度 | 按用途加载与训练 |
| 业务域级 | 各业务域 | 供需计划:条款类型、风险等级、选型要素、库存决策标签;工艺设计:图元、特征类型、工序代码、参数项;制造过程:工况、故障模式、劣化阶段、缺陷类型;产品质量:检验项、判定结论、不合格类型 | 业务语义理解与标签使用 |
自描述封装文件是封装包的根描述文件,它把数据集内容、元数据与数据字典绑定在一起。文件包含七个部分:数据集标识与版本标识块(含三段指纹)、文件清单与目录结构说明、数据字典引用与内嵌、元数据模式定义(说明元数据字段如何组织)、样本结构模式定义(说明单条样本的结构)、解析指引(读取顺序、依赖关系、字符编码、推荐的解析方式)、校验信息(逐文件摘要与核验方式)。
封装包的目录结构按固定约定组织,使第三方在不读描述文件的情况下也能大致判断内容位置;描述文件则提供精确解析所需的全部细节。封装包另附解析脚本与示例代码,覆盖最常见的读取与加载场景,这一项直接对应质量评测指标体系中「使用便捷性」的要求。
图 6-1 数据集版本封装包的构成与对外移交路径。数据来源:招标文件 3.2.6.3.10 第(2)(3)(5)(6)项与建设目标中接入国家数据基础设施的要求。
第三方解析能力不靠声明而靠试验证明。本方案在每个正式发布版本冻结前执行一次第三方解析试验:在不安装本项目任何组件的独立环境中,仅凭封装包与其中的描述文件、数据字典与解析脚本完成数据集的读取与加载,记录解析成功的文件比例与遇到的问题。解析通过率作为版本检查节点的可用性维度指标之一(表 4-6),内部管理基线为趋向 99% 以上;未通过的文件逐项定位原因并修正封装,修正后重做试验。
依据质检工单与验证归因结论产出下一版本的修订计划,明确需补采、重标、重新合成或重新增强的具体子集与样本范围。
修订计划是把前面各环节的遗留问题变成下一版本的工作清单。它的输入有五项:质检门控产生的修复工单(含未关闭与已关闭但指向数据缺口的)、验证错样归因产生的整改任务单、低一致性样本清单中「证据不足」与「本体类目缺失」两类分歧、分布分析结论中残留的长尾类别与覆盖盲区,以及数据集卡片局限性说明中列出的各项不足。
五项输入经归并与排序后形成修订计划。排序依据三个因素:对场景可用性的影响程度(影响场景结论的优先)、规模与指标达成的影响程度(影响规模目标与多模态、时效性占比的优先),以及实施可行性(依赖外部条件的排在后面并注明依赖)。排序结果分三档:本版本后紧接执行、下一版本周期内执行、列入储备待条件具备。
表 6-6 修订计划的条目结构
| 字段 | 内容 | 说明 |
|---|---|---|
| 条目号 | 按数据集与版本编号 | 唯一标识 |
| 来源 | 修复工单号/整改任务单号/一致性清单/分布分析结论/卡片局限性项 | 可追溯 |
| 问题描述 | 具体缺口或缺陷 | 执行依据 |
| 修订类型 | 补采/重标/重新合成/重新增强/本体完善/规范修订/封装修正 | 分派依据 |
| 目标数据集与子集 | 四个数据集之一与四个用途子集之一 | 范围界定 |
| 样本范围 | 具体样本清单引用或范围条件(业务域、时间范围、标签取值、来源系统) | 工作量估算依据 |
| 预期效果 | 该条目完成后预期改善的指标或场景结论 | 验收依据 |
| 优先级档次 | 紧接执行/下一周期/储备 | 排产依据 |
| 外部依赖 | 需甲方或源系统配合的事项 | 风险提示 |
| 责任单元与期限 | 承接执行的作业单元与完成期限 | 进度控制 |
「外部依赖」一栏逐条写明所需配合内容、责任方与期望时点,作为项目例会的议题推进。六个加工环节内依赖甲方侧配合的事项为:源系统接口的开通范围扩展、数据采集与监控系统的采集范围与采集频率扩展、工艺过程所需图像采集的布点、纸质检测报告的调阅与数字化、业务专家的时间投入。依赖未落实而导致的缺口在数据集卡片局限性说明中如实记录,不以推测数据填充。
修订计划经项目例会评审后发布,作为下一版本生产任务的输入。计划的执行情况在下一版本的质检报告与验证报告中逐条回溯对照:该条目是否完成、完成后的实际效果与「预期效果」一栏的差距、未完成条目的原因与再排期。未回溯对照的修订条目不得关闭。
产出数据集资产台账,记录各版本的样本规模、模态构成、时效性占比、许可状态与使用情况。
资产台账与前面各类台账的视角不同:批次台账与工单台账记录生产过程,资产台账记录资产状态——已有哪些数据集版本、每一版处于什么状态、被谁在什么范围内使用。台账按数据集与版本两级组织,每一个正式发布版本在台账中有一条记录,内部里程碑版本不入台账,修复版本作为原版本记录的修订行。
表 6-7 数据集资产台账的记录字段
| 字段组 | 字段 | 数据来源 | 更新时机 |
|---|---|---|---|
| 标识 | 数据集名称、版本号、版本指纹、发布日期、发布批准记录 | 版本发布记录 | 版本发布时 |
| 规模 | 各用途子集的 Token 数、样本条数、组数、存储空间;规模目标达成率 | 版本统计 | 版本发布时 |
| 模态构成 | 各模态条数与占比、多模态样本条数与占比、模态种类数 | 分布统计结果 | 版本发布时 |
| 时效性 | 按年度的样本条数分布、3 年内数据条数与占比 | 分布统计结果 | 版本发布时 |
| 质量 | 六维度指标值、标注一致性实测值、合成与增强占比 | 质检报告 | 版本发布时 |
| 验证 | 能力增量矩阵摘要、各场景可用性结论、验证报告编号 | 验证报告 | 版本发布时 |
| 许可状态 | 按表 4-2A 的许可用途标记分类统计(完整授权/禁训练/禁发布/隔离留存)、模型许可登记摘要、可对外发布的样本范围 | 许可核验记录与模型许可台账 | 版本发布时;许可条款变更时更新并触发按表 5-7A 的重发判定 |
| 使用情况 | 内部使用记录(用于哪些训练与验证)、对外提供记录(提供对象、时间、范围、依据)、挂牌与上架状态 | 运营平台登记回传、项目记录 | 持续更新 |
| 演进 | 上一版本与下一版本的关联、本版本的变更说明、已知问题、修订计划引用 | 版本记录与修订计划 | 版本发布时与修订计划发布时 |
台账中「许可状态」与「使用情况」两组字段是支撑数据集资产化运营的基础。许可状态按用途标记分类登记,决定一个版本能否对外发布、能发布到什么范围:标记为禁发布与隔离留存的样本不计入「可对外发布的样本范围」,禁训练样本单列其在各子集中的占比。使用情况记录资产的实际流转,是后续评估数据集价值与制定定价策略的依据。本包交付的是台账及其记录机制,台账的后续运营由数据集运营服务管理平台承接。
台账的维护责任与更新节奏在项目管理制度中规定:版本发布时由项目组一次性完成该版本的全部字段录入,使用情况字段在项目期内按月更新,许可条款变更时即时更新并触发对已发布版本可用性的重新评估。
完成数据集向数据集运营服务管理平台的移交与登记, 支撑其后续的挂牌展示、对外发布与接入国家数据基础设施。
移交的对象是完整的版本封装包加台账条目,移交的实质是把数据集从生产状态转为可运营状态。移交按四步执行,每一步有明确的交接物与确认方式,如表 6-8。
表 6-8 移交与登记的步骤、交接物与确认方式
| 步骤 | 内容 | 交接物 | 确认方式 |
|---|---|---|---|
| 一·移交前核验 | 核验版本发布物齐备、未结工单清零、验证报告已出具、第三方解析试验通过 | 移交核验单 | 项目组自检后提请,经技术评审确认 |
| 二·封装包移交 | 按运营平台的接收规范提交封装包与校验信息 | 版本封装包、版本指纹声明、核验脚本 | 运营平台重算指纹比对一致 |
| 三·元数据登记 | 按运营平台的数据集登记字段提交登记信息 | 数据集卡片、数据字典、资产台账条目 | 运营平台登记成功并回传登记标识 |
| 四·接入信息预留 | 提供接入国家数据基础设施所需的目录标识、身份登记与接口对接信息 | 标识登记信息表、接口对接说明 | 运营平台确认信息齐备 |
第四步的职责边界如下。接入国家数据基础设施的技术方案制定与实施,以及数据集在国家数据基础设施中的可信流通与资产化运营,属于运营服务与平台建设的范围(节);本包的职责是按「统一目录标识、统一身份登记、统一接口要求」的接入规范,为所交付的每一个数据集版本准备并提交登记所需的信息与元数据,使运营平台在开展接入时无须回头补齐数据侧信息。
具体需要准备的信息包括:数据集的目录标识登记信息(名称、分类、摘要、关键词、业务域、更新频率)、身份登记所需的权属与责任主体信息、标准接口互联互通所需的数据结构与访问方式说明,以及数据集标识的注册与解析对接所需的标识信息。
移交完成后,数据集的后续演进通过修订计划与新版本发布继续:每一个新版本按同样的四步移交,运营平台按版本管理其挂牌与发布状态。已移交版本在我方侧保留完整档案(封装包、报告、台账、工单与整改记录),保留期限按合同约定;档案是后续争议处置、质量追溯与第三方复核的依据。
六个加工环节的作业按三类角色组织:作业执行、质量判定与专业裁定。三类角色分离是全链条质量控制的组织基础——判定者不参与被判定的作业,裁定者不参与判定。具体分工已在表 1-2 写明;以下给出各环节的作业单元设置与人员投入的组织方式。具体人员的资格证明与简历按招标文件要求在团队配置章节提供。
表 6-9 六个加工环节的作业单元设置
| 作业单元 | 职责 | 覆盖环节 | 关键能力要求 |
|---|---|---|---|
| 规范编制单元 | 标签体系编制、标注规范编制与版本维护、黄金集编制、变换与生成配置审定 | 标注、合成、增强 | 矿机装备业务理解、数据标注方法学 |
| 标注作业单元 | 标注员培训与宣讲、试标讲评、规范问题单处理、批次排班与作业进度协同 | 标注 | 培训组织、作业调度 |
| 合成与增强作业单元 | 生成任务配置与执行、变换算子配置与执行、批次组织 | 合成、增强 | 数据生成方法、规则引擎配置 |
| 质检单元 | 五道门控的检查与判定、抽检执行、清单与工单产出、台账维护 | 全部六环节 | 质量管理、统计方法 |
| 验证实验单元 | 四段训练与评测实验、消融实验、错样归因、报告编制 | 验证 | 模型训练与评测、实验设计 |
| 业务专家组 | 仲裁、时序合成的物理合理性确认、盲评、专家判断型标签的回溯判定 | 标注、合成、验证 | 选型、工艺、热处理、焊接、设备诊断、质量各专业 |
| 项目管理单元 | 项目与任务组织、版本管理、封装与移交、修订计划、资产台账 | 项目管理 | 数据资产管理、版本控制 |
业务专家的参与点为仲裁、时序合成的物理合理性确认、专家回溯判定、盲评与知识库终审。这些工作要求对矿机装备的选型、工艺、热处理、焊接、设备诊断与质量各专业有实际经验,不由通用数据人员替代,也不通过增加人力补偿。
本方案的处置是按专业设置专家席位并明确每个席位的投入节奏(集中评审期与常态响应期分列),同时建立专家意见的沉淀机制:每一次仲裁与确认的意见都归档并回灌标注规范与本体,使同类问题不需要重复占用专家时间。专家资源的具体配置与甲方侧业务专家的参与安排在项目管理措施章节与蓝图设计阶段确认。
六个加工环节的工作按版本周期推进,不按环节串行推进。按环节串行的做法是先把全部标注做完再做合成、再做质检、最后做验证,这种做法的问题是质量问题暴露得太晚:要等到最后的验证环节才知道标注口径是否可用,而此时返工成本最高。
本方案采用的推进方式是:先以小规模样本跑通全链条(首版试点),用验证结果校正各环节的口径与参数,再放量生产。首版试点的规模按每个数据集每个用途子集取可完成一次有效验证实验的最小规模,试点的目的不是产出规模而是标定口径——窗口长度(1.6.1 节)、增强副本数上限与副本间差异度下限(4.5 节、3.6 节)、各类合格率基线(4.6 节)、抽检比例(1.9.1 节)、拒绝采样倍率与分布偏离容限(2.1 节、2.6 节)、各环节产能基准与返工系数(6.2.1 节)都在试点中实测确定。
试点实测的作用范围限于上述招标文件未规定的参数。招标文件已明确的指标——四大数据集的规模数值、数据模态不低于 3 种、多模态数据条数占比不低于 40%、3 年内数据条数占比不低于 40%——不随试点实测调整:实测显示达成困难的,处置是按 3.5 节的达成路径加大真实样本的采集与标注投入、按 6.5 节把缺口列入修订计划并推进外部依赖,必要时调整版本节奏,而不是下调指标或改写核算口径。
表 6-10 六个加工环节的里程碑与阶段产出
| 阶段 | 主要工作 | 阶段产出 | 完成判据 |
|---|---|---|---|
| 一·口径准备 | 标签体系编制、各任务标注规范编制、黄金集编制、质检门控规则配置、评测协议初稿 | 标签体系文件、标注规范集、黄金集、门控规则配置、评测协议 | 规范经业务专家评审通过;门控规则在工具中生效 |
| 二·首版试点 | 小规模全链条贯通:标注—合成—增强—质检—验证 | 试点批次、首版门控记录、首版验证实验结果、口径标定结论 | 全链条跑通;各参数标定值写入规范 |
| 三·放量生产(一) | 按十六个生产任务并行推进;重点在真实样本标注与基准评测子集冻结 | 基准评测子集冻结版、各域标注批次、门控记录 | 评测子集冻结;标注批次门控通过率达线 |
| 四·放量生产(二) | 合成与增强作业;分布统计与定向补充;去重比对 | 合成与增强批次、分布分析结论与增强前后对比、命中样本清单 | 规模与占比指标达成;合成增强检查节点通过 |
| 五·版本验证与发布 | 四段验证实验、消融实验、场景可用性验证、错样归因与整改复评 | 《数据集验证报告》、整改闭环记录、数据集卡片、字典与自描述封装、版本封装包 | 验证报告经评审出具;未结工单清零;第三方解析试验通过 |
| 六·移交与演进 | 向运营平台移交与登记、资产台账录入、修订计划发布 | 移交核验单、登记回传标识、台账条目、下一版本修订计划 | 运营平台登记成功;修订计划经例会评审发布 |
六个阶段中阶段三与阶段四存在重叠,阶段五的验证实验在阶段四后期即可对已完成部分启动。各阶段的具体时点与建设周期(至 2028 年 5 月)的对应安排在项目管理措施章节的总体实施计划中给出,本节不另行排期,以免两处计划不一致。
六个加工环节的风险集中在三处,各风险的表现、影响与应对如表 6-11。表中所列为数据侧的风险,项目层面的风险与应对在项目管理措施章节统一论述。
表 6-11 六个加工环节的主要风险与应对
| 风险 | 具体表现 | 对交付的影响 | 应对措施 | 退路 |
|---|---|---|---|---|
| 业务专家时间不足 | 仲裁、回溯判定、盲评、物理合理性确认排不上队 | 判断档标注任务的门控无法判定;时序合成不能入集;专家判断型标签缺失 | 按专业设席位并明确投入节奏;专家意见归档回灌规范,减少重复占用;批量议题集中评审 | 专家不可得的标签转为「无法判定」并计入覆盖盲区,在卡片局限性说明中披露,不以推测值填充 |
| 源数据条件不及预期 | 接口开通范围有限、采集覆盖不足、纸质报告调阅困难、配对关系无法确认 | 关联标注样本量不足;时效性占比与多模态占比达成困难 | 在修订计划「外部依赖」栏逐条列明所需配合与期望时点,进项目例会推进;优先标注关联键完整的样本 | 关联不完整的样本按置信度分级入集并限定用途;缺口如实写入卡片局限性说明与补采计划 |
| 标注一致性不达线 | 判断档任务的 Kappa 值偏低、黄金集通过率不达线、批次反复退回 | 标注批次门控不通过,影响规模与进度 | 按 1.9.1 节动态调整抽检比例;分歧按类型分别处置;规范修订后对受影响批次重标 | 同类分歧三次以上且规范修订无改善的,该标签降级为参考字段并保留多方意见,在卡片中记录实测分歧率 |
三项风险中第一项与第二项都依赖甲方侧的配合,应对措施的有效性取决于配合是否到位;本方案的处置原则是:依赖事项逐条书面化并纳入例会推进,依赖未落实造成的缺口如实记录而不以推测数据填充。这一原则与第 4 节的质检口径、第 5 节的验证报告披露要求是一致的。
以下各项口径在六个加工环节内统一适用,各条款引用同一口径,不另立名称与取值。
第一,样本类型只分三类:真实、合成、增强。三类在样本元数据中有独立标识,占比分别统计并在数据集卡片中分三项披露。真实样本经增强变换后仍标识为增强样本,不计入真实样本;合成样本经增强变换后标识为增强样本并保留其种子为合成样本的溯源链。
第二,质量分级只用一套:A 级(字段完整、经审核签发、有投产或闭环记录)、B 级(缺投产或闭环记录)、C 级(字段不完整或未经审核签发)。A 级可进基准评测子集,B 级进指令微调与偏好对齐子集,C 级仅进预训练子集。1.5.3 节对工艺卡片的分级、1.4.2 节对选型方案效果分级与 1.7 节对关联关系置信度的分级,都归入这一套的判定依据,不另立分级名称。
第三,一致性指标的名称与计算方式按表 1-11 统一,不在不同节使用不同叫法。质检门控(表 4-4)与质量评测方案中引用的一致性指标即此处的指标,数值口径相同。
第四,「趋向」与「不低于」的区别:凡招标文件以数值形式明确要求的指标(多模态条数占比不低于 40%、3 年内数据条数占比不低于 40%、数据模态不低于 3 种、四大数据集的规模数值),本节按原文表述为「不低于」或给出具体数值,并给出达成路径与核算口径;凡本方案自设的内部管理目标(各类合格率、一致性指标、解析通过率),一律表述为「趋向」并附基线确定方式与不达标时的处置。两类表述的区别是实质的:前者是对甲方的指标应答,后者是我方的质量管理目标。
与此相应,首版试点与首批试标的实测值只用于标定招标文件未规定的参数:时序标注的时间窗长度(1.6.1 节)、增强副本数上限与副本间差异度下限(4.5 节、3.6 节)、抽检比例与各档合格率基线(1.9.1 节、4.6 节)、拒绝采样倍率与分布偏离容限(2.1 节、2.6 节)、解析通过率基线(6.4.2 节)。实测值不得用于下调招标文件已明确的指标:实测结果低于招标指标时,处置是加大采集、标注与补采投入并调整资源配置以补齐缺口,必要时调整版本节奏,而不是调低指标或改写核算口径;缺口在当期无法补齐的,按本节第四条如实写入数据集卡片局限性说明与下一版本修订计划,并在验证报告的发布建议中写明。任何变更与标定结论均不构成对已明确指标的下调(6.2.3 节)。
第六,许可限制的处置按用途拆开,不作一概而论的标记放行:禁止用于模型训练的样本不进入三个训练子集,禁止对外发布的样本不进入对外发布版本的封装包,仅允许内部授权用途或合法留存的样本进入独立隔离分区且不计入规模达成;同时受两类限制的按更严的一类执行。分流口径见表 4-2A,样本级以「许可用途标记」字段固化,并作为子集抽取与版本封装的强制过滤条件。
第五,责任边界的表述:本包负责数据集加工生产、质量评测与场景验证,不负责智能场景的建设;人工标注作业由我方按四个数据集分别组织实施,标注规范、标签体系、工具链、黄金集、质检判定与验收返工判定由独立于作业执行的质量判定侧承担;接入国家数据基础设施的技术方案制定与实施属运营服务范围,本包负责为每个版本准备并提交登记所需信息与元数据。
四个数据集的分集要求、其它指标要求以及数据集卡片的字段规范,分别在本节第三至第八部分展开。
招标文件要求通过数据集加工生产验证服务生成供需计划、产品工艺设计、制造过程、产品质量四大数据集,形成多源汇聚、标准统一、时效性强、模态丰富的行业数据资源池。这四个名字不是按系统划分的,也不是按部门划分的,而是按甲方四条真实的业务主线划分的:订单怎么来、图纸怎么变成工艺、工件怎么被加工出来、质量怎么被判定。
甲方的事务系统覆盖已经成型,产品全生命周期管理、企业资源计划、制造执行、质量管理、仓储与物流、协同办公、数据采集与监控、装备远程运维各有承载,业务数据长期留存。真正缺的不是数据,而是数据之间的关联:同一个物理工件的过程事实分散在若干系统与若干纸质记录中,跨系统追一件事仍要人工对账。
因此我方对这四个数据集的理解是:它们是四组按业务对象重新组织过的、带标注与证据的样本集合,而不是四份导出的数据副本。衡量它们建成没有,看的不是落了多少库表,而是三件事能不能成立:样本能不能绑定到施工号、图号、工单号、炉次、焊道、设备编码这些业务对象上;过程数据与质量结论能不能成对;每一条样本能不能溯源回原始数据、加工链路与工具版本。这三件事构成本节全部规模承诺的前提。
四个数据集各自装什么、装多少、怎么证明装够了,是本节逐项作答的内容:第二部分定规模的计量规则、十六个子集的净量—损耗—受理量测算与四层核验;第三至第六部分逐集给出来源构成与四个用途子集的样本结构、难度分层、许可与发布条件;第七部分给模态与时效的占比测算;第八部分给数据卡的出卡粒度与字段落点。
招标文件分四张表给出了四个数据集的规模要求。我方按原表数值承接,汇总如表 1。表中「Token」即词元,是语言模型处理文本时的基本计量单位,其计量规则见本节第二部分。
表 1 四大数据集规模要求与我方承接汇总
| 用途子集 | 供需计划 | 产品工艺设计 | 制造过程 | 产品质量 | 合计 |
|---|---|---|---|---|---|
| 预训练数据集(亿 Token) | 276 | 70 | 105 | 164 | 615 |
| 指令微调数据集(万条) | 40 | 10 | 15 | 24 | 89 |
| 强化学习偏好数据(万组) | 3.2 | 0.8 | 1 | 1.6 | 6.6 |
| 基准测试数据集(万条) | 0.4 | 0.1 | 0.2 | 0.25 | 0.95 |
表 1 数据来源:招标文件第 92—94 页表格 3-1 至表格 3-4 原值;四集合计与招标文件第 45 页项目数据质量目标所列下限(预训练 ≥600 亿 Token、指令微调 ≥80 万条、强化学习偏好 ≥6 万组、基准测试 ≥0.9 万条)及第 46 页业务范围一致,合计值均高于下限。
四张分集表的表头行为招标文件原表的列标题,在表 1 中以「用途子集 / 数据集」二维形式合并呈现;四张分集原表在第三至第六部分各自原样复现,供逐表对照。
项目目标层写的是下限,分集表写的是分配值。我方以分集表的分配值作为生产计划与交付承诺的依据,合计 615 亿 Token、89 万条、6.6 万组、0.95 万条;相对目标下限分别留出 15 亿 Token、9 万条、0.6 万组、0.05 万条的余量。这个余量不是用来宣称超额的,它的用途是吸收质检与验证环节的剔除量。去重、脱敏剔除、标注返工、分布均衡性削峰都会减少可发布样本。没有余量,交付前就只剩下降低质检门槛这一条路。
招标文件要求建成的数据集支撑不少于 11 个行业细分任务场景,业务范围列明了六个专业场景与五个通用场景。四大数据集与这些场景不是一对一关系:一个场景可能取多个数据集的子集,一个数据集也服务多个场景。本包只承担数据集加工生产、质量评测与场景验证,智能场景本身的建设不在本包范围内,因此下图画的是供数与验证反馈的流向,不是场景的实现架构。
1 四大数据集的供数关系与规模核验链路
图 1 四大数据集的供数关系与规模核验链路。数据来源:数据集划分与规模依招标文件第 92—94 页表格 3-1 至表格 3-4;场景清单依第 46 页 2.2 业务范围;核验与移交环节依第 91—92 页 3.2.6.3.9、3.2.6.3.10。
规模数值是承诺,我方按表 1 所列数值组织生产并作为交付依据。覆盖度、完整度、准确率一类比例指标与规模不同,它们受源系统开放范围、历史记录完整度与标注人力影响。这类指标我方一律按「基线值—目标值—未达时的处置」三档写明,表述为逐步接近目标值,不作绝对化承诺。例如多模态样本占比的目标是不低于 40%,我方给出的测算值为 45.9%,同时写明测算所依据的条数口径,以及口径若在蓝图设计阶段被重新定义时的调整办法。这样处理的理由很直接:比例类指标一经承诺即为验收条款,而它的取值取决于口径;把口径与调整办法一并写明,验收时双方按同一口径复算,不会出现「数对口径不对」的争议。
招标文件给出了数值,没有给出计量口径;而「615 亿 Token」按不同分词器、不同去重时点、是否计入合成数据,结果可以相差一倍以上。规模是本包最硬的交付承诺之一,口径不先定死,验收时双方对同一批数据会得出不同结论。
口径要定的是四件事:按什么单位数、数的是哪一个加工阶段的产物、什么时候数,以及哪些东西明明在库里却不能数。前三件决定数字本身,第四件决定数字可不可信——同一批数据,把去重前的副本算进去与算出去,差额可以是两成;把增强出来的改写副本也算进去,差额还要更大。五项计量对象因此逐项按这四件事定死,不留「视情况而定」的余地。
五项之中前四项对应四个用途子集,第五项「数据条数」单列,是因为多模态占比与时效性占比两项指标的分母用的就是它(第七部分)。分母定义不写进规则,占比就无从复算:同一批数据集,把预训练集的篇章条数算进分母与不算进分母,多模态占比可以差出二十个百分点以上。
我方建议在蓝图设计阶段以《数据集规模计量规则》形式与甲方书面确认下表口径,并在每一版数据集卡片中声明本版所用的规则版本号(规则版本一经确认,同一数据集的历次版本不得中途更换,否则版本间规模不可比)。
表 2 数据集规模计量规则
| 计量项 | 单位 | 计量口径 | 计量时点 | 不计入的情形 |
|---|---|---|---|---|
| 预训练数据集 | 亿 Token | 以项目统一确认的分词器对发布态文本计量;图像、时序、视频等非文本模态按其结构化描述文本与标注文本计量,不按像素或采样点折算 | 去重、脱敏、质检通过并发布之后 | 未通过质检的批次;被去重判定为重复的副本;仅存在于中间加工态的临时文本 |
| 指令微调数据集 | 万条 | 一条=一组「指令+输入+参考输出」,同一指令配不同输入计多条,同一输入配多个等价参考输出计一条 | 同上 | 仅改写措辞而语义等价的扩增副本(计入增强批次台账,不计入规模) |
| 强化学习偏好数据 | 万组 | 一组=同一提问下的一对或多对可比较回答及其偏好序,含偏好理由字段方计为有效组 | 同上 | 缺偏好理由或标注员间不一致未裁决的组 |
| 基准测试数据集 | 万条 | 一条=一个带唯一正确答案或评分细则的评测样本,须与训练用样本按来源与时间双重隔离 | 冻结发布之后 | 与指令微调集存在来源同批或内容重叠的样本 |
| 数据条数(占比指标的分母) | 万条 | 四个用途子集中以条或组为计量单位的样本合计;预训练集以 Token 计量,其篇章级样本条数单列统计,默认不计入占比分母 | 同上 | 同上各项 |
表 2 数据来源:计量项与单位依招标文件表格 3-1 至表格 3-4(r05 等);隔离要求依第 91 页 3.2.6.3.9 对基准评测子集固化评测协议的规定;去重与分布控制依第 90 页数据集质检环节要求,具体方法见《数据加工生产二:标注 · 合成 · 增强 · 质检 · 验证 · 项目管理》(【页码:T1B】)。
三条口径须随表 2 一并确认。
其一是合成数据的计入上限。招标文件要求建设数据合成与数据增强环节(3.2.6.3.6、3.2.6.3.7),合成样本是达成规模的正当手段,但合成样本的知识密度低于真实样本。招标文件已明确要求按用途子集控制合成数据占比,且基准评测子集不得使用任何形式的合成数据。我方据此给出具体上限:预训练子集不高于 30%,指令微调子集不高于 45%,偏好子集不高于 50%,基准测试子集为零——基准集全部来自真实业务样本并经人工裁定。该上限写入数据集卡片的内容特征字段,由质检环节自动统计并在超限时阻断发布。
其二是多模态样本的 Token 换算。图纸、缺陷图像、过程曲线本身不产生 Token,产生 Token 的是它们的结构化描述与标注文本。我方不采用把图像折算为等效 Token 的做法,原因是折算系数无公认依据,一旦采用,规模数字就无法被第三方复算。
其三是跨模态去重与合并计数。同一业务对象的多种模态表达——一张缺陷图像、它的结构化描述文本、它在检验报告中的文字结论——属同一条样本的不同字段,合并计一条,不按模态拆成三条。判重以业务对象主键加业务发生时间为键:同一键下的多模态记录先归并,再参与去重与规模计量。跨集之间(如焊接过程参数段与焊接质量结论)以对象标识双向引用关联,引用不产生新的计量条目。该规则使「多模态样本条数」与「样本总条数」取自同一个分母,不会出现模态越多、条数越多的计量膨胀。
规模数值是净交付量,不是投料量。从源系统受理的原始数据到可发布的样本之间,有去重、脱敏剔除、版面还原失败、标注返工与裁决剔除、分布均衡性削峰若干道减量;若按净量组织投料,每一道减量都要靠降低质检门槛来填平。本节因此把每一个子集的投料量先算出来。四个量的定义与关系如下:
- 净交付量:发布态、通过质检、计入规模承诺的样本量,取值即表 1 的分配值。 - 预计损耗率:受理原始量中因去重、脱敏剔除、解析或版面还原失败、标注返工与仲裁剔除、隔离命中剔除、分布削峰而不能进入发布态的比例,分子集测算。 - 受理原始量:须从源系统或外部来源实际受理、投入加工的原始数据量,按「净交付量 ÷(1 − 预计损耗率)」测算。 - 分期产量:受理与加工按四期组织时,各期末的累计净交付量下限。
表 3 十六个子集的来源对象、净交付量、预计损耗与受理原始量(测算)
| 数据集 | 用途子集 | 来源对象与清点口径 | 单位 | 净交付量 | 预计损耗率 | 受理原始量 |
|---|---|---|---|---|---|---|
| 供需计划 | 预训练 | 合同与技术协议件、订单与排产记录行、物料与型谱主数据项、库存与采购单据行、矿方工况与地质资料件、会商与访谈纪要件;按单据号、文档号、主数据编码清点 | 亿 Token | 276 | 32% | 405.9 |
| 供需计划 | 指令微调 | 选型校核案例、补货与库存决策案例、合同与技术协议条款、产销协同工单、客户与工况参数表;按案例号与条款号清点 | 万条 | 40 | 25% | 53.3 |
| 供需计划 | 偏好 | 选型候选排序的专家裁定、补货方案取舍记录、风险提示措辞修改痕迹、报告底稿修订痕迹;按裁定记录与修订版次清点 | 万组 | 3.2 | 35% | 4.9 |
| 供需计划 | 基准 | 未被用于训练的项目集合中的选型、库存、合规、抽取样本;按项目号与业务发生时间双重切分后清点 | 万条 | 0.4 | 42% | 0.7 |
| 产品工艺设计 | 预训练 | 历史二维图纸、与之配对的工艺卡片、专利说明书与公开标准手册、许可范围内的期刊与厂商技术资料、设备与工装台账条目、工艺变更单、定额计算记录;按图号、卡片号、文献号、台账条目号清点 | 亿 Token | 70 | 26% | 94.6 |
| 产品工艺设计 | 指令微调 | 图纸识读与特征抽取案例、工序选择与排序案例、卡片字段生成案例、展开长与定额计算案例、工艺审查差异案例;按图号与工序码清点 | 万条 | 10 | 22% | 12.8 |
| 产品工艺设计 | 偏好 | 工艺卡片从初稿到签发之间的修改痕迹、工序排序方案的评审意见、可借用工艺的选用记录;按变更单号清点 | 万组 | 0.8 | 30% | 1.1 |
| 产品工艺设计 | 基准 | 按零件类型与板厚档位分层抽取、未参与训练的图纸与卡片对;按图号分层清点 | 万条 | 0.1 | 40% | 0.2 |
| 制造过程 | 预训练 | 热处理炉次时序段、焊接设备与机器人参数时序段、在役装备运行时序与报警日志、工单与工序流转记录、运维检修知识条目、装载与计量记录;按炉次号、焊道号、设备编码、工单号清点 | 亿 Token | 105 | 38% | 169.4 |
| 制造过程 | 指令微调 | 热处理曲线偏离案例、焊接参数偏差归因案例、设备健康异常判断案例、工单流转问答、计量与装载登记问答;按时序段标识与工单号清点 | 万条 | 15 | 28% | 20.8 |
| 制造过程 | 偏好 | 同一异常下实际采取与未采取的候选处置、归因结论的复核意见、检查顺序的实际执行记录;按处置记录号清点 | 万组 | 1 | 34% | 1.5 |
| 制造过程 | 基准 | 按同材料批次同装炉方式、同型部件同工况段分组抽取、未参与训练的时序段;按炉次号与部件号分组清点 | 万条 | 0.2 | 45% | 0.4 |
| 产品质量 | 预训练 | 检验项目与检验记录、焊接缺陷图像及标注、无损检测报告(含纸质)、原材料化验与来料批次记录、不合格品票与返修记录、质量追溯链;按检验记录号、缺陷码、报告号、施工号清点 | 亿 Token | 164 | 30% | 234.3 |
| 产品质量 | 指令微调 | 缺陷分类与定级案例、检验项目判定案例、根因追溯链案例、无损检测报告生成与复核案例、不合格品处置案例;按缺陷码与检验记录号清点 | 万条 | 24 | 24% | 31.6 |
| 产品质量 | 偏好 | 多名检验人员对同一缺陷图像的判定差异及最终裁定、根因解释的评审意见、报告表述的修订痕迹;按裁定记录号清点 | 万组 | 1.6 | 32% | 2.4 |
| 产品质量 | 基准 | 按缺陷类别分层抽取、未参与训练的缺陷图像与检验记录;按缺陷码分层清点 | 万条 | 0.25 | 44% | 0.4 |
表 3 数据来源:净交付量依表 1;来源对象依招标文件所列数据范围;预计损耗率与受理原始量为测算值,损耗构成依第 90 页数据集质检环节的去重、脱敏与分布控制要求及第 91 页 3.2.6.3.9 的隔离要求。受理原始量四项合计:预训练 904.2 亿 Token、指令微调 118.5 万条、偏好 9.9 万组、基准 1.7 万条。
损耗率的分集差异有明确来由。预训练子集中制造过程集最高(38%),因为秒级时序按工艺段降采样后,同一工况段的重复描述占比高;工艺设计集最低(26%),因为图纸与工艺卡一一配对、天然低冗余。基准子集的损耗率在四类子集中最高(40%—45%),这不是加工质量问题,而是隔离规则的必然结果:凡与训练样本同批来源或内容重叠的候选样本一律剔除,宁可剔多不可留错,否则评测结果会系统性偏高。
表 4 十六个子集的分期产量、真实数据补充来源与损耗补足路径(测算)
| 数据集 | 用途子集 | 分期累计产量(一期/二期/三期/终期) | 真实数据补充来源 | 损耗补足路径 |
|---|---|---|---|---|
| 供需计划 | 预训练 | 27.6/124.2/234.6/276 亿 Token | 协同办公与企业文档的历史归档批次;纸质合同与矿方资料数字化;许可范围内的行业与政策公开语料 | 先扩源(开通未开通业务域的只读接口)→ 再扩量(纸质数字化批次前移)→ 最后在 30% 上限内以合成补足 |
| 供需计划 | 指令微调 | 3.2/14/32/40 万条 | 历史选型方案回溯标注;业务专家结构化访谈;合同与技术协议条款逐条成题 | 先提高预标注与一致性校验工具链的使用比例降低返工 → 再扩案例来源 → 最后在 45% 上限内以合成补足 |
| 供需计划 | 偏好 | 0/0.8/2.24/3.2 万组 | 历史方案投运使用评价(须增设填报入口);资深工程师对候选排序的裁定 | 投运评价覆盖不足时,来源由投运评价为主调整为专家裁定为主,样本量不变并在卡片记录来源构成变化 |
| 供需计划 | 基准 | 0.08/0.2/0.4/0.4 万条 | 未参训项目集合,按业务发生时间晚于训练截止时间切分 | 不以合成补足;隔离命中剔除后的缺口由扩大未参训项目集合与延后时间切分点补足 |
| 产品工艺设计 | 预训练 | 7/31.5/59.5/70 亿 Token | 产品全生命周期管理系统按图号或项目分批开通的原生图纸;工艺归档卡片;专利说明书与公开标准 | 图纸接口受限时,改以工艺卡片侧结构化文本为主、图纸侧以缩略图与关键尺寸摘要替代,缺口由工艺卡片与专业知识两类来源补足 |
| 产品工艺设计 | 指令微调 | 0.8/3.5/8/10 万条 | 图纸与工艺卡成对样本的逐对成题;工序字典固化后的工序设计成题 | 工序字典未成文时先按知识本体建设路径固化,再据以标注;返工缺口由扩大配对批次补足 |
| 产品工艺设计 | 偏好 | 0/0.2/0.56/0.8 万组 | 工艺变更与审查记录(初稿到签发之间的修改痕迹) | 变更记录不足的工序类别,补充组织专家成对评审,并在卡片标注该类别偏好来源 |
| 产品工艺设计 | 基准 | 0.02/0.05/0.1/0.1 万条 | 按零件类型与板厚档位分层、未参训的图纸卡片对 | 不以合成补足;某一层样本不足 50 条时扩大该层的抽样项目范围 |
| 制造过程 | 预训练 | 10.5/47.25/89.25/105 亿 Token | 数据采集与监控、热处理群控、焊接产线控制、装备远程运维平台的历史时序;运维检修知识文档 | 测点覆盖不足的时段不入集,缺口由扩大工况段覆盖与运维知识条目补足;感知设备到位后按批次回补 |
| 制造过程 | 指令微调 | 1.2/5.25/12/15 万条 | 时序段三段式成题;工艺文件参数窗口与事后检验结论成题 | 粒度不足的设备段落按档位分层保留但不计入细粒度任务,缺口由扩大设备与工况段范围补足 |
| 制造过程 | 偏好 | 0/0.25/0.7/1 万组 | 处置记录填报入口(系统预填、经手人确认) | 填报覆盖不足时,由工艺与检修人员对历史异常段落补做成对裁定 |
| 制造过程 | 基准 | 0.04/0.1/0.2/0.2 万条 | 未参训的炉次与部件分组 | 不以合成补足;分组不足时扩大炉次与部件型号范围 |
| 产品质量 | 预训练 | 16.4/73.8/139.4/164 亿 Token | 质量管理系统结构化检验记录;产线缺陷图像采集;纸质检测与化验报告三档数字化 | 纸质存量超出盘点预估时按三档顺序交付,无损检测报告类来源占比下调,缺口由检验记录与缺陷图像标注文本补足 |
| 产品质量 | 指令微调 | 1.92/8.4/19.2/24 万条 | 缺陷名录与分级判据固化后的逐缺陷成题;追溯链逐链成题 | 判据未成文时先固化判据再标注;返工缺口由扩大检验记录批次补足 |
| 产品质量 | 偏好 | 0/0.4/1.12/1.6 万组 | 多人判级差异与最终裁定(随质量管理系统推行自然产生,按月归集) | 判级差异样本不足的缺陷类别,补充组织盲评产生成对裁定 |
| 产品质量 | 基准 | 0.05/0.12/0.25/0.25 万条 | 未参训的缺陷图像与检验记录,按缺陷类别分层 | 不以合成补足;天然稀少类别的样本不足时以人工构造样本补充,构造样本单列标记、与真实样本分别统计准确率 |
表 4 数据来源:分期累计产量依表 3 净交付量与表 6 各期比例测算;补充来源依各集第五部分所列源系统与资料范围;补足路径依本节第七部分未达量处置顺序与各集局限性小节的回退办法。
受理原始量不由「分配值除以平均 Token 长度」倒推得到——那样算出来的只是一个与源系统无关的商数,盘点时无从核对。实际的算法方向相反:先按业务主键清点来源对象的件数,再乘以该类对象经试点批次实测的单位 Token 产出,得到受理原始量,最后按损耗率折为净交付量;若乘积低于分配值,差额走表 4 的补充来源与补足路径,而不是回头调大单位产出。下表以产品工艺设计数据集预训练子集为例给出完整算式。
表 5 产品工艺设计数据集预训练子集受理原始量的逐对象测算
| 来源对象 | 清点单位 | 对象数 | 单位受理 Token 产出 | 受理原始量(亿 Token) | 折净后归入表 14 的来源类别 |
|---|---|---|---|---|---|
| 历史二维图纸(按图号清点) | 张 | 630,000 | 5,150 | 32.45 | 图纸解析结构化文本 24.0 |
| 历史工艺卡片(与图纸一一配对) | 张 | 630,000 | 3,860 | 24.32 | 历史工艺卡片与工序字典 18.0 |
| 专利说明书(矿山装备与金属加工分类号) | 件 | 120,000 | 8,200 | 9.84 | 机械制图与工艺专业知识、标准规范 11.0 |
| 公开标准与制图、工艺手册 | 件 | 2,200 | 32,000 | 0.70 | 同上 |
| 许可范围内的期刊论文与厂商技术资料 | 篇 | 70,000 | 6,200 | 4.34 | 同上 |
| 设备与工装、样板台账、压弯与排料参数条目 | 条 | 4,050,000 | 300 | 12.15 | 设备与工装、样板台账、压弯与排料参数 9.0 |
| 工艺变更与审查记录单 | 件 | 250,000 | 2,700 | 6.75 | 工艺变更与审查记录 5.0 |
| 排料与材料定额计算过程记录 | 件 | 1,000,000 | 405 | 4.05 | 排料与定额计算过程记录 3.0 |
| 合计 | — | — | — | 94.60 | 70.0 |
表 5 数据来源:历史图纸 63 万张为甲方需求说明书原文所载口径;其余对象数为按甲方现有系统与归档规模所做的规划测算,以蓝图设计阶段的实际盘点结果为准;单位受理 Token 产出为测算值,以试点批次实测值替换;损耗率 26% 依表 3;折净后的六类来源构成与表 14 一致。
算式为:受理原始量 94.60 亿 Token × (1 − 26%)= 70.0 亿 Token,等于表 1 分配给本子集的 70 亿 Token。六类来源折净后分别为 24.0、18.0、11.0、9.0、5.0、3.0 亿 Token,与表 14 的来源构成逐行相等。
这张表同时说明了盘点结果偏离测算时的处置方向。若实际清点得到的历史图纸少于 63 万张,缺口不由调高单位产出掩盖,而是按表 4 的补足路径处理:先扩专利说明书与公开标准手册的受理范围(这两类对象数可外部获取、不受甲方归档进度制约),再扩台账与定额记录的历史区间;两者仍不足时,才在 30% 的合成上限内以合成语料补足,并在数据集卡片的内容特征字段记录本版的实际合成占比。其余十五个子集按同一算式逐项测算,各自的对象数与单位产出在蓝图设计阶段随盘点结果写入《数据集规模计量规则》的附表。
建设周期至 2028 年 5 月。规模不是在末期一次性堆出来的,我方按四期组织生产,每期设累计达成下限,如表 6。各期的达成下限是阶段验收的核对口径,也是发现偏差后尚有时间纠偏的前提;分数据集、分子集的各期产量见表 4。
表 6 四大数据集规模分期累计达成下限
| 用途子集 | 第一期(口径与基线,合同生效起 3 个月内) | 第二期(主体加工,至第 9 个月) | 第三期(补齐与均衡,至第 18 个月) | 第四期(规模达成与复测,至 2028-05) |
|---|---|---|---|---|
| 预训练(亿 Token) | ≥61.5(10%) | ≥277(45%) | ≥523(85%) | 615(计划值) |
| 指令微调(万条) | ≥7.1(8%) | ≥31.2(35%) | ≥71.2(80%) | 89(计划值) |
| 强化学习偏好(万组) | — | ≥1.65(25%) | ≥4.6(70%) | 6.6(计划值) |
| 基准测试(万条) | ≥0.19(探路集,20%) | ≥0.48(50%) | 0.95(首版冻结) | 0.95(第二版冻结并复测) |
| 阶段主要产出 | 计量规则确认、数据集卡片模板定稿、对象主键映射表、四集各一个样例批次 | 四集预训练子集首版发布、指令微调主任务类型覆盖齐 | 模态与时效占比达标测算复核、分布均衡性整形完成 | 首轮全量评测与缺陷整改复测、资产台账终版、移交登记 |
表 6 数据来源:规模值依表 1;期次划分依招标文件第 1 页建设周期与第 92 页数据集项目管理按版本组织产出的要求;基准集冻结与复测依第 91 页 3.2.6.3.9与第 46 页评测要求。
规模数字里有多少是真实业务样本、多少是合成样本、多少是增强副本,必须逐子集说清楚,否则「达量」二字可以用改写措辞堆出来。三类样本按下列定义分开统计,三类的统计口径与计入规则各不相同:
- 真实样本:取自甲方业务系统、纸质归档、人工补录与许可范围内外部来源的样本,内容事实未经模型生成。 - 合成样本:以真实样本为种子、由工具链生成内容主体并经人工或规则裁定的样本,计入规模,受上限约束;合成记录登记种子来源、合成方法、提示词版本与模型版本标识。 - 增强副本:对既有样本作等价改写、裁剪、加噪、重排产生的副本,登记于增强批次台账,不计入规模(见表 2 指令微调一行的不计入情形);其作用是改善训练分布,不是扩量。
表 7 十六个子集的真实、合成、增强计划构成与去重统计口径
| 用途子集 | 真实样本计划占比 | 合成样本计划占比 | 合成上限 | 增强副本(不计入规模) | 集内重复率 | 与基准集交叉命中处置 |
|---|---|---|---|---|---|---|
| 预训练(四集同口径) | 100% | 0%(上限作缺口余量) | ≤30% | 按分布整形需要生成,单列台账 | 基线首版实测/趋向 ≤1.0%/超出时重跑去重并重算规模后方可发布 | 命中样本整条移出预训练子集,记入隔离日志 |
| 指令微调(四集同口径) | ≥60% | ≤40% | ≤45% | 同上 | 基线首版实测/趋向 ≤0.8%/处置同上 | 同上 |
| 强化学习偏好(四集同口径) | ≥70% | ≤30% | ≤50% | 同上 | 基线首版实测/趋向 ≤0.8%/处置同上 | 同上 |
| 基准测试(四集同口径) | 100% | 0%(硬性,不设余量) | 0 | 不适用 | 基线首版实测/趋向 ≤0.3%/处置同上 | 本子集为隔离基准,反向比对训练侧并剔除训练侧命中样本 |
表 7 数据来源:合成上限依招标文件对合成占比控制与基准子集禁用合成的要求;增强副本不计入规模依表 2;去重与相似度比对结论的记录字段依第 90 页质检环节要求。计划占比为测算值,实测值逐版本写入数据集卡片。
四项去重统计随每一版本出具,口径固定为四项:集内重复率(同一子集内按文本指纹与向量近邻双判)、跨子集重复率(同一数据集四个子集之间)、跨集归并条数(按业务对象主键合并的多模态记录数)、与基准集的交叉命中数及其处置结果。四项统计进入数据集卡片与质检报告,并随数据集一同封装,使第三方可复算。
基准子集的独立性由三条同时成立来保证,缺一不可:零合成;来源与时间双重隔离(取自未被用于训练的项目集合,且业务发生时间晚于训练样本截止时间);隔离一经建立不得回填。三条写入评测协议并随基准集冻结,评测时由评测机构核对。
规模达成不靠人工报数,靠四层可复算的核验,逐层收口。前两层证明「这一批是什么、有多少」,后两层证明「这一批合格、够用」。
第一层是清单核验。每一批次发布时随数据集生成校验清单,逐个样本文件登记路径、字节数与内容摘要值,并由数据集质量与分布控制类工具链自动输出规模统计(样本数、Token 数、模态构成、时效性分布、合成样本占比、重复率、去重四项统计)。统计脚本与分词器版本随数据集一同封装,甲方或第三方可在脱离平台的环境中按清单逐项复算。工具链的功能要求见《工具链三:质量与验证类》(【页码:T2C】)。
第二层是版本摘要核验。对校验清单整体计算摘要值,再对数据集卡片中除指纹字段本身以外的全部字段按固定序列化规则计算摘要值,与内容摘要一并构成三段式版本指纹(生成方式见本节第八部分)。版本摘要把「清单所列」与「卡片所声明」锁在同一个值上:任何一个样本被替换、清单被改动或卡片中的规模字段被修改,指纹都会变化。各版本的样本规模、模态构成、时效性占比、许可状态与使用情况同时记入数据集资产台账,台账与清单统计逐版本对账,差异超过 0.5% 的版本不予发布,须先定位差异来源;台账按月出具一份增量报表提交甲方数字化转型工作办公室。
第三层是质检核验。每一批次在发布前出具《数据集质检报告》,按保真度、完备性、规整性、均衡性、可用性、可信性六个维度逐项判定;规模相关的门控项包括去重后净量是否达到本期累计下限、合成占比是否在上限之内、基准子集的隔离命中是否为零。质检结论为「不通过」的批次不得发布,「条件通过」的批次须列出遗留缺陷及其关闭计划。质检门控的执行方法见《数据加工生产二:标注 · 合成 · 增强 · 质检 · 验证 · 项目管理》(【页码:T1B】)。
第四层是评测核验。招标文件要求完成首轮全量评测与缺陷整改复测并输出正式盖章评测报告,评测指标体系中的「规模完整性」一项即衡量数据集规模是否满足目标场景预先定义的要求。我方以第三方评测结论作为规模达成的最终认定依据。评测依据、指标与实施过程见《数据集质量评测方案》(【页码:S3】)。
四层核验的作用是把问题挡在发布之前,被挡下之后怎么办须同样写明。下表逐类给出判定口径、补充办法与重验范围;五类情形的共同约束是不以降低质检门槛的方式过关,且每一次补充与重验都在数据集卡片的版本变更记录中留痕。
表 8 五类异常情形的补充与重验步骤
| 异常情形 | 判定口径 | 补充办法 | 重验范围 | 版本处置 |
|---|---|---|---|---|
| 不足量 | 某期末某子集的累计净交付量低于表 6、表 4 所列该期下限 | 按顺序处置:一、核对源系统开放范围,未开通的业务域转为人工补录与纸质数字化两条替代路径;二、核对标注产能,一致率不达标导致返工的,扩充预标注与一致性校验工具链的使用比例而非放宽一致率要求;三、按表 4 的补充来源扩源扩量;四、最后才在合成上限内补量 | 补量批次单独出质检报告;全子集重算规模统计与四项去重统计 | 本期不发布正式版本,以增量批次合入下一版本;缺口与成因记入卡片的局限性字段 |
| 模态不足 | 某集的多模态条数占比低于测算值,或四集汇总低于 40% 加 5 个百分点的安全边界 | 优先补图像与时序类来源的受理批次(缺陷图像、交检拍照、图纸局部视图、时序段落),而非把单模态样本重复标注成多模态 | 重算该集与四集汇总的多模态占比,核对跨模态归并条数未被重复计入 | 低于安全边界的版本先补批次再发布;占比与分母口径写入卡片 |
| 时效不足 | 某一版发布前重算的近三十六个月条数占比低于 45% 的安全边界 | 补充近期批次:优先取质量管理、制造执行与企业资源计划三类系统的当期增量,这三类的业务发生时间明确且留存完整 | 重算全集时效占比,核对基准日、时间边界与未知业务时间条数的处置 | 补足后方可发布;基准日与区间写入卡片的业务发生时间范围字段 |
| 许可撤回 | 某一来源的授权条款变更、到期或被撤回,或商用可用性核查结论由可用转为不可用 | 该来源样本整批下架并从在用版本中移除;缺口按表 4 的补充来源补足,优先取企业自有数据;受影响批次的血缘记录逐条标注下架原因 | 重算规模、模态与时效三项统计;对下游已发布版本出具影响范围说明 | 发布撤回版本修订号,在版本变更记录中写明撤回范围与替代来源;不以静默替换的方式处理 |
| 评测不通过 | 第三方评测的维度得分未达最低合格标准,或综合总分低于 85 分 | 按评测报告的缺陷清单归因到加工环节,经血缘追溯定位到具体批次与工具版本,作定向回流而非全量重做;规模类缺陷按本表前三行处置,标注与内容类缺陷回标注与质检环节 | 整改后申请缺陷整改复测;复测范围覆盖全部整改批次与受影响的关联子集 | 复测通过后发布新版本并更新卡片的质量与评测字段;复测结论随版本封装 |
表 8 数据来源:异常类型依招标文件第 46 页评测与整改复测要求、第 90—91 页质检与验证环节要求、第 92 页按版本组织产出的要求;许可与合规处置依数据许可与合规审查的登记要求;安全边界取值依本节第七部分与第四部分的测算余量。
表 1 的十六个格子各自是一条独立承诺。某一数据集某一子集超产,不得用于冲抵另一数据集或另一子集的欠产;四集合计达到 615 亿 Token 而供需计划集只做到 240 亿,不算达标。核验时逐格比对,十六格全部达到分配值方判规模达成,台账、质检报告与评测报告三处的规模统计也一律按格出具、不出具合计掩盖分项。
这条规则与占比类指标的核算层级不同,两者不可混用。规模是招标文件按数据集逐表分配的(表格 3-1 至表格 3-4),因此按格承诺、按格核验;多模态占比与近三十六个月占比是招标文件对整套数据集提出的(表格 3-5 及),因此在四集汇总层面核算达标,分集占比如实记录在各自的数据集卡片中。四集汇总核算不是允许冲抵规模,恰恰相反:规模不冲抵是占比可以按汇总核算的前提——十六格都足量,汇总占比才有意义。
计量规则的适用对象分两类,判定方式与可变动性不同。
第一类是招标文件原表给出的数值:表 1 的四集汇总、第三至第六部分各集的规模表、第七部分的其它指标要求表。这一类是交付承诺,不随现场盘点结果变动,按本部分第 1 小节的口径计量、按第 6 小节的四层核验逐版复算、异常情形按第 7 小节处置、达标判定按第 8 小节逐格进行。
第二类是我方的规划测算值:各集内部的来源构成、对象数与单位产出、损耗率与受理原始量、模态构成、时效构成、占比测算与三类样本的计划占比,在各表的来源说明中以「测算」标明。这一类用于说明达成路径与资源安排,其取值随现场数据盘点与蓝图设计阶段的口径确认而调整,调整后的实测值逐版写入数据集卡片的内容特征与建设过程字段,但不改变第一类的承诺值。测算值与实测值出现偏差时,调整的是来源配比、损耗补足路径与生产排期,不是承诺规模。
占比类指标另有一层适用条件:其结果取决于「数据条数」统计基数的定义,基数口径见第七部分第 2 小节。我方的承接值按该小节的口径一计算;若蓝图设计阶段与甲方及第三方评测机构确认改用其他基数,我方按新基数重新测算,并相应调整各集多模态样本与近三年样本的生产计划,总规模与达标结论不变。所用规则版本号与基数口径一并记入每一版数据集卡片,使任一版本的占比结果都可按其声明的口径复算。
招标文件要求本数据集面向「以销定产、以产定采」的供需协同业务主线,聚焦产品智能选型、库存计划优化等业务场景,整合销售、合同、订单、客户、产品、库存、采购、排产等全链路业务数据与历史经验文档,构建覆盖「需求识别—方案匹配—合同合规—产销协同—资源调度」全流程的高质量数据集。
这条主线上的数据困难有三处,数据集的设计必须正面处理它们。第一处在需求输入端。装备按矿井工作面条件定制,选型输入并非全部来自客户单方面提供的文档:产量与作业制度类参数来自矿方生产规划,地质与煤质类参数来自矿方地质条件报告,而截深、截高、推移步距一类接口参数是矿方与配套装备各方会商妥协后确定的,往往只存在于交流过程中,没有规范的电子留痕。
第二处在历史方案端。历史选型方案以文档形式散存,没有结构化库;更关键的是方案留存时未随结论一并留存输入参数,投运之后用得好不好也没有回到选型环节。第三处在口径端。库存口径存在多套并存的情况,商机与成交的对应关系未回溯对齐,余料无可用尺寸台账,外购有效提前期无历史统计。
招标文件进一步要求,通过建设本数据集把沉淀于各业务系统、历史方案与专家头脑中的经验显性化、结构化,支撑「人工智能+供需计划」的全流程智能决策。「专家头脑中的经验」这半句对数据集建设是一条实质要求:它意味着本集中必须有一部分样本不是从系统里导出来的,而是通过结构化访谈、历史方案回溯标注与业务规则提炼生成的。我方把这部分列为独立的生产任务,配专门的采集模板与审核流程,不与系统导出批次混同计量。
2 供需协同业务主线五环节与三处数据困难的位置
图 2 供需协同业务主线五环节与三处数据困难的位置。数据来源:业务主线与全流程环节依招标文件第五章供需计划数据集建设要求;经验显性化与结构化要求依招标文件相应条款;三处数据困难依甲方现场盘点与需求说明书所述现状。
供需计划集在四个数据集中规模最大:预训练子集 276 亿 Token 占四集合计 615 亿的四成五,指令微调 40 万条占 89 万条的四成五。这个分配与上一小节的三处数据困难是一致的——装备按矿井工作面条件定制,一套配置可行不可行,判据散落在矿方的生产规划、地质条件报告、会商纪要与工程师的经验里;要让样本能复现这个判断过程,就得把销售、合同、订单、库存、采购、排产这几条线上十余年的文字记录整体收进来,体量自然最大。
招标文件表格 3-1 原值如表 9,我方按原值承接。原表在此原样复现、不改写、不与别集合并,是因为这四个数字各自是一条独立的交付承诺:预训练子集超产不能冲抵指令微调子集的欠产,本集超产也不能冲抵别集的欠产(第二部分第 8 小节)。验收时逐格比对,照抄原表就是比对的起点。
表 9 供需计划数据集数据规模要求(招标文件表格 3-1 原表)
| 供需计划数据集 | 数据集规模 |
|---|---|
| 预训练数据集(亿 Token) | 276 |
| 指令微调数据集(万条) | 40 |
| 强化学习偏好数据(万组) | 3.2 |
| 基准测试数据集(万条) | 0.4 |
表 9 数据来源:招标文件第 92 页表格 3-1(r05)原值。
276 亿这个数字本身指导不了生产。真正要回答的是:这些文字从哪里来、各有多少、分别卡在什么地方。因此把总量拆到七类来源,每一类标明它的承载系统——拆分的依据不是文档的题材,而是取数的接口:一类来源对应一个要开通的只读账号或一次导出作业。拆到这个粒度,蓝图设计阶段才能逐行去谈接口、谈权限、谈导出批次,而不是拿着一个总数去问「数据什么时候能给」。
若按题材拆,会漏掉一件要紧的事。七类里有一类没有系统承载——供需协同经验与会商结论整理 26 亿 Token,接近总量的一成,对应的正是上一小节所说那部分「只存在于交流过程中、没有规范电子留痕」的接口参数与取舍理由。这部分不会随任何接口自动流出来,要靠结构化访谈与历史方案回溯逐条生成,周期长、人力重、且依赖甲方业务人员的时间。把它单独成行而不是摊进别的来源里,是为了让这块工作量从一开始就被看见、被排期。
预训练子集 276 亿 Token 的来源构成测算如表 10。表中各行之和等于 276,构成比例在现场盘点后可调整,总量不变。
表 10 供需计划数据集预训练子集来源构成(测算)
| 来源类别 | 亿 Token | 主要承载系统或资料 | 模态 | 加工要点 |
|---|---|---|---|---|
| 销售与合同文本(含技术协议、投标与选型方案) | 68 | 协同办公、企业文档 | 文本 | 按合同主体与项目号绑定;敏感商务条款按密级分级处置 |
| 订单、排产与产销协同记录 | 54 | 企业资源计划、制造执行 | 文本(结构化转述) | 结构化记录转为自然语言陈述句式后计量,保留原字段映射 |
| 客户与矿方工况、地质资料 | 42 | 协同办公、企业文档、项目归档 | 文本+图像 | 纸质资料数字化后版面还原;工况参数抽取为参数表并与原文定位绑定 |
| 产品与部件型谱、物料主数据与价格 | 38 | 产品全生命周期管理、企业资源计划 | 文本+图像 | 标准件库补齐适用条件、替代关系、在产状态三项字段 |
| 库存、采购与到货记录 | 34 | 企业资源计划、仓储管理与物流执行 | 文本 | 多套库存口径统一到同一时点口径后入集,口径映射表随集发布 |
| 供需协同经验与会商结论整理 | 26 | 结构化访谈、历史方案回溯 | 文本 | 本集中无系统承载的部分,按专项生产任务组织 |
| 行业与政策公开语料(许可范围内) | 14 | 公开渠道 | 文本 | 逐条登记来源与许可凭证,不可商用的不入集 |
| 合计 | 276 | — | — | — |
表 10 数据来源:总量依表 9;来源类别依招标文件所列业务数据范围;承载系统依第 46 页实施范围与我方对甲方现有系统条件的理解。构成比例为测算值。
指令微调子集 40 万条按任务类型分解:产品智能选型问答与校核推理 13 万条、库存与补货计划决策 9 万条、合同与技术协议合规问答 7 万条、产销协同与排产调度 6 万条、客户与工况参数抽取 5 万条。选型类样本是本集中技术含量最高的一部分,其设计依据是甲方现有公式的性质。
现有公式是校核公式而不是正算公式,工程师必须先凭经验预设一整套配置,再连同工况参数代入验算。因此选型类样本不能只做「给参数出结论」的问答对,必须包含配置候选的生成、逐项校核的中间步骤与排序理由,样本结构为「工况参数+候选配置+校核过程+排序结论+理由」五段式。这类样本的思维链部分由思维链构建类工具链生成初稿、由业务专家裁定,工具链要求见本卷《工具链一:数据构建类》(【页码:T2A】)。
强化学习偏好数据 3.2 万组按偏好对象分解:选型推荐排序偏好 1.4 万组、补货方案取舍 0.9 万组、合同风险提示措辞 0.5 万组、报告底稿质量 0.4 万组。偏好标注的判据来自两处:历史方案的投运使用评价分级,以及资深工程师对候选排序的裁定。前者当前无系统性记录,须在既有流程中增设填报入口由系统预填、经手人确认,属于本集需要从零补录的字段,我方在数据集卡片的局限性字段中如实记录其覆盖进度。
基准测试子集 0.4 万条按能力维度分解:选型校核 0.16 万条、库存决策 0.12 万条、合同合规 0.07 万条、参数抽取 0.05 万条。本子集与指令微调子集按来源与时间双重切分隔离:来源切分指基准样本取自未被用于训练的项目集合,时间切分指基准样本的业务发生时间晚于训练样本的截止时间。隔离一旦建立不得回填,否则评测结果会系统性偏高。
条数定下来,还不等于知道要做什么。一条「产品智能选型问答」样本究竟长什么样、里面必须有哪几段、什么样的算合格,这些不讲清楚,标注员各做各的,交付时拿到的会是四十万条形态不一的东西。
样本结构这一列定的是形状,四个用途子集的形状各不相同,套不了同一个模板。预训练子集是篇章级连续文本,要紧的是每篇都挂得上合同号、订单号、物料编码与业务发生时间,否则这篇文字将来追不回它说的是哪一单生意。指令微调子集是一问一答,但选型类必须写成五段式——甲方现有的是校核公式而不是正算公式,工程师真实的工作是先预设一整套配置再代入验算,样本若只留「参数进、结论出」,就把中间那段最有价值的推理丢掉了。偏好子集一组里必须带理由字段,缺理由的组不计为有效组。基准子集则多一个隔离标记,记明这道题出自哪个项目集合、时间切分点在哪里。
难度分层那一列解决的是另一个麻烦。历史项目里常见工况占了绝大多数,样本按自然比例采下来,多工作面组合选型、跨年度补货测算这类真正费脑子的案例会被淹没在平均值里——模型在这些样本上答错,总体准确率却看不出来。因此逐子集单设长尾配额:指令微调子集的长尾测算占比约 8%,首期配额不低于 3.2 万条;基准子集每个能力维度不低于 50 条。这两个数是首期基线,随现场盘点出的真实工况分布逐期上调;若历史项目中某一长尾类型实在凑不满配额,该类型在评测中单列统计、不并入总准确率,并在数据集卡片中记明实际条数与原因。
表 11 供需计划数据集四个用途子集的样本结构、任务类型与难度长尾
| 用途子集 | 样本结构 | 任务类型与条数分解 | 难度分层与长尾处置 |
|---|---|---|---|
| 预训练 | 篇章级连续文本。每篇带文档标识、来源类别、业务对象主键(合同号、订单号、物料编码)、业务发生时间与版面定位指针;矿方资料的图像来源以版面切片随文引用 | 不分任务类型,按表 10 的七类来源成批组织 | 按篇章长度分三层(一千 Token 以下、一千至一万、一万以上)。长尾为超长技术协议与招标文件正本,切分时保留跨段落指代,单独成批人工抽检 |
| 指令微调 | 指令+输入+参考输出。选型类另含候选配置、逐项校核过程与排序理由,合为「工况参数+候选配置+校核过程+排序结论+理由」五段式 | 产品智能选型问答与校核推理 13 万条、库存与补货计划决策 9 万条、合同与技术协议合规问答 7 万条、产销协同与排产调度 6 万条、客户与工况参数抽取 5 万条 | 按工况参数完整度与候选配置数分三档。长尾为多工作面组合选型与跨年度补货测算,测算占比约 8%,单设配额不低于 3.2 万条,避免被常见案例淹没 |
| 强化学习偏好 | 同一提问下的一对或多对可比较回答+偏好序+偏好理由字段;缺理由的组不计为有效组 | 选型推荐排序偏好 1.4 万组、补货方案取舍 0.9 万组、合同风险提示措辞 0.5 万组、报告底稿质量 0.4 万组 | 按候选之间的差距分档。长尾为近似并列、标注员判定分歧的组,整批转第三人裁定后方可入集 |
| 基准评测 | 题干+唯一正确答案或评分细则+能力维度标签+隔离标记(所属项目集合与时间切分点) | 选型校核 0.16 万条、库存决策 0.12 万条、合同合规 0.07 万条、参数抽取 0.05 万条 | 按能力维度分层,每层样本量不低于 50 条。长尾为罕见工况与跨能力维度组合题,单列统计,不混入总准确率 |
表 11 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 9;难度分层与长尾配额为测算值,依甲方历史项目的工况分布。
形状对了,样本也未必能用。参考答案是谁给的、这份原始资料准不准用、凭什么说它质量合格、够不够格发布——四件事里任何一件悬着,整批样本在验收时都站不住。
许可一列尤其省不得。本集的来源混杂:合同与技术协议含客户名称与价格条款,矿方工况与地质资料的权属在矿方,行业与政策语料来自公开渠道而公开不等于可商用。这些来源一旦混在一起成批入集,将来只要有一条被追究,牵连的是整批而不是那一条。因此逐子集写明许可状态与密级处置,不可商用的在入集前就挡住。
质量证据与发布条件两列是同一件事的两面:证据是拿什么证明,条件是达到什么才放行。四个子集的放行门槛逐级加码——预训练子集四项同时成立,指令微调子集在此之上再加一致率与长尾配额两项,基准子集另立一套(零合成、来源与时间双重隔离、隔离建立后不回填)。这样排列是因为误差会沿训练链路向下传递,越靠近评测端的子集,一旦混入问题样本,后果越不可逆:预训练子集混进重复样本,损失的是训练效率;基准子集混进训练用过的题,整份评测结论作废。表 11 与表 12 的每一行各对应一张子集数据卡,字段落点见第八部分。
表 12 供需计划数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件
| 用途子集 | 标签与参考答案的出处 | 许可状态 | 质量证据 | 用途与发布条件 |
|---|---|---|---|---|
| 预训练 | 无标注,本行不适用 | 企业自有为主;行业与政策公开语料逐条登记来源与许可凭证,不可商用的不入集 | 质检六维度报告、去重四项统计、脱敏抽检结果 | 继续预训练。必填字段齐备、合成占比不高于 30%、集内重复率达基线、脱敏抽检通过,四项同时成立方可发布 |
| 指令微调 | 参考输出取自历史已签发方案与业务专家裁定;校核过程逐项给出公式与取值,过程与结果分别留存 | 企业自有;含客户名称与价格条款的批次按较高密级处理,不对外再分发 | 标注员间一致率与裁决记录、黄金集通过率、质检六维度报告 | 有监督指令微调。在预训练子集发布条件之上,另须一致率达标注规范阈值、长尾配额达标 |
| 强化学习偏好 | 偏好序取自历史方案的投运使用评价分级与资深工程师对候选排序的裁定 | 同指令微调子集 | 标注员间一致率、裁决记录、偏好理由字段完整率 | 人类偏好对齐。理由字段完整率达标、未裁决组清零方可发布 |
| 基准评测 | 人工裁定的唯一答案或评分细则,双人独立出题、第三人复核 | 企业自有;冻结后不再变更 | 与训练侧的隔离命中比对结论、评测协议、复现随机种子 | 基准评测。零合成、来源与时间双重隔离成立、隔离建立后不回填,三条同时成立方可冻结发布 |
表 12 数据来源:标签与参考答案出处依招标文件相应条款所列业务数据范围与经验显性化要求;许可状态依数据许可与合规审查的登记要求;质量证据与发布条件依第二部分表 7、表 8 及第 90 页质检环节要求。
本集以文本为主,多模态样本来自矿方资料扫描件、构件图与选型图、报表图片。以条为单位的样本合计 43.6 万条(40+3.2+0.4),其中多模态样本测算 6.54 万条,占 15%;三年内数据条数测算 23.98 万条,占 55%。时效性占比较高的原因是合同、订单、库存与采购记录近三年的留存与填写完整度明显好于更早期间;客户关系管理系统正在上线、历史数据较少,其项目与商机数据基本全部落在三年内。四集汇总后的占比核算见本节第七部分。
本集有两处已知局限,须写入数据集卡片并在验证报告中复述。一是配套接口参数的会商结论无电子留痕,只能通过历史方案回溯与结构化访谈部分还原,覆盖度以项目为单位统计,近三年项目优先;无法还原的项目在样本中以缺失标记显式保留,不做插补。二是历史方案的投运使用评价须从零补录,补录进度取决于业务流程改造的推进,若至第三期末覆盖度仍低于测算值,偏好子集中「选型推荐排序偏好」一项的样本来源由投运评价为主调整为专家裁定为主,样本量不变,并在卡片中标注来源构成的变化。
招标文件要求本数据集面向研发设计与工艺设计核心业务,聚焦板材备料工艺设计等业务场景,整合企业沉淀的二维图纸、工艺卡片、标准工序、机械制图专业知识等多模态资源,构建覆盖「图纸识别—特征提取—工序设计—工艺卡片生成—审查校核—排料优化」全流程的高质量数据集;并要求沉淀「图纸—特征—工序—卡片—参数」的全链路工艺知识。
本集与其余三集相比有一处结构性优势。甲方历史图纸约 63 万张,且每一张图纸历史上都配有一张已审核签发的工艺卡片,天然构成成对的监督样本。这是四个数据集中唯一一处规模化、已审核、天然成对的监督数据,是本集预训练与指令微调子集的主要来源。与之相对的困难有两处:图纸与工艺卡片的配对关系存在于人的记忆与文件目录中,没有稳定的主键关联;图号与命名规则不统一,同一零件在不同项目中的图号可能不同。因此本集的第一项工作不是解析图纸,而是重建配对关系。
还有一处业务事实决定了本集的工序标签体系。备料分厂的工序集合是固定且封闭的,现掌握的口径为 28 道,以工艺部门确认的正式工序字典为准。工序集合封闭意味着工序设计任务是一个有限标签上的选择与排序问题,而不是开放生成问题——这对标注规范、一致性校验与评测设计都有直接影响:标签空间有限,标注员间一致率可以严格统计;排序结果可以用序列相似度而非文本相似度评分。招标文件要求的工序字典与分档规则当前未成文,我方按本卷《数据加工生产一:采集 · 预处理 · 知识本体 · 知识库》(【页码:T1A】)的知识本体建设路径先行固化,再据以标注。
3 图纸与工艺卡成对样本的形成路径
图 3 图纸与工艺卡成对样本的形成路径。数据来源:图纸与工艺卡片成对关系依甲方数据条件(历史图纸约 63 万张,每张配一张已签发工艺卡片);工序道数 28 道以工艺部门确认的正式工序字典为准;加工环节划分依招标文件第 93 页招标文件相应条款所列全流程。
产品工艺设计集的规模在四集中最小——70 亿 Token、10 万条、0.8 万组、0.1 万条,预训练子集只有供需计划集的四分之一。规模小不等于容易。这一集的样本要成对:一张图纸配它的工艺卡片,图上的坡口、板厚、孔位要对得上卡片里的工序、设备与参数;少了任何一边,这条样本就只是一张图或一页表,教不会任何东西。63 万张历史图纸横跨十余年,其中有多少找得到配套的工艺卡、找到的能不能对上版本,是本集全部工作量的所在。
招标文件表格 3-2 原值如表 13,我方按原值承接。
表 13 产品工艺设计数据集数据规模要求(招标文件表格 3-2 原表)
| 产品工艺设计数据集 | 数据集规模 |
|---|---|
| 预训练数据集(亿 Token) | 70 |
| 指令微调数据集(万条) | 10 |
| 强化学习偏好数据(万组) | 0.8 |
| 基准测试数据集(万条) | 0.1 |
表 13 数据来源:招标文件第 93 页表格 3-2(r05)原值。
70 亿 Token 里,决定这一集成色的是第一行。图纸不是图片——备料分厂在用的原生图纸文件里,每一条线、每一个尺寸标注、每一个图层、几个视图之间的投影关系,都是可以直接读出来的结构化信息。若改用截图再识别的办法,这些关系会在转成像素的那一刻全部丢失,剩下的只是一张看起来像图纸的照片。所以这一行写明直接解析原生图纸文件、不依赖截图识别,并写明解析在内网就地进行——图纸是甲方的核心技术资产,不出内网是前提。
六类来源的排序不按体量,按它们在「图纸—特征—工序—卡片—参数」这条链上的位置:前两类是链条的两端(图纸侧与卡片侧),第三类是读懂这两端所需的专业知识,后三类把工序落到具体的设备、工装、样板与定额上。少掉其中任何一环,链就断在那里:没有工序字典,卡片里的工序名称五花八门,同一道工序在不同卡片上叫三个名字,样本标签就无法封闭;没有排料与定额的计算过程记录,展开长算得对不对就只能看结果、不能看过程。
表 14 产品工艺设计数据集预训练子集来源构成(测算)
| 来源类别 | 亿 Token | 主要承载系统或资料 | 模态 | 加工要点 |
|---|---|---|---|---|
| 图纸解析结构化文本(图元、尺寸、标注、图层、视图投影关系) | 24 | 产品全生命周期管理 | 图像+文本 | 直接解析原生图纸文件,不依赖截图识别;解析在内网就地进行 |
| 历史工艺卡片与工序字典 | 18 | 产品全生命周期管理、工艺归档 | 文本 | 卡片字段标准化;工序名称统一到 28 道封闭字典 |
| 机械制图与工艺专业知识、标准规范 | 11 | 企业文档、外部标准 | 文本+图像 | 粗糙度、坡口、倒角、公差等符号表达的加工要求逐项成条 |
| 设备与工装、样板台账、压弯与排料参数 | 9 | 设备档案、工装台账 | 文本 | 设备编码、工装压模号、样板号与工序关联 |
| 工艺变更与审查记录 | 5 | 协同办公、工艺归档 | 文本 | 每次修改归因后成条,是偏好样本的来源 |
| 排料与定额计算过程记录 | 3 | 工时定额、工艺归档 | 文本 | 中性层公式与展开长换算过程完整留存,供确定性校验 |
| 合计 | 70 | — | — | — |
表 14 数据来源:总量依表 13;来源类别依招标文件相应条款所列资源范围与全链路知识要求;构成比例为测算值。
指令微调子集 10 万条按任务类型分解:图纸特征抽取与识读 3.2 万条、工序选择与排序 2.8 万条、工艺卡片字段生成 1.9 万条、展开长与定额计算 1.2 万条、工艺审查与差异比对 0.9 万条。
展开长、材料定额等样本同时记录计算过程、依据参数和结果,并分别验证中间参数与最终值。材料定额中的下料尺寸写错,钢板割下来就是废料,出错代价并不对称。样本给出过程,评测时才能分辨「结果对但过程错」与「过程对但参数取错」,上线后也才能把确定性计算交给程序、把参数判断交给模型。这一条同时决定了本集基准测试子集的评分方式:按中间参数与最终结果分别判分。
强化学习偏好数据 0.8 万组按偏好对象分解:工序排序方案优劣 0.35 万组、卡片填写规范性 0.25 万组、可借用工艺推荐 0.2 万组。偏好判据的主要来源是工艺变更与审查记录。一张卡片从初稿到签发之间的修改痕迹,本身就是一组偏好对。这类样本的采集成本低于专门组织的人工偏好标注,我方优先使用。
基准测试子集 0.1 万条按能力维度分解:图纸识读 0.04 万条、工序设计 0.03 万条、定额计算 0.02 万条、工艺审查 0.01 万条。本子集规模在四集中最小,但对评测的敏感度最高,我方按零件类型(板材切割件、压弯件、带孔件、带坡口件)与板厚档位分层抽样,使每一层的样本量不低于 50 条,避免小样本上出现层内空白。
板材备料的工艺设计有一个外行容易忽略的特点:出错的代价不对称。工序排得不够优,无非多走一趟、多花些工时;而下料尺寸算错,钢板割下去就是废料,几吨料连同已经占用的工期一起没了。这个不对称决定了本集样本的形状——计算类样本必须把计算过程、依据参数与最终结果分三段留存,而不是只留一个答案。
分三段换来的是分辨能力。只留结果,评测时只知道对或不对;留了过程,就能分清「结果对但过程错」(碰巧蒙对,不可依赖)与「过程对但参数取错」(方法没问题,是取值环节出的错)。前者要回到训练去改,后者只需在上线时把参数来源接准,处置办法完全不同。这一区分同时决定了基准子集的判分方式:中间参数与最终结果分别给参考答案、分别计权。
分层那一列按零件类型与板厚档位双重切分。只按零件类型切,薄板与超厚板的工艺差别会被平均掉——同样是带孔件,三毫米板与四十毫米板的加工方法、设备、工装完全不是一回事。双重分层后每一层样本量不低于 50 条,这是首期基线,随备料分厂现行加工方法分档的正式确认结果逐期上调;分档规则目前有一部分未成文,以工艺部门确认结果为准。若某一档位的历史图纸实在不足 50 条,该档位在评测中单列统计、不并入总准确率,并在数据集卡片中记明实际条数与原因。
表 15 产品工艺设计数据集四个用途子集的样本结构、任务类型与难度长尾
| 用途子集 | 样本结构 | 任务类型与条数分解 | 难度分层与长尾处置 |
|---|---|---|---|
| 预训练 | 篇章级连续文本。图纸解析样本为「图元—尺寸—标注—图层—视图投影关系」的结构化序列,随文保留图号与版面定位;工艺卡片样本按卡片字段成文,工序名称统一到 28 道封闭字典 | 不分任务类型,按表 14 的六类来源成批组织 | 按零件复杂度(图元数与标注数)分三层。长尾为多视图装配图与带多道坡口的焊接件图,解析失败率明显高于均值,单独成批并人工复核 |
| 指令微调 | 指令+输入(图纸或图纸局部视图+材料与工况参数)+参考输出。展开长、材料定额等计算类样本的参考输出分计算过程、依据参数、结果三段留存 | 图纸特征抽取与识读 3.2 万条、工序选择与排序 2.8 万条、工艺卡片字段生成 1.9 万条、展开长与定额计算 1.2 万条、工艺审查与差异比对 0.9 万条 | 按零件类型(板材切割件、压弯件、带孔件、带坡口件)与板厚档位双重分层。长尾为超厚板与薄板规格及异形件,单设配额并在评测中单列 |
| 强化学习偏好 | 同一图纸与工况下的两版工艺方案+偏好序+偏好理由(引修改痕迹的具体位置) | 工序排序方案优劣 0.35 万组、卡片填写规范性 0.25 万组、可借用工艺推荐 0.2 万组 | 按修改幅度分档。长尾为仅一处参数差异的近似方案,全部经工艺专家裁定后入集 |
| 基准评测 | 图纸或局部视图+题干+唯一答案或评分细则+分层标记(零件类型、板厚档位)。定额计算类的参考答案分中间参数与最终结果两部分 | 图纸识读 0.04 万条、工序设计 0.03 万条、定额计算 0.02 万条、工艺审查 0.01 万条 | 按零件类型与板厚档位分层抽样,每层不低于 50 条,避免小样本上出现层内空白。长尾为异形件与超规格板厚,单列统计 |
表 15 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 13;零件类型与板厚档位的分层依备料分厂现行加工方法分档,分档规则未成文部分以工艺部门确认结果为准。
本集的标签有一个别集没有的便利条件:工序名称是封闭的。28 道备料工序构成一个有限字典,标注员只能在这 28 个里选,不能自造。标签空间封闭,意味着标注员之间的一致率可以严格统计——两个人标同一张图,要么选的是同一道工序,要么不是,没有「说法不同但意思差不多」的模糊地带。这在四集里是独一份的,也是本集的质量证据比别集硬的地方。前提是工序字典先固化成文,因此它被列为本集指令微调子集的发布条件之一。
偏好样本的出处则利用了另一个现成条件。一张工艺卡从初稿到签发之间留下的修改痕迹,本身就是一组偏好对——改之前的是次优,签发的是优,改动的位置就是理由。这类样本从工艺变更与审查记录里直接提取,成本远低于专门组织人工对比标注,还避开了一个常见毛病:专门组织的偏好标注,标注员往往按自己的偏好而不是按实际签发标准来判;而修改痕迹记录的是真实发生过,并且被签字认可的工程判断。表 15 与表 16 的每一行各对应一张子集数据卡,字段落点见第八部分。
表 16 产品工艺设计数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件
| 用途子集 | 标签与参考答案的出处 | 许可状态 | 质量证据 | 用途与发布条件 |
|---|---|---|---|---|
| 预训练 | 无标注,本行不适用 | 图纸、卡片、台账、变更单为企业自有;专利说明书与公开标准为公开许可;期刊论文与厂商技术资料逐件登记许可凭证,许可不明的不入集 | 图纸与工艺卡片的配对率、图纸解析成功率、质检六维度报告 | 继续预训练。配对率与解析成功率达基线、合成占比不高于 30%、集内重复率达标方可发布 |
| 指令微调 | 工序标签取 28 道封闭工序字典;参考答案取已审核签发的工艺卡片;计算类样本的中间参数与最终值分别留存并分别判分 | 企业自有 | 工序标签的标注员间一致率(标签空间封闭,可严格统计)、计算类样本的确定性校验通过率 | 有监督指令微调。工序字典已固化成文、一致率达阈值、计算类样本的过程字段齐备方可发布 |
| 强化学习偏好 | 偏好序取自工艺卡片从初稿到签发之间的修改方向,签发版判为优 | 企业自有 | 变更记录的可追溯性、偏好理由字段完整率 | 人类偏好对齐。理由完整率达标方可发布 |
| 基准评测 | 人工裁定;定额计算类按中间参数与最终结果分别给参考答案与判分权重 | 企业自有;冻结后不再变更 | 隔离命中比对结论、各分层样本量达标记录 | 基准评测。零合成、双重隔离成立、冻结后不回填方可发布 |
表 16 数据来源:工序字典口径为 28 道(以工艺部门确认的正式工序字典为准);标签与参考答案出处依招标文件相应条款;许可状态依相应条款;质量证据与发布条件依第二部分表 7、表 8。
本集是四集中多模态占比最高的一集。以条为单位的样本合计 10.9 万条(10+0.8+0.1),其中多模态样本测算 9.27 万条,占 85%——绝大多数样本都带有图纸或图纸局部视图。三年内数据条数测算 2.725 万条,占 25%,是四集中最低的一集。
原因是 63 万张历史图纸横跨十余年,近三年新增图纸只占其中一小部分。这个低占比在四集汇总后由制造过程与产品质量两集补平,具体核算见本节第七部分;本集自身不单独追求时效性占比达标,因为工艺知识的有效期远长于过程数据,为提高时效占比而削减历史样本会损失本集最有价值的部分。
本集的关键前提是原生图纸文件可解析。招标文件实施范围覆盖工艺研究分院与备料加工分厂,但甲方的产品全生命周期管理系统原生图纸不支持整批导出,须按图号或项目开通只读读取。若接口开通范围受限,本集按以下顺序回退:优先解析已导出的近期项目图纸,其余按项目批次分批开通;仍不可得的部分改以工艺卡片侧的结构化文本为主、图纸侧以缩略图与关键尺寸摘要替代,预训练子集总量不变而图纸解析类来源的占比下调,缺口由工艺卡片与专业知识两类来源补足。该调整须在数据集卡片的建设过程字段中记录,并在验证报告中说明对图纸识读类能力评测结果的影响。
招标文件要求本数据集面向生产制造核心环节,聚焦热处理过程控制、焊接过程控制、刮板运输装备智能健康诊断等业务场景,整合热处理、焊接、关键设备运行的多模态过程数据与运维知识,构建覆盖「过程感知—参数控制—缺陷识别—健康诊断—预测性维护」全流程的高质量数据集;并要求沉淀热处理参数与外观缺陷、焊接参数与质量缺陷、设备运行与故障根因之间的映射关系。
这三组映射关系是本集的全部价值所在,也是本集最难的地方。甲方的过程参数已在采集并长期保存,数据采集与监控系统覆盖部分车间与部分设备,热处理与产线设备的测点采样周期通常为秒级。量不少,但三处关联都没建立:炉次、工件、材料批次、实际曲线与检测结果之间无稳定关联;焊接的过程参数、熔池视觉与缺陷检测结果三者割裂;在役装备的历史数据无事件级标签,故障记录与数据段没有配对。
所以本集的瓶颈是数据对不上而非体量不够。我方把本集的第一项工作定为建立三条对齐链:热处理按「炉次—装炉工件清单—材料批次—设定程序—实际曲线—检验结论」对齐;焊接按「工单—部件—焊缝—焊道—时间窗—参数流—质检结果」对齐;健康诊断按「设备—部件—测点—时间窗—报警事件—维修事实」对齐。三条链建立之后,预训练与指令微调样本才有意义;在此之前采集到的过程数据只能作为无标签时序语料,我方在计量上单列,不与成对样本混同。
4 过程数据与质量结论的配对与责任边界
图 4 过程数据与质量结论的配对与责任边界。数据来源:映射关系依招标文件第 94 页招标文件相应条款;焊接缺陷图像在两集中的归属依相应条款的交叉表述,按本节所述归属规则处理;采样周期与采集覆盖范围依甲方现有数据采集与监控系统条件。
制造过程集 105 亿 Token、15 万条的分配量,放在上一小节说的三条对齐链面前,含义与别集不同:这一集缺的从来不是数据量。热处理炉与焊接产线的测点大多在以秒级采样并长期保存,单论采集到的点数,远远超过任何一个规模数字。难的是这些点对不上人——哪一炉、装的哪些工件、用的哪批材料、最后检验结论是什么,分散在不同系统与纸质记录中,没有一条稳定的线把它们串起来。所以本集的规模数字衡量的不是采了多少,而是对齐之后能用的有多少。
招标文件表格 3-3 原值如表 17,我方按原值承接。
表 17 制造过程数据集数据规模要求(招标文件表格 3-3 原表)
| 制造过程数据集 | 数据集规模 |
|---|---|
| 预训练数据集(亿 Token) | 105 |
| 指令微调数据集(万条) | 15 |
| 强化学习偏好数据(万组) | 1 |
| 基准测试数据集(万条) | 0.2 |
表 17 数据来源:招标文件第 94 页表格 3-3(r05)原值。
105 亿 Token 拆成六类来源,前三类是时序、后三类是文本,这条分界对应着两种完全不同的加工方式。
时序侧的加工要点都落在「怎么切」上。热处理按工艺段降采样后编码,焊接按焊道切段,在役装备按工况分段——三者切法不同,是因为三者的业务单元不同:一炉热处理是一个完整的升温—保温—冷却过程,一条焊缝由若干焊道组成,而一台在役装备的运行要先分出空载、重载、启停这些工况段才谈得上异常。切错了单元,后面所有的统计描述都是在错误的区间上算出来的。降采样之后一律保留原始段落指针,样本正文因此可读、可评、可复算,又不丢回溯能力:验收时要核对任何一段的原始波形,照指针取回即可。
文本侧的三类里,最后一类要特别交代。装载与码装、计量校验记录当前没有结构化留存——装炉时工件怎么摆、摆几层,直接影响受热均匀程度,是热处理结果的关键变量,但现场靠的是老师傅的经验,没有记下来。这一行写的 4 亿 Token,办法是在既有流程中增设填报入口、由系统预填、经手人确认。它的实际到量取决于流程改造的推进速度,属于本集中不由我方单方面决定的部分,首期按试点工段的实际填报情况确定基线并逐期上调,若长期低于测算值,该来源的缺口由热处理炉次过程时序与运维知识两类补足、总量不变,并在数据集卡片的建设过程字段中记录来源构成的变化。
表 18 制造过程数据集预训练子集来源构成(测算)
| 来源类别 | 亿 Token | 主要承载系统或资料 | 模态 | 加工要点 |
|---|---|---|---|---|
| 热处理炉次过程时序 | 31 | 数据采集与监控、热处理群控、物联网与设备数据平台 | 时序 | 秒级原始数据按工艺段降采样后编码;保留原始段落指针供回溯 |
| 焊接设备与机器人参数时序 | 27 | 数据采集与监控、焊接产线控制 | 时序 | 按焊道切段;段内统计量与偏离描述一并成文 |
| 在役装备运行时序与报警日志 | 21 | 装备远程运维平台 | 时序+文本 | 工况分段后入集;三机联动耦合干扰段单独标记 |
| 工单、工序流转与报工记录 | 13 | 制造执行 | 文本 | 报工时点滞后的情形以实际作业时间区间表示,不按报工时点对齐 |
| 运维与检修知识、故障名录与机理 | 9 | 售后服务与备件管理、企业文档 | 文本 | 故障名录与四档证据分级口径统一后成条 |
| 装载与码装、计量校验记录 | 4 | 热处理分厂记录、计量管理 | 文本+图像 | 当前无结构化记录,按增设填报入口方式补录 |
| 合计 | 105 | — | — | — |
表 18 数据来源:总量依表 17;来源类别依招标文件相应条款所列过程数据与运维知识范围;承载系统依第 46 页实施范围;构成比例为测算值。
指令微调子集 15 万条按任务类型分解:热处理曲线偏离识别与处置建议 4.3 万条、焊接参数窗口与偏差归因 4.1 万条、设备健康异常判断与检查顺序 3.6 万条、工单与工序流转问答 1.8 万条、计量与装载登记规范问答 1.2 万条。
时序数据本身不适合直接作为语言模型样本,我方按三段式构造:原始段落的指针与元数据(设备、测点、时间窗、工况段)、段落的结构化统计描述(设定值、实际值、偏离幅度与方向、持续时长、分段趋势),以及任务相关的参考输出(偏离判定、可调量建议、检查顺序)。原始波形不进入样本正文而以指针保留,这样样本可读、可评、可复算,同时不丢失回溯能力。对仅有分钟级均值的设备,样本在元数据中标注粒度档位,评测时按档位分层统计,避免把粒度不足造成的误差记到模型能力上。
强化学习偏好数据 1 万组按偏好对象分解:处置建议优劣 0.45 万组、归因结论可信度 0.35 万组、检查顺序合理性 0.2 万组。偏好判据取自工艺人员与检修人员的实际选择:同一异常下实际采取的措施与未采取的候选措施构成一组偏好对。这类样本须在既有流程中增设处置记录的填报入口,由系统预填、经手人确认,属于本集需从零补录的部分。
基准测试子集 0.2 万条按业务场景均分为热处理 0.07 万条、焊接 0.07 万条、健康诊断 0.06 万条。三类样本一律按「同材料批次、同装炉方式」或「同型部件、同工况段」分组抽样,使评测能够反映横向比对能力而不只是单段判别能力。
时序数据不能直接拿来做语言模型的样本。一段焊接电流的采样序列,几万个数字,给人看看不出名堂,给模型也学不到东西;而把它整段转成文字,又会变成几万个毫无信息量的数字串,把真正要紧的那几句判断淹没掉。
我方的办法是三段式。第一段是原始段落的指针与元数据:设备编码、测点、时间窗、工况段、采样粒度档位。第二段是这一段的结构化统计描述:设定值、实际值、偏离的幅度与方向、持续了多久、分段趋势。第三段是任务相关的参考输出:偏离判定、可调量建议、检查顺序。预训练子集取前两段,指令微调子集三段全取,基准子集在前两段上加题干与答案。原始波形始终不进样本正文,只以指针保留。这样一条样本是人能读、能评、能复算的,同时随时可以回到原始数据核对。
元数据里的采样粒度档位一项值得单说。甲方的设备不是一个标准:有的秒级采样,有的只留分钟级均值。分钟级均值会把短时尖峰抹平,一次持续十几秒的温度越限在均值曲线上可能完全看不出来。若不标注粒度就混在一起评测,模型在这些样本上答错,看起来像是能力不足,实际是数据根本没有记录那个事件。因此粒度档位写进元数据,评测时按档位分层统计,把数据的局限与模型的能力分开记账。
长尾那一列指的是弱信号早期征兆与多因耦合异常——恰恰是预测性维护最想要的那部分,也是历史上出现次数最少的那部分。这两类单设配额,首期按历史事件实际可配对的数量确定基线并在数据集卡片中如实记录,随维修事实回填与历史回溯配对的推进逐期上调;若至第三期末某一故障模式的配对样本仍不足,该模式在评测中单列统计、不并入总体指标,并在验证报告中说明。
表 19 制造过程数据集四个用途子集的样本结构、任务类型与难度长尾
| 用途子集 | 样本结构 | 任务类型与条数分解 | 难度分层与长尾处置 |
|---|---|---|---|
| 预训练 | 时序类样本为三段式,预训练子集取前两段:第一段为原始段落的指针与元数据(设备编码、测点、时间窗、工况段、采样粒度档位),第二段为段落的结构化统计描述;文本类样本按工单与知识条目成文 | 不分任务类型,按表 18 的六类来源成批组织 | 按采样粒度档位与工况段复杂度分层。长尾为三机联动的耦合干扰段与仅有分钟级均值的设备段,单独标记并在评测中分层统计 |
| 指令微调 | 三段式全取:指针与元数据、结构化统计描述、任务相关的参考输出(偏离判定、可调量建议、检查顺序)。原始波形不进入样本正文,以指针保留回溯能力 | 热处理曲线偏离识别与处置建议 4.3 万条、焊接参数窗口与偏差归因 4.1 万条、设备健康异常判断与检查顺序 3.6 万条、工单与工序流转问答 1.8 万条、计量与装载登记规范问答 1.2 万条 | 按偏离幅度与证据等级分层。长尾为弱信号早期征兆与多因耦合异常,单设配额,评测时与常见异常分层统计 |
| 强化学习偏好 | 同一异常下实际采取的措施与未采取的候选措施构成一组+偏好序+理由(引事后检验结论或复查记录) | 处置建议优劣 0.45 万组、归因结论可信度 0.35 万组、检查顺序合理性 0.2 万组 | 按异常罕见度分档。长尾为历史上仅出现数次的故障模式,由检修人员对历史段落补做成对裁定 |
| 基准评测 | 时序段指针+结构化统计描述+题干+唯一答案或评分细则+分组标记(同材料批次同装炉方式,或同型部件同工况段) | 热处理 0.07 万条、焊接 0.07 万条、健康诊断 0.06 万条 | 一律按分组抽样,使评测反映横向比对能力而不只是单段判别能力。长尾为跨工况段迁移题,单列统计 |
表 19 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 17;三段式结构与粒度档位的处置依招标文件相应条款所列过程数据范围。
本集的参考答案有一条硬边界:证据到哪里,结论就只能写到哪里。
在役装备目前缺少部件级的振动测点,也没有轴上角位置基准。缺了这些,从现有测点数据能得出的结论最多到「某测点异常」,再往下推到是哪一个轴承的哪一处损伤,就是猜的。标注时若放任标注员按经验把结论写到部件级,样本看起来更有价值,实际是把猜测固化成了参考答案——模型学会的是猜,而且学会了用确定的语气猜。因此本集的样本一律按证据等级分档标注:证据不足以支撑部件级结论的,结论止于测点级;分档字段随样本留存,评测时按档位分层统计。
偏好样本的出处是同一异常下实际采取的措施与未采取的候选措施,判据取自事后检验结论或复查记录——用结果反推当时的取舍哪个更好,而不是请人凭空评价。代价是这类记录当前并不存在,须在既有流程中增设处置记录的填报入口。填报覆盖率因此是本集的一项已知风险:首期按试点工段的实际填报情况确定基线,随流程推行逐期上调,覆盖率逐期统计并如实记入数据集卡片的局限性字段;若长期低于测算值,该部分偏好样本改以检修人员对历史段落补做成对裁定的方式形成,样本量不变,来源构成的变化在卡片中标明。表 19 与表 20 的每一行各对应一张子集数据卡,字段落点见第八部分。
表 20 制造过程数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件
| 用途子集 | 标签与参考答案的出处 | 许可状态 | 质量证据 | 用途与发布条件 |
|---|---|---|---|---|
| 预训练 | 无标注,本行不适用 | 企业自有;在役装备运行数据涉矿方的,矿方单位名称按矿区与工作面类型泛化后入集 | 测点覆盖率、工况分段正确率、质检六维度报告 | 继续预训练。粒度档位已标注、耦合干扰段已标记、合成占比不高于 30% 方可发布 |
| 指令微调 | 偏离判定取工艺文件的参数窗口;处置建议取实际采取的措施与事后检验结论;证据不足以支撑部件级结论的,结论止于测点级并按证据等级分档标注 | 企业自有 | 证据等级分档记录、采样粒度档位分层统计、标注一致率 | 有监督指令微调。证据等级与粒度档位两个字段齐备、一致率达阈值方可发布 |
| 强化学习偏好 | 偏好序取自工艺人员与检修人员的实际选择及其事后效果 | 企业自有 | 处置记录的填报覆盖率、偏好理由字段完整率 | 人类偏好对齐。理由完整率达标,填报覆盖率如实记入卡片的局限性字段方可发布 |
| 基准评测 | 人工裁定,双人独立出题、第三人复核 | 企业自有;冻结后不再变更 | 隔离命中比对结论、分组完整性记录 | 基准评测。零合成、双重隔离成立、冻结后不回填方可发布 |
表 20 数据来源:参数窗口依甲方现行工艺文件;证据分级口径与故障名录统一后适用;许可状态依招标文件相应条款;质量证据与发布条件依第二部分表 7、表 8。
以条为单位的样本合计 16.2 万条(15+1+0.2),其中多模态样本测算 12.96 万条,占 80%——本集样本大多包含时序段落或设备图像。三年内数据条数测算 13.77 万条,占 85%,是四集中最高的一集。原因是采集覆盖范围近年才逐步扩展,更早期间的过程数据在测点覆盖与采样粒度上多数不满足入集条件。
本集有三处已知局限。一是预热温度与层间温度当前无采集手段,熔池状态与气体波动无实时监测,这部分数据须随感知设备到位后才能产生,硬件选型见本卷《硬件选型与配置》(【页码:T6】);在设备到位前,相关样本以工艺文件参数窗口与事后检验结论构造,样本量按比例下调并在卡片中标注。二是在役装备缺少部件级振动测点与轴上角位置基准,键相信号缺失时结论只能止于测点级;本集对应样本按证据等级分档标注,不同档位的样本在评测中分层统计。三是故障样本须靠维修事实回填与历史回溯配对形成,覆盖进度不由我方单方面决定;若至第三期末配对样本不足,健康诊断类指令微调样本的来源由真实事件为主调整为故障机理知识与模拟工单生成为主,并在验证报告中说明该调整对诊断类能力评测结论的限制。
招标文件要求本数据集面向全流程质量管控核心业务,以产品质量检验为主线,融合生产过程中的焊接缺陷图像等关键质量数据,构建覆盖「原材料检验—过程质量—成品质检—质量追溯」全流程的高质量数据集;并要求沉淀「工艺—过程—质量结果」的全链路映射关系。
招标文件在两处提到焊接相关数据:制造过程数据集要求整合焊接过程的多模态过程数据,产品质量数据集要求融合焊接缺陷图像等关键质量数据。同一批业务数据在两集中都有落点,若不定归属规则,同一条样本会被计量两次,规模数字就不可信。
我方的归属规则是按「过程侧/结果侧」切分:焊接与热处理的工艺参数、设备状态、过程时序归制造过程数据集;检验结论、缺陷判级、无损检测结果、缺陷图像及其标注归产品质量数据集;二者的成对关系以对象标识双向引用实现,引用不产生新的计量条目。这条规则也写入数据集卡片的内容特征字段,供第三方评测时核对重复内容程度,该项检测由评测机构按其指标体系执行,详见服务方案卷《数据集质量评测方案》(【页码:S3】)。
本集的现场困难有两处。质量管理系统新上线、正在推行,缺陷描述为文字且未与工艺参数关联;外观、超声与磁粉三类检测的位置口径不一致,同一条焊缝在三份报告中的位置表述对不上。此外纸质检测报告数量可观但尚未数字化。因此本集的加工重点不在体量而在三件事:缺陷位置口径统一、缺陷术语归一到统一的缺陷名录与分级、纸质报告的版面还原与字段抽取。
产品质量集 164 亿 Token、24 万条的分配量在四集中居第二,仅次于供需计划集。这个量级与上一小节划定的归属边界直接相关:焊接与热处理的工艺参数、设备状态、过程时序归制造过程集,而检验结论、缺陷判级、无损检测结果、缺陷图像及其标注归本集。边界划在过程侧与结果侧之间,本集拿到的是结果侧的全部——检验记录、交检拍照、超声与磁粉报告、不合格品票、返修与复检、追溯链,覆盖从原材料到成品的每一道检验,体量自然大。
招标文件表格 3-4 原值如表 21,我方按原值承接。
表 21 产品质量数据集数据规模要求(招标文件表格 3-4 原表)
| 产品质量数据集 | 数据集规模 |
|---|---|
| 预训练数据集(亿 Token) | 164 |
| 指令微调数据集(万条) | 24 |
| 强化学习偏好数据(万组) | 1.6 |
| 基准测试数据集(万条) | 0.25 |
表 21 数据来源:招标文件第 94 页表格 3-4(r05)原值。
本集的 164 亿 Token 里,有相当一部分现在还在纸上。无损检测报告一类 29 亿 Token,承载方式写的是质量管理系统与纸质归档两处——超声与磁粉报告历史上多以纸质签字归档,数量可观而尚未数字化。它的加工要点因此与别的来源不同:先做版面还原,再抽取字段,而且抽取结果须能回到原文的具体位置。回原文定位这一条不是额外讲究,是必需的:版面还原会出错,字段抽错一个检测位置,这条样本就把缺陷安在了别的焊缝上;若没有回原文的指针,这个错误在交付之后既无从发现,也无法纠正。
缺陷图像一类 38 亿 Token 的加工要点落在两个「统一」上。外观、超声、磁粉三类检测现在对同一条焊缝的位置表述对不上,缺陷描述又是自由文字、未与工艺参数关联。所以位置口径先统一到焊缝与焊道坐标,缺陷术语先归一到统一的缺陷名录与分级,然后才谈得上标注。这两项不是本集的某一道加工工序,而是本集能否开工的前置条件:位置对不上,这张缺陷图像就无法与制造过程集中那一段焊接参数配对,而那一对关系恰恰是招标文件要求沉淀的「工艺—过程—质量结果」全链路映射里最关键的一环。
表 22 产品质量数据集预训练子集来源构成(测算)
| 来源类别 | 亿 Token | 主要承载系统或资料 | 模态 | 加工要点 |
|---|---|---|---|---|
| 检验项目与检验记录(含交检拍照) | 46 | 质量管理 | 文本+图像 | 检验项与工艺编制时标注的关键工序、重要尺寸对应关系随样本保留 |
| 焊接缺陷图像的结构化描述与标注文本 | 38 | 质量管理、产线图像采集 | 图像+文本 | 缺陷名录与分级统一后标注;位置口径统一到焊缝与焊道坐标 |
| 无损检测报告(超声、磁粉) | 29 | 质量管理、纸质归档 | 文本+图像 | 纸质报告版面还原后字段抽取;抽取结果须回原文定位 |
| 原材料化验与来料批次记录 | 21 | 质量管理、企业资源计划 | 文本 | 材料批次与炉次、工件的关联在本集中以引用方式保留 |
| 不合格品票、返修与处置流程记录 | 18 | 协同办公、质量管理 | 文本 | 处置结论与返修后复检结果成对 |
| 质量追溯链与质量报告 | 12 | 质量管理 | 文本 | 按施工号、产品号组织追溯链,断链处显式标注 |
| 合计 | 164 | — | — | — |
表 22 数据来源:总量依表 21;来源类别依招标文件相应条款所列全流程质量数据范围与映射关系要求;构成比例为测算值。
指令微调子集 24 万条按任务类型分解:焊接缺陷分类与定级 7.5 万条、检验项目与判定规则问答 5.6 万条、质量根因追溯链推理 4.8 万条、无损检测报告生成与复核 3.4 万条、不合格品处置与返修决策 2.7 万条。
缺陷分类与定级样本的标注口径必须与判据口径同源。招标文件要求支撑缺陷自动分类与根因追溯,而甲方现行判据分布在十一类缺陷与其检出手段的对应关系中。标注规范直接引用该判据,不另立一套标签体系;判据换版时标注规范随之升版,旧版样本保留其当时所依据的判据版本号,不做追溯重标。这样处理的代价是同一缺陷在不同版本样本中可能有不同标签,收益是每条样本的标签都能对应到一份当时有效的判据,评测时可按判据版本分层。两者相比,可追溯比表面一致更重要。
根因追溯链样本是本集中与制造过程数据集联动最紧的一部分。样本结构为「质量结论+追溯链条(工件、工序、炉次或焊道、材料批次)+对应过程参数段引用+根因判断+依据」。过程参数段本身不在本集中计量,以引用方式指向制造过程数据集的对应段落。
强化学习偏好数据 1.6 万组按偏好对象分解:缺陷判级一致性 0.7 万组、根因解释充分性 0.5 万组、报告表述规范性 0.4 万组。判级一致性类偏好取自多名检验人员对同一缺陷图像的判定差异及最终裁定结果,这类数据在质量管理系统推行过程中会自然产生,我方按月归集。
基准测试子集 0.25 万条按能力维度分解:缺陷分类 0.1 万条、检验判定 0.07 万条、根因追溯 0.05 万条、报告生成 0.03 万条。缺陷分类类基准样本按缺陷类别分层,每类不低于 60 条;对天然稀少但后果严重的缺陷类别,基准样本不足时以人工构造样本补充,构造样本单列标记并在评测报告中与真实样本分别统计,不混合计算准确率。
缺陷分类样本有一个绕不开的现实:真正要命的缺陷,历史上出现得最少。
常见的表面气孔、咬边一天能遇上几回,而那些后果严重、一旦漏判就要返修甚至报废的缺陷类别,十余年的记录里也许只有几十例。样本按自然频次采下来,模型在常见类别上表现很好,总体准确率很漂亮,稀有类别上的表现则被几个百分点的权重掩盖过去——偏偏那里才是最不该出错的地方。
因此按缺陷类别频次分层,稀有类别单设配额并在评测中单列统计;基准子集每一缺陷类别不低于 60 条,这是首期基线,随缺陷名录与分级判据正式确认后按在役台数与后果等级加权逐期上调。若某一天然稀少的类别实在凑不满 60 条,以人工构造样本补充——构造样本单列标记,与真实样本分别统计准确率,不混合计算。把构造样本掺进真实样本一起算,得出的准确率既不反映真实能力,也无法向任何一方解释清楚;分开统计,报告上多两行数字,结论却是可信的。
偏好子集的长尾是另一类:刚好跨档的临界判级样本。两名检验人员对同一张缺陷图像给出不同等级,往往不是谁错了,而是判据在那个边界上本来就不够清晰。这类样本全部进入偏好集,因为它们记录的正是经验最密集的地方。
表 23 产品质量数据集四个用途子集的样本结构、任务类型与难度长尾
| 用途子集 | 样本结构 | 任务类型与条数分解 | 难度分层与长尾处置 |
|---|---|---|---|
| 预训练 | 检验记录与检测报告按字段成文,抽取结果回原文定位;缺陷图像以结构化描述与标注文本随缺陷码成对,图像本体以版面与焊缝、焊道坐标定位引用 | 不分任务类型,按表 22 的六类来源成批组织 | 按缺陷稀有度与报告完整度分层。长尾为版面复杂、字段抽取置信度低的纸质报告批次,单独复核后入集 |
| 指令微调 | 指令+输入(缺陷图像或检验记录+工艺参数引用)+参考输出。根因追溯类样本为「质量结论+追溯链条(工件、工序、炉次或焊道、材料批次)+对应过程参数段引用+根因判断+依据」五段式 | 焊接缺陷分类与定级 7.5 万条、检验项目与判定规则问答 5.6 万条、质量根因追溯链推理 4.8 万条、无损检测报告生成与复核 3.4 万条、不合格品处置与返修决策 2.7 万条 | 按缺陷类别频次分层。长尾为天然稀少但后果严重的缺陷类别,单设配额并在评测中单列统计 |
| 强化学习偏好 | 同一缺陷图像的多名检验人员判定+最终裁定+偏好序+理由(引判据条款) | 缺陷判级一致性 0.7 万组、根因解释充分性 0.5 万组、报告表述规范性 0.4 万组 | 按判定分歧度分档。长尾为刚好跨档的临界判级样本,全部进入偏好集 |
| 基准评测 | 缺陷图像或检验记录+题干+唯一答案或评分细则+缺陷类别分层标记+真实/人工构造标记 | 缺陷分类 0.1 万条、检验判定 0.07 万条、根因追溯 0.05 万条、报告生成 0.03 万条 | 缺陷分类类按类别分层,每类不低于 60 条。天然稀少类别的样本不足时以人工构造样本补充,构造样本单列标记,与真实样本分别统计准确率,不混合计算 |
表 23 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 21;缺陷类别分层依甲方现行缺陷名录,名录与分级判据未成文部分以质量管理部门确认结果为准。
本集的标签体系有一条自我约束:不另立一套。
缺陷分级的判据甲方现行就有,分布在十一类缺陷与其检出手段的对应关系中。另起一套更规整、更便于标注的标签体系是容易想到的做法,但那样做出来的样本,判出的级别与质量管理部门实际签字认可的级别不是一回事,上线之后两套口径并行,争议只会更多。所以标注规范直接引用现行判据;判据换版时标注规范随之升版,旧版样本保留它当时所依据的判据版本号,不做追溯重标。
代价要说清楚:同一种缺陷在不同版本的样本中可能带着不同的标签。收益是每一条样本的标签都能对应到一份当时有效,并且被质量管理部门认可的判据,评测时按判据版本分层即可。两相权衡,可追溯比表面一致更重要——表面一致是把历史改成现在的样子,而追溯链一旦断了,将来谁也说不清这条样本当初凭什么这么判。判据版本号随样本留存的完整率因此列为本集的一项质量证据,字段不齐的批次不予发布。表 23 与表 24 的每一行各对应一张子集数据卡,字段落点见第八部分。
表 24 产品质量数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件
| 用途子集 | 标签与参考答案的出处 | 许可状态 | 质量证据 | 用途与发布条件 |
|---|---|---|---|---|
| 预训练 | 无标注,本行不适用 | 企业自有;第三方检测机构出具的报告按其授权范围使用,超范围的不入集 | 版面还原与字段抽取的回原文定位通过率、缺陷位置口径统一率、质检六维度报告 | 继续预训练。缺陷位置口径已统一到焊缝与焊道坐标、术语已归一到缺陷名录方可发布 |
| 指令微调 | 标签直接引用甲方现行缺陷分级判据,不另立标签体系;判据换版时标注规范随之升版,旧版样本保留其当时所依据的判据版本号,不做追溯重标 | 企业自有 | 判据版本号随样本留存的完整率、判级一致率与裁决记录 | 有监督指令微调。判据版本号字段齐备、一致率达阈值方可发布;评测时按判据版本分层 |
| 强化学习偏好 | 最终裁定判为优,裁定依据引判据条款 | 企业自有 | 裁定记录、偏好理由字段完整率 | 人类偏好对齐。理由完整率达标方可发布 |
| 基准评测 | 人工裁定;人工构造样本的答案由两名检验人员独立给出并取得一致 | 企业自有;冻结后不再变更 | 隔离命中比对结论、真实样本与构造样本的分别统计结果 | 基准评测。零合成(人工构造样本不属模型合成,须单列标记并随卡片说明构造方法与数量)、双重隔离成立、冻结后不回填方可发布 |
表 24 数据来源:标签与参考答案出处依招标文件相应条款所列全流程质量数据范围与映射关系要求;许可状态依相应条款;质量证据与发布条件依第二部分表 7、表 8。
以条为单位的样本合计 25.85 万条(24+1.6+0.25),其中多模态样本测算 15.51 万条,占 60%——缺陷图像、交检拍照与纸质报告扫描件构成主要部分。三年内数据条数测算 18.095 万条,占 70%。时效占比较高的原因是质量管理系统新上线,结构化检验记录主要产生于近期;更早期间的质量数据以纸质报告为主,数字化批次按项目重要性分批推进。
本集的主要不确定性在纸质报告数字化的工作量。我方按三档组织:近三年的无损检测与化验报告按批次全部纳入数字化范围,完成率逐月统计;三至八年的报告按产品型号抽样数字化,抽样比例按型号的在役台数加权;八年以上的报告仅对发生过重大质量事件的项目数字化。若实际纸质量显著超出盘点预估,本集按上述三档顺序交付,预训练子集的无损检测报告一类来源占比下调,缺口由检验记录与缺陷图像标注文本补足,总量不变。此外,交检拍照的图像质量参差,部分照片不满足缺陷标注要求,这部分图像仅作为场景多样性语料,不进入缺陷分类类样本,相应情况在卡片的局限性字段中说明。
规模之外,招标文件另给了三项指标:数据模态种类、多模态数据条数占比、3 年内数据条数占比。这三项与规模数字的性质不一样。规模是绝对量,做到就是做到;后两项是比例,而比例的取值取决于分母怎么定——招标文件只给了比例数值,没有定义「数据条数」怎么数。
这个差别必须在承接的时候就讲明白,否则会出现这样的局面:我方按一种算法测出 45.9%,第三方评测机构按另一种算法测出三十几,双方拿的是同一批数据、各自计算也都没错,结论却相反。到那一步再争口径,争的是验收结论,谁都退不了。我方对这三项的承接因此分两层:一是逐项给出承接口径与余量(表 25),二是把所采口径的分母定义、测算过程与每一个数字的来源全部摊开(本部分第 2 至第 4 小节),使任何一方都能照着复算一遍。
表 25 数据集其它指标要求(招标文件表格 3-5 原表)与我方承接
| 序号 | 指标项 | 指标要求 | 我方承接口径 |
|---|---|---|---|
| 1 | 数据模态 | 不低于 3 种 | 建设文本、图像、时序、视频四种模态,高于要求一种 |
| 2 | 多模态数据条数 | 占比不低于 40% | 按本节口径一测算 45.9%,留 5.9 个百分点余量 |
| 3 | 3 年内数据条数 | 占比不低于 40% | 按本节口径一测算 60.7%,留 20.7 个百分点余量 |
表 25 数据来源:指标项与指标要求依招标文件第 95 页表格 3-5(r04)原值;承接口径测算值依表 26。
表头行招标文件相应条款为招标文件原表列标题,在表 25 中原样保留。
模态一项在招标文件中有两处表述。表格 3-5 写「数据模态不低于 3 种」,项目数据质量目标与业务范围两处写「数据集涵盖超过 3 种模态(时序数据、图像、文本、视频等)」。「不低于 3 种」与「超过 3 种」在严格读法下分别对应三种与四种。
我方按较高要求承接,建设文本、图像、时序、视频四种模态,同时满足两处表述。四种模态的分布不是均匀的,各集实际建设的模态(本节称「有效模态」)逐集不同:供需计划集为文本与图像两种;产品工艺设计集为文本与图像两种,其中图像以原生图纸及其局部视图为主;制造过程集为文本、时序、图像、视频四种;产品质量集为文本、图像、视频三种。四集取并集得文本、图像、时序、视频四种,满足模态种类数不低于 3 种的要求,也满足「超过 3 种」的较高表述。
视频模态另有一条计量约定。视频主要用于焊接产线与装配现场的工序记录,规模最小,按场景多样性语料的定位建设,承载在制造过程集与产品质量集的预训练子集中;因预训练子集以 Token 计量、不计入口径一的条数分母,视频样本的条数与占比不进入表 26 的分子与分母,而在各自子集数据卡的模态构成字段中单列。此项约定使「有效模态种类数」与「计入条数分母的模态」两个口径分开,避免以模态种类数反推条数占比。
招标文件给出了占比数值,没有定义「数据条数」的统计基数。四个用途子集的计量单位不统一——预训练集以 Token 计,其余三集以条或组计——因此基数定义直接决定占比结果。我方给出两套口径,以口径一为承接依据,口径二作为备选,最终以蓝图设计阶段与甲方及第三方评测机构确认的结论为准。
口径一(承接口径):统计基数为以条或组为计量单位的样本合计,即指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,合计 96.55 万条。预训练集以 Token 计量,其篇章级样本条数单列统计,不计入分母。采用这一口径的理由是三类以条计量的子集具有同质的计量单位,占比可直接计算与复算。
口径二(备选口径):将预训练集的篇章级样本条数一并计入分母。该口径下的分母不由「总 Token 数除以平均篇章长度」推算——那样得到的只是一个随切分参数浮动的商数,第三方无法核对;分母取发布态文件清单中实际登记的篇章条数,由清单逐条计数得出,随每一版本的校验清单一同发布。采用本口径时,分母随切分粒度变化而变化,占比结果因此对加工参数敏感,我方不建议作为验收依据;若评测机构要求采用,我方按清单实际计数重新测算多模态与时效样本配比,并相应调整各集的多模态样本生产计划与图像、时序类来源的占比,总规模不变。
一个 45.9% 的总数,第三方无从核对。要让它可验,表里必须同时出现三样东西:每一集各自的分子与分母、分母由哪三个子集的条数加出来,以及这一集为什么是这个数。前两样是算术,第三样是业务解释——没有解释,看到工艺设计集的时效占比只有 25%,合理的反应是怀疑测算有误,而不是想到 63 万张历史图纸横跨十余年这件事。
列的设置因此按可复算来定,不按好看来定:分母一列与分母构成一列并排,使每一个分母都能当场被三个数加出来;多模态与近 36 个月两项各自先给绝对条数再给占比,而不是只给占比;业务时间未知单独成列,不并进任何一边。少掉其中任何一列,这张表就从一份可核对的测算退回成一组声明。
表 26 多模态与时效性占比测算(口径一)
| 数据集 | 有效模态 | 分母(条数基数,万条) | 分母构成(指令微调+偏好+基准) | 多模态条数(万条) | 多模态占比 | 近 36 个月条数(万条) | 近 36 个月占比 | 业务时间未知条数(万条) | 占比高低的主要成因 |
|---|---|---|---|---|---|---|---|---|---|
| 供需计划 | 文本、图像 | 43.6 | 40+3.2+0.4 | 6.54 | 15% | 23.98 | 55% | 0.87 | 以合同、订单、库存文本为主;客户关系管理系统新上线,历史数据少,近期数据占优 |
| 产品工艺设计 | 文本、图像 | 10.9 | 10+0.8+0.1 | 9.27 | 85% | 2.725 | 25% | 0.65 | 图纸与工艺卡成对样本几乎全部带图;历史图纸横跨十余年,近三年新增占比小;早期归档图纸缺日期字段,未知时间条数在四集中最高 |
| 制造过程 | 文本、时序、图像、视频 | 16.2 | 15+1+0.2 | 12.96 | 80% | 13.77 | 85% | 0.08 | 样本以时序段落为主;采集覆盖近年才扩展,早期数据多不满足入集条件;时序段自带时间戳,未知时间条数最低 |
| 产品质量 | 文本、图像、视频 | 25.85 | 24+1.6+0.25 | 15.51 | 60% | 18.095 | 70% | 0.78 | 缺陷图像与检验拍照占相当比重;质量管理系统新上线,结构化记录以近期为主;纸质报告部分缺检验日期 |
| 合计 | 文本、图像、时序、视频(四种) | 96.55 | 89+6.6+0.95 | 44.28 | 45.9% | 58.57 | 60.7% | 2.38(占分母 2.5%) | 两项占比均高于 40% 的要求 |
表 26 数据来源:分母依表 1 各集指令微调、偏好、基准三项之和,预训练子集以 Token 计量不入分母(见本部分第 2 小节口径一);有效模态依本部分第 1 小节;多模态条数、近 36 个月条数与业务时间未知条数为测算值,依据各集来源构成(表 10、表 14、表 18、表 22)与甲方各源系统的数据留存状况;占比要求依招标文件。
表中三项数量关系须一并说明。多模态条数与近 36 个月条数共用同一个分母,且两者各自与分母的关系互相独立:一条样本可以既是多模态又在近 36 个月内,两列不互斥、不可相加。业务时间未知条数计入分母但不计入近 36 个月的分子,即按不利于我方的方向保守处置——未知不等于近期。该列同时是时效占比的改进余量:随纸质资料数字化推进与归档日期回填,未知条数下降,近 36 个月占比只会上升不会下降。跨模态记录已按第二部分第 1 小节的合并计数规则归并,同一业务对象的图像与其结构化描述计一条,不在多模态列与分母中重复出现。
两项指标的分集差异很大,这是业务事实决定的,不是配比不当。工艺设计集的时效占比只有 25%,制造过程集高达 85%;若按分集各自达标来要求,前者必须削减历史图纸样本,而历史图纸恰是本集最有价值的部分。因此我方按招标文件原文的口径执行。两项指标是对整套数据集提出的,在四集汇总层面核算达标,分集占比如实记录在各自的数据集卡片中,不做分集达标承诺。
「3 年内」以数据集版本的发布日为基准日向前推 36 个月,按业务发生时间而非入库时间判定。按业务发生时间判定的原因是同一批历史数据可能在项目中期才完成数字化入库,按入库时间统计会把十年前的图纸记成当年数据。该口径在数据集卡片的建设过程字段中以「采集时间范围」与「业务发生时间范围」两个字段分别记录,对应评测规范中数据来源一项对采集时间范围的要求。
时间边界按三条判定,逐版固定并随卡片声明。其一是区间的开闭:计入区间为基准日前推 36 个月的次日起至基准日当日止,两端均含边界当日;基准日取版本发布日,不取评测日,避免同一版本在不同评测时点得出不同占比。其二是跨期样本的归属:一条样本涉及多个时间点时(如合同签订、交货、结算分属不同年份),以该样本所述业务事实的主体发生时间为准,主体时间在样本结构中以单一字段显式记录,不取最早也不取最晚。其三是业务时间未知样本的处置:无法从原始记录判定业务发生时间的样本,计入分母、不计入近 36 个月分子,并在样本中以缺失标记显式保留、不以入库时间或归档时间代填;该部分条数逐集统计,列于表 26 并写入卡片的局限性字段。
基准日逐版本后移,早期入集的样本会陆续退出区间。以 2028 年 5 月的终版为例,基准日之前 36 个月即 2025 年 5 月之后发生的业务数据才计入。
我方的处理办法是把近三年数据的持续补充列为常态生产任务,每一版发布前重算时效占比并记入卡片;若某一版测算值低于 45%(即在 40% 的要求上预留 5 个百分点安全边界),该版发布前先补充近期批次,补足后再发布。
5 模态与时效性占比的达成结构(口径一)
图 5 模态与时效性占比的达成结构(口径一)。数据来源:测算值依表 26;要求值依招标文件第 95 页表格 3-5。条形长度按占比比例绘制,浅灰为达成部分,竖线为 40% 要求线。
每一正式发布版本均产出数据集内容、数据集卡片、版本指纹、质检报告与验证报告五件,其中数据字典与自描述封装文件须使数据集脱离平台后仍能被第三方平台准确解析。本部分给出卡片的出卡粒度、字段体系、版本指纹的生成方式与一张填满的样例卡。
数据集卡片在本项目中不是一份摘要性文档,它承担的是评测规范中「说明文档」维度的全部举证责任。招标文件要求的三维度评测指标体系中,说明文档维度下设基本信息完整性、内容特征完整性、建设过程完整性、应用说明完整性四组共二十一项指标。这二十一项指标每一项都在问「说明文档是否说明了某件事」。
因此卡片字段与这二十一项指标逐项对应:每一项指标对应卡片中至少一个字段,字段留空即对应指标失分,由平台在发布前自动校验必填字段,缺项则阻断发布。这样安排使说明文档维度的得分不取决于编写人的经验,而取决于字段是否填齐,可核查、可自动化。
卡片同时承担另外两件事:记录本版数据集的已知局限,以及承载规模、模态与时效三项承诺指标的本版实测值。前者关系到评测规范对局限性说明的要求,也关系到回退情形的如实披露;后者使第三方评测可以直接拿卡片声明值与自己的复算值比对。
卡片按「一数据集一用途子集一卡」的粒度产出。四类数据集乘四个用途子集得十六张子集卡,外加四张数据集级汇总卡,一个正式发布批次共二十张。汇总卡不重复子集卡的内容,它回答三个只有在数据集层面才成立的问题:该数据集跨四个子集的总规模、模态构成与时效构成;四个子集之间的来源隔离与引用关系;该数据集对应哪几个验证场景、由哪几份质检与验证报告支撑。
表 27 二十张数据卡的清单与取数来源
| 数据卡编号 | 卡名 | 本卡承载的内容 | 规模与构成的取数来源 |
|---|---|---|---|
| GHY26691-DC-01-0000 | 供需计划数据集级汇总卡 | 四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单 | 表 9、表 10、表 11、表 12 |
| GHY26691-DC-01-0001 | 供需计划预训练子集卡 | Token 总量、来源构成、篇章长度分层、合成占比与去重统计 | 表 9、表 10、表 11、表 12 |
| GHY26691-DC-01-0002 | 供需计划有监督指令微调子集卡 | 条数与任务类型分解、难度分层与长尾配额、标注规范与一致率 | 表 9、表 10、表 11、表 12 |
| GHY26691-DC-01-0003 | 供需计划人类偏好对齐子集卡 | 组数与偏好对象分解、偏好序出处、理由字段完整率 | 表 9、表 10、表 11、表 12 |
| GHY26691-DC-01-0004 | 供需计划基准评测子集卡 | 条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子 | 表 9、表 10、表 11、表 12 |
| GHY26691-DC-02-0000 | 产品工艺设计数据集级汇总卡 | 四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单 | 表 13、表 14、表 15、表 16 |
| GHY26691-DC-02-0001 | 产品工艺设计预训练子集卡 | Token 总量、来源构成、篇章长度分层、合成占比与去重统计 | 表 13、表 14、表 15、表 16 |
| GHY26691-DC-02-0002 | 产品工艺设计有监督指令微调子集卡 | 条数与任务类型分解、难度分层与长尾配额、标注规范与一致率 | 表 13、表 14、表 15、表 16 |
| GHY26691-DC-02-0003 | 产品工艺设计人类偏好对齐子集卡 | 组数与偏好对象分解、偏好序出处、理由字段完整率 | 表 13、表 14、表 15、表 16 |
| GHY26691-DC-02-0004 | 产品工艺设计基准评测子集卡 | 条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子 | 表 13、表 14、表 15、表 16 |
| GHY26691-DC-03-0000 | 制造过程数据集级汇总卡 | 四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单 | 表 17、表 18、表 19、表 20 |
| GHY26691-DC-03-0001 | 制造过程预训练子集卡 | Token 总量、来源构成、篇章长度分层、合成占比与去重统计 | 表 17、表 18、表 19、表 20 |
| GHY26691-DC-03-0002 | 制造过程有监督指令微调子集卡 | 条数与任务类型分解、难度分层与长尾配额、标注规范与一致率 | 表 17、表 18、表 19、表 20 |
| GHY26691-DC-03-0003 | 制造过程人类偏好对齐子集卡 | 组数与偏好对象分解、偏好序出处、理由字段完整率 | 表 17、表 18、表 19、表 20 |
| GHY26691-DC-03-0004 | 制造过程基准评测子集卡 | 条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子 | 表 17、表 18、表 19、表 20 |
| GHY26691-DC-04-0000 | 产品质量数据集级汇总卡 | 四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单 | 表 21、表 22、表 23、表 24 |
| GHY26691-DC-04-0001 | 产品质量预训练子集卡 | Token 总量、来源构成、篇章长度分层、合成占比与去重统计 | 表 21、表 22、表 23、表 24 |
| GHY26691-DC-04-0002 | 产品质量有监督指令微调子集卡 | 条数与任务类型分解、难度分层与长尾配额、标注规范与一致率 | 表 21、表 22、表 23、表 24 |
| GHY26691-DC-04-0003 | 产品质量人类偏好对齐子集卡 | 组数与偏好对象分解、偏好序出处、理由字段完整率 | 表 21、表 22、表 23、表 24 |
| GHY26691-DC-04-0004 | 产品质量基准评测子集卡 | 条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子 | 表 21、表 22、表 23、表 24 |
表 27 数据来源:出卡粒度与编号规则依第 92 页按版本组织产出的要求;四集规模依表 1;各卡的取数来源为本节第三至第七部分各表。二十张卡的逐张实填件见附录佐证卷《附录:四大数据集样例数据卡》(【页码:A10】)。
卡片字段按标识与基本信息、内容特征、建设过程、应用说明、质量与评测、安全与合规、版本与指纹七个分区组织,共八十四个字段,字段号在机器可读卡中作为键名使用。字段号、字段名、必填性、填写方与取值约束一律取附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分(【页码:A2】),本节不另立字段;二十张卡与八十四个字段的逐张实填件见附录佐证卷《附录:四大数据集样例数据卡》(【页码:A10】)。
七个分区的字段数依次为十七、十四、十四、十、十、十、九。前四个分区对应评测规范说明文档维度的四组指标,后三个分区对应质检与验证的举证、数据安全与合规的举证、版本指纹与血缘的举证。八十四个字段中,机器可独立判定的有六十一项,须人工复核判定的有二十三项。
本节第一至第七部分的全部内容都有确定的字段落点,落点列于表 28。凡本节给出的数值与口径,均由该表所列字段在卡片中承载;凡卡片中的统计类字段,其计算口径均回指本节对应的小节,两端用同一套口径,评测时不需要再做换算。
表 28 本节内容在八十四个字段上的落点
| 本节内容 | 所在表或小节 | 落点字段 | 填写方 |
|---|---|---|---|
| 十六格净交付量(四集四子集的规模承诺) | 表 1、表 3 | A08 样本总数、A09 Token 总数 | 平台 |
| 预计损耗率与受理原始量 | 表 3、表 5 | C01 数据来源清单、C02 采集方法 | 人工 |
| 来源对象与清点口径 | 表 3、表 5 | C01 数据来源清单 | 人工 |
| 各集预训练子集的来源构成 | 表 10、表 14、表 18、表 22 | B07 来源分布、C01 数据来源清单 | 平台/人工 |
| 分期累计产量与各期下限 | 表 4、表 6 | A05 版本号、C14 版本变更记录 | 平台 |
| 真实数据补充来源 | 表 4 | C01 数据来源清单 | 人工 |
| 损耗补足路径 | 表 4 | B12 已知局限性、C04 加工处理流程 | 人工 |
| 四个子集的样本结构 | 表 11、表 15、表 19、表 23 | A12 数据结构说明 | 人工 |
| 任务类型与条数分解 | 表 11、表 15、表 19、表 23 | A08 样本总数、B05 业务主题分布、D03 目标模型任务类型 | 平台/人工 |
| 难度分层与长尾配额 | 表 11、表 15、表 19、表 23 | B08 难度分布 | 平台 |
| 标签与参考答案的出处 | 表 12、表 16、表 20、表 24 | B09 标签体系、B10 标签分布、C06 标注规范编号 | 人工/平台 |
| 许可状态 | 表 12、表 16、表 20、表 24 | C03 许可状态、D01 使用许可条款、F06 商用可用性核查、F07 来源合法性承诺 | 人工 |
| 质量证据 | 表 12、表 16、表 20、表 24 | C08 跨标注员一致性、C09 黄金集通过率、E01—E04 质检四项、E05—E07 验证三项 | 平台 |
| 用途与发布条件 | 表 12、表 16、表 20、表 24 | D02 目标应用场景、D09 不适用情形、E03 质检结论 | 人工/平台 |
| 有效模态与模态构成 | 表 26、第七部分第 1 小节 | B01 模态构成、B02 模态种类数 | 平台 |
| 多模态条数占比与其分母口径 | 表 26、第七部分第 2 小节 | B03 多模态条数占比 | 平台 |
| 近 36 个月占比、时间边界与业务时间未知条数 | 表 26、第七部分第 4 小节 | B04 近三年数据条数占比、B13 时间跨度、B12 已知局限性 | 平台/人工 |
| 真实、合成、增强三类样本的计划构成与上限 | 表 7 | B14 合成样本占比、C10 合成方法记录、C11 教师模型许可登记、C12 增强方法记录 | 平台/人工 |
| 去重四项统计与跨模态归并计数 | 表 7、第二部分第 1 小节 | C13 去重与相似度比对结论 | 平台 |
| 基准子集的零合成与双重隔离 | 表 7、表 12 等四表基准行 | C13 去重与相似度比对结论、D05 评测协议 | 平台/人工 |
| 五类异常情形的处置留痕 | 表 8 | C14 版本变更记录、B12 已知局限性、E04 未关闭缺陷 | 平台/人工 |
| 规模逐格达标、不跨领域冲抵 | 第二部分第 8 小节 | A08 样本总数、A09 Token 总数、E02 六维度质检结果 | 平台 |
| 版本指纹与自描述封装 | 本部分第 4 小节 | G01—G07 | 平台 |
表 28 数据来源:字段号与字段名依附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分字段总表;指标对应关系依第 112—115 页评测规范说明文档维度指标;本节内容依第一至第七部分各表。
版本指纹用于回答一个问题:拿到手的这份数据集,是不是卡片所描述的那一份。我方采用三段式摘要,摘要算法采用国产商用密码杂凑算法,与本卷《安全方案》(【页码:T10】)的国密要求一致。第一段是内容摘要,对每一个样本文件逐个计算摘要值,形成校验清单;第二段是清单摘要,对校验清单整体计算摘要值;第三段是卡片摘要,对卡片中除指纹字段本身以外的全部字段按固定序列化规则计算摘要值。三段摘要值拼接为版本指纹,写入卡片与封装包的清单文件。任何一个样本被替换、清单被改动或卡片关键字段被修改,指纹都会变化。
自描述封装包的目录结构固定为六部分:原始数据或发布态内容、元数据、数据字典、数据集卡片、校验清单与许可文件、读取与校验脚本。招标文件要求实现原始数据、元数据与数据字典的绑定封装,使数据集在脱离平台后仍能被第三方平台准确解析。
我方的实现方式是把解析所需的全部信息放进包内而不依赖平台接口:字段定义在数据字典中、文件组织在清单中、读取逻辑在脚本中。验收时以一台未安装本项目任何组件的机器执行包内脚本作为通过标准:脚本能读出样本、指纹校验一致,即视为自描述能力成立。
下表为一张完整的数据卡,八十四个字段逐项成行,字段号与字段名取附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分字段总表。标注【待填】的三类字段是发布时方才产生的值:由平台在发布环节自动计算的摘要、体积与统计实测值;由质检与验证环节出具后回填的报告编号与结论;由甲方确权后方能确定的授权条款与支持渠道。其余字段均为本版实际内容。卡片随数据集一同封装发布,必填字段缺项的版本由平台阻断发布。
表 29 数据卡样例:供需计划数据集·有监督指令微调子集 V1.0
| 字段号 | 字段名 | 本版内容 |
|---|---|---|
| A01 | 数据卡编号 | GHY26691-DC-01-0002-V1.0 |
| A02 | 数据集名称 | 供需计划数据集 |
| A03 | 用途子集 | 有监督指令微调 |
| A04 | 所属业务域 | 01 供需计划 |
| A05 | 版本号 | V1.0 |
| A06 | 发布日期 | 【待填:本版正式发布之日】 |
| A07 | 数据集简介 | 本子集面向矿山装备制造企业「以销定产、以产定采」的供需协同主线,把分散在销售、合同、订单、客户、产品、库存、采购、排产各系统与历史经验文档中的决策事实,整理为可供指令微调使用的监督样本。核心是把选型与补货两类依赖经验的判断显性化:选型类样本按「工况参数+候选配置+校核过程+排序结论+理由」五段式组织,完整保留逐项校核的中间步骤与排序依据,以适配甲方现行公式为校核式而非正算式这一业务事实;库存与补货类样本统一到同一时点的库存口径,并随样本发布口径映射表。本子集支撑产品智能选型、库存控制智能化、合同合规审查三个验证场景的验证服务 |
| A08 | 样本总数 | 40 万条。产品智能选型问答与校核推理 13 万条、库存与补货计划决策 9 万条、合同与技术协议合规问答 7 万条、产销协同与排产调度 6 万条、客户与工况参数抽取 5 万条 |
| A09 | Token 总数 | 不适用。本子集以条计量,Token 计量仅适用于预训练子集 |
| A10 | 存储总量 | 【待填:发布时由平台统计压缩前与压缩后体积】 |
| A11 | 文件类型与编码 | `.jsonl` 样本正文、`.parquet` 列存副本、`.png` 版面切片、`.csv` 口径映射表;字符编码一律 UTF-8,换行符 LF |
| A12 | 数据结构说明 | 每条含 `sample_id`、`task_type`、`instruction`、`input`、`reference_output`、`reasoning`、`biz_key`、`biz_time`、`source_ref`、`quality_flags` 十个字段。`biz_key` 为业务对象主键(合同号、订单号、物料编码之一),`biz_time` 为业务发生时间,`source_ref` 指向原始记录与版面定位,`quality_flags` 记缺失标记与口径转换标记。逐字段定义见《数据字典》GHY26691-LG-01-0003 |
| A13 | 目录组织方式 | `/01_supply_demand/sft/{selection,inventory,contract,scheduling,extraction}/{year}/`。五类任务各一目录,目录内按业务发生年份分层;根目录另置 `manifest.json` 校验清单、`datacard/` 本卡、`dict/` 数据字典、`scripts/` 读取与校验脚本 |
| A14 | 文件命名规则 | `SFT-<任务码>-<业务年份>-<批次号>-<序号>.jsonl`。任务码取 SEL 选型校核、INV 库存决策、CTR 合同合规、SCH 产销协同、EXT 参数抽取;批次号为四位流水,序号为六位流水 |
| A15 | 获取方式 | 奔牛数据智能平台数据集专区申请入口。提交用途说明与使用范围承诺后,经数据所有权部门与安全管理岗两级审批;含商务条款的 CTR 批次另需经营管理部门加签。受理时限 2 个工作日,加签批次 3 个工作日 |
| A16 | 技术支持渠道 | 【待填:技术支持入口与受理时间,由甲方指定】。响应时限按本项目售后服务承诺执行 |
| A17 | 配套件清单 | 《数据字典》GHY26691-LG-01-0003、库存口径映射表 `inv_mapping_v1.csv`、术语词典 `term_dict_01.json`、读取与字段校验脚本 `read_sft_01.py`、分层抽样脚本 `sample_sft_01.py`、按参考输出判分示例 `eval_demo_01.py` |
| B01 | 模态构成 | 文本 34 万条(85%)、文本+图像 6 万条(15%)。图像来自矿方资料扫描件、构件图与选型图、报表图片,以版面切片随样本引用;同一业务对象的图像与其结构化描述合并计一条,不拆分计数 |
| B02 | 模态种类数 | 2(文本、图像)。四集取并集为文本、图像、时序、视频四种,满足模态不低于 3 种的要求 |
| B03 | 多模态条数占比 | 15%(6 万条/40 万条)。分母按本节第七部分口径一取以条计量的样本 |
| B04 | 近三年数据条数占比 | 55%(22 万条/40 万条)。基准日为本版发布日前推 36 个月,区间两端含边界当日,按业务发生时间判定;业务时间未知的样本计入分母不计入分子 |
| B05 | 业务主题分布 | 五类任务条数见 A08。业务域分布:销售与合同 12 万条、库存与采购 9 万条、排产与产销协同 6 万条、客户与工况 8 万条、型谱与物料 5 万条 |
| B06 | 样本长度分布 | 指令与输入合计长度中位数约 600 Token、90 分位约 2,400 Token(测算);长尾为五段式选型校核样本,单条可达 6,000 Token。本版实测分位数与直方分布随发布态统计报表出具 |
| B07 | 来源分布 | 协同办公 11 万条、企业资源计划 9 万条、制造执行 6 万条、客户关系管理 4 万条、企业文档与项目归档 5 万条、产品全生命周期管理 3 万条、结构化访谈与历史方案回溯 2 万条 |
| B08 | 难度分布 | 按工况参数完整度与候选配置数分三档:参数齐备单一配置 18 万条、参数部分缺失或多配置比选 19 万条、长尾 3.2 万条。长尾为多工作面组合选型与跨年度补货测算,单设配额不低于 3.2 万条并在评测中单列统计 |
| B09 | 标签体系 | 《供需计划数据集标注规范》V1.0。含选型校核、库存决策、合同合规、产销协同、参数抽取五类任务的标签定义、边界条件与判定规则;选型校核类另定校核项标签与排序理由的分类标签 |
| B10 | 标签分布 | 逐标签条数与占比随发布态统计报表出具。长尾标签为「配置不可行—接口参数冲突」与「补货方案—外购提前期不确定」两类,各不足全集 1%,已单独标出并在抽样时保底 |
| B11 | 样本示例 | 五类任务各一条,全文见封装包 `samples/` 目录。选型校核类示例为五段式结构,含工况参数表、三个候选配置、逐项校核算式与取值、排序结论与理由 |
| B12 | 已知局限性 | 一、配套接口参数的会商结论无电子留痕,相关样本通过历史方案回溯与结构化访谈部分还原,未还原的项目在 `quality_flags` 中以缺失标记显式保留,不做插补,覆盖度以项目为单位统计、近三年项目优先;二、库存口径经统一映射入集,属一次有损转换,依赖原始分仓口径的账务类分析不适合基于本子集进行;三、客户关系管理系统新上线,项目与商机类样本集中在近三年,更早期间的客户侧信息以合同与技术协议反向补齐;四、历史选型方案的投运使用评价须从零补录,补录进度取决于业务流程改造,本版覆盖度按实际填报。以上四项的补齐计划列入《下一版本修订计划》GHY26691-PL-01-0007 |
| B13 | 时间跨度 | 【待填:本版最早与最晚业务发生日期】。按业务发生时间统计,不按入库时间 |
| B14 | 合成样本占比 | 计划不高于 40%,硬上限 45%,超限由质检环节阻断发布。合成部分以真实案例为种子、由思维链构建类工具链生成过程初稿并经业务专家裁定;本版实测值随质检报告出具 |
| C01 | 数据来源清单 | 协同办公(合同、技术协议、选型方案)、企业资源计划(订单、物料主数据、库存账、采购订单)、制造执行(排产与工序流转)、客户关系管理(项目与商机)、企业文档与项目归档(矿方工况与地质资料)、产品全生命周期管理(产品与部件型谱)、仓储管理与物流执行(库存批次与出入库流水)、结构化访谈与历史方案回溯(供需协同经验与会商结论)。各源的受理原始量与预计损耗率见本节第二部分表 3;采集时间范围逐源登记 |
| C02 | 采集方法 | 业务系统按已授权数据域开通只读接口或只读视图、按日增量抽取;协同办公与企业文档按目录批量导出后文档解析;矿方纸质资料扫描后版面还原;无系统承载的协同经验按专项采集模板组织结构化访谈与历史方案回溯,单独成批次,不与系统导出批次混同计量。本子集净交付 40 万条对应受理原始量 53.3 万条,预计损耗率 25% |
| C03 | 许可状态 | 企业自有。含客户名称与价格条款的批次按较高密级处理,不对外再分发;许可凭证编号随各源登记条目留存 |
| C04 | 加工处理流程 | 采集登记与许可核验 → 文档解析与版面还原 → 对象主键贯通 → 库存与时间口径统一 → 去标识化 → 指令对构造与思维链初稿生成 → 业务专家裁定 → 一致性校验 → 去重 → 质检门控 → 定版。各环节所用工具链及其版本随封装包记录;未达量、模态不足、时效不足、许可撤回、评测不通过五类情形的处置按本节第二部分表 8 执行,处置过程在 C14 留痕 |
| C05 | 预处理参数 | 文档解析保留原始段落与版面坐标;长文按语义段切分,单段上限 2,000 Token、重叠 200 Token;表格按行列结构还原后转为陈述句式并保留原字段映射;库存口径统一到同一时点口径,映射表随集发布 |
| C06 | 标注规范编号 | 《供需计划数据集标注规范》V1.0(册号 GHY26691-ST-01-0002) |
| C07 | 标注组织方式 | 预标注由工具链生成初稿,人工标注双人独立进行,不一致样本转业务专家仲裁。预标注覆盖全部样本,双人独立标注覆盖 30%,仲裁覆盖双人不一致的全部样本 |
| C08 | 跨标注员一致性 | 【待填:本版标注员间一致率实测值】。低于《供需计划数据集标注规范》所定阈值的批次整批退回重标,不以放宽阈值的方式放行 |
| C09 | 黄金集通过率 | 【待填:本版黄金集通过率实测值】。黄金集由业务专家预先裁定,按月轮换以防针对性记忆 |
| C10 | 合成方法记录 | 种子取自历史已签发方案与真实业务记录;合成方法为按任务类型模板生成候选过程、再由业务专家裁定取舍;提示词版本与所调用模型的版本标识逐批登记。模型经统一网关接入,可替换、可评测、可随代升级 |
| C11 | 教师模型许可登记 | 所调用通用大模型的许可条件逐条登记,登记条目编号随合成批次留存;许可条款不允许用于训练数据生成的模型不予调用 |
| C12 | 增强方法记录 | 增强手段为同义改写与指令措辞变体,用于改善指令表达分布;增强副本登记于增强批次台账,不计入本子集 40 万条的规模。增强前后的分布对比结论编号随台账留存 |
| C13 | 去重与相似度比对结论 | 四项统计逐版出具:集内重复率(文本指纹与向量近邻双判)、与本数据集其余三个子集的跨子集重复率、按业务对象主键合并的跨模态归并条数、与基准评测子集的交叉命中数。交叉命中样本整条移出本子集并记入隔离日志,命中数不为零的版本不予发布 |
| C14 | 版本变更记录 | V1.0 首版,无上游版本。后续逐版记录时间、变更内容、变更原因与变更人角色;因许可撤回而下架的来源、因评测整改而回流的批次,一律在本字段单列,不以静默替换方式处理 |
| D01 | 使用许可条款 | 【待填:对外授权条款、是否可商用、署名要求与再分发限制,由甲方确权后填写】 |
| D02 | 目标应用场景 | 产品智能选型、库存控制智能化、合同合规审查三个验证场景。本包承担数据集加工生产、质量评测与场景验证服务,智能场景本身的建设不在本包范围内 |
| D03 | 目标模型任务类型 | 指令微调 |
| D04 | 推荐评测指标 | 五类任务的参考输出一致率;选型校核类另计过程分,按候选生成完整性、逐项校核正确率、排序结论一致率三项分别计算,过程分与结果分不合并 |
| D05 | 评测协议 | 评测环境、推理参数、随机种子与指标脚本版本随本业务域基准评测子集的评测协议一并固化,冻结后不变更;本子集样本不得用于评测,与基准评测子集按来源与时间双重隔离 |
| D06 | 基线结果 | 【待填:基座模型与本版训练后模型的指标对比表,随首轮评测完成后回填】 |
| D07 | 可复现实现参考 | 封装包内 `scripts/eval_demo_01.py` 给出按参考输出判分的完整流程;`read_sft_01.py` 给出字段校验与异常样本定位。两个脚本在未安装本项目任何组件的机器上可直接运行 |
| D08 | 典型应用案例 | 选型校核子任务:输入矿方工况参数与候选配置,输出逐项校核过程与排序结论。输入输出示例与运行步骤见封装包 `cases/sel_case_01/`,可按示例复现 |
| D09 | 不适用情形 | 本子集不适用于价格测算与成本核算类任务,价格条款已按分档映射处理、不保留原值;不适用于依赖原始分仓库存口径的账务分析;不适用于作为评测集使用 |
| D10 | 配套数据集 | GHY26691-DC-01-0001 预训练子集(提供业务语料底座)、GHY26691-DC-01-0004 基准评测子集(提供同业务域的评测口径) |
| E01 | 质检报告编号 | 【待填:本版《数据集质检报告》编号】 |
| E02 | 六维度质检结果 | 保真度、完备性、规整性、均衡性、可用性、可信性六项的实测值与门限对照随质检报告出具。规模相关门控项为:去重后净量达到本期累计下限、合成占比在上限之内、与基准子集的隔离命中为零 |
| E03 | 质检结论 | 【待填:通过/条件通过/不通过】 |
| E04 | 未关闭缺陷 | 条件通过时逐条列出遗留缺陷及其关闭计划与时限;无遗留缺陷时填「无」 |
| E05 | 验证报告编号 | 【待填:本版《数据集验证报告》编号】 |
| E06 | 能力增量结论 | 本子集对模型在选型校核、库存决策、合同合规三类能力上的量化增量,随验证报告出具 |
| E07 | 场景可用性结论 | 产品智能选型、库存控制智能化、合同合规审查三个场景的逐场景可用性判定与失败样本清单,随验证报告出具 |
| E08 | 第三方评测状态 | 【待填:第三方评测报告编号与得分;未评测时填「待评测」】 |
| E09 | 依据标准版本 | 《高质量数据集质量评测规范》TC609-5-2025-04;数据分类分级、去标识化与效果评估所依据的国家标准版本随附录佐证卷标准清单逐项登记 |
| E10 | 复测记录 | 【待填:集中复测的时间、范围与结论编号;未复测时填「无」】 |
| F01 | 数据分类 | 企业经营管理数据、客户与项目数据、产品与物料数据三类 |
| F02 | 数据分级 | 内部级;含客户名称与价格条款的批次按较高一级处理 |
| F03 | 涉及敏感信息类型 | 个人信息(经手人姓名与联系方式)、商业秘密(价格条款与客户名称) |
| F04 | 去标识化方法 | 客户单位名称按泛化法处理到矿区与工作面类型层级;经手人姓名与联系方式按替换法处理;价格条款按分档映射法处理,保留可比性不保留原值 |
| F05 | 去标识化效果评估 | 按重识别风险评估方法逐批评估并抽检,评估方法与结论随本版质检报告出具 |
| F06 | 商用可用性核查 | 本子集不含不可用于商业用途的外部内容;行业与政策公开语料不进入本子集,核查结论随许可审查记录留存 |
| F07 | 来源合法性承诺 | 《数据许可与合规审查规范》审查记录编号随各源登记条目留存;许可撤回时按本节第二部分表 8 处置 |
| F08 | 访问权限范围 | 数据集申请通过的项目成员、数据所有权部门、安全管理岗、第三方评测机构(评测期限内只读) |
| F09 | 审计记录位置 | 平台审计日志按数据集编号与版本号检索,检索标识 `GHY26691-DC-01-0002-V1.0` |
| F10 | 出境与共享限制 | 不出境;对外共享以甲方确权结论为准,确权前不对外提供 |
| G01 | 文件清单摘要 | 【待填:发布时由平台对校验清单计算的摘要值】 |
| G02 | 内容根摘要 | 【待填:发布时由各样本文件摘要按清单顺序归并计算的根摘要】 |
| G03 | 摘要算法 | SM3(GB/T 32905) |
| G04 | 签名算法 | SM2(GB/T 32918.1) |
| G05 | 签名值 | 【待填:发布时对内容根摘要的签名值】 |
| G06 | 签名时间 | 【待填:发布时的签名时间】 |
| G07 | 自描述封装文件 | `GHY26691-DC-01-0002-V1.0.pkg`。包内六部分:发布态内容、元数据、数据字典、本数据卡、校验清单与许可文件、读取与校验脚本。在未安装本项目任何组件的机器上执行包内脚本即可读出样本并完成指纹校验 |
| G08 | 上游版本 | 无(首版) |
| G09 | 血缘标识 | `LIN-01-0002-V1.0`。逐条样本记录其原始数据定位、所经加工环节、各环节工具链版本与生成所用模型版本标识,可由样本反查到原始业务记录 |
表 29 数据来源:字段号、字段名与必填性依附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分字段总表;规模与任务类型分解依表 9、表 11;难度分层依表 11;许可、质量证据与发布条件依表 12;损耗率与受理原始量依表 3;合成与去重口径依表 7;模态与时效口径依表 26 及第七部分第 4 小节。
卡片的填写不是交付前的一次性文书工作。规模、占比、合成比例、一致率四类字段由工具链在每批次发布时自动写入;来源、流程、局限性三类字段由生产任务负责人在批次结项时填写并经质检环节复核;许可与责任部门两类字段由甲方确权后填写。平台在发布前校验必填字段,缺项不予发布。
数据集加工生产专项智能工具链按招标文件 3.2.3 节的要求建设:交付 9 类 25 个专项智能工具链,每个工具链满足其所属类别在 3.2.3.2 至 3.2.3.10 各节的功能与质量验收要求,并统一满足 3.2.3.11 节的通用接口、追溯与验收要求。
25 个工具不是 25 个各自独立的程序,它们共用一套公共服务。统一任务编排层承担作业的受理、参数校验、调度、暂停与恢复、重试、取消、质量检查节点判定与结果发布(质量检查节点指设置在数据生产流程中的检查环节,依据质量规则判断数据是否符合进入后续工序或交付的条件,未通过不放行);统一数据契约层承担字段模式、版本标识、内容指纹与血缘字段;统一评测回路承担质量判断的产生与回流;统一人工介入通道承担判定权的行使与留痕;统一模型网关是外部模型调用的唯一出口。招标文件 3.2.3.11 节要求的接口、数据格式、血缘、质量、安全与验收六项共同行为由公共服务实现,各工具只实现自身的业务算子。公共服务与 25 个工具同步版本管理,一并承载在为招标方建设的天地奔牛煤机装备数据智能平台(以下简称奔牛数据智能平台)之上。
各工具链的功能设计、处理流程与配置样例按类别分列:数据构建类见工具链(一),对齐与标注类见工具链(二),质量与验证类见工具链(三)。
我方交付 9 类 25 个专项智能工具链,类别划分与工具名称与招标文件表列逐项一致,不合并、不改名、不以相近功能顶替。每个工具链满足其所属类别在 3.2.3.2 至 3.2.3.10 各节的功能与质量验收要求,并满足 3.2.3.11 节的通用接口、追溯与验收要求。
表 1-1 是完整交付清单。表中「核心输入」与「核心产出」两列给出该工具在生产线上的接口形态,读表即可判断谁产数据、谁消费数据;「详述位置」列指向该工具功能设计所在的章节。逐工具的业务目的、源对象、输入输出格式、核心处理规则、运行依赖、调用权限、交付形态与验收证据在 1.2 至 1.4 逐项给出,交付范围与招标要求的对照在 1.5 给出。
表 1-1 9 类 25 个专项智能工具链交付清单
| 类 | 类别 | 序 | 工具链名称 | 核心输入 | 核心产出 | 详述位置 |
|---|---|---|---|---|---|---|
| 1 | 思维链构建 | 1 | 大模型自生成思维链工具链 | 业务问题、检索到的背景材料、提示词模板 | 结构化推理样本、自一致性筛选结果 | 工具链(一)二 |
| 1 | 思维链构建 | 2 | 人机协同思维链标注工具链 | 自生成推理样本、专家判据 | 修订后推理样本、修改差异记录、仲裁档案 | 工具链(一)二 |
| 2 | 长上下文数据构建 | 3 | 文档切分与拼接工具链 | 结构化文档对象、切分与滑窗参数 | 文档对象、滑窗长上下文样本、来源映射表 | 工具链(一)三 |
| 2 | 长上下文数据构建 | 4 | RAG 数据构建工具链 | 文档片段、查询集、索引配置 | 查询—上下文—回答三元组、检索增强评测样本与指标 | 工具链(一)三 |
| 2 | 长上下文数据构建 | 5 | 文档结构解析工具链 | 技术手册、规程、标准、工艺文件原件 | 章节树、结构化段落、混合切分片段 | 工具链(一)三 |
| 3 | 多轮对话数据构建 | 6 | 对话模拟生成工具链 | 场景剧本、角色设定、知识库检索结果 | 多轮对话样本、角色标签 | 工具链(一)四 |
| 3 | 多轮对话数据构建 | 7 | 结构化工单转对话工具链 | 服务工单、运维报警、脱敏规则 | 工单转写对话样本、补全标记、脱敏记录 | 工具链(一)四 |
| 3 | 多轮对话数据构建 | 8 | 对话质量筛选工具链 | 对话样本、评分锚点与权重 | 质量评分、低质样本清单、分层采样集、筛选报告 | 工具链(一)四 |
| 4 | 多模态数据对齐 | 9 | 设备图纸与工艺图结构化抽取工具链 | 图纸文件、工艺卡片、图层与符号规则 | 几何与符号结构化字段、图卡成对文本 | 工具链(二)三 |
| 4 | 多模态数据对齐 | 10 | 视频-文本对齐工具链 | 工艺过程与安防视频、设备运行事件、工艺阶段表 | 关键帧与事件的对齐样本、图文成对语料 | 工具链(二)三 |
| 4 | 多模态数据对齐 | 11 | 传感器时序—运维事件对齐工具链 | 测点时序、报警日志、维修工单 | 时序片段与诊断文本成对语料、时序特征 | 工具链(二)三 |
| 5 | 智能标注 | 12 | 大模型预标注工具链 | 待标注样本、标签体系、提示词模板 | 预标注结果、置信度与证据片段 | 工具链(二)四 |
| 5 | 智能标注 | 13 | 主动学习标注工具链 | 预标注结果、不确定性度量、人工标注反馈 | 待标注样本的优先序、定向采集清单 | 工具链(二)四 |
| 5 | 智能标注 | 14 | 本体驱动规则标注工具链 | 领域本体、规则表、约束清单 | 本体标签、约束校验结论、冲突清单 | 工具链(二)四 |
| 5 | 智能标注 | 15 | 一致性校验标注工具链 | 多人标注结果、裁决规则 | 一致性指标、裁决记录、返工清单 | 工具链(二)四 |
| 6 | 数据生成与增强 | 16 | 指令数据生成工具链 | 种子指令、本体标签、结构化素材 | 各任务类型的指令样本与回答候选 | 工具链(二)五 |
| 6 | 数据生成与增强 | 17 | 工单与故障场景模拟生成工具链 | 故障本体与名录、历史工单分布 | 故障场景样本、排障对话候选 | 工具链(二)五 |
| 6 | 数据生成与增强 | 18 | 文本重写与多样化工具链 | 高质量原始样本、术语保护词表 | 多样化表达样本、保护项校验记录 | 工具链(二)五 |
| 7 | 数据质量与分布控制 | 19 | 数据去重与相似度过滤工具链 | 候选数据集、被保护集合、相似度阈值 | 去重后数据集、重复组清单、污染命中报告 | 工具链(三)二 |
| 7 | 数据质量与分布控制 | 20 | 数据分布分析与均衡工具链 | 数据集、领域与类别标签、配比目标 | 分布统计、均衡后数据集、质量治理报告、补齐需求单 | 工具链(三)二 |
| 8 | 数据生成控制与评测 | 21 | 模板化数据生成工具链 | 规则模板、参数字典、业务约束 | 结构化合成样本、生成批次与模板版本记录 | 工具链(三)三 |
| 8 | 数据生成控制与评测 | 22 | 数据集切分与基准构建工具链 | 洁净数据集、切分策略、评测协议 | 训练/验证/测试集、冻结基准集、评测结果 | 工具链(三)三 |
| 9 | 数据集验证与归因 | 23 | 多协议模型评测引擎工具链 | 推理接口、冻结基准集、评测协议与判分规则 | 模型评测报告、样本级评测结果、版本对比 | 工具链(三)四 |
| 9 | 数据集验证与归因 | 24 | 数据贡献度归因与错题溯源工具链 | 评测错题、训练样本血缘、数据子集标签 | 能力雷达图、失败样本清单、归因报告、修订工单 | 工具链(三)四 |
| 9 | 数据集验证与归因 | 25 | 数据集—模型版本血缘追溯工具链 | 数据集版本、训练任务日志、检查点、审批记录 | 血缘图谱、影响范围分析、审计查询结果 | 工具链(三)四 |
凡涉及大模型调用的环节,一律经平台统一模型网关接入。网关侧采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级。样本与血缘记录中只登记网关侧为该模型分配的标识与版本号,不绑定具体型号,模型换代后存量样本的血缘记录保持可追溯。
每个工具的业务目的回答「它替现场解决哪一件事」,源对象回答「它从甲方的哪一类实物或记录取数」,输入输出格式回答「它在流水线上以什么形态接料与出货」。三者合起来即一个工具的对外规格,验收时按此核对,不按工具内部结构核对。格式名称按 3.2.3.11 节第(2)条的五种格式写法,输出的落盘格式随产物性质选定而非一律取同一种。
表 1-2 25 个工具的业务目的、源对象与输入输出格式
| 序·工具链 | 业务目的 | 源对象 | 输入格式 | 输出格式 |
|---|---|---|---|---|
| 1 大模型自生成思维链 | 把工艺与排障的推理过程显性化,产出带中间步骤的推理样本 | 技术规程与工艺文件的检索片段、业务问题集、提示词模板 | JSON(问题集与模板)+JSON Lines(检索片段) | JSON Lines(推理样本:步骤序列、自一致性得分、步骤级可信度) |
| 2 人机协同思维链标注 | 由专家修订自生成样本的错误步骤,并把修订差异留成可审的档 | 自生成推理样本、专家判据、裁决规则 | JSON Lines | JSON Lines(修订后样本、步骤差异记录)+CSV(仲裁台账) |
| 3 文档切分与拼接 | 把结构化文档切成可入样的长上下文片段并保留来源映射 | 文档结构解析产出的章节树与结构化段落 | JSON(章节树)+JSON Lines(段落)+切分参数 | JSON Lines(长上下文样本)+CSV(来源映射表) |
| 4 RAG 数据构建 | 在文档片段上建索引,产出查询—上下文—回答三元组与检索指标 | 文档片段、业务查询集、索引配置 | JSON Lines(片段)+JSON(查询集与索引配置) | JSON Lines(三元组)+JSON(检索增强指标) |
| 5 文档结构解析 | 把版面还原成章节树与结构化段落,使长文档可被按结构取用 | 技术手册、规程、标准、工艺文件原件(电子版与扫描件) | 版式文档与办公文档原件、扫描图像 | JSON(章节树)+JSON Lines(结构化段落)+Markdown(可读还原件) |
| 6 对话模拟生成 | 按场景剧本与角色设定产出多轮对话样本 | 场景剧本、角色设定、知识库检索结果 | JSON(剧本与角色)+JSON Lines(检索结果) | JSON Lines(多轮对话样本:轮次标识、角色标签、引用来源) |
| 7 结构化工单转对话 | 把服务工单与运维报警转写成带事实来源分级的对话 | 服务工单、运维报警、维修记录、脱敏规则 | CSV 或 JSON Lines(工单导出)+JSON(脱敏规则) | JSON Lines(对话样本、补全标记、脱敏记录) |
| 8 对话质量筛选 | 对对话样本打分、筛除低质并按分层比例采样 | 对话样本、评分锚点与权重 | JSON Lines+JSON(锚点与权重) | JSON Lines(评分与分层采样集)+Markdown(筛选报告) |
| 9 设备图纸与工艺图结构化抽取 | 把图纸与工艺卡片的几何量、符号与工艺参数抽成可计算的字段 | 刮板输送机及其部件图纸、工艺卡片、图层与符号规则 | 二维设计文件、版式文档、扫描图像 | JSON Lines(结构化字段、图卡成对文本)+CSV(五项工程自检结论) |
| 10 视频-文本对齐 | 把关键帧挂到设备运行事件与工艺阶段的时间轴上 | 工艺过程视频、安防视频、设备运行事件、工艺阶段表 | 视频文件或取流地址+JSON Lines(事件) | JSON Lines(帧—事件对齐样本、图文成对语料)+JSON(时钟校准记录) |
| 11 传感器时序—运维事件对齐 | 把测点时序切到报警与维修工单的时间窗并产出特征与诊断文本 | 熔池相机与热成像测点、设备运行测点时序、报警日志、维修工单 | Parquet(时序)+JSON Lines(报警与工单) | Parquet(时序片段与特征)+JSON Lines(时序—诊断文本成对语料) |
| 12 大模型预标注 | 对待标注样本产出候选标签与证据片段,按置信度分流 | 各类待标注样本、标签体系、提示词模板 | JSON Lines+JSON(标签体系与模板) | JSON Lines(预标注结果、置信度、证据片段定位) |
| 13 主动学习标注 | 按不确定性与覆盖缺口排出待标注优先序,并提定向采集清单 | 预标注结果、不确定性度量、人工标注反馈 | JSON Lines | JSON Lines(待标注优先序)+CSV(定向采集清单) |
| 14 本体驱动规则标注 | 按本体与规则表给确定性标签,并把约束冲突显性化 | 领域本体、规则表、约束清单 | JSON(本体与规则)+JSON Lines(样本) | JSON Lines(本体标签、约束校验结论)+CSV(冲突清单) |
| 15 一致性校验标注 | 度量多人标注的一致性,按裁决规则形成裁决与返工 | 多人标注结果、裁决规则 | JSON Lines | JSON(三粒度一致性指标)+JSON Lines(裁决记录)+CSV(返工清单) |
| 16 指令数据生成 | 按任务类型与难度层次扩充指令样本与回答候选 | 种子指令、本体标签、结构化素材 | JSON Lines+JSON(任务类型与难度配比) | JSON Lines(指令样本与回答候选,带合成标记) |
| 17 工单与故障场景模拟生成 | 按故障本体与历史分布构造长尾故障场景与排障对话 | 故障本体与名录、历史工单频次统计 | JSON(本体与名录)+CSV(频次统计) | JSON Lines(故障场景样本、排障对话候选,带合成标记) |
| 18 文本重写与多样化 | 在语义与事实不变的前提下产出多种表达 | 高质量原始样本、术语保护词表 | JSON Lines+CSV(保护词表) | JSON Lines(多样化样本、保护项校验记录,带合成标记) |
| 19 数据去重与相似度过滤 | 判精确重复、近重复、语义重复与基准污染 | 候选数据集、被保护集合(冻结基准集)、相似度阈值 | Parquet 或 JSON Lines+JSON(阈值与被保护集合登记) | Parquet(去重后数据集)+JSON Lines(重复组、污染命中)+Markdown(报告) |
| 20 数据分布分析与均衡 | 按统计维度看分布形状,识别偏置与漂移并给出补齐需求 | 洁净数据集、领域与类别标签、配比目标 | Parquet+JSON(配比目标) | JSON(分布统计)+Parquet(均衡后数据集)+Markdown(质量治理报告)+CSV(补齐需求单) |
| 21 模板化数据生成 | 在强约束下按模板与参数字典产出结构化合成样本 | 规则模板、参数字典、业务约束 | JSON(模板、字典与约束) | JSON Lines(合成样本)+JSON(生成批次与模板版本记录) |
| 22 数据集切分与基准构建 | 按策略做三层切分、检出泄漏并冻结基准集 | 洁净数据集、切分策略、评测协议 | Parquet+JSON(策略与协议) | Parquet(训练/验证/测试集)+JSON Lines(冻结基准集)+JSON(冻结凭据) |
| 23 多协议模型评测引擎 | 在冻结基准集上按协议评测被测对象并出样本级结果 | 冻结基准集、评测协议与判分规则、被测对象推理接口 | JSON Lines(基准集)+JSON(协议与判分规则) | JSON(评测报告机读部分)+JSON Lines(样本级结果)+Markdown(可读报告) |
| 24 数据贡献度归因与错题溯源 | 把错题归到六类原因,并转成指向具体环节的修订工单 | 样本级评测结果、训练样本血缘、数据子集标签 | JSON Lines | JSON(能力维度底料)+JSON Lines(失败样本与归因结论)+CSV(修订工单) |
| 25 数据集—模型版本血缘追溯 | 提供样本到数据集版本到训练任务的链路与影响范围 | 数据集版本、训练任务日志、检查点、审批记录 | JSON Lines(血缘记录) | JSON(血缘图谱)+JSON Lines(影响范围清单)+CSV(审计查询结果) |
表 1-2 数据来源:业务目的与源对象依招标文件第五章 3.2.3.2 至 3.2.3.10 各节的工具功能要求与甲方现场数据形态;格式取值依 3.2.3.11 节第(2)条的五种格式。
核心处理规则一列写的是该工具据以判断的办法,不是实现细节:凡能用确定性计算判定的一律用计算判定,模型只用在确定性办法覆盖不到的地方。运行依赖一列写的是该工具跑起来必须先有的外部条件,它同时是分批投产排序的依据。
调用权限按角色与数据域两个维度授予。角色有六类:加工作业岗提交与查看加工任务;标注管理岗提交标注与复核类任务并管理标注工位;质量管理岗提交质检、去重、分布与报告类任务;评测管理岗管理基准集与评测作业;裁决岗处理不一致裁决;安全审计岗对血缘与审计记录只读查询并审批敏感导出。数据域按供需计划、工艺设计、制造过程、质量四域分别授权,另按敏感级叠加一层授权;越域或越级的调用在编排层拒绝并记一条审计。规则库、模板库、阈值与门限的变更不属任何岗位的日常权限,一律走策略会签。
表 1-3 25 个工具的核心处理规则、运行依赖与调用权限
| 序·工具链 | 核心算法或处理规则 | 运行依赖 | 调用权限 |
|---|---|---|---|
| 1 大模型自生成思维链 | 多路采样后按答案归并做自一致性筛选;步骤级可信度打分与首错定位,按自动采纳、复核、重做三条分流 | 统一模型网关、提示词模板库、工具 4 的三元组或检索服务 | 加工作业岗;模板变更走策略会签 |
| 2 人机协同思维链标注 | 步骤树编辑并逐步留差异;双人修订不一致进仲裁;修订后样本按三条路径回流且与原样本隔离 | 标注工位、仲裁规则资产、工具 1 的产出 | 标注管理岗提交,裁决岗裁定 |
| 3 文档切分与拼接 | 先按章节边界切分,再按滑动窗口拼接;窗口长度与重叠率按上下文预算配置;每片保留文档标识、章节路径与页码区间 | 工具 5 的章节树、切分参数配置 | 加工作业岗 |
| 4 RAG 数据构建 | 片段向量化建索引;查询集由业务问题模板与真实提问两路构造;按召回位次与答案可定位率计分 | 向量索引服务、统一模型网关 | 加工作业岗 |
| 5 文档结构解析 | 版式路线按坐标与字号还原层级,视觉路线处理扫描件,两路按置信度分流并交叉校验;跨页表格按表头与列对齐拼接 | 文档只读接口、统一模型网关(视觉路线) | 加工作业岗;原件访问按文档密级授权 |
| 6 对话模拟生成 | 多智能体按角色隔离与交互协议轮转,调度器按状态机控制轮次与收敛,越界发言由调度器裁决回退 | 统一模型网关、知识库检索、剧本与角色资产 | 加工作业岗 |
| 7 结构化工单转对话 | 工单字段按固定对话骨架映射;事实来源分原票据、派生计算、补全推测三级,补全部分强制标记;脱敏在写出前执行 | 工单只读接口、脱敏规则资产、对象标识服务 | 加工作业岗;含人员与客户字段的工单按脱敏后视图授权 |
| 8 对话质量筛选 | 规则通道与模型通道双通道评分后投票,不一致进复核;抽检结果反向校正评分偏差;按分层比例采样 | 统一模型网关、评分锚点与权重资产 | 质量管理岗 |
| 9 设备图纸与工艺图结构化抽取 | 图元解析得几何与符号,按闭合性、尺寸链、公差带、材质牌号、工艺参数取值域五项工程自检;展开长等几何量按中性层系数确定性计算,不由模型给数 | 图纸只读接口、符号与图层规则资产、单位字典 | 加工作业岗;图纸按产品线与密级授权 |
| 10 视频-文本对齐 | 等间隔、事件触发、变化点三路抽帧;按设备时钟与视频时钟的偏移做校准;帧与事件按时间窗匹配并做对齐校验 | 视频只读接口、设备事件流、时钟校准基准 | 加工作业岗;安防视频按甲方安保口单独授权 |
| 11 传感器时序—运维事件对齐 | 按事件窗切分时序,预处理去野值与重采样,提统计量、变化点与频域特征;诊断文本中的数值由特征计算填入模板 | 时序只读接口、测点台账、对象标识服务 | 加工作业岗 |
| 12 大模型预标注 | 批量预标注后按置信度三档分流;证据片段须在原文可定位,不可定位即判错 | 统一模型网关、标签体系与标注规范、校准集 | 标注管理岗 |
| 13 主动学习标注 | 按不确定性度量与覆盖缺口排序形成优先序;人工标注反馈回流后重排;覆盖缺口转定向采集清单 | 工具 12 的产出、标注工位反馈 | 标注管理岗 |
| 14 本体驱动规则标注 | 本体推理得确定性标签,规则表逐条校验约束;冲突不自动消解,出冲突清单待裁 | 本体与规则资产库(按版本加载) | 标注管理岗;本体版本变更由治理侧评审 |
| 15 一致性校验标注 | 按任务类型选一致性度量,按样本级、字段级、标签值级三粒度统计;超限进裁决,裁决结论回写并生成返工清单 | 多人标注结果、裁决规则资产 | 裁决岗 |
| 16 指令数据生成 | 按任务类型与难度分层扩充,种子与本体标签约束生成范围;产出带合成标记与不可用于评测集标记 | 统一模型网关、本体标签、工具 20 派发的配比上限 | 加工作业岗 |
| 17 工单与故障场景模拟生成 | 按故障树骨架展开场景要素,分布按历史工单频次反向补长尾;构造场景经业务口裁定方可入库 | 故障本体与名录、历史工单频次统计 | 加工作业岗;入库前经甲方业务口裁定 |
| 18 文本重写与多样化 | 在术语保护词表约束下改写,保护项逐条校验;改写比例按配比上限控制;产出带合成标记 | 统一模型网关、术语与单位字典 | 加工作业岗 |
| 19 数据去重与相似度过滤 | 四级级联:指纹判精确重复、局部敏感哈希判近重复、向量近邻判语义重复、n-gram 扫描判基准污染;跨模态重复缺对齐关系时标注未检 | 向量索引服务、冻结基准集只读凭据、被保护集合登记 | 质量管理岗;基准集按只读凭据访问 |
| 20 数据分布分析与均衡 | 按八个统计维度出分布,识别偏置、异常与漂移;均衡在五种方法中择一或组合;配比上限在生成前派发给合成线 | 洁净数据集、配比目标、数据域与类别标签 | 质量管理岗 |
| 21 模板化数据生成 | 模板槽位按条件逻辑展开,参数受控采样,产出按字段模式做结构校验,四道关卡逐道拦截 | 模板库(按版本加载)、参数字典、字段模式 | 加工作业岗;模板变更走策略会签 |
| 22 数据集切分与基准构建 | 六种切分策略按数据类型选用;切分前检同文档、同族、同源同批三类泄漏;基准集冻结后生成冻结凭据,变更须走重新冻结 | 工具 19 的去重与同族登记结果、评测协议 | 评测管理岗 |
| 23 多协议模型评测引擎 | 多协议并行调度;精确匹配、规则判分、模型判分与人工复核抽样四种判分融合;多模态题按模态分别判分后汇总 | 被测对象推理接口(经网关接入)、冻结基准集、协议资产 | 评测管理岗 |
| 24 数据贡献度归因与错题溯源 | 错题聚类后按训练样本、数据来源、标注批次、生成批次、质量问题、覆盖盲区六类归因;贡献度估计全项目用同一套方法;结论转修订工单 | 工具 23 的样本级结果、工具 25 的血缘、数据子集标签 | 质量管理岗;归因结论经人工确认后生效 |
| 25 数据集—模型版本血缘追溯 | 按节点与依赖构建血缘图谱;正向展开查链路、反向展开查影响、按时点查历史状态;记录只追加不修改 | 血缘服务、训练任务登记、审批记录 | 安全审计岗只读查询;记录写入由公共层执行 |
表 1-3 数据来源:处理规则依招标文件第五章 3.2.3.2 至 3.2.3.10 各节的功能要求;权限维度依 3.2.3.11 节第(5)条的授权校验与访问控制要求。
25 个工具的交付形态有统一的部分与专有的部分。统一的部分是:算子实现、参数配置模板、接口说明、演示样例、输入输出样例与测试报告,即 3.2.3.11 节第(6)条要求的五件套加算子本体,按工具逐个提供,9 类 25 个共 25 套;每个工具在平台内可独立调用、可独立验收,不以「同属一个模块」为由合并验收。专有的部分是该工具随身带的规则与资产,它们决定了这个工具是否贴合矿装现场——离开这些资产,工具只剩通用能力。
验收证据一列写的是测试报告中必须含有实测记录的项。凡列为实测项的,验收时核对的是记录而非说明;指标值按本章 8.1 的基线、趋向、回退三段给出,具体数值在各工具的功能设计中逐项列明。
表 1-4 25 个工具的专有交付资产与验收证据
| 序·工具链 | 随工具交付的专有资产 | 验收证据中的实测项 |
|---|---|---|
| 1 大模型自生成思维链 | 分任务类型的提示词模板集、自一致性筛选阈值配置、步骤可信度标定集 | 演示样例在一批业务问题上跑通;筛选前后正确率对比;步骤级可信度与首错定位的抽检符合度 |
| 2 人机协同思维链标注 | 步骤树编辑规范、专家判据表、仲裁规则 | 差异记录可回放到每一步编辑;仲裁台账与所依据的规则条款一一对应 |
| 3 文档切分与拼接 | 分文档类型的切分参数档、来源映射字段定义 | 同一文档重跑得同一批片段且指纹一致;来源映射可双向反查到页码区间 |
| 4 RAG 数据构建 | 索引配置、查询集构造模板、检索指标定义 | 检索增强六项指标实测;答案可定位率抽检 |
| 5 文档结构解析 | 版面规则档、章节层级词表、扫描件处理参数 | 章节层级符合率,电子件与扫描件分档实测;跨页表格拼接正确率 |
| 6 对话模拟生成 | 场景剧本库、角色设定与交互协议、调度器状态机配置 | 轮次收敛率;角色越界发言的拦截记录;同配置重复运行的偏差 |
| 7 结构化工单转对话 | 工单字段到对话骨架的映射表、脱敏规则、补全标记规范 | 补全内容是否逐条带标记;脱敏后回扫无命中 |
| 8 对话质量筛选 | 评分锚点与权重表、分层采样配比 | 评分与人工复核的一致率;分层采样比例与设定值的偏差 |
| 9 设备图纸与工艺图结构化抽取 | 图层与符号规则库、材质牌号与公差带字典、展开长等几何量的计算式册 | 字段抽取正确率,电子版与扫描件分档;展开长与手算结果的一致性;五项工程自检的检出记录 |
| 10 视频-文本对齐 | 抽帧策略配置、时钟校准基准与偏移台账、工艺阶段表 | 校准后帧与事件的时间偏差;对齐正确率抽检 |
| 11 传感器时序—运维事件对齐 | 测点台账、特征计算式册、诊断文本模板 | 片段落窗正确率;诊断文本中的数值与特征计算结果逐字符一致 |
| 12 大模型预标注 | 分任务的标签体系与标注规范、提示词模板、校准集 | 置信度三档实际占比与校准门限的对应;证据片段可定位率 |
| 13 主动学习标注 | 不确定性度量配置、覆盖维度定义 | 优先序与人工认定高价值样本的重合度;定向采集清单由业务口确认可执行 |
| 14 本体驱动规则标注 | 规则表、约束清单、本体版本依赖表 | 按注入冲突例的约束检出率;规则版本切换后的结论差异可复算 |
| 15 一致性校验标注 | 一致性度量选型表、裁决规则、返工口径 | 三粒度一致率实测;裁决结论回写的完整性 |
| 16 指令数据生成 | 种子指令库、任务类型与难度配比表 | 任务类型覆盖与难度分层比例;合成标记与评测集排除的联动核对 |
| 17 工单与故障场景模拟生成 | 故障本体与名录、故障树骨架、历史频次基线 | 长尾类目样本量披露;构造场景的业务口裁定记录 |
| 18 文本重写与多样化 | 术语保护词表、改写比例上限配置 | 保护项零改动核对;语义与事实不变的抽检复核 |
| 19 数据去重与相似度过滤 | 四级阈值配置、被保护集合登记表 | 按注入重复例的各级检出率;污染回灌测试的识别率 |
| 20 数据分布分析与均衡 | 八维度统计口径、配比目标表、补齐需求单模板 | 八维度统计可复算;均衡前后分布偏移的量化对比 |
| 21 模板化数据生成 | 模板库、参数字典、业务约束表 | 结构校验通过率;四道关卡的拦截记录;同模板同参数重跑结果一致 |
| 22 数据集切分与基准构建 | 切分策略档、泄漏检测规则、冻结凭据格式 | 泄漏构造例逐类检出;冻结后基准集的写保护验证 |
| 23 多协议模型评测引擎 | 评测协议集、判分规则库、随机种子登记 | 同协议重复运行的偏差;判分融合结果逐题可复核 |
| 24 数据贡献度归因与错题溯源 | 归因方法说明与参数、修订工单模板 | 注入错误样本可被归因命中;修订工单指向的环节与注入点一致 |
| 25 数据集—模型版本血缘追溯 | 血缘图谱模式、五类审计查询的预置用例 | 五类审计查询按预置用例返回;血缘记录的追加—不可改写验证 |
表 1-4 数据来源:交付形态依招标文件第五章 3.2.3.11 节第(6)条验收要求;实测项依各工具所属类别的质量验收要求。
工具链承载在奔牛数据智能平台上运行,这是运行形态,不是交付范围的缩减:招标文件要求的 25 个工具链的能力、接口与授权逐项交付,不因它们运行在平台之内而减少任何一项。表 1-5 按招标要求逐条对照,列明我方交付什么、可在哪些节点使用、授权到什么程度、哪一处是外部服务边界。
表 1-5 交付范围与招标要求的逐项对照
| 对照项 | 招标文件要求 | 我方交付 | 可用节点与部署许可 | 外部服务边界 |
|---|---|---|---|---|
| 工具链数量与类别 | 3.2.3:不少于 9 类 25 个专项智能工具链 | 9 类 25 个,类别、名称与顺序与招标文件表列逐项一致 | 部署在甲方侧平台环境的生产节点与测试节点,两类节点同时具备 | 无外部依赖 |
| 类别功能与质量要求 | 3.2.3.2 至 3.2.3.10 各节的功能与质量验收要求 | 逐工具按所属类别的功能点与质量口径交付,每个工具可独立调用、独立验收 | 同上;测试节点供甲方自行复测,不限复测次数 | 无外部依赖 |
| 接口 | 3.2.3.11(1):标准接口或平台内部服务接口,支持六类调用 | 六类标准调用加参数校验、能力描述两类辅助接口;标准应用程序接口与平台内部服务接口两种形态同时提供 | 接口在甲方内网对授权角色与甲方指定的内部系统开放 | 不向互联网开放 |
| 数据格式与入库 | 3.2.3.11(2):五种格式并可按数据集标准转换入库 | 五种格式由同一份内部表示经统一序列化层生成;入库做字段映射、入库校验与入库凭据登记 | 导出件落在甲方侧存储,取件区仅内网可达 | 导出不出甲方网络边界 |
| 血缘 | 3.2.3.11(3):每条样本关联八项信息 | 八项字段由公共层逐环节追加写入,只追加不修改 | 血缘库部署在甲方侧,查询开放给授权角色与审计岗 | 血缘数据不出域 |
| 质量 | 3.2.3.11(4):质量指标、问题样本清单与四维度报告 | 各工具专有指标加统一的通用指标;按批次、来源、任务类型、数据集版本四维度出报告 | 报告在平台内生成与留存,支持导出到甲方侧 | 无外部依赖 |
| 安全 | 3.2.3.11(5):五项安全能力与外部模型调用记录 | 敏感信息识别、脱敏、授权校验、访问控制、审计日志五项实现在公共层 | 安全策略与授权矩阵由甲方确认后在平台内配置 | 统一模型网关是唯一外部出口,不可出域字段在网关层强制拦截,调用范围与出域情况逐次留记录 |
| 验收 | 3.2.3.11(6):每个工具链提供五件套 | 25 套五件套按工具逐个提供,口径统一,汇总成册并按招标文件条目编制索引 | 随工具交付,与工具同版本管理 | 无外部依赖 |
| 使用授权 | 3.2.3:工具链为本项目建设内容 | 甲方在本项目范围内使用 25 个工具链,不按调用次数、并发数或业务域另设授权限制,建设期与质保期内持续可用 | 节点数随甲方平台环境确定,工具链不单独设置节点许可 | 向甲方以外第三方提供工具链能力时,按数据集运营服务管理平台约定的对外服务形态执行 |
| 外部依赖 | 3.2.3.11(5):涉及外部模型调用时须记录调用范围与出域情况 | 通用大模型经统一网关接入,其余处理环节在甲方侧完成 | 网关部署在甲方侧,出域策略按甲方确认的分级配置 | 网关侧模型可替换、可评测、可随代升级;替换不改动算子实现、不改动字段模式、不回改存量样本的血缘记录 |
表 1-5 数据来源:对照项与要求列依招标文件第五章 3.2.3 节及 3.2.3.11 节原文;部署与授权口径为本方案承诺,随甲方环境确认后细化。
甲方是矿山装备制造企业,产品为刮板输送机一类煤机装备。数据不缺体量,缺的是可用形态。板材备料共 28 道工序,历史工艺样本约 63 万张;每张图纸都配有一份已审核签发的工艺卡片,但这份配对关系落在文件目录和经手人的记忆里,不在任何系统字段中。设备运行的时序信号已采到秒级,却与具体工件、炉次、焊道对不上稳定主键。工单、检验结论、不合格品票与改造方案多为自然语言,表述自由、口径不一。
要把这些数据做成可训练、可评测的行业大模型数据集,须解决四件事:样本对不上、缺可用标签、规模不够且分布不均、结果不可验证。9 类 25 个专项智能工具链即按这四类缺口配置,在数据加工主线上分为三组工段。
三组工段的构成与产出如下,九类工具不是九个并列产品:
数据构建组(第 1—3 类,工具 1—8)把文本与文档变成样本。思维链构建解决推理过程不可见的问题,长上下文数据构建解决长文档不能整体入样的问题,多轮对话数据构建解决业务交互过程无样本的问题。这一组的输入是清洗后的语料与结构化业务记录,产出是推理样本、长上下文样本、检索增强三元组与多轮对话样本。
对齐与标注组(第 4—6 类,工具 9—18)把非文本载体接入主线并打上标签。多模态数据对齐解决「对不上」,智能标注解决「没标签」,数据生成与增强解决「不够与不均」。这一组的产出是结构化图纸字段、图文与时序成对语料、标注结果与一致性指标、合成与增强样本。
质量与验证组(第 7—9 类,工具 19—25)对前两组的产出作判断,并用模型表现反向检验数据集。数据质量与分布控制判集合层面的重复、污染与形状,数据生成控制与评测管受控生成与切分冻结,数据集验证与归因用评测结果定位数据侧的问题。这一组不生产数据,产出的是判断、证据与修订动作。
三组的关系是生产、把关、反馈。前两组构成生产链,第七、八类构成把关链,第九类构成反馈链:评测发现的错题经归因落回具体的标注批次、生成批次或覆盖盲区,转成修订工单回到生产链。该反馈回路使工具链可在建设期内持续修订提质,而非一次性加工。
2-1 九类二十五个工具在数据加工主线上的分组与数据流向
图 2-1 九类二十五个工具在数据加工主线上的分组与数据流向。实线为样本与数据集的正向流动,虚线为由评测与质量判断驱动的反向修订。数据来源:招标文件第五章 3.2.3.1 节工具链清单、3.2.3.10 节验证与归因要求;数据集规模取投标文件统一口径。
25 个工具的清单本身不构成一条生产线,把它们串起来的是数据供需关系与衔接口径:谁产的数据谁消费、在类的边界上以什么口径交接、同一个数据对象在整条链上靠什么保持同一个身份。
九类工具的产出与消费关系可归为三条主干。
文档线从技术手册、规程、标准与工艺文件出发。文档结构解析(工具 5)先把版面还原成章节树与结构化段落,切分与拼接(工具 3)据此产出长上下文样本与来源映射表,RAG 数据构建(工具 4)在同一份片段上建索引并产出查询—上下文—回答三元组。三元组一旦可用,就成为思维链自生成(工具 1)与对话模拟生成(工具 6)的背景材料来源——这两个工具不凭空生成内容,而是在检索到的材料上组织推理与对话。文档线的末端是长上下文语料进预训练数据集、三元组经格式转换进指令微调数据集。
多模态线从图纸、工艺卡片、过程视频与测点时序出发。图纸与工艺图结构化抽取(工具 9)把几何与符号抽成字段,视频—文本对齐(工具 10)把关键帧挂到设备运行事件与工艺阶段的时间轴上,时序—事件对齐(工具 11)把时序片段切到报警与维修工单的时间窗里。这三者的产出有两个去向:一是进智能标注类(工具 12—15)获得标签,二是作为素材进生成与增强类(工具 16—18)扩充样本量。多模态线解决的是「对不上」,它的产出质量决定了后续标注与生成的上限——对齐错误的素材标得再细也是错的。
合成线从种子素材与规则出发。指令数据生成(工具 16)按任务类型与难度层次扩充指令样本,工单与故障场景模拟生成(工具 17)按本体与历史工单分布构造长尾场景,文本重写与多样化(工具 18)在语义与事实不变的前提下产出多种表达,模板化数据生成(工具 21)在强约束下产出结构化合成样本。合成线的四个工具都受两道约束:配比上限由分布分析(工具 20)在生成前派发,合成标记随样本留存,评测集构造按该标记排除合成样本。
三条主干都汇入把关链。去重与相似度过滤(工具 19)是全部候选样本的第一道闸——重复在候选池建立的第一天就存在,污染的后果最严重,基准集一旦被污染且未被发现,后续全部评测结论不可用。分布分析与均衡(工具 20)在洁净集上看形状,长尾与盲区的识别结果转成补齐需求单回到标注与生成环节。切分与基准构建(工具 22)在洁净集上做三层切分并冻结基准集,这是训练与评测得以分离的前提。
反馈链由第九类承担。评测引擎(工具 23)在冻结基准集上按协议跑出模型表现,归因与错题溯源(工具 24)把错题关联到训练样本、数据来源、标注批次、生成批次、质量问题或知识覆盖盲区六类原因,并生成修订工单;血缘追溯(工具 25)提供从样本到数据集版本到训练任务的链路,使上述关联可查可审。六类原因中前五类是数据错了,第六类是数据没有,两者的处置动作完全不同——把覆盖盲区误判为质量问题,结果是反复返工已有样本而问题不解。
3-1 九类工具之间的供需关系(谁产数据、谁消费数据)
图 3-1 九类工具之间的供需关系。实线为样本与数据集的供给方向,细虚线为公共层与统一标识服务的支撑关系,粗虚线为由把关链与反馈链发出的回流单据。数据来源:招标文件第五章 3.2.3.1 节工具链清单、3.2.3.11 节通用要求。
类间关系能否真正接上,取决于六个口径是否事先约定。这六项都是在类的边界上发生的,不属于任何单个工具,因此集中在本章交代;各节在实现时引用本节,不另立定义。
关联键统一。九类工具在读写数据时一律通过统一对象标识服务换取内部主键,不直接用源系统的业务编码做关联键。原因在前文已说明:施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号、设备编码之间没有稳定的主键关系。映射缺失时返回明确的未命中状态而非空值,由调用方记为待补映射并进人工对账队列。该服务由数据治理体系交付,工具链是使用方;映射的登记项、有效期、合并拆分、历史回放与冲突裁决的口径见 3.3。
时间基准统一。时间一律以协调世界时存储、按 ISO 8601 格式带时区偏移表达,展示层转为北京时间。设备侧时钟漂移在多模态对齐两个工具中专门处理。
血缘字段统一。九类工具的每条输出记录携带同一组血缘与版本字段,字段名跨类保持一致,使一条样本从原始文件到对齐、标注、增强、去重、切分的全过程能用同一组键串起来。字段的写入由公共层在每个环节追加完成,不由各工具自填——血缘这类横向要求一旦依赖各工具自觉实现,缺失是必然的。
置信度与人工介入统一。工具输出按高、中、低三档置信度分流:高置信入候选集并按比例抽检,中置信进人工复核队列并由工具给出修改建议,低置信进人工标注队列、工具输出仅作参考。各工具只调阈值,不改分档逻辑;阈值由试点批次上的标定集定出,按季度复标并留记录。
合成样本标记统一。合成线四个工具的产出一律携带合成标记与不可用于评测集的标记,评测集构造按该标记排除。这一条是评测集隔离的落实手段:评测集一旦混入合成样本,评测的是生成规则而不是真实业务能力。
配置即代码。提示词模板、输出结构定义、本体版本、采样策略、相似度阈值、改写比例等全部可调项以配置文件形式入库并纳入版本管理,运行时按版本号加载。配合血缘字段,任何一批样本都能在原配置版本下重跑一遍并比对差异。这项能力在三种情形下是必需的:甲方对某批样本质量提出疑问时用于复现,模型随代升级后用于评估新旧差异,验收阶段用于抽样复算。
甲方的同一个实物,在不同系统里有不同的编码:一件中部槽在设计侧是图号加版次,在物料主数据里是物料编码,在制造执行系统里是工单号加零件号,在质检记录里是件号,在设备台账里又是设备编码。这些编码之间没有稳定的主键关系,它们的对应关系落在文件目录、经手人的记忆和若干张离线对照表里。九类工具在读写数据时一律通过统一对象标识服务换取内部主键,不直接用业务编码做关联键,也不各自维护一份私有对照表——私有对照表的后果是同一个对象在不同工具里得到不同的身份,而这种错在合并数据时才会暴露。
映射的登记项。 每一条映射登记源编码类别、源编码值、映射到的内部对象、映射基数、生效时点与失效时点、登记依据与登记批次。映射基数一项不可省:一对一、一对多、多对一三种基数对下游的影响完全不同,把一对多当成一对一处理,结果是样本被静默地挂到了其中一个候选上而没有任何记录。表 3-1 给出本项目涉及的主要源编码及其映射形态。
表 3-1 多源编码到内部主键的映射登记
| 源编码类别 | 典型取值形态 | 映射到的内部对象 | 常见映射基数 | 需要人工裁决的情形 |
|---|---|---|---|---|
| 图号与版次 | 图号加版次号 | 零件或部件的设计对象 | 一对一;换版时新旧版次各占一条 | 换版未登记、同图号在两个产品线下复用 |
| 物料编码 | 物料主数据编码 | 零件或部件的物料对象 | 一对一为主,存在多对一 | 同一零件因计量口径不同存两条编码 |
| 施工号与产品号 | 施工号加产品序号 | 一台整机或一个订单批 | 一对多(一台整机含多个零部件) | 施工号拆单、并单 |
| 工单号与零件号 | 工单号加工序号加零件号 | 一道工序上的加工对象 | 多对一(多道工序指向同一零件) | 返修工单与原工单的归属 |
| 炉次号 | 热处理炉次编号 | 一炉工件的集合 | 一对多 | 同炉混装不同零件、补炉 |
| 焊缝与焊道编号 | 焊缝号加焊道序号 | 一条焊缝上的一道焊接作业 | 多对一(多道焊道属同一焊缝) | 返修焊道的编号沿用 |
| 设备编码 | 设备台账编码 | 一台设备或一个测点载体 | 一对一;测点为一对多 | 设备改造后测点重排 |
| 检验与不合格品票号 | 票号加项次 | 一次检验结论 | 多对一(多次检验指向同一对象) | 复检与原检的关系 |
有效期与历史回放。 每条映射带生效时点与失效时点,解析时须同时给出业务发生时点,服务按该时点所处的有效区间返回当时的映射结果。不带时点的解析按当前时点处理并在返回中标注,调用方据此判断该结果是否可用于历史样本。这条约定的用处在回放:一批两年前的工单样本,若按今天的映射重新解析,可能被挂到一个当时还不存在的对象上,而样本的血缘里不会显示这次改挂——历史回放因此一律按样本的业务发生时点解析,不按加工时点解析。
合并、拆分与改挂。 映射关系会变,变的方式有四种,处置各不相同,见表 3-2。四种变更一律以追加新映射记录加失效旧记录的方式实现,不就地修改原记录;存量样本不追溯重写,需要统一口径的统计按主对象聚合并在报告中注明聚合依据。
表 3-2 映射关系的四类变更与处置
| 变更类型 | 发生场景 | 处置 | 对存量样本的影响 |
|---|---|---|---|
| 合并 | 两条源编码经业务口确认指向同一对象 | 指定其一为主对象,另一条登记为指向主对象的从属映射,合并生效时点取裁决日 | 裁决日之前的样本按原映射解析;统计时按主对象聚合并注明 |
| 拆分 | 一条源编码在某版次后分化为两个规格 | 原映射在分化时点失效,新增两条映射各带生效时点与适用版次范围 | 分化时点之前的样本仍指向原对象,不重写 |
| 改挂 | 对象归属调整,如零件从一个部件改挂到另一个部件 | 原归属关系失效,新增归属关系;对象本身的内部主键不变 | 血缘中的归属字段按时点解析,样本不重写 |
| 作废 | 源编码确认为误建或重复录入 | 映射登记为作废并写明作废依据 | 已引用该映射的样本进复核队列,复核结论作为追加记录写入 |
映射冲突与人工裁决。 冲突分四类:一对多且候选同质(两条候选在业务上是同一件)、一对多且候选异质(两条候选确为不同对象,须补充信息才能定)、互斥映射(两条登记给出相反的归属)、时点越界(样本的业务发生时点落在所有有效区间之外)。四类冲突都不由工具自行消解,工具返回明确的冲突状态并挂起该批样本,冲突进人工对账队列。表 3-3 是一次一对多且候选同质冲突的完整裁决过程,这类冲突在物料主数据中最常见。
表 3-3 一次映射冲突的裁决实例
| 步骤 | 发生了什么 | 处置 | 留痕 |
|---|---|---|---|
| 1 发现 | 同一张中部槽图纸(图号加版次唯一)在物料主数据中对应两条物料编码,两条的规格描述一致,计量单位一条按件、一条按米 | 工具侧返回「映射冲突:一对多」状态而不任选其一,该批样本挂起,不进入后续加工 | 冲突记录:图号与版次、两条候选编码、发现批次、发现时点、挂起样本数 |
| 2 定性 | 对账队列按冲突类型判为一对多且候选同质 | 转工艺口与物料口裁决,随件附上两条编码近三年的工单引用次数、计量单位与最近一次使用时点 | 裁决申请单及其附件清单 |
| 3 裁决 | 业务口确认两条编码指向同一零件,其一为历史计量口径遗留 | 登记合并:按件编码为主对象,按米编码登记为从属映射,合并生效时点取裁决日 | 裁决结论、裁决依据、承办角色(记角色不记姓名) |
| 4 回放 | 裁决日之前已加工的样本仍按当时映射解析 | 不追溯重写;需要跨期统计时按主对象聚合 | 存量样本血缘中的映射版本号保持原值;统计报告注明聚合依据与聚合口径 |
| 5 复核 | 下一批次自动复核该图号的映射命中情况 | 命中唯一即解除挂起并恢复加工;仍冲突则升级为物料标准问题,转数据治理体系处理 | 复核记录、解除挂起时点或升级单 |
工具链一侧的调用约定有三条:不得绕过标识服务直接用业务编码关联;未命中与冲突一律按明确状态返回并挂起样本,不以空值或任选其一的方式继续;每批样本在血缘中登记本批解析所用的映射版本号,使日后能回答「这条样本当时是按哪一版映射挂上去的」。
还有四处衔接点,是本项目数据特性带来的,不作特别约定就会出错;各工具按下列约定调整自身配置。
思维链样本的去重口径。推理样本的推理步骤句式相近,字面相似度天然偏高,直接套用通用近重阈值会误删正确样本。约定是只比对问题与结论,不比对推理过程文本。
长上下文样本的切分隔离。同一份长文档的不同片段必须整份归入同一集合,否则测试集中的片段与训练集中的片段同源,等于泄漏。约定是按文档标识归集。
跨模态重复的判定范围。语义相似比对在同模态内进行,跨模态的关联取自多模态对齐类的对齐结果;对齐关系缺失的样本,跨模态重复不作判定并在报告中标注未检,不以未检冒充无重复。
增强批次的可定位性。增强前后的分布比对由分布分析工具执行,偏移超限时要回看增强参数。约定是生成与增强类工具的产出携带批次标识,使比对能定位到具体批次。
这四处的共同点是:把关链不改变上游的产出规范,而是按上游的数据特性调整自身配置;配置差异记入各数据集类型的配置档,不靠实施时临场判断。
前面几节给的是类与类之间的关系。落到具体一批数据上,走的是一条确定的调用链:从哪一类源对象起,依次经过哪几个工具,每一道在样本上留下什么。本节按供需计划、工艺设计、制造过程、质量四个数据领域各给一条完整调用链。
四条链上贯穿始终的是五项标识。它们不是元数据里可有可无的附加字段,而是后续每一道判断所依据的东西:没有来源家族标识就判不出切分泄漏,没有许可标识就拦不住出域,没有质量标识就构造不出干净的评测集。五项标识的写入时点、取值来源与缺失处置见表 3-4。
表 3-4 五项随样本贯穿的标识
| 标识 | 首次写入时点 | 取值来源 | 下游用它做什么 | 缺失或不可信时的处置 |
|---|---|---|---|---|
| 数据对象标识 | 采集接入登记源对象时 | 统一对象标识服务换取的内部主键 | 跨工具关联、血缘回溯、同族判定、按对象汇总质量 | 返回未命中或冲突状态,样本挂起并进待补映射队列,不以空值继续 |
| 版本标识 | 每次发布或所依赖资产变更时 | 数据集、字段模式、规则库、模板库、工具五类版本 | 重放、版本比较、回滚、验收复算 | 版本不全的批次不可发布 |
| 来源家族标识 | 采集接入登记来源时,派生样本继承 | 源文档标识,或同一工单、同一炉次、同一图号族等源对象族 | 切分隔离、去重的同族判定、泄漏检测 | 归入未知族,整族不进评测集,并在报告中列明未知族样本量 |
| 许可标识 | 采集接入按来源登记 | 使用范围分档:可用于训练、仅限内网处理、不可出域、不可对外提供 | 网关出域拦截、导出审批、对外提供形态判定 | 按最严一档处理,并挂起涉及外部调用的环节 |
| 质量标识 | 每道质检点追加 | 质检结论、置信度档、合成标记、不可用于评测集标记 | 质量检查节点判定、评测集构造、发布验收 | 未质检样本不进发布版本 |
四条链共用同一套排法,三点需要先说明。其一,行按环排而不按工具编号排:同一个工具在四个域里进入的时点并不相同,按编号列只能看出用了哪几件工具,看不出谁先谁后、谁在等谁的产出,而实施期真正会出事的恰恰是顺序——图纸还没配上工艺卡就先做了切分,切出来的片段归不了族,后面的切分隔离与去重就全是空转。其二,每一环除了写调用哪个工具、处理什么、产出什么,还单列一列写五项标识在本环的变化。这一列是四张表的分量所在:一条样本走完十环之后能不能用、能不能进评测集、能不能出域,取决于这十次写入有没有一次漏掉;标识的变化是跨工具累积的,若改按工具分节各写一段,这一列就写不出来,读者也就无从判断一条样本的「身份」是在哪一步残缺的。其三,四条链的环数与环序各不相同,不强行对齐成同一个模板——各域的源对象形态差异很大,硬凑成同构的流程图只能靠含糊措辞达成,反而掩盖了真正需要注意的那一两环。
供需计划域的调用链。 这一域的数据体量最大,源对象以文本与结构化记录为主:合同与订单、物料主数据、库存流水、采购与供应商记录、销售预测,以及供应链相关的制度与流程文件。它看上去是四个域里最好做的一个,而这正是它容易做坏的原因。甲方的供需口径实际散在三处:制度与流程文件里写的是应当怎么做,业务系统里存的是实际怎么做了,两者之间的差异——哪些物料走过特采、哪一批采购绕开了常规周期、某个备货口径是哪一年改的——只留在经办人的记忆里,没有一个字段记录它。若把库存流水直接拉出来做成语料,模型学到的是流水的格式而不是备货的判断;若只把制度文件切成片段,模型能背出条款却答不出「这一批为什么这么备」。
因此这一域的链路不是清洗、切分、入库三步了事,而是先把制度还原成带章节层级的条款,再把条款与业务记录在检索层挂上,最后才在挂好的材料上组织推理样本——推理的每一步都要指得回某一条条款或某一条记录,指不回去的样本就是编出来的,它在训练集里的作用是反向的。这一域的十环因此以第 3 环的检索构建为分水岭:之前都在把两种形态的材料整理到可以互相指认的程度,之后才开始生产真正的样本。链路见表 3-5。
表 3-5 供需计划域的工具调用链
| 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 |
|---|---|---|---|
| 1 | 工具 5 文档结构解析 | 制度、流程文件与标准还原为章节树与结构化段落 | 对象标识与来源家族由采集接入带入并继承;许可标识继承;质量标识追加解析置信度与分档结论 |
| 2 | 工具 3 切分与拼接 | 章节树切为长上下文样本,保留章节路径与页码区间 | 来源家族沿用源文档标识,同一文档的全部片段同族;追加切分参数版本 |
| 3 | 工具 4 RAG 数据构建 | 片段建索引,产出查询—上下文—回答三元组 | 三元组继承上下文片段的家族与许可;追加索引配置版本与检索指标 |
| 4 | 工具 1 自生成思维链 | 在三元组之上组织选型校核、库存策略一类推理样本 | 追加模型版本、提示词版本与自一致性得分;许可标识决定本环可否经网关调用 |
| 5 | 工具 14 本体规则标注 | 物料与口径的实体归一、单位与计量口径校验 | 追加本体版本与规则版本;对象标识在此处二次核对,冲突则挂起 |
| 6 | 工具 12、15 预标注与一致性校验 | 任务类型标注与一致性裁决 | 追加置信度档、一致性指标与裁决记录 |
| 7 | 工具 16、18 指令生成与重写 | 指令样本扩充与表达多样化 | 追加合成标记与不可用于评测集标记;配比上限由工具 20 在本环之前派发 |
| 8 | 工具 19、20 去重与分布 | 全部候选样本送检,去重后看分布并出补齐需求 | 质量标识追加去重结论与分布判定;同族样本整族处置 |
| 9 | 工具 22 切分与基准构建 | 三层切分并冻结本域基准题目 | 按来源家族整族归集;数据集版本在此生成并冻结 |
| 10 | 工具 23、24、25 评测、归因与血缘 | 评测、错题归因与链路追溯 | 五项标识在此被反向使用:按版本比对、按家族查泄漏、按许可核对出域、按质量标识筛样本 |
工艺设计域的调用链。 这一域的源对象以图纸与工艺文件为主:板材备料 28 道工序的工艺卡片、约 63 万张历史工艺样本、工艺规程与设计标准。这是本项目资产最厚的一处,也是麻烦最集中的一处。63 万张图纸每一张都配有一份已审核签发的工艺卡片,这是极有价值的成对资料——图是输入,卡是经验证的输出,正是训练所需要的形态;但这份配对关系落在文件目录的层级和经手人的记忆里,没有进入任何系统字段。于是第一道工序不是「识别图纸」,而是把图与卡重新配成对,并且要配得经得起核对:同一图号往往有多个版次,版次配错的图卡对看起来完全正常,错误要到模型答出一个过时的加工要求时才暴露,而那时已无从追查是哪一批配错了。
第二处麻烦是数值。展开长一类几何量若交给模型从图上「读」出来,读错了没有任何环节会发现——它读出的数字在格式上无可挑剔。所以这一域把事情拆开:模型只负责把图上的要素抽成字段,数值一律由确定性计算得出,再与图卡上的原值互校,不一致的进冲突清单而不是自动采信任何一方。第三处麻烦是标签体系本身:28 道工序目前没有一份正式的工序字典,标准名称、编码与分档规则散在各分厂的习惯里,因此第 3 环的规则标注必须等工序字典成文后才按本项目规则资产运行,在此之前按通用规则运行并在批次质量报告中标注其配置来源。链路见表 3-6,它与供需计划域的差别集中在第 1 环——入口是图纸而非文本,且几何量不经模型。
这条链要带走的结论是:63 万张图纸不等于 63 万条可训练样本,从一张扫描件到一条带血缘、可入评测集的样本之间有十道确定的工序,每一道都有承办工具、有留痕、有不合格时的去处。
表 3-6 工艺设计域的工具调用链
| 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 |
|---|---|---|---|
| 1 | 工具 9 图纸与工艺图抽取 | 图纸与工艺卡片抽成几何、符号与工艺参数字段,并出图卡成对文本 | 对象标识按图号加版次换取;来源家族取图号族(同一图号各版次同族);追加五项工程自检结论 |
| 2 | 工具 5 文档结构解析 | 工艺规程与设计标准还原为章节树 | 来源家族取源文档标识;追加解析分档结论 |
| 3 | 工具 14 本体规则标注 | 按工序字典与工艺本体给确定性标签,校验工艺参数取值域 | 追加本体版本与规则版本;取值越界进冲突清单,不自动改值 |
| 4 | 工具 12、13 预标注与主动学习 | 对图卡成对文本预标注,并按覆盖缺口排优先序 | 追加置信度档与证据片段定位;覆盖缺口转定向采集清单 |
| 5 | 工具 15 一致性校验 | 三粒度一致性与裁决 | 追加一致性指标与裁决记录 |
| 6 | 工具 1、2 思维链构建与修订 | 展开长校核、工序排序一类推理样本,专家修订错误步骤 | 追加步骤级可信度、修订差异与仲裁记录;数值项由计算得出,不由模型给数 |
| 7 | 工具 21 模板化生成 | 在参数字典与业务约束下产出结构化工艺合成样本 | 追加模板版本、生成批次、合成标记与不可用于评测集标记 |
| 8 | 工具 19、20 去重与分布 | 去重、污染扫描与分布均衡 | 图号族整族处置;追加去重与分布判定 |
| 9 | 工具 22 切分与基准构建 | 按图号族整族归集后三层切分,冻结工艺类基准题目 | 数据集版本生成并冻结;泄漏检测按图号族与文档族双重判定 |
| 10 | 工具 23、24、25 评测、归因与血缘 | 工艺类能力评测、错题归因与链路追溯 | 归因结论按图号族回指到具体的抽取批次或标注批次 |
制造过程域的调用链。 这一域的源对象是时序、视频与过程记录:热处理炉次曲线、焊接参数流、熔池与热成像帧、制造执行系统的过程记录与工单。这一域的数据采得最密——信号已到秒级——却最难直接使用,原因是时间轴上的东西与业务对象之间没有稳定的主键。焊接参数流是连续的,而工件与焊道是离散的:一件大型部件的焊缝可达数百条,一条焊缝多层多道,参数流若对不上具体哪一道,这段曲线就既不能用于同型部件的横向比对,也不能作为任何缺陷结论的证据。热处理一侧是另一种错位:同炉可以混装不同零件,中途可以补炉,一条炉次曲线对应的工件集合本身就是变动的。现场测点还有第三种情形——损坏期间无数据,损坏后未必补装,同一台设备在不同时段可用的测点集合并不一致;若不记录这一点,后面的处理会把「没有采到」当成「运行正常」,这是一类很难在抽检中发现的错误,因为它的表现是数据干净得过分。
正因如此,这一域把对齐放在第 1、2 环,而不是像通常那样先清洗再对齐:对齐做不实,后面八环做得再细也是在错配的素材上做功,而错配样本与正确样本在库里长得一模一样,靠后续质检分辨不出来。表中这两环的标识变化一列比其他域多出两项——时钟校准记录与锚点可靠性分档、校准偏差与对齐校验结论——写进字段的用意在于:对齐是会错的,错了要能查出是哪一次校准、哪一段时钟漂移导致,而不是只留一个「已对齐」的状态位。安防视频的许可标识在第 2 环即按甲方安保口登记,也是同一个道理:涉及人员影像的素材,许可一旦漏登记,后续任何一次经网关的调用都是越界,而越界是不可撤回的。链路见表 3-7。
表 3-7 制造过程域的工具调用链
| 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 |
|---|---|---|---|
| 1 | 工具 11 时序—事件对齐 | 测点时序按报警与工单的时间窗切片,出特征与诊断文本 | 对象标识按设备编码与测点换取;来源家族取同一炉次或同一工单;追加时钟校准记录与锚点可靠性分档 |
| 2 | 工具 10 视频—文本对齐 | 关键帧挂到设备事件与工艺阶段的时间轴 | 来源家族取同一视频片段与同一工艺阶段;追加校准偏差与对齐校验结论;安防视频的许可标识按甲方安保口登记 |
| 3 | 工具 7 工单转对话 | 工单与报警转写为带事实来源分级的对话 | 追加补全标记与脱敏规则版本;脱敏在写出前执行,许可标识据此降档或维持 |
| 4 | 工具 6 对话模拟生成 | 按工艺场景剧本产出多轮对话样本 | 追加角色标签、轮次标识、模型与提示词版本、合成标记 |
| 5 | 工具 8 对话质量筛选 | 双通道评分、投票与分层采样 | 追加质量评分与分层采样标记;低质样本进问题样本清单 |
| 6 | 工具 12、15 预标注与一致性校验 | 工况与缺陷类别标注及裁决 | 追加置信度档与一致性指标 |
| 7 | 工具 17 故障场景模拟生成 | 按故障本体补长尾故障场景与排障对话 | 追加故障本体版本、生成批次与合成标记;构造场景经业务口裁定后方可入库 |
| 8 | 工具 19、20 去重与分布 | 去重、跨模态重复判定与分布均衡 | 对齐关系缺失的样本跨模态重复标注未检,不以未检冒充无重复 |
| 9 | 工具 22 切分与基准构建 | 按炉次族与工单族整族归集后切分,冻结过程类基准题目 | 数据集版本生成并冻结 |
| 10 | 工具 23、24、25 评测、归因与血缘 | 过程诊断类能力评测、归因与链路追溯 | 诊断说明中的数值可按计算事实字段复算,复算不一致即判该样本不合格 |
质量域的调用链。 这一域的源对象是检验记录、不合格品票、返修与改造方案、质量标准与判据。它的体量不大,价值密度却最高——每一张不合格品票背后都是一次真实的判定过程,这正是模型最难从公开资料里学到的东西。难处有两层。第一层是表述:工单、检验结论、不合格品票与改造方案多为自然语言,表述自由、口径不一,同一种缺陷在三个班组笔下可能是三种写法,不先做本体归一,统计出来的缺陷分布反映的是写法分布而不是质量分布。
第二层更隐蔽,是时间。一张三年前的不合格品票,它的判废结论在当时是正确的;若拿今天这一版标准去核,它会被判成错标。这类样本若被当作噪声清掉,清掉的恰恰是最有价值的那一批——它们记录的是真实判据下的真实判断。本方案的处置是把时间绑进字段:第 1 环解析标准与规程时条款保留版次,第 5 环的推理样本其判据引用必须指向具体条款与版次,第 8 环冻结基准题目时判据版次随题目一并冻结。最后这一条尤其要紧——基准题目引用了条款却不冻结版次,标准一改,题目的标准答案就在无人察觉时变了,而评测分数的下降会被误判成模型退步,进而引发一轮方向完全错误的调优。此外,票面上有经手人与检验员姓名,第 2 环即在写出前完成脱敏,脱敏后方可进入任何经网关的调用环节。链路见表 3-8。
这条链要带走的结论是:质量域的样本不是对错两分的标签数据,它的正确性永远绑定一个时点和一版判据;本方案把这个绑定做成了可核对的字段,而不是做成一段说明。
表 3-8 质量域的工具调用链
| 环 | 调用工具 | 处理对象与产出 | 五项标识在本环的变化 |
|---|---|---|---|
| 1 | 工具 5 文档结构解析 | 质量标准、检验规程与判据文件还原为章节树与条款 | 来源家族取源文档标识;条款保留版次,供按时点匹配 |
| 2 | 工具 7 工单转对话 | 不合格品票与返修记录转写为处置对话 | 追加事实来源分级与脱敏记录;票面人员字段按脱敏后视图处理 |
| 3 | 工具 14 本体规则标注 | 按缺陷类别本体与判据表给标签,校验结论与标准条款的一致性 | 追加本体版本与规则版本;结论与条款冲突的进冲突清单 |
| 4 | 工具 12、15 预标注与一致性校验 | 缺陷归类与证据等级标注及裁决 | 追加置信度档、证据片段定位与一致性指标 |
| 5 | 工具 1、2 思维链构建与修订 | 判废与返修判定的推理样本,专家修订错误步骤 | 追加步骤可信度与修订差异;判据引用须指向具体条款与版次 |
| 6 | 工具 18 文本重写与多样化 | 标准与判据类文本的多样化表达 | 术语保护词表约束改写;追加保护项校验记录与合成标记 |
| 7 | 工具 19、20 去重与分布 | 去重、污染扫描与缺陷类别配比均衡 | 长尾缺陷类目的覆盖缺口转补齐需求单 |
| 8 | 工具 22 切分与基准构建 | 按票据族与文档族归集后切分,冻结质量类基准题目 | 数据集版本生成并冻结;基准题目的判据版次随题目一并冻结 |
| 9 | 工具 23、24、25 评测、归因与血缘 | 质量判定类能力评测、归因与链路追溯 | 错题若归因到判据版次不匹配,修订动作是重挂条款版次而非重标样本 |
四条链的共同点有三条,它们是四个领域能共用一套底座而不重复建设的原因。第一,入口不同而出口相同:四条链都在第 8 至第 10 环汇入同一组把关与反馈工具,质量检查节点、切分规则与评测协议是同一套。第二,五项标识的写入时点一致,因此跨域合并时不需要再做一次对齐。第三,领域特性只体现在配置上——工艺设计域按图号族判同族、制造过程域按炉次族判同族、质量域按票据族判同族,判定逻辑是同一套,配置差异记在各域的配置档里。
招标文件 3.2.3.11 节的六条要求约束的不是某一类工具,而是 25 个工具的共同行为。接口、数据格式、血缘、质量、安全与验收六项一律实现在工具运行的公共层,条款的逐项实现——接口定义表、格式约定表、血缘字段表、通用质量指标表、安全管控设计与验收五件套口径——见工具链(三)。
25 个工具若各自定义接口、各自决定输出格式、各自实现血缘记录,结果是 25 套用法与 25 种口径,集成成本与验收成本全部落在甲方身上。我方的做法是把六条通用要求实现在工具运行的公共层:工具只实现自己的业务算子,接口、格式、血缘、质量上报、安全管控与验收材料由公共层统一承担。公共层承载在奔牛数据智能平台之上,与 25 个工具同步版本管理。
这一安排有一个必须守住的时序:公共层必须先于任何加工批次上线。血缘的写入能力若不随第一批工具同时具备,早期加工的样本就没有血缘记录,而血缘是不能事后补回的——样本经过了哪些算子、用了哪一版规则与提示词,当时不记,日后无从还原。把血缘整体推到后期是常见的失误,代价是前期数据全部缺证。因此本方案把公共层列为第零批交付,其验收判据与工具批次同等对待(见本章第 6 节)。
六条通用要求在招标文件里是六段并列的文字,很容易被当成六件可以分头办的事,各交一份设计了事。实际工程里它们是同一件事的六个侧面,而且是串在一根绳上的:接口不统一,输出格式就统一不了——每个工具按自己的习惯决定什么时候给 Markdown、什么时候给 CSV;格式不统一,血缘里的字段就对不齐,同一个「工具版本」在甲处是字符串、在乙处是整数;血缘对不齐,质量报告按批次、按来源、按任务类型、按数据集版本的四维汇总就做不出来,只能出一张总数表;汇总做不出来,验收就只能看文档不能看数据,招标方拿到的是 25 份各讲各话的测试报告。六条里只要有一条留给各工具自行其是,另外五条都会跟着松掉,而且松在何处要到集成期才看得见。
因此六条一次性安排在同一层上,每一条都同时写定两件事:总体做法,以及明细成表的落点。明细——接口字段与错误码分类、格式约定、血缘八项字段清单、通用质量指标定义、安全管控设计、验收五件套口径——一律放在工具链(三)的对应小节,此处不重复。同一口径两处各写一遍,改了一处漏掉另一处,是这类方案在实施期最常见的返工来源,也是日后双方对账时最难理清的一类分歧。表中「对应单元」一列使核对可以逐条落回招标文件原文,不必通读全章;「详述位置」一列标明明细的落点,两列合起来使这张表既是总体安排,也是一份可按图索骥的索引。
表 4-1 3.2.3.11 节六条通用要求的总体做法与详述位置
| 条 | 要求 | 总体做法 | 详述位置 |
|---|---|---|---|
| (1) | 接口要求:标准 API 或平台内部服务接口,支持任务创建、任务查询、结果获取、异常重试、批量导出、状态回调 | 六类调用由公共层统一提供,REST 风格与平台内部服务接口共用同一套参数与返回结构;另设参数校验与能力描述两类辅助接口,使运营平台无需硬编码各工具参数表;任务状态固定为八态,调用方按状态编程 | 工具链(三)5.1 |
| (2) | 数据格式要求:支持 JSON、JSONL、Markdown、CSV、Parquet 等格式,可按平台数据集标准转换入库 | 五种格式各有定位而非同一内容的五种包装;多格式由同一份内部表示经统一序列化层生成并附同一结果集指纹;入库按数据集标准做字段映射、入库校验与入库凭据登记,数据集标准本身由数据治理体系出具 | 工具链(三)5.2 |
| (3) | 血缘要求:每条样本关联原始数据、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果、审核状态 | 八项字段由公共层在每个环节追加写入,不由工具自填;血缘记录只追加不修改,更正以追加更正记录实现;粒度分层——指令样本、偏好对比组与基准题目逐条记录,预训练语料记录到文档与批次级并保留文档标识 | 工具链(三)5.3 |
| (4) | 质量要求:输出质量指标与问题样本清单,支持按批次、来源、任务类型、数据集版本生成质量报告 | 指标分两层——各工具专有指标与 25 个工具共同上报的八项通用指标;四个维度的报告共用同一份指标底料;问题样本清单字段跨工具统一,可合并后呈现一条样本的全貌,并作为修订工单的生成输入 | 工具链(三)5.4 |
| (5) | 安全要求:敏感信息识别、脱敏、授权校验、访问控制、审计日志;外部模型调用须记录调用范围与数据出域情况 | 五项能力实现在公共层,工具不自行实现——安全能力分散实现等于留若干个口子;统一模型网关为唯一外部出口,不可出域字段在网关层强制拦截,脱敏后回扫,调用逐次留记录;全项目安全体系另见安全方案一章 | 工具链(三)5.5 |
| (6) | 验收要求:每个工具链提供演示样例、输入输出样例、配置说明、接口说明、测试报告 | 五件套按工具逐个提供,9 类 25 个共 25 套,内容口径统一,使验收按同一张表逐项核对;功能测试用例与招标文件功能要求逐条对应,用例编号标注其回应的单元标识,便于按条目反查有无对应测试 | 工具链(三)5.6、第 6 节 |
表 4-1 的第六条有一项全局安排在此说明:25 套五件套在整体验收前汇总成册并编制索引,索引按招标文件单元标识排序。这样做的用途是让验收方不必先理解工具的内部结构,就能按招标文件条目找到对应的测试证据。
4-1 公共层与业务算子的分层,以及血缘的写入点
图 4-1 公共层与业务算子的分层,以及血缘的写入点。血缘字段在公共层逐环节追加,业务算子不参与血缘填写。数据来源:招标文件第五章 3.2.3.11 节(1)—(6)条。
若按 25 个独立程序交付,常见后果是整体不成线:样本靠人工搬运、字段口径各工序重释、质量判断无法汇总、模型换代须逐工具回归。招标文件 3.2.3.11 节将接口、格式、血缘、质量、安全、验收六条统一约束,以避免分散实现导致失配。
我方的系统架构按四个统一面组织,每一面对应上述失败形态中的一种:任务编排统一的是作业的生命周期,使 25 个工具对调用方呈现同一套用法;数据契约统一的是字段模式、版本与指纹,使样本在工具之间流动时含义不漂移;评测回路统一的是质量判断的来源与去向,使数据侧的问题能被定位并转成有版本的修订;人工介入通道统一的是判定权的行使方式,使需要人来定的事情有固定的入口与留痕。四个统一面之外,模型调用经统一网关收口,整套系统承载在奔牛数据智能平台之上,共用其身份认证、权限控制、任务调度、版本管理与日志审计能力。
4-2 专项智能工具链的系统架构
图 4-2 专项智能工具链的系统架构。四个统一面自上而下为任务编排、业务算子、数据契约与评测回路,模型网关与人工介入通道纵贯其间,整体承载于奔牛数据智能平台。数据来源:招标文件第五章 3.2.3.11 节、3.2.3.1 节工具链清单。
编排层解决的是「25 个工具对调用方呈现同一套用法」。它承担一次加工作业从受理到发布的全过程:接收任务、校验参数、切分批次、调度算子执行、作质量检查节点判定、发布结果,其间按状态变更推送回调;作业可被暂停与恢复、可按批次重试、可在发布前取消。
调用契约。 公共层对 25 个工具提供同一组调用,调用方按同一套参数与返回结构编程,不为每个工具另学一套用法。招标文件 3.2.3.11 节第(1)条要求的六类调用,加上参数校验与能力描述两类辅助调用,构成表 4-1A。标准应用程序接口与平台内部服务接口两种形态同时提供,共用同一套参数与返回结构;接口的字段定义与错误码分类见工具链(三)。
表 4-1A 公共层对外提供的调用及其契约
| 调用 | 作用 | 关键入参 | 返回 | 幂等口径 |
|---|---|---|---|---|
| 任务创建 | 提交一次加工作业 | 输入数据集版本引用、参数集版本引用、输出落点、回调地址、客户端请求标识、优先级声明 | 任务标识、受理状态、预估批次数 | 按客户端请求标识幂等,重复提交返回同一任务标识 |
| 任务查询 | 取任务当前状态与进度 | 任务标识 | 状态、阶段、批次进度、已完成与失败条数、指标快照 | 天然幂等 |
| 结果获取 | 分页取结果记录 | 任务标识、分页参数、按批次与状态的筛选条件 | 结果记录分页、结果集指纹 | 天然幂等 |
| 异常重试 | 重跑失败批次 | 任务标识、批次标识列表(缺省为全部失败批次)、是否沿用原参数版本 | 重试任务标识、纳入重试的批次清单 | 按批次幂等,已成功批次不重复执行 |
| 批量导出 | 异步导出结果 | 格式、筛选条件、是否含未审核样本、脱敏级别 | 导出作业标识、取件地址、有效期、导出清单 | 按筛选条件指纹幂等 |
| 状态回调 | 向调用方推送状态变更 | 任务标识、状态、阶段、指标摘要、失败摘要 | 调用方的接收确认 | 带递增序号与去重标识,允许重复投递 |
| 参数校验 | 提交前预检参数集 | 工具标识、参数集 | 校验结论、不合法项与原因 | 天然幂等 |
| 能力描述 | 取工具的参数与输出定义 | 工具标识、版本 | 参数清单、取值范围、默认值、输出字段与格式 | 天然幂等 |
作业契约的形态。 一次作业的输入不是一堆文件路径,而是三个引用:输入数据集的版本引用、参数集的版本引用、输出落点的声明。用引用而不用路径,作业才可重放——同一个作业在半年后按原引用重跑,得到的应是同一批输入与同一套参数。这项约定是「配置即代码」(见本章 3.2)在编排层的落实方式。
批次粒度的统一。 所有工具按批次执行,批次是重试、计量、质量检查节点判定与血缘登记的共同单位。粒度不统一会直接导致部分失败无法局部重试:若某工具以整任务为单位,一批十万条样本中失败两百条就要全部重算。批次大小按工具与数据类型配置,但「以批次为失败与重试单位」这一条不因工具而异。
质量检查节点的位置固定。 质量检查节点的判定排在结果发布之前,由编排层按集中登记的门限执行,算子只上报指标、不自判放行。这样门限不会散落在各工具的代码里,验收时在一处即可核对。门限配置集中登记,变更走策略会签(见本章 4.7)。
任务状态与合法迁移。 任务状态固定为八个,调用方按状态编程,不以自由文本判断进展。八个状态、各自允许的操作与合法迁移见表 4-1B。表中未列的迁移一律拒绝并返回状态冲突错误:这使「跳过质量检查节点直接发布」「对已发布结果就地改写」一类动作在接口层就不成立,而不是靠流程纪律约束。
表 4-1B 八个任务状态与合法迁移
| 状态 | 含义 | 本状态允许的操作 | 可迁出到 | 迁出的触发 |
|---|---|---|---|---|
| 已受理 | 任务已登记,尚未校验 | 查询、取消 | 参数校验中;终止(已取消) | 自动进入校验;调用方撤回 |
| 参数校验中 | 校验参数集、输入版本引用与调用权限 | 查询、取消 | 执行中;终止(参数不合法、已取消) | 校验通过进入执行;校验未过即终止并给出不合法项 |
| 执行中 | 按批次调度算子 | 查询、暂停、取消 | 质量检查节点判定;部分失败;已挂起;终止(已取消) | 全部批次完成;出现失败批次;人工暂停或配额耗尽 |
| 部分失败 | 有批次失败,成功批次的产出保留 | 查询、按批次重试、放弃失败批次、取消 | 执行中;质量检查节点判定;终止(已取消) | 重试后续作;经授权角色确认放弃失败批次后进入判定 |
| 质量检查节点判定 | 按集中登记的门限判定本次产出 | 查询 | 已完成;已挂起 | 门限通过;门限未过 |
| 已挂起 | 人工暂停、质量检查节点未过或配额耗尽 | 查询、恢复、阈值回退一档重跑、人工放行、取消 | 执行中;已完成;终止(已取消) | 恢复或重跑;人工复核放行 |
| 已完成 | 结果齐备,尚未发布 | 查询、取结果、发布、退回 | 结果已发布;已挂起 | 发布流程通过;发布前复核退回 |
| 结果已发布 | 结果可被引用、导出与下游消费 | 查询、取结果、导出 | 不再迁出 | 更正以发布新版本实现,不就地改写 |
两个终止标记不计入上述八态:参数不合法由参数校验中进入,不可恢复,须修正参数后新建任务;已取消由任何非终态进入,取消后不再调度新批次。
暂停与恢复。 暂停有三种触发:授权角色人工暂停、配额耗尽自动挂起、质量检查节点未过自动挂起。挂起不丢进度——已完成批次的产出与血缘记录保留,恢复后从下一个未完成批次续作,不从头重算。挂起状态一律不自动恢复,须显式恢复、重跑或放行;自动恢复会让一次本该有人看一眼的中断悄悄过去。
取消。 取消是显式动作,由提交方或授权角色发起并带取消理由。取消后不再调度新批次,在途批次按配置或立即中止或跑完当前批次再停。取消作业中已完成批次的产出保留但标记为取消作业产出,不进发布版本;确需使用的走例外放行审批(见本章 4.7)。取消理由、发起角色与中止方式一并记入批次审计。
运行时的八项约定。 状态机规定了一次作业能走哪些路,下面八项规定的是作业在并发、故障与版本变动中的行为。这八项不写明,25 个工具在实施时会各自给出一种做法,而它们之间的差异只有在压力下才暴露:队列堵住、重复提交多跑一遍、断点重来、超时静默失败。八项约定见表 4-1C。
表 4-1C 编排引擎的八项运行时约定
| 约定 | 做法 | 不这样做的后果 |
|---|---|---|
| 队列优先级 | 作业分三档:评测与发布类作业优先于日常加工作业,日常加工作业优先于回溯与重跑作业。同档按提交时序;长作业按批次让出执行位,避免短作业饿死。优先级由提交方在授权范围内声明,越权声明降为默认档并记一条审计 | 一次全量重跑可以把当期的发布评测堵到交付节点之后 |
| 配额 | 按调用方、按工具、按模型网关调用量三个维度设配额。配额耗尽的作业转挂起而非失败,并在任务查询中给出耗尽原因与可恢复时点;网关调用量另设单作业批次上限 | 一个回溯作业占满外部调用额度,当期生产停摆 |
| 幂等 | 任务创建按客户端请求标识幂等,重试按批次幂等,导出按筛选条件指纹幂等,回调带递增序号与去重标识 | 网络重试导致同一批样本被加工两遍,数据集里出现无法解释的重复 |
| 断点续作 | 进度以批次为单位持久化,记已完成批次清单、各批次输入与输出指纹、本作业固定的参数版本组合。进程中断或节点故障后按清单续作,续作沿用原参数版本而非当时的最新版本 | 一批跑了八成的大作业因一次中断全部重算;或续作时取了新版本,同一数据集里出现两种口径 |
| 超时 | 三层超时各自设值:单次外部调用超时、单批次超时、整作业超时。前两层按暂态故障退避重试,第三层转挂起并告警 | 作业长期停在执行中而无人察觉,看板上显示在跑、实际已经死了 |
| 故障隔离 | 算子在独立执行单元内运行,一个工具的异常不影响同节点上的其他作业;模型网关、索引服务、源系统只读接口等外部依赖各设熔断,连续失败达阈值即熔断并挂起依赖该服务的作业,熔断与恢复均记入任务日志 | 一个依赖抖动引发全平台作业连锁失败,恢复时无从判断该先起哪一批 |
| 版本兼容 | 字段模式只增不改:新增字段必为可选,不删既有字段,不改既有字段语义;确需改语义则发布新主版本,旧版本在一个发布周期内保持可读。作业按提交时固定的版本组合执行,运行期间上游发版不改变在途作业所用版本 | 先投产的工具每次上游改版都要跟着改一遍,分批投产无法成立 |
| 批次审计 | 每个批次留一条审计记录:批次标识、所属作业、输入与输出指纹、参数与规则版本、执行节点、起止时点、处理条数、失败条数、质量检查节点结论、人工处置动作。记录只追加不修改,按作业、按工具、按时间窗可查 | 出了问题只能问人,答案取决于谁还记得 |
批次审计记录与血缘记录是两套,不互相替代:血缘记录的是一条样本经历了什么,审计记录的是一次作业发生了什么。两者按批次标识关联,一条样本出问题时可由样本查到批次,再由批次查到当时的执行情况与处置动作。
数据契约解决的是「样本在工具之间流动时含义不漂移」。它由四件构成:字段模式、版本标识、内容指纹与血缘字段。八项血缘字段的定义见工具链(三);字段模式、版本标识与内容指纹三件的约定如下。
字段模式是每一类产出的字段定义,含字段名、类型、取值域、必填性与语义说明。模式本身是受版本管理的资产,工具在输出中声明所用模式的标识与版本,下游按模式名读取字段而不按位置读取。模式的兼容性规则定为只增不改:新增字段须为可选,不删除既有字段,不改变既有字段的含义。确需变更语义时发布新主版本,旧版本在一个发布周期内保持可读,期间下游完成迁移。这条规则看着保守,但它是 25 个工具能够分批投产的前提——若模式可以随意改,先投产的工具每次都要跟着改一遍。
版本标识分五类,彼此独立编号、互不代替。混用版本号是数据加工中一类隐蔽的错误:规则库改了而数据集版本不变,半年后就无法回答「这批样本是按哪一版规则处理的」。五类版本的定义与变更规则如表 4-2。
表 4-2 五类版本标识的定义与变更规则
| 版本类 | 标识对象 | 谁来递增 | 变更的触发 | 变更后的影响面 |
|---|---|---|---|---|
| 数据集版本 | 一个可发布、可引用、内容冻结的数据集 | 发布流程 | 样本集合发生增删改并通过发布审核 | 训练与评测须声明所用版本;旧版本保留可取用 |
| 字段模式版本 | 一类产出的字段定义 | 模式评审 | 新增字段或发布新主版本 | 下游读取逻辑;跨主版本须迁移 |
| 规则库版本 | 本体约束、脱敏规则、评分规则、判定阈值 | 策略会签 | 规则增删或阈值调整 | 此后处理的样本;已处理样本不追溯重写 |
| 模板库版本 | 提示词模板、生成模板、报告模板 | 策略会签 | 模板内容或槽位结构变更 | 此后生成的样本;留旧版本以备重放 |
| 工具版本 | 算子实现本身 | 发布流程 | 功能变更或缺陷修复 | 需做回归比对后方可切换 |
内容指纹是对一段内容按确定算法算出的摘要,用途有三:判两份导出件是否同源、判一次重放的结果与原结果是否一致、判一份交付物在流转中是否被改动。指纹算在三个层次上,分别是样本级、批次级与结果集级。层次分开的理由是粒度不同用途不同:核对一条样本的争议用样本级,核对一次重放用批次级,核对一份交付物用结果集级。
模式说明语义,版本说明批次,指纹核对是否被改动。三件齐备,样本跨工具全程可解释。
评测回路解决的是「数据侧的问题能被定位并转成有版本的修订」。前三个统一面支撑作业运转;评测回路支撑数据侧问题定位与带版本修订。
回路由六个环节构成,起点是评测、终点是新版本的规则库或模板库,中间必经一次人工会签。六个环节与其产出见表 4-3。第五环节约定:改进建议不自动生效。评测与归因产出的是建议,建议须经人工会签后才形成新版本的规则或模板,发布时带版本号与回滚路径。把这一环写死,是因为自动采纳改进建议会制造一类很难查的问题——数据集的处理口径在无人察觉时发生了漂移,而漂移的起点无从追溯。
表 4-3 评测回路的六个环节
| 环 | 动作 | 承担工具 | 产出物 | 留痕 |
|---|---|---|---|---|
| 1 | 在冻结基准集上按既定协议评测 | 工具 23 | 评测报告、样本级评测结果 | 协议版本、基准集版本、随机种子、被测对象标识 |
| 2 | 将错题关联到训练样本、来源、标注批次、生成批次、质量问题或覆盖盲区 | 工具 24 | 错题聚类、归因结论 | 归因依据与置信说明 |
| 3 | 按血缘回溯到具体的数据集版本与处理链路 | 工具 25 | 影响范围清单 | 血缘查询记录 |
| 4 | 将归因结论转为修订工单,分派到对应环节 | 工具 24 | 修订工单 | 工单号、责任环节、期望动作 |
| 5 | 人工会签:判断建议是否采纳、采纳到什么程度 | 项目组与甲方业务口 | 会签意见 | 会签记录(记角色不记姓名)、未采纳项的理由 |
| 6 | 发布新版本规则库或模板库,登记回滚点 | 编排层与策略管理 | 新版本及其变更说明 | 版本号、变更项、回滚路径、生效范围 |
回路的有效性不以「回路跑通」为判据,而以版本间的对比为判据:每一次规则库或模板库发版后,在同一冻结基准集上以同一协议重跑一次,产出新旧两版的对比报告。首期以第一次完整回路的实测结果作为基线,此后各版与基线比对;若新版本在基准集上的表现未达上一版水平,按第 6 环登记的回滚路径回退到上一版,并把该次比对结论记入版本说明。本项目所称迭代限于:有界、留痕、可回退;不采用无人值守的自行演化。
回滚路径的具体内容在发版时写明,含回滚的触发判据、回滚后受影响的在途作业如何处置,以及已按新版本处理的样本是否需要重处理。最后一项按情形分别约定:若新版本只影响此后生成的样本,回滚不触发重处理;若新版本改变了判定口径并已回写到存量样本,回滚须同时撤销该次回写,撤销动作本身作为一条追加记录写入血缘而不是抹去原记录。
数据加工里总有一部分事情机器定不下来。一张年代久远的蓝图扫描件上那个数字到底是 8 还是 3;同一条焊缝的同一处缺陷,两名标注员一个判未熔合一个判夹渣;备料工序字典里没有的一道新工序,该不该为它新增一个标签;某一批数据质检没过,而下游训练已排好期,放还是不放。这类事情在实际项目里的通常处置方式是——找个人问一句,口头定了,接着干。代价要到很久以后才显现:半年后回看这条样本,没有人能说清当初是谁定的、按什么定的、同类情形后来是不是都这么定的。于是同一个口径在不同人手里慢慢分叉,而数据集已经按分叉后的口径生产了几十万条,返工的不是一个判断,是一整批数据。
所以人工介入不能是「随时可以找人」,必须是「需要人来定的事情有固定入口、固定承办、固定留痕」。四类通道按介入的性质划分,而不按组织岗位划分:组织会调整,岗位会换人,建设期跨两年多,按岗位写定的流程到中途就对不上号了;而「机器拿不准」、「两个人不一致」、「规则本身要改」、「不合规但确需放行」这四种情形的性质不会变,按性质划分的通道在人员与组织变动之后仍然成立。每类通道写明三件事——什么时候触发、谁承办、必须留下哪几项记录。第三件是关键:留痕字段若不事先写死,事后补记出来的只是一句结论,看不出当时的分歧在哪、依据的是哪一条规则、这个判断后来有没有被推翻。四类通道合起来要说明的是一件事——本方案里凡由人定的事,事后都查得到是谁定的、依据什么定的、波及哪些批次。
表 4-4 人工介入的四类通道
| 类别 | 触发条件 | 承办 | 留痕要求 |
|---|---|---|---|
| 中置信复核 | 工具输出落在复核带内 | 复核岗 | 原判、复核判、修改理由、耗时 |
| 不一致裁决 | 多人标注或双通道评分不一致超限 | 裁决岗或领域专家 | 分歧点、裁决结论、所依据的规则条款 |
| 策略变更会签 | 规则库、模板库、阈值、门限的任何变更 | 项目组与甲方业务口 | 变更项、理由、生效范围、回滚路径 |
| 例外放行审批 | 质量检查节点未过而需放行,或导出含未审核样本与敏感字段 | 授权角色 | 放行理由、影响范围、有效期、后续补做事项 |
这一面还承担另一项职责:界定智能体加速的边界。招标文件在多轮对话数据构建类工具链中明确要求基于多智能体机制自动生成多轮对话,在项目目标中两处要求提升模型与智能体的能力。我方据此在加工生产侧引入智能体协同,用途是候选生成与初筛——由智能体产出候选样本、候选标签、候选切分方案与候选规则建议,交由既有的质检与验证门控判定。
这项引入不改变任何门控:置信度分档逻辑不变,抽检比例不变,不一致裁决规则不变,质量检查节点的位置与门限不变,中置信与低置信样本仍进人工复核与人工标注队列。门限的任何调整都走策略会签,与是否引入智能体无关。
智能体仅改变候选产出方式,不改变判定口径来源。放宽门控等于以未验证变化抵扣已验证保障;口径漂移会进入训练集并传导至模型,回溯成本高。
智能体的边界同样逐环节写定,而不在正文里笼统写一句「智能体只做辅助」。要分环节写,是因为「引入智能体」这件事在不同环节的含义并不相同:在采集接入,它看的是批次与格式,拿不准的是「这一批是不是异常」;在智能标注,它看的是单条样本,拿不准的是「这个标签对不对」;在治理支撑,它产出的是文字草案,而草案算不算数取决于标准评审,与它写得像不像无关。笼统一句话对这三种情形给不出同一个答案,到实施期各人按各人的理解执行,边界就在无人察觉中移动了。
六个环节逐行写三件事——智能体在这一环具体产出什么、判定权实际落在哪一个既有机制上、门控有没有因此变化。第三列写的是既有机制的名字(接收校验与来源登记、策略会签、自一致性筛选与人工复核、置信度分档与一致性裁决、标准评审、质量检查节点与评测协议)而不是笼统的「人工」二字,第四列六行一律是「无变化」。这两列合起来要说明的是:引入智能体之后,决定一条样本去留的仍然是本方案此前已定下,并且可被逐项验收的那套判据,没有一条判据因为「有了智能体」而被替换或放宽。验收时可以逐行指着问「这一环的判定是谁做的、按哪一条做的」,而不是对着一句原则各自理解。
表 4-4A 智能体在各环节的职责界限
| 环节 | 智能体承担 | 判定权在哪 | 门控有无变化 |
|---|---|---|---|
| 采集接入 | 来源与格式的候选识别、疑似异常批次的初筛清单 | 采集环节既有的接收校验与来源登记 | 无变化 |
| 清洗去噪 | 候选清洗规则建议、疑似噪声样本清单 | 清洗规则经策略会签后生效;样本去留按既有阈值 | 无变化 |
| 数据构建 | 候选推理路径、候选对话、候选长上下文切分 | 自一致性筛选、质量评分与人工复核(工具 1、6、8) | 无变化 |
| 智能标注 | 预标注候选标签与证据片段、待标注优先序 | 置信度分档与一致性裁决(工具 12—15) | 无变化 |
| 治理支撑 | 术语与本体的候选条目、治理文档的候选草案段落 | 数据治理体系的标准评审与会签 | 无变化 |
| 质量与验证 | 问题样本的候选聚类、归因的候选解释 | 质量检查节点与评测协议;归因结论经人工确认 | 无变化 |
4-3 智能体加速与质检门控的职责分界
图 4-3 智能体加速与质检门控的职责分界。智能体的产出止于候选与排序,判定权保留在既有门控上。数据来源:招标文件 3.2.3.4.1 节多智能体对话生成要求、项目目标中提升模型与智能体能力的表述;置信度三档处置口径见本章 3.2。
智能体在加工生产侧的用途有一处范围边界:本包交付数据集加工生产、质量评测与场景验证服务,智能体限于加工生产侧的作业组织,不构成为甲方建设智能体应用。数据集运营服务管理平台中列明的智能体开发服务是平台面向行业用户的服务供给能力,其服务形态与配额口径见数据集运营服务管理平台一节。
凡涉及大模型调用的环节一律经统一模型网关接入,网关侧采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级。这三项不是一句表态,它们各自落在架构的具体位置上。
要把它们落到位,先要看清不落位的后果。本项目建设期至 2028 年中,其后还有服务期,通用大模型的能力在这段时间里几乎肯定要换代不止一次。若把某一个具体模型写进工具实现,到换代时要动的就不是一处配置:每一个调用它的算子都要改,而且已经写出的血缘记录里都留着那个模型的名字——存量样本的血缘要么被改写(于是「血缘只追加不修改」这条约定当场就破了),要么保留一个已经不存在的名字,半年后无人能解释它指的是什么。更现实的风险是反过来:因为换不动,索性不换,整个服务期用着一个落后两代的模型,随代升级这一条始终停在纸面上。
四列分别回答四个问题:这件事由架构的哪一层保证、具体怎么做、凭什么说做到了,以及——写在第四列里的——判据必须是可实测的动作而不是态度。替换模型不需改动算子实现、不需改动字段模式、不需回改存量血缘,这三句话在验收时可以当场演一遍;候选模型未达在用模型基线水平的不予切换,这句话对应的是一份有逐能力项差异的对比报告;灰度一个批次后再全量,对应的是一个可以指出来的批次号与一条登记在案的回滚路径。少了第四列,三项能力就只是三句表态。这张表要带走的结论是:换模型在本方案里是一次有判据、可回退的发版动作,不是一次需要重做数据的改造。
表 4-5 三项能力的实现位置与判据
| 能力 | 落在哪一层 | 具体做法 | 判据 |
|---|---|---|---|
| 可替换 | 统一模型网关 | 算子通过网关调用,不直接对接任何模型服务;样本与血缘只登记网关分配的标识与版本号 | 替换模型不需改动算子实现,不需改动字段模式,不需回改存量样本的血缘记录 |
| 可评测 | 统一评测回路 | 候选模型在冻结基准集与留存回归集上按同一协议评测,产出与在用模型的对比报告 | 对比报告给出逐能力项差异;未达在用模型基线水平的候选不予切换 |
| 可随代升级 | 编排层的版本发布流程 | 升级按发版流程执行,灰度一个批次后再全量切换,登记回滚点 | 灰度批次的评测结论达基线方可扩大范围;不达标按回滚路径退回 |
模型换代后,存量样本的血缘记录保持可追溯:记录中的网关标识与版本号不随换代改写,使半年前的一批样本仍能回答「当时用的是网关登记的哪一个模型版本」。这一条与 4.5 的「血缘只追加不修改」是同一条约定在模型维度上的表现。
公共层上还有一组东西,比接口与字段更不显眼,但它决定了全部二十五个工具报出来的数能不能当证据用。那就是统计判据——门限怎么定、批次合格率怎么算、两个版本的差异怎么判断是真差异还是波动。这三件事若由各工具自行处置,二十五个工具就会有二十五套算法,报表汇到一处无法合并,验收时也无从复核。因此本项目把它们做成公共层的三条统一判据,一次定义、各工具调用。
第一条,自动采纳的门限由校准算出,不由人定。 工具的输出按置信度分三档,高置信档自动进入候选集,这件事的关键在于「高」从哪里划。常见做法是在试点批次上看一眼置信度与正确率的对应关系,取一个看起来合适的数。本项目把这一步做成可复算的标定过程:取一批已由人工确认的样本作校准集,把工具输出的置信度当作打分依据,在校准集上搜索门限值,使「置信度不低于该门限的样本,其标签错误率不超过设定上限」这一结论在给定的置信水平下成立。门限随校准集扩充自动重算,不由人临时调整。
这个做法与「抽检合格率达到某个数」的差别,在于它是事前保证还是事后统计。抽检是产出之后抽一部分看对不对,结论只覆盖抽到的那部分;校准是产出之前先把门限算出来,使门限以上的那一部分整体错误率有上界。验收时招标方问「凭什么说自动入库的那部分是对的」,可以出示校准集、搜索过程与门限值,第三方用同一校准集能算出同一个门限。
落实上有两处要讲清楚。一是校准集必须与生产批次同分布,所以每个业务域、每类任务单独校准——图纸要素抽取与工单实体抽取的置信度含义不同,不能共用一个门限。二是工具的输出记录要增加三个字段:校准集版本、错误率上限设定值、算出的门限值,使任何一条自动采纳的样本都能回答「它是按哪一次校准的哪一个门限进来的」。
落实上还有一处比门限本身更要先定下来:什么算一条样本错了。 错误率上限是对一个集合说的,集合里每一条的对错若无统一的判定规则,上限就无法验收——验收时招标方只要问一句「你说错误率不超过百分之五,什么算错」,就须当场答得出来。而七类适用环节的「错」彼此完全不同,不能共用一条规则,须逐环节写定,见表 4-6。判错规则一经确定即随门限一并版本化,变更走配置变更会签,不在校准过程中临时放宽——放宽判错规则可以让任何门限都「达标」,这正是这类保证最容易失效的地方。
判错分两类记账。一类是硬错:取值与原始凭据不符、标签与标注规范冲突、证据片段在原文中无法定位,这类直接计入错误率。另一类是可修复问题:字段缺项、格式不规范、表述不完整而取值无误,这类另立口径统计,不计入错误率,但按批次登记并纳入质量报告——把可修复问题混进错误率,会使门限被压得过低、自动采纳比例失去意义。
表 4-6 七类适用环节的判错规则与首期错误率上限
| 适用环节 | 打分依据(置信度来源) | 一条样本「错」的判定规则 | 首期上限 | 校准集来源 |
|---|---|---|---|---|
| 大模型预标注 | 多次采样的答案归并后最大类占比 | 标签与标注规范不符,或证据片段在原文中无法定位 | 百分之五 | 复用一致性校验已确认的标注结果,按任务类型分建 |
| 文档结构解析 | 版式路线的坐标自洽度;视觉路线的识别置信度 | 标题层级错挂、跨页表格拼接错、页码或段序号溯源错 | 百分之五 | 已人工核对的章节树与表格样本 |
| 图纸要素抽取 | 图元解析完备度与五项工程自检结论 | 字段值与图纸不符,或几何量与按同一公式手算结果偏差超图纸公差带 | 百分之三 | 已由工艺或设计口确认的图纸样本 |
| 视频—文本对齐 | 时钟校准置信度与帧事件匹配度 | 帧与事件配错、帧说明中的数值与同时刻读数不符 | 百分之五 | 人工标定的共现事件样本 |
| 时序—事件对齐 | 锚点可靠性分档与变化点检测置信度 | 片段切到错误的事件窗,或诊断文本中的数值与特征计算结果不符 | 百分之五 | 专家确认过时点的事件样本 |
| 对话质量筛选 | 多模型评分的共识程度 | 判为通过的对话经人工复核判为低质 | 百分之五 | 已双盲复核的对话样本 |
| 语义级去重判定 | 向量近邻的相似度 | 判为重复的两条实际不重复(误删方向);漏判另按召回口径统计 | 百分之二 | 人工裁定过的重复组样本 |
表 4-6 数据来源:打分依据与判错规则依各工具链分节的输出字段与质量口径;图纸要素抽取与语义级去重判定的上限从严,理由见下段;上限取值为本方案设定的首期目标,属待验证目标,随首轮校准实测结果调整后报招标方确认。
两处上限从严有具体理由。图纸要素抽取取百分之三,因为下料尺寸写错一条即是整张钢板的废料,错误代价不对称;语义级去重判定取百分之二,且判错方向定为误删,因为被误删的样本不会再被发现——它不进数据集,也不进问题清单,而漏删的重复样本尚可在后续批次中被查出。判错方向的选择本身就是一项工程决定,须写明而不是留给实现者。
门限的有效性还依赖一个前提:生产批次与校准集来自同一分布。这个前提在建设期内会被打破,而且打破时不会报错,因此要有监测。四项信号任一触发即挂起该环节的自动采纳、转为全部进复核队列,并启动重标定:置信度分布与校准集相比发生偏移;自动采纳比例相对近期批次突变;抽检实测错误率连续两批高于设定上限;输入构成发生已知变化——新增图纸类型、新上线设备、提示词模板或输出格式换版、模型经网关随代升级。前三项由工具自动监测,第四项由变更记录驱动,两条路径都登记在批次质量报告中。
重标定的代价是可控的,原因在于校准集不额外产生标注工作量:它复用人工复核与一致性裁决本就要做的确认结果,按业务域与任务类型分池累积,随建设推进越积越厚。首轮校准所需的样本量在数百条量级(取决于设定的上限与置信水平),这一批在试点阶段的复核产出中即可满足;不足时按前述口径取保守门限并在报告中注明。模型随代升级后不沿用旧门限,而是在新模型上重跑校准——门限属于「某个模型版本在某类任务上的」门限,不属于工具本身,这一点在字段上已由校准集版本与模型标识共同体现。
第二条,批次合格率报区间,不报单点。 批次质检的通常做法是抽二百到五百条双盲复核,用复核通过率作批次合格率。这个数的问题不是不准,而是它的不确定性没有被报出来——抽三百条得到 96%,真实值可能在 93% 到 98% 之间,而报表上只有 96% 这一个数。扩大抽检量可以收窄区间,代价是人工线性增长。
本项目的处置是把两种信息合起来用:工具对全量样本都有评分,这个评分覆盖面大但有系统偏差;人工对小样本有复核,这个结论可信但覆盖面小。做法是先用全量评分得出初始估计,再用人工复核样本上「模型判定与人工判定的差值」对初始估计做偏差纠正。得到的结果是一个无偏的点估计加一个置信区间,而且在同等人工投入下,区间比纯抽检更窄。换一个角度说,要达到同样的区间宽度,需要的人工复核量比纯抽检少。
这里有一条必须守住的前提:人工复核的样本要随机抽取。不能专挑难的,也不能专挑模型打分低的——一旦抽样有倾向,差值纠正项本身就带了偏,算出来的区间看着窄却是错的。确实需要按难度或来源分层抽取时,用分层的纠正口径,分层比例一并留档。另一条前提是全量模型评分与人工复核必须用同一张评分表、同一套判定口径,否则两者的差值没有意义。
第三条,版本之间的比较用配对口径。 评测结论要回答的常见问题是「这一版比上一版好了多少」。本项目对此固定三件事。一是基准指标一律报为均值与百分之九十五区间,区间按题目层面的自助重采样计算;二是两个版本或两个模型的比较用配对检验——拿同一批题目的逐题结果做配对重采样,而不是比较两个独立区间是否重叠,后一种做法会把本来能分辨出来的差异判成分辨不出;三是给出基准集规模与可分辨差异的对应关系,即零点九五万条基准在题目层面能稳定分辨多大的差异,写明这个量级,使「提升零点八个百分点」这类结论有判断依据。
自助重采样有一个容易做错的地方要点明:重采样要按题目簇而不是按单题进行。同一份文档或同一张工单派生出的若干道题彼此相关,若按单题独立重采样,算出来的区间会偏窄,看起来比实际更有把握。
这三条判据与本章 4.6 的统一评测回路是同一套东西的两面:评测回路规定了什么时候测、测什么、结论往哪走,统计判据规定了结论本身怎么算、精度怎么表达。三条判据的指标口径按本章 8.1 的三段式表述,汇总见表 4-7。
表 4-7 三条统一统计判据的首期基线、度量方式与回退
| 判据 | 适用环节 | 首期基线 | 度量方式 | 未达基线时的回退 |
|---|---|---|---|---|
| 自动采纳门限的校准 | 大模型预标注、文档结构解析、图纸要素抽取、视频对齐、时序对齐、对话质量筛选、语义级去重判定 | 错误率上限按百分之五设定并完成首轮校准(逐环节细化与从严项见表 4-6);每季度随校准集扩充复算 | 出示校准集版本、搜索过程记录与门限值,第三方用同一校准集复算 | 校准样本量不足时门限取保守侧(宁可少自动采纳),并在质量报告中注明本批按保守门限运行 |
| 批次合格率的区间估计 | 批次质检报告、数据集质量评测、验收抽样结论、标注一致性指标 | 报告一律给出点估计与置信区间两段;人工复核样本随机抽取且比例留档 | 复核样本的抽取记录+全量评分与人工判定的差值台账 | 人工复核量不足以给出有效区间时,退回纯人工抽检口径并在报告中注明口径变更 |
| 版本比较的配对检验 | 基准评测的版本对比、模型候选对比、整改前后对比 | 主指标一律带百分之九十五区间;版本比较一律用配对口径;写明基准集可分辨的差异量级 | 逐题结果留档,重采样按题目簇进行;比较结论附检验口径说明 | 差异未达可分辨量级时,结论表述为「未检出显著差异」而不表述为持平或提升 |
表 4-7 数据来源:适用环节依本章表 1-1 的工具清单与第 3 节的供需关系;基线取值为本方案设定的首期目标,属待验证目标,随首轮校准与首轮评测的实测结果调整后报招标方确认。
工具链中有若干环节要输出文字说明,而不只是输出字段。时序对齐之后要出一段工况诊断说明,视频对齐之后要出帧级的事件描述,图纸要素抽取之后要把几何量组织成可读的条目,故障场景构建要把故障树与处置建议写成文本。这些文字说明里必然带数值——温度多少度、持续多少秒、偏差多少毫米、判定为哪一档。
这些数值的来源必须说清楚,因为它关系到招标方最在意的一件事:数据集里会不会有编出来的内容。本项目对此定一条公共层的格式约束:凡输出文本中出现的数值、单位、阈值与结论标签,一律来自确定性计算的结果,由模板填入;语言模型只负责把已经填好的事实组织成通顺的说明,不参与任何数值的产生。
落实的办法是在输出记录里保留一个计算事实字段,逐项登记本条说明所依据的计算结果——测点编号、时间区间、计算式名称、输入值与输出值。校验器机械比对说明文本中出现的每一个数字与该字段中的值,不一致即判不通过,退回重新生成。这道校验是逐字符比对,不依赖任何语义判断,因此可以全量运行而不只是抽检。
这条约束的作用有三层。对数据集本身,它使每一段诊断说明都可复算——招标方拿到一条样本,照着计算事实字段把计算重做一遍,应当得到说明里的同一个数。对加工过程,它把语言模型的职责限定在组织语言上,模型换代不影响数值的正确性,因为数值从来不由模型产生。对将来的使用方,它使说明文本可以安全地进入训练语料:一段数值可复算的工况说明,教给模型的是真实的工艺事实;一段数值由模型生成的说明,教给模型的可能是一个看起来合理的错数,而这种错在海量样本里不会被摊薄,只会被学会。
需要说明适用边界:这条约束管的是数值与结论标签,不管定性描述的措辞。一段说明里「焊接电流在第三道出现明显波动」中的「明显」二字由模板的档位规则决定,而「第三道」与波动幅值来自计算;模型可以调整句子的组织方式,不能改动这两项。校验器只比对数值,措辞层面的质量由抽检与人工复核把关。
本包交付的是数据集加工生产、质量评测与场景验证。工具链建设属其中的加工生产手段。我方在本章范围内不承担智能场景建设,不承担模型训练与推理服务部署;工具链产出训练与评测所需的数据与评测结论,由训练推理技术服务消费。工具链的运行承载在奔牛数据智能平台之上,共用平台的身份认证、权限控制、任务调度、版本管理与日志审计能力,不各自另建运行支撑。
本项目的交付物不止工具链一项:数据采集接入、数据治理体系、大模型训练推理、运营服务管理平台、质量评测与场景验证各有承建内容,而它们之间的数据是流动的,一批数据往往要经过其中三四处才变成可训练的样本。边界若按组织划——「这块归谁、那块归谁」——实施期一出问题就会变成立场之争:数据不好用,加工一侧说源头没清干净,采集一侧说清洗口径是加工侧提的;两边都有道理,谁也拿不出可核对的东西,于是问题挂在那里,而数据还在继续生产。
边界按数据的交接点划,争的对象就从立场变成字段:哪一个字段没填、哪一次比对不符、按哪条路径退回,三者都可以当场核对,当天就能定下由谁去补。交接点因此被定义为三样东西的合称——一组具体字段、一次可以演练的交接动作、一条不通过时的处置路径,责任随字段走而不随部门走。
表的三列是「交接的是什么」与两侧各自的责任,而不是各方的工作清单。工作清单只说明各干各的,看不出两者在哪里碰头,也就看不出中间地带归谁;按交接物组织,每一行的两侧责任是对着同一个对象说的,谁的责任到哪里为止一目了然。表末把不属于本包的内容也列进同一张表,使范围的外沿与内沿在同一处可查,不必在两份材料之间来回比对。四处交接密集的相邻内容在 5.2 至 5.5 逐一给出接口字段与交接用例。这张表要带走的结论是:本方案对「自己做到哪里」的回答不是一段范围描述,而是八组可以逐项核对的交接物。
表 5-1 工具链与相邻建设内容的责任边界
| 相邻内容 | 交接的是什么 | 工具链一侧的责任 | 相邻一侧的责任 |
|---|---|---|---|
| 数据资源采集接入 | 清洗后语料、结构化业务记录、图纸、测点时序、视频的只读取数 | 接收已登记来源、已完成格式归一与敏感信息初筛的数据;按来源出质量报告并据此提取数改进要求 | 源系统接入、协议对接、清洗去噪、初筛、接口开通推动 |
| 数据集加工生产环节 | 工具与规范的使用 | 交付工具、标注规范文本、阈值与规则的首期基线配置 | 标注与复核作业的产能组织、排班、计件;逐样本质检的执行 |
| 数据治理体系 | 统一对象标识服务、数据集标准、术语与本体资产 | 作为使用方提出接口要求,按数据集标准转换入库,按本体版本加约束 | 交付统一标识服务与数据集标准,组织标准与本体的版本演进 |
| 行业大模型训练推理技术服务 | 数据集版本的取用与被测对象的推理接口 | 产出训练与评测数据并携带完整血缘;按协议在冻结基准集上执行评测 | 训练、调参、算力调度;提供推理接口与检查点登记;训练任务须登记所用数据集版本 |
| 数据集运营服务管理平台 | 任务提交、看板、血缘图谱与审计查询的入口 | 提供接口与数据,提供能力描述接口使平台无需硬编码参数表 | 界面与交互实现;数据集与工具链能力的对外提供形态与配额 |
| 数据集质量评测 | 过程证据与成品评测 | 提供样本级与批次级的过程指标、问题样本清单、运行记录与冻结集 | 成品数据集的指标体系、评测组织、第三方盖章报告的出具 |
| 场景验证 | 样本与可核对的评测口径 | 提供各场景所需样本与评测口径的计算方式 | 验证用例的组织、现场验证流程与结论形成 |
| 智能场景建设 | —— | 不在本包范围 | —— |
表 5-1 中下列两条边界实施阶段争议较多,展开说明:
与训练推理技术服务的边界按「工具产数据、训推消费数据」划分。工具链不写训练方案,训练推理一侧不写工具的功能设计。两者之间有三个接口是硬约束:被测对象经统一模型网关以同一种调用形式接入,工具链不感知对象差异;训练任务必须登记其使用的数据集版本,否则血缘链路在训练任务这一节点断开,缺血缘字段的训练作业不予调度;留出对比所需的额外训练轮次由训练推理一侧承担,工具链负责设计对比方案、提供子集划分与评测执行。贡献度估计的具体算法在验证与归因类工具中给出,两处使用同一套方法,不在两处给出不同算法。
与运营平台的边界按「工具提供能力、平台提供入口」划分。工具链不设计界面,平台不实现工具算子。两者之间的接口是公共层的六类调用、参数校验与能力描述调用。工具链能力的对外提供形态按数据集运营服务管理平台约定的平台能力租用与加工任务服务两种方式执行,基准测试数据集按评测服务方式提供而不交付题目与标准答案本身——理由与本章的评测集隔离原则一致:基准集的题目与答案一旦外流,它就不再具备评测效力。
实际项目里数据交接最常见的形态,是一个共享目录加一句「数据放这儿了」。目录里是几万个文件,文件名是源系统导出时的默认命名,没有任何一处说明这批数据取自哪个系统、截到哪一天、做没做过脱敏、能不能拿去调用外部服务。接下来发生的事是可以预见的:加工一侧凭文件名猜来源,猜错了整批样本的来源家族就是错的,而来源家族一错,后面的切分隔离与同族去重全部失效,泄漏要到评测分数异常好看时才被怀疑;没有完整性声明,少了三千条也没人发现,直到某个类目的样本量异常地少;没有许可标识,一批含人员姓名的票据被送去经网关的调用环节,等发现时数据已经出去了,这是不可撤回的。
所以交接的对象被定义成一个带完整声明的数据包,而不是一批文件;十个字段缺任一项,该批次不进加工。这些字段不是元数据的装饰,后面每一道判断都压在它们身上——没有业务发生时点就匹配不了条款版次,没有内容指纹就验不出中途是否被替换过,没有内部对象主键就关联不起跨系统的同一个对象。
第四列写的是「工具链一侧的校验」,而不是「要求采集侧保证」。写成要求是口头的,写成校验是可执行的:每一行都对应一个在接收时就会跑的检查,不符的结果是整批退回或逐条挂起,而不是「记录在案后继续」。这张表要带走的结论是:数据进加工域这道门是上了锁的,锁的齿是十个具体字段,不是一句「数据质量要好」。
表 5-2 采集接入向工具链交接的数据包字段
| 字段 | 含义 | 填写方 | 工具链一侧的校验 |
|---|---|---|---|
| 来源系统标识 | 数据取自哪一个源系统 | 采集接入侧 | 与来源登记表比对,未登记的来源拒收 |
| 源对象标识 | 源系统中的业务主键 | 采集接入侧 | 非空,且与声明的来源系统的编码形态相符 |
| 内部对象主键 | 经统一对象标识服务换取的内部主键 | 采集接入侧 | 齐备性核对,未命中与冲突的条目不进加工,列入待补映射清单 |
| 来源家族标识 | 源文档标识或源对象族 | 采集接入侧 | 非空;为空者整族标未知并排除出评测集 |
| 采集时点与业务发生时点 | 两个时点分别登记 | 采集接入侧 | 业务发生时点用于映射解析与条款版次匹配,缺失即无法回放 |
| 格式归一结论 | 原格式、归一后格式、归一规则版本 | 采集接入侧 | 归一后格式须在五种格式之内;规则版本须可解析 |
| 敏感信息初筛结论 | 命中类别、处置方式、规则版本 | 采集接入侧 | 缺失的批次不得进入任何涉及外部模型调用的环节 |
| 许可标识 | 使用范围分档 | 采集接入侧 | 缺失按最严一档处理并挂起相关环节 |
| 内容指纹 | 本批内容的摘要 | 采集接入侧 | 逐批重算比对,不符即整批退回 |
| 完整性声明 | 条数、字节数、已知缺失清单 | 采集接入侧 | 与实收比对,不符即整批退回 |
交接用例以一批热处理炉次记录与同期测点时序的交接为例。第一步,采集侧按上表字段打包并登记批次,给出完整性声明与内容指纹。第二步,工具链侧先校验完整性声明与指纹,条数或指纹不符即整批退回,不做部分接收——部分接收会切断来源家族,后续切分隔离无从判定。第三步,校验内部对象主键齐备性,未命中的条目不进加工,列入待补映射清单同时回传采集侧与治理侧。第四步,校验敏感信息初筛结论与许可标识,两项任缺其一,本批不得进入经网关的调用环节,只能走内网处理。第五步,接收后按来源出质量报告,报告中的问题类型与条数即向该源系统提取数改进要求的依据。整个交接过程的可核验之处在于:每一步比对的都是表 5-2 中的具体字段,退回与挂起都有对应的字段名与条数,不以「数据质量不好」这类结论交接。
甲方现有的编码体系里,施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号、设备编码之间没有稳定的主键关系:同一种物料在采购系统与库存系统里是两个编码,同一台设备在远程运维平台与制造执行系统里是两个编码,而把它们对上的那张表现在不存在。工具链在这件事上有一个很有诱惑力但不能走的近路——自建一套映射。自建的映射只在工具链内部成立,出了工具链就对不上;更麻烦的是它会与治理体系日后发布的正式映射长期并存,形成两套都「正确」的答案,而数据集已经按其中一套生产完了。因此工具链在标识、标准与本体这三件事上一律是使用方:提出接口要求,按返回结果处置,不另起炉灶。
三类资产分三行写而不合成一张笼统的治理接口表,是因为它们的使用方式完全不同。统一对象标识服务是运行时逐次调用的,一次调用对应一条样本;数据集标准是入库时一次性校验的,一次校验对应一个批次;术语与本体资产是加载进配置后长期生效的,一次加载管一个版本周期。合成一张表会把「调用」与「加载」混为一谈,而它们的失败处置相差很远:调用未命中只挂起这一条并进待补映射队列,本体版本不符则整批不得开工。这张表要带走的结论是:工具链与治理体系之间的往来已细到字段与状态一级——三种命中状态各有各的处置,不存在「先按空值跑着、回头再补」的口子。
表 5-3 数据治理体系向工具链交付的资产与接口字段
| 资产 | 调用或引用字段 | 返回或约定内容 | 工具链一侧的核对 |
|---|---|---|---|
| 统一对象标识服务 | 源编码类别、源编码值、业务发生时点 | 内部主键、映射版本、生效区间、命中状态(命中/未命中/冲突) | 三种状态分别处置;映射版本写入本批血缘 |
| 数据集标准 | 字段模式标识与版本 | 字段定义、编码规则、入库校验规则 | 入库前按标准校验,不过的记录不入库并返回失败清单;登记入库凭据 |
| 术语与本体资产 | 本体标识与版本、术语表版本 | 类与属性定义、约束清单、术语标准写法 | 按版本加载;约束冲突出清单不自动消解;术语写法进保护词表 |
交接用例以本体发新版后的联动为例。治理侧发布本体新版本并给出变更清单,清单分新增类、改名类与约束变更项三栏。工具链侧按变更清单评估受影响的规则标注配置与标注规范文本,受影响的配置改版并登记其依赖的本体版本号。新版本生效后处理的样本按新版本加约束;已处理样本不追溯重写,其血缘中的规则版本字段保留原值。若变更涉及标签值域收缩,存量样本中落在被删值域上的标签进复核队列,复核结论作为追加记录写入,不抹去原标注。联动是否完成有一个可核验的判据:规则标注工具的配置版本、标注规范文本版本与本体版本三者能在同一张依赖表里对上,且抽样样本的规则版本字段指向正确的那一版。
数据集与模型之间最容易断的一环,是「这个检查点是用哪一版数据训出来的」。训练一侧通常只记「用了某某数据集」,不记版本;等到评测结果不如预期,想回头查是数据的问题还是训练的问题,查不动——数据侧改过三版,训练侧跑过五轮,两边对不上账,最后只能重训一遍,而重训并不会告诉人原因。更隐蔽的是基准集污染:若某个检查点的训练集里混进了与基准题目同源的样本,它在基准集上的分数会很好看,而这个分数不代表任何能力;拿着这样的分数去判断数据集是否合格,整轮结论都是空的。
把这类事情挡住,靠的不是流程约定,而是几个必须回填的字段。表里既有工具链侧填写的行,也有训练推理侧填写的行:交接是双向的,只写自己给出什么等于只做了一半,对方必须回填的被测对象标识、推理接口契约与训练任务登记一并列进同一张表,这次交接才有闭合的检查点。第四列写的是「对方一侧的使用与核对」而不是字段含义,因为字段的价值在于它挡住了什么——未登记数据集版本的训练作业不进评测排期,缺血缘字段的训练作业不予调度,推理接口契约不符即退回而不在评测过程中临时适配。这张表要带走的结论是:数据与模型之间的账是能对上的,任何一个检查点都答得出「用的哪一版数据」,任何一次评测都答得出「题目有没有被训练见过」。
表 5-4 工具链与训练推理技术服务的交接字段
| 字段 | 含义 | 填写方 | 对方一侧的使用与核对 |
|---|---|---|---|
| 数据集版本引用 | 数据集标识、版本号、内容指纹 | 工具链侧 | 训练任务登记其所用版本;未登记的训练作业不进评测排期 |
| 切分集合标识 | 训练、验证、测试、冻结基准四类 | 工具链侧 | 训练只取训练与验证集;基准集不参与训练 |
| 样本级血缘引用 | 指向血缘记录的键 | 工具链侧 | 缺血缘字段的训练作业不予调度 |
| 被测对象标识 | 网关登记的标识与版本 | 训推侧 | 评测引擎按同一调用形式接入,不感知对象差异 |
| 推理接口契约 | 输入字段、输出字段、超时、并发上限 | 训推侧 | 评测前做一次契约核对,不符即退回,不在评测中临时适配 |
| 训练任务登记 | 任务标识、所用数据集版本、检查点标识、起止时点 | 训推侧 | 血缘服务据此把数据集与检查点连起来 |
| 评测协议版本与随机种子 | 协议标识、版本、种子值 | 工具链侧 | 两次评测须用同一协议与同一种子方可比较 |
交接用例以一次版本对比评测为例。工具链侧提供冻结基准集版本与评测协议版本,训推侧提供两个检查点的推理接口并经网关接入,调用形式一致。评测引擎按同一协议、同一随机种子分别跑两次,逐题结果留档。比较用配对口径(见本章 4.9),结论含均值、百分之九十五区间与该基准集可分辨的差异量级。随后做一次交叉核对:取训推侧登记的训练数据集版本,与基准集做同族隔离核对——若被比较的检查点其训练集与基准集之间存在同族样本,本次对比结论作废并重做切分,而不是在结论里加一句说明。核对通过后,对比结论回到评测回路第四环,按归属分派:指向数据的转修订工单,指向模型的转训推侧改进建议。
平台与工具之间最常见的耦合方式,是平台把每个工具的参数表抄一份写进自己的界面代码。25 个工具意味着 25 份抄件;任何一个工具加一个参数、改一个取值范围,界面就要跟着改一次、发一次版。建设期内工具本来就在迭代,这种耦合的后果是平台永远比工具慢一拍:用户在界面上配出来的作业,提交到工具侧才报参数错误,而界面上看不出哪里错了。更远一点看,这份抄件还会在验收之后继续产生维护成本,每一次工具升级都变成一次平台改版。
本方案把这件事反过来做:参数清单、取值范围、默认值、输出字段由工具自己描述出来,平台取回后生成界面。这条通道因此成为平台与工具之间最要紧的一组字段,排在表的第一行。
表按字段组分行而不按单个字段分行,是因为两者之间不是一次性交接一批数据,而是六条长期存在的通道——能力描述、任务提交、任务状态、导出、血缘与审计查询、计量,每条通道有自己的方向、自己的节奏和自己的失败处置。按字段平铺会把六条通道的边界冲掉,看不出哪些字段是一起用的、少一个会导致哪条通道不通。第三列标明方向,是因为同一张表里既有工具链给平台的,也有平台给工具链的,还有导出这类双向的;方向不标明,责任就落空。这张表要带走的结论是:平台与工具之间的往来——提交、看进度、取结果、导出、查血缘、算计量——六条通道全部落在表内,没有哪一类往来是靠约定俗成办的。
表 5-5 工具链与数据集运营服务管理平台的交接字段
| 字段组 | 具体字段 | 方向 | 用途与核对 |
|---|---|---|---|
| 能力描述 | 工具标识、版本、参数清单、取值范围、默认值、输出字段与格式 | 工具链→平台 | 平台据此生成配置界面,不硬编码参数表 |
| 任务提交 | 工具标识、输入数据集版本引用、参数集版本引用、输出落点、回调地址、客户端请求标识、优先级声明 | 平台→工具链 | 提交前先过参数校验调用;越权的优先级声明降为默认档 |
| 任务状态 | 状态、阶段、批次进度、指标快照、失败摘要 | 工具链→平台 | 平台按八态渲染进度,不按自由文本判断 |
| 导出 | 格式、筛选条件、是否含未审核样本、脱敏级别、审批记录、取件地址与有效期 | 双向 | 含未审核样本或敏感字段的导出须带审批记录方可生成 |
| 血缘与审计查询 | 查询类型、查询键、时点、返回分页 | 平台→工具链 | 五类审计查询按预置用例返回 |
| 计量 | 批次数、处理条数、外部调用次数、人工介入工时 | 工具链→平台 | 平台据此出配额与对外服务形态的计量 |
交接用例以平台上线一个新工具的配置界面为例。平台调用能力描述接口取参数清单与取值范围,按返回结构生成界面;用户提交前平台调参数校验接口预检,不合法项直接在界面提示,不产生无效作业;作业提交后平台按状态字段渲染进度;工具升级导致参数清单变化时,平台重新取一次能力描述即自动更新界面。这条链路的可核验判据是一句可实测的话:平台上新增一个工具,前端代码不作改动。验收时按此实测,不以接口文档齐备代替。
25 个工具不一次性全部投产。排序依据是数据流上的依赖关系与问题出现的时间先后,不按工具编号。
6-1 公共层先行与四个投产阶段
图 6-1 公共层先行与四个投产阶段。横轴为建设期时序,各批次之间有重叠,箭头表示前置依赖而非严格串行。数据来源:招标文件第五章 3.2.3 各节的能力依赖关系;批次内容与本章之后三节的分批安排一致。
分批的难处不在于排出一张先后顺序表,而在于说清每一批「之前必须有什么」和「之后能开始做什么」。本项目的前置条件有相当一部分不在我方手里:图纸与企业文档的只读接口要甲方开通,敏感字段的标定与授权矩阵要甲方确认,备料 28 道工序的工序字典和各场景的判据字典目前还散在经验里、要先成文,视频布点要等现场施工完成。这类事项若不在排期里显式占位,表面上的进度会相当好看——工具一个接一个按时上线,而真正的加工迟迟开不了工,因为缺的是接口和规则,不是工具。等到发现时,剩下的工期已经不足以把积压的加工量做完,这是数据类项目最典型的一种翻车方式。
因此每一批列四件事,而不是只列内容与时间。前置条件写明这一批在等谁的什么,等不到时双方都看得见责任落点;本批解锁的工作写明这一批上线之后下游能开始干什么,使「这个批次有没有必要排这么前」可以被讨论;判为可用的依据写明凭什么说这一批确实能用了。缺了前置条件一列,批次之间的依赖会被当成单纯的先后,调整起来好像只是挪一挪时间;缺了判为可用一列,「上线」就成了一个靠感觉认定的状态,而上线与可用之间往往隔着一轮实测——接口调得通不等于血缘字段写得全,解析跑得完不等于抽样准确率达得到基线。
这张表要带走的结论是:每一批的开工条件与收尾判据都已写定,批次之间的先后由依赖关系决定,不是一份可以按工作量商量的排期。
表 6-1 各批次的前置条件、解锁的工作与判为可用的依据
| 批次 | 内容 | 前置条件 | 本批解锁的工作 | 判为可用的依据 |
|---|---|---|---|---|
| 第零批 | 公共层:六类调用接口、五种格式序列化、八项血缘字段写入、通用指标上报、安全管控 | 平台接口规范确定;敏感字段标定与授权矩阵由甲方确认 | 任何工具可部署,任何批次可留血缘 | 六类接口按文档可调通;血缘八项字段写入完整;脱敏回扫无命中;越权与出域拦截生效 |
| 第一批 | 文档结构解析、切分与拼接;图纸抽取、预标注、本体规则标注;去重与污染扫描 | 文档资源清点完成;图纸与企业文档只读接口开通;本体首版发布 | 工艺设计域语料结构化与首轮标注;候选池可入库 | 解析与抽取的抽样准确率达基线;污染回灌测试识别率达基线;来源反查双向可验 |
| 第二批 | 检索增强构建、自生成思维链;时序对齐、一致性校验、主动学习;分布分析与均衡、模板化生成、切分与基准构建 | 第一批产出可用;统一模型网关可用;专家题库首批完成;测点时序接口开通 | 标注资源按配比投放;首轮训练可启动;评测可开始 | 检索增强六项指标实测;三粒度一致率达基线;泄漏构造例逐类检出;基准集冻结后不可改 |
| 第三批 | 人机协同思维链标注、对话三个工具;视频对齐、指令生成、文本重写;评测引擎、归因溯源、血缘查询与图谱 | 标注工位与评分规则会签完成;脱敏规则与甲方数据安全要求对齐;视频布点完成;首个模型检查点产出 | 对话与指令样本批量生产;数据集价值可被验证 | 同协议重复运行偏差达基线;注入错误样本可被归因命中;五类审计查询按预置返回 |
| 第四批 | 工单与故障场景模拟生成 | 故障域本体与名录完备;历史工单频次统计完成 | 长尾故障场景的定向补齐 | 构造场景经业务口裁定;长尾类目样本量披露 |
批次安排有三处时序不可调整:公共层先于一切批次,理由在 4.1 已述。去重与污染扫描排在第一批,因为重复在候选池建立的第一天就存在,而污染一旦进入基准集且未被发现,受影响的全部评测结论都要作废,返工代价是整条链路。切分与基准构建排在第二批末尾、首轮训练之前,它的前置是数据集已完成去重与同族登记;基准集的建设周期较长——题目要专家出、要经污染核验,所以须与切分工具并行准备。
四批之后进入持续生产与迭代期,直至建设期结束。迭代期以校准为主:阈值随人工复核反馈按季度反推调整,分布的最小可用量随场景验证结果调整,模板约束表随工艺口裁定逐条回写,评测协议随能力维度的区分度调整,基准集按期组织复核与补题。每一项调整都按本章 8.1 的三段式登记基线、趋向与回退,不作无判据的调参。
表 6-1 的前置条件中有四项取决于甲方业务规则的成文程度:备料分厂的正式工序字典(28 道工序的标准名称、编码与分档规则)、各场景的判据字典(热处理三级判定、焊接缺陷类别与检出手段的对应、故障名录与证据分级)、历史文档资源的清点结果(按类型、份数、页数、电子化程度与扫描质量分档)、源系统只读接口的开通范围与协议。这四项我方在蓝图设计阶段以工作坊形式逐项确认并成文,确认结果即成为规则资产的首个版本,后续按版本演进;确认完成之前,相关工具按通用规则运行,并在批次质量报告中标注其配置来源为通用规则而非本项目规则资产。把散见于经验的规则落成可执行、可版本化的规则库,本身就是一项交付价值,其用途不限于本项目。
工具清单本身不是交付目标,数据集与场景验证结论才是。25 个工具很容易被当成 25 件设备,验收时一件件点过去就算完;但甲方买的不是设备,是 615 亿 Token 的预训练语料、89 万条指令样本、6.6 万组偏好数据、0.95 万条基准题目,以及十一个场景的验证结论。工具只有落到「哪一类工具产出哪一个数据集的哪一部分」上,这份清单才与交付目标对得上。反过来看也成立:若某一类工具在四列里全是破折号,那它要么是多余的,要么是它的产出没有被算进任何一个数据集——两种情形都要在动工之前查清,而不是等到数据集规模对账时才发现缺口,那时补料已经来不及。
用九类乘四个数据集的网格而不是逐工具写一段贡献说明,是为了让两个方向都能读。按工具逐个写会写出 25 段文字,读完仍然答不出 89 万条指令样本究竟由谁产出;网格可以竖着读——一列就是一个数据集的全部产出来源,看得出有没有哪个数据集只靠一类工具支撑、风险过于集中;也可以横着读——一行就是一类工具的全部去向,看得出有没有哪类工具的产出无处可去。两个方向都对得上,缺口才看得见。
这张表要带走的结论是:每一个数据集都说得清它的规模由哪几类工具产出,每一类工具都说得清它的产出进了哪一个数据集;表中的空缺是经过判定的(见下段),不是尚未想清。
表 7-1 九类工具对四大数据集的类级贡献
| 类 | 预训练数据集 615 亿 Token | 指令微调数据集 89 万条 | 强化学习偏好数据 6.6 万组 | 基准测试数据集 0.95 万条 |
|---|---|---|---|---|
| 1 思维链构建 | —— | 推理类指令样本的主产出 | 同一问题多路径的优劣配对 | 推理评测题 |
| 2 长上下文数据构建 | 文档类长上下文语料的主产出 | 检索增强三元组经格式转换计入 | —— | 检索增强评测样本 |
| 3 多轮对话数据构建 | —— | 多轮对话样本的主产出 | 对话样本的高低分配对 | 对话评测样本 |
| 4 多模态数据对齐 | 图文与时序成对语料 | 抽取与推理类指令的输入素材 | 多模态描述与诊断结论的候选回答对 | 多模态与诊断类评测题的事实依据 |
| 5 智能标注 | 语料的类型与质量分级标注 | 各任务类型的标注结果 | 偏好比较的初筛与一致性校验 | 评测题标注的一致性保证 |
| 6 数据生成与增强 | 增强文本(按配比上限) | 指令与场景样本的扩充 | 表达不同而内容相同的回答对 | 不参与 |
| 7 数据质量与分布控制 | 去重、污染拦截与分布均衡 | 同左 | 同左 | 污染核验与同族隔离 |
| 8 数据生成控制与评测 | 切分隔离 | 结构化合成样本 | —— | 基准集构建与冻结 |
| 9 数据集验证与归因 | 覆盖盲区识别与补齐需求 | 同左 | 同左 | 评测执行与题目失效判定 |
表中第 6 类与第 8 类的「不参与」是评测集隔离的落实:生成类工具的产出一律带不可用于评测集的标记,评测集构造按该标记排除。预训练语料的实际 Token 量受甲方可用文档的实际体量约束——解析工具能把现有文档的结构还原出来,不能增加文档总量。我方的做法是先完成文档资源清点与解析覆盖度统计,按业务域给出可得 Token 量的实测值,与目标存在差距的域在数据卡中列明并提出补充来源建议,由项目组与甲方共同确定补充路径。逐数据集的规模对账与数据卡见四大数据集规模一节。
表 7-2 工具链对场景验证的支撑点(类级)
| 场景 | 工具链提供的关键支撑 | 验证时可核对的口径 |
|---|---|---|
| 产品智能选型 | 历史选型方案的结构化抽取;选型校核类推理样本;相似工况检索样本 | 推理步骤可按校核公式复算;相似案例检索的命中位次 |
| 板材备料工艺 | 图纸几何要素与加工要求抽取;28 道工序内的排序候选;展开长确定性计算;历史图卡成对回归样本 | 展开长与手算的一致性;工序排序与历史工艺卡的符合度;字段抽取正确率 |
| 库存控制 | 物料与口径的实体归一;供需计划域的推理与工具调用样本 | 口径归一正确率;工具调用参数的结构合规性 |
| 热处理 | 时序片段切分与特征;炉次关联样本;规程类文本的多样化表达 | 诊断文本事实层的数值准确性;关键信息保持率 |
| 焊接 | 关键帧与焊道对齐样本;参数流时序片段;缺陷描述归类标注 | 对齐正确率;缺陷归类与人工标注的一致率 |
| 健康诊断 | 报警与维修前后窗片段;诊断推理与排障对话样本;长尾故障补齐样本 | 证据等级分档的正确性;长尾类目样本充足度的披露 |
| 五个通用信息类场景 | 制度与标准的改写增强样本;带引用的问答样本;条款级证据定位 | 答案依据可定位率;原文换版后的样本联动比例 |
表 7-2 右列是工具链与场景验证之间的接口:验证时核对的就是这些口径,而口径的计算方式在各工具的质量口径表中已逐项定义。场景验证的组织方式、验证用例与验收流程见六个专业场景验证方案与五个通用场景验证方案两节。本包只提供场景验证所需的样本与评测口径,不承担场景建设。
25 个工具链共用一套验收口径:指标一律按三段表述,验收分三类且三类不互相替代。具体指标值与回退动作在各工具的功能设计中逐项列明。
工具链质量指标按作用对象分档约定:同一能力作用于电子版规程与陈旧扫描件,结果本不相同,故指标按资料品质分档给出,各档以首轮实测值作为基线。漏报一类指标以抽检复核的实测值呈现,并随样本积累逐轮更新。
因此每项能力按三段表述:基线说明首期可达到的水平及其测量方法;趋向说明服务期内随样本积累与阈值校准逐步接近的目标;回退说明达不到时的具体动作与兜底方。各工具的指标表均按这三段给出,且回退列写的是可执行动作——整批转人工复核、改以人工判定为准、退回上一稳定配置版本、批次不得出加工域、阈值调向保守侧并扩宽复核带——不是原则性表述。
验收时的用法随之明确:按基线值核对实测值,达到或超过基线即判通过;未达基线的,核对回退动作是否已执行并留有记录,回退已执行且未达项已登记的判为有条件通过并列入服务期校准计划;回退未执行的判不通过。趋向目标不作为验收判据,它在服务期的阶段性检查中核对改进趋势。据此在验收前约定未达标时的回退与登记动作。
实施期里「验收」这两个字会被用在三个地方:一个工具做完了要验,一版数据集发布前要验,整个项目交付时还要验。三者混用会生出两种方向相反的麻烦。一种是以工具验收代替数据集验收——25 个工具都测试通过了,于是认为数据可用;可工具跑通与数据合格是两件事,一个毫无缺陷的工具照样会因为配置取了默认值、或者源数据本身成色不足,产出一整批不能用的样本。另一种是以数据集验收代替整体验收——某一版数据集的质量报告很漂亮,于是认为项目可以收尾;而整体验收要看的还有工具链的数量与形态、运营平台的功能模块、治理文档的份数与质量,以及十一个场景的验证结论。两种混用都会在最后一个月集中爆发,而那时已经没有时间补。
三列分别是对象、依据与口径归属。验收争议几乎都起于前两件事不清:验的是哪一版、哪一个(对象),凭哪一份材料判定(依据)。把这两件事连同各自的口径出处一并写定,到验收时双方对的是同一份清单,而不是各自带着一份理解。这张表要带走的结论是:三类验收各有各的对象与证据,谁也替不了谁。
表 8-1 三类验收的对象、依据与归属
| 验收类别 | 验收对象 | 判定依据 | 口径归属 |
|---|---|---|---|
| 工具的单项验收 | 单个工具链 | 五件套齐备;功能要求逐条对应测试用例;指标达首期基线 | 本章第 4 节与工具链(三)5.6 |
| 数据集的发布验收 | 某一版数据集 | 质量检查节点全过;血缘挂接率达门限;无未裁定的高风险污染;无未关闭的高优工单 | 工具链(三)第二、四节 |
| 项目的整体验收 | 全部交付物 | 数据集规模与质量、工具链 25 个、运营平台功能模块、治理文档、场景验证结论 | 项目管理措施与数据集质量评测方案 |
三类验收的证据链是串联的:工具验收合格的工具产出数据集,发布验收合格的数据集版本进入整体验收的交付清单,整体验收所需的质量证据由前两类的记录与第三方评测报告共同构成。第三方盖章的数据集质量评测报告不由本章的测试报告替代;两者的关系是本章提供过程证据——协议版本、冻结集、运行记录、指标与原始测试记录,第三方据此与自行抽测结论出具评测报告。为使第三方可复核,本方案承诺评测过程的可复现性:协议版本化、基准集冻结、随机种子固定、运行记录留存,第三方按同一协议与同一冻结集重跑应得到一致结果。
数据构建类工具链交付八个工具,分属思维链构建、长上下文数据构建(含检索增强)、多轮对话数据构建三类,对应招标文件 3.2.3.2 至 3.2.3.4 三节。每个工具交付的内容为:功能设计、输入字段与输出结构、参数与约束、处理流程、运行接口、异常码与回退、运行日志、人工复核点、验收用例,以及在本项目真实业务对象上的端到端作业样例与失败对照。
四大数据集的规模目标是预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条。这个量级不可能靠人工撰写堆出来,也不可能靠把现有文档简单切块凑出来。宁夏天地奔牛实业集团有限公司(以下简称甲方)的数据起点是一个很具体的局面:生产业务数据留存完整,历史图纸约 63 万张且每张历史上都配有一份已审核签发的工艺卡片,设备过程参数长期保存,服务工单与运维报警逐条在库;但这些资料的形态是事务记录,不是训练样本。
工艺卡片记录了"这张图最终走了哪几道工序",没有记录"为什么这样排";故障工单记录了"换了哪个件",没有记录"从哪条线索判断到这个件";技术手册是一本几百页的 PDF,模型要的是带章节上下文、带页码出处、长度落在窗口内的样本。
把事务记录变成训练样本,中间要补三类能力:思维链补推理过程,长上下文补结构与出处,多轮对话补交互轮次与业务闭环。这三类分别由思维链构建类、长上下文数据构建类、多轮对话数据构建类三类工具链承担。这三类的产出互不重叠,在数据集结构上各有归属:长上下文样本主要供预训练与检索增强训练,思维链样本与对话样本主要供指令微调与偏好数据,三类产出的质量评价样本共同构成基准测试集的主体。
取数来源限于已入湖、已登记来源、已完成格式归一与敏感信息初筛的清洗后语料与结构化业务记录,由数据采集与预处理环节交付。各类来源的取数前置条件逐项列于表 2-2、表 2-24、表 2-45;前置条件未落实的来源不进入生产队列,其缺口在数据卡中按来源分列统计。凡涉及甲方源系统现状的判断,均为我方前期调研所了解的情况,以蓝图设计阶段的勘察复核结论为准,勘察结论与此不一致时按勘察结论调整取数通道与排期。
三项技术规则在本章各处一体适用。其一,九类 25 个专项智能工具链的交付总览以专项智能工具链总述一节为准。其二,通用接口规范、血缘追溯与工具链验收要求以质量与验证类工具链一节末的通用要求为准,本章八个工具按其规定实现接口、血缘字段与质量报告格式。其三,训练与推理的服务形态、算力适配与模型接入网关以行业大模型训练推理技术服务相关章节为准;本章产出训练与评测数据,训练推理服务消费这些数据。
八个工具链在数据加工主线上处于预处理环节之后、数据集入库之前,分属招标文件 3.2.3.2 至 3.2.3.4 三节所列的三类工具链,统一部署在天地奔牛煤机装备数据智能平台(以下简称奔牛数据智能平台)内。
本组工具链的上游是数据采集与预处理(见数据加工生产环节相关章节):源系统接入、格式归一、清洗去噪、敏感信息初筛在那里完成,本组拿到的是已入湖、已登记来源的清洗后语料与结构化业务记录。本组工具链的下游是数据集运营与训练推理服务:本组按统一样本规范输出,经质检与审核后入数据集库,由训练推理服务按版本取用。我方在本章范围内不负责模型训练、不负责推理服务部署,也不负责智能场景建设。本包交付的是数据集加工生产、质量评测与场景验证。
2-1 数据构建类工具链在加工主线中的位置与数据流向
图 2-1 数据构建类工具链在加工主线中的位置与数据流向。数据来源:招标文件第五章 3.2.3.1 智能工具链交付清单、3.2.3.2–3.2.3.4 节;数据集规模口径取自招标文件逐数据集规模表。
本章交付的八个工具链及其与招标文件条目的对应关系如表 2-1。每个工具链按同一组交付项给出:现场问题与能力定位、功能设计、输入字段与输出结构、参数与约束、处理流程、运行接口、验收口径。异常码与回退动作随各工具的「任务创建入参契约、调用样例与异常回退」小节给出,运行日志、人工复核点与验收用例八个工具统一列于第 7 节,三个跨工具的端到端作业样例列于第 6 节。
表 2-1 本章交付的八个工具链与招标文件条目对应关系
| 序号 | 工具链名称 | 招标文件条目 | 主要产出物 |
|---|---|---|---|
| 1 | 大模型自生成思维链工具链 | 3.2.3.2.1 | 结构化推理样本、自一致性筛选结果 |
| 2 | 人机协同思维链标注工具链 | 3.2.3.2.2 | 修订后推理样本、修改差异记录、仲裁档案 |
| 3 | 文档切分与拼接工具链 | 3.2.3.3.1 | 文档对象、滑窗长上下文样本、来源映射表 |
| 4 | RAG 数据构建工具链 | 3.2.3.3.2 | 查询—上下文—回答三元组、RAG 评测样本与指标 |
| 5 | 文档结构解析工具链 | 3.2.3.3.3 | 章节树、结构化段落、混合切分片段 |
| 6 | 对话模拟生成工具链 | 3.2.3.4.1 | 多轮对话样本、角色标签 |
| 7 | 结构化工单转对话工具链 | 3.2.3.4.2 | 工单转写对话样本、补全标记、脱敏记录 |
| 8 | 对话质量筛选工具链 | 3.2.3.4.3 | 质量评分、低质样本清单、分层采样集、筛选报告 |
八个工具链由我方统一设计、开发与交付,部署在奔牛数据智能平台平台内,对外以统一的任务接口暴露,涉及大模型调用的环节一律经平台统一模型网关接入。网关侧采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级,样本上只记录模型标识与版本号,不绑定具体型号,模型换代时存量样本的血缘记录保持可追溯。
现场缺口。 甲方业务记录多半只留下结论,很少留下判断过程。典型如:
- 工艺判断:备料工艺人员读多视图图纸,要识别牌号、板厚、轮廓、孔与方孔、坡口与倒角、压弯线与粗糙度等,再在分厂封闭的 28 道工序中选型排序并校核依赖与禁止条件;工艺卡片上通常只有工序号、设备编码、工装样板号、材料定额,「孔为何排在压弯前」「为何须先退火」等判断未落盘。 - 故障分析:远程运维报警多、故障标签少,报警与真实故障缺少可核对证据链,维修事实多在纸面工单,「从哪条线索判到哪个部件」的路径未结构化。 - 质量归因 / 安全合规 / 知识推理:检验结论与不合格处置、制度条款适用、选型与参数校核等,同样常见「有结论、缺步骤、缺依据定位」。
五类任务共同缺口是可训练、可评测的推理轨迹:结果多在系统里,过程多在资深人员经验里。
能力定位。 本类工具链不声称把专家脑中过程原样拷贝出来,而是在成对事实约束下,建设一条可验收的推理样本生产线:
1. 以成对事实为锚——如图纸与工艺卡、报警段与维修结论、检验记录与不合格品处置票、制度条款与适用结论;锚必须来自甲方真实业务,不由模型编造。 2. 由模型生成候选推理过程——在锚与已检索背景材料上补出步骤、答案与依据引用(工具 1)。 3. 由标注人员与领域专家修订——步骤级增删改与仲裁,使过程符合本企业规程与现场口径(工具 2)。 4. 用一致性与事实匹配筛选——筛掉编造、违规或站不住的路径;优选路径进指令微调,合格负样本可进偏好数据。
因此,思维链样本是把「有结果、无过程」的业务记录补成可训练对象的主要路径。可信性依赖三件事同时成立:锚真实、过程经专家修订或复核、筛选判据可核对。
本类交付的是推理样本及其质量与版本记录;不承担模型训练部署,也不替代业务部门做工艺或故障结论裁决。工具 1 与工具 2 的功能、接口与验收见后文各节。
招标文件列明本类工具链须能够处理行业知识片段、工艺规程、设备手册、故障案例、质量检验记录、安全制度、专家题库、业务场景模板、提示词模板等数据,生成思维链训练样本等数据。各类输入在甲方的落点、取数依赖与对应的推理样本类型如表 2-2。
表 2-2 思维链构建类工具链的输入数据、取数依赖与产出样本类型
| 招标文件所列输入 | 在甲方的具体落点 | 取数与前置依赖 | 产出的推理样本类型 |
|---|---|---|---|
| 行业知识片段 | 刮板输送机选型校核知识、链条安全系数口径、工作面类型分化规则 | 由文档结构解析工具链(工具 5)输出的章节级片段 | 知识推理类 |
| 工艺规程 | 备料分厂 28 道工序字典、加工方法分档规则、中性层系数表 | 需工艺部门确认正式工序字典版本 | 工艺判断类 |
| 设备手册 | 刮板输送机安装使用维护手册、减速器与电机说明书 | 企业文档系统只读导出 | 知识推理类、故障分析类 |
| 故障案例 | 远程运维平台报警日志与 SOS 服务工单的配对记录 | 需报警与维修事实的事件级配对,缺口须回填 | 故障分析类 |
| 质量检验记录 | 质量管理系统检验记录、交检拍照、不合格品处置票 | 缺陷描述为文字,与工艺参数未关联 | 质量问题归因类 |
| 安全制度 | 企业安全管理制度、作业规程、安全技术措施 | 协同办公系统文档只读导出 | 安全合规判断类 |
| 专家题库 | 由领域专家按场景编制的问题与标准答案集 | 本项目新建,随标注工作同步积累 | 五类通用,兼作基准测试候选 |
| 业务场景模板 | 六个专业场景与五个通用场景的任务描述模板 | 与场景验证方案共用一套场景定义 | 五类通用 |
| 提示词模板 | 本工具链自建并版本化管理的思维链提示词库 | 工具链自身资产 | 五类通用 |
产出侧统一为一种样本结构(见 2.3.4 节的字段定义),按推理样本类型打标签分流:工艺判断类与质量问题归因类主要进入产品工艺设计、制造过程、质量三个数据域的指令微调集,故障分析类进入制造过程与质量域,知识推理与安全合规判断类覆盖四个数据域。同一问题的多条推理路径经自一致性筛选后,优选路径进指令微调集,被淘汰但仍可读的路径与优选路径配对后进偏好数据集。这是偏好数据 6.6 万组的主要来源之一,不另设生产线。
招标文件要求支持按业务场景、任务类型、难度等级、输出格式和推理深度配置思维链提示词模板,并支持模板版本管理、变量注入、批量渲染、灰度发布和回滚。
模板是本工具链的核心可配置资产,也是样本质量的主要变量。工具链把模板拆成五个配置维度与一组可注入变量,模板本体只写推理结构与输出约束,业务事实一律通过变量注入,这样同一套模板可以在四个数据域之间复用,换域只换变量源。五个维度的取值口径如表 2-3。
表 2-3 思维链提示词模板的五个配置维度
| 维度 | 取值 | 对样本的影响 | 配置依据 |
|---|---|---|---|
| 业务场景 | 产品选型、板材备料、库存控制、热处理、焊接、装备健康诊断,以及问制度、问技术、问标书、问数据、合同合规审查 | 决定注入哪一类背景材料与术语表 | 与场景验证方案的场景定义一致 |
| 任务类型 | 知识推理、故障分析、工艺判断、质量问题归因、安全合规判断 | 决定推理骨架与答案依据的形式 | 招标文件所列五类 |
| 难度等级 | 一级(单跳事实)、二级(两跳关联)、三级(多约束校核)、四级(证据冲突下的判断) | 决定推理步数区间与是否注入干扰材料 | 按基准测试集难度分层需要设定 |
| 输出格式 | 纯文本步骤、带编号步骤、JSON 结构化步骤、步骤加证据引用 | 决定解析器与校验规则 | 按下游训练任务的格式要求 |
| 推理深度 | 浅(2–3 步)、中(4–6 步)、深(7 步以上并允许回溯) | 决定最大长度与停止条件 | 按任务类型与难度等级联动设定 |
变量注入支持三类来源:知识库检索结果(由工具 4 提供)、结构化业务记录字段(如工序字典项、物料主数据字段),以及上一轮生成的中间结果。注入前做长度预算与缺失校验,必填变量缺失时任务不进生成队列,直接落入待料清单并给出缺哪个字段,避免生成一批背景材料为空的废样本。
模板版本管理按"草稿—评审—灰度—全量—归档"五态推进。每个模板有唯一标识与递增版本号,修改模板必产生新版本,不允许原地覆盖;样本上记录的是模板标识加版本号,因此任何一条历史样本都能复原出当时用的是哪一版提示词。
灰度发布按批次比例放量,默认先在 5% 的待生成任务上试跑一轮,比对灰度批与基线批在自一致性通过率、事实匹配率、人工抽检合格率三项指标上的差异;三项中有两项不低于基线,方可放量至全量。回滚是把当前生效版本指回上一个稳定版本,已生成的样本不删除,改为标记"由已回滚模板版本生成"并进入复核队列——模板出了问题,样本的处置由人来定,工具不替人做删除决定。
2-2 思维链提示词模板的生命周期与灰度回滚机制
图 2-2 思维链提示词模板的生命周期与灰度回滚机制。数据来源:招标文件 3.2.3.2.1 节第(1)条;放量判据中的三项指标口径与本章 2.3.5 节自一致性筛选判据一致。
招标文件要求支持调用一个或多个大模型批量生成带推理过程的数据样本,并能够配置采样温度、候选条数、最大长度、停止词、输出 Schema、失败重试和批量任务调度策略。
生成作业以"批次"为管理单位。一个批次绑定一套模板版本、一份输入清单、一组生成参数和一个或多个模型标识,批次创建后参数即冻结,中途改参数须新建批次。这样做是为了让批次成为可比较的单位,否则事后无法判断某批样本的质量差异来自模板还是来自参数。生成参数的配置项与默认取值如表 2-4。
表 2-4 批量生成的参数配置项
| 参数项 | 取值范围 | 本项目默认口径 | 设置理由 |
|---|---|---|---|
| 模型标识 | 经统一模型网关注册的可用模型,支持单模型或多模型并行 | 按任务类型配置 2–3 个模型并行生成 | 多模型并行是自一致性投票的前提,也避免单一模型的系统性偏差 |
| 采样温度 | 0–1.2 | 工艺判断与安全合规判断类 0.3–0.5,故障分析与知识推理类 0.6–0.8 | 强约束任务降温保稳定,开放性任务升温保路径多样 |
| 候选条数 | 1–8 | 三级以下难度 3 条,三级及以上 5 条 | 投票需要奇数条以上候选,难题多采样 |
| 最大长度 | 按模型上下文窗口与推理深度联动设定 | 浅 1024、中 2048、深 4096 Token | 与推理深度配置对应,防止深度推理被截断 |
| 停止词 | 可配置多组 | 输出结束标记、下一问题起始标记、重复步骤标记 | 截断失控输出,减少后处理成本 |
| 输出 Schema | JSON Schema 定义,按输出格式维度选取 | 结构化步骤格式使用统一 Schema(见表 2-7) | Schema 校验失败即判本次生成无效 |
| 失败重试 | 重试次数、退避间隔、是否降级 | 最多 3 次,指数退避,第 3 次允许降级到备用模型 | 网关限流与瞬时失败是批量作业的常态 |
| 调度策略 | 并发度、优先级、配额、时间窗 | 按数据域设配额,夜间窗口跑大批量,白天留并发给人机协同任务 | 与标注与复核作业错峰,避免占满网关配额 |
调度侧按"数据域—任务类型—批次"三级队列组织。每个数据域有独立的 Token 配额与并发上限,防止某一域的大批量作业把网关占满;批次内按输入清单分片,分片失败只重跑该片,不重跑整批。作业状态落库,可按批次查询进度、成功数、失败数、失败原因分布。失败原因按网关侧(限流、超时、拒答)、格式侧(Schema 校验不通过、字段缺失)、内容侧(空输出、重复输出、答案与锚不符)三类归并统计,这份分布本身就是模板与参数调优的依据。
招标文件要求输出的结构化推理样本至少包含问题、背景材料、推理过程、答案和依据五项。推理过程与依据这两项的生成不能交给模型自由发挥,否则同一类任务的样本在步数、颗粒度与引用密度上会散成一片,后续的步骤级核验与依据覆盖率都无从计算。本工具因此在生成前先做任务分解,在生成后逐步校验依据引用。
任务分解是把一个问题拆成有序的子目标序列,再由子目标驱动推理步骤。分解骨架按任务类型预置,不由模型自定;难度等级决定子目标数的区间,三级及以上的任务允许出现条件分支子目标(如"若孔位落在弯曲影响区则改排序")。分解结果写入样本的 `decomposition` 字段,每个子目标带编号、目标描述与期望产出类型;推理步骤上的 `goal_id` 指回其所属子目标,使步骤与子目标可逐一对齐。必备子目标缺失的样本不进入筛选环节,直接退回重新生成,重新生成两次仍缺失的转人工补充。五类任务类型的分解骨架如表 2-5。
表 2-5 五类任务类型的分解骨架与必备子目标
| 任务类型 | 分解骨架 | 必备子目标 | 子目标数区间 | 必备子目标缺失时的处置 |
|---|---|---|---|---|
| 工艺判断 | 要素识别 → 工序归属 → 约束校核 → 顺序确定 → 参数回写 | 约束校核、顺序确定 | 一、二级 3–4;三、四级 4–6 | 退回重新生成;两次仍缺则转人工补充子目标后再生成 |
| 故障分析 | 现象归纳 → 前提确认 → 候选部件枚举 → 证据比对 → 部件定位与处置 | 候选部件枚举、证据比对 | 一、二级 3–5;三、四级 5–7 | 同上;候选部件仅一项的判为枚举不成立,一并退回 |
| 质量问题归因 | 不合格项定位 → 判定依据检索 → 工序关联 → 成因候选 → 处置路径 | 判定依据检索、成因候选 | 一、二级 3–4;三、四级 4–6 | 同上 |
| 安全合规判断 | 作业情形归类 → 适用条款检索 → 条款逐项比对 → 合规结论 → 整改要求 | 适用条款检索、条款逐项比对 | 一、二级 3–4;三、四级 4–5 | 同上;未检出适用条款的转人工,不以"无相关规定"收尾 |
| 知识推理 | 问题要素拆解 → 知识点检索 → 关系推导 → 结论归纳 | 知识点检索、关系推导 | 一、二级 2–4;三、四级 4–6 | 同上 |
表 2-5 数据来源:任务类型取自招标文件 3.2.3.2 节第(1)条所列五类;难度等级与子目标数的联动口径见本章表 2-3 难度等级一行。
依据引用的四项约束如表 2-6。其中第四项是本工具的防漏口径:算术换算、格式转换与对上一步结论的复述这三类步骤本来就无外部依据可引,若不设豁免,模型会为凑引用而给算术步骤挂一条不相干的出处;若豁免不加限定,无依据推理又会从这个口子出去。做法是把豁免类型封闭为上述三类,豁免须在 `ref_exempt` 字段写明类型,豁免步骤计入依据覆盖率的分母扣减项并在批次报告中单列占比,占比超过设定上限的批次回查分解骨架是否把实质判断拆成了换算步骤。
表 2-6 依据引用的四项约束与校验
| 约束项 | 口径 | 校验方式 | 不满足时的处置 |
|---|---|---|---|
| 引用定位粒度 | 引用须定位到源文档标识、版本、页码与原文字符区间,口径同本章表 2-41 的溯源字段 | 逐条回查片段库,校验字符区间在该版本文档内有效 | 定位无效的引用项判废,该步骤转未接地 |
| 主辅依据分列 | 一个步骤引用多项时,分主依据与辅依据;主依据有且仅有一项,为该步结论的直接出处 | 校验主依据项数等于一 | 主依据缺失或多于一项的步骤退回重新生成 |
| 应引用步骤的覆盖 | 含判据、数值、标准号或条款的步骤为应引用步骤,由规则识别 | 应引用步骤中有主依据的占比,即依据覆盖率(见本章表 2-22 第二项) | 覆盖率低于批次基线的,该批次转人工抽检并回查模板的引证要求 |
| 免引用的封闭豁免 | 仅算术换算、格式转换、对上一步结论的复述三类可免引用,须在 `ref_exempt` 字段写明类型 | 校验豁免类型在三类之内;统计豁免步骤占比 | 豁免类型不在三类之内的判为未接地;豁免占比超上限的批次回查分解骨架 |
表 2-6 数据来源:依据项与字段口径依招标文件 3.2.3.2.1 节第(3)条对结构化推理样本字段的要求;覆盖率的计算口径见本章表 2-22。
分解与引用之后的三道判据不在本小节重复:推理步骤的中间核验与首错定位见 2.3.6,同一问题多条路径的答案一致性见 2.3.5 表 2-8 第一行,错误推理的剔除与淘汰路径的去向见 2.3.5 末段。四者合起来构成推理样本从生成到入池的完整判定链。
招标文件要求输出结构化推理样本,样本字段至少包含问题、背景材料、推理步骤、最终答案、答案依据、模型名称、提示词版本、生成批次和质量状态。
工具链按表 2-7 定义样本结构。表中前九项是招标文件明文要求的字段,其余为满足血缘、追溯与后续加工所需的补充字段;补充字段与通用接口、追溯与验收要求一节的血缘字段规范保持一致,不另立口径。
表 2-7 结构化推理样本字段定义
| 字段 | 类型 | 是否招标文件明文要求 | 说明 |
|---|---|---|---|
| sample_id | 字符串 | 否(血缘必需) | 全局唯一样本标识,按数据域与批次编码 |
| question | 文本 | 是 | 问题。由专家题库、场景模板渲染或从业务记录反向构造 |
| context | 文本数组 | 是 | 背景材料。每项带来源文档标识、章节标题与页码 |
| reasoning_steps | 对象数组 | 是 | 推理步骤。每步含步序号、步骤文本、本步引用的背景材料项、本步结论 |
| final_answer | 文本 | 是 | 最终答案 |
| answer_evidence | 对象数组 | 是 | 答案依据。指向背景材料项或外部文档的定位信息 |
| model_name | 字符串 | 是 | 模型标识。记网关注册标识与版本号,不记商业型号 |
| prompt_version | 字符串 | 是 | 提示词模板标识与版本号 |
| batch_id | 字符串 | 是 | 生成批次标识 |
| quality_status | 枚举 | 是 | 质量状态:待筛选/自一致性通过/自一致性淘汰/待人工复核/已修订/已采纳/已废弃 |
| task_type | 枚举 | 否 | 任务类型,取表 2-3 五类 |
| scene_code | 字符串 | 否 | 业务场景编码 |
| difficulty | 枚举 | 否 | 难度等级,一至四级 |
| consistency_score | 数值 | 否 | 自一致性得分,见 2.3.5 节 |
| sampling_group | 字符串 | 否 | 同一问题的多路采样分组标识,用于投票与偏好对构造 |
| lineage | 对象 | 否 | 血缘信息:原始数据标识、处理链路、工具版本、规则版本、质检结果、审核状态 |
| audit_trail | 对象数组 | 否 | 修改与审核留痕,由工具 2 写入 |
每步推理显式记录"本步引用了哪一项背景材料",这一设计是为了让事实匹配度可计算:如果某一步的结论里出现了背景材料中没有的具体数值或型号,规则校验即可直接标出。这比事后用模型整体打分更可靠,也更便于向评审与验收方解释判据。
一条工艺判断类样本的完整样例如下(取自板材备料场景,字段值已按脱敏规则处理):
```json { "sample_id": "GYSJ-CL-2027Q1-000812", "task_type": "工艺判断", "scene_code": "BLBL-01", "difficulty": "三级", "question": "某刮板输送机中部槽封板零件,材料 Q355B,板厚 16mm,轮廓含两处 R40 圆弧过渡,图纸标注一处 45°坡口(坡口面粗糙度 切割面质量按等级评定)、四个 φ22 通孔、一条压弯线(折弯角 90°)。请在备料分厂工序字典范围内确定工序顺序,并说明判断依据。", "context": [ {"doc_id": "GYZD-BL-V3", "title": "备料分厂工序字典(28 道)", "page": 2, "text": "工序字典含下料类 6 道、成形类 5 道、孔加工类 4 道、坡口类 3 道、热处理类 3 道、表面类 4 道、辅助类 3 道……"}, {"doc_id": "GYGC-BL-07", "title": "板材备料工艺规程·压弯件展开长计算", "page": 11, "text": "压弯件展开长按中性层公式计算,中性层系数按板厚与折弯半径分档查表……"}, {"doc_id": "GYGC-BL-07", "title": "板材备料工艺规程·工序排序禁止条件", "page": 14, "text": "压弯工序之后不得安排影响弯曲区域尺寸精度的孔加工;坡口加工宜在轮廓成形之后……"} ], "reasoning_steps": [ {"step": 1, "text": "该零件为板类件,含轮廓、孔、坡口、压弯四类加工要求,须先确定各类要求的工序归属。", "refs": ["GYZD-BL-V3#p2"], "conclusion": "涉及下料类、孔加工类、坡口类、成形类四类工序。"}, {"step": 2, "text": "板厚 16mm,本件轮廓须与后续坡口加工衔接,对切割面垂直度与粗糙度有要求;按工序字典中下料类的方法分档规则,该板厚区间且对切割面质量有要求的,取等离子数控切割——其切割面质量等级与热影响区宽度优于火焰切割,单件工时亦更短。火焰数控切割在本板厚同样可用,分档规则将其列为切割面质量要求较低时的可选方法。", "refs": ["GYZD-BL-V3#p2"], "conclusion": "下料工序取等离子数控切割。"}, {"step": 3, "text": "工艺规程规定压弯之后不得安排影响弯曲区域尺寸精度的孔加工,四个 φ22 通孔中须判断是否落在弯曲影响区。按图纸孔位标注,四孔均距压弯线 60mm 以上,超出板厚 3 倍的影响区范围。", "refs": ["GYGC-BL-07#p14"], "conclusion": "孔加工可安排在压弯之前。"}, {"step": 4, "text": "规程规定坡口加工宜在轮廓成形之后,本件轮廓由下料工序一次成形,故坡口工序排在下料之后。坡口位于本件直边段、不在弯曲影响区内,排在压弯之前或之后均不改变坡口面角度;此处排在压弯之前,理由是压弯后工件呈折弯状态,坡口机装夹与行走受限,平板状态下加工更易保证角度一致性。", "refs": ["GYGC-BL-07#p14"], "conclusion": "坡口工序排在下料与孔加工之后、压弯之前。"}, {"step": 5, "text": "压弯工序需按中性层公式换算展开长,板厚 16mm、折弯角 90°,中性层系数按分档表查取后代入计算,展开长作为下料尺寸回写至下料工序的材料定额。", "refs": ["GYGC-BL-07#p11"], "conclusion": "压弯排在末位,并向下料工序回写展开长。"} ], "final_answer": "工序顺序为:等离子数控切割下料(按展开长下料)→ 钻孔(四个 φ22 通孔)→ 坡口加工(45°,切割面质量按 GB/T 15579 等级评定)→ 压弯(90°)。展开长按中性层公式计算后回写下料工序材料定额。", "answer_evidence": [ {"doc_id": "GYZD-BL-V3", "page": 2, "quote": "下料类方法分档规则"}, {"doc_id": "GYGC-BL-07", "page": 14, "quote": "压弯工序之后不得安排影响弯曲区域尺寸精度的孔加工"}, {"doc_id": "GYGC-BL-07", "page": 11, "quote": "压弯件展开长按中性层公式计算"} ], "model_name": "gw-model-a@2027.01", "prompt_version": "COT-GYPD-v2.3", "batch_id": "B-2027Q1-CL-0042", "quality_status": "自一致性通过", "consistency_score": 0.84, "sampling_group": "SG-000812", "lineage": {"source": ["DWG-XXXXXX", "GYK-XXXXXX"], "pipeline": "工具5→工具4→工具1", "tool_version": "cot-gen-1.4.0", "rule_version": "BL-RULE-v1.2", "qc_result": "pass", "audit_status": "待专家复核"} } ```
样例核对要点:背景材料取自甲方工艺文件并带出处;第 3 步含弯曲影响区阈值判断(工艺卡通常不落盘);答案含「向下料工序回写展开长」,覆盖业务闭环而非单结论。样例中的文档标识与图号按脱敏规则处理,正式生产时由平台按真实标识填充。
招标文件要求支持多路采样和自一致性投票,对同一问题生成多条推理路径,并按答案一致性、推理完整性、事实匹配度和规则约束筛选高可信样本。
四项判据各管一件事,合起来才构成筛选。答案一致性管"结论是否稳定",推理完整性管"过程是否完整",事实匹配度管"有没有编造",规则约束管"是否违反本企业的硬规定"。四项的计算口径、判据与不达标处置如表 2-8。
表 2-8 自一致性筛选的四项判据与处置
| 判据 | 计算口径 | 通过条件(初始基线) | 不达标处置 |
|---|---|---|---|
| 答案一致性 | 同一采样组内各路径最终答案按任务类型规范化后聚类,取最大簇占比 | 多数簇占比不低于 0.6;枚举型答案要求完全一致,数值型答案允许在规程规定公差内视为一致 | 占比在 0.4–0.6 之间转人工复核;低于 0.4 判问题本身表述不清,退回题目修订 |
| 推理完整性 | 步数落在模板设定的深度区间内,且每步均有非空结论、无跳步引用 | 步数在区间内且跳步引用数为 0 | 步数越界或存在跳步引用的路径直接淘汰,不进复核 |
| 事实匹配度 | 推理步骤与答案中出现的实体、数值、型号、标准号,逐一回查背景材料与知识库;可回查命中的占比 | 命中率不低于 0.9,且不存在"背景材料中无此数值"的硬性不匹配项 | 存在硬性不匹配项直接淘汰;命中率 0.8–0.9 转人工复核 |
| 规则约束 | 按场景规则库校验,如备料工序排序禁止条件、安全制度中的禁止性条款、热处理工艺参数窗口 | 无规则冲突 | 任一规则冲突直接淘汰,并把冲突条目记入样本的淘汰原因 |
四项判据的阈值在首批 2,000 条样本的人工全检结果上校准,校准方法是以人工判定为真值,调阈值使漏判(本应淘汰而通过)优先于误判(本应通过而淘汰)得到控制。本环节的承诺落在可实测、可追溯的三条上:首批校准后漏判率给出实测值并写入质量报告,此后每月以 200 条随机抽样复核一次,漏判率逐步接近校准目标;单月实测漏判率高于校准值 50% 以上时,该月样本批次整体转人工复核,并回查是模板、模型版本还是规则库变更导致。这是本工具链的回退路径。
通过筛选的路径标记为"自一致性通过",进入人机协同修订或直接入待采纳池。被淘汰的路径不删除:淘汰原因为"答案一致性不足"或"推理完整性不足"但事实匹配无硬性问题的路径,与同组优选路径配对构成偏好数据的负样本;因事实不匹配或规则冲突淘汰的路径另池存放,作为数据生成控制与评测类工具链的问题样本库输入。
2-3 多路采样与自一致性筛选的处置流向
图 2-3 多路采样与自一致性筛选的处置流向。数据来源:招标文件 3.2.3.2.1 节第(4)条;四项判据口径与阈值见本章表 2-8。
自一致性筛选解决的是「几条推理路径的最终答案是否互相一致」。它管用,但它看不见一件事:过程错而结论对。 一条推理链在第三步引用了错误的工艺窗口,后面两步又恰好把偏差抵消回去,最终答案与其他路径一致,于是这条链被判为高可信并入库。对通用语料来说这类样本危害有限;对本项目来说它是危险的——一条过程错误的工艺推理样本,教给模型的是一套错的判断依据,而这个错误在训练中不会被摊薄,只会被学会。备料二十八道工序的排序规则、压弯件展开长的中性层取值、热处理的保温时间档位,这些地方的过程错误尤其不能靠答案一致来兜。
因此本工具在路径级判据之上,再加一层步骤级判据。
步骤级可信度怎么得出。 做法不依赖人工标注,也不依赖另训一个判分模型,用的是推理链自身的可续写性:把一条链按步骤切开,从某一步骤之后截断,让模型从该处续写若干次,统计这些续写能到达正确答案的比例。这个比例就是该步骤的后续成功率——若从第三步往后怎么续都走不到正确答案,说明第三步本身已经偏了;若从第三步往后多次续写大多能到达正确答案,说明第三步是可靠的。逐步骤算出后续成功率,即得到整条链的步骤级可信度分布。
筛选规则随之升级为两条同时成立:答案在多条路径间一致,且链上没有低分步骤。只满足前者的链不再直接入候选集,而是转入人工复核队列,并在界面上标出低分步骤的位置。
「低分」要给到门限,否则这一层无从核对。步骤级判分的参数与分档如表 2-9。门限取值在首批标定集上校准,校准方法与本章 2.3.5 的四项判据一致:以专家逐步骤判定为真值,调门限使「把走偏的步骤判成可信」这一类错误优先得到控制。
表 2-9 步骤级可信度的判分口径与分档
| 项 | 口径 | 首期取值 | 说明 |
|---|---|---|---|
| 截断位置 | 按步骤树的节点序逐步截断,不按字符位置 | 全部可步骤化节点 | 切分不成立的链退回路径级判据,不强行切分 |
| 每探测点续写条数 | 从同一前缀独立续写,生成参数与本批一致 | 4 至 8 条 | 与本章 2.3.2 的调度与成本登记共用一套计量 |
| 到达正解的判定 | 续写所得最终答案按任务类型规范化后,与本采样组多数簇比对 | 同表 2-8 答案一致性口径 | 口径复用,避免同一事实两处标准 |
| 步骤后续成功率 | 该探测点续写中到达正解的条数占比 | 取值 0 至 1 | 逐节点计算,按节点序排列 |
| 可信档 | 后续成功率不低于高门限 | 不低于 0.75 | 该步骤予以保留 |
| 可疑档 | 介于两门限之间 | 0.35 至 0.75 | 标记待核,不单独淘汰 |
| 有害档 | 低于低门限,且前一步骤处于可信档 | 低于 0.35 | 判为推理走偏的起点候选 |
表 2-9 数据来源:判定口径复用本章表 2-8 答案一致性的规范化与多数簇定义;门限取值为首期设定,属待验证目标,随标定集扩充复标,复标记录入库。
首错步骤怎么定位。 知道「链上有低分步骤」还不够,要指出是哪一步最先出错,专家才省力。做法是在链上做二分:先在中点处截断续写,若续写成功率仍高,说明错误在后半段;若已经偏低,说明错误在前半段;在确定的那一半里继续二分。链长为若干步时,定位所需的采样轮次只随链长的对数增长,开销可控。定位结果写入输出记录的首错步骤字段,连同该步骤所依赖的背景材料片段一并传给人机协同标注工具(见 2.4 节)。
有三种情形不输出首错步骤,三者的去向不同,分别如下。链上全部步骤处于可信档,判为无首错,按整条可信处理;后续成功率曲线出现多次升降,判为多处错误,整条链转人工且不派发单步工位,因为在多处出错的链上指定一个单步会把复核人的注意力引偏;步骤切分不成立,退回路径级判据。不输出首错步骤本身也是一种结论,它决定样本去向,因此要写入定位状态字段而不是留空。
本层能力在样本上新增的字段如表 2-10。字段随样本入库并纳入血缘,命名口径与本章表 2-7 的字段定义一致。通用要求的血缘条款要求每条样本可关联其处理链路与质检结果,步骤级判分与首错定位的结果因此逐项定义为样本字段,由字段承载而非由文字表述承载。
表 2-10 步骤级判分与定位在样本上新增的字段
| 字段 | 类型 | 必填 | 含义 |
|---|---|---|---|
| `step_scores` | 数组 | 否 | 各步骤的后续成功率与所属档位,按节点序排列;未判分时为空 |
| `first_error_step` | 整数 | 否 | 首错步骤的节点序号;无首错或未定位时置空,由下一字段说明原因 |
| `locate_state` | 枚举 | 是 | 定位状态:已定位/无首错/多处错误/不可步骤化/未判分 |
| `locate_confidence` | 数值 | 否 | 定位置信度,取相邻两次二分判断的成功率落差 |
| `step_sampling_cost` | 整数 | 是 | 本条样本在判分与定位上实际消耗的续写条数,用于成本统计 |
表 2-10 数据来源:字段命名与类型口径依本章表 2-7 公共字段定义;必填项依通用要求中处理链路与质检结果须可关联的条款。
这一层的三项作用都落在可度量的事情上。
第一条,它把专家的工作从「读完整条链再判断对错」降到「看一个被指出来的步骤」。一条二十步的工艺推理链,专家通读一遍要几分钟,而定位到首错步骤后只需确认一步。专家处理时长是可以实测的,这是降本的直接证据,而不是一句「提高效率」。
第二条,它顺带产出本项目最干净的偏好数据。强化学习偏好数据集要六点六万组,偏好对的信号质量取决于「好与坏的差别是否明确」。用整条路径的优劣配对,好坏差别混在二十步里;用同一前缀下的好步骤与坏步骤配对——前缀完全相同,只有这一步不同,一个走得通一个走不通——信号就干净得多。这类步骤级偏好对由本工具的采样过程自然产生,不需要额外的构造工序。
步骤级配对与路径级配对同指偏好数据集的六点六万组,两者的分工与计数规则如下。路径级配对取自整条路径的优选与淘汰(见 2.3.5),刻画的是结论与整体推理质量的差异;步骤级配对取自同一前缀的分叉,刻画的是单步判断的差异。两类在样本上以配对类型字段区分,同一条路径不得同时作为两类配对的来源重复入库;偏好数据集的规模按配对条数一次计数,不叠加。 各工具对六点六万组的贡献比例以本章 5.2 节的对账表为准。
第三条,它可实现且不依赖训练。整套做法只需要多次采样与一个判分依据,不需要先训练一个过程判分模型。若后续具备训练条件,可以把采样得到的步骤分作为监督信号,蒸馏成一个轻量的过程判分模型,把采样开销进一步降下来;但这是可选的后续优化,不是本期的前提。
本层的三处实现口径如下。 一是步骤切分:按换行、序号标记与显式步骤词三重规则切分,三重都切不开的链标记为不可步骤化,退回路径级判据处置——不假装所有链都结构整齐。二是续写采样数:首期取每个探测点四到八次,二分定位的总开销约为链长的对数倍乘以每次采样数,这个口径写入成本统计,与本章 2.3.2 的调度与成本登记共用一套计量。三是事实匹配度的判定:步骤中引用的工艺参数、标准条款与设备档案,经知识库检索核对;检索不到对应证据的步骤判为不可验证,而不是判为错误——两者处置不同,不可验证转人工确认,错误直接淘汰。把这两种情形混为一谈,会把知识库覆盖不全的责任记到样本质量上。
第三项配套做法是采样预算按难度自适应。 候选条数不固定在一个值上:先采四条,若答案已高度一致即停止,不一致则逐步加采至上限。这样同一算力下能覆盖更多问题,预算也自动流向难题。每条样本登记本次实际用掉的采样预算,用于成本统计。
与此配套的还有一条必须讲明的限制:步骤级判分不对全部样本开启。 若全量开启,单条样本的生成开销成倍上升,而多数样本并不需要——答案高度一致、事实匹配命中率高的链,按表 2-8 的口径直接采纳即可。触发范围因此按表 2-8 的既有判据划定:答案一致性落在人工复核带内(多数簇占比 0.4 至 0.6)、或事实匹配度处于中档(命中率 0.8 至 0.9)、或任务难度为三级及以上的样本进入步骤级判分;其余样本不判分,其定位状态记为「未判分」并按答案级口径采纳。
这条规则把增量算力投在最可能出问题的样本上,并使步骤级判分的开销可按批次预先估算、事后核对——每条样本登记本次实际消耗的续写条数,批次报告按任务类型汇总,与 2.3.2 的成本统计合并出账。不加触发条件的全量判分在产能上不可行,触发范围因此按上述三项条件划定并随批次实测复核。
表 2-11 步骤级判据的三项首期基线、度量方式与回退
| 判据 | 首期基线 | 度量方式 | 未达基线时的回退 |
|---|---|---|---|
| 步骤级判分与专家判断的一致率 | 首期按不低于 75% 设定,随标定集扩充趋向改善 | 抽取一批链由专家逐步骤判定,与工具的步骤分比对,按步骤计一致率 | 低于门限则步骤分仅作提示不作筛选依据,筛选退回答案级自一致性口径 |
| 首错步骤定位的命中率 | 首期按不低于 70% 设定 | 专家确认的首错位置与工具指出位置相同的比例;相邻一步计为部分命中并单列 | 低于门限则界面只高亮低分步骤集合、不声称首错位置,避免误导复核 |
| 启用步骤级筛选后偏好对的人工采纳率 | 不低于路径级配对的采纳率水平 | 两种来源的偏好对各抽一批送专家判定,比较采纳率 | 不改善则偏好对仍按路径级配对生成,步骤级配对转为备选来源 |
表 2-11 数据来源:判据定义依招标文件 3.2.3.2.1 节第(4)条对多路采样与自一致性筛选的要求;三项基线为本方案设定的首期目标,属待验证目标,随首批实测结果调整后报招标方确认。三项中任一未达门限,按表中回退执行,均退回本章 2.3.5 的路径级口径,不影响本工具的交付完整性。
2-4 步骤级可信度、首错定位与三条分流
图 2-4 步骤级可信度、首错定位与三条分流。数据来源:筛选判据依招标文件 3.2.3.2.1 节第(4)条;步骤级判据的基线与回退见表 2-11;偏好对的用途与规模口径见数据集建设分节强化学习偏好数据集一节。
把一个批次从问题清单推到可入集的推理样本,中间始终要回答同一件事:这一条样本是在哪一步被判定为可用的;若它最终不可用,又是在哪一步、按哪条判据被拦下的。七步的划分由此而来——生成与判定分开,判定与分流分开,分流与归档分开,使每一条样本的去向都能回指到某一步的质检点,而不是笼统归因于“模型效果不好”。各步的取值也不是流程环节另设的:第 3 步的生成参数取自本章表 2-4,第 4 步的字段取自表 2-7,第 5 步的判据与阈值取自表 2-8;流程负责的是把这些已定的口径按先后次序串起来,并规定每一步失败时作业往哪里走。
表中“质检点”一列是判据,“产出”一列是该步留下的证据,两列合起来构成逐步可查的作业轨迹;关键的是第 5 步与第 6 步——筛选在第 5 步完成,样本入采纳池还是转人工在第 6 步分流,这两步决定了后续人力投向何处。
工具 1 的一次完整作业按七步推进,各步的输入、动作、产出与质检点如表 2-12。表中"异常处置"一列给出每一步失败时的去向,保证作业不会在中途静默停下。
表 2-12 大模型自生成思维链工具链的处理流程
| 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 |
|---|---|---|---|---|---|
| 1 | 场景编码、任务类型、问题来源 | 组装输入清单:从专家题库取题,或由业务记录反向构造问题 | 待生成问题清单 | 问题表述完整性、是否与评测集重复 | 与评测集重复的问题剔除并记录;表述不完整的退回题目修订 |
| 2 | 问题清单、模板版本 | 检索背景材料(调用工具 4 检索接口),做长度预算 | 带背景材料的渲染输入 | 必填变量是否齐备、材料长度是否超限 | 必填变量缺失的条目入待料清单,不进生成队列 |
| 3 | 渲染输入、生成参数、模型集合 | 多模型多路采样生成 | 原始生成结果 | Schema 校验、空输出与重复输出检测 | 校验失败按重试策略重试;三次仍失败记入失败清单并统计原因 |
| 4 | 原始生成结果 | 解析为结构化样本,写入表 2-7 各字段与血缘 | 结构化推理样本 | 字段完整性、步骤引用指向是否有效 | 引用指向无效的样本直接判废并计入格式侧失败 |
| 5 | 同一采样组的多条样本 | 按表 2-8 四项判据筛选 | 通过/淘汰/待复核三类 | 四项判据实测值与基线对照 | 判据实测值偏离基线超限时暂停该批放量,先回查模板与模型版本 |
| 6 | 通过与待复核样本 | 分流:通过样本入采纳池,待复核样本派发至工具 2 | 分流结果 | 分流比例是否异常 | 待复核比例超过设定上限时降低生成温度或提高材料检索覆盖后重跑 |
| 7 | 批次全部结果 | 生成批次质量报告,更新数据卡 | 质量报告、淘汰原因分布 | 报告字段完整性 | 报告缺项不得关闭批次 |
第 2 步约定:背景材料由检索链路提供并带出处,不由生成模型自行回忆;材料已知,方可做事实匹配校验。
工具 1 对外提供的接口如表 2-13。接口风格、鉴权、异常重试与状态回调遵循通用接口、追溯与验收要求一节的统一规范。
表 2-13 大模型自生成思维链工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 模板注册与版本发布 | POST | 模板本体、五个维度取值、变量清单、目标发布态 | 模板标识、版本号、校验结果 |
| 模板批量渲染预览 | POST | 模板标识与版本、变量样本集、渲染条数 | 渲染结果样例、长度预算、缺失变量清单 |
| 生成批次创建 | POST | 输入清单、模板版本、生成参数(表 2-4)、模型标识集合 | 批次标识、预估 Token 消耗、排队位置 |
| 批次状态查询 | GET | 批次标识 | 进度、成功/失败数、失败原因分布 |
| 样本结果获取 | GET | 批次标识、质量状态过滤、分页或流式 | 符合表 2-7 的样本集,支持 JSON/JSONL/Parquet |
| 自一致性筛选触发 | POST | 采样组范围、判据阈值覆盖项 | 筛选结果统计、各判据淘汰数 |
| 批次重试 | POST | 批次标识、仅重试失败分片标志 | 新分片状态 |
| 质量报告导出 | GET | 批次/来源/任务类型/数据集版本维度 | 质量指标与问题样本清单 |
验收口径:我方提供可运行的演示样例一套(含模板、输入清单、生成参数与完整产出样本)、输入输出样例各不少于 20 条、配置说明与接口说明文档,以及在甲方环境中跑通的测试报告。测试报告须给出首批校准后的四项判据实测值、人工全检一致率,以及一次完整的模板灰度与回滚演练记录。
入参契约要回答的是对接方最先遇到的问题:发起一次生成作业,最少要交代清楚哪几件事,产出的样本日后才可被复算。表 2-14 的“必填”一列即按这条线划定——模板版本、生成参数、背景材料来源与结果落点四项缺一不可,它们分别决定了样本的提示词口径、采样行为、事实依据与归属。其中背景材料来源之所以列为必填,是因为表 2-8 的事实匹配度判据要把样本里的实体、数值、型号与标准号逐一回查材料,材料来源不确定,该判据就无从计算,样本也就谈不上可判废。可选项则一律给出预置缺省:模型集合缺省取该任务类型的当前择优选用项,采样组条数与四项判据阈值缺省取当前标定值,对接方不了解标定细节时同样可以发起一次合规作业。
读这张表时,“必填”一列是受理门槛,“缺省与约束”一列给出未显式传参时的实际行为。贯穿其中的一条规则是传入项与解析项分离:模板本体、判据定义与模型品牌都不经接口传递,接口里出现的只有登记标识与版本号,样本因而可以凭标识反查当时生效的配置。
表 2-14 工具 1 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.input_list` | 引用或列表 | 是 | 业务问题清单引用,或问题标识集合 |
| `params.template_version` | 引用 | 是 | 思维链提示词模板版本;模板内容本身不经接口传递 |
| `params.generation` | 结构 | 是 | 生成参数,取值项见本章表 2-4 |
| `params.model_refs` | 列表 | 否 | 统一网关登记的模型标识与版本集合;缺省取该任务类型的当前择优选用项 |
| `params.sampling_group_size` | 整数 | 否 | 多路采样的每组条数,缺省按任务类型预置;大于 1 时自一致性筛选自动启用 |
| `params.consistency_criteria` | 结构 | 否 | 四项判据的阈值覆盖项(判据见本章表 2-8),缺省取当前标定值 |
| `params.context_source` | 引用 | 是 | 背景材料来源:由工具 4 提供的三元组集合或检索服务引用 |
| `output.dataset_ref` | 引用 | 是 | 结果落点 |
调用样例与受理返回:
```json { "client_request_id": "REQ-2027Q1-COT-0033", "selector": {"input_list": "QSET-PROCESS-2027Q1@v2"}, "params": { "template_version": "COT-GYPD-v2.3", "generation": {"task_type": "工艺判断", "difficulty": "三级", "max_steps": 8, "require_refs": true}, "model_refs": ["gw-model-a@2027.01", "gw-model-b@2026.12"], "sampling_group_size": 5, "consistency_criteria": {"answer_agreement_min": 0.6, "ref_hit_required": true}, "context_source": "DS-RAG-2027Q1/process@v3" }, "output": {"dataset_ref": "DS-SFT-2027Q1/cot", "formats": ["jsonl"]} } ```
```json { "task_id": "T-COT-002188", "accepted_at": "2027-02-20T01:40:12+08:00", "param_check": "passed", "batch_count": 24, "estimated_tokens": 41800000, "resolved_template_version": "COT-GYPD-v2.3", "idempotent_hit": false } ```
表 2-15 工具 1 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC01-101` | 模板版本已回滚或处于草稿态 | 参数类 | 所传版本、当前生效版本 | 不受理;使用已回滚版本的作业不予创建(口径见本章表 2-55 第 1 步同理) |
| `TC01-201` | 背景材料来源不可读或版本不存在 | 输入类 | 来源引用、失败原因 | 任务不启动;不以无背景材料的方式生成推理过程 |
| `TC01-301` | 模型网关限流或暂时不可用 | 执行类(批次级) | 失败批次、网关状态 | 按退避策略自动重试三次;仍失败的批次挂起,已完成批次结果照常可取 |
| `TC01-401` | 同一采样组内答案分歧超限 | 策略类 | 分歧分布、判据阈值 | 该组按表 2-8 判据处置,不取多数答案强行定稿 |
| `TC01-402` | 推理步骤引用不到依据 | 策略类 | 样本标识、缺失的引用项 | 该条不进入优选路径;是否保留为负样本按筛选判据决定 |
| `TC01-403` | 整批自一致性通过率骤降 | 策略类 | 通过率、与近期批次比对 | 批次挂起,检查模板版本与背景材料来源是否变化,不自动放行 |
接口层面可当场核对的点有两条:`model_refs` 回传的是网关登记标识与版本而不是品牌型号;构造一个模板版本为草稿态的请求,接口须在受理前返回参数类错误。质量口径仍按本章 2.3.8 节的验收口径执行。
模型自生成的推理路径即使通过了自一致性筛选,也只能说"几条路径互相不矛盾且没有明显编造",不能说"这就是本企业资深工程师的判断方式"。把前者变成后者,靠的是领域专家在步骤层面上动手改。本工具链提供的是改的工位、改的留痕与改完之后的去向,不是把专家的工作替掉。
招标文件要求支持人机协同标注流程,标注人员与领域专家可对模型生成的推理步骤进行新增、删除、合并、拆分、重排和重写,并保留修改前后差异。
推理步骤在工具内部按有序步骤树组织:每一步是一个节点,节点上挂步骤文本、引用的背景材料项与本步结论;合并与拆分会改变节点数,重排会改变节点序。六类编辑操作的语义与差异记录内容如表 2-16。操作类型按六类分别记录,不合并为一条"修改前后文本差异",原因是这些操作的分布本身是信号:如果某个场景的样本里"新增步骤"占压倒多数,说明提示词设定的推理深度偏浅;如果"重写"集中在某一类步骤上,说明模板里对该类判断的约束写得不够。这份分布会定期回流到模板优化。
表 2-16 六类编辑操作的语义与差异记录
| 操作 | 语义 | 典型使用情形 | 差异记录内容 |
|---|---|---|---|
| 新增 | 在指定位置插入新步骤 | 模型跳过了一个必要的校核环节,如漏掉弯曲影响区判断 | 插入位置、新步骤全文、引用项、操作人角色、时间戳 |
| 删除 | 移除冗余或错误步骤 | 模型重复论述同一判断,或引入与本题无关的推导 | 被删步骤全文、删除原因枚举(冗余/错误/无关/违规) |
| 合并 | 将相邻多步合为一步 | 模型把一次查表动作拆成三步,颗粒度过细 | 被合并步骤序号集合、合并后全文 |
| 拆分 | 将一步拆为多步 | 一步里同时完成了查表与换算两个判断,无法单独核对 | 原步骤全文、拆分后各步全文与边界位置 |
| 重排 | 调整步骤顺序 | 推理顺序与工艺实际顺序不符 | 调整前后序号映射表 |
| 重写 | 保留步序,改写内容 | 判断方向对但依据引错、数值引错或表述不规范 | 修改前后全文、字符级差异、引用项变更 |
专家工位的派活方式在此要定一条规矩:按首错步骤排队,不按样本排队。 工具 1 的步骤级判据已经指出了每条可疑链的首错位置(见 2.3.6),这个字段随样本传到本工具,专家界面打开即定位到该步骤,并同时高亮该步骤所依赖的背景材料片段。差别在于专家要做的事:按样本排队时,专家要从第一步读到最后一步、自己找出问题在哪,一条二十步的工艺推理链通读一遍就要几分钟;按首错步骤排队时,专家确认或改写被指出的那一步即可,其后的步骤若因这一步修正而连带失效,由工具重新续写候选再交专家确认。
这件事的成效用一个数衡量:单条样本的专家处理时长。 首期以按样本排队的实测时长为基线,启用按首错步骤排队后逐月比对。时长取自工位系统的操作日志,可直接统计,不需估算;该数若无改善,说明首错定位的命中率不足(见表 2-11 第二项),处置是回查定位环节而非继续推广。首错定位命中率低于门限时,界面退回「只高亮低分步骤集合、不声称首错位置」的处置,避免把专家的注意力引到错的地方——这比不指出位置更坏。
还要补一句关于专家否定的处置:定位结果是建议而非结论,专家可在工位上否定该定位并标注真实的首错位置,这条标注回流用于校准表 2-9 的分档门限,并计入表 2-11 第二项的命中率度量——否定本身即为标定样本,不是废弃动作。
每一次编辑都生成一条修订记录,记录链按时间顺序挂在样本的 audit_trail 字段上。样本始终保留原始生成版本,修订版本以增量方式叠加,任何时点都可以回看"模型原来怎么说、人改成了什么、谁改的、为什么改"。这一点对本项目有直接价值:甲方的工艺知识长期存在于人的经验中,修订记录是第一次把"专家不同意模型哪里"这件事结构化记录下来,其本身就是企业规则沉淀的素材。
这份素材要用起来,而不是只存着。本项目把修订动作按类型归档,按月统计分布,并把统计结果作为两件事的输入。
归档的类型有五类:事实错误(引用的参数、标准条款或设备档案与实际不符)、步骤缺失(漏掉了必要的校核或换算环节)、顺序颠倒(推理顺序与工艺实际顺序不符)、越权结论(给出了超出所给材料能支撑的判断)、依据缺失(结论对但说不出依据)。这五类不是凭空分的,它们对应着模型在工艺推理上五种不同的系统性毛病,处置办法也不同——事实错误要补知识库与收紧检索校核,步骤缺失要改模板里的推理深度设定,顺序颠倒要在模板中显式给出工序约束,越权结论要加材料边界提示,依据缺失要加引证要求。
统计结果的第一个去向是模板优化,即本节 2.4.2 的第一条回流路径:某一类修订动作在某个场景上集中出现,就改该场景的模板,改完后看下一月的分布有没有下来。第二个去向是错误模式清单:把五类动作在各业务域、各任务类型上的分布整理成一份清单,这份清单一方面进质量治理报告,另一方面是基准测试集题型设计的输入——模型在哪一类上错得多,基准集就该在哪一类上多出题。这样一来,人机协同就不只是一道工序,而是一条有输出的闭环:专家的修订动作既改好了这一条样本,也改进了下一批样本的生成方式与下一轮评测的出题方式。
2-5 步骤树编辑与差异留痕
图 2-5 步骤树编辑与差异留痕。数据来源:招标文件 3.2.3.2.2 节第(1)条;示例步骤取自本章 2.3.4 节板材备料工艺判断样例。
招标文件要求支持将修订后的优质样本回流至提示词模板优化、模型评测和后续 SFT 数据生产环节。
三条回流路径的触发条件、回流内容与承接方不同,工具链分别实现,不混为一谈。
第一条回流到提示词模板优化。回流内容不是样本本身,是修订记录的统计量:按场景与任务类型汇总六类操作的占比、被删步骤的原因分布、被新增步骤的内容聚类。模板维护人据此改模板,改完走表 2-3 的灰度流程。触发节奏为每积累 500 条修订样本或每两周触发一次,取先到者。
第二条回流到模型评测。修订后经专家确认的样本中,按来源与时间双重切分划出一部分,锁定为评测用金标准,自划出之日起不再进入任何训练集。这件事必须在样本生产期就做,不能等到评测前再划。若同一批标注样本既用于训练又用于评测,评测结果会系统性偏高,验收看到的指标反映不了上线表现。划出比例按基准测试集 0.95 万条的规模需求反推,划出的样本在血缘上打不可逆的隔离标记,取用接口对训练类调用方直接不可见。
第三条回流到后续指令微调数据生产。确认采纳的样本按数据域归集,经格式转换后入指令微调集。转换规则是:问题与背景材料合成指令输入,推理步骤与最终答案合成期望输出;同一问题的优选路径与被淘汰路径配对,入偏好数据集。这里的"配对"有一个前提条件:被淘汰路径必须是因一致性或完整性不足被淘汰,而非因事实不符或规则冲突被淘汰;后者作为负样本会把错误事实带进训练,应进问题样本库而不是偏好集。
2-6 修订后样本的三条回流路径与隔离边界
图 2-6 修订后样本的三条回流路径与隔离边界。数据来源:招标文件 3.2.3.2.2 节第(2)条;数据集规模口径取自招标文件逐数据集规模表。
招标文件要求支持多人交叉标注、专家仲裁和低一致性样本复核,并能够记录争议原因、裁决结论、审核状态和全过程审计信息。
交叉标注按任务难度分档派发:一级与二级难度样本单人标注加抽检,三级与四级难度样本固定双人独立标注,涉及安全合规判断的样本一律双人独立标注。双人独立标注意味着第二位标注人看不到第一位的结果,这一点在工具层面强制,不依赖流程纪律。
两份标注结果的一致性在三个粒度上分别计算,如表 2-17。分粒度计算是必要的:两位专家可能最终答案完全一致,但推理路径差异很大,这种情况下样本可用于训练答案,不宜直接用于训练推理过程,需要仲裁确定采用哪条路径。
一致性的报告口径要再说清一层,因为「一致率」这一个数在步骤级标注上是不够用的。简单一致率把每一次比对当成独立的对或错,它没有扣除「两人碰巧一致」的部分,也处理不了步骤级标注固有的两种情况:一是标注对象是结构化的(步骤序列有增删,两份标注的步骤数可能不同,无法逐位对齐),二是存在缺失(某位标注人对某一步未作判断)。因此本工具的一致性除报一致率外,同时报一个一致性系数——采用可处理多名标注者、可处理缺失值、可处理多种数据类型的那一类系数(克里彭多夫系数),它扣除了偶然一致的部分,在步骤数不等与存在缺失的情形下仍可计算。两个数一并报出:一致率直观,系数可比。
在此基础上还做一件事:对标注者建立能力画像。做法是统计每位标注者的历史判定与最终裁决结论之间的偏离度,按偏离度给其判定赋权重,于是聚合真值不再是简单多数,而是去偏后的加权聚合。这件事在本项目的规模下有实际意义——六十三万张历史工艺样本的标注产能要靠一支队伍长期维持,队伍里标注者的水平必然有差异,若一律按人数多数决定,一位长期偏离的标注者会持续把结论往一侧拉,而这种影响在逐条抽检里看不出来,只在统计上看得出来。
能力画像的用途是识别需要再培训的标注者,不是用于考核排名。这里有一条处置顺序必须写明:一致性系数低于门限时,先排查标注规范是否有歧义,再看标注者。原因很直接——两位尽职的标注者在同一条样本上给出不同判定,最常见的原因是规范对这种情形没写清,而不是其中一位不认真。规范澄清之后重测该批次,若系数回升即为规范问题,若仍不回升再进入标注者维度的分析。把顺序倒过来做,会把规范缺口记在人头上,既不公平也修不好问题。
表 2-17 交叉标注一致性的计算粒度与分流
| 粒度 | 计算方法 | 一致性判定 | 分流处置 |
|---|---|---|---|
| 最终答案 | 按任务类型规范化后比对 | 一致/不一致 | 不一致一律进仲裁 |
| 推理步骤序列 | 步骤对齐后计算编辑距离,归一化为相似度 | 相似度不低于 0.7 视为一致 | 低于 0.7 进仲裁,仲裁只定路径不改答案 |
| 引用依据 | 引用的背景材料项集合求交并比 | 交并比不低于 0.6 视为一致 | 低于 0.6 进复核,核对是否存在引错依据 |
仲裁由领域专家承担,仲裁工位上同时展示两份标注、差异高亮与各自的修改原因,专家可采纳其中一份、合成第三份,或判定问题本身表述有缺陷退回题目修订。仲裁记录的字段包括:争议粒度(答案/路径/依据)、争议原因枚举(规程理解分歧、图纸信息不足、规则版本不一致、术语口径不一致、题目表述歧义、其他)、裁决结论、裁决依据引用、仲裁人角色、裁决时间。争议原因的分布会按月汇总。这份汇总对甲方的价值可能超过样本本身,因为"规程理解分歧"集中出现在哪些条款上,直接指出了哪些工艺规程需要澄清或补充。
审核状态按"待标注—标注中—待仲裁—已仲裁—待终审—已采纳/已退回"推进,状态迁移与操作人角色绑定,标注人不能自审,仲裁人不能仲裁自己参与标注的样本。全过程审计信息包括每一次状态迁移的操作人角色、时间、入参与出参摘要,审计日志只追加不修改,保留期按甲方数据安全管理要求执行。
低一致性样本的复核不止于逐条处置。工具链按场景、任务类型、标注人角色、规则版本四个维度统计一致率,当某一维度的一致率连续两周低于设定基线时触发专项复核:先查是不是标注规范对该类情形没有写明,再查是不是题目来源有系统性问题,最后才考虑标注人培训。这一排查顺序是故意这样定的。一致率低通常是规范问题而不是人的问题,先改规范比先培训人有效。
工具 2 的作业流程按六步推进,如表 2-18。
表 2-18 人机协同思维链标注工具链的处理流程
| 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 |
|---|---|---|---|---|---|
| 1 | 待复核样本、难度分档规则 | 派发任务:三级及以上难度与安全合规类双盲派发 | 标注任务批次 | 双盲设置是否生效、派发量是否超岗位承载 | 双盲设置失效时任务不予创建 |
| 2 | 标注任务 | 标注人执行六类编辑操作,逐次记录差异 | 修订版本与修订记录 | 每次操作是否带修改原因 | 无修改原因的操作不予提交 |
| 3 | 同一样本的多份标注 | 按表 2-17 三粒度计算一致性 | 一致性结果、待仲裁清单 | 三粒度阈值是否按当前版本 | 阈值版本不一致时重算 |
| 4 | 待仲裁样本 | 专家仲裁,记录争议原因与裁决依据 | 仲裁记录、最终版本 | 仲裁人是否参与过该样本标注 | 存在利益冲突时改派其他仲裁人 |
| 5 | 已仲裁样本 | 终审确认,写入审核状态 | 已采纳或已退回 | 终审人角色权限 | 退回样本注明退回原因与可否重做 |
| 6 | 已采纳样本 | 按三条路径回流(见 2.4.2 节) | 模板优化统计量、金标准、训练集 | 隔离标记是否写入成功 | 隔离标记写入失败则本次回流回滚 |
一条修订记录的样例(对应图 2-5 中的"新增"操作):
```json { "record_id": "REV-000812-003", "sample_id": "GYSJ-CL-2027Q1-000812", "from_version": "v2", "to_version": "v3", "operation": "新增", "position": {"after_step": 2}, "new_step": {"step": 3, "text": "工艺规程规定压弯之后不得安排影响弯曲区域尺寸精度的孔加工,需先判断四个 φ22 通孔是否落在弯曲影响区。按图纸孔位标注,四孔距压弯线均在 60mm 以上,超出板厚 3 倍的影响区范围。", "refs": ["GYGC-BL-07#p14"], "conclusion": "孔加工可安排在压弯之前。"}, "reason_code": "漏校核环节", "reason_note": "原路径直接给出工序顺序,未校核孔位与弯曲影响区的关系;该校核是本厂规程的硬性要求。", "operator_role": "领域专家", "timestamp": "2027-02-14T09:37:00+08:00", "char_diff_summary": {"inserted": 112, "deleted": 0, "modified": 0} } ```
这条记录的 reason_code 为"漏校核环节",是六类编辑操作统计中最值得关注的一类——它直接指出提示词模板对该任务类型的推理深度要求偏浅。按 2.4.2 节第一条回流路径,这类原因码的累计占比超过阈值即触发模板修订。
表 2-19 人机协同思维链标注工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 标注任务派发 | POST | 样本范围、难度分档规则、标注人角色与人数、是否双盲 | 任务批次标识、派发明细 |
| 步骤编辑提交 | POST | 样本标识、操作序列(六类操作)、修改原因、引用项变更 | 新版本号、差异摘要、校验结果 |
| 样本版本与差异查询 | GET | 样本标识、版本区间 | 各版本全文、字符级差异、操作人角色与时间 |
| 一致性计算 | POST | 标注批次标识、三个粒度的阈值覆盖项 | 三粒度一致性结果、待仲裁清单 |
| 仲裁提交 | POST | 样本标识、争议粒度、原因枚举、裁决结论与依据 | 仲裁记录标识、后续状态 |
| 回流触发 | POST | 回流路径(模板优化/金标准/训练集)、样本范围 | 回流批次标识、隔离标记写入结果 |
| 审计日志导出 | GET | 时间区间、样本范围、操作人角色 | 只追加日志的导出文件 |
| 一致率统计 | GET | 场景/任务类型/标注人角色/规则版本维度 | 一致率时序与低于基线的维度清单 |
验收口径:我方提供标注工位的演示样例(含双盲派发、六类编辑操作、仲裁与回流全流程录屏或分步截图)、输入输出样例、配置说明与接口说明、测试报告。测试报告须给出首批样本的三粒度一致率实测值、仲裁率、争议原因分布,以及一次由低一致率触发的专项复核记录。本工具链不设"一致率达到某一固定数值"的绝对承诺,设的是基线加改进口径:首批测得的一致率作为基线写入报告,此后按月统计,趋向于逐步提高;连续两个统计周期低于基线时按上述排查顺序处置并记录结论。
标注工位的任务创建要回答的是派活问题:这一批样本派给谁、按什么规则分难度、两份标注对不上时由谁来裁。表 2-20 的字段即对应这三件事——难度分档规则版本决定派发给哪一类标注角色,标注人角色与人数决定双盲派发能否成立,仲裁规则版本决定争议的裁决依据。三者都以版本引用而非内容传入,使任一样本日后可凭版本号反查当时的派发与裁决口径;角色一列只记角色与人数、不记姓名,与标注过程的审计留痕口径一致。
一致性阈值沿用本章表 2-17 已定的三个粒度,接口只提供阈值覆盖项,不另立计算口径。关键的一行是双盲派发:人数不足时按表 2-21 的 `TC02-101` 在受理前即不予创建,而不是降为单人标注后仍按双盲口径统计一致率——后者会让一致率这个指标失去它本来的含义。这张表支撑的是本工具链在一致率上的三段式承诺:首批实测值写入报告作为基线,此后按月统计并趋向逐步提高,连续两个统计周期低于基线时按本章 2.4.5 节的排查顺序处置。
表 2-20 工具 2 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.sample_scope` | 结构 | 是 | 待标注样本范围,可按批次、质量状态或难度分档筛选 |
| `params.difficulty_rule_version` | 引用 | 是 | 难度分档规则版本,决定派发给哪一类标注角色 |
| `params.annotator_roles` | 结构 | 是 | 标注人角色与人数(记角色不记姓名) |
| `params.double_blind` | 布尔 | 否 | 是否双盲派发,缺省按任务类型预置 |
| `params.consistency_thresholds` | 结构 | 否 | 三个粒度的一致性阈值覆盖项(粒度见本章表 2-17) |
| `params.arbitration_rule_version` | 引用 | 是 | 仲裁规则版本 |
```json { "client_request_id": "REQ-2027Q1-COTA-0017", "selector": {"sample_scope": {"batch_id": "B-2027Q1-CL-0042", "quality_status": "自一致性通过", "difficulty": ["三级", "四级"]}}, "params": { "difficulty_rule_version": "DIFF-v1.1", "annotator_roles": {"标注人员": 4, "领域专家": 2}, "double_blind": true, "consistency_thresholds": {"step_level": 0.75, "conclusion_level": 0.90, "ref_level": 0.85}, "arbitration_rule_version": "ARB-COT-v1.0" }, "output": {"dataset_ref": "DS-SFT-2027Q1/cot-reviewed", "formats": ["jsonl"]} } ```
表 2-21 工具 2 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC02-101` | 双盲派发所需人数不足 | 参数类 | 所需人数、可用人数 | 不受理;不降为单人标注后仍按双盲口径计一致性 |
| `TC02-201` | 样本未通过上游自一致性筛选 | 输入类 | 样本标识、上游状态 | 不派发;修订未经筛选的样本会把人力投在待淘汰内容上 |
| `TC02-102` | 编辑操作不在六类之内 | 参数类 | 所提交的操作类型 | 拒绝该次提交;六类操作的语义见本章表 2-16 |
| `TC02-401` | 一致率低于基线 | 策略类 | 三粒度实测值、基线 | 按本章 2.4.5 节的排查顺序处置并记录结论,不调整统计口径达标 |
| `TC02-402` | 仲裁规则无对应条款 | 策略类 | 争议粒度、规则覆盖范围 | 转专家裁决,结论与理由进规则补充队列 |
| `TC02-403` | 上游模板或规程改版 | 策略类 | 受影响的样本范围 | 按本章表 2-23 的分档处置,不整批回溯重写 |
接口层面可当场核对的点:差异查询能按版本区间取出字符级差异与操作人角色,且日志为只追加形态——取一条已修订样本,核对其各版本可逐一还原。质量口径按本章 2.4.5 节执行。
前三个环节分别由 2.3.2、2.4.1 与 2.3.4 三节交代,此处补齐评估与追溯。
自一致性筛选判断的是"这条路径能不能留",推理质量评估回答的是另一个问题:"这一批样本整体处在什么水平,比上一批好还是差。"两者的判据有重叠但用途不同:前者是逐条的闸门,后者是批次级的度量,是质量报告与验收的依据。四类评估口径如表 2-22。
表 2-22 推理质量评估的四类口径
| 口径 | 评估对象 | 计算方式 | 用途 |
|---|---|---|---|
| 步骤有效率 | 单条样本 | 有明确结论且被后续步骤或最终答案引用的步骤数,占总步骤数的比例 | 识别"凑步数"的样本;批次均值低说明推理深度配置与任务难度不匹配 |
| 依据覆盖率 | 单条样本 | 推理步骤中引用了背景材料的步骤数占应引用步骤数的比例;应引用步骤由任务类型决定 | 识别无依据推理;工艺判断与安全合规判断类要求高于知识推理类 |
| 专家修订率 | 批次 | 经人机协同环节产生实质修订(新增、删除、重写三类操作)的样本占送审样本的比例,按操作类型分列 | 衡量模型生成质量的趋势;修订率随模板迭代趋向下降 |
| 难度分布符合度 | 批次 | 实际难度分布与目标难度分布的偏差 | 防止批次整体偏易;偏差超限的批次补生成高难度样本 |
四类口径在质量报告中按批次、来源、任务类型与数据集版本四个维度呈现,格式与通用质量报告规范一致。四项的首批实测值作为基线写入报告,后续按批次对照。本工具链不对这四项承诺固定数值。它们受任务难度与文档质量影响,不同数据域的合理区间不同;承诺的是基线公开、逐批对照、低于基线时给出原因分析与处置记录。
有一项评估需要单独说明:推理过程的正确性无法单凭自动化手段完全判定。工具链能自动判出"引用了不存在的数值""违反了成文规则""步骤间逻辑断裂",判不出"依据都对但判断方向错了"。后者只能由领域专家判断,因此专家抽检是推理质量评估不可替代的一环。本项目的安排是:每批次按不低于 5% 的比例由领域专家抽检推理方向的正确性,抽检结果单列为一项指标,与自动化指标并列呈现,不合并计算。把人判的和机器判的混成一个数,会让验收时无法分辨质量到底来自哪一侧。
样本版本追溯要回答四个具体问题:这条样本当初是怎么生成的、后来被谁改过什么、它现在属于哪个数据集版本,以及如果上游的某份文件更新了,哪些样本需要重做。前三个问题由血缘字段与修订链回答,第四个问题需要反向索引。
正向追溯链由表 2-7 的 lineage 字段与 audit_trail 字段共同承载:lineage 记录生成时的全部版本信息(原始数据标识、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果、审核状态),audit_trail 按时间顺序记录每一次修订与审核。给定一条样本,可以逐项复原出它的生成条件与修改历史。
反向索引是追溯能力的另一半,也是实际运行中用得更多的一半。工具链维护"源文档—样本"与"规则版本—样本"两张反向索引:某份工艺规程发布新版本时,通过第一张索引可以列出所有以该规程旧版本为依据的样本;某条场景规则修订时,通过第二张索引可以列出所有按旧规则校验通过的样本。列出之后的处置分三档,如表 2-23。
表 2-23 上游变更后的样本处置分档
| 变更类型 | 判定方式 | 处置 |
|---|---|---|
| 实质变更 | 变更涉及被样本引用的具体条款、数值或判据 | 相关样本标记"依据已过期",退回复核;复核后重做或作废 |
| 非实质变更 | 变更不涉及被引用内容(如排版调整、无关章节修订) | 样本的依据版本号更新,内容不变,不退回 |
| 待判定 | 自动比对无法确定是否涉及被引用内容 | 转人工判定,判定结果记入变更处置记录 |
实质变更与非实质变更的区分依靠片段级的来源映射:样本引用的是某份文档的哪一段、哪些字符区间,新旧版本在该区间上有无差异,这是可以自动比对的。能自动比对的部分走自动判定,比对不确定的部分转人工。这个分档的意义在于避免两种极端:一是文件一改就把全部相关样本作废,代价过高;二是文件改了却无人知道哪些样本受影响,数据集里留下一批以作废依据为基础的样本。
数据集版本关系由平台的数据集版本管理承载,本工具链的责任是保证每条样本携带的版本信息完整、可被索引,且在样本被修订时同步更新。追溯接口的具体形式以通用接口、追溯与验收要求一节为准。
招标文件要求这一类工具链提供面向长文档、复杂技术资料、标准规范、知识库和检索增强训练场景的数据构建能力,用于将 PDF、Word、HTML、Markdown、表格、图文混排资料等转化为可用于长文本训练、RAG 训练和评测的结构化样本,覆盖文档解析、语义切分、滑窗拼接、结构还原、向量检索、上下文组装和质量检查七个环节。
预训练语料 615 亿 Token 的主体来自文档。甲方的文档资源不缺量:企业文档系统归档了标准、技术手册、工程资料与外部资料,协同办公系统承载制度文件、合同与标书,产品全生命周期管理系统承载图纸与工艺文件。缺的是三样东西。第一样是结构。一份几百页的刮板输送机维护手册在系统里是一个 PDF 文件,章节层级、表格归属、图与图说的对应关系都只存在于版面上,机器读到的是连续的字符流,切出来的片段常常从一句话中间断开。
第二样是出处。通用场景的核心需求是"回答一个问题时能说清依据的是哪一版文件、哪一页",而文档一旦被切成片段,页码与版本信息若不随片段带走,这个需求就无法满足。第三样是长度适配。训练与评测对样本长度有要求,手册里有的章节三百字、有的两万字,直接按章节切会得到一批长度分布极不均匀的样本。
本类工具链的三个工具正好对应这三样:文档结构解析工具链(工具 5)还原结构,文档切分与拼接工具链(工具 3)处理长度适配与来源映射,RAG 数据构建工具链(工具 4)处理检索与出处。三者在流水线上的实际顺序是工具 5 在前、工具 3 在中、工具 4 在后;招标文件的条目顺序是工具 3、4、5。本章按招标文件条目顺序编排,各工具在其小节首行注明在流水线上的上下游。
招标文件列明本类工具链须能够处理技术手册、行业标准、工艺规程、维修手册、设备说明书、招投标文件、知识库文档、PDF/Office/HTML 文件、向量模型和查询模板等数据,生成结构化文档对象、章节树、长上下文样本、RAG 评测样本等。各类输入在甲方的落点与产出对应关系如表 2-24。
表 2-24 长上下文数据构建类工具链的输入数据与产出物对应关系
| 招标文件所列输入 | 在甲方的具体落点 | 主要格式 | 产出物 |
|---|---|---|---|
| 技术手册 | 刮板输送机、减速器、电机、液压件的技术手册 | PDF、Word | 章节树、结构化段落、长上下文样本 |
| 行业标准 | 煤矿机械相关国家标准、行业标准与企业标准 | 章节树、条款级片段、条款引用索引 | |
| 工艺规程 | 板材备料、热处理、焊接等工艺规程与作业指导书 | Word、PDF | 结构化段落、规则候选条目、长上下文样本 |
| 维修手册 | 井下装备安装使用维护手册、检修规程 | 章节树、故障处置片段、RAG 语料 | |
| 设备说明书 | 外购件与配套设备说明书 | PDF、图文混排 | 结构化段落、参数表对象 |
| 招投标文件 | 历史标书、技术应答文件、合同文本 | Word、PDF | 章节树、条款级片段、问标书场景语料 |
| 知识库文档 | 经治理入库的知识条目与问答对 | Markdown、结构化 | RAG 语料、评测样本 |
| PDF/Office/HTML 文件 | 上述各类的实际承载格式,另含 Excel 台账与 PPT 培训材料 | PDF、Word、Excel、PPT、HTML、Markdown、TXT | 统一文档对象 |
| 向量模型 | 经平台统一模型网关接入的向量化能力 | 服务接口 | 向量索引 |
| 查询模板 | 按场景配置的查询生成模板 | 工具链自身资产 | 查询—上下文—回答三元组 |
本类工具链的加工对象限于文本与版面类文档;图纸与工艺图的结构化抽取由多模态数据对齐类工具链承担(见对齐与标注类工具链相关章节)。两类工具链在同一份技术手册上分别取用:手册正文归本类,手册中的装配图归多模态类,由文档对象上的要素类型标记区分,同一要素只加工一次。
原生图纸的读取方式按实施调查结论确定,不以前期了解作为既定条件。按前期调研所了解的情况,产品全生命周期管理系统的原生图纸不支持整批导出;该结论为我方前期了解所得,以蓝图设计阶段的勘察复核结论为准,勘察结论与此不一致时按勘察结论调整取数通道与排期。进场后第一个月内完成读取方式的现场核实与试读,核实三项:单次可读批量上限、按图号或项目的检索条件、并发与低峰窗口限制。核实结论确定后在三条接入路径中选定,三条可并用:一是按图号或项目分批调用只读读取接口,批量与并发按源系统给定上限配置;二是在授权范围内挂载文件服务只读目录,按图号清单比对读取;三是由甲方按批次导出并经文件服务交付,我方按清单核收。三条路径的解析一律在内网就地进行。试读结果不足以支撑整体归集时,先归集与试点场景直接相关的图纸分片,其余分片按季度推进,归集进度在数据卡中按分片披露。
本工具在流水线上接收工具 5 输出的结构化文档对象,输出长上下文样本与来源映射表,供预训练语料与长文本训练使用。
招标文件要求支持 PDF、Word、Excel、PPT、HTML、Markdown、TXT 等多格式文档导入,并能够识别正文、标题、表格、图片、公式、附件、页码和章节层级。
多格式导入的关键不在于支持的格式数量,而在于对同一格式的不同成因区别对待。甲方的 PDF 至少有三种成因:由 Word 直接导出的电子 PDF(文字层完整,版面信息可解析)、扫描纸质文件得到的影像 PDF(无文字层,须经光学字符识别),以及由图纸或排版软件输出的图文混排 PDF(文字层存在但阅读顺序混乱)。三者的解析通道完全不同,若不加区分地走同一条通道,影像 PDF 会得到空文本,混排 PDF 会得到顺序错乱的文本。工具链在导入时先做成因判定,再按表 2-25 分派通道。
表 2-25 格式与成因的解析通道分派
| 格式与成因 | 判定方法 | 解析通道 | 可识别要素 | 条件不具备时的退化策略 |
|---|---|---|---|---|
| 电子 PDF | 文字层覆盖率高于阈值且字符位置规整 | 版面分析加文字层抽取 | 正文、标题、表格、图片位置、公式、页码、章节层级 | —— |
| 影像 PDF | 无文字层或覆盖率极低 | 光学字符识别加版面分析 | 正文、标题、表格(框线可识别时)、页码 | 识别置信度低于阈值的页面标记为"待人工校对",不入训练集,先入待校对队列 |
| 图文混排 PDF | 文字层存在但阅读顺序熵高 | 版面分区后分区内重建阅读顺序 | 正文、标题、图片与图说对应关系 | 分区失败的页面按整页图像处理,文字作为图像说明候选 |
| Word(docx) | —— | 文档对象模型直读 | 全要素,含样式级标题层级、批注、修订痕迹 | 旧版 doc 先转换,转换失败转 PDF 通道 |
| Excel | —— | 工作表与单元格直读 | 表格结构、合并单元格、公式、跨表引用 | 含大量格式化排版的台账按"表格即对象"处理,不强行转为段落 |
| PPT | —— | 幻灯片对象直读 | 标题、文本框、表格、图片、备注 | 以图片为主的页面转图像处理 |
| HTML | —— | 文档树解析 | 标题层级、正文、表格、链接、附件引用 | 页面模板噪声按选择器规则剔除 |
| Markdown/TXT | —— | 直读 | 标题层级(Markdown)、正文 | TXT 无标题结构,按空行与行首特征推断段落 |
要素识别的产出是统一的文档对象,不因输入格式而异。文档对象的顶层记录文档标识、原文件指纹、格式与成因、版本状态、授权范围与密级标记;中层是章节树;底层是段落、表格、图片、公式等要素节点,每个节点带页码、在页内的位置、在章节树中的路径。密级标记随对象一路传递到样本。这是后续授权校验与出域控制的依据,不能到了组装样本时才补。
表格与公式这两类要素单独说明。表格在甲方的技术资料中承载了大量参数要求,如热处理工艺参数窗口、中性层系数分档表、物料定额表,这些表格被切碎后价值归零,因此工具链把表格作为不可分割对象处理:表格整体作为一个要素节点,带表头、表题与所属章节;跨页表格由工具 5 完成拼接后再交给本工具。公式在工艺规程与校核文档中出现(如中性层展开长公式、链条安全系数公式),工具链将其转为可检索的文本表达并保留原始图像,两者同时挂在节点上,检索用文本、人工核对用图像。
招标文件要求支持滑动窗口拼接长上下文样本,可配置窗口长度、重叠比例、最大 Token 数、跨章节拼接策略、EOS 分隔符和来源映射关系。
滑窗拼接解决的是长度适配问题,但如果只按长度切,会在句子和表格中间断开。工具链的做法是"先按语义边界划候选点,再按长度在候选点上落窗":候选点来自章节边界、段落边界、句子边界、表格边界四类,优先级由高到低;落窗时在目标长度附近寻找优先级最高的候选点,落窗位置与目标长度的偏差在容许范围内即接受。参数配置如表 2-26。
表 2-26 滑动窗口拼接的参数配置
| 参数 | 取值范围 | 本项目默认口径 | 说明 |
|---|---|---|---|
| 窗口长度 | 512–32768 Token | 预训练语料 4096,长文本训练 8192 与 16384 两档 | 按下游训练任务的上下文窗口设定 |
| 重叠比例 | 0–30% | 技术手册与标准 10%,工艺规程 15% | 重叠保证跨窗语义连续;过高会在预训练语料中引入重复 |
| 最大 Token 数 | 等于或小于窗口长度 | 等于窗口长度,硬上限 | 超限样本不截断,改为重新落窗 |
| 跨章节拼接策略 | 禁止/同级允许/按父章节允许 | 标准与规程类禁止跨章节,手册类按父章节允许 | 标准条款跨章节拼接会造成条款混淆 |
| EOS 分隔符 | 可配置 | 章节间插入章节分隔标记,文档间插入文档分隔标记 | 让模型学到边界,避免跨文档语义串联 |
| 来源映射粒度 | 窗口级/片段级 | 片段级 | 片段级映射是出处可追溯的前提 |
| 落窗偏差容许 | 0–20% | 15% | 容许偏差换取在语义边界落窗 |
来源映射表是本工具最重要的产出之一,也是整个长上下文构建链条的出处依据。每个长上下文样本携带一张映射表,逐片段记录:源文档标识、源文档版本、章节树路径、页码、段落序号、在原文中的字符区间、要素类型。有了这张表,任何一个长上下文样本都可以被反向定位到原文的具体位置;通用场景中"说清依据的是哪一版文件哪一页"的要求,依赖的就是这张表。
2-7 滑动窗口拼接与来源映射的生成过程
图 2-7 滑动窗口拼接与来源映射的生成过程。数据来源:招标文件 3.2.3.3.1 节第(1)(2)条;参数口径见本章表 2-26。
滑窗参数决定单条样本长什么样,另有三件事决定一批样本整体长什么样:片段之间的关联怎么记、样本长度怎么分布、重叠到什么程度算多。三件都在落窗环节一并处理,事后补不回来。
文档关联分三层记录,如表 2-27。前两层已由片段的溯源字段承载(见表 2-41),第三层是本小节新增的文档族标识。设立文档族的用处很直接:同一份维护手册的 V3 与 V4、同一标准的新旧版本、同一台设备的手册与其附录,内容高度重叠,若一部分落进训练集、另一部分落进评测集,评测结果会虚高。文档族标识由文档对象上的标准号、设备型号与文档主题三项合成,同族文档在后续的训练与评测划分中整族同去同留,不逐份划分(口径见本章 5.7 节数据家族隔离一项)。
表 2-27 文档关联的三层标识与用途
| 层级 | 标识字段 | 构成规则 | 用途 | 缺失时的处置 |
|---|---|---|---|---|
| 片段间 | `prev_chunk_id` / `next_chunk_id` | 同一文档内按字符区间顺序串联 | 还原片段前后文;抽检时可回看上下文 | 指针断链的片段不发布,回查切分环节 |
| 文档内 | `section_path` / `section_level` | 章节树路径与层级深度 | 跨章节拼接策略的判定依据;检索时作层级提示 | 结构置信度低的文档整份进待确认队列 |
| 文档间 | `doc_family_id` | 标准号或设备型号、文档主题、文档类型三项合成;历史版本归同一族 | 训练与评测划分时整族同去同留;版本更替时按族回溯受影响样本 | 三项均缺的文档单独成族,并在数据卡中列为待归族项 |
表 2-27 数据来源:前两层字段依本章表 2-41 切分片段的溯源字段;文档族的隔离用法见本章 5.7 节。
长度分布与重叠控制的三项观测量如表 2-28。长度分布之所以要单独管,是因为按语义边界落窗必然带来长度离散:一个三百字的小节与一个两万字的章节走同一套参数,产出的样本长度能差两个数量级。工具的做法是先按窗口档位给出目标条数配比,落窗后统计实测直方图,偏离目标配比的档位在下一轮调整落窗偏差容许值或改用相邻窗口档位,不靠截断或补白把长度拉齐。
表 2-28 长度分布与重叠的三项观测量、首期基线与处置
| 观测量 | 口径 | 首期基线 | 测量方式 | 超出时的处置 |
|---|---|---|---|---|
| 窗口档位分布偏差 | 各窗口档位的实测条数占比与目标配比之差的绝对值 | 单档偏差不高于 0.10,首期以试跑批次实测值写入报告后逐批对照 | 落窗后按档位直接统计,随批次报告输出 | 偏差超限的档位在下一轮调整落窗偏差容许值或改用相邻档位,不截断、不补白 |
| 窗口内重叠比例 | 相邻窗口共享的片段字符数占后一窗口字符数的比例 | 按文档类型取值,见本章表 2-26 重叠比例一行 | 落窗时直接计算并写入 `window_spec` | 实测高于配置值的窗口重新落窗 |
| 跨样本重复率 | 以段落级指纹计,同一批次内指纹重复的片段字符数占批次总字符数的比例 | 首期按不高于 0.08 设定,随语料扩充复标 | 全批次指纹比对,与表 2-34「重复拼接」共用一套指纹口径 | 超限时按采样配额剔除重复片段;因重叠比例配置偏高导致的,回调该文档类型的重叠比例 |
表 2-28 数据来源:重叠比例口径见本章表 2-26;重复检测的指纹口径见本章表 2-34 重复拼接一行与 5.5 节重复检测一项;三项基线为本方案设定的首期目标,属待验证目标,随首批实测结果调整后报招标方确认。
工具 3 的作业流程按五步推进:接收结构化文档对象并校验结构置信度;按章节、段落、句子、表格四类边界标出候选落窗点;按窗口参数在候选点上落窗,表格整体纳入不拆分;为每个窗口生成片段级来源映射表;执行质量检查(片段过短、重复拼接、语义断裂、来源缺失、Token 超限五类,见表 2-34 相应行)并分流。结构置信度低于阈值的文档不进入落窗,直接转待校对队列。这一道前置校验的意义在于,结构没还原好的文档无论怎么切都切不对。
一条长上下文样本的产出样例(节选,对应图 2-7 中的窗口 W1):
```json { "sample_id": "LC-SCS-2027Q1-001204", "window_spec": {"target_tokens": 4096, "actual_tokens": 3978, "overlap_ratio": 0.10, "cross_section_policy": "按父章节允许"}, "text": "【§5 减速器维护】\n5.1 日常检查\n……\n5.2 润滑管理\n……\n<TABLE id=\"T-5-1\" caption=\"减速器润滑油牌号与换油周期\">……</TABLE>\n……", "source_map": [ {"seq": 1, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.1 日常检查", "page_start": 108, "page_end": 110, "paragraph_seq": "1-14", "char_range": [46012, 47880], "element_type": "正文"}, {"seq": 2, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.2 润滑管理", "page_start": 110, "page_end": 111, "paragraph_seq": "1-9", "char_range": [47881, 48950], "element_type": "正文"}, {"seq": 3, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.2 润滑管理", "page_start": 111, "page_end": 112, "paragraph_seq": "表 5-1", "char_range": [48951, 49420], "element_type": "表格", "table_id": "T-5-1", "cross_page": true} ], "split_basis": ["章节", "表格边界"], "qc": {"too_short": false, "duplicate": false, "semantic_break": false, "source_missing": false, "token_overflow": false}, "lineage": {"source": ["SCS-SB-V4"], "pipeline": "工具5→工具3", "tool_version": "doc-chunk-1.3.1", "structure_confidence": 0.93, "security_label": "内部"} } ```
样例中 seq 3 这一项是跨页表格,cross_page 为真且作为一个不可分割要素整体纳入窗口。若按纯长度切分,这张"润滑油牌号与换油周期"表会被从中间断开,后续用它生成的问答样本就会出现牌号与周期对不上的错误。这类错误在样本层面很难被发现,因为两半各自都是通顺的文本。
表 2-29 文档切分与拼接工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 文档导入 | POST | 文件或文件清单、格式声明(可缺省由成因判定)、密级标记、授权范围 | 文档标识、成因判定结果、解析通道、要素统计 |
| 文档对象查询 | GET | 文档标识、要素类型过滤 | 章节树与要素节点,含页码与位置 |
| 滑窗拼接任务创建 | POST | 文档范围、窗口参数(表 2-26)、目标数据集版本 | 任务标识、预估样本条数与 Token 量 |
| 长上下文样本获取 | GET | 任务标识、分页或流式 | 样本正文、来源映射表,支持 JSONL/Parquet |
| 来源反查 | GET | 样本标识与片段序号 | 源文档标识、版本、页码、字符区间 |
| 待校对队列查询 | GET | 文档范围、置信度阈值 | 低置信度页面清单与原因 |
验收口径:我方提供七类格式各不少于 2 份的导入演示样例(其中 PDF 覆盖电子、影像、图文混排三种成因)、滑窗参数三档配置的输出样例、来源反查的双向验证记录、配置说明与接口说明、测试报告。测试报告须给出各格式的要素识别抽样准确率实测值、影像 PDF 转入待校对队列的比例,以及一批样本的来源反查逐条核对结果。要素识别的承诺按可核验的口径给出:按格式分别给出实测准确率基线,低置信度内容显式进待校对队列而不静默入库,并随语料积累逐步接近设定目标。
切分这一步决定长上下文样本的边界落在哪里,也决定它日后能不能被追回原文,因此任务创建时要固定下来的是三组量:窗口怎么落、跨章节能不能拼、来源映射记到多细。表 2-30 的字段按这三组展开,取值与默认口径沿用本章表 2-26——窗口长度 4096 Token、重叠比例 10%、最小长度 1024 Token 是技术手册与标准类文档的默认档,重叠比例取在较低档位,是因为过高的重叠会在预训练语料中引入重复。
`params.doc_level_grouping` 是其中唯一不接受覆盖的字段,固定为真。它要防的是同一份文档被切开后一部分进训练集、另一部分进测试集:这种同源会把后续评测结果抬高,而且抬高得相当隐蔽,所以它不作为可调参数,由表 2-31 的 `TC03-101` 在受理前直接拦截。来源映射粒度缺省取字符区间级,是为了让任一片段都能回指到原文的页与字符区间,这也是场景验证一侧“说清依据出自哪一版文件哪一页”的前提。读表时“必填”一列是受理门槛,“缺省与约束”一列给出未显式传参时的实际行为。
表 2-30 工具 3 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.doc_refs` | 列表 | 是 | 文档对象引用集合;须为已完成结构解析的文档 |
| `params.window` | 结构 | 是 | 滑动窗口参数,取值项见本章表 2-26 |
| `params.cross_section_policy` | 枚举 | 是 | 跨章节拼接口径:禁止/按父章节允许/不限 |
| `params.source_map_granularity` | 枚举 | 否 | 来源映射粒度:段落级/字符区间级,缺省为字符区间级 |
| `params.doc_level_grouping` | 布尔 | 否 | 固定为真;同一文档的片段整份归入同一集合,防止训练与测试同源 |
```json { "client_request_id": "REQ-2027Q1-SEG-0088", "selector": {"doc_refs": ["SCS-SB-V4", "SCS-GC-V2", "STD-AQ-2026"]}, "params": { "window": {"target_tokens": 4096, "overlap_ratio": 0.10, "min_tokens": 1024}, "cross_section_policy": "按父章节允许", "source_map_granularity": "字符区间级", "doc_level_grouping": true }, "output": {"dataset_ref": "DS-PRETRAIN-2027Q1/longctx", "formats": ["jsonl", "parquet"]} } ```
表 2-31 工具 3 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC03-201` | 文档未完成结构解析 | 输入类 | 文档标识、当前状态 | 不切分;按版面顺序硬切会把表格与标题切碎 |
| `TC03-401` | 单章节长度超出窗口上限 | 策略类 | 章节路径、实际长度 | 按父章节允许的口径拆分并在来源映射中标注拆分点,不静默截断 |
| `TC03-301` | 表格跨页导致片段内表格不完整 | 执行类(条目级) | 表格标识、跨页范围 | 该表所在片段按表边界重新取窗,表不被切开 |
| `TC03-101` | `doc_level_grouping` 被置为假 | 参数类 | 该字段取值 | 拒绝受理;文档级归集是切分隔离的硬约束(口径见工具链(三)8.3) |
| `TC03-302` | 来源映射缺失字符区间 | 执行类(条目级) | 片段标识 | 该片段不发布;缺来源映射的长上下文样本无法溯源 |
接口层面可当场核对的点:取任一长上下文样本,按 `source_map` 能回到原文档的页与字符区间;构造一个 `doc_level_grouping` 为假的请求,接口须拒绝受理。质量口径按本章 3.3.5 节执行。
本工具在流水线上接收工具 5 与工具 3 的产出,输出查询—上下文—回答三元组与 RAG 评测样本,并为思维链构建类工具链提供背景材料检索服务。
招标文件要求支持 RAG 数据构建能力,能够完成文本向量化、向量库入库、关键词检索、向量检索、混合检索、重排、证据选择和上下文组装。
这八项动作构成一条完整链路。链路的设计要点不在于每一项用什么算法,而在于两件事:混合检索的权重如何确定,以及证据选择阶段按什么规则取舍。前者决定召回,后者决定生成出来的样本是否站得住。
文本向量化经平台统一模型网关调用向量化能力,向量模型标识与版本记入索引元数据。这一点在本项目有实际必要性:向量模型换代后,旧索引与新查询的向量不在同一空间,必须能查出"哪些索引是用哪个版本建的",才能判断是否需要重建。索引按知识域分库建设,四个数据域各自独立,跨域检索由上层按授权范围合并,不把不同密级的内容混在一个索引里。
入库时每个片段除向量外同时写入可过滤的元数据:源文档标识与版本、章节树路径、页码、要素类型、业务对象标签(如所属设备型号、所属工序、所属物料类别)、密级标记、生效状态(现行/作废/替代)。生效状态这一项对标准与制度类文档尤其重要。甲方的技术标准与管理制度存在版本更替,作废版本不能被检索到当作依据,但也不能直接删除,因为历史问答的追溯需要它。
关键词检索与向量检索并行执行后做混合。混合不是简单加权求和:两路检索的得分尺度不同,先各自在候选集内做分数归一化,再按场景配置的权重合并。权重按文档类型分档设定:标准与规程类文档的查询常含条款号、型号、标准号这类精确标识,关键词检索权重取高;故障现象描述、工艺判断这类查询语义化程度高,向量检索权重取高。初始权重按场景设定后,以人工标注的查询—相关片段对为校准集做一轮调参,调参结果写入配置并记版本。
重排对混合后的候选集做精排,重排模型同样经统一模型网关接入,可替换、可评测。重排之后进入证据选择:这一步不是取前 N 条,而是按四条规则取舍:同一源文档的连续片段优先合并为一段而不是分列多条;内容高度重复的片段去重保留信息量最大者;作废状态的片段剔除;与查询的实体不匹配的片段剔除(如查询指向某一型号而片段指向另一型号)。实体不匹配的剔除依赖入库时写入的业务对象标签,这也是为什么元数据必须在入库阶段就写全。
上下文组装把选中的证据按原文顺序而非得分顺序排列,补上章节标题作为层级提示,插入片段分隔标记与出处标注,最后做长度预算:超出目标上下文长度时按引用片段裁剪策略裁剪,而不是整段丢弃。
2-8 RAG 数据构建链路与责任边界
图 2-8 RAG 数据构建链路与责任边界。数据来源:招标文件 3.2.3.3.2 节第(1)(3)条。
招标文件要求支持基于检索结果自动生成查询、上下文、回答三元组,并保留证据来源、引用片段、页码、置信度和人工复核状态。
三元组的生成方向有两条,工具链都支持,用途不同。
正向生成从查询出发:查询来自查询模板渲染、专家题库或历史问答记录,走检索链路得到上下文,再由大模型基于上下文生成回答。这条路径贴近实际使用形态,适合生成评测样本。
反向生成从文档出发:先取一段结构化片段,由大模型基于该片段生成若干个"该片段能回答的问题",再把这些问题投回检索链路,只有当检索能把原片段召回到前列时,该问题才被保留为有效查询。这条路径的好处是覆盖面可控——可以保证每一份重要文档都被覆盖到,不会出现"手册第 7 章没有任何一条训练样本"的情况;同时它自带一道检验:如果一个问题连它的来源片段都召回不出来,说明这个问题表述有问题或索引有问题,这本身是有价值的诊断信号。
本项目的配比口径是:预训练与检索增强训练用样本以反向生成为主,保证文档覆盖;评测样本以正向生成为主,并要求查询来源可追溯到专家题库或真实问答记录,避免评测题与训练题同源。
三元组的字段定义如表 2-32。
表 2-32 查询—上下文—回答三元组的字段定义
| 字段 | 说明 |
|---|---|
| triple_id | 三元组唯一标识 |
| query | 查询文本 |
| query_origin | 查询来源:模板渲染/专家题库/历史问答/反向生成 |
| context | 组装后的上下文全文,含片段分隔标记与出处标注 |
| evidence | 证据数组,每项含源文档标识、版本、章节路径、页码、引用片段原文、在原文中的字符区间、检索得分、重排得分 |
| answer | 回答文本 |
| answer_grounding | 回答中每个论断与 evidence 项的对应关系 |
| confidence | 置信度,由检索得分、重排得分与接地性校验结果合成 |
| review_status | 人工复核状态:未复核/复核通过/复核修订/复核驳回 |
| review_record | 复核记录:复核人角色、时间、修订内容、驳回原因 |
| lineage | 血缘信息,口径同表 2-7 |
answer_grounding 字段是"引用准确率"与"答案接地性"两项指标可计算的前提:回答被切成论断单元,每个论断单元指向它所依据的 evidence 项,没有对应项的论断即为未接地论断。这个设计让"答案是否有出处"从一个主观判断变成一个可统计的数字。
一条 RAG 三元组样例如下(取自装备健康诊断场景的维修手册问答):
```json { "triple_id": "RAG-ZBJK-2027Q1-004137", "query": "刮板输送机减速器运行中出现油温持续升高但振动值正常,按维护手册应依次检查哪些项,判断顺序的依据是什么?", "query_origin": "专家题库", "context": "【来源 1|《刮板输送机安装使用维护手册》V4 · 第 5 章 减速器维护 · 第 112 页】减速器正常工作油温不应超过规定上限,油温异常升高时按下列顺序排查:润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况……\n【来源 2|同上 · 第 5 章 · 第 114 页】油温升高而振动值未同步升高时,优先从润滑与冷却环节排查;若振动值同步升高,应优先排查轴承与齿轮……\n【来源 3|《减速器润滑油管理规定》V2 · 第 3 条 · 第 2 页】润滑油更换周期按运行小时数与油品检测结果双重判定……", "evidence": [ {"doc_id": "SCS-SB-V4", "version": "V4", "section": "5 减速器维护 / 5.3 异常处置", "page": 112, "quote": "油温异常升高时按下列顺序排查:润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况", "char_range": [48213, 48302], "retrieval_score": 0.81, "rerank_score": 0.93}, {"doc_id": "SCS-SB-V4", "version": "V4", "section": "5 减速器维护 / 5.3 异常处置", "page": 114, "quote": "油温升高而振动值未同步升高时,优先从润滑与冷却环节排查", "char_range": [49880, 49932], "retrieval_score": 0.76, "rerank_score": 0.95}, {"doc_id": "RHY-GL-V2", "version": "V2", "section": "3 更换周期", "page": 2, "quote": "润滑油更换周期按运行小时数与油品检测结果双重判定", "char_range": [1204, 1252], "retrieval_score": 0.68, "rerank_score": 0.71} ], "answer": "应先排查润滑与冷却环节,再排查传动部件。具体顺序为:一、核查润滑油量与油位;二、核查润滑油品质与是否超过更换周期;三、核查冷却水流量与进水温度;四、在前三项均正常时再排查轴承状态与齿轮啮合状况。判断顺序的依据是手册中关于振动值是否同步升高的分支规定:本例振动值正常,说明传动部件的机械状态暂无明显异常迹象,故优先从润滑与冷却环节入手;润滑油是否需要更换按运行小时数与油品检测结果双重判定,不单以时间判断。", "answer_grounding": [ {"claim": "先排查润滑与冷却环节,再排查传动部件", "evidence_idx": [1]}, {"claim": "排查顺序为油位、油品与更换周期、冷却水流量与水温、轴承与齿轮", "evidence_idx": [0]}, {"claim": "润滑油更换周期按运行小时数与油品检测结果双重判定", "evidence_idx": [2]} ], "confidence": 0.88, "review_status": "复核通过", "review_record": {"role": "领域专家", "time": "2027-02-18T10:24:00+08:00", "modification": "将原回答中的具体油温数值删去,改为引用手册规定上限,避免写入未经确认的数值", "reject_reason": null}, "lineage": {"source": ["SCS-SB-V4", "RHY-GL-V2"], "pipeline": "工具5→工具4", "tool_version": "rag-build-1.6.2", "index_version": "IDX-ZBJK-2027Q1-03", "embed_model": "gw-embed-b@2026.11", "rerank_model": "gw-rerank-a@2026.12", "qc_result": "pass", "audit_status": "已采纳"} } ```
样例复核要点:专家将具体油温数值改为引用手册「规定上限」。模型常把事实补成定点数值,手册多为区间或条件式;此类修订应写入生成约束。
招标文件要求支持 RAG 检索参数配置,能够配置 Top-K、召回阈值、重排模型、metadata filter、上下文长度、证据去重策略和引用片段裁剪策略,满足不同知识库、不同任务和不同上下文窗口的检索增强数据构建需求。
参数不按"一套默认值通吃"设计,而按知识库类型分档预置,这样现场配置时只需选档并微调,不必逐项从零设定。分档口径如表 2-33。
表 2-33 检索参数的分档配置口径
| 参数 | 标准与规程库 | 技术手册与说明书库 | 工单与案例库 | 制度与合同库 |
|---|---|---|---|---|
| Top-K(检索) | 20 | 30 | 40 | 20 |
| Top-K(重排后保留) | 5 | 8 | 10 | 5 |
| 召回阈值 | 0.55 | 0.50 | 0.45 | 0.55 |
| 关键词/向量权重 | 6∶4 | 4∶6 | 3∶7 | 5∶5 |
| 重排模型 | 经网关注册的重排能力,按评测结果择优选用,可随代升级 | 同左 | 同左 | 同左 |
| metadata filter | 生效状态=现行;标准号/条款号精确匹配优先 | 设备型号与部件类别匹配 | 设备型号、故障类别、时间窗 | 生效状态=现行;密级与授权范围校验 |
| 上下文长度 | 2048 | 4096 | 4096 | 2048 |
| 证据去重策略 | 同条款仅保留现行版本;相似度高于 0.9 的片段去重 | 同章节连续片段合并;相似度高于 0.92 去重 | 同工单号片段合并;相似度高于 0.88 去重 | 同条款仅保留现行版本 |
| 引用片段裁剪策略 | 按句裁剪,保留完整条款句 | 按段裁剪,保留段首结论句 | 按对话轮裁剪,保留现象与处置两端 | 按句裁剪,不跨条款裁剪 |
四档的差异来自知识库自身的性质。标准与规程库的查询多含精确标识且答案不容改写,所以关键词权重高、保留条数少、裁剪必须保完整条款句。工单与案例库的单条内容短但同类数量多,所以检索条数放大、去重阈值放低。制度与合同库涉及授权与密级,metadata filter 必须做授权范围校验。这一项是硬约束,不是性能选项。
参数配置以版本化方式保存,每个三元组记录生成时所用的配置版本。调参走与模板相同的灰度流程:在校准集上先评估,六项质量指标中至少四项不低于当前基线才放量生效,不达标则保持原配置。
招标文件要求支持长上下文和 RAG 样本质量检查,能够识别片段过短、重复拼接、语义断裂、来源缺失、Token 超限、证据不相关、引用缺失和答案幻觉八类问题。
八类问题的检测方法分两个通道:规则通道处理可计算的问题,模型通道处理需要语义判断的问题。两个通道的结果合并后形成质量标记,不互相替代:规则通道便宜、可解释、结果稳定,应当尽可能多承担;模型通道处理剩下的部分,并且其判定结果须经抽检校验。检测口径如表 2-34。
表 2-34 八类质量问题的检测方法与处置
| 问题类型 | 通道 | 检测方法 | 处置 |
|---|---|---|---|
| 片段过短 | 规则 | 片段字符数或 Token 数低于下限;下限按知识库类型设定 | 尝试与相邻片段合并;合并后仍过短则剔除并计入覆盖缺口 |
| 重复拼接 | 规则 | 样本内片段两两相似度超阈值;跨样本指纹重复 | 去重保留信息量最大者;跨样本重复按采样配额控制 |
| 语义断裂 | 规则+模型 | 规则查片段首尾是否在句中断开;模型判相邻片段语义连续性 | 重新落窗;无法修复的样本退回切分环节 |
| 来源缺失 | 规则 | 来源映射表字段完整性校验,缺源文档标识、版本或页码即判失败 | 直接判不合格,不进数据集;回查文档对象是否解析不全 |
| Token 超限 | 规则 | 按目标窗口的分词口径计数 | 重新落窗或按裁剪策略裁剪,不做尾部截断 |
| 证据不相关 | 模型 | 逐条评估 evidence 与 query 的相关性,低于阈值计为不相关 | 不相关证据剔除;剔除后证据数不足下限的三元组转人工补充标注 |
| 引用缺失 | 规则 | answer_grounding 中存在无对应 evidence 的论断单元 | 标记未接地论断;未接地论断占比超阈值的样本转人工复核 |
| 答案幻觉 | 规则+模型 | 规则查答案中的实体、数值、标准号是否在 evidence 中出现;模型判答案是否可由上下文推出 | 存在实体或数值硬性不符者直接判不合格;模型判定存疑者转人工复核 |
这里的"答案幻觉"检测要说清一件事:规则通道只能查出"答案里的数字在证据里找不到"这类硬性不符,查不出"数字对但推理错"。后者由模型通道加人工抽检承担。本环节的承诺由两条构成:硬性不符项按规则逐条拦截并给出实测拦截率,模型通道的判定以月度 200 条人工抽检校验其准确率并公布,整体幻觉率随规则库与提示词约束的积累逐步下降;当某一批次的人工抽检幻觉率高于基线一定幅度时,该批次整体转人工复核,并回查是索引、检索参数还是生成约束导致。这是本环节的回退路径。
招标文件要求支持 RAG 评测数据生成和质量评价,能够围绕查询、上下文、回答三元组输出召回率、引用准确率、证据相关性、回答一致性、答案接地性和人工复核状态等指标,支撑 RAG 数据集训练、评测和验收。
六项指标的计算口径必须先定清楚,否则验收时各说各话。口径如表 2-35。表中"初始基线"一列的数值是本项目拟定的起测口径,首批评测集建成后以实测值替换并写入质量报告;"验收方式"一列说明该指标在验收时如何核验。
表 2-35 RAG 评测的六项指标口径
| 指标 | 计算口径 | 初始基线 | 验收方式 |
|---|---|---|---|
| 召回率 | 对带标准证据标注的评测查询,检索链路在重排后保留集内命中标准证据的比例 | 不低于 0.85 | 抽取评测集 200 条,由复核人逐条核对标准证据是否命中 |
| 引用准确率 | answer_grounding 中指向的 evidence 项,经人工判定确实支持该论断的比例 | 不低于 0.90 | 抽取 200 条回答,逐论断核对 |
| 证据相关性 | evidence 各项与 query 相关性判定为相关的比例 | 不低于 0.85 | 模型判定加人工抽检双通道,以人工为准 |
| 回答一致性 | 同一查询在配置不变条件下多次生成,回答语义一致的比例 | 不低于 0.90 | 同查询重复生成 3 次,比对关键论断 |
| 答案接地性 | 回答中已接地论断单元占全部论断单元的比例 | 不低于 0.92 | 按 answer_grounding 自动统计并抽检校验 |
| 人工复核状态 | 评测集中复核通过样本占比,以及驳回原因分布 | 评测集逐条复核,首期覆盖率不低于 0.95,趋向逐条覆盖 | 查复核记录完整性与未复核条目清单 |
评测集建设有两条纪律。其一,评测集与训练集按来源与时间双重切分隔离:来源切分指评测用文档与训练用文档不重叠,时间切分指以某一时点为界,该时点之后入库的文档优先划入评测集;两条同时生效,隔离标记写入血缘且不可逆。其二,评测集必须包含一类"应当拒答"的查询,即知识库中确实没有依据的问题。
通用场景的核心需求之一是"在没有依据时能够明确地不回答",如果评测集里全是有答案的问题,这项能力就测不出来。本项目按不低于 10% 的比例在评测集中设置无依据查询,标准答案是"知识库中无相关依据",回答给出具体内容的判为错误。
质量评价报告按批次、来源、任务类型和数据集版本四个维度生成,报告内容包括六项指标值、与上一版本的对比、低于基线的维度清单与问题样本清单。报告格式与通用接口、追溯与验收要求一节规定的质量报告格式一致。
工具 4 的作业流程按八步推进,如表 2-36。流程分两条支线:索引构建支线(第 1–2 步)在知识库变更时执行,样本生成支线(第 3–8 步)按批次执行。
表 2-36 RAG 数据构建工具链的处理流程
| 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 |
|---|---|---|---|---|---|
| 1 | 结构化片段、元数据 | 向量化并写入索引;记录向量模型标识与版本 | 向量索引 | 入库条数与片段数是否一致、元数据字段完整性 | 元数据缺失的片段不入库并列入清单 |
| 2 | 索引、校准集 | 混合检索权重调参,按文档类型分档固化 | 检索参数配置版本 | 校准集上的召回率 | 低于基线则保持原配置,不放量 |
| 3 | 查询来源或片段范围 | 按正向或反向方向生成查询 | 查询集合 | 反向生成的查询能否召回其来源片段 | 召回不到来源片段的查询剔除并记录 |
| 4 | 查询集合、参数档位 | 执行检索、重排、证据选择、上下文组装 | 组装后的上下文与证据清单 | 证据条数是否达下限、作废版本是否已剔除 | 证据条数不足的查询转人工补充标注 |
| 5 | 查询与上下文 | 调用模型生成回答,并产出论断与证据的对应关系 | 回答与接地关系 | 未接地论断占比 | 超阈值的三元组转人工复核 |
| 6 | 三元组 | 执行八类质量检查 | 质检结果与问题样本清单 | 硬性不匹配项是否为零 | 存在硬性不匹配的直接判不合格 |
| 7 | 合格三元组 | 按用途分流:训练用入库,评测用按来源与时间切分划出并打隔离标记 | 训练集与评测集 | 隔离标记写入结果、两集是否有交集 | 存在交集则本次划分回滚重做 |
| 8 | 评测集 | 执行评测,生成六项指标报告 | 评测报告 | 六项指标与基线对照、无依据查询占比 | 低于基线的指标须给出原因分析并记录处置 |
第 7 步的"两集是否有交集"是一道硬性校验:训练集与评测集一旦出现交集,后续所有评测结论都不可信,因此这一步校验失败即整体回滚,不做部分修补。
表 2-37 RAG 数据构建工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 索引创建与重建 | POST | 片段范围、知识域、向量模型标识、元数据映射 | 索引标识与版本、入库条数、失败清单 |
| 检索(供取证) | POST | 查询、参数档位或逐项参数、metadata filter、授权上下文 | 候选片段、检索与重排得分、元数据 |
| 三元组生成任务 | POST | 生成方向(正向/反向)、查询来源、参数配置版本、目标条数 | 任务标识、预估条数与消耗 |
| 三元组获取 | GET | 任务标识、复核状态过滤、分页或流式 | 符合表 2-32 的三元组,支持 JSON/JSONL/Parquet/CSV |
| 质量检查触发 | POST | 样本范围、八类问题的阈值覆盖项 | 各类问题命中数、问题样本清单 |
| 评测集划分 | POST | 文档范围、来源与时间切分规则、无依据查询比例 | 评测集标识、隔离标记写入结果 |
| 评测执行与报告 | POST/GET | 评测集标识、被评对象(检索配置版本) | 六项指标值、与上版对比、低于基线清单 |
| 复核提交 | POST | 三元组标识、复核结论、修订内容、驳回原因 | 新复核状态、血缘更新结果 |
验收口径:我方提供完整演示样例一套(覆盖索引创建、四档参数检索、正反双向三元组生成、八类质量检查、评测执行与报告)、输入输出样例各不少于 20 条、四档参数配置说明、接口说明、测试报告。测试报告须给出六项指标在甲方真实文档上的实测值、无依据查询的拒答判定结果、一次向量模型换代后的索引重建范围判定记录。
检索增强样本的可信度取决于两件事:检索到的证据是不是当时那一版语料里的,以及已知的质量问题有没有被逐类检出。入参契约即围绕这两件事设计。片段库引用必须与索引配置同版本——索引一旦建在另一版语料上,同一条查询的召回结果就不可重放,证据也就无从复核,这一项由表 2-39 的 `TC04-101` 在受理前拦下。检索参数按知识库性质分档,取值沿用本章表 2-33;调用样例中的 Top-K 与召回阈值对应标准与规程档的口径,该档关键词权重高、保留条数少,是因为标准条款的查询多含精确标识且答案不容改写。
质量检测项与评测指标两列缺省全开,即八类质量问题与六项指标默认都要产出。这样设计的理由在于:缺省关掉的检测项在项目后期几乎不会被重新打开;而指标一旦缺项,返工时就判断不出该退回检索侧还是生成侧。读表时“必填”一列是受理门槛,“缺省与约束”一列是证据,关键的一行是检索参数——它直接决定证据召回率与冗余率两项指标的实测水平。
表 2-38 工具 4 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.query_set` | 引用 | 是 | 查询集引用与版本 |
| `selector.corpus_ref` | 引用 | 是 | 片段库引用;须与工具 3 的产出同版本 |
| `params.index_config_version` | 引用 | 是 | 索引配置版本,含向量化模型的网关登记标识 |
| `params.retrieval` | 结构 | 是 | 检索参数,分档口径见本章表 2-33 |
| `params.quality_checks` | 列表 | 否 | 启用的质量问题检测项(八类见本章表 2-34),缺省八类全开 |
| `params.metrics` | 列表 | 否 | 需要产出的评测指标(六项见本章表 2-35),缺省六项全出 |
```json { "client_request_id": "REQ-2027Q1-RAG-0121", "selector": {"query_set": "QSET-STD-2027Q1@v1", "corpus_ref": "DS-PRETRAIN-2027Q1/longctx@v2"}, "params": { "index_config_version": "IDX-2027.01", "retrieval": {"top_k": 8, "rerank": true, "score_floor": 0.35, "chunk_expand": "父章节"}, "quality_checks": ["证据不足", "证据冲突", "答非所问", "引用错位", "跨文档混淆", "时效过期", "术语歧义", "重复片段"], "metrics": ["证据召回率", "证据精确率", "答案可依据率", "引用准确率", "冗余率", "拒答恰当率"] }, "output": {"dataset_ref": "DS-SFT-2027Q1/rag", "formats": ["jsonl"]} } ```
表 2-39 工具 4 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC04-101` | 片段库版本与索引配置不配套 | 参数类 | 两者版本 | 不受理;索引须在同版本片段库上重建 |
| `TC04-301` | 向量化服务不可用 | 执行类 | 失败阶段 | 降级为关键词检索并标记降级完成,降级批次的指标单列不并入总体 |
| `TC04-401` | 检索结果为空 | 策略类 | 查询标识、检索参数 | 该查询产出拒答样本而非编造回答;拒答样本按配额保留 |
| `TC04-402` | 证据与回答冲突 | 策略类 | 冲突点、检出方法 | 该三元组进人工复核,不自动采信回答一侧 |
| `TC04-403` | 文档时效过期 | 策略类 | 文档标识、版本日期 | 按表 2-34 处置,过期文档的三元组单独标记,不进入指令微调主集 |
| `TC04-404` | 指标低于基线 | 策略类 | 指标名、实测值与基线 | 按本章 3.4.7 节的回退口径处置 |
接口层面可当场核对的点:构造一个检索无结果的查询,返回须为拒答样本且标明原因;向量化服务不可用时,返回须显式标记降级而不是静默改用关键词检索。质量口径按本章 3.4.7 节执行。
本工具是长上下文构建链条的第一道,上游接收采集与预处理环节交付的文档文件,下游向工具 3 与工具 4 输出结构化文档对象与章节树。
招标文件要求支持文档结构化解析,能够完成标题层级识别、目录结构还原、段落归并、页眉页脚剔除、跨页表格拼接、公式和图文说明转换。
六项中前四项处理的是"版面噪声与结构丢失",后两项处理的是"跨页与非文本要素"。这六项在甲方的文档上各有具体难点,解析方法与条件不具备时的退化策略如表 2-40。
表 2-40 六项解析能力的方法、难点与退化策略
| 解析项 | 方法 | 在甲方文档上的具体难点 | 退化策略 |
|---|---|---|---|
| 标题层级识别 | 多信号融合:字号与字重、编号模式、缩进、与正文的间距、Word 样式名 | 早期技术手册编号体系不统一,同一手册内混用"第 1 章/1./一、"三套编号;部分扫描件无字号信息 | 编号模式与字号信号冲突时以编号模式为准;两者均缺失的文档按单层结构处理并标记"结构置信度低" |
| 目录结构还原 | 优先解析文档自带目录页并与正文标题对齐校验,无目录页时由标题层级自底向上构建 | 目录页页码与正文实际页码存在偏移(扫描件常见);部分手册目录不完整 | 目录与正文对齐失败率超阈值时放弃目录页,改用正文标题构建,并记录放弃原因 |
| 段落归并 | 按行间距、首行缩进、断字与标点特征判定段落边界,跨页续段按语义连续性合并 | 两栏排版的标准文本跨栏续段;手册中大量以换行代替段落的说明文字 | 两栏版面先做分栏再归并;分栏失败的页面按单栏处理并标记 |
| 页眉页脚剔除 | 跨页重复内容检测加位置约束 | 页眉中含章节名,剔除后丢失章节线索;页脚中含版本号与受控标识,属有用元数据 | 页眉中的章节名提取为结构信号后再剔除;页脚中的版本号与受控标识提取为文档元数据后再剔除,不直接丢弃 |
| 跨页表格拼接 | 表头重复检测、列数与列宽对齐、续表标记识别 | 工艺参数表跨三页以上且中间页无表头;部分表格跨页处被页眉打断 | 列对齐置信度低于阈值时不拼接,各页表格独立成对象并标记"疑为同一表格",转人工确认 |
| 公式与图文说明转换 | 公式转为可检索文本表达并保留原始图像;图与图说按位置邻接与编号匹配建立对应 | 工艺规程中的公式含自定义符号;图说编号与图编号不一致的情形存在 | 公式转换置信度低时仅保留图像并标记"公式未转换";图说匹配失败的图保留为无说明图像对象,不强行配对 |
退化策略要求错误显式分流:标记「结构置信度低」的文档进待人工确认队列,不静默入预训练语料;标记「疑为同一表格」的对象须人工确认后再用于问答生成。
2-9 文档结构解析流程与置信度分流
图 2-9 文档结构解析流程与置信度分流。数据来源:招标文件 3.2.3.3.3 节第(1)(2)条;解析项与退化策略见本章表 2-40。
招标文件要求支持按章节、段落、句子、语义边界、表格边界和 Token 长度进行混合切分,切分结果须保留原始文档来源、页码、标题层级、段落序号和上下文关系。
六类切分依据按优先级联合使用:章节→段落→句子→语义;表格边界为硬约束;Token 长度仅为上限。前述边界都无法满足长度要求时,才允许在最接近的句子边界处强制落点。高层级边界优先,以保持片段语义完整、利于检索召回。
「按 Token 长度切分」仅作其他切分的长度上限,不作独立切分方式。若以长度为首要依据,易在句中或表中断开。
切分结果携带的溯源字段如表 2-41。这些字段与来源映射表(表 2-26 所述)在内容上一致,差别在于:本表描述的是单个片段自身携带的字段,来源映射表描述的是一个长上下文样本所含多个片段的集合映射,两者是同一套溯源信息在不同粒度上的呈现,不是两套口径。
表 2-41 切分片段的溯源字段
| 字段 | 说明 |
|---|---|
| chunk_id | 片段唯一标识 |
| doc_id / doc_version | 源文档标识与版本 |
| page_start / page_end | 起止页码;跨页片段两者不同 |
| section_path | 标题层级路径,如"5 减速器维护 / 5.3 异常处置" |
| section_level | 片段所属标题的层级深度 |
| paragraph_seq | 在所属章节内的段落序号 |
| char_range | 在源文档规范化文本中的字符区间 |
| element_type | 要素类型:正文/表格/公式/图说/列表/附件引用 |
| prev_chunk_id / next_chunk_id | 上下文关系指针,用于还原片段的前后文 |
| split_basis | 本片段的切分依据:章节/段落/句子/语义/表格边界/长度强制 |
| confidence | 结构解析置信度,低于阈值的片段不进训练集 |
| security_label | 密级标记与授权范围,随片段传递 |
split_basis 字段的用途是质量回溯:如果某批样本质量偏低,可以直接统计这批样本中"长度强制"切分的占比,若占比明显偏高,说明文档的结构解析不充分,应回到解析环节而不是在切分参数上反复试。
工具 5 的作业流程按六步推进:文件接入与成因判定;版面分析(分栏、区块、阅读顺序重建);页眉页脚剔除并提取其中的章节线索与版本元数据;标题层级识别与目录结构还原并做对齐校验;段落归并、跨页表格拼接、公式与图说转换;结构置信度评定与分流(达标出结构化文档对象,不达标进待人工确认队列)。六步之后按混合切分优先级输出片段。
一份技术手册的解析产出样例(章节树节选与一个片段):
```json { "doc_id": "SCS-SB-V4", "doc_version": "V4", "origin": "电子 PDF", "meta_from_footer": {"版本号": "V4", "受控标识": "受控文件", "编制年份": "2024"}, "section_tree": [ {"level": 1, "title": "5 减速器维护", "page_start": 106, "page_end": 121, "children": [ {"level": 2, "title": "5.1 日常检查", "page_start": 108, "page_end": 110}, {"level": 2, "title": "5.2 润滑管理", "page_start": 110, "page_end": 112, "elements": [{"type": "表格", "table_id": "T-5-1", "caption": "减速器润滑油牌号与换油周期", "cross_page": true, "pages": [111, 112]}]}, {"level": 2, "title": "5.3 异常处置", "page_start": 112, "page_end": 118} ]} ], "toc_alignment": {"toc_page_detected": true, "aligned_titles": 142, "total_titles": 148, "offset_corrected": 2, "result": "采用自带目录"}, "structure_confidence": 0.93 } ```
```json { "chunk_id": "CH-SCS-SB-V4-005311", "doc_id": "SCS-SB-V4", "doc_version": "V4", "page_start": 112, "page_end": 112, "section_path": "5 减速器维护 / 5.3 异常处置", "section_level": 2, "paragraph_seq": 3, "char_range": [48213, 48302], "element_type": "正文", "text": "油温异常升高时按下列顺序排查:润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况。", "prev_chunk_id": "CH-SCS-SB-V4-005310", "next_chunk_id": "CH-SCS-SB-V4-005312", "split_basis": "段落", "confidence": 0.95, "security_label": "内部" } ```
两段样例的衔接:章节树记录跨页表,第二段取自表后正文;若跨页表未拼接,表残片会混入正文片段。双重溯源字段便于抽检定位。
表 2-42 文档结构解析工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 解析任务创建 | POST | 文档范围、解析项开关、置信度阈值、密级标记 | 任务标识、按文档的解析结果摘要 |
| 章节树获取 | GET | 文档标识 | 章节树、各节点页码区间与要素统计 |
| 要素节点获取 | GET | 文档标识、要素类型过滤、章节路径过滤 | 要素节点全文与属性 |
| 混合切分任务 | POST | 文档范围、切分优先级配置、长度上限、表格处理策略 | 片段集合、切分依据分布统计 |
| 片段获取 | GET | 任务标识、分页或流式 | 符合表 2-41 的片段,支持 JSONL/Parquet |
| 待确认队列查询与处置 | GET/POST | 文档范围、确认结论 | 待确认项清单;确认后重新解析的结果 |
| 解析质量报告 | GET | 文档范围、批次 | 六项解析能力的抽样准确率、低置信度占比、问题清单 |
验收口径:我方提供演示样例一套(覆盖表 2-40 六项解析能力,其中跨页表格与两栏排版标准各不少于 1 例)、输入输出样例、配置说明与接口说明、测试报告。测试报告须给出六项解析能力在甲方真实文档上的抽样准确率实测值、低置信度文档占比,以及待人工确认队列的处置记录。历史文档的结构还原程度与原始资料品质直接相关:扫描质量差、编号体系混乱的早期资料,其可还原的结构层级有限。本方案的承诺因此落在三条上:解析结果的置信度可判、低置信度内容显式分流、覆盖程度随规则与模型迭代逐步提高,各档资料的实测覆盖率在质量报告中分别列示。
表 2-43 工具 5 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.file_refs` | 列表 | 是 | 原件引用;按只读授权范围读取 |
| `params.channel_policy` | 结构 | 否 | 格式与成因到解析通道的分派覆盖项(口径见本章表 2-25),缺省按文件类型自动分派 |
| `params.capabilities` | 列表 | 否 | 启用的六项解析能力(见本章表 2-40),缺省六项全开 |
| `params.confidence_thresholds` | 结构 | 否 | 高低两档阈值,缺省取当前标定值 |
| `params.degrade_policy` | 结构 | 否 | 各能力的退化策略覆盖项(见本章表 2-40),缺省按能力预置 |
```json { "client_request_id": "REQ-2027Q1-DOC-0245", "selector": {"file_refs": [{"doc_id": "SCS-SB-V4", "file_hash": "<文件指纹>"}, {"doc_id": "STD-AQ-2026", "file_hash": "<文件指纹>"}]}, "params": { "capabilities": ["章节树还原", "段落结构化", "表格还原", "图题与图注关联", "页眉页脚剥离", "公式与符号保留"], "confidence_thresholds": {"high": 0.90, "low": 0.60}, "degrade_policy": {"表格还原": "降为单元格文本并标记结构未还原"} }, "output": {"dataset_ref": "DS-DOC-2027Q1/parsed", "formats": ["jsonl"]} } ```
表 2-44 工具 5 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC05-101` | 文件格式不在支持范围 | 参数类 | 文件标识、实际格式 | 不受理该文件,其余文件照常执行 |
| `TC05-301` | 扫描质量不足以还原章节层级 | 执行类(条目级) | 文档标识、实测质量指标 | 按退化策略输出平铺段落并标记层级未还原,不按页码猜测层级 |
| `TC05-302` | 跨页续表的表头无法确定 | 执行类(条目级) | 表格标识、跨页范围 | 续表部分单独输出并标记表头待确认,不复制上页表头充数 |
| `TC05-401` | 解析置信度落在低档 | 策略类 | 文档标识、置信度 | 进人工标注队列,工具输出仅作参考(口径见本章 3.5 节置信度分流) |
| `TC05-402` | 公式或专用符号无法保留 | 策略类 | 位置、符号类型 | 原样保留图像片段并标记,不以近似字符替代 |
接口层面可当场核对的点:取一份跨页续表的文档,续表部分须标记表头待确认;取一份低清扫描件,输出须标记层级未还原而不是给出一个看似完整的章节树。质量口径按本章 3.5.4 节执行,并与场景验证一侧的表格解析四层精度口径对齐(见通用场景验证方案相关章节)。
招标文件要求这一类工具链提供面向智能客服、设备运维、专家问答、业务协同、故障排查等场景的多轮对话数据生产能力,用于构建具有上下文连续性、角色一致性、业务闭环和可追溯来源的对话样本,覆盖角色剧本配置、多智能体对话生成、工单转写、脱敏、对话质量筛选和分层采样六个环节。
甲方业务判断多在多轮追问中收敛,而非单轮问答。售前选型接口参数常经多方协商、电子留痕不足;健康诊断排查亦需先问测点、工况、检修史再收敛到部件。单轮样本易训出「未问清前提即给完整结论」的行为。
本类工具链的三个工具分工明确:对话模拟生成工具链(工具 6)从角色剧本出发造对话,解决的是"覆盖面"问题——现场缺的那些没有电子留痕的协商过程,只能靠构造;结构化工单转对话工具链(工具 7)从真实工单出发转写,解决的是"真实性"问题。
SOS 服务工单、CRM 售后记录、运维报告里有真实的现象描述与处置结论;对话质量筛选工具链(工具 8)解决的是"可用性"问题,两类来源的样本都要过它这一道。构造的对话覆盖面好但真实性弱,转写的对话真实性强但覆盖面受历史记录限制,本项目两条路都走,在数据集中按比例配比,比例按场景分别设定并记入数据卡。
招标文件列明本类工具链须能够处理角色剧本、业务场景模板、领域知识库、问题种子、SOS 工单、CRM 售后记录、运维报告、维修闭环记录、评分规则和敏感词规则等数据,生成多轮对话样本、角色标签、脱敏记录、质量评分、低质样本清单等。各类输入的落点与取数前提如表 2-45。
表 2-45 多轮对话数据构建类工具链的输入数据与取数前提
| 招标文件所列输入 | 在甲方的具体落点 | 取数前提 | 用于哪个工具 |
|---|---|---|---|
| 角色剧本 | 按七类业务场景配置的角色定义 | 本项目新建,须经业务口确认角色的知识边界 | 工具 6 |
| 业务场景模板 | 六个专业场景与五个通用场景的任务模板 | 与场景验证方案共用场景定义 | 工具 6 |
| 领域知识库 | 经治理入库的手册、规程、标准与知识条目 | 由工具 4 提供检索服务 | 工具 6、工具 7 |
| 问题种子 | 专家题库、历史问答记录、常见问题清单 | 部分需由业务口整理提供 | 工具 6 |
| SOS 工单 | 售后服务与备件管理系统的服务工单、派工与备件出库记录 | 该系统与远程运维平台的事件未打通,工单与报警的配对需另行建立 | 工具 7 |
| CRM 售后记录 | 客户关系管理系统的项目与商机信息 | 系统正在上线,历史数据较少 | 工具 7 |
| 运维报告 | 远程运维平台的报警日志与巡检、检修记录 | 报警不少但故障标签很少,维修事实多在纸面 | 工具 7 |
| 维修闭环记录 | 不合格品票、改造方案流转记录、返修处置记录 | 协同办公系统只读导出;缺陷描述为文字,未与工艺参数关联 | 工具 7 |
| 评分规则 | 七维评分规则与各维度评分锚点 | 本项目新建,须经业务口会签 | 工具 8 |
| 敏感词规则 | 敏感实体识别规则与替换策略 | 须与甲方数据安全管理要求对齐 | 工具 7、工具 8 |
这里要如实指出两处取数缺口,它们影响工具 7 的产出规模:其一,服务工单与运维报警之间没有事件级配对,"某次报警对应某次维修"这种关系需要回填建立,不是现成可导出的数据;其二,CRM 系统正在上线、历史数据较少,售后记录类样本的规模在首期会受限。两处缺口的处理方式是在数据卡上如实统计覆盖度并随进度更新,不以构造样本充抵真实样本。构造与转写两类样本在数据集中分别标记来源,不混计。
招标文件要求支持配置用户、助手、专家、维修人员、质检人员、调度人员等多类角色剧本,并可定义角色目标、知识边界、表达风格、任务约束和安全边界。
角色剧本约束表达差异与知识边界。若不约束,各角色易同腔同调,「角色一致性」评分偏低。五项定义中优先守住「知识边界」:用户角色不得掌握仅专家可知的判据,以免自问自答、追问失效。六类角色的剧本要点如表 2-46。
表 2-46 六类角色的剧本定义要点
| 角色 | 角色目标 | 知识边界 | 表达风格 | 任务约束 | 安全边界 |
|---|---|---|---|---|---|
| 用户 | 说明自己遇到的情况,获得可执行的结论 | 只知道现象与自身业务上下文,不知道判据与内部规程 | 口语化,描述不完整,可能用俗称 | 不得主动给出正确答案;被追问时按设定逐步补充信息 | 不涉及未授权数据 |
| 助手 | 组织对话,问清前提,给出结论或转交专家 | 掌握知识库可检索内容,不掌握未入库的经验 | 简洁、先问后答、给出依据 | 依据不足时须明确说明并提出需补充的信息 | 无依据不作结论;不输出超出授权范围的内容 |
| 专家 | 在助手无法判断时给出专业判断与依据 | 掌握规程、标准与经验判据 | 直接、给判据、指出例外情形 | 结论须附依据出处 | 不涉及个人与客户敏感信息 |
| 维修人员 | 报告现场所见,执行检查并反馈结果 | 掌握现场状态与检修史,不掌握设计意图 | 现场口径,含具体数值与部件俗称 | 反馈须具体到部件与数值 | 不涉及未授权数据 |
| 质检人员 | 给出检验结论与处置意见 | 掌握检验标准与判定口径 | 规范、引用检验项编号 | 结论须对应检验项与判定依据 | 不涉及未授权数据 |
| 调度人员 | 协调资源与工序安排 | 掌握工单与产能状态,不掌握技术判据 | 简短、关注时间与资源 | 不作技术判断 | 不涉及未授权数据 |
剧本以配置文件形式版本化管理,角色定义变更产生新版本,对话样本上记录所用剧本的标识与版本。角色标签作为样本字段输出,便于后续按角色组合做分层采样。
招标文件要求支持基于多智能体机制自动生成多轮对话,能够控制对话轮次、话题流转、追问策略、澄清机制、终止条件和异常分支。
多智能体的实现方式是:每个角色由一个独立的智能体承担,智能体只能看到自己角色剧本允许看到的信息,对话在一个受控的调度器下轮转。调度器按状态机推进对话阶段(现象描述→前提澄清→判断分析→处置建议→结果确认→复盘总结),而非简单轮流发言;当前阶段决定发言方与可执行动作。六项控制项的配置口径如表 2-47。
表 2-47 对话生成的六项流程控制
| 控制项 | 配置方式 | 本项目口径 | 不满足时的处理 |
|---|---|---|---|
| 对话轮次 | 配置最小与最大轮次区间 | 简单咨询类 3–6 轮,故障排查类 6–12 轮,工艺审查类 5–10 轮 | 未达最小轮次即出现终止条件的对话标记"过早收敛",进复核;超最大轮次强制收尾并标记"未收敛" |
| 话题流转 | 按状态机定义允许的阶段迁移 | 允许回退(如处置建议后退回前提澄清),禁止跳跃(现象描述直接到结果确认) | 出现禁止迁移时调度器拦截,重新生成该轮 |
| 追问策略 | 配置追问触发条件与追问上限 | 助手在关键前提缺失时必须追问;同一前提追问不超过 2 次 | 超过上限仍未得到前提时,助手须明确说明在该前提未知下结论的适用范围 |
| 澄清机制 | 配置须澄清的前提清单(按场景) | 故障排查须澄清设备型号、报警测点、工况与近期检修史四项 | 澄清清单未覆盖的对话标记"前提不全",进复核 |
| 终止条件 | 配置正常终止与异常终止条件 | 正常终止:结论给出且用户确认;异常终止:依据不足、超出授权、超轮次上限 | 异常终止的对话单独归池,作为"拒答与转交"类样本保留,不作废 |
| 异常分支 | 配置异常情形与应对 | 用户描述自相矛盾、提出超范围请求、中途更换问题 | 按配置生成对应分支,这类样本按配额保留,用于训练模型处理非理想输入 |
异常分支这一项需要特别说明其用途。现场的真实对话很少是理想的:用户会把两个问题混着说,会中途改口,会提出超出系统范围的要求。若训练数据里全是理想对话,模型在现场遇到非理想输入时表现会明显退化。工具链因此把异常分支作为必须生成的一部分,按配额纳入。本项目口径是异常分支样本占对话样本总量的 10%–15%,具体比例按场景在数据卡中记录。
2-10 多智能体对话生成的状态机与控制点
图 2-10 多智能体对话生成的状态机与控制点。数据来源:招标文件 3.2.3.4.1 节第(2)条;控制项口径见本章表 2-47。
招标文件要求基于"多智能体机制"。多智能体须落到可验收形态,并定死三件事:各角色可见信息、可执行动作、下一发言方裁决权。任一含糊,对话易退化为同一模型换称呼自说自话。
参与一次对话生成的实体分两类。一类是角色智能体,按表 2-46 的剧本装配,数量与种类随场景配置而定,由场景配置决定本次启用哪些角色。另一类是调度器,它不是角色、不发言、不产出对话内容,职责是裁决每一轮由谁发言、本轮发言是否合法,以及对话何时结束。把裁决权从角色智能体手里收到调度器,是这套机制与"让几个模型自由聊天"的根本差别:自由聊天的对话由最健谈的那个角色带跑,而本项目需要的是对话按业务阶段推进。
可见性隔离是角色一致性的实现手段。各角色智能体能看到的信息范围如表 2-48。其中最关键的一条是用户角色不具备知识库检索能力:用户一旦能检索到规程与判据,它的提问会自带答案,追问与澄清环节随即失去意义,追问与澄清是多轮样本相对单轮样本的主要训练目标。
表 2-48 角色智能体的可见信息与动作集
| 实体 | 可见信息 | 可执行动作 | 不可执行 |
|---|---|---|---|
| 用户 | 自身剧本、对话公开历史、本次场景给定的现象与业务上下文 | 陈述、回答追问、提出新诉求、确认结论 | 检索知识库、引用规程条款、给出判据 |
| 助手 | 自身剧本、对话公开历史、知识库检索结果 | 陈述、追问、检索、给结论并附依据、移交专家、声明依据不足 | 在无检索依据时给出判据性结论 |
| 专家 | 自身剧本、对话公开历史、知识库检索结果、助手的移交说明 | 给判断与依据、指出例外情形、要求补充信息 | 代替用户陈述现场事实 |
| 维修人员 | 自身剧本、对话公开历史、本次场景给定的现场状态与检修史 | 报告现场所见、反馈检查结果、给出具体数值 | 给出设计意图层面的判断 |
| 质检人员 | 自身剧本、对话公开历史、检验标准条目 | 给检验结论与判定依据、给处置意见 | 更改检验判定标准 |
| 调度人员 | 自身剧本、对话公开历史、工单与资源状态 | 安排资源与时序、确认时限 | 作技术判断 |
| 调度器(非角色) | 全部轮次、阶段标记、场景配置、剧本版本、控制项配置 | 指定发言方、拦截违规轮次、插入强制追问、判定终止、标记异常分支 | 产出对话内容 |
交互协议把每一轮发言约束成一条结构化消息,而不是一段自由文本。协议字段如表 2-49。设立协议的用意有两层:其一,调度器按字段裁决而不按文义猜测,裁决结果因此可复算;其二,字段本身就是对话样本的标注,阶段标记与引用依据在生成时写入,不必事后再标一遍。
表 2-49 一次发言的协议字段
| 字段 | 含义 | 由谁写入 | 调度器的校验 |
|---|---|---|---|
| 轮序 | 本轮在对话中的序号 | 调度器 | 与轮次区间配置比对 |
| 发言角色 | 本轮发言的角色标识与剧本版本 | 调度器指定 | 是否为当前阶段允许发言的角色 |
| 阶段标记 | 本轮所处的业务阶段 | 调度器 | 与上一轮阶段的迁移是否为允许迁移 |
| 动作类型 | 陈述、追问、检索、给结论、移交、声明依据不足、确认 | 角色智能体 | 是否在该角色的动作集内 |
| 内容 | 本轮发言正文 | 角色智能体 | 是否越出该角色的知识边界 |
| 引用依据 | 本轮所引知识条目的标识与版本 | 角色智能体 | 给结论类动作是否附依据 |
| 建议下一发言方 | 角色智能体对下一发言方的建议 | 角色智能体 | 仅作参考,裁决权在调度器 |
| 终止请求 | 角色智能体认为对话可以结束 | 角色智能体 | 仅作参考,终止由调度器按终止条件判定 |
最后两个字段只作参考,不构成裁决。若允许角色智能体自行指定下一发言方或自行宣布结束,对话的推进就由内容生成方自己决定,状态机形同虚设,而"控制对话轮次"与"控制终止条件"这两项要求也就无从落实。把建议与裁决分开,建议仍然有用——它是调度器判断对话是否已经收敛的一项输入,也是分析对话为何提前收敛时的线索。
裁决规则只有三条,调度器逐轮按序执行:先判阶段迁移是否合法,再判动作是否在该角色动作集内,最后判内容是否越出该角色的知识边界。任何一条不通过即拦截该轮并要求重新生成;同一轮的重新生成上限为两次,两次仍不通过则终止该对话并计入失败。
失败对话不进入样本集,但其作业轨迹完整保留,用于分析是剧本配置过严还是场景配置与业务实际不符。这一条在实施中会被反复用到:首期试点批次的失败对话往往集中在某一两个场景,那通常意味着该场景的澄清清单或阶段定义需要与业务口再对一次,而不是模型能力不足。
2-11 角色隔离、交互协议与调度器裁决
图 2-11 角色隔离、交互协议与调度器裁决。角色智能体按剧本产出一轮发言,调度器按三条规则裁决,违规轮次拦截重生成,合法轮次写入对话并带阶段标记与引用依据。数据来源:招标文件 3.2.3.4.1 节第(1)(2)条;可见信息与动作集见本章表 2-48,协议字段见表 2-49。
可重放是这套机制接受核查的方式。一次对话生成作业的全部决定因素是四项版本与一个随机种子:角色剧本版本、场景配置版本、模板库版本、所用模型的网关标识与版本,以及本次作业的随机种子。五项随作业记录留存,使任何一条对话样本都能在原条件下重跑一遍并比对差异。甲方对某条样本提出疑问时,重放是比解释更有效的回应方式。
表 2-47 给的是六项控制的配置项,配置本身不说明控制是否起作用。六项各自的观测量、基线、测量方法与不达标时的回退如表 2-50,作为"能够控制"一条的验收判据。
基线的取法统一为:首期以试点批次的实测值作为基线并写入测试报告,此后各批次与基线比对,目标值为随批次推进逐步趋向表中所列水平。首期试点批次的规模与场景分布在实施方案中约定。本项目开工前无同类对话样本的历史实测可依,基线因此取自首期试点批次的实测值,不取自估计值。
表 2-50 六项控制的观测量、基线与回退
| 控制项 | 观测量 | 基线与目标 | 测量方法 | 不达标时的回退 |
|---|---|---|---|---|
| 对话轮次 | 轮次区间符合率:轮次落在该场景配置区间内的对话占比 | 首期取试点批次实测值为基线,目标趋向 0.95 | 按场景分别统计,过早收敛与未收敛两类分列计数,不合并成一个数 | 低于基线时暂停该场景的批量生成,回看轮次区间与终止条件配置是否与该场景实际不符,调整配置后重跑试点批次 |
| 话题流转 | 阶段完整度:对话实际经过的阶段数与该场景要求阶段数之比;并记禁止迁移的拦截次数 | 阶段完整度首期基线取试点实测值,目标趋向 0.90 | 按阶段标记统计,逐场景出分布;拦截次数按拦截原因分类计数 | 阶段完整度低于基线时回看状态机的允许迁移表,必要时为该场景单独配置迁移规则,而不是放宽通用规则 |
| 追问策略 | 关键前提未给出时的追问触发率;同一前提追问超限的对话占比 | 触发率首期基线取试点实测值,目标趋向 0.95;超限占比目标不高于 0.05 | 以场景澄清清单为比对基准,逐条前提核对是否发生过追问 | 触发率低于基线时检查强制追问环节(见本章 4.3.8 节第 4 步)是否被场景配置绕过;超限占比偏高时回看追问上限设置与用户角色的信息释放节奏 |
| 澄清机制 | 澄清清单覆盖率:场景要求澄清的前提中实际被问到的比例 | 首期基线取试点实测值,目标趋向 0.95 | 逐对话按清单逐项核对,未覆盖项记入"前提不全"并进复核 | 低于基线时,先核对澄清清单本身是否包含了该场景实际无法在对话中确认的前提;确属工具问题的调整强制追问的触发条件 |
| 终止条件 | 终止类型标记与人工复核判定的一致率 | 首期基线取试点实测值,目标趋向 0.90 | 按终止类型分层抽检,抽检比例沿用既有复核比例,由复核岗独立判定后与工具标记比对 | 一致率低于基线时暂停自动终止标记的下游使用,该批次的终止类型改由人工判定,同时回看终止条件配置 |
| 异常分支 | 异常分支样本占对话样本的比例;异常分支类型的覆盖数 | 占比落在 10%—15% 配额区间内;类型覆盖数不低于配置的异常情形数 | 按异常分支标记统计占比,按类型统计覆盖 | 占比低于下限时按缺口定向补生成,高于上限时停止该类补生成;类型覆盖不足时逐类检查该异常情形的触发条件是否可达 |
表中六项观测量的原始数据由对话生成作业直接产出,不需另做统计口径的转换,这一点在设计时是有意的:需要人工二次加工才能得到的指标,在项目后期大概率不会被持续统计。六项指标随每批次的控制项校验报告一并输出(接口见本章 4.3.9 节)。
状态机管的是对话走到哪一阶段,它不记"已经问出了什么"。一段十二轮的故障排查对话里,第九轮的助手需要知道测点、工况与检修史这三项前提哪些已经拿到、哪个还悬着,否则会把问过的再问一遍,也会在前提没拿齐时就下结论。这件事由一个独立的对话状态对象承担,由调度器维护,逐轮更新,并随样本一并输出。
表 2-51 对话状态对象的字段与维护规则
| 字段 | 内容 | 由谁更新 | 更新时机 | 在样本中的用途 |
|---|---|---|---|---|
| `confirmed_premises` | 已确认前提及其取值与来源轮次 | 调度器 | 角色给出前提取值的当轮 | 追问触发率与澄清清单覆盖率的计算依据(见表 2-50) |
| `pending_premises` | 场景澄清清单中尚未确认的前提 | 调度器 | 每轮结束时按清单比对刷新 | 为空是正常终止的前置条件之一;非空而对话已终止的标记"前提不全" |
| `working_hypothesis` | 当前成立的判断假设及其依据引用 | 助手或专家角色写入,调度器登记 | 给出阶段性判断的当轮 | 纠错触发的比对基准;训练模型在证据变化时改判 |
| `excluded_items` | 已排除的候选项及排除理由 | 助手或专家角色写入 | 排除动作发生的当轮 | 防止同一候选被反复提出;供信息密度维度判空转轮 |
| `open_questions` | 已提出但未获回答的问题 | 调度器 | 提问当轮写入,获答当轮移除 | 同一前提追问次数的计数依据,对应追问上限 |
表 2-51 数据来源:澄清清单与追问上限的口径见本章表 2-47;观测量的计算用法见表 2-50。
上下文继承按两条规则执行。其一,角色智能体每轮可见的不是对话全文,而是该角色允许看到的公开历史加上状态对象(可见范围见表 2-48),状态对象因此是跨轮信息传递的唯一通道,角色之间不另设私下传递。其二,对话轮数超过设定阈值后做状态压缩:早于最近六轮的轮次以状态对象的摘要代替原文送入生成,原文在样本中完整保留不受影响。压缩只改变生成时的输入,不改变样本内容;压缩阈值与摘要口径记入场景配置版本,重放时按同一版本还原(重放口径见本章 4.3.3 节)。
对话内的纠错是本项目明确要生成的一类内容,不是异常。甲方的真实排查过程常有改判:用户先说"昨天报了三次",后面想起来是前天;助手先按润滑方向判断,检索到检修记录后改判为冷却回路。模型若没见过改判,遇到证据变化时会倾向于维持先前结论。三类纠错的触发、标记与状态更新如表 2-52。纠错轨迹在样本中整段保留,纠错前的错误结论不删除——删掉就只剩一条顺畅的正确路径,这类样本的训练价值恰恰在改判这一段。纠错样本按场景设定配额,与异常分支配额分列计数,不互相充抵。
表 2-52 三类对话内纠错的触发、标记与状态更新
| 纠错类型 | 触发 | 发起角色 | 标记字段取值 | 状态对象的更新 | 不成立时的处置 |
|---|---|---|---|---|---|
| 用户改口 | 用户修正自己先前给出的前提取值 | 用户 | `correction=premise_revised`,记被修正的前提与新旧取值 | 更新 `confirmed_premises` 对应项;依赖该前提的 `working_hypothesis` 置为待复核 | 改口后未重走依赖该前提的判断的,对话标记"改判未落实"并进复核 |
| 助手自纠 | 新检索到的依据与当前假设冲突 | 助手 | `correction=hypothesis_revised`,记冲突的依据引用 | `working_hypothesis` 更新并保留历史项;原假设转入 `excluded_items` 并记排除理由 | 自纠未给出新依据引用的,该轮重新生成 |
| 专家纠正 | 移交后专家推翻助手结论 | 专家 | `correction=expert_override`,记被推翻的结论与裁决依据 | `working_hypothesis` 以专家结论替换;原结论转入 `excluded_items` | 专家结论未附依据出处的,该轮重新生成(动作集约束见表 2-48) |
表 2-52 数据来源:角色动作集与依据附带要求见本章表 2-48、表 2-49;异常分支与配额的计数口径见本章表 2-47 异常分支一行。
招标文件要求支持围绕产品选型、设备故障诊断、工艺审查、质量检验、安全合规、合同协同和售后服务等场景生成对话。
七类场景的对话结构差异不小,直接套同一套配置会得到一批形似而神不似的样本。工具链按场景预置配置模板,各场景的角色组合、轮次区间、须澄清前提与业务闭环要素如表 2-53。表中"业务闭环要素"一列是对话是否合格的硬条件——缺了闭环要素的对话,在工具 8 的"业务逻辑不闭环"检测中会被判为低质。
表 2-53 七类业务场景的对话生成配置
| 场景 | 角色组合 | 轮次区间 | 须澄清的前提 | 业务闭环要素 |
|---|---|---|---|---|
| 产品选型 | 用户(矿方或销售)+助手+专家 | 6–12 | 工作面类型、产量或运力要求、铺设长度与倾角、采高与煤层厚度、配套设备接口参数 | 给出机型与主要配置建议、说明校核结论、指出待与配套厂家确认的接口项 |
| 设备故障诊断 | 用户(矿方或服务人员)+助手+维修人员+专家 | 6–12 | 设备型号与部件、报警测点与报警时间、当时工况、近期检修史 | 给出部件级判断与证据等级、处置建议与检查顺序、说明需现场确认的项 |
| 工艺审查 | 用户(工艺人员)+助手+专家 | 5–10 | 零件与材料、板厚与关键尺寸、加工要求符号、适用的工艺规程版本 | 给出工序顺序或审查意见、引用规程条款、指出需人工确认之处 |
| 质量检验 | 用户(检验人员)+助手+质检人员 | 4–8 | 检验项目与判定标准版本、被检对象批次、检验手段 | 给出判定结论与依据检验项、不合格情形的处置路径 |
| 安全合规 | 用户(作业或管理人员)+助手+专家 | 4–8 | 作业类型与场所、适用制度与规程版本、人员资质要求 | 给出合规结论与依据条款、不合规情形的整改要求 |
| 合同协同 | 用户(商务或法务)+助手+专家 | 4–8 | 合同类型与标的、适用的审查要点清单、条款版本 | 给出条款对照结论、风险条款清单与建议表述 |
| 售后服务 | 用户(矿方)+助手+调度人员+维修人员 | 5–10 | 设备与服务履历、故障现象、备件需求、时间要求 | 给出响应安排与备件处置、明确责任边界与时限 |
各场景的样本按四大数据域归集:产品选型归供需计划与产品工艺设计域,工艺审查与质量检验归产品工艺设计与质量域,设备故障诊断与售后服务归制造过程与质量域,安全合规与合同协同按内容归属分流。各场景的业务做法以场景验证方案相关章节为准;本节定的是对话样本的生成配置。
一条多轮对话样本要能被独立判定合格,字段上须同时承载三类信息:对话本身(角色、轮次、阶段标记、本轮引用的依据)、对话的业务结论(闭环要素是否逐项满足、以何种方式终止),以及它在加工链路上的身份(来源类型、质量评分、脱敏记录、血缘)。表 2-54 按这三类编排,每个字段都对应后续某一道判据的输入:`closure` 供闭环要素满足率统计,`anomaly_branch` 供异常分支配额核算,`termination` 的四类取值把正常收尾与依据不足、超出授权、超轮次三种情形分开计数,使收敛类问题不被混进质量类问题。其中 `quality_score` 由工具 8 写入、`desensitize_record` 由工具 7 写入,本工具不自填——字段的写入方即该项的判定方。
字段定义之外另给一段完整对话的节选,是因为字段说明得了样本的构成,说明不了对话的成色:信息是否逐轮递进、各角色是否守住自己的知识边界,只有看原文才判得出来。
对话样本的字段定义如表 2-54。
表 2-54 多轮对话样本字段定义
| 字段 | 说明 |
|---|---|
| dialog_id | 对话唯一标识 |
| scene_code / task_type | 业务场景与任务类型 |
| source_type | 来源类型:模拟生成/工单转写 |
| roles | 参与角色清单,含角色标识与剧本版本 |
| turns | 对话轮数组,每轮含轮序、发言角色、内容、所处阶段标记、本轮引用的知识依据 |
| closure | 业务闭环要素的满足情况,逐项标记 |
| anomaly_branch | 异常分支类型,无则为空 |
| termination | 终止类型:正常终止/依据不足终止/超范围终止/超轮次终止 |
| quality_score | 七维评分结果,由工具 8 写入 |
| desensitize_record | 脱敏记录标识,由工具 7 写入(转写样本) |
| lineage | 血缘信息,口径同表 2-7 |
一段设备故障诊断场景的模拟对话样例(节选,共 9 轮,此处取前 6 轮):
| 轮次 | 角色 | 发言 |
|---|---|---|
| 1 | 用户 | 我们这台刮板机的减速器最近老是报警,油温高,井下师傅说摸着也烫,这是不是要坏了? |
| 2 | 助手 | 需要先确认几项信息才能判断。请问这台设备的型号和出厂编号是多少?报警来自哪一个测点,是油池温度还是轴承温度?最近一次报警是什么时候? |
| 3 | 用户 | 型号我得查一下,编号在铭牌上。报警就显示"减速器温度高",具体是哪个点我不清楚。昨天班上报了三次。 |
| 4 | 助手 | 温度报警的测点位置会影响判断方向,建议从远程运维平台的测点配置里确认具体测点。在确认之前,还需要两项信息:昨天这三次报警时设备的运行工况是什么——是正常割煤、还是空载或者带载启动?另外,这台减速器最近三个月有没有做过检修或者换油? |
| 5 | 用户 | 昨天是正常生产,每班割五六刀。换油的事我问问机电队,印象里年初换过一次。 |
| 6 | 维修人员 | 我这边查了,报警测点是油池温度,昨天三次报警都在交班后一小时内出现,当时振动值在正常范围。年初换油是在一月,到现在运行了大概两千六百小时。 |
样例核对要点:助手首轮先问型号/测点/工况/检修史(澄清清单);用户回答不完整,符合知识边界;维修角色补具体数值,信息递进而非一次给齐。
多轮对话由多个角色智能体分别发言,天然存在两种跑偏:一种是角色越界,助手替维修人员报出本该由现场确认的数值;另一种是过程塌缩,两三轮就给出结论,对话失去“先问清前提”的训练价值。七步流程要处理的正是这两件事,所以它不是按时间顺序罗列动作,而是每一步挂一个可判定的质检点,并规定不通过时是重新生成该轮、强制插入一轮,还是终止该条对话。
表中“质检点”一列是判据,“异常处置”一列给出不通过时的去向;关键的一行是第 3 步,它守的是角色知识边界,同一轮两次越界即终止该条对话并计入失败,而不是反复重试到生成一句看似合规的表述为止。七步的实测结果汇入本章表 2-50 的六项观测量,其中话题流转与追问策略两项分别对应第 2 步与第 4 步,基线取试点批次实测值,低于基线时按该表回退配置而不是放宽判据。
工具 6 的作业流程按七步推进,如表 2-55。
表 2-55 对话模拟生成工具链的处理流程
| 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 |
|---|---|---|---|---|---|
| 1 | 场景编码、问题种子 | 选取场景配置与角色剧本版本,装配智能体 | 对话作业实例 | 剧本版本是否为生效版本 | 使用已回滚版本的作业不予创建 |
| 2 | 作业实例 | 调度器按状态机推进,逐轮指定发言角色 | 轮次序列 | 发言角色是否符合状态机允许 | 禁止迁移即拦截并重新生成该轮 |
| 3 | 当前轮上下文、角色剧本 | 角色智能体生成本轮发言;需要依据时调用检索 | 本轮内容与引用依据 | 是否越出该角色知识边界 | 越界内容重新生成,两次仍越界则终止该对话并计入失败 |
| 4 | 已生成轮次 | 校验澄清清单覆盖情况 | 前提覆盖结果 | 场景要求的前提是否已问全 | 未问全且未达轮次上限时,调度器强制插入追问轮 |
| 5 | 对话全文 | 判定终止类型并执行收尾 | 终止标记 | 轮次是否落在区间内 | 过早收敛或未收敛的对话打标并进复核 |
| 6 | 对话全文 | 校验业务闭环要素逐项满足情况 | 闭环标记 | 关键闭环要素是否缺失 | 缺关键要素的对话退回第 2 步补生成 |
| 7 | 合格对话 | 写入角色标签、阶段标记、异常分支标记与血缘,送工具 8 | 对话样本 | 字段完整性、异常分支配额 | 配额未达标时按缺口定向补生成 |
第 4 步的强制追问是这条流程中唯一由调度器主动干预对话内容的环节。设置它的理由是:模型倾向于尽快给出结论,若不强制,故障排查对话易两三轮收尾;强制追问用于训练「先问清前提」。
本工具链对外暴露的接口分两类:一类管可改的部分,即角色剧本与场景配置;另一类管跑起来之后看得见的部分,即任务、样本与校验报告。两类分开,是因为剧本与场景配置改一次就会改变此后全部样本的生成口径,必须走注册与发布并带版本标识与发布态;任务与样本只在当批次内有效,按任务标识取用即可。
表 2-56 中最值得留意的是末行的校验报告接口:它把生成过程中的控制项实测量直接开放出来,使验收不必只看产出条数——条数能证明产能,证明不了对话是不是按配置的流程走完的。这几项过程量的口径统一为三段:首批试点测得的数值写入测试报告作为基线,此后逐批统计并趋向本章表 2-50 给出的目标值,连续两个批次低于基线时按该表“不达标时的回退”一列处置,回退的是配置而不是判据。
表 2-56 对话模拟生成工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 角色剧本注册与发布 | POST | 角色定义五项、场景适用范围、目标发布态 | 剧本标识与版本、校验结果 |
| 场景配置管理 | POST/GET | 场景编码、角色组合、轮次区间、澄清清单、闭环要素 | 配置版本标识 |
| 对话生成任务创建 | POST | 场景范围、问题种子集合、剧本版本、异常分支配额、目标条数 | 任务标识、预估条数与消耗 |
| 任务状态查询 | GET | 任务标识 | 进度、生成条数、拦截与重生成统计 |
| 对话样本获取 | GET | 任务标识、过滤条件、分页或流式 | 符合表 2-54 的样本,支持 JSON/JSONL/Parquet |
| 闭环与控制项校验报告 | GET | 任务标识 | 闭环要素满足率、过早收敛与未收敛比例、禁止迁移拦截次数 |
验收口径:我方提供七类场景各不少于 2 段完整对话的演示样例(含异常分支样例不少于 3 段)、角色剧本与场景配置说明、接口说明、测试报告。测试报告须给出各场景的闭环要素满足率、澄清清单覆盖率、过早收敛与未收敛比例实测值,以及一次剧本版本变更前后的样本对比。
本工具链产出的是候选对话样本,不是可入集样本。判定权的归属如下:哪些判断由工具作出、哪些保留给人,以及引入多智能体后这条界线的位置。
引入多智能体后界线不变。对话样本能否进入数据集,判定依据仍然是对话质量筛选工具链(工具 8)的七维评分与低质判定,以及其后的人工抽检校正;工具 8 的评分维度、权重、抽检比例与低质判定阈值不因为上游改用多智能体生成而调整。工具 6 的调度器只负责生成过程是否合规,不负责样本质量是否合格,两者是两道独立的关口,前一道通过不代表后一道可以省略。
本工具链涉及的人工介入点有五处,见表 2-57。五处之中,第一处与第五处是策略性的,走策略变更会签;其余三处是作业性的,走复核与裁决队列。两类的区别在于前者改变的是此后全部样本的生成口径,后者只处置当前这一批。
表 2-57 对话模拟生成环节的人工介入点
| 介入点 | 触发条件 | 承办 | 判定内容 | 留痕 | 引入智能体后有无变化 |
|---|---|---|---|---|---|
| 剧本与场景配置的发布 | 新建或修订角色剧本、场景配置、控制项配置 | 项目组与甲方业务口会签 | 角色知识边界是否符合业务实际;澄清清单是否可在对话中确认;轮次区间是否合理 | 配置版本号、变更项、会签意见、回滚路径 | 无变化 |
| 过早收敛与未收敛样本的复核 | 轮次落在配置区间之外 | 复核岗 | 该对话是内容问题还是配置问题 | 原标记、复核判定、处置去向 | 无变化 |
| 异常终止样本的归池确认 | 终止类型为依据不足或超出授权 | 复核岗 | 是否作为"拒答与转交"类样本保留 | 终止类型、归池结论、理由 | 无变化 |
| 失败对话的归因确认 | 同一轮重生成两次仍不通过 | 复核岗,必要时转业务口 | 属剧本过严、场景配置不符,还是生成质量问题 | 作业轨迹、拦截原因分类、归因结论 | 无变化 |
| 控制项阈值与配额的调整 | 表 2-50 任一观测量持续低于基线 | 项目组与甲方业务口会签 | 调整配置还是调整目标,调整幅度与生效范围 | 调整前后取值、依据的实测数据、生效批次、回滚路径 | 无变化 |
剧本库与场景配置的改进是有边界的迭代,不是自行演化。路径固定为四步:质量筛选与控制项校验报告产出改进建议,复核与业务口形成会签意见,发布新版本的剧本库或场景配置并登记版本号与回滚路径,此后生成的样本记录新版本标识。既有样本不因剧本改版而回溯重写,需要对比新旧剧本效果时采用重放方式产出对照批次,两批样本分别标记剧本版本后比较,而不是把旧样本改成新口径。回滚的触发判据写在发版说明里,回滚后在途作业按当前批次完成、下一批次起使用回退版本。
还有一处范围需要界定:本工具链中的智能体用于项目组的加工生产作业,产出的是数据集样本。它不构成交付给甲方的智能体应用,也不替代甲方场景中的任何业务系统。本包的交付范围是数据集加工生产、质量评测与场景验证服务。
本工具的入参契约比其余七个多一组:角色与控制项配置。六项控制的配置口径见本章表 2-47,其可验证判据见表 2-50;本小节给出接口形态与异常码。
表 2-58 工具 6 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.scene_codes` | 列表 | 是 | 本批生成的业务场景编码(七类见本章表 2-53) |
| `selector.seed_questions` | 引用 | 是 | 问题种子集合引用与版本 |
| `params.script_version` | 引用 | 是 | 角色剧本版本;须为生效版本,已回滚版本不予创建作业 |
| `params.scene_config_version` | 引用 | 是 | 场景配置版本,含角色组合、轮次区间、澄清清单与闭环要素 |
| `params.control_overrides` | 结构 | 否 | 六项控制的覆盖项(见本章表 2-47),缺省取场景配置中的取值 |
| `params.anomaly_quota` | 结构 | 否 | 异常分支配额,缺省取 10%—15% 区间的中值 |
| `params.target_count` | 整数 | 是 | 本批目标条数 |
| `params.random_seed` | 整数 | 否 | 重放用随机种子;缺省由工具生成并随作业记录留存 |
```json { "client_request_id": "REQ-2027Q2-DLG-0054", "selector": {"scene_codes": ["设备故障诊断", "工艺审查"], "seed_questions": "QSEED-DLG-2027Q2@v1"}, "params": { "script_version": "SCRIPT-2027Q2-v3", "scene_config_version": "SCNCFG-2027Q2-v2", "control_overrides": {"turn_range": {"设备故障诊断": [6, 12]}, "clarify_retry_limit": 2}, "anomaly_quota": {"min_ratio": 0.10, "max_ratio": 0.15}, "target_count": 8000, "random_seed": 20270415 }, "output": {"dataset_ref": "DS-SFT-2027Q2/dialog", "formats": ["jsonl"]} } ```
受理返回除任务标识外,回传五项重放因子:剧本版本、场景配置版本、模板库版本、所用模型的网关登记标识与版本、随机种子。五项齐备是本工具可重放的前提(口径见本章 4.3.3 节)。
表 2-59 工具 6 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC06-101` | 剧本版本已回滚 | 参数类 | 所传版本、当前生效版本 | 不受理作业 |
| `TC06-401` | 场景配置的澄清清单含对话中无法确认的前提 | 策略类 | 该前提项 | 本批该场景暂停,清单经会签修订后重跑(介入点见本章表 2-57) |
| `TC06-301` | 禁止的阶段迁移 | 执行类(轮级) | 迁移方向、所依据的状态机 | 拦截并重新生成该轮,上限两次 |
| `TC06-302` | 同一轮重生成两次仍不通过 | 执行类(条目级) | 拦截原因分类 | 终止该对话并计入失败;失败对话不入集,作业轨迹保留供归因 |
| `TC06-402` | 异常分支配额未达下限 | 策略类 | 当前占比、下限 | 按缺口定向补生成,不以正常对话顶替配额 |
| `TC06-403` | 某控制项观测量持续低于基线 | 策略类 | 观测量、实测值与基线 | 按本章表 2-50 的回退列处置;调整阈值走策略会签 |
接口层面可当场核对的点有三条:受理返回含五项重放因子;取任一条对话样本按五项因子重放,产出可与原样本逐字比对;构造一个剧本版本为已回滚的请求,接口须拒绝受理。质量口径按本章 4.3.9 节执行。
招标文件要求支持将结构化工单、客服记录和运维报告转换为多轮对话样本,转换过程须覆盖现象描述、澄清追问、诊断分析、处置建议、结果确认和复盘总结六个环节。
工单与对话的结构差异是这个工具要解决的核心问题。一张 SOS 服务工单的字段大致是:报修时间、设备与矿别、故障现象(一段文字)、派工记录、更换备件清单、处理结果、闭单时间。这些字段描述的是"发生了什么"和"做了什么",缺的恰恰是中间那段:为什么从这个现象判断到这个部件,判断过程中确认了哪些前提。转写不是把工单字段分行排成对话的样子,而是把工单里有的事实放到对应的对话段落里,把工单里没有而对话必须有的环节按规则补出来,并明确标出哪些是补的。
六段与工单字段的映射关系如表 2-60。
表 2-60 工单字段到对话六段的映射
| 对话段落 | 工单侧来源字段 | 转写规则 | 是否需要补全 |
|---|---|---|---|
| 现象描述 | 故障现象、报修时间、设备与矿别、报警记录(若已配对) | 以用户角色第一人称改写,保留现象原文的关键词与数值,去掉工单格式化表述 | 否,以原文为准 |
| 澄清追问 | 工单中的设备型号、测点、工况、履历等结构化字段 | 把工单上"已经填好"的字段反向构造成助手的追问与用户的回答 | 部分需补:工单未记录的前提按场景澄清清单补出追问,但用户的回答标记为"推定" |
| 诊断分析 | 派工记录中的检查项、更换备件清单、处理结果 | 由备件与检查项反推判断路径,以助手或专家角色给出分析 | 是,判断依据须补全并标记 |
| 处置建议 | 处理结果、更换备件、工时记录 | 转为维修人员或专家给出的处置建议 | 否,以工单记录为准 |
| 结果确认 | 闭单时间、处理结果确认、客户签认 | 转为用户确认与反馈 | 否 |
| 复盘总结 | 返修记录、同类工单统计(若有) | 由助手给出要点总结与预防建议 | 是,须补全并标记 |
表中"是否需要补全"一列是本工具的核心约束。现象描述、处置建议、结果确认三段有工单事实支撑,直接转写;澄清追问、诊断分析、复盘总结三段在工单里基本没有,必须补。补出来的内容如果不加标记地混进训练数据,训练出来的模型会把"推定的判断路径"当成"企业的真实判断路径",这是一种难以事后察觉的数据污染。工具链因此在样本的每一轮上标记该轮内容的事实来源等级,分三级:工单原文、工单字段推导、模型补全。三级比例在数据卡中统计,模型补全比例过高的样本不进训练集的主干部分。
招标文件要求支持对工单内容进行合理补全,生成澄清问题、判断依据、技术解释、维修建议和用户确认内容。
"合理"二字是约束而不是形容词。补全须有依据,依据来源有三类:场景配置中的澄清清单(补澄清问题)、领域知识库检索结果(补判断依据与技术解释)、同类工单的统计规律(补维修建议与预防要点)。无依据的补全不允许产生。若某项补全既检索不到知识依据、也没有同类工单支撑,该轮内容留空并把样本标记为"转写不完整",进人工补充队列。五类补全内容的依据与标记方式如表 2-61。
表 2-61 五类补全内容的生成依据与可信度标记
| 补全内容 | 生成依据 | 可信度标记 | 无依据时的处理 |
|---|---|---|---|
| 澄清问题 | 场景澄清清单;工单已有字段反推 | 高(清单驱动,确定性生成) | 清单未覆盖的前提不补 |
| 判断依据 | 领域知识库检索结果,须带出处 | 按检索接地性分高/中;无出处不生成 | 留空并标记"判断依据待补" |
| 技术解释 | 手册与规程检索结果,须带出处 | 按检索接地性分高/中 | 留空 |
| 维修建议 | 工单处理结果为主,同类工单统计为辅 | 工单原文支撑为高,统计推导为中 | 以工单原文为准,不作统计推导 |
| 用户确认内容 | 工单闭单记录与客户签认 | 高 | 按"已闭单未记录确认"表述,不编造客户原话 |
补全环节的大模型调用经统一模型网关,提示词中明确约束"只能使用提供的工单字段与检索到的依据,不得引入外部常识性数值"。这条约束在实测中不能完全杜绝模型补数值,因此在样本质检阶段叠加一道规则校验:对话中出现的型号、数值、标准号逐一回查工单字段与检索依据,查不到的直接标记未接地,未接地项超过阈值的样本转人工复核。本环节的承诺落在未接地内容的可识别与可控上:未接地项按规则逐条标出并给出实测标出率,模型补全比例与未接地率在数据卡与质量报告中公布,并随提示词约束与检索覆盖的改进逐步降低。
2-12 工单到六段对话的转写与事实来源分级
图 2-12 工单到六段对话的转写与事实来源分级。数据来源:招标文件 3.2.3.4.2 节第(1)(2)条;映射口径见本章表 2-60、表 2-61。
招标文件要求支持对原始业务数据进行脱敏,能够识别并替换姓名、电话、编号、地点、客户名称、合同编号、设备编码等敏感信息。
脱敏在本工具中不是一道可选的后处理,而是样本出加工域的前置条件。工单与售后记录中含有矿方联系人姓名与电话、矿别与井口名称、合同编号、设备出厂编号。这些信息一旦进入训练数据,就随模型扩散,事后无法回收。工具链的处置原则是:敏感实体在数据进入对话构造流程之前即完成替换,替换后的样本才流向后续环节;原值与替换值的映射表单独存放,访问受控且与样本库物理隔离,仅供必要的追溯使用。
七类敏感实体的识别方法与替换策略如表 2-62。识别采用规则与模型双通道:规则通道处理有格式特征的实体(电话、合同编号、设备编码、工单号),模型通道处理无格式特征的实体(姓名、地点、客户名称),两通道结果取并集。这里取并集而不是取交集,是因为在脱敏这件事上漏掉一个的代价远高于多替换一个。
表 2-62 七类敏感实体的识别与替换
| 实体类型 | 识别方法 | 替换策略 | 一致性要求 |
|---|---|---|---|
| 姓名 | 模型命名实体识别+人员名册比对(名册仅用于识别,不随样本留存) | 替换为角色化代称,如"机电队班长""矿方联系人" | 同一对话内同一人替换为同一代称 |
| 电话 | 规则(号段与位数模式) | 替换为固定占位格式 | 无需跨样本一致 |
| 编号(工单号、图号、炉次号等) | 规则(前缀与位数模式)+字段位置 | 保留类型前缀,序列部分替换为伪随机序列 | 同一数据集内同一原值映射到同一伪值,保证关联关系不断 |
| 地点(矿别、井口、工作面名称) | 模型识别+地名词典 | 替换为类型化代称,如"某矿某工作面" | 同一对话内一致 |
| 客户名称 | 模型识别+客户名册比对 | 替换为"某矿业集团""某煤矿" | 同一数据集内一致 |
| 合同编号 | 规则 | 保留年份段,其余替换 | 同一数据集内一致 |
| 设备编码(出厂编号、资产编号) | 规则+主数据比对 | 保留型号段,流水段替换 | 同一数据集内一致,保证同一设备的多条样本可关联 |
"一致性要求"这一列是脱敏设计中最容易被忽略而后果最明显的一项。设备编码如果每次出现都替换成不同的伪值,同一台设备的多条工单样本之间的关联关系就被切断了,而这种关联恰恰是故障分析类样本的价值所在。因此脱敏不是逐条独立替换,而是在数据集范围内维护一张稳定的映射表,保证"同一原值在同一数据集内映射到同一伪值"。映射表随数据集版本管理,数据集版本冻结后映射关系不再变动。
脱敏记录作为独立产出物输出,内容包括:样本标识、被替换实体的类型与位置、替换前后的值指纹(不记原值明文)、识别通道、识别置信度、操作时间。脱敏效果以抽检方式核验:每批次抽取不少于 100 条样本做人工核验,统计漏替换项与过度替换项。脱敏环节的承诺由四条构成:双通道取并集、抽检覆盖、漏替换项逐条记录、当批整体重跑;单批次抽检发现漏替换项时,该批次不得出加工域,须重新脱敏并复检通过后方可流转。这是本环节的回退路径,也是硬性闸门。
工具 7 的作业流程按七步推进:工单导入与字段映射校验;可转写性判定(现象描述与处置结果两项字段齐备方可转写,否则列入不可转写清单);敏感实体识别与替换(脱敏在转写之前完成);按表 2-60 做六段结构映射;按表 2-61 执行补全并逐项标记依据与可信度;事实来源三级标注与规则校验回查;输出样本并附脱敏记录,送工具 8 筛选。
一条工单转写的完整样例(工单字段、转写结果与脱敏记录三段对照,内容已脱敏):
| 工单字段 | 原始内容(脱敏后) |
|---|---|
| 工单号 | SOS-2026-0xxxxx |
| 报修时间 | 2026-07-14 06:20 |
| 设备与矿别 | 刮板输送机 SGZ-xxx/xxx,某矿业集团某矿某工作面,出厂编号 SGZ-xxxx-0xxx |
| 故障现象 | 机尾处链条跳动,有异响,运行电流偏高 |
| 派工记录 | 现场检查链条张紧度、机尾滚筒、刮板螺栓 |
| 更换备件 | 刮板螺栓 12 套,链条连接环 2 个 |
| 处理结果 | 调整链条张紧度,更换松动刮板螺栓与变形连接环,试运行正常 |
| 闭单时间 | 2026-07-14 15:40 |
转写结果(节选前四轮):
| 轮次 | 角色 | 来源等级 | 发言 |
|---|---|---|---|
| 1 | 用户 | 一级·工单原文 | 机尾这边链条跳得厉害,还有异响,看电流也比平时高一些。 |
| 2 | 助手 | 二级·字段推导 | 请确认几项信息:这台设备的型号和出厂编号、异响是连续的还是间断的、链条张紧度最近一次调整是什么时候? |
| 3 | 用户 | 二级·字段推导,标记推定 | 型号是 SGZ 系列,编号在铭牌上。异响是间断的,跟着链条走。张紧度上个检修周期调过。 |
| 4 | 维修人员 | 三级·模型补全,依据:维修手册检索 | 链条跳动伴异响且电流偏高,通常先查张紧度与机尾滚筒,再查刮板与连接件是否松动变形。现场测了张紧度偏松,机尾滚筒转动正常,发现 12 套刮板螺栓松动、2 个连接环变形。 |
脱敏记录(节选):
```json { "dialog_id": "DLG-SOS-2026-004471", "desensitize_record_id": "DSR-004471", "entities": [ {"type": "客户名称", "position": "工单.设备与矿别", "channel": "模型+名册", "confidence": 0.97, "replacement": "某矿业集团某矿", "value_fingerprint": "sha256:…"}, {"type": "地点", "position": "工单.设备与矿别", "channel": "模型+地名词典", "confidence": 0.94, "replacement": "某工作面", "value_fingerprint": "sha256:…"}, {"type": "设备编码", "position": "工单.设备与矿别", "channel": "规则+主数据", "confidence": 1.0, "replacement": "SGZ-xxxx-0xxx", "mapping_scope": "数据集内一致", "value_fingerprint": "sha256:…"}, {"type": "编号", "position": "工单.工单号", "channel": "规则", "confidence": 1.0, "replacement": "SOS-2026-0xxxxx", "mapping_scope": "数据集内一致", "value_fingerprint": "sha256:…"} ], "source_level_distribution": {"一级": 0.38, "二级": 0.41, "三级": 0.21}, "ungrounded_items": 0, "operated_at": "2027-01-22T14:05:00+08:00" } ```
这条样例的三级来源分布为 38%/41%/21%,模型补全部分占比约五分之一,落在可入训练集主干的范围内。设备编码的 mapping_scope 标为"数据集内一致",因此同一台设备在其他工单转写样本中会被替换为同一个伪编码,跨样本的设备关联关系得以保留。
表 2-63 结构化工单转对话工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 工单导入与字段映射 | POST | 工单数据源、字段映射配置、场景编码 | 导入条数、字段缺失统计、不可转写清单 |
| 转写任务创建 | POST | 工单范围、六段转写配置、补全策略、目标条数 | 任务标识、预估条数 |
| 对话样本获取 | GET | 任务标识、事实来源等级过滤、分页或流式 | 符合表 2-54 的样本,含逐轮来源等级标记 |
| 脱敏任务与结果 | POST/GET | 样本范围、实体类型开关、一致性映射域 | 脱敏记录、漏替换抽检结果 |
| 脱敏映射追溯 | GET | 伪值、授权凭证 | 原值(仅限授权角色,调用全程审计) |
| 人工补充队列 | GET/POST | 样本范围、补充内容 | 待补清单;补充后的样本版本 |
| 转写质量报告 | GET | 批次、场景 | 三级来源占比、未接地率、不可转写比例与原因分布 |
验收口径:我方提供演示样例一套(覆盖六段转写、三类补全依据、七类实体脱敏,含一例"无依据留空"与一例"漏替换重跑")、输入输出样例、字段映射与脱敏配置说明、接口说明、测试报告。测试报告须给出三级来源占比、未接地率、脱敏抽检漏替换项统计、脱敏映射一致性验证记录(同一设备跨样本可关联性抽查)。
工单转写的输入与其余七个工具有一处本质不同:它来自甲方的真实业务记录,其中既有可直接转写的事实,也有不能原样外露的客户与人员信息,还有工单上本来就没有、只能靠补全得到的部分。这三者的口径须在任务创建时一并固定,作业才允许开工。表 2-64 中映射版本与脱敏规则版本因此同为必填,且只传版本引用——前者决定工单字段落到六段对话的哪一段(口径见本章表 2-60),后者决定七类敏感实体的识别与替换方式(见表 2-62);两者都带版本,是为了让任一条转写样本日后可按当时的规则重放,而不是只能看到替换后的结果。
补全策略一列对应表 2-61 的五类补全内容,逐类配置是否生成以及如何标记可信度,缺省按工单类型预置;`require_six_stages` 固定为真,不接受置假。读表时“必填”一列是受理门槛,“缺省与约束”一列给出未显式传参时的实际行为。这张表支撑的承诺是:转写既不丢工单事实,也不把推定内容充作企业的真实判断——补出来的部分一律带可信度标记,无依据的补全按表 2-65 的 `TC07-403` 直接不生成。
表 2-64 工具 7 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.work_order_ids` | 列表或引用 | 是 | 工单标识集合或批次引用;来源含服务工单、售后记录、运维报告、维修闭环记录 |
| `params.mapping_version` | 引用 | 是 | 工单字段到六段对话的映射版本(口径见本章表 2-60) |
| `params.desensitize_rule_version` | 引用 | 是 | 脱敏规则版本(七类敏感实体见本章表 2-62) |
| `params.completion_policy` | 结构 | 否 | 五类补全内容的启用与可信度标记口径(见本章表 2-61),缺省按工单类型预置 |
| `params.require_six_stages` | 布尔 | 否 | 固定为真;转写过程须覆盖六段 |
```json { "client_request_id": "REQ-2027Q2-WO2D-0073", "selector": {"work_order_ids": {"batch_ref": "WO-SOS-2027Q1", "filter": {"has_closure": true, "limit": 4000}}}, "params": { "mapping_version": "WO2D-MAP-v1.4", "desensitize_rule_version": "DESENS-2027.01", "completion_policy": {"澄清问题": "生成并标记为补全", "判断依据": "仅在工单含依据时生成", "技术解释": "生成并标记为补全"}, "require_six_stages": true }, "output": {"dataset_ref": "DS-SFT-2027Q2/wo-dialog", "formats": ["jsonl"]} } ```
表 2-65 工具 7 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC07-401` | 工单无处置结论 | 策略类 | 工单标识、缺失段 | 不转写为完整六段对话;可作为前四段的半闭环样本单独归池并标记 |
| `TC07-402` | 脱敏规则命中但无替换代号可用 | 策略类 | 实体类型、所依据规则版本 | 该条拦截不输出;不以原值输出也不以空值掩盖 |
| `TC07-201` | 工单与运维报警无事件级配对 | 输入类 | 工单标识 | 该条按无报警上下文转写,配对缺口在数据卡中如实统计 |
| `TC07-403` | 补全内容无事实来源 | 策略类 | 补全项 | 该补全项不生成;补全只在有依据时进行,可信度标记随样本留存 |
| `TC07-301` | 六段覆盖不全 | 执行类(条目级) | 缺失的段 | 该条退回补生成一次;仍不全的归入半闭环池 |
| `TC07-101` | `require_six_stages` 被置为假 | 参数类 | 该字段取值 | 拒绝受理 |
接口层面可当场核对的点:取任一条转写样本,脱敏记录逐项可查且代号映射表不随样本导出;取一条无处置结论的工单,返回须为半闭环样本并带标记,而不是补一个结论凑满六段。质量口径按本章 4.4.5 节执行。
工具 6 的模拟生成样本与工具 7 的工单转写样本都要经本工具筛选后才进数据集,本工具是多轮对话数据的出口闸门。
招标文件要求支持对话质量筛选和排序,能够从相关性、完整性、信息密度、指令遵循、业务合理性、角色一致性、安全合规性七个维度进行评分。
七个维度若只给一句定义就打分,不同评分者(无论是人还是模型)给出的分数不可比。工具链的做法是为每个维度定义三档评分锚点:5 分、3 分、1 分各给出可判别的描述,2 分与 4 分为相邻档之间的过渡。锚点越具体,评分的一致性越高。七个维度的定义、锚点与权重如表 2-66。
表 2-66 七个质量维度的定义、评分锚点与权重
| 维度 | 定义 | 5 分锚点 | 3 分锚点 | 1 分锚点 | 权重 |
|---|---|---|---|---|---|
| 相关性 | 各轮回复是否针对当前问题与上文 | 每轮均直接回应上一轮,无偏题 | 有一轮偏离但随后被纠回 | 多轮明显偏题或回答与问题无关 | 0.18 |
| 完整性 | 业务闭环要素是否齐备 | 场景要求的闭环要素全部满足 | 缺一项非关键闭环要素 | 缺关键闭环要素,如未给出结论或未说明依据 | 0.20 |
| 信息密度 | 单位轮次承载的有效信息量 | 每轮都推进对话,无空转轮 | 有一至两轮为客套或重复 | 多轮无实质信息,对话靠凑轮数撑长 | 0.12 |
| 指令遵循 | 是否按设定的格式与约束输出 | 格式、角色发言规则、引用要求全部符合 | 有轻微格式偏差 | 违反角色发言规则或未按要求给出依据 | 0.12 |
| 业务合理性 | 判断与处置是否符合本企业规程与工程常识 | 判断路径与处置建议均合规程,数值合量级 | 有一处表述不严谨但不影响结论 | 存在违反规程的判断或明显不合工程常识的数值 | 0.20 |
| 角色一致性 | 各角色是否守住剧本设定的知识边界与风格 | 各角色始终守界,风格区分明显 | 有一轮越界但无实质影响 | 用户角色说出只有专家才知道的判据,或角色风格混同 | 0.12 |
| 安全合规性 | 是否含敏感信息、越权内容或不当表述 | 无任何敏感信息与越权内容 | 有疑似敏感表述但不构成泄露 | 含未脱敏敏感信息或越权内容 | 0.06 |
综合得分按权重加权计算,但安全合规性维度另设否决规则:该维度得 1 分的样本无论综合得分多高,一律不进数据集并回退至脱敏环节。这种一票否决的设置只给安全合规一项,其余维度都按加权处理。其余维度低分意味着样本质量差,可以通过筛选控制;安全合规低分意味着数据有泄露风险,性质不同。
权重取值在首批样本上以人工全评结果校准:取 1,000 条样本由评分人逐条给七维分与总体可用性判断,以人工总体判断为目标拟合权重,再由业务口会签确认。校准结果与会签记录写入评分规则的版本记录。
招标文件要求支持低质量对话过滤,能够识别角色混乱、上下文断裂、重复应答、答非所问、敏感内容、解决方案缺失和业务逻辑不闭环七类问题。
七类问题与七个评分维度不是一一对应关系:评分维度回答"这条对话有多好",低质识别回答"这条对话坏在哪里"。前者用于排序与采样,后者用于定位与修复。检测口径如表 2-67。
表 2-67 七类低质量问题的检测规则与处置
| 问题类型 | 检测通道 | 检测规则 | 处置 |
|---|---|---|---|
| 角色混乱 | 规则+模型 | 规则查发言角色序列是否违反状态机允许的发言方;模型判某角色发言内容是否超出其知识边界 | 可定位到具体轮次的,回退至该轮重新生成;全局混乱的样本废弃 |
| 上下文断裂 | 模型 | 逐轮判断本轮是否与上文衔接;指代消解失败计为断裂 | 断裂处之前的部分保留为短对话,断裂处之后截断;截断后轮数低于下限则废弃 |
| 重复应答 | 规则 | 相邻或近邻轮次文本相似度超阈值;同一问题被重复追问超过上限 | 合并重复轮;合并后轮数低于下限则废弃 |
| 答非所问 | 模型 | 回复与上一轮问题的语义相关性低于阈值 | 该轮重新生成,重新生成两次仍不达标则废弃 |
| 敏感内容 | 规则+模型 | 敏感实体识别规则全量扫描;模型判不当表述 | 回退至脱敏环节;重新脱敏并复检通过后方可进入 |
| 解决方案缺失 | 规则 | 闭环要素中"给出结论或处置建议"一项未满足 | 可补的转人工补充队列;工单来源确无处置记录的样本归入未闭环案例池,单独标记,不混入主干训练集 |
| 业务逻辑不闭环 | 规则+模型 | 闭环要素逐项校验;模型判处置建议与诊断结论是否矛盾 | 结论与建议矛盾的样本废弃;仅缺非关键要素的转补充队列 |
未闭环案例池的设置理由如下。工单里确实存在至今没有闭环的案例:报修了、派工了,但最终原因没查清。这类案例不是数据缺陷,它反映的是现场的真实状况,对训练模型识别"信息不足、需要进一步确认"的情形有价值。工具链把这类样本单独归池并显式标记,既不当作合格样本混入主干,也不当作废品丢掉。
招标文件要求支持多模型投票和人工抽检,降低单一模型评分偏差。
单一模型打分有两种系统性偏差:一是对长回复给高分的长度偏差,二是对与自身生成风格相近的文本给高分的同源偏差。后者在本项目尤其需要防范。若用同一个模型既生成对话又评价对话,评分结果会系统性偏高,筛选等于失效。
工具链的处置是三条并行。其一,评分模型与生成模型不同源:生成任务与评分任务在模型网关侧配置为不同的模型集合,配置冲突时任务不予创建。其二,多模型投票:评分由不少于 3 个模型独立进行,综合得分取中位数而非均值,中位数对单个模型的异常打分不敏感;各模型打分差异超过阈值的样本转人工评分。其三,人工抽检校验:每批次按不低于 3% 的比例随机抽检,由评分人独立给出七维分,与模型评分比对,统计各维度的偏差方向与幅度。
抽检结果的用法不止于发现问题样本,更重要的是校正模型评分:若某一维度上模型评分系统性高于人工评分,则在该维度上对模型分做偏差修正,修正量按抽检统计确定并记入评分配置版本。这一校正每月执行一次。模型评分与人工评分的一致性以可核算的方式管理:各维度偏差按月统计并公布,经偏差修正后趋向收敛;某一维度的偏差连续两个周期超过设定幅度时,该维度改为以人工评分为准,模型分仅作参考。这是本环节的回退路径。
2-13 双通道评分、投票与抽检校正
图 2-13 双通道评分、投票与抽检校正。数据来源:招标文件 3.2.3.4.3 节第(1)(3)条;维度与权重见本章表 2-66。
招标文件要求支持按分数、场景、任务类型、难度和来源分层采样,形成均衡对话训练集。
分层采样解决的是分布失衡。若只按分数从高到低取,会得到一批集中在少数几个容易生成的场景上的高分样本:产品选型与制度问答类对话容易生成得好,故障诊断类不容易,按分排序的结果就是故障诊断类样本被挤出去。而故障诊断恰恰是本项目最需要的一类。
五个分层维度的配额设定方式如表 2-68。配额不是一次定死:首轮按表中口径设定,每一轮采样完成后统计实际分布与目标分布的偏差,偏差超过设定幅度的层在下一轮优先补生成。
表 2-68 分层采样的五个维度与配额口径
| 分层维度 | 分层方式 | 配额口径 | 偏差处置 |
|---|---|---|---|
| 分数 | 按综合得分分四档:优(4.5 及以上)、良(4.0–4.5)、中(3.5–4.0)、低(3.5 以下) | 优良两档合计不低于 70%;中档保留不超过 30%;低档不入训练集 | 优档占比过高说明生成偏易,须提高难度配置 |
| 场景 | 七类业务场景 | 按场景对数据集的需求强度分配,故障诊断与工艺审查两类各不低于 20% | 单一场景占比超过 30% 时下一轮限额 |
| 任务类型 | 咨询类、诊断类、审查类、协同类 | 诊断类与审查类合计不低于 55% | 同上 |
| 难度 | 按澄清前提数量与推理步数分三档 | 中高难度合计不低于 60% | 低难度占比超限时下一轮提高难度配置 |
| 来源 | 模拟生成/工单转写 | 工单转写占比不低于 30%,按场景分别设定;工单可用量不足时如实记录缺口,不以模拟样本充抵 | 转写占比不达标的场景在数据卡中标注覆盖缺口 |
来源一行的口径如下:工单转写样本的上限由甲方历史工单的实际可用量决定,而服务工单与运维报警之间的事件级配对本身需要回填建立。因此"工单转写占比不低于 30%"是一个目标口径而非承诺值,达不到时在数据卡上如实记录缺口与原因,不用模拟生成样本顶替数量——数据集的真实性比配比表好看更重要。
招标文件要求支持输出筛选报告,包含通过率、拒绝原因、低质样本清单和修复建议。
筛选报告按批次生成,同时按场景、来源与数据集版本维度汇总,报告结构如表 2-69。
表 2-69 筛选报告的结构
| 报告章节 | 内容 |
|---|---|
| 批次概况 | 批次标识、样本总数、来源构成、评分配置版本、规则版本、评分模型集合 |
| 通过率 | 总体通过率、按场景/来源/难度分的通过率、与上一批次对比 |
| 七维得分分布 | 各维度得分直方图与均值、中位数;偏差修正前后对照 |
| 拒绝原因 | 按表 2-67 七类问题统计拒绝数与占比;安全合规否决单列 |
| 低质样本清单 | 逐条列样本标识、主要问题类型、问题定位到的轮次、拟处置方式 |
| 修复建议 | 按问题类型聚合的改进指向:剧本、场景配置、补全策略、脱敏规则、评分规则 |
| 分层分布 | 五个分层维度的实际分布与目标分布对照、偏差超限层清单 |
| 待补缺口 | 工单可用量不足导致的来源配比缺口、人工补充队列积压情况 |
一段筛选报告的修复建议示例(格式化节选):
| 问题聚类 | 定位 | 指向 | 建议 |
|---|---|---|---|
| 1|角色一致性低分集中于设备故障诊断场景(占该场景拒绝样本的 41%) | 低分样本中 34 条的问题轮次为用户角色发言轮,用户在第 2–3 轮即说出报警测点名称与振动值 | 用户角色剧本的知识边界设定过宽,允许用户知道测点级信息 | 修订用户角色剧本,将测点名称与具体数值移出用户知识边界,由维修人员角色在第 4 轮之后给出;修订后走剧本灰度流程,在 200 条样本上比对该维度得分再放量 |
| 2|解决方案缺失集中于工单转写来源(占该来源拒绝样本的 29%) | 对应工单的处理结果字段为空或仅填"已处理" | 数据源字段完整度问题,非转写逻辑问题 | 该部分工单不进主干训练集,归入未闭环案例池;同时将字段缺失清单反馈至数据采集环节,作为工单填报质量的改进输入 |
修复建议逐条须指出"定位到哪些样本的哪一轮"与"指向哪个配置项";不写"建议进一步优化提示词"这类无法执行的建议。每条建议须可直接对应到一项具体配置的修改。
工具 8 的作业流程按七步推进:接收待筛选样本并校验必备字段;规则通道全量扫描(角色序列、重复度、闭环要素、敏感实体);模型通道不少于 3 个模型独立七维打分并取中位数;按评分规则版本合并判定,安全合规维度执行否决;按表 2-67 定位低质问题并分流(重生成、截断、补充队列、未闭环案例池、废弃池);按表 2-68 五维配额执行分层采样;生成筛选报告并更新数据卡。人工抽检与偏差校正作为旁路并行执行,按月汇总。
一条评分结果的样例(对应 4.3.4 节的设备故障诊断对话):
```json { "dialog_id": "DLG-SIM-ZBJK-2027Q1-002286", "rule_channel": {"role_sequence_valid": true, "repetition_max_sim": 0.41, "closure": {"部件级判断": true, "证据等级": true, "处置建议": true, "检查顺序": true, "需现场确认项": true}, "sensitive_hits": 0}, "model_channel": { "models": 3, "per_dimension_median": {"相关性": 4.7, "完整性": 4.6, "信息密度": 4.3, "指令遵循": 4.8, "业务合理性": 4.4, "角色一致性": 4.5, "安全合规性": 5.0}, "max_inter_model_gap": 0.7 }, "weighted_score": 4.56, "grade": "优", "veto": false, "issues": [], "stratify_tags": {"场景": "设备故障诊断", "任务类型": "诊断类", "难度": "高", "来源": "模拟生成"}, "sampling_result": "入选", "human_audit": {"sampled": true, "auditor_role": "评分人", "per_dimension": {"相关性": 4.5, "完整性": 4.5, "信息密度": 4.0, "指令遵循": 5.0, "业务合理性": 4.0, "角色一致性": 4.5, "安全合规性": 5.0}, "max_deviation_dimension": "业务合理性", "deviation": 0.4} } ```
这条样例的人工抽检结果显示"业务合理性"维度模型分高于人工分 0.4 分。单条偏差不作处理,按月汇总后若该维度偏差方向一致且幅度超过设定值,则对该维度的模型分统一做偏差修正;连续两个周期超限则该维度改以人工评分为准。该条体现 4.5.3 节校正与回退:单条偏差汇总后超限则修正模型分或改以人工评分为准。
一条低质样本清单行的样例:
| 样本标识 | 综合分 | 主要问题 | 问题轮次 | 定位说明 | 拟处置 |
|---|---|---|---|---|---|
| DLG-SIM-ZBJK-2027Q1-002519 | 3.1 | 角色一致性 | 第 3 轮 | 用户角色说出"油池温度测点报 78 度",测点名称与具体数值超出用户知识边界 | 回退至第 3 轮重新生成;该原因累计后触发剧本修订 |
| DLG-SOS-2026-004503 | 2.8 | 解决方案缺失 | 第 6 轮 | 对应工单处理结果字段为"已处理",无具体处置内容,复盘段无依据可补 | 归入未闭环案例池并显式标记;字段缺失反馈至采集环节 |
表 2-70 对话质量筛选工具链的接口
| 接口 | 方法 | 入参要点 | 出参要点 |
|---|---|---|---|
| 评分规则注册与发布 | POST | 七维定义与锚点、权重、否决规则、目标发布态 | 规则版本标识、校验结果 |
| 筛选任务创建 | POST | 样本范围、评分规则版本、评分模型集合、抽检比例 | 任务标识、预估消耗 |
| 评分结果获取 | GET | 任务标识、得分区间过滤、分页或流式 | 七维分、综合分、各模型原始分、问题类型标记 |
| 低质样本清单 | GET | 任务标识、问题类型过滤 | 样本标识、问题轮次、拟处置方式 |
| 人工评分提交 | POST | 样本标识、七维人工分、评分人角色 | 入库结果、与模型分的偏差 |
| 偏差统计与修正 | GET/POST | 统计周期、维度 | 各维度偏差方向与幅度;修正量写入结果 |
| 分层采样执行 | POST | 配额配置、目标条数、偏差容许 | 采样结果、实际与目标分布对照 |
| 筛选报告导出 | GET | 批次/场景/来源/数据集版本 | 符合表 2-69 结构的报告 |
验收口径:我方提供演示样例一套(覆盖七维评分、七类低质识别、三模型投票、人工抽检比对、分层采样与一份完整筛选报告)、输入输出样例、评分规则与配额配置说明、接口说明、测试报告。测试报告须给出权重校准记录与业务口会签证明、模型分与人工分的逐维偏差实测值、一次偏差修正的前后对照,以及一次分层偏差超限后的补生成记录。
本工具是对话类样本进入数据集前的最后一道,契约上要求出参必须给出逐维评分与低质类型,不接受只回一个总分。只给总分的接口无法支撑返工——不知道是哪一维不合格,就不知道该退回哪一个上游环节。
表 2-71 工具 8 的任务创建入参契约
| 字段 | 类型 | 必填 | 缺省与约束 |
|---|---|---|---|
| `selector.dialog_ids` | 列表或引用 | 是 | 待筛选对话集合;含模拟生成与工单转写两类来源 |
| `params.scoring_rule_version` | 引用 | 是 | 七维评分规则与权重版本(见本章表 2-66) |
| `params.channels` | 结构 | 否 | 双通道配置:规则通道与模型通道的启用与模型数,缺省模型通道不少于三个并取中位数 |
| `params.low_quality_rules_version` | 引用 | 是 | 七类低质问题的检测规则版本(见本章表 2-67) |
| `params.stratified_sampling` | 结构 | 否 | 分层采样配置(五个维度见本章表 2-68),按分数、场景、任务类型、难度、来源分层 |
| `params.spot_check_ratio` | 小数 | 否 | 抽检校正比例,缺省取当前门限值;下调须经策略会签 |
```json { "client_request_id": "REQ-2027Q2-DQ-0091", "selector": {"dialog_ids": {"batch_ref": "DLG-2027Q2-B07"}}, "params": { "scoring_rule_version": "DLGSCORE-v2.0", "channels": {"rule": true, "model": {"enabled": true, "model_count": 3, "aggregate": "median"}}, "low_quality_rules_version": "DLGLOW-v1.5", "stratified_sampling": {"dims": ["分数", "场景", "任务类型", "难度", "来源"], "target_per_cell": 120}, "spot_check_ratio": 0.05 }, "output": {"dataset_ref": "DS-SFT-2027Q2/dialog-selected", "formats": ["jsonl", "md"]} } ```
表 2-72 工具 8 的异常与回退
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC08-101` | 评分规则版本未经业务口会签 | 参数类 | 版本、会签状态 | 不受理;评分规则的生效以会签为前提 |
| `TC08-401` | 双通道评分分歧超限 | 策略类 | 分歧维度、两通道取值 | 该条进人工抽检校正,不按模型通道单方定分 |
| `TC08-402` | 安全合规维度不通过 | 策略类 | 维度、命中规则 | 该条否决,不因总分高而放行 |
| `TC08-403` | 某分层单元样本量不足配额 | 策略类 | 单元标识、缺口 | 如实记为覆盖不足并回传定向补生成需求,不降低该单元标准凑数 |
| `TC08-102` | 抽检比例被下调 | 参数类 | 所传比例、当前门限 | 拒绝受理;抽检比例的调整走策略会签(口径见工具链总述 4.7) |
| `TC08-404` | 低质比例骤升 | 策略类 | 比例、与近期批次比对 | 批次挂起并回看上游生成配置,不自动放行 |
接口层面可当场核对的点有两条:出参含七维逐维评分与低质类型,不只回总分;构造一个把 `spot_check_ratio` 下调到门限以下的请求,接口须拒绝受理。质量口径按本章 4.5.7 节执行。
本节说明八个工具链的共同约束、产能与交付验收安排,对应招标文件 3.2.3.1 节对交付清单的要求。
本组八个工具链与相邻章节的交接点如表 2-73。表中「相邻章节的责任」一列所列事项以相邻章节的规定为准,本章按其规定实现并提供本章各工具的产出;字段一级的交接关系见表 2-74。
表 2-73 本章与相邻章节的交接边界
| 相邻内容 | 交接点 | 本章的责任 | 相邻章节的责任 |
|---|---|---|---|
| 数据采集与预处理 | 清洗后语料与结构化业务记录的交付 | 接收已登记来源、已完成格式归一与初筛的数据 | 源系统接入、清洗去噪、敏感信息初筛 |
| 对齐与标注类工具链 | 图纸与工艺图的结构化抽取、人工标注工具与规范 | 文本与版面类文档的解析与构建 | 图纸、视频、时序类数据的对齐与抽取;标注工具与标注规范 |
| 质量与验证类工具链 | 通用接口规范、血缘字段、安全要求、验收要求 | 按其规定实现并提供本章各工具的产出 | 统一规定接口、格式、血缘、质量报告、安全与验收口径 |
| 行业大模型训练推理技术服务 | 模型网关与数据集取用 | 产出训练与评测数据,经网关调用模型能力 | 训练与推理服务、算力适配、模型接入与评测网关 |
| 数据集质量评测方案 | 数据集级质量指标与评测过程 | 提供样本级与批次级质量指标及问题样本清单 | 数据集整体的评测依据、指标体系与评测过程 |
| 数据集运营服务管理平台 | 数据集入库、版本与发布 | 按样本规范输出并携带完整血缘 | 数据集注册、审批、发布、版本与运营 |
表 2-73 定的是责任归属,交接能不能对上还要看字段。本章产出的样本由对齐与标注类工具链(工具链二)与质量与验证类工具链(工具链三)直接消费,两侧各自取用哪些字段、按什么口径取、对不上时怎么办,逐项如表 2-74。表中只列字段一级的对应关系,责任划分以表 2-73 为准。
八项血缘字段由平台公共层在各处理环节追加写入,本章各工具不自行填写;本章的责任是保证公共层取数所需的原始字段在样本上齐备、取值有效,且在样本被修订时同步更新。
表 2-74 本章产出与相邻工具链的字段级交接
| 交接方向 | 本章产出的字段 | 承接方消费该字段的环节 | 承接侧的字段与口径 | 对不上时的处置 |
|---|---|---|---|---|
| 本章 → 对齐与标注类工具链 | 样本标识与业务对象键 | 预标注取数与结果绑定 | 对象内部主键,由统一对象标识服务给出 | 未命中统一标识的样本标注为待补并附源系统编码一并交付,不以源系统编码充当对象键 |
| 本章 → 对齐与标注类工具链 | 来源映射中的源文档标识、文档版本、页码、字符区间 | 预标注与本体规则标注的证据定位 | 来源引用,取文件指纹加页行偏移 | 字符区间在该文档版本内失效的片段不交付,回查结构解析环节 |
| 本章 → 对齐与标注类工具链 | 结构置信度与样本置信度 | 置信度分级处置 | 高中低三档分级 | 分档阈值以承接侧为准;本章只提供原始分值,不预判分档 |
| 本章 → 对齐与标注类工具链 | 切分片段的要素类型与章节层级路径 | 按文档类型与是否已标注筛选待标注样本池 | 样本池筛选条件 | 要素类型不在枚举内的片段不进池,列入待归类清单 |
| 对齐与标注类工具链 → 本章 | 故障排查场景生成的对话内容 | 本章工具 6 的结构规范化、工具 8 的质量筛选 | 按表 2-54 补齐阶段标记、角色标签与闭环标记 | 缺阶段标记的对话退回补标,不直接进入筛选 |
| 本章 → 质量与验证类工具链 | 思维链样本的问题、最终答案与关键推理节点三项 | 近重检测的关键字段差异检查 | 差异检查字段集 | 比对只取这三项;推理过程全文不作为比对依据,避免同题异径被判重复 |
| 本章 → 质量与验证类工具链 | 长上下文样本的源文档标识与文档族标识 | 切分环节的同源文档归集与泄漏判定 | 同源文档按来源文档标识或文档指纹判定 | 同族文档整族同去同留,不逐份划分;族标识缺失的文档不进入切分 |
| 本章 → 质量与验证类工具链 | 工单转写样本的工单标识与所属施工号 | 泄漏判定中的同一工单 | 工单号相同或所属施工号相同 | 工单标识缺失的样本不进入切分,列入待补清单 |
| 本章 → 质量与验证类工具链 | 评测样本的题目指纹与不可逆隔离标记 | 泄漏判定中的同一评测题、基准集冻结 | 题目指纹与被保护集合归属 | 隔离标记写入失败则本次划分整体回滚,不作部分修补 |
| 本章 → 质量与验证类工具链 | 合成标记与事实来源等级 | 归因的生成批次维度、分布统计的质量等级维 | 样本节点的合成标记 | 来源等级缺失的样本按合成样本处理,并计入待补清单 |
| 本章 → 质量与验证类工具链 | 质检结论与审核状态 | 数据侧原因归因、发布前的血缘挂接检查 | 样本节点的质检结论与审核状态 | 未质检、或需审核而未审核的样本不进入发布版本 |
| 本章 → 质量与验证类工具链 | 领域、类别、长度、难度、时间、模态六项分布标签 | 分布统计 | 八维取值口径,取自数据集标准与场景判据字典 | 取值不在枚举内的计入未归类,并回查标签配置版本 |
表 2-74 数据来源:承接侧的字段与口径依对齐与标注类工具链的公共字段表与智能标注类四个工具的入参契约、质量与验证类工具链的血缘字段表、泄漏判定表与分布统计表;本章字段依表 2-7、表 2-32、表 2-41、表 2-54。
八个工具链的产出要与四大数据集的规模目标对得上账,否则工具交付了而数据集规模落不了地。对账关系如表 2-75。表中条数为本组工具链承担的部分,其余部分由标注、合成与增强等其他环节承担,合计构成数据集总量。
表 2-75 本组工具链产出与四大数据集规模的对账
| 数据集 | 总体规模目标 | 本组承担的主要部分 | 对应工具 | 说明 |
|---|---|---|---|---|
| 预训练数据集 | 615 亿 Token(供需计划 276 亿、工艺设计 70 亿、制造过程 105 亿、质量 164 亿) | 文档类长上下文语料 | 工具 3、工具 5 | 由技术手册、标准、规程、维修手册等文档解析切分而来;文档类语料的实际 Token 量取决于可用文档体量,覆盖度在数据卡中逐域统计 |
| 指令微调数据集 | 89 万条(40/10/15/24 万条) | 推理样本与对话样本 | 工具 1、工具 2、工具 6、工具 7、工具 8 | 推理样本与对话样本按场景与数据域分配;RAG 三元组经格式转换后亦计入 |
| 强化学习偏好数据 | 6.6 万组(3.2/0.8/1/1.6 万组) | 同一问题多路径的优劣配对 | 工具 1、工具 2、工具 8 | 来自自一致性筛选的淘汰路径与优选路径配对,以及对话样本的高低分配对 |
| 基准测试数据集 | 0.95 万条(0.4/0.1/0.2/0.25 万条) | 推理评测题、RAG 评测三元组、对话评测样本 | 工具 1、工具 2、工具 4、工具 8 | 自建设之初即与训练集隔离,按来源与时间双重切分,隔离标记不可逆 |
对账中有一项需要如实说明:预训练语料的 Token 量受甲方可用文档的实际体量约束。文档解析工具链能把现有文档的结构还原出来,但不能增加文档总量。我方的做法是先完成文档资源的清点与解析覆盖度统计,按域给出可得 Token 量的实测值,与目标存在差距的域在数据卡中列明并提出补充来源建议(如外部公开标准、行业资料的合规引入),由项目组与甲方共同确定补充路径。这一口径在逐数据集的数据卡章节另有详述。
各工具对外提供的接口清单、任务创建入参契约、一次完整调用的样例与异常回退动作,在其所属工具小节内逐一给出。本小节给出跨工具共用的三项:八个工具在同一套标准调用上的差异、两组共用入参、异常码体例与共用异常码,供集成方一次读全。六类标准调用、八态任务状态机与错误码四分类的条款以工具链(三)第 5 节为准,本章各工具按其口径填写。
有两组入参为八个工具共用。一是客户端请求标识 `client_request_id`,口径与幂等用法见工具链(三)第 5 节;二是输出落点组 `output.dataset_ref` 与 `output.formats`,前者指向结果落点,后者指定导出格式,缺省取该任务类型的预置值。八个工具的调用样例中这两组逐条出现,样例可直接照搬使用。
接口表给出的是接口清单与出入参要点,各工具小节的入参契约与异常码给出的是接口在非理想情况下的表现。批量加工作业的非理想情况集中在四类:版本传错、素材缺失、模型网关限流、质量检查节点未过。质量检查节点是设置在数据生产流程中的检查环节,依据质量规则判断数据是否符合进入后续工序或交付的条件,未通过的批次不放行、不进入下一环节。四类的处置方式在各工具小节逐条写定,集成方按统一的错误码与回退动作对接,不为八个工具分别实现分支逻辑。
表 2-76 八个工具在六类标准调用上的差异
| 工具 | 任务粒度 | 幂等键 | 结果获取方式 | 状态回调的额外内容 |
|---|---|---|---|---|
| 1 大模型自生成思维链 | 生成批次 | 客户端请求标识+输入清单指纹+模板版本 | 流式,可按质量状态筛选 | 各判据淘汰数、采样组完成情况 |
| 2 人机协同思维链标注 | 标注任务批次 | 客户端请求标识+样本范围+派发配置 | 分页,按版本区间取差异 | 一致性快照、待仲裁条目数 |
| 3 文档切分与拼接 | 文档集合 | 客户端请求标识+文档标识集合+切分参数版本 | 流式 | 跨章节拼接比例、来源映射完整性 |
| 4 RAG 数据构建 | 查询集合 | 客户端请求标识+查询集指纹+索引配置版本 | 分页,按质量问题类型筛选 | 六项评测指标快照 |
| 5 文档结构解析 | 文档集合 | 客户端请求标识+文件指纹集合 | 分页,按置信度分流筛选 | 退化策略命中计数 |
| 6 对话模拟生成 | 生成批次 | 客户端请求标识+场景范围+剧本版本+种子集合 | 流式 | 六项控制的观测量、拦截与重生成计数 |
| 7 结构化工单转对话 | 工单批次 | 客户端请求标识+工单标识集合+脱敏规则版本 | 分页 | 脱敏命中计数、补全内容的可信度分布 |
| 8 对话质量筛选 | 待筛选样本批次 | 客户端请求标识+样本集合+评分规则版本 | 分页,按低质类型筛选 | 双通道评分一致性、低质类型分布 |
八个工具的幂等键都由客户端请求标识与输入集合指纹共同构成。只用客户端请求标识是不够的:调用方重试时常常会沿用同一个请求标识却换了输入范围,此时应当视为新任务而不是幂等命中。加上输入指纹,这种情形就能被接口自己分辨出来。
异常码按统一体例编定,形如 `TCnn-Xyy`:`nn` 为工具序号,取 01 至 08,与表 2-1 的序号一致;`X` 为错误分类位,1 为参数类、2 为输入类、3 为执行类、4 为策略类,与工具链(三)第 5 节的错误四分类一一对应;`yy` 为该分类内的顺序号。调用方按分类位即可决定重试策略:参数类与输入类不重试,须改参数或补素材后重新提交;执行类按退避策略自动重试,重试上限随码返回;策略类不重试,按回退动作处置并记入批次报告。异常码、分类位与回退动作三者在各工具的异常表中逐条对应,码一经发布不改含义,新增情形取新码。
八个工具共用的异常情形不在各工具表中重复列出,统一如表 2-77,码位以 `TC00` 为工具序号。
表 2-77 八个工具共用的异常码
| 异常码 | 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|---|
| `TC00-101` | 必填入参缺失或类型不符 | 参数类 | 缺失或不符的字段名、期望类型 | 不受理;返回全部不合格字段,不逐个往返 |
| `TC00-102` | 引用的版本不存在或处于非生效态 | 参数类 | 所传版本、当前生效版本 | 不受理;不以当前生效版本静默替代所传版本 |
| `TC00-201` | 输入集合为空或全部不可读 | 输入类 | 不可读条目数与原因分布 | 任务不启动;可读条目数低于下限时整体不受理 |
| `TC00-202` | 取数超出调用方授权范围 | 输入类 | 越权的来源标识与密级标记 | 在网关层拦截;越权请求不执行、不降级为部分返回 |
| `TC00-301` | 模型网关限流或暂时不可用 | 执行类(批次级) | 失败批次、网关状态、建议重试间隔 | 按退避策略自动重试三次;仍失败的批次挂起,已完成批次结果照常可取 |
| `TC00-302` | 输出落点不可写或配额不足 | 执行类(批次级) | 落点引用、失败原因 | 结果暂存于任务作用域,落点恢复后续写,不丢弃已产出结果 |
| `TC00-401` | 幂等命中(同一请求标识与同一输入指纹) | 策略类 | 原任务标识、原受理时间 | 返回原任务标识,不重复产出;请求标识相同而输入指纹不同的按新任务受理 |
| `TC00-402` | 质量检查节点未过,批次整体挂起 | 策略类 | 未过的门限项、实测值与基线 | 批次挂起并回传问题样本清单,不自动放行、不降低门限 |
表 2-77 数据来源:错误四分类与幂等口径依工具链(三)第 5 节;授权与密级拦截依质量与验证类工具链一节的出域控制条款。
本章八个工具的契约与异常口径取自工具链(三)第 5 节:六类标准调用、八态状态机、错误四分类与幂等口径同源,输出格式与入库口径见其 5.2,血缘字段见其 5.3。本小节与那一节出现表述差异时,以工具链(三)第 5 节为准。各工具的质量指标、基线与回退路径以本章各自小节的验收口径为准。
本组工具链的产能取决于取数通道何时打通、基础资料何时到位。下列资料与通道在实施准备期由项目组向甲方各归口部门逐项落实,落实结果写入取数台账,台账随首批数据卡一并提交。资料到位前,相关工具按本章各节给出的可选接入路径先行建设与联调:规则类资料未到位的,先以现行电子文本抽取的草案规则运行并标注为待确认;取数接口未开通的,先以离线导出样本联调,接口开通后重放补齐。
表 2-78 实施准备期的资料与取数通道
| 序号 | 资料或通道 | 用途 | 归口提供方 |
|---|---|---|---|
| 1 | 备料分厂正式工序字典(确认版本号与 28 道工序的规范名称) | 工艺判断类样本的背景材料与规则校验依据 | 甲方工艺部门 |
| 2 | 板材备料工艺规程现行版本(含工序排序禁止条件、中性层系数分档表) | 推理样本的依据来源与规则库 | 甲方工艺部门 |
| 3 | 刮板输送机安装使用维护手册等技术手册清单与电子件 | 文档解析与长上下文语料的实际体量核算 | 甲方企业文档管理部门 |
| 4 | 企业文档、协同办公、售后服务与备件管理、远程运维四类系统的只读取数范围与接口说明 | 各工具的取数通道与字段映射 | 甲方信息化部门 |
| 5 | 历史文档资源清点结果(按类型、份数、页数、电子化程度与扫描质量分档) | 预训练语料可得 Token 量的实测与缺口统计 | 甲方各文档归口部门 |
| 6 | 甲方数据安全管理要求与敏感信息分级清单 | 脱敏规则、密级标记与授权校验的配置依据 | 甲方信息安全归口部门 |
| 7 | 人员名册与客户名册(仅用于脱敏识别,不随样本留存) | 姓名与客户名称的识别准确率 | 甲方相关部门,按最小必要范围提供 |
| 8 | 专家题库首批题目与标准答案 | 推理样本的问题来源与评测集建设 | 甲方各业务口领域专家 |
| 9 | 服务工单与运维报警的历史可用量统计及事件配对现状 | 工单转写样本的规模与来源配比口径 | 甲方售后与运维部门 |
| 10 | 七维评分规则的业务口会签意见 | 评分权重校准与规则版本确认 | 甲方各业务口 |
第 1、2、5、9 项直接影响本章若干口径的落地值(备料工序的规范名称、预训练语料可得 Token 量、工单转写占比),在材料到位前按本章给出的口径执行,到位后以实际材料替换并同步更新数据卡。各项落实进度按月在质量报告中更新;任一项在准备期未能到位时,按该项所属工具小节写明的回退路径执行,并在数据卡中如实记录覆盖范围与影响。
八个工具链不是同时投产,而是按依赖顺序分三批。依赖关系决定了顺序:文档结构解析在最前(工具 5),切分拼接与 RAG 构建紧随(工具 3、工具 4),这三者投产后文档类语料与检索服务可用;思维链两个工具(工具 1、工具 2)依赖检索服务提供背景材料;对话三个工具(工具 6、工具 7、工具 8)依赖知识库检索与脱敏规则就绪。分批安排如表 2-79。
表 2-79 八个工具链的分批投产安排
| 批次 | 工具 | 前置条件 | 投产后可交付的能力 | 阶段验收内容 |
|---|---|---|---|---|
| 第一批 | 工具 5、工具 3 | 文档资源清点完成;企业文档与协同办公系统只读导出开通 | 结构化文档对象、章节树、长上下文样本 | 六项解析能力抽样准确率、七类格式导入演示、来源反查双向验证 |
| 第二批 | 工具 4、工具 1 | 第一批产出可用;统一模型网关接入可用;专家题库首批完成 | RAG 三元组与评测样本、结构化推理样本 | 六项 RAG 指标实测、四项自一致性判据校准、模板灰度与回滚演练 |
| 第三批 | 工具 2、工具 6、工具 7、工具 8 | 标注工位与评分规则会签完成;脱敏规则与甲方数据安全要求对齐;工单取数开通 | 修订后推理样本、对话样本、筛选报告 | 三粒度一致率、七类场景对话演示、脱敏抽检、筛选报告完整性 |
三批之后进入持续生产与迭代期,直至建设期结束。迭代期内每月固定执行四项动作:模板与规则的修订与灰度、模型评分偏差校正、分层分布偏差补生成、质量报告发布。四项的判据与回退路径以前文对应章节的规定为准。
2-14 八个工具链的依赖关系与分批投产
图 2-14 八个工具链的依赖关系与分批投产。数据来源:招标文件 3.2.3.1 节交付清单;分批依据见本章表 2-79。
通用接口、追溯与验收要求规定每个工具链须提供演示样例、输入输出样例、配置说明、接口说明与测试报告五类交付物。本组八个工具链的交付物清单与各自的关键验收内容汇总如表 2-80,便于逐项勾核。
表 2-80 八个工具链的交付物与关键验收内容
| 工具 | 演示样例 | 输入输出样例 | 配置说明 | 接口说明 | 测试报告关键内容 |
|---|---|---|---|---|---|
| 1 自生成思维链 | 模板配置至产出全流程一套 | ≥20 条 | 五维度模板配置、八项生成参数 | 表 2-13 八个接口 | 四项判据实测值、人工全检一致率、灰度与回滚演练记录 |
| 2 人机协同标注 | 双盲派发至仲裁回流全流程 | ≥20 条 | 难度分档派发、三粒度阈值 | 表 2-19 八个接口 | 三粒度一致率、仲裁率、争议原因分布、专项复核记录 |
| 3 文档切分与拼接 | 七类格式各 ≥2 份,PDF 覆盖三种成因 | ≥20 条 | 七项滑窗参数、三档窗口配置 | 表 2-29 六个接口 | 要素识别抽样准确率、待校对队列比例、来源反查核对 |
| 4 RAG 数据构建 | 索引至评测报告全流程 | ≥20 条 | 四档检索参数、八类质检阈值 | 表 2-37 八个接口 | 六项指标实测值、无依据查询拒答结果、索引重建判定记录 |
| 5 文档结构解析 | 六项解析能力各 ≥1 例 | ≥20 条 | 解析项开关、置信度阈值、切分优先级 | 表 2-42 七个接口 | 六项解析抽样准确率、低置信度占比、待确认队列处置 |
| 6 对话模拟生成 | 七类场景各 ≥2 段,异常分支 ≥3 段 | ≥20 条 | 六类角色剧本、七类场景配置 | 表 2-56 六个接口 | 闭环要素满足率、澄清清单覆盖率、收敛比例、剧本变更对比 |
| 7 工单转对话 | 六段转写、三类补全、七类脱敏各 ≥1 例 | ≥20 条 | 字段映射、补全策略、脱敏规则 | 表 2-63 七个接口 | 三级来源占比、未接地率、脱敏抽检与映射一致性验证 |
| 8 对话质量筛选 | 评分至筛选报告全流程 | ≥20 条 | 七维锚点与权重、五维配额 | 表 2-70 八个接口 | 权重校准与会签记录、逐维偏差实测、偏差修正对照、补生成记录 |
我方在本组工具链的质量指标上统一采用"基线加改进"的承诺方式,不采用固定数值的绝对承诺。理由是这些指标受输入数据质量影响显著。同样的解析能力,作用在电子版规程上和作用在二十年前的扫描件上,结果不可能相同。因此各工具的测试报告先给出在甲方真实数据上的实测基线,再给出按月或按批次的对照与改进口径,以及低于基线时的回退路径。各工具的回退路径已在前文对应章节逐一写明,均为可执行的具体动作(整批转人工复核、改以人工判定为准、退回上一稳定配置版本、批次不得出加工域),而非原则性表述。
八个工具各有自己的判据与回退,但有六件事不能各管各的:参数怎么选、哪些数据不能分开、重复怎么算、合成了多少、结果能不能重放、推理依据能不能查。六项在本节一次定清,八个工具按同一口径执行,各工具的接口与报告按本节字段上报。
一、参数选择以对照批为依据,不以经验取值定稿。 本章各参数表给出的是首期取值,取值的确定走同一套对照流程:在同一份校准集上跑完候选取值的对照批,比同一组指标,择优后固化并记版本。对照口径如表 2-81。候选取值少于两个的参数不走对照,直接按预置值固化并在配置说明中注明理由。
表 2-81 五类参数的对照口径
| 参数类 | 涉及的工具与表 | 候选取值 | 对照指标 | 择优规则与记录 |
|---|---|---|---|---|
| 生成参数 | 工具 1,表 2-4 | 采样温度三档、候选条数三档 | 自一致性通过率、事实匹配命中率、单条成本 | 前两项不低于基线且成本不高于基线 1.2 倍者择优;对照批号与各档实测值写入配置版本 |
| 切分参数 | 工具 3,表 2-26 | 窗口长度三档、重叠比例三档 | 窗口档位分布偏差、跨样本重复率、语义断裂检出率 | 三项中两项占优即择优;择优结果按文档类型分别固化 |
| 检索参数 | 工具 4,表 2-33 | 四档预置配置及其微调值 | 表 2-35 六项指标 | 六项中至少四项不低于当前基线方可放量,否则保持原配置 |
| 解析阈值 | 工具 5,表 2-40 | 置信度高低两档阈值各三个取值 | 六项解析抽样准确率、低置信度占比 | 以准确率达标为前提取低置信度占比最小者 |
| 评分权重 | 工具 8,表 2-66 | 由人工全评结果拟合得到的权重组 | 与人工总体可用性判断的吻合度 | 拟合结果经业务口会签后固化,会签记录随规则版本留存 |
表 2-81 数据来源:各参数的取值范围与首期口径见本章对应各表;灰度放量判据见本章 2.3.1 节与 3.4.3 节。
二、数据家族隔离,按族划分而不按条划分。 训练集与评测集的隔离若按单条样本随机划分,同一份手册的相邻两段、同一张工单转写出的两条对话、同一道题改写出的两个变体会分落两侧,评测结果随之虚高。隔离因此按家族执行:先归族,再整族划入一侧。四类家族的划分键如表 2-82。未完成归族的数据集不进入训练与评测划分,这是硬条件。
表 2-82 四类数据家族的划分键与隔离口径
| 家族类型 | 划分键 | 覆盖的产出物 | 隔离口径 | 归族失败时的处置 |
|---|---|---|---|---|
| 文档族 | 标准号或设备型号、文档主题、文档类型三项合成;历史版本归同一族 | 长上下文样本、检索片段、RAG 三元组 | 整族同去同留;同族文档不得跨训练与评测两侧 | 三项均缺的文档单独成族,列入数据卡待归族项 |
| 工单族 | 工单标识;所属施工号相同的工单归同一族 | 工单转写对话样本 | 同上 | 工单标识缺失的不进入划分 |
| 题目族 | 题目指纹;由同一道题改写、换数或换场景得到的变体归同一族 | 推理样本、RAG 评测样本、对话评测样本 | 同上;族内任一条进入评测集的,全族不得进入训练集 | 指纹无法计算的题目转人工归族 |
| 对象族 | 业务对象键;同一零件族的借用关系链归同一族,族关系取自去重环节的同族变体登记 | 工艺判断类推理样本、工艺审查类对话样本 | 同上 | 未命中统一对象标识的样本按待补标记,不参与本轮划分 |
表 2-82 数据来源:家族划分键与泄漏判定口径依质量与验证类工具链的泄漏判定表;文档族标识的构成规则见本章表 2-27。
三、重复检测分四级,四级各有处置。 重复不是一件事:同一条样本里两个片段重复、同一批次里两条样本重复、跨批次重复、跨数据集与被保护集合重复,四者的危害与处置都不同。四级口径如表 2-83。四级共用一套指纹:正文做规范化(去空白、统一全半角、去页眉页脚残留)后按段落取指纹,长文本另取段落级 n-gram 指纹,口径与表 2-34「重复拼接」一行一致。
表 2-83 重复检测的四级口径
| 级别 | 比对范围 | 判定 | 处置 | 上报字段 |
|---|---|---|---|---|
| 样本内重复 | 同一条样本的各片段之间 | 片段指纹相同,或相似度高于表 2-34 的去重阈值 | 去重保留信息量最大者;去重后长度低于下限的样本重新落窗 | 重复片段序号、保留项 |
| 批次内重复 | 同一批次的样本之间 | 样本指纹相同 | 保留一条,其余按采样配额剔除并记录 | 重复组标识、组内条数、保留条标识 |
| 跨批次重复 | 本批次与同一数据集已入库样本 | 样本指纹相同,或关键字段差异检查判为近重 | 不入库,记为跨批次重复并回查生成输入清单是否重复下发 | 命中的历史批次标识 |
| 跨集合重复 | 本批次与基准集、专家题库、评测集等被保护集合 | 题目指纹相同,或与被保护集合 n-gram 命中 | 本条不入训练集;命中记录进污染清单并逐条关闭 | 被保护集合标识、命中位置、风险等级 |
表 2-83 数据来源:指纹与近重口径依本章表 2-34 重复拼接一行;被保护集合与污染清单的处置依质量与验证类工具链的去重与污染扫描条款。
四、合成来源逐条计量,按三级标记并设上限。 本组八个工具的产出里,真实业务事实、由事实推导的内容、由模型补出的内容三者混在同一条样本上。不逐条标记,数据集就说不清有多少是真的。三级口径与计量方式如表 2-84。三级标记在生成时写入,不事后推断;批次与数据集两级各出一份构成统计,随数据卡发布。
表 2-84 事实来源三级的判定与计量
| 等级 | 判定 | 典型内容 | 批次上限 | 超限处置 |
|---|---|---|---|---|
| 一级·原文事实 | 内容逐字或保义取自业务记录、文档原文或检索到的依据片段,带出处 | 工单的故障现象与处理结果、手册条款、检验结论 | 不设上限 | —— |
| 二级·字段推导 | 由结构化字段按确定规则反向构造,规则可复算 | 由工单已填字段反构的澄清追问、由工序字典推出的工序归属 | 按场景设定,缺省不高于 0.45 | 超限的样本转人工复核,并回查规则是否把实质判断算成了推导 |
| 三级·模型补全 | 由模型在依据上补出,须带依据引用;无依据不生成 | 判断依据、技术解释、复盘要点 | 缺省不高于 0.25;进训练集主干的样本按不高于 0.25 执行 | 超限的样本不进主干,归入补充池并在数据卡中单列 |
表 2-84 数据来源:三级来源的定义与工单转写侧的实现见本章表 2-60、表 2-61;未接地内容的判定见本章表 2-34 引用缺失与答案幻觉两行;上限值为本方案设定的首期目标,属待验证目标,随首批实测结果调整后报招标方确认。
五、版本重放是接受核查的方式。 甲方对某条样本提出疑问时,重跑一遍比解释更有效。八个工具的重放因子如表 2-85。重放因子随作业记录留存,缺任何一项即判该批次不可重放,并在质量报告中单列。重放比对的口径是:在同一组因子下重跑,产出与原样本逐字段比对,差异项按字段列出;涉及模型调用的工具允许文本表述差异,但结论、引用依据与结构字段须一致,不一致即进人工核查。
表 2-85 八个工具的重放因子
| 工具 | 重放因子 | 允许差异的字段 | 须一致的字段 |
|---|---|---|---|
| 1 自生成思维链 | 模板版本、生成参数、模型网关标识与版本、输入清单指纹、随机种子 | 步骤文本表述 | 最终答案、引用依据、步数区间、判据结果 |
| 2 人机协同标注 | 样本版本区间、难度分档规则版本、仲裁规则版本、操作序列 | 无 | 全部字段(修订记录为确定性重放) |
| 3 文档切分与拼接 | 文档对象版本、切分参数版本、跨章节策略 | 无 | 全部字段 |
| 4 RAG 数据构建 | 索引配置版本、片段库版本、检索参数、模型网关标识与版本、随机种子 | 回答文本表述 | 证据集合、引用定位、接地关系、拒答判定 |
| 5 文档结构解析 | 文件指纹、解析通道配置、置信度阈值、退化策略配置 | 无 | 全部字段 |
| 6 对话模拟生成 | 剧本版本、场景配置版本、模板库版本、模型网关标识与版本、随机种子 | 各轮发言表述 | 轮次结构、阶段标记、角色序列、引用依据、终止类型 |
| 7 结构化工单转对话 | 工单快照指纹、映射版本、脱敏规则版本、补全策略、模型网关标识与版本、随机种子 | 补全内容表述 | 六段结构、来源等级标记、脱敏替换值 |
| 8 对话质量筛选 | 评分规则版本、低质规则版本、评分模型集合与版本、抽检比例、分层配额 | 单模型原始分 | 中位数综合分、否决判定、低质类型、分层归属 |
表 2-85 数据来源:工具 6 的五项重放因子口径见本章 4.3.3 节;模型标识与版本的记录口径见本章 1.2 节末段。
六、内部推理依据可审计。 本组工具产出的推理过程、判断依据与复盘结论,一律须可回查到一条外部依据或一条人工判定记录,三条规矩随之固定。其一,凡以专家口吻给出的判断,须有对应的标注或仲裁记录,记录中含操作人角色、时间与裁决依据引用;没有记录的不得以专家判断的形式呈现。其二,凡表述为业务实际发生结果的内容,须回指到工单、检验记录或报警日志中的具体条目;回指不到的改为条件式表述并标记为补全内容,按表 2-84 第三级计量。其三,模型对自身推理过程的说明不构成依据,依据只能是检索到的文档片段、结构化业务字段或人工判定记录三者之一。三条的校验落在表 2-6 的引用约束与表 2-34 的接地检查上,批次报告按未接地项与无记录判断两类分别统计。
前六节按工具分别给出设计、接口与样例。本节换一个切面:取产品选型、图纸工艺、售后维修三项本项目的真实任务,各走一遍完整作业,从输入、配置、中间产物、输出到质检逐段摆出,并各附一张失败对照表,列出这条链路上最常发生的失败情形及其去向。三例涉及的工具不同——选型例走工具 6 与工具 8,图纸工艺例走工具 1 与工具 2,售后维修例走工具 7 与工具 8——合起来覆盖本章八个工具中的六个,其余两个(工具 3 与工具 5)的产出以检索片段的形式出现在三例的中间产物里。
三例共用同一条作业链路与同一套分流规则,如图 2-15。
2-15 端到端作业的五段链路与三条分流
图 2-15 端到端作业的五段链路与三条分流。数据来源:五段划分依本章各工具的处理流程表(表 2-12、表 2-18、表 2-36、表 2-55);分流判据依表 2-8、表 2-34、表 2-67;回退动作与异常码依本章各工具的异常回退表。
本例走对话模拟生成(工具 6)与对话质量筛选(工具 8),产出指令微调数据集供需计划域与产品工艺设计域的对话样本。选型是本项目中电子留痕最薄弱的一类业务:接口参数常在多方协商中确定,过程不落盘,只能按角色剧本构造。五段如表 2-86。
表 2-86 产品选型作业的五段内容
| 环节 | 本例的具体内容 | 产出物与关键字段 | 质检点与判定 |
|---|---|---|---|
| 输入 | 问题种子一条(某工作面刮板输送机选型咨询);选型校核知识片段(工作面类型分化规则、链条安全系数口径);配套设备接口参数清单 | 种子集引用与版本;检索片段的源文档标识、版本、页码、字符区间 | 种子表述完整性;是否与评测集题目同族(题目族判定见表 2-82) |
| 配置 | 场景配置版本(角色组合为用户、助手、专家;轮次区间 6–12;澄清清单五项;闭环要素三项);角色剧本版本;异常分支配额 10%–15%;随机种子 | 五项重放因子(表 2-85 工具 6 一行) | 剧本与场景配置是否为生效版本;重放因子是否齐备 |
| 中间产物 | 对话状态对象逐轮快照(第 5 轮时已确认前提 3 项、待确认 2 项);检索证据 4 条带出处;调度器拦截记录 1 次 | `confirmed_premises`、`pending_premises`、`open_questions`、引用依据项、拦截原因分类 | 阶段迁移是否合法;发言是否越出角色知识边界;澄清清单覆盖情况 |
| 输出 | 9 轮对话样本,阶段标记覆盖六段,引用依据 4 项,闭环要素三项满足,终止类型为正常终止 | 符合表 2-54 的样本;`closure` 逐项标记;`termination` | 字段完整性;闭环要素是否逐项满足;轮次是否落在区间内 |
| 质检 | 规则通道(角色序列合法、近邻轮最大相似度 0.33、敏感命中 0);模型通道三模型七维中位数,综合分 4.4,分层归属为「优档·产品选型·咨询类·中难度·模拟生成」 | 七维分、综合分、`grade`、`stratify_tags`、`sampling_result` | 综合分档位;安全合规维度是否触发否决;分层配额是否超限 |
表 2-86 数据来源:场景配置与闭环要素见本章表 2-53 产品选型一行;对话状态字段见表 2-51;评分维度与分层口径见表 2-66、表 2-68。
表 2-87 产品选型作业的失败对照
| 失败情形 | 暴露在哪一段 | 判定与异常码 | 回退动作 | 这条样本的去向 |
|---|---|---|---|---|
| 用户角色在第 3 轮说出链条安全系数判据 | 中间产物 | 越出该角色知识边界,调度器拦截该轮;两次重生成仍越界按 `TC06-302` 处置 | 该轮重新生成,上限两次 | 重生成通过的照常入链路;两次仍不通过的终止该对话并计入失败,作业轨迹保留供归因 |
| 澄清清单第四项「配套设备接口参数」未问到即给出机型建议 | 输出 | 澄清清单覆盖不全,标记「前提不全」 | 未达轮次上限的由调度器强制插入追问轮;已终止的进复核队列 | 补问后闭环的入采纳池;复核判为场景配置问题的,清单经会签修订后重跑该场景 |
| 专家角色给出机型建议但未附依据出处 | 输出 | 给结论类动作未附依据,违反动作集约束 | 该轮重新生成 | 重生成通过后入链路;连续多条命中的,回查剧本中专家角色的引证要求 |
| 校核结论引用了已作废版本的选型知识条目 | 中间产物 | 检索侧生效状态过滤未生效,按 `TC04-403` 处置 | 该条三元组单独标记,不进入指令微调主集;回查索引的生效状态元数据 | 归入过期依据池;索引修正后按反向索引列出受影响样本并重做 |
| 对话第 4 轮即收敛,低于轮次区间下限 | 质检 | 过早收敛,轮次区间符合率观测量不达标 | 打标并进复核;该场景观测量持续低于基线时暂停批量生成 | 复核判为内容问题的退回补生成;判为配置问题的调整轮次区间与终止条件后重跑试点批次 |
| 异常分支样本占比低于配额下限 | 质检 | 配额未达下限,按 `TC06-402` 处置 | 按缺口定向补生成 | 不以正常对话顶替配额;补生成后仍不足的在数据卡中记覆盖缺口 |
表 2-87 数据来源:控制项观测量与回退见本章表 2-50;角色动作集见表 2-48;异常码见表 2-59、表 2-39。
本例走自生成思维链(工具 1)与人机协同标注(工具 2),产出产品工艺设计域的推理样本与步骤级偏好对。图纸要素字段由对齐与标注类工具链提供,本章在其基础上补推理过程。五段如表 2-88。
表 2-88 图纸工艺作业的五段内容
| 环节 | 本例的具体内容 | 产出物与关键字段 | 质检点与判定 |
|---|---|---|---|
| 输入 | 零件要素字段(材料牌号、板厚、两处圆弧过渡、一处 45°坡口、四个通孔、一条 90°压弯线);备料分厂工序字典;板材备料工艺规程中的工序排序禁止条件与中性层系数分档表 | 业务对象键;检索片段的源文档标识、版本、页码、字符区间 | 必填变量是否齐备;工序字典版本是否为确认版本 |
| 配置 | 模板版本;任务类型工艺判断;难度三级;推理深度中档;采样温度 0.3–0.5;候选条数 5;模型标识两个;四项判据阈值 | 任务创建入参(表 2-14);五项重放因子 | 模板是否为生效版本;参数是否在表 2-4 的取值范围内 |
| 中间产物 | 5 条候选路径;答案多数簇占比 0.84;事实匹配命中率 0.93;任务分解 5 个子目标;步骤级判分中第 3 步后续成功率 0.28;二分定位 3 轮得出首错步骤为第 3 步 | `decomposition`、`step_scores`、`first_error_step`、`locate_state`、`step_sampling_cost` | 必备子目标是否齐备;步骤级触发条件是否满足;定位状态取值 |
| 输出 | 优选路径 1 条(5 步,每步带主依据);步骤级偏好对 1 组;路径级负样本 1 条;专家修订记录 1 条(新增弯曲影响区校核步骤,原因码为漏校核环节) | 符合表 2-7 的样本;表 2-10 新增字段;修订记录与差异摘要 | 主依据是否有且仅有一项;免引用步骤的豁免类型是否在三类之内 |
| 质检 | 四项判据全部通过;步骤级判分触发并命中首错;双人独立标注(三级难度)三粒度一致性分别为一致、0.82、0.71;无需仲裁 | 判据实测值;三粒度一致性与一致性系数 | 四判据是否达门限;三粒度是否达阈值;是否存在规则冲突 |
表 2-88 数据来源:零件要素与工序排序口径见本章 2.3.4 节样例;判据与门限见表 2-8、表 2-9、表 2-11;一致性粒度见表 2-17。
表 2-89 图纸工艺作业的失败对照
| 失败情形 | 暴露在哪一段 | 判定与异常码 | 回退动作 | 这条样本的去向 |
|---|---|---|---|---|
| 第 3 步取错中性层系数档位,末步换算恰好抵消,最终答案与多数簇一致 | 中间产物 | 路径级判据全部通过,步骤级判分将第 3 步判入有害档并定位为首错 | 转人工复核,工位界面定位到第 3 步并高亮其依赖的分档表片段 | 专家修订后入采纳池;修订原因码计为事实错误,纳入错误模式清单 |
| 工序字典版本未确认,必填变量缺失 | 输入 | 背景材料来源版本不存在,按 `TC01-201` 处置 | 任务不启动,该条入待料清单并给出缺失字段 | 不以无背景材料的方式生成;版本确认后重新下发 |
| 5 条路径的答案分成两簇,多数簇占比 0.5 | 质检 | 答案一致性落在人工复核带,按 `TC01-401` 处置 | 该采样组转人工复核,同时触发步骤级判分 | 复核采纳的入采纳池;判为题目表述不清的退回题目修订 |
| 推理步骤引用的坡口粗糙度等级在背景材料中不存在 | 质检 | 事实匹配出现硬性不匹配,按 `TC01-402` 处置 | 该条直接淘汰,不进优选路径 | 入问题样本库,作为生成控制与评测类工具链的输入,不作偏好负样本 |
| 排序结果把孔加工排在压弯之后 | 质检 | 规则库校验命中工序排序禁止条件,判为规则冲突 | 该路径直接淘汰,冲突条目记入淘汰原因 | 入问题样本库;同类冲突集中出现时在模板中显式给出工序约束 |
| 两位标注人的推理步骤序列相似度 0.58 | 质检 | 低于三粒度阈值中的步骤粒度门限,进仲裁 | 专家仲裁,仲裁只定路径不改答案 | 仲裁结论入采纳池;争议原因若为规程理解分歧,按月汇总反馈工艺口澄清 |
表 2-89 数据来源:判据与处置见本章表 2-8、表 2-9;一致性分流见表 2-17;异常码见表 2-15。
本例走结构化工单转对话(工具 7)与对话质量筛选(工具 8),产出制造过程域与质量域的对话样本。工单是本项目真实性最强的一类来源,难点不在转写而在补全与脱敏两道。五段如表 2-90。
表 2-90 售后维修作业的五段内容
| 环节 | 本例的具体内容 | 产出物与关键字段 | 质检点与判定 |
|---|---|---|---|
| 输入 | 一张服务工单(报修时间、设备与矿别、故障现象、派工记录、更换备件、处理结果、闭单时间);维修手册中链条张紧度与机尾滚筒检查条款;与该工单配对的报警记录(若已配对) | 工单标识与所属施工号;检索片段的源文档标识、版本、页码 | 可转写性判定:现象描述与处置结果两项字段是否齐备 |
| 配置 | 字段映射版本;脱敏规则版本;补全策略(澄清问题生成并标记、判断依据仅在有检索依据时生成、技术解释生成并标记);六段必覆盖 | 任务创建入参(表 2-64);重放因子 | 映射与脱敏规则是否为生效版本;六段开关是否被置假 |
| 中间产物 | 脱敏记录 4 项实体(客户名称、地点、设备编码、工单号),其中设备编码与工单号按数据集内一致映射;六段结构映射结果;检索证据 2 条 | 脱敏记录标识、实体类型与位置、识别通道与置信度、值指纹、映射作用域 | 脱敏是否在转写之前完成;一致性映射作用域是否正确 |
| 输出 | 8 轮对话样本,逐轮带事实来源等级;三级来源分布为 0.38/0.41/0.21;未接地项 0 | 符合表 2-54 的样本;逐轮 `source_level`;`desensitize_record` | 三级来源分布是否落在表 2-84 的上限内;未接地项是否为零 |
| 质检 | 规则通道全量扫描(角色序列、重复度、闭环要素、敏感实体);模型通道三模型七维中位数,综合分 4.1;分层归属为「良档·售后服务·诊断类·中难度·工单转写」;本条入抽检样本 | 七维分、低质类型标记、分层标签、人工抽检逐维偏差 | 安全合规维度是否触发否决;低质七类是否命中;抽检偏差幅度 |
表 2-90 数据来源:六段映射见本章表 2-60;补全依据与可信度标记见表 2-61;脱敏实体与一致性要求见表 2-62;来源等级计量见表 2-84。
表 2-91 售后维修作业的失败对照
| 失败情形 | 暴露在哪一段 | 判定与异常码 | 回退动作 | 这条样本的去向 |
|---|---|---|---|---|
| 处理结果字段仅填「已处理」,无具体处置内容 | 输入 | 工单无处置结论,按 `TC07-401` 处置 | 不转写为完整六段,按前四段生成半闭环样本并标记 | 归入未闭环案例池并显式标记;字段缺失清单反馈至数据采集环节 |
| 矿方联系人姓名未被替换 | 质检 | 安全合规维度得 1 分,触发一票否决,按 `TC08-402` 处置 | 回退至脱敏环节重新脱敏并复检 | 该批次在复检通过前不得出加工域;漏替换项逐条记录并回查识别通道 |
| 同一台设备在两条样本中被替换成不同伪编码 | 质检 | 脱敏映射一致性抽查不通过 | 重建该数据集范围内的映射表并整批重跑脱敏 | 重跑后的样本重新进入筛选;原样本作废,作废原因记入脱敏记录 |
| 复盘段既无同类工单统计也无检索依据 | 输出 | 补全内容无事实来源,按 `TC07-403` 处置 | 该补全项不生成,该轮留空并把样本标记为转写不完整 | 进人工补充队列;补充后重新计算三级来源分布 |
| 诊断分析段补出一个具体扭矩数值,工单字段与检索依据中均无此数 | 质检 | 规则回查判为未接地项,未接地占比超阈值 | 转人工复核;提示词的「不得引入外部常识性数值」约束一并回查 | 复核删去该数值后入采纳池;同类命中集中出现时收紧补全策略 |
| 工单与运维报警无事件级配对 | 输入 | 配对缺口,按 `TC07-201` 处置 | 该条按无报警上下文转写,不编造报警信息 | 照常入链路,配对缺口在数据卡中按来源如实统计 |
表 2-91 数据来源:异常码见本章表 2-65、表 2-72;脱敏抽检与回退见本章 4.4.3 节;低质判定见表 2-67。
本节给出八个工具共同的运行日志口径、逐工具的人工复核点,以及可直接在甲方环境中执行的验收用例。三项与各工具的入参契约、异常码合起来,构成各工具在验收与运维两个阶段的可核对依据。
日志分五类,如表 2-92。五类共同遵守三条:只追加不修改,更正以追加更正记录的方式实现;记角色不记姓名;日志的保留期与访问控制按甲方数据安全管理要求执行,脱敏映射类日志与样本库物理隔离。
表 2-92 五类运行日志的记录时机、必记字段与用途
| 日志类别 | 记录时机 | 必记字段 | 留存与访问 | 用途 |
|---|---|---|---|---|
| 作业日志 | 任务受理、状态迁移、完成或失败的每一次 | 任务标识、客户端请求标识、幂等命中标志、状态与迁移时间、入参指纹、产出条数、失败原因分类 | 按批次归档,运维与审计角色可读 | 任务可追、幂等可验、失败原因可统计 |
| 调用日志 | 每一次经模型网关或检索服务的外部调用 | 调用标识、所属任务与样本、网关登记的模型标识与版本、提示词模板版本、消耗计量、返回状态、重试次数 | 按日归档,与成本统计同源 | 成本出账、限流归因、模型换代后的影响范围判定 |
| 质检日志 | 每一个质检点的每一次判定 | 样本标识、质检点标识、判据版本、实测值、门限、结论、分流去向 | 随样本血缘挂接 | 质量报告的取数来源;基线对照与回退触发 |
| 人工操作日志 | 派发、编辑、仲裁、终审、复核、抽检的每一次动作 | 样本标识、动作类型、操作人角色、时间、入参与出参摘要、修改原因 | 只追加,审计角色可导出 | 一致性与效率统计;争议原因汇总;专家处理时长度量 |
| 变更日志 | 模板、剧本、规则、参数、阈值的每一次发布、灰度、回滚 | 资产标识与新旧版本、变更项、会签记录、生效范围与批次、回滚路径 | 与资产版本库同存 | 版本重放的因子来源;样本异常时的回查入口 |
表 2-92 数据来源:日志的只追加要求与记角色不记姓名口径依质量与验证类工具链的血缘与安全条款;成本计量口径见本章 2.3.2 节。
八个工具在五类之外各有专有日志项,如表 2-93。专有项随批次报告输出,不另设查询接口。
表 2-93 八个工具的专有日志项
| 工具 | 专有日志项 | 用途 |
|---|---|---|
| 1 自生成思维链 | 采样组构成与各路径判据实测值;步骤级判分的探测点数与续写条数;首错定位的二分轮次 | 判据校准;步骤级开销核对;定位命中率度量 |
| 2 人机协同标注 | 六类编辑操作的逐次记录与原因码;三粒度一致性快照;仲裁的争议原因与裁决依据 | 模板优化回流;标注规范缺口识别;能力画像 |
| 3 文档切分与拼接 | 落窗点的候选优先级与实际落点偏差;跨章节拼接命中次数;来源映射完整性校验结果 | 长度分布与重叠控制的回查;溯源断链定位 |
| 4 RAG 数据构建 | 两路检索的归一化前后得分;重排前后名次变化;证据选择四条规则各自的剔除计数 | 混合权重调参;证据选择规则的有效性核对 |
| 5 文档结构解析 | 成因判定结果与解析通道;六项能力的逐项置信度;退化策略命中计数 | 解析质量回查;待确认队列的成因分析 |
| 6 对话模拟生成 | 调度器的逐轮裁决记录与拦截原因分类;状态对象逐轮快照;重生成次数 | 控制项观测量的取数来源;失败对话归因 |
| 7 结构化工单转对话 | 可转写性判定结果;六段映射的逐段来源等级;脱敏的识别通道与置信度 | 三级来源分布统计;脱敏漏替换回查 |
| 8 对话质量筛选 | 各评分模型的原始分与中位数;双通道分歧明细;抽检逐维偏差 | 偏差修正量的计算依据;评分规则版本的效果对照 |
表 2-93 数据来源:各专有项的定义见本章对应工具的处理流程表与判据表。
八个工具的人工复核点如表 2-94。复核点分两类:策略性的改变此后全部样本的生产口径,走会签并登记回滚路径;作业性的只处置当前批次,走复核与裁决队列。工具 6 的五处介入点已在表 2-57 逐项列出,本表对其只列类别不重复明细。
表 2-94 八个工具的人工复核点
| 工具 | 复核点 | 类别 | 触发条件 | 承办角色 | 判定内容与留痕 |
|---|---|---|---|---|---|
| 1 自生成思维链 | 模板发布与灰度放量 | 策略性 | 新建或修订提示词模板 | 项目组与甲方业务口会签 | 五维度取值是否符合任务实际;留痕含版本号、变更项、放量判据与回滚路径 |
| 1 自生成思维链 | 答案一致性落在复核带的采样组 | 作业性 | 多数簇占比 0.4 至 0.6 | 复核岗 | 采纳哪条路径或退回题目修订;留痕含判据实测值与判定理由 |
| 1 自生成思维链 | 步骤级判分的首错确认 | 作业性 | 链上存在有害档步骤 | 领域专家 | 确认或否定首错位置;否定本身即标定样本,回流校准门限 |
| 2 人机协同标注 | 低一致性样本的仲裁 | 作业性 | 三粒度任一低于阈值 | 领域专家,不得为该样本的标注人 | 采纳其一、合成第三份或退回题目修订;留痕含争议粒度、原因枚举、裁决依据 |
| 2 人机协同标注 | 一致率连续两周低于基线的专项复核 | 策略性 | 某维度一致率连续两个周期低于基线 | 项目组与甲方业务口 | 先判标注规范是否有歧义,再判题目来源,最后判标注人;留痕含排查顺序与结论 |
| 3 文档切分与拼接 | 待校对队列处置 | 作业性 | 影像页识别置信度低于阈值 | 复核岗 | 校对后重入或判为不可用;留痕含页面标识与原因 |
| 3 文档切分与拼接 | 窗口档位分布偏差超限 | 策略性 | 单档偏差高于门限 | 项目组 | 调整落窗偏差容许值或改用相邻档位;留痕含调整前后取值与生效批次 |
| 4 RAG 数据构建 | 三元组复核 | 作业性 | 未接地论断占比超阈值,或证据条数不足下限 | 领域专家 | 复核通过、修订或驳回;留痕含修订内容与驳回原因 |
| 4 RAG 数据构建 | 评测集划分与基准冻结 | 策略性 | 评测集首次划分或范围变更 | 项目组与甲方业务口会签 | 来源与时间切分规则、无依据查询比例;留痕含隔离标记写入结果 |
| 5 文档结构解析 | 待人工确认队列处置 | 作业性 | 结构置信度低档,或跨页表标记为疑为同一表格 | 复核岗,表格类转工艺口 | 确认结构或判为不可还原;留痕含确认结论与重新解析结果 |
| 5 文档结构解析 | 置信度阈值调整 | 策略性 | 低置信度占比持续高于门限 | 项目组 | 调整高低两档阈值;留痕含依据的实测数据与生效范围 |
| 6 对话模拟生成 | 五处介入点 | 策略性两处、作业性三处 | 见本章表 2-57 | 见本章表 2-57 | 见本章表 2-57 |
| 7 结构化工单转对话 | 脱敏抽检 | 作业性 | 每批次按不少于 100 条抽检 | 复核岗 | 漏替换与过度替换逐项统计;发现漏替换即整批重脱敏 |
| 7 结构化工单转对话 | 人工补充队列处置 | 作业性 | 样本标记为转写不完整 | 复核岗,必要时转业务口 | 补充内容及其依据;留痕含补充前后版本 |
| 7 结构化工单转对话 | 脱敏规则与一致性映射域变更 | 策略性 | 敏感实体类型或替换策略调整 | 项目组与甲方信息安全归口会签 | 变更项与生效范围;留痕含映射表重建范围 |
| 8 对话质量筛选 | 评分抽检与偏差修正 | 作业性 | 每批次按不低于 3% 随机抽检 | 评分人 | 七维人工分与模型分比对;留痕含逐维偏差方向与幅度 |
| 8 对话质量筛选 | 评分规则与权重发布 | 策略性 | 维度定义、锚点、权重或否决规则变更 | 项目组与甲方各业务口会签 | 权重校准记录与会签意见;留痕含规则版本与生效批次 |
| 8 对话质量筛选 | 抽检比例调整 | 策略性 | 申请下调抽检比例 | 项目组与甲方业务口会签 | 调整幅度与理由;未会签的调整请求接口直接拒绝受理 |
表 2-94 数据来源:工具 6 的介入点见本章表 2-57;各复核点的触发条件见本章对应工具的质检与判据小节。
验收用例按「前置条件—操作—预期结果」三段编写,每个工具三条:一条走正常路径,一条走边界或异常,一条验回退与隔离。用例在甲方环境中由双方人员共同执行,执行记录与实测值写入测试报告。用例清单如表 2-95。
表 2-95 八个工具的验收用例
| 用例号 | 工具 | 前置条件 | 操作 | 预期结果与判定 |
|---|---|---|---|---|
| UC-01-1 | 1 | 模板处于生效态;输入清单与背景材料来源可读 | 创建一个候选条数为 5 的生成批次,取回样本 | 返回任务标识与预估消耗;样本字段符合表 2-7,每步主依据有且仅有一项,引用可按字符区间回到原文 |
| UC-01-2 | 1 | 准备一个处于草稿态的模板版本 | 以该版本创建批次 | 受理前返回 `TC01-101`,回传所传版本与当前生效版本;任务不创建 |
| UC-01-3 | 1 | 已有一批通过筛选的样本 | 将模板回滚至上一稳定版本 | 已生成样本不删除,标记为由已回滚模板版本生成并进复核队列;新作业使用回退版本 |
| UC-02-1 | 2 | 一批三级难度样本;标注人与专家角色各已配齐 | 双盲派发并提交六类编辑操作各一次 | 第二位标注人不可见第一位结果;每次操作生成修订记录,含原因码与字符级差异;样本可逐版本还原 |
| UC-02-2 | 2 | 双盲所需人数不足 | 提交双盲派发请求 | 返回 `TC02-101`,回传所需与可用人数;不降为单人标注 |
| UC-02-3 | 2 | 一条已采纳样本;其依据文档发布新版本 | 触发上游变更处置 | 按表 2-23 分档:实质变更的样本标记依据已过期并退回复核,非实质变更的仅更新版本号 |
| UC-03-1 | 3 | 已完成结构解析的文档集合,含一份跨页表格文档 | 以 4096 窗口、10% 重叠创建滑窗任务 | 跨页表格整体纳入单一窗口不被切开;每片段来源映射含源文档、版本、页码与字符区间 |
| UC-03-2 | 3 | 一份未完成结构解析的文档 | 提交切分任务 | 返回 `TC03-201`,回传文档当前状态;不按版面顺序硬切 |
| UC-03-3 | 3 | 同一份手册的两个历史版本 | 执行训练与评测划分 | 两个版本归同一文档族,整族划入同一侧;构造 `doc_level_grouping` 为假的请求须被拒绝受理 |
| UC-04-1 | 4 | 索引已建;查询集可用 | 按技术手册档位执行检索与三元组生成 | 返回证据带出处与双得分;回答的论断逐条指向证据项;未接地论断占比在阈值内 |
| UC-04-2 | 4 | 构造一个知识库中确无依据的查询 | 执行三元组生成 | 产出拒答样本并标明原因,不编造回答;拒答样本按配额保留 |
| UC-04-3 | 4 | 停用向量化服务 | 执行检索 | 显式返回降级标记并改走关键词检索;降级批次的指标单列,不并入总体 |
| UC-05-1 | 5 | 一份电子版技术手册 | 执行六项解析能力全开的解析任务 | 章节树与自带目录对齐校验通过;页脚版本号与受控标识提取为元数据后再剔除 |
| UC-05-2 | 5 | 一份低清扫描件与一份跨页续表文档 | 执行解析 | 扫描件标记层级未还原并进待确认队列;续表部分标记表头待确认,不复制上页表头充数 |
| UC-05-3 | 5 | 一份公式含自定义符号的工艺规程 | 执行解析 | 公式转换置信度低时保留原始图像并标记公式未转换,不以近似字符替代 |
| UC-06-1 | 6 | 剧本与场景配置均为生效版本 | 生成设备故障诊断场景对话 10 条 | 轮次落在配置区间;阶段标记覆盖该场景要求阶段;澄清清单逐项被问到;闭环要素逐项满足 |
| UC-06-2 | 6 | 取任一条已生成对话 | 按受理返回的五项重放因子与随机种子重跑 | 重放产出与原样本在轮次结构、阶段标记、角色序列、引用依据、终止类型五项上一致 |
| UC-06-3 | 6 | 将剧本版本回滚 | 以已回滚版本创建作业 | 返回 `TC06-101`,作业不予创建;在途作业按当前批次完成,下一批次起使用回退版本 |
| UC-07-1 | 7 | 一批字段齐备的服务工单 | 执行转写 | 六段齐备;逐轮带事实来源等级;三级来源分布随样本输出且落在上限内 |
| UC-07-2 | 7 | 一张处理结果字段为空的工单 | 执行转写 | 返回 `TC07-401`,产出前四段半闭环样本并标记,不补一个结论凑满六段 |
| UC-07-3 | 7 | 同一台设备的两张工单 | 执行脱敏并比对 | 两条样本中的设备伪编码一致,跨样本设备关联可还原;脱敏映射表不随样本导出,追溯调用全程审计 |
| UC-08-1 | 8 | 一批待筛选对话;评分规则版本已会签 | 执行筛选 | 出参含七维逐维分与低质类型,不只回总分;综合分取三模型中位数 |
| UC-08-2 | 8 | 构造一条含未脱敏敏感信息的对话 | 执行筛选 | 安全合规维度判 1 分并触发否决,返回 `TC08-402`;不因总分高而放行,回退至脱敏环节 |
| UC-08-3 | 8 | 当前抽检比例处于门限值 | 提交下调抽检比例的筛选任务 | 返回 `TC08-102`,拒绝受理;抽检比例的调整须经会签 |
表 2-95 数据来源:用例的判定依据取自本章各工具的验收口径小节与异常回退小节;用例的交付形态按通用接口、追溯与验收要求规定的测试报告格式提交。
本章给出多模态数据对齐、智能标注、数据生成与增强三类共 10 个工具的设计与交付内容。
本章承担的是数据加工主线上的三段功能:把分属不同模态的记录挂接到同一业务对象与同一时间轴上,为挂接后的样本生成可复核的标签,在既有事实的基础上扩充数量不足、分布不均的样本。全部 9 类 25 个工具的统一视图与交付清单在本卷「专项智能工具链总述」一节给出;数据构建类 3 类 8 个工具在「工具链一」一节给出;质量与验证类 3 类 7 个工具以及 3.2.3.11 通用接口、追溯与验收要求在「工具链三」一节给出。本章工具产出的对齐样本、标注集与合成样本,由本卷「数据加工生产」各节的生产流程按环节门控消费,其入库准入与版本冻结由该处判定。
矿山装备制造领域的数据与互联网语料的差别,不在体量而在形态。甲方的事实散落在三种互不相通的载体里:一是图纸与工艺卡片一类的工程文档,约六十三万张历史图纸且每张历史上都配有一份已审核签发的工艺卡片,天然成对但配对关系只存在于文件目录与人的记忆中;二是设备过程中产生的时序信号与报警日志,采样密度到秒级,但与具体工件、炉次、焊道没有稳定的主键关系;三是人写下来的自然语言记录,包括工单、检验结论、不合格品票与改造方案,表述自由、口径不一。要把这三类载体变成可以喂给行业大模型的训练与评测样本,必须先解决「对不上」的问题,再解决「没标签」的问题,最后解决「样本不够、长尾缺失」的问题。本章三类工具按该顺序排布。
多模态数据对齐类工具链解决「对不上」:把图纸里的几何与符号抽成结构化字段,把视频关键帧挂到设备运行事件与工艺阶段的时间轴上,把时序片段切到报警与维修工单的时间窗里。智能标注类工具链解决「没标签」:用大模型做预标注、用主动学习把人力投到最该投的样本上、用领域本体约束标签之间的逻辑关系、用多方交叉校验把一致性做成可测量的指标。数据生成与增强类工具链解决「不够与不均」:按任务类型与难度层次扩充指令样本,按本体与历史工单分布构造故障场景,在保持语义与事实不变的前提下为同一条内容生成多种表达。
三类工具共用同一套对象标识、版本与血缘字段,以及同一套置信度分级与人工介入口径;十个工具的产出才能拼成一份可验收的数据集,而不是十堆互不认账的中间文件。
1-1 三类十个工具在数据加工主线上的位置与数据流向
图 1-1 三类十个工具在数据加工主线上的位置与数据流向。数据来源:招标文件第五章 3.2.3.5、3.2.3.6、3.2.3.7节工具划分,以及 3.2.6.3 节加工环节划分。
本章技术选择遵守三条约束,后文取舍均据此执行。
第一条,凡是能用确定性程序算出来的,不交给模型。图纸压弯件的展开长按中性层公式计算,时序特征按既定算法计算,本体约束按逻辑规则判定——这些环节的正确性可以复算、可以审计,用模型反而引入不确定性。模型用在理解与组织上:读懂多视图的投影关系、把一段时序的异常形态写成人能看懂的诊断说明、把一条工单扩展成多轮排障对话。
第二条,凡是输出要被人采信的,必须带证据与置信度。本章所有工具的输出都包含证据字段:图纸抽取给出图元句柄与所在图层,视频对齐给出帧时间戳与事件编号,预标注给出证据片段与模型版本。没有证据的标签在复核时无法判断对错,在训练时也无法定位脏数据的来源。
第三条,凡是指标,必须同时给出基线、验收口径与达不到时的回退。本章给出的每项指标都附三样东西:首期基线取值、验收抽样方式、低于门限时的处置动作。本章列明的每一项指标均作为验收应答条款;同步给出回退路径,便于建设期内指标达不到时仍有可执行处置。
本章十个工具作为奔牛数据智能平台的功能模块交付与运行,共用平台的身份认证、权限控制、任务调度、版本管理与日志审计能力,不各自另建一套运行支撑。以下六项为三类工具一体适用的工程约定:对象标识与时间基准、血缘与版本字段、置信度分级与人工介入口径、配置即代码与回放能力、与相邻章节的功能分工、不合格产出的隔离与发布门槛。通用接口风格、血缘追溯平台与验收总口径按本卷「工具链三」一节 3.2.3.11 的统一条款执行。
三类工具的产出要能彼此拼接,前提是指向同一个业务对象时用同一个标识。甲方当前的困难恰在此处:施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号、设备编码与故障记录之间没有稳定的主键关系,跨系统追一件事仍需人工对账。因此本章所有工具在读写数据时一律通过统一对象标识服务换取内部主键,不直接使用源系统的业务编码做关联键。
统一对象标识服务由数据治理体系建设交付,本章作为使用方提出三项接口要求:一是提供「源系统编码到内部主键」的双向查询;二是在映射缺失时返回明确的未命中状态而不是空值,由调用方记录为待补映射并进入人工对账队列;三是映射关系本身带版本,历史样本回放时按当时版本解析。
时间基准统一到协调世界时存储、按 ISO 8601 格式带时区偏移量表达,展示层转为北京时间。设备侧采集的时间戳普遍存在设备时钟漂移,视频-文本对齐与时序-事件对齐两个工具都要处理这一问题,具体办法见第 3 节。
本章十个工具的每一条输出记录,都携带表 2-1 所列的公共字段。字段名在三类工具间保持一致,使得一条样本从原始文件到对齐、到标注、到增强的全过程可以用同一组键串起来。
表 2-1 十个工具公共携带的血缘与版本字段
| 字段 | 含义 | 取值说明 |
|---|---|---|
| `record_id` | 本条记录的唯一标识 | 由工具生成,全局唯一且不复用 |
| `object_key` | 所指向的业务对象内部主键 | 来自统一对象标识服务;未命中时置为待补并记录源编码 |
| `source_ref` | 原始来源引用 | 文件指纹+页/帧/行偏移,或测点编号+时间区间 |
| `tool_id` / `tool_version` | 产出本条记录的工具与版本 | 语义化版本号,与工具发布记录对应 |
| `config_version` | 本次运行所用配置版本 | 配置以文件形式入库并纳入版本管理 |
| `model_ref` / `prompt_version` | 调用的模型标识与提示词版本 | 模型标识为统一网关侧的登记名与版本号,不写品牌 |
| `confidence` | 本条记录的置信度 | 取值 0–1,分级口径见 2.3 |
| `evidence` | 证据字段 | 图元句柄、原文片段、帧编号、时间区间等 |
| `review_state` | 复核状态 | 未复核/机器通过/人工通过/驳回/专家裁决 |
| `computed_facts` | 本条输出所依据的计算结果 | 测点编号、时间区间、计算式名称、输入值与输出值;凡输出文本含数值者必填 |
| `batch_id` | 所属批次 | 批次为调度与追溯的最小单位 |
| `created_at` / `updated_at` | 生成与更新时刻 | 协调世界时,ISO 8601 |
字段说明:`model_ref` 记录的是统一网关为每个接入模型分配的登记名与版本号,便于在模型随代升级后回溯某批样本是在哪一代能力下生成的;投标文件与交付文档中不绑定具体模型品牌与型号,模型可替换、可评测、可随代升级。
三类工具都要回答同一个问题:什么样的输出可以直接入库,什么样的必须由人看过。统一按表 2-2 的三档处置,各工具只调阈值不改分档逻辑。
表 2-2 置信度分级与对应处置
| 档位 | 判定条件 | 处置 | 人工投入 |
|---|---|---|---|
| 高置信 | 置信度不低于高阈值且通过结构校验与约束校验 | 直接入候选集,按比例抽检 | 抽检比例首期取 5%,连续三批抽检通过率不低于门限后可降至 3% |
| 中置信 | 置信度介于两档阈值之间,或校验出可修复的轻微问题 | 进入人工复核队列,工具给出修改建议 | 逐条复核,复核时只需确认或修改,不必从零标注 |
| 低置信 | 置信度低于低阈值,或校验出结构性冲突 | 进入人工标注队列,工具输出仅作参考 | 按原始标注工时计 |
阈值的初值由各工具在试点批次上标定:取一批已由人工确认的样本作为标定集,画出置信度与实际正确率的对应曲线,把高阈值定在实际正确率达到目标水平的位置,低阈值定在工具输出已无参考价值的位置。标定集随建设推进扩充,阈值每季度复标一次,复标记录入库。这个办法的好处是阈值有来处、可复核;代价是首期需要一批人工确认样本,这部分工作量已计入试点阶段。
高阈值的确定还要再严一道。画曲线取点这一步仍带主观性,而高置信档是自动入库的那一档,它的错误率需要有上界而不只是有个经验值。因此本章各工具的高阈值一律按工具链总述第 4.9 节的门限校准口径确定:在校准集上搜索门限,使门限以上样本的标签错误率不超过设定上限这一结论在给定置信水平下成立,门限随校准集扩充自动重算。校准按业务域与任务类型分别进行——图纸要素抽取与工单实体抽取的置信度含义不同,不共用门限。各工具的输出记录相应登记校准集版本、错误率上限与门限值三项,方法与依据不在本章重复,见总述第 4.9 节。逐环节的判错规则与首期上限见该节表 4-6——「什么算一条样本错了」各环节不同,不共用一条规则;本章十个工具中的图纸要素抽取、视频—文本对齐、时序—事件对齐、大模型预标注四项属该表的适用环节。门限因监测信号触发而挂起,以及重标定的条件同样按该节执行,本章不另定。
公共字段表里的计算结果字段同样有一道机械校验:凡输出文本中含数值的记录,校验器逐一比对文本中的数字与该字段登记的计算结果,不一致即判不通过并退回重新生成。这道校验不作语义判断,因此可以全量运行。其口径与适用边界见总述第 4.10 节。
十个工具的所有可调项——提示词模板、输出 Schema、本体版本、采样策略参数、改写比例、相似度阈值——一律以配置文件形式入库并纳入版本管理,运行时按版本号加载,不在界面上做不留痕的临时修改。配合 2.2 的血缘字段,任何一批样本都可以在原配置版本下重新跑一遍,比对两次结果的差异。这项能力在三种情形下是必需的:甲方对某批样本的质量提出疑问时用于复现;模型随代升级后用于评估新旧差异;验收阶段用于抽样复算。
工具链的建设与数据加工的作业组织天然交织:同一项标注工作,规范由谁定、工具由谁建、人力由谁组织、质量由谁判,若不在动工前划清,实施期必然出现同一事项两处口径、或两处都以为对方已覆盖的情形。划分的依据是产物形态——凡产物是软件、接口、规范文本与配置基线的,归本章;凡产物是作业排班、产能与计件的,归数据加工生产各节;凡属全局统一口径的接口风格、血缘追溯与验收总口径,本章遵循而不另立。下表左列是容易含糊的八项事项,中列给出本章的交付物,右列指明其余部分的落点;末行是范围性质的约定,智能场景建设不在本包,本包交付的是场景验证所需的样本与评测结论。按此表逐项核对,十个工具的交付清单(见 7.1)与标注作业的组织安排之间既不留空档,也不重复投入。
表 2-3 本章与相邻章节的功能分工
| 事项 | 本章 | 相邻章节 |
|---|---|---|
| 工具的设计、接口、流程、样例 | 本章交付 | —— |
| 标注规范、标签体系、一致性判定口径 | 本章交付规范文本与工具实现 | 「数据加工生产(二)」一节按本规范组织标注作业 |
| 人工标注与复核的产能组织、排班、计件 | 不在本章 | 「数据加工生产(二)」一节 |
| 统一接口风格、血缘追溯平台、验收总口径 | 本章遵循 | 「工具链三」一节 |
| 数据集质检抽样与判定 | 本章提供可质检的输出字段 | 「数据加工生产(二)」一节、《数据集质量评测方案》 |
| 模型训练与推理 | 本章产出训练与评测样本 | 「行业大模型训练推理技术服务」一节 |
| 思维链、长上下文与 RAG、多轮对话数据构建 | 不在本章 | 「工具链一」一节 |
| 智能场景建设 | 不在本包范围 | 本包交付场景验证所需样本与评测结论 |
十个工具的产出都要经过同一道发布门槛才能作为合格训练数据进入数据集。门槛只有一条总则:映射缺失、对齐失败、质量不合格三类情形中的任何一类成立,该条记录或该批次都不自动发布,而是按类型进入对应队列等待处置。这条总则与数据加工生产各环节的门控是同一套口径——门控由设在每个加工环节之后的检查节点构成,检查节点依据质量规则判断数据是否符合进入后续工序或交付的条件,判定不通过的不予放行,不进入下一道工序;判定结论取通过、有条件通过、不通过三值。本章工具是这些检查节点的上游供料方,因此在工具侧就把不合格产出拦下并标记,而不是等到下游质检再分拣;越晚分拣,前面投入的加工与标注工时作废得越多。
表 2-4 三类不合格情形的判定、隔离位置与解除条件
| 情形 | 判定 | 隔离位置与状态位 | 解除条件 | 对应的下游检查节点 |
|---|---|---|---|---|
| 映射缺失 | 业务对象主键未命中,或命中多个候选 | 待补映射队列/冲突隔离表,`publish_state` 置隔离,`block_reason` 记具体成因 | 对账或裁决结清并回写主键后,整条按原流程重新判定 | 入口检查节点与预处理检查节点 |
| 对齐失败 | 时间残差超容差、空间变换链缺环且无降级依据、语义无本体归属,或总体置信度低于低阈值 | 冲突隔离表,状态位同上 | 时钟补校、点位标定、本体评审采纳后重新计算并重新判定 | 预处理检查节点 |
| 质量不合格 | 结构校验、本体约束校验、一致性指标或抽检任一项不达线 | 返工队列,批次状态置不通过 | 按问题清单返工并复检通过 | 标注检查节点与合成增强检查节点 |
三类情形共用四个字段:`publish_state` 取候选、隔离、待裁决、已发布、已作废五值;`block_reason` 记成因代码;`disposition` 记处置队列、工单号与时限;`release_ref` 在解除后记录解除依据与复判结论。字段随记录一同进入数据集台账,版本冻结前按 `publish_state` 做一次全量核验,仍处隔离或待裁决状态的记录不计入该版本。
有两点需要说明其分寸。其一,隔离不等于丢弃。隔离记录连同其证据与处置工单一并保留至批次关闭后的约定期限,一方面便于回溯,另一方面这些记录本身就是数据通道与知识缺口的清单——某一类映射长期补不上,指向的是源系统标识体系的缺环,该结论应当上报而不是沉默地丢掉样本。其二,降级不等于隔离。精度不足以支撑某些用途但关系成立的样本属降级件,可用、用途受限,按位置表达层级与可用性字段分流(见 3.2.3);把降级件一律隔离会损失大量可用语料,把隔离件当降级件放行则会把错误事实写进数据集,两者在字段上严格区分。
发布门槛的三项指标按三段式给出。其一,隔离解除时长:自记录进入隔离到完成复判的时长,基线按首批实测取值,趋向为随规则沉淀与标识补齐逐季缩短,长期高于门限时按成因分类上报并调整派发节奏。其二,误拦率:隔离记录经裁决确认为本可发布的比例,基线首批实测,趋向为随判定规则细化下降,高于门限时逐项复核判定条件,调整的是规则而不是阈值。其三,漏放率:已发布记录在下游门控中被判为三类情形之一的比例,基线首批实测,趋向为逐季下降,高于门限时对同批次做一次全量复扫并补充工具侧的拦截规则。
本类工具提供面向图纸、工艺图、图像、视频关键帧、文本、传感器时序和运维事件的数据对齐能力,建立不同模态之间的语义、时间、空间和业务关联关系,形成可用于多模态模型训练、评测和场景验证的数据样本,覆盖图纸结构化、关键帧与事件对齐、时序事件对齐、特征抽取和诊断说明生成等环节。
处理对象的现状可以概括为「量不少、关联少、口径散」:生产业务数据留存完整,十年前生产了哪个矿的哪些产品都可追溯;设备过程参数已在采集并长期保存;历史图纸约六十三万张且每张历史上都配有一份已审核签发的工艺卡片。但是图纸与工艺卡片的配对关系存在于文件目录与人的记忆中;焊接参数流与工件、焊道没有对应;热处理炉次与工件、材料批次、检测结果之间没有稳定关联;故障记录与数据段没有配对;纸质检测报告数量可观但尚未数字化。
现场缺口在关联而非体量。本类工具不重复采集,而将既有数据按业务对象、时间轴与空间位置挂接,并记录依据与置信度,供训练使用及错样回溯。
招标文件要求建立语义、时间、空间和业务四类关联关系。四类关系的含义与承载方式见表 3-1。
表 3-1 四类关联关系的含义、矿山装备制造场景下的具体对象与承载工具
| 关联类型 | 含义 | 本项目中的具体对象 | 主要承载工具 |
|---|---|---|---|
| 语义关联 | 不同模态描述同一事物时的概念对应 | 图纸上的粗糙度符号与工艺卡片上的加工方法;视频画面中的作业动作与工单文字描述;时序曲线形态与诊断结论用语 | 图纸结构化抽取(3.2.3.5.1)、视频-文本对齐(3.2.3.5.2)、时序-事件对齐(3.2.3.5.3) |
| 时间关联 | 不同模态在同一时间轴上的位置对应 | 视频帧时间戳与设备运行事件、工艺阶段;传感器采样时刻与报警、停机、维修工单的发生时刻;热处理炉次的开完工记录与实际温度曲线 | 视频-文本对齐、时序-事件对齐 |
| 空间关联 | 不同模态在同一物理位置上的对应 | 图纸视图上的作用表面与实物焊道、加工面;相机视场与焊接部位;振动测点在轴上的角位置基准 | 图纸结构化抽取、视频-文本对齐 |
| 业务关联 | 不同模态记录归属同一业务对象 | 施工号—产品号—图号—零件号—工单号—炉次—焊道—测点—故障记录之间的归属链 | 三个工具均通过统一对象标识服务挂接(见 2.1) |
四类关系的建立顺序固定为业务对象、时间、空间、语义四步,每一步有独立的判定结论与独立的失败出口,见图 3-1。前一步不成立时后续步骤不执行,也不以后续步骤的结果反推前一步:一段时序若说不清属于哪个工件,它与报警时刻对得再准也没有训练价值;反过来用时间上的巧合去推定工件归属,等于把偶然当成事实写进数据集。四步各自的判定依据、置信度分量与失败出口在 3.2.1 至 3.2.6 逐项给出,三个对齐工具按同一口径实现,差别只在各自处理的模态。
3-1 四类关联关系的建立顺序、置信度合成与三个失败出口
图 3-1 四类关联关系的建立顺序、置信度合成与三个失败出口。数据来源:招标文件第五章 3.2.3.5 节对四类关联关系的要求,以及本章 2.3 置信度分级与 2.6 发布门槛口径。
业务对象关联要回答的是「这条记录说的是哪一件东西上的哪一道工序、由哪台设备做的、由哪个测点测的」。本项目的标识链自上而下为施工号、产品号、图号与零件号、工序号、设备编码、测点编号,横向另有炉次号、焊缝与焊道号、工单号、检验记录号四组与工序挂接的标识。各层的键形态、来源与取键方式见表 3-1A。
表 3-1A 标识链各层的键形态、来源与取键方式
| 层级 | 标识 | 来源系统 | 与上一层的关系 | 现状缺口 | 取键方式 |
|---|---|---|---|---|---|
| 项目 | 施工号 | 生产业务系统 | —— | 口径完整,可追溯至十年前 | 直接换取内部主键 |
| 产品 | 产品号 | 生产业务系统 | 一个施工号含多个产品号 | 口径完整 | 直接换取内部主键 |
| 零件 | 图号、零件号 | 产品全生命周期管理系统 | 一个产品号含多个零件号 | 历史图纸的图号与文件命名规则不统一 | 按图号规范化后换取,规范化失败转人工对账 |
| 工序 | 工序号 | 制造执行系统 | 一个零件号含多道工序 | 备料分厂工序字典未成文,现掌握口径为二十八道 | 按已掌握口径匹配,匹配不上的记录源值并转人工 |
| 设备 | 设备编码 | 设备管理系统 | 一道工序对应一台或多台设备 | 编码与现场设备的对应基本可用 | 直接换取内部主键 |
| 测点 | 测点编号 | 采集网关与设备管理系统 | 一台设备含多个测点 | 部件级振动测点与轴上角位置基准缺失 | 直接换取;基准缺失的测点在空间分量上降级 |
| 横向 | 炉次号 | 热处理作业记录 | 一个炉次含多个零件 | 炉次与工件、材料批次、检测结果之间无稳定关联 | 按炉次时间窗与装炉清单双向比对 |
| 横向 | 焊缝与焊道号 | 工艺文件与焊接作业记录 | 一道焊接工序含多条焊道 | 焊接参数流与工件、焊道无对应 | 按工位、时间窗与工艺文件焊道表三者比对 |
| 横向 | 工单号 | 生产工单与服务工单系统 | 一道工序或一次维修对应一张工单 | 服务工单的处置结果无结构化记录 | 直接换取;处置结果按回填接口补入 |
| 横向 | 检验记录号 | 质量管理系统与纸质台账 | 一道工序对应零至多次检验 | 纸质检测报告尚未数字化 | 已数字化部分直接换取,纸质部分列入数字化范围 |
挂接按三条规则执行。其一,一律通过统一对象标识服务换取内部主键,不直接用源系统的业务编码做关联键;源编码在 `source_ref` 中原样保留,便于回查。其二,换取未命中时返回明确的未命中状态,记录进待补映射队列并生成对账工单,不以空值、默认值或就近匹配代替。其三,一条记录命中多个候选主键时不取最高分的那一个,而是整条转入冲突隔离表,按 3.2.6 裁决——在工程语境下,一个挂错了工件的样本比一个没挂上的样本代价更大,后者只是少了一条数据,前者会把另一件产品的事实写到这件产品名下。
业务对象关联的成功与失败样本见下。成功样本取一条焊接参数流片段,四级标识齐备且各级关系自洽;失败样本取同一产线上另一条片段,工位与时间窗同时命中两条焊道,整条转隔离。
```json { "case": "业务对象关联·成功", "record_id": "ALN-OBJ-2027041700912", "object_key": { "project": "PJ-00002218", "product": "PD-0000031142", "part": "PK-0000000931", "process": "OP-WLD-0240", "equipment": "EQ-WLD-0007", "weld_bead": "WB-0000418203" }, "source_ref": {"src_codes": {"工位": "W-07", "派工单": "MO-2027-041733", "焊道表行": "7"}, "stream": "CAM-WELD-03", "window": "2027-04-17T14:16:40Z/14:21:10Z"}, "resolution": {"service_version": "OIDS-2027.03", "hit": "exact", "evidence": ["派工单→零件号 直接映射", "焊道表行→焊道号 唯一命中", "工位→设备编码 台账唯一"]}, "alignment_confidence": {"business": 0.97}, "review_state": "机器通过" } ```
```json { "case": "业务对象关联·失败(一对多挂接,转冲突隔离)", "record_id": "ALN-OBJ-2027041700947", "object_key": {"project": "PJ-00002218", "product": "PD-0000031142", "part": "PENDING"}, "source_ref": {"src_codes": {"工位": "W-07", "派工单": null}, "stream": "CAM-WELD-03", "window": "2027-04-17T15:02:10Z/15:06:55Z"}, "resolution": {"service_version": "OIDS-2027.03", "hit": "ambiguous", "candidates": [ {"part": "PK-0000000931", "weld_bead": "WB-0000418207", "score": 0.61, "basis": "时间窗与该焊道的工艺节拍吻合"}, {"part": "PK-0000000944", "weld_bead": "WB-0000418331", "score": 0.57, "basis": "同工位同班次的另一件在制品,装夹时间重叠"}], "reason": "派工单未在该时段报工,工位与时间窗同时命中两条焊道"}, "alignment_confidence": {"business": 0.0}, "publish_state": "隔离", "block_reason": "OBJ-AMBIGUOUS", "disposition": {"queue": "冲突隔离表", "ticket": "CFL-2027-0417-0032", "ask": "请工艺与生产调度确认该时段 W-07 工位的在制件归属", "sla_hours": 48} } ```
两条样本的差别不在算法而在证据:成功样本的三条证据各自独立且相互印证,失败样本的两个候选分数接近且都只有一条间接证据。工具不在这种情形下取高分者,这一取舍写入候选评分的使用口径,评分只用于排列裁决时的查看顺序,不用于自动定夺。
时间关联的难点不是比较时间戳,而是比较之前要先确认这些时间戳是否可比。本项目的时间戳来自四类时钟,彼此独立且都存在偏差:设备控制器时钟、录像设备时钟、业务系统的人工录入时刻、采集网关时钟。四类时钟的偏差量级与校准办法,以及各数据源的采样频率,见表 3-1B。
表 3-1B 各数据源的采样频率、时间戳来源与时钟误差的处置
| 数据源 | 典型采样频率 | 时间戳来源 | 误差成因与量级 | 校准办法 |
|---|---|---|---|---|
| 焊接参数流(电流、电压、送丝) | 10–50 赫兹 | 产线控制系统时钟 | 控制器时钟长期漂移,未定期同步时可达秒级 | 以网络时间同步源为基准定期校时;历史数据按起弧、熄弧等特征事件与视频互相关求偏移量 |
| 热处理炉温与工艺曲线 | 0.1–1 赫兹 | 炉控系统时钟 | 同上,另有开炉门等人工操作与记录时刻不同步 | 按装炉、升温起点等特征拐点对齐装炉清单的记录时刻 |
| 振动与温度等状态量 | 1–1000 赫兹(按测点) | 采集网关时钟 | 网关已接入同步源,偏差多在百毫秒内 | 直接使用,登记同步状态与上次校时时刻 |
| 工艺过程视频 | 25–30 帧每秒 | 录像设备时钟 | 录像设备时钟独立走时,偏差可达分钟级 | 按画面内可见的事件(起弧、落料、设备指示灯)与事件流互相关求偏移量,残差入库 |
| 报警与设备运行事件 | 事件触发 | 产线控制系统时钟 | 与参数流同源,偏差一致 | 与参数流共用同一偏移量 |
| 生产工单与服务工单 | 事件触发 | 人工录入 | 录入时刻晚于事实发生时刻,滞后从数分钟到数日不等 | 事实发生时点与记录时点分两个字段登记,对齐一律用事实发生时点 |
| 检验记录 | 事件触发 | 人工录入或仪器导出 | 同上 | 同上;仪器导出的以仪器时钟为准并登记其同步状态 |
时钟偏移量的求法与残差登记在视频-文本对齐与时序-事件对齐两个工具中已分别实现,字段为 `clock_offset_ms`,含取值、求法与残差三项(见 3.4.3 与 3.5.2)。本节约定的是三类工具共用的两条口径:其一,凡参与对齐的时间戳必须附带其时钟来源与同步状态,无同步状态登记的时间戳按未校准处理;其二,对齐容差不取经验值,按参与对齐的两路数据的采样周期与时钟不确定度合成:取两路采样周期之半与两路时钟不确定度的平方和根,其中已接入同步源的按登记的同步精度取值,经特征事件互相关校准的按校准残差取值。匹配时刻差超出容差的一律判为不成立。另有一条独立约束:若某一路的时钟不确定度本身已超出该业务对象所需的时间分辨率(如热处理保温段与升温段的边界判定要求),则无论匹配时刻差大小,该路都须先补校时钟再参与对齐。
时间窗口按四类定义,窗长不是一个全局常数,而是按窗口类型与业务对象的节拍分别取值,见表 3-1C。
表 3-1C 四类时间窗口的定义、窗长取法与典型用途
| 窗口类型 | 定义 | 窗长取法 | 典型用途 |
|---|---|---|---|
| 事件前窗 | 自事件时刻向前截取的区间 | 按该类事件的典型前兆时长取值,首期按历史样本的前兆持续时间分布取其上四分位数 | 报警前兆片段、停机前的参数异常片段 |
| 事件后窗 | 自事件时刻向后截取的区间 | 按该类事件的影响消退时长取值 | 维修后的恢复过程、换辊后的参数稳定过程 |
| 稳态窗 | 工艺参数在容差带内持续的区间 | 按参数进入并保持在工艺窗口内的实际时长动态确定,不固定窗长 | 焊接主焊缝段、热处理保温段的特征提取 |
| 过渡窗 | 两个稳态窗之间的区间 | 由相邻两个稳态窗的边界确定 | 升温段、起弧与收弧段的异常检出 |
窗口之间允许重叠,重叠部分的样本带全部命中的窗口标识,不做归一;但一个窗口同时落入两个业务对象的归属区间时,按 3.2.6 转冲突隔离。窗口的步进在批量切分时按窗长的四分之一取值,使边界处的异常不会因恰好落在切点而被截断。
```json { "case": "时间关联·成功", "record_id": "ALN-TIM-2027041700912", "object_key": {"equipment": "EQ-WLD-0007", "weld_bead": "WB-0000418203"}, "streams": [ {"name": "焊接参数流", "rate_hz": 25, "clock": "产线控制系统", "sync_state": "已同步", "offset_ms": 0, "residual_ms": 40}, {"name": "工艺过程视频", "rate_fps": 25, "clock": "录像设备", "sync_state": "未同步", "offset_ms": -2280, "method": "特征事件互相关(起弧 12 次)", "residual_ms": 140} ], "tolerance_ms": {"value": 148, "formula": "sqrt(20^2+20^2+40^2+140^2)", "note": "两路采样周期之半(各 20 毫秒)与两路时钟不确定度(40、140 毫秒)的平方和根"}, "window": {"type": "稳态窗", "code": "WLD-MAIN-SEAM", "start": "2027-04-17T14:17:01.280+08:00", "end": "2027-04-17T14:20:48.640+08:00", "basis": "电流在 230±15 A 工艺窗口内持续"}, "matched_events": [{"event_id": "EVT-WLD-9931", "type": "焊接起弧", "delta_ms": 86}], "alignment_confidence": {"business": 0.97, "time": 0.93} } ```
```json { "case": "时间关联·失败(残差超容差,对齐不成立)", "record_id": "ALN-TIM-2027041701338", "object_key": {"equipment": "EQ-HT-0002", "heat_lot": "HL-2027-0417-03"}, "streams": [ {"name": "炉温曲线", "rate_hz": 0.2, "clock": "炉控系统", "sync_state": "未同步", "offset_ms": 41000, "method": "装炉拐点对齐", "residual_ms": 9600}, {"name": "装炉清单记录时刻", "clock": "人工录入", "fact_time": null, "record_time": "2027-04-17T09:40:00+08:00", "note": "仅有记录时点,事实发生时点未填报"} ], "resolution_required_ms": {"value": 3000, "basis": "保温段与升温段的边界判定所需分辨率"}, "alignment_confidence": {"business": 0.91, "time": 0.0}, "publish_state": "隔离", "block_reason": "TIME-FACT-POINT-MISSING", "note": "另:炉控时钟校准残差 9600 毫秒已超出该炉次切分所需分辨率,须先补校时钟", "disposition": {"queue": "冲突隔离表", "ticket": "CFL-2027-0417-0051", "ask": "请热处理班组按装炉实际时刻补填事实发生时点", "fallback": "补填前该炉次只参与炉次级统计,不产出时间对齐样本"} } ```
失败样本说明一条口径:装炉清单只填了记录时点而未填事实发生时点时,工具不以记录时点近似代替,因为人工录入的滞后在本项目上实测可达数十分钟,用它做时间对齐会把升温段切成保温段。该炉次的数据不丢弃,而是降级为炉次级统计样本,待事实时点补填后重新切分。
空间关联要回答的是「图纸上标的这个要求,落在实物的哪个面上;画面里看到的这一处,是工件的哪个部位;这个测点在轴上的哪个角位置」。本项目涉及四个坐标系与三道变换,见表 3-1D。
表 3-1D 四个坐标系、三道变换与标定方式
| 坐标系或变换 | 内容 | 标定或判定方式 | 未标定时的处置 |
|---|---|---|---|
| 图纸视图坐标系 | 各视图自身的平面坐标,含剖视与局部放大视图的比例 | 由原生图纸文件的图元坐标直接给出,比例取自视图标注 | 不涉及 |
| 视图到工件的变换 | 多视图投影关系的重建,把同一几何要素在不同视图上的表达归并为一个要素 | 先按视图框与投影线索几何对齐,再用标注一致性校验归并(见 3.3.2) | 输出候选对应关系并标注置信度,低于阈值的转人工确认 |
| 工件坐标系 | 以设计基准面与基准孔建立的工件自身坐标 | 由图纸基准标注确定;焊道、加工面、检验部位均在此坐标系下表达 | 基准标注缺失时只记录要素间相对位置,不记录绝对坐标 |
| 工件到设备的变换 | 装夹基准与机床零点的对应 | 取自工装台账与装夹工艺文件 | 台账缺项的记为待补,位置表达退回工件坐标系 |
| 相机内参与外参 | 像素坐标到相机坐标、相机坐标到工件或设备坐标的变换 | 新布点按标定板标定,登记标定时刻、重投影误差与有效期;既有安防点位一般不具备标定条件 | 未标定点位只登记「视场覆盖某部位」这一定性结论,不输出像素到实物的定量位置 |
| 测点角位置基准 | 振动测点在轴上的角位置与键相基准 | 由设备设计资料与现场测量确定 | 基准缺失时频域特征按额定转速估算并标记降级(见 3.5.4),空间分量置零 |
空间关联的输出一律带两项附加字段:变换链(本条位置经过了哪几道变换得出)与位置表达层级(绝对坐标、相对位置、定性覆盖三档)。这两项决定了该样本在下游的可用范围——定性覆盖档的样本可用于画面描述类训练,不可用于需要精确部位的缺陷定位类训练,标注规范按此分流。
```json { "case": "空间关联·成功", "record_id": "ALN-SPA-2027041700912", "object_key": {"part": "PK-0000000931", "weld_bead": "WB-0000418203"}, "transform_chain": ["像素→相机(内参 CAM-WELD-03/2027-03-21)", "相机→设备(外参,标定板,重投影误差 0.42 px)", "设备→工件(装夹台账 FX-0231,基准面 A、基准孔 B1)"], "position": {"level": "绝对坐标", "frame": "工件坐标系", "bead_start_mm": [412.0, 68.5, 0.0], "bead_end_mm": [1286.0, 68.5, 0.0], "observed_point_mm": [861.4, 70.2, 0.0]}, "drawing_link": {"view": "主视图", "entity_handle": "2F1A", "layer": "焊接符号", "requirement": "角焊缝 k=8,GB/T 324 标注"}, "calibration": {"valid_until": "2027-09-21", "residual_px": 0.42}, "alignment_confidence": {"business": 0.97, "time": 0.93, "space": 0.89} } ```
```json { "case": "空间关联·失败(点位未标定,降为定性覆盖)", "record_id": "ALN-SPA-2027041701902", "object_key": {"part": "PK-0000000944", "process": "OP-WLD-0240"}, "source_profile": {"origin": "安防既有点位", "resolution": "1280x720", "fps": 15, "fov_note": "斜俯视全工位,焊接部位在画面远端"}, "transform_chain": ["像素→相机(未标定)"], "position": {"level": "定性覆盖", "frame": null, "statement": "画面覆盖 W-07 工位整体,可判断是否在焊接,不可判断焊道位置"}, "alignment_confidence": {"business": 0.95, "time": 0.90, "space": 0.31}, "downstream_use": {"画面描述类训练": "可用", "缺陷定位类训练": "不可用", "basis": "位置表达层级为定性覆盖"}, "publish_state": "候选", "note": "该点位的可用率单列统计,不并入总体;新增布点的视场与清晰度要求另行提出" } ```
第二条样本不是隔离件而是降级件,二者的区别需要讲清楚:隔离是指这条记录的关系判定不成立,不能作为合格训练数据发布;降级是指关系成立但精度不足以支撑某些用途,样本可用、用途受限。工具在字段上把两者分开,下游按 `position.level` 与 `downstream_use` 取用,不靠人记。
语义关联要回答的是「图纸上这个符号,在工艺语言里叫什么;画面里这个现象,在工单里怎么写;这段曲线形态,在诊断结论里对应哪句话」。三类映射的依据、判定方式与歧义处置见表 3-1E。
表 3-1E 三类语义映射的依据与歧义处置
| 映射类型 | 从 | 到 | 判定依据 | 歧义处置 |
|---|---|---|---|---|
| 符号到加工要求 | 粗糙度、坡口、倒角、形位公差、焊接符号 | 加工方法、工序、检验项 | 符号按国家标准表示法规则解析;符号到工序的对应取自工序字典与加工方法分档规则 | 一个符号对应多种加工方法时输出候选集与适用条件,不自动择一 |
| 现象到业务用语 | 画面中的作业动作与可见现象、时序曲线形态 | 工单描述用语、工艺阶段名称 | 本体主词条与别名表;标注规范中的判例 | 别名表未覆盖的表述进入新术语发现流程,不就近归入相近词条 |
| 结论到判据用语 | 诊断结论、检验判定 | 故障名录条目、判定分级、缺陷类别 | 故障名录、热处理三级判定、缺陷与检出手段对应关系 | 判据未成文的部分按工具内置分档输出并标注其依据来源,与业务口径的差异在标注质量报告中单列 |
语义映射一律经由领域本体与术语词典,不在工具内硬编码词表;本体版本号随每条记录登记,本体改版后历史记录按 4.5.4 的三档口径处置。这样做的实际好处是,业务口径更新时改的是本体,不是十个工具的代码,而改了什么、影响哪些历史样本有据可查。
```json { "case": "语义关联·成功", "record_id": "ALN-SEM-2027031200781", "object_key": {"part": "PK-0000000931", "surface": "SF-A3"}, "ontology": {"version": "ONT-2027.02", "domain": "工艺"}, "mapping": { "from": {"modality": "图纸符号", "handle": "3C07", "symbol": "Ra 3.2", "standard": "GB/T 131—2006"}, "to": {"term": "精铣", "term_id": "ONT-PROC-0117", "aliases_hit": ["半精加工后精铣"], "process_candidates": ["OP-MIL-0120"]}, "basis": ["粗糙度分档规则:Ra 3.2 对应精铣或精磨", "该表面为平面且相邻工序为铣削,排除精磨", "工序字典中备料与机加工序集合内仅 OP-MIL-0120 满足"]}, "alignment_confidence": {"business": 0.99, "space": 0.94, "semantic": 0.91} } ```
```json { "case": "语义关联·失败(别名未覆盖,转新术语发现)", "record_id": "ALN-SEM-2027041702216", "object_key": {"equipment": "EQ-HT-0002", "work_order": "WO-2027-041801"}, "ontology": {"version": "ONT-2027.02", "domain": "质量"}, "mapping": { "from": {"modality": "工单文本", "span": [46, 53], "text": "发闷响、带周期"}, "to": null, "nearest": [{"term": "异响", "term_id": "ONT-FAULT-0301", "similarity": 0.62}, {"term": "周期性冲击", "term_id": "ONT-FAULT-0318", "similarity": 0.58}], "reason": "两个候选的相似度接近且语义指向不同层级,别名表未收录该表述"}, "alignment_confidence": {"semantic": 0.0}, "publish_state": "隔离", "block_reason": "SEM-NO-TERM", "disposition": {"queue": "新术语发现池", "ticket": "TRM-2027-0418-0007", "submit": {"候选表述": "发闷响、带周期", "出现频次": 23, "建议归属": "故障域·现象层", "证据样本": 5}, "fallback": "本体评审采纳前,该条不参与故障标签标注,仅进语料"} } ```
失败样本中的「出现频次 23」是这条线索值得提交评审的理由:孤例不进评审池,达到频次门限的才提交,避免本体被低频表述灌满。频次门限按业务域分别设定,首期取值与复标周期随本体评审机制一并约定。
每条对齐记录登记四个置信度分量与一个总体值,字段为 `alignment_confidence`,取值 0 至 1。四个分量的计算依据见表 3-1F。
表 3-1F 四个置信度分量的计算依据与降级条件
| 分量 | 计算依据 | 取 1 的条件 | 降级条件 |
|---|---|---|---|
| 业务分量 | 主键换取的命中方式与证据条数 | 精确命中且有两条以上独立证据 | 单证据命中降一档;多候选命中置零并隔离 |
| 时间分量 | 匹配残差与对齐容差之比 | 残差不足容差的五分之一 | 残差接近容差按比例线性降低;超容差置零 |
| 空间分量 | 变换链完整度与标定残差 | 变换链完整且重投影误差在标定允许范围内 | 变换链缺环按缺的那一道降档;未标定置为定性档上限 |
| 语义分量 | 本体命中方式与候选分离度 | 主词条精确命中 | 别名命中降一档;多候选且分离度不足置零并隔离 |
总体值取四个分量的最小值,不取加权平均。理由是四个分量描述的是四件互不替代的事:时间对得再准,工件挂错了仍是错样;语义映射再确切,空间位置说不清就不能用于定位类训练。加权平均会让一个高分量掩盖一个致命的低分量,而数据集里最难查的恰恰是这种「总分不低、某一维已经不成立」的样本。总体值按 2.3 的三档口径分流,高阈值按工具链总述第 4.9 节的门限校准口径确定,不另取经验值。
对齐置信度的分布本身作为一项质量指标按批次统计:基线为首批实测的四分量分布与总体值分布;趋向为高置信档占比随标识链补齐、点位标定与本体扩充逐季提高,中低置信档占比相应下降;低于门限时的回退为按分量定位短板所在环节(主键、时钟、标定、本体),把该环节的补齐事项列入对应清单,期间该批次按实际档位分流,不调整阈值凑占比。
前四节各自给出了失败出口,本节统一约定冲突的分类、隔离方式与裁决流程。五类冲突及其处置见表 3-1G。
表 3-1G 五类对齐冲突的判定、隔离方式与裁决口径
| 冲突类型 | 判定 | 隔离方式 | 裁决依据与结论回写 |
|---|---|---|---|
| 一对多挂接 | 一条记录命中多个候选业务对象主键 | 整条进冲突隔离表,主键置待定 | 由工艺与生产调度按派工与在制记录确认;结论回写主键并标记裁决来源 |
| 时间窗归属重叠 | 一个窗口同时落入两个业务对象的归属区间 | 该窗口的切分结果整体隔离 | 由作业班组按实际作业顺序确认;结论回写窗口边界 |
| 空间作用面冲突 | 同一表面上存在两项相互冲突的加工或检验要求 | 该符号条目降为候选推荐,不写入工艺卡片字段 | 由工艺确认;属图纸本身标注冲突的记入图纸问题清单提交甲方,不自行改数 |
| 语义标签互斥 | 命中的本体标签之间违反互斥约束 | 整条进冲突隔离表 | 按本体约束校验结论处置;属本体缺口的提交本体评审 |
| 跨模态结论矛盾 | 同一事实在两个模态上得出相反结论(如画面显示在焊而参数流显示未起弧) | 两条记录同时隔离并相互引用 | 由设备与工艺联合确认;结论回写并沉淀为新的校验规则 |
裁决按工单组织,工单含四项必备内容:冲突类型与判定依据、各候选及其证据、需要确认的具体问题、处理时限。时限按冲突对下游的阻塞程度分两档,阻塞批次流转的按一个工作日、不阻塞的按三个工作日。裁决结论一律回写原记录并留痕,留痕内容包括裁决人岗位、裁决时刻、所依据的材料与结论;同一类冲突在同一业务域内累计达到约定次数后,由工具提出规则补充建议,经确认后沉淀为自动判定规则,使同类冲突在后续批次中不再重复占用人力。
冲突隔离与裁决的三项指标按三段式给出。其一,隔离率:按冲突类型分别统计隔离记录占本批次记录数的比例,首批实测取基线;趋向为随标识链补齐与规则沉淀逐季下降;持续高于门限时按类型定位成因,属数据通道缺口的转对应清单,属规则不足的补充规则,不以放宽判定条件压低隔离率。其二,裁决及时率:在时限内结清的工单占比,基线按首批实测取值,趋向为稳定在约定水平以上,低于门限时缩短单批派发量并提高派发频次。其三,裁决后复发率:同一业务对象在裁决结清后再次因同类冲突进入隔离的比例,基线首批实测,趋向为随规则沉淀下降,高于门限时说明裁决结论未转为规则,需补充规则并对同类历史记录做一次复扫。
本工具从设备和工艺图纸中抽取结构化的数据信息。
甲方的板材备料工艺编制困难集中在重复劳动。工艺人员要读懂多视图的投影关系,读出材料牌号、板厚、外形轮廓、孔与方孔、坡口与倒角、压弯线与粗糙度符号,据此在备料分厂固定且封闭的工序集合中挑选并排序——该集合现掌握的口径为二十八道,以工艺部门确认的正式工序字典为准——再逐字段填写卡片、关联设备与工装样板、按中性层公式换算压弯件展开长。
当前编制方式下工时大量消耗在录入而非工艺判断上:编制一张图纸的工艺卡需完成数百次点击与录入,一套四百张量级的项目仅工艺编审即需两天以上,而其中七八成图纸本有可借用的既有工艺,仍需逐张打开核对。出错代价不对称——材料定额中的下料尺寸写错,钢板割下来就是废料。
图纸抽取的首要验收点是:抽出的尺寸与定额能否被工艺人员直接采信。无置信度分级、无证据回指时,即便识别率高,工艺人员也无法判断哪些数字须复核,该工具在本场景不可用。
工具按五个功能单元组织,见表 3-2。
表 3-2 图纸与工艺图结构化抽取工具的功能单元
| 功能单元 | 做什么 | 关键技术取舍 |
|---|---|---|
| 原生图元解析 | 直接读取原生 CAD 图纸文件(DWG、DXF 等)的图元、图层、线型、块引用、尺寸标注与标题栏,保留每个图元的句柄 | 读原生文件而非截图识别。原生文件中尺寸标注的测量值是确定的数值,不需要识别;截图路线会把确定的数值变成识别结果,这是本项目不采用它的原因 |
| 版面与表格还原 | 解析标题栏、明细栏、技术要求文本块与图框信息,还原为字段值 | 标题栏与明细栏位置在企业内部有固定模板,按模板匹配优先、通用表格还原兜底 |
| 符号与标注语义解析 | 解析粗糙度、坡口、倒角、形位公差、尺寸公差、焊接符号、热处理要求等符号表达的加工要求,并确定其作用的表面范围 | 符号本身按国家标准的表示法规则解析,依据 GB/T 131—2006《产品几何技术规范(GPS) 技术产品文件中表面结构的表示法》与 GB/T 1800.1—2020《产品几何技术规范(GPS) 线性尺寸公差 ISO 代号体系第 1 部分》;作用范围的判定需结合视图投影关系,由模型辅助给出候选、规则校验收敛 |
| 多视图投影关系重建 | 识别主视图、俯视图、左视图与剖视、局部放大视图之间的投影对应,把同一几何要素在不同视图上的表达归并为一个要素 | 先按视图框与投影线索做几何对齐,再用标注一致性校验归并结果。本项无法完全自动化时,输出候选对应关系供人工确认 |
| 几何要素与工艺特征提取 | 提取外形轮廓、板厚、孔(含方孔)位置与尺寸、压弯线、切割长度、面积,并计算压弯件展开长与材料定额 | 展开长按中性层公式确定性计算,中性层系数按板厚、折弯角度与模具的对应关系取自工装台账;台账缺失处输出为待补并给出经验区间,不静默取默认值 |
扫描件与纸质图纸的处理另按一条路线:先做版面分析与光学字符识别,再进入符号语义解析;此路线的输出一律不进高置信档,默认进入人工复核队列。这是因为扫描件上的尺寸数值来自识别而非原始数据,置信度在工程语境下不足以直接采信。两条路线的选择由输入文件类型自动判定,处理结果在 `source_ref` 字段中标明来源路线。
图纸抽取工具的接口设计受一条硬条件约束:图纸与工艺文件属产品定义资料,解析须在内网就地完成、文件不出内网,因此接口只取只读权限,并按图号或项目分批拉取,不做整库导出。输入三项分别对应三类依据——图纸文件是待解析对象,工序字典与规则是判定依据,历史成对样本是校验依据;三者均带版本号,便于日后复算时还原当时的判定环境。输出三项中,结构化图纸记录是主产物,要素级证据索引是其可核验性的保障:每个抽取出的字段都能回指到图元句柄、图层名与坐标范围,复核人员无须重新读图即可定位到原处;待补与冲突清单则是不确定部分的出口,未命中与存疑条目以工单形式交人工,而不混入主产物。三项输出合起来即表明,本工具产出的每个字段都可追到图上一处,这是 3.3.6 各项抽取正确率得以按字段分别验收的前提。
表 3-3 图纸结构化抽取工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 图纸文件获取 | 按图号或项目从产品全生命周期管理系统按已授权范围只读读取图纸文件、物料清单与工艺文件;解析在内网就地进行,文件不出内网 | 工具侧发起只读调用;原生图纸不支持整批导出时按图号或项目批量拉取 |
| 输入 | 工序字典与规则 | 备料分厂工序集合(现掌握口径二十八道)、加工方法分档规则、中性层系数台账、工装压模与样板台账 | 从知识本体与规则库读取,带版本号 |
| 输入 | 历史成对样本 | 历史图纸与其已审核签发的工艺卡片配对样本,用于抽取结果的回归比对 | 从数据集原始区读取,按批次 |
| 输出 | 结构化图纸记录 | 标题栏字段、明细栏行、几何要素表、符号与加工要求表、视图对应关系、材料定额与展开长 | 以 JSON 文档写入对齐区,附表 2-1 公共字段 |
| 输出 | 要素级证据索引 | 每个字段回指到图元句柄、图层名、视图编号与坐标范围 | 与结构化记录同库存储,供复核时定位 |
| 输出 | 待补与冲突清单 | 未命中对象主键、台账缺失、视图对应存疑、符号无法解析的条目 | 以工单形式推入人工处理队列 |
3-2 图纸与工艺图结构化抽取流程与责任边界
图 3-2 图纸与工艺图结构化抽取流程与责任边界。数据来源:招标文件第五章 3.2.3.5.1 节;工序口径与中性层计算方式依甲方工艺部门现行做法。
下例为一张压弯件图纸的抽取结果片段,字段名与表 2-1、表 3-3 一致。为便于阅读省略了部分重复的要素行。
```json { "record_id": "DWG-EXT-2027031200781", "object_key": {"part": "PK-0000000931", "drawing": "DW-0000045127", "project": "PJ-00002218"}, "source_ref": {"route": "A-native", "file_digest": "sha256:9f1c…a4", "layout": "主视图+俯视图+局部放大A"}, "title_block": { "part_name": "过渡槽帮板", "material": "Q355B", "thickness_mm": 16, "drawing_rev": "C", "designer_role": "设计岗位", "approve_state": "已签发" }, "geometry": { "outline_perimeter_mm": 4318.6, "outline_area_mm2": 862140.0, "holes": [ {"type": "round", "d_mm": 22.0, "count": 8, "evidence": {"handle": "2F3A", "layer": "ARC-HOLE", "view": "V1"}}, {"type": "square", "a_mm": 40.0, "count": 2, "evidence": {"handle": "2F55", "layer": "ARC-HOLE", "view": "V1"}} ], "bends": [ {"line_id": "B1", "angle_deg": 90.0, "radius_mm": 20.0, "neutral_factor": 0.41, "neutral_factor_source": "工装台账 v2027.02 / 板厚16-角度90-模具 M-18", "evidence": {"handle": "31C7", "layer": "ARC-BEND", "view": "V2"}} ], "developed_length_mm": {"value": 1486.3, "method": "中性层公式", "recomputable": true} }, "process_requirements": [ {"type": "roughness", "value": "Ra 12.5", "applies_to": {"surface_id": "S3", "view": "V1", "bbox": [412, 180, 760, 214]}, "spec_ref": "GB/T 131—2006", "confidence": 0.94, "evidence": {"handle": "3A02", "layer": "ARC-SYM"}}, {"type": "bevel", "value": "单边V形 30°±2°, 钝边 2mm", "applies_to": {"surface_id": "S7", "view": "V3"}, "confidence": 0.71, "evidence": {"handle": "3A4D", "layer": "ARC-SYM"}} ], "view_mapping": [ {"element_id": "S3", "views": ["V1", "V2"], "method": "投影线索+标注一致性", "confidence": 0.88}, {"element_id": "S7", "views": ["V1", "V3"], "method": "候选待确认", "confidence": 0.52, "review_state": "未复核"} ], "material_quota": {"net_area_mm2": 862140.0, "nesting_pending": true, "note": "套料利用率需在下料排版后回填"}, "confidence": 0.86, "review_state": "机器通过", "tool_id": "dwg-extract", "tool_version": "1.4.0", "config_version": "cfg-2027Q1-03", "model_ref": "gw-vlm/v3", "prompt_version": "p-sym-0112", "batch_id": "B-20270312-DWG-017", "pending": [ {"item": "坡口作用表面跨视图对应存疑", "element_id": "S7", "action": "转人工确认"} ] } ```
样例中有两处值得说明。一是 `developed_length_mm` 带 `recomputable: true` 标记,表示该值由公式与台账参数确定性算出,验收时可独立复算;中性层系数的来源写明了台账版本与匹配条目,台账缺失时此处会改为待补而不是取默认系数。二是 `view_mapping` 中 S7 的置信度为 0.52,低于阈值,整条记录因此在 `pending` 中列出并转人工确认,而不是把存疑的坡口要求当作已确认结果写入工艺卡片字段。
前一节的输出样例里有一处安排值得单独说明:`developed_length_mm` 带可复算标记,`view_mapping` 的低置信条目转人工。这两处体现的是同一个判断——图纸抽取的结果不能只靠抽样复核来确认,它应当先由工具自己校一遍。
理由在于两种质量手段的性质不同。抽样复核是有限的、靠人的、用来估计整体正确率的;一批三百张的抽样可以告出"字段抽取正确率约为多少",但它不保证剩下的图纸里没有结构性错误。而图纸这一类载体有一个别处没有的便利:它自己带着可验算的约束。 尺寸之间要闭合,标题栏与明细栏之间要对应,符号必须落在实际存在的表面上,工艺参数必须落在工艺规程许可的范围内。这些约束可以逐张机械校验,成本接近于零,且不依赖人工判断。工具因此在输出之前对每一张图纸执行五项工程一致性自检,不通过的条目不进高置信档。
五项自检的判据、不通过时的处置与留下的证据如表 3-3A。
表 3-3A 图纸抽取结果的五项工程一致性自检
| 自检项 | 判据 | 不通过时的处置 | 留存证据 |
|---|---|---|---|
| 尺寸链闭合 | 同一方向上各组成尺寸之和与该方向的封闭尺寸一致,允差按图纸标注的公差带合成 | 区分三种成因分别处置:抽取有误的重算该方向尺寸,仍不闭合则转人工;图纸本身标注不闭合的记入图纸问题清单并提交甲方确认,不自行改数;缺标注的记为待补 | 参与本次计算的尺寸标注图元句柄清单与合成允差 |
| 标题栏与明细栏自洽 | 必填项齐全(图号、名称、材质、板厚、比例、数量、签署状态);图号与文件命名及档案编号一致;明细栏件号连续、数量与装配图引用一致 | 字段级记为待补或待核,不以默认值填充;图号不一致的整张转人工,因为它影响工艺卡片的归档关系 | 各字段的取值位置(表格单元坐标或图元句柄)与比对结果 |
| 材质牌号合法 | 牌号对照材料标准词典与企业常用牌号台账校验;别名与手写变体做归一化 | 可归一的给出归一候选并标注原始写法;不可归一的转人工,同时把该写法提交术语表更新流程 | 原始写法、归一候选、所依据的词典版本 |
| 符号作用范围自洽 | 粗糙度、坡口、倒角、形位公差与焊接符号的作用表面,须落在已识别的几何要素上;同一表面不得同时存在相互冲突的两项要求 | 作用范围判定不自洽的,该符号条目降为候选推荐,不写入工艺卡片字段,与本节 3.3.6 对符号类型的回退口径一致 | 符号图元句柄、所指几何要素标识、冲突条目对 |
| 工艺参数落在工艺窗口内 | 热处理温度与保温时间、焊接电流与电压、压弯角度与板厚对应的最小弯曲半径等,对照工艺规程给定的参数窗口校验 | **越界不判为错误,判为需工艺确认**:转工艺人员裁定,裁定结论(属特殊工艺、属技术要求特批、属图纸笔误)记入样本并回流参数窗口库 | 参数取值、所比对的窗口条目与规程版本、裁定结论 |
表 3-3A 数据来源:自检项依本节表 3-2 各功能单元的产出字段设计,判据取自图纸标注的公差带、企业材料台账与工艺规程窗口;符号表示法的解析依据见表 3-2 所引国家标准。五项的首期执行范围与基线见本节 3.3.6。
第五项的处置方式需要特别说明,它是本工具与一般识别工具的分界。 工艺参数越界有三种成因:图纸写错、工艺本身特殊、规程窗口本身不全。工具无从分辨,所以它只能把越界事实与所比对的窗口条目一并呈报,由工艺人员裁定。把越界一律判为错误并剔除,会把真实的特殊工艺样本删掉——制造现场的例外是常态,而被删掉的恰恰是最有训练价值的样本;反过来,把越界静默放行,则等于把一条可能写错的工艺参数当作事实写进数据集。裁定结论回流参数窗口库这一步同样重要:窗口不全是现场实情,每一次裁定都在把隐性经验变成可复用的规则,这与数据治理体系建设中工序字典与规程成文的工作同向。
自检与抽样复核是两件事,不互相替代。 自检是逐张执行的、机械的、判"有没有违反可验算的约束";抽样复核是有限的、靠人的、判"抽出来的值对不对"。一张图纸可以通过全部五项自检而仍然抽错——例如把一个孔的直径从十二读成十八,恰好不破坏任何闭合关系;也可以自检不通过而抽取无误——例如图纸本身标注不闭合。因此两者在验收中并列:自检保证不漏过结构性错误,抽样复核给出正确率的估计值。本节 3.3.6 的五项正确率指标由抽样复核得出,自检的指标另立两项,见该节配套补充。
每张图纸输出一份校验单。 校验单按图号归档,内容为五项自检的逐项结论、命中条目、所依据的证据句柄与处置去向。它有三重用处:其一,它就是通用接口、追溯与验收要求所要求的质量指标与问题样本清单在本工具上的具体形态,不另造一套;其二,证据句柄使甲方可以独立复算——打开原图按句柄定位到那几个标注,自行验算闭合关系,不必信任我方的结论;其三,自检不通过的条目天然是高价值素材:它们是图纸解读类基准题目最好的来源(难度真实、答案可验算),也是标注环节优先派发的样本。
本项能力对历史资料另有一层用处。 五项自检的执行不依赖人工,可对历史工艺样本批量运行,形成一份历史图纸的标注问题清单,作为资料质量普查的副产品交付甲方。普查的覆盖面取决于原生图纸文件的可获得比例——扫描件路线的抽取结果本就不进高置信档,其自检结论只作提示。本方案的承诺因此落在三件可核对的事上:首期在试点批次上执行并给出可普查比例的实测值;服务期内随原生文件获取范围扩大逐步扩展覆盖,每期在质量报告中更新已覆盖比例;覆盖不到的部分在数据卡中显式标注,使使用方知道哪一部分未经自检。
自检能力的基线与回退按三项给出。 其一,自检可执行率:五项中能够实际执行的项数占比,它取决于图纸标注完整性与台账可获得性,首期在试点批次上实测取基线,不可执行的项按待补记录而不是按通过记录——把无法校验记成通过,是这类自检最常见的失真方式,本工具在字段上区分"通过"与"未校验"两种状态。其二,自检命中的准确率:自检报出的问题经人工确认为真问题的比例,按项分别统计;某一项准确率低于门限时,该项降为提示、不参与拦截,避免大量误报挤占复核人力。其三,自检漏过率:以抽样复核发现的错误为分母,统计其中未被任何自检项命中的比例,用于判断自检规则是否需要补充。三项均属待验证目标,首批实测后随规则补充逐步改善;任一项长期不达门限时,该项自检退为质量报告中的统计项,图纸抽取的质量判定仍以本节 3.3.6 的抽样复核口径为准,交付完整性不受影响。
表 3-4 图纸结构化抽取工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 标题栏与明细栏字段抽取正确率 | 原生图纸路线不低于 95%,扫描件路线不低于 85% | 按图号分层随机抽样不少于 300 张,与人工核对结果比对;每个字段单独计分 | 对未达标的字段类型关闭自动填写,改为输出候选值供人工选择 |
| 几何要素(轮廓、孔、压弯线)抽取正确率 | 原生图纸路线不低于 95% | 同上,按要素计数,位置偏差超过图纸公差带的计为错 | 对特定图层或块引用样式做专项适配后重跑该批 |
| 符号与加工要求解析正确率 | 不低于 88%,并逐步接近人工复核水平 | 抽样 300 张,按符号条目计分;作用表面范围判定错误单独统计 | 低于基线的符号类型从自动解析转为候选推荐,仍保留证据回指 |
| 压弯件展开长计算一致性 | 与工艺人员按同一公式、同一系数手算结果逐步接近一致 | 抽取 100 件压弯件独立复算,偏差超过 1mm 计为不一致 | 定位为系数台账缺项或角度解析错误,分别走台账补录与几何重算 |
| 可借用历史工艺的召回情况 | 在历史成对样本上,相似工艺候选的前五位命中率不低于 80% | 用历史图纸与其已签发工艺卡片做回归比对 | 检索键从工艺特征退回到图号与材料牌号组合,召回范围放宽、由人工筛选 |
| 工程一致性自检可执行率 | 在试点批次上实测取基线,按五项分别统计 | 逐张统计五项的可执行、通过、不通过、未校验四种状态分布;未校验不计入通过 | 不可执行项的缺项成因登记为待补(标注缺失或台账缺项),分别走图纸确认与台账补录 |
| 自检命中的准确率 | 按项分别设定,首期以人工确认为真问题的比例实测取基线 | 每批次抽取自检命中条目不少于 100 条,由工艺或设计口人员确认 | 准确率低于门限的自检项降为提示、不参与拦截;规则修订后重新评估 |
上表前五项由抽样复核得出,后两项由逐张自检得出,两类手段并列而不互相替代。需要说明的是,上表所有基线是在甲方提供的试点批次图纸上标定的目标值,首期试点规模与图纸构成在实施方案中明确。工具上线后按季度复测并公布实测值,实测值低于基线时按回退列的动作处置,不以调整统计口径的方式达标。
此外有两项前置条件写在这里,因为它们直接决定本工具能达到的上限:备料分厂的工序字典与加工方法分档规则目前未成文,中性层扣除量按板厚、折弯角度与模具的对应关系散见于经验,图号与命名规则在历史图纸上不统一。这三项的梳理与成文纳入数据治理体系建设的标准制定范围,本工具在它们成文之前按已掌握的口径运行并把缺项显式记录为待补,不以推测值填充。
甲方的厂区视频监控当前仅用于安防,点位、角度与清晰度不满足观察焊接部位一类工艺过程的要求。工艺过程所需的图像采集须按各场景的数据要求单独提出并另行布点。这意味着视频-文本对齐工具面对的是两类输入:既有安防视频中可用的作业过程片段,以及本项目新布点采集的工艺过程视频。两类输入的画质、帧率与视场差别很大,工具必须在同一套接口下处理,并在输出中标明来源,使下游训练时可以按来源分层。
更重要的问题是对齐依据。一段焊接视频本身不包含「这是第几道焊道、处在哪个工艺阶段」的信息,这些信息在制造执行系统的工序流转记录与物联网平台的设备报警记录里。把两者挂起来,靠的是时间戳;而设备时钟漂移、报工时点相对实际作业有滞后,这两件事是甲方现场的既有状况。因此本工具的设计重点有两个:一是对齐,二是把对齐的不确定性如实记录并可检出。
工具支持三种关键帧抽取方式,并在抽取后结合画面光学字符识别与视觉描述形成帧级文本说明。三种方式的适用情形见表 3-5。
表 3-5 三种关键帧抽取方式的触发条件与适用情形
| 抽取方式 | 触发条件 | 适用情形 | 产出密度 |
|---|---|---|---|
| 事件触发 | 由设备报警、工序开完工、炉次开炉、焊接起弧与收弧、停机等事件的时间戳触发,按事件前后各取可配置时长的窗口抽帧 | 构造「事件—画面」成对样本,用于诊断类与质量类数据集 | 每事件 3 至 30 帧,按事件类型配置 |
| 关键帧检测 | 按画面变化度、场景切换、运动量与清晰度评分自动选帧,并做相似帧去重 | 长时段连续录像的压缩采样,用于生成画面描述与工艺阶段识别样本 | 按配置的每分钟上限控制 |
| 人工标记 | 由工艺人员、质检人员在复核界面上标记时点,或从既有的交检拍照记录中取时点 | 稀缺但高价值的样本,如典型缺陷出现时刻、工装异常时刻 | 由标记数量决定 |
帧级文本说明由三部分合成:画面中可见的文字(设备面板读数、工位牌、工件标识、字幕叠加的时间与参数)由光学字符识别取得;画面内容的自然语言描述由多模态模型生成,描述模板按场景约束,要求写明可见的对象、位置关系与可观察到的状态,不写推断性结论;可直接从画面读取的量化信息(如面板显示的电流值、温度值)单独成字段,与描述文本分离存放。
把量化信息与描述文本分开存放,是因为两者的可信度不同,下游用法也不同:面板读数经核对后可以作为标签使用,描述文本更适合作为模型的理解材料。混在一段文字里,下游就无法分别处理。
工具支持视频关键帧与设备运行事件、工艺阶段进行时间戳对齐,输出帧时间戳、视觉描述、事件标签、工艺阶段和置信度。输出字段的定义见表 3-6。
表 3-6 视频-文本对齐记录的输出字段
| 字段 | 定义 | 取值与说明 |
|---|---|---|
| `frame_ts` | 帧时间戳 | 协调世界时,ISO 8601 带时区偏移;原始设备时间与校准后时间分别保留 |
| `clock_offset_ms` | 本路视频相对统一时间基准的时钟偏移 | 由时钟校准步骤估得,附估计方法与残差 |
| `visual_desc` | 视觉描述 | 自然语言,描述可见对象、位置关系与可观察状态 |
| `ocr_text` | 画面文字识别结果 | 原样保留,附逐条置信度与在画面中的坐标框 |
| `panel_readings` | 从画面读取的量化信息 | 键值对,附单位与识别置信度 |
| `event_tags` | 事件标签 | 来自设备报警、工序流转、炉次记录等事实源的事件编号与类型,可多值 |
| `process_stage` | 工艺阶段 | 取自工序字典的阶段编码,附判定依据(来自工序流转记录/由画面推断/人工标注) |
| `object_key` | 业务对象主键 | 工件、焊道、炉次、设备等,来自统一对象标识服务 |
| `align_confidence` | 对齐置信度 | 由时间距离、时钟偏移残差、事实源记录的时点可靠性三项合成 |
| `align_method` | 对齐方法 | 事件时点直接匹配/最近邻时间窗匹配/人工确认 |
| `source_profile` | 采集来源画像 | 安防既有点位/本项目新布点;分辨率、帧率、视场说明 |
`align_confidence` 的合成方式写明在配置里:时间距离越近得分越高;时钟偏移残差越大扣分越多;事实源记录的时点可靠性按事实源分档取系数——炉次开完工记录与设备报警记录的时点较可靠,制造执行系统的报工时点因存在滞后而取较低系数。这样做的结果是,同样一帧画面挂到报警事件上的置信度会高于挂到报工记录上,下游可以据此筛选样本。
工具支持关键帧与事件标签的对齐校验,识别时间漂移、描述缺失和画面不匹配。三类问题的检出方法见表 3-7。
表 3-7 对齐校验的三类问题与检出方法
| 问题类型 | 表现 | 检出方法 | 处置 |
|---|---|---|---|
| 时间漂移 | 视频时间轴与事实源时间轴整体或分段错位,表现为画面内容系统性地早于或晚于事件 | 一是用画面内可见的时钟或叠加时间戳与统一基准比对;二是选取一批有明确视觉特征的事件(起弧、开炉、工件进场)做互相关估计,求整段偏移与分段偏移;三是监测偏移估计值的时间趋势,线性漂移单独标记 | 偏移小于阈值时自动校正并记入 `clock_offset_ms`;超出阈值或存在非线性漂移时该段视频降级为低置信,转人工确认采集侧时钟配置 |
| 描述缺失 | `visual_desc`、`ocr_text` 或 `panel_readings` 为空或内容无效(如全为模糊、遮挡、黑屏) | 画面质量评分(清晰度、曝光、遮挡比例)低于门限;描述文本长度或信息量低于门限;识别结果置信度整体偏低 | 该帧标记为无效帧,不进入训练样本;连续无效帧比例超过门限时对该路视频出采集质量工单 |
| 画面不匹配 | 画面内容与所挂事件标签在语义上对不上,如挂着「焊接起弧」的帧里没有弧光与焊枪 | 一是用事件类型对应的画面特征检查表做规则校验(事件类型—应当可见的对象清单);二是用多模态模型对「画面与事件标签是否相符」打分;三是把同一事件类型的帧聚类,离群帧单独检出 | 不相符的记录不自动删除,改为降级并写入 `pending`,由人工判断是对齐错误还是事件记录本身有误;后者回流到事实源数据质量问题清单 |
三类校验都不以「自动修正后直接入库」为默认动作。时间漂移在阈值内自动校正,其余两类一律降级转人工,原因是自动修正的错误在下游不可见,而降级转人工的代价是可计量的工时。
视频对齐的接口设计绕着一个前提展开:视频侧与业务侧的时钟多半不是同一个来源,二者的偏移若不先测出来,帧与事件的对应便是看似齐整、实则错位。时钟与抽帧配置因此列为输入项,并约定缺 `clock_source` 即拒收、不自行推定基准——宁可任务不启动,也不产出无从判断可信度的对齐结果。事实源事件统一使用协调世界时,是为避免各系统本地时区与夏令时差异混入残差。输出侧按来源分层是另一条关键约定:既有安防点位与本项目新布点的视场、清晰度不同,可用率相差较大,合并成一个总数会掩盖部分点位实际不可用的事实,故不同点位的可用率分列不合并。三类分流队列把采集质量问题与事实源数据质量问题分开推送,两者的处置方与整改动作并不相同。
表 3-7A 视频-文本对齐工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 视频流/录像 | 安防既有点位与本项目新布点;点位加时段或文件引用 | 按授权只读拉取;输出以 `source_profile` 标明来源分层 |
| 输入 | 事实源事件 | 设备报警、工序开完工、炉次、起弧/收弧等时点 | 物联网/制造执行/产线控制只读;时间用协调世界时 |
| 输入 | 工艺阶段与对象主键 | 工序字典阶段编码、统一对象标识服务 | 带版本读取(对应第 8 节 `stage_table_version`) |
| 输入 | 时钟与抽帧配置 | 视频侧与业务侧时钟来源、三种抽帧策略(表 3-5)、对齐容差 | 任务参数传入;缺 `clock_source` 须拒收,不自行猜基准 |
| 输出 | 帧级对齐记录 | 表 3-6 全字段(含校准偏移、对齐置信度、校验结果) | 写入对齐区,附表 2-1 公共字段 |
| 输出 | 关键帧与校准统计 | 关键帧清单、`clock_calibration`、按来源分层可用率 | 与对齐批同交;不同点位可用率分列,不合并成一个总数 |
| 输出 | 分流队列 | 人工确认队列、采集质量工单、事实源数据质量问题清单 | 工单/队列推送 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.2(表 8-4、表 8-5)。
3-3 视频-文本对齐流程:三路抽帧、时钟校准与对齐校验
图 3-3 视频-文本对齐流程:三路抽帧、时钟校准与对齐校验。数据来源:招标文件第五章 3.2.3.5.2 节;采集侧现状依甲方视频监控与物联网平台现行覆盖范围。
```json { "record_id": "VID-ALN-2027041708812", "object_key": {"work_order": "WO-00417722", "weld_seam": "WS-0041-07", "equipment": "EQ-ROB-03"}, "source_ref": {"stream": "CAM-WELD-03", "clip": "20270417T061200Z-0930s", "frame_no": 14238}, "source_profile": {"origin": "本项目新布点", "resolution": "1920x1080", "fps": 25, "fov_note": "焊接部位斜上方 45°"}, "frame_ts": {"device": "2027-04-17T14:17:03.560+08:00", "calibrated": "2027-04-17T14:17:01.280+08:00"}, "clock_offset_ms": {"value": -2280, "method": "特征事件互相关(起弧 12 次)", "residual_ms": 140}, "visual_desc": "焊接机器人焊枪位于槽帮板长焊缝中段上方,可见连续弧光与飞溅,工件由两组压紧工装固定,焊缝左侧已成形焊道表面呈鱼鳞纹;画面右下角工位牌可见。", "ocr_text": [ {"text": "工位 W-07", "conf": 0.97, "bbox": [1642, 968, 1812, 1004]}, {"text": "I=238A", "conf": 0.91, "bbox": [96, 72, 236, 108]} ], "panel_readings": {"current_A": {"value": 238, "conf": 0.91}, "voltage_V": {"value": 26.4, "conf": 0.88}}, "event_tags": [ {"event_id": "EVT-WLD-9931", "type": "焊接起弧", "ts": "2027-04-17T14:16:58+08:00", "source": "产线控制系统"}, {"event_id": "EVT-MES-55120", "type": "工序开工报工", "ts": "2027-04-17T14:05:00+08:00", "source": "制造执行系统"} ], "process_stage": {"code": "WLD-MAIN-SEAM", "name": "结构件主焊缝焊接", "basis": "来自工序流转记录"}, "align_method": "事件时点直接匹配", "align_confidence": 0.89, "align_detail": {"nearest_event_gap_s": 3.3, "source_reliability_factor": 0.95, "note": "报工时点滞后 11.9 分钟,未用于对齐,仅作业务归属依据"}, "checks": {"time_drift": "已校正", "desc_missing": "通过", "frame_mismatch": "通过(事件特征检查:弧光=有,焊枪=可见)"}, "confidence": 0.89, "review_state": "机器通过", "tool_id": "video-text-align", "tool_version": "1.2.1", "config_version": "cfg-2027Q2-01", "model_ref": "gw-vlm/v3", "prompt_version": "p-frame-0241", "batch_id": "B-20270417-VID-004" } ```
样例中 `align_detail` 记下了一件现场事实:制造执行系统的报工时点比实际起弧晚了近十二分钟,因此报工记录只用来确定这一帧属于哪个工单(业务关联),不用来做时间对齐(时间关联)。两类关联分开处理,是表 3-1 划分四类关联关系的实际用处。
表 3-8 视频-文本对齐工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 时钟偏移估计残差 | 中位数不超过 200ms | 选取有明确视觉特征的事件不少于 50 次,人工判读起始帧与估计值比对 | 残差超限的视频通道改为仅做业务关联,不输出帧级时间对齐样本 |
| 事件—帧对齐正确率 | 不低于 90% | 抽样 500 帧,由熟悉该工序的人员判断所挂事件标签是否相符 | 把对齐窗口放宽并全部降级为中置信,转人工确认 |
| 画面不匹配检出率 | 在人工构造的错配样本上不低于 85% | 注入已知错配样本 200 条,统计检出比例 | 增补事件类型的画面特征检查表条目;检查表无法覆盖的事件类型改为逐条人工核对 |
| 帧级描述可用率 | 不低于 90% 的帧产出有效描述 | 按描述长度、信息项覆盖与人工评分三项判定 | 对低可用率的采集点位出布点整改建议,附所需视场与清晰度要求 |
| 工艺阶段判定正确率 | 依据工序流转记录判定的不低于 95%,依据画面推断的不低于 75% | 分别抽样统计,两类分开计分 | 画面推断路径仅作候选,阶段字段以工序流转记录为准 |
本工具的能力上限受采集条件制约。安防既有点位的视场与清晰度不满足工艺过程观察要求,这一点在前文已述;本工具对这类输入输出的样本一律在 `source_profile` 中标明来源,并在数据卡中按来源分层统计可用率,不把两类来源混在一个指标里报告。工艺过程所需的新增布点清单由硬件选型与场景验证提出,本工具提出的接口要求是:每个点位须登记视场说明、分辨率、帧率与时钟同步方式。
甲方已建成远程运维平台,采集在役装备旋转部件的振动、温度、压力与冷却水流量等信号,并以阈值与多参数组合规则给出报警。平台具备从事后维修走向状态服务的基础,但面对一个典型难题:报警不少,故障标签很少,报警与真实故障之间缺少可核对的证据。井下装备连续运行、工况恶劣、维护窗口有限、传感器易损,加之刮板输送机被液压支架推移、被采煤机在机身上行走,三类设备运动相互耦合,在役监测信号中含有大量来自其他设备的耦合干扰。
从数据集建设的角度看,这个难题可以拆成三件事。一是把时序数据切成有业务含义的片段——报警前后、维修前后,而不是按固定长度盲切。二是把切出来的片段洗干净——重采样、补缺、去异常、归一化、校正基线漂移、同步多测点时间。三是给片段配上人能读懂的说明——统计与频域特征算出来还是数字,要让它成为训练样本,需要一段把这些数字翻译成工程语言的诊断文本。本工具的三项要求正好对应这三件事。
工具支持传感器时序数据与告警、停机、维修工单、运维事件等进行时间窗对齐,能够按报警前后、维修前后或指定滑窗策略切分时序片段。四种切分策略见表 3-9。
表 3-9 时序片段的四种切分策略
| 策略 | 切分规则 | 产出用途 | 参数项 |
|---|---|---|---|
| 报警前后窗 | 以报警时刻为锚点,向前取可配置时长作为前驱窗,向后取可配置时长作为后继窗;前驱窗再细分为远段与近段 | 构造「异常演化—报警」样本,用于早期征兆识别与报警有效性评估 | 前驱远段、前驱近段、后继窗时长;是否跨报警合并 |
| 维修前后窗 | 以维修工单的开工与完工时刻为边界,向前取维修前运行段,向后取维修后运行段 | 构造「故障—处置—恢复」样本,用于验证维修有效性并为故障标签提供依据 | 维修前后取样时长;是否剔除停机段 |
| 指定滑窗 | 按固定窗长与步长在连续运行段上滑动切分,可按工况分段后分别滑动 | 构造基线样本与正常态分布,用于偏离基线判据的标定 | 窗长、步长、重叠比例、按工况分段的分段依据 |
| 事件区间窗 | 以停机、换班、工况切换、三机联动状态变化等区间事件的起止时刻为边界切分 | 构造工况分段样本,用于分离耦合干扰 | 事件类型清单、区间最短时长 |
四种策略可以叠加使用,同一段时序可以同时属于多个片段。片段之间的包含与重叠关系在输出中显式记录,避免下游在划分训练集与评测集时把同一段原始数据的两个重叠片段分到两边造成泄漏。泄漏隔离在本项目尤其要紧:故障样本本就稀少,一旦泄漏,评测结果会系统性偏高,验收看到的指标无法反映上线表现。
对齐的难点在于时点可靠性差异。设备报警记录与停机记录由系统自动打点,时点较可靠;维修工单的时点由人填写,可能是事后补录;运维事件的描述则常常只说「某日处理」,没有具体时刻。工具按表 3-10 分档处理。
表 3-10 事实源时点可靠性分档与对齐处置
| 时点来源 | 可靠性 | 对齐处置 | 片段标记 |
|---|---|---|---|
| 设备报警、停机记录(系统自动打点) | 高 | 直接作为锚点 | `anchor_quality: high` |
| 服务工单的派工与到场时点 | 中 | 作为锚点,但前驱窗适当放宽 | `anchor_quality: medium` |
| 维修完工时点、备件出库时点 | 中 | 作为区间边界而非精确锚点 | `anchor_quality: medium` |
| 仅有日期无时刻的运维事件 | 低 | 不作锚点;取当日运行段整体作为候选区间,并列出同日报警供人工关联 | `anchor_quality: low`,默认进人工关联队列 |
分档处置解决的是「这个时点能不能当锚点用」,还有一步可以再往前走:对时点可靠性为中档与低档的事件,用信号侧的客观变化把事件时间校回来。 维修工单的时点由人事后填写,偏差可能到若干小时;但设备侧的停机沿、负荷跌落、温度骤变是客观发生的,且带秒级时标。做法是在工单声明时点的容差窗内检测通道上的显著变化点,若窗内存在唯一显著变化点,即把事件时间重定位到该变化点,并记录重定位前后的差值;窗内无变化点、或存在多个难以取舍的变化点时,不重定位,按表 3-10 的原档位处置。容差窗宽度按事件类型分别设定——停机类窗口窄,维修完工类窗口宽,仅有日期的事件以当日运行段为窗。
重定位的结论须可追溯,为此在片段上增三项记录:事件时间的来源(工单声明或信号重定位)、重定位差值、所依据的变化点所在通道与检测口径。三项与现稿的锚点质量分档字段并存而不替代它——分档说的是原始时点有多可靠,重定位说的是我方把它校到了哪里,两件事都要留痕。 重定位差值的分布本身是一项有用的产出:若某个班组或某类工单的差值系统性偏向某一方向,说明填报习惯存在固定偏差,这个结论回流运维平台的填报规范,属数据治理范围,不在本工具内处置。
本项能力按三段式口径交付。首期基线:在专家确认过真实时点的事件样本上实测重定位命中率(重定位结果与专家确认时点之差落在允差内的比例),并按事件类型分别统计;服务期内随变化点检测参数的校准与通道覆盖面扩大逐步改善。达不到门限时的回退:该事件类型停用重定位,退回表 3-10 的分档处置,受影响的片段在数据卡中标注时间精度等级,不以未校准的重定位结果去切分严格时间窗样本。还需说明一点,重定位与时序预处理中的多测点时间同步是两件不同的事:后者处理的是通道之间的时钟偏移,前者处理的是人填时点与客观发生时刻的偏差,两者的参数、依据与留痕字段互不共用,不存在重复建设。
工具支持时序数据重采样、缺失补齐、异常值处理、归一化、基线漂移校正和多测点时间同步。六项处理的方法与可配置项见表 3-11。
表 3-11 时序预处理的六项处理
| 处理项 | 方法 | 配置项 | 不可用时的处置 |
|---|---|---|---|
| 重采样 | 按目标采样率做降采样或插值升采样;降采样时按通道性质选择取值方式(温度类取均值,振动类保留原始率或取包络,开关量取最后值) | 目标采样率、按通道的取值方式 | 原始采样率低于目标率且差距过大时不升采样,该通道标记为采样率不足 |
| 缺失补齐 | 短缺口按线性或前值填充,长缺口不填充而标记为空洞;填充处写入 `imputed` 标记与填充方法 | 短缺口判定阈值、填充方法、单片段允许的填充比例上限 | 填充比例超过上限的片段整体降级,不进入训练样本 |
| 异常值处理 | 分两类:量程越界与物理不可能值按规则剔除;统计离群值按稳健统计量(中位数绝对偏差)检出后标记而不直接删除 | 量程表、物理约束、离群判定倍数 | 量程表缺失的通道只做物理约束检查,并列为待补量程清单 |
| 归一化 | 按通道做标准化或按量程做极值归一化;归一化参数按设备型号与测点类型分组统计并固化为版本 | 归一化方式、分组维度、参数版本 | 分组内样本不足时不单独统计,沿用同类型测点的组参数并标明 |
| 基线漂移校正 | 对温度类与缓变量用低频趋势分离,对振动类用去均值与高通滤波;校正量作为独立字段保留,不覆盖原值 | 趋势估计窗长、滤波截止频率 | 漂移量超过设定上限时判为测点失效征兆,出测点可信度工单 |
| 多测点时间同步 | 以统一时间基准为准,按各通道的时钟偏移估计做对齐;偏移估计来自采集侧对时记录,缺失时用通道间互相关估计 | 对齐容差、互相关估计窗长 | 偏移无法估计且超出容差的通道不参与跨测点特征计算 |
六项处理有一条共同约定:原始值一律保留,处理结果以新字段写出,处理动作与参数记入血缘。这样做占用更多存储,换来的是任何一条特征值都能回溯到它是在哪一套预处理参数下算出来的。本项目的时序数据存在缺失与噪声,这是甲方已确认的数据质量状况;在这种输入条件下,不可回溯的预处理会让下游无法判断一个异常结论到底来自设备还是来自处理步骤。
工具支持对时序片段进行特征抽取,计算统计指标、趋势特征、峰值、频域特征和时频域特征,并生成对应诊断文本说明。特征清单见表 3-12。
表 3-12 时序片段的五类特征
| 特征族 | 具体特征 | 适用通道 | 在本项目中的用处 |
|---|---|---|---|
| 统计指标 | 均值、中位数、标准差、变异系数、极差、均方根、偏度、峰度、分位数(P05/P50/P95/P99)、有效值 | 全部通道 | 构造同工况正常基线;偏离基线作为异常判据,替代固定阈值 |
| 趋势特征 | 线性斜率及其置信区间、分段斜率、单调段长度、变点位置与变点前后均值差、与前一周期同工况的差值 | 温度、压力、流量、振动有效值 | 识别缓慢劣化(轴承磨损、冷却能力下降);为早期征兆样本提供标签依据 |
| 峰值特征 | 峰值、峰值因子、峰峰值、脉冲因子、裕度因子、超限次数与累计超限时长、峰值出现时刻相对锚点的位置 | 振动、电流、压力 | 识别冲击类异常(齿轮断齿、异物卡阻);峰值相对报警时刻的位置用于判断报警及时性 |
| 频域特征 | 频谱主峰频率与幅值、各阶特征频率处的幅值与边频带、倍频比、谱重心、谱熵、频带能量占比 | 振动、电流 | 旋转部件故障的机理性判据;按设备转速与传动比计算特征频率 |
| 时频域特征 | 短时傅里叶变换与小波包的频带能量随时间分布、包络谱、瞬时频率、调制特征 | 振动 | 工况非稳态与变转速条件下的异常识别;三机联动耦合干扰的分离线索 |
频域与时频域特征的计算有一项前置条件:需要转速信息与轴上角位置基准,否则特征频率无法确定,边频带也无从判读。甲方当前的状况是部件级振动测点与轴上角位置基准缺失。本工具在基准缺失时的做法是:按额定转速与传动比计算理论特征频率并标记为「按额定值估算」,同时在频谱上搜索转频候选并输出其与额定值的偏差;两者差异超过门限时该片段的频域特征降级,不作为故障标签的依据。测点与基准的补齐需求由本工具向场景验证与硬件选型提出。
诊断文本说明的生成不是把特征值念一遍。生成规则分三层:第一层是事实层,按模板把关键特征值、与基线的偏离幅度、超限情况写成陈述句,这一层由程序生成,数值与结论可复算;第二层是形态层,描述曲线与频谱呈现的形态(持续上升、阶跃、周期性冲击、边频带出现),形态判定由规则与模型共同给出,附判定依据;第三层是关联层,列出同一时间窗内其他通道的同步变化与相关事件,不给出因果结论。诊断文本把三层按固定顺序拼成一段,并在末尾注明所依据的基线版本与特征配置版本。
分三层而不是直接让模型写一段,是因为这段文本的下游用途是作为训练样本与评测参考。如果事实层的数值由模型组织语言产生,数值出错就无法检出;分层之后,事实层可以逐项核对,形态层与关联层的描述即便有偏差也不会污染数值。
时序对齐工具的接口承担着一项别处没有的职责:把「数据不可信」这件事如实传出去,而不是补齐成一份看起来完整的数据。转速与角位置基准一项最为典型——缺失时频域特征按额定值估算并标记降级,不把估算值当作可依赖的基准,因为转频估错会使整段频谱的谱线归属全部偏移,后续故障判断便建立在错误前提之上。运维事件的时点可靠性按表 3-10 分档入参,分档结果决定片段切分是自动进行还是转人工。输出侧的三层诊断文本按可靠程度分层,无结论性记录时不臆造关联层结论,使用方可按需只取事实层。分流与回填一项是本工具的长期价值所在:维修事实回填之后,工具按工单反查对应片段补写标签,故障标签的覆盖度因此逐季提高,这也是 3.5.8 中故障标签配对覆盖度一项设为按季统计、首期不低于 30% 的由来。
表 3-12A 传感器时序-运维事件对齐工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 测点时序 | 振动、温度、压力、流量等通道;测点编号集合与取数时间窗 | 远程运维平台/时序库只读;大批量结果按流式取回 |
| 输入 | 运维事件 | 报警日志、停机记录、维修工单、炉次记录 | 事实源只读;时点可靠性按表 3-10 分档 |
| 输入 | 切分与预处理配置 | 四种切分策略(表 3-9)、六项预处理(表 3-11)、特征族开关(表 3-12) | 任务参数;缺省按测点类型预置 |
| 输入 | 转速/角位置基准 | 测点对应的转速与轴上角位置(若有) | 缺失时频域特征降级标记,不静默按额定值充当金标准 |
| 输出 | 时序片段与特征 | 片段边界、重叠关系、五类特征、降级项清单 | 片段与特征分文件/流式输出 |
| 输出 | 事件关联与诊断文本 | `event_links`、三层诊断文本(事实/形态/关联) | 无结论性记录时不臆造关联层结论 |
| 输出 | 分流与回填 | 测点可信度工单、基准补齐需求、维修事实回填写回入口 | 工单推送;回填后按工单反查片段写标签 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.3(表 8-6、表 8-7)。
3-4 传感器时序-运维事件对齐流程:切分、预处理、特征与诊断文本
图 3-4 传感器时序-运维事件对齐流程:切分、预处理、特征与诊断文本。数据来源:招标文件第五章 3.2.3.5.3 节;测点与角位置基准现状依甲方远程运维平台现行条件。
```json { "record_id": "TSS-ALN-2027052200311", "object_key": {"equipment": "EQ-AFC-K2207", "component": "CP-RED-01", "measure_point": "MP-RED-01-V-H", "service_order": "SO-2027-01188"}, "segment": { "strategy": "报警前后窗", "anchor": {"event_id": "ALM-2027-77214", "type": "减速器振动超限报警", "ts": "2027-05-20T03:42:11+08:00", "anchor_quality": "high"}, "window": {"pre_far": "-72h ~ -8h", "pre_near": "-8h ~ 0h", "post": "0h ~ +24h"}, "overlap_with": ["TSS-SEG-2027052200298(指定滑窗,重叠 6.2h)"] }, "preprocess": { "resample": {"target_hz": 1, "channel_rule": "振动有效值取包络", "applied": true}, "impute": {"gaps": 3, "imputed_ratio": 0.021, "method": "短缺口前值填充", "within_limit": true}, "outlier": {"range_violation_removed": 2, "statistical_flagged": 14, "method": "中位数绝对偏差 5 倍"}, "normalize": {"mode": "按设备型号分组标准化", "param_version": "nrm-K22-v3"}, "detrend": {"channel": "temp_bearing", "method": "低频趋势分离", "removed_slope_c_per_day": 0.21}, "sync": {"offset_ms": {"MP-RED-01-V-H": 0, "MP-RED-01-T": 340}, "tolerance_ms": 500, "within_tolerance": true} }, "features": { "stat": {"rms_mm_s": 7.84, "p95_mm_s": 11.2, "kurtosis": 4.31, "cv": 0.28}, "trend": {"slope_mm_s_per_day": 0.46, "slope_ci95": [0.31, 0.62], "changepoint_ts": "2027-05-18T21:10:00+08:00", "pre_post_mean_diff_mm_s": 2.37}, "peak": {"peak_mm_s": 23.6, "crest_factor": 3.01, "over_limit_count": 41, "over_limit_minutes": 68, "peak_offset_to_anchor_h": -5.3}, "freq": {"rotating_freq_hz": {"value": 24.6, "basis": "谱峰搜索", "rated_value": 24.9, "deviation_pct": 1.2}, "bpfo_hz": 112.4, "bpfo_amp_ratio": 2.8, "sideband_present": true, "quality": "可用(转频偏差在门限内)"}, "timefreq": {"band_energy_shift": "500–1500Hz 频带能量在报警前 6h 起上升 2.4 倍", "envelope_peak_hz": 112.3} }, "baseline_ref": {"version": "bl-K22-RED-2027Q1", "condition": "同工况:三机联动正常推移,负载 60–80%"}, "diagnosis_text": { "fact": "该测点振动有效值 7.84mm/s,相对同工况基线(4.10mm/s)偏高 91%;P95 达 11.2mm/s;报警前 24 小时内超限 41 次、累计 68 分钟。轴承温度趋势已扣除 0.21℃/日的基线漂移。", "morphology": "振动有效值自 5 月 18 日 21 时起呈持续上升,变点前后均值差 2.37mm/s;频谱在滚动体外圈通过频率 112.4Hz 处出现主峰且幅值比达 2.8,伴有边频带;500–1500Hz 频带能量在报警前 6 小时起上升约 2.4 倍。形态判定依据:规则(特征频率幅值比超门限)+模型(冲击类形态,置信度 0.83)。", "relation": "同时间窗内,减速器轴承温度上升 6.2℃,冷却水流量无明显变化;同日另有 2 条采煤机行走相关报警,工况分段显示其中 1 条与本测点时间窗重叠。", "basis": {"baseline_version": "bl-K22-RED-2027Q1", "feature_config": "cfg-ts-2027Q2-02"} }, "label_candidates": [ {"label": "减速器输出轴轴承外圈点蚀(候选)", "evidence_level": "二级:机理特征+趋势一致", "source": "工具建议,待维修事实回填确认"} ], "confidence": 0.81, "review_state": "未复核", "tool_id": "ts-event-align", "tool_version": "1.3.2", "config_version": "cfg-ts-2027Q2-02", "batch_id": "B-20270522-TSS-009" } ```
`label_candidates` 一项说明本工具与故障标签的关系:工具给出候选标签与证据等级,标签成立与否要等维修事实回填。甲方当前的维修事实没有结构化记录,历史数据也没有事件级标签,故障样本须靠回填与回溯配对形成。本工具因此配套一项回填接口:当服务工单的处置结果录入后,按工单上的设备、部件与时间区间反查已生成的片段,把处置结果作为标签写回片段并更新证据等级。回填接口的填报入口由数据加工生产环节在既有业务流程中增设,由系统预填、经手人确认。
时序对齐的质量无法用一个总体准确率表达,因为这条链路上的误差来自三个互不相干的环节:片段切得对不对、预处理动作能否复现、特征所依赖的基准是否可信。六项指标按此分列,前三项考核切分与预处理,频域特征可用率考核基准条件,后两项考核产出文本与标签。频域特征可用率按有无转速基准分开统计,是因为两类测点能达到的上限本就不同,合并成一个数会掩盖无基准测点的真实状况。诊断文本的事实层单列考核,则是因为事实层的数值直接引自基线与实测,一旦有误,形态层与关联层的描述即全部失去依托。表中第三列给出每项的抽样量与核对方式,第四列的回退动作多为降级而非停用——降级后片段仍然可用,只是用途受限。
表 3-13 传感器时序-运维事件对齐工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 片段切分正确率 | 锚点可靠性为高档的片段,边界偏差不超过一个采样周期 | 抽样 200 个片段核对锚点与边界 | 低档锚点片段全部转人工关联,不自动切分 |
| 预处理可回溯性 | 逐步接近全部处理动作可复现 | 随机抽取 50 个片段,按记录的参数版本重跑并比对结果 | 定位不可复现的处理项并固化其参数,暂停该处理项的自动执行 |
| 填充比例合规率 | 单片段填充比例不超过配置上限的片段占比不低于 95% | 批次统计 | 超限片段降级不入训练集,并对相应通道出采集连续性工单 |
| 频域特征可用率 | 有转速基准的测点不低于 90%;无基准按额定估算的,转频偏差在门限内的比例不低于 70% | 两类分开统计 | 偏差超门限的片段频域特征标记不可用,仅保留统计与趋势特征 |
| 诊断文本事实层准确率 | 数值与所引基线逐步接近完全一致 | 抽样 200 条逐项核算 | 事实层生成改为纯程序填充模板,不经模型组织语言 |
| 故障标签配对覆盖度 | 按季度统计已回填处置结果的片段占全部报警片段的比例,首期目标不低于 30%,随回填机制运行逐步提高 | 按批次统计并在数据卡中披露 | 覆盖度不足时,评测集中故障类样本按实际数量披露,不以合成样本补足评测集 |
「故障标签配对覆盖度」一行约定:故障样本稀少属客观条件。训练集可用合成与增强扩充;评测金标准集不用合成填充,各类实际样本数在数据卡如实披露。部分故障类型评测置信区间可能较宽,验收指标对应真实覆盖。相关口径与数据集质量评测方案保持一致。
本类工具提供面向文本、图像、图纸、工单和多模态样本的自动化与半自动化标注能力,用以降低人工标注成本、提高标注一致性、增强标注可复核性并形成稳定的数据标注生产流程,覆盖大模型预标注、主动学习、本体规则标注、一致性校验、复核裁决和标注质量报告等环节。
标注决定指令微调、偏好与基准集可用性。四大数据集规模为:预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条。指令微调与偏好数据需大量人工判断;基准集是验收与模型迭代的度量尺,标错即尺子偏移。纯人工无法承受本项目量级;全自动则一致性与可复核性不足,模型偏差会进入数据集并在训练中放大。
本类工具据此定位为人机协同:模型承担第一遍的量,人承担判断与裁决,工具负责把二者之间的交接做成可计量、可审计的流程。四个工具各管一段——预标注管量,主动学习管人力投向,本体规则管逻辑自洽,一致性校验管质量可测。
另有一条现场约束决定了标注规范的写法:各场景的标注依据必须统一到各场景的判据与分级口径上。热处理有三级判定,焊接有十一类缺陷与检出手段的对应,健康诊断有故障名录与四档证据分级。如果标注口径与判据口径分别演进,标出来的样本与业务上实际使用的判据就会失配,训练出的模型在现场不可用。本类工具因此把判据作为外部输入(领域本体与标注规范),不在工具内硬编码标签体系。
招标文件列明了本类工具应能处理的输入与应当生成的产出。全景对照见表 4-1。
表 4-1 智能标注类工具链的输入与产出对照
| 招标文件所列输入 | 本项目中的具体来源 | 招标文件所列产出 | 由哪个工具生成 |
|---|---|---|---|
| 未标注文本 | 工单描述、检验结论、不合格品票、改造方案、制度与标准文本 | 预标注结果 | 大模型预标注(3.2.3.6.1) |
| 未标注图像 | 交检拍照、新布点采集的工艺过程图像、关键帧 | 人工标注结果 | 四个工具共同支撑的标注工作台 |
| 未标注图纸 | 原生 CAD 图纸与扫描件 | 候选标签 | 本体驱动规则标注(3.2.3.6.3)、大模型预标注 |
| 未标注工单 | 服务工单、生产工单、派工与备件出库记录 | 约束校验结果 | 本体驱动规则标注 |
| 多模态样本 | 第 3 节产出的对齐样本(图纸结构化记录、帧级对齐记录、时序片段) | 一致性指标 | 一致性校验标注(3.2.3.6.4) |
| 领域本体 | 设备、部件、故障、工艺、材料、质量指标、安全规则七域本体 | 复核任务 | 一致性校验标注 |
| 术语词典 | 企业术语与别名表、行业标准术语 | 专家裁决记录 | 一致性校验标注 |
| 标注规范 | 本章交付的分任务标注规范文本 | 标注质量报告 | 一致性校验标注(报告模板见 4.7) |
| 未标注样本池 | 按业务域与数据集分库组织的待标注池 | —— | 主动学习标注(3.2.3.6.2)从池中采样 |
人机协同的方式按四档划分,见表 4-2。划分依据是任务的客观性程度与出错代价。
表 4-2 四档人机协同方式
| 档位 | 适用任务 | 机器做什么 | 人做什么 | 典型任务 |
|---|---|---|---|---|
| 机器主导、按比例抽检 | 客观性强、标签可枚举、出错代价低 | 批量预标注并自评置信度 | 按比例抽检,发现系统性错误时整批退回 | 文本语种与类型判别、工单字段抽取、术语识别 |
| 机器预标、人工逐条确认 | 客观性较强但存在边界模糊 | 给出标签与证据片段,标出可疑处 | 逐条确认或修改,只改不重做 | 实体抽取、关系抽取、需求分类、缺陷描述归类 |
| 人机交叉、多方比对 | 主观判断成分大、一致性要求高 | 参与一路标注,并计算一致性指标 | 两名及以上标注人员独立标注 | 偏好数据的优劣判断、答案质量评分、工艺可借用性判断 |
| 人工主导、机器辅助检索 | 需要工程经验,样本稀缺且价值高 | 检索相似历史样本、提供上下文与计算结果 | 独立做出判断并写明依据 | 基准测试集的金标准标注、故障标签确认、安全约束判定 |
四档的分配不是一次定死的。随着某类任务的一致率与抽检通过率稳定提高,可以从低档位上移到高档位,节省的人力转投到仍处低档位的任务上。档位调整以季度为周期,依据是该任务类型近三批的实测一致率与抽检通过率,调整记录入库。
四档协同之上,还有一组按模态分别约定的标注口径。同一档协同方式用在文本与用在时序上,具体做法差别很大:文本的标签模式是跨度与类目,时序的标签模式是区间与波形判读;文本的敏感字段是人名与客户信息,图像的敏感字段是画面中可见的工位牌与图纸标题栏。把这些差别写在一处,标注规范分册与工具配置才能对上。四类模态的标签模式与辅助推荐方式见表 4-2A。
表 4-2A 四类模态的标签模式与机器辅助推荐方式
| 模态 | 标签模式 | 标注粒度 | 机器辅助推荐的形式 | 推荐的证据字段 |
|---|---|---|---|---|
| 文本(工单、检验结论、制度与标准、不合格品票) | 字符跨度+类目+归一值;关系标注为跨度对+关系类型 | 篇、段、句、跨度四级,按任务类型指定 | 预填跨度与类目,标出低置信处;给出同类历史判例供比对 | 原文跨度偏移、命中的本体节点与别名、模板与模型版本 |
| 图纸(原生文件与扫描件) | 字段值+图元句柄;几何要素为要素标识+属性组;符号为符号条目+作用表面 | 整张、视图、要素、符号条目四级 | 预填标题栏与明细栏字段、几何要素表与符号条目,附要素级证据索引 | 图元句柄、图层名、视图编号与坐标范围 |
| 图像与视频帧 | 帧级类目+区域框+帧级文本说明;事件标注为帧区间+事件类型 | 帧、帧区间、区域三级 | 预填帧级描述与候选事件标签,低清晰度帧标为仅可判定在制与否 | 帧编号与时间戳、区域坐标、画面文字识别结果与置信度 |
| 传感器时序 | 区间标签+工况类目+特征值;故障标注为区间+候选标签+证据等级 | 片段、区间、测点三级 | 预填切分边界、工况判别与候选故障标签,附特征计算结果 | 测点编号、时间区间、特征计算式与输入输出值 |
人工环节按统一流程走,四类模态的差别在于复核的着眼点与仲裁的依据,见表 4-2B。
表 4-2B 人工修订、双人复核与仲裁的分模态口径
| 模态 | 人工修订的常见动作 | 双人复核的触发范围 | 仲裁依据 | 仲裁人角色 |
|---|---|---|---|---|
| 文本 | 调整跨度边界、改判类目、补填归一值、标记无法判定 | 偏好判断、答案质量评分、需求分类中的边界类目;抽样比例内的其余任务 | 标注规范判例、本体定义、原文上下文 | 该业务域的标注规范责任岗位 |
| 图纸 | 修正字段值、确认视图对应、确认符号作用表面、补台账缺项 | 视图对应存疑条目、符号作用范围冲突条目、尺寸链不闭合条目 | 图纸标注原文、公差带合成结果、工装与材料台账 | 工艺岗位 |
| 图像与视频帧 | 修订帧级描述、调整事件帧区间、剔除无效帧 | 事件边界帧、低清晰度来源帧、画面与事件流结论不一致帧 | 事件流记录、工艺阶段划分、同一时段其他点位画面 | 设备与工艺联合 |
| 传感器时序 | 调整区间边界、改判工况、确认或否定候选故障标签 | 候选故障标签、跨工况过渡区间、特征值异常片段 | 维修事实回填结果、故障名录与证据分级、同类历史片段 | 售后服务与设备岗位 |
双人复核一律采用独立标注后比对的方式,两名标注人员在提交前互不可见对方结果;比对产生分歧的条目进入仲裁,仲裁结论既回写样本,也作为规范修订的候选判例。比对与仲裁的指标口径(一致性指标、分歧类型归类、裁决记录)由一致性校验标注工具统一实现,见 4.6。
批次质控、模型版本与敏感字段三项按表 4-2C 约定。这三项与标签本身无关,却决定了标注结果能否被复核与追溯:没有批次质控,一个系统性错误会蔓延整批;没有模型版本,模型随代升级后无法回溯某批样本在哪一代能力下产出;没有敏感字段处置,工单里的人员姓名与客户信息会随标注结果一路流入数据集。
表 4-2C 批次质控、模型版本登记与敏感字段处置
| 事项 | 做法 | 分模态的差别 | 不达标时的处置 |
|---|---|---|---|
| 批次质控 | 每批次混入隐蔽考核样本并按比例抽检;按批次统计通过率、返工率与一致性指标 | 文本与时序批次按任务类型分层抽样;图纸按来源路线分层(原生与扫描件分开统计);图像按来源点位分层 | 批次不通过时整批退回并出问题清单;同一问题跨批次重复出现时先修订规范或配置,再重标 |
| 模型版本登记 | 每条记录登记统一网关侧的模型登记名与版本号、提示词模板版本、输出结构版本 | 图像与时序任务另登记特征计算组件版本;图纸任务另登记解析器版本与本体版本 | 版本字段缺失的记录不进入候选集;模型换代后对同任务已完成批次做一次抽样回归比对 |
| 敏感字段处置 | 按数据分级结论在进入标注工作台前脱敏,完整内容保留在原始区按权限访问 | 文本脱人员姓名、客户与联系方式;图纸脱设计与审核签署人、客户名称;图像对画面中可见的人员与工位牌、图纸标题栏做遮蔽;时序脱操作人工号 | 脱敏规则未覆盖的字段按最高级别处置并补充规则;标注工作台不显示未脱敏内容 |
敏感字段的分级依据 GB/T 43697—2024《数据安全技术数据分类分级规则》与 GB/T 38667—2020《信息技术大数据数据分类指南》与本项目数据分级办法,具体条款见本卷「安全方案」一节。标注人员在工作台上看到的是脱敏后的内容,复核确需原文时按权限单条调阅并留痕,调阅记录进入审计日志。
4-1 智能标注类四个工具的协同关系与人机交接点
图 4-1 智能标注类四个工具的协同关系与人机交接点。数据来源:招标文件第五章 3.2.3.6 节工具划分与输入产出清单。
工具支持多任务预标注模板管理,针对实体抽取、关系抽取、需求分类、摘要生成、问答生成、图文标注、缺陷描述等任务配置不同提示词和输出 Schema。七类任务的模板要点见表 4-3。
表 4-3 七类预标注任务的模板配置要点
| 任务类型 | 本项目中的具体用法 | 输出 Schema 要点 | 提示词的关键约束 |
|---|---|---|---|
| 实体抽取 | 从工单、检验结论、改造方案中抽取设备、部件、故障现象、材料牌号、工艺参数、规格尺寸 | 实体类型(取自本体类目)、文本跨度、归一化值、本体节点编号、置信度、证据片段 | 实体类型只能取本体已定义的类目;抽不到时返回空数组而不是编造;归一化值须给出所依据的词典条目 |
| 关系抽取 | 抽取「部件—所属设备」、「故障现象—可能原因」、「工艺要求—作用表面」、「物料—替代物料」等关系 | 主体与客体的实体编号、关系类型、关系方向、置信度、证据片段 | 关系类型与方向须符合本体定义;跨句关系须给出两处证据 |
| 需求分类 | 对矿方来文、商机描述、技术交流记录做工作面类型、产量区间、地质条件、接口约束分类 | 分类标签(可多标签)、每个标签的置信度、未覆盖情形标记 | 标签体系封闭,出现无法归类的情形时置「待扩充分类」而不是强行归入最近类 |
| 摘要生成 | 为长篇技术文件、标准条文、复盘总结生成摘要,用于检索与长上下文样本构造 | 摘要文本、覆盖的原文章节编号、关键信息项清单 | 摘要中出现的数值与结论必须在原文中有对应,并给出位置 |
| 问答生成 | 从制度、标准、工艺规程、历史工单生成问答对,用于指令微调与评测样本 | 问题、答案、依据原文片段与位置、难度等级、任务类型 | 答案只能基于给定原文;原文不足以回答时生成「依据不足」类样本 |
| 图文标注 | 为关键帧、交检拍照、图纸局部视图生成描述与标签 | 图像标识、描述文本、标签集、可见对象清单、画面坐标框 | 只描述可见内容,不写推断性结论;缺陷判定不由本任务给出 |
| 缺陷描述 | 把自由文本的缺陷描述归一到企业缺陷分类与检出手段对应关系上 | 缺陷类别、位置描述、尺寸或程度、检出手段、处置建议归类 | 缺陷类别取自企业已确认的分类表;检出手段须与缺陷类别的对应关系相符 |
模板的管理方式有三条约定。一是模板与输出 Schema 成对版本化,提示词改了 Schema 没改、或反过来,都会在发布前的一致性检查中被拦住。二是每个模板附一组回归样例,模板修改后先在回归样例上跑一遍,比对新旧输出差异,差异超过门限时需要人工确认后才能发布。三是模板按业务域与数据集分别维护,不做跨域通用模板——矿山装备制造的实体类型与通用领域差别很大,通用模板的产出需要大量返工。
工具支持调用大模型批量生成预标注结果,输出结果包含标签、解释、证据片段、置信度、模型版本和提示词版本等信息。所采用的模型为当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级;网关为每个接入模型分配登记名与版本号,写入输出记录的 `model_ref` 字段。
六类输出信息各有其用,分述如下。标签是结果本身。解释是模型给出的判断理由,它的价值不在于准确,而在于让复核人员快速判断这条标签该不该信——理由写得离题,标签基本不用再看。证据片段是标签在原文中的依据位置,复核时据此定位,训练时据此做证据对齐。置信度用于分档处置。模型版本与提示词版本用于回溯:同一批样本在模型升级后重跑,差异可以归因到模型变更还是提示词变更。
置信度的取得方式需要说明,因为直接让模型自报置信度并不可靠。本工具取三路信号合成:一是模型输出的对数概率在标签对应位置上的取值;二是同一样本在提示词轻微扰动下(如调整示例顺序、改写指令措辞)的多次采样一致性;三是规则校验与本体约束校验的通过情况。三路信号按配置权重合成为 0 到 1 的分值,权重按任务类型分别标定。对输出为长文本的任务(摘要、问答生成),第一路信号改为对关键信息项的覆盖检查。
工具支持输出 Schema 校验、字段完整性校验和置信度阈值控制,高置信样本可进入抽检流程,低置信样本自动进入人工标注队列。校验与分流的处理顺序见表 4-4,顺序本身是设计的一部分——先做成本低的校验,再做成本高的。
表 4-4 预标注结果的校验与分流顺序
| 序 | 处理 | 判定内容 | 不通过时的动作 |
|---|---|---|---|
| 1 | Schema 校验 | 输出是否为合法结构、字段类型是否匹配、枚举值是否在定义范围内 | 自动重试(提示词中追加格式纠正说明),重试上限内仍失败则记为格式失败并入人工队列 |
| 2 | 字段完整性校验 | 必填字段是否齐全、证据片段是否非空且能在原文中定位、置信度是否在取值范围内 | 证据片段无法定位的,标签降为候选并标记「证据缺失」;必填字段缺失的入人工队列 |
| 3 | 取值合理性校验 | 数值是否在量程与物理约束内、文本跨度是否落在原文范围内、归一化值是否在词典中 | 越界值剔除并记录;词典未命中的归一化值列入待补词条 |
| 4 | 本体约束校验 | 交由本体驱动规则标注工具(见 4.5)做父子类、互斥、关系方向等校验 | 冲突标注按 4.5 的口径剔除或降级 |
| 5 | 置信度阈值分档 | 按表 2-2 的三档口径分流 | 高置信入候选集并按比例抽检;中置信入复核队列;低置信入人工标注队列 |
抽检比例的设定有一条规则:高置信样本的抽检比例首期取 5%,连续三批抽检通过率不低于门限后可降至 3%;任何一批抽检发现系统性错误(同一错误模式占比超过门限),该批整批退回重标,并把错误模式写入模板的回归样例。这条规则的作用是让抽检不只是统计,而是能触发模板改进。
工具支持批量任务调度、失败重试、并发控制、成本统计和模型调用日志记录。五项运行治理能力的要点见表 4-5。
表 4-5 预标注的批量调度与运行治理
| 能力 | 做法 | 关键参数 |
|---|---|---|
| 批量任务调度 | 以批次为调度单位,批次内按样本分片并行;支持按数据集、业务域、任务类型、优先级组织队列;支持定时与手动触发 | 批次大小、分片大小、队列优先级、调度窗口 |
| 失败重试 | 区分可重试失败(限流、超时、瞬时错误、格式失败)与不可重试失败(输入缺失、权限不足);可重试失败按指数退避重试,重试次数与间隔可配;不可重试失败直接记录并跳过 | 重试上限、初始间隔、退避倍数、单批次允许失败率 |
| 并发控制 | 按网关侧的配额与速率限制设定并发上限;支持按时段分配配额,把大批量任务安排在业务低谷时段 | 全局并发上限、按任务类型的并发配额、分时策略 |
| 成本统计 | 逐次记录输入与输出 Token 数、调用次数、重试次数,按批次、任务类型、数据集、业务域四个维度汇总;按单位样本成本给出趋势 | 统计维度、汇总周期、单位成本告警门限 |
| 模型调用日志 | 记录调用时刻、模型登记名与版本、提示词版本、输入摘要与输入指纹、输出指纹、耗时、返回状态、Token 用量;日志按配置周期归档,保留期与审计要求一致 | 日志字段、保留期、脱敏规则 |
成本统计这一项在本项目中有实际约束作用。预训练数据集 615 亿 Token 的规模决定了大批量处理的调用量不小,若不按单位样本成本做趋势监控,很容易在某个任务类型上出现成本异常而不被发现。工具按批次给出单位样本成本,超过告警门限时暂停该队列并提示检查——常见原因是提示词中的示例过长、或重试率异常升高。
日志中的输入摘要需要脱敏。工单与检验记录中可能包含人员姓名与客户信息,日志按配置的脱敏规则处理后再落盘;完整输入保留在原始区并按权限访问,不进调用日志。脱敏规则的制定依据 GB/T 43697—2024《数据安全技术数据分类分级规则》与 GB/T 38667—2020《信息技术大数据数据分类指南》与本项目数据分级办法,具体条款见本卷「安全方案」一节。
工具支持预标注结果与原始样本、提示词版本和模型版本绑定,保障可追溯。绑定关系由表 2-1 的公共字段承载:`source_ref` 指向原始样本及其在文件中的位置,`prompt_version` 与 `model_ref` 指向本次生成所用的提示词与模型,`config_version` 指向模板与阈值配置的版本,`batch_id` 指向所属批次。
绑定要能用,关键在于被指向的对象不可变。本工具的做法是:提示词模板与输出 Schema 一经发布即只读,修改必产生新版本号;原始样本以内容指纹标识,文件被替换时指纹变化,旧指纹仍可在归档区检索到;模型版本由网关侧登记,网关侧模型下线后其登记记录保留。配合 2.4 的回放能力,任何一条预标注结果都可以回答三个问题:它是从哪条原文的哪个位置来的、是在哪一套提示词与模型下产生的、重跑一遍是否还是这个结果。
预标注工具的接口有两条与别的工具不同的约定,都与模型可替换这一要求直接相关。其一,模板与标签体系成对版本化发布,入参只传版本号、不传模板全文,如此同一批预标注结果日后可按版本号还原出当时所用的模板与标签口径,模板改版不会回溯污染历史批次。其二,模型以统一网关登记的标识入参,不接受品牌与型号,缺省取该任务类型当期择优项,使模型随代升级时上游调用方无须改动。输出侧的关键约定是三档结果均须返回:高、中、低三档分别对应机器主导、人工确认、人工重标三种处置,只回高置信档会让分流统计失去分母,也就无从核算人力投向是否合理。绑定关系一行把提示词版本、模型标识、配置版本与批次号一并写入公共字段,这是 4.3.9 中回放一致性一项可被验收的前提。
表 4-5A 大模型预标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 待标注样本池 | 样本标识集合或池引用加筛选条件 | 从标注区/原始区只读;含不可出域字段时由网关拦截 |
| 输入 | 模板与标签体系 | 任务类型、提示词模板版本、输出 Schema、标签体系版本 | 成对版本化只读发布;入参传版本号不传模板全文 |
| 输入 | 模型与阈值 | 统一网关登记的模型标识、高低置信阈值、是否要求证据片段 | 不接受品牌/型号入参;缺省取该任务类型当前择优项 |
| 输出 | 预标注结果 | 标签、解释、证据片段、置信度、`tier` 三档、模型与提示词版本 | 三档结果均须返回,不只回高置信 |
| 输出 | 校验失败与批次统计 | Schema/完整性/本体校验失败项、分流计数、成本与调用日志摘要 | 失败项入人工队列;日志按脱敏规则落盘 |
| 输出 | 绑定关系 | `source_ref`、`prompt_version`、`model_ref`、`config_version`、`batch_id` | 附表 2-1 公共字段写入 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.4(表 8-8、表 8-9)。
4-2 大模型预标注的批量处理与分流
图 4-2 大模型预标注的批量处理与分流。数据来源:招标文件第五章 3.2.3.6.1 节五项要求。
下例为一条服务工单的实体与关系预标注结果。
```json { "record_id": "PRE-ANN-2027060300471", "task_type": "实体抽取+关系抽取", "object_key": {"service_order": "SO-2027-01188", "equipment": "EQ-AFC-K2207"}, "source_ref": {"doc": "SOS/工单正文/SO-2027-01188", "digest": "sha256:4b7e…c1", "char_span_total": 412}, "input_excerpt": "5月21日到矿,用户反映机头减速器异响并有轻微漏油,测振动偏大。拆检发现输出轴轴承外圈有点蚀,更换轴承(型号见备件单)并补加润滑脂,复机后振动恢复正常。", "entities": [ {"ent_id": "E1", "type": "设备", "text": "机头减速器", "span": [14, 19], "normalized": "刮板输送机机头减速器", "onto_node": "ONT-EQ-0217", "confidence": 0.96, "evidence": "原文第 14–19 字"}, {"ent_id": "E2", "type": "故障现象", "text": "异响", "span": [20, 22], "normalized": "异常噪声", "onto_node": "ONT-SYM-0044", "confidence": 0.93}, {"ent_id": "E3", "type": "故障现象", "text": "轻微漏油", "span": [24, 28], "normalized": "渗漏油", "onto_node": "ONT-SYM-0071", "confidence": 0.91}, {"ent_id": "E4", "type": "部件", "text": "输出轴轴承", "span": [44, 49], "normalized": "减速器输出轴滚动轴承", "onto_node": "ONT-CP-0163", "confidence": 0.94}, {"ent_id": "E5", "type": "故障模式", "text": "外圈有点蚀", "span": [49, 54], "normalized": "滚动轴承外圈点蚀", "onto_node": "ONT-FM-0122", "confidence": 0.89}, {"ent_id": "E6", "type": "处置措施", "text": "更换轴承", "span": [55, 59], "normalized": "部件更换", "onto_node": "ONT-ACT-0031", "confidence": 0.95} ], "relations": [ {"rel_id": "R1", "type": "部件所属设备", "subject": "E4", "object": "E1", "direction": "E4→E1", "confidence": 0.95, "evidence": "原文第 14–54 字同句指代"}, {"rel_id": "R2", "type": "现象指向故障模式", "subject": "E2", "object": "E5", "direction": "E2→E5", "confidence": 0.78, "evidence": ["原文第 20–22 字", "原文第 44–54 字"]}, {"rel_id": "R3", "type": "处置应对故障模式", "subject": "E6", "object": "E5", "direction": "E6→E5", "confidence": 0.92, "evidence": "原文第 49–59 字"} ], "explanation": "工单正文中「机头减速器」为设备主体,「异响」「轻微漏油」为到场观察到的现象,「输出轴轴承外圈点蚀」为拆检确认的故障模式,三者构成现象—模式—处置链。关系 R2 的置信度较低,原因是原文未明确说明异响由点蚀直接引起,判断依据为同一次拆检中的时间先后。", "checks": { "schema": "通过", "field_completeness": "通过", "value_range": "通过", "ontology": {"result": "通过", "detail": "E4 属于 E1 的子部件(父子类校验通过);E5 为 E4 允许的故障模式(取值范围校验通过)"} }, "confidence": 0.90, "routing": {"tier": "中置信", "reason": "R2 置信度 0.78 低于关系类高阈值 0.85", "queue": "人工复核"}, "model_ref": "gw-llm/v7", "prompt_version": "p-ner-rel-0318", "config_version": "cfg-ann-2027Q2-04", "tool_id": "llm-preannotate", "tool_version": "2.1.0", "batch_id": "B-20270603-PRE-022", "cost": {"input_tokens": 1842, "output_tokens": 731, "retries": 0}, "review_state": "未复核" } ```
这条样例还有一个用处:它的 `relations` 中 R2 一旦经人工确认,就成为「异常噪声—外圈点蚀」这一条现象到故障模式的配对证据。前文 3.5.6 节时序样例中的候选标签正是等这类证据来确认的。两类工具的产出在同一个对象主键下汇合,这是第 3 节与第 4 节能够拼接的原因。
预标注的价值不在于标得多准,而在于「哪些能信、哪些要人核」这件事本身是否判得准,因此考核分两层:格式与证据属工具自身的工程质量,置信分档的效果则决定人力投向是否划算。六项指标据此设定——Schema 合规率与证据片段可定位率考核前者,取值按自动校验可达到的水平设定;高置信档正确率与低置信档召回效果考核后者,两者是一对,高档定得太松会把错标直接放进数据集,低档定得太紧则人力被耗在模型本来就对的样本上,故须同时盯住。单位样本成本与回放一致性两项,前者约束规模化使用的经济性,后者保证同配置同输入的结果可复现。表中第二列是基线,第三列写明用什么样本、按什么口径测得,第四列是未达标时的动作:所有回退都指向调阈值、改模板或下移协同档位,没有一项是放宽统计口径。
表 4-6 大模型预标注工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| Schema 合规率 | 重试后不低于 99% | 按批次统计格式失败条数 | 格式失败率超限时在提示词中固化结构化输出约束并简化 Schema 层级 |
| 高置信档的实际正确率 | 不低于 95% | 抽检样本与人工标注比对,按任务类型分别统计 | 上调高阈值,直至抽检正确率回到基线;相应任务的档位从「机器主导」下移到「人工逐条确认」 |
| 低置信档的召回效果 | 被判为低置信的样本中,人工标注后与模型结果不一致的比例不低于 50% | 按批次统计 | 若不一致比例过低,说明低阈值定得过高,人力被浪费在模型本来就对的样本上,按标定集重定阈值 |
| 证据片段可定位率 | 不低于 98% | 校验步骤自动统计 | 证据无法定位的任务类型改为要求模型输出字符偏移而非引文复述 |
| 单位样本成本 | 按任务类型设定预算,按批次监控 | 成本统计模块出报表 | 超预算时优先精简提示词示例、合并同类任务、下调重复采样次数 |
| 回放一致性 | 同配置同输入重跑,结构化字段逐步接近完全一致 | 每月抽取 100 条回放比对 | 对一致性不足的任务固定采样参数(温度取零或固定随机种子) |
人工产能有限、待标池大,须决定标注优先级。随机抽样效率低:常见故障与常规工艺占绝大多数,继续标注收益低;边界与长尾情形才需人工判断,随机抽中概率小。
主动学习工具的作用就是把人工标注的投向从随机改为按收益排序。它不增加标注产能,但能让同样的产能产出更有价值的样本。这件事对基准测试集 0.95 万条的构造尤其重要——这个数量级的样本要覆盖四个业务域的典型与边界情形,不能靠随机抽样碰运气。
工具支持主动学习采样机制,能够基于模型不确定性、低置信度、边界样本、模型分歧、长尾类别和错误高发来源优先分配人工标注。六种机制的实现方式见表 4-7。
表 4-7 六种主动学习采样机制
| 机制 | 怎么算 | 优先选出什么样的样本 | 在本项目中的典型收益 |
|---|---|---|---|
| 模型不确定性 | 按预测分布的熵或互信息排序;对生成类任务用多次采样结果的分散程度 | 模型对该样本的判断不稳定 | 工艺可借用性判断、偏好数据的优劣比较 |
| 低置信度 | 按 4.3.2 合成的置信度分值直接排序 | 模型自己也不确定的样本 | 覆盖面最广,是默认通道 |
| 边界样本 | 在特征或表示空间中与决策边界距离最近的样本;对分类任务取首位与次位标签的概率差最小者 | 两个标签之间难以区分 | 缺陷类别归类、故障现象归一、工作面类型分类 |
| 模型分歧 | 用两路及以上不同配置(不同提示词版本、不同模型、规则通道与模型通道)对同一样本标注,取结果不一致者 | 不同判断路径给出不同答案 | 本体规则与模型判断冲突的样本,往往指向本体缺项 |
| 长尾类别 | 统计各标签在已标注集中的频次,按逆频次加权采样;对本体中已定义但样本数为零的类目单独设最低配额 | 稀少但本体中存在的类别 | 稀缺故障模式、特殊工作面条件、非常规工艺 |
| 错误高发来源 | 按来源(源系统、文档类型、设备型号、车间、时间段)统计历史返工率与抽检失败率,对高发来源加权 | 来自已知质量较差来源的样本 | 填写不完整的工单、新上线系统的早期记录、扫描件图纸 |
六种机制不是择一使用,而是按配额组合。每一轮采样的批次由多种机制按配额拼成,配额本身可配置并随进度调整。首期的配额分配建议见表 4-8,分配依据是各机制在冷启动阶段的可用性——模型尚未训练时,不确定性与分歧类机制信号弱,长尾与来源类机制则不依赖模型,可以先用。
表 4-8 主动学习采样配额的阶段性分配建议
| 阶段 | 低置信度 | 模型不确定性 | 边界样本 | 模型分歧 | 长尾类别 | 错误高发来源 | 说明 |
|---|---|---|---|---|---|---|---|
| 冷启动(无可用模型) | —— | —— | —— | —— | 50% | 30% | 余 20% 为随机采样,用于建立无偏基线 |
| 起步(首轮模型可用) | 30% | 15% | 10% | 10% | 20% | 10% | 随机采样降至 5%,长期保留 |
| 稳定运行 | 20% | 20% | 20% | 15% | 15% | 5% | 随机采样保留 5%,作为分布漂移的监测通道 |
表中保留随机采样的那一小部分不是冗余。按收益排序采样会系统性地偏离真实分布,若完全不留随机通道,就无法判断模型在真实分布上的表现是否也在提升。这 5% 的随机样本专用于监测,不参与阈值标定。
六种机制都是对单条样本打分再排序,这里有一处落地时最容易出的问题必须处置:按分排序挑出来的一批,彼此可能高度雷同。 不确定性高的样本常常成簇出现——同一张图纸上相似的几处标注、同一条生产线上同一类报警、同一道工序里同一种参数越界,它们的得分都高,排序后就被一起挑了出来。结果是人工标了五百条,真正覆盖到的情形只有三五种,而另外十几种情形因为单条得分略低一直排不上队。这不是打分机制的问题,是「逐条打分、整批选取」这个做法本身的缺口。
本项目对此采用两段式批量选择。第一段照表 4-7 的六种机制打分,筛出一个候选池,池子规模取目标批量的数倍;第二段不再看分数,而在候选池上做覆盖最大化选择:把候选样本按其向量表示放在同一空间里,每次选入一条——选的是能使「池中其余样本到已选样本集合的最近距离」改善最大的那一条,如此循环直到凑满批量。通俗地说,第一段负责把值得标的样本找出来,第二段负责在它们之间挑开,不让一批里挤满同一类。工程实现是一次贪心循环,不需要训练任何模型,开销与候选池规模成正比。
这样做的好处可以被量出来,这一点比做法本身更重要。度量用两个数:一是批内平均最近邻距离,它反映这一批样本彼此的分散程度;二是批内覆盖的标签类目数与本体类目数,它反映这一批实际触及了多少种情形。两个数都可以与两条对照基线比较——纯随机采样,以及只按不确定性排序不做覆盖选择。首期按同等标注量下的类目覆盖数设定基线,目标是覆盖最大化选择的类目覆盖数不低于纯不确定性排序的水平并趋向改善;若连续两批未见改善,则退回纯不确定性排序,并在质量报告中记录该批次的选择口径,不留无依据的做法在产线上。
覆盖最大化选择的适用范围不止本工具。分布均衡的欠采样要在删减多数类时保住情形的多样性,基准测试集的构造要让零点九五万条覆盖四个业务域的典型与边界,文本重写要挑开改写对象避免同一类句式被反复改写——这三处的需求与本处相同,做法一致,口径见各工具相应小节,方法不重复论证。
主动学习工具的接口有一条写在最前面的限制:采样接口对评测库无读权限。这不是权限配置上的细节,而是评测结论可信度的根基——采样若能看见评测集,被选中的样本就可能与评测题目同源,模型在评测上的表现随之虚高。其余输入项中,机制配额决定六种采样机制各占多少,上一轮人工反馈用于调整下一轮配比,首轮可以没有反馈;无模型信号时降级为长尾与来源两类机制,使冷启动阶段同样能够运行。输出侧的优先序清单要求逐条填写入选机制与入选理由,因为人工标注人员正是据此判断该样本值得花多少工夫;机制执行报告给出各机制的计划与实际配额及未填满原因,可当场核对;覆盖盲区与质量问题分列,前者要去定向采集,后者要去整改数据通道,处置动作完全不同。
表 4-8A 主动学习标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 待标注样本池 | 池引用与版本、轮次号、本轮总配额 | 采样接口对评测库无读权限,防泄漏 |
| 输入 | 机制配额与反馈 | 六种机制配额(表 4-7、表 4-8)、上一轮人工反馈引用、多样性下限 | 缺省按阶段建议分配;首轮可无反馈 |
| 输入 | 模型信号(可选) | 不确定性/分歧等度量所需的模型输出或登记版本 | 冷启动无模型时降级为长尾与来源机制 |
| 输出 | 优先序清单 | `ranked_samples`:样本标识、优先级、入选机制、入选理由、度量值 | 写入派单队列;理由逐条必填 |
| 输出 | 机制执行报告 | 各机制计划/实际配额、未填满原因、随机对照档占比 | 与清单同批交付,可当场核对 |
| 输出 | 定向采集与覆盖盲区 | 池中无合适样本但模型薄弱的方向、覆盖缺口登记 | 与质量问题分列,处置动作不同 |
| 输出 | 批次留痕 | 采样批次号、模型版本、策略参数、派发与回收记录 | 供审计与按参数复算 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.5(表 8-10、表 8-11)。
工具支持标注结果回流模型训练,形成模型预测、人工标注、增量训练、再次采样的闭环。闭环的四个环节与本项目的接口关系见图 4-3。
需要说明本包在这个闭环中的位置。本包交付的是数据集加工生产服务,模型的训练与推理由行业大模型训练推理技术服务承担,智能场景建设不在本包范围。因此本工具在「增量训练」这一环的职责是:按约定格式导出增量训练样本集、声明样本的来源与版本、接收训练侧返回的模型版本与在验证集上的表现指标,据此计算下一轮采样的信号。训练本身的实施由训推侧完成,两侧以样本集版本号与模型版本号对接。
闭环的周期按数据集与任务类型分别设定。指令微调类样本的闭环周期较短,建议按两周一轮;基准测试集的金标准标注不进入模型训练闭环,它的作用是评测,按季度扩充并保持与训练集的隔离。隔离按来源与时间双重切分实现:同一来源的样本不同时出现在训练集与评测集,评测集的时间窗在训练集之后。这一条口径与数据集质量评测方案一致。
处理流程见图 4-3:采样 → 预标注与人工标注 → 增量样本集导出 → 训推侧增量训练(本包对接版本号)→ 采样信号重算。
4-3 主动学习回流闭环与本包的职责位置
图 4-3 主动学习回流闭环与本包的职责位置。数据来源:招标文件第五章 3.2.3.6.2 节;本包与训推侧的边界依第 01 包业务范围。
工具支持避免重复派单和样本泄漏,保留采样批次、模型版本和策略参数。这一项要求看着是工程细节,实际影响数据集的可用性,因此分两部分说清。
防重复派单有三层措施。第一层是样本指纹去重:每个样本以内容指纹标识,指纹相同的样本只派发一次;近重复样本(如同一工单的两次修订、同一图纸的两个版本)按相似度聚成同族,同族样本在同一批次派给同一人,避免两个人对几乎相同的内容给出不同标注。
第二层是已标注集排除:采样时从池中排除已标注、正在标注、已派发未回收三类样本;派发超时未回收的样本按配置时限回收后重新入池,回收记录保留。第三层是跨批次核对:每轮采样完成后比对本批与历史批次的交集,交集非空时记录并排查原因,通常是指纹计算逻辑变更或样本被重复导入。
防样本泄漏有四条规则。一是评测集样本永不进入采样池,评测集与采样池在存储上分库,采样接口无评测库读权限。二是同族样本不跨集合切分,一族样本整体归入训练集或评测集,不拆开。三是时间切分优先于随机切分,评测集取训练集时间窗之后的样本,避免用未来数据训练、用过去数据评测的倒置。四是对齐样本的重叠关系遵守,第 3 节 3.5.2 所述的时序片段重叠与包含关系在切分时作为同族约束处理。
留痕内容包括:采样批次号、批次生成时刻、所用模型版本、六种机制的配额参数与阈值、每条样本的入选机制与入选分值、派发与回收时刻、标注人员角色(不记姓名,记角色与工号映射,映射表按权限访问)。留痕的用处是回答两类质疑:某条样本为什么会被选中标注,以及某批标注结果为什么与另一批差别较大。
一条优先序清单的出参样例(节选):
```json { "round_no": 9, "pool_ref": "POOL-DEVICE-2027Q2@v3", "quota": 1200, "ranked_samples": [ { "sample_id": "SMP-WO-2027-118822", "rank": 1, "priority": 0.94, "mechanism": "模型分歧", "reason": "规则通道判「外圈点蚀」,模型通道判「润滑不良」;冲突指向本体适用关系待确认", "uncertainty": {"entropy": 1.72, "top2_margin": 0.04}, "domain": "装备健康诊断" }, { "sample_id": "SMP-DWG-2027-004417", "rank": 2, "priority": 0.91, "mechanism": "长尾类别", "reason": "本体类目「特殊材质超厚板坡口」已标注样本为 0,命中最低配额", "uncertainty": null, "domain": "产品工艺设计" }, { "sample_id": "SMP-RND-2027-000881", "rank": 1180, "priority": 0.12, "mechanism": "随机对照", "reason": "本轮 5% 无偏对照配额;不参与阈值标定", "uncertainty": null, "domain": "制造过程" } ], "mechanism_report": { "低置信度": {"planned": 240, "actual": 240}, "模型不确定性": {"planned": 240, "actual": 238, "unfilled_reason": "度量不可用 2 条改入多样性"}, "边界样本": {"planned": 240, "actual": 240}, "模型分歧": {"planned": 180, "actual": 180}, "长尾类别": {"planned": 180, "actual": 180}, "错误高发来源": {"planned": 60, "actual": 60}, "随机对照": {"planned": 60, "actual": 60} }, "coverage_gap": [{"ontology_node": "ONT-FM-0881", "label": "液压系统内泄漏(稀有)", "action": "定向采集"}], "batch_id": "AL-R9-2027Q2-009", "tool_id": "active-learning", "tool_version": "1.1.0" } ```
样例核对要点:每条含入选机制与理由;`mechanism_report` 计划与实际并列;随机对照档存在且可区分。
主动学习的效果不能用标注准确率衡量——它并不产出标注,只决定标注的先后次序,因此考核的是同样的人工工时是否换来了更多的模型收益。采样有效性一项据此设定:主动采样批与随机对照批同期派发、同口径统计人工修改率,修改率高说明选中的确实是模型拿不准的样本,这个比值而非绝对数才是判据,也正是每轮都要保留随机对照档的原因。重复派单率与泄漏检出两项防的是工程性错误,前者浪费工时,后者直接损害评测结论的可信度,故泄漏一经发现,该版本评测集即不予发布。长尾覆盖进度与批次可复算两项分别对应覆盖面与可审计性。表中第三列给出每项的核对时点——有的按轮次、有的按季度、有的在评测集发布前,核对时点与派发节奏对齐,使问题在本轮之内暴露,而不是累积到验收时才显形。
表 4-9 主动学习标注工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 采样有效性 | 按主动学习采样的样本,其人工修改率不低于随机采样样本的 1.5 倍 | 每轮对比主动采样批与随机对照批的修改率 | 有效性不足时调整配额,提高长尾与来源类机制权重 |
| 重复派单率 | 不高于 0.5% | 按轮次统计本批与历史批次的样本交集 | 重复率超限时暂停自动派发,先排查指纹逻辑与导入链路 |
| 泄漏检出 | 训练集与评测集交集逐步接近为空 | 每次评测集发布前做交集核对,核对结果入数据卡 | 发现交集时该版本评测集不予发布,重做切分并说明影响范围 |
| 长尾覆盖进度 | 本体中已定义的故障模式类目,有标注样本的比例按季度提升 | 按季度统计类目覆盖情况 | 覆盖进度滞后的类目转由故障场景模拟生成(见 5.3)构造训练样本,但评测样本仍以实际样本为准 |
| 批次可复算 | 给定批次号可复现其样本清单 | 抽取 10 个历史批次按留痕参数重算 | 不可复现时固化采样的随机种子与排序稳定性规则 |
单条预标注可能合理,汇总后仍可能出现逻辑冲突:设备与部件归属错配、故障模式挂错部件、同件材料牌号不一致、互斥属性双值并存。单条复核不易发现,因各条局部看似成立。
本体驱动规则标注工具从两个方向处理这个问题。正向是生成:按本体中已定义的关系推出候选标签,减少模型从零生成的随意性。反向是校验:按本体中的约束检查已有标注的自洽性,识别并剔除冲突。本项目的本体覆盖设备、部件、故障、工艺、材料、质量指标、安全规则七个域,这是招标文件明列的范围。
工具支持领域本体驱动的规则标注,基于设备、部件、故障、工艺、材料、质量指标、安全规则等本体关系生成候选标签。七个域在本项目中的内容与候选标签生成方式见表 4-10。
表 4-10 本体七域的内容与候选标签生成方式
| 本体域 | 主要类目与关系 | 候选标签生成方式 | 典型候选标签 |
|---|---|---|---|
| 设备 | 产品型谱、机型档位、整机与子系统、设备编码与型号映射 | 由工单或记录中的设备编码查本体,推出型号、机型档位、所属子系统 | 「机型档位=大采高型」、「子系统=机头传动」 |
| 部件 | 部件层级(整机—部件—零件)、部件与设备的从属、标准件与非标件、替代关系 | 由提到的部件名查本体,推出所属设备、上级部件、同类替代件 | 「所属设备=机头减速器」、「可替代件清单」 |
| 故障 | 故障模式名录、现象与模式的关联、模式与部件的适用关系、检出手段、证据分级 | 由现象查本体,推出该现象在该部件上可能对应的故障模式候选集 | 「候选故障模式=外圈点蚀/润滑不良/对中偏差」 |
| 工艺 | 工序字典(备料分厂现掌握口径二十八道)、加工方法分档、工序前后依赖与禁止条件、工装与设备资源 | 由图纸结构化记录中的几何要素与加工要求,推出可用工序候选与排序约束 | 「候选工序=下料—校平—压弯—钻孔」、「禁止:压弯后钻孔」 |
| 材料 | 材料牌号、力学性能区间、适用工艺、热处理要求、替代材料 | 由牌号查本体,推出适用工艺与热处理要求,校验与图纸标注是否相符 | 「适用工艺=火焰切割/等离子切割」、「预热要求」 |
| 质量指标 | 检验项目、指标定义与量纲、判定分级(如热处理三级判定)、检出手段与缺陷类别对应 | 由检验记录推出应有的检验项目与判定分级,缺项列为待补 | 「应检项=硬度/金相」、「判定分级=二级」 |
| 安全规则 | 作业安全约束、禁止操作、井下使用限制、涉及安全的参数边界 | 对处置建议与工艺方案做安全约束匹配,命中约束的标注标记为需安全复核 | 「命中约束:带电作业禁止」、「需安全复核」 |
候选标签生成有一条关键约定:工具只生成候选,不直接判定。候选标签带上它的推理路径(从哪个本体节点、经哪条关系、推到哪个类目),交由模型或人在候选集内选择。这样做比让模型自由生成标签有两个好处:标签必然落在本体定义范围内,不会出现本体里没有的类目;选择结果可以回溯到本体版本,本体更新后能找出受影响的历史标注。
工具支持本体约束校验,利用父子类、互斥关系、必选属性、关系方向、同义词、别名和取值范围识别并剔除冲突标注。七类约束的校验规则与处置见表 4-11。
表 4-11 七类本体约束的校验规则与处置
| 约束类型 | 校验规则 | 冲突表现举例 | 处置 |
|---|---|---|---|
| 父子类 | 标注的类目与其上级类目须构成本体中已定义的父子路径;子类标注同时隐含其所有父类 | 把「减速器」标为「液压支架」的部件 | 剔除该条关系标注,保留实体标注并入冲突清单 |
| 互斥关系 | 本体中声明互斥的类目不得同时标注在同一对象上 | 同一焊缝同时标为「已返修」与「首次合格」 | 两条标注均降级,整条记录转人工裁决 |
| 必选属性 | 某类目要求的必选属性须有取值 | 标为「故障模式」但未给出所在部件 | 补齐提示返回标注端;无法补齐的降为候选 |
| 关系方向 | 关系的主客体顺序须与本体定义一致 | 把「部件所属设备」标成设备属于部件 | 方向可唯一纠正时自动纠正并留痕;存在歧义时转人工 |
| 同义词 | 同义词须归一到主词条;归一后不得出现同一对象被标为两个同义类目 | 「异响」与「噪声异常」被当作两类现象 | 自动归一到主词条,归一记录留痕 |
| 别名 | 企业内部别名、现场俗称须能映射到标准术语;未登记的别名不得静默忽略 | 现场称「大链」实为「刮板链」 | 已登记别名自动映射;未登记的进入新术语发现流程(见 4.6.4) |
| 取值范围 | 数值与枚举取值须在本体定义的范围内 | 板厚标为 160mm 而本体定义范围为 4–60mm | 越界值剔除并记入异常清单;范围定义本身可疑的提交本体复核 |
校验的执行顺序是先做归一(同义词、别名),再做结构检查(父子类、关系方向、必选属性),最后做取值与互斥检查。顺序颠倒会产生大量假冲突——未归一的同义词会被父子类检查当成不同类目。
校验结果分三种处置,上表已分别注明:自动纠正并留痕、降级为候选、转人工裁决。有一条通则:工具不静默删除任何标注。被剔除的标注移入冲突清单并保留原值与剔除理由,原因是冲突有时指向本体缺项而不是标注错误。本项目的本体是边建边用的,把冲突当成本体改进的线索比当成错误处理更有价值。
本体会更新,这是必然的。新故障模式被发现、新工艺术语被确认、取值范围被修订,都会产生本体新版本。历史标注在本体更新后怎么处理,需要事先定好口径,否则数据集会出现同一类目在不同批次中含义不同的情况。
本工具的口径分三档。向后兼容的更新(新增类目、新增别名、放宽取值范围)不触发历史标注重校验,历史标注仍然有效,只在数据卡中记录本体版本。影响既有标注的更新(类目合并、类目拆分、关系方向修订、收紧取值范围)触发受影响标注的重校验,重校验范围按本体差异自动计算,结果分为仍然有效、需自动迁移、需人工重标三类。涉及判定口径的更新(判定分级标准变更、缺陷分类调整)一律触发人工复核,不自动迁移,因为这类更新背后是业务判据的变化,机械迁移会把旧判据的结论挂到新口径上。
每次本体更新后生成一份影响评估报告:受影响的标注条数、按三类处置的分布、需人工重标的工时估算。报告提交数据治理侧与甲方相关部门确认后执行。本体的建设与维护流程在数据治理体系详述,本节只写本工具与本体之间的接口与处置口径。
本体是标注口径的依据,而依据本身会变,因此本工具的接口把版本控制放在首位:本体七域版本、约束规则集版本、术语与别名表版本均须显式入参,被替代的版本不静默升级。理由是同一条样本在不同本体版本下的校验结论可能不同,版本若随调用时点浮动,日后便无从解释某条标注当时为何通过。约束范围与冲突策略作为入参,允许按批次选择启用哪几类约束,以及冲突是拦截还是标记放行;工序字典尚未成文时,相关约束标为未校验而非默认通过,使缺口显式可见。输出侧有一条反直觉但必要的约定:被约束剔除的标签不静默删除,而是进冲突清单并保留原值——删除会让人误以为模型从未给出该标签,保留原值才能统计约束的实际拦截效果。新术语候选与本体反馈两项构成回流通道,使用中发现的必选属性过严、缺项等问题汇总后交治理侧评审。
表 4-11A 本体驱动规则标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 待校验/待生成样本 | 样本标识或池引用(通常为预标注结果) | 只读取标注区记录 |
| 输入 | 本体与规则版本 | 本体七域版本、约束规则集版本、术语与别名表版本 | 入参显式传版本;被替代版本不静默升级 |
| 输入 | 约束范围与冲突策略 | 启用的约束类别、冲突处置(拦截/标记放行) | 缺省七类全启;工序字典未成文时相关约束标「未校验」 |
| 输出 | 本体标签与约束结论 | 候选/确认标签、约束逐条判定、冲突清单 | 不静默删除;剔除项进冲突清单留原值 |
| 输出 | 新术语候选与生效版本 | `new_term_candidates`、`effective_versions` | 回流本体更新流程;回传实际生效版本供核对 |
| 输出 | 本体反馈 | 使用中发现的必选属性过严、缺项等建议 | 汇总后交治理侧评审 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.6(表 8-12、表 8-13)。
处理顺序固定为:同义词/别名归一 → 父子类/关系方向/必选属性结构检查 → 取值与互斥检查 → 冲突分处置(自动纠正留痕/降级候选/转人工)→ 写入约束结论与本体反馈。顺序颠倒会产生假冲突。本体改版后的历史标注按本节 4.5.4 三档口径处置。
```json { "record_id": "ONT-CHK-2027061100233", "target_record": "PRE-ANN-2027060300471", "ontology_version": "ONT-2027Q2-v5", "normalization": [ {"field": "entities.E2.normalized", "from": "异响", "to": "异常噪声", "rule": "同义词归一", "dict_entry": "SYN-0044-03"}, {"field": "entities.E4.normalized", "from": "输出轴轴承", "to": "减速器输出轴滚动轴承", "rule": "别名映射", "dict_entry": "ALS-0163-01"} ], "candidates_generated": [ {"for": "entities.E2", "candidate_set": [ {"node": "ONT-FM-0122", "label": "滚动轴承外圈点蚀", "path": "现象(异常噪声)→可能模式→部件(ONT-CP-0163)适用"}, {"node": "ONT-FM-0131", "label": "润滑不良", "path": "现象(异常噪声)→可能模式→部件适用"}, {"node": "ONT-FM-0140", "label": "轴系对中偏差", "path": "现象(异常噪声)→可能模式→部件适用"} ], "note": "模型已选 ONT-FM-0122,在候选集内,接受"} ], "constraint_checks": [ {"type": "父子类", "subject": "ONT-CP-0163", "object": "ONT-EQ-0217", "result": "通过", "detail": "减速器输出轴滚动轴承 ⊂ 机头减速器"}, {"type": "关系方向", "relation": "R1", "result": "通过"}, {"type": "必选属性", "node": "ONT-FM-0122", "required": ["所在部件", "检出手段"], "result": "部分缺失", "missing": ["检出手段"], "action": "补齐提示已回传标注端"}, {"type": "取值范围", "field": "无", "result": "不适用"}, {"type": "互斥关系", "result": "通过"}, {"type": "同义词", "result": "已归一 1 项"}, {"type": "别名", "result": "已映射 1 项;未登记别名 0 项"} ], "conflicts": [], "pending_ontology_feedback": [ {"type": "必选属性建议", "content": "工单文本中常不写检出手段,建议将 ONT-FM-0122 的「检出手段」从必选改为条件必选(有检验记录关联时必选)", "submitted_to": "本体更新流程", "status": "待评审"} ], "confidence": 0.93, "review_state": "机器通过", "tool_id": "onto-rule-annotate", "tool_version": "1.5.0", "config_version": "cfg-onto-2027Q2-02", "batch_id": "B-20270611-ONT-007" } ```
`pending_ontology_feedback` 一项展示了这个工具的另一个产出:使用中发现的本体问题。工单文本里通常不写检出手段,把它定为无条件必选会在大量工单上产生假缺失。这类反馈汇总后提交本体更新流程评审,是本体从「设计出来」走向「用得顺」的主要途径。
本体驱动的校验有两种方向相反的失败方式:约束定得松,错标漏过去;约束定得严,对的标注被判成冲突,人工反复裁决却一无所获。五项指标正是围绕这对矛盾设定的——候选集命中率衡量本体覆盖够不够,冲突检出的有效性与假冲突率一正一反衡量约束定得是否恰当,三项合看才能判断问题出在本体还是出在规则。归一覆盖率是前三项的共同前提:实体若未归一,同一事物的不同写法会被判成冲突,这类假冲突与约束过严造成的假冲突成因不同、处置也不同,故表中要求分类统计假冲突原因。本体更新影响可评估一项考核的不是标注本身,而是变更管理能力:每次本体更新都须产出受影响条数可复算的影响评估报告,做不到即暂停自动迁移、一律人工复核。表中第四列的回退动作一律指向修订本体与规则,而不是调低判定标准。
表 4-12 本体驱动规则标注工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 候选集命中率 | 人工最终确认的标签落在候选集内的比例不低于 85% | 抽样 300 条统计 | 命中率不足说明本体覆盖有缺口,按未命中标签梳理本体补项;期间放宽候选集规模 |
| 冲突检出的有效性 | 被判为冲突的标注中,经人工裁决确认确为标注错误的比例不低于 70% | 抽样 200 条冲突记录统计 | 有效性不足说明约束定义过严,逐条复核约束定义并区分硬约束与软提示 |
| 假冲突率 | 不高于 30%,且其中因未归一造成的假冲突逐步接近为零 | 同上,分类统计假冲突原因 | 调整校验顺序、补充同义词与别名词条 |
| 归一覆盖率 | 实体归一值能在词典中命中的比例不低于 90% | 按批次统计 | 未命中词条按频次排序进入新术语发现流程,优先补高频项 |
| 本体更新影响可评估 | 每次更新均产出影响评估报告 | 检查报告是否齐备且受影响条数可复算 | 不可复算时补建本体差异比对能力,期间暂停自动迁移、一律人工复核 |
标注质量这件事,如果没有量化指标,就只能靠抽检时的主观感觉判断。而抽检发现的是个别错误,发现不了系统性偏差——比如两个标注人员对「轻微渗漏」算不算故障的理解不同,各自标了几千条,每一条在自己的理解下都是对的,合起来的数据集却自相矛盾。模型在这种数据上训练,学到的是两种口径的混合。
一致性校验工具的作用是把「标得准不准」这个难以直接测量的问题,转化为「不同标注者之间一致不一致」这个可以测量的问题。一致率低不一定说明标错,但一定说明标注规范在这一类样本上没写清楚——这是规范需要修订的信号。
工具支持多人、多模型和人机交叉标注,并能计算一致率、冲突率等一致性指标。三种交叉方式与适用情形见表 4-13。
表 4-13 三种交叉标注方式
| 交叉方式 | 做法 | 适用情形 | 成本 |
|---|---|---|---|
| 多人交叉 | 同一样本由两名及以上标注人员独立标注,互相不可见 | 主观判断成分大的任务;新规范上线初期;新标注人员入场期 | 按交叉人数成倍增加 |
| 多模型交叉 | 同一样本用不同配置(不同提示词版本、不同模型、不同采样参数)各标一次 | 大批量样本的质量监测;模型升级前后的差异评估 | 增加调用成本,不占人力 |
| 人机交叉 | 同一样本由模型预标注并由人独立标注(人不看模型结果),之后比对 | 标定置信度阈值;评估某任务类型能否上移协同档位 | 占用人力但产出标定数据 |
一致性指标按表 4-14 计算。指标的选择依任务类型而定,不是所有任务都用同一个指标。
表 4-14 一致性指标及其适用任务
| 指标 | 定义 | 适用任务 | 基线取值建议 |
|---|---|---|---|
| 一致率 | 两方标注完全相同的样本数占比 | 标签可枚举且取值不多的分类任务 | 不低于 85% |
| 冲突率 | 两方标注在同一字段上取值不同且不可兼容的样本数占比 | 全部任务;与一致率互补,用于区分「不一致」与「不兼容」 | 不高于 10% |
| Cohen κ 系数 | 扣除随机一致后的一致程度,两方标注时使用 | 二分类与少类别分类任务 | 不低于 0.75 |
| Krippendorff α 系数 | 可处理多标注者、缺失值与不同测量尺度的一致性系数 | 多人交叉、多标签、序数标签任务 | 不低于 0.70 |
| 跨度重叠率 | 抽取类任务中标注跨度的交并比 | 实体抽取、缺陷位置标注 | 不低于 0.80 |
| 严格匹配率与宽松匹配率 | 抽取类任务中,标签与跨度全同为严格匹配,标签同且跨度重叠超门限为宽松匹配 | 实体抽取、关系抽取 | 严格不低于 0.70,宽松不低于 0.85 |
指标按任务类型、标注人员、样本来源、批次四个维度分别统计,这一点很重要。整体一致率合格而某一个来源或某一名标注人员的一致率明显偏低,是定位问题的直接线索;只看整体数字会把这类问题平均掉。
一致率低于基线时的动作不是直接返工。先做归因:是规范在这类样本上没写清楚,是标注人员理解有偏差,还是样本本身就是边界情形。三类原因对应三种处置——修订规范并附判例、组织规范宣讲与复测、把样本标记为边界样本并提交裁决。把一致率低一概当成标注人员的问题,会导致规范的缺陷被反复掩盖。
工具支持复核与裁决工作流,记录标注、修改、审核、驳回、专家裁决和最终确认全过程,满足审计追溯要求。工作流的状态与流转见图 4-4。
4-4 标注复核与裁决工作流的状态流转
图 4-4 标注复核与裁决工作流的状态流转。数据来源:招标文件第五章 3.2.3.6.4 节。
工作流有三条设计约定需要说明。
第一,修改保留双版本。复核人员修改标注时,原值与新值同时保留,修改理由必填。这不只是为了审计——修改记录是标注规范改进的主要素材,哪类样本被改得最多,规范在哪里就不清楚。修改归因还会沉淀为企业规则与评测样本,这与甲方在工艺设计口提出的要求一致:把每一次修改归因并沉淀为企业规则与评测样本。
第二,驳回与修改分开。审核人认为标注错误时可以驳回,退回原标注人修改;审核人也可以直接修改。两者的区别在于谁来做判断:驳回保留了原标注人学习与申辩的机会,直接修改效率更高但不利于标注人员提高。首期以驳回为主,同一标注人在同一类问题上被驳回超过门限次数时触发规范宣讲。
第三,专家裁决的结果进判例库。裁决不是一次性的,它对后续同类样本有指导作用。判例库按任务类型与标签组织,条目包括样本摘要、争议点、裁决结论与理由。标注工作台在标注人员遇到相似样本时推送相关判例。判例库随建设推进积累,是标注规范的实际延伸。
工具支持新术语发现和本体回流,将标注中发现的别名、新故障模式、新工艺术语和规则歧义提交本体更新流程。四类提交项的识别方式与提交内容见表 4-15。
表 4-15 四类本体回流项的识别与提交
| 回流类型 | 识别方式 | 提交内容 | 评审关注点 |
|---|---|---|---|
| 别名 | 标注人员手动标记「这是某标准术语的现场说法」;或自动检出——未能归一的文本片段与某主词条在上下文分布上高度相似 | 别名文本、建议归属主词条、出现频次、首次出现批次、证据样本不少于 3 条 | 是否确为同义;是否存在一词多义风险 |
| 新故障模式 | 标注人员在候选集中找不到合适模式并选择「新增」;或冲突归因中反复出现「本体缺项」 | 模式名称、所在部件、典型现象、检出手段、与既有模式的区别、证据样本 | 是否可归入既有模式的子类;检出手段是否可操作 |
| 新工艺术语 | 图纸与工艺文件解析中出现的未登记符号、工序名、工装名 | 术语文本、所属工艺环节、来源文件、建议类目 | 是否为企业内部惯用写法;是否需同步工序字典 |
| 规则歧义 | 同一规则在不同样本上导致矛盾结论;或多名标注人员对同一规则的理解不一致 | 规则编号、歧义描述、导致矛盾的样本对、各方理解 | 规则表述如何收紧;是否需拆为多条 |
回流不是把发现的东西直接写进本体。四类提交项先进入待评审池,按频次与影响面排序,由本体评审机制取舍后才进入本体新版本。评审机制、评审周期与参与角色在数据治理体系规定,本工具的职责是把线索完整地、带证据地提交上去,并在提交后跟踪状态(待评审/已采纳/已驳回/合并至其他条目),把采纳结果回写到相关历史标注的待重校验清单。
一致性指标最容易在不经意间被做高:若只取已到齐的几路标注计算,未按时完成的那一路往往正是分歧最大的一路,指标便系统性偏高。故本工具在输入侧约定多路未齐时不计算指标,宁可等待,也不出一个偏乐观的数。指标集按任务类型选取、不适用项拒收,是因为分类任务与跨度标注任务的一致性本不是同一回事,用一个指标通算只会得出无法解释的结果。输出侧有两条要求值得指明:一致性指标按任务、人员、来源、批次分组给出,不只给一个总值,因为整体尚可而某一人员或某一来源持续偏低是常见情形,合并之后即看不见;裁决结论须写明所依据的规则条款与版本,无依据条款的裁决不得入库,使日后复核时能够区分「规范如此」与「当时如此裁定」。返工清单与规范修订建议分列,反复出现的同类分歧指向的是规范本身不清。
表 4-15A 一致性校验标注工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 多路标注结果 | 标注任务批次标识;多人/多模型/人机交叉的各路产出 | 多路未齐时不计算指标,避免偏高 |
| 输入 | 交叉方式与指标集 | 表 4-13 交叉方式、表 4-14 指标集、分歧阈值、裁决规则版本 | 按任务类型选取指标,不适用项拒收 |
| 输出 | 一致性指标 | 一致率、冲突率、κ/α、跨度重叠等;按任务/人员/来源/批次分组 | 不只给一个总值 |
| 输出 | 分歧与裁决 | 分歧点、各路取值、裁决结论、所依据规则条款与版本 | 裁决无依据条款的不得入库 |
| 输出 | 返工与规范反馈 | 返工清单、反复出现的同类分歧 → 规范修订建议 | 与报告模板表 4-16 字段对齐 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.7(表 8-14、表 8-15)。
一条一致性校验与裁决出参样例(节选):
```json { "annotation_task_id": "ANN-QUAL-2027Q1-016", "cross_mode": "双人独立标注+分歧裁决", "consistency_metrics": { "overall": {"agreement_rate": 0.81, "conflict_rate": 0.12, "cohen_kappa": 0.74}, "by_annotator_role": { "标注人A": {"agreement_rate": 0.88}, "标注人B": {"agreement_rate": 0.79} }, "by_source": {"不合格品票": {"agreement_rate": 0.72}, "交检记录": {"agreement_rate": 0.91}} }, "disagreements": [ { "sample_id": "SMP-QC-004812", "field": "defect_class", "values": {"标注人A": "咬边", "标注人B": "余高超差"}, "type": "标签不兼容", "span_iou": null } ], "arbitrations": [ { "sample_id": "SMP-QC-004812", "conclusion": "咬边", "rule_ref": {"clause": "缺规§3.2.4", "version": "ARB-v1.2"}, "role": "领域专家", "rationale": "坡口边缘金属缺损特征符合咬边定义;余高超差另列检验项且本样本未测余高" } ], "rework_list": [{"sample_id": "SMP-QC-004812", "scope": "同来源咬边/余高边界样本 36 条", "reason": "规范边界不清"}], "spec_feedback": [{"topic": "咬边与余高边界", "freq": 14, "action": "修订规范并附判例"}], "batch_id": "CONS-2027Q1-016", "tool_id": "consistency-check", "tool_version": "1.0.4" } ```
样例核对要点:指标按标注人与来源分组;每条裁决带规则条款与版本。
本工具的质量口径与标注质量报告合并呈现:批次/周期报告字段见表 4-16;接口层可核对项见第 8 节表 8-15。首期基线:整体一致率不低于表 4-14 建议值;低于门限时整批返工并触发规范复核,而不是只退单条样本。达不到口径时的回退:多路未齐不报部分指标;裁决无条款转专家裁决并进规范修订队列;同类分歧反复出现则进 `spec_feedback` 有界迭代。
招标文件在本类工具的总述中要求产出标注质量报告。报告由一致性校验工具按批次与周期生成,模板字段见表 4-16。
表 4-16 标注质量报告的模板字段
| 章节 | 字段 | 说明 |
|---|---|---|
| 报告标识 | 报告编号、生成时刻、统计周期、覆盖批次清单 | 报告本身版本化、可复算 |
| 规范与本体版本 | 所依据的标注规范版本、本体版本、判例库版本 | 用于判断不同报告之间是否可直接比较 |
| 产量 | 按任务类型、数据集、业务域统计的标注条数;预标注条数与人工条数分列;四档协同方式的分布 | 产量与质量分开陈述,不混为一个综合分 |
| 一致性 | 表 4-14 各项指标按任务类型、来源、批次分别统计;与上一周期对比 | 不合格项逐条列出并注明归因分类 |
| 复核与裁决 | 复核条数、修改率、驳回率、专家裁决条数;修改原因分布 | 修改率按标注人员角色统计,不列姓名 |
| 冲突与剔除 | 本体约束校验的冲突条数按七类约束分布;剔除与降级条数;假冲突率 | 附冲突清单引用,不在报告正文列全部明细 |
| 置信度标定 | 各档阈值当期取值、高置信档抽检通过率、低置信档不一致比例 | 用于判断阈值是否需要复标 |
| 本体回流 | 本周期提交的四类回流项条数与状态分布;已采纳项对历史标注的影响范围 | 与本体更新影响评估报告相互引用 |
| 待办与建议 | 规范待修订条目、本体待补条目、采集质量待整改点位、需追加人力的任务类型 | 每条附依据数据与建议优先级 |
报告按批次生成简版、按月生成完整版,按季度生成含趋势分析的汇总版。报告是数据集质量评测与数据集质检的输入之一,三者的指标定义保持一致,避免同一个一致率在三处报出三个数。报告模板的样例文本在「标准规范与报告模板」附件中给出。
本类工具提供面向训练数据扩充、长尾场景补齐、表达多样化和稀缺样本构造的数据生成与增强能力,用以生成指令数据、模拟工单故障场景、扩展排障对话,并对已有文本进行语义保持的重写增强,覆盖种子指令管理、指令进化、受控合成、故障场景模拟、文本改写和生成质量过滤等环节。
本类工具的处理对象是「量不够、分布不均」的数据缺口,本项目在这两方面的缺口是具体的、可以指名道姓的。指令微调数据集要 89 万条,强化学习偏好数据要 6.6 万组,全靠从历史记录中抽取与人工编写是做不出来的。更要紧的是长尾:甲方的故障记录与数据段没有配对,历史数据没有事件级标签,稀缺但后果严重的情形(断链、异物卡阻、特定材料批次的热处理异常)在历史样本里可能只有个位数条记录。模型在这种分布上训练,对常见情形应对自如,对真正要紧的情形毫无把握。
与此同时,合成数据是有风险的。生成出来的样本如果脱离工程实际,训练出的模型会学到一套看着像真的、实际上不成立的知识;如果生成分布过于集中,模型会在少数表达方式上过拟合;如果改写时把关键数值或安全约束改掉了,样本就成了错误知识的载体。本项目涉及井下装备,安全约束不能动。
因此本类工具的设计有三条贯穿始终的原则,分别对应三个工具。
第一条,生成必须有依据。指令数据生成的依据是种子指令、领域文档与任务模板;故障场景生成的依据是领域本体、历史工单分布与业务规则;文本重写的依据是已有的高质量原始样本。三个工具都不从零凭空编造,而是在既有事实的基础上做扩展、组合与变换。
第二条,生成必须可标识。每一条合成样本都带来源记录,写明由哪个工具、依据哪些素材、用哪一版模板与哪一代模型生成。这不是形式要求——训练侧需要按合成比例控制配比,评测侧需要排除合成样本,质检侧需要在发现问题样本时定位同源批次。没有标识,这三件事都做不了。
第三条,生成必须过滤。生成之后的过滤比生成本身更重要。本类工具配置了四道过滤(规则校验、模型评分、重复检测、人工抽检),并且约定一条:过滤的通过门限由数据集用途决定——用于预训练的样本门限较宽,用于指令微调的较严,用于偏好数据的最严,评测集不接受合成样本。
招标文件列明了本类工具应能基于的输入与应当生成的产出。全景对照见表 5-1。
表 5-1 数据生成与增强类工具链的输入与产出对照
| 招标文件所列输入 | 本项目中的具体来源 | 招标文件所列产出 | 由哪个工具生成 |
|---|---|---|---|
| 种子指令 | 由业务骨干编写的典型问法,以及从历史问答、工单、技术交流记录中抽取并经人工确认的问法 | SFT 指令样本 | 指令数据生成(3.2.3.7.1) |
| 领域文档 | 企业制度、技术标准、工艺规程、设备手册、历史标书、工程资料 | 合成工单 | 工单与故障场景模拟生成(3.2.3.7.2) |
| 任务模板 | 按七类任务配置的生成模板,与预标注模板共用版本管理机制 | 增强文本样本 | 文本重写与多样化(3.2.3.7.3) |
| 历史工单 | 服务工单、生产工单、不合格品票、改造方案 | 生成批次 | 三个工具均以批次为调度单位 |
| 设备本体 | 本体七域中的设备、部件两域 | 合成日志 | 三个工具的生成日志按统一格式记录 |
| 故障知识库 | 本体故障域、故障名录、四档证据分级、检出手段对应关系 | —— | —— |
| 场景模板 | 按业务域与场景编写的情境框架(工况、人员角色、时间线、可观察信息) | —— | —— |
| 业务约束 | 工序前后依赖与禁止条件、安全规则、井下使用限制、参数边界 | —— | —— |
| 高质量原始样本 | 已通过质检与一致性校验的标注样本 | —— | —— |
| 术语保护词表 | 企业术语主词条、别名表、不可改写项清单 | —— | —— |
| 语义校验模型 | 经统一网关接入的向量表示与语义判别能力 | —— | —— |
合成样本在各数据集中的配比需要事先定好并在数据卡中披露。配比建议见表 5-2。建议的依据是各数据集的用途:预训练对表达多样性的需求大于对事实精确性的需求,指令微调反之,评测集则不接受合成样本。
表 5-2 合成与增强样本在四大数据集中的配比建议
| 数据集 | 规模 | 合成与增强样本配比建议 | 理由与约束 |
|---|---|---|---|
| 预训练数据集 | 615 亿 Token(供需 276+工艺 70+制造 105+质量 164) | 增强文本(重写与多样化)不超过 20%;不含凭空生成的事实性内容 | 预训练需要表达多样性;但重写样本与原文同源,过高配比会放大原文的分布偏差 |
| 指令微调数据集 | 89 万条(40+10+15+24) | 合成指令样本可占较大比例,但须满足:每条有可追溯依据、按表 5-5 控制分布、四道过滤全部通过 | 这是本类工具的主产出场;人工编写的种子指令与经确认的真实问法作为分布锚点 |
| 强化学习偏好数据 | 6.6 万组(3.2+0.8+1+1.6) | 回答候选可由模型生成,优劣判断以人工为主;纯模型判定的偏好组单独标识并限比例 | 偏好数据的价值在于反映人的判断;若判断也由模型给出,等于把模型偏差固化 |
| 基准测试数据集 | 0.95 万条(0.4+0.1+0.2+0.25) | 不接受合成样本 | 评测集是验收与迭代的尺子;合成样本入评测集会使指标系统性偏高 |
表中「不接受合成样本」一条是硬约束,与数据集质量评测方案和数据集验证保持同一口径。基准测试集的条目由人工依据真实事实构造或从真实记录中挑选并标注,构造过程本身记录在案。
配比之外,生成与增强还有一组准入约定,它们决定一条合成样本是否有资格进入候选集。约定分五项:素材的使用许可、来源家族的登记、工艺与安全约束、允许与禁止的变换及其参数范围、语义不变检查。五项中任何一项不成立,该条样本不进入候选集,按 2.6 的口径隔离。
素材许可与来源家族见表 5-2A。许可解决的是「这份素材能不能用来生成」,来源家族解决的是「生成出来的东西和哪些样本同源」——后者是训练集与评测集隔离,以及重复增强控制的技术基础。
表 5-2A 素材的使用许可与来源家族登记
| 素材类别 | 许可的核验内容 | 许可缺失时的处置 | 来源家族的构成 |
|---|---|---|---|
| 企业内部文档(制度、工艺规程、设备手册、工程资料) | 内部使用范围与密级标识;是否含第三方权利内容 | 不进入生成素材池,列入待确认清单 | 以原始对象标识为族根,同一文档派生的全部样本同族 |
| 历史工单与检验记录 | 数据分级结论;脱敏执行情况;客户相关内容的处置结论 | 脱敏未完成的不进入素材池 | 以工单号对应的原始对象标识为族根 |
| 外部标准与公开资料 | 引用方式是否合规;是否可全文入库或仅可引用条款号 | 仅可引用的按条款号引用,不全文入池 | 以资料标识为族根,引用型素材单独标记 |
| 已标注样本(用于改写与偏好构造) | 该样本自身的许可状态是否仍然有效 | 源样本已作废的,其派生样本同步作废 | 继承源样本的族根 |
| 经网关调用的模型能力 | 生成内容的使用范围登记;教师模型许可登记 | 登记缺失的批次不发布 | 不构成族根,登记在 `model_ref` 中 |
来源家族标识与四大数据集加工生产总述中约定的原始对象标识同源,不另起一套:一个原始对象在不同数据集中的所有派生样本共享该标识,隔离核验时按该标识做交集检查,交集非空即触发隔离失效告警。本章三个生成类工具在输出时一律写入 `family_id` 与 `family_depth`(自族根起的派生层数),派生层数超过约定上限的不再继续派生——层数越深,样本与真实事实的距离越远,而血缘上仍然合法,容易在统计上造成「数据量增加」的假象。
工艺约束与允许、禁止的变换见表 5-2B。约束来自业务而非来自算法:井下装备的安全约束、工序的前后依赖与禁止条件、参数的工艺窗口,这三类内容在生成与改写中一律不可变动。
表 5-2B 允许与禁止的变换、参数范围与约束来源
| 变换类别 | 允许的变换 | 禁止的变换 | 参数范围 | 约束来源 |
|---|---|---|---|---|
| 文本表达层 | 句式改写、详略调整、语体转换、问法多样化、同义别名替换 | 改动数值、单位、量纲、判定结论、安全约束与禁止条件 | 改写后长度相对原文在 0.6 至 1.6 倍之间;同一源样本的改写副本不超过 3 个 | 术语保护词表、安全规则本体、数据加工生产章的增强副本上限 |
| 指令构造层 | 调整任务类型与难度层次、更换提问角色、增删上下文、组合多跳推理 | 构造超出授权范围的数据查询、构造答案含越权信息的样本 | 每轮进化不超过约定跳数;难度分层按配额派发 | 数据分级办法、角色权限矩阵 |
| 场景组合层 | 组合设备、部件、故障模式、现象、原因、处置流程、备件与安全约束 | 组合出本体中不存在的部件与故障对应、违反工序依赖的处置顺序 | 组合须全部落在种子样本所属业务域的本体范围内 | 领域本体、工序字典、故障名录 |
| 参数取值层 | 在工艺窗口内取值、按历史分布采样 | 取值越出工艺窗口、越出量程、违反物理约束 | 焊接、热处理等参数按工艺规程给定窗口取值;越窗样本一律剔除 | 工艺规程、量程表、物理约束 |
| 图像与时序增强 | 在真实采集条件可能出现的范围内做变换 | 变换幅度超出真实采集条件可能出现的范围 | 变换参数的取值区间按该来源的实测分布确定;同一源样本的增强副本按类型设上限 | 采集条件实测统计、数据加工生产章的增强口径 |
语义不变检查是变换类生成的最后一道机械关口,检查项与判定见表 5-2C。它不作主观判断,只判「该保持不变的是否变了」,因此可以全量运行。
表 5-2C 语义不变检查的检查项与判定
| 检查项 | 检查方式 | 判定 |
|---|---|---|
| 数值与单位一致 | 抽取改写前后的全部数值、单位与量纲,逐一比对 | 任一处不一致即不通过,不进入候选集 |
| 术语主词条保持 | 比对保护词表中的主词条在改写后是否仍然存在且未被替换为非等义表述 | 主词条被改动即不通过 |
| 结论与判定保持 | 比对判定分级、合格与否、故障结论等结论性表述 | 结论变化即不通过 |
| 安全约束保持 | 比对安全规则、禁止条件、井下使用限制的表述完整性 | 任一条缺失或弱化即不通过 |
| 整体语义距离 | 计算改写前后的语义相似度 | 低于门限的样本丢弃;批次丢弃率超线则整批回退重做 |
配比统计按三个维度分别出数,统计口径见表 5-2D。统计不是事后的汇总动作,而是生成过程中的控制依据:配额在生成前按维度派发,生成中按实际产出回扣配额,超出配额的生成请求不再派发。
表 5-2D 配比统计的维度、统计口径与披露位置
| 维度 | 统计内容 | 统计口径 | 披露位置 |
|---|---|---|---|
| 按数据集 | 合成与增强样本在各数据集中的条数与占比 | 以入集样本计,不以生成样本计;过滤未通过的不计入 | 数据卡的来源构成一栏 |
| 按业务域与任务类型 | 各域、各任务类型的合成样本条数与占比,与真实样本的分布距离 | 分布距离按任务类型、长度、标签取值、业务域、难度五维计算 | 生成批次报告 |
| 按来源家族 | 每个族根派生的样本数、最大派生层数、同族样本在训练与评测集中的分布 | 同族样本同时出现在训练集与评测集即判隔离失效 | 版本级质检报告与数据卡 |
三项配比指标按三段式给出。其一,配额执行偏差:实际产出与派发配额的偏差幅度,基线按首批实测取值,趋向为随派发粒度细化逐季收窄,超门限时缩小单次派发批量并提高回扣频次。其二,同族重复度:同一族根下样本之间的近重复比例,基线首批实测,趋向为随派生层数上限与改写副本上限的执行逐季下降,高于门限时下调该族的派生上限。其三,隔离失效告警数:按批次统计训练集与评测集的同族交集告警条数,基线为零、趋向保持为零,一旦出现即暂停该批次发布并按族根回溯剔除,不以比例容忍。
5-1 数据生成与增强类三个工具的素材来源、生成路径与过滤门限
图 5-1 数据生成与增强类三个工具的素材来源、生成路径与过滤门限。数据来源:招标文件第五章 3.2.3.7 节;四大数据集规模依招标文件逐数据集规模表。
工具支持基于种子指令集批量生成指令响应数据,覆盖知识问答、推理分析、信息抽取、摘要、分类、工具调用和多模态描述等任务类型。七类任务在本项目中的具体落法见表 5-3。表中每类任务均给出矿山装备制造场景下的实例,并以该实例约束生成口径:通用指令数据对行业模型的作用有限,生成的指令须落在本项目的设备、工艺、故障与质量对象上。
表 5-3 七类指令任务在本项目中的具体落法
| 任务类型 | 本项目中的指令实例 | 依据素材 | 答案的可核对方式 |
|---|---|---|---|
| 知识问答 | 「Q355B 钢板厚度 16mm 做 90 度压弯,中性层系数取多少?依据是什么?」 | 材料本体、工装台账、工艺规程 | 答案中的数值须能在台账或规程中定位,答案附依据条目编号 |
| 推理分析 | 「某工作面铺设长度 320 米、倾角 12 度、年产 600 万吨,现配机型的链条按功率口径安全系数不足,可能的调整方向有哪些?」 | 选型校核公式、机型型谱、历史选型方案 | 推理链条的每一步可按公式复算;结论给出多个方向而非单一答案 |
| 信息抽取 | 「从下列工单正文中抽出设备、部件、故障现象、处置措施,以表格给出。」 | 已标注的工单样本(来自第 4 节) | 抽取结果与标注结果比对,严格匹配与宽松匹配分别计分 |
| 摘要 | 「总结这份热处理工艺规程对保温时间的要求,按材料牌号分列。」 | 工艺规程、技术标准 | 摘要中的每项要求须回指原文章节 |
| 分类 | 「判断这条不合格品票属于哪一类缺陷,并说明检出手段。」 | 企业缺陷分类表、检出手段对应关系 | 分类标签取自封闭标签集,可与人工标注比对 |
| 工具调用 | 「查询施工号 SG-2027-0318 的物料清单中,提前期超过 60 天的外购件。」 | 接口定义、参数规范、权限约束 | 生成的调用参数可按接口定义做结构校验;返回结果的正确性由接口侧保证 |
| 多模态描述 | 「描述这张关键帧中焊接部位的可见状态,并指出画面中可读取的设备面板读数。」 | 帧级对齐记录(来自第 3 节) | 描述与对齐记录中的 `visual_desc`、`panel_readings` 比对 |
七类任务按四个业务域分别设定生成数量,数量分配与四大数据集的域内规模保持一致:供需计划域、产品工艺设计域、制造过程域、质量域。工具按域与任务类型的二维配额组织生成批次,配额表随进度调整并记入批次留痕。
工具支持种子指令管理,维护任务类型、业务领域、难度等级、输入输出格式和参考答案。种子指令库的字段设计见表 5-4。
表 5-4 种子指令库的字段设计
| 字段 | 说明 | 取值与约束 |
|---|---|---|
| `seed_id` | 种子指令编号 | 全局唯一 |
| `task_type` | 任务类型 | 取自表 5-3 的七类,封闭取值 |
| `domain` | 业务领域 | 供需计划/产品工艺设计/制造过程/质量,四域封闭取值 |
| `sub_scene` | 细分场景 | 如选型校核、备料工艺、库存控制、热处理、焊接、健康诊断及通用信息类场景 |
| `difficulty` | 难度等级 | 一至五级:一级为单跳事实查询,三级需跨文档综合,五级需多步推理并处理冲突信息 |
| `instruction` | 指令文本 | 人工编写或从真实问法中抽取并经确认 |
| `input_format` | 输入格式 | 纯文本/文本+附件/结构化参数/图像/时序片段 |
| `output_format` | 输出格式 | 自由文本/表格/结构化字段/带引用的答案/调用参数 |
| `reference_answer` | 参考答案 | 人工撰写或经人工确认;附依据来源 |
| `answer_checkable` | 答案可核对方式 | 可复算/可定位原文/可与标注比对/需人工判断 |
| `source` | 种子来源 | 业务骨干编写/历史问答抽取/工单抽取/技术交流记录抽取 |
| `evolve_from` | 进化来源 | 若本条由其他种子进化而来,记录父条编号与所用算子 |
| `status` | 状态 | 草稿/已确认/已停用;已停用的种子不参与生成但保留血缘 |
| `ontology_refs` | 关联本体节点 | 用于按本体类目统计覆盖情况,发现未被任何种子覆盖的类目 |
种子指令库的建设方式分两条路。一条是业务骨干编写,覆盖典型与关键问法,数量不大但质量高;这部分需要甲方各业务口的参与,具体安排与工时在实施计划中明确。另一条是从历史记录中抽取真实问法,覆盖面广且贴近实际表达,但需要人工确认与改写。两条路的产出都进同一个库,`source` 字段区分,便于后续分析哪类来源的种子衍生出的样本质量更高。
种子库本身要做覆盖分析。按 `ontology_refs` 统计本体类目的覆盖情况,找出「本体中有定义但没有任何种子指令涉及」的类目——这些是指令数据集的盲区。盲区清单按本体类目的业务重要性排序,补种子指令的优先级据此确定。
工具支持指令进化生成能力,对原始指令进行难度提升、约束增加、场景迁移、任务组合和表达变化,形成多层次训练样本。五种进化算子的做法与控制见表 5-5。
表 5-5 五种指令进化算子
| 算子 | 做法 | 本项目中的示例 | 控制要点 |
|---|---|---|---|
| 难度提升 | 把单跳问题改为多跳;把给定条件齐全的问题改为需先确认缺失条件的问题;引入需要排除的干扰信息 | 由「中性层系数取多少」提升为「图纸只给了板厚与折弯角度,未注明模具,应如何确定展开长,需补哪些信息」 | 难度等级逐级提升,不跳级;提升后的参考答案须重新确认 |
| 约束增加 | 追加输出格式约束、字数约束、必须引用依据的约束、必须给出不确定性说明的约束 | 由「分析原因」增加为「分析原因,按证据等级分档列出,每档注明所依据的检测手段」 | 约束须可验证,否则无法用于过滤 |
| 场景迁移 | 把一个业务域的指令迁移到另一个域的同构问题上 | 把热处理的「同批次横向比对」问法迁移到焊接的「同型部件参数横向比对」 | 迁移后须核对该域确有对应业务;不存在对应业务的迁移作废 |
| 任务组合 | 把两类任务串成一条指令,前一步的输出作为后一步的输入 | 「先从工单中抽取故障现象,再按故障名录给出候选故障模式及其检出手段」 | 组合深度不超过三步;每步的中间产物在参考答案中分步给出 |
| 表达变化 | 同一问题改为不同措辞、不同语气、不同详略程度、含错别字与口语化的真实表达 | 把「请核算链条安全系数」改为口语化的「这个链子按功率算够不够」 | 表达变化不改变问题语义;变化后的样本与原样本标为同族,防集合切分泄漏 |
指令进化容易出现两个问题,工具各有对策。一是进化失控——连续多轮进化后,指令与原始业务问题脱节,变成一道只有文字难度没有业务意义的题。对策是限制进化代数(默认不超过三代),每一代进化后抽样人工确认,确认不通过的分支整支作废。二是同族爆炸——一个种子进化出大量相似样本,使数据集表面量大实际多样性低。对策是按种子统计衍生样本数并设上限,同族样本在分布控制中按一条计权。
工具支持按领域、任务、难度、长度、来源和质量等级控制生成分布,避免生成数据集中于单一场景或单一表达方式。六个维度的控制方式见表 5-6。
表 5-6 分布控制的六个维度
| 维度 | 控制方式 | 目标分布的确定依据 | 偏离时的动作 |
|---|---|---|---|
| 领域 | 按四个业务域设配额,配额与四大数据集的域内规模比例对应 | 招标文件逐数据集规模表的域内分配(供需 276/工艺 70/制造 105/质量 164 等) | 配额不足的域暂停其他域的生成,优先补齐 |
| 任务 | 按七类任务设配额;配额按场景验证对各类能力的需求权重确定 | 六个专业场景与通用信息类场景的能力需求 | 同上,按配额补齐 |
| 难度 | 一至五级设目标比例,中间难度占主体,两端留足样本 | 建议比例 10%/25%/35%/20%/10%,依据是模型训练中难度梯度的常用安排,首期标定后按评测表现调整 | 偏离超过门限时在后续批次中定向生成缺口档位 |
| 长度 | 按指令长度与答案长度分桶统计,各桶设上下限 | 从真实问法的长度分布估计 | 过长过短样本按比例裁减,不直接删除 |
| 来源 | 按种子来源与进化代数统计,限制单一来源与单一代数的占比 | 单一种子衍生样本上限、单一代数占比上限 | 超限时暂停该来源的衍生生成 |
| 质量等级 | 按过滤环节给出的质量评分分档,限制低分档入库比例 | 按数据集用途分档的门限(见 5.2) | 低分档超限时整批退回并排查生成模板 |
分布控制有一条实现要点:控制在生成前做,不在生成后筛。先按配额算出各单元格还需多少条,再按单元格派发生成任务;生成后统计实际分布与目标的偏差,偏差进入下一轮配额。若反过来——先大量生成再筛选到目标分布——会浪费大量调用成本,且被筛掉的样本中可能包含稀缺单元格里本就不多的样本。
工具支持规则过滤、模型评分、人工抽检和重复检测,剔除低质量、幻觉、越权和格式错误样本。四道过滤的检查项见表 5-7。
表 5-7 四道生成质量过滤的检查项
| 过滤 | 检查项 | 判定方式 | 处置 |
|---|---|---|---|
| 规则过滤 | 格式是否符合 `output_format` 声明;必填部分是否齐全;数值是否带单位且在物理与量程范围内;是否出现禁止内容(个人姓名、客户敏感信息、超出授权范围的数据) | 程序判定,逐项可复算 | 不通过直接剔除并记录原因;越权类不通过另记安全事件 |
| 模型评分 | 答案与指令的相关性;答案是否有事实依据且依据可定位;推理步骤是否自洽;表达是否符合技术文档规范 | 由模型按评分量表打分,量表含分档描述与示例;多次采样取中位数 | 分数低于门限的剔除;处于门限附近的送人工抽检 |
| 重复检测 | 完全重复;近重复(文本相似度超门限);语义重复(向量相似度超门限);同族过度繁殖(单种子衍生数超上限) | 三级检测依次执行,由廉价到昂贵 | 完全重复与近重复去重保留其一;语义重复按分布控制需要保留或剔除;同族超限的裁减 |
| 人工抽检 | 按批次抽样,由熟悉该业务域的人员判断样本是否符合工程实际、答案是否正确、是否存在误导性内容 | 抽检表含通过/可改/不通过三档与原因分类 | 批次不通过率超过门限时整批退回;发现系统性问题时修订生成模板并把问题写入回归样例 |
幻觉的检出需要单独说明,因为这是合成数据最主要的风险。本工具的做法是把幻觉拆成三种可检的形态。一是无依据的事实陈述——答案中出现了具体数值、型号、标准编号或结论,但在给定素材中找不到对应;检出方式是对答案中的事实性片段做依据定位,定位失败的标为无依据。
二是依据错位——答案引用了素材中的内容,但引用位置与内容不符;检出方式是比对引用位置的原文与答案表述。三是过度确定——素材中本是条件性或存疑的表述,答案把它说成确定结论;检出方式是检查素材片段中的限定词是否在答案中保留。三种形态分别检出后合并统计,作为该批次的幻觉率指标。
越权样本的检出依据数据分级与权限规则。指令数据生成过程中可能产生涉及超出授权范围的数据查询,或答案中包含不应向该角色披露的信息。工具按本项目数据分级办法对答案内容做密级判定,密级高于该样本声明的使用范围时剔除并记录。相关分级依据 GB/T 43697—2024《数据安全技术数据分类分级规则》与 GB/T 38667—2020《信息技术大数据数据分类指南》,具体规则见本卷「安全方案」一节。
工具支持基于领域本体、历史工单分布和业务规则生成故障场景,能够组合设备、部件、故障模式、现象、原因、处置流程、备件和安全约束。这一项在招标文件中列于指令数据生成工具之下,其实现与 3.2.3.7.2 工单与故障场景模拟生成工具共用同一套场景生成器;本节说明生成器的组合逻辑,具体产出形态在 5.4 节展开。
八个要素的组合不是自由排列。组合受三层约束,见表 5-8。
表 5-8 故障场景八要素的组合约束
| 约束层 | 约束内容 | 来源 | 违反时的处置 |
|---|---|---|---|
| 本体约束 | 部件必须属于该设备;故障模式必须是该部件的允许模式;现象必须是该模式的已知现象;备件必须与该部件匹配 | 本体七域及其关系定义 | 组合作废,不生成 |
| 分布约束 | 组合出现的频次须与历史工单分布大致相称;长尾组合按定向补齐配额生成,不按自然频次 | 历史服务工单的统计分布 | 超出频次上限的组合暂停生成;长尾组合按配额单独派发 |
| 业务规则约束 | 处置流程须符合工序依赖与禁止条件;涉及井下作业的处置须命中安全规则检查;备件更换须符合在产状态与替代关系 | 工序字典、安全规则本体、备件台账 | 命中安全约束的场景标记为需安全复核,经确认后方可入库 |
长尾组合的定向补齐是这个生成器的主要价值。历史工单分布中出现次数为零或个位数的故障模式,按自然频次生成等于不生成;而这些恰恰是模型最需要见过的情形。工具的做法是:从本体中列出所有「已定义但历史样本不足」的故障模式,按业务重要性(后果严重程度、井下处置难度)排序,为每个模式生成一定数量的场景样本,数量按配额设定。这些样本标明为长尾补齐样本,训练时可按需调整采样权重,评测时不使用。
需要如实说明一点:长尾补齐样本的事实性依赖本体与业务规则的完备程度。本体中对某个稀缺故障模式的现象、原因与处置描述若本身不够准确,生成的场景也不会准确。因此长尾补齐样本的人工抽检比例高于常规样本,首期取 20%,并由熟悉该类故障的人员审核。抽检发现本体描述不准确时,按 4.6.4 的流程提交本体更新。
指令生成工具的接口约定集中在一点上:不许无中生有。输入三项各自带版本引用,种子指令须已确认才参与生成,素材范围按版本引用领域文档、本体标签与结构化素材,某一路素材不可读则该路不参与,全部不可读则任务不启动——没有素材就不生成,而不是让模型凭已有知识写出看似合理的指令。配额在生成前派发而非生成后筛选,是因为先生成再按分布裁剪会把算力花在最终被丢弃的样本上,且裁剪本身还会引入新的分布偏差。`eval_use` 字段在入参处即固定为假,使本工具的产出无论经何种途径流转都不会进入基准测试集。输出侧的过滤与分布报告逐道给出计数与配额偏差,使四道过滤是否生效、六维分布偏在哪一维可当场核对,这也是 5.3.9 中分布偏差一项得以按批次与累计两个口径验收的数据来源。
表 5-8A 指令数据生成工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 种子指令库 | 种子引用与版本(表 5-4 字段) | 已确认种子才参与生成 |
| 输入 | 任务与配额 | 任务类型清单、配额配置版本、目标条数、进化算子 | 配额生成前派发;`eval_use` 固定为假 |
| 输入 | 素材范围 | 领域文档、本体标签、结构化素材的版本引用 | 素材不可读则该路不参与;全部不可读则不启动 |
| 输出 | 指令样本 | 任务类型、难度、素材引用、合成标记、可追溯依据 | 流式写出;无依据样本不产出 |
| 输出 | 过滤与分布报告 | 四道过滤逐道计数、六维分布与配额偏差 | 可当场核对过滤是否生效 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.8(表 8-16、表 8-17)。
```json { "record_id": "GEN-SFT-2027071400913", "task_type": "推理分析", "domain": "供需计划", "sub_scene": "选型校核", "difficulty": 4, "instruction": "某工作面铺设长度 320m、倾角 12°、设计年产 600 万吨,现拟配置的机型按功率口径核算链条实际安全系数为 4.6,低于门限。请分析可调整的方向,按可行性排序,并说明每个方向需要补充确认哪些参数。", "input_format": "结构化参数", "output_format": "带引用的答案", "response": "可调整方向按可行性排序如下。……(正文略,共 1 142 字,含三个方向与各自需确认的参数清单)", "answer_evidence": [ {"claim": "链条理论安全系数门限取值", "locator": "选型校核契约 v3 / 第 4.2 条"}, {"claim": "可选链环直径档位", "locator": "标准化部件库 / 链条型谱表"}, {"claim": "按功率口径与按力口径的区别", "locator": "选型校核契约 v3 / 第 3.1 条"} ], "answer_checkable": "可复算", "provenance": { "synthesis_source": "seed_evolution", "seed_id": "SEED-XX-00417", "evolve_chain": [ {"gen": 1, "operator": "难度提升", "from": "SEED-XX-00417"}, {"gen": 2, "operator": "约束增加", "note": "追加「说明需补充确认的参数」"} ], "teacher_model": "gw-llm/v7", "template_version": "tpl-sft-reason-0207", "sampling_params": {"temperature": 0.7, "top_p": 0.95, "n_samples": 3, "selected": "评分中位数"} }, "filters": { "rule": {"result": "通过", "checks": ["格式合规", "数值带单位", "无禁止内容", "无越权数据"]}, "model_score": {"relevance": 4.5, "evidence_grounded": 4.0, "reasoning_coherence": 4.5, "style": 4.0, "scale": "1–5", "threshold": 3.5, "result": "通过"}, "hallucination": {"unsupported_claims": 0, "misattributed_refs": 0, "overconfident_statements": 1, "detail": "一处将「通常」表述为「应当」,已在人工抽检中修改", "result": "修改后通过"}, "dedup": {"exact": "无", "near_dup_max_sim": 0.71, "semantic_max_sim": 0.78, "family_size": 6, "family_limit": 12, "result": "通过"}, "human_sample": {"sampled": true, "verdict": "可改", "editor_role": "选型业务骨干", "edits": 1, "note": "措辞由「应当」改为「通常」"} }, "distribution_tags": {"length_bucket": "L3(800–1500字)", "quality_tier": "A", "source_tier": "种子进化"}, "dataset_target": "指令微调数据集 / 供需计划域", "confidence": 0.88, "review_state": "人工通过", "tool_id": "sft-gen", "tool_version": "1.6.0", "config_version": "cfg-gen-2027Q3-01", "batch_id": "B-20270714-GEN-031" } ```
样例中 `filters.hallucination` 一项记录了一次实际修改:模型把素材中的「通常」写成了「应当」,属于过度确定型幻觉。这类问题规则过滤检不出来、模型评分也容易放过,是人工抽检的主要价值所在。记录下来之后,这个错误模式会写入生成模板的回归样例,后续批次在该模式上做专项检查。
生成类工具的风险与采集类恰好相反:产能不是问题,可信才是问题。七项指标围绕三件事设定——产出是否成形,对应规则过滤通过率与去重后有效产出率;内容是否有据,对应幻觉率与人工抽检通过率;整体构成是否符合预期,对应分布偏差、长尾类目覆盖与评测集隔离。其中幻觉率按逐条定位依据的办法核查,而不凭读起来是否合理判断,因为合成文本的通病恰是表述流畅而事实无源;抽检比例对长尾补齐样本提高到 20%,是因为这部分样本可供参照的实例最少,出错概率也最高。表中第四列的回退动作分三档,收紧素材范围、后续批次定向补齐、整批退回并暂停该任务类型,严重程度递增。末行是硬约束:基准测试集不接受合成样本,发布前按 `synthesis_source` 字段核对,核对不通过即不发布。
表 5-9 指令数据生成工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 规则过滤通过率 | 不低于 90% | 按批次统计 | 通过率过低说明生成模板的格式约束不清,修订模板并补充示例 |
| 幻觉率 | 无依据事实陈述占比不高于 3%,并逐步接近更低水平 | 抽样 300 条做依据定位核查 | 超限时收紧素材范围(只允许引用给定素材)、降低采样温度、提高人工抽检比例 |
| 人工抽检通过率 | 通过与可改合计不低于 90%,不通过不高于 10% | 按批次抽样 5%(长尾补齐样本 20%) | 不通过率超限整批退回;连续两批超限暂停该任务类型生成,先修订模板 |
| 分布偏差 | 六个维度的实际分布与目标分布的偏差均不超过 10 个百分点 | 按批次与累计两个口径统计 | 偏差超限时在后续批次定向补齐,并在数据卡中披露当期偏差 |
| 去重后有效产出率 | 不低于 80% | 统计去重前后条数 | 产出率过低说明进化算子多样性不足,调整算子配比并提高种子覆盖 |
| 长尾类目覆盖 | 本体中业务重要性为高的故障模式,每个至少有配额内数量的场景样本 | 按类目核对 | 覆盖不足的类目在数据卡中列为缺口,不以降低抽检标准的方式凑数 |
| 评测集隔离 | 基准测试集中合成样本条数为零 | 发布前按 `synthesis_source` 字段核对 | 发现合成样本时该版本评测集不予发布,重做构造并说明影响范围 |
甲方的售后服务口要求把既有远程运维平台从阈值报警推进到可解释诊断,输出形态是按证据等级给出的部件级异常判断、处置建议与检查顺序。要让模型具备这个能力,需要大量「从现象出发、逐步收敛到部件与原因、给出处置与检查顺序」的推理样本。而现场的实际情况是:维修事实没有结构化记录,历史数据没有事件级标签,故障样本须靠回填与回溯配对形成。真实的完整推理过程基本没有留痕——工程师到现场看一眼就知道怎么办,不会把推理过程写下来。
本工具的作用是把本体中的故障知识与历史工单中的真实片段,组合成完整的推理样本。生成内容是将本体故障知识与历史工单片段展开为完整叙述,而非虚构未定义故障。设计约束:每条内容须回指本体节点或历史工单片段,不允许出现本体中没有的故障模式、现象或处置措施。
工具支持生成工单描述、故障树、诊断推理、维修建议、复盘总结和多轮排障对话。六类产出的内容要点与用途见表 5-10。
表 5-10 六类产出形态的内容要点与用途
| 产出形态 | 内容要点 | 字数与结构 | 主要用途 |
|---|---|---|---|
| 工单描述 | 报修时间、报修人角色、设备与部件、现象描述(按现场人员的真实表达方式,含不精确与口语化表述)、已采取的临时措施、当时可观察到的信息 | 100–400 字,自由文本 | 训练模型从不规范的现场描述中提取要素;作为信息抽取与分类任务的输入 |
| 故障树 | 以顶层故障为根,按原因层级展开;每个节点标注该层的检出手段与排除条件;叶节点为可直接处置的原因 | 结构化树,深度 3–5 层 | 训练模型的层级化归因能力;作为诊断推理的骨架 |
| 诊断推理 | 从现象出发,逐步引入证据、排除候选、收敛到结论;每一步写明所依据的证据与其等级;结论按证据等级分档给出 | 400–1200 字,分步结构 | 本工具的核心产出;直接对应售后服务口要求的可解释诊断形态 |
| 维修建议 | 处置步骤与顺序、所需备件与工装、预计工时、安全约束与防护要求、处置后的验证方式 | 200–600 字,步骤结构 | 训练模型给出可执行的处置方案;安全约束部分须经安全规则校验 |
| 复盘总结 | 事件经过、根本原因、处置是否得当、同类风险的排查范围、预防措施建议 | 300–800 字,段落结构 | 训练模型的总结与推广能力;作为摘要类任务样本 |
| 多轮排障对话 | 现场人员与系统的多轮交互:系统追问关键信息、现场人员给出观察结果、系统逐步收敛并给出检查顺序 | 4–10 轮,每轮 50–200 字 | 训练多轮交互中的信息索取与渐进收敛能力;与多轮对话数据构建类工具的边界见下 |
多轮排障对话与「工具链一」一节中的多轮对话数据构建类工具(3.2.3.4)存在交叉,边界划分如下:该类工具提供通用的对话结构构造、轮次管理、上下文一致性校验等能力;本工具提供故障排查这一特定场景下的对话内容生成,即每一轮该追问什么、什么样的回答能推进收敛、何时应当给出结论。本工具生成的对话内容交由该类工具做结构规范化与一致性校验,不重复实现对话管理能力。
六类产出不是各自独立生成的。同一个故障场景的六类产出必须相互一致——故障树上的原因与诊断推理的结论要对得上,维修建议中的备件要与故障树叶节点对应,复盘总结的根本原因不能与诊断推理矛盾。若分别生成,这种一致性很难保证。
工具的做法是先生成场景骨架,再按骨架展开六类产出。骨架由 5.3.6 节所述的场景生成器按八要素组合产生,包含设备、部件、故障模式、现象、原因、处置流程、备件、安全约束,以及这些要素之间的关系。骨架本身是结构化的,不是文本。六类产出都从同一个骨架展开,骨架中的要素在各产出中的出现情况被逐一核对——这就是一致性校验的实现方式。
5-2 故障场景从骨架到六类产出的展开与一致性校验
图 5-2 故障场景从骨架到六类产出的展开与一致性校验。数据来源:招标文件第五章 3.2.3.7.1 第(6)项与 3.2.3.7.2 节。
跨产出一致性校验不通过时,整组产出作废而不做局部修补。这个选择是有代价的——作废意味着这一组的生成成本白费。但局部修补会留下隐患:修补后的产出之间可能仍有未被检出的矛盾,而这类样本一旦进入训练集,模型学到的就是自相矛盾的推理。整组作废的另一个好处是,作废率本身成为生成模板质量的指标,作废率上升说明模板需要修订。
工具支持合成样本标识和来源记录,明确 `synthesis_source`、`teacher_model`、`template_version` 和采样参数。四个字段的取值规范见表 5-11。
表 5-11 合成样本来源字段的取值规范
| 字段 | 取值规范 | 本项目中的取值举例 | 用处 |
|---|---|---|---|
| `synthesis_source` | 枚举值,标明合成方式 | `seed_evolution`(种子进化)、`ontology_scenario`(本体场景组合)、`workorder_template`(历史工单模板化)、`text_rewrite`(文本重写)、`longtail_fill`(长尾定向补齐) | 训练侧按方式控制配比;质检侧按方式定位同源问题 |
| `teacher_model` | 统一网关为生成所用模型分配的登记名与版本号,不写品牌与型号 | `gw-llm/v7`、`gw-vlm/v3` | 模型随代升级后回溯某批样本的生成能力代次;评估新旧模型产出的质量差异 |
| `template_version` | 生成模板的语义化版本号,模板只读、改必升版 | `tpl-fault-scenario-0314` | 定位某一类问题样本所用的模板,修订后按版本重跑 |
| 采样参数 | 结构化记录温度、top-p、采样次数、候选选择方式、随机种子 | 见 5.3.8 样例中的 `sampling_params` | 回放复算;采样参数是生成多样性与稳定性的主要调节手段,不留痕则无法归因 |
除上述四项外,本工具另记三项:骨架编号(指向生成本组产出的场景骨架)、所依据的本体版本与业务规则版本、同骨架展开的六类产出的记录编号互引。这三项使得一组产出可以作为整体被检索、被复核、被整组作废。
来源记录的一项实际用途值得写明。假设模型在场景验证中出现一类系统性错误——比如把某种现象一概归到某个故障模式上。排查时可以按这个故障模式检索训练样本,按 `synthesis_source` 区分真实样本与合成样本,若合成样本占比过高且集中在某个 `template_version` 上,问题就定位到了模板。没有来源记录,这个排查只能靠猜。
场景模拟生成的接口设有两道拒收条件,均在任务启动前判定:场景模板与故障域本体不配套则拒收,历史工单分布不可读则不启动。前者防的是模板中的要素在本体里没有对应定义,生成出的故障组合在工艺上并不成立;后者防的是在不知道真实分布的情况下凭估计生成,合成数据一旦偏离实际故障构成,模型学到的就是一份被扭曲的先验。长尾类目同样不以估计分布替代,而是按配额单独派发。输出侧把八要素场景样本与六类派生形态分文件输出、以场景标识相互关联,便于按形态分别送入不同用途的子集;约束拦截计数与历史分布对照一并输出,使生成过程中的约束是否真正生效可当场核对。合成标记与 `eval_use=false` 两项是硬性字段,合成样本无来源字段不入库,这是基准测试集不含合成样本得以按字段核验的基础。
表 5-11A 工单与故障场景模拟生成工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 场景模板与本体 | 场景模板版本、故障域本体与故障名录、八要素组合约束版本 | 模板与本体不配套则拒收 |
| 输入 | 历史分布与配额 | 历史工单分布引用、配额配置、目标条数、产出形态清单 | 分布不可读则不启动;长尾不以估计分布替代 |
| 输出 | 场景与六类派生 | 八要素场景样本及六类形态分文件(表 5-10) | 文件间以场景标识关联 |
| 输出 | 约束拦截与合成标记 | 组合约束拦截计数、`synthetic_marks`、`eval_use=false`、与历史分布对照 | 合成样本无来源字段不入库 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.9(表 8-18、表 8-19)。
下例为一组长尾补齐场景的产出摘录,六类产出各取片段。
```json { "scenario_id": "FSC-2027081100127", "skeleton": { "equipment": {"node": "ONT-EQ-0217", "label": "刮板输送机机头传动部"}, "component": {"node": "ONT-CP-0188", "label": "链轮组件"}, "fault_mode": {"node": "ONT-FM-0231", "label": "链轮齿面异常磨损导致跳链", "historical_count": 3, "longtail": true}, "symptoms": [{"node": "ONT-SYM-0052", "label": "运行中周期性冲击响声"}, {"node": "ONT-SYM-0089", "label": "刮板链张紧度异常波动"}], "causes": [{"node": "ONT-CAU-0104", "label": "链条节距伸长超限与链轮齿形不匹配"}, {"node": "ONT-CAU-0117", "label": "链轮安装对中偏差"}], "disposal": {"flow": ["停机断电挂牌", "检测链条节距伸长量", "检查链轮齿面磨损量", "按磨损量判定修复或更换", "重新张紧并对中", "空载试运转验证"]}, "spares": [{"code": "SP-0188-02", "label": "链轮齿块", "in_production": true, "alternative": "SP-0188-02A"}], "safety_constraints": [{"node": "ONT-SAF-0019", "label": "井下检修须停机断电挂牌,禁止带电作业"}, {"node": "ONT-SAF-0033", "label": "链条张紧操作须确认无人处于链条行程内"}], "constraint_checks": {"ontology": "通过", "distribution": "长尾定向补齐配额内", "business_rule": "命中安全约束 2 项,已标记需安全复核"} }, "outputs": { "work_order_desc": { "record_id": "GEN-WO-2027081100451", "text": "8月9日夜班,司机反映机头那边跑起来有一下一下的响声,听着像是哪儿打上了,链子松紧也不太稳,拉紧了跑一会儿又松。没停机,让下个班注意看着。", "note": "采用现场口语化表达,含不精确描述(「哪儿打上了」),用于训练要素提取" }, "fault_tree": { "record_id": "GEN-FT-2027081100452", "root": "机头传动部周期性冲击响声", "levels": [ {"depth": 1, "node": "链传动啮合异常", "detection": "听音定位+空载观察"}, {"depth": 2, "node": "链轮齿面异常磨损", "detection": "齿面磨损量测量(样板比对)", "exclusion": "齿面磨损量在允许范围内可排除"}, {"depth": 2, "node": "链条节距伸长超限", "detection": "节距伸长量抽测(连续 11 节)", "exclusion": "伸长量低于限值可排除"}, {"depth": 3, "node": "链轮安装对中偏差", "detection": "对中检测", "exclusion": "对中在公差内可排除"} ] }, "diagnosis": { "record_id": "GEN-DX-2027081100453", "steps": [ {"step": 1, "observation": "周期性冲击响声,周期与链速相关", "inference": "指向链传动啮合环节,排除轴承类连续性异响", "evidence_level": "三级:现场听音,依据工况经验"}, {"step": 2, "observation": "张紧度反复波动,张紧后短时间内再度松弛", "inference": "提示链条节距已伸长,张紧行程被消耗", "evidence_level": "二级:可量测的运行表现"}, {"step": 3, "observation": "齿面磨损量测量结果超出样板限值,节距伸长量亦超限", "inference": "链轮齿形与伸长后的链条不匹配,形成跳齿冲击", "evidence_level": "一级:实测数据"} ], "conclusion": {"primary": "链轮齿面异常磨损与链条节距伸长共同导致啮合不良", "evidence_level": "一级", "alternatives": [{"cause": "链轮安装对中偏差", "evidence_level": "四级:尚无直接证据", "next_check": "对中检测"}]} }, "repair_advice": { "record_id": "GEN-RA-2027081100454", "steps": ["停机断电并挂牌,确认链条行程内无人", "抽测链条节距伸长量(连续 11 节,三处取样)", "用样板比对链轮齿面磨损量", "伸长量与磨损量均超限时,链轮齿块与对应链条段同步更换", "更换后重新张紧并做对中检测", "空载试运转不少于规定时长,确认响声消除"], "spares": ["SP-0188-02 链轮齿块(在产);替代件 SP-0188-02A"], "safety": ["停机断电挂牌,禁止带电作业", "张紧操作前确认无人处于链条行程内"], "verification": "空载试运转期间听音无周期性冲击,张紧度在规定时长内保持稳定", "safety_review": {"required": true, "state": "已确认", "note": "安全约束表述与安全规则本体一致"} }, "retrospective": { "record_id": "GEN-RS-2027081100455", "root_cause": "链条使用周期内未对节距伸长量做例行抽测,伸长累积后与链轮齿形失配", "scope": "同批次投运的同型机头传动部,建议排查节距伸长量", "prevention": "将节距伸长量抽测纳入定期点检项,抽测周期与限值按设备手册确定" }, "dialogue": { "record_id": "GEN-DG-2027081100456", "turns": 6, "excerpt": [ {"role": "现场", "text": "机头有响声,一下一下的。"}, {"role": "系统", "text": "响声的间隔与链条速度是否相关?张紧度近期是否需要反复调整?"}, {"role": "现场", "text": "好像是跟着链子走的。张紧这两天调过两回了。"}, {"role": "系统", "text": "这两项指向链传动啮合异常。建议先停机,按连续 11 节抽测链条节距伸长量,并用样板比对链轮齿面磨损量。两项结果能把范围收到链轮或链条。"} ] } }, "consistency_check": { "tree_vs_diagnosis": "一致(诊断结论对应故障树 depth2 两节点)", "leaf_vs_spares": "一致(齿块更换对应齿面磨损叶节点)", "retro_vs_diagnosis": "一致", "dialogue_convergence": "一致(收敛到同一故障模式)", "result": "通过" }, "provenance": { "synthesis_source": "longtail_fill", "teacher_model": "gw-llm/v7", "template_version": "tpl-fault-scenario-0314", "sampling_params": {"temperature": 0.6, "top_p": 0.9, "n_samples": 2, "selected": "一致性校验通过者"}, "ontology_version": "ONT-2027Q3-v6", "rule_version": "RUL-2027Q3-v2" }, "filters": {"rule": "通过", "model_score": 4.2, "dedup": "通过", "human_sample": {"sampled": true, "verdict": "通过", "reviewer_role": "售后服务业务骨干", "note": "处置顺序与现场做法相符;节距抽测节数按手册为 11 节,正确"}}, "dataset_target": "指令微调数据集 / 质量域;偏好数据候选(回答优劣由人工判断)", "longtail_flag": true, "eval_use": false, "batch_id": "B-20270811-FSC-006" } ```
样例末尾 `eval_use: false` 是一条硬性标记:长尾补齐样本不用于评测。它的作用是让评测集构造工具在取样时自动排除这类样本,而不依赖人工记得排除。
模拟生成的样本要经得起两重追问:这个故障在物理与工艺上成不成立,六类派生产出彼此说不说得通。骨架约束通过率与跨产出一致性通过率分别对应这两重——前者由本体与业务规则在生成时拦截,通过率过低并不说明生成质量差,更可能是本体关系定义过严或存在缺项,故回退动作指向梳理本体;后者按组校验,不通过时先定稿故障树与诊断、再据此生成其余四类,用生成顺序换取一致性。人工抽检通过率、安全约束表述正确率、口语化描述真实度三项由人工判断,分工各不相同:熟悉业务的人员判专业上是否成立,售后服务人员盲评是否像现场人写的,安全约束则逐条核对、不抽样。长尾类目的样本充足度一项约定了披露口径,未达配额的类目如实列为缺口,不以降低抽检标准的方式凑数。表中第四列最重的一档是暂停该类目生成、先补本体描述。
表 5-12 工单与故障场景模拟生成工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 骨架约束通过率 | 本体与业务规则约束的组合通过率不低于 70% | 按批次统计生成与作废条数 | 通过率过低说明本体关系定义过严或存在缺项,按作废原因梳理本体 |
| 跨产出一致性通过率 | 不低于 85% | 按组统计一致性校验结果 | 低于基线时拆分生成步骤,先定稿故障树与诊断,再据此生成其余四类 |
| 人工抽检通过率 | 常规样本抽检 5%、长尾补齐样本抽检 20%,通过与可改合计不低于 90% | 由熟悉相应业务的人员审核 | 不通过率超限整批退回;长尾类目连续不通过时暂停该类目生成,先补本体描述 |
| 安全约束表述正确率 | 涉及安全约束的样本,表述与安全规则本体逐步接近完全一致 | 逐条核对,不抽样 | 不一致时该样本不入库;安全约束部分改为从本体直接引用原文,不由模型生成 |
| 口语化工单描述的真实度 | 抽检中被判为「像现场人写的」的比例不低于 80% | 由售后服务业务人员盲评 | 真实度不足时从历史工单中抽取真实表达片段作为模板示例 |
| 长尾类目的样本充足度 | 业务重要性为高的故障模式,每类的场景样本数达到配额 | 按类目核对并在数据卡披露 | 未达配额的类目如实披露缺口,不降低抽检标准凑数 |
甲方的文本资料有一个共同特点:同一件事的表述方式单一。制度条文是书面语,工艺规程是技术语,工单是现场口语,三者各自内部的表达方式都很固定。模型在这种语料上训练,对本语料库的表达方式掌握得好,换一种问法就答不上来。通用场景的需求里写得很直白:要能就企业制度、技术标准、工艺规程与历史资料进行自然语言问答——而提问人是各业务口的全体员工,他们的问法不会按制度条文的句式来。
文本重写工具的作用是在不改变内容的前提下,为同一份事实生成多种表达。这件事的风险也很明显:改写很容易把内容改掉。技术文本中的数值、单位、工艺参数、故障结论与安全约束,改一个字含义就变了。因此本工具的设计重心不在「能改出多少种花样」,而在「怎么保证改完之后内容没变」。
工具支持文本重写与风格迁移,在保持语义一致的前提下生成口语化、书面化、技术化、简化、扩写、压缩等不同表达版本。六种风格的做法与适用对象见表 5-13。
表 5-13 六种改写风格的做法与适用对象
| 风格 | 做法 | 适用的原文类型 | 本项目中的用处 |
|---|---|---|---|
| 口语化 | 换用日常词汇、缩短句子、允许省略主语、保留不精确的程度表达 | 制度条文、技术标准、工艺规程 | 生成贴近员工真实问法的提问与表述,用于问答样本的问题侧 |
| 书面化 | 补全主语与关联词、规范术语、去除口语缀词 | 工单、交流记录、现场描述 | 把现场记录规范化,用于摘要与归档类样本 |
| 技术化 | 用标准术语替换俗称、补全参数与单位、引入标准依据 | 工单、现场描述、通俗解释 | 训练模型在正式答复中使用规范表述 |
| 简化 | 去除修饰与冗余、保留结论与关键条件、降低句式复杂度 | 长篇技术文件、复盘总结 | 生成不同详略度的答案版本,用于长度分布控制 |
| 扩写 | 补充背景、展开步骤、追加说明与注意事项;补充内容须有依据 | 条文式要求、简短结论 | 生成详细版答案;扩写内容不得引入原文与素材中没有的事实 |
| 压缩 | 按目标字数压缩,优先保留数值、结论与约束 | 长篇答案、规程全文 | 生成摘要类样本;压缩后关键信息项的保留情况可核对 |
扩写是六种风格中风险最高的一种,因为它要「增加内容」。工具对扩写的约束是:扩写只能使用三类材料——原文自身的其他部分、与原文关联的已确认素材(同一规程的其他条款、同一设备的手册内容)、本体中的已定义知识。三类材料之外不得引入。扩写结果中的每个新增事实点都要标出其来源材料,无法标出来源的新增内容在过滤环节被剔除。
工具支持语义一致性校验,使用向量相似度、关键信息抽取和规则检查防止语义漂移。三个通道的检查内容与门限见表 5-14。
表 5-14 语义一致性校验的三个通道
| 通道 | 检查内容 | 判定方式与门限 | 检不出什么 |
|---|---|---|---|
| 向量相似度 | 原文与改写文本在语义表示空间中的相似程度 | 余弦相似度;门限按风格分别设定(口语化与技术化门限较低,简化与压缩门限中等,扩写按原文对改写的覆盖方向单边判定) | 检不出局部的数值错误——改一个数字对整体向量影响很小。因此此通道只作粗筛,不单独定结论 |
| 关键信息抽取 | 从原文与改写文本中分别抽取关键信息项(数值、单位、实体、型号、标准编号、结论、条件、约束),逐项比对 | 关键信息项须逐项一致;缺失、新增、取值不同均判为不一致 | 检不出语气与限定程度的变化(如「通常」改为「应当」),需规则检查补充 |
| 规则检查 | 限定词保留检查(通常/一般/原则上/应当/必须/禁止);否定词检查;条件句结构检查;数值与单位的格式与量级检查;术语保护词表命中检查 | 逐条规则判定,不通过即判为不一致 | 检不出整体语义的微妙偏移,需向量通道与人工抽检补充 |
三个通道各有盲区,这是为什么要三个一起用。判定逻辑是:关键信息抽取与规则检查任一不通过即判为语义漂移,直接剔除;两者都通过但向量相似度低于门限的,送人工抽检;三者都通过的进入下一道过滤。
关键信息抽取这一通道的实现要点是抽取器本身要稳定。如果抽取器对原文与改写文本的抽取能力有差异,比对结果就不可信。本工具的做法是:抽取器对两侧使用同一配置、同一版本;抽取结果为空时不判为一致,而是判为无法校验并转人工;抽取器的稳定性按季度用标定集复测。
工具支持术语保护和事实保护,改写过程中不得改变关键实体、数值、单位、工艺参数、故障结论、安全约束和业务规则。七类保护对象的识别与保护方式见表 5-15。
表 5-15 七类保护对象的识别与保护方式
| 保护对象 | 识别方式 | 保护方式 | 违反时的处置 |
|---|---|---|---|
| 关键实体 | 术语保护词表中的主词条与其别名;本体中的设备、部件、材料、工序节点名 | 改写前做占位替换:把实体替换为占位符,改写完成后回填原文;不允许模型接触到可改写的实体文本 | 占位符缺失或数量不符时该条作废 |
| 数值 | 正则识别数值与其上下文;结构化素材中已标明的参数值 | 同占位替换;数值连同其单位作为一个不可分割的占位单元 | 回填后比对数值集合,不一致即作废 |
| 单位 | 单位词表;数值后紧随的量纲表达 | 与数值一体保护;单位换算一律不在改写环节进行 | 同上 |
| 工艺参数 | 工艺规程中的参数项;本体中标明为参数的节点 | 占位替换+规则检查双重保护 | 作废并记录 |
| 故障结论 | 由故障域本体节点标识的结论性表述;诊断样本中的 `conclusion` 字段 | 结论句整句不参与改写,改写只作用于其余部分 | 结论句被改动时作废 |
| 安全约束 | 安全规则本体节点;含禁止、严禁、不得、必须等强制语的句子 | 整句从本体直接引用,不参与改写 | 安全约束句出现任何差异即作废并记安全事件 |
| 业务规则 | 规则库中的规则表述;工序依赖与禁止条件 | 整句不参与改写 | 作废并记录 |
占位替换为事前约束:模型仅见占位符,只能改写占位符之间的连接语句;回填后比对占位符数量与顺序即可发现改坏。自然度可能略降、占位符附近句式或显生硬;数值与实体类错误由概率问题转为结构问题。对自然度要求高的场合(如口语化改写用于生成提问),占位替换的范围可以收窄到数值、单位与安全约束,实体允许用别名替换——此时别名替换的映射关系记入输出,仍然可追溯。
工具支持改写比例、改写次数、相似度阈值和风格分布配置,避免过度增强导致数据偏移。四项配置的含义与建议取值见表 5-16。
四项参数之所以成组出现,是因为它们控制的是同一件事的不同侧面:改写比例与改写次数决定同源内容在数据集中占多大份额,相似度阈值与风格分布决定每一条改写是否真的换了表达方式。只控其一必然失效——比例压得很低而同一条原文改写十遍,同族样本照样扎堆;比例合适而阈值定得过高,产出的只是近义替换,数量上去了多样性并没上去。建议取值的来由有三处:改写比例的上限取自合成配比口径,相似度阈值按六种风格的语义改动幅度分别标定,风格分布按原文类型的实际用途推定。表中第四列写的是过度设置的后果,它与第三列的建议取值互为说明——取值的边界不是凭经验拍定的,而是由越过边界后出现的具体症状反推出来的。
表 5-16 改写配置的四项参数
| 参数 | 含义 | 建议取值与依据 | 过度设置的后果 |
|---|---|---|---|
| 改写比例 | 原始样本中有多少比例被选去做改写增强 | 预训练语料不超过 20%(见表 5-2);指令微调样本按任务类型分别设定 | 比例过高时数据集中同源内容占比上升,模型在原文表达上过拟合 |
| 改写次数 | 同一条原文最多生成几个改写版本 | 建议不超过 3 个;按风格分配,同一风格不重复生成 | 次数过多时同族样本挤占分布,表面量大实际多样性低 |
| 相似度阈值 | 向量通道的门限,按风格分别设定 | 口语化 0.78、技术化 0.80、书面化 0.82、简化 0.80、压缩 0.75、扩写按覆盖方向单边判定不低于 0.85 | 阈值过高时改写被压成近义替换,起不到多样化作用;过低时语义漂移风险上升 |
| 风格分布 | 六种风格在改写产出中的占比 | 按原文类型设定:制度与标准类以口语化、简化为主;工单类以书面化、技术化为主;长文类以压缩、简化为主 | 风格集中时模型只见过一种转换方向 |
四项配置都按原文类型与数据集分别设定,不设全局统一值。配置变更按版本管理,变更前后的产出在数据卡中分段统计,便于判断某次配置调整是否带来了预期效果。
工具支持生成数据质量过滤,通过规则校验、模型评分、语义相似度检测、重复检测和人工抽检剔除虚假、不合理、越权或语义漂移样本。本工具的五道过滤与 5.3.5 节所述四道过滤的关系是:规则校验、模型评分、重复检测、人工抽检四道沿用同一套实现与门限配置,语义相似度检测为本工具专有,即 5.5.3 节所述三通道校验中的向量通道。
过滤的执行顺序与各道的剔除重点见表 5-17。
表 5-17 文本重写产出的五道过滤
| 序 | 过滤 | 本工具中的剔除重点 | 成本 |
|---|---|---|---|
| 1 | 占位回填校验 | 占位符数量与顺序不符、回填失败 | 极低,程序判定 |
| 2 | 规则校验 | 限定词被改动、否定词增删、单位缺失、安全约束句有差异、术语保护词表命中项被替换 | 低,程序判定 |
| 3 | 关键信息比对 | 数值、实体、型号、标准编号、结论项缺失或不一致 | 中,需抽取器运行两次 |
| 4 | 语义相似度检测 | 整体语义漂移;相似度过高(改写无实际差异)同样剔除 | 中,需向量计算 |
| 5 | 重复检测与人工抽检 | 同族过度繁殖;改写后与已有样本重复;表达不自然、不符合业务语境 | 高,部分占用人力 |
第 4 道中「相似度过高同样剔除」值得说明。改写的目的是增加表达多样性,如果改写结果与原文几乎相同(只换了个别词),它既占用了配额也不带来收益,还会在重复检测中与原文形成近重复对。因此向量通道是双向门限:低于下限判为语义漂移剔除,高于上限判为改写无效剔除。上限按风格设定,压缩与简化的上限较低(内容本就应当减少),口语化的上限较高。
工具支持输出原文与改写文本的映射关系、相似度评分、改写策略和审核状态。映射记录的字段见表 5-18。
表 5-18 原文与改写文本的映射记录字段
| 字段 | 内容 | 用处 |
|---|---|---|
| `rewrite_id` | 改写记录编号 | 唯一标识 |
| `source_record_id` | 原文记录编号 | 回指原文;原文为外部文档时另记 `source_ref` |
| `family_id` | 同族标识,同一原文的所有改写版本共用 | 集合切分时按族整体归入训练集或评测集,防泄漏 |
| `style` | 改写风格 | 六种风格之一 |
| `rewrite_strategy` | 改写策略明细 | 占位保护范围、是否允许别名替换、目标字数、是否允许重排段落顺序 |
| `similarity` | 相似度评分 | 向量余弦相似度、关键信息项一致项数与总项数、字面重叠率 |
| `protected_items` | 本次保护的对象清单 | 按七类分列,每项记占位符编号与回填结果 |
| `alias_substitutions` | 别名替换映射 | 允许别名替换时记录原词与替换词及其词典条目 |
| `key_info_diff` | 关键信息比对明细 | 一致项、缺失项、新增项、取值不同项 |
| `filter_results` | 五道过滤的逐道结果 | 每道记通过/不通过与原因 |
| `review_state` | 审核状态 | 未审核/自动通过/人工通过/驳回/已剔除 |
| `reviewer_role` | 审核人角色 | 记角色不记姓名 |
| `provenance` | 来源字段 | `synthesis_source` 固定为 `text_rewrite`;另记 `teacher_model`、`template_version`、采样参数 |
映射关系的一项实际用途:当原文被更新时(制度换版、规程修订),按 `source_record_id` 可以找出所有由它衍生的改写样本,一并标记为待复核。没有映射关系,旧版制度衍生的样本会留在数据集里,模型答出来的是已经作废的规定。这在通用场景的制度问答中是直接的业务风险——通用场景的核心需求本就是回答时能说清依据的是哪一版文件。
改写工具在输入侧设了一道前置门:只接受已通过质检与一致性校验的样本。这条约定的理由是改写会放大原文的缺陷——一条事实有误的原文改写成三种风格,错误即由一条变成四条,且因表述各异而更难在去重中被发现,故改写不承担纠错职责,只承担表达多样化职责。保护词表版本列为必填入参,是因为术语与安全约束的保护范围随版本变化,不记版本则日后无从判断某条改写当时受哪些保护项约束。输出侧两项各有用途:改写样本带风格标记与原文引用,使同族样本在配比统计与去重时可被整体识别;保护与过滤报告逐道给出计数,使五道过滤是否真正生效可当场核对,保护失败项不入库,而不是标记之后放行。原文—改写映射记录是原文换版时联动标记待复核的依据。
表 5-18A 文本重写与多样化工具的输入输出接口
| 方向 | 接口 | 内容 | 调用方式 |
|---|---|---|---|
| 输入 | 原文样本 | 已通过质检与一致性校验的样本标识集合 | 未质检样本不接受改写 |
| 输入 | 风格与保护配置 | 六种风格、保护词表版本、改写四项参数、语义校验通道 | 保护词表版本必填 |
| 输出 | 改写样本 | 风格标记、原文引用、改写比例、映射记录 | 流式写出 |
| 输出 | 保护与过滤报告 | 保护项逐条校验、五道过滤逐道计数、原文—改写映射(表 5-18) | 保护失败项不入库 |
字段级任务创建契约、调用样例与异常回退见第 8 节 §8.10(表 8-20)。
```json { "rewrite_id": "RWR-2027090200688", "source_record_id": "DOC-REG-0004471", "source_ref": {"doc": "热处理工艺规程 / 第 5.3 条", "version": "v2026-11", "digest": "sha256:1a93…7f"}, "family_id": "FAM-REG-0004471", "source_text": "调质处理的回火温度应控制在 580±10℃,保温时间按有效厚度每 25mm 不少于 1h 计,且总保温时间通常不少于 2h。装炉量超过额定装炉量 80% 时,保温时间应按工艺员确认后的数值执行。", "style": "口语化", "rewrite_strategy": {"placeholder_scope": ["数值", "单位", "工艺参数", "业务规则"], "alias_substitution_allowed": true, "target_length": "不限", "reorder_allowed": false}, "rewrite_text": "调质的回火温度得控在 580±10℃,保温时间按有效厚度算,每 25mm 不少于 1h,总的通常不能少于 2h。要是装炉量超过额定的 80%,保温时间就得按工艺员确认过的数来。", "protected_items": { "数值": [{"ph": "[[N1]]", "value": "580±10", "refilled": true}, {"ph": "[[N2]]", "value": "25", "refilled": true}, {"ph": "[[N3]]", "value": "1", "refilled": true}, {"ph": "[[N4]]", "value": "2", "refilled": true}, {"ph": "[[N5]]", "value": "80", "refilled": true}], "单位": [{"ph": "[[U1]]", "value": "℃"}, {"ph": "[[U2]]", "value": "mm"}, {"ph": "[[U3]]", "value": "h"}], "工艺参数": [{"ph": "[[P1]]", "value": "回火温度"}, {"ph": "[[P2]]", "value": "保温时间"}, {"ph": "[[P3]]", "value": "有效厚度"}, {"ph": "[[P4]]", "value": "额定装炉量"}], "业务规则": [{"ph": "[[R1]]", "value": "应按工艺员确认后的数值执行", "rewrite_allowed": false, "note": "整句保护,口语化仅作用于连接语句"}] }, "alias_substitutions": [{"from": "调质处理", "to": "调质", "dict_entry": "ALS-TRT-0007"}], "similarity": {"cosine": 0.891, "key_info_matched": 14, "key_info_total": 14, "literal_overlap": 0.62}, "key_info_diff": {"consistent": ["580±10℃", "25mm", "1h", "2h", "80%", "调质", "回火温度", "保温时间", "有效厚度", "额定装炉量", "工艺员确认", "不少于×3", "应/得", "超过"], "missing": [], "added": [], "value_changed": []}, "rule_checks": {"限定词保留": "通过(「通常」已保留)", "否定词": "通过", "条件句结构": "通过", "数值单位格式": "通过", "术语保护词表": "通过(别名替换在允许范围内)"}, "filter_results": { "1_占位回填": "通过(占位符 12 个,数量与顺序一致)", "2_规则校验": "通过", "3_关键信息比对": "通过(14/14 一致)", "4_语义相似度": "通过(0.891 在 [0.78, 0.95] 区间内)", "5_重复与抽检": "通过(族内 2 个版本,上限 3;抽检未命中)" }, "review_state": "自动通过", "reviewer_role": null, "provenance": {"synthesis_source": "text_rewrite", "teacher_model": "gw-llm/v7", "template_version": "tpl-rewrite-colloquial-0118", "sampling_params": {"temperature": 0.8, "top_p": 0.95, "n_samples": 2, "selected": "相似度居中者"}}, "dataset_target": "预训练数据集 / 质量域(增强文本);指令微调问题侧素材", "eval_use": false, "batch_id": "B-20270902-RWR-014" } ```
这条样例中 `rule_checks` 的第一项是关键:原文的「通常不少于 2h」是条件性表述,改写后保留为「通常不能少于 2h」。如果改成「不能少于 2h」,规定的强制程度就变了——这正是限定词保留检查要防的事。规程类文本的改写中,这类错误比数值错误更常见也更难发现。
改写增强的全部风险可归为一句话:换了说法,不能换了意思。七项指标按「不能错的」与「要做到的」两类分列——关键信息保持率、安全约束与业务规则零改动、限定词保留率属前者,其中安全约束一项逐条核对而不抽样,因为涉安全表述一旦被改写,错误会随样本进入模型并在排障场景中被复述;改写有效性、风格辨识度、同族数量合规属后者,衡量的是改写是否真起到了多样化作用,而非把原文做了一遍近义替换。原文更新的联动一项防的是时间性失效:制度与规程换版之后,其衍生的改写样本若不标记待复核,数据集里就留下了与现行文件不一致的表述。表中第二列的基线按风格与原文类型分别设定,第四列回退动作中最重的一档,是对规程、安全规定一类原文停用改写——这类原文宁可不做增强,也不冒改动语义的风险。
表 5-19 文本重写与多样化工具的质量口径与回退路径
| 指标 | 首期基线 | 验收口径 | 达不到时的回退 |
|---|---|---|---|
| 关键信息保持率 | 关键信息项逐步接近完全一致;实测不一致率不高于 1% | 抽样 500 条逐项核对 | 扩大占位保护范围,必要时整句保护;仍不达标的原文类型暂停改写 |
| 安全约束与业务规则零改动 | 该类句子的差异条数为零 | 逐条核对,不抽样 | 出现差异即剔除该批次相关样本,并把该类句子改为整句引用,彻底不进改写 |
| 限定词保留率 | 不低于 99% | 规则检查自动统计并抽样复核 | 把限定词纳入占位保护;对高风险原文类型(规程、安全规定)停用改写 |
| 改写有效性 | 相似度落在设定区间内的比例不低于 85% | 按风格分别统计 | 区间外比例过高时调整提示词与采样温度,或缩小该风格的配额 |
| 风格辨识度 | 抽检中改写版本能被正确识别为目标风格的比例不低于 80% | 人工盲评,按风格统计 | 辨识度不足的风格修订模板示例;仍不足的从风格清单中暂时移除 |
| 同族数量合规 | 单条原文的改写版本数不超过配置上限 | 按族统计 | 超限自动裁减,保留相似度分布最分散的若干条 |
| 原文更新的联动 | 原文换版后,其衍生样本被标记为待复核的比例逐步接近全部 | 抽取 20 次换版事件核对 | 联动机制不完整时改为按文档目录定期逐份扫描比对 |
十个工具的价值由其产出决定:产出进了哪一个数据集、支撑了哪一项场景验证、在业务链上与别的工具如何交接、要占用多少加工资源。本节按这四问给出对照,使工具链与四大数据集、十一项场景验证之间的支撑关系逐项可核。
工具链的建设投入最终要折算成数据集的产出,下表回答的正是这个折算关系:每个工具的产出进了哪一个数据集、以什么形态进入。横向读一行,可见某个工具的产出是否过于集中——只服务单一数据集的工具,其建设优先级与规模测算应与服务四个数据集的工具区别对待;纵向读一列,可见某个数据集的供给是否有缺口,一列中「——」过多即意味着该数据集的素材来源单薄,需在采集或生成侧补位。对齐类三个工具在预训练与基准两列同时有产出,是因为同一批对齐结果既可作语料,也可作评测条目的事实依据,区别在于后者须经人工确认;三个生成类工具在基准测试数据集一列均为「不参与」,这一列即评测集隔离原则在工具层面的落点。按此表逐项核对,四大数据集的规模目标都能回指到具体工具的产出路径。
表 6-1 十个工具对四大数据集的贡献
| 工具 | 预训练数据集 615 亿 Token | 指令微调数据集 89 万条 | 强化学习偏好数据 6.6 万组 | 基准测试数据集 0.95 万条 |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 提供工艺设计域的结构化图纸语料与图卡成对文本 | 提供信息抽取与推理分析类指令的输入素材 | —— | 提供工艺设计域评测条目的事实依据 |
| 视频-文本对齐 | 提供制造过程域与质量域的图文成对语料 | 提供多模态描述类指令样本 | 提供多模态描述的候选回答对 | 提供多模态描述类评测条目 |
| 传感器时序-运维事件对齐 | 提供质量域的时序片段与诊断文本成对语料 | 提供推理分析类指令的输入素材 | 提供诊断结论的候选回答对 | 提供诊断类评测条目的事实依据 |
| 大模型预标注 | 为语料做类型与质量分级标注 | 产出各类任务的标注结果 | 产出偏好比较的初筛结果 | 为评测条目产出候选标注,由人工确认 |
| 主动学习标注 | —— | 决定人工标注的投向,提高单位工时产出 | 定向采集难以判断的偏好对 | 定向采集覆盖边界情形的评测条目候选 |
| 本体驱动规则标注 | 为语料挂本体标签,支撑按类目采样 | 约束标签取值,保证标签体系自洽 | 校验偏好判断的逻辑一致性 | 校验评测条目的标签合规性 |
| 一致性校验标注 | 产出语料标注的质量指标 | 产出标注一致性指标与裁决记录 | 产出偏好判断的一致性指标 | 保证金标准标注的一致性 |
| 指令数据生成 | —— | 本工具的主产出场 | 产出偏好比较的回答候选 | 不参与(评测集不接受合成样本) |
| 工单与故障场景模拟生成 | —— | 产出质量域与制造过程域的推理类样本 | 产出排障对话的回答候选 | 不参与 |
| 文本重写与多样化 | 产出增强文本(配比不超过 20%) | 产出问题侧的多样化表达 | 产出表达不同但内容相同的回答对 | 不参与 |
表中「不参与」三格是本章对评测集隔离的具体落实:三个生成类工具的产出一律带 `eval_use: false` 标记,评测集构造工具在取样时按该字段排除。
本包只做场景验证服务,不负责智能场景建设。十个工具在场景验证中的作用是提供可用的样本与可核对的评测口径,具体对应见表 6-2。
表 6-2 十个工具对场景验证的支撑点
| 场景 | 本章工具提供的关键支撑 | 场景验证时可核对的口径 |
|---|---|---|
| 产品智能选型 | 历史选型方案的结构化抽取;选型校核类推理指令样本;相似工作面条件的检索样本 | 推理步骤可按校核公式复算;相似案例检索的前五位命中率 |
| 板材备料工艺 | 图纸结构化抽取的几何要素与加工要求;工序排序候选;展开长确定性计算;历史图卡成对回归样本 | 展开长与手算一致性;工序排序与历史工艺卡的符合度;字段抽取正确率 |
| 库存控制 | 物料与口径相关的实体归一;供需计划域的推理与工具调用样本 | 口径归一的正确率;工具调用参数的结构合规性 |
| 热处理 | 时序片段切分与特征;炉次关联样本;规程类文本的多样化表达 | 诊断文本事实层的数值准确性;关键信息保持率 |
| 焊接 | 关键帧与焊道的对齐样本;参数流时序片段;缺陷描述归类标注 | 对齐正确率;缺陷归类与人工标注的一致率 |
| 健康诊断 | 报警前后窗与维修前后窗片段;诊断推理与排障对话样本;长尾故障模式补齐样本 | 诊断结论的证据等级分档正确性;长尾类目的样本充足度披露 |
| 通用信息类场景 | 制度与标准的改写增强样本;带引用的问答样本;条款级证据定位 | 答案依据可定位率;原文换版后的样本联动比例 |
表 6-2 的右列是本章工具与场景验证之间的接口:验证时核对的是这些口径,而这些口径的计算方式在前三节各工具的质量口径表中已逐一定义。场景验证的组织方式、验证用例与验收流程见本卷「六个专业场景验证方案」与「五个通用场景验证方案」两节。
十个工具单独看是十件工具,在生产中是按业务链串起来用的。本节取图纸工艺、热处理、焊接、质量检测四条链,说明工具之间如何交接、在哪些点设门、最终出什么货。选这四条的理由是它们分别代表四种典型的数据形态组合:纯工程文档、时序加记录、多模态并行、文本加图像,其余业务链的联用方式可按同一模式推得。
6-1 四条业务链上的工具联用与出货口
图 6-1 四条业务链上的工具联用与出货口。数据来源:本章第 3 至第 5 节各工具的输入输出接口,以及数据加工生产各环节的门控设置。
四条链的工具序列、交接物与门控点见表 6-3。表中「交接物」一列是上一个工具交给下一个工具的东西,它同时也是两个工具之间可核对的接口——联调时核对的就是这一列。
表 6-3 四条业务链的工具序列、交接物与门控点
| 业务链 | 工具序列 | 关键交接物 | 门控点与判定 | 产出与用途 |
|---|---|---|---|---|
| 图纸工艺链 | 图纸与工艺图结构化抽取 → 本体驱动规则标注 → 大模型预标注 → 一致性校验标注 → 指令数据生成 → 文本重写与多样化 | 结构化图纸记录+要素级证据索引 → 候选工序与加工方法标签 → 工艺要点摘要与问答对 → 一致性指标与裁决记录 → 工艺推理指令样本 → 多样化表达 | 对齐后判图号主键与视图对应置信度;标注后判工序标签与工序字典的符合性;生成后判数值与定额是否可独立复算 | 产品工艺设计域的预训练语料、指令样本与评测条目事实依据 |
| 热处理链 | 传感器时序-运维事件对齐 → 大模型预标注 → 本体驱动规则标注 → 一致性校验标注 → 工单与故障场景模拟生成 | 炉次时间窗片段+特征值 → 工况与判定分级候选标签 → 三级判定约束校验结论 → 分歧裁决结论 → 长尾炉次异常场景 | 对齐后判炉次主键与事实发生时点可靠性;标注后判判定分级与企业标准正式文本的一致;生成后判参数是否落在工艺窗口内 | 产品质量域的时序—文本成对语料、诊断类指令样本与评测条目 |
| 焊接链 | 视频-文本对齐与传感器时序-运维事件对齐(双路并行) → 大模型预标注 → 主动学习标注 → 一致性校验标注 → 文本重写与多样化 | 帧级对齐记录与参数流片段(共用焊道主键) → 缺陷描述归类与帧级说明 → 高价值待标样本优先序 → 一致性指标 → 表达多样化样本 | 对齐后判双路结论是否矛盾(画面与参数流);标注后判缺陷类别与检出手段对应关系的符合性;生成后判术语与安全约束是否保持 | 制造过程域的多模态成对语料、缺陷描述指令样本与多模态评测条目 |
| 质量检测链 | 视频-文本对齐(交检拍照) → 大模型预标注 → 本体驱动规则标注 → 一致性校验标注 → 指令数据生成 | 图像与检验结论的对齐记录 → 缺陷类型与检出手段标签 → 质量指标域约束校验结论 → 金标准候选与裁决记录 → 判定推理类指令样本 | 对齐后判检验记录号主键与图像来源可用性;标注后判金标准标注的一致性;生成后判合成样本是否被评测集排除 | 产品质量域的判定推理样本与基准测试条目候选 |
四条链有一条共同的约束要写明:链上任何一个环节的不合格产出都不自动流向下一环节。具体而言,图纸工艺链上视图对应存疑的条目不进入工序标签生成,热处理链上事实发生时点缺失的炉次不进入判定分级标注,焊接链上双路结论矛盾的片段两条同时隔离,质量检测链上来源为未标定点位的图像不进入缺陷定位类标注。这些判定在各工具的质量口径表中已逐项定义,在链上的作用是把门设在交接处,而不是等到最后一道工序再分拣。
工具链的资源需求按工作量正算,不按「配置若干台服务器」交代。测算分三类:经统一网关调用模型能力的部分按 Token 量折算,向量化与语义相似度计算按嵌入处理量折算,图纸原生解析与时序特征计算属确定性程序,按处理器核时折算。三类的测算前提与训练推理服务章节一致——推理算力按每生成一个 Token 消耗两倍参数量估算,单卡有效算力按每卡日约 7.8×10¹⁸ 次浮点运算折算——沿用同一套前提的好处是两章的数可以直接相加,不需要换算。
表 6-4 十个工具的处理规模与模型调用量测算
| 工具 | 处理对象与建设期总量 | 单位处理的调用量(输入+输出 Token) | 调用量合计 | 折合卡天(80 亿参数档) |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 63 万张图纸及其配对工艺卡 | 约 4,600(符号作用范围与视图对应候选;几何与定额为确定性计算,不调模型) | 约 29.0 亿 | 约 5.9 |
| 视频-文本对齐 | 关键帧约 60 万帧 | 约 1,700(帧级描述与画面文字后处理) | 约 10.2 亿 | 约 2.1 |
| 传感器时序-运维事件对齐 | 时序片段约 40 万条 | 约 2,300(特征摘要到诊断文本) | 约 9.2 亿 | 约 1.9 |
| 大模型预标注 | 指令微调 89 万条、偏好 6.6 万组、基准 0.95 万条、预训练语料抽样复核约 24 万篇 | 1,600 至 3,000(按任务类型) | 约 18.1 亿 | 约 3.7 |
| 主动学习标注 | 候选池约 300 万条的不确定性估计 | 约 620(输入为主,输出极短) | 约 18.6 亿 | 约 3.8 |
| 本体驱动规则标注 | 约 200 万条候选标签推荐 | 约 980(约束校验为规则执行,不调模型) | 约 19.6 亿 | 约 4.0 |
| 一致性校验标注 | 交叉标注约 60 万条中的机器一路 | 约 1,500 | 约 9.0 亿 | 约 1.8 |
| 指令数据生成 | 产出 89 万条,按过滤通过率与进化轮次折算实际生成约 225 万条 | 约 2,000 | 约 45.0 亿 | 约 9.2 |
| 工单与故障场景模拟生成 | 约 15 万条场景,含六类产出与多轮对话展开 | 约 7,400 | 约 11.1 亿 | 约 2.3 |
| 文本重写与多样化 | 增强文本产出约 123 亿 Token(预训练配比上限 20%) | 输入原文与输出改写合计约为产出量的 2.2 倍 | 约 270.0 亿 | 约 55.4 |
| 合计 | —— | —— | 约 440 亿 | 约 90 |
表 6-4 的卡天按 80 亿参数档折算。主用推理档位换到 300 亿参数时按同一公式线性放大,合计约 338 卡天;再大的档位按参数量比例外推,公式不变。建设期自工具分批上线起可用窗口约 18 个月,按推理池中用于批量生成的卡数折算,净占用约在 11 至 42 天之间,峰值集中在文本重写与指令生成两项,这两项可排在夜间窗口与标注作业错峰执行。
另两类资源按下列口径测算。向量化与语义相似度计算覆盖重复检测、语义不变检查与检索类校验,处理量约 750 亿 Token;嵌入模型的参数规模比主用推理档位小两个数量级,按同一公式折算约 6 卡天,可与批量生成共用推理池。确定性计算部分:图纸原生解析按每张约 20 核秒计,63 万张合计约 3,500 核时;时序预处理与特征计算按每片段约 5 核秒计,40 万条合计约 560 核时;两项均为处理器作业,在加工集群上按批次并行执行,不占用加速卡。
测算的不确定性有三处,处置办法与训练推理服务章节一致。其一,主用推理档位的参数规模尚未确定,因此卡天给的是按档位折算的区间而非单点值。其二,实际处理量会随数据加工进度浮动,图纸归集进度、视频布点完成时点与种子指令库的起步规模都会改变各工具的实际处理条数。其三,过滤通过率与改写副本数在首批实测前只能按经验取值,这两项直接决定生成类工具的实际调用量。因此测算按区间加触发式复算给出:在工具分批上线各批完成试点标定后、首批数据加工完成后,以及合成配比首次复核后三个时点分别复算,每次复算输出更新后的资源需求说明并留存前后差异的原因。
交付物清单回答的是验收时交什么、何时交、交几份这一问。清单按八类组织,依据是接收方与使用时点不同:工具软件与接口文档交运维与集成方,随工具上线;标注规范与培训材料交作业组织方,须在标注作业启动前与相应岗位上岗前到位,晚于作业开始的规范等于没有规范;配置基线与质量报告模板交质量管理方,前者在工具上线时固化首期取值,后者须早于首批样本产出,否则第一批数据将无报告可出。表中第四列的交付时点因此不是按文档类型排的,而是按其被使用的时点倒推得出。测试与验收材料一类包含标定集与回归样例集,这两项是日后复测与回放比对的基准,须与工具同批冻结并纳入版本管理,否则工具升级之后便无从判断指标变化是改进还是漂移。第三列的份数与形式给出可清点的交付单位,使验收不依赖主观判断。
表 7-1 本章三类十个工具的交付物清单
| 类别 | 交付物 | 份数或形式 | 交付时点 |
|---|---|---|---|
| 工具软件 | 十个工具的可部署程序包、依赖清单、部署手册、配置说明 | 每工具一套 | 按分批上线计划 |
| 接口文档 | 每个工具的输入输出接口说明、字段定义、错误码、调用示例 | 每工具一份 | 工具上线同步 |
| 标注规范 | 按任务类型编写的标注规范文本,含标注粒度、标签体系层级、判例、一致性判定口径、返工门限 | 按任务类型分册,不少于七册 | 标注作业启动前 |
| 配置基线 | 提示词模板与输出 Schema、本体接口配置、阈值配置、采样策略配置、改写配置的首期基线版本 | 每类一套,纳入版本管理 | 工具上线同步 |
| 质量报告模板 | 标注质量报告模板、生成批次报告模板、对齐质量报告模板 | 三份 | 首批样本产出前 |
| 测试与验收材料 | 单元测试用例、集成测试用例、标定集与回归样例集、验收测试报告 | 按工具与批次 | 验收节点 |
| 运行手册 | 批量调度操作说明、常见故障处置、成本监控与告警处置、阈值复标操作说明 | 一份 | 工具上线同步 |
| 培训材料 | 标注人员培训材料、复核与裁决操作培训材料、工具运维培训材料 | 三套 | 对应岗位上岗前 |
标注规范的分册安排按任务类型而非按业务域,原因是同一任务类型跨域的标注口径基本一致,而同一业务域内不同任务类型的口径差别很大。分册目录与规范样例在「标准规范与报告模板」附件中给出。
十个工具不一次性全部上线。排序依据是依赖关系与紧迫程度:对齐类工具的产出是标注类工具的输入,标注类工具的产出是生成类工具的素材;而图纸抽取与预标注两项的产能缺口最紧迫,优先上线。
表 7-2 分批上线安排
| 批次 | 工具 | 前置条件 | 本批交付后可开展的工作 |
|---|---|---|---|
| 第一批 | 图纸与工艺图结构化抽取;大模型预标注;本体驱动规则标注 | 统一对象标识服务可用;本体首版发布;图纸只读接口开通 | 工艺设计域语料的结构化与首轮标注;置信度阈值的首次标定 |
| 第二批 | 传感器时序-运维事件对齐;一致性校验标注;主动学习标注 | 测点配置与时序数据只读接口开通;标注规范首版发布;首批标注样本可用 | 质量域时序样本的切分与特征;标注质量指标开始按批次出报告 |
| 第三批 | 视频-文本对齐;指令数据生成;文本重写与多样化 | 工艺过程视频布点完成并可取数;种子指令库达到起步规模;高质量原始样本达到起步规模 | 多模态样本与指令样本的批量生产;增强文本产出 |
| 第四批 | 工单与故障场景模拟生成 | 故障域本体与故障名录完备;历史工单分布统计完成 | 长尾故障场景的定向补齐 |
每批上线按三道关口:工具自身的测试验收、在试点批次上的质量指标标定、与上下游工具的联调。三道关口全部通过后转入批量生产,生产期间按季度复测质量指标。各批次节点的具体日期与项目总进度计划的衔接见本卷「项目管理措施」一节。
本章十个工具的验收分三层,三层各有独立的判定依据,不以一层代替另一层。
第一层是功能验收。按接口文档逐项核对工具是否实现了招标文件所列的各项要求,核对方式是用验收测试用例调用接口并比对输出。这一层的判定是二元的:实现或未实现。本章前三节每个工具的功能设计表与接口表即为这一层的核对清单。
第二层是质量验收。按各工具质量口径表中的指标,用约定的抽样方式实测并与首期基线比对。这一层的关键是抽样方式事先约定并写入验收方案,包括抽样规模、分层维度、判定人员的岗位要求、判定分歧的处理方式。实测值低于基线时,按回退列的动作处置并在约定期限内复测;不以调整统计口径或更换抽样方式的方式达标。
第三层是生产验收。看的是工具在批量生产中的实际表现:单位样本的工时与成本、批次通过率、返工率、人工介入比例的变化趋势。这一层的意义在于,一个在测试集上指标漂亮但批量运行时返工率很高的工具,实际上没有降低成本。生产验收按季度出报告,报告内容与标注质量报告合并。
三层验收的口径与数据集质量评测方案、数据集质检、通用接口与追溯验收要求保持一致。本章在质量口径表中给出的指标定义与那三处使用同一套定义,不另立口径。
功能验收的核对不靠逐项问答,而靠一组事先写定的验收测试用例。用例按五类构成,每类的用意不同:功能用例证明做到了,边界用例证明在极端输入下仍按约定行事,异常用例证明出错时走的是约定的回退路径而不是静默放行,回归用例证明改动没有破坏已通过的部分,性能用例证明批量规模下仍可用。五类用例的构成与通过判据见表 7-3。
表 7-3 十个工具的验收测试用例构成与通过判据
| 用例类别 | 每个工具的用例构成 | 典型用例举例 | 通过判据 |
|---|---|---|---|
| 功能用例 | 覆盖该工具接口契约中的每一个必填入参与每一个出参字段,每项至少一例 | 图纸抽取:给定一张含压弯件的原生图纸,核对展开长、材料定额、符号条目与要素级证据索引四组字段齐备 | 字段齐备且取值与人工核算一致 |
| 边界用例 | 覆盖量程边界、空集、超长输入、单条输入、最大批量五种情形 | 时序对齐:给定一个仅含单个采样点的时间窗;给定一个跨越两个工况的窗口 | 返回明确结论或明确的不可处理状态,不返回空值 |
| 异常用例 | 覆盖该工具特有的异常情形,每一条异常码至少一例 | 预标注:构造一条结构校验必然失败的输出,核对是否按约定分流而非写入候选集 | 异常码、回退动作与日志记录三者与契约一致 |
| 回归用例 | 以历史成对样本与已人工确认的标定集构成,每次版本发布前全量跑一遍 | 图纸抽取:63 万张历史图纸中抽取的回归子集与其已签发工艺卡片比对 | 与上一版本的差异逐条有解释,无解释的差异即不通过 |
| 性能用例 | 覆盖单批最大规模、并发上限、断点续跑三种情形 | 文本重写:单批次满额改写并在中途中断后续跑,核对幂等与不重复产出 | 规模内完成且无重复记录、无丢失记录 |
验收测试用例随工具一并交付并纳入版本管理,用例本身的变更同样留痕。有一条执行口径需要写明:异常用例的通过判据是「按约定失败」,不是「不失败」。一个在异常输入下仍然返回了看似正常结果的工具,比一个明确报错的工具危险得多——前者会把错误结果一路带进数据集,而验收时看不出来。
质量指标不达线时要重做,重做的范围、责任与次数都须事先约定,否则到时候只能逐事商量。重工按三级划分,依据是问题的波及范围,见表 7-4。
表 7-4 质量失败的重工分级
| 级别 | 触发情形 | 重工范围 | 重工前的必办事项 | 工时与成本归属 |
|---|---|---|---|---|
| 条级重工 | 单条记录的结构校验、约束校验或复核不通过 | 该条记录 | 记录不通过成因代码 | 计入该批次的正常返工工时 |
| 批级重工 | 批次的一致性指标、抽检通过率或分布偏离度不达线 | 该批次全部记录 | 出问题清单并归类分歧类型;判明是配置问题还是作业问题 | 配置问题由工具侧承担并修订配置;作业问题按原作业口径重做 |
| 范围重工 | 同一问题跨三个及以上批次重复出现,或规范、本体、模板发生实质变更 | 受影响的全部历史批次,按影响评估报告划定 | 先修订规范、本体或配置并发布新版本,再出影响评估报告(受影响条数、按处置分档的分布、工时估算) | 按影响评估报告与甲方确认后执行 |
三级之间有一条硬性次序:同一问题不得连续两次以条级重工处理。第二次出现即升级为批级,并在升级时判明是规范不清、配置不当还是作业不规范——反复以条级重工打补丁,表面上每条都改好了,实际上成因从未被处理,同类问题会一直消耗人力。
重工的次数与收敛按两条口径约束。其一,同一批次的批级重工不超过两轮;第二轮仍不达线的,该批次转入范围重工的评估流程,由规范与配置侧先行处置,不再以重做施压于作业端。其二,重工后一律复检,复检的抽样规模不低于首检,且抽样不复用首检的样本——复用首检样本会使复检退化为对已知问题的确认,查不出首检未覆盖的部分。
重工的三项指标按三段式给出。其一,重工率:按级别分别统计重工记录或批次占比,基线按首批实测取值;趋向为随规范稳定与配置标定逐季下降;高于门限时按成因分类定位,属规范不清的修订规范,属配置不当的重标阈值,不以降低判定标准压低重工率。其二,重工一次通过率:重工后复检即通过的比例,基线首批实测,趋向为逐季提高,低于门限时说明问题清单的成因归类不准确,需重新归类后再派发。其三,范围重工的影响面:每次范围重工涉及的历史批次数与记录条数,基线为首次实际值,趋向为随规范与本体趋于稳定而减少,单次影响面超过门限时该次变更先做小范围试点再全面执行。
重工与隔离是两件事,不可互相替代:隔离处理的是「这条不能发布」,重工处理的是「这批得重做」。一条记录可以被隔离而不触发重工(如等待对账的待补映射),一个批次也可以在没有隔离记录的情况下触发重工(如整批一致性不达线)。两者的状态位分设,统计时分别出数。
本章的风险集中在两处:一是工具所依赖的外部条件——源系统接口、本体与工序字典、采集点位、测点基准——未必按期齐备;二是工具自身产能高,容易在无人盯防时把不合格或过量的产出推进数据集。两类风险的共同点是发生时并不报错,而是以「可用率偏低」「分布偏移」这类缓慢的形式体现,因此应对不能依赖事后发现,须在设计阶段就留好降级路径。下表第二列写的是风险的可观察表现,即判断它是否已经发生的依据;第三列写的是已经落进工具设计的应对动作,并指明需由其他环节推动的事项落在何处。八项之中,前四项属外部条件,应对方式是降级运行加显式标记,不以推测值填充;后四项属作业与产出控制,应对方式是在生成或派发之前按配额与门限约束,而不是等到质检环节拦截。按此表逐项落实,本章交付节点对外部条件的硬依赖可收敛到接口开通一项。
表 7-5 本章工具链的主要风险点与应对
| 风险点 | 具体表现 | 应对 |
|---|---|---|
| 源系统接口开通滞后 | 图纸只读读取、测点时序只读读取未按期开通,第一、二批工具无数据可处理 | 工具按离线包方式先行调试,用甲方提供的样本包完成功能验收;接口开通后再做质量标定。接口推动事项见数据资源采集接入 |
| 本体与工序字典未成文 | 备料分厂工序字典与加工方法分档规则未成文,中性层系数散见于经验,候选标签生成与约束校验缺依据 | 按已掌握口径(备料工序二十八道)运行,缺项显式记为待补,不以推测值填充;梳理成文工作见数据治理体系 |
| 采集条件不满足 | 安防既有视频点位的视场与清晰度不满足工艺过程观察要求,视频-文本对齐可用率低 | 输出按来源分层统计可用率,不混报;新增布点需求与所需视场、清晰度指标向硬件选型提出 |
| 测点与角位置基准缺失 | 部件级振动测点与轴上角位置基准缺失,频域特征不可靠 | 按额定值估算并标记降级,频域特征不作为故障标签依据;基准补齐需求向场景验证提出 |
| 故障标签稀少 | 维修事实无结构化记录,历史数据无事件级标签,评测集中故障类样本数量不足 | 训练集可用长尾补齐样本扩充;评测集不以合成样本填充,各类故障的实际样本数在数据卡中如实披露 |
| 人工标注产能不足 | 标注量大、业务骨干时间有限,一致性校验所需的多人交叉进一步放大工时 | 主动学习把人力投向高收益样本;协同档位按实测一致率逐季上移;交叉比例在规范稳定后下调。产能组织见数据加工生产二 |
| 合成样本比例失控 | 生成类工具产能高,容易在某些域或任务上过量生成,造成分布偏移 | 分布控制在生成前按配额派发;合成配比在数据卡中按数据集披露;评测集按 `eval_use` 字段硬性排除 |
| 本体更新造成历史标注失效 | 类目合并拆分、判据变更后,历史标注含义与新口径不一致 | 按三档处置口径执行(向后兼容不重校验、影响既有标注的重校验、涉及判据的一律人工复核);每次更新出影响评估报告 |
本节按工具逐个给出接口契约、输入输出样例与接口层面的验收口径。
六类标准调用(任务创建、任务查询、结果获取、异常重试、批量导出、状态回调)、八态任务状态机、错误码四分类与幂等口径按工具链(三)第 5 节的统一条款执行。本节给出十个工具各自的部分:入参与出参的字段契约、一次任务创建的请求与响应样例、配置项与版本化对象、本工具特有的停留态、异常情形与回退动作、权限与日志口径、批量调度与重试幂等的取值,以及接口层面可核对的验收口径。各工具的质量指标与回退路径按本章各自的质量口径表验收。
还有两组入参是十个工具共用的,只在 8.1 的契约表中完整列出一次,其余各表不重复:一是客户端请求标识 `client_request_id`,口径与幂等用法见工具链(三)第 5 节;二是输出落点组 `output.dataset_ref` 与 `output.formats`,含义与缺省值同 8.1。调用样例中这两组逐条出现,是为了保持样例可直接照搬。
入参与出参逐字段写定并附完整调用样例,验收时可当场核对字段是否交付。样例中的图号、物料编码、工单号、测点编号一律按甲方确认的脱敏口径替换为代号,数值与结构保持真实形态。
表 8-1 十个工具在六类标准调用上的差异
| 工具 | 任务粒度 | 幂等键 | 结果获取方式 | 批量导出 | 状态回调的额外内容 |
|---|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 图号批次 | 客户端请求标识+图号集合指纹 | 分页,可按置信度与待补状态筛选 | 支持,含要素级证据索引 | 待补映射与冲突条目计数 |
| 视频-文本对齐 | 视频文件或时段 | 客户端请求标识+视频文件指纹 | 分页,可按帧区间与对齐类型筛选 | 支持,含抽帧图与对齐记录 | 时钟校准结果、可用率分层统计 |
| 传感器时序-运维事件对齐 | 测点加时间窗 | 客户端请求标识+测点集合+时间窗 | 流式,大体量按批次拉取 | 支持,时序片段与特征分文件 | 事实源时点可靠性分档计数 |
| 大模型预标注 | 待标注样本批次 | 客户端请求标识+样本标识集合指纹 | 分页,按置信档位筛选 | 支持 | 三档分流计数、模板版本 |
| 主动学习标注 | 采样轮次 | 客户端请求标识+样本池版本+轮次号 | 一次性返回优先序清单 | 支持 | 本轮各采样机制的配额执行情况 |
| 本体驱动规则标注 | 待标注样本批次 | 客户端请求标识+样本标识集合+本体版本 | 分页,按约束违反类型筛选 | 支持 | 约束违反条目计数、本体版本 |
| 一致性校验标注 | 标注任务批次 | 客户端请求标识+标注任务标识 | 分页,按分歧类型筛选 | 支持,含裁决记录 | 一致性指标快照、待裁决条目数 |
| 指令数据生成 | 生成批次 | 客户端请求标识+种子集合+配额配置版本 | 流式 | 支持 | 四道过滤的逐道通过计数 |
| 工单与故障场景模拟生成 | 生成批次 | 客户端请求标识+场景模板集合+配额配置版本 | 流式 | 支持,六类产出分文件 | 八要素组合约束的拦截计数 |
| 文本重写与多样化 | 改写批次 | 客户端请求标识+原文样本集合+改写配置版本 | 流式 | 支持,含原文与改写映射 | 五道过滤的逐道通过计数、保护项命中数 |
幂等键一列需要说明其作用。批量加工作业在网络波动时会出现重复提交,若不按幂等键去重,同一批图纸会被抽取两遍并产生两套 `record_id`,而两套记录都带着合法的血缘,事后很难判断哪一套是有效的。十个工具的幂等键一律由客户端请求标识与输入集合的指纹共同构成,重复提交返回首次受理的任务标识而不是新建任务。
十个工具另有四组与接口同等重要、但不属于契约字段的约定:配置项与版本化对象、任务状态机上的工具特有停留态、权限与日志口径、批量调度与重试幂等。把它们集中在此处逐工具列出,是因为这四组内容在验收与运维时是横向比对的——运维人员查的是「这十个工具的日志该去哪里看、哪个状态卡住了要找谁」,而不是逐个翻工具手册。
配置是工具行为的全部可调面,凡可调的一律入库并带版本,运行时按版本号加载,输出记录登记所用版本(见 2.4)。各工具的配置项与版本化对象见表 8-1A。
表 8-1A 十个工具的配置项与版本化对象
| 工具 | 主要配置项 | 版本化对象 | 变更生效方式 |
|---|---|---|---|
| 图纸与工艺图结构化抽取 | 解析路线判定规则、标题栏模板、符号解析词表、置信度阈值、自检项开关 | 解析器版本、本体版本、工序字典版本、中性层系数台账版本 | 新版本并行试跑一个批次并比对差异后切换 |
| 视频-文本对齐 | 抽帧策略与帧率、时钟校准方法与残差上限、描述模板、对齐校验项 | 点位标定参数版本、事件类型词表版本、模板版本 | 同上;标定参数过期即自动降级为定性覆盖档 |
| 传感器时序-运维事件对齐 | 窗口类型与窗长取法、预处理算子参数、特征集合、诊断文本模板 | 量程表版本、特征计算组件版本、故障名录版本 | 同上;量程表缺项的通道只做物理约束检查 |
| 大模型预标注 | 七类任务的提示词模板与输出结构、三档阈值、分流规则、批量并发 | 模板版本、输出结构版本、模型登记名与版本、本体版本 | 新模板先在标定集上跑一轮,比对后生效 |
| 主动学习标注 | 六种采样机制的配额、优先序权重、防重复派单窗口、轮次规模 | 采样策略配置版本、样本池版本 | 按轮次生效,轮次内不改配置 |
| 本体驱动规则标注 | 候选标签生成规则、七类约束的启用与严格度、冲突处置分档 | 本体版本、规则库版本 | 本体改版后按三档口径处置历史标注(见 4.5.4) |
| 一致性校验标注 | 交叉标注比例、一致性指标选型与分档线、裁决派发规则 | 标注规范版本、判例集版本 | 规范改版后对同任务在制批次重新派发 |
| 指令数据生成 | 七类任务配额、种子集合、进化轮次与跳数上限、四道过滤门限 | 种子集合版本、模板版本、配额配置版本 | 按生成批次生效 |
| 工单与故障场景模拟生成 | 场景模板集合、八要素组合约束、长尾类目配额、六类产出开关 | 场景模板版本、本体版本、故障分布统计版本 | 同上 |
| 文本重写与多样化 | 六种风格开关、改写比例、相似度阈值、保护词表、副本数上限 | 改写配置版本、术语保护词表版本 | 同上;保护词表更新后对在制批次重跑保护检查 |
任务状态机的八个状态与流转条件按工具链(三)第 5 节的统一定义执行,本章十个工具不另设状态。但各工具在批量运行中容易停留的状态不同,运维与验收时查的就是这些停留态,对照见表 8-1B。
表 8-1B 任务状态机上的工具特有停留态与退出条件
| 工具 | 最常见的停留态 | 停留成因 | 退出条件 | 超时处置 |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 执行中(等待源系统分批取数) | 原生图纸按图号或项目分批拉取,受源系统并发上限制约 | 本批图号全部取回或取数窗口关闭 | 转部分完成,已取回部分照常产出,未取回图号列入续跑清单 |
| 视频-文本对齐 | 执行中(等待时钟校准) | 特征事件数量不足以求出偏移量 | 累计特征事件达到约定条数 | 转降级完成,该时段只输出帧级描述不输出事件对齐 |
| 传感器时序-运维事件对齐 | 执行中(流式拉取) | 大体量时序按批次拉取,单任务跨多个批次 | 时间窗内全部测点拉取完毕 | 按已拉取部分产出并登记缺口区间 |
| 大模型预标注 | 执行中(网关限流排队) | 批量调用触发网关配额或并发上限 | 配额窗口滚动释放 | 任务保持排队,超过约定时长转次日窗口,不丢批 |
| 主动学习标注 | 等待回执 | 本轮优先序清单已下发,等待标注完成与模型侧指标回传 | 回执齐备或轮次截止 | 按已回收部分计算下一轮信号并记录回收率 |
| 本体驱动规则标注 | 等待人工(冲突裁决) | 约束冲突条目转人工裁决 | 裁决结清并回写 | 按时限升级派发,批次其余部分不受阻 |
| 一致性校验标注 | 等待人工(分歧仲裁) | 分歧条目进入仲裁队列 | 仲裁结清 | 同上 |
| 指令数据生成 | 执行中(过滤回炉) | 某一道过滤通过率低,触发重新生成 | 通过率达线或达到重生成次数上限 | 达上限后转批级重工流程(见 7.4) |
| 工单与故障场景模拟生成 | 执行中(组合约束拦截) | 八要素组合大量违反本体约束 | 拦截率回落至门限内 | 暂停该模板的生成并出拦截成因分布 |
| 文本重写与多样化 | 执行中(保护检查未通过回炉) | 术语或数值被改动触发拦截 | 通过保护检查 | 达重生成次数上限后该条丢弃并计入丢弃率 |
异常码按工具链(三)5.1 的四分类编码,每个工具占一个编码段,段内的具体异常与回退在该工具自己的异常表中逐条给出。段位分配与各工具最常见的特有异常见表 8-1C。
表 8-1C 异常码段位分配与各工具的特有异常
| 工具 | 异常码段 | 本工具特有的异常(明细见各自异常表) | 共性异常 |
|---|---|---|---|
| 图纸与工艺图结构化抽取 | DWG-xx | 扫描件清晰度不足、中性层系数台账无匹配条目、工序字典版本已废止 | 参数类、输入类、执行类、策略类四分类的共性异常按统一口径返回 |
| 视频-文本对齐 | VTA-xx | 时钟偏移量无法求出、点位标定过期、视场不满足工艺观察要求 | 同上 |
| 传感器时序-运维事件对齐 | TSA-xx | 量程表缺失、转速基准缺失、事实发生时点未填报 | 同上 |
| 大模型预标注 | PRE-xx | 输出结构校验不通过、网关限流、模板版本与输出结构版本不匹配 | 同上 |
| 主动学习标注 | ACT-xx | 样本池版本过期、回执超时、重复派单命中 | 同上 |
| 本体驱动规则标注 | ONT-xx | 本体版本不存在、约束冲突无法自动纠正、类目缺失 | 同上 |
| 一致性校验标注 | CON-xx | 参与方数量不足、仲裁超时、判例集版本不一致 | 同上 |
| 指令数据生成 | GEN-xx | 种子集合为空、配额已用尽、过滤通过率持续低于门限 | 同上 |
| 工单与故障场景模拟生成 | SIM-xx | 场景模板缺要素、组合违反工序依赖、长尾类目无历史分布依据 | 同上 |
| 文本重写与多样化 | RWR-xx | 保护项被改动、语义相似度低于门限、副本数超上限 | 同上 |
权限与日志按平台的统一能力实现,各工具的差别在于受控对象与日志中必须脱敏的内容,见表 8-1D。
表 8-1D 权限、日志与敏感字段的分工具口径
| 工具 | 调用权限的受控对象 | 日志必记内容 | 日志中的脱敏处置 |
|---|---|---|---|
| 图纸与工艺图结构化抽取 | 按项目与图号范围授权;配置变更另需工艺岗位会签 | 取数范围、解析路线、各阶段耗时、待补与冲突条目计数 | 标题栏中的设计与审核签署人、客户名称脱敏 |
| 视频-文本对齐 | 按点位授权;原始视频调阅单独授权并留痕 | 点位、时段、时钟校准结果与残差、可用率分层统计 | 画面文字识别结果中的人员与工位信息脱敏 |
| 传感器时序-运维事件对齐 | 按测点与时间窗授权 | 测点集合、窗口类型与边界、特征计算输入输出 | 操作人工号脱敏 |
| 大模型预标注 | 按任务类型与数据域授权;模板变更需规范责任岗位会签 | 模板与模型版本、三档分流计数、结构校验失败成因 | 输入摘要按脱敏规则处理后落盘,完整输入留原始区按权限访问 |
| 主动学习标注 | 按样本池授权 | 各采样机制配额执行情况、派单与回收记录 | 标注人员标识以工号代号记录 |
| 本体驱动规则标注 | 按本体域授权;本体版本切换需数据治理侧确认 | 本体版本、约束违反类型计数、自动纠正留痕 | 不涉及个人信息 |
| 一致性校验标注 | 按标注任务授权;裁决权限按岗位授予 | 一致性指标快照、分歧类型分布、裁决记录 | 标注与裁决人员以工号代号记录 |
| 指令数据生成 | 按数据域与任务类型授权 | 种子与配额版本、四道过滤逐道计数、越权样本剔除记录 | 生成内容中的客户与人员信息按规则剔除 |
| 工单与故障场景模拟生成 | 按业务域授权 | 模板与组合约束版本、拦截计数、合成标识写入情况 | 取自历史工单的素材先脱敏再入素材池 |
| 文本重写与多样化 | 按源样本范围授权 | 改写配置版本、五道过滤计数、保护项命中数 | 原文与改写映射中的敏感字段同步脱敏 |
批量调度、重试与幂等的统一口径在工具链(三)第 5 节,各工具的批量粒度、并发安排与重试策略按表 8-1E 配置。幂等键的构成已在表 8-1 给出,此处写的是重试时如何保证幂等不被破坏。
表 8-1E 批量调度、重试与幂等的分工具配置
| 工具 | 批量粒度与典型批量 | 并发安排 | 重试策略 | 重试的幂等保障 |
|---|---|---|---|---|
| 图纸与工艺图结构化抽取 | 按图号集合,单批 2,000 张 | 受源系统并发上限制约,按其给定值配置 | 取数失败按图号重试,解析失败按张重试 | 以图号加文件指纹为粒度去重,已成功的张次不重跑 |
| 视频-文本对齐 | 按视频文件或时段,单批 50 个文件 | 抽帧与描述分两级并发 | 按文件重试;时钟校准失败不重试,转降级 | 以文件指纹加帧区间去重 |
| 传感器时序-运维事件对齐 | 按测点加时间窗,单批 10 万条片段 | 按测点分片并发 | 按分片重试,支持断点续跑 | 以测点加时间区间去重 |
| 大模型预标注 | 按样本批次,单批 10 万条 | 按数据域设配额,夜间窗口跑大批量 | 网关限流按退避重试,结构校验失败不重试转分流 | 以样本标识加模板版本去重 |
| 主动学习标注 | 按采样轮次 | 单轮串行,轮次之间不并发 | 轮次内失败整轮重算 | 以样本池版本加轮次号去重 |
| 本体驱动规则标注 | 按样本批次,单批 10 万条 | 规则执行并发,无外部依赖 | 按条重试 | 以样本标识加本体版本去重 |
| 一致性校验标注 | 按标注任务批次 | 按任务并发 | 指标计算失败按任务重试 | 以标注任务标识去重 |
| 指令数据生成 | 按生成批次,单批 5 万条 | 生成与过滤流水线并发 | 过滤未通过的按条回炉,次数上限内重试 | 以种子标识加配额配置版本加序号去重 |
| 工单与故障场景模拟生成 | 按生成批次,单批 1 万条场景 | 同上 | 组合约束拦截的不重试,换组合重新生成 | 以场景模板加要素组合指纹去重 |
| 文本重写与多样化 | 按改写批次,单批 5 万条 | 同上 | 保护检查未通过按条回炉,次数上限内重试 | 以原文样本标识加改写配置版本加副本序号去重 |
重试与幂等放在一起约定,是因为二者在批量加工中互为条件:没有重试,网络抖动会让整批作废;没有幂等,重试会造出两套带着合法血缘的记录,事后无从判断哪一套有效。十个工具的重试一律在幂等键保护下进行,重试产生的记录沿用首次受理的任务标识,不新建任务。
输入输出契约见表 8-2。本工具的入参分三组:取数范围、解析参数、输出落点。取数范围用图号集合或项目引用表达,不用文件路径——图纸文件在产品全生命周期管理系统内只读读取,路径随系统版本变化而工具契约不应随之变化。
表 8-2 图纸与工艺图结构化抽取工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.drawing_nos` 或 `selector.project_ref` | 列表或字符串 | 二选一 | 图号集合或项目引用;两者同时给出时取交集 |
| 入 | `selector.drawing_kind` | 枚举 | 否 | 原生图纸/扫描件/不限;缺省为不限,工具按文件类型自行分路 |
| 入 | `params.ontology_version` | 引用 | 是 | 本体与术语词典版本,决定符号与加工要求的解析词表 |
| 入 | `params.process_dict_version` | 引用 | 是 | 工序字典与加工方法分档规则版本;未成文期间传已掌握口径的版本号 |
| 入 | `params.neutral_layer_table_version` | 引用 | 否 | 中性层系数台账版本;缺省取当前生效版本,台账无匹配条目时展开长置为待补 |
| 入 | `params.confidence_thresholds` | 结构 | 否 | 高低两档阈值,缺省取本工具当前标定值(口径见本章 2.3) |
| 入 | `params.enable_reuse_search` | 布尔 | 否 | 是否执行可借用历史工艺检索,缺省开启 |
| 入 | `output.dataset_ref` | 引用 | 是 | 结果写入的数据集与分区 |
| 入 | `output.formats` | 列表 | 否 | 缺省为 JSON Lines;可另要求 Parquet |
| 出 | `title_block` / `item_list` | 结构 | 是 | 标题栏字段与明细栏行,逐字段带 `confidence` 与 `evidence` |
| 出 | `geometry` | 结构 | 是 | 轮廓、孔、压弯线等几何要素表,带图元句柄与坐标范围 |
| 出 | `symbols` | 结构 | 是 | 符号与加工要求条目,含作用表面范围判定与其置信度 |
| 出 | `view_mapping` | 结构 | 是 | 视图对应关系,逐项带置信度;低于阈值的进 `pending` |
| 出 | `material_quota.developed_length_mm` | 数值 | 否 | 压弯件展开长;带 `recomputable` 标记与所用系数来源,可独立复算 |
| 出 | `reuse_candidates` | 列表 | 否 | 可借用历史工艺候选,带相似度与命中依据 |
| 出 | `pending` | 列表 | 是 | 待补与冲突条目,含未命中对象主键、台账缺项、视图对应存疑、符号无法解析四类 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 血缘与版本字段,由公共层写入 |
一次任务创建的调用样例:
```json { "client_request_id": "REQ-2027Q1-DWG-0007", "selector": {"project_ref": "PRJ-XXXX-01", "drawing_kind": "原生图纸"}, "params": { "ontology_version": "ONT-2027.01", "process_dict_version": "GYZD-BL-V3", "neutral_layer_table_version": "NLT-2026.11", "confidence_thresholds": {"high": 0.90, "low": 0.60}, "enable_reuse_search": true }, "output": {"dataset_ref": "DS-ALIGN-2027Q1/dwg", "formats": ["jsonl", "parquet"]}, "callback_url": "https://<平台内部回调地址>/tools/dwg-extract/events" } ```
受理返回:
```json { "task_id": "T-DWG-000417", "accepted_at": "2027-02-18T03:12:44+08:00", "param_check": "passed", "batch_count": 18, "estimated_records": 5400, "resolved_config_version": "dwg-extract-cfg-v1.3", "idempotent_hit": false } ```
异常与回退见表 8-3。表中"错误类"一列按工具链(三)5.1 的四分类填写,使调用方可以用同一套分支逻辑处理十个工具的异常。
表 8-3 图纸结构化抽取工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 工序字典版本不存在或已废止 | 参数类 | 所传版本号、当前生效版本清单 | 不受理任务;调用方改传生效版本 |
| 图纸文件只读读取未开通或授权范围不含该项目 | 输入类 | 未授权的项目或图号、所需授权范围 | 任务不启动;接口推动事项按本章 7.5 风险表处置 |
| 扫描件清晰度不足以解析标题栏 | 执行类(批次级) | 图号清单、失败阶段、清晰度实测指标 | 该批次转候选值输出模式,字段给候选不给结论,整批进人工确认 |
| 中性层系数台账无匹配条目 | 策略类 | 板厚与折弯角组合、台账版本 | 展开长字段置为待补并记录原因,不取默认系数填充 |
| 对象主键未命中 | 策略类 | 源编码、未命中类型 | 记录进 `pending` 并推入人工对账队列,该条记录仍产出但标记待补映射 |
| 某符号类型解析正确率持续低于基线 | 策略类 | 符号类型、近期实测值、所依据的抽样 | 按表 3-4 回退列,该符号类型由自动解析转候选推荐,证据回指保留 |
接口层面的验收口径有三条可当场核对:其一,用一份含压弯件的图纸批次调用,返回的 `developed_length_mm` 带 `recomputable` 标记且系数来源可查,验收方按同一公式独立复算;其二,构造一个工序字典版本不存在的请求,接口须在受理前返回参数类错误并给出生效版本清单,而不是受理后再失败;其三,重复提交同一请求,第二次返回 `idempotent_hit` 为真且任务标识与首次一致。质量指标的验收仍按表 3-4 执行。
本工具的契约有一处与其他九个不同:入参必须显式声明时钟来源,因为视频设备时钟与业务系统时钟的偏差是这类对齐最主要的误差来源,若由工具自行猜测对齐基准,同一批数据在不同批次运行会得到不同结果。
表 8-4 视频-文本对齐工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.video_refs` | 列表 | 是 | 视频文件引用或点位加时段;按只读授权范围读取 |
| 入 | `selector.event_window` | 结构 | 是 | 待对齐的事件时间窗,用协调世界时表达 |
| 入 | `params.clock_source` | 结构 | 是 | 视频侧与业务侧的时钟来源标识,以及已知偏差值(若有) |
| 入 | `params.keyframe_policy` | 枚举组合 | 是 | 三种抽帧方式的启用与参数(口径见本章表 3-5) |
| 入 | `params.stage_table_version` | 引用 | 是 | 工艺阶段表版本,决定帧与阶段的对应判定 |
| 入 | `params.alignment_tolerance_ms` | 整数 | 否 | 允许的时间对齐容差,缺省按点位类型预置 |
| 出 | `clock_calibration` | 结构 | 是 | 本次校准得到的偏差与校准依据,未能校准时显式标记降级 |
| 出 | `alignment_records` | 列表 | 是 | 对齐记录,字段按本章表 3-6;逐条带关联类型与置信度 |
| 出 | `keyframes` | 列表 | 是 | 关键帧引用、帧时间戳、抽取方式与触发条件 |
| 出 | `check_results` | 结构 | 是 | 三类对齐问题的检出结果(口径见本章表 3-7) |
| 出 | `availability_by_source` | 结构 | 是 | 按来源分层的可用率统计,不同点位分别计,不合并成一个总数 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
```json { "client_request_id": "REQ-2027Q1-VID-0031", "selector": { "video_refs": [{"site_code": "SITE-XX-07", "from": "2027-02-10T22:00:00Z", "to": "2027-02-11T06:00:00Z"}], "event_window": {"from": "2027-02-10T22:00:00Z", "to": "2027-02-11T06:00:00Z"} }, "params": { "clock_source": {"video": "NVR-XX-07", "business": "MES", "known_offset_ms": null}, "keyframe_policy": {"by_event": true, "by_interval_s": 30, "by_change_detection": true}, "stage_table_version": "STG-2027.01", "alignment_tolerance_ms": 2000 }, "output": {"dataset_ref": "DS-ALIGN-2027Q1/video", "formats": ["jsonl"]} } ```
表 8-5 视频-文本对齐工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 时钟来源无法确定或偏差无法校准 | 策略类 | 两侧时钟标识、校准失败原因 | 本批标记为降级完成,对齐记录只保留事件触发的帧,按间隔抽取的帧不参与时间关联 |
| 视场或清晰度不满足工艺过程观察要求 | 策略类 | 点位编码、实测清晰度与视场判定 | 该点位的可用率单列统计,不并入总体;新增布点需求按本章 7.5 风险表提出 |
| 视频文件损坏或分段缺失 | 输入类(批次级) | 文件引用、缺失时段 | 缺失时段的对齐记录不生成且不以邻近帧填充,缺口在可用率中如实计入 |
| 工艺阶段表版本与事件类型不匹配 | 参数类 | 所传版本、事件类型清单 | 不受理,提示改传匹配版本 |
| 单批帧数超出单任务上限 | 参数类 | 实际帧数、上限值、建议切分方式 | 按建议切分后重提;已切分批次按批次独立重试 |
| 对齐校验检出成组错位 | 执行类(批次级) | 错位区间、检出方法 | 该区间重跑并改用事件触发抽帧;两次仍错位的转人工确认 |
接口层面可核对的点有两条:构造一个不给 `clock_source` 的请求,接口须返回参数类错误而不是自行采用默认时钟;对一段已知有时钟偏差的视频调用,`clock_calibration` 须给出偏差值与校准依据,无法校准时须显式标记降级而不是静默按原始时间戳对齐。质量指标按表 3-8 验收。
本工具单批产出的时序片段与特征数据体量大,契约上因此有两处专门安排:结果以流式方式获取,时序片段与特征分文件存放,避免单个结果文件过大导致下游读不动。
表 8-6 传感器时序-运维事件对齐工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.point_codes` | 列表 | 是 | 测点编号集合;按设备或部件展开时由调用方先行展开 |
| 入 | `selector.time_window` | 结构 | 是 | 取数时间窗 |
| 入 | `selector.event_refs` | 列表 | 是 | 待对齐的事件来源:报警日志、停机记录、维修工单、炉次记录 |
| 入 | `params.segmentation` | 枚举+参数 | 是 | 四种切分策略之一及其参数(口径见本章表 3-9) |
| 入 | `params.preprocess` | 结构 | 否 | 六项预处理的启用与参数(见本章表 3-11),缺省按测点类型预置 |
| 入 | `params.feature_set` | 列表 | 否 | 需要抽取的特征类别(见本章表 3-12),缺省为五类全开 |
| 入 | `params.source_reliability_policy` | 结构 | 否 | 事实源时点可靠性分档的处置口径(见本章表 3-10) |
| 出 | `segments` | 列表(流式) | 是 | 时序片段,含测点、时间区间、采样率、片段指纹 |
| 出 | `features` | 列表(流式) | 是 | 片段级特征,频域特征在角位置基准缺失时标记降级 |
| 出 | `event_links` | 列表 | 是 | 片段与事件的关联,带可靠性分档与关联依据 |
| 出 | `diagnosis_text` | 列表 | 否 | 诊断说明文本,仅在事件侧有结论性记录时生成,无记录时不臆造 |
| 出 | `degraded_items` | 列表 | 是 | 降级条目清单,含降级原因与影响的特征类别 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
```json { "client_request_id": "REQ-2027Q1-TS-0112", "selector": { "point_codes": ["PT-XXXX-01", "PT-XXXX-02", "PT-XXXX-07"], "time_window": {"from": "2026-10-01T00:00:00Z", "to": "2027-01-01T00:00:00Z"}, "event_refs": ["报警日志", "维修工单"] }, "params": { "segmentation": {"strategy": "事件前后固定窗", "pre_s": 600, "post_s": 300}, "preprocess": {"resample_hz": 1, "outlier_policy": "标记不删除"}, "feature_set": ["时域统计", "趋势", "频域", "工况归一", "事件上下文"], "source_reliability_policy": {"低可靠时点": "仅做粗对齐并标记"} }, "output": {"dataset_ref": "DS-ALIGN-2027Q1/ts", "formats": ["parquet", "jsonl"]} } ```
表 8-7 时序-事件对齐工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 测点编号未在台账登记 | 参数类 | 未登记测点清单 | 不受理该测点,其余测点正常执行,未登记项列入待补 |
| 时序只读读取接口未开通 | 输入类 | 未开通的系统与测点范围 | 任务不启动;按本章 7.5 风险表走离线样本包先行调试 |
| 部件级角位置基准缺失 | 策略类 | 测点、缺失的基准项 | 频域特征按额定值估算并标记降级,该特征不作为故障标签依据 |
| 事件时点落在低可靠档 | 策略类 | 事件标识、可靠性分档依据 | 按分档口径只做粗对齐并标记,不按精确时刻切片 |
| 采样率不足以支撑所请求的频域特征 | 策略类 | 实际采样率、该特征所需下限 | 该特征不输出并在 `degraded_items` 中说明,其余特征照常产出 |
| 单任务数据量超出上限 | 参数类 | 估算数据量、上限、建议切分 | 按测点或时间窗切分后重提 |
接口层面可核对的点:对一个采样率不足的测点请求频域特征,接口须在 `degraded_items` 中给出该特征缺失的原因而不是输出一个无意义的数值;对低可靠时点的事件,`event_links` 中须带可靠性分档字段。质量指标按表 3-13 验收。
本工具的模型调用量大,契约上有两处专门约定:模型只以网关登记标识表达,入参不接受品牌或型号;三档分流的结果必须在出参中逐条可见,不允许只返回已通过的部分。后一条的理由是中置信与低置信样本是人工队列的输入,若接口只回高置信结果,人工队列就要另找来源,分流也就失去意义。
表 8-8 大模型预标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.sample_ids` 或 `selector.pool_ref` | 列表或引用 | 二选一 | 样本标识集合,或待标注池引用加筛选条件 |
| 入 | `params.task_type` | 枚举 | 是 | 七类预标注任务之一(口径见本章表 4-3) |
| 入 | `params.label_schema_version` | 引用 | 是 | 标签体系版本;与标注规范文本同版本 |
| 入 | `params.prompt_template_version` | 引用 | 是 | 模板版本;模板内容本身不在接口中传递 |
| 入 | `params.model_ref` | 引用 | 否 | 统一网关登记的模型标识与版本,缺省取该任务类型的当前择优选用项 |
| 入 | `params.confidence_thresholds` | 结构 | 否 | 高低两档阈值,缺省取当前标定值 |
| 入 | `params.evidence_required` | 布尔 | 否 | 是否要求逐条给出证据片段,缺省为真 |
| 出 | `labels` | 列表 | 是 | 逐样本的候选标签,含标签项、置信度、证据片段与片段位置 |
| 出 | `tier` | 枚举 | 是 | 高/中/低置信档位,逐条标注 |
| 出 | `suggestions` | 列表 | 否 | 中置信条目的修改建议,供复核岗确认或修改 |
| 出 | `check_failures` | 列表 | 是 | 结构校验与约束校验未过的条目及失败项(顺序见本章表 4-4) |
| 出 | `batch_stats` | 结构 | 是 | 三档分流计数、模板版本、所用模型登记标识与版本 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入,含 `model_ref` 与 `prompt_version` |
调用样例:
```json { "client_request_id": "REQ-2027Q1-PRE-0286", "selector": {"pool_ref": "POOL-QUALITY-2027Q1", "filter": {"doc_type": "不合格品票", "unlabeled": true, "limit": 5000}}, "params": { "task_type": "缺陷描述归类", "label_schema_version": "LBL-QUAL-v2.1", "prompt_template_version": "PRE-QUAL-v1.4", "model_ref": "gw-model-a@2027.01", "confidence_thresholds": {"high": 0.88, "low": 0.55}, "evidence_required": true }, "output": {"dataset_ref": "DS-LABEL-2027Q1/quality", "formats": ["jsonl"]} } ```
表 8-9 大模型预标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 标签体系版本与任务类型不匹配 | 参数类 | 所传版本、该任务类型适用的版本清单 | 不受理 |
| 模型网关不可用或限流 | 执行类(批次级) | 失败批次、网关返回的状态 | 按退避策略自动重试三次;仍失败的批次挂起,已完成批次结果照常可取 |
| 样本含不可出域字段 | 策略类 | 被拦截的字段名、所依据的策略版本 | 网关层拦截,该样本不发起外部调用,转入内部处理路径或人工标注队列 |
| 输出不符合标签体系结构 | 执行类(条目级) | 样本标识、结构校验失败项 | 该条按表 4-4 顺序进入低置信档,不进入候选集 |
| 整批置信度分布异常偏低 | 策略类 | 分布统计、与近期批次的比对 | 批次挂起并提示检查模板版本与样本来源是否变化,不自动放行 |
| 抽检通过率低于门限 | 策略类 | 抽检结果、门限值 | 按表 4-6 回退列处置,整批退回重标,模板问题走策略会签后改版 |
接口层面可核对的点有三条:出参中三档条目都在,不只回高置信;`model_ref` 回的是网关登记标识与版本而不是品牌型号;构造一条含不可出域字段的样本,须被网关层拦截并在返回中给出所依据的策略版本。质量指标按表 4-6 验收。
本工具不产出标签,它产出的是下一批该标哪些样本的顺序。契约因此与其余九个不同:出参的主体是一份带优先级与入选理由的清单,而不是样本内容。入选理由必须逐条给出,否则标注岗无法判断这份顺序是否合理,主动学习就退化成一个不可质疑的黑箱排序。
表 8-10 主动学习标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.pool_ref` | 引用 | 是 | 待标注样本池引用与版本 |
| 入 | `params.round_no` | 整数 | 是 | 采样轮次号,与幂等键共同构成本轮唯一性 |
| 入 | `params.quota` | 整数 | 是 | 本轮采样总配额 |
| 入 | `params.mechanism_mix` | 结构 | 否 | 六种采样机制的配额分配(口径见本章表 4-7、表 4-8),缺省按阶段建议分配 |
| 入 | `params.feedback_ref` | 引用 | 否 | 上一轮人工标注反馈的引用;首轮可缺省 |
| 入 | `params.diversity_constraint` | 结构 | 否 | 按业务域或类别的多样性下限,防止配额被单一类别吃满 |
| 出 | `ranked_samples` | 列表 | 是 | 优先序清单,逐条含样本标识、优先级、入选机制、入选理由、不确定性度量值 |
| 出 | `mechanism_report` | 结构 | 是 | 各机制的实际配额执行情况与未执行原因 |
| 出 | `targeted_collection` | 列表 | 否 | 定向采集清单:池中无合适样本但模型表现薄弱的方向 |
| 出 | `coverage_gap` | 列表 | 否 | 覆盖盲区登记,区别于质量问题,处置动作不同 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
```json { "client_request_id": "REQ-2027Q2-AL-0009", "selector": {"pool_ref": "POOL-DEVICE-2027Q2@v3"}, "params": { "round_no": 9, "quota": 1200, "mechanism_mix": {"不确定性": 0.35, "代表性": 0.20, "多样性": 0.15, "难例回流": 0.15, "覆盖补齐": 0.10, "随机对照": 0.05}, "feedback_ref": "AL-FEEDBACK-R8", "diversity_constraint": {"min_per_domain": 60} }, "output": {"dataset_ref": "DS-LABEL-2027Q2/queue", "formats": ["jsonl", "csv"]} } ```
出参中保留一档随机对照配额是有意的。全部按不确定性采样会让标注集中在模型当前最困惑的一小片区域,随机对照那一档提供的是无偏参照,用来判断主动学习本身是否真的比随机挑选更划算——这个判断如果没有对照组,就只能靠相信。
表 8-11 主动学习标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 样本池版本与上一轮不一致 | 参数类 | 两次版本号、差异规模 | 提示确认;确认后按新版本执行并在报告中注明基准变更 |
| 不确定性度量不可用(无可用模型输出) | 执行类 | 缺失原因 | 本轮降级为代表性与多样性两机制,降级在 `mechanism_report` 中显式记录 |
| 某机制配额无法填满 | 策略类 | 机制名、缺口数 | 缺口按多样性约束回填其他机制,不自动放宽多样性下限 |
| 配额全部落入单一业务域 | 策略类 | 域分布、多样性下限 | 拦截并按下限重采,不发布该轮清单 |
| 上一轮反馈缺失 | 输入类 | 缺失的轮次 | 按无反馈模式执行,并在报告中标明本轮未纳入反馈 |
接口层面可核对的点:`ranked_samples` 中每条都有入选理由与度量值;`mechanism_report` 中各机制的实际与计划配额并列可比;随机对照那一档确实存在且比例与入参一致。质量指标按表 4-9 验收。
本工具的契约核心是本体版本。本体一旦改版,既有标注的含义可能随之变化,因此入参必须显式传本体版本,出参必须回传实际生效的本体版本——两者不一致时(例如所传版本已被更高版本替代)须显式提示,不静默采用新版。
表 8-12 本体驱动规则标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.sample_ids` 或 `selector.pool_ref` | 列表或引用 | 二选一 | 待标注样本范围 |
| 入 | `params.ontology_version` | 引用 | 是 | 本体七域版本(内容见本章表 4-10) |
| 入 | `params.rule_set_version` | 引用 | 是 | 约束规则集版本(七类约束见本章表 4-11) |
| 入 | `params.term_dict_version` | 引用 | 是 | 术语与别名表版本 |
| 入 | `params.constraint_scope` | 列表 | 否 | 本次启用的约束类别,缺省为七类全启 |
| 入 | `params.conflict_policy` | 枚举 | 否 | 冲突处置:拦截/标记放行;缺省为按约束类别预置 |
| 出 | `ontology_labels` | 列表 | 是 | 本体标签,逐条含所依据的本体条目标识与路径 |
| 出 | `constraint_results` | 列表 | 是 | 约束校验结论,逐条含约束编号、判定、所依据规则版本 |
| 出 | `conflicts` | 列表 | 是 | 冲突清单,含冲突双方、冲突类型与建议处置 |
| 出 | `new_term_candidates` | 列表 | 否 | 新术语候选,供本体回流(口径见本章表 4-15) |
| 出 | `effective_versions` | 结构 | 是 | 实际生效的本体、规则集与术语表版本 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
```json { "client_request_id": "REQ-2027Q1-ONT-0054", "selector": {"pool_ref": "POOL-WORKORDER-2027Q1", "filter": {"limit": 8000}}, "params": { "ontology_version": "ONT-2027.01", "rule_set_version": "RULE-ONT-v1.6", "term_dict_version": "TERM-2026.12", "constraint_scope": ["类目互斥", "层级归属", "取值域", "工序前后依赖", "安全规则", "单位与量纲", "必填完备"], "conflict_policy": "拦截" }, "output": {"dataset_ref": "DS-LABEL-2027Q1/ontology", "formats": ["jsonl"]} } ```
表 8-13 本体驱动规则标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 所传本体版本已被替代 | 参数类 | 所传版本、当前生效版本、差异摘要 | 不自动采用新版;由调用方确认后重提 |
| 规则集与本体版本不配套 | 参数类 | 两者版本、不配套的规则条目 | 不受理 |
| 工序字典未成文,工序依赖约束无依据 | 策略类 | 受影响的约束编号 | 该类约束跳过并在 `constraint_results` 中标记为未校验,不按推测规则判定 |
| 样本命中互斥类目 | 策略类 | 冲突双方、约束编号 | 按 `conflict_policy` 处置;拦截模式下该条进人工标注队列 |
| 术语表无匹配且无法归入既有类目 | 策略类 | 术语原文、上下文 | 进 `new_term_candidates`,按本体回流流程走人工确认,不自建类目 |
| 本体改版导致历史标注口径变化 | 策略类 | 受影响的标注批次范围 | 按本章 7.5 三档处置口径执行,并出影响评估报告 |
接口层面可核对的点:`constraint_results` 中"未校验"与"校验通过"是两个不同的取值,不得合并——未校验意味着依据缺失,校验通过意味着依据齐备且判定合格,把前者记成后者是这类工具最容易出的一种假达标。质量指标按表 4-12 验收。
本工具的输入是同一批样本的多路标注结果,输出是一致性指标与裁决记录。契约上需要定死一件事:裁决结论必须带所依据的规则条款,不接受只有结论没有依据的裁决。原因是裁决记录会回流成为标注规范的修订依据,没有依据的裁决无法复用,也无法在争议时复查。
表 8-14 一致性校验标注工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.annotation_task_id` | 引用 | 是 | 标注任务批次标识 |
| 入 | `params.cross_mode` | 枚举 | 是 | 三种交叉标注方式之一(见本章表 4-13) |
| 入 | `params.metric_set` | 列表 | 是 | 启用的一致性指标(见本章表 4-14),按任务类型选取 |
| 入 | `params.disagreement_threshold` | 结构 | 否 | 分歧判定阈值,缺省按任务类型预置 |
| 入 | `params.arbitration_rule_version` | 引用 | 是 | 裁决规则版本 |
| 出 | `consistency_metrics` | 结构 | 是 | 一致性指标值,按任务类型与标注人分组分别给出 |
| 出 | `disagreements` | 列表 | 是 | 分歧条目,含分歧点、各路标注值、分歧类型 |
| 出 | `arbitrations` | 列表 | 是 | 裁决记录,含裁决结论、所依据规则条款与版本、裁决角色(记角色不记姓名) |
| 出 | `rework_list` | 列表 | 否 | 返工清单,含返工理由与返工范围 |
| 出 | `spec_feedback` | 列表 | 否 | 标注规范的修订建议,来自反复出现的同类分歧 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
```json { "client_request_id": "REQ-2027Q1-CONS-0073", "selector": {"annotation_task_id": "ANN-QUAL-2027Q1-016"}, "params": { "cross_mode": "双人独立标注+分歧裁决", "metric_set": ["一致率", "科恩卡帕", "克里潘多夫阿尔法"], "disagreement_threshold": {"label_mismatch": 1, "span_iou_below": 0.7}, "arbitration_rule_version": "ARB-v1.2" }, "output": {"dataset_ref": "DS-LABEL-2027Q1/consistency", "formats": ["jsonl", "md"]} } ```
表 8-15 一致性校验标注工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 多路标注未全部完成 | 输入类 | 缺失的路数与标注人角色 | 不计算指标;已完成部分不作部分统计,避免指标偏高 |
| 某指标不适用于该任务类型 | 参数类 | 指标名、适用任务类型 | 不受理该指标,其余指标照常计算并在报告中注明 |
| 一致性指标低于门限 | 策略类 | 指标值、门限、分歧类型分布 | 该批整体返工;同时触发标注规范复核,而不是只退样本 |
| 裁决规则无对应条款 | 策略类 | 分歧类型、现有规则覆盖范围 | 转专家裁决,裁决结论与理由作为规则补充项进规范修订队列 |
| 同类分歧反复出现 | 策略类 | 分歧类型、出现频次与批次分布 | 进 `spec_feedback`,按有界迭代路径经会签后修订规范并发新版本 |
接口层面可核对的点:`arbitrations` 中每条都带规则条款与版本;一致性指标按标注人分组给出而不只给一个总值——只有总值的报告无法分辨是规范模糊还是某一路标注偏离。本工具的质量指标与标注质量报告合并呈现(模板字段见本章表 4-16)。
生成类三个工具的契约有一项共同要求:入参必须携带配额配置版本,出参必须回传四道(本工具)或五道(文本重写)过滤的逐道通过计数。配额在生成前派发而不是生成后筛选,是分布控制能够生效的前提;逐道计数则使"过滤确实在起作用"这件事可核对——只给一个最终产出数的接口,无法分辨是过滤严格还是根本没有被拦截的样本。
表 8-16 指令数据生成工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.seed_ref` | 引用 | 是 | 种子指令库引用与版本(字段设计见本章表 5-4) |
| 入 | `params.task_types` | 列表 | 是 | 本批生成的指令任务类型(七类落法见本章表 5-3) |
| 入 | `params.quota_config_version` | 引用 | 是 | 配额配置版本,含六个分布维度的目标(见本章表 5-6) |
| 入 | `params.evolution_ops` | 列表 | 否 | 启用的指令进化算子(五种见本章表 5-5),缺省按任务类型预置 |
| 入 | `params.material_refs` | 列表 | 是 | 可用素材范围:领域文档、本体标签、结构化素材的版本引用 |
| 入 | `params.target_count` | 整数 | 是 | 本批目标条数,受配额上限约束 |
| 入 | `params.eval_use` | 布尔 | 否 | 固定为假;本工具产出不得进入基准测试集 |
| 出 | `instructions` | 列表(流式) | 是 | 指令样本,逐条含任务类型、难度、所依据素材引用与合成标记 |
| 出 | `filter_report` | 结构 | 是 | 四道过滤的逐道通过与拦截计数及拦截原因分布(检查项见本章表 5-7) |
| 出 | `distribution_report` | 结构 | 是 | 六个维度的实际分布与配额目标的偏差 |
| 出 | `traceability` | 列表 | 是 | 每条样本的可追溯依据,无依据的样本不产出 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入,含 `model_ref` 与 `prompt_version` |
调用样例:
```json { "client_request_id": "REQ-2027Q2-INS-0145", "selector": {"seed_ref": "SEED-PROCESS-2027Q2@v2"}, "params": { "task_types": ["工艺判断", "标准问答", "故障诊断"], "quota_config_version": "QUOTA-SFT-2027Q2-v1", "evolution_ops": ["加约束", "换视角", "提难度", "多步化"], "material_refs": ["DOC-STD-2027.01", "ONT-2027.01", "DS-ALIGN-2027Q1/dwg@v4"], "target_count": 20000, "eval_use": false }, "output": {"dataset_ref": "DS-SFT-2027Q2/process", "formats": ["jsonl"]} } ```
表 8-17 指令数据生成工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 配额配置版本缺失或已过期 | 参数类 | 所传版本、当前生效版本 | 不受理;配额不得由工具自行推定 |
| 目标条数超出该维度配额上限 | 策略类 | 维度名、配额上限、本批已用量 | 按上限截断并返回截断量,不超额生成 |
| 素材引用版本不可读 | 输入类 | 素材引用、失败原因 | 该素材不参与本批生成;若全部素材不可读则任务不启动 |
| 某条生成结果无可追溯依据 | 策略类 | 该条的生成路径 | 不产出该条并计入拦截,不以"模型常识"充作依据 |
| 四道过滤中某一道通过率骤降 | 策略类 | 该道的通过率、与近期批次比对 | 批次挂起,检查模板版本与素材变化,不自动放行 |
| `eval_use` 被置为真 | 参数类 | 该字段取值 | 拒绝受理;基准测试集不接受合成样本(本章表 5-2 硬约束) |
接口层面可核对的点有两条:`filter_report` 四道计数齐全且拦截原因可分类;构造一个 `eval_use` 为真的请求,接口须拒绝受理而不是受理后在下游拦截。质量指标按表 5-9 验收。
本工具的产出是六类形态(见本章表 5-10),契约上按形态分文件输出,并要求每条合成样本携带来源字段(取值规范见本章表 5-11)。八要素的组合约束在生成前校验,违反约束的组合拦截而不是生成后再筛。
表 8-18 工单与故障场景模拟生成工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.scenario_templates` | 列表 | 是 | 场景模板引用与版本 |
| 入 | `params.fault_ontology_version` | 引用 | 是 | 故障域本体与故障名录版本 |
| 入 | `params.element_constraints_version` | 引用 | 是 | 八要素组合约束版本(见本章表 5-8) |
| 入 | `params.distribution_ref` | 引用 | 是 | 历史工单分布引用,作为长尾补齐的参照基准 |
| 入 | `params.output_forms` | 列表 | 否 | 需要的产出形态,缺省为六类全出 |
| 入 | `params.quota_config_version` | 引用 | 是 | 配额配置版本 |
| 入 | `params.target_count` | 整数 | 是 | 本批目标条数 |
| 出 | `scenarios` | 列表(流式) | 是 | 故障场景样本,逐条含八要素取值与组合校验结论 |
| 出 | `derived_outputs` | 结构 | 是 | 六类产出形态分文件存放,文件间以场景标识关联 |
| 出 | `constraint_blocks` | 结构 | 是 | 组合约束拦截计数与拦截原因分布 |
| 出 | `synthetic_marks` | 结构 | 是 | 合成标记与 `eval_use` 标记,逐条随样本留存 |
| 出 | `coverage_vs_history` | 结构 | 是 | 与历史工单分布的对照,长尾补齐部分单独标识 |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
```json { "client_request_id": "REQ-2027Q2-FLT-0062", "selector": {"scenario_templates": ["SCN-CONVEYOR-07@v2", "SCN-REDUCER-03@v1"]}, "params": { "fault_ontology_version": "ONT-FAULT-2027.01", "element_constraints_version": "ELC-v1.3", "distribution_ref": "WO-DIST-2024-2026", "output_forms": ["合成工单", "排障对话候选", "故障描述", "处置记录", "复盘摘要", "标签组"], "quota_config_version": "QUOTA-FAULT-2027Q2-v1", "target_count": 6000 }, "output": {"dataset_ref": "DS-SFT-2027Q2/fault", "formats": ["jsonl"]} } ```
表 8-19 工单与故障场景模拟生成工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 八要素组合违反约束 | 策略类 | 要素取值、违反的约束编号 | 该组合拦截不生成,计入 `constraint_blocks` |
| 故障名录中该故障无检出手段对应 | 策略类 | 故障条目、缺失项 | 该故障的场景不生成诊断类产出,仅生成描述类产出并标注 |
| 历史工单分布引用不可读 | 输入类 | 引用标识 | 任务不启动;长尾补齐失去参照基准时不以估计分布替代 |
| 场景模板版本与本体版本不配套 | 参数类 | 两者版本 | 不受理 |
| 某故障类的合成量超过配额 | 策略类 | 故障类、配额、已生成量 | 按配额截断;需要扩大配额的走策略会签 |
| 合成样本未带来源字段 | 执行类(条目级) | 样本标识 | 该条不入库;来源字段是合成样本进入数据集的必要条件 |
接口层面可核对的点:`synthetic_marks` 逐条存在且 `eval_use` 为假;`coverage_vs_history` 把长尾补齐部分与真实分布部分分开呈现,不合并成一条曲线。质量指标按表 5-12 验收。
本工具的契约重点在保护项。改写的价值在于表达多样化,风险在于改坏术语、数值、条款编号这类不可变内容。契约要求入参传保护词表版本,出参逐条回传保护项校验记录与原文映射(字段见本章表 5-18),使任何一条改写样本都能回到原文逐字比对。
表 8-20 文本重写与多样化工具的输入输出契约
| 方向 | 字段 | 类型 | 必填 | 口径 |
|---|---|---|---|---|
| 入 | `selector.source_sample_ids` | 列表 | 是 | 原始样本标识集合;须为已通过质检与一致性校验的样本 |
| 入 | `params.styles` | 列表 | 是 | 启用的改写风格(六种见本章表 5-13) |
| 入 | `params.protect_dict_version` | 引用 | 是 | 术语保护词表版本(七类保护对象见本章表 5-15) |
| 入 | `params.rewrite_config` | 结构 | 是 | 改写配置四项参数(见本章表 5-16) |
| 入 | `params.semantic_check_channels` | 列表 | 否 | 语义一致性校验的三个通道(见本章表 5-14),缺省三路全开 |
| 入 | `params.max_ratio_per_source` | 整数 | 否 | 单条原文最多产出的改写条数,缺省按数据集配比上限推定 |
| 出 | `rewrites` | 列表(流式) | 是 | 改写样本,逐条含风格标记、原文引用与改写比例 |
| 出 | `protection_check` | 列表 | 是 | 保护项校验记录,逐条列出被保护对象与校验结论 |
| 出 | `source_mapping` | 列表 | 是 | 原文与改写文本的映射记录(字段见本章表 5-18) |
| 出 | `filter_report` | 结构 | 是 | 五道过滤的逐道通过与拦截计数(见本章表 5-17) |
| 出 | 表 2-1 公共字段 | 结构 | 是 | 由公共层写入 |
调用样例:
```json { "client_request_id": "REQ-2027Q2-RWT-0208", "selector": {"source_sample_ids": ["SMP-STD-000911", "SMP-STD-000912", "……"]}, "params": { "styles": ["口语化", "书面化", "简述", "详述", "换问法", "换视角"], "protect_dict_version": "PROT-2027.01", "rewrite_config": {"rewrite_ratio": 0.35, "min_edit_distance": 0.25, "keep_structure": true, "max_length_delta": 0.3}, "semantic_check_channels": ["规则", "向量相似", "模型判别"], "max_ratio_per_source": 3 }, "output": {"dataset_ref": "DS-PRETRAIN-2027Q2/rewrite", "formats": ["jsonl"]} } ```
表 8-21 文本重写与多样化工具的异常与回退
| 异常情形 | 错误类 | 返回要点 | 回退动作 |
|---|---|---|---|
| 原始样本未通过质检 | 输入类 | 样本标识、质检状态 | 不改写;改写不良样本只会放大问题 |
| 保护项被改动 | 策略类 | 被改动的保护对象、原值与改后值 | 该条拦截不产出,并记入拦截原因分布 |
| 语义一致性三通道判定不一致 | 策略类 | 三通道各自结论 | 该条进人工复核队列,不按多数通过自动放行 |
| 单条原文改写条数超上限 | 策略类 | 原文标识、上限 | 按上限截断,防止少量原文被过度复制稀释多样性 |
| 改写后与原文编辑距离低于下限 | 策略类 | 实测距离、下限 | 该条拦截,近似复制不计入多样化产出 |
| 增强样本占比超过数据集配比上限 | 策略类 | 当前占比、上限 | 停止该数据集的改写生成;需要调整配比的走策略会签 |
接口层面可核对的点有两条:取任一条改写样本,按 `source_mapping` 能回到原文并逐字比对;构造一条改动了术语主词条的改写,须被 `protection_check` 判为未通过并拦截。质量指标按表 5-19 验收。
十个工具的契约、样例与异常口径与本卷「工具链一」「工具链三」两节同源:六类标准调用、错误四分类、状态机与幂等口径取自「工具链三」一节第 5 节,输出格式与入库口径取自该节 5.2,血缘字段取自本章表 2-1 与该节 5.3。三处若出现表述差异,以「工具链三」一节第 5 节为准。
本组共 3 类 7 个工具链。七个工具链与适用于 9 类 25 个工具的通用约束共用同一套任务骨架、血缘字段、质量检查节点口径与接口规范,统一在本节给出。质量检查节点指设置在数据生产流程中的检查环节,依据质量规则判断数据是否符合进入后续工序或交付的条件;未通过的不放行至下一环节,按血缘定位回流至具体批次与具体算子修复。中国移动作为本项目的承诺主体,对本组工具链的设计、交付、指标达成与服务期校准负责。
前六类工具负责样本生产;本组三类负责判定可用性、定位质量问题,并在发现问题后给出可执行的修订动作。对矿山装备制造这个具体对象,这件事比通用场景更要紧,原因有三条,都来自现场条件而不是方法论。
第一条是借用率高带来的重复与伪多样问题。按订单设计的产品组织方式下,一个实际项目涉及四百张左右图纸,一套完整产品可达五百余张,其中约七八成属于可借用、可对照的既有零件。历史图纸约 63 万张,每张历史上都配有一张已审核签发的工艺卡片,天然构成成对的监督样本。
这个条件对数据集建设是利好,但把它直接灌进训练集会出两种毛病:一是同一零件的多次借用形成大量近重复样本,模型把常见槽宽档位的槽帮件学得很熟,对薄煤层或大采高工作面的非常规件几乎没有见过;二是借用件与原件之间往往只差一两个尺寸字段,若按整篇文本去重会把有价值的变体一并删掉,若不去重则训练集被少数高频零件族占满。去重与相似度过滤工具要同时回答"哪些是真重复"和"哪些是有信息量的近似变体",这是本组第一个工具的真实任务。
第二条是评测集与训练集天然同源带来的泄漏问题。甲方的历史资料集中在同一批设计与工艺文档中,六个专业场景的训练样本与验收样本都要从这批资料里切。若同一批标注样本既用于训练又用于评测,评测结果会系统性偏高,验收时看到的准确率无法反映上线表现。板材备料场景尤为典型:图纸与工艺卡成对,同一零件族的图纸可能同时落入训练与测试两侧,模型其实是在背答案。切分前的泄漏检测与基准集冻结管理,是验收数字可信的前置条件。
第三条是故障与缺陷样本天然稀少带来的分布失衡问题。热处理三级判定中的不合格炉次、焊接十一类缺陷中的低频缺陷、在役装备的事件级故障标签,都属于"后果严重但样本极少"的类别。远程运维平台报警不少,可核对的真实故障标签很少。这类长尾类别若不显式识别、不做均衡处理,模型在整体准确率上看着不错,在真正要它判断的那几种情形上完全不可用。分布分析与均衡工具的作用是把这种失衡在数据层面暴露出来并给出可执行的补齐动作,而不是等模型上线后由现场来发现。
本组工具把数据集质量从「加工过程合规」推进到「可用模型表现验证」,并在发现问题后定位到具体批次与样本。
本组工具不生产数据,只对数据作判断、切分、受控生成与反向归因。与前两组工具及其他建设内容的分工关系如图 1-1。
1-1 本组三类工具在数据加工主线中的位置与数据流向
图 1-1 本组三类工具在数据加工主线中的位置与数据流向。数据来源:招标文件第五章 3.2.3.8—3.2.3.11 节工具链划分;四类数据集口径见本卷「四大数据集加工生产总体方案」一节。
责任边界按下表划清。
表 1-1 本组工具与相邻建设内容的责任边界
| 事项 | 本组工具负责 | 相邻内容负责 | 实施设计所在 |
|---|---|---|---|
| 样本的生产与标注 | 不负责;只接收加工产出作为候选输入 | 采集预处理与标注合成由数据加工主线承担 | 「数据加工生产(一):采集、预处理、知识本体与知识库」一节/「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节 |
| 思维链、长上下文、多轮对话样本构建 | 不负责;对其产出做去重、泄漏与分布检查 | 构建逻辑与模板 | 「智能工具链(一):数据构建类」一节 |
| 多模态对齐与智能标注 | 不负责;消费其对齐结果做跨模态一致性检查 | 对齐规则与标注规范 | 「智能工具链(二):对齐与标注类」一节 |
| 数据去重、近重检测、语义相似过滤、污染扫描 | 承担四级级联判定、污染风险分级与隔离 | 质检规则由质检环节提供阈值建议 | 2.2 节 |
| 分布统计、偏置识别、均衡处理 | 承担八维统计、六类分布问题判定与五种均衡方法 | 配比目标由数据集规模规划给出 | 2.3 节,配比见「数据集建设及指标要求」一节 |
| 模板化合成样本生成 | 承担模板引擎、受控采样与 Schema 校验 | 语料级增强与改写 | 3.2 节,增强见「智能工具链(二):对齐与标注类」一节 |
| 训练/验证/测试切分与基准冻结 | 承担三层切分、五类泄漏检测与基准冻结发布 | 规模下限与配比 | 3.3 节 |
| 模型评测的执行与判分 | 承担评测协议、多对象调度与六种判分融合 | 评测指标体系与评测依据 | 4.2 节,指标体系见「质量评测方案」一节 |
| 第三方盖章质量测评报告 | 不负责出具;提供可复现的协议、冻结集与运行记录供机构核验 | 具资质机构出具 | 「质量评测方案」一节 |
| 错题溯源、贡献度归因、修订工单 | 承担三层归因、四维聚类与修订工单生成 | 整改执行由加工环节承接 | 4.3 节 |
| 数据集–模型版本血缘 | 承担图谱构建、五类审计查询与影响范围分析 | 版本登记入库由运营平台承载 | 4.4 节,平台见「数据集运营服务管理平台方案」一节 |
| 模型训练与推理的算力与调度 | 不负责;只调用推理接口执行评测 | 训推平台 | 「行业大模型训练推理技术服务方案」一节 |
| 场景能力的业务验收 | 不负责;提供能力维度评测数据 | 场景验证方案 | 「专业场景验证方案」一节/「通用场景验证方案」一节 |
本包为数据加工生产服务,不含智能场景建设。本组输出的评测结论与归因报告用于判定数据集质量与修订方向;模型调优决策由数据集建设与验收流程作出,工具只提供事实与指标。
本组交付的 7 个工具链及其交付物见表 1-2。每个工具链按 3.2.3.11 的要求提供演示样例、输入输出样例、配置说明、接口说明与测试报告五件套。
一组工具是否够用,先看它们各自吃进什么、吐出什么,以及这些产出是否首尾相接。表 1-2 按招标文件给定的编号与名称逐项列出,不作改写,便于与需求条款逐条核对;核心输入一列是该工具向上游索取的物料与口径,核心产出一列是它向下游交付、可被下一环直接引用的对象。
读表看两处。一处是相邻行的衔接:去重产出的洁净候选集是切分工具的输入,切分产出的冻结基准集是评测引擎的输入,评测产出的失败样本是归因的输入,归因产出的修订工单经血缘回到具体批次与具体算子。七行连起来是一条从候选池到验收证据的单向链路,既无断点,也无两个工具产出同一对象。另一处是每行的核心产出中都含一份可核验的记录件——重复组清单、质量治理报告、生成批次台账、评测报告、归因报告、血缘图谱——这些记录件是后续取证的落点,不是工具运行的副产物。
据此可以确认,本组交付的不是七件彼此独立的软件,而是一条可被逐环检验的数据质量链路;任一环的产出若不合格,下一环即缺少合规输入而无法启动。
表 1-2 本组工具链交付清单
| 编号 | 工具链名称 | 核心输入 | 核心产出 |
|---|---|---|---|
| 3.2.3.8.1 | 数据去重与相似度过滤 | 候选数据集、训练/验证/测试集、专家题库、相似度阈值 | 去重后数据集、重复组清单、污染命中报告 |
| 3.2.3.8.2 | 数据分布分析与均衡 | 数据集、领域标签、类别标签、配比目标 | 分布统计、均衡后数据集、质量治理报告 |
| 3.2.3.9.1 | 模板化数据生成 | 规则模板、参数字典、业务约束、采样配置 | 结构化合成样本、生成批次、模板版本记录 |
| 3.2.3.9.2 | 数据集切分与基准构建 | 洁净数据集、切分策略、评测协议 | train/valid/test 数据集、冻结基准集、评测结果 |
| 3.2.3.10.1 | 多协议模型评测引擎 | 模型接口、冻结基准集、评测协议、判分规则 | 模型评测报告、样本级评测结果、版本对比 |
| 3.2.3.10.2 | 数据贡献度归因与错题溯源 | 评测错题、训练样本血缘、数据子集标签 | 能力雷达图、失败样本清单、归因报告、修订工单 |
| 3.2.3.10.3 | 数据集–模型版本血缘追溯 | 数据集版本、训练任务日志、模型检查点、发布审批记录 | 血缘图谱、影响范围分析、审计查询结果 |
七个工具链功能分段、工程共用同一骨架:统一任务提交与结果结构;血缘字段由骨架写入,不依赖各工具自行填写。骨架由四件事构成,如图 1-2。
1-2 七个工具共用的任务骨架与血缘写入点
图 1-2 七个工具共用的任务骨架与血缘写入点。数据来源:招标文件 3.2.3.11(1)接口要求、(3)血缘要求。
骨架的四件事分别是:任务与批次,一次提交对应一个任务,任务按可重试的最小单元切成批次,异常重试以批次为粒度,不必整任务重跑;双通道算子,凡能用确定性规则判定的先走规则通道,规则判不了的才调模型通道,模型通道经统一网关接入,采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级;指标与质量检查节点,每个批次产出一组指标,指标与预设门限比对,未过门限的批次不进入下一环节;血缘与审计,样本在每个环节追加一条处理记录,八类标识由骨架写入而非算子自填。
本类含数据去重与相似度过滤、数据分布分析与均衡两个工具链。
这一类工具面向训练集、验证集、测试集与候选数据集,用于发现重复、相似、泄漏、污染、失衡、异常与低质量样本。七种问题当中,前四种是"同一份信息出现在了不该出现的地方",后三种是"数据的分布形状不对或内容本身不合格"。两组问题的处理方式不同:前者靠比对,后者靠统计与规则。本类工具按这一区分设两个工具链,分别承担比对与统计两条主线。
能力覆盖的七个环节按招标文件口径为精确去重、近重检测、语义相似过滤、污染扫描、分布统计、均衡处理与质量报告输出。这七个环节在实现上并不是七个独立程序,而是同一条流水线上的七道算子,共享样本指纹、共享向量索引、共享统计缓存。否则在约 63 万张图纸量级下,各算子重复计算指纹与向量成本过高,且口径不一致时,同一样本可能在去重判唯一、在污染扫描判命中。
输入输出口径按招标文件相应条款的要求固化为表 2-1。表中"矿装对象取值"一列说明该项输入在天地奔牛这个具体对象上指什么,避免验收时对输入内容的理解分歧。
表 2-1 质量与分布控制类工具链输入输出口径
| 类别 | 项目 | 矿装对象上的具体取值 | 格式 |
|---|---|---|---|
| 输入 | 训练集 | 图纸—工艺卡成对样本、选型问答、制度条款问答等已入库训练样本 | JSONL,含样本标识与来源标识 |
| 输入 | 验证集 | 自训练集同源切出、用于训练中途监控的样本 | JSONL |
| 输入 | 测试集 | 与训练集按来源与时间双重隔离的样本 | JSONL |
| 输入 | 专家题库 | 由工艺、设计、质量、设备各口专家出具的题目与标准答案 | JSONL,含出题人角色标识(不含姓名) |
| 输入 | 领域标签 | 供需计划、产品工艺设计、制造过程、质量四个数据域及其下级业务域 | 枚举值,取自数据集标准 |
| 输入 | 类别标签 | 如备料工序 28 道工序名、热处理三级判定、焊接缺陷类别 | 枚举值,取自各场景判据字典 |
| 输入 | 配比目标 | 四类数据集按数据域的规模配比(见「数据集建设及指标要求」一节) | 配置文件,域—目标占比 |
| 输入 | 相似度阈值 | 近重阈值、语义重复阈值、复核带上下界 | 配置文件,可按数据集类型分别设定 |
| 产出 | 去重后数据集 | 保留样本全集,附保留原因 | JSONL/Parquet |
| 产出 | 污染命中报告 | 命中样本、命中片段、来源集合、风险等级、处理建议 | CSV+Markdown 摘要 |
| 产出 | 分布统计 | 八个维度的分布表与可视化图 | CSV+图表文件 |
| 产出 | 质量治理报告 | 问题样本清单、质量指标、分布变化、风险等级、建议处理动作 | Markdown+附表 |
工艺人员编制备料工艺卡时,拿到一张新图纸,第一个动作是判断"这张图有没有做过类似的"。七八成的图纸确有可借用的既有工艺,但判断靠的是打开目录逐张核对。把这件事挪到数据集加工环节,问题的形式变了但本质相同:一批候选样本进来,要判断哪些是同一份信息的重复出现(应当合并或删除),哪些是看着像但信息不同的变体(应当保留),哪些是本不该在这里出现的评测内容(必须隔离)。
三类判断的难度递增,所需的比对代价也递增。按代价从低到高级联,是这一工具的基本设计:先用廉价手段把能确定的筛掉,剩下的才交给昂贵手段。若反过来先做语义比对,63 万张图纸配对出的工艺卡样本按两两比较是 10 的 11 次方量级的运算,不具可行性。
2-1 四级级联去重与污染扫描流水线
图 2-1 四级级联去重与污染扫描流水线。数据来源:招标文件 3.2.3.8.1(1)—(5)。
精确重复检测按五类指纹识别完全重复的样本,五类指纹分别取自文本内容、样本标识、哈希指纹、源文件与结构化字段。这五类不是五种算法,而是同一种比对方式作用在五种口径上,口径不同会得出不同的重复组,所以需要逐类定义而不是笼统写"按哈希去重"。
文本内容口径先做归一化再算摘要:统一全角半角、去除不可见字符、折叠连续空白、统一数字与单位写法(如"Φ30"与"φ30"、"30mm"与"30 毫米"),再对归一化后的正文取 SHA-256。不做归一化的后果在工艺卡样本上很明显:同一道工序的卡片内容相同,只因录入人的空格习惯不同而被判为两条,重复就漏掉了。
样本标识口径按业务主键比对。矿装业务的主键是复合的:图号加版次、施工号加零件号、工单号加工序号、炉次号、焊缝编号加焊道序号。这些主键之间目前没有稳定的映射关系,是数据集建设的已知前置问题(见「数据加工生产(一):采集、预处理、知识本体与知识库」一节主键贯通)。本工具按已贯通的主键做比对,未贯通的主键组合在重复组清单里标注"主键口径待确认",不自行推断。
哈希指纹口径针对非文本内容。图纸文件按几何要素序列取指纹而非按文件字节取指纹,因为同一张图另存一次字节就变了;照片按感知哈希取指纹,使同一缺陷的多次拍摄能够聚到一组;时序数据段按采样值序列取指纹。源文件口径按文件路径、文件大小与修改时间三者组合识别同一文件的多次导入,这类重复在多系统取数时很常见。
同一份工艺文件既在产品全生命周期管理系统里,也在企业文档系统里存了一份。结构化字段口径由配置指定参与比对的字段集合,例如备料工艺卡只比对材料牌号、板厚、外形轮廓、孔与方孔、坡口倒角、压弯线六个字段,不比对编制日期与编制人。
表 2-2 精确重复检测的五类指纹口径
| 口径 | 计算方式 | 适用对象 | 已知风险与处置 |
|---|---|---|---|
| 文本内容 | 归一化后取 SHA-256 | 工艺卡正文、制度条款、问答样本 | 归一化规则漏项会漏判;规则表版本化管理,变更须重跑 |
| 样本标识 | 业务复合主键比对 | 图纸、工单、炉次、焊道 | 主键未贯通者标注待确认,不推断 |
| 哈希指纹 | 几何要素/感知哈希/采样值序列 | 图纸文件、照片、时序段 | 感知哈希对强噪声敏感;噪声超限转近重复级处理 |
| 源文件 | 路径+大小+修改时间 | 多系统重复导入的同一文件 | 跨系统路径不同但内容相同者由文本口径兜住 |
| 结构化字段 | 配置字段集合比对 | 物料主数据、定额、参数记录 | 字段集合由业务口确认后固化,变更须登记 |
重复组内留哪一条,按来源优先级定,不按先到先得。优先级口径为:已审核签发的正式版本高于草稿版本;原生系统导出高于二次转录;带完整血缘的高于血缘不全的;时间更新的高于更早的。四条依次比较,前一条能分出高低就不看后一条。保留与删除都写入重复组清单并给出理由,删除的样本不做物理删除,移入隔离区保留一个版本周期,以备复核推翻结论时取回。
本级的指标按三项给出。指标值与适用条件:五类指纹口径内,指纹相同者全部判出——这一项按定义可穷尽,不设经验取值;适用条件是归一化规则集与比对字段集的版本已固化、样本业务主键已贯通。测量方法:构造同指纹样本对做回灌,按表 2-2 的五类口径逐一统计判出情况,每类不少于 50 对。不达标处置:业务主键未贯通的组合不按推断判重,在重复组清单中标注"主键口径待确认"转人工裁定;归一化规则漏项导致的漏判,规则表修订后重跑受影响批次。
近重复检测用于识别大规模文本中的高度相似样本,采用 MinHash、SimHash 与局部敏感哈希(Locality Sensitive Hashing,LSH)方法。三种方法不是备选项,而是分工:SimHash 擅长抓少量字符改动的文本,适合制度条款与标书段落这类改几个字就另存一版的内容;MinHash 配合 LSH 擅长抓大规模集合上的 Jaccard 相似,适合工艺卡与问答样本这类按词或按字切片后比对的内容。
实现口径如下。中文文本按字切 5 字滑窗作为分片单元,英文与型号编码按词切 3 词滑窗;对每条样本取 128 个 MinHash 签名,按 LSH 分成 32 段每段 4 个签名建桶,候选对只在同桶内产生,把两两比较降到近线性;候选对再精算 Jaccard 相似度,不低于 0.85 判近重复,落在 0.72 至 0.85 之间进人工复核带。
SimHash 取 64 位指纹,汉明距离不超过 3 判近重复。阈值按数据集类型分别配置:预训练语料可取较松(宁可多删,语料冗余对训练不利),指令微调与偏好数据取较严(样本少,删错代价高),基准题目一律不做自动删除,只给提示。
借用件判定易错:同一零件族文本相似度常在 0.9 以上,差别却在关键字段——板厚从 16 毫米改成 20 毫米、压弯角度改了 5 度、增加了一道工序。若按整篇相似度判重,这类有信息量的变体会被整批删掉,训练集随之丢失对规格变化的敏感性。
我方的处理方式是在近重复判定之上加一道关键字段差异检查:候选近重复对若在配置指定的关键字段上存在差异,则不判重复,改判为"同族变体",两条都保留并互相登记关联关系。关键字段清单按场景定,备料场景取材料牌号、板厚、工序序列、压弯参数、孔位,热处理场景取材料牌号、炉型、目标硬度区间、工艺参数窗口。
表 2-3 近重复检测的参数口径与数据集差异化配置
| 参数 | 预训练语料 | 指令微调样本 | 偏好对比组 | 基准题目 |
|---|---|---|---|---|
| 分片单元 | 中文 5 字窗/英文 3 词窗 | 同左 | 同左 | 同左 |
| MinHash 签名数 | 128 | 128 | 128 | 128 |
| LSH 分段 | 32 段 × 4 | 32 段 × 4 | 32 段 × 4 | 32 段 × 4 |
| 判重阈值(Jaccard) | ≥0.80 | ≥0.85 | ≥0.88 | 不自动判重 |
| 人工复核带 | 0.70—0.80 | 0.72—0.85 | 0.75—0.88 | ≥0.75 全部提示 |
| SimHash 汉明距离 | ≤3 | ≤3 | ≤2 | 仅提示 |
| 关键字段差异检查 | 按域启用 | 启用 | 启用 | 启用 |
| 默认处置 | 自动删除并记录 | 自动删除并记录 | 删除需复核确认 | 仅出清单,人工决定 |
本级的指标按三项给出。指标值与适用条件:抽样复核下的判准率不低于 95%;适用条件是 Jaccard 判重阈值按表 2-3 分数据集类型取值、关键字段差异检查已启用、复核样本量每批次不少于 500 条。测量方法:每批次随机抽 500 条,由工艺或设计口人员双盲复核,结果按点估计与 95% 置信区间两段报出(口径见 5.4 节)。该门限依矿装数据特性设定,首期按行业常用阈值取值,首批数据到位后按复核结论的分布重新标定并报招标方确认。不达标处置:判重阈值调向保守侧一档,人工复核带上下界各放宽 0.03,落入带内的样本转人工判定;若不达标集中在同族变体上,先补关键字段清单再重跑。
语义级相似度过滤基于向量表示与近邻检索,识别表达不同但语义重复或高度接近的样本。近重复抓的是字面相近,语义级抓的是字面不同而意思相同。这类重复在问答类样本上占比最高:同一条管理制度,不同人问法不同,"差旅住宿标准是多少"与"出差住宿费怎么报"指向同一个答案,二者字面相似度极低。
实现口径为:文本经向量化模型编码为稠密向量,向量模型经统一网关接入,采用当期能力评测领先的通用模型,可替换、可评测、可随代升级;向量入近似最近邻索引(本方案采用分层可导航小世界图,Hierarchical Navigable Small World,HNSW),检索参数按召回优先设置;余弦相似度不低于 0.92 判语义重复,0.85 至 0.92 进人工复核带。向量模型更换时,索引须整体重建并对上一版的判定结果做抽样回归比对,比对差异超过 2 个百分点的,该批次判定结果作废重跑——这一条是为了防止换模型后新旧判定不一致而无人察觉。
语义过滤对指令微调样本有一处特殊用法:同一问题的多种问法本身是有价值的多样性,不应一律删除。本工具的处理是按"语义簇"聚类而非按对删除,簇内保留若干条问法变体(默认保留 3 条,按问法长度与句式差异取最分散的三条),其余删除。这样既压掉了冗余,又保住了问法多样性。簇的构成与保留逻辑写入重复组清单。
对图文与时序样本,语义级比对走各自的表示通道:图纸按几何要素与标注文本的联合表示,照片按视觉表示,时序段按统计特征与形态表示。跨模态的语义重复(如同一缺陷既有照片又有文字描述)不在本工具处理范围,由多模态对齐工具的对齐结果提供关联,本工具只在同模态内比对(对齐见「智能工具链(二):对齐与标注类」一节)。
本级的指标按三项给出。指标值与适用条件:人工复核带以外的判准率不低于 90%;适用条件是向量化模型与索引版本一致,余弦阈值取 0.92、复核带取 0.85—0.92。测量方法:与二级相同,复核样本自语义重复判定结果中随机抽取,每批次不少于 500 条。该门限随向量化模型换代重新标定。不达标处置:余弦阈值上调至 0.94,复核带下界降至 0.82,语义簇内保留条数由 3 条增至 5 条;换代引起的,按本小节的整体重建索引与抽样回归比对流程处理。
污染扫描支持训练集与验证集、测试集、专家题库、保留评测集及基准集之间的 n-gram 比对,防止评测样本、测试答案或保留数据进入训练集。这是本工具链中优先级最高的一项。它的失效不会表现为数据质量差,而会表现为验收指标虚高、上线表现落空。
扫描口径为:被保护集合(测试集、专家题库、保留评测集、基准集)先建 n-gram 倒排索引;训练集逐条样本切 n-gram 后查索引,命中即记录。n 的取值按内容类型分设:中文正文取连续 13 字,英文与代码取 8 元词组,结构化记录取字段值组合。单条样本的命中片段长度与命中次数共同决定风险等级。扫描方向是双向的:既查训练集是否含有被保护集合的内容,也查被保护集合是否含有训练集已有的内容。后者意味着这道题模型在训练时就见过,题目本身应当换掉。
风险等级与处理建议按表 2-4 固化。这张表是验收时的判定依据,等级划分口径与「质量评测方案」一节质量评测方案的内容干净性指标、「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节质检的泄漏检查项保持同一套说法。
表 2-4 污染风险等级与处理建议
| 等级 | 判定条件 | 含义 | 处理建议 | 是否阻断发布 |
|---|---|---|---|---|
| 高 | 命中片段覆盖被保护样本主体内容,或命中标准答案关键段 | 评测内容已进入训练集 | 训练侧样本隔离;该基准题目标记作废并补题 | 阻断 |
| 中 | 命中片段长度达阈值但不覆盖主体,或命中次数多而片段短 | 可能是共用的术语、标准条文或模板句式 | 转人工裁定,裁定结果写回规则库 | 阻断至裁定完成 |
| 低 | 仅命中通用术语、单位、型号编码 | 正常的领域词汇共现 | 登记不处理 | 不阻断 |
| 无 | 未命中 | —— | —— | 不阻断 |
高风险命中的拦截指标按三段给出。指标值与适用条件:以回灌测试度量,向训练集注入已知来自基准集的样本,按三档改写强度分别统计命中——原文照抄与同义替换两档全部命中,改写句式档不低于 85%;适用条件为 n 取值与索引粒度按本小节口径配置,被保护集合清单无遗漏。测量方法:每轮切分后执行一次回灌,注入量不少于 200 条,三档各不少于 60 条,逐档报命中数与命中率。不达标处置:缩短 n 取值一档并重建倒排索引后重跑;重跑仍不达标的,把未判定清楚的样本一律隔离不进训练集,并在该数据集版本的数据卡上登记"污染扫描存在未裁定项"。改写句式档的门限低于前两档,是因为该档的判定依赖语义通道而非字面通道,其召回随向量模型变化,按 7.3 节的门限校准机制逐季校准。
2-2 污染扫描的集合关系与扫描方向
图 2-2 污染扫描的集合关系与扫描方向。数据来源:招标文件 3.2.3.8.1(4);数据集规模口径见本卷「数据集建设及指标要求」一节。
工具输出重复组、保留样本、删除样本、相似度、命中规则、污染风险等级与处理建议七项。七项按两张表组织:重复组清单一行一条样本,污染命中报告一行一处命中。字段定义见表 2-5,字段名在接口文档中与此一致,不另起别名。
表 2-5 去重与相似度过滤的输出字段
| 表 | 字段 | 含义 | 取值 |
|---|---|---|---|
| 重复组清单 | group_id | 重复组标识 | 字符串 |
| 重复组清单 | sample_id | 样本标识 | 字符串 |
| 重复组清单 | decision | 处置结论 | 保留/删除/同族变体/待复核 |
| 重复组清单 | decision_reason | 处置理由 | 来源优先级/关键字段差异/复核结论 |
| 重复组清单 | similarity | 与组内保留样本的相似度 | 0—1,注明算法口径 |
| 重复组清单 | matched_rule | 命中规则 | 指纹口径名/近重算法名/语义阈值名 |
| 重复组清单 | variant_of | 同族变体关联 | 关联样本标识列表 |
| 污染命中报告 | hit_id | 命中标识 | 字符串 |
| 污染命中报告 | train_sample_id | 训练侧样本标识 | 字符串 |
| 污染命中报告 | protected_set | 被保护集合 | 基准集/专家题库/测试集/保留评测集 |
| 污染命中报告 | protected_sample_id | 被保护侧样本标识 | 字符串 |
| 污染命中报告 | hit_span | 命中片段 | 原文片段+起止位置 |
| 污染命中报告 | hit_count | 命中次数 | 整数 |
| 污染命中报告 | risk_level | 污染风险等级 | 高/中/低/无 |
| 污染命中报告 | suggested_action | 处理建议 | 按表 2-4 取值 |
| 污染命中报告 | review_status | 人工裁定状态 | 待裁定/已裁定保留/已裁定隔离 |
两张表同时以 JSON Lines 与 CSV 两种格式输出,并生成一份 Markdown 摘要供人阅读。摘要包含本批次处理量、各级命中量、去重率、污染命中分布与需人工处理的条数,篇幅控制在一页之内,使项目组不必打开数据文件就能判断这一批是否正常。
一次去重任务的执行按八步推进,每步的输入字段、判据、阈值来源与失败处置见表 2-5A。表中"阈值来源"一列区分三种:按定义确定(无可调参数)、配置项(取自表 6-1,按数据集类型分设)、标定得出(由复核结论反推,按 7.3 节逐季校准)。
表 2-5A 去重与相似度过滤的执行步骤、输入字段与阈值来源
| 步 | 动作 | 用到的输入字段 | 算法或判据 | 阈值及其来源 | 失败或异常时的复核 |
|---|---|---|---|---|---|
| 一 | 前置检查 | 数据集版本、血缘挂接状态、被保护集合清单、规则集版本 | 校验输入数据集已完成质检、血缘字段齐备、被保护集合可读 | 无阈值,按定义判定 | 任一项不满足即拒收任务,返回输入类错误并指明缺失项 |
| 二 | 归一化与指纹计算 | 样本正文、业务主键、源文件路径与大小、结构化字段集 | 全半角统一、不可见字符剔除、空白折叠、数字与单位统一后取 SHA-256;图纸取几何要素序列指纹,照片取感知哈希,时序取采样值序列指纹 | 归一化规则集版本为配置项;指纹算法按定义确定 | 归一化规则命中异常(如单位字典缺项)的样本挂起,进"规则待补清单" |
| 三 | 一级精确重复判定 | 五类指纹值、来源优先级字段(审核状态、系统来源、血缘完整度、时间) | 指纹相同即同组;组内按四条来源优先级依次比较定保留项 | 无阈值,按定义确定 | 主键未贯通的组合标注"主键口径待确认",不判重,转人工 |
| 四 | 二级近重复候选生成与精算 | 归一化正文、数据集类型标记 | 中文 5 字窗/英文 3 词窗分片,128 个 MinHash 签名,32×4 分段建桶出候选对;候选对精算 Jaccard;并行算 64 位 SimHash 汉明距离 | 判重阈值与复核带见表 2-3,属配置项,初值按行业常用取值、后续标定得出 | 候选对数量超过单批上限时按桶分片续跑,不降签名数——降签名数会改变召回口径 |
| 五 | 关键字段差异检查 | 场景关键字段集(材料牌号、板厚、工序序列、压弯参数、孔位等) | 候选近重复对在关键字段上存在差异即改判同族变体,双方保留并互相登记 | 关键字段集为配置项,由工艺与设计口确认 | 关键字段缺值的样本对不自动判重,转人工;缺值情况记入问题样本清单 |
| 六 | 三级语义相似过滤 | 归一化正文、模态标记、向量索引版本 | 向量化后在近似最近邻索引中检索,按余弦相似度判定;指令微调样本按语义簇聚类,簇内按问法长度与句式差异保留最分散的若干条 | 余弦阈值 0.92、复核带 0.85—0.92、簇内保留 3 条,均为配置项,随向量模型换代重标 | 向量化服务不可用时降级为仅执行一至二级,产出标记"降级完成",恢复后补跑并比对差异 |
| 七 | 四级污染扫描 | 训练侧样本正文、被保护集合 n-gram 倒排索引、内容类型 | 训练集逐条切 n-gram 查倒排;双向扫描;按命中片段长度与命中次数定风险等级 | n 取值(中文 13 字/英文 8 元词组)与等级判定参数为配置项;等级划分口径与「质量评测方案」一节、「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节同一套 | 中风险命中转人工裁定,裁定前该样本不进训练集;裁定结论回写规则库 |
| 八 | 输出与隔离 | 处置结论、理由、相似度、命中规则、同族关联 | 按表 2-5 字段生成重复组清单与污染命中报告;删除样本移入隔离区而非物理删除 | 隔离保留期为配置项,默认一个版本周期 | 隔离写入失败即整批次回滚,不允许"已删除但未入隔离区"的中间态 |
表 2-5A 数据来源:招标文件 3.2.3.8.1(1)—(5);阈值取值见表 2-2、表 2-3、表 2-4 与配置清单表 6-1。
八步中第五步与第七步是本项目相较通用去重工具的两处增补。第五步应对的是借用件与原件的区分,第七步应对的是评测内容回流训练集,二者都来自矿装历史资料高度同源这一现场条件。
四级判定各自依赖一套索引,索引的增量更新与重建口径必须写明:增量口径决定每批次的算力开销,重建口径决定判定结论在什么情况下失去可比性。四套索引的构成见表 2-5B。
表 2-5B 四套索引的构成、增量更新与重建触发
| 索引 | 承载内容 | 增量更新方式 | 触发整体重建的条件 | 重建期间的处理 |
|---|---|---|---|---|
| 指纹表(一级) | 五类指纹值到样本标识的映射 | 新批次只对新增样本算指纹并写入;已入表样本不重算 | 归一化规则集版本变更;参与比对的结构化字段集变更 | 旧表继续服务,新表并行构建;两表对同一批样本的判定结果比对一致后切换 |
| MinHash/LSH 桶(二级) | 每条样本的 128 个签名与 32 个桶键 | 新增样本算签名后入桶;桶内候选对只在涉及新样本的组合上重算 | 分片单元变更;签名数或分段方式变更 | 同上;重建期间新批次先入新索引,二级判定暂以旧索引结论为准并登记 |
| 向量索引(三级) | 稠密向量与分层可导航小世界图 | 新增样本编码后插入图结构;已入索引样本不重复编码;图的邻居表按插入增量维护 | 向量化模型或其版本变更;距离度量变更 | 重建完成后对上一版判定结果抽样回归比对,差异超过 2 个百分点的批次判定作废重跑 |
| n-gram 倒排(四级) | 被保护集合的 n-gram 到样本与位置的倒排 | 被保护集合新增题目时只对新增题目建倒排;训练侧不建索引,逐条查询 | n 取值变更;被保护集合发生题目删除或答案修订;基准集发布新主版本 | 重建期间暂停训练集入库,避免在倒排不完整时放行样本 |
索引规模按首期数据量估算:指纹表与签名表按候选样本条数线性增长;向量索引是算力主要消耗项,按增量编码,首轮全量编码之后每批次只编码新增部分。删除样本在各索引中按墓碑标记摘除而非物理删除,摘除记录保留,使隔离区回取时可重新挂接(回取见 2.2.10)。
索引版本与数据集版本一并记入血缘:每一次判定结论都记录其所用的四套索引版本号。这一条的用处在版本回滚与争议复核时显现——没有索引版本,"当时为什么判成重复"这个问题答不出来。
去重有两类错误,方向相反且代价不同。误杀指本应保留的样本被判为重复而删除,代价是信息永久丢失——被删的样本既不在数据集里也不在问题清单里,不会再被发现,所以必须有专门的复核通道而不能依赖下游发现。漏检指本应判出的重复或污染未判出,代价是重复样本进入训练集、评测内容回流,前者稀释训练信号,后者使验收指标虚高。
两类错误的复核样本来源不同,口径见表 2-5C。三条通道都要求随机抽取:不专挑难的,也不专挑相似度接近阈值的。按难度抽样会使估计出的误杀率系统性偏高,按相似度抽样会使它偏低,两种偏差在报表上都看不出来。确需按来源或数据集类型分层抽取的,用分层口径计算,分层比例一并留档(算法同 5.4 节)。
表 2-5C 误杀与漏检的复核通道、抽样口径与处置
| 复核通道 | 针对的错误 | 抽样口径 | 判据 | 结论的回流去向 | 不达标处置 |
|---|---|---|---|---|---|
| 删除样本抽检 | 误杀 | 每批次从 decision 为删除的样本中随机抽 200 条,双盲复核 | 复核人判定"该条含原条所无的信息"即计一次误杀 | 误杀率与置信区间进质量治理报告第 2 章;误杀集中的字段进关键字段集修订建议 | 误杀率高于 2% 则该批次删除动作整体撤销,自隔离区回取,阈值调向保守侧重跑 |
| 复核带全量复核 | 两者 | 落入人工复核带的样本全量复核,不抽样 | 按表 2-3 的数据集类型分别适用判重阈值 | 复核结论用于反推阈值应往哪边移,进季度校准记录 | 复核带样本量超过人工产能时,先扩宽保守侧、收窄激进侧,不直接放行 |
| 保留样本抽检 | 漏检 | 每批次从 decision 为保留的样本中随机抽 200 条,按内容两两配对复核 | 复核人判定"这两条是同一份信息"而工具未判重即计一次漏检 | 漏检集中的形态进归一化规则集或分片单元的修订建议 | 漏检率高于 5% 则下调判重阈值一档并重跑该批次 |
| 污染回灌测试 | 漏检 | 注入已知来自基准集的样本不少于 200 条,按原文照抄、同义替换、改写句式三档各不少于 60 条 | 注入样本是否被判为高风险命中 | 逐档命中率进测试报告与质量治理报告 | 按 2.2.5 节的不达标处置执行 |
复核台账逐条记录:复核批次、抽样方式与抽样量、复核人角色(记角色不记姓名)、自动判定结论、人工判定结论、是否一致、不一致的原因归类。台账按季度汇总,汇总结果是阈值校准的唯一输入——阈值不按经验调,按台账调。
复核结论与自动判定不一致时,一致率的计算与报告按 5.4 节的差值纠正口径执行,报"点估计(置信区间)"两段式,并同时登记人工复核样本量与自动判定样本量。
本工具不对任何样本做物理删除。判为删除的样本移入隔离区,隔离区按数据集版本分区存放,保留期默认一个版本周期(可配置为 7 至 180 日)。隔离的目的有两个:复核推翻结论时可回取;归因阶段发现某类知识缺失时,可核查是否曾被误删。
隔离样本保留的字段见表 2-5D。其中原始来源一组字段不可缺省——缺了这组字段,回取的样本无法续接血缘,回取就等于重新引入一条无来源的数据。
表 2-5D 隔离区留存字段与回取流程
| 分组 | 字段 | 用途 |
|---|---|---|
| 样本本体 | 样本标识、归一化前原文、原始文件引用、模态标记 | 回取后无需重新采集 |
| 原始来源 | 源系统标识、业务主键(图号加版次/施工号加零件号/工单号加工序号/炉次号/焊缝加焊道/设备编码)、取数时间、原文件指纹、入库批次标识 | 回取后续接血缘;核查该来源是否被成批误删 |
| 处置记录 | 所属重复组标识、被删理由、命中规则、相似度及其算法口径、保留样本标识、判定时所用的四套索引版本 | 复核时重现"当时为什么判成重复" |
| 同族关联 | 同族变体关联样本标识列表 | 族关系的双向登记在隔离后仍保留 |
| 隔离管理 | 进入隔离的时间、保留到期时间、回取申请与审批记录(记角色不记姓名) | 审计与到期清理 |
回取按五步执行:提出回取申请并说明理由(复核推翻、归因发现缺失、来源成批误删);校验该样本的原始来源字段齐备且源对象仍可追溯;按当前版本的归一化规则重算指纹并重跑一至三级判定,确认不与现有保留样本重复;血缘续接,追加一条"自隔离区回取"的处理记录,不改写原有记录;写入当前数据集版本并在质量治理报告的"待补与存疑"章登记本次回取。五步中第三步不可省——若当时的误判源于阈值过松,直接回取会把一条真重复放回数据集。
保留期到期后的清理同样留痕:清理前生成一份到期清单(样本标识、原始来源、被删理由),清单保留期不短于项目质保期。隔离区的读取与回取属敏感操作,按 5.5.2 节的授权矩阵控制,操作进审计日志。
处理规模按首期数据量估算:63 万张图纸及其配对工艺卡,加上四类数据集的候选样本。一级与二级算子按批次并行,单批 10 万条,支持断点续跑;三级向量化是算力主要消耗项,按增量处理,已入索引的样本不重复编码;四级索引常驻,训练集逐条查询。指标口径与性能承诺在非功能性章节统一给出(见「方案可行性分析」一节),本节不重复列数值。
接口按 3.2.3.11 的统一口径提供(见第 5 节)。验收按五件套交付:演示样例用一批真实图纸与工艺卡的脱敏子集跑通四级流水线;输入输出样例给出上表全部字段的实例;配置说明覆盖表 2-2 与表 2-3 的全部可配项;接口说明含任务创建、查询、结果获取、重试、导出、回调六类调用;测试报告含回灌测试结果与抽样复核一致率。
工具支持从类别、领域、来源、长度、难度、时间、质量等级与模态八个维度做分布统计与可视化。八个维度在矿装数据集上各有具体取值,统计才有意义;若只按通用维度统计,得到的图表看不出问题在哪。表 2-6 把八个维度落到本项目的具体对象上。
表 2-6 八个分布维度在本项目的取值口径
| 维度 | 取值口径 | 要看出什么 |
|---|---|---|
| 类别 | 备料 28 道工序、热处理三级判定、焊接缺陷类别、故障名录条目、选型机型档位 | 哪些类别样本过少,模型在这些类别上不可用 |
| 领域 | 供需计划、产品工艺设计、制造过程、质量四个数据域及下级业务域 | 与配比目标的偏差(配比见「数据集建设及指标要求」一节) |
| 来源 | 产品全生命周期管理、企业资源计划、制造执行、质量管理、仓储物流、协同办公、采集监控、远程运维等取数通道 | 是否被单一来源主导;来源质量差异是否传导到数据集 |
| 长度 | 文本按字数分档,时序按时长分档,图纸按要素数分档 | 长度偏置是否使模型只会处理短样本 |
| 难度 | 按标注一致率、专家标注耗时、模型初判置信度三项合成分档 | 简单样本是否占比过高,难样本是否不足 |
| 时间 | 按图纸签发年份、工单完工时间、炉次开炉时间、报警发生时间分档 | 是否只覆盖近年;老工艺与新工艺的比例 |
| 质量等级 | 按质检结论与血缘完整度分 A/B/C 三档 | 低质量样本的占比与分布位置 |
| 模态 | 文本、图纸、照片、时序、表格、视频 | 多模态样本是否集中在少数几类任务上 |
可视化按维度性质选图形:类别与领域用条形图并按占比排序,长度与难度用直方图加累积曲线,时间用折线图,来源用堆叠条形图按类别拆分,模态用矩阵图展示模态与任务类型的交叉覆盖。两个维度的交叉分布另出热力图,默认出"类别×来源"与"类别×时间"两张,这两张是暴露偏置最有效的视角——某一类别的样本若全部来自同一个来源或同一个时间段,该类别的泛化能力存疑。可视化输出为图表文件与数据表双份,图表进质量治理报告,数据表供复核与再分析。
统计本身的正确性是一项可回归测试的指标。指标值与适用条件:对按已知分布构造的数据集,工具的统计结果与构造参数的偏差不超过千分之一,八个维度逐项比对;适用条件是构造集的维度取值与表 2-6 的取值口径一致。测量方法:每次工具版本发布前跑一次构造数据集回归测试,八个维度与两张交叉热力图逐项比对,比对结果随测试报告提交。不达标处置:该项属确定性计算,偏差超限即判为工具缺陷,该版本不交付,修复后重测,不以"统计口径差异"解释。
工具支持识别长尾类别、来源偏置、长度偏置、异常峰值、批次漂移以及增强前后的分布变化。六种情形各有判定口径,口径必须写死,否则"偏置"是个主观词,验收时无从核对。
长尾类别按双条件判定:某类别样本占比低于 1%,且绝对数量低于该类任务的最小可用量。最小可用量按任务类型给出默认值(分类类任务每类不少于 200 条,生成类任务每类不少于 50 条,诊断类任务每种故障不少于 30 个事件段),实际值随蓝图设计确认。两个条件都满足才判长尾,只满足占比条件的不判——数据集总量大时,占比 0.5% 也可能有上千条,够用。
来源偏置按单一来源占比与来源熵两项判定:某一来源在某类别内占比超过 70%,或该类别的来源分布熵低于阈值,判为来源偏置。长度偏置按长度分布的偏度与分位数判定:中位数与均值差异超过一倍标准差,或 90 分位长度不足 10 分位长度的三倍(分布过窄),判为长度偏置。
异常峰值按分位数与局部密度判定:某个取值点的样本密度超过邻域中位密度的 10 倍,判为异常峰值。这类峰值在矿装数据上多半有业务原因而非数据错误。某个槽宽档位是主力机型,样本自然多;某一年因大订单图纸数量激增。工具的职责是报出来并提示可能原因,不自动削峰。处置建议分三种:业务原因造成的记入数据卡说明;取数逻辑造成的(如某批次重复导入)退回去重环节;标注口径造成的(如标注员倾向于选某个默认值)退回标注环节复核。
批次漂移按群体稳定性指数(Population Stability Index,PSI)判定,以首批次或指定基准批次为参照:PSI 不超过 0.1 判稳定,0.1 至 0.25 判需关注,超过 0.25 判显著漂移。显著漂移触发两个动作:核查该批次的取数范围与标注规则是否变更,以及核查是否有新来源接入。增强前后的分布变化按同一套 PSI 口径比对增强前数据集与增强后数据集,PSI 超过 0.25 说明增强改变了数据集形状,须回看增强参数(增强工具见「智能工具链(二):对齐与标注类」一节)。
表 2-7 六种分布问题的判定口径与处置
| 问题 | 判定口径 | 默认阈值 | 处置动作 | 阻断发布 |
|---|---|---|---|---|
| 长尾类别 | 占比与绝对数双条件 | 占比 <1% 且绝对数低于最小可用量 | 按 2.3.4 节选均衡方法;不可行者记入数据卡 | 不阻断,须登记 |
| 来源偏置 | 单一来源占比或来源熵 | 单来源 >70% | 扩展取数来源;暂不可行者标注适用范围 | 不阻断,须登记 |
| 长度偏置 | 偏度与分位数比 | 均值中位数差 >1σ 或 P90/P10 <3 | 按长度分层采样补齐 | 不阻断 |
| 异常峰值 | 局部密度比 | >邻域中位密度 10 倍 | 判因后分别退回去重/取数/标注环节 | 判因前挂起 |
| 批次漂移 | PSI 对基准批次 | >0.25 显著 | 核查取数范围与标注规则变更 | 显著漂移阻断该批次入库 |
| 增强前后变化 | PSI 对增强前 | >0.25 | 回看增强参数与增强比例 | 阻断至参数修正 |
2.3.2 节给出了六种分布问题的判定条件,本小节给出三项核心量的计算式、一组算例与由算例导出的补充路径。给算例的用处是让这三个量在验收时可被独立复算:招标方拿到分布统计表,按下列计算式自己算一遍,应得到同一结果。
覆盖度按类别计,计算式为:某类别的覆盖度 = 该类别已有合格样本数 ÷ 该类别的最小可用量。合格样本指质检通过且血缘齐备的样本,合成样本按其占该类别的实际条数计入但单独标记。覆盖度不小于 1 判覆盖充分,0.3 至 1 判覆盖不足,小于 0.3 判覆盖盲区。分母的最小可用量按任务类型取值:分类类任务每类 200 条,生成类任务每类 50 条,诊断类任务每种故障 30 个事件段,实际值随蓝图设计确认。
类别不平衡度按数据域内计,取两个量:不平衡比 = 域内最大类别样本数 ÷ 域内最小类别样本数;归一化熵 = 实际类别分布的信息熵 ÷ 同类别数下均匀分布的信息熵。不平衡比大于 20 或归一化熵低于 0.6,判该域类别不平衡。取两个量而不取一个,是因为不平衡比只看两端、对中间分布不敏感,归一化熵只看整体形状、对单个极小类别不敏感,两者互补。
长尾不足量按类别计,计算式为:长尾不足量 = max(0,最小可用量 - 已有合格样本数)。这个量是补齐需求单上的"目标补充条数",也是均衡方法上限校验的被除数。
表 2-7A 三项核心量的计算算例(备料工序类别维度,样本数为算例假设值)
| 类别 | 已有合格样本数 | 最小可用量 | 覆盖度 | 长尾不足量 | 占全域比 | 判定 |
|---|---|---|---|---|---|---|
| 下料 | 4 800 | 200 | 24.0 | 0 | 32.0% | 覆盖充分;为域内最大类别 |
| 压弯 | 3 100 | 200 | 15.5 | 0 | 20.7% | 覆盖充分 |
| 钻孔 | 2 450 | 200 | 12.3 | 0 | 16.3% | 覆盖充分 |
| 坡口加工 | 1 020 | 200 | 5.1 | 0 | 6.8% | 覆盖充分 |
| 校平 | 620 | 200 | 3.1 | 0 | 4.1% | 覆盖充分 |
| 预热 | 148 | 200 | 0.74 | 52 | 0.99% | 占比 <1% 且绝对数低于最小可用量,判长尾类别 |
| 火焰矫正 | 95 | 200 | 0.48 | 105 | 0.63% | 判长尾类别 |
| 高温回火 | 41 | 200 | 0.21 | 159 | 0.27% | 覆盖度 <0.3,判覆盖盲区 |
| 其余 20 道工序合计 | 2 726 | —— | —— | —— | 18.2% | 逐类另行计列 |
| 全域合计 | 15 000 | —— | —— | 316 | 100% | 不平衡比 = 4 800 ÷ 41 ≈ 117;归一化熵 ≈ 0.52,判类别不平衡 |
表 2-7A 数据来源:计算式见本小节;最小可用量取表 6-2 的默认值;样本数为说明计算口径的假设值,非实测数据。
算例读出三件事。其一,"预热"与"火焰矫正"两类同判长尾,但不足量相差一倍,补齐投入不同,补齐需求单要逐类给量而不是给一个总数。其二,"高温回火"覆盖度 0.21 已落入盲区档,对它做过采样无意义——41 条复制 3 倍仍是 41 条的信息量,模型会把这 41 条背下来,评测时该类别指标虚高。其三,全域不平衡比 117、归一化熵 0.52 同时越限,说明问题不在个别类别而在整体分布形状,处置应同时包含优势类别的欠采样与长尾类别的补齐,只做其中一边改善有限。
三项量越限后的补充路径按表 2-7B 选择。路径的选择只看两个输入:覆盖度所在档位,以及该类别在现场是否本就罕发。现场罕发的类别走第五条路径,不以合成样本凑数。
表 2-7B 按覆盖度档位与现场发生频次选择补充路径
| 覆盖度档位 | 现场发生频次 | 补充路径 | 具体动作 | 上限校验 | 不可行时的登记 |
|---|---|---|---|---|---|
| ≥1 且占比过高 | 常见 | 欠采样 | 优先削去重环节判为同族变体的样本,其次削时间上最密集的批次 | 削减后不低于最小可用量 | 不适用 |
| 0.3—1 | 常见但取数未覆盖 | 扩展取数范围 | 向采集接入提出取数需求,扩展来源系统或时间窗口(见「数据资源采集接入方案」一节) | 不适用 | 取数不可行的转下一行 |
| 0.3—1 | 常见且取数已覆盖 | 过采样+权重采样 | 复制倍数不超过 3 倍,权重跨度不超过 10 倍;过采样样本单独标记 | 过采样后占比不超过目标占比的 1.2 倍 | 上限内补不足的,余量转生成补齐 |
| <0.3 | 规则明确、可按约束生成 | 生成补齐 | 出补齐需求单交模板化生成工具(见 3.2 节),生成结果回本工具重新统计分布 | 合成样本占该类别不超过 30%,占数据集整体不超过配比目标的 10% | 上限内补不足的转下一行 |
| 任意 | 现场本就罕发 | 不做均衡,出覆盖不足登记 | 在数据卡登记该类别覆盖不足与当期实际条数;降低该类别的判定门槛并在场景侧设人工确认环节 | 不适用 | 该类别的相关评测维度不纳入当期验收口径 |
表 2-7B 数据来源:五种均衡方法与上限见表 2-8;覆盖度档位划分见本小节;罕发类别的处置口径与数据卡覆盖度如实统计口径一致(见「数据集建设及指标要求」一节)。
接前述算例:高温回火覆盖度 0.21,热处理不合格炉次在现场本就罕发,按表 2-7B 末行处置,出覆盖不足登记而非合成 159 条;预热与火焰矫正覆盖度分别为 0.74 与 0.48,工序本身常见而取数未覆盖,先走扩展取数路径,取数不可行的部分按不足量 52 条与 105 条出补齐需求单,交模板化生成工具执行(需求单字段见 2.3.4 节)。
工具支持过采样、欠采样、权重采样、分层采样与生成补齐五种方式改善长尾类别覆盖。五种方法不能随意选,选错会把一个问题换成另一个问题:对只有 20 条样本的故障类别做 10 倍过采样,模型会把这 20 条背下来,评测时该类别指标很高而实际不可用。选用条件按表 2-8。
表 2-8 五种均衡方法的选用条件与上限
| 方法 | 适用条件 | 上限约束 | 已知副作用与防范 |
|---|---|---|---|
| 过采样 | 长尾类别已有一定样本量且样本本身多样 | 复制倍数不超过 3 倍;单类别过采样后占比不超过目标占比的 1.2 倍 | 过拟合;过采样样本单独标记,评测时按原始分布加权还原 |
| 欠采样 | 优势类别样本充裕且内部冗余明显 | 削减后不低于该类最小可用量;优先削去重环节判为同族变体的样本 | 丢信息;被削样本保留在隔离区可追回 |
| 权重采样 | 训练侧支持样本权重 | 权重跨度不超过 10 倍 | 权重过大等效过采样;权重随数据集版本固化并记入数据卡 |
| 分层采样 | 需要在多个维度同时控制比例 | 分层维度不超过 3 个,避免层内样本过少 | 层数爆炸;层内样本少于 30 条的层合并处理 |
| 生成补齐 | 长尾类别样本严重不足且业务规则明确可生成 | 合成样本占该类别不超过 30%;占数据集整体不超过配比目标的 10% | 合成样本与真实分布偏离;合成样本全部打标可识别,评测集一律不含合成样本 |
生成补齐与模板化数据生成工具链配套使用:分布分析识别出需要补齐的类别与补齐量,模板化生成工具按业务约束生成,生成结果回到本工具重新统计分布并复核是否达到目标(见 3.2 节)。两者之间的接口是一张补齐需求单,含类别、目标数量、必须覆盖的参数组合、禁止出现的组合(如某材料牌号不允许某道工序)。
有一类情形不做均衡:当某个类别在现场本就极少发生,而数据集的用途是让模型在遇到时能识别,此时正确做法不是把样本凑到与常见类别相当,而是降低该类别的判定门槛并在场景侧设人工确认环节。工具在这种情形下的输出是一条明确的覆盖不足登记,而不是一批合成样本。热处理不合格炉次、焊接低频缺陷、在役装备的稀有故障模式都属此类。这一点与数据卡的覆盖度如实统计口径一致(见「数据集建设及指标要求」一节)。
工具输出质量治理报告,报告含问题样本清单、质量指标、分布变化、风险等级与建议处理动作。报告按数据集版本出,一个版本一份,目录固化为表 2-9,不随批次调整,便于逐版本比对。
表 2-9 质量治理报告目录与内容口径
| 章 | 内容 | 来源 |
|---|---|---|
| 一 | 本版本概要:数据集标识、版本号、样本量、处理批次、处理时间窗 | 任务骨架登记 |
| 二 | 质量指标:去重率、污染命中率、校验通过率、血缘挂接率、标注一致率、低质量样本占比 | 各算子汇总 |
| 三 | 问题样本清单:按问题类型分节,每条给样本标识、问题描述、建议动作、责任环节 | 重复组清单+污染报告+校验结果 |
| 四 | 分布现状:八个维度统计表与图,两张交叉热力图 | 分布统计算子 |
| 五 | 分布变化:与上一版本及基准批次的比对,PSI 与关键类别占比变化 | 分布统计算子 |
| 六 | 风险等级:按阻断项、须登记项、提示项三档汇总,列明阻断项的解除条件 | 质量检查节点判定 |
| 七 | 建议处理动作:逐条对应第 3 章与第 6 章,给出责任环节与期限建议 | 规则库+归因工具 |
| 八 | 待补与存疑:本版本未能解决的项,含污染未裁定项、覆盖不足类别、血缘不全样本 | 各算子遗留项登记 |
报告须设「未解决问题」专章:未解决项逐条列明并随版本累计,解决一条划掉一条,不得跨版本消失。报告同时输出为 Markdown 正文与附表 CSV,附表可直接导入运营平台的质量看板(平台见「数据集运营服务管理平台方案」一节)。
一次分布分析与均衡任务按七步推进,见表 2-9A。统计类步骤的正确性无法靠眼看,只能靠已知答案反推,因此第二步与第三步都设构造数据集回归测试(用例见 6.2.3 节)。
表 2-9A 分布分析与均衡的执行步骤、输入字段与阈值来源
| 步 | 动作 | 用到的输入字段 | 算法或判据 | 阈值及其来源 | 失败或异常时的复核 |
|---|---|---|---|---|---|
| 一 | 维度取值归一 | 类别标签、领域标签、来源标识、长度、难度三项合成因子、时间字段、质检结论、模态标记 | 按各维度的分档规则把原始取值映射到统计档位 | 分档规则为配置项,变更影响历史可比性,须登记 | 枚举值不在字典内的样本入"字典待补清单",不归入"其他"档——归入其他档会掩盖字典缺项 |
| 二 | 八维度分布统计与交叉表 | 归一后的八维取值、样本权重 | 逐维度计数与占比;按配置的两维组合出交叉热力图数据表 | 交叉组合为配置项,默认类别×来源、类别×时间 | 与构造数据集的已知分布比对,偏差超过千分之一即判工具缺陷 |
| 三 | 三项核心量计算 | 各类别合格样本数、最小可用量、域内类别计数 | 按 2.3.3 节的覆盖度、不平衡比、归一化熵、长尾不足量四个计算式 | 最小可用量随蓝图设计确认;不平衡比 20、归一化熵 0.6、占比 1% 为配置项 | 最小可用量未确认的任务类型按默认值计算并在报告中标注"按默认值" |
| 四 | 六类分布问题判定 | 第二步与第三步的结果、基准批次标识、增强前数据集版本 | 按表 2-7 的六条判定口径;漂移按群体稳定性指数对基准批次计算 | 判定阈值见表 2-7,属配置项 | 基准批次未指定时默认取首批次并在报告中标注;指定批次不可读则该项不判定,登记为未检 |
| 五 | 异常峰值归因 | 峰值所在取值点、该点样本的来源与批次分布、重复组标识 | 判三类成因:业务原因、取数逻辑重复导入、标注默认值倾向 | 密度倍数阈值为配置项,默认 10 倍 | 三类都不成立的峰值挂起,转人工判因,判因前该批次不入库 |
| 六 | 补充路径选择与均衡方案生成 | 覆盖度档位、现场发生频次标记、配比目标 | 按表 2-7B 逐类别选路径;按表 2-8 校验各方法上限 | 上限值见表 2-8,属配置项 | 请求超出上限的均衡动作直接拒绝并返回策略类错误,不执行后再告警 |
| 七 | 质量治理报告生成 | 各步结果、重复组清单、污染报告、校验结果、工单状态 | 按表 2-9 的八章目录组装 | 报告模板版本为配置项 | 第 8 章"待补与存疑"为空时不得省略该章,须写明本版本无遗留项 |
表 2-9A 数据来源:招标文件 3.2.3.8.2(1)—(4);阈值取值见表 2-7、表 2-8 与配置清单表 6-2。
本类含模板化数据生成、数据集切分与基准构建两个工具链。
这一类工具要保障四件事:生成数据格式稳定、内容可解释、评测集长期可比、数据版本可管理。四件事看着分属两头,实际共一条线索,即可控。合成数据如果不可控,就只是一批看起来像真数据的噪声;评测集如果不可控,这一轮与下一轮的指标就不能比;版本如果不可控,出了问题找不回当时用的是哪批数据。本类的两个工具链分别管生成侧的可控与评测侧的可控。
把这一类放在矿装场景上看,可控的分量尤其重。甲方的六个专业场景中,有四类数据当前根本没有记录,须从零补录:选型的投运使用评价、热处理的装载量与码装方式登记、焊接的层间温度、健康诊断的维修事实。这些数据的正确建设方式是在既有业务流程里增设填报入口,由系统预填、经手人确认,而不是一次性补录或靠生成填满。
模板化生成工具在这里的作用是有限且明确的:为"天然稀少但后果严重"的情形构造样本,让模型在遇到时有过见识;以及为格式稳定、规则清晰的结构化记录批量产生训练与评测样本。我方不以合成样本替代真实数据:合成样本一律打标可识别,评测集不含合成样本。这条界线在 3.2.6 节的验收口径中写入。
表 3-1 生成控制与评测类工具链输入输出口径
| 类别 | 项目 | 矿装对象上的具体取值 | 格式 |
|---|---|---|---|
| 输入 | 规则模板 | 工艺卡模板、检验记录模板、选型校核问答模板、故障现象—处置问答模板 | 模板文件,含槽位定义与条件逻辑 |
| 输入 | 参数字典 | 设备型谱、部件型谱、材料牌号表、备料 28 道工序字典、故障名录、缺陷类别表、质量指标项 | 结构化字典,带版本号 |
| 输入 | 业务约束 | 工序先后约束、材料与工艺匹配约束、参数取值窗口、禁止组合清单 | 约束规则文件 |
| 输入 | 采样配置 | 各参数的取值分布、组合覆盖要求、生成数量、随机种子 | 配置文件 |
| 输入 | 切分策略 | 随机/分层/时序/按来源隔离/按文档级/按业务场景 | 配置文件 |
| 输入 | 评测协议 | 题型、能力维度、评分规则、指标口径、复核规则 | 协议文件,带版本号 |
| 产出 | 结构化合成样本 | 带完整字段的合成记录,标记为合成来源 | JSONL/Parquet |
| 产出 | 生成批次 | 批次标识、模板版本、参数版本、数量、校验结果、审核状态 | 批次台账 |
| 产出 | 模板版本记录 | 模板内容快照、变更说明、生效范围、影响批次 | 版本库 |
| 产出 | train/valid/test 数据集 | 三份互斥样本集及其切分凭据 | JSONL+切分记录 |
| 产出 | 评测结果 | 指标、样本级结果、版本对比、人工复核状态 | JSON+CSV+Markdown 报告 |
用大模型自由生成训练样本,产量高、成本低,但在工业数据集上有两个过不去的问题:一是字段不稳定,同一批生成的工艺卡样本,有的带坡口字段有的不带,入库后下游解析逻辑无从统一;二是内容不可解释,生成的一条"材料 Q345B、板厚 20、压弯角度 90 度、工序序列为下料—压弯—钻孔"是否符合备料分厂的实际工序约束,无从核对。工业数据集的下游用途是辅助工艺判断与质量判定,一条不符合实际约束的样本进入训练集,造成的不是精度损失而是错误知识。
模板化生成把这两个问题换成可管理的形式。字段由模板的槽位定义固定,生成多少批都是同一套字段;内容的合规性由业务约束与 Schema 校验两道检查把住,约束写在明处,可由工艺口逐条确认。代价是模板本身要人来编,覆盖面受模板数量限制。我方的取舍是:结构稳定、规则清晰、量大重复的记录类样本走模板化生成;需要自然语言多样性的问答与论述类样本由数据增强与改写工具承担(见「智能工具链(二):对齐与标注类」一节),两者产出都回到本节 3.3 的切分工具统一管理。
3-1 模板化数据生成的执行链路与四道关卡
图 3-1 模板化数据生成的执行链路与四道关卡。数据来源:招标文件 3.2.3.9.1(1)—(5)。
工具支持通过规则模板、参数槽位、条件逻辑、枚举值、数值范围、组合关系与业务约束批量生成结构稳定、字段完整的样本。七个要素的分工是:模板定结构,槽位定位置,枚举与数值范围定单个槽位的取值集合,条件逻辑与组合关系定槽位之间的相互制约,业务约束定整条样本是否成立。
槽位类型按表 3-2 划分。类型的作用是让采样器知道怎么取值、让校验器知道怎么检查,不是为了分类而分类。
表 3-2 槽位类型与取值方式
| 槽位类型 | 取值方式 | 矿装取值举例 | 校验要求 |
|---|---|---|---|
| 枚举槽位 | 从参数字典取值 | 材料牌号、工序名、缺陷类别、故障条目 | 必在字典内且字典版本一致 |
| 数值槽位 | 在区间内按指定分布采样 | 板厚、压弯角度、目标硬度、保温时间 | 落在区间内;单位规范;精度位数符合 |
| 派生槽位 | 由其他槽位按公式计算 | 压弯件展开长(按中性层系数计算)、材料定额 | 公式版本登记;结果复算一致 |
| 序列槽位 | 从有序集合按约束抽子序列 | 工序序列(备料 28 道工序的合法子序列) | 先后约束成立;序列长度在范围内 |
| 文本槽位 | 从语句库取值或按句式模板填充 | 工艺要求描述、检验结论措辞 | 不含占位残留;术语与字典一致 |
| 引用槽位 | 引用既有真实对象标识 | 设备型号、部件编码、图号前缀 | 引用对象存在且在役状态符合 |
| 条件槽位 | 依前序槽位取值切换取值集合 | 材料为某牌号时热处理工艺窗口随之切换 | 条件分支覆盖完整,无落空分支 |
条件逻辑与组合关系用一套规则表达,不嵌入模板正文。这样做的理由是规则要让工艺口的人看得懂并逐条确认:规则写成"若材料牌号属于某组且板厚大于某值,则压弯工序前须插入预热工序"这类可读形式,由工艺部门签字确认后入库,而不是藏在模板的代码里。禁止组合另列清单,命中即判该参数组不合法,不生成。规则表与禁止组合清单都带版本号,变更须说明原因与影响范围,受影响的历史批次在台账里标注。
模板的编制与维护遵循一条纪律:模板由业务规则驱动,不由样本数量驱动。需要补哪类样本、补多少,由分布分析工具的补齐需求单决定(见 2.3.4 节);模板只负责在约束内把样本造对。补齐需求与模板约束分开,避免为凑数量放宽约束。
工具支持对设备、部件、故障、工艺、质量指标与安全规则等变量进行受控采样,覆盖不同业务场景。受控的含义有三层:取值在合法集合内、取值分布按指定分布而非一律均匀、参数之间的组合覆盖达到指定要求。
第一层由槽位类型保证。第二层按配置指定:主力机型档位与常见材料牌号按真实使用频次采样,使合成样本的分布形状不与真实数据相悖;稀有故障与低频缺陷按提升后的频次采样,这正是生成补齐要解决的事。两种采样目标相互矛盾,所以分批生成而非混在一批:分布贴近批用于补充常规样本的字段多样性,稀有强化批专门针对长尾类别,两批在数据集中分别计量、分别设占比上限(上限见表 2-8)。
第三层是组合覆盖。工业参数的组合空间大,全组合不可行也无必要。我方采用两两组合覆盖(pairwise)为默认口径:对参数集合中任意两个参数的取值组合,至少出现一次合法实例;对工艺口标记为关键的参数对,提升到三三组合覆盖。覆盖率由采样器统计并写入批次台账,未达覆盖目标的组合逐条列出,这份清单同时是工艺口核对约束表是否有遗漏的材料。随机种子固定并记入批次台账,同种子同配置重跑结果一致,这是可复现的前提。
安全规则类变量的采样需要单独约束。涉及安全操作规程、禁止动作、应急处置的样本,不按分布采样,而按规程条目逐条生成——每一条规程至少对应一组样本,覆盖正例与典型违规例。这类样本的标准答案由安全管理口确认,不由模型生成。
工具支持对生成结果做 Schema 校验,检查字段完整性、类型正确性、取值范围、单位规范、格式规范与业务约束六项。六项检查按代价递增顺序执行,前一项不过就不做后一项,校验结果逐项记录而非只给通过与否。
表 3-3 Schema 校验的六类检查与失败处置
| 检查项 | 检查内容 | 实现方式 | 失败处置 |
|---|---|---|---|
| 字段完整性 | 必填字段是否齐全,可选字段是否符合依赖关系 | JSON Schema 的 required 与 dependencies | 退回渲染,补填或标记该样本不可用 |
| 类型正确性 | 字段类型与声明一致,数组元素类型一致 | JSON Schema type 约束 | 退回渲染 |
| 取值范围 | 数值在区间内,枚举在字典内,日期在合理窗口内 | Schema 的 minimum/maximum/enum+字典比对 | 退回采样器,参数组作废 |
| 单位规范 | 单位存在、单位与量纲匹配、数值与单位的量级合理 | 单位字典+量纲表+量级区间 | 退回渲染并记入单位规范问题清单 |
| 格式规范 | 编码格式(图号、物料编码、工单号)、文本编码、小数位数、分隔符 | 正则规则库 | 退回渲染 |
| 业务约束 | 规则表与禁止组合清单逐条判定 | 规则引擎 | 退回采样器;若约束本身存疑,挂起转工艺口裁定 |
校验通过率是本工具链的首要质量指标,按基线、测量方法与不达标处置三段给出。首期基线为结构类五项检查的通过率不低于 99%、业务约束检查的通过率不低于 95%,适用条件为模板版本与参数字典版本匹配且规则表已经工艺口确认。测量方法为校验器对渲染产出全量自动统计,不抽样,分母为该批次渲染产出的候选样本数;判定以批次为单位,每批渲染结束即出一次通过率,并按月把各批次结果汇总为一条趋势曲线,连续三个批次低于基线的触发模板复盘。单批规模不足一千条的,与相邻批次合并后再判定,使通过率不被小样本波动误判为模板缺陷。不达标处置是修模板而非放宽校验。通过率低说明模板的槽位定义或约束表达与实际规则有偏差,这正是模板需要修订的信号。修订后模板版本递增,上一版本生成的批次在台账中标注"按旧版模板生成",必要时重跑;因通过率未达基线被退回的批次不计入交付量,退回原因与复核结论一并记入批次台账。模板库随服务期沉淀、参数字典随工艺口确认面扩大而完善,结构类检查的通过率目标逐步接近 99.9%,业务约束检查的通过率目标逐步接近 98%。基线是每一批都要守住的下限,目标值是服务期内持续优化的方向,两者各有用处,不互相替代。
业务约束检查有一类结果需要专门对待:校验判不合法,而工艺口认为合法。这说明约束表写错了,不是样本错了。工具把这类分歧单独列为"约束存疑清单",提交工艺口裁定,裁定结论回写规则表并记入变更说明。把这条路径设出来,是为了让约束表能在使用中被修正,而不是一经写定就成为错误的来源。
工具支持按任务、模板、版本、生成批次与审核状态输出标准化训练或评测数据。五个维度是导出的筛选条件,可任意组合,导出结果附一份清单说明本次导出的筛选条件与样本量,使导出件可核对。
渲染按批次并行,单批规模可配,默认一万条。渲染过程中的失败分两类分别处理:参数组导致的失败(如条件分支落空)记入失败清单并退回采样器;模板缺陷导致的失败(如槽位引用了不存在的字典项)立即中止该批次,避免产出一批统一错误的样本。中止的批次在台账中保留记录与失败原因,不静默重跑。
导出格式按 3.2.3.11 的统一要求支持 JSON、JSON Lines、Markdown、CSV 与 Parquet(见 5.2 节)。审核状态是导出的一道硬筛:默认只导出审核通过的样本;需要导出未审核样本的(如供工艺口预览),导出件文件名与清单中显式标注未审核,且该导出件不得作为训练输入。这条约束由导出接口强制,不靠使用者自觉。
工具记录模板、变量、采样参数、校验结果与人工审核状态。日志的粒度是一条样本一条日志,不是一个批次一条日志。粒度之所以要到样本级,是因为后续归因工具要能从一条错题回溯到"这条样本是哪个模板的哪一版、用什么参数、哪一次采样、谁审过"(见 4.3.2 节)。批次级日志无法支撑这种回溯。
表 3-4 生成日志字段
| 字段 | 含义 | 与血缘字段的对应 |
|---|---|---|
| sample_id | 样本标识 | 血缘主键 |
| batch_id | 生成批次标识 | 处理链路节点 |
| template_id/template_version | 模板标识与版本 | 规则版本 |
| param_dict_version | 参数字典版本 | 规则版本 |
| slot_values | 各槽位实际取值 | 处理链路参数 |
| sampling_config_hash | 采样配置指纹 | 处理链路参数 |
| random_seed | 随机种子 | 可复现凭据 |
| validation_result | 六类校验逐项结果 | 质检结果 |
| review_status/review_round | 审核状态与轮次 | 审核状态 |
| synthetic_flag | 合成来源标记 | 原始数据标识(标记为合成) |
| tool_version | 工具版本 | 工具版本 |
合成来源标记这一项不可缺省。标记的用途有三处:评测集构建时按此标记排除合成样本;分布统计时按此标记分别计量合成与真实样本的占比;归因分析时若某类错误集中在合成样本上,说明该模板的约束有问题。三处用途都依赖标记的完整性,所以标记由骨架写入而非由模板自填(见 1.4 节)。
一次模板化生成任务按七步推进,见表 3-4A。七步中第一步与第七步是本工具与其他工具的接口:输入接补齐需求单,输出接切分工具与分布统计。
合成数据的难处在于产量可以无限放大,可信度却不随之增长,因此七步中有四步是关卡而非动作:第一步校验补齐需求单是否超出合成占比上限,第二步校验模板、参数字典、规则表与禁止组合清单四项版本是否相互匹配,第五步按代价递增顺序执行六项 Schema 校验,第六步由工艺口人工抽检内容合理性。
阈值及其来源一列把取值分作三类:按定义判定的不可调,配置项可按任务调整,工程门限则注明口径所在小节。据此即可区分哪些步骤是现场可调的参数,哪些是不可绕过的定义。
失败或异常时的复核一列写的是同一条原则,即不作静默兜底:版本不匹配即中止而不取最新版,需求单超上限直接驳回而不截断后继续执行,模板缺陷导致的渲染失败立即中止该批次,合成标记写入失败整批作废。这些处置共同保证一件事——未经校验、未经抽检、未打合成标记的样本不进入候选池,合成样本在数据集中的占比与来源始终可被追溯与核对。
表 3-4A 模板化数据生成的执行步骤、输入字段与阈值来源
| 步 | 动作 | 用到的输入字段 | 算法或判据 | 阈值及其来源 | 失败或异常时的复核 |
|---|---|---|---|---|---|
| 一 | 受理补齐需求单 | 类别、目标补充条数、必须覆盖的参数组合、禁止出现的组合 | 校验需求单的类别在参数字典内、目标条数未超出表 2-8 的上限 | 合成占比上限见表 2-8,属配置项 | 超上限的需求单直接驳回并返回策略类错误,不按上限截断后静默执行 |
| 二 | 模板与版本绑定 | 模板标识与版本、参数字典版本、规则表版本、禁止组合清单版本 | 四项版本须相互匹配,匹配关系在模板元数据中声明 | 无阈值,按定义判定 | 版本不匹配即中止,不按"取最新版"自行兜底——自行兜底会产出一批口径不明的样本 |
| 三 | 参数受控采样 | 槽位定义、取值分布配置、关键参数对清单、随机种子 | 按七类槽位分别取值;常规参数按真实使用频次采样,长尾类别按提升后频次采样;默认两两组合覆盖,关键参数对提升到三三组合覆盖 | 采样分布与覆盖强度为配置项;随机种子记入批次台账 | 未达覆盖目标的参数组合逐条列出,该清单同时提交工艺口核对约束表是否有遗漏 |
| 四 | 批量渲染 | 采样得到的参数组、模板正文、句式模板库 | 按参数组渲染样本;分布贴近批与稀有强化批分批渲染,不混批 | 单批规模为配置项,默认一万条 | 参数组导致的失败记入失败清单退回采样器;模板缺陷导致的失败立即中止该批次,不静默重跑 |
| 五 | Schema 六项校验 | 渲染产出、JSON Schema、单位字典、量纲表、正则规则库、规则引擎 | 按表 3-3 的六项依代价递增顺序执行,前一项不过不做后一项 | 结构类通过率 99%、业务约束通过率 95%,属工程门限,口径见 3.2.4 节 | 校验判不合法而工艺口认为合法的进"约束存疑清单"转裁定,裁定结论回写规则表 |
| 六 | 人工抽检 | 校验通过的样本、抽检比例配置 | 每批次随机抽 200 条由工艺口复核内容合理性 | 抽检量为配置项;合格率门限见 3.2.4 节 | 抽检随机抽取,不专挑校验得分高的;合格率与置信区间按 5.4 节口径报出 |
| 七 | 打标、留日志与交付 | 合成来源标记、生成日志十一项字段、审核状态 | 合成标记由公共层写入;日志按样本级留存;导出按审核状态硬筛 | 无阈值,按定义判定 | 合成标记写入失败即整批次作废,不允许未打标的合成样本进入候选池 |
表 3-4A 数据来源:招标文件 3.2.3.9.1(1)—(5);阈值取值见表 2-8、表 3-3 与配置清单表 6-3。
这一工具链是本组七个工具中对验收数字可信度影响最直接的一个。
工具支持随机切分、分层切分、时序切分、按来源隔离切分、按文档级切分与按业务场景切分六种策略。六种策略按数据性质与评测目的组合使用,而非择一。板材备料的图纸—工艺卡样本若只做随机切分,同一零件族的借用件会分落两侧,测试集上的指标反映的是"见过同族"而不是"会做新件"。
表 3-5 六种切分策略的适用条件与本项目用法
| 策略 | 做法 | 适用条件 | 本项目的具体用法 |
|---|---|---|---|
| 随机切分 | 按比例随机分配 | 样本间相互独立 | 仅用于经文档级与来源隔离之后的二次细分 |
| 分层切分 | 按指定维度在每层内按比例切 | 需要各集合的类别分布一致 | 按工序类别、缺陷类别、故障条目分层,保证测试集覆盖全部关注类别 |
| 时序切分 | 按时间点前后切 | 数据有时间演进,关心对新数据的表现 | 以图纸签发年份、工单完工时间、炉次开炉时间为轴;近期数据留作测试 |
| 按来源隔离切分 | 同一来源的样本只进一个集合 | 来源间存在系统性差异 | 按取数系统与车间隔离,检验跨来源泛化 |
| 按文档级切分 | 同一文档的全部样本只进一个集合 | 一份文档切出多条样本 | 制度条款问答、技术手册问答按文档整份归属 |
| 按业务场景切分 | 按场景划分集合 | 需要评估跨场景迁移 | 用于专项评测:训练覆盖部分场景,测试另加未覆盖场景观察迁移 |
默认组合为三层:先按文档级与来源隔离做硬切分,再按时间轴切出时序测试集,最后在训练侧按类别分层细分验证集。基准测试数据集不从这条流水线出,另行建设并冻结(见 3.3.3)。默认切分比例为训练、验证、测试 8 : 1 : 1,但基准集与保留评测集的规模按招标文件给定的 0.95 万条口径单独规划(规模见「数据集建设及指标要求」一节)。比例可按数据集调整,调整须在切分记录中说明理由。
工具在切分前做泄漏检测,避免同源文档、近似问答、同一工单、同一图纸或同一评测题跨集合泄漏。五类泄漏的判定口径见表 3-6。检测在切分前执行,而非切分后检查。切分后才发现泄漏意味着要重切,成本高且容易将就。
表 3-6 五类泄漏的判定口径与处置
| 泄漏类型 | 判定口径 | 典型场景 | 处置 |
|---|---|---|---|
| 同源文档 | 样本的来源文档标识相同,或文档指纹相同 | 同一份技术手册切出的多条问答 | 整份文档归一个集合 |
| 近似问答 | 跨集合样本对的语义相似度超过阈值(口径同 2.2.4 节) | 同一制度条款的不同问法 | 相似簇整体归一个集合 |
| 同一工单 | 工单号相同,或工单所属施工号相同 | 同一工单的多道工序记录 | 按工单号归集;跨施工号的按施工号归集 |
| 同一图纸 | 图号相同,或同一零件族(借用关系链) | 借用件与原件的图纸与工艺卡 | 按零件族归集,族关系取自去重工具的同族变体登记 |
| 同一评测题 | 题目指纹相同,或与基准集/专家题库 n-gram 命中(口径同 2.2.5 节) | 基准题目被当作训练样本 | 训练侧隔离;题目标记作废并补题 |
同一图纸这一类要特别说明。零件族的识别依赖去重工具登记的同族变体关系(见 2.2.3 节),两个工具在这里是上下游:去重工具判出"这两条是同族变体,都保留",切分工具据此把整族归入同一集合。若族关系缺失,切分工具会把借用件与原件分开,测试集指标虚高。因此切分任务的前置条件之一是该数据集已完成去重与同族登记,未完成的数据集不允许切分,这条由任务骨架的前置检查强制。
泄漏检测的指标按三段给出。指标值与适用条件:五类检测口径下,切分后交叉复查零命中;适用条件为该数据集已完成去重与零件族登记、文档标识与工单主键齐备、语义阈值与 2.2.4 节同版本。测量方法:切分完成后对训练、验证、测试三个集合两两交叉复查,逐类统计命中数,复查结果写入切分台账的泄漏检测结果字段。不达标处置:发现命中即重切,并作废基于旧切分得出的评测结论;族关系或文档标识缺失导致无法判定的,该数据集不允许切分,退回补登记。基于旧切分得出的评测数字必须作废而不是沿用,否则检测不成立。
3-2 三层切分与泄漏隔离
图 3-2 三层切分与泄漏隔离。数据来源:招标文件 3.2.3.9.2(1)(2);基准集规模口径见本卷「数据集建设及指标要求」一节。
工具支持基准测试集冻结管理,固定样本内容、版本号、随机种子、题型、答案、判分规则、能力维度与使用范围。冻结的意思是这八项一经发布就不可修改,要改只能发新版本并保留旧版本。这样做的用途单一而关键:使不同时间、不同模型、不同轮次的评测结果可比。若基准集可以悄悄改,两轮评测的分数差异就无法归因于模型或数据的改进。
表 3-7 基准集冻结要素与实现方式
| 冻结要素 | 实现方式 | 变更处理 |
|---|---|---|
| 样本内容 | 全集内容取 SHA-256 指纹,逐条样本另取指纹 | 任一条变更即发新版本;旧版本留存 |
| 版本号 | 主版本.次版本.修订,主版本变更表示题目集合变化 | 版本号不复用 |
| 随机种子 | 题目顺序、选项顺序、抽样子集的种子固定并记录 | 种子变更须在协议版本中声明 |
| 题型 | 单选、多选、判断、填空、短答、长答、结构化抽取、图文问答、序列生成等枚举 | 新增题型须同步判分规则 |
| 答案 | 标准答案及可接受的等价答案集合 | 答案修订属修订版本;影响的历史评测结论标注 |
| 判分规则 | 每种题型对应的判分方法与分值权重 | 规则变更须重跑受影响的历史评测以保可比 |
| 能力维度 | 题目到能力维度的映射(维度见 4.2.1 节) | 映射调整属次版本变更 |
| 使用范围 | 该基准集可用于哪些评测场合,是否属保留评测集 | 范围收紧可即时生效;放宽须审批 |
基准集的建设与使用分离:建设过程中题目可以增删改,一经冻结发布即进入只读状态;评测引擎只能读取已冻结的版本,不能读取建设中的草稿版本。保留评测集是基准集中的一个子集,专用于验收,建设期内不向任何训练环节开放,也不在中途评测中使用——用过一次就不再是保留集了。保留集的使用须经审批并记录,每次使用后在台账中登记,使用次数与时点可查。
题目的来源与质量另有要求。基准题目来自专家题库与真实业务场景的回放窗口两条通道:专家题库由工艺、设计、质量、设备各口出题,题目须注明依据(哪一版工艺文件、哪一条规程、哪一份判据);回放窗口取历史任务的原始输入与当时的真实产出,用于端到端任务级评测。两条通道的题目都要经过污染扫描核验未在训练集出现(见 2.2.5 节),核验通过方可入基准集。
冻结管理解决的是「基准集不被偷偷改」,题目来源解决的是「题目有依据」。但还有一个问题这两者都没回答:这零点九五万条题目,每一条都有用吗。 答案是没有。一道所有模型都答对的题,和一道所有模型都答错的题,都分不出版本高低——前者太容易,后者可能题面本身有问题或超出了数据集的覆盖范围。基准集里这两类题占比越高,基准的分辨力就越差,而总分却照样算得出来,于是「分数稳定」看起来像是模型稳定,实际是基准钝了。
本项目因此在组题环节引入两个题目参数,并据此构建与压缩基准集。
第一步,估计每道题的难度与区分度。 做法是在首批候选题上用若干个能力水平不同的模型试答——取网关侧登记的几档能力水平的通用模型,加上本项目不同训练阶段的检查点,构成一个能力梯度。一道题若各档模型答对率都接近百分之百,它的难度低且区分度为零;若各档都接近零,同样区分度为零;若答对率随能力档位单调上升,它的区分度高,这才是能分辨版本的题。难度与区分度两个参数由试答结果估计得出,不需要人工预判题目难易——人工预判的难度与模型实际表现的难度经常不一致,尤其在图纸识读与多步工艺推理这类任务上。
第二步,据此组题。 零区分度的题目不直接丢掉,而是移入「基础能力检查」子集——它们仍有用,用于确认模型没有在基础项上退化,但不参与版本间的能力比较。其余题目按能力维度与难度分层组题,保证每一个能力维度上都有若干道中高区分度的题,不出现「某个能力维度有二十道题但全是零区分度」这种看起来覆盖了实际测不出的情形。
第三步,做基准压缩,日常回归用小集、阶段验收用全量。 按题目参数挑选出的小型子集,可以在明显更少的题量下逼近全量基准的排序结论。这件事的实际价值在于回归频率:全量零点九五万条跑一轮的算力与时间开销,不允许每天跑;而小型子集可以每日或每批次跑,于是版本退化能在当天发现,而不是等到阶段评测。本项目因此把基准集的使用分两档——压缩子集用于日常回归与灰度放量判断,全量基准用于阶段验收与对外报告;两者的结论一致率作为一项指标度量,一致率下降说明压缩子集已经不能代表全量,需要按新的题目参数重新挑选。
第四步,用锚题把跨版本的分数等值起来。 基准集更新(补题、换题、剔除零区分度题)之后,新旧版本的分数不能直接比较——题目变了,分数的量纲就变了,而招标文件要求的「长期可比」正是要在基准更新之后仍然成立。解决办法只有一个:保留一组锚题,跨版本不变、不公开、不参与任何训练环节,在新旧两版基准中都出现;用模型在锚题上的表现把新版本的分数等值到旧版量纲,使「这一版比上一版提升多少」的结论在基准更新后依然可比。锚题集的规模、构成与使用记录纳入冻结要素一并管理,锚题一旦泄漏即整组作废并替换——这一点与保留评测集的管理口径相同。
第五步,让冻结可以被独立复验。 表 3-7 已经规定了内容指纹,这里再补一条口径:指纹的算法与计算方式写入方案与随集交付的说明文档,包括逐条样本指纹取什么字段、以什么顺序、按什么编码规范化,以及集合指纹如何由逐条指纹聚合。写明这一层的用处是,招标方可以自行计算并核对指纹,不必依赖我方工具的输出,也不必信任我方的记录。「可独立复验」这件事只有在算法公开时才成立,只给一串指纹值是不够的。
表 3-7A 题目参数化组题与锚题等值的首期基线、度量方式与回退
| 事项 | 首期基线 | 度量方式 | 未达基线时的回退 |
|---|---|---|---|
| 各能力维度的区分度达标比例 | 每个能力维度至少有一半题目达到中等及以上区分度 | 按能力梯度试答结果估计参数,按维度统计分布 | 不达标的维度补题;补题后仍不达标,在评测报告中声明该维度的分辨力有限,**不以调整统计口径的方式达标** |
| 压缩子集与全量基准的结论一致率 | 两者在同一批模型上的排序结论一致率不低于 90% | 固定一组不少于六个的对照模型(覆盖高、中、低三档能力水平,含本项目不同训练阶段的检查点),两套集合各跑一轮,比较排序与分组结论;基准集每次更新后判定一次,两次更新间隔超过一个季度的按季度补测一次 | 低于基线则重新挑选压缩子集;两次重选仍不达标,日常回归改用全量基准的分层抽样,并在评测报告中单列说明本期压缩子集不可用。随题目参数估计所依据的试答样本积累,一致率目标逐步接近 95% |
| 锚题等值的稳定性 | 同一模型在相邻两版基准上经等值后的主指标偏差不超过 1 个百分点 | 以五个固定模型作为等值校验对象(能力档位分散,且不参与锚题的挑选与调整),每次基准集版本更新后在新旧两版上各复测一轮,取五个模型偏差的最大值作为判定读数 | 偏差超限则该次基准更新不启用等值,新旧版本分数分开报告、不作跨版本比较,并在下一次更新前补足锚题数量后重测。随锚题规模补足与锚题在能力维度上的分布均衡,偏差目标逐步收窄至 0.5 个百分点 |
表 3-7A 数据来源:题目参数的估计依本小节所述能力梯度试答;三项基线为本方案设定的首期目标,属待验证目标;首轮组题与首次基准更新完成后按同一方法重算一遍并报招标方确认,重算只向严格侧收紧,不下调本表已列的取值。区分度不达标时的处置见表中末列。
工具支持调用指定模型在冻结基准集上执行评测,输出指标、样本级结果、版本对比与人工复核状态。这一项与 3.2.3.10.1 的多协议评测引擎是同一能力的两个侧面:本小节管"在冻结集上按协议跑一次并出结果",4.2 节管"协议本身怎么定、多个模型怎么调度、多种判分怎么融合",实现上是同一套引擎。
一次标准化评测运行的产出固定为四件:指标汇总(按能力维度与题型分别给分,附总分与计算口径)、样本级结果(逐题的模型输出、判分结果、判分依据、是否进入人工复核)、版本对比(与指定的历史运行结果逐维度比对,给出差值与显著性判断)、人工复核状态(复核范围、复核人角色、复核结论、复核后指标修正量)。四件产出同时输出机读格式与一份可阅读的评测报告。
运行的可重复性是本项目验收的一项依据,同样按基线、测量方法与不达标处置三段给出。首期基线为:同一协议、同一模型、同一基准集版本、同一随机种子下两次运行,主指标偏差不超过 0.5 个百分点;偏差来源主要是模型推理的非确定性,因此运行配置中固定温度等解码参数并记录,适用条件是解码参数、上下文长度与工具可用性三项在两次运行之间完全一致。测量方法为:判定样本是该次运行的全部题目,不抽样;每个协议在首次启用前连续跑三轮做一次标定,取三轮主指标的极差作为该协议的重复性读数,启用后每月复测一轮,基准集版本、协议版本或被测对象接口任一变更时立即复测,复测记录随运行台账留存(对应用例见 6.4.3 节与 6.5.3 节)。不达标处置为:该协议标记为不稳定,暂停用于验收口径,转人工评测或改用确定性更高的判分策略(见 4.2.3 节);该次结果仍然出具,但在报告中单列说明重复性未达基线,该次分数不作为版本间比较的依据。随判分策略中规则判分与确定性抽取的占比提高、裁判通道的采样策略进一步固定,偏差目标逐步收窄至 0.2 个百分点。这一条写进验收口径,意味着我方要对评测结果的稳定性负责,而不只是对跑过一遍负责。
工具记录每次切分的策略、输入数据版本、输出数据指纹、审批状态与评测协议版本,并支持回滚。记录的字段见表 3-8。这张台账是数据集血缘的切分侧来源,与 4.4 节的血缘图谱对接。
表 3-8 切分与发布台账字段
| 字段 | 含义 |
|---|---|
| split_task_id | 切分任务标识 |
| input_dataset_version | 输入数据集版本号与内容指纹 |
| strategy_config | 切分策略配置全文(三层组合、比例、分层维度、时间轴、随机种子) |
| leakage_check_result | 五类泄漏检测结果与复查结论 |
| output_fingerprints | train/valid/test 各集合的内容指纹与样本量 |
| benchmark_version | 本次配套使用的基准集版本 |
| protocol_version | 评测协议版本 |
| approval_status/approver_role | 审批状态与审批角色(不记个人姓名) |
| created_at | 生成时间 |
| superseded_by | 被哪一版本替代(回滚时反向指向) |
回滚按版本执行,不按文件执行。一次回滚包含三个动作:把数据集的当前指针指回目标版本;把基于被回滚版本产出的评测结论标注为"基于已回滚版本,仅供参考";按血缘查出受影响的下游对象(训练任务、模型检查点、评测报告、已发布数据集组合)并逐一登记(影响范围分析见 4.4.2 节)。回滚不删除被回滚的版本,版本谱系完整保留。
回滚的触发条件写明三类,避免临场争议:发现跨集合泄漏且已影响评测结论;发现输入数据集存在未裁定的高风险污染;发现切分配置与台账记录不一致(说明有未经登记的改动)。三类任一成立即回滚,不作权衡。
一次切分与基准构建任务按八步推进,见表 3-8A。第一步的前置检查是本工具的硬闸:未完成去重与零件族登记的数据集不允许切分,这一条由任务骨架强制,不靠使用者自觉。
表 3-8A 切分与基准构建的执行步骤、输入字段与阈值来源
| 步 | 动作 | 用到的输入字段 | 算法或判据 | 阈值及其来源 | 失败或异常时的复核 |
|---|---|---|---|---|---|
| 一 | 前置检查 | 数据集版本、去重完成标志、零件族登记覆盖率、污染裁定状态 | 校验已完成去重与同族登记、无未裁定的高风险污染 | 族关系覆盖率门限为配置项 | 任一项不满足即拒收任务;族关系覆盖率不足时按图号前缀粗粒度归集,宁可过度隔离并在数据卡登记 |
| 二 | 归集单元构建 | 来源文档标识与文档指纹、工单号与施工号、图号与零件族标识、题目指纹 | 把样本归入不可拆分的归集单元:同文档、同工单、同零件族、同评测题各为一个单元 | 无阈值,按定义判定 | 归集键缺值的样本单独成组并标注,不并入他组——并入他组会制造跨集合泄漏 |
| 三 | 切分前泄漏检测 | 归集单元标识、跨集合候选样本对、语义相似度 | 按表 3-6 的五类口径逐类检测 | 近似问答阈值同 2.2.4 节,属配置项 | 检出命中即在切分前调整归集,不切完再补救 |
| 四 | 三层切分 | 归集单元、时间轴字段、分层维度、切分比例、随机种子 | 先按文档级与来源隔离硬切分,再按时间轴切出时序测试集,最后在训练侧按类别分层细分验证集 | 默认比例 8∶1∶1,属配置项;比例调整须在切分记录中说明理由 | 某一层内样本不足以支撑分层的,该层合并处理并登记 |
| 五 | 切分后交叉复查 | 三个集合的归集单元标识与样本正文 | 对三集合两两交叉复查五类泄漏 | 零命中,按检测口径确定性判定 | 复查发现命中即重切,并作废基于旧切分得出的评测结论 |
| 六 | 基准集组题与冻结 | 候选题目、能力梯度试答结果、能力维度映射、锚题集 | 按难度与区分度分层组题;零区分度题移入基础能力检查子集;八项冻结要素取指纹后发布 | 区分度达标比例、压缩子集一致率、锚题等值偏差见表 3-7A | 冻结后发现题目须改的,发新版本并保留旧版本,不在原版本上改 |
| 七 | 标准化评测运行 | 冻结基准集版本、协议版本、被测对象接口、随机种子 | 按协议在冻结集上执行,输出四件产出 | 重复性偏差 0.5 个百分点,见 3.3.4 节 | 偏差超限则该协议标记不稳定,暂停用于验收口径 |
| 八 | 版本化发布与台账登记 | 表 3-8 的十项台账字段 | 发布前校验输出指纹与审批状态;回滚按版本执行 | 回滚触发条件三类,按定义判定 | 配置与台账不一致即判为存在未登记改动,触发回滚 |
表 3-8A 数据来源:招标文件 3.2.3.9.2(1)—(5);阈值取值见表 3-5、表 3-6、表 3-7A 与配置清单表 6-4。
本类含多协议模型评测引擎、数据贡献度归因与错题溯源、数据集–模型版本血缘追溯三个工具链。
这一类工具的用途在招标文件里写得很清楚:通过模型表现反向评估数据集价值,并定位数据问题对模型能力的影响。这句话定义了本包交付的质量证据链的最后一环,也定义了一条责任边界——工具评估的是数据集,不是模型。同一套评测结果有两种读法:模型方读它判断模型好不好,数据方读它判断数据够不够。本包按后一种读法组织工具产出,所有归因结论都指向数据侧的可执行动作(补哪类样本、修哪一批标注、改哪条规则),不指向模型侧的调参建议。智能场景建设不在本包范围。
反向评估能成立,依赖一个前提:模型在某道题上答错,能够追到是哪些训练样本导致的。这个前提在工程上不自动成立,需要三件事配套——评测可重复(否则错题本身不稳定)、错题可归类(否则一万条错题无从下手)、样本可追溯(否则归类结果落不到具体数据)。本类三个工具链正好对应这三件事:评测引擎管可重复,归因与溯源管可归类,血缘追溯管可追溯。
表 4-1 验证与归因类工具链输入输出口径
| 类别 | 项目 | 本项目的具体取值 | 格式 |
|---|---|---|---|
| 输入 | 模型接口 | 经统一网关接入的推理接口;被测对象含基座、继续预训练、微调与偏好对齐各档及其检查点 | 接口配置,含限流与超时参数 |
| 输入 | 冻结基准集 | 基准测试数据集 0.95 万条及保留评测集,按版本引用 | 只读引用+内容指纹 |
| 输入 | 评测协议 | 题型、能力维度、评分规则、种子、复核规则、指标口径 | 协议文件,带版本号 |
| 输入 | 判分规则 | 各题型的判分方法、权重、等价答案集合、裁判提示词版本 | 规则文件,带版本号 |
| 输入 | 评测错题 | 上一轮评测的失败样本清单 | JSONL |
| 输入 | 训练样本血缘 | 样本的来源、处理链路、批次、质检与审核记录 | 血缘库查询 |
| 输入 | 模型检查点 | 检查点标识、对应训练任务、使用的数据集版本 | 登记表引用 |
| 输入 | 训练任务日志 | 任务参数、数据集版本、起止时间、完成状态 | 日志引用 |
| 输入 | 数据子集标签 | 按数据域、来源、批次、合成与真实、标注轮次划分的子集标记 | 标签表 |
| 输入 | 发布审批记录 | 数据集与基准集的发布与审批记录(记角色不记姓名) | 台账引用 |
| 产出 | 模型评测报告 | 指标汇总、能力维度得分、题型得分、对比结论 | Markdown+JSON |
| 产出 | 样本级评测结果 | 逐题输出、判分、依据、复核状态 | JSONL+CSV |
| 产出 | 能力雷达图 | 按能力维度的得分图,多版本可叠加 | 图表文件+数据表 |
| 产出 | 版本对比 | 数据集版本或模型版本之间的逐维度差值与显著性 | CSV+Markdown |
| 产出 | 失败样本清单 | 错题及其聚类归属、关联训练样本 | JSONL+CSV |
| 产出 | 归因报告 | 错误类型分布、关联数据问题、贡献度估计、修订建议 | Markdown+附表 |
工具支持建立统一评测协议,固化题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则与指标口径,保证评测可重复执行。协议是一份带版本号的文件,不是一组运行时参数;跑评测时引用协议版本,而不是逐项填参数。这个区别决定了半年后能否重跑出同样的结果。
协议的七项要素中,能力维度最需要按本项目定义。通用的能力维度(如推理、知识、指令遵循)对矿山装备制造数据集没有判别力。一个在通用推理维度得高分的模型,可能完全读不懂一张带坡口与压弯线的多视图图纸。我方按甲方的六个专业场景与五个通用场景提炼能力维度,见表 4-2。维度到题目的映射写在基准集的冻结要素里(见 3.3.3 节)。
表 4-2 评测能力维度与对应的现场判断
| 能力维度 | 要测的是什么 | 典型题目形态 | 对应场景 |
|---|---|---|---|
| 图纸要素识读 | 从多视图读出材料牌号、板厚、外形轮廓、孔与方孔、坡口倒角、压弯线、粗糙度符号 | 给图纸出结构化抽取题 | 板材备料 |
| 工序序列编排 | 在备料 28 道工序的合法集合内挑选并排序,含分档规则 | 给零件信息出序列生成题 | 板材备料 |
| 展开与定额计算 | 按中性层系数换算压弯件展开长,计算材料定额 | 给参数出数值计算题 | 板材备料 |
| 选型校核判断 | 给定工况与一套配置,判断整机功率与链条安全系数是否过门槛 | 给工况与配置出判断题与短答题 | 产品智能选型 |
| 工艺借用判定 | 判断新件能否借用既有工艺,差异在哪 | 给两份图纸出对比题 | 板材备料、选型 |
| 过程—质量关联 | 由一段过程时序与工艺窗口判断质量结论 | 给曲线与参数窗口出三级判定题 | 热处理、焊接 |
| 缺陷识别与分类 | 由图像或检测记录判断缺陷类别与位置 | 给图文出分类与定位题 | 焊接质量 |
| 故障征兆诊断 | 由运行数据段与设备档案判断故障模式与证据档次 | 给数据段出诊断题 | 健康诊断 |
| 库存与需求判断 | 由物料、库存、商机数据给出储备建议与口径说明 | 给数据出短答与计算题 | 库存控制 |
| 依据可溯答复 | 回答时说明依据的是哪一版文件哪一条,无依据时明确不回答 | 给制度与技术文档出带引证要求的问答题 | 五个通用场景 |
| 权限边界遵守 | 在越权提问下拒答并说明原因 | 给越权问法出拒答题 | 五个通用场景 |
| 工具调用正确性 | 判断该调哪个工具、参数填得对不对 | 给任务出工具调用题 | 多场景通用 |
人工复核规则是协议中容易被忽略但必须固化的一项。规则要写明三件事:哪些判分结果必须人工复核(如裁判模型判分落在分界带内的、长答题全部、拒答题全部)、抽样复核的比例与抽样方法(默认对自动判分结果抽 10%)、复核与自动判分不一致时怎么办(不一致率低于 15% 则以复核结果修正该题并记录;不一致率达到或超过 15% 则该判分策略在本协议下标记失效,该题型全部转人工判分)。规则固化之后,"人工复核过了"这句话才有可核对的含义。
指标口径同样要写明而非默认。本方案固化四项:单题得分的计算方式与满分制、维度得分为该维度题目得分的加权平均(权重在协议中给出)、总分为各维度得分的加权和、置信区间按自助重采样 1000 次给出 95% 区间。指标口径与「质量评测方案」一节数据集质量评测方案的指标体系保持同一套说法,同一指标不在两处给不同定义。
区间给出来之后,还有一件事要在协议里固化,否则评测结论在验收会上站不住:版本之间的比较怎么判。 评测报告最常被追问的一句话是「这一版比上一版好了零点八个百分点,这是真的好还是波动」。本方案对此固化三条。
第一条,比较用配对口径,不比较两个独立区间是否重叠。两个版本跑的是同一批题目,逐题结果是成对的;把这些成对结果做配对重采样(二分类的判对判错用配对符号检验),得到的是「差值」的区间。若直接拿两个版本各自的区间看有没有重叠,会把本来能分辨出来的差异判成分辨不出——因为各自区间里包含了题目难度带来的变异,而这部分变异在两个版本上是共同的,配对之后就消掉了。这一条写进协议,使比较方法不因人而异。
第二条,重采样按题目簇进行,不按单题。同一份图纸、同一张工单派生出的若干道题彼此相关,若把它们当作独立样本重采样,算出来的区间会偏窄,报告显得比实际更有把握。协议中因此登记每道题的来源簇标识,重采样以簇为单位。
第三条,给出基准集规模与可分辨差异的对应关系。零点九五万条基准在题目层面能稳定分辨多大的差异,这个量级要在协议里写明;小于该量级的差异,结论一律表述为「未检出显著差异」,不表述为持平,也不表述为提升。这一条的作用是把「多小的改善值得报」这件事事先定下来,而不是每次报告时临时判断。
这三条与 3.3.4 节约定的「同协议同模型两次运行主指标偏差不超过零点五个百分点」说的不是一回事,不能混用:那一条讲的是重复性,即同样的东西跑两遍应当得到同样的结果;这三条讲的是可分辨性,即不同的东西跑出来的差异多大才算差异。两者都要有——重复性不好,任何比较都无意义;可分辨性不写明,比较出来的数就没有解释口径。判分涉及裁判模型时,区间还要覆盖裁判本身的不确定性,做法见 4.2.3 节。
工具支持多模型并行评测调度,对基座模型、继续预训练模型、微调模型、强化学习或偏好对齐模型以及不同检查点做横向对比。被测对象五档对应同一训练链路上的五个阶段;横向对比用于度量本轮数据增量对各能力项的贡献。本包不负责训练,被测对象由训练推理技术服务提供推理接口(见「行业大模型训练推理技术服务方案」一节);本包负责按协议把它们跑在同一套冻结基准集上并给出可比的分数。
调度的实现要点有四条。其一是接口抽象:所有被测对象经统一网关以同一种调用形式接入,网关层处理鉴权、限流、超时与重试,评测引擎不感知对象差异。模型采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级;替换时协议不变,只在运行记录中登记被测对象标识与版本。其二是并发与配额:按被测对象分别设并发上限与速率配额,避免一个慢对象拖住整批评测,也避免并发过高触发对端限流导致结果缺失。
其三是失败处理:单题调用失败按配置重试,重试仍失败的题目标记为"未获取输出",单独计量而不计入得分分母——把超时当作答错会使慢对象的分数系统性偏低。未获取输出的比例超过 2% 时该次运行标记无效,需重跑。其四是公平性约束:同一批对比中,各对象的提示词模板、解码参数、上下文长度、工具可用性必须一致,差异项在运行记录中登记;不一致的运行不得用于横向对比,只能单独呈现。
4-1 多协议评测引擎的调度结构与一次运行的产出
图 4-1 多协议评测引擎的调度结构与一次运行的产出。数据来源:招标文件 3.2.3.10.1(1)(2);3.2.3.9.2(4)。
工具支持使用精确匹配、语义相似度、规则约束、行业指标、模型裁判与人工复核结果形成最终评分。六种判分按题型分工后再合成,不对六种结果简单取平均,以免不适用通道稀释主判分。
表 4-3 六种判分方式的适用题型与融合口径
| 判分方式 | 怎么判 | 适用题型 | 在融合中的角色 |
|---|---|---|---|
| 精确匹配 | 与标准答案或等价答案集合逐字比对(经归一化) | 结构化抽取、数值计算、枚举选择、工序序列 | 可用则以其为准,权重最高 |
| 语义相似度 | 向量相似度与标准答案比对,分段给分 | 短答、工艺要求描述 | 作主判分;低于分界带转人工 |
| 规则约束 | 按业务规则判定答案是否成立(如工序先后约束、参数窗口) | 序列生成、校核判断、参数给定 | 作否决项:违反硬约束即判零分,不与其他方式平均 |
| 行业指标 | 按领域计算方式给分(如序列编辑距离、定额偏差率、安全系数误差) | 序列生成、数值计算、诊断定级 | 作主判分,口径在协议中写明 |
| 模型裁判 | 由裁判模型按评分细则打分并给理由 | 长答、论述、引证充分性、拒答合理性 | 作主判分;须抽样复核校准 |
| 人工复核 | 按复核规则由业务口判定 | 全部长答题、拒答题、分界带样本、抽样样本 | 作最终裁定,覆盖自动判分结果 |
融合规则按三条执行。第一条,有否决项先判否决:规则约束判定违反硬约束的,该题判零分且标记违反的具体约束,不再计算其他通道。第二条,按题型取主判分并辅以校准:每种题型在协议中指定一个主判分方式与零到两个校准方式,校准方式的作用是在主判分落入分界带时触发人工复核,而不是直接改分。第三条,人工复核结果覆盖自动结果并留痕:覆盖前后的分值、复核人角色、复核理由都记录,便于统计自动判分与人工判分的一致率。
模型裁判这一通道需要额外的约束,因为它本身是模型,可能把错的判成对的。我方设的约束有三项:裁判提示词与评分细则版本化,变更须重跑受影响的历史评测以保可比;裁判模型的判分结果按不低于 10% 的比例抽样人工复核,一致率低于 85% 时该题型的裁判通道停用并转人工判分;裁判模型不参与自身训练数据的评测(即不用同源模型既生成样本又判分),避免自评。三项约束写入协议,不是实施时的自觉。
这三项之上还要再补一层,把裁判通道本身当作被评测的对象来管,而不只是当作一个判分工具。理由是裁判的毛病有两种:一种是判错,抽样复核能查出来;另一种是判得有系统性倾向,抽样复核查不出来,因为倾向在每一次判定上都只偏一点点,只在汇总时才显出来。后一种更需要处置。
第一件,位置与长度两类偏差要在流程上消掉,不靠裁判自己克服。 成对比较时把两个待比对象的呈现顺序正反各跑一遍、取平均,消掉「先出现的那个更容易被选中」这类顺序偏差;对长答题按答案长度分档统计裁判给分,若发现分值随长度单调上升而人工复核并不认同,则该题型的裁判通道按长度分档分别校准,或直接转人工。两项处置都写进评测协议,使它们是流程动作而不是提醒。
第二件,裁判结论要给区间,不给单点。 做法是同一题由不少于三个裁判配置独立判分(可以是不同提示词版本、不同参数设定,或不同的网关登记模型),取其共识区间作为该题的判分区间。区间窄说明裁判之间看法一致,可以采纳;区间跨过了及格分界或跨过了档位分界,说明这道题的判定本身存在分歧,转人工裁定。这一条把「裁判不确定」这件事从看不见变成可触发的处置条件。
第三件,多模态题型不用裁判打绝对分,改用成对比较。 这是一处有依据的差异化判断,需要讲清理由。裁判模型在多模态任务上的能力分布有一个特点:判断「A 比 B 好」比较可靠,给出「A 得七十八分」则很不稳定——同一份答案在不同批次、不同措辞的评分细则下,绝对分值能差出十几分,而相对优劣的判断基本一致。本项目因此对图纸解读、缺陷识别一类多模态题型,判分采用结构化字段比对为主、成对比较为辅的组合:字段能机械比对的部分(材料牌号、板厚、孔位、缺陷类别与位置)一律机械比对,剩下的描述性部分用成对比较排出优劣,不让裁判给绝对分。表 4-3 的「模型裁判」一行对多模态题型即按此口径执行。
第四件,多模型横向对比的名次要带不确定性。 评测结果里的排行榜若由成对比较聚合得出,名次之间的差距有大有小;把名次精确排到第几位,会把本来分辨不出来的两个模型排出先后。本项目的处置是在排行榜上标出「统计上不可区分」的分组——同组内不宣称先后,只宣称该组整体优于下一组。这个做法看起来是把结论说松了,实际是把结论说准了:验收会上一个带分组的排行榜,比一个精确到第几名却经不起追问的排行榜更站得住。
工具支持多模态评测,覆盖图文问答、图纸解读、缺陷识别、视频理解、传感器诊断与工具调用等任务场景。六类任务在本项目的落点与判分方式见表 4-4。多模态评测的难点不在模型调用,而在标准答案的形式——图纸解读的答案是一组结构化字段,缺陷识别的答案含位置信息,传感器诊断的答案含证据档次,三者的判分方式完全不同。
表 4-4 六类多模态评测任务的落点与判分
| 任务场景 | 本项目的具体对象 | 输入形态 | 标准答案形态 | 主判分方式 |
|---|---|---|---|---|
| 图文问答 | 技术手册与图示混排内容的问答 | 图+文 | 文本答案+引证位置 | 语义相似度+引证命中 |
| 图纸解读 | 刮板输送机零部件图纸的要素抽取与借用判定 | 图纸文件或渲染图 | 结构化字段组 | 精确匹配(逐字段)+字段级召回 |
| 缺陷识别 | 焊缝外观缺陷的类别与位置判断 | 照片 | 类别+位置区域 | 分类精确匹配+位置重叠度 |
| 视频理解 | 工艺动作与操作规范符合性判断 | 视频片段 | 动作序列+符合性结论 | 序列编辑距离+规则约束 |
| 传感器诊断 | 热处理炉次曲线、焊接参数流、在役装备振动段的判定 | 时序数据段+设备档案 | 结论+证据档次+依据参数 | 行业指标+规则约束 |
| 工具调用 | 该调哪个工具、参数填写、调用顺序 | 任务描述+可用工具清单 | 调用序列+参数 | 精确匹配(工具名)+参数校验 |
位置类答案的判分口径要写明:缺陷位置按区域重叠度判定,重叠度不低于 0.5 判为位置正确,0.3 至 0.5 判为部分正确按半分计,低于 0.3 判错。这个口径与焊接三类检测(外观、超声、磁粉)的位置口径不一致问题相关。现场三类检测的位置口径目前不统一,评测时统一到焊道编号加沿焊道里程的口径上,三类检测的位置先换算到该口径再比对。换算规则由质量口确认后固化。
多模态题目的基准集建设有一处需要说明:视频理解与传感器诊断两类任务的题目依赖现场采集条件。当前采集覆盖部分车间的部分设备,工艺过程所需的图像采集须按场景数据要求单独布点。因此这两类题目的首期规模按已具备采集条件的试点范围确定,覆盖范围随采集扩展逐步补充,数据卡上如实标注当期覆盖范围,不以试点范围冒充全厂覆盖。
一次评测运行按八步推进,见表 4-4A。第二步的公平性校验与第七步的重复性校验是两道闸:前者保证横向对比成立,后者保证结论可复现。
表 4-4A 多协议评测引擎的执行步骤、输入字段与阈值来源
| 步 | 动作 | 用到的输入字段 | 算法或判据 | 阈值及其来源 | 失败或异常时的复核 |
|---|---|---|---|---|---|
| 一 | 协议与基准集绑定 | 协议版本、基准集版本与内容指纹、判分规则版本、随机种子 | 校验基准集指纹与发布版本一致、协议中声明的能力维度映射完整 | 无阈值,按定义判定 | 指纹不一致即停用该集,追查改动来源,按版本谱系回到发布版本 |
| 二 | 公平性校验 | 各被测对象的提示词模板、解码参数、上下文长度、工具可用性 | 同批对比中各对象上述四项必须一致,差异项登记 | 无阈值,按定义判定 | 不一致的运行不得用于横向对比,只能单独呈现 |
| 三 | 并行调度与推理调用 | 被测对象接口配置、并发上限、速率配额、超时与重试参数 | 按对象分别设并发与配额;单题失败按配置重试 | 并发与配额为配置项;未获取输出比例上限 2% | 未获取输出的题目单独计量不计入得分分母;比例超 2% 该次运行标记无效需重跑 |
| 四 | 判分与融合 | 模型输出、标准答案与等价答案集合、业务规则、行业指标口径、裁判配置 | 先判否决项,再按题型取主判分并辅以校准;多模态题型用结构化字段比对为主、成对比较为辅 | 主判分与校准方式的配对关系在协议中写明 | 规则约束判违反硬约束的判零分并标记具体约束,不与其他通道平均 |
| 五 | 裁判通道的偏差处置 | 呈现顺序、答案长度分档、多套裁判配置的判分 | 成对比较正反各跑一遍取平均;按长度分档统计给分;同题不少于三个裁判配置独立判分取共识区间 | 人机一致率 85%、抽样比例 10%,见 4.2.3 节 | 共识区间跨过及格分界或档位分界的题转人工裁定 |
| 六 | 人工复核 | 复核规则、抽样比例与抽样方法、复核结论 | 长答题与拒答题全量复核,自动判分结果随机抽 10% | 不一致率 15% 为协议中固化的门限 | 不一致率达到或超过 15%,该判分策略在本协议下标记失效,该题型全部转人工判分 |
| 七 | 重复性校验 | 同协议同模型同基准集版本同种子的两次运行结果 | 比较主指标偏差 | 0.5 个百分点,见 3.3.4 节 | 偏差超限则该协议标记不稳定,暂停用于验收口径 |
| 八 | 出四件产出与显著性判断 | 逐题结果、历史运行结果、题目来源簇标识 | 指标汇总、样本级结果、版本对比、人工复核状态;比较用配对口径,重采样按题目簇 | 显著性水平与可分辨差异量级在协议中写明 | 差异未达可分辨量级的一律表述为"未检出显著差异",不表述为持平或提升 |
表 4-4A 数据来源:招标文件 3.2.3.10.1(1)—(4);阈值取值见 4.2.1 至 4.2.4 各小节与配置清单表 6-5。
工具支持输出能力雷达图、排行榜、版本对比、样本级结果、失败样本清单与统计显著性分析。六种呈现针对的是六种不同的问题,不是同一份数据的六种画法。
能力雷达图回答"这个数据集把模型的哪些能力带起来了、哪些没带起来"。按表 4-2 的能力维度作轴,多个版本可叠加在同一张图上,一眼看出哪一轮加数据改善了哪一维。图 4-2 是雷达图的样式与读法示意,图中数值为示意值,不代表实测结果。
4-2 能力雷达图样式与读法(示意,非实测值)
图 4-2 能力雷达图样式与读法(示意,非实测值)。数据来源:招标文件 3.2.3.10.2(1);能力维度取自表 4-2。
排行榜回答"同一协议下几个被测对象谁更好",按总分排序并列出各维度得分,附公平性约束的一致性声明——提示词、解码参数、上下文长度、工具可用性一致方可同榜。版本对比回答"两次之间变了多少",给差值、变化方向与显著性。样本级结果是逐题的原始记录,是其余五种呈现的共同底料,也是复核与申诉的依据。失败样本清单是归因的入口,见下一小节。
统计显著性分析关系到验收结论是否可辩护。评测集规模 0.95 万条,按能力维度拆分后单个维度可能只有几百道题,几个百分点的差异完全可能来自抽样波动。本方案的口径是:每个维度得分同时给出点估计与自助重采样 1000 次得出的 95% 置信区间;两个版本的比较采用配对检验(同一批题目上的正误配对,采用 McNemar 检验),给出检验统计量与显著性水平;置信区间重叠或检验不显著的,评测报告中表述为"未见显著差异",不表述为"有所提升"。这一条写进协议,意味着我方不会把波动当成果报出来。
工具支持错题溯源与聚类分析,把模型错误关联到训练样本、数据来源、标注批次、生成批次、质量问题或知识覆盖盲区。六个关联对象对应六类不同的数据侧原因,处置动作各不相同,所以归类必须到这个粒度,笼统说"数据质量问题"无法执行。
溯源的路径分两条,按证据强弱分别使用。强路径是血缘回溯:错题所考的知识点或字段,经知识点标签反查训练集中覆盖该知识点的样本集合,再经血缘查出这批样本的来源、批次、标注轮次与质检结论。这条路径依赖知识点标签的完整性,覆盖范围以已打标的部分为限。
弱路径是相似检索:以错题题干与标准答案为查询,在训练集中做语义近邻检索,取最相近的若干样本作为嫌疑样本集合。弱路径不需要标签,但给出的是相关性而非因果,结论须标注为"相关性推断"。两条路径的结论都写入归因报告,并分别标明路径与证据强度,不混为一谈。
三条路径不是三种备选方案,而是按证据强度与成本排布的三层,逐层收窄到结论,对照见表 4-4B。分层的用意在于把昂贵的手段用在值得的地方:前两层每批评测都跑,成本接近于零;第三层需要额外训练轮次,只在结论将用于数据剔除、版本回滚或责任判定时启用。贡献度指向因果关系,仅凭相关性结论不足以支撑数据剔除与责任判定;而对全部子集执行第三层在工期与算力上不可行。因此按证据效力分层,并逐层写明启用条件。
表 4-4B 三层归因路径的分工、成本与启用条件
| 层 | 做法 | 回答的问题 | 成本 | 证据性质 | 启用条件 |
|---|---|---|---|---|---|
| 一层·血缘回溯(强路径) | 错题所考知识点反查覆盖该知识点的训练样本集合,再经血缘查出来源、标注批次、生成批次 | 这个错误与哪些来源、哪些批次相关 | 极低,为血缘图谱上的一次查询 | 关联关系明确,但不区分「相关」与「起作用」 | 每批评测默认执行 |
| 二层·相似检索(弱路径) | 以错题题干与标准答案为查询,在训练样本中做语义近邻检索,取嫌疑样本集合 | 哪些具体样本与这道错题最像 | 低,为一次向量检索 | 相关性,不含因果;但可读、可人工判断 | 每批评测默认执行;一层无命中时尤其有用 |
| 三层·留出对比 | 按数据子集做等量替换后的对照训练,比较该能力维度上的差异 | 这个子集对该能力实际贡献多少 | 高,需额外训练轮次 | 接近因果,但受训练随机性影响,须按本小节口径处置 | 结论将用于数据剔除、版本回滚或责任判定时启用;默认只对占比最大来源、新接入来源、合成子集三类做 |
表 4-4B 数据来源:三条路径依本小节所述做法归并;成本与证据性质为本方案的工程判断;三层的执行范围与本小节后文的限定一致。
贡献度估计用于回答"这批数据对这个能力贡献了多少"。我方采用可操作的做法而非理论上最优的做法:按数据子集做留出对比——在训练侧按数据域、来源、批次、合成与真实划分子集,由训练侧提供"含该子集"与"不含该子集"两组训练产出,在同一协议同一基准集上评测,差值即该子集对各能力维度的贡献估计。
这个做法的代价是需要额外的训练轮次,所以不对所有子集都做,只对三类子集做:占比最大的来源、新接入的来源、合成样本子集。其余子集的贡献按相似检索的嫌疑样本分布做相对排序,标注为估计值。留出对比所需的训练轮次由训练推理技术服务承担(见「行业大模型训练推理技术服务方案」一节),本工具负责设计对比方案、提供子集划分与评测执行。
留出对比要得出可用的结论,还有两处必须按口径执行,否则测到的不是子集的贡献。
第一处,用等量替换而不是直接删除。 把一个子集从训练数据中去掉,同时改变了两件事:少了这个子集,也少了相应的数据总量与原有配比。直接比较会把「数据变少了」记成「这个子集没用」。因此留出时用其余子集按原配比补足同等规模,使两次训练的总量与配比一致,差异只在被替换的那一部分。补足所用的样本构成一并留档,使对照可复现。
第二处,差异要大于训练随机性才算差异。 同一份数据、同一套超参,仅随机种子不同的两次训练,在单个能力维度上的得分本就有波动;若不先把这个波动量测出来,留出对比得到的一两个百分点就无法解释。做法是先用同一配置、不同种子跑出基准波动区间作为参照刻度,再按工具链总述第 4.9 节第三条的配对口径判断留出前后的差异是否超出该刻度;未超出的一律表述为「未检出显著贡献差异」,不表述为「该子集无贡献」——前者是实测结论,后者是一个需要举证的断言,而手上的数据举不出这个证。
两处约束使留出对比的单次成本上升(需要一次等量替换对照与若干次同配置重复),因此前述「只对三类子集做」的限定更要守住:其余子集的贡献按前两层给出相关性结论,并在归因报告中标明所用层级,不把相关性写成贡献度。
当争议只涉及个别错题与少量嫌疑样本、且不具备另跑训练轮次的条件时,另有一条不重训的仲裁路径:在指定的模型检查点上,比较嫌疑训练样本与该错题在模型内部表示上的作用方向,按作用强度对嫌疑样本排序,再取排序结果与二层相似检索的结果交叉比对——两者同时指向的样本作为优先核查对象。该路径只在抽样子集与具体错题上执行,不对数据集整体给出贡献度结论,它的定位是仲裁与排序,不是度量。
这条路径对训练推理技术服务提出三项接口要求:提供指定检查点的只读访问;提供该检查点对应的训练任务标识与数据集版本,使嫌疑样本可回指血缘;提供训练日志中的批次与顺序记录。三项中任一不可得时,本路径停用,仲裁退回留出对比或人工判定,接口可用与不可用两种情形的处置一并写入接口条款,不按单一通道作承诺。本路径的结论一律标注所依据的检查点与执行范围,不与留出对比的结论混记。
聚类分析把错题归成可处理的若干类。聚类维度不是单一的语义相似,而是四个维度联合:错误表现(答错、答偏、拒答失当、格式不合、超时)、所考能力维度、所涉业务对象(工序、材料、设备、缺陷类别、故障条目)、嫌疑数据来源。四维联合聚类的产出是一张错题分类表,每一类给出错题数量、占该维度错题的比例、典型例题、嫌疑原因与建议动作。类别数控制在二十类以内;超出则按数量合并尾部类别,保证报告可执行。
表 4-5 六类数据侧原因与对应处置
| 关联对象 | 该类原因的特征 | 典型表现 | 处置动作 | 承接环节 |
|---|---|---|---|---|
| 训练样本 | 错误集中在少数具体样本所覆盖的知识点上 | 同一工序的编排题成批答错 | 核查这批样本内容是否有误,修订或剔除 | 加工环节 |
| 数据来源 | 错误集中在某一取数系统来源的样本上 | 某系统来源的字段填写不完整导致学歪 | 核查该来源取数逻辑与字段完整度 | 采集接入(见「数据资源采集接入方案」一节) |
| 标注批次 | 错误集中在某一标注轮次或某一标注批次 | 该批次标注口径与判据口径不一致 | 该批次返工重标,核对标注规范 | 标注环节(见「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节) |
| 生成批次 | 错误集中在合成样本标记为真的样本上 | 模板约束有误,生成了不合实际的组合 | 修模板、回滚模板版本、重生成 | 3.2 节 |
| 质量问题 | 错误样本的质检结论本已标为低质量却仍入集 | 低质量样本未被质量检查节点拦住 | 核查质量检查节点阈值与执行记录 | 2.3 节 |
| 知识覆盖盲区 | 错误所考知识点在训练集中几乎无样本 | 稀有故障、低频缺陷、非常规工况 | 出补齐需求单;不可补齐者记入数据卡覆盖不足 | 2.3.4 节 |
第六类与前五类性质不同:前五类是数据错了,第六类是数据没有。区分这两者是归因工具的主要价值。把覆盖盲区误判为数据质量问题,会导致反复返工已有样本而问题不解。判别方式是看训练集中该知识点的样本量:低于最小可用量即判盲区,不再往数据质量方向找原因。
判别规则要给得更细一层,因为只看样本量会漏掉第三种情形。按两个可计算的量组合判定:错题所考知识点在训练集中的样本密度(该知识点标签下的样本条数与其在业务中的重要度之比),以及这些样本的质检通过率。三种组合对应三种结论:密度低,判为覆盖盲区,出补齐需求单;密度足够而质检通过率低,判为质量问题,核查质量检查节点与该批样本;密度足够、质检通过率正常而仍成批答错,判为标注口径或任务定义问题,核查标注规范与题目设定。第三种最容易被漏掉,它既不是数据错了也不是数据没有,而是数据与题目各自都对,但两者的口径不一致——这种情形下返工样本与补充样本都无效,要改的是规范或题面。三种结论的判据阈值在首批归因中标定,标定记录随归因报告留档。
处置权限上还有一条硬规矩:二层相似检索的结论不单独作为剔除或修改训练样本的依据。 相似不等于致错,按相似度删样本会误删真实样本,而误删的样本不会再被发现——它既不在数据集里,也不在问题清单里。弱路径结论只能用于排序与派发核查;真正的剔除或修改须经一层血缘确认、三层留出对比确认,或经人工确认后由修订工单执行。这条规矩与数据修订工单的字段口径配套:工单须记录其所依据的归因层级,层级为二层的工单只能派「核查」动作,不能派「剔除」动作。
表 4-5 按招标文件的六个关联对象给出处置动作,那是按"错误关联到什么"分的。执行时还需要按"错误由什么造成"再分一层——同一个关联对象下可能是数据本身错了,也可能是处理它的规则错了,两者的整改动作与责任组完全不同。本小节把成因归为六大类,逐类给出判定证据、证据链与整改责任。
成因判定的次序固定:接口成因 → 规则成因 → 模型成因 → 标注成因 → 数据成因 → 题面与任务定义成因。这个次序按"证据的确定性"由强到弱排。接口成因有调用日志可查,是确定的;数据成因往往要排除前几类之后才能认定。倒过来查的后果是把一批本来没错的样本返工掉,而真正的成因(某次接口截断、某版规则误删)留在系统里继续产生新的错误。
表 4-5A 六类成因的判定证据、证据链与整改责任
| 成因大类 | 具体情形 | 判定证据 | 证据链(自错题回溯的记录序列) | 整改责任组 | 整改后的验证方式 |
|---|---|---|---|---|---|
| 接口成因 | 取数接口字段缺失或截断;推理接口超时与输出截断;网关限流致批次不完整;回调丢失致状态不一致 | 调用日志中的错误码与返回长度、批次实际条数与预期条数之差、任务状态与结果条数不匹配 | 错题 → 评测运行标识 → 调用日志条目(含错误码、重试次数)→ 处理批次 → 源对象取数记录 | 采集接入组(取数侧,见「数据资源采集接入方案」一节)或平台侧(推理与网关侧) | 重跑受影响批次,比对补齐后的条数与字段完整度;重跑结果与原结果差异登记 |
| 规则成因 | 清洗、校验、质检规则误删或误放;业务约束清单过严或过松;字段映射配置错误;归一化规则漏项 | 规则版本号与变更记录、该规则在本批次的命中条数异常、同一样本在前后两版规则下的判定不同 | 错题 → 嫌疑样本 → 血缘中的规则版本 → 规则变更记录 → 受同一规则影响的全部批次清单 | 规则维护组(质检规则见「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节,数据集标准见「数据治理(二):标准、质量、安全、生存周期与应用流通规划」一节) | 按修订后的规则重跑受影响批次;对修订前后的判定差异抽样复核 |
| 模型成因 | 生成、标注或判分所用模型或其版本变更;提示词模板版本变更;裁判模型存在系统性倾向 | 血缘中的模型版本与提示词版本、换版前后同批样本的判定差异率、裁判按长度或顺序分档的给分分布 | 错题 → 嫌疑样本 → 血缘中的模型与提示词版本 → 网关调用记录 → 同版本处理的全部批次 | 平台侧(模型接入与提示词资产) | 固定版本重跑并比对;差异超过 2 个百分点的批次判定作废重跑 |
| 标注成因 | 某一标注轮次或批次的口径与判据字典不一致;判据字典已更新而标注规范未同步;标注员倾向于选默认值 | 该批次的标注一致率、分布统计中该批次的异常峰值、判据字典版本与标注规范版本的时间差 | 错题 → 知识点标签 → 覆盖该知识点的样本 → 血缘中的标注批次与轮次 → 该批次的标注规范与判据字典版本 | 标注环节(见「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节) | 该批次返工重标后重跑评测,比对该能力维度得分变化 |
| 数据成因 | 源数据本身有误;某一取数来源的字段填写不完整;某类别样本覆盖不足;合成样本偏离真实分布 | 来源维度的错误集中度、该来源的字段完整度统计、该知识点的样本密度与质检通过率、合成标记分布 | 错题 → 知识点标签 → 训练样本集合 → 血缘中的来源与处理批次 → 源对象与取数时间 | 加工环节(内容修订)或采集接入组(来源侧,见「数据资源采集接入方案」一节) | 修订或补采后重跑该知识点的相关题目;覆盖不足的按补齐需求单执行后复核覆盖度 |
| 题面与任务定义成因 | 数据与题目各自都对,但两者口径不一致;题目超出数据集声明的覆盖范围;判分规则与题型不匹配 | 该知识点样本密度足够且质检通过率正常而仍成批答错;同一知识点换一种问法即答对 | 错题 → 知识点标签 → 样本密度与质检通过率 → 题目的能力维度映射与判分规则版本 | 评测组(题面与协议)会同标注环节(规范口径) | 改题面或改规范后重测该维度;改动写入协议次版本并声明可比性边界 |
表 4-5A 数据来源:招标文件 3.2.3.10.2(2);六类成因由本小节按整改动作归并;证据链所用记录项见表 4-7 的血缘节点与边。
证据链的硬规矩是逐节可查、不得跨节推断:从错题到成因的每一节都要能在血缘图谱或调用日志里取到一条实际记录;取不到的那一节,整条链降级为相关性推断,按 4.3.2 节的二层证据处理,只能派核查动作。
整改责任按组别指派,不指个人。一条错题可能同时命中两类成因(如某批次既有接口截断又有标注口径问题),此时按判定次序取最先成立的一类为主责,其余类另开工单并在两张工单上互相登记关联,避免两边都等对方先改。主责组在整改期限内未能给出结论的,工单升级为"口径存疑"并提交项目组评审,不在两组之间往复转派。
工具支持自动生成数据修订工单,工单含问题类型、关联样本、影响范围、修订建议、责任组、优先级与整改期限。工单是归因结论转为执行的接口,字段口径见表 4-6。工单的生成是自动的,工单的关闭须人工确认并附证据。
表 4-6 数据修订工单字段与取值口径
| 字段 | 取值口径 | 自动生成依据 |
|---|---|---|
| 问题类型 | 按表 4-5 六类取值,另设"口径存疑"一类用于约束表或判据本身有疑问的情形 | 聚类分析结论 |
| 关联样本 | 样本标识列表+所属批次+所属数据集版本 | 血缘回溯或相似检索结果 |
| 影响范围 | 受影响的数据集版本、训练任务、模型检查点、评测报告、已发布数据集组合 | 血缘图谱的影响范围分析(见 4.4.2) |
| 修订建议 | 具体动作:修订内容/剔除样本/重标批次/改模板/扩来源/补采集/记入覆盖不足 | 按问题类型映射的动作表 |
| 责任组 | 按环节指向加工、标注、采集、质检、模板维护、评测各组(记组别不记个人) | 问题类型到环节的映射 |
| 优先级 | 高/中/低。高=阻断发布或影响验收结论;中=影响某一能力维度得分;低=局部问题 | 影响范围与阻断关系 |
| 整改期限 | 高 5 个工作日,中 10 个工作日,低随下一版本处理 | 优先级映射,可按项目计划调整 |
| 验证方式 | 整改后如何确认已解决:重跑哪一项检查、重测哪一维度、复核多少样本 | 按问题类型映射 |
| 状态 | 新建/处理中/待验证/已关闭/已转需求(指需要新增采集或新增系统能力的) | 流程状态 |
工单有两条纪律写在流程里。第一,工单不自动关闭:整改完成后须按验证方式重跑检查或重测维度,验证通过方可关闭,验证记录随工单留存。第二,"已转需求"是一个正式状态而非借口:当整改需要的是现场新增采集点、源系统开通新接口或业务流程增设填报入口时,工单转为需求项并登记依赖方与预计解决时点,同时在相关数据集的数据卡上标注该项覆盖不足。这样处理的理由是甲方的四类从零补录数据(选型投运评价、热处理装载登记、焊接层间温度、维修事实)注定会反复触发这类工单,不设正式出口就会积压成一堆无法关闭的待办。
工单汇总进质量治理报告第 7 章(见表 2-9),按优先级与状态统计,未关闭工单随版本累计,不跨版本消失。
一次归因任务按七步推进,见表 4-6A。第一步的输入是上一轮评测的失败样本清单,第七步的输出是修订工单,两端都与其他工具衔接。
归因最大的风险是把相关当作因果,七步的排布正是为约束这一点。第二步走强路径,经知识点标签与血缘回溯取得确定性证据;第三步走弱路径,经语义近邻检索取得嫌疑样本,其结论在表中明确标注为相关性推断,只用于排序与派发核查,不直接作为剔除或责任判定的依据。两条路径的证据强度不同,产出的用途也随之不同。
阈值及其来源一列显示,七步中多数按定义判定,仅近邻条数与聚类类别数上限两项为配置项,样本密度与质检通过率的判据则在首批归因中标定并留档。归因的严谨性由判定次序与证据等级保证,不靠调阈值取得。
第六步注明按条件启用,是因为留出对比需要等量替换后重复训练,代价显著,故只在结论将用于数据剔除、版本回滚或责任判定时才启用;未启用或差异未超出训练随机性刻度时,结论表述为未检出显著贡献差异。整张表支撑的是归因结论可被追问到证据这一条:每一条修订工单都能说清它由哪一步、凭哪一类证据得出。
表 4-6A 归因与错题溯源的执行步骤、输入字段与阈值来源
| 步 | 动作 | 用到的输入字段 | 算法或判据 | 阈值及其来源 | 失败或异常时的复核 |
|---|---|---|---|---|---|
| 一 | 受理失败样本清单 | 错题标识、题干、标准答案、模型输出、判分依据、所考能力维度 | 校验该次评测运行有效(重复性达标、未获取输出比例未超限) | 无阈值,按定义判定 | 评测运行标记无效的,归因不启动,先重跑评测 |
| 二 | 一层血缘回溯 | 知识点标签、训练样本集合、血缘中的来源、批次、标注轮次、质检结论 | 经知识点标签反查覆盖该知识点的训练样本,再经血缘查出来源与批次 | 无阈值;覆盖范围以已打标部分为限 | 知识点标签缺失的错题转二层;缺失情况记入报告的覆盖说明 |
| 三 | 二层相似检索 | 错题题干与标准答案、训练样本向量索引 | 语义近邻检索取嫌疑样本集合 | 近邻条数为配置项 | 结论标注为相关性推断,只用于排序与派发核查 |
| 四 | 成因判定 | 调用日志、规则版本、模型与提示词版本、标注批次与轮次、样本密度、质检通过率 | 按 4.3.3 节的固定次序逐类判定,取最先成立的一类为主责 | 样本密度与质检通过率的判据阈值在首批归因中标定,记录留档 | 六类都不成立的错题归入"口径存疑",提交项目组评审 |
| 五 | 四维联合聚类 | 错误表现、所考能力维度、所涉业务对象、嫌疑数据来源 | 四维联合聚类,类别数控制在二十类以内 | 类别数上限为配置项 | 超出上限按数量合并尾部类别,合并记录写入报告 |
| 六 | 三层留出对比(按条件启用) | 子集划分、等量替换的补足样本构成、同配置不同种子的重复训练结果 | 等量替换后对照训练,按配对口径判断差异是否超出训练随机性刻度 | 启用条件为结论将用于数据剔除、版本回滚或责任判定 | 差异未超出刻度的表述为"未检出显著贡献差异",不表述为"该子集无贡献" |
| 七 | 生成修订工单 | 问题类型、关联样本、影响范围、责任组、优先级、归因层级 | 按表 4-6 字段生成;影响范围取自血缘图谱的影响范围分析 | 优先级与整改期限的映射见表 4-6 | 归因层级为二层的工单只能派核查动作;工单不自动关闭 |
表 4-6A 数据来源:招标文件 3.2.3.10.2(1)—(3);三层归因路径的分工见表 4-4B;六类成因见表 4-5A。
工具支持数据集、训练任务、模型检查点与评测结果的血缘追踪,并以图谱展示数据、任务、模型、评测、工单与发布记录之间的依赖关系。图谱的节点类型与边类型必须先定死,否则"图谱化展示"会做成一张谁也看不懂的网。节点与边的定义见表 4-7,图谱结构见图 4-3。
之所以是十一类节点与九类边,是因为这十一类对应数据从源对象到发布记录实际经过的每一个会被追问的实体,九类边只保留审计查询真正会走的依赖关系,不建冗余关联——图谱的可读性与查询效率都取决于此。
关键属性一列是该类节点被检索与比对时的依据:版本号与内容指纹用于判断两个对象是否同一,业务主键用于回到甲方业务系统中的原始凭证,发布状态与审核状态用于判断该对象能否被引用。出边一列决定可追的方向,正向由源对象追到发布记录,反向由评测结果追回具体批次与来源。
其中最要紧的是「处理批次」一行。它携带工具与版本、规则版本、提示词版本、模型版本与参数指纹,是把「两次产出结果不同」归结到「配置不同」的唯一落点;缺了这一行,样本与数据集之间仍可连通,却无法解释差异从何而来。表中定义支撑的是本工具的基本承诺:任一样本可正向追到用它训练的模型与评测结论,任一评测结论可反向追到具体来源与加工动作。
表 4-7 血缘图谱的节点类型与边类型
| 类型 | 名称 | 关键属性 | 出边 |
|---|---|---|---|
| 节点 | 源对象 | 来源系统、业务主键(图号/工单号/炉次/焊道/设备编码)、取数时间 | 加工自 |
| 节点 | 样本 | 样本标识、所属数据集、质检结论、审核状态、合成标记 | 加工自、属于 |
| 节点 | 处理批次 | 批次标识、工具与版本、规则版本、提示词版本、模型版本、参数指纹 | 产出 |
| 节点 | 数据集版本 | 版本号、内容指纹、样本量、发布状态 | 切分为、用于 |
| 节点 | 切分结果 | train/valid/test 标识与指纹、切分策略、泄漏检测结论 | 用于 |
| 节点 | 基准集版本 | 版本号、内容指纹、冻结要素、使用范围 | 用于 |
| 节点 | 训练任务 | 任务标识、输入数据集版本、起止时间、完成状态 | 产出 |
| 节点 | 模型检查点 | 检查点标识、所属训练任务、阶段(基座/继续预训练/微调/偏好对齐) | 被评测 |
| 节点 | 评测运行 | 运行标识、协议版本、基准集版本、被测对象、指标结果 | 发现 |
| 节点 | 修订工单 | 工单标识、问题类型、优先级、状态 | 指向 |
| 节点 | 发布记录 | 发布标识、发布对象、审批角色、发布时间、生效范围 | 发布 |
| 边 | 加工自 | 处理批次标识、时间 | 样本→源对象,样本→上游样本 |
| 边 | 属于 | —— | 样本→数据集版本 |
| 边 | 切分为 | 切分任务标识 | 数据集版本→切分结果 |
| 边 | 用于 | 用途(训练/验证/测试/评测) | 切分结果→训练任务,基准集版本→评测运行 |
| 边 | 产出 | —— | 训练任务→模型检查点,处理批次→样本 |
| 边 | 被评测 | 运行标识 | 模型检查点→评测运行 |
| 边 | 发现 | 错题标识、聚类类别 | 评测运行→修订工单 |
| 边 | 指向 | 关联类型(强路径/相关性推断) | 修订工单→样本/批次/来源 |
| 边 | 发布 | 审批角色、时间 | 发布记录→数据集版本/基准集版本 |
4-3 数据集–模型版本血缘图谱的节点与依赖关系
图 4-3 数据集–模型版本血缘图谱的节点与依赖关系。数据来源:招标文件 3.2.3.10.3(1)(2);血缘字段口径见 3.2.3.11(3)。
图谱的存储按属性图组织,节点与边都带时间属性,支持按时点查询历史状态。粒度上有一处取舍需要说明:样本级节点在 615 亿 Token 的预训练语料上数量过大,不逐条建节点。本方案的分层口径分两档。指令微调样本(89 万条)、偏好对比组(6.6 万组)、基准题目(0.95 万条)建样本级节点;预训练语料建到文档级与批次级节点,单条 Token 序列不建节点,但保留文档标识使其可回溯到源对象。分层口径在数据集标准中写明,验收时按此口径核对,不按"全部样本都有节点"核对。
工具支持审计查询与影响范围分析,满足项目验收、数据安全、模型发布、质量追责与版本回滚五类要求。五类要求问的是五种不同的问题,查询需要分别预置,不能只给一个通用图查询界面让使用者自己拼。
表 4-8 五类审计查询的问题形式与返回内容
| 用途 | 要回答的问题 | 查询方向 | 返回内容 |
|---|---|---|---|
| 项目验收 | 这一版数据集是怎么来的,每条样本的处理链路是否完整 | 正向,自数据集版本向上游展开 | 样本量、血缘挂接率、各环节工具与规则版本、质检与审核记录、未挂接样本清单 |
| 数据安全 | 哪些样本经过了外部模型调用,调用范围与数据出域情况如何 | 按处理批次筛选 | 涉外调用的批次、调用范围、出域字段、脱敏记录、审批记录(见 5.5 节) |
| 模型发布 | 这个检查点用了哪些数据集版本,其中是否有未裁定的污染或未关闭的高优工单 | 反向,自模型检查点向上游展开 | 数据集版本链、污染裁定状态、未关闭工单清单、发布阻断项 |
| 质量追责 | 这条错样本是哪个环节引入的,经过哪些人工审核 | 正向,自样本向上游展开 | 源对象、各处理批次、规则与提示词版本、审核轮次与角色、质检结论变化 |
| 版本回滚 | 回滚这一版数据集会影响哪些下游对象 | 反向,自数据集版本向下游展开 | 受影响的切分结果、训练任务、模型检查点、评测运行、已发布组合、需作废的评测结论 |
影响范围分析的输出不只是一张受影响对象清单,还包含三项判断:阻断判断(受影响对象中是否有已对外发布或已用于验收的,有则回滚须经审批)、作废判断(哪些评测结论须标注为基于已回滚版本)、重做判断(哪些处理批次须重跑,按依赖顺序给出重跑序列)。三项判断的规则写在工具里而非靠人现场拍定,是为了让回滚这件事在压力下也能按同一套口径执行。
血缘完整性本身是一项受考核的指标。指标值与适用条件:发布版本内样本的血缘挂接率不低于 98%,未挂接血缘的样本不得进入发布版本;适用条件为该版本涉及的各加工环节均已接入公共层的血缘写入,预训练语料按 4.4.1 节的分层粒度计量。测量方法:发布前的血缘完整性校验,逐样本检查八类血缘字段是否齐备(字段见 5.3 节),按全量计算不作抽样折算。不达标处置:未挂接样本退回补录;补不齐的从该版本剔除并记入待补清单,不以"血缘后补"为理由放行。
血缘工具的执行分两条线:写入线随每一次加工动作实时追加,查询线按请求执行。两条线的步骤见表 4-8A。
血缘能否被追,取决于记录是否与加工动作同步产生,而不取决于事后补登得多齐。表 4-8A 把写入线与查询线并入同一张表:两条线共用表 4-7 的同一套节点与边定义,分表论述会使写入口径与查询口径逐步分叉。
阈值及其来源一列只出现一处数值,即发布前完整性校验的挂接率门限,其余各步均按定义判定。这说明血缘的可靠性并非靠阈值把关,而是靠写入时点、分层粒度与只追加三项约束。失败或异常时的复核一列是证据列,逐步写明不可接受的中间态:数据已产出而血缘未写的批次回滚,文档标识缺失的预训练语料退回补录,查询超时分段执行而不返回未加说明的部分结果。
末一步「更正与留痕」是整张表的底线。血缘记录一旦可被直接改写,前面五步留下的全部记录都不再具备证据效力,故更正只以追加更正记录并标注被更正项的方式实现,直接改写的请求一律拒绝并记入审计日志。
表 4-8A 血缘追溯的执行步骤、输入字段与阈值来源
| 步 | 动作 | 用到的输入字段 | 算法或判据 | 阈值及其来源 | 失败或异常时的复核 |
|---|---|---|---|---|---|
| 一 | 节点与边登记(写入线) | 表 4-7 的十一类节点属性与九类边属性 | 由公共层在每个环节追加写入,不由各工具自填 | 无阈值,按定义判定 | 写入失败即该处理批次回滚,不允许"数据已产出而血缘未写"的中间态 |
| 二 | 分层粒度判定(写入线) | 数据集类型、样本条数、文档标识 | 指令微调、偏好对比组、基准题目建样本级节点;预训练语料建文档级与批次级节点 | 分层口径写入数据集标准,按定义判定 | 文档标识缺失的预训练语料不得入发布版本,退回补录 |
| 三 | 发布前完整性校验(写入线) | 八类血缘字段、发布版本样本清单 | 逐样本检查八类字段是否齐备,全量计算挂接率 | 98%,见 4.4.2 节 | 未挂接样本退回补录;补不齐的从该版本剔除并记入待补清单 |
| 四 | 审计查询(查询线) | 查询用途、起点对象标识、时点 | 按表 4-8 的五类预置查询分别展开,正向或反向 | 无阈值,按定义判定 | 查询超时的按时点分段执行并合并结果,不返回部分结果而不作说明 |
| 五 | 影响范围分析(查询线) | 受影响对象清单、发布与验收状态、依赖顺序 | 出阻断、作废、重做三项判断,并给出重跑序列 | 判定规则写在工具里,变更须审批 | 规则版本与台账不一致时,分析结论标注所用规则版本,不按现场口头口径执行 |
| 六 | 更正与留痕 | 被更正项标识、更正内容、更正理由、操作角色 | 只追加不修改:更正以追加更正记录并标注被更正项的方式实现 | 无阈值,按定义判定 | 任何直接改写血缘记录的请求一律拒绝,并记入审计日志 |
表 4-8A 数据来源:招标文件 3.2.3.10.3(1)(2);血缘字段见表 5-3;节点与边定义见表 4-7。
这六条不只约束本组三类七个工具,而是 9 类 25 个工具的共同约束,在本节统一给出;数据构建类工具(见「智能工具链(一):数据构建类」一节)与对齐标注类工具(见「智能工具链(二):对齐与标注类」一节)同样按本节的六条执行。
把通用要求集中写有一个实际理由。25 个工具若各自定义接口、各自决定输出格式、各自实现血缘记录,结果会是 25 套用法与 25 种口径,集成成本与验收成本都落在甲方身上;而血缘这类横向要求一旦依赖各工具自觉实现,缺失是必然的。我方的做法是把六条通用要求实现在工具运行的公共层,工具只实现自己的业务算子,接口、格式、血缘、质量上报、安全管控与验收材料由公共层统一承担。公共层承载在奔牛数据智能平台之上。
工具须提供标准应用程序接口或平台内部服务接口,支持任务创建、任务查询、结果获取、异常重试、批量导出与状态回调。六类调用构成一个任务的完整生命周期,缺任何一类都会迫使使用者改用别的途径(如直接读数据库、手工搬文件),那些途径一旦出现,血缘与审计就断了。
接口按表现层状态转移(Representational State Transfer,REST)风格组织,同时提供平台内部服务接口供平台内模块直接调用,两者共用同一套参数与返回结构。清单见表 5-1。表中路径为示意写法,最终路径随平台接口规范确定。
表 5-1 六类调用的接口定义
| 调用 | 方法与路径 | 关键入参 | 返回 | 幂等性 |
|---|---|---|---|---|
| 任务创建 | POST /tools/{tool_id}/tasks | 输入数据集版本或数据位置、参数集、回调地址、客户端请求标识 | 任务标识、受理状态、预估批次数 | 按客户端请求标识幂等,重复提交返回同一任务标识 |
| 任务查询 | GET /tools/{tool_id}/tasks/{task_id} | 任务标识 | 任务状态、批次进度、已完成与失败数、当前指标快照 | 天然幂等 |
| 结果获取 | GET /tools/{tool_id}/tasks/{task_id}/results | 任务标识、分页参数、筛选条件(批次、状态、风险等级) | 结果记录分页、结果集指纹 | 天然幂等 |
| 异常重试 | POST /tools/{tool_id}/tasks/{task_id}/retry | 任务标识、批次标识列表(缺省为全部失败批次)、是否沿用原参数 | 重试任务标识、纳入重试的批次清单 | 按批次幂等,已成功批次不重复执行 |
| 批量导出 | POST /tools/{tool_id}/tasks/{task_id}/exports | 格式、筛选条件、是否含未审核样本、脱敏级别 | 导出作业标识、取件地址、有效期、导出清单 | 按筛选条件指纹幂等 |
| 状态回调 | 由平台回调调用方登记的地址 | 任务标识、状态、阶段、指标摘要、失败摘要 | 调用方返回接收确认 | 带序号与去重标识,支持重复投递 |
六类调用之外另有两类辅助接口:参数校验接口(提交前预检参数集合法性,避免提交后才发现配置错误)与能力描述接口(返回该工具的参数清单、取值范围、默认值、输出字段与格式,供上层自动构建配置界面)。能力描述接口使运营平台可以不硬编码各工具的参数表(平台见「数据集运营服务管理平台方案」一节)。
八类调用共用同一套请求头与响应包络,字段见表 5-1A。统一包络的用处是让调用方只写一次解析逻辑,也让平台侧能对所有工具做同一套链路追踪与审计——这两件事若留给各工具自行约定,25 个工具就是 25 套解析分支。
表 5-1A 公共请求头与响应包络字段
| 位置 | 字段 | 类型 | 必填 | 含义与取值 |
|---|---|---|---|---|
| 请求头 | Authorization | 字符串 | 是 | 承载令牌,格式为 Bearer 加访问令牌;令牌的获取与刷新见 5.1.2 节 |
| 请求头 | X-Caller-Id | 字符串 | 是 | 调用方标识(系统或模块标识,不记个人账号) |
| 请求头 | X-Caller-Role | 字符串 | 是 | 调用方角色,用于三层授权校验与审计留痕(记角色不记姓名) |
| 请求头 | X-Request-Id | 字符串 | 是 | 单次请求标识,全链路追踪用,不参与幂等判定 |
| 请求头 | X-Idempotency-Key | 字符串 | 写操作必填 | 客户端请求标识,幂等判定依据,有效期见 5.1.2 节 |
| 请求头 | X-Data-Domain | 字符串 | 是 | 本次请求涉及的数据域,用于角色与数据域的交叉授权 |
| 请求头 | Content-Type | 字符串 | 是 | 固定为 application/json;批量导出取件走单独的取件地址 |
| 响应包络 | code | 整数 | 是 | 业务状态码,0 表示成功,非 0 按表 5-1E 取值 |
| 响应包络 | message | 字符串 | 是 | 可读描述,面向排障而非面向展示 |
| 响应包络 | request_id | 字符串 | 是 | 回显请求标识 |
| 响应包络 | server_time | 字符串 | 是 | 带时区偏移的 ISO 8601 时间 |
| 响应包络 | data | 对象 | 成功时 | 各调用的业务数据,结构见表 5-1 的"返回"一列 |
| 响应包络 | error | 对象 | 失败时 | 含 code、category、locator(任务与批次标识、涉及的样本标识或参数名)、suggested_action、policy_version 五项 |
| 响应包络 | trace | 对象 | 是 | 含工具标识与版本、公共层版本、本次处理耗时,供性能核对 |
表 5-1A 数据来源:招标文件 3.2.3.11(1)接口要求;字段为本方案按统一包络设计,最终名称随平台接口规范定稿。
分页、筛选与排序的参数在所有查询类调用上同名同义:page_token 与 page_size 控制分页(游标式分页,避免深翻页时的重复与遗漏),filter 承载筛选条件(批次、状态、风险等级、时间窗口),order_by 承载排序字段与方向。结果获取接口另返回 result_set_digest 一项,即本次结果集的指纹,调用方据此判断两次拉取是否同源。
鉴权分两步:先认身份,再认权限。身份认证采用令牌机制,调用方以其系统标识与密钥向平台换取访问令牌,令牌有效期默认两小时,到期前可刷新;令牌与调用方标识、角色、可访问的数据域绑定,不可转借。平台内部服务接口走服务间的双向证书认证,不使用同一套令牌,避免内部调用凭据外泄即等同外部凭据。权限校验按 5.5.2 节的三个层次执行:工具范围、数据权限、操作权限,三层都在公共层完成,工具算子收到的输入已是经权限过滤的数据。敏感操作(导出含敏感字段的结果、使用保留评测集、执行版本回滚、自隔离区回取)须经第二角色批准,批准记录随请求一并留痕。
幂等按调用类别分三种实现,见表 5-1B。幂等键的有效期为 24 小时:同一幂等键在有效期内重复提交,返回首次受理的结果而不重复执行;超过有效期的视为新请求。幂等键由调用方生成并保证唯一,平台不替调用方推断。
表 5-1B 八类调用的幂等实现与限流口径
| 调用 | 幂等实现 | 重复提交的返回 | 限流维度与默认配额 |
|---|---|---|---|
| 任务创建 | 按 X-Idempotency-Key 记录首次受理结果 | 返回同一任务标识,不新建任务 | 按调用方与工具,默认每分钟 60 次、并发在跑任务 10 个 |
| 任务查询 | 天然幂等 | 返回当前状态 | 按调用方,默认每分钟 600 次 |
| 结果获取 | 天然幂等 | 返回同一页数据与同一结果集指纹 | 按调用方,默认每分钟 300 次、单页上限 1000 条 |
| 异常重试 | 按批次标识幂等 | 已成功批次不重复执行,返回已纳入重试的批次清单 | 按任务,默认每任务每分钟 5 次 |
| 批量导出 | 按筛选条件指纹幂等 | 返回同一导出作业标识与取件地址 | 按调用方,默认每小时 20 次、单次导出上限按数据域配置 |
| 状态回调 | 带递增序号与去重标识 | 调用方按序号去重,平台支持重复投递 | 按接收方地址,默认每秒 20 次 |
| 参数校验 | 天然幂等 | 返回同一校验结论 | 按调用方,默认每分钟 300 次 |
| 能力描述 | 天然幂等 | 返回同一描述文档与版本号 | 按调用方,默认每分钟 60 次 |
表 5-1B 数据来源:招标文件 3.2.3.11(1);配额默认值为本方案设定的工程值,随平台容量规划按非功能性章节(见「方案可行性分析」一节)的统一口径调整。
限流在网关层实施,采用令牌桶,超限返回限流错误码并在响应头给出建议的重试等待秒数。限流配额按调用方与工具两个维度叠加:一个调用方把某个工具的配额用满,不影响它调用其他工具,也不影响其他调用方。配额调整须经审批并记入配置变更审计。被限流的请求不计入任务失败,不触发自动重试的重试次数累计——否则一次限流会被当成三次执行失败。
接口审计记录每一次调用的九项:调用时间、调用方标识与角色、工具与版本、调用类别、请求标识与幂等键、涉及的数据域与数据集版本、响应状态码、处理耗时、是否命中限流。审计日志只追加不可改,留存期不短于项目质保期,日志中记录角色与账号标识而不记个人姓名。导出类与回取类调用另记其筛选条件、样本量与审批记录。审计日志与 5.5.2 节的六类事件日志共用同一套存储与查询接口,不另起一套。
任务状态固定为八个,流转见图 5-1。调用方按状态机编程,不以自由文本判断进展。
5-1 工具任务状态机与重试路径
图 5-1 工具任务状态机与重试路径。数据来源:招标文件 3.2.3.11(1)接口要求。
八个状态之间的合法迁移、触发条件与迁移时的动作见表 5-1C。表中未列的迁移一律非法:收到非法迁移请求时拒绝并返回状态类错误,不按"就近可达状态"自行兜底。
表 5-1C 任务状态迁移表
| 当前状态 | 目标状态 | 触发条件 | 迁移时的动作 | 调用方可做什么 |
|---|---|---|---|---|
| (无) | 已受理 | 任务创建请求通过鉴权与幂等判定 | 分配任务标识,登记输入版本与参数指纹,触发回调 | 查询、取消 |
| 已受理 | 参数校验中 | 调度器取到该任务 | 预检参数合法性与前置条件 | 查询 |
| 参数校验中 | 执行中 | 参数与前置条件均通过 | 按可重试的最小单元切批次,登记批次数 | 查询 |
| 参数校验中 | 已挂起(参数不合法) | 参数类或输入类检查不通过 | 返回定位信息与建议动作,不消耗执行资源 | 改参数后重新创建任务 |
| 执行中 | 质量检查节点判定 | 全部批次执行结束 | 汇总批次指标 | 查询 |
| 执行中 | 已挂起(部分失败) | 存在失败批次且自动重试已用尽 | 登记失败批次清单与失败原因分类 | 按批次重试 |
| 质量检查节点判定 | 已完成 | 指标全部达门限 | 写入血缘,生成结果集指纹 | 查询、取结果 |
| 质量检查节点判定 | 已挂起(质量检查节点未过) | 任一指标未达门限 | 登记未达项、门限值与实测值 | 阈值回退一档重跑,或申请人工复核放行 |
| 已挂起(部分失败) | 执行中 | 重试接口被调用且批次清单非空 | 仅执行未成功批次,已成功批次不重复执行 | 查询 |
| 已挂起(质量检查节点未过) | 执行中 | 阈值回退一档后重跑该批次 | 登记本次所用门限与回退档位 | 查询 |
| 已挂起(质量检查节点未过) | 已完成 | 两次重跑仍未过,经第二角色人工复核放行 | 登记放行记录、放行角色与未达项,写入数据卡 | 查询、取结果 |
| 已完成 | 结果已发布 | 发布动作执行且审批通过 | 登记发布记录,结果转为只读 | 取结果、导出 |
| 结果已发布 | 可导出 | 导出作业提交 | 生成导出作业与取件地址 | 取件 |
表 5-1C 数据来源:招标文件 3.2.3.11(1)接口要求;状态集合与图 5-1 一致。
异常重试按批次粒度执行,这是"异常重试"一项的具体口径。重试分三种触发方式:调用方显式调用重试接口;平台按配置自动重试;人工在平台界面上对失败批次重试。三种方式的重试都记录在任务日志中,含触发方式、重试次数、重试前后的失败原因。
自动重试只对暂态故障生效,重试次数与间隔见表 5-1D。间隔采用指数退避并叠加随机抖动,抖动范围为该次间隔的正负 20%——不加抖动时,同一时刻失败的多个批次会在同一时刻一起重试,把一次对端限流放大成一轮冲击。确定性失败(参数不合法、输入数据缺失、业务约束违反、权限不足)不自动重试,直接报错并给出失败原因与定位信息,避免反复重试掩盖问题。
表 5-1D 自动重试的适用故障、次数与间隔
| 故障类型 | 判定依据 | 自动重试 | 首次间隔 | 退避方式与上限 | 用尽后的处置 |
|---|---|---|---|---|---|
| 网络超时、连接中断 | 传输层错误或请求超时 | 3 次 | 2 秒 | 翻倍退避,单次上限 30 秒 | 该批次标记失败,任务转已挂起(部分失败) |
| 对端限流 | 收到限流错误码 | 3 次 | 按响应头给出的建议等待秒数 | 建议值翻倍退避,单次上限 60 秒 | 同上;本次限流不计入执行失败统计 |
| 依赖服务暂时不可用 | 依赖方返回服务不可用类错误码 | 3 次 | 5 秒 | 翻倍退避,单次上限 60 秒 | 同上;模型通道不可用的降级为规则通道,产出标记"降级完成" |
| 资源争用导致的写入冲突 | 版本冲突类错误码 | 5 次 | 1 秒 | 翻倍退避,单次上限 10 秒 | 同上 |
| 参数不合法、输入缺失、业务约束违反、权限不足 | 参数类、输入类、策略类错误码 | 不自动重试 | —— | —— | 立即返回错误与定位信息 |
表 5-1D 数据来源:招标文件 3.2.3.11(1);次数与间隔为本方案设定的工程值,可按工具与部署环境配置。
错误返回按分类编码,不只给文字描述。错误码为五位整数,首位表示类别,后四位表示具体情形,类别与典型取值见表 5-1E。同一情形在所有工具上使用同一个码,码值一经发布不再改变含义;新增情形追加新码,不复用旧码。
表 5-1E 错误码类别、典型取值与调用方的应对
| 类别 | 码段 | 典型情形与码值 | 返回内容 | 是否自动重试 | 调用方应对 |
|---|---|---|---|---|---|
| 参数类 | 1xxxx | 入参缺失 10001;取值越界 10002;版本不存在 10003;幂等键缺失 10004;分页游标失效 10005 | 错误码、可读描述、出错参数名、合法取值范围 | 否 | 改参数后重新提交,不重试 |
| 鉴权类 | 2xxxx | 令牌无效或过期 20001;工具范围无权 20002;数据域无权 20003;操作权限不足 20004;缺第二角色批准 20005 | 错误码、所缺的权限项、申请途径 | 否 | 刷新令牌或按最小必要原则申请授权 |
| 输入类 | 3xxxx | 数据不可读 30001;格式不符 30002;前置条件未满足 30003(如数据集未完成去重即请求切分);血缘不全 30004;被保护集合不可读 30005 | 错误码、涉及的数据集版本与样本标识、缺失项 | 否 | 补齐前置条件后重新提交 |
| 执行类 | 4xxxx | 算子异常 40001;依赖服务不可用 40002;超时 40003;写入冲突 40004;批次部分失败 40005 | 错误码、任务与批次标识、失败批次清单、已重试次数 | 是,按表 5-1D | 等自动重试,或按批次显式重试 |
| 限流类 | 5xxxx | 调用方配额超限 50001;工具并发超限 50002;单次导出量超限 50003 | 错误码、建议等待秒数、当前配额与窗口 | 是,按表 5-1D | 按建议等待后重试;长期超限的申请配额调整 |
| 策略类 | 6xxxx | 质量检查节点未过 60001;业务约束违反 60002;安全策略拒绝 60003;均衡上限超限 60004;出域拦截 60005 | 错误码、违反的具体策略条目、该策略的版本号、建议动作 | 否 | 按建议动作处置;策略配置有疑的走约束存疑清单 |
表 5-1E 数据来源:招标文件 3.2.3.11(1);码段划分与取值为本方案设计,最终码表随接口文档交付。
策略类错误须附具体违反了哪一条策略及该策略的版本号,使调用方能判断是数据问题还是策略配置问题。执行类与限流类错误须附已重试次数,使调用方不重复发起已在自动重试中的请求。所有错误返回都带 request_id,可据此在接口审计日志中取到完整的调用上下文。
状态回调在任务受理、参数校验完成、执行开始、每完成百分之十进度、质量检查节点判定、任务结束与结果发布七个时点触发。回调携带任务标识、状态、阶段、指标摘要与失败摘要,调用方返回接收确认;未确认的回调按退避策略重投,重投上限之后转为待拉取状态并在任务查询接口中可见。回调带递增序号与去重标识,允许调用方按序号去重与补齐——网络环境下重复投递与乱序到达都会发生,接口设计上先承认它。
批量导出按异步作业处理:提交导出请求返回作业标识,作业完成后回调通知并给出取件地址与有效期。导出件随附一份导出清单,含筛选条件、样本量、结果集指纹、导出时间、脱敏级别与审批记录。清单与导出件一并留存,使半年后仍能回答"这份文件是什么时候按什么条件导出的"。导出件的有效期默认七日,到期清理;需长期保留的进平台的资料库而非留在临时取件区。
含未审核样本的导出与含敏感字段的导出都需要审批,审批记录随导出清单留存(审批记角色不记姓名)。这两类导出的文件名与清单首行显式标注其性质,防止被下游误当作可用数据。
输出结果须支持 JSON、JSON Lines、Markdown、CSV、Parquet 等格式,并可按平台数据集标准转换入库。五种格式各有其用,不是同一份内容的五种包装。选错格式会让下游多做一道转换,或者在大数据量下根本打不开。
表 5-2 五种输出格式的用途与约定
| 格式 | 用途 | 结构约定 | 适用规模 |
|---|---|---|---|
| JSON | 单个任务的汇总结果、指标汇总、评测报告的机读部分、能力描述 | 顶层对象含 meta(任务、版本、指纹、时间)与 data 两段;meta 结构在所有工具间一致 | 单文件不超过数十兆 |
| JSON Lines | 样本级记录(样本、重复组、污染命中、评测结果、血缘记录) | 一行一条记录,首行可选为表头注释行;字段名用下划线命名法 | 大规模首选,支持流式读写与分片 |
| Markdown | 给人读的报告(质量治理报告、评测报告、归因报告、测试报告) | 固定目录结构(如表 2-9);表格用标准 Markdown 表格;图以内联可缩放矢量图形嵌入 | 报告类 |
| CSV | 附表、清单、供导入看板与表格工具的数据 | 统一 UTF-8 带字节顺序标记、逗号分隔、双引号转义、首行表头;日期用 ISO 8601 | 中等规模,便于业务口直接查看 |
| Parquet | 数据集本体、大规模样本集、供分析与训练侧读取 | 按数据集标准的字段模式存储;分区键按数据域与批次 | 大规模首选,列式压缩 |
同一份内容以多种格式输出时,内容一致性由统一的序列化层保证:各格式从同一份内部表示生成,不各写一遍导出逻辑。多格式导出件附同一个结果集指纹,便于核对两份文件是否同源。格式之间的对应关系在接口文档中逐字段给出,不靠下游推断。
按平台数据集标准转换入库这一项需要说明三件事。其一是字段映射:工具的输出字段到数据集标准字段的映射关系由映射配置定义并版本化,映射配置与数据集标准同步更新,标准变更时映射配置须同步评审。其二是入库校验:入库前按数据集标准做一次校验(字段完整性、类型、取值域、必填项、主键唯一性),校验不过的记录不入库,入库失败清单返回给调用方。
其三是入库凭据:入库成功后登记入库批次、入库条数、内容指纹与标准版本号,作为数据集版本的组成部分写入血缘。数据集标准本身由数据治理体系给出(见「数据治理(二):标准、质量、安全、生存周期与应用流通规划」一节),我方承诺按其执行并在标准变更时同步,标准变更时同步评审映射配置。
字符与单位的规范化在格式层统一处理,不留给各工具:文本统一为 UTF-8 不带字节顺序标记(CSV 例外,带标记以便业务口用表格软件打开不乱码);换行统一为 LF;数值不使用千分位分隔符;日期时间统一为带时区偏移的 ISO 8601;物理量单位按单位字典的标准写法(如毫米写 mm 不写 MM 或毫米混用),单位与数值分列存储,不合并为字符串。这些约定看着琐碎,但矿装数据涉及大量尺寸、温度、功率、硬度数值,单位写法不统一在下游合并时会直接算错。
每条样本须关联原始数据、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果与审核状态。八项字段的定义与填写口径见表 5-3。字段由公共层在每个环节追加写入,不由各工具自填(见 1.4 节),这是血缘完整性能够达到指标的前提。
表 5-3 八项血缘字段的定义与填写口径
| 字段 | 含义 | 填写口径 | 缺失时的处置 |
|---|---|---|---|
| 原始数据标识 | 该样本最终溯源到的源对象 | 源系统标识+业务主键(图号加版次/施工号加零件号/工单号加工序号/炉次号/焊缝加焊道/设备编码);合成样本填合成标记+模板与批次标识 | 不可发布;退回补录 |
| 处理链路 | 从源对象到当前样本经过的处理批次序列 | 有序的处理批次标识列表,每项含算子名、输入指纹、输出指纹、时间 | 链路断点标注断点位置;断点样本不进发布版本 |
| 工具版本 | 各环节所用工具的版本 | 工具标识+语义化版本号;同一环节多工具的按序列记录 | 不可发布 |
| 模型版本 | 各环节调用的模型标识与版本 | 网关登记的模型标识+版本+调用时点;未调用模型的环节填无 | 若曾调用而未记录,该批次标记血缘不可信并重跑 |
| 提示词版本 | 调用模型时所用提示词模板的版本 | 模板标识+版本号+参数指纹;提示词正文存于模板库,血缘只存引用 | 同上 |
| 规则版本 | 所用规则表、约束清单、字典、映射配置的版本 | 逐类规则资产的标识与版本号 | 不可发布 |
| 质检结果 | 该样本在各质检点的结论 | 质检点标识+结论(通过/不通过/待复核)+指标值+判定阈值版本 | 未质检样本不进发布版本 |
| 审核状态 | 人工审核的状态与轮次 | 状态+轮次+审核角色+时间+意见摘要(记角色不记姓名) | 需审核而未审核的不进发布版本 |
八项之外另记三项辅助信息,便于审计:是否涉及外部模型调用及其出域范围(见 5.5 节)、是否为合成样本及其模板来源、脱敏处理记录(脱敏规则版本与被脱敏字段清单)。这三项虽非招标文件明列,但数据安全审计与第三方质量测评都会问到,先记下来比事后补容易。
血缘的粒度按 4.4.1 节的分层口径执行:指令微调样本、偏好对比组与基准题目逐条记录;预训练语料记录到文档与批次级,保留文档标识使其可回溯到源对象。分层的理由是 615 亿 Token 规模下逐 Token 序列记录血缘在存储与查询上都不可行,而文档级血缘已足以回答审计关心的三个问题:这份语料来自哪份文件、经过哪些处理、用了哪一版清洗规则。分层口径写入数据集标准,验收按此核对。
血缘的存储与查询承载在奔牛数据智能平台的血缘服务上,对外提供三类查询:按样本查链路(正向展开)、按批次查影响(反向展开)、按时点查历史状态。查询接口与 4.4.2 的五类审计查询共用同一套实现。血缘记录只追加不修改,更正通过追加更正记录并标注被更正项实现,原记录保留。血缘本身若可被改写,审计就失去意义。
血缘完整性的指标值、测量方法与不达标处置见 4.4.2 节。
工具须输出质量指标与问题样本清单,支持按批次、来源、任务类型与数据集版本生成质量报告。质量指标分两层:各工具的专有指标(如去重率、校验通过率、评测指标)与 25 个工具共同上报的通用指标。通用指标使项目组可以在不了解各工具内部的情况下判断整条流水线的健康状况,清单见表 5-4。
表 5-4 各工具共同上报的通用质量指标
| 指标 | 定义 | 分母口径 | 用途 |
|---|---|---|---|
| 处理完成率 | 成功处理的样本数占提交样本数 | 本任务提交样本数 | 判断任务是否跑完 |
| 质量检查节点通过率 | 通过质量检查节点的批次数占总批次数 | 本任务批次数 | 判断阈值设置是否合理 |
| 问题样本率 | 产出问题样本清单的样本数占处理样本数 | 成功处理样本数 | 判断本批输入质量 |
| 人工介入率 | 需人工复核或裁定的样本数占处理样本数 | 成功处理样本数 | 判断人工成本与自动化水平 |
| 人机一致率 | 人工复核结论与自动结论一致的比例 | 被复核样本数 | 判断自动判定是否可信 |
| 血缘挂接率 | 八项血缘字段齐备的样本数占处理样本数 | 成功处理样本数 | 发布前的硬门槛 |
| 重跑率 | 因失败或质量检查节点未过而重跑的批次数占总批次数 | 本任务批次数 | 判断流程稳定性 |
| 外部调用占比 | 涉及外部模型调用的样本数占处理样本数 | 成功处理样本数 | 安全审计与成本核算 |
凡设有自动采纳门限的工具,其批次质量报告还须同时给出四项:本批生效的门限值、错误率上限设定值、所用校准集版本,以及本批自动采纳、人工复核、人工标注三档的实际占比。门限因监测信号触发而挂起的批次,须在报告中标注挂起原因与恢复条件——挂起期间该批全部进复核队列,质量数据照常上报,不以「门限挂起」为由跳过本批的质量统计。门限与上限的口径见工具链总述第 4.9 节。
质量报告按四个维度生成,四个维度可交叉:按批次出的报告用于日常盯进度;按来源出的报告用于判断某个取数系统的数据质量,这份报告是向源系统侧提改进要求的依据;按任务类型出的报告用于横向比较各类加工任务的质量水平;按数据集版本出的报告即 2.3.5 节的质量治理报告,是发布与验收的依据。四类报告共用同一份指标底料,不各算一套。
问题样本清单的字段在各工具间统一:样本标识、所属批次、问题类型、问题描述、严重程度、建议动作、责任环节、关联的质量指标项、当前状态。统一字段的用途是让清单可以跨工具合并——一条样本可能在去重环节无问题而在校验环节有问题,合并后才看得出这条样本的全貌。合并后的清单进质量治理报告第 3 章,并作为修订工单的生成输入(见 4.3.4 节)。
指标的定义口径与「质量评测方案」一节数据集质量评测方案保持一致,同一指标名在两处不给不同定义;「质量评测方案」一节的指标体系面向数据集成品的评测,本节的通用指标面向加工过程的监控,两者是不同对象上的指标,不互相替代。工具产出的过程指标为「质量评测方案」一节的评测提供佐证材料,第三方机构出具盖章报告时所需的过程记录由本节的指标与报告提供(第三方测评的组织见「质量评测方案」一节)。
通用指标里有一类要单独讲清算法,就是带「率」字的那几项——抽检通过率、人机一致率、校验通过率。这些率值报出来是一个数,而它背后是一次抽样,抽样就带不确定性。抽三百条复核得到百分之九十六,真实水平可能在百分之九十三到九十八之间;报表上只写九十六,读报表的人无从判断这个数有多稳。扩大抽检量当然能把范围收窄,但人工投入是线性往上走的,而批次是一直在产出的。
本项目对此的处置是把两种信息合起来用,而不是在「多抽」与「将就」之间二选一。工具对一个批次的全部样本都有自动判定,这份判定覆盖面大但带系统偏差;人工对其中一小部分有复核,这份结论可信但覆盖面小。做法是先用全量自动判定得出一个初始估计,再用人工复核样本上「自动判定与人工判定的差值」对初始估计做偏差纠正。纠正之后得到的是一个无偏的点估计,同时能给出置信区间;在同等人工投入下这个区间比纯抽检窄,换个说法,要达到同样的区间宽度,所需的人工复核量比纯抽检少。
这个做法有两条前提必须守住,守不住则算出来的区间看着窄却是错的。第一条,人工复核的样本必须随机抽取——不能专挑难的,也不能专挑自动判定得分低的。一旦抽样带了倾向,差值纠正项本身就有偏,而这种偏差在报表上看不出来。确实需要按来源或难度分层抽取时,用分层口径计算,分层比例一并留档。第二条,全量自动判定与人工复核必须用同一张评分表、同一套判定口径,否则两者的差值没有意义,纠正就成了把一种口径的偏差搬到另一种口径上。
因此本节的率值类指标一律按「点估计(置信区间)」两段式报告,质量报告的相应列同时登记人工复核样本量与自动判定样本量两个数,使读报告的人能自己判断这个区间是怎么来的。人工复核量不足以给出有效区间时,退回纯人工抽检口径,并在报告中注明本批次的口径变更——不在区间算不出来的时候硬给一个区间。率值类指标只给单点数值而未附区间的,验收时按区间下限解释。按全量计算得出的指标(血缘挂接率、校验通过率、处理完成率)按全量实测值报出,不作抽样折算;两种口径在质量报告中分列,不混计。这一套口径与「质量评测方案」一节质量评测方案的报告模板共用,「质量评测方案」一节的指标表相应增设区间列,方法不在两处重复论证,见工具链总述第 4.9 节。
工具须内置敏感信息识别、脱敏、授权校验、访问控制与审计日志能力,涉及外部模型调用时须记录调用范围与数据出域情况。五项能力同样实现在公共层,各工具不自行实现。安全能力分散实现等于留下若干个口子。本节给出工具侧的安全设计;全项目的安全体系(国密、等保、信创比例等)见「安全方案」一节,本节不重复。
本项目的敏感信息有四类,各类的识别方式与脱敏方式不同,见表 5-5。四类当中第二类与第三类是矿装制造场景特有的,通用的敏感信息识别规则不覆盖,须按甲方确认的清单定制。
表 5-5 四类敏感信息的识别与脱敏口径
| 类别 | 具体内容 | 识别方式 | 脱敏方式 | 适用环节 |
|---|---|---|---|---|
| 个人信息 | 姓名、身份证号、手机号、工号、人脸图像 | 正则规则+命名实体识别+图像人脸检测 | 替换为角色标识(如"工艺员A");人脸区域打码 | 全环节;进入数据集前必做 |
| 商业敏感 | 客户名称与矿井名称、合同金额、报价、供应商名称、成本与定额金额 | 字段级标记+词表匹配 | 按甲方确认的脱敏级别替换为代号或区间值 | 对外导出、涉外模型调用前必做 |
| 技术秘密 | 核心工艺参数窗口、专有配方、未公开的设计方法、关键尺寸链 | 字段级标记(由工艺与设计口标定) | 不出域;涉外调用时以占位替换或整条排除 | 涉外模型调用前必做 |
| 安全生产信息 | 矿井地质条件、作业面参数中涉及安全的内容 | 字段级标记 | 按甲方确认口径处理 | 对外导出前必做 |
脱敏规则版本化并随样本血缘记录(见 5.3 节的辅助信息)。脱敏有一处工程上的要点:脱敏须可核验而不可逆。可核验的意思是脱敏后能确认哪些字段被处理过、按哪一版规则处理,这由血缘记录保证;不可逆的意思是脱敏后的数据无法还原出原值,因此不采用可逆加密做脱敏,代号映射表与数据分离存储且不随数据集导出。
脱敏的效果需要测量而非假定。本方案的做法是对脱敏后的样本做一次回扫:用同一套识别规则扫描脱敏产出,若仍有命中则说明脱敏漏项,该批次退回重做。回扫命中率是一项通用质量指标的扩展项,按批次全量统计。指标值为对外导出件与涉外调用件回扫零命中,适用条件为回扫所用识别规则集与脱敏所用为同一版本;不达标的处置是该批次退回重做,重做前不得用于对外导出或涉外调用,仅限内网处理。
授权校验在三个层次执行:调用方身份与其可访问的工具范围、调用方对输入数据集与输出结果的数据权限、特定操作的操作权限(如导出含敏感字段的结果、使用保留评测集、执行版本回滚)。三层校验都在公共层完成,工具算子收到的输入已是经权限过滤的数据。
访问控制按角色与数据域两个维度组合。角色维度区分加工、标注、质检、评测、运营、审计与管理各类角色;数据域维度区分供需计划、产品工艺设计、制造过程、质量四个数据域及其下级业务域。两个维度交叉形成授权矩阵,矩阵由甲方确认后配置。另设三条横向规则:最小必要原则(默认不授予,按需申请并限期)、职责分离(质检角色不得修改被检样本,评测角色不得访问训练侧数据的写权限)、敏感操作双人(导出敏感字段、使用保留评测集、版本回滚须经第二角色批准)。
审计日志记录六类事件:数据访问(谁在何时访问了哪些数据域的哪些对象)、任务操作(创建、重试、挂起、放行)、配置变更(规则表、阈值、协议、映射配置的变更前后值)、导出(条件、格式、脱敏级别、审批)、权限变更(授予与回收)、外部调用(见下一小节)。日志只追加不可改,按甲方确认的期限留存,留存期不短于项目质保期。日志中记录角色与账号标识,不在投标文件与对外材料中出现个人姓名。
涉及外部模型调用时须记录调用范围与数据出域情况。该条约束外部模型调用范围与出域记录,防止技术秘密流出。处置分三层。
第一层是分级准入。数据按出域许可分三级:可出域(已脱敏的通用文本、公开标准条文、无敏感标记的结构化记录)、受限出域(经脱敏且经审批的业务数据,单次调用有量级上限)、不可出域(技术秘密类字段、未脱敏的个人信息与商业敏感信息、安全生产信息)。分级由字段级标记决定,标记由甲方相关业务口标定。不可出域的数据在网关层拦截,拦截是强制的而非提示性的,调用方无法通过参数绕过。
第二层是就地处理优先。凡能在内网完成的处理一律在内网完成:图纸解析、文件格式转换、规则类质检、去重与指纹计算、分布统计、Schema 校验、切分与泄漏检测均不涉外。需要模型能力的环节优先使用部署在内网的模型;确需调用外部模型的环节(如对公开语料的改写、通用语义向量化),调用内容限于可出域级数据。模型采用当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级;网关是唯一出口,不允许工具直连外部服务。
第三层是逐次记录。每一次外部调用记录九项:调用时间、调用方角色、工具与批次标识、模型标识与版本、提示词模板版本、出域字段清单、出域数据量、脱敏规则版本、返回内容摘要指纹。记录进审计日志并关联到样本血缘,使"这条样本的哪部分内容出过域"可查。按批次与按数据域的出域汇总报表定期出具,供甲方核查。
5-2 外部模型调用的出域控制与记录
图 5-2 外部模型调用的出域控制与记录。数据来源:招标文件 3.2.3.11(5)安全要求。
每个工具链须提供演示样例、输入输出样例、配置说明、接口说明与测试报告。五件套按工具链逐个提供,9 类 25 个工具共 25 套;本组 7 个工具链的五件套由本任务承担,其余由对应任务承担(见「智能工具链(一):数据构建类」一节、「智能工具链(二):对齐与标注类」一节)。五件套的内容口径见表 5-6,口径统一的用途是使验收可以按同一张表逐项核对,不必对每个工具重新商定验收内容。
对设有自动采纳门限的工具,测试报告还须包含一次完整的门限校准记录:校准集的构成与版本、判错规则、门限搜索过程、算出的门限值,以及用同一校准集独立复算的核对结果。写入这一项的目的是让招标方或第三方测评机构能在不依赖我方工具的前提下复算出同一个门限——门限是自动采纳部分质量的全部依据,它必须可被别人算一遍。
表 5-6 验收五件套的内容口径
| 交付件 | 内容要求 | 形式 | 验收方式 |
|---|---|---|---|
| 演示样例 | 用真实业务数据的脱敏子集跑通该工具的主流程,含正常路径与至少一条异常路径(质量检查节点未过或校验失败) | 可重复执行的演示脚本+数据子集+执行录屏或执行日志 | 在甲方现场或指定环境重跑,结果与随附记录一致 |
| 输入输出样例 | 覆盖该工具全部输入项与全部输出字段的实例,含边界取值与异常取值 | 样例文件(JSON/JSON Lines/CSV)+逐字段说明 | 逐字段核对说明与样例一致;边界取值可被工具正确处理 |
| 配置说明 | 全部可配项的名称、含义、类型、取值范围、默认值、变更影响、相互依赖关系 | 配置手册+配置模板文件 | 按手册改一项配置并重跑,行为与说明一致 |
| 接口说明 | 六类调用的方法、路径、入参、返回、错误码、幂等性、回调时点与载荷;能力描述接口的返回结构 | 接口文档+可执行的调用示例 | 按文档调用全部六类接口成功;错误码可触发并与文档一致 |
| 测试报告 | 功能测试(逐条功能要求对应测试用例与结果)、指标测试(质量检查节点指标的实测值与测量方法)、性能测试(处理规模与耗时)、异常测试(重试、降级、回滚路径)、安全测试(脱敏回扫、越权拦截、出域拦截) | 测试报告+测试用例集+原始测试记录 | 抽取用例现场复测,结果与报告一致 |
测试报告中的功能测试一项有一条硬要求:测试用例与功能要求逐条对应,每一条要求至少对应一个用例,用例编号中标注其对应的功能要求条目。这样做使验收时可以按条目反查有无对应测试,而不是只看一份笼统的通过率。本组七个工具链的功能要求共 28 条(3.2.3.8 节 9 条、3.2.3.9 节 10 条、3.2.3.10 节 9 条),加上本节通用要求 6 条,合计 34 条测试要求项。
表 5-6 给的是五件套的通用口径。落到本组七个工具链上,每一件的具体内容见表 5-7:表中每格给出该工具该件交付物的实际内容与其设计所在位置,设计内容已在本节各工具链中写定,交付的是按该设计产出的材料。
表 5-7 本组七个工具链五件套的具体内容
| 工具链 | 演示样例 | 输入输出样例 | 配置说明 | 接口说明 | 测试报告 |
|---|---|---|---|---|---|
| 数据去重与相似度过滤 | 真实图纸与工艺卡脱敏子集跑通表 2-5A 八步,含同族变体保留与高风险污染阻断两条路径 | 表 2-5 全字段实例,四类处置结论各若干条;污染报告三个风险等级各若干条 | 表 6-1 十六项配置项,含四套索引的重建触发条件 | 八类调用、表 5-1A 公共字段、表 5-1E 相关错误码 | 回灌测试三档命中率、误杀率与漏检率(含置信区间)、抽样复核一致率 |
| 数据分布分析与均衡 | 构造数据集跑通表 2-9A 七步,含上限约束拦截与覆盖不足登记两条路径 | 八维分布表、两张交叉热力图数据表、六类问题判定清单、按表 2-9 八章齐备的质量治理报告 | 表 6-2 十四项配置项,含各任务类型的最小可用量 | 同上 | 构造数据集统计一致性、六类问题判定逐条实测、上限约束拦截实测 |
| 模板化数据生成 | 三套模板跑通表 3-4A 七步,含校验失败退回与约束存疑挂起两条路径 | 三套模板、参数字典子集、规则与禁止组合清单、生成样本与表 3-4 十一项日志字段实例 | 表 6-3 配置项,含采样分布与组合覆盖强度 | 同上 | 结构类与业务约束通过率、同种子重跑一致性、组合覆盖率 |
| 数据集切分与基准构建 | 含已知泄漏的构造数据集跑通表 3-8A 八步,含泄漏拦截与冻结拒改两条路径 | 三层切分结果与指纹、五类泄漏检测清单、冻结基准集与表 3-7 八项冻结要素、表 3-8 台账实例 | 表 6-4 配置项,含回滚触发条件与锚题集管理 | 同上 | 五类泄漏构造例逐类检出、指纹独立复算核对、重复运行偏差 |
| 多协议模型评测引擎 | 两套协议在冻结集上跑通表 4-4A 八步,含公平性不一致拒绝与重复性超限标记两条路径 | 协议文件、判分规则、指标汇总、样本级结果、版本对比、人工复核状态 | 表 6-5 配置项,含裁判配置数与抽样复核比例 | 同上 | 重复性偏差、人机一致率(含置信区间)、未获取输出比例、显著性表述核对 |
| 数据贡献度归因与错题溯源 | 注入已知错误样本后跑通表 4-6A 七步,含二层证据只派核查的权限拦截路径 | 能力雷达图数据表、错题分类表(含归因层级列)、表 4-5A 六类成因各一例、表 4-6 全字段工单实例 | 表 6-6 配置项,含聚类类别数上限与留出对比启用条件 | 同上 | 注入错误的归因命中情况、成因判定次序核对、工单不自动关闭的实测 |
| 数据集–模型版本血缘追溯 | 自一条错样本跑通表 4-8A 六步,含改写血缘被拒与回滚影响范围输出两条路径 | 表 4-7 十一类节点九类边实例、五类审计查询各一份返回、影响范围分析三项判断实例 | 表 6-7 配置项,含分层粒度与留存期 | 同上 | 血缘挂接率全量实测、五类查询按预置返回核对、只追加特性验证 |
表 5-7 数据来源:招标文件 3.2.3.11(6)验收要求;各格内容对应本节各工具链的实施设计与第 6 节的样例、配置、用例要点。
五件套的交付时点与项目实施计划挂接:配置说明与接口说明随工具开发完成交付,用于甲方侧的集成准备;演示样例与输入输出样例随工具部署完成交付,用于功能确认;测试报告随该工具的单项验收交付。全部 25 个工具的五件套在整体验收前汇总成册并编制索引。实施计划与验收节点见项目管理措施。
有一类验收材料需要第三方出具,在此说明接口关系:数据集质量测评的盖章报告须由具备资质的第三方机构出具(见「质量评测方案」一节),本节的测试报告不替代该报告。两者的关系是本节提供过程证据(协议、冻结集、运行记录、指标与原始测试记录),第三方据此与自行抽测结论出具评测报告。为使第三方可复核,本方案承诺评测过程的可复现性:协议版本化、基准集冻结、随机种子固定、运行记录留存,第三方按同一协议与同一冻结集重跑应得到一致结果(一致性口径见 3.3.4 节)。
完整的样例文件、配置手册与测试用例集随工具交付,其结构与关键内容如下。
样例一律使用脱敏后的真实业务对象形态:图号、物料编码、工单号等标识按甲方确认的脱敏口径替换为代号,数值与结构保持真实,使样例既可公开又能反映实际数据的样子。
输入由三部分组成:待处理数据集的版本引用、被保护集合的版本引用清单、阈值与规则配置。样例覆盖四种典型情形:纯新增批次(无被保护集合,只做自身去重)、训练集对基准集的污染扫描、跨数据集的交叉去重、同族变体密集的备料图纸批次。第四种是最需要样例的一种,因为它检验关键字段差异检查是否按预期工作。
输出样例按表 2-5 的字段全覆盖给出,并针对四类处置结论各给若干实例:判为保留的、判为删除的、判为同族变体的、判为待复核的。同族变体的实例尤其要给全——两条图纸样本,文本相似度 0.94,板厚字段一个 16 毫米一个 20 毫米,结论为同族变体、双方保留、互相登记关联。这条实例本身就是工具行为的说明书。
污染命中报告的样例给三个风险等级各若干条。高风险的实例须展示命中片段原文与位置,使审阅者能自行判断该判定是否合理。中风险的实例须展示人工裁定前后的状态变化,说明裁定结论如何回写规则库。
配置清单回答的是同一件工具在不同数据域如何被调到合适的松紧,以及调动之后要付出什么代价。五列中,取值范围是允许的边界,默认值是首期投产的起步值,变更影响写明后果,三者合看才能判断某一项是否可以在现场自行调整。
本表的取值有两种来由。阈值类取值按数据集类型分设,依据见表 2-3 与表 2-4,调整后只改变判定数量,不触发重算;索引类取值——分片单元、签名数、分段方式、向量化模型引用——一经变更须重建签名或索引并做回归比对,代价远高于前者。两类并列在同一张表里,正是为使变更之前先看清它属于哪一类。
需要特别留意关键字段差异检查一行。备料工序的图纸类数据同族变体密集,两条样本文本相似度很高而板厚、材质等关键字段不同,该开关一旦关闭即会把合法变体当作重复删除;这一风险在通用语料上并不存在,是本项目数据特性带来的专属配置。表中取值共同支撑一条承诺:去重强度可按数据域调整,而每一次调整都有记录、可回归、可追溯。
表 6-1 去重与相似度过滤工具链的配置项
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 文本归一化规则集版本 | 引用 | 规则库中的版本号 | 当前版本 | 变更须整批重算指纹并重跑一级 |
| 参与比对的结构化字段集 | 列表 | 字段名,取自数据集标准 | 按数据域预置 | 变更影响一级重复组划分 |
| 近重分片单元 | 枚举 | 中文字窗长度 3—7/英文词窗 2—4 | 中文 5/英文 3 | 变更须重建 MinHash 签名 |
| MinHash 签名数 | 整数 | 64—256 | 128 | 增大提升精度与开销 |
| LSH 分段与每段签名数 | 整数对 | 段数×每段数=签名数 | 32×4 | 影响候选对召回与计算量 |
| 近重判定阈值 | 小数 | 0.60—0.95,按数据集类型分设 | 见表 2-3 | 直接影响删除量 |
| 人工复核带上下界 | 小数对 | 下界<判定阈值 | 见表 2-3 | 影响人工工作量 |
| SimHash 汉明距离阈值 | 整数 | 1—6 | 3 | 影响字面近似的召回 |
| 向量化模型引用 | 引用 | 网关登记的模型标识与版本 | 当期择优 | 变更须重建索引并做回归比对 |
| 语义重复阈值与复核带 | 小数对 | 0.80—0.98 | 0.92/0.85—0.92 | 影响语义级删除量 |
| 语义簇保留条数 | 整数 | 1—10 | 3 | 影响问法多样性保留程度 |
| 关键字段差异检查开关与字段集 | 布尔+列表 | 按场景预置 | 开启 | 关闭会导致同族变体被误删 |
| n 元组长度 | 整数组 | 中文 8—20 字/英文 5—12 词 | 中文 13/英文 8 | 影响污染扫描灵敏度 |
| 污染风险等级判定参数 | 结构 | 片段长度与命中次数阈值 | 见表 2-4 | 影响阻断范围 |
| 被保护集合清单 | 列表 | 数据集版本引用 | 按任务指定 | 漏列即漏扫 |
| 删除样本隔离保留期 | 整数 | 7—180 日 | 一个版本周期 | 影响可追回窗口 |
功能测试按五条功能要求逐条设计用例,每条要求对应正例、反例与边界例三类用例。精确重复一项的边界例是构造仅差一个不可见字符的两条样本,归一化规则生效时应判重复、不生效时应判不同,用以验证归一化确实在起作用。近重复一项的边界例是构造 Jaccard 相似度恰在阈值上下各 0.01 的样本对。语义相似一项的用例须含表达完全不同而语义相同的真实业务问法对(如同一制度条款的两种问法),以及字面高度相似而语义相反的样本对(如"允许借用"与"不允许借用"),后者用以验证工具不会只看字面。
污染扫描一项的用例采用回灌方式:从基准集中取若干条样本,经改写后注入训练集,统计工具的识别情况。改写分三档——原文照抄、换同义词、改写句式但保留关键信息,三档的识别情况反映工具在不同隐蔽程度下的能力,测试报告逐档给出而不只给一个总数。
异常测试覆盖四条路径:输入数据集未完成前置处理时的报错、向量化服务不可用时的降级(降级为仅执行一级与二级,产出标记降级完成)、单批次失败后的重试、质量检查节点未过后的阈值回退重跑。安全测试覆盖越权访问被保护集合的拦截与导出含敏感字段结果时的审批校验。
输入样例覆盖三种典型任务:单版本分布统计、两版本分布比对(含 PSI 计算)、按配比目标的偏差分析与均衡方案生成。第三种的输入须含配比目标配置,输出须含均衡方案——方案逐类别给出当前量、目标量、建议方法、建议数量与上限校验结果,这份方案是与模板化生成工具对接的补齐需求单(见 2.3.4 节)。
输出样例含八个维度的分布表、两张交叉热力图的数据表与图表文件、六类分布问题的判定结果清单,以及一份完整的质量治理报告样例。质量治理报告样例按表 2-9 的八章齐备,其中第 8 章"待补与存疑"须有实际内容而非空章——样例中的该章列出若干条覆盖不足类别与未裁定项,展示这一章的填写方式。
分布判定的结论是松是紧,并不取决于统计算法本身,而取决于若干判定参数的取值。表 6-2 把这些参数一次列全,使分布报告中的每一条告警都能回溯到它所依据的那一行。
默认值的来由有三处。长尾占比阈值、来源偏置阈值与异常峰值密度倍数取自工程常用取值并在首批数据上复核;总体稳定性指标的两档分档沿用通行口径,分别对应关注与显著两级;各任务类型的最小可用量按任务对样本量的不同需求分设,分类任务高于生成任务、生成任务高于诊断任务,该组取值同时被归因工具用于盲区判定,两处共用一套口径。
读表时最要紧的是基准批次指定一行。漂移是相对判定,基准一换,同一批数据的漂移结论即随之改变,故该项变更须登记;各维度的分档规则一行同理,分档边界一改,历史报告之间便不再可比。两行共同决定分布结论的可比性,其余各行决定告警的数量。由此可以判断,分布分析给出的偏置、异常与漂移结论,是在一组明示取值下得出的,既可复核,也可在取值调整后重算比对。
表 6-2 分布分析与均衡工具链的配置项
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 统计维度启用项 | 列表 | 八个维度任选 | 全部启用 | 关闭维度即不出该维度统计 |
| 各维度的分档规则 | 结构 | 长度分档边界、难度合成权重、时间分档粒度、质量等级判定 | 按数据域预置 | 变更影响历史可比性,须登记 |
| 交叉热力图组合 | 列表 | 任意两维度组合 | 类别×来源、类别×时间 | 增加组合增开销 |
| 长尾判定占比阈值 | 小数 | 0.1%—5% | 1% | 影响长尾类别数量 |
| 各任务类型的最小可用量 | 结构 | 按任务类型给整数 | 分类 200/生成 50/诊断 30 | 影响长尾判定与盲区判定 |
| 来源偏置阈值 | 小数 | 50%—90% | 70% | 影响偏置告警量 |
| 长度偏置判定参数 | 结构 | 偏度与分位数比阈值 | 1σ/3 倍 | 影响长度偏置告警 |
| 异常峰值密度倍数 | 整数 | 3—20 | 10 | 影响峰值告警量 |
| PSI 分档阈值 | 小数对 | 关注/显著两档 | 0.1/0.25 | 影响漂移阻断范围 |
| 基准批次指定 | 引用 | 批次标识 | 首批次 | 变更改变漂移判定基准 |
| 各均衡方法的上限 | 结构 | 见表 2-8 | 见表 2-8 | 放宽上限增过拟合风险 |
| 合成样本占比上限 | 小数 | 5%—40% | 类别内 30%/整体 10% | 超限将使数据集真实性下降 |
| 配比目标配置 | 引用 | 数据集规模规划版本 | 当前版本 | 变更影响偏差分析结论 |
| 报告模板版本 | 引用 | 模板库版本 | 当前版本 | 变更影响报告目录 |
分布统计一项的用例采用构造数据集的方式:按已知分布构造样本集,工具的统计结果应与构造参数一致,偏差超过千分之一即判不通过。这种用例的价值在于统计类功能的正确性无法靠眼看,只能靠已知答案反推。
六类分布问题的识别各设用例:构造一个占比 0.8% 且绝对数 120 条的类别(应判长尾)、构造一个占比 0.8% 但绝对数 1500 条的类别(不应判长尾)、构造单一来源占比 75% 的类别(应判来源偏置)、构造 PSI 为 0.3 的批次(应判显著漂移并阻断)、构造一个密度为邻域 12 倍的取值点(应报异常峰值且不自动削峰)、构造增强后 PSI 为 0.28 的数据集(应阻断至参数修正)。每条用例的预期结果写明,测试报告逐条给实测结果。
均衡处理一项的用例重点验证上限约束生效:请求对一个 20 条样本的类别做 10 倍过采样,工具应拒绝并返回上限约束错误(策略类错误),而不是执行后再告警。另设一例验证"不做均衡"的路径:对标记为现场罕发的类别请求生成补齐,工具应返回覆盖不足登记而非合成样本。
输入样例给出三套完整模板:备料工艺卡模板(含枚举、数值、派生、序列、条件五类槽位)、热处理检验记录模板(含时序参数窗口约束)、安全规程问答模板(按规程条目逐条生成)。三套模板覆盖表 3-2 的全部七种槽位类型。配套给出参数字典样例(工序字典、材料牌号表、设备型谱的脱敏子集)、业务约束规则样例(含至少五条可读规则与一份禁止组合清单)与采样配置样例(含分布贴近批与稀有强化批两种配置)。
输出样例给出合成样本实例、批次台账实例、模板版本记录实例与生成日志实例。生成日志按表 3-4 字段全覆盖,含校验通过与校验失败两类实例——失败实例须展示六类校验中具体哪一项不过、不过的原因与退回去向。另给一份"约束存疑清单"实例:工具判某参数组违反约束,而该约束表达疑有误,清单记录该分歧并进入工艺口裁定流程。
一次合成批次能否被复现,是模板化生成可被信任的前提,表 6-3 列出的配置项正是围绕这一点组织的。模板、参数字典、业务约束规则集与禁止组合清单四项版本引用,加上采样分布、组合覆盖目标与随机种子,共同构成一次生成任务的配置指纹;同一指纹重跑应得到同一批样本,这也是可复现性测试的检验对象。
默认值体现两处取舍。采样分布默认按真实使用频次,使合成样本的形状贴近现场数据而非均匀分布;稀有强化批单列为批次类型,与分布贴近批分开计量,避免为补长尾而拉偏整体的合成占比。组合覆盖默认两两覆盖、仅关键参数对提升到三三覆盖,是在覆盖强度与生成量之间取的折中。
导出筛选默认值一行取值为仅导出已审核,默认即最严,放宽需显式操作并留痕。配置清单支撑的承诺是:合成样本的数量受占比上限约束,来源受版本引用约束,出口受审核状态约束,三道约束均落在可配置、可审计的具体取值上。
表 6-3 模板化数据生成工具链的配置项
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 模板引用与版本 | 引用 | 模板库中的标识与版本 | 按任务指定 | 版本变更改变产出结构 |
| 参数字典引用与版本 | 引用 | 字典库中的标识与版本 | 当前版本 | 变更可致枚举槽位取值失效 |
| 业务约束规则集版本 | 引用 | 规则库版本 | 当前版本 | 变更影响合法性判定 |
| 禁止组合清单版本 | 引用 | 清单版本 | 当前版本 | 漏列将放过不合实际的组合 |
| 各参数的采样分布 | 结构 | 均匀/按真实频次/按指定权重 | 按真实频次 | 影响合成样本分布形状 |
| 批次类型 | 枚举 | 分布贴近批/稀有强化批 | 按任务指定 | 影响占比计量归属 |
| 组合覆盖目标 | 枚举 | 两两覆盖/三三覆盖(限关键参数对) | 两两覆盖 | 提升覆盖增生成量 |
| 生成数量 | 整数 | 按任务指定 | —— | 受占比上限约束 |
| 随机种子 | 整数 | 任意 | 任务创建时生成并记录 | 同种子同配置可复现 |
| Schema 定义引用 | 引用 | 数据集标准中的模式版本 | 当前版本 | 变更影响校验结果 |
| 单位字典与量纲表版本 | 引用 | 字典版本 | 当前版本 | 影响单位规范检查 |
| 格式正则规则库版本 | 引用 | 规则库版本 | 当前版本 | 影响格式规范检查 |
| 渲染单批规模 | 整数 | 1000—100000 | 10000 | 影响并行度与重试粒度 |
| 审核抽检比例 | 小数 | 5%—100% | 按批次抽 200 条 | 影响人工成本与放行信心 |
| 导出筛选默认值 | 结构 | 任务/模板/版本/批次/审核状态 | 仅导出已审核 | 放宽将使未审核样本外流 |
模板化生成一项的用例按槽位类型逐类设计:枚举槽位取字典外值应报错;数值槽位取区间外值应报错;派生槽位的计算结果须与独立复算一致(如压弯件展开长按中性层公式手工复算比对);序列槽位生成的工序序列须满足先后约束,构造一条违反约束的序列应被规则引擎拦下;条件槽位须覆盖全部分支,构造一个落空分支的配置应在参数校验阶段报错而非生成阶段报错。
Schema 校验一项的用例按六类检查各设正反例,重点是单位规范与业务约束两类。单位规范的用例构造"板厚 20 米"这类量级明显不合理但类型与范围都通过的样本,检验量级区间检查是否生效。业务约束的用例构造一组工艺口确认为不合法的参数组合,工具应拦下并指出违反的具体规则编号与版本。
可复现性测试单设一项:同配置同种子运行两次,两次产出的样本内容指纹应完全一致;改变种子后产出应不同但分布特征一致。这项测试是生成日志中记录种子的意义所在。
异常测试覆盖模板缺陷导致的批次中止(构造一个引用不存在字典项的模板,工具应立即中止该批次并保留失败原因,而非产出一批统一错误的样本)、校验不过的退回路径、抽检不过的模板回滚路径。
输入样例覆盖三种切分任务:备料图纸—工艺卡数据集的三层切分(按零件族与来源硬隔离、按签发年份时序切分、训练侧按工序类别分层)、制度条款问答数据集的文档级切分、跨场景迁移评测的按业务场景切分。三种各给完整的策略配置与预期产出结构。
输出样例给出三个集合的样本清单与指纹、五类泄漏检测的检测记录、切分与发布台账实例(按表 3-8 字段全覆盖)。另给一份基准集冻结记录实例,按表 3-7 的八项冻结要素全覆盖,含版本号、内容指纹、题型与判分规则的对应、能力维度映射、使用范围声明。标准化评测运行的输出样例给四件产出各一份:指标汇总、样本级结果、版本对比、人工复核状态。
切分工具的配置项大体分两类:一类决定切分怎么切,一类守住切完之后集合之间不漏信息。表 6-4 把两类并列,读表时先看前者是否与数据特性相符,再看后者是否处在守住的状态。
切分策略组合与顺序一行排在首位,因为同样六种策略,施加顺序不同,得到的划分并不相同,故默认顺序把隔离性最强的文档级与来源隔离放在最前,其后依次为时序与分层,任何改动须在台账中登记理由。切分比例、层内最小样本数与时间轴字段按数据域预置,取值依据是各数据域的样本规模与业务时间语义。
后一类里,五类泄漏检测开关默认全部开启,关闭任一类即留下一个泄漏口;基准集冻结开关默认发布即冻结,关闭将使前后两次评测失去可比性;零件族关系引用取自去重工具的同族登记版本,该引用缺失会使借用件的不同变体落入不同集合,构成一种难以察觉的泄漏。这三行是整张表中最不建议改动的部分,它们直接决定评测数字是否被泄漏抬高,也就决定数据集价值验证的结论是否成立。
表 6-4 切分与基准构建工具链的配置项
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 切分策略组合与顺序 | 列表 | 六种策略任意组合 | 文档级+来源隔离→时序→分层 | 顺序不同结果不同,须登记 |
| 切分比例 | 结构 | 三集合占比 | 8∶1∶1 | 变更须在台账中说明理由 |
| 分层维度 | 列表 | 不超过三个维度 | 按场景预置 | 维度过多致层内样本不足 |
| 层内最小样本数 | 整数 | 10—100 | 30 | 低于此值的层合并 |
| 时间轴字段 | 枚举 | 签发年份/完工时间/开炉时间/报警时间 | 按数据域预置 | 变更改变时序切分结果 |
| 时序切分点 | 日期或比例 | —— | 按比例取近期 10% | 影响测试集的时间覆盖 |
| 来源隔离粒度 | 枚举 | 取数系统/车间/产线 | 取数系统 | 粒度越粗隔离越严 |
| 零件族关系引用 | 引用 | 去重工具的同族登记版本 | 当前版本 | 缺失将导致借用件跨集合 |
| 五类泄漏检测开关 | 布尔组 | 各类可单独开关 | 全部开启 | 关闭任一类即留泄漏口 |
| 近似问答泄漏阈值 | 小数 | 与语义重复阈值同源 | 0.92 | 过松致漏检,过严致误切 |
| 基准集冻结开关 | 布尔 | —— | 发布即冻结 | 关闭将破坏可比性 |
| 随机种子 | 整数 | 任意 | 任务创建时生成并记录 | 同种子可复现同切分 |
| 评测协议引用 | 引用 | 协议版本 | 按任务指定 | 变更影响评测结果可比性 |
| 保留评测集使用审批开关 | 布尔 | —— | 开启 | 关闭将使保留集被误用 |
| 回滚触发条件 | 结构 | 三类触发条件 | 见 3.3.5 节 | 放宽将使问题版本继续在用 |
切分一项的用例重点在隔离是否真的生效。设计方式是构造已知关联关系的数据集:一组样本来自同一文档、一组来自同一零件族、一组属同一工单,切分后检查这些组是否各自落在单一集合内,有一组被拆开即判不通过。时序切分的用例构造时间跨度明确的数据集,检查测试集的时间范围是否确实晚于训练集。
泄漏检测一项的用例按五类各设正例:人为在训练集与测试集中各放一条同源文档样本、一对近似问答、一对同工单记录、一对同族图纸、一条与基准集同题的样本,工具应逐类检出并给出泄漏类型。另设一例反例:两条字面相似但来自不同文档、不同零件、语义不同的样本,不应被判泄漏。
基准集冻结一项的用例验证不可修改:对已冻结的基准集发起修改请求,工具应拒绝并提示须发新版本;修改后发新版本,旧版本应仍可按版本号读取且指纹不变。另设一例验证使用前指纹校验:人为篡改一条基准样本,下次评测运行应在指纹校验阶段报错并拒绝运行。
标准化评测运行一项的用例验证可重复性:同协议、同模型、同基准集、同种子跑两次,主指标偏差应不超过 0.5 个百分点;改变解码参数后偏差应超限并被标记为不可比。回滚一项的用例验证影响范围分析的完整性:构造一条数据集版本到模型检查点到评测报告的依赖链,回滚该数据集版本,工具应列出全部下游对象并给出阻断、作废与重做三项判断。
输入样例给出两套完整的评测协议:一套面向板材备料能力(图纸要素识读、工序序列编排、展开与定额计算、工艺借用判定四个维度),一套面向通用场景能力(依据可溯答复、权限边界遵守、工具调用正确性三个维度)。两套协议按表 4-2 与 4.2.1 的七项要素齐备,含人工复核规则与指标口径。配套给出判分规则样例,覆盖表 4-3 的六种判分方式。
输出样例给出一次完整运行的四件产出,并给出一份多对象横向对比的排行榜实例与一份能力雷达图的数据表实例。样本级结果的样例须含五类情形各若干条:判对的、判错的、落入分界带转人工的、违反硬约束判零分的、未获取输出的。第四类与第五类是最容易被忽略而在验收时被追问的两类,样例中必须有。
同一批模型对比的结论能否成立,取决于哪些条件对所有被测对象一致,哪些可以因对象而异。表 6-5 的配置项正按这一界线划开:解码参数、上下文长度上限与工具可用性配置三行注明同批对比中须一致,它们固定在评测协议里而非写在任务中;各对象的并发上限与速率配额则按网关登记值分设,因为它只影响运行速度,不影响判分结果。
默认值分作两组。单题重试次数与未获取输出比例上限控制一次运行是否有效,超出上限该次运行即标记无效,不进入版本对比;裁判结果抽样复核比例、人机一致率下限与置信区间计算参数控制判分是否可信,一致率低于下限该判分通道停用,改走其他判分方式。
裁判提示词版本一行值得单独留意:提示词本身即判分口径的一部分,版本变更须重跑受影响的历史评测,否则前后两期的结果并非同一把尺量出。表中取值支撑的是评测结论可比与可复现这一条——同协议、同基准集版本、同种子重跑,偏差应落在既定范围之内。
表 6-5 多协议模型评测引擎的配置项
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 评测协议引用与版本 | 引用 | 协议库版本 | 按任务指定 | 协议即口径,变更须重跑以保可比 |
| 基准集引用与版本 | 引用 | 已冻结版本 | 按协议指定 | 仅可引用已冻结版本 |
| 被测对象清单 | 列表 | 网关登记的对象标识与版本 | 按任务指定 | 对象增减改变排行榜构成 |
| 各对象的并发上限与速率配额 | 结构 | 按对象给整数 | 按网关登记值 | 过高触发对端限流 |
| 解码参数 | 结构 | 温度、最大长度、停止词等 | 协议中固定 | 同批对比中须一致,否则不可比 |
| 上下文长度上限 | 整数 | 按对象能力 | 协议中固定 | 同批对比中须一致 |
| 工具可用性配置 | 结构 | 工具调用题的可用工具清单 | 协议中固定 | 同批对比中须一致 |
| 单题重试次数 | 整数 | 0—5 | 2 | 影响未获取输出比例 |
| 未获取输出比例上限 | 小数 | 1%—5% | 2% | 超限该次运行标记无效 |
| 判分方式映射 | 结构 | 题型到主判分与校准方式的映射 | 协议中固定 | 变更即改判分口径 |
| 裁判提示词版本 | 引用 | 模板库版本 | 当前版本 | 变更须重跑受影响历史评测 |
| 裁判结果抽样复核比例 | 小数 | 10%—100% | 10% | 低于 10% 不足以校准 |
| 人机一致率下限 | 小数 | 80%—95% | 85% | 低于此值该通道停用 |
| 置信区间计算参数 | 结构 | 重采样次数与置信水平 | 1000 次/95% | 影响显著性判断 |
| 随机种子 | 整数 | 任意 | 协议中固定并记录 | 同种子可复现 |
协议可重复性一项的用例是本工具链的核心测试:固定协议、对象、基准集与种子,连续运行三次,三次主指标的极差应不超过 0.5 个百分点。另设一例验证协议版本化生效:改动协议中的一项判分权重并发新版本,按新旧两版分别运行,结果应不同且运行记录中协议版本正确区分。
公平性约束一项的用例构造两个对象使用不同解码参数的运行请求,工具应在编排阶段检出不一致并拒绝作为横向对比,或允许运行但在输出中标记不可比。这项用例检验的是工具会不会悄悄给出一份不公平的排行榜。
判分融合一项的用例按六种判分方式各设用例,重点三条:规则约束的否决性(构造一条答案内容基本正确但违反工序先后约束的回答,应判零分而非部分分);裁判通道的停用机制(人为构造人机一致率低于 85% 的情形,该题型应自动转为人工全部判分);人工复核的覆盖与留痕(复核改分后,原自动分值、复核分值、复核角色与理由均应在样本级结果中可见)。
多模态一项按表 4-4 的六类任务各设用例,位置类答案的用例须含重叠度恰为 0.5 与 0.3 的边界例。失败处理一项的用例构造对端超时情形,检验超时题目是否被标记为未获取输出且不计入得分分母——若被当作答错,该用例判不通过。
输入样例给出一份完整的失败样本清单(含不少于三类错误表现)、对应的训练样本血缘查询结果、数据子集标签表与一份留出对比的评测结果对。输出样例给出六种呈现各一份:能力雷达图数据表、排行榜、版本对比(含显著性判断,且须含一例"未见显著差异"的结论)、样本级结果、失败样本清单、统计显著性分析明细。
归因报告样例须含完整的错题分类表:不超过二十类,每类给错题数量、占比、典型例题、嫌疑原因、所用归因层级(一层血缘回溯/二层相似检索/三层留出对比/轻量仲裁)与建议动作。层级一列是必填项,它决定该类错题能派什么动作——层级为二层的只能派核查、不能派剔除(见 4.3.2),报告样例里不标层级,这条权限规则在执行时就落不了地。表中须有一类归因到知识覆盖盲区的实例,以展示工具如何区分"数据错了"与"数据没有"。修订工单样例按表 4-6 字段全覆盖,含三个优先级各一例,以及一例状态为"已转需求"的工单——该例对应的是现场尚无记录须从零补录的数据项,用以展示该出口的实际用法。
归因报告的使用者首先要知道一条结论有多硬,表 6-6 把决定结论强度的配置项放在最前。溯源路径启用项分强路径与弱路径两项,二者默认同时启用;若仅弱路径可用,该批结论即由血缘回溯的确定性证据降为相似检索的相关性推断,报告中的表述须随之改变。知识点标签体系引用一行决定强路径的覆盖范围,标签缺失的错题只能转入弱路径。
统计类取值按常规做法设定:置信区间取重采样一千次,配对检验用于同配置不同种子的重复训练结果比较,显著性水平默认取 0.05,三者共同决定未检出显著贡献差异这一表述何时成立。盲区判定依据直接引用分布工具的各任务类型最小可用量,两件工具共用一套口径,避免同一类别在一处判为长尾、在另一处判为盲区。
表的后四行把归因接到整改:优先级映射、整改期限、验证方式映射与责任组映射,决定一条结论产出之后由谁在多少工作日内做什么、以何种验证关闭。配置清单支撑的承诺是,归因从证据等级到整改闭环的每一步都有明示口径,不靠个案裁量。
表 6-6 归因与错题溯源工具链的配置项
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 溯源路径启用项 | 布尔组 | 强路径(血缘回溯)/弱路径(相似检索) | 均启用 | 仅弱路径时结论证据强度下降 |
| 知识点标签体系引用 | 引用 | 标签体系版本 | 当前版本 | 强路径的覆盖范围取决于此 |
| 相似检索返回条数 | 整数 | 5—100 | 20 | 影响嫌疑样本集大小 |
| 聚类维度启用项 | 布尔组 | 四个维度 | 全部启用 | 维度减少致归类变粗 |
| 聚类类别数上限 | 整数 | 10—50 | 20 | 超限按数量合并尾部类别 |
| 贡献度留出对比的子集选择 | 列表 | 占比最大来源/新接入来源/合成样本子集/指定子集 | 前三项 | 增加子集增训练轮次成本 |
| 置信区间与检验方法 | 结构 | 重采样次数/配对检验方法 | 1000 次/配对检验 | 影响显著性结论 |
| 显著性水平 | 小数 | 0.01—0.10 | 0.05 | 影响"未见显著差异"的判定 |
| 盲区判定依据 | 引用 | 各任务类型的最小可用量(同表 6-2) | 同表 6-2 | 影响第六类原因的判定 |
| 工单优先级映射规则 | 结构 | 影响范围到优先级的映射 | 见表 4-6 | 影响整改期限安排 |
| 整改期限 | 整数组 | 按优先级给工作日数 | 5/10/随下版 | 须与项目计划一致 |
| 工单验证方式映射 | 结构 | 问题类型到验证动作的映射 | 见表 4-6 | 影响工单关闭条件 |
| 责任组映射 | 结构 | 问题类型到环节的映射(记组别) | 按环节预置 | 影响工单流向 |
错题溯源一项的用例采用注入方式:在训练集中人为植入一批内容有误的样本(如把某道工序的先后关系写反),训练后在基准集上评测,检验工具能否把相应错题归因到这批样本。这是对归因能力最直接的检验,测试报告给出归因命中的情况与证据路径分布。
聚类分析一项的用例检验两件事:类别数是否受上限约束(构造能产生五十类的错题集,工具应合并到二十类以内并说明合并规则);四维联合是否生效(构造两组错题,错误表现相同但所涉业务对象与嫌疑来源不同,应聚为两类而非一类)。
六类原因判别一项的用例按表 4-5 各设一例,重点是第六类与前五类的区分:构造一个知识点在训练集中样本量为零的错题组,工具应判为知识覆盖盲区并出补齐需求单,而不是判为训练样本内容有误并要求返工。
贡献度估计一项的用例验证留出对比的正确性:构造一个明显影响某能力维度的子集,留出后该维度得分应明显下降,工具给出的贡献估计方向应与之一致。显著性一项的用例构造两版差异在置信区间内的评测结果,报告中应表述为"未见显著差异"——若表述为"有所提升",该用例判不通过。
工单一项的用例检验两条纪律:整改后未经验证即请求关闭,工具应拒绝;需要新增采集的工单请求关闭,工具应引导至"已转需求"状态并要求登记依赖方与预计解决时点。
输入样例给出一条完整的依赖链:若干源对象到样本、样本到处理批次、批次到数据集版本、版本到切分结果、切分结果到训练任务、训练任务到模型检查点、检查点到评测运行、评测运行到修订工单、发布记录到数据集版本与基准集版本。这条链覆盖表 4-7 的全部十一类节点与九类边,是血缘图谱的完整样例。
输出样例给出五类审计查询各一份结果(按表 4-8),并给出一份影响范围分析报告实例,含阻断、作废与重做三项判断与一份按依赖顺序排列的重跑序列。另给一份血缘完整性校验报告实例,含逐样本八项字段的齐备情况统计与未挂接样本清单。图谱的可视化样例给出两种视图:以某条样本为中心的正向展开视图,以某个数据集版本为中心的反向影响视图。
血缘记录面对的是三个现实问题:记到多细,留多久,改不改得了。表 6-7 的配置项逐一对应这三问。
粒度一行给出分层口径:指令微调、偏好对比组与基准题目按条记录,预训练语料记到文档与批次。分层的理由是存储量与审计深度之间的折中——预训练语料体量以百亿 Token 计,逐条建节点并不能带来相应的审计价值,而微调与基准数据的每一条都可能成为错题溯源的起点。八项血缘字段必填性与辅助三项记录开关决定记录的完整程度,放宽必填项会使挂接率这一考核指标失去意义。
留多久由历史时点查询保留期决定,取值为不短于质保期,以保证质保期内的任何一次追问都有记录可查;图谱查询深度上限默认十跳,是在可追深度与查询开销之间取的平衡。血缘挂接率门限取 98% 作为首期基线,低于门限的版本阻断发布,未挂接样本退回补录,补不齐的从该版本剔除并记入待补清单。
末行血缘记录修改策略的取值范围只有只追加一个值,并注明不可改为可修改——这是整张表中唯一不开放的配置项。血缘之所以能作为验收证据,正在于它不可被事后修饰。
表 6-7 血缘追溯工具链的配置项
| 配置项 | 类型 | 取值范围 | 默认值 | 变更影响 |
|---|---|---|---|---|
| 血缘粒度分层口径 | 结构 | 各数据集类型的记录粒度 | 微调/偏好/基准逐条,预训练到文档与批次 | 变更影响存储量与审计深度 |
| 八项血缘字段必填性 | 布尔组 | 各字段可单独设必填 | 全部必填 | 放宽将降低挂接率考核意义 |
| 辅助三项记录开关 | 布尔组 | 出域记录/合成标记/脱敏记录 | 全部开启 | 关闭将影响安全审计 |
| 血缘挂接率门限 | 小数 | 90%—100% | 98%(首期基线) | 低于门限阻断发布 |
| 图谱查询深度上限 | 整数 | 3—20 跳 | 10 | 过深查询开销大 |
| 历史时点查询保留期 | 整数 | 按月 | 不短于质保期 | 影响可回溯窗口 |
| 审计查询预置项 | 列表 | 五类用途 | 全部预置 | 缺项将迫使使用者自拼查询 |
| 影响范围判断规则 | 结构 | 阻断/作废/重做三项的判定规则 | 见 4.4.2 节 | 变更须审批 |
| 回滚审批开关 | 布尔 | —— | 受影响对象含已发布项时强制 | 关闭将使回滚失控 |
| 血缘记录修改策略 | 枚举 | 只追加 | 只追加 | 不可改为可修改 |
血缘完整性一项的用例检验八项字段的必填校验:构造一条缺失提示词版本的样本(但其处理链路中确有模型调用),发布前校验应检出并阻断。另设一例检验分层口径:对预训练语料请求样本级血缘,工具应按文档级返回并说明分层口径,而不是报错或返回空。
图谱查询一项的用例按五类审计查询各设一例,重点是模型发布一类:构造一个依赖链中含未裁定污染项的检查点,查询应返回发布阻断项而不是只返回数据集版本清单。影响范围分析一项的用例构造一条含已发布对象的依赖链,回滚请求应触发审批要求并给出完整的作废清单。
只追加特性一项的用例检验血缘记录不可改写:发起修改请求应被拒绝;发起更正请求应以追加更正记录的方式完成,原记录仍可查,且更正关系可见。这项用例是血缘可信的技术保证。
性能一项的用例在首期数据量级上测量三类查询的响应时间(按样本查链路、按批次查影响、按时点查历史状态),实测值进测试报告,性能承诺口径见非功能性章节(「方案可行性分析」一节)。
下列五项约束决定本组工具产出的数据集能否被当作验收证据:来源家族隔离、评测集防污染、版本冻结、定向返工、重新发布。五项都写成可执行用例——给出输入怎么构造、按什么步骤跑、通过判据是什么、不通过怎么处置,使验收方可以自行复跑而不必依赖我方的结论。用例随测试用例集交付,构造数据脚本一并提供。
表 6-8 五项关键约束的可执行验证用例
| 约束 | 输入构造 | 执行步骤 | 通过判据 | 不通过时的处置 |
|---|---|---|---|---|
| 来源家族隔离 | 构造 600 条图纸—工艺卡样本,其中 120 条人工指定为 30 个零件族(每族 4 条,族内板厚或压弯角度有差异);另构造 80 条同工单多工序记录、60 条同文档切出的问答 | ①对该数据集执行去重,取同族变体登记结果;②执行三层切分;③对 train/valid/test 两两交叉复查归集键 | 30 个零件族、同工单组、同文档组各自的全部样本落在同一集合,无一族跨集合;族内 4 条均被判为同族变体而非重复 | 任一族跨集合即判不通过:核查归集单元构建是否取到族标识,补登记后重切并重测 |
| 来源家族隔离(反向用例) | 同上数据集,但人工清空零件族登记字段 | 对该数据集直接请求切分 | 工具拒收任务,返回输入类错误 30003(前置条件未满足),指明缺失项为零件族登记 | 工具若仍执行切分即判不通过——前置检查形同虚设时,隔离在真实数据上同样会失效 |
| 评测集防污染 | 自冻结基准集取 240 条题目,按原文照抄 80 条、同义替换 80 条、改写句式 80 条分三档改写后注入训练集;另注入 60 条仅含通用术语与型号编码的样本作为负例 | ①执行四级污染扫描;②按风险等级统计命中;③检查阻断行为 | 原文照抄与同义替换两档 160 条全部判为高风险并阻断;改写句式档命中不低于 68 条(85%);60 条负例不被判为高风险 | 前两档有遗漏即判不通过,缩短 n 取值一档重建倒排后重测;负例被误判为高风险的,核查等级判定参数 |
| 版本冻结 | 取一个已冻结发布的基准集版本,准备三类操作请求:修改一条题目答案、删除一条题目、调整题目到能力维度的映射 | ①逐条提交三类修改请求;②按随集交付的指纹算法说明独立复算集合指纹与逐条样本指纹;③修改一条样本内容后请求发布 | 三类修改请求全部被拒绝并返回策略类错误;独立复算的指纹与发布记录中的指纹逐位一致;修改后的发布产生新版本号,旧版本仍可读且指纹不变 | 任一修改被接受即判不通过;指纹复算不一致的,核查指纹算法说明与实现是否同版本 |
| 定向返工 | 构造一批含已知标注口径错误的样本(指定某标注批次的 150 条,其热处理三级判定按旧判据标注),并构造 30 道考该判定的基准题目 | ①执行评测取错题;②执行归因,核对成因判定结论;③核对生成的修订工单;④按工单返工该批次后重跑评测与工单的验证方式 | 归因结论指向标注成因且定位到该标注批次;工单的责任组为标注环节、含验证方式;返工后重跑该维度得分变化为正且工单可关闭;返工前工单不可关闭 | 成因判到数据成因或来源成因即判不通过,核查判定次序是否按 4.3.3 节执行;工单未经验证即可关闭的,核查流程配置 |
| 定向返工(权限用例) | 取一条仅由二层相似检索得出的归因结论 | 据此结论提交一张"剔除样本"的修订工单 | 工单被拒绝,返回策略类错误;改派"核查"动作的工单可正常创建 | 剔除工单被接受即判不通过——二层证据派剔除会误删真实样本,而误删不可被发现 |
| 重新发布 | 取一个已发布数据集版本 v1,其下游已有一次切分、一次训练任务、一个模型检查点与两份评测报告;人工在 v1 中植入一条未裁定的高风险污染样本 | ①执行发布前校验;②执行回滚至上一版本;③取影响范围分析结果;④修订后发布 v2;⑤核对版本谱系与下游状态 | 发布前校验拦截该版本并指明未裁定污染;影响范围分析列全四类下游对象,并给出阻断、作废、重做三项判断与重跑序列;回滚后两份评测报告被标注"基于已回滚版本,仅供参考";v2 发布后当前指针指向 v2,v1 仍可读、未被删除 | 下游对象有遗漏即判不通过,核查血缘边是否齐备;评测报告未被标注的,核查作废判断规则版本 |
表 6-8 数据来源:五项约束分别对应招标文件 3.2.3.9.2(1)(2)(3)(5)、3.2.3.8.1(4)、3.2.3.10.2(3);构造量与判据为本方案设定,随首批数据实测调整。
七条用例的共同设计是都带一条反向用例或负例。只验证"该拦的拦住了"不足以说明约束生效——一个把全部样本都判为高风险的扫描器同样能通过正向用例,却会让整条流水线停摆。正例与负例一并给出,约束的边界才是确定的。
用例的执行频次分两档:版本冻结与重新发布两项在每次数据集发布前执行;其余三项在工具单项验收时执行,并在服务期内每半年回归一次。每次执行的原始记录留存,留存期不短于项目质保期。
本节说明本组 7 个工具链的建设顺序与节点安排。工具的建设不能与数据加工同步起跑,因为本组工具的输入是加工产出;但也不能等数据加工完成再建,否则质量问题要到最后才暴露。节奏的安排按一条原则:哪一类问题最早会出现,承接它的工具就最早交付。
四类数据集的加工一旦开始,最早出现的问题是重复与污染。63 万张图纸配对的工艺卡样本进入候选池的第一天,重复就存在;而污染的后果最严重——基准集一旦被污染且未被发现,后续全部评测结论都不可用,返工代价是整条链路。所以去重与污染扫描排在第一批。
分布问题出现在有了一定存量之后。首批样本量不足时统计分布没有意义,所以分布分析与均衡排在第二批,但不能太晚——均衡处理要在大规模标注开始前给出补齐需求,否则标注资源会按错误的配比投下去。
切分与基准构建排在第二批的末尾,时点取在首轮训练之前。它的前置条件是数据集已完成去重与同族登记,所以必须在第一批工具稳定运行之后。基准集的建设周期较长(题目要专家出、要经污染核验),须与切分工具并行准备。
评测引擎、归因溯源与血缘追溯排在第三批,时点取在首个模型检查点产出之前。血缘追溯有一处例外:血缘的写入是公共层的能力,必须随第一批工具一同上线,否则早期批次的血缘补不回来;血缘的查询与图谱可以后建。这个区分很重要。把血缘整体推到第三批是常见的失误,结果是前半年的数据缺血缘且无法补回。
7-1 本组工具链的建设顺序与前置依赖
图 7-1 本组工具链的建设顺序与前置依赖。数据来源:本节各工具链的前置条件;项目总体节点见项目管理措施。
分批交付最容易出的问题,是上一批尚未真正可用,下一批已经开工。为此每一批的完成与否不以工具是否上线判断,而以下游能否据此开工判断。表 7-1 把四批交付并列,逐批给出交付内容、判为可用的依据与对下游的解锁。
判为可用的依据一列是判据,所列各项均为可当场复现的动作——接口按文档调通、血缘八项字段写入完整、构造数据集的统计结果与构造参数一致、泄漏构造例逐类检出、回灌样本的识别情况、同协议重复运行的偏差——取的是可观测结果,不取自述;对下游的解锁一列是这一批的价值落点,说明判据达成之后哪一项后续工作获得前置条件。
关键的一行是公共层。它本身不解锁任何业务动作,却是其余三批的共同前置:接口、格式、血缘写入、质量上报与安全管控若不先行固定,后续工具各自成型,血缘与口径便难以再统一,故公共层排在第一批工具之前。三批工具依次解锁候选池入库与切分、首轮训练启动、数据集价值验证与验收证据链闭合,工具的建设节奏与数据集建设的推进节奏由此对齐。
表 7-1 三批交付的内容与可用判据
| 批次 | 交付工具 | 交付内容 | 判为可用的依据 | 对下游的解锁 |
|---|---|---|---|---|
| 公共层 | 接口、格式、血缘写入、质量上报、安全管控 | 六类调用接口、五种格式序列化、八项血缘字段写入、通用指标上报、四类敏感信息识别与脱敏、授权与审计 | 六类接口按文档可调通;血缘八项字段写入完整;脱敏回扫无命中;越权与出域拦截生效 | 第一批工具可部署 |
| 第一批 | 去重与相似度过滤 | 四级级联流水线、重复组清单、污染命中报告、同族变体登记 | 回灌测试的污染识别达基线;抽样复核一致率达基线;同族变体识别经工艺口确认 | 数据集可做切分;候选池可入库 |
| 第二批 | 分布分析与均衡、模板化生成、切分与基准构建 | 八维分布统计与两张交叉图、六类问题判定、五种均衡方法与上限约束、三套模板与校验器、三层切分与五类泄漏检测、基准集冻结管理 | 构造数据集的统计结果与构造参数一致;上限约束可拦;泄漏构造例逐类检出;基准集冻结后不可改 | 标注资源可按配比投放;首轮训练可启动;评测可开始 |
| 第三批 | 多协议评测引擎、归因溯源、血缘查询与图谱 | 两套评测协议、六种判分方式、六类多模态任务、四维聚类、修订工单、血缘图谱与五类审计查询 | 同协议重复运行偏差达基线;注入错误样本可被归因命中;五类审计查询按预置返回 | 数据集价值可被验证;验收证据链完整 |
每一批的交付都按验收五件套提交(见 5.6 节),不以"工具已上线"作为交付完成的标志;判为可用的依据按表中各项逐条核对。
工具交付后的主线工作是参数校准。下列五处参数随数据积累调整,否则判定会逐步失准:
凡由标定得出的门限(判重阈值、复核带、误杀率与漏检率上限、抽检合格率、裁判一致率)按季度校准一次:用累积的人工复核结论反推门限应取的值,校准前后各跑一批样本做比对,新门限与比对结果一并登记;门限变更须重跑受影响的历史批次,或在该批次的数据卡上标注按旧门限处理。校准只改门限不改指标定义;指标定义的变更须经评审并重算历史值,以保跨期可比。按定义确定的判据(指纹一致、泄漏零命中、分布统计偏差)不参与校准。
去重的阈值是其中最需要持续校准的一项。首期阈值按行业常用取值设定,运行一段时间后,用复核判定与自动判定的差异分布反推阈值应往哪边移,据此在上述季度节奏内调整。
分布的最小可用量需要随场景验证结果校准。首期按任务类型给默认值,场景验证开始后,能看出某类任务实际需要多少样本才达到可用水平,据此调整该任务类型的最小可用量,长尾判定与盲区判定随之变化。
模板的约束表需要随工艺口裁定持续修正。"约束存疑清单"每出一条,裁定后回写一次规则表。这个过程实际上是在把散见于经验的规则(如中性层扣除量按板厚、折弯角度与模具的对应关系)逐步成文,是本工具链的一项附带产出,对甲方的价值不低于工具本身。
评测协议需要随能力维度的理解深化调整。首期维度按表 4-2 设定,评测几轮之后会发现某些维度区分度不足(所有对象都接近满分或都很低),这类维度要么细分要么替换,调整须发新版协议并说明可比性边界。
基准集需要补题与换题。被污染的题目作废补题,区分度不足的题目换题,新增能力维度要新增题目。基准集的版本演进是常态,所以冻结管理与版本谱系是必需而非额外。服务期内按蓝图设计确认的频次组织集中补题与复核;本方案承诺在服务期内每半年组织一次基准集复核与补题,具体次数与时点随蓝图设计确认。
这一频次针对的是基准集自身,与《数据集质量评测方案》按招标文件相应条款承诺的服务期内不少于四次数据集集中复测是两件事:前者维护的是度量尺,后者核验的是被度量的数据集,两者的次数与时点各自独立计列,不互相折抵。
本组工具与加工环节之间有五条固定接口,接口形式写明可避免实施时反复协商:
候选样本提交——加工环节按批次向候选池提交样本,提交时附批次标识、来源标识、质检结论与血缘记录。缺血缘的批次不接收,这条是硬约束(见 5.3 节)。
补齐需求单——分布分析工具向加工与标注环节发出,含类别、目标数量、必须覆盖的参数组合、禁止组合、建议获取方式(真实采集/标注补充/模板生成)。需求单按优先级排序,加工环节据此安排资源。
修订工单——归因工具向各环节发出,流转与关闭规则见 4.3.4 节。工单的承接环节在工单中指明组别,不指个人。
阈值与规则变更通知——本组工具的阈值、规则表、Schema、协议发生版本变更时,向受影响环节发出通知,说明变更内容、生效时点与是否需要重跑历史批次。
质量检查节点结果回告——批次未过质量检查节点时,向提交该批次的环节回告具体未过项、指标实测值与门限值,以及回退动作(阈值回退重跑或退回修订)。回告须具体到指标项,不只回"未通过"。
五条接口都通过平台承载,有记录可查,不走线下沟通。这样安排的理由是数据加工涉及多个环节与较长周期,线下约定在人员轮换或时间推移后会失效,而平台上的记录不会。
同一概念在不同环节出现时按本节口径理解,不另立定义。
数据质量在三个环节分别判定,判定对象、责任岗位、执行时点与产出各不相同,不可互换。
生产质检由数据加工流水线承担,判定对象是单条样本的加工合格性——这条样本标注对不对、字段全不全、格式符不符。质检点设在采集预处理与标注合成之后、入候选集之前,由加工班组自检、质检岗复核,产出是逐样本的质检结论,结论随样本写入血缘记录的质检结果字段(字段见表 5-3)。质检不通过的样本退回返工,返工后重新质检,仍不通过的不入候选集。
工具评测由本组工具承担,判定对象是数据集这个集合——集合里有没有重复、有没有污染、分布形状对不对、血缘齐不齐。它以生产质检的结论作为输入(质量等级维度的分档依据),不重复做单样本的合格性判断。执行时点是候选数据集入库之后、版本发布之前,由数据质量岗执行,产出是质量治理报告、问题样本清单与数据修订工单。未过质量检查节点的版本不予发布;工单按责任环节分派回加工侧,关闭后方可重新提请发布。
正式评测由具资质的第三方机构承担,判定对象是数据集成品,依《高质量数据集质量评测规范》(TC609-5-2025-04)的指标体系逐项评测,覆盖完整性、规范性、一致性、真实性、多样性等维度,产出是盖章的评测报告。执行时点是数据集版本发布之后、阶段验收之前;前两个环节的过程记录——质检结论、质量治理报告、血缘链路、评测运行记录——作为该次评测的佐证材料一并提交。
三个环节逐级向上:样本级合格性、集合级质量、成品级评测,后一级以前一级的记录为输入与佐证,不替代前一级。表 5-4 的通用质量指标属过程指标,第三方评测的指标体系属成品指标,两者不互相替代;指标名相同的,定义以第三方评测所依规范为准。污染相关的口径(内容干净性、泄漏检查)在三个环节使用同一套风险等级划分(见表 2-4),这是三个环节必须一致的一项。
"验收"在本项目中指三件不同的事,对象与依据各不相同:
工具的单项验收(5.6 节)验的是工具本身——五件套齐备、功能逐条对应测试用例、指标达基线。验收对象是工具,依据是招标文件 3.2.3.11(6)。
数据集的发布验收(2.3.5 节、4.4.2 节)验的是某一版数据集可否发布——质量检查节点全过、血缘挂接率达门限、无未裁定的高风险污染、无未关闭的高优工单。验收对象是数据集版本,依据是质量治理报告与血缘完整性校验。
项目的整体验收(见「项目管理措施」一节、「质量评测方案」一节)验的是全部交付物——数据集规模与质量、工具链 25 个、运营平台功能模块、治理文档、场景验证结论。验收对象是项目,依据是招标文件的交付清单与评测报告。
三类验收的证据链是串联的:工具验收合格的工具产出数据集,数据集发布验收合格的版本进入整体验收的交付清单,整体验收所需的质量证据由前两类的记录与第三方评测报告共同构成。
工具链一(数据构建类,见「智能工具链(一):数据构建类」一节)与工具链二(对齐与标注类,见「智能工具链(二):对齐与标注类」一节)的产出是本组工具的输入,衔接点有四处需明确:
思维链样本的去重(「智能工具链(一):数据构建类」一节产出)——思维链样本的字面相似度天然偏高(推理步骤的句式相近),直接套用通用近重阈值会误删。本组工具对思维链样本的处理是只比对问题与结论,不比对推理过程文本;关键字段差异检查的字段集设为问题、结论与关键推理节点。这条配置在「智能工具链(一):数据构建类」一节的产出规范中同步说明。
长上下文样本的切分隔离(「智能工具链(一):数据构建类」一节产出)——长上下文样本来自同一份长文档的不同片段,必须整份文档归一个集合,否则测试集里的片段与训练集里的片段来自同一文档,等于泄漏。这属表 3-6 的同源文档类,由文档标识归集。
多模态对齐结果的消费(「智能工具链(二):对齐与标注类」一节产出)——本组工具的语义相似比对在同模态内进行,跨模态的关联取自「智能工具链(二):对齐与标注类」一节的对齐结果;对齐关系缺失的样本,跨模态重复不做判定并在报告中标注未检。
增强样本的分布影响(「智能工具链(二):对齐与标注类」一节产出)——增强前后的分布比对由本组分布分析工具执行(2.3.2 节),PSI 超限时回看增强参数。增强工具与本组工具之间的接口是增强批次标识,使比对能定位到具体批次。
四处衔接的共同点是:本组工具不改变上游的产出规范,而是按上游的数据特性调整自身配置。配置差异记入各数据集类型的配置档,不靠实施时临场判断。
运营平台(见「数据集运营服务管理平台方案」一节)承载本组工具的任务提交界面、质量看板、血缘图谱可视化与审计查询入口。本组工具提供接口与数据,界面与交互由平台实现。与本组相关的平台功能模块为质量管理、血缘管理与评测管理三个,其模块清单见「数据集运营服务管理平台方案」一节。
训练推理技术服务(见「行业大模型训练推理技术服务方案」一节)提供被测对象的推理接口与留出对比所需的训练轮次。本组工具调用推理接口执行评测,不参与训练与调参。两者的接口是统一网关的调用形式与检查点登记表。本组工具对训练侧的唯一要求是训练任务须登记其使用的数据集版本,否则血缘链路在训练任务这一节点断开。这条要求写入血缘节点定义(表 4-7 的训练任务节点属性)。
本节涉及的规模数字一律取统一口径:预训练数据集 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条;备料工序 28 道;历史图纸约 63 万张;工具链 9 类 25 个。涉及配比的取数据集规模规划(见「数据集建设及指标要求」一节)。
本节提出的工程门限(去重准确率、校验通过率、评测偏差、血缘挂接率等)均为首期目标值,随蓝图设计与首批数据实测结果按 7.3 节的门限校准机制重新确认。
本节列出实施中的具体风险及应对、回退动作。
表 9-1 本组工具链的风险点与应对
| 风险点 | 为什么会发生 | 后果 | 应对动作 | 不奏效时的回退 |
|---|---|---|---|---|
| 零件族关系登记不全,借用件跨集合 | 图号与命名规则不统一,借用关系存在于人的经验中而非系统字段 | 测试集指标虚高,场景验证时落空 | 同族关系由去重工具的关键字段差异检查生成候选,经工艺口确认入库;切分前校验族关系覆盖率 | 覆盖率不足时按图号前缀粗粒度归集,宁可过度隔离;数据卡标注族关系覆盖率 |
| 基准集题目被污染且未及时发现 | 历史资料集中,训练与评测同源;题目改写后字面不同 | 全部基于该基准集的评测结论作废 | 题目入集前经污染扫描核验;每轮评测后对异常高分维度回查污染 | 发现即作废该题并补题,重跑受影响评测;保留评测集始终不参与训练作为兜底 |
| 标注口径与判据口径分别演进 | 标注规范与现场判据(如热处理三级判定、焊接缺陷类别)由不同部门维护 | 样本与模型失配,错题归因指向标注批次但返工后问题仍在 | 标注依据统一引用各场景判据字典版本;判据变更触发标注规范同步评审与受影响批次标记 | 口径不一致时暂停该类标注,先裁定口径;已标批次标记按旧口径并在数据卡说明 |
| 从零补录的四类数据长期缺失 | 选型投运评价、热处理装载登记、焊接层间温度、维修事实当前无记录,须在业务流程中增设填报入口 | 相关能力维度无样本,评测无从验证 | 修订工单的"已转需求"出口登记依赖方与预计时点;数据卡如实标注覆盖不足;相关评测维度暂不纳入验收口径 | 以构造样本与回放窗口部分替代,构造样本全部打标并不进评测集;验收口径按当期可覆盖范围约定 |
| 阈值设置偏松或偏紧长期未校准 | 首期阈值按行业常用值设定,与本项目数据特性未必匹配 | 偏松致重复与污染漏过,偏紧致有效样本被误删 | 按季度用人工复核反馈反推阈值;校准前后跑比对批次并登记 | 偏紧优于偏松:不确定时阈值取保守侧,复核带扩宽,人工判定量上升 |
| 向量化模型更换导致语义判定不一致 | 模型随代升级,新旧向量空间不可比 | 换模型前后对同一批数据给出不同去重与泄漏结论,且无人察觉 | 更换时整体重建索引并对上一版结论做抽样回归比对,差异超 2 个百分点则该批判定作废重跑 | 回退到上一版模型继续运行,待回归比对通过后再切换 |
| 裁判模型判分不可靠 | 裁判本身是模型,可能把错的判成对 | 评测结论失真,归因方向错 | 抽样不低于 10% 人工复核,一致率低于 85% 该题型全部转人工判分;裁判不评测同源数据 | 该题型改用精确匹配或行业指标判分,牺牲覆盖面保可靠性 |
| 多模态题目受采集条件限制 | 视频与传感器类采集仅覆盖部分车间与设备,工艺过程图像需单独布点 | 相关能力维度题量不足,评测无代表性 | 首期题量按已具备采集条件的试点范围确定,数据卡标注当期覆盖范围 | 该维度不纳入当期验收口径,随采集扩展补充题目并补测 |
| 血缘在早期批次缺失且无法补回 | 血缘写入若不随第一批工具同时上线,早期加工的样本无记录 | 血缘挂接率达不到门限,审计链路断在起点 | 血缘写入层随公共层与第一批工具一同上线,先于任何加工批次 | 早期批次按文档级补录可补的部分,补不齐的从发布版本剔除并记入待补清单 |
| 外部模型调用导致敏感信息出域 | 调用方可能绕过脱敏直接提交原始内容 | 技术秘密与商业敏感信息流出 | 统一网关为唯一出口,不可出域字段在网关层强制拦截;脱敏后回扫;逐次记录九项 | 拦截误判时走审批放行并记录;网关不可用时相关环节降级为内网处理 |
| 质量检查节点过严导致流水线长期挂起 | 首期门限按目标值设定,实际数据达不到 | 批次堆积,加工进度受阻 | 门限分首期基线与服务期目标两档,首期按基线执行;挂起批次给阈值回退一档的重跑路径 | 两次重跑仍未过的转人工复核放行,放行记录与未达项登记在数据卡 |
| 工单积压无法关闭 | 需要新增采集或源系统开通接口的工单,依赖外部配合 | 未关闭工单累积,发布被持续阻断 | "已转需求"为正式状态,登记依赖方与预计时点,不计入阻断项 | 高优工单超期未解决的,由项目组评审是否调整该版本的验收范围 |
关于零件族关系(第一条),这是本组工具在本项目上最具体的技术风险。借用率七八成意味着族关系的影响面极大,而族关系的识别又没有现成字段可用。本方案的处理是把它当作一项需要人机协同逐步建立的数据资产,而不是一个算法问题:工具生成候选族关系,工艺口确认,确认结果入库成为后续切分与去重的依据。这个过程本身给甲方留下一份可复用的零件族台账,价值超出本项目范围。
关于从零补录的四类数据(第四条),其根本解决途径在业务流程侧:于流程中增设填报入口,由系统预填、经手人确认,属流程建设范畴。本组工具在数据加工侧承担的是把缺口显式记录、随进度更新覆盖度,并在验收口径中如实约定当期可覆盖的范围。缺口在数据卡与验收口径中逐项登记,覆盖度一律以真实样本计量。
本节汇总本任务的全部交付物与对应的验收口径。
验收时真正要回答的是两件事:这一任务应当清点出哪些东西,每一样凭什么判它合格。表 10-1 把十项交付物一次列全,并为每一项同时给出交付时点与验收方式,使清点与判收在同一张表上完成。
十项的构成来自本任务的实际产出形态:第 1 项公共层先于一切工具交付,第 2 至 8 项为七个工具链,第 9 项为配套的模板与配置文件,第 10 项为服务期内的校准记录。验收方式一列是判据列,每格都落到可执行的动作——五件套之外另附该工具特有的专项测试,如回灌测试、构造数据集统计一致性、隔离构造例检出、重复运行偏差、注入错误可被归因、只追加特性核验——而非以已提交文档作为判收依据。
容易被略过的是第 9、10 两行。评测协议模板、判分规则库、报告与工单模板、数据集标准映射配置均带版本号,是工具行为的口径载体;阈值校准、最小可用量调整、约束表修正、协议版本演进与基准集补题则是服务期内持续发生的动作。两者同列入交付物,是因为工具给出的判定结果只有在口径与校准记录齐备时才可被复核。
表 10-1 本任务交付物清单
| 序 | 交付物 | 内容 | 交付时点 | 验收方式 |
|---|---|---|---|---|
| 1 | 公共层(接口、格式、血缘写入、质量上报、安全管控) | 六类调用接口、五种格式序列化、八项血缘字段写入、八项通用指标上报、四类敏感信息识别与脱敏、三层授权与六类审计日志 | 先于第一批工具 | 接口按文档可调通;血缘字段写入完整;脱敏回扫无命中;越权与出域拦截生效 |
| 2 | 数据去重与相似度过滤工具链 | 四级级联流水线、重复组清单、污染命中报告、同族变体登记 | 第一批 | 五件套+回灌测试+抽样复核一致率 |
| 3 | 数据分布分析与均衡工具链 | 八维统计与两张交叉图、六类问题判定、五种均衡方法、质量治理报告 | 第二批 | 五件套+构造数据集统计一致性+上限约束可拦 |
| 4 | 模板化数据生成工具链 | 模板引擎、七类槽位、规则与禁止组合清单、六类 Schema 校验、生成日志 | 第二批 | 五件套+可复现性测试+校验通过率 |
| 5 | 数据集切分与基准构建工具链 | 三层切分、五类泄漏检测、基准集冻结管理、标准化评测运行、版本化发布与回滚 | 第二批 | 五件套+隔离构造例全检出+冻结不可改+重复运行偏差 |
| 6 | 多协议模型评测引擎工具链 | 评测协议、六种判分融合、多对象调度、六类多模态评测 | 第三批 | 五件套+重复运行偏差+公平性约束生效 |
| 7 | 数据贡献度归因与错题溯源工具链 | 六种结果呈现、四维聚类、六类原因判别、贡献度留出对比、修订工单 | 第三批 | 五件套+注入错误可被归因+显著性表述合规 |
| 8 | 数据集–模型版本血缘追溯工具链 | 血缘图谱十一类节点九类边、五类审计查询、影响范围分析三项判断 | 第三批 | 五件套+五类查询按预置返回+只追加特性 |
| 9 | 配套文档:评测协议模板、判分规则库、质量治理报告模板、修订工单模板、数据集标准映射配置 | 模板与配置文件,带版本号 | 随对应工具 | 按模板出一份实例并经评审 |
| 10 | 服务期校准记录 | 阈值校准、最小可用量调整、约束表修正、协议版本演进、基准集补题记录 | 服务期内按季度与半年节奏 | 校准前后比对记录齐备 |
工具链本身的开发与部署形态、与运营平台的集成方式见「数据集运营服务管理平台方案」一节;所需算力与环境见「行业大模型训练推理技术服务方案」一节与非功能性章节「方案可行性分析」一节;本节只汇总本任务范围内的交付物与验收口径。
各工具链的指标值、适用条件、测量方法与不达标处置,写在该工具链自己的实施设计中:精确重复识别见 2.2.2 节,近重复判定见 2.2.3 节,语义相似过滤见 2.2.4 节,高风险污染拦截见 2.2.5 节,误杀率与漏检率见 2.2.9 节,分布统计一致性见 2.3.1 节,覆盖度与长尾不足见 2.3.3 节,生成校验通过率见 3.2.4 节,跨集合泄漏见 3.3.2 节,基准集冻结一致性、组题区分度、压缩子集结论一致率与锚题等值稳定性见 3.3.3 节,评测重复性见 3.3.4 节,裁判通道人机一致率见 4.2.3 节,血缘挂接率见 4.4.2 节,脱敏回扫见 5.5.1 节,率值类指标的报出口径见 5.4 节。
验收按指标值、适用条件、测量方法、不达标处置四项逐行核对,核对顺序固定为:先核适用条件是否成立,再核测量方法是否按规定执行,最后核实测值是否达到指标值。
适用条件不成立时不进入数值比对。例如零件族登记未完成而仍执行了切分,泄漏检测的零命中结论不作数;向量模型已换代而索引未重建,语义相似过滤的准确率不作数。这类情形按"条件未满足"记录,并按对应的不达标处置执行,不按通过记。
测量方法按规定执行,指复核样本随机抽取、复核与自动判定用同一张评分表、抽样量达到规定条数、置信区间与两个样本量一并登记。缺其中任一项的,该次测量结果不作为验收依据,重测后再核。
实测值达到或超过指标值的判通过。未达的,核对不达标处置是否已执行并留有记录:处置已执行、未达项已在数据卡与质量治理报告"待补与存疑"章登记的,该项判为有条件通过并列入下一季度的门限校准计划;处置未执行的判不通过。
招标文件、数据集标准与甲方判据字典已给定值的指标,工具门限直接取该值与该前提,按原值整额核对,不另设宽限区间,也不另立换算口径,不走上述有条件通过的路径。招标文件 3.2.3.8 至 3.2.3.11 各条为能力要求,未给出定量门限;本组各工具链所列数值均为依矿装数据特性设定的工程门限,其取值依据与标定方法随指标一并写在该工具链的实施设计中,首批数据到位后按同一标定方法重算一遍并报招标方确认;重算的作用是把依工程经验设定的门限换成有实测支撑的门限,只向严格侧收紧,不下调本方案已列的取值,标定记录随质量治理报告留档。
为避免交付边界含糊,以下事项不在本任务范围,按责任边界指向对应段落:人工标注的实施(标注规范与工具在「智能工具链(二):对齐与标注类」一节,标注实施由加工环节承接);模型训练、调参与算力调度(「行业大模型训练推理技术服务方案」一节);运营平台的界面与交互实现(「数据集运营服务管理平台方案」一节);第三方盖章质量测评报告的出具(「质量评测方案」一节);智能场景的建设(不在本包范围);数据资源的采集接入与源系统接口开通(「数据资源采集接入方案」一节)。
天地奔牛的数据资源具备支撑高质量数据集建设的条件:生产业务数据留存完整,十年前生产了哪个矿的哪些产品都可追溯;历史图纸约 63 万张,且每张图纸在历史上都配有一张已审核签发的工艺卡片,天然构成成对的监督样本;板材备料的工序集合固定封闭,现掌握口径为 28 道。这些资源分布在产品全生命周期管理、企业资源计划、制造执行、质量管理等十余套系统与大量纸质记录中,其权属归属、使用授权与收益归集尚无统一承载。
数据集运营服务管理平台承担的正是这一层职能:支撑高质量数据集面向企业内部应用与对外流通交易的全生命周期运营管理,使四类数据集从一批文件成为可挂牌、可申请、可交付、可结算、可追查的数据资产。平台覆盖七类核心能力——数据及服务管理、订单管理、数据及服务交付管理、清算管理、审计管理、运营平台服务和 SLA 保障、对外接口——分属三层职责:前五类承载一笔交易从登记到结算的完整履约链路,第六类承载服务水平的监测与考核,第七类承载数据集走出企业之后的对外对接。三层共用同一套登记记录、同一套授权来源与同一套审计流水,不另设并行台账。
数据集的生产在加工生产平台完成,运营平台不重复承担生产职能。按招标文件 3.2.6.3 节的要求,加工生产侧须「完成数据集向数据集运营服务管理平台的移交与登记,支撑其后续的挂牌展示、对外发布与接入国家数据基础设施」。移交物为数据集内容、数据集卡片、版本指纹、质检报告与验证报告五项,合称移交五件套;这五项同时是运营平台登记注册环节的受理前提,五项不齐的版本在受理处即退回,不进入审批队列。
运营平台与平台之外各侧的职能分界如表 2.4-1。分界的判据是「谁对这件事的结果负责」,而不是「谁的系统里有这个界面」;每一行同时写明两侧之间凭什么交接,交接物即是责任转移的凭证。
| 事项 | 运营平台承担 | 由平台之外承担 | 两侧的交接物 |
|---|---|---|---|
| 数据集内容的产出与内容质量 | 登记、确权、挂牌、交易与交付的全过程管理 | 采集、预处理、标注、合成、增强、质检、验证的加工生产链路 | 移交五件套;版本指纹重算一致方可入库 |
| 专项智能工具链能力的对外供给 | 对外的订购、授权、配额、计量、交付与计费 | 工具链本体的建设、运行与维护 | 加工任务服务接口与任务回执;工具链本体不作为交付物对外提供 |
| 训练推理资源的调度与算力适配 | 平台能力交付的租户开通、模块授权与资源配额 | 训练推理平台的资源池与算力适配 | 任务下发接口与算力用量回执,回执数据作为计量依据 |
| 服务器、接入连接器、服务密码机的安装适配与国密调试 | 运营平台侧的目录字段映射、主体标识映射、接口鉴权三项配置与联调确认 | 设备到货、安装、适配与国密调试 | 三项配置清单与四步联调记录(见 1.8.3 节) |
| 可用性、响应时延、并发量等平台底层指标 | 运营侧对外承诺值的设定、监测与披露 | 底层性能指标的设计、实现与实测 | 同一指标在两处取同一定义、同一采集点与同一统计周期 |
| 数据集质量的评测指标与评测方法 | 质量结论在审批门槛、挂牌展示与交付凭证中的使用 | 三维度评测指标体系与评测实施 | 质检报告与验证报告的编号、结论与得分,经凭证级校验可检索 |
表 2.4-1 运营平台与平台之外各侧的职能分界与交接物。数据来源:招标文件 3.2.4、3.2.6.3、3.2.6.6 节。
数据集运营服务管理平台是奔牛数据智能平台中承载数据资产运营的组成部分,部署在天地奔牛内网,通过接入连接器与外部可信流通环境对接。它在本项目中的位置与数据流向如图 2.4-1。
2.4-1 运营平台的数据流向与责任边界
图 2.4-1 运营平台的数据流向与责任边界。数据来源:招标文件 3.2.4 节、3.2.6.3 节、3.1.1 软件采购清单。
图中三条横向边界值得特别说明。加工生产侧向运营平台移交的是「已完成质检与验证的正式版本」,不是中间产物;运营平台不接收未出具质检报告与验证报告的数据集版本,这条规则在登记注册环节由系统校验而非人工把关。对外一侧,企业内部用户走内网直连,外部用户的一切访问都经接入连接器落地,运营平台不向互联网直接暴露服务端口。两侧之间的审计记录是连续的:一条数据集从移交登记到被某个外部用户下载,中间每一次状态变更都落在同一条审计链上。
第一,先把权属与版本钉住,再谈交易。 数据集交易出问题,九成不是因为交易流程不够花哨,而是因为事后说不清「这份数据当时是哪个版本、来源是什么、谁批准可以对外」。所以本平台把登记注册、数据集确权、版本管理三个模块设计为交易链路的强制前置:未完成确权登记的数据集可以存在于平台上,但进入不了挂牌展示,也生成不了订单。这个设计会让上架慢一些,换来的是争议处理时有据可查。
第二,交付方式由数据属性决定,而不是由用户偏好决定。 同一份数据集,作为训练语料整包下载、作为检索服务按次调用、作为加工任务由平台代为执行,三种方式的风险完全不同。整包下载后数据脱离平台控制,按次调用则数据不出域。平台在数据集注册时就要求提供方指定允许的交付方式,并把它作为一项可审批、可变更的属性管理起来。
第三,SLA 指标只承诺能被平台自己测出来的量。 平台服务质量报告由平台自动生成,指标口径与采集点在 1.7 节逐项写明。凡是需要人工统计才能得出的「满意度」类指标,我方按季度抽样调查口径处理,不混入自动化 SLA 考核,避免考核数据的来源说不清。
平台采用四层架构。自下而上为资源与安全层、数据与资产层、运营能力层、服务与接入层。分层的依据是变更频率:资源与安全层随信创与国密政策演进,数据与资产层随数据集版本演进,运营能力层随运营机制调整,服务与接入层随对外接口规范演进。四层各自可以独立升级,这是平台能用到 2028 年之后的前提。
2.4-2 运营平台总体技术架构
图 2.4-2 运营平台总体技术架构。数据来源:招标文件 3.2.4 节能力划分、3.1.1 软件采购清单、3.2.1 服务采购清单。
架构中有一处设计需要点明:数据集内容与交易数据物理分离。数据集内容存放在对象存储,交易、订单、清算数据存放在关系库,两者之间只通过数据集版本标识关联。这样做的直接好处是,交付一笔订单时平台不需要移动数据集本体,只在存储侧生成受控副本或开放一条只读通道,交付动作本身的耗时与数据集体积基本无关。预训练数据集按本项目口径合计 615 亿 Token,若每笔订单都复制一份完整内容,交付时效无法承诺。
存证账本只记录关键事实的摘要,不记录数据集内容。登记、确权、挂牌、订单成立、交付完成、清算完成六类事实在发生时写入账本,写入内容为事实摘要与版本指纹的哈希值,用于事后比对记录是否被篡改。这项能力与接入连接器要求的区块链存证功能对齐(见硬件分节)。
招标文件 3.2.4 节要求的能力域共七类,服务采购清单实列功能模块 16 项,两者是「能力域—实现模块」的关系而非并列关系。数量口径在全节统一为一句话:采购清单实列的 16 项模块全部交付,不增不减;3.2.4.6 节要求的平台服务与 SLA 保障能力在清单 16 项之外另以 1 个模块承载;16 项清单模块与 1 项增列模块合计 17 个交付模块,满足「不少于 14 个功能模块」的要求并留有余量。增列模块与清单 16 项之间是监测与保障关系而非并列关系,逐项映射见 1.1.8 节。能力域与模块的对应关系如表 2.4-2。
| 能力域 | 对应功能模块 | 本节详述章节 |
|---|---|---|
| 数据及服务管理(3.2.4.1) | 登记注册、数据集确权、数据集目录、数据集元数据、数据集上传、数据集检索与预览、数据集版本管理、数据集动态更新、数据集挂牌展示(9 项) | 1.2 节 |
| 订单管理(3.2.4.2) | 交易合同管理、交易费用管理(订单侧) | 1.3 节 |
| 数据及服务交付管理(3.2.4.3) | 数据集下载、数据集服务、数据集权限管理(3 项) | 1.4 节 |
| 清算管理(3.2.4.4) | 交易费用管理(清算侧) | 1.5 节 |
| 审计管理(3.2.4.5) | 全流程审计管理 | 1.6 节 |
| 运营平台服务和 SLA 保障(3.2.4.6) | 平台服务与 SLA 保障(我方增列) | 1.7 节 |
| 对外接口(3.2.4.7) | 对外接口 | 1.8 节 |
表 2.4-2 七类能力域与功能模块的对应关系。数据来源:招标文件。前五行与第七行为采购清单实列的 16 项模块按能力域归位,其中交易费用管理模块同时服务订单与清算两个能力域,在表中出现两次而实际交付一个模块,故六行合计 16 项;第六行「平台服务与 SLA 保障」为清单之外增列的 1 项。16 + 1 = 17 个交付模块。
这张表要回答的是交付清单层面的问题:平台建成后点得开、用得上的功能模块究竟是哪些,能否与服务采购清单的条目逐条对上。模块名称逐字沿用采购清单的条目名,不合并、不拆分、不另起新名,甲方核对时无须在两套叫法之间做一次翻译;核心功能要点由对应的功能要求条款收敛而来,取舍标准是写进要点的每一项在验收时都应点得开一个页面或取得出一条记录。
表中三列各管一事。「功能模块」列与采购清单逐条对齐,是核对有无遗漏的判据;「回应单元」列是证据,1 至 16 行回指服务采购清单与各自的功能要求条款,第 17 行回指 3.2.4.6 节;「核心功能要点」列给出验收着眼点,完整规格在 1.1.7 节按十一项展开。其中第 11 行数据集服务是数据集转为可调用服务的出口,服务目录、计量与计费均挂在其下;第 17 行不与前十六行并列,而是对它们的运行状态做监测与披露。
交付数量据此定下:16 项清单模块为基线,增列 1 项后合计 17 项,较「不少于 14 个功能模块」留有余量;实施阶段如甲方对模块范围另有调整,经书面变更确认后增减,调整后总数仍不低于 14 项。
| 序号 | 功能模块 | 核心功能要点 |
|---|---|---|
| 1 | 登记注册 | 数据集与服务的在线注册、名称/类型/提供方/描述等信息录入、完整性校验、注册受理与退回 |
| 2 | 数据集确权 | 来源凭证归集、权属主体登记、许可条款与使用范围约定、权属争议标记与冻结 |
| 3 | 数据集目录 | 四类数据集与四个用途子集的目录树、业务域与场景双视图、目录标识编码 |
| 4 | 数据集元数据 | 基础/业务/质量/权属/技术五组元数据项的维护与校验、元数据版本留痕 |
| 5 | 数据集上传 | 大文件分片上传与断点续传、包结构校验、指纹比对、上传任务管理 |
| 6 | 数据集下载 | 整包与子集下载、下载包水印与指纹、下载凭证与次数控制 |
| 7 | 数据集权限管理 | 角色—资源—操作三元授权、行列级与子集级授权、授权有效期与回收 |
| 8 | 数据集动态更新 | 增量汇聚接收、更新计划与窗口、变更影响范围提示、订阅用户通知 |
| 9 | 数据集检索与预览 | 关键词与元数据组合检索、语义检索、样本级受控预览、预览脱敏 |
| 10 | 数据集版本管理 | 版本树与版本指纹、版本差异说明、历史版本留存与取回、版本下架 |
| 11 | 数据集服务 | 把数据集封装为检索、问答、评测、加工任务四类可调用服务并对外提供 |
| 12 | 数据集挂牌展示 | 挂牌信息编排、价格与许可展示、挂牌状态管理、对外发布与撤牌 |
| 13 | 交易合同管理 | 合同模板、在线签署与线下合同归档、合同与订单关联、履约条款跟踪 |
| 14 | 交易费用管理 | 计费规则、订单金额试算、在线支付与对账、发票与凭证管理 |
| 15 | 全流程审计管理 | 审计日志、数据访问审计、API 调用审计、交易清算审计、审计报表导出 |
| 16 | 对外接口 | 统一目录标识登记、统一身份注册、标准接口互联互通、标识注册与解析 |
| 17 | 平台服务与 SLA 保障 | 服务分级、SLA 指标定义与监测、告警与处置、服务质量报告自动生成 |
表 2.4-3 功能模块清单。数据来源:招标文件「实列 16 项」、招标文件相应条款。序号 1—16 为服务采购清单实列模块,逐项对应清单条目;序号 17 为清单之外增列模块,用于承载 3.2.4.6 节的平台服务与 SLA 保障能力,其对清单 16 项的监测映射见 1.1.8 节表 2.4-3E。
招标文件服务采购清单实列的 16 项功能模块在本节逐项给出可验收的功能规格。规格按十一项写定:使用角色、菜单页面、关键字段、对象状态、业务动作、校验规则、权限控制、数据来源、输出物、典型异常与处置、验收用例。十一项按四张表分列,同一序号在四表中指同一模块;各模块的业务论述见 1.2 至 1.8 节对应各节。增列的第 17 项模块不在本节四表之内,其与 16 项的映射见 1.1.8 节。
| 序号 | 功能模块 | 主要使用角色 | 菜单页面 | 数据来源 |
|---|---|---|---|---|
| 1 | 登记注册 | 数据提供方、运营管理员 | 资产管理 › 登记注册:登记单列表、新建登记单、校验结果、退回原因 | 加工生产侧移交五件套、提供方填报、元数据字典 |
| 2 | 数据集确权 | 数据提供方、运营管理员、专业把关层 | 资产管理 › 确权登记:确权记录、来源凭证归集、许可条款编排、争议处理 | 来源凭证与权属声明、数据提供协议、许可模板库、登记单 |
| 3 | 数据集目录 | 全部角色(浏览)、运营管理员(维护) | 数据目录:业务域视图、场景视图、节点维护、编码管理 | 登记与确权信息、元数据、挂牌状态、细分任务场景清单 |
| 4 | 数据集元数据 | 数据提供方、运营管理员、数据使用方(只读) | 资产管理 › 元数据:元数据维护、字典管理、批量导入导出、质量巡检 | 五组元数据项、数据字典文件与自描述封装文件、质检与验证报告 |
| 5 | 数据集上传 | 数据提供方、运营管理员(离线导入) | 资产管理 › 上传任务:新建上传、任务列表、分片进度、离线导入 | 提供方本地包、加工生产侧标准包与清单 |
| 6 | 数据集下载 | 数据使用方、运营管理员、审计员(只读) | 我的订单 › 交付物下载;运营 › 下载凭证查询 | 订单授权、对象存储受控副本、许可条款与适用边界 |
| 7 | 数据集权限管理 | 运营管理员、租户管理员、审计员 | 权限 › 授权记录;租户 › 角色配置 | 订单授权、租户开通单、角色模板 |
| 8 | 数据集动态更新 | 数据提供方、运营管理员、订阅用户 | 资产管理 › 更新计划、更新任务、订阅通知 | 持续汇聚增量、加工生产侧重标产出、更新计划 |
| 9 | 数据集检索与预览 | 数据使用方、数据提供方、运营管理员 | 数据目录 › 检索;数据集详情 › 预览 | 元数据、数据字典、受控样本、检索与预览索引 |
| 10 | 数据集版本管理 | 数据提供方、运营管理员、原购买主体 | 资产管理 › 版本树、历史版本取回 | 登记与质检凭证、变更说明、挂牌与在售记录、原订单与许可 |
| 11 | 数据集服务 | 数据使用方、运营管理员 | 服务目录;我的服务 › 调用;加工任务 | 数据集版本、工具链能力接口、模型统一网关、服务目录条目 |
| 12 | 数据集挂牌展示 | 数据提供方、运营管理员、安全合规评审、外部用户 | 资产管理 › 挂牌编排;挂牌审核;挂牌页预览 | 确权记录、元数据、质量结论摘要、价格与交付方式、适用边界 |
| 13 | 交易合同管理 | 数据使用方、运营管理员 | 交易 › 合同:合同模板、在线签署、线下归档、履约条款跟踪 | 合同模板库、线下合同扫描件、订单、许可条款 |
| 14 | 交易费用管理 | 数据使用方、运营管理员、财务对账岗、审计员 | 交易 › 计费规则、订单试算、支付与核销、发票与凭证、对账 | 计费规则、订单、支付通道回调、银行流水与对账文件、清算规则 |
| 15 | 全流程审计管理 | 审计员、运营管理员 | 审计 › 日志检索、数据访问审计、API 调用审计、交易清算审计、审计报表 | 各模块写入的审计事件、网关调用日志、清算与对账记录 |
| 16 | 对外接口 | 运营管理员、审计员 | 对外接口 › 接口注册、映射配置、联调、同步任务、标识注册与解析 | 对外发布级目录字段、主体标识映射表、确权与许可记录、挂牌与下架事件 |
表 2.4-3A 16 项模块的使用角色、菜单页面与数据来源。数据来源:招标文件服务采购清单实列模块、招标文件相应条款各功能要求条款。菜单页面为平台导航层级,实施阶段按用户习惯微调而不改变功能归属。
| 序号 | 功能模块 | 关键字段 | 对象状态 |
|---|---|---|---|
| 1 | 登记注册 | 登记单号、对象类型、名称、唯一标识、提供方、类型、描述、关联版本号、移交五件套凭证号、三道校验结论 | 草稿→已提交→校验不通过(退回)→待受理→已受理→已转审批 |
| 2 | 数据集确权 | 确权记录号、权属主体与统一社会信用代码、共有方与份额、来源凭证编号与类型、许可类型、允许用途、允许交付方式、许可期限、争议标记 | 待确权→已确权→争议标记→争议解除或权属变更 |
| 3 | 数据集目录 | 目录节点编码(五段)、节点名称、父节点、视图类型、挂接的数据集版本、对外可见级别 | 节点启用/停用;挂接关系生效/失效 |
| 4 | 数据集元数据 | 基础、业务、规模与模态、质量、权属与合规、技术六类元数据项、元数据版本号、字典版本号、巡检结论 | 草稿→生效→已变更(历史版本留痕) |
| 5 | 数据集上传 | 上传任务号、包结构清单、声明文件数与体积、分片数与分片校验值、版本指纹声明值与重算值 | 待上传→上传中→暂停→校验中→校验不通过→入库完成 |
| 6 | 数据集下载 | 下载凭证号、订单号、数据集版本、下载范围、下载人与租户、时间、源地址、下载包指纹、水印标识 | 通道待开→通道开放→下载中→下载完成→通道关闭或配额耗尽 |
| 7 | 数据集权限管理 | 授权记录号、订单号、主体、资源、操作(七类)、有效期、配额、回收状态 | 待生效→生效→即将到期→已回收;异常路径另有已冻结 |
| 8 | 数据集动态更新 | 更新任务号、更新类型、更新窗口、影响范围、生成版本号、是否需重新质检、订阅用户名单 | 计划中→待执行→执行中→待质检→已发布→已通知 |
| 9 | 数据集检索与预览 | 检索条件、命中依据、预览层级、样本条数、脱敏规则、预览次数 | 样本待指定→样本已指定→安全合规已确认→预览开放/预览关闭 |
| 10 | 数据集版本管理 | 版本号、版本指纹、父版本、变更说明三要素、质检与验证报告编号、挂牌状态、在售起止、留存期、取回申请号 | 草稿→在售→停售保留→下架→留存期内→留存期满 |
| 11 | 数据集服务 | 服务编码与名称、服务类别、供给形态、依赖数据集、输入要求、交付物形态、计费口径、SLA 档次、许可与合规前置、上下架联动 | 条目:草稿→已上架→暂停受理→已下架;任务:已提交→排队→执行中→成功或失败→已交付 |
| 12 | 数据集挂牌展示 | 挂牌单号、挂牌页五块内容、价格、许可条款、允许交付方式、挂牌期、撤牌事由 | 待编排→待审核→已挂牌→暂停挂牌→已撤牌 |
| 13 | 交易合同管理 | 合同编号、签署方、标的范围、金额、支付安排、交付安排、履约期限、违约与争议条款摘要、关联订单号 | 草稿→待签署→已签署或已归档→履约中→履约完成;异常路径另有终止 |
| 14 | 交易费用管理 | 计费项与单价、试算快照、订单金额、支付流水号、到账金额、核销状态、发票信息、对账批次与差异项 | 待支付→部分支付→已支付→已核销;退款路径为退款中→已退款 |
| 15 | 全流程审计管理 | 事件号、事件类型、主体、客体、动作、时间、来源地址、结果、关联单号、留存期 | 实时写入→热数据期→归档→留存期满 |
| 16 | 对外接口 | 接口组、接口版本、映射配置版本、主体标识映射、同步批次号、标识申请号与解析结果、联调记录编号 | 预留→联调中→联调通过→已启用→已停用 |
表 2.4-3B 16 项模块的关键字段与对象状态。数据来源:招标文件各功能要求条款;元数据项分组见表 2.4-5,授权操作七类见 1.4.6 节。
| 序号 | 功能模块 | 业务动作 | 校验规则 | 权限控制 |
|---|---|---|---|---|
| 1 | 登记注册 | 新建、暂存、提交、撤回、受理、退回、转审批 | 字段级、文件级、凭证级三道校验依次执行;版本指纹重算须与声明值一致;质检与验证报告须可检索且结论为通过 | 提供方只能操作本方登记单;受理与退回由运营管理员执行;审批专家无写权限 |
| 2 | 数据集确权 | 提交确权材料、登记权属、选配许可模板、附加条款、提出异议、受理异议、出具争议结论、解除争议 | 权属主体登记到法人层级;共有份额合计为一;许可期限不早于挂牌期;允许交付方式须在平台能力范围内 | 提供方登记本方;运营管理员核验;争议结论仅专业把关层可出具;许可模板仅运营管理员可维护 |
| 3 | 数据集目录 | 新建节点、调整层级、挂接与解除挂接、设置对外可见级别、导出目录 | 编码五段各段长度固定且全局唯一;同一版本在同一视图下不重复挂接;已下架版本自对外可见目录摘除 | 节点维护由运营管理员执行;对外可见级别的变更须经安全合规确认 |
| 4 | 数据集元数据 | 维护、批量导入、批量导出、字典版本化、月度巡检、发起字典变更申请 | 必填项、枚举值在字典内、数值区间、日期逻辑、与质检报告结论一致五类校验 | 提供方维护本方元数据;字典仅运营管理员可改且须版本化留痕 |
| 5 | 数据集上传 | 新建任务、分片上传、断点续传、暂停与恢复、取消、离线挂载导入 | 分片校验值逐片比对;包结构与声明一致;字典与自描述封装文件可解析;抽样读取成功;指纹重算一致 | 提供方仅可操作本方任务;离线导入由运营管理员发起并双人复核 |
| 6 | 数据集下载 | 申请下载、开放通道、下载、续传、关闭通道、查询凭证 | 订单在有效期内;授权范围覆盖所请求子集;配额未耗尽;许可未失效 | 仅订单授权主体可下载;审计员可查凭证不可下载 |
| 7 | 数据集权限管理 | 按订单生成授权、调整范围、延期、回收、冻结、解冻 | 授权范围不超出订单授权;有效期不超出许可期限;无订单依据的授权请求予以拒绝 | 平台侧权限上限由运营管理员设定,租户侧不可见不可改;租户管理员在上限内分配 |
| 8 | 数据集动态更新 | 设定更新计划、接收增量、执行更新、提交重新质检、发布新版本、推送通知 | 重标修订须重新质检通过方可发布;更新窗口与在途交付冲突检测;影响范围为必填 | 更新计划由提供方设定;发布动作由运营管理员执行 |
| 9 | 数据集检索与预览 | 组合检索、全文检索、语义检索、查看元数据、查看样本、查看结构、申请扩展预览 | 样本经安全合规确认方可开放;脱敏规则与敏感判定结论匹配;预览次数计入配额 | 元数据预览对已挂牌数据集开放;样本预览按配额;结构预览随挂牌开放 |
| 10 | 数据集版本管理 | 建立版本、填写差异说明、停售、下架、申请取回、核验取回条件、开放取回通道 | 差异说明三要素齐备;取回前重新核验原订单有效性、许可期限、安全限制与当前下架事由 | 取回仅原购买主体可申请,且须通过重新核验方可开放通道 |
| 11 | 数据集服务 | 登记条目、上架、订购、调用、提交加工任务、查看任务回执、下架 | 所依赖数据集许可状态有效;授权范围覆盖调用参数;配额未耗尽 | 条目登记与上下架由运营管理员执行;调用权限来自订单授权 |
| 12 | 数据集挂牌展示 | 编排挂牌页、提交审核、挂牌、定时发布、暂停、撤牌、续期 | 质量结论摘要与适用边界为必填且必须展示;挂牌期不超出许可期限;价格须有可实现的计费口径 | 编排由提供方执行;挂牌与撤牌由运营管理员执行;对外可见级别经安全合规确认 |
| 13 | 交易合同管理 | 选用模板、在线签署、上传归档、关联订单、跟踪履约条款、签订补充协议、终止 | 合同标的与金额须与关联订单一致;线下合同先归档方可代录订单 | 合同录入与归档由运营管理员执行;用户只读本方合同 |
| 14 | 交易费用管理 | 配置计费规则、试算、发起支付、接收回调、人工确认到账、核销、开票、对账、差异处置 | 支付金额与订单金额一致;同一凭证不得多笔核销;回调验签通过;重复回调按流水号幂等 | 计费规则配置须审批;人工确认到账双人复核;发票信息由用户自助维护 |
| 15 | 全流程审计管理 | 检索、下钻、导出、生成专项审计视图、生成审计报表 | 审计记录只增不改;导出动作本身入审计;审计员自身操作同样入审计 | 审计员只读全量;运营管理员只读职责范围内记录;任何角色无删除权 |
| 16 | 对外接口 | 配置映射、发起四步联调、启用、全量导出、增量同步、申请标识、解析查询、注销标识、停用 | 对外发布级字段集合完整;主体标识一一映射;下架事件在约定时限内同步;传输通道采用国密算法 | 映射配置与启用由运营管理员执行并须审批;解析查询按调用方权限范围 |
表 2.4-3C 16 项模块的业务动作、校验规则与权限控制。数据来源:招标文件各功能要求条款、招标文件相应条款与「授权与配额」、相应条款—「审计」。
| 序号 | 功能模块 | 输出物 | 典型异常与处置 | 验收用例 |
|---|---|---|---|---|
| 1 | 登记注册 | 登记单、三道校验报告、受理回执、数据集唯一标识 | 指纹重算不一致:整单退回并保留现场,不提示修改;报告编号检索不到:退回并列明缺项;同一版本重复提交:拦截并指向已有登记单 | 提交一份缺质检报告编号的登记单,系统在凭证级校验处退回并逐项列明缺项,该登记单不进入审批队列 |
| 2 | 数据集确权 | 确权记录、许可条款文本、权属凭证摘要(写入存证账本) | 共有份额合计不为一:阻断保存;许可期限早于挂牌期:阻断挂牌;争议标记:挂牌暂停、在途订单中止、相关清算暂挂 | 对一份已挂牌数据集提出权属异议,受理后该版本转争议标记,挂牌页下线、在途订单中止、清算暂挂,全过程留痕可查 |
| 3 | 数据集目录 | 目录树、目录项导出文件、对外发布目录增量 | 编码冲突:阻断并提示占用节点;已下架版本仍在对外目录:巡检自动摘除并告警 | 将一个版本下架后,对外目录的增量同步中出现该版本的下架通知,对外可见目录中不再检索到该版本 |
| 4 | 数据集元数据 | 元数据记录、月度巡检清单、批量导出文件 | 枚举值不在字典内:逐条拒收并给出行号与字段名;与质检报告不一致:列入巡检清单交人工处理,不自动改写 | 批量导入一百条元数据,其中十条枚举值越界,系统拒收该十条并逐条给出行号与字段名,其余九十条正常入库 |
| 5 | 数据集上传 | 上传任务记录、校验报告、入库版本 | 分片校验失败:仅重传该分片;指纹重算不一致:整包拒收并保留现场;上传中断:已完成分片保留七日 | 上传一个大体积包,在传输过半时断网后恢复,任务自已完成分片继续而不重传已完成部分,最终指纹重算一致 |
| 6 | 数据集下载 | 下载包(内嵌水印与交付清单文件)、下载凭证 | 配额耗尽:关闭入口并提示联系运营管理员;许可在下载途中失效:当次下载完成后通道随即关闭并记录;越权子集请求:阻断并入审计 | 以授权范围外的子集条件发起下载,请求被阻断,审计中生成一条越权访问记录,用户侧收到范围外的明确提示 |
| 7 | 数据集权限管理 | 授权记录、回收记录 | 订单取消:同步回收授权、停用密钥、关闭通道、终止在途任务;许可失效:授权即时冻结 | 取消一笔已交付订单,该订单派生的授权、接口密钥与下载通道随即全部失效并生成一份回收记录 |
| 8 | 数据集动态更新 | 新版本、变更影响说明、订阅通知 | 重标修订未通过质检:不予发布并退回提供方;更新窗口与在途交付冲突:顺延并通知相关用户 | 一次重标修订在质检不通过时无法发布,版本停留在待质检状态,订阅用户不收到升级通知 |
| 9 | 数据集检索与预览 | 检索结果列表与命中依据、受控样本、结构说明 | 预览次数超限:关闭预览入口;样本未经安全合规确认:预览入口不开放 | 对一份含敏感字段的数据集发起样本预览,返回样本中敏感字段按脱敏规则处理,且本次预览在审计中可查 |
| 10 | 数据集版本管理 | 版本树、差异说明、取回授权与取回凭证 | 许可期限已过:不予取回并告知可重新订购;因合规事由下架:取回不予开放;安全限制升级:按新限制重新界定取回范围 | 对一个因合规事由下架的版本发起历史取回申请,申请被拒绝并给出事由,审计中留有申请与拒绝记录 |
| 11 | 数据集服务 | 调用结果、任务回执、评测报告、加工成果 | 依赖数据集下架:条目置暂停受理;任务失败:按失败原因分类退回并按计量规则处理(见 1.4.7 节) | 下架一份被服务条目依赖的数据集,该条目在服务目录中随即置为暂停受理,新订购入口关闭,已受理任务按原约定执行完毕 |
| 12 | 数据集挂牌展示 | 挂牌页、对外发布目录条目、撤牌通知 | 适用边界缺失:阻断提交审核;许可到期前十五日未续期:自动转下架;争议标记:挂牌暂停 | 编排一份缺适用边界的挂牌页,提交审核被阻断并明确指出缺失字段,该挂牌页无法进入审核队列 |
| 13 | 交易合同管理 | 合同文本、履约跟踪表、合同与订单关联关系 | 订单金额与合同金额不一致:拦截订单生成并要求说明;合同到期而订单未履约完毕:告警并转人工处置 | 代录一笔线下订单,其金额与已归档合同金额不一致,系统拦截订单生成并提示两者差额 |
| 14 | 交易费用管理 | 试算明细、支付凭证、核销记录、发票、对账报告与差异清单 | 部分到账:保持部分支付状态不进入交付;超额到账:触发差额退款;重复回调:按流水号幂等只核销一次;回调迟到:以对账文件为准补记 | 同一笔支付回调连续发送三次,系统仅核销一次,另两次记为重复回调并在交易清算审计中可查 |
| 15 | 全流程审计管理 | 审计明细、四类专项审计视图、审计报表、导出文件 | 归档数据检索超时:任务置失败并可重新提交;日志写入失败:对应业务动作回滚并告警 | 对一条已写入的审计记录发起修改,系统予以拒绝并将该次尝试记为一条新的审计事件 |
| 16 | 对外接口 | 目录导出文件、增量同步回执、标识注册回执、四步联调记录 | 对端不可达:同步任务重试并转补偿队列;失败次数超阈值:告警并转人工;标识申请被拒:保留申请记录并按对端事由重报(见 1.8.3 节) | 模拟对端连续返回失败,增量同步在重试耗尽后进入补偿队列并告警,补偿成功后对外目录与平台内状态一致 |
表 2.4-3D 16 项模块的输出物、典型异常与验收用例。数据来源:招标文件各功能要求条款;验收用例与 1.9.3 节的验收口径同源,可直接用作上线验收的测试脚本。
3.2.4.6 节要求的平台服务与 SLA 保障能力是一项横向能力:它本身不产生数据集、不成立订单,而是对上述 16 项模块的运行状态进行监测、判定、告警与披露。把它并入 16 项中的任何一项都会使那一项的职责不清,故单列为第 17 个交付模块;它与 16 项之间是监测与保障关系,逐项映射如表 2.4-3E。这张映射表同时是 SLA 指标的采集点清单:表 2.4-17 的七项核心指标,其数据全部来自本表所列的采集点。
| 序号 | 被监测模块 | 纳入 SLA 的监测项 | 采集点 | 对应核心指标 |
|---|---|---|---|---|
| 1 | 登记注册 | 登记单受理时长、一次提交通过率 | 登记单状态时间戳 | 工单响应及时率(受理类) |
| 2 | 数据集确权 | 确权核验时长、争议受理时长 | 确权记录与异议工单时间戳 | 工单响应及时率 |
| 3 | 数据集目录 | 对外目录同步延迟、下架摘除延迟 | 目录同步任务回执 | 数据更新及时率 |
| 4 | 数据集元数据 | 必填项缺失率、枚举值异常率、与质检报告不一致项数 | 月度元数据巡检 | 数据更新及时率(质量侧) |
| 5 | 数据集上传 | 上传任务成功率、校验退回率 | 上传任务记录 | 平台可用性(上传通道) |
| 6 | 数据集下载 | 下载通道开放时延、下载失败率 | 下载凭证与通道日志 | 交付及时率 |
| 7 | 数据集权限管理 | 授权生成时延、到期回收执行率 | 授权记录时间戳 | 交付及时率 |
| 8 | 数据集动态更新 | 按承诺频次完成更新的比例、通知送达率 | 更新任务与通知记录 | 数据更新及时率 |
| 9 | 数据集检索与预览 | 检索响应时延、预览可用性 | 网关调用日志 | 接口响应时延、平台可用性 |
| 10 | 数据集版本管理 | 历史取回核验时长、取回通道开放时延 | 取回申请与授权记录 | 工单响应及时率 |
| 11 | 数据集服务 | 接口成功率、任务执行成功率、任务排队时长 | 网关调用日志与任务回执 | 接口成功率、接口响应时延 |
| 12 | 数据集挂牌展示 | 挂牌审核时长、撤牌生效时延 | 挂牌单状态时间戳 | 工单响应及时率 |
| 13 | 交易合同管理 | 合同归档及时率、履约条款到期提醒送达率 | 合同记录与提醒日志 | 交付及时率 |
| 14 | 交易费用管理 | 支付回调处理时延、对账差异率、退款处理时长 | 支付流水与对账批次 | 交付及时率、工单解决及时率 |
| 15 | 全流程审计管理 | 审计写入成功率、归档检索返回时长 | 审计写入与检索任务 | 平台可用性(审计链路) |
| 16 | 对外接口 | 同步成功率、补偿成功率、联调通过率 | 同步任务回执与联调记录 | 接口成功率 |
表 2.4-3E 增列模块对采购清单 16 项模块的监测映射与采集点。数据来源:招标文件 —「平台服务与 SLA 保障」、「清单 16 项」。核心指标的计算口径与承诺值见表 2.4-17。
平台的使用者分五类角色,权限边界各不相同。这个划分决定了后面所有流程的审批链条,先在此说明一次,后文不再重复。
| 角色 | 典型主体 | 平台内权限边界 |
|---|---|---|
| 数据提供方 | 天地奔牛各业务部门、产业链上下游企业、科研机构 | 注册与上传本方数据集、维护本方元数据、申请挂牌、查看本方数据集的订单与清算明细 |
| 数据使用方 | 企业内部专业部门、行业外部用户 | 检索与预览已挂牌数据集、提交订单、按授权范围获取交付物、查看本方订单与账单 |
| 运营管理员 | 平台运营执行层 | 受理注册、组织审批、维护目录与挂牌、处理订单异常、生成清算与服务质量报告 |
| 审批专家 | 价值、质量、安全合规、运营四个维度的评审人 | 仅对分配到本人的审批任务进行评审与表决,不可修改数据集内容与元数据 |
| 审计员 | 内部审计、合规岗位 | 只读访问全部审计日志与审计报表,无业务操作权限,其自身操作同样入审计 |
表 2.4-4 平台角色与权限边界。数据来源:招标文件。
租户采用两级模型。一级租户对应法人主体,二级租户对应该主体下的部门或项目组。配额、计费、授权均可按任一级别设定,继承关系为一级设上限、二级在上限内分配。这一模型同时服务于平台能力交付场景:外部用户购买平台加工能力时,平台为其开通一个一级租户,授权范围与资源配额在开通时一次配置完成。
平台基于国产化软硬件栈建设,运行于国产 CPU 与国产操作系统,数据库、中间件、容器平台均采用已通过信创适配认证的产品。密码运算统一调用商用密码服务平台提供的服务,不在应用内自行实现密码算法(口径)。具体的国产化比例承诺与适配清单见非功能分节与安全分节。
平台在数据集服务模块中需要调用大模型能力,用于语义检索、样本摘要与质量问答。我方采用当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级。网关层记录每一次模型调用的输入输出摘要与耗时,计入 API 调用审计。模型能力的更替不改变平台对外接口,这是把模型置于网关之后的原因。
数据及服务管理是平台运营的入口能力,由登记注册、数据集确权、数据集目录、数据集元数据、数据集上传、数据集检索与预览、数据集版本管理、数据集动态更新、数据集挂牌展示 9 个功能模块承担,支持数据及服务的注册、审批、发布、变更和下架。
平台把注册、审批、发布、变更、下架五个动作实现为受控状态之间的迁移。数据集版本与服务实例在平台内始终处于草稿、待受理、审批中、已发布、变更中、停售保留、已下架七个状态之一,每一次迁移有明确的准入条件、执行角色与产出凭证;准入条件不满足即不迁移,迁移前后的状态值与依据单据号写入审计(见 1.6.2 节数据集生命周期事件)。
准入条件按动作分别设定。草稿迁入待受理,须通过字段级、文件级、凭证级三道完整性校验(见 1.2.3 节);待受理迁入审批中,须移交五件套齐备且版本指纹重算一致;审批中迁入已发布,须价值、质量、安全合规、可运营四个维度均出具结论且安全合规维度无否决项,并完成确权登记、目录归类与挂牌信息编排三件事(见 1.2.4 节、1.2.5 节);已发布迁入变更中按变更类型分流,元数据变更原地留痕、内容变更派生新版本并重走注册与审批;迁入停售保留或已下架,按六类下架情形各自的触发方、核验项与在途订单处置执行(见 1.2.6 节)。执行角色按 1.1.9 节的五类角色划分,提供方不可自行发布,运营管理员不可越过审批结论上架。
登记记录是后续订单、交付与清算的唯一基准:订单锁定的版本、交付生成的授权、清算引用的权属份额,均取自登记记录而不另行录入。因此入口环节设置的是准入校验而非事后修正——登记信息一旦被交易记录引用,更正须经冲销原记录与重新登记两步,并在审计中留下两条关联记录。
平台支持两类对象注册:数据集与数据服务。数据集的注册单位是版本,不是数据集本身——同一个数据集的 v1.2 与 v1.3 是两条可独立挂牌、独立定价、独立下架的记录,它们通过版本树关联。数据服务的注册单位是服务实例,一个服务实例绑定一个或多个数据集版本。
在线注册须录入的信息按招标文件要求覆盖名称、类型、提供方、描述四项,我方在此基础上按五组元数据组织,便于后续检索、审批与定价都有据可依。
| 元数据组 | 元数据项(节选) | 必填 | 用途 |
|---|---|---|---|
| 基础信息 | 名称、唯一标识、类型(预训练/指令微调/偏好对齐/基准评测)、提供方、提供方联系渠道、描述、关键词 | 是 | 注册受理与检索 |
| 业务信息 | 所属数据集大类(供需计划/产品工艺设计/制造过程/产品质量)、覆盖业务域、适用场景、覆盖产品型号与工序范围、时间跨度 | 是 | 目录归类与贴合度判断 |
| 规模与模态 | 样本量、Token 量或条数、模态构成(文本/图像/时序/图纸)、文件数、总体积、压缩格式 | 是 | 定价与交付方式判断 |
| 质量信息 | 质检报告编号与结论、验证报告编号与结论、质量得分、已知缺陷与适用边界、时效性占比 | 是 | 审批质量维度 |
| 权属与合规 | 来源系统或采集方式、权属主体、许可类型、允许用途、允许交付方式、去标识化与脱敏处理说明、涉密与敏感判定结论 | 是 | 审批安全合规维度与确权 |
| 技术信息 | 存储位置、版本指纹、数据字典文件、自描述封装文件、接口地址(服务类)、依赖环境 | 是 | 交付与解析(的下游承接) |
表 2.4-5 注册元数据项分组。数据来源:招标文件。完整元数据标准清单作为治理文档交付,见数据治理分节。
招标文件明确要求「运营平台须支持完整性校验」。我方把完整性校验设计为三道,依次执行,任一道不通过即退回提供方并给出具体缺项,不进入审批队列。
第一道是字段级校验。必填项为空、枚举值不在字典内、数值超出合理区间、日期逻辑矛盾,由系统即时提示。这一道在表单填写过程中实时执行,提交前即可发现。
第二道是文件级校验。平台比对上传包的实际结构与声明的结构:声明的文件数与实际文件数是否一致,数据字典文件与自描述封装文件是否存在且可被解析,样本抽样读取是否成功,版本指纹重算结果与声明值是否一致。指纹不一致意味着内容在移交途中发生变化,此类情形直接退回而不是提示修改。
第三道是凭证级校验。质检报告编号与验证报告编号须能在平台内被检索到对应报告,且报告结论为通过;权属主体须有对应的确权记录或在同一次注册中一并提交确权材料。这一道是前面提到的强制前置:没有质检与验证凭证的版本进不了审批(的承接)。
三道校验的通过率是一项运营指标。首期上线阶段,我方按「一次提交通过率不低于 70%」设定基线,上线三个月后按实际退回原因分布优化表单与字典,目标逐步接近 90%。该指标的计算口径为:统计周期内一次提交即三道校验全部通过、未经退回直接进入审批队列的登记单数,除以同期新提交的登记单数;同一登记单退回后重新提交的仍计入原登记单,不另计分母;因元数据字典版本变更引发的批量退回单独列示并从当期剔除。采集点为平台的登记单记录与校验结果记录,由平台按月自动统计,与表 2.4-17 的服务质量指标同采集点、同统计周期,结论进入月度服务质量报告。当期新提交登记单不足 30 件的,只列数据不作达标判定,并入下一统计周期合并计算,以免小样本下的数值波动被读作趋势。连续两个统计周期低于基线,即判为长期低于基线,由运营管理员会同提供方逐项核对元数据字典的适用性,必要时提交元数据标准变更申请,而不是放宽校验规则;核对结论与整改措施在当期月度服务质量报告中单列说明,整改后的下一统计周期重新判定。
2.4-3 数据集注册与审批流程(泳道)
图 2.4-3 数据集注册与审批流程。数据来源:招标文件。
招标文件要求审批「须支持多维度审批」,并点明四个维度:价值、质量、安全合规性和可运营。这四个维度不是四个形容词,我方把每一维度落到可判断的评审项与判据。
| 维度 | 评审项 | 判据与口径 | 结论形式 |
|---|---|---|---|
| 价值 | 场景相关性 | 是否对应本项目 11 个细分任务场景中的至少一个,或对应产业链明确需求 | 符合/部分符合/不符合 |
| 价值 | 不可替代性 | 平台内是否已有同业务域、同模态,同时间跨度的数据集;若有,差异点是什么 | 列差异点 |
| 价值 | 规模适用性 | 样本量与模态构成是否足以支撑声明的用途子集 | 充足/偏少 |
| 质量 | 质检结论 | 质检报告结论为通过,且关键质量维度得分不低于数据集质量评测方案设定的门槛 | 通过/不通过 |
| 质量 | 验证结论 | 验证报告显示在声明场景上的效果达到预期区间 | 通过/不通过 |
| 质量 | 适用边界披露 | 已知缺陷与不适用情形是否写入元数据并随交付物提供 | 已披露/缺失 |
| 安全合规 | 涉密与敏感判定 | 是否含个人信息、敏感地理信息、重要行业数据、企业秘密;去标识化或脱敏处理记录是否齐全 | 一票否决项 |
| 安全合规 | 来源合法性 | 来源系统或采集方式有授权依据,提供方出具来源合法性声明 | 一票否决项 |
| 安全合规 | 许可边界 | 许可类型、允许用途、允许交付方式三项与来源授权一致 | 一票否决项 |
| 可运营 | 定价可行性 | 计费口径明确,可被交易费用管理模块实现 | 可/不可 |
| 可运营 | 交付可行性 | 声明的交付方式在平台现有能力范围内,交付时效可承诺 | 可/不可 |
| 可运营 | 维护责任 | 提供方明确动态更新责任人与更新频次承诺 | 已明确/待明确 |
表 2.4-6 四维度审批评审项与判据。数据来源:招标文件第 7 项(安全合规建设要求)。质量门槛的具体数值以数据集质量评测分节设定的三维度门槛值为准。
审批的组织方式按数据集的对外开放程度分两档,兼顾灵活性与规范性。仅在企业内部使用、且提供方为天地奔牛内部部门的数据集,走简化审批:质量与安全合规两个维度必审,价值与可运营维度由运营管理员书面确认即可,审批时限按 2 个工作日。拟对外挂牌、或提供方为外部主体的数据集,走完整审批:四个维度各自独立评审,安全合规维度一票否决,审批时限按 5 个工作日。两档之间可由运营管理员升档,不可降档。
审批意见按维度分列保存,不生成汇总性结论。这样做的原因是:退回之后提供方需要知道究竟是哪一维度不通过、具体缺什么,一个「综合评议不通过」的结论没有可操作性。审批记录随数据集版本永久保存,后续版本的审批可引用上一版本的意见作为对照。
发布是把审批通过的数据集版本推到可被检索、可被下单的状态,由运营管理员执行,执行前须完成三件事:确权登记已落账、目录归类已挂接、挂牌信息已编排(见图 2.4-3 第四泳道)。发布动作支持定时发布,用于对外发布需要与宣传节奏配合的情形。
变更分两类,处置方式不同。元数据变更不改变数据集内容,包括描述、关键词、适用场景、联系渠道、价格与许可条款的调整。其中价格与许可条款的变更须经可运营与安全合规维度重新确认,其余项由提供方自助修改并留痕。内容变更必然产生新版本,走完整的注册与审批流程,原版本可选择保留在售、停售但保留历史取回、或下架三种处置。
变更对已成立订单的影响有明确规则:订单成立时锁定的是具体版本与当时的许可条款,后续变更不回溯影响已成立订单;若变更涉及安全合规事由,平台可依据审计与合规判定对已交付订单发起召回通知,这一情形在交易合同条款中事先约定。
招标文件要求下架功能「满足运营过程中各种原因导致的下架需求」。我方梳理六类下架情形并分别给出处置口径。
| 下架情形 | 触发方 | 处置口径 | 对已成立订单的处理 |
|---|---|---|---|
| 提供方主动下架 | 数据提供方 | 提交下架申请,运营管理员核验无在途订单后执行 | 在途订单先履约完毕,再执行下架 |
| 版本迭代替换 | 数据提供方 | 新版本发布后原版本自动转为「停售保留」,保留期满转下架 | 不影响;已交付用户按许可条款可继续使用原版本 |
| 质量问题下架 | 运营管理员/审计 | 收到质量申诉或复测不合格时立即下架,同步通知已交付用户 | 在途订单中止并退款;已交付订单按合同约定处理 |
| 合规事由下架 | 安全合规评审/外部通知 | 即时下架并冻结相关版本的检索、预览、下载通道 | 在途订单中止并退款;已交付订单发起召回通知 |
| 权属争议下架 | 确权模块争议标记 | 标记争议并暂停挂牌,争议解决前不恢复 | 在途订单中止;清算暂挂待争议结论 |
| 到期下架 | 系统(许可期或挂牌期届满) | 到期前 15 日提示提供方续期,未续期自动转下架 | 不影响已成立订单 |
表 2.4-7 六类下架情形与处置口径。数据来源:招标文件第 7 项。退款与召回的具体条款以交易合同管理模块的合同模板约定为准。
下架不等于删除。下架后数据集版本、元数据、审批记录、交易记录与审计日志全部保留,仅对外通道关闭。这是审计与争议处理的需要。确有删除需求时走单独的数据销毁流程,须经审批并留销毁记录。
目录采用双视图。业务域视图按供需计划、产品工艺设计、制造过程、产品质量四类数据集组织,每类下按预训练、有监督指令微调、人类偏好对齐、基准评测四个用途子集展开;场景视图按本项目的细分任务场景组织,一个数据集版本可同时挂在多个场景节点下。双视图的必要性来自两类用户的检索习惯不同:企业内部的数据工程人员按数据集大类找,业务部门与外部用户按场景找。
目录节点编码预留国家数据基础设施的统一目录标识位。编码结构为「行业域—企业主体—数据集大类—用途子集—版本序号」五段,各段长度固定,便于与外部目录标识做映射而不必改写既有编码。
元数据模块承载表 2.4-5 的五组元数据项,并提供三项能力:元数据标准的版本化维护,使字典调整可追溯;元数据批量导入导出,用于首期大批量数据集上架;元数据质量巡检,按月统计必填项缺失率、枚举值异常率、与质检报告不一致项数,生成巡检清单交运营管理员处理。
上传模块面对的实际约束是数据集体积。按本项目口径,预训练数据集合计 615 亿 Token,指令微调 89 万条,强化学习偏好数据 6.6 万组,基准测试 0.95 万条;其中产品工艺设计数据集涉及 63 万张历史图纸及其配对工艺卡片,文件数量级在百万。
因此上传模块按分片上传、断点续传、并发分片、分片级校验设计,单次上传任务支持中断后从已完成分片继续,不要求重传整包。对于体积超过在线上传合理区间的首期历史数据,平台提供离线导入通道:由加工生产侧生成标准包与清单,经内网存储直接挂载,平台执行与在线上传相同的三道完整性校验后入库。
下载模块的设计重点不是速度而是可追溯。每一次下载生成一张下载凭证,记录下载人、租户、订单号、数据集版本、下载范围、时间、源地址与下载包指纹。下载包内嵌不可见水印与一份交付清单文件,清单列明版本指纹、许可条款、允许用途与适用边界。整包下载之外支持子集下载,子集范围由订单授权决定,常见场景是用户只购买某一业务域或某一时间区间的样本。
下载次数与并发按订单与租户配额控制。配额用尽时下载入口关闭并提示联系运营管理员,不做自动放行。
检索提供三种方式并存。一是元数据组合检索,按数据集大类、用途子集、模态、时间跨度、业务域、质量得分区间等条件筛选,适合知道自己要什么的用户。二是关键词全文检索,检索范围覆盖数据集名称、描述、关键词、适用场景与数据字典的字段说明。三是语义检索,用户以自然语言描述需求,平台返回相关数据集并给出相关性说明。语义检索由数据集服务模块调用统一网关后的大模型实现,检索结果附带命中依据,便于用户判断是否误召。
预览的核心约束是「让用户看清但不让数据流出」。我方的预览设计分三层:元数据预览对所有已挂牌数据集开放,内容包括表 2.4-5 中除技术信息外的全部项;样本预览按数据集类型提供固定条数的受控样本,文本类按条、图像类按张、时序类按窗口,样本在挂牌时由提供方指定或由平台随机抽取后经安全合规确认;结构预览提供数据字典与自描述封装文件的在线查看,使用户在不取得样本的情况下也能判断字段是否满足需要。
样本预览经脱敏处理,脱敏规则按数据集的敏感判定结论配置。预览不提供下载、不提供复制全文、不提供批量翻页,单用户单数据集的预览次数计入配额并入审计。
版本管理模块维护版本树。每个版本记录版本号、版本指纹、父版本、变更说明、质检与验证报告编号、挂牌状态、在售起止时间。版本差异说明由提供方在注册时填写,内容要求写明三件事:样本范围的增减、标注口径的调整、已知缺陷的修复情况。这三件事决定了已购买上一版本的用户是否需要升级。
历史版本的留存期按许可与审计要求设定,默认不少于项目质保期结束后 3 年。留存期内原购买主体可申请取回历史版本。取回不是对「曾经购买」这一事实的自动兑现:平台在开放取回通道前重新核验四项,四项全部通过方可开放,任一项不通过即不予开放并书面告知具体事由。
第一项是授权有效性。核验原订单是否仍在有效期内、原授权是否已被回收或冻结、申请主体是否仍为原购买主体;主体发生合并、分立或注销的,按权利承继材料重新认定,认定不成立的不予取回。第二项是许可期限。核验该版本的许可条款在取回之日是否仍在许可期内,以及原订单约定的使用期限是否已届满;许可期已过或使用期限已届满的不予取回,用户可按当期挂牌条件重新订购。第三项是安全限制。核验该版本当前的敏感判定结论、脱敏要求与允许交付方式较原交付时是否发生变化,发生变化的按当前结论重新界定取回范围与交付方式,而不按原范围照发。第四项是下架事由。因质量问题或合规事由下架的版本,取回不予开放;因版本迭代替换或提供方主动下架而转入停售保留的版本,按前三项核验结论决定是否开放。
核验通过后,取回走订单链路生成一笔零金额订单,由该订单派生新的授权记录与新的下载凭证,授权范围、有效期与配额按本次核验结论重新设定,不沿用原订单的授权记录。取回申请、四项核验结论、开放或拒绝的决定与依据,连同取回动作本身全部入审计。
动态更新模块承接数据持续汇聚的产出(见 2.1 节),负责把增量数据并入既有数据集。更新有两种形态:增量追加不改变既有样本,产生小版本号;重标与修订改变既有样本,产生大版本号并需重新质检。更新计划按数据集设定窗口,默认按季度,高时效性数据集可设为按月。每次更新完成后,平台向订阅该数据集的用户推送更新通知,通知内容包括变更范围、是否影响既有样本、是否建议升级。
确权模块记录四类事实:来源凭证、权属主体、许可条款、流转记录。来源凭证指数据的原始出处与取得依据,对企业内部数据为系统取数授权记录,对外部汇聚数据为数据提供协议编号。权属主体登记到法人层级,多方共有的数据集登记各方份额与收益分配约定,该约定直接作为清算规则的输入(见 1.5 节)。许可条款从平台提供的许可模板中选择或在模板基础上加附加条款,模板覆盖内部使用、行业公益开放、商业授权、定制开发四类。
权属争议有专门的处置通道。任何用户可对已挂牌数据集提出权属异议,异议受理后该版本转入争议标记状态,挂牌暂停,在途订单中止,相关清算暂挂。争议结论由运营组织的专业把关层出具(见 2.5 节),结论与处置过程全程留痕。
挂牌展示模块负责对外呈现。挂牌页面的内容结构为五块:数据集概览与价值说明、规模与模态构成、质量结论摘要与适用边界、许可条款与允许用途、价格与交付方式。其中质量结论摘要与适用边界必须展示,不允许只展示优点。这是我方的一项运营规则:适用边界披露不充分的数据集,使用方拿去训练出问题后的争议成本远高于多卖一笔的收益。
2.4-4 数据集目录与挂牌展示界面示意
图 2.4-4 数据集目录与挂牌展示界面示意。数据来源:招标文件模块清单、招标文件相应条款;数据集规模取本项目产品工艺设计数据集指令微调子集口径 10 万条,备料工序 28 道。图中标注「示意」的质量得分与更新时间为界面占位样式,实际取值由数据集质量评测报告与更新任务记录写入。
数据集服务模块把数据集封装为可直接调用的能力,它是任务式使用与定制化数据服务的承载模块。平台提供四类服务封装。
检索服务把数据集封装为按条件返回样本的接口,调用方按次计费,数据不出域。问答服务在数据集之上提供自然语言问答,返回答案与出处样本标识,适用于标准、规程、制度类语料。评测服务接收调用方提交的模型接口地址,用基准评测数据集对其打分并返回评测报告,调用方的模型不进入平台、平台的基准答案不出平台,这是基准数据集防泄露的交付方式。加工任务服务接收调用方提交的原始数据与加工要求,由平台调用专项智能工具链执行加工并返回成果,工具链本身不对外交付(工具链清单与能力见本投标文件工具链分节)。
四类服务共用同一套配额、计费、审计机制,在用户侧表现为同一种订购与调用方式。服务的技术参数与可用性承诺进入 SLA 体系(见 1.7 节)。
招标文件在数据集运营架构建设要求中写明「须面向行业用户提供定制化的数据服务与智能体开发服务」,并要求整合各相关方在数据采集、数据标注、模型训练、智能体开发、数据集评测等环节的专业能力实施专业服务,同时「须明确架构中各相关方的服务边界、协作接口与质量责任」。这三条要求在运营架构层面的组织方式见 2.3 节;在平台层面,智能体开发服务以一个服务目录条目的形态存在,其登记模块、目录展示方式与条目字段如下。
这项服务挂在数据集服务模块之下,不新增功能模块,1.1.6 节的 17 个模块清单不变。挂法上与 1.2.12 节的四类服务封装有一处区别需要先讲清。检索、问答、评测、加工任务四类是标准化的可调用服务,用户订购后按接口调用;智能体开发服务是定制类服务条目,它在服务目录中与四类标准服务并列展示、并列检索、并列下单,但供给形态是按需承做而不是接口调用,下单后进入 2.3.4 节的五步定制流程。两类条目放进同一本服务目录,是因为用户只需要在一个地方找服务;供给形态在条目上标明,是因为用户在下单前就该知道自己拿到的是接口还是交付物。
服务目录对每一个条目登记十四项字段。标准类条目的部分字段可留空,定制类条目则十四项必填——条目信息不全就无法让用户在下单前判断这项服务能不能用、用得起用不起。字段设计与本条目的登记口径如表 2.4-7A。
| 字段 | 字段含义 | 智能体开发服务的登记内容 |
|---|---|---|
| 服务编码与名称 | 服务目录内的唯一标识与对外展示名 | 智能体开发服务 |
| 服务类别 | 标准类、定制类、公益类三者之一 | 定制类(服务分层口径见 2.4.3 节) |
| 供给形态 | 接口调用、交付物承做、平台能力开通三者之一 | 交付物承做,不以接口形态对外提供 |
| 承担的专业能力 | 本条目要调用哪几类专业能力 | 以智能体开发能力为主,按需联合数据标注、模型训练、数据集评测三类能力 |
| 输入要求 | 用户须先提供什么,本服务才能启动 | 业务目标与使用场景说明、可用数据范围与授权、验收标准的业务判据、用户侧配合人员与时间窗 |
| 依赖的数据集 | 本条目以哪些数据集为输入 | 用户已获授权的数据集;需用到授权范围外数据集的,先走订单与授权流程(见 1.2.8 节、1.4.6 节) |
| 交付物形态 | 交付什么、以什么形式验收 | 交付物类型清单登记在条目上,具体清单与数量由每一笔合同逐项约定 |
| 服务边界 | 本条目做到哪里为止 | 见本节下文三条边界 |
| 协作接口 | 与其他承担方之间按什么方式交接 | 服务工单与交接单(见 2.3.5 节);本条目另有四个接口点,见表 2.4-7B |
| 质量责任 | 交付物不合格时责任如何归属 | 按「谁的交付物谁负责」,另有三条补充规则见本节末 |
| 计费口径 | 按什么计价 | 按定制服务计价(见表 2.4-25),不按调用次数计价 |
| SLA 档次与时效 | 适用哪一级服务承诺 | 按用户的服务级别适用表 2.4-15;过程时效指标按 1.7 节口径纳管 |
| 许可与合规前置 | 启动前必须核过什么 | 所依赖数据集的许可状态、授权范围与脱敏要求;许可状态不明的条目不予启动 |
| 上架与下架 | 条目的生命周期如何管理 | 与数据集下架联动,所依赖数据集下架的,条目同步置为暂停受理(见 1.2.6 节) |
表 2.4-7A 服务目录条目字段与智能体开发服务的登记口径。数据来源:招标文件;服务分层与计费口径依据招标文件相应条款。条目上的「交付物形态」只登记类型清单,数量与效果指标不在目录层面登记,理由见下文第二条边界。
本条目的服务边界有三条,写在条目上并随服务说明一同对用户展示。第一条是范围边界:本包的建设范围是数据集加工生产、质量评测与场景验证,智能场景建设不在本包范围内;服务目录中的本条目是运营期面向行业用户的服务供给能力,与本项目建设期内的场景建设责任是两件事。
第二条是承诺边界:条目登记的是能力、输入要求、交付物类型与验收方式,具体交付物清单、数量与效果指标由每一笔定制合同逐项约定,不在服务目录层面作数量承诺或效果承诺——目录是用来让用户找到服务并判断是否合用的,不是用来预先替未签的合同下结论的。第三条是技术边界:本条目所需的模型能力按 1.1.10 节的口径经统一网关接入,可替换、可评测、可随代升级,模型能力的更替不改变本条目的服务边界与验收口径。
协作接口的通用规则——服务边界按交付物划分、交接按交接单落地、交接单在平台留痕——见 2.3.5 节。本条目在通用规则之外另设四个接口点,每个接口点在条目上登记交接物、交出方、接收方与接收检查不通过时的处置,并随服务说明对用户展示。四个接口点的设置依据是定制服务受阻位置的实际分布:需求要素不全、授权范围不足、验收判据未确认、运行期问题无人认领,四类情形占受阻工单的绝大多数。四个接口点如表 2.4-7B。
| 接口点 | 交接物 | 交出方 | 接收方 | 接收检查不通过时的处置 |
|---|---|---|---|---|
| 需求受理与可行性反馈 | 定制需求单、可行性判断意见 | 用户 | 运营管理员 | 需求要素不全的退回补充,并列明缺哪几项;补齐前不进入方案设计,不计入受理时效 |
| 数据授权与数据交付 | 授权清单、数据交付交接单 | 数据集权限管理模块 | 承担相应专业能力的交付方 | 授权范围外的数据不交付;越权请求阻断并记入 API 调用审计(见 1.6.2 节) |
| 评测与验收 | 评测报告、逐项验收记录 | 交付方 | 用户与运营管理员 | 未通过项逐项列明并退回整改;评测结论的适用范围以报告载明的口径为限 |
| 运行期问题反馈 | 服务工单 | 用户 | 运营管理员 | 按工单级别判定与派单(见表 2.4-16),处置时限按用户所属服务级别执行 |
表 2.4-7B 智能体开发服务条目的协作接口点与接收检查口径。数据来源:招标文件「服务边界、协作接口与质量责任」、招标文件相应条款、「授权与配额」、相应条款—「服务分级与 SLA」。
质量责任按「谁的交付物谁负责」确定,这一总则见 2.3.5 节。本条目另有三条补充规则。一是数据集本身的质量责任在平台侧,以数据集质量评测报告为依据;用户基于该数据集作出的业务判断,责任在用户侧。二是交付物按合同约定的验收标准逐项验收,验收标准中的业务判据由用户在方案设计阶段确认,未经确认的业务判据不作为验收依据。三是模型能力随代升级不构成对已验收交付物的再次承诺,用户要求按新一代模型能力重做的,作为一笔新的定制需求受理。
本条目的度量项为三项过程时效:受理反馈时效、方案提交时效、节点交付及时率。三项的交付物验收以合同约定的逐项判据与人工确认为准,不以自动化率一类的加工侧指标替代。三项的计算口径、采集点、承诺值与趋向目标如表 2.4-7C,三项均按 1.7 节的 SLA 体系纳管,数据源唯一取平台工单与订单的时间戳,人工统计的数不进这三项。
| 指标 | 计算口径 | 采集点 | 承诺值(基线) | 趋向目标 | 未达成处置 |
|---|---|---|---|---|---|
| 受理反馈时效 | 定制需求单要素齐备之时起,至运营管理员反馈可行性判断之时止的工作时长;要素不全退回补充的,自补齐之时重新起算 | 服务工单时间戳 | 2 个工作日内反馈,季度达成率不低于 95% | 自第二个考核年度起趋向 1 个工作日内反馈 | 逐单归因,超期单在服务质量报告中列出;连续两个季度未达成的,调整受理值班安排并复核受理人力 |
| 方案提交时效 | 可行性判断为「可承做」之日起,至向用户提交定制方案之日止 | 服务工单与订单时间戳 | 10 个工作日内提交,季度达成率不低于 90% | 趋向 7 个工作日内提交 | 逐单归因;用户侧未提供输入要求或未确认业务判据造成的延误,逐笔剔除并在报告中列明剔除依据 |
| 节点交付及时率 | 按合同节点计划日期完成交付并提交验收材料的节点数 ÷ 当期应交付节点数 | 订单节点记录与验收记录 | 季度不低于 90% | 趋向 95% | 对超期节点逐项说明原因与补救安排;连续两个季度未达成的,升级至运营组织决策层复议服务承诺与资源配置 |
表 2.4-7C 智能体开发服务条目的三项过程时效。数据来源:招标文件 —「SLA 核心指标与服务质量报告」、「质量责任」。承诺值为运营侧对外承诺口径,与表 2.4-17 同采集点、同统计周期。
表中承诺值与趋向目标属对外承诺,签约后按合同约定考核,其取值不随上线后的实测结果回调。与之分开的是两项实施校准参数:一是工作时长所依据的工作日历,在实施阶段按甲方生产日历确认,确认前按法定工作日历计算;二是用户致因延误的剔除判据,在服务级别协议附件中逐条细化,细化前按表 2.4-17 下文的剔除口径执行。校准参数只影响统计口径的细化,不改变承诺值本身。三项指标未达成时按表 2.4-17 的未达成处置执行,并在服务质量报告中逐项披露归因与改进措施。
前十二节逐模块写了各自的设计。一份数据集在平台内的实际走法是跨模块的:登记、版本、挂牌、授权、订单、交付、反馈、撤回八个环节首尾相接,每个环节的准入条件由上一环节的产出决定。八个环节的触发条件、前置校验、状态迁移、产出留痕与审计事件如表 2.4-7D。表中「前置校验不通过」一律是「停在本环节」,不是「带病进入下一环节」。
| 环节 | 触发 | 前置校验(不通过即停在本环节) | 对象状态迁移 | 产出与留痕 | 审计事件类型 |
|---|---|---|---|---|---|
| 登记 | 加工生产侧移交五件套 | 字段级、文件级、凭证级三道完整性校验;一致性检查第一、二项 | 草稿→已提交→已受理→已转审批 | 登记单、三道校验报告、受理回执、唯一标识 | 运营操作审计 |
| 版本 | 登记受理通过,或既有版本发生内容变更 | 差异说明三要素齐备;重标修订须重新质检通过 | 草稿→在售;迭代后原版本转停售保留 | 版本树节点、版本指纹、差异说明、质检与验证报告编号 | 运营操作审计 |
| 挂牌 | 四维度审批通过且确权已落账 | 一致性检查第四、五项;目录归类已挂接;挂牌信息已编排 | 待编排→待审核→已挂牌 | 挂牌页、对外发布目录条目、挂牌审批记录 | 运营操作审计 |
| 授权 | 订单成立 | 一致性检查第六项;授权范围不超出订单授权,有效期不超出许可期限 | 待生效→生效 | 授权记录、配额设定 | 数据访问审计 |
| 订单 | 用户在线下单,或运营管理员按已归档合同代录 | 合同标的与金额同订单一致;试算快照已留存;资质核验通过(公益类) | 待支付→已支付→待交付 | 订单、试算明细快照、合同关联关系、支付凭证 | 交易清算审计 |
| 交付 | 支付确认回调到达,或线下节点验收通过 | 一致性检查第七、八项;配额未耗尽;许可未失效 | 待交付→交付中→待履约确认 | 下载凭证、接口密钥、任务回执、交付清单文件 | 数据访问审计、API 调用审计 |
| 反馈 | 用户提交履约确认、评价、工单或质量申诉 | 评价须关联已验收节点;申诉须指明版本与具体事由 | 待履约确认→已确认;工单:已提交→处置中→已解决 | 履约确认记录、评价记录、工单、申诉处置结论 | 运营操作审计 |
| 撤回 | 提供方申请撤牌、六类下架情形触发、订单取消、授权到期或回收 | 撤牌前核验在途订单;下架按表 2.4-7 的六类情形分别判定处置 | 已挂牌→暂停挂牌→已撤牌;授权→已回收 | 撤牌通知、下架记录、授权回收记录、退款与召回通知 | 运营操作审计、交易清算审计 |
表 2.4-7D 数据集从登记到撤回的八环节全流程。数据来源:招标文件「五个动作」、招标文件相应条款、「下架」、「订单全过程」、相应条款、「交付」、「线下验收与评价」、相应条款—「审计」。一致性检查各项见表 2.4-7E。
八个环节之间传递的是四类凭证:数据集卡片(即数据卡)、质量报告(质检报告与验证报告)、许可(确权记录中的许可条款与期限)、摘要(挂牌页的质量结论摘要与存证账本的事实摘要)。这四类凭证在不同环节由不同模块读写,一旦彼此说法不一,后果不是界面不好看,而是交易记录把错误固化下来。平台因此设九处一致性检查,检查由系统执行并在不通过时阻断,不依赖人工发现。九处检查如表 2.4-7E。
| 序号 | 检查点 | 比对的两方 | 比对规则 | 不一致时的处置 | 执行时机 |
|---|---|---|---|---|---|
| 一 | 数据卡与登记元数据 | 数据卡载明的规模、模态构成、时间跨度、提供方 ↔ 登记元数据对应项 | 逐项等值比对,数值项不设容差 | 在受理处退回,逐项列明不一致项与两侧取值 | 登记注册的凭证级校验时 |
| 二 | 数据卡与版本指纹 | 数据卡载明的版本指纹 ↔ 入库时重算的指纹 | 等值 | 整包拒收并保留现场,不提示修改后重报 | 上传入库时、历史版本取回时 |
| 三 | 质量报告与审批门槛 | 质检报告结论与各维度得分 ↔ 数据集质量评测分节设定的门槛值 | 结论为通过,且各维度得分不低于门槛 | 审批质量维度判不通过并退回,列明低于门槛的维度 | 多维度审批时 |
| 四 | 质量报告与挂牌摘要 | 质量报告的综合结论、得分、已知缺陷与不适用情形 ↔ 挂牌页「质量结论摘要与适用边界」 | 得分与结论等值;已知缺陷与不适用情形不得省略 | 阻断提交审核;已挂牌的转暂停挂牌并通知提供方补齐 | 挂牌编排提交时、每次版本变更后 |
| 五 | 许可与挂牌期 | 确权记录的许可类型、允许用途、允许交付方式、许可期限 ↔ 挂牌页展示的许可条款与挂牌期 | 挂牌展示项须为许可项的子集;挂牌期不超出许可期限 | 阻断挂牌;已挂牌的转暂停挂牌 | 挂牌时、许可条款变更时、每日巡检 |
| 六 | 许可与订单授权 | 许可的允许用途与允许交付方式 ↔ 订单选定的使用用途与交付方式 | 订单选定项须为许可项的子集 | 阻断订单成立,提示可选范围 | 订单生成时 |
| 七 | 订单授权与交付范围 | 订单授权的主体、资源、操作、有效期 ↔ 实际开放的授权记录与交付通道 | 等值或更窄,不得更宽 | 阻断交付动作并告警至运营管理员与审计员 | 每次交付动作发起时 |
| 八 | 交付清单与平台记录 | 下载包内交付清单文件的版本指纹、许可条款、允许用途、适用边界 ↔ 平台内当前记录 | 等值 | 不签发下载凭证,交付通道不开放 | 每次开放下载通道时 |
| 九 | 存证摘要与平台记录 | 存证账本中登记、确权、挂牌、订单成立、交付完成、清算完成六类事实摘要 ↔ 平台内对应记录的摘要重算值 | 哈希等值 | 标记为待核事实并告警,转人工核查,核查期间相关清算暂挂 | 月度存证比对、争议处理时 |
表 2.4-7E 四类凭证的九处一致性检查。数据来源:招标文件「完整性校验」、「审批判据」、招标文件相应条款、「交付方式与授权」、「争议用途」、相应条款、「数据集卡片与自描述封装」。检查由系统执行,检查结论随对象留痕。
九处检查中第四、五、六三处值得单独点出,它们管的是同一件事的三个侧面:对外说的(挂牌摘要)、约定的(许可)、实际给的(订单授权与交付范围)必须层层收敛而不能放大。用户在挂牌页看到的允许用途,不会比许可条款更宽;订单里选定的用途,不会比挂牌页展示的更宽;实际开放的授权,不会比订单更宽。三层收敛是权属争议发生时能够自证的基础。
订单管理由交易合同管理与交易费用管理(订单侧)两个功能模块承担。
招标文件要求订单管理「支撑数据和服务从申请到履约的全过程」,列明订单生成、订单支付、订单取消、订单状态跟踪和订单履约确认五项。这五项本身不难,难点在于本项目的交易形态并不单一。企业内部部门调用数据集,走的是内部结算甚至不结算;行业中小企业购买一个标准数据包,可以在线下单在线支付;科研机构申请公益开放数据集,需要资质核验但不收费;大型用户购买定制数据服务,必然要先线下谈范围、谈价格、签合同,再在平台上补一笔订单做履约跟踪。
一套订单模型要同时装下这四种形态,关键是把「订单」与「合同」「支付」解耦:订单是履约的载体,合同是约定的载体,支付是资金的载体,三者通过订单号关联但各自有独立状态。线下协商的交易先有合同再有订单,在线选购的交易先有订单再生成合同,内部调用的交易有订单而无支付。
| 交易形态 | 典型用户 | 订单生成方式 | 合同 | 支付 | 交付 |
|---|---|---|---|---|---|
| 内部调用 | 天地奔牛各业务部门 | 在线选购,自动审批 | 内部数据使用登记单 | 无支付,按内部结算口径计入成本中心 | 线上 |
| 标准包在线购买 | 行业中小企业 | 在线选购 | 在线签署标准合同 | 在线支付 | 线上 |
| 公益开放申请 | 科研机构、行业协会 | 在线申请,需资质核验 | 公益开放使用承诺书 | 无支付 | 线上,配额受限 |
| 定制服务 | 大型行业用户 | 线下协商后由运营管理员代录订单 | 线下合同归档,上传扫描件并录关键条款 | 按合同约定分期,线上登记到账 | 线上与线下组合 |
表 2.4-8 四类交易形态与订单处理方式。数据来源:招标文件、「在线选购与线下协商」、「多种支付方式」、「公益导向」、「公益性与增值服务分层」。
在线选购的路径是常规的:检索或浏览挂牌数据集,加入订单,选择交付方式与授权范围,系统按计费规则试算金额,确认后订单成立。其中两处设计值得说明。
一是授权范围在下单时就要确定。用户需要选择使用主体(哪个租户、哪些用户组)、使用期限、使用用途、交付方式与配额。这些选择直接写入订单,交付时按订单授权生成权限,而不是交付后再配权限。好处是权限的来源永远可追到一笔订单,审计时不会出现「这个人为什么有这个数据的权限」答不上来的情况。
二是计费试算在订单成立前完成并留存。试算结果包含计费项明细、单价、数量、折扣依据与合计金额,用户确认的是这张明细而不只是一个总价。试算快照随订单保存,后续计费规则调整不影响已成立订单。
线下协商的订单由运营管理员代录。代录须先完成合同登记:上传合同扫描件或在线签署件,录入合同编号、签署方、标的范围、金额、支付安排、交付安排、履约期限、违约与争议条款摘要。合同登记完成后才能生成关联订单,订单的标的与金额须与合同一致,不一致时系统拦截并要求说明。代录订单同样进入正常的交付与清算链路,不走例外通道。
平台支持多种支付方式。在线支付对接企业网银与第三方支付通道,支付结果由通道回调确认,平台不以用户页面操作作为到账依据。线下对公转账由用户上传付款凭证,运营管理员核对银行流水后确认到账,这一动作须双人复核。内部调用不发生资金流动,按内部结算单据记账。公益开放不收费,订单金额为零但仍生成订单与清算记录,用于统计公益服务量(见 2.6 节)。
支付环节的几条规则需要写进平台:支付金额须与订单金额一致,部分到账的订单保持「部分支付」状态不进入交付;超额到账触发差额退款流程;支付凭证与订单一一对应,同一凭证不可用于多笔订单核销;所有支付与核销动作入交易清算审计。
支付通道与收款账户按五步流程在实施阶段完成配置,每一步留下可核验的记录,账户信息由甲方财务在第一步中提供,平台侧不预设、不代拟。
第一步,财务授权。由甲方财务部门出具收款主体、账户用途与经办授权的书面文件,载明开立主体、适用交易类型、可受理币种与授权有效期。平台据此建立收款主体档案,档案中登记主体名称、账户用途、授权文件编号与有效期;账号等敏感要素交由商用密码服务平台加密保管,运营管理员界面按掩码显示,完整值仅在向通道发起请求时由密码服务解密使用。
第二步,通道配置。按授权文件逐一配置在线支付通道与对公转账的到账识别规则,配置项包括通道类型、商户号映射、回调地址与验签方式、对账文件格式与获取方式、结算周期、单笔与单日限额。配置由具备支付配置权限的运营管理员录入,录入后处于「待测试」状态,不直接生效。
第三步,联调测试。在测试环境完成小额支付、退款、超额到账、部分到账、回调重发五类用例验证,同时核对对账文件可被自动解析、伪造的回调请求能被验签拒绝、重复回调不产生重复核销。测试结论形成测试记录,附每一类用例的请求与回执摘要。
第四步,审批上线。配置项与测试记录一并提交甲方财务与平台运营双方复核,复核通过后由具备上线权限的管理员执行上线,上线动作双人复核并计入交易清算审计。
第五步,上线核验。上线首日执行一笔小额真实交易并完成全链路对账,确认订单金额、到账金额、清算金额三者一致后,通道转为正式可用。此后通道参数的任何变更重走第二步至第四步,变更前后的配置版本均留存。
招标文件对这一条的要求写得具体:「须支持线上交付和先行交付两种不同交付方式下订单支付后的针对性处理,已实现线上交付的自动化和实时化、线下交付的履约可控」。这实际上是两种不同的风险结构,平台的处置方式也不同。
线上交付的风险在于交付动作一旦完成就不可撤回——数据集下载完成之后,无法再收回。所以线上交付采取「支付后即时交付」:支付确认的回调到达后,平台自动生成授权、开放下载通道或签发 API 密钥,并向用户推送交付通知。这一过程无人工干预,目标时延按支付回调到达后 5 分钟内完成授权生成;数据集体积较大时,下载通道开放即视为交付完成,实际传输时长不计入交付时效。交付完成后订单自动转「待履约确认」,用户确认或超过 7 个自然日未提出异议即视为履约确认,进入清算。
先行交付针对的是需要先行提供服务、后续分期收款的情形,典型是定制数据服务与线下专业服务。风险在于平台已经投入人力与资源,而款项未必全额到账。平台的处置是把履约拆成可验收的节点,每个节点对应一次交付确认与一次清算触发:
| 节点 | 交付物 | 验收方 | 关联清算 |
|---|---|---|---|
| 需求确认 | 需求确认单、数据范围与口径说明 | 用户签字确认 | 触发首期款清算 |
| 中期交付 | 中期成果(样本集、接口联调版本) | 用户出具中期验收意见 | 触发中期款清算 |
| 终期交付 | 完整交付物、数据集卡片、质检与验证报告 | 用户出具终验意见 | 触发尾款清算 |
| 服务期结束 | 服务期内的支持记录与服务质量报告 | 用户确认服务期结束 | 触发质保金释放(如有) |
表 2.4-9 先行交付的节点划分与清算触发。数据来源:招标文件。节点划分可按合同约定调整,调整后的节点同步写入订单。
任一节点的验收意见为不通过时,订单转「整改中」,整改完成后重新提交验收。整改期间不触发该节点的清算。节点验收记录、验收材料与会议纪要统一保存在订单下。
订单取消按订单所处状态分三档。未支付的订单,用户可自助取消,立即释放占用的配额。已支付未交付的订单,用户提交取消申请,运营管理员核验未发生交付动作后执行取消并发起退款。已交付的订单原则上不支持取消,但下列两种情形例外并有明确处置:数据集因质量问题下架时,中止在途交付并退款;因合规事由下架时,按 1.2 节表 2.4-7 的口径处理。例外情形的处置依据与审批记录随订单保存。
订单状态跟踪对用户与运营两侧都要可见。订单状态机如图 2.4-5。
2.4-5 订单状态机与清算触发点
图 2.4-5 订单状态机与清算触发点。数据来源:招标文件。
状态跟踪在用户侧表现为订单详情页的时间轴,列出每一次状态变更的时间、执行方与依据单据;在运营侧表现为订单看板,按状态、超期风险、金额、数据集维度聚合,并对停留超过阈值的订单生成待办工单。阈值按状态设定,待支付默认 7 日、待交付默认 1 日、待履约确认默认 7 日、整改中默认 15 日。
合同管理模块提供三类合同的处理能力。标准合同由平台内置模板,在线签署,签署采用电子签章并由商用密码服务平台提供签名与时间戳服务,签署完成的合同不可修改。线下合同支持扫描件归档加关键条款录入,关键条款录入项为签署方、标的、金额、支付安排、交付安排、履约期限、许可范围、违约责任、争议解决方式九项,录入值与扫描件由运营管理员双人复核。框架合同支持「一份框架合同对多笔订单」,框架合同下的订单自动继承框架约定的价格与许可条款,剩余额度由系统扣减。
合同到期前 30 日提示续签。涉及许可期限的合同到期时,平台同步处理相关授权的回收:到期后 API 密钥失效、下载通道关闭、租户资源配额归零,已下载的数据按合同约定的后续处理条款执行。
计费规则由计费项、计量方式、单价、折扣策略四部分构成。计费项按交付方式分设:整包下载按数据集版本计次或计量,接口调用按调用次数或返回样本量,平台能力按租户按期计费,加工任务按任务量计费,线下服务按人日或按合同总价计费。计量方式与单价由数据集提供方在挂牌时设定,经可运营维度审批确认。折扣策略支持按用户类型、按采购量、按合作关系三类,折扣的授予须有审批记录。
订单金额的试算、开票与凭证管理也在本模块。发票信息按租户维护,开票申请由用户在订单完成后提交,平台生成开票任务流转至财务;发票号与订单、合同、清算明细四者关联,便于对账与审计。
数据及服务交付由数据集下载、数据集服务、数据集权限管理三个功能模块承担。
招标文件把交付分为线上与线下两种方式,并要求「针对不同属性的数据和服务自定义交付方式」。这一条是整章的设计前提。我方的处置是在数据集注册时就把「允许的交付方式」作为一项元数据管起来(见表 2.4-5 权属与合规组),该项由提供方声明、经安全合规与可运营两个维度审批确认,用户下单时只能在允许范围内选择。
判断依据主要有三条。数据敏感程度决定能否整包离开平台:含企业秘密或经脱敏仍有重识别风险的数据集,只允许接口调用与任务式使用,不开放整包下载。许可类型决定交付的后续约束:公益开放数据集可整包下载但限制用途,商业授权数据集按合同约定。数据体积与使用方式决定技术通道:预训练语料整包下载更经济,基准评测数据集则必须以评测服务方式交付,否则基准答案一旦外流,这份数据集作为基准就失效了。
| 数据集类型 | 典型内容 | 默认允许的交付方式 | 不宜采用的通道及原因 |
|---|---|---|---|
| 预训练子集 | 大规模行业语料、文档解析产出 | 整包下载、子集下载、离线介质交付 | 接口逐条调用成本高于其价值 |
| 指令微调子集 | 指令—输入—输出三元组 | 整包下载、接口调用 | 含工艺口径的子集按脱敏结论限定为接口调用 |
| 偏好对齐子集 | 偏好对比组 | 整包下载、接口调用 | — |
| 基准评测子集 | 题目与标准答案 | 评测服务(任务式) | 整包下载会使基准失去评测效力 |
| 图纸与工艺卡片类 | DWG 图纸、工艺卡片、标题栏信息 | 接口调用、任务式使用 | 整包下载涉及产品技术信息外流 |
| 时序与运行数据 | 设备过程参数、报警日志 | 接口调用、子集下载 | — |
| 数据服务 | 检索、问答、评测、加工任务 | 接口调用(含配额与密钥) | — |
| 线下专业服务 | 定制数据加工、现场支持、培训 | 线下交付(计划—签到—材料—纪要—验收—评价) | — |
表 2.4-10 数据集类型与默认交付方式。数据来源:招标文件第 7 项(去标识化与脱敏要求);数据集类型划分取本项目四个用途子集口径。默认方式可由提供方在审批通过后调整。
招标文件要求支持「数据集的下载、接口、任务式使用等多种方式」。三种通道的技术实现与责任边界不同,分述如下。
下载通道的交付物是一个受控数据包。包内除数据集内容外,固定包含四个文件:数据集卡片(datacard),说明来源、规模、模态、构建方式与已知缺陷;数据字典与结构定义(schema),使第三方平台在脱离本平台后仍能准确解析;许可声明,列明许可类型、允许用途、使用期限与禁止事项;交付清单,记录订单号、版本指纹、交付时间与下载凭证号。包整体计算指纹并与登记指纹比对一致后方可下发。
接口通道的交付物是一组 API 与一把密钥。接口按数据集或服务粒度发布,采用 HTTPS 与国密传输通道,调用方以密钥加签方式认证。接口返回的数据量受单次与周期双重配额限制,超限返回明确的限流提示而不是静默截断。
任务式通道的交付物是一份任务成果。用户提交任务参数与(如需)自有数据,平台在内部执行后返回成果,原始数据集不离开平台。评测服务与加工任务服务走这一通道。任务执行过程的资源占用计入租户配额,任务日志与成果保留期默认 90 日,期满前用户可自行取回。
2.4-6 三种线上交付通道与数据流向
图 2.4-6 三种线上交付通道与数据流向。数据来源:招标文件。
招标文件对 API 交付提出四项要求:密钥管理、配额控制、调用文档和监控功能。逐项说明如下。
密钥管理按租户与应用两级签发。一个租户可为不同应用签发多把密钥,便于区分调用来源与分别设限。密钥的生命周期包括签发、启用、轮换、停用、吊销五个动作,轮换支持新旧密钥并行的过渡期(默认 7 日)以免业务中断。密钥仅在签发时完整显示一次,平台侧存储散列值;签名与验签由商用密码服务平台提供能力支撑。密钥与订单绑定,订单到期或取消时密钥自动停用。
配额控制设四个维度:单次返回量上限、单位时间调用频次上限、周期总量上限、并发数上限。配额在订单授权时设定,运营侧可临时提额并留审批记录。配额消耗对用户可见,接口响应头返回剩余量,用量达到 80% 时推送提醒。超限时返回标准错误码与可重试时间,不静默降级。
调用文档随接口发布自动生成并与接口版本同步。文档内容包括接口说明、请求与响应结构、字段含义(取自数据字典)、错误码表、配额说明、示例请求与示例响应。文档提供在线调试功能,调试使用预置的样本数据而非真实数据集,避免调试行为消耗配额或触碰真实数据。接口变更时保留旧版本文档并标注停用计划,旧版本接口的最短保留期按 6 个月承诺。
监控分两层。技术层监控接口的可用性、时延、错误率、流量,数据进入 SLA 监测体系(见 1.7 节)。行为层监控调用模式的异常:调用频次显著偏离本租户历史基线、返回样本量接近数据集总量、短期内穷举式参数遍历、非常规时段的大量调用,四类情形触发告警并通知运营管理员与审计员。行为层监控的判据以每个租户的历史基线为准,而不是统一阈值——不同用户的正常用量差异很大,统一阈值会把正常用户误判为异常。首期上线阶段基线数据不足,先按保守的统一阈值运行,积累 3 个月数据后切换为按租户基线。
招标文件要求支持「平台能力交付相关的租户开通、角色配置、功能模块授权和资源配额管理」。这是把平台本身作为服务对外提供的情形,典型用户是产业链上的中小企业——它们有自己的数据要加工,但没有能力自建加工环境。
租户开通由订单触发,开通内容为一套完整配置:租户基本信息与管理员账号、可见的功能模块范围、可用的数据集与服务范围、资源配额、计费与账期、数据隔离策略。开通动作生成一份租户开通单,内容与订单授权一致,由运营管理员复核后生效。
角色配置在租户内由租户管理员自行维护。平台预置四种角色模板(租户管理员、数据管理员、使用人员、查看人员),租户管理员可在模板基础上调整权限项,但不能超出平台授予该租户的权限上限。这个上限由平台侧设定,租户侧不可见也不可改。
功能模块授权按模块粒度控制。例如一个只购买了数据检索与下载能力的租户,其界面中不出现加工任务与评测服务的入口。授权变更即时生效,收回授权时同步清理该租户下已签发的相关密钥与在途任务。
资源配额覆盖存储容量、计算资源(任务并发与累计算力)、接口调用量、下载流量、用户数五项。配额采用「一级租户设上限、二级租户在上限内分配」的两级模型(见 1.1.9 节)。配额使用情况在租户控制台可视,接近上限时提示扩容。超限行为按配额类型分别处置:存储与用户数超限阻断新增,计算与调用量超限阻断新请求但不中断在途任务,下载流量超限暂停新下载。
| 配额项 | 计量单位 | 超限处置 | 可否临时提额 |
|---|---|---|---|
| 存储容量 | TB | 阻断新增上传,保留已有数据 | 可,需审批 |
| 任务并发 | 并发任务数 | 新任务排队,不拒绝 | 可,需审批 |
| 累计算力 | 核时/卡时 | 阻断新任务提交,在途任务执行完毕 | 可,需审批 |
| 接口调用量 | 次/周期 | 返回限流错误码与可重试时间 | 可,自助提额至上限 |
| 下载流量 | GB/周期 | 暂停新下载,已开始的下载继续 | 可,需审批 |
| 用户数 | 账号数 | 阻断新建账号 | 可,需审批 |
表 2.4-11 租户资源配额项与超限处置。数据来源:招标文件。配额默认值按租户等级设定,各级默认值在实施阶段随服务分级方案一并确认并写入租户开通单;确认前按本表的配额项、计量单位与超限处置口径执行。
招标文件对线下交付列明六个环节:计划、签到、材料、纪要、验收和评价。这六个环节我方按一个服务工单贯穿,每个环节产出一份可核验的记录。
计划环节由运营管理员与用户共同确认服务计划,内容包括服务事项、交付节点、到场人数与角色、时间安排、用户侧需配合事项、验收标准。服务计划经用户确认后作为后续验收的依据。签到环节记录每次到场的时间、地点与参与人,签到由用户侧确认,形成服务量的原始凭证——这是线下服务计费与清算的基础,没有签到记录的服务量不计入结算。
材料环节归集服务过程中提交与产出的文件:需求说明、技术方案、交付物清单、操作手册、培训教材、测试记录等。材料统一挂在服务工单下,按节点归类,用户可随时调阅。纪要环节要求每次正式会议或现场作业后 2 个工作日内提交纪要,内容包括讨论事项、结论、待办与责任方、下次安排;纪要经用户确认后生效,用户在 3 个工作日内未反馈即视为确认。
验收环节按服务计划中的节点逐项验收,验收结论分通过、附条件通过、不通过三种。附条件通过须列明待整改项与完成时限,整改完成后补充确认。验收通过触发该节点的清算(见表 2.4-9)。评价环节在每个节点验收后由用户打分,评价维度为响应及时性、专业能力、交付质量、配合度四项,评价结果进入服务质量报告(见 1.7 节),并作为运营侧内部考核与服务改进的输入。
权限模型采用「角色—资源—操作」三元组,并在资源维度支持到子集级。资源可以是一个数据集版本、版本中的某个业务域分区、某个时间区间的样本,或一个数据服务接口。操作包括检索、预览、下载、调用、提交任务、查看元数据、查看质检报告七类。
权限的唯一来源是订单授权(见图 2.4-6 左栏)。平台不提供脱离订单的直接授权入口,内部调用与公益开放也须先生成零金额订单。这一约束使得「某用户为何拥有某项权限」这个问题总能在平台内回答到一笔订单、一份合同或一张内部使用登记单。
权限的有效期与订单一致,到期自动回收。回收动作包括:撤销角色绑定、停用相关密钥、关闭下载通道、终止在途任务、清理临时副本。回收完成后生成一份回收记录。对于已下载到用户侧的数据,平台在许可声明中约定到期后的处理义务,并在到期时推送提醒;平台能做到的是通道关闭与记录留存,用户侧副本的处置依赖合同约束与用户自律,这一点在许可条款中写明,不做超出技术边界的承诺。
交付侧除数据集本身之外,另有三类以服务形态交付的标的:定制加工服务(按需承做的数据加工与智能体开发,见 2.3.4 节)、平台能力服务(把平台本身开通给用户使用,见 1.4.4 节)、接口服务(数据集服务模块封装的检索、问答、评测、加工任务四类可调用接口,见 1.2.12 节)。三类的交付物形态不同,受理到争议处置的处理方式因此分别写定,如表 2.4-11A。
| 环节 | 定制加工服务 | 平台能力服务 | 接口服务 |
|---|---|---|---|
| 受理 | 用户提交定制需求单,要素齐备之时起 2 个工作日内反馈可行性判断;要素不全退回补充并列明缺项 | 用户提交租户开通申请并附主体资质与用途说明,1 个工作日内反馈受理结论 | 用户在服务目录直接订购,系统即时受理并生成待审批的密钥申请 |
| 审批 | 方案设计完成后经可运营与安全合规两个维度确认,确认通过方可签订合同 | 租户开通单由运营管理员复核;涉及跨主体数据访问的,加送安全合规确认 | 按订单授权自动审批;调用范围超出挂牌允许用途的转人工确认 |
| 资源配额 | 按合同约定的算力与存储额度在服务工单下单独开立,额度随节点推进分期释放 | 按表 2.4-11 的六项配额在租户开通时一次配置,按一级设上限、二级在上限内分配 | 按单次返回量、调用频次、周期总量、并发数四维度在订单授权时设定 |
| 计量 | 按节点验收记录计量,签到记录与交付物清单为原始凭证 | 按存储占用(按日取峰值)、算力用量(取任务回执的核时与卡时)、下载流量、账号数四项计量,数据取自平台侧 | 按成功调用次数计量;返回 5xx 与超时的调用不计量,调用方参数错误产生的 4xx 计入调用量统计但不计费 |
| 交付 | 按节点交付,终期交付包含完整交付物、数据集卡片、质检与验证报告 | 租户开通单生效即为交付完成,其后为服务期内的持续可用 | 密钥签发且首次调用成功即为交付完成 |
| 争议处置 | 标的多为交付物是否达到验收标准;以合同验收标准与方案设计阶段经用户确认的业务判据为核查依据;核查期间该节点清算暂挂 | 标的多为配额计量与可用性;以平台侧计量数据与 SLA 监测数据为核查依据,出具计量核查报告 | 标的多为计费次数与返回质量;以网关调用日志为核查依据逐笔比对,经核实的计费差错在下一账期冲抵 |
表 2.4-11A 三类服务从受理到争议处置的处理方式。数据来源:招标文件、「接口与任务式使用」、招标文件相应条款、「平台能力交付」、「线下交付六环节」、相应条款、「定制服务与质量责任」。
三类服务的争议处置共用一套四步流程与同一套时限:提出、受理与证据固定、核查、结论与处置。用户在平台提交争议单并指明标的与事由,平台在 2 个工作日内受理并固定相关日志、计量数据与交付记录的快照,在 10 个工作日内出具核查结论;事实复杂的可延长一次并书面告知延长事由与新的时限。争议期间,争议标的相关的清算暂挂,其余未争议标的的交付与清算照常进行。核查结论与处置依据随争议单永久保存,并计入交易清算审计。
三类服务在运行中会遇到五类典型场景,处置口径如表 2.4-11B。其中重复回调一项是平台对外接口与支付通道共用的幂等规则:所有异步回调按请求标识或流水号判重,重复到达的回调只产生一次状态变更,其余记为重复事件入审计。
| 场景 | 定制加工服务 | 平台能力服务 | 接口服务 |
|---|---|---|---|
| 正常完成 | 节点验收通过触发该节点清算,交付物与验收记录归档,订单转入下一节点或履约完成 | 服务期内配额按期计量,账期结束生成账单并清算,服务期满按约定续期或回收资源 | 调用成功计入计量,按周期汇总计费并清算 |
| 用户取消 | 已验收节点按验收记录结算,未启动节点不计费;已投入而未形成可验收交付物的,按合同中止条款处置 | 自取消生效日停止计量并按日折算当期费用,回收租户资源,保留数据导出窗口 30 日 | 停止签发新密钥并停用现有密钥,已发生调用按实际次数计费,未使用的周期总量按合同约定处置 |
| 执行失败 | 节点验收不通过转整改中,整改期间不触发该节点清算,整改完成后重新提交验收 | 任务级失败按原因分类:平台致因不计量并重跑,用户输入致因计量并返回错误明细 | 返回 5xx 或超时的调用不计费、不消耗配额,并计入接口成功率指标的分母 |
| 重复回调 | 支付回调与节点确认回调按流水号判重,重复到达只记一次核销,其余入审计 | 任务完成回调按任务号判重,重复到达不重复计量、不重复生成账单 | 异步结果回调按请求标识判重,重复到达不重复计费;调用方重试须携带同一请求标识 |
| 许可失效 | 所依赖数据集许可失效的,节点暂停并通知用户,重新取得授权后恢复;无法恢复的按合同中止条款处置并结算已验收节点 | 失效数据集的访问即时冻结,租户其余功能不受影响,冻结范围与事由在租户控制台明示 | 相关接口即时返回许可失效错误码与申诉入口,同一密钥的其余授权范围继续可用 |
表 2.4-11B 三类服务的五类典型场景处置。数据来源:招标文件「支付」、「订单取消」、「配额与监控」、招标文件相应条款、「平台能力交付」、相应条款、「清算联动」。
清算管理由交易费用管理模块的清算侧能力承担。
一份数据集的收益往往由多个贡献方分享。以本项目的产品工艺设计数据集为例:原始图纸与工艺卡片来自天地奔牛的设计与工艺部门,解析与标注由加工生产环节完成,质量结论由评测环节出具,对外运营由平台承担;产业链企业把自有数据汇聚进来形成联合数据集后(见 2.1 节),贡献方还会增加。
平台因此把收益分配实现为可配置、可追溯的清算而不是逐笔协商:清算对象取自确权模块登记的权属主体与贡献登记,分配份额取自确权记录或数据提供协议,分配基数、分配方式与触发条件取自订单成立时绑定的清算规则版本。三者在订单成立之时即已确定,清算执行时不再引入新的判断;规则在订单成立后发生调整的,只对新订单生效。
清算功能按五项组织:清算规则管理、订单清算管理、资金对账管理、分账管理和清算报表管理。五项之间的关系是规则定分配口径,订单清算按触发条件生成明细,对账核验资金流与明细一致,分账执行应付与付款,报表供运营决策与审计查验。
招标文件要求「支持灵活的清算规则定义,从而支持灵活多样的收益分配方案」。规则的灵活性靠规则要素的组合实现,而不靠为每种情形写一套代码。我方把清算规则拆为六个要素。
| 规则要素 | 可选值 | 说明 |
|---|---|---|
| 适用范围 | 全平台/按数据集大类/按单个数据集版本/按合同/按用户类型 | 范围越窄优先级越高,窄规则覆盖宽规则 |
| 清算对象 | 数据提供方/加工贡献方/评测方/平台运营方/共有方按份额 | 对象取自确权模块登记的权属主体与贡献登记 |
| 分配基数 | 订单金额/订单金额扣减通道费/订单金额扣减平台服务费 | 基数口径须在合同中明示 |
| 分配方式 | 固定比例/固定金额/阶梯比例(按累计金额分档)/按调用量折算 | 阶梯比例用于鼓励高价值数据集持续供给 |
| 清算周期 | 实时/按日/按周/按月/按合同节点 | 线上交付默认按月,先行交付按合同节点 |
| 触发条件 | 支付到账/履约确认/售后期满/节点验收通过 | 对应图 2.4-5 的五个清算触发点 |
表 2.4-12 清算规则的六个要素。数据来源:招标文件。规则由运营管理员配置,经运营组织的决策层审定后生效(见 2.5 节)。
规则配置支持版本化与生效日期管理。规则变更不回溯:订单成立时即绑定当时生效的规则版本,后续规则调整只影响新订单。规则变更前平台提供试算功能,运营方可用历史订单样本测算规则调整后的分配结果,再决定是否发布。这一步在实际运营中很有用——分配比例的调整往往牵涉多个供给方,先算清楚再谈,比谈完再算省事。
清算与订单的联动按招标文件要求「与订单支付、履约确认和售后状态联动,按照设定的清算规则生成清算明细」。联动关系已在图 2.4-5 下半部分列出五个触发点,这里补充三条处置规则。
第一,清算明细一经生成即不可修改,更正只能通过生成冲销明细加新明细的方式实现。这是审计可追溯的基本要求,也避免「改数」留不下痕迹。
第二,退款、异议、召回三类事件都会产生反向清算。退款生成冲销明细,金额为原明细的负数;异议处理期间相关明细转「暂挂」状态不进入支付;召回按合同约定的处理比例生成部分冲销。暂挂状态的明细在争议结论出具后按结论解挂或冲销。
第三,售后状态影响尾款与质保金。线下服务与定制服务的清算中若约定质保金,质保金部分在清算明细中单列并标注释放条件与计划释放日期,到期由系统提示释放,释放仍需运营管理员确认(见售后服务分节关于质保期的承诺口径)。
招标文件要求支持资金对账功能。对账的本质是三组数据的比对:平台订单与支付记录、支付通道与银行流水、清算明细与实际付款。我方按三重对账设计。
第一重是收款对账。平台每日自动拉取支付通道对账文件与银行流水,与平台支付记录逐笔比对,输出四类差异:平台有记录通道无记录、通道有记录平台无记录、金额不一致、状态不一致。差异逐笔挂起并生成待办,由运营管理员与财务核实后处理,核实结论与处理方式入审计。
第二重是清算对账。清算明细汇总金额与各清算对象的应付金额比对,与实际付款记录比对,确认应付等于已付加未付。差异同样挂起待查。
第三重是台账对账。按月核对数据集资产台账中记录的使用情况与订单、交付、清算三方的记录是否一致。这一重的目的是发现「有交付无订单」「有订单无清算」一类的链条断裂。
对账结果按日、按月生成对账报告。日报告列差异明细与处理状态,月报告列对账完成率、差异笔数与金额、平均处理时长。我方承诺对账差异的处理时效:日常差异在 2 个工作日内定性,涉及通道或银行的差异在 5 个工作日内闭环;对账完成率的首期基线按 98% 设定,运行三个月后逐步接近 99.5%,未达成时由运营管理员逐笔说明原因并列入月度服务质量报告。
2.4-7 清算与对账的资金流与数据流
图 2.4-7 清算与对账的资金流与数据流。数据来源:招标文件。
分账管理把清算明细落到各清算对象的应付账与实际付款。平台维护各清算对象的账户信息与结算周期,按清算周期汇总应付金额,生成付款申请单,经审批后提交财务执行,执行结果回写平台形成付款记录。
共有数据集的分账按确权模块登记的份额执行。份额变更须经权属主体共同确认并留痕,变更同样不回溯已生成的明细。若出现权属争议,相关明细转暂挂,争议解决后按结论处理。
分账对平台的现金流有影响,因此平台提供应付账龄分析与资金计划视图,便于运营方安排结算节奏。平台本身的运营收入在分账中作为一个清算对象处理,与其他对象同口径核算,这样「以服务养服务」的循环在账上能直接看出来。
招标文件要求「支持多维度的清算报表生成功能」。报表的维度与清单如下。
| 报表 | 维度 | 内容要点 | 周期 |
|---|---|---|---|
| 交易流水表 | 时间×订单 | 订单号、用户、数据集版本、金额、支付与交付状态 | 日 |
| 清算明细表 | 时间×清算对象 | 明细号、订单号、规则版本、基数、比例、金额、状态 | 日/月 |
| 分账汇总表 | 清算对象×周期 | 应付、已付、未付、账龄 | 月 |
| 数据集收益表 | 数据集版本×周期 | 订单数、交付量、收入、分成支出、净收益 | 月/季 |
| 用户消费表 | 用户×周期 | 订单数、金额、调用量、下载量、配额使用率 | 月 |
| 服务类型收入表 | 交易类型×周期 | 公益开放服务量、标准包收入、接口服务收入、定制服务收入 | 月/季 |
| 对账差异表 | 时间×差异类型 | 差异笔数、金额、处理状态、平均处理时长 | 日/月 |
| 营收目标达成表 | 期间 | 目标值、实际值、达成率、偏差归因 | 月/季/年 |
表 2.4-13 清算报表清单。数据来源:招标文件;营收目标达成表对应招标文件相应条款关于营收目标分解的要求。报表支持按角色授权查看,数据提供方只能看到与本方相关的数据。
报表支持在线查看、导出与定时推送。导出格式包括表格文件与版式文件,导出动作入审计并记录导出范围。数据集收益表与服务类型收入表是运营决策的主要依据:前者回答「哪些数据集真正被需要」,后者回答「公益与增值的比例是否失衡」,两者都按季度进入运营组织决策层的审议议题(见 2.5 节)。
审计管理由全流程审计管理模块承担。
招标文件要求审计管理「包括且不限于审计日志管理、数据访问审计、API 调用审计、交易清算审计和审计报表导出」,并要求能支撑「平台运营、安全合规、客户对账、监管检查和争议处理」五类用途。这五类用途对审计数据的要求不同:运营要聚合,合规要完整,对账要可比,监管检查要可导出,争议处理要可还原到单次动作。我方因此确立三条原则。
第一条,审计写入与业务动作同事务提交。业务成功而审计缺失的情形在设计上不成立,审计写入失败则业务动作回滚。这一条是「记录所有用户对数据集的访问行为」能够成立的技术前提。实际覆盖率受异常场景影响,我方承诺首期上线即对平台内所有业务入口实施审计埋点,并按月做埋点覆盖巡检,覆盖率目标逐步接近完整;巡检发现遗漏的入口在下一个迭代窗口补齐,巡检结论列入月度服务质量报告。
第二条,审计记录只增不改不删。审计表不提供更新与删除接口,留存期内的记录不可变更。留存期内的审计数据定期生成摘要并写入存证账本,用于验证记录未被篡改。
第三条,审计员的操作同样入审计。审计员查询了哪些记录、导出了什么范围,本身是一条审计记录。没有这一条,审计就留了一个不受监督的口子。
审计事件按业务域分六类,每类的关键字段如下。所有事件共有的基础字段为:事件号、事件类型、发生时间(统一时间基准)、操作主体(用户、租户、角色)、来源地址与客户端标识、操作结果(成功/失败/拒绝)、关联订单号、关联数据集版本号、请求标识。
| 事件类别 | 覆盖动作 | 类别专有字段 |
|---|---|---|
| 身份与权限 | 登录、登出、认证失败、密钥签发与轮换、角色授予与回收、配额变更 | 认证方式、授权依据单据号、变更前后权限快照 |
| 数据访问 | 检索、预览、查看元数据、查看质检报告、下载、离线导入导出 | 检索条件摘要、预览样本标识、下载凭证号、下载包指纹、数据量 |
| API 调用 | 接口调用、限流拒绝、鉴权失败、任务提交与执行 | 接口标识与版本、参数摘要、返回条数、耗时、配额消耗、任务号 |
| 数据集生命周期 | 注册、校验、审批、确权、发布、变更、挂牌、下架、版本创建、动态更新 | 状态迁移前后值、审批意见标识、规则或凭证依据 |
| 交易与清算 | 订单成立与取消、支付与核销、合同签署与归档、履约确认、清算生成与冲销、分账付款、对账差异处理 | 金额、规则版本、明细号、凭证号、差异类型与处理结论 |
| 平台运维 | 配置变更、模块授权变更、SLA 阈值调整、审计查询与导出、数据销毁 | 变更项、变更前后值、审批单号、导出范围 |
表 2.4-14 审计事件类型与记录字段。数据来源:招标文件。字段清单的完整版本作为治理文档《审计日志规范》交付,见数据治理分节。
招标文件点名的四类审计在平台中表现为四个专项视图,它们查的是同一份审计数据,但组织方式与检索入口不同。
数据访问审计视图以数据集版本为主线,回答「这份数据被谁在什么时候以什么方式访问过」。视图提供时间轴与聚合两种呈现:时间轴列每一次访问事件,聚合按用户、租户、访问方式、数据量统计。对敏感数据集提供访问热度与异常访问提示。这个视图在争议处理时最常用——数据疑似外流时,第一步就是看访问记录。
API 调用审计视图以接口与租户为主线,回答「这个租户调了多少、调了什么、有没有异常」。除逐条记录外提供调用量趋势、错误率分布、配额使用率、异常模式命中情况。与 1.4.3 节的行为层监控共用同一套判据,监控告警与审计记录互相可跳转。
交易清算审计视图以订单号为主线,把订单、合同、支付、交付、履约确认、清算明细、分账付款串成一条链。任一环节缺失或金额不一致,视图上以标记呈现。客户对账与监管检查主要用这个视图。
数据集生命周期审计视图以数据集版本为主线,把注册、校验、审批、确权、发布、变更、下架串成一条链,用于回答「这份数据当时为什么允许对外」这类事后追问。
审计报表分三组。运营类报表按周、月汇总平台活跃度、数据集访问排行、交付量、异常事件数;合规类报表按月汇总敏感数据访问情况、权限变更情况、一票否决项审批情况、埋点覆盖巡检结论;检查类报表按需生成,用于对外提供,内容与范围按请求方要求裁剪。
导出能力有三条约束:导出须指定范围与用途并留记录;导出文件带水印与导出凭证号;超出一定规模的导出须经审批。导出格式支持结构化数据文件与版式文件两类,结构化文件用于对账与再分析,版式文件用于盖章提供。
招标文件要求审计「满足可扩展性和时效性要求」。两项要求的技术口径如下。
可扩展性方面,审计数据采用「写入—索引—归档」三段式存储。写入段承接实时写入,按日分区;索引段支撑按订单号、数据集版本号、用户、时间四个主检索键的查询;归档段存放超过热数据期的记录,压缩存放但保持可检索。扩容通过增加分区与存储节点实现,不需要改表结构。审计事件类型的新增通过配置扩展字段实现,不需要改既有记录。审计数据量按本项目规模预估:首期年均审计事件量在千万级,三段式存储可在不改架构的前提下支撑十倍增长。
时效性方面分三档承诺。实时写入的时延目标为业务动作完成后 1 秒内可查(同事务提交,实际由数据库提交时延决定)。热数据期内(默认 90 日)的按主键查询响应目标在 3 秒内,组合条件查询在 10 秒内。归档数据的检索为异步任务,提交后目标在 30 分钟内返回结果。留存期按合规与审计要求设定:交易与清算类审计不少于 10 年,数据访问与 API 调用类不少于 3 年,身份权限与运维类不少于 3 年,上列年限为平台承诺的留存下限,最终留存期在实施阶段按甲方合规要求与等级保护测评结论确定,确定值不低于该下限。
上述响应时间目标为运营侧承诺值,与平台整体性能指标的关系见非功能分节。
平台服务与 SLA 保障由我方在采购清单之外增列的同名功能模块承担。
招标文件要求「建立分级服务体系,针对不同级别的客户和产品提供差异化的服务保障」。分级的目的不是把用户分成三六九等,而是让资源投入与承诺水平匹配:对关键用户与关键数据集给出更高的承诺并配套更密的监测,对一般用户给出可持续的承诺水平。
服务分三级。基础级面向公益开放用户与标准包购买用户,服务通过平台自助渠道提供,承诺水平按平台整体可用性。标准级面向签订年度合同的行业用户与企业内部业务部门,提供专属服务通道与工单响应承诺。专属级面向定制服务用户与链主企业内部关键场景,提供指定服务窗口、服务经理对接、季度服务评审。
产品侧同步分级,依据是数据集或服务在业务中的关键程度。关键级数据集指支撑企业生产经营关键环节的数据集与服务,例如支撑板材备料工艺设计的工艺数据集与接口;重要级指支撑日常业务的数据集;一般级指参考性与历史性数据集。平台按「客户级别与产品级别取高」确定一笔订单的服务保障级别。
| 服务级别 | 适用对象 | 服务渠道 | 工单首次响应 | 工单解决目标 | 服务评审 |
|---|---|---|---|---|---|
| 基础级 | 公益开放用户、标准包购买用户 | 自助门户+在线工单 | 工作时间内 8 小时 | 严重问题 3 个工作日;一般问题 5 个工作日 | 年度服务报告 |
| 标准级 | 年度合同用户、企业内部业务部门 | 专属工单通道+服务热线(工作时间) | 工作时间内 2 小时 | 严重问题 1 个工作日;一般问题 3 个工作日 | 季度服务报告 |
| 专属级 | 定制服务用户、关键场景 | 指定服务窗口+7×24 应急通道 | 30 分钟(7×24) | 严重问题 8 小时;一般问题 2 个工作日 | 季度服务评审会 |
表 2.4-15 三级服务体系与响应承诺。数据来源:招标文件。工单级别定义见表 2.4-16;承诺值为运营侧目标值,签约时按合同约定最终确认。
| 工单级别 | 判定标准 | 典型情形 |
|---|---|---|
| 严重 | 平台核心功能不可用,或影响多个租户,或涉及数据安全事件 | 门户不可访问、交付通道中断、鉴权失效、疑似数据泄露 |
| 较重 | 单个租户的主要功能不可用,或影响在途交付与清算 | 某租户接口全部失败、订单无法生成、清算明细异常 |
| 一般 | 功能可用但存在缺陷或体验问题,有替代操作 | 检索结果排序异常、报表导出格式问题 |
| 咨询 | 使用方法、口径解释、材料索取 | 接口文档咨询、许可条款咨询 |
表 2.4-16 工单级别判定标准。数据来源:招标文件关于快速响应与及时处理的要求。
招标文件要求「定义 SLA 核心指标」。指标要可度量,就必须写清三件事:怎么算、在哪儿采、不达成怎么办。我方按这三件事定义七项核心指标。
| 指标 | 计算口径 | 采集点 | 承诺值(标准级) | 未达成处置 |
|---|---|---|---|---|
| 平台可用性 | (统计周期总时长-不可用时长)÷ 总时长;不可用以外部探测连续 3 次失败起算,计划内维护窗口不计入 | 外部拨测+网关健康检查 | 月度不低于 99.5% | 按合同约定服务费减免;出具专项分析报告 |
| 接口成功率 | 非 5xx 且非超时响应数 ÷ 总调用数;因调用方参数错误产生的 4xx 不计入 | API 网关调用日志 | 月度不低于 99.0% | 定位并整改;连续两月未达成升级至决策层 |
| 接口响应时延 | 统计周期内 P95 响应时延(服务端耗时,不含网络传输) | API 网关调用日志 | 检索类 P95 不超过 2 秒;问答类 P95 不超过 8 秒 | 优化或扩容;必要时调整配额 |
| 交付及时率 | 按时完成交付的订单数 ÷ 应交付订单数;线上交付以授权生成完成为准,线下按节点计划日期为准 | 订单与交付记录 | 月度不低于 98% | 逐笔归因;对用户致因的予以剔除并说明 |
| 工单响应及时率 | 在承诺时限内首次响应的工单数 ÷ 工单总数 | 工单系统 | 月度不低于 95% | 调整值班安排;纳入内部考核 |
| 工单解决及时率 | 在承诺时限内解决的工单数 ÷ 工单总数 | 工单系统 | 月度不低于 90% | 对超期工单逐单说明 |
| 数据更新及时率 | 按承诺频次完成更新的数据集数 ÷ 承诺更新的数据集数 | 动态更新模块 | 季度不低于 90% | 与提供方核实并调整承诺频次 |
表 2.4-17 SLA 核心指标定义与承诺值。数据来源:招标文件。表中承诺值对应标准级服务;基础级与专属级按表 2.4-15 的差异化原则分别下调与上调,三级承诺值在签约时按合同约定确认;无论何级,均载明统计周期、剔除口径与未达成处置三项,口径与本表一致。可用性与响应时延的平台底层能力指标见非功能分节,本表为运营侧对外承诺口径。
指标定义中有三处刻意的保留,在此说明理由,以免将来履约时产生歧义。可用性剔除计划内维护窗口,维护窗口须提前 5 个工作日公告并约定在业务低峰时段。接口响应时延只统计服务端耗时,因为网络传输质量不在平台控制范围内。交付及时率剔除用户致因的延误,例如用户未按时提供资质材料导致资质核验无法完成——这类情形逐笔归因并在服务报告中列出,不计入违约。
SLA 指标按可履约的形式约定:每一项可用性承诺均载明统计周期、剔除口径与未达成时的处置方式,使其在服务期内可逐月核算、可追溯、可考核。
招标文件要求「支持自动化的服务监控体系,实时监测平台的各项指标,做到快速响应、及时处理」。监控体系按采集、判定、处置、复盘四段设计。
采集覆盖四层。基础设施层采集服务器、存储、网络、密码机的运行状态;平台组件层采集数据库、中间件、容器与网关的健康状态与关键队列深度;业务链路层按关键链路做端到端拨测,拨测用例覆盖登录、检索、预览、下单、支付回调、授权生成、下载、接口调用八条;业务指标层按表 2.4-17 的口径实时计算 SLA 指标并与阈值比对。
判定采用双阈值。警示阈值用于提前介入,例如可用性月度累计消耗已达承诺容差的 50% 时发出警示;告警阈值用于立即处置。对波动型指标采用连续多个采样周期越界才告警,避免单点抖动造成告警风暴。告警按工单级别自动分级并派单。
处置按级别走不同通道。严重级告警同时推送值班人员、运营管理员与服务经理,并自动创建事件工单;较重与一般级进入工单队列按承诺时限处理。处置过程中的每一步动作与时间入工单记录,用于后续计算响应与解决及时率。应急处置的预案清单与演练安排见售后服务分节。
复盘针对严重级事件与连续两次未达成的指标。复盘输出三项内容:事件时间线、根因、改进措施与完成时限。改进措施作为待办跟踪至关闭,关闭情况在下一次服务报告中体现。
2.4-8 SLA 监测看板界面示意
图 2.4-8 SLA 监测看板界面示意。数据来源:招标文件;看板中数值为示意值,用于说明指标口径与呈现方式,不代表承诺值。
招标文件要求「自动生成服务质量报告,为服务考核和改进提供依据」。报告分两类。
对内报告面向运营组织,按月生成,内容为七项:SLA 指标达成情况与趋势、未达成项的逐项归因与改进措施、工单与事件统计、分级服务的履约情况、审计埋点覆盖巡检结论、对账完成率与差异处理情况、下期改进计划。对内报告进入运营组织执行层的月度例会议题,未达成项的改进措施在报告中列明责任与时限。
对外报告面向用户,按服务级别的约定周期生成,内容按该用户可见范围裁剪:本用户相关的可用性与接口指标、本用户订单的交付及时情况、本用户工单的响应与解决情况、本用户的配额使用情况、下期服务安排。专属级用户的季度服务评审会以此报告为基础材料。
报告生成是自动的,但结论不自动——未达成项的归因需要人写,改进措施需要人定。平台负责把数据算准、把报告出齐、把待办跟到关闭,这是「为服务考核和改进提供依据」的落脚处。
对外接口承载数据集走出企业之后的对接能力,由对外接口模块承担:依照国家数据基础设施的接入规范预留统一目录标识登记、统一身份注册和标准接口互联互通三类对接接口,并视国家数据基础设施开放进度支持数据集标识的注册与解析对接。
对外接口按两段推进。第一段是不依赖外部开放进度的本地准备:按接入规范实现统一目录标识登记、统一身份注册与标准接口互联互通三类对接接口,在本项目建设期内完成,并以接口桩联调方式验收。第二段是随规范开放推进的对接实施:依照开放进度完成数据集标识的注册与解析对接,技术方案与组织实施见 2.7 节。
招标文件在招标文件相应条款中以「视国家数据基础设施开放进度」限定了第二段的推进条件,两段的验收口径因此分开设定。第一段的交付物是接口实现、字段映射配置与四步联调记录,验收判据是按规范定义实现并通过接口桩联调,不以真实对端接入成功为判据。第二段按接入规范与测试环境具备的时点启动,里程碑与验收口径在实施计划中单列。分段的结果是本项目的验收不受外部开放进度制约,而规范开放后平台无需改造即可对接——所需工作限于映射配置的调整。
按「统一目录标识、统一身份登记、统一接口要求」三项要求,平台的本地准备如下。
统一目录标识登记方面,平台的数据集目录编码采用五段结构并预留标识映射位(见 1.2.7 节)。目录项的元数据按「可对外发布的目录信息」与「仅内部可见的目录信息」两级标注,对外发布级的字段集合按当前已公开的行业目录规范对齐,包括数据集名称、提供方、业务域、模态、规模区间、许可类型、更新频次、联系渠道。平台提供目录信息的批量导出与增量同步接口,接口数据格式采用标准结构化格式并提供映射配置,规范调整时通过映射配置适配而不改数据模型。
统一身份注册方面,平台的身份体系按「主体标识+凭证」分离设计。主体标识记录法人主体的统一社会信用代码、主体名称、主体类型,与平台内部的租户标识一一映射;凭证部分支持多种认证方式并存,为将来对接外部统一身份提供新增一种认证方式的扩展点。平台不把内部租户标识当作对外身份使用,这是为了外部身份体系接入时不需要重建租户数据。
标准接口互联互通方面,平台的对外接口按三组预留:目录与元数据同步接口、数据集标识注册与解析接口、交易与交付协同接口。接口采用标准协议,传输通道采用国密算法,调用方身份与权限经网关校验。接口的版本管理与文档管理与 1.4.3 节同口径。
| 预留接口组 | 接口能力 | 当前状态 | 对接条件 |
|---|---|---|---|
| 目录与元数据同步 | 目录项全量导出、增量同步、下架通知 | 本项目内建成并自测 | 外部目录规范的字段定义与同步协议 |
| 标识注册与解析 | 数据集标识申请、注册、解析查询、注销 | 预留接口与映射配置,接口桩可联调 | 标识服务的接入规范与测试环境 |
| 交易与交付协同 | 挂牌信息发布、订单协同、交付凭证互认 | 预留接口与数据结构定义 | 流通环境的交易协同规范 |
| 身份互认 | 主体标识映射、外部身份认证接入 | 身份体系分离设计完成,扩展点预留 | 统一身份服务的接入规范与证书 |
表 2.4-18 对外接口预留情况与对接条件。数据来源:招标文件。接口桩指按规范定义的接口实现,可用于联调验证而尚未接入真实对端。
对接实施须逐项定清四件事:两侧的职责边界、联调的通过判据、对接失败的补偿路径、建设期结束时的交接内容。
对接的职责边界按对接事项逐项划定,如表 2.4-18A。划定的判据是「数据与凭证在哪一侧生成、由哪一侧负责其正确性」,不按系统归属划分。边界之所以要写到这个粒度,是因为对外流通环节的争议往往出在两侧都以为对方会做的那一格。
| 对接事项 | 平台侧职责 | 对端职责 | 边界判据 |
|---|---|---|---|
| 目录与元数据同步 | 生成对外发布级目录项、维护字段映射配置、按批次推送全量与增量、接收并处理回执 | 接收批次、校验字段集合、返回逐条处理结果与错误码 | 字段含义与取值的正确性在平台侧;字段集合与协议规范的解释在对端 |
| 数据集标识注册与解析 | 提交标识申请并附权属与许可摘要、维护本地解析缓存、处理注销 | 受理申请、分配或拒绝标识、提供解析服务与变更通知 | 申请材料的真实性在平台侧;标识的唯一性与解析可用性在对端 |
| 交易与交付协同 | 发布挂牌信息、接收协同订单、签发交付凭证、回传交付结果 | 转发用户侧订单、校验并传递交付凭证、回传用户侧确认 | 数据集可交付状态与凭证签发在平台侧;用户身份与订单成立在对端 |
| 身份互认 | 维护主体标识映射表、按外部身份断言完成本地租户映射 | 提供统一身份认证与主体标识、签发并撤销身份断言 | 本地权限与配额在平台侧;身份真实性与断言有效性在对端 |
| 存证与审计 | 写入本侧登记、确权、挂牌、交付、清算五类事实摘要,提供比对接口 | 写入对端交易与流转事实摘要,提供比对接口 | 各自对本侧写入内容的完整性负责,比对结论由双方共同确认 |
表 2.4-18A 对外对接的职责边界。数据来源:招标文件、「对外接口三项预留」、招标文件相应条款—「接入实施、可信流通与资产化运营」。
联调按 2.7.1 节的四步执行,每一步的验证内容与通过判据如下,四步全部通过方可启用,任一步未通过即停在该步并出具不通过说明。第一步接口连通,验证网络可达、证书与国密通道握手成功、鉴权凭证可用,通过判据是连续 10 次探测全部成功且无降级为非国密通道的情形。第二步数据格式校验,以不少于 200 条真实结构的样本数据逐字段比对,通过判据是必填字段无缺失、枚举值全部落在对端字典内、字段长度与编码无截断。第三步业务流程贯通,以目录发布、标识注册、订单协同、交付凭证互认四条主流程各跑通一次完整往返,通过判据是每条流程的回执状态与平台内状态一致。第四步异常场景验证,覆盖对端超时、对端业务拒绝、回调丢失、重复回调、数据不一致五类,通过判据是每一类都触发了预期的补偿动作且未产生重复状态变更。四步各出具一份联调记录,记录中载明用例清单、执行时间、结果与遗留项,遗留项逐条写明关闭计划。
对接失败的补偿机制按失败类型分别设定,如表 2.4-18B。补偿的共同原则是:先自动重试、再入补偿队列、最后转人工,三级之间有明确的升级条件而不是无限重试;平台内的业务状态不因对接失败而回退,对外状态与平台内状态的差异由补偿队列负责收敛。
| 失败类型 | 判定方式 | 补偿机制 | 升级条件 |
|---|---|---|---|
| 对端不可达 | 连续 3 次请求超时或连接拒绝 | 按指数退避自动重试,重试上限 5 次;仍失败的转入补偿队列,按 15 分钟间隔续试 24 小时 | 补偿队列续试 24 小时未成功,告警至运营管理员并转人工 |
| 对端返回业务拒绝 | 对端返回明确的业务错误码 | 不重试,按错误码归类:材料缺项的补齐后重报,规则不符的转人工判定 | 同一标的连续两次被拒,升级至接口管理与安全合规共同判定 |
| 同步数据被判定不一致 | 对端回执指出字段级差异 | 以平台内记录为准重推该批次;差异项同时进入元数据巡检清单 | 同一字段连续两个批次不一致,暂停该字段的同步并发起映射配置变更 |
| 标识注册冲突 | 对端返回标识已被占用或权属冲突 | 保留申请记录,按对端给出的冲突事由补充权属材料后重报 | 冲突涉及权属争议的,触发确权模块的争议标记流程 |
| 回调丢失 | 平台已发起请求但在约定时限内未收到回调 | 主动发起状态查询补回;查询仍无结果的按未完成处理并重发请求,重发携带同一请求标识 | 24 小时内未补回,告警并以对账方式人工核对 |
| 对端规范变更致格式不兼容 | 数据格式校验批量失败 | 暂停该接口组的自动同步,启用测试节点验证新规范,调整映射配置后恢复 | 规范变更涉及数据模型调整的,升级至决策层确认实施窗口 |
表 2.4-18B 对接失败的类型、补偿与升级。数据来源:招标文件「视开放进度对接」、「优先采用成熟技术与产品」、「可信、高效流通」;接入连接器的通道管控与存证能力见硬件分节。
对外对接的全过程计入审计。每一次同步、注册、解析与协同调用生成一条 API 调用审计记录,记录字段除 1.6 节表 2.4-14 的通用字段外,另加对端标识、批次号或请求标识、请求摘要、响应码、重试次数与补偿结果六项。对外发布与对外撤下两类事件另立专项审计视图,可按数据集版本回溯其对外可见状态的全部变更,这是对外流通发生争议时的首要证据来源。补偿队列的每一次入队、续试与出队同样留痕,出队记录中写明是补偿成功还是转人工,转人工的关联到处置工单。
建设期结束向运营方交接时,对外接口部分按一份交接清单移交并以交接单落地:映射配置的当前版本与历次变更说明、四步联调记录与遗留项关闭情况、接口文档与错误码表、补偿队列的当前状态与处置手册、对端的联系与变更通知渠道登记、未完成的标识申请清单及其各自所处环节。交接以运营方逐项接收检查并签回为完成标志,接收检查不通过的逐项退回补充。交接完成后 3 个月为技术支持期,期内由实施侧保留一条响应通道处理对接类问题,响应与处置时限按专属级服务承诺执行(见表 2.4-15)。
运营平台的建设与交付按实施阶段划分、培训、验收与风险回退四项安排。与系统集成分节的工作在第三阶段合并执行,与售后服务分节的承诺在第五阶段上线后衔接。
运营平台的建设按五个阶段推进,与数据集加工生产的进度相衔接——平台要在第一批数据集完成质检与验证之前具备登记与上架能力,否则数据集产出后无处可放。
第一阶段为调研与设计,主要工作为业务流程细化调研、与甲方现有系统的账号与身份对接方案确认、元数据标准与目录编码确认、权限模型与角色设置确认、清算规则与价格体系的初稿、SLA 指标与承诺值的确认。本阶段的产出为需求规格说明书、接口设计说明书、数据库设计说明书与部署方案,经甲方确认后进入开发。
第二阶段为平台搭建与功能实现,按模块分批交付,交付顺序按依赖关系排定:先建身份权限、目录元数据、登记注册、确权、版本管理(上架链路),再建订单、合同、费用、交付、权限签发(交易链路),再建清算、审计、SLA 保障(保障链路),最后建对外接口(对接链路)。每批交付后进行内部测试与甲方确认测试。
第三阶段为集成与联调,内容为与商用密码服务平台的对接、与接入连接器的对接与联调、与加工生产平台的移交登记接口联调、与甲方身份认证系统的对接。本阶段与系统集成分节的工作合并安排,联调按 2.7.1 节的四步执行。
第四阶段为试运行,内容为首批数据集的登记与上架、内部用户的试用、小范围外部用户的试用、SLA 指标的基线采集、运营制度与作业手册的试行。试运行期不少于 1 个月,期间发现的问题按缺陷分级处理,严重与较重缺陷在试运行期内闭环。
第五阶段为正式上线与运营移交,内容为已验收数据集的批量上架、运营组织的运行、培训交付、文档交付与验收。
2.4-9 运营平台建设五阶段与第二阶段四条链路的交付顺序
图 2.4-9 运营平台建设五阶段与第二阶段四条链路的交付顺序。数据来源:阶段划分与各阶段工作内容依本节 1.9.1 节;四条链路的依赖顺序依第二阶段模块交付顺序;联调四步依 2.7.1 节;验收四方面依表 2.4-19 与招标文件。
培训按对象分三类,具体课时与教材清单见售后服务分节,本节只说明与平台功能对应的培训内容。
面向运营人员的培训覆盖四个组的作业内容:上架受理与审批组织、订单与交付处理、清算配置与对账、运行监测与 SLA 管理。培训方式为课堂讲解加平台实操,实操在培训环境进行,培训环境的数据为脱敏样本。培训结束后进行操作考核,考核不通过的补训。
面向审批专家与审计员的培训覆盖审批界面操作、评审项与判据的理解、审计视图的使用与报表导出。这一类培训的重点不在操作而在判据——四维度审批的判据理解不一致,审批结论就不可比。
面向用户的培训覆盖检索与预览、下单与交付、接口接入与调试、配额与账单查看。用户培训以线上课程与操作手册为主,专属级用户提供现场培训。
运营平台的验收按功能、性能、安全、文档四个方面组织,每一方面有明确的验收方法与通过判据。
| 验收方面 | 验收内容 | 验收方法 | 通过判据 |
|---|---|---|---|
| 功能 | 17 个功能模块的功能项 | 按功能清单逐项测试,每项有测试用例与预期结果 | 全部功能项测试通过;缺陷按分级处理,严重与较重缺陷清零,一般缺陷有整改计划 |
| 功能 | 关键流程端到端贯通 | 按八条关键链路(见 1.7.3 节)做端到端测试,覆盖正常与异常场景 | 八条链路正常场景通过;异常场景按预期提示与回退 |
| 功能 | 对外接口预留 | 按表 2.4-18 对四组接口做接口桩联调 | 接口按规范定义实现并联调通过;真实对端接入按规范开放进度另行验收 |
| 性能 | 响应时延、并发、吞吐 | 按性能测试方案做压力与稳定性测试 | 达到非功能分节约定的指标值 |
| 安全 | 等级保护与密码应用 | 第三方测评 | 测评结论符合要求;整改项在整改期内闭环 |
| 安全 | 权限与审计 | 按角色做越权测试;按审计事件清单做埋点覆盖核查 | 越权测试无通过项;审计埋点覆盖业务入口,巡检结论无遗漏 |
| 文档 | 系统文档 | 文档清单核对与内容抽查 | 需求、设计、接口、部署、测试、操作、运维文档齐备且与实现一致 |
| 文档 | 运营制度文档 | 文档清单核对 | 作业手册、服务协作规范、审计日志规范、数据提供协议模板等交付齐备 |
表 2.4-19 运营平台验收口径。数据来源:招标文件;性能指标以非功能分节约定值为准,测评要求以安全分节安排为准。
有两处验收口径需要事先说明清楚,避免验收时产生分歧。
对外接口的验收以「按规范实现并通过接口桩联调」为准,不以「与真实对端接入成功」为准。原因是招标文件已明确「视国家数据基础设施开放进度」,真实对端的开放时点不在项目可控范围内。我方承诺的是接口能力在项目期内建成并可验证,真实对接在规范与测试环境具备后按双方约定的时间窗完成,所需的适配工作量在原方案的映射配置范围内。
SLA 指标的验收以「指标可被平台自动采集与计算、口径与表 2.4-17 一致」为准,承诺值的达成考核从正式上线后进入第一个完整统计周期起算。试运行期采集的指标作为基线参考,不作为考核依据——试运行期的数据量与使用模式与正式运营差异较大,用它考核没有意义。
本节列出三项与运营平台直接相关的风险及其回退安排。项目整体风险管理见项目管理分节。
对外接入规范未按预期开放。影响是 2.7.1 节的实施段无法完成。回退安排为:本地准备段按期完成并验收,对外接入段转为长期跟进,平台保持接口桩与映射配置可用;若规范在项目期内开放,按约定时间窗完成对接;若未开放,不影响平台其余功能的验收与运营。
汇聚方数据供给不达预期。影响是数据集的持续丰富与更新受限。回退安排为:优先保障链主企业内部数据的汇聚(这部分在企业内部管理制度约束下可控),外部汇聚按实际到位情况调整数据集的更新频次承诺并在挂牌页标注,不因外部供给不足而降低已挂牌数据集的质量结论口径。同时启用汇聚激励机制的调整权限,由决策层审议是否提高激励力度。
对外运营的用户规模与收入低于预期。影响是「以服务养服务」循环的第一环变弱。回退安排为:公益服务预算的制度化安排不随商业收入波动削减(见 2.6.6 节),保障公共服务职能的履行;商业服务的投入按数据集收益表动态调整,优先投向已验证有需求的数据集;平台运行的基本保障成本纳入运维预算,不依赖运营收入。这项安排的意思是,平台的基本运行与公共服务不以商业收入为前提条件。
运营推广服务围绕数据持续汇聚、运营体系、运营架构、盈利模式、运营组织、公共服务内容体系及接入国家数据基础设施七个方面建设,不含团队建设、运营服务硬件基础设施及其他服务配套能力建设;团队人员配置见项目团队分节,硬件基础设施见硬件与集成分节。
七个方面共用同一载体,即第 1 章的数据集运营服务管理平台:汇聚机制供给运营要素,运营体系与运营组织确定决策、把关与执行的主体,运营架构组织服务的供给方式,盈利模式维持运营投入,公共服务体系履行行业公共职能,接入国家数据基础设施打通对外流通路径。
本项目四类数据集所需的数据分布在产业链各环节:刮板输送机的供需计划数据涉及矿方的生产规划与地质条件、涉及采煤机与液压支架配套厂家的接口参数;制造过程数据涉及钢材供应商的材料批次与质量证明;产品质量数据涉及在役设备所在矿井的实际工况。其中选型输入的截深、截高、推移步距一类接口参数,由矿方与刮板输送机、采煤机、液压支架、破碎机各方协商确定,常只存在于交流过程而无规范的电子留痕,须由汇聚机制约定其留痕方式、提交责任与提交时点,才能进入平台。
平台据此建立数据协同汇聚机制,将分散在产业链各环节、各主体的数据资源与数据集持续汇聚至运营平台,保障并促进平台运营要素的丰富与更新,按汇聚范围与责任主体、持续增量汇聚、权属与合规登记、激励与更新四项落地。
招标文件要求「建立面向产业链上下游各环节、各主体的数据协同汇聚机制,明确汇聚范围、责任主体与协同规则」。
汇聚范围按产业链环节划分五类主体与对应的数据类型。
| 产业链环节 | 主体类型 | 可汇聚的数据类型 | 对四类数据集的贡献 |
|---|---|---|---|
| 上游原材料与配套件 | 钢材供应商、链条与减速机配套厂 | 材料牌号与批次质量证明、配套件参数与寿命数据、供货周期 | 供需计划、制造过程、产品质量 |
| 链主企业内部 | 天地奔牛设计、工艺、生产、质量、售后各单元 | 图纸与工艺卡片、工单与报工、检验记录、设备过程参数、服务工单 | 四类均有贡献 |
| 协同制造 | 外协加工单位 | 外协工序的加工参数与检验结果 | 制造过程、产品质量 |
| 下游用户与成套配套 | 煤矿企业、采煤机与液压支架等配套厂 | 工作面地质与煤质参数、作业制度、接口参数、在役运行与故障数据 | 供需计划、产品质量 |
| 研究与标准机构 | 高校、科研院所、标准化组织 | 行业知识语料、标准与规范文本、评测基准与标注规范 | 四类均有贡献(基准评测为主) |
表 2.4-20 汇聚范围与责任主体。数据来源:招标文件;产业链环节划分与数据类型依据矿山装备制造的业务链条及本项目四类数据集的覆盖范围。
责任主体的落实方式分两档。链主企业内部的数据汇聚,责任落到各业务单元,由运营组织按数据域指定数据责任人,责任内容为按约定频次提供数据、确认数据口径、处理数据质量问题。这一层的约束力来自企业内部管理制度,具体制度清单见数据治理分节。产业链外部主体的数据汇聚,责任通过协议落实:平台与汇聚方签订数据提供协议,约定数据范围、频次、质量要求、权属与许可、收益分配、保密义务与违约责任。
协同规则的核心是三份文本:数据提供协议模板、数据汇聚技术规范、数据口径对照表。协议模板按汇聚方类型分设三种(无偿公益提供、有偿提供、合作共建按份共有)。技术规范规定接入方式、数据格式、字段要求、传输安全与交付频次。口径对照表解决同一业务含义在不同主体的系统中字段名与取值不同的问题,这是跨主体数据能用起来的前提——没有口径对照,汇聚进来的数据合不到一起。
招标文件要求「支持分散数据资源与数据集的持续、增量汇聚,保障汇聚工作的常态化与持续性」。常态化靠的不是口号而是通道与节奏。
通道按汇聚方的技术条件分四种,由汇聚方选择:接口对接适用于有系统且能开放接口的主体,按约定频次增量拉取或推送;文件交换适用于有系统但不便开放接口的主体,按约定格式定期交换文件;平台录入适用于数据量小或非结构化的情形,由汇聚方在平台上直接填报或上传;现场采集适用于缺少数字化条件的环节,由项目组按计划上门采集并整理入库。四种通道的数据进入平台后走同一套校验与登记流程,不因来源不同而降低要求。
节奏按数据的时效要求设定。设备运行与过程参数类按日或按周增量;工单、检验、服务记录类按月增量;图纸、工艺、标准、规范类按季度增量或按变更触发;地质与工作面参数类按项目触发。汇聚计划按年制定、按季滚动调整,计划内容包括汇聚方、数据类型、通道、频次、责任人、质量要求。
平台侧的支撑是动态更新模块(见 1.2.10 节)与一个汇聚看板。看板按汇聚方与数据类型呈现计划量、实际量、到位率、质量问题数、逾期情况。到位率是运营组织的月度考核指标之一,首期按不低于 80% 设定基线,运行一年后逐步接近 90%;连续两期未达成的汇聚方由运营组织的执行层上门沟通,调整频次或更换通道。
招标文件要求「建立汇聚数据的权属与合规登记机制,确保来源可溯、权属清晰、合规可用」。这一条与 1.2 节的确权模块是同一套机制在汇聚场景下的应用,此处只写汇聚特有的处置。
来源可溯的落地是「一数一源」登记:每一批汇聚数据登记其来源主体、来源系统或采集方式、取得依据(协议编号或内部授权记录)、交付时间与交付人、原始数据的指纹。登记在数据进入平台时完成,后续加工产出的数据集通过血缘关系回溯到原始来源。
权属清晰的落地是在协议签订时就把三件事写明:原始数据的权属归汇聚方,汇聚方授予平台的权利范围(使用、加工、再许可、对外运营各项分别约定),加工产出的数据集权属归属与收益分配。合作共建类的汇聚采用按份共有,份额在协议中约定并登记入确权模块,直接作为清算规则的输入(见 1.5 节)。
合规可用的落地是入库前的三项核查:敏感信息核查,识别个人信息、敏感地理信息、重要行业数据与企业秘密数据,按核查结论执行去标识化或脱敏(第 7 项);授权范围核查,确认拟进行的加工与运营行为在汇聚方授予的权利范围内;用途限制核查,确认数据的允许用途与数据集的声明用途一致。三项核查有结论才允许入库,核查记录随数据批次保存。
招标文件要求「建立汇聚激励与更新机制,促进平台运营要素持续丰富与动态更新」。汇聚方愿意持续供数,靠的是看得见的回报。我方设计四类激励,适用对象不同。
| 激励方式 | 适用对象 | 具体内容 | 兑现方式 |
|---|---|---|---|
| 收益分成 | 有偿提供方、合作共建方 | 按确权份额参与数据集收益分配 | 清算模块按规则自动生成分账 |
| 服务权益 | 无偿公益提供方、产业链中小企业 | 按贡献量折算平台服务配额(数据集使用额度、接口调用额度、加工任务额度) | 贡献量折算为服务积分,积分在订单中抵扣 |
| 优先获取 | 持续供数的产业链企业 | 新版本数据集的优先试用、评测服务的优先排期 | 运营侧按供数到位率排序 |
| 署名与认定 | 全部汇聚方 | 在数据集卡片中署名贡献主体;参与行业标准验证与试点工作的认定 | 数据集卡片与项目成果材料中列明 |
表 2.4-21 四类汇聚激励方式。数据来源:招标文件;服务积分的折算系数由运营组织决策层按年审定并在平台内公布,审定依据为上年度各类数据的汇聚成本与使用频次。
更新机制的重点是「让数据集不过期」。我方按三条处置。一是时效性监测:数据集资产台账记录时效性占比(承接),台账按月重算,时效性占比低于阈值的数据集生成更新待办。二是更新承诺:数据集挂牌时由提供方承诺更新频次,承诺写入元数据并对用户可见,未按承诺更新的数据集在挂牌页标注「更新滞后」,连续两期未更新转停售。
三是使用反馈回流:用户在使用数据集后可提交反馈,反馈类型包括样本错误、口径不符、缺失场景、建议补充,反馈按数据集归集并进入下一版本的修订计划(承接、的回流逻辑)。反馈量与反馈采纳率是数据集运营质量的侧面指标,进入月度服务质量报告。
2.4-10 数据协同汇聚机制的主体、通道与登记环节
图 2.4-10 数据协同汇聚机制的主体、通道与登记环节。数据来源:招标文件第 7 项。
数据集运营体系以「链主企业牵头、产学研用协同、市场化运作」为核心运营方针,构建既符合矿山装备制造行业特性、又遵循市场经济规律的行业数据运营体系。
招标文件把运营方针明确为「链主企业牵头、产学研用协同、市场化运作」,要求构建既符合矿山装备制造行业特性、又遵循市场经济规律的行业数据运营体系。三个支点各自解决一个问题:链主牵头解决权威性与数据来源,产学研用协同解决能力补足,市场化运作解决可持续性。
招标文件要求「以产业链主企业的行业影响力与业务场景为牵引,明确链主牵头的组织与责任机制」。
链主牵头在本项目中有两重含义。第一重是业务场景牵引:数据集建什么、建多少、什么口径,以链主企业的真实业务场景为准而不是以通用框架为准。本项目四类数据集的划分——供需计划、产品工艺设计、制造过程、产品质量——就是按链主企业的业务主线划分的,28 道备料工序、63 万张历史图纸这些具体对象也来自链主企业的实际生产。第二重是行业影响力牵引:链主企业在产业链中的地位使它有能力把上下游召集起来谈数据汇聚,这是单纯的技术平台做不到的。
责任机制按三层落实。链主企业承担数据运营的主体责任,包括数据来源的合法性、对外运营的合规性、运营组织的决策责任。各汇聚方承担所供数据的真实性与权属担保责任,由数据提供协议约定。平台运营方承担平台运行与服务履约责任,由 1.7 节的 SLA 体系与售后服务分节的承诺约束。三层责任不交叉覆盖,这是出事时能找到人的前提。
招标文件要求「建立产学研用多方协同创新机制,明确各方角色、协同流程与成果共享规则」。
| 参与方 | 角色定位 | 在本项目中的具体投入 | 成果共享口径 |
|---|---|---|---|
| 产(链主与产业链企业) | 场景提出方与数据供给方 | 业务场景定义、数据汇聚、成果验证、推广应用 | 优先使用权;按确权份额参与收益 |
| 学(高校) | 方法研究与人才支撑 | 行业知识体系梳理、标注规范研究、评测方法研究 | 论文与专利的共同署名;教学与科研用数据集的公益开放 |
| 研(科研院所与标准机构) | 标准制定与第三方评价 | 标准验证与试点、评测基准构建、第三方质量评价 | 标准成果共有;评测方法与基准的行业公开 |
| 用(下游煤矿企业与配套厂) | 需求验证方与应用推广方 | 场景验证反馈、在役数据回流、应用效果评价 | 验证成果反馈;按贡献折算服务权益 |
表 2.4-22 产学研用四方的角色与成果共享口径。数据来源:招标文件第 2、3、8 项(标准验证、专家库、知识产权要求)。
协同流程按年度循环组织:年初由运营组织汇总各方需求形成年度协同计划,计划明确课题、参与方、投入与产出;年中按季度推进并在运营组织例会上过进度;年末形成成果清单并按共享规则分配。涉及知识产权的成果(论文不少于 5 篇、发明专利不少于 3 项、软件著作权不少于 6 项,见第 8 项)在立项时约定署名与权属,避免成果出来再谈。
数据标准专家库是协同机制的组织载体之一,专家的类别、入库标准、遴选流程、工作职责与考核机制见技术创新分节,本节不重复。
招标文件要求「建立市场化运作机制,按市场经济规律设计运营与服务的供需对接与价值分配」。
供需对接的市场化体现在三点。一是价格由供需形成而非一刀切定价:数据集的定价由提供方设定、经可运营维度审批、在挂牌页公开,用户可比较同类数据集的价格与质量;运营方按季度公布各数据集的订单量与收益情况(对提供方可见),为定价调整提供参考。二是需求公开征集:平台设需求发布区,用户可发布未被满足的数据需求,有能力的供给方应征,运营方撮合;需求发布区的数据在实践中还有一项作用,它直接告诉运营方下一批该建什么数据集。三是服务可比较:同类服务允许多个供给方并存,由用户选择,不做行政指定。
价值分配的市场化靠清算规则承载(见 1.5.2 节)。规则的设计原则是「贡献越靠前、分配越靠后」:原始数据提供方按固定比例或阶梯比例取得稳定分成,加工与评测贡献方按投入量取得分成,平台运营方取得服务费并承担平台运行成本。阶梯比例的作用是让持续供给高价值数据的主体获得递增的分成比例,这是对长期供给的回报。
市场化运作有一条边界必须说明:平台承担行业公共服务职能,公益性服务不以收益为目标(见 2.6 节)。公益与商业的比例由运营组织决策层按年审定,并在清算报表的服务类型收入表中单独呈现(见表 2.4-13),使二者的平衡状况可被审议。
招标文件要求「确保运营体系适配矿山装备制造行业特性,与行业业务场景深度结合」。矿山装备制造的四条业务特征对运营体系提出了具体要求,逐条对应如下。
按订单设计的产品组织方式,意味着行业数据的复用价值集中在「相似工况下的历史案例」。运营体系因此把检索能力作为重点:选型类数据集须支持按工作面条件检索相似历史项目,而不只是按关键词检索文档。这一点落在 1.2 节的检索与预览模块。
小三机与大三机协同带来的成套责任,意味着接口参数类数据天然是多方共有的。运营体系因此把按份共有与多方分账作为常规机制而不是例外处置(见 1.5.5 节)。
长周期多工序跨车间的制造过程,意味着制造过程数据的汇聚是持续的而不是一次性的。运营体系因此把动态更新与增量汇聚作为常态安排(见 2.1.2 节),而非项目期内汇聚一次了事。
交付后长期在役服务,意味着产品质量数据的时效性要求高、来源在用户侧。运营体系因此把下游用户的数据回流作为激励机制的重点对象:在役运行与故障数据由煤矿企业回流,回流方按贡献取得服务权益与优先获取权(见表 2.4-21)。这条回路还解决了一个长期难题——远程运维平台报警不少、故障标签很少,报警与真实故障之间缺少可核对的证据;用户回流维修事实,正是在补这批标签。
运营架构回答一项服务如何被组织出来、由谁的专业能力承担、谁对交付质量负责,与 1.1 节的技术架构(系统由哪些层与哪些模块构成)是两件事。招标文件的要求是「以数据集运营平台为依托,联合数据集建设各相关方专业能力,面向行业用户提供专业化、定制化服务」,落点在联合各方能力与明确服务边界两处。
两处落点在运营中是一体的:联合各方能力意味着一项服务的交付链上有多个承担方,出现问题时须能分清责任归属;边界不清的联合运营,结果是用户找不到对接人、各承担方互相推诿。运营架构因此把服务边界、协作接口与质量责任作为设计内容本身——服务边界按交付物划分,协作接口按交接单落地,质量责任按交付物归属,三者的具体规则见 2.3.5 节。
招标文件要求「以数据集运营平台为统一依托,构建支撑各类运营服务的总体架构」。统一依托有三项具体含义,三项都已在前九章落地,此处汇总说明它们在运营架构层面的作用。
第一,统一入口。所有服务无论由谁承担,都从运营平台下单、在运营平台跟踪、经运营平台交付、由运营平台结算。用户不需要知道背后是谁在做,也不需要分别对接多个承担方。这是「专业化服务」在用户感受上的起点。
第二,统一凭证。服务的每一个关键节点都在平台上留下凭证:订单、授权、交付清单、验收意见、服务纪要、清算明细。出现争议时以平台凭证为准,不以各方的内部记录为准。
第三,统一考核。各承担方的服务质量按同一套指标考核(见 1.7 节),考核结果进入服务质量报告,并作为后续服务分派的依据。这一条把「联合」从一次性协作变成有反馈的长期机制。
招标文件要求「联合数据集建设各相关方,整合其在数据采集、数据标注、模型训练、智能体开发、数据集评测等环节的专业能力实施专业服务」。五类能力在本项目中的承载与对外服务形态如下。
| 专业能力 | 本项目内的承载 | 对外服务形态 | 服务边界 |
|---|---|---|---|
| 数据采集 | 多源异构数据集成采集、多格式多模态数据接入、现场采集布点 | 为行业用户提供数据接入与采集方案设计、现场采集实施 | 平台负责采集通道与数据入库;用户侧源系统的开放与配合由用户承担 |
| 数据标注 | 标注规范制定、智能标注工具链、标注质量控制 | 为行业用户提供标注规范定制与标注服务 | 平台负责标注口径与一致性;标注对象的业务判定以用户确认的规范为准 |
| 模型训练 | 训练推理技术服务、算力适配(见训推分节) | 为行业用户提供训练环境与训练支持服务 | 平台负责环境与过程支持;模型效果取决于用户数据与任务,按评测结论说明 |
| 智能体开发 | 本包不负责智能场景建设,智能体开发作为运营期对外服务能力 | 为行业用户提供基于数据集的智能体开发服务 | 需求范围、验收标准由合同约定;本项目建设期内不含甲方场景的智能体建设 |
| 数据集评测 | 数据集质量测评服务、基准评测数据集与评测引擎 | 为行业用户提供数据集质量评测与模型评测服务 | 平台按评测方法出具报告;评测结论的适用范围以报告载明的口径为限 |
表 2.4-23 五类专业能力的整合与服务边界。数据来源:招标文件;本包范围边界依据第 01 包「数据加工生产服务」的服务范围界定。
表中第四行需要特别说明:本包的建设范围是数据集加工生产、质量评测与场景验证,智能场景建设不在本包范围内。智能体开发在此处作为运营期面向行业用户的对外服务能力列出,与本项目建设期内甲方场景的建设责任是两件事,运营架构中列此项,是为向行业用户提供定制化的数据服务与智能体开发服务。
招标文件要求「面向行业用户提供定制化的数据服务与智能体开发服务」。定制化服务与标准服务的差别在于:标准服务是「货架上拿」,定制服务是「按需做」,后者需要一套从需求到验收的组织流程。我方按五步组织。
需求受理。用户通过平台提交定制需求,内容包括业务目标、数据范围、交付形态、时间要求、预算区间。运营管理员在 2 个工作日内完成初步评估并反馈可行性判断。
方案设计。由运营管理员召集相应专业能力的承担方共同出方案,方案内容包括实施路径、交付物清单、里程碑、验收标准、所需用户侧配合事项、报价。方案须明确哪些环节由哪类专业能力承担,以及各环节的质量责任。
合同与立项。方案确认后签订合同、在平台生成订单与服务工单,按先行交付的节点模型(见表 2.4-9)拆分里程碑。
实施交付。按节点执行,每个节点出具交付物与验收记录。过程中的沟通、材料、纪要统一在服务工单下归集(见 1.4.5 节)。
验收与评价。按合同约定的验收标准逐项验收,验收通过触发清算,用户在节点后进行评价,评价进入服务质量报告。
招标文件要求「明确架构中各相关方的服务边界、协作接口与质量责任」。我方的处置方式是把这三件事写成一份《服务协作规范》,作为运营制度的一部分交付,其核心内容如下。
服务边界按「交付物」划分而不按「工作内容」划分。每一类专业能力的承担方对一份或几份明确的交付物负责,交付物有名称、格式、质量判据与验收方。这样划分的好处是边界可验证:交付物在不在、合不合格,看得见。按工作内容划分则容易出现「我做了但没做好算谁的」这类扯不清的情形。
协作接口按「交接单」落地。上游向下游交付时提交交接单,内容为交付物清单、质量自检结论、已知问题与限制、下游需注意事项。下游在约定时限内完成接收检查并签回,接收检查不通过的退回并说明具体缺项。交接单在平台上流转并留痕,这是追溯责任的依据。
质量责任按「谁的交付物谁负责」确定,并有两条补充规则。一是上游问题下游未检出,上游承担主要责任、下游承担检查责任,责任比例按交接单中约定的检查项范围判定。二是因用户侧输入不实或配合不到位导致的问题,由用户承担,这类情形须在交接单或服务纪要中有记录,不能事后主张。
2.4-11 运营架构:服务组织与责任链
图 2.4-11 运营架构:服务组织与责任链。数据来源:招标文件。
数据集运营盈利模式针对矿山装备制造领域不同类型、不同需求层次的用户实施差异化服务供给,在履行行业公共服务职能的同时实现商业价值。
招标文件对盈利模式的要求有一个前提条件:「在履行行业公共服务职能的同时实现商业价值」。这两件事存在张力——公共服务要降低门槛,商业价值要有收入。处理这个张力的常见做法是把两者分开算账:公共服务由项目投入与行业支持维持,商业服务自己挣钱并补贴公共服务部分。我方采用这一思路,并在平台上把二者的账分开记录(见表 2.4-13 服务类型收入表),使「补贴了多少、够不够」在报表上能看出来。
招标文件要求「梳理行业客户的不同需求并据此制定相应的服务策略,形成差异化服务供给体系」。矿山装备制造行业的用户差别很大,一套服务策略套不上所有人。我方按需求特征分四类用户。
| 用户类型 | 需求特征 | 支付能力与意愿 | 服务策略 |
|---|---|---|---|
| 链主企业内部 | 需求明确、量大、要求口径与生产系统一致 | 按内部结算 | 优先保障,关键级 SLA,数据口径与业务系统对齐 |
| 行业大型企业 | 有自建能力,需要高质量数据与评测基准 | 有预算、重质量与合规 | 商业授权为主,提供定制数据服务与专属级 SLA |
| 行业中小企业 | 缺数据也缺加工能力,关注见效快、投入小 | 预算有限,对单价敏感 | 标准数据包+平台能力租用,低起步价、按量计费 |
| 科研与标准机构 | 需要代表性数据与可公开引用的基准 | 支付能力弱,有成果回馈 | 公益开放为主,以成果与标准贡献作为回馈 |
表 2.4-24 四类用户的需求特征与服务策略。数据来源:招标文件。
中小企业这一类值得多说一句。矿山装备制造产业链上的中小配套企业数量多,它们的共同困难不是没有数据,而是没有能力把数据变成可用的数据集。对这类用户,卖数据集的价值不如出租加工能力——这正是 1.4.4 节的平台能力交付在商业上的意义:中小企业按年租用一个租户,用平台的工具链加工自己的数据,单次投入远低于自建环境。
招标文件要求「对服务内容与服务方式实施分层设计,区分公益性公共服务与增值、定制服务」。三层的划分与边界如下。
公益层不收费或仅收取必要的成本性费用,内容包括:行业数据集目录与元数据的公开查询、基础数据集的受限使用(配额受限、仅限非商业用途)、行业标准与规范文本的查阅、标注规范与数据集构建方法的公开、行业数据月报与年报。公益层的服务对象以行业中小企业、科研与标准机构为主,服务量按季度统计并进入服务类型收入表。
增值层按标准定价、按量计费,内容包括:标准数据集的商业授权使用、数据服务接口调用、评测服务、平台能力租用、标准培训。增值层是平台的主要收入来源,其定价与计费规则在挂牌时公开,用户可自助完成从选购到交付的全过程。
定制层按合同定价,内容包括:定制数据集建设、专项数据服务开发、现场数据治理与标注咨询、智能体开发服务、专属级运维支持。定制层的客单价高、交付周期长,按先行交付的节点模型管理(见表 2.4-9)。
三层之间有明确的转化设计:公益层的用户在使用过程中产生更具体的需求时,自然进入增值层;增值层的用户需求超出标准服务范围时,进入定制层。平台在公益层服务中记录用户的使用偏好与未满足需求(需求发布区),作为增值与定制服务的线索来源。这是「以服务养服务」的前半段。
招标文件要求「实现营收目标的分解与盈利模式的制定,明确各类服务的计费与价值转化方式」。
营收目标按三级分解。一级按年度总目标分解到四个服务类别(标准数据集授权、数据服务接口、平台能力租用、定制服务)。二级按服务类别分解到季度,并按数据集大类分配——哪类数据集预期贡献多少收入,这个分配同时是数据集建设优先级的参考。三级按季度目标分解到运营执行层的具体责任,形成季度运营计划。目标值、实际值、达成率与偏差归因在营收目标达成表中按月呈现(见表 2.4-13)。
各类服务的计费方式如下。
| 服务类别 | 计费方式 | 计量单位 | 价值转化逻辑 |
|---|---|---|---|
| 标准数据集授权 | 按版本一次性授权费,或按使用期订阅 | 数据集版本/授权期 | 数据集的建设成本一次投入、多次授权摊薄 |
| 数据服务接口 | 按调用次数或返回样本量,阶梯单价 | 千次调用/万条样本 | 数据不出域,可长期持续收费 |
| 平台能力租用 | 按租户按期计费,配额分档 | 租户·月/年 | 加工能力的边际成本低,租用规模扩大后毛利提升 |
| 加工任务服务 | 按任务量计费 | 任务数/处理量 | 工具链能力直接变现,不交付工具本身 |
| 评测服务 | 按评测轮次计费 | 评测轮次/模型数 | 基准数据集以服务形态变现,避免基准外流 |
| 定制服务 | 按合同总价或人日计费 | 合同/人日 | 高附加值,带动数据集与平台能力的后续销售 |
| 公益服务 | 不收费或仅收成本性费用 | 服务量(次/用户数) | 不直接产生收入,产生行业影响力与数据回流 |
表 2.4-25 各类服务的计费方式与价值转化逻辑。数据来源:招标文件;具体价格体系与年度营收目标值在运营筹备阶段由运营组织决策层审定后发布,本表只给计费方式与价值转化逻辑,不预设价格。
表中最后一行需要说明:公益服务不产生直接收入,但它带来两样对盈利模式有实际作用的东西。一是数据回流——公益用户在使用数据集时提交的反馈与回流数据,是数据集迭代的输入(见 2.1.4 节);二是行业影响力——行业内的使用面扩大之后,增值与定制服务的潜在客户基数才会扩大。这两样在账面上记不出来,但在运营上是公益层存在的理由。
招标文件要求「形成『以服务养服务』的可持续良性循环机制」。这个循环要真正转起来,需要四个环节都有机制支撑,缺一环就会断。
第一环,服务产生收入。增值层与定制层的收入按清算规则归集,平台运营方的服务费部分进入运营资金池。
第二环,收入反哺数据集建设。运营资金池按年度预算分配,其中一部分定向用于数据集的更新与新建。分配依据是数据集收益表(见表 2.4-13):被频繁使用、收益高的数据集优先获得更新投入;长期无人使用的数据集降低投入或转入归档。这一条让投入跟着真实需求走,而不是跟着建设计划走。
第三环,数据集质量提升带来服务价值提升。数据集更新后质量结论与适用范围改善,可支撑更高的定价或更多的服务形态。质量结论由评测环节出具(见数据集质量评测分节),不由运营方自评。
第四环,服务价值提升带来更多用户与更多数据回流。用户增加带来更多使用反馈与回流数据,回流数据进入下一轮加工,形成数据资源的自我丰富。
2.4-12 「以服务养服务」的循环与断点防范
图 2.4-12 「以服务养服务」的循环与断点防范。数据来源:招标文件;数据集收益表口径见表 2.4-13。
循环中最容易断的是第二环。常见的情形是收入进了总账、建设按原计划走,两者不挂钩,于是收益高的数据集得不到更新、无人使用的数据集还在投入。我方的处置是把数据集收益表作为年度预算分配的硬性输入,分配方案须在运营组织决策层的会议上对照收益表逐项说明。
运营组织架构由组织架构与职位设置、议事规则与表决规则、权责与制衡安排、日常执行机制四项构成,实现平台重大事项的科学决策、专业领域的权威把关与日常运营的高效执行。人员编制与岗位配置见项目团队分节。
招标文件要求组织架构「实现平台重大事项的科学决策、专业领域的权威把关与日常运营的高效执行」,并明确覆盖决策、把关、执行三个层级。三层分设的原因是三类事项的性质不同,混在一起必然出问题。
重大事项的特点是影响范围广、不可逆、涉及多方利益,例如价格体系、公益与商业的比例、清算规则、对外接入的推进节奏。这类事项需要集体决策,决策慢一些可以接受,决策错了代价大。专业事项的特点是需要专业判断而不是利益平衡,例如数据集的质量是否达标、某份数据的权属与合规是否成立、标注口径是否正确。
这类事项交给票数表决会出错,必须由专业人员判断并对判断负责。日常事项的特点是量大、时效要求高,例如订单处理、工单响应、交付跟踪、对账差异处理。这类事项需要授权到人、按流程快速处理,每件都上会就会瘫掉。
招标文件要求「设计组织架构与组织职位」。三层的构成与职责如下。
决策层设数据运营管理委员会。委员会由链主企业的主管领导担任主任委员,成员包括链主企业业务与职能部门的负责人、平台运营负责人,并设外部委员席位供产学研用各方代表参与。委员会的职责范围为七项:审定年度运营计划与营收目标、审定价格体系与清算规则、审定公益与商业服务的比例、审定数据集建设与更新的年度投入分配、审议重大合作与对外接入事项、审议权属争议的处理结论、听取季度运营情况与服务质量报告。委员会下设秘书处,承担议题征集、材料准备、会议组织与决议跟踪。
专业把关层设三个专业委员会,分别对应质量、合规、技术三类专业判断。数据质量专业委员会负责数据集质量门槛的设定、质量争议的裁定、质量评测方法的审议。合规与权属专业委员会负责敏感数据判定、权属登记争议的专业意见、对外运营合规性的审查意见。技术专业委员会负责技术方案的评审、工具链与平台能力的技术把关、对外接口规范适配的技术判断。三个专业委员会的成员从数据标准专家库中按议题遴选(专家库的构成、入库标准与考核机制见技术创新分节),每个议题的评审人不少于 3 人。
执行层设运营中心,按职能分四个组。运营服务组负责数据集上架运营、订单处理、用户服务与工单响应。交付保障组负责线上交付的监控与异常处置、线下服务的组织与节点管理。清算结算组负责清算规则配置、清算执行、对账与分账。平台运维组负责平台运行监测、SLA 指标管理、安全与审计配合。四个组的负责人向运营中心负责人汇报,运营中心负责人向委员会报告。
| 层级 | 组织 | 主要职责 | 产出 | 开会频次 |
|---|---|---|---|---|
| 决策 | 数据运营管理委员会 | 年度计划与目标、价格与清算规则、公益与商业比例、投入分配、重大合作、争议结论审议 | 决议文件、年度运营计划、价格体系 | 季度例会,必要时临时会议 |
| 决策 | 委员会秘书处 | 议题征集、材料准备、会议组织、决议跟踪 | 会议材料、决议跟踪台账 | 随会 |
| 把关 | 数据质量专业委员会 | 质量门槛设定、质量争议裁定、评测方法审议 | 专业意见书、质量门槛清单 | 按议题,每月汇总一次 |
| 把关 | 合规与权属专业委员会 | 敏感数据判定、权属争议专业意见、对外运营合规审查 | 判定结论、合规审查意见 | 按议题,每月汇总一次 |
| 把关 | 技术专业委员会 | 技术方案评审、能力技术把关、接口规范适配判断 | 评审意见、技术方案结论 | 按议题 |
| 执行 | 运营服务组 | 上架运营、订单处理、用户服务与工单 | 运营日报、工单台账 | 日例会 |
| 执行 | 交付保障组 | 交付监控与异常处置、线下服务组织 | 交付日报、服务工单 | 日例会 |
| 执行 | 清算结算组 | 清算配置与执行、对账、分账 | 清算报表、对账报告 | 周例会 |
| 执行 | 平台运维组 | 运行监测、SLA 管理、安全与审计配合 | 监测报告、服务质量报告 | 日例会 |
表 2.4-26 运营组织架构、职责与产出。数据来源:招标文件。各组的人员编制与岗位要求见项目团队分节。
招标文件要求「制定组织议事规则与表决规则,保障重大事项决策科学、专业把关权威」。
决策层的议事规则按五条设定。第一,议题须提前 5 个工作日提交并附完整材料,材料包括议题背景、方案与备选方案、影响分析、相关专业委员会的意见。未附专业意见的议题不上会——这一条是把「专业把关」前置到决策之前,避免委员会在没有专业判断的情况下表决。第二,会议有效须有半数以上委员出席,涉及价格、清算规则、公益比例三类议题须有三分之二以上委员出席。
第三,表决采用一人一票,过半数通过;前述三类重大议题须三分之二以上同意通过。第四,委员与议题有利益关联的,在该议题表决中回避,回避情况记入会议记录。第五,决议形成后 3 个工作日内形成决议文件并下发执行,决议的执行情况由秘书处跟踪至关闭并在下次会议上报告。
专业把关层的议事规则不同于决策层,这是「权威把关」的要求所决定的。专业判断不采用多数表决,而采用「独立评审+意见分歧上升」的方式:每个议题由不少于 3 名专家独立出具意见,意见一致时直接形成结论;意见不一致时增加评审人或组织面对面评审,仍不一致的议题提交决策层,由决策层决定是否暂缓或采用保守口径处理。专业意见须署评审人意见编号并说明依据,意见与结论随事项永久保存。合规与权属类的一票否决项(见表 2.4-6)在专业把关层即生效,不进入决策层表决——合规不是可以投票决定的事。
执行层的议事规则以例会与授权清单落地。日例会处理当日事项与异常,周例会处理跨组协同与指标回顾,月例会处理服务质量报告与改进措施。授权清单规定每个岗位可以自行决定的事项范围与限额,超出范围的上报。授权清单按季度复核,复核依据是实际发生的上报事项中有多少本可以在授权范围内解决——上报过多说明授权过紧,越权过多说明授权过松。
招标文件要求「确保组织架构中不同角色之间权责清晰、流程顺畅、相互制衡」。制衡的设计体现在四处分离。
审批与执行分离。数据集的审批由专业把关层与审批专家承担,上架发布的执行由运营服务组承担。审批通过的数据集,运营服务组按流程执行上架;运营服务组不能自行决定上架未审批的数据集。
运营与清算分离。订单与交付由运营服务组、交付保障组处理,清算与分账由清算结算组处理。两组互为复核:清算结算组在生成清算明细时核对订单与交付记录的完整性,运营侧在月度对账中核对清算执行情况。
运营与审计分离。平台运维组配合审计,但审计职责由独立的审计员承担(见表 2.4-4),审计员不受运营中心管理,审计报告直接提交决策层。
规则制定与规则执行分离。清算规则、价格体系、SLA 阈值由决策层审定,运营中心按规则执行;运营中心可以提出规则调整建议,但不能自行调整。平台在技术上支撑这一分离:规则配置项的修改权限与业务操作权限分属不同角色,规则变更须有决议编号作为依据,无依据的变更被系统拒绝。
四处分离的共同点是:关键动作的发起方与审核方不是同一个角色,且动作留痕可查。这比写一条「加强监督」的原则有用。
招标文件要求「建立日常运营的高效执行机制」。高效的来源是三件事:标准化、自动化、责任到人。
标准化方面,运营中心的日常事项编制作业手册,覆盖上架受理、订单异常处置、工单分级与派单、交付异常处置、对账差异处理、服务报告编制六类高频事项。手册内容为处置步骤、判断标准、时限要求、上报条件。作业手册作为运营制度文件交付,并在平台上以操作提示的形式嵌入对应界面。
自动化方面,凡可以由系统判断的事项不进入人工队列。平台已设计的自动化点包括:线上交付的授权自动生成、支付回调的自动核销、清算明细的自动生成、SLA 指标的自动计算、服务报告的自动生成、超期事项的自动派单、对账的自动比对。人工只处理自动化处置不了的例外,这是执行层人员配置能够控制在合理规模的前提。
责任到人方面,平台上每一个待办事项都有唯一责任人与时限,责任人由派单规则确定而不是由人认领。待办的完成情况进入个人与小组的运营看板,超期事项自动升级至组负责人。月度例会上回顾的是待办的按时完成率与升级次数,而不是工作量的描述。
公共服务内容体系覆盖数据流通全链条,按数据资源供给、技术工具赋能、知识智力支撑、价值转化通路四类组织,坚持公益导向、能力输出、生态共建。
招标文件要求坚持「公益导向、能力输出、生态共建」原则,设计并构建覆盖数据流通全链条的公共服务内容体系,履行平台「国家级行业数据智能基座」定位,降低行业企业数字化转型门槛。
降低门槛这件事要落到具体的门槛上才有意义。矿山装备制造产业链上的中小企业面对数据智能化,实际卡在四道门槛上:没有可用的行业数据,自己采集与标注的成本承担不起;没有加工能力,缺少工具也缺少懂行的人;没有判断标准,不知道自己的数据够不够用、模型效果算不算好;没有流通通道,数据有价值也不知道怎么变成收益。
这四道门槛对应招标文件要求的四类公共服务——数据资源供给、技术工具赋能、知识智力支撑、价值转化通路。这个对应关系不是巧合,招标文件的四类划分本身就是按门槛划的。
招标文件要求「建立数据资源供给类公共服务,面向矿山装备制造全行业提供基础数据资源支撑」。
供给内容分三档。开放查询档面向所有注册用户,内容为行业数据集目录与元数据的公开查询、数据集卡片的查阅、样本受控预览。这一档不需要审批,注册即可使用,目的是让行业企业先知道有什么。受限使用档面向经资质核验的行业企业与科研机构,内容为基础数据集的非商业用途使用,配额按用户类型分档,用途限定在内部研究、教学、标准验证与非商业性模型训练。
这一档需要申请与承诺,走零金额订单链路(见 1.3 节表 2.4-8)。专题供给档按行业共性需求组织,例如面向中小配套企业发布的「零部件工艺基础数据专题包」、面向行业评测需求发布的「基准评测公开子集」。专题包按年度计划组织,内容与发布节奏由决策层审定。
供给的边界必须写清楚:涉及链主企业产品技术信息、商业秘密、客户信息的数据集不进入公共服务供给范围;进入供给范围的数据集经去标识化或脱敏处理,并经合规与权属专业委员会判定(见表 2.4-6 安全合规维度)。公共服务不是把数据无条件放出去,而是在确定的边界内尽可能降低使用门槛。
招标文件要求「建立技术工具赋能类公共服务,向行业输出数据加工与智能化技术工具能力」。
这一类服务的形态是能力租用与任务代做,而不是工具交付。本项目建设的 9 类 25 个专项智能工具链是本项目的核心技术资产(清单与能力见工具链分节),对外输出采用两种方式:一是平台能力租用,行业企业租用租户后在平台环境内使用工具链加工自有数据(见 1.4.4 节);二是加工任务服务,企业提交数据与加工要求,由平台执行后返回成果(见 1.2.12 节)。两种方式下工具链本身不离开平台,这既保护了技术资产,也保证了加工口径的一致性——工具链在平台内由统一版本执行,加工结果可比。
这一类服务的公益部分体现在起步门槛上:对行业中小企业提供免费的试用额度与首次加工任务的成本价优惠,使企业在小规模投入下先验证效果。试用额度按年度公益服务预算分配,分配情况进入服务类型收入表(见表 2.4-13)。
工具能力的输出还包括方法与规范的公开。数据标注规范、数据集构建方法、质量评测方法这三类内容以公开文档形式向行业发布,不收费。公开这些内容不会削弱平台的竞争力——规范是公开的,把规范落地执行的工具链与数据积累才是平台的价值所在。这项公开同时服务于标准验证与试点工作(见第 2 项)。
招标文件要求「建立知识智力支撑类公共服务,提供行业知识与专业智力支持」。
知识支撑的载体是三类内容。行业知识库汇集矿山装备制造领域的标准、规范、技术手册、工艺知识与故障案例,以可检索、可问答的形式对行业开放(基础检索与问答免费,深度服务按增值层计费)。行业数据报告按季度发布,内容为行业数据资源的汇聚与使用情况、数据质量的行业分布、典型应用效果,为企业的数字化决策提供参考。方法指南面向具体问题发布实操性文档,例如图纸类数据的解析与标注方法、设备时序数据的质量问题识别方法、小样本场景下的数据构建方法。
智力支撑的载体是数据标准专家库与咨询服务。专家库的专家按议题为行业企业提供咨询,咨询形式包括线上答疑、专题讲座、现场诊断三类。线上答疑与专题讲座属公益层,现场诊断属增值或定制层。专家库的建设与考核机制见技术创新分节,本节只说明其在公共服务体系中的作用:它是把分散在少数资深人员头脑中的行业经验组织起来对外输出的机制。
人才培养是智力支撑的延伸。平台面向行业提供数据治理、数据标注、数据集构建三类培训,培训教材与课程体系在项目期内形成并持续更新。培训的公益部分面向中小企业与院校,增值部分面向有定制需求的企业。培训的具体安排与课程清单见售后服务分节的培训方案,本节不重复。
招标文件要求「建立价值转化通路类公共服务,打通数据要素流通与价值转化路径」。
通路的第一段是「让数据能挂出来」。行业企业的数据要变成可流通的资产,第一步是完成登记、确权与质量判定。平台把这一段作为公共服务提供:为行业企业的数据集提供登记注册、确权登记、质量预评估与挂牌指导,收取必要的成本性费用或在年度公益额度内免费。这一段的价值在于,很多企业的数据不是没价值,而是缺一套能被交易对手认可的凭证。
通路的第二段是「让数据能卖出去」。平台提供挂牌展示、需求撮合、交易合同模板、在线签署与清算分账服务(见 1.2 节至 1.5 节)。对首次挂牌的企业提供挂牌辅导,内容包括定价参考、许可条款选择、适用边界的披露要求。
通路的第三段是「让数据能走出去」。平台提供面向国家数据基础设施的接入服务:为行业企业的自有数据集提供对外接入的技术支撑与合规支撑(见 2.7.2 节)。这是单个企业自己很难完成的事——接入规范的理解、字段映射、标识申请、合规凭证的准备,对中小企业而言门槛过高,由平台统一承担更经济。
| 公共服务类别 | 服务内容 | 收费口径 |
|---|---|---|
| 数据资源供给 | 目录与元数据公开查询、数据集卡片查阅、样本受控预览 | 免费 |
| 数据资源供给 | 基础数据集受限使用(非商业用途,配额分档) | 免费,需申请与承诺 |
| 数据资源供给 | 专题数据包(年度计划发布) | 免费或成本性费用 |
| 技术工具赋能 | 平台能力试用额度、首次加工任务优惠 | 公益额度内免费或成本价 |
| 技术工具赋能 | 标注规范、数据集构建方法、评测方法公开 | 免费 |
| 知识智力支撑 | 行业知识库基础检索与问答、行业数据报告、方法指南 | 免费 |
| 知识智力支撑 | 专家线上答疑、专题讲座 | 免费 |
| 知识智力支撑 | 面向中小企业与院校的基础培训 | 免费或成本性费用 |
| 价值转化通路 | 数据集登记、确权、质量预评估、挂牌指导 | 成本性费用或公益额度内免费 |
| 价值转化通路 | 挂牌展示、需求撮合、合同模板与在线签署 | 按成交计费,首次挂牌辅导免费 |
| 价值转化通路 | 自有数据集对外接入的技术与合规支撑 | 成本性费用 |
表 2.4-27 公共服务内容清单与收费口径。数据来源:招标文件。年度公益服务预算与各项额度由决策层按年审定,审定后在公共服务目录中公布并按季度披露执行情况。
招标文件要求「坚持公益导向与生态共建,推动行业数据要素的流通与共享」。公益导向在本方案中有三项可核查的落地安排。
一是公益服务量的统计与公开。公益层的服务量(服务用户数、数据集使用次数、培训人次、咨询次数、辅导企业数)按季度统计并在服务类型收入表中单列,年度向决策层报告。公益服务量是运营组织的考核指标之一,与营收指标并列。
二是公益预算的制度化。年度运营预算中单列公益服务预算,预算规模由决策层按年审定,不随商业收入波动而临时削减。预算用尽时可申请追加,削减须经决策层表决。
三是公益与商业比例的定期审议。服务类型收入表按季度提交决策层审议,审议内容是公益与商业的比例是否偏离既定方针。偏离过多时调整价格体系或公益额度。这是把「公益导向」变成一个被定期检查的指标,而不是一句写在文件上的原则。
生态共建的落地是三项机制,均已在前文论述,此处只说明它们在生态层面的作用:数据协同汇聚机制(2.1 节)让产业链各方都成为数据的供给方而不只是使用方;产学研用协同创新机制(2.2.3 节)让高校与科研机构的方法研究能够落到行业实际数据上;汇聚激励机制(表 2.4-21)让贡献数据的主体获得回报,使共建有持续的动力。三者共同作用的结果,是平台上的数据与服务不只来自链主企业一家。
接入国家数据基础设施按制定技术方案与组织实施两步推进,实现平台生成数据集与行业用户自有数据集的高效流通与资产化运营。平台侧的三类接口预留与联调安排见 1.8 节。
招标文件要求「制定接入国家数据基础设施的技术方案,优先采用成熟技术与产品并开展必要的技术开发实施」。我方的技术路线以接入连接器为落地载体。
采购清单中列有接入连接器 3 台,功能要求覆盖数据接入、数据资源、数据登记、数据接口、数据交付、审核管理、系统日志、日志分析、日志审计、身份管理、配置中心、区块链存证、运行监测管理、访问控制(见硬件分节)。
这些功能与运营平台的能力有交集,我方的分工口径是:运营平台负责数据集的运营管理与交易履约,接入连接器负责对外流通侧的接入、登记、存证与通道管控。两者通过内部接口对接,运营平台不绕过连接器直接对外,连接器不承担运营管理职能。3 台连接器按一主一备一测试部署,测试节点用于规范变更时的预验证。
安装适配与国密调试属于系统集成范围,由集成分节统一安排,本节只约定运营平台侧的配置与联调口径:连接器接入前,运营平台须完成目录字段映射配置、主体标识映射表、接口鉴权配置三项;联调按「接口连通—数据格式校验—业务流程贯通—异常场景验证」四步执行,每步出具联调记录。
技术选型上,优先采用已在数据流通领域形成实践的成熟方案:传输与存证采用国密算法与已有存证服务能力,不自研密码与存证组件;目录与元数据的结构化格式采用公开标准;数据集标识的本地解析缓存采用成熟的键值存储。需要自行开发的部分限于映射适配层与业务协同逻辑,开发量可控,这是「优先采用成熟技术与产品」在本项目中的具体含义。
招标文件要求支持「平台生成数据集与矿山装备制造行业用户自有数据集的接入」。两类数据集的接入路径不同。
平台生成的数据集已在平台内完成登记、确权、审批与挂牌,接入时只需补充对外发布所需的目录字段并申请标识,权属与许可信息直接取自确权记录。这条路径的工作量主要在字段映射与标识申请。
行业用户自有数据集的接入路径更长。用户先在平台完成注册与确权登记,经审批通过并挂牌,才具备对外接入条件。这里有一处设计选择需要说明:我方把「先入平台、再对外接入」作为唯一路径,不提供用户数据集绕过平台直接接入的通道。原因是对外接入意味着平台对该数据集的合规状态作出背书,没有经过平台审批与确权的数据集,平台无法承担这个背书。对用户而言这增加了一道流程,换来的是其数据集在对外流通时有完整的权属与质量凭证。
招标文件要求「实现数据集在国家数据基础设施中的可信、高效流通」与「支撑数据集在国家数据基础设施中的资产化运营」。
可信流通依托三样东西:版本指纹、确权记录、存证摘要。数据集对外流通时,随同提供版本指纹与确权凭证,接收方可据此验证所取得的数据集是否为登记版本;登记、确权、挂牌、交付四类关键事实的摘要写入存证账本,流通过程中的争议可据此比对。高效流通依托两样:目录与元数据的增量同步,使对外目录与平台内状态保持一致,避免挂着已下架的数据集;交付通道的分级设计(见 1.4 节),使大体积数据集走下载通道、敏感数据集走接口与任务通道,不以一种通道应付所有情形。
资产化运营的平台支撑体现在三处。数据集资产台账记录各版本的样本规模、模态构成、时效性占比、许可状态与使用情况(承接),台账是资产计量的数据基础。收益记录按数据集版本归集,数据集收益表(见表 2.4-13)回答每一份数据集的投入产出。许可与权属记录支撑数据集作为资产在交易、授权、入股等场景下的权利边界说明。资产化运营的财务与法务口径超出平台功能范围,平台负责把事实记准、把凭证留全,具体的资产化路径按甲方与监管要求推进。
采购清单中与数据集运营服务管理平台相关的条目,其配置数量、许可方式与落实安排如下。报价填写见商务分卷的报价明细表,技术指标的逐条应答见对应技术分节。
招标文件第 3.1 软件部分下设软件采购清单,清单表头为序号、名称、单位、数量、备注五列。清单实列一项:安全软件,1 套,备注说明「安全软件即商用密码服务平台。不限制使用节点数量(许可数量)」。
我方的应答口径如下。该项按 1 套配置,提供的商用密码服务平台集密码服务、管理、态势感知于一体,统一调用底层各类密码软硬件资源,为上层应用提供真实性、机密性、完整性、不可否认性的密码服务(对应的能力要求,详见安全分节)。许可方式按「不限制使用节点数量」提供,不按节点数、不按 CPU 数、不按并发数另行计费,许可范围覆盖本项目建设的全部系统与节点,并覆盖项目建设期内的节点扩展。
与本节运营平台的关系:运营平台的密码运算统一调用该平台提供的服务,不在应用内自行实现密码算法。具体调用点包括用户认证与会话保护、电子签章与时间戳(交易合同在线签署)、数据集下载包与接口传输的加密、版本指纹与存证摘要的签名、审计日志的完整性保护。调用关系已在图 2.4-2 资源与安全层标出。
招标文件第 3.2.1 服务采购清单表头为序号、名称、单位、数量、备注五列,实列七项服务,每项 1 套。七项的应答与本节的关系如下表。
| 序号 | 服务名称 | 单位·数量 | 本节相关性 | 应答与落实口径 |
|---|---|---|---|---|
| 1 | 数据资源建设服务 | 套·1 | 间接:汇聚进来的数据经加工后移交本平台登记 | 多源异构数据集成采集覆盖备注列明的 17 类外围应用系统;多格式多模态数据接入实现离线非结构化数据的解析录入与资产化。详见数据资源采集接入分节;其产出在本节登记与运营(2.1 节) |
| 2 | 数据集加工生产专项智能工具链建设服务 | 套·1 | 间接:工具链能力经本平台对外输出 | 交付备注列明的 9 类 25 个工具链,许可不限节点数量。工具链清单与能力详见工具链分节;本节写其对外服务形态(1.2.12 节、2.6.3 节),工具链本身不对外交付 |
| 3 | 数据集运营服务管理平台建设服务 | 套·1 | **本节主体** | 交付备注列明的 16 个功能模块,另增平台服务与 SLA 保障模块,合计 17 个,不少于 14 个的要求有余量。模块清单与回应单元对照见表 2.4-3,模块与能力域对照见表 2.4-2。许可不限节点数量,覆盖建设期内的用户与节点扩展 |
| 4 | 系统集成服务 | 套·1 | 相关:含本平台的连接器安装适配 | 含通用服务器的加工生产平台安装适配、接入连接器的运营平台安装适配、服务密码机的国密算法调试、硬件的网络连接与适配。详见系统集成分节;本节约定运营平台侧的配置与联调口径(2.7.1 节) |
| 5 | 数据集加工生产实施服务 | 套·1 | 相关:其第 5、7 项与本节直接相关 | 备注列八项要求分属各技术分节。其中第 5 项软建设约 30+项配套文件与机制、第 7 项安全合规建设(去标识化与脱敏、全流程审计与日志、权限校验与访问控制)在本节有直接承载:审计与权限见 1.6 节与 1.4.6 节,去标识化与脱敏的入库核查见 2.1.3 节。第 2 项标准验证、第 3 项专家库、第 4 项标注规范、第 6 项内部管理制度、第 8 项知识产权见对应分节 |
| 6 | 信息安全风险评估服务 | 套·1 | 相关:本平台为测评对象之一 | 对本项目建设的信息系统开展等级保护测评及商用密码应用安全性评估。运营平台作为测评对象纳入范围,测评结论中涉及平台的整改项由项目组在整改期内闭环。测评组织与安排详见安全分节 |
| 7 | 数据集质量测评服务 | 套·1 | 相关:测评结论进入本平台的审批与挂牌 | 完成多模态自建数据集首轮评测、缺陷整改复测,输出正式盖章评测报告并形成数据质量档案。评测方法与指标详见数据集质量评测分节;其结论在本节的用法:质检与验证报告编号作为注册凭证级校验项(1.2.3 节),质量结论摘要与适用边界在挂牌页展示(1.2.11 节) |
表 2.4-28 服务采购清单七项的应答与本节相关性。数据来源:招标文件。报价填写见商务分卷报价明细表。
关于第 7 项备注中的目标表述需要说明口径:招标文件原文使用了「全维度数据质量合规核验目标」「缺陷整改全闭环管控目标」等表述。我方在技术方案中对应的承诺口径为:按评测方案设定的质量维度逐项核验,核验维度与判据在评测方案中列明;缺陷整改按「发现—归因—整改—复测—归档」五步管理,整改闭环率设基线并逐步提升,未在本轮闭环的缺陷转入下一轮并在质量档案中留痕。具体指标与基线见数据集质量评测分节。
数据治理在本项目中要达成两重目标。一重是把天地奔牛的数据管理能力提升到数据管理能力成熟度(Data Management Capability Maturity Assessment Model,DCMM)三级所要求的水平:九大能力域的管理过程被定义、被执行,执行留有可供检查的记录。另一重是为四类高质量数据集的加工生产提供口径、规则与证据,使每一个数据子集都能回答它从哪里来、按什么标准加工、由谁批准发布。两重目标共用一套制度、一个平台与一套记录。
建设范围分三部分。治理体系部分,覆盖九大能力域的现状诊断、规划与制度建设,输出三十七项规划成果。治理平台部分,建设承载元数据、数据标准、质量规则、安全分级、资产目录与指标卡的管控平台,九项治理内容在平台上落地。治理实施部分,以十七套外围应用系统为数据来源、以九个业务域为落地对象,把标准、分级与规则加载到数据汇聚与加工的各个环节上运行,同步构建决策数据指标体系。
运行组织按三层设置。决策层是数据治理委员会,决议数据战略目标、跨部门口径争议、资源投入与考核结果。管理层是数据管理办公室与按能力域设置的九个数据治理工作组,办公室负责规划落地、制度起草、流程运行与指标采集,工作组负责本域规则的细化与会签。执行层是各业务域的数据专责、源系统的系统管理岗与我方项目组。三层之间有一条固定界线:制度与口径的审批权在甲方,规则起草、平台实现与数据加工由我方承办,业务口径由业务归口部门会签确认。
交付责任按主体分清。我方交付现状诊断报告与高质量数据集验证场景数据需求清单两份评估成果、三十七项规划成果、三份配套细则、十份标注规范、四类标准验证成果,以及一套治理平台及其运行记录。甲方承担治理组织的正式发文、业务口径的会签、源系统的授权开放与贯标评估的申报。贯标结论由具备资质的认定机构作出。治理部分的验收以三件事为准:成果物齐备、平台功能可用、执行记录可被抽查核对。
招标文件把治理目标写成一句话:以通过 DCMM 三级认证为目标,以满足 11 个智能化应用场景的高质量数据集建设为业务导向,构建全域数据治理体系,配套落地数据治理平台。这句话里有两个目标。贯标认证关心的是能力域有没有被规范地管起来、管的过程有没有记录可查;数据集建设关心的是某一张图纸、某一个热处理炉次、某一段振动波形今天能不能被稳定地取到、对齐、标注并交付。
两个目标的工作量落点不同。贯标的落点在制度、流程与组织,数据集建设的落点在字段、口径与可用率。本项目的处理方式是以后者为主线组织工作,把前者所需的制度与执行记录作为主线工作的自然产物:每一条标准发布时同时留下评审记录,每一次质量稽核运行时同时留下稽核台账,每一次数据服务授权时同时留下审批留痕。这样做的理由很直接——为贯标单独攒一套文档,文档与现场脱节,评审时问到执行记录就露底;而把记录长在业务动作上,记录是跑出来的,不是补出来的。
本包承担的是数据加工生产服务。治理体系的建设、治理平台的落地、治理文档的交付与数据治理实施均在本包范围内。11 个智能化应用场景所需的数据集与场景验证服务由本包提供,场景本身的建设由甲方另行安排。
招标文件 3.2.1 服务采购清单列明七项服务。七项之间不是并列的七块工程,而是一条生产线上的不同工位:第 1 项把数据取进来,第 2 项提供加工手段,第 5 项是加工实施的主体并把治理作为横向管控层贯穿,第 3 项把成品挂出去运营,第 4 项把软硬件装起来,第 6、7 两项由具备资质的机构从外部核验。治理不是其中的第八项,而是落在每一项上的约束与留痕要求。表 1-1 逐项给出治理在该项服务中的具体落点。
表 1-1 治理在七项服务中的落点
| 序号 | 服务名称 | 服务内容要点 | 治理在该项中的落点 | 详述位置 |
|---|---|---|---|---|
| 1 | 数据资源建设服务 | 17 套外围应用系统的多源异构集成采集;多格式多模态数据接入与离线非结构化数据解析录入 | 接入前完成元数据登记、数据元映射与安全分级判定,三项齐备方可汇聚;离线解析件按来源方式登记,与自动采集分开统计 | 「数据资源采集接入」;解析方法见「数据加工生产(一)」 |
| 2 | 数据集加工生产专项智能工具链建设服务 | 9 类 25 个工具链,不限许可节点数 | 工具链的输入输出字段引用数据元标准,运行日志回写字段级血缘;工具替换不改变治理侧的字段定义与分级 | 「专项智能工具链总述」及其三个分节 |
| 3 | 数据集运营服务管理平台建设服务 | 16 个功能模块,不限许可节点数 | 资源目录、权属登记与安全级别以治理侧为单一来源,运营侧按此展示与校验,不另建一套台账 | 「数据集运营平台」 |
| 4 | 系统集成服务 | 通用服务器、接入连接器、服务密码机国密调试、硬件网络适配 | 国密调用与权限策略按安全分级标准配置,集成测试与调试记录纳入贯标证据包 | 「系统集成方案」;硬件选型见「硬件选型与配置」 |
| 5 | 数据集加工生产实施服务 | 含数据治理规划和实施服务在内的全流程实施,另含技术标准验证、专家库、标注规范、软建设、内部管理制度、安全合规、知识产权七项配套 | 治理规划与实施是本项的第 1 条子要求,由本节与两个治理子节承载;技术标准验证与标注规范的依据同为治理侧标准体系,在第 2 章与第 3 章论述 | 加工主线见「四大数据集加工生产总述」;专家库、软建设与知识产权见「技术创新与机制创新」;内部管理制度见服务方案「项目管理措施」 |
| 6 | 信息安全风险评估服务 | 等级保护测评与商用密码应用安全性评估 | 安全分级标准与权限策略作为测评输入,测评发现项回流为数据安全域的整改项并进台账 | 「安全方案」第三方测评安排一节 |
| 7 | 数据集质量测评服务 | 首轮全量评测、缺陷整改复测、盖章评测报告与数据质量档案 | 评测指标与治理侧质量规则库同源,评测的错样归因结论回流为规则修订线索 | 服务方案「数据集质量评测方案」 |
清单第 5 项列了八条子要求。第 1 条数据治理规划和实施服务是本节与两个治理子节的主体内容。第 2 条技术标准验证与第 4 条数据标注规范,其依据都是治理侧的标准体系,因此与治理一并论述,分别在第 2 章与第 3 章。其余五条——数据标准专家库、约 30+项软建设配套措施、不少于 7 份项目内部管理制度、安全合规核查与去标识化、知识产权指标——按上表所列位置论述。
治理动作能不能落地,取决于每一件事有没有确定的起草方、会签方与批准方。本项目把这三者在项目启动阶段一次定清,写入数据治理组织架构与各项管理办法,不留「由相关部门协商确定」这类无主语的条款。
权限按三级分配。单域规则的发布、工作包排期、一般偏差的处理在数据管理办公室一级;跨域口径的裁定、安全分级中最高两级数据的授权、资源投入与考核结果在数据治理委员会一级;本域数据的口径确认、权属归属与对外共享范围在业务归口部门一级。三级之上有一条上报规则:办公室协调不成的事项上报委员会,委员会按季度例会或专题会裁定,裁定结论形成决议并更新到对应的制度条款中。
我方在这套组织里的位置是承办方。规则草案、平台配置、数据加工与证据归集由我方承担;审批、会签与口径确认由甲方相应层级作出。在甲方治理组织正式发文之前,各项成果物只出送审稿,以项目联合工作组形式临时议事,决议在组织设立后追认,避免因组织未定而使前期工作全部停摆。
表 1-2 治理事项的起草、会签、批准与留痕
| 治理事项 | 起草/承办 | 会签 | 批准 | 平台留痕 |
|---|---|---|---|---|
| 数据战略与实施路线图 | 我方项目组 | 九个工作组 | 数据治理委员会 | 战略任务与度量指标配置、评估结论 |
| 顶层管理制度与各域管理办法 | 我方项目组 | 对口工作组、业务归口部门 | 数据治理委员会 | 制度库条目、发布与修订记录 |
| 业务术语标准、数据元标准 | 我方项目组与数据管理办公室标准岗 | 对口工作组 | 数据管理办公室 | 标准版本、下发回执 |
| 参考数据码表 | 业务归口部门提出,标准岗整理 | 对口工作组 | 数据管理办公室 | 码表版本、变更记录 |
| 数据质量校验规则与阈值 | 质量岗与业务数据专责 | 对口工作组 | 数据管理办公室 | 规则上线记录、稽核台账 |
| 数据安全分级结论 | 业务归口部门判定,安全岗复核 | — | 数据管理办公室备案;争议由委员会裁定 | 分级审批单、标签变更记录 |
| L4、L5 数据的访问授权 | 使用方申请 | 数据责任部门 | 数据治理委员会 | 授权记录、访问审计日志 |
| 资产目录条目与权属登记 | 元数据与资产岗 | 业务归口部门 | 数据管理办公室 | 目录上下架记录、权属确认单 |
| 指标卡与计算口径 | 我方项目组 | 业务归口部门逐项会签 | 数据管理办公室 | 指标卡会签记录、口径变更记录 |
| 数据集发布与对外共享范围 | 我方项目组 | 数据责任部门 | 对外开放由委员会批准 | 服务授权记录、挂牌记录 |
同一个口径在两处定义,迟早会出现两个值。治理涉及的口径大多跨环节使用:一个安全分级结论既决定平台上的标签与访问权限,也决定数据集发布时的脱敏要求;一份质量规则既是业务数据稽核的判据,也是数据集质检门控的来源。这类口径若由各自使用的环节分别写一遍,差异往往要等到某次统计对不上才暴露出来,那时已经波及按旧口径产出的成果。本项目的做法是每一类口径只在一处定义,其余各处引用;凡需要修改口径的,一律回到定义处修改,不在使用处就地调整。
表 1-3 所列十类,是本项目中跨环节使用最频繁、也最容易各写一套的口径。它们的归属不按文档的先后或篇幅划分,而按规则责任:现状评估结论、组织制度、数据架构与资产的口径归两份数据治理规划,评测指标归数据集质量评测方案,分级标签的技术管控与测评归安全方案,目录与确权的功能实现归数据集运营平台,标注的实施方法归加工生产与工具链,各类报告模板归附录佐证卷——谁负责制定这件事的规则,谁所在的成果就是它的定义处。
读表时,中间一列是判据,指明该口径唯一可被修改的地方;右侧一列是用法,说明本节对它的引用方式,只作引用不另立口径。其中三十七项治理文档清单与分级标签两行最为关键,它们被引用的环节最多,也最容易在各节分头细化时走样。据此可以给出一致性的控制口径:首次交付前对表内十类口径逐项核对一次定义处与各引用处的取值,作为基线;此后随制度与成果的修订,逐步做到口径一经变更即触发各引用处的同步核对;若核对中发现同一口径出现两个取值,以定义处为准,使用处当次作废并回溯更新受影响的成果,变更过程进制度修订记录留痕。
表 1-3 治理口径的单一来源与引用关系
| 治理事项 | 口径的定义处 | 其他环节的用法 |
|---|---|---|
| 现状评估结论、数据战略、治理组织与制度、数据架构、数据资产 | 数据治理规划(一) | 本节引用其结论与交付时点,作为路径安排的依据 |
| 数据标准、数据质量、数据安全、数据生存周期、数据应用流通五域的域内设计 | 数据治理规划(二) | 本节引用域间接口与交付时点 |
| 三十七项治理文档的清单、章节骨架与提交节点 | 数据治理规划(二)治理规划文档交付清单一节 | 本节按合计口径与三阶段节点引用,并在第 4 章给出其与平台配置、运行记录、数据集交付的对应 |
| 九业务域与九项治理内容的落地矩阵、实施路径与里程碑 | 数据治理规划(二)实施路径一节 | 本节引用三阶段划分与阶段门禁 |
| 业务数据的质量规则与稽核 | 数据治理规划(二)数据质量一节 | 本节给出与数据集质检的接口口径 |
| 四类数据集的质量评测指标与方法 | 服务方案「数据集质量评测方案」 | 本节给出评测结论向治理质量规则的回流关系 |
| 分级标签的技术管控实现、国密与等保测评 | 「安全方案」 | 本节给出分级口径作为其输入的说明 |
| 数据集目录、确权、挂牌、交易与审计功能 | 「数据集运营平台」 | 本节给出治理资产目录与运营目录的接口 |
| 标注实施方法与标注工具链 | 「数据加工生产(二)」「工具链二」 | 本节给出标注规范的体系构成与评审发布 |
| 数据卡、质检报告、验证报告模板 | 附录佐证卷 | 各节按模板出具,不另拟格式 |
招标文件把本项目的生产逻辑写得很清楚:以数据治理为横向贯穿管控层,以知识本体与知识库为统一知识底座,以采集、预处理、标注、合成、增强、质检、验证为纵向生产链路,并以血缘追溯驱动定向回流。治理不是生产链路上的某一个环节,而是贯穿各环节的约束与留痕机制。图 1-1 按这一关系给出治理与生产链路、三个平台之间的位置与数据流向。
1-1 治理作为横向管控层在项目中的位置
图 1-1 治理作为横向管控层在项目中的位置。数据来源:招标文件第五章 3.2.6 生产逻辑表述、3.2.1 服务采购清单第 1、3 项、3.2.6.1.2 实施要求。
招标文件要求对标 DCMM 三级成熟度要求开展全域成熟度评估,形成三级现状诊断报告,明确短板与优化路径。三级在 GB/T 36073—2018《数据管理能力成熟度评估模型》中的表述是稳健级:管理过程已被定义并形成文件,相关人员按定义的过程执行,过程的执行留有记录并可被检查。三个条件里,前两个靠编制与发布,第三个靠时间。
这一点决定了本项目贯标工作的排法。如果把制度集中在项目后期发布,发布之日距评审之日只有数月,评审时能提交的执行记录就只有几个批次,定级会被核减。因此制度与标准的发布时点在规划中被刻意提前,流程优先上线以积累记录——这与「数据治理规划(一)」把制度发布过晚列为贯标风险,以及「数据治理规划(二)」的实施路径把标准与分级排进第一阶段,是同一条考虑。两处的时点安排以本节表 1-4 的路径为准。
这里需要把「二级与三级的差别」说透,因为它决定了本项目治理工作的投入分布。二级(受管理级)要求过程在局部被管理、有人负责、有基本记录;三级(稳健级)增加的是三条:过程被定义并形成文件、相关人员按定义的过程执行、执行留有记录并可被检查。
差别不在文档的厚度,在于能否证明「不是写了一套、做了另一套」。评估师现场取证的典型动作是:随机抽一个业务域、抽一个时间段,要求调出该时段内这一过程的全部执行记录,核对记录中的责任人、时点、结论是否与制度规定一致。记录条数少、时间跨度短、责任人与制度不符,三项中任一项不过,该过程域就会被核减到二级。
由此确定本项目的两条排法。第一条是制度先行、流程随后、记录积累贯穿全程:政策与标准类文件在第一阶段发布,不等到建设后期;流程在平台上线后即刻启用,哪怕初期批次少,也让记录从第一天开始累积。
第二条是优先在有真实业务量的域上跑流程:研发设计、生产制造、质量管理三个域有持续的数据加工批次,同样的制度在这三个域上能在半年内积累出上百条执行记录,而在人力资源域可能只有十几条。评估抽样时,抽到前者能拿出完整证据链,抽到后者也能说明记录条数与该域实际业务量相称——这两点都是评估师认可的答法。
贯标评估的组织与申报由招标方主导,我方承担诊断、规划、制度编制、流程落地与证据归集五项工作,并配合评估准备与现场答疑。评估结论由认定机构作出;我方对上述五项工作的完成质量与证据的可核查性负责。责任边界在 2.5 节另有说明。
贯标路径分四段:诊断、规划、实施、送审。四段不是依次完成再交棒,规划与实施有相当长的重叠期,否则记录来不及积累。
表 1-4 DCMM 三级达成路径与各段产出
| 段 | 主要工作 | 产出 | 与数据集建设的关系 |
|---|---|---|---|
| 一、诊断 | 九大能力域按组织、制度、流程、工具四个维度逐项核查;不足项分类梳理并定整改优先级;全域数据资产调研盘点 | 现状诊断报告;高质量数据集验证场景数据需求清单 | 需求清单直接决定四类数据集的可得样本与补录范围 |
| 二、规划 | 九个能力域逐域输出制度、流程与管理办法,明确组织岗位职责、管控流程与落地策略 | 数据治理顶层规划方案与九域规划成果,合并不少于 25 份治理文档 | 标准、分级与质量规则是加工环节的前置约束 |
| 三、实施 | 治理平台建设与九项治理内容在九个业务域落地;同步构建决策数据指标体系 | 平台上线运行;元数据、标准、规则、标签、血缘、台账等运行记录 | 加工生产在治理约束下运行,记录随之产生 |
| 四、送审 | 整理评审证据包,支撑甲方向认定机构申请贯标评估 | 评审证据包;能力域逐项的过程说明与记录索引 | 数据集加工与场景验证的过程记录是证据的一部分 |
四段中第三段最长,因为记录需要在真实业务上跑够周期。本项目的安排是把第一阶段的制度与标准发布节点压在首批数据汇聚与数据集加工开始之前,使加工过程本身就在治理约束下运行,加工留下的血缘、质量评分与审批留痕同时成为贯标证据。这样记录的积累周期与项目的加工周期同步,不另占时间。
1-2 贯标四段路径与执行记录的积累关系
图 1-2 贯标四段路径与执行记录的积累关系。数据来源:招标文件第五章 3.2.6.1、3.2.6.1.1、3.2.6.1.2;周期取招标文件第 3 章建设周期与质保期要求。
四段路径是时间上的粗分,排到执行层面还要再细一层。从现状调查到正式评价共七个阶段,每个阶段有自己的输入、活动与证据,也各有一条判断能否往下走的通过条件。通过条件写明了,阶段推进就是逐条核对;没写明,每到一个节点都要临时议一次,工期就是这样拖掉的。不通过时的整改口径同样事先定下,表 1-5 逐阶段列出。
表 1-5 贯标七个阶段的输入、活动、证据、负责人与通过条件
| 阶段 | 输入 | 主要活动 | 证据 | 负责人 | 通过条件 | 不通过的整改 |
|---|---|---|---|---|---|---|
| 一、现状调查 | 甲方现行制度文件清单;17 套外围应用系统的元数据与数据样本;九域访谈安排 | 按组织、制度、流程、工具四个维度逐过程域取证;全域数据资产调研盘点 | 访谈记录、制度清册、系统盘点表、取证导出件与截屏 | 我方项目组承办,数据管理办公室组织 | 二十八个过程域均取得不少于两条相互独立的证据,无整域空白 | 未取证的过程域列入补证清单并在两周内补证;因源系统未授权而无法取证的,出具说明并在诊断报告中单列,不以访谈结论顶替系统证据 |
| 二、差距分析 | 现状调查证据包;GB/T 36073—2018 三级要求 | 逐过程域对照定级标尺评分,量化差距,按影响面与整改成本定优先级 | 成熟度评分表、差距项清单、整改优先级四象限 | 数据管理办公室,我方项目组支撑 | 每个差距项都能指到具体过程域条款与具体证据缺口 | 评分有争议的由对口工作组复评,复评仍不一致的提交数据治理委员会裁定,裁定结论写入诊断报告 |
| 三、制度发布 | 差距项清单;甲方现行文件体例 | 九域规划成果编制、三道评审、按企业文件发布程序发文 | 送审稿、评审意见与处理表、正式发文件、生效日期 | 我方起草,工作组会签,数据管理办公室报批 | 第一阶段的制度与标准按节点发文,发文件有文号与生效日期 | 发文延期的,先以项目联合工作组决议作为临时依据并登记在案,发文后追认;延期超过一个月的,相应调整送审时点 |
| 四、实际运行 | 已发布的制度与标准;治理平台上线 | 标准加载、规则上线、分级标注、审批流启用;九个业务域按批次纳管 | 平台配置记录、稽核台账、审批流水、血缘登记、变更记录 | 数据管理办公室,各业务域数据专责 | 关键过程域的执行记录覆盖不少于两个考核周期,记录中的责任人与制度条款一致 | 记录条数不足的业务域延后纳入送审范围,先行补跑流程;记录与制度不一致的,先改执行再议是否改制度 |
| 五、内部审核 | 运行记录;制度文本 | 按能力域抽样核对记录与制度的一致性,出具内审发现项 | 内审计划、抽样清单、内审发现项与整改要求 | 数据管理办公室牵头,我方项目组配合取证 | 抽样覆盖九个能力域,发现项全部有责任人与整改时限 | 发现项未闭环前不进入送审;判为重大不符合的,整改后重新抽样复核 |
| 六、改进 | 内审发现项;质量与安全的运行问题 | 修订制度条款、调整规则阈值、补齐缺失记录对应的流程动作 | 修订记录、版本对照、复核结论 | 承办工作组,数据管理办公室复核 | 发现项闭环率达到内审计划约定的基线,未闭环项有明确时限与责任人 | 同类问题两次重复出现的,判为机制缺陷,整改落到流程设计一层,不停留在补单条记录 |
| 七、正式评价 | 评审证据包;能力域逐项的过程说明与记录索引 | 甲方向认定机构提出评估申请,接受文件评审与现场评审,回应问询并整改 | 申请材料、评审问询记录、整改回复、认定机构出具的评估结论 | 甲方申报,我方承担材料组织与现场支撑 | 以认定机构出具的结论为准 | 按认定机构出具的不符合项组织整改并申请复评,整改过程同样留痕 |
第五、第六两个阶段的结论是内部结论。这两个阶段我方出具的是自评报告与内审发现项,用途是判断送审准备是否充分、哪些能力域还不具备送审条件。自评得分不作为能力成熟度等级的结论使用,项目进度汇报与阶段验收材料中同样按此口径表述;等级结论只来自认定机构的正式评价。把内部自评写成认证结果,评审现场一对证据就会露底,代价远大于如实说明准备程度。
招标文件两处写「DCMM 九大能力域」,并在 3.2.6.1.1.2 项下实列九个规划域:数据战略、数据治理、数据架构、数据资产、数据标准、数据质量、数据安全、数据生存周期、数据应用流通。GB/T 36073—2018 的能力域为八个、过程域为二十八个。
本投标文件统一按招标文件原文口径使用「九大能力域」一词,并在「数据治理规划(一)」的能力域与过程域对照表中把九个能力域逐一对照到基准模型的过程域,使评估结论既能逐条回到招标文件的规划域要求,又能直接支撑按基准模型开展的贯标送审。两套划分之间的对应关系在诊断报告中作为附表给出,评审时可双向查对。
DCMM 贯标评估由具备资质的认定机构实施并出具结论,认证主体是甲方。我方承担的是达成三级所需的能力建设与送审支撑:开展现状诊断、编制九域规划成果、建设治理平台、推动治理实施、整理评审证据包、配合现场评审与问题整改。认证的受理时点与出证时点取决于认定机构的受理安排,本节不就出证时点作承诺。
若在送审准备中发现某一能力域的执行记录积累不足两个考核周期,我方的建议是调整送审时点而非压缩记录周期:送审被核减的代价高于延后送审。这一回退口径与「数据治理规划(一)」列出的贯标风险条一致。
招标文件在三处各出现一组九,三组的对象不同,合读时很容易混为一谈,混了以后矩阵、排期与验收口径都会错位。
第一组是九大能力域,出自治理规划要求,指数据战略、数据治理、数据架构、数据资产、数据标准、数据质量、数据安全、数据生存周期、数据应用流通。它们是规划与制度的分域,决定写哪些文件、设哪些岗位、按什么条款考核。本投标文件中「能力域」与「规划域」同义。
第二组是九项治理内容,出自治理实施要求,指数据汇聚、数据处理、元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全管理、数据指标管理、数据服务管理。它们是治理平台上的执行能力,决定用什么功能做、产生什么记录。
第三组是九个业务域,同样出自招标文件相应条款,指人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理。它们是治理动作的落地对象,决定在谁的数据上做。
三组的关系是一句话:能力域出规则,治理内容是平台把规则执行出来的动作,业务域是动作施加的对象。以「数据标准」为例,它在第一组里是一个能力域,产出数据元标准与参考数据码表;在第二组里对应「数据标准管理」,是平台上的标准录入、版本管理、映射对照与下发功能;在第三组的九个业务域里,表现为各域的字段分别挂到哪一条标准上、挂了多少、还差多少。名称相近而所指不同,本投标文件自本节起统一按此区分。
三组之间不是一一对应,强行对齐反而会造出不存在的格子。表 1-6 以第二组的九项治理内容为主键,向左指出规则由哪个能力域产出,向右指出在九个业务域的落地次序,中间给出平台承载的模块与产生的运行记录。这张表是后续排期、平台配置与验收核对共用的底表。
表 1-6 九项治理内容与九大能力域、九个业务域的对应
| 治理内容(平台执行) | 规则来源的能力域 | 平台承载模块 | 产生的运行记录 | 在九个业务域的落地次序 |
|---|---|---|---|---|
| 数据汇聚 | 数据架构(数据集成共享管理规范)、数据安全(分级判定) | 采集任务配置、连接器管理 | 汇聚批次台账、接口调用日志 | 研发设计、生产制造、质量管理、仓储物流、设备管理先行;其余四域随第二批 |
| 数据处理 | 数据生存周期(数据设计开发规范)、数据标准 | 处理任务编排、规则执行引擎 | 处理作业记录、规则命中统计 | 与数据汇聚同批推进,按同一批次纳管 |
| 元数据管理 | 数据架构(元数据管理办法) | 元数据采集与登记、血缘视图 | 元数据变更记录、字段级血缘登记 | 九域同批建立基本登记,血缘粒度按域分期加深 |
| 数据资产管理 | 数据资产 | 资源目录、权属登记、价值评估 | 目录上下架记录、权属确认单、评估结论 | 研发设计、生产制造、设备管理先行 |
| 数据标准管理 | 数据标准 | 标准录入与版本、映射对照、标准下发 | 标准发布记录、映射变更与例外登记 | 术语与数据元九域同批,指标标准随第二批 |
| 数据质量管理 | 数据质量 | 规则库、稽核调度、问题工单 | 稽核台账、整改工单与复核记录 | 研发设计、生产制造、质量管理先行 |
| 数据安全管理 | 数据安全 | 分级标注、权限与审批、脱敏策略、审计 | 分级审批单、授权与撤销记录、访问审计日志 | 人力资源、财务管理、营销管理的分级动作前置,其余随汇聚批次 |
| 数据指标管理 | 数据标准(指标标准)、数据战略(度量指标) | 指标卡登记、口径会签、指标计算配置 | 指标卡会签记录、口径变更记录 | 第二批,随决策指标体系的三个确认时点推进 |
| 数据服务管理 | 数据应用流通 | 服务目录、服务分级、授权与计量 | 服务授权记录、调用计量、降级记录 | 第三批,随数据集运营推广推进 |
表 1-6 里没有「数据战略」与「数据治理」两行,不是遗漏。这两个能力域产出的是目标、组织、制度与考核,落在发文件、会议纪要与考核结果上,由平台的流程与审批功能留痕,不对应某一项具体的治理内容。九个业务域的逐格优先批次与各域实施重点在「数据治理规划(二)」的落地矩阵中逐格给出,本节给的是对应关系本身。
1-3 三套九项清单的对应关系
图 1-3 三套九项清单的对应关系。数据来源:招标文件第五章 3.2.6.1、3.2.6.1.1.2 项下实列的九个规划域、3.2.6.1.2 九个业务域与九项治理内容。
九个能力域放在一张表里看像九件平行的事,实际它们是三层。最上面两域回答「谁来管、按什么方向管」:数据战略定方向与路线图,数据治理定组织、制度与考核。中间三域回答「管什么」:数据架构定数据怎么组织与怎么流动,数据标准定每个字段与每个指标的口径,数据资产定哪些数据被登记为资产、归谁、值多少。外围四域回答「管得住没有」:数据质量校验数据对不对,数据安全管住谁能看、看多少,数据生存周期管住从需求到退役的每一步有没有留痕,数据应用流通管住数据以什么形态出去。
这个分层有实际用处。诊断时若某个域评分低,分层能指出是上层缺位还是下层缺工具——战略与治理两域弱,则下面七域的规划无人审批、无人考核,先补组织;中间三域弱,则外围四域的规则无依据可写,先补标准;外围四域弱而中间三域齐备,则多半是平台能力与执行记录的问题,补工具与流程即可。「数据治理规划(一)」的整改优先级四象限就是按这一判断给出的。
1-4 九大能力域的三层结构与域间主要接口
图 1-4 九大能力域的三层结构与域间主要接口。数据来源:招标文件第五章 3.2.6.1.1.2 项下实列的九个规划域(以下各项)、3.2.6.1.2 九个业务域。
九域之间的衔接点须单列。各域的域内设计分别写在两个子节里,域与域之间的交接若不单列,合在一起读会出现同一个对象在两处有两套说法。表 1-7 按「产出—接口件—消费方」三栏列出主要接口,接口件是可以指着看的具体东西,不是抽象的协同关系。
表 1-7 九大能力域之间的主要接口
| 产出方 | 接口件 | 消费方 | 接口口径 |
|---|---|---|---|
| 现状评估 | 现状诊断报告、场景数据需求清单 | 九个规划域 | 诊断结论是九域规划的唯一输入;规划中每项任务须能指回诊断报告的差距编号 |
| 数据战略 | 三阶段路线图、度量指标 | 数据治理、各域实施计划 | 路线图的阶段切分即各域成果物的交付时点依据 |
| 数据治理 | 三层组织、岗位职责、考核细则 | 全部八域 | 各域成果物的审批主体与会签路径由此确定;组织未发文前成果物只出送审稿 |
| 数据架构 | 数据元与物理字段映射、元数据与字段级血缘 | 数据标准、数据质量、数据生存周期 | 血缘粒度到字段级;质量问题的定位与错样归因均沿血缘回溯 |
| 数据标准 | 数据元标准、参考数据码表、指标卡 | 数据质量、数据安全、知识本体、指标体系 | 校验规则引用数据元与值域;知识本体引用术语标准,不另立术语 |
| 数据资产 | 资源目录条目、权属登记、价值等级 | 数据应用流通、运营平台 | 目录条目实时带出质量分与安全级别;运营平台的挂牌与确权以权属登记为据 |
| 数据质量 | 规则库、质量评分、整改台账 | 数据集质检、数据服务、资产价值评估 | 质量未达门限的数据按置信标记降级输出,不直接中断加工 |
| 数据安全 | 五级分级标签、权限与脱敏策略 | 数据架构、生存周期、应用流通、安全方案 | 分级标签是权限、脱敏、审计三类管控的唯一驱动输入 |
| 数据生存周期 | 采集、加工、接口开发规范与评审检查点 | 加工生产链路、运维 | 规范的检查点即开发过程的放行条件 |
| 数据应用流通 | 服务目录、SLA 分级、授权与计量 | 场景验证、运营推广 | 三级服务在资源紧张时降级,一级服务优先保障 |
表中有两条接口在子节里分别出现过,合读时以本表为准。一是知识本体与数据标准的关系:知识本体引用治理侧的术语标准、参考数据标准、数据元标准与指标标准,不另立一套术语;本体先行定义的领域概念回流为标准草案,字段定义冲突时以数据元标准为准。二是业务数据质量与数据集质量的关系:治理侧的质量规则管的是九个业务域的业务数据,数据集的质量评测按《高质量数据集质量评测规范》开展,两者的关系是前者为后者供料、后者的错样归因结论回流为前者的规则修订线索。
九项治理内容是横向能力,九个业务域是纵向对象,交叉形成落地矩阵。矩阵不是均匀的:研发设计、生产制造、质量管理三个域直接产出工艺设计类、制造过程类与产品质量类数据集的主体样本,治理动作排在第一批;仓储物流与设备管理支撑供需计划类数据集与设备诊断相关场景,同在第一批但元数据与安全动作可后置;采购、营销、财务、人力资源四个域主要支撑决策指标与通用场景,治理动作整体后置,但其中三个域的安全分级要前置,原因是这三个域集中了分级标准中最高两级(L4 与 L5)的数据。
人力资源域在数据集贡献上权重最低,组织与岗位主数据却须排在第一批——它是其余八域权限模型与操作留痕的前提,也是第 1.5.4 节权限撤销一条能够成立的前提。逐格的优先批次与各域实施重点在「数据治理规划(二)」的落地矩阵与逐域实施重点中给出。
矩阵不均匀带来一个实际问题:同一项治理动作在不同业务域的成熟度不同步,跨域的数据一旦汇到一起,口径就会打架。最常见的三类冲突值得先讲清处置办法。
第一类是同一业务对象在两个域有两套编码。 例如同一台刮板输送机,设备管理域按设备台账编码,生产制造域按产品编号,两者在历史上各自独立维护、互不回指。处置办法不是强行统一编码——那会要求两个域同时改造既有系统,工期不可控——而是在主数据域建立对照关系并指定权威源:设备台账为权威源,生产侧保留原编码并挂对照,汇聚到数据集时按权威源归一。对照关系的建立与维护纳入主数据管理流程,新增对象在源头即登记对照,存量对象按批次补录。
第二类是同一指标在两个域有两个口径。 例如「在制品数量」,生产制造域按工序流转口径统计,仓储物流域按实物在库口径统计,两者在数值上长期不等且各有道理。处置办法是在数据标准域把两个口径都登记为正式指标,各自给出计算逻辑、适用场景与责任部门,不做二选一;在数据集中以指标标识区分,使用方按场景选用。强行取一个口径会让另一个域的历史数据全部失效,代价远大于并存。
第三类是同一份数据在两个域有不同的密级判定。 例如客户工况资料,营销域按商业信息判为内部级,而其中含矿方的地质参数,安全域按行业要求判为更高级别。处置办法是取高不取低,并把判定依据连同判定人一并登记;后续若业务部门主张降级,须以书面依据走变更流程,不以口头协商改变密级。这一条在本项目尤其要紧——数据集一旦按较低密级发布,回收的代价极高。
三类冲突的共同处置原则是:先登记、再裁决、不静默归并。任何一次归并都在元数据中留下归并前的原值与归并依据,使后续发现判断有误时可以回退。争议从登记到裁定的完整流程、各步的时限与裁决前的数据处置口径,在第 1.5.2 节给出。
治理落到执行层面,对象是十七套外围应用系统。十七套按它们在数据链上的角色分五组,纳管重点与批次各不相同。分组的意义在于:同一条控制链在不同组系统上的难点不一样,把难点提前认出来,批次才排得准。
表 1-8 十七套外围应用系统的分组、纳管重点与批次
| 组别 | 系统 | 承载的主要数据 | 纳管重点 | 批次 |
|---|---|---|---|---|
| 生产与工艺执行(3 套) | MES、SCADA、热处理群控系统 | 工单与工序流转、设备运行参数、热处理炉次与温控测量值 | 时序测点的口径与工况分段依据;28 道备料工序在各系统中的名称归一 | 第一批 |
| 设计与文档(2 套) | PLM、OA | 设计图纸、工艺文件、技术文档、公文与审批件 | 图纸与工艺卡的配对规则;文档版本与密级的对应 | 第一批 |
| 质量与售后(3 套) | QMS、SOS、安全监管平台 | 四类检验记录与质量台账、报警与维修记录、安全事件与隐患 | 缺陷类型码表归一;报警与处置的配对口径;敏感事件的分级与脱敏 | 第一批 |
| 供应链与资产(6 套) | ERP、SCM、WMS、LMS、EAM、EMS | 物料与库存、采购与供应商、运单与节点时间、设备台账、能耗计量 | 物料与设备主数据去重;同一实体在多套系统中的编码映射 | 第二批 |
| 经营与主数据(3 套) | CRM、久其系统、主数据管理平台 | 客户与商机、经营指标、企业主数据 | 经营指标口径随决策指标体系成文;主数据以主数据管理平台为上游,治理侧不另建码表 | 第二批 |
对这十七套系统,治理落地的形式是七条控制链:数据标准、主数据、元数据、数据质量、数据安全、数据生存周期、共享流通。每条链都要讲清同样的六件事——规则从哪来、每个环节谁负责、谁有权批、平台执行什么动作、不通的时候怎么办、留下什么记录。六件事缺一件,这条链在评审现场就答不上来。表 1-9 给出前三件,表 1-10 给出后三件。
表 1-9 七条控制链的规则来源、环节责任与审批权限
| 控制链 | 规则来源 | 环节与责任人 | 审批权限 |
|---|---|---|---|
| 数据标准 | 业务术语标准、数据元标准、参考数据标准、指标标准(数据标准域发布) | 草案由我方项目组与标准岗起草;对口工作组会签;业务归口部门确认本域口径;数据管理办公室报批 | 标准新增与修订由数据管理办公室批准;跨域口径冲突报数据治理委员会裁定 |
| 主数据 | 主数据管理平台为上游数据源,参考数据标准定码表体例 | 变更由业务归口部门提出;主数据维护岗执行;数据管理办公室复核并分发 | 新增主数据类目由数据管理办公室批准;编码规则调整报数据治理委员会 |
| 元数据 | 元数据管理办法(数据架构域) | 技术元数据由平台自动采集;业务元数据由各域数据专责填报;数据架构岗复核 | 元数据模型与采集范围的变更由数据管理办公室批准 |
| 数据质量 | 数据质量校验规则库,规则引用数据元与值域 | 规则由质量岗与业务数据专责共同定义;对口工作组会签;平台按调度执行稽核;问题工单由责任域承办 | 规则上线与阈值调整由数据管理办公室批准;跨域整改方案报数据治理委员会 |
| 数据安全 | 数据安全分级标准、数据权限管理规范 | 分级由业务归口部门判定、安全岗复核、办公室备案;授权由使用方申请、数据责任部门审核 | L1 至 L3 的授权由数据责任部门审批;L4、L5 的授权报数据治理委员会;分级结论有争议的由委员会裁定 |
| 数据生存周期 | 数据需求管理规范、数据设计开发规范、数据运维管理制度、数据退役管理规范 | 需求由业务提出;数据架构岗评审;开发按规范实施;运维岗接管;退役由数据责任部门申请 | 需求与设计评审由数据管理办公室批准;退役由数据管理办公室批准,涉及已交付数据集的报数据治理委员会 |
| 共享流通 | 数据开放共享管理规范、外部数据引入管理办法 | 服务需求由使用方提出;数据责任部门确认范围;办公室登记服务目录;平台发布接口 | 内部共享由数据责任部门审批;对外开放与数据集挂牌报数据治理委员会;外部数据引入另行合规审查 |
表 1-10 七条控制链的平台执行动作、例外处理与留痕
| 控制链 | 平台执行动作 | 例外处理 | 留痕 |
|---|---|---|---|
| 数据标准 | 标准录入并生成版本号;向十七套系统的接入配置下发字段映射;加工侧按版本号引用 | 源系统现用字段与标准不一致且短期无法改造的,登记为映射例外并挂入标准映射对照表,设复核期,到期重新判定 | 标准发布记录、映射对照版本、下发回执、例外登记与复核结论 |
| 主数据 | 订阅主数据变更并同步到资产目录与加工侧字典,同一变更在各处的生效时点一致 | 同一实体在多套系统有不同编码的,建立交叉引用而不强制改造源系统;归属有争议且未裁决的,以主数据管理平台口径为准 | 主数据变更单、同步执行记录、交叉引用表 |
| 元数据 | 定期采集与比对,变化项生成变更记录;血缘登记到字段级 | 采集不到的离线来源(纸质档案、离线交换件)手工登记并标注来源方式,与自动采集分开统计,不计入自动采集覆盖率 | 元数据变更记录、字段级血缘登记、采集任务日志 |
| 数据质量 | 按调度执行稽核,生成质量评分与问题工单;评分回写资产目录与数据卡 | 质量未达门限的数据按置信标记降级输出并在数据卡标注,不中断加工;源头确实无法修复的列入已知缺陷清单,在验收材料中一并说明 | 稽核台账、问题工单与复核记录、质量评分历史 |
| 数据安全 | 打分级标签,按标签驱动权限、脱敏与审计三类管控;越权访问实时拦截并告警 | 分级尚未判定而加工排期已到的,该批次进入落地区待判定分区,不进加工区;存放期上限 15 个工作日,超期未判定的升级至数据治理工作组裁决 | 分级审批单、授权与撤销记录、脱敏策略版本、访问审计日志 |
| 数据生存周期 | 在需求、设计、开发、运维、退役各阶段设评审检查点,检查点未过不进入下一阶段;退役对象标记为停用并保留血缘 | 已被数据集引用的对象不直接物理删除,先转为只读并标注退役状态,待引用关系解除后按归档策略处理 | 需求单与评审记录、设计评审检查表、退役申请与执行记录 |
| 共享流通 | 按服务目录发布接口,按服务分级限流与计量;调用记录回流作为资产价值评估的输入 | 三级服务在资源紧张时降级,一级服务优先保障;外部数据来源合法性未经核实的不予引入 | 服务授权记录、调用计量、降级与限流记录、合规审查结论 |
七条链在同一套系统上是叠加的,顺序不能乱。以热处理群控系统为例:炉次曲线要先有数据元标准与温度量纲口径,才谈得上登记元数据;要先有设备主数据,才知道这条曲线属于哪台炉;要先判定分级,才决定取数时是否脱敏;三件齐了才进入汇聚与加工,之后由质量稽核按规则打分,由生存周期的检查点控制接口变更,最终由共享流通决定它以什么形态出去。图 1-5 给出这一顺序。
1-5 一套源系统从接入到出数据的控制链
图 1-5 一套源系统从接入到出数据的控制链。数据来源:招标文件第五章 3.2.1 服务采购清单第 1 项、3.2.6.1.2 九项治理内容。
招标文件要求依据诊断报告与治理规划开展数据治理平台建设与数据治理实施工作,并要求九项治理内容在数据治理开发工具平台上落地。同时,服务采购清单第 1、2、3 项另有数据资源建设、工具链建设与运营服务管理平台建设。这里有三个平台角色,职责必须分清,否则实施时会出现同一份元数据在两处登记、同一个口径在两处定义。
分法的依据是三者管的东西不同。治理平台管的是约束与证据——数据元长什么样、字段属于哪一级、规则怎么判、血缘往哪连、谁在什么时候批准了什么。加工生产平台管的是生产动作——采集、预处理、标注、合成、增强、质检、验证各环节的任务编排与算力调度。运营服务管理平台管的是成品的对外服务——数据集目录、版本、权限、确权、挂牌、交易与审计。三者在本项目中作为奔牛数据智能平台的治理组件、加工组件与运营组件部署,共用统一身份与统一审计,但数据对象与责任主体各自独立。
这样分的实际好处在换件时能看出来:工具链随技术演进替换,加工组件变;治理侧的数据元、分级与规则不变,已加工数据的血缘与质量档案也不作废。反过来,治理标准修订时,受影响的加工任务由血缘反查出来,重跑范围是可计算的,不必全量重做。
1-6 三个平台的职责分界与接口
图 1-6 三个平台的职责分界与接口。数据来源:招标文件第五章 3.2.1 服务采购清单第 1、2、3 项、3.2.6.1、3.2.6.1.2。
四条接口在实施中各有一条可检查的放行条件,口径如下。
下行约束这一条的放行条件是:接入对象的元数据登记、数据元映射、分级标签、入口校验规则四项齐备,未齐备的对象不进入下一环节的加工。这一条是治理侧对加工侧唯一的硬门槛,也是贯标时「过程被规范执行」最直接的证据。
上行采集这一条的放行条件是血缘粒度。血缘须登记到字段级,否则质检发现错样时无法定位到源字段,错样归因就只能停在数据集层面,定向回流无从下手。血缘不完整的对象在质量溯源中标记为不可溯源并优先补齐,这与「数据治理规划(二)」的元数据验收口径一致。
资产口径下行这一条的要点是单一事实源。资源目录条目、权属登记与价值等级只在治理侧维护一份,运营平台的挂牌、确权与交易以此为据展示与校验,不在运营侧另建一套权属台账。
使用情况回流这一条是价值评估的数据来源。使用计量不足一个季度的对象暂不作价值评估,避免以偶发调用量给出等级。
表 1-11 把三个平台的职责、对应的招标文件条款与论述位置并列,便于核对。
表 1-11 三个平台的职责与论述位置对照
| 平台 | 管什么 | 不管什么 | 论述位置 |
|---|---|---|---|
| 治理平台 | 元数据、标准、质量规则、分级与权限策略、资产目录与权属、指标卡、服务目录 | 不承担数据集的加工作业与对外交易 | 第 1.4 节;实施落地见数据治理规划(二)实施路径一节 |
| 数据集加工生产平台 | 七个生产环节的任务编排、工具链运行、知识底座、质检与验证、训推服务 | 不自行定义数据标准与分级口径 | 四大数据集加工生产总述及其分节;工具链总述及其分节 |
| 运营服务管理平台 | 数据集目录与版本、权限、确权、挂牌、交易与审计,共 16 个功能模块 | 不另建权属台账与质量评分体系 | 数据集运营平台 |
四条接口都有「不通」的时候,口径须事先写明,否则实施期每遇一次就要议一次。
下行约束不通的典型情形是:某一批数据的分级标签尚未判定,而加工排期已到。处置是挂起该批而不是降级放行——按最小必要原则,该批先进入落地区的待判定分区,不进入加工区;待判定分区的存放期上限为十五个工作日,超期未判定的升级至数据治理工作组裁决。这样做的代价是该批次延期,收益是不会出现「先加工后发现密级判高了」这种只能整批作废的局面。
上行采集不通的典型情形是:血缘字段级登记缺失,而质检已经发现错样。处置是按可溯源程度分档:能溯源到字段的,走定向回流;只能溯源到批次的,整批复核;连批次都溯不到的,该数据子集标记为不可溯源并暂停发布,同时倒查血缘写入环节的缺陷。第三种情形在实施期应当趋近于零,若出现即为公共层缺陷,进缺陷台账按一级处置。
横向校验与标准下发两条接口的失效处置相对简单:横向校验不通时,以治理侧的规则库版本为准、加工侧按该版本重跑受影响批次;标准下发不通时,加工侧沿用上一版标准并在数据卡中标注所用标准版本号,待标准到位后评估是否需要回溯处理。四条接口的失效处置均产生记录,记录本身就是贯标评审时「过程异常也被管理」的证据。
控制链写的是常态。机制立不立得住,要看非常态怎么办。本项目的治理与数据集交付同时进行,下面五类情形在实施期一定会出现:制度改了而数据集已经发布、两个部门对同一个口径各执一词、历史数据有错要修、人员岗位变了权限要收、某一版数据集发出去之后发现要重发。这五类情形如果没有事先定好的处置办法,每出现一次都要临时开会商量,而商量的结果往往是把问题挂起来——挂起来的问题最终会变成验收时的争议。
下面逐类给出触发条件、处置步骤、责任与审批、平台动作、时限与留痕,并以本项目可能遇到的具体情形说明。表 1-12 在末尾汇总。
典型情形:热处理工艺参数中的温度字段,首版数据元标准按「设定温度」定义,现状评估后期发现工艺与质量两个部门实际使用的是「炉内实测温度」,标准需要修订;而制造过程类数据集的首批已经发布,并已被两个场景的验证用例引用。
处置分六步。第一步,变更登记:由提出方填写变更申请,写明修订内容、依据、建议生效时点,数据管理办公室受理并编号。第二步,影响反查:平台按字段级血缘向下游反查,列出受影响的物理表、加工任务、数据子集与已发布版本,反查结果是一份可以逐行核对的清单,不是估计。第三步,影响分级,分三档——一档只是口径说明变化,数据值不变;二档需要重算派生值或重跑加工任务;三档需要重新标注或重新采集。第四步,按档处置:一档更新数据卡中的标准版本号与口径说明;二档重跑受影响的加工任务并发布新版本;三档列入定向回流计划并按批次排期,排期须与数据集交付节点一并核算。第五步,评审与批准:一档由数据管理办公室批准,二档、三档涉及跨域影响的报数据治理委员会。第六步,执行与通知:已发布版本不就地覆盖,发新版本并在数据卡中标注与上一版的差异,场景验证侧据此判断是否重测。
时限:影响分析在变更申请受理后 10 个工作日内出具;二档处置在新版本发布前完成;三档处置的排期在影响分析结论中一并给出。留痕:变更申请单、血缘反查清单、影响分级结论、新旧版本对照、通知回执。
这一步里最容易被跳过的是第二步。没有字段级血缘,影响范围就只能靠人回忆,回忆不全的部分会以「漏改」的形式在验收时暴露出来。这也是本节反复把血缘粒度写成字段级的原因。
典型情形:同一道备料工序,总工艺路线上称一个名称,车间工艺卡片上称另一个名称;28 道备料工序中有若干道存在这类差异。工艺部门主张以总工艺路线为准,生产管理部门主张以车间卡片为准——车间卡片是实际执行用的。
处置分五步。第一步,争议登记:由发现方或业务数据专责提出,登记内容包括两种口径的表述、各自依据、涉及的字段与数据集范围。第二步,协商:数据管理办公室在 5 个工作日内组织对口工作组与双方归口部门协商;达成一致的,形成口径确认单并更新对应标准。第三步,裁定:协商不成的提交数据治理委员会,按季度例会或专题会裁定,裁定结论为唯一口径并写入标准。第四步,裁定前的数据处置:该字段在平台上标注「口径待确认」,相关数据子集可以继续加工但不进入发布;依赖该口径的场景验证范围相应收窄,并在验证报告中记录当时的数据条件。第五步,裁定后的收口:统一更新标准、映射与已加工数据的标签,已发布版本按 5.1 的影响分析流程处理。
第 1.3.5 节列出的三类冲突——同一对象两套编码、同一指标两个口径、同一数据两种密级——都走这条流程,差别只在裁定原则:编码类建对照不强行统一,指标类两个口径并存且各自登记,密级类取高不取低。留痕:争议登记单、协商纪要、委员会决议、口径确认单、受影响对象清单。
典型情形:约 63 万张历史工艺样本中存在扫描件缺页、图纸与工艺卡配对错位、关键字段缺失三类问题,这批数据已经汇聚并进入预训练语料的候选池。
处置分五步。第一步,发现与归因:由质量稽核或数据集质检发现,生成问题工单,按错样归因沿血缘定位到源字段与源批次。第二步,可修复性判定,分三档——可由源系统补数、可由档案原件重新采集、不可修复。第三步,分档处置:可修复的排入修复批次,修复后重新走质检门控;不可修复的从候选池剔除,在数据卡与已知缺陷清单中登记,同时核算该数据子集的规模缺口,缺口通过扩大其他来源的采集范围补齐,补齐方案随当期交付说明一并提交。第四步,版本处置:修复不就地覆盖原始落地件,原始件只读保存,修复结果作为新版本,血缘登记两者关系。第五步,统计处置:修复批次的质量指标与首批分别统计,避免修复后的数据拉高整体基线造成对数据质量的误判。
时限与门限:修复批次在问题确认后 1 个月内排期;同一源批次经两轮修复仍未达门限的,判为源头缺陷,转入采集方案或制度层面的调整,不再在加工侧反复返工。留痕:问题工单、归因结论、修复批次记录、原始件与修复件的血缘、已知缺陷清单。
典型情形:项目期内人员岗位调整、外部评测机构的临时账号到期、某业务域数据因分级上调需要收回已经授出的访问权。
处置分五步。第一步,触发:岗位变动由人力资源域的组织与岗位主数据变更驱动,账号到期由平台按有效期自动触发,分级上调由安全岗提出。第二步,权限反查:平台按权限模型列出该主体当前持有的全部授权,包括数据集下载、接口调用、标注任务与平台功能权限,反查结果需逐项处置,不做批量勾销。第三步,撤销方式分两种:岗位变动与分级上调即时撤销;账号到期给出不超过 5 个工作日的过渡期用于交接,过渡期内的操作全部进审计。第四步,副本核查:已下载的数据集副本不随授权撤销自动失效,因此撤销同时触发副本登记核查,要求持有方在约定期限内销毁或退回并出具回执。第五步,撤销后监控:撤销后的访问尝试进入审计告警,连续出现的按安全事件处置流程办理。
这条链能够成立的前提是组织与岗位主数据先行——不知道谁在哪个岗位,就无从判断谁该被撤权。这也是人力资源域虽然在数据集贡献上权重最低、治理动作却排在第一批的原因。留痕:撤销工单、权限反查清单、过渡期说明、副本销毁或退回回执、撤销后的访问审计记录。
典型情形:某数据子集发布后,发现其中一个来源批次的安全分级判定有误——判高导致部分本可使用的样本被排除,或判低导致脱敏不足。
重发的触发条件写死三条:分级判定有误、质量门限误判、口径变更达到 5.1 所述的二档以上影响。三条之外的问题走修订而不走重发,避免版本号被频繁消耗、下游无从引用。
处置分六步。第一步,冻结:确认后 1 个工作日内冻结该版本的下载与挂牌,已授权方同步收到冻结通知。第二步,范围确定:平台按血缘确定受影响样本范围。第三步,重算与出版:重算受影响样本,出具新版本,并给出与上一版的差异清单,差异按新增、剔除、字段变更三类分别计数。第四步,旧版处置:旧版本标记为「已被替代」并保留可查,不删除——评测结论与场景验证结论都引用了版本号,删除会让这些结论失去依据。第五步,通知:通知已授权方与场景验证侧,由后者判断是否重测。第六步,复测衔接:若重发涉及已出具盖章评测报告的数据集,按评测方的复测口径安排复测,复测结论并入该数据集的质量档案。
留痕:冻结通知、重发申请与批准、差异清单、新旧版本对照、复测安排与结论。
表 1-12 五类情形的处置要素对照
| 情形 | 触发 | 承办与审批 | 平台动作 | 对已发布数据集的处置 | 时限与留痕 |
|---|---|---|---|---|---|
| 制度变更影响已发布数据集 | 标准或制度条款修订申请受理 | 我方项目组承办影响分析;一档由数据管理办公室批准,二档、三档跨域的报数据治理委员会 | 按字段级血缘反查受影响表、任务、子集与版本,输出可逐行核对的清单 | 一档更新数据卡与标准版本号;二档重跑加工任务并发新版本;三档进定向回流计划 | 影响分析 10 个工作日内出具;留变更申请单、反查清单、分级结论、新旧版本对照、通知回执 |
| 跨部门口径争议 | 业务数据专责或加工环节发现两套口径 | 数据管理办公室组织协商;协商不成由数据治理委员会裁定 | 字段标注「口径待确认」,相关子集可加工不可发布 | 裁定后统一更新标准、映射与标签;已发布版本按制度变更流程处理 | 协商在 5 个工作日内启动;留争议登记单、协商纪要、委员会决议、口径确认单 |
| 历史数据修复 | 质量稽核或数据集质检发现错样 | 责任业务域承办修复;数据管理办公室复核修复结论 | 沿血缘归因到源字段与源批次,生成修复批次并重走质检门控 | 原始落地件只读保存,修复结果作为新版本,血缘登记两者关系 | 确认后 1 个月内排期;留问题工单、归因结论、修复批次记录、已知缺陷清单 |
| 权限撤销 | 岗位主数据变更、账号到期、分级上调 | 安全岗承办;数据责任部门确认;L4、L5 相关的报数据治理委员会 | 按权限模型反查全部在手授权,逐项撤销并开启撤销后审计告警 | 已下载副本触发登记核查,持有方按期销毁或退回并出具回执 | 过渡期不超过 5 个工作日;留撤销工单、反查清单、销毁回执、审计记录 |
| 数据集版本重发 | 分级误判、质量门限误判、口径变更达二档以上 | 我方项目组承办;数据责任部门批准;对外已挂牌的报数据治理委员会 | 冻结下载与挂牌,按血缘重算受影响样本并出新版本与差异清单 | 旧版本标记为已被替代并保留可查,不删除;已评测的按复测口径安排复测 | 冻结在确认后 1 个工作日内执行;留冻结通知、差异清单、新旧版本对照、复测结论 |
五类情形的共同点是三条:处置动作都落在具体岗位上,不写「由相关部门协商确定」;处置过程都产生记录,记录既用于内部复核,也是贯标评审时「过程异常也在管理之内」的证据;对已发布数据集一律发新版本而不就地覆盖,使任何一份引用了版本号的评测结论与验证结论都不会因后续修订而失去依据。
招标文件要求在治理实施的同时构建决策数据指标体系,支撑高质量数据集建设并强化数据对经营管理决策的支撑能力。这件事有一个容易被忽略的前后关系:指标体系的口径来自数据标准中的指标标准,指标标准的覆盖范围又取决于现状评估盘出的数据元与可得字段。换句话说,指标体系不能与治理规划并行起步,它必须排在标准与资产盘点之后。
本项目把这一关系固化为三个确认时点,写进治理规划的交付节点。表 1-13 逐时点给出完成内容、前置条件与下游依赖。时点的作用是给下游一个可依赖的日期:以决策指标为输入的场景验证按这三个时点排期,不以推定口径提前出结论。
表 1-13 决策数据指标体系的三个确认时点
| 时点 | 完成内容 | 前置条件 | 下游依赖 |
|---|---|---|---|
| 一、指标规范就位 | 指标标准与指标卡规范发布;指标分层(原子、派生、复合)与四项要素定义生效 | 数据元标准首批发布;现状评估完成 | 场景侧按指标卡结构提出指标需求 |
| 二、九业务域指标体系首批成形 | 按九个业务域给出首批指标清单与指标卡草案,口径可向下追溯到数据元与源字段 | 各业务域归口部门确定;参考数据码表首批发布 | 决策类场景的验证基准分册开始编制 |
| 三、指标口径经甲方确认 | 首批指标的计算逻辑与口径由甲方业务归口部门逐项会签 | 治理组织正式发文,有会签主体 | 口径未会签的指标不进入验证基准分册 |
三个时点落在治理规划的第二阶段,与「数据治理规划(二)」的阶段划分一致:指标标准与决策指标体系首批属第二阶段件。以决策指标为数据输入的通用场景验证据此排在场景序列的后段,口径未经确认的指标不以推定口径出验证结论。指标体系的指标选取方法、分层设计与首批规模估算在「数据治理规划(二)」的指标标准一节逐项给出,问答场景的交互设计在「五个通用场景验证方案」一节给出。
指标口径的确认进度是本项目的一项外部依赖。若某业务域的口径在计划时点未能会签,我方的做法是该域指标按草案口径标注「待确认」并暂不发布,相关场景的验证范围相应收窄并在验证报告中记录数据条件,而不是以项目组的推定口径替代业务口径对外出结论。
招标文件要求结合矿山装备制造行业特点与高质量数据集建设实践经验,积极参与全国数标委标准验证和试点应用工作,持续完善标准技术指标,提升行业标准的先进性、科学性与适用性。采购清单第 5 项的第 2 条是同一要求。
标准验证不是写一份标准建议书交上去。现行的高质量数据集相关标准多数是面向通用语料与通用模态制定的,落到矿山装备制造这个场景上会遇到几类具体的不适配:工艺图纸的符号表达(粗糙度、坡口、倒角、形位公差)在通用文档结构标准里没有对应的元素定义;设备时序数据的工况分段在通用时序数据规范里没有分段依据的约定;焊接参数流与焊道标识的时间窗对齐,其对齐容差在通用多模态对齐规范里没有可引用的取值范围。
这些不适配只有在真实加工上千万级样本时才会暴露出来,而本项目恰好要加工预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组与基准测试 0.95 万条四类数据集,在加工过程中会形成大量可用于标准验证的实测数据。
我方参与标准验证的立足点就是这批实测数据与随之形成的作业规范,而不是概念性的意见。
表 2-1 技术标准验证的参与方式与产出
| 参与方式 | 具体做法 | 产出 | 时点 |
|---|---|---|---|
| 标准适用性验证 | 以本项目四类数据集的加工过程为验证载体,按现行规范逐项执行并记录不适配点、执行成本与替代做法 | 标准适用性验证报告,逐项给出指标在矿山装备制造场景下的可执行性结论 | 首轮全量评测完成后 |
| 技术指标实测 | 对评测规范中的量化指标提供本项目的实测取值与分布,包括各模态的质量指标基线、标注一致率、对齐容差、去重阈值 | 技术指标实测数据集与统计附表 | 各批数据集评测完成后滚动提供 |
| 规范草案贡献 | 把本项目形成的标注规范、数据卡规范、质检与验证报告规范整理为可供参考的行业规范草案 | 面向矿山装备制造领域的数据集建设规范草案建议稿 | 规划期第二阶段起滚动提交 |
| 试点应用 | 以本项目的数据集与场景验证作为试点应用案例,提供可公开的实施路径、问题清单与改进建议 | 试点应用案例材料 | 场景验证完成后 |
| 标准征求意见 | 参与相关标准的征求意见与审查环节,按行业实践提出修订建议 | 意见汇总与修订建议 | 按标准制定机构的工作安排 |
参与方式的落点在前三行。标准适用性验证与技术指标实测的依据是《高质量数据集质量评测规范》等现行评测依据,评测的指标体系、评测方法与实施过程在服务方案「数据集质量评测方案」一节论述;本节交付的是以该评测过程为载体的标准验证成果,两者是同一批作业的两种产出,不重复投入。
标准验证不另起一条作业线。四类数据集的加工与评测本身就是验证载体,验证作业挂在既有工序上:工序责任人在执行中发现某一条款无法执行或执行结果不可判定时,当场按统一模板登记一条标准适配问题,其余四步由标准岗与质量岗在既有的批次节奏上完成。
作业分五步。第一步,问题捕获。执行主体是采集、预处理、标注、合成、增强、质检、验证七个环节的工序责任人与评测环节的评测岗;输入是现行标准条款与本批次的真实数据对象;产出是一条标准适配问题记录。判定条件是记录中必须指明具体数据对象——指不出对象的,按意见登记而不进入验证流程。
第二步,复现与定级。执行主体是质量岗。输入是问题记录与该批次的全量样本;产出是复现范围、样本量与占比。定级分三档:一档为条款表述歧义,执行结果因人而异;二档为条款在本场景下缺少可引用的取值范围或判定方法;三档为条款与矿山装备制造的数据形态不适配,按条款执行会得到错误结论。三档均进入后续步骤,一档在建议中以澄清诉求提出,二档、三档以修订诉求提出。
第三步,实测取值。执行主体是质量岗,依据服务方案「数据集质量评测方案」确立的指标体系与评测方法,给出与该条款相关的实测值、统计口径与分布。不重复组织评测:取值取自同一批评测作业的中间结果,只是按标准条款重新归集一次。
第四步,修订建议成文。执行主体是项目组标准岗。输入是前三步的记录与实测值;产出是一条可被第三方按同一方法复算的修订建议,内容包含建议改什么、改后如何判定、支撑该判定的样本量与实测分布。判定条件是复算可行性:第三方拿到同样的数据与方法应当得到同一结论,做不到的退回第三步补实测。
第五步,复核与汇总。执行主体是项目组标准岗与甲方业务归口部门,双方对每条建议签署成立、不成立或证据不足待补三类结论之一;成立的进入半年度汇总件《标准适配问题与修订建议》,证据不足的退回补证据并记录退回次数,同一条退回两次仍无法补足的转为内部留存,不再提交。
一条建议能否成立,判据是证据而不是意见。支撑样本量低于 200 条、或在本项目范围内无法复现的,只登记不成建议;200 条是按基准测试数据集 0.95 万条的 2% 取的首批门限,首轮全量评测完成后按各模态的实际分布复核一次并相应调整。若某一模态的样本总量不足以支撑该门限,该模态的建议改以逐例说明的方式提出,并在建议中写明实际样本量与该样本量下结论的适用范围,不以不足量的样本给出普适结论。
记录用统一模板,字段与填写要求见表 2-2,不由各环节自拟格式——字段不统一,半年度汇总时就无法按标准条款归集。
表 2-2 标准适配问题记录的字段与填写要求
| 字段 | 取值要求 | 填写与复核 | 校验规则 |
|---|---|---|---|
| 问题编号 | 按「SV-年份-序号」由平台顺序生成 | 平台自动 | 全项目唯一,不重用 |
| 发现环节 | 采集、预处理、标注、合成、增强、质检、验证、评测八选一 | 工序责任人 | 必填,须与加工任务编号对应得上 |
| 涉及标准条款 | 标准号、条款号与条款原文摘录三项齐全 | 工序责任人 | 标准号须在本项目引用标准清单内 |
| 问题现象 | 该条款在本项目数据对象上无法执行或执行结果不可判定的具体表现 | 工序责任人 | 至少指明一个具体数据对象 |
| 复现范围与样本量 | 出现该问题的样本条数、占本批次比例、涉及的数据子集 | 质量岗 | 样本量低于门限的只登记、不成建议 |
| 本项目的处理办法 | 当前采用的替代做法及其依据 | 工序责任人 | 必填,须与作业规范中的实际做法一致 |
| 实测取值 | 与该条款相关的实测指标值、统计口径与分布 | 质量岗 | 须注明取值所属的评测批次 |
| 问题定级 | 一档表述歧义、二档缺取值范围或判定方法、三档与数据形态不适配 | 质量岗 | 二档、三档须附实测取值 |
| 建议的修订方向 | 建议条款怎么改、改后如何判定 | 项目组标准岗 | 须可被第三方按同一方法复算 |
| 复核结论 | 成立、不成立、证据不足待补三选一 | 项目组标准岗与甲方业务归口部门会签 | 两方签署齐全方可进汇总件 |
| 处置去向 | 进半年度汇总件、转为规范草案条目、内部留存三选一 | 数据管理办公室 | 进汇总件的须登记汇总件编号与提交日期 |
记录与汇总件进入治理文档体系统一编号与归档,并作为贯标评审中「过程被规范执行」的一类执行记录。记录的完整性按季度自查:抽取当季各环节的加工任务,核对该季度内发现的适配问题是否都有对应记录与去向,缺记录的补登记并倒查该环节的登记习惯。
标准化工作的分工是确定的:标准的立项、起草、审查与发布由归口单位主导,参与单位提供实测证据与修订建议。我方在本项目中承担的正是后者——以四类数据集的真实加工与评测过程为载体,提供可复算的验证材料、实测数据与修订建议,并按标准化技术组织的工作安排参与试点应用。相关知识产权产出(论文、发明专利、软件著作权)的指标与安排在「技术创新与机制创新」一节论述。
我方就此作出三项可被逐条检查的承诺:其一,在数据集加工过程中按统一模板记录标准适配问题,每条记录包含问题现象、涉及的标准条款、本项目的处理办法、建议的修订方向与支撑该建议的样本量;其二,每半年汇总一次形成《标准适配问题与修订建议》,经招标方确认后由招标方决定是否向归口单位提交;其三,若归口单位开展标准验证或试点应用工作并需要实测数据,在招标方同意且符合保密要求的前提下提供去敏后的验证数据与测试结论。
三项承诺的交付节点、产出形式与验收方式列入治理成果的交付口径(第 4 章),不单独计量工作量。之所以挂在半年度汇总上而不另设里程碑:标准验证的成效取决于归口单位的工作节奏,设为独立里程碑会让项目进度受制于外部环节,而半年度汇总既保证工作持续进行,又使进度可控。
招标文件要求聚焦多模态数据高质量供给需求,制定覆盖不同数据类型的标准化、流程化标注规范,解决多模态数据标注口径不一、流程混乱、与业务场景适配性不足的问题。采购清单第 5 项的第 4 条是同一要求。
这三个问题在本项目的具体表现是可以指认的。口径不一:同一道备料工序在总工艺路线上叫一个名字、在车间卡片上叫另一个名字,28 道备料工序在不同系统中的名称差异若不先归一,标注出来的工序标签互相对不上。流程混乱:图纸与工艺卡的配对关系在甲方现状中未建立,约 63 万张历史工艺样本若没有配对规则就直接发给标注员,标注结果无法形成成对监督样本。与业务场景适配性不足:缺陷描述是自由文本,标注员按字面分类得到的标签与质量管理部门实际使用的缺陷类型对不上,标出来的数据场景侧用不了。
因此标注规范不能只写标注流程,它要先把标签体系的来源锁住——标签取自治理侧的参考数据码表与数据元标准,不由标注环节自创。这是本节把标注规范放在治理部分而不是加工部分的理由。
规范按一份总则加分册的结构组织,共十份,列入治理文档体系一并交付。
表 3-1 数据标注规范分册清单
| 序号 | 分册 | 覆盖数据类型 | 规定的核心内容 | 标签来源 |
|---|---|---|---|---|
| 1 | 标注规范总则 | 全部 | 标注流程、角色与职责、标注员培训与准入、一致性要求、返工条件、交付物格式 | — |
| 2 | 文本与文档标注分册 | 管理制度、公文、合同、技术文档 | 段落与条款切分粒度、实体与关系标签集、引用关系标注 | 业务术语标准 |
| 3 | 图纸与工艺图标注分册 | 设计图纸、工艺图、工艺卡 | 图元与尺寸标注、符号表达(粗糙度、坡口、倒角、形位公差)的标注口径、图卡配对规则 | 数据元标准、物料与工序主数据 |
| 4 | 图像标注分册 | 交检拍照、缺陷图像、装配现场影像 | 目标框与分割粒度、缺陷类型标签层级、拍摄条件与不可用判定 | 缺陷类型参考数据码表 |
| 5 | 时序数据标注分册 | 振动、温度、电流、液压等测点数据 | 工况分段依据、异常区间标注、缺段与失效测点标注 | 设备与测点主数据 |
| 6 | 视频标注分册 | 作业过程录像、巡检视频 | 事件区间切分、动作标签集、视频与文本对齐容差 | 工序主数据 |
| 7 | 对话与工单标注分册 | 服务工单、运维记录、问答语料 | 轮次切分、意图与槽位标签集、工单转对话的字段映射 | 业务术语标准、故障类型码表 |
| 8 | 推理过程标注分册 | 思维链与推理步骤 | 推理步骤粒度、步骤有效性判定、关键依据标注 | 指标标准、工艺要求数据元 |
| 9 | 标注一致性校验规范 | 全部 | 一致率计算方法、抽检比例与抽检方式、争议裁决流程、低一致率的返工口径 | — |
| 10 | 标注质量与质检衔接规范 | 全部 | 标注交付物进入质检的入口条件、错样归因回流到标注环节的处置流程与时限 | 数据质量规则库 |
十份分册中第 1、9、10 三份是跨模态的通用件,先行发布;第 2 至 8 份按数据集加工的批次顺序发布,与「数据治理规划(二)」第一阶段的标准发布节点对齐。各分册的编制、评审、发布与培训准入按第 3.3 节的六阶段口径执行。
十份规范不是一次写完再统一发布。总则与两份跨模态通用件先行,模态分册按数据集加工的批次顺序滚动发布,使每一批标注作业开工时都有已生效的规范可依。编制与发布按六个阶段推进,每个阶段的输入、承办、产出与通过条件事先写死,不通过的去向也一并写明。
需求输入阶段确定一件事:这一份分册要支撑哪些训练目标与哪些验证用例。输入有两路——四类数据集的数据卡对该模态提出的字段与标签要求,以及 11 个场景验证方案中反向落下来的能力点。两路需求合并成标注需求清单,逐条标明对应的数据子集与验证用例,不能对应到任何一条的需求退回提出方说明用途。这一步的意义在于把标签体系的来源锁死在下游用途上,避免出现标了一批用不上的标签、而场景要的标签没有标。
标签取数阶段只做一件事:把本分册要用的标签集从治理侧取出来。工序、物料、设备、测点、缺陷类型、故障类型等标签一律取自参考数据码表与主数据,术语取自业务术语标准,字段定义取自数据元标准。分册中出现的每一个标签都要能指回码表中的一行;指不回去的,先走码表的新增申请流程,申请通过后再写入分册。这一条是标注规范放在治理部分编制的直接原因,也是它与标注作业方法分开成件的分界线。
草案编制阶段产出分册草案,内容按总则规定的统一体例组织:适用范围、标签集与取值、标注粒度与判定规则、典型样例与边界样例、不可标注情形的判定、交付物格式与校验项、一致性要求与返工条件。样例必须取自本项目的真实数据对象,不用通用示意图;边界样例尤其要给足,标注员之间的分歧绝大多数出在边界上。
三道评审依次进行,三道都通过才发布。第一道由项目组内部评审,核体例完整性与可执行性——判据是一名未参与编制的标注员仅凭该分册能否独立完成一组试标。第二道由甲方业务归口部门评审,核标签体系与本域实际业务口径是否冲突——判据是标签集中的每一个取值在业务侧都有确定含义,且与该部门在用的分类不矛盾。第三道由管理层评审,确认责任分工、评审与变更的审批路径。任一道不通过的,退回草案编制阶段并记录不通过的具体条目与理由,修订后重新进入该道评审,不跳道。
发布与版本登记阶段由数据管理办公室执行:分册在治理平台上登记版本号与生效日期,标注任务创建时强制引用生效版本,未登记版本不可被引用。发布同时下发标签集到标注工具,使标注员在工具中只能从已发布标签集中选择。
培训与准入阶段是规范能不能落地的最后一关。标注员上岗前须通过本分册的培训与试标考核,试标样本由质量岗从真实数据中抽取并事先标定;试标结果与标定答案的一致率达到准入门限方可承接正式任务,未达门限的补训后重试,两次未达的不承接该模态的标注任务。分册发布新版本且涉及标签集或判定规则变更的,已上岗标注员须重新试标。
六个阶段的输入、承办与审批、产出、通过条件与不通过的去向汇总于表 3-2。
表 3-2 标注规范的编制与发布流程
| 阶段 | 输入 | 承办与审批 | 产出 | 通过条件 | 不通过的去向 |
|---|---|---|---|---|---|
| 一、需求输入 | 四类数据集数据卡的字段与标签要求;11 个场景验证方案反向落下的能力点 | 我方项目组承办,对口工作组确认 | 本分册的标注需求清单 | 每条需求可对应到具体数据子集与验证用例 | 对应不上的退回提出方说明用途,不进清单 |
| 二、标签取数 | 参考数据码表、主数据、业务术语标准、数据元标准 | 标准岗承办,数据管理办公室批准 | 本分册的标签集与取值范围 | 每个标签可指回码表中的一行 | 指不回去的走码表新增申请,通过后再写入分册 |
| 三、草案编制 | 需求清单、标签集、真实数据样例 | 我方项目组 | 分册草案与样例集 | 体例齐备;边界样例覆盖已知分歧点 | 补齐后再送评审 |
| 四、三道评审 | 分册草案 | 项目组内部评审、甲方业务归口部门评审、管理层评审 | 评审意见与修订稿 | 三道依次通过,每道意见逐条关闭 | 退回编制阶段并记录不通过条目,修订后重进该道,不跳道 |
| 五、发布与版本登记 | 评审通过的分册 | 数据管理办公室 | 平台上的生效版本与标签集下发 | 版本号与生效日期登记完毕,标签集已下发到标注工具 | 未登记版本不可被标注任务引用 |
| 六、培训与准入 | 生效分册、标定试标样本 | 质量岗组织,项目组实施 | 培训记录与试标考核结果 | 试标一致率达到准入门限 | 补训后重试,两次未达的不承接该模态标注任务 |
规范发布之后要能被查出有没有被执行,否则它只是一份文件。执行、检查与修订三件事按下述口径固定下来。
执行靠平台约束而不是靠提醒。标注任务在创建时必须引用一个已生效的分册版本号,引用不到的任务创建不成功;标注工具中的标签集由平台从参考数据码表下发,标注员不能在工具中自建标签,确需新增的走码表新增申请,申请期间该样本挂起不强行归类。交付物的格式与必填校验项由工具按分册配置自动校验,校验不通过的批次不进入质检环节。这三条合起来构成标注环节的入口约束,与加工链路上其他环节的门控口径一致。
检查分三层。任务层由平台自动校验,对象是每一个标注任务,核的是规范版本引用、标签集合法性与交付物格式,频次是实时,不通过即阻断提交。批次层由质量岗按批抽检,对象是已提交的标注批次,核的是标注员之间的一致率与标注结果同业务口径的符合性,抽检比例按批次规模与该模态的历史一致率确定,低于门限的整批返工并提高下一批的抽检比例。周期层按季度由数据管理办公室组织规范执行情况检查,对象是当季全部标注作业,核的是规范版本是否及时更新、新增标签申请是否走完流程、返工记录与整改是否闭环,检查结论进治理执行记录。
一致性要求的量化口径以实测基线为准。首轮标注完成后按模态分别出具标注员间一致率基线,基线连同抽检方法写入项目质量计划,并作为返工条件的判定依据;此后各批次以逐步接近该基线之上的水平为目标,逐批记录实测值与基线的差距。某一模态连续两个批次低于基线的,处置按三档推进:先收紧——提高抽检比例并对分歧集中的标签补充边界样例;再隔离——该批次不进入发布版本,仅作内部复核;仍不达标的复议——由质量岗与业务归口部门共同复核该模态的标注粒度与标签划分是否本身不可操作,必要时修订分册而不是反复返工。
修订的触发条件写死四条:新增标签申请在同一分册上累积到一定数量,说明标签集覆盖不足;某一标签的一致率持续低于基线,说明判定规则表述不清;场景验证侧反馈某一标签不可用或粒度不合用;上游的参考数据码表、数据元标准或业务术语标准发生修订。四条中任一条成立即启动修订。修订稿走与编制阶段相同的三道评审,通过后发布新版本并登记版本差异;已按旧版本标注的数据按制度变更的影响分析流程处理——只是口径说明变化的更新数据卡中的规范版本号,需要重标的列入定向回流计划并按批次排期。
三层检查的对象、方法与频次、判定依据、不达标处置与留痕汇总于表 3-3。
表 3-3 标注规范执行情况的三层检查
| 层次 | 检查对象 | 方法与频次 | 判定依据 | 不达标处置 | 留痕 |
|---|---|---|---|---|---|
| 任务层 | 每一个标注任务 | 平台自动校验,实时 | 规范版本引用有效、标签取自已下发标签集、交付物格式与必填项齐备 | 阻断提交,退回修正;标签缺失的走码表新增申请,样本挂起 | 校验日志、阻断记录、新增标签申请单 |
| 批次层 | 已提交的标注批次 | 质量岗抽检,按批次 | 标注员间一致率与基线的差距;标注结果同业务口径的符合性 | 低于基线的整批返工并提高下一批抽检比例;连续两批低于基线的按收紧、隔离、复议三档处置 | 抽检记录、一致率实测值、返工单、整改关闭记录 |
| 周期层 | 当季全部标注作业 | 数据管理办公室组织,按季度 | 规范版本是否及时更新、新增标签申请是否走完流程、返工与整改是否闭环 | 出具检查结论与整改项,整改项按期关闭并在下季度复查 | 季度检查报告、整改台账、复查结论 |
三层检查的记录与标注规范本身一并归入治理文档体系,既用于标注质量的内部复核,也作为贯标评审中标注过程被规范执行的证据。标注粒度的具体取值、标注工序的组织、预标注与人工复核的配合方式在「数据加工生产(二)」一节给出,承载标注作业的四类标注工具链在「工具链二」一节给出,标注模板与样例在附录佐证卷提供。
治理部分的交付物按七类归并,表 4-1 给出合计口径与分布。各成果物的章节骨架、验收口径与提交节点在两个子节的对应章节逐项给出。
表 4-1 治理成果的交付口径
| 类别 | 内容 | 数量 | 论述位置 |
|---|---|---|---|
| 现状评估成果 | 数据治理现状诊断报告、高质量数据集验证场景数据需求清单 | 2 份 | 数据治理规划(一)现状评估一节与成果物清单 |
| 九域规划成果 | 招标文件逐行列明的治理文档,我方按 37 份编制,不低于不少于 25 份的要求 | 37 份 | 数据治理规划(二)治理规划文档交付清单 |
| 配套细则 | 落实治理机制所需的职能级细则(治理组织运行细则、数据口径确认与争议处理细则、数据管理考核细则) | 3 份 | 数据治理规划(一)成果物清单中的三份职能级细则 |
| 标注规范 | 标注规范总则、七个模态分册、一致性校验规范、质检衔接规范 | 10 份 | 第 3 章表 3-1 |
| 标准验证成果 | 标准适用性验证报告、技术指标实测数据与统计附表、规范草案建议稿、试点应用案例材料 | 4 类 | 第 2 章表 2-1 |
| 治理平台 | 治理平台建设与九项治理内容在九个业务域落地运行 | 1 套 | 第 1.4 节;数据治理规划(二)实施路径一节 |
| 决策指标体系 | 九个业务域首批指标清单与指标卡,口径经业务归口部门会签 | 按九域首批范围 | 第 1.6 节;数据治理规划(二)指标标准一节 |
治理文档的交付数量按「只增不减」执行:37 份是下限,实施中若某一主题需单独成文则增编并登记入引用关系表;拆分或合并须提交变更申请并保留与招标文件原清单的逐项对应关系,使验收时可逐行核对。各份文档的全文按项目计划在相应阶段提交评审,投标阶段提交的是编制方案与模板样例。
一份治理文档交上去,怎么证明它不只是文本?本项目的答法是:每一项规划成果都要在治理平台上有对应的配置项,配置项运行起来产生对应的记录,记录又对应到数据集交付中的某一个环节。三者齐备,这份成果才算落了地。表 4-2 逐项给出这一对应关系,三十七项逐行可核。
表 4-2 三十七项规划成果与平台配置、运行记录、数据集交付的对应
| 序号 | 规划成果 | 平台配置项 | 产生的运行记录 | 与数据集交付的关系 |
|---|---|---|---|---|
| 1 | 数据战略管理办法 | 战略任务与度量指标登记 | 战略评估会议纪要、任务进度记录 | 治理与加工的阶段排期由此对齐,数据集分批交付节点据此确定 |
| 2 | 数据战略规划 | 路线图与里程碑配置 | 里程碑完成确认记录 | 四类数据集的交付节奏与治理路线图取同一时间轴 |
| 3 | 数据战略实施计划 | 工作包与责任岗位配置 | 工作包进度与偏差记录 | 工作包中的标准与规则件是数据集加工的前置条件 |
| 4 | 战略评估报告 | 度量指标取数配置 | 周期评估结论 | 评估结论可触发排期调整,影响后续批次的交付时点 |
| 5 | 数据治理顶层规划方案 | 治理域与组织模型初始化 | 方案评审与发布记录 | 划定九项治理内容的落地范围,数据集加工在此范围内运行 |
| 6 | 数据治理组织架构 | 角色、岗位与审批流配置 | 审批流水 | 数据集发布、分级与授权的审批主体由此确定 |
| 7 | 全套数据治理顶层管理制度 | 制度库条目与条款索引 | 制度发布与修订记录 | 制度条款是数据集交付合规性核查的依据 |
| 8 | 数据文化建设方案 | 培训与考核记录模块 | 培训签到、考试与案例作业记录 | 标注员与数据专责的准入培训并入执行,影响标注一致率 |
| 9 | 数据模型分层架构 | 分层模型与表关系登记 | 模型变更记录 | 加工中间表按分层归位,血缘链路据此可读 |
| 10 | 数据分布及数据流图 | 系统与数据流登记 | 流转链路变更记录 | 采集范围与断点处置据此确定 |
| 11 | 数据集成共享管理规范 | 连接器与接口配置校验规则 | 接口调用日志、配置校验结果 | 17 套系统的汇聚动作按此规范执行 |
| 12 | 元数据管理办法 | 元数据模型与采集任务配置 | 元数据变更记录、字段级血缘登记 | 字段级血缘是错样归因与定向回流的前提 |
| 13 | 数据资产管理办法 | 资产登记字段与流程配置 | 资产上下架记录 | 数据集作为资产登记并挂接权属 |
| 14 | 数据资源目录 | 目录分类与条目 | 目录变更记录 | 数据集目录与治理资产目录共用权属与分级口径 |
| 15 | 资产价值评估办法 | 价值评估模型参数 | 评估结论记录 | 数据集的价值等级作为运营挂牌的定价参考 |
| 16 | 数据资产运营流程规范 | 申请、审批、交付流程配置 | 申请与交付记录 | 数据集对外服务走同一条流程,不另设通道 |
| 17 | 数据标准管理办法 | 标准生命周期与版本策略配置 | 标准发布与废止记录 | 数据集字段所引用的标准版本号写入数据卡 |
| 18 | 业务术语标准 | 术语库 | 术语变更记录 | 知识本体与标注标签引用术语,不另立一套 |
| 19 | 参考数据标准 | 码表与值域配置 | 码表版本记录 | 标注标签集取自码表,保证跨批次标签可对齐 |
| 20 | 数据元标准 | 数据元与物理字段映射 | 映射变更记录 | 质检规则引用数据元与值域作为校验依据 |
| 21 | 指标标准 | 指标卡模板与计算配置 | 指标口径会签记录 | 决策类场景验证的指标输入 |
| 22 | 标准映射对照表 | 系统字段到数据元的映射表 | 映射例外登记与复核结论 | 多源同义字段合并的依据 |
| 23 | 数据质量管理办法 | 质量流程与角色配置 | 稽核任务记录 | 数据集质检门控与业务质量规则同源 |
| 24 | 数据质量需求清单 | 质量维度与对象范围配置 | 需求确认记录 | 决定哪些字段进入质检门控 |
| 25 | 数据质量校验规则库 | 规则与阈值配置 | 规则命中与评分记录 | 质检门控直接调用,规则版本写入质检报告 |
| 26 | 质量分析报告 | 质量报表配置 | 月度质量分析报告 | 构成数据质量档案的组成部分 |
| 27 | 质量问题整改台账 | 工单流程配置 | 工单与复核记录 | 错样归因回流的承载件 |
| 28 | 数据合规管理制度 | 合规检查项配置 | 合规核查记录 | 数据来源合法性与去标识化处理的检查依据 |
| 29 | 数据安全管理办法 | 安全策略与审计配置 | 访问审计日志 | 数据集全流程审计的制度依据 |
| 30 | 数据安全分级标准 | 分级标签体系配置 | 分级审批单、标签变更记录 | 数据集样本的可用范围与脱敏要求由分级决定 |
| 31 | 数据权限管理规范 | 权限模型与审批矩阵 | 授权与撤销记录 | 数据集下载与接口调用的授权依据 |
| 32 | 数据需求管理规范 | 需求单模板与评审检查点 | 需求单与评审记录 | 新增数据需求进入采集范围的入口 |
| 33 | 数据设计开发规范 | 开发阶段检查点配置 | 评审检查表 | 加工任务与接口开发的放行条件 |
| 34 | 数据运维管理制度 | 运维工单与监控配置 | 运维工单、监控告警记录 | 汇聚与加工作业的连续性保障 |
| 35 | 数据退役管理规范 | 退役标记与归档策略配置 | 退役申请与执行记录 | 被数据集引用的对象转为只读而非删除 |
| 36 | 外部数据引入管理办法 | 外部来源登记与合规校验配置 | 引入审查记录 | 外部语料进入预训练候选池的前置审查 |
| 37 | 数据开放共享管理规范 | 服务目录与服务分级配置 | 服务授权与计量记录 | 数据集对外服务的分级、限流与计量依据 |
这张表双向可用。验收时从左往右查:每一项规划成果都要能在平台上指出对应的配置与记录,指不出来的成果只是一份文本,不计入落地。实施时从右往左查:数据集交付过程中遇到的口径、权限或质量问题,都能回到某一项成果去修订,而不是在加工侧临时打补丁——临时补丁改的是单个批次,修订成果改的是此后所有批次。
三十七项的名称、形态、所属规划域与提交节点在「数据治理规划(二)」的治理规划文档交付清单中逐行列出,与本表同序,可并排核对。
两个子节已分别列出域内的前置条件与应对。站在总述一级,有三项条件对治理部分的整体节奏起决定作用,在此单列并给出回退口径。
表 5-1 治理部分的总述级前置条件
| 前置条件 | 不成立时的影响 | 我方应对 | 回退口径 |
|---|---|---|---|
| 治理组织正式发文设立 | 九域规划成果无审批与会签主体,制度无法发布,贯标缺少组织维度的证据 | 项目启动会提交三层组织架构与岗位职责建议稿,推动按企业文件发布程序设立 | 组织设立前成果物只出送审稿,以项目联合工作组形式临时议事,决议事后追认 |
| 源系统按已授权范围开放只读接口,涉及原厂的配合到位 | 相关业务域无法汇聚,诊断只能依赖访谈与文档,依赖该域的数据集样本量不足 | 按域分批推进,优先推进已可开通的域;接口协调按月与甲方对接 | 未开通的域以现场导出或离线交换作为过渡,并在数据卡中记录来源方式;诊断报告标注未取证的过程域,授权到位后出补充章节 |
| 执行记录的积累周期满足三级要求 | 送审时定级被核减 | 制度与标准发布节点前置,流程优先上线,使加工过程本身产生记录 | 调整送审时点而非压缩记录周期;按能力域分批送审,记录充分的域先行 |
三项条件里前两项是进度变量,第三项是定级变量。本节的处理方式是把它们写成前提而不是隐含假设,并给出过渡办法与可重新核算的口径,使治理进度、数据集规模与贯标时点之间的关系在前提变化时可被重新计算,而不是在交付时才发现差距。
数据治理在本项目中分两段推进:先以现状评估查清天地奔牛当前的数据管理能力与数据条件,再以评估结论为输入编制治理规划。本节交付现状评估,以及治理规划中的数据战略、数据治理、数据架构、数据资产四个规划域。数据标准、数据质量、数据安全、数据生存周期、数据应用流通五个规划域与治理规划成果交付、数据治理实施,见本卷「数据治理规划(二)」;通过数据管理能力成熟度(Data Management Capability Maturity Assessment Model,DCMM)三级认证的总体路径与九大能力域的整体关系,见本卷「数据治理规划和实施服务」一节。
招标文件为本项目的治理工作设定了双重目标:以通过 DCMM 三级认证为目标,以满足 11 个智能化应用场景的高质量数据集建设为业务导向。贯标要求能力域被规范地管起来;数据集建设要求具体某一张图纸、某一个炉次、某一段振动波形能被稳定地取到、对齐、标注并交付。现状评估同时为这两重目标提供依据。
天地奔牛的数据条件不是「系统还没上线」。设计与工艺、生产计划与工单、质量检验、库存与物流、公文与合同流转、设备过程参数采集、在役装备远程运维各有系统承载,生产业务数据长期留存,十年前生产了哪个矿的哪些产品都可追溯。需要查清的是另外三件事:同一个物理工件的过程事实分散在若干系统与若干纸质记录中,跨系统追一件事仍需人工对账;同一类字段在不同系统中的填写完整度差别很大,下游无法假定输入一律可用;已有数据多停留在事务处理层面,尚未被组织成可被调用、可被复核的资产。
据此,现状评估要给出结论的是四个问题:数据管理的职责现在落在哪些岗位上、落得实不实;现有制度与流程在哪一环断掉、断在组织缺位还是工具缺位;企业手上有哪些数据、散在哪里、能不能取到;11 个验证场景要用的数据,今天有多少是现成的、多少要清洗、多少要补录、多少要新增采集。
四个问题各对应一组证据。评估的硬性要求是每一条结论都指回一份文件、一次访谈记录、一条系统取数结果或一批抽验样本,并在诊断报告中标注证据编号,评审时可逐条回溯。证据的登记与复核口径见 1.2.5 节。
评估工作沿两条线并行:一条按 DCMM 九大能力域从组织、制度、流程、工具四个维度逐项核查,产出能力差距与整改优先级,支撑贯标;另一条按业务对象从数据来源、流转链路、存储现状逐项盘点,产出数据资产清单、关键数据元素清单与场景数据需求清单,支撑数据集加工生产。两条线在同一批访谈与同一批系统取证中完成,证据共用,结论互为约束。现状评估的证据输入、产出及其与四个规划域的承接关系如图 1-1 所示。
1-1 现状评估的证据输入、产出与四域规划的承接关系
图 1-1 现状评估的证据输入、产出与四域规划的承接关系。数据来源:招标文件 3.2.6.1.1.1、3.2.6.1.1.2.1—2.4;源系统数量取 3.2.1 服务采购清单第 1 项所列外围应用系统。
现状评估的结论是四个规划域的输入。某个能力域评到几级、差在组织还是差在工具、哪些数据元素当前取不到,直接决定战略路线图的阶段切分、治理组织的岗位设置、数据架构的分层取舍与资产目录的首批范围。若评估结论与方案阶段的初判出现实质差异,规划内容按评估结论调整,并在阶段评审会上说明调整依据,该约定写入项目管理约定。
评估以 GB/T 36073—2018《数据管理能力成熟度评估模型》为基准模型,以招标文件 3.2.6.1.1.2 列举的九个规划域作为能力域划分口径,按该标准的五级成熟度标尺定级,以三级(稳健级)为目标水平。九个能力域与基准模型过程域的对照关系如表 1-1,核查点按此表逐级展开,使评估结论既能直接支撑贯标送审,又能逐条回到招标文件的规划域要求上。
表 1-1 九大能力域与基准模型过程域对照及规划内容所在
| 序号 | 能力域(招标文件口径) | 对应过程域(GB/T 36073—2018) | 规划内容所在 |
|---|---|---|---|
| 1 | 数据战略 | 数据战略规划、数据战略实施、数据战略评估 | 2.1 节 |
| 2 | 数据治理 | 数据治理组织、数据制度建设、数据治理沟通 | 2.2 节 |
| 3 | 数据架构 | 数据模型、数据分布、数据集成与共享、元数据管理 | 2.3 节 |
| 4 | 数据资产 | 数据服务、数据资产价值与运营相关过程 | 2.4 节 |
| 5 | 数据标准 | 业务术语、参考数据和主数据、数据元、指标数据 | 数据治理规划(二) |
| 6 | 数据质量 | 数据质量需求、数据质量检查、数据质量分析、数据质量提升 | 数据治理规划(二) |
| 7 | 数据安全 | 数据安全策略、数据安全管理、数据安全审计 | 数据治理规划(二) |
| 8 | 数据生存周期 | 数据需求、数据设计和开放、数据运维、数据退役 | 数据治理规划(二) |
| 9 | 数据应用流通 | 数据分析、数据开放共享、数据服务 | 数据治理规划(二) |
现状评估的核查范围覆盖表 1-1 全部九个能力域。后五个能力域的规划虽在「数据治理规划(二)」展开,其诊断依据同样在本阶段一次取齐,诊断报告为一份完整报告,按九域成章。
访谈得到的是「应该怎么做」,文档得到的是「写了怎么做」,系统取证与样本抽验得到的是「实际怎么做的」。DCMM 三级要求的是第三种:过程被规范地执行并留下记录。评估按四条证据线并行取证,各线的取证对象、步骤、判据与输出如表 1-2。
表 1-2 四条证据线的取证对象、取证步骤、判据与输出
| 证据线 | 取证对象 | 取证步骤 | 判据 | 输出 |
|---|---|---|---|---|
| 线一 文档审阅 | 现行数据管理制度、流程文件、系统操作规范、编码规则、主数据维护办法、信息安全管理文件及其审批记录与版本信息 | ① 由档案与信息化职能提供现行文件目录;② 逐份登记文件编号、版本号、发布日期、生效区间、审批记录;③ 抽取近一年的执行记录与文件条款逐条比对;④ 对无执行记录的条款回访责任岗位 | 文件存在且现行有效;条款在最近一个考核周期内有可查的执行记录;与上位文件无冲突 | 制度清单(含版本与生效区间)、条款执行情况核对表、失效与冲突条款清单 |
| 线二 业务口访谈 | 九个能力域的对口岗位与九个业务域的业务岗位,覆盖决策、管理、执行三层 | ① 按表 1-3、表 1-4 确定对象与议题;② 结构化问卷先行、开放追问补充;③ 当场确认要点;④ 三个工作日内返回文字稿由被访谈岗位书面确认 | 结论由被访谈岗位确认;同一事实至少两个岗位互证;执行层口述与管理层口述不一致的进入冲突核实 | 经确认的访谈记录、岗位职责实际承担情况、绕开规定的具体情形清单 |
| 线三 系统取证 | 17 类源系统在已授权范围内的库表、接口与日志 | ① 按已授权范围开通只读视图或接口;② 按表 1-5 抽样规则取数;③ 统计主键唯一性、字段非空率、枚举值合规率、跨系统关联命中率、时间戳缺失率、重复记录比例;④ 导出统计脚本与结果一并存证 | 统计结果可复算:脚本、取数时点、数据范围三者齐备 | 字段级质量统计表、跨系统关联命中率表、取数通道可用性结论 |
| 线四 样本抽验 | 按业务对象抽取的实物与单据样本 | ① 按表 1-5 确定对象类别与样本量;② 沿业务链路逐跳人工核对;③ 记录每一跳的命中、缺失与不一致;④ 对不一致项回访经手岗位 | 链路可从起点走到终点且各跳标识可对应;缺失与不一致逐条有归因 | 链路还原记录、断点清单、样本明细表 |
四条证据线的作业流程与证据流向如图 1-2 所示。
1-2 现状评估作业流程与证据流向
图 1-2 现状评估作业流程与证据流向。数据来源:招标文件 3.2.6.1.1.1 第(1)—(5)项;评估基准取 GB/T 36073—2018。
访谈按两个维度铺开:一个维度按能力域对口,用于支撑九域定级;另一个维度按业务域对口,用于支撑数据资产盘点与场景数据需求识别。两个维度在同一轮现场工作中完成,同一岗位被两份清单同时命中的,合并为一次访谈、分别记录结论。
能力域维度的对口岗位覆盖决策、管理、执行三层,各层议题不同:决策层问目标与资源,管理层问机制与考核,执行层问实际操作与绕开规定的情形。执行层口述的「实际上我们是这么做的」是过程域定级的直接依据。
表 1-3 访谈对象矩阵(按能力域与岗位层级,不涉及具体人员)
| 能力域 | 决策层对口 | 管理层对口 | 执行层对口 | 访谈轮次 |
|---|---|---|---|---|
| 数据战略 | 分管数字化转型的企业领导 | 信息化职能负责人、战略规划职能 | 信息化专责 | 2 |
| 数据治理 | 分管领导 | 信息化职能、人力职能、考核职能 | 各业务口数据对接人 | 2 |
| 数据架构 | — | 信息化职能、系统运维负责人 | 各源系统管理员、数据库管理员 | 3 |
| 数据资产 | 分管领导 | 信息化职能、财务职能、法务与合同职能 | 档案管理员、系统管理员 | 2 |
| 数据标准 | — | 技术标准职能、工艺职能、物料主数据职能 | 工艺编制岗、物料编码维护岗 | 3 |
| 数据质量 | — | 质量职能、信息化职能 | 检验岗、工单录入岗、报工岗 | 3 |
| 数据安全 | 分管领导 | 信息安全职能、保密职能 | 系统管理员、权限审批岗 | 2 |
| 数据生存周期 | — | 档案职能、信息化职能 | 档案管理员、运维岗 | 2 |
| 数据应用流通 | 分管领导 | 信息化职能、经营管理职能 | 报表编制岗、业务分析岗 | 2 |
能力域维度问的是有没有归口岗位、有没有成文要求,这是贯标的问法。但数据集建设要回答的是另一类问题:这张图纸是谁出的、存在哪个库里、能不能整批导出;这一炉装了哪些工件、用的是哪几个材料批次、硬度检验结果挂在谁名下;车间自己手写的那张工艺卡,回不回得到系统里。这些问题在分管领导与职能负责人那里问不出答案,知道答案的是出图岗、工艺编制岗、炉台操作岗、库管岗、报工岗这些坐在工位上的人。访谈因此铺第二个维度,按业务域对口。
业务域维度按企业的业务链划分为九个域。每个域的访谈同时承担三项任务:还原该域的业务链路与单据流、确认该域数据的权威源与口径、提出该域对 11 个验证场景的数据使用需求。
九个域的切分依业务链的先后,从商机与项目一路排到在役服务与综合管理,而不按系统或按部门切。理由是断点几乎都出现在环节的交界处而不是环节内部:图纸到工艺卡,是设计与工艺两个岗位之间的交接;炉次到硬度检验结果,是热处理与质量检验两个口之间的交接;报警事件到维修事实,是远程运维与售后服务之间的交接。按部门切,这些交界正好落在两张访谈表的缝里,而缝里的东西恰恰是数据集最需要的关联关系。
每一域逐列记对口岗位、访谈议题、须现场核验的证据与输出结论,其中第三列是重心:只记口述,得到的是「应该是这样」;调出近三个月的炉次记录与温度曲线、翻开已审签发的工艺卡、把同一时点的三套库存报表摆在一起比对,得到的才是「实际是这样」。两者一旦不一致,不一致本身就是一条诊断结论。最后一列把每一域的现场工作收口到一句可直接写进诊断报告的判断上,不让访谈停在记录阶段。
表 1-4 九个业务域的访谈清单与现场取证要点
| 业务域 | 对口岗位(管理层/执行层) | 访谈议题 | 须现场核验的证据 | 输出结论 |
|---|---|---|---|---|
| 商机与项目 | 市场与经营职能/售前选型岗、合同管理岗 | 选型任务的受理与分派方式、配套会商结论的留痕方式、投运后评价的回收方式 | 近两年选型任务台账、三份历史选型方案、客户招标文件归档目录 | 选型方案的散存范围与可结构化程度;会商参数无电子留痕的事实与影响面 |
| 设计与工艺 | 设计职能、工艺职能/出图岗、工艺编制岗 | 图号与版本规则、图纸与工艺卡的配对方式、工序字典与加工方法分档的实际依据、中性层扣除量的取值来源 | 图号规则文件、近三个月已审签发工艺卡、工装压模台账、分档经验的书面载体 | 图卡配对关系的可还原程度;工序字典与分档规则的成文状态 |
| 计划与采购 | 供应链职能/计划岗、采购岗 | 需求计划的生成口径、采购提前期的实际统计方式、物料编码的新增与变更路径 | 物料主数据审批流水、近一年采购到货记录、物料编码规则文件 | 物料编码规则的一致性;有效提前期可否由历史记录统计得出 |
| 仓储与物流 | 仓储职能、财务职能/库管岗 | 库存口径的三套来源与使用场合、批次号与物料编码的对应方式、余料的登记方式 | 同一时点的三套库存报表、批次台账、余料实物与台账比对 | 库存口径差异的成因与仲裁需求;余料尺寸台账缺失的事实 |
| 制造执行 | 生产管理职能/调度岗、工单录入岗、报工岗 | 工单与图号、零件号的关联方式、报工的实际时点与补报情形、车间自编工艺卡的回传方式 | 近一个月工单与报工记录、车间工艺卡样本 | 工单关联率;报工时点滞后的幅度与分布;车间工艺卡回传缺口 |
| 热处理与焊接 | 工艺职能、分厂/炉台操作岗、焊接班组、计量岗 | 炉次与装炉工件、材料批次的对应方式、工艺程序下发与实际曲线的比对方式、焊接参数的采集范围、层间温度的测量方式 | 近三个月炉次记录与温度曲线、装炉登记现状、焊机参数采集清单、温度测量系统校验记录 | 炉次档案的可建成度;焊接参数与焊道的对应缺口;校验状态对数据可信度的影响 |
| 质量检验 | 质量职能/检验岗、无损检测岗、不合格品处置岗 | 检验项目的来源、缺陷描述的记录方式、不合格品票与返修的流转方式、检测位置口径 | 近三个月检验记录、不合格品票、三类检测的作业指导书 | 缺陷描述的结构化程度;检验结果与工艺参数可关联的条件 |
| 在役服务与运维 | 售后服务职能、运维职能/服务工单岗、远程运维岗 | 报警事件的处置路径、维修事实的记录方式、测点配置与部件的对应方式 | 近一年报警日志与服务工单、测点配置表 | 报警与真实故障的配对率;维修事实结构化的可行路径 |
| 综合管理 | 办公职能、档案职能、法务职能、安全职能/档案管理员、合同管理岗 | 制度与标准的发布与归档路径、版本状态的维护方式、合同与标书的归档方式、密级标识方式 | 制度库目录与版本字段、标准归档目录、合同归档样本 | 制度与标准文件的版本字段完整度;四个问答场景的文本可得性 |
十七类源系统的取证重点与取数通道初判在资产盘点阶段一并完成,见 1.6.2 节表 1-15;系统取证与业务域访谈的结论在同一张证据台账上登记,互为校验。
诊断报告里的那些比例数——图纸与工艺卡可还原配对的成数、工单与图号的关联率、制度条款有执行记录的比例——靠全量核对得不出来:仅历史图纸与配套工艺卡就有约 63 万张;而随手抽几份得到的数,又支撑不了定级与整改投入估算。抽样规则要解决的正是中间这段:每类核查抽多少、怎么抽,得出的结论才站得住。
六个抽样场合按结论的用途切分,不按数据类别切分:链路还原用于判断断点在哪,字段质量统计用于估算整改工作量,跨系统关联命中率用于判断成对样本能否建成,制度条款执行记录用于能力域定级,纸质与散存资料用于界定数字化范围,主数据绕流程核查用于判断制度是否被执行。用途不同,可容忍的误差不同,样本量下限随之不同——关键对象类别取 100 个、一般类别取 30 个,差别在于前者的结论直接进入数据集可建性判断;按近三年、三至十年、十年以上分层,是因为早年与近年资料在归档方式与电子化程度上差别明显,不分层会把近年的情况当成总体情况。
抽样总体与样本量下限两列决定结论的效力范围,分层要求一列是防止偏倚的约束,末列决定抽样结果能否直接转成整改清单——不替换样本、逐条归因,意味着统计出的命中率就是写进诊断报告的那个数。评估阶段的抽样规则在评估方案评审时与甲方确认后固化,执行中不调整;确有调整必要的,须在诊断报告中说明调整时点、原因与对结论的影响。
表 1-5 盘点与核查的样本选取规则
| 抽样场合 | 抽样总体 | 样本量下限 | 抽取方式 | 分层要求 | 不合格样本的处理 |
|---|---|---|---|---|---|
| 业务对象链路还原 | 单个业务对象类别的全部记录 | 一般对象类别 30 个;关键对象类别(图纸、工艺卡、工单、炉次、焊缝、检验记录)100 个 | 按时间分层后随机抽取 | 近三年、三至十年、十年以上三层各不少于三成、三成、一成 | 逐条记录断点位置与归因,不替换样本 |
| 字段质量统计 | 源系统单表全量 | 全量统计;单表超过千万条的按月分区随机抽取不少于 100 万条 | 按分区随机 | 按年度分区覆盖全部有数据的年份 | 异常值单独列出并回访录入岗位 |
| 跨系统关联命中率 | 上游对象的全部标识 | 每对关系 500 条 | 按上游记录随机抽取 | 按项目或按产品线分层,单一项目占比不超过三成 | 未命中项逐条核对是否为业务上本不应存在的关联 |
| 制度条款执行记录 | 制度中可核查的条款 | 每份制度抽取 5 条,不足 5 条的全查 | 优先抽取涉及审批与留痕的条款 | 覆盖该制度的全部章 | 无执行记录的条款逐条回访责任岗位 |
| 纸质与散存资料 | 该类资料的归档总量 | 每类 50 件 | 按归档年度分层随机 | 覆盖该类资料全部归档年度 | 缺件与破损逐件登记,计入数字化范围估算 |
| 主数据绕流程核查 | 主数据表的创建与变更记录 | 全量比对 | 创建记录与审批流水逐条比对 | 按主数据类别分组统计 | 差额条目按类别与时间分布登记 |
四条证据线的结论会不一致,不一致之处往往就是差距所在。诊断报告定稿前设一道合口环节:把四条线的结论按能力域与过程域对齐,逐条标记一致、部分一致、矛盾三种状态;对矛盾项回到现场二次取证,并在报告中记录差异与归因。制度写了而系统查不到执行记录,归因为流程未落地;访谈说有而文档无,归因为制度缺位;系统有数据而业务口不认,归因为口径分歧。三类归因对应三类不同的整改措施。
口径分歧中有一类须单独处理:跨部门对同一名词、同一数字的口径不一致。这类分歧不是某个部门填错了,而是各部门按各自的业务目的定义了同一个词,因而只能由有决议权的机构裁定,不能由评估方单方面认定。核实方法与差距分级如表 1-6。
表 1-6 跨部门口径冲突的核实方法与差距分级
| 冲突事项 | 涉及部门 | 核实方法 | 判定产出 | 差距分级 |
|---|---|---|---|---|
| 库存数量的三套口径 | 财务职能、供应链职能、仓储职能 | 取同一时点的三套报表,按物料逐项比对;对差额最大的 20 项追查成因(在途、占用、呆滞、盘点时点) | 口径差异说明表,逐项写明差额成因与各口径的适用场合 | L3 须委员会决议确定权威口径 |
| 工序工时定额的两处来源 | 工艺职能、工时定额职能 | 抽取 200 条工序,比对工艺卡定额字段与定额系统取值 | 不一致条目清单与不一致率 | L3 须确定权威源与仲裁规则 |
| 工序字典与加工方法分档 | 工艺职能、备料分厂 | 取备料 28 道工序的现行叫法,逐道核对两侧用词与分档边界 | 工序字典草案与分歧条目 | L2 须双方会签确认 |
| 检测位置与判定口径 | 质量职能、工艺职能、无损检测岗 | 取三类检测的作业指导书与实际检验记录比对取样位置 | 检测位置口径对照表 | L2 须双方会签确认 |
| 物料编码规则的跨系统差异 | 供应链职能、信息化职能、设计职能 | 取三套系统的编码样本各 300 条,比对规则符合率 | 编码规则差异表与落标改造范围 | L3 须确定权威源并制定映射 |
| 产品结构的权威归属 | 设计职能、供应链职能 | 比对两侧物料清单层级与件号,统计不一致层级数 | 权威源归属结论与同步时点要求 | L2 须双方会签确认 |
| 工作面类型等业务枚举 | 市场与经营职能、设计职能 | 收集现用叫法,归并为候选枚举并回访确认 | 枚举值草案 | L1 由办公室协调确认 |
差距分级的含义是处理路径而非严重程度:L1 由数据管理办公室协调确认即可结案;L2 须相关部门会签确认;L3 须提交数据治理委员会决议;L4 为须甲方新增投入或调整业务流程方可消除的差距,列入实施条件清单并约定时点。分级结论写入诊断报告,并直接转为 1.5 节的不足项条目。
评估结论的可信度取决于证据能否被第三方复核。评估期内建立一本证据台账,四条证据线的每一件证据入库时按表 1-7 登记,诊断报告中的每一条结论引用其证据编号。证据台账随诊断报告一并移交甲方,并在贯标送审时作为支撑材料。
表 1-7 证据登记台账的字段与复核要求
| 字段 | 填写口径 | 复核要求 |
|---|---|---|
| 证据编号 | 按「证据线代号-能力域或业务域代号-流水号」编制,全局唯一 | 编号一经分配不更改,作废证据保留编号并标注作废原因 |
| 证据类型 | 制度文件、流程文件、审批记录、访谈记录、系统取数结果、统计脚本、抽验样本明细、现场照片八类 | 类型与保存形态一致 |
| 证据来源 | 提供该证据的系统名称或文件出处,纸质资料注明归档位置 | 来源须可被第三方按同一路径再取一次 |
| 提供岗位 | 提供该证据的甲方岗位名称 | 不登记个人姓名,按岗位登记 |
| 取证时间 | 精确到日;系统取数精确到取数时点 | 与系统取数结果中的时间戳一致 |
| 文件版本 | 制度与流程文件登记版本号与生效区间;系统取数登记数据范围与分区 | 版本号与文件封面或系统记录一致 |
| 核验岗位 | 对该证据内容予以确认的甲方岗位 | 访谈记录须经被访谈岗位书面确认后方可入库 |
| 关联结论 | 该证据支撑的过程域定级结论或盘点结论的编号 | 一条结论至少关联一件证据;仅有单一证据支撑的结论在报告中标注 |
| 复核记录 | 复核人岗位、复核时间、复核意见(采信、需补充、不采信) | 评估组内部复核与甲方确认分两次记录,均不得空缺 |
| 状态 | 待复核、已采信、需补充、已作废 | 诊断报告定稿时不得存在「待复核」状态的证据 |
证据不足时不得以推断补位。某一过程域若因授权未到位或资料缺失而无法取证,在诊断报告中如实标注为「本轮未取证」,给出缺失的证据类型与补齐路径,待条件具备后出补充章节;该过程域不参与本轮定级,也不以方案阶段的初判代替实测结论。
招标文件要求从组织、制度、流程、工具等多维度逐项核查现存不足与能力差距。四个维度之间有固定的依赖次序:没有岗位就没人写制度,没有制度就没有流程约束,没有流程就无从判断工具该做什么。因此每个过程域下按同一组问法依次核查,核查结论按维度分别登记。
组织维度核查岗位是否设置、职责是否书面化、是否有人实际承担、考核是否挂钩,判据是岗位职责文件与近一年的经办记录可以对上。制度维度核查文件是否存在、是否现行有效、是否经审批发布、是否覆盖例外情形,判据是文件有发布记录且在最近一个考核周期内有执行痕迹。流程维度核查步骤是否明确、输入输出是否定义、是否有审批留痕、是否有度量,判据是可抽出完整的流程实例并逐步对应到制度条款。工具维度核查功能是否具备、是否被实际使用、数据是否可导出、是否有操作日志,判据是在工具中可复现一次完整业务操作并导出其记录。
四个维度的核查结论均登记证据编号,并按表 1-7 完成复核。维度之间的依赖关系在诊断阶段用于解释差距成因,其对定级的影响按 1.4.2 节的口径处理。
核查点矩阵列出九个能力域、二十八个过程域的核查对象与各维度的核查点,如表 1-8。矩阵共二十九行:数据服务过程域按表 1-1 的对照口径在数据资产与数据应用流通两域下各列一次,核查点按两域各自的管理视角分别设置,过程域总数仍为二十八个。
表中「待核验初判」一列记录的是方案阶段依据企业信息系统与数据条件调研所作的初步判断,不是评估结论。该列在诊断报告中逐行替换为实测级别与证据编号;取证未覆盖的过程域按 1.2.5 节标注为本轮未取证,不以初判充当结论。
表 1-8 九域二十八过程域核查点矩阵(核查点与待核验初判)
| 能力域 | 过程域 | 组织维度核查点 | 制度维度核查点 | 流程维度核查点 | 工具维度核查点 | 待核验初判 |
|---|---|---|---|---|---|---|
| 数据战略 | 数据战略规划 | 有无数据战略归口岗位 | 有无成文数据战略 | 战略编制与审批流程 | 战略任务台账工具 | 一级 |
| 数据战略 | 数据战略实施 | 有无实施责任分解 | 有无实施计划文件 | 任务下达与跟踪流程 | 进度跟踪工具 | 一级 |
| 数据战略 | 数据战略评估 | 有无评估责任主体 | 有无评估办法 | 评估周期与偏差处理 | 评估指标采集工具 | 一级 |
| 数据治理 | 数据治理组织 | 有无三层治理组织 | 有无职责文件 | 议事与决策流程 | 组织与职责登记 | 一级 |
| 数据治理 | 数据制度建设 | 有无制度归口 | 制度体系完整性 | 制度制订与修订流程 | 制度库与版本管理 | 二级 |
| 数据治理 | 数据治理沟通 | 有无培训与宣导责任 | 有无数据文化方案 | 培训计划与考核 | 培训记录与知识库 | 一级 |
| 数据架构 | 数据模型 | 有无建模归口岗位 | 有无建模规范 | 模型评审与变更流程 | 建模与模型管理工具 | 一级 |
| 数据架构 | 数据分布 | 有无数据分布台账责任 | 有无分布管理要求 | 分布变更登记流程 | 数据地图工具 | 一级 |
| 数据架构 | 数据集成与共享 | 有无集成归口 | 有无集成共享规范 | 接口申请与审批流程 | 集成平台与接口台账 | 二级 |
| 数据架构 | 元数据管理 | 有无元数据管理岗 | 有无元数据管理办法 | 元数据采集与变更流程 | 元数据与血缘工具 | 一级 |
| 数据资产 | 数据服务与资产运营 | 有无资产运营责任 | 有无资产管理办法 | 资产申请审批流程 | 资产目录工具 | 一级 |
| 数据标准 | 业务术语 | 有无术语归口 | 有无术语表 | 术语新增与废止流程 | 术语库 | 一级 |
| 数据标准 | 参考数据和主数据 | 有无主数据归口岗位 | 有无主数据管理办法 | 主数据申请与审批流程 | 主数据管理平台 | 二级 |
| 数据标准 | 数据元 | 有无数据元归口 | 有无数据元标准 | 数据元定义与引用流程 | 数据标准工具 | 一级 |
| 数据标准 | 指标数据 | 有无指标归口 | 有无指标定义规范 | 指标口径确认流程 | 指标管理工具 | 一级 |
| 数据质量 | 数据质量需求 | 有无质量需求提出责任 | 有无质量需求规范 | 需求提出与确认流程 | 质量需求登记 | 一级 |
| 数据质量 | 数据质量检查 | 有无检查执行岗 | 有无检查规则文件 | 检查周期与报告流程 | 质量检查工具 | 一级 |
| 数据质量 | 数据质量分析 | 有无分析责任 | 有无分析方法 | 问题定级与通报流程 | 质量分析报表 | 一级 |
| 数据质量 | 数据质量提升 | 有无整改责任 | 有无整改办法 | 整改闭环与复核流程 | 整改跟踪工具 | 一级 |
| 数据安全 | 数据安全策略 | 有无安全归口 | 有无数据安全策略 | 分级分类与授权流程 | 分级标识工具 | 二级 |
| 数据安全 | 数据安全管理 | 有无执行岗位 | 有无管理细则 | 权限申请与回收流程 | 权限管理与脱敏工具 | 二级 |
| 数据安全 | 数据安全审计 | 有无审计责任 | 有无审计要求 | 审计周期与问题处理 | 日志与审计工具 | 一级 |
| 数据生存周期 | 数据需求 | 有无需求归口 | 有无需求管理要求 | 需求受理与评审流程 | 需求登记工具 | 一级 |
| 数据生存周期 | 数据设计和开放 | 有无设计归口 | 有无设计规范 | 设计评审流程 | 设计工具 | 一级 |
| 数据生存周期 | 数据运维 | 有无运维岗位 | 有无运维规程 | 备份恢复与监控流程 | 运维监控工具 | 二级 |
| 数据生存周期 | 数据退役 | 有无退役责任 | 有无退役与归档要求 | 退役审批与归档流程 | 归档工具 | 一级 |
| 数据应用流通 | 数据分析 | 有无分析岗位 | 有无分析管理要求 | 分析需求受理流程 | 分析与报表工具 | 二级 |
| 数据应用流通 | 数据开放共享 | 有无共享归口 | 有无开放共享办法 | 对外共享审批流程 | 共享通道与台账 | 一级 |
| 数据应用流通 | 数据服务 | 有无服务责任 | 有无服务管理规范 | 服务申请与计量流程 | 服务接口与监控 | 一级 |
初判为二级的六个过程域集中在制度建设、主数据、数据集成、数据安全、数据运维与数据分析,对应企业资源计划系统已有录入规范、主数据管理平台已在用、协同办公承载制度流转的现状。从一级到三级跨两个级差的过程域是整改工作量的主要来源,也是整改优先级定级的重点对象。上述判断在取证完成前均标注为待核验。
两个过程域的核查作业按下述规程执行,其体例同样适用于其余过程域:每个维度写明核查对象、取证步骤、判据与输出,核查结论逐条登记证据编号。
参考数据和主数据过程域。组织维度的核查对象是主数据归口岗位,取证步骤为调取岗位职责文件、提取其中主数据受理、审批与维护三项职责的表述,再调取近一年主数据审批记录中的经办岗位字段并与职责文件比对;判据是职责文件所列岗位与实际经办岗位一致;输出为岗位职责与实际承担的一致性结论,不一致的记为组织缺位。制度维度的核查对象是主数据管理办法,取证步骤为核对办法是否覆盖物料、设备、工序、组织、客户五类主数据,各类编码规则是否成文,新增与变更的审批层级是否明确,停用与合并的处理是否有规定;判据是五类齐备且各项规定可对应到具体条款;输出为制度覆盖缺口清单。
流程维度的核查对象是主数据申请与审批流程,取证步骤为调取申请单模板核对必填项与审批时限,抽取近一年的驳回记录核对驳回理由的记录方式,再按表 1-5 的规则将主数据表的创建记录与审批流水逐条比对;判据是两者条数相符,差额即为绕过流程直接在系统中新增的数量;输出为流程执行率、绕流程条目清单及其按主数据类别与时间的分布。工具维度的核查对象是主数据管理平台,取证步骤为导出纳管范围清单、在测试环境提交一条违反编码规则的记录观察校验是否拦截、调取一条主数据的变更历史、核对下游系统的订阅配置;判据是纳管范围覆盖五类主数据、规则校验生效、变更历史完整、下游可订阅;输出为平台能力缺口清单。四项核查完成后,该过程域的级别依据表 1-9 的证据要求判定。
元数据管理过程域。组织维度的核查对象是元数据管理岗,取证步骤为调取岗位职责文件,并向三名以上源系统管理员核实该岗位是否曾实际要求其提供数据字典、要求是否被响应;判据是岗位存在且其要求可被执行;输出为岗位设置与权限实效的结论。制度维度的核查对象是元数据管理办法,取证步骤为核对办法是否存在、三类元数据的采集范围是否明确、字段变更的通知义务是否写入条款;判据是三类范围齐备且通知义务有责任岗位与时限;输出为制度缺口清单。
流程维度的核查对象是元数据采集、变更与核对流程,取证步骤为从各源系统的变更记录中抽取近三个月有过字段变更的表不少于 20 张,核对元数据中的记录是否同步更新、变更是否有通知记录;判据是同步率与通知率可统计;输出为元数据滞后清单与滞后天数分布。工具维度的核查对象是元数据工具,取证步骤为核对是否能自动采集技术元数据、采集覆盖的系统数、是否支持字段级血缘、血缘是否可回放;判据是自动采集可运行且血缘可定位到字段;输出为工具能力结论。该过程域的待核验初判为一级:各系统有自己的数据字典,但尚无统一的元数据管理岗位与办法,字段变更多靠口头通知。该初判若经取证成立,元数据管理须排在数据架构落地之前,否则建成的模型在源端一次字段变更后会静默失效。
GB/T 36073—2018 的五级成熟度以「是否建立、是否执行、是否量化、是否持续优化」区分级别。落到可操作的打分上,表 1-9 第三列为标准对各级别的判定要点,第四列为本项目为核实该要点而要求提供的证据类型。第四列是项目内部的取证约定,用于保证定级有据可查,不是标准条文本身。
表 1-9 过程域成熟度定级标尺与证据要求
| 级别 | 名称 | 标准判定要点(GB/T 36073—2018) | 本项目要求提供的证据 |
|---|---|---|---|
| 一级 | 初始级 | 工作被动开展,依赖个人经验 | 访谈记录说明工作由个人自行处理 |
| 二级 | 受管理级 | 有归口岗位,有基本要求,执行不稳定 | 岗位职责文件;至少一份相关要求文件 |
| 三级 | 稳健级 | 过程成文、按流程执行、有记录可查、有度量 | 现行有效制度与流程文件;连续两个考核周期的执行记录;度量指标及其统计结果 |
| 四级 | 量化管理级 | 过程以量化指标管理,指标纳入考核并有改进 | 指标基线与目标值;考核结果;基于数据的改进案例 |
| 五级 | 优化级 | 持续优化并形成行业输出 | 优化机制文件;对外标准或实践输出证据 |
本项目的目标水平是三级。评估阶段对每个过程域的核心判断是「距离三级还缺哪一类证据」,缺失的证据类型直接转为整改任务:缺制度的制订制度,缺执行记录的建流程并运行满两个考核周期,缺度量的定指标并接入治理平台采集。这一映射使整改任务可核查,不停留在无法验收的表述上。
诊断过程中会用到若干便于内部排序与整改编排的判定约定。这些约定由项目组提出、经甲方确认后在本项目内部适用,不改变也不代表 GB/T 36073—2018 的评价规定;正式的 DCMM 评价由认定机构依据标准及其评价方法实施,评价结论以认定机构出具的结论为准。两者的区分如表 1-10,诊断报告中对每一条内部约定均加同样的注明。
表 1-10 标准评价要求与项目内部诊断约定的区分
| 事项 | GB/T 36073—2018 及认定机构评价要求 | 本项目内部诊断约定 | 约定的用途与生效条件 |
|---|---|---|---|
| 过程域定级依据 | 依据标准所列各级别的过程特征与评价方法判定 | 按表 1-9 第四列的证据类型逐项核验,证据不足的不计入该级别 | 用于内部诊断与整改任务生成;经甲方确认后适用,不替代认定机构的判定 |
| 维度依赖关系 | 标准未按组织、制度、流程、工具四维分别定级 | 上一维度缺位的,在内部诊断中将下一维度的得分记为受限,并在差距说明中写明受限原因 | 仅用于差距归因与整改排序,不作为该过程域的对外定级结论 |
| 能力域级别的汇总方式 | 由认定机构按标准的评价方法汇总 | 内部诊断同时给出该域各过程域的最低值与平均值,整改优先级按最低值对应的过程域确定 | 用于短板识别与资源投向;送审材料按认定机构要求的口径另行汇总 |
| 证据时间跨度 | 按标准对过程执行记录的要求 | 三级所需的执行记录按连续两个考核周期计,考核周期以企业现行考核制度为准 | 用于制度发布时点与流程上线时点的倒排;最终以认定机构核定为准 |
| 初判级别 | 不适用 | 方案阶段的初判仅用于安排取证次序与资源,取证完成后逐项替换为实测级别 | 初判不进入任何对外结论,诊断报告中不保留初判列 |
评分按过程域打分、按能力域汇总。诊断报告对每个能力域同时给出其各过程域级别的最低值与平均值:最低值用于识别短板并确定整改优先级,平均值用于观察整体水平的变化。两个数值的用途在报告中分别注明,避免被当作同一结论使用。九个能力域的待核验初判与三级目标之间的差距如图 1-3 所示。
1-3 九大能力域成熟度初判与三级目标差距示意
图 1-3 九大能力域成熟度初判与三级目标差距示意。数据来源:初判级别取表 1-8 各域过程域最低值;目标水平取招标文件 3.2.6.1 第(1)项「对标 DCMM 三级成熟度要求」。本图为方案阶段初判,正式级别以现状评估取证结论为准。
不足项的分类方式决定整改任务怎么编排。按能力域分类得到的是贯标视角,便于送审但不便于排期;按业务口分类得到的是组织视角,便于落责但容易漏掉跨口问题。本项目采用三层分类:第一层按缺口性质分为组织缺位、制度缺位、流程未落地、工具缺失、数据本体缺陷五类;第二层按涉及范围分为单域、跨域、全局三类;第三层按整改方式分为可由本项目直接交付、须甲方配合调整流程、须甲方新增采集手段三类。
第三层决定整改能否闭合。本项目能交付的是制度文稿、流程设计、平台功能与数据加工成果;而在既有业务流程中增设填报入口并由经手人确认这类整改须由甲方推动执行。这类不足项在诊断阶段单独标出并写入实施条件清单,与数据需求清单一并提交甲方决策。
表 1-11 不足项分类维度与定级规则
| 分类层 | 取值 | 说明 | 典型整改措施 |
|---|---|---|---|
| 缺口性质 | 组织缺位 | 无归口岗位或职责未书面化 | 设岗、写职责、纳入考核 |
| 缺口性质 | 制度缺位 | 无成文要求或文件已失效 | 制订或修订管理办法与细则 |
| 缺口性质 | 流程未落地 | 有制度无执行记录 | 流程上线治理平台,留审批痕迹 |
| 缺口性质 | 工具缺失 | 无支撑工具或工具不可导出数据 | 治理平台功能建设、工具链部署 |
| 缺口性质 | 数据本体缺陷 | 主键不通、字段缺失、口径不一 | 主数据贯通、标准落标、清洗与补录 |
| 涉及范围 | 单域/跨域/全局 | 影响一个能力域、多个能力域或全企业 | 跨域与全局项须由治理委员会决议 |
| 整改方式 | 项目组直接交付 | 制度文稿、流程设计、平台功能、数据加工 | 列入本项目交付清单 |
| 整改方式 | 须甲方配合调流程 | 增设填报环节、调整审批节点 | 列入需配合事项清单并约定时点 |
| 整改方式 | 须甲方新增采集 | 新增测点、布设相机、数字化纸质记录 | 列入数据需求清单并标注前置条件 |
1.2.4 节产出的跨部门口径冲突条目按同一体例并入不足项清单:冲突事项记为数据本体缺陷,差距分级 L1 至 L3 对应整改方式中的前两类,L4 对应须甲方新增采集。
优先级按三个因子打分:对贯标三级的影响度、对 11 个验证场景的紧迫度、实施难度。前两个因子取正向,第三个取反向。影响度与紧迫度各按 1—5 分评定,难度按 1—5 分评定,综合得分按「影响度 × 0.4 + 紧迫度 × 0.4 +(6 − 难度)× 0.2」计算,得分 4.0 以上为 P1,3.0—4.0 为 P2,3.0 以下为 P3。权重与阈值在评估方案评审时与甲方确认后固化,执行中不调整。
这一算法把卡住场景且不难做的事排在最前。对本项目而言,排在最前的是跨对象主键贯通:施工号、产品号、图号、零件号、物料编码、工单号、炉次、焊缝与焊道、设备编码、故障记录这一串标识之间目前没有稳定的主键关系,六个专业场景的数据都要绑定到业务对象上才有意义,而映射本身的技术难度不高,难在把映射规则与各业务口确认下来。优先级的四象限分布如图 1-4 所示。
1-4 不足项整改优先级四象限与首批整改项分布
图 1-4 不足项整改优先级四象限与首批整改项分布。数据来源:招标文件 3.2.6.1.1.1 第(2)项;缺口条目取方案阶段调研所得的数据条件现状,正式清单以评估取证结论为准。
优先级给出的是先后,资源估算给出的是可行性,两者缺一不可。同样定为 P1,「把数据治理组织设立起来」与「把约 63 万张历史图纸和与之配套的工艺卡的配对关系理清楚」不是一个量级的事:前者是几份发文加几轮审批,几个人、几周;后者是几十万条记录的匹配、抽检与返工,量纲根本不落在人数上。而「补上焊接层间温度」这一项,无论投入多少人、多少时间都做不出来,因为车间现在就没有测这个温度的手段,它要的是一笔设备投入和一次布点施工。把这三件事放进同一张按人天折算的排期表,排出来的计划在第一个月就会散架。
所以资源估算先不问「要几个人」,先问「这件事按什么计量」。表 1-12 按缺口性质分行,再把两类须甲方动作的缺口单列,因为量纲随缺口性质而变:组织缺位的量纲是岗位数与发文件数,制度缺位是文件份数,工具缺失是功能点数,数据本体缺陷是资产条数、规则条数与映射对数。流程未落地一类的量纲最容易被低估——它不止是把流程配置上线,还要加上两个考核周期的实际运行期,因为贯标认定看的是执行记录,而记录只能靠时间攒,流程上线当天记录数仍然是零。
列设五项,分量最重的是后两列。「主要投入主体」把项目组可独立完成的与须甲方出人出钱的分开,这条线决定了同一份估算在实施计划里是写成工作包还是写成实施条件;「估算结果的使用」把每一类估算接到一个具体的排期决策上——组织类的估算定的是制度审批的起点,制度类的估算倒排的是执行记录的积累周期,数据本体类的估算定的是主数据贯通与落标的排期——使估算不停在一个数字上。若只用人天一个量纲通折,新增采集类的缺口会被折算成一个看起来可做的数,把它其实是一笔设备投入加一次流程改造的事实盖过去,等排期走到中段才暴露,那时已经没有补救的余地。
逐类读下来可以看出一件事:每一类缺口都有确定的计量方式和确定的出资出力方,整改计划的可行性在排期动笔之前就已经校验过一遍。估算结果随诊断报告提交,作为实施计划排期与资源投入的依据。
表 1-12 整改资源估算的量纲、估算方法与投入主体
| 缺口性质 | 工作量量纲 | 估算方法 | 主要投入主体 | 估算结果的使用 |
|---|---|---|---|---|
| 组织缺位 | 岗位数、发文件数 | 按需设岗位数 × 职责书编制工作量,加组织发文的审批周期 | 甲方人力与信息化职能 | 定组织设立时点,制约制度审批起点 |
| 制度缺位 | 文件份数 | 按制度清单份数 × 单份编制工作量,区分新编与修订 | 项目组承办、甲方会签 | 定制度发布时点,倒排执行记录积累周期 |
| 流程未落地 | 流程条数、上线工作量 | 按须上线流程条数 × 配置与试运行工作量,加两个考核周期的运行期 | 项目组实现、甲方执行 | 定流程上线时点,决定贯标送审时点 |
| 工具缺失 | 功能点数 | 按治理平台功能点与工具链部署项估算 | 项目组 | 并入平台建设排期 |
| 数据本体缺陷 | 资产条数、规则条数、映射对数 | 按盘点所得资产条数与规则条数估算清洗与落标工作量;映射按对象对数估算 | 项目组加工、甲方确认口径 | 定主数据贯通与落标排期 |
| 须甲方配合调流程 | 流程改动点数 | 按须增设的填报环节数与涉及岗位数估算 | 甲方业务部门 | 列入实施条件清单并约定时点 |
| 须甲方新增采集 | 测点数、设备台数、扫描件数 | 按布点方案的测点与设备数、纸质资料件数估算 | 甲方新增投入 | 列入实施条件清单并按场景优先级分批 |
排期的第二个问题是次序。整改项之间有硬的先后关系,次序排错不是慢一点,是返工:制度要发文,得先有发文的主体,治理组织不设立,管理办法连会签的人都找不到;数据要落标,得先有标准,而标准里的物料编码规则又要以跨对象标识映射的结论为输入;图纸与工艺卡要成对入库,得先把图号规则统一下来,否则配对做完一轮,规则一改还要再做一轮。若单按优先级得分从高到低推,最容易出现的局面就是先把数据洗了一遍,口径随后变了,再洗第二遍。
实施次序因此按三批安排,次序的依据是依赖关系而非优先级得分:前一批不完成,后一批没有输入。三批对应三类性质不同的产出——第一批打基础,产出的是主体与标识;第二批建规则,产出的是标准与制度;第三批补数据,产出的才是可用的数据资产。
每一批逐列写整改内容、前置条件、完成标志与对后续批次的影响。「完成标志」一列写的是可核验的事件,不是进度比例:组织发文、对象清单会签、映射规则经抽样核对达到约定命中率基线,这些都能指着一份文件或一次抽检说清楚;若写成百分比,三批的交界就会变成可以商量的事,上一批带着尾巴进下一批,尾巴在第三批集中暴露。「对后续批次的影响」一列把依赖关系摆到明面上,使任一批次延期的后果在它开工之前就已经写明,而不是等下一批开工才发现没有输入。整改不是一张可以随意并行压缩的任务清单,而是一条有向的链;三批的边界就是这条链上的三个闸口。
表 1-13 整改实施次序与各批次的前置条件
| 批次 | 整改内容 | 前置条件 | 完成标志 | 对后续批次的影响 |
|---|---|---|---|---|
| 第一批 打基础 | 治理组织设立与发文;业务对象清单与跨对象标识映射规则确认;口径冲突中 L3 条目的委员会决议 | 甲方确认九域对口岗位与各业务口数据专责 | 组织发文、对象清单会签、映射规则经抽样核对达到约定命中率基线 | 不完成则制度无审批主体、数仓明细层无法建模 |
| 第二批 建规则 | 顶层制度与职能级细则发布;数据标准与主数据落标;质量规则库建立;分级分类标识 | 第一批完成;制度征求意见与审批周期满足 | 制度正式发文并入制度库;落标系统的枚举合规率达到约定基线 | 不完成则执行记录无依据,三级所需记录无法开始积累 |
| 第三批 补数据 | A、B 两档资产接入与清洗;C 档补录与填报入口上线;D 档新增采集按场景分批实施 | 第二批的标准与规则就绪;甲方完成流程调整与采集投入 | 各场景最小可用集达成率达到当期目标 | 不完成则相关场景按降级口径验证 |
诊断报告中标注为证据不足的条目,按统一流程补齐,避免结论长期悬置。流程为五步:评估组在诊断报告中列明缺失的证据类型、缺失原因与可能的替代证据;数据管理办公室在报告评审会上确定每条的责任岗位与补齐时点;责任岗位按约定时点提供证据或说明无法提供的原因;评估组复核证据并更新对应结论,更新内容以补充章节形式归档,原结论保留并标注被更新;办公室在月度例会上通报未补齐条目的数量与分布。
补齐期内,相关过程域的定级结论维持「本轮未取证」状态,不参与能力域汇总,也不作为整改优先级排序的依据。若某条证据至贯标自评前仍无法补齐,由办公室提出该过程域按现有证据可支撑的级别,并在自评报告中说明证据限制。这一处置使证据链保持完整,不以推断填补空缺。
招标文件要求梳理各类数据资源,厘清数据来源、流转链路、存储现状。盘点以业务对象为主索引、系统为属性组织。按系统逐个盘点得到的是十七张互不衔接的字段清单,而企业的业务特征是同一个物理工件的过程事实分散在若干系统中:一套刮板输送机产品从合同签订到交付,由生产管理部门下发施工号、设计部门出图、工艺研究单元按零件与部件编排工艺路线,随后经备料下料、结构件组装焊接、热处理、机加工、喷漆进入装配,每个车间在总工艺路线之下再各自编制本车间的工艺卡片。按业务对象盘点才能看出链路在哪一环断掉。
盘点先定义对象清单——项目与施工号、产品与部件、图纸与图档、零件与物料、工艺路线与工艺卡、工单与工序、炉次、焊缝与焊道、检验记录与不合格品票、库存批次、设备与测点、服务工单与备件、制度与标准文件、合同与标书——再对每个对象登记它在哪些系统中有记录、各系统中的标识字段是什么、记录之间能否关联、关联命中率多少。登记字段与口径如表 1-14,其中抽样类字段按表 1-5 的样本选取规则取值。
表 1-14 数据资产盘点的登记字段与口径
| 字段 | 口径说明 | 取值方式 |
|---|---|---|
| 资产名称 | 按业务对象+数据类别命名,如「工艺卡片—备料工序明细」 | 调研登记 |
| 业务对象 | 取对象清单中的一项 | 对象清单 |
| 数据来源系统 | 产生该数据的系统,区分源系统与下游副本 | 系统取证 |
| 存储现状 | 数据库表、文档库、文件服务器、纸质档案四类及其位置 | 系统取证+档案调研 |
| 数据形态 | 结构化、半结构化、文档、图纸、图像、时序、视频、音频 | 调研登记 |
| 存量规模 | 条数或张数或容量,给出统计时点 | 系统取证 |
| 时间覆盖 | 最早记录年份至今,标注中断区间 | 系统取证 |
| 增量频率 | 日增量或月增量 | 系统取证 |
| 标识字段 | 该资产用于对外关联的主键或业务标识 | 系统取证 |
| 关联能力 | 与上下游资产的关联命中率 | 抽样统计 |
| 质量初判 | 主键唯一性、非空率、枚举合规率三项抽样结果 | 抽样统计 |
| 流转链路 | 该资产的上游来源与下游消费方 | 访谈+取证 |
| 取数通道 | 只读接口、数据库只读视图、文件导出、人工导出、暂无通道 | 系统取证 |
| 敏感级别 | 按数据分级分类要求初判 | 安全职能确认 |
| 责任部门 | 该资产的业务归口部门 | 访谈确认 |
| 证据编号 | 该行各项取值所依据的证据编号 | 证据台账 |
盘点表每一行的取值均登记证据编号,抽样所得的比率同时记录样本量与抽样时点,使结论可被第三方按同一方法复算。
企业的系统覆盖已铺到设计与工艺、生产计划与工单、质量检验、库存与物流、项目与商机、公文与合同、设备过程参数以及在役装备运维各个业务面。招标文件 3.2.1 服务采购清单第 1 项列出的外围应用系统共 17 套,本项目对这些系统的要求集中在一件事上:按已授权范围开放只读数据接口,把系统内已有的业务事实按业务对象组织出来供上层调用,不替换、不重建其中任何一套。各系统的盘点重点与取数通道初判如表 1-15。
表 1-15 十七类源系统承载的数据资产、盘点重点与取数通道初判
| 系统类别 | 承载的主要数据资产 | 盘点重点 | 取数通道初判 |
|---|---|---|---|
| 产品全生命周期管理 | 产品结构、图纸与图文档、工艺文件 | 图号规则、图纸与工艺文件的配对关系、原生文件可读性 | 按图号或项目只读读取,解析在内网就地进行 |
| 企业资源计划 | 物料主数据、物料清单、需求计划、采购订单、库存账与价格 | 物料编码规则、物料清单层级完整度、价格字段时效 | 已授权数据域只读接口或数据库只读视图 |
| 制造执行 | 工单、工序流转与报工 | 工单与图号、零件号的关联率;报工时点滞后幅度 | 只读增量接口 |
| 质量管理 | 检验项目与记录、交检拍照、质量报告、不合格品与返修票据 | 缺陷描述的结构化程度;与工艺参数的关联缺失情况 | 只读读取,含拍照附件 |
| 仓储管理与物流执行 | 实物库存、批次与物料流转 | 库存口径与账面口径的差异;批次号与物料编码的对应 | 只读接口 |
| 客户关系管理 | 项目与商机信息 | 历史数据覆盖年限;商机与成交的对应关系 | 已授权范围只读读取 |
| 协同办公 | 制度文件、合同、标书、不合格品票与改造方案流转 | 文件版本状态与生效区间;附件可导出性 | 文档目录、附件与访问控制信息只读导出 |
| 数据采集与监控 | 自动化产线与热处理设备过程参数 | 采集覆盖的车间与设备范围;采样周期;历史留存年限 | 既有采集范围只读取数,范围按场景分批扩展 |
| 物联网与设备数据平台 | 测点接入、时序数据汇聚与设备报警记录 | 测点配置完整度;测点与物理部件的对应关系 | 测点配置、时序数据与报警记录只读读取 |
| 热处理群控 | 炉次工单下发、开炉与完工记录、工艺程序下发 | 炉次与装炉工件清单、材料批次的关联 | 炉次工单与开完工记录只读读取 |
| 装备远程运维平台 | 在役装备测点配置、时序数据与报警日志 | 报警与真实故障的配对率;测点失效与漂移情况 | 按授权开通测点配置、时序与事件记录读取 |
| 工时定额 | 工序工时定额与工时统计 | 定额与工艺卡片定额字段的一致性 | 只读读取 |
| 售后服务与备件管理 | 服务工单、派工与备件出库记录 | 服务工单与远程运维事件的关联缺失 | 只读读取 |
| 企业文档 | 标准、技术手册、工程资料与外部资料归档 | 归档完整度、版本状态字段 | 文档目录、正文与版本状态只读读取 |
| 主数据管理平台 | 已纳管的主数据域与审批流水 | 纳管范围、审批流程记录完整度 | 只读读取 |
| 安全监管平台 | 安全管理与隐患记录 | 与设备、作业对象的关联 | 已授权范围只读读取 |
| 报表报送 | 统计报表与报送数据 | 指标口径与业务系统口径的差异 | 报表定义与结果只读读取 |
盘点在系统之外还覆盖三类不在系统里的资产:纸质档案(纸质检测报告数量可观但尚未数字化)、散存文档(四五百套历史选型方案以文档形式散存,没有结构化库),以及只存在于交流过程中的事实(截深、截高、推移步距一类接口参数,是矿方与刮板输送机、采煤机、液压支架、破碎机各家会商妥协后确定的,往往没有规范的电子留痕)。第三类在盘点表中登记为暂无通道,并进入需求清单的新增采集部分——这类数据的建设方式是在既有业务流程中增设填报入口并由系统预填、经手人确认,不是一次性补录。三类资产按表 1-5 的纸质与散存资料抽样规则核实数量与完整度。
流转链路的还原方式是:按表 1-5 对关键业务对象抽取样本,沿链路逐跳人工核对并记录每一跳的结果。以图号为起点的链路,逐跳核对其在产品全生命周期管理系统中的图纸、在工艺系统中的工艺卡片、在制造执行系统中的工单与报工、在质量系统中的检验记录是否能串成一条完整链路;以炉次为起点的链路,逐跳核对装炉清单、材料批次、实际温度曲线与硬度检验结论之间的关联是否成立。每一跳记录三项:标识是否可对应、对应是否唯一、对应所依据的字段。链路中断的位置、中断比例与中断原因逐条登记,构成断点清单。
企业的数据条件可概括为量不少、关联少、口径散:生产业务数据留存完整;过程参数已在采集并长期保存;历史图纸约 63 万张,且每一张图纸历史上都配有一张已审核签发的工艺卡片,天然构成成对的监督样本。断点集中在六处:选型方案以文档散存;工艺卡片与图纸的配对关系存在于人的记忆与文件目录中;焊接参数流与工件、焊道无对应;热处理炉次与工件、材料批次、检测结果无稳定关联;故障记录与数据段无配对;库存物料与部件的对应关系尚未梳理。上述断点为方案阶段调研所得,正式断点清单以链路还原的抽样结果为准。断点位置如图 1-5 所示。
1-5 业务对象数据流转链路与现存断点
图 1-5 业务对象数据流转链路与现存断点。数据来源:招标文件 3.2.6.1.1.1 第(3)项;图纸存量 63 万张、备料 28 道工序取本项目既定事实口径;断点条目取方案阶段对企业数据条件的调研结论,正式清单以链路还原抽样结果为准。
关键数据元素(Critical Data Element,CDE)指一旦缺失或错误就会导致某个业务结论不成立的字段。识别方式是从业务结论反推:先列出 11 个验证场景各自要给出的结论,再逐条追问该结论依赖哪些字段,最后按依赖的场景数与出错后果定级。
出错后果在本企业是不对称的,这一点写进定级规则。材料定额中的下料尺寸写错,钢板割下来就是废料;而某个描述性字段填写不全,影响的只是检索效率。因此 CDE 分三级:一级为错误即造成物料损失或质量事故的字段,二级为错误导致场景结论不可用的字段,三级为影响效率的字段。一级 CDE 在数据质量规划中按最严口径设置检查规则,具体规则见「数据治理规划(二)」。表 1-16 中「当前主要问题」一列为方案阶段调研所得,逐项在评估阶段以证据核实后写入正式清单。
表 1-16 关键数据元素清单(按业务对象分组,节选)
| 业务对象 | 关键数据元素 | 级别 | 依赖场景数 | 当前主要问题(待核实) |
|---|---|---|---|---|
| 项目与施工号 | 施工号、矿井名称、工作面类型、合同交期 | 二级 | 4 | 工作面类型未枚举化 |
| 产品与部件 | 产品型号、槽宽档位、动力部功率、链条链环直径 | 一级 | 3 | 标准件库缺适用条件、替代关系、在产状态三项字段 |
| 图纸与图档 | 图号、版本号、材料牌号、板厚、外形轮廓、孔与方孔、坡口与倒角、压弯线、粗糙度 | 一级 | 3 | 图号与命名规则不统一;原生图纸不支持整批导出 |
| 工艺路线与工艺卡 | 零件号、工序号、工序名称、设备编码、工装压模号、样板号、展开长、工时定额 | 一级 | 3 | 工序字典与加工方法分档规则未成文;中性层扣除量散见于经验 |
| 零件与物料 | 物料编码、物料名称、规格、单位、单价、采购提前期 | 一级 | 5 | 跨系统编码规则不一致;外购有效提前期无历史统计 |
| 工单与工序 | 工单号、工序流转状态、报工时间、报工人岗位、实际工时 | 二级 | 4 | 报工时点相对实际作业滞后 |
| 炉次 | 炉次号、装炉工件清单、材料批次与来源、码装方式、装炉量、设定程序、实际温度曲线 | 一级 | 2 | 炉次与工件、材料批次、检测结果无稳定关联;装载登记缺失 |
| 焊缝与焊道 | 焊缝编号、焊道编号、焊接参数时序、预热温度、层间温度、焊工资质、工艺评定号 | 一级 | 2 | 参数流与焊道无对应;层间温度无采集手段 |
| 检验与不合格品 | 检验项目、检验值、判定结论、缺陷类别、缺陷位置、处置方式 | 一级 | 4 | 缺陷描述为文字,未与工艺参数关联;三类检测位置口径不一致 |
| 库存批次 | 批次号、库位、可用数量、项目占用、呆滞标记、余料尺寸 | 二级 | 2 | 库存口径不统一;余料无可用尺寸台账 |
| 设备与测点 | 设备编码、部件编码、测点编号、测点类型、采样周期、轴上角位置基准 | 一级 | 2 | 部件级振动测点与角位置基准缺失 |
| 服务工单与备件 | 服务工单号、设备编码、故障现象、更换部件、处置结论 | 一级 | 2 | 维修事实无结构化记录;与报警事件无配对 |
| 制度与标准文件 | 文件编号、版本号、生效区间、废止标记、密级、责任部门 | 二级 | 5 | 版本状态字段不完整 |
| 合同与标书 | 合同编号、客户、产品、金额、条款章节、素材复用等级 | 三级 | 2 | 素材缺少有效期与敏感度管理 |
供给能力评估回答的是场景要的数据今天拿不拿得到。这里最容易出的误判,是把「这个字段系统里有」直接当成「这个数据可用」。在本企业,同一个「有」字至少对应四种处境:工单号、物料编码这类字段在系统里有、非空率也够,接上取数通道就能用;库存数量在系统里也有,但三套口径并存,取哪一套要先仲裁,不仲裁就取,取出来的数每个部门都不认;选型的投运评价系统里没有、纸面上也没有,它从来没有被回收过,要从零补录;焊接的层间温度既不在系统里也不在纸上,车间现在就没有测它的手段,要先新增采集。这四件事的工作量、责任方、能不能由项目组单方面完成,彼此之间没有可比性;而若在盘点表上一律记成「待处理」,排期时就会被当成同一类事,其中有两类恰恰是项目组自己推不动的。
四档的分界线因此划在「缺的是什么」上,不划在数据质量的好坏上。A 档缺的只是一条取数作业;B 档缺的是口径与规则,东西在,但不能直接用;C 档缺的是记录本身——事情发生过,只是没有留下结构化的痕迹,散在纸质单据、文档甚至经手人的记忆里;D 档缺的是物理上的感知手段,事情发生过,但从来没有被测量过。C 与 D 的分界尤其要紧:C 档靠数字化与流程改造能补上,代价是人和时间;D 档要动设备、要布点、要停机配合,代价是投入与工期。两者若合并成「缺数据」一类,实施条件清单就会漏掉最需要提前约定的那一部分。
每一档逐列写判定标准、处理方式与工作量性质,末一列是这张表真正起作用的地方:它把档位直接翻译成估算量纲——接口数、资产条数与规则数、流程调整进度、测点与设备数——与表 1-12 的量纲一一对上。于是盘点出来的每一条资产,在判定档位的同一刻就已经确定了由谁来补、补的是什么、按什么计量估工作量,不必再做一轮转换。
表 1-17 数据供给能力四档分级与处理方式
| 档位 | 判定标准 | 处理方式 | 工作量性质 |
|---|---|---|---|
| A 档 可直接取用 | 字段存在、非空率满足场景要求、有稳定只读取数通道、口径与场景一致 | 建立增量取数作业,纳入数仓贴源层 | 接入工程,工作量可按接口数估算 |
| B 档 需清洗与映射 | 字段存在但口径不一、枚举不规范、存在重复或缺失 | 按数据标准落标、建映射规则、做清洗与补全 | 加工工程,工作量按资产条数与规则数估算 |
| C 档 需补录或回填 | 历史上无记录或记录在纸质、文档中 | 数字化、结构化入库;或在业务流程中增设填报入口由经手人确认 | 须甲方配合,工作量取决于流程调整进度 |
| D 档 需新增采集 | 物理上未采集,须新增测点、相机或采集手段 | 提出采集需求与布点方案,按场景优先级分批实施 | 须甲方新增投入,列为实施条件 |
四档的比例分布直接影响项目排期。按方案阶段的调研,A 档集中在企业资源计划与制造执行两类系统的结构化字段;B 档占比最大,物料编码、工单填写完整度、库存口径、缺陷描述都在其中;C 档包括选型投运评价、热处理装载登记、维修事实、纸质检测报告;D 档包括焊接层间温度与熔池状态、部件级振动测点与轴上角位置基准、面向焊接部位的工业相机图像。上述分布为待核验初判,正式分布以逐项资产的档位判定结果为准。C、D 两档不能由项目组单方面完成,在诊断报告中单列一章,连同实施条件与建议时点一并提交甲方决策。
招标文件要求识别高质量数据集验证场景对数据的使用需求并输出需求清单。清单按场景成章,每章同一体例:该场景要给出的结论、所需数据类别、最小可用集、当前主要缺口、供给档位分布、取数通道、条件不具备时的降级输出口径。最后一项对本项目是必需的——数据质量不均意味着各场景不能假定输入一律可用,须配套可信度分级与降级输出口径,否则场景验证一旦遇到缺失数据就只能中止。
表 1-18 高质量数据集验证场景数据需求清单的章节体例与首批场景的最小可用集
| 场景 | 要给出的结论 | 最小可用集 | 当前主要缺口(待核实) |
|---|---|---|---|
| 产品智能选型 | 在可行配置中给出排序与推荐理由 | 一组核心工况参数(年产计划或每小时运力、铺设长度、倾角、采高、煤层厚度)+机型与部件型谱+可调用的校核结果 | 配套会商结论无电子留痕;投运评价须从零补录;标准件库缺三项字段 |
| 板材备料工艺 | 在 28 道工序的封闭集合内完成选择与排序并填到可审状态 | 可解析的图纸文件+工序字典+历史成对图纸与工艺卡样本 | 工序字典与分档规则未成文;中性层扣除量散见于经验;图号规则不统一 |
| 库存与供应链 | 在保交付与资金上限双约束下给出补货方案 | 物料主数据+实时库存与出入库记录+采购到货记录 | 库存三套口径并存;余料无尺寸台账;有效提前期无历史统计 |
| 热处理过程 | 建立批次档案并在偏离设定程序时提示 | 一路可用的过程时序通道+正式工艺文件参数要求+工单与零件批次标识+硬度检验结果 | 炉次、工件、材料批次、曲线与检测结果无稳定关联;装载登记缺失 |
| 焊接过程 | 输出参数差异清单,指出偏离的维度、方向与幅度 | 焊机基础参数时序+工艺文件参数窗口+焊缝与焊道对象标识+质检结果 | 层间温度与气体波动无实时监测;参数、视觉与检测结果三者割裂 |
| 装备健康诊断 | 按证据等级给出部件级异常判断与检查顺序 | 设备与部件档案+一路可用的运行数据通道+服务工单 | 部件级测点与角位置基准缺失;维修事实无结构化记录;无事件级标签 |
| 管理制度问答 | 给出结论、条款出处与版本状态 | 现行有效制度文件全集+版本与生效区间字段 | 版本状态字段不完整;文件分散 |
| 技术标准问答 | 给出条款定位与版本适用性 | 标准文件全文+版本与废止标记 | 版本更新追踪无机制 |
| 标书问答 | 按客户、产品、规模多维检索并给出来源与复用等级 | 历史招投标文件+客户与产品标签 | 素材缺少有效期与敏感度管理 |
| 决策数据问答 | 给出结果并附数据来源、更新时间与口径说明 | 经营指标定义+业务系统授权数据域 | 指标口径与业务系统口径存在差异 |
| 合同合规审查 | 给出偏离项、原文位置与规则依据 | 法规与制度基准库+合同文本 | 规则库未建;合同条款未结构化 |
清单中的数据需求与四大数据集的规模口径对齐:预训练数据集 615 亿 Token、指令微调数据集 89 万条、强化学习偏好数据 6.6 万组、基准测试数据集 0.95 万条。供需计划、产品工艺设计、制造过程、质量四个方向的分项规模与数据卡见本卷「四大数据集规模与数据卡」,本节不重复列举。需求清单把每一个场景要用的数据落到具体资产与具体档位上,使数据集建设的输入边界清晰。
招标文件要求输出数据治理现状诊断报告与高质量数据集验证场景数据需求清单。两份成果的章节结构、交付时点、验收口径与交接方式如表 1-19,章节结构在评估方案评审阶段与甲方确认后固化。两份成果在合同生效后的第一阶段内提交,提交并经评审确认后作为四个规划域的输入。
表 1-19 现状评估的成果结构、交付时点与实施交接验收
| 成果物 | 章节结构 | 形态 | 交付时点 | 验收口径 | 交接方式与接收岗位 |
|---|---|---|---|---|---|
| 数据治理现状诊断报告 | 一 评估范围、依据与方法;二 证据台账说明与取证统计;三 九域二十八过程域逐域诊断(每过程域给级别、证据编号、四维差距);四 成熟度评分汇总与短板分析;五 不足项清单与分类;六 整改优先级、资源估算与实施次序;七 须甲方配合与新增投入的事项清单;八 附件:访谈记录索引、系统取证结果、抽验样本明细、证据台账 | 报告 | T+3 月 | 九个能力域、二十八个过程域逐一有定级结论与证据编号;每个差距项可回溯到至少一条证据;本轮未取证项有缺失说明与补齐路径;经甲方评审确认 | 评审会上逐章宣讲并提交电子件与纸质件;接收岗位为数据管理办公室;证据台账同步移交并完成清点签收 |
| 高质量数据集验证场景数据需求清单 | 一 编制说明与术语口径;二 业务对象清单与标识映射;三 按场景分章的数据需求(结论、数据类别、最小可用集、缺口、供给档位、取数通道、降级口径);四 关键数据元素清单与分级;五 供给能力四档汇总与工作量估算;六 须甲方配合调整流程与新增采集的清单及建议时点;七 附件:数据资产盘点表 | 清单 | T+3 月 | 覆盖 11 个验证场景;每个场景给出最小可用集与降级输出口径;关键数据元素逐项标注级别与当前问题;经甲方评审确认 | 与诊断报告同次评审;接收岗位为数据管理办公室,各业务口数据专责按域会签本域章节 |
评估的进度不完全由项目组控制。取数要授权,访谈要有人,现行制度文件要从各归口部门调齐,纸质档案要安排调阅,跨部门口径打架要有人拍板——这五件事里任何一件晚到,评估都不会原地等着:等一个月,后面四个规划域的起点就顺延一个月,整条路线图跟着移位。所以每一项条件在开工之前就要约定两件事,一是什么时候到位,二是没到位时这一轮怎么继续往下走。
逐条写实施条件、责任方、约定时点与条件不具备时的处理,重心在第四列。它写的不是违约责任,而是降级作业的具体做法:取数授权未开通,就先做文档审阅与访谈,把该过程域标为本轮未取证,授权到位后出补充章节;对口岗位未确认,就按建议口径出草案并标注待确认;纸质档案未能调阅,就按可调阅部分抽样,未调阅部分在盘点表中标注并给出数字化范围建议。其效果是把交付时点与证据完整度分开管理——评估按期交付,而哪一条结论因为哪一项条件没到位而暂缺,在诊断报告里是明写的、可回查的,不以推断补足。
表 1-20 现状评估的实施条件与责任界面
| 实施条件 | 责任方 | 约定时点 | 条件不具备时的处理 |
|---|---|---|---|
| 源系统只读取数授权(接口或只读视图开通) | 甲方信息化职能与各系统管理员 | 项目启动会后 15 个工作日内 | 先做文档审阅与访谈,取数就绪后补做取证并更新诊断结论;诊断报告中标注本轮未取证的过程域,授权到位后出补充章节 |
| 九个能力域对口岗位与各业务口数据专责确认 | 甲方人力职能与信息化职能 | 项目启动会上确认 | 项目组提出岗位清单建议,由办公室筹备组临时承接;未确认的域按建议口径出草案并标注待确认 |
| 现行制度文件清单与现行版本提供 | 甲方档案职能与各制度归口部门 | 访谈启动前 | 按已提供部分先行审阅,缺件在诊断报告中单列并进入证据补齐流程 |
| 纸质档案与散存文档的调阅安排 | 甲方档案职能 | 盘点启动前 | 按可调阅部分抽样,未调阅部分在盘点表中标注并给出数字化范围建议 |
| 跨部门口径冲突的决议安排 | 数据治理委员会、数据管理办公室 | 诊断报告评审会前 | L3 条目在报告中列为待决议事项并给出建议口径,不单方面认定 |
治理规划以现状评估结论为输入,按招标文件列举的规划域逐域编制。本节交付其中的数据战略、数据治理、数据架构、数据资产四个规划域;数据标准、数据质量、数据安全、数据生存周期、数据应用流通五个规划域与治理规划成果交付要求,见本卷「数据治理规划(二)」。
四个规划域之间有固定的承接关系,编制时按同一组输入与同一套对象口径展开,避免重复建设:数据战略规划确定目标、路线与资源,是其余规划域的排期依据;数据治理规划确定组织、制度与机制,是其余规划域能够被审批、被执行、被考核的前提;数据架构规划确定模型、分布、集成与元数据,是数据资产规划与后五个规划域的技术底座;数据资产规划确定权属、价值与运营,是数据对外提供服务的管理依据。四域共用现状评估产出的业务对象清单、标识映射规则与证据台账,共用数据治理平台的目录、元数据、流程与审计能力。
表 2-1 四个规划域的建设目标、核心交付与相互依赖
| 规划域 | 招标文件条款 | 建设目标 | 核心交付 | 输入依赖 | 为其他规划域提供 |
|---|---|---|---|---|---|
| 数据战略规划 | 3.2.6.1.1.2.1 | 把治理目标分解为可度量、可排期、可考核的任务与路线 | 数据战略管理办法、数据战略规划、数据战略实施计划、战略评估报告 | 诊断报告的差距与优先级、场景数据需求清单 | 排期与资源口径、评估指标与偏差处理规则 |
| 数据治理规划 | 3.2.6.1.1.2.2 | 建立有决议权的组织、可执行的制度与可考核的机制 | 数据治理顶层规划方案、数据治理组织架构、全套顶层管理制度、数据文化建设方案 | 诊断报告的组织与制度差距项 | 审批主体、口径确认流程、制度体例与考核口径 |
| 数据架构规划 | 3.2.6.1.1.2.3 | 把分散在十七类系统与纸质档案中的业务事实组织成可反复调用的结构 | 数据模型分层架构、数据分布及数据流图、数据集成共享管理规范、元数据管理办法 | 业务对象清单与标识映射规则、分布台账 | 一致性维度、取数通道、血缘与变更影响分析 |
| 数据资产规划 | 3.2.6.1.1.2.4 | 界定资产的归属、价值与使用方式,使数据可被管理、可被授权、可对外提供 | 数据资产管理办法、数据资源目录、资产价值评估办法、数据资产运营流程规范 | 资产盘点表、价值评价所需的质量与规模统计 | 资产目录与权属标签、授权与审批口径 |
按招标文件逐条列举,现状评估与四个规划域合计交付 18 份成果;另加落实治理机制所需的 3 份职能级细则,本节成果合计 21 份。各成果的章节结构、形态、交付时点、验收口径与交接方式,在现状评估与各规划域的末一小节逐项给出。其余五个规划域的成果与全部治理文档的合并计数见「数据治理规划(二)」,全部治理文档不少于 25 份。
数据战略规划要解决的是目标与路径:企业的数据工作在建设周期内达到什么水平、按什么次序推进、投入多少资源、怎么判断是否走在计划上。本企业的起点是具体的:售前选型的四百至五百笔年度任务集中在少数几位资深工程师身上,四五百套历史选型方案散存而不可复用;编制一张图纸的工艺卡需完成数百次点击与录入,一套四百张量级的项目仅工艺编审即需两天以上,而其中七八成图纸本有可借用的既有工艺;在役装备报警不少、故障标签很少,报警与真实故障之间缺少可核对的证据。
三者指向同一个判断:企业的数据价值首先在于把已有数据组织成可被调用、可被复核的资产,而非新增采集。数据战略因此以此为主线。战略表述为:以业务对象标识贯通为起点,以 11 个验证场景的数据需求为牵引,以 DCMM 三级的过程规范为约束,在建设周期内把分散在十七类系统与纸质档案中的业务事实,逐步转为可溯源、可复用、可交付的数据资产,并以此支撑行业高质量数据集建设。
这段表述有三个可验证的落点:标识贯通的覆盖对象数、场景数据需求的满足率、过程域达到三级的数量。战略的量化目标建立在这三个落点上,不另造指标。
愿景若只落成一句方向,到了季度例会上便无从核对——说「数据驱动经营」,核对时问不出该问谁、该看哪个数、该与哪个时点相比。三层愿景因此逐层分解为目标、指标与责任主体,并按基线、趋向、回退三段给出度量口径。基线以现状评估的实测值为准,评估完成前的取值记为待测;趋向为建设周期内的推进方向与期段目标;回退为未达期段目标时的处置方式。
三层的来由是 2.1.1 节的三个可验证落点:过程规范的达成程度归能力层,场景数据需求的满足情况归业务层,资产的组织与交付成形程度归资产层;再往下分出的指标都能归入这三者,多设一层只会让同一件事被统计两次。度量写成三段而不是一个目标值,来由有二:现状评估尚未出结论,各能力域的实际级别与口径文件存量都还是待测,此时给出绝对数没有证据支撑;C、D 两档数据能否按期到位,取决于甲方的配合进度与采集手段补装,并非单方面可控。
读表时度量指标与基线两列须合看,前者定量什么,后者定从何处起算;回退一列最应被追问,它写明的是调整送审时点、按降级口径输出、暂不纳入可答范围这类处置,而不是调低度量口径。能力层首行与业务层首行是全表关键,前者是贯标的硬目标,后者是数据集加工与场景验证共同的供给前提。各层的分解如表 2.1-1。
表 2.1-1 数据战略愿景的三层目标分解与度量
| 层次 | 愿景表述 | 分解目标 | 度量指标 | 基线 | 趋向 | 未达期段目标时的回退 | 责任主体 |
|---|---|---|---|---|---|---|---|
| 能力层 | 数据管理过程成文、按流程执行、有记录可查、有度量 | 九大能力域逐步达到 DCMM 三级(稳健级)所要求的过程规范,并取得三级认证 | 达到三级的过程域数量;认定机构的认证结论 | 现状评估实测的各过程域级别(评估前记为待测) | 按三批整改次序逐批提升,期段目标写入实施计划 | 在季度例会列明未达域、缺失证据类型与补齐计划;调整送审时点而非压缩记录积累周期 | 数据管理办公室 |
| 能力层 | 治理工作可被考核 | 制度与流程上线并持续运行 | 已上线流程的执行记录完整度 | 首批流程上线后一个考核周期的实测值 | 按季提高并逐步接近全部已上线流程均有完整记录 | 对记录缺失的流程追查环节责任,必要时简化流程节点后重新上线 | 数据管理办公室、各工作组 |
| 业务层 | 11 个智能化应用场景所需的数据按最小可用集达成供给 | 各场景的最小可用集逐场景达成 | 已达成最小可用集的场景数;各场景供给档位的转化情况 | 需求清单中各场景的初始档位分布 | 按场景优先级分批推进,B 档逐步转 A 档,C、D 档按甲方配合进度推进 | 未达成的场景按降级输出口径开展验证,并在验证报告中说明数据条件限制 | 各业务口数据专责、项目组 |
| 业务层 | 数据使用方能查到口径 | 指标与术语口径统一并可查 | 已登记口径的指标与术语数;口径确认流程的办结率 | 评估阶段盘点所得的已有口径文件数 | 按季扩充并逐步接近核心指标与术语全覆盖 | 未登记口径的指标暂不进入决策数据问答的可答范围,列入下一批登记清单 | 各职能部门、数据管理办公室 |
| 资产层 | 形成数据资源目录并逐步覆盖核心业务对象 | 资源目录覆盖六个主题域的核心业务对象 | 目录内资产数;核心业务对象的覆盖比例 | 首批目录上线时的实测值 | 按年度扩充并逐步接近核心对象全覆盖 | 未入目录的资产不纳入对外提供范围,在盘点表中标注原因与补齐时点 | 数据管理办公室 |
| 资产层 | 形成四类数据集并具备对外提供服务的条件 | 预训练、指令微调、强化学习偏好、基准测试四类数据集按既定规模交付并通过质量评测 | 数据集规模;质量评测三维度得分 | 招标文件规定的规模与评分要求 | 按数据集加工排期分批交付,具备按统一目录标识、统一身份登记、统一接口要求对外提供服务的条件 | 未达评测要求的数据子集回到质检与回流环节重做,不以降低评测口径达成 | 项目组、数据管理办公室 |
重点任务按依赖关系分解,而非按能力域分解。依赖关系排错会造成返工:标识不通就做不了跨系统关联,关联不成立就做不了成对样本,没有成对样本就无从评测。十项重点任务及其度量如表 2.1-2。
表 2.1-2 数据战略重点任务分解与度量
| 序号 | 重点任务 | 任务内容 | 依赖前提 | 度量指标 |
|---|---|---|---|---|
| 1 | 业务对象标识贯通 | 建立施工号、产品号、图号、零件号、物料编码、工单号、炉次、焊缝与焊道、设备编码、故障记录之间的主键映射规则并落库 | 现状评估的对象清单与关联命中率结论 | 已贯通对象数 / 对象清单总数;跨系统关联命中率 |
| 2 | 主数据与数据标准落标 | 物料、设备、工序、术语、指标五类主数据与数据标准的制订与落标 | 任务 1 的对象清单 | 落标系统数;枚举合规率 |
| 3 | 治理组织与制度运行 | 三层治理组织设立、顶层制度发布、流程上线并运行满两个考核周期 | 诊断报告的组织与制度差距项 | 制度发布数;流程执行记录完整度 |
| 4 | 数据架构落地 | 数仓五层分层建模、数据地图、集成架构与元数据血缘建设 | 任务 1、任务 2 | 已建模主题域数;元数据采集覆盖率;血缘可追溯链路数 |
| 5 | 数据质量与安全规划实施 | 质量规则库、检查与整改闭环、分级分类与权限管控 | 任务 2 | 规则数;一级关键数据元素检查覆盖率;分级标识覆盖率 |
| 6 | 数据资产目录与运营 | 资产目录、权属界定、价值评价、申请审批流程上线 | 任务 1、任务 4 | 目录内资产数;申请审批流程线上办理比例 |
| 7 | 场景数据供给 | 按需求清单推进 A—D 四档数据的接入、加工、补录与新增采集 | 需求清单;甲方配合事项 | 各场景最小可用集达成率;B 档转 A 档的资产数 |
| 8 | 四类数据集交付与评测 | 预训练、指令微调、强化学习偏好、基准测试四类数据集的加工生产与质量评测 | 任务 7 | 数据集规模;质量评测维度得分 |
| 9 | 贯标送审与复评 | 自评、预审、认定机构现场评估与整改复评 | 任务 3、4、5 | 过程域达三级数量;认证结论 |
| 10 | 软建设配套与人才支撑 | 政策梳理、规划、机制、标准与人才培养等配套措施 | 任务 3 | 配套文件与机制数量;培训覆盖人数 |
任务 1 排在最前。跨对象主键映射与追溯样例集是六个专业场景共同的前置条件,技术难度不高,难在把映射规则与各业务口确认下来,因此越早启动越好。任务 1 滞后将连带影响任务 4、7、8,该依赖关系写入 2.3.13 节的实施条件。
资源投入按人力、平台与工具、第三方服务三类列明,与建设周期的阶段切分对齐。人力方面,项目组按治理规划、数据加工、平台建设、质量评测、场景验证五条线组织,关键岗位在项目期内不变更;甲方侧须明确九个能力域的对口岗位与各业务口的数据对接人,这是制度能否落地的决定因素。
平台与工具方面,数据治理平台与数据集加工生产平台、数据集运营服务管理平台的建设内容见本卷相应章节,本规划域列明治理工作对平台功能的依赖项:资源目录、元数据与血缘、数据标准落标检查、质量规则执行与整改跟踪、资产申请审批、审计日志六项。第三方服务方面,DCMM 贯标认证须由认定机构出证,等级保护测评与商用密码应用安全性评估、数据集质量测评盖章报告同属须外部机构承做的事项,相应费用已列入报价。
表 2.1-3 资源投入与阶段对应
| 投入类别 | 第一阶段(T+0 至 T+3 月) | 第二阶段(T+4 至 T+18 月) | 第三阶段(T+19 月至 2028 年 5 月) |
|---|---|---|---|
| 项目组人力 | 评估与规划为主,治理规划线满负荷 | 数据加工与平台建设为主,五条线并行 | 评测、验证与贯标送审为主 |
| 甲方对口 | 九域对口岗位确认、访谈与取证配合、授权开通 | 流程调整落地、填报入口上线、数据确认 | 认证现场配合、验收评审 |
| 平台与工具 | 治理平台需求确认与环境准备 | 治理平台与工具链部署、功能上线 | 功能完善与运行稳定性保障 |
| 第三方服务 | 贯标辅导机构与测评机构锁定 | 预审与过程测评 | 认证现场评估、密评与等保测评、质量测评出证 |
路线图按三阶段切分,切分依据是三个确定性的里程碑:诊断完成、关联打通并交付首批数据集、评测与贯标通过。建设周期至 2028 年 5 月,阶段时点以合同生效日为起点按相对月份表示,正式计划在项目启动会上与甲方确认后固化。
2.1-1 数据战略实施路线图与里程碑
图 2.1-1 数据战略实施路线图与里程碑。数据来源:建设周期至 2028 年 5 月取招标文件项目工期要求;阶段任务取表 2.1-2 重点任务分解;里程碑口径对应 3.2.6.1 第(1)—(3)项。
数据战略管理办法规定战略本身如何被管理:由谁制订、怎么审批、多久评估一次、偏差到什么程度要调整、调整走什么程序。办法按七章组织,正文随治理规划成果一并交付。
第 1 章总则,列目的、依据、适用范围与术语。依据部分引用 GB/T 36073—2018 与企业数字化转型相关要求。第 2 章职责分工,规定数据治理委员会、数据管理办公室、各业务口数据专责在战略管理中的职责,与 2.2 节的治理组织架构保持一致。第 3 章战略制订,规定编制依据(现状诊断结论、业务场景需求、国家与行业要求三项)、编制流程、审批层级与发布形式。
第 4 章战略实施,规定任务分解规则、责任落实方式、资源保障要求与进度报告周期。第 5 章战略评估,规定评估周期(半年度评估、年度全面评估)、评估指标、偏差分级与处理方式。第 6 章战略调整,规定触发条件、调整权限与变更留痕要求。第 7 章附则,规定办法的生效、修订与解释权归属。
办法中有一条专门约定:战略目标的调整权限在数据治理委员会,战略任务的排期调整权限在数据管理办公室。两类调整分开,使排期能够应对实际进度,同时保持目标稳定。
实施计划把表 2.1-2 的十项重点任务拆到可下达的粒度:每项任务拆为若干工作包,每个工作包明确输入、输出、责任部门、起止时点与验收方式。工作包的粒度以一个责任部门在一个月内可完成并可验收为准。
表 2.1-4 数据战略实施计划的工作包体例与首批工作包(节选)
| 工作包 | 所属任务 | 输入 | 输出 | 责任部门 | 时点 | 验收方式 |
|---|---|---|---|---|---|---|
| 业务对象清单确认 | 任务 1 | 盘点表、访谈记录 | 对象清单及其标识字段定义 | 信息化职能牵头,各业务口确认 | T+1 月 | 治理委员会评审通过 |
| 跨对象映射规则制订 | 任务 1 | 对象清单、关联命中率统计 | 映射规则文件与追溯样例集 | 信息化职能牵头,项目组承做 | T+3 月 | 抽样核对命中率达到约定基线 |
| 治理组织设立 | 任务 3 | 诊断报告组织差距项 | 组织架构文件与岗位职责书 | 甲方人力与信息化职能 | T+2 月 | 正式发文 |
| 顶层管理办法发布 | 任务 3 | 九域规划 | 数据治理管理办法 | 数据管理办公室 | T+5 月 | 正式发文 |
| 物料主数据落标 | 任务 2 | 物料数据元标准 | 落标映射表与清洗结果 | 物料主数据职能 | T+8 月 | 枚举合规率达到约定基线 |
| 工序字典成文 | 任务 2 | 备料 28 道工序现状梳理 | 工序字典与加工方法分档规则 | 工艺职能 | T+6 月 | 工艺职能会签确认 |
| 贴源层接入首批资产 | 任务 4、7 | A 档资产清单、取数授权 | 贴源层表与增量作业 | 项目组 | T+7 月 | 数据比对一致性检查通过 |
| 图卡成对样本集构建 | 任务 7 | 图纸与工艺卡配对关系 | 成对样本集与质检报告 | 项目组,工艺职能确认 | T+10 月 | 抽样一致性校验通过 |
| 资产目录首批上线 | 任务 6 | 盘点表、权属界定结论 | 数据资源目录 | 数据管理办公室 | T+12 月 | 目录对象覆盖数达到约定基线 |
| 贯标自评 | 任务 9 | 制度与执行记录 | 自评报告 | 数据管理办公室,项目组支撑 | T+19 月 | 自评结论经委员会确认 |
进度报告按月提交,内容为工作包状态、偏差与原因、下月安排。偏差处理按 2.1.8 节的偏差分级执行。
常态化评估的关键在于定出偏差多大算问题。不定阈值,评估报告只能写总体进展良好、个别任务滞后,没有处理动作。偏差按三档定级:工作包进度滞后一个月以内或指标达成率在目标值的九成以上,记为一般偏差,由数据管理办公室跟踪;滞后一至三个月或达成率在七成至九成,记为重要偏差,由数据管理办公室提出措施并报委员会备案;滞后三个月以上或达成率低于七成,或前置任务受阻导致后续任务无法开工,记为严重偏差,提交治理委员会决议,可触发战略任务排期调整。
表 2.1-5 数据战略评估指标与偏差阈值
| 指标 | 定义 | 统计周期 | 一般偏差 | 重要偏差 | 严重偏差 |
|---|---|---|---|---|---|
| 工作包按期完成率 | 当期按期完成工作包数 / 当期应完成数 | 月 | ≥90% | 70%—90% | <70% |
| 过程域达三级进度 | 已达三级过程域数 / 阶段目标数 | 季 | ≥90% | 70%—90% | <70% |
| 对象标识贯通率 | 已贯通对象数 / 对象清单总数 | 季 | ≥90% | 70%—90% | <70% |
| 场景最小可用集达成率 | 已达成最小可用集的场景数 / 11 | 季 | ≥90% | 70%—90% | <70% |
| 一级关键数据元素检查覆盖率 | 已配检查规则的一级关键数据元素数 / 一级关键数据元素总数 | 季 | ≥90% | 70%—90% | <70% |
| 制度执行记录完整度 | 有完整执行记录的流程数 / 已上线流程数 | 季 | ≥90% | 70%—90% | <70% |
| 须甲方配合事项完成率 | 已完成配合事项数 / 当期应完成数 | 月 | ≥90% | 70%—90% | <70% |
最后一项指标单列,因为相当一部分整改须由甲方推动。把它纳入同一张评估表,使双方在同一组数字上对话。各指标的基线取现状评估与首期统计的实测值,阈值为建议值,在项目启动会与甲方确认后固化;连续两期处于严重偏差的指标,由委员会决议调整任务排期或追加资源,不调低指标口径。
评估走完整回路:指标采集(由治理平台自动采集为主、人工填报为辅)→ 偏差识别与分级 → 归因分析 → 措施制订 → 措施执行 → 下一周期复核。归因分析沿用 1.5.1 节的缺口性质分类,使评估结论与诊断结论可比,便于判断整改是否有效。回路如图 2.1-2 所示。
2.1-2 数据战略常态化评估闭环与迭代机制
图 2.1-2 数据战略常态化评估闭环与迭代机制。数据来源:招标文件 3.2.6.1.1.2.1 第(3)项。
本规划域交付数据战略管理办法、数据战略规划、数据战略实施计划、战略评估报告四份成果。四份文件的分工是:管理办法规定战略怎么被管理,规划规定要达到什么、分几步走,实施计划规定谁在什么时点做什么,评估报告记录做到了什么、差在哪里、怎么调整。评估报告按半年度出具,项目期内累计不少于四期,首期在 M2 里程碑后出具。
表 2.1-6 数据战略规划域的成果结构、交付时点与实施交接验收
| 成果物 | 章节结构要点 | 形态 | 交付时点 | 验收口径 | 交接方式与接收岗位 |
|---|---|---|---|---|---|
| 数据战略管理办法 | 总则;职责分工;战略制订;战略实施;战略评估;战略调整;附则 | 制度 | T+5 月 | 七章齐备;经委员会审议并正式发文 | 委员会审议后由办公室发文并入制度库;接收岗位为数据管理办公室 |
| 数据战略规划 | 愿景三层表述与目标分解;十项重点任务;资源投入;三阶段路线图;评估机制 | 规划 | T+4 月 | 含表 2.1-1 的三层分解与可度量指标;十项任务有依赖前提与度量;路线图有里程碑判定条件 | 评审会宣讲后提交;接收岗位为数据管理办公室,各工作组会签本域任务 |
| 数据战略实施计划 | 工作包清单;每包的输入、输出、责任部门、时点、验收方式;进度报告体例 | 计划 | T+5 月 | 工作包粒度符合约定;每包要素齐备;与路线图里程碑对齐 | 下达至各责任部门并在治理平台登记;接收岗位为数据管理办公室与各责任部门 |
| 战略评估报告 | 本期指标值;偏差识别与分级;归因分析;措施与责任;上期措施复核 | 报告 | 半年度,累计不少于 4 期 | 七项指标逐项给值与偏差档位;偏差项有归因与措施;上期措施有复核结论 | 年度评估会上宣讲并归档;接收岗位为数据治理委员会 |
战略规划域的四份成果里,管理办法、规划与实施计划三份,项目组可以独立编到可审议的状态;但它们要真正生效,取决于三件项目组控制不了的事。贯标认定看的是执行记录,而记录只能靠时间攒,制度发布晚一个月,送审时点就得跟着后移;战略评估的七项指标要有数可取,取数依赖治理平台相应功能上线;偏差分级要有基线,而基线要等现状评估的首期统计出来才有数。三件事的共同点是都受时点约束而不受工作量约束——加人、加班都不能让它们提前,能做的只有把时点前置安排,并备好空窗期的替代作业。
本域的实施条件因此按时点依赖而不按资源依赖来列,第四列给的是空窗期里具体怎么顶。指标采集功能未上线期间由办公室按月人工填报,填报口径与自动采集口径保持一致并留存底稿,待切换到自动采集时两段数据可以接续,不在指标曲线上留下断口;基线未确认前按待测标注,偏差分级暂按进度口径执行。替代作业与正式作业的衔接点写在表内,使每一处顶上去的地方后续都能复算,而不是过后无从查起。
表 2.1-7 数据战略规划域的实施条件与责任界面
| 实施条件 | 责任方 | 约定时点 | 条件不具备时的处理 |
|---|---|---|---|
| 贯标执行记录的积累周期满足认定要求 | 甲方各执行部门、数据管理办公室 | 制度与流程按表 2.1-4 时点发布上线 | 制度发布与流程上线时点在规划中前置安排;记录积累不足时调整送审时点,优先保证记录完整 |
| 指标采集所需的平台功能上线 | 项目组 | 第二阶段内 | 未上线期间由办公室按月人工填报,填报口径与自动采集口径一致并留存底稿 |
| 评估指标基线值的确认 | 数据管理办公室、各责任部门 | 现状评估完成后的首期统计 | 基线未确认前按待测标注,偏差分级暂按进度口径执行 |
数据治理规划的建设目标有三项:设立有决议权的多层级治理组织并把职责落到岗位;制定全套顶层管理制度并使其被执行、被查到;建立常态化的工作、协同与考核机制,使治理不依赖个人推动。
组织设计的难点在本企业是具体的。企业的数据困难相当一部分是跨部门的:图纸在设计部门、工艺卡在工艺研究单元、工单在生产管理部门、检验记录在质量部门、库存在供应链部门,而「图纸—工艺卡—工单—检验」这条链路要打通,没有一个部门能单独决定。工序字典与加工方法分档规则未成文,涉及工艺部门与备料分厂两方的口径;库存三套口径并存,涉及财务、供应链与仓储各自的统计需要。这类事项须有一个有决议权的机构,且其决议要能约束各部门。
据此,组织设计落在两项安排上:明确哪些事项必须上会决议、哪些事项由办公室直接办;明确各业务口数据专责的职责是代表本部门确认口径,而不是配合提供数据。后者是实质区别——确认口径意味着承担责任。
组织按决策层、管理层、执行层三层设置,各层的角色、职责与权限边界如图 2.2-1。架构中的岗位均为甲方侧岗位,由甲方正式发文设立;项目组在管理层与执行层设对口接口,承担方案编制、规则制订、数据加工与平台实现,甲方的决议与确认职责由甲方岗位行使。
2.2-1 三层数据治理组织架构、议事路径与责任边界
图 2.2-1 三层数据治理组织架构、议事路径与责任边界。数据来源:招标文件 3.2.6.1.1.2.2 第(1)项;能力域划分取表 1-1。
组织设计中有三处针对本企业现状的具体安排。第一处是九个能力域工作组的组长由对口职能负责人兼任,不另设专职:本企业的治理事项多为口径确认类,专职人员无权代表职能部门确认口径;由职能负责人兼任组长,会签即生效,省掉一层上报。第二处是数据质量首责落在产生数据的岗位:报工时点相对实际作业有滞后、部分工单数据填写不完整,这类问题靠录入环节的规范与考核解决,首责写进职责文件并在 2.2.4 节的考核机制中挂钩。第三处是跨域事项的协调权在办公室而非委员会:工艺与备料分厂的工序口径、财务与供应链的库存口径,这类争议若一律上会,决议周期将无法满足项目进度;授权办公室先行协调,协调不成再上报,把上会事项控制在需要决策的范围内。
组织图画出来之后,真正决定治理能否运转的是三件事:谁能拍板、拍板的结果以什么形式留下来、不办会怎么样。库存三套口径并存多年,并非无人过问,而是没有哪个岗位被明确为确认口径的人,也没有哪个场合必须就此出一个结论。
表中后三列正是为这三件事而设。决策权限一列划定边界,凡未列入某岗位权限的事项一律上一层;固定产出一列把职责转成可核查的件——决议、纪要、口径确认单、变更通知单、取数通道台账,没有固定产出的职责过一个季度便无从检查;考核挂钩一列决定机制能否持续运行。只写职责而无后三列,得到的是一份组织说明,不是可据以检查的分工。末行单列项目组对口接口,是为把边界写明:确认口径、签发决议、审批对外提供由甲方岗位行使,项目组承担方案编制、规则制订、数据加工与平台实现。
执行层的源系统管理员与各业务口数据专责两行是全表关键:前者决定取数通道与变更通知是否可靠,后者决定口径能否被确认;这两行落空,上面两层开再多会也落不到数据上。各层机构与岗位的职责、权限与产出如表 2.2-1。职责表与组织架构文件内容一致,正式发文时以岗位职责书的形式逐岗签发。
表 2.2-1 三层治理组织的机构设置、岗位职责与权限边界
| 层级 | 机构或岗位 | 主要职责 | 决策权限 | 固定产出 | 考核挂钩方式 |
|---|---|---|---|---|---|
| 决策层 | 数据治理委员会 | 审议数据战略与九域规划;裁定跨部门口径争议;审定年度资源投入;审批对外提供数据 | 战略目标调整、跨域与全局事项决议、对外提供审批 | 季度会议决议、年度评估决议 | 委员会决议的执行情况纳入部门年度考核 |
| 决策层 | 委员会主任(分管领导兼) | 召集会议、签发决议、协调跨部门资源 | 临时议题的召集权 | 决议签发记录 | — |
| 管理层 | 数据管理办公室 | 统筹治理日常工作;受理数据需求;组织口径确认与争议协调;维护制度库与资源目录;汇总评估指标 | 战略任务排期调整、跨域事项先行协调、一般偏差处置 | 月度例会纪要、月度进度报告、半年度评估报告 | 办公室履职情况纳入信息化职能部门考核 |
| 管理层 | 办公室主任 | 主持月度例会;签发口径确认单;提出升级事项 | 口径确认单的签发权、升级提报权 | 口径确认单、升级提报单 | — |
| 管理层 | 九个能力域工作组组长(对口职能负责人兼) | 承办本能力域的规划、制度与整改任务;代表本职能会签规则 | 本域规则的会签权 | 本域周例会纪要、本域规则会签意见 | 本域任务进度纳入职能部门季度考核 |
| 执行层 | 各业务口数据专责 | 代表本部门确认数据口径;提出本部门数据需求;承办本域整改任务;维护本部门资产目录条目 | 本部门口径的确认权 | 口径确认意见、数据需求单、目录条目维护记录 | 口径确认及时率与目录维护完整度纳入岗位绩效 |
| 执行层 | 数据录入、报工、检验等产生数据的岗位 | 按规范录入;对所录数据的完整性与准确性负首责;配合质量问题整改 | — | 录入记录、整改回执 | 质量问题归属统计纳入岗位月度绩效 |
| 执行层 | 源系统管理员 | 开通并维护只读取数通道;执行变更通知义务;提供数据字典 | — | 取数通道台账、变更通知单 | 未通知导致下游故障的情形记入部门考核 |
| 执行层 | 安全职能岗 | 数据分级分类的确认;敏感数据访问的会签;审计日志复核 | 敏感级数据访问的会签权 | 分级确认记录、审计复核意见 | 审计发现问题的处置时效纳入职能考核 |
| 接口 | 项目组对口接口 | 方案编制、规则制订、数据加工与平台实现;提供取证与评估支撑 | — | 方案与规则文稿、加工成果、评估支撑材料 | 按合同约定的交付时点与验收口径考核 |
治理组织设立之后最常见的失效方式,不是没有组织,而是会照常开、文件照常发,事情还是按原来的路子走。前面诊断出来的库存三套口径就是这么来的:三个部门都知道彼此的数对不上,缺的不是认识,是一个确定的场合把口径定下来,和一个确定的后果让拖着不定的一方感到不便。源系统改了一个字段、下游取数作业第二天静默出错,也是同一类问题——它不需要新制度,需要的是一条「改之前要通知」的流程,和一条「没通知导致故障要记账」的规则。机制这一节要解决的就是这件事:让治理工作在制度发文之后仍有确定的运行场合、确定的产出与确定的后果。
三类机制解决不同问题:工作机制解决什么时候做什么,协同机制解决跨部门的事怎么推,考核机制解决不做会怎样。表 2.2-2 按这三类分组,每一类下面落到具体的会议或具体的流程,而不停在机制名称上——停在名称上的机制表,发文之后没有人知道该在哪一天做什么。运行周期一列同时容纳两种触发方式:例会按周期触发,协同类按事件触发,由任一业务口发起、协调两次未果即升级、源端变更即通知;跨部门的事不会恰好等到月度例会才发生,等一个月,该修的作业已经错了一个月的数。
「输出」一列要求每一次运行都落到一件可归档的东西上——决议、确认单、受理单、变更通知。没有这一列,例会在第二个季度就会退化成轮流通报进度。「不运行的后果处理」一列把考核接到前两类机制上,使工作机制与协同机制不靠自觉运转:未通知导致下游故障的记入部门考核,决议后不执行的按考核机制处理。四列合起来,机制才是可以追责的,而不是一张挂在墙上的议事安排。
表 2.2-2 三类治理机制的运行口径
| 机制 | 构成 | 运行周期与触发 | 输出 | 不运行的后果处理 |
|---|---|---|---|---|
| 工作机制 | 委员会季度例会 | 每季度一次 | 会议决议、重要与严重偏差处理意见 | 列入年度考核 |
| 工作机制 | 办公室月度例会 | 每月一次 | 工作包状态、一般偏差处理、下月任务 | 列入部门考核 |
| 工作机制 | 九个工作组周例会 | 每周一次(规划期内)/每两周一次(实施期内) | 本域任务进展、规则会签意见 | 列入岗位考核 |
| 工作机制 | 年度评估会 | 每年一次 | 战略评估报告、目标调整决议 | — |
| 协同机制 | 口径确认流程 | 由任一业务口或办公室发起 | 口径确认单(经相关部门会签) | 超期未会签视为无异议,但须书面记录 |
| 协同机制 | 跨域争议升级流程 | 协调两次未果即升级 | 委员会决议 | 决议后不执行的,按考核机制处理 |
| 协同机制 | 数据需求受理流程 | 业务口提出数据需求 | 需求受理单、供给档位判定、交付时点 | 超期未受理须说明原因 |
| 协同机制 | 变更通知流程 | 源系统字段、口径、接口变更 | 变更通知与影响评估 | 未通知导致下游故障的,记入部门考核 |
| 考核机制 | 部门数据管理考核 | 季度 | 考核得分,纳入部门绩效 | 连续两季不达标由委员会约谈 |
| 考核机制 | 岗位数据质量考核 | 月度 | 质量问题归属统计与岗位得分 | 纳入岗位绩效 |
| 考核机制 | 专项奖励 | 年度 | 对数据质量改善显著的部门与岗位予以表彰 | — |
口径确认流程中「超期未会签视为无异议,但须书面记录」一条有配套要求:书面记录超期事实并在月度例会上通报,使超期本身成为可见的管理信息。没有这一条,确认流程会被无限拖延;有了这一条,超期的部门也知道自己的沉默被记录在案。
招标文件要求制定全套顶层数据治理管理制度,包含数据治理管理办法、实施细则、操作规范。三类文件的层级关系是:管理办法规定做什么、谁负责、走什么权限,属公司级制度;实施细则把办法中的条款落到具体流程、表单与时限,属职能级文件;操作规范写到具体系统的具体操作步骤与填写要求,属岗位级文件。三层之间逐级引用,同一件事只在一层规定,避免修订时改不全。
治理文档的总量要求不少于 25 份,需求实列 37 份;属于本规划域的顶层制度与本节其余三个规划域的配套文件清单如表 2.2-3。数据标准、质量、安全、生存周期、应用流通五域的配套文件见「数据治理规划(二)」,全套清单在治理规划成果交付一节汇总。
表 2.2-3 数据治理规划域的制度体系清单
| 层级 | 文件名称 | 主要内容 | 引用关系 |
|---|---|---|---|
| 公司级 | 数据治理管理办法 | 治理目标、组织与职责、制度体系、工作与考核机制、监督与问责 | 上承数据战略管理办法 |
| 公司级 | 数据战略管理办法 | 见 2.1.6 节 | — |
| 公司级 | 数据资产管理办法 | 见 2.4 节 | 下引资产运营流程规范 |
| 公司级 | 元数据管理办法 | 见 2.3.12 节 | 下引元数据采集与变更细则 |
| 职能级 | 数据治理组织运行细则 | 三层机构的议事规则、例会要求、决议格式与归档 | 下承管理办法第 2 章 |
| 职能级 | 数据口径确认与争议处理细则 | 确认单格式、会签范围、时限、超期处理、升级路径 | 下承管理办法第 4 章 |
| 职能级 | 数据管理考核细则 | 考核对象、指标、权重、数据来源、申诉程序 | 下承管理办法第 5 章 |
| 职能级 | 数据需求受理与交付细则 | 需求单格式、受理时限、档位判定、交付与验收 | 下承管理办法第 4 章 |
| 职能级 | 数据集成共享管理规范 | 见 2.3.10 节 | 下承数据架构规划 |
| 职能级 | 数据资产价值评估办法 | 见 2.4.4 节 | 下承数据资产管理办法 |
| 职能级 | 数据资产运营流程规范 | 见 2.4.8 节 | 下承数据资产管理办法 |
| 岗位级 | 主数据与数据元维护操作规范 | 申请、审批、维护、停用的系统操作步骤与填写要求 | 下承数据标准相关细则 |
| 岗位级 | 资源目录登记与维护操作规范 | 目录条目的新增、变更、下架操作与字段填写口径 | 下承数据资产管理办法 |
| 岗位级 | 元数据采集与血缘维护操作规范 | 采集配置、变更登记、血缘核对的操作步骤 | 下承元数据管理办法 |
| 岗位级 | 数据治理平台操作手册 | 平台各功能模块的使用说明 | — |
制度的价值在于被执行,前提是被知晓且可查。制度建设配套三项安排。
其一是制订流程走完整路径:起草(项目组承办,对口工作组会签)→ 征求意见(相关职能部门,不少于五个工作日)→ 办公室审核 → 委员会审议 → 正式发文 → 入制度库并标注版本与生效区间。流程本身留痕,这正是 DCMM 三级所要求的过程记录。
其二是制度库的版本管理。制度分散、查找困难、更新不及时是企业当前的实际状况之一,而制度本身又是管理制度问答场景的数据来源。制度库的字段须包含文件编号、版本号、生效区间、废止标记、密级与责任部门六项——这六项正是表 1-16 列出的制度与标准文件类关键数据元素。治理制度自身就是被治理的数据。
其三是制度有效性复核。每年一次,由办公室组织,核查每份制度在过去一年中有无执行记录、有无与现行流程冲突之处、有无因系统变更而失效的条款。复核结论分继续有效、需修订、建议废止三类,经委员会确认后执行。三层制度的引用关系与制订、发布、复核流程如图 2.2-2 所示。
2.2-2 三层制度体系的引用关系与制度制订、发布、复核流程
图 2.2-2 三层制度体系的引用关系与制度制订、发布、复核流程。数据来源:招标文件 3.2.6.1.1.2.2 顶层数据治理管理制度要求;制度库六项字段与表 1-16 制度与标准文件类关键数据元素一致;治理文档总量口径依招标文件不少于 25 份、需求实列 37 份。
数据治理管理办法是制度体系的中枢,其余细则与规范均下承其条款。办法按七章编写。
第 1 章总则,规定目的、依据、适用范围、基本原则与术语。依据部分引用 GB/T 36073—2018 与企业数字化转型相关要求;适用范围覆盖全公司各部门、各分厂与各业务系统。基本原则列三条:数据质量首责在产生数据的岗位;口径以权威源为准、以确认流程定分歧;数据使用以授权为前提。
第 2 章组织与职责,规定三层治理组织的设置、各机构的职责与权限边界、各岗位的具体职责,以及项目组在项目期内的接口职责,内容与表 2.2-1 一致。本章与数据治理组织架构文件互为引用而不重复规定。
第 3 章制度体系,规定三层制度的层级关系、各层的制订权限、制度的起草与发布流程、版本管理与有效性复核要求。本章同时规定:新制定的任何数据管理相关文件均须纳入制度库并标注生效区间,未入库的文件不作为执行依据。
第 4 章治理工作与协同,规定工作机制(四类会议的周期与议题范围)、协同机制(口径确认、争议升级、需求受理、变更通知四个流程的要点与时限),以及跨部门事项的协调与升级路径。细则另行规定操作层面的表单与步骤。
第 5 章监督与考核,规定考核对象与指标口径、数据来源、考核周期、结果应用与申诉程序,以及违规情形的处理方式。违规情形列举三类:绕过流程变更主数据或口径;未经授权获取或对外提供数据;未履行变更通知义务导致下游故障。
第 6 章数据安全与保密,规定数据分级分类的执行要求、权限管理原则、对外提供的审批层级、保密义务与审计要求。本章与数据安全规划衔接,具体管控措施见「数据治理规划(二)」。
第 7 章附则,规定办法的生效日期、修订程序、解释权归属,以及与既有文件冲突时的适用顺序:企业既有的信息化管理文件与本办法规定不一致时,以本办法为准,并由办公室在半年内提出既有文件的修订建议。
数据文化建设的落点是三个具体的行为改变:录入环节的岗位把字段填全,而不是填到系统放过为止;业务口在提出数据需求时说清口径与用途,而不是只要一张表;跨部门口径分歧走确认流程,而不是各算各的。
三个行为改变分别对应可操作的安排:第一件靠数据质量考核与录入环节的必填校验;第二件靠数据需求受理流程中的需求单模板,模板引导提需求的人写清口径与用途;第三件靠口径确认流程的时限与通报。宣导活动作为配套,用于让这些安排被知晓。文化建设方案的主体是这三组安排及其度量,度量指标为必填校验拦截后的补全率、需求单口径填写完整率、口径确认单按期办结率,基线取首个考核周期的实测值,按季提高并逐步接近目标值,未达期段目标的在月度例会上列明责任部门与补齐计划。
招标文件要求支撑公司数据管理师能力提升。培训按对象分五层设计,各层目标、内容与课时如表 2.2-4。培训教材、课件与考核题库作为交付物的一部分,使培训能力留在企业内部,项目结束后可自行开班。
表 2.2-4 数据文化建设培训体系
| 对象层级 | 培训目标 | 主要内容 | 课时 | 考核方式 |
|---|---|---|---|---|
| 决策层与职能负责人 | 理解数据治理的目标、投入与收益口径 | 数据管理能力成熟度模型概要、本企业诊断结论与整改路线、治理投入与业务价值的对应关系 | 4 | 座谈纪要 |
| 数据管理办公室与工作组成员 | 具备独立开展治理工作的能力,具备申报数据管理师的知识基础 | 九大能力域与二十八过程域逐域讲解、本企业九域规划与制度条文解读、治理平台操作、评估取证方法、案例研讨 | 40 | 闭卷考试+案例作业 |
| 各业务口数据专责 | 能代表本部门确认口径、提出数据需求、承办本域整改 | 数据标准与口径确认流程、数据需求单编写、本业务口关键数据元素与质量规则、资产目录登记 | 16 | 实操考核 |
| 数据录入、报工、检验等执行岗位 | 按规范录入,理解填写要求的业务后果 | 本岗位关键数据元素的填写口径、常见错误与后果案例(如下料尺寸写错即成废料)、系统操作规范 | 8 | 实操考核 |
| 全员 | 知晓数据管理要求与求助路径 | 数据管理基本要求、数据安全与保密要求、数据需求提出渠道 | 2 | 线上测试 |
数据管理师能力提升单设一条路径:由办公室与工作组成员中选取培养对象,按认证考试大纲补足知识缺口,组织集中辅导与模拟测试,并把本企业的诊断报告、九域规划与制度文稿作为实践案例纳入辅导内容。培养对象人数与集中辅导轮次在项目启动会上与甲方商定后写入培训计划;认证由第三方机构组织,项目组交付的是辅导课时、模拟测试轮次与教材。
执行岗位的培训内容以填错的后果为主线组织,而不以系统怎么操作为主线。企业的出错代价不对称,材料定额中的下料尺寸写错,钢板割下来就是废料;把后果讲清楚比反复强调规范更有效。
本规划域交付数据治理顶层规划方案、数据治理组织架构、全套数据治理顶层管理制度、数据文化建设方案四份成果。其中数据治理顶层规划方案是九个能力域规划的总册,其分域内容分别由本节 2.1 至 2.4 节与「数据治理规划(二)」提供;全套顶层管理制度按表 2.2-3 的三层体系提交,与其余五域的配套文件合并计数,总量不少于 25 份。其中落实治理机制所需的职能级细则 3 份——数据治理组织运行细则、数据口径确认与争议处理细则、数据管理考核细则——随本规划域一并交付;数据需求受理与交付细则按表 2.2-3 的体系编制,随治理平台流程配置同步发布。
表 2.2-5 数据治理规划域的成果结构、交付时点与实施交接验收
| 成果物 | 章节结构要点 | 形态 | 交付时点 | 验收口径 | 交接方式与接收岗位 |
|---|---|---|---|---|---|
| 数据治理顶层规划方案 | 总论与目标;九个能力域分域规划;实施路径与里程碑;成果与验收 | 规划 | T+6 月 | 九个能力域规划齐备;分域规划与本节及「数据治理规划(二)」内容一致 | 委员会审议后印发;接收岗位为数据管理办公室 |
| 数据治理组织架构 | 架构图;三层机构设置;逐岗职责书;议事规则 | 文件 | T+2 月 | 含架构图、岗位职责书、议事规则;职责内容与表 2.2-1 一致;经甲方正式发文 | 由甲方人力与信息化职能联合发文;逐岗签收职责书 |
| 数据治理管理办法 | 总则;组织与职责;制度体系;治理工作与协同;监督与考核;数据安全与保密;附则 | 制度 | T+5 月 | 七章齐备;经委员会审议并正式发文;入制度库并标注生效区间 | 发文后由办公室入库;接收岗位为数据管理办公室 |
| 数据治理组织运行细则 | 议事规则;例会要求;决议格式与归档 | 制度 | T+6 月 | 下承管理办法第 2 章,无重复规定 | 办公室审核后印发 |
| 数据口径确认与争议处理细则 | 确认单格式;会签范围与时限;超期处理;升级路径 | 制度 | T+6 月 | 含确认单格式、时限、超期处理与升级路径;与表 2.2-2 口径一致 | 办公室印发并在治理平台配置流程 |
| 数据管理考核细则 | 考核对象与指标;权重;数据来源;申诉程序 | 制度 | T+7 月 | 含考核对象、指标、权重、数据来源、申诉程序 | 由人力职能会签后印发 |
| 数据文化建设方案 | 三个行为改变的落地安排与度量;五层培训计划;教材与考核题库 | 方案 | T+6 月 | 含三组安排的度量指标与基线;五层培训计划齐备;教材与题库随方案提交 | 教材与题库移交人力职能与办公室,完成清点签收 |
本规划域交付的组织、制度、文化三类成果有一个共同性质:都要由甲方发文才成立。架构图、逐岗职责书、管理办法与三份职能级细则,项目组都能编到可审议的状态,但设立组织的那份文、把考核指标纳入绩效的那份文、派人到岗的那个决定,都在甲方一侧。本域的风险因此不在编制,在生效——编制按期完成而文件迟迟不发,交付物在纸面上齐全,实际上一条也没运转起来。
本域的实施条件逐条写明责任方、约定时点,第四列写的正是未生效期间怎么运转。组织尚未发文时,制度先出送审稿,以项目联合工作组的形式议事,决议待组织设立后追认;这一条使制度编制与组织设立可以并行推进,而不是串行等待,省下的是实打实的两到三个月。考核指标未纳入绩效前,先以办公室通报方式运行,先把数据跑起来、把问题归属算清楚,纳入绩效时只换考核载体不换口径。培训安排不足时调整开班批次与线上线下比例,但课时总量不压缩——压缩课时是最省事也最没有意义的让步,省下的学时不会变成能力。四份成果因此在甲方发文之前就能做到可审议、可试运行;发文之后的追认与转正是一个确定的动作,不是重做一遍。
表 2.2-6 数据治理规划域的实施条件与责任界面
| 实施条件 | 责任方 | 约定时点 | 条件不具备时的处理 |
|---|---|---|---|
| 三层治理组织正式发文设立 | 甲方人力职能与信息化职能 | T+2 月 | 制度先出送审稿,待组织设立后补审批;期间以项目联合工作组形式议事,决议在组织设立后追认 |
| 各业务口数据专责到岗并授权确认口径 | 各业务部门 | 组织发文后 10 个工作日内 | 未到岗的业务口由办公室代为协调,所涉口径按待确认标注,不进入落标范围 |
| 考核指标纳入现行绩效体系 | 甲方人力职能 | T+7 月 | 先以办公室通报方式运行,待纳入绩效后转为正式考核 |
| 培训场地、学时与人员安排 | 甲方人力职能 | 各期培训前 20 个工作日 | 调整开班批次与线上线下比例,课时总量不压缩 |
数据架构规划承担的任务是:把分散在十七类系统、文档库与纸质档案中的业务事实,组织成可被 11 个验证场景反复调用的结构。难点不在选什么技术,而在三个判断——按什么划分主题域、哪些数据进数仓哪些留在原地、物理对象的标识如何在各层之间保持一致。
第三个判断最关键。本企业的数据特征是同一物理工件的过程事实分散、且各系统的标识字段互不相同。若在贴源层就不解决标识对齐,上层每一个汇总模型都要各自做一遍关联,关联规则会分叉,最终同一个问题在不同模型里得到不同答案。因此架构规划把一致性维度放在分层设计的核心位置:维表层先立起来,事实表一律引用维表层的代理键,事实表之间按业务编码直接关联的做法在建模规范中予以禁止。
架构的实体来自现状评估的业务对象清单。各实体的标识、权威源、相互关系与在分层中的落点如表 2.3-1,该表是建模、集成与元数据三项工作的共同底稿。
表 2.3-1 架构实体、标识、权威源与实体间关系
| 实体 | 业务标识 | 权威源系统 | 主要关联实体与关系 | 在分层中的落点 |
|---|---|---|---|---|
| 项目与施工号 | 施工号 | 生产管理(经企业资源计划登记) | 一个项目含多个产品;一个项目对应一份合同 | 维表层一致性维度 |
| 产品与部件 | 产品型号、部件编码 | 产品全生命周期管理 | 一个产品含多个部件;部件对应多张图纸 | 维表层一致性维度 |
| 图纸与图档 | 图号+版本号 | 产品全生命周期管理 | 一张图纸对应一张已审工艺卡;图纸引用材料牌号 | 维表层一致性维度,图纸版本事实入明细层 |
| 零件与物料 | 零件号、物料编码 | 主数据管理平台 | 零件对应图纸;物料对应批次与库存 | 维表层一致性维度 |
| 工艺路线与工艺卡 | 工艺卡号+版本 | 工艺系统 | 一张工艺卡含多道工序明细;工序引用工序字典与设备 | 明细层事实,工序进维表层 |
| 工单与工序 | 工单号、工序号 | 制造执行 | 工单对应零件与工艺路线;工序报工对应岗位与设备 | 明细层事实 |
| 炉次 | 炉次号 | 热处理群控 | 一个炉次含多个装炉工件;对应材料批次、时序段与检验结论 | 维表层一致性维度,炉次与装炉明细入明细层 |
| 焊缝与焊道 | 焊缝编号、焊道编号 | 工艺系统(焊接工艺)与采集侧 | 焊道对应焊接参数时序段;焊缝对应无损检测结果 | 维表层一致性维度,焊道参数入明细层 |
| 检验记录与不合格品票 | 检验单号、票号 | 质量管理 | 检验对应工序与工艺参数;不合格品票对应返修记录 | 明细层事实 |
| 库存批次 | 批次号 | 仓储管理与物流执行 | 批次对应物料;批次对应项目占用 | 明细层事实 |
| 设备与测点 | 设备编码、测点编号 | 设备档案与物联网平台 | 测点对应设备部件;测点产生时序数据 | 维表层一致性维度 |
| 服务工单与备件 | 服务工单号 | 售后服务与备件管理 | 服务工单对应设备与报警事件;对应备件出库 | 明细层事实 |
| 制度与标准文件 | 文件编号+版本号 | 协同办公(发布记录) | 文件对应责任部门与生效区间 | 明细层事实,文件分类进维表层 |
| 合同与标书 | 合同编号 | 协同办公与企业文档 | 合同对应项目与客户 | 明细层事实 |
| 组织与岗位 | 组织编码 | 人力与组织主数据 | 组织对应责任部门与考核对象 | 维表层一致性维度 |
| 时间 | 日期键 | 平台生成 | 全部事实表引用 | 维表层一致性维度 |
招标文件要求构建可复用的数据仓库模型,明确贴源层、明细层、汇总层、维表层、应用层的分层架构。五层的职责、建模方法与工程约束如表 2.3-2。约束一列是本规划的实质内容:分层的名字是通用的,分层能不能守住靠约束。
表 2.3-2 数仓五层分层职责、建模方法与工程约束
| 层次 | 职责 | 建模方法 | 工程约束 | 保留策略 |
|---|---|---|---|---|
| 贴源层 ODS | 原样承接源系统数据与非结构化文件的登记信息,不做业务加工 | 与源表结构一一对应,追加采集时间与批次号 | 本层不做口径转换;源系统字段变更须经变更通知流程;表名前缀标明来源系统 | 全量历史保留,分区按日 |
| 明细层 DWD | 按业务过程组织明细事实,完成清洗、标准落标与标识对齐 | 维度建模的事实表,按业务过程建表 | 必须引用维表层代理键;事实表之间不得按业务编码直接关联;清洗规则须登记并可追溯到数据标准条目 | 保留全项目期,分区按业务日期 |
| 维表层 DIM | 承载一致性维度:项目与施工号、产品与部件、图纸、零件与物料、工序、设备与测点、炉次、焊缝与焊道、组织、时间 | 缓慢变化维,按需采用历史拉链 | 维表为唯一主数据出口;代理键由平台生成,业务编码作为自然键保留;维表变更须经主数据流程 | 保留全部历史版本 |
| 汇总层 DWS | 按主题域组织轻度汇总与指标中间结果 | 按主题与统计周期建宽表 | 指标定义须引用指标数据标准条目;同一指标只在一处计算 | 保留全项目期 |
| 应用层 ADS | 面向 11 个验证场景与数据集加工的直接输出 | 按场景与数据集需求建表或视图 | 本层不做跨主题的复杂加工;输出须登记血缘与版本 | 按场景约定,不少于两个版本 |
分层之间的数据流向与各层承载的内容如图 2.3-1 所示。
2.3-1 数仓五层分层架构与数据流向
图 2.3-1 数仓五层分层架构与数据流向。数据来源:招标文件 3.2.6.1.1.2.3 第(1)项;维度对象取表 2.3-1 架构实体清单。
十六类实体与五层职责各自成立,不等于落到具体一张表时不出分歧。同一个炉次,建模时既可作维度也可作事实;图纸既是可被反复引用的对象,又是一份有版本的文件。判断若留给各个建模人员自行决定,五层架构在一两个季度内就会退化成一批各自为政的表。
映射因此按处理方式归为五类,而不是逐个实体写十六条规则——同类适用同一条规则,新增实体只需判断归属哪一类,规则之间的一致性才检查得过来。几条取值有明确来由:一致性维度类一律生成代理键、自然键保留并登记来源系统,针对的是同一物理工件在各系统中标识字段互不相同,直接按业务编码关联会使关联规则在各模型中分叉;文件类资产原文件不入库,只登记标识、格式、版本与存储位置,解析产出的字段才入明细层,如此原生格式或解析方式变化时不必重做模型;时序类按测点与时间窗分段落表并保留原始采样,是因为温度曲线与焊接参数流后续要派生特征并与炉次、焊道按区间对齐,入库环节一旦降采样,对齐的证据不可恢复。
维表层处理一列是判据,是否进维表层决定该实体能否被其他事实表引用;贴源层处理一列是证据保全的底线。表 2.3-1 的实体进入分层时按统一规则处理,规则如表 2.3-3。映射规则写入建模规范,建模评审按此逐表核对。
表 2.3-3 架构实体在五层之间的映射规则
| 实体类别 | 贴源层处理 | 维表层处理 | 明细层处理 | 汇总层与应用层处理 |
|---|---|---|---|---|
| 一致性维度类实体(项目、产品与部件、图纸、零件与物料、工序、设备与测点、炉次、焊缝与焊道、组织、时间) | 原样落表,保留源系统自然键 | 生成代理键;自然键保留并登记来源系统;变更按缓慢变化维处理 | 事实表引用代理键 | 按维度聚合,不重复定义维度属性 |
| 业务过程类实体(工单、工序报工、检验记录、库存批次、服务工单、合同、文件版本) | 原样落表,追加采集时间与批次号 | 不进维表层 | 按业务过程建事实表,完成清洗与落标 | 按主题域汇总,指标引用标准条目 |
| 时序类数据(热处理温度曲线、焊接参数流、在役测点时序) | 按测点与时间窗分段落表,保留原始采样 | 测点进维表层 | 以时序数据区间标识与业务对象绑定,派生特征入事实表 | 按场景切片输出,保留区间标识 |
| 文件类资产(原生图纸、工艺文件、制度与标准文本、合同文本) | 登记文件标识、格式、版本与存储位置,原文件不入库 | 文件分类进维表层 | 解析产出的结构化字段入事实表,并记录解析批次号 | 按场景提供解析结果与原文定位信息 |
| 外部与第三方资料(矿方工况资料、外部标准) | 登记来源与授权范围 | 不进维表层 | 按授权范围入事实表,标注权属标签 | 对外提供前按权属标签校验 |
主题域按业务过程划分,与九个能力域不同:能力域是管理视角,主题域是业务视角。划分口径与四大数据集的四个方向对齐——供需计划、产品工艺设计、制造过程、质量,另加在役服务与基础支撑两域,共六个主题域。这样划分使数据集加工的输入边界与主题域边界一致,加工作业不必跨域取数。
表 2.3-4 主题域划分与首批事实表、维表清单
| 主题域 | 覆盖业务过程 | 首批事实表 | 主要引用维表 | 支撑场景 |
|---|---|---|---|---|
| 供需计划 | 商机与项目、需求计划、采购与到货、库存与出入库 | 商机事实、需求计划事实、采购到货事实、库存快照事实、出入库流水事实 | 项目与施工号、零件与物料、组织、时间 | 产品智能选型、库存与供应链、决策数据问答 |
| 产品工艺设计 | 选型校核、出图、工艺路线编排、工艺卡编制 | 选型方案事实、图纸版本事实、工艺路线事实、工艺卡工序明细事实 | 项目与施工号、产品与部件、图纸、零件与物料、工序 | 产品智能选型、板材备料工艺 |
| 制造过程 | 工单下达、工序流转与报工、热处理炉次、焊接作业、机加与装配 | 工单事实、工序报工事实、炉次事实、炉次工件明细事实、焊道参数事实 | 项目与施工号、零件与物料、工序、设备与测点、炉次、焊缝与焊道、时间 | 热处理过程、焊接过程、板材备料工艺 |
| 质量 | 检验、交检、不合格品处置、返修、质量报告 | 检验记录事实、不合格品处置事实、返修事实、无损检测结果事实 | 零件与物料、工序、炉次、焊缝与焊道、组织 | 热处理过程、焊接过程、决策数据问答 |
| 在役服务 | 测点采集、报警、服务工单、备件更换 | 测点时序事实、报警事件事实、服务工单事实、备件出库事实 | 设备与测点、组织、时间 | 装备健康诊断 |
| 基础支撑 | 制度与标准归档、合同与标书、组织与人员、术语与指标 | 文件版本事实、合同条款事实 | 组织、时间、文件分类 | 管理制度问答、技术标准问答、标书问答、合同合规审查 |
首批模型以支撑第一批场景验证为目标,按供给能力 A、B 两档的资产优先建设。C、D 两档资产对应的事实表先建结构、留空等数据,并在元数据中标注待数据到位状态——结构先立住,数据到位后不必返工改模型。
建模规范按同一体例覆盖首批全部事实表。下列两张事实表对应本项目最重要的两类成对关系:图纸与工艺卡的配对、热处理过程与质量结果的配对。
表 2.3-5 工艺卡工序明细事实表(明细层)字段设计
| 字段 | 类型 | 来源 | 说明 |
|---|---|---|---|
| 工艺卡工序明细代理键 | 整型 | 平台生成 | 本表主键 |
| 项目维度键 | 整型 | 维表层项目与施工号 | 引用维表代理键 |
| 图纸维度键 | 整型 | 维表层图纸 | 引用维表代理键,承载图号与版本 |
| 零件维度键 | 整型 | 维表层零件与物料 | 引用维表代理键 |
| 工序维度键 | 整型 | 维表层工序 | 指向备料 28 道工序字典中的一项 |
| 工序序号 | 整型 | 工艺系统 | 同一零件内的工序排序 |
| 加工方法分档 | 字符 | 工艺系统+分档规则 | 值域取自工序字典的分档规则,落标后为枚举 |
| 设备编码 | 字符 | 工艺系统/设备档案 | 关联设备资源库 |
| 工装压模号 | 字符 | 工艺系统 | 压弯件适用 |
| 样板号 | 字符 | 工艺系统 | 下料样板适用 |
| 材料牌号 | 字符 | 图纸解析/物料主数据 | 落标后为枚举 |
| 板厚 | 数值 | 图纸解析 | 单位毫米,一级关键数据元素 |
| 展开长 | 数值 | 中性层公式计算 | 单位毫米,一级关键数据元素;同时记录所用中性层系数 |
| 中性层系数 | 数值 | 工装压模台账 | 按板厚、折弯角度与模具确定,记录取值来源 |
| 工时定额 | 数值 | 工时定额系统 | 与工艺卡定额字段互为来源,记录取值方 |
| 卡片状态 | 字符 | 工艺系统 | 编制中/待审/已审签发/作废 |
| 审签时间 | 时间 | 工艺系统 | 已审签发的卡片才进成对样本集 |
| 借用来源图号 | 字符 | 工艺系统 | 可借用工艺的来源,用于复用率统计 |
| 源系统记录标识 | 字符 | 贴源层 | 回溯用 |
| 解析批次号 | 字符 | 文件解析作业 | 图纸解析来源的血缘键 |
| 采集时间 | 时间 | 平台生成 | 入库时点 |
这张表的设计有三处要点。其一,中性层系数与展开长同时入表并记录系数的取值来源:中性层扣除量按板厚、折弯角度与模具的对应关系目前散见于经验,把系数显式落库,后续才能回溯某一个展开长按哪条经验算出,进而把经验沉淀为规则。其二,卡片状态与审签时间两个字段决定样本能否进成对样本集——只有已审核签发的工艺卡才构成可信标签。其三,借用来源图号支撑复用率统计,约七八成图纸本有可借用的既有工艺,复用率的变化直接反映工艺编制效率的改善。
表 2.3-6 炉次事实表(明细层)字段设计
| 字段 | 类型 | 来源 | 说明 |
|---|---|---|---|
| 炉次代理键 | 整型 | 平台生成 | 本表主键 |
| 炉次维度键 | 整型 | 维表层炉次 | 引用维表代理键 |
| 设备维度键 | 整型 | 维表层设备与测点 | 指向具体炉台 |
| 工艺文件标识 | 字符 | 工艺系统 | 本炉次执行的正式工艺文件及其版本 |
| 设定程序标识 | 字符 | 热处理群控 | 下发的工艺程序 |
| 装炉量 | 数值 | 新增填报 | 单位千克,C 档数据,须甲方增设填报入口 |
| 码装方式 | 字符 | 新增填报 | 枚举值待工艺职能确认,C 档数据 |
| 开炉时间 | 时间 | 热处理群控 | — |
| 完工时间 | 时间 | 热处理群控 | — |
| 升温段偏离幅度 | 数值 | 时序分析 | 实际曲线与设定程序的最大偏离,派生字段 |
| 保温段偏离幅度 | 数值 | 时序分析 | 同上 |
| 时序数据区间标识 | 字符 | 时序采集 | 指向该炉次对应的时序数据段,构成过程数据与结果的配对键 |
| 材料批次号列表 | 字符 | 企业资源计划/仓储 | 本炉装入工件涉及的材料批次 |
| 检验结论 | 字符 | 质量管理 | 合格/让步/不合格,构成标签 |
| 硬度检验值 | 数值 | 质量管理 | 一级关键数据元素 |
| 计量校验状态 | 字符 | 计量校验记录 | 温度测量系统的校验有效性,影响该炉次数据的可信度分级 |
| 可信度等级 | 字符 | 派生 | 按测点可用性与校验状态分级,供下游决定是否纳入训练集 |
| 源系统记录标识 | 字符 | 贴源层 | 回溯用 |
| 采集时间 | 时间 | 平台生成 | 入库时点 |
炉次事实表的关键在最后两个字段。热处理与焊接两个质量场景的瓶颈是数据对不上而非模型不够强:数据集的价值不在体量,而在某一段过程数据对应某一个质量结论这种成对关系是否成立,以及这种对应是否可追溯到具体工件与时点。表中专设时序数据区间标识把过程数据段与结论绑定,并用可信度等级显式标注这条配对本身有多可信——温度测量系统校验失效期间的数据不与校验有效期间的数据同等使用。两个 C 档字段(装炉量、码装方式)先建结构留空,待甲方增设填报入口后逐步填充,表结构不必返工。
招标文件要求梳理各业务系统的数据分布现状,绘制数据流图,明确各业务系统的数据存储位置、数据流向、数据交互关系。数据分布台账与 1.6 节的资产盘点表共用同一份底稿,组织方式不同:盘点表以业务对象为主索引,分布台账以系统为主索引,两者互为校验。盘点表登记对象在哪些系统有记录,分布台账登记系统承载哪些数据域及其存储位置,二者对不上即说明盘点有遗漏。台账的登记字段如表 2.3-7。
表 2.3-7 数据分布台账的登记字段
| 字段 | 口径说明 |
|---|---|
| 系统名称与类别 | 按表 1-15 的系统类别 |
| 承载数据域 | 该系统承载的主题域与数据对象 |
| 存储位置 | 数据库实例与库名、文件存储路径、存储介质类别、所在机房或区域 |
| 数据量与增量 | 当前容量与条数、月增量 |
| 上游来源 | 该系统数据的来源系统或采集通道 |
| 下游流向 | 该系统数据流向的系统与用途 |
| 交互方式 | 接口调用、文件交换、数据库直连、消息、人工导入导出 |
| 交互频率 | 实时、准实时、日批、周批、按需 |
| 主数据归属 | 该系统是哪些主数据的权威源还是副本 |
| 口径差异 | 与其他系统同名字段的口径差异说明 |
| 变更责任 | 该系统字段与接口变更的通知责任人岗位 |
主数据归属与口径差异两列是台账的要点。企业当前的问题之一是同一类字段在不同系统中的填写完整度差别很大,更麻烦的是同一个名称在不同系统中指的不是同一件事——库存三套口径并存即为典型。台账把权威源与副本分清、把口径差异逐条写明,数仓建模时才知道该取哪一处的值。口径差异的核实方法与分级见 1.2.4 节表 1-6。
数据流图按三个视角出图,各有用途:系统间交互视图用于看清现有交互关系与冗余路径;业务对象流转视图用于看清一个工件的过程事实如何在系统间传递(见图 1-5);本项目取数视图用于看清从哪些系统取哪些数据、经哪条通道、落到哪一层。第三个视角的流图如图 2.3-2 所示,它同时是接口开通清单的底图。
2.3-2 本项目取数通道与数据分布流图
图 2.3-2 本项目取数通道与数据分布流图。数据来源:招标文件 3.2.6.1.1.2.3 第(2)项;源系统清单取 3.2.1 服务采购清单第 1 项;受控回写范围取方案阶段确认的备料场景回填口径。
数据流图给出整体样貌,接口开通与变更影响评估还需一张逐对关系的矩阵。矩阵按谁是权威源、谁是副本、经什么方式传递登记,在评估阶段完成首版,随接口开通逐步补全。
表 2.3-8 系统间数据交互关系矩阵(体例与关键关系节选)
| 上游系统 | 下游系统 | 传递的数据内容 | 交互方式 | 频率 | 权威源归属 | 现存问题 |
|---|---|---|---|---|---|---|
| 产品全生命周期管理 | 企业资源计划 | 物料清单与产品结构 | 接口或人工导入 | 按项目 | 产品结构以产品全生命周期管理为权威源 | 导入时点与出图时点不一致时下游取到旧版 |
| 产品全生命周期管理 | 工艺系统 | 图纸与图文档 | 文件读取 | 按图号 | 图纸以产品全生命周期管理为权威源 | 原生图纸不支持整批导出,须按项目分批 |
| 工艺系统 | 制造执行 | 工艺路线与工序明细 | 接口 | 按工单 | 工艺路线以工艺系统为权威源 | 车间自行编制的本车间工艺卡未全部回传 |
| 工艺系统 | 质量管理 | 关键工序与重要尺寸 | 接口 | 按工艺卡发布 | 检查项以工艺系统为来源 | 推送后的变更同步机制不明确 |
| 工艺系统 | 工时定额 | 工序工时定额 | 接口或人工 | 按工艺卡发布 | 定额两处互为来源 | 两侧不一致时无仲裁规则 |
| 企业资源计划 | 仓储管理与物流执行 | 物料主数据、入出库指令 | 接口 | 准实时 | 物料主数据以主数据平台为权威源 | 库存口径与账面口径差异 |
| 制造执行 | 质量管理 | 工单与工序流转状态 | 接口 | 准实时 | 工单以制造执行为权威源 | 报工时点滞后 |
| 热处理群控 | 物联网与设备数据平台 | 炉次工单、开完工记录 | 接口 | 按炉次 | 炉次以热处理群控为权威源 | 炉次与装炉工件清单无结构化关联 |
| 数据采集与监控 | 物联网与设备数据平台 | 设备过程参数 | 接口 | 秒级汇聚 | 测点数据以采集侧为权威源 | 采集仅覆盖部分车间与部分设备 |
| 装备远程运维平台 | 售后服务与备件管理 | 报警事件 | 暂无 | — | 事件以运维平台为权威源 | 两系统未打通,维修事实无法回填到事件 |
| 协同办公 | 企业文档 | 制度、合同与标书归档 | 人工归档 | 按件 | 制度以协同办公的发布记录为权威源 | 版本状态字段不完整 |
| 各业务系统 | 报表报送 | 统计口径数据 | 接口或人工 | 按报送周期 | 指标口径以指标标准为准 | 指标口径与业务系统口径存在差异 |
矩阵中「现存问题」一列直接对应 1.5 节的不足项清单,两份文件在项目期内同步维护。「权威源归属」一列是数仓建模取值的直接依据:同一字段在多个系统中都有的,取权威源的值,副本只用于交叉校验。表中两处当前无仲裁规则的情形(工时定额两处互为来源、库存口径差异)须经口径确认流程产生结论后方可建模,该依赖写入 2.3.13 节的实施条件。
招标文件要求规划统一数据集成架构,明确多模态数据采集适用场景,制定数据集成共享管理规范。统一集成架构的「统一」指所有取数走同一套登记、同一套权限、同一套日志,而非一种技术打通全部形态。本企业的数据形态跨度很大:结构化账务、原生图纸文件、秒级时序、工艺过程图像、纸质扫描件各不相同。因此架构上分七类通道,管理上统一登记。
表 2.3-9 多模态数据采集通道与适用场景
| 通道 | 适用数据形态 | 适用场景 | 取数方式 | 不适用的情形 |
|---|---|---|---|---|
| 批量取数 | 结构化主数据、账务、台账 | 物料主数据、库存账、价格、工时定额 | 只读视图日批全量或按分区增量 | 要求分钟级时效的数据 |
| 增量取数 | 高频变动的结构化业务数据 | 工单流转与报工、库存出入库、检验记录 | 变更数据捕获,准实时 | 源系统不具备变更标识字段的表 |
| 接口取数 | 需按业务键按需查询的数据 | 商机与项目、测点配置、服务工单 | 只读接口按需调用 | 大批量历史回溯 |
| 文件采集 | 原生图纸、工艺文件、设计文档 | 图纸解析、工艺卡解析、图卡配对 | 按图号或项目只读读取,解析在内网就地进行 | 原生格式不支持整批导出时须按项目分批 |
| 文档采集 | 制度、标准、合同、标书等文本 | 四个问答场景与合同合规审查 | 目录、正文与版本状态只读读取 | 密级超出授权范围的文件 |
| 时序采集 | 设备过程参数、测点时序 | 热处理温度曲线、焊接参数流、在役振动与温度 | 测点配置+按时间窗分段取数 | 采集尚未覆盖的设备(列入 D 档) |
| 图像与视频采集 | 工艺过程图像、检测影像、扫描件 | 焊接部位形貌留痕、无损检测影像、纸质报告数字化 | 按场景布点采集;扫描件批量入库 | 厂区安防视频(用途不变,不纳入本期) |
七类通道的共同管理要求有四条:每一条取数作业须在元数据中登记来源、字段、频率、责任岗位与用途;取数一律只读优先,受控回写限定在明确约定的范围内并须经甲方岗位确认;取数过程留审计日志,日志保留期限按数据安全规划要求;源端字段或接口变更须走变更通知流程并做影响评估。四条要求写入数据集成共享管理规范。
规范按五章组织。第 1 章适用范围与术语。第 2 章集成架构与通道选用规则,即表 2.3-9 的内容条文化,并规定通道选用的决策顺序:优先用既有通道,确有必要再新增。第 3 章集成作业管理,规定作业的申请、评审、上线、变更与下线流程,以及作业命名、调度窗口、失败重试与告警要求。第 4 章数据共享管理,规定内部共享的申请与审批、共享范围与用途限定、共享数据的脱敏要求、对外提供的额外审批层级。第 5 章责任与监督,规定源端、集成方、使用方三方的责任边界与违规处理。
第 4 章中有一条须明确:对外提供数据适用更高的审批层级,并须核查是否包含不可用于商业用途的建设内容。本项目的数据集将具备按统一目录标识、统一身份登记、统一接口要求对外提供服务的条件,对外提供的审批口径因此在规范中先行写定,而不是等到挂牌时再议。
招标文件要求制定元数据管理办法,明确业务元数据、技术元数据、管理元数据采集范围,构建元数据维护、血缘分析与变更管理方法。
元数据常见的失败不是采得太少,而是采得太多:把所有库表字段一次抽进来,形成一份无人维护的清单,半年后与实际不符,用的人便不再相信它。范围界定因此与用途绑定——写不出具体用途的采集对象不列入;采而不用的元数据会迅速腐坏,反而降低可信度。
三类之下按采集对象分行,其中几行是为本项目特设的。关键数据元素标记记录级别、依赖场景与出错后果,质量规则据此配置优先级,不标出来,质量检查只能平均用力;文件与非结构化资产一行承担约 63 万张图纸与配套工艺卡的追溯,没有解析方式与解析产出位置,结构化字段便回指不到原图;数据集版本一行建立四类数据集与其来源资产之间的血缘,训练用数据与验收用数据按来源、时间双重切分的隔离是否成立,也要由它来证明。
用途一列是判据,采集对象与具体内容两列是落到字段的要求;管理元数据四行在现场最易缺失,因为它不存在于任何源系统,只能随审批动作在流程中产生。三类元数据的采集范围如表 2.3-10。
表 2.3-10 三类元数据的采集范围与用途
| 类别 | 采集对象 | 具体内容 | 用途 |
|---|---|---|---|
| 业务元数据 | 业务术语 | 术语名称、定义、同义词、业务归口部门、生效区间 | 口径统一、问答场景的术语消歧 |
| 业务元数据 | 业务对象与数据元 | 对象定义、标识字段、数据元名称与定义、值域、计量单位 | 数据标准落标检查、跨系统映射 |
| 业务元数据 | 指标 | 指标名称、业务定义、计算口径、统计维度、责任部门 | 决策数据问答的口径说明 |
| 业务元数据 | 关键数据元素标记 | 级别、依赖场景、出错后果 | 质量规则配置的优先级依据 |
| 技术元数据 | 库表与字段 | 所在系统与实例、库表名、字段名、类型、长度、非空与主键约束、注释 | 建模、取数、影响分析 |
| 技术元数据 | 加工作业 | 作业名、输入输出、加工逻辑摘要、调度周期、责任岗位 | 血缘构建、故障定位 |
| 技术元数据 | 接口与通道 | 接口名、协议、字段映射、频率、认证方式 | 集成管理、变更影响评估 |
| 技术元数据 | 文件与非结构化资产 | 文件标识、格式、版本、解析方式、解析产出位置 | 图纸与文档类资产的追溯 |
| 技术元数据 | 数据集版本 | 数据集标识、版本号、构成来源、切分方式、评测结论 | 数据集与模型版本血缘 |
| 管理元数据 | 权属与责任 | 数据资产的责任部门、数据管理员岗位、权属界定结论 | 资产管理、申请审批 |
| 管理元数据 | 分级与权限 | 敏感级别、可访问范围、脱敏要求、审批层级 | 安全管控 |
| 管理元数据 | 质量与状态 | 质量规则、最近检查结果、问题整改状态、资产上下架状态 | 质量管理、目录维护 |
| 管理元数据 | 变更记录 | 变更内容、原因、审批、生效时间、影响范围 | 变更管理与审计 |
元数据的维护靠两条路并行:技术元数据以平台自动采集为主,从源系统字典、库表结构、作业配置中自动抽取并定期同步;业务元数据与管理元数据以流程驱动的人工维护为主,在术语新增、数据元定义、资产登记、权限审批等流程中强制填写,流程走完元数据即落库。只靠人工维护的元数据会滞后,只靠自动采集则拿不到业务含义。
血缘分析从加工作业的输入输出关系自动推导字段级血缘,再叠加文件解析与数据集构成两类特殊血缘。文件解析血缘记录哪一张图纸经哪一次解析产出了哪些结构化字段;数据集构成血缘记录哪一版数据集由哪些资产的哪些版本构成、按什么规则切分。后者对本项目尤为必要——训练用数据与验收用数据须分建并隔离,隔离按来源与时间双重切分实现,隔离是否成立靠血缘证明。血缘与变更管理的联动如图 2.3-3 所示。
2.3-3 元数据血缘与变更影响分析
图 2.3-3 元数据血缘与变更影响分析。数据来源:招标文件 3.2.6.1.1.2.3 第(4)项;训练与评测数据隔离口径取本卷数据集质量评测方案的分建要求。
元数据管理办法按六章组织:总则;三类元数据的定义与采集范围(表 2.3-10 条文化);采集与维护流程及其责任分工;血缘管理要求,含血缘粒度(字段级)、覆盖范围、准确性核查周期;变更管理流程,含变更分类、影响评估要求、审批层级与留痕;监督与考核,含元数据完整性与准确性的度量指标。办法规定两项度量:元数据覆盖率按已登记资产数 / 目录内资产数统计,基线取首批目录上线时的实测值,按季提高并逐步接近目录全覆盖,未达期段目标的在月度例会列明未登记资产与责任岗位;准确性按季度抽样核对,抽样不少于资产总数的百分之五,核对不符的条目在下一周期内更正并复核。
本规划域交付数据模型分层架构、数据分布及数据流图、数据集成共享管理规范、元数据管理办法四份成果。
表 2.3-11 数据架构规划域的成果结构、交付时点与实施交接验收
| 成果物 | 章节结构要点 | 形态 | 交付时点 | 验收口径 | 交接方式与接收岗位 |
|---|---|---|---|---|---|
| 数据模型分层架构 | 架构实体与关系;五层职责与工程约束;实体与分层映射规则;六个主题域划分;首批事实表与维表清单;建模规范与评审要求 | 设计文件 | T+8 月 | 五层职责与约束齐备;六个主题域划分完整;首批模型清单与表 2.3-4 一致;建模规范可用于逐表评审 | 模型评审会逐表核对后提交;接收岗位为信息化职能与数据管理办公室 |
| 数据分布及数据流图 | 分布台账字段与填写说明;三个视角的流图;系统间交互关系矩阵 | 文件+图 | T+6 月 | 分布台账字段齐备;三个视角流图齐备;与资产盘点表交叉校验一致 | 随接口开通清单一并移交;接收岗位为信息化职能与各源系统管理员 |
| 数据集成共享管理规范 | 适用范围与术语;集成架构与通道选用;集成作业管理;数据共享管理;责任与监督 | 制度 | T+7 月 | 五章齐备;七类采集通道选用规则明确;对外提供审批层级写定 | 办公室印发并在治理平台配置作业申请流程 |
| 元数据管理办法 | 总则;三类元数据采集范围;采集与维护流程;血缘管理;变更管理;监督与考核 | 制度 | T+7 月 | 六章齐备;三类元数据采集范围明确;血缘粒度到字段级;两项度量含基线与回退 | 办公室印发;元数据工具配置随办法同步上线 |
架构域卡住的不是发文,是口径与接口。明细层要建模,前提是跨对象标识映射已经确认——施工号、产品号、图号、零件号、物料编码、工单号、炉次、焊缝与焊道、设备编码这一串标识之间的对应规则,难的不是技术,是要各业务口会签才算数;工时定额与库存口径还压在仲裁上,相关事实表即便建出来也不能对外出指标,否则同一个口径分歧会从源系统原样搬进数仓,搬进去之后比在源端更难改;源系统接口按批开通,没开通的只能先用文件导出顶着;源端改了字段又不通知,下游作业往往不会报错,只会静默地算出一批不对的数。
本域的实施条件逐条写明责任方、约定时点,第四列给出的处理方式有一个共同形状:先建结构、标注状态、留替换路径。未会签的对象先在维表层保留自然键,暂不生成代理键,待会签后统一生成;口径待定的事实表先建结构并标注待定,不生成对外指标;临时取数通道在数据分布台账中标注通道性质与替换时点,到期逐条清理。这样安排的用意是让建模与口径确认并行推进,而不是互相等待,同时让每一处「暂时这样」都在台账上占一个显式的位置。数据架构的建设不必等所有口径都谈妥才开工,但每一处未谈妥的地方在模型与台账上都是标注出来的,不会沉默地带进下游。
表 2.3-12 数据架构规划域的实施条件与责任界面
| 实施条件 | 责任方 | 约定时点 | 条件不具备时的处理 |
|---|---|---|---|
| 跨对象主键映射规则经各业务口会签 | 各业务口数据专责、信息化职能 | T+3 月 | 按抽样结果先出规则草案并给命中率实测值,逐域会签;未会签的对象先在维表层保留自然键,暂不生成代理键 |
| 工时定额与库存口径的仲裁结论 | 数据治理委员会 | 明细层建模启动前 | 相关事实表先建结构并标注口径待定,不生成对外指标 |
| 源系统接口开通与数据字典提供 | 各源系统管理员 | 按接口开通清单分批 | 未开通的系统按文件导出方式临时取数,在分布台账中标注临时通道与替换时点 |
| 源端字段与接口变更的通知 | 各源系统管理员 | 变更前 5 个工作日 | 未通知导致下游作业失败的,按变更影响分析回溯修复并记入部门考核 |
| 元数据工具与治理平台环境 | 项目组 | T+7 月前 | 自动采集未上线期间,技术元数据按季度人工导入,导入批次与时点留痕 |
数据资产规划要回答三个在资产管理上必须有答案的问题——这份数据归谁、值多少、谁能用,分别对应权属管理、价值评估与资产运营。企业已积累相当规模的业务数据,但数据资产化程度较低:大部分数据仅用于日常业务操作,缺少分析与挖掘。
本项目还有一层特殊性:要形成的数据集将具备对外提供服务、在数据交易所挂牌与交易的条件,因此权属界定不能停留在数据归公司所有这种笼统表述上。原始数据与治理加工后形成的数据资产之间要分清,所有权与使用权要分清,涉及第三方来源的数据(如矿方提供的工况资料、外部标准文件)其权利边界要分清。这些界定在项目期内完成,挂牌时方能提供权属证明。
资产识别从现状评估的盘点表出发,按资产类别逐项确定归属与管理责任,识别结果如表 2.4-1。表中每一项的资产条目在资源目录中建档,归属与责任随条目一并登记。
表 2.4-1 数据资产的识别口径、归属与管理责任
| 资产类别 | 识别口径 | 典型资产 | 业务归属部门 | 数据管理责任岗位 | 纳入资源目录的条件 |
|---|---|---|---|---|---|
| 设计与工艺类 | 由设计与工艺过程产生、构成产品技术定义的数据 | 图纸与图档、工艺路线、工艺卡、工装压模台账、图卡成对样本集 | 设计职能、工艺职能 | 工艺职能数据专责 | 图号与版本字段完整;配对关系经抽样核对 |
| 生产过程类 | 由生产执行与特种工艺过程产生的事实与时序数据 | 工单与报工、炉次档案、焊道参数、过程时序段 | 生产管理职能、分厂 | 生产管理职能数据专责 | 与业务对象标识绑定;时序段有区间标识 |
| 质量类 | 由检验、检测与不合格品处置产生的结论与证据 | 检验记录、无损检测结果、不合格品票、返修记录 | 质量职能 | 质量职能数据专责 | 检验结论可关联到工序或炉次 |
| 供需与库存类 | 由计划、采购、仓储与物流过程产生的账与流水 | 需求计划、采购到货、库存快照、出入库流水、余料台账 | 供应链职能、仓储职能 | 供应链职能数据专责 | 口径经确认;批次与物料编码可对应 |
| 在役服务类 | 由在役装备运行与售后服务过程产生的数据 | 测点时序、报警事件、服务工单、备件出库 | 售后服务职能、运维职能 | 售后服务职能数据专责 | 测点与部件对应关系明确 |
| 主数据与标准类 | 跨业务共用、作为口径基准的数据 | 物料、设备、工序、组织主数据,术语、数据元、指标标准 | 对应主数据归口职能 | 主数据维护岗 | 经主数据流程审批;落标检查通过 |
| 文档与文本类 | 以文档形态存在、构成知识与合规基准的数据 | 制度、技术标准、合同、标书、技术手册 | 办公职能、档案职能、法务职能 | 档案管理员 | 版本号与生效区间字段完整 |
| 第三方来源类 | 由客户、矿方或外部机构提供的数据 | 矿方工况与地质资料、配套装备接口参数、客户招标文件、外部标准文本 | 市场与经营职能、法务职能 | 合同管理岗 | 提供方约定已查明并登记可用范围 |
| 治理加工形成类 | 经治理与加工形成的派生资产 | 落标后的主数据、成对样本集、标注数据集、四类数据集 | 数据管理办公室 | 数据管理办公室资产管理岗 | 加工血缘完整;质量评测结论已登记 |
权属界定的基础是来源可查。1.6 节的资产盘点表已登记每一项资产的来源系统与存储现状,权属管理在此之上增加三个字段:数据产生方式(企业自行产生、客户或第三方提供、设备自动采集、外部公开获取)、提供方约定(若为第三方提供,有无合同约定其使用范围)、加工程度(原始、清洗后、标注后、合成)。四类产生方式对应不同的权利基础,加工程度对应不同的权利归属层次。
表 2.4-2 原始数据来源分类与权属界定口径
| 数据产生方式 | 典型数据 | 存储位置 | 所有权界定 | 使用权界定 |
|---|---|---|---|---|
| 企业自行产生 | 图纸与图档、工艺卡、工单与报工、检验记录、库存账、制度文件 | 对应业务系统数据库与文档库 | 归甲方所有 | 甲方自主决定,本项目按授权范围使用 |
| 设备自动采集 | 热处理温度曲线、焊接参数流、在役测点时序、报警日志 | 数据采集与监控系统、物联网平台、远程运维平台 | 归甲方所有 | 同上;对外提供时须核查是否含设备厂商技术信息 |
| 客户或第三方提供 | 矿方工况与地质资料、配套装备接口参数、客户招标文件 | 协同办公文档库、项目资料目录 | 所有权不在甲方 | 使用范围以合同或提供时的约定为限;无明确约定的,对外提供前须取得提供方同意 |
| 外部公开获取 | 国家与行业标准、法规、公开技术资料 | 企业文档系统 | 所有权归发布方 | 按发布方许可条件使用;标准文本的对外提供受版权限制 |
| 治理加工形成 | 落标后的主数据、图卡成对样本集、标注数据集、四类数据集 | 数据治理与加工生产平台 | 加工成果的权属按合同约定,原始数据权属不因加工而转移 | 对外提供按资产运营流程审批 |
第三类与第四类在实际工作中最易出问题。矿方提供的工况与地质资料涉及矿方的生产信息,未经约定直接纳入对外提供的数据集会带来权利风险;外部标准文本受版权限制,可用于内部问答与检索,对外提供时须另行处理。权属界定工作对这两类数据单独建立台账,逐项标注可用范围,并在资产目录中以标签形式呈现,使审批环节能够直接识别。
治理加工形成的数据资产,其权属按原始数据权属不因加工而转移的原则办理,同时把资产的权利拆成三层登记:数据资源持有权(谁持有这份资产)、数据加工使用权(谁可以对它做加工与使用)、数据产品经营权(谁可以把它作为产品对外提供)。三层分别登记后,审批时可以只授予其中一层——例如允许某个内部部门使用,但不授予对外经营的权利。权属登记与确权链路如图 2.4-1 所示。
2.4-1 数据资产权属登记与确权链路
图 2.4-1 数据资产权属登记与确权链路。数据来源:招标文件 3.2.6.1.1.2.4 第(1)项;对外提供与脱敏要求取 3.2.1 服务采购清单第 5 项第 7 条;挂牌与接入要求取 1.2.6 服务与安全目标。
价值评估办法分两步:先做分值化的多维评价,用于内部排序与投入决策;在具备交易参照后,再对具备经营条件的资产单独开展货币化估值。企业的数据交易尚未发生,没有市场价可参照,因此第二步的启动条件在办法中写明,不预设时点。多维评价的维度与权重如表 2.4-3。
表 2.4-3 数据资产价值评价维度与权重
| 一级维度 | 二级指标 | 评分要点 | 权重 |
|---|---|---|---|
| 业务价值 | 支撑场景数 | 该资产被多少个验证场景依赖 | 15% |
| 业务价值 | 不可替代性 | 缺少该资产时场景结论是否仍成立 | 10% |
| 业务价值 | 决策层级 | 支撑的是岗位作业、部门管理还是公司决策 | 5% |
| 数据质量 | 完整性与准确性 | 非空率、枚举合规率、抽样准确率 | 10% |
| 数据质量 | 一致性 | 与权威源的一致程度、跨系统关联命中率 | 8% |
| 数据质量 | 时效性 | 更新频率与近三年数据占比 | 7% |
| 规模与稀缺性 | 存量规模 | 条数或张数或容量 | 8% |
| 规模与稀缺性 | 行业稀缺性 | 该类数据在行业内的可获得程度 | 12% |
| 规模与稀缺性 | 时间跨度 | 历史覆盖年限与连续性 | 5% |
| 可用性 | 标准化程度 | 落标情况、结构化程度 | 7% |
| 可用性 | 可共享程度 | 敏感级别与对外提供的限制条件 | 8% |
| 成本 | 获取与加工成本 | 采集、清洗、标注的投入(反向计分) | 5% |
行业稀缺性给到 12% 的权重,是针对本项目资产特征的安排。企业的图纸与工艺卡历史存量约 63 万张,且每一张图纸历史上都配有一张已审核签发的工艺卡片,天然构成成对的监督样本——这种成对关系在行业内不易获得,其价值高于单独的图纸或单独的工艺卡。按通用的规模导向评分,这类资产的价值会被显著低估。权重取值在办法编制阶段与甲方确认后固化。
评价按年度开展,新增重要资产可随时发起专项评价。流程分五步:资产范围确定(由办公室从资源目录中选取)→ 数据采集(质量与规模类指标由平台自动取数,业务价值类指标由业务口打分)→ 评分与汇总(按表 2.4-3 权重计算)→ 评审(工作组复核、办公室汇总、委员会确认)→ 结果应用。结果应用有三处用途:作为资产目录中的价值等级标签;作为治理投入优先级的依据;作为具备经营条件资产的筛选依据。评价结论与评价过程数据一并归档,便于逐年对比。
表 2.4-4 价值等级划分与对应管理要求
| 价值等级 | 得分区间 | 管理要求 |
|---|---|---|
| 一级(核心资产) | 85 分及以上 | 配置最严质量规则;纳入备份与容灾范围;变更须办公室审批;对外提供须委员会审批 |
| 二级(重要资产) | 70—85 分 | 配置常规质量规则;纳入定期质量检查;变更须工作组会签 |
| 三级(一般资产) | 55—70 分 | 配置基础质量规则;按年度复核 |
| 四级(待提升资产) | 55 分以下 | 分析低分原因,列入质量提升或退役评估范围 |
四级资产的处理分两种:得分低可能因为质量差,也可能因为暂无场景依赖。前者进质量提升,后者进退役评估——退役评估的口径见「数据治理规划(二)」的数据生存周期规划。
以图卡成对样本集为例走一遍评分。企业历史图纸约 63 万张,每一张图纸历史上都配有一张已审核签发的工艺卡片,经配对与结构化后形成该样本集。
业务价值方面,该资产被板材备料工艺与产品智能选型两个场景直接依赖,支撑场景数得分居中;不可替代性高——没有成对样本,工艺推荐没有可学习的监督信号,场景结论无法成立,该项取高分;决策层级为岗位作业层,得分偏低。数据质量方面,图纸与工艺卡均为正式签发文件,准确性高;一致性取决于配对关系的正确率,以抽样核对结果为准;时效性中等,历史样本跨度长而近三年占比有限。
规模与稀缺性方面,63 万张的存量规模在同类企业中属可观,时间跨度长且连续,行业稀缺性是该资产最突出的一项——成对的图纸与已审工艺卡在行业内不易获得,该项取高分。可用性方面,标准化程度在落标与解析完成后才会提高,初始得分不高;可共享程度受限于图纸涉及企业技术信息,对外提供须经严格审批。成本方面,解析与配对投入较大,反向计分拉低总分。
按表 2.4-3 的权重计算,该资产落在一级(核心资产)区间,对应的管理要求是配置最严质量规则、纳入备份与容灾范围、变更须办公室审批、对外提供须委员会审批。这一结论有两处实际作用:把该资产的质量规则优先级提到最高,配对正确率成为持续监控的指标;在对外提供与挂牌的筹划中明确其审批层级。该示例也说明行业稀缺性权重取 12% 的理由:按规模导向评分,分数会被 63 万张这一数字主导,而真正的价值在于成对这一属性——同样 63 万张图纸若没有配套的已审工艺卡,其价值要低得多。
资产目录建成后最常见的失效方式是建好了没人用,原因通常是申请流程太长、用户不知道目录里有什么、或者申请到的数据不能直接用。运营机制据此确定三项要求:目录条目让非技术人员看得懂、申请审批有时限、交付的数据附带口径说明。
目录条目的可读性落到字段上:除技术字段外,每个条目须有一段业务语言的内容说明、典型用途举例、更新频率、口径说明与责任部门联系岗位。四个问答场景与决策数据问答的使用者都是业务人员,看不懂就不会用。条目的价值等级标签、权属标签与敏感级别标签同时展示,使申请人在提交前即可判断审批路径。
流程按数据敏感级别与申请用途分三档审批:甲档为内部一般数据,由责任部门审批;乙档为较高敏感数据,增加安全职能会签并脱敏后在限定环境中使用;丙档为对外提供,增加权属核验与委员会审批。各档的审批环节与时限如图 2.4-2 所示。使用期满或用途变更的,按图中回收环节收回授权并留痕。
2.4-2 数据资产申请、审批、使用与回收流程
图 2.4-2 数据资产申请、审批、使用与回收流程。数据来源:招标文件 3.2.6.1.1.2.4 第(3)项;脱敏与审计要求取 3.2.1 服务采购清单第 5 项第 7 条。
运营机制的度量指标有三项:申请按期办结率、目录条目的业务语言说明完整率、交付数据附带口径说明的比例。三项的基线取目录首批上线后一个季度的实测值,按季提高并逐步接近目标值;未达期段目标的在月度例会上列明原因与责任岗位,必要时简化审批环节后重新上线,不以降低审批要求达成。
资产目录的授权按角色授予,不按人授予。按角色授权后人员变动时不必重配权限,只需调整角色归属。角色与可访问范围的对应关系如表 2.4-5。表中「可见」指在目录中能看到条目及其说明,「可申请」指可提交使用申请,「可直接使用」指无须逐次申请即可访问。
表 2.4-5 数据资产目录分级与角色授权矩阵
| 角色 | 公开级资产 | 内部一般级 | 内部受限级 | 敏感级 | 对外提供 |
|---|---|---|---|---|---|
| 全员 | 可直接使用 | 可见、可申请 | 不可见 | 不可见 | 不适用 |
| 业务口数据专责 | 可直接使用 | 可直接使用(本域) | 可见、可申请 | 不可见 | 不适用 |
| 工作组成员 | 可直接使用 | 可直接使用 | 可直接使用(本域) | 可见、可申请 | 不适用 |
| 数据管理办公室 | 可直接使用 | 可直接使用 | 可直接使用 | 可见、可申请 | 可发起 |
| 安全职能 | 可见 | 可见 | 可见 | 可见、审计权限 | 会签权 |
| 治理委员会 | — | — | — | — | 审批权 |
| 项目组 | 按项目授权范围 | 按项目授权范围 | 按项目授权范围且限定使用环境 | 按乙档流程逐项审批,脱敏后在限定环境中使用 | 不适用 |
最后一行是项目组对自身权限的约束。项目组承担数据加工与平台建设,需要访问相当范围的数据;敏感级数据的访问按乙档流程逐项审批、脱敏后在限定环境中使用,并留完整审计日志。该约束写入数据资产管理办法与项目保密约定。
本规划域交付数据资产管理办法、数据资源目录、资产价值评估办法、数据资产运营流程规范四份成果。其中数据资源目录是数据成果而非文档成果,交付形态为治理平台中的目录条目加一份目录清单导出件;首批目录范围按 1.6 节盘点结论与价值评价结论确定,覆盖对象以六个主题域的核心业务对象为准。
表 2.4-6 数据资产规划域的成果结构、交付时点与实施交接验收
| 成果物 | 章节结构要点 | 形态 | 交付时点 | 验收口径 | 交接方式与接收岗位 |
|---|---|---|---|---|---|
| 数据资产管理办法 | 总则;资产识别与归属;权属界定与三权登记;分级与授权;价值评价结果应用;监督与审计;附则 | 制度 | T+8 月 | 含权属界定原则、三层权利登记、分档审批要求;与表 2.4-1 的归属口径一致 | 委员会审议后发文并入制度库;接收岗位为数据管理办公室 |
| 数据资源目录 | 目录分类体系;条目字段与填写口径;首批条目;维护与下架规则 | 平台数据+导出件 | T+12 月 | 覆盖六个主题域核心业务对象;条目含业务语言说明、口径说明、权属与敏感标签 | 平台内移交并导出清单签收;接收岗位为数据管理办公室与各业务口数据专责 |
| 资产价值评估办法 | 评价维度与权重;评分规则;评价流程五步;价值等级与管理要求;货币化估值的启动条件 | 制度 | T+9 月 | 维度与权重明确;流程五步齐备;价值等级与管理要求一一对应 | 办公室印发;评分表模板同步配置到治理平台 |
| 数据资产运营流程规范 | 申请与审批分档;时限;使用与回收;审计与违规处理;运营度量指标 | 制度 | T+9 月 | 三档审批流程与时限明确;角色授权矩阵齐备;运营度量指标含基线与回退 | 办公室印发并在治理平台配置流程;接收岗位为数据管理办公室与安全职能 |
资产域要回答归谁、值多少、谁能用三个问题,每一个都压着一个外部条件。归谁——涉及第三方提供的数据,使用范围写在当初的合同里,合同不查明就无法判断哪些可以对外提供,而一旦判断错,错的方向是把不该提供的东西提供了出去。谁能用——授权以分级分类标识为前提,标识依据的标准由安全域发布,本域是使用方不是制定方。值多少——价值评价里的质量与规模两项指标要从平台自动取数,平台功能未上线之前只能人工统计。另有两件与现场直接相关:资源目录里每一条的业务语言说明,必须由实际用这份数据的业务口来写,办公室代笔的条目字面上挑不出错,检索时却帮不上忙;纸质档案的数字化范围没定下来,目录的覆盖范围也就定不下来。
本域的实施条件逐条写明责任方、约定时点,第四列的处理方式统一指向「标注,而不是略过」:约定不明的资产在目录中标注为对外提供受限,暂不纳入对外提供范围;敏感级别先按初判标注,标准发布后统一复核更正;未经业务口确认的条目标注待确认,并且不计入覆盖率。不计入覆盖率这一条尤其要紧——若把待确认条目算进覆盖率的分子,目录看起来会很快建成,实际能用的条目却没有那么多;排除在分子之外,覆盖率这个数就可以直接拿去用,不需要再打一次折扣。资源目录的每一条因此都带着三个状态:权属状态、敏感状态、确认状态。
表 2.4-7 数据资产规划域的实施条件与责任界面
| 实施条件 | 责任方 | 约定时点 | 条件不具备时的处理 |
|---|---|---|---|
| 第三方提供数据的合同约定使用范围查明 | 甲方法务职能与市场经营职能 | 权属界定阶段 | 约定不明的资产在目录中标注为对外提供受限,暂不纳入对外提供范围 |
| 数据分级分类标准发布 | 甲方安全职能(标准内容见「数据治理规划(二)」) | 目录首批上线前 | 按初判敏感级别先行标注,标准发布后统一复核并更正 |
| 资产价值评价所需的质量与规模统计可自动取数 | 项目组 | T+9 月前 | 首轮评价的质量与规模指标由人工统计并留存底稿,第二轮起转自动取数 |
| 资源目录条目的业务语言说明由业务口撰写并确认 | 各业务口数据专责 | 目录首批上线前 | 由办公室草拟后交业务口确认,未确认的条目标注待确认,不计入覆盖率 |
| 纸质档案数字化范围与进度确定 | 甲方档案职能 | 第二阶段内 | 未数字化部分不计入资源目录,在盘点表中标注并给出分批建议 |
甲方的信息化底座已经成型:设计与工艺、生产计划与工单、质量检验、库存与物流、公文与合同流转、设备过程参数采集、在役装备远程运维各有系统承载,业务数据长期留存。真正的困难不在于缺系统,而在于同一个物理对象在不同系统里有不同的名字、不同的编码规则、不同的填写习惯,跨系统追一件事仍要靠人工对账。
这个问题在本项目中有三处具体表现,它们直接决定了数据标准规划的落点。
一是同一工序在不同车间有不同叫法。板材备料的工序链共 28 道,总工艺路线之下各车间再编本车间的工艺卡片,同一道工序在备料车间的卡片上与在结构件车间的卡片上名称可能不同,工序代码也不成体系。工艺类数据集要以工序为检索键组织样本,工序名称不统一,样本就无法按工序聚合。
二是图纸与工艺卡的配对关系没有可计算的键。历史图纸约 63 万张,每一张历史上都配有一张已审核签发的工艺卡片,这在数据集建设上是天然成对的监督样本,但配对关系存在于文件目录与人的记忆里,没有稳定的图号—卡片号对应标准。
三是指标口径分散。同一个「库存周转」在供应链口与财务口的算法不同,分母取期初期末平均还是取时点值、是否扣除项目专用占用,各部门各有习惯。决策数据问答场景要基于九个业务域与一套决策指标体系作答,口径不统一,同一问题会得到两个都「正确」的答案。
数据标准规划要交付的不是一本术语词典,而是一套能把上述三类不一致收敛下来,并且在后续系统改造与数据加工中持续生效的标准体系。
本项目的数据标准分五类:业务术语标准、主数据标准、参考数据标准、数据元标准、指标标准。五类标准之上有一部《数据标准管理办法》规定标准的制定、评审、发布、变更与废止程序;五类标准之下有一张《标准映射对照表》把标准项落到具体系统的具体字段。这一结构与招标文件要求输出的六份成果物一一对应。
五类标准的关系可以用一句话概括:业务术语管概念,主数据与参考数据管实例,数据元管字段,指标管算法。概念层统一了「叫什么」,实例层统一了「有哪些」,字段层统一了「怎么存」,算法层统一了「怎么算」。四层缺一层,上层标准落地时都会卡住。
图 1-1 数据标准体系的四层构成与三条落地通道。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(1)至(6)项。
业务术语标准覆盖九个业务域:人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理。编制目标是形成公司统一的业务术语标准,厘清业务名词的定义、业务含义与同义词。每个域的术语从三个来源汇集。
第一个来源是现行业务文档。工艺规程、作业指导书、检验规范、管理制度、合同模板里反复出现的业务名词构成术语的主体。我方以文档解析工具批量抽取候选名词,按词频与共现关系排序,再由业务域对口部门确认。采用当期能力评测领先的通用大模型经统一网关接入完成候选术语的定义初稿与同义词聚类,模型可替换、可评测、可随代升级;定义的最终确认权在业务部门,模型输出只作为编制底稿。
第二个来源是系统字段与数据字典。企业资源计划、制造执行、质量管理、产品全生命周期管理等系统的字段中文名、注释与下拉选项是术语的实际使用形态,也是术语与字段映射的起点。
第三个来源是国家标准与行业标准。煤矿用刮板输送机、矿用链条、钢材牌号、焊接工艺、热处理工艺等领域已有成文标准,标准中的术语优先采用,企业自定义术语仅在标准未覆盖处设立并注明「企业自定义」。
术语统一的难处不在于把名词列成清单,而在于判定两个叫法是不是同一件事、由谁说了算、落到哪个字段与哪个指标上。术语卡的字段结构即围绕这三个问题设置。
每条术语以一张术语卡承载,字段结构如表 1-1。中文名称、英文名称、业务定义、业务含义、同义词五项对应招标文件对业务术语标准提出的定义、业务含义与同义词要求;禁用词与易混术语两项取自现场实情——同一个量在工艺卡片上写「装炉量」、在报工界面上写「投料量」、在台账里写「单炉重量」,不把已停用的旧称与近义而不同义的术语分开记明,归一时就会把本不相同的两件事并到一起。归口部门一项解决解释权归属,关联数据元与关联指标两项是术语标准与数据元标准、指标标准的接合点。
判定一条术语能否发布,看的是业务定义与同义词两格是否填实;追溯一条术语的权威性,看的是归口部门与版本状态两格。结构本身就是评审的检查项:定义写不出来、同义词列不清、归属部门认不下的术语,不进标准正式发布版,先入待议清单。字段齐备的术语卡构成后续三个落地场合与术语覆盖率抽样验收的共同基础。
表 1-1 业务术语卡字段结构
| 字段 | 说明 | 示例(示意,实际取值待现场核定) |
|---|---|---|
| 术语标识 | 全局唯一编号,域代码+序号 | MFG-T-0137 |
| 中文名称 | 标准名称,发布后作为唯一正式称法 | 装炉量 |
| 英文名称 | 对外接口与英文文档使用 | Furnace Charge Quantity |
| 业务定义 | 一句话定义,说明边界而非举例 | 单一炉次一次性装入炉膛的工件重量合计 |
| 业务含义 | 该术语在业务判断中起什么作用 | 影响升温速率与保温时间的可调量依据 |
| 同义词 | 现行文档与系统中的其他称法 | 装炉重量、投料量、单炉重量 |
| 禁用词 | 明确不再使用的旧称法 | 投料量(2026 版后停用) |
| 易混术语 | 相近但不同的术语及区别 | 装炉工件数(计件,不计重) |
| 所属业务域 | 九个业务域之一 | 生产制造 |
| 归口部门 | 术语定义的解释责任部门 | 按业务域对应的招标方归口部门填写,随术语卡发布逐条登记 |
| 关联数据元 | 该术语对应的数据元标识 | DE-MFG-0412 |
| 关联指标 | 以该术语为维度或度量的指标 | IDX-MFG-0088 |
| 版本与状态 | 草案/发布/修订/停用 | 发布 V1.0 |
招标文件要求术语在业务文档、系统字段、指标说明中落地应用。这三个场合的落地方式不同,不能用一条措施覆盖。
在业务文档中落地,办法是把术语表嵌入文档模板。工艺卡片、检验规范、不合格品票、改造方案等模板的填写指引中,涉及标准术语的字段给出术语标识与正式名称,禁用词在模板校验时提示。对已归档的历史文档不做回改,只在数据加工环节做术语归一映射,映射关系记录在标准映射对照表中。
在系统字段中落地,办法是分新建与存量两条路径。新建或改造的系统,在设计评审时核对字段中文名是否取自术语标准,不一致的须说明理由;存量系统不强制改字段名,改的是数据汇聚层的映射配置,由映射把源字段名归一到标准术语。这一取舍的理由很直接:改源系统字段名要动业务逻辑与界面,代价与风险都高于在汇聚层做映射,而数据集加工与指标计算取的是汇聚层的数据。
在指标说明中落地,办法是指标卡的维度与度量名称强制引用术语标识。指标卡中出现未登记的业务名词时,指标无法通过评审发布。
术语标准的首批发布规模按九个业务域各 60 至 120 条估算,合计不少于 600 条,其中生产制造域与研发设计域因工序与工艺术语密集,条目数高于其他域。第二批在数据汇聚与指标建设过程中滚动补充。
验收口径设三条,均以可核查的抽样方式检验:
一是术语覆盖率。从四类数据集加工所实际用到的业务字段中随机抽样 200 项,检查其对应业务名词是否已登记在术语标准中。首批发布时的基线按抽样覆盖不低于 75% 设定,随滚动补充逐步接近全覆盖;未覆盖项列入下一批编制清单,这是本指标的回退路径。
二是同义词归并有效性。对抽样术语检查其同义词清单是否包含该名词在现行系统中的实际称法,遗漏一条计一次不符合,单批不符合超过 10% 则该域术语退回复审。
三是指标卡引用合规性。发布的指标卡中,维度与度量名称引用术语标识的比例逐步接近全部;未引用的指标卡在发布前退回修改。
招标文件对主数据提出的要求是补齐全生命周期审批流程记录,形成 DCMM 评审可查阅的证据材料。这一要求的实质是:主数据不只要有标准,还要有「谁在什么时候按什么依据批准了这条主数据」的留痕,否则 DCMM 评审时拿不出证据。
本项目识别的主数据域及其与数据集建设的关系见表 1-2。识别原则是:被两个以上业务系统共同引用、且其变更会影响跨系统一致性的基础实体,纳入主数据管理。
表 1-2 主数据域清单与管理重点
| 主数据域 | 核心实体 | 主要承载系统 | 与数据集建设的关系 | 管理重点 |
|---|---|---|---|---|
| 物料主数据 | 原材料、零件、部件、产成品 | 企业资源计划 | 备料工艺与库存控制类样本的对象主键 | 编码规则、分类、计量单位、规格描述 |
| 产品与物料清单 | 产品结构、层级关系 | 产品全生命周期管理 | 图纸与工艺卡配对、零件借用判断 | 版本与有效性、与物料编码的对应 |
| 客户与项目 | 矿方客户、工作面项目、施工号 | 客户关系管理、生产管理 | 选型类样本的工况上下文 | 施工号与项目的唯一对应 |
| 供应商 | 钢材与外协供应商、材料批次来源 | 企业资源计划、采购管理 | 热处理批次档案的材料来源追溯 | 供应商编码、资质状态、材料批次关联 |
| 设备与工装 | 加工设备、炉台、焊接产线、压模、样板 | 设备管理、制造执行 | 工艺设计类样本的设备资源引用 | 设备编码、位号、与测点的对应 |
| 组织与人员 | 部门、车间、班组、岗位 | 人力资源 | 操作主体与责任留痕 | 组织编码、岗位与权限的对应 |
| 工序与工艺路线 | 28 道备料工序及其余工序、工艺路线 | 制造执行、工时定额 | 工艺类样本的检索键与聚合维度 | 工序代码体系、名称唯一、前后依赖 |
| 计量与检验项 | 检验项目、关键工序、重要尺寸 | 质量管理 | 质量类样本的标签来源 | 检验项编码、与工艺标注的对应 |
工序主数据是本项目新增的管理重点。甲方现状是总工艺路线与各车间卡片并行、工序代码不成体系,而工艺类与制造过程类数据集都以工序为聚合维度,因此工序主数据的建立不是治理的附带产物,而是数据集加工的前置条件。
数据管理能力成熟度评审考查的不是主数据台账当前是否干净,而是每一条主数据的产生与变化是否经过授权、依据是否留存。一份整洁却无法说明来历的台账,在评审中拿不到相应等级。主数据管理因此须把状态流转与留痕绑定,使证据随流程自然沉淀,不靠事后整理。
主数据的生命周期定义为申请、审核、发布、变更、停用五个状态。每一次状态迁移产生一条不可修改的流程记录,记录内容构成 DCMM 评审的证据材料。五个状态的划分依据是主数据实际发生的授权事件:申请与审核分离,保证提报方与核定方不是同一主体;发布单独成态,使主数据有明确的生效时点供历史引用对齐;变更不另建编码而是回到发布,保留同一编码下的版本连续性;停用保留历史引用,不做物理删除,否则引用该编码的历史工单与工艺记录会断链。
图 1-2 上排是五态主链与变更回到发布的回边,中部横条列出每次状态迁移必须写入的八项要素,下方是这些记录在评审中的用途。判断留痕是否合格,看的是中部八项是否齐备、记录是否只追加不修改;按主数据编码即可调出该条数据的全部历史迁移,这正是评审所需的证据形态。
图 1-2 主数据五态流程与审批留痕节点。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(2)项主数据要求。
现存主数据绝大部分是历史沉淀下来的,当初并无规范审批流程,记录无法凭空补造。我方采取的办法是追认与补证两步,并且把两者在证据包里分开标识,不混为一谈。
追认是对现行有效的历史主数据,由归口部门按当前标准做一次性确认,形成《历史主数据追认清单》,清单本身即一条有审批人、审批时间与审批意见的流程记录,记录类型标为「历史追认」。补证是对有原始依据可查的主数据,把原始依据(立项文件、图纸签发记录、合同、入库单等)作为附件挂到主数据上,记录类型标为「依据补录」。
两类记录与新建主数据的「正常流程」记录在证据包中分列统计。DCMM 评审时呈现的是真实状况:哪些有完整流程、哪些是追认、哪些有原始依据,而不是一份看起来全部合规、实际无法回溯的台账。追认与补证的覆盖比例按主数据域分别设定目标,首年以物料、工序、设备三个与数据集加工直接相关的域为重点,逐步接近全部现行有效主数据;未完成的域在诊断报告中列明并排入下一阶段。
编码规则按「分类码+流水码」设计,分类码表达稳定属性,流水码不承载含义。这样做的理由是:把可变属性编进码里,属性一变就要改码,改码会打断历史引用。规格、材质、供应商一类会变的属性放在属性字段里,不进编码。
编码规则的具体位数与分类层级在现状评估阶段依据甲方现行编码体系确定,原则是尽量沿用现行有效编码、减少换码带来的历史数据映射成本。需要换码的,在标准映射对照表中保留新旧编码对应关系,历史数据按对应关系归一,原码作为别名保留可查。
招标文件要求明确参考数据的管理范围并识别各类参考数据的取值范围。参考数据与主数据的区别在于:主数据是业务实体,参考数据是对实体属性取值的约束集合。物料是主数据,物料分类代码是参考数据;设备是主数据,设备状态代码是参考数据。
本项目将参考数据按来源分三类管理,管控强度不同。
第一类是国家标准与行业标准代码。例如钢材牌号、焊接方法代码、计量单位、行政区划、币种。这类代码直接采用标准发布版,企业不自行增删,标准更新时按版本替换,替换过程保留旧版映射。
第二类是行业通用但无强制标准的代码。例如煤矿工作面类型、刮板输送机机型档位、链条规格档位。这类代码由我方整理候选集合,由甲方技术部门核定后作为企业参考数据发布。
第三类是企业自定义代码。例如工序代码、缺陷类型代码、不合格品处置方式、炉型代码、班组代码。这类代码数量最多、变化最频繁,也是数据集标签体系的直接依据,管控要求最严。
表 1-3 列出参考数据的首批管理清单示例,实际清单在现状评估阶段依据系统字典盘点结果确定。
表 1-3 参考数据首批管理清单(示例,实际范围以现场盘点为准)
| 参考数据名称 | 来源类别 | 取值范围识别方式 | 关联业务域 | 预估码值数量 |
|---|---|---|---|---|
| 工序代码 | 企业自定义 | 总工艺路线与各车间卡片取并集后归一 | 生产制造 | 备料 28 道,全工序约 120 |
| 钢材材质牌号 | 国家标准 | 按现行牌号标准取值,企业在用子集 | 采购管理、生产制造 | 约 60 |
| 缺陷类型代码 | 企业自定义 | 质量管理系统缺陷描述文本聚类后核定 | 质量管理 | 约 80 |
| 不合格品处置方式 | 企业自定义 | 协同办公不合格品票流转选项 | 质量管理 | 约 10 |
| 工作面类型 | 行业通用 | 超长、常规、大采高、薄煤层等 | 营销管理、研发设计 | 约 8 |
| 机型与槽宽档位 | 行业通用 | 企业现行产品谱系 | 研发设计 | 按现行产品谱系逐档核定后登记,新机型投产时随谱系变更增补 |
| 链条规格档位 | 行业通用 | 链环直径与强度等级组合 | 研发设计 | 按现行产品谱系的链环直径与强度等级组合逐档核定后登记 |
| 炉型代码 | 企业自定义 | 热处理群控系统炉台台账 | 设备管理、生产制造 | 约 20 |
| 设备状态代码 | 企业自定义 | 设备管理系统状态字典 | 设备管理 | 约 12 |
| 检验项目代码 | 企业自定义 | 质量管理系统检验项字典 | 质量管理 | 约 200 |
| 计量单位 | 国家标准 | 按法定计量单位,企业在用子集 | 全域 | 约 40 |
| 库存状态代码 | 企业自定义 | 仓储管理系统状态字典 | 仓储物流 | 约 10 |
取值范围不是拍出来的,是从现存数据里查出来、再由业务核定的。我方对每一类参考数据执行三步。
第一步是字典抽取。从源系统的字典表、下拉选项、枚举常量中抽取已定义的码值集合。
第二步是实际取值扫描。对业务表中该字段的实际取值做去重统计,统计结果与字典对照,得到三类差异:字典中有但实际未使用的码值、实际使用但字典中没有的码值(多为自由文本或历史脏值)、实际使用频次极低的码值。第三类往往是录入错误,需要逐一判定。
第三步是业务核定。把三类差异提交归口部门,确认哪些码值保留、哪些归并、哪些废止。核定结论形成代码值域字典的正式版本,同时产生两项副产物:废止码值的归并映射关系进入标准映射对照表,自由文本到标准码值的映射规则进入数据加工的清洗逻辑。
缺陷类型代码是这一方法价值最明显的例子。甲方质量管理系统中缺陷描述为自由文本,未与工艺参数关联。按上述三步,先对历史缺陷描述文本做聚类,得到候选缺陷类型,再由质量部门核定为代码体系,然后把历史文本按映射规则归一到代码。归一之后,缺陷才能作为标签与焊接参数流、热处理炉次档案对齐,质量类数据集的标注才有依据。
代码值域字典按表 1-4 的结构维护。字典与数据元标准通过「值域引用」关联:数据元标准中声明该数据元引用哪一张码表,码表更新时所有引用该码表的数据元同步生效,不必逐个修改。
表 1-4 代码值域字典字段结构
| 字段 | 说明 |
|---|---|
| 码表标识 | 全局唯一编号 |
| 码表名称 | 正式名称,引用术语标准 |
| 来源类别 | 国家标准/行业通用/企业自定义 |
| 标准依据 | 国标或行标编号与版本;企业自定义填制定依据 |
| 码值 | 代码值,定长或变长按码表声明 |
| 码值名称 | 中文名称 |
| 码值定义 | 该码值的判定边界 |
| 上级码值 | 多层码表的父节点 |
| 启用状态 | 启用/停用/归并至 |
| 归并目标 | 停用码值归并到哪个码值 |
| 生效与失效时间 | 支持按时点回放历史取值 |
| 归口部门 | 按码表所属业务域对应的招标方归口部门填写,随码表发布登记 |
| 版本 | 码表版本号 |
码表变更走数据标准管理办法规定的变更流程。变更申请须附影响评估:哪些系统字段引用了该码表、哪些质量规则以该码表为值域、哪些指标以该码值为维度。影响评估由治理平台依据映射对照表与元数据血缘自动生成初稿,由申请人补充业务影响后提交评审。
招标文件要求针对核心业务域制定数据元定义标准,明确数据元标识、名称、定义、类型、格式、值域等规范。本项目的数据元标准按 GB/T 18391 数据元规范的思路组织,每个数据元的属性集合见表 1-5。
表 1-5 数据元标准属性集合
| 属性 | 规范要求 | 示例(示意) |
|---|---|---|
| 数据元标识 | 域代码+类别码+序号,全局唯一 | DE-MFG-0412 |
| 数据元名称 | 「对象类+特性+表示」三段式,引用术语标准 | 炉次_装炉量_数值 |
| 业务定义 | 一句话说明边界,不举例替代定义 | 单一炉次一次性装入炉膛的工件重量合计 |
| 数据类型 | 整型/小数/字符/日期/日期时间/布尔/二进制 | 小数 |
| 格式与精度 | 长度、小数位、日期格式、编码格式 | 10 位,2 位小数 |
| 计量单位 | 引用计量单位码表 | kg |
| 值域 | 枚举型引用码表标识;数值型给上下限 | 大于 0,不超过炉膛额定装载量 |
| 允许空值 | 是/否,否则说明默认值来源 | 否 |
| 唯一性 | 是否参与业务唯一键 | 否 |
| 敏感级别 | 引用数据安全分级标准 L1–L5 | L2-内部 |
| 来源系统与字段 | 对应的物理落点,可多条 | 热处理群控系统炉次表装炉重量字段 |
| 质量规则 | 绑定的校验规则标识 | QR-MFG-0233、QR-MFG-0234 |
| 归口部门 | 定义解释责任部门 | 按数据元所属业务域对应的招标方归口部门填写,随数据元发布登记 |
| 版本与状态 | 草案/发布/修订/停用 | 发布 V1.0 |
这张表里有三个字段是把数据元标准与其他治理域串起来的关键。敏感级别把数据元接到安全分级标准,使权限与脱敏策略可以按字段粒度下发。质量规则把数据元接到校验规则库,数据元一发布,与之绑定的规则即进入稽核调度。来源系统与字段把数据元接到标准映射对照表与元数据血缘。没有这三个字段,数据元标准就只是一本不生效的词典。
数据元不追求把所有字段都标准化,那样投入大而收效低。本项目按两条判据筛选核心数据元:被两个以上系统或两个以上场景共同使用的字段,以及四类数据集加工所直接依赖的字段。
表 1-6 按业务域给出数据元的重点范围与估算条目数。估算依据是各域主干业务表的字段规模与跨系统引用情况,实际条目数在现状评估的数据资产盘点完成后确定。
表 1-6 各业务域核心数据元重点范围与估算条目
| 业务域 | 数据元重点范围 | 估算条目 |
|---|---|---|
| 研发设计 | 图号、版本、零部件标识、材质、规格参数、展开长、材料定额、借用关系、工作面工况参数 | 约 180 |
| 生产制造 | 施工号、工单号、工序代码、工艺卡片号、设备编码、工装与压模号、工时定额、报工时间、炉次号、装炉量、设定与实际温度、焊道标识、焊接参数 | 约 320 |
| 质量管理 | 检验项编码、检验结论、实测值、关键工序标识、重要尺寸、缺陷类型、不合格品票号、处置方式、复检结论 | 约 210 |
| 仓储物流 | 物料编码、批次号、库位、库存数量、项目占用、出入库时间与类型、呆滞标识 | 约 130 |
| 采购管理 | 供应商编码、采购订单号、到货批次、材料来源厂家、采购价格、采购周期 | 约 110 |
| 设备管理 | 设备编码、测点标识、测点类型、采样周期、报警记录、维修工单、备件编码、运行状态 | 约 160 |
| 营销管理 | 客户编码、矿方项目标识、商机编号、销售预测、合同标识、交付节点 | 约 90 |
| 财务管理 | 科目编码、成本中心、费用类型、物料价格、项目成本归集、结算状态 | 约 100 |
| 人力资源 | 组织编码、岗位编码、人员标识、技能与资质、班组、排班 | 约 70 |
合计约 1370 条。这个量级与九个业务域、十余套源系统的规模相称;若现状评估后实际筛出的条目数显著低于此,说明筛选判据执行偏严,须复核是否漏掉了跨场景共用字段。
一个数据元可以对应多个系统的多个物理字段,这是现状的常态而非例外。装炉量在热处理群控系统、物联网与设备数据平台、制造执行系统里可能各有一个字段,名称、单位、精度都未必一致。映射要记录的不只是对应关系,还有转换规则。
映射关系的记录结构见本章第 8 节标准映射对照表。需要在此说明的是三类转换:单位换算(吨与千克)、精度取舍(保留两位小数的规则是四舍五入还是截断)、口径差异(装炉量是否含工装夹具重量)。第三类最容易被忽略,而它导致的数值差异远大于前两类。映射评审时,口径差异必须由业务部门明确取哪一个口径为标准口径,其余口径的数据按换算规则归一或标记为不可比。
招标文件要求制定指标标准,明确指标业务含义、统计口径、计算逻辑、维度与数据来源。这四项要素对应指标卡的四组字段。本项目把指标按原子指标、派生指标、复合指标三层组织,分层的作用是把口径冲突收敛到最底层解决。
原子指标是不可再分解的度量,直接对应一个数据元的聚合,例如「入库数量」「报工工时」「检验不合格件数」。原子指标的口径由其引用的数据元与聚合方式唯一确定。
派生指标是原子指标加上限定条件与时间周期,例如「本月备料工序报工工时」「钢材类物料当期入库数量」。限定条件只能引用已登记的维度与码值。
复合指标是多个原子或派生指标的运算结果,例如「库存周转天数」「一次交检合格率」。复合指标必须写明分子、分母各自引用哪个下层指标,以及分母为零时的取值约定。
这样分层之后,「库存周转」口径之争就落到可以讨论的位置上:争的不是指标本身,而是分母引用的是「期初期末平均库存金额」还是「期末时点库存金额」,是否扣除「项目占用库存」。两个口径都可以保留,但必须是两个不同标识、不同名称的指标,不能共用一个名字。
图 1-3 指标三层结构与口径向下追溯路径。数据来源:招标文件第五章 3.2.6.1.1.2.5 第(5)项指标数据要求。
表 1-7 给出指标卡的字段结构。一张指标卡填完,招标文件要求的业务含义、统计口径、计算逻辑、维度与数据来源四项要素即齐备。
表 1-7 指标卡字段结构
| 字段组 | 字段 | 规范要求 |
|---|---|---|
| 标识 | 指标标识、指标名称、英文简称 | 名称引用术语标准,同一名称不得对应两套口径 |
| 标识 | 指标层级 | 原子/派生/复合 |
| 业务含义 | 业务定义、业务用途、责任部门、关注人 | 说明这个数该给谁看、用来判断什么 |
| 统计口径 | 统计范围、剔除条件、时点与周期、币种与单位 | 剔除条件逐条列明,不写「等」 |
| 计算逻辑 | 计算公式、引用下层指标、分母为零约定、取整与精度 | 公式以指标标识书写,不写自然语言描述 |
| 维度 | 支持维度清单、维度层级、默认维度 | 维度取值引用码表标识 |
| 数据来源 | 来源指标或数据元、来源系统、数据延迟、数据起始时间 | 延迟写明是 T+1 还是实时 |
| 质量约束 | 依赖的质量规则、置信标记规则 | 来源数据未通过质量门限时的标记方式 |
| 版本 | 版本号、生效时间、变更记录 | 口径变更须新版本,历史口径保留可回放 |
「质量约束」一组字段回应的是甲方数据质量不均的现状。各系统数据质量参差,指标不能假定输入一律可用。指标卡声明依赖的质量规则后,指标计算时若来源数据未通过对应质量门限,指标值随附置信标记,在决策数据问答一类场景中随答案一并呈现。这一机制的回退路径是:数据质量不足以支撑该指标时,指标状态置为「暂不发布」,而不是给出一个看不出问题的数。
招标文件在数据治理服务的总体要求中提出同步构建决策数据指标体系,并在通用场景中说明决策数据问答助手基于九个业务域与一套决策指标体系作答。指标标准是这套体系的规范基础:决策指标体系中的每一个指标都须有指标卡,口径可向下追溯到数据元与源字段。
决策指标体系的指标选取、分层设计与问答场景的交互设计,在技术方案「五个通用场景验证方案」一节论述。本节交付的是指标标准与指标卡规范,两者的接口是指标卡:本节定义卡的结构与评审发布流程,场景侧按结构填卡并提出指标需求。
首批指标按九个业务域核定,规模估算见表 1-8。估算口径是每个业务域的核心管理关注点对应 8 至 20 个复合指标,每个复合指标平均牵出 2 至 4 个派生指标与 1 至 3 个原子指标。
表 1-8 首批指标规模估算
| 业务域 | 原子指标 | 派生指标 | 复合指标 | 小计 |
|---|---|---|---|---|
| 研发设计 | 14 | 20 | 10 | 44 |
| 生产制造 | 26 | 42 | 20 | 88 |
| 质量管理 | 20 | 32 | 18 | 70 |
| 仓储物流 | 16 | 26 | 14 | 56 |
| 采购管理 | 14 | 22 | 12 | 48 |
| 设备管理 | 16 | 24 | 12 | 52 |
| 营销管理 | 12 | 18 | 10 | 40 |
| 财务管理 | 16 | 24 | 14 | 54 |
| 人力资源 | 10 | 14 | 8 | 32 |
| 合计 | 144 | 222 | 118 | 484 |
首批指标的筛选以决策数据问答场景的实际问句为线索:场景侧整理高频业务问句,逐句判断回答该问句需要哪些指标,由此得到的指标清单比自上而下设计的指标体系更贴合实际使用。未被问句牵出但管理上必需的指标另行补充。
标准映射对照表是五类标准与物理数据之间唯一的连接件,也是招标文件要求的六份输出之一。结构见表 1-9。
表 1-9 标准映射对照表字段结构
| 字段 | 说明 |
|---|---|
| 映射标识 | 全局唯一编号 |
| 标准类型 | 术语/主数据/参考数据/数据元/指标 |
| 标准项标识 | 对应的术语标识、主数据域、码表标识、数据元标识或指标标识 |
| 源系统 | 系统名称与环境标识 |
| 源对象 | 库、表或接口名称 |
| 源字段 | 字段名与原始类型 |
| 映射类型 | 直接对应/单位换算/值域归一/口径换算/拆分/合并/不可比 |
| 转换规则 | 换算公式、归一映射表、拆分合并逻辑 |
| 口径说明 | 与标准口径的差异描述 |
| 质量规则 | 该映射上绑定的校验规则标识 |
| 责任部门 | 源系统业务归口部门 |
| 生效状态 | 生效/待评审/已失效 |
| 版本 | 映射版本与变更记录 |
「不可比」是一个必要的映射类型。有些源字段与标准项在业务口径上确实无法换算——例如某系统的装炉量含工装夹具重量而标准口径不含,且该系统未单独记录夹具重量。这种情况下不应强行换算,而应标记为不可比,使用方据此决定是否采用该来源。把不可比的数据强行归一,错误会沉默地传到数据集与指标里。
标准发布之后要真正生效,需要四个入口上的机制,缺一个标准就会停在纸面上。
第一个入口是新建与改造系统的设计评审。数据模型设计、接口契约设计提交评审时,核对字段是否引用已发布数据元、枚举字段是否引用已发布码表、指标是否有指标卡。不一致的须在评审意见中说明理由并记录为例外,例外清单定期复核。
第二个入口是存量系统的改造清单。现状评估识别出的标准不一致项按影响面与改造成本排序,形成分批改造清单。排序原则是:影响四类数据集加工的优先、跨系统关联所必需的优先、改造只涉及汇聚层配置的优先于需要改动源系统的。
第三个入口是数据加工的入口校验。数据汇聚与加工任务在读入数据时按数据元标准做类型、格式、值域校验,按码表做值域归一,不符合的记录进入质量问题台账并按规则严重级决定是阻断任务还是标记放行。这是标准生效最强的一个入口,因为它直接作用在数据流上。
第四个入口是质量规则绑定。数据元标准中的类型、格式、值域、允许空值、唯一性五项属性可直接生成对应的质量校验规则,由治理平台自动派生规则草案,由数据质量管理员确认后入规则库。标准一发布,规则即生效,两者不会脱节。
标准会变,变更管理的要求是让变更可控、可追溯、可回放。
变更申请须附影响评估,评估内容由治理平台依据映射对照表与元数据血缘自动生成初稿:哪些系统字段、哪些质量规则、哪些指标、哪些数据集加工任务引用了待变更的标准项。申请人在初稿基础上补充业务影响与过渡安排。
变更按影响面分三级审批。只影响单一业务域、不改变值域的,由该域归口部门审批;跨业务域或改变值域的,由数据治理管理层审批;涉及主数据编码规则或指标口径的,由数据治理决策层审批。审批层级的组织设计在「数据治理一」一节论述。
标准发布采用版本与基线机制。每次发布形成一个版本,重要节点(如 DCMM 评审前、年度审计前)固化为基线。数据集加工与指标计算记录所依据的标准版本号,使历史结果可按当时的标准版本回放。这一点对数据集的可追溯性尤其重要:一份两年前加工的数据集,其标签体系依据的码表版本必须可查,否则无法解释标签含义的变化。
五类标准要落到可执行的程度,每一类都须把六件事定下来:管哪些业务对象、这些对象的字段字典长什么样、校验规则怎么写、谁审批、在平台上怎么配置、出了异常怎么处置、版本怎么变。表 1-10 按标准类别逐项列出,表中各项即为《数据标准管理办法》的条款来源。
表 1-10 数据标准域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 业务术语:工序、施工号、炉次、焊道、不合格品等九域业务概念 | 术语标识、中文名、英文名、定义、同义词、所属业务域、归口部门、状态、启用日期 | 同一业务域内不得有两条语义相同的术语同时处于启用状态;术语定义中引用的其他术语须均已发布 | 业务域归口部门起草,数据标准管理员审核体例与重复性,数据治理管理层批准发布 | 术语库按业务域分权维护,草案态与发布态分库,发布态只读;术语标识在数据元、指标卡中以引用方式关联 | 发现同义重复的,择一为主术语,其余转为同义词并指向主术语;引用方不改写,由平台按同义关系解析 | 定义修订升次版本;术语合并或废止升主版本,废止术语保留条目并标注替代项与废止日期 |
| 主数据:物料、设备与测点、供应商、客户与项目、组织与岗位 | 主数据编码、名称、分类、关键属性集、生效区间、来源系统、责任人、审批记录标识、状态 | 一物一码,同一物料不得存在两条有效编码;编码须符合该域编码规则;关键属性不得为空 | 业务部门申请,归口部门审核,主数据管理员发布,相关系统回执确认同步完成 | 按对象建模,新增、变更、冻结、启用、作废五类流程分别配置审批链与必填项;分发通道按系统订阅配置 | 重码按保留规则合并,建立旧码到新码的映射并保留旧码为历史态,下游按映射改读而非删除旧码 | 属性新增升次版本;编码规则调整升主版本并同时出具存量数据的迁移方案与回退方案 |
| 参考数据与代码值域:材质牌号、缺陷类型、工序代码、计量单位等码表 | 码表标识、码值、码名、定义、上级码值、启用状态、归并关系、适用系统、归口部门 | 取值须落在启用码值集合内;归并后的旧码值不得用于新增记录;层级码表的上级码值须存在 | 归口部门提报码值,数据标准管理员审核,发布后通知引用系统并确认生效 | 码表集中维护、各系统订阅取用,不允许系统本地扩码;值域校验规则在码表发布时自动派生 | 超出码表的取值先进待归并清单,核定后归并到既有码值或新增码值,期间相关记录按非标标注并计入质量缺口 | 新增码值升次版本;码值含义变更一律新增码值,不修改既有码值的含义,避免历史数据被追溯改写 |
| 数据元:九个业务域核心业务对象的字段级定义 | 数据元标识、中文名、定义、数据类型、长度与精度、值域、计量单位、允许空、归口部门 | 物理字段的类型、长度、值域须与所引数据元一致;同一业务含义的字段不得引用两个数据元 | 归口部门起草,数据标准管理员审核,发布后进入映射登记环节 | 数据元库与标准映射登记联动,发布时自动派生空值、格式与值域三类校验规则并下发稽核 | 一字段映射到两个数据元的,由数据标准管理员裁决保留项并记录裁决理由;无对应数据元的字段新建草案 | 值域扩充升次版本并重派生规则;数据类型或计量单位变更升主版本,变更前出具下游影响评估 |
| 指标:九域管理指标与决策指标体系 | 指标标识、名称、业务定义、计算口径、统计维度、计量单位、刷新频率、来源数据元、归口部门 | 同名不同口径的指标不得同时发布;统计维度取值须引用已发布码表;来源数据元须均已发布 | 业务部门提报,指标归口部门核定口径,数据标准管理员发布 | 指标卡的计算公式以指标标识书写并由平台翻译为计算逻辑,不由开发人员按文字描述自行实现 | 口径未达成一致的指标置为暂不发布并进入口径裁决清单,按月提交数据治理管理层裁决 | 口径调整升主版本,历史数据是否重算在变更申请中逐项明确;指标废止保留条目并标注替代指标 |
| 标准映射对照表:标准项到物理字段的落地登记 | 标准项标识、源系统、物理表、物理字段、转换规则、核定人、核定日期、差异说明、状态 | 已汇聚数据对象中加工所依赖的字段须登记完整;一个物理字段只保留一条有效映射 | 平台自动推荐,业务域归口部门确认,数据标准管理员登记入册 | 按字段名与类型相似度自动推荐候选映射,确认权在人;推荐准确率按批统计并用于调优 | 无对应标准项的字段新建数据元草案并按非标标注使用,列入下批标准化范围 | 源字段结构变更触发映射复核,复核结果以新版本登记,旧版本保留以支撑历史数据的口径还原 |
表中「异常处置」一列遵循同一条原则:异常不以删除或覆盖的方式消解,而是以归并、映射、标注三种方式保留痕迹。历史数据的口径还原依赖这些痕迹,删掉旧码值或旧映射,三年前的样本就无法解释。
表 1-11 列出本章对应的交付物与验收口径,对应招标文件要求输出的六份成果。
表 1-11 数据标准规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据标准管理办法 | 五类标准的制定、评审、发布、变更、废止程序;组织与职责;版本与基线规则 | 经甲方数据治理管理层评审通过并以企业文件形式发布 |
| 业务术语标准 | 九业务域术语卡,首批不少于 600 条 | 抽样 200 项业务字段,术语覆盖率不低于 75% 并逐步提高;未覆盖项入下批清单 |
| 参考数据标准 | 参考数据管理范围、三类来源的管控要求 | 首批管理清单经归口部门逐项核定 |
| 代码值域字典 | 各码表的码值、定义、层级、启用状态与归并关系 | 码表与源系统实际取值的差异项逐条有核定结论 |
| 数据元标准 | 核心业务域数据元属性集合,估算约 1370 条 | 四类数据集加工所依赖字段的数据元覆盖率逐步接近全部,缺口在月度例会列明 |
| 指标标准 | 指标卡规范与首批约 484 个指标 | 发布指标的口径可向下追溯到数据元与源字段;同名不同口径的指标为零 |
| 标准映射对照表 | 标准项到物理字段的映射与转换规则 | 已汇聚数据对象的映射登记完整,口径差异项有业务核定结论 |
上述验收口径中,凡以比例表述的均为招标文件未规定的过程优化目标,一律配基线、分期目标与回退安排:基线为首批发布时的实测值,目标按期段逐级提高并写入项目质量计划,未达期段目标的在数据治理月度例会上列明缺口、责任部门与补齐计划,相关数据集加工任务按置信标记降级输出而非停止,避免治理进度直接阻断数据集交付。招标文件已明定的指标不在此列,按招标要求的原值承诺并纳入验收。
甲方的数据质量状况可以概括为「量不少、关联少、口径散」,各系统之间的差别很大。企业资源计划系统录入规范相对严格,数据质量较好;制造执行系统中部分工单填写不完整,报工时点相对实际作业有滞后;设备运行数据存在测点缺失与噪声;质量管理系统新上线不久,缺陷描述为自由文本,未与工艺参数关联。
这些状况对四类数据集的影响是直接的,不是间接的。举三个例子。
工单报工时点滞后,意味着以报工时间推算的工序实际耗时不可靠,制造过程类数据集中与节拍、工时相关的样本会带入系统性偏差。缺陷描述未与工艺参数关联,意味着质量类数据集缺少可用的标签来源,焊接与热处理的参数—结果配对样本无法直接构造。测点缺失与噪声,意味着设备健康诊断类样本的输入通道本身需要先做可信度判别,否则学到的是传感器故障而不是设备故障。
所以数据质量规划在本项目中不是一个合规性动作。它要回答的问题是:哪些数据现在就能用、哪些要先修、哪些修不好只能标注为低置信并在数据集加工时降权或排除。这个判断要有规则、有分数、有台账,而不是靠加工人员临场感觉。
本章治理的是九个业务域内业务数据的质量——企业资源计划系统里的物料主数据是否完整、制造执行系统里的工单报工是否及时、质量管理系统里的缺陷描述能否与工艺参数对上。四类高质量数据集本身的质量评测依据《高质量数据集质量评测规范》开展,其指标体系与评测过程在服务方案「数据集质量评测方案」一节论述。两者是供料关系:业务数据的质量决定数据集加工的起点,数据集的评测结论反过来成为业务数据质量规则的修订线索,这条回流通道的接口规定见第 2.7.4 节。
数据质量管理按需求、规则、检查、分析、提升五个环节构成闭环,每个环节有明确的输入输出与责任角色。闭环的驱动来源有两处:常态化的周期稽核,以及数据集加工与场景验证反馈回来的错样归因。第二处驱动是本项目特有的,它把数据集的使用效果变成业务数据质量规则的修订依据。
图 2-1 数据质量治理五环闭环与两处外部驱动。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(1)至(4)项。
招标文件要求梳理各业务域核心数据的质量诉求。本项目从两个方向同时推进,单用一个方向都会漏。
自上而下是场景倒推。十一个智能化应用场景与四类数据集对数据各有要求,把这些要求逐条翻译成对具体字段的质量诉求。例如板材备料工艺智能设计场景要求按工艺特征检索可借用的历史工艺,这就要求图号、零件标识、材质、规格参数、工序代码五类字段的完整性与准确性达到可检索的程度;缺失这些字段的历史工艺记录检索不到,等于不存在。
自下而上是现状扫描。对已盘点的数据对象逐字段统计空值率、取值分布、格式符合度、跨系统一致率,把实测结果差的字段列为候选质量问题,再由业务部门判断该字段是否重要。有些字段空值率高但业务上确实不填,不构成问题;有些字段空值率只有百分之几,但它是关联键,缺一条就断一链,优先级反而最高。
两个方向汇合后形成数据质量需求清单。清单的优先级按三条判据排序:是否为跨系统关联键、是否为四类数据集加工的必需输入、问题的业务后果大小。
表 2-1 数据质量需求清单字段结构
| 字段 | 说明 |
|---|---|
| 需求标识 | 全局唯一编号 |
| 业务域 | 九个业务域之一 |
| 数据对象 | 系统、表或业务实体 |
| 数据元标识 | 对应的数据元,引用数据元标准 |
| 质量维度 | 完整性/准确性/一致性/唯一性/及时性/有效性 |
| 质量诉求 | 一句话写明「该字段须达到什么状态」 |
| 诉求来源 | 场景倒推/现状扫描/数据集错样归因/业务提报 |
| 现状实测 | 首次扫描的实测值与扫描日期 |
| 目标值与达成期 | 分期目标,按季度设定 |
| 业务后果 | 不达标时的具体影响 |
| 优先级 | 高/中/低,按三条判据判定 |
| 关联规则 | 由该诉求派生的校验规则标识 |
| 责任部门 | 数据录入或接口提供的责任方 |
清单中「现状实测」与「目标值」两列是后续质量评分的基线来源。目标值按两类分别确定并在清单中分列标注。招标文件已明定的指标按招标要求承诺,直接写入目标值列并纳入验收,不因基线尚未实测而下调、延后或改为区间;首轮扫描的实测值对这一类只用于安排补齐路径,不用于调整目标。招标文件未规定的过程优化目标,由现状调查与首轮基线测试确定分期值,确定后写入项目质量计划,按季考核并在月度例会通报达成情况。两类目标共用同一套评分口径与同一本整改台账,区别只在目标值的来源与可否调整。
招标文件明确遵循完整性、准确性、一致性、唯一性、及时性、有效性六大维度。六个维度是通用的,但判定方法必须落到本项目的具体对象上才可执行。表 2-2 给出各维度的判定方法与本项目实例。
表 2-2 六大质量维度的判定方法与本项目实例
| 维度 | 判定方法 | 本项目实例 |
|---|---|---|
| 完整性 | 必填字段非空率;记录级与关联级的齐备性 | 工单的工序代码、设备编码、报工时间三项必须齐备;热处理炉次必须有装炉工件清单;焊接参数流必须能对应到焊道标识 |
| 准确性 | 与权威源比对;与物理约束比对;与业务规则比对 | 展开长与按中性层公式计算值的偏差;实测温度不超过炉膛额定上限;物料价格与采购订单价一致 |
| 一致性 | 跨系统同一事实的取值比对;同一记录内字段间逻辑自洽 | 物料库存在企业资源计划、仓储管理、实物盘点三方的数量一致;工单完工时间不早于开工时间 |
| 唯一性 | 业务唯一键去重;近似重复识别 | 施工号唯一;同一图号同一版本的工艺卡片不应有两条有效记录;物料编码不得一物多码 |
| 及时性 | 数据产生到可用的时延;更新频率符合约定 | 报工数据在班次结束后约定时限内到达;设备时序数据按秒级采样不缺段;检验记录在交检后约定时限内录入 |
| 有效性 | 格式符合、值域符合、引用完整 | 材质牌号在钢材牌号码表内;缺陷类型在缺陷类型码表内;供应商编码在供应商主数据中存在 |
「准确性」一列中「与物理约束比对」这一条对本项目的设备与工艺数据特别有效,但物理约束不写成普适断言,而是按工艺阶段、测点位置、仪表量程与有效运行状态分别给出合理上下限,并为冷却、停机、检修与环境变化这类合法状态设定适用条件,否则正常工况会被大量误判。
以热处理炉温为例。规则只在该炉次处于加热段或保温段、且该测点在测点台账中标记为有效时启用;上限取该炉型的额定炉温并计入仪表允差,下限取该工艺阶段的工艺下限,两端均不超出仪表量程。炉次处于冷却段、停机状态,或测点标记为检修、失效、未接入时,规则不启用,改由分布与连续性检查判别该测点是否断链、卡死或漂移。读数低于环境温度时不直接判为数据错误,先比对同炉次相邻测点与同时段的环境温度记录:三者同向变化的按环境变化处理并记为正常,仅该测点偏离的才判为测点故障,标记可信度下降并进入测点整改清单。
链条安全系数、装炉量、焊接电流三类规则按同一办法设限。安全系数的下限取设计校核的许用值,上限取校核模型的适用范围;装炉量的上限取该炉型的额定装载量,下限按该炉次的最小经济装载量设定并允许试制炉次例外;焊接电流的上下限取该焊接工艺规程规定的参数窗口与设备输出能力的交集,引弧与收弧时段按瞬态窗口单独设限。三类规则均只在工艺执行记录标记为正常作业的时段内启用,试制、调试、空载与停机时段不参与判定。这类规则不依赖外部权威源,只依赖已登记的设备参数与工艺规程,编写成本低而捕获的错误往往是录入或采集通道的硬故障。规则所引的参照参数(额定值、量程、工艺窗口、许用值)作为规则元数据登记,与设备台账、工艺规程的版本绑定;参照参数或其版本变更时,引用它的规则自动进入复核队列,复核通过后随新版本生效,复核未完成期间按原版本继续运行并标注待复核。
规则库按十类规则模板组织。模板化的作用是让规则编写不依赖编程能力:数据质量管理员选模板、填参数即可生成规则,复杂逻辑才写表达式。
表 2-3 校验规则十类模板
| 模板类型 | 参数 | 对应维度 | 典型用途 |
|---|---|---|---|
| 空值检查 | 对象、字段、允许空值条件 | 完整性 | 必填字段非空 |
| 值域检查 | 对象、字段、码表标识或数值上下限 | 有效性 | 材质牌号、缺陷类型在码表内 |
| 格式检查 | 对象、字段、正则或日期格式 | 有效性 | 图号格式、日期格式 |
| 唯一性检查 | 对象、唯一键字段组合 | 唯一性 | 施工号、物料编码 |
| 引用完整性检查 | 对象、外键字段、被引对象与键 | 有效性 | 工单引用的设备编码在设备主数据中存在 |
| 跨系统比对 | 两侧对象、关联键、比对字段、容差 | 一致性 | 三方库存数量比对,容差按计量精度设定 |
| 逻辑自洽检查 | 对象、字段间约束表达式 | 一致性 | 完工时间不早于开工时间 |
| 物理约束检查 | 对象、字段、约束表达式、参照参数、适用工艺阶段与有效状态条件 | 准确性 | 加热段与保温段的炉温在额定上限与工艺下限之间;装炉量不超过炉膛额定装载量 |
| 时效检查 | 对象、时间字段、约定时限 | 及时性 | 报工在班次结束后约定时限内到达 |
| 分布与连续性检查 | 对象、字段、基线分布或采样周期 | 准确性、及时性 | 时序数据缺段识别、取值分布突变识别 |
最后一类规则对设备时序数据不可缺。测点断链、漂移与失效在固定阈值下不会报警,但在分布与连续性检查下可以识别:采样间隔突然变长说明断链,取值长期恒定不变说明可能卡死,均值缓慢单向偏移说明可能漂移。识别结果不直接判为设备故障,而是标记为测点可信度下降,供设备健康诊断类样本的构造使用。
表 2-4 校验规则元数据结构
| 字段 | 说明 |
|---|---|
| 规则标识 | 全局唯一编号 |
| 规则名称 | 一句话说明检查什么 |
| 规则模板 | 十类模板之一;自定义规则标为表达式型 |
| 质量维度 | 六维度之一 |
| 检查对象 | 系统、表、字段或接口 |
| 关联数据元 | 引用数据元标准 |
| 规则参数或表达式 | 模板参数值或 SQL/表达式 |
| 阈值 | 通过门限,例如非空率不低于某值 |
| 严重级 | 阻断/告警/提示 |
| 触发方式 | 入口校验/周期稽核/按需稽核 |
| 执行频率 | 实时/T+1/周/月 |
| 责任部门 | 问题分派的默认责任方 |
| 来源 | 标准派生/需求清单/错样归因/业务提报 |
| 启用状态 | 启用/停用/观察期 |
| 版本 | 规则版本与变更记录 |
严重级的三档区分很重要,它决定了规则对业务的影响程度。阻断级规则不通过则数据不进入加工链路,适用于关联键缺失、唯一性冲突一类会导致下游错误的问题。告警级规则不通过则数据带标记进入,适用于非关键字段缺失、取值分布异常一类问题。提示级规则仅记录,用于观察期的新规则。
新规则一律先进观察期。观察期内规则按提示级运行两到四周,统计其触发量与误报率,误报率高的规则回炉修改。这个安排的理由是:规则直接上阻断级会造成大量任务失败,运维成本高且会削弱业务部门对治理工作的配合意愿。
规则库的规模同时决定三件事:规则编制的工作量与排期、稽核任务的调度容量与执行窗口、数据质量管理岗的人力配置。因此在规则模板与元数据结构确定之后,先给出一份可据以排期的规模估算。
估算方法是自下而上折算,不取经验总数。以各业务域已识别的数据元条数为底,按六个维度对该域字段的适用比例逐项折算:完整性与有效性几乎对每个字段都适用,故两列数值最高;唯一性只对业务主键与编码类字段适用,及时性只对有时限约定的对象适用,故两列数值最低;一致性取决于该域有多少同一事实被两个以上系统并行记录。跨系统比对与物理约束两类规则不由单字段派生,按已识别的跨系统关联点与设备工艺参数条目单独计入。
表 2-5 的行给出各业务域的编制工作量与责任分摊,列给出该域的治理重点落在哪个维度,末行合计是首批建设的排期依据。表中数值为规划阶段的估算值,现状评估完成、数据元清单核定后按实际条数修订。
表 2-5 校验规则库首批规模估算
| 业务域 | 完整性 | 准确性 | 一致性 | 唯一性 | 及时性 | 有效性 | 小计 |
|---|---|---|---|---|---|---|---|
| 研发设计 | 42 | 26 | 18 | 10 | 6 | 38 | 140 |
| 生产制造 | 76 | 52 | 40 | 16 | 22 | 64 | 270 |
| 质量管理 | 50 | 34 | 26 | 12 | 14 | 46 | 182 |
| 仓储物流 | 30 | 18 | 24 | 10 | 10 | 26 | 118 |
| 采购管理 | 26 | 16 | 14 | 8 | 6 | 22 | 92 |
| 设备管理 | 36 | 30 | 16 | 8 | 20 | 30 | 140 |
| 营销管理 | 22 | 12 | 10 | 6 | 4 | 18 | 72 |
| 财务管理 | 24 | 18 | 16 | 6 | 6 | 20 | 90 |
| 人力资源 | 16 | 8 | 8 | 4 | 2 | 14 | 52 |
| 合计 | 322 | 214 | 172 | 80 | 90 | 278 | 1156 |
规则数量与数据元数量大体成一比一的量级关系:约 1370 条数据元派生出约 1156 条规则,再加上跨系统比对与物理约束一类不由单字段派生的规则。生产制造域规则最多,因为该域字段最多、时序数据与跨系统关联最密集。
招标文件要求基于规则库开展数据质量稽核、调度执行多源数据校验、快速定位质量异常数据。本项目的稽核按三种方式触发。
入口校验在数据汇聚与加工任务读入数据时同步执行,针对的是单条记录可判定的规则——空值、格式、值域、引用完整性。入口校验的优点是问题在进入加工链路前就被拦住,缺点是只能做记录级判断,跨系统比对与分布检查做不了。
周期稽核按调度计划批量执行,针对的是需要全量或大范围数据才能判定的规则——唯一性、跨系统比对、分布与连续性、及时性。周期稽核的频率按数据更新节奏设定:工单与报工类 T+1,库存三方比对每周,主数据一致性每月,设备时序连续性按日。
按需稽核由数据质量管理员或数据集加工人员手工发起,针对特定对象做专项检查。典型场合是数据集加工前对本批次取数范围做一次定向稽核,以及质量问题整改后的复核。
图 2-2 质量稽核的三种触发方式与异常定位链路。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(2)项数据质量检查要求。
多源校验是本项目质量检查中技术含量最高、业务价值也最直接的部分。它要解决的是跨系统追一件事需要人工对账的现状。
多源校验的前提是关联键贯通。没有稳定的关联键,两个系统的数据无法自动比对。本项目的关联键按业务对象确定:施工号关联项目与工单,图号与版本关联设计与工艺,物料编码与批次关联库存与采购,工单号与工序代码关联制造与质检,设备编码与测点标识关联设备与时序数据,炉次号关联热处理与检验结果。关联键的贯通工作与主数据标准建设同步进行。
首批多源校验的对口关系见表 2-6。每一组对比都对应一个甲方现在要靠人工对账的场合。
表 2-6 首批多源数据校验对口关系
| 校验项 | 参与数据源 | 关联键 | 比对内容 | 容差口径 | 执行频率 |
|---|---|---|---|---|---|
| 库存三方比对 | 企业资源计划、仓储管理、实物盘点 | 物料编码+库位+批次 | 库存数量 | 按计量精度,整件物料零容差 | 每周 |
| 图纸与工艺卡配对 | 产品全生命周期管理、制造执行 | 图号+版本 | 是否存在有效工艺卡片 | 零容差,缺失即记问题 | 每月 |
| 工单与报工闭合 | 制造执行、工时定额 | 工单号+工序代码 | 工序是否全部报工、工时与定额偏差 | 偏差率超约定上限记问题 | T+1 |
| 检验结论与工艺标注 | 质量管理、产品全生命周期管理 | 图号+重要尺寸标识 | 工艺标注的重要尺寸是否均有检验记录 | 零容差 | 每周 |
| 炉次与检验结果配对 | 热处理群控、质量管理 | 炉次号+工件标识 | 炉次是否有对应检验结论 | 零容差 | T+1 |
| 焊接参数与焊道配对 | 物联网与设备数据平台、制造执行 | 工件标识+焊道标识 | 参数流是否能对应到焊道 | 按时间窗对齐,未匹配记问题 | T+1 |
| 材料批次来源追溯 | 采购管理、仓储管理、热处理群控 | 批次号 | 批次是否可追到供应商与到货单 | 零容差 | 每周 |
| 设备测点连续性 | 物联网与设备数据平台、装备远程运维平台 | 设备编码+测点标识 | 采样缺段、恒值、单向漂移 | 按测点类型分别设定 | 每日 |
| 价格一致性 | 企业资源计划、财务 | 物料编码+期间 | 物料价格 | 零容差 | 每月 |
| 服务工单与报警配对 | 售后服务与备件管理、装备远程运维平台 | 设备编码+时间窗 | 维修事实是否回填到报警事件 | 按时间窗匹配 | 每周 |
表中「焊接参数与焊道配对」与「服务工单与报警配对」两项,当前甲方尚不具备可配对的数据条件——焊接参数流与工件、焊道无对应,故障记录与数据段无配对。这两项校验在首期的作用不是发现偶发错误,而是度量配对覆盖率本身,作为相关数据集可构造样本量的前置判断依据。
招标文件要求快速定位质量异常数据。定位分两个方向。
向下定位到记录。异常明细台账记录规则标识、检查对象、问题记录的业务主键、实测值与期望值。业务人员按主键可直接在源系统中找到该条记录,不需要由技术人员再查一遍。这一点决定了整改能否由业务部门自行完成。
向上定位到源头。沿元数据血缘回溯,判断问题是源系统录入产生的、接口传输产生的,还是加工逻辑产生的。回溯依据是加工链路上每个节点的输入输出校验结果:若某节点输入已有问题,责任在上游;若输入正常而输出有问题,责任在该节点的加工逻辑。元数据血缘的建设在「数据治理一」一节的元数据管理办法中规定,本节使用其成果。
招标文件要求制定数据质量评估方案,明确质量指标、质量评分与评估分析方法。本项目的评估方案按三层设计:规则级通过率、对象级质量分、域级质量分。
规则级通过率是最底层的实测值,等于通过检查的记录数占被检查记录数的比例。对数据集合级规则(如跨系统比对),通过率按比对项计。
对象级质量分按六个维度加权汇总。某数据对象在某维度上的得分,等于该对象该维度下所有规则通过率按规则严重级加权的平均值;对象总分等于六个维度得分按维度权重加权之和。维度权重按业务域设定而非全局统一,理由是不同域的质量短板不同:设备管理域的及时性与准确性权重应高于唯一性,财务管理域的一致性与准确性权重应高于及时性。
表 2-7 质量维度权重设置(示例,实际权重经甲方数据治理管理层核定)
| 业务域 | 完整性 | 准确性 | 一致性 | 唯一性 | 及时性 | 有效性 |
|---|---|---|---|---|---|---|
| 研发设计 | 0.25 | 0.20 | 0.15 | 0.15 | 0.05 | 0.20 |
| 生产制造 | 0.22 | 0.20 | 0.18 | 0.08 | 0.17 | 0.15 |
| 质量管理 | 0.22 | 0.25 | 0.18 | 0.08 | 0.12 | 0.15 |
| 仓储物流 | 0.20 | 0.15 | 0.28 | 0.12 | 0.10 | 0.15 |
| 采购管理 | 0.20 | 0.20 | 0.20 | 0.12 | 0.08 | 0.20 |
| 设备管理 | 0.18 | 0.25 | 0.12 | 0.05 | 0.25 | 0.15 |
| 营销管理 | 0.25 | 0.18 | 0.17 | 0.12 | 0.08 | 0.20 |
| 财务管理 | 0.20 | 0.25 | 0.25 | 0.10 | 0.05 | 0.15 |
| 人力资源 | 0.28 | 0.17 | 0.15 | 0.15 | 0.05 | 0.20 |
域级质量分按该域各数据对象的分数加权,权重取对象的业务重要度。全公司质量分按九个域加权,权重按域对数据集建设的贡献度设定。
评分结果按五档评级:优(90 分及以上)、良(80 至 90)、中(70 至 80)、需改进(60 至 70)、差(60 以下)。评级的用途不是打分排名,而是决定管控动作:需改进与差两档的数据对象,其涉及的数据集加工任务须附置信标记,且该对象进入下一季度的整改重点清单。
评分只说明「有多差」,分析要回答「为什么差」和「先修哪个」。本项目用四种分析方法。
构成分析把质量问题按维度、按业务域、按源系统、按责任部门分解,找出问题集中的位置。实践中问题往往高度集中:少数几个字段贡献大部分问题量。
趋势分析按月对比质量分与问题量,区分三种情形:治理起效后的持续下降、整改后的反弹、因新增数据对象纳管带来的分数下降。第三种情形容易被误判为治理退步,须在月报中单独说明纳管范围变化。
根因分析对问题量靠前的规则做逐条归因,归因分类见表 2-8。归因结论决定治理动作,这是质量分析与质量提升之间的接口。
表 2-8 质量问题根因分类与对应治理动作
| 根因分类 | 典型表现 | 治理动作 |
|---|---|---|
| 录入不规范 | 必填字段留空、自由文本代替码值 | 界面必填校验、下拉替代文本、填写指引与培训 |
| 流程缺环 | 业务动作发生但系统中无记录 | 补流程节点、把线下动作纳入系统 |
| 接口缺陷 | 传输截断、编码转换错误、增量漏取 | 接口改造、增量水位线校正、补数机制 |
| 标准缺失 | 同一事实多口径并存 | 补数据元或指标标准、建立映射 |
| 规则不当 | 规则本身误判,误报率高 | 规则回炉修改或降级 |
| 源头不可得 | 数据在业务上确实未产生或未采集 | 评估采集可行性;不可得的纳入已知缺口清单 |
| 历史遗留 | 历史数据不符合现行标准 | 分批清洗或仅做映射标记,不强求回改 |
最后两类不能靠整改解决,必须作为已知缺口登记在册。把不可得的数据算进整改任务,会让整改率这个指标永远不达标,并在后续评审中掩盖真正能解决的问题。
招标文件要求建立常态化质量监控评估工作机制。本项目的机制按日、月、季三个节奏运行。
日节奏是监控。稽核任务按调度执行,异常量与质量分在质量看板上实时更新,阻断级问题即时推送至责任部门。看板的最小粒度到数据对象与规则。
月节奏是分析与通报。出《数据质量分析报告》,内容包括质量分与问题量的构成、趋势、根因归因、整改进展、已知缺口变化。报告在数据治理月度例会上通报,会上确定下月重点整改清单。
季节奏是评估与调整。做一次完整的质量评估,输出域级与全公司质量分,复核维度权重与规则严重级设置是否仍然合理,复核质量需求清单的目标值与达成期。季度评估结论进入数据战略评估机制,相关安排在「数据治理一」一节论述。
质量目标的设定方式是:首轮全量扫描完成后确定基线,此后按季度设定提升目标,目标值以「相对基线的问题量下降幅度」表述而非绝对达标率。这样做的理由是不同对象的起点差别很大,统一的绝对达标率对起点差的对象不可达、对起点好的对象无约束力。全公司质量分的长期目标是逐步接近良级并保持,达不到期段目标时的处置是在月度例会列明缺口、调整整改资源投入,而非调低规则门限。
招标文件要求设计数据质量问题闭环处置流程,明确上报、分派、整改、复核、归档的管理要求。
稽核一旦常态运行,问题单便持续产生,治理成效取决于这些问题单能否逐条收口,而不取决于发现了多少条。闭环的设计因此有两个着力点:一是五个环节各有唯一的责任角色与完成标志,避免问题单停在无人认领的中间状态;二是为两类注定无法按常规整改的问题预留出口,否则它们会在分派与退回之间反复循环,既占用处置资源,又使关闭率失真。
图 2-3 的横向主链是常规路径——上报、分派、整改、复核、归档,复核不通过的退回整改,构成一次闭合。两个浅色方框是分流路径,其判定发生在整改环节的根因归类之后:根因为规则本身不当的,退回规则库修改或降级,不计为数据问题,以免规则误报推高问题基数;根因为源头不可得或历史遗留的,转入已知缺口清单按季复评。底部一行是闭环的沉淀去向,处置结论回写校验规则、质量需求目标值与维度权重,使同类问题再次发生的概率下降。
该流程支撑的是质量提升的可验证性:任一问题单在整改台账中均可查到责任部门、处置结论与关闭依据,复发的问题单可按根因追溯到上一次处置的不足之处。
图 2-3 质量问题五环闭环处置流程与两条分流路径。数据来源:招标文件第五章 3.2.6.1.1.2.6 第(4)项数据质量提升要求。
闭环流程要能运行,每一环还需两件东西:交付什么才算做完,以及多久之内要做完。缺前者,问题单会以已处理的状态关闭而无从复核;缺后者,告警级问题会被无限期顺延。
必填内容按「下一环需要什么」反推确定,取最小字段集而不求详尽:分派环节要用到上报环节记录的规则标识与严重级,复核环节要用到整改环节记录的涉及记录数与是否需要系统改造,归档环节要用到复核结论。字段每多一项即增加一次人工录入,故凡能由稽核结果自动带出的,不再要求人工填写。时限按严重级分档而非一刀切:阻断级问题直接拦住数据进入加工链路,其时限按数据集加工的排产节奏倒推;告警级问题不阻断流转,纳入月度清单统一排期,以免高频的轻微问题挤占处置资源。
表 2-9 中「必填内容」一列是各环节的完成判据,「时限要求」一列是处置及时率的统计口径,两列共同构成质量问题处置的考核依据。
表 2-9 质量问题处置各环节管理要求
| 环节 | 责任角色 | 必填内容 | 时限要求 |
|---|---|---|---|
| 上报 | 稽核任务自动生成;业务人员手工提报 | 规则标识、检查对象、问题记录主键、实测值、期望值、严重级 | 自动生成即时;手工提报随时 |
| 分派 | 数据质量管理员 | 责任部门、责任人、要求完成时间 | 阻断级 1 个工作日内;告警级 3 个工作日内 |
| 整改 | 责任部门 | 根因分类、整改措施、涉及记录数、是否需要系统改造 | 阻断级 5 个工作日内;告警级按月度清单排期 |
| 复核 | 数据质量管理员 | 复跑规则结果、是否通过、未通过原因 | 整改完成后 2 个工作日内 |
| 归档 | 数据质量管理员 | 关闭原因、台账编号、是否派生规则修订 | 复核通过后即时 |
时限要求的设定考虑了业务部门的实际承受能力。阻断级问题的整改时限定为 5 个工作日,是因为这类问题多为关联键缺失或唯一性冲突,通常由业务部门补录或更正即可完成,不需要系统改造。需要系统改造的问题单独标记,整改时限按改造排期另定,不占用常规时限统计。
整改台账是招标文件要求的输出之一,也是质量治理成效的主要证据。台账按问题单逐条记录,字段包括问题单号、发现日期、规则标识、业务域、数据对象、严重级、根因分类、责任部门、整改措施、涉及记录数、整改完成日期、复核结论、关闭日期、派生的规则或标准修订。
台账的统计口径须说清三件事,否则数字容易被误读。第一,问题单数与问题记录数是两个量,一个问题单可能涉及上万条记录。第二,关闭率的分母应剔除转入已知缺口清单的问题单。第三,重复出现的问题单须标记为复发,复发率比关闭率更能说明整改是否触及根因。
数据集质检与场景验证产生的错样,是业务数据质量问题的一个重要发现渠道。错样归因的结论若指向源数据问题,则按本节流程生成质量问题单,责任部门为源系统业务归口部门;若指向加工逻辑问题,则在数据集加工环节处置,不进本台账。
两边的界线以「问题是否存在于源数据中」划定。一条样本的标签错了,若源系统的检验结论本身就是错的,这是业务数据质量问题;若源系统结论正确而加工环节映射错了,这是加工质量问题。数据集质检的指标体系、质检方法与错样归因机制,在「数据加工生产二」与「数据集质量评测方案」两节论述。
质量治理的五个环节各有其管理对象,表 2-10 按对象逐项给出字段字典、规则实例、审批、平台配置、异常处置与版本变化。
表 2-10 数据质量域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 质量需求条目 | 需求标识、业务域、数据对象、质量维度、具体诉求、现状实测值与扫描日期、目标类别、目标值与达成期、业务后果、优先级、关联规则、责任部门 | 目标类别须标注为招标明定或过程优化;过程优化类的目标值不得早于基线实测日期填写 | 业务域归口部门提报,数据质量管理员汇总,数据治理管理层核定优先级与目标值 | 需求清单与规则库双向关联,一条需求可派生多条规则,规则执行结果回写需求的当期达成值 | 诉求无法量化的转为观察项,先建规则取基线、不设目标,连续两个季度有基线后再定目标 | 目标值调整升次版本并记录调整理由;招标明定类目标不随版本调整 |
| 校验规则 | 规则标识、名称、所属维度、规则类型模板、检查对象与字段、参数与阈值、参照参数、适用条件、严重级、执行频率、责任部门、启用状态 | 阻断级规则须写明放行例外的申请方式;物理约束类规则须写明适用工艺阶段与有效状态条件 | 业务人员提报规则需求并参与阈值设定,数据质量管理员审核入库,阻断级规则另经数据治理管理层确认 | 模板化配置,选模板填参数即可生成规则,复杂逻辑才写表达式;规则按对象挂载,随对象纳管自动继承 | 误报率超出约定水平的规则转入观察态,阈值复核后重新启用;连续两期零命中的规则进入复核队列 | 阈值调整升次版本并保留历史阈值与对应期的命中数据;规则逻辑变更升主版本,旧版本结果不追溯重判 |
| 稽核任务 | 任务标识、规则集合、调度周期、检查范围与分区、执行人或调度账号、超时阈值、结果留存期 | 稽核任务与加工任务解耦,稽核失败不直接中断加工,由入口校验按严重级决定是否阻断 | 数据质量管理员配置并启用,涉及生产库直连的另经安全管理岗审批 | 独立调度,按业务域分队列;大表按分区增量稽核,避免全表扫描挤占源系统资源 | 稽核任务失败按三次重试,仍失败的生成运维工单并在看板标注该对象本期无评分,不以上期分数顶替 | 调度周期或范围变更升次版本;规则集合变更随规则版本联动,评分曲线在版本切换处标注断点 |
| 质量评分 | 对象标识、统计期、规则级通过率、对象级质量分、域级质量分、维度权重版本、评级、同比与环比 | 评分口径一经发布当期不得变更;维度权重调整只能从下一统计期生效 | 评分口径与权重由数据治理管理层核定,数据质量管理员执行 | 看板按业务域、数据对象、规则三个视角呈现,三视角共用同一套底层数据 | 本期无有效稽核结果的对象标注为无评分,不计入域级平均,避免拉高或拉低整体分 | 权重或评分公式变更升主版本,并同时给出新旧口径的对照期数据,供趋势判读 |
| 质量问题工单 | 问题单号、发现日期、规则标识、检查对象、问题记录主键、实测值与期望值、严重级、根因分类、责任部门与责任人、整改措施、涉及记录数、整改完成日期、复核结论、关闭日期、派生修订项 | 阻断级一个工作日内分派、五个工作日内整改;需系统改造的单独标记并按改造排期另定时限 | 自动生成或业务提报,数据质量管理员分派,责任部门整改,数据质量管理员复核归档 | 工单与规则、对象、台账三方关联;复核触发规则复跑,复跑未通过的自动退回整改并记录轮次 | 整改确无条件完成的转入已知缺口清单,列明原因、影响范围与再评估时点,从关闭率分母中剔除 | 整改措施变更以追加记录的方式留存,不覆盖原记录;复发问题单标注关联原单号并计入复发率 |
五类对象的记录共同构成数据管理能力成熟度评审中「质量管理」能力域的执行证据。证据的价值在于连续,因此上述各表的历史记录一律只追加不覆盖,版本切换处标注断点而非重写历史。
表 2-11 数据质量规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据质量管理办法 | 组织与职责、六维度模型、规则管理、稽核管理、评分与评级、问题闭环、考核与通报 | 经甲方数据治理管理层评审通过并发布 |
| 数据质量需求清单 | 九业务域核心数据的质量诉求、现状实测、分期目标 | 每条诉求有实测基线与责任部门;招标明定指标按原值承诺并验收,过程优化目标按基线测试定分期值 |
| 数据质量校验规则库 | 十类模板、首批约 1156 条规则及元数据 | 规则可执行、误报率在观察期后收敛至约定水平以下 |
| 质量分析报告 | 按月出具,含构成、趋势、根因、整改进展、已知缺口 | 月度例会通报并形成下月整改清单 |
| 质量问题整改台账 | 问题单全生命周期记录与统计 | 关闭率与复发率分别统计,已知缺口单列 |
五份交付物的责任分工是固定的:管理办法与需求清单由项目组起草、归口部门核定、数据治理管理层批准发布;规则库由数据质量管理员维护并对规则的可执行性负责;分析报告与整改台账由数据质量管理员按期出具,责任部门对本域整改结果负责。验收时逐份核对发布文件、规则运行记录、月度报告与台账统计四类证据,缺证据的文档不计入已交付。
本章与技术方案「安全方案」一节的分工如下:本章交付管理侧的规划成果——分类分级标准、合规管理制度、安全管理办法、权限管理规范,并提出防护与审计的管控要求;国密算法应用、等保 2.0 测评、信创适配、脱敏与去标识的技术实现、密码产品配置与第三方测评安排,在「安全方案」一节论述。两章的分级口径为同一套,本章定义的 L1 至 L5 分级标签是「安全方案」中技术管控策略的输入。
数据合规管理的依据分三层。第一层是法律法规,包括数据安全法、个人信息保护法以及工业和信息化领域数据安全管理的相关规定。第二层是国家标准,包括个人信息安全规范、数据分类分级的通用要求、网络安全等级保护的基本要求。第三层是甲方现行的保密与信息安全制度。
本项目的做法是把第三层作为起点而非终点:先梳理甲方现行制度与前两层要求的差距,形成差距清单,再在差距清单基础上编制《数据合规管理制度》,而不是另起一套与现行制度并行的体系。制度并行会导致执行时无人知道该依哪一套。
招标文件明确按 L1-公开、L2-内部、L3-重要、L4-敏感、L5-机密五个层级制定数据安全分级标准。表 3-1 给出各级的判定依据与本项目的具体实例。实例是分级标准能否执行的关键:只给级别定义不给实例,分级工作一定做不下去。
表 3-1 数据安全五级分级标准与本项目实例
| 级别 | 判定依据 | 本项目实例 | 泄露或滥用的后果 |
|---|---|---|---|
| L1-公开 | 已对外发布或可对外发布,泄露不产生影响 | 产品样本参数、企业标准中已公开部分、对外宣传资料 | 无实质影响 |
| L2-内部 | 仅限内部使用,泄露影响有限 | 工序代码表、设备台账、班组排班、一般检验记录、通用耗材库存 | 内部管理秩序受影响 |
| L3-重要 | 关系生产经营与行业运行,泄露影响较大 | 产品图纸与物料清单、工艺卡片与工艺参数、设备过程参数、产能与工时定额、质量缺陷统计 | 技术与经营优势受损,可能影响行业数据安全 |
| L4-敏感 | 含个人信息、客户敏感信息或敏感地理信息 | 人员身份与薪酬信息、矿方客户联系人信息、矿井位置与工作面地质条件参数 | 侵害个人权益或客户利益,可能触及地理信息安全 |
| L5-机密 | 核心技术秘密与重大商业秘密,泄露后果严重 | 选型校核公式与修订参数、关键工艺的核心参数窗口、重大项目报价与成本构成、合同关键条款 | 核心竞争力受损,可能造成重大经济损失 |
矿井位置与工作面地质条件参数定为 L4,理由是这类信息属于敏感地理信息范畴,且涉及矿方客户的生产安全信息。这一点对本项目有实际约束:选型类数据集的样本携带工作面工况参数,加工与流通时须按 L4 要求做去标识处理,具体技术手段在「安全方案」一节论述。
选型校核公式与关键工艺核心参数窗口定为 L5。这两类是甲方的核心技术秘密,也是数据集中价值最高的部分。L5 数据进入数据集加工链路须单独审批,加工环境与人员范围单独限定,加工产物的流通范围在数据卡中明确声明。
分类按「业务域+数据主题」二维组织。九个业务域为第一维,每个域下按数据主题细分,例如生产制造域下分工单与报工、工艺执行、热处理炉次、焊接过程、设备运行五个主题。分类的粒度到数据主题,分级的粒度到数据元。
分级作业按识别、定级、审批、标记、复核五步执行。
图 3-1 数据分类分级作业流程与两类定级输入。数据来源:招标文件第五章 3.2.6.1.1.2.7 第(1)项数据合规管理要求。
「聚合后敏感度升级」这条裁决规则在本项目中会反复用到。单条工艺卡片是 L3,但某一产品全部工序的工艺卡片聚合在一起,其技术秘密含量接近 L5;单个测点的温度读数是 L2,但某炉型全部炉次的完整温度曲线集合反映的是关键工艺参数窗口。因此数据集的级别不等于其成分数据元级别的最大值,须按聚合后的实际敏感度单独定级,定级结论记录在数据集的数据卡中。数据卡的结构在「四大数据集规模与数据卡」一节与附录佐证卷论述。
重要数据的识别按「泄露后是否可能影响行业运行与生产安全」判定。本项目识别的重要数据候选范围包括:矿用刮板输送机的关键结构参数与选型校核方法、关键工艺参数窗口、重大项目的产能与交付能力数据、矿方工作面地质条件参数。候选范围提交甲方确认并按相关管理要求履行必要的报备程序,报备的具体口径以甲方主管部门意见为准。
敏感数据的识别覆盖四类:个人信息、敏感地理信息、重要行业数据、企业秘密数据,这与招标文件在安全合规要求中提出的去标识化与脱敏处理范围一致。识别手段分规则与人工两步:先按字段名敏感词表与取值格式特征(证件号、手机号、坐标、银行账号)做机器预判,再由业务部门确认。预判的召回率目标是尽可能高,宁可多报由人工剔除,也不漏报;漏报的后果比误报严重得多。
招标文件要求构建多维度安全控制能力,涵盖权限管控、敏感数据脱敏、数据水印、访问审批等防护手段。本节提出各手段的管理要求与分级对应关系,技术实现见「安全方案」一节。
权限模型按角色与属性结合设计。角色定义岗位的基本权限集合,属性在角色之上做动态约束。属性包括数据级别、业务域、项目范围、时间范围、访问环境。这样设计的原因是单纯的角色模型在本项目中粒度不够:同一个工艺工程师角色,对本人负责产品的工艺卡片应可读写,对其他产品线的工艺卡片只应可读或不可见,纯角色模型要为此建大量角色。
权限授予遵循最小必要原则,具体落实为三条规则。权限申请须声明用途与期限,无期限的长期权限仅限岗位固有权限。L4 与 L5 数据的权限逐事项审批,不随角色自动获得。权限按季度复核,复核时核对实际使用情况,连续一个季度未使用的非固有权限自动进入待回收清单。
分级若只落在标签上,而访问、导出、接口、加工环境的实际做法并无差别,分级就只是一次文档作业。表 3-2 把五个级别与各类管控措施对应起来,要回答的是:同一份数据定为 L3 还是 L4,在各类管控措施上究竟差在哪里。这张矩阵是《数据权限管理规范》的核心内容,也是技术侧下发策略的依据。
九类措施对应数据被使用的九个出口——授权、展示、导出、接口、加工环境、脱敏、水印、审计、留存,出口覆盖不全,级别就会从未覆盖处漏出去。各级强度有三个取值来源:涉及个人信息与敏感地理信息的,按数据安全法、个人信息保护法与矿方合同的保密约定取法定下限;涉及甲方工艺秘密与商业秘密的,沿用招标方现行保密制度的既有做法;其余按本项目数据加工的实际操作成本校准,避免管控强度高到业务无法执行。
横向一行是某一级别的完整管控包,可作为该级别的策略模板直接下发;纵向一列是同一类措施在五个级别之间的强度梯度,用于核查梯度是否单调、有无级别倒挂。L3 与 L4 之间是全表最关键的一道分界——授权由角色授予转为逐事项审批、展示由明文转为脱敏、导出件开始强制带水印,本项目多数工艺与质量数据落在这一分界附近。矩阵支撑的承诺是:管控强度随级别逐级提高且可逐条核对,管理侧的审批要求与技术侧的策略配置出自同一张表。
表 3-2 数据级别与管控措施对应矩阵
| 管控措施 | L1-公开 | L2-内部 | L3-重要 | L4-敏感 | L5-机密 |
|---|---|---|---|---|---|
| 访问授权方式 | 无需授权 | 角色授予 | 角色授予+业务域限定 | 逐事项审批 | 逐事项审批+归口部门负责人复批 |
| 查询展示 | 明文 | 明文 | 明文 | 关键字段脱敏展示 | 脱敏展示,原文需二次授权 |
| 批量导出 | 允许 | 按量阈值告警 | 审批后允许,记录导出清单 | 审批后允许,导出件带水印 | 原则上不导出,特殊情形逐事项审批 |
| 接口调用 | 开放 | 鉴权后开放 | 鉴权+调用方登记 | 鉴权+调用方登记+频次限制 | 专线或专用通道,单独登记 |
| 加工环境 | 无限制 | 内网 | 内网 | 内网受控区 | 内网受控区,环境与人员单独限定 |
| 脱敏要求 | 无 | 无 | 按用途判定 | 必须去标识或脱敏 | 必须去标识或脱敏 |
| 水印要求 | 无 | 无 | 导出件加可见水印 | 导出件加可见与隐式水印 | 导出件加可见与隐式水印 |
| 审计留痕 | 基本日志 | 基本日志 | 全操作日志 | 全操作日志+定期审计分析 | 全操作日志+专项审计 |
| 留存期限 | 按业务需要 | 按业务需要 | 不少于约定期限 | 按法规与合同约定 | 按法规与合同约定,到期评估 |
脱敏按用途分静态与动态两种。静态脱敏用于数据集加工与对外提供场合,在数据落地时即完成变换,产物不可逆;动态脱敏用于查询展示场合,在返回结果时按访问者权限实时变换,底层数据不变。
脱敏规则按数据类型选择方法:个人身份与联系方式用部分遮蔽或泛化;矿方名称与矿井位置用代号替换并保留可追溯的映射表,映射表单独存放并按 L4 管控;地质条件参数用区间化处理,保留分布特征而去除精确定位能力;价格与成本用比例缩放或区间化,保留可比性而去除绝对值。
脱敏的一个边界须写清:脱敏会损失信息,损失到什么程度仍满足数据集的使用需求,须由场景侧确认。例如地质条件参数区间化后若区间过宽,选型类样本的工况区分度会下降。本项目的处理办法是对每一类脱敏规则记录其信息损失特征,由数据集加工与场景验证侧评估可用性,评估结论记入数据卡。
水印有两个用途,对应两种形态。可见水印用于文档与报表导出件,标注使用者、时间与用途,作用是提示与心理约束。隐式水印用于数据集与批量导出的结构化数据,在不影响使用的前提下嵌入可追溯标记,作用是在发生外泄时判断来源批次。
隐式水印对数据集的流通尤其有意义:本项目的数据集将进入运营与流通环节,一份数据集被授权给多个使用方后,若出现未授权扩散,隐式水印是判断来源的依据。水印的嵌入方式、强度与抗攻击能力在「安全方案」一节论述;本节规定的是管理要求——L3 及以上级别的导出件须带水印,水印与导出审批记录关联,可由水印反查到审批单。
访问审批的管理要求集中在三点。审批要素须完整:申请人、用途、数据范围、字段范围、级别、期限、使用环境、是否允许导出、是否允许二次提供。审批层级按级别设定,与表 3-2 的授权方式一致。审批记录与后续的访问日志关联,使「谁批准了这次访问」与「这次访问实际做了什么」可以对上。
第三点是本项目安排的一个检查机制:按季度抽取审批单,核对其授权范围与实际访问日志的一致性,对超出授权范围的访问追溯原因。抽查比例按级别设定,L4 与 L5 的审批单抽查比例高于 L3。
招标文件要求完整记录数据查询、修改、删除、接口调用等全链路操作日志,操作留痕可追溯。
表 3-3 操作日志要素
| 要素 | 内容 | 说明 |
|---|---|---|
| 操作主体 | 账号标识、所属组织、所属角色、关联自然人标识 | 服务账号须登记实际责任人 |
| 操作时间 | 发起时间、完成时间 | 统一时间基准,与系统时钟同步 |
| 操作类型 | 查询、新增、修改、删除、导出、接口调用、授权变更 | 授权变更本身也须记录 |
| 操作对象 | 系统、对象、字段范围、记录范围或条件 | 批量操作记录影响范围与记录数 |
| 操作内容 | 修改类记录变更前后值;查询类记录查询条件 | 变更前后值按级别决定是否脱敏存储 |
| 访问环境 | 来源地址、终端标识、访问通道 | 用于异常行为判别 |
| 执行结果 | 成功、失败、被拒绝及原因 | 被拒绝的访问尝试同样记录 |
| 关联凭据 | 审批单号、任务标识、会话标识 | 使日志可与审批记录对应 |
覆盖范围包括治理平台与数据集运营平台自身的操作,以及经统一数据服务通道对源系统数据的访问。源系统内部的直接操作日志由源系统自身记录,本项目通过接口采集其可获取部分并在审计分析中合并;源系统日志能力不足的,在诊断报告中列为缺口并提出改造建议。这是一条责任边界:本项目不替源系统补建其内部审计能力。
日志只记不看等于没记。审计分析按三类模型运行:阈值类(单位时间内查询量、导出量、失败次数超出基线)、行为模式类(非常规时段访问、非常规来源访问、首次访问高级别数据、权限变更后立即大量访问)、关联类(审批范围与实际访问范围不符、同一数据被多账号集中访问)。命中的事件生成审计告警,按级别推送至安全管理岗与归口部门。
追溯能力的验收采用抽样核验:从日志中抽取一定数量的高级别数据访问记录,逐条核验能否还原「谁、何时、通过什么通道、对哪些记录、做了什么、依据哪张审批单」。抽样可追溯率的目标是逐步接近全部,首次核验结果作为基线;未能还原的记录逐条分析原因(日志字段缺失、关联凭据未写入、源系统日志不可得),形成日志完善清单。核验不达期段目标时的处置是补齐日志字段与关联凭据,并对相应级别的数据暂时收紧授权方式,这是本指标的回退安排。
日志自身须防篡改与防删除。管理要求是:日志写入后不可修改,删除须经安全管理岗与归口部门双人审批并留下删除记录;日志存储与业务数据存储分离;运维人员对日志存储的权限与对业务数据的权限分离。留存期限按级别与法规要求设定,不少于相关规定的最低期限,具体技术措施见「安全方案」一节。
安全域的管理对象有六类:分级标签、权限策略、脱敏规则、水印策略、访问审批单、审计日志。六类对象的落位要素见表 3-4,表中内容即为《数据安全分级标准》与《数据权限管理规范》的条款来源。
表 3-4 数据安全域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 分级标签 | 对象标识、字段标识、级别、判定依据条款、定级人与定级日期、审批记录、复评时点、聚合定级说明 | 数据对象默认取其字段级别的最高值;数据集按聚合后敏感度单独定级,不取最大值 | 业务域归口部门初判,数据安全管理岗复核,L4 与 L5 另经数据治理管理层审批 | 标签维护粒度到数据元,向上汇总到数据对象与数据集;新纳管对象未定级前按候选最高级占位 | 定级有争议的提交裁决,裁决期内按从严原则占位管控;超期未复评的自动降为只读并提醒责任人 | 级别调整升次版本并记录调整依据;判定依据条款变更升主版本并触发全量复评 |
| 权限策略 | 策略标识、主体(角色或人员)、客体(对象与字段范围)、操作类型、生效区间、来源申请单、审批记录、复核时点 | 最小必要:授权范围不得超出申请单载明的用途;L4 及以上不授予长期批量导出权限 | 使用方申请,数据责任人审核必要性,数据安全管理岗审核级别匹配,L5 另经数据治理管理层审批 | 由分级标签驱动生成默认策略,默认从严;人工调整只能在记录理由后放宽,收紧不需理由 | 监测到越权访问的立即冻结该主体相关策略并生成安全事件单,解冻须经原审批链重新确认 | 策略变更升次版本并保留历史授权区间,季度复核结果以新版本登记,撤销的策略保留记录不删除 |
| 脱敏与去标识规则 | 规则标识、适用对象与字段、受众分组、脱敏算法、保留位规则、一致性要求、生效区间 | 同一数据对象对不同受众返回不同脱敏结果;跨表关联所需的标识须采用一致性脱敏 | 数据安全管理岗配置,涉及个人信息的另经合规责任岗确认 | 脱敏在服务侧按受众与级别动态执行,不生成明文中间副本;规则与权限策略共用受众分组 | 脱敏后仍可重标识的,收紧受众范围并改用更强算法,同时回溯已导出件的处置 | 算法或保留位规则变更升主版本,变更前评估对已建立的跨表关联的影响并给出过渡期 |
| 水印策略 | 策略标识、适用级别与导出形态、水印要素、嵌入方式、反查索引、留存期 | L3 及以上的导出件带水印,且水印可反查到授权凭据与导出人 | 数据安全管理岗配置,按级别统一下发,不接受逐事项豁免 | 水印在导出通道统一嵌入,反查索引与审计日志同库存放 | 反查不到凭据的导出件按异常导出处理,生成安全事件单并核查导出通道配置 | 水印要素增减升次版本;嵌入方式变更升主版本,历史导出件按原方式反查 |
| 访问审批单 | 申请单号、申请人与部门、数据范围与字段范围、用途与期限、涉及最高级别、审批链与各级意见、授权凭据标识、回收记录 | 不签发无范围限定的凭据;用途变更须重新申请,不在原单上续期 | 按级别分层审批:L1 与 L2 由数据责任人审批,L3 加数据安全管理岗,L4 与 L5 加数据治理管理层 | 审批链按级别自动路由;凭据与范围、脱敏策略、水印策略三项绑定签发 | 审批超时未决的申请自动提醒并升级,连续两次超时的提交数据治理管理层直接裁决 | 审批层级调整以制度版本发布,历史申请按当期制度版本归档,不按新制度追溯重判 |
| 审计日志 | 日志标识、时间、主体、客体、操作类型、数据范围、返回量、来源地址与通道、授权凭据标识、结果 | L3 及以上全量留存,L1 与 L2 可按采样留存;日志不得由业务账号删改 | 日志采集范围由数据安全管理岗核定,留存期按法规与合同义务由招标方确认 | 按级别分别设定采样率与留存期,避免日志存储挤占数据存储资源;日志独立权限,运维账号只读 | 日志缺失或链路中断的,先收紧该通道的授权方式,同步补齐日志字段后恢复 | 日志字段扩充升次版本并保持旧字段兼容;采样与留存策略变更升主版本并提前一个周期公告 |
六类对象之间是单向驱动关系:分级标签驱动权限、脱敏与水印三类策略,三类策略的执行与审批单的签发共同产生审计日志,审计日志又作为分级与授权是否合理的复核依据。这条链路上任一环节的记录缺失,都会使后续环节失去判据,因此六类对象的记录完整性是安全域验收的首要条件。
表 3-5 数据安全规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据合规管理制度 | 合规依据、与现行制度的衔接、合规责任、重要数据与敏感数据识别与报备、违规处理 | 经甲方评审通过并发布;与现行保密制度无冲突条款 |
| 数据安全管理办法 | 组织与职责、分类分级管理、防护要求、审计要求、事件响应、考核 | 经甲方评审通过并发布 |
| 数据安全分级标准 | L1–L5 判定依据、实例、分级作业流程、裁决规则、复评机制 | 纳管数据元的分级标签登记完整;L4/L5 定级有审批记录 |
| 数据权限管理规范 | 权限模型、申请与审批流程、分级管控矩阵、复核与回收机制 | 分级管控矩阵可直接转为技术策略;季度复核有记录 |
四份交付物中,合规管理制度与安全管理办法由合规责任岗与安全管理岗共同起草并经数据治理管理层批准;分级标准由安全管理岗牵头、各业务域归口部门逐域核定;权限管理规范由安全管理岗起草并经管理层批准。验收时核对三类证据:发布文件、纳管数据元的分级标签登记统计、L4 与 L5 定级与授权的审批记录。四份文档互为依据,分级标准未发布则权限规范无法执行,因此四份一并发布、一并验收,不分批通过。
数据生存周期管的是过程规范。前三章定下了「什么是对的」「怎么判断对不对」「谁能看什么」,本章要把这些要求嵌进从需求提出到数据退役的每一个动作里,使标准与质量要求不是事后检查,而是过程中的检查点。
图 4-1 数据生存周期四阶段、阶段间交接物与嵌入的治理检查点。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(1)至(4)项。
招标文件要求建立标准化数据需求管理流程,规范需求提交、评审、排期、反馈闭环,并完整留存流程记录。
本项目的数据需求有四类来源,处理方式不同。第一类是数据集建设需求,来自四类数据集的加工计划与十一个验证场景的数据要求,这类需求量最大且有明确的交付时点。第二类是指标与报表需求,来自决策指标体系与各部门管理需要。第三类是数据服务需求,来自应用系统对标准化数据接口的需要。第四类是数据质量整改需求,由质量问题闭环中需要系统改造的问题单转化而来。
四类需求统一进一个需求池,按统一流程处理,但排期时按来源区分优先级:带交付时点的数据集建设需求优先,阻断级质量整改需求优先,其余按业务价值与实现成本排序。
表 4-1 数据需求单字段结构
| 字段组 | 字段 | 填写要求 |
|---|---|---|
| 基本信息 | 需求编号、提交部门、提交时间、需求类型、期望交付时间 | 期望时间须说明依据 |
| 业务背景 | 业务场景、使用方式、不满足时的业务后果 | 写清这个数据拿去做什么判断 |
| 数据范围 | 业务域、数据对象、字段清单、时间范围、数据量级 | 字段清单引用数据元标识 |
| 质量要求 | 完整性、准确性、及时性等维度的具体要求 | 及时性写明可接受的时延 |
| 安全要求 | 涉及的最高数据级别、使用人员范围、是否需要脱敏 | 引用分级标准 |
| 交付形态 | 接口、文件、视图、订阅、数据集 | 选定形态后引用对应服务标准 |
| 评审意见 | 必要性、合法性、可行性、安全合规、工作量评估 | 逐项给结论,不写「同意」了事 |
| 排期信息 | 排期结论、计划开始与完成时间、承接团队 | 未排期的须写明原因与再评估时点 |
| 反馈信息 | 交付时间、交付内容、提交方验收结论 | 验收不通过的转回开发并记录轮次 |
评审从四个角度给结论。必要性看是否已有同类数据或指标可满足,避免重复建设;本项目预期这一项会筛掉相当一部分需求,因为部门各自提报时并不知道其他部门已有相同数据。合法性看数据来源是否合法、使用用途是否在授权范围内,这与数据来源合法性核查的要求一致。可行性看源数据是否存在、质量是否够用、接口是否可开通。安全合规看级别、脱敏要求与人员范围是否匹配。
四角度中「可行性」最常给出否定结论,原因通常是源数据不存在或源系统接口未开通。这类需求不是简单驳回,而是转为两条动作:若需要扩大采集范围,转入采集扩展清单;若需要源系统开通接口,转入接口协调清单。两张清单按月与甲方对接推进,这也是本项目需求管理与采集接入工作的接口。
流程记录是 DCMM 评审的证据之一,也是甲方后续自主运营的基础。留存要求是:需求单的每一次状态变更(提交、受理、评审、排期、开发中、交付、验收、关闭、驳回)产生一条记录,记录操作人、时间、意见与附件;驳回与未排期的需求同样留存,不删除;需求变更不覆盖原需求,以版本方式追加。
需求管理的运行指标按月统计:受理时效、评审时效、按期交付率、验收一次通过率、驳回原因构成。其中驳回原因构成最有诊断价值——若「已有同类数据」占比高,说明数据资源目录的宣传与检索不够好;若「源数据不存在」占比高,说明采集范围需要扩展。
招标文件要求制定数据设计开发统一规范,明确数据采集、数据加工、数据模型、接口开发等相关要求。
本项目的数据来源形态差别很大,采集规范按五类分别规定,见表 4-2。
表 4-2 五类数据的采集规范要点
| 数据形态 | 典型对象 | 采集方式 | 频率与增量口径 | 校验要求 |
|---|---|---|---|---|
| 结构化业务数据 | 物料、工单、报工、库存、检验记录、采购订单 | 只读接口或数据库只读视图 | 按更新时间戳增量,T+1 或按小时;水位线持久化 | 入口校验空值、格式、值域、外键 |
| 文档类数据 | 制度、技术标准、工艺规程、合同、标书 | 文档目录与正文只读导出 | 按版本变更触发 | 格式可解析性、版本有效性、密级标记 |
| 图纸类数据 | 产品图纸、零部件图 | 按图号或项目只读读取,解析在内网就地进行 | 按图号批次 | 图元完整性、图号与版本可识别 |
| 时序数据 | 炉台温度、中频电源参数、焊接参数、在役装备测点 | 按测点订阅或周期取数 | 按测点采样周期,秒级测点按窗口批量 | 缺段、恒值、漂移检查;时间基准对齐 |
| 图像数据 | 焊接部位图像、交检拍照 | 按工件或工单关联采集 | 按作业批次 | 分辨率、标定参数、与工件标识的关联完整性 |
时序数据的时间基准对齐是一条容易被忽略而后果很大的要求。热处理炉控、物联网平台、制造执行系统的时钟若不同步,炉次与温度曲线、焊道与参数流的对齐就会错位,错位的样本在数据集中是污染而不是噪声。本项目要求纳入采集的所有数据源使用统一时间基准,不具备条件的须记录其时钟偏差并在加工时校正。
采集范围的扩展按场景优先级分批推进。甲方现有的数据采集与监控覆盖部分车间与部分设备,首期以试点炉型、试点产线与试点车间所需设备为准,扩展清单以现场勘察结论为准。这一安排的责任边界是:采集点位的布设与设备侧改造涉及甲方生产现场,须由甲方确认停机窗口与施工条件。
加工规范的核心是四条可执行要求。
分层落地。加工任务按数据仓库分层写入,层间依赖单向,不跨层直连。分层架构的定义在「数据治理一」一节的数据模型分层架构中给出,本节规定的是执行要求:每个加工任务声明其读取层与写入层,违反单向依赖的任务不予上线。
幂等与可重跑。同一任务对同一输入批次重复执行,结果一致。实现要求是写入按业务主键与批次标识做覆盖而非追加,任务记录处理水位线并支持按指定水位线重跑。这条要求的实际价值在质量问题整改后的补数场合:没有幂等性,补数会产生重复记录,反而制造新的质量问题。
命名与注释。表名、字段名、任务名按统一命名规则,字段中文名引用数据元标准名称。加工逻辑中的业务判断须有注释说明依据,例如某字段取值被过滤的理由。
血缘登记。加工任务上线时登记输入输出对象与字段级映射关系,供质量问题溯源与标准变更影响评估使用。未登记血缘的任务不予上线。
接口规范覆盖六项:契约定义(请求与响应结构、字段引用数据元标准、错误码表)、版本管理(新增字段向后兼容,不兼容变更须新版本并公告过渡期)、鉴权(按调用方登记,L3 及以上数据的接口须登记调用方与用途)、限流与配额(按调用方与数据级别设定)、幂等(写类接口须支持幂等键)、可观测(调用量、时延、错误率、数据量上报监控)。
接口的 SLA 分级与数据服务标准合并规定,见本节第 5 章第 4 节。
表 4-3 数据开发过程评审检查点
| 阶段 | 检查点 | 不通过的处置 |
|---|---|---|
| 设计评审 | 字段引用数据元标准;枚举引用码表;安全级别与脱敏要求标注;模型分层合规 | 退回修改;确有理由的记例外并说明过渡安排 |
| 开发自检 | 幂等与重跑验证;命名合规;注释完整 | 不进入测试 |
| 测试评审 | 质量规则绑定并试跑;血缘登记完整;接口契约与文档一致 | 不进入上线评审 |
| 上线评审 | 调度配置、告警配置、运维责任人确认、交维清单齐备 | 不予上线 |
| 上线后复核 | 首个周期的质量稽核结果、任务运行稳定性 | 回退上线或限制使用范围 |
最后一行的「回退上线」是本项目在数据开发上保留的回退机制。新上线的加工任务在首个运行周期内若出现质量规则大面积不通过或任务反复失败,先回退到上一稳定版本并限制下游使用,再定位问题,而不是在生产环境上反复修补。下游若已有数据集加工依赖该任务,则该批次数据集加工暂停并在数据卡中记录延期原因。
招标文件要求制定数据运维管理制度,明确采集、加工、数据服务运维责任,针对任务失败、接口异常、数据延迟配置告警机制,建立运维故障闭环处置流程。
数据链路由采集、加工、服务、平台四段构成,各段的故障现象相近而处置主体不同。运行期最常见的损耗并非技术上无法修复,而是故障发生后在归属判断上往返确认,响应时间消耗在协调而非处置。运维责任矩阵的作用,是把这一判断前置成一张随时可查的表。
五列的划分对应一次故障处置必经的五个角色:谁先看见(日常监控)、谁先动手(一线处置)、谁能改配置与代码(二线处置)、谁能让源头配合(源头协调)、谁确认恢复之后数据确已可用(业务确认)。少任何一列都会留下缺口——只分到一线,需要改动的问题就会悬置;不设业务确认,则会出现任务已恢复而数据仍不可用却已按结案处理的情形。表中「—」表示该对象不涉及该角色,例如加工任务与数据服务接口的源头在项目组可控范围内,无需外部协调。
按行查,可在告警到达时直接定位处置链路;按列查,可核对各岗位的责任覆盖是否有遗漏、同一对象是否出现多头负责。
表 4-4 数据运维责任矩阵
| 运维对象 | 日常监控 | 一线处置 | 二线处置 | 源头协调 | 业务确认 |
|---|---|---|---|---|---|
| 采集任务 | 数据运维岗 | 数据运维岗 | 项目组数据开发 | 源系统归口部门 | 需求提交部门 |
| 加工任务 | 数据运维岗 | 数据运维岗 | 项目组数据开发 | — | 数据归口部门 |
| 数据服务接口 | 数据运维岗 | 数据运维岗 | 项目组平台支持 | — | 调用方部门 |
| 治理平台本体 | 平台运维岗 | 平台运维岗 | 项目组平台支持 | — | — |
| 数据质量规则 | 数据质量管理员 | 数据质量管理员 | 项目组数据开发 | 源系统归口部门 | 业务归口部门 |
责任边界有一条须写明:源系统自身的故障、接口未按约定提供数据、源系统数据内容错误,其处置责任在源系统归口部门,项目组负责定位、通知与协调,并在数据服务侧按降级策略维持可用性。这条边界在实际运行中会经常用到,因为甲方的部分源系统由不同厂商维护。
告警设计的目标,是让异常在影响数据集交付之前被发现,而不是在交付延误之后用于复盘。招标文件明定的任务失败、接口异常、数据延迟三类,针对的是「停了」这一种失效;本项目在其上补充任务超时、数据量异常与质量规则大面积不通过三类,针对的是「没停但已经不对」这一种失效。后者在数据加工链路中更为常见,也更难在交付前察觉。
每类告警的判定规则取自可直接观测的运行量,不依赖人工巡检:执行状态、执行时长、接口错误率与时延、数据到达时间、批次记录数、阻断级规则不通过比例。阈值按对象自身的历史分布设定,而非全局统一取值,原因是各采集对象的数据量级与节奏差异很大,统一阈值会在高频对象上频繁误报、在低频对象上长期失灵。
级别一列决定通知范围与响应时限,凡影响数据集交付的一律定为一级。按行读取的是单类告警的完整配置模板,按级别、通知对象、响应时限三列对照读取,可核对响应资源是否与风险等级相匹配。
表 4-5 三类告警的判定规则与响应
| 告警类型 | 判定规则 | 级别 | 通知对象 | 响应时限 |
|---|---|---|---|---|
| 任务失败 | 任务执行返回失败;重试仍失败 | 关键任务为一级,其余为二级 | 一级推送运维岗与数据开发;二级推送运维岗 | 一级 30 分钟内响应 |
| 任务超时 | 执行时长超过基线一定倍数 | 二级 | 运维岗 | 2 小时内响应 |
| 接口异常 | 错误率或时延超阈值;连续调用失败 | 按接口 SLA 级别定 | 运维岗与调用方 | 按 SLA 级别定 |
| 数据延迟 | 数据到达时间超过约定时限 | 影响数据集交付的为一级 | 运维岗、数据归口部门 | 一级 1 小时内响应 |
| 数据量异常 | 批次记录数偏离基线超过阈值 | 二级 | 运维岗与数据质量管理员 | 4 小时内响应 |
| 质量规则大面积不通过 | 单任务阻断级规则不通过比例超阈值 | 一级 | 运维岗、数据质量管理员、业务归口部门 | 1 小时内响应 |
「数据量异常」这一类告警在实践中捕获的问题往往比任务失败更隐蔽。任务成功执行但只取到平日十分之一的记录,多半是源系统接口变更或增量水位线错位,而任务状态是成功的,不设量级告警就发现不了。阈值按对象历史分布设定并按季度复核,新纳管对象在积累两个月基线后启用该告警。
图 4-2 数据运维故障闭环处置流程与三条定位分支。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(3)项数据运维要求。
故障关闭的条件有两条,缺一不可:故障现象消除,以及受影响的数据批次已补齐并通过质量规则复跑。只恢复任务运行而不补数,会留下一段数据空洞,这段空洞在日后被数据集加工取用时无法察觉。
招标文件要求制定数据退役管理规范,明确数据归档、销毁、审批处置流程,对到期闲置数据资产开展评估,区分归档与销毁处置路径。
退役触发有四种情形:保留期限到期、业务下线导致数据不再产生且不再使用、系统替换后旧数据已迁移、数据资产评估判定为无保留价值。
到期闲置数据资产的评估按四个维度打分:使用热度(近一年的访问与引用次数)、业务价值(是否仍为某业务判断的依据)、合规义务(法规、合同、审计是否要求保留)、复建成本(销毁后若需要是否还能重新获得)。
四个维度中合规义务具有否决权:存在保留义务的数据不进入销毁路径,无论其使用热度多低。复建成本高的数据倾向归档而非销毁,这一条对本项目的历史数据尤为重要——历史图纸与配套工艺卡片构成天然成对的监督样本,这类数据即使当前使用热度低,复建成本实际上是不可复建,应归档保留。
图 4-3 数据退役的评估判定与归档、销毁双路径。数据来源:招标文件第五章 3.2.6.1.1.2.8 第(4)项数据退役要求。
归档的要求是「可检索、可复活」。归档台账记录数据对象、归档范围与时间区间、存储位置与介质、数据格式与解析说明、检索方式、复活流程与责任人、下次评估时点。格式解析说明这一项常被忽略,而它决定了十年后归档数据还能不能读——私有格式的归档数据须同时归档格式说明或转为通用格式。
销毁的要求是「可证明、不可恢复」。销毁方式按数据级别选择,L3 及以上须采用不可恢复的方式并由安全管理岗监督,销毁后出具销毁证明,证明记录销毁对象、范围、方式、执行人、监督人、时间。销毁范围须包含备份与副本,仅销毁主库而遗留备份不算完成销毁,这一点在销毁申请中须逐项列出副本清单并逐项确认。
退役处置须同步更新三处记录:数据资源目录中该对象的状态、元数据与血缘中的下游引用关系、相关质量规则的启用状态。下游仍有引用的数据对象不得直接退役,须先完成下游改造或确认下游可接受数据缺失。
生存周期四个阶段各有其管理对象:需求阶段是需求单,设计开发阶段是采集与加工任务、接口,运维阶段是告警与故障工单,退役阶段是退役处置单。各对象的落位要素见表 4-6。
表 4-6 数据生存周期域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 数据需求单 | 需求编号、提交部门与时间、需求类型、业务场景与使用方式、数据范围与字段清单、质量要求、安全要求、交付形态、评审四角度意见、排期信息、反馈与验收结论 | 字段清单须引用数据元标识;安全要求须引用分级标准;评审四角度逐项给结论,不以「同意」代替 | 提交部门提报,数据管理岗受理,四角度评审由对应责任岗分别给结论,排期由数据治理管理层例会确认 | 需求池统一入口,按来源打优先级标签;状态变更逐条留痕,驳回与未排期的同样留存 | 可行性不成立的不简单驳回,转入采集扩展清单或接口协调清单,按月与招标方对接推进 | 需求变更以版本追加,不覆盖原需求;交付范围缩减须在反馈信息中写明原因与补做计划 |
| 采集与加工任务 | 任务标识、来源对象、目标对象、增量口径、时间基准、调度周期、幂等键、重跑窗口、血缘登记状态、责任人 | 任务须幂等可重跑,同一输入与同一版本必得同一结果;血缘登记到字段级方可上线 | 开发人员提交,数据管理岗按五个评审检查点评审,涉及生产库直连的另经安全管理岗审批 | 任务配置与血缘登记联动,血缘未登记完整的任务不予发布;时序任务另配时钟偏差校正参数 | 任务失败按重试策略处理,超出重试次数生成运维工单;重跑须声明重跑区间,区间外数据不受影响 | 加工逻辑变更升主版本并触发下游影响评估;参数调整升次版本,变更记录写入血缘 |
| 数据接口 | 接口标识、提供方与消费方、契约定义、鉴权方式、限流阈值、幂等要求、错误码表、版本号、下线计划 | 接口变更须保持前向兼容或并行提供新旧版本;错误码不得复用于不同语义 | 开发人员提交契约,数据管理岗评审,消费方确认后发布 | 契约集中登记,鉴权与限流由网关统一配置,调用计量随接口自动开启 | 接口不可用超出约定时长的按故障流程处置,消费方按降级方案取数并记录降级期 | 新增字段升次版本;字段语义或类型变更升主版本,旧版本设并行期与下线公告期 |
| 告警与故障工单 | 告警标识、类别、触发规则与阈值、影响对象与范围、首报时间、响应人、处置过程、恢复时间、根因、复盘结论、改进项 | 一级故障须出复盘报告;告警配置须覆盖已上线任务与接口,新上线对象未配告警不予放行 | 告警规则由数据管理岗配置,阈值与业务侧确认;一级故障复盘由数据治理管理层审阅 | 三类告警分别配置通知渠道与升级路径;告警与任务、接口、对象三方关联,便于定位影响面 | 重复告警按同一根因合并为一张工单,避免工单数虚高;误报告警调整阈值并记录调整依据 | 告警规则调整升次版本;响应时限或升级路径调整以制度版本发布 |
| 退役处置单 | 处置单号、数据对象与范围、触发情形、四维度评估得分、处置路径、审批记录、归档台账标识或销毁证明编号、副本清单与逐项确认、同步更新三处记录的回执 | 合规义务项具否决权,存在保留义务的不进入销毁路径;下游仍有引用的不得直接退役 | 数据责任人发起,归档由数据管理岗审批,销毁由数据安全管理岗与数据治理管理层双签 | 退役处置与资源目录、血缘、质量规则三处状态联动,回执缺一则处置单不予关闭 | 下游引用未清理的,处置单挂起并生成下游改造任务,改造完成或下游确认可接受缺失后继续 | 评估维度或权重调整以制度版本发布;已执行的处置单不随新版本重判,保留当期评估记录 |
五类对象串起来就是一条数据从提出到退出的完整轨迹。轨迹的可追溯性是数据管理能力成熟度评审「数据生存周期管理」能力域的核心证据,也是本项目数据集样本可溯源的底层保障。
表 4-7 数据生存周期规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 数据需求管理规范 | 需求来源与分类、需求单模板、评审四角度、排期规则、流程记录留存、运行指标 | 经甲方评审通过并发布;需求池运行并有完整流程记录 |
| 数据设计开发规范 | 五类采集规范、加工四条要求、接口六项规范、五个评审检查点 | 新上线任务按检查点评审,例外有记录 |
| 数据运维管理制度 | 责任矩阵、六类告警规则、故障闭环流程、复盘要求 | 告警配置覆盖已上线任务与接口;一级故障有复盘报告 |
| 数据退役管理规范 | 触发情形、四维度评估、归档与销毁要求、审批层级、同步更新要求 | 经甲方评审通过并发布;首批到期闲置资产完成一轮评估 |
四份规范覆盖数据从需求到退役的全过程,责任分工按阶段划分:需求管理规范由数据管理岗执行,设计开发规范由开发侧执行并经数据管理岗评审,运维管理制度由运维值守岗执行,退役管理规范由数据责任人发起、安全管理岗与管理层审批。四份规范的执行记录——需求单、评审记录、故障复盘报告、退役处置单——是数据管理能力成熟度评审中生存周期管理能力域的主要证据,因此规范发布与记录积累同步推进,不等规范齐备再开始留痕。
数据应用流通是治理工作的出口。前四个域把数据做对、做可信、管起来,本章决定这些数据以什么形态、按什么权限、向谁提供。本章与数据集运营平台的边界是:本章交付的是管理规范与服务标准,平台的功能模块、界面与操作流程在「数据集运营平台」一节论述。
招标文件要求梳理数据应用需求,明确数据范围及要求,为数据应用提供治理后的可靠数据。
本项目的数据应用需求有两个明确的来源:四类高质量数据集的加工需求,以及十一个验证场景的数据需求。两者不是一回事——数据集加工需要的是大批量、可标注、可追溯的原始与中间数据;场景验证需要的是能支撑具体业务判断的、口径明确的查询与指标。梳理时分开处理,否则会把两类要求混成一张含混的清单。
梳理按三步做。先按场景逐条列出其业务判断所需的数据对象与字段,形成《高质量数据集验证场景数据需求清单》,这份清单是现状评估阶段的输出之一,在「数据治理一」一节论述,其结论在本章使用。再按清单核对数据供给能力:该字段是否已纳管、质量是否达到清单要求、安全级别是否允许该场景使用。最后把差距项分流——质量不足的进质量需求清单,未纳管的进采集扩展或接口协调清单,级别不允许的提交安全审批或改用脱敏形态。
表 5-1 以几个代表性场景示意数据范围与要求的对应关系。完整清单在现状评估完成后交付。
表 5-1 场景数据需求与供给要求对应(示例)
| 验证场景 | 核心数据范围 | 质量要求重点 | 安全级别与形态 |
|---|---|---|---|
| 产品智能选型 | 历史选型方案、工作面工况参数、产品谱系与配置、投运效果标签 | 工况参数完整性;选型方案结构化程度;效果标签覆盖率 | 工况参数 L4,须去标识;选型校核参数 L5,加工环境单独限定 |
| 板材备料工艺智能设计 | 图纸与图元解析结果、工艺卡片、28 道工序与工艺路线、设备与工装资源、工时定额 | 图号与版本准确性;图纸—卡片配对覆盖率;工序代码一致性 | L3,内网加工 |
| 库存控制智能化 | 商机与销售预测、需求计划、库存账与实物库存、项目占用、物料价格 | 三方库存一致性;时点口径统一;价格一致性 | 价格与成本 L5;其余 L3 |
| 热处理过程智能监控 | 炉次工单、装炉清单、材料批次、设定程序、实际温度曲线、检验结论 | 炉次与检验配对率;时序缺段率;时间基准对齐 | 工艺参数窗口 L5;其余 L3 |
| 焊接过程控制智能监控 | 焊接参数流、焊道标识、工件标识、预热与层间温度、检验与无损检测结论 | 参数流与焊道配对率;测点可信度 | L3 |
| 刮板输送装备健康智能诊断 | 测点配置、时序数据、报警日志、维修工单与备件出库 | 测点连续性与可信度;维修事实回填率 | 矿方位置信息 L4 须去标识;其余 L3 |
| 决策数据智能问答 | 九业务域指标与决策指标体系 | 指标口径唯一;来源数据质量门限 | 按指标涉及的最高级别;L5 指标限定人员范围 |
把治理后的数据交给应用,要说清可靠到什么程度。本项目对每一个供应用使用的数据对象给出三项声明。
一是质量状态声明,给出该对象当期的质量分与评级、各维度实测值、已知缺口清单。二是口径声明,给出该对象字段对应的数据元标准与版本、涉及指标的指标卡与版本。三是时效声明,给出数据更新频率、延迟与最近一次更新时间。
三项声明随数据一并提供,在数据资源目录中可查,在接口响应的元信息中返回。这样安排的用意是把「数据可不可靠」变成使用方可以自行判断的事实,而不是由供给方给一个笼统的保证。质量未达门限的数据对象,其输出带置信标记,由使用方决定是否采用或降权使用;标记规则在指标卡的质量约束字段中声明。
招标文件要求建立外部数据引入管理制度,规范外部数据采购、接入、核验、评估流程,明确外部数据存储、加工、共享的使用边界与约束。
本项目可能引入的外部数据有四类:国家与行业标准文本及其附带数据、市场行情与价格指数(供库存控制场景判断采购时机)、公开的地质与煤炭行业统计数据、供应商提供的材料质保书与检测数据。四类数据的来源合法性要求不同,管控强度也不同。
图 5-1 外部数据引入四阶段流程与合法性核查要素。数据来源:招标文件第五章 3.2.6.1.1.2.9 第(2)项外部数据管理要求。
合法性核查是四阶段中不可简化的一环,理由与本项目的性质直接相关:本项目的产出是用于大模型训练的数据集,招标文件在安全合规要求中明确须核查项目建设过程中是否包含不可用于商业用途的建设内容,并承诺数据集来源的合法性。外部数据一旦混入数据集而其许可范围不覆盖训练与商业使用,整份数据集的合法性都会受牵连。因此核查结论须逐项记录在外部数据台账中,并在数据集的数据卡中声明所含外部数据的来源与许可范围。
表 5-2 外部数据使用边界约束要素
| 约束维度 | 约束内容 | 记录位置 |
|---|---|---|
| 存储 | 存储位置与期限、是否允许留存原始件、备份范围 | 外部数据台账 |
| 加工 | 是否允许衍生加工、衍生品权属、是否允许进入训练数据集 | 台账与数据卡 |
| 共享 | 可共享的对象范围、是否允许对外提供、二次提供是否需供方同意 | 台账与开放授权记录 |
| 署名与引用 | 是否要求署名、引用格式 | 数据卡与成果文档 |
| 期限 | 许可有效期、到期处置方式 | 台账,到期前触发提醒 |
| 退出 | 终止引入时的清除范围,含衍生品处置约定 | 台账与退役处置单 |
到期与退出两项须在引入时就约定清楚。许可到期后衍生数据集能否继续使用,不同供方的约定不同;没有事先约定,到期时会面对一个两难——继续使用可能越权,停止使用则已交付的数据集要召回。本项目的做法是在采购阶段即把「许可到期后衍生品的处置方式」列为合同必谈条款,并把约定结果写入台账与数据卡。
招标文件要求制定数据开放共享流程,规范数据申请、审批、授权、回收等流程。
数据开放的对象分三层,管控强度依次提高:企业内部跨部门共享、面向甲方关联单位的共享、面向外部的数据集流通。第三层与数据集运营流通直接相关,其业务形态在「数据集运营平台」一节论述,本章规定其管理流程。
图 5-2 数据开放的申请、审批、授权、使用监测与回收流程。数据来源:招标文件第五章 3.2.6.1.1.2.9 第(3)项数据开放要求。
授权环节有三项要素须一并绑定,缺一则后续无法管控。授权凭据须与具体的数据范围、字段范围、时间范围绑定,不签发无范围限定的凭据。脱敏策略按受众与级别绑定在凭据上,同一数据对象对不同受众返回不同的脱敏结果。水印策略按级别绑定,L3 及以上的导出件带水印且水印可反查到授权凭据。
回收有五种触发情形:授权到期、申请用途变更、监测发现越权访问、发生违规事件、申请人岗位变动。回收执行后凭据立即失效,已导出的数据按约定处置方式处理并记录。回收记录与申请单关联,便于复核同一受众的历史授权情况。
招标文件要求构建数据服务标准,面向数据应用提供标准化数据服务。
表 5-3 数据服务的四种形态与适用场合
| 形态 | 适用场合 | 技术要求要点 | 适用级别 |
|---|---|---|---|
| 接口服务 | 应用系统在线查询,单次返回量小 | 契约化、鉴权、限流、幂等、元信息随返 | L1–L4,L4 返脱敏结果 |
| 文件服务 | 批量取数、数据集交付 | 批次标识、校验值、清单文件、水印 | L1–L5,L4/L5 逐事项审批 |
| 视图服务 | 分析与报表直连 | 只读、行列级权限、动态脱敏 | L1–L3 |
| 订阅服务 | 变更驱动的下游同步 | 变更事件格式、顺序保证、重放能力 | L1–L3 |
四种形态的选择由使用方式与数据级别共同决定,不由提供方单方指定:在线查询选接口服务,批量取数与数据集交付选文件服务,分析报表直连选视图服务,下游同步选订阅服务;L4 数据经接口服务提供时一律返回脱敏结果,L5 数据只经文件服务并逐事项审批。形态一经确定即写入服务契约,变更形态按服务变更流程重新审批,不在原契约上追加。
每一项数据服务在服务目录中登记:服务标识与名称、提供的数据对象与字段、调用方式与契约、更新频率与延迟、质量状态声明、安全级别与脱敏策略、SLA 级别、责任部门与联系通道、版本与变更记录。服务目录与数据资源目录互相引用,使用方可以从数据对象找到可用服务,也可以从服务找到其数据来源。
SLA 按三级设定:一级服务供数据集加工与关键场景使用,可用性与时延要求最高,故障按一级响应;二级服务供常规业务查询使用;三级服务供分析探索使用,允许在资源紧张时降级。SLA 的具体指标值与系统非功能指标相关,在「非功能性」一节给出,本节规定的是分级原则与服务登记要求。
每次服务调用记录调用方、时间、数据范围、返回量、授权凭据。计量数据有三个用途:按受众统计使用情况,作为数据资产价值评估的输入;识别异常调用,作为安全审计的输入;度量服务实际负载,作为容量规划的输入。资产价值评估办法在「数据治理一」一节论述,本章提供其所需的使用计量数据。
流通域的管理对象有五类:数据服务、服务目录条目、外部数据台账、开放授权凭据、共享申请单。五类对象的落位要素见表 5-4。
表 5-4 数据应用流通域的治理要素落位
| 治理对象 | 字段字典 | 规则实例 | 审批流程 | 平台配置 | 异常处置 | 版本变化 |
|---|---|---|---|---|---|---|
| 数据服务 | 服务标识与名称、形态、提供的数据对象与字段、调用契约、更新频率与延迟、质量状态声明、安全级别与脱敏策略、服务等级、责任部门与联系通道、版本与变更记录 | 服务返回的数据须随附质量状态与安全级别;超出所声明字段范围的返回视为配置错误 | 开发方提交,数据管理岗评审契约,数据安全管理岗核定级别与脱敏策略,发布前经服务责任部门确认 | 服务发布时自动在对应数据对象的目录条目挂出,下线时同步撤出;鉴权与限流由网关统一配置 | 服务不达所声明等级的按降级处置:三级服务在资源紧张时降级,一级服务优先保障并生成容量工单 | 契约新增字段升次版本;字段语义变更或等级调整升主版本,设并行期并提前公告消费方 |
| 服务目录条目 | 条目标识、关联数据对象、可用服务清单、业务定义、数据量级与时间跨度、质量分与评级、安全级别、申请方式、责任部门 | 质量状态与安全级别两项须由评分与分级标签实时带出,不接受人工填报 | 由服务发布与对象纳管自动生成,责任部门确认业务定义与申请方式 | 服务目录与数据资源目录互相引用,可从对象找服务,也可从服务找来源 | 目录与实际不符的(目录有服务而实际已下线)按日巡检发现并自动置为不可用,同时通知责任部门 | 条目内容随对象与服务的版本自动更新,不单独编版本;业务定义修订升次版本 |
| 外部数据台账 | 台账编号、数据名称与来源方、获取方式、授权链证据、许可范围(训练、商用、再分发)、许可期限、存储与加工约束、共享与署名要求、到期处置方式、关联数据集与衍生品清单 | 许可范围不覆盖模型训练或商业使用的,不得进入四类数据集;二次提供须经供方同意的逐项标注 | 需求方提报,合规责任岗核查授权链与许可范围,数据治理管理层批准引入 | 台账与数据卡、数据集血缘三方关联;许可到期前按设定提前量自动提醒 | 核查发现授权链不完整的终止引入并清除已接入副本,已进入数据集的按衍生品处置约定回退并记录 | 许可条款变更升主版本并重新评估已建成数据集的合法性;台账条目只追加不删除 |
| 开放授权凭据 | 凭据标识、受众、数据范围与字段范围、时间范围、用途、脱敏策略、水印策略、生效与到期时间、关联申请单、回收记录与回收原因 | 不签发无范围限定的凭据;凭据须与脱敏策略、水印策略一并绑定签发 | 由共享申请单的审批结论签发,数据安全管理岗执行签发与回收 | 凭据作为服务调用与导出的唯一通行依据,调用计量与审计日志均记录凭据标识 | 五种回收情形(到期、用途变更、越权访问、违规事件、岗位变动)任一触发即刻失效,已导出数据按约定处置并记录 | 范围调整不改原凭据,作废后重新签发;回收记录与申请单长期关联,供同一受众的历史授权复核 |
| 共享申请单 | 申请单号、申请方与层级(内部跨部门、关联单位、外部流通)、数据范围、用途与期限、涉及最高级别、审批链与意见、授权凭据标识、使用监测结论 | 三层开放对象的管控强度依次提高;外部流通层须另行核查合法性与许可范围 | 按开放层级与数据级别分层审批,外部流通层由数据治理管理层审批 | 申请、审批、授权、监测、回收五段在同一单据上留痕,监测结论回写申请单 | 监测发现实际使用超出申报用途的,回收凭据并将该申请方的后续申请提级审批 | 审批层级与监测口径调整以制度版本发布,在途申请按受理时的制度版本办结 |
五类对象的共同约束是范围绑定:服务绑定字段范围,凭据绑定数据、字段、时间与用途四重范围,台账绑定许可范围。范围一旦不绑定,后续的监测、回收与合法性追溯都无从执行,这也是本项目把范围要素作为必填项而非建议项的原因。
应用流通域的管理动作可归为两个方向:数据进来,与数据出去。外部数据引入解决进来的合法性,数据开放共享解决出去的可控性,数据应用需求梳理与数据服务标准分别是这两个方向的输入与实现手段。交付物因此收敛为两份正式规范,而不按小节数拆成四份——规范拆得过细,跨文件的口径一致反而难以维持,执行时也容易出现同一事项依不同文件办理。
两条验收口径均取可核对的物证,不取主观评价。引入侧核的是台账与授权凭证是否与已引入的外部数据逐条对应,有数据而无授权链证据的即判不合格;开放侧核的是已签发凭据是否均带数据、字段、时间与用途的范围限定,以及回收动作是否留有记录。两项都可由奔牛数据智能平台直接导出清单比对,不依赖人工说明。
这两份规范发布并通过上述核对,即表明本项目的数据对外提供已具备合法性与可追溯性的制度基础,数据集与数据服务可以进入运营流通环节。
表 5-5 数据应用流通规划交付物与验收口径
| 交付物 | 主要内容 | 验收口径 |
|---|---|---|
| 外部数据引入管理办法 | 范围界定、四阶段流程、合法性核查要素、使用边界约束、台账要求、到期与退出 | 经甲方评审通过并发布;已引入外部数据的台账与授权凭证齐备 |
| 数据开放共享管理规范 | 三层开放对象、申请审批授权回收流程、审批层级、授权要素绑定、留痕要求 | 经甲方评审通过并发布;授权凭据均带范围限定;回收有记录 |
数据服务标准与服务目录作为《数据开放共享管理规范》的附件交付,数据应用需求的梳理结论以《高质量数据集验证场景数据需求清单》形式交付,该清单归属现状评估阶段成果,见「数据治理一」一节。
数据治理规划文档是规划阶段的成果载体,也是数据管理能力成熟度评审与项目验收的主要书面证据。本章对招标文件列明的全部文档逐份确定编制依据、章节骨架、责任域、形成时点、签审层级、输入输出与验收证据,并在项目实施期按计划节点提交评审。各份文档的内容建立在现状评估结论与招标方现行制度体系的确认之上,确认完成即按本章规定的时点与签审流程出具,附录佐证卷同步提供标准规范清单与模板样例,供评审时核对交付粒度。
招标文件要求至少交付不少于 25 份数据治理规划文档,并以表格列明 37 份具体名称与形态。项目组按 37 份编制交付,高于不少于 25 份的要求。表 6-1 给出全部 37 份文档的形态、数量、所属规划域与计划提交节点,表 6-2 逐份给出编制输入、核心内容、输出去向、签审层级与验收证据,两表合起来即为每一份文档的交付约定。
表 6-1 数据治理规划文档交付清单(全 37 份)
| 序号 | 名称 | 形态 | 数量 | 所属规划域 | 计划提交节点 |
|---|---|---|---|---|---|
| 1 | 数据战略管理办法 | 文档 | 1 | 数据战略 | 规划期第一阶段 |
| 2 | 数据战略规划 | 文档 | 1 | 数据战略 | 规划期第一阶段 |
| 3 | 数据战略实施计划 | 文档 | 1 | 数据战略 | 规划期第一阶段 |
| 4 | 战略评估报告 | 文档 | 1 | 数据战略 | 首次评估周期结束 |
| 5 | 数据治理顶层规划方案 | 文档 | 1 | 数据治理 | 规划期第一阶段 |
| 6 | 数据治理组织架构 | 文档 | 1 | 数据治理 | 规划期第一阶段 |
| 7 | 全套数据治理顶层管理制度 | 文档 | 1 | 数据治理 | 规划期第一阶段 |
| 8 | 数据文化建设方案 | 文档 | 1 | 数据治理 | 规划期第二阶段 |
| 9 | 数据模型分层架构 | 文档 | 1 | 数据架构 | 规划期第一阶段 |
| 10 | 数据分布及数据流图 | 文档 | 1 | 数据架构 | 规划期第一阶段 |
| 11 | 数据集成共享管理规范 | 文档 | 1 | 数据架构 | 规划期第一阶段 |
| 12 | 元数据管理办法 | 文档 | 1 | 数据架构 | 规划期第一阶段 |
| 13 | 数据资产管理办法 | 文档 | 1 | 数据资产 | 规划期第二阶段 |
| 14 | 数据资源目录 | 文档 | 1 | 数据资产 | 随纳管范围滚动更新 |
| 15 | 资产价值评估办法 | 文档 | 1 | 数据资产 | 规划期第二阶段 |
| 16 | 数据资产运营流程规范 | 文档 | 1 | 数据资产 | 规划期第二阶段 |
| 17 | 数据标准管理办法 | 文档 | 1 | 数据标准 | 规划期第一阶段 |
| 18 | 业务术语标准 | 文档 | 1 | 数据标准 | 首批第一阶段,滚动补充 |
| 19 | 参考数据标准 | 文档 | 1 | 数据标准 | 首批第一阶段,滚动补充 |
| 20 | 数据元标准 | 文档 | 1 | 数据标准 | 首批第一阶段,滚动补充 |
| 21 | 指标标准 | 文档 | 1 | 数据标准 | 首批第二阶段,滚动补充 |
| 22 | 标准映射对照表 | 文档 | 1 | 数据标准 | 随纳管范围滚动更新 |
| 23 | 数据质量管理办法 | 文档 | 1 | 数据质量 | 规划期第一阶段 |
| 24 | 数据质量需求清单 | 文档 | 1 | 数据质量 | 首轮扫描完成后 |
| 25 | 数据质量校验规则库 | 文档 | 1 | 数据质量 | 首批第一阶段,滚动补充 |
| 26 | 质量分析报告 | 文档 | 1 | 数据质量 | 按月出具 |
| 27 | 质量问题整改台账 | 文档 | 1 | 数据质量 | 持续维护,按季汇总 |
| 28 | 数据合规管理制度 | 文档 | 1 | 数据安全 | 规划期第一阶段 |
| 29 | 数据安全管理办法 | 文档 | 1 | 数据安全 | 规划期第一阶段 |
| 30 | 数据安全分级标准 | 文档 | 1 | 数据安全 | 规划期第一阶段 |
| 31 | 数据权限管理规范 | 文档 | 1 | 数据安全 | 规划期第一阶段 |
| 32 | 数据需求管理规范 | 文档 | 1 | 生存周期 | 规划期第一阶段 |
| 33 | 数据设计开发规范 | 文档 | 1 | 生存周期 | 规划期第一阶段 |
| 34 | 数据运维管理制度 | 文档 | 1 | 生存周期 | 规划期第二阶段 |
| 35 | 数据退役管理规范 | 文档 | 1 | 生存周期 | 规划期第二阶段 |
| 36 | 外部数据引入管理办法 | 文档 | 1 | 应用流通 | 规划期第二阶段 |
| 37 | 数据开放共享管理规范 | 文档 | 1 | 应用流通 | 规划期第二阶段 |
提交节点按三个阶段安排:第一阶段为制度与标准的基础件,须在数据汇聚与首批数据集加工开始前发布,否则加工过程无规范可依;第二阶段为运营类规范与办法,在首批数据服务与资产运营启动前发布;滚动更新类的三份(数据资源目录、标准映射对照表、整改台账)与按期出具类的两份(质量分析报告、战略评估报告)随工作进展持续交付。
每一份文档的交付约定由五项要素构成:编制输入(依据哪些已有成果起草)、核心内容(文档正文必须覆盖的条款范围)、输出去向(这份文档被谁、在哪个环节作为依据使用)、签审层级(谁审谁批)、验收证据(以什么材料证明这份文档已交付且已生效)。形成时点按表 6-1 的计划提交节点执行。表 6-2 逐份列出。
表 6-2 数据治理规划文档的编制输入、核心内容、输出去向、签审与验收证据
| 序号 | 名称 | 编制输入 | 核心内容 | 输出去向 | 签审层级 | 验收证据 |
|---|---|---|---|---|---|---|
| 1 | 数据战略管理办法 | 现状评估结论、招标方现行规划与计划管理制度 | 数据战略的制定、评审、发布、调整与废止程序及职责分工 | 数据战略规划与实施计划的编制依据 | 数据治理管理层批准,按企业文件发布 | 发布文件、评审纪要 |
| 2 | 数据战略规划 | 现状评估差距清单、业务战略、数据集建设目标 | 管理愿景、重点任务、资源投入与分期目标 | 实施计划、年度预算与考核目标 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 3 | 数据战略实施计划 | 数据战略规划、项目总体计划 | 任务分解、时点、责任部门与资源安排 | 各域年度工作计划与进度考核 | 数据治理管理层批准 | 发布文件、季度进度记录 |
| 4 | 战略评估报告 | 实施计划执行记录、各域运行指标 | 执行偏差分析、原因判断与调整建议 | 下一周期战略与计划的修订输入 | 数据治理管理层审阅 | 评估报告、审阅记录 |
| 5 | 数据治理顶层规划方案 | 现状评估结论、成熟度目标 | 治理目标、体系框架、能力域建设路线与里程碑 | 各域专项规划与制度的编制依据 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 6 | 数据治理组织架构 | 招标方现行组织设置、组织与岗位主数据 | 组织设置、岗位职责、议事与决策机制 | 全部制度中责任主体的来源 | 招标方管理层批准并任命 | 发文、岗位任命记录 |
| 7 | 全套数据治理顶层管理制度 | 顶层规划方案、组织架构 | 治理工作的通用管理条款、考核与通报办法 | 各专项制度的上位依据 | 数据治理管理层批准 | 发布文件、制度清单 |
| 8 | 数据文化建设方案 | 现状评估中的人员与能力结论 | 宣贯、培训、激励与评价安排 | 培训计划与能力考核 | 数据治理管理层批准 | 发布文件、培训与考核记录 |
| 9 | 数据模型分层架构 | 资产盘点结论、业务对象清单 | 分层定义、建模规范、命名规则 | 加工任务建模与数据元标准编制 | 数据架构责任岗审核,管理层批准 | 发布文件、模型登记册 |
| 10 | 数据分布及数据流图 | 系统清单、接口盘点结论 | 各业务域数据分布、流转路径与现存断点 | 汇聚方案与接口协调清单 | 数据架构责任岗审核 | 发布文件、与血缘登记的一致性核对记录 |
| 11 | 数据集成共享管理规范 | 数据流图、接口盘点结论 | 集成方式、接口契约要求、共享边界与审批 | 接口开发规范与开放共享规范 | 数据治理管理层批准 | 发布文件、接口登记册 |
| 12 | 元数据管理办法 | 架构规划、平台元数据模型 | 三类元数据的采集、维护、血缘分析与变更管理 | 元数据与血缘登记的执行依据 | 数据治理管理层批准 | 发布文件、元数据登记完整性统计 |
| 13 | 数据资产管理办法 | 资源目录初稿、权属约定 | 资产认定、登记、权属、运营与退出 | 资源目录与价值评估的执行依据 | 数据治理管理层批准 | 发布文件、资产登记台账 |
| 14 | 数据资源目录 | 元数据登记、质量评分、分级标签 | 按业务域与数据主题组织的资产条目 | 使用方检索与申请的入口 | 数据管理岗维护,责任部门确认 | 目录条目、质量分与级别的实时带出记录 |
| 15 | 资产价值评估办法 | 服务调用计量、数据集流通记录 | 评估维度、计分方法与结果应用场合 | 资产运营与投入决策 | 数据治理管理层批准 | 发布文件、首轮评估记录 |
| 16 | 数据资产运营流程规范 | 资产管理办法、服务目录 | 上架、供需对接、计量、变更与下架流程 | 运营平台的流程配置依据 | 数据治理管理层批准 | 发布文件、运营流水记录 |
| 17 | 数据标准管理办法 | 现状评估中的标准现状、组织架构 | 五类标准的制定、评审、发布、变更、废止程序与版本规则 | 五类标准与标准映射对照表的编制依据 | 数据治理管理层批准 | 发布文件、标准发布记录 |
| 18 | 业务术语标准 | 各域业务文件、系统字典、访谈记录 | 九业务域术语卡 | 数据元定义与指标业务定义 | 归口部门核定,数据标准管理员发布 | 发布版本、术语覆盖率抽样记录 |
| 19 | 参考数据标准 | 系统字典盘点、行业与国家标准 | 参考数据管理范围与三类来源的管控要求 | 代码值域字典与值域校验规则 | 归口部门核定,数据标准管理员发布 | 发布版本、归口核定记录 |
| 20 | 数据元标准 | 物理字段盘点、业务术语标准 | 核心业务域数据元的属性集合 | 映射登记、规则派生、指标口径 | 归口部门核定,数据标准管理员发布 | 发布版本、加工依赖字段的覆盖记录 |
| 21 | 指标标准 | 决策指标需求、数据元标准 | 指标卡规范与首批指标定义 | 指标计算配置与问答场景口径 | 指标归口部门核定口径,数据标准管理员发布 | 发布版本、口径一致性校验记录 |
| 22 | 标准映射对照表 | 技术元数据、数据元标准 | 标准项到物理字段的映射与转换规则 | 规则派生与标准变更影响评估 | 归口部门确认,数据标准管理员登记 | 登记册、已纳管对象的映射覆盖记录 |
| 23 | 数据质量管理办法 | 标准体系、组织架构 | 六维度模型、规则管理、稽核管理、评分评级、问题闭环与考核 | 规则库建设与稽核调度的执行依据 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 24 | 数据质量需求清单 | 各域质量诉求、首轮扫描结果 | 核心数据的质量诉求、基线、目标类别与分期目标 | 规则派生与质量目标考核 | 归口部门提报,数据治理管理层核定 | 清单版本、基线实测记录 |
| 25 | 数据质量校验规则库 | 数据元标准、质量需求清单 | 十类模板下的规则条目及其元数据 | 稽核任务配置与加工入口门控 | 数据质量管理员审核入库,阻断级经管理层确认 | 规则库版本、稽核运行记录 |
| 26 | 质量分析报告 | 稽核结果、问题台账 | 质量构成、趋势、根因分析与整改进展 | 月度例会整改清单 | 数据质量管理员出具,管理层审阅 | 按月报告、例会纪要 |
| 27 | 质量问题整改台账 | 质量问题工单全量记录 | 问题单全生命周期记录与关闭率、复发率统计 | 规则与标准的修订线索 | 数据质量管理员维护,按季汇总报管理层 | 台账、分项统计表 |
| 28 | 数据合规管理制度 | 法律法规与国家标准、招标方现行保密制度 | 合规依据、合规责任、重要数据与敏感数据识别与报备、违规处理 | 分级标准与安全管理办法 | 合规责任岗审核,管理层批准 | 发布文件、合规差距清单闭环记录 |
| 29 | 数据安全管理办法 | 合规管理制度、组织架构 | 分类分级管理、防护要求、审计要求、事件响应与考核 | 权限、脱敏、水印、审计四类配置的依据 | 数据治理管理层批准 | 发布文件、评审纪要 |
| 30 | 数据安全分级标准 | 资产盘点结论、合规差距清单 | L1 至 L5 判定依据、本项目实例、分级作业流程、裁决与复评机制 | 权限与脱敏策略的生成依据 | 安全管理岗复核,L4 与 L5 经管理层审批 | 发布文件、分级标签登记完整性统计 |
| 31 | 数据权限管理规范 | 分级标准、组织与岗位主数据 | 权限模型、申请与审批流程、分级管控矩阵、复核与回收 | 平台权限策略配置 | 数据治理管理层批准 | 发布文件、季度复核记录 |
| 32 | 数据需求管理规范 | 组织架构、标准与分级成果 | 需求来源分类、需求单模板、评审四角度、排期规则与流程留痕 | 需求池运行 | 数据治理管理层批准 | 发布文件、需求池流程记录 |
| 33 | 数据设计开发规范 | 数据模型分层架构、标准与质量要求 | 采集、加工、模型、接口规范与开发过程评审检查点 | 任务与接口的上线评审 | 数据管理岗审核,管理层批准 | 发布文件、上线评审记录 |
| 34 | 数据运维管理制度 | 任务与接口清单、平台告警能力 | 运维责任矩阵、告警规则、故障闭环流程与复盘要求 | 运维值守与故障处置 | 数据治理管理层批准 | 发布文件、一级故障复盘报告 |
| 35 | 数据退役管理规范 | 资产台账、法规与合同的保留义务清单 | 触发情形、四维度评估、归档与销毁要求、审批层级与同步更新要求 | 退役处置单的执行依据 | 数据治理管理层批准 | 发布文件、首轮到期资产评估记录 |
| 36 | 外部数据引入管理办法 | 外部数据需求、法规与许可要求 | 范围界定、四阶段流程、合法性核查要素、使用边界约束与台账要求 | 外部数据台账与数据卡 | 合规责任岗审核,管理层批准 | 发布文件、台账与授权凭证 |
| 37 | 数据开放共享管理规范 | 分级标准、数据服务标准 | 三层开放对象、申请审批授权回收流程、授权要素绑定与留痕 | 授权凭据签发与使用监测 | 数据治理管理层批准 | 发布文件、授权与回收记录 |
表 6-2 的「验收证据」一列是本章验收的落点。一份文档只写完正文不算交付:制度类须有发布文件,清单与台账类须有可核对的条目与统计,报告类须有审阅记录。三类证据与文档正文一并归入项目验收材料,也是数据管理能力成熟度评审的证据来源。
现状评估阶段的成果与数据治理规划文档是两组材料,分别计数、分别验收,不相互顶替。招标文件列明的 37 份是规划阶段的成果;现状评估阶段另行出具评估类成果,它们是 37 份规划文档的编制输入,不计入 37 份之内。表 6-3 列出现状评估阶段成果及其与规划成果的关系,各成果的章节结构与验收口径在「数据治理规划(一)」一节给出。
表 6-3 现状评估阶段成果及其与规划成果的关系
| 成果名称 | 形态 | 形成时点 | 签审 | 作为哪些规划成果的输入 |
|---|---|---|---|---|
| 数据治理现状诊断报告 | 报告 | 现状评估结束,第一阶段内提交 | 项目组出具,招标方评审确认 | 顶层规划方案、数据战略规划、各域专项规划的差距依据 |
| 高质量数据集验证场景数据需求清单 | 清单 | 现状评估结束,第一阶段内提交 | 项目组出具,招标方评审确认 | 数据质量需求清单、数据需求管理规范、采集扩展清单 |
| 全域数据资产盘点结果 | 清单(诊断报告附件) | 随诊断报告提交 | 归口部门逐域确认 | 数据元标准、数据资源目录、数据安全分级标准 |
| 合规与制度差距清单 | 清单(诊断报告附件) | 随诊断报告提交 | 合规责任岗确认 | 数据合规管理制度、数据安全管理办法 |
两组材料的计数口径在项目验收清单中分列:规划成果按 37 份计,评估成果按实际出具份数单列。两者的内容若出现不一致,以评估成果为事实依据、以规划成果为管理依据,规划内容按评估结论调整并在阶段评审会上说明调整依据。
每份文档按统一体例编制:封面与版本页、适用范围、引用依据、术语、正文条款、附表与模板、生效与修订记录。制度类文档的正文条款须写明责任主体与可核查的动作,避免只写原则不写动作——「应加强数据质量管理」这类条款无法执行也无法检查,须改写为「某角色在某时点完成某动作并留存某记录」。
评审分三道。项目组内部评审核对体例、条款可执行性、与其他文档的一致性。甲方业务评审由各业务域归口部门核对条款与本域实际业务流程是否冲突。甲方管理层评审确认制度的责任分工与考核要求。三道评审均通过后由甲方按企业文件发布程序发布,发布后的制度即为项目实施的依据。
文档之间存在引用关系,须统一维护一张引用关系表,避免一份文档修订后其他文档的引用内容失效。引用关系表作为治理文档体系的索引随文档集一并交付。
招标文件明确交付文档的数量与名称可在实施阶段滚动优化。本项目的滚动优化按三条规则执行。
数量只增不减。37 份是下限,实施过程中若发现某一主题需要单独成文(例如时序数据的采集与质量规范),增编文档并在引用关系表中登记。
拆分与合并须经甲方确认。若某份文档内容过多宜拆分,或两份文档内容高度重叠宜合并,须提交变更申请说明理由与对照关系,经甲方数据治理管理层确认后执行,并在交付清单中保留与招标文件原清单的对应关系,使验收时可逐项核对。
版本与基线。每份文档按版本管理,重要节点固化基线。DCMM 评审前固化一次评审基线,项目验收前固化一次验收基线。基线固化后的修订另起版本,不覆盖基线版本。
37 份文档按表 6-1 的计划提交节点分三批交付:第一批为制度与标准的基础件,在数据汇聚与首批数据集加工开始前发布;第二批为运营类规范与办法,在首批数据服务与资产运营启动前发布;滚动更新类与按期出具类随工作进展持续交付。每一批次提交时同时提交该批次的验收证据,按表 6-2 的「验收证据」一列逐份核对。
各份文档的正文内容以现状评估结论与招标方现行制度体系的确认为依据,确认完成即按本章规定的时点、签审层级与证据要求出具。附录佐证卷提供标准规范清单与模板样例,供评审时核对交付粒度;需要查看某份文档的详细样式的,按招标方要求另行提供样例。
招标文件要求根据数据治理规划成果,对数据集生产加工相关的九个业务域,把数据汇聚、数据处理、元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全管理、数据指标管理、数据服务管理九项内容在数据治理开发工具平台上落地实施。
九个业务域与九项治理内容构成一个 9×9 的落地矩阵。矩阵不是均匀的:不同业务域在不同治理内容上的工作量与优先级差别很大。表 7-1 给出各单元格的实施重点与优先批次,优先批次按三批划分,第一批为数据集加工的必需前提,第二批为治理能力成形所需,第三批为运营与优化所需。
表 7-1 九业务域 × 九项治理内容落地矩阵(单元格内为优先批次)
| 业务域 | 数据汇聚 | 数据处理 | 元数据 | 数据资产 | 数据标准 | 数据质量 | 数据安全 | 数据指标 | 数据服务 |
|---|---|---|---|---|---|---|---|---|---|
| 研发设计 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 生产制造 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 质量管理 | 一 | 一 | 一 | 二 | 一 | 一 | 一 | 二 | 二 |
| 仓储物流 | 一 | 一 | 二 | 二 | 一 | 一 | 二 | 二 | 二 |
| 设备管理 | 一 | 一 | 二 | 二 | 一 | 一 | 二 | 二 | 二 |
| 采购管理 | 二 | 二 | 二 | 三 | 二 | 二 | 二 | 二 | 三 |
| 营销管理 | 二 | 二 | 二 | 三 | 二 | 二 | 一 | 二 | 三 |
| 财务管理 | 二 | 二 | 二 | 三 | 二 | 二 | 一 | 二 | 三 |
| 人力资源 | 二 | 二 | 三 | 三 | 二 | 二 | 一 | 三 | 三 |
排序依据是业务域对四类数据集的贡献度:研发设计、生产制造、质量管理三个域直接产出工艺设计类、制造过程类、产品质量类数据集的主体样本,仓储物流与设备管理支撑供需计划类与设备诊断类场景,其余四个域主要支撑决策指标与通用场景。营销管理、财务管理、人力资源三个域的数据安全排在第一批,原因是这三个域集中了 L4 与 L5 数据(客户信息、价格与成本、人员信息),分级与权限须先行。
招标文件要求九项内容在数据治理开发工具平台上落地实施。治理平台作为奔牛数据智能平台的治理组件部署,承担元数据、标准、质量、安全策略、资产目录、指标、服务七类治理对象的集中管理,以及汇聚与加工任务的调度与监控。平台的功能模块划分、界面设计与操作流程在「数据集运营平台」一节论述;数据集加工生产的七个生产环节在「四大数据集加工生产总述」及其分节论述。本节讲的是治理实施在平台上的落地方式与各侧责任边界。
责任边界须一次说清,因为治理实施牵涉源系统、治理平台、加工链路、应用侧四方。
图 7-1 治理实施的四侧责任边界与数据流向。数据来源:招标文件第五章 3.2.6.1.2 实施要求与 3.2.6.1.1 规划成果。
四侧边界中有三条须在实施启动前与甲方书面确认,否则实施推进会反复停顿。
第一条是源系统接口的开通范围与配合责任。本项目所需的是按已授权数据域开放只读接口或数据库只读视图,不替换、不重建任何一套业务系统。接口开通涉及原厂配合的,配合方式与工作量须另行确认。
第二条是源头数据错误的处置责任。治理侧负责发现、定位、通知与在服务侧降级维持可用,数据内容的更正由业务归口部门执行。这条边界决定了质量问题整改台账中「责任部门」一列的填法。
第三条是采集范围扩展的现场条件。设备侧采集点位的布设与改造涉及生产现场,停机窗口与施工条件由甲方确认,扩展清单以现场勘察结论为准。
数据汇聚解决「数据从哪来、怎么进来」。实施内容包括源清单确认、接入通道建设、增量机制配置、时间基准统一、接入质量入口校验。
源清单按九个业务域梳理,覆盖设计与工艺、物料与库存、工单与报工、检验与不合格品、采购与供应商、设备与测点、公文与合同、项目与商机、在役装备运维各类承载系统。各系统的具体接入方式、增量口径与对接推进安排在「数据资源采集接入」一节论述,本节不重复展开。
本节要落实的是汇聚环节的治理动作,共四项。接入对象登记进元数据,包括源系统、对象、字段、类型、更新频率、负责人;字段按数据元标准做映射登记,无对应数据元的新建数据元草案;按分级标准标注接入字段的安全级别,L4 与 L5 字段的接入须单独审批;接入任务配置入口校验规则与数据量异常告警。四项动作未完成的接入对象,不进入下一环节的加工。
对时序数据与图纸类数据,汇聚环节另有两项专门要求。时序数据须在接入时完成时间基准校正并记录各源的时钟偏差。图纸类数据的解析在内网就地进行,解析产物(图元、尺寸、标注、图层、线型、视图投影关系)作为新的数据对象登记元数据,与原始图纸建立血缘关系,使后续工艺类样本的每一个特征都可回溯到图纸上的具体图元。
数据处理解决「数据怎么变得能用」。实施内容按四类处理动作组织。
结构化归一处理:按码表做值域归一,按映射规则做单位与口径换算,按主数据做关联键补全。关联键补全是本项目工作量最大的一项,因为甲方现状中图纸与工艺卡配对关系、焊接参数与焊道对应、热处理炉次与工件和材料批次关联、故障记录与数据段配对均未建立。补全的办法按对象分别设计:有确定性规则可依的(图号与版本对应卡片编号)按规则补全并抽样核验;只能按时间窗与设备位置推断的(焊接参数与焊道)按推断规则补全并标注置信度,置信度低的样本在数据集加工时降权或排除。
文档与图纸解析处理:按文档类型分流解析,输出结构化段落、表格、符号与图元。工艺规程中的粗糙度、坡口、倒角、公差等符号表达须解析为可计算的加工要求,这部分技术实现在「数据加工生产一」一节论述。
时序处理:重采样与对齐、缺段标注、异常点标注、工况分段。工况分段对设备诊断类数据特别重要,因为刮板输送机在井下被液压支架推移、被采煤机在机身上行走,测点信号含有来自其他设备的耦合干扰,不分段直接建模学到的是混合工况下的平均特征。
衍生计算处理:按确定性公式计算衍生字段,例如按中性层公式计算展开长与材料定额。这类计算的要求是同一输入与同一版本必得同一结果且过程可复算,计算所依据的公式版本记录在血缘中。
四类处理动作的共同治理要求是幂等、可重跑、血缘登记完整,见本节第 4 章第 2 节。
元数据管理解决「有什么数据、它从哪来、谁在用」。实施内容是业务元数据、技术元数据、管理元数据三类的采集与维护,以及血缘分析与变更管理。元数据管理办法在「数据治理一」一节交付,本节落实其执行。
业务元数据的采集靠标准建设带动:术语卡、数据元标准、指标卡本身就是业务元数据的主体。技术元数据从源系统字典、数据库目录、加工任务配置自动采集,采集频率按对象变化节奏设定。管理元数据包括责任人、安全级别、质量状态、生命周期状态,由各治理动作写入。
血缘的粒度要求到字段级。字段级血缘是三件事的前提:质量问题的向上溯源、标准变更的影响评估、数据集样本的来源追溯。其中第三件对本项目尤其关键——数据集要做到可溯源,每一条样本须能回答它的各个字段分别来自哪个源系统的哪条记录经过了哪些加工。表级血缘回答不了这个问题。
变更管理的实施要求是:源系统字段变更、加工逻辑变更、标准变更三类事件均触发影响评估,评估结果通知受影响对象的责任人。源系统字段变更的发现依赖技术元数据的周期采集比对,比对发现的未报备变更作为接口协调事项提出。
数据资产管理解决「数据作为资产怎么登记、怎么作价、怎么被用起来」。实施内容是数据资源目录的建设与维护、权属登记、价值评估的执行、资产运营流程的落地。四项办法与规范在「数据治理一」一节交付,本节落实其执行。
数据资源目录按业务域与数据主题两级组织,条目到数据对象。每个条目呈现的信息包括:业务定义、字段清单与数据元引用、数据量级与时间跨度、更新频率与延迟、质量分与评级、安全级别、可用的数据服务、责任部门、申请方式。目录的价值在于让使用方自己能找到并判断数据能不能用,因此目录的质量状态与安全级别两项必须是实时的而非人工填报的——这两项由质量评分与分级标签自动带出。
权属登记须区分原始数据与治理后形成的数据资产。原始数据的来源与存储位置按源系统登记;治理后形成的数据资产,其所有权与使用权按甲方与项目的约定登记,涉及外部数据衍生品的按外部数据台账中的约定登记。
价值评估的执行依赖使用计量数据,计量来源是数据服务调用记录与数据集流通记录。首轮评估在首批数据服务运行满一个季度后开展,此前不作评估,理由是没有使用数据的价值评估只能靠主观打分。
数据标准管理在平台上的落地形态是四件事:标准的在线维护与版本管理、标准到物理字段的映射登记、标准发布时的规则派生、标准变更时的影响评估。四件事的规范在本节第 1 章给出,此处说明平台落地要点。
标准在线维护要支持按业务域分权维护:各域归口部门维护本域术语与数据元草案,数据标准管理员审核发布。这一安排是为了让标准维护的工作量分散到业务侧,由项目组集中维护的标准体系在项目结束后往往难以持续。
映射登记支持两种来源:从技术元数据自动推荐(按字段名与类型相似度)与人工确认。自动推荐降低登记工作量,确认权在人。推荐的准确率在首批登记后统计并作为推荐规则调优依据。
规则派生与影响评估的机制见本节第 1 章第 8 节。
数据质量管理在平台上的落地形态是规则库维护、稽核调度、异常台账、评分看板、问题工单五个部分,对应本节第 2 章的五环闭环。实施要点有三。
规则的分权维护与标准同理:各域业务人员可提报规则需求并参与阈值设定,数据质量管理员审核入库。阈值由业务参与设定这一点很重要,技术侧定的阈值往往与业务容忍度不符,导致大量误报。
稽核调度与加工调度解耦。质量稽核作为独立任务运行,不嵌在加工任务内部,这样稽核规则的调整不需要改动加工任务,稽核失败也不会直接导致加工任务失败——由入口校验按严重级决定是否阻断。
评分看板按三个视角呈现:业务域视角给管理层看趋势,数据对象视角给数据责任人看明细,规则视角给质量管理员看规则有效性。三个视角用同一套底层数据,避免出现口径不一的几张报表。
数据安全管理在平台上的落地形态是分级标签维护、权限策略配置、脱敏规则配置、审批流程、审计日志与分析五个部分,对应本节第 3 章。实施要点有三。
分级标签的落地粒度到数据元并向上汇总到数据对象与数据集。数据对象的级别取其字段级别的最高值作为默认值,数据集的级别按聚合后敏感度单独定级,不取最大值,理由见本节第 3 章第 1 节。
权限与脱敏策略由分级标签驱动自动生成默认策略,再由安全管理岗按业务需要调整。自动生成的作用是保证新纳管对象不会因为漏配策略而处于无保护状态——默认策略按级别从严,调整只能往宽且须记录理由。
审计日志的采集范围、分析模型与追溯核验要求见本节第 3 章第 3 节。平台侧落地要注意一点:日志量会很大,须按级别分别设定采样与留存策略,L3 及以上全量留存,L1 与 L2 可按采样留存,避免日志存储成本挤占数据存储资源。
数据指标管理在平台上的落地形态是指标卡维护、指标计算配置、指标血缘、口径一致性校验四个部分。实施要点有二。
指标计算须与指标卡声明的计算逻辑一致,不允许在计算任务里写一套、在指标卡里写另一套。落地做法是指标卡的计算公式以指标标识书写并由平台翻译为计算逻辑,而不是由开发人员按文字描述自行实现。这是本项目防止口径漂移的主要手段。
口径一致性校验在指标发布前运行,检查三件事:是否存在同名不同口径的指标、维度取值是否全部引用已发布码表、来源数据元是否均已发布。三项任一不过则指标不予发布。
决策指标体系的指标选取与问答场景设计在「五个通用场景验证方案」一节论述。
数据服务管理在平台上的落地形态是服务目录、服务发布与下线、契约与版本管理、鉴权与限流、调用计量与监控五个部分,规范见本节第 5 章第 4 节。实施要点有二。
服务发布须与资源目录联动:服务发布时自动在对应数据对象的目录条目上挂出可用服务,服务下线时同步撤出。两边脱节会出现目录里写着有服务、实际已下线的情况。
调用计量数据同时供三方使用——资产价值评估、安全审计、容量规划,因此计量记录的字段设计须一次满足三方需要,见本节第 5 章第 4 节。
上述九项的实施不停在原则层面。表 7-2 逐项给出平台上的配置步骤与一个本项目的数据处理实例,表 7-3 逐项给出常态运行记录与权限职责分工;验收用例与回退方法在第 7.8 节逐项给出。三张表与本节的九个小节一一对应,构成每一项治理内容从配置、运行到验收的完整约定。
表 7-2 九项治理内容的平台配置步骤与数据处理实例
| 治理内容 | 平台配置步骤 | 本项目的数据处理实例 |
|---|---|---|
| 数据汇聚 | 登记源系统与只读接入账号;定义接入对象与字段并映射数据元;配置增量口径与时间基准;配置入口校验规则与数据量异常告警;试运行三个批次后转常态调度 | 制造执行系统工单表按工单更新时间做增量接入,接入时校正该源与统一时间基准的时钟偏差并记录偏差值;入口校验工序代码、设备编码、报工时间三项非空;当日增量量级偏离近三十日均值超出设定幅度时告警并暂停下游加工 |
| 数据处理 | 按处理类型选模板;配置幂等键与重跑窗口;配置归一与补全规则;登记字段级血缘;通过评审检查点后发布 | 焊接参数流按设备位置与时间窗与焊道标识对齐,对齐结果写入置信度字段:规则唯一命中的记为高,时间窗内存在多个候选焊道的记为中并保留候选清单,无候选的记为低且不进入成对样本 |
| 元数据管理 | 接入源系统字典与数据库目录;配置采集频率;配置血缘解析范围;配置变更比对与通知规则 | 每日比对源系统字典快照,发现新增或变更字段即生成变更事件,按血缘定位受影响的加工任务与数据集,通知责任人并把未完成影响评估的下游任务挂起 |
| 数据资产管理 | 定义目录分类树;配置条目字段与自动带出项;登记权属;配置价值评估所需的计量取数 | 资源目录中「热处理炉次」条目的质量分与安全级别由评分与分级标签实时带出,人工只维护业务定义与申请方式;条目上挂出该对象可用的接口服务与文件服务 |
| 数据标准管理 | 建标准库与版本策略;配置分权维护范围;配置映射自动推荐;配置发布时的规则派生;配置变更影响评估 | 数据元「材质牌号」发布后自动派生空值、格式与值域三条校验规则并下发稽核;该数据元值域扩充时,引用它的物理字段映射与已派生规则一并进入复核队列,复核通过后随新版本生效 |
| 数据质量管理 | 按模板建规则;配置阈值与严重级;配置稽核任务与调度;配置评分权重与看板;配置工单流转 | 「三方库存数量比对」规则按物料编码与统计时点关联企业资源计划账、仓储实物账与盘点结果,容差按计量精度设定;超差记录生成告警级工单并带出差异明细与涉及记录数 |
| 数据安全管理 | 登记分级标签;由标签生成默认权限与脱敏策略;配置审批链路由;配置水印与导出通道;配置日志采样与留存 | 「矿方客户联系人」字段定为 L4,默认策略为仅归口部门可见、对外服务一律脱敏;分析场景提出使用申请并经三级审批后,签发限定字段与期限的凭据,导出件带可反查到该凭据的水印 |
| 数据指标管理 | 建指标卡;以指标标识书写计算公式;配置计算任务与刷新频率;配置发布前口径一致性校验 | 「库存周转率」指标卡写明分母取期初期末平均并扣除项目专用占用,公式引用三个数据元标识;发布前校验命中同名不同口径的既有指标,既有指标置为待裁决,两者均不予发布直至裁决完成 |
| 数据服务管理 | 登记服务与契约;配置鉴权与限流;配置与资源目录的联动;配置调用计量;配置服务等级与降级策略 | 「工艺卡片查询」接口按凭据鉴权并按受众返回不同脱敏结果,每次调用记录凭据标识、数据范围与返回量;服务下线时资源目录条目上的该服务自动撤出,避免目录与实际脱节 |
表 7-3 九项治理内容的常态运行记录与权限职责
| 治理内容 | 常态运行记录 | 权限与职责分工 |
|---|---|---|
| 数据汇聚 | 接入任务运行日志、批次量级与时延记录、入口校验命中记录、失败与重试记录 | 项目组数据管理岗建设与值守;源系统侧按已授权范围提供只读接口并保障接口可用;接入账号一律只读,权限按对象授予而非按库授予 |
| 数据处理 | 任务运行与重跑记录、字段级血缘登记记录、补全置信度分布、抽样核验记录 | 开发人员提交任务,数据管理岗评审并发布,直连生产库的另经安全管理岗审批;重跑权限仅授予数据管理岗且须声明重跑区间 |
| 元数据管理 | 元数据采集日志、变更事件与通知记录、血缘覆盖率统计、未报备变更清单 | 技术元数据自动采集;业务元数据由各域归口部门维护;管理元数据由各治理动作写入,不开放人工直接修改 |
| 数据资产管理 | 目录条目变更记录、权属登记记录、使用计量汇总、价值评估记录 | 目录由数据管理岗维护、责任部门确认;权属登记经招标方资产归口确认;评估结果报数据治理管理层审议 |
| 数据标准管理 | 标准发布与版本记录、映射登记与确认记录、规则派生记录、变更影响评估记录 | 各域归口部门维护本域草案,数据标准管理员审核发布;发布权限集中、维护权限分散,使标准工作在项目结束后仍可由业务侧承接 |
| 数据质量管理 | 稽核运行记录、异常台账、质量评分与月度报告、问题工单与复核记录 | 业务人员可提报规则需求并参与阈值设定;数据质量管理员审核入库;阻断级规则经数据治理管理层确认;整改由责任部门执行并留痕 |
| 数据安全管理 | 分级登记与复评记录、授权与回收记录、脱敏与水印执行记录、审计日志 | 安全管理岗配置策略,数据责任人审核必要性,L4 与 L5 经数据治理管理层审批;审计日志独立权限,运维账号只读,业务账号不可删改 |
| 数据指标管理 | 指标发布记录、口径一致性校验记录、指标计算运行记录、口径裁决记录 | 口径核定权在指标归口部门,发布权在数据标准管理员,计算配置权在数据管理岗;三权分置,避免口径被单方改写 |
| 数据服务管理 | 服务发布与下线记录、契约版本记录、调用计量与监控记录、降级与容量记录 | 服务责任部门确认发布,安全管理岗核定级别与脱敏策略,网关统一承担鉴权与限流;消费方只持授权凭据,不持底层库账号 |
九项治理内容是横向能力,九个业务域是纵向对象。横向能力在各域落地时的重点不同,下面逐域说明。各域的工作均包含汇聚、处理、元数据登记、标准映射、质量规则、分级标注六项基础动作,此处只写该域的特殊之处。
研发设计域。核心对象是图纸、物料清单、工艺文件与产品谱系。实施重点有三:建立图号与版本的唯一标识体系并打通与物料编码的对应;建立图纸与工艺卡片的配对关系,这是约 63 万张历史图纸形成成对监督样本的前提;把工作面工况参数(产量与作业制度、地质与煤质、截深截高推移步距等接口参数)结构化登记,这类参数在甲方现状中往往只存在于多方会商过程中而无规范电子留痕,实施时须与业务部门确定补录范围与补录方式。该域的质量重点是图号与版本的准确性和配对覆盖率;安全重点是选型校核公式与修订参数按 L5 管控。
生产制造域。核心对象是施工号、工单、工序、报工、工艺执行记录、热处理炉次、焊接过程参数。实施重点有四:建立工序主数据与工序代码体系,把 28 道备料工序及其余工序在总工艺路线与各车间卡片之间的名称差异归一;建立炉次与装炉工件清单、材料批次、设定程序、实际温度曲线、检验结论的串联关系;建立焊接参数流与工件标识、焊道标识的时间窗对齐机制;对报工时点相对实际作业的滞后做量化刻画,作为制造过程类样本时间字段可信度的依据。该域规则数量最多,质量重点是完整性、及时性与跨系统一致性;安全重点是关键工艺参数窗口按 L5 管控。
质量管理域。核心对象是检验项目与记录、交检拍照、质量报告、不合格品与返修票据。实施重点有三:建立检验项编码体系并与工艺标注的关键工序、重要尺寸建立对应,使工艺要求与检验执行可以逐项核对;把自由文本的缺陷描述按聚类结论归一为缺陷类型代码,这是质量类数据集标签体系的来源;把不合格品票与返修记录的流转结果回填到工件与工序上,形成可用的结果标签。该域的质量重点是准确性与配对完整性。
仓储物流域。核心对象是实物库存、批次、库位、物料流转。实施重点有二:打通企业资源计划库存账、仓储管理实物库存与项目占用三者的时点口径,这是库存三方比对与库存控制场景的前提;建立批次号在采购到货、入库、领用、热处理装炉之间的贯通,使材料来源可追溯。该域的质量重点是一致性与唯一性。
设备管理域。核心对象是设备台账、测点配置、时序数据、报警记录、维修工单与备件。实施重点有三:建立设备编码与测点标识体系,并把炉台、焊接产线、自动化产线设备、在役装备纳入同一编码空间;建立测点可信度评价机制,识别断链、漂移与失效测点,这是设备诊断类样本输入可信的前提;把服务工单与备件出库记录回填到报警事件上,逐步积累故障与数据段的配对样本。该域的质量重点是及时性与准确性;该域数据量级最大,须注意存储与计算成本。
采购管理域。核心对象是供应商、采购订单、到货批次、采购价格与周期。实施重点有二:建立供应商主数据并与材料批次来源关联;把采购价格与周期数据的口径统一,供库存控制场景的采购时机判断使用。该域的安全重点是价格与成本按 L5 管控。
营销管理域。核心对象是客户、矿方项目、商机、销售预测、合同与交付节点。实施重点有二:建立客户与项目主数据,并与施工号建立唯一对应;把销售预测与需求计划的口径对齐,供供需计划类数据集与库存控制场景使用。该域的安全重点是矿方客户信息与矿井位置按 L4 管控,去标识后方可进入数据集。
财务管理域。核心对象是科目、成本中心、物料价格、项目成本归集。实施重点有二:建立物料价格的权威源并解决企业资源计划与财务两侧价格不一致的问题;建立项目成本归集口径,供选型场景的参考报价核算使用。该域的安全重点是成本构成与项目报价按 L5 管控。
人力资源域。核心对象是组织、岗位、人员、技能资质、班组与排班。实施重点有二:建立组织与岗位编码,作为权限模型与责任留痕的基础,这一项是其他八个域的权限管理与操作留痕的前提,因此虽然该域在数据集贡献上权重最低,组织与岗位主数据的建设须排在第一批;按个人信息保护要求对人员数据做分级与去标识,人员数据原则上不进入数据集,确需使用的以去标识后的岗位与技能属性形式使用。
治理动作落在单一域内时流程清楚,跨域时容易停在无人裁决的状态。本项目把五类跨域情形写成固定流程,每一条都明确触发、定位办法、裁决人、执行动作与完成标志。五条流程共用同一条骨架:触发登记、定位影响面、裁决与处置、回写与验证。
图 7-2 五条跨域处置流程的共用骨架与各自的处置动作。数据来源:招标文件第五章 3.2.6.1.2 实施要求与 3.2.6.1.1.2.5 至 3.2.6.1.1.2.9 各域管理要求。
跨域规则冲突。同一数据对象被两个域的规则同时约束而结论相反,是规则库规模上来之后必然出现的情形。典型如:标准域要求物料编码一物一码,而仓储域的历史实物账中同一物料存在两条在用编码;安全域要求某字段对外服务一律脱敏,而质量域的跨系统比对规则需要该字段明文参与比对。处置办法是:冲突由稽核结果或配置校验自动识别并登记为冲突单,由数据标准管理员与数据安全管理岗联合定位涉及的规则、对象与业务流程,提交数据治理管理层裁决;裁决结论写入规则元数据的例外说明,涉及的规则同步更新并复跑一次稽核,复跑结果与裁决结论一并归档。裁决未出之前,按从严一方执行,不以任一方单独放行。
历史数据修复。标准发布、口径调整或规则修订之后,存量数据往往不符合新口径。不加区分地全量重算代价高且会打断在产的数据集加工,因此修复按影响面分级处理:由血缘定位受影响的物理字段、加工任务与已交付数据集,按三档确定范围——影响数据集样本标签的全量重算,影响统计口径的按期段重算,仅影响展示的不重算而在资源目录标注口径变更时点。重算结果标注修复批次号并在血缘中登记,已交付的数据集按版本追加修订说明,不覆盖原版本。修复期间原口径数据继续可用并标注口径标识,避免下游在两套口径之间无法分辨。
外部数据的共享限制传导。外部数据的许可范围是一组限制,这组限制必须传导到由它衍生出来的每一件产物上,否则限制在第一次加工之后就失效了。处置办法是:外部数据台账中的许可范围在引入时即写入数据卡,加工任务按血缘把限制标识传递给衍生对象与数据集;开放授权与服务发布时,平台按限制标识自动收紧可选的受众范围与交付形态,许可不覆盖的组合不出现在可选项中。许可条款发生变化的,按血缘反向定位全部衍生物并逐件复核,复核结论回写台账与数据卡。
退役清理。退役不只是删一份数据,而是要把这份数据在资源目录、元数据血缘、质量规则、服务目录、授权凭据五处的痕迹一并处理干净。处置办法是:退役处置单发起后,由血缘自动列出下游引用清单,下游仍有引用的挂起处置并生成下游改造任务;改造完成或下游书面确认可接受数据缺失后,按归档或销毁路径执行,销毁范围须逐项列出副本清单并逐项确认;执行完成后,资源目录条目置为退役、血缘节点置为历史态、相关质量规则停用、相关服务下线、相关授权凭据回收,五处回执齐备方可关闭处置单。
权利撤回的传播。外部数据供方撤回授权、个人信息主体撤回同意、合作方终止数据提供,三类情形的共同要求是撤回必须传播到全部副本与衍生品。处置办法是:撤回登记后立即冻结相关数据对象的全部授权凭据与在用服务,由血缘列出副本、衍生对象与已交付数据集;按撤回的法律效力确定处置方式——要求删除的,副本与衍生品按约定清除并出具处置回执;仅要求停止新增使用的,存量保留但标注停用并从后续加工中排除。涉及已交付数据集的,按数据卡中的回退约定执行并通知使用方。处置全过程留痕,回执作为合规证据归档。
五条流程的触发、定位办法、裁决人与完成标志汇总见表 7-4,表中各项即为跨域处置的作业约定。
表 7-4 五条跨域处置流程的触发、裁决与完成标志
| 流程 | 触发情形 | 定位办法 | 裁决或审批 | 完成标志 |
|---|---|---|---|---|
| 跨域规则冲突 | 稽核结果相互抵触;策略配置校验报冲突 | 按规则元数据与对象清单列出涉及的规则、字段与业务流程 | 数据标准管理员与安全管理岗联合提报,数据治理管理层裁决 | 裁决结论写入规则例外说明;规则更新并复跑一次稽核;冲突单归档 |
| 历史数据修复 | 标准发布、口径调整、规则修订 | 按字段级血缘定位受影响的字段、任务与已交付数据集 | 修复范围由数据管理岗提出,数据治理管理层确认 | 按三档范围完成重算并标注修复批次;数据集追加修订说明;原口径标识清除 |
| 外部共享限制传导 | 外部数据引入;许可条款变更 | 按血缘列出全部衍生对象、数据集与在用服务 | 合规责任岗核定限制范围,管理层批准引入或变更 | 限制标识随血缘传递到位;授权与服务的可选项已按限制收紧;台账与数据卡同步 |
| 退役清理 | 保留期到期、业务下线、系统替换、评估判定无保留价值 | 按血缘列出下游引用清单与副本清单 | 归档经数据管理岗审批;销毁经安全管理岗与管理层双签 | 目录、血缘、质量规则、服务、授权凭据五处回执齐备;销毁证明出具 |
| 权利撤回传播 | 供方撤回授权、个人撤回同意、合作终止 | 按血缘列出副本、衍生对象与已交付数据集 | 合规责任岗认定法律效力,管理层批准处置方式 | 凭据与服务已冻结;副本与衍生品按认定方式清除或停用;处置回执归档 |
五条流程的共同点是以血缘为定位手段。血缘登记不到字段级,五条流程的第二步都无法执行,这也是第 7.3 节把字段级血缘列为加工任务发布前提的原因。
五项专项规划之间是单向依赖关系,依赖决定实施动作的先后与各项成果的发布时点。数据标准先行:数据元与值域一经发布,质量校验规则才有判定依据;标准未发布的对象,规则只能停在空值率一类浅层检查上。数据安全的分级标签是权限、脱敏、审计三类管控策略的输入;分级未定,防护策略只能按系统边界粗粒度下发。数据生存周期把标准与质量的要求嵌进需求、设计开发、运维、退役四个阶段的动作里,承接前两项的输出并把要求转为过程中的检查点。数据应用流通是出口,决定治理后的数据以什么形态、按什么权限、向谁提供,其服务标准与开放授权规则以前三项的成果为判据。规划成果交付贯通五项,按各项的发布时点出具文档并留存签审记录。
上游四个规划域为本章五项专项规划提供输入:现状评估给出数据资产盘点结论与能力差距清单,数据战略给出重点任务与资源投入,数据治理组织与制度给出归口责任与审批层级,数据架构与数据资产给出模型分层、数据流图与资源目录。四个域的规划成果在「数据治理规划(一)」一节交付,其发布时点先于本章首批标准的发布;上游成果未到位的业务域,本章按表 7-5 的过渡办法推进,不以等待为由停止该域的治理动作。
表 7-5 五项专项规划的依赖关系、输出与发布时点
| 规划域 | 上游输入 | 本域输出 | 下游用途 | 发布时点 | 上游未到位时的过渡办法 |
|---|---|---|---|---|---|
| 数据标准 | 资产盘点清单、数据模型分层、各域归口责任人 | 五类标准、代码值域字典、标准映射对照表 | 质量规则的判定依据;元数据登记的字段口径 | 首批标准随第一阶段发布,其后按季滚动补充 | 归口未定的域由项目组出草案并标注非标,核定后转正式发布 |
| 数据质量 | 数据元与值域、主数据关联键、业务质量诉求 | 质量需求清单、六维度校验规则库、评分与评级口径 | 加工入口门控;质量问题整改台账 | 首批规则随第一阶段入库并投入稽核 | 标准未覆盖字段先按源系统现行口径建规则,标准发布后重派生 |
| 数据安全 | 资产盘点清单、合规差距清单、组织与岗位主数据 | 分级标准、权限管理规范、防护与审计要求 | 权限、脱敏、水印、审计四类策略的下发依据 | 分级标准与权限规范随第一阶段发布 | 未定级对象按候选最高级从严管控,定级后按实际级别放宽 |
| 数据生存周期 | 数据标准、质量规则、分级标签 | 需求管理规范、设计开发规范、运维制度、退役规范 | 四阶段动作的检查点与留痕要求 | 需求与开发规范随第一阶段发布,运维与退役规范随第二阶段发布 | 规范发布前的在途任务按评审检查点逐项补做并记录例外 |
| 数据应用流通 | 质量评分、分级标签、资源目录与服务目录 | 外部数据引入办法、开放共享规范、数据服务标准 | 服务发布、开放授权、外部数据引入的判据 | 随第二阶段发布,先于首批数据服务上线 | 规范发布前的开放申请按逐事项审批处理,发布后统一登记补齐 |
图 7-3 五项专项规划的依赖链与数据安全域的贯穿关系。数据来源:招标文件第五章 3.2.6.1.1.2.5 至 3.2.6.1.1.2.9 各域输出要求。
依赖关系落到实施步骤上是五步:第一步按资产盘点清单确定首批纳管对象,第二步为纳管对象登记数据元并标注安全级别,第三步按已发布标准派生首批质量规则并投入稽核,第四步把标准、规则与分级要求配置为生存周期四阶段的检查点,第五步按服务标准发布首批数据服务并开通开放授权。五步之间以前一步的登记完整率为放行条件,未达放行条件的对象顺延至下一批,不跳步推进。三阶段的时间安排与阶段门禁见第 7.7 节。
实施按三个阶段推进,阶段划分的依据是数据集加工对治理成果的依赖顺序:第一阶段交付加工所必需的标准、分级与质量规则并完成重点域汇聚;第二阶段补齐治理能力的其余部分并支撑首批数据集与场景验证;第三阶段转入常态运营、DCMM 评审与优化。
图 7-4 数据治理实施的三阶段路径、阶段门禁与贯穿动作。数据来源:招标文件第五章 3.2.6.1.2 实施要求与第 3 章建设周期要求。
表 7-6 给出各阶段的主要工作项与完成标志。具体日期在合同签订后按项目总体计划排定,本表给出的是阶段顺序与完成标志,项目管理的进度计划与资源安排在服务方案「项目管理措施」一节论述。
表 7-6 实施阶段工作项与完成标志
| 阶段 | 主要工作项 | 完成标志 |
|---|---|---|
| 第一阶段 | 现状评估;标准管理办法与首批标准发布;分级标准与权限规范发布;首批质量规则入库并投入稽核;研发设计、生产制造、质量管理、仓储物流、设备管理五域汇聚 | 加工所依赖字段的数据元与分级标签登记完整;首批规则稽核运行并出首轮扫描结果 |
| 第二阶段 | 指标标准与首批指标发布;运维制度、退役规范、外部数据与开放规范发布;资产目录与服务目录上线;其余四域汇聚;质量评分与月度报告常态化 | 质量评分基线出具;首批数据服务通过验收;治理文档第二阶段件全部提交评审 |
| 第三阶段 | DCMM 评审证据包整理与贯标支撑;质量目标分期达成;资产运营与流通授权;文档滚动优化;运维与管理能力移交培训 | 评审证据包齐备;质量目标按季度达成情况有记录;移交培训完成并通过考核 |
治理实施的验收不以「文档交齐」为唯一标志,而以可核查的运行状态为标志。表 7-7 逐项给出验收口径、可当场执行的验收用例与不达标时的回退方法。验收用例的作用是让验收有可重复的操作:按用例执行一遍,结果与口径一致即为通过,不以说明材料代替执行结果。
表 7-7 九项治理内容的验收口径、验收用例与回退方法
| 治理内容 | 验收口径 | 验收用例 | 不达标时的回退方法 |
|---|---|---|---|
| 数据汇聚 | 纳管对象的接入任务稳定运行;接入对象的元数据、标准映射、分级标签、入口校验四项登记完整 | 任取三个已纳管对象,核对其元数据、标准映射、分级标签、入口校验四项登记是否齐备,并复算当日增量批次量级与源系统侧是否一致 | 未完成四项登记的对象不进入加工,列入下期纳管清单 |
| 数据处理 | 加工任务幂等可重跑;血缘登记到字段级;关联键补全的抽样核验结果达到约定水平 | 任取一个加工任务按同一输入重跑,核对两次结果完全一致;任取二十条样本,逐条回溯到源系统字段 | 置信度低的补全结果标注后降权使用,不进入高要求样本 |
| 元数据管理 | 纳管对象的三类元数据齐备;字段级血缘可回溯到源系统字段 | 任取十条数据集样本,逐条展示其各字段的来源链路直至源系统记录;在源系统侧改一个字段类型,核对变更事件与影响通知是否生成 | 血缘不完整的对象在质量溯源中标记为不可溯源,优先补齐 |
| 数据资产管理 | 资源目录条目完整且质量分与安全级别实时带出;权属登记完整 | 任取五个资源目录条目,核对其质量分与安全级别是否与当期评分、分级标签实时一致;核对权属登记项是否齐备 | 使用计量不足一季度的对象暂不作价值评估 |
| 数据标准管理 | 五类标准按节点发布;映射登记覆盖已纳管对象;标准变更有影响评估记录 | 任取一个数据元执行一次值域扩充,核对规则重派生记录与下游影响评估记录是否同时生成,映射是否进入复核队列 | 未覆盖对象按原口径使用并标注非标,列入下批标准化范围 |
| 数据质量管理 | 规则库投入运行;质量评分与月报按期出具;问题闭环有台账 | 对一条阻断级规则构造一条违例记录,核对告警、工单分派、整改复核、归档四段留痕是否完整,复跑是否自动触发 | 质量未达门限的数据按置信标记降级输出,不直接中断数据集加工 |
| 数据安全管理 | 分级标签登记完整;权限与脱敏策略由标签驱动;审计日志可追溯性抽样核验达到约定水平 | 以无权限账号申请读取一个 L4 字段,核对是否被拒绝并留痕;按正常流程授权后导出,核对脱敏结果与水印能否反查到该凭据 | 可追溯性不足的级别暂时收紧授权方式,同步补齐日志字段 |
| 数据指标管理 | 发布指标有指标卡且口径可追溯到数据元;同名不同口径指标为零 | 提交一个与已发布指标同名而口径不同的指标,核对发布是否被拒绝并进入口径裁决清单;任取一个已发布指标,核对其口径能否追溯到数据元 | 口径未定的指标置为暂不发布,不以含混口径对外提供 |
| 数据服务管理 | 服务目录与资源目录联动;服务按 SLA 级别运行;调用计量完整 | 下线一项服务,核对资源目录条目上的该服务是否同步撤出;发起超出限流阈值的调用,核对是否被限流且调用计量记录完整 | 三级服务在资源紧张时降级,一级服务优先保障 |
表中各项「约定水平」属招标文件未规定的过程优化目标,在实施启动阶段依据现状调查与首轮基线测试确定,确定后写入项目质量计划,按季考核并留存达成记录。招标文件已明定的指标按招标要求承诺并纳入验收,不随基线测试结果调整;两类目标的区分口径见第 2.3.2 节。
治理实施的推进依赖若干外部前提,这些前提不成立时的应对安排须事先说清,而不是在实施中临时商议。
表 7-8 实施前提条件与风险应对
| 前提条件 | 不成立时的影响 | 应对安排 |
|---|---|---|
| 源系统按已授权范围开放只读接口,涉及原厂的配合到位 | 相关业务域无法汇聚,依赖该域的数据集样本量不足 | 按域分批推进,优先推进已可开通的域;未开通的域以现场导出或离线交换作为过渡方案,并在数据卡中记录来源方式;接口协调事项按月与甲方对接 |
| 设备侧采集范围扩展具备停机窗口与施工条件 | 时序与图像类数据覆盖不足,设备诊断与焊接类样本量受限 | 首期以试点炉型、试点产线与试点车间为准,扩展清单以现场勘察结论为准;覆盖不足的部分在数据集规模中按实际可得量核算 |
| 各业务域归口部门确定并能承担标准与质量的核定工作 | 标准无法发布,质量阈值无业务依据 | 在第一阶段开展数据管理能力培训与责任人确认;归口未定的域由项目组先出草案,核定完成后发布,期间该域数据按非标标注使用 |
| 历史主数据的追认与补证由业务部门确认 | 主数据审批流程记录无法形成 DCMM 可查阅证据 | 按追认、依据补录、正常流程三类分列呈现真实状况;未完成的域在诊断报告中列明并排入下一阶段 |
| 重要数据识别结论与报备口径经甲方主管部门确认 | 重要数据的管控与流通边界不明 | 先按本节分级标准的候选范围从严管控;报备口径以甲方主管部门意见为准,确认后调整 |
| 外部数据的许可范围覆盖模型训练与商业使用 | 含该外部数据的数据集合法性受牵连 | 引入阶段即核查授权链与许可范围,许可不覆盖的终止引入并清除已接入副本;衍生品到期处置方式在采购阶段列为必谈条款 |
六项前提中,前两项是本项目推进节奏的主要变量。本节的处理方式是把它们明确为前提而非隐含假设,并给出过渡方案与量化口径的调整办法,使实施进度与数据集规模的关系可以随前提的落实情况被重新核算,而不是在交付时才发现差距。
招标文件在数据集场景验证服务要求的开篇写明:本项目不负责智能场景的建设,只负责场景验证服务。本包据此交付的是一套可执行、可见证、可复核的验证工作:用本项目建设的四大数据集,证明这些数据喂给模型与智能体之后,十一个场景所列的能力达到了约定的可用水平,并把证明过程做成可追溯、可复用的工程资产。其中六个专业场景的验证方案见第 2 节,五个通用场景的验证方案见本投标文件「五个通用场景验证方案」节,两节共用同一套方法框架、同一套判据体例与同一套报告体例。
本服务的交付责任分五项,逐项写明接收方与产出物,作为验收与争议裁断的依据。
数据读取责任。我方按甲方授权从源系统只读取数,不改写源系统任何数据。取数方式按只读接口、数据库只读视图、受控文件导入三种并存,字段定义先行统一;每一次取数记录数据时点、取数方式、授权依据与经手环节。取数范围限于验证所需的业务对象与字段,超出范围的数据不取。
验证执行责任。我方承担验证方案与用例集设计,验证用数据资产(金标准集、回放窗口、构造样本、对照实验配比方案)的建设与隔离管理,验证台的搭建、验证环境的数据准备与模型接入,以及按冻结用例集在评测沙箱内的执行与过程留痕。执行条件(数据集版本、模型版本、判据版本、随机种子与采样参数)在执行前登记并在执行时由见证岗位核对。
结果复核责任。我方对每一项验证结论按三级复核后出具:执行自检、非本场景人员交叉复核、出具前由方法与判据角色复核结论句与数据的一致性。复核记录是交付物的一部分,验收时可查。甲方指派业务见证岗位参与执行与判定两步,涉及企业技术权威的判据由甲方相应部门确认后固化。
整改责任。验证失败用例由我方做归因并分两条去向处置:判为数据侧的,转为结构化的数据集改进需求提交数据集加工生产侧,按提交、受理、执行、复测、关闭五态留痕;判为实现侧的,单列移交场景建设方,不进入数据集缺陷统计。属我方责任的部分(标注质量、方法实现、判据口径),由我方在质保期内整改,不另行计费。
复测责任。整改完成后由我方组织复测,复测范围为受影响用例子集与回归子集两部分,不作整批重跑;复测结论与差异说明进复测报告,由甲方确认闭环。复测次数与集中复测安排的口径与本投标文件「数据集质量评测方案」节一致。
与之对应,六个专业场景的功能开发与界面实现、设备控制参数的写入与工艺参数的签发变更、甲方既有业务系统的改造、场景上线后的业务运营决策,由场景建设方与甲方相应部门承担。甲方承担源系统只读接口与数据授权的开通、业务见证岗位的指派、专业判据中依赖企业技术权威部分的确认与提供(选型校核公式的签封版本、正式工艺文件的参数窗口、备料分厂的工序字典、库存的财务计价口径、刮板输送装备的故障名录),以及试点范围的确定,含试点炉型、试点产线、试点车间与跟踪矿点。三方责任的接口关系见图 1-1。
1-1 场景验证服务在本项目中的位置与责任边界
图 1-1 场景验证服务在本项目中的位置与责任边界。数据来源:招标文件 3.2.6.5;采购清单第 5 项、第 7 项。
验证工作以旁路方式运行,边界有三条,三条都在验证台的实现上落到具体约束,而不只是声明。
其一,旁路运行、只读不写。验证台从源系统与数据集中读取数据,不向任何业务系统、设备控制系统或群控系统写入;验证台与生产网络之间按只读方向配置,写入通道在实现上即不存在。
其二,不交付生产态应用。验证台的界面只面向验证执行与见证,不面向业务岗位的日常作业;它不替代场景建设方交付的功能,也不承担上线运行。
其三,结论不直接触发生产动作。热处理的参数建议、焊接的参数推荐与干预判断、库存的补货与调拨建议、健康诊断的处置与备件建议,在验证台里都只到「给出结论并记录」这一步,是否采纳由甲方岗位在其自有流程中决定。焊接场景的受控闭环一级涉及流程动作与参数干预,不在本包验证范围,验证台不执行该级。
与边界相配的是人工通道。六个场景的输出都进入有责任的业务流程,系统不可用、输入不可解析或置信度不足时,须有不依赖本项目成果的人工通道可走;该通道的可用性本身是一项验证内容,板材备料的应急工艺通道即属此类,验证方式是演练而非指标。
场景验证要回答三个层次的提问,三层对应本服务的三条主线:数据就绪度核验、能力项指标验证、数据集贡献度验证。
第一层是数据够不够。某个场景要成立,需要哪些业务对象、哪些字段、什么时间粒度的数据,这些数据当前在哪个系统里、能不能成对、口径是否统一。热处理的炉次与工件、材料批次、实际曲线、检验结果之间若没有稳定的一次一档关联,再好的模型也只能给出批次级的笼统结论;焊接的参数流、熔池视觉与探伤结果若各记一套位置口径,缺陷谱就拼不出来。这一层不过关,后面的指标做出来也无法解释。
第二层是能力达不达标。招标文件逐条列出的验证项(需求解析、参数计算与验算、选型推荐、图纸识别与元素解析、工艺卡片生成、库存评级与需求预测、工艺参数匹配与寻优、质量关联性分析、视觉缺陷检测、规则智能编排、时序模型分析),每一条要在什么样的用例集上、用什么指标、达到什么阈值才算通过。
第三层是数据集到底贡献了多少。场景能力达标可能来自三处:基座模型本身的通用能力、检索到的知识,或者本项目生产的数据集。若不把三者分开度量,验证报告只能说明这套东西能用,说明不了这批数据有用。而招标方购买的是数据集,不是场景系统。因此本方案对每个场景都设计基座裸测、知识检索、数据集微调、子集消融四组对照,用同一套场景基准题集横向评测,输出能力增量而不只是绝对分值。
要验证一项能力,手里须有一个能跑起来的东西。承载三层验证的装置是场景验证台,它由四部分组成:从四大数据集中按场景划取的数据切片;经统一网关接入的基座模型与按本项目数据集适配后的模型版本;按场景装配的验证智能体,负责把一次业务任务拆成可执行、可留痕的若干步;以及一个可复现的评测沙箱,固定题型、判分规则、版本号与随机种子。验证台的产出是能力指标、能力增量、可用性结论与错题归因清单。它的构成与数据流向见图 2-1,三条技术边界如 1.2 节所述。
这一界定对三方各有用处。对招标方,验证结论此后可以复用:场景建设方交付实现之后,同一套金标准集、同一套判据与同一个沙箱可以直接用于验收,不必重新定义指标。对本包,工作量与责任边界清楚:交付验证方案、验证资产、验证执行与验证报告,不交付场景功能。对评标,它说明了「不负责建设」与「须验证能力」之间如何衔接。
验证台所依赖的平台能力不另行建设。模型的训练、对齐、评测与版本管理在本项目行业大模型训练推理技术服务所建的训推平台上进行;数据集的切分、基准构建、评测执行、贡献度归因与版本血缘由本项目九类二十五个智能工具链中相应工具承担;验证过程的留痕、版本与审计记录进入天地奔牛煤机装备数据智能平台(以下简称奔牛数据智能平台)的审计与版本模块统一管理。
场景验证台,指 1.3 节所述的旁路验证装置。全文凡提「验证台」均指此物,不指任何生产态系统。
金标准集,指用于能力项指标计算的冻结样本集,由业务骨干双人独立标注、分歧仲裁后形成,与训练集按来源与时间双重切分隔离。全文凡提「指标在金标准集上计算」,即指本集,不含训练样本。
回放窗口,指完整保留的一批历史真实任务,含当时的原始输入与当时的真实产出。用于端到端任务验证与系统改动后的非预期变化比对。
构造样本,指针对天然稀少而后果严重的情形人工构造或定向检索得到的样本。单独统计,不混入主指标分母。
场景基准题集,指按题型组织、用于四组对照横评的题目集合,不含任何形式的合成数据。它与数据集交付物中的基准测试数据集同源不同用,关系见 2.1.13 节。
基线档与目标档,前者为首轮验证的承诺水平与整改红线,后者为观察期内趋向的水平。两档的判定口径、测量方法与数据来源完全一致,区别只在时点。
对比基线,指当前完全依赖人工经验、无历史指标可比的验证项所采用的判据方式,写成「在同一历史窗口上不劣于企业现行做法,并给出改善幅度」。采用这一方式的项,第一步工作是把现行做法的水平统计出来。
分档,指 A 完整、B 受限、C 只做管理三档,通用口径见表 2-3,各场景在其数据条件上具体化。全文凡提「按受限档执行」,即指 B 档。
确定性判据与统计性判据,前者用于有唯一正确答案且算法明确的计算,容差写到数量级;后者用于有多个可行答案而有优劣之分的推断,配可解释率。两者在指标表中分列,不合并统计。
三元标识,指数据集版本指纹、模型版本、判据版本三者的组合,每一次验证运行均绑定,用于前后比对与指标归因。
称谓口径:招标方称甲方,我方称我方或项目组,六个专业场景的功能实现方称场景建设方。平台统一称奔牛数据智能平台,全称天地奔牛煤机装备数据智能平台已在 1.3 节首次出现时给出。模型按「当期能力评测领先的通用大模型,经统一网关接入」表述,不点具体型号。
本服务与本投标文件其他四处内容相邻,接口关系如下。
与四大数据集加工生产的关系是消费与回流:本服务从四大数据集划取切片作为验证输入,并按固定格式把验证失败所暴露的需求回流到采集、预处理、标注、合成、增强、质检相应环节。四大数据集的规模与分域构成以该节口径为准。
与数据集质量测评的关系是两侧看同一件事。质量测评按《高质量数据集质量评测规范》TC609-5-2025-04 对数据集本身打分,其中模型应用维度含模型适配性、业务相关性等指标;本节从业务一侧验证同一批数据在真实场景任务上的表现。两节共用一套缺陷字典与一套样本标识,结论可以合并统计,同一个问题不会在两处各记一笔而无法对账。两者的分工在 3.8 节另有专述。
与行业大模型训练推理技术服务的关系是平台与用例。训推平台提供分布式继续预训练、指令微调、偏好对齐、多阶段横评与可复现评测沙箱的能力;本节提供这些能力在六个场景上的具体用例、配比方案与判据。算力规模与平台形态见该节。
与硬件选型与配置的关系是数据源的接口。四十六台设备中的四十二台感知设备(十五台熔池相机、六台高温热成像、二十一台热成像)是焊接与热处理两个场景多模态验证数据的物理来源。本节写清每一类设备到位与否对应哪一档验证能力,以及未到位期间按什么口径降档运行。
六个场景的业务对象差别很大,验证的做法却可以统一。统一之后,各场景只需要定义自己的对象、字段、指标与阈值,不必各自发明一套流程,验收时也只需掌握一套口径。
六个专业场景的共性有四条,它们直接决定了方法框架的形状。
第一条,真正的瓶颈不在模型能力,而在数据对不上。热处理现场的过程曲线采集基础其实已经不错,淬火机床与中频电源的功率、频率、电流、电压与周期炉的设定与实际温度多已接入,采样可到秒级;缺的是把曲线绑定到具体零件所需的那几项条件数据:实际装载量、件间间隙、炉内位置、感应器对位间隙、本批材料成分。焊接的过程参数也在采,但外观检查、超声探伤与磁粉检测分处三个环节、由三拨人在三个时点完成,三份结果各记各的位置口径,事后只能靠记忆拼到同一条焊道上。健康诊断的报警不少,可处置完成后的拆检发现与更换部件没有结构化回到数据链上,故障事实与数据段的对应关系建立不起来,历史数据因此没有事件级标签。验证若不先核查这些配对关系,指标做出来无法解释,也无法指导改进。
第二条,六个场景都存在同一类数据缺口:当前完全无记录,须在业务流程中增设填报入口才能逐步积累。选型的投运使用评价、备料的图卡配对台账、热处理的装炉位置登记、焊接的层间温度逐件记录、健康诊断的维修事实回填,都属于这一类。这类缺口不能靠一次采购补齐,验证必须允许分档推进,并如实记录当前处在哪一档。
第三条,六个场景的输出都要进入有责任的业务流程。工艺卡片要签发,采购建议要审批,报警结论要派工,参数建议要进工艺文件。因此验证不只测准确率,还要测证据链能否被核对,一个结论拿不出它所依据的原始数据段与判据版本,岗位就不会用它。
第四条,六个场景的能力里混着两类性质完全不同的东西。一类是确定性计算:链条安全系数的复算、展开长的中性层换算、焊接线能量的核算、轴承与齿轮特征频率的计算。这一类有唯一正确答案,判据应当是复算一致性,容差写到数量级。另一类是带不确定性的推断:选型方案的排序、工序的编排、库存健康的评级、缺陷成因的归因。这一类有多个可行答案而有优劣之分,判据只能是统计性的,并且需要可解释性作为配套。把两类混在一个「准确率」里报,是这类方案最常见的失手处。
这四条共性落到四个设计上:建一套旁路验证台承载能力验证;分四级层级推进、低级不过则高级暂缓;把验证数据按四类资产分建并双重切分隔离;给每一条判据配基线档与目标档,并明确区分确定性判据与统计性判据。
验证台是本节的工程主体。它不是一套新建系统,而是把本项目已有的四类能力(数据集、训推平台、智能工具链、运营服务管理平台)按场景装配成一个可反复运行的验证装置。装配关系见图 2-1。
验证台的输入是数据集切片。每一次验证运行都要声明本次使用的数据集版本指纹、所取的数据域与子集,以及切片规则。声明进入运行记录,与模型版本、判据版本一并构成本次结论的三元标识。这一点看起来琐碎,但缺了它,下一轮升级后指标变化来自数据侧还是模型侧就说不清了。
中间是模型层与智能体层。模型经统一网关接入,采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级;按本项目数据集适配后的模型版本与基座模型并列在网关之后,供对照实验调用。智能体层按场景装配,职责是把一次完整的业务任务拆成若干可执行、可留痕的步骤,并在需要人工判断的位置停下来等确认。以产品选型为例,一次验证任务要走要素抽取、参数归一、工况分型、校核送参、可行解生成、排序、规格书成稿七步,每一步的输入输出都单独留痕,这样某次任务失败时能定位到是哪一步出的问题,而不是只知道整件不可用。智能体的开发在本项目智能体开发与运行能力之上进行,属验证用途,不交付生产态场景应用。
智能体层还有一项作用容易被忽略:它是「包括但不限于」这类条目的承接点。招标文件在每个场景的验证要求开头都写了这一句,意味着条目清单是示例而非穷举。验证智能体按业务任务的真实步骤组织,而不是按条目清单组织,条目之外的步骤(比如选型里的单位量纲消歧、备料里的借用件分堆)自然落在任务链条上,不会因为标书没列就漏掉。
出口是评测沙箱。沙箱固定四件事:题型与判分规则、数据集与模型的版本号、随机种子,以及温度一类采样参数。固定这四件事的目的是可复现,同一批用例在同一版本上重跑,结果应当一致;若不一致,说明沙箱本身有问题,这比指标高低更要紧。沙箱按多协议模型评测引擎工具链实现,支持同一批用例并行投向多个模型版本,这是对照实验能够成立的技术前提。
验证台按 1.2 节的三条技术边界运行:旁路只读取、不交付生产态应用、结论不直接触发生产动作。热处理的参数建议、焊接的参数推荐、库存的补货建议在验证台里都只到「给出建议并记录」这一步,是否采纳由甲方岗位在其自有流程中决定。
2-1 场景验证台的构成与数据流向
图 2-1 场景验证台的构成与数据流向。数据来源:招标文件 3.2.6.5、采购清单第 2 项智能工具链第 22 至 25 条、3.2.6.2 行业大模型训练推理技术服务。
验证分四级推进,低级不通过则高级暂缓。这样安排是为了避免在数据没对齐的情况下测模型、在模型没稳定的情况下谈业务收益,两种情形都会产出一个好看但没有意义的数字。
表 2-1 四级验证层级
| 层级 | 验证什么 | 判据性质 | 甲方角色 |
|---|---|---|---|
| L1 数据就绪度 | 业务对象、主键关系、关键字段、时间粒度、配对关系是否成立 | 结构性,以覆盖度与配对率度量 | 授权与口径确认 |
| L2 能力项 | 标书逐条列出的单项能力在金标准集上的表现 | 量化,以分档阈值度量 | 结果见证 |
| L3 端到端任务 | 一个完整业务任务从输入到可用输出的闭环 | 任务级,以可用率与返工率度量 | 岗位参与并签认 |
| L4 观察期 | 投入实际业务后在约定观察期内的稳定性与岗位采纳 | 过程性,以采纳率与异常处置记录度量 | 业务主导 |
表 2-1 数据来源:招标文件 3.2.6.5.1 各场景「验证要求」段落的条目结构。
L1 是开工条件,六个场景的核查项一致:核心业务对象能否从源系统读到,主键能否落到具体物理对象,关键字段的非空率与取值合法率,过程数据与结果数据的配对率,时间基准是否统一。其中主键贯通是共同前置条件,六场景涉及的主键有施工号与项目号、产品号与图号、零件号与物料编码、工单号、炉次号与件次号、焊缝与焊道编号、设备编码与故障单号。这些主键不通,后面的指标都落不到对象上。因此 L1 的第一批工作是用真实业务对象做端到端追溯:每类对象至少取三个实例,确认它能从源系统读取、能被岗位人员认出、能支撑后续分析。追溯不成立的对象,其所在验证项按 2.1.10 节降级规则处理。
L2 是标书条目的直接应答层。每一条「须验证……能力」都在 L2 对应一组用例、一组指标、一组阈值。L2 的指标一律在金标准集上计算,不在训练样本上计算;这一条没有例外,也是我方愿意把基线档写成硬承诺的前提。
L3 回答岗位关心的问题。单项指标都达标而任务仍不可用是常见情形:工艺卡片的字段准确率很高,但只要有一个关键尺寸错了,这张卡仍需整张返工;选型的各项参数都抽对了,契约版本绑错一处,报告里的校核结论就是另一回事。L3 以任务为单位三分判定。可直接进入审核流程的计为可用,需人工修改的记录修改字段数与耗时,整件作废的计为失败。
L4 不追求指标,追求稳定。观察期内记录岗位的实际采纳、降级发生次数、异常处置是否按预案执行。观察期的长度按场景的任务频次确定,在各场景的执行安排中给出。
2-2 四级验证层级的推进与回退关系
图 2-2 四级验证层级的推进与回退关系。数据来源:招标文件 3.2.6.5.1 各场景验证要求条目结构;整改复测口径与本投标文件「数据集质量评测方案」节一致。
这一小节是本节的核心,也是本包区别于一般软件测试的地方。招标方买的是数据集,验证必须能回答「这批数据让场景能力提升了多少」,而不是只回答「这套东西能不能用」。
把一个场景的能力拆开看,它的表现来自三个来源:基座模型的通用能力、检索到的知识,以及训练进模型参数里的领域能力。三者的边界在实践中常被混淆。用上检索之后指标涨了,很容易被当成数据集的功劳,实际上可能只是把文档喂进了上下文,而数据集的标注、切分、合成工作一点没用上。要把三者分开,只能靠对照。
本方案对每个场景设计四组对照,同一批场景基准题集、同一个沙箱、同一组判分规则,只换被测对象。
第一组是基座裸测。被测对象是未经本项目数据适配的基座模型,不提供检索,只给任务指令。这一组的作用是立零点。基座在矿山装备领域的表现不会是零(通用语料里有机械设计与煤矿安全的内容),但在链轮感应淬火的工艺窗口、刮板链的多边形效应、备料分厂的 28 道工序这类企业内部知识上,它只能给出听起来合理而实际错误的回答。把这个零点量出来,后面的增量才有意义。
第二组是检索增强。被测对象仍是基座模型,但接入本项目知识库与知识本体,按场景检索后将证据片段放入上下文。这一组的作用是分离「知识可得」与「能力内化」。有相当一部分场景能力,检索就足够了:技术标准的条文查询、工艺文件的参数窗口核对都属于这一类。本方案不回避这个事实:凡检索即可达标的能力项,在验证报告中明确标注「检索充分」,不把它算到微调的账上。这既是诚实,也是对甲方有用的信息。它意味着这部分能力在模型换代后不需要重做。
第三组是数据集适配。被测对象是以本项目指令微调子集训练后的模型版本,涉及有优劣之分的任务时再叠加偏好对齐版本。这一组与第二组的差值,就是数据集中加工环节所创造的那部分价值:标注的粒度、思维链的构建、多轮对话的组织、长上下文的切分拼接。这一组要同时报正向指标与负向观察:指令遵循与任务完成度上升的同时,有没有出现回答冗余、行为退化、在通用任务上的能力回退。偏好对齐版本还要报偏好判别准确率与奖励均值的变化趋势,并检查是否出现奖励黑客式的取巧回答。
第四组是子集消融。被测对象是抽掉某一类数据之后重训的模型版本。消融的切法按场景选择,常用三种:按数据域抽(比如热处理场景抽掉质量域的检验结果语料),按工具链产出抽(比如焊接场景抽掉时序与运维事件对齐工具链产出的对齐样本),按合成与真实抽(抽掉合成与增强产出的样本,只留真实标注样本)。消融的意义在于回答一个很具体的问题:这批数据里哪一部分真的在起作用。它的结论直接指导后续的数据投入方向,也是回流机制里优先级排序的依据。
四组对照的输出形态是能力增量表与能力雷达图,按验证项逐项给出四组的指标值与两两差值。这里要写清三件事,否则对照实验容易做成形式。
其一,基准题集必须完全不含合成数据。招标文件在数据合成要求中已有明文,基准评测子集不得使用任何形式的合成数据;本节的场景基准题集沿用这一约束,题目与参考答案全部取自真实业务记录与业务骨干标注。
其二,训练与评测的隔离按来源与时间双重切分,切分规则随金标准集一并提交并冻结。消融版本的训练集与完整版本的训练集必须使用同一套切分,否则差值里混进了切分差异。
其三,对照组之间只允许存在一个变量。换数据就不换基座,换基座就重跑全部四组。基座模型按当期能力评测择优选用并随代升级,这是正常的工程演进;但换代当次必须把四组对照重跑一遍,否则历史增量数据不可比。这一条写进验证纪律,不是可选项。
四组对照的规模要与之匹配的配比实验在训推侧进行:指令微调按场景、任务、难度切片,设基础微调、子集消融微调、混合配比微调三套实验,记录损失曲线、评测准确率、显存与吞吐(见本投标文件「行业大模型训练推理技术服务」节)。场景侧负责给出题集、判据与结论采信规则,训练工程的做法见该节。
需要说明一处取舍。四组对照并非每个场景、每个验证项都全做。确定性计算类的验证项不做对照,链条安全系数的复算结果与模型无关,做四组对照没有意义,这类项只做复算一致性。多模态检测类的验证项(焊接的视觉缺陷检测、热处理的外观缺陷判别)按专用模型的训练集规模做学习曲线,不按微调配比做消融,因为这类能力的主导变量是标注样本量与标注质量,而不是语料配比。各场景实际做哪几组,在 2.2 至 2.7 节的对照实验小节逐一写明,并说明不做的理由。
上一小节提到确定性项不做对照,这背后是一条贯穿六个场景的原则,值得单独写清:凡有唯一正确答案且算法明确的计算,一律由确定性引擎承担,不交给模型;模型只做它擅长的事。从非结构化文本与图像里把信息提出来,在多个可行答案之间给出有依据的排序,以及把结论组织成人能读的表述。
这条原则在六个场景里的落点很具体。
产品选型的校核计算是确定性的。企业现有的选型公式在性质上是校核公式而不是正算公式:工程师要先预设一整套配置(槽宽档位对应的机型、动力部功率、链环直径),再连同工况参数代入,验算整机消耗总功率与链条理论安全系数,以及按力与按功率两个口径的实际安全系数能否过门槛。招标文件的用词是「自动计算与验算」,与这一事实一致。公式回答的是「这套配置行不行」,回答不了「该配哪一套」。所以参数计算能力的判据是复算一致性,而推荐能力的判据是排序质量,两者不能合成一个准确率。
板材备料的展开长与下料尺寸是确定性的。带压弯的零件须按中性层公式换算展开长,扣除量由板厚、折弯角度、所用下模 V 口宽度与上模圆角共同决定;割缝宽度、坡口留量与切割热变形收缩量各有标定值。这些量错一个,钢板下料后即成废料,后果与「工序少排了一道」完全不在一个量级上。因此这一类字段不走模型生成,走确定性计算,并且做双路互校,一路按公式算,一路按历史同类件回归,两路不一致即停下来等人确认。
焊接的线能量核对是确定性的。电流、电压与焊接速度三者给定,线能量即确定,与工艺规程给出的参数窗口比对是算术问题。模型在这里做的是另一件事:从工艺卡片与评定报告的文本里把参数窗口抽出来,以及在参数、熔池视觉与检测结果三者之间找关联。
健康诊断的特征频率是确定性的。减速器各级传动比与齿数、轴承型号与位置、链轮齿数与节距都在设备档案里,齿轮啮合频率与轴承特征频率可以直接算出来。刮板链的多边形效应同理,链节绕过链轮时以多边形而非圆周方式啮合,链速按链轮齿数产生周期性起伏,形成一组由链速、链节距与链轮齿数共同决定的固有冲击激励。它算得出来,就减得掉;减掉之后剩余的冲击成分才具备诊断意义。这一步必须是确定性的,交给模型去「学」是舍近求远,而且学出来的东西无法向岗位解释。
把这条原则写进验证方案,有三个实际好处。确定性项的判据可以写得很硬(相对偏差的数量级),不需要留统计余量;模型项的判据可以老实写成统计性的,配可解释率而不是硬指标;而两类项分开之后,一次任务失败能迅速判断是算错了还是判断偏了,归因效率完全不同。
验证结果可信的前提是验证数据与训练数据分开。若同一批标注样本既用于数据集加工过程中的模型适配,又用于场景验证,指标会系统性偏高,而偏高多少无法估计,验收看到的数值与上线表现之间会留下一段无人能说清的差距。本项目把验证数据按四类资产分建,各自的来源、规模口径与管理方式不同。
训练用标注集供数据集加工与模型适配使用,按标注规范持续扩充,不参与 L2 指标计算,版本随数据集版本走。金标准集是 L2 能力项指标计算的唯一依据,从历史记录中分层抽样后由业务骨干双人独立标注、分歧交第三人仲裁,自建设之初即与训练集隔离,冻结版本管理,变更须经评审并留差异记录。回放窗口用于 L3 端到端任务验证,完整保留一批历史真实任务的原始输入与当时的真实产出,窗口内数据不得进入训练,按窗口编号冻结。构造样本覆盖天然稀少但后果严重的情形,由业务骨干与我方共同设计后人工构造或从历史中定向检索,单独统计、不混入主指标分母,另列专项通过要求。
双重切分的含义需要讲清楚,否则容易做成形式隔离。按来源切分,是指金标准集所取的对象(图号、炉次、工件、设备、项目)不出现在训练集中。这一条比按比例随机划分要严格得多:六个场景的对象在历史数据里反复出现,同一个图号可能有十几个版本,同一台设备可能有上百条工单,随机划分会把同一对象的不同视图分到两边,模型在评测集上看到的其实是训练时见过的东西。按时间切分,是指金标准集取某一时间点之后的数据,训练集取该时间点之前的数据,用来检验模型在时间漂移下的表现。这一条针对的是六个场景都会发生的事:工序字典会修订,库存财务口径会调整,焊接工艺规程会换版,设备会大修后换型。时间切分能把这类漂移暴露出来,随机划分会把它藏起来。
金标准集的规模按场景的对象数量与指标精度要求确定,不追求大。常用的定规是:若要在百分之九十五置信水平下把准确率的区间半宽控制在五个百分点以内,单项指标的金标准样本量约需三百个以上;对需要分层报告的指标(按零件复杂度分层、按物料品类分层、按部件分层),各层分别满足该量级。各场景的具体规模在 2.2 至 2.7 节分别给出,同时写明该规模下指标的置信区间大致有多宽,便于评审时判断指标的可信度而不只看点估计。
构造样本这一类要多说一句,因为它最容易被省掉而又最不该省。热处理的开裂、焊接的根部未熔合、健康诊断的早期轴承损伤,都是低频高损情形,发生频率低,一旦发生损失大。这类情形的自然样本等不来,而验证若不覆盖它们,现场专家的第一个问题就会把方案问住。构造的办法有两条:一条是从历史数据中按特征定向检索相似片段,哪怕当时没有被判定为故障;另一条是在业务骨干指导下人工构造异常输入:参数矛盾、单位陷阱、边界工况、要件缺失,用来验证系统在异常输入下给出正确追问而不是静默填一个合理的数。定向检索不到相似片段的,如实标注该情形暂无样本并列入长期积累计划,不拿相近情形凑数。
招标文件的验证要求以能力描述为主,多数条目没有给出数值阈值。本方案为每一条验证项定义判据,定义方式统一为四件事:度量口径、基线档、目标档、不达标时的处置。
度量口径写清分子分母与统计单位。同一个「准确率」,按字段统计、按文档统计、按任务统计会得到三个完全不同的数:一张工艺卡片有四十个字段,三十九个对一个错,按字段算是百分之九十七点五,按文档算是零。验证方案若不写清统计单位,验收时必然产生争议。本节所有指标均注明统计单位,并在涉及高危字段时单列统计。
基线档是我方承诺在首轮验证中达到的水平,也是不达标即进入整改的红线。目标档是经过数据补采与数据集扩充后,在约定观察期内趋向的水平。两档并列而不是只写一个数,原因是本项目多数场景的数据条件要在实施过程中才逐步补齐:以焊接为例,首轮验证时可用的熔池影像仅覆盖已装相机的工位与已采集时段,观察期末则增加了补采数据与新装工位;同一套方法在两个时点上的表现本就不同。用一个数去描述两个时点,要么首轮定得过高而不可达,要么观察期末定得过低而没有意义。
基线档是硬承诺,不是软目标。首轮验证中任一验证项未达基线档,该项即判为不通过,进入整改并复测;整改期内不出具该项的通过结论,也不以「接近基线」作为通过理由。基线档的取值依据写在每个场景的判据表中,三种取法:有历史数据可统计的,取企业现行做法的实测水平作下限;有同类工程经验可参照的,取经验区间的保守端;两者都没有的,用对比基线方式定义。三种取法都可被追问、可被复算。
对比基线是第三种定义方式,适用于当前完全依赖人工经验、没有历史指标可比的验证项,库存的物料需求预测、安全库存阈值测算、热处理的参数寻优都属于这一类。这类项的判据写成「在同一历史窗口上不劣于企业现行做法,并给出改善幅度」,而不是写一个绝对数值,企业现行做法的水平本身尚无统计,凭空给绝对数值既无法验收也无法申辩。采用对比基线的项,第一步工作是把现行做法的水平统计出来,这份统计本身是交付物之一。
不达标时的处置分三种。数据缺口导致的,进入补采或数据集扩充并复测;判据本身定得不合理的,经甲方业务部门与我方共同评审后修订判据并留记录;能力确实不足的,按降级口径交付当前可达档位,并在验证报告中如实标注所处档位与受限原因。观察期末未达目标档的,我方出具差距分析报告,逐项说明差距来自数据覆盖、标注质量、方法适用性还是场景本身的可预测性上限,并给出继续改善的动作与所需条件;其中属我方责任的部分(标注质量、方法实现),由我方在质保期内继续整改,不另行计费。
判据一经确认即进入判据登记表集中管理,登记字段与一条完整登记样例见 4.2 节。
验证按七步推进,每一步有明确的输入、输出与签认对象。
表 2-2 场景验证七步流程
| 步骤 | 做什么 | 输出 | 签认 |
|---|---|---|---|
| 一方案评审 | 定被验证能力清单、指标口径、两档判据、试点范围、见证安排 | 单场景验证方案 | 甲方业务与技术部门 |
| 二就绪度体检 | 核查对象、主键、字段、配对率、取数通道与授权 | 就绪度报告与缺口清单 | 我方出具,甲方确认缺口归属 |
| 三资产建设 | 分层抽样、双人标注与仲裁、回放窗口冻结、构造样本设计 | 冻结版金标准集与用例集 | 业务骨干确认标注口径 |
| 四环境与基线 | 数据集版本与模型版本成对登记,四组对照的模型版本派生完成 | 环境基线记录与对照组清单 | 我方 |
| 五执行与见证 | 按用例集在沙箱内执行,过程留痕,异常现场记录 | 执行日志与原始结果 | 甲方见证岗位 |
| 六判定与归因 | 按判据判定,失败用例做贡献度归因与错题溯源 | 验证结论与归因报告 | 联合评审 |
| 七整改与复测 | 数据补采或数据集修订后,跑受影响子集与回归子集 | 复测报告与差异说明 | 甲方确认闭环 |
表 2-2 数据来源:招标文件 3.2.6.5.1 验证要求条目;归因与溯源能力对应采购清单第 2 项第 24 条数据贡献度归因与错题溯源工具链。
第四步容易被当成例行准备,实际上它是对照实验能否成立的关口。四组对照的模型版本必须在这一步一次派生完成并冻结,之后执行期内不再改动。若在执行过程中因为某一组表现不好而重新训练一版,再把新版本的结果填进表里,整张对照表就失去意义了。环境基线记录要写明每一组的数据集切片、训练配置与版本号,见证岗位在第五步核对的第一件事就是执行时所用版本与基线记录是否一致。
第六步的归因是本节与一般功能测试的主要区别。一次用例失败可能来自四个方向:输入数据本身有错或缺字段;标注口径与判据口径不一致;数据集在该类情形上的样本不足;场景实现侧的问题。归因要给出方向判断与证据,而不是只报一个失败数。
做法是把失败用例按对象回溯到它所依赖的数据集切片与样本,统计这些切片在同类失败中的出现频次,再与成功用例的切片分布比对。频次显著偏高的切片即为嫌疑来源,进入抽样复核。复核确认为样本不足的,转为数据集扩充需求,附上需要补多少、补什么特征的具体说明。2.1.4 节的子集消融结果在这里有第二重用途:某一类数据抽掉后指标下降明显的,说明该类数据是当前能力的主要支撑,相关失败优先往这一类上查。
第七步的复测范围不是整批重跑。整批重跑耗时,而且会把问题掩盖在平均数里。复测跑两个子集:受影响用例子集,即本次整改所针对的失败用例及其同类用例;回归子集,从历次已通过用例中按比例抽取,用于发现整改引入的回退。复测次数的口径与本投标文件「数据集质量评测方案」节的集中复测安排一致,不另立一套。
归因的价值在于它的去向。本方案把归因结论分两条路处理,两条路的格式、接收方与闭环方式都不同。
判为数据侧的,转为一条结构化的数据集改进需求,提交数据集加工生产侧。字段固定为六项:来源用例(失败用例编号、所属场景、所属验证项,可回溯到原始输入与输出);失败表现(具体错在哪一字段或哪一判断,不写「准确率不够」,写「某类坡口的倒角要素被漏提」);归因结论(方向判断及其证据,数据侧缺陷按缺陷字典归类定级,成因归入采集、解析、标注、加工、治理五类环节之一,等级按高中低三级划定);所需补充(需要补什么数据、补多少、补什么特征);影响范围(该缺口还会影响哪些验证项与哪些场景);优先级与期限。需求的提交、受理、执行、复测、关闭五个状态在奔牛数据智能平台上留痕,每次状态变更记录时间与岗位。
判为实现侧的,单列一类移交场景建设方,不进入数据集缺陷统计,也不计入数据侧的整改闭环率。这一条是责任边界的必要界定:验证台能够区分「数据没教会它」和「它没按数据做」,前者是本包的责任,后者不是。区分的证据来自验证智能体的逐步留痕:同一条输入,若检索到的证据片段正确、确定性引擎的计算结果正确,而最终输出错了,问题就不在数据侧。
加工质检、数据集评测、场景验证三道关口共用一套缺陷记录口径,结论可合并统计。这一点在实施中很要紧:三处各记一笔而口径不同,到验收时就对不上账,整改率这类汇总指标会出现三个版本。
绝对指标在工程上站不住,验证方案必须写清条件不具备时退到哪里。本方案的降级遵循三条规则。
第一条,就地降级并如实标注。任一数据条件暂不可用时,相关能力退到该条件下仍成立的层级,并在输出上标注当前分析层级与受限原因,而不是静默给出一个无依据的结论。健康诊断在缺少轴上角位置基准时,结论止于测点级而不下到部件级;焊接在人工焊工位不具备焊道级采集条件时,可用粒度只到焊缝级;热处理在无炉位登记时,位置类结论只到炉次级。
第二条,条件恢复后重算。缺口补齐后按完整能力重新计算,历史结论保留其当时所依据的判据版本与数据段,供前后比对。这一条要求验证记录带版本与数据段引用,不能只存结论。
第三条,人工通道始终可用。六个场景的输出都进入有责任的业务流程,系统不可用、输入不可解析或置信度不足时,须有不依赖本项目成果的人工通道可走。该通道的可用性本身是一个验证项,板材备料的应急工艺通道即属此类,验证方式是演练而非指标。
表 2-3 降级分档的通用口径
| 档位 | 触发条件 | 输出形态 | 标注要求 |
|---|---|---|---|
| A 完整 | 数据通道齐备、字段覆盖达标、配对关系成立 | 按完整判据输出结论与建议 | 标注数据集版本与判据版本 |
| B 受限 | 部分通道缺失或粒度不足,核心对象仍可定位 | 输出较粗粒度结论并给出缺口说明 | 标注受限维度与当前分析层级 |
| C 只做管理 | 关键配对关系不成立或采集链路体检未通过 | 只做趋势呈现与事件登记,不给判断结论 | 标注退出判断的具体原因与检查建议 |
表 2-3 数据来源:本方案按招标文件各场景数据条件差异设定;分档规则在 2.2 至 2.7 节逐场景具体化。
降级之外还有两类情形需要事先约定,它们不是方法问题也不是数据量问题,而是该场景在当前现场条件下无法形成可判定的结论。
第一类是判定来源本身不存在。某类缺陷在企业历史上从未做过系统性的判定记录,既没有检验结论也没有返修记录,那么无论采集多少图像都构造不出带可信标签的验证集。缺的是标签的来源,不是标注的工作量。处置是在就绪度核验阶段即识别并上报,与招标方共同在三种办法中选一种:改为由业务专家现场逐例判定,形成新的判定来源,需额外工时;缩小该验证项的范围至有判定记录的子类;或将该项移出本期验证范围并在验证报告中如实说明。三种处置都在报告中留痕。
第二类是可预测性上限低于判据。某些现象受未被采集的变量主导,熔池状态同时受保护气流量、母材表面状态、环境风速影响,而后两者当前无采集手段;此时即便数据量继续增加,验证指标也会在某个水平上停住。处置是在首轮验证后用学习曲线判断:若指标随样本量增加已趋平而仍低于基线档,则判定为可预测性受限,出具专项说明,列明缺失的变量与补齐该变量所需的条件,并建议调整该项判据或增设采集手段。用数据说明到这里为什么上不去,比反复加样本更负责,也比把指标写低更经得起追问。
这两类情形的识别时点都在就绪度核验与首轮验证之间,目的是不让项目在明知不可达的目标上持续投入。
金标准集的可信度取决于标注,标注的可信度取决于口径与一致性管理。本节把六个场景的标注要求集中规定,各场景按此执行;标注规范的总体体例见本投标文件「数据标注与质检」相关节,本节只写验证用金标准集的特定要求。
第一条规则是标注口径与判据口径同源并同版本发布。各场景的标注依据统一到该场景所述的判据与分级口径上:热处理的质量判定分级、焊接的缺陷类别与检出手段对应关系、健康诊断的故障名录与证据分级。标注口径与判据口径分别演进,是样本与模型失配最常见的起因,标注员按一套理解打标签,验证时按另一套口径判对错,指标再怎么调也对不上。因此判据修订时标注规范同步复核,并对此前已标注样本中同类情形做回溯复核。
第二条规则是标注粒度与被验证能力的最小判定单位一致。能力判定到焊道一级,标注就要到焊道一级;能力判定到炉位一级,标注就要带炉位号。粒度不足会导致指标虚高:把焊缝级标注用于焊道级判定,等于把一条焊缝上四道焊当成同一个答案。
第三条规则是一致性必须被度量而不是被假定。双人独立标注之后先算一致率,再处理分歧。一致率低于门限时不是简单仲裁了事,而要回头检查标注规范本身是否有歧义,两位骨干都按规范做却得到不同结果,问题在规范,不在人。
表 2-4 六场景金标准集的标注粒度与一致性门限
| 场景 | 标注对象与粒度 | 一致性度量方式 | 门限与返工规则 |
|---|---|---|---|
| 产品智能选型 | 任务级要素取值与原文位置;配置级历史定案与校核结果 | 逐字段比对,取值与单位须同时一致方计一致 | 字段级一致率低于 90% 该批返工并复核参数字典别名 |
| 板材备料工艺智能设计 | 图纸级要素取值;零件级工序序列、设备工装、定额与展开长;另标判读依据 | 几何类按坐标容差,符号类按类别,工序序列按集合与顺序分别比对 | 要素级低于 92%、工序集合低于 88% 返工;判读依据缺失的样本不入集 |
| 库存控制智能化 | 物料级健康评级;复盘条目级成因主因与次因 | 评级用加权一致性系数;成因按主因一致与前两位命中分别统计 | 加权系数低于 0.55 返工并复核评价因子;主因一致率低于 70% 重定成因大类 |
| 热处理过程智能监控 | 炉次级与件次级质量判定;不合格票级成因 | 检验实测值直接取客观值不作标注,成因双人独立复核 | 成因主因一致率低于 72% 返工并复核故障机理描述 |
| 焊接过程控制智能监控 | 图像级与缺陷实例级类别与位置;焊道级质量结论 | 位置按重合度,类别按混淆矩阵统计,边界模糊样本单列 | 类别低于 90%、位置重合达标率低于 85% 返工;裂纹与未熔合三人标注取多数 |
| 刮板输送装备健康智能诊断 | 事件级部件与失效模式、数据段区间;测点级采集链路问题 | 部件与失效模式双人独立判定;数据段按起止时刻偏差比对 | 部件低于 88%、失效模式低于 80% 返工并复核故障名录;证据等级分歧按较低等级采纳 |
表 2-4 数据来源:各场景判据口径(见 2.2.2.10、2.3.2.11、2.4.2.11、2.5.2.10、2.6.2.10、2.7.2.11 各节);标注规范体例见本投标文件数据标注与质检相关节。
仲裁的组织方式统一:分歧样本集中到仲裁会上处理,仲裁人不参与原标注;仲裁结论写明依据,可以是规范条款、原文位置、检验记录或拆检发现,并判断该分歧是否暴露规范歧义。仲裁记录编号写入用例卡的参考答案字段,使任一条参考答案都能追到它的形成过程。
标注员培训与抽检也写入流程:正式标注启动前以不少于三十个样本做口径对齐,对齐通过后方可正式标注;正式标注期间按不低于百分之五的比例抽检,抽检不合格的批次整批复核。
验证结论若不绑定版本,下一轮升级后就无法判断指标变化来自哪一侧。本方案要求每一次验证运行绑定三元标识:数据集版本指纹、模型版本、判据版本。三元标识由数据集与模型版本血缘追溯工具链记录(采购清单第 2 项第 25 条),进入奔牛数据智能平台的版本与审计模块。血缘记录暂不可用时以验证报告中的版本登记替代,但自动溯源能力相应不具备,这一点在报告中注明。
留痕覆盖四项:用例输入与输出的原始记录;判定结论及其所依据的判据版本;数据集版本与模型版本的成对标识;见证人员的签认记录。留痕的覆盖率趋向全量,首轮验证的抽样复核比例不低于用例总数的百分之十,复核发现留痕缺失的用例判定为未完成并重跑。
验证执行由我方组建的验证组承担,按场景分工,不另设与甲方重叠的岗位。验证组的工作分三类:方案与判据设计、金标准集建设与标注仲裁、执行与归因。甲方指派业务见证岗位参与第五步执行与第六步判定;涉及企业技术权威的判据由甲方相应部门确认后固化为判据依据,验证过程中不自行修改。
见证有一项操作纪律需要写明:见证不是旁观。见证岗位在第五步要核对三件事,投放的用例集是否为冻结版本,数据集与模型版本是否与环境基线记录一致,异常用例是否被如实记录。核对不一致的,当次执行结果不计入统计,纠正后重跑。这一条是为了防止验证结论建立在无人核对过的执行条件上。七步流程的通用见证点清单见 4.4 节,各场景在此基础上增补场景特有见证点。
六个场景的验证数据并非另建一套,而是从本项目四大数据集中按场景划取切片;验证所用的工具也不另行开发,而是调用本项目九类二十五个智能工具链中的相应工具。写清这两重对应关系有三个作用:让验证结论可以落回到具体的数据集切片与工具产出,让数据集的规模指标与场景验证的覆盖范围互相印证,以及让采购清单第 2 项所列的二十五条工具链在场景侧有具体落点。
表 2-5 六场景与四大数据集分域、主要工具链的对应
| 场景 | 主要取用数据域 | 取用的数据集类型 | 本场景重点调用的工具链 |
|---|---|---|---|
| 产品智能选型 | 供需计划、产品工艺设计 | 预训练语料、指令微调、基准测试 | 文档结构解析、RAG 数据构建、人机协同思维链标注、数据集切分与基准构建 |
| 板材备料工艺智能设计 | 产品工艺设计 | 预训练语料、指令微调、偏好数据、基准测试 | 设备图纸与工艺图结构化抽取、本体驱动规则标注、一致性校验标注、模板化数据生成 |
| 库存控制智能化 | 供需计划 | 预训练语料、指令微调、基准测试 | 结构化工单转对话、数据分布分析与均衡、指令数据生成、多协议模型评测引擎 |
| 热处理过程智能监控 | 制造过程、产品质量 | 预训练语料、指令微调、基准测试 | 传感器时序与运维事件对齐、大模型预标注、主动学习标注、数据贡献度归因与错题溯源 |
| 焊接过程控制智能监控 | 制造过程、产品质量 | 预训练语料、指令微调、多模态标注、基准测试 | 视频与文本对齐、传感器时序与运维事件对齐、大模型预标注、数据去重与相似度过滤 |
| 刮板输送装备健康智能诊断 | 制造过程、产品质量 | 预训练语料、指令微调、偏好数据、基准测试 | 工单与故障场景模拟生成、传感器时序与运维事件对齐、主动学习标注、数据集与模型版本血缘追溯 |
表 2-5 数据来源:四大数据集分域构成见本投标文件四大数据集规模指标节(预训练 615 亿 Token 由供需计划 276、工艺设计 70、制造过程 105、质量 164 四域构成;指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条按同一四域分配);工具链名称与编号依采购清单第 2 项。
两处取用关系需要特别说明。
基准测试数据集与本节金标准集的关系是同源不同用。基准测试数据集是数据集交付物的一部分,规模口径为 0.95 万条,按四个数据域分配;本节的场景基准题集按场景从同一批素材中划取,但二者在使用上严格分开。基准测试集用于数据集自身的规模与质量指标核算,场景基准题集用于场景能力的指标计算与四组对照的横评。若两者混用,场景指标会被基准集的构造方式带偏,而数据集的质量指标又会被场景任务的难度带偏。划取时按对象与时间双重切分,切分规则随金标准集一并提交。
偏好数据的来源在两个场景上有特殊性。板材备料的工序排序优劣、健康诊断的检查顺序优劣,都属于有多个可行答案而有优劣之分的情形,适合构成偏好对;这类偏好数据的标注依据直接来自本节的判读依据标注与建议采纳记录。因此这两个场景的验证执行本身就在产出偏好数据,验证与数据集建设在这里是同一件事的两面。偏好数据的总规模口径为 6.6 万组,分域构成见四大数据集规模指标节。
六个场景的验证任务都不是一次模型调用能完成的。一次选型任务要走七步,一张工艺卡片要走七步,一个炉次的分析要走六步,一条焊道要走六步。任务由多步组成,这件事本身给验证带来三个只在多步系统上才出现的问题,必须单独立判据,否则整件任务不可用而每一步的指标都好看,归因无从下手。
第一个问题是误差传播。多步任务的整体正确率不是各步正确率的简单乘积,但它确实随步数衰减;更要紧的是衰减不均匀,某一步的错误会被下游放大,另一些步的错误会被下游的校验吸收。选型里的参数归一错一个单位,后面校核、排序、成稿全错;而工步描述写得不够规范,在成稿环节会被模板纠正。因此本方案要求对每一步单独统计步级正确率,并统计条件正确率,即在上游各步均正确的前提下该步的正确率。两个数并列才能看出问题在哪:步级正确率低而条件正确率高,说明该步本身没问题,是上游污染;两个都低,才是该步的能力问题。
第二个问题是工具调用的正确性。验证智能体要调用确定性引擎、检索、规则库与计算组件,调用正确性包含三件事:选对了工具(该调校核引擎的地方没有自己算)、传对了参数(契约规定的输入清单与单位量纲都对),以及正确处理了返回(含异常码的处理)。这三件事在指标上常被忽略,因为最终输出可能碰巧对,模型自己算出的驱动功率可能接近真值,但它绕过了签封公式,这个结论在工程上不成立。因此工具调用正确性单列为验证项,判据是选择正确率、参数正确率与异常处理正确率三项,统计单位按调用次数。涉及确定性计算的场景,这一项的基线写成不允许绕过:应当调用确定性引擎而未调用的次数为零。
第三个问题是人审检查点的有效性。六个场景都在关键位置设了人审检查点,检查点的作用是拦住一旦错过后面全错的情形。检查点有没有用,不能靠它存在来证明,要靠拦截数据来证明。本方案对每个检查点统计三个量:触达率(应当停下来等确认的任务中实际停下来的比例)、拦截有效数(在检查点上被改正的实质错误数),以及误停率(无实质问题而被要求确认的比例)。误停率这一项不可省,检查点停得太勤,岗位会养成不看就点确认的习惯,那时检查点等于不存在。误停率的门限按场景的任务频次设定,频次高的场景门限要严。
多轮状态一致性是第四项,它在选型与库存两个场景上尤其重要。任务状态由系统统一保存一份、各步共同读写,不各自留存副本。验证方式是在任务中途改动一项输入,检查全部下游步骤是否按新值重算,以及最终输出中引用的参数版本是否与实际送算的版本一致。这一类不一致在报告成稿之后极难发现,报告读起来通顺,数字却来自旧版本。因此本方案把它写成一项独立验证项,用构造样本检验:在人审检查点改一个参数,看系统是否拦住了未重算就成稿的动作。
2-6 智能体步骤级验证的四项通用判据
| 判据 | 度量口径 | 基线档 | 适用场景 |
|---|---|---|---|
| 步级与条件正确率 | 按步统计正确率,并统计上游全对前提下的条件正确率,两数并列 | 各步条件正确率不低于该场景 L2 同类指标的基线 | 六场景 |
| 工具调用正确性 | 按调用次数统计选择、参数、异常处理三项正确率 | 三项各 ≥98%;应调确定性引擎而未调的次数为零 | 六场景 |
| 人审检查点有效性 | 触达率、拦截有效数、误停率三项 | 触达率 ≥98%;误停率按场景任务频次设门限并逐轮下降 | 六场景 |
| 多轮状态一致性 | 中途改动输入后下游重算完整率;输出引用版本与实际送算版本一致率 | 两项均趋向全量;不一致即判该用例失败 | 选型、库存、备料 |
表 2-6 数据来源:本方案按六场景的任务步骤结构设计;工具链与确定性引擎的接口见本投标文件智能工具链节。
沙箱是对照实验与指标复现的载体,它的要求不多,但每一条都不能省。
固定题型。场景基准题集按题型组织,每一类题型有固定的输入格式、输出格式与判分方式。本节涉及的题型有六类:要素抽取类(输出为字段取值与位置,按字段比对)、复算类(输出为数值,按相对偏差比对)、分类与判级类(输出为类别,按混淆矩阵统计)、排序与推荐类(输出为有序列表,按一致率与命中率统计)、检测与定位类(输出为类别加位置,按类别与重合度分别统计)、生成与说明类(输出为文本,按关键事实覆盖率与证据字段完整率统计,不用文本相似度)。最后一类的判分方式要特别说明:生成类输出用文本相似度打分是常见做法,但在本项目不适用,一份归因说明写得与参考答案字面接近而事实错了,相似度会给高分。因此本方案对生成类一律按关键事实清单逐项核对,清单随参考答案一并标注。
固定版本与种子。每次运行记录数据集版本指纹、模型版本、判据版本、随机种子与采样参数。同一组配置重跑,结果应当一致;不一致说明沙箱本身有问题,这件事比指标高低更要紧,因此本方案把沙箱自检列为第四步环境准备的内容:同一批用例在同一版本上连跑两次,结果不一致即停下来查沙箱,不带着不确定的沙箱往下做。
多协议并行投放。同一批用例要能同时投向多个模型版本,这是四组对照成立的技术前提。实现由多协议模型评测引擎工具链承担(采购清单第 2 项第 23 条),验证侧的要求是:各组之间除被测对象外的全部条件必须一致,含提示词、上下文构造方式、检索配置与采样参数。提示词在各组之间保持一致这一条容易被忽略,给微调版本写一套更贴合的提示词,再去和基座比,得到的差值里混进了提示词工程的贡献。
判分的人工环节也要固定。分类与判级类、生成与说明类的部分判分依赖人工,判分人须与标注人分离,判分规则须在执行前成文,判分过程按不低于百分之十的比例做复核。人工判分的一致率本身要统计并报告,判分不一致的指标,其精度上限就是判分的一致率。
场景验证按以下方式使用训推侧的训练与对齐成果并采信其结论。训推平台的形态、算力规划与训练工程做法见本投标文件行业大模型训练推理技术服务节。
继续预训练的验证用法是知识注入探针。四大数据集中的预训练语料经分布式继续预训练后,其知识是否真的进了模型,不能靠下游任务间接判断,下游任务的提升可能来自指令格式的适配而不是知识。因此本节在六个场景上各建一组领域知识探针题,题目形式是企业内部事实的直接问答(某牌号的工艺窗口上限、某工序的前置依赖、某部件的典型失效模式),不含推理成分,用来单独度量知识注入的效果。同时监测保留语料的困惑度变化,用以发现灾难性遗忘。两项合起来,才能说明继续预训练这一步是否有效。
指令微调的验证用法是按切片评测。指令微调数据按场景、任务、难度切片,评测也按同样的切片报告。不按切片报告,一个总体准确率会把难题上的失败藏在易题的高分里。本节要求每个场景的 L2 指标按难度分层报告,分层依据在抽样框架中给出。基础微调、子集消融微调、混合配比微调三套实验的结果,在场景侧按 2.1.4 节的对照规则采信。
偏好对齐的验证用法限定在三类任务上:板材备料的工序排序、健康诊断的检查顺序,以及各场景的参数与方案推荐。这三类的共同特征是有多个可行答案而有优劣之分,适合用偏好数据表达。对齐效果的验证报四项:偏好判别准确率、对齐前后在场景基准题集上的指标变化,以及两项负向观察,回答长度分布的变化与奖励取巧的迹象。奖励取巧在本项目有具体的表现形式,在各场景中已分别写明:备料场景表现为倾向多排工序以提高不漏序的评分,健康诊断表现为建议把所有能查的都查一遍,焊接表现为给出过宽的参数区间以避免越界。这三种取巧都能提高表面分数而降低实用价值,必须用分布比对的方式发现,不能只看准确率。
多阶段横评是上述三项的汇总形式。同一批场景基准题集投向基座、继续预训练后、指令微调后、偏好对齐后四个阶段的模型版本,输出各阶段的指标与能力雷达图。横评的作用是让每一笔训练投入都有对应的能力变化可查;若某一阶段的投入没有带来可观测的能力变化,这个结论本身有价值,它指向该阶段的数据或配比需要调整。
错题归因是闭环的最后一环,也是本节与训推侧的主要接口。横评与场景验证产出的错题,按 2.1.9 节的格式做训练数据归因,形成结构化整改任务单回流数据集加工环节;整改后的数据集版本重新训练与评测,新旧结果按三元血缘标识对齐比较。
六个场景涉及文本、图像与时序三类模态,三类的对齐方式与标注口径不同,集中在此规定,各场景不再重复。
文本侧的口径是位置可回溯。凡从文档中抽取的取值,须能定位到来源文件与段落;凡引用规范或工艺文件的结论,须带文件号与版本。位置可回溯率是一项独立指标,不并入抽取正确率,抽对了但说不出出处,在有责任的业务流程里仍然不可用。
图像侧的口径是位置定义与容差先行。缺陷标注的位置须有明确的坐标系与定位方式:焊接按焊缝编号加里程加层道三级定位,热处理按零件部位分区定位。重合度的判定容差在标注规范中写明并经骨干确认,不在判定时临时商定。图像的采集条件也要记录:取景距离、光照、是否清渣,这些条件的变化会显著影响检出指标,不记录就无法解释指标的批次间波动。
时序侧的口径是时间基准统一与切窗规则明确。多测点、多设备的时间基准须对齐,偏移量须测定并记录;跨系统取数时,各系统的时间戳语义(采集时刻、入库时刻、事件发生时刻)须逐一确认,混用会把正常曲线算成异常。切窗规则按事件锚定:以起弧、出炉、报警、工况切换等事件为锚点向前后取窗,窗长在验证方案中写明;按固定长度均匀切窗的做法在本项目不适用,因为事件的持续时间差别很大。重采样与缺失补齐的算子版本与参数须登记,这一点影响复现:同一段原始数据用不同的补齐方式处理,部件级特征频率的幅值会有差别。
三类模态的交叉对齐是焊接与热处理两个场景的特有问题,口径已在 2.6.2.4 节与 2.5.2.4 节分别写明:融合在决策层而非特征层,两侧的不一致本身作为待查信号记录。
六个场景的验证要求开头都写着「须提供……全流程验证能力,包括但不限于」。这一句式意味着后面列出的条目是示例而非穷举,应答方式因此不能是逐条对号入座了事。本方案的处理分三层。
第一层,列出的条目逐条应答,不遗漏、不合并。2.2 至 2.7 节的被验证能力表与招标文件条目一一对应,每一条给编号、判据性质与验证层级,便于定稿索引与评标核对。条目拆分的原则在 2.1.1 节已写明:一项能力对应一种判据性质,确定性计算与统计性推断不混在一项里。
第二层,按业务任务的真实步骤组织验证,而不是按条目清单组织。验证智能体的拆步依据是岗位实际怎么做这件事,因此条目之外但任务必经的步骤会自然落在链条上。举几处具体的:选型的单位量纲消歧与多来源冲突处理不在条目里,但它是任务能否走通的前提;备料的借用件分堆不在条目里,但一套产品五百多张图纸中相当比例属借用,不分堆就谈不上效率;热处理的计量状态前置检查不在条目里,但没有它,曲线类结论的可信度无从保证;焊接的焊道边界锚定不在条目里,而条目中要求的「一一关联」若没有它根本不成立。这些步骤在本节都给了判据,它们正是「不限于」所覆盖的内容。
第三层,把条目之外的验证内容明确标出。2.2 至 2.7 节的被验证能力表中,凡标书依据列能指到具体单元 id 的,属列出条目;少数由任务链条推导而来的验证项,在正文中说明其与哪一条条目的关系,不虚构标书依据。这样做的用意是让评标能清楚分辨哪些是对条目的应答、哪些是我方按专业判断补充的内容,二者都有,但不混在一起充数。
服务采购清单共七项服务,场景验证服务是第 5 项「数据集加工生产实施服务」下的子项。七项之间的接口关系与工具链的具体落点如下。
第 1 项数据资源建设服务列出的外围应用系统,是本节六个场景验证数据的取数来源。十七个系统中,本节直接取用的有 PLM、ERP、MES、QMS、WMS、SCM、CRM、SCADA、EAM、热处理群控系统与主数据管理平台;其中 PLM 与 ERP 在五个场景中都要取数,是接口开通的优先项。多格式多模态数据接入这一条对应本节两处:图纸的原生格式直读与矢量化,以及熔池视频、焊缝图像与热成像的离线非结构化数据解析。
第 2 项数据集加工生产专项智能工具链建设服务所列九类二十五个工具链,与本节的对应关系见 2.1.13 节表 2-5。其中第 22 至 25 条是验证台的直接支撑:数据集切分与基准构建工具链产出场景基准题集与金标准集的切分;多协议模型评测引擎工具链实现评测沙箱与多模型并行投放;数据贡献度归因与错题溯源工具链实现失败用例回溯到数据集切片;数据集与模型版本血缘追溯工具链实现三元标识的记录与溯源。四条工具链的建设见本投标文件智能工具链建设节,此处只写它们在验证中的用法。
第 3 项数据集运营服务管理平台建设服务所列十六个功能模块中,本节使用版本管理、全流程审计管理、数据集服务与对外接口四个:验证过程的留痕、版本登记与审计记录进入平台统一管理,不另建台账;验证所用的数据集切片通过平台的数据集服务取用,取用记录进审计。
第 4 项系统集成服务与本节的接口在硬件侧:感知设备的网络连接与适配完成后,焊接与热处理两个场景的多模态验证数据才具备在线获取条件;设备到位前的降档口径见 2.6.2.2 节与 2.5.2.2 节。
第 5 项数据集加工生产实施服务的八条备注中,第 1 条列出的七项全流程实施服务含「数据集场景验证服务」,即本节;第 4 条数据标注规范与本节的金标准集标注要求同源,本节的特定要求见 2.1.11 节;第 7 条项目安全合规建设对本服务的约束见 2.1.20 节。其余各条在本投标文件相应章节应答。
第 6 项信息安全风险评估服务不在本节范围,但本节的验证台作为处理生产数据与矿方运行数据的装置,其数据处理位置、权限控制与审计记录须纳入该项评估范围,这一点在本节写明以免遗漏。
第 7 项数据集质量测评服务与本节的分工边界见 3.8 节。
九类二十五条工具链在六个场景验证中的落点按工具链一侧逐类列明如下;场景一侧的对应关系见 2.1.13 节表 2-5。
思维链构建类两条。大模型自生成思维链工具链与人机协同思维链标注工具链,在本节的落点是判读依据与归因依据的结构化。板材备料的判读依据标注、热处理的成因判定依据、健康诊断的失效模式判定依据,都是「结论加推理过程」的形式,由这两条工具链组织;它们也是偏好数据与可解释率参考答案的来源。
长上下文数据构建类三条。文档切分与拼接、RAG 数据构建、文档结构解析三条,在本节的落点是选型的矿方资料解析与要素抽取,以及检索增强对照组的证据片段构造。选型任务的输入是多份长文档,参数散在正文与附表,文档结构解析的质量直接决定要素抽取的上限。
多轮对话数据构建类三条。对话模拟生成、结构化工单转对话、对话质量筛选三条,在本节的主要落点是库存场景的复盘问答与健康诊断的运维问答。结构化工单转对话这一条在健康诊断上尤其直接:服务工单的结构化回填内容经转换后构成问答样本,这也是回填这项流程改造的第二重价值。
多模态数据对齐类三条。设备图纸与工艺图结构化抽取工具链是板材备料场景的核心工具,图纸要素提取的全部样本由它组织;视频与文本对齐工具链用于焊接场景的熔池视频与检测结论对齐;传感器时序与运维事件对齐工具链在热处理、焊接、健康诊断三个场景都用,分别对应曲线与炉次绑定、参数段与焊道绑定、数据段与故障事件绑定。2.6.2.11 节的对齐样本消融实验度量的正是后两条工具链的产出价值。
智能标注类四条。大模型预标注与主动学习标注两条用于热处理与焊接的图像标注,两个场景的缺陷样本量大而标注资源有限,预标注加人工确认是现实的组织方式,主动学习用于在样本不均衡时优先挑选信息量大的样本送标。本体驱动规则标注工具链用于板材备料的工序与要素标注,规则来自工序字典与分档规则表。一致性校验标注工具链用于六个场景的双人标注一致率计算与分歧归集,2.1.11 节所述的一致性管理由它实现。
数据生成与增强类三条。指令数据生成工具链用于各场景指令微调子集的组织;工单与故障场景模拟生成工具链用于健康诊断的构造样本,特别是低频失效模式的情景构造;文本重写与多样化工具链用于口语与书面表述的覆盖扩充,选型场景的会商口语表述、健康诊断的运维记录用语都用到它。须写明一处约束:这三条工具链的产出一律不进入场景基准题集,基准题集不含任何形式的合成数据。
数据质量与分布控制类两条。数据去重与相似度过滤工具链在本节有一项关键用途,保证金标准集与训练集的双重切分真正干净。按对象与时间切分之后,仍可能存在内容高度相似的样本跨两侧分布(同一零件的不同版本图纸、同一矿井不同工作面的资料),须由相似度过滤查出并处理。数据分布分析与均衡工具链用于分层抽样框架的构造与各层覆盖度的核算。
数据生成控制与评测类两条。模板化数据生成工具链用于构造样本中模板化情形的批量生成,如单位陷阱与要件缺失类样本。数据集切分与基准构建工具链产出场景基准题集与金标准集的切分,并保证消融版本与完整版本使用同一套切分。这一点是对照实验差值可信的前提。
数据集验证与归因类三条,是验证台的三根支柱。多协议模型评测引擎工具链实现评测沙箱与多模型并行投放,四组对照由它承载。数据贡献度归因与错题溯源工具链实现失败用例回溯到数据集切片与样本标识,2.1.8 节第六步与 2.1.9 节的回流格式依赖它。数据集与模型版本血缘追溯工具链记录三元标识,使验证结论在数据集与模型双侧升级后仍可比对。
二十五条之中,本节直接使用或间接依赖的覆盖全部九类。工具链自身的功能设计、实现方式与交付标准见本投标文件智能工具链建设节。
本节涉及三类需要合规处置的数据,处置方式在此写明。
矿方运行数据。健康诊断场景的运行数据来自在役设备所在矿井,其处理位置与外传范围以矿方授权为准,授权范围逐矿点确认并形成可实施矿点清单。授权不包含外传的,数据处理在矿方受控域内完成,只有分析结论与脱敏后的特征统计出域。
企业技术秘密数据。图纸、工艺文件、参数窗口、选型方案、校核公式与故障机理文件属企业技术秘密,按敏感级别分级管理。调用模型服务时的放行判据统一到模型网关:命中最高敏感级判定规则的内容一律在网关层拦截,不以已裁剪为最小必要上下文作为放行理由。这一条在本节的具体落点是对照实验,检索增强组要把证据片段放入上下文,而证据片段来自企业知识库,因此该组的执行须在合规域内进行,不得将片段带出。
人员相关数据。焊工资质与培训记录、操作人员与报工记录涉及个人信息,按授权只读接入并作去标识化处理;未获授权时只输出频次统计,不输出可关联到个人的结论。本节的任何指标、任何报告均不以个人为统计单位,也不出具个人能力评价。
验证过程产生的留痕数据按项目数据管理制度归档,保留期限与访问权限随数据集运营服务管理平台的审计模块统一设定。
产品智能选型是矿山装备从客户需求到技术方案输出的首要环节,面向刮板输送机、转载机、破碎机、带式输送机用自移机尾、转载机自移系统开展。矿方提供矿井产量、采高、工作面长度、倾角、配套设备等参数后,当前由工程师手工计算、经验调整、文档编撰完成选型方案,招标文件列出四类痛点:选型高度依赖专家经验、知识传承困难;理论计算与实际选型存在断层;历史数据价值未充分挖掘、缺乏闭环优化;定制化比例偏高、增加交付成本与周期。场景主线为客户需求输入、参数智能解析、参数计算、选型方案推荐、选型结果生成,基于产品设计数据、产品参数组配、选型规则、历史案例和专家经验构建选型数据集,通过大模型、公式引擎与规则引擎联合实现需求结构化、参数自动计算、方案自动匹配推荐与报告生成。
从验证的角度看,这个场景有四处容易被忽略的地方,它们决定了验证方案的设计,也决定了指标该怎么定。
第一处是选型任务的输入不来自单一文件。产量与作业制度类参数来自矿方生产规划,地质与煤质类参数来自地质条件报告与采煤规程,而截深、截割高度、水平推移步距、支架中心距一类配套接口参数,是矿方与采煤机、液压支架、破碎机各方会商妥协之后确定的。现场会商通常要开两天,谈定的接口条件往往只存在于交流过程中,缺少规范的电子留痕:某项参数当时由谁提出、各方是否都认了、有没有附带条件,事后只能凭记忆复述。因此需求解析能力的验证不能只测「从一份文档里抽字段」,而要测多来源输入在同一选型任务号下的归集、版本管理与冲突处理。
第二处,也是最要紧的一处,是企业现有的选型公式在性质上是校核公式而非正算公式。工程师须先预设一整套配置(槽宽档位对应的机型、动力部功率与布置方式、链环直径与链条规格),再连同工况参数代入公式,验算整机消耗总功率、链条理论安全系数,以及按力与按功率两个口径的实际安全系数能否过门槛。招标文件的用词是「自动计算与验算」,与这一事实吻合。公式回答的是「这套配置行不行」,回答不了「该配哪一套」。这一条差别直接决定判据的写法:参数计算能力的判据是复算一致性,同输入、同公式版本必得同结果,容差写到数量级;推荐能力的判据是排序质量,在可行组合中给出有依据的优先次序。两者不能合成一个准确率。企业既有的自研辅助程序能穷举可行组合但不区分优先次序、不含造价与复用维度,取舍仍依赖资深经验,推荐能力要补的正是这一段。
第三处是选型结论的颗粒度与复用条件。现行选型结论只到整机机型一级,机头、动力部、中部槽、电缆槽、齿轨、机尾装置等构件仍需逐张出图;企业正在按槽宽规格逐档构建标准化部件库,但适用条件、替代关系、是否在产这三项字段尚不齐备,图库也还没有形成按槽宽族的检索入口。没有这三项字段,标准件可用率就无法可靠测算,「降低定制化率」这一痛点也就没有可度量的落点。因此本场景的验证把标准件可用率单列为一项,并明确它的统计范围只覆盖已完成梳理与认定的档位,未认定档位以待认定状态单列、不进分母。
第四处是历史资料的状况。年度选型任务在数百笔量级,方案全部以文档形式散存,没有结构化库;更关键的是输入参数未随结论留存,翻出一份当年的选型方案,能看到最终配置,看不到当时依据的工况取值与公式版本。设备投运之后用得好不好也没有回到选型环节,返修与改造情况没有与当初的选型输入建立关联记录。这决定了两件事:金标准集须从历史方案批量归集后反向结构化形成,这是一项实打实的工作量;而投运使用评价属于当前完全无记录、须从零补录的字段,相关验证项按受限档起步,不以它作为首轮通过条件。
招标文件为本场景列了三条验证要求,展开为八项可独立判定的能力。拆解的原则是一项能力对应一种判据性质,不把确定性计算与统计性推断混在一项里。
表 2-7 产品智能选型场景被验证能力
| 编号 | 被验证能力 | 判据性质 | 层级 |
|---|---|---|---|
| X1-1 | 需求采集方式:结构化表单、参数模板、附件上传 | 功能可用性 | L2 |
| X1-2 | 选型关键要素自动识别(八类要素) | 统计性 | L2 |
| X1-3 | 缺失信息提醒与数据校验 | 统计性,配构造样本专项 | L2 |
| X1-4 | 参数智能计算与验算(五类关键参数) | 确定性,复算一致 | L2 |
| X1-5 | 选型智能推荐 | 统计性,配可解释率 | L2 |
| X1-6 | 规格书与报价配置清单自动生成 | 字段完备性 + 核算一致性 | L2/L3 |
| X1-7 | 在线编辑、确认与版本留痕 | 功能完整性 | L2 |
| X1-8 | 全流程端到端任务 | 任务级 | L3 |
表 2-7 数据来源:招标文件逐条拆解。
八项之中,X1-2 的八类要素须逐类统计而不是合成一个总准确率。输送能力、输送距离、倾角、煤层厚度四类是数值型,有单位与量纲问题;工作面条件、配套设备两类是组合型,一项里含多个子字段;可靠性要求与特殊定制要求两类是文本型,常以条件句表达,例如「倾角段超过十五度区段要求加装防滑装置」。三种类型的抽取难度相差很大,合成统计会把文本型的失败藏在数值型的高分里。
X1-4 的五类参数在复算上也要分开看。输送能力与刮板链速度是正算量,给定配置与工况直接算出;运行阻力与驱动功率的计算链较长,中间量多;链条安全系数要同时给出理论值与按力、按功率两个口径的实际值,三个数各有判据。复算一致性按公式项统计,不按任务统计。
L1 阶段核查十类数据对象。按最小可用集与增量项两类组织:能够跑通一次完整选型验证的最小组合是一组核心工况参数、机型与部件型谱、可调用或可导入的校核结果,以及参数字典;其余各类每补齐一类,对应能力由受限档升到完整档。这样组织不是为了降低要求,而是因为选型任务的来料本身高度不齐,矿方各不相同,同一矿方不同工作面的资料完备程度也不一样,把清单当成前置条件会让验证长期停在等资料齐套的状态。
核心工况参数以选型任务号加资料版本号为主键,字段含煤的容重与原煤松散比重、工作面倾角、采高、煤层厚度、铺设长度、年计划产量或小时过煤量、生产天数与日生产小时数,每项须绑定来源文件与原文位置。原文位置这一项不是附加要求:选型结论将来要被追问「这个采高是从哪儿来的」,答不上来,结论就立不住。L1 的核验项是字段非空率与原文位置可回溯率。
配套接口参数以选型任务号加确认单版本为主键,字段含采煤机型号、开机率、截深、截割高度、牵引与行走方式,液压支架型号、中心距、水平推移步距,破碎机处理能力。这一类当前多为会商口头结论、无电子留痕,属须补录字段。L1 阶段的要求不是覆盖率,而是填报入口可用并完成不少于三十条试填,其中至少十条取自实际会商任务,用来验证表单字段与现场实际谈的内容对得上。
校核公式与版本以公式编码加版本号为主键,须含适用工作面类型、输入输出定义、系数、适用条件、阈值与签封状态。这是 X1-4 复算验证的前置条件,没有签封版本就没有参考答案。公式的签封由甲方技术部门完成,我方不自行设定;签封版本能否只读获取、还是以受控导入方式取得,在就绪度体检中确认并记录,两种方式都要完成版本绑定与留痕。
标准化部件库以部件编码为主键,须含型谱、适用条件、替代关系、是否在产、所属产品族。前已述及,适用条件、替代关系、在产状态三项当前缺失,L1 阶段由受控表格导入补齐,导入版本须经甲方标准化口确认。
其余各类的核验项与处置方式同理,在就绪度报告中逐项列出,含选型参数字典(参数编码为主键,字段为名称、别名、单位、取值范围、口径说明与版本)、候选与最终配置、历史选型案例、投运与用后反馈、参考报价,以及选型任务过程留痕六类。
L1 的通过要求是:十类对象中前七类达到主键可贯通、关键字段非空率不低于百分之八十五;配套接口参数与投运用后反馈两类按补录项处理,只要求填报入口可用并完成试填,不计入字段覆盖判据。参数字典的别名与单位两列须齐备,这一项单独列为硬条件,别名不齐,要素抽取的指标会被口语表述与规范名称的差异系统性拉低,而那不是模型的问题。
金标准集从历史选型案例中分层抽样形成,分层维度两个:工作面类型,分超长、常规、大采高、薄煤层四层;产品类别,按招标文件所列五类设备分层。合计不少于三百个历史选型任务,各层不少于三十个。按这个规模,单项要素抽取准确率在百分之九十五置信水平下的区间半宽约在三至五个百分点,分层报告时各层的区间半宽约在九个百分点,这个精度足以判断是否达到基线档,但不足以比较相邻两层的细微差异,验证报告中按此口径陈述,不做过度解读。
标注内容三项:输入要素的正确取值与原文位置、当年的校核结果、当年的最终配置。标注由选型骨干双人独立完成,分歧交第三人仲裁,仲裁记录留存。历史方案的反向结构化是这里的主要工作量:输入参数未随结论留存,须从方案正文、附件计算书与当年的往来资料中回溯,回溯不到的任务只作部分标注并标明缺哪几项,不强行填补。
用例集分五组。
要素抽取组用于 X1-2 与 X1-3,每个任务的输入文档按原样投放,不做预清洗。扫描件、低质量传真件、表格嵌在正文里的 Word 文档都原样进入,因为实际来料就是这样。其中专门构造一组异常样本用于验证缺失提醒与数据校验,不少于六十例,覆盖四类情形:要件缺失(缺采高或缺铺设长度)、取值越界(倾角写成四十五度)、单位不一致(吨每小时与吨每日混写、米与毫米混写)、前后矛盾(正文与附表的工作面长度不一致)。构造样本单独统计。
复算组用于 X1-4,取历史任务的已知输入与已知校核结果,按签封公式逐式比对。这一组的参考答案是客观的,不需要标注,只需要确认当年的公式版本。
推荐组用于 X1-5 与 X1-6,以历史最终配置为参考,但判据不写成「必须与历史一致」。历史定案本身可能不是最优,其中还含有当年的商务因素与客户指定,这部分无法从工况参数复现。因此采用一致率与可解释率两项并列。
端到端组用于 X1-8,从回放窗口取不少于五十个完整任务,另取实施期内的真实新任务不少于二十个。回放窗口的任务要保留当时的全部原始输入与当时的真实产出,用来比对系统改动后结论是否发生非预期变化。
留痕组用于 X1-7,抽样复核不少于两百条在线修改动作,逐条核对修改人、时间、修改前后值与版本号。
本场景的验证智能体把一次选型任务拆成七步:要素抽取、参数归一与校验、工况分型、校核送参与结果绑定、可行解生成、多目标排序、规格书与清单成稿。七步各自留痕,失败时能定位到步。
分工按 2.1.5 节的原则安排。要素抽取与参数归一用模型,依托文档结构解析与 RAG 数据构建两类工具链的产出,参数字典与校验规则作为约束注入;工况分型按明写的判定条件执行,属规则;校核计算调用确定性引擎,按契约送参并绑定公式版本;可行解生成是组合枚举,属确定性;排序用明写权重的多目标评分函数,权重项含校核余量、标准件可用率、成熟度与造价估算四维,每一项的计算方式可逐项复算;规格书成稿用模型,按企业模板与表述规范组织。
这样分工有一处是刻意的:排序不用判别模型。理由是选型判据在项目初期尚在成文过程中:参数字典、分型判据、替代关系清单都是本期的首要交付物,此时训练一个评分模型,样本会随判据修订而部分作废;而明写权重的评分函数可逐项复算、可解释、可按业务反馈调整权重。若实施期内该环节经独立评测确未达业务门槛,再按门槛为其配置专用模型,届时判据已稳定、标注样本也不会白做。这一取舍写进验证方案,是因为它直接影响判据的写法:评分函数的验证做的是排序质量与权重敏感性,而不是模型准确率。
人审检查点设三处:参数归一完成后、校核结果绑定后、规格书成稿后。检查点的位置不是随意定的,三处都是一旦错过后面全错的位置,参数错了校核就错,契约版本绑错了报告里的结论就是另一回事,规格书成稿后再改要重走版本。
七步之中,三步设步级判据,另四步的结果已被下游指标覆盖,不另立判据以免重复统计。
要素抽取与参数归一两步合并为一个判据单元,因为它们的错误在下游不可区分:抽错了值与归错了单位,到校核环节都表现为参数不对。这一单元统计步级正确率与条件正确率,条件正确率的前提是输入文档完整可解析。校核送参与结果绑定这一步单独立判据,度量三件事:是否调用了签封公式而非自行计算、送参是否按契约的输入清单与单位量纲,以及公式版本是否正确绑定到结论。第三件最易出错也最隐蔽,前已述及。规格书成稿这一步的判据是引用一致性,即报告中引用的每一个参数值与实际送算值一致。
工具调用正确性在本场景的基线写成硬条件:应当调用校核引擎而由模型自行计算的次数为零。这不是苛刻,校核公式是企业签封的技术文件,绕过它得出的安全系数在工程上不成立,哪怕数值接近。
人审检查点的三处统计按 2.1.14 节口径执行。参数归一后这一处的误停率门限定得相对宽,因为本场景年任务量在数百笔、单笔价值高,多停一次的代价远低于放过一个错参数;规格书成稿后这一处的门限要严,否则岗位会形成不看就确认的习惯。
举一个具体的用例,把判据落到实处。用例取自回放窗口,是一笔超长工作面的刮板输送机选型任务。
输入三份资料:矿方地质条件报告(PDF,矢量可复制)、招标技术要求(Word,参数散在正文与附表两处),以及配套参数确认单(本次为依确认单格式回填的结构化记录)。参考答案由选型骨干标注,含输入要素的正确取值与原文位置、当年的校核结果、当年的最终配置。
第一步要素抽取。系统须抽出的核心项是年计划产量、工作面长度、倾角、采高、煤层厚度、煤的容重与原煤松散比重、生产天数与日生产小时数。本例的两处陷阱都是真实来料里常见的:工作面长度在正文写的是一个数、在附表写的是另一个数(设计长度与实际铺设长度之别),倾角写的是一个区段范围而非单值。判据的落点是系统应把这两处识别为冲突与范围值,并按 2.1.14 节的多来源归集规则列出候选、交人审检查点,而不是自行择一。若系统静默取了正文那个数并继续往下算,这条用例即判失败,失败原因记为冲突未识别,而不是抽取错误。两者的整改方向不同。
第二步参数归一。配套确认单里的表述是口语化的,「一米四的槽宽」须归一到槽宽一千四百毫米,「一千两千的中双链」须对齐到型谱中的规范型号。这一步的失败多来自参数字典的别名缺失,归因路径已在 2.2.2.12 节写明。
第三步工况分型。按明写的判定条件判为超长工作面,这一步属规则,结果可逐条复核。
第四步校核送参。此处是本用例最吃紧的一步。系统须先预设配置(槽宽档位对应的机型、动力部功率与布置、链环直径与链条规格),再按契约送参,取回整机消耗总功率、链条理论安全系数,以及按力与按功率两个口径的实际安全系数。判据有三项:是否调用了签封公式而非自行计算(基线为绕过次数零);送参的单位量纲是否按契约(功率单位、长度单位、倾角的度与弧度);以及取回的结果是否绑定了公式版本。本例的参考答案含当年的校核结果,因此复算一致性可逐式比对,容差一百万分之一量级。
第五步可行解生成与第六步排序。枚举出的可行组合中应当包含当年的实际定选配置,这一点是可行域正确性的硬判据。若当年定选的配置根本没进可行解集合,问题在枚举规则或型谱数据,比排序偏差严重。排序结果与当年定选比对,给 Top-1 一致率与 Top-3 命中率;若排序把当年定选排在第二位,须说明差异来自哪一维度,本例中若因该配置的标准件可用率较低而被压后,这个说明就是有效的可解释。
第七步成稿。规格书的三类必填内容(推荐产品及配置、主要技术参数、规则校验结果),逐字段核对;并核对报告中引用的每一个参数值与实际送算值一致,这是 2.2.2.5 节所述引用一致性判据的落点。
这条用例在四组对照中各跑一次。基座裸测组预计在第一步就会取走正文那个数、不识别冲突,在第四步会自行计算而不调用公式;检索增强组在参数归一上应有明显改善;数据集适配组的改善应主要出现在冲突识别与报告组织两处。三组的差值即为该用例对能力增量的贡献。
2-3 产品智能选型场景的验证链路与判据落点
图 2-3 产品智能选型场景的验证链路与判据落点。数据来源:招标文件;校核公式的校核性质依甲方现行选型做法。
八项被验证能力逐项列明它所用的来源数据、样本如何组织、参考答案从哪里来,以及在什么环境中执行、与哪几组对照同投。表中所列为本场景单场景验证方案的编制依据,实施时按试点范围细化。
表 2-8 产品智能选型逐项验证的数据、样本与基准答案
| 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 |
|---|---|---|---|---|
| X1-1 需求采集方式 | 矿方地质条件报告、招标技术要求、配套参数确认单三类来料原件 | 结构化表单、参数模板、附件上传三种方式各不少于 20 件;附件按文本型、表格型、扫描型三类交叉覆盖 | 应入库字段清单,由选型骨干在收件登记时确认 | 验证台采集入口,只读取不回写;功能可用性项,不设对照组 |
| X1-2 要素自动识别 | 历史选型任务的原始输入文档,按原样投放不作预清洗;选型参数字典的名称、别名、单位三列 | 300 个历史任务,按工作面类型四层与产品类别五层交叉分层,各层不少于 30 个;八类要素按数值型四类、组合型两类、文本型两类分列 | 要素正确取值与原文位置,选型骨干双人独立标注、第三人仲裁,仲裁记录编号写入用例卡 | 评测沙箱,要素抽取类题型,种子与采样参数登记;基座裸测、检索增强、数据集适配三组同投 |
| X1-3 缺失提醒与数据校验 | 按四类情形构造的异常输入:要件缺失、取值越界、单位不一致、前后矛盾 | 不少于 60 例,四类各不少于 15 例;单独统计,不混入主指标分母 | 每例的应提醒项与应校验项清单,构造时由骨干写定并随样本冻结 | 同一沙箱配置,三组对照同投 |
| X1-4 参数计算与验算 | 历史任务的已知输入;甲方签封的校核公式及其版本与适用条件;当年的校核结果 | 按公式项组织,覆盖输送能力、刮板链速度、运行阻力、驱动功率、链条安全系数(理论值与按力、按功率两个实际值) | 当年校核结果为客观答案,不需标注,只需确认当年的公式版本 | 确定性引擎按契约送参并绑定公式版本;结果与模型无关,不做对照 |
| X1-5 选型智能推荐 | 历史最终配置;机型与部件型谱;标准化部件库的适用条件、替代关系、在产状态;物料价格主数据 | 同 X1-2 的 300 个任务,按工作面类型分层;排序输出取前三位 | 当年最终配置;因其含商务因素与客户指定,一致率之外并列差异可解释率 | 明写权重的多目标评分函数加沙箱;三组对照同投 |
| X1-6 规格书与报价清单生成 | 企业规格书模板与表述规范;报价清单的标准件核算口径;第四步的实际送算值 | 闭合任务不少于 100 份文档,按模板必填字段清单逐字段核对 | 必填字段清单为字段完备性的答案;引用一致性的答案即本次实际送算值 | 沙箱生成类题型,按关键事实清单判分,不用文本相似度;三组对照同投 |
| X1-7 在线编辑与版本留痕 | 验证台的修改动作日志与版本记录 | 抽样不少于 200 条修改动作,覆盖参数归一后、校核绑定后、成稿后三处检查点 | 修改人、时间、修改前后值与版本号的实际发生事实 | 留痕抽样复核;功能完整性项,不设对照组 |
| X1-8 全流程端到端任务 | 回放窗口的完整任务与实施期内的真实新任务 | 回放任务不少于 50 个,新任务不少于 20 个;按任务计,分可用、返工、失败三类 | 回放任务取当时的真实产出;新任务取岗位签认结论 | 七步验证智能体全链路,逐步留痕;对照实验在端到端题集子集上做 |
表 2-8 数据来源:能力编号与标书依据见表 2-7;样本规模见表 3-3;标注与仲裁口径见 2.1.11 节。
指标公式写明分子、分母与统计单位,避免同一个「准确率」在验收时出现三种算法。招标门槛一栏照录招标文件自己给出的要求及其原文前提;未给数值的条目如实写明未设数值门槛,不代为编造。人工复核、失败归因、补采返工与复测三栏是该项不达标时的闭环路径。
表 2-9 产品智能选型逐项验证的指标公式与闭环责任
| 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 |
|---|---|---|---|---|
| X1-1 | 可用采集方式数 ÷ 应支持采集方式数;附件按三类各记成功件数 ÷ 投放件数 | 招标文件相应条款要求支持结构化表单、参数模板与附件上传,未设数值门槛 | 选型骨干核对收件字段是否齐备 | 按来料形态归类;扫描型附件走人工录入通道,不记为能力失败;通道演练一次留痕 |
| X1-2 | 抽取正确字段数 ÷ 参与比对字段数,取值与单位同时正确方计正确;八类要素分列,另算原文位置可回溯字段数 ÷ 抽取字段数 | 招标文件相应条款列出八类要素,未设数值门槛 | 骨干按仲裁后的参考答案逐字段核;文本型两类全量复核 | 先查原文有无该项(无则属来料缺失,由 X1-3 拦截);再查别名是否登记;别名已登记仍未抽到的,按表述形式统计覆盖并转数据集扩充,复测跑该表述子集与回归子集 |
| X1-3 | 正确提醒的构造例数 ÷ 应提醒的构造例数;误报率为误提醒字段数 ÷ 参与校验字段数 | 招标文件相应条款要求具备缺失信息提醒与数据校验,未设数值门槛 | 骨干逐例核对提醒内容与实际缺口是否对应 | 漏提醒逐例归因到校验规则缺口,补规则后复测该类构造样本;误报偏高的调整规则阈值并复测 |
| X1-4 | 相对偏差 ≤1×10⁻⁶ 的公式项数 ÷ 参与复算的公式项数;门槛判定按任务计一致数 ÷ 任务数 | 招标文件相应条款要求「自动计算与验算」五类关键参数,未设数值门槛 | 甲方技术部门逐条过差异台账,判定属公式理解偏差还是输入取值偏差 | 超限项进差异台账逐条判定,不以「工程上可接受」放过;属输入取值的回流要素抽取,属公式理解的修订送参契约,两类均重跑全部复算组 |
| X1-5 | Top-1 与历史定案一致任务数 ÷ 任务数;Top-3 命中任务数 ÷ 任务数;可解释项数 ÷ 不一致项数;越界推荐条数(绝对数) | 招标文件相应条款要求具备选型智能推荐能力,未设数值门槛 | 骨干对每一处与历史不同的推荐核对差异说明是否成立 | 先核可行域:历史定案未进可行解集合的,归因到枚举规则或型谱数据;可行域正确而排序靠后的,核四维权重中压低它的那一维及其输入数据质量;部件库字段补齐后重跑推荐组 |
| X1-6 | 必填字段齐备文档数 ÷ 文档数;清单核算一致行数 ÷ 清单行数;引用一致性按参数值计一致数 ÷ 引用数 | 招标文件相应条款要求自动生成规格书与报价配置清单,未设数值门槛 | 骨干逐份核对三类必填内容与送算值 | 缺字段项列清单并回流模板映射;引用不一致的追版本绑定链路,属参数变更未重算的按构造样本复测 |
| X1-7 | 可追溯修改动作数 ÷ 抽样修改动作数 | 招标文件相应条款要求支持在线编辑、确认与版本留痕,未设数值门槛 | 见证岗位抽查留痕条目与实际操作是否对应 | 缺失留痕的动作判定未完成并重跑;留痕链路修复后重新抽样 |
| X1-8 | 可用任务数 ÷ 任务数;返工任务另记修改字段数与耗时;失败任务数 ÷ 任务数 | 招标文件相应条款要求提供全流程验证能力,包括但不限于所列条目,未设数值门槛 | 岗位对可用、返工、失败三分逐任务签认 | 按步定位失败步骤,再按该步的单项归因路径排查;整改后复测受影响任务子集与回归子集,不作整批重跑 |
表 2-9 数据来源:招标门槛一栏照录招标文件原文要求;指标数值见表 2-11;闭环格式见 2.1.9 节。
每一项能力都配正常、边界、异常三类用例。正常用例检验能力在常规来料上是否成立;边界用例检验判据在取值边缘、范围表述与档位交界处是否仍然可判;异常用例检验系统在输入有错、要件缺失或条件不具备时是否停下来追问,而不是静默给出一个看起来合理的数。三类用例分别统计,异常类不混入主指标分母。
表 2-10 产品智能选型的三类用例
| 能力 | 正常用例 | 边界用例 | 异常用例 |
|---|---|---|---|
| X1-1 | 矢量可复制的地质报告加结构化确认单,三类采集方式各走一遍 | 附件为表格嵌在正文中的文档;单份来料超出常见篇幅 | 附件为扫描图片版传真件,应转人工录入通道并留痕 |
| X1-2 | 参数散在正文与附表、表述规范的历史任务 | 倾角写成区段范围而非单值;槽宽以口语表述给出 | 正文与附表的工作面长度不一致,应识别为冲突并列候选交人审 |
| X1-3 | 要件齐备的任务,校验应全部通过且不误报 | 倾角取值落在工艺适用区间的端点上 | 缺采高或缺铺设长度;吨每小时与吨每日混写;倾角写成四十五度 |
| X1-4 | 输入齐备、公式版本明确的历史任务逐式复算 | 安全系数恰在门槛值附近,检验门槛判定的取舍方向 | 送参单位量纲与契约不符;应调校核引擎而系统自行计算,须判该用例失败 |
| X1-5 | 常规工作面任务,历史定案应落在可行解集合内 | 两套配置的加权得分接近,检验差异说明是否指得出维度 | 型谱中已停产的档位被推在前列,须由在产状态拦截并计越界 |
| X1-6 | 闭合任务成稿,三类必填内容齐备 | 报价清单含非标准件行,核算口径分列 | 成稿前在人审检查点改一个参数而未重算,须被拦住 |
| X1-7 | 常规修改动作,留痕四要素齐备 | 同一字段连续多次修改,版本序列须连续 | 并发修改同一任务,须保留全部动作而不覆盖 |
| X1-8 | 回放窗口中资料齐套的完整任务 | 配套确认单缺一项非关键参数,任务应可完成并标明缺口 | 签封公式版本不可取,任务应在第四步停下并记录受限原因 |
表 2-10 数据来源:用例组划分见 2.2.2.3 节;构造样本的四类情形见该节。
表 2-11 产品智能选型场景的验证指标
| 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 |
|---|---|---|---|---|
| X1-1 | 三类采集方式的用例通过情况;附件按文本型、表格型、扫描型三类分别记录 | 三类采集方式均可用;扫描型附件走人工录入通道 | 扫描型附件可识别后由人工确认 | 走人工录入通道并记录 |
| X1-2 | 关键要素抽取正确率,按字段;取值与单位均正确方计正确 | ≥85%;年计划产量、采高、工作面长度、倾角、煤层厚度五项 ≥90%;文本型两类单列不低于 75% | ≥92%,核心五项 ≥95% | 定位失败来源切片,补参数字典别名或补样本 |
| X1-2 | 原文位置可回溯率,按字段 | ≥90% | 趋向全量 | 不可回溯字段标注为待人工确认 |
| X1-3 | 缺失要素提醒召回率,按构造样本 | ≥95% | 趋向全量 | 漏提醒逐例归因并补校验规则 |
| X1-3 | 数据校验误报率,按字段 | ≤5% | ≤3% | 调整规则阈值并复测 |
| X1-4 | 复算相对偏差达标项占比,按公式项 | 相对偏差 ≤1×10⁻⁶ 的项数占比 ≥99%,超限项逐项列差异台账 | 趋向全部项一致 | 差异台账交技术部门判定属公式理解偏差或输入取值偏差 |
| X1-4 | 门槛判定一致性,按任务 | ≥98% | 趋向全量 | 不一致项逐例复核 |
| X1-5 | Top-1 与历史最终配置一致率,按任务 | ≥60% | ≥70% | 不一致项须给出差异说明 |
| X1-5 | Top-3 命中率,按任务 | ≥85% | ≥90% | 未命中项归因 |
| X1-5 | 差异可解释率,按不一致项 | ≥90% | 趋向全量 | 不可解释项计为失败 |
| X1-5 | 可行域正确性,按推荐项 | 越界推荐数为零,一旦出现即判该轮不通过 | 保持 | 拦截规则补强后复测 |
| X1-6 | 规格书必填字段完备率,按文档 | ≥95% | 趋向全量 | 缺字段项列清单 |
| X1-6 | 报价清单标准件核算一致性,按清单行 | ≥98% | 趋向全量 | 差异行列明口径 |
| X1-7 | 修改留痕完整性,按修改动作 | 抽样不少于二百条逐条可追溯;覆盖率趋向全量 | 保持 | 缺失留痕的动作判定未完成 |
| X1-8 | 端到端任务可用率,按任务 | ≥70% | ≥80% | 返工任务统计修改字段数与耗时 |
| X1-8 | 端到端任务失败率(整件作废),按任务 | ≤5% | ≤3% | 逐例归因 |
表 2-11 数据来源:指标项对应招标文件;阈值为我方按历史资料条件设定的承诺口径,最终随蓝图设计确认。
Top-1 一致率的基线定在百分之六十,不是指标做不高,而是口径所致。历史定案中含有当年的商务因素与客户指定,这部分无法从工况参数复现;把一致率定得过高,等于要求系统去复现商务决定,那不是选型能力。因此一致率之外另设差异可解释率,要求系统对每一处与历史不同的推荐说清差异来自哪一维度:校核余量、标准件可用率、成熟度还是造价。这一项比一致率更能反映选型知识是否真的被固化下来,也是将来向岗位解释推荐结果的依据。
X1-4 的容差写到 1×10⁻⁶ 这个量级,是因为它是确定性计算,差异只应来自浮点舍入。超出这个量级就说明两边算的不是同一件事:要么公式理解有偏差,要么输入取值不同,要么单位换算有问题。三种都是实质问题,都要进差异台账逐条判定,不以「工程上可接受」放过。
复算达标占比这一门限的测法随判据一并定下。复算集取要素抽取所用的同一批三百个历史任务中输入齐备、当年公式版本可确认的那一部分,按公式项组织,逐任务逐式全量复算,不抽样;分母是参与复算的公式项数,分子是相对偏差落在 1×10⁻⁶ 以内的项数,输送能力、刮板链速度、运行阻力、驱动功率与链条安全系数的三个口径各自成项,不合并计数。首期按达标项占比不低于百分之九十九设定基线,在首轮验证中一次测定;此后每遇校核公式换版、送参契约修订或标准化部件库导入新版本,对受影响的公式项在同一批任务上重跑全集并加测回归子集,各轮结果按轮次进验证记录,前后并列呈现。未达基线的,超限项全部进差异台账,由甲方技术部门逐条判定属公式理解偏差、输入取值偏差还是单位换算问题:属输入取值的回流要素抽取环节,属公式理解的修订送参契约,两类均重跑全部复算组;台账存在未关闭项时本项不出通过结论,也不以占比接近基线作为通过理由。观察期内的目标是逐步接近全部公式项一致,终值不在首轮写死。
本场景做四组对照中的前三组,不做子集消融。不做消融的理由是本场景的数据主要集中在供需计划与产品工艺设计两域,可消融的维度少;而要素抽取与推荐排序两项能力的主导变量是参数字典的完备度与历史案例的结构化程度,这两者不是语料配比问题。首轮验证后若指标分布显示某一类历史案例贡献显著,再追加按产品类别的消融。
三组对照的题集取自场景基准题集中的要素抽取与方案推荐两类题型,不少于一百五十题,全部来自真实历史任务,不含任何合成数据。
基座裸测组用来立零点。预期的表现是:数值型要素能抽出相当一部分,因为它们有明确的词面线索;文本型要素(可靠性要求、特殊定制要求)表现会明显低,因为它们需要理解企业的表述习惯;而配置推荐会给出看起来合理但在企业型谱里并不存在的机型。这一组的结果不是用来贬低基座,而是用来说明哪些能力必须靠本项目数据才能得到。
检索增强组接入选型知识库与参数字典,按任务检索后把证据片段放入上下文。这一组与第一组的差值,衡量的是知识可得性的价值。可以预见,参数字典的接入对单位量纲消歧的提升会很直接,「一米四的槽宽」能对齐到「槽宽 1400 毫米」,这是字典的功劳,不是训练的功劳。本方案在报告中明确标注这部分为检索充分,不计入微调的贡献。
数据集适配组使用以本项目选型相关指令微调子集训练后的模型版本。这一组要报的除了正向指标,还有两项负向观察:一是在通用任务上的能力有无回退,用保留的通用评测集抽测;二是回答有无冗余化倾向,用输出长度分布与信息密度两项度量。微调带来的常见副作用是模型学会了企业的表述格式却丢了判断力,输出变长而内容变空,这件事必须被度量出来而不是靠人读了觉得还行。
三组结果按验证项逐项列出指标值与两两差值,形成能力增量表,并以雷达图呈现八项能力在三组上的分布。差值的解读规则写在报告里:第二组减第一组记作知识可得增量,第三组减第二组记作数据集加工增量,后者才是本包数据加工工作的直接贡献。
本场景的失败归因有两类高频情形,在验证方案中预先给出排查路径,不等到现场再想。
第一类是要素抽取失败。排查顺序是:先看原文里有没有这一项,没有的属于来料缺失,应由缺失提醒拦住而不是算抽取失败;有而未抽到的,看是否属于别名未登记,这一类补字典即可;别名已登记而仍未抽到的,看该表述形式在训练样本中的覆盖情况,覆盖不足的转数据集扩充需求,需写明补什么类型的表述、补多少。
第二类是推荐不一致。排查顺序是:先核可行域,若历史定案根本没进可行解集合,问题在枚举规则或型谱数据,属实现侧或数据侧的结构问题,比排序偏差严重得多;可行域正确而排序靠后的,看四维权重中哪一维把它压下去了,并检查该维的输入数据是否准确,造价估算依赖物料价格主数据,标准件可用率依赖部件库的在产状态,这两处的数据质量直接影响排序。
第三类情形值得单列:输入正确、抽取正确、校核正确,而最终规格书里的数仍然不对。这一类几乎都出在版本绑定上,送校时用的是公式 A 版,成稿时引用的是 B 版的结论,或者参数在人审检查点被改过而校核未重算。它在按环节统计的单点指标上观测不到,只能在端到端任务级暴露,这也是本方案把 L3 单列一层的原因之一。排查依据是验证智能体的逐步留痕:每一步的输入快照、契约版本与调用记录都在,比对一遍即可定位。防范办法是把「参数变更即触发重算」写成硬规则并作为一个独立验证项,用构造样本检验。在人审检查点改一个参数,看系统是否拦住了未重算就成稿的动作。
本场景的验证分三批执行,分批依据是数据条件的到位节奏而不是能力的难易。
第一批执行复算组与要素抽取组。这两组只依赖已签封的校核公式、参数字典与历史方案的结构化成果,不依赖任何需要新建流程的台账,因此在就绪度体检通过后即可开跑,也适合作为方法框架的首次检验。第一批的见证安排是:复算组的差异台账由甲方技术部门逐条过一遍,确认每一条差异属公式理解偏差还是输入取值偏差;要素抽取组按产品类别分五次执行,每次至少一位选型骨干到场,核对投放的用例集为冻结版本、模型版本与环境基线记录一致。
第二批执行推荐组与成稿组,前置条件是标准化部件库的适用条件、替代关系、在产状态三项字段完成导入并经甲方标准化口确认。这一批的指标对部件库的质量很敏感:在产状态标错一个档位,排序结果就会把已停产的配置推到前面,而这类错误在指标上表现为推荐不一致,容易被误判为算法问题。因此第二批执行前先做一次部件库抽样核对,抽样比例不低于已认定档位的百分之十,核对不通过的档位暂不纳入本批统计范围。
第三批执行端到端组与留痕组,并进入观察期。观察期的长度按任务频次确定:本场景年任务量在数百笔量级,折算到月在数十笔,观察期取不少于两个月,期内累计真实任务不少于三十笔方具备统计意义。观察期内记录四项:岗位对推荐结果的实际采纳情况(直接采纳、调整后采纳、不采纳三分)、降级档位的发生次数与原因、人审检查点的拦截次数与拦截内容,以及任务各阶段的耗时。
耗时这一项要单独说明。本场景当前没有可比的基线:企业现无选型任务的工时台账,单笔任务的实际投入、返工次数与资料齐套等待时长都没有记录。因此观察期的第一件事不是比快慢,而是把基线建起来:按矿方与工作面类型分组记录,并区分使用验证台与不使用两种情形。这份统计本身是交付物之一,也是将来评估成效的唯一可信依据。在基线建立之前,验证报告不就效率提升给出数值结论,只给出已记录的分组数据。这比给一个无从复算的百分比更有用。
本场景的验证记录按用例、按轮次、按场景三级留存,字段在此写定,与 4.1 节的用例卡体例一致,不另立一套。
用例级记录的必填字段:用例编号、所属验证项与用例组、输入对象标识(选型任务号加资料版本号,须为真实业务标识)、输入数据快照引用、参考答案内容与其来源、仲裁记录编号、执行时间、沙箱配置(随机种子与采样参数)、实际输出、七步逐步留痕引用、见证人签认记录、判据编号与判据版本、判定结论、归因方向、对照实验组别。失败用例另填失败步骤、失败表现与所需补充数据。
轮次级记录的必填字段:本轮所用的数据集版本指纹、模型版本(四组对照逐组登记)、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单,以及本轮的复算抽样记录。本场景另加两项本场景特有的记录:校核公式的签封版本号与取得方式(只读调用或受控导入),标准化部件库的导入版本与抽样核对结论。
场景报告的字段按 4.3 节的九章体例出具,本场景在其中填入的内容为:被验证能力清单与条目对照(八项);数据就绪度结论(十类对象的字段非空率、原文位置可回溯率、补录项试填完成情况);验证资产说明(分层抽样框架、标注一致率、仲裁记录摘要、回放窗口与构造样本规模);执行情况(三批执行的版本登记与见证记录);逐项判定结论(每项给指标值、分母规模、判据版本、判定结果与置信区间说明);数据集贡献度结论(三组对照的能力增量表与能力雷达图);归因分析(按四类方向分列并给证据);可用性结论与档位说明(含投运用后评价维度所处的受限档);改进需求与优先级。报告另附选型任务工时与返工基线统计。
版本关联按三元标识执行:每一条判定结论绑定数据集版本指纹、模型版本与判据版本,三者缺一该结论不出具。本场景另绑第四项,校核公式版本号;成稿文档中引用的每一个参数值须与该版本下的实际送算值一致,这一关联是 X1-6 引用一致性判据的落点。版本记录进奔牛数据智能平台的版本与审计模块,血缘记录暂不可用时以验证报告中的版本登记替代,并在报告中注明自动溯源能力当前不具备。
选型场景的三类验证资产在其他场景可以直接复用,写明复用关系是为了避免重复建设,也为了让六个场景的口径天然一致。
参数字典的建设方法与维护责任在六个场景通用。本场景建立的字典含名称、别名、单位、取值范围、口径说明与版本六列,别名列是实际工作中最吃力也最有用的一列:同一个量在矿方资料、企业内部表格、会商口语里有三种叫法。板材备料的工艺要素字典、热处理的工艺参数字典、焊接的参数窗口字典都按这一体例建立。
契约式调用与版本绑定的做法在热处理与焊接两个场景同样适用。本场景的校核契约定义了输入清单、单位量纲、阈值口径、结果字段、异常码与版本标识六项;热处理的工艺窗口校验、焊接的参数窗口核对都是同一类问题,以正式文件为唯一依据,对实际值作确定性核对,并把文件版本绑进结论。三处共用一套契约定义体例与一套版本绑定规则。
多来源输入的归集与冲突处理在库存场景有对应。选型要把矿方资料、配套确认单、企业型谱三方输入归到同一任务号下并处理冲突;库存要把销售、供应链、生产、设计四侧输入归到同一测算轮次下并处理口径冲突。两者的冲突处理规则同源:标明每一项取值的来源与时点,冲突时不自行择一,列出候选并交人审检查点。
本场景的交付物有七项:产品智能选型场景验证方案,含被验证能力清单、判据登记、用例集设计与见证安排;数据就绪度核验报告与缺口清单;冻结版金标准集与用例集,含标注规范、分层抽样框架与仲裁记录;验证执行记录与见证签认档案;场景验证报告,含三组对照的能力增量表与能力雷达图、逐项判定结论、可用性结论与置信区间说明;选型任务工时与返工基线统计;错题归因清单与数据集改进需求单。交付物的格式约定见第 4 节。
其中招标文件相应条款对「全部识别通过后智能生成的工艺卡片及工序附图」所提的准确率要求是本场景判据设计的焦点,2.3.2.2 节专门说明我方的应答口径。
结构件是矿山装备的主体骨架,板材备料作为结构件制造的首道工序,其工艺设计质量直接影响后续生产效率与产品稳定性。招标文件指出当前采用「人工识别图纸+经验设计工艺+手工填写卡片」的传统模式,场景以「图纸输入—工艺卡片输出」为核心目标:设计师上传零件设计图纸后,系统通过智能图纸识别模块自动解析图纸元素(形状、尺寸、材料、公差、技术要求等),提取关键特征后驱动工序推荐引擎匹配最优工序方案,自动生成结构化工艺卡片及工序附图,所生成数据返回 PLM 系统,经工艺工程师人工审核确认后下发生产车间。
这个场景在六个场景里数据条件最好,验证难度却不低,原因在于它的专业实质与出错代价结构都比较特殊。
专业实质是把机械制图表达的成品状态反推为可加工、可下发、可考核的加工路线。图纸画的是零件做完之后的样子,而加工要从一张大钢板开始;中间那条路线不写在图上,它在工艺人员的判断里。判断主要依赖两组分档条件。一组是粗糙度:要按所标的档次数值判读而不是按标没标判读,较粗的一档切割本身即可达到,可在编程气割工序中一次割出;较细的档次必须在切割与调平之后另行安排机加。另一组是板厚,它决定切割方式在等离子、火焰、激光之间如何分档。还有一处最容易出事的地方:未单独标注符号的孔与面按标题栏「其余」一档执行,而「其余」填的是哪一档要看图纸本身,漏看一处的后果可能是整道机加工序缺失。验证若只统计「尺寸抽对了几个」,这类判读失误完全测不出来。
工序侧的约束有三层,三层都要进验证判据。第一层,企业的 28 道标准工序已覆盖全部备料加工内容,任何一张卡片都由这一集合内的工序排列组合而成。这意味着工序推荐不是开放生成而是受限选择,判据可以写成集合与顺序的比对,比写成文本相似度严谨得多。第二层是物理顺序约束:第一道永远是编程气割;带压弯的件必须先按展开尺寸下平板再折弯成形;折弯之后才能加工的孔只能排在折弯之后。第三层是合并规则:相同工艺、相同工序的加工内容要合并到同一道序。三层约束合起来构成一个可判定的结构,验证不必依赖主观评价。
出错代价高度不对称,而人工校验的强度在各字段上是相同的,这是现场的真实痛点。下料长宽、板厚与展开长一旦偏差,钢板下料后即成废料;而工步描述里少一个形容词几乎没有后果。带压弯的零件须按中性层公式换算展开长,扣除量由板厚、折弯角度以及所用下模 V 口宽度与上模圆角共同决定,四个变量,错一个就是整块料。这一条直接决定本场景的判据必须按字段分级:高危字段单列统计,实质错误数的判据写成零,而不是让它混在整张卡片四十来个字段的平均准确率里被稀释掉。
数据条件方面,企业已积累 63 万张历史工艺样本,每张图纸都配有一张经审核签发的工艺卡片,构成大量成对样本。这是六个场景里唯一天然具备大规模监督信号的场景,也是本场景验证指标可以定得比其他场景高的根据。但有三件事要先做:图纸与工艺卡的配对关系目前存于文件目录与人员记忆,需显性化为可检索台账;28 道工序的名称与代码分散在三处来源且不完全一致,须由工艺部门牵头归并并正式发布为按版本维护的字典;中性层展开系数表现多按板厚与角度两维记录、缺模具参数一维,须按适用压模号回标。这三项是 L1 的硬前置,不是可以边做边补的。
还有两项现场事实影响验证范围的设定。一套产品的图纸量可达五百多张,其中相当比例属图号级借用,却仍需逐张打开确认借用关系,借用件判定因此是一项有实际价值的能力,验证时单列。另一方面,紧急临时试制图纸的人工编制周期长,影响新品试制交付,招标文件把「应急工艺通道」列为验证项,它的验证方式是演练而不是指标,这一点在 2.3.2.11 节写明。
招标文件为本场景列了四条验证要求,展开为十二项能力。
表 2-12 板材备料工艺智能设计场景被验证能力
| 编号 | 被验证能力 | 判据性质 | 层级 |
|---|---|---|---|
| X2-1 | 接收并解析 PLM 任务及图纸数据 | 功能可用性 | L1/L2 |
| X2-2 | 自动生成工艺卡片 | 统计性,分字段分级 | L2 |
| X2-3 | 生成工序附图 | 统计性 | L2 |
| X2-4 | 工艺变更自动修订 | 统计性,配回归比对 | L2 |
| X2-5 | 工艺规则库及设备台账维护 | 功能完整性 | L2 |
| X2-6 | 应急工艺通道 | 演练验证 | L2/L3 |
| X2-7 | 批量识别 DWG/DXF、STP/STEP | 功能与成功率 | L2 |
| X2-8 | 工艺卡片与工序附图的 PDF 导出及打印 | 功能可用性 | L2 |
| X2-9 | 图纸元素解析(形状、尺寸、材料、公差、技术要求) | 统计性,分要素类别 | L2 |
| X2-10 | 解析后图纸按要素或图层在线预览展示 | 功能可用性 | L2 |
| X2-11 | 工艺卡片及工序附图内容准确率 | 确定性与统计性并用,见 2.3.2.2 节 | L2 |
| X2-12 | 全流程端到端任务 | 任务级 | L3 |
表 2-12 数据来源:招标文件逐条拆解。
有三项的拆法需要说明。X2-2 的工艺卡片是个复合产物,内含基础信息、28 道序内的工序序列、每道序的设备与工装、工步内容、材料定额与工时定额五类字段;五类的判据性质不同,混统计没有意义,因此 X2-2 在指标表里拆成五行分别给判据。X2-9 的五类要素同理:形状与尺寸是几何量,按坐标与数值容差判定;材料是枚举量,按牌号对照表判定;公差是符号量,按符号类别与作用面判定;技术要求是文本量,须判读出其中的管控内容而不只是抽出文字。X2-4 的变更修订不能只测「改没改」,要测「改对没改对、有没有连带漏改」,因此配一组回归比对,同一零件改版前后两张卡片,比对差异集合与应改集合是否一致。
招标文件的原文是:「需验证工艺卡片及工序附图内容准确率,支持通过全部识别通过后智能生成的工艺卡片及工序附图 100% 准确率」。这一条的要求与它自带的前提须一并照录:要求是 100% 准确率,前提是「全部识别通过后」。而「识别通过」又以招标文件相应条款所列图纸元素解析(形状、尺寸、材料、公差、技术要求)为其前置条件,解析不到的判读点,谈不上识别通过。我方的应答由四件事构成,四件事合起来是一套交付门槛,不是把原文要求换算成一个较低的数。
第一件事,把前提定义为可判定、可见证的闭合条件。一张图纸进入闭合集,须同时满足四项:图纸为可直读的原生矢量格式或已完成矢量化,几何与标注实体可完整提取;该零件所需的全部判读点均被提取且要素级置信度达到门限,即招标文件相应条款五类要素在该零件上的解析完整;该零件涉及的加工方法分档、工序依赖与合并规则在已发布的规则库中有覆盖,不存在规则缺口;高危字段的双路互校一致,即展开长与下料尺寸由中性层公式计算与历史同类件回归两路分别得出且差值在容差内。四项中任一项不满足,该图纸不进入闭合集。闭合条件的门限在实施准备期标定并经甲方工艺部门确认,标定方法与标定结果一并交付,标定过程由工艺骨干见证。
第二件事,闭合集内按全量核对与逐条关闭组织交付。生成的每一张工艺卡片与每一幅工序附图,按受控模板的字段清单逐卡逐字段与参考答案全量核对,不作抽样;核对出的每一处差异进差异台账,由工艺骨干逐条判定属实质错误还是等效表述,属实质错误的修正后关闭,属等效表述的按已确认的认定规则标注关闭。台账中存在未关闭项的卡片不予下发,这一阻断在验证台的流转状态上实现,不依赖人工记得去看。工艺骨干的人工审核是最后一道兜底:全部差异关闭后仍须经骨干确认签发,签发记录进见证档案。
第三件事,闭合集外给通道,不给判据。不满足闭合条件的图纸转人工确认通道或只做辅助读图,界面标明缺的是哪一项;正常通道不可用或规则未覆盖时走应急工艺通道,通道的可用性按演练验证。闭合集外的图纸不计入准确率判据的分母,但其规模要被报告:闭合率本身是一项独立指标,按零件复杂度分层统计,首轮验证不预设闭合率的高低,只要求如实统计并给出未闭合原因的分布。闭合率低说明规则覆盖或图纸条件还需要补,这是有用的信息;把闭合率混进准确率,得到的是一个既不能指导工作也无法验收的数。
第四件事,字段级一致率是过程指标,不是交付门槛的替身。首轮验证实测的字段级一致率、高危字段实质错误数与整卡可用率,三项均如实统计并逐轮报告,用于判断规则与样本还要补什么;它们不替代上一段所述的「差异逐条关闭、未关闭即阻断下发」这一门槛,也不以「整卡可用率已达某值」作为本条的应答。两者的关系在验证报告中写明:门槛判的是下发口是否守住,过程指标判的是生成质量在往哪个方向走。
还要写明一处判定纪律:「一致」的判定不含等效表述的差异。工步描述写「气割下料」与写「编程气割下料」在实质上相同,这类差异由工艺骨干判定为等效,不计入实质错误;而尺寸、板厚、展开长、设备编号、工序顺序这几类不存在等效表述,差异一律计为实质错误并须修正后关闭。等效表述的认定规则在首轮验证前成文并经甲方工艺部门确认,避免验收时逐条争论。
本场景 L1 的最小可用集是四项:一批可打开的原生格式零件图与其配套设计报表;已正式发布的 28 道标准工序字典及其前后依赖与禁止条件;加工方法分档规则表;工步内容标准语句库与设备资源库。四项齐备即可跑通一张图纸的编制并给出可复核草稿。其余各类为增量项,每补一类,对应能力由受限档升到完整档。
图纸类的核验分三件事。可打开率按零件类型、年代与复杂度分层取样统计,老图可能缺字体或缺外参文件,打不开不是解析能力问题而是来料问题,必须先分清。扫描图片版 PDF 先矢量化后进入同一解析路径,未转换前只作检索提示、不进入自动成卡,这一条写进就绪度判定。关键判读点可提取率是第三件,按粗糙度符号、板厚标注、孔位与孔径、折弯线与角度、技术要求条目五类分别统计,这五类是判读链的入口,任一类提取率过低,后面的工序推导都不成立。
图卡配对台账是本场景最关键的 L1 项。63 万张成对样本的价值全在配对关系上,而这个关系现在存在文件目录与人员记忆里。L1 的要求是建立以图号加零件号为主键的可检索台账,并统计图卡可对应率。可对应率是分层抽样统计量,不要求一次做到逐张齐备,逐张配对是一项长期工作,但首期用于验证的产品族范围内须达到可用水平,具体门限在就绪度体检时按抽样结果商定。
工序字典是第二个硬前置。字典须含编码、标准名称、适用条件、禁止条件、前后依赖、可合并规则、定制化需求审批与版本八项。现状是工序名称与代码分散在三处来源且不完全一致,这意味着在字典正式发布之前,工序序列一致率这项指标连参考答案都定不下来。因此字典的归并与正式发布由甲方工艺部门牵头,我方派人驻场配合整理,发布后按版本维护;字典换版时,相关判据与标注规范同步复核。
定额类数据的核验要落到索引键上。中性层展开系数表的索引键是材质、板厚、折弯角度、下模 V 口宽度或压模号四项,须与工装压模台账的编号对齐。现有系数多按板厚与角度两维记录、缺模具参数一维,须按适用压模号回标;无法回标的组合,在新组合首件实测后确定。这一项直接决定高危字段双路互校能否成立,不具备时该互校退为单路计算加人工确认,闭合集相应变窄。割缝宽度表、坡口留量规则与切割热变形收缩量标定值同样须统一确认一版并按版本维护,使历史结果可复算。
设备、工装与样板台账的核验重点在两列:状态与有效期。设备资源库现有编码、类型、大小号、可加工板厚与尺寸范围、可加工材料,缺状态与有效期,也缺明确的替代规则。缺这两列的后果很具体,系统会把一台正在检修的设备排进工艺卡片。因此这两列列为 L1 补齐项,并约定新增设备在建档环节同步填写。
接口侧的核验按三种对接方式分别确认:PLM 的图纸与设计报表读取、草稿回写与任务状态同步;ERP 的物料档案与订单读取、工艺规格与用料回填;MES 的工艺下发与完工读取、QMS 的检验下发与异常读取、工时系统的定额双向互通。某一写入接口暂未开放时,以标准格式文件交付、由相应岗位导入过渡,这一过渡状态在验证记录中标明,不影响 L2 指标的成立,但影响 X2-1 与 X2-12 的判定档位。
金标准集按零件复杂度分三层:简单件、典型件、复杂件。分层依据是判读点数量与工序道数,具体门限在抽样框架中给出并经工艺骨干确认。每层不少于一百件,合计不少于三百件;另按产品族维度做交叉覆盖,首期覆盖的产品族在试点范围确定后列明。
标注内容四项:图纸要素的正确取值;零件的正确工序序列、设备与工装编号、定额与展开长;判读依据;以及该零件的闭合条件判定结果。第三项判读依据是本场景标注的特色,也是最有价值的一项:要求标注员写明「这道机加序是因为图上哪一处粗糙度标注而排的」、「这个孔为什么必须排在折弯之后」。写明依据有三个用处:它使仲裁有据可依;它构成偏好数据的标注依据;它还直接用于验证系统的可解释性,系统给出一道工序时若说不出依据,这道工序即便排对了也不计为完全正确。
标注一致性按要素类别与工序序列分别度量。几何类按坐标容差比对,符号类按类别比对,工序序列按集合与顺序分别比对,集合一致说明选对了工序,顺序一致说明排对了次序,两者分开看才能定位问题。要素级一致率低于百分之九十二、工序集合一致率低于百分之八十八时该批返工;判读依据缺失的样本不进入金标准集。
用例集分六组。
解析组用于 X2-7、X2-9、X2-10,按格式交叉投放:原生 DWG/DXF、三维 STP/STEP、矢量 PDF、扫描图片版 PDF 四类,每类不少于六十件。四类的成功率分别统计,不合并,合并统计会让扫描件的低成功率拖累整体,而扫描件本来就走不同路径。
成卡组用于 X2-2、X2-3、X2-11,在闭合集内执行,逐字段比对。
变更组用于 X2-4,取历史改版案例不少于五十对,每对含改版前后的图纸与两张已签发卡片。判据是差异集合与应改集合的一致性,并单列漏改数,漏改比错改危险,因为它不会在界面上表现出来。
应急组用于 X2-6,以演练方式执行:模拟一张紧急临时试制图纸,在正常通道不可用或规则未覆盖的条件下,验证应急通道能否在约定时限内给出可下发的最简工艺并留痕。演练不少于三次,覆盖三种触发情形:图纸不可解析、规则缺口、系统不可用。
台账组用于 X2-5,验证工艺规则库与设备台账的维护能力:可视化配置修改一条工序逻辑或切割参数后,相关卡片是否按新规则重算,旧卡片是否保留其当时依据的规则版本。
端到端组用于 X2-12,从回放窗口取不少于八十个完整零件的编制任务,另取实施期内真实新任务不少于三十个。
构造样本不少于八十例,覆盖本场景的四类高风险情形:标题栏「其余」一档填写不规范或缺失、粗糙度符号标在非常见位置、同一尺寸在两个视图上标注不一致、板厚只以代号形式标在主视图上。这四类都是现场确实发生过且后果严重的情形。
本场景的验证智能体把一次编制任务拆成七步:图纸解析与要素提取、借用件与同件判定、加工方法判定、工序编排、设备与工装匹配、定额计算、卡片装配与附图生成。
分工依然按确定性与推断两分。图纸解析以原生 CAD 矢量直读为准,图像识别只用于图框信息补全与图面完整性提示,这一点在判据上有体现,矢量直读的几何提取是确定性的,容差按图纸标注精度设定;图像识别的结果只作提示,不单独构成判定依据。加工方法判定按分档规则表执行,属规则;工序依赖与合并按工序字典的约束执行,属规则;展开长、下料尺寸、割缝与收缩量按公式计算,属确定性,并做双路互校。工序编排的次序选择在规则允许的多个可行序列之间取优,这一段是推断,判据写成集合与顺序一致率加可解释率。工步内容的组织与技术要求的判读用模型,依托设备图纸与工艺图结构化抽取、本体驱动规则标注两类工具链的产出。
人审检查点设两处,与现场习惯一致:要素判读完成后、卡片装配完成后。第一处是因为判读错了后面全错;第二处是因为卡片一旦下发,错误就进了车间。
验证台的界面按现场的双屏看图填表习惯组织成左图右卡形态,这不是为了好看,验证执行时工艺骨干要逐字段核对,界面若不是他们熟悉的形态,核对效率低且容易看漏。界面只用于验证执行与见证,不交付为生产态作业工具。
七步之中,四步设步级判据。
图纸解析与要素提取这一步的步级判据与 X2-9 共用指标,不另立;但要单独统计「提取完整性」,该零件所需的判读点是否全部被提取,这是闭合条件的第二项,与提取正确率是两件事:提取了五项而全对,和应提七项只提了五项,正确率都是百分之百。
借用件与同件判定这一步单独立判据,因为它的错误方向不对称:判成借用而实际不可借用,会导致工艺卡沿用错误的加工路线;判成不可借用而实际可借用,只是多做一次编制。因此这一步的判据分两向统计,误判为借用的次数单列并要求趋向零。
工序编排这一步的步级判据是集合与顺序一致率,与 X2-2 共用;条件正确率的前提是要素提取完整且规则无缺口。定额计算这一步的判据是双路互校的执行率与一致率,执行率指应当做双路互校的字段中实际做了的比例,一致率指两路结果在容差内的比例;不一致时是否按规则停下来等人确认,这一点用构造样本检验。
卡片装配这一步不设独立判据,其结果由 X2-11 的字段级一致率覆盖。
人审检查点两处,要素判读后与卡片装配后。前一处的误停率要盯住:备料场景的任务频次高,一套产品图纸可达五百多张,停得太勤会让整条线慢下来,岗位的应对通常是批量点确认,那时检查点就失效了。因此这一处的误停率门限按日处理量设定,并在观察期内逐轮收紧。
举一个中部槽侧板的编制任务为例。输入是一份原生格式零件图与其配套设计报表,参考答案是该零件已签发的工艺卡片与工序附图。
第一步解析与要素提取。几何与标注实体从矢量图直读。本例的判读点有七处:板厚(以代号形式标在主视图)、四处孔的孔径与位置(孔径标在局部视图、位置标在主视图,须跨视图关联)、两处折弯线与折弯角度、三处单独标注的粗糙度符号、标题栏「其余」一档的粗糙度值、一条坡口要求,以及技术要求中的一条特殊管控内容。提取完整性的判据在这里起作用:七处判读点若只提取了六处,提取正确率仍可能是百分之百,但闭合条件的第二项不满足,该零件不进入闭合集。
第二步借用件判定。按设计报表的借用字段与几何特征索引查重。本例为新图号,查重结果应为无可借用件;若系统误判为可借用,这一方向的误判单列统计并要求趋向零,理由已在 2.3.2.6 节写明。
第三步加工方法判定。三处单独标注的粗糙度中,两处较粗的一档由编程气割一次割出、不另排机加;一处较细的档次须在切割与调平之后安排机加。标题栏「其余」填的那一档决定了未单独标注的四处孔是否需要机加。本例中「其余」为较细档,因此四处孔须排机加。这一处是本场景最容易出事的地方,判据单列为「其余」一档判读正确率,漏判即计错。
第四步工序编排。两处折弯决定了顺序约束:首道编程气割,按展开尺寸下平板;两处折弯线之后才能加工的孔必须排在折弯之后;相同工艺、相同工序的加工内容合并到同一道序。编排结果与已签发卡片比对,集合一致率看选对了哪些工序,顺序一致率看排对了次序。若系统把折弯后的孔排在折弯之前,这是顺序错误,归因到依赖规则;若系统少排了那道机加,这是集合错误,归因到「其余」一档的判读。
第五步设备与工装匹配。按板厚与尺寸范围选切割设备,按折弯角度与板厚选压模。判据除一致率之外,另要求排入非可用状态设备的次数为零。这一项依赖设备台账的状态与有效期两列,缺列时该判据不成立。
第六步定额计算。两处折弯须按中性层公式换算展开长,扣除量由板厚、折弯角度、下模 V 口宽度与上模圆角四项决定。双路互校在此执行:一路按公式算,一路按历史同类几何回归。本例若两路结果差值超容差,系统须停下来交人审,而不是取其一继续。这一行为用构造样本检验。
第七步卡片装配与附图生成。字段级一致率在闭合集内统计,尺寸与定额类高危字段单列、实质错误数判据为零。等效表述的差异由工艺骨干判定,不计入错误。
四组对照在这个场景上的分工最清楚:基座裸测组在第三步与第四步基本不可用,企业的分档规则与 28 道工序的受限集合不在通用语料里;检索增强组在选对工序上会有明显改善,但顺序与合并仍会出错;数据集适配组的改善应出现在顺序与合并上,并应在可解释率上有明显提升。三组消融的结论见 2.3.2.12 节。
2-4 板材备料场景的闭合条件与双路互校
图 2-4 板材备料场景的闭合条件与双路互校。数据来源:招标文件;28 道工序与 63 万张样本为本投标文件既定事实口径。
板材备料是六个场景里唯一天然具备成对监督样本的场景:一张图纸对应一张经审核签发的工艺卡片,参考答案不必另行构造,直接取已签发卡片的结构化版本即可。这一条件决定了本场景的样本工作重心不在造答案,而在把配对关系整理出来、把分层抽准。零件复杂度三层各不少于一百件,分层依据是判读点数量与工序道数;解析类按原生 DWG/DXF、三维 STP/STEP、矢量 PDF、扫描图片版四类各不少于六十件分别投放,四类不合并统计,合并会让走不同路径的扫描件拖累整体结论。
表中「基准答案与其来源」一栏是判据的源头,它写明每一项的答案是客观事实、是双人标注加第三人仲裁的结果、还是经骨干确认后的存量文件;「执行环境与对照组」一栏是结论可被复算的条件,其中标注不设对照组的均为功能完整性与可用性项,对这类项做数据集消融没有意义。逐行读下来可以确认一件事:本场景十二项能力中没有一项的参考答案由我方自行拟定,这是 2.3.2.2 节所述闭合集门槛得以成立的前提。
表 2-13 板材备料逐项验证的数据、样本与基准答案
| 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 |
|---|---|---|---|---|
| X2-1 接收解析 PLM 任务与图纸 | PLM 的任务单、图形文件与配套设计报表 | 不少于 150 个任务,覆盖三层零件复杂度与首期产品族 | 任务字段与图纸清单的应接收内容,以 PLM 任务原始记录为准 | 验证台只读接口;接口未开通时以标准格式文件过渡并标注;不设对照组 |
| X2-2 自动生成工艺卡片 | 原生格式零件图与设计报表;28 道工序字典;加工方法分档规则表;工步语句库;设备与工装台账;中性层系数表 | 金标准集 300 件,简单件、典型件、复杂件各不少于 100 件 | 该零件已签发的工艺卡片的结构化版本,经工艺骨干对参考答案作一轮确认,确认不通过的剔除并记录剔除比例 | 规则与确定性引擎承担分档、依赖与定额,模型承担工步组织;四组对照全做 |
| X2-3 生成工序附图 | 零件图的几何实体与工序编排结果 | 与成卡组同源,按附图计不少于 300 幅 | 已签发工序附图及其与工序的对应关系 | 同成卡组沙箱;四组对照 |
| X2-4 工艺变更自动修订 | 历史改版案例的改版前后图纸与两张已签发卡片 | 不少于 50 对改版案例,覆盖尺寸改、材料改、技术要求改三类 | 两张已签发卡片的实际差异集合即应改集合 | 回归比对执行环境,差异集合逐项比对;四组对照 |
| X2-5 规则库与台账维护 | 工艺规则库、设备资源库、工装与样板台账 | 配置变更不少于 20 次,覆盖工序逻辑、切割参数、设备状态三类 | 变更后应重算的卡片范围与旧卡片应保留的规则版本 | 验证台配置界面;功能完整性项,不设对照组 |
| X2-6 应急工艺通道 | 紧急临时试制图纸;最简工艺模板 | 演练不少于 3 次,覆盖图纸不可解析、规则缺口、系统不可用三种触发 | 约定时限内应产出的可下发最简工艺内容,由工艺与生产两侧会商写定 | 演练环境,生产节拍之外安排;演练验证,不设对照组 |
| X2-7 批量格式识别 | 原生 DWG/DXF、三维 STP/STEP、矢量 PDF、扫描图片版 PDF 四类文件 | 四类各不少于 60 件,按零件类型与年代交叉 | 可打开与可提取的客观判定结果;失败件记原因(缺字体、缺外参、图层异常) | 解析引擎,四类分别统计不合并;不设对照组 |
| X2-8 PDF 导出与打印 | 已生成的卡片与附图 | 导出不少于 100 份;打印抽检不少于 30 份,覆盖三类复杂度 | 界面显示内容为参考,逐份比对字体、图幅、线型 | 导出与打印实机核对;不设对照组 |
| X2-9 图纸元素解析 | 零件图的几何与标注实体;标题栏;技术要求条目 | 按五类要素分别组织:形状与尺寸、材料、公差符号、技术要求、「其余」一档 | 要素正确取值与判读依据,工艺骨干双人独立标注、第三人仲裁 | 矢量直读为主、图像识别只作提示;四组对照 |
| X2-10 按要素或图层在线预览 | 解析结果与原图图层信息 | 不少于 100 件,五类要素与图层各走一遍筛选 | 解析结果与原图的对位关系 | 验证台预览界面;功能可用性项,不设对照组 |
| X2-11 卡片与附图内容准确率 | 闭合集内的生成卡片与附图;受控卡片模板的字段清单 | 闭合集全量,逐卡逐字段核对不作抽样;闭合集外单列统计闭合率 | 已签发卡片的结构化版本;等效表述按已确认的认定规则判定 | 全量核对加差异台账,未关闭即阻断下发;四组对照 |
| X2-12 全流程端到端任务 | 回放窗口的编制任务与实施期内真实新任务 | 回放任务不少于 80 个,新任务不少于 30 个 | 回放任务取当时已签发卡片;新任务取工艺骨干签认结论 | 七步验证智能体全链路,逐步留痕;四组对照在端到端题集子集上做 |
表 2-13 数据来源:能力编号与标书依据见表 2-12;样本规模见表 3-3;闭合条件见 2.3.2.2 节。
本场景是六个场景中唯一在招标文件里带出数值要求的一个,因此「招标门槛与原文前提」一栏的写法格外要紧:招标文件相应条款的要求是工艺卡片及工序附图的百分之百准确率,而它自带的前提是「全部识别通过后」,要求与前提须一并照录,脱开前提谈那个数值,既不合招标文件原意,也无法验收。其余条目未给数值的,一律如实写明未设数值门槛,不代为编造一个看起来更严格的数。
统计单位是读这张表的第一要点。一张工艺卡片有四十个字段,三十九个对一个错,按字段算是百分之九十七点五,按卡片算是零;表中每一项都注明按字段、按零件还是按卡片计,高危字段另行单列。X2-11 一行是全表的关键行,它的指标公式分两段写:下发门槛是差异台账的未关闭项数,过程指标才是字段级一致率,两者不互相替代。后两栏给出的是每一项不达标时的具体走法——归因顺序、补什么、复测跑哪个子集,这是 2.1.9 节所述闭环在本场景的落地。
表 2-14 板材备料逐项验证的指标公式与闭环责任
| 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 |
|---|---|---|---|---|
| X2-1 | 成功接收解析任务数 ÷ 投放任务数 | 招标文件相应条款要求接收并解析 PLM 任务及图纸数据,未设数值门槛 | 工艺骨干核对接收字段与 PLM 原始记录 | 失败任务按原因分类;接口未开通的按过渡方式执行并标注判定档位 |
| X2-2 | 按五类字段分别计:一致字段数 ÷ 参与比对字段数;工序集合按零件计一致数 ÷ 零件数;工序顺序同;定额按零件计相对偏差达标数 ÷ 零件数 | 招标文件相应条款要求自动生成工艺卡片,未设数值门槛 | 工艺骨干按已签发卡片逐字段核,集合与顺序分别核 | 漏序先查判读点是否漏提,再查分档规则覆盖,最后才查编排逻辑;属样本不足的转数据集扩充,复测跑该类零件子集与回归子集 |
| X2-3 | 可用附图数 ÷ 生成附图数;附图与工序对应正确数 ÷ 附图数 | 招标文件相应条款要求生成工序附图,未设数值门槛 | 骨干核对附图所示加工内容与该道序是否对应 | 不可用附图列原因(几何缺失、视图选择错、标注遮挡),按原因补规则后复测 |
| X2-4 | 差异集合一致的改版对数 ÷ 改版对数;漏改数为绝对数 | 招标文件相应条款要求工艺变更自动修订,未设数值门槛 | 骨干逐对核对差异集合与应改集合 | 漏改逐例归因到比对规则的覆盖面;规则补强后复测全部改版对 |
| X2-5 | 变更后重算结果正确的配置次数 ÷ 配置变更次数;旧卡片保留原规则版本的比例 | 招标文件相应条款要求工艺规则库及设备台账维护,未设数值门槛 | 骨干核对重算范围是否完整、旧卡片版本是否保留 | 未按版本留存的判定未完成;重算范围不全的补关联规则后重测 |
| X2-6 | 演练在约定时限内产出可下发最简工艺的次数 ÷ 演练次数 | 招标文件相应条款要求应急工艺通道,未设数值门槛 | 工艺与生产两侧岗位同时见证并签认 | 演练未通过的修订通道流程后重新演练,演练记录进见证档案 |
| X2-7 | 四类格式分别计:成功解析件数 ÷ 投放件数 | 招标文件相应条款要求批量识别 DWG/DXF、STP/STEP,未设数值门槛 | 骨干核对失败件原因分类是否成立 | 缺字体、缺外参的属来料问题,须补齐字体库与外参文件后重跑;图层异常的补解析规则后复测 |
| X2-8 | 导出件与界面一致的文档数 ÷ 导出文档数;打印抽检逐份核对结果 | 招标文件相应条款要求 PDF 导出及打印,未设数值门槛 | 抽检不少于 30 份逐份人工比对 | 字体替换、图幅缩放、线型丢失逐项修正后重新抽检 |
| X2-9 | 五类要素分别计:正确要素数 ÷ 参与比对要素数;「其余」一档按图纸计正确数 ÷ 图纸数,漏判计错 | 招标文件相应条款列出形状、尺寸、材料、公差、技术要求五类要素,未设数值门槛;本项是工艺卡片准确率条款的前置 | 骨干按判读依据标注逐要素核 | 按要素类别补规则或补样本;「其余」一档漏判逐例复核并补规则,复测该类图纸全集 |
| X2-10 | 五类要素与图层均可筛选显示且与原图可对位的图纸数 ÷ 投放图纸数 | 招标文件相应条款要求按要素或图层在线预览展示,未设数值门槛 | 骨干核对筛选结果与原图对位 | 不可对位的图纸列入待处理并查坐标变换链路 |
| X2-11 | 下发门槛:差异台账未关闭项数(按卡片,绝对数);过程指标:一致字段数 ÷ 参与比对字段数、高危字段实质错误数、闭合零件数 ÷ 参与零件数 | 招标文件原文:「全部识别通过后智能生成的工艺卡片及工序附图 100% 准确率」,其原文前提为「全部识别通过后」,并以图纸元素解析完整为前置 | 全部差异关闭后由工艺骨干确认签发,签发记录进见证档案 | 实质错误回溯其规则与样本来源并修订,对该类字段整体复测;等效表述按认定规则关闭;闭合率低的层单列改进项 |
| X2-12 | 可用零件数 ÷ 零件数;失败零件数 ÷ 零件数;返工零件另记修改字段数与耗时 | 招标文件相应条款要求提供全流程验证能力,包括但不限于所列条目,未设数值门槛 | 工艺骨干对三分判定逐零件签认 | 按步定位失败步骤后走该步的归因路径;复测受影响零件子集与回归子集 |
表 2-14 数据来源:招标门槛一栏照录招标文件原文要求;指标数值见表 2-16;应答口径见 2.3.2.2 节。
本场景的异常用例不是凭空设想的坏情况,四类高风险情形都取自现场确实发生过且后果严重的实例:标题栏「其余」一档填写不规范或缺失、粗糙度符号标在非常见位置、同一尺寸在两个视图上标注不一致、板厚只以代号形式标在主视图上。把它们固定成用例,是为了让这张表证明一件比准确率更要紧的事——系统在读不准的时候会不会停下来。
三列的作用不同。正常用例一列检验能力在常规来料上是否成立,是主指标的来源;边界用例一列检验判据在取值边缘与规则交界处是否仍然可判,它针对的是规则而不是能力,X2-2 行的工序可合并与不可合并交界、X2-11 行的等效表述判定都属此类;异常用例一列检验的是拦截,期望的输出不是正确答案而是一次拒收或一次转人工,X2-1 行的任务单与图形文件版本不一致应拒收、X2-12 行的双路互校超容差应停下等人确认即为此意。三类分别统计,异常类不混入主指标分母。
表 2-15 板材备料的三类用例
| 能力 | 正常用例 | 边界用例 | 异常用例 |
|---|---|---|---|
| X2-1 | 完整的 PLM 任务单加原生图形文件 | 任务单含多张零件图且部分为借用图号 | 任务单与图形文件版本不一致,应拒收并提示 |
| X2-2 | 典型件:两处折弯、四处孔、三处单独标注粗糙度 | 工序可合并与不可合并的交界情形,检验合并规则取舍 | 规则库未覆盖该加工方法组合,应判为不闭合并转人工通道 |
| X2-3 | 常规工序附图,每道序一幅 | 同一道序含多个加工位置,附图须标全 | 几何实体缺失导致附图无法生成,应记录而非输出空图 |
| X2-4 | 尺寸改版,差异集合明确 | 改版仅动技术要求文字,应判出其是否影响工序 | 改版后新增一道序而旧卡片已下发,应提示连带影响范围 |
| X2-5 | 修改一条切割参数,相关卡片按新规则重算 | 规则变更当日已有在途卡片,须区分新旧版本 | 配置改成相互矛盾的两条规则,应在生效前拦住 |
| X2-6 | 图纸不可解析触发,按时限产出最简工艺 | 时限临界,检验超时的处理与升级路径 | 系统不可用叠加规则缺口,两种触发同时发生 |
| X2-7 | 原生 DWG 与三维 STP 批量投放 | 超大图幅或超多图层的文件 | 缺字体或缺外参文件的老图,应报原因而非静默失败 |
| X2-8 | 常规卡片导出与打印逐份核对 | 超长工序表跨页打印,表头须重复 | 打印环境字体缺失,应回退为内嵌字体而非替换 |
| X2-9 | 五类要素齐备、标注规范的零件图 | 粗糙度符号标在非常见位置;同一尺寸在两个视图上标注不一致 | 标题栏「其余」一档缺失或填写不规范;板厚只以代号标在主视图上 |
| X2-10 | 解析结果按要素筛选显示并与原图对位 | 图层命名不规范的老图 | 坐标基准不一致导致对位偏移,应提示而非错位显示 |
| X2-11 | 闭合集内典型件,逐卡逐字段全量核对 | 工步描述存在等效表述,须判为等效而非错误 | 差异台账存在未关闭项,卡片须被阻断下发 |
| X2-12 | 回放窗口中资料齐套的编制任务 | 零件同时命中借用件与新图特征,须交人审判定 | 双路互校结果超容差,须停下等人确认而非取其一继续 |
表 2-15 数据来源:用例组划分与构造样本的四类高风险情形见 2.3.2.4 节。
表 2-16 板材备料工艺智能设计场景的验证指标
| 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 |
|---|---|---|---|---|
| X2-1 | PLM 任务与图纸接收解析成功率,按任务 | ≥95%;失败任务给出原因分类 | 趋向全量 | 原因分类后按类处置 |
| X2-7 | 格式识别成功率,按文件,四类格式分别统计 | 原生 DWG/DXF ≥98%;STP/STEP ≥95%;矢量 PDF ≥90%;扫描版先矢量化,不单独设门限 | 前三类趋向全量 | 失败件列原因(缺字体、缺外参、图层异常等) |
| X2-9 | 要素解析正确率,按要素,五类分别统计 | 形状与尺寸 ≥95%;材料 ≥98%;公差符号 ≥92%;技术要求条目判读 ≥85% | 前三类趋向全量,技术要求 ≥90% | 按类补规则或补样本 |
| X2-9 | 「其余」一档判读正确率,按图纸 | ≥98%,漏判即计错 | 趋向全量 | 逐例复核并补规则 |
| X2-10 | 按要素或图层在线预览的可用性 | 五类要素与图层均可筛选显示,解析结果与原图可对位 | 保持 | 不可对位的图纸列入待处理 |
| X2-2 | 工艺卡片基础信息字段一致率,按字段 | ≥99% | 趋向全量 | 差异字段逐条判定 |
| X2-2 | 工序集合一致率,按零件 | ≥92% | ≥95% | 不一致项按工序字典复核 |
| X2-2 | 工序顺序一致率,按零件 | ≥90% | ≥94% | 顺序错误逐例归因到依赖规则 |
| X2-2 | 设备与工装匹配一致率,按道序 | ≥95%;排入非可用状态设备数为零 | 趋向全量 | 台账状态字段核查 |
| X2-2 | 定额偏差,按零件;材料定额与工时定额分列 | 材料定额相对偏差 ≤2% 的占比 ≥95%;工时定额 ≤5% 的占比 ≥90% | 材料 ≤1%、工时 ≤3% 的占比各提升 | 偏差项核查系数版本与几何提取 |
| X2-11 | 下发门槛:差异台账未关闭项数,按卡片 | 零;台账存在未关闭项的卡片不予下发,阻断在流转状态上实现 | 保持为零 | 未关闭项逐条判定并修正后关闭,关闭后方可下发 |
| X2-11 | 闭合集内高危字段实质错误数,按字段 | 零;出现即判该轮不通过 | 保持为零 | 回溯规则与样本,该类字段整体复测 |
| X2-11 | 闭合集内字段级一致率,按字段(过程指标,不替代下发门槛) | ≥99% | 趋向全部字段一致 | 差异字段由工艺骨干判定实质错误或等效表述 |
| X2-11 | 闭合率,按零件,分三层统计(过程指标) | 如实统计并报告未闭合原因分布,首轮不预设门限 | 随规则覆盖与台账补齐逐层提升 | 闭合率低的层单列改进项 |
| X2-3 | 工序附图生成可用率,按附图 | ≥92%,附图与工序对应关系正确率 ≥98% | ≥96% | 不可用附图列原因 |
| X2-8 | PDF 导出与打印一致性,按文档 | 导出件与界面显示一致,打印抽检不少于三十份逐份核对 | 保持 | 不一致项修正后复核 |
| X2-4 | 变更差异集合一致率,按改版对 | ≥92%;漏改数为零 | 趋向全量 | 漏改逐例归因到比对规则 |
| X2-5 | 规则与台账维护的生效正确性,按配置变更 | 变更后重算结果正确,旧卡片保留其原规则版本 | 保持 | 未按版本留存的判定未完成 |
| X2-6 | 应急通道演练 | 三种触发情形各演练不少于一次,均在约定时限内给出可下发最简工艺并留痕 | 保持 | 演练未通过的重新演练 |
| X2-12 | 端到端任务可用率,按零件 | ≥75% | ≥85% | 返工零件统计修改字段数与耗时 |
| X2-12 | 端到端任务失败率,按零件 | ≤4% | ≤2% | 逐例归因 |
表 2-16 数据来源:指标项对应招标文件;阈值为我方按数据条件设定的承诺口径,最终随蓝图设计确认。
两处阈值的取法在此说明。工艺卡片基础信息与闭合集内字段级一致率都定在百分之九十九,依据是本场景有 63 万张成对样本这一监督条件。在有现成参考答案的字段上,定得低反而说不过去。而工序集合与顺序一致率定在九十二与九十,依据是另一条现场事实:不同工艺员编制方案本就存在差异,工序选多选少、如何合并、顺序如何排有经验成分,历史卡片之间也不是完全一致。把这两项定到九十九,等于要求系统复现某一位工艺员的个人习惯,那不是标准化。因此这两项的配套要求是可解释率,系统排出的每一道序都要能指回它的依据条款或依据图面标注。
定额偏差一项的两个占比,统计单位与测法同其余字段不同,须单独写明。比对以零件为单位:材料定额与工时定额各自与该零件已签发卡片上的定额值比对,算相对偏差,再数偏差落在各自容差内的零件数,两类分列统计,不合并成一个定额一致率。样本取 2.3.2.8 节所列金标准集的全部三百件,简单件、典型件、复杂件三层各不少于一百件,逐件全量比对;偏差分布按三层分别报告,使复杂件的大偏差不致被简单件摊平。首期按材料定额相对偏差不超过百分之二的零件占比不低于百分之九十五、工时定额相对偏差不超过百分之五的零件占比不低于百分之九十设定基线。两类容差不同档,依据是可复算程度的差别:材料定额由展开长、板厚与中性层系数算出,属几何量,偏差只应来自几何提取与系数版本;工时定额含设备工时与人工准备时间,而准备时间在历史卡片上本就按经验取整,用更紧的容差去卡它,卡到的是记录习惯而不是计算能力。
判定频次为首轮验证一次全量,此后每遇中性层系数表换版、工序字典调整或设备与工装台账变更,对受影响零件子集重跑并加测回归子集。未达基线的,偏差零件逐件核查系数版本与几何提取结果:属几何提取的回流图纸要素解析环节并补样本,属系数取值的提请甲方工艺部门确认后换版重算,整改后复测该层全集。观察期内两类分别向更紧的容差推进,即在材料定额相对偏差不超过百分之一、工时定额不超过百分之三的口径下,各自的达标占比较首期提升,提升幅度随每轮复测如实报告。
本场景四组对照全做,是六个场景里对照设计最完整的一个,原因是它的监督样本量足以支撑消融。
题集取自场景基准题集中的要素判读与工序编排两类题型,不少于二百题,全部来自已签发的历史卡片,不含合成数据。
基座裸测组在这个场景上的结果有特别的说明价值。基座模型见过大量机械制图的通识内容,能认出粗糙度符号是什么,但认不出「本企业的较粗一档在编程气割工序中一次割出」这条企业规则,更排不出 28 道工序的受限集合。预期表现是要素识别尚可、工序编排基本不可用。这一组的指标说明了一件对甲方有用的事:这个场景的能力几乎全部来自企业自有数据,通用模型的通识在这里帮不上忙。
检索增强组接入工序字典、加工方法分档规则与工步语句库。这一组的提升预期主要落在工序集合的正确性上,规则一旦可检索,选对工序就不难。但顺序与合并仍会出问题,因为那依赖对多条约束的联合推理,不是查条文能解决的。这一组与下一组的差值因此特别有解释力。
数据集适配组使用以本场景指令微调子集训练的模型版本,并叠加偏好对齐版本。偏好数据的来源就是 2.3.2.4 节所说的判读依据标注,同一零件有多个可行工序序列而有优劣之分,骨干对优劣的判断构成偏好对。这一组要报偏好判别准确率,并检查对齐之后是否出现奖励取巧,典型表现是系统倾向于多排工序以提高「不漏序」的评分,而多排的工序在现场是多余成本。这一倾向要用工序道数分布与历史卡片比对来发现,不能只看准确率。
子集消融组做三组切法。第一组抽掉合成与增强产出的样本,只留真实标注样本,用来判断本场景的合成工作是否必要,本场景真实样本量大,合成的边际价值可能不高,这个结论本身对后续投入有直接意义。第二组抽掉判读依据标注,只保留结果标注,用来度量「写明依据」这项额外标注投入换来了多少能力,特别是可解释率的变化。第三组按零件复杂度抽,抽掉复杂件样本后看复杂件上的指标跌多少,用来判断复杂件样本的补充优先级。
三组消融的结论直接进入回流机制的优先级排序:跌幅最大的那一类,就是数据集扩充的首选方向。
本场景的归因有三类高频情形,排查路径预先写明。
工序漏排。排查顺序是先看该道序所依据的图面标注是否被提取,绝大多数漏序源自判读点漏提,不是编排逻辑错;标注已提取而序未排的,查加工方法分档规则是否覆盖该组合;规则已覆盖而仍未排的,才是编排逻辑问题,转实现侧。
展开长偏差。排查顺序是先核中性层系数的索引键是否命中,四维索引缺一维时系统会退到就近组合,这会带来系统性偏差而不是随机误差,表现上很容易被误认为算法精度不足。索引命中而仍偏差的,核板厚与折弯角度的提取值,再核压模号的台账对应。
借用件误判。借用关系判错有两个方向,判成借用而实际不可借用后果更重。排查时先核几何特征索引的建库范围,首期只按部分产品族建库,范围外的零件本来就判不准,这属于范围问题不是能力问题,须在统计时剔除并说明。
本场景交付物八项:场景验证方案;数据就绪度核验报告与缺口清单,含图纸家底分层抽样统计;闭合条件的标定方法与标定结果;冻结版金标准集与用例集,含判读依据标注规范与仲裁记录;验证执行记录与见证签认档案,含打印抽检记录与应急通道演练记录;场景验证报告,含四组对照的能力增量表、三组消融结论与闭合率分层统计;等效表述认定规则;错题归因清单与数据集改进需求单。
本场景分三批执行。第一批是解析组与成卡组,前置条件是工序字典正式发布、加工方法分档规则成文、中性层系数完成一版确认,三项齐备即可开跑。第一批的见证重点在参考答案的权威性:金标准集的参考答案取自已签发卡片,但卡片本身可能存在当年的笔误或已被后续修订,因此抽样投放前由工艺骨干对参考答案做一轮确认,确认不通过的样本剔除并记录,剔除比例一并报告。
第二批是变更组、台账组与应急组。变更组依赖历史改版案例的归集,台账组依赖设备状态与有效期两列的补齐,应急组依赖演练方案的会商确定。应急通道的演练要在生产节拍之外安排,三种触发情形分别演练,演练过程由工艺与生产两侧岗位同时见证。这一项验证的是流程可用性而非系统能力,见证人的覆盖面比指标更重要。
第三批是端到端组,并进入观察期。观察期取不少于两个月,期内累计编制任务不少于一百五十件方具备分层统计意义。观察期内重点记录三项:工艺骨干对生成草稿的修改分布(哪些字段改得最多)、闭合率随规则库完善的变化曲线,以及因台账缺口触发人工通道的次数。第一项的用处最直接,改得最多的字段就是下一轮规则与样本补充的入口,这比总体准确率更能指导工作。
打印抽检单独安排。招标文件要求验证工艺卡片与工序附图的 PDF 导出及打印,打印件与屏幕显示的差异(字体替换、图幅缩放、线型丢失)只有打出来才能发现,因此抽检不少于三十份、覆盖三类复杂度,逐份与界面显示核对,抽检记录进见证档案。
用例级记录的必填字段与 4.1 节一致,本场景的输入对象标识为图号加零件号,参考答案来源统一填「已签发工艺卡片的结构化版本」并附该卡片的签发版本号与参考答案确认记录编号。本场景的用例卡另加三项:闭合条件四项的逐项判定结果;差异台账编号与未关闭项数;双路互校的两路结果与差值。
轮次级记录的必填字段:数据集版本指纹、四组对照的模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加四项:工序字典的发布版本号、加工方法分档规则表的版本号、中性层系数表的版本号与索引键完备情况,以及卡片模板的受控版本号。这四项中任一项换版,相关判据与标注规范同步复核,已按旧版本判定的用例按 4.5 节的修订纪律回溯重判。
场景报告按 4.3 节的九章体例出具,本场景填入的内容为:被验证能力清单与条目对照(十二项);数据就绪度结论(图纸可打开率、图卡可对应率、关键判读点可提取率、设备台账状态与有效期补齐情况);验证资产说明(三层分层抽样框架、要素级与工序集合一致率、仲裁记录摘要、参考答案确认的剔除比例);执行情况(三批执行的版本登记、打印抽检记录、应急通道演练记录);逐项判定结论;数据集贡献度结论(四组对照的能力增量表与三组消融结论);归因分析;可用性结论与档位说明(含闭合率分层统计与未闭合原因分布);改进需求与优先级。报告另附闭合条件的标定方法与标定结果、等效表述认定规则,以及差异台账的关闭情况汇总。
版本关联按三元标识执行,本场景另绑两项:卡片所依据的工序字典版本与规则库版本。每一张生成卡片在档案中记录其生成时所用的规则版本,规则换版后旧卡片保留其原版本,这一点既是 X2-5 的验证内容,也是卡片可追溯的前提。差异台账的每一条记录绑定用例编号、字段名、判定结论(实质错误或等效表述)、处置与关闭时间、关闭人;台账与卡片的流转状态联动,未关闭即不予下发。
闭合条件这一方法在其他三个场景有直接对应。热处理的分析层级分档、焊接的档位判定、健康诊断的证据分级,本质上都是「先判定本次输入够不够支撑一个确定的结论,够则给结论、不够则降档并标明」。本场景把它定义得最具体,四项条件可逐项核对,其余场景按同一体例定义自己的闭合或分档条件。
双路互校的做法在热处理的参数补偿与焊接的线能量核对上同样适用:一路按公式或正式文件算,一路按历史同类回归,不一致即停。这一做法的价值不在提高精度,而在把「可能错」变成「会被拦住」,对于高危字段,拦住比算准更重要。
判读依据标注这一标注体例在六个场景通用。热处理的成因判定、焊接的缺陷类别、健康诊断的失效模式,都要求标注员写明依据;依据既是仲裁的基础,也是偏好数据的来源,还是系统可解释性的参考答案。本场景在这一体例上投入最多,形成的标注规范与培训材料供其余场景复用。
招标文件对本场景的现状描述很具体:矿山装备行业采用按订单定制化项目生产为主、备件备货生产为辅的经营模式,全链路库存管理具有高复杂性,三条特征分别是物料清单结构复杂、单品生命周期多依赖项目周期、除大宗材料外通用性较低,各类物料的计划和库存管控逻辑各不相同;供应网络分布广,多制造厂区并存、国内及海外采购并行,各主体协同难度高;工艺路线长、生产周期和材料采购周期长,受需求波动和制造扰动影响大。招标文件进而指出,依赖传统手段做库存管控已遭遇瓶颈,物料预测和备货逻辑拆解缺乏科学依据,库存金额管控与供需计划流、库存实物流管控脱节。场景的建设方向是基于库存运作相关数据,构建库存领域对象知识本体,支持大模型、机器学习模型、双口径指标计算模型运作。
这个场景的验证设计有五处关键判断。
第一处是库存的性质。这里的库存不是面向稳定销量的商品库存,而是围绕具体项目与交付节点形成的项目性储备。整机按工作面长度、地质条件、倾角与装机功率单独配置,物料清单逐单不同;库存主体是钢板,结构件的备料件由大板下料、钻孔、成形,再焊接为项目专用部件。这一性质决定了预测类能力的验证不能照搬商品库存的做法。对一个每单配置都不同的产品做单品级需求预测,预测的对象本身就不稳定。因此本方案把物料需求预测按招标文件所列的四个品类分别验证:大宗金属材料、标准件、定制异形件、通用制品。四类的可预测性相差很大:大宗金属材料与订单量有稳定的折算关系,标准件有历史消耗规律,通用制品介于两者之间,而定制异形件本质上不可独立预测,只能随项目清单推导。把四类合成一个预测准确率去考核,等于用可预测性最好的那一类的成绩掩盖最差的那一类。
第二处是供应约束的两种性质。外购部分集中在紧固件与标准件、外购电动机以及部分外购链条,其约束是采购与运输提前期;而矿用减速器与另一部分链条由企业自制,其约束是自制产能与内部制造周期,不是采购提前期。两种约束在安全库存测算与补给调度中的算法完全不同,验证时须分开统计,否则自制件的提前期会被按采购件的口径算错。
第三处,也是本场景最要紧的一处,是双口径问题。库存数量与金额在不同口径下并不一致,直接影响全部量化结论:财务口径将半成品视为尚未转化价值的原材料计入库存资金,生产管理口径认为半成品已按单投产、不计入考核范围。招标文件要求搭建标准化、可配置的库存管控指标体系并实现指标差距多维度穿透,而穿透的前提是口径先定。因此本方案把库存口径字典列为 L1 的硬前置,并把双口径的差额桥接单列为一项验证内容。不是只报两个数,而是要能说清两个数之间的差额由哪些明细构成。口径不先定下来,后面所有指标都会出现两个版本,验收时无法判定对错。
第四处是时间屏障。本场景的多数能力(需求预测、态势预判、安全库存测算、呆滞成因溯源)都要在历史窗口上做回溯检验,而回溯检验最容易出的问题是看到了未来信息。一次预测若在计算时用到了预测期之后才产生的数据,指标会漂亮得毫无意义。因此本方案要求时间屏障以数据视图裁剪实现,而不是靠流程约定:按预测基准时点冻结一份快照,只暴露该时点及之前可见的数据,之后的数据在视图层不可达。这一条是本场景验证可信度的根本,写在 2.4.2.4 节的方法里。
第五处是基线的缺失。现行备料计划以历史类比为主要依据,参照往年同期用量与本年上一季度的销售订单情况估算,约每两个月组织一轮。这种方式缺少可复算的测算依据,也没有留下过程记录:每一笔新增积压形成于哪一轮储备决策、依据何种需求假设,都没有被记录下来。这意味着本场景的多数验证项没有现成的绝对基线可比,只能用对比基线方式定义判据。在同一历史窗口上不劣于现行做法,并给出改善幅度。而「现行做法的水平」本身也需要先统计出来,这份统计是本场景的第一项交付物。
还有一点须写明边界:本场景的目标不是压缩库存总量。提前储备本身有必要性,外购件与自制件的交付周期直接影响整机齐套;验证的落点是在保障交付的前提下降低资金占用的峰值与波动、减少新增呆滞,而不是把库存压低。把目标写成压降总量,是在给自己挖一个将来解释不清的坑,总量压低而齐套出问题,责任无法划分。
招标文件为本场景列了五条验证要求,展开为十一项能力。
表 2-17 库存控制智能化场景被验证能力
| 编号 | 被验证能力 | 判据性质 | 层级 |
|---|---|---|---|
| X3-1 | 标准化、可配置的库存管控指标体系 | 口径一致性 | L1/L2 |
| X3-2 | 库存指标差距多维度穿透(合同、令号、批次、客户、供应商) | 穿透完整性与可对账性 | L2 |
| X3-3 | 超龄库存、慢速滞留库存成因溯源 | 统计性,成因命中率 | L2 |
| X3-4 | 多品类库存智能评级与健康诊断 | 统计性,一致性系数 | L2 |
| X3-5 | 合理库存水位、标准库龄阈值、最优结构配比生成 | 对比基线 | L2/L3 |
| X3-6 | 全周期库存态势智能预判 | 回溯检验 | L2 |
| X3-7 | 库存风险预警(超储积压、缺货、滞留、结构劣化) | 召回率与误报率 | L2 |
| X3-8 | 四品类物料需求预测 | 回溯检验,四类分别统计 | L2 |
| X3-9 | 安全库存动态测算 | 对比基线,自制与外购分列 | L2/L3 |
| X3-10 | 跨分厂闲置物料识别与调拨策略 | 可执行性与采纳率 | L3 |
| X3-11 | 一轮完整测算的端到端任务 | 任务级 | L3 |
表 2-17 数据来源:招标文件逐条拆解。
X3-5 与 X3-9 两项要特别说明判据性质。「合理库存水位」「标准库龄阈值」「最优结构配比」「动态安全库存」这几个量都没有客观正确答案。它们是决策建议,优劣取决于在交付保障与资金占用之间的取舍偏好。因此这两项不写准确率,写成两部分:一是建议的可复算性,即每一个数值都能追到它的输入、模型与参数,换一组偏好参数能重算出另一组建议;二是回溯检验下的效果对比,即若在历史某一时点按系统建议执行,到期末的资金占用与缺货次数与实际执行相比如何。第二部分是对比基线判据。
本场景涉及五套业务系统,建设时点与覆盖范围本就不同,有的字段齐备且可开放只读接口,有的仅覆盖部分车间或以线下台账维护。L1 的最小可用集是四项:物料主数据;已签订单与在执行合同的交付节点与配置清单;库存实物账的数量、库位与质量状态;采购订单的承诺与实际到货记录。四项齐备可跑通一轮测算并给出可核对结论。
取数侧按系统分别确认。企业资源计划系统取物料主数据、销售订单、需求计划、采购订单与库存金额账;制造执行系统取工单与报工、在制数量、已领未用与线边库存;仓储管理系统取实时库存、出入库记录、库存批次、库位信息、质量与冻结状态与项目占用;客户关系管理系统取客户档案、商机阶段、预计签约窗口、历史销量与销售预测;供应链管理系统取采购周期、到货时效、供应商履约率与合格供方名录。五套的只读授权在就绪度体检阶段逐套确认并记录开通时间,未开通的以受控导出过渡并标注数据时点。
L1 的核验重点有四项,每一项都直接对应一类指标能否成立。
库存口径字典是第一项。须含计价范围、资金占用统计口径、半成品与在制是否计入、呆滞认定周期与金额口径五类定义,并与月度库存报表对账通过。口径尚未书面确认时,本场景只输出数量与缺料风险,金额侧仅呈现两个口径的差异构成,不出金额类结论。这一处置写明是必要的。在口径未定的情况下给出金额结论,等于把一个将来会被两个部门分别质疑的数字写进报告。
物料分类打标是第二项。招标文件要求对四个品类分别建模,而现状是采购与自制属性、通用件与项目专用标识、代用关系三类标识不完整,代用关系散见历史文件。L1 要求完成一次分类打标与汇总,并约定新增物料在编码环节同步打标。打标的准确性直接决定四类预测的分母是否干净。
主数据对应关系是第三项。物料与部件、项目的对应关系,订单与项目号与物料需求的对应关系,图号与物料编码的对应关系,这三组映射是穿透分析成立的前提。招标文件要求按销售合同、施工令号、生产批次、客户、供应商五个维度穿透,每一个维度都需要一条可追的映射链。L1 的核验方式是取三个真实令号做端到端穿透追溯,确认从金额差距能逐层下钻到具体物料与具体批次。
历史序列长度是第四项。归一化指标的基线需要月度库存金额序列,序列不足两年时归一化指标暂不出结论。供应链侧的历史保留期限须先行确认并导出一段完整历史。这一点与热处理场景的时序数据保存期问题同类,都属于「样本会随保存周期流失」的情形,须在项目启动阶段先行导出,不能等到需要时再找。
还有两类数据的处理方式要写明。钢板与余料的可用尺寸(材质、厚度、平面尺寸、切割状态、质量状态),目前只有账面重量而无尺寸记录,能否套用于下一项目无法由物料编码判断。L1 阶段按不可直接套用处理并列入待测量清单;余料套用与跨项目复用撮合这项能力在台账建立之后才具备验证条件,首轮验证中按受限档处理并说明。设计侧的清单冻结状态字段,可获取时按其定量测算前置采购敞口,不可获取时按同类产品历史变更幅度分档给出,两种处置在验证报告中分别标明所用方式。
本场景的验证资产以回放窗口为主,这与前两个场景不同,选型与备料有现成的「正确答案」可标注,而库存的多数能力没有正确答案,只有历史事实。
回放窗口按期次组织。取不少于二十四个连续月份的历史数据,按月冻结为二十四份快照,每份快照只含该月末及之前可见的数据。期次结构要包含完整的业务周期:至少覆盖两个完整年度的季节波动,以及至少一轮集中交付期与一轮淡季。每份快照须同时保留三类内容:该时点的库存实物与金额状态、该时点已知的订单与计划,以及该时点之后实际发生的结果(到货、领用、缺料、呆滞认定)。前两类用于测算,第三类用于判定,在视图层严格隔离。
金标准集用于两项需要人工判断的能力。一是库存健康评级(X3-4),由物料管理与财务骨干各一名双人独立评级,按五档打标,用加权一致性系数度量,系数低于零点五五时返工并复核评价因子定义。二是成因溯源(X3-3),对超龄与慢速滞留库存的成因做标注,成因大类分需求侧、供应侧、计划侧、执行侧四类,每条记录标主因与次因;按主因一致与前两位命中两项分别统计,主因一致率低于百分之七十时重新定义成因大类。评级样本按物料品类分层,各层不少于一百条;成因样本不少于三百条,取自已完成盘点与回溯的历史条目。
构造样本针对本场景的四类极端情形设计,不少于五十例:需求端突发大单、供应端单一供应商中断、设计端清单大幅变更,以及财务口径调整期。前三类在历史中有过真实发生但次数少,定向检索相似期次;第四类按业务骨干指导人工构造。构造样本考察的是建议的稳健性。在这类情形下系统给出的建议是否明显不合理,而不是准确率。
用例集分六组。穿透组用于 X3-1 与 X3-2,取三个以上真实令号与两个以上供应商,逐层下钻并与报表对账。溯源组用于 X3-3。评级组用于 X3-4。预测组用于 X3-8,按四品类分别执行,按期滚动。推演组用于 X3-6 与 X3-7。决策组用于 X3-5、X3-9、X3-10,在回溯窗口上做建议与实际的对比。端到端组用于 X3-11,取不少于六轮完整测算。
这一小节单列,因为本场景一半以上的指标依赖它,而它做不干净,所有指标都不可信。
方法是按期滚动。从回放窗口的第 N 份快照出发,只用该快照暴露的数据做测算,输出预测值、水位建议、风险预警与补货建议;然后用第 N+k 份快照中实际发生的结果作为判定依据,计算指标;再把起点推进一期,重复。k 的取值按能力的预测跨度确定:需求预测按月度与季度两个跨度分别做,态势预判按三个月滚动,安全库存建议按一个采购周期后的实际缺货与库存水位判定。
时间屏障以数据视图裁剪实现。具体做法是在验证台的数据层按快照时点建立视图,视图之外的数据在接口层不可达,而不是靠执行人员「注意不要用到未来数据」。这个区别很重要:靠约定的屏障在实际执行中几乎必然被绕过,尤其是在数据加工与特征构造环节,一个按全历史统计的均值就足以把未来信息泄漏进来。本方案对此的检查办法是在首轮执行时做一次泄漏检验:故意把某一期的实际结果从快照中抽掉,若指标无明显变化,说明该结果未被用到,屏障有效;若指标显著变化,说明泄漏存在,须查特征构造链路。这项检验结果进验证记录。
裁剪不可实现的情形也写明处置:改为按时间顺序逐期滚动执行,并记录每期可见的数据范围;此时屏障的强度弱于视图裁剪,在验证报告中注明该项指标的可信度受限。
对比基线的建立方式同样在这一小节固定。现行做法的水平按两步统计:第一步从历史记录中还原每一轮储备决策的时点与结果,第二步按同一套指标口径计算现行做法在各期的表现。能还原的期次纳入基线,还原不到的期次剔除并说明。基线统计完成后与甲方确认,确认后冻结;之后的所有对比均以这份冻结基线为参照,不在验证过程中更新基线,基线一边比一边改,对比就失去意义。
2-5 库存场景的快照冻结与回溯检验
图 2-5 库存场景的快照冻结与回溯检验。数据来源:招标文件;双口径与现行做法的描述依招标文件及甲方现行计划方式。
本场景的验证智能体把一轮测算拆成八步:外部条件对齐、需求情景生成、项目清单归集与敞口测算、真实可用库存核算与双口径桥接、提前期与自制产能校准、参数与阈值测算、补货与调拨求解、指标核算与复盘成文。
分工上,这个场景的确定性成分比前两个更重。双口径桥接是会计恒等关系,属确定性;真实可用库存的核算(扣除质量冻结、项目占用、已领未用)是规则;约束求解是在交付红线、资金上限、提前期、起订量、经济批量、自制产能与库容约束下的优化问题,属确定性求解器,不是模型生成;指标核算是公式。模型承担三件事:从非结构化的复盘记录、会议结论与供应商沟通记录中抽取结构化事实;在成因溯源中给出候选成因与排序;以及把测算结果组织成业务可读的复盘说明。需求预测按品类选方法,大宗金属材料与标准件走统计与机器学习模型,定制异形件由项目清单推导不做独立预测,通用制品两路并行取优;这一分工在判据表中体现为四类分别统计。
这里有一处取舍要写明:本场景不把补货决策交给大模型生成。理由是补货建议须满足一组硬约束,而硬约束的满足不能靠概率性生成来保证,一个违反交付红线或超出资金上限的建议,哪怕只出现一次,岗位就不会再信任这套系统。因此求解由确定性求解器承担,模型只负责解释求解结果与候选方案之间的差异。验证的落点相应调整为两项:解的可行性(是否满足全部硬约束,判据为零违约)与解的质量(在同一约束下与实际执行的对比)。
人审检查点设三处:需求情景确认后、双口径桥接确认后、补货建议下达前。第二处是本场景特有的,因为金额类结论一旦出口径问题,后续的全部讨论都会跑偏。
八步之中,四步设步级判据。
项目清单归集与敞口测算这一步的判据是归集完整率与敞口测算的口径正确性。归集完整率按施工令号统计:该令号下的零件明细是否齐、清单版本与冻结状态是否取到;取不到冻结状态时按同类产品历史变更幅度分档给出,这一分档的执行正确率单列统计。
真实可用库存核算与双口径桥接这一步的判据是桥接明细覆盖率与核算规则的执行正确率。后者指质量冻结、项目占用、已领未用三类扣减是否按规则执行,这三类都是规则,不涉及模型,基线写成全量正确。
参数与阈值测算这一步的判据是可复算性:每一个水位、库龄阈值与配比建议可追到输入、模型与参数,换一组偏好参数能重算出另一组建议。可复算性用抽样复算检验,抽样比例不低于建议条目的百分之十。
补货与调拨求解这一步的判据是硬约束违约数与解的质量。违约数的基线写成零,理由在 2.4.2.5 节已述:一个违反交付红线或资金上限的建议,出现一次就会损害岗位对整套系统的信任。
时间屏障的执行正确性是本场景特有的一项步级判据,覆盖前三步:每一步所读取的数据是否都在当期快照的可见范围内。检验方式是 2.4.2.4 节所述的泄漏检验,执行一次并记入验证记录。
人审检查点三处,需求情景确认后、双口径桥接确认后、补货建议下达前。三处的触达率均要求趋向全量;误停率在本场景不是主要矛盾,因为测算按两个月一轮的节奏组织,停下来确认的频次本身不高。
举一轮测算为例,起点为回放窗口的某一期快照,该期之后实际发生了一次大宗金属材料的集中到货与一次定制异形件的缺料停等。
第一步外部条件对齐。读入该期可见的年度销售指标、预算额度与资金占用上限,以及该期已知的钢材价格走势。本例中价格走势数据若按公开渠道信息与本企业采购品种建立了映射,则进入择时提示;映射不成立的品类只作提示、不进测算。
第二步需求情景生成。按已签订单、分级商机与年度盘子生成多套可比需求。本例的关键是商机转化的不确定性:该期有若干处于中后期阶段的商机,是否转化、何时转化在该时点无法确定。判据不是「预测对了几个商机」,而是情景集是否覆盖了实际发生的情形,以及各情景的假设是否明写。
第三步项目清单归集与敞口测算。按施工令号归集零件明细,查清单版本与冻结状态。本例中造成后续缺料的那个定制异形件,其所在清单在该期尚未冻结。这正是前置采购敞口测算要处理的情形。判据是敞口测算的口径正确性:冻结状态可获取时按其定量测算,不可获取时按同类产品历史变更幅度分档,分档的执行正确率单列统计。
第四步真实可用库存核算与双口径桥接。扣减质量冻结、项目占用与已领未用三类,得到真实可用量;再做财务口径与生产管理口径的差额桥接,差额须能逐项说明构成。本例的半成品金额是两个口径差异的主要来源,桥接明细覆盖率的判据在此落地。
第五步提前期与自制产能校准。外购件按承诺与实际到货记录反算有效提前期,自制件按产能排程与历史制造周期校准。两类的算法不同,须分列。本例的定制异形件若属自制,其约束是自制产能而非采购提前期,按采购口径算会把锁定时点算早或算晚。
第六步参数与阈值测算、第七步补货与调拨求解。在交付红线、资金上限、提前期、起订量、经济批量、自制产能与库容约束下求解。判据两项:硬约束违约数为零;以及解的质量,即若在该期按系统建议执行,到第 N+k 期的资金占用与缺货次数与实际执行相比如何。本例的实际结果中有一次缺料停等,因此这一项的核心看点是系统是否在该期就把那个物料识别为缺货风险并给出前置建议。
第八步指标核算与复盘成文。复盘说明的判据是关键事实覆盖率与信息密度,不用文本相似度,理由见 2.1.15 节。
全过程受时间屏障约束:前七步所读取的数据都须在该期快照的可见范围内,第 N+k 期的实际结果在视图层不可达。泄漏检验按 2.4.2.4 节执行一次并记入验证记录。这条用例也说明了为什么本场景的多数判据写成对比基线,「该不该在那一期就备那批料」这个问题没有客观正确答案,只有与现行做法的比较。
库存场景与前两个场景的根本差别在答案的来源:选型与备料有现成的正确答案可标注,库存的多数能力没有正确答案,只有历史事实。因此表中「基准答案与其来源」一栏出现三种形态,读表时需要分清:一是客观账实,如各层级的实际明细与第 N+k 期的实际领用量,取自源系统当期账,不需要标注;二是双人独立标注加一致性系数度量,只用于成因溯源与健康评级两项确有人工判断成分的能力;三是对比基线,即现行做法在同一历史窗口上的表现,统计后冻结,用于水位、安全库存与需求预测这类凭空给绝对数值既无法验收也无法申辩的能力。
样本结构一栏的取值来由是业务周期而非统计便利:不少于二十四个连续月份快照这一下限,来自必须覆盖两个完整年度的季节波动与至少一轮集中交付期。「执行环境与对照组」一栏中反复出现的时间屏障与不做微调对照两项,是本场景指标可信度的前提——屏障失效,整张表的结论都不成立。
表 2-18 库存控制智能化逐项验证的数据、样本与基准答案
| 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 |
|---|---|---|---|---|
| X3-1 指标体系与口径 | 库存口径字典;月度库存报表;企业资源计划系统的库存金额账 | 指标项全集逐项对账;差额桥接按金额明细组织 | 现行月度报表为对账参照;差额构成以财务与生产管理两部门共同确认的明细归集规则为准 | 确定性核算,不涉及模型;不设对照组 |
| X3-2 五维度穿透 | 销售合同、施工令号、生产批次、客户、供应商五组映射链;物料与部件、项目的对应关系 | 真实令号不少于 3 个、供应商不少于 2 个,逐层下钻到物料与批次 | 各层级的实际明细与报表金额,取自源系统当期账 | 穿透查询在快照视图上执行;不设对照组 |
| X3-3 成因溯源 | 超龄与慢速滞留库存条目;历史复盘记录、会议结论、供应商沟通记录 | 成因样本不少于 300 条,取自已完成盘点与回溯的历史条目 | 主因与次因,物料管理与计划骨干双人独立标注,成因大类分需求侧、供应侧、计划侧、执行侧四类 | 沙箱分类与排序题型;基座裸测、检索增强、数据集适配三组 |
| X3-4 多品类评级 | 库存实物账、库龄、周转、项目占用、质量冻结状态 | 评级样本按物料品类分层,各层不少于 100 条 | 五档评级,物料管理与财务骨干各一名双人独立评级,加权一致性系数度量 | 评价因子与权重明写,可逐项复算;三组对照 |
| X3-5 水位、库龄阈值与结构配比 | 回放窗口的月度快照;交付节点;资金占用上限 | 不少于 24 个连续月份快照,覆盖两个完整年度与至少一轮集中交付期 | 无客观正确答案,采用对比基线:现行做法在同一历史窗口上的表现,统计后冻结 | 确定性求解器加回溯检验;本项不做模型对照 |
| X3-6 态势智能预判 | 月度快照序列;在执行合同与需求计划 | 按三个月滚动,每期一次推演,覆盖全部期次 | 第 N+k 期快照中的实际结果 | 时间屏障以数据视图裁剪实现;统计与机器学习模型,不做微调对照 |
| X3-7 风险预警 | 快照序列;已发生的超储、缺货、滞留与结构劣化事件记录 | 按已发生风险事件计召回,按预警条数计误报 | 事后确认的风险事件为客观答案 | 规则与模型联合,门限可调;不做微调对照 |
| X3-8 四品类需求预测 | 销售订单、需求计划、历史消耗、项目清单;物料分类打标结果 | 按大宗金属材料、标准件、定制异形件、通用制品四类分别组织,按月度与季度两个跨度滚动 | 第 N+k 期的实际领用与采购量;定制异形件不做独立预测,以项目清单推导的覆盖情况为准 | 统计与机器学习模型,按品类选法;不做微调对照 |
| X3-9 安全库存动态测算 | 采购与运输提前期的承诺与实际到货记录;自制产能排程与历史制造周期 | 外购件与自制件分列,各按物料分层 | 对比基线:同一历史窗口上现行储备量所对应的缺货次数与资金占用 | 确定性测算加回溯检验;不做模型对照 |
| X3-10 跨分厂闲置识别与调拨 | 各分厂库存实物账、库位、项目占用与质量状态;余料台账 | 识别条目全量,调拨建议按条目计 | 仓储与计划岗位现场核实结果 | 约束求解器;不做模型对照 |
| X3-11 一轮完整测算 | 以上全部来源在同一期快照下的组合 | 不少于 6 轮完整测算 | 各环节产出的可核对结论与复盘说明 | 八步验证智能体全链路,全程受时间屏障约束 |
表 2-18 数据来源:能力编号与标书依据见表 2-17;回放窗口与期次结构见 2.4.2.3 节;时间屏障见 2.4.2.4 节。
库存场景的指标公式里反复出现「对冻结基线的差值」这一写法,它不是模糊表述,而是本场景多数能力目前唯一可验收的写法:水位建议、安全库存测算与需求预测在企业内尚无统计过的现行水平,凭空给出一个绝对数值,既无法验收也无法申辩。基线一经统计并经甲方确认即冻结,之后不在验证过程中更新,基线一边比一边改,对比就失去意义。
「招标门槛与原文前提」一栏照录招标文件的原文要求,所列条目均未设数值门槛,本方案不代为编造。读表时有两行值得留意:X3-1 的闭环路径把口径字典版本与报表期间排在计算逻辑之前,并写明口径未书面确认前不出金额类结论,金额口径不清时给出的任何金额结论都会在对账环节被推翻;X3-8 的闭环路径把输入侧的清单冻结状态与打标正确性排在模型归因之前,清单未冻结属业务流程问题,须如实说明而不是算进模型偏差里。两行共同体现的是归因顺序先外后内,这是整改能真正收敛的条件。
表 2-19 库存控制智能化逐项验证的指标公式与闭环责任
| 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 |
|---|---|---|---|---|
| X3-1 | 可对账指标项数 ÷ 指标项总数;差额中可归入明细的金额 ÷ 差额金额 | 招标文件相应条款要求搭建标准化、可配置的库存管控指标体系,未设数值门槛 | 财务与生产管理两部门共同核对差额构成 | 先核口径字典版本与报表期间,再核明细归集规则,最后才看计算逻辑;口径未书面确认前不出金额类结论 |
| X3-2 | 可下钻至物料与批次的维度数 ÷ 应支持维度数(五维) | 招标文件相应条款要求指标差距多维度穿透,列举合同、令号、批次、客户、供应商,未设数值门槛 | 骨干按真实令号逐层核对下钻结果 | 映射缺失的维度列入补齐清单;映射建立后重跑该维度穿透 |
| X3-3 | 主因一致条目数 ÷ 条目数;前两位命中条目数 ÷ 条目数 | 招标文件相应条款要求超龄库存、慢速滞留库存成因溯源,未设数值门槛 | 骨干按标注依据核对候选成因与排序 | 未命中项先核成因大类定义是否覆盖该情形,再核复盘记录的结构化质量;属样本不足的转数据集扩充并复测该类条目 |
| X3-4 | 加权一致性系数(系统评级与骨干评级);可复算评级数 ÷ 评级数 | 招标文件相应条款要求多品类库存智能评级与健康诊断,未设数值门槛 | 骨干抽样复核评定因子得分 | 系数低于门限的复核评价因子权重与定义;不可复算的判定未完成并修复因子记录后重测 |
| X3-5 | 对比基线:按期次计,系统建议下的期末资金占用与缺货次数,对冻结基线的差值 | 招标文件相应条款要求生成合理库存水位、标准库龄阈值与最优结构配比,未设数值门槛 | 计划岗位核对建议的可执行性与假设是否明写 | 劣于基线的期次逐期归因,区分约束缺失与参数设定;约束补齐后重解该期并复测相邻期 |
| X3-6 | 按期次与科目计:推演值与实际值的相对偏差,取中位数 | 招标文件相应条款要求全周期库存态势智能预判,未设数值门槛 | 计划岗位核对推演假设与实际差异的解释 | 偏差大的科目单列归因;先做泄漏检验排除屏障失效,再查特征构造 |
| X3-7 | 命中的已发生风险事件数 ÷ 已发生风险事件数;误报条数 ÷ 预警条数 | 招标文件相应条款要求库存风险预警,列举超储积压、缺货、滞留、结构劣化,未设数值门槛 | 岗位对每条预警标记有效或无效 | 漏报逐例归因并补判据;误报归因后调整阈值,调整过程与每次取值留痕 |
| X3-8 | 按品类与期次计:加权平均绝对百分比偏差;定制异形件按项目清单推导的覆盖条目数 ÷ 应覆盖条目数 | 招标文件相应条款要求四品类物料需求预测,列明大宗金属材料、标准件、定制异形件、通用制品,未设数值门槛 | 计划岗位核对输入侧的清单冻结状态与打标正确性 | 先区分模型偏差与输入偏差:清单未冻结属业务流程问题须如实说明,打标错误属数据侧须回流修正;排除输入问题后才作模型归因并复测该品类 |
| X3-9 | 对比基线:外购件与自制件分列,同一历史窗口上缺货次数与资金占用对冻结基线的差值;可复算建议条目数 ÷ 建议条目数 | 招标文件相应条款要求安全库存动态测算,未设数值门槛 | 采购与生产计划岗位分别核对两类约束的取值 | 劣于基线的物料逐项归因;自制件按采购口径算的提前期错误须改算法并重跑自制件全集 |
| X3-10 | 经现场核实成立的识别条目数 ÷ 识别条目数;硬约束违约条数(绝对数);经岗位判定可执行的建议数 ÷ 建议数 | 招标文件相应条款要求跨分厂闲置物料识别与调拨策略,未设数值门槛 | 仓储与计划岗位现场核实库位与占用状态 | 误识别逐例核查库位与占用状态字段;不可执行建议追到缺失的那一条约束,补入约束集后重解 |
| X3-11 | 全部环节完成并出复盘说明的轮次数 ÷ 轮次数 | 招标文件相应条款要求提供全流程验证能力,包括但不限于所列条目,未设数值门槛 | 计划岗位对每轮复盘说明签认 | 未完成环节列明阻塞项;阻塞条件解除后重跑该轮 |
表 2-19 数据来源:招标门槛一栏照录招标文件原文要求;指标数值见表 2-21;对比基线的建立方式见 2.4.2.4 节。
库存场景的异常用例指向同一类风险:在条件不具备时给出一个看起来合理的数。这比给不出数更危险,因为一个带着金额的结论会被直接拿去开会。四类极端情形据此选定——需求端突发大单、供应端单一供应商中断、设计端清单大幅变更、财务口径调整期;前三类在历史上有过真实发生但次数稀少,定向检索相似期次取样,第四类按业务骨干指导人工构造。这一组用例考察的是建议的稳健性,而不是准确率。
读表时注意异常用例一列的期望输出:X3-1 行在口径字典未确认时只输出数量与缺料风险、不出金额结论,X3-5 行在两条约束互相冲突时报无解与冲突约束、不给违约解,X3-11 行在泄漏检验未通过时标注本轮指标可信度受限。三行的共同点是把条件不具备这件事如实说出来,而不是让它消失在一个数字里。三类用例分别统计,异常类不混入主指标分母。
表 2-20 库存控制智能化的三类用例
| 能力 | 正常用例 | 边界用例 | 异常用例 |
|---|---|---|---|
| X3-1 | 口径字典已确认的月份,指标与报表逐项对账 | 半成品金额占比异常高的月份,检验两口径差额的可解释性 | 口径字典未确认,系统须只输出数量与缺料风险,不出金额结论 |
| X3-2 | 常规令号,五维逐层下钻到批次 | 一个物料同时归属两个令号,下钻须可分摊并说明 | 图号与物料编码映射缺失,须提示断链位置而非给出不完整金额 |
| X3-3 | 典型超龄条目,成因记录较完整 | 主因与次因影响相当,检验前两位命中的判定 | 该条目无任何复盘记录,应标注证据不足而非编造成因 |
| X3-4 | 各品类常规物料评级 | 评级落在两档交界处,检验因子权重的取舍 | 库存实物账与实物不符的物料,应先提数据质量问题 |
| X3-5 | 常规期次,建议与实际执行可比 | 资金上限与交付红线同时接近约束边界 | 两条约束互相冲突无可行解,应报无解与冲突约束而非给出违约解 |
| X3-6 | 平稳期的三个月滚动推演 | 跨年度切换期,科目口径变更 | 该期快照缺失某一科目,应缩小推演范围并标注 |
| X3-7 | 已发生的超储事件,应被提前预警 | 风险指标恰在阈值附近波动 | 同一风险在四个维度上同时触发,应合并为一条而非四条 |
| X3-8 | 大宗金属材料的月度滚动预测 | 标准件在集中交付期的用量跃升 | 定制异形件被误配入可预测品类,应由打标校验拦截 |
| X3-9 | 外购紧固件按历史提前期测算 | 提前期分布双峰,检验安全库存取值依据 | 自制减速器按采购口径测算,应被约束类型校验拦住 |
| X3-10 | 同材质同规格余料跨分厂撮合 | 余料尺寸恰好临界可用 | 被识别物料已被其他项目占用,应由占用状态拦截 |
| X3-11 | 资料齐备期次的完整一轮测算 | 商机转化不确定性高的期次,情景集须覆盖实际发生情形 | 时间屏障泄漏检验未通过,本轮指标须标注可信度受限 |
表 2-20 数据来源:用例组划分与构造样本的四类极端情形见 2.4.2.3 节。
表 2-21 库存控制智能化场景的验证指标
| 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 |
|---|---|---|---|---|
| X3-1 | 指标体系与报表对账一致率,按指标项 | 全部指标与现行报表可对账;差额须能逐项说明构成 | 保持 | 不可对账指标暂不输出并列明缺口 |
| X3-1 | 双口径差额桥接的明细覆盖率,按金额 | 差额中可归入明细的比例 ≥95% | ≥98% | 未归入部分单列并说明 |
| X3-2 | 五维度穿透的下钻完整率,按穿透路径 | 合同、令号、批次、客户、供应商五维均可下钻至物料与批次 | 保持 | 映射缺失的维度列入补齐清单 |
| X3-3 | 成因主因命中率,按条目 | ≥70% | ≥80% | 未命中项复核成因大类定义 |
| X3-3 | 成因前两位命中率,按条目 | ≥85% | ≥92% | 同上 |
| X3-4 | 评级与骨干评级的加权一致性系数 | ≥0.55 | ≥0.70 | 低于门限复核评价因子权重 |
| X3-4 | 评级结果的可复算性,按物料 | 每一级评定可追到因子得分与权重,逐项可复算 | 保持 | 不可复算的判定未完成 |
| X3-5 | 水位、库龄阈值、结构配比建议的回溯效果,按期次 | 不劣于冻结基线;并给出资金占用与缺货次数两项的改善幅度 | 两项均有可测量改善 | 劣于基线的期次逐期归因 |
| X3-6 | 态势推演偏差,按期次与科目 | 库存金额三个月滚动推演的相对偏差中位数 ≤15% | ≤10% | 偏差大的科目单列归因 |
| X3-7 | 风险预警召回率,按已发生风险事件 | ≥80% | ≥90% | 漏报逐例归因并补判据 |
| X3-7 | 风险预警误报率,按预警条数 | ≤25% | ≤15% | 误报归因并调整阈值 |
| X3-8 | 需求预测偏差,按品类与期次分别统计 | 大宗金属材料月度加权平均绝对百分比偏差 ≤15%;标准件 ≤20%;通用制品 ≤25%;定制异形件不做独立预测,按项目清单推导的覆盖率 ≥90% | 前三类各改善不少于三个百分点 | 按品类归因,区分模型与清单质量 |
| X3-9 | 安全库存建议的回溯效果,外购件与自制件分列 | 同一历史窗口上缺货次数不增加,资金占用不劣于基线 | 资金占用有可测量下降 | 劣于基线的物料逐项归因 |
| X3-9 | 建议的可复算性,按建议条目 | 每一条建议可追到输入、模型与参数,换参数可重算 | 保持 | 不可复算的条目判定未完成 |
| X3-10 | 跨分厂闲置余量识别的查准率,按识别条目 | ≥85%,经仓储与计划岗位现场核实 | ≥92% | 误识别逐例核查库位与占用状态 |
| X3-10 | 调拨建议的可执行性,按建议条目 | 硬约束违约数为零;经岗位判定可执行的比例 ≥70% | ≥85% | 不可执行项记录原因并补约束 |
| X3-11 | 一轮测算的端到端完成度,按轮次 | 不少于六轮,每轮全部环节完成并出复盘说明 | 保持 | 未完成环节列明阻塞项 |
表 2-21 数据来源:指标项对应招标文件;阈值为我方按数据条件设定的承诺口径,最终随蓝图设计确认。
几处阈值的取法在此说明。需求预测的四档阈值按可预测性从高到低排,依据是四类物料与订单量的关联强度不同:大宗金属材料与整机台数有相对稳定的折算关系,标准件有历史消耗规律但受配置差异影响,通用制品的用量分布更散,而定制异形件逐单不同、不存在可独立预测的时间序列。把定制异形件写成「按项目清单推导的覆盖率」而不是预测偏差,是因为对它做时间序列预测在方法上就不成立,写一个偏差指标是自己给自己设一个达不到的条款。
风险预警的误报率基线定在百分之二十五,看起来偏宽,这是有意的。预警类能力的失败模式是误报高到岗位不看,误报率一旦超过某个水平,这项能力的实际价值就是零,而不是打个折。首轮把误报率的门限定得宽,是为了让召回率先达标,再在观察期内压误报;两项的权衡过程与每次阈值调整都记入验证记录,而不是只报最后一组数。
态势推演与安全库存两项都用「不劣于基线」的写法,理由在 2.4.2.4 节已述:现行做法的水平本身尚无统计,凭空给绝对数值既无法验收也无法申辩。
另有三项门限由我方按数据条件自行设定,其样本、频次与不达标处置在此一并写定。三者的共同点是都落在回放窗口上,因而期次与样本都是确定的,可被逐期复算。
双口径差额桥接的明细覆盖率按金额计:分母是两套口径当期差额的绝对金额,分子是其中可归入某一条明细归集规则的金额。样本为回放窗口全部二十四个月末快照,逐月对账,不抽样;实施期内每月随月度报表出具一次,与财务、生产管理两部门的对账同步。首期按可归入明细的比例不低于百分之九十五设定基线,观察期内趋向百分之九十八。未归入的部分不作摊派,按金额单列并说明其构成与未能归入的原因;连续两期同一成因未归入的,提请两部门修订明细归集规则后重新对账该两期。口径字典未经书面确认的月份不起算本项,也不出金额类结论。
态势推演偏差按期次与科目计,取中位数而不取均值:自每份快照出发做三个月滚动推演,与第三期后快照中的实际结果比,算相对偏差,覆盖回放窗口全部可推演期次,库存金额各科目分列后各取中位数。取中位数的依据是跨年度切换与集中交付两类期次的偏差天然偏大,均值会被这两类带走,中位数才看得出常态水平。首期按相对偏差中位数不超过百分之十五设定基线,观察期内趋向百分之十。超出的科目单列归因,先做一次泄漏检验排除时间屏障失效,再查特征构造;经学习曲线判定为可预测性受限的,按 2.1.10 节出具专项说明并标明该科目所处档位,不以调低判据代替归因。
调拨建议的可执行性按建议条目计,由仓储与计划岗位现场核实后判定:分母是本轮求解输出的全部调拨建议条目,分子是经岗位判定在当期可执行的条目数;硬约束违约条数同时统计,该项为绝对数且基线为零。样本取不少于六轮完整测算中产生的全部建议,逐条核实,不抽样,每轮测算结束后判定一次。首期按可执行比例不低于百分之七十设定基线,观察期内趋向百分之八十五。不可执行的条目逐条记录原因,并追到缺失的那一条约束——库位占用、质量冻结状态、运输批量或分厂间的结算口径——补入约束集后重解该轮并复测相邻轮次。硬约束违约一旦出现,该轮即判不通过,不以可执行比例达标相抵。
本场景做四组对照中的三组,不做子集消融,原因是本场景的数据集中在供需计划一域,消融的切面少;而主要能力依赖确定性求解与统计模型,语料配比对它们影响有限。首轮验证后若发现复盘记录类语料的贡献显著,再追加按语料类型的消融。
题集取自场景基准题集中的成因溯源与复盘问答两类题型,不少于一百二十题,全部来自真实复盘记录与盘点结论,不含合成数据。需要说明的是,四品类预测、水位测算与求解这几项能力不进对照实验。它们不由大模型承担,做对照没有意义。这一点在报告中写明,避免把对照实验的覆盖范围说得比实际大。
基座裸测组在成因溯源题上的预期表现是能给出常见成因的通识性判断(「需求变更导致积压」这一类),但说不清本企业特有的成因结构:比如项目专用料受材质、厚度、平面尺寸与项目占用四重限制而无法转用这一条,通识里没有。检索增强组接入库存领域知识本体、口径字典与历史复盘库,预期在成因候选的完整性上有明显提升。数据集适配组使用以本场景指令微调子集训练的模型版本,重点看两项:成因排序的主因命中率,以及复盘说明的信息密度,复盘说明是给管理层看的,写得长而空比写得短而准更糟,因此这一项的度量要同时看长度分布与关键事实覆盖率。
本场景的归因有三类高频情形。
口径类失败。表现是指标对不上报表或两个口径的差额解释不清。排查顺序是先核口径字典的版本与报表期间是否一致,再核明细的归集规则,最后才看计算逻辑。这一类归因几乎总落在数据侧,且多数是映射关系问题而非样本不足。
预测类失败。排查时先区分是模型偏差还是输入偏差:输入侧的常见问题是清单未冻结导致需求量本身在变,以及打标错误使物料进了错误的品类模型。两类输入问题的处置方式完全不同,前者是业务流程问题须如实说明,后者是数据侧缺陷须回流修正。只有排除输入问题之后,模型偏差才是有意义的归因结论。
建议类失败。表现是建议被岗位判定不可执行。排查重点是约束集是否完整,漏一条约束,求解结果就会在现实中撞墙。每一条不可执行的建议都要追到缺哪一条约束,并把该约束补进约束集后重解,这个过程本身是约束集逐步完备的主要途径。
本场景分三批执行。第一批是穿透组与溯源组,前置条件是口径字典书面确认与三组映射关系建立。第二批是评级组、预测组与推演组,前置条件是物料分类打标完成、两年以上月度序列导出完成、现行做法基线统计并冻结。第三批是决策组与端到端组,并进入观察期;观察期取不少于三个完整测算轮次,按现行两个月一轮的节奏折算不少于六个月。观察期内记录建议的采纳情况、因约束缺失导致的重解次数,以及资金占用与缺货两项指标的实际走势。
交付物八项:场景验证方案;数据就绪度核验报告与缺口清单;库存口径字典与双口径桥接规则(与甲方财务及生产管理部门共同确认);现行做法的基线统计报告;回放窗口与期次结构说明,含时间屏障实现方式与泄漏检验记录;冻结版金标准集与用例集,含评级与成因标注规范及仲裁记录;场景验证报告,含三组对照的能力增量表、回溯检验逐期结果与基线对比;错题归因清单与数据集改进需求单。
用例级记录的必填字段与 4.1 节一致,本场景的输入对象标识为物料编码加期次编号,或施工令号加测算轮次号。本场景的用例卡另加三项:所用快照的期次编号与可见数据范围;判定所用的第 N+k 期快照编号;以及该用例是否纳入对比基线的比较范围。
轮次级记录的必填字段:数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加四项:库存口径字典的确认版本号与适用期间;物料分类打标的版本与覆盖率;现行做法基线统计的冻结版本号;以及本轮的时间屏障实现方式与泄漏检验结果。泄漏检验未通过的轮次,其全部回溯类指标在报告中标注可信度受限,不作为验收依据。
场景报告按 4.3 节的九章体例出具,本场景填入的内容为:被验证能力清单与条目对照(十一项);数据就绪度结论(五套系统的授权与取数方式、口径字典确认情况、三组映射关系的建立情况、历史序列长度);验证资产说明(二十四期快照的期次结构、评级与成因标注的一致性度量、构造样本规模);执行情况(三批执行的版本登记、泄漏检验记录、见证记录);逐项判定结论,其中对比基线类的项须同时给出基线值、系统值与差值三栏;数据集贡献度结论(三组对照的能力增量表,并写明四品类预测、水位测算与求解三项不进对照及其理由);归因分析(口径类、预测类、建议类三类分列);可用性结论与档位说明(含金额类结论是否成立、余料套用能力所处档位);改进需求与优先级。报告另附现行做法的基线统计报告与双口径桥接规则。
版本关联按三元标识执行,本场景另绑两项:库存口径字典版本与快照期次编号。任一金额类结论须同时绑定口径字典版本,口径换版后历史结论保留其当时的口径版本,不作追溯改写;任一回溯类结论须绑定其所用的快照期次与判定期次,两者在报告中成对呈现。基线一经冻结不在验证过程中更新,基线的版本号与冻结时间进判据登记表的版本记录。
回溯检验与时间屏障这一套方法,在其余场景中有两处直接复用。热处理与焊接的参数寻优建议都要做回溯效果对比。若在历史某一时点按系统建议执行,结果与实际执行相比如何;这类对比同样会面临看到未来信息的风险,同样须以视图裁剪而非流程约定实现屏障,同样须做一次泄漏检验。健康诊断的规则离线回放也是一类回溯,其时间约束较松(规则判定不依赖未来数据),但基线冻结这一条同样适用:既有平台的历史判断结果一经提取即冻结,不在对比过程中更新。
对比基线的建立方法在四个场景通用。库存、热处理、焊接的参数寻优、健康诊断的规则效果,这四处都没有现成的绝对基线,判据都写成「不劣于现行做法并给出改善幅度」。四处的第一步工作都相同:把现行做法的水平按同一套指标口径统计出来并冻结。本场景在这一方法上投入最多,形成的基线统计体例供其余场景复用。
多方口径冲突的处理规则在本场景与选型场景同源,已在 2.2.2.15 节写明。库存侧的特殊性在于冲突涉及财务与生产管理两个部门的制度性口径差异,不是数据错误;因此处理方式不是择一,而是两个口径并行呈现加差额桥接。这一做法在其他涉及多部门口径的验证项上同样适用。
热处理是提升矿山装备关键零部件强度、硬度、耐磨性的核心工序,主要包括调质、退火、正火、回火等工艺,依赖淬火温度、冷却温度、保温时间等参数控制。招标文件指出当前依靠人工设定工艺、事后切片检测,存在工艺依赖经验、过程不可视、缺陷难以追溯三个问题;场景方向是通过采集淬火温度、冷却温度、质量检验结果等数据构建热处理高质量数据集,实现工艺参数优化、工艺智能匹配、质量智能分析,提升产品质量一致性、降低不良率、节约能耗。验证要求三条:工艺参数智能匹配、工艺参数优化,以及链轮齿轨刮板感应淬火及调质生产线的质量智能分析。
这个场景的验证设计建立在一个判断上:这里的真实瓶颈是数据关联,而不是模型能力。把现场情况摊开看就清楚。
链轮的热处理由两道工序构成,性质不同。预备热处理调质在周期式电阻炉上按炉次成批完成,终热处理感应淬火在链轮淬火机床上按件次逐件完成;两道各有独立的工艺要求与检验判据,而终工序的结果又受前道调质形成的原始组织制约。感应淬火按上料、升温、保温、淬火、冷却、下料六个工序推进。这意味着验证的对象单位有两个,炉次与件次,不能混用;而且分析一件链轮的最终硬度时,必须能回溯到它所在的调质炉次,否则前道影响这一项变量就进不了分析。
工艺参数本身不是自由变量。加热温度、淬火温度、保温时间、冷却时间与淬火次数均写在经正式编制、审核、批准的工艺卡与作业指导书中,可调余量仅限标准本身给出的范围;参数通过群控系统下发到设备,工序路线下发到经营系统。参数取值既已固定,质量波动的成因通常不落在参数选择上,而落在两类条件上:工艺曲线能否按要求执行,以及来料与前道状态是否落在工艺假设范围之内。招标文件的三条验证要求与这一判断是吻合的。第一条要的是「历史工艺智能检索、择优匹配推荐」,即在已有工艺中选,不是重新设计;第二条要的是「工艺参数区间智能寻优分析」,即在区间内优化;第三条要的是关联性分析与缺陷溯源,直指执行与条件两类变量。
设备侧的采集基础其实不错。淬火机床与中频电源的功率、频率、电流、电压,周期炉的程序号与段号、设定与实际温度、加热输出,多已接入物联网平台,采样周期通常为秒级;材料成分与理化试验由检测环节按批次化验并保存。缺的是把曲线绑定到具体零件所需的条件数据,具体有六项:每次的实际装载量、件间间隙、炉内位置、感应器对位间隙、本批材料成分与实物批次的对应关系,以及出炉到淬火的转移时序。这六项当前都无结构化记录,而它们恰恰是分析中最关键的自变量。同一段程序在不同设备、不同时期、不同装载条件下执行出的曲线并不相同;装载量与件间间隙的规范化已由建设单位完成并见效,但每次的实际值没有记录,就无法作为变量参与分析。
还有两处现场事实直接影响验证范围。一是报警记录:设备本体报警多在现场处置后即行复位,现有记录不足以还原某次处理的运行状态,因此「异常发生后是否被及时识别」这件事在历史数据上几乎无法回溯验证,只能在验证期内按前向方式记录。二是来料状态事前不可得:零件按批次流转,部分批次没有带料单,成分与理化结果保存在检测环节,开工时并不掌握本批成分;排查只能先出现硬度不合或开裂、再回头化验。这对开裂尤其不利,零件一旦开裂即为直接损失。参数补偿类能力的验证因此分两档:材料成分与实物批次的一对一关联建立之后,事前补偿才具备验证条件;未建立前只能做事后归因,这一点在判据中如实分档。
主要缺陷类型是收敛的。热处理的主要缺陷只有开裂、变形、硬度不足三类,招标文件在验证要求中点出的外观缺陷是烧伤与裂纹,硬度侧是硬度异常。缺陷类型少是好事。它意味着标签体系不必复杂,分层样本也容易组织;但也意味着开裂这类低频高损缺陷的自然样本很少,构造样本与定向检索的工作量会比较大。
招标文件三条验证要求展开为九项能力。
表 2-22 热处理过程智能监控场景被验证能力
| 编号 | 被验证能力 | 判据性质 | 层级 |
|---|---|---|---|
| X4-1 | 一炉一档与一件一档的对象绑定完整性 | 配对率,L1 前置 | L1/L2 |
| X4-2 | 工艺窗口解析与越窗判定 | 确定性核对 | L2 |
| X4-3 | 历史工艺智能检索(按目标链轮特征) | 统计性,检索命中 | L2 |
| X4-4 | 择优匹配推荐 | 统计性,配可解释率 | L2 |
| X4-5 | 工艺参数区间寻优分析 | 对比基线,窗口内硬约束 | L2/L3 |
| X4-6 | 外观缺陷(烧伤、裂纹)识别与判级 | 统计性,检出指标 | L2 |
| X4-7 | 硬度异常判定与同批不均定位 | 统计性,分档 | L2 |
| X4-8 | 缺陷与关键工艺参数的关联性分析 | 关联显著性 + 机理一致性 | L2 |
| X4-9 | 缺陷溯源与归因排序 | 统计性,主因命中率 | L2/L3 |
表 2-22 数据来源:招标文件逐条拆解。
X4-8 的判据性质需要在这里就说明,因为它是本场景最容易做错的一项。招标文件要求「开展外观缺陷、硬度异常与加热功率、加热温度、淬火液温度等关键工艺参数的关联性分析,明晰参数波动与质量问题的内在联系」。关联性分析在统计上不难做,难的是做出来的关联要站得住。热处理现场的混杂因素很多:同一时期可能同时换了材料批次、换了炉型、改了装载方式,这几件事都会和缺陷率同向变化,直接算相关系数会得到一堆似是而非的结论。因此本方案对这一项设两重判据:第一重是统计显著性,并要求在分层控制下成立。按牌号、炉型、工序类型分层,层内仍显著方计有效;第二重是机理一致性,关联的方向须与热处理的既有机理相符,方向相反的关联一律列为待查而不直接作为结论。两重都过的关联才进缺陷溯源的判据库。这一条写明,是为了方案在专家面前站得住。把相关当因果,是这类分析最常见也最致命的失手。
热处理现场的设备来自不同年代,控制装置、接口形式、字段含义与采样能力差异较大。本方案不要求设备控制系统一次性改造成同一种接口,而是按设备类别分别给出取数方式,并在合法授权范围内进行接口探测、协议识别与兼容性适配,形成可复用的适配模板;字段含义无法确认时生成待确认清单,由现场人员一次确认后沉淀为映射规则。
L1 的最小可用集是四项:一路可用的过程时序通道,至少含温度或功率与时间;正式工艺文件中的参数要求;工单与零件批次标识;硬度检验结果。四项齐备可跑通一次处理并给出可核对结论。其余为增量项,每补一类,对应能力由受限档升到完整档:材料成分与实物批次的一对一关联使事前参数补偿成立;测温与仪表计量校验记录使曲线类结论得以进入偏离判定与比较基线;装载量与炉内位置登记使同批硬度不均定位到具体位置。
L1 的核验重点有五项。
对象绑定是第一项,也是本场景的命门。要求建立一炉一档与一件一档两级档案,炉次档案以炉次号为主键,件次档案以件次标识为主键并关联其所属炉次。核验方式是取不少于三十个真实炉次做端到端追溯,确认每个炉次能找到它的工单、零件批次、材料批次、过程曲线段、检验结果与处置记录;件次级同样取不少于三十件。配对率按环节分别统计,曲线段与炉次的配对率、检验结果与件次的配对率、材料批次与零件批次的配对率,三项分开报,因为三项的缺口原因与补齐方式完全不同。
工艺文件的结构化是第二项。控制参数现以文字段落形式保存在工艺文件中,须解析为结构化的参数窗口,解析结果由工艺员在检查点确认。版本无法确认的,只存原始曲线并提示缺口,不进入越窗判定。用一个版本不明的窗口去判越窗,判出来的结论无法作为依据。
计量状态是第三项,这一项在其他场景没有对应,必须单列。测温与仪表计量记录包括有效加热区测定、温度测量系统精度校验与检测设备周期检定。未接入前标注计量状态未知;校验超期或偏差超限的批次,其曲线类结论自动降级为数据级,即只保留原始数据而不出判定结论。这一条是热处理分析的专业前提:一条来自未校验热电偶的温度曲线,看起来和正常曲线一样,但基于它做出的偏离判定没有意义。
材料侧是第四项。化学成分实测值、理化结论、供应来源与炉批须能与实物批次一对一关联;该牌号的淬透性带或随批末端淬火试验结果,不可得时退回按成分区间给风险方向并标注结论局限。含碳量是参数决策的起点,这一点决定了成分获取的手段选择:手持 X 射线荧光对碳这类轻元素无响应,手持激光诱导击穿光谱对碳的精度较低、只能用于牌号确认与混料分选,正式复核须以火花直读为准。方案在数据条件上写明这一区别,是为了避免把一个测不到碳的手段写成能支撑参数决策的条件。
历史回放的可用范围是第五项。采集平台的时序数据存在保存期限、若干年后覆盖,而生产与工单记录保存期更长,因此历史回放的可用范围受时序数据窗口约束,超出窗口的年份只能做工单与检验层面的统计。处置是在项目启动阶段先行导出一段完整的历史时序数据与对应检验记录用于回放验证,避免样本随保存周期流失。这一动作须尽早安排,它不可追补。
本场景的验证资产以炉次档案与件次档案为主体。
档案样本按三个维度分层:工序类型分调质与感应淬火两层;零件族按链轮、齿轨、刮板三类分层;质量结论按合格、硬度异常、外观缺陷、开裂四类分层。合计不少于四百个炉次档案与不少于六百个件次档案,其中缺陷类档案不少于一百五十件。缺陷类档案的组织是本场景的主要工作量:三类缺陷中开裂的自然样本最少,须从历史不合格票、返修票、报废票与质量分析报告中定向检索并逐例配对到数据段,配不上数据段的只作统计不进金标准集。
标注内容三项:质量判定(硬度实测值与外观缺陷类别及部位,其中检验结果类标签直接取客观实测值,不作主观标注);成因主因与次因;以及成因判定的依据。缺陷分类按三层组织。缺陷大类分外观、硬度、变形、组织四类,其下是缺陷类型,再其下是部位。成因标注由热处理工艺骨干与质量骨干各一名双人独立复核,主因一致率低于百分之七十二时返工并复核故障机理描述;无炉位信息的样本只作炉级标注并标明。
用例集分六组。窗口核对组用于 X4-2,取不少于三百个炉次与件次,逐段比对实际曲线与工艺窗口。检索匹配组用于 X4-3 与 X4-4,以目标链轮的特征(牌号、模数与齿数、齿面要求硬度、有效硬化层深度要求、几何尺寸)为输入,考察检索出的历史工艺是否可用。寻优组用于 X4-5,在历史窗口上做回溯对比。外观检测组用于 X4-6,按烧伤与裂纹两类分别组织图像样本。硬度组用于 X4-7。关联与溯源组用于 X4-8 与 X4-9。
构造样本不少于六十例,覆盖四类情形:计量超期批次(验证系统是否按规则自动降级而不是照常出结论)、曲线通道中途失效(验证是否识别为数据问题而非工艺异常)、材料成分越出工艺假设范围,以及同一炉次内硬度分布明显分层。这四类都是现场发生过、而处理方式容易出错的情形。
本场景的验证智能体把一次处理的分析拆成六步:工艺窗口解析与确认、材料批次核对、装炉与工位条件登记校验、过程曲线分段与越窗判定、检验结果回填与归因排序,以及参数区间寻优建议。
分工上,确定性成分占主导。工艺窗口校验以正式工艺文件为唯一依据,对温度、时间、速率、淬火次数与介质条件作确定性核对;曲线分段、速率与过冲计算、恒温段偏差带统计、可比批次基线比较都是算法明确的计算;异常判级按三级规则判定,并做同源合并与重复抑制:同一次劣化会在温度、功率、介质几个通道上形成多条并行报警,不合并则岗位看到的是一堆重复条目。模型承担四件事:从工艺文件的文字段落中抽取参数窗口;在历史工艺检索中做特征相似度匹配与排序;在归因中给出候选成因与排序;以及把一次炉次的分析结论组织成可读的监督卡。外观缺陷识别由专用视觉模型承担,依托大模型预标注与主动学习标注两类工具链组织标注。
介质侧的条件判定要单独说一句,它是本场景专业性的一个落点。淬火液浓度是聚合物类淬火液冷却曲线的主导变量,因而是这类介质下硬度不足的第一判据;而对非聚合物类介质,浓度这一变量不适用。因此验证台在介质相关的判据上按线体的介质类型分支,不做统一处理;线体的介质类型以甲方确认为准。同理,介质温度越限指向的是冷却能力不足这一可处置对象,而不是笼统的「工艺异常」,归因要给到可处置的对象上,这是归因有用的前提。
人审检查点设两处:工艺窗口解析确认后、归因结论成文前。第一处是因为窗口解析错了全盘皆错;第二处是因为归因结论要进质量分析流程,必须由工艺与质量岗位认过。
六步之中,三步设步级判据。
工艺窗口解析这一步的判据是解析正确率与版本绑定正确率,与 X4-2 共用前者。版本绑定单列的理由与选型场景同类:用一个版本不明的窗口去判越窗,判出来的结论无法作为依据。
曲线分段与越窗判定这一步的判据除一致性之外,另立一项「计量前置检查的执行率」,即在出具曲线类结论之前,是否检查了该批次的计量状态并按规则降级。这一项用构造样本检验:投放一个计量超期批次,看系统是否自动把结论降为数据级。执行率的基线写成全量,漏一次即判该项不通过,因为这一规则一旦可被绕过,全部曲线类结论的可信度都要打折。
归因排序这一步的判据是主因命中率与证据字段完整率。证据字段完整率这一项要求归因结论必须附带具体证据:哪一段曲线、哪一项条件数据、哪一条机理判据,三者缺一不算完整。这一项的用处在观察期内会显现:带证据的归因岗位会去核,不带证据的归因岗位只会扫一眼。
工具调用正确性在本场景的落点是确定性核对与模型推断的边界:工艺窗口的核对、速率与过冲的计算、恒温段偏差带的统计都应由确定性组件完成,由模型给出的次数为零。
举一个链轮感应淬火的件次档案为例,该件最终检出齿面硬度偏低。
第一步工艺窗口解析。从正式工艺文件中抽取该牌号该规格的加热温度、保温时间、淬火介质与温度、冷却时间与淬火次数的要求值与允差,并绑定工艺卡版本。本例的工艺文件中参数以文字段落表述,解析结果须经工艺员在检查点确认。
第二步材料批次核对。查该件所属零件批次的化学成分实测值与理化结论。本例若该批次无带料单、成分不可得,这一步的结果是出一条成分缺口记录并提示按标准中值参数执行;相应地,事前参数补偿这一能力在本例上不具备验证条件,该用例在 X4-5 的分母中剔除并说明。这是分档如实标注的一个具体例子。
第三步装炉与工位条件校验。查该件的前道调质炉次、炉内位置、感应器对位间隙。本例若炉位无登记,位置类结论只能到炉次级,同批硬度不均的定位判据在本例上不起算。
第四步曲线分段与越窗判定。先做计量前置检查:该批次的测温系统精度校验是否在有效期内。本例假定校验有效,则进入判定;分段后比对恒温段的实际温度与窗口、升温速率与过冲、冷却段的介质温度。若发现恒温段实际温度在窗口下限附近持续一段时间,这一事实即为一条候选证据。判据是越窗判定与人工复核的一致性。
第五步检验结果回填与归因排序。该件的硬度实测值低于下限,归因须在候选成因中排序。本例的候选有四条:恒温段温度偏低(有曲线证据)、介质温度偏高导致冷却能力不足(须看介质温度记录是否可得)、材料成分偏离工艺假设(本例成分不可得,列为未排除),以及感应器对位间隙偏大(本例无记录,列为未排除)。排序结果与质量骨干的判定比对,给主因命中率与前两位命中率。这里的关键是证据字段完整率:系统给出的主因须附带具体证据,哪一段曲线、哪一项条件数据、哪一条机理判据;本例中「恒温段实际温度低于窗口下限十二分钟」就是一条合格的证据,而「加热不足」不是。
第六步参数区间寻优。本例的寻优建议须落在正式工艺窗口内,越窗建议数判据为零。建议的效果按回溯方式检验,口径见 2.5.2.10 节。
这条用例还说明了条件数据消融实验的意义:本例的四条候选成因中有两条因缺记录而无法排除,归因只能停在「恒温段温度偏低为最可能主因」。若装载条件与成分关联补齐,这两条可被排除或确认,归因的确定性随之提高。2.5.2.11 节的消融实验正是用数据量化这一提高的幅度。
2-6 热处理场景的一炉一档结构与分析层级
图 2-6 热处理场景的一炉一档结构与分析层级。数据来源:招标文件;两道工序与缺陷类型依甲方现行热处理工艺组织方式。
热处理场景的来源数据一栏要先回答一个前置问题:数据能不能配上对象。炉次号、件次标识、工单、零件批次、材料批次、过程曲线段、检验结果、处置记录八类内容分散在不同系统与不同年代的设备上,配不上对就谈不上分析,因此 X4-1 的样本结构写成按曲线与炉次、检验与件次、材料批次与零件批次三项分别统计,三项的缺口原因与补齐方式各不相同,合并成一个配对率会把问题藏起来。
档案规模的取值来由是缺陷类样本的自然稀缺:三类缺陷中开裂的发生次数最少,六百个件次档案中缺陷类不少于一百五十件这一下限,是按定向检索加逐例配对所能达到的产出估算的,配不上数据段的样本只作统计、不进金标准集。表中 X4-8 一行须单独看,它的基准答案栏写明无参考答案,判据改由分层控制下的统计显著性加机理方向一致性两重构成——这一行支撑的是关联分析的结论不被当作因果使用这项承诺。
表 2-23 热处理过程智能监控逐项验证的数据、样本与基准答案
| 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 |
|---|---|---|---|---|
| X4-1 对象绑定完整性 | 炉次号、件次标识、工单、零件批次、材料批次、过程曲线段、检验结果、处置记录 | 炉次不少于 30 个、件次不少于 30 件做端到端追溯;配对率按曲线与炉次、检验与件次、材料批次与零件批次三项分别统计 | 各环节的实际记录是否存在且可对应,为客观判定 | 追溯查询在档案结构上执行;L1 前置项,不设对照组 |
| X4-2 工艺窗口解析与越窗判定 | 经正式编制、审核、批准的工艺卡与作业指导书;过程时序通道 | 窗口核对组不少于 300 个炉次与件次,逐段比对实际曲线与窗口 | 工艺文件中的参数要求值与允差为客观答案;解析结果由工艺员在检查点确认 | 文本抽取用模型、窗口核对用确定性组件;解析项进三组对照,核对项不进 |
| X4-3 历史工艺智能检索 | 历史炉次与件次档案;链轮特征(牌号、模数与齿数、齿面硬度要求、有效硬化层深度、几何尺寸) | 检索任务不少于 150 个,按零件族三类与工序类型两类交叉 | 工艺骨干判定的可用历史工艺集合,前五位命中为度量 | 特征相似度匹配加沙箱;三组对照 |
| X4-4 择优匹配推荐 | 同 X4-3;设备可用性与排产信息 | 同检索任务集 | 骨干的择优选择;因含设备可用性与排产因素,一致率之外并列差异说明 | 沙箱排序题型;三组对照 |
| X4-5 工艺参数区间寻优 | 历史炉次与件次档案;正式工艺窗口;硬度实测与不良率记录 | 按零件族分组做回溯对比,覆盖调质与感应淬火两道工序 | 对比基线:现行取值在同一历史窗口上的硬度离散度与不良率,统计后冻结 | 寻优计算加回溯检验;本项不做微调对照 |
| X4-6 外观缺陷识别与判级 | 烧伤与裂纹的图像样本;采集条件记录(取景距离、光照、是否清渣) | 缺陷类档案不少于 150 件;烧伤与裂纹两类分别组织图像样本 | 缺陷类别与部位,工艺与质量骨干双人独立标注,边界模糊样本单列 | 专用视觉模型;按标注样本量做学习曲线,不做微调配比消融 |
| X4-7 硬度异常判定与同批不均定位 | 硬度检验实测值;取点位置约定;装炉位置登记 | 件次档案不少于 600 个,其中缺陷类不少于 150 件 | 检验实测值为客观答案,不作主观标注;位置类结论以炉位登记为准 | 规则判定;位置定位按 A 档与 B 档分列;三组对照仅用于归因叙述 |
| X4-8 缺陷与参数关联性分析 | 加热功率、加热温度、淬火液温度等关键参数;材料成分、装载条件、转移时序三类条件变量;缺陷记录 | 按牌号、炉型、工序类型分层,层内分别计算 | 无参考答案,判据为分层控制下的统计显著性加机理方向一致性,结论经甲方工艺部门确认 | 统计分析加机理判据库;不做模型对照 |
| X4-9 缺陷溯源与归因排序 | 缺陷件的曲线段、条件数据、检验结果、处置记录;故障机理知识 | 缺陷件全集,按三类缺陷分层 | 质量骨干的主因与次因判定及其依据,双人独立复核 | 机理规则给候选、模型排序;三组对照,并另做条件数据消融 |
表 2-23 数据来源:能力编号与标书依据见表 2-22;档案分层与构造样本见 2.5.2.3 节;关联分析的双重判据见 2.5.2.1 节。
热处理场景的指标公式里有两类数,混读会误判:比率用于度量能力水平,绝对数用于设硬约束。X4-4 的越窗推荐条数与 X4-5 的越窗建议条数都按绝对数计,取值只要不为零即判该轮不通过。这样设的理由是工艺窗口由经正式编制、审核、批准的工艺文件给出,它不是一项可以用平均水平换取的指标,一条越窗建议进了现场就是一次质量事故。
「招标门槛与原文前提」一栏照录招标文件相应条款的原文要求,各条均未设数值门槛,其中相应条款的寻优要求自带在区间内优化这一前提,一并照录。后两栏的闭环路径按归因顺序排列,顺序本身就是信息:X4-9 把条件变量是否齐备排在样本是否充足之前,变量缺失时先转数据补录,不急于判定模型能力不足;X4-8 写明被否掉的关联进待查清单而不悄悄删除,留痕是关联分析结论可被追问的前提。
表 2-24 热处理过程智能监控逐项验证的指标公式与闭环责任
| 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 |
|---|---|---|---|---|
| X4-1 | 三项分别计:可配对炉次数 ÷ 炉次数、可配对件次数 ÷ 件次数、可配对批次数 ÷ 批次数 | 招标文件相应条款要求构建热处理高质量数据集以支撑三类分析,未对配对率设数值门槛 | 工艺与质量骨干核对追溯链是否完整 | 未配对项列原因(通道缺失、时间基准偏移、带料单缺失);按原因分别补采或补录,复测取相同炉次重跑 |
| X4-2 | 解析正确参数项数 ÷ 参数项数;越窗判定与人工复核一致的炉次与件次数 ÷ 参与判定数 | 招标文件相应条款要求实现工艺智能匹配与过程可视,未设数值门槛 | 工艺员在检查点确认解析结果与版本绑定 | 解析失败项由工艺员补录并回流样本;判定不一致的先核窗口版本,版本不明的只存原始曲线不作判定 |
| X4-3 | 相似工艺在前五位命中的检索任务数 ÷ 检索任务数 | 招标文件相应条款要求历史工艺智能检索,未设数值门槛 | 骨干判定检索结果是否可用 | 未命中项核查特征维度完整性;缺特征的补档案字段后复测该零件族 |
| X4-4 | 与骨干择优一致的任务数 ÷ 任务数;推荐参数越出正式工艺窗口的条数(绝对数) | 招标文件相应条款要求择优匹配推荐,未设数值门槛 | 骨干核对差异说明是否指得出设备与排产因素 | 不一致项给差异说明;越窗推荐出现即判该轮不通过,补窗口约束后重跑全部推荐任务 |
| X4-5 | 对比基线:按零件族计,建议取值下的硬度离散度与不良率对冻结基线的差值;越窗建议条数(绝对数) | 招标文件相应条款要求工艺参数区间智能寻优分析,原文前提是在区间内优化,未设数值门槛 | 工艺部门核对建议是否落在正式窗口内 | 劣于现行取值的逐项归因;越窗建议出现即判不通过;观察期内只记录建议与岗位判断,不触发参数变更 |
| X4-6 | 两类分别计:检出缺陷实例数 ÷ 缺陷实例数;误检图像数 ÷ 图像数 | 招标文件相应条款要求外观缺陷(烧伤、裂纹)识别,未设数值门槛 | 质量骨干复核漏检与误检样本 | 漏检逐例归因并补样本;按学习曲线判断补样本是否仍有收益,曲线已趋平而仍低于基线的按可预测性受限出专项说明 |
| X4-7 | 与检验结论一致的件次数 ÷ 件次数;A 档炉次的位置定位正确数 ÷ A 档炉次数 | 招标文件相应条款要求硬度异常判定,未设数值门槛 | 质量骨干核对取点位置约定是否一致 | 不一致项核查取点位置;B 档炉次不出位置结论,炉位登记补齐后升档并复测 |
| X4-8 | 分层控制下统计显著且机理方向一致的关联条数(绝对数);经工艺部门确认可用的条数 ÷ 关联条数 | 招标文件相应条款要求关联性分析并明晰参数波动与质量问题的内在联系,未设数值门槛 | 甲方工艺部门逐条确认关联是否可用 | 被否掉的关联在各层内重新计算,若某一层贡献全部显著性则重述适用范围或撤回;撤回的关联进待查清单,不悄悄删除 |
| X4-9 | 主因命中的缺陷件数 ÷ 缺陷件数;前两位命中数 ÷ 缺陷件数;证据字段完整的结论数 ÷ 结论数 | 招标文件相应条款要求缺陷溯源,未设数值门槛 | 质量骨干按判定依据核对归因证据 | 先看条件变量齐不齐,缺变量的直接转数据补录需求;变量齐备的核机理描述覆盖;两项正常才转样本不足并复测该类缺陷 |
表 2-24 数据来源:招标门槛一栏照录招标文件原文要求;指标数值见表 2-26;条件数据消融见 2.5.2.11 节。
热处理场景的异常用例集中在一件事上:结论的前提是否被系统自己检查过。四类构造情形都针对现场发生过而处理方式容易出错的状况——计量超期批次、曲线通道中途失效、材料成分越出工艺假设范围、同一炉次内硬度分布明显分层。以第一类为例,一条来自校验超期热电偶的温度曲线,看上去与正常曲线毫无分别,基于它做出的越窗判定却没有意义;用例要验证的正是系统会不会按规则把这一批次的曲线类结论自动降为数据级。
三列的分工在本场景格外清楚。正常用例一列对应记录齐备、工艺文件版本明确的常规炉次与件次;边界用例一列集中在判定取舍的方向上,X4-2 行的恒温段实际温度恰在窗口下限、X4-7 行的硬度实测值落在下限附近都属此类,它检验的是判据写得是否足够明确;异常用例一列的期望输出一律是标注缺口或停止出结论,X4-9 行写明归因须停在可支撑的层级并标明,即为此意。三类分别统计,异常类不混入主指标分母。
表 2-25 热处理过程智能监控的三类用例
| 能力 | 正常用例 | 边界用例 | 异常用例 |
|---|---|---|---|
| X4-1 | 记录齐备的调质炉次,六类内容均可追溯 | 一个炉次跨班次完成,曲线段须按炉次合并而非拆为两档 | 零件批次无带料单,材料侧须记为缺口而非留空 |
| X4-2 | 窗口版本明确的炉次,逐段比对 | 恒温段实际温度恰在窗口下限,检验判定取舍方向 | 工艺文件版本不可确认,须只存原始曲线并提示缺口 |
| X4-3 | 常规链轮特征检索历史工艺 | 该规格为首次生产,近邻特征差距较大 | 特征字段缺模数或硬化层深度,须提示缺项而非按缺省检索 |
| X4-4 | 多套可用历史工艺中择优 | 两套工艺评分接近,检验差异说明 | 推荐参数越出正式工艺窗口,须被窗口约束拦截 |
| X4-5 | 某零件族在历史窗口上的区间寻优 | 建议取值贴近窗口边界 | 建议越出工艺窗口,须判该轮不通过 |
| X4-6 | 清晰取景的烧伤与裂纹图像 | 细微裂纹,须结合磁粉检测结论确认 | 未清渣或光照不足的图像,须标注采集条件受限 |
| X4-7 | 硬度实测齐备的件次判定 | 实测值落在下限附近 | 炉位无登记,同批不均定位不起算并如实标注 |
| X4-8 | 分层后仍显著的参数与缺陷关联 | 某层样本量偏小,须给出适用范围限定 | 关联方向与机理相反,须列为待查而非作为结论 |
| X4-9 | 条件变量齐备的缺陷件归因 | 两条候选成因证据相当,检验前两位命中 | 四条候选中两条因缺记录无法排除,归因须停在可支撑的层级并标明 |
表 2-25 数据来源:用例组划分与构造样本的四类情形见 2.5.2.3 节。
表 2-26 热处理过程智能监控场景的验证指标
| 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 |
|---|---|---|---|---|
| X4-1 | 曲线段与炉次配对率,按炉次 | ≥90% | ≥96% | 未配对炉次列原因(通道缺失、时间基准偏移等) |
| X4-1 | 检验结果与件次配对率,按件次 | ≥85% | ≥95% | 硬度计联机后复测 |
| X4-1 | 材料批次与零件批次配对率,按批次 | 首轮如实统计并报告缺口,带料单缺失批次单列 | ≥80% | 缺口批次只出成分缺口清单 |
| X4-2 | 工艺窗口解析正确率,按参数项 | ≥95%,经工艺员确认 | 趋向全量 | 解析失败项由工艺员补录并回流样本 |
| X4-2 | 越窗判定一致性,按炉次与件次 | 与人工复核结论一致率 ≥98% | 趋向全量 | 不一致项逐例复核窗口版本 |
| X4-3 | 历史工艺检索命中率,按检索任务 | 相似工艺在前五位命中 ≥85% | ≥92% | 未命中项核查特征维度完整性 |
| X4-4 | 择优推荐与骨干择优一致率,按任务 | ≥65% | ≥75% | 不一致项须给出差异说明 |
| X4-4 | 推荐的窗口合规性,按推荐项 | 推荐参数越出正式工艺窗口的条数为零 | 保持 | 出现即判该轮不通过 |
| X4-5 | 寻优建议的回溯效果,按零件族 | 在历史窗口上不劣于现行取值;并给出硬度离散度与不良率两项的改善幅度 | 两项均有可测量改善 | 劣于现行取值的逐项归因 |
| X4-5 | 寻优建议的窗口内硬约束 | 建议一律落在正式工艺窗口内,越窗建议数为零 | 保持 | 出现即判不通过 |
| X4-6 | 烧伤与裂纹检出率,按缺陷实例,两类分别统计 | 烧伤 ≥90%;裂纹 ≥85% | 烧伤 ≥95%;裂纹 ≥92% | 漏检逐例归因并补样本 |
| X4-6 | 外观误检率,按图像 | ≤10% | ≤6% | 误检归因并调整判级门限 |
| X4-7 | 硬度异常判定一致性,按件次 | 与检验结论一致率 ≥97% | 趋向全量 | 不一致项核查取点位置约定 |
| X4-7 | 同批硬度不均的位置定位准确率,按炉次 | A 档炉次 ≥75%;B 档炉次不出位置结论 | A 档 ≥85% | 位置登记补齐后复测 |
| X4-8 | 关联结论的有效条数,按参数—缺陷对 | 在分层控制下统计显著且机理方向一致的关联不少于十对,逐对给出证据与适用范围 | 不少于十八对 | 方向相反的关联列为待查,不作结论 |
| X4-8 | 关联结论的经工艺确认率,按条 | ≥85% 经甲方工艺部门确认可用 | ≥92% | 未确认条目列入待查清单 |
| X4-9 | 缺陷溯源主因命中率,按缺陷件 | ≥70% | ≥80% | 未命中项复核机理描述与变量完整性 |
| X4-9 | 缺陷溯源前两位命中率,按缺陷件 | ≥85% | ≥92% | 同上 |
表 2-26 数据来源:指标项对应招标文件;阈值为我方按数据条件设定的承诺口径,最终随蓝图设计确认。
三处阈值的取法说明如下。择优推荐的一致率定在百分之六十五,低于选型场景的排序一致率,原因是热处理的择优本身存在合理的不同选择,同一链轮特征下有多套历史工艺都能满足要求,骨干的选择带有设备可用性与排产因素。因此这一项的配套要求是差异说明,而不是把一致率往上压。
裂纹检出率低于烧伤十个百分点,依据是两类缺陷的可见性差异:烧伤在表面有明显的颜色与形貌变化,裂纹特别是细微裂纹在常规图像上特征弱,常需结合磁粉检测才能确认。把两类定成同一个数,等于忽略这个物理差别。
关联结论用「有效条数」而不用准确率,是因为关联分析的产出是结论集而不是预测。十对与十八对这两个数的依据是三类缺陷与招标文件所列三类关键参数(加热功率、加热温度、淬火液温度)的组合空间,再加上介质、装载与转移三类条件变量;在分层控制下能稳定成立的关联不会太多,报一个大数反而说明分层没做。
硬度异常判定一致率定在百分之九十七,高于本场景其余判定类指标,其依据与测法在此写明。这一项比的是两个确定性结论——硬度实测值是否落在正式工艺要求的区间内——判定规则本身没有解释空间,不一致只可能来自取点位置约定或工艺文件版本的不一致,因此容得下较高的门限。统计单位是件次:以检验实测值与正式工艺要求的对照结论为客观答案,系统判定与检验结论逐件比对,一致件次数除以参与比对的件次数。样本取 2.5.2.7 节所列件次档案的全部不少于六百个,其中缺陷类不少于一百五十件,全量比对不抽样;取点位置约定不一致的件次在比对前先行对齐,对齐不了的剔除并记录剔除比例,以免把取点差异计成判定错误。判定频次为首轮验证一次测定,此后每遇正式工艺文件换版或硬度计量器具重新检定,对受影响批次重测并加测回归子集。首轮未达基线的,不一致件次逐件核查取点位置约定与所用工艺文件版本:属约定不一致的提请甲方质量部门书面统一后重测,属版本错配的回流工艺窗口解析环节;观察期内趋向全部件次与检验结论一致。
本场景做四组对照中的三组加一组专项,专项是外观检测的学习曲线。
语言类能力的三组对照,题集取自场景基准题集中的工艺检索、归因排序与监督卡成文三类题型,不少于一百二十题,全部来自真实炉次档案与质量分析报告,不含合成数据。基座裸测组在归因题上的预期表现是能说出热处理的通识成因(「冷却速度不足导致硬度不足」这一类),但给不出本企业特定炉型与介质条件下的判据顺序。检索增强组接入工艺文件库、故障机理知识与历史质量分析报告,预期在成因候选完整性上提升明显。数据集适配组使用以本场景指令微调子集训练的模型版本,重点看主因命中率与归因证据的具体程度,归因写成「参数波动」没有用,写成「该炉次恒温段实际温度低于窗口下限十二分钟,同期介质温度高于标定值」才有用,这一点以证据字段完整率度量。
外观检测走专项路径,不做微调配比的消融,而做标注样本量的学习曲线。做法是按两成、五成、八成与全部样本四档标注样本量分别训练并评测,画出检出率随样本量的变化曲线。这项实验有两个用处:一是判断当前标注量是否已接近收益递减区,若曲线已趋平而检出率仍低于基线,按 2.1.10 节判定为可预测性受限并出专项说明;二是为裂纹这类稀缺样本的补充量提供依据,需要补多少才有意义,看曲线比凭经验估准得多。
另外做一组条件数据的消融,这一组是本场景特有的,也是最能说明数据价值的一组。做法是在关联分析与归因中分别抽掉三类条件变量:材料成分、装载条件(装载量与炉位)、转移时序,各抽一次,看主因命中率下降多少。这组实验直接回答一个甲方关心的问题:那几项当前无记录、需要增设登记入口的数据,到底值不值得补。若抽掉装载条件后命中率下降明显,装炉位置登记这项流程改造就有了量化依据;若下降不明显,说明优先级可以后排。把这个判断交给数据而不是交给主张,是本方案在这一场景上的一个具体做法。
本场景的归因有三类高频情形。
曲线类结论可疑。排查顺序是先核计量状态,校验超期或偏差超限的批次,其曲线结论本应自动降级,若未降级说明规则未生效,这是实现侧问题;计量状态正常的,核时间基准是否对齐,多设备多通道的时间偏移会把一段正常曲线算成过冲;两项都正常的,才看分段算法。
归因不命中。排查顺序是先看该缺陷件的条件变量齐不齐,六项条件数据缺几项,归因的搜索空间就少几维,不命中多半是变量缺失而非模型不行,这一类直接转数据补录需求;变量齐备而仍不命中的,核机理描述的覆盖:故障机理知识是判据、测点与标注的共同依据,描述不覆盖该情形时归因无从展开;两项都正常的,才转样本不足。
关联结论被工艺部门否掉。这一类要认真对待,它往往说明分层控制做得不够。排查方式是把该关联在各层内重新计算一遍,看是否某一层贡献了全部显著性。若是,则原结论混进了层间差异,须重述适用范围或撤回。撤回的关联也进报告,列在待查清单里,不悄悄删掉。
本场景分三批执行。第一批是窗口核对组与检索匹配组,前置条件是工艺文件结构化完成并经工艺员确认、计量记录接入。第二批是硬度组、外观检测组与关联溯源组,前置条件是硬度计联机、外观图像样本按两类组织完成、材料成分与实物批次关联的首批建立。第三批是寻优组,并进入观察期;寻优建议涉及工艺参数,观察期内只记录建议与岗位判断,不触发任何参数变更,参数的签发变更不在本包范围。观察期取不少于两个月,期内覆盖炉次不少于一百二十个。
交付物九项:场景验证方案;数据就绪度核验报告与缺口清单,含三项配对率的分项统计;一炉一档与一件一档的档案结构定义;工艺窗口结构化成果与版本登记;冻结版金标准集与用例集,含缺陷分类体系、成因标注规范与仲裁记录;验证执行记录与见证签认档案;场景验证报告,含三组对照的能力增量表、外观检测学习曲线、条件数据消融结论与关联结论清单(含适用范围与待查项);条件数据补录的优先级建议(基于消融结论);错题归因清单与数据集改进需求单。
用例级记录的必填字段与 4.1 节一致,本场景的输入对象标识为炉次号或件次标识,件次须同时记录其所属调质炉次。本场景的用例卡另加四项:该批次的计量状态(测温与仪表校验是否在有效期内);所用曲线段的通道清单与时间区间;材料成分的可得性;以及本例所处的分析档位(A 完整、B 受限、C 只做管理)。计量状态未知或超期的用例,其曲线类结论在卡上直接标注为数据级。
轮次级记录的必填字段:数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加三项:工艺文件结构化成果的版本号与适用牌号炉型范围;故障机理描述的受控文件版本;以及本轮所用历史时序数据的导出批次与实际可用窗口长度。时序数据受采集平台保存期限约束,实际窗口长度须如实记录,不以计划窗口代替。
场景报告按 4.3 节的九章体例出具,本场景填入的内容为:被验证能力清单与条目对照(九项);数据就绪度结论(三项配对率的分项统计、计量状态接入情况、材料侧关联建立情况、历史回放可用范围);验证资产说明(炉次与件次档案的三维分层、成因标注一致性、缺陷类档案的定向检索与配对情况);执行情况(三批执行的版本登记与见证记录);逐项判定结论,分析层级分档的项须在结论句中标明档位;数据集贡献度结论(三组对照的能力增量表、外观检测学习曲线、条件数据消融结论);归因分析(曲线类、归因类、关联类三类分列);可用性结论与档位说明;改进需求与优先级。报告另附一炉一档与一件一档的档案结构定义、关联结论清单(含适用范围与待查项),以及条件数据补录的优先级建议。
版本关联按三元标识执行,本场景另绑两项:工艺卡与作业指导书的版本号、计量校验记录的有效期区间。任一越窗判定结论须绑定其所依据的工艺窗口版本,版本换版后旧结论保留其当时的窗口版本;任一曲线类结论须绑定计量状态,计量状态不满足的结论自动降为数据级并在档案中标注降级原因。寻优建议另绑零件族标识与基线冻结版本号。
一炉一档这一档案组卷方法,在焊接与健康诊断两个场景有直接对应。焊接的焊道档案、健康诊断的故障事件档案,与本场景的炉次档案是同一类东西:把条件侧、执行侧与结果侧的事实按一个确定的对象标识组卷,使分析有可复核的依据。三处的组卷完整性判据都按内容类别分项统计,缺哪一类分别记录,这份记录直接指向数据补齐的优先顺序。
计量状态前置检查这一做法,在焊接场景同样适用。焊接的温度测量、几何测量同样依赖计量有效的器具,校验超期的器具所得读数不应进入判定;本场景把这一规则写成步级判据并要求执行率全量,焊接按同一体例执行。这一做法的价值在于它把一类隐蔽错误变成了可拦截的错误,未校验器具的读数在数值上看不出异常。
关联分析的双重判据,即分层控制下的统计显著性加机理方向一致性,在焊接场景的参数与缺陷关联分析上直接复用。两个场景的混杂因素结构类似:同一时期可能同时换了材料批次、换了设备、改了工艺,几件事都与缺陷率同向变化。分层控制的维度不同(本场景按牌号、炉型、工序,焊接按板厚、材质、焊道类型),方法相同。
证据字段完整率这一判据在六个场景通用。归因结论须附带具体证据:哪一段数据、哪一项条件、哪一条机理判据,三者缺一不算完整。这一判据的实际作用在观察期内显现:带证据的结论岗位会去核,不带证据的结论岗位只会扫一眼。
焊接是刮板运输机、减速机、机架等核心装备制造的关键成型工艺,焊接质量直接决定设备强度与使用寿命。招标文件写明现状:企业现有十五台发那科焊接机器人,已通过 SCADA 系统采集电流、电压、温度、速度等过程参数,但当前数据利用仅停留在参数记录和简单阈值报警层面。场景以「多源数据融合+视觉 AI 检测」为核心,在焊接作业过程中实时采集电流、电压、焊接速度等时序参数,同步通过视觉相机监测熔池状态并对焊缝图像进行缺陷检测;质量评估须综合时序参数与视觉数据,判断是否触发预警并决策是否干预参数;工艺参数优化须基于历史数据挖掘最优参数组合,为不同工况提供参数推荐;质量追溯须将参数、视觉数据与检测结果一一关联,形成「采集—监测—评估—优化—追溯」的体系。
这个场景在六个场景中技术要素最密,验证设计上有六处判断。
第一处是对象单位。焊接的对象不是「工件」这一级,而是四级对象树:工件、焊缝、焊层、焊道。厚板部位采用多层多道焊,同一条焊缝按坡口尺寸常需焊接四道、分两至三层完成。这四级关系决定了一切:参数要绑到焊道,视觉要绑到焊道,检测结果也要能落到焊道。而现状是已采集的过程参数与工件、焊道均未建立对应关系,人工清点不具备可行性,一件大型单部件的短焊缝可达数百条,靠人去标注哪段参数属于哪条焊道,不是工作量问题而是不可行。因此焊道边界的自动锚定是本场景 L1 的第一道关口,不过这一关,后面的一一关联无从谈起。
第二处是两条生产组织路线差异极大,验证须分列。中部槽以批量件方式组织,单批约一百至一百五十件,以长直焊缝为主,按批抽检;大型单部件以人工焊为主,工件重量从一吨到三十三吨、最长约八点八米、筋板位置各异,逐件交检。前者参数稳定、样本同质,适合做参数窗口与过程偏差的统计;后者每件都不同,适合做追溯与档案完整性的验证。把两条路线合起来统计任何指标都没有意义。更要紧的是采集能力的差别:机器人工作站可采焊接速度、焊枪摆动振幅与频率、停留时间与各轴角度,手工半自动焊机与专机只能采电流、电压、送丝速度与气体流量,而人工焊工位当前没有过程采集。招标文件的八类采集项在三类工位上的可得性完全不同,验证按工位类型分档。
第三处是检测结果的位置口径,这是本场景最现实的难题。外观检查、超声探伤与磁粉检测分处三个环节、由三拨人在三个时点完成,三份结果各记各的位置口径;探伤结果只给出大致尺寸与深度,报告以纸质为主、不进入信息系统,也不落到焊缝里程与层号道号。这意味着缺陷谱难以成形的原因不在分析方法,而在三份结果拼不到同一条焊道上。本方案把位置口径的统一列为 L1 硬前置,并把「检测结果能否落到焊缝里程与焊层」作为分档条件:带编码器的相控阵设备能给出里程,普通手工超声只能给区域;前者支持参数与缺陷的关联分析,后者只支持区域级的档案关联。两档的指标口径不同,在判据中分列。
第四处是样本的系统性偏差,这一点必须在方案里说清,否则指标会被高估。正式缺陷记录只来自交检开票,而过程巡检发现的问题多在现场即行处置、少有记录。这造成两件事:缺陷样本既稀少,又偏向「没被现场处置掉的那些」。也就是说,历史缺陷样本不是焊接缺陷的随机抽样,而是经过一次人工筛选后的残留。用这样的样本训练与评测,指标会系统性偏离真实情况。处置办法有两条:在验证期内按前向方式补记过程偏差事实,由越窗判定与预设值核对自动留痕,不依赖人工记录;以及在验证报告中明确标注历史样本的偏差性质与其对指标的影响方向,不把它藏起来。
第五处是预设值。焊机预设值与工艺卡片区间没有比对环节,预设值一旦输错,则后续全部参数分析都建立在错误基准上。这一条看着简单,实际上是本场景最高性价比的验证项。它只需要能读到预设值并与结构化后的参数窗口比对,不需要任何模型,却能在起弧前拦住一类系统性错误。因此本方案把它单列为一项能力,并放在第一批执行。
第六处是边界。招标文件第三条要求验证「判断是否触发预警并决策是否干预调整参数」。本包只做验证,不做干预:验证台对干预决策只给出结论并记录,不向焊机、机器人或产线控制系统写入任何参数。验证的落点是决策结论与事后事实的一致性,系统判定应当干预的焊道,事后检测是否确实出了问题;系统判定无需干预的,事后是否确实合格。这一口径在 2.6.2.10 节的判据中体现为预警的召回与误报,以及干预建议与事后结论的一致率。
招标文件六条验证要求展开为十三项能力。
表 2-27 焊接过程控制智能监控场景被验证能力
| 编号 | 被验证能力 | 判据性质 | 层级 |
|---|---|---|---|
| X5-1 | 四级对象树与焊道边界锚定 | 配对率,L1 前置 | L1/L2 |
| X5-2 | 时序参数采集完整性(八类参数) | 覆盖率与采样率 | L1/L2 |
| X5-3 | 焊道类型识别(打底/填充/盖面) | 统计性 | L2 |
| X5-4 | 参数窗口结构化与越窗判定 | 确定性核对 | L2 |
| X5-5 | 焊机预设值与工艺卡区间一致性核对 | 确定性核对 | L2 |
| X5-6 | 温度类参数核对(预热、层间、后热) | 覆盖率与一致性 | L2 |
| X5-7 | 熔池视觉状态检测 | 统计性 | L2 |
| X5-8 | 焊缝表面缺陷检测(六类及以上) | 统计性,分类别 | L2 |
| X5-9 | 综合时序与视觉的质量评估与预警 | 召回率与误报率 | L2 |
| X5-10 | 干预决策建议与事后事实一致性 | 统计性 | L2/L3 |
| X5-11 | 工艺参数优化与分工况推荐 | 对比基线,窗口内硬约束 | L2/L3 |
| X5-12 | 三流一一关联与全程追溯 | 关联完整率 | L2/L3 |
| X5-13 | 焊接工艺知识库建设 | 内容完备性与检索可用性 | L2 |
表 2-27 数据来源:招标文件逐条拆解。
X5-12 的「三流」指参数流、视觉流与检测结果流。招标文件要求「将参数、视觉数据与检测结果一一关联,支持全程可溯源」,这是本场景的核心交付。关联完整率按三流两两关联分别统计,再统计三流齐备的焊道占比,只报三流齐备率会掩盖问题,因为参数与视觉的关联和参数与检测的关联,难度和缺口原因完全不同。
L1 的最小可用集是四项:结构化后的工艺参数窗口与检验要求;工件与焊缝的身份标识;一路可用的焊接过程信号;交检与探伤的判定结论。四项齐备可跑通一条焊缝并给出可核对结论。
焊道边界锚定是第一项核验,办法按工位分三路。机器人工作站可取程序段执行事件,边界最准,但开通需与原厂协调;未开通时以三路旁路信号建立焊道边界:起弧与熄弧的电流跳变、送气阀动作数字量,以及送丝启停。专机与半自动焊机走旁路信号路线。人工焊工位当前无过程采集,边界只能到焊缝级,这一档如实标明。L1 的核验指标是焊道边界识别的正确率,以人工抽样标注为参考,按三类工位分别统计。
采集覆盖与采样率是第二项。过程参数的统计档要求提至不低于每秒十点并按工件归档,这一档不新增硬件;波形档按起弧段、收弧段与越窗前后三类触发录制、不低于每秒五千点。两档的用途不同,统计档用于参数窗口核对与趋势分析,波形档用于异常时刻的细节还原。L1 核验的是两档是否都能取到,以及通道缺失的分布。气体流量在未加装流量传感器的工位按班次点检录入,这属于补录项,不进入自动核对的分母。
位置口径统一是第三项,也是本场景最需要甲方配合的一项。要求建立焊缝编号体系,并在检测结果中增加焊缝编号、里程与层道三个字段。现状是检测报告以纸质为主、位置口径三套并存,因此这一项的 L1 要求是:焊缝编号体系经甲方工艺与质量部门确认发布;检测结果的位置字段在新发生的检测中按新口径填写;历史检测结果按可对应程度分三档入档。可落到里程与层道的、只能落到区域的、只能落到焊缝的。三档的规模如实统计,后续指标按档分列。
参数窗口与评定报告的结构化是第四项。工艺卡片、操作指导书中的参数窗口、温度与检验要求须抽取为结构化规则,由工艺人员确认后生效;焊接工艺评定报告须结构化入库并建立重要因素覆盖范围表。这里有一处专业判断要写明:若某项参数的窗口上下限抽取后宽度不为正(即上限不大于下限,这是文件编制中确实会出现的情形),该项不得按原文生效,须列为工艺澄清项交甲方工艺部门处理。把一个宽度不为正的窗口投进越窗判定,会得到百分之百越窗的结果,看起来是系统在报警,实际上是文件问题。
硬件到位与分档是第五项。本项目采购的四十二台感知设备中,十五台熔池相机与二十一台热成像直接服务本场景。设备到位前,熔池视觉与焊缝表面图像按移动端取景规范拍照取样,可支撑表面缺陷检测的离线验证,但不支撑熔池状态的实时性验证;层间温度在夹持式接触测温配置到位前按移动端录入,可支撑达标判定但不支撑逐件逐层的自动核对。各验证项与设备到位的依赖关系在验证方案中逐项列明,指标按实际到位情况标注所处档位。
物料与环境侧按补录项处理:焊丝牌号、直径与批次,保护气与清渣液批次,母材带料单与材质证明,按出库领用扫码绑定;车间温湿度与表面状态按班次点检与移动端勾选拍照。这几项当前都不在系统里,但它们在归因中有用,保护气批次异常与气孔率的关联,只有在批次可追的前提下才查得出来。
本场景的验证资产分三类组织,与三流对应。
图像标注集用于视觉类能力。按缺陷类别分层,覆盖招标文件所列的气孔、裂纹、咬边、余高、弧坑、焊脚偏差六类,并按企业既有缺陷谱补充未熔合、未焊透、夹渣、焊瘤等类别。每类不少于二百个缺陷实例,裂纹与未熔合两类因样本稀缺,不足时以定向检索加构造补充并单列说明。标注内容为类别、位置与尺寸;位置按焊缝编号加里程加层道三级定位。标注一致性按类别与位置分别度量:类别按混淆矩阵统计,位置按重合度比对;类别一致率低于百分之九十、位置重合达标率低于百分之八十五时返工;裂纹与未熔合两类须三人标注取多数。边界模糊样本单列,不进主指标分母。
焊道档案集用于参数与关联类能力。按两条生产路线分别组织:中部槽批量件取不少于三十批、每批抽取不少于十件;大型单部件取不少于三十件,每件抽取不少于二十条焊道。档案内容含对象标识、工艺窗口版本、参数时序段、温度记录、视觉样本、检测结论与返修记录。
回放窗口用于端到端与追溯验证,取不少于六个月的历史生产数据,保留当时的原始参数流与检测结论。
构造样本不少于八十例,覆盖五类情形:预设值输错(偏离工艺卡区间但仍在设备可设范围内)、参数窗口宽度不为正、焊道边界信号中断、同一焊缝的三流位置口径冲突,以及保护气流量中途下降。前四类是本场景实际会遇到且处理方式容易出错的,第五类用于验证系统能否把表面气孔与气路问题关联起来。
用例集分七组:边界锚定组(X5-1、X5-3)、采集核验组(X5-2、X5-6)、窗口核对组(X5-4、X5-5)、视觉检测组(X5-7、X5-8)、评估预警组(X5-9、X5-10)、寻优组(X5-11)、追溯与知识库组(X5-12、X5-13)。
本场景的验证智能体把一条焊道的分析拆成六步:对象绑定与档案组卷、焊前条件核对、过程参数窗口核对与越窗判定、多模态状态分析、焊后检测结果解析与位置对齐、关联归因与参数建议。
分工上,前三步与第五步以确定性为主。对象绑定与档案组卷是规则与信号处理;焊前条件核对是比对(预设值对工艺卡、焊工资质对工艺要求、焊材批次对牌号要求);参数窗口核对含线能量计算:电流、电压与焊接速度给定,线能量即确定,与规程窗口比对是算术问题;检测结果解析含位置换算与区域对齐,属确定性。第四步的多模态状态分析由专用视觉模型与时序模型承担,模型负责从熔池视频与焊缝图像中判别状态与缺陷,从参数时序中识别异常模式。第六步的关联归因与参数建议由模型与统计方法联合承担,参数建议须落在工艺规程窗口与评定报告的重要因素覆盖范围之内,这是硬约束。
多模态融合的做法要写清,因为招标文件明确要求「结合时序数据与视觉数据」作质量评估。本方案的融合在决策层而非特征层:时序侧与视觉侧各自给出判别结果与置信度,再按规则合成,两侧一致则按一致结论输出;两侧不一致则按预设优先级与置信度门限处理,并把不一致本身作为一个待查信号记录。选择决策层融合的理由有两条:两侧的采样率、时间基准与覆盖范围差异很大,特征层对齐的误差会污染两侧;而决策层融合的每一步都可解释,岗位能看懂为什么报警,这在现场是能否被采纳的关键。不一致率本身是一项有价值的观测量,它往往指向对齐问题而不是判别问题。
影子运行是本场景的执行方式,分三级推进但本包只到前两级。影子观测阶段,结论只进入后台供工艺人员回看核验,用以检验对象绑定正确率、规则适用性与提醒有效率;提醒阶段,在不干扰生产节拍的前提下向岗位推送,每条提醒含对象、时间、涉及参数、引用条款、原始数据链接与置信等级,岗位的标记(确认有效、确认无效、暂不判断、需复核)进入规则收敛。第三级受控闭环涉及流程动作与参数干预,不在本包验证范围,验证台不执行该级。
人审检查点设两处:参数窗口结构化确认后、提醒规则发布前。后者是因为提醒直接到岗位,门限设错会造成提醒泛滥,一旦泛滥岗位就不再看,这项能力的价值即归零。
六步之中,四步设步级判据。
对象绑定与档案组卷这一步的判据与 X5-1、X5-12 共用,但另立一项「组卷完整性」:一条焊道的档案是否含齐对象标识、窗口版本、参数段、温度记录、视觉样本与检测结论六类内容;缺项的焊道按缺哪一类分别统计,这份统计直接指向加装与流程改造的优先顺序。
焊前条件核对这一步的判据是三项核对的执行率与拦截有效性:预设值对工艺卡区间、焊工资质对工艺要求、焊材批次对牌号要求。三项都是比对,不涉及模型,基线写成执行率全量、构造样本全部拦截。
参数窗口核对这一步含线能量计算,属确定性,判据是计算偏差的数量级与窗口比对的一致性。这里要写明一处纪律:线能量由电流、电压与焊接速度算出,三项中任一项的采样缺失都会使线能量不可算,此时该焊道不进入越窗判定的分母,而不是按缺省值计算。按缺省值算出来的越窗结论会被现场一眼看破。
多模态状态分析这一步的判据是两侧各自的判别指标与两侧不一致率,口径见 2.6.2.10 节。
人审检查点两处,参数窗口结构化确认后与提醒规则发布前。后一处没有误停率可言,它的判据是发布前的规则评审覆盖率:每一条拟发布的提醒规则是否经工艺与质量岗位评审并留记录。提醒直接到岗位,一条门限设错的规则会在一个班次内产生大量无效提醒,这类损害一旦发生,恢复岗位信任的成本远高于当初的评审成本。
举一条中部槽承力结构件的厚板对接焊缝为例,按坡口尺寸需焊四道、分两层完成,焊后超声探伤在某一位置检出未熔合。
第一步对象绑定与档案组卷。本条焊缝须绑定到工件、焊缝编号、两个焊层与四条焊道。焊道边界的锚定在机器人工位取程序段执行事件;本例若在专机工位,则以起弧熄弧的电流跳变、送气阀动作与送丝启停三路旁路信号建立边界。组卷完整性的判据在此:六类内容(对象标识、窗口版本、参数段、温度记录、视觉样本、检测结论),缺哪一类分别统计。本例若该工位未配接触测温、温度记录来自移动端录入,这一类按补录项计并标明。
第二步焊前条件核对。三项比对:焊机预设电流电压与工艺卡区间、焊工资质与该接头的工艺要求、焊材牌号批次与母材材质的对应关系。本例构造一个预设值偏离工艺卡区间但仍在设备可设范围内的情形,判据是系统在起弧前拦住。
第三步过程参数窗口核对。四条焊道各算线能量,电流乘电压除以焊接速度,与规程窗口比对。本例的打底道若焊接速度高于窗口上限,线能量偏低,这是未熔合的一条典型候选原因,须被判为越窗并留痕。此处有一条纪律:三项中任一项采样缺失则线能量不可算,该焊道不进越窗判定的分母,不按缺省值计算。
第四步多模态状态分析。时序侧从参数波形中识别起弧段异常与送丝波动;视觉侧从熔池视频判别熔池形态、从焊缝表面图像检测可见缺陷。本例的未熔合位于层间,表面图像上通常无可见特征,因此视觉侧的判别结果预期为无异常。这正是两侧不一致的一个典型来源:时序侧报越窗、视觉侧报正常。按 2.6.2.4 节的决策层融合规则,这种不一致本身作为待查信号记录,并按预设优先级与置信度门限处理。不一致率的统计与原因查明在 2.6.2.10 节。
第五步焊后检测结果解析与位置对齐。探伤报告给出缺陷的里程与深度。本例若检测设备为带编码器的相控阵,缺陷可落到焊缝里程与焊层,从而与第三步的打底道对应起来,参数与缺陷的关联分析成立;若为普通手工超声,只能落到区域,关联只到焊缝级。两档的指标口径不同并分列统计。
第六步关联归因与参数建议。本例的归因结论应指向打底道线能量偏低,证据是该道的参数段越窗记录与探伤位置的对应关系。参数建议须落在规程窗口与评定报告的重要因素覆盖范围之内,越界条数判据为零。
这条用例把本场景的三个关键判据串起来了:焊道边界锚定决定了参数能否对应到具体焊道,位置口径统一决定了检测结果能否落回那条焊道,而两者齐备之后参数与缺陷的关联才成立。缺任一环,归因只能停在焊缝级,这就是 2.6.2.10 节把三流关联完整率按两两分别统计的原因。
2-7 焊接场景的四级对象树与三流对齐
图 2-7 焊接场景的四级对象树与三流对齐。数据来源:招标文件;多层多道与两条生产路线依甲方现行焊接组织方式;感知设备数量依本投标文件硬件选型节。
焊接场景的全部验证都架在一个前置之上:焊道边界能不能锚定。锚不准边界,参数流切不出正确的时间段,视觉流与检测结果也落不到同一条焊道上,后面十二项能力的样本都无从组织。表中 X5-1 一行因此按机器人、专机与半自动、人工焊三类工位分别统计而不合并——三类工位的边界信号来源不同,机器人取程序段执行事件,专机与半自动走起弧熄弧电流跳变、送气阀动作与送丝启停三路旁路信号,人工焊当前只能到焊缝级,合并统计会掩盖最弱的那一档。
缺陷实例每类不少于二百个的下限,取自视觉类能力在六类基本缺陷上形成可比结论所需的最小量;裂纹与未熔合两类因自然样本稀缺,另作定向检索加构造补充并单列,标注取三人多数而非双人仲裁。「样本结构」一栏中反复出现的分层维度——工况、坡口类型、板厚与材质——是读表的关键:本场景的指标一律按层报告,不出合并的单一数字,在工况差异这样大的现场,一个合并数字没有可操作性。
表 2-28 焊接过程控制智能监控逐项验证的数据、样本与基准答案
| 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 |
|---|---|---|---|---|
| X5-1 四级对象树与焊道边界锚定 | 机器人工作站的程序段执行事件;起弧熄弧电流跳变、送气阀动作、送丝启停三路旁路信号 | 按机器人、专机与半自动、人工焊三类工位分别统计;中部槽批量件不少于 30 批、大型单部件不少于 30 件 | 人工抽样标注的焊道起止时刻 | 信号处理与规则;三类工位分列,不合并;不设对照组 |
| X5-2 时序参数采集完整性 | 电流、电压、送丝速度、气体流量、焊接速度、焊枪摆动、停留时间、各轴角度八类通道 | 按工位统计通道覆盖;统计档按工件归档,波形档按起弧段、收弧段、越窗前后三类触发 | 通道是否可取、采样率是否达档为客观判定 | 采集链路核验;不设对照组 |
| X5-3 焊道类型识别 | 层道顺序;参数特征;坡口与工艺卡要求 | 焊道档案集全集,按打底、填充、盖面三类分层 | 工艺骨干标注的焊道类型 | 沙箱分类题型;三组对照 |
| X5-4 参数窗口结构化与越窗判定 | 工艺卡片、操作指导书中的参数窗口、温度与检验要求 | 参数项全集;越窗判定按焊道计 | 工艺人员确认后的结构化窗口;线能量由电流、电压与焊接速度算出,为客观值 | 文本抽取用模型、线能量计算与窗口比对用确定性组件;抽取项进三组对照 |
| X5-5 预设值与工艺卡区间核对 | 焊机预设值;结构化后的参数窗口 | 构造的预设值输错样本,偏离工艺卡区间但仍在设备可设范围内 | 工艺卡区间为客观答案 | 起弧前比对;不设对照组 |
| X5-6 温度类参数核对 | 预热、层间、后热温度记录;接触测温配置情况 | 配置接触测温的工位与未配置工位分列统计 | 工艺规程的温度要求值与允差 | 配置到位的自动核对,未配置的按移动端录入;不设对照组 |
| X5-7 熔池视觉状态检测 | 熔池相机视频;取景与光照条件记录 | 视频片段按工况与坡口类型分层 | 工艺骨干判读的熔池状态 | 专用视觉模型;按标注量与标注质量两组实验,不做微调配比消融 |
| X5-8 焊缝表面缺陷检测 | 焊缝表面图像;缺陷标注集 | 六类基本缺陷每类不少于 200 个实例,并按企业缺陷谱补充未熔合、未焊透、夹渣、焊瘤等类别;裂纹与未熔合不足时定向检索加构造补充并单列 | 缺陷类别、位置与尺寸,位置按焊缝编号加里程加层道三级定位;裂纹与未熔合三人标注取多数 | 专用视觉模型;标注量与标注质量两组实验 |
| X5-9 综合质量评估与预警 | 时序侧判别结果与置信度;视觉侧判别结果与置信度;事后检测结论 | 按焊道计召回与误报;两侧不一致率单列 | 事后确认的缺陷焊道为客观答案 | 决策层融合,规则合成;不做微调对照 |
| X5-10 干预决策建议 | 过程参数、视觉状态与窗口判定结果;事后检测结论 | 按建议条目计 | 事后检测结论为客观答案 | 影子观测与提醒两级;不做微调对照 |
| X5-11 工艺参数优化与分工况推荐 | 历史参数流、检测结论、返修记录;工艺规程窗口与评定报告重要因素覆盖范围 | 按工况组合(板厚、材质、焊道类型)分组做回溯对比 | 对比基线:现行取值在同一历史窗口上的一次交检合格率与返修次数,统计后冻结 | 统计方法加规程约束;不做微调对照 |
| X5-12 三流一一关联与追溯 | 参数流、视觉流、检测结果流;焊缝编号体系与位置字段 | 按焊道计三流两两关联与三流齐备;追溯抽查不少于 100 条焊道 | 三流记录是否存在且可对应到同一焊道,为客观判定 | 档案组卷与位置对齐;检测侧按带编码器与普通手工超声两档分列 |
| X5-13 焊接工艺知识库 | 工艺卡片、国标规范、焊丝型号、板厚与材质对应关系、焊道要求、合格参数区间六类条目 | 六类条目逐类核内容完备与可检索 | 受控工艺文件与标准文本为答案来源 | 知识库检索;三组对照用于知识库问答题型 |
表 2-28 数据来源:能力编号与标书依据见表 2-27;三类验证资产的组织见 2.6.2.3 节;位置口径分档见 2.6.2.2 节。
读这张表要特别留意分母。焊接场景的数据条件按工位、按设备到位批次差异很大,若把条件不具备的对象也算进分母,得到的低指标反映的是采集缺口而不是能力水平;若默默把它们排除而不说明,指标又成了挑样本挑出来的。本方案的做法是把每一处分母裁剪都写进公式:气体流量未加装流量传感器的工位按班次点检录入,不进自动核对的分母;参数、窗口、温度三项采样缺一,该焊道不进越窗判定的分母;三流不齐的焊道不进综合评估的召回分母。被排除的对象规模另行如实统计并按档分列。
「招标门槛与原文前提」一栏照录招标文件相应条款原文,各条均未设数值门槛。X5-10 一行须单独看:招标文件相应条款要求决策是否干预调整参数,本包验证的是决策结论与事后检测事实的一致性,受控闭环一级属场景建设侧,验证台不执行该级;这一责任界定同时写在指标公式与闭环责任两栏,避免验收时出现第二种理解。
表 2-29 焊接过程控制智能监控逐项验证的指标公式与闭环责任
| 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 |
|---|---|---|---|---|
| X5-1 | 三类工位分别计:边界识别正确的焊道数 ÷ 抽样焊道数 | 招标文件相应条款要求参数、视觉数据与检测结果一一关联,边界锚定为其前置,未设数值门槛 | 骨干抽样核对自动边界与人工标注的起止时刻 | 边界错误逐例核查旁路信号质量;信号缺失的工位降为焊缝级并如实标注,加装后复测该工位全集 |
| X5-2 | 可取通道数 ÷ 应采通道数(按工位);统计档达采样率且按工件归档完整的工件数 ÷ 工件数 | 招标文件相应条款列出八类采集项,未设数值门槛 | 核对通道清单与现场实际接线 | 缺口按加装批次排期;丢档逐例核查链路;气体流量未加装传感器的按班次点检录入,不进自动核对分母 |
| X5-3 | 类型识别正确的焊道数 ÷ 焊道数 | 招标文件相应条款涉及焊道级采集与记录,未设数值门槛 | 骨干核对层道顺序与参数特征 | 错判逐例核查层道顺序与参数特征;属样本不足的补标注后复测 |
| X5-4 | 结构化正确的参数项数 ÷ 参数项数;越窗判定与人工复核一致的焊道数 ÷ 参与判定焊道数;线能量计算相对偏差;窗口宽度不为正的识别条数 ÷ 实际存在条数 | 招标文件相应条款要求建立工艺知识库并支撑参数窗口核对,未设数值门槛 | 工艺人员确认结构化窗口 | 结构化失败项由工艺人员补录并回流样本;宽度不为正的列为工艺澄清项交工艺部门,不按原文生效;三项采样缺一则该焊道不进越窗判定分母 |
| X5-5 | 被拦截的构造样本数 ÷ 投放的预设值输错构造样本数 | 招标文件相应条款涉及焊机参数与工艺卡区间,未设数值门槛 | 骨干核对拦截提示内容是否指到具体参数 | 漏拦截逐例归因到比对规则与预设值读取链路,修复后重跑全部构造样本 |
| X5-6 | 配置接触测温工位:自动核对覆盖的焊道数 ÷ 焊道数;未配置工位按移动端录入覆盖率如实统计 | 招标文件相应条款列出预热、层间、后热温度,未设数值门槛 | 质量岗位抽查录入值与实测是否一致 | 缺口按加装批次排期;录入质量差的工位加培训与抽检,配置到位后复测 |
| X5-7 | 判别正确的视频片段数 ÷ 视频片段数 | 招标文件相应条款要求熔池状态监测,未设数值门槛 | 工艺骨干判读为参考,复核错判片段 | 错判逐例核查取景与光照条件;采集条件受限的单列统计;设备到位前只支撑离线验证 |
| X5-8 | 按类别计:检出缺陷实例数 ÷ 缺陷实例数;误检图像数 ÷ 图像数 | 招标文件相应条款要求焊缝图像缺陷检测,列举气孔、裂纹、咬边、余高、弧坑、焊脚偏差六类,未设数值门槛 | 质量骨干复核漏检与误检 | 漏检逐例归因;集中在裂纹与未熔合的按学习曲线判断是补样本还是增设检测手段;历史样本的筛选偏差须量化说明 |
| X5-9 | 命中的事后确认缺陷焊道数 ÷ 事后确认缺陷焊道数;误报条数 ÷ 预警条数;两侧不一致焊道数 ÷ 参与融合焊道数 | 招标文件相应条款要求综合时序与视觉数据作质量评估并判断是否触发预警,未设数值门槛 | 岗位对提醒作四类标记(确认有效、确认无效、暂不判断、需复核) | 漏报先核三流齐备情况,缺流的不进该项分母;误报先核参数窗口是否偏窄,再核工况分层;不一致率不设门限,按原因分布归因,属对齐问题的转数据侧整改 |
| X5-10 | 与事后检测结论一致的建议条数 ÷ 建议条数 | 招标文件相应条款要求决策是否干预调整参数;本包只验证决策结论与事后事实的一致性,不执行干预 | 工艺与质量岗位核对建议与事后结论 | 不一致项逐例归因;受控闭环一级不在本包范围,验证台不执行该级 |
| X5-11 | 对比基线:按工况组合计,推荐取值下的一次交检合格率与返修次数对冻结基线的差值;越出规程窗口或评定覆盖范围的推荐条数(绝对数) | 招标文件相应条款要求基于历史数据挖掘最优参数组合并分工况推荐,原文前提是在工艺规程范围内,未设数值门槛 | 工艺部门核对推荐是否在评定覆盖范围内 | 劣于现行取值的逐项归因;越界条数出现即判该轮不通过,补约束后重跑全部工况组合 |
| X5-12 | 三项两两关联分别计:可关联焊道数 ÷ 焊道数;三流齐备焊道数 ÷ 焊道数;抽查可回溯焊道数 ÷ 抽查焊道数 | 招标文件相应条款要求参数、视觉数据与检测结果一一关联并支持全程可溯源,未设数值门槛 | 质量岗位按焊缝编号抽查回溯链 | 先核对象标识(扫码点、焊缝编号、检测位置字段),再核时间基准偏移,最后才查边界锚定算法;位置口径按三档分列统计 |
| X5-13 | 有结构化条目且可检索的内容类别数 ÷ 应有类别数(六类) | 招标文件相应条款要求建设焊接工艺知识库,列举六类内容,未设数值门槛 | 工艺人员核对条目内容与受控文件一致 | 缺类补齐后复核;评定报告入库后扩充并重新核对覆盖范围表 |
表 2-29 数据来源:招标门槛一栏照录招标文件原文要求;指标数值见表 2-31;影子运行与分级见 2.6.2.4 节。
本场景五类构造情形中,前四类针对判定链上最容易被绕过的四个环节:预设值偏离工艺卡区间但仍在设备可设范围内、参数窗口宽度不为正、焊道边界信号中断、同一焊缝的三流位置口径冲突;第五类保护气流量中途下降,用于检验系统能否把表面气孔与气路问题关联起来,是归因能力的直接考察。第二类尤其值得说明:若把一个上限不大于下限的窗口投进越窗判定,会得到全部越窗的结果,表面上是系统在报警,实际上是文件编制问题,用例要验证的是它被列为工艺澄清项而不是按原文生效。
三列中异常用例一列的期望输出在本场景分两种,读表时需分清。一种是拦截,如 X5-5 行的预设值输错须在起弧前拦住、X5-13 行的作废条款须按版本过滤不予返回;另一种是如实记录而不下结论,如 X5-9 行的两侧判别冲突须作为待查信号记录、X5-12 行的三流位置口径冲突须列出冲突点。三类用例分别统计,异常类不混入主指标分母。
表 2-30 焊接过程控制智能监控的三类用例
| 能力 | 正常用例 | 边界用例 | 异常用例 |
|---|---|---|---|
| X5-1 | 机器人工位长直焊缝,程序段事件齐备 | 同一焊缝两层四道,层间停顿时间短 | 焊道边界信号中途中断,须标为不可锚定而非按整段计一道 |
| X5-2 | 机器人工位八类通道齐备的工件 | 波形档触发条件同时满足三类 | 某通道恒定不变,须判为失效并从分析中摘除 |
| X5-3 | 典型多层多道焊缝的三类焊道识别 | 填充与盖面参数接近的焊道 | 层道顺序记录缺失,应只到焊缝级 |
| X5-4 | 窗口完整的工艺卡逐项结构化 | 线能量恰在窗口上限 | 参数窗口上限不大于下限,须列为工艺澄清项不予生效 |
| X5-5 | 预设值在工艺卡区间内,正常放行 | 预设值恰在区间端点 | 预设值偏离区间但仍在设备可设范围内,须在起弧前拦住 |
| X5-6 | 配置接触测温的工位逐件逐层核对 | 层间温度处于上下限之间的窄带 | 测温器具校验超期,该读数不得进入判定 |
| X5-7 | 清晰取景的熔池视频片段 | 熔池形态处于两类状态过渡期 | 相机未到位,只能按移动端取景,须标注不支撑实时性验证 |
| X5-8 | 气孔与咬边的表面图像检出 | 余高接近允差边界 | 层间未熔合,表面无可见特征,视觉侧应报正常并由时序侧补位 |
| X5-9 | 时序与视觉两侧判别一致的焊道 | 两侧置信度均在门限附近 | 时序报越窗而视觉报正常,须作为待查信号记录并查明原因 |
| X5-10 | 判定应干预的焊道,事后检测确有缺陷 | 判定边缘情形,事后检测合格但有返修痕迹 | 建议内容涉及参数写入,验证台须只记录不执行 |
| X5-11 | 常见工况组合的参数推荐回溯对比 | 推荐取值贴近评定覆盖范围边缘 | 推荐越出评定重要因素覆盖范围,须判该轮不通过 |
| X5-12 | 带编码器相控阵检测的焊缝,三流齐备 | 检测结果只能落到区域,关联只到焊缝级 | 同一焊缝的三流位置口径互相冲突,须记为待查并列出冲突点 |
| X5-13 | 六类内容齐备的知识库检索 | 同一参数在规程与评定中取值不同,须同时给出并标明出处 | 检索到的条款已作废,须按版本过滤不予返回 |
表 2-30 数据来源:用例组划分与构造样本的五类情形见 2.6.2.3 节。
表 2-31 焊接过程控制智能监控场景的验证指标
| 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 |
|---|---|---|---|---|
| X5-1 | 焊道边界识别正确率,按焊道;三类工位分列 | 机器人工作站 ≥95%;专机与半自动 ≥85%;人工焊工位只到焊缝级 | 机器人趋向全量;专机 ≥92% | 边界错误逐例核查旁路信号质量 |
| X5-2 | 八类参数的通道覆盖率,按工位 | 机器人工作站八类齐备;专机与半自动按可采范围如实统计并列明缺口 | 加装到位后逐项补齐 | 缺口按加装批次排期 |
| X5-2 | 统计档采样率与归档完整率,按工件 | 统计档 ≥10 点/秒且按工件归档完整率 ≥95%;波形档三类触发均可录制 | 趋向全量 | 丢档逐例核查链路 |
| X5-3 | 焊道类型识别正确率,按焊道 | ≥90% | ≥95% | 错判逐例核查层道顺序与参数特征 |
| X5-4 | 参数窗口结构化正确率,按参数项 | ≥95%,经工艺人员确认 | 趋向全量 | 失败项由工艺人员补录并回流样本 |
| X5-4 | 越窗判定一致性,按焊道 | 与人工复核一致率 ≥98%;线能量计算相对偏差 ≤1×10⁻⁶ | 趋向全量 | 不一致项核查窗口版本与单位换算 |
| X5-4 | 窗口宽度不为正的识别,按参数项 | 全部识别并列为工艺澄清项,不按原文生效 | 保持 | 漏识别即判该项不通过 |
| X5-5 | 预设值与工艺卡区间核对的拦截有效性,按构造样本 | 构造的预设值输错样本全部拦截 | 保持 | 漏拦截逐例归因 |
| X5-6 | 温度类参数核对覆盖率,按焊道 | 配置接触测温的工位 ≥90%;未配置工位按移动端录入,覆盖率如实统计 | 配置到位后 ≥95% | 缺口按加装批次排期 |
| X5-7 | 熔池状态判别正确率,按视频片段 | ≥85%,以工艺骨干判读为参考 | ≥90% | 错判逐例核查取景与光照条件 |
| X5-8 | 表面缺陷检出率,按缺陷实例,分类别统计 | 气孔、咬边、余高、弧坑、焊脚偏差五类各 ≥88%;裂纹 ≥80% | 前五类 ≥93%;裂纹 ≥88% | 漏检逐例归因并补样本 |
| X5-8 | 表面缺陷误检率,按图像 | ≤12% | ≤7% | 误检归因并调整判级门限 |
| X5-9 | 预警召回率,按事后确认的缺陷焊道 | ≥80% | ≥90% | 漏报逐例归因并补判据 |
| X5-9 | 预警误报率,按预警条数 | ≤20% | ≤12% | 误报归因并调整门限 |
| X5-9 | 时序与视觉两侧判别的不一致率,按焊道 | 如实统计并逐例查明原因分布,不预设门限 | 不一致中属对齐问题的比例逐轮下降 | 对齐问题转数据侧整改 |
| X5-10 | 干预建议与事后检测结论的一致率,按建议条目 | ≥75% | ≥85% | 不一致项逐例归因 |
| X5-11 | 分工况参数推荐的回溯效果,按工况组合 | 在历史窗口上不劣于现行取值;并给出一次交检合格率与返修次数两项的改善幅度 | 两项均有可测量改善 | 劣于现行取值的逐项归因 |
| X5-11 | 推荐的窗口与评定覆盖合规性,按推荐项 | 推荐参数越出规程窗口或超出评定重要因素覆盖范围的条数为零 | 保持 | 出现即判该轮不通过 |
| X5-12 | 三流两两关联完整率,按焊道 | 参数—视觉 ≥85%;参数—检测 ≥80%;视觉—检测 ≥80% | 各提升不少于八个百分点 | 未关联焊道列原因分布 |
| X5-12 | 三流齐备率,按焊道 | ≥70% | ≥85% | 齐备率低的工位单列改进项 |
| X5-12 | 全程追溯的可回溯率,按抽查 | 抽查不少于一百条焊道,逐条可从检测结论回溯到参数段与视觉样本 | 趋向全量 | 不可回溯项核查档案组卷 |
| X5-13 | 知识库内容完备性,按条目类别 | 工艺卡片、国标规范、焊丝型号、板厚与材质对应关系、焊道要求、合格参数区间六类均有结构化条目且可检索 | 保持并随评定报告入库扩充 | 缺类补齐后复核 |
表 2-31 数据来源:指标项对应招标文件;阈值为我方按工位采集条件设定的承诺口径,最终随蓝图设计确认。
三处阈值的取法说明。裂纹检出率比其他五类低八个百分点,与热处理场景同理,是两类缺陷在表面图像上的可分辨性差异所致;细微裂纹常需结合磁粉检测确认,单靠表面图像判定有物理上限。
三流关联完整率的三个数不同,依据是三条链路的缺口原因不同:参数与视觉同属过程侧,时间基准接近,关联相对容易;参数与检测、视觉与检测都要跨过位置口径这一关,而检测侧的位置精度取决于设备,带编码器的相控阵能给里程,普通手工超声只能给区域。因此后两项的基线定得低八到五个百分点,并在报告中按检测档位分列统计。
两侧判别不一致率不设门限,只要求如实统计并查明原因分布。理由是这个量在首轮验证时的取值无法预估,而它的有用之处不在高低,而在其原因构成。若不一致主要来自对齐问题,那是数据侧的事,补对齐即可下降;若主要来自两侧的真实判别差异,那说明有一侧的判据需要修订。预设一个门限会诱导把不一致压下去,而压下去的办法往往是让两侧趋同,那恰好丢掉了多模态融合的价值。
本场景的对照实验分两条线,这是六个场景中唯一需要分线设计的。
视觉线做标注量与标注质量两组实验,不做语料配比消融。标注量实验按两成、五成、八成与全部样本四档分别训练并评测,按缺陷类别分别画学习曲线;六类缺陷的曲线形状预期差别很大:气孔与咬边样本多、特征明显,曲线会较早趋平;裂纹样本少、特征弱,曲线可能仍在上升段,这说明补样本还有收益。标注质量实验的做法是用一致率低的那一批标注(返工前的版本)与返工后的版本分别训练,比较评测结果,用来量化标注返工这项投入的价值。这组实验的结论对数据集建设有直接意义:它回答「在这个场景上,是补数量更划算还是提质量更划算」。
语言线做三组对照,题集取自场景基准题集中的缺陷归因、参数推荐依据说明与知识库问答三类题型,不少于一百五十题,全部来自真实检测报告、工艺评定与返修记录,不含合成数据。基座裸测组在焊接通识上会有相当表现,焊接缺陷的成因在公开文献中讨论充分;但在本企业的工况组合(具体板厚与材质对应、具体焊道要求、具体合格参数区间)上会失准,且容易给出超出本企业评定覆盖范围的参数建议。这一点正是检索增强组要解决的:接入工艺库、标准接头图库、评定库与缺陷特征库之后,参数建议的合规性应有明显改善。数据集适配组使用以本场景指令微调子集训练的模型版本,重点看两项:归因证据的具体程度(能否指到焊道、里程、参数段与引用条款),以及参数建议的越界条数,越界条数应当为零,若微调后反而出现越界,说明模型学到了「给建议」而没学到「受约束」,这是必须被发现的失败模式。
另外做一组多模态对齐样本的消融,这一组是本场景特有的。做法是抽掉由视频与文本对齐,以及传感器时序与运维事件对齐两类工具链产出的对齐样本,看三流关联类能力与综合评估能力下降多少。这组实验度量的是两条对齐工具链的实际价值,结论直接影响后续对齐工作的投入强度。
本场景的归因有四类高频情形。
关联不上。排查顺序是先核对象标识:工位有没有扫码点、焊缝编号有没有发布、检测结果有没有填位置字段;标识齐备而关联不上的,核时间基准偏移;两项正常的,才查边界锚定算法。这一类归因绝大多数落在数据侧的流程环节,不是算法问题。
误报偏多。排查重点是参数窗口本身。窗口抽取偏窄会造成系统性误报,而这类误报看起来像是判据过敏;核窗口无误后,看是否存在工况分层不足,同一套门限用在不同板厚与材质上,必然在某些工况下偏严。
漏报。排查顺序是先核该焊道的三流齐备情况。缺视觉或缺参数的焊道本来就只能按较粗档位判定,漏报不计入该项指标的分母;三流齐备而漏报的,查缺陷类型分布,若集中在裂纹与未熔合,属已知的检出能力限制,按学习曲线判断是补样本还是增设检测手段。
样本偏差带来的指标虚高。这一类不是失败而是风险,但必须在归因报告中单列。做法是把验证期内按前向方式自动留痕的过程偏差事实,与历史交检开票样本做分布比对;若两者的缺陷类型分布明显不同,说明历史样本的偏差确实存在,须在报告中量化说明其对指标的影响方向。
本场景分三批执行,与数据条件的三批加装对应。第一批是窗口核对组与预设值核对组,依靠工艺文件结构化与设备接口读取即可落地、不新增硬件,上线后当班即可给出可核对结论。第二批是边界锚定组、采集核验组与视觉检测组,前置条件是旁路信号接入、焊接部位相机安装与标定、采样率提升与长期归档、检测原始数据导出与位置字段规范。第三批是评估预警组、寻优组与追溯组,并进入观察期;观察期取不少于三个月,期内覆盖中部槽批量件不少于十批、大型单部件不少于三十件。观察期内按影子观测与提醒两级推进,记录岗位对提醒的四类标记分布。这份分布是规则收敛的主要依据,也是判断提醒是否泛滥的直接证据。
交付物十项:场景验证方案;数据就绪度核验报告与缺口清单,含三类工位的采集能力分档;焊缝编号体系与检测位置口径统一方案(与甲方工艺及质量部门共同确认);参数窗口结构化成果、工艺澄清项清单与评定覆盖范围表;冻结版图像标注集、焊道档案集与用例集,含缺陷标注规范与仲裁记录;验证执行记录与见证签认档案,含影子观测与提醒两级的记录;场景验证报告,含视觉线两组实验、语言线三组对照、对齐样本消融结论、三流关联分层统计与样本偏差说明;分工况参数推荐的回溯对比报告;对齐工作的投入优先级建议;错题归因清单与数据集改进需求单。
用例级记录的必填字段与 4.1 节一致,本场景的输入对象标识为工件号加焊缝编号加层号道号四级标识,缺层道信息的按可得层级记录并标明。本场景的用例卡另加五项:该焊道的工位类型(机器人、专机与半自动、人工焊);焊道边界的锚定来源(程序段事件或三路旁路信号);三流齐备情况(参数、视觉、检测逐项记有无);检测侧的位置档位(可落里程与层道、只到区域、只到焊缝);以及时序侧与视觉侧的判别结果与置信度两栏,不一致时另记不一致原因。
轮次级记录的必填字段:数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加四项:参数窗口结构化成果的版本号与工艺澄清项清单;焊缝编号体系的发布版本;焊接工艺评定报告的入库版本与重要因素覆盖范围表版本;以及影子观测与提醒两级的推进状态与提醒规则的发布版本。提醒规则每次发布前的评审记录随轮次归档。
场景报告按 4.3 节的九章体例出具,本场景填入的内容为:被验证能力清单与条目对照(十三项);数据就绪度结论(三类工位的采集能力分档、位置口径三档的规模统计、感知设备到位情况);验证资产说明(图像标注集按类别的规模与一致性、焊道档案集按两条生产路线的组织、回放窗口长度);执行情况(三批执行的版本登记、影子观测与提醒两级的记录、岗位四类标记分布);逐项判定结论,按工位类型与检测档位分列,不合并;数据集贡献度结论(视觉线两组实验、语言线三组对照、对齐样本消融结论);归因分析(关联不上、误报偏多、漏报、样本偏差四类分列,样本偏差须量化说明方向);可用性结论与档位说明;改进需求与优先级。报告另附分工况参数推荐的回溯对比报告与对齐工作的投入优先级建议。
版本关联按三元标识执行,本场景另绑三项:工艺规程与参数窗口版本、焊缝编号体系版本、提醒规则版本。任一越窗判定绑定其所依据的窗口版本;任一预警与干预建议绑定当时生效的提醒规则版本,规则调整后历史结论保留其当时版本,便于判断误报下降来自规则改进还是数据改善。三流关联记录以焊道为键,参数段、视觉样本与检测结论各记其原始存储引用,使任一条检测结论可回溯到参数段与视觉样本。
决策层融合的做法在热处理与健康诊断两个场景有对应。热处理的曲线判定与外观判定、健康诊断的振动判定与温度判定,都是多路判别需要合成一个结论的情形;三处都采用决策层融合而非特征层融合,理由相同:各路的采样率、时间基准与覆盖范围差异大,特征层对齐的误差会污染各路;而决策层融合的每一步可解释,岗位看得懂为什么报警。各路不一致作为待查信号记录这一做法,在三处通用。
影子运行这一执行方式在健康诊断场景直接复用。两个场景的共同点是结论要推送到岗位,而推送质量不过关会造成不可逆的信任损失,提醒一旦泛滥,岗位就不再看,这项能力的价值即归零。因此两个场景都按影子观测与提醒两级推进,门限在观测阶段用回看核验的方式调,不在真实推送中试错。岗位标记的四类分布(确认有效、确认无效、暂不判断、需复核)是规则收敛的共同依据。
位置口径统一这一工作在热处理场景有较轻的对应:热处理的检验部位与抽检点位同样须一次性约定并建档,否则硬度结果落不到部位上,同批不均的定位无从谈起。本场景的位置三级定位体例(对象编号加里程加层道)与热处理的部位分区体例虽不同,但「位置定义与容差先行」这一原则一致,已写在 2.1.17 节。
样本偏差的量化说明这一做法,在六个场景通用但以本场景最典型。凡历史样本经过人工筛选或只来自某一特定环节的,其分布不是真实总体的随机抽样;处置是量化说明偏差的性质与方向,并用前向自动留痕补充,而不是在报告中含糊带过。
刮板输送机是矿山综采工作面核心输送装备,长期在重载、粉尘、潮湿、大倾角工况下运行,关键部件(链条、链轮、溜槽、减速器、电机、联轴器、液压系统)易出现磨损、疲劳、裂纹、松动、卡滞、渗漏等故障。招标文件指出当前主要依靠现有装备远程运维服务平台进行监控,存在机理规则适配性不足、多模态诊断样本数据管理缺失等问题;场景方向是基于实时运行数据、设备历史故障记录、点检巡检数据、维修保养记录、设备说明书、失效分析报告、运行工况参数构建高质量刮板机健康诊断数据集,通过物联网采集电流、电压、温度、振动、张力、转速、油压、流量等状态数据,结合 AI 模型实现诊断数据样本管理、基于时序模型的历史数据分析、工况识别、故障分析及规则智能编排,提升现有平台诊断的准确性、针对性、易用性和持续优化能力。
招标文件最后那句话定了本场景验证的性质:这里要验证的是「提升」,而不是「从零建成」。企业已建成售后服务管理系统,实现刮板机运行、运维、故障维保数据的集中汇聚与统一管理,并已具备阈值报警、多参数组合判断、智能问答、预警分析与报告生成等能力;既有的运行判断也已不是单参数越限报警,而是带失效机理的多参数组合判断,可依据负载在后台动态调整阈值。因此本场景的验证必须是对比式的:以既有平台在同一样本集上的表现为基线,验证新判据、新规则与新模型带来的增量。只给一组绝对指标,说明不了「提升」,也无法向甲方证明这笔投入的价值。这一条是本场景判据设计的起点。
在此基础上,验证设计有六处关键判断。
第一处是诊断对象的收敛。监测侧的对象已经清楚:电动机、传动系统、链轮轴组三大传动部件,加上刮板链与中部槽的磨损量,以及张紧制动装置与电气控制。三大件上已布有振动、轴承与壳体温度、油位与油温,冷却系统有水温、进水流量与压力,电机侧有三相电流、转速与功率;刮板链另有断裂预警装置可独立输出预警结果与断点大致位置。除油液分析外主要参数基本齐备。对象收敛是好事,它使故障名录与标签体系可以做得具体,而不必泛泛覆盖「所有可能的故障」。
第二处是诊断结论的粒度差。既有能力的结论落到测点与参数组合,落不到具体部件与失效形式:「减速器测点振动升高」推进不到「哪一级、哪个轴承、什么性质的损伤」。招标文件要求的部件级诊断(明确列出链条、链轮、溜槽、电机、减速器、液压系统六类部件的典型故障)正是要补这一段。粒度从测点级推进到部件级,是本场景能力增量的主要内容,也是验证指标的主要落点。
第三处,也是本场景专业性最集中的一处,是振动诊断在刮板输送机上的成立条件。常规振动诊断方法的三个前提是转速稳定、载荷平稳、传递路径不变,而刮板输送机三条全不成立:链传动本身有速度波动,煤流量变化使载荷大幅起伏,井下三机搭接产生的外部激励还在改变传递路径,支架推溜时整体推拉输送机,采煤机直接在中部槽上行走。其中最要紧的是链传动的多边形效应:刮板链绕过链轮时链节以多边形而非圆周方式啮合,链速按链轮齿数产生周期性起伏,形成一组由链速、链节距与链轮齿数共同决定的固有冲击激励;它的频率成分往往与齿轮啮合频率、轴承特征频率处在同一量级,足以把后者淹没。
这一条对验证方案的意义在于,它既是难点也是可解的。链速、链节距与链轮齿数都是设备档案里的已知量,激励频率可以直接算出来,算得出就减得掉。分离之后剩余的冲击成分才具备诊断意义。而多边形效应本身的幅值与相位变化,反过来又是链条伸长与链轮齿形磨损的一项间接指标。因此本方案把干扰分离单列为一项验证能力,判据是分离前后部件级特征频率的信噪比改善,以及分离后部件级判据的误报下降幅度。这一项是本场景最能体现技术含量的验证内容,也是「机理规则适配性不足」这一问题的直接应答。
第四处是轴上角位置基准的缺失。键相或编码器信号当前无部署,而阶次分析与相位类判据的成立依赖它。缺失时结论止于测点级,部件级归因不成立。这一条必须如实写明并分档,不能含糊过去。没有角位置基准而声称能做部件级定位,专家一问就穿。处置是把它列为按证据分级的加装首选项,并在未加装期间把相关验证项按受限档执行。
第五处是采集链路的可信性。井下传感器损坏率高,过保后少有人报修,已失效的通道仍在参与判断,测点在线率随运行时间下降。这造成一类特别隐蔽的问题:一个读数恒定不变的温度通道,在统计上看起来比正常通道更「平稳」,用它做判断不会报警,而实际情况可能是设备已经出问题而传感器早就坏了。因此采集链路体检是本场景 L1 的第一道关口,且它本身是一项验证能力:体检要能识别出失效通道、漂移通道与饱和通道,并把它们从判断链中摘除。
第六处是标签的来源。处置完成后的检查项、拆检发现、更换部件与恢复情况没有结构化回到数据链上,故障与数据段的对应关系因此建立不起来,历史数据没有事件级标签。这一条决定了本场景的样本工作是整个项目中最费力的:故障样本不能靠标注历史数据得来,只能靠「维修事实回填」与「历史工单回溯配对」两条路逐例配对。回填须在服务工单增设结构化字段,这是流程改造;回溯配对则受时序数据保存期限的约束。两条路的产出速度都不快,因此本场景的样本覆盖按类别统计覆盖度,未达标类别以机理判据与趋势外推给出结论并标明,不假装样本已经够了。
招标文件四条验证要求展开为十二项能力。
表 2-32 刮板输送装备健康智能诊断场景被验证能力
| 编号 | 被验证能力 | 判据性质 | 层级 |
|---|---|---|---|
| X6-1 | 采集链路体检与失效通道识别 | 统计性,L1 前置 | L1/L2 |
| X6-2 | 诊断标签体系建立 | 体系完备性与可用性 | L2 |
| X6-3 | 从历史数据划取典型故障样本 | 配对率与覆盖度 | L2 |
| X6-4 | 样本质量检查与审核、版本管理、来源追溯 | 流程完整性 | L2 |
| X6-5 | 机理规则台账管理 | 台账完备性 | L2 |
| X6-6 | 按工况生成候选规则 | 统计性,配可解释率 | L2 |
| X6-7 | 规则离线回放、效果验证与对比分析 | 对比基线 | L2/L3 |
| X6-8 | 工况识别与干扰分离 | 统计性 + 信噪比改善 | L2 |
| X6-9 | 时序数据价值挖掘与历史数据质量分析报告 | 报告完备性与结论可核对 | L2 |
| X6-10 | 相似故障模式搜索 | 统计性,命中率 | L2 |
| X6-11 | 实时在线异常检测与持续优化 | 召回率、误报率与收敛趋势 | L2/L3 |
| X6-12 | 报警的原因分析、处置方法与备件准备建议 | 统计性 + 采纳率 | L3 |
表 2-32 数据来源:招标文件逐条拆解。
X6-7 是本场景判据体系的枢轴。招标文件要求「使用历史样本对不同规则展开离线回放、效果验证和对比分析」,这正好给了对比式验证的依据:同一批故障样本与正常样本,既有规则跑一遍、新规则跑一遍,比召回、比误报、比定位粒度。本方案把所有部件级判据的效果都挂到这一项上报告,使「提升」有确切的度量。
X6-12 的备件准备建议要特别说明。建议的正确性不能只看「建议的备件是否与实际更换的一致」,还要看时效,提前太多会造成库存占用,提前不足等于没建议。因此这一项的判据分两部分:建议备件与实际更换备件的一致率,以及建议提出时点相对实际更换时点的提前量分布。后者按分布报告而不是按均值,因为均值会把「有些提前三天、有些提前三个月」平均成一个看不出问题的数。
在役设备分布在不同矿井,既有系统、传感配置、数据保存周期与授权状态逐矿点不同。L1 的最小组合是三项:设备与部件档案,至少含型号与主要配置;一路可用的运行数据通道;服务工单。三项齐备可把一台设备纳入验证范围。
矿方数据授权是第一项核验,且是前置于一切的一项。实施准备期逐矿点确认授权范围与回传条件,形成可实施矿点清单;授权不可得的矿点按不依赖新增测点的手段缩减范围交付,交付内容与统计口径以该清单为准。矿方运行数据的处理位置与外传范围以矿方授权为准,这一条在验证方案中明确,不以技术便利为由扩大数据使用范围。
设备与部件档案是第二项,它决定部件级判据能否成立。所需字段含电机参数、减速器各级传动比与齿数、轴承型号与位置、链轮齿数与节距、中部槽规格、倾角与设计运量。传动比、齿数或轴承型号缺失时,该设备的部件级判据自动关闭并列入补录清单,由设计与技术部门补录。这不是可以估算的参数,特征频率算错一个倍频,诊断结论就指向别的部件。链轮齿数与链节距这两项还有第二重用途:它们是多边形效应激励频率的计算输入,缺失则干扰分离无从进行。
采集链路体检是第三项,也是本场景独有的一项。体检内容四类:测点覆盖度评估(哪些部件完全没有感知,形成无感知失效清单)、通道有效性判定(识别失效、漂移、饱和与常值通道)、采样能力核查(原始波形是否可得,仅有分钟级均值的通道只支撑趋势与事件管理,部件级定位不成立并如实标注),以及转速可靠性核查(转速不可靠则阶次分析不成立)。体检结果直接决定每台设备进入哪一档分析,也是加装建议的依据。体检本身要出一份报告,并作为 X6-1 的验证对象。
轴上角位置基准是第四项,按加装项处理。缺失时阶次分析与相位类判据不成立,结论止于测点级;加装后可支撑部件级归因。本方案把它列为按证据加装的首选项,并在验证方案中写明:加装前后的对比本身可作为一组实验,用来向甲方量化这一项加装换来了多少诊断能力。
服务事实的结构化是第五项,它是故障样本配对的唯一来源,不可省。所需字段含服务工单、检查项结果、拆检发现、更换备件编码、处置与恢复时间。现记录粒度与结构化程度不足,须在服务工单增设结构化回填字段。L1 的要求是回填入口投用并完成不少于五十条试填,其中拆检发现字段的填写质量单独核查。这一字段最容易被填成「已处理」三个字,而它恰恰是标签的实质内容。
其余各类的核验方式同理:测点与采集配置(测点清单、方向、量程、采样率、安装位置);运行时序数据(须明确各通道的保存周期与循环覆盖规则);报警与既有专项子系统结果(阈值报警日志、断链预警、油液分析、工况监测与大块煤识别、哑铃销丢失监测,直接取其结果并完成对象绑定,不重复分析,断链预警装置的保护功能保持独立,本方案只接入结果、不替代其功能);备件与工艺知识(备件编码与故障编码的对应关系需一次性建立);故障机理知识与故障名录(由机理研究产出并形成受控文件,是判据、测点与标注的共同依据,须先行交付首版)。
时序数据的保存期限在本场景同样是一个不可追补的问题,与热处理场景同类。各通道的保存周期须先行确认,并在项目启动阶段导出一段完整的历史时序数据与对应工单记录用于回放,避免样本随保存周期流失。
招标文件把标签体系与样本管理列为第一条验证要求,这一条在六个场景中比较特殊。它验证的不是一个分析能力,而是一套数据管理机制。因此判据也不同,重在体系的完备性、可用性与流程的闭合。
标签体系按三层组织:部件层,覆盖招标文件所列六类部件并细化到可诊断的子部件(减速器分级、轴承位置、链轮与链条、溜槽区段);失效模式层,按磨损、疲劳、裂纹、松动、卡滞、渗漏等类型并结合机理研究细化;证据等级层,按证据强度分档。证据等级这一层是本方案特有的设计,分四档:拆检确认(有拆检发现记录)、更换确认(有备件更换记录但无拆检描述)、处置推断(有处置记录可推断失效形式)、趋势疑似(仅有数据异常而无处置事实)。分档的作用是让每一个样本都带着它的可信度一起进入训练与评测,四档样本的使用方式不同,拆检确认档可作金标准,趋势疑似档只能用于无监督的模式发现,不能作为评测参考答案。证据等级判定分歧时一律按较低等级采纳。
样本管理的验证按流程闭合度考察四件事:质量检查(通道有效性、数据段完整性、工况一致性三项自动校验)、审核(双人独立判定部件与失效模式,数据段区间按起止时刻偏差比对)、版本管理(样本集按版本冻结,变更留差异记录)、来源追溯(每个样本可追到其原始数据段、工单编号与判定依据)。四件事各有可核对的产物,验证方式是抽样核查而不是看功能演示。
样本覆盖度按部件与失效模式的组合统计,并按证据等级分层报告。首轮验证不预设覆盖率门限,只要求如实统计并列明哪些组合样本不足;不足的组合在诊断中以机理判据与趋势外推给出结论,并在输出上标明该结论未经样本验证。这一处置写明是必要的:故障样本按真实故障的发生速度积累,承诺一个覆盖率等于承诺故障的发生频率,那是无法兑现的。
本场景的验证资产分三类。
故障样本集按部件、失效模式与证据等级三维分层。合计不少于三百个配对样本,其中拆检确认档不少于八十个。每个样本含故障事实(部件、失效模式、处置内容)与对应的数据段(起止时刻、涉及通道、当时工况)。样本按机型分组,首期覆盖的机型在可实施矿点清单确定后列明。
正常样本集用于误报率统计,规模不少于故障样本的五倍,按工况分层抽取:重载、空载、启停、堵转等工况各有覆盖。正常样本的选取有一个容易忽略的要求:须经确认该时段设备确实无故障,而不是「无报警」。无报警不等于无故障,用无报警时段作负样本会把漏报学成正常。确认方式是比对该时段之后一个检修周期内的拆检与更换记录。
规则回放集用于 X6-7,是故障样本与正常样本的合集,加上既有平台在这批样本上的历史判断结果。第三部分是对比验证的参照,须从既有平台的报警日志中按时间与设备对齐提取。
构造样本不少于六十例,覆盖五类情形:通道失效但读数看似正常、多通道并行报警实为同一次劣化、支架推溜期间的外部激励干扰、采煤机通过中部槽时的激励干扰,以及转速不可靠时段。前两类针对招标文件所提的多模态样本管理与规则适配问题,后三类针对干扰分离能力。
用例集分七组:体检组(X6-1)、标签与样本组(X6-2 至 X6-4)、规则台账组(X6-5)、规则编排与回放组(X6-6、X6-7)、工况与分离组(X6-8)、时序分析组(X6-9、X6-10)、在线检测与处置建议组(X6-11、X6-12)。
本场景的验证智能体把一次诊断拆成六步:采集链路体检、工况分段与干扰分离、同工况基线比较、部件级信号分析、多通道归并与事件形成,以及归因与处置建议生成。
分工上,前四步以确定性与信号处理为主。采集链路体检按规则判定通道状态;工况分段按转速、电流与煤流量特征划分;干扰分离按运动学参数计算多边形效应的激励频率并从频谱中剔除,这一步完全是确定性的:链速、链节距与链轮齿数三个量给定,激励频率即确定;部件级信号分析用包络谱、阶次分析与特征频率匹配三类方法,特征频率由设备档案中的传动比、齿数与轴承型号算出。第五步的多通道归并按同源判定规则合并,避免同一次劣化被报成多条。第六步由模型与机理规则联合承担:机理规则给出候选失效形式及其判据依据,模型负责在候选中排序、组织原因分析的叙述,并按故障编码与备件编码的对应关系给出备件建议。
三类诊断模型的承载方式沿用既有体系,不另建独立的模型库系统:诊断模型的注册、版本管控、效果评估与按需调度沿用既有平台的统一纳管能力,机理规则纳入其现有规则引擎管理;模型的训练、评测与发布在本项目的训推平台与数据集管理能力上进行。两层以既有的注册规范与服务接口衔接。本场景的验证智能体一律通过本项目的智能体开发能力实现,不在统一技术架构之外独立建设。
同工况基线替代固定阈值是本场景的一项方法选择,要写明理由与回退。刮板输送机的信号含三机联动的耦合干扰,固定阈值在不同工况下意义不同,误报会高到岗位不看;同工况基线的做法是按工况段分别建立正常范围,比较时只与同工况的基线比。工况识别不可靠时退回固定阈值并只做趋势与事件管理,这一回退在判据中体现为分档。
人审检查点设两处:规则发布前、处置建议下达前。前者是因为规则直接决定报警量;后者是因为处置建议与备件建议进入服务流程,须由售后技术岗位认过。
六步之中,四步设步级判据。
采集链路体检这一步的判据与 X6-1 共用,但另立一项「摘除执行率」:被判定为失效、漂移或饱和的通道,是否确实从后续判断链中摘除。这一项用构造样本检验:投放一个读数恒定不变的温度通道,看该通道是否被摘除且相关判据是否相应降档。基线写成全量,漏一次即判不通过,理由与热处理的计量前置检查相同。
工况分段与干扰分离这一步的判据是工况识别正确率与信噪比改善,口径见 2.7.2.11 节;另立一项「运动学参数来源正确率」:多边形效应的激励频率由链速、链节距与链轮齿数算出,三项须取自设备档案而非估算值,取自估算值的次数为零。这一项看似琐碎,实则是分离能否有效的前提:齿数取错一个,剔除的就是别的频率成分,而频谱上看不出异样。
部件级信号分析这一步的判据是特征频率计算的正确性与分档执行的正确性。前者按设备档案逐项复算;后者指在角位置基准缺失、转速不可靠或仅有分钟级均值的情形下,是否按规则退到对应档位而不是照常给出部件级结论。
归因与处置建议这一步的判据是主因命中率、处置方法可用率与备件建议一致率,口径见 2.7.2.11 节;另立证据等级标注的正确率,每一条结论须标明其所依据样本的证据等级,趋势疑似档的结论不得按拆检确认档的口径陈述。
人审检查点两处,规则发布前与处置建议下达前。前一处的判据与焊接场景同理,是规则评审覆盖率;后一处的判据是建议内容的签认完整率,因为处置建议与备件建议进入服务流程后会引发实际的人力与备件安排。
举一个减速器高速轴轴承损伤的故障样本为例,该样本为拆检确认档,有拆检发现记录与备件更换记录。
第一步采集链路体检。查该设备在该时段的通道状态:振动通道是否有效、转速通道是否可靠、温度通道有无漂移或常值。本例假定振动通道有效、转速可用,但某一路温度通道读数长期恒定,该通道须被判为失效并摘除,不参与后续判断。摘除执行率是步级判据,基线写成全量。
第二步工况分段与干扰分离。先按转速、电流与煤流量特征划分工况段,剔除支架推溜与采煤机通过中部槽的时段;再按运动学参数计算多边形效应的激励频率并从频谱中剔除。激励频率由链速、链节距与链轮齿数算出,三项取自设备档案。本例若链轮齿数在档案中缺失,这一步不成立,该设备的部件级判据自动关闭并列入档案补录清单。这不是可以估算的参数,齿数取错一个,剔除的就是别的频率成分,而频谱上看不出异样。
第三步同工况基线比较。与该设备同工况段的历史正常范围比较,而不是与固定阈值比较。本例若该设备近期运量上升、载荷整体偏高,固定阈值会把整段时间都报成异常,同工况基线则只报出真正偏离的部分。
第四步部件级信号分析。按设备档案中的各级传动比、齿数与轴承型号算出齿轮啮合频率与轴承特征频率,用包络谱与阶次分析在分离后的频谱中匹配。本例的高速轴轴承外圈特征频率及其倍频若出现并伴有边频,指向外圈损伤。此处的前提是轴上角位置基准可用。若未加装,阶次分析与相位类判据不成立,结论只能止于「该测点振动偏高」,这就是 A 档与 B 档的实际差别。
第五步多通道归并与事件形成。同一次劣化在振动、轴承温度与电机电流三个通道上可能各自触发报警,须按同源判定规则合并为一条事件。本例的三条报警若未合并,岗位看到的是三件事,这正是招标文件所指的现有问题之一。
第六步归因与处置建议。归因结论为高速轴轴承外圈损伤,证据是分离后的特征频率匹配与同工况基线偏离;处置方法取自维修工艺库;备件建议按故障编码与备件编码的对应关系给出,并给提前量。判据三项:主因命中率(与拆检发现比对)、处置方法可用率(由售后技术岗位判定)、备件建议一致率与提前量分布。
这条用例同时是规则离线回放对比的一个样本:既有平台在同一数据段上的判断结果为「减速器测点振动升高」,落到测点级;新判据给出「高速轴轴承外圈损伤」,落到部件级并带失效形式。两者在同一样本上的差别,就是 2.7.2.11 节所说的定位粒度提升的具体含义。
2-8 健康诊断场景的干扰分离与分档验证
图 2-8 健康诊断场景的干扰分离与分档验证。数据来源:招标文件;多边形效应、三机搭接激励与既有平台能力依甲方现行运维体系与装备结构。
本场景验证的是提升而不是从零建成,这一性质决定了本表与其余五个场景最大的不同:X6-7 一行的基准答案栏里并列两件东西,故障事实是客观答案,既有平台在同一批样本上的历史判断结果是对比基线,提取后冻结,新规则的召回与误报都按与它的差值报告。只给一组绝对指标说明不了增量,这是本场景判据设计的起点。
样本结构一栏有两处取值须说明来由。正常样本不少于故障样本的五倍,且须经确认该时段设备确实无故障,而不仅是无报警——无报警不等于无故障,拿无报警时段作负样本会把漏报学成正常,确认方式是比对该时段之后一个检修周期内的拆检与更换记录。拆检确认档不少于八十个,是因为四档证据中只有这一档可作评测参考答案,趋势疑似档只能用于无监督的模式发现。X6-8 一行的基准答案由链速、链节距与链轮齿数直接算出,属客观值,这一行支撑的是干扰分离一项可被独立复算的承诺。
表 2-33 刮板输送装备健康智能诊断逐项验证的数据、样本与基准答案
| 能力 | 来源数据 | 样本结构 | 基准答案与其来源 | 执行环境与对照组 |
|---|---|---|---|---|
| X6-1 采集链路体检 | 测点清单与采集配置;各通道的运行时序数据;转速通道 | 可实施矿点清单内设备全集,按通道计 | 人工核查结果(失效、漂移、饱和、常值四类判定) | 规则判定;不设对照组 |
| X6-2 诊断标签体系 | 故障名录;机理研究产出的受控文件;备件与故障编码对应关系 | 按部件与失效模式组合统计覆盖,证据等级四档分层 | 招标文件所列六类部件的典型故障清单,经甲方售后与技术部门确认 | 体系完备性核查;不设对照组 |
| X6-3 典型故障样本划取 | 服务工单、检查项结果、拆检发现、更换备件记录;运行时序数据段 | 配对样本不少于 300 个,拆检确认档不少于 80 个;正常样本不少于故障样本五倍,按重载、空载、启停、堵转分层 | 故障事实(部件、失效模式、处置内容)与其对应数据段;正常样本须经确认该时段确无故障,而不仅是无报警 | 回填与回溯配对两条路;不设对照组 |
| X6-4 样本质量检查与版本管理 | 样本集;质量校验规则;版本与来源追溯记录 | 四项各抽查不少于 30 个样本 | 四项流程各自的可核对产物 | 抽样核查,不看功能演示;不设对照组 |
| X6-5 机理规则台账 | 故障机理知识;适用机型与工况条件;依据出处 | 六类部件的典型故障逐条建账 | 受控机理文件为依据来源 | 台账完备性核查;不设对照组 |
| X6-6 按工况生成候选规则 | 工况分段结果;机理判据;历史样本 | 按工况场景计候选规则条数 | 售后技术岗位对候选规则可用性的判定 | 规则生成加人工评审;三组对照用于规则依据的叙述部分 |
| X6-7 规则离线回放与对比 | 故障样本集与正常样本集;既有平台在同一批样本上的历史判断结果 | 回放集为两类样本的合集;既有平台结果按时间与设备对齐提取 | 故障事实为客观答案;既有平台结果为对比基线,提取后冻结 | 同一批样本新旧规则并跑;按部件分列报告增量 |
| X6-8 工况识别与干扰分离 | 转速、电流、煤流量特征;设备档案中的链速、链节距与链轮齿数;三机搭接事件 | 工况段按人工标注为参考;分离实验按样本计信噪比改善 | 工况段的人工标注;多边形效应激励频率由运动学参数算出,为客观值 | 确定性计算与信号处理;另做分离消融两组 |
| X6-9 时序数据价值挖掘与质量分析报告 | 各通道的运行数据;保存周期;缺失分布 | 按设备出具报告 | 五项结论(通道有效性、采样能力、保存周期、缺失分布、可用分析层级)逐项可核对 | 统计分析;三组对照用于报告叙述部分 |
| X6-10 相似故障模式搜索 | 故障样本集的特征表示;工况归一方法 | 查询不少于 150 次,覆盖六类部件 | 售后技术骨干判定的相似样本集合,前五位命中为度量 | 特征检索加沙箱;三组对照 |
| X6-11 实时在线异常检测 | 验证期内的在线数据流;同工况基线 | 按验证期内经确认的异常计召回,按报警条数计误报,并按月统计收敛趋势 | 事后确认的异常事实 | 影子观测与提醒两级;不做微调对照 |
| X6-12 原因分析、处置与备件建议 | 分离后的频谱与特征频率;机理判据;维修工艺库;故障与备件编码对应关系 | 按报警事件与建议条目计 | 拆检发现为主因的客观答案;处置方法与备件建议由售后技术岗位判定 | 机理规则给候选、模型排序;三组对照并叠加偏好对齐版本 |
表 2-33 数据来源:能力编号与标书依据见表 2-32;三类验证资产的组织见 2.7.2.4 节;证据四档定义见 2.7.2.3 节。
本场景的指标公式有三处写法与其余场景不同,三处都来自招标文件原文自带的前提。其一,X6-7 的三项指标均以与既有平台同口径之差报告,因为招标文件相应条款要求的是在同一批历史样本上作对比分析,绝对值说明不了增量。其二,X6-11 的误报率要求按月给出收敛曲线,因为招标文件相应条款的要求是实时在线异常检测并持续优化模型准确性,一次测得的误报率证明不了持续优化,趋势才是它的证据。其三,X6-12 的备件建议提前量按分布报告而不取均值,均值会把少数极早与极晚的建议抹平,而现场关心的恰是分布的两端。
X6-1 一行是本场景的第一道关口,它的闭环责任栏写明失效通道的摘除漏执行一次即判该轮不通过:一个读数恒定不变的温度通道在统计上比正常通道更平稳,用它参与判断不会报警,而设备可能早已出问题。其余各条照录招标文件相应条款原文要求,均未设数值门槛。
表 2-34 刮板输送装备健康智能诊断逐项验证的指标公式与闭环责任
| 能力 | 指标公式与统计单位 | 招标门槛与原文前提 | 人工复核 | 失败归因、补采返工与复测 |
|---|---|---|---|---|
| X6-1 | 正确识别的失效通道数 ÷ 系统判定的失效通道数(查准);正确识别数 ÷ 人工核查确认的失效通道数(查全);另计被判失效通道的摘除执行数 ÷ 应摘除数 | 招标文件相应条款要求历史数据质量分析,通道有效性为其内容,未设数值门槛 | 运维岗位抽查通道状态判定 | 漏识别逐例核查判定规则;摘除漏执行一次即判不通过,修复后重跑全部构造样本 |
| X6-2 | 已建标签的部件与失效模式组合数 ÷ 应覆盖组合数 | 招标文件相应条款要求建立诊断标签体系,原文前提是覆盖六类部件的典型故障 | 售后与技术部门确认组合清单 | 未覆盖组合列入待补,随机理研究深化扩充后复核 |
| X6-3 | 可配对故障事件数 ÷ 已记录故障事件数;按组合与证据等级统计样本覆盖度 | 招标文件相应条款要求从历史数据划取典型故障样本,未设数值门槛 | 售后技术岗位核对配对的数据段与工单时间 | 未配对事件列原因(数据段已覆盖、工单无时间、通道当时已失效);三类均属客观限制,如实统计不强行配对;回填积累后按月复测配对率 |
| X6-4 | 四项分别计:可核对样本数 ÷ 抽查样本数 | 招标文件相应条款要求样本质量检查与审核、版本管理、来源追溯 | 抽样核查而非功能演示 | 不可核对项判定未完成;流程补齐后重新抽查 |
| X6-5 | 有完整规则条目的典型故障数 ÷ 典型故障数;每条须含判据、适用机型、适用工况与依据出处 | 招标文件相应条款要求机理规则台账管理,原文列出六类部件的典型故障 | 售后技术岗位核对规则依据出处 | 缺项补齐后复核;依据出处缺失的条目不进台账 |
| X6-6 | 经判定可用的候选规则数 ÷ 候选规则数;可追到机理判据与出处的条数 ÷ 候选规则条数 | 招标文件相应条款要求按工况生成候选规则,未设数值门槛 | 售后技术岗位逐条判定可用性 | 不可用项记录原因并补约束后重新生成;不可解释条目不进台账 |
| X6-7 | 三项分别计:新规则召回的故障样本数 ÷ 故障样本数,与既有平台同口径之差;新规则误报条数 ÷ 正常样本时段数,与既有平台同口径之差;结论达部件级的样本数 ÷ A 档设备故障样本数 | 招标文件相应条款要求使用历史样本对不同规则展开离线回放、效果验证和对比分析,原文前提是同一批历史样本 | 售后技术岗位按部件核对新旧结论差异 | 未达项逐例归因到判据或样本;误报上升的规则撤回并修订后重跑同一回放集 |
| X6-8 | 工况段识别正确数 ÷ 工况段数;分离前后部件级特征频率的信噪比差值,按样本分布报告;分离后误报条数 ÷ 正常样本时段数,与分离前比 | 招标文件相应条款要求工况识别与时序数据价值挖掘,未设数值门槛 | 运维与技术岗位核对工况分段结果 | 无改善样本先核运动学参数来源(须取自设备档案,估算值次数为零);参数缺失的设备部件级判据自动关闭并列入档案补录清单 |
| X6-9 | 五项结论齐备且可核对的设备数 ÷ 出具报告的设备数 | 招标文件相应条款要求出具历史数据质量分析报告,未设数值门槛 | 技术岗位核对结论与原始统计 | 缺项补齐后复核 |
| X6-10 | 相似样本在前五位命中的查询数 ÷ 查询数 | 招标文件相应条款要求相似故障模式搜索,未设数值门槛 | 售后技术骨干判定相似性 | 未命中项核查特征表示与工况归一;特征维度补齐后复测 |
| X6-11 | 命中的经确认异常数 ÷ 经确认异常数;误报条数 ÷ 报警条数,并按月给收敛曲线;合并为一条的同源事件数 ÷ 同源劣化事件数 | 招标文件相应条款要求实时在线异常检测与持续优化模型准确性,原文的「持续优化」以收敛趋势为其证据 | 岗位对报警作有效或无效标记 | 漏报逐例归因;误报归因后调整门限,每次调整的时间、取值与理由留痕,收敛曲线进报告;未合并项核查同源判定规则 |
| X6-12 | 主因命中的报警事件数 ÷ 报警事件数;经判定可用的处置方法条数 ÷ 建议条数;建议备件与实际更换一致的条数 ÷ 建议条数,提前量按分布报告不取均值 | 招标文件相应条款要求给出报警的原因分析、处置方法与备件准备建议,未设数值门槛 | 售后技术岗位逐条判定处置方法与备件建议 | 归因不命中先看证据等级,趋势疑似档不计入分母;备件不一致的核故障与备件编码对应关系,映射补全后复测全部建议 |
表 2-34 数据来源:招标门槛一栏照录招标文件原文要求;指标数值见表 2-36;对比式验证的组织方式见 2.7.1 节。
本场景的异常用例多数不是系统答错了,而是系统本不该答。五类构造情形里有三类直接针对井下的干扰条件——支架推溜期间的外部激励、采煤机通过中部槽时的激励、转速不可靠时段;另两类针对数据管理,通道失效但读数看似正常、多通道并行报警实为同一次劣化。这一组用例要证明的是诊断结论带着它的成立条件一起输出,而不是在条件不足时照常给出一个部件级的判断。
读表时有两行可作全表的索引。X6-8 行的异常用例是设备档案缺链轮齿数,期望输出为部件级判据自动关闭——多边形效应的激励频率由链速、链节距与链轮齿数算出,少一个量就算不出来,算不出就减不掉,部件级结论无从谈起。X6-12 行的异常用例是趋势疑似档样本,期望输出为结论不得按拆检确认档的口径陈述,证据等级分层这一设计的作用在这里体现得最直接。三类用例分别统计,异常类不混入主指标分母。
表 2-35 刮板输送装备健康智能诊断的三类用例
| 能力 | 正常用例 | 边界用例 | 异常用例 |
|---|---|---|---|
| X6-1 | 通道齐备且读数正常的设备体检 | 通道读数缓慢漂移,尚未越限 | 温度通道读数长期恒定,须判失效并从判断链摘除 |
| X6-2 | 六类部件的常见失效模式建标 | 同一部件两种失效模式表现接近 | 某组合在历史上无任何判定记录,须标为样本不足而非编造标签 |
| X6-3 | 有拆检发现记录的故障事件配对 | 工单时间精确到日而数据段需精确到时 | 该时段时序数据已过保存期被覆盖,须记为客观限制不强行配对 |
| X6-4 | 常规样本的四项流程逐项核对 | 样本集换版,须保留差异记录 | 样本来源不可追溯,该样本不得进入评测参考答案 |
| X6-5 | 减速器各级典型故障的规则建账 | 同一故障在不同机型上判据不同,须分机型建条 | 规则无依据出处,不得进台账 |
| X6-6 | 重载稳定工况下生成候选规则 | 工况处于两类之间的过渡段 | 工况识别不可靠,须退回固定阈值并只作趋势与事件管理 |
| X6-7 | 同一批样本新旧规则并跑对比 | 某部件既有平台本来就判得不差,增量有限 | 新规则在正常样本上误报上升,须撤回并修订 |
| X6-8 | 链轮齿数与节距齐备的设备做分离 | 多边形效应频率与轴承特征频率接近 | 设备档案缺链轮齿数,部件级判据须自动关闭 |
| X6-9 | 通道与保存周期清楚的设备出报告 | 通道间保存周期不一致 | 仅有分钟级均值的通道,须标明不支撑部件级定位 |
| X6-10 | 典型轴承损伤样本检索相似案例 | 两类失效模式特征相近 | 查询样本工况与库内样本工况差异大,须作工况归一后再比 |
| X6-11 | 验证期内发生并经确认的异常 | 指标在同工况基线边缘波动 | 同一次劣化在振动、温度、电流三通道同时报警,须合并为一条事件 |
| X6-12 | 拆检确认档样本的归因与备件建议 | 两条候选成因证据相当 | 该事件仅为趋势疑似档,结论不得按拆检确认档的口径陈述 |
表 2-35 数据来源:用例组划分与构造样本的五类情形见 2.7.2.4 节。
表 2-36 刮板输送装备健康智能诊断场景的验证指标
| 能力 | 指标与统计单位 | 基线档 | 目标档 | 不达标处置 |
|---|---|---|---|---|
| X6-1 | 失效通道识别的查准率与查全率,按通道 | 以人工核查为参考,查准率 ≥90%,查全率 ≥85% | 两项各 ≥95% | 漏识别通道逐例核查判定规则 |
| X6-1 | 体检报告完备性,按设备 | 四类体检内容齐备,并输出无感知失效清单与加装建议 | 保持 | 缺项补齐后复核 |
| X6-2 | 标签体系覆盖度,按部件—失效模式组合 | 覆盖招标文件所列六类部件的典型故障;组合清单经甲方售后与技术部门确认 | 随机理研究深化扩充 | 未覆盖组合列入待补 |
| X6-3 | 故障样本配对率,按已记录故障事件 | ≥60%,其中拆检确认档不少于八十个样本 | ≥75% | 未配对事件列原因(数据段已覆盖、工单无时间、通道缺失等) |
| X6-3 | 样本覆盖度统计,按组合与证据等级 | 如实统计并列明样本不足的组合,首轮不预设门限 | 随回填进度逐类提升 | 不足组合的结论标明未经样本验证 |
| X6-4 | 样本管理流程闭合度,按抽样 | 质量检查、审核、版本管理、来源追溯四项各抽查不少于三十个样本,逐项可核对 | 保持 | 不可核对项判定未完成 |
| X6-5 | 机理规则台账完备性,按规则条目 | 六类部件的典型故障均有规则条目,每条含判据、适用机型、适用工况与依据出处 | 随机理研究扩充 | 缺项补齐后复核 |
| X6-6 | 候选规则生成的可用率,按工况场景 | 生成的候选规则经售后技术岗位判定可用的比例 ≥70% | ≥85% | 不可用项记录原因并补约束 |
| X6-6 | 候选规则的可解释率,按条 | ≥90%,每条可追到机理判据与依据出处 | 趋向全量 | 不可解释条目不进台账 |
| X6-7 | 回放对比:部件级判据相对既有平台的召回提升,按故障样本 | 在同一样本集上召回率提升不少于十个百分点 | 不少于十八个百分点 | 未达项逐例归因到判据或样本 |
| X6-7 | 回放对比:误报下降,按正常样本时段 | 同一样本集上误报率不高于既有平台水平 | 相对下降不少于三成 | 误报上升的规则撤回并修订 |
| X6-7 | 回放对比:定位粒度提升,按故障样本 | 结论达到部件级的样本占比 ≥55%(A 档设备) | ≥70% | 未达样本核查档位与档案字段 |
| X6-8 | 工况识别正确率,按工况段 | ≥88%,以人工标注为参考 | ≥93% | 错判逐例核查分段特征 |
| X6-8 | 干扰分离的信噪比改善,按样本 | 分离后部件级特征频率的信噪比有可测量改善,改善量按样本分布报告 | 改善样本占比提升 | 无改善样本核查运动学参数准确性 |
| X6-8 | 分离后部件级判据的误报下降,按正常样本 | 相对分离前有可测量下降 | 下降幅度提升 | 无下降则核查激励频率计算 |
| X6-9 | 历史数据质量分析报告完备性,按设备 | 含通道有效性、采样能力、保存周期、缺失分布与可用分析层级五项结论,逐项可核对 | 保持 | 缺项补齐后复核 |
| X6-10 | 相似故障模式搜索命中率,按查询 | 相似样本在前五位命中 ≥75% | ≥85% | 未命中项核查特征表示与工况归一 |
| X6-11 | 在线异常检测召回率,按验证期内经确认的异常 | ≥75% | ≥85% | 漏报逐例归因 |
| X6-11 | 在线异常检测误报率,按报警条数 | ≤25%,并按月统计收敛趋势 | ≤15% | 误报归因并调整门限,调整过程留痕 |
| X6-11 | 多通道归并有效性,按同源劣化事件 | 同一次劣化合并为一条事件的比例 ≥85% | ≥92% | 未合并项核查同源判定规则 |
| X6-12 | 原因分析主因命中率,按报警事件 | ≥70% | ≥80% | 未命中项复核机理判据 |
| X6-12 | 处置方法可用率,按建议条目 | 经售后技术岗位判定可用 ≥80% | ≥90% | 不可用项记录原因 |
| X6-12 | 备件建议一致率与提前量,按建议条目 | 建议备件与实际更换一致率 ≥70%;提前量按分布报告,不取均值 | 一致率 ≥82% | 不一致项核查故障与备件编码对应关系 |
表 2-36 数据来源:指标项对应招标文件;阈值为我方按矿点数据条件与既有平台水平设定的承诺口径,最终随蓝图设计确认。
四处阈值的取法说明。故障样本配对率的基线定在百分之六十,依据是配对的失败来源有三类客观原因:时序数据已过保存期被覆盖、工单无准确时间无法定位数据段、涉事通道当时已失效。这三类都不是努力能克服的,把配对率定到九成等于承诺历史数据的质量,那不在我方控制范围内。
召回提升与误报下降用相对既有平台的增量表述,而不是绝对值,理由在 2.7.1 节已述:本场景验证的是提升。用绝对值反而说不清,既有平台在某些部件上的表现本来就不差,在另一些部件上基本没有判据,合在一起取绝对值会把两种情况混掉。按部件分列报告增量,才看得出钱花在哪里有效。
定位粒度的百分之五十五只针对 A 档设备统计,这一点必须写明。B 档设备没有角位置基准,部件级定位在方法上就不成立,把它放进分母是在给自己设一个达不到的条款。
在线检测的误报率基线与库存场景同为百分之二十五,并要求按月统计收敛趋势。要求报趋势而不只报终值,是因为在线检测的门限需要在真实流量上逐步收敛,首月的误报率必然偏高;只报终值会掩盖收敛过程,而收敛过程本身是「持续优化模型准确性」这一要求的直接证据。
本场景另有四项门限由我方自行设定,其样本来源各不相同,测法分别写明。
候选规则可用率与定位粒度两项都在离线回放集上测。回放集由故障样本集与正常样本集合成,一次冻结后反复使用。候选规则可用率按工况场景计,由售后技术岗位逐条判定是否可用,首期按不低于百分之七十设定基线,观察期内趋向百分之八十五;定位粒度只在 A 档设备的故障样本上统计,分母是 A 档设备的故障样本数,分子是结论达到部件级的样本数,B 档设备不进分母,首期按达到部件级的样本占比不低于百分之五十五设定基线,观察期内趋向百分之七十。两项判定频次相同:首轮验证一次,此后每遇机理规则台账换版或设备档案字段补齐,在同一冻结回放集上重跑一次,前后两次结果并列报告,使增量可见。未达基线的逐例归因到判据与样本两侧,属判据的修订规则后重跑同一回放集,属样本的列明所缺的工况类别或通道段并转补采;A 档设备中因档案缺链轮齿数、链节距等参数而无法起算部件级结论的样本,按未达项如实计入并单列其规模,不从分母中剔除。
多通道归并有效性按同源劣化事件计,只能在验证期内按前向方式测:分母是验证期内经事后确认属同一次劣化的事件数,分子是被系统合并为一条上报的事件数,每月结算一次并给出按月曲线。首期按合并比例不低于百分之八十五设定基线,观察期内趋向百分之九十二。未合并的事件逐例核查同源判定规则,着重在振动、温度、电流三通道的时间窗设定与部件归属两项参数;每次参数调整的时间、取值与理由留痕,调整前后的月份分别报告,不把整个验证期合成一个数。
备件建议一致率的结算受实际更换时点约束,口径须先写清。分母是验证期内给出的备件准备建议条目数,分子是其中建议备件与该次故障实际更换备件相符的条目数;一条建议须待对应设备实际更换完成后方可结算,未到结算时点的条目不计入分母,验证期末仍未结算的另列待结算清单并报其规模。同一口径下另出提前量分布,即建议提出时点相对实际更换时点的提前天数,按分位数报告,不取均值。首期按一致率不低于百分之七十设定基线,按月滚动结算,验证期末汇总一次;观察期内趋向百分之八十二。不一致的条目逐条核查故障与备件编码的对应关系,映射缺失或错配的补全后复测全部已结算建议;属备件编码体系尚未建立对应关系的,如实列明所缺范围,该部分条目标注为未经验证,不计入一致率的分子与分母。
本场景做三组对照加两组专项,专项是本场景最有说服力的部分。
三组对照的题集取自场景基准题集中的原因分析、处置建议与相似案例检索三类题型,不少于一百二十题,全部来自真实工单、拆检记录与失效分析报告,不含合成数据。基座裸测组在刮板输送机这一特定装备上的表现会明显低于通用机械诊断:装备结构特殊、失效模式与煤矿工况绑定紧,通用语料覆盖薄。检索增强组接入故障机理知识库、设备参数库、维修工艺库、备件库、标准规范库与典型案例库六类,预期在处置方法与备件建议上提升显著,因为这两项本质上是知识查询加对应关系匹配。数据集适配组使用以本场景指令微调子集与偏好子集训练的模型版本;偏好数据来自检查顺序的优劣判断,面对同一组报警,先查什么后查什么有优劣之分,售后技术骨干的判断构成偏好对。这一组要报偏好判别准确率,并检查是否出现「建议把所有能查的都查一遍」这种取巧倾向,度量方式是建议检查项数的分布与骨干实际做法比对。
第一组专项是加装效果实验,针对轴上角位置基准。做法是在完成加装的设备上,分别用加装前后的数据跑同一套部件级判据,比较定位粒度与召回。这组实验的价值在于它把一项硬件投入的收益量化了,甲方可以据此决定在多少台设备上推广加装,而不是凭判断。
第二组专项是干扰分离的消融。做法是在部件级信号分析中分别关闭多边形效应分离与三机搭接工况分离,各跑一次,比较部件级特征频率的信噪比与误报率。这组实验直接验证 2.7.1 节所述的技术判断是否成立,也是「机理规则适配性不足」这一问题得到解决的直接证据。两项分离的贡献分开度量,因为它们的实现成本差别很大,多边形效应分离只需设备档案中的三个参数,三机搭接分离需要可靠的工况识别。
另外做一组维修事实回填的消融:抽掉由结构化回填产生的新样本,只用历史回溯配对的样本,看各项指标下降多少。这组实验度量的是服务工单结构化改造这项流程投入的价值,结论对甲方的流程决策有直接意义。
本场景的归因有四类高频情形。
部件级定位不准。排查顺序是先核设备档案的传动比、齿数与轴承型号。这三项错一个,特征频率就算到别的部件上,表现为「定位到了但定错了」,比定不到更危险;档案无误的,核转速取值与角位置基准的可用性;两项正常的,才查干扰分离是否充分。
误报集中在某类工况。排查重点是工况识别与同工况基线。若误报集中在支架推溜或采煤机通过的时段,说明外部激励未被分离干净,须核激励识别的时间窗;若误报集中在启停与堵转时段,说明基线分段不够细。
归因不命中。排查顺序是先看该事件的证据等级,趋势疑似档的事件本来就没有确定的失效形式,不应计入主因命中率的分母;证据等级足够而不命中的,核机理判据的覆盖,再核样本在该组合上的数量。
备件建议不一致。排查重点是故障编码与备件编码的对应关系,这一组映射当前需要一次性建立,映射不完整时建议必然偏差,属数据侧问题而非模型问题。
本场景分三批执行,是六个场景中排期最后的一个,原因是故障样本只能随真实故障逐步积累、验证窗口本身需要时长。第一批是体检组、规则台账组与时序分析组,前置条件是可实施矿点清单确定、设备档案补录完成、故障名录首版交付。第二批是标签与样本组、规则编排与回放组、工况与分离组,前置条件是服务工单回填入口投用并积累一段时间、历史时序数据导出完成、角位置基准在首批设备完成加装。第三批是在线检测与处置建议组,并进入观察期;观察期取不少于三个月,期内覆盖设备不少于可实施矿点清单中的三分之一。观察期内按月统计误报收敛趋势、岗位对处置建议的采纳情况,以及新增故障事件的样本配对速度。
交付物十一项:场景验证方案;可实施矿点清单与授权范围记录;采集链路体检报告,含无感知失效清单与按证据分级的加装建议;诊断标签体系(三层,含证据四档定义);故障样本集与正常样本集,含质量检查、审核、版本与来源追溯记录;机理规则台账;规则离线回放对比报告,按部件分列既有平台与新规则的召回、误报与定位粒度;历史数据质量分析报告,按设备出具;场景验证报告,含三组对照的能力增量表、加装效果实验结论、干扰分离消融结论与回填消融结论;加装与流程改造的优先级建议(基于三组专项实验);错题归因清单与数据集改进需求单。
用例级记录的必填字段与 4.1 节一致,本场景的输入对象标识为设备编码加数据段起止时刻,故障类用例另记服务工单编号。本场景的用例卡另加五项:该样本的证据等级(拆检确认、更换确认、处置推断、趋势疑似四档);采集链路体检结论与被摘除的通道清单;设备档案中传动比、齿数与轴承型号的完备情况;轴上角位置基准的可用性;以及本例所处的分析档位。证据等级为趋势疑似的用例不得作为评测参考答案,只用于模式发现,这一点在卡上直接标明。
轮次级记录的必填字段:数据集版本指纹、模型版本、判据版本、环境基线记录编号、用例集冻结版本号、执行起止时间、见证岗位、异常用例清单。本场景另加五项:可实施矿点清单的版本与授权范围;故障名录与机理规则台账的版本号;既有平台历史判断结果的提取批次与冻结时间;本轮所用历史时序数据的导出批次与实际可用窗口长度;以及服务工单结构化回填的累计条数与拆检发现字段的填写质量抽查结论。
场景报告按 4.3 节的九章体例出具,本场景填入的内容为:被验证能力清单与条目对照(十二项);数据就绪度结论(矿点授权、设备档案补录、采集链路体检四类内容、角位置基准加装进度、服务事实结构化情况);验证资产说明(故障样本三维分层、正常样本的工况分层与确认方式、规则回放集的构成);执行情况(三批执行的版本登记、影子观测与提醒记录、岗位标记分布);逐项判定结论,回放对比类的项须按部件分列并同时给出既有平台值、新规则值与增量三栏,不合成一个总体数;数据集贡献度结论(三组对照的能力增量表、加装效果实验、干扰分离消融、回填消融三组专项结论);归因分析(部件级定位不准、误报集中、归因不命中、备件建议不一致四类分列);可用性结论与档位说明(A 档与 B 档设备分列);改进需求与优先级。报告另附采集链路体检报告、历史数据质量分析报告,以及加装与流程改造的优先级建议。
版本关联按三元标识执行,本场景另绑三项:设备档案版本、机理规则台账版本、既有平台对比基线的冻结版本。任一部件级结论绑定其所用的设备档案版本,档案字段补录后结论可重算而历史结论保留其当时版本;任一回放对比结论绑定基线冻结版本,基线一经提取不在对比过程中更新;任一在线检测结论绑定当时生效的规则版本与门限取值,使误报收敛曲线可以区分规则改进与数据改善两种来源。矿方运行数据相关的档案,其存放位置与访问范围以矿方授权为准,版本记录中一并登记授权依据。
采集链路体检这一做法,在热处理与焊接两个场景有直接对应。三个场景都依赖过程采集通道,三个场景都会遇到通道失效、漂移、饱和与常值的情形;本场景把体检做得最系统(四类内容加摘除执行率),其判定规则与摘除机制供其余两场景复用。这一做法解决的是一类特别容易被忽略的问题:一个读数不变的通道在统计上看起来比正常通道更平稳,用它做判断永远不会报警。
证据分级这一设计在六个场景通用。本场景的四档(拆检确认、更换确认、处置推断、趋势疑似)是按证据强度划分样本可信度,使每个样本带着它的可信度进入训练与评测;热处理的成因标注、焊接的缺陷判定同样面临证据强度不一的问题,按同一体例分档。分档的实际约束是:低证据档的样本不得作为评测参考答案,只能用于模式发现。
对比式验证的组织方式在本场景最完整,其体例供其余场景在涉及「相对现有做法的提升」时复用。要点有三:基线从现有系统或现行做法中提取并冻结;同一批样本上新旧并跑,不用两批样本比;以及按细分维度分列报告增量,不合成一个总体数,合成之后会把「本来就不差」与「本来没有」两种情形混掉,看不出投入在哪里有效。
按证据分级的加装建议这一产出形式,在热处理场景直接对应。两个场景都面临「缺哪一项测量就永远判不准」的情形,两个场景都用消融或加装前后对比的方式量化每一项加装换来的分析能力,使加装决策有数据依据而不是凭主张。这一产出对甲方的价值独立于验证结论本身。
六个场景的验证难度不同,数据起点不同,可排期的时间也不同。横向排在一起看,便于判断先做哪个、哪个需要先补数据。
表中五栏各回答一个问题,合起来回答先做哪个。数据起点一栏写的是进场时的实际状况而非理想状况:板材备料有 63 万张图纸与配对卡片,是天然成对的监督样本;刮板输送装备健康诊断则是报警多、标签少、维修事实无结构化记录,样本要靠维修事实回填与历史工单回溯配对逐例攒出来。最关键的 L1 前置条件一栏是排期的真正依据,它列的是不补齐就跑不动的那一项,而不是全部缺口,内容汇总自 2.2 至 2.7 各节的就绪度核验,可逐项回查。
主要判据类型一栏解释了六个场景为什么不能用一套指标验收:有确定性核对可用的,判据落在一致性上;没有正确答案的,判据落在对比基线上;刮板输送装备健康诊断只能落在相对既有平台的增量上。分档必要性一栏是前三栏的结果而不是独立判断——数据起点越弱、L1 前置越难一次补齐,指标就越需要按档位分列报告;分档必要性为高与最高的三个场景,首轮验证都会有一部分能力以受限档交付,这一点在实施批次安排中已予考虑。
表 3-1 六场景验证的横向比较
| 场景 | 数据起点 | 最关键的 L1 前置条件 | 主要判据类型 | 分档必要性 |
|---|---|---|---|---|
| 产品智能选型 | 历史方案以文档散存,无结构化库;校核公式已签封 | 历史方案归集与反向结构化;签封公式可取 | 复算一致性+排序质量 | 中 |
| 板材备料工艺智能设计 | 63 万张图纸与配对卡片,天然成对监督样本 | 图卡配对台账;28 道工序字典成文;中性层系数确认一版 | 字段级一致性(高阈值)+闭合率 | 低 |
| 库存控制智能化 | 多系统数据齐全但口径并存 | 库存口径字典与报表对账;快照与时间屏障 | 口径一致性+回溯检验+对比基线 | 中 |
| 热处理过程智能监控 | 过程参数在采,炉次与工件、材料、检验无稳定关联 | 一炉一档配对率;计量状态接入 | 确定性核对+关联显著性+归因命中 | 高 |
| 焊接过程控制智能监控 | 参数已采,视觉与检测结果割裂 | 焊道边界锚定;检测位置口径统一 | 检出指标+三流关联完整率 | 高 |
| 刮板输送装备健康智能诊断 | 报警多、标签少,维修事实无结构化记录 | 采集链路体检;维修事实回填入口;故障名录首版 | 相对既有平台的增量+误报水平 | 最高 |
表 3-1 数据来源:2.2 至 2.7 节各场景 L1 核验要求汇总。
排期依据是数据就绪度,不是业务重要性。这一点在与甲方的方案评审中要讲清,否则容易被误读为我方对场景价值的判断。
板材备料与产品选型放在第一批。前者有现成的成对样本,后者有已签封的确定性公式,两者都能在数据补采尚未完成时就产出可核查的指标,适合作为方法框架的首次检验。第一批的另一个作用是检验方法本身,若判据体例、金标准建设流程、沙箱的可复现性在这两个场景上走得通,后面四个场景就按同一套做,不必重新磨合。
热处理、焊接、库存三个场景放在第二批。这三个的关键前置条件都需要在业务流程中增设登记或统一口径:热处理的装炉位置登记与计量接入,焊接的焊缝编号体系与检测位置字段,库存的口径字典与分类打标。这类工作有固定的投用与稳定期,急不得,流程改造投用当月的数据质量通常不可用,须等数据稳定一段时间后再作为验证输入。
健康诊断放在第三批。它的故障样本只能随真实故障逐步积累,验证窗口本身需要时长;而且它依赖的加装项(角位置基准)与流程改造(服务工单回填)都要先行。
三批之间不是串行。第一批执行期间,第二批的前置条件同步推进;第二批执行期间,第三批的样本积累已经开始。实际排期在项目实施计划中与整体里程碑对齐,本节只给排序依据与并行关系。
六个场景各有一套指标,验收时还需要一组跨场景可比的汇总判据,用于回答「场景验证这项服务做成了没有」。本方案给出六项。
表 3-2 场景验证服务的汇总判据
| 汇总判据 | 口径 | 基线档 | 目标档 |
|---|---|---|---|
| 条目应答完整性 | 六个场景验证要求所列条目均有对应验证项、指标与判定结论 | 全部条目有对应验证项与判定结论;未能判定的须给出受限原因与所缺数据 | 全部条目完成判定 |
| L1 通过场景数 | 完成数据就绪度核验并达到各自 L1 通过要求的场景数 | 不少于五个场景达到 L1 通过要求,未达场景给出缺口与补齐计划 | 六个全部达到 |
| L2 指标达基线比例 | 各场景 L2 指标中达到基线档的比例,按指标项统计、六场景合并 | ≥85%;未达基线的指标项逐项给出归因与整改计划 | ≥95% |
| L3 端到端闭环场景数 | 完成端到端任务级验证并形成闭环记录的场景数 | 不少于四个场景完成端到端闭环 | 六个全部完成 |
| 数据集贡献度可量化场景数 | 完成对照实验并给出能力增量结论的场景数 | 六个场景全部给出;其中不做对照的验证项须说明理由 | 保持,并逐轮更新增量 |
| 错题回流有效性 | 验证失败用例中转化为数据集扩充或修订需求并被实际执行的比例 | ≥70% | ≥85% |
表 3-2 数据来源:招标文件条目总数与结构;基线档按分批排期的可达性设定。
表中六项判据按十一个场景合并统计,不分专业与通用两套。五个通用场景与本节六个专业场景共用四级验证层级、四类验证资产的切分隔离、判据的三种定义方式、七步流程与见证点清单、归因的四类方向与两条去向,以及评测沙箱的配置要求,因此两侧的判据登记表、用例卡与报告体例同为一套,十一个场景的验证记录可以合并检索与统计。
第五项与第六项是本节与一般功能测试最大的区别,也是本包价值所在。场景验证如果只输出一份通过与不通过的报告,它对招标方的长期价值有限;只有把数据集的贡献量化出来、把失败用例转化为数据集的具体改进,验证才真正参与了数据资产的建设。因此这两项列为汇总判据并要求逐条可核查。
回流不是一句原则,它需要固定的格式、固定的接收方与固定的闭环状态。格式见 2.1.9 节所述六项字段,接收方是数据集加工生产侧,状态机为提交、受理、执行、复测、关闭五态,每次状态变更记录时间与岗位,全程在奔牛数据智能平台上留痕。回流有效性按关闭状态的需求条数占提交条数的比例统计。
回流的优先级排序有依据,不靠主张。依据来自三处:各场景子集消融实验的结论,跌幅大的数据类别优先补;失败用例的归因频次,同一数据切片在多场景失败中反复出现的优先补;以及影响范围,跨场景影响的优先于单场景。三处依据合成一个优先级,排序过程与结论一并进验证报告。这样甲方看到的不是一张需求清单,而是一个有理由的投入顺序。
3-1 场景验证与数据集建设的回流闭环
图 3-1 场景验证与数据集建设的回流闭环。数据来源:招标文件;缺陷字典与整改复测口径与本投标文件数据集质量评测方案节一致。
验证执行由我方组建的验证组承担,按场景分工。验证组的构成按三类角色组织:方法与判据角色负责验证方案设计、判据登记与报告出具;资产角色负责金标准集建设、标注组织与仲裁;执行角色负责沙箱运行、对照实验派生、留痕与归因。三类角色在六个场景上复用,不按场景各建一套,判据体例与资产建设方法在六个场景通用,复用是本方案把方法前置到 2.1 节的直接收益。
甲方侧的投入主要在三处:业务见证岗位的到场、技术权威判据的确认,以及标注与核对环节的骨干参与。标注与核对这一处的投入在六个场景上差别较大:板材备料与焊接的标注量最大,热处理与健康诊断的标注难度最高(需要工艺与售后骨干的专业判断),选型与库存的参与主要在口径确认与结论核对。各场景的具体参与方式与节奏在单场景验证方案中与甲方商定。
本节列四项对验证结论影响最大的风险,各给应对,不作笼统表述。
数据条件未按期补齐。影响是相关验证项只能在受限档执行。应对是在验证方案中把每一项指标与其依赖的数据条件逐项绑定,条件未到位时该项按受限档出结论并标明,不顺延整个场景的验证;条件到位后按完整档重算,历史结论保留其当时依据。
技术权威判据迟到。选型校核公式、热处理工艺窗口、焊接工艺规程与焊缝编号、健康诊断故障名录、库存财务口径,这几项是判据的依据,由甲方相应部门确认。应对是在就绪度体检阶段即逐项明确责任部门与所需内容,并把它们列为对应场景第一批执行的前置条件;迟到的,该场景的执行批次相应后移,但其余场景不受影响。
样本偏差与样本稀缺。焊接的历史缺陷样本经过现场处置筛选,健康诊断的历史数据无事件级标签,热处理的开裂样本天然稀少。应对分两步:在报告中量化说明偏差的性质与方向,不掩盖;以及用构造样本与前向留痕补充,前者覆盖低频高损情形,后者不依赖人工记录。
基座模型换代。本项目周期跨年,基座按当期能力评测择优选用并随代升级,换代会使历史对照数据不可比。应对是把「换代当次重跑四组对照」写进验证纪律,并在每次报告中注明所用基座的评测时点;历史增量数据保留但标注其基座版本,不与新数据直接合并比较。
本节范围内的交付物分三类。
场景级交付物,每个场景一套,内容见 2.2 至 2.7 节各节末;六套合计构成本服务的主体交付。跨场景交付物六项:六场景验证方法框架说明(即 2.1 节内容的正式版本);判据登记表全集;验证用例卡全集;验证报告体例与模板;缺陷字典与归因口径说明(与数据集质量评测方案共用一套);数据集改进需求台账与优先级排序依据。过程性交付物三项:验证执行与见证档案;对照实验的环境基线记录与版本登记;三元血缘标识的登记记录。
验收口径按两层。单场景按该场景的汇总判定出结论:L1 通过、L2 指标达基线比例、L3 闭环形成、对照实验完成、交付物齐备五项均满足即判该场景验证服务完成。整体按 3.3 节的六项汇总判据出结论。两层的判定结论均需甲方见证岗位与业务部门签认。
有一项口径须事先约定,以免验收时出现争议:场景能力未达基线档,不等于本服务未完成。本服务交付的是验证,而不是场景能力本身。能力未达基线时,本服务的交付要求是给出准确的判定、可核对的归因,以及指向明确的改进需求;三者齐备即属本服务完成。这一条区分不写明,验收时会把场景建设方的能力问题算到本包的服务质量上。
采购清单第 7 项是数据集质量测评服务,与本节的场景验证服务是两件事,但它们在模型应用维度上会相邻,边界须写清。
质量测评按《高质量数据集质量评测规范》TC609-5-2025-04 的三维度指标体系对数据集本身打分,其模型应用维度含模型适配性、内容多样性、规模完整性、标注准确性、业务相关性、内容均衡性、时间跨度覆盖度七项一级指标,评的是数据集作为训练资源的属性。本节的场景验证评的是同一批数据在六个专业场景的真实业务任务上的表现,产出的是业务可用性结论。
两者的分工可以这样概括:质量测评回答「这批数据合不合规、够不够格」,场景验证回答「这批数据在矿山装备的六个业务环节上管不管用」。前者的结论是综合分与盖章报告,后者的结论是能力指标、能力增量与可用性判定。
两者共用三样东西,以保证结论可以对账:一套缺陷字典(成因按采集、解析、标注、加工、治理五类环节分,等级按高中低三级分);一套样本标识(涉事样本以唯一标识定位,并映射到业务对象标识:施工号、图号、炉次号、焊道号、设备编码);以及一套整改复测流程。三样共用之后,同一个问题在两处的记录可以合并统计,不会出现两个版本的整改率。
两者不共用的是评测集。质量测评用基准测试数据集,场景验证用场景基准题集与金标准集,二者同源不同用,划取时按对象与时间双重切分,理由见 2.1.13 节。
六个场景的 L4 观察期在各节分别给出了长度与覆盖量,口径在此统一,避免六套做法。
观察期的起点是该场景 L3 形成闭环记录之日,不以日历节点起算。起点之前的运行记为试运行,数据不计入观察期统计:试运行期间往往还在调门限、补台账,把这段算进来会压低采纳率而掩盖真实水平。
观察期内记录四类事实,六个场景一致。岗位采纳情况按直接采纳、调整后采纳、不采纳三分记录,不采纳的须记原因;原因按五类归并:结论不对、结论对但不可执行、信息不足无法判断、与现场实际不符,以及其他。降级发生次数按档位与触发条件记录,用于判断分档规则的触发是否符合预期,某一档从未被触发,可能说明该档的触发条件定得太严。人审检查点的拦截内容逐条记录,这份记录是检查点有效性的唯一证据。异常处置是否按预案执行,按次记录。
观察期的通过要求不是指标,是三件事齐备:四类事实的记录完整;期内发生的异常均按预案处置且有记录;以及对未达目标档的项出具差距分析报告。观察期不以采纳率作为通过门限:采纳率受岗位习惯、排产压力与培训程度影响,把它写成门限等于把业务侧的因素算到本服务的交付质量上。采纳率如实统计并分析原因,这比定一个门限有用。
观察期结束后出具该场景的最终验证报告,报告中的结论须注明是首轮验证结论还是观察期末结论,两者的数据条件不同,不可混用。
六个场景的验证资产规模汇总如下,便于判断工作量与甲方的参与投入。各项规模为本方案的承诺下限,实际按试点范围确定后在单场景验证方案中细化。
表 3-3 六场景验证资产规模一览
| 场景 | 金标准/档案样本 | 构造样本 | 回放窗口 | 对照实验题集 |
|---|---|---|---|---|
| 产品智能选型 | 不少于 300 个历史选型任务,四类工作面各不少于 30 个 | 不少于 60 例,覆盖四类异常输入 | 不少于 50 个完整任务,另真实新任务不少于 20 个 | 不少于 150 题 |
| 板材备料工艺智能设计 | 不少于 300 件,三层复杂度各不少于 100 件 | 不少于 80 例,覆盖四类高风险情形 | 不少于 80 个编制任务,另真实新任务不少于 30 个 | 不少于 200 题 |
| 库存控制智能化 | 评级样本按品类分层各不少于 100 条;成因样本不少于 300 条 | 不少于 50 例,覆盖四类极端情形 | 不少于 24 个连续月份快照,不少于 6 轮完整测算 | 不少于 120 题 |
| 热处理过程智能监控 | 不少于 400 个炉次档案与 600 个件次档案,其中缺陷类不少于 150 件 | 不少于 60 例 | 受时序数据保存窗口约束,启动阶段先行导出 | 不少于 120 题 |
| 焊接过程控制智能监控 | 图像标注集每类缺陷不少于 200 个实例;焊道档案不少于 30 批与 30 件 | 不少于 80 例,覆盖五类情形 | 不少于 6 个月历史生产数据 | 不少于 150 题 |
| 刮板输送装备健康智能诊断 | 故障配对样本不少于 300 个,拆检确认档不少于 80 个;正常样本不少于故障样本五倍 | 不少于 60 例,覆盖五类情形 | 受时序数据保存窗口约束,启动阶段先行导出 | 不少于 120 题 |
表 3-3 数据来源:2.2 至 2.7 节各场景金标准集与用例设计小节汇总。
表中两处需说明。热处理与健康诊断的回放窗口没有写具体月份数,原因是两者受采集平台时序数据保存期限约束,可用范围不由我方决定;处置是在项目启动阶段先行导出一段完整历史,导出所得即为可用窗口,并在验证报告中写明实际窗口长度。健康诊断的正常样本规模按故障样本的五倍设定,是误报率统计的需要,误报率的分母是正常样本时段,分母太小则该指标的置信区间会宽到无法判断。
本服务的工作量不均匀分布在周期内,写明构成便于排期与资源协调。
前段以资产建设为主。六个场景的金标准集建设、历史资料的反向结构化、标注与仲裁,占本服务工作量的较大部分,且这部分工作对甲方骨干的参与依赖最强:标注口径对齐、参考答案确认、仲裁判定三件事都需要业务骨干实际投入时间,不能由我方代为决定。因此前段的排期要与甲方骨干的可投入时间协调,这一点在实施准备期明确。
中段以执行与归因为主。执行本身的时间成本不高,沙箱可以并行跑;时间主要花在归因与整改的往复上。归因的效率取决于两件事:留痕是否完整(逐步留痕使失败能定位到步),以及缺陷字典是否统一(三道关口共用一套口径,结论可合并)。两件事在方法上已经安排,这是把中段时间压下来的前提。
后段以观察期与报告为主。观察期的长度由场景的任务频次决定,不能压缩,任务频次低的场景,期内累计任务量不够就没有统计意义。报告出具按 7.1 节的三级复核执行。
跨场景的方法复用是本服务控制工作量的主要手段。判据体例、金标准建设流程、沙箱配置、标注规范体例、归因格式在六个场景通用,第一批两个场景把这套方法跑通之后,后四个场景按同一套做。因此第一批的排期不宜压缩。它承担的是方法检验的职责,在这里多花的时间会在后四个场景上收回来。
本节给出三类格式约定。统一格式的目的有两个:使六个场景的验证记录可以合并检索与统计,以及使验收时的核对有固定的对象,核对一份用例卡该看哪几项,不必每次重新商定。
用例卡是验证执行的最小记录单位,一条用例一张卡。字段分五组。
标识组四项:用例编号(按场景代号加能力编号加序号组成)、所属场景、所属验证项、所属用例组。输入组四项:输入对象标识(业务对象的真实标识,如图号、炉次号、焊道编号、设备编码、选型任务号)、输入数据快照引用、数据集版本指纹、模型版本。参考答案组三项:参考答案内容、答案来源(历史记录、骨干标注或客观实测)、仲裁记录编号。执行组五项:执行时间、沙箱配置(含随机种子与采样参数)、实际输出、逐步留痕引用、见证人签认。判定组五项:判据编号、判定结论、所依据的判据版本、归因方向(失败时填),以及该用例在对照实验中的所属组别。
字段设计上有三处是刻意的。输入对象标识要求用真实业务标识而不是内部序号,目的是让岗位人员能认出这条用例对应的是哪一件实物,验证报告拿给工艺员看,他能翻出那张图纸,这份报告才有说服力。逐步留痕引用指向验证智能体各步的输入输出记录,这是归因到步的依据。所属组别字段使同一条用例在四组对照中的表现可以横向对齐,这是能力增量表的数据基础。
以 2.3.2.7 节所举的中部槽侧板编制任务为例,给出一条完整验证用例的全部记录内容。六个场景的用例均按此粒度组织。
表 4-1 一条完整验证用例的记录内容
| 字段组 | 字段 | 记录内容 |
|---|---|---|
| 标识 | 用例编号 | 按场景代号加能力编号加序号组成,本例对应板材备料场景 X2-11 项下的一条成卡用例 |
| 标识 | 所属场景与验证项 | 板材备料工艺智能设计 · X2-11 工艺卡片及工序附图内容准确率 |
| 标识 | 所属用例组与用例类别 | 成卡组(闭合集内)· 正常用例 |
| 输入 | 输入对象标识 | 该中部槽侧板的真实零件图号加零件号 |
| 输入 | 输入数据快照引用 | 原生格式图形文件与配套设计报表的快照编号 |
| 输入 | 闭合条件判定 | 四项逐项结果:矢量可直读、七处判读点全部提取且置信度达门限、规则库无缺口、双路互校差值在容差内 |
| 输入 | 数据集版本指纹 | 本轮验证所用数据集版本指纹 |
| 输入 | 模型版本 | 本例所属对照组别对应的模型版本标识 |
| 参考答案 | 参考答案内容 | 该零件已签发工艺卡片的结构化版本,含工序序列、设备与工装、材料与工时定额、展开长 |
| 参考答案 | 答案来源 | 已签发卡片,并经工艺骨干对参考答案作过一轮确认 |
| 参考答案 | 仲裁记录编号 | 本例双人标注无分歧,无仲裁记录 |
| 执行 | 执行时间 | 本次执行的起止时刻 |
| 执行 | 沙箱配置 | 随机种子与采样参数取值,与环境基线记录一致 |
| 执行 | 实际输出 | 生成的工艺卡片与工序附图,逐字段比对结果另附差异清单 |
| 执行 | 差异台账 | 台账编号;本例共三处差异,两处经判定为等效表述、一处为工步顺序实质错误,均已修正关闭,未关闭项为零 |
| 执行 | 逐步留痕引用 | 七步各步的输入输出记录编号 |
| 执行 | 见证人签认 | 见证岗位签认记录编号 |
| 判定 | 判据编号与版本 | 闭合集字段级判据编号及其判据版本号 |
| 判定 | 判定结论 | 差异台账未关闭项为零,卡片准予下发;字段级一致率与高危字段实质错误数作为过程指标另行统计 |
| 判定 | 归因方向 | 本例通过,无归因 |
| 判定 | 对照实验组别 | 数据集适配组 |
表 4-1 数据来源:字段设计按 4.1 节;用例内容对应 2.3.2.7 节所举用例;闭合条件与下发门槛见 2.3.2.2 节。
三处记录纪律。输入对象标识用真实业务标识而不是内部序号,报告拿给工艺员看,他能翻出那张图纸,这份报告才有说服力。实际输出栏记实际产出并另附差异清单,不记结论性的「通过」,差异清单是判定的依据而不是判定的结果。对照实验组别使同一条用例在四组中的表现可以横向对齐,这是能力增量表的数据基础;一条用例在四组中各有一份记录,编号相同而组别不同。
判据登记表不是指标的汇总清单,而是每一条判据的完整约定。登记后冻结,修订按本节 4.5 节的纪律执行。表 4-2 以板材备料场景的闭合集字段级判据为例,给出一条判据的完整登记形态;六个场景的全部判据均按此粒度登记。
表 4-2 判据登记的完整样例
| 登记字段 | 登记内容 |
|---|---|
| 判据编号 | X2-11-P2 |
| 所属场景与验证项 | 板材备料工艺智能设计 · X2-11 工艺卡片及工序附图内容准确率 |
| 招标文件依据 | 招标文件相应条款 |
| 度量口径 | 分子为闭合集内生成卡片与参考答案逐字段比对一致的字段数;分母为闭合集内参与比对的字段总数;统计单位按字段;字段清单以受控工艺卡片模板为准;尺寸与定额类字段单列统计 |
| 基线档 | 不低于百分之九十九;尺寸与定额类字段实质错误数为零 |
| 目标档 | 趋向全部字段一致;尺寸与定额类字段实质错误数保持为零 |
| 不达标处置 | 差异字段逐条列出,由工艺骨干判定属实质错误还是等效表述;属实质错误的回溯其规则与样本来源并修订,对该类字段整体复测 |
| 依赖的数据条件 | 闭合条件门限已完成标定并经甲方工艺部门确认;参考答案为已签发工艺卡片的结构化版本;中性层系数已确认一版 |
| 分档适用范围 | 闭合集内适用;闭合集外的图纸不进本判据分母,另按闭合率单列统计 |
| 等效表述规则 | 按已确认的等效表述认定规则执行;尺寸、板厚、展开长、设备编号、工序顺序五类不存在等效表述 |
| 复核周期 | 每轮验证复核一次;工序字典或卡片模板换版时即时复核 |
| 版本与评审记录 | 版本号、评审时间、评审岗位、修订前后对照 |
表 4-2 数据来源:判据内容依招标文件与 2.3.2.2、2.3.2.11 两节;登记字段按 2.1.7 节判据定义方式。
单场景验证报告按固定目录出具,共九章。第 1 章验证范围与依据,含被验证能力清单与招标文件条目对照。第 2 章数据就绪度结论,含缺口清单与归属判定。第 3 章验证资产说明,含金标准集抽样框架、标注一致率、仲裁记录摘要、回放窗口与构造样本说明。第 4 章执行情况,含沙箱配置、版本登记、见证记录与异常用例说明。第 5 章逐项判定结论,每一项给指标值、判据、判定结果与置信区间说明。第 6 章数据集贡献度结论,含对照实验的能力增量表、雷达图与消融结论。第 7 章归因分析,按四类方向分列并给证据。第 8 章可用性结论与档位说明,写明当前处在哪一档、受限原因与条件补齐后的预期。第 9 章改进需求与优先级。
报告有三条写作纪律。一是指标必须带统计单位与分母规模,不单独给一个百分数。二是未达基线的项不以修饰性表述带过,直接写未达并给归因。三是受限档位的结论须在结论句中标明档位,不在脚注里标,读者只看结论句的情形是常态。
汇总报告在单场景报告之上出具,内容为 3.3 节六项汇总判据的判定、六场景横向比较、回流台账与优先级排序依据。
见证点按七步流程固定并写入单场景验证方案,执行时逐点签认。
表 4-3 七步流程的通用见证点
| 步骤 | 见证事项 | 签认物 |
|---|---|---|
| 一方案评审 | 能力清单、判据口径、两档阈值、试点范围 | 评审纪要 |
| 二就绪度体检 | 缺口清单及其归属判定 | 就绪度报告签认页 |
| 三资产建设 | 抽样框架、标注一致率、仲裁记录 | 金标准集冻结记录 |
| 四环境与基线 | 数据集与模型版本成对登记、四组对照派生完成并冻结 | 环境基线记录与对照组清单 |
| 五执行与见证 | 每组用例至少到场一次,核对版本与判据一致、异常如实记录 | 执行日志见证记录 |
| 六判定与归因 | 判定结论与归因方向 | 归因报告评审记录 |
| 七整改复测 | 复测范围与复测结论 | 复测报告签认页 |
表 4-3 数据来源:七步流程见表 2-2;见证组织方式按 2.1.12 节。
各场景在此基础上增补特有见证点:选型的复算差异台账逐条过审,备料的打印抽检与应急通道演练,库存的口径对账与基线冻结,热处理的工艺窗口确认与计量状态核查,焊接的提醒门限发布与影子观测回看,健康诊断的采集链路体检与规则发布前审核。
判据、金标准集与用例集一经冻结即不在执行过程中改动。确有修订必要的,按三条纪律处理。
修订须有触发事由,且事由限于四类:判据所依据的技术权威文件换版;标注规范被发现存在歧义;度量口径在执行中发现无法落地(如分母不可统计);以及招标文件条目的理解经与甲方澄清后调整。四类之外的修订不受理,尤其不受理「指标达不到所以改判据」。
修订须经评审并留对照。评审由甲方业务部门与我方共同进行,修订前后的内容对照、修订理由与评审结论一并记入判据登记表的版本记录。
修订后须回溯复核。已按旧判据判定的用例,须按新判据重新判定;已按旧规范标注的样本,须对同类情形做回溯复核。回溯范围与结果在报告中说明。这一条是为了避免同一份报告里混着两套判据下的结论,那种报告无法作为验收依据。
验证档案按场景、按轮次、按用例三级组织,进入奔牛数据智能平台的版本与审计模块。检索入口按四类提供:按业务对象标识检索(给一个炉次号,能查到它参与过哪些用例、结论如何);按判据编号检索;按数据集版本检索;按归因方向检索。第一类入口是现场最常用的,质量追溯时岗位拿到的是一个实物标识,而不是用例编号。
档案的保留与访问权限随项目数据管理制度设定。涉及矿方运行数据的档案,其存放位置与访问范围以矿方授权为准。
本节把前十一节中涉及甲方配合与实施期先行工作的事项集中列出,便于在合同签订后的实施准备期统一推进。列出的目的不是条件未备就不开工(2.1 节已写明六个场景均按最小可用集起步、首期上线不以任何一类资料齐套为前提),而是把哪些条件影响哪一项指标说清,使排期与判定有依据。
五项判据的依据属企业技术权威,由甲方相应部门确认后固化,我方不自行设定。
选型校核公式的签封版本与适用条件,由技术部门提供,影响产品选型场景的复算一致性判据。提供方式可以是只读调用接口,也可以是受控导入的结果与公式定义,两种方式都要完成版本绑定与留痕。
备料分厂的 28 道标准工序字典与加工方法分档规则,由工艺部门牵头归并并正式发布,影响板材备料场景的工序集合与顺序一致率判据。中性层展开系数表须统一确认一版并按版本维护,索引键须补齐模具参数一维,影响高危字段的双路互校能否成立。
库存的财务计价与资金占用口径,含计价范围、半成品与在制是否计入、呆滞认定周期与金额口径,由财务与生产管理部门共同确认,影响库存场景的全部金额类指标。口径未书面确认前,该场景只输出数量与缺料风险,金额侧仅呈现两个口径的差异构成。
热处理的正式工艺文件参数窗口(分牌号与炉型)与焊接的工艺规程参数窗口、焊缝编号体系,分别由工艺部门与工艺质量部门确认,影响两个场景的越窗判定与对象树建立。其中焊接的参数窗口若出现宽度不为正的情形,列为工艺澄清项由工艺部门处理,不按原文生效。
刮板输送装备的故障名录,含六类部件的典型失效模式与判据条件,由售后与技术部门确认,是健康诊断场景判据、测点与标注的共同依据,须先行交付首版。
六项工作的性质是台账建立、字段补充与一次性整理,由我方派人驻场配合,相关岗位按环节参与确认。
图卡配对台账的显性化,以图号加零件号为主键,首期用于验证的产品族范围内须达到可用水平。图纸家底的分层抽样统计(可打开率、图卡可对应率、关键判读点可提取率、无法解析原因分布)一并完成,它是分级交付判据的依据。
历史选型方案的归集与反向结构化,把散存文档中的输入参数、校核结果与最终配置提取入库。这一项是选型场景金标准集的来源,工作量较实,须在第一批执行前完成首批。
库存侧的物料分类打标与三组映射关系建立:物料与部件、项目的对应关系,订单与项目号与物料需求的对应关系,图号与物料编码的对应关系。打标的准确性决定四类预测的分母是否干净。
设备、工装与样板台账的状态与有效期字段补齐,并明确替代规则;设备资源库缺这两列会导致系统把检修中的设备排进工艺卡片。
一炉一档与一件一档的档案结构建立,含装炉条件的登记方式确定;装炉位置登记的具体形态按现场条件商定,具备逐件标识条件时逐件登记,否则位置类结论按炉次级。
服务工单的结构化回填字段增设,含检查项结果、拆检发现、更换备件编码、处置与恢复时间。这是健康诊断场景故障样本配对的唯一来源,须尽早投用以积累样本。
两项事情有时间窗,过了窗口无法补救,须在项目启动阶段即安排。
历史时序数据的导出。热处理与健康诊断两个场景所用的采集平台时序数据存在保存期限,若干年后循环覆盖;而生产与工单记录保存期更长。因此历史回放的可用范围受时序数据窗口约束。处置是在项目启动阶段先行导出一段完整的历史时序数据与对应的检验记录、工单记录,用于回放验证。这一动作延后一个月,可用样本就少一个月,且无法追补。供应链侧的历史保留期限同理,须先行确认并导出一段完整历史。
试点范围的确定。试点炉型、试点产线、试点车间与跟踪矿点的确定直接决定三个场景的 L1 统计范围与样本组织方式。试点范围迟定,金标准集的抽样框架就无法冻结,后续全部工作顺延。因此这一项建议在实施准备期的前段完成。
本项目采购的感知与检测设备到位时间影响相关验证项的执行批次,依赖关系在此列明,以便排期对齐。
焊接场景依赖熔池相机与热成像设备,到位后熔池视觉状态检测与焊缝表面缺陷检测的在线验证方具备条件;到位前按移动端取景规范拍照取样,支撑离线验证但不支撑实时性验证。层间温度的逐件逐层自动核对依赖夹持式接触测温的配置,未配置时按移动端录入,覆盖率如实统计。
热处理场景依赖高温热成像设备与硬度计联机。前者用于出炉与淬火区的温度记录,后者使硬度结果自动回填件次档案并统计抽检覆盖;硬度计联机不涉及设备本体改动,建议优先安排。
健康诊断场景依赖轴上角位置基准的加装,这是部件级诊断成立的前提,建议作为按证据加装的首选项并在首批设备先行完成,其加装前后的对比本身构成一组可向甲方交付的实验结论。
上述设备的型号、参数、数量与质保见本投标文件硬件选型与配置节,本节只写它们与验证项的依赖关系。
六个场景的取数涉及十余个源系统,接口开通清单与时间由甲方信息化部门统一安排。本节的处置口径一致:接口可得时按只读接口取数;暂不可得时按受控批量导出过渡,并在验证记录中标明数据时点与取数方式;三种对接方式(只读接口、数据库只读视图、受控文件导入)并存,字段定义先行统一。取数方式影响 L1 的判定档位,但不影响 L2 指标的成立,指标在金标准集上计算,与取数通道无关。
接口开通的优先顺序建议按场景批次对齐:第一批优先 PLM 与 ERP 的图纸、设计报表、物料与订单读取;第二批补 MES、QMS、WMS、SCM、CRM 与热处理群控系统、SCADA;第三批补售后服务管理系统的结构化回填与矿端数据通道。这一顺序与 3.2 节的执行批次一致。
把前五小节的事项按先后排一个顺序,依据是依赖关系而非重要程度。
最先做两件不可追补的事:历史时序数据的导出与保留期限确认,以及试点范围的确定。前者每延后一个月就少一个月可用样本,后者不定则抽样框架无法冻结。这两件事建议在实施准备期的第一阶段完成。
其次做技术权威判据的确认。五项判据分属不同部门,确认过程涉及内部评审与正式发布,周期不由我方控制,因此要早启动。其中备料的工序字典与健康诊断的故障名录两项工作量最大。前者要归并三处来源并正式发布为按版本维护的字典,后者要以机理研究为基础形成受控文件。这两项建议与第一阶段并行启动。
第三做台账建立与字段补充。图卡配对台账、库存口径字典与分类打标、设备台账的状态与有效期、一炉一档档案结构、服务工单回填字段,五项的共同特点是一次性整理加流程约定;整理由我方派人驻场配合,流程约定需相关岗位确认。其中服务工单回填字段要尽早投用。它的产出是随时间积累的,投用越早,健康诊断场景的样本越充足。
第四做源系统接口开通,按 5.5 节的三批顺序推进。接口开通与台账建立可以并行,但接口的字段定义须在台账整理的结论上确定,因此顺序上略后于台账。
最后做感知条件的到位与首批加装。硬件按采购排期,本节只对三项提优先建议:硬度计联机不涉及设备本体改动、成本低见效快,建议优先;轴上角位置基准是健康诊断部件级诊断的前提,建议在首批设备先行完成;焊接的接触测温配置影响温度类参数的自动核对覆盖率,建议与相机安装同批。
上述排序与 3.2 节的执行批次对应:第一批两个场景所依赖的条件,集中在技术权威判据与台账建立两类,不依赖硬件;第二批三个场景依赖流程改造的投用与稳定;第三批依赖加装与样本积累。排序的目的是让每一批执行开始时,它所需的条件已经到位,而不是边执行边等条件。
本节把 2.2 至 2.7 节分散的判断集中成一份对应关系:每一个现场问题对应哪一处数据缺口,该缺口影响哪一项验证,缺口补齐前按什么档位执行。这份对应关系有两个用处。对招标方,它说明本方案的每一项指标都挂在一个具体的现场事实上,不是凭空定的;对实施,它是补数据的工作清单与排序依据。
现场问题之一是需求侧输入多为非结构化文本,参数需人工逐一查找与转译。对应的数据条件是选型参数字典的别名与单位两列,以及矿方资料的可解析程度。影响的验证项是要素抽取正确率与原文位置可回溯率。别名不齐时,口语与规范名称的差异会系统性拉低抽取指标,而这不是模型的问题;因此字典的别名列列为 L1 硬条件,不具备时相关指标不起算。
现场问题之二是现场会商确定的配套接口参数没有电子留痕,事后追溯与传导困难。对应的数据条件是配套参数确认单的表单化与版本管理。影响的验证项是多来源输入的归集与冲突处理,以及端到端任务的参数完整性。补齐方式是在会商环节增设确认单并保留版本,任一方调整即触发重算;补齐前该类参数按补录项处理,只要求填报入口可用并完成试填。
现场问题之三是候选配置的生成与排序缺少工具支撑,既有自研程序可穷举可行组合但不区分优先次序、不含造价与复用维度。对应的数据条件是标准化部件库的适用条件、替代关系与在产状态三项字段,以及物料与价格主数据。影响的验证项是推荐排序的一致率与可行域正确性。三项字段缺失时,标准件可用率无法可靠测算,排序的复用维度也就不成立;因此这三项在 L1 阶段由受控表格导入补齐,且统计范围只覆盖已认定档位。
现场问题之四是设备投运后的运行状况、返修与改造情况没有与当初的选型输入建立关联记录。对应的数据条件是用后台账。影响的验证项是排序权重中的成熟度维度。这一项当前完全无记录,须从零补录,相关权重在首轮验证中按受限档处理,不参与加权;台账覆盖充足的工作面类型分批纳入。
现场问题之一是人工读图工作量巨大,孔径标在一处而位置在另一视图,板厚可能只以代号标在主视图上。对应的数据条件是图纸的可打开率与关键判读点可提取率。影响的验证项是要素解析正确率与闭合率。处置是按零件类型、年代与复杂度分层取样统计家底,缺字体或缺外参的老图须一并提供字体库与外参文件,未提供的图纸不进入自动成卡的分母。
现场问题之二是工艺标准化不足,不同工艺员编制方案存在差异,工序选多选少、如何合并、顺序如何排均依赖经验判断。对应的数据条件是 28 道工序字典与加工方法分档规则。影响的验证项是工序集合与顺序一致率。这一问题还决定了判据的写法:历史卡片之间本就不完全一致,把一致率定到接近完全一致等于要求复现某一位工艺员的个人习惯,因此这两项的配套要求是可解释率。
现场问题之三是标准化零件无法复用历史成熟工艺,一套产品的图纸量可达五百多张而相当比例属图号级借用,却仍需逐张打开确认。对应的数据条件是图卡配对台账与几何特征索引。影响的验证项是借用件判定与同件检索。几何特征索引首期只按部分产品族建库,范围外的零件判不准属范围问题而非能力问题,统计时剔除并说明。
现场问题之四是出错代价高度不对称而校验强度相同:下料长宽、板厚与展开长一旦偏差,钢板下料后即成废料。对应的数据条件是中性层展开系数表的四维索引键与工装压模台账的编号对齐。影响的验证项是定额偏差与高危字段的实质错误数。索引缺模具参数一维时,系统会退到就近组合,带来系统性偏差而非随机误差,这一点在归因中已写明排查顺序。
现场问题之五是设计图纸改版后人工比对差异耗时,易出现漏改、错改。对应的数据条件是历史改版案例的归集。影响的验证项是变更差异集合一致率与漏改数。漏改数的判据写成零,理由是漏改不会在界面上表现出来,不像错改那样能被发现。
现场问题之一是物料清单在需要决策的时点往往尚未冻结,按单定制下逐单清单不同、设计变更频繁。对应的数据条件是清单冻结状态字段与设计变更单的关联。影响的验证项是前置采购敞口的测算精度。冻结状态可获取时按其定量测算,不可获取时按同类产品历史变更幅度分档给出,两种处置在报告中分别标明所用方式。
现场问题之二是安全库存与锁定时点均缺少可核算依据,现行储备量由经验给出。对应的数据条件是采购与运输提前期的历史记录、自制产能排程,以及现行做法的基线统计。影响的验证项是安全库存建议的回溯效果。基线统计本身是交付物,须先完成并冻结,之后的对比均以这份基线为参照。
现场问题之三是库存数量与金额在不同口径下不一致。对应的数据条件是库存口径字典。影响的验证项是全部金额类指标。口径未书面确认前只输出数量与缺料风险,这一处置不是保守,而是避免给出一个将来会被两个部门分别质疑的数字。
现场问题之四是项目专用料复用困难,钢板与余料仅有账面重量而无尺寸记录。对应的数据条件是余料可用尺寸台账。影响的验证项是余料套用与跨项目复用撮合。台账建立前该项按受限档处理,排样仅在标准板规格上求解。
现场问题之五是呆滞识别依靠盘点与人工回溯,每一笔新增积压形成于哪一轮储备决策、依据何种需求假设未被记录。对应的数据条件是测算过程留痕。影响的验证项是成因溯源的主因命中率,以及效果验证的基线。留痕自首期起由验证台逐轮积累,这是本场景效果验证的唯一可信依据。
现场问题之一是执行侧与条件侧均无结构化记录,每次的实际装载量、件间间隙、炉内位置与感应器对位间隙都无记录。对应的数据条件是装载条件登记与对刀标定值留痕。影响的验证项是同批硬度不均的位置定位与归因中的条件变量完整度。2.5.2.11 节的条件数据消融实验正是为这一问题设计:它用数据回答这些登记项值不值得补。
现场问题之二是异常监测滞后,温度、压力、流量、时长等关键参数的小幅异常波动无法实时识别。对应的数据条件是过程时序通道的采样能力与计量状态。影响的验证项是越窗判定与异常判级。计量超期或偏差超限的批次结论自动降级为数据级,这一规则的执行率单列为步级判据。
现场问题之三是报警机制缺失,设备本体报警多在现场处置后即行复位。对应的数据条件是报警全生命周期留痕。影响的验证项是异常识别的历史回溯。这件事在历史数据上几乎无法验证,只能在验证期内按前向方式记录。这一限制在验证方案中写明,不以历史数据硬凑结论。
现场问题之四是来料状态在事前不可得,部分批次没有带料单,成分与理化结果保存在检测环节。对应的数据条件是材料成分与实物批次的一对一关联。影响的验证项是事前参数补偿。关联建立前只能做事后归因,这一点在判据中分档;获取手段的选择也已写明,含碳量是参数决策的起点,而手持 X 射线荧光对碳无响应,正式复核须以火花直读为准。
现场问题之五是处理批次、工件、材料批次、实际曲线与检测结果之间没有形成稳定的一次一档关联,每次废品分析都要从头查起。对应的数据条件是一炉一档与一件一档的档案结构。影响的验证项是全部关联性分析与归因能力。这是本场景的命门,L1 的配对率按三项分别统计。
现场问题之一是缺陷检测滞后,探伤结果只给出大致尺寸与深度,报告以纸质为主、不进入信息系统,也不落到焊缝里程与层号道号。对应的数据条件是检测结果的位置字段与检测设备的定位能力。影响的验证项是三流关联完整率与参数与缺陷的关联分析。带编码器的相控阵能给里程,普通手工超声只能给区域,两档的指标口径不同并分列统计。
现场问题之二是过程管控缺失,熔池状态、层间温度、气体波动等关键质量因子无实时监测。对应的数据条件是感知设备的到位与接触测温的配置。影响的验证项是熔池状态判别、温度类参数核对与综合质量评估。设备到位前按移动端取景与录入运行,支撑离线验证但不支撑实时性验证,这一分档在判据中写明。
现场问题之三是已采集的过程参数与工件、焊道均未建立对应关系,人工清点不具备可行性。对应的数据条件是焊道边界锚定的信号来源。影响的验证项是全部焊道级能力。三类工位的锚定方式与正确率基线已分列。
现场问题之四是检测结果位置口径不一致,外观检查、超声探伤与磁粉检测分处三个环节、由三拨人在三个时点完成。对应的数据条件是焊缝编号体系与位置字段规范。影响的验证项是三流两两关联完整率。这是本场景最需要甲方配合的一项,历史检测结果按可对应程度分三档入档。
现场问题之五是执行侧事实缺少载体,焊机预设值与工艺卡片区间没有比对环节;正式缺陷记录只来自交检开票,样本既稀少又存在系统性偏差。对应的数据条件是预设值的可读取性与过程偏差事实的自动留痕。影响的验证项是预设值核对的拦截有效性,以及全部视觉与评估类指标的可信度。样本偏差这一项在归因中单列为风险,须量化说明其对指标的影响方向,不掩盖。
现场问题之一是判断结论只落到测点与参数组合,落不到具体部件与失效形式。对应的数据条件是设备与部件档案中的传动比、齿数与轴承型号,以及轴上角位置基准。影响的验证项是定位粒度与部件级召回。档案三项缺失时该设备的部件级判据自动关闭;角位置基准缺失时结论止于测点级。
现场问题之二是同一次劣化会在温度、振动、电流通道上形成多条并行报警,需人工判断是否同一件事。对应的数据条件是同源判定规则与多通道的时间对齐。影响的验证项是多通道归并有效性。
现场问题之三是井下三机搭接产生的外部激励未从信号中分离。对应的数据条件是工况识别的可靠性与设备运动学参数。影响的验证项是干扰分离的信噪比改善与部件级判据的误报。多边形效应的分离只需设备档案中的三个参数,三机搭接的分离需要可靠的工况识别,两者的实现成本不同,因此 2.7.2.12 节把两项分离的贡献分开度量。
现场问题之四是井下传感器损坏率高、过保后少有人报修,已失效通道仍在参与判断。对应的数据条件是采集链路体检。影响的验证项是全部判据的可信度。体检的摘除执行率列为步级判据且基线写成全量,理由是一个读数恒定的失效通道在统计上看起来比正常通道更平稳,用它做判断永远不会报警。
现场问题之五是处置完成后的检查项、拆检发现、更换部件与恢复情况没有结构化回到数据链上,故障与数据段的对应关系无法建立。对应的数据条件是服务工单的结构化回填字段。影响的验证项是故障样本配对率与全部有监督能力。这是本场景唯一的标签来源,不可省;2.7.2.12 节的回填消融实验度量的正是这项流程改造的价值。
本节说明我方对本服务自身质量的保证方式。场景验证是一项出结论的工作,而结论会被用于判定数据集是否合格、是否需要整改;因此验证本身出错的代价不低于被验证对象出错。本节不写管理套话,只写四项可核对的做法。
验证的每一项产出都经三级复核后出具。一级是执行自检,执行人按自检清单逐项核对本次执行的版本一致性、用例完整性与留痕完整性,自检记录随执行日志归档。二级是交叉复核,由非本场景的验证人员复核判据应用是否正确、指标口径是否与登记一致、归因方向是否有证据支撑;交叉复核的意义在于同一场景的人容易形成共同的理解偏差,而判据口径的偏差一旦形成会贯穿整轮验证。三级是出具前复核,由方法与判据角色复核报告的结论句是否与数据一致、档位标注是否完整、未达基线项是否如实陈述。
三级复核的记录是交付物的一部分,验收时可查。复核中发现并纠正的问题按类型统计并在汇总报告中列出。这份统计是我方自身质量的证据,比一句「我方建立了严格的质量管理体系」有说服力。
每轮验证开始前做沙箱自检:同一批用例在同一版本配置上连跑两次,结果须一致。不一致即停下来排查,不带着不确定的沙箱往下做。自检记录进环境基线记录。
指标按不低于百分之十的比例做人工复算。复算的对象是指标本身,取一组用例,按判据的分子分母定义手工算一遍,与系统给出的指标值比对。这一步常被省略,而它恰恰能发现最尴尬的一类错误:统计单位用错、分母包含了应剔除的用例、或者某一类用例被重复计入。复算不通过的指标全部重算。
判据写完之后要反向自测一次:用一组已知应当不通过的样本去跑,看判据是否确实判它不通过。这一步针对的是一类隐蔽问题,判据写得过宽或者分母定得过松,结果是什么都能通过,而这在正常样本上看不出来。各场景的构造样本有一部分就是为此准备的:计量超期批次、窗口宽度不为正、通道读数恒定、预设值输错,这几类都应当被判据拦住;拦不住说明判据有漏洞,不是被测对象表现好。
反向自测的结果记入判据登记表的版本记录。自测不通过的判据修订后重新自测。
验证报告的表述守三条纪律,三条都直接影响报告的可信度。
指标不脱离条件陈述。每一项指标都写明它的统计单位、分母规模、所用数据集与模型版本,以及当前档位。脱离条件的指标在验收时无法复核,在后续轮次也无法比较。
未达项不作修饰。未达基线档的项直接写未达,给出归因与整改计划,不用「接近预期」「基本达成」一类表述。这一条看似对我方不利,实际相反:一份把未达项写清楚的报告,其已达项的结论才可信。
受限结论标明档位。按受限档或只做管理档输出的结论,须在结论句中标明档位与受限原因,不放在脚注。读者只看结论句是常态,档位藏在脚注里等于没标。
数据集场景验证服务分专业场景与通用场景两部分。本项目不负责智能场景的建设,只负责场景验证服务:验证的对象是数据集对场景任务的支撑能力,场景应用本身的建设由场景建设方承担。专业场景验证服务(3.2.6.5.1)的方案见本章相应节次,本节为通用场景验证服务(3.2.6.5.2)。
通用场景共五个,按原顺序为管理制度智能问答、技术标准智能问答、标书智能问答、决策数据智能问答与合同合规智能审查。五个场景的场景介绍与验证要求逐场景对应,验证方法、判分规则、归因机制与降级路径五场景共用,各场景只在题目构成、工具调用对象与指标取值上有差别。
招标文件写明:本项目不负责智能场景的建设,只负责场景验证服务。这一句是本节全部内容的起点,也是我方在五个通用场景上可执行范围的边界。
我方在五个通用场景上交付四件事。一是按场景任务构建可重复使用的验证基准集,题面、标准答案、证据定位与评分要点齐备,经甲方业务专家终审后冻结。二是固化验证协议,把题型、能力维度、判分规则、随机种子、基准集版本、人工复核规则与指标口径写定,使同一结论可被第三方按同一协议复算。三是执行验证并出具带证据的结论,逐项给出通过、有条件通过或不通过的判据,附样本级结果。四是对错样做归因,把问题定位到具体的数据子集、知识条目或标注批次,形成整改任务单,修复后复测并留闭环记录。
五个助手本身的功能开发、界面实现、权限配置、上线部署与日常运维,由场景建设方承担。我方不交付这五个助手,也不对助手的界面形态与交互设计提出约束性要求。我方关心的是助手背后所消费的数据与知识是否足以支撑招标文件列出的各项能力,以及这个判断是否有可复算的证据。
把验证放在本包而不是放在场景建设方,有一个实际理由。五个通用场景的能力上限取决于三件事:知识库条款级切分与元数据的完整度、检索证据与问题的匹配质量、问答样本对真实提问类型的覆盖。三者都属本包的数据加工交付物。验证责任与数据责任同属一方,错题就能追到源头的样本与切分批次;若由场景建设方自验,归因往往止于「检索未召回」这一层,再往下就跨了责任边界,查不下去。
招标文件对五个场景的措辞是「建设一套……智能问答助手」「打造……智能助手」。这些助手不是一次性的问答接口,而是按链路执行的智能体:它先理解问题并补齐条件,再按权限与版本过滤可用范围,然后检索证据、组装证据包,必要时调用计算引擎或规则引擎得出确定性结果,校验引用真实存在之后才生成答复,证据不足时拒答或转人工,整个过程留痕并可回溯。招标文件在项目总体目标中也把「提升垂域模型和智能体性能」作为数据集的价值落点,在多协议模型评测引擎工具链的要求中明确评测须覆盖工具调用一类任务场景,在指令数据生成工具链的要求中把工具调用列为须覆盖的任务类型。
这件事决定了验证的组织方式。一个助手答错了,可能错在六七个不同的地方:问法没见过、权限过滤把正确证据滤掉了、检索没召回、召回了但重排把它压下去了、证据被切断了半句、计算引擎的参数填错了、或者模型拿到了正确证据却没有采用。这些失败在用户那里的表现是同一个——答案不对。但它们对应的修复入口完全不同,分别落在指令样本、元数据抽取、文档切分、索引构建、标注与偏好数据六个不同的数据环节上。
因此本节不把验证做成「问一批题、算一个准确率」。本节把五个助手的共用执行链路拆成九个节点,在每个节点上设独立的观测量与判据,使每一次失败都能落到唯一的节点上,再由该节点指向唯一的数据修复入口。这是本节方法上的核心取向,也是我方认为场景验证服务真正该交付的东西:不是一张成绩单,而是一张可以照着修的归因图。
按上述取向,验证分四层组织。各层有独立的观测量、判据与归因入口,层与层之间是解释关系而不是重复关系。
数据层验证四类用途子集在该场景任务上的供给是否成立:预训练子集是否覆盖了该场景的语料面,指令微调子集是否覆盖了该场景的真实提问类型,偏好数据是否覆盖了该场景的答案优劣判别,基准评测子集是否给出了可重复的考题。这一层对应招标文件 3.2.6.3.9 数据集验证的五项实验。
知识层验证知识库、知识图谱与检索索引的质量:条款级知识单元是否切得准、元数据是否抽得全、引用关系是否连得上、索引是否检得到、表格与公式是否还原到可取值的程度。这一层是通用场景与专业场景差别最大的地方——通用场景的能力几乎整个架在文档结构化质量之上。
链路层验证智能体执行链路上每个节点的行为是否正确:条件补齐、权限与版本检查节点、检索召回、重排与证据组装、工具调用、引用校验、受控生成、拒答与转人工、留痕与血缘。其中检查节点指设置在流程中的检查环节,依据既定规则判断是否符合进入后续工序或交付的条件,不符合的不放行至下一节点。这一层给出的是归因位置。
任务层验证端到端表现:给定真实提问,助手能否给出正确且有出处的回答,相对人工作业缩短多少,重复提问下结论是否稳定。这一层给出的是业务可用性结论。
四层的关系是:任务层给结论,链路层说明错在哪一步,知识层说明这一步为什么错,数据层给出修复入口。验证报告须四层俱全;仅报任务层指标不视为本项目的验证交付。
五个场景的业务对象不同,执行链路的骨架相同。图 1 给出这条共用链路、九个观测点的位置,以及每个观测点失败时的数据归因入口。各场景在此骨架上的差异只在两处:第五个节点调用的工具不同,第三个节点的检索对象不同。
1 五个场景的共用智能体链路与九个验证观测点
图 1 五个场景的共用智能体链路与九个验证观测点。数据来源:招标文件 3.2.6.5.2 五个场景的验证要求,3.2.3.10.1 多协议模型评测引擎工具链对工具调用评测的要求,3.2.6.3.4 知识化环节对条款级切分与元数据抽取的要求。 表 1 九个观测点的验证内容、失败形态与归因入口
| 观测点 | 验证什么 | 典型失败形态 | 归因入口(本包环节) | 是否确定性 |
|---|---|---|---|---|
| ① 意图识别与条件补齐 | 能否识别提问要素,关键条件缺失时是否反问而非猜测 | 口语化问法识别不出;条件不全却直接作答 | 指令微调子集的提问类型与问法覆盖 | 否 |
| ② 权限与版本检查节点 | 是否只放行提问账号有权访问且当前有效的知识单元 | 放行了已废止条款;放行了越权内容;把有权内容误滤 | 元数据抽取(密级、适用范围、版本状态、替代关系) | 是 |
| ③ 混合检索召回 | 标准答案所依据的知识单元是否进入候选集 | 条款未召回;被表面相似的条款挤占 | 条款级切分、索引构建、RAG 数据构建 | 否 |
| ④ 重排与证据包组装 | 正确证据是否排到可用位次,证据是否完整不断句 | 召回了但排在末位;证据片段被切断半句 | 切分边界、层级还原、证据定位标注 | 否 |
| ⑤ 工具调用 | 调用的工具、参数、口径是否正确,结果能否复算 | 指标口径选错;公式变量取错;比对对象选错 | 指标知识库与规则库、工具调用样本 | 部分 |
| ⑥ 引用校验门 | 答案所引条款、标准号、单元格是否真实存在于原文 | 引用编号不存在;引用了另一版本的同号条款 | 原文坐标登记、版本关系登记 | 是 |
| ⑦ 受控生成 | 答案是否只依据已校验证据,要点是否齐全 | 证据正确但答案遗漏要点;在证据之外添加表述 | 偏好对齐子集(带引用优于不带引用) | 否 |
| ⑧ 拒答与转人工 | 无依据、无权限、口径不唯一时是否规范提示并中止 | 无依据仍给确定性结论;该反问却作答 | 拒答样本、偏好对齐子集(拒答优于编造) | 否 |
| ⑨ 留痕与血缘 | 本次问答的样本、工具、模型与知识库版本是否可回溯 | 版本未登记,结论无法复算;证据链断点 | 血缘登记(样本—处理链路—工具版本—审核状态) | 是 |
表 1 最后一列的取法如下。②⑥⑨三个节点由确定性组件承担,不经模型判断。把它们定为确定性节点不是实现偏好,而是验证口径的需要:版本状态、密级、适用范围、原文坐标都是确定性字段,字段对则放行、字段错则拦截,其表现与模型版本无关。这样安排之后,这三项的失败可以直接判定为数据缺陷,不需要先排除模型因素;而它们恰恰是五个场景中后果最重的三类错误——答出一条已废止的条款、放行一条越权内容、给出一个查不到出处的引用编号。
把五个通用场景与六个专业场景放在一起看,差别有两处,都影响验证的组织方式。
第一处是输入形态。通用场景的输入是文档与指标:管理制度与合同文档由协同办公系统提供,招标文件明确为 11 类管理制度(PDF)与 9 类合同文档(PDF、Word);技术标准与设计手册存放于企业产品生命周期管理系统与受控共享目录;招投标资料来自历史投标档案;经营指标来自经营分析报送与企业资源计划等系统。这些数据已在系统内留存,取数依赖的是接口授权与档案整理,而不是现场布点。六个专业场景的输入含设备时序与图纸影像,受设备联网范围与采集点位制约。这意味着通用场景的验证前置条件更容易齐备,但对文档解析质量的依赖远高于专业场景——专业场景的一条传感器记录只要采到就是对的,而一份扫描版制度文件解析错了半个表格,后面整条链路都建在错的基础上。
第二处是排期含义。因为不依赖新增采集,五个通用场景的验证可以在设备侧扩点之前启动,适合作为本项目首批交付的验证成果:先用通用场景把验证协议、判分流程、人工复核组织与归因回流链路跑通,再把同一套方法用到专业场景上。方法先在文档类场景上收敛,风险比直接在设备类场景上试错要低,因为文档类场景的错样可以逐条回到原文核对,判定没有歧义。我方据此把通用场景验证排在整体验证计划的前段,排期见 1.8 节。
验证执行需要场景建设方开放可调用的通道。接入条件在项目启动阶段以接口约定的形式确认,内容见表 3。接入条件不具备时,该场景的验证按本节各场景末尾的降级口径执行,并在验证报告中标注受限范围与受限对结论的影响。这一条先写明,是因为通用场景的任务层验证必须经由助手才能做,而助手不在本包范围内;把缺条件时的做法事先定下来,比到时候再议对双方都省事。
表 3 五个通用场景的验证接入条件与缺失时的降级口径
| 接入项 | 内容 | 缺失时的降级 |
|---|---|---|
| 调用通道 | 同步服务接口或离线批量推理通道,可按题目批次提交、按样本返回 | 由我方经统一网关直连基座模型与知识库,执行数据层、知识层与链路层验证,任务层结论标注为离线口径 |
| 版本标识 | 每次验证前登记助手版本、所用模型版本、知识库版本与检索配置 | 以验证当日快照登记,并在报告中注明版本不可追溯的影响范围 |
| 返回内容 | 答案正文、引用的知识单元标识与原文定位、检索命中列表、工具调用记录、单次耗时 | 仅返回答案正文时,链路层的③④⑤三个观测点改以人工复核抽样估计,抽样比例不低于分册的 30%,并在报告中注明 |
| 分级账号 | 至少三档权限账号(普通岗位、部门管理、公司管理),可分别提交同一分册 | 权限类指标改以知识单元的密级与适用范围字段做静态核验,不出具运行期越权结论 |
| 日志 | 请求与响应日志、检索中间结果、工具调用参数、异常与超时记录 | 以客户端侧计时与留痕替代,稳定性与时延结论的置信区间相应放宽 |
| 验证窗口 | 每轮验证连续不少于五个工作日的稳定服务窗口,期间不变更模型与知识库版本 | 分段执行并在报告中分段呈现,不跨版本合并指标 |
甲方各业务部门在筹划这五个助手时,已对每个场景提出过明确的量化口径。这些口径分两类:一类落在文档解析、条款切分、标注质量与样本覆盖上,其达成取决于本包的数据加工交付;另一类落在响应时延,并发容量、越权拦截与界面统计上,其达成取决于场景建设方的工程实现。两类口径的责任主体不同,混在一起承诺对双方都不利。
我方的做法是:把第一类作为本节验证指标的目标值来源,逐项给出观测量、测定方法与下限值,并承担不达目标时的归因与整改;把第二类在验证中一并测量并记入报告,作为场景整体可用性的观测记录,但不列为我方承诺指标。表 4 按这个分法把五个场景的主要口径归位。
表 4 场景侧验收口径的责任归位
| 口径类别 | 具体口径 | 责任侧 | 本节如何处理 |
|---|---|---|---|
| 文档解析 | 常规文件预处理准确率、模糊文档识别准确率、条款结构化识别准确率、表格单元格级精度、公式还原可取值 | 数据侧(本包) | 列为知识层验证指标,给目标值与下限值,不达即归因并整改复测 |
| 条款与元数据 | 条款级定位到制度或标准、章节、条款编号与原文片段;核心元数据抽取;版本与替代关系登记 | 数据侧(本包) | 列为知识层与链路层②⑥两个确定性检查节点的判据 |
| 标注质量 | 标注准确率、关键要素标注完整率、同类样本标注一致性、结论可追溯到条款与制度依据 | 数据侧(本包) | 列为数据层验证指标,复核采用双人独立判分加仲裁 |
| 样本规模与切分 | 训练、验证、独立测试三集的样本量与隔离要求;法规条文与内部制度条目数;标注要素数 | 数据侧(本包) | 列入各场景数据层验证的供给核对表,按来源与时间双重切分 |
| 问答能力 | 意图识别准确率、复杂场景答疑准确率、答疑准确回答率、多轮追问与意图澄清 | 两侧共同 | 列为任务层指标;失败先经链路层定位,属数据侧的归因整改,属工程侧的记录并通报 |
| 风险识别 | 条款冲突、内容重复、失效文件、新旧版本矛盾的识别准确率 | 两侧共同 | 列为任务层指标,并在知识层单独验证引用关系与版本关系的完备度 |
| 时延与并发 | 首次加载、单次检索、全链路分位时延、接口响应、数据迭代延迟,同时在线人数 | 工程侧(场景建设方) | 在验证窗口内测量并记入报告,不列为我方承诺指标 |
| 权限与审计 | 越权检索、查看、下载的拦截;操作日志留存时长 | 工程侧为主 | 以三档账号实测并记录;知识单元密级与适用范围字段的正确性属数据侧,单列指标 |
| 业务收益 | 审查或编制周期缩短幅度、人工工时节约 | 两侧共同 | 以实测人工基线为分母给出测算,基线未实测前不填预估值 |
这张表还有一个用处。五个场景的验收最终要回答一个问题:没达到的那一项,是数据不够还是系统没做好。表 4 把这个问题在验证开始之前就分好了,验证执行时每一项失败都已经知道该往哪一侧归。这比事后争论要省力得多,也是我方把验证与数据加工放在同一包内交付的直接好处。
图 2 给出通用场景验证在数据流向上的位置与各方责任边界。图中实线为数据流,虚线为结论与整改流。
2 通用场景验证服务的数据流向与责任边界
图 2 通用场景验证服务的数据流向与责任边界。数据来源:招标文件 3.2.6.5 划定的服务范围,3.2.2.2 对甲方提供文档类数据的说明,3.2.6.3.4 知识化环节与 3.2.6.3.9 数据集验证的接口关系。
本部分给出五个场景共用的验证方法,并落实 3.2.6.3.9 数据集验证对实验设计、错样归因与验证报告的要求。五个场景只在题目构成、工具调用对象与指标取值上有差别,流程、判分、归因与降级机制一致。方法统一之后,五个场景的结论可以横向比较,验收口径不致因场景而异。
验证按基准构建、协议冻结、执行评测、错样归因、整改复测五个阶段推进,每个阶段有明确的输入、输出与把关人。流程如图 3。
3 通用场景验证的五阶段流程与把关点
图 3 通用场景验证的五阶段流程与把关点。数据来源:招标文件 3.2.6.3.9 对验证闭环与报告的要求,3.2.3.10.1 对评测协议可重复执行的要求,3.2.6.3.6 对基准评测子集不得使用合成数据的要求。
阶段一基准构建。题目来自真实业务,不来自编造。管理制度与技术标准场景的题目取自甲方各部门的实际咨询记录与业务专家出题;标书场景的题目取自历史招标文件与历史内部评审意见;决策数据场景的题目取自经营分析报告中实际被问过的指标与口径;合同场景的题目取自历史法务审查意见。每道题附标准答案、答案所依据的条款或指标定位、评分要点、题型标签与难度标签。基准评测子集不得使用任何形式的合成数据,通用场景的验证题目同守此规,按四条规则执行:题面与标准答案均取自真实业务记录,或由业务专家依据真实业务出题;分册经专家终审后独立冻结,冻结版本不参与训练数据的构建;任何由模型或模板生成的题目不得进入基准评测子集,含题面改写集在内的生成题只用于一致性观察,不计入主指标;每道题登记来源文件标识、来源类型、提供部门、取用日期与冻结版本号,并保留与训练样本的双向查重记录作为隔离证据。合成题的问法分布受生成模型自身偏好支配,与真实提问分布不一致,据以测得的指标不反映助手在真实业务问法上的表现;来源登记与隔离证据使这一约束可被逐题核查。登记字段见 1.2.16。
阶段二协议冻结。把题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则与指标口径写入评测协议并冻结,冻结后不得在本轮验证中修改。协议由多协议模型评测引擎工具链承载并版本化。冻结是可重复性的前提:同一协议、同一基准集版本、同一模型与知识库版本下重跑,机器判分部分的结果应当一致;不一致即视为执行环境异常,须先排除环境因素再继续。
阶段三执行评测。按题目批次通过统一网关提交,记录答案、引用的知识单元、检索命中列表、工具调用参数与结果、单次耗时。四层验证在同一批题上并行取数:任务层取答案与要点命中,链路层取检索命中列表、重排位次、工具调用记录与引用校验结果,知识层取被引知识单元的切分与元数据状态,数据层取该题所属考点在四类子集中的供给记录。机器判分先行,人工复核按分层抽样覆盖;机器判分与人工复核不一致的样本一律转人工仲裁,并计入判分策略的校准数据。同题重测用于观察稳定性:每道题在同一版本下重复提交三次,答案要点不一致的记为不稳定样本。
阶段四错样归因。失败样本先按图 1 的九个观测点定位,再按错因归类,归类维度见表 5。每一类对应唯一的修复入口。归因结论写成整改任务单,含问题类型、关联样本、影响范围、修订建议、责任组、优先级与整改期限,由数据贡献度归因与错题溯源工具链承载。
表 5 错因归类、判定依据与修复入口
| 错因类别 | 判定依据 | 观测点 | 修复入口 | 影响范围的估计方式 |
|---|---|---|---|---|
| 问法未覆盖 | 同一考点换成常规问法即答对 | ① | 指令微调子集按缺失类型补样本 | 按题型统计同类问法的失败率 |
| 条件未补齐 | 关键条件缺失时未反问而直接作答 | ① | 拒答与澄清样本补对 | 统计需反问题目中实际反问的比例 |
| 版本检查节点误判 | 返回已废止条款,或把现行条款误滤 | ② | 版本状态与替代关系登记 | 以标准或制度台账逐条核对 |
| 权限门误判 | 放行越权知识单元,或把有权内容误滤 | ② | 密级与适用范围元数据 | 以三档账号跑同一分册比对 |
| 检索未召回 | 标准答案依据的知识单元不在候选集内 | ③ | 条款级切分、索引与 RAG 数据构建 | 按证据召回率在分册上统计 |
| 重排压位 | 正确证据在候选集内但未进入证据包 | ④ | 证据定位标注与重排特征 | 统计召回命中但未被引用的题目占比 |
| 证据断句 | 答案所需条款被切成两段或并入邻条 | ④ | 切分边界与层级还原 | 以条款边界标注比对切分结果 |
| 工具参数错 | 调用的指标、公式、比对对象或时间范围不对 | ⑤ | 指标知识库、规则库、工具调用样本 | 逐条复算工具调用记录 |
| 引用不实 | 所引编号或单元格在原文中不存在 | ⑥ | 原文坐标与版本关系登记 | 对引用逐条回原文核验 |
| 证据未采用 | 证据正确且进入证据包,答案仍遗漏要点 | ⑦ | 偏好对齐子集按偏好维度补对 | 统计证据正确而要点未命中的题目占比 |
| 越界作答 | 无依据或口径不唯一时给出确定性结论 | ⑧ | 拒答样本与偏好对齐子集 | 以专设的无依据题测定 |
| 血缘缺失 | 版本未登记,结论无法复算 | ⑨ | 血缘登记字段 | 抽查问答记录的字段完整性 |
| 题面歧义 | 复核组对标准答案本身存在分歧 | — | 基准集本身,修订题面或替换题目 | 以复核一致性低的题目聚类识别 |
表 5 最后一行单列:它不是被测对象的问题,而是题目本身的问题。首轮验证中这一类通常占失败样本的一到两成;复核员之间判定不一致的题目,其结果不构成对助手能力的观测。这类题退回出题环节修订,修订记录随基准集版本留存。
阶段五整改复测。修复后以同一协议重跑,重跑范围为该错因类别涉及的全部题目,而不只是失败的那几道。只复测失败样本时,「修个案不修类别」的整改同样能通过复测;而同一类切分缺陷通常影响一批条款,只修被测到的那一条,其余条款的缺陷仍在。复测结果与首轮结果并列呈现,形成闭环记录。复测完成后,本轮的协议、分册、样本级结果、归因与整改记录按 1.2.19 一并封存。
链路层是本节方法上的新增一层,执行方式需单独交代。链路层不另出题,与任务层共用同一批题,差别在于取数的粒度:任务层只看最终答案对不对,链路层把这道题在九个节点上的中间产物逐一取下来判。
取数依赖场景建设方按表 3 开放返回内容。返回齐备时,九个观测点中有七个可自动判定:检索命中列表给③,重排位次与证据包给④,工具调用记录给⑤,引用校验结果给⑥,拒答标志给⑧,日志字段给⑨,反问记录给①的一半。只有④中的证据断句与⑦的证据未采用需要人工复核介入——前者要把证据片段与原文条款边界比对,后者要判断遗漏的要点是否确实在证据里。
返回不齐备时,链路层按降级口径执行:对分册抽样不低于 30% 的题目做人工链路复盘,即由复核人员按同一问题在知识库中手工检索,判断正确证据是否可被检索到、是否完整、是否足以支撑标准答案的全部要点。这个做法测不出助手的检索实现好坏,但测得出数据侧的供给是否成立——而后者正是本包要负责的部分。报告中对两种口径分别标注,不混算。
链路层的判据按表 6 给出。表中阈值为首轮验证的下限值,目标值随版本迭代抬高,取值在每轮验证前书面约定。
表 6 链路层九个观测点的观测量与首轮下限值
| 观测点 | 观测量 | 测定方法 | 首轮下限值 | 不达时的处置 |
|---|---|---|---|---|
| ① 意图识别 | 要素识别正确率 | 以题目登记的要素标签比对识别结果 | ≥0.90 | 按失败问法类型回流补指令样本 |
| ① 条件补齐 | 应反问题目的反问率 | 以专设的条件缺失题测定,每分册不少于 5% | ≥0.85 | 补澄清类样本与偏好对;复测 |
| ② 版本检查节点 | 现行有效判定正确率 | 以制度或标准台账逐条核对 | ≥0.98 | 版本字段逐条修订,修订后整批重跑 |
| ② 权限门 | 越权放行发生数 | 三档账号跑同一分册,统计放行越权单元的题目数 | 零发生为目标,出现即判不通过 | 不设有条件通过,密级字段逐条核验后重测 |
| ③ 检索召回 | 证据召回率 Recall@5 | 以题目登记的证据定位与命中列表自动比对 | ≥0.90 | 按未召回条款聚类定位切分或索引缺陷 |
| ④ 证据组装 | 证据完整率 | 证据片段与原文条款边界比对 | ≥0.92 | 回流切分环节调整边界规则 |
| ④ 重排有效性 | 召回后被引用率 | 统计召回命中题目中证据实际进入答案的比例 | ≥0.90 | 补证据定位标注,复核重排特征取值 |
| ⑤ 工具调用 | 调用正确率 | 逐条复算工具、参数、口径与结果 | ≥0.95 | 口径或规则库逐条修订;详见 1.2.3 |
| ⑥ 引用校验 | 引用真实率 | 对答案所引编号与单元格回原文核验 | ≥0.99 | 原文坐标登记逐条修订 |
| ⑦ 受控生成 | 要点覆盖率 | 规则匹配与语义相似度初判,分歧转人工 | ≥0.85 | 按遗漏要点类型补偏好对 |
| ⑧ 拒答 | 应拒答题目的正确拒答率 | 以无依据题测定,每分册不少于 8% | ≥0.90 | 补拒答样本并重训奖励模型后复测 |
| ⑨ 留痕 | 血缘字段完整率 | 抽查问答记录的必填字段 | ≥0.98 | 补登记字段;缺失期间的结论标注为不可复算 |
五个场景中有三个的核心能力落在工具调用上:决策数据场景的指标取数与确定性计算,合同场景的规则检查与跨文件比对,标书场景的审标规则与评分测算。招标文件在多协议模型评测引擎工具链中要求评测覆盖工具调用类任务场景,在指令数据生成工具链中要求指令样本覆盖工具调用任务类型。工具调用的判分与问答判分不同,须单独立规则。
工具调用的一次执行分四段,每段独立判定。第一段是工具选择:该问题是否该调工具、该调哪一个。第二段是参数构造:指标编码、时间范围、组织维度、比对对象、阈值是否填对。第三段是执行与结果:工具返回值是否可被独立复算。第四段是结果采用:答案里的数字是否就是工具返回的那一个,有没有被模型复述时改动。
四段分别判定的理由是它们的失败各自对应不同的修复入口。工具选择错,修复入口在指令样本的任务类型覆盖;参数构造错,修复入口在指标知识库或规则库的口径登记;执行结果错,修复入口在工具本身或其依赖的知识库条目;结果采用错,修复入口在偏好数据与生成约束。合成一个「工具调用准确率」会把四类问题混在一起,归因时还得再拆一遍。
表 7 工具调用四段判分规则
| 段 | 判定内容 | 判定方式 | 计为失败的情形 |
|---|---|---|---|
| 工具选择 | 是否调用、调用哪一个工具 | 与题目登记的应调工具比对 | 该调未调、不该调而调、调错工具 |
| 参数构造 | 指标编码、口径版本、时间范围、维度、比对对象、阈值 | 逐字段与标准答案登记的参数比对 | 任一关键字段不符即判失败,并记录是哪一字段 |
| 执行与结果 | 返回值能否按登记的公式与数据快照独立复算 | 由验证侧按同一快照复算一遍 | 复算结果与返回值不一致 |
| 结果采用 | 答案中的数值、单位、口径说明与返回值是否一致 | 自动比对数值与单位字段 | 数值被改动、单位丢失、口径说明与实际调用不符 |
对决策数据与合同两个场景,第三段采用三路独立复算:一路由工具按登记公式执行,一路由验证侧独立实现同一公式复算,一路回到正式报表或原始条款核对。三路一致才判该题通过;两路一致时先自动重查口径与数据时点,仍不一致的只把差异项转人工裁定,不自行择一。这个做法比单路比对费工,但它是本场景唯一能把「数字对不对」与「口径对不对」分开看的办法——两路都按错口径算出同一个数的情形是存在的,三路里有一路回原始凭证就能把它挡住。
五个通用场景的验证题目在基准评测子集 0.95 万条的总量口径内按场景分册计列,不额外扩张基准子集总量。分册规模按场景的验证要求条数、业务提问多样性与链路层观测需要确定,见表 8。表中现场抽样题是不进入基准子集、仅用于人工现场演示与抽查的题目,单独编号管理,用完即归档,不参与指标统计以免污染基准。
表 8 五个通用场景的验证基准集分册规模与题型构成
| 场景 | 基准分册题量 | 题型构成 | 专设题占比 | 主要承载业务域 | 现场抽样题 |
|---|---|---|---|---|---|
| 管理制度智能问答 | 500 条 | 条款定位 140·语义解读 110·跨制度咨询 100·引用关系判断 50·版本效力辨析 50·岗位权限适用 30·例外与特殊情形 20 | 无依据题 8%·条件缺失题 5%·干扰题 5%·版本失效题 5%·权限越界题 4%·工具失败题 3% | 跨域通用语料 | 40 条 |
| 技术标准智能问答 | 500 条 | 参数限值查询 130·适用条件判定 60·条文解读 90·多轮追问 80·版本替代辨析 50·跨标准条款冲突 30·表格取值 40·公式应用 20 | 无依据题 8%·条件缺失题 7%·干扰题 5%·版本失效题 6%·权限越界题 4%·工具失败题 4% | 产品工艺设计域、跨域通用语料 | 40 条 |
| 标书智能问答 | 500 条 | 条款定位 90·资格与资质要素抽取 70·技术要素抽取 60·商务要素抽取 50·漏项检查 60·内容生成 110·文件评审 60 | 无依据题 8%·条件缺失题 5%·干扰题 6%·版本失效题 5%·权限越界题 4%·工具失败题 3% | 供需计划域 | 40 条 |
| 决策数据智能问答 | 600 条 | 指标口径辨识 70·时间粒度与期间解析 70·确定性计算 120·查询权限边界 40·多维分析 100·异动归因 120·多轮上下文 80 | 无依据题 8%·条件缺失题 6%·干扰题 4%·版本失效题 5%·权限越界题 6%·工具失败题 5% | 九个业务域指标体系 | 50 条 |
| 合同合规智能审查 | 300 条 | 条款与要素识别 80·规则依据引用 50·跨文件冲突 50·风险识别与分级 80·人工复核转交判定 20·修改建议判定 20 | 无依据题 8%·条件缺失题 5%·干扰题 5%·版本失效题 5%·权限越界题 4%·工具失败题 5% | 供需计划域 | 30 条 |
| 合计 | 2,400 条 | — | — | — | 200 条 |
注:合计 2,400 条在基准评测数据集 0.95 万条口径内列计,其中供需计划域承载标书与合同两个场景共 800 条,其余在跨域通用分册与相应业务域分册内列计。专业场景验证题目另行分册。专设题占比为分册内的比例,不额外加题;其中版本失效题、权限越界题与工具失败题按 1.2.18 的四类专项测试构造,与无依据题合并构成边界条件测试,独立编号、独立统计。各场景的题型按其业务判别要点分设,差异见各场景的题型与评分式表。
基准集有四条纪律。四条中任一放松,分册所测得的指标即不具备可信度。
第一条是与训练集隔离。凡进入基准分册的题面及其证据原文,不得出现在指令微调子集与偏好数据中。入册前以数据去重与相似度过滤工具链做双向查重,相似度超过阈值的题目退回重出。隔离按来源与时间双重切分:来源上不共用同一段原文,时间上基准题所依据的文件版本与训练样本所依据的版本分期取用。
第二条是专家终审。每道题的标准答案与评分要点须经甲方相应业务部门专家确认,未经终审的题目不计入正式验证。终审留记录,记录内容包括确认人所属部门、确认日期与修订意见;个人姓名不进入对外交付的验证档案,只记部门与岗位。
第三条是题面改写集。每个分册另备 15% 的改写题,同一考点换一种问法,用于观察助手是否对特定问法过拟合。改写题与原题的得分差超过 10 个百分点时,该考点的结论标注为待复核,并在报告中单列。改写由文本重写与多样化工具链生成后经人工筛选,生成的改写题只用于观察一致性,不计入主指标。
第四条是难度分层。每道题标注难度标签,分简单、中等、困难三档:简单题为单条款单证据,中等题为跨条款或需条件判断,困难题为跨文件、跨版本或需工具调用链。三档按约定比例构成分册,报告中按档位分别给出指标。只报总体准确率会掩盖一件事——困难题的占比稍一变动,总体数字就跟着动,而验收时看到的那个数字究竟对应什么难度构成,事后无从追查。
五个场景的指标分五组。知识组衡量知识层,链路组衡量链路层,任务组衡量端到端答案质量,效率组衡量相对人工作业的改善,稳定与合规组衡量可用性底线。各组指标的定义与测定方法见表 9。
表 9 通用场景验证指标的定义与测定方法
| 指标组 | 指标 | 定义 | 测定方法 |
|---|---|---|---|
| 知识 | 条款收录率 | 原文条款在知识库中存在对应知识单元的比例 | 分层抽样后逐条比对 |
| 知识 | 切分完整率 | 知识单元边界与原文条款边界一致的比例 | 以条款边界标注比对切分结果,自动统计 |
| 知识 | 层级还原率 | 章、节、条、款、项的层级关系与原文一致的比例 | 层级路径与原文目录结构比对 |
| 知识 | 核心元数据抽取正确率 | 名称、编号、发布部门、生效日期等字段抽取正确的比例 | 逐份人工核对 |
| 知识 | 判定类元数据正确率 | 适用范围、层级、密级、版本状态等需判定字段的正确比例 | 与主数据比对后由业务专家判定 |
| 链路 | 见表 6 九项 | — | — |
| 任务 | 答案要点覆盖率 | 答案命中评分要点的比例,按要点加权 | 规则匹配与语义相似度初判,分歧转人工 |
| 任务 | 引用正确率 | 答案给出的条款编号、标准号、单元格、指标口径与实际一致的比例 | 自动比对编号与口径字段 |
| 任务 | 判定类题目准确率 | 风险识别、合规判定、冲突识别等判定题的正确比例 | 与标准答案的判定结论比对 |
| 任务 | 多轮一致性 | 多轮对话中上下文条件被正确继承的轮次比例 | 以多轮题的轮级标注逐轮比对 |
| 效率 | 相对人工缩短幅度 | (人工基线时长-助手时长)/人工基线时长 | 同题人工对照组计时,对照组不少于 3 人 |
| 效率 | 响应时长分位值 | 单题从提交到返回带引用答案的时长第 95 百分位 | 验证窗口内的请求日志统计 |
| 稳定与合规 | 同题一致率 | 同一题重复三次,答案要点一致的题目占比 | 三次结果自动比对 |
| 稳定与合规 | 越权放行发生数 | 返回了提问账号无权访问的知识单元的题目数 | 以三档权限账号分别跑同一分册 |
| 稳定与合规 | 敏感字段外露发生数 | 答案中出现应去标识化字段的题目数 | 敏感信息识别规则自动扫描加人工抽查 |
效率指标的人工基线必须实测,不引用行业经验值。做法是在验证前组织人工对照:同一批题目交由甲方相应岗位人员在现行工作方式下作答并计时,取中位数作为基线。对照组人员的岗龄与熟练度分布记入报告,避免用新手基线夸大改善幅度;对照组不少于三人,取中位数而非均值,以免个别极值主导结果。人工基线实测前,效率类指标在报告中留空而不填预估值。此项为硬性规定:未实测的基线无法支撑相对改善幅度的复算,由其导出的效率数值不具备验收依据。
招标文件要求多种判分策略融合,支持精确匹配、语义相似度、规则约束与模型裁判等方式。本节的判分按题型分配策略,不搞一刀切。
有唯一答案的题用精确匹配,包括条款编号、标准号、参数限值、表格单元格取值、指标数值。这类题占五个分册的四成左右,判分无歧义,可整批自动执行。
有标准要点的题用要点规则匹配加语义相似度,包括条文解读、风险识别、合规判定。这类题的判分把标准答案拆成若干要点,逐要点判命中,按要点权重加总;语义相似度只用于判断表述不同但意思相同的情形,阈值在协议中写定。
开放度较高的题用模型裁判初判加人工复核,包括修改建议、分析结论、生成内容质量。模型裁判的采信有前置条件:在每个分册上先取 100 道题做裁判校准,模型裁判结论与人工仲裁结论的一致率达到 0.85 以上,该分册方可采用模型裁判初判;低于 0.85 时该分册转人工判分,并把评分细则退回修订。这一条写入协议:未经校准的模型裁判不得用于正式判分。校准数据随协议留存,复算时可重跑。
人工复核采用双人独立判分加第三方仲裁。两人判分不一致的样本转仲裁,仲裁结论为准。复核组内一致性以 Kappa 系数衡量,低于 0.75 时暂停该分册复核、重新对齐评分细则后再启动,已判样本重判。复核人员须来自甲方相应业务领域或经业务专家培训并通过试判,试判题不少于 30 道,试判结果与标准答案的一致率低于 0.80 的不进入正式复核。
表 10 判分策略与人工复核投入的对应
| 题型 | 判分策略 | 自动判分占比 | 人工复核抽样比例 | 复核资格要求 |
|---|---|---|---|---|
| 条款定位、参数限值、单元格取值、指标数值 | 精确匹配 | 高 | ≥10% | 经培训并通过试判 |
| 条文解读、语义解读、多文档咨询 | 要点规则+语义相似度 | 中 | ≥30% | 相应业务领域人员 |
| 风险识别、合规判定、冲突识别 | 要点规则+判定结论比对 | 中 | ≥40% | 相应业务领域人员 |
| 内容生成、修改建议、分析结论 | 模型裁判初判+人工复核 | 低 | 100 道校准后按分册 ≥50% | 业务专家或经专家培训 |
| 多轮上下文、条件缺失、无依据题 | 规则约束+人工判定 | 中 | ≥30% | 经培训并通过试判 |
每个场景的每一项验证要求都有三级判据:通过、有条件通过、不通过。三级的处置不同,见表 11。设置有条件通过一档,是因为通用场景的能力受知识库完备度影响很大,首轮验证中常见的情形是方向正确但覆盖不足——条款切分规则对九成文件有效、对附表形式的那一成失效。这类情形直接判不通过会掩盖已经成立的部分,直接判通过又会把缺口带到下一阶段。
表 11 三级判据及其处置
| 判据 | 含义 | 处置 | 对后续的影响 |
|---|---|---|---|
| 通过 | 该项各项指标达到目标值 | 记入验证报告,该项在本版本上结论成立 | 不阻断数据集版本发布 |
| 有条件通过 | 主要指标达到下限值但未达目标值,或次要指标未达下限 | 按 1.2.20 登记差距、可用与不可用范围、未结项、责任组与期限,出整改任务单;限期修复后对该错因类别涉及的全部题目复测,复测达目标值转通过,未达则按不通过处置 | 不阻断本版本发布,但缺口与未结项在报告中明列并带入下一版本;不等同于最终验收通过 |
| 不通过 | 主要指标未达下限值 | 定位到相应数据子集与知识环节回流修复,修复后重新完整验证该项;连续两轮未达下限的,提请甲方与场景建设方共同评审,调整该项的验证口径或数据供给范围,评审结论记入验证报告 | 阻断该版本数据集在本场景上的可用性结论 |
三项例外不设有条件通过一档,直接按通过或不通过判定:权限门的越权放行、引用不实,以及以已废止内容作为执行依据。三者的后果都不随比例递减。放行了一条越权内容,不因为只放行了一条而可以接受;给出一个查不到出处的条款编号,使用者据以办事的后果与给出十个相同;以一条已废止条款作为执行依据,其后果同样落在据以办事的那一次。三项出现即判不通过,整改后重测。有条件通过项的登记内容与转归路径见 1.2.20。
目标值与下限值按场景分别给出,见各场景末尾的指标表。取值原则有三条。首轮验证的目标值按已具备的数据条件设定,随数据集版本迭代逐版抬高,每一版的取值在验证前书面约定并经甲方确认。各版的取值与达成情况在验证报告中并列记录,使指标的走势可见而不只是看最后一版。我方不在投标阶段承诺某项指标在首轮即达到上限,也不以绝对化的表述描述验证结果;凡招标文件要求覆盖的维度,我方以逐版抬高覆盖率的方式趋向完整,每一版的缺口在报告中明列。
回退机制按三档设置。第一档是指标回退:某项能力在当期数据条件下达不到目标值时,该项按下限值继续运行并在报告中标明当前档位,其余各项不受影响。第二档是范围回退:某类对象(如扫描质量过低的历史制度、缺失附件的历史合同)在当期无法支撑验证结论时,将该类对象从本轮验证范围中单列,报告中注明未覆盖范围与原因,下一轮补做。第三档是方法回退:场景侧接入条件不具备时按表 3 的降级口径执行,只出数据层、知识层与链路层结论,任务层待条件具备后补测。三档回退都要求在报告中显式标注,不以静默缩小范围的方式达成指标。
验证容易在四处失真,各设一道措施。四处失真都不在指标报表上留下痕迹,须以流程规定在执行阶段挡住。
第一处是泄题。基准集与训练数据的双向查重已在 1.2.4 述及。除此之外,基准分册在验证窗口外不对场景建设方开放;验证结束后题面不回流至训练环节;需要用于训练的题目另行出题,与基准分册不共用来源文件的同一段落。每轮验证前对分册做一次泄露检查:抽取 50 道题,检查其题面与证据原文是否出现在当期训练样本中,发现即替换该题并扩大检查范围。
第二处是过拟合于问法。除题面改写集外,验证中混入无依据题与干扰题。无依据题问的是知识库确实没有依据的事项,考察助手是否会编造;干扰题在题面中掺入与本题无关但表述相近的条款名称或指标别名,考察检索是否被表面相似性带偏。两类题的占比在表 8 中按分册给出,题目来源与正常题分开管理。
第三处是口径漂移。同一指标在不同轮次的测法必须一致,测法变更须作为协议变更单独记录并说明影响,变更前后的数据在报告中分列而不合并。涉及人工判分的指标,每轮复核前以 20 道标杆题做校准,校准结果不一致时先对齐再开工。标杆题跨轮固定,不随分册更新而更换,这样复核尺度的漂移才能被观测到。
第四处是样本选择。分层抽样的分层依据与抽样比例在协议中写定,执行时按固定随机种子抽取,抽样清单随报告留存。不允许在看过结果之后调整抽样范围。复核工作量紧张时按易判程度调整抽样顺序,会系统性地抬高指标,故抽样顺序一并由固定种子确定,不在执行中改动。
验证在甲方内网环境执行。制度、合同、标书与经营指标均属企业秘密数据,不出内网。涉及模型调用时经统一网关提交并记录调用范围与数据出域情况;凡含敏感字段的题面与证据,先经去标识化处理再提交,出域内容以去标识化后的文本为限。个人信息字段在入库阶段即完成去标识化,验证过程不解密。
验证账号按分级权限配置,至少设普通岗位、部门管理、公司管理三档。越权放行一项以三档账号分别跑同一分册测定:同一题在低权限账号下应当返回权限不足,或仅返回其可见范围内的内容。这一项不达判据即判不通过,不设有条件通过。
五个场景中有三类对象需要额外的处理口径,单独写明。技术标准中的外部标准文本涉及版权,验证只使用经授权导入的电子件,题面引用以条款编号与必要片段为限,不在验证档案中附标准全文。历史投标文件与合同含客户信息与报价,题面与证据一律用去标识化后的版本,客户名称替换为代号并保留映射表于内网,映射表不随验证档案交付。经营指标数据按分级脱敏后使用,关键利润与成本指标的具体数值在对外交付的验证报告中以区间或相对值表示。
全过程留审计日志,记录提交时间、账号、题目批次、返回的知识单元与工具调用参数。日志保留至项目验收后不少于 12 个月,并按甲方要求的留存期限延长。
数据层对应招标文件 3.2.6.3.9 数据集验证的五项实验,五项实验在五个通用场景上的落法如下。
四类用途子集的规模口径是:预训练子集 615 亿 Token、指令微调子集 89 万条、人类偏好对齐子集 6.6 万组、基准评测子集 0.95 万条。五个通用场景消费的是其中与制度、标准、招投标、合同、指标相关的部分,分布在供需计划域与跨域通用语料中。数据层验证不重复整个数据集的验证工作,只回答一个问题:就这五个场景而言,四类子集的供给是否成立。
第一项实验是继续预训练。以领域知识探针测量知识注入的有效性。探针题由制度条款事实、标准参数限值、合同常规条款表述与指标定义构成,每类不少于 200 道,题型为填空与单项判断,考察的是知识是否被注入而非是否会调用检索。做法是在继续预训练前后分别用同一组探针测量,比较答对率变化;同时测量保留语料的困惑度变化,用于观察是否出现灾难性遗忘。探针题与基准分册不共用题面,避免同一批题既当训练效果证据又当场景验证证据。
第二项实验是指令微调。看四件事:提问类型覆盖,把五个场景的真实提问按类型归并,核对指令微调子集中是否有对应类型的样本,缺哪一类即为覆盖盲区;指令遵循,考察模型是否按要求的格式输出,包括给出条款编号、标注版本、列出引用来源,这一项直接影响任务层的引用正确率;长上下文理解,技术标准与招投标文件都是长文,题目构造为在长文中埋设目标条款并观察是否被正确引用;工具调用,考察模型是否按任务类型正确选择工具并构造参数,这一项对应链路层⑤。
第三项实验是偏好对齐。针对本场景的三组偏好:带引用的回答优于不带引用的回答,无证据时拒答优于编造,口径不唯一时反问优于择一作答。做法是从偏好子集中抽取与五个场景相关的偏好对,训练奖励模型后在留出集上测偏好判别准确率;再以对齐后的模型跑无依据题与口径歧义题,观察正确拒答率与反问率是否提升。这一条把 2.8 的防编造措施与数据供给连了起来——拒答能力依赖偏好数据训练得来,不以提示约束代替。
第四项实验是基准评测。在固化的评测协议下对四个模型版本执行标准化评测:基座模型、继续预训练模型、微调模型、对齐模型。五个场景的能力维度各自取定后,输出各版本的能力增量与能力雷达图。这一项是把数据集价值量化出来的唯一途径——数据集好不好,最终体现为「用了它之后模型在这五个场景上强了多少」,而不是数据集自身的任何静态指标。四个版本的对照安排见表 12。
第五项实验是场景任务检验,即 1.3 至 1.7 节逐场景展开的内容,输出各场景的可用性结论;不达预期的定位至相应数据子集并回流修复。
4 四类用途子集、四个模型版本与五个场景能力增量的对应
图 4 四类用途子集、四个模型版本与五个场景能力增量的对应。数据来源:招标文件 3.2.6.3.9 数据集验证五项实验,四类子集规模按 3.2.6.4 逐数据集规模表,3.2.3.10.1 多协议模型评测引擎工具链。
表 12 四个模型版本在五个场景上的评测安排与预期增量来源
| 模型版本 | 训练数据来源 | 在五个场景上重点观测的维度 | 增量的预期来源 | 不出现增量时的首查方向 |
|---|---|---|---|---|
| M0 基座模型 | 无(原样评测) | 各场景全部维度,作为对照基线 | — | — |
| M1 继续预训练 | 预训练子集中制度、标准、合同、招投标长文与指标定义语料 | 领域术语理解、长文定位、专业表述规范性 | 领域语料的知识注入 | 语料采集范围与去重去噪环节;若检索到位即答对,说明该知识宜留在知识库 |
| M2 指令微调 | 指令微调子集中五个场景的问答与抽取样本 | 指令遵循、输出格式、要素抽取、工具选择与参数构造 | 提问类型覆盖与格式约束样本 | 指令数据生成环节,按缺失任务类型补样本 |
| M3 偏好对齐 | 偏好对齐子集的三组偏好对 | 引用完整性、无据拒答、口径歧义反问、答案要点组织 | 偏好对的维度覆盖与标注一致性 | 偏好样本构造环节,按偏好维度补对 |
表 13 四类用途子集在五个通用场景上的数据层验证方式
| 用途子集 | 本场景相关内容 | 验证方式 | 观测量 | 不达预期时的回流入口 |
|---|---|---|---|---|
| 预训练子集 | 制度、标准、合同、招投标长文本与指标定义语料 | 继续预训练前后以同一组知识探针测量 | 探针答对率变化、保留语料困惑度变化 | 语料采集范围与去重去噪环节 |
| 指令微调子集 | 制度问答、标准问答、标书问答、查数问答、合同审查与工具调用指令样本 | 提问类型覆盖核对,指令遵循、长上下文与工具调用专项测试 | 类型覆盖率、格式遵循率、长文定位正确率、工具选择正确率 | 指令数据生成与合成环节,按缺失类型补样本 |
| 偏好对齐子集 | 带引用优于不带引用、无据拒答优于编造、口径歧义反问优于择一三组偏好 | 训练奖励模型后在留出集上测判别准确率;对齐后跑无依据题与歧义题 | 偏好判别准确率、正确拒答率与反问率提升幅度 | 偏好样本构造环节,按偏好维度补对 |
| 基准评测子集 | 五场景分册合计 2,400 条 | 按 1.2.4 构建、专家终审、与训练集双向查重后冻结 | 题目终审通过率、与训练集重复率、难度分布符合度 | 基准集本身,修订题面或替换题目 |
表 14 五个通用场景与各用途子集的供给对应
| 场景 | 预训练语料面 | 指令样本类型 | 偏好维度 | 工具调用样本 | 基准分册 |
|---|---|---|---|---|---|
| 管理制度智能问答 | 11 类管理制度全文及附件 | 条款定位、语义解读、跨制度咨询、冲突候选判定 | 引用完整性、拒答正确性 | 版本对比、引用关系查询 | 500 条 |
| 技术标准智能问答 | 国标、行标、企标、设计手册、内部工艺规范 | 参数查询、条文解读、多轮追问、版本辨析、单元格取值 | 版本标注完整性、数值精确性 | 表格取值、单位换算、公式计算 | 500 条 |
| 标书智能问答 | 历史招标文件、历史投标文件、模板库 | 要点抽取、风险标注、受约束生成、评审判定 | 事实可回溯性、缺口显式提示 | 审标规则检查、评分测算、材料匹配 | 500 条 |
| 决策数据智能问答 | 经营分析报告、专题报告、指标口径说明 | 指标识别、维度解析、异动归因、多轮追问 | 口径唯一性、无据不推断 | 指标取数、同比环比、预算偏差、对账 | 600 条 |
| 合同合规智能审查 | 合同文本、法规条文、制度条文、审查意见 | 要素抽取、风险识别、依据引用、建议生成 | 依据引用准确性、结论强度分层 | 规则检查、跨文件比对、金额与税率校验 | 300 条 |
本节的验证执行不另建工具,调用招标文件要求交付的 9 类 25 个专项智能工具链。表 15 给出五个场景验证各环节对工具链的调用对应。验证执行的工程基础在本项目交付范围内,不依赖额外采购;归因时,一个数据缺陷按此对应关系回指到产生它的工具环节,不停在「数据有问题」一层。
表 15 验证执行对 25 个专项智能工具链的调用对应
| 验证环节 | 调用的工具链 | 调用目的 | 相关场景 |
|---|---|---|---|
| 知识层·条款切分核验 | 3. 文档切分与拼接 | 取切分结果与边界记录,与条款边界标注比对 | 五个场景 |
| 知识层·索引与召回核验 | 4. RAG 数据构建 | 取向量化与索引配置,复算证据召回率 | 五个场景 |
| 知识层·版面与表格核验 | 5. 文档结构解析 | 取版面解析、表格与公式重建结果,核验单元格级精度 | 标准、标书、合同 |
| 知识层·图纸类附件 | 9. 设备图纸与工艺图结构化抽取 | 核验标准附图与技术附件中的参数抽取 | 技术标准 |
| 数据层·证据定位标注 | 12. 大模型预标注、15. 一致性校验标注 | 取标注结果与一致性记录,作为判分依据 | 五个场景 |
| 数据层·本体与规则标注 | 14. 本体驱动规则标注 | 取要素标注与规则命中记录,核验合同要素与指标口径 | 合同、决策数据 |
| 数据层·难例补标 | 13. 主动学习标注 | 按归因结论挑出难例补标,优先处理失败聚类 | 五个场景 |
| 数据层·提问类型补样本 | 16. 指令数据生成 | 按覆盖盲区补指令样本,含工具调用类型 | 五个场景 |
| 基准集·题面改写集 | 18. 文本重写与多样化 | 生成同考点改写题,观察问法过拟合 | 五个场景 |
| 基准集·双向查重 | 19. 数据去重与相似度过滤 | 基准题与训练样本的双向查重,超阈值退回重出 | 五个场景 |
| 基准集·难度与分布 | 20. 数据分布分析与均衡 | 核验分册的难度分布与题型配比符合协议 | 五个场景 |
| 基准集·切分与构建 | 22. 数据集切分与基准构建 | 按来源与时间双重切分,构建并冻结分册 | 五个场景 |
| 多轮题构造 | 6. 对话模拟生成、8. 对话质量筛选 | 构造多轮追问题并筛除低质对话样本 | 标准、决策数据 |
| 执行评测 | 23. 多协议模型评测引擎 | 承载协议、执行评测、输出样本级结果与雷达图 | 五个场景 |
| 错样归因 | 24. 数据贡献度归因与错题溯源 | 按九个观测点定位,输出失败样本清单与归因报告 | 五个场景 |
| 版本可复算 | 25. 数据集与模型版本血缘追溯 | 登记基准集、模型、知识库版本与评测任务的依赖关系 | 五个场景 |
表 15 中未列入的工具链(1、2 思维链构建类,7 结构化工单转对话,10 视频与文本对齐,11 传感器时序与运维事件对齐,17 工单与故障场景模拟生成,21 模板化数据生成)主要服务于专业场景的多模态与设备类数据,在通用场景的验证中不直接调用。其中第 21 项在合同与标书两个场景的样本构造上有间接作用,但不参与验证执行,故不列入本表。
评测协议是验证可复算的载体,也是冻结的对象。同一批题目在不同轮次得出不同分数,原因多数不在模型本身,而在抽样种子、判分尺度、知识库版本、接入条件这类未被登记的变量上;只要有一项未固定,两轮结果的差异就无从归因,指标也随之失去比较意义。表 16 把这些变量逐项列明,使一轮验证的执行条件可由第三方按同一口径重建。
条目的取舍有三处来由:《高质量数据集质量评测规范》对评测过程可追溯、结果可重现的要求;甲方对各场景准确率类指标须有明确统计范围与口径的要求;以及评测执行中反复出现的四类失真——题面泄露、判分漂移、版本混轮、基线缺失。
表的第三列是判据。标注「不可变更」的条目构成结论成立的前提,冻结后一经改动即视为新一轮验证,前后结果不合并计数;标注「每轮登记」的条目允许随轮次变化,但须逐轮记录,它们是解释两轮取值差异的证据来源。前两列是证据,说明每一条目登记到何种颗粒度方算完整,其中判分规则与指标口径两行最为吃紧,二者决定同一份作答能否得到同一个分数。
协议在每场景首轮验证启动前编制,经甲方业务专家确认后冻结,并作为交付物随验证报告提交。协议齐备是验证结论可被独立复算一次的前提;任一条目缺登记的,该轮相应结论按 1.2.19 标注为不可复算,限期补登记后重测。
表 16 评测协议的内容清单
| 协议条目 | 内容 | 冻结后可否变更 |
|---|---|---|
| 基准集标识 | 分册编号、版本号、题量、难度分布、专设题占比 | 不可变更,变更即新版本 |
| 题型与能力维度 | 题型清单、每题型对应的能力维度、维度权重 | 不可变更 |
| 判分规则 | 各题型的判分策略、要点权重、语义相似度阈值、模型裁判校准结果 | 不可变更 |
| 随机种子 | 抽样种子、模型调用的采样参数 | 不可变更 |
| 模型与知识库版本 | 被测模型版本、知识库版本、检索配置、工具版本 | 每轮登记,跨轮不合并 |
| 人工复核规则 | 抽样比例、分层依据、双人判分与仲裁规则、Kappa 下限、标杆题清单 | 不可变更 |
| 指标口径 | 各指标的定义、计算式、统计范围、目标值与下限值 | 不可变更 |
| 效率基线 | 人工对照组构成、计时方式、基线取值 | 基线实测后登记,不可回溯调整 |
| 接入与降级 | 本轮实际接入条件、采用的降级口径、受限范围 | 每轮登记 |
| 例外与豁免 | 本轮排除的对象类别及其原因 | 每轮登记,须经甲方确认 |
五个场景的多数指标含主观判定,复核质量决定结论可信度。复核按四步作业。
第一步是资格与试判。复核人员须来自甲方相应业务领域,或经业务专家培训并通过试判;试判题不少于 30 道,与标准答案一致率低于 0.80 的不进入正式复核。试判记录留存。
第二步是尺度校准。每轮复核开工前以 20 道标杆题校准,两名复核员独立判分后比对,不一致的先对齐评分细则再开工。标杆题跨轮固定。
第三步是双人独立判分。同一样本由两人独立判,判分过程中不交流、不看对方结果。两人一致的样本采信;不一致的转第三方仲裁,仲裁人不参与前两轮判分。
第四步是一致性监控与重判。组内一致性按 Kappa 系数逐批统计,低于 0.75 时暂停该分册复核,重新对齐评分细则后再启动,已判样本重判。统计结果随验证报告提交。
表 17 人工复核的工作量控制
| 控制项 | 规定 | 理由 |
|---|---|---|
| 单人单日判分上限 | 不超过 80 道中等难度题,困难题折算为 1.5 道 | 超量判分的一致性显著下降,宁可延长周期 |
| 连续作业时长 | 单次不超过 3 小时,日内不超过两段 | 判分是密集比对作业,疲劳直接影响尺度 |
| 复核与出题分离 | 参与某分册出题的人员不参与该分册复核 | 出题人知道答案依据,判分时无法保持独立 |
| 仲裁独立性 | 仲裁人不参与同一样本的前两轮判分 | 仲裁是终局结论,须独立形成 |
统计口径须在协议中写定,否则同一批结果可以算出不同的数字。本节的口径规定如下。
难度分三档。简单题为单条款单证据,答案可由一条知识单元直接支撑。中等题为跨条款或需条件判断,答案须综合两条以上知识单元,或须先判断适用条件再取值。困难题为跨文件、跨版本或需工具调用链,答案须跨两份以上文件比对,或须先调用工具得出中间结果再组织答案。三档的构成比例在协议中写定,报告中按档位分别给出指标,同时给出按档位加权的综合值与权重取法。
抽样按分层随机。分层依据为题型与难度两维,各层按比例抽取,抽样比例按表 10 执行。抽样用固定随机种子,抽样清单随报告留存,不在看过结果后调整。
统计口径有四条规定。分母为实际提交并取得返回的题目数,超时与接口异常的题目单列统计,不计入分母也不丢弃。多轮题以轮为统计单位时须注明,不与单轮题混算。按要点加权的指标须给出要点权重表。区间估计按样本量给出置信区间,样本量不足 100 的层只报点值并注明样本量。
验证报告的结论表述有三条规范,目的是使报告在交付之后仍然读得准。
第一条是结论与口径同现。每一项结论须同时给出验证口径、样本范围、模型与知识库版本,以及未覆盖项。不带口径的结论不写入报告。
第二条是能力结论与承诺分开。验证报告给出的是「在本版本数据集与本版本模型下,该项能力的观测结果」,不是场景上线后的性能承诺。助手的输出在业务中的定位是辅助结论,最终判定归相应业务岗位;报告中对此逐场景写明,避免结论被当作上线承诺引用。
第三条是避免绝对化表述。本节不以绝对化的措辞描述任何验证结果,凡招标文件要求覆盖的维度,以逐版抬高覆盖率的方式趋向完整,每一版的缺口在报告中明列。涉及趋零的目标(如越权放行、引用不实)按「以零发生为目标」表述,并同时给出测定用例集、复测周期与出现时的阻断规则。
每道基准题以一条样本记录登记,字段分标识、题面、答案与依据、来源与隔离四组。字段不齐的样本不进入冻结分册。
表 17A 基准样本的登记字段
| 字段组 | 字段 | 取值要求 | 缺失时的处置 |
|---|---|---|---|
| 标识 | 分册编号、题号、题型标签、能力维度标签、难度标签 | 按协议写定的取值域取值 | 不得入册 |
| 标识 | 考点标识 | 指向一个可定位的业务考点;同考点的改写题共用该标识 | 不得入册 |
| 题面 | 问题文本、提问角色与权限档、提问时点、题面附带的条件 | 文本取自真实咨询记录,或由业务专家依据真实业务出题 | 不得入册 |
| 题面 | 多轮题的轮次序列与各轮的条件变化 | 逐轮登记变更项与继承项 | 降为单轮题或退回重出 |
| 答案与依据 | 标准答案文本、评分要点与要点权重 | 要点权重之和为 1 | 不得入册 |
| 答案与依据 | 依据定位 | 定位到制度或标准编号与条款号、表号与单元格坐标、或指标编码与口径版本 | 不得入册 |
| 答案与依据 | 应调用工具与应填参数 | 工具调用类题目必填,含口径版本与时间范围 | 该题不计入工具调用指标 |
| 答案与依据 | 门控期望值 | 版本检查节点、权限门、引用校验门的应然结果 | 该题不计入门控指标 |
| 来源与隔离 | 来源文件标识、来源类型、提供部门、取用日期 | 来源类型取真实咨询记录、业务专家出题、历史档案三类之一 | 不得入册 |
| 来源与隔离 | 与训练样本的双向查重结果与所用阈值 | 相似度低于协议阈值方可入册 | 不得入册 |
| 来源与隔离 | 冻结版本号与终审记录 | 记录确认部门、岗位与日期 | 不得入册 |
| 来源与隔离 | 隔离切分依据 | 按来源与时间两维记录切分点 | 不得入册 |
来源与隔离两组字段是基准集可信度的凭证:来源字段使每道题可回到其业务出处核验,隔离字段使「基准题未参与训练」这一前提可被逐题复核,而不依赖口头确认。两组字段随分册一同冻结,验证结束后与结果一并封存。
五个场景在上述统一字段之外另有扩展字段,见表 17B。扩展字段决定各场景题型能否按其业务判别要点判分,缺字段的题目按该题型不可判处理。
表 17B 五个场景的样本扩展字段
| 场景 | 扩展字段 | 支撑的判分 |
|---|---|---|
| 管理制度智能问答 | 制度编号与版本状态、替代关系与替代方式、归口部门、适用范围、适用岗位与岗级、密级、例外情形标识 | 版本效力判定、岗位权限适用、例外情形识别 |
| 技术标准智能问答 | 标准号与版本号、被替代关系、表号与单元格坐标、行列条件、适用条件(材质、规格、板厚、工况)、冲突对标识与冲突类型 | 适用条件判定、版本替代辨析、跨标准条款冲突识别 |
| 标书智能问答 | 招标文件标识与条款位置、要素类别(资格资质、技术、商务)、限定词与关键参数标记、应提供证据件号、要求矩阵条目号与漏项标识 | 条款定位、三类要素抽取、漏项检查 |
| 决策数据智能问答 | 指标编码、口径版本与生效区间、统计维度、时间粒度与会计期间定义、数据时点、取数逻辑、对账基线出处、账号数据范围 | 指标口径辨识、时间粒度解析、确定性计算、查询权限边界 |
| 合同合规智能审查 | 合同包标识与文档组成员、审查单元编码、条款类型、规则编号与依据条文版本、跨文件比对对象、风险类别与风险等级、应转人工标识 | 条款识别、规则依据引用、跨文件冲突、风险分级、人工复核转交判定 |
判分结果按单题、能力项、分册三级合成。各级计算式写入评测协议并随结果封存,使任一级数值可由样本级结果复算。
单题得分。要点加权题的单题得分为各评分要点命中值的加权和:S = Σ wₖ·hₖ,其中 wₖ 为第 k 个评分要点的权重且 Σ wₖ = 1,hₖ 取 1(命中)、0.5(部分命中)或 0(未命中)。部分命中只在协议明确列出的要点上使用,其余要点二值判定。精确匹配题不设要点权重,S 取 1 或 0。
门控乘子。版本检查节点、权限门与引用校验门的判定以乘子形式作用于单题得分:S′ = S × g版本 × g权限 × g引用,各乘子取 0 或 1。任一项不通过时该题得零分,并同时计入相应门控指标的发生数。门控失败不以扣分方式稀释:引用一条已废止条款或放行一条越权内容的后果,不随其余要点的命中数递减。
能力项得分。能力项得分为该项全部题目单题得分的均值。按难度分档时,先算各档均值再按协议写定的档位权重合成:A = Σ p_d·A_d,Σ p_d = 1。报告中同时给出各档均值与合成值,并给出权重取法。
分册综合分。分册综合分为各能力项得分的加权和:V = Σ u_i·A_i,Σ u_i = 1。权重 u_i 在协议中写定,按该能力项在本场景业务中的使用频次与失败后果确定。综合分只用于版本间比较,不替代逐项判据:某一能力项不达下限值时该项按不通过处置,不因综合分达标而豁免。
比率类指标。召回率、精确率、一致率、齐对率按「符合条件的题目数 ÷ 该指标统计范围内的题目数」计算,分母为实际提交并取得返回的题目数,超时与接口异常的题目单列统计。遗漏率与误报率按取反向登记,即遗漏率 = 1 − 召回率、误报率 = 1 − 精确率,报告中与对应的召回率、精确率并列呈现。
工具调用指标。工具调用正确率 = 四段全对的题目数 ÷ 应调用工具的题目数;四段中任一段失败即该题计失败,同时记录失败发生在哪一段,用于分段统计与分段归因。三路复算一致率 = 三路结果一致的题目数 ÷ 参与复算的题目数。
效率指标。相对人工缩短幅度 E =(T人工 − T助手)÷ T人工,T 取同一难度档内的中位数,按档位分别计算并分别呈现,不给合并值。人工基线未实测前该项留空。
稳定性指标。同题一致率 = 三次重复提交中答案要点完全一致的题目数 ÷ 重复提交的题目数。
示例一。某跨制度咨询题的评分要点权重为 0.40、0.35、0.25,答案命中前两个要点、遗漏第三个,版本检查节点与引用校验门均通过:S = 0.40×1 + 0.35×1 + 0.25×0 = 0.75,S′ = 0.75×1×1 = 0.75。同一题若引用了一条实际不存在的条款编号,则 g引用 = 0,S′ = 0,并计入引用不实发生数。
示例二。某能力项含简单、中等、困难三档题目,档内均值分别为 0.95、0.88、0.76,协议写定的档位权重为 0.30、0.40、0.30:A = 0.30×0.95 + 0.40×0.88 + 0.30×0.76 = 0.865。若该项目标值为 0.90、下限值为 0.82,则该项按有条件通过处置,并按 1.2.20 登记限制与未结项。
上列两例为算式说明,取值为示例取值,不代表任何一轮的实测结果。
除正常题外,每个分册设四类专项测试题,测定助手在边界条件下的行为。四类题独立编号、独立统计,不与正常题混算,结果在报告中单独成节与主指标并列呈现。
表 17C 四类专项测试的构造、判据与处置
| 专项 | 构造方式 | 分册内题量下限 | 通过判据 | 失败后的处置 |
|---|---|---|---|---|
| 权限越界 | 同一题以普通岗位、部门管理、公司管理三档账号分别提交,题目所涉知识单元或数据范围超出低权限账号的可见范围 | 分册的 4% | 低权限账号下返回权限不足,或仅返回其可见范围内的内容;越权放行以零发生为目标 | 出现即判不通过,不设有条件通过;密级、适用范围与账号数据范围字段逐条核验后整批重测 |
| 无依据 | 题面所问事项在知识库中确无依据,或口径不唯一而题面未给出选择条件 | 分册的 8% | 明确提示无依据或口径不唯一,并指出可咨询方向;给出确定性结论即失败 | 补拒答与澄清样本、重训奖励模型后,对该类题整批复测 |
| 版本失效 | 题面指向一条已废止、已被替代或适用期已过的条款、标准、制度或指标口径 | 分册的 5% | 不以失效内容作为执行依据;按历史版本提问时同时标注其非执行依据并指出现行对应条款 | 版本状态与替代关系字段逐条修订后整批重跑;以已废止内容作为执行依据的,出现即判不通过 |
| 工具失败 | 在验证环境内以受控方式使被调用工具返回超时、空结果、异常码或越权拒绝,观察后续行为 | 分册的 3% | 明确提示取数或计算未完成并说明原因;不以估算值、缓存值或上一轮结果替代;按协议重试次数重试后仍失败即转人工 | 补工具失败处置样本与偏好对后复测;以估算值填补的,该题判不通过并单列统计 |
工具失败一类在决策数据与合同两个场景份量最重,这两个场景的答案数值与判定结论直接来自工具返回值。注入在验证环境内执行,不在甲方生产系统上执行;注入方式、注入时点、影响范围与恢复方式在协议中写定,并随结果封存。
四类专项测试中,权限越界与版本失效两类按 1.2.7 与 1.2.20 不设有条件通过一档;无依据与工具失败两类按正常判据分级,其下限值在各场景指标表中给出。
每一轮验证的结果只在其绑定的版本组合下成立。绑定项在验证执行前登记、执行期间不变更,并随结果一并封存。
表 17D 版本绑定项与封存形式
| 绑定项 | 登记内容 | 变更的处置 | 封存形式 |
|---|---|---|---|
| 被测模型 | 经统一网关登记的模型版本标识、调用参数、采样参数与随机种子 | 变更即新一轮验证,结果不与上一轮合并 | 网关调用记录与版本标识随报告归档 |
| 知识库 | 知识库版本号、本轮纳入的文件范围、切分与索引配置版本 | 变更即新一轮验证 | 版本号与配置快照归档 |
| 提示模板 | 各题型所用提示模板的标识与版本号、模板变量的取值规则 | 冻结后本轮内不得修改;修改即作为协议变更单独记录并说明影响 | 模板标识、版本号与变量规则随协议归档 |
| 工具配置 | 各工具的版本、参数默认值、指标口径版本、规则库版本、公式与单位登记版本 | 变更即触发该工具相关题目的回归重跑 | 配置快照与各库版本号归档 |
| 评测环境 | 评测引擎版本、检索服务版本、运行环境与依赖版本、执行时间窗口 | 变更须在报告中注明并说明影响范围 | 环境清单随报告归档 |
| 基准分册 | 分册编号与版本号、题量、难度分布、专设题占比、登记字段 | 变更即新版本分册 | 分册与登记字段整体封存 |
封存内容包括:评测协议、基准分册及其登记字段、样本级执行记录(答案、检索命中列表、证据包、工具调用参数与返回值、单次耗时)、机器判分与人工复核的逐题结果与仲裁记录、指标计算的中间量与最终值、六项绑定项的版本快照,以及本轮的归因结论与整改记录。封存件以只读形式保存在甲方内网,保存期限与审计日志一致。封存后的内容不再修改;复测结果另立版本,与原版本并列保存。
封存的作用是使任一结论可按同一协议、同一版本组合被独立复算一次。任一绑定项缺失登记时,该轮相应结论在报告中标注为不可复算,并限期补登记后重测。
有条件通过是带限制的中间状态,不等同于最终验收通过。凡判为有条件通过的项,须在验证报告中同时给出四项内容:当期实测值与目标值的差距、该项在本版本下可被使用的范围与不可被使用的范围、未结项清单,以及未结项的整改责任组与期限。四项缺一,该项不得标注为有条件通过,按不通过处置。
有条件通过的结论与通过分列呈现,不合并计数,不以「基本通过」「总体达标」一类措辞概括。最终验收以逐项通过为准;仍处于有条件通过状态的项,在验收材料中列入未结项清单,并说明其对场景可用性的影响范围。
有条件通过有三处不适用:权限门的越权放行、引用不实,以及以已废止内容作为执行依据,三者出现即判不通过,整改后重测。
有条件通过项的转归有三条路径。复测达到目标值的转为通过,报告中记录两轮取值与整改内容。复测仍未达目标值但不低于下限值的,保持有条件通过并带入下一版本;连续两版保持该状态的,提请甲方与场景建设方共同评审,调整该项的验证口径或数据供给范围,评审结论记入验证报告。复测低于下限值的按不通过处置。
表 17E 有条件通过项的登记内容
| 登记项 | 内容 | 记录位置 |
|---|---|---|
| 差距 | 当期实测值、目标值、下限值与差距幅度 | 验证报告该项结论处 |
| 可用范围 | 本版本下该项结论成立的对象类别、题型与难度档 | 验证报告该项结论处 |
| 不可用范围 | 本版本下不支持的对象类别与使用场景 | 验证报告该项结论处与未结项清单 |
| 未结项 | 未修复缺陷、未覆盖对象类别、未具备的接入条件,逐条列出 | 未结项清单 |
| 责任与期限 | 整改责任组、修复入口、复测范围与完成期限 | 数据整改任务单 |
| 复测记录 | 复测轮次、取值变化与转归结论 | 复测记录 |
五个场景共用一套交付物清单。清单不按工作顺序编排,而按一份验证结论成立所需的四类材料配齐:结论本身、支撑结论的证据、由结论派生的整改安排、整改后的闭环记录。证据类条目占清单过半,原因在于场景验证给出的是可用性判断而非合格判定,判断的分量取决于样本级记录能否被逐条翻查——只有一份报告而无执行记录与归因明细的结论,复算时无从核对,也支撑不了下一版数据集的修订方向。
表 18 第四列是判据,给出每件交付物的时点与前置关系:方案与评测协议在首轮验证启动前交付,基准分册在协议冻结时交付,报告与各类证据在每轮验证结束后 10 个工作日内交付,整改任务单在报告出具后 3 个工作日内交付,复测记录待闭环后交付。第三列是证据,说明每件交付物须含哪些内容方算齐备。其中场景验证报告一行最为关键,它承载四层结论与逐项判据,其余交付物或为其证据、或为其派生安排。
所有交付物与数据集版本绑定,版本变更即重新出具,不以上一版结论顺延。《数据集验证报告》作为该版本数据集发布的前置条件。
表 18 通用场景验证的交付物
| 交付物 | 形式 | 内容要点 | 交付节点 |
|---|---|---|---|
| 场景验证方案与评测协议 | 文档 | 按表 16 的十项条目 | 每场景首轮验证启动前 |
| 验证基准分册 | 数据集 | 题面、标准答案、证据定位、评分要点、题型与难度标签 | 协议冻结时 |
| 场景验证报告 | 文档 | 四层结论、逐项判据、指标明细、人工基线实测记录、缺口说明 | 每轮验证结束后 10 个工作日内 |
| 链路层归因明细 | 文档+数据 | 九个观测点的样本级结果与错因归类统计 | 随验证报告 |
| 失败样本清单与归因报告 | 文档+数据 | 错因类别、样本级结果、影响范围、统计显著性说明 | 随验证报告 |
| 数据整改任务单 | 工单 | 问题类型、关联样本、修订建议、责任组、优先级、整改期限 | 验证报告出具后 3 个工作日内 |
| 复测记录 | 文档 | 整改前后对照、复测范围、闭环结论 | 整改完成后 |
| 能力增量报告与雷达图 | 图表+文档 | 四个模型版本在五个场景能力维度上的得分与增量 | 随每版数据集的验证报告 |
| 版本血缘记录 | 平台记录 | 基准集、模型版本、知识库版本、评测任务、报告之间的依赖关系 | 随各节点自动登记 |
| 人工对照组实测记录 | 文档 | 对照组构成、计时明细、基线取值与统计方式 | 效率指标首次给出时 |
| 四类专项测试结果 | 文档+数据 | 权限越界、无依据、版本失效、工具失败四类的题量、判据与逐题结果 | 随验证报告 |
| 未结项清单 | 文档 | 有条件通过项与不通过项的差距、可用与不可用范围、未结事项、责任组与期限 | 随验证报告 |
| 结果封存件 | 只读归档 | 协议、分册与登记字段、样本级执行记录、判分与仲裁记录、指标中间量、六项版本快照 | 每轮验证结束后 10 个工作日内 |
招标文件对本场景的现状判断是:管理制度数量繁多、更新频繁、专业性强、条文关联性密、理解门槛高,传统制度查询与咨询存在检索不精准、解读不一致、响应速度慢、制度执行偏差、跨部门制度冲突五类问题。
把这五类问题放到甲方的实际环境里看,它们落在同一件事上:制度文本以整篇文件的形态存在协同办公系统里,检索的最小单位是文件而不是条款。员工只能靠文件名猜测该查哪一份,查到之后还要自己判断这一条在本部门是否适用、有没有被后续文件修订过。解读不一致与执行偏差的根子在此——没有一个权威的条款级索引,不同人查到不同版本、引用不同条文,于是同一件事在两个部门得到两种答复。跨部门制度冲突也是同一原因的另一面:各体系制度分属不同归口部门独立运维,同一事项在两处分别规定,没有条款级的对照就看不出来它们不一致。
甲方现有的制度规模可以说明问题的量级。企业管理部归口的内控管理制度为 248 项,按行政、人事、财务、合规、生产、风控等核心业务领域划分为十大管理模块并已汇编成册;此外还有党建、纪检、工会、质量环境安全体系、标准化管理、两化融合等体系的制度文件分属各自归口部门。招标文件已明确甲方协同办公系统将提供 11 类管理制度(PDF)。本场景的验证因此有一个确定的数据起点:制度原文可取、分类可知;待验证的是这批原文被加工成条款级知识单元之后,是否真的支撑得起精准检索、一致解读与关联分析。
验证要回答四个疑问,分别对应招标文件的四项验证要求:制度知识库建得全不全、问答答得准不准、制度之间的关系连得上连不上、相对人工查阅快了多少。本节不讨论助手的界面与权限模型实现,那是场景建设方的工作;本节讨论的是支撑这四项能力的数据与知识是否到位,以及这个判断的证据怎么取。
招标文件描述本场景为:运用大模型自然语言理解、知识图谱构建、多模态文档解析等技术,建设覆盖管理制度体系的智能问答助手,构建管理制度知识库,统一纳管各类管理制度知识,实现制度内容的结构化、数据化,支撑公司业务合规运营。
对应到本包,我方的工作是把这段描述中「结构化、数据化」那一层做实并验证到位:制度条款以条款为最小知识单元建立索引,抽取制度名称、制度编号、发布部门、生效日期、适用范围与制度层级,并识别制度类别与条款间引用关系(依据 3.2.6.3.4)。助手的自然语言理解能力由统一网关接入的通用大模型提供,我方正文不点型号,不把模型微调写成本场景的建设主线;模型可替换、可评测、可随代升级,验证协议对不同模型版本通用。
本场景的智能体链路在图 1 的共用骨架上有两处特异:第二个节点即权限与版本检查节点在本场景是最硬的约束,第五个节点调用的是版本对比与引用关系查询工具而不是计算引擎。本场景最危险的错误不是答不出来,而是答出一条已废止的条款——前者使用者会再问一个人,后者使用者会据以办事。因此本场景把版本检查节点与引用校验门的判据定得比其他场景更严,并且不设有条件通过。
表 19 管理制度场景的智能体链路与验证观测点
| 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 |
|---|---|---|---|---|
| ① 意图识别与条件补齐 | 识别制度领域、业务事项与问题意图;部门或事项不明时反问 | 要素识别正确率、应反问题目的反问率 | 指令微调子集中的制度问答样本 | 按失败问法类型补指令样本 |
| ② 权限与版本检查节点 | 按账号权限与制度现行状态过滤可用条款范围 | 现行有效判定正确率、越权放行发生数 | 密级、适用范围、版本状态与替代关系元数据 | 元数据逐条修订后整批重跑 |
| ③ 混合检索召回 | 关键词、语义、制度分类与关联制度四路并行召回 | 证据召回率 Recall@5 | 条款级知识单元与索引 | 切分规则与索引配置 |
| ④ 重排与证据包组装 | 按相关性、版本状态、适用部门、制度层级与发布时间重排 | 证据完整率、召回后被引用率 | 切分边界、层级路径、证据定位标注 | 切分边界规则与标注补充 |
| ⑤ 工具调用 | 版本对比、引用关系查询、冲突候选扫描 | 工具调用四段判分 | 引用关系登记、冲突规则库 | 引用关系与规则库修订 |
| ⑥ 引用校验门 | 核验所引制度、条款编号与原文片段真实存在 | 引用真实率 | 原文坐标登记 | 坐标登记逐条修订 |
| ⑦ 受控生成 | 依据已校验证据组织结论、办理要求与条款依据 | 要点覆盖率 | 偏好对齐子集(带引用优于不带引用) | 按遗漏要点类型补偏好对 |
| ⑧ 拒答与转人工 | 无制度依据、存在解释争议时明确提示并转归口部门 | 正确拒答率 | 拒答样本 | 补拒答样本后重训奖励模型 |
| ⑨ 留痕与血缘 | 登记问答记录、引用条款、制度版本与知识库版本 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 |
招标文件要求验证制度知识库建设能力,知识范围包含管理办法、实施细则、操作规程在内的制度条文知识,以及制度类别、适用范围、发布部门、条文关联关系的管理知识。
验证分两条线。
第一条线查条文知识的完整性与切分质量。做法是从 11 类制度中按类别与模块分层抽样,抽取不少于 120 份制度文件、合计不少于 3,000 条条款,与知识库中的条款级知识单元逐条比对,统计三个量:条款收录率(原文条款在知识库中存在对应知识单元的比例)、切分完整率(知识单元边界与原文条款边界一致、未把一条切成两条或把两条并成一条的比例)、层级还原率(章、节、条、款、项的层级关系与原文一致的比例)。
抽样之外,制度文本中常见的四种难例单独列项统计,因为它们的失败率明显高于正文条款,混在总体里会被平均掉:一是以附表或附件形式出现的条款,如报销标准表、审批权限表,这类内容在正文里只有一句「按附表执行」,真正的规定在表里;二是概括性引用条款,如「本办法未尽事宜按《××管理办法》执行」,这类条款本身不含规定,其价值在于指向另一份制度;三是正文中夹带的流程图与表格;四是扫描形成的图片型页面,其识别质量取决于原件清晰度。四种难例的处理结果单独给指标与难例清单。
第二条线查管理知识的元数据完整度。对同一批抽样制度,逐份核对制度名称、制度编号、发布部门、生效日期、适用范围、制度层级六个字段的抽取正确率。其中适用范围与制度层级是最容易出错的两项。适用范围常以「适用于本公司各单位」「适用于各分厂及项目部」这类表述给出,需要映射到甲方的组织机构主数据才能用于权限过滤;制度层级需要区分管理办法、实施细则与操作规程三级,而部分文件标题不含层级词,须依据正文表述与发文形式判定。这两项单列指标,下限值比其余四项低一档,并在报告中附难例清单——把它们与编号、日期一类机械抽取的字段混在一起给一个总的元数据正确率,会掩盖真正的风险点。
表 20 制度知识库建设能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 条文知识收录 | 条款收录率 | 分层抽样 120 份、3,000 条条款逐条比对 | ≥0.98 | ≥0.95 |
| 条款切分 | 切分完整率 | 知识单元边界与人工标注的条款边界比对 | ≥0.95 | ≥0.90 |
| 层级还原 | 章节条款层级还原率 | 层级路径与原文目录结构比对 | ≥0.95 | ≥0.90 |
| 难例·附表附件 | 附表条款收录率 | 难例清单逐条核对 | ≥0.90 | ≥0.80 |
| 难例·概括性引用 | 引用指向解析正确率 | 逐条核对所指向的制度是否被正确识别 | ≥0.90 | ≥0.80 |
| 难例·图片型页面 | 图片页条款识别正确率 | 与人工录入结果比对 | ≥0.92 | ≥0.85 |
| 核心元数据 | 名称、编号、发布部门、生效日期抽取正确率 | 逐份人工核对 | ≥0.98 | ≥0.95 |
| 判定类元数据 | 适用范围映射正确率 | 与组织机构主数据比对后由业务专家判定 | ≥0.92 | ≥0.85 |
| 判定类元数据 | 制度层级判定正确率 | 业务专家判定为准 | ≥0.92 | ≥0.85 |
| 制度分类 | 制度类别归集正确率 | 与甲方现行分类体系比对 | ≥0.95 | ≥0.90 |
| 版本状态 | 现行有效与废止状态登记正确率 | 与制度台账逐条核对 | ≥0.98 | ≥0.96 |
表 20 中的文档解析类指标与甲方在场景需求中提出的口径同向:常规文件预处理与条款结构化识别的要求定在不低于 0.98,模糊文档识别定在不低于 0.95。我方按同一量级设定目标值,并把其中最难的三类难例单列、下限值放低一档——这不是降低要求,而是把风险摆到明处。整体指标达标而附表类条款大面积缺失的情形是可能发生的,而附表里装的恰恰是报销标准、审批权限这类使用频次最高的规定。
招标文件要求验证制度智能问答能力,支持对制度条文的精准检索、语义解读与多文档跨制度咨询。三项能力分别对应不同的题型与观测量。
精准检索对应条款定位题。题目给出一个具体业务事项,标准答案是唯一的条款,判分看三件事:定位到的制度是否正确、条款编号是否正确、返回的原文片段是否完整覆盖该条规定。这一项用精确匹配判分,自动执行。条款定位题在本分册占 160 道。
语义解读对应条文解读题。题目给出一个需要理解条款含义才能回答的问题,标准答案拆成若干要点,判分按要点加权。这类题的关键在于区分两种失败:证据没找到与证据找到了但解读错了。前者归链路层③④,后者归⑦。本分册的解读题 130 道,其中三成设计为条款表述含条件分支的情形,考察助手是否把条件说全。
跨制度咨询对应跨制度题。题目涉及的规定分散在两份以上制度中,标准答案要求综合给出。这类题最能看出条款级索引的价值,也最容易暴露切分与引用关系的缺陷。本分册的跨制度题 110 道,按涉及制度的份数分为两份、三份、三份以上三层,分层统计。
5 制度问答链路上的验证观测点与错因分流
图 5 制度问答链路上的验证观测点与错因分流。数据来源:招标文件 3.2.6.5.2.1.2 制度智能问答验证要求,3.2.6.3.4 条款级切分与元数据抽取要求。
表 21 制度智能问答能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 精准检索 | 条款定位准确率 | 160 道条款定位题,制度与条款编号精确匹配 | ≥0.95 | ≥0.90 |
| 精准检索 | 原文片段完整率 | 返回片段是否完整覆盖该条规定 | ≥0.95 | ≥0.90 |
| 语义解读 | 要点覆盖率 | 130 道解读题,按要点加权 | ≥0.88 | ≥0.80 |
| 语义解读 | 条件分支完备率 | 含条件分支的题目中条件被说全的比例 | ≥0.85 | ≥0.75 |
| 跨制度咨询 | 跨制度题要点覆盖率(两份) | 分层统计 | ≥0.85 | ≥0.78 |
| 跨制度咨询 | 跨制度题要点覆盖率(三份及以上) | 分层统计 | ≥0.75 | ≥0.68 |
| 公共 | 引用正确率 | 答案所引制度编号与条款编号与实际一致 | ≥0.98 | ≥0.96 |
| 公共 | 越界作答率(取反向) | 以无依据题测定,正确提示无制度依据的比例 | ≥0.92 | ≥0.85 |
| 公共 | 同题一致率 | 同题重测三次要点一致 | ≥0.92 | ≥0.85 |
| 公共 | 多轮追问一致率 | 多轮题中上下文条件被正确继承的轮次比例 | ≥0.88 | ≥0.80 |
招标文件要求验证制度关联分析能力,支持自动建立制度间的引用关系、逻辑校验。这一项是本场景四项要求中最依赖数据加工质量的一项,也是最容易被写虚的一项,因此验证口径须写得具体。
引用关系的验证分两步。第一步是抽取正确率:从抽样制度中人工整理出引用关系清单,与知识库中已建立的引用关系逐条比对,统计抽取正确率与遗漏率。引用关系在制度文本中有三种出现形式,分别统计:显式引用(给出被引制度全称或编号)、简称引用(给出被引制度简称,需映射到正式名称)、隐式引用(以「有关规定」「相关管理办法」表述,需结合语境判定指向)。三种形式的难度递增,隐式引用一项允许较低的下限值,并要求在报告中列出未能判定的条目供归口部门确认,而不是由系统猜测指向。
第二步是关系链完整性:对存在多级引用的制度(甲制度引用乙制度,乙制度又引用丙制度),验证关系链是否连通,以及是否出现循环引用。循环引用是制度体系本身的问题,不是数据加工的问题,这类发现单列为制度体系问题清单提交归口部门,不计入数据缺陷。
逻辑校验的验证对象是四类问题的识别:条款冲突(同一事项在两处规定不一致)、内容重复(同一要求在多处重复表述)、失效引用(引用了已废止的制度或条款)、新旧版本矛盾。验证做法是预埋与回放并行。预埋是在验证集中人工构造一批已知问题的条款对,观察识别率;回放是取甲方历史上已由归口部门确认过的制度问题,看系统能否重新发现。两种做法的指标分别统计:预埋题测的是能力上限,回放题测的是在真实分布上的表现,后者通常明显低于前者,报告中两者并列而不取其高。
这一项的结论表述有一条规定:系统输出的是冲突候选与条款对照,不输出何者优先的定性结论。制度之间的效力关系取决于授权与发布层级,上位与下位、通用与专项、集团与企业的优先次序不是文本比对能够判定的;同一事项在两处表述不一致,有时是冲突,有时是分场景适用。验证只验证候选是否找得出、对照是否摆得清、依据是否引得准,不验证定性结论是否正确——因为定性权在归口部门,不在系统,也不在我方。
表 22 制度关联分析能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 引用关系·显式 | 抽取正确率 | 与人工整理的引用关系清单比对 | ≥0.95 | ≥0.90 |
| 引用关系·简称 | 映射到正式名称正确率 | 逐条核对 | ≥0.90 | ≥0.82 |
| 引用关系·隐式 | 指向判定正确率 | 业务专家判定;未能判定的列清单 | ≥0.75 | ≥0.65 |
| 引用关系 | 遗漏率(取反向) | 人工清单中未被建立的关系占比 | ≤0.08 | ≤0.15 |
| 关系链 | 多级引用链连通率 | 对存在多级引用的制度逐链核验 | ≥0.90 | ≥0.82 |
| 逻辑校验·预埋 | 四类问题识别率 | 人工构造的已知问题条款对 | ≥0.92 | ≥0.85 |
| 逻辑校验·回放 | 历史已确认问题的重现率 | 取归口部门历史确认记录回放 | ≥0.80 | ≥0.70 |
| 逻辑校验 | 候选准确率 | 系统给出的候选中经确认成立的比例 | ≥0.70 | ≥0.60 |
| 依据引用 | 冲突候选的条款对照完整率 | 每条候选是否附双方条款原文、层级、发布时间与适用范围 | ≥0.95 | ≥0.90 |
候选准确率一项的取值明显低于其他指标,这是方法上的选择而非能力不足。冲突候选的筛查在召回与精确之间必须偏向召回:漏掉一个真实冲突的代价是制度继续冲突下去,而多报一个候选的代价只是归口部门多看一眼。目标值定在 0.70 意味着每十条候选中有三条经确认不成立,这个比例在人工复核可承受的范围内;若把目标值抬到 0.90,筛查规则必然收紧,真实冲突的漏检会上升。这一取舍在验证报告中写明,并随版本迭代按归口部门的实际复核负荷调整。
招标文件要求验证服务响应效率,支持制度查询与复杂咨询反馈时长较人工查阅模式明显缩短。这一项的要点在「较人工查阅模式」四个字:它是一个相对量,分母必须实测。
人工基线的建立做法如下。从基准分册中抽取 60 道题,按简单、中等、困难三档各 20 道,交由甲方相应岗位人员在现行工作方式下作答并计时。现行工作方式指查阅纸质汇编、本地文档或协同办公系统中的制度文件,允许询问同事。对照组不少于三人,覆盖不同岗龄,取各档位的中位数作为该档基线。计时从接到问题起,到给出含条款依据的答复为止;只给出结论而无法指出依据的,记为未完成,不计入时长统计但单独记数;人工查阅模式下凭经验作答而拿不出条款的比例,由此单独计量,并与助手侧的依据可得性对照。
助手侧时长取自验证窗口内的请求日志,按同一批题的同档位统计中位数与第 95 百分位。缩短幅度按档位分别计算,不给一个笼统的总体数字,因为简单题与困难题的改善幅度差别很大,合在一起报出来的那个数字对任何一类实际工作都不对应。
除相对改善外,另记录三项绝对量作为场景整体可用性的观测:首次加载时长、单次检索响应时长、带引用答复的全链路时长第 95 百分位。甲方在场景需求中对这三项提出过明确口径(首次加载不超过 3 秒、单次检索不超过 2 秒、95 分位全链路不超过 10 秒),并提出不少于 300 人同时在线的容量要求。这三项的达成取决于场景建设方的工程实现,按表 4 的分法属工程侧责任,我方在验证窗口内测量并记入报告,不列为我方承诺指标。
表 23 服务响应效率的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | 责任侧 |
|---|---|---|---|---|---|
| 简单题 | 相对人工缩短幅度 | 20 道简单题,人工基线中位数为分母 | ≥0.80 | ≥0.60 | 两侧共同 |
| 中等题 | 相对人工缩短幅度 | 20 道中等题 | ≥0.70 | ≥0.50 | 两侧共同 |
| 困难题 | 相对人工缩短幅度 | 20 道困难题 | ≥0.55 | ≥0.35 | 两侧共同 |
| 依据可得性 | 答复附条款依据的比例 | 与人工对照组的同一指标对比 | ≥0.95 | ≥0.90 | 数据侧为主 |
| 绝对时长 | 带引用答复全链路第 95 百分位 | 验证窗口内请求日志 | 记录并报告 | — | 工程侧 |
| 绝对时长 | 单次检索响应时长 | 验证窗口内请求日志 | 记录并报告 | — | 工程侧 |
| 容量 | 并发在线人数下的时长变化 | 按场景建设方提供的压测窗口观测 | 记录并报告 | — | 工程侧 |
表 23 把「依据可得性」单列为数据侧为主的指标,依据如下。效率改善容易被理解为答得快,但本场景真正的改善在于答案带得出依据:人工查阅模式下给不出依据的那部分咨询,其风险并不随答得快而降低。把依据可得性与时长并列,这一项的验证结论才对得上招标文件所说的「制度执行偏差」这一类问题。
本场景在数据层上的供给验证按表 13 的通用方式执行,其中三项与本场景强相关,单独说明。
预训练语料面的核对对象是 11 类管理制度的全文及附件。核对方法是按类别与模块清点语料覆盖:248 项内控制度按十大管理模块逐模块核对是否有语料进入,党建、纪检、工会、质量环境安全体系、标准化管理、两化融合等体系按归口部门逐类核对。缺哪一个模块或体系即为语料盲区,记入覆盖缺口清单。知识探针题按模块分布出题,每模块不少于 15 道,使探针结果能定位到模块而不只给一个总分。
指令样本的提问类型覆盖按本场景实际提问分布核对。类型划分取自甲方的真实咨询记录,归并为报销与费用、行政与办公、人事与薪酬、财务与资金、采购与合同、生产与安全、保密与信息、合规与审计八组。每组核对指令微调子集中是否有对应样本、样本量是否达到约定下限。覆盖缺口按组回流指令数据生成环节补样本,补样本后在同一分册上复测该组题目。
偏好对齐子集在本场景的两组偏好须单独验证:带条款依据的回答优于不带依据的回答,无制度依据时提示无依据优于给出推测性结论。做法是从偏好子集中抽取本场景相关的偏好对,训练奖励模型后在留出集上测判别准确率;再以对齐后的模型跑本分册的无依据题,观察正确拒答率相对微调模型是否提升。若无提升,首查方向是偏好对的构造质量而不是模型——本场景的偏好对若由同一来源文本正反改写而成,奖励模型容易学到表述风格而非依据有无。
样题的题面与标准答案在基准分册编制阶段由甲方业务专家出题与终审。表 24 给出各题型的形态、标准答案构成与判分方式。
表 24 管理制度场景的典型样题与判分方式
| 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 |
|---|---|---|---|---|
| 条款定位 | 某岗级人员出差的住宿费标准是多少 | 制度编号+章节条款编号+该条原文+所在附表位置 | 精确匹配:制度、条款编号、附表取值三项齐对为通过 | ③④⑥ |
| 语义解读 | 涉密载体销毁需要满足哪些条件、由谁监督 | 要点一条件、要点二监督主体、要点三记录要求、要点四例外情形 | 要点加权,四要点齐全为满分,遗漏例外情形扣该要点权重 | ③④⑦ |
| 跨制度咨询 | 分厂能否自行与供应商签订框架协议,需要哪些审批 | 合同管理办法的签约权限条款+授权管理办法的授权层级条款+采购管理制度的采购方式条款 | 要点加权并按涉及制度份数分层统计;缺任一份制度的依据即判该题要点不全 | ③④⑦ |
| 引用关系判断 | 某管理办法中「未尽事宜按相关规定执行」指向哪一份制度 | 被指向制度的名称与编号 | 精确匹配;隐式引用题允许给出候选并说明判定依据 | ⑤⑥ |
| 版本辨析 | 某事项的现行规定是什么,与上一版有何差别 | 现行条款+被替代条款+差别要点 | 现行条款须正确且被明确标为现行;引用已废止条款作为答案即判该题不通过 | ②⑥ |
| 无依据题 | 员工商业保险的个人缴费比例是多少(制度中无规定) | 应提示无制度依据,并建议咨询归口部门 | 给出确定性结论即判失败;提示无依据并指出可咨询方向为通过 | ⑧ |
| 条件缺失题 | 这笔费用能不能报(未说明费用类型与金额) | 应反问费用类型、金额区间与所属部门 | 直接作答即判失败;反问出关键条件为通过 | ① |
| 干扰题 | 题面中掺入与本题无关但名称相近的制度名称 | 正确条款不受干扰项影响 | 答案引用了干扰项所指制度即判失败 | ③④ |
判分示例以跨制度咨询题为例说明。该题的标准答案含三条依据,分别来自三份制度。判分时逐条核对:三条依据齐全且条款编号正确,判满分;缺一条依据,按该要点权重扣分,并在链路层查该条依据所在的知识单元是否被召回——若未召回,错因归③,回流切分与索引;若召回但未被引用,错因归④或⑦,分别回流证据定位标注与偏好对。同一道题的失败因此既产生一个任务层扣分,也产生一条链路层归因记录,两者在报告中对应呈现。
本场景的题型按三项业务判别设置:版本效力、岗位权限与例外情形。三项的判别对象与评分方式不同,不以同一套条款检索的判分规则统一处理。
版本效力题判别的是一条规定在提问时点是否仍为执行依据。同一事项在制度体系中常有先后数版,后版可能整篇替代,可能只修订其中若干条,也可能以补充通知的形式局部变更。答案须给出现行条款、其生效日期、被替代条款与替代方式(整篇替代、条款修订、局部补充)三者齐备。判分以版本检查节点乘子为前置,现行有效判定错误时该题直接计零分。
岗位权限题判别的是一条规定对提问人是否适用、提问人是否有权看到它。制度条款的适用范围常按单位、部门、岗级分层,同一条报销标准对不同岗级取值不同;密级分层则决定该条款本身可否返回。答案须给出按提问账号的岗位与岗级确定的适用条款与取值,并在越出可见范围时给出权限提示。判分以权限门乘子为前置。
例外情形题判别的是一般规定之外是否另有规定。制度条文中的例外多以「但」「特殊情况下」「经批准后」「下列情形除外」引出,且常不与主条款相邻。答案的评分要点中例外要点单独设权重,遗漏例外即按该要点权重扣减,例外要点权重不低于 0.25。
表 24A 管理制度场景题型的业务判别要点与评分式
| 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 |
|---|---|---|---|---|---|
| 条款定位 | 业务事项与条款的唯一对应 | 制度编号、条款号、附表位置 | 制度编号+条款编号+原文片段+附表取值 | 精确匹配,三项齐对计 1,否则计 0 | ③④⑥ |
| 语义解读 | 条件分支是否说全 | 评分要点与权重、条件分支标识 | 要点清单,含各条件分支要点 | S = Σ wₖhₖ | ③④⑦ |
| 跨制度咨询 | 依据是否跨到全部相关制度 | 涉及制度份数、各份的依据定位 | 各份制度的条款依据与综合结论 | S = Σ wₖhₖ,按涉及份数分层统计 | ③④⑦ |
| 引用关系判断 | 指向是否唯一可判 | 引用形式(显式、简称、隐式) | 被指向制度的名称与编号;隐式引用可给候选并说明判定依据 | 精确匹配;隐式题候选命中计 1 | ⑤⑥ |
| 版本效力辨析 | 现行与被替代的区分、替代方式 | 版本状态、生效日期、替代关系与替代方式 | 现行条款+生效日期+被替代条款+替代方式 | S′ = S × g版本 | ②⑥ |
| 岗位权限适用 | 适用范围与密级的双重判定 | 适用单位、部门、岗级、密级、账号权限档 | 按提问岗位确定的适用条款与取值;越界时的权限提示 | S′ = S × g权限 | ②④ |
| 例外与特殊情形 | 一般规定之外的另行规定 | 例外情形标识、例外所在条款位置 | 一般规定要点+例外要点(权重不低于 0.25) | S = Σ wₖhₖ,例外要点单列统计 | ③④⑦ |
表 24B 管理制度场景的四类专项测试构造
| 专项 | 本场景的构造 | 判据 | 归因入口与补数据 |
|---|---|---|---|
| 权限越界 | 取密级为内部以上、或适用范围限定到特定单位的条款,以普通岗位账号提问 | 返回权限提示或仅返回可见范围内容;越权放行以零发生为目标 | 归②;补密级与适用范围元数据后整批重测 |
| 无依据 | 问制度体系中确无规定的事项,或问须由归口部门解释的争议事项 | 提示无制度依据并指出可咨询的归口部门 | 归⑧;补拒答样本与偏好对后复测 |
| 版本失效 | 问已废止制度中的条款,或问被后续文件修订前的旧表述 | 不以失效条款作为执行依据;按历史版本提问时标注其非执行依据并给出现行条款 | 归②⑥;补版本状态与替代关系登记后整批重跑 |
| 工具失败 | 使版本对比或引用关系查询工具返回空结果、超时或异常码 | 提示关联查询未完成并给出已确认部分,不以推断补全引用指向 | 归⑤;补工具失败处置样本与引用关系登记后复测 |
示范用例。取一道跨制度咨询题,问分厂自行签订框架协议的签约权限与审批路径,评分要点与权重为签约权限条款 0.40、授权层级条款 0.35、采购方式条款 0.25。执行流程为:按冻结协议提交题目,链路层同步取下检索命中列表、证据包、工具调用记录与引用校验结果;任务层按要点判分。设答案命中前两个要点、未引用采购方式条款,版本检查节点与引用校验门均通过,则 S = 0.40 + 0.35 = 0.75,S′ = 0.75。归因按九个观测点定位:该条采购方式条款的知识单元若未进入候选集,错因归③,修复入口为条款级切分与索引;若已召回而未被引用,错因归④或⑦,修复入口分别为证据定位标注与偏好对。补数据后,对跨制度题中涉及采购制度的全部题目整批复测,而非只复测本题。本题的样本级结果、归因记录、复测结果与所用模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 一并封存。上列取值为算式示例,不代表实测结果。
制度场景的验证能做到什么深度,取决于甲方能提供的材料到什么颗粒度。表 25 逐项列明本场景验证所依赖的材料、用途与来源,并为每一项写明材料不具备时的降级口径,使接入条件的不确定不致令验证整体停摆。
需求项的取舍以「缺了它,哪一项验证就失去判定基准」为准。制度原文及附件是条款级知识单元与全部基准题的依据;制度台账中的生效、废止与替代关系,是版本效力辨析题唯一的判定基准,缺台账则只能以文件正文的发布与施行日期推定,推定项支撑不了严格结论;三档权限测试账号关系到越权放行能否在运行期实测,静态核验只能证明密级与适用范围字段标注正确,证明不了调用时不越权;近两年的制度咨询记录决定题面问法的真实分布,由业务专家集中出题虽可补足题量,问法多样性仍受限,这一点在报告中注明。
第四列是判据:凡走降级口径的项,相应指标或按减量执行、或标注为推定口径、或该项不出结论,三者择一,不以放宽取值的方式维持表面达标。第二列是证据,说明该项材料支撑的是哪一项验证。本表是 1.8.8 材料清单在本场景的细化,一期即作为数据需求提出并按周跟踪。
表 25 管理制度场景的数据需求与降级路径
| 需求项 | 用途 | 来源 | 不具备时的降级 |
|---|---|---|---|
| 11 类管理制度原文及附件 | 条款级知识单元与基准题的依据 | 甲方协同办公系统 | 按已到位类别先行验证,报告中列明未覆盖类别 |
| 制度台账(编号、归口、生效、废止、替代关系) | 版本状态登记与版本辨析题的判定基准 | 甲方制度管理部门 | 以文件正文中的发布与施行日期推定,推定项在报告中标注,版本辨析题相应减量 |
| 现行制度分类与层级定义 | 类别归集与层级判定的比对基准 | 甲方制度管理部门 | 以文件标题与发文形式初判,判定类元数据指标的下限值再放低一档 |
| 组织机构主数据 | 适用范围映射的比对基准 | 甲方主数据来源 | 适用范围映射仅做文本级登记,不出具映射正确率结论 |
| 近两年制度咨询记录 | 基准题题面来源与提问类型分布 | 甲方相关业务部门 | 由业务专家按八组类型集中出题,题面多样性在报告中注明受限 |
| 归口部门历史确认的制度问题记录 | 逻辑校验的回放题来源 | 甲方制度管理部门 | 仅出预埋题,回放一项不出结论 |
| 三档权限测试账号 | 越权放行测定 | 场景建设方配置 | 以知识单元密级与适用范围字段做静态核验,不出运行期越权结论 |
| 人工对照组安排 | 效率指标的人工基线 | 甲方安排在岗人员 | 效率类指标留空,不填预估值 |
本场景的验证报告按四项验证要求分章,每章给出四层结论。以第三项「制度关联分析能力」为例:任务层给出引用关系与逻辑校验的各项指标及判据;链路层给出⑤⑥两个观测点的表现与错因分布;知识层给出引用关系登记的完备度与三类引用形式的分项表现;数据层给出本项所依赖的标注样本与规则库的供给状况。四层之后是本项的整改任务单与下一版取值建议。
四项要求的结论汇总成本场景的可用性结论,表述形式为:在本版本数据集与本版本模型下,本场景的四项验证要求中有若干项通过、若干项有条件通过、若干项不通过;不通过项的归因位置、修复入口与整改期限逐项列出。可用性结论不作上线承诺,制度解释权归制度主管部门,助手输出为辅助结论——这一句在本场景的验证报告中逐份写明。
招标文件对本场景的现状判断是:技术标准专业门槛极高、数据图表密集、跨学科关联性强、更新迭代快、标准引用复杂,传统查阅与应用存在查询费时费力、参数提取不准、条文解读分歧、新旧版本混用、设计选型合规性难校验五类问题。
这五类问题中有三类是文档形态造成的。技术标准的核心内容大量落在数表里:材料的力学性能、焊接的预热温度区间、链条的破断负荷、公差配合的取值,都是表格中的一个单元格。一份标准按整篇文件检索,拿到的是一份文件;工程师要的是一个数。参数提取不准与查询费时,根子在表格没有被还原到单元格可取值的程度。条文解读分歧则多发生在条款含适用条件的情形——同一个限值在不同板厚、不同材质、不同工况下取值不同,取错条件比取错数字更难被发现。
另两类问题与版本和关联有关。标准更新迭代快,而设计引用的是标准号;一份已被替代的标准,其标准号往往仍在图纸与工艺文件中沿用。跨学科关联性强意味着一个设计问题常常要同时满足材料、焊接、防爆、安全规程等多类标准的要求,而这些标准分属不同体系,彼此之间的引用关系不在任何一份文件里完整写明。
甲方的实际情形可以说明验证对象的范围。公司在产品生命周期管理系统中统一存储各类国家标准、行业标准与企业标准,但内部工艺规范、设计准则、作业指导书分散存储在各部门与共享目录中;核心产品涉及的标准体系包括国家标准、行业标准、企业标准、机械设计手册与煤矿安全规程,以及全部内部工艺规范、设计准则与质量问题案例。现场的典型困难是:查找一个材料硬度要求需在三四份文件中反复搜索;曾发生设计引用已废止标准条款、到校对阶段才发现而导致返工的情形。
验证要回答四个疑问,对应招标文件的四项验证要求:标准知识库建得全不全(含条文规范知识与标准应用知识两类)、多轮与历史版本问答答得准不准、标准文件解析到不到单元格级、检索与使用情况统计得出来不出来。
招标文件描述本场景为:运用大语言模型、多模态文档解析、智能检索与匹配等技术,建设覆盖技术标准体系的智能问答助手,构建技术标准知识库,统一纳管各类技术标准知识,实现内容的结构化、数据化,并辅助技术标准编制。
对应到本包,我方的工作落在三处:标准条文的条款级切分与元数据抽取(标准名称、发布部门、生效日期等核心元数据,依据)、表格与公式的结构化重建到可取值与可计算的程度(依据 3.2.6.3.2 文档解析要求),以及标准应用知识的登记(技术参数限值、标准引用关系、版本更迭记录与典型合规案例)。
本场景的智能体链路在图 1 的骨架上有三处特异。一是第一个节点的条件补齐在本场景份量最重:技术问题若不补齐材质、规格、板厚、工况等条件,答案无法成立,因此本场景把「应反问题目的反问率」列为主要指标而不是次要指标。二是第五个节点调用的是表格取值、单位换算与公式计算工具,工具调用的四段判分在本场景逐段执行。三是第六个引用校验门在本场景须校验到单元格:答案给出的数值须能回指到某一份标准某一张表的某一个单元格,而不只是某一条款。
表 26 技术标准场景的智能体链路与验证观测点
| 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 |
|---|---|---|---|---|
| ① 意图识别与条件补齐 | 识别材质、规格、板厚、工况、工序等条件;条件不全时反问 | 要素识别正确率、应反问题目的反问率 | 指令微调子集中的参数查询与澄清样本 | 按缺失条件类型补指令样本与澄清偏好对 |
| ② 权限与版本检查节点 | 按资料密级过滤;默认只放行现行有效标准 | 现行有效判定正确率、越权放行发生数 | 标准台账元数据、密级登记 | 版本与密级字段逐条修订 |
| ③ 混合检索召回 | 按标准体系、专业类别、产品部件多路召回 | 证据召回率 Recall@5 | 条款级知识单元、表格单元索引 | 切分规则、表格索引配置 |
| ④ 重排与证据包组装 | 组装条款原文+所在表格+单元格坐标+适用条件 | 证据完整率、单元格定位正确率 | 表格结构重建、单元格坐标登记 | 文档结构解析环节 |
| ⑤ 工具调用 | 表格取值、单位换算、公式计算、版本对比 | 工具调用四段判分 | 公式变量登记、单位字典、版本关系 | 公式与单位登记修订 |
| ⑥ 引用校验门 | 核验标准号、版本号、条款号与单元格真实存在 | 引用真实率、单元格引用真实率 | 原文坐标与单元格坐标 | 坐标登记逐条修订 |
| ⑦ 受控生成 | 结论先行,附标准号、版本、条款号与原文 | 要点覆盖率、溯源信息完整率 | 偏好对齐子集(带溯源优于不带溯源) | 补偏好对 |
| ⑧ 拒答与转人工 | 条件不足、版本冲突、多标准不一致时转专家 | 正确拒答率、冲突转交率 | 拒答样本、标准冲突样本 | 补样本后复测 |
| ⑨ 留痕与血缘 | 登记问题条件、检索标准、单元格、适用判断与专家意见 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 |
招标文件要求验证技术标准知识库建设能力,知识范围包含国家标准、行业标准、企业标准、设计手册在内的条文规范知识,以及技术参数限值、标准引用关系、版本更迭记录与典型合规案例在内的标准应用知识。两类知识的验证方式不同,分开组织。
条文规范知识的验证与制度场景同构,但有两处加强。一是分体系统计:国家标准、行业标准、企业标准、设计手册、煤矿安全规程、内部工艺规范六类分别统计收录率与切分完整率,不给合并数字。分体系统计的理由是六类文件的版式差异很大——国家标准与行业标准版式规范,切分规则稳定;企业标准与内部工艺规范的版式各异,部分为扫描件;设计手册以数表为主体,条款结构不明显。合并统计会让后三类的问题被前三类的高分掩盖。二是数表与公式单列:标准中的表格与公式不作为条款的附属物统计,而是作为独立的知识单元类型统计其收录与还原质量,指标见 1.4.2.3。
标准应用知识的验证分四项。技术参数限值的登记正确率,验证方法是抽取参数限值条目与原文逐条核对,核对内容包括数值、单位、适用条件、来源标准号与单元格位置五项,任一项不符即判该条不正确。标准引用关系的抽取正确率,验证方法与制度场景的引用关系同构,但在本场景须区分规范性引用与资料性引用两类——前者构成强制要求,后者仅供参考,混为一类会使合规判断出错。版本更迭记录的完备度,验证方法是以标准台账为基准,核对现行、被替代、已废止三种状态的登记正确率,以及替代关系链的连通率。典型合规案例的登记质量,验证方法是核对每则案例是否附问题描述、所涉标准条款、判定结论与处置措施四项要素,要素不全的案例不计入有效条目。
表 27 技术标准知识库建设能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 条文规范·国标行标 | 条款收录率 | 分体系抽样逐条比对 | ≥0.98 | ≥0.95 |
| 条文规范·企标 | 条款收录率 | 分体系抽样逐条比对 | ≥0.96 | ≥0.92 |
| 条文规范·设计手册 | 条目收录率 | 以数表与条目为单位统计 | ≥0.95 | ≥0.90 |
| 条文规范·内部工艺规范 | 条款收录率 | 分体系抽样逐条比对 | ≥0.94 | ≥0.88 |
| 条文规范 | 切分完整率(六类合并后按体系分列) | 条款边界标注比对 | ≥0.95 | ≥0.90 |
| 核心元数据 | 标准名称、标准号、发布部门、生效日期抽取正确率 | 逐份人工核对 | ≥0.98 | ≥0.95 |
| 应用知识·参数限值 | 限值条目五项齐对率 | 数值、单位、适用条件、标准号、单元格位置逐项核对 | ≥0.95 | ≥0.90 |
| 应用知识·引用关系 | 规范性引用抽取正确率 | 与人工整理清单比对 | ≥0.92 | ≥0.85 |
| 应用知识·引用关系 | 规范性与资料性引用区分正确率 | 业务专家判定 | ≥0.90 | ≥0.82 |
| 应用知识·版本更迭 | 三种状态登记正确率 | 与标准台账逐条核对 | ≥0.98 | ≥0.96 |
| 应用知识·版本更迭 | 替代关系链连通率 | 逐链核验 | ≥0.92 | ≥0.85 |
| 应用知识·合规案例 | 四要素齐备率 | 逐则核对 | ≥0.95 | ≥0.90 |
招标文件要求验证标准智能问答能力,支持多轮对话式问答、历史版本制度问答。这一条文字简短,但包含两项性质不同的能力,须分别验证。
多轮对话式问答的验证重点是上下文继承与条件澄清。本场景的多轮题按三种形态构造。第一种是条件递进:首轮提问缺少关键条件,助手反问,用户补充后给出答案;考察反问是否问到了真正的关键条件,以及补充条件后答案是否随之改变。第二种是条件变更:在已有答案的基础上改变一个条件(如板厚从 30 毫米改为 50 毫米),考察答案是否随条件正确变化,而不是沿用上一轮的数值。第三种是追问溯源:在得到答案后追问依据出处,考察是否能给出标准号、版本与单元格位置。三种形态分别统计,其中条件变更一项最能暴露上下文处理的缺陷——沿用上一轮数值而不重新取值的失败,在单轮评测中完全看不出来。
历史版本问答的验证重点是版本标注与现行优先。题目要求查询某一已被替代标准的旧版条款,正确行为是给出该旧版条款并显著标注其为历史版本、不作为执行依据,同时指出现行版本的对应条款。判分有三个要点:旧版条款是否正确取出、历史版本标注是否给出、现行版本是否同时指出。三个要点缺一不可——只给旧版条款而不标注历史版本,是本场景最危险的失败形态之一,因为使用者会直接据以设计。
表 28 标准智能问答能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 单轮参数查询 | 参数查询准确率 | 150 道参数限值题,数值、单位、适用条件三项齐对 | ≥0.93 | ≥0.88 |
| 单轮条文解读 | 要点覆盖率 | 110 道解读题,按要点加权 | ≥0.88 | ≥0.80 |
| 多轮·条件递进 | 关键条件反问率 | 以条件缺失题测定 | ≥0.88 | ≥0.80 |
| 多轮·条件变更 | 条件变更后答案正确变化率 | 改变单一条件后重新取值是否正确 | ≥0.85 | ≥0.75 |
| 多轮·追问溯源 | 溯源信息完整率 | 标准号、版本、条款号、单元格四项齐备 | ≥0.92 | ≥0.85 |
| 多轮 | 上下文一致率 | 多轮题的轮级一致统计 | ≥0.88 | ≥0.80 |
| 历史版本 | 旧版条款取出正确率 | 与旧版电子件逐条核对 | ≥0.92 | ≥0.85 |
| 历史版本 | 历史版本标注给出率 | 答案中是否显著标注非执行依据 | ≥0.98 | ≥0.95 |
| 历史版本 | 现行版本同时指出率 | 是否同时给出现行对应条款 | ≥0.90 | ≥0.82 |
| 公共 | 废止标准误用为正式答案的发生数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 |
| 公共 | 跨标准综合题要点覆盖率 | 涉及两类以上标准体系的题目 | ≥0.82 | ≥0.72 |
招标文件要求验证技术标准文件解析能力,支持表格、公式等半结构化内容提取,表格解析须达到单元格级精度。这是本场景与其他四个场景差别最大的一项,也是本场景的技术难点所在,验证口径须定到可操作。
「单元格级精度」须先定义清楚才能测。本节把它拆成四层,逐层验证,每层有独立判据。四层的关系是:下层不成立,上层无从谈起;而通常的表格解析评价只测到第二层,于是一份「表格识别准确率 0.95」的报告里,可能根本没有包含表头层级关系是否还原正确这件事。
第一层是表格定位与边界。验证表格在页面中是否被完整识别为一个表,是否出现跨页表被截断、相邻两表被并为一表、或表注被并入表体的情形。判据是表级定位正确率。
第二层是单元格切分与取值。验证每个单元格的文本是否被正确切出并取到完整内容,重点测三类难例:合并单元格(跨行或跨列)、斜线表头、含上下标与特殊符号的单元格(如公差符号、角度、希腊字母)。判据是单元格取值正确率,三类难例分项统计。
第三层是表头层级与寻址。验证多级表头的层级关系是否还原,使一个数值能被唯一寻址。这一层是「单元格级精度」的实质:一个数值取对了,但不知道它对应哪一行哪一列的条件,这个数值就没法用。典型形态是以规格为行、以工况或等级为列的参数表,取值须由「行条件+列条件」共同确定。判据是按行列条件寻址的取值正确率。
第四层是语义绑定。验证单元格数值与其量纲、单位、适用条件、来源标准号是否绑定登记。缺单位的数值与缺适用条件的限值都不可用。判据是五项绑定齐备率,与 1.4.2.1 中参数限值的五项齐对率同源,此处从解析侧统计。
公式的验证与表格平行组织,分三层。第一层是公式识别与结构还原:公式是否被识别为公式而非图片或乱码文本,分子分母、上下标、根号与积分等结构是否还原。第二层是变量与符号登记:公式中每个符号的含义、量纲、取值来源是否登记,取值来源指该变量是由用户输入、由另一公式计算,还是查某一张表。第三层是可计算性:给定一组符合适用条件的输入,公式能否被正确求值,求值结果与人工按原文计算的结果是否一致。第三层是公式验证的落点——一个还原得很漂亮但算不出数的公式,在本场景里没有用处。
6 表格与公式解析的四层验证与归因入口
图 6 表格与公式解析的四层验证与归因入口。数据来源:招标文件 3.2.6.5.2.2.2 对表格解析单元格级精度的要求,3.2.6.3.2 文档类资料版面解析与表格公式重建要求,3.2.3.3.3 文档结构解析工具链。
表 29 技术标准文件解析能力的验证项与取值
| 层 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|---|
| 表格一 | 表格定位 | 表级定位正确率 | 抽样不少于 300 张表逐张核对 | ≥0.96 | ≥0.92 |
| 表格一 | 跨页表拼接 | 跨页表完整拼接率 | 以跨页表清单逐张核对 | ≥0.92 | ≥0.85 |
| 表格二 | 单元格取值 | 单元格取值正确率 | 抽样不少于 5,000 个单元格逐格核对 | ≥0.95 | ≥0.90 |
| 表格二 | 难例·合并单元格 | 合并格取值正确率 | 难例分项统计 | ≥0.90 | ≥0.82 |
| 表格二 | 难例·斜线表头 | 斜线表头解析正确率 | 难例分项统计 | ≥0.88 | ≥0.80 |
| 表格二 | 难例·上下标与符号 | 含特殊符号单元格取值正确率 | 难例分项统计 | ≥0.90 | ≥0.82 |
| 表格三 | 表头层级 | 按行列条件寻址取值正确率 | 以寻址题逐题核对 | ≥0.92 | ≥0.85 |
| 表格四 | 语义绑定 | 数值、单位、适用条件、标准号、单元格位置五项齐备率 | 逐条核对 | ≥0.95 | ≥0.90 |
| 公式一 | 公式识别 | 公式识别与结构还原正确率 | 抽样不少于 200 个公式逐个核对 | ≥0.92 | ≥0.85 |
| 公式二 | 变量登记 | 变量含义、量纲、取值来源三项齐备率 | 逐个核对 | ≥0.90 | ≥0.82 |
| 公式三 | 可计算性 | 给定输入的求值正确率 | 与人工按原文计算结果比对 | ≥0.95 | ≥0.90 |
| 交叉 | 单元格引用真实率 | 答案所引单元格在原文中真实存在且取值一致 | 回原文逐条核验 | ≥0.98 | ≥0.96 |
表 29 的最后一行与 1.4.2.2 的参数查询准确率是一对:参数查询测的是「答得对不对」,单元格引用真实率测的是「指得准不准」。两项都高才说明这条链路成立;只有前者高而后者低,说明数值是从别处得来的,哪怕恰好对了也不能采信。
招标文件要求验证数据可视化能力,支持自动统计技术标准检索量、高频查询条款、用户活跃度。这一项的性质与前三项不同:它统计的是使用行为,而不是知识内容。按表 4 的分法,统计功能的实现属场景建设方,但统计所依据的口径与维度属数据侧——高频查询条款要统计到条款,前提是检索日志里记了条款标识;若日志只记了文件名,这项统计做不出来。
因此本项的验证分三部分。第一部分验证统计所需的数据项是否齐备:检索日志中是否记录了查询文本、命中的知识单元标识、所属标准号与条款号、提问账号的岗位与部门、响应时长、是否采纳。逐项核对字段的存在与取值有效性。第二部分验证统计结果与源数据的一致性:按同一时间窗口,以日志原始记录独立复算检索量、条款命中频次与活跃账号数,与看板展示结果比对。甲方在场景需求中对这一项提出了统计准确率不低于 0.98、关键指标与源数据一致的口径,我方按同一量级设定目标值,并把一致性复算作为必做项——看板数字与日志对不上,是这类统计功能最常见的问题,而它在功能演示中看不出来。
第三部分是统计维度的业务可用性。高频查询条款的统计若只给条款编号,对标准修订与培训没有指导价值;须同时给出该条款所属标准、专业类别与提问岗位分布,才能支撑甲方在场景需求中提出的「精准识别高频问题与技术合规短板,为标准修订和培训提供数据支撑」这一目的。本项验证核对统计结果是否带这三个维度。
表 30 数据可视化能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | 责任侧 |
|---|---|---|---|---|---|
| 日志字段齐备 | 必填字段完整率 | 抽查不少于 2,000 条日志记录 | ≥0.98 | ≥0.95 | 两侧共同 |
| 条款级可统计性 | 命中记录带条款标识的比例 | 抽查日志 | ≥0.95 | ≥0.90 | 数据侧为主 |
| 统计一致性 | 独立复算与看板结果的一致率 | 按同一时间窗口复算检索量、条款频次、活跃账号数 | ≥0.98 | ≥0.96 | 工程侧为主 |
| 维度完备 | 高频条款统计带标准、专业类别、岗位分布三维度 | 核对统计输出 | 三维齐备 | 缺一项记为有条件通过 | 两侧共同 |
| 报表导出 | 导出结果与看板数据一致 | 抽样核对导出文件 | ≥0.98 | ≥0.95 | 工程侧 |
本场景在数据层上有三项与其他场景不同的要点。
预训练语料面须按六类标准体系分别核对覆盖,并对设计手册与内部工艺规范两类单独核对——这两类是甲方现场最缺的部分,也是知识探针最该测的部分。探针题中与数表、限值相关的题目不少于四成,因为本场景的知识密度集中在数表而不在条文叙述。
指令样本须覆盖本场景的六类提问:参数限值查询、条文解读、跨标准综合、版本辨析、单元格寻址、公式应用。其中单元格寻址与公式应用两类的样本构造依赖表格与公式的结构化成果,若 4.5 的第三层与第四层不达下限,这两类样本本身就构造不出来,须先修解析再补样本。这个依赖关系在整改排序时要体现:解析缺陷优先于样本缺陷修复。
长上下文一项在本场景份量最重。技术标准单份长度可达数十页,设计手册更长;题目构造为在长文中埋设目标条款或目标单元格并观察是否被正确引用,埋设位置按文首、文中、文末三档分布,分档统计定位正确率。文末一档的表现通常最差,而标准中的附录表往往在文末,分档统计据此设置。
表 31 技术标准场景的典型样题与判分方式
| 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 |
|---|---|---|---|---|
| 参数限值查询 | 某规格刮板链的最小破断负荷是多少 | 数值+单位+标准号+表号+单元格位置+适用条件 | 六项齐对为通过;数值对而单元格位置错单列记录 | ③④⑤⑥ |
| 单元格寻址 | 某牌号钢板在指定板厚、指定等级下的冲击功要求 | 由行条件与列条件共同定位的单元格取值 | 行列条件任一判错即失败,并记录判错的是行还是列 | ④⑤ |
| 公式应用 | 给定工况参数,按标准公式计算输送能力 | 公式出处+各变量取值及其来源+计算结果 | 三路复算:工具计算、验证侧独立复算、人工按原文计算 | ⑤ |
| 跨标准综合 | 某牌号钢板在指定板厚下对接焊的焊前最低预热温度 | 材料标准的牌号成分条款+焊接标准的预热温度表+工艺规范的本厂规定 | 要点加权,三类标准依据缺一即要点不全 | ③④⑦ |
| 条文解读 | 某检验项目的合格判定条件与复验规则 | 要点一判定条件、要点二复验触发条件、要点三复验取样、要点四最终判定 | 要点加权 | ③④⑦ |
| 多轮·条件变更 | 先问板厚 30 毫米的预热温度,再改问 50 毫米 | 两轮答案须分别取对应行的值 | 第二轮沿用第一轮数值即判失败 | ①④ |
| 版本辨析 | 某已被替代标准中某条款的要求是什么 | 旧版条款+历史版本标注+现行版本对应条款 | 三要点缺一不可;未标注历史版本即判不通过 | ②⑥ |
| 无依据题 | 某非标自制件的疲劳寿命限值(标准中无规定) | 应提示无标准依据,并建议转技术专家 | 给出确定性数值即判失败 | ⑧ |
| 条件缺失题 | 这个件的焊接预热温度是多少(未给材质与板厚) | 应反问材质与板厚 | 直接给数值即判失败 | ① |
| 干扰题 | 题面中掺入名称相近但专业不同的标准名 | 答案不受干扰项影响 | 引用干扰项所指标准即判失败 | ③④ |
公式应用题是本场景唯一需要三路复算的题型。第一路由助手调用公式计算工具得出结果;第二路由验证侧按登记的公式与变量独立实现一次计算;第三路由业务专家按标准原文手工计算一次。三路一致判通过。两路一致时,先查变量取值来源——最常见的分歧原因不是算错,而是某个变量取了不同表的值。三路都不一致时,该题转专家裁定,并把公式登记退回核对。三路复算的工作量约为单路比对的三倍;本场景的公式题多与承载能力、安全系数相关,其结果直接进入设计选型,故按三路执行。
本场景的题型按三项业务判别设置:适用条件、版本替代与条款冲突。三项都不是检索问题,而是取值前的判定问题,判分规则与单纯的条文检索题不同。
适用条件题判别的是一个限值在给定工况下该不该取。标准中的参数限值多数附带前置条件:材质牌号、规格区间、板厚档、工作温度、使用环境、产品类别。同一张表里相邻两行的取值差别,往往只由一个条件决定。答案须同时给出取值、单位与该取值所依赖的全部适用条件,并在题面条件不足以唯一确定取值时反问而不是取默认行。判分按五项齐对:数值、单位、适用条件、标准号、单元格位置,任一项不符即该题计零分,并记录不符的是哪一项。
版本替代题判别的是一份标准在提问时点的效力状态与替代链。标准的替代关系有整体替代、部分替代与并行有效三种形态:新版整体代替旧版,新版只代替旧版的若干章节,或新旧版本在不同产品类别上并行有效。答案须给出现行标准号与版本、被替代标准号与替代形态;按历史版本提问时,须标注其非执行依据并同时给出现行对应条款。判分以版本检查节点乘子为前置。
条款冲突题判别的是两份以上标准对同一事项的要求是否一致、不一致时如何处置。冲突有三种来源:不同体系的标准对同一参数给出不同限值,引用标准已更新而引用方未同步,企业标准严于或宽于其所引国家标准。答案须给出冲突双方的条款原文与位置、冲突类型,以及按从严取值或转标准化部门裁定的处置指向;不输出哪一方优先的定性结论——标准之间的效力关系取决于强制性属性与适用范围,不由文本比对判定。判分按冲突是否被提出、对照是否完整、处置指向是否正确三项,不判定性结论的对错。
表 31A 技术标准场景题型的业务判别要点与评分式
| 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 |
|---|---|---|---|---|---|
| 参数限值查询 | 数值与其量纲、来源的绑定 | 标准号、表号、单元格坐标、单位 | 数值+单位+标准号+表号+单元格位置 | 五项齐对计 1,否则计 0,记录不符项 | ③④⑤⑥ |
| 适用条件判定 | 取值所依赖的全部前置条件 | 适用条件字段(材质、规格、板厚、工况)、行列条件 | 取值+单位+全部适用条件;条件不足时反问 | 条件任一判错即计 0;应反问而直接作答计 0 | ①④⑤ |
| 条文解读 | 判定条件与复验规则是否说全 | 评分要点与权重 | 要点清单 | S = Σ wₖhₖ | ③④⑦ |
| 多轮追问 | 条件变更后是否重新取值 | 轮次序列、各轮变更项与继承项 | 各轮应取的单元格与取值 | 按轮级判定,沿用上一轮数值计 0 | ①④ |
| 版本替代辨析 | 替代形态与现行效力 | 标准号与版本、被替代关系、替代形态 | 现行标准号与版本+被替代标准号+替代形态+现行对应条款 | S′ = S × g版本 | ②⑥ |
| 跨标准条款冲突 | 冲突是否被提出、对照是否完整 | 冲突对标识、冲突类型、双方条款位置 | 双方条款原文与位置+冲突类型+处置指向 | 提出、对照、处置指向三项分别判,不判定性结论 | ③④⑦ |
| 表格取值 | 行列条件共同寻址 | 表号、行条件、列条件、表头层级 | 由行列条件唯一定位的单元格取值 | 行列条件任一判错计 0,记录判错的是行还是列 | ④⑤ |
| 公式应用 | 变量取值来源与可计算性 | 公式出处、各变量的量纲与取值来源 | 公式出处+各变量取值及其来源+计算结果 | 三路复算一致计 1,否则计 0 | ⑤ |
表 31B 技术标准场景的四类专项测试构造
| 专项 | 本场景的构造 | 判据 | 归因入口与补数据 |
|---|---|---|---|
| 权限越界 | 取受控共享目录中限定阅读范围的内部工艺规范与设计准则,以无权账号提问 | 返回权限提示;越权放行以零发生为目标 | 归②;补资料密级与阅读范围登记后整批重测 |
| 无依据 | 问非标自制件或新工艺中标准体系尚无规定的参数 | 提示无标准依据并建议转技术专家,不给出确定性数值 | 归⑧;补拒答样本与偏好对后复测 |
| 版本失效 | 问已被替代标准中的限值,或以旧标准号提出设计选型问题 | 不以已废止标准的限值作为设计依据;标注历史版本并给出现行对应条款 | 归②⑥;补标准台账的版本状态与替代链登记后整批重跑 |
| 工具失败 | 使表格取值、单位换算或公式计算工具返回空结果、异常码或超时 | 提示计算未完成并给出已确认的条件与出处,不以估算值或邻近行取值替代 | 归⑤;补公式与单位登记、工具失败处置样本后复测 |
示范用例。取一道公式应用题,按标准公式计算给定工况下的输送能力,公式含四个变量,其中两个由题面给出、一个查参数表、一个由另一公式计算。执行流程为:助手调用公式计算工具得出第一路结果;验证侧按登记的公式与变量独立实现一次计算,得出第二路结果;业务专家按标准原文手工计算一次,得出第三路结果。设第一路与第二路一致而第三路不同,先查变量取值来源——差异通常不在算错,而在某个变量取自不同的表。设查明为查表变量取自已被替代版本的参数表,则该题计 0 分,错因归②与⑤:版本检查节点未拦住失效参数表,工具参数构造采用了失效口径。修复入口为标准台账的版本状态登记与公式变量的取值来源登记;补数据后,对全部以该参数表为变量来源的公式题与参数限值题整批复测。本题的三路计算记录、归因与复测结果,连同模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 封存。上列为流程与判分示例,不代表实测结果。
技术标准场景与其余四个场景的差别,在于它的依据库有相当一部分并不在甲方手中:国标与行标须经授权导入,已被替代的历史版本在企业内通常不再留存,设计手册与内部工艺规范则散落在各部门的受控共享目录。表 32 据此逐项列明材料、用途、来源与不具备时的降级口径。
取舍以「缺了哪一项,哪一类题就无法成立」为准。标准台账中的现行状态与替代关系,是版本替代辨析题的判定基准;已被替代标准的历史版本电子件,是历史版本问答题唯一的题面来源,取不到则该项不出结论,只验证现行状态标注是否正确;设计手册与内部工艺规范是条文规范知识中最缺的两类,其到位程度直接决定标准应用类题目的覆盖面;资料密级与权限规则关系到权限门的越权放行能否实测,无密级标识的一律按最高密级处理,宁可拦截从严也不放行越权。
第四列是判据,三种降级方式对应三种结论强度:按减量执行、标注为推定口径、该项不出结论。第二、三列合起来说明向谁取用、取来支撑哪一项验证,便于在一期的数据需求清单中逐项跟踪。表中任一项走降级口径的,受影响的验证范围在本场景验证报告中逐条列明,不以未受影响项的取值代表本场景整体。
表 32 技术标准场景的数据需求与降级路径
| 需求项 | 用途 | 来源 | 不具备时的降级 |
|---|---|---|---|
| 国标、行标、企标电子件 | 条文规范知识与基准题依据 | 甲方产品生命周期管理系统;外部标准经授权导入 | 按已授权范围先行验证,未覆盖体系在报告中列明 |
| 设计手册与内部工艺规范、设计准则 | 条文规范知识中最缺的两类 | 甲方各部门与受控共享目录 | 按已到位部分验证;内部规范一项不出单独结论 |
| 标准台账(标准号、现行状态、替代关系) | 版本状态登记与版本辨析题判定基准 | 甲方标准化管理部门 | 以文件封面信息推定,推定项标注,版本辨析题减量 |
| 已被替代标准的历史版本电子件 | 历史版本问答题构造 | 甲方标准化管理部门 | 历史版本一项不出结论,仅验证现行状态标注 |
| 典型合规案例与历史质量问题记录 | 标准应用知识中的案例条目 | 甲方质量与技术部门 | 案例条目一项按已有数量验证,不足则在报告中注明条目数 |
| 资料密级与权限规则 | 权限门测定与密级字段核验 | 甲方确认 | 以文件现有密级标识为准,无标识的按最高密级处理 |
| 三档权限测试账号 | 越权放行测定 | 场景建设方配置 | 以密级字段静态核验替代 |
| 人工对照组安排 | 效率指标的人工基线 | 甲方安排工程技术岗位人员 | 效率类指标留空,不填预估值 |
招标文件对本场景的现状判断是:招投标文件内容篇幅长、响应要求细、技术参数密、截止时间紧、废标条款隐蔽,传统人工阅读与响应存在关键信息遗漏、条款解读偏差、投标风险识别不准、团队协作效率低下、历史投标经验复用难五类问题。
这五类问题有一个共同的结构:投标工作的本质是把招标文件里的每一条要求,对应到企业已有的一件证据上。要求散落在招标文件的资格条款、评分标准、技术规格、废标条款与格式要求里;证据散落在历史合同、发票、使用证明、中标通知书、技术协议、安标证书、防爆证书、检验检测报告、营业执照、体系证书与企业资料里。人工做法是两头各自翻一遍再凭经验对上,于是漏项、错配与经验不可复用都来自同一个原因:要求与证据之间没有一张可查的对应关系表。
甲方的现场困难可以具体到四处。招标条款分散,人工检索历史同类标书与技术应答方案耗时久。业绩、设备、安标等硬性材料的匹配需跨台账、多文件人工比对,易漏项、错配。标书撰写依赖资深人员经验,新人上手周期长,优秀应答方案无法沉淀复用。废标条款、资格门槛、评分细则人工核对易出现疏漏。此外,不同招标单位对业绩、设备证明、安标证书的材料组合要求差异明显,缺少统一的智能检索复用渠道。
本场景的验证还有一个排期前提须先写明。甲方对本场景的推进分两阶段:第一阶段聚焦商务模块,第二阶段在技术场景完善后再建设技术部分模块。本节的验证按同一节奏组织:首轮验证覆盖商务标的资质与业绩材料生成、招标文件解析与审标,技术标的技术方案生成一项在第二阶段纳入验证范围,首轮报告中对该项标注为未纳入本轮并说明原因。这样安排不是缩小范围,而是与甲方的建设节奏对齐——在技术模块尚未建设时对其出验证结论,结论没有意义。
验证要回答四个疑问,对应招标文件的四项验证要求:招投标文件知识库建得全不全(投标文本知识与商务知识两类)、招标文件解析与风险标注准不准、投标内容生成的事实是否可回溯、投标文件智能评审能否查出问题。
招标文件描述本场景为:基于招标文件、历史投标文件、评分标准、企业资质库构建高质量标书数据集,通过大语言模型、多模态文档解析、智能检索与匹配等技术,打造标书智能问答助手,统一纳管各类招投标知识,辅助投标文件编制和审查,缩短标书编制周期,提高标书应答全面性。
对应到本包,我方的工作是把「统一纳管各类招投标知识」那一层做实并验证到位:投标相关资料按投标文件模板库、设备材料、资质(安标证书、防爆证书、检验检测报告、产品合格证)与业绩(业绩合同、发票、验收单、中标通知书、技术协议)分类归集;对招投标文件与合同文本标注条款类型、风险点与合规判定结论;基于招投标文件与知识库条目合成标书问答样本。
本场景的智能体链路与前两个场景有一处本质差别:它不只检索与作答,还生成要交付出去的文件,而文件里的每一项企业事实都要能回到一件原件。因此本场景在图 1 的骨架上增加一道生成前置门:凡属企业事实的内容(业绩、资质、设备、技术参数、报价),须由证据匹配结果填充,不由模型组织表述;匹配不到的位置以缺口占位标出,不补写。这道门是本场景验证的重点观测对象——它的失败形态是「写得很顺但查不到原件」,而这类错误在成稿之后极难发现。
表 33 标书场景的智能体链路与验证观测点
| 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 |
|---|---|---|---|---|
| ① 意图识别与条件补齐 | 识别任务类型(解标、材料匹配、生成、审标)与项目标识 | 任务类型识别正确率 | 指令微调子集中的标书任务样本 | 补任务类型样本 |
| ② 权限与版本检查节点 | 按项目成员权限与资料保密等级过滤;识别补遗与澄清的文件优先级 | 文件优先级判定正确率、越权放行发生数 | 资料密级登记、文件版本关系 | 密级与版本字段修订 |
| ③ 混合检索召回 | 按要求条目检索历史标书、业绩、证书、模板 | 证据召回率 Recall@5、材料匹配召回率 | 分类归集结果与索引 | 分类归集规则与索引配置 |
| ④ 重排与证据包组装 | 组装要求条目+候选证据件号+有效期+适用范围 | 证据完整率、件号可回溯率 | 业绩与证书的件级元数据 | 件级元数据补登记 |
| ⑤ 工具调用 | 审标规则检查、评分测算、有效期校验、格式检查 | 工具调用四段判分 | 审标规则库、评分规则登记 | 规则库修订 |
| ⑥ 引用校验门 | 核验所引件号、证书编号、合同编号真实存在且在有效期内 | 引用真实率、有效期校验正确率 | 件级元数据与有效期字段 | 有效期字段逐条修订 |
| ⑦ 受控生成 | 按模板装配章节,企业事实由证据填充,缺口占位 | 要点覆盖率、企业事实错误率、缺口提示率 | 偏好对齐子集(可回溯优于通顺) | 补偏好对与事实约束样本 |
| ⑧ 拒答与转人工 | 资格、废标、截止时间、报价四项有冲突或缺失即挂起转人工 | 四项挂起正确率 | 一票否决项规则登记 | 规则登记修订 |
| ⑨ 留痕与血缘 | 登记要求条目、选用资料、证据原件、章节与审标结果的映射 | 映射链完整率 | 血缘登记字段 | 补登记字段 |
招标文件要求验证招投标文件知识库建设能力,知识范围包含历史投标文本、投标文件模板库、项目实施方案、售后服务承诺在内的投标文本知识,以及设备材料知识、企业资信证明、项目业绩合同、验收单在内的商务知识。两类知识的验证重点不同。
投标文本知识的验证重点是可复用性,而不只是收录量。一份历史投标文件入库之后能不能用,取决于三件事:它的章节结构是否被还原到可按章节取用的程度、它所应答的原始招标要求是否被关联登记、它是否被标注了可复用范围。第三项最容易被忽略:历史标书中有相当比例的内容是项目专属的(特定客户的特定工况、已失效的承诺、已变更的报价口径),这部分内容复用到新项目里就是错误。因此本项验证把「可复用范围标注正确率」列为主要指标,由业务专家判定。
模板库的验证重点是覆盖与结构标注。甲方的模板按主要招标单位分设,覆盖不少于五家主要客户的格式要求,另有通用模板。验证核对三项:模板是否按客户与项目类型分类登记、每份模板的章节结构与格式要求(含签章位置、必填项、附件清单)是否结构化标注、可复用内容与须逐项填写的内容是否区分标注。
商务知识的验证重点是件级可回溯与时效性。业绩类与资质类材料的每一件都须登记件号、所属项目或证书编号、有效期、适用产品范围、证明材料齐备性与保密等级。验证方法是逐件核对台账与原件,统计件级元数据的齐备率与正确率;对资质类材料另单列有效期字段的正确率,因为安标证书、防爆证书与检验检测报告都有有效期,用过期证书应标是实质性风险。
表 34 招投标文件知识库建设能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 投标文本·收录 | 历史投标文件收录率 | 以甲方提供清单为基准逐份核对 | ≥0.98 | ≥0.95 |
| 投标文本·结构 | 章节结构还原率 | 按章节可取用性核对 | ≥0.95 | ≥0.90 |
| 投标文本·关联 | 应答关系登记率 | 历史标书章节与原始招标要求的关联登记 | ≥0.90 | ≥0.82 |
| 投标文本·复用 | 可复用范围标注正确率 | 业务专家逐份判定 | ≥0.90 | ≥0.82 |
| 模板库·覆盖 | 模板分类登记正确率 | 按客户与项目类型核对 | ≥0.95 | ≥0.90 |
| 模板库·结构 | 章节、格式要求、签章位置、必填项结构化标注齐备率 | 逐份核对 | ≥0.92 | ≥0.85 |
| 模板库·区分 | 可复用内容与须填写内容的区分标注正确率 | 业务专家判定 | ≥0.90 | ≥0.82 |
| 商务知识·业绩 | 业绩件级元数据齐备率 | 逐件核对台账与原件 | ≥0.95 | ≥0.90 |
| 商务知识·资质 | 资质件级元数据齐备率 | 逐件核对 | ≥0.95 | ≥0.90 |
| 商务知识·时效 | 资质有效期字段正确率 | 与原件逐件核对 | ≥0.98 | ≥0.96 |
| 商务知识·证明齐备 | 业绩证明材料齐备性标注正确率 | 核对合同、发票、验收单、中标通知书等的齐备标注 | ≥0.92 | ≥0.85 |
| 商务知识·设备材料 | 设备与检验检测设备台账登记正确率 | 逐条核对 | ≥0.95 | ≥0.90 |
招标文件要求验证标书智能解析能力,支持对招标文件项目基本信息、资格性要求、评分标准、废标条款、技术参数与设备要求、业绩证明材料要求的自动提取与风险标注。六类提取对象的难度与后果都不同,验证按类分项统计,不给合并数字。
项目基本信息与评分标准的提取相对规整,前者是固定字段,后者多以表格形式给出,验证重点在字段齐备与评分项的分值、评审方式是否对应正确。
资格性要求与废标条款的提取是本项的重点。这两类条款的共同特征是分散且表述方式不统一:资格要求可能出现在投标人资格章节,也可能出现在投标人须知或评审办法中;废标条款更隐蔽,常以「否决投标」「视为无效投标」「不予受理」等不同措辞出现,且散落在符合性审查表、投标人须知与合同条款各处。验证的做法是以人工逐条拆解的结果为基准,统计召回率与精确率,并对召回失败的条款按其在招标文件中的位置与措辞类型聚类——这个聚类结果直接指向抽取规则的缺口,是本项最有用的归因产物。
技术参数与设备要求的提取须测到参数级:每一项参数的名称、要求值、单位、是否带「不低于」「不高于」「或相当于」一类限定词、是否为带星号的关键参数。限定词与星号标记的漏标是实质性风险,单列统计。
业绩证明材料要求的提取须测到组合级:招标文件对业绩的要求通常是一组条件的组合(近若干年、同类项目、合同金额下限、须提供的证明材料种类),少提取其中一项就会导致材料准备缺项。验证按条件组合的完整提取率统计。
风险标注的验证与提取分开。提取出一条废标条款只是第一步,还要判断它对本次投标是否构成风险、风险等级如何。风险标注的判定由业务专家给基准,验证统计标注正确率与等级一致率。甲方在场景需求中对废标风险识别的准确率提出了不低于 0.97 的口径,这是本场景最硬的一项指标。我方的处理是:把它拆成废标条款召回率、风险标注正确率与一票否决项挂起正确率三项分别验证,并在报告中说明合成关系——因为一个「废标风险识别准确率」的单一数字无法指出失败在哪一步,而这三项的修复入口分别是抽取规则、标注样本与规则登记。
表 35 标书智能解析能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 项目基本信息 | 字段提取齐备率 | 以不少于 15 份真实招标文件为样本逐份核对 | ≥0.98 | ≥0.95 |
| 资格性要求 | 召回率 | 与人工拆解清单比对 | ≥0.95 | ≥0.90 |
| 资格性要求 | 精确率 | 提取结果中成立的比例 | ≥0.92 | ≥0.85 |
| 评分标准 | 评分项、分值、评审方式三项齐对率 | 逐项核对 | ≥0.95 | ≥0.90 |
| 废标条款 | 召回率 | 与人工拆解清单比对,按措辞类型分项统计 | ≥0.96 | ≥0.92 |
| 废标条款 | 措辞变体识别率 | 对非标准措辞的识别情况单列 | ≥0.90 | ≥0.82 |
| 技术参数 | 参数级提取齐对率(名称、要求值、单位) | 逐项核对 | ≥0.95 | ≥0.90 |
| 技术参数 | 限定词与关键参数标记保留率 | 对「不低于」「或相当于」「带星号」等逐项核对 | ≥0.96 | ≥0.92 |
| 业绩材料要求 | 条件组合完整提取率 | 按条件组合逐组核对 | ≥0.92 | ≥0.85 |
| 风险标注 | 标注正确率 | 业务专家判定为基准 | ≥0.92 | ≥0.85 |
| 风险标注 | 风险等级一致率 | 与专家判定的等级比对 | ≥0.88 | ≥0.80 |
| 一票否决项 | 资格、废标、截止时间、报价四项的挂起正确率 | 以预埋冲突与缺失题测定 | ≥0.98 | ≥0.95 |
招标文件要求验证投标生成能力,支持商务标的资质材料、业绩材料的内容生成,以及技术标的技术方案、实施方案、售后服务方案的内容生成。本项的验证口径与前面各项不同,须先说明判什么。
生成能力的常规评价方式是看生成文本的质量,但本场景不这么判。理由是:标书中的每一项企业事实都是评标环节要逐件核验的对象,一旦出现与原件不符的表述,后果不止于扣分;而生成得流畅与事实上准确是两件事,流畅的错误比生硬的正确危险得多。因此本项的验证把生成质量拆成三层,权重倒置——事实可回溯性权重最高,结构完整性次之,表述质量最低。
第一层是事实可回溯性。生成内容中凡属企业事实的部分(业绩项目名称、合同金额、履约时间、客户名称、证书编号、有效期、设备型号与数量、技术参数),须逐项能回指到一件原件。验证做法是对生成结果逐项抽取事实项,与件级台账及原件比对,统计三个量:事实项可回溯率(能指到原件的比例)、事实项准确率(指到的原件与表述一致的比例)、虚构事实发生数(表述的事实在原件中不存在)。第三项以零发生为目标,出现即判该项不通过——这一条不设有条件通过。
第二层是结构完整性与硬性要求覆盖。生成结果是否按招标文件要求的章节结构组织、是否覆盖了要求矩阵中的全部应答条目、是否在缺少证据的位置给出了明确的缺口占位而不是略过。缺口提示率是本层的关键指标:一个诚实的缺口占位是可用的工作产物,一个被略过的缺口是隐藏的漏项。
第三层是表述质量与格式规范。包括语言是否符合投标文件文体、格式是否符合模板要求(字号、编号层级、签章位置、附件编号)、是否存在前后矛盾。这一层用模型裁判初判加人工复核判分。甲方在场景需求中对一键生成的内容及格式准确率提出了不低于 0.99 的口径。我方的处理是把这一口径按章节完整率、硬性要求覆盖率、证据匹配准确率与格式检查准确率四项分别核算,各项分别给目标值,并另行统计企业事实错误率与缺口提示率——把四项不同性质的内容压成一个准确率数字,达标与否取决于怎么加权,而加权方式并不比四个分项数字更有信息量。
技术标的技术方案、实施方案与售后服务方案生成一项,按 1.5.1.1 所述的排期前提,在第二阶段纳入验证范围。首轮验证中本项的处理是:核验支撑该项生成所需的数据供给是否已到位(产品参数、技术方案素材、标准依据的登记情况),出具数据就绪度结论,不出具生成质量结论。就绪度结论同样有用——它告诉甲方第二阶段启动前还缺什么。
表 36 投标生成能力的验证项与取值
| 层 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|---|
| 一 | 事实可回溯 | 事实项可回溯率 | 逐项与件级台账比对 | ≥0.98 | ≥0.95 |
| 一 | 事实准确 | 事实项准确率 | 与原件逐项核对 | ≥0.98 | ≥0.96 |
| 一 | 虚构事实 | 虚构事实发生数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 |
| 二 | 结构完整 | 章节完整率 | 与招标文件要求的章节结构比对 | ≥0.95 | ≥0.90 |
| 二 | 要求覆盖 | 硬性要求覆盖率 | 与要求矩阵逐条比对 | ≥0.95 | ≥0.90 |
| 二 | 缺口显式化 | 缺口提示率 | 缺证据位置是否给出占位与所差何项 | ≥0.95 | ≥0.90 |
| 二 | 证据匹配 | 证据匹配准确率 | 填入的证据件与要求条目是否对应 | ≥0.93 | ≥0.88 |
| 三 | 格式规范 | 格式检查准确率 | 字号、编号层级、签章位置、附件编号 | ≥0.95 | ≥0.90 |
| 三 | 表述质量 | 模型裁判初判加人工复核得分 | 校准后按分册复核 ≥50% | ≥0.80 | ≥0.70 |
| 三 | 前后一致 | 前后矛盾发生率(取反向) | 人工复核 | ≤0.05 | ≤0.10 |
| 技术标 | 数据就绪度 | 产品参数、方案素材、标准依据的登记齐备率 | 逐项核对 | 首轮出就绪度结论 | — |
招标文件要求验证投标文件智能评审能力,支持废标项检查、资格性审查、评分项审查、遗漏检查、格式规范性检查,并生成评审报告。这一项的验证方法与前三项不同:它测的是「能不能查出问题」,因此验证的主要手段是预埋缺陷并回放。
缺陷预埋的做法是:取历史投标文件,由业务专家按五类检查项分别植入已知缺陷,每类不少于 30 处,缺陷的严重程度分三档。植入的缺陷须贴合真实易错点,不是人为制造的明显错误。按五类检查项,典型的预埋缺陷形态如下。废标项类:漏签章、报价超出最高限价、未按要求提供原件、投标有效期短于要求。资格性类:资质证书过期、业绩数量不足、业绩类型不符、财务指标不达要求。评分项类:评分项应答内容缺失、承诺低于评分要求、证明材料与承诺不对应。遗漏类:要求矩阵中的条目在投标文件中无对应应答、附件清单中列明的附件缺失。格式类:编号层级错乱、金额大小写不一致、页码与目录不符、签章位置不符要求。
回放的做法是:取甲方历史投标项目的内部评审意见,把当时发现的问题作为基准,看系统能否重新发现。回放题测的是真实分布上的表现,与预埋题的结果并列报告而不取其高。
评审报告的验证单列一项。报告须包含问题清单、每个问题的位置定位、所依据的招标文件条款、严重程度与修改建议五项。验证核对五项齐备率,并核对位置定位是否精确到页与条目——一份只说「资格材料有问题」而不指出是哪一份证书哪一项不符的评审报告,在实际使用中价值有限。
表 37 投标文件智能评审能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 废标项检查 | 预埋缺陷检出率 | 每类不少于 30 处预埋,按严重程度分档统计 | ≥0.96 | ≥0.92 |
| 资格性审查 | 预埋缺陷检出率 | 同上 | ≥0.95 | ≥0.90 |
| 评分项审查 | 预埋缺陷检出率 | 同上 | ≥0.90 | ≥0.82 |
| 遗漏检查 | 预埋缺陷检出率 | 以要求矩阵逐条核对 | ≥0.92 | ≥0.85 |
| 格式规范性检查 | 预埋缺陷检出率 | 同上 | ≥0.95 | ≥0.90 |
| 五类合计 | 误报率(取反向) | 系统报出而经专家确认不成立的比例 | ≤0.12 | ≤0.20 |
| 回放 | 历史评审意见的重现率 | 取历史内部评审意见回放 | ≥0.80 | ≥0.70 |
| 评审报告 | 五项齐备率 | 问题、位置、依据条款、严重程度、修改建议 | ≥0.95 | ≥0.90 |
| 评审报告 | 位置定位精确率 | 定位到页与条目的比例 | ≥0.92 | ≥0.85 |
| 评分模拟 | 评分测算与专家测算的一致率 | 以可量化评分项为范围 | ≥0.88 | ≥0.80 |
误报率一项允许较高的上限,与制度场景的冲突候选准确率同理:审标的筛查应偏向召回,漏掉一个废标项的代价与多报一个待核项的代价不在一个量级。但误报率也不能无下限放宽——报出的问题太多,复核的人会开始跳着看,筛查的实际效果反而下降。取值定在 0.12 是按人工复核可承受的负荷推算的,随版本迭代按实际复核记录调整。
7 标书场景解标、做标、审标三段验证的衔接
图 7 标书场景解标、做标、审标三段验证的衔接。数据来源:招标文件 3.2.6.5.2.3.2 四项验证要求,3.2.6.3.4 投标相关资料分类归集要求,3.2.6.3.5 招投标文件条款类型与风险点标注要求。
本场景的数据层验证有两项特殊之处。
第一项是「企业事实不进模型权重」这一取向对数据层验证的影响。本场景的企业事实(业绩、资质、设备、参数)须从资料库即时检索,不作为训练语料注入模型——理由是这些事实会随资质更新与业绩积累而变动,写进权重之后既难更新也无法逐条追溯到原件。这一取向决定了数据层验证的重点:预训练语料面的核对对象是招投标的语言与结构(招标文件的条款体例、投标文件的文体与章节组织),不是企业事实本身;知识探针题相应地考察体例与术语理解,不考察「我方有哪些业绩」这类事实题。把事实题放进探针,测出来的高分恰恰是风险信号。
第二项是增量与反馈机制的验证。甲方对本场景提出了每季度归集新增招投标项目资料、持续补充新发现的招标规则与高频问答的要求。本节在数据层验证中核对增量机制是否成立:新增项目资料的归集流程是否可执行、新发现的规则是否有登记入口、反馈样本是否经审核后入库、入库前是否重新执行质检。这一项不测数量,只测机制是否闭合——因为首轮验证时增量还没有发生,能验证的只有通路。
表 38 标书场景的典型样题与判分方式
| 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 |
|---|---|---|---|---|
| 废标条款提取 | 从一份招标文件中列出所有否决投标情形 | 人工拆解的废标条款清单(含条款位置与措辞) | 召回率与精确率;漏掉的按措辞类型与位置聚类 | ③④⑤ |
| 资格要求提取 | 本项目对投标人资质、业绩、财务的要求分别是什么 | 各类要求的条件组合清单 | 条件组合完整提取率 | ③④ |
| 材料匹配 | 本项目要求的同类业绩,我方有哪些可用 | 可用业绩件号清单+不可用原因+缺口说明 | 件号可回溯;漏掉可用件与误用不可用件分别统计 | ③④⑥ |
| 资质时效 | 拟用于本项目的证书中有哪些将在投标有效期内过期 | 证书编号+有效期+到期判定 | 有效期校验正确率;漏判即失败 | ⑤⑥ |
| 内容生成 | 按要求生成业绩部分 | 每项业绩的事实项须逐项回指原件 | 事实可回溯率、准确率、虚构发生数 | ⑦ |
| 缺口显式化 | 要求提供的某类证明材料资料库中没有 | 应给出缺口占位并说明所差何项 | 略过不提即判失败 | ⑦⑧ |
| 审标·预埋 | 对植入已知缺陷的投标文件出评审报告 | 预埋缺陷清单 | 检出率按五类与三档分别统计 | ⑤ |
| 审标·回放 | 对历史项目投标文件出评审报告 | 当时的内部评审意见 | 重现率 | ⑤ |
| 补遗注入 | 投标过程中注入一份补遗文件 | 要求矩阵的增量变化+受影响章节清单 | 未触发增量更新或影响范围判错即失败 | ②⑨ |
| 无依据题 | 招标文件未提及的某项要求如何应答 | 应提示招标文件无此要求 | 凭推测补充要求即判失败 | ⑧ |
| 一票否决 | 预埋资格不符与报价冲突 | 应挂起并转投标负责人 | 自动定稿或以默认值填补即判不通过 | ⑧ |
材料匹配题的判分需要说明两类失败的不对称。漏掉一件可用业绩,损失是少了一项得分证据;误用一件不可用业绩(项目类型不符、证明材料不全、超出可使用范围),后果是材料被评标质疑甚至被认定为虚报。因此本题型的判分对两类失败分别统计并分别设判据,误用一项的下限值定得明显更严。这种不对称在评测设计中要显式体现,否则一个在两类失败上表现相反的版本会算出相同的分数。
本场景的题型按三项业务判别设置:条款定位、三类要素抽取与漏项检查。三者的失败后果不同,判分规则与判据取值也不同。
条款定位题判别的是一条要求在招标文件中的确切位置。招投标文件的同一事项常在数处重复或互相限定:资格要求可能同时出现在投标人须知、资格审查办法与评审表;废标情形可能以否决投标、无效投标、不予受理三种措辞分散出现。答案须给出条款所在章节、条款号与原文片段,并在同一要求出现于多处时给出全部位置与其相互关系(重复表述、进一步限定、例外)。判分按位置齐对与关系判定两项分别统计。
要素抽取题按资格资质、技术、商务三类分设,三类的字段与判分口径不同。资格资质要素的判分对象是条件组合:资质类别与等级、业绩年限与数量、合同金额下限、财务指标、人员与设备要求,以及每项要求对应应提供的证明材料种类;少提取组合中的任一项即判该条抽取不成立。技术要素的判分对象是参数级字段:参数名称、要求值、单位、限定词(不低于、不高于、或相当于)与关键参数标记,限定词与标记的漏标单列统计。商务要素的判分对象是条款级条件:报价范围与构成、付款与结算条件、交付期与地点、质保期与售后响应、违约与履约担保,判分按条件齐对率统计。
漏项检查题判别的是要求矩阵中的条目在投标文件中是否都有对应应答。漏项有三种形态:矩阵条目在投标文件中无对应内容、有内容但未响应其实质要求、附件清单中列明的附件缺失。答案须给出漏项清单及每项所在的矩阵条目号与应答应在的位置。判分按漏项检出率与误报率并列统计,两者同时给出。
表 38A 标书场景题型的业务判别要点与评分式
| 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 |
|---|---|---|---|---|---|
| 条款定位 | 同一要求在多处出现时的位置与相互关系 | 招标文件标识、章节与条款位置、同事项位置集合 | 全部出现位置+原文片段+位置间关系 | 位置齐对与关系判定两项分别判,召回率与精确率并报 | ③④⑥ |
| 资格与资质要素抽取 | 条件组合的完整性 | 要素类别=资格资质、条件组合项、应提供证明材料种类 | 各项条件与对应证明材料种类的完整组合 | 组合中任一项缺失即该条计 0 | ③④ |
| 技术要素抽取 | 参数级字段与限定词 | 参数名称、要求值、单位、限定词、关键参数标记 | 参数五项齐对 | 五项齐对计 1;限定词与标记漏标单列统计 | ③④ |
| 商务要素抽取 | 条款级条件齐对 | 报价构成、付款结算、交付、质保与售后、违约与担保 | 各类商务条件的条款原文与取值 | 条件齐对率;关键条件缺一即该条计 0 | ③④ |
| 漏项检查 | 矩阵条目与应答的逐条对应 | 要求矩阵条目号、应答应在位置、漏项标识 | 漏项清单+条目号+应答应在位置 | 检出率与误报率并列统计 | ③④⑤ |
| 内容生成 | 企业事实可逐项回指原件 | 事实项清单、对应证据件号 | 各事实项及其原件件号 | 事实可回溯率、准确率、虚构发生数三项分别判 | ⑦ |
| 文件评审 | 预埋缺陷的检出与定位 | 预埋缺陷清单、严重程度档位 | 问题+位置+依据条款+严重程度+修改建议 | 检出率按五类与三档分别统计;报告五项齐备率单列 | ⑤ |
表 38B 标书场景的四类专项测试构造
| 专项 | 本场景的构造 | 判据 | 归因入口与补数据 |
|---|---|---|---|
| 权限越界 | 以无项目授权的账号查询在办项目的报价、客户与业绩明细 | 返回权限提示;越权放行以零发生为目标 | 归②;补项目成员权限与资料密级登记后整批重测 |
| 无依据 | 问招标文件未提及的要求,或问资料库中无对应原件的企业事实 | 提示招标文件无此要求,或给出缺口占位并说明所差何项;凭推测补充即失败 | 归⑦⑧;补拒答样本与缺口显式化偏好对后复测 |
| 版本失效 | 以被补遗文件修改前的条款提问,或引用已过有效期的资质证书 | 按补遗后的现行条款作答;对过期证书给出到期判定并提示不可用 | 归②⑤;补补遗版本关系与证书有效期登记后整批重跑 |
| 工具失败 | 使资质时效校验或业绩匹配工具返回空结果或超时 | 提示校验未完成并列出待核件号,不以可用默认判定填补 | 归⑤;补工具失败处置样本与件级台账字段后复测 |
示范用例。取一道漏项检查题:某招标文件拆解后的要求矩阵含 120 个条目,待审投标文件由业务专家预埋 8 处漏项,其中 5 处为无对应内容、2 处为有内容但未响应实质要求、1 处为附件缺失。执行流程为:按冻结协议提交合同包与矩阵,系统逐条比对后输出漏项清单;复核组以预埋清单为基准逐条核验。设系统报出漏项 9 处,其中与预埋清单对上 6 处、误报 3 处,则检出率 = 6 ÷ 8 = 0.75,误报率 = 3 ÷ 9 ≈ 0.33。两处未检出按形态归因:若漏的两处均为「有内容但未响应实质要求」,错因不在检索而在应答实质性判定,修复入口为要求矩阵条目的实质要求字段与判定样本;若漏的是附件缺失一处,修复入口为附件清单的结构化抽取。补数据后,对全部同形态条目整批复测,并同时观察误报率是否随之上升。本题的矩阵版本、预埋清单、逐条结果与六项绑定版本按 1.2.19 封存。上列取值为算式示例,不代表实测结果,预埋清单由业务专家按真实易错点构造,不取自任何一次真实投标的评审意见原文。
表 39 标书场景的数据需求与降级路径
| 需求项 | 用途 | 来源 | 不具备时的降级 |
|---|---|---|---|
| 历史投标文件不少于 30 份、覆盖 5 类项目 | 投标文本知识验证与审标回放 | 甲方投标管理部门 | 按已到位份数验证,报告中注明样本量与覆盖类型 |
| 真实招标文件不少于 15 份 | 解标的人工拆解基准 | 甲方;或公开渠道同类文件 | 以公开渠道同类文件补足,报告中区分来源 |
| 投标文件模板库 | 模板覆盖与结构标注验证 | 甲方投标管理部门 | 按已到位模板验证,缺失客户类型在报告中列明 |
| 业绩与资质材料扫描件及台账 | 商务知识件级验证 | 甲方相关部门 | 按已到位件数验证;台账缺失时以原件逐件登记,工作量在报告中说明 |
| 历史投标内部评审意见 | 审标回放题来源 | 甲方投标管理部门 | 回放一项不出结论,仅出预埋结论 |
| 投标风险等级划分口径 | 风险标注的等级一致性基准 | 甲方确认 | 以三档粗分(废标级、扣分级、提示级)暂定,等级一致率一项标注为暂定口径 |
| 产品参数与技术方案素材 | 技术标生成的数据就绪度核验 | 甲方技术部门 | 首轮仅出就绪度结论,不出生成质量结论 |
| 项目成员权限与保密等级规则 | 权限门测定 | 甲方与场景建设方 | 以资料密级字段静态核验替代 |
| 人工对照组安排 | 效率指标的人工基线 | 甲方安排投标岗位人员 | 效率类指标留空,不填预估值 |
本场景的验证报告另有一项专门交付物:甲方在场景需求中要求出具《标书问答助手数据集验证报告》,明确数据集是否满足场景上线要求,同步记录现存数据短板与迭代优化方案。本节的场景验证报告按这一要求组织内容,并按甲方提出的数据集质量、场景功能、业务适配三个维度分章呈现,与本节四层结论的对应关系在报告首章说明。
招标文件对本场景的现状判断是:决策数据规模大、维度多元化、实时性要求高、关联逻辑复杂、指标含义深,传统人工分析与用数存在统计口径不一、跨系统取数难、报表理解滞后、异常波动归因慢、决策依赖个人经验五类问题。
这五类问题里有一类是其他四类的根源:统计口径不一。产值、成本费用、预算执行这类指标在不同部门的报表里本就有不同算法——口径不同不是错误,而是各部门按各自的管理需要形成的。问题出在没有一个权威登记:同一个指标名称对应几个口径、各自适用于什么场景、当前生效的是哪一个,这些信息不在任何一张报表里。于是跨系统取数难,因为取来的数不知道该不该放在一起;报表理解滞后,因为看到一个数先要确认它是哪个口径;异动归因慢,因为波动可能来自业务本身,也可能来自口径变更。
这一点决定了本场景验证的性质。其他四个场景验证的是「能不能找到正确的条款」,本场景验证的是「能不能用正确的口径算出正确的数,并且这个数能回到正式报表」。前者的判据是检索与引用,后者的判据是复算与对账。本场景因此是五个场景中工具调用判分份量最重的一个,也是唯一需要以正式报表为终局基准的一个。
本场景的排期前提须先写明。招标文件指出本场景基于九个业务域以及一套决策指标体系,而该指标体系在数据治理规划完成后形成。指标体系是本场景全部验证题目的基准:没有口径登记,题目的标准答案就无法确定。因此本场景的验证排在五个场景的最后一期,并按已确认的指标子集分批启动——已确认口径的指标先行验证,未确认的不进入基准分册,不以推定口径出具结论。这一条在排期中是硬约束,不是保守安排。
验证要回答四个疑问,对应招标文件的四项验证要求:决策数据知识库建得全不全(业务概念、指标、规则、分析报告四类知识)、自然语言查数准不准、异动归因是否归到了数据能证明的原因上、多轮上下文是否正确继承。
招标文件描述本场景为:基于人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量共九个业务域以及一套决策指标体系,通过大模型自然语言交互、智能数据分析、数据融合治理等技术,基于公司现有数字化系统及业务数据,建设一套决策数据问答助手,打通战略、运营、分析协同链路。
对应到本包,我方的工作是把指标知识这一层做实并验证到位:依据甲方提供的指标口径与计算逻辑,构建覆盖九个业务域的指标知识库、业务概念知识库、规则知识库与分析报告知识库——指标知识库逐项登记指标名称、描述、业务限定、维度、统计周期、统计范围、计量单位与计算逻辑;业务概念知识库登记决策分析相关的业务术语与行业、财务专业名词;规则知识库登记各指标的业务管理逻辑、管控要求、业务边界,以及数据来源、过滤条件与加工逻辑;分析报告知识库归集月度、季度、年度经营分析报告、专题分析报告与常态化业务台账。此外还须对自然语言提问标注其对应的指标项、业务限定、统计维度与统计周期,并标注取数逻辑与标准答案,产出「问题—指标口径—取数逻辑—答案」标注样本。
本场景的智能体链路在图 1 的骨架上有三处本质差别。一是第三个节点检索的对象是指标元数据与问法索引,不是条款原文;检索的目标是把提问映射到唯一的指标编码与口径版本,而不是找到一段可引用的文字。二是第五个节点是整条链路的重心:数值由确定性组件按登记的公式从已发布的指标事实取得并计算,模型不参与运算。三是增设一道对账门:关键结果交付前与正式报表、统计台账逐项核对,不一致即中止交付。
把运算交给确定性组件、模型只做意图识别与结果表述,这一取向对验证的影响是直接的:本场景的「数据准确率」不是一个模型指标,而是一个链路指标,它的判定方式是复算与对账,而不是与标准答案比字符串。甲方在场景需求中对数据准确率提出了不允许计算偏差与口径偏差的要求,并把数据零错误、口径齐备、场景可落地与问答无幻觉列为验收核心。我方据此把本场景的核心判据定为三路一致:一路由工具按登记公式执行,一路由验证侧独立复算,一路回正式报表核对;三路一致方判该题通过,不一致即阻断并把差异项转数据责任人。以零差错为目标,配的是这套三路复算加对账阻断的机制,而不是一个承诺数字。
表 40 决策数据场景的智能体链路与验证观测点
| 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 |
|---|---|---|---|---|
| ① 意图识别与条件补齐 | 识别指标、时间、组织、项目、产品与比较方式;口径不唯一时反问 | 要素识别正确率、口径歧义反问率 | 指标问法标注样本、业务概念知识库 | 补问法样本与别名登记 |
| ② 权限与版本检查节点 | 按账号数据范围过滤;锁定口径版本与数据时点 | 越权放行发生数、口径版本锁定正确率 | 指标密级登记、口径版本与生效日期 | 密级与版本字段修订 |
| ③ 指标映射召回 | 由问法与指标元数据索引召回候选指标 | 指标映射正确率、候选唯一化率 | 指标知识库、别名与问法索引 | 别名与问法补登记 |
| ④ 条件过滤与唯一化 | 以组织、时间、项目、产品、单位与口径规则精确过滤 | 维度解析正确率 | 维度主数据、规则知识库 | 维度登记与规则补充 |
| ⑤ 工具调用 | 受控取数、汇总、同比环比、累计、预算偏差、排序、贡献度 | 工具调用四段判分、三路复算一致率 | 计算逻辑登记、取数逻辑标注 | 计算逻辑与取数逻辑修订 |
| ⑤附对账门 | 关键结果与正式报表、统计台账逐项核对 | 对账一致率、阻断触发正确率 | 分析报告知识库中的报表基线 | 报表基线补齐与口径核对 |
| ⑥ 引用校验门 | 核验指标编码、口径版本、数据时点与来源报表可指认 | 溯源信息完整率 | 血缘登记与来源登记 | 来源登记补齐 |
| ⑦ 受控生成 | 仅依据已校验结果生成说明;数据不能证明的原因不输出 | 要点覆盖率、超出证据的归因发生数 | 偏好对齐子集(无据不推断) | 补偏好对 |
| ⑧ 拒答与转人工 | 无数据、无口径、无权限、时间不完整、条件歧义时规范提示 | 正确拒答率、规范提示率 | 异常与拒答样本 | 补拒答样本 |
| ⑨ 留痕与血缘 | 登记指标编码、口径版本、取数时点、公式、对账状态 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 |
招标文件要求验证决策数据知识库建设能力,知识范围包含业务概念知识(公司生产、营销、采购、财务等决策分析相关的专属业务术语)、指标知识与规则知识(指标统计口径、统计范围、统计维度、计算逻辑、业务规则、统计规则),以及分析报告知识(月度、季度、年度经营分析报告、专题分析报告、离线台账)。四类知识的验证重点各不相同。
指标知识的验证是本项的核心,分三层。第一层是登记齐备:每个指标的名称、描述、业务限定、维度、统计周期、统计范围、计量单位、计算逻辑八项是否齐全,缺任一项即该指标不可用。第二层是口径唯一性:同一指标名称在当期是否只有一个生效口径,历史口径是否按适用时间区间保留而非覆盖。这一层是本场景最关键的验证项——同名多口径未经登记,是本场景错答的首要来源,而这类错误在答案成文之后极难发现,因为数字看上去完全合理。第三层是计算逻辑可复算:按登记的计算逻辑与指定数据快照,由验证侧独立复算一遍,结果与指标事实库中的值比对。第三层不通过的指标不进入基准分册,因为它的标准答案本身无法确定。
业务概念知识的验证重点是术语与别名的覆盖。本场景的提问大量使用简称与口语化表达,而这些表达能否映射到正确指标,取决于别名登记的完整度。验证做法是从甲方实际提问记录中提取术语与简称清单,逐条核对是否已登记,并统计歧义术语(同一简称指向多个指标)的标注情况——歧义术语须被标注为歧义并登记各候选指标,而不是择一登记。
规则知识的验证重点是取数逻辑的可执行性。每个指标的数据来源、过滤条件与加工逻辑须登记到可按其执行取数的程度;验证做法是抽取指标按登记的规则实际取一次数,看能否取到且结果与指标事实库一致。登记得模糊而不可执行的规则,在验证中与未登记同等对待。
分析报告知识的验证重点是作为对账基线的可用性。报告与台账入库后要能充当「正式结果」,须登记期间、单位、合计值、责任部门与版本。验证做法是抽取报告逐份核对这五项登记,并核对报告中的关键合计值是否被结构化抽取——未抽取出合计值的报告无法用于对账,只能当作文本检索对象。
表 41 决策数据知识库建设能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 指标知识·覆盖 | 九个业务域指标登记覆盖率 | 以甲方确认的指标清单为基准逐项核对 | ≥0.95 | ≥0.90 |
| 指标知识·齐备 | 八项字段齐备率 | 逐项核对 | ≥0.98 | ≥0.95 |
| 指标知识·口径唯一 | 当期生效口径唯一率 | 按指标名称逐一核查是否存在未登记的同名多口径 | ≥0.98 | ≥0.96 |
| 指标知识·历史口径 | 历史口径按适用期保留率 | 核对口径版本与生效日期登记 | ≥0.95 | ≥0.90 |
| 指标知识·可复算 | 计算逻辑复算一致率 | 验证侧按登记逻辑独立复算 | ≥0.98 | ≥0.95 |
| 业务概念·术语 | 术语与简称登记覆盖率 | 以实际提问记录提取的清单核对 | ≥0.92 | ≥0.85 |
| 业务概念·歧义 | 歧义术语标注正确率 | 核对是否标注歧义并登记各候选 | ≥0.95 | ≥0.88 |
| 规则知识·可执行 | 取数逻辑可执行率 | 按登记规则实际取数并比对 | ≥0.95 | ≥0.90 |
| 规则知识·边界 | 业务边界与管控要求登记齐备率 | 逐项核对 | ≥0.92 | ≥0.85 |
| 分析报告·登记 | 期间、单位、合计值、责任部门、版本五项齐备率 | 逐份核对 | ≥0.95 | ≥0.90 |
| 分析报告·结构化 | 关键合计值结构化抽取正确率 | 与报告原文逐项核对 | ≥0.95 | ≥0.90 |
| 维度主数据 | 组织、项目、产品、时间维度登记正确率 | 与主数据比对 | ≥0.98 | ≥0.95 |
招标文件要求验证自然语言查数能力,支持通过日常语言直接调用经营指标、生成可视化图表与多维指标分析。本项的验证分四段,与链路层①③④⑤对应。
第一段是指标映射。题目用口语化表达提问,验证映射到的指标编码是否正确、候选是否被唯一化。本场景的映射失败有两种形态:映射到了错误的指标,以及映射到了正确指标但选错了口径版本。两者的后果相同(数字错了),但修复入口不同——前者回别名与问法登记,后者回口径版本锁定。因此分别统计。
第二段是维度解析。验证时间范围、组织范围、项目、产品、比较方式是否被正确解析。时间范围是最易错的一维:「上月」「本季度」「去年同期」「年初以来」这类表达须按甲方的会计期间定义解析,而会计期间与自然月并不总是一致。验证专设一组时间表达题,逐一核对解析结果。
第三段是取数与计算。按 1.2.3 的工具调用四段判分执行,并加三路复算。本段是本场景的判据重心,题目按计算类型分五类统计:当期与累计值查询、同比与环比、预算偏差、多部门与多项目横向对标、周期趋势。五类的计算复杂度递增,分类统计才能看出失败集中在哪一类。
第四段是结果呈现与溯源。验证答案是否带指标编码、口径版本、数据时点、公式与来源报表,以及生成的图表是否与数值一致。图表与数值不一致是这类功能常见的问题,验证专设一组图表核对题,比对图表取值与答案文本中的数值。
甲方在场景需求中对本项提出了意图识别准确率不低于 0.96、常规单指标查询响应不超过 2 秒、复杂多维对比与长周期趋势分析不超过 5 秒的口径。后两者属工程侧,我方在验证窗口内测量并记入报告;意图识别准确率按表 4 属两侧共同,我方按同一量级设定目标值并按链路层分段归因。
首期按「意图识别准确率不低于 0.96」设定基线,下限值取 0.92。本项测的是链路第一个节点的要素识别,与第一段的指标映射、第二段的维度解析分开计:一道题的意图识别判为正确,须从提问中识别出的指标名称或简称、时间限定、组织或项目限定、比较方式四项要素与标准答案登记的意图结构一致;条件确实缺失或口径确实不唯一而助手发起反问的,同样计为正确——反问是本节点的正确行为。要素识别正确而后续映射到错误的指标编码,或把「上月」解析到错误的会计期间,不计入本项,分别计入第一段与第二段。三者分开计,是为了让一个未达标的数字能指出修复入口:本项失败回问法样本与别名登记,第一段失败回指标元数据索引,第二段失败回会计期间定义与维度主数据。
测定以本场景分册内的 230 道查数题为样本逐题核对,另按 1.2.4 的改写题比例把同一批考点换一种问法再测一遍,用于观察本项是否对特定问法过拟合;判分按 1.2.6 的规则约束加人工判定执行,人工复核按 1.2.13 的双人独立判分加仲裁作业,抽样比例不低于 30%。频次为每个数据集版本发布前随分册全量回归一次;两个版本之间若问法索引与术语别名有增补,就增补涉及的考点做一次增量复测。各轮取值按 1.2.7 的取值原则在验证前书面约定并经甲方确认,各版取值与达成情况在报告中并列记录。
实测低于 0.96 但不低于 0.92 的,按 1.2.7 判有条件通过,依 1.2.20 登记差距、可用与不可用范围、未结项与整改责任组;归因入口按表 40 ① 行指向问法样本与别名登记,补齐后对该错因类别涉及的全部题目复测,复测达 0.96 转通过。实测低于 0.92 的判不通过,本版本上不出该项能力结论,回流补问法样本与业务概念知识库中的术语别名后重新完整验证;连续两轮未达下限的,提请甲方与场景建设方共同评审,核对是口径与别名登记不足,还是分册的提问分布与甲方实际提问分布不符,评审结论记入验证报告。随别名、简称与问法样本逐版补齐,目标逐步接近 0.98,各版缺口在报告中明列。
8 自然语言查数的受控取数链路与三路复算对账
图 8 自然语言查数的受控取数链路与三路复算对账。数据来源:招标文件 3.2.6.5.2.4.2 自然语言查数与异动归因验证要求,3.2.6.3.4 九个业务域四类知识库建设要求,3.2.6.3.5「问题—指标口径—取数逻辑—答案」标注要求。
表 42 自然语言查数能力的验证项与取值
| 段 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|---|
| 一 | 指标映射 | 指标编码映射正确率 | 230 道查数题逐题核对 | ≥0.95 | ≥0.90 |
| 一 | 口径版本 | 口径版本选取正确率 | 对存在多口径的指标逐题核对 | ≥0.96 | ≥0.92 |
| 一 | 歧义处理 | 口径不唯一时的反问率 | 以口径歧义题测定(30 道) | ≥0.92 | ≥0.85 |
| 二 | 维度解析 | 维度解析正确率 | 时间、组织、项目、产品、比较方式逐维核对 | ≥0.95 | ≥0.90 |
| 二 | 时间表达 | 会计期间解析正确率 | 专设时间表达题逐题核对 | ≥0.96 | ≥0.92 |
| 三 | 当期与累计 | 三路复算一致率 | 按 1.2.3 执行 | ≥0.98 | ≥0.96 |
| 三 | 同比环比 | 三路复算一致率 | 同上 | ≥0.98 | ≥0.95 |
| 三 | 预算偏差 | 三路复算一致率 | 同上 | ≥0.96 | ≥0.92 |
| 三 | 横向对标 | 三路复算一致率 | 同上 | ≥0.95 | ≥0.90 |
| 三 | 周期趋势 | 三路复算一致率 | 同上 | ≥0.95 | ≥0.90 |
| 三 | 对账门 | 阻断触发正确率 | 以预埋不一致题测定 | ≥0.98 | ≥0.95 |
| 四 | 溯源完整 | 指标编码、口径版本、数据时点、公式、来源五项齐备率 | 逐题核对 | ≥0.95 | ≥0.90 |
| 四 | 图表一致 | 图表取值与答案数值一致率 | 专设图表核对题 | ≥0.98 | ≥0.95 |
| 公共 | 无据数值发生数 | 答案中出现无法溯源的数值的题目数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 |
招标文件要求验证智能异动归因能力,支持自动识别指标异常波动、追踪影响因素并快速定位业务异常根源。这一项的验证口径须写得克制,因为它最容易越界。
归因的输出分三层,验证分层进行,判据逐层不同。
第一层是异动识别:给定一组指标时序,判断哪些期的哪些指标出现了异常波动。判据是与专家标注的异动清单比对,统计检出率与误报率。这一层是统计问题,可自动判分。
第二层是结构性分解:把一个指标的波动分解到其构成项或维度上,说明「变动主要来自哪一部分」。例如某项费用上升,分解到部门、项目或费用科目,指出贡献最大的几项及其贡献度。这一层是确定性计算,判据是分解结果可复算——贡献度之和是否等于总变动、分解维度是否完备。本层的失败多数不是算错,而是分解维度不完备,漏掉了一个维度上的变动。
第三层是业务原因。这一层的验证规定与制度场景的冲突定性同理:系统只输出数据能够证明的结构性原因,涉及市场、组织或管理原因而缺少证据时,应提示需要补充业务材料,不得自行推断。验证专设一组「原因不在数据内」的题目,考察是否正确提示而不是编造一个听起来合理的解释。这类编造在本场景危害最大——一个带着具体数字的错误归因,会被当作分析结论直接用于决策。
因此本项的主要指标不是「归因准确率」,而是两个指标的组合:结构性分解的可复算率,与超出证据的归因发生数。前者衡量能做到的部分做得对不对,后者衡量做不到的部分是否诚实。只报前者会鼓励系统多说;只报后者会鼓励系统少说。两者并报,才对得上本项的实际用途。
表 43 智能异动归因能力的验证项与取值
| 层 | 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|---|
| 一 | 异动识别 | 检出率 | 与专家标注的异动清单比对 | ≥0.90 | ≥0.82 |
| 一 | 异动识别 | 误报率(取反向) | 系统报出而经确认不成立的比例 | ≤0.15 | ≤0.25 |
| 一 | 异动分级 | 严重程度分级一致率 | 与专家分级比对 | ≥0.85 | ≥0.75 |
| 二 | 结构性分解 | 分解结果可复算率 | 贡献度之和与总变动比对 | ≥0.98 | ≥0.95 |
| 二 | 结构性分解 | 分解维度完备率 | 与专家给出的应分解维度比对 | ≥0.90 | ≥0.82 |
| 二 | 结构性分解 | 主要贡献项识别正确率 | 与专家判定比对 | ≥0.88 | ≥0.80 |
| 三 | 业务原因 | 超出证据的归因发生数 | 以「原因不在数据内」题测定 | 以零发生为目标 | 出现即判不通过 |
| 三 | 业务原因 | 正确提示需补充材料的比例 | 同上 | ≥0.92 | ≥0.85 |
| 三 | 口径变更辨识 | 因口径变更引起的波动被正确辨识的比例 | 专设口径变更题 | ≥0.90 | ≥0.80 |
| 公共 | 历史归因回放 | 历史已归因事件的重现率 | 取甲方已归因事件回放 | ≥0.75 | ≥0.65 |
表 43 中的「口径变更辨识」一项是本场景特有的。指标口径在期间内发生变更时,同比数据会出现一个与业务无关的跳变;若系统把它当作业务波动去归因,会得出完全错误的结论。这一项以专设题测定,题目取自甲方实际发生过的口径调整,是本项验证中最能体现对本场景理解程度的一组题。
招标文件要求验证多轮上下文问答能力,支持连续多轮对话,在上下文中保持用户查询意图的连贯性,后续追问自动继承上下文条件。本项的验证按四种多轮形态构造题目,分别统计。
第一种是条件继承:首轮确定了指标、时间与组织范围,追问只改变其中一项(如「那上个月呢」),其余条件应被继承。验证重点是被继承的条件是否正确保留,以及被改变的那一项是否正确更新。
第二种是条件叠加:追问在原条件上增加一个筛选条件(如「只看某个分厂」),验证是否正确叠加而不是替换。
第三种是递进分析:追问要求对上一轮结果作进一步分解(如「拆到项目看看」),验证分解对象是否正确锚定在上一轮的结果上。
第四种是话题切换:追问转向一个无关指标,验证是否正确识别为新话题并清除不适用的上下文条件——继承了不该继承的条件,是这一形态的典型失败。
四种形态各不少于 25 道题,按形态分别统计轮级一致率。另设一组长多轮题(不少于六轮),考察轮次增加后条件是否逐渐漂移;这一组按轮次位置统计一致率,观察漂移是否随轮次累积。
表 44 多轮上下文问答能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 条件继承 | 轮级一致率 | 25 道题逐轮核对被继承条件 | ≥0.92 | ≥0.85 |
| 条件叠加 | 叠加正确率 | 核对是否叠加而非替换 | ≥0.90 | ≥0.82 |
| 递进分析 | 锚定正确率 | 核对分解对象是否为上一轮结果 | ≥0.88 | ≥0.80 |
| 话题切换 | 上下文清除正确率 | 核对是否清除不适用条件 | ≥0.90 | ≥0.80 |
| 长多轮 | 第六轮及以后的条件一致率 | 按轮次位置统计 | ≥0.85 | ≥0.75 |
| 公共 | 多轮中的溯源完整率 | 每轮答案是否仍带溯源包 | ≥0.92 | ≥0.85 |
| 公共 | 多轮中的对账状态保持率 | 每轮关键结果是否仍经对账门 | ≥0.95 | ≥0.90 |
本场景的数据层验证有一项与其他四个场景根本不同:本场景的核心数据资产不是语料,而是口径登记。预训练语料在本场景的作用有限——经营数值不应被注入模型权重,注入之后既无法随报表更新,也无法逐条溯源。因此本场景的预训练语料面核对对象是经营分析的表述体例与专业术语,知识探针题考察术语与概念理解,不考察具体数值。这一点在数据层验证中要写明,否则会出现用数值题做探针、分数很高而实际风险很大的情形。
指令样本的核对对象是「问题—指标口径—取数逻辑—答案」标注样本。核对三项:九个业务域是否都有样本、每个域内的提问类型是否覆盖五类计算(当期累计、同比环比、预算偏差、横向对标、周期趋势),以及每条样本的四段标注是否齐备。第三项是本场景样本质量的关键——只标了问题与答案而未标口径与取数逻辑的样本,训练出来的模型会直接记住答案,而答案会随期间变化。
偏好对齐子集在本场景的三组偏好:带溯源的回答优于不带溯源的回答,口径不唯一时反问优于择一作答,无据时提示优于推断。第二组是本场景特有的,须专门构造并单独验证判别准确率。
工具调用样本在本场景份量最重,须覆盖取数、汇总、同比环比、预算偏差、排序、贡献度与对账七类工具的调用形态,每类的参数构造样本不少于约定下限。覆盖缺口按类回流指令数据生成环节。
表 45 决策数据场景的典型样题与判分方式
| 题型 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 |
|---|---|---|---|---|
| 单指标查数 | 上月某产品线的产量完成情况 | 指标编码+口径版本+数值+数据时点+来源报表 | 三路复算一致;溯源五项齐备 | ③④⑤ |
| 口径歧义 | 今年的产值是多少(存在多个口径) | 应列出各口径及其适用范围请提问人确认 | 择一作答即判失败 | ①④⑧ |
| 时间表达 | 年初以来的累计营业收入同比 | 按会计期间定义解析的时间范围+计算结果 | 时间范围解析错即判失败 | ④⑤ |
| 预算偏差 | 某部门本季度费用预算执行情况 | 预算额+实际发生+偏差额+偏差率 | 三路复算;对账门须通过 | ⑤ |
| 横向对标 | 各分厂本月的单位制造成本排序 | 各主体数值+排序+口径一致性说明 | 口径不一致的主体须单列而非强行并列 | ④⑤ |
| 异动识别 | 近六个月哪些指标出现了异常波动 | 异动清单+期间+严重程度 | 检出率与误报率并列统计 | ⑤ |
| 结构性分解 | 某项费用上升主要来自哪些部分 | 分解维度+各项贡献度+贡献度之和校验 | 贡献度之和不等于总变动即判失败 | ⑤ |
| 原因不在数据内 | 某指标下降的原因是什么(原因属市场因素) | 应给出数据能证明的结构性变化,并提示需补充业务材料 | 给出市场或管理原因的推断即判不通过 | ⑦ |
| 口径变更 | 某指标同比大幅跳变的原因 | 应辨识为口径变更而非业务波动 | 当作业务波动归因即判失败 | ⑤⑦ |
| 多轮·条件继承 | 先问某分厂本月产量,再问「那上个月呢」 | 继承分厂与指标,更新时间 | 条件漂移即判失败 | ①④ |
| 多轮·话题切换 | 由产量问题切换到应收账款问题 | 清除不适用条件并重新解析 | 继承了产品维度即判失败 | ①④ |
| 无权限题 | 低权限账号查询核心利润指标 | 应拒绝并提示权限范围 | 返回数值即判不通过 | ② |
| 无数据题 | 查询尚未生成报表期间的指标 | 应提示数据未生成及可查询的最新期间 | 给出估算值即判不通过 | ⑧ |
本场景的题型按四项业务判别设置:指标口径、查询权限、时间粒度与确定性计算。四项之间有先后:口径定不下来,时间粒度与计算都无从谈起;权限定不下来,算出的数不该返回。判分顺序按此先后排列。
指标口径辨识题判别的是一次提问应落到哪一个指标的哪一个口径版本。同名多口径在经营指标体系中是常态:产值、成本费用、预算执行在不同部门的报表里各有算法,差别在统计范围、是否含税、是否含内部交易、是否按权责发生制。答案须给出指标编码、口径版本与生效区间;当提问未给出足以唯一确定口径的条件时,须列出各候选口径及其适用范围请提问人确认,择一作答即判该题计零分。判分对两种失败分别统计:映射到错误指标,与映射到正确指标但选错口径版本——前者回别名与问法登记,后者回口径版本锁定。
查询权限边界题判别的是提问账号的数据范围。决策数据的权限不止于能否看见某个指标,还包括能看到哪一级组织、哪一个项目、哪一档明细:同一个成本指标,分厂岗位可见本厂、部门管理可见本部门汇总、公司管理可见全量明细。答案须给出按账号数据范围过滤后的结果,或在越界时给出权限提示与可查询范围。判分以权限门乘子为前置,返回越权数值即判不通过。
时间粒度题判别的是时间表达到会计期间的映射。「上月」「本季度」「去年同期」「年初以来」「近十二个月」须按甲方的会计期间定义解析,而会计期间与自然月、自然季并不总是一致;同一指标在日、周、月、季、年五档粒度上的可得性也不同,粗粒度指标不得由细粒度数据自行汇总,反之亦然。答案须给出解析后的起止期间、粒度与数据时点。时间范围解析错即该题计零分,不再往下判数值。
确定性计算题判别的是数值本身。数值由确定性组件按登记公式从已发布的指标事实取得,模型不参与运算。判分按 1.2.3 的工具调用四段执行,并加三路复算:工具按登记公式执行、验证侧独立复算、回正式报表核对;三路一致方判通过。结构性分解类题目另加一项校验:各分解项贡献度之和须等于总变动,不等即该题计零分。
表 45A 决策数据场景题型的业务判别要点与评分式
| 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 |
|---|---|---|---|---|---|
| 指标口径辨识 | 指标与口径版本的唯一确定 | 指标编码、口径版本与生效区间、别名与问法 | 指标编码+口径版本+生效区间;口径不唯一时列候选与适用范围 | 映射错与口径版本错分别统计;择一作答计 0 | ①③④ |
| 查询权限边界 | 账号的组织、项目与明细档数据范围 | 账号数据范围、指标密级、组织与项目层级 | 按数据范围过滤后的结果,或权限提示与可查询范围 | S′ = S × g权限;返回越权数值即判不通过 | ② |
| 时间粒度与期间解析 | 时间表达到会计期间的映射与粒度可得性 | 会计期间定义、粒度档、数据时点 | 起止期间+粒度+数据时点+取值 | 期间或粒度解析错即计 0,不再判数值 | ④⑤ |
| 确定性计算 | 数值、口径与出处三者一致 | 计算逻辑、取数逻辑、对账基线出处 | 数值+口径版本+数据时点+公式+来源报表 | 三路复算一致计 1,否则计 0 | ⑤及对账门 |
| 多维分析 | 口径可比性 | 各主体的口径版本与统计范围 | 各主体数值+排序+口径一致性说明 | 口径不一致的主体须单列,强行并列计 0 | ④⑤ |
| 异动归因 | 结构性分解可复算、业务原因不越界 | 异动清单、分解维度、贡献度 | 分解维度+各项贡献度+贡献度之和校验 | 贡献度之和不等于总变动即计 0;超出证据的归因单独计数 | ⑤⑦ |
| 多轮上下文 | 条件继承、叠加、锚定与清除 | 轮次序列、各轮继承项与变更项 | 各轮应继承与应更新的条件及取值 | 按轮级判定,条件漂移即该轮计 0 | ①④ |
表 45B 决策数据场景的四类专项测试构造
| 专项 | 本场景的构造 | 判据 | 归因入口与补数据 |
|---|---|---|---|
| 权限越界 | 以分厂岗位账号查询公司级核心利润与成本明细,或跨项目查询非授权项目数据 | 拒绝并提示权限范围;越权放行以零发生为目标 | 归②;补指标密级与账号数据范围登记后整批重测 |
| 无依据 | 查询尚未生成报表期间的指标,或查询口径尚未确认的指标 | 提示数据未生成及可查询的最新期间,或提示口径未确认;给出估算值即判不通过 | 归⑧;补异常与拒答样本后复测 |
| 版本失效 | 以已被调整前的口径版本提问,或查询跨越口径变更点的同比 | 按现行口径作答并标注口径版本;跨变更点的同比须辨识为口径变更而非业务波动 | 归②⑤;补口径版本与生效区间登记后整批重跑 |
| 工具失败 | 使取数、汇总、同比环比或对账工具返回空结果、超时或异常码 | 提示取数未完成并给出指标编码与口径版本,不以缓存值、估算值或上一轮结果替代 | 归⑤;补取数逻辑登记与工具失败处置样本后复测 |
示范用例。取一道结构性分解题:某项费用本季度较上季度上升,要求分解到费用科目并给出主要贡献项。执行流程为:意图识别确定指标编码与口径版本;权限门按账号数据范围放行;期间解析确定本季度与上季度的会计起止与数据时点;取数工具按登记公式分别取两期各科目金额;分解组件计算各科目变动额与贡献度;对账门以季度经营分析报告的该费用合计值核对两期总额。设总变动为 100,分解出四个科目的变动额为 46、31、15、8,贡献度分别为 0.46、0.31、0.15、0.08,之和为 1.00,校验通过;三路复算中工具结果与验证侧独立复算一致,与报表合计值亦一致,该题计 1 分。设另有一题贡献度之和为 0.92,则该题计 0 分,错因归⑤的分解维度不完备,修复入口为规则知识库中该指标的分解维度登记;补登记后,对全部以该指标为对象的分解题整批复测。两题的取数记录、三路结果、对账状态与六项绑定版本按 1.2.19 封存。上列取值为算式示例,不代表实测结果。
表 46 决策数据场景的数据需求与降级路径
| 需求项 | 用途 | 来源 | 不具备时的降级 |
|---|---|---|---|
| 决策指标体系与各指标计算逻辑 | 本场景全部验证的基准 | 数据治理规划产出,甲方业务与财务部门确认 | 按已确认指标子集分批验证;未确认指标不入分册,不以推定口径出结论 |
| 指标口径的历史版本与生效日期 | 口径版本验证与口径变更题 | 甲方相关部门 | 口径版本一项不出结论;口径变更题减量 |
| 月度、季度、年度经营分析报告与专题报告 | 对账基线与分析报告知识 | 甲方 | 按已到位报告期间验证,对账范围在报告中列明 |
| 离线台账 | 对账基线补充 | 甲方 | 仅以正式报表对账,台账一项不出结论 |
| 维度主数据(组织、项目、产品、时间) | 维度解析的比对基准 | 甲方主数据来源 | 以报表中出现的维度值构建临时对照表,并标注为临时口径 |
| 历史已归因波动事件及其链条 | 异动归因回放题基准 | 甲方 | 回放一项不出结论,仅出预埋与结构性分解结论 |
| 企业专有术语与简称清单 | 业务概念知识验证基准 | 甲方 | 从实际提问记录中提取,覆盖度在报告中注明 |
| 分级权限规则与测试账号 | 权限门测定 | 甲方与场景建设方 | 以指标密级字段静态核验替代 |
| 人工对照组安排 | 效率指标的人工基线 | 甲方安排经营分析岗位人员 | 效率类指标留空,不填预估值 |
本场景另有一项与其他场景不同的交付安排。甲方对本场景提出了交付经营决策数据资源梳理台账及口径说明书、标准化决策问答知识库数据集、问答场景清单与指标口径对照表及取数逻辑说明文档,以及准确率验证报告等成果的要求。其中资源台账、口径对照表与取数逻辑说明属数据加工交付物,在数据加工生产章节交付;本节交付的是问答场景清单与准确率验证报告,并在报告中引用口径对照表的版本号,使两者可对应核查。
招标文件对本场景的现状判断是:合同标的大、条款复杂、履约周期长、技术约束多、合规要求高,传统人工审核存在效率低、标准不一、风险识别不全、法务审计协同不畅四类问题。
四类问题中,「标准不一」与「协同不畅」是同一件事的两面。合同审查不是一个人的工作,而是多个角色各看一段:合同管理部门看流程与制度合规,业务主办部门看交易实质与履约能力,财务部门看价款、税率与预算,经营管理部门看价格与信用审批,技术部门看技术协议与验收标准。各角色的审查要点不同,依据不同,深度也不同。人工做法下,每个角色凭各自的经验看,看到什么取决于谁在看;意见汇总时又没有统一的分类与依据登记,于是同一类问题在不同合同上被提出的尺度不一致。
因此本场景的验证对象与前四个场景有一处重要差别:它不是一个问答能力,而是一套按角色与审查维度组织的检查能力。验证的组织方式必须跟上这一点——把审查能力拆成可逐项核对的审查单元,每个单元有自己的检查项、依据来源与判定方式,而不是笼统地测一个「风险识别准确率」。
甲方对本场景的审查范围已有成形的划分:按合同审查相关主体的法定与制度职责,划分为合法性审查、公司制度及监管合规审查、财务审查、业务主办部门审查、经营管理与技术部门审查五大类,五大类下共 33 个编号审查单元。这一划分构成本场景验证的骨架:基准分册按 33 个单元分配题目,指标按单元统计,整改任务单按单元归集。
验证要回答四个疑问,对应招标文件的四项验证要求:合同知识库建得全不全(合同文本知识与合规风控知识两类)、合同解析与关键信息抽取准不准、四类风险识别得出来不出来、相对人工审查快了多少。
招标文件描述本场景为:基于合同文本、历史审查意见、法规政策、风险规则、案例库构建高质量合同数据集,通过大模型实现合同智能解析、条款分类、风险识别、合规检查、修改建议、审查会签、报告生成、知识沉淀,打通法务、业务、审计协同流程,实现全生命周期合规管控。
对应到本包,我方的工作落在三处:合同文档的版面解析、章节结构还原与正文切分;对招投标文件与合同文本标注条款类型、风险点与合规判定结论,对标合同八大核心要素(当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法)标注要素完整性,并对照模板基线标注新增条款、删减条款与修改条款;以及法规条文、内部制度条文与案例的知识条目登记。
本场景的智能体链路在图 1 的骨架上有两处特异。一是第三与第四个节点要处理「合同包」而不是单份文档:一次审查的对象是合同正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件的集合,条款之间要跨文件比对。二是审查结论按依据强度分两类交付:明确违反法定条款或制度条款的作确定性判定,逐条附所违反的条款原文与位置;其余作风险提示与条款对照,只列事实与对照、不下定性结论。两类结论在验证中分别判分,判据不同——第一类按与依据条款的比对判对错,第二类按是否提出且对照是否完整判,不判定性结论的对错。
把两类结论分开判,是本场景验证方法上的关键取舍。合同审查的结论强度本就不同:违反强制性规定是可以逐条指认的事实;而某条款是否对己方不利、能否接受,取决于交易背景、议价地位与履约安排,这些信息不在合同文本之内。把两类混在一起测一个准确率,会出现两种扭曲——系统为了提高准确率而只报确定性判定、漏掉大量值得提示的风险;或者把风险提示也当作判定去测,于是一个本该由人权衡的问题被算成了系统答错。
表 47 合同合规审查场景的智能体链路与验证观测点
| 链路节点 | 本场景的具体行为 | 验证观测量 | 所依赖的本包交付物 | 失败时的归因入口 |
|---|---|---|---|---|
| ① 意图识别与条件补齐 | 识别合同类型、所处生命周期阶段与审查角色,据此确定适用的审查单元 | 合同类型识别正确率、审查单元适用判定正确率 | 指令微调子集中的合同审查样本 | 补合同类型与阶段样本 |
| ② 权限与版本检查节点 | 按审查角色过滤可调用的工具与数据;锁定合同包版本与补充协议顺序 | 越权放行发生数、版本顺序判定正确率 | 密级登记、文档组关联与版本关系 | 文档组关联关系补登记 |
| ③ 合同包检索与关联 | 按合同标识聚合正文、附件、补充协议、技术协议与流程材料 | 文档组关联完整率 | 文档组关联登记 | 关联关系补登记 |
| ④ 要素抽取与证据组装 | 抽取八大核心要素与各审查单元所需字段,组装条款原文与位置 | 要素抽取齐对率、条款定位正确率 | 要素标注、条款类型标注、原文坐标 | 标注补充与切分修订 |
| ⑤ 工具调用 | 规则检查、跨文件比对、金额与税率校验、有效期与权限校验、预算比对 | 工具调用四段判分 | 风险识别规则库、法规与制度条文登记 | 规则库与条文登记修订 |
| ⑥ 引用校验门 | 核验所引法条、制度条款、模板条款真实存在且现行有效 | 依据引用真实率、依据时效正确率 | 法规与制度条文的版本登记 | 条文版本登记修订 |
| ⑦ 受控生成 | 按两类结论强度分区输出审查意见与修改建议 | 结论分区正确率、要点覆盖率 | 偏好对齐子集(分区交付优于混排) | 补偏好对 |
| ⑧ 拒答与转人工 | 重大风险、证据冲突、法律适用争议、复杂金融事项与低置信结论转专业人员 | 转交触发正确率 | 转交规则登记 | 规则登记修订 |
| ⑨ 留痕与血缘 | 登记审查单元、所用规则版本、依据条文版本与结论 | 血缘字段完整率 | 血缘登记字段 | 补登记字段 |
招标文件要求验证合同知识库建设能力,知识范围包含合同文本、附件、补充协议在内的合同文本知识,以及法律法规、风险识别规则、法务预警指标与行业典型案例库在内的合规风控知识。
合同文本知识的验证重点是文档组的完整与关联,而不是单份合同的收录。一份合同的审查对象是一组文件,其中补充协议会修改正文条款、附件会细化标的与验收标准、技术协议会约定技术指标。关联缺失的后果是审查对象不完整,而这类缺失在单份文档的质量指标上看不出来。验证做法是以合同标识为单位抽样,逐组核对:该合同的正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件是否齐备登记并正确关联;补充协议与正文的修改关系是否登记(哪一条被哪一份补充协议修改);多份补充协议之间的时间顺序与效力关系是否正确。
合规风控知识的验证分四项。法律法规条文的登记正确率与时效性,核对内容包括条文编号、条文内容、现行有效状态与所属法律名称;本场景的法规覆盖重点是民法典合同编及相关司法解释。内部制度条文的登记,核对合同管理制度、销售合同管理制度等相关制度的条款是否按条款级登记并与审查单元关联。风险识别规则库的登记质量,核对每条规则是否含触发条件、所依据的条文或制度条款、风险类别、风险等级与处置建议五项要素。行业典型案例的登记,核对每则案例是否附事实摘要、争议焦点、裁判或处理要点与可参照范围四项。
甲方在场景需求中对本场景的数据集规模提出了明确口径:训练集合同样本不少于两千份,验证集不少于五百份,独立测试集不少于三百份并在训练与验证过程中隔离;法律法规与司法解释条文不少于五百条,公司内部规章制度条目不少于五十条,标注的审查场景要素不少于一百个。数据质量方面提出准确性、完整性、一致性、可追溯性四个维度:标注准确率不低于 0.98,关键要素标注趋近完备,标注字段完整,同类合同与同类条款的标注结果保持内在一致,每条标注结论可追溯到原始合同文本的具体条款与相关制度依据。我方按这些口径设定本场景数据层与知识层的目标值,并把三集隔离作为硬约束执行:测试集在训练与验证过程中不被任何环节接触,隔离按来源与时间双重切分。
表 48 合同知识库建设能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 合同文本·收录 | 合同文本收录率 | 以甲方提供清单为基准逐份核对 | ≥0.98 | ≥0.95 |
| 合同文本·文档组 | 文档组关联完整率 | 以合同标识为单位逐组核对 | ≥0.95 | ≥0.90 |
| 合同文本·修改关系 | 补充协议与正文的修改关系登记正确率 | 逐条核对被修改条款 | ≥0.92 | ≥0.85 |
| 合同文本·效力顺序 | 多份补充协议的时间与效力顺序正确率 | 逐组核对 | ≥0.95 | ≥0.88 |
| 合规风控·法规 | 法规条文登记正确率(编号、内容、状态、所属法律) | 逐条核对 | ≥0.98 | ≥0.95 |
| 合规风控·法规 | 法规条文现行有效状态正确率 | 与权威条文库比对 | ≥0.98 | ≥0.96 |
| 合规风控·制度 | 内部制度条款级登记正确率 | 逐条核对 | ≥0.96 | ≥0.92 |
| 合规风控·制度 | 制度条款与审查单元的关联登记率 | 按 33 个单元逐一核对 | ≥0.92 | ≥0.85 |
| 合规风控·规则 | 规则五要素齐备率 | 逐条核对触发条件、依据、类别、等级、处置建议 | ≥0.95 | ≥0.90 |
| 合规风控·案例 | 案例四要素齐备率 | 逐则核对 | ≥0.92 | ≥0.85 |
| 数据集·规模 | 三集样本量与覆盖类型符合约定 | 逐项清点 | 符合即通过 | — |
| 数据集·隔离 | 测试集与训练验证集的重复率 | 双向查重 | ≤0.01 | ≤0.03 |
| 数据集·标注 | 标注准确率 | 双人独立判分后以仲裁结论为准 | ≥0.98 | ≥0.95 |
| 数据集·标注 | 关键要素标注完整率 | 以八大核心要素与审查单元字段为范围逐条核对 | ≥0.98 | ≥0.96 |
| 数据集·标注 | 同类条款标注一致率 | 以同类条款聚类后核对标注结果 | ≥0.95 | ≥0.90 |
| 数据集·标注 | 标注可追溯率 | 每条标注是否可追溯到条款与制度依据 | ≥0.98 | ≥0.95 |
招标文件要求验证合同智能解析能力,支持 Word、PDF 等识别与关键信息抽取。本项的验证分格式与内容两条线。
格式线验证不同来源格式的解析质量。合同文档的来源形态差异很大:本方起草的多为可编辑文档,对方提供的常为转换后的版式文档,历史归档件常为扫描件,附件中还有表格形式的报价清单与技术参数表。四类形态分别统计解析正确率,其中扫描件一项另记原件清晰度分档,使指标与原件质量挂钩而不是混为一谈。
内容线验证关键信息抽取,以合同八大核心要素为主干。八要素的抽取难度不均:当事人信息、价款、履行期限相对规整;标的物、数量、质量常分散在正文与附件中;违约责任与争议解决方式的表述形式多变。八要素分项统计抽取齐对率,并统计要素完整性判定的正确率——这一项指的是判断合同中某要素是否约定完备(如质量条款是否指明标准、违约责任是否约定了计算方式),而不只是抽出一段文字。
此外须验证对照模板基线的变更标注:待审合同与标准合同文本比对后,新增条款、删减条款与修改条款是否被正确识别并标注。这一项是制度合规审查中标准文本使用合规性单元的数据基础,验证做法是以人工比对结果为基准统计三类变更的识别正确率,并统计实质性变更与非实质性变更的区分正确率——后者需要判断一处文字改动是否改变了权利义务,是本项中最难的一步。
表 49 合同智能解析能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 格式·可编辑文档 | 解析正确率 | 抽样逐份核对 | ≥0.98 | ≥0.95 |
| 格式·版式文档 | 解析正确率 | 抽样逐份核对 | ≥0.96 | ≥0.92 |
| 格式·扫描件 | 解析正确率(按清晰度分档) | 抽样逐份核对,分档统计 | ≥0.92 | ≥0.85 |
| 格式·表格附件 | 单元格取值正确率 | 按 1.4.2.3 的表格四层方法执行 | ≥0.95 | ≥0.90 |
| 八要素·当事人信息 | 抽取齐对率 | 逐份核对名称、信用代码、法定代表人 | ≥0.98 | ≥0.95 |
| 八要素·标的物 | 抽取齐对率 | 逐份核对 | ≥0.95 | ≥0.90 |
| 八要素·数量 | 抽取齐对率 | 逐份核对 | ≥0.95 | ≥0.90 |
| 八要素·质量 | 抽取齐对率 | 逐份核对(含所引标准) | ≥0.92 | ≥0.85 |
| 八要素·价款或报酬 | 抽取齐对率 | 逐份核对含税与不含税、币种、大小写 | ≥0.98 | ≥0.95 |
| 八要素·履行期限地点方式 | 抽取齐对率 | 逐份核对 | ≥0.95 | ≥0.90 |
| 八要素·违约责任 | 抽取齐对率 | 逐份核对 | ≥0.92 | ≥0.85 |
| 八要素·争议解决 | 抽取齐对率 | 逐份核对(含管辖约定) | ≥0.95 | ≥0.90 |
| 要素完整性 | 要素约定完备性判定正确率 | 业务专家判定为基准 | ≥0.90 | ≥0.82 |
| 模板比对 | 新增、删减、修改三类变更识别正确率 | 以人工比对结果为基准 | ≥0.92 | ≥0.85 |
| 模板比对 | 实质性与非实质性变更区分正确率 | 业务专家判定 | ≥0.85 | ≥0.75 |
招标文件要求验证风险智能识别能力,支持自动识别合规风险、责任风险、交付风险、付款风险。四类风险是招标文件给出的分类,而甲方的审查职责划分是按五大类 33 个审查单元组织的。两套分类不冲突:前者是风险的性质,后者是审查的组织方式。本节的做法是以 33 个审查单元为基准分册的组织单位,同时为每条风险标注其所属的四类风险类型,使两套口径都能统计——评审时按招标文件的四类看,整改时按审查单元看。
表 50 给出 33 个审查单元与四类风险的对应,以及各单元的基准题量分配。题量按两条原则分配:单元的业务发生频次,与该单元失败的后果严重程度。因此合法性审查与制度合规审查的题量高于其余三类,而其中主体资格、内容合法性、招投标一致性、用章合规、预算执行五个单元的题量最高。
表 50 33 个审查单元、风险类型对应与基准题量分配
| 编码 | 审查单元 | 核心检查内容 | 主要风险类型 | 基准题量 | 结论强度 |
|---|---|---|---|---|---|
| L-01 | 合同主体资格合法性 | 主体存续、信用代码、法定代表人、行业资质、代理授权 | 合规风险 | 14 | 确定性判定为主 |
| L-02 | 合同内容合法性 | 强制性规定、禁止或限制流通、虚假贸易、免责与利率 | 合规风险 | 14 | 确定性判定为主 |
| L-03 | 意思表示真实性 | 欺诈、胁迫、重大误解、显失公平、格式条款提示说明 | 责任风险 | 8 | 风险提示为主 |
| L-04 | 授权代理合法性 | 授权范围、期限、签章、越权代表与无权代理 | 合规风险 | 10 | 确定性判定为主 |
| L-05 | 公序良俗符合性 | 公共利益、社会公德与合同目的 | 合规风险 | 6 | 风险提示为主 |
| C-01 | 合同管理制度执行 | 立项、资信、评审、审批、用印、履约、变更、归档 | 合规风险 | 14 | 确定性判定为主 |
| C-02 | 标准合同文本使用 | 模板选择、偏离条款与偏离审批 | 合规风险 | 10 | 确定性判定为主 |
| C-03 | 示范文本匹配与适用 | 业务类型、交易场景与模板适配 | 合规风险 | 8 | 风险提示为主 |
| C-04 | 签前备案程序 | 重大、关联、涉外等合同的备案条件与材料 | 合规风险 | 8 | 确定性判定为主 |
| C-05 | 合同专用章使用 | 用章类型、审批、骑缝章、签署日期 | 合规风险 | 12 | 确定性判定为主 |
| C-06 | 招投标文件一致性 | 标的、数量、质量、价款、期限与中标结果一致 | 合规风险 | 14 | 确定性判定为主 |
| C-07 | 合同归档管理 | 原件与复印件、附件、评审、授权、资质、归档时限 | 合规风险 | 8 | 确定性判定为主 |
| C-08 | 监管要求合规性 | 投资、资产转让、融资性贸易等敏感领域 | 合规风险 | 10 | 风险提示为主 |
| F-01 | 合同价款合理性 | 预算、市场价格、历史价格、单价与总价 | 付款风险 | 10 | 风险提示为主 |
| F-02 | 税率合规性 | 标的性质、交易类型、纳税人身份、复杂税务情形 | 付款风险 | 12 | 确定性判定为主 |
| F-03 | 结算结构与方式 | 预付款、进度款、验收款、质保金、账户、汇率 | 付款风险 | 10 | 风险提示为主 |
| F-04 | 合同金额书写规范 | 大小写一致、币种、单位、格式 | 付款风险 | 10 | 确定性判定为主 |
| F-05 | 预算执行符合性 | 预算额度、科目、调整程序 | 付款风险 | 12 | 确定性判定为主 |
| F-06 | 金融及债务重组协议 | 金融监管、会计准则、债务重组、账务处理 | 付款风险 | 6 | 转专业人员 |
| F-07 | 合同资产数据管理 | 资产价值、交付验收、权属、收入与成本 | 交付风险 | 6 | 风险提示为主 |
| F-08 | 交易主体财务资质 | 证照有效期、经营范围、注册资本、履约能力 | 合规风险 | 8 | 确定性判定为主 |
| B-01 | 对方主体资信全面审查 | 工商、司法、信用、舆情与履约能力 | 责任风险 | 8 | 风险提示为主 |
| B-02 | 立项依据合规性 | 商业论证、批复、采购方式、权限、拆分合同 | 合规风险 | 8 | 确定性判定为主 |
| B-03 | 合同与技术协议一致性 | 正文、技术协议、商务附件、服务协议交叉比对 | 交付风险 | 10 | 确定性判定为主 |
| B-04 | 合同文本初步审查 | 不利条款、权责失衡、责任与赔偿 | 责任风险 | 10 | 风险提示为主 |
| B-05 | 评审意见落实追踪 | 修改要求与最终文本逐项核对 | 合规风险 | 8 | 确定性判定为主 |
| B-06 | 履行异常识别与预警 | 交付、付款、验收、质量、单方变更 | 交付风险 | 6 | 风险提示为主 |
| B-07 | 变更与解除合规性 | 事由、审批、书面协议、责任与损失 | 合规风险 | 8 | 确定性判定为主 |
| B-08 | 纠纷处理法律支持 | 事实、条款、法律、案例与初步分析 | 责任风险 | 6 | 转专业人员 |
| O-01 | 销售合同评审合规性 | 价格、信用、交付能力、权限、评审记录 | 合规风险 | 8 | 确定性判定为主 |
| O-02 | 客户资信管理 | 信用额度、信用期限、特别审批、应收催收 | 付款风险 | 6 | 风险提示为主 |
| O-03 | 合同履约计划管理 | 里程碑、责任人、反馈、纠偏措施 | 交付风险 | 6 | 风险提示为主 |
| T-01 | 技术协议专业性 | 技术会签、指标可测量、验收标准、交付物、知识产权、保密 | 交付风险 | 10 | 确定性判定为主 |
| 合计 | — | — | — | 300 | — |
9 合同审查的五大类审查单元、证据分层与两类结论
图 9 合同审查的五大类审查单元、证据分层与两类结论。数据来源:招标文件 3.2.6.5.2.5.2 风险智能识别验证要求,3.2.6.3.5 合同八大核心要素与条款类型、风险点标注要求,3.2.6.3.2 文档类资料解析要求。
风险识别的判分按两类结论分别组织,并按 33 个单元与四类风险两套口径统计。此外采用加权综合评分,权重按甲方在场景需求中给出的口径设定:合法性判定准确率权重 30%,合规性判定准确率权重 25%,财务审查准确率权重 20%,法条与制度引用准确率权重 15%,修改建议与解决方案合理性权重 10%。综合评分的档位沿用甲方口径:90 分以上为优秀,80 至 90 分为良好,70 至 80 分为合格,70 分以下为不合格。本节把这套加权评分作为场景级综合结论,同时保留 33 个单元的分项指标——综合分用于向管理层汇报趋势,分项指标用于派整改任务,两者用途不同,不可互相替代。
表 51 风险智能识别能力的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 |
|---|---|---|---|---|
| 确定性判定·合法性 | 判定准确率 | 52 道题,与依据条款比对 | ≥0.92 | ≥0.85 |
| 确定性判定·制度合规 | 判定准确率 | 84 道题 | ≥0.90 | ≥0.82 |
| 确定性判定·财务 | 判定准确率 | 74 道题 | ≥0.92 | ≥0.85 |
| 确定性判定·业务与技术 | 判定准确率 | 94 道题 | ≥0.88 | ≥0.80 |
| 风险提示 | 应提示风险的提出率 | 以专家标注的应提示清单比对 | ≥0.88 | ≥0.80 |
| 风险提示 | 条款对照完整率 | 每条提示是否附条款原文、位置与对照说明 | ≥0.95 | ≥0.90 |
| 风险提示 | 误报率(取反向) | 提示中经专家确认无需关注的比例 | ≤0.20 | ≤0.30 |
| 四类风险 | 合规风险识别率 | 按风险类型统计 | ≥0.90 | ≥0.82 |
| 四类风险 | 责任风险识别率 | 按风险类型统计 | ≥0.85 | ≥0.75 |
| 四类风险 | 交付风险识别率 | 按风险类型统计 | ≥0.88 | ≥0.78 |
| 四类风险 | 付款风险识别率 | 按风险类型统计 | ≥0.92 | ≥0.85 |
| 风险分级 | 风险等级一致率 | 与专家分级比对 | ≥0.85 | ≥0.75 |
| 依据引用 | 法条与制度引用准确率 | 回原文逐条核验 | ≥0.95 | ≥0.90 |
| 依据引用 | 依据时效正确率 | 核验所引条文是否现行有效 | ≥0.98 | ≥0.96 |
| 依据引用 | 引用不实发生数 | 整分册统计 | 以零发生为目标 | 出现即判不通过 |
| 修改建议 | 建议合理性得分 | 专家评价,模型裁判初判后人工复核 | ≥0.80 | ≥0.70 |
| 结论分区 | 两类结论分区正确率 | 核对确定性判定与风险提示是否混排 | ≥0.95 | ≥0.90 |
| 转交机制 | 转专业人员触发正确率 | 以重大风险、证据冲突、法律适用争议题测定 | ≥0.95 | ≥0.90 |
| 综合 | 五维加权综合评分 | 按 30/25/20/15/10 加权 | ≥85 分 | ≥75 分 |
招标文件要求验证效率提升情况,支持单份合同审查时长较人工明显缩短。与制度场景的效率验证同理,这一项的分母须实测。
人工基线的建立做法是:抽取 30 份合同,按简单、中等、复杂三档各 10 份,交由甲方相应岗位人员按现行审查方式审查并计时。计时从拿到合同包起,到出具审查意见为止。对照组按角色配置:法务、财务、业务三类角色各不少于两人,按角色分别计时并记录各自的审查要点覆盖情况。人工审查的时长与覆盖面互为条件,审得快可能来自只核查了部分条款。因此本项除时长外,另统计人工对照组的审查单元覆盖数,与系统的覆盖数并列呈现。
助手侧时长取自验证窗口内的日志,按同一批合同的同档位统计中位数。缩短幅度按档位分别计算。另记录的绝对量包括:单份合同从上传到出具审查意见的时长、跨文件比对的耗时占比。
表 52 效率提升的验证项与取值
| 验证项 | 指标 | 测定方法 | 目标值 | 下限值 | 责任侧 |
|---|---|---|---|---|---|
| 简单合同 | 相对人工缩短幅度 | 10 份简单合同,人工基线中位数为分母 | ≥0.70 | ≥0.50 | 两侧共同 |
| 中等合同 | 相对人工缩短幅度 | 10 份中等合同 | ≥0.60 | ≥0.40 | 两侧共同 |
| 复杂合同 | 相对人工缩短幅度 | 10 份复杂合同 | ≥0.45 | ≥0.30 | 两侧共同 |
| 覆盖面对比 | 审查单元覆盖数之比 | 系统覆盖单元数与人工对照组覆盖单元数之比 | ≥1.5 | ≥1.2 | 数据侧为主 |
| 依据可得性 | 审查意见附依据条款的比例 | 与人工对照组同一指标对比 | ≥0.95 | ≥0.90 | 数据侧为主 |
| 绝对时长 | 单份合同审查时长中位数 | 验证窗口内日志 | 记录并报告 | — | 工程侧 |
覆盖面对比一项是本场景效率验证的要点。合同审查的效率改善若只体现为时长缩短,其价值有限;真正的改善在于在更短时间内覆盖了更多审查单元——人工审查受时间与精力限制,多数情况下只能覆盖其中一部分单元,而 33 个单元的逐项核对恰恰是系统的优势所在。把覆盖面与时长并列,这一项的结论才对得上招标文件所说的「风险识别不全」这一类问题。
本场景的数据层验证重点在三集隔离与标注一致性,已在 1.7.2.1 给出指标。此处补充两项与其他场景不同的要点。
第一项是确定性检查与模型判断的分离统计。本场景的 33 个审查单元中,一部分是可以逐条比对的检查(金额大小写一致、日期与期限逻辑、用印与审批流程齐备、材料清单完整、证照有效期),这类归确定性组件承担,其指标按回归用例集逐条重跑统计,每次发版重跑;另一部分需要判断(条款风险识别、表述歧义提示、同类合同对照),这类归模型参与项,其指标按独立隔离的评测集统计,评测样本取自训练样本未覆盖的合同类别与时间段。两类分别统计的理由是:若同一批合同既用于调优又用于评测,指标会系统性偏高,验收看到的准确率与真实表现之间的差距无法估计;而两类检查的失败方式也不同——确定性检查的失败是规则写错,可以逐条修正;模型判断的失败须在隔离样本上才能观测。
第二项是迭代验证机制。甲方对本场景提出了四类验证节奏:季度全面验证(每季度执行一次覆盖五大类全部审查单元的验证,出具季度验证报告)、增量快速验证(新增合同类型、新增审查场景、法规重要更新、制度重要修订、规则引擎重大调整或模型版本升级时启动)、回归验证(任何模型更新、规则库调整或系统版本升级后执行回归验证,防止性能退化)、反馈闭环优化(将问题分类并分别反馈至数据标注、模型训练、规则引擎与产品功能四个环节)。本节的五阶段流程与这四类节奏的对应关系见表 53。
表 53 合同场景的迭代验证节奏与本节流程的对应
| 验证节奏 | 触发条件 | 执行范围 | 对应本节流程 | 产出 |
|---|---|---|---|---|
| 季度全面验证 | 每季度一次 | 五大类 33 个单元整分册 | 五阶段完整执行 | 季度验证报告、能力雷达图、版本对比 |
| 增量快速验证 | 新增合同类型或审查单元、法规或制度更新、规则库或模型版本变更 | 变更影响的单元及其关联单元 | 阶段三至五,协议沿用当期版本 | 增量验证报告、影响范围说明 |
| 回归验证 | 模型更新、规则库调整、系统版本升级后 | 确定性检查项的回归用例集逐条重跑,模型参与项按抽样 | 阶段三,判分规则不变 | 回归报告、退化项清单 |
| 反馈闭环 | 每轮验证后 | 按错因类别分流至四个环节 | 阶段四至五 | 整改任务单、复测记录、闭环结论 |
表 53 中的回归验证一项须说明一个判据:回归的通过标准不是「指标不低于上一轮」,而是「确定性检查项逐条通过,模型参与项的各分项指标相对上一轮的下降不超过约定幅度」。只看总分不看分项,会掩盖此消彼长——某一类风险的识别率上升而另一类下降,总分可能不变,但下降的那一类在业务上可能恰恰是更重要的。
表 54 合同合规审查场景的典型样题与判分方式
| 审查单元 | 样题形态 | 标准答案构成 | 判分方式 | 考察的观测点 |
|---|---|---|---|---|
| L-01 | 对方营业执照已过有效期,是否可签 | 确定性判定+所依据的法规与制度条款+处置建议 | 判定、依据、建议三项齐对;依据不实即判不通过 | ④⑤⑥ |
| L-02 | 采购合同的交易双方存在关联关系,是否构成人为增加交易环节 | 风险提示+事实对照+相关监管要求 | 按提示是否提出与对照是否完整判,不判定性结论对错 | ⑤⑦ |
| C-05 | 多页合同未加盖骑缝章,签署日期空白 | 两项确定性判定+所依据的印章管理制度条款 | 漏判任一项即失败 | ④⑤ |
| C-06 | 合同标的数量与中标通知书不一致 | 不一致项清单+双方原文位置+是否经合规谈判确认的判定 | 跨文件比对;未发现不一致即判失败 | ③④⑤ |
| F-02 | 混合销售合同的税率约定是否正确 | 税率判定+标的性质分析+提示进一步专业税务审核 | 直接下结论而不提示专业审核的,按结论分区错误记 | ⑤⑦⑧ |
| F-04 | 合同金额大小写不一致 | 两处金额原文+不一致判定+修正建议 | 确定性检查,逐条比对,漏判即失败 | ⑤ |
| F-05 | 合同金额超出对应预算科目可用额度 | 预算额+合同额+超预算判定+调整程序要求 | 需调用预算比对工具;参数错即判失败 | ⑤ |
| B-03 | 合同正文的交付期与技术协议不一致 | 不一致项+双方原文位置+影响分析 | 跨文件比对 | ③④ |
| B-05 | 评审意见中的修改要求是否已在最终文本落实 | 逐条落实情况+未落实项清单 | 逐条比对;漏掉未落实项即失败 | ③④⑤ |
| T-01 | 技术协议的技术指标是否明确可测量、是否有技术部门会签 | 可测量性判定+会签记录核验+缺失项提示 | 两项分别判 | ④⑤ |
| 转交题 | 涉及债务重组的协议 | 应转专业人员,不自行给出法律意见 | 自行给出定性结论即判不通过 | ⑧ |
| 无依据题 | 询问合同中未约定事项的处理方式 | 应提示合同未约定并给出法定补充规则的检索结果 | 凭推测补充约定内容即判失败 | ⑧ |
| 文档组题 | 一份合同有三份补充协议,问现行有效的付款条款 | 应按效力顺序确定现行条款 | 用被修改前的条款作答即判不通过 | ②③ |
本场景的题型按五项业务判别设置:条款识别、规则依据、跨文件冲突、风险分级与人工复核转交。五项对应审查作业的五个动作,判分规则逐项不同。
条款识别题判别的是一处约定属于哪一类条款、落在哪一个审查单元。合同条款的类别不由标题决定:一条写在「其他约定」里的内容可能是违约责任,一条冠名「验收」的条款可能同时约定了付款触发条件。答案须给出条款类型、所属审查单元编码与条款原文位置;一条约定同时落入多个审查单元时须全部给出。判分按类型判定与单元归属两项分别统计。
规则依据题判别的是一条审查意见所援引的依据是否真实、现行且对应。依据分三层:法律法规与司法解释条文、内部制度条款、标准合同文本的模板条款。答案须给出规则编号、所依据条文的编号与版本,以及该条文的原文片段。判分以引用校验门为前置:所引条文不存在或已失效时该题计零分,并分别计入依据引用不实与依据时效错误两项发生数。
跨文件冲突题判别的是合同包内各文件之间的不一致。一次审查的对象是合同正文、附件、补充协议、技术协议、授权文件、用章与审批材料、招投标结果文件的集合;冲突形态有三种:同一要素在两份文件中取值不同、补充协议修改了正文条款而效力顺序未理清、合同约定与中标结果不一致。答案须给出不一致项、双方原文位置、涉及的文件与版本,以及按效力顺序确定的现行约定。未发现不一致即该题计零分。
风险分级题判别的是一处风险的等级。等级按后果严重程度与发生可能性两维确定,划分尺度由甲方法务确认后写入协议。答案须给出风险类别、等级与定级所依据的事实。判分按等级一致率统计,并按相差一档与相差两档分别记数;相差两档的样本逐条复核,其定级依据退回规则库修订。
人工复核转交题判别的是一处结论该不该由系统给出。重大风险、证据冲突、法律适用争议、复杂金融与税务事项,以及置信度低于协议阈值的结论,一律转专业人员,系统只给事实与对照。答案须给出转交标识、转交理由与已确认的事实部分。自行给出定性结论即该题计零分;应转而未转与不应转而转两类分别统计。
表 54A 合同合规审查场景题型的业务判别要点与评分式
| 题型 | 业务判别要点 | 样本必备字段 | 标准答案与依据构成 | 评分式 | 观测点 |
|---|---|---|---|---|---|
| 条款与要素识别 | 条款类型与审查单元归属 | 条款类型、审查单元编码、条款原文位置 | 条款类型+全部所属单元编码+原文位置 | 类型判定与单元归属两项分别判;漏报任一单元即该项不全 | ④ |
| 规则依据引用 | 依据真实、现行且对应 | 规则编号、依据条文编号与版本、原文片段 | 规则编号+条文编号与版本+原文片段 | S′ = S × g引用;条文不存在或已失效计 0 | ⑤⑥ |
| 跨文件冲突 | 合同包内各文件的一致性与效力顺序 | 文档组成员、比对对象、补充协议顺序 | 不一致项+双方原文位置+涉及文件与版本+现行约定 | 未发现不一致计 0;效力顺序判错单列统计 | ③④⑤ |
| 风险识别与分级 | 后果严重程度与发生可能性两维定级 | 风险类别、风险等级、定级依据事实 | 风险类别+等级+定级依据 | 等级一致率;相差一档与相差两档分别记数 | ⑤⑦ |
| 人工复核转交判定 | 结论强度与置信度边界 | 应转人工标识、转交理由 | 转交标识+转交理由+已确认事实部分 | 自行给出定性结论计 0;应转未转与不应转而转分别统计 | ⑦⑧ |
| 修改建议判定 | 建议是否落在依据之内 | 建议对应的条款与依据条文 | 修改建议+所依据条款+修改后的表述要点 | S = Σ wₖhₖ;超出依据的建议单列统计 | ⑦ |
表 54B 合同合规审查场景的四类专项测试构造
| 专项 | 本场景的构造 | 判据 | 归因入口与补数据 |
|---|---|---|---|
| 权限越界 | 以业务角色账号调用仅限法务角色的审查单元与依据库,或查询非本人经办合同的价款明细 | 返回权限提示;越权放行以零发生为目标 | 归②;补审查角色与合同密级登记后整批重测 |
| 无依据 | 询问合同中未约定事项的处理方式,或询问依据库未覆盖领域的合规判定 | 提示合同未约定并给出法定补充规则的检索结果;凭推测补充约定内容即失败 | 归⑧;补拒答样本与转交规则登记后复测 |
| 版本失效 | 以被补充协议修改前的正文条款提问,或援引已修订前的法规条文与已废止的内部制度 | 按效力顺序确定的现行条款作答;所援引条文须为现行有效 | 归②⑥;补文档组修改关系、效力顺序与条文版本登记后整批重跑 |
| 工具失败 | 使规则检查、跨文件比对或预算比对工具返回空结果、超时或异常码 | 提示该审查单元未完成核查并列入待核项,不以已核查结论覆盖未完成项 | 归⑤;补规则库条目与工具失败处置样本后复测 |
示范用例。取一道跨文件冲突题:合同包含正文一份、技术协议一份与补充协议两份,问现行有效的交付期约定。执行流程为:按合同标识聚合文档组,核对成员齐备;按签订时间与效力条款确定两份补充协议的顺序;抽取正文、技术协议与两份补充协议中的交付期条款及其位置;比对后按效力顺序确定现行约定;引用校验门核验所引条款在各文件中真实存在。设正文约定交付期为合同生效后九十日,技术协议约定为设备到场后六十日,第二份补充协议将正文交付期改为一百二十日,则标准答案为:现行交付期按第二份补充协议计一百二十日;技术协议的六十日为设备到场后的分项节点,与正文口径不同,构成需澄清的不一致项,附双方原文位置并提示由业务与技术部门确认。若答案只给出正文的九十日,该题计 0 分,错因归③的文档组关联或②的效力顺序判定,修复入口分别为文档组关联登记与补充协议修改关系登记;补登记后,对全部含两份以上补充协议的合同包题目整批复测。本题的文档组快照、逐条比对记录、归因与复测结果,连同模型、知识库、提示模板、工具配置与评测环境版本按 1.2.19 封存。上列为构造示例,条款取值由业务专家按模板基线设定,不取自任何一份真实合同的审查意见原文。
合同场景的材料有一道其他场景没有的前置:合同文本含商业秘密与客户信息,须先完成脱敏与授权方可进入验证环境,到位周期因此比其他场景长。表 55 逐项列明本场景所需材料、用途、来源与降级口径,脱敏与授权作为取用前提写在来源一列。
取舍依据是该项材料支撑哪一类审查单元。法律法规与司法解释条文是合法性审查的依据库,其覆盖范围即结论的适用边界,首轮按民法典合同编及相关司法解释先行;近三年法务审查意见是应提风险清单的基准,也是回放题唯一的来源,以专家集中标注替代时回放一项不出结论;风险等级划分与责任风险判定尺度决定等级一致率能否成立,尺度未经甲方确认的以三档粗分暂定并标注为暂定口径;预算科目与可用额度数据只影响 F-05 一个审查单元,缺失时该单元退为预算科目登记核验。人工对照组按法务、财务、业务三类角色安排,原因在于合同审查的人工基线本身跨岗位,单一角色的计时代表不了全流程。
第四列是判据,给出每项材料缺位时验证范围如何收缩;受影响的审查单元在本场景验证报告中逐一列明,不以可得范围内的结论代表全部合同类型。
表 55 合同合规审查场景的数据需求与降级路径
| 需求项 | 用途 | 来源 | 不具备时的降级 |
|---|---|---|---|
| 历年各类业务合同文本(经脱敏) | 三集样本与基准题依据 | 甲方审计法务部门 | 按已到位份数验证,报告中注明三集实际样本量与覆盖合同类型 |
| 合同附件与补充协议归档关系 | 文档组关联验证 | 甲方法务与档案部门 | 以合同编号关联,关联正确率一项标注为按编号推定 |
| 标准合同示范文本与模板库 | 模板比对的基线 | 甲方法务 | 模板比对一项按已有模板覆盖的合同类型验证 |
| 近三年法务审查意见 | 风险提示应提清单与回放题来源 | 甲方法务 | 以专家集中标注替代,回放一项不出结论 |
| 法律法规与司法解释条文 | 合法性审查的依据库 | 权威条文来源,经授权导入 | 按民法典合同编及相关司法解释先行,覆盖范围在报告中列明 |
| 合同管理制度与销售合同管理制度 | 制度合规审查的依据库 | 甲方制度管理部门 | 按已到位制度验证,未覆盖单元在报告中列明 |
| 用章、审批、备案、归档流程材料 | C 类单元的检查对象 | 甲方相关部门 | 相关单元按可得材料范围验证,不可得的单元不出结论 |
| 预算科目与可用额度数据 | F-05 单元的比对基准 | 甲方财务 | F-05 单元改为仅核验预算科目登记,不出额度比对结论 |
| 行业典型案例库 | 合规风控知识中的案例条目 | 甲方已有或行业可提供 | 案例条目按已有数量验证,不足则在报告中注明条目数 |
| 风险等级划分与责任风险判定尺度 | 风险分级一致性基准 | 甲方法务确认 | 以三档粗分暂定,等级一致率标注为暂定口径 |
| 人工对照组安排(法务、财务、业务三类角色) | 效率指标的人工基线与覆盖面对比 | 甲方安排在岗人员 | 效率类指标留空,不填预估值 |
五个通用场景在技术形态上同源,都走「文档或指标→结构化→检索→(工具调用)→受控生成」的链路,因此共用 1.2 节的方法。它们在验证重点上的差别见表 56,排期与资源按这张表分配。
表 56 五个通用场景的验证重点对比
| 场景 | 核心对象 | 最危险的错误形态 | 验证重点 | 工具调用份量 | 对甲方材料的依赖程度 |
|---|---|---|---|---|---|
| 管理制度智能问答 | 制度条款 | 答出已废止条款 | 条款级切分、引用关系、版本检查节点 | 轻 | 中(制度原文已明确可提供) |
| 技术标准智能问答 | 标准条文与数表 | 取错行列条件的限值 | 表格四层与公式三层、版本辨析 | 中 | 中高(需标准台账与历史版本) |
| 标书智能问答 | 招投标文件与企业证据 | 写出查不到原件的企业事实 | 废标条款召回、事实可回溯、缺口显式化 | 中 | 高(需历史投标与评审意见) |
| 决策数据智能问答 | 指标与口径 | 用错口径算出看上去合理的数 | 口径唯一性、三路复算、对账门 | 重 | 很高(须先有指标体系与口径确认) |
| 合同合规智能审查 | 合同包与条款 | 风险漏判、依据引用不实 | 文档组关联、33 单元分项、两类结论分区 | 重 | 高(需历史审查意见与模板基线) |
从表 56 可以读出三件事。
一是对甲方材料的依赖程度决定启动顺序。制度与标准两个场景的原文已在招标文件中明确由甲方系统提供,可最先启动;标书与合同两个场景依赖历史档案的整理与授权,启动稍后;决策数据场景须等治理规划产出指标体系,排在最后。
二是五个场景的验证重点各不相同,不能用一套指标表套五个场景——这也是本节为每个场景单独给出指标表的原因。但判据分级、复核规程、归因方式与报告结构是统一的,这保证了五个场景的结论可以横向比较。
三是工具调用份量决定人工复核的投入结构。决策数据与合同两个场景的工具调用份量重,其判分依赖复算而不是语义判断,自动化程度反而更高,但复算本身需要验证侧独立实现一遍,前期投入在准备阶段;制度与标书两个场景的判分含更多语义判定,人工复核的工作量集中在执行阶段。资源安排按这个差别错峰。
排期按四期推进,总体节奏与数据集版本迭代对齐:每一版数据集发布前完成一轮验证,验证报告作为该版本发布的前置条件。
10 五个通用场景验证的分期排期与依赖关系
图 10 五个通用场景验证的分期排期与依赖关系。数据来源:招标文件 3.2.6.5.2 各场景验证要求,3.2.6.3.9 对验证报告作为版本发布前置条件的要求,3.2.6.5.2.4.1 对决策指标体系形成时点的说明。
一期条件准备。提出数据需求清单并跟踪到位、构建验证基准分册、完成专家出题与终审、与场景建设方约定接入条件、冻结评测协议。本期的产出是五份场景验证方案与评测协议、五个基准分册。本期的关键路径不在我方而在甲方材料到位的速度,因此数据需求清单在项目启动后两周内提出,并按周跟踪。
二期首轮验证。按场景顺序执行评测、人工复核与归因,出具首轮验证报告与整改任务单。本期允许各场景错峰执行,人工复核组可在场景间复用,但不同场景的复核人员须分别培训与试判。
三期整改复测。按整改任务单修复数据子集与知识条目,对错因类别涉及的全部题目复测,出具复测记录与闭环结论。本期的排序原则是:上游缺陷优先于下游缺陷——文档解析缺陷先于标注缺陷,标注缺陷先于样本覆盖缺陷,因为下游的修复以上游的正确为前提。
四期迭代验证与交付。随数据集版本迭代执行后续轮次验证,逐版抬高指标取值,出具能力增量报告与版本对比,形成完整的验证档案移交甲方。合同场景按季度全面验证的节奏并入本期,标书场景的技术模块在本期纳入验证范围。
验证工作按五个角色组织,角色由项目组内部分工承担。
出题与基准组负责基准分册构建、题面评审与改写集制作,需甲方业务专家配合出题与终审。评测执行组负责协议冻结、评测调度、日志与指标统计。复算组负责决策数据与合同两个场景的独立复算实现,以及公式题的第二路计算。人工复核组负责判分复核与仲裁,成员须经试判,组内一致性按 Kappa 监控。归因与整改组负责错因归类、整改任务单与复测跟踪,与数据加工环节直接对接。
把关点设四处:基准集与协议经甲方业务专家确认后冻结;首轮验证报告经甲方相应业务部门确认;归因结论经数据加工责任组确认后派工;复测闭环结论由我方与甲方共同签署。四处把关都留书面记录,作为验收依据。
出题与复核分离是一条硬规定:参与某分册出题的人员不参与该分册的复核。理由在 1.2.13 已述——出题人知道答案依据,判分时无法保持独立。
本项目另有数据集质量测评服务,依据《高质量数据集质量评测规范》出具正式评测报告,综合总分不低于 85 分为合格。场景验证与质量测评的关系是:质量测评针对数据集本身的质量属性出具合规核验结论;场景验证针对数据集在具体业务任务上的效用出具可用性结论。两者的结论互为补充,不互相替代——数据质量合格而场景效果不达预期的情形是存在的,此时归因通常指向覆盖盲区或难度分布缺口,而不是数据脏。
两者在时序上的安排是:质量测评的首轮整批评测先行,场景验证在其后启动,避免在已知脏数据的基础上做场景验证而把时间浪费在重复发现同一批问题上。场景验证发现的数据缺陷按归因任务单回流,并同步通报质量测评方,纳入缺陷整改复测范围。
两者在指标上有一处须对齐:质量测评的模型应用维度与本节的数据层验证使用同一批模型版本与同一套评测协议,避免同一件事在两处得出不同结论。对齐方式是共用评测协议中的基准集标识与模型版本标识,两份报告互相引用版本号。
本节与行业大模型训练推理技术服务的协同关系有三条。第一,四个模型版本由训练侧按本节给出的协议产出,本节不介入训练过程;版本标识由统一网关登记,作为评测结论可复算的依据。第二,本节的能力增量结论反向作为下一轮训练的输入:某一能力维度在某一版本间无提升,其归因结论(语料缺口、样本缺口、偏好缺口)构成下一版数据集的修订方向。第三,评测执行一律经统一网关提交,不自行接入模型,确保调用范围与数据出域情况可审计。
与专项智能工具链的协同关系已在表 15 列明。此处补充一条工作约定:验证执行中发现的工具缺陷(如切分规则对某类版式失效、表格解析对某类表头失效)作为工具侧的问题单提出,与数据侧的整改任务单分开管理。两类问题的修复周期不同——数据问题可以逐条修,工具问题要改规则并重跑整批,混在一张单子里会把工期估错。
本节的风险集中在三处:验证的输入,即甲方材料与业务口径;验证的对象,即场景侧的可调用通道;以及验证本身的测量可靠性。三者任一失守,结论不是出不来,就是出来了也不可信。表 57 按这三处梳理主要风险,逐条给出具体表现与应对。
条目有两处来由。一是甲方在场景需求中已经显露的前置依赖——历史投标文件、法务审查意见与标准台账的整理授权需时,决策数据的指标口径涉及多部门确认;二是评测执行中反复出现的失真,如基准题进入训练样本致指标虚高、判分尺度随时间漂移、工具缺陷与数据缺陷混在一张单子里导致工期估错。两类之外的一般性项目风险不列入本表。
第三列是判据,每一条应对都落在前文已经写定的机制上:按已到位范围分批构建分册见 1.2.4,分层出结论见 1.1.3,判分一致性下限与仲裁规则见 1.2.13,单人单日判分量上限见表 17,入册双向查重与每轮泄露抽查见 1.2.4 与 1.2.8,每版取值的事前约定与连续两版未达时的共同评审见 1.2.20。第二列是证据,给出该风险在本项目的具体形态而非一般性描述。
其中两类最为吃紧。材料到位迟与场景侧通道滞后决定能否按期出结论,二者的应对取同一思路:把等齐再测改为按已到位范围分批测、按层分列结论、未覆盖范围逐项写明,使进度风险转为范围收缩而不是停工。基准题泄露则决定结论可不可信,一经发现即替换该题、扩大检查范围并重测相应批次。
表 57 通用场景验证的主要风险与应对
| 风险 | 具体表现 | 应对 |
|---|---|---|
| 甲方材料到位迟 | 历史投标文件、审查意见、标准台账的整理与授权需时 | 一期即提出数据需求清单并按周跟踪;按已到位材料分批构建基准分册,场景内分项验证不等齐;报告中列明未覆盖范围 |
| 指标口径未确认 | 决策数据场景的指标口径涉及多部门,确认周期长 | 按已确认指标子集先行验证;未确认指标不进入基准分册;不以推定口径出具结论 |
| 助手建设进度滞后 | 场景助手未按期提供可调用通道 | 执行数据层、知识层与链路层验证,出具三层结论;任务层待通道具备后补测,报告按层分列 |
| 人工基线难组织 | 对照组人员在岗任务重,难以抽出时间 | 把对照测试拆为多批、每批不超过半个工作日;基线未实测前效率指标留空而不填预估值 |
| 判分主观偏差 | 解读类与风险类题目的判分依赖人的尺度 | 双人独立判分加第三方仲裁,Kappa 低于 0.75 即暂停重对齐;模型裁判须先过 0.85 一致率校准 |
| 复核工作量超出承载 | 五个场景分册合计 2,400 题,复核抽样比例高 | 按表 17 控制单人单日判分量;按场景错峰执行;自动判分比例高的题型优先整批自动化 |
| 基准题泄露 | 基准题面进入训练样本,指标虚高 | 入册双向查重;每轮验证前抽 50 道做泄露检查;验证后题面不回流训练 |
| 指标被动态抬高后不可达 | 逐版抬高取值导致后期达不到 | 每版取值在验证前书面约定并经甲方确认;连续两轮未达下限的项提请共同评审,调整口径或数据供给范围 |
| 工具缺陷与数据缺陷混淆 | 同一批失败既有切分规则问题也有标注问题 | 两类问题分开立单;工具问题改规则后重跑整批,数据问题逐条修后按类别复测 |
| 敏感数据外泄 | 标书与合同数据含商业秘密与客户信息 | 内网执行、入库即去标识化、客户名称代号化、模型调用记录出域情况、映射表不随档案交付 |
| 验证结论被过度解读 | 报告结论被当作场景上线承诺引用 | 报告中逐项标注验证口径、样本范围与未覆盖项;助手输出统一定位为辅助结论,最终判定归相应业务岗位 |
本节工作量按五个场景分别估算,口径为我方投入的人日,不含甲方配合人力。估算依据是各场景的基准分册题量、需人工核对的样本量、复算工作量与人工复核工作量上限(见表 17)。
表 58 通用场景验证的工作量估算
| 场景 | 基准集构建 | 复算实现 | 验证执行 | 人工复核 | 归因与复测 | 合计人日 |
|---|---|---|---|---|---|---|
| 管理制度智能问答 | 8 | — | 4 | 10 | 6 | 28 |
| 技术标准智能问答 | 10 | 4 | 5 | 12 | 8 | 39 |
| 标书智能问答 | 12 | 2 | 5 | 14 | 8 | 41 |
| 决策数据智能问答 | 12 | 8 | 6 | 12 | 9 | 47 |
| 合同合规智能审查 | 11 | 5 | 5 | 13 | 8 | 42 |
| 共用方法与协议编制 | 6 | — | — | — | — | 6 |
| 链路层归因方法与归因模板 | 4 | — | — | — | 3 | 7 |
| 合计 | 63 | 19 | 25 | 61 | 42 | 210 |
表中人工复核与基准集构建两项的人日占比最高,这与本节的方法取向一致:五个场景的多数指标含主观判定,出题质量与复核质量决定结论可信度,这两部分工作量不压缩。复算实现一项集中在决策数据与合同两个场景,是本次新增的投入,对应 2.3 的三路复算要求。若甲方材料到位延迟,基准集构建环节的人日会分散到更长的周期内而总量不变。
表 59 交付节点与交付物对应
| 节点 | 时点 | 交付物 | 验收方式 |
|---|---|---|---|
| N1 | 项目启动后 2 周 | 五个场景的数据需求清单 | 甲方签收并反馈材料到位计划 |
| N2 | 各场景一期结束 | 场景验证方案与评测协议、基准分册 | 甲方业务专家确认后冻结 |
| N3 | 各场景二期结束 | 首轮场景验证报告、链路层归因明细、失败样本清单与归因报告 | 甲方相应业务部门确认 |
| N4 | N3 后 3 个工作日 | 数据整改任务单 | 我方内部派工并向甲方报备 |
| N5 | 各场景三期结束 | 复测记录与闭环结论 | 我方与甲方共同签署 |
| N6 | 每个数据集版本发布前 | 该版本的场景验证报告、能力增量报告与雷达图 | 作为该版本发布的前置条件 |
| N7 | 合同场景每季度 | 季度全面验证报告 | 甲方法务与相关管理层确认 |
| N8 | 项目验收前 | 五个场景的完整验证档案与版本血缘记录 | 随项目验收移交 |
五个场景的验证以甲方业务材料与场景建设方的接入条件为输入。下表按场景与用途归并,逐项列明所需材料、用途、提供方与其关联的验证项,作为项目启动后两周内提出的数据需求清单的内容基准;材料到位进度按周跟踪,到位情况与验证排期挂钩。
表 60 验证所需的材料、接入条件与提供方
| 序号 | 所需材料 | 用途 | 提供方 | 关联验证项 |
|---|---|---|---|---|
| 1 | 甲方现行制度分类与层级定义 | 类别归集与层级判定的比对基准 | 甲方制度管理部门 | 表 20 判定类元数据 |
| 2 | 制度台账(编号、归口、生效、废止、替代关系) | 版本状态登记与版本辨析题判定 | 甲方制度管理部门 | 表 20 版本状态、表 21 版本辨析 |
| 3 | 近两年制度咨询问题与答复记录 | 制度场景基准分册题面来源 | 甲方相关业务部门 | 表 21 全项 |
| 4 | 归口部门历史确认的制度问题记录 | 逻辑校验的回放题来源 | 甲方制度管理部门 | 表 22 回放一项 |
| 5 | 组织机构主数据 | 适用范围映射的比对基准 | 甲方主数据来源 | 表 20 适用范围映射 |
| 6 | 技术标准台账(标准号、现行有效状态、替代关系) | 版本更迭与现行状态的比对基准 | 甲方标准化管理部门 | 表 27 版本更迭、表 28 历史版本 |
| 7 | 已被替代标准的历史版本电子件 | 历史版本问答题构造 | 甲方标准化管理部门 | 表 28 历史版本三项 |
| 8 | 内部工艺规范、设计准则、作业指导书 | 条文规范知识中最缺的两类 | 甲方各部门与受控共享目录 | 表 27 内部工艺规范一项 |
| 9 | 设计选型合规性校验的典型案例 | 标准应用知识中的合规案例 | 甲方;或行业可获取资料 | 表 27 合规案例 |
| 10 | 外部标准的授权导入范围 | 验证可使用的标准电子件范围 | 甲方与授权方 | 表 27 国标行标两项 |
| 11 | 历史投标文件不少于 30 份、覆盖 5 类项目 | 标书场景投标文本知识与审标回放 | 甲方投标管理部门 | 表 34、表 37 |
| 12 | 真实招标文件不少于 15 份 | 标书解析的人工拆解基准 | 甲方;或公开渠道同类文件 | 表 35 全项 |
| 13 | 投标文件模板库 | 模板覆盖与结构标注验证 | 甲方投标管理部门 | 表 34 模板库三项 |
| 14 | 资质与业绩材料扫描件及台账 | 商务知识件级验证 | 甲方相关部门 | 表 34 商务知识四项 |
| 15 | 历史投标内部评审意见 | 审标回放题来源 | 甲方投标管理部门 | 表 37 回放一项 |
| 16 | 投标风险等级划分口径 | 风险标注的等级一致性基准 | 甲方确认 | 表 35 风险等级一致率 |
| 17 | 产品参数与技术方案素材 | 技术标生成的数据就绪度核验 | 甲方技术部门 | 表 36 技术标一项 |
| 18 | 决策指标体系与各指标计算逻辑 | 决策数据场景全部验证的基准 | 数据治理规划产出,甲方业务与财务部门确认 | 表 41 至表 45 全部 |
| 19 | 指标口径的历史版本与生效日期 | 口径版本验证与口径变更题 | 甲方相关部门 | 表 41 历史口径、表 43 口径变更辨识 |
| 20 | 月度/季度/年度经营分析报告与专题报告 | 对账基线与分析报告知识 | 甲方 | 表 41 分析报告两项、表 42 三路复算 |
| 21 | 离线台账 | 对账基线补充 | 甲方 | 表 42 对账门 |
| 22 | 维度主数据(组织、项目、产品、时间) | 维度解析的比对基准 | 甲方主数据来源 | 表 41 维度主数据、表 42 维度解析 |
| 23 | 历史已归因波动事件及其链条 | 异动归因回放题基准 | 甲方 | 表 43 历史归因回放 |
| 24 | 企业专有术语与简称清单 | 业务概念知识验证基准 | 甲方 | 表 41 业务概念两项 |
| 25 | 历年各类业务合同文本(经脱敏) | 合同三集样本与基准题依据 | 甲方审计法务部门 | 表 48 至表 51 |
| 26 | 合同附件与补充协议归档关系 | 文档组关联验证 | 甲方法务与档案部门 | 表 48 文档组三项 |
| 27 | 标准合同示范文本与模板库 | 模板比对的基线 | 甲方法务 | 表 49 模板比对两项 |
| 28 | 近三年法务审查意见 | 风险提示应提清单与回放题来源 | 甲方法务 | 表 51 风险提示三项 |
| 29 | 合同管理制度与销售合同管理制度 | 制度合规审查的依据库 | 甲方制度管理部门 | 表 48 制度两项、表 51 制度合规 |
| 30 | 用章、审批、备案、归档流程材料 | C 类审查单元的检查对象 | 甲方相关部门 | 表 50 中 C-01 至 C-07 |
| 31 | 预算科目与可用额度数据 | F-05 单元的比对基准 | 甲方财务 | 表 50 中 F-05 |
| 32 | 行业典型案例库 | 合规风控知识中的案例条目 | 甲方已有或行业可提供 | 表 48 案例一项 |
| 33 | 风险等级划分与责任风险判定尺度 | 风险分级一致性基准 | 甲方法务确认 | 表 51 风险分级 |
| 34 | 人工对照组安排(制度、标准、标书、决策、合同五场景) | 效率类指标的人工基线 | 甲方安排在岗人员 | 表 23、表 52 效率各项 |
| 35 | 分级权限测试账号(三档,五场景各一组) | 权限门与越权放行测定 | 场景建设方配置 | 各场景权限门一项 |
| 36 | 五个场景助手的接口说明与版本标识 | 任务层与链路层验证接入 | 场景建设方 | 表 3 接入条件全部 |
| 37 | 验证窗口安排(每场景连续不少于五个工作日) | 验证执行的稳定服务窗口 | 场景建设方与甲方协调 | 表 3 验证窗口一项 |
表 60 中第 18 项是五个场景唯一的硬前置:决策数据场景的全部验证题目以指标体系为基准,该项未到位时本场景只能按已确认的指标子集分批验证。其余各项不具备时,按各场景末尾的降级路径执行,并在验证报告中标注受限范围与受限对结论的影响。
安全约束贯穿数据集加工生产主线。招标文件在三处提出安全要求:安全软件建设要求提出建设一套商用密码服务平台,统一调度底层密码软硬件资源,向上层应用提供真实性、机密性、完整性、不可否认性四类密码服务;项目安全合规建设要求提出把建设内容的合规性、数据集来源的合法性、敏感数据的去标识与脱敏、全流程审计与权限管控落到实处;信息安全风险评估服务要求提出对建成的平台实施等级保护 2.0 测评与商用密码应用安全性评估,并提供测评报告或证书。另有保密及施工安全要求约束进场施工期间的保密义务与安全责任。
三处要求分别指向技术实现、合规配置与第三方评估,三者在时间上前后相继:技术实现与合规配置完成到一定程度,自评估才有对象;自评估整改完成,机构进场评估才有意义;评估报告出具,验收材料才齐备。因此安全工作按这一前后次序排定时点,不并行压缩到项目末期。
天地奔牛已建成的十余套业务系统,各自域内的安全控制是成型的:产品全生命周期管理系统里的图纸按角色授权,企业资源计划系统里的价格数据按岗位可见,质量管理系统里的检验记录由质检岗维护。这些控制的前提是数据待在原系统里,由该系统的管理员按该系统的权限模型管。
本项目要做的事恰好打破了这个前提。数据集加工生产要把图纸、工艺卡、工单、检验记录、设备时序信号从十余个源系统抽出来,经采集、预处理、标注、合成、质检、验证六七个环节流转,最终汇成预训练、指令微调、强化学习偏好、基准测试四类数据集,并进入运营平台登记、确权、挂牌、交易。
数据一旦离开源系统,原有的系统级权限就不再跟随它;加工流水线上的每一次读取、改写、合并、导出,都成了新的风险点。更要紧的是方向性:源系统里的数据是向内收敛的,加工生产出的数据集是向外流通的,后者出问题不可撤回。
上述差别决定安全控制重心。本项目安全建设落实三件事:第一,在加工链条上重建一套随数据走的权限与审计,使任一条数据在任一环节被谁用过、怎么改过可查;第二,把敏感内容的处理动作前移到入库之前,而不是等到对外发布时再补;第三,用密码手段给数据集的完整性和来源真实性留下可验证的凭据,使交付物的可信不依赖于口头保证。
招标文件点出了四类需要去标识化或脱敏处理的数据:个人信息、敏感地理信息、重要行业数据、企业秘密数据。落到矿山装备制造的实际数据上,这四类分别对应得很具体。
个人信息主要出现在过程记录里。工艺卡上有编制人、审核人、批准人;检验记录上有质检员工号与签名;焊接参数流关联着操作工的班次与工号;远程运维平台的报警处置记录里有值班人员信息。这类字段单条看不敏感,但汇聚到预训练语料里就形成了可识别到具体个人的作业画像。
敏感地理信息来自客户侧。按矿定制的产品,选型输入里包含矿方提供的地质条件报告与工作面参数,有的带井下坐标、巷道布置与煤层赋存条件。这些数据的敏感性不属于天地奔牛,而属于矿方,一旦随数据集外流,受损的是甲方的客户关系与合同义务。
重要行业数据是本项目的主体。二十八道备料工序的工序字典与排序规则、热处理的作业指导书参数、焊接的参数窗口、刮板输送机的校核方法与安全系数门槛,这些构成了企业的核心工艺能力。它们必须进数据集才有价值,又不能原样公开,这是本项目最吃劲的一处权衡。
企业秘密数据集中在经营侧。客户名称、合同金额、报价构成、供应商与材料批次来源、库存资金占用,这些数据在供需计划数据集里是必需的输入,但其中任何一项直接公开都构成商业损害。
四类数据的风险并不止于“被看到”。本项目的数据集最终是要喂给模型的,这带来一个与传统数据库不同的性质:语料一旦参与训练,信息就进入模型参数,无法像删一条记录那样撤销。所以对这四类数据的处理必须发生在语料入库之前,而不是在模型输出端做过滤。项目安全合规建设要求中的脱敏设计即按这个顺序安排。
数据加工生产链条上的主要风险点、发生环节与本节的对应措施如表 12-1 所示。
表 12-1 数据加工生产链条上的安全风险与对应措施
| 风险点 | 发生环节 | 可能后果 | 本节对应措施 |
|---|---|---|---|
| 源系统取数超出授权范围 | 采集接入 | 越权获取未授权数据域 | 取数授权台账与接口白名单,按已授权数据域开通只读访问 |
| 建设内容含不可商用的素材 | 采集、语料构建 | 数据集不可交易、存在侵权追索 | 来源合法性核查清单与四类素材排查 |
| 个人信息随过程记录进入语料 | 预处理、标注 | 形成可识别到个人的作业画像 | 入库前标识符检出与去标识化,保留业务含义 |
| 矿方地质与坐标数据外流 | 预处理、数据集发布 | 侵害客户方权益、违反合同保密义务 | 敏感地理信息降精度与泛化处理,发布前复核 |
| 核心工艺参数被还原 | 合成、指令数据生成 | 工艺能力外泄 | 参数区间化与脱敏规则绑定数据卡,基准集设反向探测题 |
| 加工过程改动无法追责 | 全链条 | 质量问题无法归因,责任不清 | 操作留痕与审计日志按环节采集,日志仅向审计员开放 |
| 数据集被篡改而未被发现 | 存储、交付、流通 | 交付物可信性丧失 | SM3 完整性校验与 SM2 数字签名,版本指纹入库 |
| 密码服务单点失效 | 密码调用 | 依赖加解密的业务中断 | 虚拟密码网关负载调度与服务分组,配降级口径 |
| 高权限账号滥用 | 平台运维 | 批量导出、权限篡改 | 三员分立、操作双人复核、敏感操作留痕告警 |
| 测评不通过影响验收 | 项目后期 | 验收条件不满足 | 先自评估再正式测评,预留整改复测窗口 |
数据来源:招标文件第五章 3.1.2.1、3.2.6.12、3.2.7;风险环节划分依据同章 3.2.6.3 数据加工环节设置。
从上面的风险清单出发,本项目的安全设计遵循四条原则,后续各部分的具体做法都由它们导出。
第一条是密码能力集中、调用分散。密钥与密码运算收口到商用密码服务平台,由平台统一管理密钥全生命周期与设备资源;上层的加工工具链、运营平台、训推服务不各自持有密钥,只通过标准接口申请密码服务。这样做的好处是密钥的保管责任单一,审计口径也单一;代价是密码服务成为关键路径,所以安全软件建设要求中专门安排了负载调度、降级口径与异常恢复测试。
第二条是敏感处理前移。脱敏与去标识化动作安排在数据进入加工流水线的第一道预处理环节,并在数据卡上记录所施加的脱敏规则与版本,使后续环节处理的已经是降敏后的数据。只有确有必要还原原值的环节,例如工艺卡与图纸的定额核算,才走申请、审批、留痕的受控通道。
第三条是先自评、后正式评。等保测评与密评均先由项目组按标准条款做一轮自评估并完成整改,再提请有资质的机构进场正式测评。把问题暴露在自评阶段的成本,远低于在正式测评中留下不符合项再整改复测的成本。
第四条是合规动作留下可核查的痕迹。来源合法性核查、脱敏执行、权限变更、测评整改这四类动作都有对应的台账或报告落盘,以文件形式移交甲方,而不是以“已经做了”的口头说明结案。
本节的设计依据列在表 12-2 中,每一条都标明在本节的哪一部分实际用到。列出依据而不泛称“符合国家相关要求”,是为了让评审可以逐条核对;实施阶段按标准的当期有效版本执行,期间标准换版的按新版本调整并书面说明影响。
表 12-2 安全建设依据与在本节的应用处
| 类别 | 依据名称 | 在本节的应用处 |
|---|---|---|
| 法律 | 《中华人民共和国网络安全法》 | 等级保护定级备案与安全保护义务(等级保护测评) |
| 法律 | 《中华人民共和国数据安全法》 | 数据分级保护、来源合法性与安全管理(安全合规建设) |
| 法律 | 《中华人民共和国个人信息保护法》 | 个人信息去标识化与最小必要处理(安全合规建设) |
| 法律 | 《中华人民共和国密码法》 | 商用密码产品选用与密码应用安全性评估(安全软件建设、密码应用安全性评估、信创适配) |
| 法律 | 《中华人民共和国保守国家秘密法》 | 保密管理与涉密载体控制(保密及施工安全) |
| 行政法规 | 《商用密码管理条例》 | 商用密码产品认证证书核验(密码应用安全性评估、信创适配) |
| 标准 | GB/T 22239《信息安全技术网络安全等级保护基本要求》 | 等保三级技术与管理要求落实(等级保护测评) |
| 标准 | GB/T 22240《信息安全技术网络安全等级保护定级指南》 | 定级依据与级别建议(等级保护测评) |
| 标准 | GB/T 28448《信息安全技术网络安全等级保护测评要求》 | 自评估条款与现场测评配合(等级保护测评) |
| 标准 | GB/T 25070《信息安全技术网络安全等级保护安全设计技术要求》 | 网络分区与安全区域边界设计(等级保护测评) |
| 标准 | GB/T 39786《信息安全技术信息系统密码应用基本要求》 | 密码应用方案编制与四层面设计(密码应用安全性评估) |
| 标准 | GM/T 0115《信息系统密码应用测评要求》 | 密评自评估与证据组织(密码应用安全性评估) |
| 标准 | GM/T 0018《密码设备应用接口规范》 | 密码设备接口封装与多厂商适配(安全软件建设) |
| 标准 | GM/T 0030《服务器密码机技术规范》 | 服务器密码机纳管与参数核验(安全软件建设、信创适配) |
| 标准 | GB/T 32918《信息安全技术 SM2 椭圆曲线公钥密码算法》 | 身份认证、签名验签与证书体系(安全软件建设) |
| 标准 | GB/T 32905《信息安全技术 SM3 密码杂凑算法》 | 完整性校验与版本指纹(安全软件建设、国密算法落点) |
| 标准 | GB/T 32907《信息安全技术 SM4 分组密码算法》 | 数据与文件加解密(安全软件建设、国密算法落点) |
| 标准 | GB/T 38635《信息安全技术 SM9 标识密码算法》 | 标识密码场景的备选算法(密码应用安全性评估) |
| 标准 | GB/T 35273《信息安全技术个人信息安全规范》 | 个人信息处理的最小必要与授权(安全合规建设) |
| 标准 | GB/T 37964《信息安全技术个人信息去标识化指南》 | 去标识化方法选择与重标识风险评估(安全合规建设) |
| 标准 | GB/T 20984《信息安全技术信息安全风险评估方法》 | 风险要素识别、赋值与风险计算(信息安全风险评估) |
| 标准 | GB/T 31509《信息安全技术信息安全风险评估实施指南》 | 风险评估的实施过程与证据组织(信息安全风险评估) |
| 标准 | GB/T 20988《信息安全技术信息系统灾难恢复规范》 | 审计日志、密钥与配置的备份恢复等级(安全合规建设) |
| 标准 | GB/T 43697《数据安全技术数据分类分级规则》 | 分级结论在密码与权限控制上的落实(国密算法落点、安全合规建设) |
数据来源:招标文件第五章 3.1.2、3.2.6.12、3.2.7 与第 4 章第 8 章提出的合规要求;标准编号按现行有效版本列出,具体年份版本在实施阶段以当期有效版本为准。
招标文件在硬件采购清单中已明确服务器密码机须符合《密码设备应用接口规范》与《服务器密码机技术规范》,这两项标准因此既是设备选型依据,也是平台封装层的接口依据,本节功能要求第 8)项的三层封装就是按前者的接口定义组织的。
平台的性能、并发、可靠性、容灾恢复指标,以及数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件设备整体国产化比率不低于 80% 的测算,见非功能性技术要求一节。该比率按采购金额口径核算,分母为本项所采购或开发的软硬件金额,判定规则按整机级作出;安全软件与密码产品作为该分母中的一类构成计入,与硬件配置一节、非功能性技术要求一节取同一份分母定义与同一判定规则。安全软件与密码产品的适配验证与兼容性互认证明材料的份数安排,见本节功能要求第 15)项与第 17)项。
密码机、接入连接器与通用服务器的现场安装、网络连接与国密算法联调由系统集成实施,其接口与配置要求按本节各条执行,实施步骤见系统集成方案一节。数据分类分级标准、数据安全管理制度体系与数据生存周期中的安全控制属数据治理规划的数据安全规划域,其分级结论是本节各技术控制点的唯一取值来源,不另立一套分级标准。
各事项上安全侧的配置与控制、与之相衔接的技术动作,以及两者之间的交接凭据如表 12-3。同一事项在全卷只有一处定义,引用方按该定义执行,避免同一控制点出现两套参数。
表 12-3 安全控制与相邻技术控制的衔接口径
| 事项 | 安全侧的配置与控制 | 相衔接的技术动作 | 交接凭据 |
|---|---|---|---|
| 密码机与接入连接器 | 纳管方式、算法配置、虚拟实例划分、互认证明要求 | 到货验收、上架布线、操作系统适配与国密算法现场联调 | 联调记录签署后方开通纳管 |
| 整体国产化比率 | 安全软件与密码产品的信创适配与证明材料 | 服务器、存储、网络、芯片、数据库的国产化比率测算 | 两处取同一份分母定义与同一判定规则 |
| 可靠性与容灾 | 密码服务的负载调度与单点故障应对、审计日志与密钥材料的备份恢复 | 平台整体可用性指标、备份恢复等级与灾备切换时间的设定 | 密码服务的降级阈值按平台可用性指标取值 |
| 数据分类分级 | 分级结论在技术控制点上的配置与落地 | 分级标准、分级目录的制定、评审与维护 | 以经甲方确认的分级目录为唯一取值来源 |
| 数据生存周期安全 | 加工环节的加解密与脱敏执行 | 数据保存期限、归档与销毁策略的制定 | 密钥销毁与数据销毁按同一期限表执行 |
| 审计日志 | 日志采集范围、三员管理、完整性保护、留存与查询 | 审计制度、岗位职责与检查频次的设定 | 日志字段按审计制度列明的检查项配置 |
| 评估与认证 | 评估范围界定、自评估、整改与现场配合 | 测评与评估机构的委托、进场协调与报告归档 | 评估范围清单经甲方确认后提交机构 |
| 保密管理 | 保密协议签署、涉密载体与人员管理 | 合同保密条款的核对与签署 | 个人保密承诺签署齐备后方可进场 |
数据来源:招标文件第五章 3.1.2、3.1.2.2、3.1.2.3、3.2.6.1、3.2.6.12、3.2.7 与第 4 章第 8 章提出的要求。
招标文件要求安全软件集密码服务、管理、态势感知于一体,统一调用底层各类密码软硬件资源,为上层应用提供真实性、机密性、完整性、不可否认性全栈密码服务,总体能力表现为商用密码服务平台。我方据此建设一套独立部署、面向多应用供给的商用密码服务平台,作为数据集加工生产平台、数据集运营服务管理平台与训练推理服务的共用密码基础设施,其功能要求按招标文件所列十九条逐条落实。
平台按独立部署、面向多应用供给的密码基础设施建设,不采用嵌在某个业务系统里的加密模块形态。这一定位决定了它的部署位置、接口形态与能力边界。
部署形态上,平台部署在甲方数据中心内网,与数据集加工生产平台、数据集运营服务管理平台、训练推理服务同网段但独立主机。密码机以旁挂方式接入,走专用网段,不暴露在业务网段上。平台自身的管理台与被管设备之间的通信按设备厂商规定的安全信道建立,管理台只对运维网段开放。
能力上,平台向上提供真实性、机密性、完整性、不可否认性四类密码服务。真实性由基于 SM2 的证书认证与双因素登录承担;机密性由 SM4 对称加密与 SM2 非对称加密承担;完整性由 SM3 哈希与消息认证码承担;不可否认性由 SM2 数字签名与时间戳承担。四类能力与数据集加工生产各环节的对应关系,见本节国密算法在数据加工生产主线上的落点部分。
平台对外提供的密码服务按能力归并为六组,接口清单与调用口径如表 12-4 所示。清单作为接口文档的目录随平台交付,调用方按此清单申请服务开通。
表 12-4 密码服务接口清单与调用口径
| 服务组 | 服务项 | 主要用途 | 调用模式 | 对应密码能力 |
|---|---|---|---|---|
| 数据加解密 | 数据加密、数据解密、字段级加解密 | 结构化数据中敏感字段的保护 | 软件开发工具包、接口 | 机密性 |
| 文件加解密 | 文件加密、文件解密、分块流式加解密、批量加解密 | 图纸、工艺卡、报告与数据集分片的保护 | 软件开发工具包为主 | 机密性 |
| 摘要与校验 | 摘要计算、批量摘要、摘要比对、版本指纹生成 | 数据对象完整性校验与数据集版本指纹 | 两种模式均可 | 完整性 |
| 签名验签 | 数据签名、文件签名、批量签名、签名验证 | 数据集版本发布、评测报告、交付清单的来源证明 | 两种模式均可 | 不可否认性 |
| 证书与认证 | 证书签发、证书状态查询、吊销、双因素认证校验 | 用户与设备身份鉴别 | 接口为主 | 真实性 |
| 时间戳 | 时间戳申请、时间戳验证 | 加工记录与交付动作的时间证明 | 接口 | 不可否认性 |
数据来源:招标文件第五章 3.1.2.1(8)(11)(12)(13)条。
这份清单的组织方式有一处刻意的选择:接口按业务语义命名而不按算法命名。调用方申请的是“为数据集版本签名”,不是“调用 SM2 签名接口”。算法与设备的变动因此不传导到业务代码里,这与基础密码服务的三层封装是同一个考虑。清单中的每一项在接口文档中给出入参、出参、错误码、幂等性说明与调用频率限制。
招标文件要求安全软件“集密码服务、管理、态势感知于一体,统一调用底层各类密码软硬件资源,为上层应用提供真实性、机密性、完整性、不可否认性全栈密码服务,总体能力表现为商用密码服务平台”。我方按这一要求组织四层架构:底层是密码资源层,中间是密码服务层与密码管理层,上层是数据安全合规层,外部是第三方测评与合规审查。
密码资源层容纳物理与虚拟的密码设备。采购清单中的服务器密码机提供 SM1、SM2、SM3、SM4、SM9 国密算法与 RSA 国际算法的硬件运算能力,平台通过标准设备接口将其纳管,并在其上划分虚拟密码机实例,按应用与租户分配。签名验签服务器与时间戳服务按同一方式纳管。
密码服务层把设备能力封装成面向业务的服务。对外暴露的是数据加解密、文件加解密、哈希运算、签名验签、证书认证、时间戳六类服务,以软件开发工具包与表述性状态转移接口两种形态提供。调用方不感知下层是哪台设备、哪家厂商,设备更换或扩容不影响上层代码。
密码管理层承担管理与可视能力,包括应用管理、租户管理、密钥管理、服务调度、鉴权管理、日志管理、告警管理与密码态势感知。这一层是三员管理模式的落点:系统管理员、安全管理员、审计管理员的职责在此分立。
数据安全合规层是本项目特有的一层。它由来源合法性核查、分类分级标识、去标识与脱敏、权限校验与访问名单、全流程审计五组能力构成,直接作用于数据集加工生产主线上的数据对象,并按需调用下层密码服务。
四层之上是第三方测评与合规审查,由具备资质的机构实施等级保护 2.0 测评与商用密码应用安全性评估,出具报告或证书。它不是架构的一部分,而是对架构实现结果的外部验证,因此在图中以虚线框表示。
安全软件能否被认定为招标文件所称的“商用密码服务平台”,关键不在功能项是否齐全,而在各项能力是否被组织成一条自下而上、职责不重叠的调用链:设备能力只从资源层出口,业务侧只见服务不见设备,管理与审计独立于业务通路,外部测评不介入架构内部而只验证实现结果。图 12-1 回答的正是这一问题——四层安全架构与各层职责一节分述的四层,合起来是不是一个能够成立的整体。
图面按四层自上而下排列,次序与依赖方向一致而与调用方向相反:最上一层是直接作用于数据集加工生产主线的数据安全合规层,往下依次为密码服务层与密码管理层、密码资源层,最下一条贯通全宽的是信创基础环境,表示四层均须在国产化基础软硬件上完成适配并提供互认证明。箭头上的文字是层间实际传递的内容而非抽象依赖关系:向下是加解密与签名请求、设备纳管与密钥操作指令,向上是运算结果与设备状态。右侧虚线框内是第三方测评,用虚线表示它不属于架构本身,只对架构的实现结果出具报告或证书。
读图时以纵向箭头为主线:任一项密码能力都应能从数据安全合规层的某个方框出发,经密码服务层落到密码资源层的某台设备,中途不出现绕过密码管理层的旁路;凡在图上找不到这条通路的能力,即属尚未落地,需在详细设计阶段补齐。全图成立,即说明十九条功能要求不是一张并列的功能清单,而是一套有统一出口、统一管控点与统一适配底座的服务。
图 12-1 项目安全总体架构与层间数据流向。数据来源:招标文件第五章 3.1.2.1(1)至(19)功能要求、3.2.6.12 安全合规要求、3.3.1 硬件采购清单服务器密码机参数。
招标文件对商用密码服务平台提出十九条功能要求。这十九条的跨度很大:既有应用注册、租户隔离这类管理动作,也有一文一密、证书校验这类密码技术细节,还有互认证明份数与产品认证证书这类材料性条款。逐条复述要求本身解决不了问题,需要回答的是每一条落到可交付的建设内容是什么、验收时凭什么判定它已经达到,表 12-5 即按这两问组织。
表中「建设内容」一列取自各条原文的能力点,不作增删,只把散在描述句中的对象归并为可配置、可演示的功能项;「验收口径」一列是我方给出的判定方式,取值遵循三条:属功能性要求的,写成验收环境中可现场演示的一个动作,如服务开关单项启停并留痕、跨租户调用在接口层被拒绝;属容量与份数要求的,写成可逐项核对的数量与编号,如证书编号与有效期可核验、互认证明合计不少于十二份;属架构性要求的,写成一次可观测的替换或故障实验,如更换设备厂商不改上层调用代码、单实例下线时业务调用可继续。如此取值,是为使每条要求都有一个不依赖主观判断的收口动作,而不是停留在“具备某项能力”的笼统表述上。
读表时以「验收口径」一列为判据,「单元」一列为出处证据,可回招标文件原文逐条比对。第 15、17、18、19 四行需格外留意:其成立与否取决于证明文件是否齐备,是十九条中唯一不能由平台现场演示自证的一类,相应材料在安全类交付物清单中单列台账管理。十九行逐行达到各自口径,即构成商用密码服务平台按招标要求建成并可验收的完整证据链;各条的实现方式其后逐条给出。
表 12-5 商用密码服务平台十九条功能要求的建设内容与验收口径
| 序 | 功能 | 建设内容 | 验收口径 |
|---|---|---|---|
| 1 | 应用管理 | 应用注册、接入审批、密码服务按应用启停 | 任一应用的服务开关可在管理台单项启停并留痕 |
| 2 | 云密码资源池管理 | 硬件密码机、虚拟密码机、驱动、分组四类纳管对象 | 四类管理功能在验收环境可演示 |
| 3 | 密码态势感知 | 资源状态、调用量、服务状态三类视图与大屏 | 大屏可展示指定时段的调用分布 |
| 4 | 密钥管理 | 对称与非对称密钥的生成、存储、分发、导入、备份、状态、轮换、撤销与销毁 | 密钥操作逐笔可审计、销毁不可恢复 |
| 5 | 租户管理 | 计算隔离、服务隔离、密钥隔离,按租户审批与分配 | 跨租户调用在接口层被拒绝并记录 |
| 6 | 密码服务负载 | 虚拟密码网关动态调度与服务分组负载 | 单实例下线时业务调用可继续 |
| 7 | 密码服务调度 | 服务注册表、运行状态视图、分组与动态分配 | 分组变更即时生效且可回退 |
| 8 | 基础密码服务 | 封装密码机、时间戳、签名验签服务器等设备接口 | 更换设备厂商不改上层调用代码 |
| 9 | 鉴权管理 | 基于标识与 IP 的白名单,按应用开通服务 | 禁用应用后调用即被拒绝 |
| 10 | 日志管理 | 登录、操作、调用三类日志,审计员专属视图 | 日志仅审计员可读,可按多维度统计 |
| 11 | 应用接口调用 | 软件开发工具包与表述性状态转移接口两种模式 | 两种模式均提供接口文档与示例 |
| 12 | 数据加解密 | 数据与文件加解密、SM3 哈希、签名验签、批量处理、一文一密 | 一文一密策略可按数据集分片验证 |
| 13 | 身份认证 | SM2 国密公钥基础设施、口令加证书双因素、证书全生命周期与证书校验 | 证书签发至吊销各环节可演示,校验失败即拒绝 |
| 14 | 告警管理 | 自定义规则、状态监控、短信与邮件通知 | 制造异常后在约定时限内收到通知 |
| 15 | 国产化适配兼容(每类不少于 1 份互认证明) | 操作系统、中央处理器、数据库、中间件四类适配与验证 | 四类环境下功能与性能用例全部通过并出具适配报告 |
| 16 | 商用密码产品认证证书 | 所选密码产品持有有效证书 | 证书编号与有效期可核验 |
| 17 | 国产化适配兼容(每类不少于 3 份互认证明) | 四类各提供不少于 3 份,合计不少于 12 份 | 材料清单与扫描件齐备,按从严口径执行 |
| 18 | 多厂商密码机设备集成 | 不少于三家厂商设备互认证明与驱动适配 | 提供设备型号与互认文件清单,换厂商不改上层代码 |
| 19 | 商用密码产品认证证书 | 逐台核验证书编号、型号、认证范围与有效期 | 核验记录随密评材料提交 |
数据来源:招标文件第五章 3.1.2.1(1)至(19)。
平台提供应用的注册、接入、变更与下线管理,每个接入方在平台上有唯一应用标识与一份服务开通清单。
应用注册时登记应用名称、所属租户、责任人岗位、部署位置、调用方式与申请的服务项,由安全管理员审批后生成应用密钥与接入凭据。开通清单按服务项逐项配置,支持单项启用与禁用:例如数据集运营平台只开通元数据加解密与签名验签,不开通批量文件加解密;加工流水线的预处理工具只开通文件加解密与 SM3 哈希。启停操作即时生效,并在操作日志中记录操作人、时间、变更前后状态。
应用下线时先禁用服务调用,保留凭据与日志至约定留存期满后再行清理,避免下线即失去追溯依据。
平台把底层密码设备组织成资源池,围绕硬件密码机管理、虚拟密码机管理、驱动管理、分组管理四类对象提供管理能力。
硬件密码机(Hardware Security Module,HSM)管理负责设备的纳管、状态巡检、算法开通、固件版本记录与密钥区容量监控。服务器密码机的技术参数按采购清单执行,单设备对称密钥存储不少于 4096 个、非对称密钥对不少于 2048 对,平台按应用与租户划分密钥区并记录占用。
虚拟密码机(Virtual Security Module,VSM)管理在硬件之上划分逻辑实例,每个实例拥有独立的密钥空间与算法配额,分配给特定租户或应用使用。本项目的加工生产、运营平台、训练推理三类负载对密码服务的调用特征差别很大:加工生产是批量长任务,运营平台是短而频的交互调用,训练推理集中在数据集读取时段。按负载分设虚拟实例,可避免批量任务把交互调用挤在后面。
驱动管理维护不同厂商设备的驱动与接口适配包,记录版本、适配的设备型号与国产化基础环境的兼容情况。新增一家厂商的设备时,只在驱动管理中增加适配包并完成联调,上层服务定义不变。
分组管理把若干设备或虚拟实例编成服务分组,作为调度与负载的单位。分组按用途划分,例如“加工加解密组”“运营签名组”“测评演示组”,分组内的实例可动态增减。
平台提供面向管理者的态势视图,并支持大屏展示。
视图分三类。第一类是密码资源运行状态:设备在线情况、负载率、密钥区占用、温度与电源状态、告警数量。第二类是密码服务调用情况:按应用、按租户、按服务项、按时间段的调用量与成功率,支持下钻到单次调用记录。第三类是密码服务运行状态:各服务分组的响应时延分布、队列深度、异常调用占比。
态势感知按事前、事中、事后分开展示判断依据。事前看的是容量与配置是否留有余量,例如密钥区占用接近阈值、某个分组的时延在批量任务期间持续上行;事中看的是异常调用是否在发生,例如同一应用在短时间内发起远超日常基线的批量解密;事后看的是追溯依据是否完整,例如某次数据集导出所用的密钥、调用链与操作人是否可以串起来。
态势感知的指标清单如表 12-6 所示。清单在实施阶段与甲方确认后配置,指标阈值按试运行期实测数据设定,不在方案阶段写死。
表 12-6 密码态势感知指标清单
| 视图 | 指标 | 展示粒度 | 用途 |
|---|---|---|---|
| 资源状态 | 设备在线状态、负载率、温度与电源状态 | 按设备 | 事前容量与健康判断 |
| 资源状态 | 密钥区占用数量与占用率 | 按设备、按租户 | 容量预警 |
| 资源状态 | 虚拟实例数量与分组归属 | 按分组 | 配置核对 |
| 调用情况 | 调用总量、成功量、失败量、拒绝量 | 按应用、按租户、按时段 | 事中异常发现 |
| 调用情况 | 按服务项的调用分布 | 按服务项 | 容量规划与异常用法识别 |
| 调用情况 | 批量任务的进度与剩余量 | 按任务 | 作业排期 |
| 服务状态 | 响应时延分布与分位值 | 按分组 | 性能退化发现 |
| 服务状态 | 队列深度与积压时长 | 按分组 | 拥塞判断 |
| 服务状态 | 健康探测失败次数与摘除记录 | 按实例 | 故障追溯 |
| 安全态势 | 越权调用尝试次数与来源分布 | 按应用、按地址 | 攻击面观察 |
| 安全态势 | 证书到期分布与吊销记录 | 按证书类型 | 事前到期管理 |
| 安全态势 | 密钥操作次数与操作类型分布 | 按操作类型 | 事后审计线索 |
数据来源:招标文件第五章 3.1.2.1(3)(10)条。
大屏展示按甲方会议室与运维值班两种场景分别出一套布局。大屏默认不展示密钥材料、应用密钥与具体数据内容,只展示聚合指标与状态,避免因展示带来新的泄露面。
密钥管理是整个平台里责任最重的一处,密钥一旦失控,其余所有控制都失去意义。
平台提供集中的应用密钥管理,覆盖对称密钥与非对称密钥,支持密钥的生成、导入、导出受控、状态查看、启用停用、备份恢复与销毁。密钥按三级组织:根密钥存放在密码机安全区,不出设备;应用主密钥由根密钥派生或加密保护,按应用隔离;数据密钥按一文一密、一数据一密策略动态生成,以应用主密钥加密后随数据存放。
密钥的生成一律在密码机内完成,平台不接收外部以明文形式提交的密钥材料。确需导入已有密钥时,走密钥分量导入流程,由两名持不同分量的管理员分别录入,任一人无法单独还原完整密钥。密钥备份以加密形式导出,备份介质的保管与使用按双人双锁管理,备份恢复操作留痕并通知审计管理员。
密钥销毁区分两种口径。逻辑销毁将密钥状态置为已销毁并解除引用,保留审计记录;物理销毁在密码机内擦除密钥材料,执行后不可恢复。涉及已加密数据的密钥销毁前,必须先确认该密钥关联的数据已完成转加密或已达到保存期限,这一校验由平台在销毁流程中强制执行,避免出现数据尚在而密钥先毁的情形。
密钥轮换按用途设定周期:数据密钥随对象生成,不复用;应用主密钥按年度轮换或在人员变动、疑似泄露时立即轮换;根密钥在设备生命周期内原则上不轮换,确需更换时按设备厂商规程执行并重新封装应用主密钥。所有密钥操作形成密钥管理审计台账,供审计员查询。 密钥分发不以传递密钥材料的方式进行。应用侧拿到的是密钥句柄与调用凭据,而不是密钥本身:应用主密钥始终驻留密码机,应用通过接口以句柄引用它完成运算;数据密钥由平台在密码机内生成,以应用主密钥加密后随密文存放,应用侧同样不接触明文密钥。确需跨设备同步密钥的场景(例如多厂商设备间的互备),走设备间的安全信道并以分量方式传递,传递两端均记录分量编号与接收确认。
密钥撤销与密钥销毁是两件事,平台上分开配置。撤销是把密钥置为不可用状态并解除其全部引用关系,适用于人员变动、疑似泄露、应用下线三类情形,撤销后以该密钥加密的数据按转加密流程改用新密钥保护,转加密未完成前原密钥保持可解密但不可加密的受限状态。销毁是在密码机内擦除密钥材料,执行后不可恢复,仅在转加密完成或关联数据已达保存期限后执行;销毁前的关联数据状态校验由平台在流程中强制执行。撤销与销毁均需双人复核,操作记录分别留痕并通知审计管理员。
三级密钥体系的构成与各级密钥的保管方式如图 12-2 所示。
图 12-2 三级密钥体系与各级密钥保管方式。数据来源:招标文件第五章 3.1.2.1(4)(12)条。
本项目的密码服务不只服务于一套应用,数据集建成后还要面向行业用户提供服务并接入国家数据基础设施,因此租户隔离从一开始就要设计到位,而不是等到有第二个使用方时再改。
隔离分三层。计算隔离按虚拟密码机实例划分,不同租户的密码运算在不同实例中执行,实例间不共享会话与上下文。服务隔离按服务分组与开通清单实现,租户只能调用已分配给它的服务项。密钥隔离按密钥空间划分,租户主密钥彼此独立,平台在接口层校验调用方租户标识与目标密钥归属,不一致即拒绝并记录为越权尝试。
管理流程上,租户内可以自行添加业务应用、提交接入申请,由平台安全管理员审批并分配密码服务。审批记录与分配结果进操作日志。租户的资源配额包括虚拟实例数、密钥数量上限与调用速率上限,配额用尽时触发告警而不是静默排队,便于及早扩容。
密码服务负载的落点很明确:通过虚拟密码网关实现应用与密码服务或服务分组的动态调度和负载,防止密码服务单点故障导致应用瘫痪。
虚拟密码网关是应用与密码服务之间的统一入口。应用不直接连接具体设备或实例,而是连接网关提供的虚拟服务地址;网关按配置的策略把请求分发到服务分组内的可用实例。分发策略按服务特征选择:无状态的加解密与哈希运算按最小连接数分发;需要会话连续的签名流程按会话黏滞分发;批量任务按配额预留的实例独占执行,不与交互调用混用。
可用性设计分三层。第一层是实例级,网关对分组内每个实例做健康探测,探测失败即摘除并把在途请求重投到其他实例。第二层是分组级,为关键服务配置主备分组,主分组整体不可用时切换到备分组。第三层是降级口径,这一层必须写清楚,因为它是单点故障时业务能不能继续的最后依据。
降级按数据敏感级别分档处理。涉及最高敏感级数据的加解密与签名操作不设降级通道,密码服务不可用期间相关任务进入等待队列并告警,等服务恢复后继续,不以降低密码强度的方式放行。一般敏感级的完整性校验在密码服务不可用期间可暂存待校验队列,服务恢复后补算并回填结果,暂存期间该批数据不进入下一加工环节。只读类的交互查询在不涉及解密的部分正常响应,涉及解密的字段返回受限提示。这三条口径会写入运行手册,并作为可靠性测试的用例之一;平台整体的可用性指标与故障切换时限见非功能性技术要求一节。
此处需要说明一处配置前提。招标文件硬件采购清单中服务器密码机的数量为 1 台,而招标文件第(6)条要求防止密码服务单点故障导致应用瘫痪。在单台硬件密码机的配置下,我方的实现方式是:在单机内划分多个虚拟密码机实例并编入服务分组,由虚拟密码网关在实例间做调度与负载,以应对单实例进程级故障;对于整机级故障,按上述三档降级口径处置,关键任务等待恢复而不降级放行。若甲方后续同意按冗余配置补充第二台密码机,平台的分组与主备切换能力可直接启用,无需改造。
平台维护一张密码服务注册表,列出已注册的服务实例、所属设备、支持算法、当前运行状态与所属分组,管理员可在管理台直接查看。
调度能力包括三项。一是分组编排,把服务实例按用途编入分组,支持新增、调整与解散。二是动态分配,把服务或服务分组分配给指定的应用或租户调用,分配变更即时生效,并保留变更前的配置以便回退。三是权重与配额,为分组内实例设置分发权重,为应用设置调用速率上限,防止单一应用的批量任务占满资源。
调度的日常使用场景在本项目里是具体的。数据集加工有明显的批量作业期:图纸与工艺文档的批量解析、语料的批量入库、数据集版本发布前的批量签名,这些任务一旦启动就是连续数小时的高频调用。调度配置上为这类任务预留专用分组并限定并发,使运营平台的交互调用不受影响。基准测试数据集发布与数据集挂牌展示期间,签名验签调用量会出现尖峰,按预案临时提高该分组权重。
图 12-3 给出一次密码服务调用的完整链路与各环节的校验内容。
图 12-3 密码服务调用链路与各环节校验内容。数据来源:招标文件第五章 3.1.2.1(1)(5)(6)(7)(9)(10)条功能要求。
平台把不同厂家的密码设备接口封装成统一规范的服务接口,设备类型包括但不限于密码机、时间戳服务器、签名验签服务器。
封装分三层。设备驱动层对接各厂商的设备接口,按《密码设备应用接口规范》与《服务器密码机技术规范》实现标准调用,厂商专有接口在此层收敛。能力抽象层把设备能力归并为算法能力集,例如“SM4 对称加解密”“SM2 签名”“SM3 摘要”“时间戳签发”,屏蔽同一能力在不同厂商设备上的参数差异。服务接口层按业务语义组织接口,例如“加密数据集分片”“为数据集版本签名”“为加工记录加盖时间戳”,调用方按业务语义调用而不按算法调用。
这样分层的实际收益在换件与扩容时显现。本项目的建设周期延续至 2028 年 5 月,期间可能出现设备扩容、备件替换或厂商供货变化。有了这三层封装,更换设备只需在驱动层增加适配包并完成联调,上层加工工具链与运营平台的代码与配置不动。多厂商设备的互认证明材料要求见本节功能要求第 18)项。 算法调用的口径在封装层固定下来,调用方不得在接口上指定算法与参数,避免同一类数据在不同模块上用了不同强度的保护。各类操作的算法调用口径如表 12-7。
表 12-7 各类操作的算法调用口径
| 操作 | 算法 | 参数口径 | 随机源 | 调用位置 |
|---|---|---|---|---|
| 文件与分片加解密 | SM4 | 分组工作模式按带初始向量的方式配置,初始向量每次随机生成并随密文存放;不使用无初始向量的工作模式 | 密码机内置随机数发生器 | 密码机内 |
| 字段与记录加解密 | SM4 | 同上;字段级加密保留密文长度可变,不为对齐而截断原值 | 密码机内置随机数发生器 | 密码机内 |
| 摘要与版本指纹 | SM3 | 对象摘要按内容全量计算;版本指纹对分片清单与各分片摘要再计算一次 | 不适用 | 密码机内或软件开发工具包本地,按数据量选择 |
| 数字签名与验签 | SM2 | 签名前先以 SM3 计算摘要再签名;签名值与签名者证书序列号一并存放 | 密码机内置随机数发生器 | 密码机内 |
| 身份认证与密钥协商 | SM2 | 证书链校验通过后方进入协商;协商结果仅用于本次会话 | 密码机内置随机数发生器 | 密码机内 |
| 标识密码场景 | SM9 | 用于以标识为公钥的轻量认证场景,作为备选能力提供 | 密码机内置随机数发生器 | 密码机内 |
| 密码机内部密钥存储 | SM1 | 根密钥与应用主密钥在设备安全区内的存储保护 | 密码机内置随机数发生器 | 密码机内 |
| 传输通道保护 | 国密传输层加密套件 | 双向证书认证;套件与算法版本随设备与中间件的合规版本更新 | 设备侧 | 通道两端 |
数据来源:招标文件第五章 3.1.2.1(8)(11)(12)(13)条与 3.3.1 硬件采购清单服务器密码机算法支持范围。
国际算法仅在与外部系统互联确有必要时按兼容需要启用,启用前逐例登记用途、对端与启用期限,并在密码应用方案中列明;本项目内部链路的保护一律使用国密算法。
平台按应用标识与来源 IP 两个维度设置白名单,为应用系统接入授权。
授权有两个独立的闸口,两个都通过才允许调用。第一个闸口是接入授权:调用方必须持有有效的应用标识与接入凭据,且来源 IP 在该应用登记的白名单网段内。第二个闸口是服务授权:该应用必须已被开通所申请的服务项。两个闸口分开设置,是为了区分“不是你”和“不该你调这个”两类拒绝原因,便于排障与审计。
被禁用的业务应用立即失去密码服务调用权限。禁用的生效方式是网关侧拒绝而非仅前端隐藏,禁用后在途请求按配置选择立即中断或允许完成当前批次,默认立即中断并记录中断的请求数。每一次被拒绝的调用都写入调用日志,标注拒绝原因,并计入态势感知的异常调用统计。
针对本项目的接入方清单,鉴权配置按最小必要原则预置。数据集加工流水线的各工具链按环节分别注册,预处理工具只开通文件加解密与哈希,标注工具只开通哈希与签名验签,不开通解密;数据集运营服务管理平台开通元数据加解密、签名验签与证书认证;训练推理服务只开通数据集读取所需的解密与完整性校验。配置清单作为交付文档的一部分移交甲方,后续变更走审批。 接口鉴权的具体配置在两道闸口之外另加四项。其一是请求签名:调用方以其应用密钥对请求关键字段计算签名,平台侧验签通过才进入业务处理,防止请求在传输中被改写。其二是时间戳与随机串:每次请求携带时间戳与一次性随机串,平台拒绝超出时间窗口的请求,并在窗口内对随机串去重,使被截获的请求无法重放。其三是调用速率上限:按应用与按服务项分别设置速率上限与并发上限,超限的请求排队或拒绝并计入告警,防止单一应用的批量任务占满资源。其四是凭据轮换:接入凭据设有效期,到期前提醒并支持新旧凭据并行的过渡窗口,过渡期结束旧凭据自动失效。
四项配置的参数在实施阶段按甲方环境确定并写入接口文档,参数变更走审批并记录变更前后值。
日志是本项目安全合规能力的直接证据,也是项目安全合规建设中审计要求的实现基础,因此单列说明。
平台记录三类日志。登录日志记录平台用户的登录时间、账号、来源地址、认证方式与结果。操作日志记录管理员在后台的全部配置变更,包括应用注册与启停、租户与配额调整、密钥操作、分组与分配变更、白名单变更,每条记录变更前后的值。调用日志记录业务系统调用密码服务的时间、应用标识、租户、服务项、数据对象标识、密钥标识、返回码与耗时,不记录明文数据内容与密钥材料本身。
三员管理模式按职责分立配置。系统管理员负责平台与设备的部署、配置、资源分配,不能查看审计日志,也不能单独完成密钥导入与销毁。安全管理员负责应用与租户审批、服务开通、白名单与策略配置、密钥策略设定,不能变更日志配置。审计管理员负责日志的查询、统计、导出与归档,不能变更任何业务配置。三员账号不得兼任,账号创建时由平台做互斥校验。
日志只针对审计员开放。实现上,日志存储独立于业务库,访问入口仅审计管理员视图可达;系统管理员与安全管理员在管理台看不到日志查询菜单,直接访问日志接口会被拒绝并记录为越权尝试。日志本身不可编辑、不可删除,留存期内按时间分区归档;归档文件做 SM3 摘要并签名,摘要值单独留存,用于后续验证归档件未被改动。
查询能力按要求提供多维度支持。可按操作方、IP 地址、账号、应用标识查询单条记录;可按业务系统、时间段、密码服务项、租户维度做统计,输出调用量、失败率、异常调用数;支持导出为可归档格式供测评与检查使用。日志留存期按不少于六个月设置,并与数据治理的数据生存周期规划中的审计日志保存期限取较长者执行。
平台同时提供软件开发工具包与表述性状态转移接口两种调用模式,以适配不同的集成场景。
软件开发工具包适用于加工流水线中对性能敏感的批量处理。工具包提供连接池、会话复用、批量接口与本地缓存的密钥句柄,减少每次调用的握手开销。本项目的批量场景很具体:数据集分片的批量加密、图纸与工艺文档批量入库时的摘要计算、数据集版本发布时对数万个文件对象逐一签名,这些场景按单次调用模式做会把时间耗在连接上。工具包提供主流开发语言版本,并随附在国产化操作系统与中间件环境下的编译与部署说明。
表述性状态转移接口适用于运营平台的交互调用与外部系统的轻量集成,按统一的请求响应结构组织,支持同步调用与异步任务两种形态,长耗时的批量任务以提交任务加轮询结果的方式处理。接口鉴权沿用本节功能要求第 9)项的两道闸口。
两种模式提供同一套接口文档、错误码表与调用示例,并在验收环境提供可直接运行的示例程序。接口文档、数据结构说明与二次开发指导按开放性要求的口径提供,见非功能性技术要求一节。
数据加解密是密码服务在本项目中使用量最大的能力,涵盖数据与文件加解密、SM3 哈希运算、签名验签及批量处理,并支持“一文一密”“一数据一密”的精细化加密策略。
一文一密的实现方式是:每一个受保护的文件对象在首次入库时由平台在密码机内生成一个独立的数据密钥,用该密钥以 SM4 算法加密文件内容,数据密钥本身以所属应用的主密钥加密后与密文一同存放。读取时先解出数据密钥,再解出内容,数据密钥不在平台内存中长期驻留。一数据一密按同样原理作用于字段级或记录级对象,粒度由数据的分级结果决定。
这个策略在本项目里的落点很明确。图纸文件、工艺卡文件、矿方地质条件报告、合同与报价文档属文件对象,按一文一密处理;数据集分片按分片为单位加密,每个分片一个数据密钥,便于按分片授权下载而不必解开整个数据集;结构化数据中的敏感字段,例如客户名称、合同金额、物料价格、人员工号,按一数据一密在字段级加密。粒度细带来的开销是密钥数量大,因此密钥以派生方式按对象标识生成并记录映射关系,不逐个长期存储完整密钥材料。
SM3 哈希运算用于完整性校验与版本指纹。每个数据对象入库时计算摘要并记录;数据集每发布一个版本,对该版本的分片清单与各分片摘要再计算一次版本摘要,形成版本指纹。后续任何一方拿到数据集都可以自行计算摘要与指纹核对,判断内容是否与交付时一致。签名验签用于来源真实性与不可否认性,数据集版本发布、质量评测报告、交付清单均由平台以 SM2 签名,签名值随交付物提交。
批量处理按流式方式实现,大文件分块加解密并计算分块摘要,避免整文件加载内存;批量任务支持断点续作,中断后从已完成分块继续,不重做整批。加解密的吞吐以采购的服务器密码机参数为基础(SM4 加解密不低于 1800Mbps、SM3 不低于 1800Mbps),在试运行阶段按本项目实际数据量做一轮实测,据实测结果确定批量窗口的排期,而不在方案阶段锁定单位时间处理量。
平台基于 SM2 国密算法构建公钥基础设施体系,提供口令与证书结合的双因素身份认证。
证书体系按两级组织:项目根证书在密码机内生成并离线保管,签发业务子证书;子证书分为用户证书与设备证书两类。用户证书签发给平台管理员、加工生产岗位人员与运营平台的授权用户;设备证书签发给接入连接器、加工节点、训练推理节点等需要互相认证的实体。
双因素认证的两个因子是口令与证书。登录时先校验证书有效性(签发链、有效期、吊销状态),再校验口令,两者均通过方予放行。证书载体支持智能密码钥匙等认证设备,也支持软证书形态用于不便使用硬件介质的场景,软证书仅限非最高敏感级操作使用。涉及密钥操作、权限变更、数据集批量导出这三类敏感动作时,除双因素登录外再要求一次独立的签名确认,签名值入操作日志。
证书全生命周期管理覆盖注册、审核、签发、延期、吊销、归档六个环节。注册由申请人提交,审核由安全管理员执行并记录审核依据,签发在密码机内完成,延期在到期前按设定提前量提醒并走简化审核,吊销支持立即生效并同步更新吊销列表,归档保留证书与操作记录至留存期满。人员岗位变动或离场时,由项目组在变更当日提交吊销申请,吊销后相关账号同步禁用。
证书状态的查询向调用方提供在线接口,接入方在建立连接时可实时核验对端证书状态,不依赖本地缓存的吊销列表。吊销列表同时以文件形式按周期发布,供不便在线查询的场景使用。 证书校验在每一次建立连接与每一次敏感操作确认时执行,校验项固定为六项,任一项不通过即拒绝并记录原因码:证书签发链可追溯到项目根证书且链上各级证书均有效;证书在有效期内;证书未被吊销,吊销状态以在线查询结果为准,在线查询不可达时以最近一次发布的吊销列表为准并降级为只读放行,不放行写操作;证书用途扩展与本次用途匹配(用户证书不用于设备认证,设备证书不用于人员登录);证书主体标识与调用方登记的应用标识或账号标识一致;证书所用算法在允许的算法清单内。
校验失败的原因码按上述六项分开编码,不合并为一个“认证失败”。原因码进调用日志与审计事件,便于区分配置错误与越权尝试:链不可追溯与算法不合规多为配置问题,主体不一致与用途不匹配则需按越权尝试统计并纳入安全态势观察。
平台支持自定义告警规则,实时监控密码设备与密码服务的运行状态,检测到异常时以短信或邮件形式发送通知。
告警规则按四类对象预置并允许自定义。设备类规则监控设备离线、电源与风扇异常、密钥区占用超阈值、固件校验失败。服务类规则监控服务实例不可用、时延超阈值、失败率超阈值、队列积压。安全类规则监控越权调用尝试、白名单外访问、日志访问异常、证书即将到期与异常吊销。容量类规则监控密钥数量、调用配额与存储占用接近上限。
告警分三级。一级为影响业务连续性的事件,例如设备整机离线、服务分组整体不可用,通知方式为短信加邮件,并通知到项目组值班与甲方运维联系人。二级为需当日处置的事件,例如单实例不可用、失败率持续超阈值、证书七日内到期,通知方式为邮件加平台内消息。三级为提示类事件,例如容量达到预警线,仅在平台内与日报中呈现。告警的收敛规则一并配置,同一对象同一类型的重复告警在设定窗口内合并为一条,避免风暴期间淹没有效信息。
告警规则的预置清单如表 12-8 所示,每条规则给出触发条件的类型与默认级别,阈值在试运行期按实测基线设定。
表 12-8 告警规则预置清单
| 类别 | 规则 | 触发条件类型 | 默认级别 |
|---|---|---|---|
| 设备 | 密码设备离线 | 状态变化 | 一级 |
| 设备 | 电源或风扇异常、机内温度超限 | 状态阈值 | 二级 |
| 设备 | 固件或自检校验失败 | 状态变化 | 一级 |
| 设备 | 密钥区占用率超预警线 | 容量阈值 | 三级 |
| 服务 | 服务分组整体不可用 | 健康探测 | 一级 |
| 服务 | 单实例连续探测失败并被摘除 | 健康探测 | 二级 |
| 服务 | 调用失败率持续超阈值 | 速率阈值 | 二级 |
| 服务 | 响应时延分位值持续超阈值 | 速率阈值 | 三级 |
| 服务 | 队列积压时长超阈值 | 容量阈值 | 二级 |
| 安全 | 越权调用尝试达到次数阈值 | 计数阈值 | 二级 |
| 安全 | 名单外地址访问管理台或审计入口 | 事件触发 | 一级 |
| 安全 | 审计日志访问异常或日志写入中断 | 事件触发 | 一级 |
| 安全 | 密钥销毁、分量导入等高敏操作执行 | 事件触发 | 二级 |
| 安全 | 证书距到期不足设定天数 | 时间阈值 | 二级 |
| 安全 | 证书异常吊销 | 事件触发 | 二级 |
| 容量 | 调用配额或存储占用接近上限 | 容量阈值 | 三级 |
数据来源:招标文件第五章 3.1.2.1(3)(14)条。
高敏操作纳入告警规则(表中倒数第四行),使密钥销毁、分量导入等动作发生时即对相关角色可见。此类动作一旦事后才发现有问题,补救空间很小。
告警的处置形成闭合记录:每条一级与二级告警都要有处置人、处置时间、处置结论,未处置的告警在交班时转交并在态势视图中保持可见。告警联系人名单与通知时段在实施阶段与甲方确认后配置,名单本身不在本投标文件中列出。
招标文件要求安全软件与国产化操作系统、中央处理器、数据库、中间件四类基础环境适配兼容,每类至少提供 1 份兼容性互认证明材料。适配的范围按招标文件 3.1.2.2.7 条列举的国产服务器、中央处理器、存储设备、网络设备、操作系统与数据库选取,中间件按与所选操作系统和数据库配套的国产中间件选取。具体产品型号在中标后按甲方既有环境与采购结果确定,确定前以适配类别、验证方法与材料份数承诺。
互认证明是材料,适配是否真的可用要靠验证。适配验证按四步执行,验证结论形成《国产化环境适配报告》交付甲方。第一步是安装验证:在选定的国产操作系统与中央处理器架构上完成安全软件与密码服务组件的安装部署,记录依赖项、编译参数与已知问题。第二步是功能验证:按十九条功能要求逐项在国产环境下验证可用,重点是密码运算接口、软件开发工具包的各语言版本、与国产数据库的连接与事务行为。第三步是性能验证:在国产环境下实测密码服务的吞吐与时延,与设备标称参数对照,确认不存在因适配层带来的显著损耗。第四步是兼容回归:在操作系统与数据库的小版本升级后重跑功能与性能用例,确认升级未破坏适配。
适配验证的指标按三段给出。基线为四类环境下功能用例全部通过、性能实测值不低于设备标称值的 80%;趋向为随适配层优化逐步接近标称值,每次优化后以同一组用例复测并记入适配报告;回退路径为,若某一国产组合确实无法满足功能或性能要求,先在同类国产产品中另选可适配型号,同类产品均不可行时向甲方书面说明情况与影响范围,由甲方决定是否调整该项配置要求。
招标文件要求安全软件具有国家密码管理局颁发的《商用密码产品认证证书》。该要求在我方是选型门槛:进入选型范围的密码产品必须在选型时即持有有效证书,证书的认证范围必须覆盖本项目的实际用法,不以“证书在办理中”“同系列产品已获证”作为选型依据。
选型时核对四项:证书编号与证书持有方、产品型号与版本、认证范围所列的产品类别与算法、证书有效期是否覆盖本项目建设周期与质保期。四项中任一项不满足的产品不予选用。算法侧同步核对:对称加密用 SM4,非对称运算与签名用 SM2,摘要用 SM3,标识密码场景用 SM9,密码机内部存储用 SM1;国际算法仅在与外部系统互联确有必要时按兼容需要启用,本项目内部链路的保护一律使用国密算法。
证书有效期在建设周期内到期的,由项目组在到期前三个月跟踪原厂的换证进展,取得新证后更新核验记录;原厂未能换证的,按第 15)项的回退路径在同类持证产品中另选型号并重做适配验证。
招标文件在第(17)条对同一类适配要求提出了更高的材料份数:国产化操作系统、中央处理器、数据库、中间件每类至少提供 3 份兼容性互认证明材料。与第(15)条的 1 份要求相比,两处条文的份数表述不同,我方按从严口径执行:四类基础环境每类提供不少于 3 份,合计不少于 12 份。满足较高份数要求同时即满足较低份数要求,按从严执行不存在少提的风险。
材料形式为原厂出具的兼容性互认证明,或由具备检测能力的机构出具的兼容性测试报告;同一类基础环境的 3 份材料取自不少于 2 家原厂,避免全部来自同一供货渠道。各类证明材料的组织方式如表 12-9。
表 12-9 信创适配与密码产品资质证明材料清单
| 材料类别 | 招标文件要求份数 | 我方提供份数 | 材料形式 | 取得与引用安排 |
|---|---|---|---|---|
| 操作系统兼容性互认 | 每类不少于 1 份/不少于 3 份 | 不少于 3 份 | 原厂互认证明或机构兼容性测试报告 | 【待填:证明编号、出具方与出具日期;扫描件附于技术文件附件】 |
| 中央处理器兼容性互认 | 每类不少于 1 份/不少于 3 份 | 不少于 3 份 | 原厂互认证明或机构兼容性测试报告 | 【待填:证明编号、出具方与出具日期;扫描件附于技术文件附件】 |
| 数据库兼容性互认 | 每类不少于 1 份/不少于 3 份 | 不少于 3 份 | 原厂互认证明或机构兼容性测试报告 | 【待填:证明编号、出具方与出具日期;扫描件附于技术文件附件】 |
| 中间件兼容性互认 | 每类不少于 1 份/不少于 3 份 | 不少于 3 份 | 原厂互认证明或机构兼容性测试报告 | 【待填:证明编号、出具方与出具日期;扫描件附于技术文件附件】 |
| 多厂商密码机互认 | 不少于三家厂商 | 不少于 3 家 | 设备互认证明与型号清单 | 【待填:厂商、设备型号与互认证明编号;扫描件附于技术文件附件】 |
| 商用密码产品认证证书 | 须具有 | 所用密码产品均持有 | 国家密码管理局颁发证书 | 【待填:证书编号、产品型号、认证范围与有效期;复印件附于技术文件附件】 |
数据来源:招标文件第五章 3.1.2.1(15)至(19)条。
材料清单与硬件配置一节的兼容性互认证明材料取同一份台账:安全软件与密码产品的份数按本项口径计,国产服务器、存储、网络与加速部件的份数按硬件配置一节的清单计,两处合并成一份《兼容性互认证明材料台账》随标递交,不分别出两套统计。证明材料的编号、出具方与有效期录入该台账,并在验收阶段的适配报告中逐条引用。
招标文件要求支持针对不同厂商的密码机设备集成,并提供不少于三家厂商密码设备的互认证明材料。这项要求与第 8)项的三层封装设计相配套:封装设计保证了换件不改上层代码,互认证明则是这一能力的书面佐证。
集成的实现路径是在驱动层为每一家厂商的设备增加一个适配包。适配包按《密码设备应用接口规范》实现标准调用,向上提交该设备支持的算法能力集与参数约束;能力抽象层据此把同一能力在不同设备上的参数差异归并,服务接口层的定义不随设备变化。新增一家厂商的设备时,交付物是适配包、联调记录与互认证明三件,上层加工工具链与运营平台的代码与配置不动。
三家厂商设备的联调按同一组用例执行:算法正确性比对(同一明文在三家设备上加密后交叉解密,结果一致)、接口一致性核对(同一业务接口在三家设备上的入参出参与错误码一致)、故障切换验证(摘除其中一家设备的实例后,分组内其余实例继续承载调用)。联调记录随《国产化环境适配报告》一并提交。
招标文件在第(19)条重申安全软件须具有国家密码管理局颁发的《商用密码产品认证证书》。第 16)项给出的是选型门槛,本项给出的是证书在采购、实施与运行三个时点的核验与提交安排。
采购时点,按合同所列型号逐台核验证书编号、产品型号与版本、认证范围、有效期,核验结论记入《商用密码产品证书核验记录》;核验不通过的设备不予接收。实施时点,设备上架后再核验一次实物铭牌型号与证书型号是否一致,并记录设备序列号与证书编号的对应关系,该对应关系是密评证据清单中“密码产品合规”一条的直接证据。运行时点,证书有效期纳入告警规则的时间阈值类,距到期不足设定天数即触发二级告警,由项目组跟踪换证。
证书复印件与核验记录的提交分两处:投标阶段提供所选密码产品的证书复印件,附证书编号与有效期;实施阶段的逐台核验记录随商用密码应用安全性评估的证据清单一并提交评估机构与甲方。
密码服务进入数据加工生产主线之后便处在关键路径上,其异常行为必须在上线之前被触发过一次、并被观察到预期的处置结果,否则故障时的处置口径只是纸面安排。为此平台在出厂测试、试运行与半年度演练三个时点执行同一组异常注入与恢复测试,用例与判据如表 12-10。
表 12-10 密码服务异常注入与恢复测试用例
| 异常场景 | 注入方式 | 预期行为 | 恢复判据 | 记录 |
|---|---|---|---|---|
| 单个密码服务实例失效 | 停止实例进程 | 网关健康探测失败即摘除,在途请求重投至同组其余实例 | 实例重启后自动重新纳入分组,调用成功率回到基线 | 摘除记录、重投计数 |
| 整机级密码设备不可用 | 断开设备管理与业务链路 | 最高敏感级任务入等待队列并告警,不以降低密码强度放行 | 设备恢复后等待队列按提交顺序续作,无任务丢失 | 等待队列长度、续作时间 |
| 密钥区容量耗尽 | 将密钥数量填至配额上限 | 新密钥申请被拒绝并触发容量告警,既有密钥的使用不受影响 | 清理过期密钥或扩容后申请恢复成功 | 拒绝计数、扩容记录 |
| 证书过期或被吊销 | 将测试证书置为过期与吊销状态 | 建立连接时校验失败,连接被拒绝并记入调用日志 | 换发有效证书后连接恢复 | 校验失败原因码 |
| 虚拟密码网关不可用 | 停止网关实例 | 备用网关实例接管,应用侧的虚拟服务地址不变 | 接管完成后调用成功率回到基线 | 接管时间 |
| 密码运算返回错误 | 构造非法参数与越界数据 | 接口返回明确错误码,不返回半成品密文,调用方可据错误码重试或转人工 | 参数修正后调用成功 | 错误码分布 |
| 审计日志写入失败 | 将日志存储置为只读 | 高敏操作按失败即拒绝处置,一般操作进入本地加密缓冲并告警 | 存储恢复后缓冲内记录按原时序补写,补写后做完整性校验 | 拒绝计数、补写条数与校验结果 |
| 密钥备份介质不可读 | 以损坏的备份件执行恢复 | 恢复流程在校验阶段即中止,不覆盖在用密钥 | 改用另一份备份件恢复成功 | 校验失败记录、恢复耗时 |
数据来源:招标文件第五章 3.1.2.1(4)(6)(9)(10)(13)(14)条与 3.2.6.12 第三项。
测试结论按三段记录:基线为上述八类场景的预期行为与恢复判据全部达成;趋向为随试运行期的实测数据收紧恢复时限,每次收紧后以同一组用例复测;回退为任一场景未达判据时,该场景对应的功能不进入验收范围,由项目组提出技术方案并复测通过后再行纳入。测试记录随《安全测试报告》交付,并作为等级测评与风险评估中“故障处置与恢复”相关条款的证据。
密码平台建成后,须明确其在加工主线各环节、对各对象的具体作用,避免“平台有能力、业务未接入”。本部分按环节顺序给出落点。
数据从源系统进入,经采集接入、预处理、标注、合成与增强、质检、验证、入库发布七个环节,最终进入运营平台流通。各环节的密码应用落点如表 12-11 所示。
表 12-11 密码服务在数据集加工生产各环节的落点
| 环节 | 受保护对象 | 使用的密码能力 | 实现方式 |
|---|---|---|---|
| 采集接入 | 源系统连接凭据、传输通道 | 机密性、真实性 | 凭据以主密钥加密存放;接口通道启用国密传输层加密;接入连接器以设备证书双向认证 |
| 采集落地 | 原始图纸、工艺卡、报告、影像 | 机密性、完整性 | 落地即按一文一密加密;同时计算 SM3 摘要作为原始件指纹 |
| 预处理 | 含敏感内容的中间件 | 机密性 | 脱敏前的原始副本加密存放并限时保留;脱敏后产物按分级决定是否加密 |
| 标注 | 待标注样本、标注结果 | 完整性、不可否认性 | 标注任务包签名下发;标注结果提交时附提交人证书签名,形成操作归属 |
| 合成与增强 | 生成样本、生成参数记录 | 完整性 | 生成批次记录计算摘要并加盖时间戳,区分人工样本与合成样本的来源 |
| 质检 | 质检记录、缺陷清单 | 不可否认性 | 质检结论由质检岗以证书签名,签名值入质量档案 |
| 验证 | 评测用基准集、评测结果 | 机密性、完整性 | 基准集按分片加密,评测结果与所用基准集版本指纹绑定 |
| 入库发布 | 数据集版本、数据卡、元数据 | 完整性、不可否认性 | 版本指纹加版本签名;元数据加解密按运营平台集成要求实现 |
| 对外流通 | 下载分片、交付清单、确权材料 | 机密性、真实性、不可否认性 | 按分片授权解密;交付清单签名并加盖时间戳;登记确权材料签名存证 |
数据来源:招标文件第五章 3.1.2.1(12)(13)条、3.1.2.3(1)至(3)条、3.2.6.3 加工环节划分、3.2.6.12 安全合规要求。
加工主线上的对象按密码处理方式分三类,口径如下。
第一类是原始工程资料。图纸、工艺卡、地质条件报告、合同与报价文档,这类对象的特点是单件价值高、份数多、需长期保存。处理口径是落地即加密、摘要入库、按图号或文件标识建立密钥映射,解密只在确有加工需要时按任务授权进行,解密动作入调用日志。约四百至五百张图纸构成一个项目的工程资料集合,按一文一密处理后,授权粒度可以细到单张图纸。
第二类是数据集本体。预训练语料、指令微调样本、强化学习偏好组、基准测试题,这类对象的特点是体量大、以分片形式组织、要对外流通。处理口径是按分片加密并记录分片摘要,版本发布时生成版本指纹并签名。这样做的直接好处是对外提供数据集时可以按分片授权:定向开放给某一使用方的若干分片单独解密下发,其余分片的密钥不下发,不必为一次定向开放而解开整个数据集。
第三类是过程记录与元数据。加工日志、标注记录、质检结论、数据卡、血缘关系,这类对象的特点是体量小但证据价值高。处理口径是以完整性与不可否认性为主、机密性为辅:计算摘要、由责任岗位签名、必要时加盖时间戳,使记录在事后可以证明“是谁在什么时候提交的、此后没有被改动”。数据集元数据的加解密按系统集成要求与运营平台对接实现。
密码强度与控制严格程度按数据分级分档,不搞一刀切。分级标准由数据治理的数据安全规划域给出,本节按其分级结论配置控制点。图 12-4 给出分级与密码控制的对应关系。
图 12-4 数据分级与密码控制配置的对应关系。数据来源:招标文件第五章 3.1.2.1(12)(13)条与 3.2.6.12 第二项要求;分级名称按数据治理数据安全规划域的分级结论使用。
需要说明的是,分级与配置的对应关系在实施阶段会随分级目录的评审结果调整。本节给出的是配置原则与控制点清单,具体哪些数据对象落在哪一级,以经甲方确认的分级目录为准,平台的控制策略按目录配置而不写死在代码里。
项目安全合规建设包含三件事:建设内容合规性核查与数据集来源合法性承诺、四类敏感数据的去标识化或脱敏处理、平台的审计日志记录与权限校验及访问名单控制。
招标文件要求核查项目建设过程中是否包含不可用于商业用途的建设内容,并承诺数据集来源的合法性。这条要求的现实意义很直接:本项目建成的数据集最终要在数据交易所挂牌、上架、交易,数据集里如果混入了不可商用的素材,挂牌即构成侵权,损失由甲方承担。
核查按素材登记、许可核验、结论判定、台账留存四步执行。凡进入加工流水线的素材,无论来自甲方业务系统、客户方提供、公开渠道获取还是我方工具产生,一律先登记来源、取得方式与许可依据,再做许可核验,核验结论分可商用、限制使用、不可用三档。限制使用的素材标注其限制条件(例如仅可用于内部训练不可对外发布),由平台在数据卡与流通控制上执行该限制;不可用的素材不进入数据集,已进入的回溯清除并记录。
各类来源的合法性判据与核验材料如表 12-12 所示。
表 12-12 数据来源类型、合法性判据与核验材料
| 来源类型 | 典型素材 | 合法性判据 | 核验材料 | 处置口径 |
|---|---|---|---|---|
| 甲方业务系统 | 图纸、工艺卡、工单、检验记录、设备时序数据 | 甲方为数据权利人并出具本项目使用授权 | 取数授权函、已授权数据域清单、接口开通记录 | 按授权范围取数,超范围字段不接入 |
| 客户方提供 | 矿方地质条件报告、工作面参数、接口会商记录 | 甲方与客户之间的合同或单独授权允许用于本项目 | 甲方出具的客户方授权说明 | 无授权说明的不进数据集;已接入的做降精度处理并限内部使用 |
| 供应商与协作方提供 | 材料质保书、外协件图纸、设备手册 | 相关合同未限制使用,或取得提供方同意 | 合同条款摘录或同意函 | 涉及第三方技术秘密的不进对外流通数据集 |
| 公开标准与规范 | 国家标准、行业标准文本 | 标准文本的著作权归属与引用限制 | 标准来源说明与引用方式说明 | 以引用条款号与要点的方式使用,不整段录入可交易语料 |
| 公开文献与资料 | 论文、图书、技术文章 | 许可类型是否允许商业使用 | 许可声明截取、授权页记录 | 非商用许可的不进数据集;仅作内部参考 |
| 开源数据集与模型 | 公开语料、开源模型权重 | 许可证是否含非商业用途限制 | 许可证文本与版本记录 | 含非商用条款的不用于本项目交付物 |
| 我方工具产生 | 合成样本、增强样本、生成的指令数据 | 生成所依据的种子数据是否合法可商用 | 生成批次记录与种子数据来源链 | 种子不合规则产物同样不可用,按批次回溯 |
数据来源:招标文件第五章 3.2.6.12 第一项与 1.2.6 服务与安全目标。
公开渠道获取的素材是风险最集中的一类,因此单设一道闸口:这类素材在登记时必须填写许可类型与来源地址,许可类型不明的按不可用处理,不做“先用起来再说”的处置。合成数据的合法性沿着种子数据追溯,这一点容易被忽略,而本项目的指令数据与工单故障场景数据有相当部分来自合成(九类工具链中的数据生成与增强类),所以生成批次记录里必须登记种子数据的来源批次,形成可回溯的链条。
核查结论汇总为《数据来源合法性核查台账》,按数据集与批次组织,随数据集版本一同交付。基于台账,我方出具《数据集来源合法性承诺》,承诺要点为:本项目交付的数据集所含素材均经来源登记与许可核验;不含许可条款禁止商业使用的素材;涉及第三方权利的素材已取得相应授权或已做排除处理;若后续发现权利争议,我方配合核查并承担因我方核验不实导致的责任。承诺文本在中标后按甲方格式要求出具并盖章。
去标识化与脱敏的强度、密码控制的档次、权限判定的依据,三者都以数据的分类分级结论为输入。分级标准、分级目录与维护机制由数据治理规划的数据安全规划域给出,本节给出该结论在平台上的配置方式,使分级不停留在目录上。
分级标签是平台内的一个独立字段,附着在数据对象上随对象流转。标签取四级:公开、内部、敏感、核心。打标的时机有三处:源系统接入时按已授权数据域的默认级别打初始标签;预处理环节按敏感信息检出结果提级或按脱敏结果降级;数据集版本发布时按该版本所含分片的最高级别确定版本级别。三处打标的动作都写入审计事件,可追溯到打标依据。
标签的继承与合并按三条规则配置。其一,派生对象继承来源对象的级别,取来源中的最高级别;由多个来源合成的样本,其级别取参与合成的全部种子的最高级别。其二,经脱敏处理的对象可降级,降级须以脱敏执行记录与效果验证记录为依据,由预处理岗提出、安全管理员确认,降级动作单独留痕。其三,级别只能按上述两条规则变动,不接受直接改写标签值的操作,平台不提供该入口。
标签配置完成后,三类策略以标签为条件取值,如表 12-13。策略表由安全管理员维护,变更走审批并记录变更前后值;分级目录在实施阶段经甲方确认后,策略表按目录一次性配置,后续随目录版本更新。
表 12-13 分级标签驱动的三类策略配置
| 级别 | 存储与传输的密码控制 | 权限与审批 | 脱敏与对外流通 |
|---|---|---|---|
| 公开 | 传输启用国密传输层加密;存储不强制加密 | 按角色授权即可访问 | 可直接进入对外流通数据集 |
| 内部 | 传输加密;存储按对象整体加密 | 按角色授权,跨业务域访问需登记 | 经常规脱敏后可对外流通 |
| 敏感 | 传输加密;存储按一文一密或一数据一密加密 | 按角色加属性判定,下载导出需审批 | 须完成去标识化与效果验证后方可对外流通 |
| 核心 | 传输加密;存储按一文一密加密,密钥按独立应用主密钥隔离 | 逐人逐次授权,访问与导出均需双人确认 | 不进入对外流通数据集;代号映射表按本级管控 |
数据来源:招标文件第五章 3.2.6.12 第二项、第三项与 3.1.2.1(12)(13)条;级别名称按数据治理数据安全规划域的分级结论使用。
招标文件要求对涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据进行去标识化或脱敏处理。本项目的难处不在于会不会脱敏,而在于脱敏之后数据集还得有用。把工艺参数一律置空,数据集就失去了训练价值;把参数原样保留,核心工艺能力就外泄。所以本项目的脱敏设计围绕一个原则组织:删除可识别到具体主体的信息,保留可供模型学习的结构与关系。
四类数据的处理方法如表 12-14 所示。
表 12-14 四类敏感数据的脱敏方法与可用性考虑
| 数据类别 | 本项目中的典型字段 | 处理方法 | 处理后保留的训练价值 | 可逆性 |
|---|---|---|---|---|
| 个人信息 | 工艺卡编制人与审核人、质检员工号与签名、焊工班次与工号、运维值班人 | 直接标识符移除;工号替换为岗位角色码;签名图像移除并以“已签署”状态位代替 | 保留岗位角色与流程状态,可学习审批流与责任链结构 | 不可逆;角色映射表单独加密保管 |
| 敏感地理信息 | 矿井名称、工作面编号、井下坐标、巷道布置、煤层赋存参数 | 矿井与工作面代号化;坐标降精度或泛化为区域;巷道布置图不进数据集;赋存参数保留数值但移除定位信息 | 保留工况参数与选型条件的对应关系,可学习条件到配置的映射 | 代号化可逆(映射表按核心级管控),坐标降精度不可逆 |
| 重要行业数据 | 二十八道备料工序字典与排序规则、热处理作业指导书参数、焊接参数窗口、校核公式门槛值 | 参数区间化或归一化;工序与设备名称代号化;绝对门槛值转为相对关系表述;公式本体不进数据集 | 保留工序先后约束、参数与质量结果的相关关系、参数偏离的方向与幅度 | 区间化不可逆;代号映射按核心级管控 |
| 企业秘密数据 | 客户名称、合同金额、报价构成、供应商与材料批次来源、库存资金占用 | 客户与供应商代号化;金额分档或按比例归一;报价构成项保留科目不保留金额;批次号替换为批次序号 | 保留需求规模分布、价格变动趋势、批次与质量的关联性 | 代号化可逆(映射表按核心级管控),金额分档不可逆 |
数据来源:招标文件第五章 3.2.6.12 第二项;字段举例依据同章 3.2.2 各源系统数据范围与甲方需求说明中的业务对象。
脱敏的时机安排在数据进入加工流水线的第一道预处理环节,这一点在安全设计的四条原则中已说明,此处给出实现细节。原始件加密保存在受控区,保留期按数据生存周期规划执行,期间仅限经审批的定额核算等必须使用原值的任务按任务授权解密读取;脱敏后的产物进入标注、合成、质检、验证各环节,这些环节处理的是降敏数据。代号映射表按核心级管控,单独加密存储,访问需逐人审批,不与数据集一同交付。
脱敏执行与效果验证的流程如图 12-5 所示。
敏感信息的检出不靠一条万能规则,而靠一组按字段类型组织的规则加一个在自由文本上工作的模型通道。规则通道的类型与检出依据如表 12-15 所示。
表 12-15 敏感信息检出规则类型与检出依据
| 规则类型 | 检出依据 | 本项目中的典型目标 | 误检与漏检的处置 |
|---|---|---|---|
| 字段名匹配 | 结构化数据的列名、数据字典中的字段说明 | 客户名称、联系人、工号、单价、合同额 | 字段名不规范的按取值特征二次判定 |
| 取值格式匹配 | 身份证号、手机号、银行账号、坐标、金额的格式特征 | 过程记录中的联系方式、矿井坐标 | 格式相近的业务编码加入例外清单,避免整列误脱敏 |
| 字典比对 | 客户名录、供应商名录、矿井名录、人员名录 | 自由文本中出现的实体名称 | 名录按季度更新,新增实体回溯处理既有批次 |
| 文档结构定位 | 图纸标题栏、工艺卡签署区、报告封面与落款 | 图纸与工艺卡上的签署信息、单位名称 | 版式变化导致定位失败的转人工复核 |
| 数值区间判定 | 工艺参数与质量指标的取值范围 | 热处理温度与保温时间、焊接参数窗口 | 区间化粒度经工艺口确认,过粗则失去训练价值 |
| 模型通道 | 自由文本中的实体提及与上下文语义 | 会议记录、工单描述、故障处置记录中的人名与客户提及 | 模型判定为疑似的交人工确认,确认结果回流为规则 |
数据来源:招标文件第五章 3.2.6.12 第二项;字段类型依据同章 3.2.2 各源系统的数据范围。
表中最后一列是这张表真正的用处所在。误检与漏检都有代价,但代价不对称:漏检的后果是敏感信息进了数据集,发现时可能已经发布;误检的后果是数据可用性下降,发现时还能补救。所以规则的配置偏向于宁可误检,疑似一律进人工确认队列,由人工决定是否脱敏,确认结果回流为规则或例外,使队列规模随批次推进而下降。区间化粒度是个例外:粒度定得过粗,数据集就学不到参数与结果的关系,所以这一项的取值要与工艺口逐项确认,不由安全侧单方面决定。
图 12-5 脱敏执行与效果验证流程。数据来源:招标文件第五章 3.2.6.12 第二项与 3.2.6.3 加工环节划分。
脱敏效果的验收口径这样定。敏感字段的检出以规则与模型双通道并行:规则通道覆盖可枚举的标识符模式,模型通道负责自由文本中的提及。首轮上线时,规则通道按本项目已盘点的字段类型配置,模型通道在抽样评估集上的检出率作为基线记录在验收文档中;每轮数据集发布前按不低于约定比例做人工抽样复核,复核发现的漏检模式补入规则库并对该批次重跑。
检出覆盖随规则库积累逐步接近全覆盖;可核验的承诺口径是三项:检出基线、抽样复核比例、漏检发现后的回溯范围与完成时限。若某一批次的抽样复核漏检率超过约定阈值,该批次不予发布,整批重做脱敏并重新复核,这是本项目脱敏环节的回退机制。
重标识风险测试作为补充验证手段,方法是在降敏数据上尝试用外部可得信息做关联还原,评估还原到具体主体的可能性。测试由质检岗与安全岗联合执行,结论记入数据集质量档案,供数据集质量评测环节引用。
权限控制的第一层是账号本身。账号管理不到位时,后面的角色、属性与名单配置都失去前提:一个离场人员未禁用的账号,等于给整套权限模型开了一个不受约束的入口。平台按申请、审批、开通、使用、变更、冻结、注销七个阶段管理账号全生命周期,各阶段的配置要求如表 12-16。
表 12-16 账号全生命周期各阶段的配置要求
| 阶段 | 触发条件 | 平台配置 | 留痕内容 | 时限 |
|---|---|---|---|---|
| 申请 | 人员入场或岗位调整 | 按人申请,登记姓名标识、所属岗位、申请角色、授权数据范围与有效期;不接受无有效期的长期账号 | 申请单号、申请人岗位、申请角色 | 入场登记完成后提出 |
| 审批 | 申请提交 | 由安全管理员审批,核对岗位与角色是否匹配、角色互斥是否触发;涉及核心级数据范围的另需甲方业务口确认 | 审批人角色、审批结论、互斥校验结果 | 2 个工作日内 |
| 开通 | 审批通过 | 生成账号并签发用户证书,首次登录强制改口令并绑定认证介质;账号默认不带任何数据权限,数据范围按申请单单独授予 | 开通时间、证书序列号、介质编号 | 审批通过后 1 个工作日内 |
| 使用 | 日常 | 口令与证书双因素登录;连续登录失败达阈值即锁定;超过设定时长未操作自动登出;同一账号不允许多处并发登录 | 登录日志、锁定记录 | 持续 |
| 变更 | 岗位调整、数据范围调整、有效期延长 | 走与申请同一条审批链;角色变更时先收回原角色再授予新角色,不做叠加 | 变更前后的角色与数据范围 | 调整生效当日 |
| 冻结 | 长期不登录、疑似异常、调查期间 | 超过设定天数未登录自动冻结;冻结期间保留账号与历史记录,不可登录 | 冻结原因、冻结时间 | 触发条件满足即时 |
| 注销 | 人员离场、项目结束 | 吊销证书、禁用账号、回收认证介质、解除数据授权;账号标识不复用,历史操作记录按留存期保留 | 注销申请、证书吊销记录、介质归还记录 | 离场当日 |
数据来源:招标文件第五章 3.2.6.12 第三项与 3.1.2.1(9)(10)(13)条。
三项配置需要单独说明。一是不设共享账号与通用账号:运维、测试、演示所需的账号同样按人开通,便于把任一操作归到具体的人。二是账号有效期按岗位在场周期设定,到期自动冻结而不是自动延期,延期须重新审批。三是账号与证书成对管理,账号禁用的同时吊销其证书,避免出现账号已禁用而证书仍可用于设备侧认证的情形。
账号状态的核查进入安全运营节律:每周核查新增与变更的账号授权,每月核查三员账号互斥状态与证书有效期,每半年逐条复核权限矩阵。核查发现的长期未使用账号、超期未回收账号与岗位已变更但角色未调整的账号,按发现当周完成处置。
权限模型按角色与属性两层组织:角色决定可以做哪类事,属性决定可以碰哪些数据。
角色层解决“这个岗位能做哪类事”。平台按岗位设置角色,例如采集接入员、预处理员、标注员、标注审核员、质检员、数据集发布员、运营管理员、系统管理员、安全管理员、审计管理员,每个角色绑定一组操作权限。角色之间设互斥关系:标注员与标注审核员不可同一人兼任同一任务,发布员与质检员不可兼任同一数据集的质检与发布,三员角色互不兼任。
属性层解决“这个人能碰哪些数据”。权限判定除角色外还比对数据对象的分级、所属业务域、所属数据集与批次,以及操作人的授权范围。举例来说,一名标注员拥有标注提交权限,但只能看到分配给他的任务包内的样本;一名质检员可以查看某数据集的质检样本,但不能下载整个数据集。
角色与操作的对应关系如表 12-17 所示。表中只列本项目的关键操作,完整权限矩阵随平台交付。
表 12-17 角色与关键操作权限矩阵
| 角色 | 取数接入 | 脱敏执行 | 标注提交 | 标注审核 | 质检判定 | 版本发布 | 下载导出 | 授权变更 | 密钥操作 | 日志查询 |
|---|---|---|---|---|---|---|---|---|---|---|
| 采集接入员 | 可 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 否 |
| 预处理员 | 否 | 可 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 否 |
| 标注员 | 否 | 否 | 限本人任务包 | 否 | 否 | 否 | 否 | 否 | 否 | 否 |
| 标注审核员 | 否 | 否 | 否 | 可 | 否 | 否 | 否 | 否 | 否 | 否 |
| 质检员 | 否 | 否 | 否 | 否 | 可 | 否 | 限质检样本 | 否 | 否 | 否 |
| 数据集发布员 | 否 | 否 | 否 | 否 | 否 | 需双人确认 | 需审批 | 否 | 否 | 否 |
| 运营管理员 | 否 | 否 | 否 | 否 | 否 | 否 | 需审批 | 可 | 否 | 否 |
| 系统管理员 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 限分量操作 | 否 |
| 安全管理员 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 可 | 限策略设定 | 否 |
| 审计管理员 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 否 | 可 |
数据来源:招标文件第五章 3.2.6.12 第三项与 3.1.2.1(5)(9)(10)条。
矩阵里有三处刻意的空缺。系统管理员不能查日志,也不能单独完成密钥操作,只能执行分量导入中属于自己的那一份。安全管理员能设密钥策略但不能执行具体的密钥导入与销毁。审计管理员除日志查询外什么都不能做。这三处空缺合起来就是三员分立在权限模型上的落地,也是等保与密评都会重点核查的一处。
角色与数据权限的配置方式在平台上是分开的两张表,这一点决定了授权的粒度。角色表定义“角色—操作”的对应,由安全管理员维护,全项目共用一套,变更需经审批并通知审计管理员;数据权限表定义“账号—数据范围”的对应,按人按申请单授予,内容包括可访问的业务域、数据集、批次与分片范围、可访问的最高分级、授权用途与有效期。一名账号的实际权限是两表的交集:角色表允许的操作,且落在数据权限表允许的范围内。新开通的账号默认只有角色、没有数据范围,不授予数据范围即无法访问任何业务对象。
四项配置约束随表一并写入《账号与权限管理办法》。其一,角色不叠加:一名账号在同一时间只持有一个业务角色,岗位调整时先收回再授予。其二,三员角色互斥,且与任何业务角色互斥,平台在授予时即做校验,校验不通过拒绝保存。其三,数据权限的有效期不得超过账号有效期,账号冻结或注销时其数据权限同步失效。其四,授权只做加法不做例外:确需越过角色表或数据权限表的一次性访问,走单次授权通道,记录事由、范围、有效期与审批人,到期自动失效,不以“临时加权限”的方式修改两张表。
权限配置的变更全部进入审计事件的授权变更类,记录变更前后的角色与数据范围;每半年的权限矩阵逐条复核,核对在用配置与办法中的定义是否一致,核对结论记入权限复核表。
招标文件要求平台具备严格的权限校验和访问名单控制。权限校验的严格与否,落在每一次访问请求实际走了几道判定,以及任一道判定缺失时平台怎么处置。
平台对每一次数据对象访问执行七步判定,任一步不通过即拒绝,并以明确的原因码记入审计事件。第一步校验身份:会话有效、证书在有效期内且未被吊销、双因素认证已完成。第二步校验账号状态:账号处于启用状态、未冻结、未超出有效期。第三步校验角色:当前账号所持角色包含所请求的操作类型。第四步校验互斥:本次操作与该账号在同一对象上的既往操作不构成互斥(例如同一任务包的标注与标注审核)。第五步校验数据范围:目标对象的业务域、所属数据集与批次在该账号的授权范围内。第六步校验分级:目标对象的分级标签不高于该账号可访问的最高级别;高于时转入审批通道而不是直接拒绝,审批通过后按单次授权放行。第七步校验审批与复核:该操作若属需审批或需双人复核的类型,核对审批单有效、审批人角色适格、复核人与操作人不是同一人。
七步判定的执行位置在服务端的统一鉴权组件,不在前端。界面上隐藏入口只是便利,直接调用接口同样要过这七步;未经界面而直接访问接口的请求,按同一判定链处置,拒绝时同样记入审计并计入越权尝试统计。
判定链本身的可用性需要有确定的失败处置。鉴权组件无法完成判定时(例如权限策略库不可读、分级标签缺失、审批系统不可达),平台按拒绝处置而不是放行,返回“权限判定不可用”的原因码并触发一级告警;分级标签缺失的对象按最高级别对待,直到标签补齐。这一口径写入运行手册,并在异常注入测试中逐项验证。
访问名单控制按三层设置。第一层是账号名单,平台账号由安全管理员按人创建,离场即禁用,不设共享账号与通用账号。第二层是地址名单,管理台与审计入口仅对运维网段开放,密码服务调用按应用登记的网段白名单放通;名单条目登记申请人、用途、生效与失效时间,临时条目必须填写到期时间,到期自动失效并在周核查表中列出。第三层是数据集授权名单,数据集与分片的访问按使用方逐项授权,授权记录授权范围、用途、期限与审批人,到期自动失效需重新申请;对外提供数据集服务时按此名单下发分片密钥,与按分片授权的密码设计相衔接。
敏感操作另加双人复核:数据集批量导出、权限批量变更、代号映射表访问、密钥销毁这四类操作需第二名具备相应权限的人员确认后方可执行,两人的操作记录分别留痕,复核人不得与操作人为同一账号,平台在提交时即做校验。这项控制针对的是高权限账号滥用的风险,表 12-1 中已列出。
招标文件要求平台具备全流程审计和日志记录。密码服务平台的日志设计见本节功能要求第 10)项,此处给出数据加工生产平台与运营平台侧的数据对象级审计。
审计的记录单位是“谁对哪个数据对象做了什么”。平台对数据对象的九类操作记录审计事件:取数接入、脱敏执行、标注提交、合成生成、质检判定、版本发布、授权变更、下载导出、删除销毁。每条审计事件记录操作时间、操作主体(账号与岗位角色)、来源地址、对象标识与版本、操作类型、操作参数摘要、结果状态,以及该操作所调用的密码服务记录标识,使审计链与密码调用链可以相互对照。
审计事件的记录字段如表 12-18 所示。字段设计上有一条原则:审计记录本身不得成为新的泄露渠道,因此记录对象标识与操作参数的摘要,不记录数据内容与密钥材料。
表 12-18 数据对象级审计事件的记录字段
| 字段 | 内容 | 用途 |
|---|---|---|
| 事件标识 | 全局唯一编号 | 事件引用与关联 |
| 发生时间 | 统一时间源的时间戳 | 时序排查,与密码调用记录对齐 |
| 操作主体 | 账号、岗位角色、所属租户 | 按主体追溯 |
| 来源地址 | 客户端地址与接入方式 | 异常接入排查 |
| 操作类型 | 九类操作之一 | 分类统计 |
| 对象标识 | 数据集、批次、分片或文件的标识与版本 | 按对象追溯 |
| 对象分级 | 该对象的分类分级结果 | 高敏操作的重点核查 |
| 操作参数摘要 | 关键参数的摘要值,不含数据内容 | 操作可复现而内容不泄露 |
| 结果状态 | 成功、失败、被拒绝及原因码 | 越权尝试统计 |
| 关联密码调用 | 本次操作调用的密码服务记录标识 | 审计链与密码调用链对照 |
| 审批关联 | 若该操作需审批,记录审批单号与审批人角色 | 核查授权是否先于操作 |
数据来源:招标文件第五章 3.2.6.12 第三项与 3.1.2.1(10)条日志要求。
审计事件须记录审批单号,以便直接核验「授权先于操作」,避免日志与审批系统人工对账。
招标文件要求的全流程审计,我方按上线门禁落实,而不是按时间推进的覆盖率。门禁的内容是:平台中任何可以读取、改写、导出或删除数据对象的功能入口,在接入审计事件采集并通过采集验证之前,不进入生产环境。这条门禁对首轮上线的九类操作生效,对建设周期内新增的每一个功能模块同样生效——新增入口与审计接入是同一次上线的两项内容,不分先后批次。
门禁的核对方式有三项。其一是入口台账:平台维护一份数据对象操作入口清单,每个入口登记其对应的审计事件类型与采集验证通过日期,清单随版本更新并作为上线评审材料。其二是上线前核对:每次版本上线前由审计管理员比对本版新增入口与入口台账,未登记或未通过采集验证的入口阻断本次上线。其三是季度回归:每季度以构造操作遍历入口台账中的全部入口,核对是否各自产生了预期的审计事件,缺失项按发现当周补齐并复测。三项记录随月度与季度安全报告提交,使全流程这一结论在任一时点都有对应的核对依据。
审计写入失败时的处置按操作类型分档,并在平台上配置为强制行为。涉及授权变更、密钥操作、下载导出、版本发布、删除销毁这五类高敏操作,审计事件写入失败即判定本次操作失败,操作不予提交或予以回滚,向发起方返回明确原因码,同时触发一级告警——操作做不成尚可重来,操作做成了却没有记录则无从追溯。其余四类操作在写入失败时转入本地加密缓冲并触发二级告警,缓冲内的记录在存储恢复后按原时序补写,补写完成后立即做一次摘要链校验;缓冲容量设上限,达到上限后该类操作同样按失败即拒绝处置。审计采集链路本身的可用性纳入态势感知,日志写入中断已列入一级告警规则。
审计数据的保护沿用三员分立原则:审计日志存储独立、仅审计管理员可查询、不提供编辑与删除入口、归档件签名留存,完整性保护与备份恢复的具体配置见本部分第(8)条。审计查询支持按对象追溯(给定一个数据集分片,列出其全部加工与访问记录)与按主体追溯(给定一个账号,列出其全部操作记录)两个方向,前者用于质量归因,后者用于安全检查。
审计记录的价值取决于它是否未被改动,以及在需要时能否取回。本部分给出日志完整性保护与备份恢复的配置。
日志完整性保护按四项配置。其一,写入即固化:审计事件与密码调用日志写入后不提供编辑与删除入口,平台层面不开放对日志表的更新与删除操作,存储侧按只追加方式配置。其二,逐批摘要链:日志按时间分区,每个分区封存时计算 SM3 摘要,并把上一分区的摘要值纳入本分区摘要的计算输入,形成前后相扣的摘要链;任一分区被改动,其后全部分区的摘要校验都不通过。其三,封存签名:分区封存后由平台以 SM2 对分区摘要签名,签名值与摘要值分别存放在日志存储之外的独立位置,使改动日志与改动校验值无法由同一处权限完成。其四,定期校验:每周抽查当期分区的摘要链,每月全量校验留存期内的全部分区,校验结论记入月度安全报告;校验不通过即按安全事件处置,定级不低于二级。
备份恢复按对象分三类配置,如表 12-19。恢复不是备份的副产品,必须定期实际执行一次才能确认可用,因此三类对象都设了恢复验证的周期。平台整体的备份策略、恢复时间目标与恢复点目标见非功能性技术要求一节,本节给出的是安全类对象的专门安排。
表 12-19 安全类对象的备份与恢复配置
| 对象 | 备份方式 | 频次与保留 | 存放 | 恢复验证 |
|---|---|---|---|---|
| 审计日志与密码调用日志 | 分区封存后随摘要值与签名值一并备份 | 每日增量、每周全量;保留期按不少于六个月与数据生存周期规划中的较长者执行 | 备份介质与在线存储分置,异地保留一份 | 每季抽取一个分区恢复并校验摘要链 |
| 密钥材料 | 以加密形式导出,不导出明文密钥 | 密钥体系变更后即时备份;每半年例行备份一次 | 备份件双人双锁保管,密钥分量与备份件分开存放 | 每半年以备份件在隔离环境执行一次恢复演练,演练后销毁演练实例 |
| 证书与吊销列表 | 证书库与吊销列表全量备份 | 每周全量;保留至证书归档期满 | 与日志备份同址分卷 | 每季恢复一次并核对吊销状态一致 |
| 权限与策略配置 | 配置项全量导出并计算摘要 | 每次变更后即时导出;每周全量 | 配置仓库版本化保存 | 每季恢复到隔离环境并与在用配置逐项比对 |
数据来源:招标文件第五章 3.2.6.12 第三项与 3.1.2.1(4)(10)条;备份恢复能力等级按《信息安全技术信息系统灾难恢复规范》的层级划分对应。
密钥备份的恢复有一条前置约束:恢复流程先校验备份件的完整性与归属,校验不通过即中止,不覆盖在用密钥。这条约束是为了避免一次失败的恢复把原本可用的密钥一并破坏,从而把可恢复的事件升级为不可恢复的事件。恢复演练与异常注入测试合并执行,记录进《安全测试报告》。
招标文件的信息安全风险评估服务要求提出,对本项目建设的数据集加工生产平台进行等级保护 2.0 测评及商用密码应用安全性评估,提供测评报告或证书,确保满足国家网络安全与密码合规要求。
这项服务包含三件工作:面向平台整体的信息安全风险评估,面向等级保护条款的等级测评,面向密码应用的商用密码应用安全性评估。三者的依据、方法与结论各自独立:风险评估回答“本平台还剩哪些风险、是否可接受”,等级测评回答“是否符合等级保护第三级的条款要求”,密评回答“密码应用是否合规且有效”。三者的结论不互相替代,也不互相引用作为符合性依据。
三项评估共用一份资产清单,分别按各自的条款取其中的相关部分,不各建一套范围。范围界定得清不清楚直接决定评估能否顺利推进:范围划大了,甲方既有设施的历史问题会落到本项目的整改清单上;划小了,评估结论覆盖不住甲方要的验收对象。因此范围在定级阶段即以资产清单的形式确定下来,并经甲方书面确认。
本项目建议的评估对象范围如表 12-20。
表 12-20 评估对象资产清单与归属
| 资产类别 | 具体对象 | 是否在本项目测评范围 | 说明 |
|---|---|---|---|
| 应用系统 | 数据集加工生产平台、数据集运营服务管理平台、专项智能工具链、商用密码服务平台 | 在范围内 | 本项目建设内容,我方负责整改 |
| 训推环境 | 行业大模型训练推理服务环境 | 在范围内 | 按其与数据集的接口与数据流纳入 |
| 密码设备 | 服务器密码机、签名验签与时间戳服务、虚拟密码网关 | 在范围内 | 商用密码应用安全性评估的主要对象 |
| 接入设备 | 接入连接器 | 在范围内 | 对外接口与日志存证能力需核查 |
| 服务器与存储 | 本项目采购的通用服务器与所用存储资源 | 在范围内 | 操作系统与数据库基线核查 |
| 网络设备 | 本项目新增分区所涉及的访问控制策略 | 部分在范围内 | 策略配置在范围内,设备本体属甲方资产 |
| 机房物理环境 | 甲方数据中心机房 | 核查但不整改 | 既有设施,提交现状说明与整改建议 |
| 源业务系统 | 甲方十余套既有业务系统 | 不在范围内 | 本项目只做只读取数,不改动其安全配置 |
| 终端 | 甲方办公终端 | 不在范围内 | 不属本项目建设内容 |
数据来源:招标文件第五章 3.2.1 服务采购清单、3.3.1 硬件采购清单、3.2.7 评估服务要求。
清单中“核查但不整改”与“不在范围内”两类需要甲方书面确认,确认文件随定级报告一并提交备案材料。若甲方要求把源业务系统或办公终端纳入评估范围,属本项目建设内容之外的工作量,由双方另行商定。
三项评估取用本清单的方式各不相同:等级测评以“在范围内”的全部资产构成定级对象;商用密码应用安全性评估取其中含密码应用点的部分,并加入机房门禁与视频记录的现状核查;信息安全风险评估在本清单之外另按业务流程与数据流两个维度展开,范围更宽。
信息安全风险评估是三项评估中唯一面向本平台具体业务场景的一项。等级测评与密评核对的是条款符合性,条款之外的风险(例如加工流水线特有的数据汇聚风险、合成数据的种子追溯风险、对外流通环节的分片授权风险)不在条款覆盖范围内,须由风险评估识别并给出处置结论。
评估范围覆盖资产、业务流程与数据流三个维度。资产维度按本节前文的评估对象资产清单取值,含数据集加工生产平台、数据集运营服务管理平台、专项智能工具链、商用密码服务平台、训练推理服务环境、密码设备、接入连接器、本项目采购的服务器与存储、本项目新增的网络访问控制策略。业务流程维度覆盖采集接入、预处理、标注、合成与增强、质检、验证、入库发布、对外流通八个环节,以及平台运维与三员管理两条管理流程。数据流维度覆盖源系统到加工区、加工区到运营区、运营区到外部使用方三条主干数据流,以及训练推理环境的数据读取支流。
甲方既有数据中心的物理环境、既有业务系统与办公终端作为评估的环境条件纳入识别,但其自身风险的处置责任不在本项目范围内,识别结论以书面形式提交甲方。
风险评估有三项前置条件,缺一项评估结论就不可用。
第一项是资产清单与赋值完成。资产按保密性、完整性、可用性三个属性赋值,赋值依据是该资产受损对本项目业务的影响程度;数据类资产的赋值直接引用分级标签,公开至核心四级对应由低到高的赋值档次,不另起一套标尺。
第二项是业务影响分析完成。对八个加工环节与三条主干数据流逐一分析中断或受损后的影响,给出可容忍中断时长与可容忍数据丢失量,作为可用性赋值与后续风险计算的输入。
第三项是评估准则经甲方书面确认。准则包括风险计算方式、风险等级划分的区间,以及可接受风险的判定条件。准则不先确认,评估末尾的“风险是否可接受”就没有判定依据,这一步安排在评估实施之前完成。
评估按《信息安全技术信息安全风险评估方法》与《信息安全技术信息安全风险评估实施指南》的过程执行,分六步:资产识别与赋值、威胁识别与赋值、脆弱性识别与赋值、已有安全措施确认、风险分析与计算、风险结果判定。各步的手段与产出如表 12-21。
表 12-21 信息安全风险评估各步的手段与产出
| 步骤 | 手段 | 本项目的重点对象 | 产出 |
|---|---|---|---|
| 资产识别与赋值 | 配置核查、清单核对、岗位访谈 | 四类数据集与其分片、密码设备与密钥、加工工具链、审计日志 | 资产清单与三属性赋值表 |
| 威胁识别与赋值 | 历史事件统计、行业威胁情报、场景推演 | 源系统取数越权、加工环节数据外泄、合成数据侵权、分片密钥外流、高权限账号滥用 | 威胁清单与发生频率赋值 |
| 脆弱性识别与赋值 | 漏洞扫描、基线核查、配置核查、渗透测试、代码与接口检查、人员访谈 | 平台接口鉴权、权限判定链、脱敏规则覆盖、密码调用落点、日志完整性 | 脆弱性清单与严重程度赋值 |
| 已有安全措施确认 | 配置取证、功能演示、记录抽查 | 七步权限判定、审计上线门禁、密钥三级体系、脱敏双通道、异常恢复测试记录 | 已有措施有效性判定表 |
| 风险分析与计算 | 按确认的评估准则计算 | 资产价值、威胁频率、脆弱性严重程度三者结合 | 风险值与风险排序表 |
| 风险结果判定 | 对照可接受风险判定条件 | 高、中、低三档风险的归类 | 风险判定结论与处置建议 |
数据来源:招标文件第五章 3.2.7;评估过程依据《信息安全技术信息安全风险评估方法》与《信息安全技术信息安全风险评估实施指南》的步骤划分。
脆弱性识别中的渗透测试与漏洞扫描在甲方书面授权的时间窗口内执行,测试账号单独开通并在测试结束后注销,测试过程本身纳入审计。评估在建设期内执行两轮:第一轮安排在平台主要功能上线后、自评估之前,用于暴露设计与配置层面的问题;第二轮安排在整改完成后、项目终验之前,用于确认残余风险。
风险处置按降低、规避、转移、接受四种方式分类,逐条形成《风险处置计划》,内容包括风险项、处置方式、处置措施、责任角色、完成时点与验证方式。高风险项一律按降低或规避处置,不得以接受方式结案;中风险项的处置方式由项目组提出建议、甲方确认;低风险项记录并纳入日常运营观察。
复核是独立的一步:处置完成后按原评估方法对该风险项重新识别与计算,计算结果仍高于可接受条件的,退回继续处置。复核由未参与该项处置的人员执行,复核记录与处置记录分开留存。残余风险在复核完成后汇总,逐条列明其风险值、未进一步处置的理由与补偿性措施,提请甲方书面确认。
本项的正式成果是三份文件:《信息安全风险评估报告》《风险处置计划及处置记录》《残余风险确认书》。报告内容包括评估范围与准则、三类识别结果与赋值依据、风险计算过程与结果、风险排序与判定结论、处置建议。三份文件在项目终验前提交甲方归档,并作为验收材料的组成部分。
这三份文件的结论只说明风险状况,不替代等级测评报告与密评报告的符合性结论;同样,等级测评与密评的结论也不作为风险可接受的判定依据。
招标文件的要求是对本项目建设的数据集加工生产平台进行等级保护 2.0 测评,提供测评报告或证书。测评是外部动作,能不能通过取决于建设阶段的技术落实程度,因此我方把这件事拆成定级备案、建设整改、自评估、正式测评、整改复测五步,前三步在建设期内完成,后两步由具备资质的测评机构实施。
等级测评的对象是定级后的定级对象整体,边界即本节前文资产清单中列为“在范围内”的全部资产:四套应用系统、训练推理服务环境、密码设备、接入连接器、本项目采购的服务器与存储,以及本项目新增分区所涉及的网络访问控制策略。甲方数据中心机房按核查但不整改处置,源业务系统与办公终端不在定级对象边界内。
边界的书面确认在定级阶段完成,确认文件随定级报告一并提交备案材料。边界一经确认即固定到测评结束,期间新增的平台功能模块纳入同一定级对象,不另行定级。
定级依据《信息安全技术网络安全等级保护定级指南》开展。数据集加工生产平台承载矿山装备制造领域的重要行业数据,建成后要面向行业用户提供数据集服务并按统一要求接入国家数据基础设施,一旦数据遭篡改、泄露或丧失可用,影响范围超出本企业。按定级要求,我方建议将本平台定为第三级,最终级别由甲方会同主管部门确定。
定级工作按五步推进:由我方编制定级报告初稿,提出级别建议与依据;甲方组织专家评审;按评审意见修订;报行业主管部门审核;向属地公安机关网安部门备案并取得备案证明。备案的提交主体是甲方,我方负责编制定级报告、系统描述、网络拓扑、资产清单与安全保护措施说明等全部技术材料,并配合答复审核问询。
定级结论直接决定后续测评的条款范围与建设成本,因此这一步安排在平台详细设计完成之前启动,使等保三级的技术要求能够在设计阶段就纳入,而不是建成后再做改造。若最终定级为第二级,相应条款范围缩小,我方按确定级别调整建设内容并同步说明对配置与成本的影响。
等级保护 2.0 的安全通用要求分技术和管理两部分。技术部分包含安全物理环境、安全通信网络、安全区域边界、安全计算环境、安全管理中心五个层面。本项目兼具大数据平台属性,因此在通用要求之外同步对照大数据安全扩展要求的相关条款。各层面的主要控制点与本项目的落实方式如表 12-22 所示。
表 12-22 等保三级技术要求与本项目落实方式
| 层面 | 主要控制点 | 本项目落实方式 | 责任归属 |
|---|---|---|---|
| 安全物理环境 | 机房物理访问控制、防盗防破坏、温湿度与电力保障、防雷防火防水 | 平台部署在甲方既有数据中心,沿用其物理环境控制;我方核查并在测评材料中如实描述现状,不足项列整改建议 | 甲方机房为主,我方协助核查 |
| 安全通信网络 | 网络架构划分、通信传输加密、可信验证 | 加工生产区、运营服务区、密码资源区、运维管理区分区划分;跨区通信启用国密传输层加密;接入连接器以设备证书双向认证 | 我方设计,集成章节实施 |
| 安全区域边界 | 边界访问控制、入侵防范、恶意代码防范、安全审计 | 区间部署访问控制策略,按最小必要开放端口与协议;边界访问日志统一采集;外联出口按白名单放通 | 我方设计,甲方网络配合 |
| 安全计算环境 | 身份鉴别、访问控制、安全审计、入侵防范、数据完整性、数据保密性、数据备份恢复、剩余信息保护、个人信息保护 | 双因素身份鉴别与三员分立;按角色与分级的访问控制;三类日志采集与审计员专属查询;数据完整性用 SM3 校验、保密性用 SM4 加密;个人信息按去标识化处理 | 我方负责 |
| 安全管理中心 | 系统管理、审计管理、安全管理、集中管控 | 平台管理台承担系统与安全管理,审计管理独立入口;设备与服务状态集中采集,态势感知提供统一视图 | 我方负责 |
| 大数据安全扩展 | 数据采集授权、数据溯源、数据脱敏、数据销毁、多副本一致性 | 取数授权台账;数据血缘与版本记录;入库前脱敏;按保存期限销毁并留记录 | 我方负责 |
数据来源:招标文件第五章 3.2.7;控制点划分依据《信息安全技术网络安全等级保护基本要求》安全通用要求与大数据安全扩展要求的层面设置。
表中把责任归属一列单独列出,是因为等保测评的对象是整个系统,其中物理环境与网络基础设施属甲方既有资产,我方无法单独改造。这一部分在测评准备阶段先做现状核查,核查结论与整改建议以书面形式提交甲方,由甲方决定是否整改。若甲方选择不整改,相关条款的符合情况按现状在测评中如实反映,我方不以任何方式掩盖。
网络分区是等保三级安全通信网络与安全区域边界两个层面的共同基础,也是本项目在甲方既有网络上需要新增的主要安全设计。分区方案与跨区策略如图 12-6 所示。
图 12-6 网络安全分区与跨区策略。数据来源:招标文件第五章 3.2.2 源系统范围、3.1.2.3 系统集成要求、3.3.1 硬件采购清单接入连接器配置;分区原则依据等级保护基本要求安全通信网络与安全区域边界层面。
五个分区按本项目数据流向划分。源系统区与加工生产区之间是单向只读,因为本项目对源系统的要求就是取数,不回写;少数场景(例如备料工艺回填零件明细与物料清单)确需回写时,单独开通反向通道并逐项审批,不把整条通道设为双向。加工生产区与运营服务区分开,是因为前者不对外、后者要对外,把外联出口收口到一个区,边界控制点就只有一处。密码资源区单列并只接受服务调用,避免密码设备暴露在业务网段。运维管理区单列,是三员分立在网络层的对应安排。
管理部分包含安全管理制度、安全管理机构、安全管理人员、安全建设管理、安全运维管理五个方面。本项目的管理要求落实依托项目管理制度体系,具体制度清单与模板见项目管理措施一节;与安全直接相关的四项按下述安排落实。
安全管理制度方面,编制平台安全管理办法、密码应用管理办法、账号与权限管理办法、日志审计管理办法、数据安全与脱敏操作规程、安全事件应急处置预案六份文件,随平台一并交付。这六份文件是测评时必查的材料,内容与平台实际配置一致,不做两套。
安全管理机构与人员方面,项目组按三员分立配置岗位,三员互不兼任,岗位职责写入岗位说明书。涉及甲方核心数据访问的岗位人员签署保密承诺,人员进出项目按入场登记与离场交接管理,离场当日吊销证书并禁用账号。
安全建设管理方面,平台的需求、设计、开发、测试、上线各阶段设安全检查点;第三方组件登记来源与许可,不使用未授权软件;上线前完成漏洞扫描与基线核查,发现的高危项在上线前处置完毕。
安全运维管理方面,变更走审批并留记录,配置基线定期核查,漏洞按发布的补丁周期评估与处置,备份按策略执行并定期做恢复验证。备份恢复的具体指标见非功能性技术要求一节。
条款落实到位之后,测评按先自评、后正式评的顺序推进。自评估不是走一遍表格,为了让自评结论可用,按三条做法组织。
第一条是分条自查并留证。等保三级的条款逐条对应到具体的配置项、文件或演示步骤,自评估表的每一行都要填“证据在哪里”,填不出来的即判为不符合,不以“设计上支持”结案。
第二条是交叉自查。技术实现人员不自查自己负责的模块,由项目组内其他岗位交叉检查,发现的问题记入问题清单。这样做能挡掉一部分“自己看自己都没问题”的盲区。
第三条是预演现场测评。在机构进场前,按现场测评的常见环节做一次预演:配置核查、工具扫描、人员访谈各走一遍,特别是人员访谈——访谈对象答不上制度与操作规程的内容,是现场测评里常见的失分点,预演能提前发现培训缺口。预演发现的问题按整改清单处置,整改完成后再提请机构进场。
正式测评由具备等级测评资质的机构实施,流程按测评准备、方案编制、现场测评、报告编制四个阶段执行。我方在各阶段的配合内容包括:提供系统描述、网络拓扑、资产清单、安全策略配置、管理制度文件;开放测评所需的只读账号与演示环境;配合现场的配置核查、工具测试与人员访谈;对测评发现的问题提供技术说明。
测评结论为符合或基本符合且无高风险问题时,进入正式成果环节。存在高风险问题或结论为不符合时,项目组在接到报告后按不符合项清单逐条编制整改方案,内容包括不符合项描述、对应条款、整改措施、责任角色、完成时点与验证方式;整改完成后提请原测评机构复测,由机构核验整改结果并出具复测结论,直至取得可接受的结论。
整改的自检先于复测:每一条不符合项在提请复测之前,由未参与该项整改的岗位按测评条款复核一次,复核通过才列入复测清单。实施计划中为整改复测预留专门窗口,测评不安排在验收前的最后时段;相关费用已在报价中考虑,不因整改复测向甲方另行计费。
属甲方既有设施的不符合项(机房物理环境、既有网络基础设施)按现状在测评中如实反映,核查结论与整改建议以书面形式提交甲方,由甲方决定是否整改;该类条款的整改与复核不计入本项目的整改窗口。
本项的正式成果是具备等级测评资质的机构出具的《网络安全等级测评报告》,附测评结论、不符合项清单与整改复测结论;定级阶段取得的备案证明一并归档。报告由测评机构签发,项目组承担的是按等保三级要求完成建设与整改、组织并配合测评、把机构出具的报告与备案证明提交甲方。
成果提交的时点是项目终验之前。报告中的结论仅说明等级保护条款的符合情况,不作为密码应用合规的依据,也不作为风险可接受的判定依据。
商用密码应用安全性评估(以下简称密评)重点核查:算法与产品是否合规、密钥是否受控、该用密码的环节是否落实。实践中常见失分点有三处:用了不合规的算法或非认证产品;密钥在系统外以明文形式出现过;关键环节该用密码而没有用。本项目的密码应用设计与证据组织针对这三处分别设了对应措施。
密评的对象是本平台中与密码应用相关的全部部分:商用密码服务平台及其纳管的密码设备(服务器密码机、签名验签服务、时间戳服务、虚拟密码网关),以及调用密码服务的数据集加工生产平台、数据集运营服务管理平台、训练推理服务与接入连接器中的密码应用点。
评估等级与等级保护级别对应,本项目按第三级准备。范围按物理和环境、网络和通信、设备和计算、应用和数据四个技术层面划定,另含密钥管理与安全管理两部分。机房门禁与视频记录的密码应用属甲方既有设施,纳入核查但其整改由甲方决定。
密评依据《信息安全技术信息系统密码应用基本要求》及配套的测评要求执行。
密评有一个容易被忽略的前置动作:密码应用方案要先编制并经评审,再按方案实施,最后按方案评估。顺序颠倒的后果是实施完成后发现方案本身不符合要求,只能返工。因此我方把《商用密码应用方案》列为平台详细设计阶段的交付物,内容包括密码应用需求分析、密码算法与密码产品选型、密钥体系设计、密码服务部署方案、密钥管理策略与安全管理措施,编制完成后提请甲方组织专家评审,按评审意见修订后作为实施依据。
算法选型只用国家批准的商用密码算法:对称加密用 SM4,非对称运算与签名用 SM2,摘要用 SM3,涉及标识密码场景用 SM9,密码机内部存储用 SM1。国际算法仅在与外部系统互联确有必要时按兼容需要启用,采购的服务器密码机同时支持 RSA2048 与 RSA4096,但本项目内部链路的保护一律使用国密算法。
密码产品一律选用持有国家密码管理局颁发的《商用密码产品认证证书》的产品。采购与实施阶段逐台核验证书编号、产品型号、认证范围与有效期,核验记录随密评材料提交。证书不在有效期内或认证范围不覆盖本项目用法的产品不予使用。
《商用密码应用方案》是密评的实施依据,也是评估机构进场后首先要看的文件。为避免编制时遗漏条款,方案按表 12-23 的大纲组织,各章与测评要求的层面一一对应。
表 12-23 《商用密码应用方案》编制大纲
| 章 | 内容 | 对应测评层面 |
|---|---|---|
| 一 | 系统概述:业务功能、数据类型与分级、用户与角色、网络分区与部署形态 | 全局 |
| 二 | 密码应用需求分析:按真实性、机密性、完整性、不可否认性四类需求逐项列出保护对象 | 全局 |
| 三 | 密码算法与密码产品选型:算法清单、产品清单、认证证书核验情况 | 全局 |
| 四 | 物理和环境安全的密码应用:门禁与视频记录的现状与整改建议 | 物理和环境 |
| 五 | 网络和通信安全的密码应用:通信实体鉴别、传输加密、策略完整性保护 | 网络和通信 |
| 六 | 设备和计算安全的密码应用:设备鉴别、远程管理通道、日志完整性保护 | 设备和计算 |
| 七 | 应用和数据安全的密码应用:应用鉴别、权限信息完整性、数据加密与签名、时间戳 | 应用和数据 |
| 八 | 密钥管理:三级密钥体系、各环节操作规程、人员与介质管理 | 密钥管理 |
| 九 | 安全管理:制度清单、岗位职责、应急处置、人员培训 | 安全管理 |
| 十 | 实施与验证计划:建设节点、自评估安排、评估委托与整改安排 | 全局 |
数据来源:招标文件第五章 3.2.7;章节与层面的对应关系依据《信息安全技术信息系统密码应用基本要求》的要求结构。
证据的组织与方案编制同步进行。每一条测评要求在证据清单中登记三项内容:证据类型(配置截图、日志样本、文件、现场演示)、证据位置(哪台设备的哪个配置项、哪份文件的哪一节)、责任岗位。证据清单按层面分册,随自评估表一并移交评估机构。
有三类证据最容易在进场时拿不出来,因此单独安排。一是密钥操作的历史记录:密钥产生、导入、备份、轮换、销毁的台账要从建设之初就开始记,事后无法补造。二是算法使用的实际证明:不仅要说明设计上用了国密算法,还要能从日志或抓包中显示实际调用的算法标识。三是人员操作的留痕:双人复核、分量导入这类流程,要有两人分别操作的记录,而不是一人代办后补签。
密评的技术部分按物理和环境、网络和通信、设备和计算、应用和数据四个层面考察,另有密钥管理与安全管理两部分贯穿其中。各层面的要求与本项目的实现方式如表 12-24 所示。
表 12-24 密评技术要求与本项目密码应用实现
| 层面 | 评估关注点 | 本项目实现方式 | 所用算法与产品 |
|---|---|---|---|
| 物理和环境安全 | 机房门禁与视频记录的真实性、完整性 | 沿用甲方数据中心既有门禁与监控;核查其是否采用合规密码模块,不足项如实记录并提交整改建议 | 甲方既有设施 |
| 网络和通信安全 | 通信实体身份鉴别、通信数据完整性与机密性、网络边界访问控制信息的完整性 | 跨区通信启用国密传输层加密;接入连接器与加工节点以设备证书双向认证;访问控制策略配置变更计算摘要并签名留存 | SM2 证书认证、SM4 传输加密、SM3 完整性校验 |
| 设备和计算安全 | 设备身份鉴别、远程管理通道安全、系统资源访问控制信息与日志记录的完整性 | 运维通道以证书加口令双因素接入;设备与服务器配置基线计算摘要定期比对;日志归档件签名留存 | SM2 双因素认证、SM3 摘要、SM2 签名 |
| 应用和数据安全 | 应用身份鉴别、访问控制信息完整性、重要数据传输与存储的机密性与完整性、不可否认性 | 应用以标识加凭据鉴权;权限配置变更留摘要;数据按一文一密与一数据一密加密存储;数据集版本与交付清单签名并加盖时间戳 | SM4 加解密、SM3 摘要、SM2 签名、时间戳服务 |
| 密钥管理 | 密钥产生、分发、存储、使用、更新、归档、销毁各环节的合规性 | 密钥在密码机内产生、根密钥不出设备、分量导入双人操作、备份加密保管、销毁前校验数据状态、操作逐笔审计 | 服务器密码机安全区、平台密钥管理模块 |
| 安全管理 | 制度、人员、实施与应急的管理措施 | 密码应用管理办法、密钥管理规程、三员分立、密码设备故障应急处置预案 | 管理文件与岗位配置 |
数据来源:招标文件第五章 3.2.7 与 3.1.2.1(12)(13)条;层面划分依据《信息安全技术信息系统密码应用基本要求》的技术要求结构。
表中第一行需要特别说明。机房门禁与视频记录的密码应用属甲方既有设施范围,本项目不新建机房。我方在密评准备阶段对这一层面做现状核查并书面提交结论,若既有设施未采用合规密码模块,相应条款的评估结果受此影响,这一点在密码应用方案中会提前向甲方说明,由甲方决定是否就该层面单独整改。
自评估阶段由项目组按测评要求逐条自查,形成自评估表与证据清单。证据清单是密评的关键材料,每一条要求都要指明证据在哪里:哪个配置项、哪段日志、哪份文件、哪次演示。失分常见原因是已实施但证据不足。证据组织与技术实现同步推进,不在机构进场前临时收集。
正式评估由具备商用密码应用安全性评估资质的机构实施。我方的配合内容包括:提交密码应用方案与评审意见、密码产品认证证书核验记录、密钥管理规程与操作台账、系统配置与日志样本、现场演示密码功能的调用与密钥操作流程。
评估结论存在不符合项的,按不符合项清单编制整改方案并执行整改,整改完成后申请原机构复评。密评的不符合项有两类特殊之处需要在整改时区分:一类是设计性不符合,例如某一环节设计上未使用密码保护,整改涉及方案修订与代码改动,须先修订《商用密码应用方案》并重新评审,再实施整改;另一类是证据性不符合,即已实施但证据不足,整改内容是补齐配置取证、日志样本或操作台账,不改动系统。两类的整改周期相差很大,在编制整改计划时分开排期。
复核与等级测评同样安排在提请复评之前:每一条整改项由未参与该项整改的岗位按测评要求复核一次,复核记录随复评申请一并提交。属甲方既有设施的层面(物理和环境)按现状如实记录,核查结论与整改建议书面提交甲方。
本项的正式成果是具备商用密码应用安全性评估资质的机构出具的《商用密码应用安全性评估报告》;经评审的《商用密码应用方案》及其专家评审意见、密码产品认证证书核验记录、密钥管理操作台账作为附属材料一并归档。报告由评估机构签发,项目组承担的是按第三级密码应用要求完成方案编制、建设实施与整改,组织并配合评估,把机构出具的报告提交甲方。
成果提交的时点是项目终验之前。报告中的结论仅说明密码应用的合规性与有效性,不作为等级保护条款符合的依据,也不作为风险可接受的判定依据。
三项评估的目的、依据与结论互不替代,但在时间上必须排出先后,否则一方的整改会使另一方已核过的条款重新变化。
时序安排为:信息安全风险评估第一轮在平台主要功能上线后实施,其结论作为等保与密评自评估的输入,使自评估能带着已知问题去查;等保自评估与整改完成后,等级测评机构进场;等级测评的整改复测完成后,密评机构进场;密评整改完成后,风险评估第二轮实施,确认残余风险。等保与密评不同时进场,原因在于两者的整改动作可能相互影响,同时实施容易出现一方的整改引发另一方条款变化的情形。
三家机构的选择与委托由项目组在中标后统一办理,办理内容包括资质核验、承接能力与周期确认、委托合同签订与费用支付。资质核验的口径是:等级测评机构须在网络安全等级保护测评机构推荐目录内且资质在有效期内;密评机构须具备商用密码应用安全性评估资质;风险评估可由前述机构之一承接,但承接风险评估的机构不得同时承接本项目的同一轮等级测评,避免自评自测。具体机构名称与报告出具时间在委托确定后向甲方书面报备。相关费用已在报价中考虑。
三项评估的成果与提交时点如表 12-25。
表 12-25 三项评估的正式成果与提交时点
| 评估 | 依据 | 出具方 | 正式成果 | 提交时点 |
|---|---|---|---|---|
| 信息安全风险评估(第一轮) | 《信息安全技术信息安全风险评估方法》《信息安全技术信息安全风险评估实施指南》 | 具备风险评估能力的机构,项目组配合 | 《信息安全风险评估报告》《风险处置计划》 | 平台主要功能上线后 |
| 等级保护 2.0 测评 | 《信息安全技术网络安全等级保护基本要求》《信息安全技术网络安全等级保护测评要求》 | 具备等级测评资质的机构 | 《网络安全等级测评报告》、备案证明、整改复测结论 | 整改复测完成后、终验前 |
| 商用密码应用安全性评估 | 《信息安全技术信息系统密码应用基本要求》《信息系统密码应用测评要求》 | 具备密评资质的机构 | 《商用密码应用安全性评估报告》、经评审的密码应用方案 | 整改复评完成后、终验前 |
| 信息安全风险评估(第二轮) | 同第一轮 | 同第一轮 | 风险复核结论、《残余风险确认书》 | 终验前 |
数据来源:招标文件第五章 3.2.7与第 9 章验收要求。
四项成果的结论分别归档、分别引用。验收材料中同时列出三项评估的结论,不以其中一项的通过结论代替其余两项。
招标文件要求投标方在系统安装调试过程中,对涉及招标方的产品和商业秘密按国家《保守国家秘密法》及招标方的保密要求进行保密,施工前按招标方要求签署《保密协议》及《安全承诺书》,因投标方造成泄密或安全事故的,赔偿损失并承担法律责任。我方接受上述要求,不提出偏离,并按下述安排落实。
我方在进场施工前,按甲方提供的格式签署《保密协议》与《安全承诺书》;甲方另有保密管理制度需签署确认的,一并签署。协议由我方加盖公章,参与本项目的人员另行逐人签署个人保密承诺。
保密范围按四类界定。第一类是产品与技术秘密:图纸、工艺卡、工序字典、作业指导书、校核方法与参数窗口。第二类是商业秘密:客户与供应商信息、合同与报价、物料价格、库存与资金数据。第三类是客户方资料:矿方提供的地质条件报告、工作面参数与接口会商记录,这一类的权利人是甲方的客户,保密责任不因其不属甲方自有资料而减轻。第四类是本项目过程资料:系统架构、网络拓扑、账号与权限配置、安全测评报告与整改记录,这类资料本身即是攻击面信息。
保密义务的期限按协议约定,协议未约定时按项目终验后不少于五年执行,涉及技术秘密的部分在秘密性消失前持续有效。
人员是保密管理的主要风险来源,因此按入场、在场、离场三个阶段设控制点。
入场前,项目组核查人员背景并组织保密与安全培训,培训内容包括保密范围、违规情形、载体管理要求与现场安全规定,培训记录留存。签署个人保密承诺与安全承诺后方可入场,入场人员名单报甲方备案。
在场期间,权限按岗位最小必要分配,不以“方便干活”为由放宽;访问核心级数据需逐项审批;现场作业区域按甲方规定活动,不进入与本项目无关的区域。涉及甲方数据的工作一律在甲方指定的网络环境中完成,数据不带出甲方网络;确需远程协作时,走甲方审批的受控通道接入,远程会话录屏留存,不在远程端留存数据副本。
离场时办理交接:归还门禁与介质,吊销证书,禁用账号,移交工作成果与过程记录,签署离场确认。人员岗位调整或退出项目的,当日完成权限回收,不留“虽已离场但账号还在”的情形。
涉及甲方信息的电子载体按登记、使用、归还全程管理。移动存储介质登记编号后限项目内使用,私有设备不接入甲方网络,不以个人账号的网络服务传输项目资料。打印与复制按需申请,打印件标注密级与份数并在使用后回收或销毁。需要跨场地传输的资料以加密方式传输,密钥与密文分渠道交付。
数据不出甲方网络是本项目的基本口径。数据集加工生产的全部环节在甲方数据中心内网完成,加工工具链与训练推理环境部署在内网,模型按统一网关接入,数据按分级决定其可进入的推理环境,最高敏感级的数据在网关层即被拦截,不进入外部推理环境。这一口径与数据治理的数据安全规划保持一致。
硬件设备的到货验收、上架布线与机房作业涉及现场施工,按甲方安全管理规定执行。作业前办理作业许可,接受进厂安全教育,按规定佩戴防护用品;机房内作业不擅自改动与本项目无关的线路与设备,涉及断电、改线的作业提前报批并选在甲方约定的窗口期执行;作业完成后清理现场,恢复原状,移交作业记录。
安全事故的处置与责任按招标文件与合同约定执行:发生事故立即报告甲方并采取应急措施,配合调查,承担因我方原因造成的损失赔偿与法律责任。现场施工的具体实施步骤与设备安装适配安排见系统集成方案一节。
平台整体的容灾、备份恢复与可用性指标见非功能性技术要求一节,审计日志、密钥与配置等安全类对象的备份恢复配置见本节项目安全合规建设要求部分;此处给出安全运营的日常节律与安全事件的处置安排。
安全控制建成之后会随时间失效:账号在人员流动中沉积,策略在一次次临时放通后变松,规则库跟不上新出现的敏感模式。因此安全运营按固定节律做几件具体的事,而不是等出问题再查。节律安排如表 12-26 所示。
表 12-26 安全运营的日常节律
| 周期 | 动作 | 产出 | 责任角色 |
|---|---|---|---|
| 每日 | 查看一级与二级告警并记录处置;核对密码设备与服务状态;查看越权调用尝试统计 | 值班记录 | 安全管理员 |
| 每周 | 核查新增与变更的账号授权;核查临时放通的策略是否已到期回收;抽查审计日志完整性 | 周核查表 | 安全管理员、审计管理员 |
| 每月 | 核查三员账号互斥状态与证书有效期;统计敏感操作与双人复核执行情况;更新敏感实体名录 | 月度安全报告 | 安全管理员 |
| 每季 | 审计覆盖缺口检查;脱敏规则库评审与补充;配置基线核查;漏洞评估与补丁处置 | 季度核查报告、规则库变更记录 | 项目组安全岗 |
| 每半年 | 密钥与证书轮换执行;应急处置预案演练;权限矩阵逐条复核 | 轮换记录、演练报告、权限复核表 | 项目组安全岗 |
| 按需 | 人员入场与离场的权限开通与回收;新增功能模块的审计接入 | 人员权限台账、审计接入记录 | 安全管理员 |
数据来源:招标文件第五章 3.1.2.1(10)(14)条与 3.2.6.12 第三项;节律设置参照等级保护基本要求安全运维管理层面的检查要求。
表中“临时放通的策略是否已到期回收”这一项,是本项目的实施阶段最需要盯住的一处。调试期间为了把链路接通,往往会临时放开端口与地址,这些临时策略如果没人回收,等保测评时会成为访问控制条款的失分项。实现上,临时策略在配置时必须填写到期时间,到期系统提示,未处理的进入周核查表。
安全事件按影响范围与可逆性分三级。一级事件指已经发生数据外泄、数据被篡改且已对外发布、密码设备或密钥疑似失控三类情形;二级事件指发生越权访问或异常批量操作但未确认外泄、密码服务不可用影响业务、发现高危漏洞被利用痕迹;三级事件指扫描探测、单次失败的越权尝试、低危漏洞、策略偏离基线。
处置流程按发现、判定、先期处置、恢复、归因、改进六步执行,如图 12-7 所示。
图 12-7 安全事件处置流程与报告路径。数据来源:招标文件第五章 3.1.2.1(14)条、3.2.6.12 第三项与第 4 章第 8 章保密及安全责任要求。
流程里有一处容易被做反:先期处置阶段,止损与保全证据的顺序。急于恢复业务而重启设备、清理日志、覆盖快照,会把归因的依据一并抹掉,之后既说不清影响范围,也无法向甲方交代。因此预案把证据保全列为与止损并列的先期动作,恢复排在其后。 处置流程要在平台上配置成可执行的动作,否则预案只是一份文件。平台按事件级别预置三组配置:自动处置动作、通知矩阵与时限。
自动处置动作在告警规则触发时即刻执行,不等待人工判断:越权调用尝试在设定窗口内达到次数阈值,自动冻结该应用标识的密码服务调用权限并保留在途请求记录;名单外地址访问管理台或审计入口,自动阻断该地址并保留会话取证;审计日志写入中断,自动把五类高敏操作切到失败即拒绝模式;密码设备整机离线,自动把最高敏感级任务切入等待队列。四类动作均在执行后发出告警,由值班人员确认,确认前不可解除。
通知矩阵按级别与时段配置:一级事件以短信加邮件通知项目组值班、项目组安全岗与甲方运维联系人,非工作时段同样触发;二级事件以邮件加平台内消息通知安全管理员与相关岗位,次日上班前须有阅知记录;三级事件在平台内与日报中呈现。联系人名单与通知时段在实施阶段与甲方确认后配置。
时限按三段配置并计入值班考核:一级事件自告警产生至先期处置完成不超过 30 分钟,自先期处置完成至向甲方书面报告不超过 2 小时;二级事件当日内完成先期处置并形成处置记录;三级事件在三个工作日内关闭。任一事件超时未处置,自动升一级并重新发出通知。上述时限为实施阶段的配置基线,试运行期按实测的响应数据收紧;若因甲方侧配合环节导致时限无法达成,在事件记录中注明等待环节与等待时长,并在月度安全报告中汇总,作为下一周期调整值班安排的依据。
事件处置的每一步都留痕:发现方式与发现时间、判定依据与定级结论、先期处置动作与执行人角色、证据保全清单、恢复时间、归因结论、改进项与关闭时间。记录随月度安全报告提交,一级事件另出单独的事件报告。
预案不写成通用流程,而按本项目可能遇到的具体情形写,如表 12-27 所示。
表 12-27 五类典型安全事件的处置预案
| 事件类型 | 判定依据 | 先期处置 | 恢复与善后 |
|---|---|---|---|
| 敏感数据疑似外泄 | 审计发现异常批量导出;外部发现本项目数据特征 | 禁用相关账号与应用;暂停对外下载通道;保全日志与导出记录 | 核定外泄范围与对象分级;按一级事件报告;评估是否需撤回已发布数据集版本;补充检出规则并对相关批次重做脱敏 |
| 数据集被篡改 | 版本指纹或分片摘要校验不一致 | 暂停该数据集的下载与流通;锁定相关存储;保全校验记录 | 从可信版本恢复并重新签名;核查篡改入口;对同期发布的其他版本做指纹复核 |
| 密码设备或密钥疑似失控 | 设备异常离线伴随异常调用;分量保管异常;密钥操作记录与审批不符 | 停止受影响密钥的使用;切换到备用密钥或暂停相关业务;保全设备与操作记录 | 执行密钥轮换并对受影响数据转加密;核查保管流程;按一级事件报告 |
| 越权访问或权限异常 | 审计发现跨租户调用、名单外访问、角色互斥被绕过 | 回收异常权限;禁用相关账号;核查同类配置是否普遍存在 | 修正权限矩阵与策略配置;对该账号历史操作做追溯核查;纳入月度复核重点 |
| 密码服务不可用 | 服务实例或分组健康探测连续失败;调用失败率超阈值 | 按分级降级口径执行:最高敏感级任务入等待队列,一般级进待校验队列 | 恢复实例或切换分组;补算待校验队列;核查根因;若为容量原因提出扩容建议 |
数据来源:招标文件第五章 3.1.2.1(6)(9)(10)(14)条、3.2.6.12 第三项与第 4 章第 8 章。
五类预案在每半年的演练中轮换抽选两类进行桌面演练或实操演练,演练报告记录发现的流程缺陷与改进项。演练安排与项目整体的应急演练计划合并执行,避免重复占用甲方运维资源。
平台移交甲方运维之前,安全相关的交底按三类对象分别进行。
面向甲方运维岗的交底内容是平台的日常操作:告警的查看与处置、账号与权限的开通与回收、审计日志的查询与统计、临时策略的申请与回收、备份的执行与核验。交底以实操方式进行,受训人独立完成一轮日常节律动作后方视为完成。
面向三员岗位的交底按角色分开进行,内容为各自权限范围内的操作规程与互斥约束。密钥操作与分量保管的交底另行组织,参加人限保管人与其备份人,交底后签署保管责任确认。
面向业务岗位的交底内容较轻,集中在三件事上:哪些数据属于哪一级、什么操作需要审批、发现异常如何上报。这三件事与业务人员的日常直接相关,讲清楚的收益高于讲全部制度。培训的课程安排、学时与考核方式见售后服务方案一节的培训部分;安全类交底的内容范围按上述三类对象分别确定,交底记录随交付物移交。
安全工作在实施期按技术实现、密码产品配置、第三方评估三层推进。三层的责任主体与产出不同,交接点必须写明,否则会出现“平台建完了但没人去组织测评”“机构进场了但证据拿不出来”这两类在项目末期才暴露的缺口。
三层工作的内容、责任主体、产出与验收口径如表 12-28。
表 12-28 实施期安全工作的责任划分
| 层次 | 工作内容 | 责任主体 | 产出物 | 验收口径 |
|---|---|---|---|---|
| 技术实现 | 商用密码服务平台十九条功能建设;加工主线上的密码应用落点;分级标签配置;去标识与脱敏;账号、角色与数据权限配置;访问名单;全流程审计与日志完整性;备份恢复;安全运营与应急处置 | 项目组技术实现岗,安全管理员配置并核对 | 平台功能、配置清单、操作规程、脱敏规则库、审计与权限配置说明、应急处置预案 | 功能在验收环境可演示;配置清单与运行配置逐项一致;异常注入测试八类场景达判据 |
| 密码产品配置 | 密码机纳管与算法开通;虚拟实例与服务分组划分;三级密钥体系建立与密钥分发;证书体系签发与校验配置;国产化环境适配验证;产品证书逐台核验 | 项目组密码配置岗,设备安装与现场联调由系统集成环节承担 | 设备纳管记录、密钥管理台账、证书签发记录、国产化环境适配报告、产品认证证书核验记录 | 台账自建设之初连续可查;适配报告四类环境用例通过;证书编号与设备序列号一一对应 |
| 第三方评估 | 信息安全风险评估;等级保护 2.0 测评;商用密码应用安全性评估;整改与复核 | 具备相应资质的机构出具结论,项目组负责委托、准备、整改与配合 | 风险评估报告与残余风险确认书、等级测评报告与备案证明、密评报告、整改记录 | 三项结论分别归档;不符合项全部关闭或经甲方书面确认接受 |
数据来源:招标文件第五章 3.1.2、3.2.6.12、3.2.7 的要求划分与第 9 章验收要求。
三层之间是前后依赖:技术实现与密码产品配置完成到一定程度,自评估才有对象;自评估整改完成,机构进场才有意义;评估报告出具,验收材料才齐备。因此三层不并行压缩到项目末期,各步的时点见表 12-29。
本项目建设周期至 2028 年 5 月。安全工作按八个步骤推进,各步的责任角色、时点、成果与验收条件如表 12-29。各步的起止月份在中标后与甲方确认总体计划时对齐,总体实施计划见项目管理措施一节。
表 12-29 实施期安全工作的步骤、责任、时点、成果与验收条件
| 步 | 工作内容 | 责任角色 | 时点 | 成果 | 验收条件 |
|---|---|---|---|---|---|
| 1 | 编制《商用密码应用方案》并提请专家评审;编制等保定级报告并配合专家评审、主管部门审核与公安机关备案 | 项目组安全岗牵头,甲方组织评审与备案提交 | 平台详细设计完成前 | 密码应用方案及评审意见、定级报告、备案材料 | 方案取得评审通过意见;取得备案证明 |
| 2 | 确认数据分类分级目录;配置分级标签与三类策略表;配置账号、角色与数据权限 | 安全管理员配置,甲方业务口确认目录 | 平台详细设计阶段 | 分级策略表、权限矩阵、账号与权限管理办法 | 策略表与分级目录逐项对应;权限矩阵经甲方确认 |
| 3 | 密码服务平台建设与设备纳管;三级密钥体系与证书体系建立;国产化环境适配验证 | 项目组技术实现岗与密码配置岗 | 与平台建设同步,不单列工期 | 平台功能、配置清单、密钥与证书台账、国产化环境适配报告 | 十九条功能在验收环境逐条可演示;适配报告四类环境用例通过 |
| 4 | 脱敏规则库建设与效果验证;审计事件采集与入口台账建立;日志完整性保护与备份恢复配置 | 项目组安全岗与预处理岗,审计管理员核对 | 首批数据接入前完成,随批次持续补充 | 脱敏规则库与执行记录、审计入口台账、备份恢复配置说明 | 入口台账覆盖全部数据对象操作入口并通过采集验证;恢复验证按周期执行有记录 |
| 5 | 数据来源合法性核查与台账建立;来源合法性承诺出具;脱敏效果抽样复核与重标识风险测试 | 项目组合规岗,甲方提供授权说明 | 随数据集批次推进,每批次发布前完成 | 来源合法性核查台账、来源合法性承诺、脱敏效果验证记录 | 批次内素材来源逐条可核;抽样复核漏检率在约定阈值内 |
| 6 | 异常注入与恢复测试;安全运营节律启动;安全交底与岗位培训 | 项目组安全岗,甲方运维岗参训 | 平台主要功能上线后 | 安全测试报告、值班与核查记录、交底与培训记录 | 八类异常场景达恢复判据;受训人独立完成一轮日常节律动作 |
| 7 | 信息安全风险评估第一轮;等保与密评自评估并整改 | 项目组安全岗组织,机构实施风险评估 | 正式测评进场前 | 风险评估报告、风险处置计划、等保与密评自评估表及证据清单、整改记录 | 自评估逐条填明证据位置;高风险项处置完成并复核通过 |
| 8 | 等级测评进场与整改复测;密评进场与整改复评;风险评估第二轮与残余风险确认 | 机构出具结论,项目组配合与整改 | 项目终验前,预留整改窗口 | 等级测评报告与复测结论、密评报告、残余风险确认书 | 三项结论分别归档;不符合项全部关闭或经甲方书面确认接受 |
数据来源:招标文件第五章 3.2.7、第 4 章建设周期要求与第 9 章验收要求。
两点安排需要说明。一是第 7 步与第 8 步之间必须留出整改时间,测评与复测安排在终验之前并留出专门窗口,不压在验收前的最后时段;若首轮结论不理想,整改复测的时间来自这个预留窗口,而不是挤占验收。二是第 2 步依赖甲方确认的数据分类分级目录,第 5 步依赖甲方出具的客户方资料授权说明,这两项前置条件未到位时,相应步骤的成果以可配置的策略框架与空白台账先行交付,待前置条件到位后按目录与授权一次性配置并补记,补记完成的时点在月度报告中列明。
安全工作的成果多数不是可运行的软件,而是文档、台账、配置与机构出具的结论,其价值在于需要时拿得出来。项目末期常见的缺口并非某项控制没有做,而是做了却没有同步留下可追溯的证据,等到测评进场或验收核查时再行补记,既难以还原真实过程,也不为第三方机构采信。表 12-30 因此不止列明交付什么,更把每一项的形态与交付时间一并固定下来。
清单的取项有三个来源:招标文件在项目安全合规建设与信息安全风险评估两处明确要求提交的材料、等级保护测评与商用密码应用安全性评估依规必须具备的过程文件,以及各项配置设计自身产生的记录。形态一列区分文档、台账、配置与机构出具四类,区分的用意在于核查方式不同:文档一次成稿后进入版本管理,台账自建立之初连续记录、验收时移交当期全量,配置以导出清单与运行环境逐项比对的方式核验,机构出具的报告由甲方与我方分别归档。交付时间一列与项目阶段对齐,凡标注“随数据集批次”的,表示它不是一次性交付物,而是随每一批数据集发布同步产生并归档。
读表时以「交付时间」一列为判据:凡时间落在某一阶段的交付物,该阶段结束时即应已经存在,而不是留到验收前集中补齐;确因甲方前置条件未到位而无法成形的,按实施期安全工作一部分所述办法,先行交付可配置的策略框架与空白台账,条件到位后补记并在月度报告中列明补记时点。「形态」一列指明该项的核查方式,据此可在任一时点盘点应有而未有的项。清单各项按时点如期形成,即构成安全工作全过程可追溯的书面证据。
表 12-30 安全类交付物清单
| 序 | 交付物 | 形态 | 交付时间 |
|---|---|---|---|
| 1 | 商用密码应用方案及专家评审意见 | 文档 | 详细设计阶段 |
| 2 | 等级保护定级报告与备案材料 | 文档 | 定级阶段 |
| 3 | 平台安全管理办法、密码应用管理办法、账号与权限管理办法、日志审计管理办法、数据安全与脱敏操作规程、安全事件应急处置预案 | 文档(六份) | 建设实施阶段 |
| 4 | 密码服务接口文档与调用示例 | 文档加代码 | 建设实施阶段 |
| 5 | 密钥管理台账与证书签发记录 | 台账 | 持续维护,验收时移交 |
| 6 | 国产化环境适配报告 | 文档 | 适配验证完成后 |
| 7 | 兼容性互认证明、密码机多厂商互认证明、商用密码产品认证证书核验记录 | 材料 | 投标递交前与实施阶段 |
| 8 | 数据来源合法性核查台账与来源合法性承诺 | 台账加承诺函 | 随数据集批次 |
| 9 | 脱敏规则库、脱敏执行记录与效果验证记录 | 配置加记录 | 随数据集批次 |
| 10 | 审计与权限配置说明、权限矩阵 | 文档加配置 | 建设实施阶段 |
| 11 | 等保与密评自评估表及证据清单 | 文档 | 自评估阶段 |
| 12 | 等级测评报告、商用密码应用安全性评估报告或证书、整改报告 | 机构出具 | 测评与复测阶段 |
| 13 | 安全运营节律记录、月度安全报告、演练报告 | 记录 | 持续,质保期内继续提供 |
数据来源:招标文件第五章 3.2.6.12、3.2.7 与第 9 章验收要求。
第 13 项延续到质保期内,是因为安全控制的有效性需要持续证据。质保期内的安全支持内容与响应时限见售后服务方案一节。
采购清单第 1 项「数据资源建设服务」包含两项内容:十七个外围应用系统的集成采集,离线非结构化数据的解析与录入。
集成采集的工作面在源系统侧:每一个源系统用什么通道取数、取哪些数据、多久取一次、取不到或取错了怎么办、源系统需要配合什么。按业务域组织的采集任务编排——供需计划、产品工艺设计、制造过程、产品质量四个域各自汇集哪些域内数据、产出什么样的原始数据批次——由数据加工生产主线的采集环节承接(3.2.6.3.1)。两者是同一批数据的两种视角:按系统横切得到接入通道与采集记录,按业务域纵切得到原始数据批次;接入通道与采集记录定义一次,加工主线直接调用。
与之相邻的两类工作分属其他交付内容:通用服务器与接入连接器的安装适配、服务密码机的国密算法调试、硬件网络连接属系统集成服务;接入连接器的硬件配置与功能要求属硬件选型。
源系统的接口协议、数据库连接信息、数据字典与低峰时段,按招标文件第 3.2.2 节各条的写法,是对源系统提出的要求,由招标方协调源系统侧提供。十七套系统逐条列明需要对方提供什么、我方据此做什么、对方暂时提供不了时我方退到哪一步;这些事项同时是采集接入工作的前置条件,第 6 节单列风险与配合事项。
采集接入的设计落点是三件事:按已授权范围只读取数,在入口处就把来源、口径、许可与缺失登记清楚,并让取回的数据带着能与物理对象对上的标识。四项设计原则由此展开。
只读优先,不向源系统写入。 本项目对十七个源系统一律采用只读方式取数,不向源系统写入业务数据、不修改源系统表结构、不在源系统部署改造代码。这是责任边界,也是降低对方配合成本与风险的最直接办法——只读权限的开通审批远比读写权限容易通过。
低峰窗口取数,不扰动生产。 招标文件为十六个系统逐条写明「须提供业务低峰时段:例如 0 点至 5 点」。我方按此口径编排批量作业:全量初始化与大批量历史回溯一律安排在约定低峰窗口内执行,窗口外只运行轻量增量与实时流。
增量优先,全量兜底。 每一个源系统都先确定一种可靠的增量识别手段,按增量取数;仅在首次初始化、口径变更、数据校验不一致或增量水位线失效时才回退到全量或分片重取。这样做的直接收益是对源系统的压力可控,次级收益是采集批次天然按时间切分,便于后续按「近三年时效性数据条数占比不低于 40%」的指标口径统计。
入口即治理。 数据源登记、许可凭证核验、入口脱敏与格式合规校验在采集环节完成,而不是等数据落到加工区再补。每一个采集批次都附一份采集记录,写明来源系统、取数时点、数据范围、行数或文件数、校验结论与门控状态;门控不通过的批次不进入下游环节。
总体技术路线一句话概括:五类采集通道取数,三层落区分层承接,一套登记台账贯穿全程。
五类采集通道。 十七个源系统的技术形态差别很大——有关系库、有接口、有文件服务器、有时序库、有组态系统。按技术形态而非业务归属划分通道,可以把十七套对接压缩为五种标准做法,每种做法一次设计、多处复用。五类通道分别是:数据库只读直连通道、应用接口通道、文件与附件通道、时序与设备通道、单向监管数据通道。各通道的适用范围、协议、增量机制与频次见表 1-1。
三层落区。 取回的数据在数据集加工生产平台(我方平台对外名称为奔牛数据智能平台,下同)内按加工成熟度分三层承接。贴源层按源系统原样留存,字段不改名、不转码、不清洗,只附加采集元数据(批次号、采集时点、源系统标识、行指纹),作用是保留可回溯的原始证据——数据集可信性维度要求非合成数据能追溯到采集源头并与源头保持一致,贴源层就是这一要求的落脚点。标准化层做格式统一、编码对齐、时间基准归一与主键映射,产出按业务对象组织的规范化记录。加工区由数据加工生产主线接管。
一套登记台账。 数据源登记台账记录每一个源系统、每一张表或每一个接口的责任归属、授权范围、许可凭证、敏感等级、取数通道、增量键、频次与窗口、字典版本。台账是采集作业的配置来源,也是审计与验收的依据;采集作业不读台账以外的任何对象。
图 1-1 给出总体数据流与责任边界。
1-1 数据资源采集接入总体数据流与责任边界
图 1-1 数据来源:招标文件第五章 3.2.2.1 各系统集成要求、3.2.6.3.1 采集环节门控要求、采购清单第 1 项。
表 1-1 把十七个源系统按技术形态归入五类通道。归类依据是招标文件为每个系统写明的「须提供数据库连接信息、API 接口信息或 FTP 信息」一类条款——招标文件允许三种之一,说明具体形态以现场勘察为准,方案须对三种都给出做法。
表 1-1 五类采集通道的适用范围、增量机制与频次口径
| 通道 | 适用源系统 | 取数协议与形态 | 增量机制 | 频次与窗口 | 对源系统的压力控制 |
|---|---|---|---|---|---|
| 库只读直连 | ERP、SCM、WMS、MES、LMS、EAM、主数据平台(库直连可用时) | 关系库只读账号或只读视图;加密传输 | 变更数据捕获优先;不可用时按更新时间戳+自增主键双键水位线 | 增量每日一次,置于约定低峰窗口;关键表可按小时轮询轻量增量 | 限定并发连接数与单次返回行数;只读副本优先;长事务拆分游标分页 |
| 应用接口 | CRM、QMS、SOS、PLM、久其、主数据平台(接口形态时) | 接口调用,优先 HTTPS 承载的表述性状态转移接口;按授权令牌鉴权 | 接口侧按更新时间区间与分页游标拉取;接口无增量参数时由我方维护本地水位线并按主键去重 | 增量每日一次;接口侧有速率限制时按令牌桶节流分片执行 | 单位时间调用次数与并发数按对方给定上限配置;失败按指数退避重试 |
| 文件与附件 | CRM、QMS、SOS、PLM、OA(非结构化附件)、离线资料 | 文件传输服务或对象存储只读目录;按清单比对下载 | 以文件清单的路径、大小、修改时间与摘要四项比对确定新增与变更 | 批量下载置于低峰窗口;新增附件可按小时扫描清单 | 并发下载数受限;大文件断点续传;单次扫描目录深度与数量设上限 |
| 时序与设备 | SCADA、热处理群控、EMS、SOS(健康状态时序) | 时序库只读查询、组态系统历史数据接口或消息订阅 | 按测点与时间窗分片取数,维护每测点的采集水位线;补采按缺口时间窗定向执行 | 常态按分钟级或小时级分片拉取;历史回溯按日分片置于低峰窗口 | 单次查询的测点数与时间跨度设上限;按测点分组错峰 |
| 单向监管数据 | 安全监管平台 | 由对方向我方单向推送,或我方只读拉取;网络层单向可达 | 按推送批次或时间窗水位线 | 按对方发布节奏接收;我方不发起反向请求 | 仅接收,不向对方发起写操作与查询之外的调用 |
表 1-1 数据来源:招标文件 3.2.2.1.1–3.2.2.1.17 各系统「须提供数据库连接信息、API 接口信息或 FTP 信息」条款及 3.2.2.1.17 单向集成要求。
采集接入是一项双边工作,一边开通、一边取数,任何一边缺位都无法推进。为避免实施期扯皮,表 1-2 把双方职责按工序列明。
表 1-2 采集接入的双方职责划分
| 工序 | 招标方及源系统侧 | 我方 | 交接物 |
|---|---|---|---|
| 源系统勘察 | 确认各系统的版本、部署位置、数据库类型与接口形态;指定各系统的技术联络窗口 | 编制勘察问卷与现场核对清单;完成逐系统勘察并出勘察结论 | 源系统勘察结论表(逐系统一页) |
| 授权开通 | 审批只读账号或只读视图;开通接口授权令牌与文件服务只读目录;配置网络策略与白名单 | 提交最小权限申请清单(按表、按接口、按目录逐项列明用途) | 授权开通记录与账号台账 |
| 字典交付 | 提供数据字典或数据库设计说明书;字典变更时同步通知 | 核验字典与实际库结构的一致性;登记字典版本号 | 字典核验报告与版本登记 |
| 窗口约定 | 确认各系统的业务低峰时段 | 按窗口编排作业日历;窗口冲突时提交错峰方案 | 采集作业日历 |
| 试采与验证 | 配合试采期间的监控与问题定位 | 执行试采、比对行数与关键字段、出具试采结论 | 试采比对报告 |
| 常态运行 | 源系统升级、停机维护前提前通知 | 按日报出采集作业执行情况;异常按分级响应 | 采集作业日报与异常处置单 |
表 1-2 数据来源:招标文件 3.2.2.1 总则「与以下各系统集成基于项目实际需求执行」及各系统「须提供」条款的责任归属。
这里需要如实写明一项前提:招标文件对十七个源系统的连接信息、数据字典与低峰时段均写为「须提供」,提供方是源系统侧。源系统多为既有建成系统,其接口开放、字典交付与配合联调需要由招标方出面协调;部分系统若由原建设方承担接口开发或配合工作,相应配合范围与费用归属须在合同谈判阶段明确。
我方据此设计了分档接入策略:授权与字典齐备的系统走完整通道;授权已开通但字典缺失的系统,先按实际库结构反向推导并提交核对;授权暂未开通的系统,先按甲方提供的样例数据或导出文件完成解析与建模,待授权到位后切换为常态接入。三档的具体切换口径见第 6 节。
数据集所需原始数据来自企业各业务系统,与各系统的集成按项目实际需求执行。十七套源系统按原编号逐项落位,各系统共用的接入规范先行写定,逐系统只写本系统特有之处。
招标文件为每一个源系统重复写了三到四条同样的要求:须提供连接信息、须提供低峰时段、须提供数据字典。这三条在十七处重复出现。与其在逐系统方案中抄十七遍,通用做法在本小节一次写定,第 2.3 节至第 2.19 节各系统只写自己特有的部分;逐系统各节未另行说明之处,一律按本小节执行。
每一个源系统接入前须齐备四项要素:连接方式、数据范围与授权、数据字典、低峰窗口。四要素以「接入要素表」的形式逐系统填写、双方签认,作为后续授权申请与作业配置的唯一依据。第 2.3 节至第 2.19 节为十七个系统各给出一张接入要素表,表中已填妥我方可自行确定的部分,留白处为须招标方确认或提供的部分。
连接方式。 库直连需要的信息包括数据库类型与版本、实例地址与端口、只读账号、可访问的库与模式、字符集、是否允许建只读副本。接口方式需要的信息包括接口清单与地址、鉴权方式与令牌申领流程、请求与响应结构、分页与时间区间参数、速率限制。文件方式需要的信息包括服务地址与协议、只读目录路径、目录组织规则、文件命名规则、保留期限。三种形态按招标文件允许的范围择一或并用。
数据范围与授权。 我方按最小必要原则提交权限申请:按表、按接口、按目录逐项列明,每一项写明用途指向哪个数据集与哪个场景。权限申请不使用通配符,不申请数据定义语言权限,不申请写权限。授权范围变更走同一流程,留档可查。
数据字典。 字典或数据库设计说明书到手后,我方做三件事:一是与实际库结构逐表逐字段比对,列出字典中有而库中无、库中有而字典中无、类型或长度不一致三类差异;二是登记字典版本号与生效日期,采集作业绑定字典版本运行;三是对枚举字段抽取实际取值分布,与字典声明的码值集合比对,差异作为数据质量线索移交预处理环节。字典缺失时按 2.1.1 节末所述的分档策略处理。
低峰窗口。 按招标文件示例口径,低峰时段取 0 点至 5 点。实际窗口逐系统确认,确认结果进入采集作业日历。十七个系统若窗口重叠,按表 2-1 的错峰原则排布。
表 2-1 采集作业时段编排原则
| 时段 | 允许运行的作业类型 | 排布原则 |
|---|---|---|
| 0:00–2:00 | 大表全量初始化、历史数据回溯分片 | 同一时段内对同一源系统只排一个重作业;按源系统轮转,相邻日不重复压同一系统 |
| 2:00–4:00 | 常规增量批、文件清单比对与批量下载 | 按业务域分组执行,同组内串行、跨组并行;并发总数不超过约定上限 |
| 4:00–5:00 | 校验比对、采集记录生成、门控判定、失败重试 | 预留重试余量;5 点前未完成的作业挂起至次日窗口,不占用业务时段 |
| 5:00–24:00 | 轻量增量轮询、时序分片拉取、监管数据接收 | 单次请求量小、间隔可控;按源系统给定速率上限节流 |
表 2-1 数据来源:招标文件各系统「须提供业务低峰时段:例如 0 点至 5 点」条款(等十六处)。
增量取数的可靠性取决于增量键选得对不对。我方按源系统实际条件分四档择用,优先级从高到低。
第一档,变更数据捕获。 源数据库开放日志读取时首选此法。它能捕获插入、更新与物理删除三类变更,不依赖业务字段的填写规范,对源系统的额外开销最小。本项目中优先在企业资源计划、制造执行、仓储管理三类事务量较大的系统上争取此条件。
第二档,更新时间戳与自增主键双键水位线。 多数业务表有创建时间与更新时间字段。单用更新时间会漏掉同一秒内的并发写入,单用自增主键会漏掉历史记录的更新,两者并用并保留一个可配置的回看窗口(默认回看一小时),可把漏采概率压到很低。每次作业结束后推进水位线,水位线与批次号一并落库。
第三档,接口侧时间区间加分页游标。 接口提供按更新时间区间查询时,按区间分片拉取,区间之间留重叠;接口只提供全量列表时,按主键与行指纹在我方侧做差异比对,取出新增与变更部分。
第四档,清单比对。 文件与附件类数据按路径、大小、修改时间与内容摘要四项比对。摘要用于识别「同名文件内容已变」这类改动,这在工艺图纸与管理制度文件上并不罕见。
四档之外保留一条兜底:按月对关键表执行一次全量行数与关键字段校验比对,发现与增量累计结果不一致时,对差异时间窗定向重取。这一机制使采集完整性可以被独立核验,而不是只靠作业成功标志。关于完整性,本方案的承诺口径是逐步接近源系统已授权范围内的全量,以月度校验比对的差异率作为度量:首月基线以试采结论为准,此后按季度收敛差异率,并在采集记录中如实披露每一批次的已知缺口。
招标文件要求对涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据进行去标识化或脱敏处理。采集环节是执行这项要求成本最低的位置——数据一旦落到加工区再回头脱敏,散落的副本就难以收干净。
我方在采集通道的出口、落贴源层之前设一道入口治理闸,按字段级规则执行三类处置。第一类是直接标识符,如客户联系人姓名、手机号、身份证号、银行账号,一律在入口处替换为不可逆的稳定假名,同一真实值在全库映射为同一假名,以保留关联分析能力。第二类是准标识符,如精确地址、精确坐标、小范围时间戳,按泛化规则降精度。第三类是企业秘密字段,如未公开的报价明细、成本构成、供应商价格条款,按授权范围裁剪:训练用途不需要原值的,在入口处即裁掉。
格式合规校验在同一闸口完成,检查项包括字符编码可解析、必填字段非空、数值字段可解析、日期字段符合声明格式、枚举值落在字典码值内、主键非空且在批次内不重复、文件可打开且类型与扩展名一致。校验结论分三级:通过、带告警通过、不通过。带告警通过仅适用于加工区内部的受控流转——该批次可进入预处理与清洗环节,告警项随采集记录传递作为清洗与补全的输入,但不得直接进入数据集交付物,也不得作为场景验证的输入。安全与许可类检查项(敏感内容命中、许可凭证缺失或过期、授权范围外取数)与各表登记的强制检查项,不适用带告警通过:命中即判不通过,一律不放行。不通过的批次挂起并移入隔离区,生成异常处置单。凡带告警通过的批次,其告警项须在该批数据进入交付物之前逐条闭合;闭合记录随采集记录留存,未闭合的告警项在交付前复核时按未完成项处理。
招标文件未逐条规定异常处理,但「方案可实施性」要求方案说清做不到时退到什么。表 2-2 把采集接入可能遇到的异常按来源分类,给出判定条件、处置动作与升级口径。表中各项均已在作业调度配置中实现为可配置策略,不依赖人工临场判断。
表 2-2 采集接入异常分类与处置口径
| 异常类别 | 典型表现 | 判定条件 | 处置动作 | 升级口径 |
|---|---|---|---|---|
| 连接类 | 网络不可达、账号失效、令牌过期、证书过期 | 连续三次连接失败 | 按指数退避重试,最长等待三十分钟;仍失败则挂起本系统当日作业 | 挂起即生成异常处置单,一个工作日内向源系统联络窗口发起核查 |
| 性能类 | 查询超时、源系统负载告警、接口触发限流 | 单次查询超出约定时限或收到限流响应 | 自动降低并发与单批行数,按更小分片重试;移出当前窗口改排下一窗口 | 连续两日发生则调整该系统的频次与分片参数并书面通知 |
| 数据结构类 | 字段新增或删除、类型变更、码值集合变更、表改名 | 实际结构与登记字典版本不符 | 停止该表当日入库,保留已取回数据于隔离区;生成结构差异报告 | 结构变更须经双方确认后更新字典版本与作业配置,方可恢复 |
| 数据内容类 | 关键字段大面积为空、编码乱码、时间倒序、主键重复 | 校验项不通过比例超出该表的告警阈值 | 批次判为不通过并挂起;按差异时间窗重取一次;重取仍不通过则转人工核查 | 涉及质量口径的,移交数据治理环节作为质量问题线索登记 |
| 完整性类 | 增量累计与源系统行数不一致、文件清单缺失、时序测点缺口 | 月度校验比对差异率超阈值,或测点缺口时长超阈值 | 对差异时间窗或缺口时间窗定向重取;文件按清单差异补下载 | 重取后仍不一致的,在采集记录中如实披露缺口范围,不做静默补齐 |
| 窗口类 | 作业未在低峰窗口内完成 | 窗口结束时作业未结束 | 优雅中止并保留断点,次日窗口续跑;不延长占用业务时段 | 连续三日无法在窗口内完成的,拆分作业或申请扩展窗口 |
| 源系统变更类 | 源系统升级、迁移、停机维护 | 收到变更通知或探测到版本号变化 | 变更期间暂停该系统作业;变更后先试采比对再恢复常态 | 未提前通知的变更,按异常处置单流程回单并约定后续通知机制 |
表 2-2 数据来源:招标文件评分表「方案可实施性」要求及 3.2.6.3.1 采集环节门控结论要求。
图 2-1 以库直连通道为例,给出一次增量采集作业从触发到门控的完整时序,以及三处失败点各自的回退路径。另外四类通道的时序结构相同,差别只在取数动作与增量键。
2-1 一次增量采集作业的执行时序与失败回退
图 2-1 数据来源:招标文件 3.2.2.1 各系统低峰时段要求(等)、3.2.6.3.1 采集环节门控与采集记录要求。
采集记录是采集接入最重要的交付物之一。招标文件要求采集环节「按业务域产出原始数据批次及其采集记录,作为后续各加工环节的输入」,质量评测侧要求说明文档清晰说明原始数据的来源渠道、采集时间范围及地理区域等溯源信息,采集方法另有专门评估项。这三处要求指向同一件事:数据从哪来、怎么来的,要写得下来、查得出来。
表 2-3 给出采集记录与登记台账的字段设计。两者是一对多关系:台账一条记录对应一个取数对象(一张表、一个接口、一个目录),采集记录一条对应该对象的一次作业批次。
表 2-3 数据源登记台账与采集记录的字段设计
| 分组 | 字段 | 取值来源 | 用途 |
|---|---|---|---|
| 登记台账·来源 | 源系统标识、系统中文名、业务归属部门、技术联络窗口 | 源系统勘察结论 | 溯源与问题归口 |
| 登记台账·对象 | 取数对象类型(表/接口/目录/测点组)、对象标识、对象中文名 | 权限申请清单 | 作业配置与审计 |
| 登记台账·授权 | 授权范围、许可凭证编号、许可有效期、敏感等级、脱敏规则集编号 | 授权开通记录 | 许可核验与脱敏执行 |
| 登记台账·技术 | 采集通道、增量键、字典版本号、频次、低峰窗口、速率上限、重试策略 | 接入要素表 | 作业调度 |
| 登记台账·归属 | 对应业务域、对应数据集用途子集、对应验证场景 | 数据集建设方案 | 需求追溯与裁剪依据 |
| 采集记录·批次 | 批次号、作业号、采集起止时点、覆盖的数据时间范围 | 作业运行时生成 | 时效性占比统计、按批次回溯 |
| 采集记录·计量 | 取回行数或文件数、字节数、分片数、源端计数、差异数 | 作业与校验结果 | 完整性核验 |
| 采集记录·质量 | 校验项结果清单、告警项、门控结论、已知缺口说明 | 入口治理闸 | 门控与质量线索移交 |
| 采集记录·处置 | 脱敏执行记录、裁剪字段清单、重试次数、异常处置单号 | 作业与异常流程 | 合规审计 |
| 采集记录·溯源 | 源系统标识、对象标识、地理区域、行指纹算法与样例 | 台账与作业 | 质量评测溯源信息应答 |
表 2-3 数据来源:招标文件 3.2.6.3.1、质量评测规范溯源信息与采集方法评估项。
跨系统主键贯通虽非招标文件 3.2.2 节的字面要求,却决定了按该节取回的数据能否被使用。
十七个系统各有自己的编码体系。同一套刮板输送机产品,在客户关系管理系统里是商机号与合同号,在产品全生命周期管理系统里是图号与物料清单号,在企业资源计划系统里是物料编码与销售订单号,在制造执行系统里是施工号与工单号,在仓储管理系统里是批次号与库位号,在质量管理系统里是检验单号,在热处理群控系统里是炉次号,在数据采集与监控系统里是设备编码与测点号。这些编码之间目前没有稳定的映射关系。
因此,采集环节在取业务数据的同时,另取一类数据:跨系统标识映射证据。做法是在每一个源系统的取数范围内,额外纳入那些能把本系统对象与其他系统对象对上的字段——制造执行系统工单上的施工号与图号、质量管理系统检验单上的工单号与零件号、热处理群控系统炉次工单上的工单号与零件批次、仓储管理系统出入库流水上的物料编码与批次号与项目号。这些字段单看无用,合起来就是主键映射的原始证据。
映射关系的构建与维护属于数据治理与预处理环节;采集环节的职责是把映射所需的字段一并采回来,并在登记台账中标注其映射用途。表 2-4 列出本项目重点贯通的七类业务对象及其在各系统中的标识字段,作为权限申请的范围依据。
表 2-4 重点贯通的业务对象及其在各源系统中的标识字段
| 业务对象 | 主标识 | 在各源系统中的对应标识字段 | 采集范围内须纳入的关联字段 |
|---|---|---|---|
| 项目/施工号 | 施工号 | CRM 合同号与订单号、ERP 销售订单号、MES 施工号、PLM 项目号、WMS 项目占用号 | 合同号、订单号、项目号在各系统中的对照字段 |
| 产品与部件 | 图号 | PLM 图号与物料清单编号、ERP 物料编码、MES 零件号、WMS 物料编码 | 物料清单层级关系、父子件对应、图号与物料编码对照 |
| 工艺与工序 | 工序编码 | PLM 工序数据、MES 工序流转记录、工时定额对象 | 工序编码、设备编码、工装与样板号 |
| 工单与炉次 | 工单号 | MES 工单号、热处理群控炉次工单号、QMS 检验单关联工单号 | 工单号、炉次号、零件批次号的互相关联字段 |
| 物料批次 | 批次号 | WMS 批次号与库存批次、ERP 采购入库批次、QMS 进厂检验批次 | 批次号、供应商编码、来料日期 |
| 设备与测点 | 设备编码 | EAM 设备台账编码、SCADA 设备编码与测点号、SOS 设备档案编码、EMS 计量点编码 | 设备编码、测点号、测点量纲与采样周期、安装位置 |
| 焊缝与焊道 | 焊道标识 | MES 工单下的焊接工序记录、SCADA 焊接参数流的设备与时间戳 | 焊道编号、所属零件号、起止时点、机器人工位号 |
表 2-4 数据来源:招标文件 3.2.2.1 各系统数据范围条款及 3.2.6.3.1 各业务域采集要求。
通用接入规范之外,还有一件贯穿各工序的事:这些工序里哪些步骤可以由自动化手段加速,加速到什么程度为止,以及谁来按下放行键。招标文件在离线数据录入环节要求建立「质量校验及人工复核机制」,在采集环节要求给出门控结论。两处要求指向同一件事——数据能不能往下走,要有一道判据写得出来的闸,闸上要有人签认。自动化手段在此前提下使用。
本方案的口径是一句话:自动化手段用于候选生成与初筛,判定与放行权保留在通用接入规范与第 3.4 节已经立起来的门控上。 候选与判定的区别在于后果——候选错了,下一步的人要多看几眼;判定错了,错数据就进了数据集。所以凡是会改变数据去向的那一步,签认权不下放。表 2-5 按工序逐项列明这条口径的落点,第四列是该项效率设计的度量办法:没有基线、没有测法、没有不达标时的回退,这一项就不写进本方案。
表 2-5 采集与清洗各工序的人机分工、门控归属与度量口径
| 工序 | 自动化手段产出的候选 | 判定与放行所在的既有门控 | 度量口径:基线·测法·不达标时的回退 |
|---|---|---|---|
| 源系统勘察与通道形态判定 | 按表 2-6 的判定条件,为每个系统生成候选通道方案与待确认信息清单 | 接入要素表双方签认(2.1.1 节)、勘察结论表(表 1-2) | 不以候选方案直接配置作业;以已签认的接入要素表份数作为进度度量,口径按签认日期统计;勘察期内未签认的系统按 6.1 节降档接入 |
| 权限申请清单编制 | 按登记的数据范围与字典,汇总待申请的表、接口、目录候选清单 | 最小必要原则的逐项人工复核与授权台账登记(2.1.1 节) | 以授权申请被源系统侧退回的次数度量,基线取试采期实测值;同一系统连续两次被退回的,改为逐项人工编制清单 |
| 字典与实际库结构比对 | 自动产出「字典有库中无」「库中有字典无」「类型或长度不一致」三类差异候选 | 差异结论经双方确认后更新字典版本,作业配置随版本绑定(表 2-2 数据结构类) | 以差异项的人工改判率度量,基线取首次比对的实测改判率,按季度复核;改判率不下降则不扩大自动比对的适用表范围 |
| 入口校验与异常分类 | 按规则产出校验结论与异常类别候选,并生成异常处置单草稿 | 入口治理闸的三级结论(2.1.3 节);挂起批次的放行以异常处置单关闭为准(表 2-2) | 以挂起批次的误挂件数与漏挂件数度量,基线取试采期实测值,按月统计;超出基线的,收紧该表阈值并对其恢复逐批人工核签 |
| 离线资料的分类与关键信息抽取 | 规则通道与模型通道产出的分类候选与字段候选(3.3 节) | 3.4 节的三条复核触发规则与表 3-4 的六个复核环节 | 以抽样复核的改判率度量,基线取首批次实测值;改判率不下降则抽样比例不下调(口径已在 3.4 节定下) |
| 近重复识别与相似关系建立 | 产出相似候选对及其相似度 | 近重复分别保留并建立相似关系,不做自动合并(3.5 节) | 相似关系只作检索与借用提示,不参与入库放行判定,因而本项不设改判率指标,也不承担放行责任 |
| 跨系统主键映射 | 按采回的关联字段产出映射候选对 | 映射关系的构建与确认在数据治理与预处理环节(2.1.7 节) | 采集环节只负责把映射所需字段采回并标注用途;候选映射不作为入库依据,不因映射未建立而阻断采集作业 |
表 2-5 数据来源:招标文件 3.2.2.2 第 2 条「质量校验及人工复核机制」、3.2.6.3.1 采集环节门控结论要求及评分表「方案可实施性」要求。
十七个源系统的厂商、版本与接口开放情况,以现场勘察与授权开通后的核实结论为准。通道选型因此不预先写死某个系统用哪一种接口,而是按通道类型给出可选方案与判定规则:勘察阶段(T+1 至 T+2 月)按规则逐系统判定并记入接入要素表,试采阶段(T+2 至 T+4 月)以适配验证确认该判定可执行,适配验证通过并双方签认之日即为该系统通道形态的冻结时点,此后变更按源系统变更类流程处置。表 2-6 给出判定条件与不可用时的转向;通道本身的取数协议、增量机制与频次口径见表 1-1,不重复。
表 2-6 接口形态未定时的通道判定规则与转向
| 勘察时可观察到的事实 | 首选通道 | 不可用时转向 | 转向后的代价与补偿措施 |
|---|---|---|---|
| 源系统允许开只读账号或只读副本,表结构稳定,且有更新时间戳或变更序号 | 库只读直连 | 应用接口 | 增量粒度由行级降为接口返回粒度,可能漏掉未纳入接口的字段;以月度行数与关键字段的校验比对、并按差异时间窗定向重取作为补偿(2.1.2 节) |
| 源系统已有开放接口,或其运维方可在约定期内新增接口,且单次返回量与速率上限可事先约定 | 应用接口 | 文件与附件通道 | 时效由每日增量降为按约定批次导出;以文件清单的路径、大小、修改时间与摘要四项比对保证不漏批(2.1.2 节第四档) |
| 数据主体为非结构化附件,或源系统不开放联机访问 | 文件与附件 | 现场介质交付并登记 | 时效降为按次交付;每次登记批次号、件数与内容摘要并纳入采集记录,缺口在记录中如实列明 |
| 数据为测点时序,且源系统具备历史数据查询或消息订阅能力 | 时序与设备 | 由设备侧或组态侧定时导出文件,再按文件通道接入 | 采样完整性受导出频次限制;以测点缺口时长阈值告警并按缺口时间窗定向补采(表 2-2 完整性类) |
| 网络层仅允许单向可达 | 单向监管数据接收 | 不设转向 | 取数方向与权限在网络策略与接口契约两处同时固化,我方侧不开放可被写入的接口,联调阶段以反向连通性测试确认 |
| 上述条件在勘察期内均无法确认 | 暂不配置常态作业 | 按 6.1 节第三档,先用样例数据或导出文件完成解析与建模 | 该系统不计入常态采集范围,在采集记录与缺口清单中列明其状态;授权与字典到位后按本表重新判定并升档 |
表 2-6 数据来源:招标文件各系统「须提供数据库连接信息、API 接口信息或 FTP 信息」条款、3.2.2.1.17 单向集成要求及评分表「方案可实施性」要求。
本表的判定顺序与系统集成分节的接入通道选型规则一致:同一系统按两处判定得到的首选通道相同。两处在「不可用时转向」一列的写法不同——系统集成分节按通道优先级列出相邻一档,本表则以本表适用条件已排除的通道为前提:按本表第二行判定的系统,库只读直连已因不满足第一行条件而不适用,故转向文件与附件通道。两种写法不会使同一系统判出不同的首选通道。
上述分工另有三点约束。其一,本方案不设自动化率一类的指标,也不以自动化手段替代人工复核环节——表 2-5 第三列列出的门控,是本方案对数据去向负责的位置。
其二,第四列的度量口径一律由基线、测法与不达标时的回退三件构成,这三件缺一项,相应的效率断言就不写进本方案,因为没有基线的效率说法在验收时无法核对。其三,模型通道所依赖的模型能力按统一网关接入的口径管理,可替换、可评测、可随代升级;模型能力的更替不改变表 2-5 的门控归属,也不改变第 3.4 节各复核环节的触发规则。
十七个源系统按招标文件 3.2.2.1.1 至 3.2.2.1.17 的原编号逐项落位,每一个系统先以论述写清五件事:这套系统在本项目中承担什么用途、取哪些数据、怎么取与多久取一次、本系统特有的异常怎么处置、须招标方及源系统侧配合提供什么;再以一张接入要素表把可核对的口径逐项写定。通用部分不重复,按第 2.1 节执行。
接入要素表所覆盖的事项是统一的,十五项一项不缺;具体行名按该系统的数据形态合并或拆分——数据形态单一的系统合为「取数对象」一行,时序、结构化与非结构化三类并存的系统则按形态分列。填写内容一律按各系统的实际业务分别确定,不套用同一份模板。表 2-7 给出每一项必须回答的问题与填写要求;凡某一项在该系统上确无可写之处,须写明理由而非留空。表中「须招标方确认或提供」一列对应招标文件为该系统写明的「须提供」条款,以及我方勘察时须核实的事项,是该系统能否按期接入的前置条件。
表 2-7 接入要素表须覆盖的十五项事项与填写要求
| 事项 | 该项必须回答的问题 | 填写要求 |
|---|---|---|
| 取数对象与范围 | 取哪些业务对象、覆盖到单据头还是明细行、历史回溯到哪一年 | 按招标文件为该系统列明的数据类别逐项落位,本项目额外需要的对象另行写明用途 |
| 重点字段 | 哪些原始字段是下游用途的硬依赖,缺了该用途即不成立 | 写字段的业务含义而非表结构;成对字段(设定值与实测值、承诺与实际)须成对列出 |
| 主键与关联键 | 本系统内的唯一键是什么,与其他系统对上的关联键是什么 | 关联键须写明向哪一套系统的哪一个标识对齐;无稳定关联的,写明以哪些线索字段替代 |
| 授权与入口脱敏重点 | 哪些字段属个人信息、企业秘密或受限内容,入口处如何处置 | 按最小必要原则写明裁剪、假名化或泛化的范围 |
| 接入通道与协议 | 走哪一类通道,以何种协议与鉴权方式取数 | 形态未定的写首选与备选,并指向表 2-6 的判定规则 |
| 全量初始化与增量机制 | 首次初始化怎么做,此后按什么增量键取 | 增量键须写明来源字段;增量不可靠时写明回退到全量或分片重取的触发条件 |
| 频次与窗口 | 多久取一次,批量作业排在哪一时段 | 按数据的实际变化节奏定频次,不一律按日;批量一律置于约定低峰窗口 |
| 时间戳与时间基准 | 取哪几个时点,时间源是什么,偏差如何处理 | 时点须足够区分业务时间与记录时间;时钟偏差在试采期测定并逐批次登记 |
| 变更与删除的捕获 | 更新、作废、物理删除分别怎么识别 | 逻辑删除写状态字段;物理删除写补判方式;版本化对象写并存规则 |
| 幂等与去重 | 同一批次重跑为什么不会产生重复 | 写判重键的构成;写明哪些「看似重复」的记录必须分别保留 |
| 对账口径 | 与源端比什么、多久比一次、差异怎么办 | 至少含行数对账;有金额、点数或件数可比的须一并比对;差异不静默补齐 |
| 失败补传与断点 | 作业失败后从哪里续、重试几次、仍失败怎么办 | 写断点粒度(分片、游标、时间窗)与转缺口清单的条件 |
| 入口质量检查项 | 该系统的批次放行要过哪几项检查 | 逐项可判定;其中安全、许可与授权范围三类为强制项,命中即不放行 |
| 勘察核实与适配验证时点 | 厂商、版本与接口形态何时核实,何时完成适配验证,何时转常态 | 按第 5.1 节四阶段的时段写明本系统的落点;优先项须写明优先的理由 |
| 验收口径 | 这套系统接入到什么程度算完成 | 指标按基线、趋向与不达标回退三段写,不写绝对值断言 |
表 2-7 数据来源:招标文件 3.2.2.1 各系统「须提供」条款(等)、3.2.6.3.1 采集环节门控要求及评分表「方案可实施性」要求。
用途。 客户关系管理系统承载营销相关业务原始数据,是供需计划域数据集的首要来源。它在本项目中有两项不可替代的作用:一是提供商机、报价与合同的时间序列,使库存控制智能化场景的需求侧预测有真实历史可依;二是提供招投标文件与业绩合同这类非结构化文档,这是标书智能问答场景的语料主体,也是预训练子集中通用语料的一部分。
数据范围。 结构化部分取客户、商机、报价、合同、订单、回款六类业务对象的主表与明细表,以及各对象的状态流转记录。状态流转比终态更有价值——商机从线索到成交的各阶段时点,是预测模型可用的特征;只取终态则这部分信息丢失。
非结构化部分取招标与投标文件(PDF、Word)、资质文件(PDF、JPG)、业绩合同(PDF、JPG)三类附件及其与业务对象的挂接关系。附件的挂接关系须与附件同批取回,否则文档与合同对不上,标书问答场景就无法回答「这一条出自哪份标书、对应哪个项目」。
接入方式与频次。 该系统正在上线,历史数据较少,结构可能仍在调整。据此分两段:历史数据一次性初始化,置于约定低峰窗口分片执行;此后按日增量。结构化部分优先走库只读直连,以更新时间戳与自增主键双键水位线取增量;若对方仅提供接口,按接口的时间区间与分页游标拉取。附件走文件传输服务或对象存储只读目录,按清单四项比对下载。
本系统特有异常。 第一类是附件缺失:业务对象记录存在但附件实体在文件服务上找不到。处置办法是记入「附件缺口清单」,按业务对象标识回单给联络窗口,不以空文件占位。第二类是历史数据稀疏:该系统上线时间短,部分年份的商机与报价记录可能不足以支撑时序建模。
处置办法是在采集记录中如实标注各年份的记录密度,并把缺口信息传给数据集建设环节,由该环节决定是否以其他系统数据交叉补充,采集环节不做推测性填充。第三类是客户联系人信息:客户与合同数据中含有联系人姓名、电话等个人信息,按第 2.1.3 节在入口处假名化,同一联系人在全库映射为同一假名。
须招标方提供。 数据库连接信息、接口信息或文件传输服务信息;业务低峰时段,招标文件示例为 0 点至 5 点;系统数据字典或数据库设计说明书。
表 2-8 CRM 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 客户、商机、报价、合同、订单、回款六类主表与明细表及状态流转记录;附件挂接关系表 | 各对象对应的实际表名或接口清单 |
| 非结构化范围 | 招投标文件(PDF/Word)、资质文件(PDF/JPG)、业绩合同(PDF/JPG) | 文件服务只读目录路径与目录组织规则 |
| 接入通道 | 库只读直连为主,接口通道备选;附件走文件与附件通道 | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制 | 更新时间戳+自增主键双键水位线,回看一小时;附件按清单四项比对 | 各表的创建时间与更新时间字段名 |
| 频次与窗口 | 历史初始化一次性分片;此后每日一次增量,置于低峰窗口;附件清单每小时扫描 | 业务低峰时段 |
| 字典依据 | 绑定字典版本运行,字典与实际结构差异出核验报告 | 数据字典或数据库设计说明书 |
| 入口脱敏重点 | 客户联系人姓名、电话、证件号假名化;未公开报价明细按授权裁剪 | 哪些字段属企业秘密、裁剪范围 |
| 主键与关联键 | 客户编码为主键;商机号—报价号—合同号—订单号—回款单号构成业务链关联键;附件以「业务对象标识+附件标识」双键挂接。对外关联键为合同号与项目号,向 ERP 销售订单号、PLM 项目号对齐 | 各对象主键字段名;附件挂接表的外键字段 |
| 时间戳与时间基准 | 取创建时点、更新时点与各状态流转时点三组;该系统新上线,时间源以其应用服务器为准,试采期测定其与统一时间基准的偏差并逐批次登记 | 应用服务器的时间源配置 |
| 变更与删除的捕获 | 商机与合同的作废、撤回以状态字段识别为逻辑删除,原行保留并记状态变更时点;物理删除无法由水位线捕获,按月以主键对照补判,发现即在采集记录中列为源端已删 | 是否存在物理删除操作及其审批流程 |
| 幂等与去重 | 以「对象标识+更新时点+行指纹」三元组判重,同一批次重跑不产生重复行;附件以内容摘要判重,同名不同摘要另存为新版本 | 附件是否允许同名覆盖 |
| 对账口径 | 按月比对六类对象的源端行数与入库行数,并比对合同金额合计与回款金额合计两项汇总值;附件按清单件数与字节数比对 | 源端计数视图或计数接口 |
| 失败补传与断点 | 接口中断按分页游标断点续拉;附件下载断点续传,失败件入重试队列,退避重试三次仍失败的转附件缺口清单并回单 | 重试窗口与回单接收窗口 |
| 入口质量检查项 | 合同号、客户编码、签订日期三项必填非空率;金额字段可解析率;状态码落在字典码值内;附件可打开且类型与扩展名一致。许可与敏感类检查项为强制项,命中即不放行 | 各项阈值取值 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实接口形态并完成通道选择;T+2 至 T+4 月完成试采适配验证并冻结取数范围;该系统上线时间短、历史存量小,T+4 月起转常态 | 勘察问卷回填与试采窗口 |
| 验收口径 | 六类对象的行数与源端计数差异率收敛至约定阈值内;附件下载成功率与缺口清单一并交付 | 阈值取值与试采比对口径 |
表 2-8 数据来源:招标文件 3.2.2.1.1。
用途。 企业资源计划系统承载财务、采购、核算等业务原始数据。它在本项目中的地位有两重:一是物料主数据与物料清单的权威来源,产品选型场景要用它做标准件的参考报价核算,库存控制场景要用它做需求运算与资金约束;二是本项目数据条件最好的一套系统——该系统录入规范、数据质量较好,因此适合作为主数据对齐的基准系统,其他系统的编码向它对齐而非反向。
数据范围。 按招标文件所列取组织、人力、物料、采购、销售订单、成本核算、应收应付、凭证、资产、资金十类结构化数据。其中物料一类须取到完整的物料主数据、物料清单层级关系与价格数据——原材料与产成品均有价格,这是选型场景报价核算与库存场景资金核算的直接输入。人力一类按最小必要原则仅取组织岗位与定员口径,不取个人薪酬与考核数据;凭证与资金两类按授权范围取科目级汇总,不取明细到个人的收付记录。这一裁剪在权限申请清单中逐项写明,避免超范围取数。
接入方式与频次。 走库只读直连,优先在只读副本上取数。该系统事务量大,优先争取变更数据捕获;不可用时按双键水位线。物料主数据与物料清单变更不频繁,按日增量;采购订单、销售订单、应收应付等事务表按日增量;成本核算与凭证按月结节奏取数,月结后一次性取当期;库存账与价格按日取快照,保留历史快照以支持按时点回溯。
本系统特有异常。 第一类是月结期间数据不稳定:月结过程中成本与凭证数据处于中间态,此时取数会得到会后被调整的数值。处置办法是在作业日历中标注月结窗口,月结期间暂停成本与凭证相关作业,月结完成标志出现后再取。第二类是物料清单版本问题:同一物料可能存在多个物料清单版本,取数时须带版本号与生效日期,不取「当前有效」的单一视图,否则历史工单无法还原当时的用料结构。第三类是价格数据的授权边界:采购价与成本价属企业秘密,按第 2.1.3 节在入口处按授权范围裁剪或分档处理。
须招标方提供。 数据库连接信息或接口信息;业务低峰时段;系统数据字典或数据库设计说明书。
表 2-9 ERP 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 组织、人力(仅组织岗位与定员口径)、物料主数据与物料清单、采购、销售订单、成本核算、应收应付、凭证(科目级)、资产、资金(科目级) | 各域实际表名、月结完成标志的取法 |
| 重点字段 | 物料编码、物料清单层级与版本号及生效日期、原材料与产成品价格、库存账与提前期 | 价格字段的授权范围 |
| 接入通道 | 库只读直连,只读副本优先 | 数据库连接信息或 API 接口信息 |
| 增量机制 | 变更数据捕获优先;不可用时双键水位线;库存与价格按日快照留存 | 是否可开放数据库日志读取 |
| 频次与窗口 | 事务表每日增量;成本与凭证按月结后取当期;均置于低峰窗口 | 业务低峰时段、月结日历 |
| 字典依据 | 以本系统为主数据对齐基准,字典版本变更须双方确认 | 数据字典或数据库设计说明书 |
| 入口脱敏重点 | 人力数据仅保留组织与岗位维度;采购价与成本价按授权裁剪或分档 | 可公开至何种粒度 |
| 主键与关联键 | 物料编码为物料域主键;销售订单号+行号为订单域主键;凭证号+分录行号为凭证域主键;物料清单以「父物料编码+子物料编码+版本号」三键唯一。对外关联键为物料编码(向 PLM 图号、WMS 物料编码对齐)与销售订单号(向 CRM 合同号、MES 施工号对齐) | 物料清单版本字段名;订单行号字段名 |
| 时间戳与时间基准 | 事务表取记账日期、过账时点与更新时点三组;成本与凭证以会计期间与月结完成标志定位,不以更新时点判定是否可取 | 月结完成标志的取法与会计期间定义 |
| 变更与删除的捕获 | 优先以数据库日志捕获插入、更新与物理删除三类变更;日志不可用时,冲销类业务以红字凭证识别,不做物理删除推断;物料清单改版不覆盖旧版,按版本号与生效日期并存 | 是否可开放数据库日志读取 |
| 幂等与去重 | 以「表名+主键+变更序号」判重;同一业务的红蓝字凭证成对保留,不做抵销合并 | 红字凭证的标识字段 |
| 对账口径 | 事务表按月比对行数;成本与凭证按会计期间比对科目级借贷合计;库存按日切点比对数量与金额两项,并与 WMS 侧同时点快照三方对照 | 可用于对照的源端报表与汇总口径 |
| 失败补传与断点 | 只读副本不可用时自动改走主库低峰窗口并降并发;分片游标记录断点,按分片重跑而非整表重取;月结期间失败的作业顺延至月结完成标志出现后执行 | 只读副本的可用时段 |
| 入口质量检查项 | 物料编码非空且唯一、物料清单层级无环、订单金额与明细行合计一致、凭证借贷平衡、业务日期落在所属会计期间内。价格与人力类字段的授权范围校验为强制项,超范围即不放行 | 借贷平衡的容差口径 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实数据库类型与日志读取可行性,确定变更捕获方式;T+2 至 T+4 月试采比对并实测只读副本取数速率;事务量大,历史初始化排在 T+3 至 T+9 月的前段 | 只读副本或备库的开通时点 |
| 验收口径 | 十类数据的行数与关键金额汇总与源端核对一致;物料清单层级可完整还原至指定历史时点 | 核对口径与抽样方式 |
表 2-9 数据来源:招标文件 3.2.2.1.2。
用途。 供应链管理系统承载供应链协同相关业务原始数据。它在本项目中主要支撑库存控制智能化场景的供给侧判断。库存决策的难点不在于算出需要多少,而在于判断什么时候能到——外购件的有效提前期、供应商的履约稳定性、采购订单从下达到供货的实际周期,这三项数据只在这套系统里。缺了它,库存场景就只能按经验给提前期,这正是当前的困难所在。
数据范围。 取供应商档案、供应商评估、采购计划、采购订单、订单下达、供货履约、付款计划七类结构化数据。其中供货履约一类须取到逐次到货的承诺日期与实际日期两个时点,由此才能统计有效提前期的分布而非均值;供应商评估一类须取到评估期间与评估项得分,而非仅取最终等级。
接入方式与频次。 走库只读直连或接口通道,按双键水位线取每日增量,置于低峰窗口。供应商档案与评估变更不频繁,按周取增量即可,与招标文件要求不冲突,仅是把频次按数据变化节奏调低以减少对源系统的压力。
本系统特有异常。 第一类是与企业资源计划系统的采购数据重叠:两套系统都有采购订单,字段口径可能不一致。处置办法是两套都取,在贴源层各自原样留存,由标准化层按订单号做比对并标记差异,不在采集环节做取舍。差异本身是数据质量线索,应当保留。第二类是供应商商务信息敏感:价格条款、付款条件、信用额度属企业秘密,按授权范围在入口处裁剪。第三类是供应商联系人个人信息,按第 2.1.3 节假名化。
须招标方提供。 数据库连接信息或接口信息;业务低峰时段;系统数据字典或数据库设计说明书。
表 2-10 SCM 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 供应商档案、供应商评估、采购计划、采购订单、订单下达、供货履约、付款计划 | 各对象实际表名或接口清单 |
| 重点字段 | 承诺到货日期与实际到货日期两个时点、评估期间与评估项得分、订单下达时点 | 这两个时点字段是否完整记录 |
| 接入通道 | 库只读直连为主,接口通道备选 | 数据库连接信息或 API 接口信息 |
| 增量机制 | 双键水位线;档案与评估类按周增量,事务类按日增量 | 更新时间字段的填写规范性 |
| 频次与窗口 | 每日一次(事务类)/每周一次(档案类),置于低峰窗口 | 业务低峰时段 |
| 字典依据 | 绑定字典版本;与 ERP 采购口径的差异出比对报告 | 数据字典或数据库设计说明书 |
| 入口脱敏重点 | 价格条款、付款条件、信用额度按授权裁剪;联系人信息假名化 | 哪些商务字段可用于训练 |
| 主键与关联键 | 供应商编码为档案主键;采购订单号+行号为订单域主键;供货履约以「采购订单号+行号+到货批次」三键唯一。对外关联键为采购订单号(向 ERP 采购入库批次对齐)与物料编码 | 履约记录的批次字段名 |
| 时间戳与时间基准 | 每条履约记录取承诺到货日期与实际到货日期两个时点,另取订单下达时点与评估期间起止;日期字段若仅到日粒度,不足以支撑小时级分析的在采集记录中如实说明 | 到货时点是否记录到小时 |
| 变更与删除的捕获 | 订单的数量与交期调整以变更版本号或变更记录表识别,历次变更全部保留——提前期分析要的正是交期被改过几次;订单取消按状态识别为逻辑删除 | 是否有独立的订单变更记录表 |
| 幂等与去重 | 以「订单号+行号+变更版本号」判重;同一到货的多次过账按履约流水号区分,不做合并 | 变更版本号字段名 |
| 对账口径 | 按月比对七类对象行数;采购订单按订单号与 ERP 侧逐单比对,差异数与差异字段按月成表,差异本身作为质量线索移交治理环节,采集环节不做取舍 | 两侧订单号是否同源 |
| 失败补传与断点 | 档案类周作业失败并入次日增量,不单独补跑;事务类按双键水位线回退一个回看窗口重取 | —(按通用口径执行) |
| 入口质量检查项 | 供应商编码非空且在档案表中存在;承诺与实际到货日期先后关系合理;评估得分落在量表区间内;金额与数量非负。商务敏感字段的授权范围校验为强制项 | 评估量表的区间定义 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实本系统与 ERP 采购域的边界与数据重叠范围;T+2 至 T+4 月试采并产出首份与 ERP 的订单比对报告;T+4 月起转常态 | 两套系统采购域的业务分工说明 |
| 验收口径 | 七类对象行数核对一致;有效提前期可按供应商与物料类别统计出分布 | 统计口径与可接受的缺失率 |
表 2-10 数据来源:招标文件 3.2.2.1.3。
用途。 质量管理系统承载质量管控相关业务原始数据。它是产品质量域数据集的核心来源,也是热处理与焊接两个质量场景能否成立的关键——这两个场景的真正瓶颈不是模型不够强,而是过程数据与质量结论对不上。质量管理系统提供的是「结论」一侧:某个工件、某道焊缝、某个炉次的检验结果是什么。把这一侧与数据采集与监控系统、热处理群控系统提供的「过程」一侧配上,成对样本才成立。
数据范围。 结构化部分取制程检验、进厂检验、出厂检验、成品检验四类检验记录与质量台账。四类检验记录须取到检验项目、实测值、判定结论、检验时点、被检对象标识四组字段;被检对象标识尤为重要,它是与工单号、零件号、批次号对上的唯一线索。非结构化部分取质量报告、检验数据文件、产品质量档案、质量知识四类文档。其中质量知识一类是企业沉淀的缺陷判别经验与处置办法,对指令微调子集有直接价值。
接入方式与频次。 该系统新上线、正在推行,结构化数据与附件并重。结构化部分走库只读直连或接口通道,按双键水位线取每日增量;附件走文件传输服务,按清单比对下载。工艺编制时标注的关键工序与重要尺寸会推送到该系统形成检查项,这部分数据与产品全生命周期管理系统的工艺数据同源,取数时须保留推送来源标识,便于与工艺侧对齐。
本系统特有异常。 第一类是缺陷描述为自由文本且未与工艺参数关联:这是该系统当前的实际状况。采集环节不做文本结构化处理——那是预处理与标注环节的工作——但须把自由文本字段完整取回并标注其为待结构化字段,不截断、不丢弃。第二类是被检对象标识缺失或填写不规范:新上线系统常见。
处置办法是统计该字段的填写完整度并随采集记录披露,同时把可用于间接关联的字段(检验单上的工单号、送检部门、检验时点)一并取回,为预处理环节的间接配对留出条件。第三类是交检拍照附件体量大:图片数量多、单张不大,按目录分片并发下载,并发数按对方给定上限配置。
须招标方提供。 数据库连接信息、接口信息或文件传输服务信息;业务低峰时段。招标文件对本系统未列数据字典条款,我方仍按第 2.1.1 节请求提供库结构说明或字段清单;未提供时按实际库结构反向推导并提交核对,这一差异在第 6 节如实列出。
表 2-11 QMS 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 制程检验、进厂检验、出厂检验、成品检验四类检验记录;质量台账 | 四类检验的实际表名与检验项定义 |
| 重点字段 | 检验项目、实测值、判定结论、检验时点、被检对象标识(工单号/零件号/批次号/炉次号) | 被检对象标识字段的填写规范与完整度 |
| 非结构化范围 | 质量报告、检验数据文件、产品质量档案、质量知识;交检拍照附件 | 文件服务只读目录与附件挂接关系 |
| 接入通道 | 库只读直连或接口通道;附件走文件与附件通道 | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制 | 双键水位线;附件按清单四项比对,图片按目录分片并发下载 | 并发下载上限 |
| 频次与窗口 | 结构化每日一次增量;附件清单每日扫描,批量下载置于低峰窗口 | 业务低峰时段 |
| 字典依据 | 招标文件未列本项;我方按实际结构反向推导并提交核对 | 库结构说明或字段清单(建议补充提供) |
| 特有处置 | 缺陷描述自由文本完整取回并标注待结构化;被检对象标识完整度随采集记录披露 | 不规范填写的历史数据是否需要回溯补录 |
| 主键与关联键 | 检验单号为主键,检验项以「检验单号+项目序号」唯一;被检对象标识(工单号/零件号/批次号/炉次号)是本系统最关键的关联键,四类标识字段一律全取,缺哪一类即按缺登记 | 四类被检对象标识在各检验类型中的字段名 |
| 时间戳与时间基准 | 取送检时点、检验时点与判定时点三组;热处理与焊接的质量结论要与过程时序对齐,检验时点须精确到分钟,仅记录到日的在采集记录中说明,由下游按日窗配对 | 检验时点的记录精度 |
| 变更与删除的捕获 | 复检与判定改判以新增记录表达,原判定保留并以关联字段指向;检验单作废按状态识别;该系统新上线,历史数据的回溯修改较多,双键水位线的回看窗口放宽至二十四小时 | 改判业务的记录方式 |
| 幂等与去重 | 以「检验单号+项目序号+更新时点」判重;交检拍照附件以内容摘要判重,同一检验单的多角度照片分别保留 | 附件命名规则 |
| 对账口径 | 按月比对四类检验记录行数;另单列「有检验记录但无被检对象标识」的件数并逐月披露——该数值是对象贯通可行性的直接度量;附件按目录件数比对 | 源端计数口径 |
| 失败补传与断点 | 图片批量下载按目录分片,分片失败只重跑该分片;单件连续三次失败转缺口清单;结构化部分按检验时点窗口定向重取 | 并发下载上限 |
| 入口质量检查项 | 检验单号非空且唯一;实测值可解析为数值或落在允许的文本枚举内;判定结论落在码值内;检验时点不晚于入库时点;缺陷描述自由文本不截断。许可与敏感类检查项为强制项 | 判定结论的码值集合 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实接口形态与附件目录组织,并测定被检对象标识的填写完整度基线;T+2 至 T+4 月试采适配验证;招标文件未列本系统字典条款,按第 6.1 节乙档口径运行至字典到位 | 库结构说明或字段清单 |
| 验收口径 | 四类检验记录行数核对一致;被检对象标识可关联比例逐步接近约定目标,以试采结论为首月基线 | 目标比例与基线取值 |
表 2-11 数据来源:招标文件 3.2.2.1.4。
用途。 仓储管理系统承载仓储相关业务原始数据。它在本项目中支撑库存控制智能化场景的实物侧:账面库存与实物库存的差异、库位占用、项目专用料的锁定情况、余料与呆滞料的实际存放。库存口径不统一是当前的具体困难之一——不同系统中的库存数在同一时点不一致,三套口径并存。采集环节的任务不是统一口径,而是把各口径的原始数据按同一时点取回,使口径差异可被量化。
数据范围。 取仓库、库区、货位、物料、批次、到货单、入库单、出库单八类结构化数据。到货单、入库单、出库单三类须取到单据头与明细行,并保留项目占用标识与批次号;库存一项须取按时点的快照而非仅取当前值,快照时点与企业资源计划系统的库存快照对齐,由此两套口径才可比。
接入方式与频次。 走库只读直连或接口通道。仓库、库区、货位三类基础档案按周取增量;物料与批次按日;三类单据按日取增量,出入库流水量较大时按小时取轻量增量,批量校验置于低峰窗口。
本系统特有异常。 第一类是库存快照时点错位:若仓储侧与企业资源计划侧的快照不在同一时点,差异分析会把时点差当成口径差。处置办法是两侧快照统一取业务日切点(按企业实际的日切时间确定),并在采集记录中记录实际取数时点与业务日切点的偏差。
第二类是余料与呆滞料无结构化台账:这是当前的已知缺口。采集环节按现有数据取出长期未动的批次作为线索,但不以此替代台账;缺口在采集记录与第 6 节中如实列出。第三类是手持终端录入的时点滞后:出入库操作与系统记录时点可能有偏差,这一特征须在采集记录中说明,供时序分析环节判断可用性。
须招标方提供。 数据库连接信息或接口信息;业务低峰时段。招标文件对本系统未列数据字典条款,处理方式同 2.6 节。
表 2-12 WMS 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 仓库、库区、货位、物料、批次、到货单、入库单、出库单(单据含头与明细行) | 各对象实际表名;单据状态码定义 |
| 重点字段 | 项目占用标识、批次号、库位标识、业务日切时点;按时点库存快照 | 企业实际日切时间 |
| 接入通道 | 库只读直连或接口通道 | 数据库连接信息或 API 接口信息 |
| 增量机制 | 双键水位线;基础档案按周、物料与批次按日、单据按日(流水大时按小时轻量增量) | 出入库日均单量量级 |
| 频次与窗口 | 批量与校验置于低峰窗口;轻量增量可在业务时段运行 | 业务低峰时段 |
| 字典依据 | 招标文件未列本项;按实际结构反向推导并提交核对 | 库结构说明或字段清单(建议补充提供) |
| 特有处置 | 库存快照与 ERP 侧统一取业务日切点;口径差异量化后移交治理环节 | 以哪套口径作为对外披露基准 |
| 主键与关联键 | 单据号+行号为三类单据的主键;库存以「货位标识+物料编码+批次号」三键唯一。对外关联键为物料编码(向 ERP 对齐)、批次号(向 QMS 进厂检验批次对齐)与项目占用号(向 MES 施工号对齐) | 项目占用标识的字段名与取值规则 |
| 时间戳与时间基准 | 取单据制单时点、过账时点与手持终端扫码时点三组;扫码与系统记录之间存在滞后,三个时点全取,差值随采集记录披露,采集环节不做修正 | 扫码时点是否独立记录 |
| 变更与删除的捕获 | 红冲与退库以反向单据表达,原单保留;单据行的数量调整按调整记录识别;库存按日切点取快照,快照之间的变化由流水还原,不以覆盖方式更新 | 企业实际日切时间 |
| 幂等与去重 | 以「单据号+行号+过账时点」判重;同一物料同一批次的多次出入库按流水号区分,不做净额合并 | 流水号字段名 |
| 对账口径 | 按日切点比对账面库存数量与 ERP 侧快照,差异按物料与批次逐项列出;按月比对八类对象行数;三套库存口径的差值按月成表,供治理环节判定口径基准 | 以哪套口径作为对外披露基准 |
| 失败补传与断点 | 小时级轻量增量失败并入下一小时窗口;日切快照作业失败须在同一日切点重跑,不以次日快照替代——时点错位会使口径差异的分析结论失真 | 日切点前后的系统可用窗口 |
| 入口质量检查项 | 单据号非空且唯一;出入库数量的符号与单据类型一致;货位标识在货位档案中存在;批次号非空率;快照时点与日切点的偏差在阈值内 | 偏差阈值取值 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实日切时点与三套库存口径的实际存放位置;T+2 至 T+4 月试采并产出首份与 ERP 的库存差异解释报告;T+4 月起转常态 | 三套口径的业务说明 |
| 验收口径 | 八类对象行数核对一致;指定时点的库存快照与 ERP 侧差异可逐项解释 | 可解释比例的目标与基线 |
表 2-12 数据来源:招标文件 3.2.2.1.5。
用途。 制造执行系统承载生产制造过程相关业务原始数据。它在本项目中有一个别的系统替代不了的作用:把物理工件与时间对上。焊接参数流是按时间连续记录的,热处理曲线也是按时间记录的,但「这段时间在焊哪个工件的哪道焊缝」「这一炉装的是哪批零件」只有制造执行系统知道。没有这套系统的工单与工序流转记录,过程时序数据就无法绑定到物理对象,制造过程域数据集的成对样本也就无从构建。
数据范围。 招标文件对本系统列出焊丝牌号、焊丝直径、生产工单、生产进度四项。按本项目的实际需要,取数范围在这四项之外须纳入工序流转与报工记录——这是把时间与工件对上的直接依据,也是招标文件 3.2.6.3.1 节要求「从 MES 采集生产工单、生产进度与焊丝牌号、直径」的落地前提。焊丝牌号与直径两项是焊接场景的工艺参数基准:判断一组焊接参数是否偏离,须先知道当时用的是哪种焊丝。
接入方式与频次。 走库只读直连或接口通道。工单与工序流转按日增量;生产进度按小时取轻量增量,使时序数据的对齐窗口不至于过宽。该系统已实现跨分厂、跨部门的多工序多路线管控,下道工序须待本车间全部工序报工完成后才能开始,这一规则使工序流转记录具备较强的逻辑一致性,可用于交叉校验取数完整性——若某工单的下道工序已开始而上道工序报工记录缺失,即为采集缺口信号。
本系统特有异常。 第一类是报工时点滞后于实际作业:这是该系统的已知特征。报工时点不等于加工时点,若直接用报工时点去截取时序数据窗口,会取到错误的数据段。处置办法是把报工时点与工序开始时点两个字段都取回,并在采集记录中注明该系统的滞后特征,由预处理环节按场景选择对齐基准;采集环节不做时点修正。
第二类是部分工单字段填写不完整:按第 2.1.3 节的校验口径,缺失字段不补齐,按字段统计完整度并随采集记录披露。第三类是工单与炉次、焊道的关联:须在取数范围内纳入能与热处理群控系统炉次工单、焊接工位记录对上的字段,详见表 2-4。
须招标方提供。 数据库连接信息或接口信息;业务低峰时段。招标文件对本系统未列数据字典条款,处理方式同 2.6 节;鉴于本系统是对象贯通的枢纽,我方建议优先补充提供其库结构说明。
表 2-13 MES 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 生产工单、生产进度、焊丝牌号与直径;工序流转与报工记录(对象贯通所需) | 工序流转与报工表的实际表名 |
| 重点字段 | 工单号、施工号、零件号、工序编码、工序开始时点与报工时点、工位号、焊丝牌号与直径 | 工序开始时点是否有独立字段记录 |
| 接入通道 | 库只读直连或接口通道 | 数据库连接信息或 API 接口信息 |
| 增量机制 | 双键水位线;工单与流转按日,生产进度按小时轻量增量 | 日均工单与报工记录量级 |
| 频次与窗口 | 批量与校验置于低峰窗口;小时级轻量增量可在业务时段运行 | 业务低峰时段 |
| 字典依据 | 招标文件未列本项;建议优先补充提供(本系统为对象贯通枢纽) | 库结构说明或字段清单 |
| 特有处置 | 报工滞后特征在采集记录中注明;按工序逻辑一致性交叉校验采集完整性 | 跨车间报工规则的例外情形 |
| 主键与关联键 | 工单号为主键;工序流转以「工单号+工序编码+流转序号」唯一;报工记录以报工单号唯一。本系统是对象贯通枢纽,关联键最密:施工号、零件号、图号、工位号、炉次号、焊道编号六类外部标识一律纳入取数范围 | 六类标识在本系统中的实际字段名与填写率 |
| 时间戳与时间基准 | 取工序开始时点、工序结束时点与报工时点三组。报工时点滞后于实际作业是该系统的已知特征,三个时点全取并在采集记录中注明滞后特征,由下游按场景选对齐基准,采集环节不做时点修正 | 工序开始时点是否有独立字段 |
| 变更与删除的捕获 | 工单改派、工序退回与返工以新增流转记录表达,原记录保留;工单取消按状态识别;部分字段的后补填写以更新时点捕获,回看窗口放宽至二十四小时 | 返工业务的记录方式 |
| 幂等与去重 | 以「工单号+工序编码+流转序号」判重;同一工序的分批报工按报工单号分别保留,不做数量合并 | 分批报工的业务规则 |
| 对账口径 | 按月比对工单与工序流转行数;另以该系统自身的工序逻辑交叉校验——下道工序已开始而上道工序报工缺失的工单数按月统计,该数值既是采集缺口信号也是源端质量线索 | 跨车间报工规则的例外情形 |
| 失败补传与断点 | 生产进度的小时级增量失败并入下一小时窗口;工单与流转按工单号区间分片重取;连续两个窗口失败即挂起并回单,不累积静默缺口 | 回单接收窗口 |
| 入口质量检查项 | 工单号非空且唯一;工序编码落在工序字典内;工序开始时点不晚于报工时点;焊丝牌号与直径落在物料字典内;施工号与零件号的非空率 | 工序字典的正式版本 |
| 勘察核实与适配验证时点 | 列为勘察优先项(对象贯通枢纽):T+1 月内完成库结构核实与六类关联字段的填写率测定;T+2 至 T+4 月试采适配验证,试采比对须含工序逻辑交叉校验;本系统的试采结论是其他系统对象贯通工作的前提 | 优先补充提供库结构说明 |
| 验收口径 | 工单与工序流转行数核对一致;指定时间窗内可定位到工件与工序的时序数据比例逐步接近约定目标 | 目标比例与首月基线 |
表 2-13 数据来源:招标文件 3.2.2.1.6及 3.2.6.3.1 制造过程域采集要求。
用途。 物流管理系统承载物流管理相关业务原始数据。它在本项目中的作用集中在一点:把「物料什么时候真的到了现场」这件事记录下来。库存控制场景要算有效提前期,采购订单的到货日期只是入库时点,而从供应商发货到厂内可用之间还有运输与装卸环节;这段时间只在物流系统里。对供需计划域数据集而言,这是提前期分布的尾部来源。
数据范围。 取物流需求、运单、调度结果、装卸、取货、送达、运输时间七类结构化数据。运单一项须取到起运地、目的地、承运方式与关联的采购订单或销售订单号;运输时间一项须取计划时长与实际时长两个值,单取其一无法度量偏差。
接入方式与频次。 走库只读直连或接口通道,按双键水位线取每日增量,置于低峰窗口。
本系统特有异常。 第一类是运单与订单的关联缺失:部分运单可能只记录物料与数量而未带订单号,导致无法归集到具体采购行。处置办法是把可用于间接关联的字段(物料编码、数量、到货日期、供应商)一并取回,关联由预处理环节按规则推断,采集环节标注该运单为「待关联」。第二类是地理位置信息:起运地与目的地可能含详细地址,按第 2.1.3 节按泛化规则降精度,保留到可用于分析的行政区划层级。
表 2-14 LMS 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 物流需求、运单、调度结果、装卸、取货、送达、运输时间 | 各对象实际表名或接口清单 |
| 重点字段 | 关联订单号、起运地与目的地、承运方式、计划时长与实际时长 | 订单号字段在运单上的填写率 |
| 接入通道 | 库只读直连或接口通道 | 数据库连接信息或 API 接口信息 |
| 增量机制与频次 | 双键水位线,每日一次增量,置于低峰窗口 | 业务低峰时段 |
| 入口脱敏重点 | 详细地址按行政区划层级泛化;承运方联系人信息假名化 | 可保留的地址精度 |
| 主键与关联键 | 运单号为主键;调度、装卸、取货、送达各环节以「运单号+环节序号」唯一。对外关联键为采购订单号与销售订单号;订单号缺失的运单以物料编码、数量、到货日期、供应商四项作为间接关联线索一并取回 | 运单上订单号字段的填写率 |
| 时间戳与时间基准 | 取计划起运、实际起运、计划送达、实际送达四个时点与计划时长、实际时长两个值;时长若由系统派生而非实测,须标注派生口径,不与实测时点混用 | 时长字段是实测还是派生 |
| 变更与删除的捕获 | 改派与改期以运单变更记录识别,历次变更保留;运单取消按状态识别为逻辑删除 | 变更记录表是否存在 |
| 幂等与去重 | 以「运单号+环节序号+更新时点」判重;同一运单的多次装卸记录分别保留 | 环节序号字段名 |
| 对账口径 | 按月比对七类对象行数;另按月统计「可关联到采购订单行」的运单比例——该比例是有效提前期能否按物料类别统计的前提 | 源端计数口径 |
| 失败补传与断点 | 按日作业失败按运单号区间分片重取;连续两日失败挂起并回单 | 回单接收窗口 |
| 入口质量检查项 | 运单号非空且唯一;起运时点不晚于送达时点;实际时长与两时点之差一致;地址字段可解析到行政区划层级;数量非负 | 地址的标准化程度 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实接口形态与订单号填写率;T+2 至 T+4 月试采适配验证;T+4 月起转常态 | 勘察问卷回填 |
| 验收口径 | 七类对象行数核对一致;运单与订单可关联比例随预处理迭代逐步提高,首月以试采结论为基线 | 目标比例与基线取值 |
表 2-14 数据来源:招标文件 3.2.2.1.7。
用途。 能源管理系统须提供能耗监控、能耗统计、能耗分析三类时序数据。它在本项目中有两项用途:一是热处理过程智能监控场景的能耗维度——热处理是本企业的高耗能环节,加热功率与保温时长的调整空间要靠能耗数据来度量;二是制造过程域数据集的时序模态补充,与设备运行状态数据同属时序模态,计入「涵盖超过 3 种模态」与「多模态数据条数占比不低于 40%」的统计口径。
数据范围。 取能耗监控的原始计量点读数、能耗统计的按时段与按对象汇总值、能耗分析的既有分析结论三类。原始读数的价值高于汇总值——汇总口径一旦变化,历史汇总值不可比,而原始读数可以按新口径重算。因此取数以原始读数为主,汇总值作为校验参照一并取回。
接入方式与频次。 走时序与设备通道。能源管理系统多以时序库或接口形式提供数据,按计量点与时间窗分片取数,维护每个计量点的采集水位线。常态按小时分片拉取,历史回溯按日分片置于低峰窗口。
本系统特有异常。 时序数据的典型异常有三类:计量点读数缺口、读数跳变(如计量器归零导致累计值回退)、采样周期不一致。三类处置口径统一为:缺口按缺口时间窗定向补采,补采不到的在采集记录中按测点与时间窗如实登记;跳变不在采集环节修正,保留原值并打标;采样周期按测点登记在台账中,不做重采样。
表 2-15 EMS 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 能耗监控原始计量点读数、能耗统计汇总值、能耗分析结论 | 计量点清单、量纲与采样周期 |
| 重点字段 | 计量点编码、时间戳、读数值、量纲、关联设备或区域编码 | 计量点与设备/车间的对应关系 |
| 接入通道 | 时序与设备通道(时序库只读查询或接口) | 数据库连接信息或 API 接口信息 |
| 增量机制与频次 | 按计量点与时间窗分片,维护每测点水位线;常态按小时,历史回溯按日分片置于低峰窗口 | 业务低峰时段、单次查询测点数上限 |
| 特有处置 | 缺口定向补采并登记;累计值回退打标不修正;采样周期登记不重采样 | 计量器更换与归零的历史记录 |
| 主键与关联键 | 计量点编码+时间戳为时序主键;汇总值以「汇总对象+统计周期+口径版本」唯一。对外关联键为计量点与设备编码、车间或区域编码的对应关系;该对应关系若不在本系统维护,须自 EAM 侧取回后在标准化层建立 | 对应关系维护在哪套系统 |
| 时间戳与时间基准 | 时序时间戳按计量装置本地时钟记录,试采期测定其与统一时间基准的偏差并按计量点登记;汇总值取统计周期起止而非生成时点 | 计量装置的时钟同步方式 |
| 变更与删除的捕获 | 时序点位为追加写,无更新与删除;汇总值存在重算(口径调整、补抄表),按口径版本并存不覆盖历史值;计量器更换或归零造成累计值回退,保留原值并打标,采集环节不修正 | 计量器更换与归零的历史记录 |
| 幂等与去重 | 以「计量点编码+时间戳」判重,同一时点的重复读数取首次并记重复次数;按时间窗重跑不产生重复点 | 重复读数的业务成因 |
| 对账口径 | 按月以汇总值反查原始读数的累计值,两者差异按计量点逐项列出;另按计量点统计数据缺口时长与缺口段数 | 汇总值的计算口径说明 |
| 失败补传与断点 | 按计量点与时间窗维护水位线,缺口按缺口时间窗定向补采;补采不到的按计量点与时间窗如实登记,不做插值填充 | 源端历史数据的保留期限 |
| 入口质量检查项 | 读数可解析为数值;量纲与台账登记一致;时间戳单调;单点读数落在量程区间内;采样间隔与登记周期一致 | 各计量点的量程与采样周期 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月取得计量点清单并核实时序库或接口形态;T+2 至 T+4 月试采适配验证并测定时钟偏差;T+4 月起按小时分片转常态 | 计量点清单、量纲与采样周期 |
| 验收口径 | 计量点覆盖数与登记清单一致;各测点的数据缺口时长占比收敛至约定阈值内 | 阈值取值 |
表 2-15 数据来源:招标文件 3.2.2.1.8。
用途。 售后服务管理系统须提供设备远程运维相关业务原始数据。它是刮板输送装备健康智能诊断场景的主要数据来源,也是本项目中数据形态最齐全的一套系统——同时提供时序数据、结构化业务数据与非结构化文档三类。
健康诊断场景当前的核心困难是「报警不少,故障标签很少」:远程运维平台按阈值与多参数组合规则给出报警,但报警与真实故障之间缺少可核对的证据,历史数据没有事件级标签。因此本系统的取数重点不只是时序曲线,更在于把维修事实与数据段配上——售后工单上记录的是「什么时候、哪台设备、换了什么件、判定为什么故障」,这正是时序数据缺失的标签。
数据范围。 时序部分取设备健康状态时序数据,含测点配置、时序值与报警日志。结构化部分取设备运维计划、报警处置记录、售后工单、备件消耗四类。非结构化部分取设备档案(Word)、维修记录(PDF)、诊断报告(PDF、Word)、故障案例(PDF、Word)四类文档。故障案例一类对指令微调与强化学习偏好数据有直接价值:一份写清了现象、排查过程与结论的案例,本身就是一条带推理过程的样本。
接入方式与频次。 三类数据走三条通道。时序部分走时序与设备通道,按测点与时间窗分片;结构化部分走库只读直连或接口通道,按日增量;文档部分走文件与附件通道,按清单比对下载。批量与历史回溯置于低峰窗口。
本系统特有异常。 第一类是测点可信度:井下工况恶劣、传感器易损,存在断链、漂移与失效测点。采集环节的处置是按测点统计数据连续性与取值分布,把疑似异常测点标注出来随采集记录提交,但不剔除数据——判断测点是否失效属于诊断场景的建模工作,采集环节剔除会掩盖问题。第二类是耦合干扰:刮板输送机被液压支架推移、被采煤机在机身上行走,在役监测信号中含有来自其他设备的耦合干扰。
采集环节须把同一设备同一时间窗的相关通道一并取回而非按单通道取数,否则后续无法做干扰分离。第三类是报警与工单的时点关联:报警日志与售后工单在时间上有先后,但不一定有显式关联字段。处置办法是两者都取,并保留设备编码与时点,由预处理环节按时间窗配对。第四类是维修记录的历史缺口:维修事实无结构化记录是已知缺口,非结构化的维修记录文档是当前唯一来源,须完整取回。
须招标方提供。 数据库连接信息、接口信息或文件传输服务信息;业务低峰时段。
表 2-16 SOS 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 时序范围 | 设备健康状态时序数据、测点配置、报警日志 | 测点清单、量纲、采样周期、安装位置 |
| 结构化范围 | 设备运维计划、报警处置、售后工单、备件消耗 | 各对象实际表名;工单故障分类码定义 |
| 非结构化范围 | 设备档案(Word)、维修记录(PDF)、诊断报告(PDF/Word)、故障案例(PDF/Word) | 文件服务只读目录与文档挂接关系 |
| 接入通道 | 时序与设备通道+库只读直连+文件与附件通道,三路并行 | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制与频次 | 时序按测点分片(常态小时级);结构化按日增量;文档按清单比对;批量置于低峰窗口 | 业务低峰时段 |
| 特有处置 | 疑似异常测点标注不剔除;同设备同时间窗多通道一并取回以备干扰分离;报警与工单按时点配对由下游完成 | 哪些测点已知失效、更换记录 |
| 入口脱敏重点 | 矿方客户名称与井下地理位置按授权范围处理;服务工程师个人信息假名化 | 矿方信息的可用范围 |
| 主键与关联键 | 测点编码+时间戳为时序主键;售后工单号为结构化主键;文档以资产标识唯一。对外关联键为设备档案编码(向 EAM 设备编码对齐)与矿方客户标识;报警日志与售后工单之间无显式关联字段,两者的设备编码与时点一并取回供下游按时间窗配对 | 工单上设备编码的填写率 |
| 时间戳与时间基准 | 时序取采集时点与上传时点两组——井下网络中断会使两者相差很远,只取上传时点会把数据放到错误的时间位置;工单取报修、到场、完修三个时点 | 采集时点是否随数据一并上传 |
| 变更与删除的捕获 | 时序追加写,无更新与删除;工单的故障分类与处置结论存在回填与改判,按更新时点捕获并保留历次版本;文档改版按内容摘要识别 | 工单回填的业务时限 |
| 幂等与去重 | 时序以「测点编码+采集时点」判重;工单以「工单号+更新时点」判重;文档以内容摘要判重,同一故障案例的多份导出件合并为一条资产并记多来源 | 文档导出的常见重复形态 |
| 对账口径 | 按月比对工单与备件消耗行数;按测点统计缺口时长占比与断链次数;文档按清单件数比对;另按月统计「可与时序数据配对的工单」件数——该数值是健康诊断场景样本量的直接度量 | 源端计数口径 |
| 失败补传与断点 | 时序按测点与时间窗定向补采;井下网络中断造成的缺口按中断时段登记,不插值;文档断点续传,失败件入重试队列 | 已知的网络中断时段记录 |
| 入口质量检查项 | 测点读数落在量程内;时间戳单调;同设备的相关通道在同批次内齐备;工单必填项非空;文档可打开且类型与扩展名一致。矿方信息的授权范围校验为强制项 | 量程与通道分组定义 |
| 勘察核实与适配验证时点 | 三类数据三条通道分别核实:T+1 至 T+2 月完成时序库、业务库与文件服务三侧的形态核实;T+2 至 T+4 月三路并行试采,适配验证须确认同设备多通道可在同批次内取回;T+4 月起转常态 | 三侧授权的开通时点是否一致 |
| 验收口径 | 测点覆盖与登记清单一致;售后工单行数核对一致;故障案例文档数与清单一致;可与时序数据配对的工单比例逐步提高,首月以试采结论为基线 | 目标比例与基线取值 |
表 2-16 数据来源:招标文件 3.2.2.1.9。
用途。 设备资产管理系统须提供设备资产管理相关业务原始数据。它在本项目中是厂内设备的档案基准:热处理场景要知道炉台的型号与功率配置,焊接场景要知道机器人工位与设备参数,诊断场景要把测点挂到设备上。设备编码的权威定义在这套系统里,其他系统的设备标识向它对齐。
数据范围。 取设备台账、设备档案、设备点检、维修工单、作业计划五类结构化数据。设备台账须取到设备编码、型号、规格、安装位置、所属车间与状态;点检与维修工单须取到执行时点与处置结论,这两类是厂内设备异常的标签来源,与售后服务系统对在役装备的作用相同。
接入方式与频次。 走库只读直连或接口通道。台账与档案按周取增量;点检、维修工单与作业计划按日取增量,置于低峰窗口。
本系统特有异常。 第一类是设备编码与数据采集与监控系统的设备标识不一致:组态系统中的设备命名常由现场习惯形成,与资产台账编码不同。处置办法是两侧的标识字段都取回,并把数据采集与监控系统侧的位号命名规则作为映射线索一并登记,映射构建由治理环节完成。第二类是设备档案附件:部分设备档案以文档形式存在,按文件与附件通道取回。
表 2-17 EAM 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 设备台账、设备档案、设备点检、维修工单、作业计划 | 各对象实际表名;设备状态码定义 |
| 重点字段 | 设备编码、型号规格、安装位置、所属车间、点检与维修执行时点与结论 | 设备编码的编码规则 |
| 接入通道 | 库只读直连或接口通道;档案附件走文件与附件通道 | 数据库连接信息或 API 接口信息 |
| 增量机制与频次 | 双键水位线;台账与档案按周,点检与工单按日,置于低峰窗口 | 业务低峰时段 |
| 特有处置 | 与 SCADA 侧设备标识的差异一并取回;位号命名规则登记为映射线索 | 位号命名规则说明 |
| 主键与关联键 | 设备编码为主键;点检与维修工单以单号唯一。本系统是厂内设备编码的权威来源,对外关联键为 SCADA 位号、热处理炉台号与 SOS 设备档案编码;位号命名规则一并取回作为映射线索 | 位号命名规则说明 |
| 时间戳与时间基准 | 取设备启用时点、状态变更时点、点检执行时点与维修完工时点;安装位置的变更须带生效区间,不覆盖历史位置——测点与设备的对应关系依赖安装位置的历史 | 安装位置变更是否留历史 |
| 变更与删除的捕获 | 设备报废、封存与调拨按状态与状态变更时点识别,台账行不删除;维修工单的处置结论存在回填,按更新时点捕获 | 报废设备的台账保留规则 |
| 幂等与去重 | 以「设备编码+状态变更时点」判重台账版本;工单以「单号+更新时点」判重 | 状态变更是否留流水 |
| 对账口径 | 按月比对五类对象行数;另按月统计设备编码与 SCADA 位号、热处理炉台号的可映射件数——该数值决定时序数据能否挂到设备上 | 两侧命名规则的对照资料 |
| 失败补传与断点 | 周作业失败并入次日增量;工单按日分片重取 | —(按通用口径执行) |
| 入口质量检查项 | 设备编码非空且唯一;状态码落在码值内;安装位置落在位置档案内;点检与维修时点不早于设备启用时点;型号规格的非空率 | 状态码定义与位置档案 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实设备编码规则并取得位号命名规则说明;T+2 至 T+4 月试采适配验证并产出首份编码映射可行性报告;T+4 月起转常态 | 编码规则文档 |
| 验收口径 | 五类对象行数核对一致;设备编码与 SCADA 位号可映射比例逐步提高,首月以试采结论为基线 | 目标比例与基线取值 |
表 2-17 数据来源:招标文件 3.2.2.1.10。
用途。 产品全生命周期管理系统承载研发设计相关业务原始数据,招标文件明确其用途是「支撑数据标注和模型训练」。本系统是本项目中单体价值最高的数据源,原因在于两件事。
第一件是成对样本。历史图纸约六十三万张,且每一张在历史上都配有一张已审核签发的工艺卡片。一张图纸进去、一张工艺卡出来,中间是工艺人员的专业判断——这正是板材备料工艺智能设计场景所要学的东西。六十三万对样本在矿山装备制造领域是极为稀缺的资产,它的价值不在体量而在配对关系的真实性:每一张工艺卡都经过审核签发,是实际执行过的工艺,而非人工构造的训练数据。
第二件是原生图纸。板材备料工艺设计要读懂多视图的投影关系,读出材料牌号、板厚、外形轮廓、孔与方孔、坡口与倒角、压弯线与粗糙度符号。这些信息在原生 CAD 图纸文件(DWG、DXF)中是结构化的图元与标注,在 PDF 或截图中则退化为像素。因此本项目取图纸一律取原生文件,不以截图或 PDF 替代原生格式。
数据范围。 结构化部分取物料清单编号、工序数据、变更记录、零部件信息四类。工序数据一项与备料分厂现掌握的二十八道工序口径对应,二十八道以工艺部门确认的正式工序字典为准;变更记录一项是工艺演进的证据,记录了同一零件的工艺如何被修订,对指令微调样本的质量有直接影响。非结构化部分取选型方案(PDF、Word)、工艺图纸(PDF)、CAD 图纸(DWG、DXF)、工艺卡片(PDF)四类。
接入方式与频次。 结构化部分走接口通道或库只读直连;图纸与文档走文件与附件通道。这里有一项已知的技术困难须如实写明:该系统的原生图纸不支持整批导出。据此我方设计两条路径并行。一是按图号或项目批次调用图纸读取接口,分批取回,批次大小与并发按对方给定上限配置;二是在授权范围内挂载文件服务只读目录,按图号清单比对下载。
两条路径都不可用时,退到由甲方按批次导出并通过文件服务交付,我方按清单核收——这一退路会延长历史图纸的归集周期,相应的时间影响在第 6 节列出。历史图纸的六十三万张规模须按项目或年份分片,分片批量一律置于低峰窗口执行。
本系统特有异常。 第一类是图纸与工艺卡的配对关系不在数据表中:配对关系存在于人的记忆与文件目录中,这是本项目最关键的一处已知缺口。采集环节的处置是把三类线索一并取回——图号与工艺卡片文件名的命名规则、文件目录的组织结构、结构化侧的零件号与工序数据关联,由预处理环节据此重建配对,配对结果须经工艺人员抽样核对。第二类是图号命名规则不统一:历史积累中存在多套命名习惯。
处置办法是按实际出现的命名形态分类统计并登记,不在采集环节做归一。第三类是大文件与并发:DWG 文件单个不大但数量巨大,按分片并发下载并断点续传,单次扫描目录深度与文件数设上限以免压垮文件服务。第四类是七八成图纸属可借用可对照的既有零件,这意味着相似图纸大量存在;采集环节按行指纹识别完全重复的文件并去重登记,相似但不相同的文件一律保留,相似度判定属预处理环节的工作。
须招标方提供。 数据库连接信息、接口信息或文件传输服务信息;业务低峰时段。另须明确图纸批量导出或接口批量读取的可行方式与授权范围,这是本系统能否按期完成历史归集的决定性前提。
表 2-18 PLM 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 结构化范围 | 物料清单编号、工序数据、变更记录、零部件信息 | 各对象实际表名;工序字典正式版本 |
| 非结构化范围 | 选型方案(PDF/Word)、工艺图纸(PDF)、CAD 图纸(DWG/DXF)、工艺卡片(PDF) | 文件服务只读目录;图纸批量读取的可行方式 |
| 取数原则 | 图纸取原生 DWG/DXF;PDF 与截图仅作辅助,不替代原生格式 | 原生文件的授权范围与导出限制 |
| 接入通道 | 接口通道或库只读直连(结构化)+文件与附件通道(图纸与文档) | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制与频次 | 历史图纸按项目或年份分片初始化,置于低峰窗口;此后按清单四项比对取增量;结构化按日增量 | 业务低峰时段、单次批量上限与并发上限 |
| 配对线索 | 图号与工艺卡文件名命名规则、文件目录组织结构、零件号与工序数据关联,三类一并取回 | 命名规则说明、目录组织说明 |
| 特有处置 | 完全重复文件按行指纹去重登记;相似文件一律保留;图号命名形态分类统计不归一 | 历史命名规则的分期沿革 |
| 主键与关联键 | 图号为图纸域主键;物料清单编号+版本号为结构域主键;零部件以零件号唯一。对外关联键为物料编码(向 ERP 对齐)、零件号(向 MES 对齐)与项目号。图纸与工艺卡的配对关系不在数据表中,以图号、工艺卡文件名命名规则与文件目录组织三类线索一并取回 | 命名规则说明与目录组织说明 |
| 时间戳与时间基准 | 取图纸创建、审核签发与升版三个时点,以及工艺卡的签发时点;历史扫描件的文件系统时间不等于图纸签发时间,两者分别登记,不以文件时间替代业务时间 | 签发时点在系统中的存放字段 |
| 变更与删除的捕获 | 图纸升版以新版本文件表达,旧版保留并串入版本链;物料清单改版按版本号与生效日期并存;变更记录表本身是工艺演进的证据,全量取回不做裁剪 | 变更记录表的字段清单 |
| 幂等与去重 | 结构化以「对象标识+版本号」判重;图纸文件以内容摘要判重——完全重复的去重登记,相似但不相同的一律保留。七八成图纸属可借用可对照的既有零件,按相似度合并会丢掉零件之间的实际差异 | 历史归档中的重复成因 |
| 对账口径 | 历史图纸按分片核对已归集件数与清单总数,分片进度按月成表;结构化按月比对四类对象行数;另按批次统计「图纸与工艺卡成对」的件数,经工艺口抽样核对后作为配对率基线 | 清单总数口径与抽样核对方式 |
| 失败补传与断点 | 原生图纸不支持整批导出,按图号或项目批次分批取回,批次内失败只重跑该批次;接口与文件服务两条路径互为备份,一条不可用时切另一条并在采集记录中注明实际路径;两条都不可用时退到由招标方按批次导出交付、我方按清单核收 | 批量读取的可行方式与单次上限 |
| 入口质量检查项 | 图号非空且符合已登记的命名形态之一;物料清单层级无环且父子件均在零件档案内;DWG/DXF 文件可被解析器打开且图元数非零;工艺卡文件可打开且页数非零;原生件与扫描件分别计数 | 命名形态的历史沿革说明 |
| 勘察核实与适配验证时点 | 列为勘察优先项(单体价值最高且取数受限):T+1 月内完成图纸批量读取方式的核实与通道选择;T+2 至 T+4 月以一个代表性项目批次完成适配验证并实测单窗口可归集件数;六十三万张的历史归集排在 T+3 至 T+9 月,分片进度按月核对 | 批量读取方式与授权范围的书面确认 |
| 验收口径 | 历史图纸归集数量按分片进度核对,逐步接近登记清单总数;图纸与工艺卡可配对比例以首批抽样核对结果为基线,按季度提高 | 清单总数口径、抽样核对方式与基线 |
表 2-18 数据来源:招标文件 3.2.2.1.11、3.2.6.3.1 产品工艺设计域采集要求及第 1 节事实口径(63 万张历史工艺样本、28 道备料工序)。
用途。 数据采集与监控系统须提供工业设备工况与物联网相关业务原始数据。它是制造过程域数据集中时序模态的主要来源,直接支撑焊接过程控制智能监控场景。
焊接场景当前的困难很具体:现有十五台焊接机器人已通过该系统采集电流、电压、温度、速度等过程参数,但数据利用停留在参数记录与简单阈值报警层面,参数流与工件、焊道之间没有对应关系。因此本系统的取数设计有一条贯穿要求:凡取时序数据,必取时间戳与设备位号,并在同批次内取回同一设备同一时间窗的全部相关通道。单通道取数会使后续的参数横向比对无法进行。
数据范围。 按招标文件所列取设备电流、电压、温度、湿度、设备运行状态、焊接电流与电压、送丝速度、气体流量八类时序数据。设备运行状态一项是时序数据的分段依据——同一台设备在待机、空载、焊接三种状态下的参数分布完全不同,不取状态就无法分段,分析结果会被待机数据稀释。
接入方式与频次。 走时序与设备通道。优先按时序库只读查询或组态系统历史数据接口取数,按位号与时间窗分片,维护每位号的采集水位线。常态按小时分片拉取,历史回溯按日分片置于低峰窗口。该系统的既有采集范围仅覆盖部分车间的部分设备,采集范围的扩展按各场景数据要求分批进行,首期以试点产线与试点车间所需设备为准,扩展清单以现场勘察结论为准——这一点属硬件与感知设备建设范围,采集侧只在扩展到位后把新增位号纳入台账并开始取数。
本系统特有异常。 第一类是采样周期与数据量:焊接过程参数的采样周期通常为秒级甚至更密,单位时间数据量大。处置办法是按位号分组错峰拉取,单次查询的位号数与时间跨度设上限,并在台账中按位号登记原始采样周期;采集环节不做降采样,降采样属预处理环节按场景需要执行。第二类是位号命名与设备编码不一致,处置同 2.12 节。
第三类是时间基准偏差:组态系统的时间源可能与业务系统不同步,若偏差未知,时序与工单的对齐就会错位。处置办法是在试采阶段测定该系统时间源与统一时间基准的偏差并登记,每一批次的采集记录中注明测定值与测定时点;时间基准归一在标准化层执行。第四类是数据缺口:设备停机、网络中断或采集点故障造成的缺口按缺口时间窗定向补采,补采不到的按位号与时间窗如实登记。
须招标方提供。 数据库连接信息或接口信息;业务低峰时段。另须提供位号清单、量纲、采样周期与位号对应的物理设备与安装位置说明。
表 2-19 SCADA 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 设备电流、电压、温度、湿度、设备运行状态、焊接电流与电压、送丝速度、气体流量 | 位号清单、量纲、采样周期、位号与物理设备对应关系 |
| 取数原则 | 必取时间戳与设备位号;同设备同时间窗的相关通道在同批次内一并取回 | 哪些位号属同一设备同一工艺段 |
| 接入通道 | 时序与设备通道(时序库只读查询或组态历史数据接口) | 数据库连接信息或 API 接口信息 |
| 增量机制与频次 | 按位号与时间窗分片,维护每位号水位线;常态按小时,历史回溯按日分片置于低峰窗口 | 业务低峰时段、单次查询位号数与时间跨度上限 |
| 特有处置 | 原始采样周期按位号登记,采集环节不降采样;时间源偏差试采期测定并逐批次登记;缺口定向补采后如实登记 | 时间源配置、已知停机与故障时段 |
| 范围扩展 | 新增位号到位后纳入台账并开始取数,按试点产线与试点车间分批 | 扩展清单与到位时点 |
| 主键与关联键 | 位号+时间戳为主键。对外关联键为设备编码(向 EAM 对齐)与工位号(向 MES 焊接工序对齐);参数流与工件、焊道之间无对应键,取数时同设备同时间窗的全部相关通道在同批次内一并取回,为下游按时间窗配对留出条件 | 哪些位号属同一设备同一工艺段 |
| 时间戳与时间基准 | 组态系统时间源可能与业务系统不同步,试采期测定偏差并登记,每批次采集记录注明测定值与测定时点;时间基准归一在标准化层执行,采集环节保留原始时间戳 | 时间源配置与同步方式 |
| 变更与删除的捕获 | 时序追加写,无更新与删除;位号配置变更(量纲、采样周期、测点改接)按配置版本登记,变更前后的数据分段归属不同配置版本,不混为一段 | 位号配置变更的历史记录 |
| 幂等与去重 | 以「位号+时间戳」判重,同一时点的重复点取首次并记重复次数;按时间窗重跑不产生重复点 | 重复点的业务成因 |
| 对账口径 | 按位号比对源端点数与入库点数;按位号统计缺口时长占比与缺口段数;另按月统计「可定位到工单与焊道」的参数段比例——该比例是焊接场景样本量的直接度量 | 源端点数的查询方式 |
| 失败补传与断点 | 按位号与时间窗维护水位线,缺口按缺口时间窗定向补采;单次查询超时自动缩小时间跨度与位号数后重试;补采不到的按位号与时间窗如实登记,不做插值 | 源端历史数据的保留期限 |
| 入口质量检查项 | 读数可解析为数值;量纲与台账一致;时间戳单调且采样间隔与登记周期一致;设备运行状态码落在码值内;同批次内的相关通道齐备 | 运行状态码定义与通道分组 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月取得位号清单并核实时序库或组态历史接口形态;T+2 至 T+4 月试采适配验证并测定时间源偏差;既有覆盖仅及部分车间部分设备,扩展位号随感知设备到位分批纳入,纳入时点随硬件交付 | 扩展清单与到位时点 |
| 验收口径 | 已授权位号的覆盖数与登记清单一致;各位号数据缺口时长占比收敛至约定阈值内;焊接参数可定位到工单与焊道的比例逐步提高,首月以试采结论为基线 | 阈值取值、目标比例与基线 |
表 2-19 数据来源:招标文件 3.2.2.1.12、3.2.6.3.1 制造过程域采集要求及焊接场景现状描述。
用途。 协同办公系统须提供协同办公相关业务原始数据,形态全部为非结构化文档。它是五个通用场景的语料主体:管理制度智能问答要查制度,合同合规智能审查要对照合同条款,标书智能问答要检索历史标书,技术标准智能问答部分资料亦在此沉淀。本系统同时是预训练子集中通用语料的来源之一。
数据范围。 招标文件写明两类:十一类管理制度(PDF)、九类合同文档(PDF、Word)。「十一类」与「九类」是甲方既有的分类口径,取数时按该分类组织目录结构,不自行重新分类——通用场景回答问题时须说清依据的是哪一类、哪一版文件,分类口径一旦改动,答案的可核对性就下降。
除文档正文外,须一并取回文档的版本状态、生效日期、废止日期与访问控制信息。版本与权限是通用场景的核心约束:回答一个问题时能否说清依据的是哪一版文件、提问人是否有权看到这份依据,取决于这两组字段是否在采集时一并取回。
接入方式与频次。 走文件与附件通道,按只读目录或文档接口取数,按清单四项比对下载;文档元数据(标题、分类、版本、生效日期、权限标签)走接口或库只读直连。批量初始化置于低峰窗口;此后按日扫描清单。
本系统特有异常。 第一类是同名文件内容已变:制度与合同文档的修订常沿用原文件名,仅靠路径与修改时间无法识别。处置办法是按内容摘要比对,摘要变化即视为新版本并另存,旧版本保留。第二类是扫描件与可解析文本混杂:部分历史文档为扫描图像,须经光学字符识别才能用于语料。
采集环节按文件是否含可提取文本层分类标注,不在采集环节做识别——识别属多格式多模态录入环节的工作,见第 3 节。第三类是权限敏感文档:部分合同与制度涉及企业秘密,须按访问控制信息分级,未授权范围的文档不取。这一判断以甲方提供的权限标签为准,我方不自行判定可否取用。
表 2-20 OA 系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 十一类管理制度(PDF)、九类合同文档(PDF/Word)及其元数据 | 十一类与九类的分类明细;元数据字段清单 |
| 必取元数据 | 分类、版本状态、生效日期、废止日期、访问控制标签、文档归属部门 | 权限标签的取值定义与分级口径 |
| 接入通道 | 文件与附件通道(正文)+接口或库只读直连(元数据) | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制与频次 | 按清单四项比对,摘要变化即为新版本并另存;批量初始化置于低峰窗口,此后按日扫描 | 业务低峰时段 |
| 特有处置 | 扫描件与含文本层文件分类标注,识别交录入环节;未授权范围文档不取 | 哪些分类属未授权范围 |
| 入口脱敏重点 | 合同相对方个人信息假名化;未公开商务条款按授权裁剪 | 可用于训练的条款范围 |
| 主键与关联键 | 文档标识为主键,版本以「文档标识+版本号」唯一。对外关联键为合同号(向 CRM 合同号、ERP 销售订单号对齐)与制度文号;元数据与正文以文档标识挂接 | 文档标识字段名;合同号在文档元数据中的位置 |
| 时间戳与时间基准 | 取发布时点、生效日期与废止日期三组,另取文件最后修改时间。生效与废止日期决定问答场景取哪一版,缺这两项的文档不进入问答语料 | 生效与废止日期的填写规范 |
| 变更与删除的捕获 | 制度与合同的修订常沿用原文件名,仅凭路径与修改时间无法识别,一律以内容摘要比对:摘要变化即视为新版本并另存,旧版保留并串入版本链;文档下架按状态识别,原件保留 | 文档下架的业务规则 |
| 幂等与去重 | 以内容摘要判重;同一文档的多格式导出件(PDF 与 Word)合并为一条资产并记多来源,不重复计数 | 同一文档的多格式并存情况 |
| 对账口径 | 按十一类制度与九类合同的既有分类口径逐类比对件数与清单;按月统计生效日期与版本字段的完整度;权限标签缺失的件数单列 | 两类文档的分类明细与清单 |
| 失败补传与断点 | 按目录分片扫描与下载,分片失败只重跑该分片;大文档断点续传;权限受限而取不到的文档不重试,直接登记为授权外并回单 | 授权外范围的回单接收窗口 |
| 入口质量检查项 | 文件可打开且类型与扩展名一致;是否含可提取文本层(分类标注,识别交录入环节);分类标签落在既有分类口径内;版本与生效日期的非空率;权限标签非空。权限标签缺失为强制项,缺失即不放行 | 权限标签的取值定义与分级口径 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实文档库形态与权限标签体系并确认未授权范围;T+2 至 T+4 月以一类制度与一类合同完成适配验证;T+3 月起批量初始化,T+4 月起按日扫描转常态 | 未授权范围的书面界定 |
| 验收口径 | 两类文档的件数与清单一致;版本与生效日期字段完整度收敛至约定阈值内 | 清单口径与阈值取值 |
表 2-20 数据来源:招标文件 3.2.2.1.13。
用途。 久其系统须提供经营相关指标数据。它支撑决策数据智能问答场景,也为供需计划域数据集提供经营结果侧的口径。与企业资源计划系统的区别在于:企业资源计划系统提供的是业务明细,久其系统提供的是对外报送口径的指标值。两者数值可能不一致,这种不一致不是错误,而是口径差——报送口径有合并、调整与追溯重述。决策数据问答场景回答「去年营业收入多少」时,依据应是报送口径,因此这套系统不可被替代。
数据范围。 取营业收入、利润、成本、资产负债四类指标数据。每一项指标须取到指标值、报告期、口径版本与是否追溯重述标记。只取指标值而不取口径版本,历史数据会因重述而前后不一致,问答场景就会给出相互矛盾的答案。
接入方式与频次。 走应用接口通道或库只读直连。指标数据按报告期产生,按月或按季在期末报送完成后取数一次,置于低峰窗口。
本系统特有异常。 第一类是追溯重述:历史期间的指标值可能被后续调整。处置办法是按报告期与口径版本双键留存,不覆盖历史值,使任一时点的口径都可还原。第二类是指标数据属企业财务敏感信息,按授权范围取数,并在数据集中按敏感等级分级管理;未公开的明细口径按第 2.1.3 节裁剪。
表 2-21 久其系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 营业收入、利润、成本、资产负债四类指标数据 | 指标清单与指标编码定义 |
| 必取字段 | 指标值、报告期、口径版本、追溯重述标记、报送状态 | 口径版本的取法与重述记录 |
| 接入通道 | 应用接口通道或库只读直连 | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制与频次 | 按报告期与口径版本双键留存,不覆盖历史值;按月或按季期末报送完成后取数一次,置于低峰窗口 | 业务低峰时段、报送完成标志 |
| 入口脱敏重点 | 按授权范围取数并按敏感等级分级;未公开明细口径裁剪 | 可用于训练与问答的指标范围 |
| 主键与关联键 | 以「指标编码+报告期+口径版本」三键唯一。对外关联键为组织机构编码(向主数据平台对齐)。指标与 ERP 明细之间不建立强关联——两者口径不同,强行对应会产生错误结论,差异作为口径差登记 | 指标编码体系与组织维度定义 |
| 时间戳与时间基准 | 以报告期而非取数时点作为数据的时间定位,另取报送完成时点与重述时点;按月或按季在报送完成标志出现后取数,不以取数时点判定数据归期 | 报送完成标志的取法 |
| 变更与删除的捕获 | 追溯重述是本系统的常态:历史期间的指标值会被后续调整,按报告期与口径版本双键留存,不覆盖历史值;指标口径调整按口径版本号区分 | 重述记录的存放方式 |
| 幂等与去重 | 以三键判重;同一报告期的多次重述各占一个口径版本,全部保留 | 口径版本号字段名 |
| 对账口径 | 按报告期比对四类指标的指标值与对外披露口径是否一致;另核对各报告期的覆盖是否连续,缺期单列 | 可用于核对的对外披露资料 |
| 失败补传与断点 | 报送窗口内取数失败按日重试至报送期结束;错过报告期的按报告期补取,不以相邻期替代 | 报送期的时间窗 |
| 入口质量检查项 | 指标值可解析为数值;报告期格式合规且连续;口径版本非空;重述标记与历史值并存;指标编码落在指标清单内。财务敏感指标的授权范围校验为强制项 | 指标清单与指标编码定义 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实接口形态与报送完成标志;T+2 至 T+4 月以一个完整报告期完成适配验证;此后按报告期节奏转常态 | 首个可用于验证的报告期 |
| 验收口径 | 四类指标的报告期覆盖与清单一致;任一历史时点的口径可完整还原 | 覆盖年限要求 |
表 2-21 数据来源:招标文件 3.2.2.1.14。
用途。 主数据管理平台须提供组织、人员、物料等主数据。它在本项目中的作用是第 2.1.7 节所述对象贯通的参照起点:组织机构、人员与物料编码三类主数据若在该平台已有统一定义,跨系统映射的工作量会显著下降;若该平台仅覆盖部分主数据域,则映射须回到各源系统逐一对齐。因此本系统的勘察结论直接影响第 2.1.7 节工作的工期估算。
数据范围。 取组织机构、人员、物料编码三类结构化数据。组织机构须取到层级关系与生效区间,组织调整历史对按部门口径的统计有直接影响;人员一类按最小必要原则仅取岗位与所属组织,不取个人身份信息与薪酬考核数据;物料编码须取到编码、名称、分类、计量单位、替代关系与状态。
接入方式与频次。 走应用接口通道或库只读直连。主数据变更频率低,按日取增量即可,置于低峰窗口。组织与物料的历史版本按生效区间留存,不覆盖。
本系统特有异常。 第一类是主数据覆盖范围不完整:平台可能只纳管了部分主数据域,或部分源系统尚未接入该平台。处置办法是在勘察阶段逐域核实纳管范围并登记,未纳管域在采集记录中标明,映射工作按未纳管处理。第二类是人员数据的个人信息:按第 2.1.3 节在入口处裁剪至岗位与组织维度,个人姓名、证件号、联系方式一律不进入数据集。第三类是物料替代关系缺失:标准件库缺适用条件、替代关系与在产状态三项字段是已知缺口,采集环节如实登记缺口,不做推测性补齐。
表 2-22 主数据管理平台接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 取数对象 | 组织机构、人员(仅岗位与组织维度)、物料编码 | 纳管的主数据域清单;已接入该平台的源系统清单 |
| 必取字段 | 组织层级与生效区间;物料编码、名称、分类、计量单位、替代关系、状态 | 替代关系与状态字段是否已维护 |
| 接入通道 | 应用接口通道或库只读直连 | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制与频次 | 双键水位线,按日增量;历史版本按生效区间留存不覆盖 | 业务低峰时段 |
| 入口脱敏重点 | 人员数据裁剪至岗位与组织维度,个人身份信息不入库 | 岗位维度的可用粒度 |
| 特有处置 | 未纳管主数据域在采集记录中标明;缺失字段如实登记不补齐 | 未纳管域的后续纳管计划 |
| 主键与关联键 | 组织机构编码、人员岗位标识、物料编码分别为三域主键。本平台是对象贯通的参照起点:纳管范围内的编码直接作为映射基准,未纳管域回到各源系统逐一对齐 | 纳管的主数据域清单与已接入的源系统清单 |
| 时间戳与时间基准 | 组织与物料的每一版本取生效起止区间,不取单一「当前有效」视图——按部门口径的历史统计依赖组织调整的历史版本 | 生效区间字段名 |
| 变更与删除的捕获 | 主数据变更以新版本表达,按生效区间并存;停用与作废按状态识别,编码不回收不复用;物料替代关系的变更按关系表的生效区间捕获 | 编码是否存在回收复用情形 |
| 幂等与去重 | 以「编码+生效起始时点」判重;同一编码的多版本全部保留 | 版本号与生效区间的对应规则 |
| 对账口径 | 按月比对三类主数据行数;另按域统计纳管范围与未纳管范围的编码件数,未纳管部分在采集记录中标明并计入对象贯通的工作量估算 | 未纳管域的后续纳管计划 |
| 失败补传与断点 | 按日作业失败并入次日增量;主数据量小,失败后整表重取即可,不做分片 | —(按通用口径执行) |
| 入口质量检查项 | 编码非空且唯一;组织层级无环;生效区间不重叠不断档;计量单位落在单位字典内;人员数据经入口裁剪后复核不含个人身份信息(强制项) | 单位字典与岗位口径 |
| 勘察核实与适配验证时点 | 列为勘察前段项(其结论直接影响第 2.1.7 节工作的工期估算):T+1 月内完成纳管范围的逐域核实;T+2 至 T+4 月适配验证;T+4 月起转常态 | 逐域纳管范围的书面确认 |
| 验收口径 | 三类主数据行数核对一致;组织层级可还原至指定历史时点;纳管范围与未纳管范围清单齐备 | 核对口径 |
表 2-22 数据来源:招标文件 3.2.2.1.15。
用途。 热处理群控系统须提供生产、开炉等相关业务原始数据。它直接支撑热处理过程智能监控场景。该场景的要求是在不改动固定工艺参数的前提下把执行条件的差异管起来——为每一个处理批次建立完整档案,把装炉工件清单、材料批次、码装方式与装炉量、设定程序、实际温度曲线与检验结论串到一起。本系统提供的是其中最核心的两项:设定程序与实际曲线。
数据范围。 按招标文件所列取当前温度与设置温度、电流与电压、加热时间与冷却时间、冷却水温度、淬火液温度、淬火水温、温控测量值七组时序数据。「当前温度」与「设置温度」成对取回是关键——热处理场景要识别的正是实际曲线对设定程序的偏离,缺任一侧则偏离无法度量。除时序数据外,须一并取回炉次工单、开炉与完工记录、工艺程序下发记录三类结构化数据:炉次级记录在该系统中可追溯,这是把时序曲线绑定到物理批次的唯一依据。
接入方式与频次。 走时序与设备通道取时序数据,按炉台与时间窗分片;炉次工单与开完工记录走库只读直连或接口通道,按日取增量。历史回溯按日分片置于低峰窗口。
本系统特有异常。 第一类是炉次与工件、材料批次、检测结果之间无稳定关联:这是热处理场景的已知核心缺口。采集环节把可用的关联线索一并取回——炉次工单上的工单号与零件批次号、开炉记录的时点与炉台号,由此与制造执行系统的工单、质量管理系统的检验记录在时间窗与标识上做配对,配对由预处理环节完成。第二类是装载量与码装方式无结构化记录:已知缺口。
这类数据的建设方式是在既有业务流程中增设填报入口并由系统预填、经手人确认,不属采集环节范围;采集环节如实登记缺口。第三类是温度测量系统校验记录未接入:计量校验记录决定了温度数据的可信度,若未接入则时序数据的绝对精度无法保证。处置办法是在勘察阶段确认校验记录的存放位置,具备条件时纳入取数范围,不具备时在采集记录中注明该限制。第四类是曲线采样密度:温控测量值的采样周期通常为秒级,处置同 2.14 节。
表 2-23 热处理群控系统接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 时序范围 | 当前温度与设置温度、电流与电压、加热与冷却时间、冷却水温度、淬火液温度、淬火水温、温控测量值 | 炉台清单、测点量纲与采样周期 |
| 结构化范围 | 炉次工单、开炉与完工记录、工艺程序下发记录(炉次绑定所需) | 这三类记录的实际表名或接口 |
| 取数原则 | 当前值与设定值成对取回;时序必带炉台号与时间戳 | 设定程序的存放形式 |
| 接入通道 | 时序与设备通道(时序)+库只读直连或接口通道(结构化) | 数据库连接信息、API 接口信息或 FTP 信息 |
| 增量机制与频次 | 时序按炉台与时间窗分片并维护水位线;结构化按日增量;历史回溯按日分片置于低峰窗口 | 业务低峰时段 |
| 关联线索 | 炉次工单上的工单号与零件批次号、开炉时点与炉台号一并取回,供下游配对 | 这两个字段的填写完整度 |
| 特有处置 | 装载量与码装方式缺口如实登记;计量校验记录具备条件时纳入,不具备时注明限制 | 校验记录存放位置 |
| 主键与关联键 | 炉台号+测点+时间戳为时序主键;炉次工单号为结构化主键。对外关联键为工单号(向 MES 对齐)与零件批次号(向 WMS 批次、QMS 进厂检验批次对齐);炉次与工件、材料批次、检测结果之间无稳定关联,炉次工单上的工单号与零件批次号、开炉时点与炉台号一并取回供下游配对 | 这两个字段的填写完整度 |
| 时间戳与时间基准 | 取开炉时点、各段工艺程序下发时点与完工时点;时序按炉台本地时钟记录。设定值与实测值须取自同一时间轴,若设定程序与温控测量存放于不同子系统,两侧时钟偏差在试采期测定并登记 | 设定程序的存放形式与时钟同步方式 |
| 变更与删除的捕获 | 时序追加写,无更新与删除;工艺程序中途调整以新的下发记录表达,历次下发全部保留——实际曲线对设定程序的偏离要以当时生效的那一版设定值为基准;炉次工单作废按状态识别 | 中途调整的业务规则 |
| 幂等与去重 | 时序以「炉台号+测点+时间戳」判重;炉次工单以「炉次工单号+更新时点」判重;同一炉次的多段程序分别保留,不做合并 | 多段程序的编号规则 |
| 对账口径 | 按炉台比对源端点数与入库点数;按月比对炉次工单行数;另按月统计「可与炉次绑定的时序批次」比例与「设定值与实测值成对齐全」的炉次件数 | 源端点数的查询方式 |
| 失败补传与断点 | 按炉台与时间窗维护水位线,缺口定向补采;一炉在途时作业中断的,待该炉完工后按整炉时间窗重取,不取半段曲线 | 在途炉次的识别字段 |
| 入口质量检查项 | 温度与电参数落在量程内;设定值与实测值在同一批次内成对齐全;时间戳单调且覆盖整个炉次时段;炉次工单的工单号与零件批次号非空率;采样间隔与登记周期一致 | 量程区间与采样周期 |
| 勘察核实与适配验证时点 | T+1 至 T+2 月核实炉台清单、设定程序存放形式与温度测量系统校验记录的存放位置;T+2 至 T+4 月以若干完整炉次完成适配验证;T+4 月起转常态 | 校验记录存放位置 |
| 验收口径 | 炉台与测点覆盖与登记清单一致;炉次记录行数核对一致;可与炉次绑定的时序批次比例逐步提高,首月以试采结论为基线 | 目标比例与基线取值 |
表 2-23 数据来源:招标文件 3.2.2.1.16及 3.2.6.3.1 制造过程域采集要求。
用途与集成方式。 招标文件对本系统的规定与前十六个不同:平台与安全监管平台为单向集成,即由数据集加工生产平台从安全监控平台获取数据。单向是责任边界,也是该系统接入设计的出发点——我方只接收,不向该平台发起写操作,不发起取数之外的任何调用。
数据范围。 须包括安全监管数据与生产过程监控数据两类。招标文件对这两类未列具体字段,此处按两类数据的通常构成给出取数口径,具体字段以勘察结论为准:安全监管数据按事件、隐患、检查与整改四个对象取记录,含发生时点、区域或工位、分级、处置状态;生产过程监控数据按监控对象与时间取记录,含监控点标识、时点、状态量与报警标识。两类数据在本项目中的用途是支撑安全合规判断类样本的构建,并为制造过程域数据集补充安全维度的上下文。
接入方式与频次。 走单向监管数据通道。两种形态都支持:由对方按批次向我方推送,或由我方按只读接口拉取,具体以该平台的现有能力为准。网络层按单向可达配置,接收侧按批次号与时间窗水位线去重。频次按对方发布节奏接收;对方无固定节奏时,我方按日拉取一次,置于低峰窗口。
本系统特有异常。 第一类是字段口径未明:这是本系统与其他十六个系统最大的不同——招标文件未列字段清单。处置办法是把本系统列为勘察优先项,在勘察阶段确定对象与字段后再冻结取数范围;勘察前不预设结构。
第二类是数据敏感性:安全监管数据可能涉及人员伤害、违规处置等敏感内容,涉及个人的部分按第 2.1.3 节在入口处假名化,涉及监管报送的内容按授权范围取数。第三类是单向网络下的回单问题:单向可达意味着我方无法通过同一通道回报接收结果。处置办法是接收结果通过项目既定的协作渠道按日回单,不在数据通道上反向发起请求。
表 2-24 安全监管平台接入要素表
| 要素 | 我方方案 | 须招标方确认或提供 |
|---|---|---|
| 集成方式 | 单向集成,我方只接收不写入、不发起取数之外的调用 | 单向可达的网络策略与实现方式 |
| 取数对象 | 安全监管数据(事件、隐患、检查、整改)、生产过程监控数据(监控点、状态量、报警) | 实际对象与字段清单(勘察优先项) |
| 接入通道 | 单向监管数据通道,支持对方推送或我方只读拉取两种形态 | 该平台现有的对外提供能力 |
| 增量机制与频次 | 按批次号与时间窗水位线去重;按对方发布节奏接收,无固定节奏时按日拉取并置于低峰窗口 | 发布节奏或可接受的拉取窗口 |
| 入口脱敏重点 | 涉及个人的内容假名化;监管报送内容按授权范围取数 | 可取用的范围与分级要求 |
| 特有处置 | 勘察前不预设结构;接收结果按日通过协作渠道回单,不在数据通道上反向请求 | 回单的接收窗口 |
| 主键与关联键 | 以对方的记录标识与批次号为主键,具体字段以勘察结论为准,勘察前不预设。对外关联键按区域或工位标识与 MES 工位号、EAM 安装位置对齐 | 记录标识与区域编码的定义 |
| 时间戳与时间基准 | 取事件发生时点与推送(或拉取)时点两组;单向通道下我方无法向对方回查,两个时点全取是判断数据延迟与补推需求的唯一依据 | 发生时点的记录精度 |
| 变更与删除的捕获 | 隐患整改与处置状态的推进以后续推送的状态更新表达,历次状态全部保留;对方撤回记录时以撤回标记表达,我方不做物理删除 | 状态更新与撤回的表达方式 |
| 幂等与去重 | 以「批次号+记录标识」判重;对方重推同一批次时按记录标识判断是否覆盖,重推次数记入采集记录 | 重推的业务约定 |
| 对账口径 | 按批次号的连续性核对是否缺批;按月以对方发布的批次计数与我方接收计数比对,差异通过项目既定协作渠道回单,不在数据通道上反向请求 | 批次计数的获取方式 |
| 失败补传与断点 | 接收失败或批次缺口按协作渠道申请补推;我方拉取形态下按时间窗定向重取;单向可达下不设自动反向重试 | 补推的响应时限 |
| 入口质量检查项 | 批次完整且可解析;记录标识非空且在批次内唯一;时点字段可解析;分级与处置状态落在勘察确认的码值内;涉及个人的字段已按入口规则假名化(强制项) | 码值集合(勘察阶段确认) |
| 勘察核实与适配验证时点 | 列为勘察最优先项(招标文件未列本平台字段清单):T+1 月内完成对象与字段的勘察并签认取数范围;T+2 至 T+4 月完成单向网络策略联调与适配验证,联调含反向连通性测试;T+4 月起按对方节奏接收 | 字段清单的签认与网络策略的配置时点 |
| 验收口径 | 两类数据的批次接收记录完整;字段范围与勘察结论一致 | 勘察结论签认方式 |
表 2-24 数据来源:招标文件 3.2.2.1.17。
2-2 十七个源系统到四个业务域与四类数据集的数据流向
图 2-2 数据来源:招标文件 3.2.2.1.1–3.2.2.1.17 各系统数据范围条款、3.2.6.3.1 各业务域采集要求、数据质量目标、场景赋能目标及第 1 节四大数据集规模口径。
表 2-25 汇总十七个源系统的接入要点,便于横向比对与实施期对照检查。表中「字典条款」一列标注招标文件是否为该系统写明数据字典要求——有十一个系统写明、六个系统未写明;未写明的系统我方仍按第 2.1.1 节请求库结构说明,这一处差异在第 6 节如实列出。
表 2-25 十七个源系统接入要点汇总
| 序号 | 源系统 | 主要数据形态 | 采集通道 | 常态频次 | 字典条款 | 对应业务域 | 主要支撑场景 |
|---|---|---|---|---|---|---|---|
| 1 | CRM 客户关系管理 | 结构化+文档 | 库直连/接口+文件 | 日(附件小时扫描) | 有 | 供需计划 | 库存控制、标书问答 |
| 2 | ERP 企业资源计划 | 结构化 | 库直连 | 日;成本凭证按月结 | 有 | 供需计划 | 产品选型、库存控制、决策数据问答 |
| 3 | SCM 供应链管理 | 结构化 | 库直连/接口 | 日(档案类周) | 有 | 供需计划 | 库存控制 |
| 4 | QMS 质量管理 | 结构化+文档+图像 | 库直连/接口+文件 | 日 | 未写明 | 产品质量 | 热处理监控、焊接监控 |
| 5 | WMS 仓储管理 | 结构化 | 库直连/接口 | 日(流水可小时) | 未写明 | 供需计划 | 库存控制 |
| 6 | MES 制造执行 | 结构化 | 库直连/接口 | 日(进度小时) | 未写明 | 制造过程 | 全部制造类场景(对象贯通枢纽) |
| 7 | LMS 物流管理 | 结构化 | 库直连/接口 | 日 | 未写明 | 供需计划 | 库存控制 |
| 8 | EMS 能源管理 | 时序 | 时序与设备 | 小时分片 | 未写明 | 制造过程 | 热处理监控 |
| 9 | SOS 售后服务管理 | 时序+结构化+文档 | 三路并行 | 时序小时;其余日 | 未写明 | 制造过程、产品质量 | 健康诊断 |
| 10 | EAM 设备资产管理 | 结构化 | 库直连/接口 | 日(台账周) | 未写明 | 制造过程 | 热处理监控、焊接监控、健康诊断 |
| 11 | PLM 产品全生命周期管理 | 结构化+图纸+文档 | 接口/库直连+文件 | 历史分片初始化;此后日 | 未写明 | 产品工艺设计 | 板材备料、产品选型 |
| 12 | SCADA 数据采集与监控 | 时序 | 时序与设备 | 小时分片 | 未写明 | 制造过程 | 焊接监控、热处理监控 |
| 13 | OA 协同办公 | 文档 | 文件+接口 | 日扫描 | 未写明 | 通用语料 | 五个通用场景 |
| 14 | 久其系统 | 指标 | 接口/库直连 | 月或季(报送后) | 未写明 | 供需计划 | 决策数据问答 |
| 15 | 主数据管理平台 | 结构化 | 接口/库直连 | 日 | 未写明 | 全域(对象贯通参照) | 全部场景 |
| 16 | 热处理群控系统 | 时序+结构化 | 时序与设备+库直连 | 时序小时;结构化日 | 未写明 | 制造过程 | 热处理监控 |
| 17 | 安全监管平台 | 结构化(待勘察) | 单向监管数据 | 按对方节奏或日 | 未写明 | 制造过程 | 安全合规类样本 |
表 2-25 数据来源:招标文件 3.2.2.1.1–3.2.2.1.17 各系统条款、3.2.6.3.1 各业务域采集要求、术语定义表。
要求是:实现本项目数据集加工生产相关的离线非结构化数据的解析及录入管理,并形成电子化数据资产和相关语料;完成业务域文档、图片、工程图纸、技术书籍、财务票据、音视频等多格式多模态离线数据的批量导入与实时接入;建立自动分类、关键信息抽取、结构化转换、质量校验及人工复核机制,形成规范化、标准化的离线电子化数据资产目录;按业务主题与知识体系进行数据聚类、去噪清洗、格式统一与版本管理。
录入对象是不在任何系统流程里的离线资料:尚未数字化的纸质检测报告,以纸本或扫描件存放的技术书籍与外部标准资料,以扫描件而非原生文件存在的历史工艺图纸,按会计档案方式归档的财务票据,散存于部门自管目录的现场演示与培训录像。这类资料不随业务流程产生新记录,没有增量键可用;一个目录内可能同时存在 PDF、DWG、JPG、XLSX 与 MP4;同一类资料既有带文本层的电子文档,也有倾斜模糊的扫描件。
据此,录入以资料批次而非源系统为组织单位,以清单登记与内容摘要替代增量键,以自动分类先判别资料类别、再按类走对应的解析路径。录入流水线分六段:批次登记、格式识别与分类、解析与关键信息抽取、质量校验、人工复核、入目录与版本管理。六段之间以批次为单位流转,每段有明确的通过条件与不通过时的回退路径。图 3-1 给出完整流水线。
3-1 多格式多模态离线数据录入流水线
图 3-1 数据来源:招标文件 3.2.2.2 第 1–3 条。
招标文件要求对业务域文档、图片、工程图纸、技术书籍、财务票据、音视频六类离线数据完成批量导入与实时接入。两种方式并存,分工明确。
批量导入用于历史存量。甲方按资料类别分批交付,每一批随交一份清单,清单列明件数、类别与来源部门;我方按清单核收,逐件登记批次号、内容摘要与许可凭证,核收结论回单。清单与实物不符的,按差异回单,不以实物为准自行调整清单——清单是双方签认的交付凭据。大体量批次按资料类别拆分,单批不超过约定件数上限,避免一次交付的核收周期过长。
实时接入用于增量。在授权范围内设置只读监视目录与接收端点:新增文件落入监视目录即触发登记与分类,不必等人工发起;监视机制之外另按小时扫描目录清单作为兜底,防止事件丢失导致漏入。实时接入的典型来源是日常新产生的检测报告、新签合同扫描件与新摄录的现场视频。
表 3-1 给出六类资料的接入方式、支持格式与处置要点。格式判定一律按文件签名而非扩展名——扫描件被存成 `.pdf` 实际是图像包、图纸被改名为 `.pdf` 实际是 DWG,这两种情形在历史资料中都会出现,按扩展名分流会把数据送进错误的解析器。
表 3-1 六类离线资料的接入方式与处置要点
| 资料类别 | 典型来源 | 支持格式 | 接入方式 | 解析产出 | 处置要点 |
|---|---|---|---|---|---|
| 业务域文档 | 管理制度、技术规程、会议纪要、合同、标书 | PDF、DOC/DOCX、WPS、TXT、HTML | 批量+实时 | 篇章结构、条款边界、表格、页码锚点 | 保留原文页码锚点,供问答场景出具依据定位 |
| 图片 | 交检拍照、现场照片、缺陷影像 | JPG、PNG、TIFF、BMP | 批量+实时 | 图像实体、拍摄时点、关联对象标识、画面要素标签 | 优先保留原始分辨率;关联对象标识缺失时记入待关联 |
| 工程图纸 | 历史工艺图纸、零件图、装配图 | DWG、DXF(原生优先);PDF、TIFF(扫描件) | 批量为主 | 图元、尺寸、标注、图层、线型、视图投影关系 | 原生格式与扫描件分别登记,不混为一类;扫描件注明精度限制 |
| 技术书籍 | 行业手册、机械制图标准、工艺编制准则、外部资料 | PDF(含扫描件)、EPUB | 批量 | 章节结构、术语、公式、图表题注 | 版权状态逐册登记,用途受限的标注不可商用并按限制使用 |
| 财务票据 | 发票、结算单、会计凭证附件 | PDF、JPG、OFD | 批量 | 票面栏目字段、金额、日期、相对方 | 相对方与个人信息按入口脱敏规则处理;票面金额按授权范围裁剪 |
| 音视频 | 现场演示录像、培训录像、设备运行录音 | MP4、AVI、MOV、WAV、MP3 | 批量+实时 | 语音转写文本、分段时间码、画面关键帧、说话人分段 | 转写文本与时间码同存;涉及人员形象与声音的按授权范围使用 |
表 3-1 数据来源:招标文件 3.2.2.2 第 1 条所列六类数据。
受理格式之外,还须把字符编码、色彩与采样规格、随件附件以及单件与单批的体量限值写定,否则核收时无从判断一批资料是该收还是该退。表 3-2 给出这四项的受理口径与超限处置。限值取值按首批次实测调整,调整须经双方书面确认后更新清单,不在核收现场临时放宽。
表 3-2 离线资料的编码、规格、随件要求与体量限值
| 资料类别 | 字符编码与规格要求 | 随件附件与元信息 | 单件与单批体量限值 | 超限或不合规时的处置 |
|---|---|---|---|---|
| 业务域文档 | 文本类统一以 UTF-8 解析;源件为 GB18030、GBK 或 Big5 的按原编码读入后转 UTF-8,转码前后各存一份校验样本;含文本层的 PDF 优先,纯图像 PDF 按扫描件处置 | 随件给出文号、发布部门、生效与废止日期;无元信息的以文件名与目录位置登记并标为待确认 | 单件不超过约定上限(建议 200 MB);单批不超过约定件数上限 | 乱码率超阈值的退回重导出;超限单件拆分后重交;元信息缺失不阻断登记,但不进入问答语料 |
| 图片 | 保留原始分辨率与色彩空间,不在核收环节压缩或转码;优先 24 位色或原始位深 | 随件给出拍摄时点与关联对象标识;缺失的记入待关联 | 单件按原件大小受理;单批按目录件数上限分片 | 分辨率低于可判读阈值的标为低可信并限制用途;关联对象标识缺失的不作为质量结论的唯一依据 |
| 工程图纸 | 原生 DWG/DXF 按原版本受理,解析前登记文件格式版本;扫描件按不低于约定扫描精度受理,低于阈值的标注精度限制 | 随件给出图号清单与图幅;工艺卡随图成对交付的须注明配对方式 | 单批按项目或年份分片,分片件数以单窗口可完成量为准 | 解析器打不开或图元数为零的退回并换路径重取;扫描精度不足的不作为工艺推断的唯一依据 |
| 技术书籍 | PDF 优先含文本层;扫描版按图像处置并标注识别可信度;EPUB 按原编码读入 | 随件给出书名或标准号、版本与年份、版权与使用许可状态 | 单册按原件大小受理;套书按册分件登记 | 许可状态不明的挂起不入目录,登记于待确认清单,不以「带告警通过」放行 |
| 财务票据 | 版式文件(OFD、PDF)按原版式受理,不转图像;影像件保留原始分辨率 | 随件给出票据类型、所属期间与关联业务单号 | 单件小、批量大,按所属期间分批,单批件数设上限 | 票面金额与税额交叉校验不过的不入目录;相对方与个人信息按入口规则处置后方可登记 |
| 音视频 | 保留原始容器与编码,不在核收环节转码;采样率与声道数按原件登记 | 随件给出录制时点、时长、场合与涉及的业务主题;涉及人员形象与声音的须附使用授权 | 单件按约定上限(建议 4 GB);超长录像按自然段落切分并保留切分点 | 无使用授权的挂起不入目录;音轨不可解析的退回并索取原始母带 |
| 随批清单与交付介质 | 清单以 UTF-8 的表格文件交付,字段固定为件名、类别、来源部门、件数、摘要 | 介质交付须附介质标识与交接单;网络交付须附校验摘要 | 单批清单行数与实物件数须一致 | 清单与实物不符的按差异回单,不以实物为准自行调整清单 |
表 3-2 数据来源:招标文件 3.2.2.2 第 1、2 条、3.2.2.1.11 图纸格式要求及 3.2.2.1.13 文档格式要求。
这里须交代一处技术选择的理由。工程图纸一类同时列了原生格式与扫描件,但两者的后续用途不同。原生 DWG 与 DXF 文件中,尺寸标注、图层、线型与视图关系是结构化的图元信息,解析后可直接得到「这是一块多厚的什么牌号的板、轮廓是什么形状、哪里有孔、哪里要压弯」;扫描件则只有像素,同样的信息须靠图像识别推断,精度与可靠性都显著下降。
板材备料工艺智能设计场景的成立依赖前者。因此本项目的取数口径是原生优先,扫描件作为原生文件缺失时的补充,并在资产目录中明确标注来源格式,使下游环节知道这一份图纸的可信度档次。
招标文件要求建立自动分类、关键信息抽取、结构化转换、质量校验及人工复核机制。本小节讲前三项,后两项见第 3.4 节。
自动分类分三层。 第一层判技术形态:真实格式是什么、有无可提取文本层、是否加密、是否损坏。这一层纯机器判定,不需要业务知识。第二层判业务类别:这是制度、合同、检验报告、图纸、票据还是录像。判别依据是版式特征、关键词模式与文档元数据三者结合,而非单一特征——仅靠关键词会把引用了制度条款的会议纪要误判为制度。
第三层判业务主题与知识体系位置:这份资料属于哪个业务域、对应哪一类知识对象、与哪个物理对象相关。第三层的分类体系由本项目的知识本体定义,录入环节只负责按该体系落位,体系本身的构建属知识本体与知识库环节。
分类采用大模型与规则双通道:规则通道处理有明确版式与命名特征的资料,判定确定、可解释、可审计;模型通道处理规则覆盖不到的长尾。两通道结论一致时直接通过,不一致时转人工复核,复核结论回流修订规则。这一设计的用意是把可确定的部分用确定办法处理,把人力集中到真正模糊的部分——分类准确率的提升主要靠规则库随复核结论逐步扩充,而不是靠换更大的模型。本项目承诺分类准确率按季度提高,以首批次的人工抽样复核结果作为基线,并在质量报告中逐期披露。
关键信息抽取按资料类别定义字段集。 抽取不是「把文档里的实体都找出来」,而是按下游用途定义必取字段。表 3-3 给出各类资料的必取字段与抽取方式。必取字段抽不出来或置信度低于阈值的,该件转人工复核,不以空值入目录。
表 3-3 各类资料的关键信息抽取字段集
| 资料类别 | 必取字段 | 抽取方式 | 低置信度处置 |
|---|---|---|---|
| 管理制度 | 制度名称、制度类别(按甲方十一类口径)、文号、发布部门、生效日期、废止日期、版本号、章条结构 | 版面还原后按标题层级与正文模式抽取,文号与日期按规则匹配 | 转人工复核;生效日期缺失的不入问答语料 |
| 合同文档 | 合同名称、合同类别(按甲方九类口径)、合同号、相对方、签订日期、生效与到期日期、金额、关键条款段落边界 | 版面还原+条款模式识别;金额与日期按规则校验 | 转人工复核;相对方与金额不入可公开语料 |
| 检验与质量报告 | 报告编号、被检对象标识、检验项目、实测值、判定结论、检验日期、检验人岗位 | 表格栏目抽取;被检对象标识按编码规则校验 | 转人工复核;被检对象标识抽不出的记入待关联 |
| 工程图纸(原生) | 图号、材料牌号、板厚、外形轮廓、孔与方孔、坡口与倒角、压弯线、粗糙度符号、视图投影关系 | 图元与标注解析;符号按符号库比对 | 转人工复核;符号库未覆盖的符号登记为新增待确认 |
| 工程图纸(扫描件) | 图号、图框信息、标题栏字段、可识别的尺寸与标注 | 图像识别+图框定位;标注识别结果一律标注为低可信 | 一律进人工抽样复核;不作为工艺推断的唯一依据 |
| 技术书籍与标准 | 书名或标准号、版本与年份、章节结构、术语条目、公式与图表题注、版权状态 | 版面还原+目录结构抽取 | 转人工复核;版权状态不明的挂起不入目录 |
| 财务票据 | 票据类型、票号、开票日期、相对方、金额、税额、关联业务单号 | 票面栏目定位+栏目字段抽取;金额与税额交叉校验 | 转人工复核;交叉校验不过的不入目录 |
| 音视频 | 录制时点、时长、说话人分段、转写文本、分段时间码、涉及的业务主题 | 语音转写+分段;主题按转写文本分类 | 转写置信度低的分段标注为低可信并保留原音轨 |
表 3-3 数据来源:招标文件 3.2.2.2 第 2 条、3.2.2.1.13 制度与合同分类口径及板材备料场景对图纸解析的要求。
抽取字段到目标结构的映射逐类登记。 抽取得到的字段名来自原件,入目录的字段名来自本项目的统一资产结构,两者之间的对应关系以「映射表」逐类资料登记:每一条映射写明来源字段(含其在原件中的定位方式)、目标字段、值域转换规则(单位、日期格式、码值对照)、必填与否,以及映射失败时的处置。映射表按版本管理,版本号随资产记录一并留存,使任一条资产都能说清它是按哪一版映射规则生成的;映射规则变更后,受影响的资产可从原件按新版本重新派生。映射落空分三种处置:来源字段确实不存在的,目标字段置为「源端无此项」并记明,不以空值冒充未抽到;抽取失败的转人工复核;值域转换不成功的(如日期无法解析、码值不在对照表内)整件挂起,待对照表补齐后重跑。
结构化转换的产出是一份统一的资产记录。 无论来源是文档、图纸还是录像,入目录的资产记录都遵循同一结构:资产标识、来源批次与原文件路径、真实格式、业务类别、业务主题位置、抽取字段集、正文或转写文本、版式锚点、可信度档次、权限标签、许可状态、版本链、血缘指向。统一结构的作用是让下游环节不必按来源形态分别处理,也让资产目录可以按任一字段检索与统计。原文件一律留存,结构化记录指向原文件,不替代原文件。
质量校验在机器侧完成六项检查:可读性(文件能否正常打开、内容能否提取)、完整性(必取字段是否齐备、页数与清单是否一致)、抽取置信度(各字段的置信度是否达阈值)、与来源一致性(内容摘要与登记是否一致、是否存在截断)、重复与近重复(按内容摘要判完全重复,按文本或图元相似度判近重复)、敏感内容命中(是否含个人信息、企业秘密或受限内容)。六项检查的结论汇总为该件的校验结论,分通过、带告警通过、转复核、挂起四档。其中带告警通过仅限资产目录内部的受控流转,该件可被检索与引用为线索,但在告警项闭合之前不进入对外交付的数据集;敏感内容命中与许可状态不明两类不适用带告警通过,一律转复核或挂起,挂起件移入隔离区单独存放,不与通过件混放。
人工复核不是全量复核,而是按三条规则触发:低置信度触发(任一必取字段置信度低于阈值)、敏感命中触发(命中敏感内容规则)、抽样触发(按类别对通过件按比例抽样)。抽样比例按类别与可信度档次差异化设定,初期从高比例起,随改判率下降逐步调低——抽样比例的调整须有数据依据,改判率不下降则比例不降。
挂起件不与通过件混放。校验或复核判为挂起的资料移入隔离区:隔离区是录入流水线内一块独立的存储区,与资产目录物理分离,其中的件不被检索、不被引用、不参与任何下游取数;每一件附一张挂起单,写明挂起原因、责任归属、拟采取的处置与再次判定的条件。隔离区的出口只有两个——处置完成后重新走一遍完整校验并经复核放行,或判定为不可用后登记于缺口清单并保留原件。隔离件在隔离区的停留时长按周统计并随质量报告披露,长期未处置的逐件回单。凡经隔离区放行的件,其挂起与放行记录随资产记录永久留存。
复核结论须留痕三项:原机器判定、人工改判结果、改判理由。改判理由是规则库与抽取逻辑的改进输入,这一回流是录入质量随时间提高的主要机制。表 3-4 给出复核机制的岗位分工与通过条件。本表所列岗位为项目组内部的角色划分,不涉及具体人员。
表 3-4 人工复核的触发条件、分工与通过条件
| 复核环节 | 触发条件 | 复核内容 | 通过条件 | 不通过时的处置 |
|---|---|---|---|---|
| 分类复核 | 规则通道与模型通道结论不一致,或业务主题判定置信度低于阈值 | 业务类别与业务主题位置是否正确 | 两名复核角色独立判定一致 | 不一致时提交业务口裁定;裁定结论入规则库 |
| 字段复核 | 任一必取字段置信度低于阈值,或交叉校验不过 | 抽取字段与原件是否一致 | 逐字段与原件比对无误 | 原件本身不清晰的,标注为不可用字段并记入缺口清单 |
| 图纸解析复核 | 扫描件一律进抽样复核;原生图纸按比例抽样 | 材料牌号、板厚、轮廓、孔、坡口、压弯线等关键要素是否正确 | 关键要素与原图一致;符号判读经工艺口确认 | 解析错误的回流修订符号库与解析规则;原件不可判读的转人工录入 |
| 敏感内容复核 | 命中敏感内容规则 | 敏感等级判定与脱敏处置是否恰当 | 处置符合授权范围与脱敏规则集 | 授权范围不明的挂起,待甲方确认后处理 |
| 许可复核 | 外部资料、技术书籍、受限资料 | 版权与使用许可状态 | 许可凭证齐备且用途在许可范围内 | 许可不明的不入目录,登记于待确认清单 |
| 抽样复核 | 按类别与可信度档次的抽样比例 | 整件质量综合判定 | 该批次改判率低于阈值 | 改判率超阈值的,整批退回重新解析 |
表 3-4 数据来源:招标文件 3.2.2.2 第 2 条「质量校验及人工复核机制」。
招标文件第 3 条要求按业务主题与知识体系进行数据聚类、去噪清洗、格式统一与版本管理。四项分述。
聚类按业务主题与知识体系两个维度并行。 业务主题维度按供需计划、产品工艺设计、制造过程、产品质量四个业务域及通用语料划分,这一维度与四大数据集的域划分一致,使录入资产可以直接归集到对应子集。知识体系维度按知识对象类型划分——制度条款、技术标准条目、工艺规则、设备知识、故障知识、术语定义等,这一维度服务于知识库构建与问答场景的检索。同一份资产在两个维度上各有位置,互不替代。聚类结果可被人工调整,调整留痕并回流修订聚类规则。
去噪清洗针对离线资料的典型噪声,分四类处置。 版面噪声:页眉页脚、水印、装订线、页码在正文中反复出现,按版面位置与重复模式识别并剥离,剥离前的原文保留。识别噪声:扫描件的识别错误,按词表与上下文校正,校正处标注为已校正并保留原识别结果。
重复噪声:完全重复的文件合并为一条资产并记录多条来源,近重复的分别保留并建立相似关系——历史图纸中七八成属可借用可对照的既有零件,近重复大量存在,若按相似度合并会丢失零件之间的实际差异,而这些差异正是工艺借用判断所依据的。断续噪声:音视频转写中的断句错误与语气词,按分段边界与停顿校正,原音轨保留。
格式统一的原则是统一派生格式、保留原始格式。 文本类统一转为带结构标记的规范化文本,表格统一转为行列化结构,图纸的解析结果统一转为图元与标注的结构化表示,音视频的转写统一转为带时间码的文本。统一的是派生物,原始文件一律按原格式留存。这样做的理由是:派生格式的规范随项目推进会调整,调整后可从原始文件重新派生;若只留派生物,一次规范变更就意味着一次不可逆的信息损失。
版本管理按资产标识建版本链。 同一份资料的不同版本(制度修订、图纸升版、合同补充协议)在同一资产标识下串为版本链,每一版记录版本号、生效区间、变更来源与前一版指向。版本链的作用在通用场景中尤为关键:回答「现行制度怎么规定」时取当前有效版,回答「这份两年前的合同按当时制度合规吗」时取当时有效版。两类问题都成立,才算真正可用。版本链同时承载血缘:派生资产指向其原始文件版本,使任一结论可追溯到具体的那一版原件。
表 3-5 给出资产目录的字段设计,这是录入环节的主要交付物之一,也是招标文件所要求的「规范化、标准化的离线电子化数据资产目录」。
表 3-5 离线电子化数据资产目录字段设计
| 分组 | 字段 | 说明 |
|---|---|---|
| 标识 | 资产标识、版本号、生效区间 | 资产标识跨版本稳定;版本号与生效区间构成版本链 |
| 来源 | 来源批次号、交付方式(批量/实时)、原文件路径、真实格式、内容摘要、核收时点 | 可回溯到具体原件;摘要用于识别内容变更 |
| 分类 | 技术形态、业务类别、业务域、知识对象类型、业务主题位置 | 业务主题与知识体系两维并行 |
| 内容 | 抽取字段集、规范化正文或转写文本、版式锚点、关键帧或图元结构 | 版式锚点供问答场景定位依据 |
| 质量 | 可信度档次、校验结论、告警项、复核记录、改判理由 | 可信度档次随来源格式与复核结论确定 |
| 合规 | 敏感等级、脱敏处置记录、权限标签、许可状态与凭证编号、使用限制 | 许可不明的不入目录 |
| 关系 | 版本链指向、血缘指向、相似关系、关联业务对象标识 | 关联业务对象标识是与第 2 节数据对齐的接口 |
| 统计 | 件数、字节数、模态标记、资料时点 | 模态标记与资料时点供模态占比与时效性占比统计 |
表 3-5 数据来源:招标文件 3.2.2.2 第 2、3 条、数据集模态与时效性指标口径、可信性溯源要求。
录入流水线的验收不以「跑通了」为判据,而以一组可重复执行的用例为判据。用例按资料类别与异常形态设计,每一条写明输入、预期结果与判定方式;用例随首批次试运行执行一轮,形成基线,此后每季度回归一轮,结果随质量报告提交。用例所用的资料一律取自真实批次,不另行构造样本——构造样本验不出历史资料的实际毛病。
表 3-6 给出验收用例集。用例不通过的,相应功能不进入常态运行;已在常态运行中发现的缺陷按隔离区口径处置,并在最终交付前逐条闭合,闭合记录随质量报告提交。
表 3-6 录入环节验收用例集
| 用例 | 输入 | 预期结果 | 判定方式 |
|---|---|---|---|
| 真实格式识别 | 一组被改名的文件:扩展名为 `.pdf` 而实为图像包、实为 DWG,以及扩展名为 `.doc` 而实为 RTF | 一律按文件签名判定真实格式并送对应解析器,不按扩展名分流 | 逐件比对判定结果与人工确认的真实格式 |
| 多编码文本解析 | 同一份制度分别以 UTF-8、GB18030、GBK 导出的三个副本 | 三者解析出的正文一致,乱码率为零;资产记录中登记各自的源编码 | 三份正文逐字符比对;源编码字段核对 |
| 扫描件与原生件分流 | 同一张图纸的原生 DWG 与其扫描 PDF | 分别登记为两条来源格式不同的资产,可信度档次不同;扫描件不作为工艺推断的唯一依据 | 核对资产记录的来源格式与可信度档次字段 |
| 必取字段缺失 | 一份无文号、无生效日期的制度扫描件 | 该件转人工复核,不以空值入目录;复核后仍无法确定的标为不可用字段并记入缺口清单 | 核对复核记录与缺口清单 |
| 映射值域不合规 | 一张检验报告,其判定结论取值不在对照表内 | 整件挂起并移入隔离区,待对照表补齐后重跑,不以就近取值入目录 | 核对隔离区记录与重跑后的资产记录 |
| 重复与近重复 | 一批含完全重复件与相似图纸的资料 | 完全重复合并为一条资产并记多来源;近重复分别保留并建立相似关系,不自动合并 | 核对资产件数、来源记录与相似关系 |
| 敏感内容命中 | 一份含个人身份信息与未公开商务条款的合同 | 命中敏感规则即转复核,不适用带告警通过;脱敏处置后方可入目录 | 核对复核记录与脱敏处置记录 |
| 许可状态不明 | 一册来源不明的外部技术书籍 | 挂起不入目录,登记于待确认清单;许可凭证到位后方可放行 | 核对待确认清单与许可凭证编号 |
| 超限单件 | 一件超出约定单件上限的录像 | 按约定切分后受理,切分点保留并可还原;不以截断方式受理 | 核对切分记录与还原后的时长 |
| 清单与实物不符 | 一批随批清单件数与实物件数不一致的资料 | 按差异回单,不自行调整清单;差异解决前该批不进入解析 | 核对回单记录与批次状态 |
| 版本链可用性 | 同一制度的现行版与两年前的历史版 | 按「现行怎么规定」取现行版,按「当时是否合规」取当时有效版,两类问题均可答 | 按两类问题各取一次,核对返回的版本号与生效区间 |
| 血缘可追溯 | 任取一条已入目录的派生资产 | 可追溯到具体原件及其版本,并可据原件重新派生出同一结果 | 按血缘指向取原件,重跑派生并比对结果 |
表 3-6 数据来源:招标文件 3.2.2.2 第 1–3 条、可信性溯源要求及评分表「方案可实施性」要求。
录入环节产出的资产目录不是终点,而是数据加工生产主线的输入之一。衔接口径有三条。
其一,按模态与时点统计。资产目录中的模态标记与资料时点两个字段,直接支撑「数据集涵盖超过 3 种模态、多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%」三项指标的统计。统计口径在资产目录层面定义一次,各子集按同一口径取数,避免各算一套。
其二,按可信度档次分流。可信度档次高的资产可直接进入标注与样本构建;档次低的(如扫描件解析结果)须先经人工复核或作为辅助证据使用,不作为唯一依据。这一分流规则在资产目录中以字段固化,下游环节按字段取数而非按经验判断。
其三,按许可状态门控。许可不明或使用受限的资产不进入商用用途的数据集,这一限制由资产目录的许可状态字段实现门控。招标文件要求核查项目建设过程中是否包含不可用于商业用途的建设内容、承诺数据集来源的合法性,许可状态字段是这项承诺在数据侧的落脚点。
前三节所涉的采集通道部署形态与数据落区的存储承接方案汇总如下,与采购清单第 1 项「数据资源建设服务」的交付内容对应。
十七个源系统分布在企业内网的不同网段,形态包括业务系统数据库、应用服务、文件服务与工业侧的组态系统与时序库。工业侧与管理侧通常处于不同的安全域,网络策略也不同。据此采集能力按两区部署。
采集区紧邻源系统部署,承担取数动作本身:建立只读连接、执行分片查询、下载文件、订阅时序点位、执行入口治理闸的脱敏与校验。采集区不长期存放业务数据,仅保留在途缓冲与断点续传所需的临时数据,缓冲数据在批次完成并校验通过后清理。这样安排有两个用意:一是把与源系统的交互限制在最小的网络面上,源系统侧只需对采集区开放访问,不必对整个加工环境开放;二是脱敏在采集区完成,加工区从一开始就拿不到未脱敏的原值,合规边界靠部署结构保证而非靠流程约束。
工业侧设备数据的采集另在工业网段设采集代理,由代理向上汇聚到采集区。代理只做取数与缓冲,不做计算与写回。热处理群控、数据采集与监控、能源管理三类系统的时序数据按此路径接入。
加工区承载三层落区中的贴源层与标准化层,以及资产目录与登记台账。加工区与采集区之间按单向数据流通,加工区不直连源系统。
图 4-1 给出部署形态与数据流向。
4-1 采集通道部署形态与跨区数据流向
图 4-1 数据来源:招标文件 3.2.2.1 各系统集成要求、3.2.2.2 离线数据接入要求、3.2.2.1.17 单向集成要求。
本项目的数据形态跨度很大:关系型业务记录、秒级时序点位、数十万件图纸与文档、图像与音视频。用一种存储装下所有形态在技术上可以实现,代价是每一类数据都用得不顺——时序数据存在关系库里查询慢,文档存在关系库里占空间且检索差。因此按形态分配存储,由统一的元数据层把它们串起来。
表 4-1 给出各形态的存储选型与分区策略。选型一律取国产化产品,与招标文件「数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件设备整体国产化比率不低于 80%」的要求一致;具体产品型号在系统集成与硬件选型中给出,此处只给形态与容量口径。
表 4-1 各数据形态的存储承接与分区策略
| 数据形态 | 来源 | 存储形态 | 分区与组织策略 | 保留策略 |
|---|---|---|---|---|
| 结构化业务记录(贴源) | 十二套业务系统的库直连与接口取数 | 对象存储上的列式文件 | 按源系统/表/采集日期三级分区;每批次一组文件,文件名含批次号 | 长期保留,作为可回溯的原始证据 |
| 结构化业务记录(标准化) | 贴源层加工产出 | 国产关系型数据库 | 按业务对象分表;大表按时间分区;主键映射表单独组织 | 长期保留;版本按生效区间留存 |
| 时序点位数据 | SCADA、热处理群控、EMS、SOS | 时序数据库 | 按测点分组、按时间分片;原始采样周期不变更 | 原始精度长期保留;聚合值按需派生 |
| 文档与图纸原件 | PLM、OA、QMS 附件、离线批次 | 对象存储 | 按资料类别/来源批次/资产标识组织;版本各占一个对象 | 原件长期保留,不覆盖不删改 |
| 图像与音视频原件 | QMS 交检拍照、现场影像、录像 | 对象存储(大对象) | 按业务对象与时点组织;大文件分块 | 原件长期保留;派生的转写与关键帧另存 |
| 解析派生物 | 录入流水线产出 | 对象存储(文本与结构化派生)+关系库(抽取字段集) | 与原件按资产标识关联;派生规范版本号随派生物记录 | 可按规范变更重新派生,派生物可重建 |
| 元数据 | 登记台账、采集记录、资产目录 | 国产关系型数据库+检索索引 | 台账按源系统组织;采集记录按批次组织;资产目录建全文与字段双索引 | 长期保留,作为审计与验收依据 |
表 4-1 数据来源:招标文件 3.2.2.1 各系统数据形态、3.2.2.2 多格式多模态要求、国产化比率要求。
容量估算在此给出口径与方法,不给确定数值——确定数值取决于源系统的实际数据量,须在勘察阶段测定。给出口径的用意是让估算过程可核验,而不是报一个无从验证的总数。
结构化数据按「表行数 × 平均行宽 × 保留份数」估算。表行数在勘察阶段由源系统侧提供或由我方只读查询计数;平均行宽按字段类型与长度推算;保留份数计贴源层与标准化层两份,另计列式压缩系数。增量部分按日均新增行数 × 项目周期估算。
时序数据按「测点数 × 采样频率 × 保留时长 × 单点字节数」估算。本项目时序数据的采样周期通常为秒级,测点数随感知设备建设分批扩展,因此时序容量按首期测点清单估算基线,扩展部分按扩展清单逐期追加。时序存储的压缩比对总量影响显著,估算时按时序数据库的实测压缩比取值,不按理论值。
文档与图纸按「件数 × 平均件大小 × (1 + 派生物系数)」估算。历史图纸约六十三万张是本项目最大的一宗文件体量,派生物系数按解析产出的结构化表示与缩略图推算。
吞吐约束来自两处:源系统可承受的查询压力,以及低峰窗口的时长。低峰窗口为五小时,窗口内可完成的数据量决定了历史初始化须分多少批。因此历史回溯的总周期由「总量 ÷ 单窗口可完成量」决定,这一算式是第 5 节里程碑排期的直接依据。单窗口可完成量在试采阶段实测,不按理论带宽推算。
表 4-2 给出容量与吞吐估算的输入项清单,这些输入项须在勘察阶段逐项取得。
表 4-2 容量与吞吐估算的输入项清单
| 估算对象 | 须取得的输入项 | 取得方式 | 用途 |
|---|---|---|---|
| 结构化容量 | 各表行数、平均行宽、日均新增行数、字段类型分布 | 只读计数与字典核验 | 贴源层与标准化层容量 |
| 时序容量 | 首期测点数、各测点采样周期与量纲、历史数据起始时点、实测压缩比 | 位号清单+试采实测 | 时序库容量与分片策略 |
| 文件容量 | 各类资料件数、平均件大小、原生与扫描件比例 | 文件清单扫描 | 对象存储容量与并发下载策略 |
| 派生物容量 | 各类解析产出的平均大小、派生规范版本数 | 试解析实测 | 派生物存储与重建成本 |
| 元数据容量 | 取数对象数、日均批次数、资产件数 | 台账与清单统计 | 关系库与索引容量 |
| 单窗口吞吐 | 低峰窗口时长、源系统可承受并发与单次返回量、实测取数速率 | 试采实测 | 历史初始化的分批数与总周期 |
表 4-2 数据来源:招标文件各系统低峰时段条款(等)、第 1 节事实口径(63 万张历史工艺样本)。
采集接入最容易引起源系统侧抵触的是性能影响。本项目对此给出四条可核验的承诺。
第一,窗口外不跑批量作业。批量取数、历史回溯、文件批量下载一律在约定低峰窗口内执行;窗口结束未完成的作业优雅中止并保留断点,次日窗口续跑,不延长占用业务时段。
第二,并发与单次返回量受限。每一个源系统的并发连接数、单次查询返回行数、接口调用速率、并发下载数,均按源系统侧给定的上限配置在登记台账中,作业按台账执行,不临时提高。未给定上限时,按保守值起步并在试采阶段逐步上调,上调须经源系统侧确认。
第三,只读副本优先。具备只读副本或备库条件的系统,取数一律走副本,不压主库。这一条对企业资源计划、制造执行、仓储管理三套事务量较大的系统尤为必要。
第四,异常时自动降级。收到限流响应、查询超时或源系统负载告警时,作业自动降低并发与分片大小后重试;连续两日发生则调低该系统的频次并书面通知,不靠人工盯守。
这四条写进方案即构成我方须应答的条款,相应的监控指标(各系统的作业时长、并发峰值、查询耗时分布、重试次数)随采集作业日报提交,供招标方核验。
采集接入在技术上与四类对象发生交接:源系统、承载采集组件的基础设施、数据落区、消费采集结果的下游组件。交接界面以交接物与判据的形式固定在登记台账与采集记录中,不以口头约定为准。
与源系统的交接。 交接物是只读结果集、接口响应、文件与附件、测点时序四类取数结果;判据是登记台账中为该系统登记的授权范围、增量键、频次与窗口,台账以外的对象不取。源系统侧的结构变更、停机与迁移按表 2-2 源系统变更类处置,变更经双方确认并更新字典版本与作业配置后方可恢复取数。
与承载基础设施的交接。 采集区连接器、工业网段采集代理与入口治理闸运行在通用服务器与接入连接器上,加密与脱敏调用服务密码机提供的密码服务;这些承载组件、网络策略与密码服务由系统集成交付,采集作业在其交付并通过连通性测试后启动。
与数据落区的交接。 交接物是原始数据批次及其采集记录,记录内容为批次号、来源系统、采集时点、数据范围、行数或件数、校验结论与门控状态。贴源层按源系统原样留存并附采集元数据,标准化层产出按业务对象组织的规范化记录;两层均以批次为写入单位,批次未完成不对下游可见。
与下游组件的交接。 预处理与清洗作业按门控结论入场:通过的批次直接入场;带告警通过的批次连同告警项一并入场,告警项闭合前只在加工区内受控流转,不进入交付数据集、不作场景验证输入;不通过的批次不移交,挂起于隔离区。数据治理组件接收数据源登记台账、脱敏规则集、数据字典核验差异项与质量线索;跨系统主键映射所需的关联字段随业务数据一并采回并标注用途,映射关系本身在数据治理与预处理环节构建(见第 2.1.7 节)。数据集构建与数据卡统计按资产目录与采集记录中的模态标记、资料时点、来源与地理区域字段取数,模态占比与时效性占比两项指标的统计口径在这两处定义一次,各子集按同一口径取数。
与感知设备的交接。 时序取数以已到位的测点为准;新增测点在设备到位后纳入登记台账并开始取数,位号、量纲、采样周期与物理设备对应关系随测点台账一并登记。
图 4-2 给出上述交接界面与各界面上的交接物。
4-2 源系统、采集组件、数据落区与下游组件之间的技术交接
图 4-2 源系统、采集组件、数据落区与下游组件之间的技术交接。数据来源:原始数据批次与采集记录依招标文件相应条款;门控结论口径依相应条款;承载组件与密码服务范围依相应条款;三项占比指标依相应条款;数据卡来源与采集方法字段依相应条款。
时间以项目启动为基点按月表示,具体日期在项目实施计划中与总体进度对齐。
阶段划分的依据不是工作量,而是前置条件的到位节奏。采集接入的每一步都依赖上一步的外部输入:没有勘察结论就无法提交权限申请,没有授权就无法试采,没有试采实测就无法确定历史初始化的分批数。因此阶段之间是串行的依赖关系,压缩任一阶段都会把风险推给下一阶段。
第一阶段:勘察与授权(T+1 至 T+2 月)。 对十七个源系统逐系统勘察,确认版本、部署位置、数据库类型、接口形态、文件服务形态、可用的增量机制与实际数据量;接收数据字典并完成核验;提交按表、按接口、按目录的最小权限申请;确认各系统低峰窗口。本阶段的输出是十七份源系统勘察结论表与一份完整的数据源登记台账初版。安全监管平台因招标文件未列字段清单,列为勘察优先项。
第二阶段:试采与通道建设(T+2 至 T+4 月)。 按五类通道分别建设采集作业,每一个源系统先做小范围试采:取一个代表性时间窗或一个代表性目录,比对行数与关键字段,实测取数速率与源系统压力,测定时间源偏差,验证入口治理闸的脱敏与校验规则。试采结论签认后冻结该系统的取数范围与作业配置。本阶段并行开展录入流水线的首批次试运行,以一批代表性离线资料验证解析器与分类规则。
第三阶段:历史初始化(T+3 至 T+9 月)。 按试采实测的单窗口可完成量分批执行历史数据回溯。各系统并行推进,但同一低峰窗口内对同一源系统只排一个重作业。历史图纸的六十三万张规模是本阶段的主要工作量,按项目或年份分片,分片进度按月核对。本阶段与第二阶段有重叠:已签认试采结论的系统即可开始初始化,不必等全部十七个系统试采完成。
第四阶段:常态运行与范围扩展(T+5 月起至项目结束)。 常态增量作业按日运行,采集作业日报按日提交,月度校验比对按月执行。范围扩展随感知设备建设分批进行:新增测点到位后纳入台账并开始取数;新接入该主数据平台的源系统纳入映射范围;新增资料类别纳入录入流水线。
表 5-1 给出各阶段的交付物与完成判定。
表 5-1 四个阶段的交付物与完成判定
| 阶段 | 时段 | 主要交付物 | 完成判定 | 依赖的外部输入 |
|---|---|---|---|---|
| 勘察与授权 | T+1 至 T+2 | 十七份源系统勘察结论表、数据字典核验报告、最小权限申请清单、采集作业日历、登记台账初版 | 十七个系统的勘察结论表均经双方签认;低峰窗口全部确认 | 各系统技术联络窗口、数据字典、低峰时段(各条) |
| 试采与通道建设 | T+2 至 T+4 | 五类通道的采集作业、十七份试采比对报告、入口治理闸规则集、录入流水线首批次试运行报告 | 各系统试采比对报告签认并冻结取数范围;脱敏规则集经合规确认 | 只读账号与接口授权、文件服务只读目录 |
| 历史初始化 | T+3 至 T+9 | 各系统历史数据批次与采集记录、历史图纸归集分片进度表、首批离线资料资产目录 | 各系统历史数据按登记范围完成归集,差异率收敛至约定阈值内;图纸归集数逐步接近清单总数 | 图纸批量读取方式的确认、资料批次交付 |
| 常态运行与扩展 | T+5 起 | 采集作业日报、月度校验比对报告、季度质量报告、台账与资产目录的持续更新 | 日报连续提交;月度差异率与缺口清单按期披露;扩展清单按期纳入 | 感知设备到位时点、源系统变更通知 |
表 5-1 数据来源:招标文件 3.2.2.1 总则、各系统「须提供」条款、3.2.2.2 录入要求。
5-1 四个阶段的时段、串行依赖与重叠区间
图 5-1 四个阶段的时段、串行依赖与重叠区间。数据来源:阶段时段与工作内容依第 5.1 节与表 5-1;前置条件责任归属依招标文件各系统「须提供」条款;安全监管平台字段清单缺失依招标文件相应条款;历史图纸规模依甲方需求说明书六十三万张口径。
采集接入这类工作的验收容易落到两个极端:或者只看「接通了没有」,接通即算完成;或者提出「全量、无缺失」这样无法核验的指标。两者都不利于项目。验收口径按四类指标设计,每一项都给出度量方法、基线取法与不达标时的处置。
第一类,覆盖类指标。 度量的是该取的是否都在取。具体指标:十七个源系统的接入完成数;各系统已授权取数对象数与登记清单的一致性;时序测点的覆盖数与位号清单的一致性;离线资料的归集件数与交付清单的一致性。这类指标是计数比对,度量方法确定,可直接核验。
第二类,完整性类指标。 度量的是取回来的是否完整。具体指标:各表的行数与源端计数的差异率;时序测点的数据缺口时长占比;文件下载的成功率与缺口清单。这类指标的目标值不写为零——源系统本身的数据缺失、设备停机期间的时序空档、原件已损坏的文件,都不是采集能解决的。因此口径是:以首月试采与初始化结论作为基线,按季度收敛差异率,并在每一份采集记录中如实披露已知缺口的范围。逐步接近已授权范围内的全量是目标,不是承诺当期即达成。
第三类,可用性类指标。 度量的是取回来的数据能不能用于下游。具体指标:关键字段的填写完整度;被检对象标识可关联比例;焊接参数可定位到工单与焊道的比例;图纸与工艺卡可配对比例;运单与采购订单可关联比例。这一类最贴近项目实际价值,也最受源系统数据质量的制约。口径同第二类:以首批抽样核对结果作为基线,按季度提高,每期披露实际值。达不到目标值时,须说明是源系统数据本身的缺口还是我方的处理不足,前者转入缺口清单并提出补录建议,后者由我方整改。
第四类,合规类指标。 度量的是取数过程是否守规。具体指标:脱敏规则覆盖的敏感字段数与识别出的敏感字段数是否一致;超范围取数事件数;许可状态不明而被挂起的资产件数与处置时长;审计留痕的完整性。合规类指标中,超范围取数事件的目标值为零,这一项可以写成零——因为它由权限配置与台账约束在技术上保证,不依赖概率。
表 5-2 把四类指标按项列出,含度量方法、基线取法与不达标处置。
表 5-2 采集接入的验收指标、度量方法与不达标处置
| 类别 | 指标 | 度量方法 | 基线与目标取法 | 不达标处置 |
|---|---|---|---|---|
| 覆盖 | 源系统接入完成数 | 已签认试采结论并进入常态运行的系统计数 | 目标为十七个系统全部接入;受前置条件制约的系统按分档策略计入「已完成可完成部分」 | 未接入的逐系统说明受阻环节并提交推动请求 |
| 覆盖 | 取数对象覆盖率 | 实际取数对象数 ÷ 登记清单对象数 | 以登记台账为分母;台账变更须双方确认 | 差额逐项说明原因,属授权未到位的转入第 6 节清单 |
| 覆盖 | 时序测点覆盖率 | 实际取数测点数 ÷ 位号清单数 | 分母按首期位号清单;扩展部分另立分母 | 同上 |
| 覆盖 | 离线资料归集率 | 归集件数 ÷ 交付清单件数 | 分母为双方签认的交付清单 | 差额按件回单,不以实物为准改清单 |
| 完整性 | 行数差异率 | (源端计数 − 已入库计数)÷ 源端计数,按表按月统计 | 首月实测为基线,按季度收敛至约定阈值 | 对差异时间窗定向重取;重取后仍不一致的披露缺口范围 |
| 完整性 | 时序缺口时长占比 | 缺口时长 ÷ 应采时长,按测点按月统计 | 首月实测为基线,按季度收敛 | 定向补采;补采不到的按测点与时间窗登记 |
| 完整性 | 文件下载成功率 | 成功件数 ÷ 清单件数 | 首批实测为基线 | 失败件按原因分类回单;原件损坏的转缺口清单 |
| 可用性 | 关键字段完整度 | 非空且合规取值的行数 ÷ 总行数,按字段统计 | 首月实测为基线,按季度提高 | 源系统侧缺口提出补录建议;我方处理问题即整改 |
| 可用性 | 对象可关联比例 | 可映射到主标识的记录数 ÷ 总记录数,按对象类型统计 | 首批抽样核对为基线,按季度提高 | 映射规则迭代;线索不足的提出字段补充请求 |
| 可用性 | 图卡可配对比例 | 可配对的图纸数 ÷ 已归集图纸数 | 首批抽样经工艺口核对为基线,按季度提高 | 配对规则迭代;命名规则缺失的请求规则说明 |
| 合规 | 敏感字段识别一致性 | 脱敏规则覆盖字段数 ÷ 识别出的敏感字段数 | 目标为一致;新识别出的字段须在下一批次前纳入规则 | 未覆盖字段立即补规则并对已入库数据回溯处置 |
| 合规 | 超范围取数事件数 | 审计日志中超出台账范围的取数记录计数 | 目标为零(由权限与台账在技术上约束) | 发生即停止该作业、出事件报告并整改配置 |
| 合规 | 审计留痕完整性 | 有完整留痕的作业批次数 ÷ 总批次数 | 目标为一致 | 缺失留痕的批次重跑或补记,并修订留痕逻辑 |
表 5-2 数据来源:招标文件评分表「方案可实施性」要求、3.2.6.3.1 采集环节门控要求、质量评测可信性与溯源要求、安全合规要求。
采集接入在项目期内是一项持续运行的工作,不是一次性交付。例行输出按三个周期组织,这既是我方的工作纪律,也是招标方可以据以检查的凭据。
按日:采集作业日报。 内容包括当日各系统的作业执行情况(成功、失败、挂起)、取回行数与文件数、作业时长与窗口占用情况、异常处置单的新增与关闭、当日已知缺口的新增。日报篇幅短,重点在异常与缺口,不罗列正常项的明细。
按月:校验比对报告。 内容包括各表的行数与关键字段汇总的核对结果、差异率、差异的定向重取结论;各时序测点的缺口统计;文件清单的比对结果;台账变更记录;本月新增与关闭的异常处置单汇总。月报是完整性类指标的度量依据。
按季:质量与进度报告。 内容包括四类验收指标的实际值与基线对比、未达目标项的原因分析与整改安排、缺口清单的更新、下一季的范围扩展计划、前置条件待办事项的进展。季报是验收评审的依据。
三类报告的模板随本项目的治理文档体系一并交付,模板样式与字段在数据治理章与附件章给出。
各源系统的数据库连接信息、接口信息或文件传输信息,业务低峰时段,数据字典或数据库设计说明书,这三类材料是采集接入工作的前置条件。
招标文件把这三类条款写在「对该系统的要求」之下,提供方是源系统侧。十七个源系统均为既有建成系统,其接口开放、字典交付与联调配合需要招标方出面协调;若部分系统的接口开发或配合工作由其原建设方承担,相应的配合范围与责任归属须在合同签订阶段明确,以免实施期出现无人对接的环节。据此按「前置条件不齐备时也要能往前走」的原则设计分档接入策略,使项目不因个别系统的授权节奏而整体停滞。
甲档:授权与字典齐备。 走完整通道,按第 2.1 节与第 2 节的方案执行:建立只读连接或接口授权,按登记的增量键取增量,绑定字典版本运行,按约定频次与窗口执行作业。甲档是常态目标,十七个系统均以进入甲档为目标。
乙档:授权已开通、字典缺失。 这是本项目很可能的多数情形——招标文件仅为三个系统明确写明字典条款,其余十四个系统的字典须另行请求。乙档的做法是:按实际库结构或接口响应反向推导字段清单与类型,形成「推导字典」并提交源系统侧核对;核对未回之前,推导字典以我方版本号运行,枚举字段按实际取值分布登记而非按声明码值校验;校验口径相应放宽——结构类校验仍执行,码值类校验降为告警而不拦截。乙档的风险是字段语义理解偏差,缓解办法是在试采比对时增加业务口抽样核对,由业务人员确认关键字段的实际含义。
丙档:授权暂未开通。 做法是请甲方按代表性范围导出样例数据或文件,我方据此完成解析、建模与规则开发,使授权到位后可直接切换为常态接入,不必从零开始。样例数据的范围要求写明:结构化部分按每张表若干行并覆盖主要枚举取值,时序部分按若干测点若干小时,文件部分按每类若干件并含典型异常样本(扫描件、倾斜件、无文本层件)。丙档期间不产生正式采集批次,产出的是通道设计与规则资产。
档位切换的触发与时效。 乙档在收到正式字典后七个工作日内完成与推导字典的比对并切换甲档;丙档在授权开通后十个工作日内完成试采并切换乙档或甲档。切换记录与档位历史在登记台账中留存,验收时按实际档位计入覆盖类指标,不把丙档计为已接入。
表 6-1 给出三档的判定条件、做法与影响。
表 6-1 三档接入策略的判定、做法与影响
| 档位 | 判定条件 | 我方做法 | 对交付的影响 | 切换条件与时效 |
|---|---|---|---|---|
| 甲档 | 只读授权已开通且数据字典或库结构说明已交付核验通过 | 完整通道运行:增量取数、字典版本绑定、全部校验项启用 | 按第 5 节验收口径正常计入 | 常态目标,无需切换 |
| 乙档 | 授权已开通,字典或库结构说明未交付 | 反向推导字典并提交核对;码值类校验降为告警;试采增加业务口抽样核对 | 可正常产出采集批次;字段语义偏差风险由抽样核对缓解 | 收到正式字典后七个工作日内比对并切换甲档 |
| 丙档 | 只读授权未开通 | 按样例数据完成解析、建模与规则开发;不产生正式采集批次 | 不计入已接入系统数;历史初始化顺延 | 授权开通后十个工作日内完成试采并切换 |
表 6-1 数据来源:招标文件各系统「须提供」条款的责任归属(等)、字典条款的实际覆盖情形。
6-1 三档接入策略的判定、升档路径与时效
图 6-1 三档接入策略的判定、升档路径与时效。数据来源:三档判定与做法依第 6.1 节与表 6-1;各系统「须提供」条款的责任归属依招标文件相应条款等;字典条款的实际覆盖情形依相应条款。
分档策略解决的是条件不齐备时如何继续推进,尚未回答究竟缺哪些条件、由谁补齐、补不上我方怎么办。表 6-2 回答的是这一问:把十七个源系统与离线录入链路所依赖的外部输入拆为十四项,每一项都落到确定的提供方与确定的用途上,使实施期的协调有清单可依,也使配合范围与责任归属在合同签订阶段即可谈定。
十四项的来由有三类。一类直接取自招标文件各系统「须提供」条款,如数据库连接与接口信息、数据字典或数据库设计说明书、业务低峰时段,原文已写明提供方为源系统侧;一类来自取数范围能否冻结的工程判断,如时序位号清单与量纲、安全监管平台的对象字段与单向网络实现方式、PLM 原生图纸的批量读取方式,缺了这些并非效率下降而是范围无法确定,故单列成项;一类是本项目内部的交付依赖,即采集区与加工区的资源与密码服务、感知与检测设备的到位时点,须与硬件和系统集成环节的交付节奏相互对齐。
表中后三列是读表的着力处:「须提供方」指明协调对象,「未到位的影响」是该系统落入哪一档的判定依据,「我方替代做法」则是不停工等待的证据——十四项中有十三项写明了可先行的替代路径,仅技术联络窗口一项无从替代,故列为项目启动的首项协调事项。据此可得的结论是,前置条件的缺口影响的是推进节奏与档位,通常不致使采集接入停摆。以此为基线,我方趋向在授权与字典逐步到位的过程中将各系统推进至甲档;某项条件在约定期限内仍未到位的,按表列替代做法降档运行,并按周提交受阻清单请招标方协调,档位与切换时点在登记台账中留痕,验收时按实际档位计入。
表 6-2 前置条件清单与未到位时的替代做法
| 序号 | 前置条件 | 须提供方 | 用途 | 未到位的影响 | 我方替代做法 |
|---|---|---|---|---|---|
| 1 | 十七个源系统的技术联络窗口 | 招标方 | 勘察、授权申请、异常回单的对接 | 勘察无法开展,全部阶段顺延 | 无替代;列为项目启动首项协调事项 |
| 2 | 各系统的只读账号或只读视图、接口授权令牌、文件服务只读目录 | 招标方协调源系统侧 | 取数(等各条) | 该系统落入丙档 | 按样例数据走丙档 |
| 3 | 各系统数据字典或数据库设计说明书 | 招标方协调源系统侧 | 字段语义与校验口径(及其余系统的补充请求) | 该系统落入乙档 | 反向推导字典并提交核对 |
| 4 | 各系统业务低峰时段确认 | 招标方 | 作业日历编排(等十六处) | 批量作业无合规窗口可用 | 暂按 0 点至 5 点的招标文件示例口径排期并提请确认 |
| 5 | PLM 原生图纸的批量读取方式与授权范围 | 招标方协调源系统侧 | 六十三万张历史图纸归集 | 历史图纸归集周期显著延长 | 退到由甲方按批次导出并通过文件服务交付,我方按清单核收 |
| 6 | SCADA、热处理群控、EMS 的位号清单、量纲、采样周期与物理设备对应关系 | 招标方协调源系统侧 | 时序取数与测点台账 | 时序取数范围无法冻结 | 按试采探测的位号列表建临时台账并提请确认 |
| 7 | 安全监管平台的对象与字段清单、单向可达的网络实现方式 | 招标方 | 单向集成 | 该系统无法冻结取数范围 | 列为勘察优先项;勘察前不预设结构 |
| 8 | OA 十一类管理制度与九类合同文档的分类明细、权限标签定义 | 招标方 | 文档归集与权限分级 | 文档分类与权限分级无依据 | 按实际目录结构暂行组织并提请确认分类口径 |
| 9 | 离线资料的交付批次与随批清单 | 招标方 | 批量导入核收 | 录入流水线无输入 | 先以实时接入通道与已有系统附件开展录入试运行 |
| 10 | 敏感字段范围与可用于训练的数据范围确认 | 招标方 | 入口脱敏与裁剪口径 | 脱敏规则集无法定稿 | 按从严口径暂行(疑似敏感即脱敏),确认后放宽 |
| 11 | 企业业务日切时点、月结日历 | 招标方 | 库存快照对齐、成本与凭证取数时机 | 快照错位被误判为口径差 | 按试采观测推定并提请确认 |
| 12 | 工艺部门确认的正式工序字典 | 招标方 | 工序数据取数与校验 | 工序字段无权威校验依据 | 按现掌握的二十八道工序口径暂行并提请确认 |
| 13 | 采集区与加工区的计算、存储、网络资源与密码服务 | 本项目系统集成与硬件交付 | 通道部署 | 通道无处部署 | 与系统集成章的交付节奏对齐排期 |
| 14 | 感知与检测设备的到位时点与扩展位号清单 | 本项目硬件交付 | 时序测点扩展 | 扩展部分的时序数据无来源 | 按首期已有测点开展,扩展部分到位后纳入 |
表 6-2 数据来源:招标文件 3.2.2.1 各系统「须提供」条款、3.2.2.2 录入要求、采购清单第 1、4 项、安全合规要求。
采集接入的风险集中在外部依赖上,技术风险相对次要。以下按风险列出触发信号、影响与应对,均为可执行动作而非原则性表述。
源系统接口配合不到位。 这是其中最主要的风险。触发信号是勘察阶段联络窗口无法确定,或权限申请提交超过两周未获回应。影响是该系统落入丙档,其对应业务域的数据集建设顺延。应对分三步:第一步按表 6-2 的替代做法维持进度,不停工等待;第二步按周提交受阻清单,列明受阻系统、受阻环节、已顺延的工作项与预计影响,请招标方协调;第三步在合同执行层面明确接口配合的责任归属与工作边界,使配合工作有明确的承担方。我方同时承诺,凡在我方能力范围内可替代的,一律先行替代,不以等待外部条件为理由停滞。
历史图纸归集周期超预期。 触发信号是原生图纸无法批量读取且导出交付节奏低于分片进度表。影响是产品工艺设计域数据集的样本量不足。应对是:按项目或年份优先归集与试点场景直接相关的图纸分片,先保证板材备料场景的最小可用样本量,其余分片按季度推进;同时在采集记录中按分片披露归集进度,使数据集规模的达成路径可核验。
时序数据的时间基准偏差与缺口。 触发信号是试采期测定的时间源偏差超出可接受范围,或测点缺口时长占比超阈值。影响是过程数据与工单、炉次的对齐错位,制造过程域的成对样本不成立。应对是:偏差已测定的按偏差值在标准化层做时间归一;偏差不稳定的,提请源系统侧统一时间源;缺口定向补采,补采不到的按测点与时间窗如实登记,不做插值填充后当作实测数据使用。
敏感范围界定反复。 触发信号是脱敏规则集定稿后又收到范围调整要求。影响是已入库数据须回溯处置。应对是:脱敏在采集区执行、原件保留在采集区外的原则使回溯具备技术条件;规则调整时按新规则对已入库数据回溯重处置,并在合规报告中记录回溯范围与时点。为降低反复的代价,规则集初期按从严口径执行——疑似敏感即脱敏,确认不敏感后再放宽,放宽不需要回溯,收紧才需要。
离线资料质量低于预期。 触发信号是首批次资料的解析成功率或人工改判率显著偏离预期。影响是录入工作量与周期上升。应对是:按资料类别重新评估解析路径,对扫描质量差的类别增加图像预处理环节;调整抽样复核比例;在质量报告中如实披露各类别的解析成功率,并就改善原件质量(如重新扫描)提出建议。此类建议属我方的专业意见,是否执行由招标方决定。
源系统升级或迁移。 触发信号是收到变更通知或探测到版本号变化。影响是作业中断与结构变更。应对按第 2.1.4 节表 2-2 的源系统变更类处置口径执行:变更期间暂停该系统作业,变更后先试采比对再恢复常态;同时在配合事项中约定变更的提前通知机制。
行业大模型训练推理技术服务在数据集生产链上的位置是确定的:承接数据治理规划和实施服务(3.2.6.1)确立的数据标准、元数据口径与安全分级,消费数据加工生产服务(3.2.6.3)交付的四类数据集,再把能力增量结论与定向回流任务单交回加工链上游。服务含五项内容:模型构建与私有化部署、预训练配比设计与继续预训练、指令微调切片与实验、偏好对齐与奖励模型、基准评测沙箱与归因闭环。
本项目的交付物是四类高质量数据集,不是一套智能场景。项目目标要求数据集支撑不少于 11 个细分任务场景,并「有效破解通用大模型在专业领域不好用、不精准、不落地的难题」。数据集的效用由训练与推理实验的实测结论给出:只有体量而无效用证明的数据集,在验收环节不具备可判定性。
行业大模型训练推理技术服务把四类数据集放入可复现的训练与推理流程,以实验数据给出四项结论:预训练子集对矿山装备制造领域知识的注入效果、指令微调子集对任务完成能力的提升幅度、偏好数据对专家判断的对齐程度、基准测试子集对上述增量的量化结果。实测未产生增量的子集,其成因回溯至上游的采集、标注或合成环节,由评测结论定向回流修复。
由此确定责任边界:数据的采集、清洗、标注与合成属数据加工生产服务,专项智能工具链负责生产这些样本;训练推理服务消费这些数据,并把消费过程中发现的质量问题写成结构化整改任务单交回上游。工具产数据,训推消费数据,评测产结论,结论驱动回流——单向推进、按证据回溯,不是一个互相调用的环。
服务采购清单把本项服务列在第 5 项「数据集加工生产实施服务」的第 1 条之内。清单七项与本投标文件各章节的逐项对应,在「四大数据集加工生产总述」节按清单原序给出。与训练推理直接发生接口的有五项:第 2 项专项智能工具链建设服务中的多协议模型评测引擎、数据贡献度归因与错题溯源、数据集–模型版本血缘追溯三个工具,与评测沙箱和归因闭环直接对接;第 3 项数据集运营服务管理平台建设服务接收模型版本、评测报告与血缘记录的回写;第 4 项系统集成服务交付的通用服务器与服务密码机,是训练域的数据准备承载与国密能力来源;第 6 项信息安全风险评估服务把训练域、推理域、评测域与网关纳入测评范围;第 7 项数据集质量测评服务的基准模型动态应用验证,直接使用本节的基准环境与多阶段模型版本。
本节按「配比设计—继续预训练—指令微调—偏好对齐—基准评测—归因回流」六段组织。六段之间不是并行的工序,而是逐级加码的验证序列:前一段的产出是后一段的输入,后一段的评测结果可以否定前一段的数据配置并要求重做。每一段都给出输入、产出、过程记录、验收口径与达不到口径时的回退路径。
图 1-1 训练推理技术服务在本包中的位置与责任边界。数据来源:招标文件第五章 3.2.6.2、3.2.6 生产逻辑、3.2.6.5。
模型基座采用当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级。基座不绑定单一来源,遴选以本项目自建的基准测试子集实测结果为准,入选名单随版本迭代复评。私有化部署与国产通用大模型支持作为硬性前提,在算力适配一节逐项落地。
训练推理全程在甲方指定的内网隔离环境或我方在宁夏境内的合规算力环境中进行,原始业务数据不出域(同口径)。涉及个人信息、敏感地理信息、重要行业数据与企业秘密数据的样本,在进入训练前已由上游完成去标识化或脱敏处理(第 7 条),本节在网关层按数据分级做二次校验,级别不符的样本不进入推理环境。
所有训练与评测过程留痕:训练曲线、检查点(checkpoint)、中间评测结果、随机种子、环境镜像版本与数据集版本号一并归档,支撑结论复算。本节给出的目标值均为待验证目标,以首轮实测基线为准逐轮修订,每一项都配回退路径。
本节出现的数值分三类,性质不同,承诺方式也不同,因此在每一张参数表里分列标注,使工程取值与合同指标在表面上即可区分。
第一类是招标硬指标。数值由招标文件写定,不由我方选择,交付时按原文口径验收。软硬件整体国产化比率不低于 80%、数据集涵盖不少于 3 种模态且多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%、四类数据集的规模、质保期 12 个月与免费技术服务期 24 个月,都属此类。
第二类是设计配置。这是项目组按本项目的数据条件与算力条件选定的工程取值:学习率、全局批次、并行维度、采样轮次、检查点间隔、推理批大小、量化方式等。设计配置在首轮实测后按实测结果修订,修订依据与前后对比写入对应阶段报告;修订不改变招标硬指标的验收口径。
第三类是经确认的目标值,由我方提出、经甲方确认后作为验收依据:领域知识探针的提升幅度、结构合规率、出处命中率、推理可用率等。这一类按三段式给出——基线取首轮实测值,目标值标为趋向值,并给出达不到时的处置路径。基线尚未测出之前,表中该格写「首轮实测值」。
表 1-1 本节数值的性质分类与承诺方式
| 性质 | 来源 | 呈现方式 | 验收方式 | 典型条目 |
|---|---|---|---|---|
| 招标硬指标 | 招标文件写定 | 照录原文数值并标注条款号 | 按原文口径实测核验 | 国产化比率不低于 80%、四类数据集规模、模态与时效占比、质保与技术服务期 |
| 设计配置 | 按数据与算力条件选定 | 给出取值与选取依据,标注「设计配置」 | 以实测记录呈现实际取值,修订留痕 | 学习率、全局批次、并行策略、采样轮次、检查点间隔、推理批大小、量化方式 |
| 经确认的目标值 | 我方提出、甲方确认 | 基线、目标、不达标处置三段式 | 按确认后的口径验收 | 探针提升幅度、结构合规率、出处命中率、可用率、恢复时长 |
| 实测值 | 运行产出 | 填入实验台账与阶段报告 | 以产出目录与签名核对 | 训练吞吐、显存占用、评测得分、墙钟时长、首 Token 延迟 |
表 1-1 数据来源:招标硬指标依所列条款原文;其余三类依本节第 1.6 节的实验登记与结果记录口径。
吞吐与效果两类数值只以实测值呈现。训练吞吐、推理吞吐与评测得分在首轮运行产出之前,实验台账中记为待执行,阶段报告中该格留空并在未完成项清单中列出。算力测算表中的卡天与墙钟时长按第 3.4 节声明的三个假设正算,标注为测算值,随实测标定重算。
招标文件要求投标文件「佐证性强」。六段方法均选自公开方法族,并结合本项目数据条件与算力条件确定。
方法选型最容易出问题的地方,是把公开资料里的做法原样搬到现场语料上。矿山装备制造的语料与公开语料差别很大:备料工艺的知识集中在少量图纸与工艺卡里,样本总量不大却密度很高;供需计划那边的合同与排产记录成千上万,句式却高度雷同。同一套配比方法用在这两类语料上,得到的结果能差出一个量级。六个环节的方法因此既不自创也不照搬——每一段标明它属于哪一类公开方法族、公开讨论见于何处,再写明在本项目的数据条件下用哪一次实验判定它是否奏效。
按「方法族—出处—判定方式」三列并排,是因为缺任何一列都站不住:只给出处,证明的是方法成熟,不是它适合备料工艺这类小而密的语料;只给判定方式,方法本身的来历又没有着落。三列齐备,每一段方法都成为一个带验证手段的待验命题,甲方可以逐段追问「这一步凭什么这么定」,并在实验台账里找到对应那一次对照实验的记录与结论。
表 1-2 六段方法的所属方法族、出处与本项目的判定方式
| 环节 | 所属方法族 | 出处 | 本项目用什么判定 |
|---|---|---|---|
| 预训练配比设计 | 领域语料配比与采样权重设计 | 四项统计(4.1 节)是配比的唯一依据;方法族的公开讨论见参考依据 ① | 配比预实验 4 组对照、各取 10% 子集,按保留集困惑度与知识探针结果判定(4.5 节) |
| 指令数据切片与实验设计 | 指令数据选择与配比(data selection and mixture for instruction tuning) | 参考依据 ① ② ③ | 子集消融取剔除法而非增量法,理由见 5.2 节;以评测分下降幅度度量各切片贡献度 |
| 继续预训练 | 领域自适应继续预训练 | **不引外部结论。** 公开结论多来自其他领域语料,与矿山装备制造语料的分布差异大,不足以直接外推 | 以本项目保留集验证与知识探针为依据(4.5 节),产出知识注入有效性报告(4.6 节) |
| 偏好对齐 | 直接偏好优化(Direct Preference Optimization, DPO) | 招标文件允许 DPO 或 PPO 两者之一;DPO 方法出处见参考依据 ④ | 主线 DPO 做 6 组超参扫描,PPO 做 1 组对照;五项指标按表 6-5 判越界,奖励涨而人评不涨即判奖励黑客征兆 |
| 错题的训练数据归因 | 训练数据归因(training data attribution) | 方法族出处见技术与机制创新节的参考依据 | 归因结论须生成结构化整改任务单并复检闭合(7.4、7.5 节) |
| 基准评测沙箱 | 基准集冻结与可复现评测 | 本项目 7.1 节的四项固化(题型协议、判分规则、版本号、随机种子) | 同协议、同模型、同随机种子两次运行,主指标偏差不超过 0.5 个百分点 |
表 1-2 数据来源:方法族名称按公开文献的通用表述;标注参考依据编号的,出处见下方清单; 未标注编号的,依据是招标文件条款或本项目自己的实验设计与实测记录。
参考依据:
① Zhang B, Wang J, Du Q, et al. A Survey on Data Selection for LLM Instruction Tuning. Journal of Artificial Intelligence Research, 2025. DOI 10.1613/jair.1.17625 ② Renduchintala H S V N S K, Bhatia S, Ramakrishnan G. SMART: Submodular Data Mixture Strategy for Instruction Tuning. Findings of the Association for Computational Linguistics: ACL 2024. DOI 10.18653/v1/2024.findings-acl.766 ③ Fu Y, Hamman F, Dutta S. T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning. Advances in Neural Information Processing Systems 38, 2025. DOI 10.52202/085713-3800 ④ Rafailov R, Sharma A, Mitchell E, et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems 36, 2023. DOI 10.52202/075280-2338
引用的使用口径有两条。
第一条,文献只用于说明方法族的出处,不作为任何指标承诺的依据。 本节给出的全部目标值以首轮实测基线为准逐轮修订(见 1.3 节), 不以公开文献报告的数值作为我方承诺值——公开实验的语料、模型规模与算力条件与本项目不同, 把别人的数搬过来当承诺,验收时无法兑现。
第二条,凡公开方法在本项目条件下不成立的,按实测结论处理,并在报告中写明差异,不迁就文献。 本项目的语料是矿山装备制造的图纸、工艺卡、炉次与焊道记录, 模板化程度与专业术语密度都与通用语料差别很大,方法在此处失效是正常的, 失效本身也是对甲方有价值的结论——它说明哪一类通用做法在这个行业需要改造。
六段方法里只有最后一段的判定方式本身是一个数值,这个数值怎么测要一并说清,否则这条判据无法执行。首期按「主指标偏差不超过 0.5 个百分点」设定基线。判定在评测沙箱内进行:同一镜像摘要、同一基准集版本号与题型协议、同一组抽样与解码种子,对同一份权重连续发起两次完整评测,覆盖基准测试子集全部 0.95 万条题目,不抽样;取两次主指标总分之差的绝对值。每个待评模型版本在首次出分时判一次,基准集升版或评测镜像变更后各补判一次。偏差超过 0.5 个百分点的,该版本的评测结果暂不采信,按并行归约顺序、批次组织、算子实现三项逐一排查非确定性来源,定位并固定后重跑两次复判;两轮排查仍不收敛的,在模型卡与评测报告中单列说明该版本评测稳定性受限,并降低其在场景验证中的使用等级。解码路径与归约顺序随适配推进逐步固定,这项偏差的目标逐步接近 0.2 个百分点。
本节的全部结论来自实验,实验要能被第三方按同一份记录重新跑出来。为此设一本实验台账:每一次训练、对齐、评测与推理基线测试在发起时登记、在结束时回填,台账随阶段报告提交。登记在作业提交时完成,字段不齐的作业不予调度。台账与血缘记录是同一条规则的两个落点——血缘管的是这个模型由哪批数据训出来,台账管的是这次实验当时怎么配置、跑出了什么。
表 1-3 实验登记台账字段(作业提交时填写)
| 字段 | 内容 | 填写要求 |
|---|---|---|
| 实验编号 | 阶段标识 + 序号,与模型版本号对应 | 唯一,重跑另起序号并注明被重跑的编号 |
| 实验目的 | 本次实验要回答的问题 | 一句话,指向某一格位或某一项指标 |
| 输入数据集版本 | 四类数据集各自的版本号、参与的切片标识与条数 | 精确到切片,不写「全量」 |
| 配比与采样配置 | 采样轮次、模态批次比例、难度加权、混合口径 | 与表 2-4 的格位口径一致 |
| 模型与初始化 | 基座内部标识、起始检查点、参数量级、权重精度 | 基座不写厂商名与型号 |
| 任务配置 | 并行策略、全局批次、序列长度阶段、训练步数或轮次 | 标注设计配置 |
| 超参与选取依据 | 学习率、预热比例、衰减方式、权重衰减、梯度裁剪及各自的选取理由 | 理由指向预实验结果或同族实验的对照结论 |
| 随机种子 | 数据抽样、初始化、解码三类种子 | 分列记录 |
| 环境指纹 | 镜像摘要、依赖锁定文件哈希、加速卡与驱动版本 | 取自表 3-4 的镜像记录 |
| 资源申请 | 卡数、预计卡天、预计墙钟时长、显存与存储预算 | 测算值,与实测值分列 |
| 停止条件 | 正常收敛判据与异常中止判据 | 两类都填,见各阶段作业规格表 |
| 计划产出 | 检查点、评测任务、报告章节 | 指向具体交付物 |
表 1-3 数据来源:字段依招标文件 3.2.6.2 第(2)至(5)项的过程记录要求;血缘字段依 3.2.3.10 血缘追溯能力。
登记与回填分成两张表,不是把一张表拆开。登记在作业提交时填,填的是打算怎么做;回填在作业结束后填,填的是实际发生了什么。两者必然对不上——申请的是 64 卡六天,实跑可能是 64 卡七天半,中间断过两次;计划跑满步数,实际在第八千多步因为通用保留集困惑度抬头提前停了。把这两类内容塞进一张表,实际值会覆盖计划值,日后再想追问「当初为什么按这个配置发起」就没有了依据。
回填表的字段按一次作业结束后别人会追问的问题来列:这次跑成了还是中断了、为什么停的、花了多少卡天、曲线在哪、哪些检查点可用、评测分是多少、与对照组比有没有真的差别、中间出过什么异常、结论是什么、触发了哪张整改任务单。其中两条是刻意写死的:异常事件逐条记录不合并,合并以后就看不出是同一个毛病反复出现还是几个毛病碰在一起;对照结论要求给差值的置信区间,区间下界不大于零时直接记为未观察到显著增量,不允许用一个孤立的分数差宣称某项改动有效。
这两条约束的是同一件事:训练过程中的每一个判断,日后都要有据可查、有数可复算,而不是停留在当时在场的人的记忆里。
表 1-4 实验结果记录字段(作业结束时回填)
| 字段 | 内容 | 回填要求 |
|---|---|---|
| 运行状态 | 完成/中止/失败,及对应的停止条件 | 中止与失败须填触发的判据与现场记录 |
| 实际资源消耗 | 卡数、卡天、墙钟时长、显存峰值、通信开销占比 | 实测值 |
| 训练曲线 | 训练损失、各子集分损失、学习率、梯度范数、吞吐 | 按步采样落盘,文件路径与哈希入台账 |
| 检查点清单 | 步数、时间戳、权重哈希、对应中间评测结果 | 逐份列出,缺项的检查点标记为不可用于续训 |
| 评测结果 | 基准集版本号、总分、分场景分、分题型分、置信区间 | 指向评测产出目录与签名 |
| 对照结论 | 与基线或同族实验的差值及显著性判定 | 差值的置信区间下界不大于零时记为未观察到显著增量 |
| 异常事件 | 异常点、触发时间、现象、排查结论、处置动作 | 逐条记录,不合并 |
| 结论与去向 | 本次实验的结论,以及触发的整改任务单编号 | 无结论时写明原因 |
表 1-4 数据来源:记录项依招标文件;整改任务单字段见第 7.5 节。
台账中标为待执行的实验,其结果字段保持空置,并在阶段报告的未完成项清单中列出。阶段报告引用的每一个数值都能回指到一次具体运行的产出目录与签名——这是复现得以成立的前提,也是评测结论可被第三方复核的依据。
复现不能停在一句承诺上,得说清复现者拿到什么、照着做什么、结果差多少算一致。本项目把五类最常被追问的实验各写一个复现实例:一次基准评测、一次子集消融、一次知识注入验证、一次对齐训练、一次推理基线测试。选这五类,是因为它们分别对应五种追问——分数是不是判宽了、这批数据到底有没有用、领域知识是不是真进去了、对齐有没有把能力带偏、推理时延的数字是不是在空载下测出来的。
每一行给的是一套可以原样交出去的材料包,而不是一段说明。关键在于判定一致的口径必须给数值而不是给形容词:评测允许总分差 0.3 分、逐题一致率不低于 99.5%,消融允许掉分幅度差 1 分以内,推理允许 95 分位时延差 10% 以内。给出容差才说明我方清楚哪些环节天然带随机性——采样种子、批次组织、算子实现的差异都会让两次运行不完全相同,零容差的承诺反而是不可信的。
这五行成立,本节其余结论的可核验性也就成立:任何一个数字,第三方都能沿着同一条路径走回去。
表 1-5 复现实例与验收证据
| 复现对象 | 交付给复现者的材料 | 复现步骤 | 判定一致的口径 | 验收证据 |
|---|---|---|---|---|
| 一次基准评测 | 评测镜像摘要、基准集版本号与只读副本、判分器代码包、三类种子、被评模型权重哈希 | 拉取镜像、挂载基准集、按协议发起评测、比对产出哈希 | 总分差不超过 0.3 分,逐题结果一致率不低于 99.5% | 评测产出目录及其哈希签名、复现记录单 |
| 一次子集消融 | 数据集版本号与剔除的切片标识、训练镜像摘要、超参与种子、基线模型权重哈希 | 按台账配置重跑该组,再用同一协议评测 | 掉分幅度与原记录的差不超过 1 分 | 训练曲线文件、检查点清单、评测产出 |
| 一次知识注入验证 | 探针题集版本、保留集划分种子、检查点权重哈希 | 对同一检查点重跑探针与困惑度计算 | 探针正确率与困惑度逐项一致 | 探针逐题明细、困惑度曲线数据文件 |
| 一次对齐训练 | 偏好数据集版本与分层结果、奖励模型权重哈希、参考模型权重哈希、超参与种子 | 按台账配置重跑,记录四项指标全程曲线 | 偏好准确率与 KL 散度曲线趋势一致,终值差不超过约定区间 | 指标曲线、风险门实测值、检查点清单 |
| 一次推理基线测试 | 推理镜像摘要、模型标识与版本、量化配置、并发与批处理参数、请求样本集 | 按同一并发与批处理参数重放请求集 | 首 Token 延迟与完整响应时长的 95 分位差不超过 10% | 调用留痕、计量记录、延迟分布数据 |
表 1-5 数据来源:复现判定口径依第 7.2 节评测沙箱要求;复现记录随对应阶段报告提交。
五类复现里判得最细的是基准评测这一行,它的容差要连同测法一起定死。首期按「总分差不超过 0.3 分、逐题结果一致率不低于 99.5%」设定基线。逐题一致率按基准测试子集全部 0.95 万条题目逐题比对判分结果计算,一致题数除以总题数,不抽样;复现由甲方或甲方指定的第三方在拿到材料包后自行发起,项目组在每一次阶段验收前先自行做一次预复现,频次为每阶段至少一次,材料包与两次产出的哈希签名一并归档。一致率低于 99.5% 的,先比对两次产出的逐题差异清单,按非确定性来源的三项顺序排查,定位后重跑复判;若差异集中在少数题型且反复出现,把该题型的判分规则改为确定性更强的写法并升基准集版本,受影响的历史分数在报告中单列,不参与跨版本比较。判分链路上的非确定环节逐一收敛之后,这项一致率的目标逐步接近 99.8%。
四类数据集各自面向四个用途——预训练、指令微调、强化学习偏好、基准测试,交叉得到十六个子集。训练与评测的每一项工作都落在其中某一格上:这一格的样本按什么权重进入训练、与哪些格隔离、由哪一组实验度量贡献、在哪一类评测中被检验。矩阵在此一次立定,后续的配比设计、实验矩阵、评测协议与归因结论都回指格位,不另起分类。
这十六格不是把四类数据集横着切一刀那么简单。四个领域的数据,厚薄与形态天差地别:供需计划那边是多年积累的合同、订单与排产记录,电子化程度高、取数容易;产品工艺设计这边主要是 63 万张历史工艺样本与配套的图纸、工艺卡,单件信息密度极高,但图纸是图、卡片是纸面格式,要变成可训练的语料得先过图文结构化这一关;制造过程混着炉次档案、焊道参数流、振动与温度时序和热成像帧,模态最杂,而且过程数据与结果判定往往不在一处;产品质量则是检验记录、缺陷描述与缺陷图的组合。
因此这张表的列不止排规模,还要把模态构成并排写出来。只排规模会得出一个靠不住的印象:Token 数最多的领域看上去最该下功夫,可那部分语料重复句式密集,真正难学的知识反而集中在体量最小的产品工艺设计里。规模与模态并列,才看得出每一格的斤两与脾气各是什么——哪一格要靠采样轮次补、哪一格要靠去重压、哪一格根本不进训练。
从这张表要带走的结论只有一句:十六格的工作量与难度不按规模分布,后面的配比、消融与评测分组都要按这张表的实际形态重新安排,不能按比例平摊。
表 2-1 四个数据集领域与四个用途子集交叉的规模
| 数据集领域 | 预训练子集(亿 Token) | 指令微调子集(万条) | 偏好子集(万组) | 基准子集(万条) | 主要模态构成 |
|---|---|---|---|---|---|
| 供需计划 | 276 | 40.0 | 3.2 | 0.40 | 文本为主:合同、订单、排产、客户与库存记录;少量规格书与报价单扫描件 |
| 产品工艺设计 | 70 | 10.0 | 0.8 | 0.10 | 图文并重:二维图纸渲染件、工艺卡片、标准工序文本、机械制图知识 |
| 制造过程 | 105 | 15.0 | 1.0 | 0.20 | 文本、时序与红外图像:炉次档案、焊道参数流、振动与温度时序、热成像帧 |
| 产品质量 | 164 | 24.0 | 1.6 | 0.25 | 文本与图像:检验记录、缺陷描述与缺陷图、质量票据、制度与合同文本 |
| 合计 | 615 | 89.0 | 6.6 | 0.95 | 文本、图像、时序、视频四类模态 |
表 2-1 数据来源:各格规模依招标文件 3.2.6.4 逐数据集规模要求表;模态构成依 3.2.6.4 各数据集的内容描述与本项目数据源盘点结论。
四个领域的规模分布很不均匀。供需计划子集占预训练总量的 44.9%,产品工艺设计只占 11.4%,而十一个验证场景里难度最高的板材备料工艺智能设计正落在后者。这个倒挂决定了配比不能照自然占比走(第 4.2 节),也决定了消融实验必须按领域拆开做(第 5.2 节),否则小领域的贡献会被大领域的分数淹没。
统计口径上有两套分类,用途不同,各自成表,既不合并也不互相替代。
四个数据集领域是数据集的组织单位:供需计划、产品工艺设计、制造过程、产品质量。四类数据集的规模、模态构成与用途子集划分按这一套计。训练配比、采样权重、消融分组、能力增量归属与数据贡献度结论也全部按这一套计,因为它们度量的是数据集本身。
九个业务域是数据治理实施的落地单位:人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理。数据汇聚、元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全管理、数据指标管理与数据服务管理按这一套组织,口径由数据治理章节给出。训练推理环节按这一套计的只有两件事:样本来源构成的统计,以及安全分级与权限的落地范围。
两者之间是多对多的交叉,不是上下级。产品工艺设计数据集的样本主干来自研发设计业务域,其中的工装与压模参数来自设备管理业务域,材料批次与库存状态来自仓储物流业务域;反过来,质量管理业务域的数据同时进入产品质量数据集与制造过程数据集。因此统计分两张表出:按数据集领域计 Token 与条数,支撑配比;按业务域计来源构成与治理属性,支撑元数据与分级。两张表共用样本级的来源标识与领域标识,可以交叉汇总,不合成一张。
表 2-2 两套分类口径的计量对象与用途
| 分类 | 类目 | 计量对象 | 在训练推理环节的用途 | 口径归属 |
|---|---|---|---|---|
| 四个数据集领域 | 供需计划、产品工艺设计、制造过程、产品质量 | Token 数、样本条数、偏好组数、基准题量、模态构成 | 训练配比与采样权重、消融分组、能力增量归属、数据贡献度排序 | 本节与数据集建设及指标要求章节 |
| 九个业务域 | 人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理 | 来源系统、元数据项、数据标准、安全级别、质量规则命中 | 样本来源构成统计、安全分级与权限落地范围、回流派工的受理方 | 数据治理章节 |
表 2-2 数据来源:数据集领域依招标文件 3.2.6.4 各数据集定义;业务域依 3.2.6.1.2 数据治理实施要求所列九域。
两套口径并存,真正的麻烦不在定义上,而在交叉处的具体样本上。一条排产记录,既是供需计划数据集的样本,也是生产制造业务域的资产;一组压模与工装参数,取数要去设备管理域的台账,归集却应当归到产品工艺设计数据集,因为它是备料工序能不能排下去的直接依据;热处理炉次与焊接焊道的过程数据在生产制造域,判定合格与否的结论却在质量管理域,两边不对齐,「这一炉为什么判废」就永远说不清楚。此类样本若不事先定下按哪边计、按哪边归,统计时要么重复计数,要么两边都漏。
这张表因此按数据集领域逐行列出主干业务域、次要业务域与交叉处的处置,而不是画一张两套分类的对照关系图。对照关系只能表达「有关联」,表达不了「这一条具体怎么办」;而真正会出错的恰恰是具体怎么办——样本带不带双标识、统计时计一次还是计两次、回流派工派给哪个业务域的责任人。把处置写进表里,交叉处就从一个模糊地带变成一条可执行的规则。
由此得到的结论是:两套口径可以交叉汇总而不必合并。统计配比时按数据集领域取数,落地治理与权限时按业务域取数,同一条样本在两套口径下各有归属且只计一次。
表 2-3 数据集领域与业务域的主要交叉关系
| 数据集领域 | 主干业务域 | 次要业务域 | 交叉处的处置 |
|---|---|---|---|
| 供需计划 | 营销管理、采购管理 | 仓储物流、财务管理、生产制造 | 排产记录同属生产制造域与供需计划集,样本携带双标识,统计时按主标识计一次 |
| 产品工艺设计 | 研发设计 | 设备管理、仓储物流 | 工装与压模参数按设备管理域取数、按产品工艺设计集归集 |
| 制造过程 | 生产制造、设备管理 | 质量管理 | 热处理与焊接的过程数据与结果判定分属两域,对齐后按制造过程集归集,判定结论回指质量管理域 |
| 产品质量 | 质量管理 | 生产制造、营销管理 | 合同与制度文本来自营销管理与行政口径,按产品质量集的通用场景切片归集 |
表 2-3 数据来源:业务域名称依招标文件相应条款;交叉关系依本项目数据源盘点与 3.2.2 数据资源建设要求所列源系统范围。
十六个子集不在同一阶段进入训练,也不按同一套权重混合:预训练子集按采样轮次混合,指令微调子集按切片配比混合,偏好子集按难度分层混合,基准子集不进入任何训练。
这张表里有一个必须单独说清楚的事实:四个基准子集一条也不进训练。合计 0.95 万条,在总量里微不足道,却是整个项目唯一的裁判。只要有一条基准题目的源文档混进了预训练语料,模型就可能是背出来的而不是推出来的,而这种污染一旦发生,事后几乎无法从分数上看出来——分数只会偏高,不会报警。因此隔离要求与混合口径必须写在同一张表里,看混合的时候就能看到隔离,而不是把隔离规则另置一处。
隔离的粒度也不能一刀切。供需计划按源文档互斥就够了;产品工艺设计要按图号互斥,因为同一张图纸渲染成多件素材,文件不同而内容同源;制造过程要按炉次号与焊道互斥,一个炉次的过程数据与结果判定分散在多条记录里,只挡文档挡不住;产品质量涉及制度与合同,得按条款号互斥,整篇文档不同而引用的条款可能是同一条。这四种粒度分别对应四个领域数据的真实组织方式,换成统一口径,必然有一类漏过去。
表 2-4 十六个子集的进入阶段、混合口径与隔离要求
| 子集 | 规模 | 进入阶段 | 混合口径 | 隔离要求 |
|---|---|---|---|---|
| 供需计划·预训练 | 276 亿 Token | 继续预训练 | 采样 0.72 轮,参与 198.7 亿,训练配比 32.0% | 与本领域基准子集按源文档互斥 |
| 供需计划·指令微调 | 40.0 万条 | 基础 SFT、正式 SFT | 按 4 个场景切片配比;消融组 A1 整体剔除 | 验证集按场景分层留出 5%,不参与训练 |
| 供需计划·偏好 | 3.2 万组 | 奖励模型、对齐训练 | 按难度四层加权,L3 层上采样 1.6 轮 | 保留偏好集按场景分层留出 10% |
| 供需计划·基准 | 0.40 万条 | 不进入训练 | — | 只读挂载,评测域独占,不向训练域开放 |
| 产品工艺设计·预训练 | 70 亿 Token | 继续预训练 | 采样 1.80 轮,参与 126.0 亿,训练配比 20.3%;图文混合批次占训练步约 22% | 与本领域基准子集按源文档互斥;图纸渲染件按图号去重 |
| 产品工艺设计·指令微调 | 10.0 万条 | 基础 SFT、正式 SFT | 按 2 个场景切片配比;消融组 A2 整体剔除 | 验证集留出 5%;备料工艺切片另留出 500 条格式专测集 |
| 产品工艺设计·偏好 | 0.8 万组 | 奖励模型、对齐训练 | 按难度四层加权;工艺口径分歧样本经仲裁后入集 | 保留偏好集留出 10%;待定池样本不进训练 |
| 产品工艺设计·基准 | 0.10 万条 | 不进入训练 | — | 只读挂载;图纸素材与训练侧图号互斥 |
| 制造过程·预训练 | 105 亿 Token | 继续预训练 | 采样 1.30 轮,参与 136.5 亿,训练配比 22.0%;时序—文本配对批次占训练步约 8% | 与本领域基准子集按源文档与炉次号互斥 |
| 制造过程·指令微调 | 15.0 万条 | 基础 SFT、正式 SFT | 按 3 个场景切片配比;消融组 A3 整体剔除 | 验证集留出 5%;时序样本按时间窗切分,窗间不重叠 |
| 制造过程·偏好 | 1.0 万组 | 奖励模型、对齐训练 | 按难度四层加权,L3 层上采样 1.6 轮 | 保留偏好集留出 10% |
| 制造过程·基准 | 0.20 万条 | 不进入训练 | — | 只读挂载;炉次与焊道素材与训练侧互斥 |
| 产品质量·预训练 | 164 亿 Token | 继续预训练 | 采样 0.98 轮,参与 160.7 亿,训练配比 25.8% | 与本领域基准子集按源文档互斥 |
| 产品质量·指令微调 | 24.0 万条 | 基础 SFT、正式 SFT | 按 5 个场景切片配比;消融组 A4 整体剔除 | 验证集留出 5%;跨场景基础能力切片单列,供 A8 组消融 |
| 产品质量·偏好 | 1.6 万组 | 奖励模型、对齐训练 | 按难度四层加权;合规类样本单列并入安全合规测试 | 保留偏好集留出 10% |
| 产品质量·基准 | 0.25 万条 | 不进入训练 | — | 只读挂载;制度与合同条款素材与训练侧按条款号互斥 |
表 2-4 数据来源:采样轮次与训练配比依表 4-2;场景切片数依表 5-1;难度分层依表 6-3;消融分组依表 5-4。采样轮次与留出比例为设计配置,按配比预实验结果修订。
基准子集一旦与训练子集共源,评测分数就不再说明问题。隔离按三条规则施加,三条都在建集阶段生效,训练阶段只做复核。
第一条是用途隔离。同一份源文档的内容不同时进入基准子集与其他三个用途子集。建集时按源文档标识做互斥划分:一份工艺卡若被抽作基准题的素材,该卡的全部衍生样本——切分片段、改写件、合成件——都标记为基准侧,不再进入预训练、微调与偏好子集。
第二条是领域隔离。奖励模型的跨场景泛化评估与基座遴选的泛化测试各留出一个数据集领域不参与训练,用于观察能力能否迁移到未见领域(表 6-4 跨场景泛化行)。留出的领域按轮次轮换,轮换记录写入实验台账。
第三条是时间隔离。近 3 年内的数据条数占比不低于 40% 是招标文件写定的指标;其中最近一个完整季度的样本留作时间外推保留集,不参与训练,用于观察模型在更新数据上的表现是否随训练数据的时间窗滑动而衰减。
表 2-5 污染防护的三道门与判定口径
| 门 | 施加时点 | 检测对象 | 判定口径 | 不通过的处置 |
|---|---|---|---|---|
| 门一:源文档互斥 | 建集时 | 源文档标识与衍生样本谱系 | 基准侧源文档的衍生样本在训练侧的出现数为零 | 从训练侧移除该谱系样本,重建受影响切片并重新质检 |
| 门二:重合扫描 | 每个模型版本评测前 | 训练语料与基准集的 13 元组重合 | 重合率不超过 0.1%,超出部分列出清单 | 剔除重合语料重训;或该批题目标注为受污染并单列报告,不计入总分 |
| 门三:产出复查 | 评测结束后 | 评测产出中的逐题响应 | 响应与基准答案的逐字重合段长度分布无异常峰 | 定位异常题目,回查训练语料谱系,结论写入评测报告 |
表 2-5 数据来源:重合扫描口径依第 7.2 节;扫描能力与数据质量与分布控制类工具链的污染扫描对接。重合率阈值为经确认的目标值,门一与门三为设计配置。
矩阵的价值在于每一格的贡献都能被单独度量。度量手段有三套:预训练侧用配比对照,微调侧用子集消融,对齐侧用保留集与风险门。基准子集本身是度量工具,其贡献体现为使其余三类的增量可量化。
甲方买下这批数据,迟早要问一句:四类数据集里哪一类真正起了作用、起了多大作用。这个问题若等到项目末尾再回答,就只能靠总分的变化倒推,而总分是所有改动叠加后的结果,谁也说不清其中哪一部分来自数据、哪一部分来自调参。所以度量手段必须在训练开始之前就按格位安排好,每一格配一套能把它单独摘出来看的实验。
这张表的行不按实验方法排,而按「同一格要被问到的几件事」排:用什么手段度量、能分辨到什么领域粒度、产出什么形态的数字、这个数字接下来回流到哪个环节。按方法排会得到一份实验清单,看不出覆盖是否完整;按格位排则一眼能看出哪一格的度量是空的。基准子集那一列写明它不度量自身增量,正是这种排法的好处——它的价值体现在让其余三类的增量可量化,而不是体现在它自己的分数上。
表 2-6 格位与度量实验的对应
| 项 | 预训练子集 | 指令微调子集 | 偏好子集 | 基准子集 |
|---|---|---|---|---|
| 度量手段 | 4 组配比对照预实验,配领域保留集困惑度与知识探针 | 子集消融 A1 至 A4 按领域、A5 至 A8 按难度与任务类型 | 保留偏好集分层判别准确率,配对齐前后能力回测 | 作为度量工具,不单独度量其自身增量 |
| 领域分辨率 | 四领域分损失曲线逐域记录 | A1 至 A4 各剔除一个领域,掉分幅度即该领域贡献 | 跨场景泛化测试留出一个领域 | 分场景分项分按领域汇总 |
| 产出 | 各领域的困惑度下降幅度与探针分提升 | 各领域与各切片的评测分下降幅度排序 | 各领域的判别准确率与专家一致率 | 各领域的分项分与 95% 置信区间 |
| 回流去向 | 采样轮次调整、该领域语料补采 | 该领域切片重标或补采,配比重调 | 该领域标注规范修订与偏好重采 | 题目增补或难度层补齐 |
表 2-6 数据来源:实验设计依第 4.2、5.2、6.2 节;归因与回流口径依招标文件 3.2.6.2 第(5)项。
每一个模型版本在两条线上同时评测,两条线的结果分开记录、分开判定。行业线用本项目自建的基准测试子集与领域知识探针,度量数据集带来的领域能力;通用线取公开通用评测集中与本项目任务形态相关的子集,固定题目与评分方式,只作回归基线,度量通用能力有没有被训练过程损伤。
两条线并行的理由在十一个场景的构成里:技术标准问答、标书智能问答、合同合规审查、管理制度问答、决策数据问答五个通用场景,依赖的正是指令遵循、格式规范与长上下文这类通用能力。行业分涨而通用分跌的版本在这五个场景上不可用,整体是亏的。
表 2-7 双线回归的评测项与判定
| 线 | 评测集 | 评测项 | 判定口径 | 不达标时的处置 |
|---|---|---|---|---|
| 行业线 | 本项目基准测试子集 0.95 万条、领域知识探针 2,000 题 | 四领域分项分、七类题型分、探针五类正确率 | 相对上一版本不劣,目标增量见表 4-8、表 5-9 | 按第 7.4 节四类归因定位,签发整改任务单 |
| 通用线 | 公开通用评测集中指令遵循、格式规范、长上下文、推理四类子集,题目与评分方式固定 | 四类子集得分与通用保留集困惑度 | 相对基座的下降幅度控制在表 4-8 约定范围内 | 降低行业语料采样权重,或在配比中混入通用语料重放,回退至上一检查点 |
| 合判 | 两线同一检查点 | 行业分增量与通用分变化的组合 | 行业分上升且通用分在界内,该检查点方可采纳 | 行业升通用跌越界的检查点不采纳,记入训练曲线异常点并触发配比调整 |
表 2-7 数据来源:双线判定依第 4.4、4.5 节;通用能力依赖的场景构成依招标文件 3.2.6.5.2 五个通用场景的验证要求。
多模态样本占条数的比重不低于 40%,但按等效 Token 计不足 3%(表 4-3)。这个落差意味着多模态能力不能只看总分——总分由文本题主导,图像与时序题即使全错也只掉几分。因此多模态单列评测项,分项报告。
多模态在本项目不是加分项,是硬指标:条数占比不低于 40% 写在项目目标里。难处在于这些样本在训练里的分量与在验收里的分量完全不对等——按等效 Token 计不到 3%,按条数计却要占到四成以上。如果只看一个总分,图纸看错、时序对不上这类问题会被文本题的分数淹没,验收时数字好看,到了场景验证现场才发现模型根本读不懂一张展开图。
五个评测项按模态组合切分而不按场景切分,是因为同一种模态失效会在多个场景同时发作:图纸要素抽取不准,备料工艺与选型两类场景一起受影响;时序与事件对不上,焊接监控与设备诊断一起受影响。按场景切分会把同一个病因拆到五处,每处都显得轻微;按模态组合切分,病因只出现一次,分项分一掉就知道该回流到哪一条工具链上去修。
表 2-8 多模态评测项
| 评测项 | 样本来源 | 题型 | 判分方式 | 对接的工具链 |
|---|---|---|---|---|
| 图纸要素识别 | 二维图纸渲染件与工艺图 | 图元、尺寸、符号的抽取 | 字段级精确率与召回率 | 设备图纸与工艺图结构化抽取 |
| 图文一致性 | 工艺卡片与对应图纸 | 判断卡片字段与图纸标注是否一致 | 二分类准确率与误判类型分布 | 一致性校验标注 |
| 时序—事件对齐 | 振动、温度与焊接参数流,配运维工单 | 给定时序片段判断对应事件与时间窗 | 事件命中率与时间窗重合度 | 传感器时序—运维事件对齐 |
| 视频—文本对齐 | 作业与检修录像片段 | 片段对应的作业步骤描述 | 步骤命中率与顺序正确率 | 视频—文本对齐 |
| 跨模态推理 | 图纸、工况参数与标准条文 | 多模态输入下的工序选择与校核 | 结论正确率与中间量可复算率 | 多协议模型评测引擎 |
表 2-8 数据来源:模态占比指标依招标文件相应条款;工具链名称依招标文件 3.2.3 工具链清单。
数据贡献归因的输出分四级粒度,粒度越细,回流越定向。数据集级用于价值说明与定价;用途子集级用于投入分配;切片级用于派工;样本簇级用于定点修正。四级结论写入数据集血缘记录,与模型版本绑定。
归因要做到什么细度,取决于结论拿来干什么。如果只是为了在报告里说一句「四类数据集都有贡献」,数据集级的总分差就够了;但本项目的归因结论要直接驱动后几批数据的加工投入,甚至要派工到具体的修复动作上——某一类题反复做错,是去补采、去重标,还是把那几十条脏样本定点挖掉,这三件事的成本相差一个数量级,派错了既费钱又不解决问题。
四级粒度由粗到细排列,每一级对应一种决策,层层收窄:上面两级回答「值不值」,下面两级回答「改哪里」。四级同时保留而不是只留最细的一级,是因为最细的一级没有总量概念——样本簇级能指出具体哪几十条有问题,却说不出这一类问题整体占多大分量,拿它做投入分配会把精力耗在零星个例上。
表 2-9 数据贡献归因的粒度与用途
| 粒度 | 度量方式 | 输出形态 | 下游用途 |
|---|---|---|---|
| 数据集级 | 相邻模型版本的总分差(表 7-4 的 Δ1 至 Δ4) | 各类数据集的能力增量与置信区间 | 数据集价值说明、质量评测服务的动态验证输入 |
| 用途子集级 | 该用途子集参与与不参与的两版对照 | 预训练、微调、偏好三类的分项增量 | 后几批数据加工的投入分配 |
| 切片级 | 子集消融 A1 至 A8 的掉分幅度排序 | 切片贡献度排序表 | 补采优先级、整改任务单派工 |
| 样本簇级 | 错题检索最相似训练样本并按影响度排序 | 命中样本标识与证据清单 | 定点修正、重标、去重 |
表 2-9 数据来源:粒度划分依招标文件 3.2.6.2 第(5)项的归因要求;血缘字段依 3.2.3.10 血缘追溯能力。
训练推理不是一套交付给甲方自行运维的软件产品,而是一项带算力、带流程、带报告的技术服务。它在本项目中按三个相互隔离的域组织,域间只通过受控接口交换数据与模型文件。
训练域承担配比实验、继续预训练、指令微调、奖励模型与对齐训练。该域对外只收数据、只出 checkpoint 与训练记录,不直接对外提供推理接口。推理域承担场景验证所需的在线推理、批量生成与检索增强调用,按数据敏感级别划分为内网隔离区与受控区两个分区。评测域是一个独立的沙箱,持有冻结的基准测试子集、判分规则与随机种子,对训练域产出的任何模型版本执行同一套协议的评测;基准集不向训练域开放,以免评测样本回流进训练数据。
训练域、推理域与评测域与数据集加工生产平台同源,对外统一以「奔牛数据智能平台」作为平台称谓;本节所述三域即该平台的训练推理部分,不另立一套独立系统。三域之上是统一模型接入与评测网关。网关是本节唯一的模型调用入口:所有对基座模型、继续预训练模型、微调模型与对齐模型的调用都经网关路由,网关负责鉴权、数据分级校验、调用计量、提示词与响应留痕,以及多协议适配。把入口收到一处的直接好处是模型可替换——更换基座或升级版本时,上层的场景验证脚本与评测脚本不需要改动。
图 3-1 训练推理平台三域一网关结构与域间交换内容。数据来源:招标文件 3.2.6.2、系统集成要求、国产化要求。
三域一网关是逻辑划分,落到机器上要回答八件事:平台怎么部署、算力怎么分池、作业怎么排队与限额、数据怎么挂载、环境怎么固定、模型怎么注册、谁能动什么、训练断了怎么续。八件事在建设期第一阶段一次配齐,后续各阶段直接引用。
平台按三层部署。底层是容器编排与分布式存储,承载全部计算与数据;中间层是训练作业调度、推理服务编排与评测任务编排三组服务;上层是统一模型接入与评测网关,对外是唯一入口。三域在底层按命名空间与网络策略隔离,跨域的数据与模型文件只经受控接口传递,不共享可写目录。
表 3-1 平台部署层次与组件归属
| 层次 | 组件 | 所属域 | 对外接口 |
|---|---|---|---|
| 调度与存储底座 | 容器编排、并行文件系统、对象存储、镜像仓库、密钥服务代理 | 三域共用,按命名空间隔离 | 不对外 |
| 训练运行时 | 作业调度器、分布式训练运行时、数据预取与分词缓存、检查点存储 | 训练域 | 仅接收作业提交与检查点读写 |
| 推理运行时 | 推理引擎、批量作业队列、检索服务、公式与规则引擎适配器 | 推理域 | 经网关对外 |
| 评测运行时 | 评测任务编排、判分器容器、只读基准集挂载、产出签名服务 | 评测域 | 经网关对外,仅返回分数与产出标识 |
| 统一入口 | 模型接入与评测网关、模型注册表、鉴权与分级校验、计量与留痕 | 跨域 | 模型调用的唯一入口 |
表 3-1 数据来源:域划分依第 3.1 节;平台同源口径依招标文件 3.2.1 采购清单第 3 项与第 4 项。
算力按用途分三池,池间按阶段错峰共享而不是固定切分。训练池承担继续预训练、微调与对齐;推理池承担场景验证的在线与批量推理;评测池常驻,保证评测随时可发起——评测一旦排队,整条「评测—归因—修复—回评」就会被拖慢。
算力规划最常见的失误是按峰值堆资源:训练要的卡、推理要的卡、评测要的卡各按最忙的时候算一遍再相加,账面好看,实际大半时间闲置。本项目的实际节奏并不支持这种算法——继续预训练集中在前期几周,场景验证的推理压力在后期按批次到来,评测跟着每一轮模型版本走,三者的高峰本来就错开。
因此三池按用途分开、按阶段错峰共享,并把队列与配额写在同一行上。只分池不写队列,池内仍会被一个长作业占死;只写优先级不写配额,重跑作业会把常规实验挤光——训练过程中重跑是常态,一个配比没调好就要重来,不给重跑设上限,整池算力会被反复试错吃掉。三者写在一起,每一池的资源归属、争用规则与止损线才是闭合的。
表 3-2 资源池、队列与配额
| 池 | 规模 | 承载作业 | 队列与优先级 | 配额口径 |
|---|---|---|---|---|
| 训练池 | 64 卡(8 节点 × 8 卡) | 配比预实验、继续预训练、指令微调、奖励模型、对齐训练 | 三级队列:里程碑作业、常规实验、重跑与补算;同级按提交时间 | 单作业上限 64 卡;重跑作业占用不超过池容量的 25% |
| 推理池 | 8 卡 | 在线对话、批量生成、检索增强调用 | 两级队列:在线请求优先,批量作业排夜间窗口 | 在线常态并发 20 路、峰值 50 路;批量作业不超过窗口时长 |
| 评测池 | 4 卡常驻 | 基准评测、复现验证、污染扫描 | 单队列,先进先出 | 不被训练与推理作业抢占;评测窗口不与训练窗口共用卡 |
表 3-2 数据来源:池规模依第 3.4 节算力测算结论;并发口径依第 8.9 节。队列层级与配额比例为设计配置,按首轮实测调整。
数据按域分别挂载。训练域以只读方式挂载数据集版本目录,写操作只落在检查点目录与日志目录;评测域的基准集只读挂载并在作业起止各校验一次内容哈希;推理域不挂载训练语料,只访问检索索引与主数据接口。
基准题目一旦被训练侧看见,整个项目的评测结论就全部作废,而这件事最可能的发生方式不是有人故意作弊,是某个作业图省事把数据目录整个挂了进来。靠流程纪律防不住这类事故,只能在挂载时就把路走死:哪个目录挂到哪个域、是只读还是读写、启动时校验什么,逐条写定,写错的作业根本起不来。
表里把校验一列与挂载方式并列,是因为只读本身还不够。数据集版本目录即便只读,也可能挂错版本——用上一版语料跑出来的曲线与这一版的评测结果拼在一起,错得比挂错目录更隐蔽。所以每个挂载点都要在作业启动时校验版本号与目录哈希,分词缓存还要再校验分词器版本与数据集版本是否配对。校验不过就不起作业,这比事后在报告里解释两组数据为什么对不上要省事得多。
表 3-3 数据挂载与访问权限
| 挂载点 | 内容 | 挂载方式 | 可访问域 | 校验 |
|---|---|---|---|---|
| 数据集版本目录 | 四类数据集的各版本快照与切片索引 | 只读 | 训练域 | 作业启动时校验版本号与目录哈希 |
| 分词与索引缓存 | 分词结果、样本索引、长度分桶表 | 读写,按数据集版本分目录 | 训练域 | 分词器版本号与数据集版本号须配对 |
| 检查点目录 | 权重、优化器状态、训练状态 | 读写 | 训练域 | 保存后记录权重哈希 |
| 基准集目录 | 冻结的基准测试子集、判分规则、随机种子 | 只读 | 评测域 | 评测起止各校验一次内容哈希 |
| 评测产出目录 | 逐题响应、逐题得分、汇总分、环境指纹 | 只写,按任务标识分目录 | 评测域 | 目录整体哈希签名 |
| 检索索引与主数据 | 制度、标准、规程索引,设备与物料台账接口 | 只读 | 推理域 | 索引版本号随响应返回 |
表 3-3 数据来源:只读与签名口径依第 7.2 节评测沙箱要求;分级访问依第 9.1 节。
训练、推理、评测三类运行时各有一套基础镜像,依赖版本全部锁定,镜像摘要随作业记录归档。镜像的构建与发布走统一流程:变更依赖须提交变更说明,构建后在小规模作业上跑通回归用例,通过后才允许用于正式作业。评测镜像另有一条约束:镜像内不含联网能力,评测期间断开外部网络。
表 3-4 环境镜像与依赖锁定
| 镜像 | 锁定内容 | 变更流程 | 归档方式 |
|---|---|---|---|
| 训练镜像 | 加速卡驱动与运行时、通信库、训练框架、分词器、数据管道依赖 | 变更说明、小规模回归、发布三步 | 镜像摘要随每次作业记录 |
| 推理镜像 | 推理引擎、量化与解码依赖、结构校验器、检索客户端 | 同训练镜像,另加一轮格式与出处回归 | 镜像摘要随模型卡记录 |
| 评测镜像 | 判分器、分词器、推理客户端;不含联网能力 | 变更即递增判分规则主版本 | 镜像摘要随评测报告归档 |
表 3-4 数据来源:可复现要求依招标文件 3.2.6.2 第(5)项的评测沙箱条款。
每一个纳入的模型在注册表登记一条条目,条目是网关路由与权限判定的唯一依据,未登记的模型不可被调用。注册与注销都写审计。
一个项目做到后期,手里的模型版本会比预想的多得多:基座、继续预训练的多个检查点、基础与正式微调、对齐主线与对照组、各档量化版本,再加上国产化适配环境里的另一套。到那时最怕有人指着一份评测结果问「这是哪个模型跑的」,而答案要靠翻记录猜。
注册表把这件事挡在前面:模型不登记就调不出来,网关只认注册表里的条目。字段按三类问题设计——这是谁(标识、版本、阶段)、它能干什么(模态、上下文、工具调用)、它准进哪儿(数据级别与部署形态的许可)。第三类最容易被忽略却最要紧,它让「这个模型能不能看受控数据」变成一条可自动判定的规则,而不是每次上线前再问一遍人。
表 3-5 模型注册表字段
| 字段 | 内容 | 用途 |
|---|---|---|
| 模型标识与版本号 | 四段式版本号,见表 10-1 | 唯一定位与路由 |
| 阶段 | 基座、继续预训练、基础 SFT、正式 SFT、对齐、对照 | 能力增量归属与发布准入判定 |
| 能力标签 | 模态能力、上下文窗口、是否支持工具调用与结构化解码 | 上层按标签选模型,不认具体实现 |
| 部署位置与形态 | 全私有、专属、混合;所在分区 | 数据分级校验的比对依据 |
| 许可类型与再分发限制 | 开源许可或商用授权的可商用范围 | 交付档案与合规核查 |
| 准入评测结论 | 基准集版本下的总分、分场景分、稳定性标准差 | 启用与否的判定依据 |
| 权重精度与量化配置 | 权重精度、是否量化、量化方式与校准集版本 | 推理资源测算与结果可比性标注 |
| 启用状态与生效时间 | 启用、灰度、停用、下线 | 路由与回退 |
表 3-5 数据来源:可替换、可评测、可随代升级口径依招标文件 3.2.6.2 第(1)项。
权限按「人—角色—资源—操作」四元组定义,资源包括数据集版本、训练作业、模型版本、评测任务与报告。角色划分与三员管理模式对齐,审计角色独立,日志只对审计角色开放。
权限表里真正有分量的是最后一列:不授予什么。前三列写得再细,也只是说明各角色干活方便;只有把不授予的内容逐条写出来,评测的独立性才成立。训练作业提交者看不到基准集内容与判分规则,评测发起者改不了基准集题目也碰不到训练域的检查点——这两条合起来,出题与答题不是同一拨人这件事才有制度上的落点,而不只是一句保证。
表 3-6 训练推理环节的角色与权限
| 角色 | 可读 | 可写 | 不授予 |
|---|---|---|---|
| 训练作业提交者 | 数据集版本元数据、本人作业记录与检查点 | 提交作业、读写本人作业的检查点与日志 | 基准集内容、判分规则、他人作业的检查点 |
| 评测发起者 | 基准集版本号与协议、模型注册表、评测产出 | 发起评测任务、读取产出 | 基准集题目内容的写权限、训练域检查点 |
| 模型管理员 | 模型注册表全量、评测结论、血缘记录 | 注册、灰度、切换、下线模型 | 数据集原始语料、基准集内容 |
| 数据分级管理员 | 数据级别标签、拦截记录 | 维护级别标签与网关校验规则 | 模型权重、训练作业配置 |
| 审计角色 | 全部审计日志与留痕 | 导出审计报告 | 任何业务写操作 |
| 甲方评审角色 | 阶段报告、模型卡、评测产出摘要 | 填写评审意见 | 原始语料、权重、判分规则 |
表 3-6 数据来源:三员管理依招标文件平台安全要求;审计事件清单见第 9.3 节。
检查点按步数与时长双触发保存,保存与计算重叠执行以压低停顿。恢复分三档:卡级故障自动重调度续训,节点级故障从最近检查点重启,同一步位连续三次失败则冻结作业转人工。
几十张卡连跑一周,中途总会出事——掉卡、节点重启、存储抖动。真正决定损失大小的不是故障本身,而是最近一次可用的检查点在多久以前。保存太密,训练时间被写盘吃掉;保存太疏,一次故障赔进去的可能是大半天的算力。恢复也分情况:掉一张卡与坏一个节点,处置方式和代价完全不同,混为一谈就只剩下重跑这一条路。
表里把「不达标时的处置」单列一列,是因为保存间隔与保留份数这些值在首期都只能是设计配置,必须按实测的保存耗时与故障频次往回调。写死一个数字而不写怎么调,等于把一个必然要变的参数当成了承诺。
表 3-7 检查点保存与恢复
| 项 | 口径 | 性质 | 不达标时的处置 |
|---|---|---|---|
| 保存触发 | 每 500 步或每 4 小时,取先到者 | 设计配置 | 按实测的保存耗时与故障频次调整间隔 |
| 保留份数 | 最近 5 份滚动保留,另留各阶段里程碑份 | 设计配置 | 存储紧张时压缩滚动份数,里程碑份不删 |
| 保存内容 | 权重、优化器状态、数据管道位点、随机数状态、步数与数据集版本号 | 设计配置 | 缺项的检查点标记为不可用于续训,重新保存 |
| 恢复目标时长 | 自故障判定到训练恢复不超过 15 分钟 | 经确认的目标值 | 超时则排查镜像拉取与存储读带宽,结论写入阶段报告 |
| 续训一致性 | 恢复后 100 步内的损失曲线与故障前趋势一致 | 经确认的目标值 | 不一致说明数据位点或随机数状态未正确恢复,回退上一份检查点 |
| 连续失败 | 同一步位连续三次失败即冻结作业 | 设计配置 | 转人工排查,排查结论写入实验台账 |
表 3-7 数据来源:检查点要求依招标文件 3.2.6.2 第(2)项;恢复时长与断点续训口径依第 3.5 节国产化适配验证矩阵。
招标文件对部署形态的要求是两条并列:支持私有化部署,支持国产通用大模型。这两条在本项目里有现实约束——甲方的工艺图纸、选型方案、炉次档案与焊接参数属于企业秘密数据,按安全合规要求不出域(第 7 条),所以推理与训练的主线形态只能是私有化。
私有化部署按三种形态提供,由甲方按数据级别与算力条件选择:全私有形态,模型权重、推理服务与网关全部部署在甲方内网,无任何外部网络依赖;专属形态,部署在我方位于宁夏境内的合规算力环境,以专线接入,数据在省内闭环,适用于算力需求集中、甲方机房资源不足的训练阶段;混合形态,训练在专属环境进行,推理下沉到甲方内网,模型权重经国密算法加密后交付。三种形态共用同一套网关接口与同一套评测协议,切换时不改上层应用。
国产通用大模型支持落在三个层面。权重层面,入选基座须提供可商用的开源许可或可授权的商用许可,许可文本纳入交付档案;接口层面,网关对国产模型常见的调用协议做适配,包括兼容通用对话接口规范的 HTTP 调用、流式输出、工具调用与多模态输入;运行层面,模型须能在国产加速卡与国产操作系统组合上完成推理部署并通过功能与性能基线测试。我方不把微调或私有化改造写成建设主线——主线是用甲方的数据把模型的领域能力提上来,模型本身可替换、可评测、可随代升级。
表 3-8 私有化部署形态对照
| 形态 | 权重与服务位置 | 数据出域情况 | 适用阶段 | 算力来源 |
|---|---|---|---|---|
| 全私有 | 甲方内网 | 不出甲方内网 | 场景验证推理、最高级数据处理 | 甲方采购的通用服务器 + 本项目配置的推理池 |
| 专属 | 我方宁夏境内合规算力环境 | 不出自治区,专线闭环 | 继续预训练、大批量微调与对齐训练 | 我方算力资源池【待填:资源池规格与到位时间】 |
| 混合 | 训练在专属环境,推理在甲方内网 | 训练语料按脱敏后版本上行,权重加密下行 | 建设期主线形态 | 两侧共用 |
算力规划不能靠「配置若干台服务器」一句话交代。本节按工作量正算:训练算力按六倍参数量乘训练 Token 数估算,推理算力按每生成一个 Token 消耗两倍参数量估算;单卡有效算力按 BF16 峰值 280 TFLOPS、模型算力利用率 32% 折算为 90 TFLOPS,即每卡日可提供约 7.8×10¹⁸ 次浮点运算。这三个假设是测算的全部前提,实测偏离时按同一公式重算,不改结论的推导方式。
主线模型档位取 80 亿参数级,覆盖全部环节;另设 300 亿参数级验证档,用于观察数据集的能力增量在更大参数量上是否保持同一趋势,该档只在分层抽样的 30% 子集上跑一轮,不作为交付模型主线。两档并行的理由是:数据集的价值证明需要跨参数量成立,只在一个档位上出现的增量无法排除偶然。
表 3-9 分环节算力测算(主线档 80 亿参数级,验证档 300 亿参数级)
| 环节 | 档位 | 等效训练 Token | 卡天 | 建议并发卡数 | 墙钟时长 |
|---|---|---|---|---|---|
| 配比预实验(4 组对照,各取 10% 子集) | 80 亿 | 246 亿 | 152 | 32 | 约 4.8 天 |
| 继续预训练(含视觉等效 Token 6.5 亿) | 80 亿 | 621.5 亿 | 398 | 64 | 约 6.2 天 |
| 继续预训练(验证档,30% 分层子集) | 300 亿 | 184.5 亿 | 426 | 64 | 约 6.7 天 |
| 基础 SFT + 子集消融 SFT(8 组)+ 混合配比 SFT(4 组) | 80 亿 | 合计 174 亿 | 60 | 16 | 约 3.8 天 |
| 验证档 SFT(低秩微调) | 300 亿 | 32 亿 | 33 | 32 | 约 1.0 天 |
| 奖励模型训练(3 组超参) | 80 亿 | 9.5 亿 | 6 | 8 | 约 0.8 天 |
| 偏好对齐(直接偏好优化,6 组超参) | 80 亿 | 19 亿等效 | 11 | 8 | 约 1.4 天 |
| 近端策略优化对照(1 组,验证性) | 80 亿 | — | 21 | 8 | 约 2.6 天 |
| 基准评测与复现验证(6 个模型版本 × 3 次重复) | 两档 | — | 4 | 8(常驻) | 随版本节奏 |
| 单轮合计 | — | — | 1111 | — | — |
单轮测算之外要留迭代余量。评测与归因会驳回部分配比与微调配置并要求重跑,按配比环节平均 3 轮、继续预训练环节平均 2 轮、微调环节平均 3 轮、对齐环节平均 2 轮估算,建设期训练算力总需求约 2,400 至 2,600 卡天(按表 3-9 各行卡天分别乘以上述轮数,合计约 2,460 卡天)。
据此建议的资源配置为:训练池 64 卡(8 节点 × 8 卡,节点间 RDMA 互联带宽不低于 200 Gbps,参数面与存储面物理分离),推理池 12 卡(其中 4 卡用于评测沙箱常驻、8 卡用于场景验证推理与批量生成),两池按阶段错峰共享。训练池的占用高峰集中在继续预训练与对齐两个窗口,其余时间可释放给推理与评测。
存储按四类产物分别估算。文本语料 615 亿 Token,中文按每 Token 约 1.5 个字符折算,原文约 277 GB,计入多版本与检索索引后约 0.9 TB;多模态原始件含 63 万张历史工艺样本及红外与视频帧,约 3.0 TB;模型 checkpoint 按主线档保留 20 份、验证档保留 6 份,含优化器状态约 5.4 TB;训练日志、评测产物与血缘记录约 0.5 TB。合计可用容量约 10 TB,按纠删码与快照冗余配置,裸容量按 25 TB 规划。并行文件系统承载训练读写,对象存储承载语料与归档。
表 3-10 存储容量规划
| 类别 | 内容 | 可用容量 | 承载方式 |
|---|---|---|---|
| 文本语料 | 615 亿 Token 原文、分词缓存、检索索引、多版本 | 约 0.9 TB | 对象存储 + 并行文件缓存 |
| 多模态原始件 | 63 万张历史工艺样本、红外与热成像帧、视频片段、图纸渲染件 | 约 3.0 TB | 对象存储 |
| 模型 checkpoint | 主线档 20 份、验证档 6 份,含优化器状态 | 约 5.4 TB | 并行文件系统 |
| 过程产物 | 训练曲线、中间评测、评测明细、血缘与审计记录 | 约 0.5 TB | 并行文件系统 + 数据库 |
| 冗余口径 | 纠删码 + 快照 | 裸容量约 25 TB | — |
算力测算的不确定性与不确定时的处置一并给出,使这组数在验收时可用。
不确定性来自三处。其一是基座模型的参数规模尚未最终选定。本方案不绑定具体型号,不同参数规模的继续预训练,其算力需求可相差数倍,因此资源申请与验收解释以区间为准;表 3-9 给出的卡天,是在主线 80 亿参数级、验证档 300 亿参数级及本节公式假设下的测算示例与排产用数,假设变化后按触发式复算更新。
其二是实际 Token 量会随数据加工进度浮动。预训练子集按 615 亿 Token 承接,进入训练的则是经过去重、质量过滤与配比采样后的实际量,二者之间有一个折减系数,该系数在首批数据加工完成后测得。其三是训练轮次取决于收敛情况。继续预训练通常在一到三个轮次之间,具体轮次按验证集损失的下降趋势决定,开工前只给区间。
因此本方案的算力测算按区间与触发式复算给出:先给出区间与测算依据(参数规模区间、Token 量、轮次区间、单位算力吞吐的参考值与来源;表 3-9 单点行为该依据下的工作量示例);在三个时点触发复算——基座模型选定后、首批数据加工完成后、首轮继续预训练结束后。每次复算输出一份更新的资源需求说明,与招标方确认后作为后续资源申请的依据。复算记录连同前后差异的原因一并留存,使资源变化可被追溯,不出现「当初说的和后来用的对不上」却无从解释的情形。
需要特别说明一处边界:本项目采购清单中不含算力硬件,训练推理所需算力由招标方既有资源或另行采购提供。我方承担的是测算、适配、调优与资源使用效率的说明,并在资源到位后按实测标定复算。资源到位节奏与测算不一致时,按本节第 3.7 节的作业编排方案降级运行(减小批次规模、延长训练周期、优先保证评测与推理服务),对进度的影响在阶段报告中定量说明。
国产化适配在建设期第一阶段完成,按六类对象提出技术要求并逐项验证:驱动与固件、集合通信库、训练与推理框架、算子、数值精度、长稳与性能。六类的要求、验证方法与通过口径列于表 3-11,验证按四步推进,每一步的记录随国产化适配验证报告提交。
第一步是环境基线。在国产加速卡、国产 CPU、国产操作系统与国产数据库的组合上安装驱动与固件、集合通信库、训练框架、推理引擎与容器运行时,版本逐项登记并写入环境镜像的依赖锁定文件;跑通单卡与双机多卡的最小训练任务与最小推理任务,记录启动耗时、显存占用与通信初始化结果。
第二步是算子覆盖核查。导出本项目训练与推理实际调用的算子清单,逐项确认有无原生实现;无原生实现的给出等价组合实现,并记录其性能损失幅度与精度偏差;清单随框架版本更新复核一次。
第三步是数值精度一致性比对。同一权重、同一输入、同一随机种子,在国产卡与参考环境各跑一次前向与一次反向,比对逐层输出的最大相对误差、梯度范数差异与最终结果差异,并在基准测试子集上比对评分差异。混合精度的累加精度、规约顺序与溢出处理按框架配置固定并记录。
第四步是长稳与性能验证。连续 72 小时训练不中断,记录吞吐、显存占用、通信开销占比、温度与功耗曲线、断点续训恢复时长;期间注入一次节点故障与一次卡故障,验证自动恢复路径。
表 3-11 国产化适配的六类技术要求
| 对象 | 技术要求 | 验证方法 | 通过口径 | 记录项 |
|---|---|---|---|---|
| 驱动与固件 | 版本与加速卡型号、操作系统内核版本配套;支持多卡拓扑发现与显存统一寻址 | 安装后执行拓扑发现与设备自检 | 安装与运行无告警,拓扑识别与实际连接一致 | 驱动与固件版本号、自检输出 |
| 集合通信库 | 支持全规约、全收集、规约散射与点对点;支持节点内高速互联与节点间 RDMA | 通信带宽与延迟基准测试,覆盖 1 MB 至 1 GB 消息长度 | 节点内带宽不低于硬件标称的 80%,节点间不低于 70% | 各消息长度的带宽与延迟曲线 |
| 训练与推理框架 | 训练支持张量并行、流水并行、序列并行、优化器状态分片与激活重算;推理支持批量与流式输出、长上下文与多模态输入 | 在最小模型上逐项开启并跑通 | 各并行维度可单独与组合启用,结果一致 | 框架与插件版本、启用组合清单 |
| 算子 | 训练与推理实际调用的算子均有原生实现或等价组合实现 | 导出算子清单逐项核查 | 无原生实现的算子均有等价实现且精度比对通过 | 算子清单、回退实现清单与性能损失幅度 |
| 数值精度 | 混合精度下的累加精度、规约顺序与溢出处理可配置且固定 | 同权重、同输入、同种子的前向与反向比对 | 逐层输出最大相对误差不超过 1×10⁻²;基准集总分与参考环境差异不超过 1 分 | 逐层误差表、评分差异表 |
| 长稳与性能 | 连续训练不中断,故障可自动恢复 | 72 小时连续训练,期间注入节点故障与卡故障各一次 | 72 小时无中断;单卡吞吐不低于参考环境的 70%;续训恢复不超过 15 分钟 | 吞吐、显存、通信占比、温度与功耗曲线、恢复时长 |
表 3-11 数据来源:国产化要求依招标文件;兼容性互认证明材料依招标文件相应条款。表中带宽比例、相对误差上限与吞吐比例为设计配置,首轮实测后按实测基线修订;72 小时连续训练、1 分评分差异与 15 分钟恢复时长为经确认的目标值。
上面六类技术要求回答的是「要做到什么程度」,但适配工作有其不确定性:国产加速卡的算子覆盖、框架版本的配套、长稳表现,都要到真机上跑过才知道。承诺每一项都通过没有意义,有意义的是每一项万一不通过还有哪条路可走——这正是这张矩阵要补上的一列。
六个适配对象各自给出通过口径与不通过时的回退,回退都落到具体动作上:训练侧并行维度降一档、改走低秩微调路线、把长周期任务移到已验证的节点;推理侧下沉到通用服务器推理或缩小上下文窗口分段处理;算子缺失则替换为功能等价的网络结构,并把这一变更记入模型卡。最后半句尤其要紧——结构变更会影响结果的可比性,不记进模型卡,后期拿两个环境的评测分作对照就会得出错误结论。
有了这一列,国产化适配从一项成败未知的工作,变成一项无论结果如何都能继续推进的工作。
表 3-12 国产化适配验证矩阵
| 适配对象 | 验证内容 | 通过口径 | 不通过时的回退 |
|---|---|---|---|
| 国产加速卡(训练) | 多卡并行训练、混合精度、断点续训 | 72 小时连续训练无中断;单卡吞吐不低于参考环境的 70%;续训恢复不超过 15 分钟 | 降低并行维度或改用低秩微调路线;长周期任务移至兼容性已验证的节点 |
| 国产加速卡(推理) | 批量与流式推理、长上下文、多模态输入 | 基准测试子集总分与参考环境差异不超过 1 分;首 Token 延迟不超过 1.5 秒 | 推理下沉到通用服务器 CPU 推理或缩小上下文窗口分段处理 |
| 算子覆盖 | 实际用到的算子逐项核查 | 无原生实现的算子均有等价组合实现且精度比对通过 | 替换为功能等价的网络结构;该结构变更记入模型卡 |
| 国产操作系统 | 驱动、通信库、框架、容器运行时 | 安装与运行无告警;提供兼容性互认证明材料 | 【待填:兼容性互认证明材料来源与份数】 |
| 国产数据库 | 元数据、作业记录、评测结果存储 | 功能与性能基线测试通过 | 元数据层加抽象适配,隔离方言差异 |
| 服务密码机 | 语料与权重的国密加解密、密钥管理 | SM2/SM3/SM4 调用成功率与性能满足招标文件相应条款参数 | 由商用密码服务平台软实现承接,性能下降幅度记入报告 |
推理适配这一行里的时延口径判的不是服务能力,而是国产加速卡与参考环境之间的差距,测法因此要写明。首期按「首 Token 延迟不超过 1.5 秒」设定基线,与第 8.9 节的服务口径取同一数值,便于两处对照。判定方式是在国产卡节点上按常态并发 20 路重放一份固定的请求样本集,样本取自场景验证期间的真实提问,不少于 1,000 条,连续压测不少于 30 分钟,取首 Token 延迟的 95 分位值;同一份请求集在参考环境各跑一次作对照。适配验证期内每两周判定一次,模型版本、量化档位或推理镜像任一变更后当次补测。超过 1.5 秒的,先按缩短提示长度、启用前缀缓存、拆分检索与生成两段返回三步在现有资源内调整;调整后仍超出的,该形态的在线对话下沉到通用服务器推理或缩小上下文窗口分段处理,并把这一路线记入模型卡。随着算子覆盖补齐与缓存策略固化,这项时延的目标逐步接近 1.2 秒。
国产化比率按招标文件口径核算:数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件设备整体国产化比率不低于 80%。该比率按采购金额口径核算:分母为本项所采购或开发的软硬件金额,即硬件采购金额与软件许可及自研交付金额之和,国产化比率 = 1 − 非国产部分金额 ÷ 分母(明确「仅针对本项所采购或开发的软硬件」)。
本节涉及的训练池、推理池与在线存储属服务形态下提供的算力资源,不在本项采购范围内,因此按同一判定规则纳入国产化适配登记与验证,但不计入核算分母——这部分资源的国产化情况不由本包决定,计入分母等于把不可控项写进可核算的承诺。
表 3-12 的国产加速卡适配验证矩阵与遴选维度中的适配成熟度权重不受此影响,继续作为适配承诺执行。之所以不按台套数计,是因为台套口径下单一设备类目的数量占比过高,比率会由该类目的判定结果单独决定,不是稳健的计量方式。逐项构成、判定依据与分母定义以项目组的国产化率核算件为准,统计表随阶段验收提交。
网关解决四个问题:模型怎么换、数据怎么拦、调用怎么算、过程怎么查。
模型接入采用适配器结构。每一个纳入的模型注册为一条模型条目,条目记录模型标识、参数量级、上下文窗口、模态能力、部署位置、许可来源、评测得分与启用状态。上层调用只认模型标识与能力标签,不认具体实现。新增或替换模型时,只增删条目并跑一遍准入评测,上层脚本不动。这是「可替换、可评测、可随代升级」落到工程上的具体形态。
数据分级拦截在网关层做硬校验。按甲方数据分级结果,样本携带级别标签进入网关,网关比对目标模型所在分区的许可级别:级别不符的请求被拒绝并记录,不做降级透传。最高级数据的请求只允许路由到全私有形态的推理实例。这一条与安全方案章节的数据分级口径保持一致,本节不另立标准。
调用计量按模型、按场景、按调用方记账,输出 Token 消耗、请求数、失败率与排队时长。这组数据有两个用处:一是支撑运营平台的服务计量与成本归集;二是为算力配额调整提供依据,训练窗口期可据此压降低优先级的推理流量。
过程留痕记录请求上下文摘要、模型标识与版本、随机种子、响应内容与判分结果。涉及企业秘密数据的请求体按配置只留哈希与字段清单,不留原文。留痕是评测可复现与错题归因的前提——没有留痕,错题溯源就只能靠重放猜测。
统一网关解决三个具体问题,替换一次模型的工作量也是确定的,以下分别给出。
解决的问题有三个。第一是评测口径的一致性:同一套评测集在不同模型上跑,若各自用各自的推理参数与后处理,得到的分数不可比;网关把推理参数、停止条件、输出解析统一管起来,使得「换了模型之后分数变化」确实反映模型差异,而不是参数差异。第二是调用记录的完整性:每一次调用的模型标识、版本、参数、输入输出摘要与耗时统一留痕,这是数据集血缘中「模型版本」字段的来源,也是合成样本溯源的依据。第三是成本与配额的可控:按场景与任务类型设配额,避免单一任务耗尽资源。
替换一次模型实际要做的工作,分四步:接入层适配(对接新模型的接口与参数空间,在网关内完成,不改业务侧代码)、评测基线重跑(在固定评测集上跑出新模型的基线分数,与现行模型对比)、影响面评估(查血缘,列出曾用现行模型产出的数据子集与评测结论,判断是否需要重做)、切换与观察(按场景分批切换,保留回退开关)。
四步中以影响面评估最为关键。换模型不只是换一个服务,还意味着此前用旧模型合成或评测过的样本,其结论的可比性发生了变化。本方案把这一步写进替换流程,并要求在数据卡中记录每一版数据集所用的模型版本。
本方案在模型侧的承诺落在网关层的四项工程能力上:接入可替换、评测可复现、调用可追溯、切换可回退,四项均在验收时实测并出具记录。模型自身的能力水平以统一评测集的实测得分呈现,随版本演进定期复测、更新评测记录,使选型与升级始终以当期实测数据为依据。
训练任务按作业提交,作业描述包含数据集版本号、配比配置、模型档位、并行策略、超参、随机种子与评测触发条件。作业编排按优先级与配额调度,同一数据集版本的重跑作业自动复用已缓存的分词结果与数据索引。
训练稳定性靠三件事保障。一是检查点策略:按步数与时长双触发保存,保留最近若干份与各阶段里程碑份,保存操作与训练计算重叠执行以压低停顿。二是故障自愈:节点或卡故障时作业自动从最近检查点恢复,恢复目标时长不超过 15 分钟;连续三次同点失败则冻结作业并转人工排查。三是数据管道隔离:语料读取与训练计算解耦,读取侧出现慢盘或网络抖动时由预取缓冲吸收,避免训练停等。
训练任务的恢复目标与检查点保留策略按表 3-7 执行,实际达成值随阶段报告给出;与之对应的平台级性能、容灾与可恢复性指标体系由非功能性章节定义,两处口径一致。
配比设计以四项统计为唯一依据;统计结果同时作为后续评测归因时判断数据是否充足的参照。
Token 规模统计按用途子集与数据集领域两级展开。全量预训练子集 615 亿 Token,其中供需计划 276 亿、产品工艺设计 70 亿、制造过程 105 亿、产品质量 164 亿。统计口径统一为同一分词器下的 Token 数,分词器版本号随统计表归档——换分词器则统计失效。领域维度按四个数据集领域计,与九个业务域的来源构成统计分表出具,口径见第 2.2 节。
模态分布统计给出两套口径,不能混用。按样本条数计,多模态样本占比不低于 40%,模态种类不少于 3 种,近 3 年内数据条数占比不低于 40%。按等效 Token 计,图像与时序样本的占比天然远低于条数占比,因为一张图纸渲染件折算约 1,024 个视觉 Token,一段振动信号离散化后折算的 Token 数也有限。两套口径并列呈现,避免「多模态占四成」被误读为「四成的训练算力花在多模态上」。
来源构成统计按四类来源归集:业务系统类,来自 17 个外围应用系统的结构化记录与经转写的文本;文档类,来自二维图纸、工艺卡片、作业指导书、技术标准、历史选型方案与质量票据;设备类,来自数据采集与监控系统、热处理群控系统与在役装备远程运维平台的过程数据;外部公开类,来自行业标准、专利文本与公开技术文献中权利状态清晰、可合法用于训练的部分。每条样本携带来源标识,支撑后续按来源做归因与质量分级。
领域子集统计按四个数据集领域给出 Token 数、样本条数、时效分布与质量分级结果,另按九个业务域给出来源构成与治理属性(第 2.2 节)。质量分级取自上游数据集质检环节的门控结论,训练推理环节消费分级结果,质检由加工生产环节负责。
表 4-1 预训练子集统计口径与归档要求
| 统计项 | 口径 | 粒度 | 归档形式 |
|---|---|---|---|
| Token 规模 | 统一分词器下的 Token 计数,记录分词器版本号 | 用途子集 × 数据集领域 | 统计表 + 分词器指纹 |
| 模态分布 | 样本条数口径与等效 Token 口径并列 | 模态 × 数据集 | 双口径统计表 |
| 来源构成 | 业务系统/文档/设备/外部公开四类 | 来源 × 业务域 | 统计表 + 来源标识字段 |
| 领域子集 | 四个数据集领域(供需计划、产品工艺设计、制造过程、产品质量) | 数据集领域 × 时效区间 × 质量等级 | 统计表 + 质量分级引用 |
| 来源业务域 | 九个业务域,与数据集领域为多对多交叉 | 业务域 × 来源系统 × 安全级别 | 来源构成统计表 + 样本级业务域标识 |
| 时效分布 | 近 3 年内与 3 年以上 | 数据集 × 年度 | 统计表 |
自然占比直接用作训练配比会出问题。供需计划子集 276 亿 Token 占到全量的 44.9%,但这类语料中合同、订单与排产记录的模板化程度高,重复句式密集,按自然占比训练会让模型把算力花在学模板上。产品工艺设计子集只有 70 亿 Token,占 11.4%,却承载着 28 道备料工序的顺序约束、图纸符号的工艺含义与中性层展开计算这些最难学也最要紧的知识。配比设计要做的就是把这个倒挂扳过来。
采样权重按「轮次」给出,即该子集在一轮继续预训练中被完整遍历的次数,小于 1 表示按权重随机抽取部分样本。权重设计的依据有三条:子集内部的重复度(去重后信息量)、子集对应场景的验证难度,以及配比预实验的实测结果。
表 4-2 四类数据集的采样权重与训练配比
| 数据集 | 自然 Token(亿) | 自然占比 | 采样轮次 | 参与训练 Token(亿) | 训练配比 | 定权依据 |
|---|---|---|---|---|---|---|
| 供需计划 | 276 | 44.9% | 0.72 | 198.7 | 32.0% | 合同与订单文本模板化程度高,去重后有效信息密度偏低,下采样抑制模板过拟合 |
| 产品工艺设计 | 70 | 11.4% | 1.80 | 126.0 | 20.3% | 承载 28 道工序顺序约束、图纸符号语义与展开长计算,信息密度高且场景验证难度最大 |
| 制造过程 | 105 | 17.1% | 1.30 | 136.5 | 22.0% | 热处理炉次与焊接焊道的过程—结果映射关系稀疏,需要更多轮次建立关联 |
| 产品质量 | 164 | 26.7% | 0.98 | 160.7 | 25.8% | 质量票据与检验记录结构规整,按自然占比略减 |
| 合计 | 615 | 100% | — | 621.9 | 100% | — |
图 4-1 四类数据集自然 Token 占比与采样加权后训练配比的对比。数据来源:招标文件逐数据集规模表。
模态维度的配比单独处理。按等效 Token 计,文本占绝大部分,图像与时序合计不足 3%;若按 Token 比例混批,视觉与时序能力会被文本淹没。做法是分批次而不是分 Token:在继续预训练的训练步中,按固定比例安排图文混合批次与时序—文本配对批次,让这两类样本获得与其重要性相称的梯度更新机会,同时在批内保持序列长度与计算量均衡。
表 4-3 模态配比与批次策略
| 模态 | 原始量纲 | 等效 Token(亿) | Token 占比 | 批次策略 |
|---|---|---|---|---|
| 文本 | 系统记录转写、工艺卡、作业指导书、标准、历史方案 | 608.6 | 97.9% | 常规文本批次,占训练步约 70% |
| 图像与图文对 | 63 万张历史工艺样本、图纸渲染件、红外与热成像帧 | 6.5 | 1.0% | 图文混合批次,占训练步约 22%,视觉编码器前期冻结后期解冻 |
| 时序 | 振动、温度、压力、冷却水流量、焊接参数流 | 6.8 | 1.1% | 时序—文本配对批次,占训练步约 8%,时序经离散化与通道标注后入模 |
| 合计 | — | 621.9 | 100% | — |
配比不是一次定死的。建设期先做 4 组配比对照预实验(算力测算见表 3-9 第一行):一组按自然占比,一组按表 4-2 权重,一组加大工艺设计子集至 2.4 轮,一组加大制造过程子集至 1.8 轮。四组各在 10% 分层抽样子集上训练,用领域知识探针与保留语料困惑度两项指标横向比较,择优确定正式权重。预实验的四组结果一并写入知识注入有效性报告,使权重选择有据可查,而不是一句「经优化确定」。
招标文件要求选取适配矿山装备制造业务的开源 LLM/VLM 基座模型。我方采用当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级。基座不预先指定,而是按下表维度实测打分后确定入选名单,名单随版本迭代复评;正式方案中不绑定具体型号,避免建设期内模型代际更替导致方案失效。
表 4-4 基座模型遴选维度与权重
| 维度 | 权重 | 评测方式 | 与本项目的关联 |
|---|---|---|---|
| 中文与专业术语理解 | 18% | 用本项目领域知识探针的基座基线得分 | 工艺术语、设备部件命名、符号表达是全部场景的共同底座 |
| 长上下文处理 | 15% | 在 32K 与 128K 窗口下做长文档定位与跨段推理测试 | 一个项目涉及四百张左右图纸与成套工艺卡,跨文档对照是常态 |
| 图纸与图像理解(VLM 档) | 15% | 图纸渲染件的图元识别、尺寸与符号读取测试 | 板材备料工艺设计以图纸为输入 |
| 数值与公式推理 | 14% | 选型校核公式的多步计算与单位一致性测试 | 输送能力、运行阻力、驱动功率、链条安全系数需可复算 |
| 许可合规 | 14% | 核验开源许可或商用授权文本的可商用范围与再分发条款 | 交付物须权利清晰,纳入交付档案 |
| 国产加速卡适配成熟度 | 12% | 按表 3-12 矩阵实测 | 国产化比率不低于 80% |
| 版本迭代节奏与推理成本 | 12% | 近两年版本发布频次、同等能力下的推理资源占用 | 建设期至 2028 年 5 月,需支撑随代升级 |
遴选分两轮。初筛按许可合规与国产卡适配成熟度做硬条件过滤,不满足的不进入实测。复选在同一评测沙箱中用本项目基准测试子集与领域知识探针实测打分,取加权总分前列的 LLM 与 VLM 各不少于两个作为候选,主线一个、备选一个。备选的作用是在主线出现许可变更、适配阻塞或能力停滞时切换,切换时配比与训练配置不变,只重跑训练与评测,使更换基座的代价限定在算力而不是方案返工。
继续预训练的目标是把领域知识注入基座,同时尽量不损伤通用能力。两者有张力:学习率给高了领域知识进得快但通用能力退化明显,给低了注入不足。本项目的做法是小学习率、长预热、两阶段序列长度、并配通用保留集的困惑度看门。
并行策略按模型档位与卡数确定。主线 80 亿参数级采用张量并行 2 路、数据并行其余维度、优化器状态与梯度分片、激活值选择性重算;验证档 300 亿参数级增加流水并行 4 级与序列并行。全局批次按 400 万 Token 组织,序列长度先 8K 跑前 80% 步数、再切 32K 跑后 20% 步数,使长上下文能力在不显著抬高全程显存的前提下得到训练。
表 4-5 继续预训练关键配置
| 配置项 | 主线档(80 亿) | 验证档(300 亿) | 说明 |
|---|---|---|---|
| 并行策略 | 张量并行 2 + 数据并行 + 优化器分片 | 张量并行 4 + 流水并行 4 + 序列并行 | 以通信开销占比不超过 20% 为选型约束 |
| 全局批次 | 约 400 万 Token | 约 400 万 Token | 保持两档可比 |
| 序列长度 | 8K(前 80% 步)→ 32K(后 20% 步) | 同主线 | 长上下文能力分段训练 |
| 学习率 | 峰值 2×10⁻⁵,预热 2% 步数,余弦衰减至峰值 10% | 峰值 1×10⁻⁵ | 小学习率抑制通用能力退化 |
| 权重衰减/梯度裁剪 | 0.1 / 1.0 | 0.1 / 1.0 | — |
| 视觉编码器 | 前 60% 步冻结,后 40% 解冻并用 1/5 学习率 | 同主线 | 避免早期图文对齐噪声破坏视觉表征 |
| 检查点 | 每 500 步或每 4 小时保存,保留最近 5 份 + 阶段里程碑份 | 同主线 | 支撑断点续训与回退 |
| 中间评测 | 每 1,000 步跑一次探针短集与保留集困惑度 | 每 1,000 步 | 异常即停,不等跑完 |
并行策略那一行的约束不是一项配置参数,而是一道选型门限:同样的卡数下,并行维度切得越碎,卡与卡之间搬运数据占掉的时间越多,算力就越多地花在等待上。首期按「通信开销占比不超过 20%」设定基线。该占比按每 100 步采集一次的通信耗时与墙钟时长之比计算,取整轮的中位数,主线档与验证档分别统计,每轮训练结束判定一次,并行配置变更后当轮复算。超过 20% 的,先核查节点间互联带宽是否落在表 3-11 的口径内,再按降低张量并行维度、增大全局批次、调整梯度规约与计算的重叠方式依次处置;处置后仍超限的,该轮作业改到互联带宽已验证达标的节点组上重跑,实测占比与调整过程记入作业回填表。重叠策略与分片粒度随实测逐轮收敛,这项占比的目标逐步接近 15%。
继续预训练按作业规格发起,规格一次定义、每轮引用,逐项在实验台账中登记与回填。
继续预训练是本项目算力开销最大的一步,主线档等效训练 621.5 亿 Token、约 398 卡天,一轮跑下来六天以上。这样的量级意味着错误的代价与发现错误的时机直接挂钩:第一天发现配比填错了,损失是一天;第五天才发现用的是上一版语料,损失是整轮,而且后面排着的微调、对齐与评测全部顺延。更麻烦的是,这类错误往往不表现为报错——曲线照样往下走,分数照样能出,只是出来的结论指向了错误的原因。
把一次训练该交代清楚的事情固定成一张作业规格表,针对的就是这件事。规格里的各项不按执行顺序排,而按「出了问题要回头查什么」排:输入版本与种子回答「这一轮到底用的什么数据」,任务配置与超参回答「当时怎么设的、凭什么这么设」,三项测算回答「该花多少、实际花了多少」,监控与两类停止条件回答「什么时候该停、谁来叫停」,排查顺序回答「停了以后从哪儿开始查」,交付回答「这一轮应当留下什么」。缺哪一项,事后复盘就在哪一项上断线。
几处写法是刻意的。超参一栏要求连选取依据一起填——峰值学习率取 2×10⁻⁵,依据是配比预实验里通用保留集困惑度上升幅度最小的那一档,不是经验值;验证档取 1×10⁻⁵,依据是参数量增大后梯度范数上升的实测观测。只填数值不填依据,换个人接手就只能照抄,调不动也不敢调。测算值与实测值分列,是因为显存、存储、时长这三项测算都要在首轮之后按实测修订,混成一栏,修订过一次就再也说不清原始估算是多少、偏了多远。排查顺序写死四步——先查数据管道的批次组织、异常样本与填充比例,再查配比配置与采样种子,再查并行配置与通信,最后才查学习率与梯度裁剪——这是按故障概率从高到低排的。训练出问题时最先被怀疑的往往是学习率,而实际上多数情况问题出在数据管道上,顺序定死能省掉大量无效排查。
两档并列呈现而不是分开写两张表,是因为验证档存在的意义就是与主线档对照。参数量从 80 亿放大到 300 亿,哪些配置原样不动、哪些必须改,只有并排摆着才看得出来:并行策略要加流水并行与序列并行,学习率要降一半,抽样要另记种子,排查要多查一级间的负载均衡,其余大部分保持一致。这种同中有异正是放大实验要给出的结论——它既验证了方法在更大参数量上仍然成立,也标出了成立所需的条件。
这张表证明的是:继续预训练在本项目不是一次性的试验,而是一道可以被同样条件重跑、被第三方按同一份记录复算的工序。
表 4-6 继续预训练阶段作业规格
| 规格项 | 主线档(80 亿参数级) | 验证档(300 亿参数级) | 性质 |
|---|---|---|---|
| 输入版本 | 预训练子集的四个领域版本号与切片清单、分词器版本号、配比配置标识 | 同主线,另记分层抽样 30% 的抽样种子 | 实验登记项 |
| 任务配置 | 张量并行 2、数据并行其余维度、优化器状态与梯度分片、激活值选择性重算 | 张量并行 4、流水并行 4、序列并行 | 设计配置 |
| 超参与选取依据 | 峰值学习率 2×10⁻⁵,依据是配比预实验中通用保留集困惑度上升幅度最小的一档;预热 2% 步数、余弦衰减至峰值 10%;权重衰减 0.1、梯度裁剪 1.0 | 峰值学习率 1×10⁻⁵,依据是同族实验中参数量增大后梯度范数上升的观测 | 设计配置 |
| 显存测算 | 按权重、梯度、优化器状态与激活值四项分项估算,分片后单卡常驻占比目标不超过单卡容量的 85% | 同口径,流水并行后按级估算 | 测算值 |
| 存储测算 | 单份检查点含优化器状态按权重体量的约 4 倍计;保留 20 份,合计约 5.4 TB(见表 3-10) | 保留 6 份,计入同一存储池 | 测算值 |
| 时长测算 | 等效训练 Token 621.5 亿,398 卡天,64 卡并发约 6.2 天(见表 3-9) | 184.5 亿等效 Token,426 卡天,约 6.7 天 | 测算值 |
| 监控 | 每 10 步采训练损失、各领域分损失、梯度范数;每 100 步采吞吐与显存;每 1,000 步跑探针短集与两套保留集困惑度 | 同主线 | 设计配置 |
| 正常停止条件 | 达到计划步数,且领域保留集困惑度连续 3 次中间评测的下降幅度小于 0.5% | 达到计划步数 | 设计配置 |
| 异常停止条件 | 探针得分连续两次中间评测不升反降;通用保留集困惑度上升超过 5%;损失出现尖峰且回退后复现 | 同主线 | 经确认的目标值 |
| 异常排查顺序 | 一查数据管道(批次组织、异常样本、填充比例),二查配比配置与采样种子,三查并行配置与通信,四查学习率与梯度裁剪 | 同主线,另查流水级间负载均衡 | 作业规程 |
| 交付 | 训练曲线数据文件、检查点清单、中间评测结果、知识注入有效性报告 | 趋势对照数据,并入知识注入有效性报告的验证档章节 | 交付物 |
表 4-6 数据来源:过程记录项依招标文件 3.2.6.2 第(2)项;算力与存储测算依第 3.4 节;停止条件与排查顺序为作业规程,随实测修订。
过程记录是招标文件的明文要求,也是整个服务可被核验的基础。记录分三类并随阶段报告提交:训练曲线,含训练损失、各子集分损失、学习率、梯度范数、吞吐、显存占用与通信占比,按步采样落盘;checkpoint 清单,含步数、时间戳、数据集版本号、配比配置、随机种子、权重哈希与对应的中间评测结果;中间评测结果,含探针短集得分、领域保留集与通用保留集困惑度,以曲线形式呈现并标注异常点与处置动作。
图 4-2 继续预训练流水线、过程记录与知识注入验证的衔接关系。数据来源:招标文件 3.2.6.2。
继续预训练这一步,最常见的失败不是没学会,而是学会了行业知识却丢了通用能力。这个现象在行业继续预训练中相当普遍:模型在矿机术语、工艺判断上的表现提升,但在指令遵循、格式规范、长文本理解上的表现下降,综合下来反而不如基座。本方案把它当作必须主动检测的风险,而不是事后发现的意外。
检测办法是双集并行评测:每一个训练检查点,同时在行业评测集与通用能力保持集上跑分。通用能力保持集不由本项目新建,取公开通用评测集中与本项目任务形态相关的子集(指令遵循、格式规范、长上下文、推理),固定题目与评分方式,只作为回归基线使用。判定规则是:行业集分数上升而通用集分数下降超过约定幅度时,该检查点不采纳,回退并调整配比——通常是降低行业语料的采样权重、或在配比中加入一定比例的通用语料做重放。
这一规则带来一个取舍:为保持通用能力,行业知识的注入速度会放慢。我方认为这个取舍是对的——本项目的四类数据集最终要服务于十一个场景,其中技术标准问答、标书智能问答、合同合规审查三类通用场景,依赖的正是通用能力;若为了工艺推理的几个百分点牺牲它们,整体是亏的。配比与权重的具体取值在首轮训练后按实测调整,调整依据与前后对比写入知识注入有效性报告。
验证分两条独立通道,一条看「学会了没有」,一条看「忘掉了什么」。两条都通过才判定本轮注入有效。
领域知识探针是专门为验证知识注入而建的测试集,与基准测试子集严格分离——探针用于训练过程中的中间评测,若与基准集共用样本,最终评测就失去独立性。探针共 2,000 题,五类各 400 题,题型按便于自动判分设计:完形填空型用困惑度比较作答,多选型用选项对数概率排序,短答型用规则匹配配合正则抽取判分,关系判断型用二分类准确率。
表 4-7 领域知识探针构成
| 探针类别 | 题量 | 考查内容 | 题型 | 判分方式 |
|---|---|---|---|---|
| 实体与结构 | 400 | 刮板输送机、转载机、破碎机、自移机尾的部件层级与型谱关系,链条规格档位 | 多选、关系判断 | 选项对数概率排序、二分类准确率 |
| 工序知识 | 400 | 28 道备料工序的名称、顺序约束与禁止组合 | 排序、关系判断 | 序列正确率、准确率 |
| 参数与计算 | 400 | 输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数的量纲与计算关系 | 短答 | 数值容差匹配 + 单位一致性检查 |
| 图纸符号 | 400 | 粗糙度、坡口、倒角、公差符号的工艺含义与作用表面范围 | 多选、完形填空 | 对数概率排序、困惑度比较 |
| 过程规程 | 400 | 热处理程序段与层间温度要求、焊接关键参数名、作业指导书条款定位 | 短答、完形填空 | 规则匹配、困惑度比较 |
保留语料困惑度用两个保留集。领域保留集从预训练语料中按数据集领域分层留出 2%,训练过程不参与,用于观察领域语料的困惑度是否按预期下降;通用保留集取与项目无关的通用语料,用于看通用能力的退化幅度。
「领域知识注入成功了」这句话如果不给判据,就是一句无法证伪的话。本项目把它拆成几项可测的东西,并对每一项先定基线、再定本轮目标、再定不达标时怎么办。基线一律取基座模型的首轮实测值,而不是取某个行业通行数字——基座不同、题集不同,外部数字没有可比性;用自己的首轮实测做基线,提升幅度才是干净的。
「不达标时的处置」这一列是这张表的要害。探针总正确率提升不足,就按分类定位到底是哪一类知识没进去,再加大对应子集的采样轮次重跑;领域保留集困惑度降得不够,说明语料信息密度不足,要回流上游补采或放宽去重阈值。每一条处置都指向一个具体可执行的上游动作,而不是一句「优化参数」。这样一来,指标未达成不会变成僵局,只会变成下一轮的输入。
表 4-8 知识注入有效性的验收口径与回退
| 指标 | 基线 | 本轮目标 | 不达标时的处置 |
|---|---|---|---|
| 领域知识探针总正确率 | 基座模型首轮实测值 | 相对基线提升不少于 15 个百分点,趋向 20 个百分点 | 按分类定位短板:某类探针提升不足则加大对应子集采样轮次,重跑配比预实验后再训 |
| 领域保留集困惑度 | 基座模型实测值 | 下降幅度不少于 12% | 下降不足说明语料信息密度不够,回流上游补充该域语料或放宽去重阈值 |
| 通用保留集困惑度 | 基座模型实测值 | 上升幅度控制在 5% 以内 | 超限则降学习率、缩短训练步数,或在配比中混入通用语料作为稳定项,回退至上一 checkpoint 重训 |
| 中间评测异常 | — | 探针得分连续两次中间评测不升反降 | 立即停训,回退至异常前 checkpoint,核查数据管道与配比配置 |
招标文件要求形成知识注入有效性报告。报告须可供第三方按同样步骤复算,按下表结构编制,随继续预训练阶段验收提交。
这份报告的读者不是本项目的人,而是日后要据此判断模型是否合格的第三方。因此它的结构按「能不能照着重算一遍」来设计:先交出实验设置与统计基线,再给配比与训练过程,再给探针与困惑度结果,最后才是结论。顺序颠倒过来——先摆结论再附材料——读者就无法在不预先信任结论的前提下独立走一遍。
每一章都挂佐证材料,是因为报告正文里的任何一个数字都应当能落到一个文件上:配置文件快照、权重哈希、曲线数据文件、逐题明细。没有佐证的章节只是一段说法,而本项目交付的是证据。
表 4-9 《知识注入有效性报告》结构
| 章节 | 内容 | 佐证材料 |
|---|---|---|
| 一实验设置 | 基座模型标识与许可、数据集版本号、分词器版本、随机种子、环境镜像版本 | 配置文件快照、权重哈希 |
| 二统计基线 | 表 4-1 四项统计结果 | 统计表、分词器指纹 |
| 三配比设计与预实验 | 4 组配比对照的设置与结果,正式权重的选定理由 | 预实验训练曲线与探针得分对比 |
| 四训练过程 | 并行策略、超参、训练曲线、checkpoint 清单、异常点与处置记录 | 曲线数据文件、checkpoint 清单 |
| 五知识注入验证 | 探针五类得分及与基线的差值、领域与通用保留集困惑度变化 | 逐题评测明细、困惑度曲线 |
| 六结论与回流建议 | 本轮注入是否达标、短板定位、对上游环节的结构化整改建议 | 整改任务单(见第 7 节) |
| 七复现说明 | 复算所需的全部输入清单与执行步骤 | 环境与数据清单 |
指令微调数据集 89 万条(口径,分解为供需计划 40 万、产品工艺设计 10 万、制造过程 15 万、产品质量 24 万)。把 89 万条混在一起训一遍,能得到一个模型,但得不到任何可用的结论——评测掉分时无法知道是哪部分数据不够、哪部分数据有害。切片的目的就是让每一条样本都归属到可追踪的格子里,使后续的消融实验能把贡献度算到子集级。
切片按三个正交维度做:业务场景、任务类型、难度等级。三个维度交叉形成的格子是消融实验与配比实验的操作单元,也是数据贡献度归因的最小粒度。切片结果写入样本元数据,与数据集版本号一起固化,后续任何实验都引用版本号而不是重新切。
切片是数据集的分片,不是文档的切分:被切的是样本集合,切分出来的每一片是一组完整样本,不改动样本内部的篇幅与边界。文档层面的切分长度与重叠口径属于长上下文数据构建类工具链,不在本节定义,两处不共用参数。
切片按六条规则执行,规则写入切片说明并随数据集版本固化。
第一条是保留对象。切片只做集合划分,不改样本内容:原始指令、给定材料、参考答案、标注字段与来源标识一律保留原样,切片标识作为元数据新增字段写入,不覆盖既有字段。
第二条是长度,即每一片的条数规模。各场景切片的条数见表 5-1,各任务类型切片的条数见表 5-2,各难度层的占比见表 5-3。条数规模是分组实验能否得出结论的前提:任一片低于 1 万条时,该片单独剔除后的掉分幅度会被实验噪声淹没,因此低于该规模的片在消融实验中与相邻片合并度量,合并关系在实验台账中注明。
第三条是重叠。一条样本在同一维度下只归属一个切片,三个维度各判一次,不允许同维多属。单属是消融实验成立的条件——一条样本若同属两片,剔除其中一片时它仍在训练集里,掉分幅度就不再等于该片的贡献。跨维度的交叉属于正常情形:一条样本同时属于「板材备料工艺智能设计」场景、「方案与卡片生成」任务类型与 L2 难度层。
第四条是边界,即归属判定规则。场景维度按样本的业务问题归属判定,一条样本涉及多个场景时取其主问题所在场景,判定依据写入样本元数据;任务类型维度按输出形态判定,输出含多种形态时取占比最大的一种;难度维度按推理步数、来源数量与是否需要规则校核三项判定,判定规则见表 5-3。边界有争议的样本进待定池,由领域专家按季度复议,待定池样本不进入消融实验的分组统计。
第五条是关联。指令微调切片与偏好子集、基准子集的切片口径对齐:同一场景在三类数据集中用同一套切片标识,使偏好数据的分层报告、基准集的分场景分项分与微调切片的贡献度排序可以逐格对照(表 2-4)。这一条是归因闭环能落到切片级的前提。
第六条是评测规则。每一个切片在基准测试子集中有对应的题目集合,分项分按切片汇总;切片贡献度由消融实验的掉分幅度给出,掉分幅度与该切片的分项分变化须同向,不同向的记入异常事件并复核切片归属判定。
表 5-1 按业务场景切片(覆盖 6 个专业场景与 5 个通用场景)
| 序号 | 场景切片 | 数据集归属 | 条数(万) | 主要任务形态 |
|---|---|---|---|---|
| 1 | 产品智能选型 | 供需计划 | 16.0 | 需求要素抽取、参数校核计算、方案推荐与规格书生成 |
| 2 | 库存控制智能化 | 供需计划 | 13.0 | 需求预测口径问答、物料分层判别、补货与呆滞料处置建议 |
| 3 | 决策数据智能问答 | 供需计划 | 6.0 | 自然语言取数、口径说明、图表描述生成 |
| 4 | 标书智能问答 | 供需计划 | 5.0 | 相似项目检索定位、素材复用等级判定、要求覆盖矩阵生成 |
| 5 | 板材备料工艺智能设计 | 产品工艺设计 | 7.5 | 图纸要素解析、工序选择与排序、工艺卡片字段填写、展开长计算 |
| 6 | 技术标准智能问答 | 产品工艺设计 | 2.5 | 标准条款定位、版本状态判定、带出处作答 |
| 7 | 热处理过程智能监控 | 制造过程 | 4.5 | 炉次档案要素抽取、曲线偏离判别、可调量建议 |
| 8 | 焊接过程控制智能监控 | 制造过程 | 5.0 | 参数流与焊道对齐判断、参数差异清单生成 |
| 9 | 刮板输送装备健康智能诊断 | 制造过程 | 5.5 | 测点可信度判别、工况分段、部件级异常判断与检查顺序 |
| 10 | 产品质量检验与缺陷归因 | 产品质量 | 12.0 | 缺陷分类、根因候选排序、证据链组织 |
| 11 | 质量追溯与检验报告生成 | 产品质量 | 4.0 | 追溯链拼接、检验报告草稿生成 |
| 12 | 管理制度智能问答 | 产品质量 | 3.0 | 制度条款定位、合规结论与版本状态 |
| 13 | 合同合规智能审查 | 产品质量 | 3.0 | 偏离项识别、原文位置标注、规则依据引用 |
| 14 | 跨场景基础能力 | 产品质量 | 2.0 | 格式规范遵循、长文档跨段对照、信息不足时的澄清与拒答 |
| — | 合计 | — | 89.0 | — |
同一个场景里,模型要做的事并不是一件。备料工艺这一个场景就同时包含读图纸抽要素、按中性层公式算展开长、在 28 道工序里选取并排序、把结果填进工艺卡片字段四类动作;它们失败的方式完全不同,判分的方法自然也不同——抽要素看字段级的准确与召回,算展开长要给数值容差并要求中间量可复算,排工序看顺序约束与禁止组合有没有被破坏,填卡片看结构合规与字段间约束。只按场景切片,这四类动作的得失会被压成一个场景分,掉分时无从下手。
任务类型这一维因此按输出形态划分,而不按业务含义划分。按业务含义划分会得到一堆与场景高度重合的类目,这一维就白切了;按输出形态划分,九类任务横跨所有场景,任何一类出问题都能一次性在全部场景里定位。表里每一类都带着自己的判分方式与难点,两列缺一不可:判分方式决定这一类的分数怎么来,难点则说明这一类为什么容易错——图纸符号与手写记录的要素边界本来就模糊,出处要定位到条款级而不是文档级,长尾缺陷类别的样本天然稀少。
这张表要带走的结论是:89 万条样本不按业务板块摊开,而按模型实际要完成的动作组织,每一类动作都有自己的靶子和自己的计分规则。
表 5-2 按任务类型切片
| 任务类型 | 条数(万) | 占比 | 判分方式 | 难点 |
|---|---|---|---|---|
| 要素抽取与结构化 | 18.5 | 20.8% | 字段级精确率与召回率 | 图纸符号与手写记录的要素边界模糊 |
| 检索定位问答(须带出处) | 13.0 | 14.6% | 答案正确率 + 出处命中率 | 出处必须定位到条款级而非文档级 |
| 方案与卡片生成 | 12.5 | 14.0% | 结构合规率 + 关键字段正确率 | 工艺卡片字段间存在强约束 |
| 计算与规则校核 | 11.0 | 12.4% | 数值容差匹配 + 单位一致性 | 多步计算的中间量须可复算 |
| 归因与诊断分析 | 9.5 | 10.7% | 根因命中率 + 证据可核验率 | 根因候选须给出排序与依据 |
| 分类与判别 | 9.0 | 10.1% | 准确率、宏平均 F1 | 长尾缺陷类别样本稀少 |
| 报告与文书生成 | 8.0 | 9.0% | 模板合规率 + 人评得分 | 既要规范也要可编辑 |
| 多轮对话与澄清 | 5.5 | 6.2% | 多轮任务完成率 | 信息不足时要会问而不是硬答 |
| 长文档理解与跨段对照 | 2.0 | 2.2% | 跨段定位正确率 | 一个项目四百张左右图纸与成套工艺卡 |
| 合计 | 89.0 | 100% | — | — |
难度在本项目不是主观印象,有明确的物理含义:要走几步、要跨几个来源、要不要动规则校核、材料不够时能不能识别出来。按这四件事判,四层的界线是可操作的——从作业指导书里读一个牌号的回火温度区间,一步一来源,这是 L1;按中性层公式算出压弯件展开长再填进卡片字段,多步单来源,这是 L2;把炉次档案、材料批次与检验结论拼起来给开裂的根因候选排序,跨了三个来源,这是 L3;工况参数缺项时能指出缺哪几项、为什么必须补、暂时拿不到时按什么保守口径处置,这是 L4。
分布有意做成两头小中间大,L4 只占 8%。原因是 L4 样本的标注成本最高也最容易标错——它要求标注者自己先判断材料是否充分,判错的样本会教会模型在信息不足时硬答,而这恰恰是现场最不能接受的行为。宁可少而准。反过来 L1 保留 32% 也不是凑数:模型在简单题上翻车,看错牌号、读错区间,在现场的危害并不比难题小,这类能力需要足量样本维持。
四层并存的另一个用处是让评测结论有分辨率。总分相同的两个版本,一个在 L1 稳而 L3 弱,一个反过来,可用性完全不同;按难度层分项看,才知道一次改动究竟换来了什么。
表 5-3 难度等级定义与分布
| 等级 | 定义 | 占比 | 典型样例 |
|---|---|---|---|
| L1 | 单步、单来源、答案可在给定材料中直接定位 | 32% | 从作业指导书中读出某牌号的回火温度区间 |
| L2 | 多步推理、单来源,或需要一次格式转换 | 38% | 按中性层公式算出压弯件展开长并填入卡片字段 |
| L3 | 多步推理、多来源,需要跨系统或跨文档组织证据 | 22% | 结合炉次档案、材料批次与检验结论给出开裂的根因候选排序 |
| L4 | 需规则校核与反例辨析,或须识别材料不足并澄清 | 8% | 工况参数缺项时指出缺哪些、为何必须补、暂不可得时的保守口径 |
招标文件要求设计基础 SFT、子集消融 SFT、混合配比 SFT 等实验方案。这三类实验回答三个不同的问题:基础 SFT 回答「这批数据能把模型带到什么水平」,子集消融回答「哪部分数据在起作用」,混合配比回答「怎么配更划算」。
基础 SFT 用全量 89 万条、全参数微调、3 轮训练,产出基线模型与基线评测分。后续所有实验的对照都是这个基线,不与基座模型直接比——与基座比只能说明微调有用,说明不了数据配置的好坏。
子集消融 SFT 共 8 组,每组从全量中剔除一个切片后重训,用评测分的下降幅度度量该切片的贡献度。剔除法比增量法更适合本项目:增量法要从零开始逐步加,组数随切片数线性增长;剔除法一组对应一个切片,且下降幅度可直接解释为「没有这部分数据会损失多少能力」,与数据集定价和后续补采的优先级排序能直接对上。
混合配比 SFT 共 4 组,调整四类数据集在微调阶段的混合比例,观察评测总分与各场景分项分的变化。预训练阶段的配比目标是知识覆盖,微调阶段的配比目标是任务能力均衡,两者的最优配比不必相同,所以要单独做。
表 5-4 指令微调实验矩阵
| 组号 | 实验类型 | 配置 | 回答的问题 | 微调方式 |
|---|---|---|---|---|
| 基线 | 基础 SFT | 全量 89 万条,3 轮 | 全量数据的能力上限 | 全参数 |
| A1 | 子集消融 | 剔除供需计划子集(40 万) | 供需域数据对选型与库存场景的贡献 | 低秩微调 |
| A2 | 子集消融 | 剔除产品工艺设计子集(10 万) | 工艺域数据对备料工艺场景的贡献 | 低秩微调 |
| A3 | 子集消融 | 剔除制造过程子集(15 万) | 过程域数据对热处理、焊接、诊断场景的贡献 | 低秩微调 |
| A4 | 子集消融 | 剔除产品质量子集(24 万) | 质量域数据对缺陷归因与追溯场景的贡献 | 低秩微调 |
| A5 | 子集消融 | 剔除 L3、L4 难度层(约 26.7 万) | 高难度样本对多源推理能力的贡献 | 低秩微调 |
| A6 | 子集消融 | 剔除归因与诊断类任务(9.5 万) | 归因类样本是否可被其他任务类型替代 | 低秩微调 |
| A7 | 子集消融 | 剔除多轮对话与澄清类任务(5.5 万) | 澄清能力是否依赖专门样本 | 低秩微调 |
| A8 | 子集消融 | 剔除跨场景基础能力切片(2 万) | 2 万条小切片对格式规范与长上下文的边际作用 | 低秩微调 |
| B1 | 混合配比 | 按自然比例 40:10:15:24 | 自然比例是否已足够 | 低秩微调 |
| B2 | 混合配比 | 按 14 个场景切片等权上采样 | 场景均衡是否优于域均衡 | 低秩微调 |
| B3 | 混合配比 | L3、L4 难度层上采样 1.6 倍 | 加难是否提升多源推理 | 低秩微调 |
| B4 | 混合配比 | 计算校核与归因类任务上采样 1.5 倍 | 加强硬任务是否损伤软任务 | 低秩微调 |
消融实验的结论直接回写到数据集血缘记录中,形成子集级的贡献度标注。这组标注有两个下游用处:数据集运营时作为定价与分级的依据之一;后续补采时按贡献度排优先级,而不是按「哪类数据好采」排。
图 5-1 指令微调三类实验与评测、归因的衔接。数据来源:招标文件 3.2.6.2。
招标文件允许全参数微调或 LoRA/QLoRA 高效微调。两条路线不是优劣关系,而是适用场合不同,本项目按下表准则分配,使算力花在该花的地方。
这件事上容易出现一个似是而非的判断:全参数微调效果更好,所以能用就用。真正的约束是算力。本项目在微调阶段要跑十三组实验——按领域消融四组、按难度与任务类型消融四组,再加若干组配比对照;如果每组都做全参数微调,这一步的卡天开销会超过继续预训练本身,而这些实验要的其实只是组间的相对差异。
表里按适用场合而不按优劣排列两条路线:需要改变输出的整体风格与格式倾向、或要作为唯一基线排除低秩结构带来的偏差时,用全参数,全程只做两次;只比较相对差异、或要多版本并存快速切换时,用低秩微调。由此得到的结论是:全参数微调的两次用在产出上,低秩微调的十二组用在求解上,算力花在了该花的地方,而对照实验的可比性并没有因此受损。
表 5-5 微调方式选择准则
| 微调方式 | 适用场合 | 本项目用法 | 资源特征 |
|---|---|---|---|
| 全参数微调 | 需要改变模型输出的整体风格与格式倾向,或作为唯一的基线必须排除低秩结构带来的偏差 | 基础 SFT 一次;正式配比定稿后的最终 SFT 一次 | 显存占用与算力最高,产出完整权重 |
| LoRA 低秩微调 | 多组对照实验,只需比较相对差异;或需要多版本并存快速切换 | 12 组消融与配比实验;场景专用适配器 | 秩 64、缩放系数 128,作用于注意力与前馈投影层;算力约为全参的 45% |
| QLoRA 量化低秩微调 | 大参数量档位在有限显存下验证趋势 | 300 亿参数验证档的 SFT | 基座按 4 位量化加载,适配器以较高精度训练 |
低秩微调用于对照实验有一个前提必须说清:低秩结构本身会压制一部分表达能力,所以 A 组与 B 组之间可以横向比较(同样的低秩配置),但不能把 A 组的绝对分直接与全参基线比。正式配比确定后,用全参数微调重跑一次,取得与基线同口径的最终分。这一步不能省,否则结论只在低秩条件下成立。
场景专用适配器是低秩微调的一项附带收益。14 个场景切片中,备料工艺设计与合同合规审查两类对输出格式的要求最刚性,可在通用 SFT 模型之上再挂一层场景适配器,推理时按场景加载。适配器体积小、可独立迭代,场景验证期间的格式问题可以只改适配器而不动主模型。
招标文件要求跟踪训练损失、验证集准确率、显存占用、吞吐等指标。这四项各有用处:损失看是否在学,验证集准确率看是否学过了头,显存看配置是否贴着硬件上限(贴得太近一旦序列变长就崩),吞吐看算力有没有被浪费在等待上。
这几项指标真正的用处不在于好看,而在于早停。微调一轮下来是几小时的事,但十三组实验排在一起就是几天;一组跑歪了没人叫停,后面排队的实验全部顺延。所以每一项指标都必须配一条「出现什么现象、立刻做什么」的处置,而不是只规定采集频率。
四项分工明确:损失看训练有没有在推进,验证集准确率看有没有开始过拟合,显存与吞吐看资源配置合不合适。其中最值得写死的是过拟合的处置——验证集准确率开始下降而训练损失仍在降,取下降前的检查点并缩减训练轮次,而不是继续跑完。等跑完再回头挑,挑出来的也是那个检查点,白费的是剩下的机时。
表 5-6 微调过程指标与告警口径
| 指标 | 采集频率 | 正常区间或趋势 | 告警处置 |
|---|---|---|---|
| 训练损失 | 每 10 步 | 单调下降,阶段末趋平 | 连续 200 步不降:核查学习率与数据管道;出现尖峰:回退至上一检查点并跳过异常批次 |
| 验证集准确率 | 每 200 步 | 先升后平 | 开始下降且训练损失仍降:判为过拟合,取下降前的检查点,并缩减训练轮次 |
| 显存占用峰值 | 每 100 步 | 不超过单卡容量的 85% | 超限:降低批内序列数、提高激活重算比例或增加张量并行维度 |
| 训练吞吐 | 每 100 步 | 不低于基线配置的 80% | 低于阈值:核查数据预取、慢盘与通信开销占比 |
| 梯度范数 | 每 10 步 | 稳定,无持续增长 | 持续增长:下调学习率;出现极值:核查样本长度分布与异常样本 |
| 有效样本利用率 | 每轮 | 填充 Token 占比不超过 15% | 超限:调整按长度分桶的批次组织方式 |
六项里只有有效样本利用率按轮统计而不按步统计,它衡量的是算力有没有花在真正的样本上:按长度分桶组批时,同一批次里的短样本要补齐到最长样本的长度,补出来的填充 Token 照样占显存、照样参与计算,却不携带任何信息。首期按「填充 Token 占比不超过 15%」设定基线。该占比按整轮累计的填充 Token 数除以整轮累计的总 Token 数计算,全量统计不抽样,每轮结束判定一次;分桶边界、最大批内序列数或序列长度阶段任一变更后,当轮重新计算。超过 15% 的,先调整分桶边界与批内序列数的搭配,使同一桶内的长度差收窄;连续两轮仍超限的,改用样本拼接方式组批,在拼接处插入分隔标记并屏蔽跨样本注意力,调整前后的占比与对应的吞吐变化一并记入作业回填表。样本长度分布随数据加工批次推进逐步摸清,这项占比的目标逐步接近 10%。
指令微调按作业规格发起,十三组实验共用同一套规格,差别只在输入切片与配比。
十三组实验共用一套作业规格,差别只在输入切片与配比,这本身就是实验设计的一部分。组间要比的是数据的贡献,那么除数据之外的一切都必须锁死:同一个起始检查点、同样的轮次与序列长度、同样的组批方式、同样的种子。任何一项没锁,组间的分数差就不再只属于数据,消融结论也就失去了意义。
规格表把全参数与低秩两条路线并排写,是为了让「哪些项必须一致、哪些项允许不同」一眼可辨:输入版本、停止条件、监控口径与交付内容全部一致,只有任务配置里的训练方式与两档资源测算不同。这种并排写法同时也是对照结果可比性的说明——两条路线的产出要放在一起解读,前提就是除训练方式外无其他变量。
表 5-7 指令微调阶段作业规格
| 规格项 | 基线与正式 SFT(全参数) | 对照实验(低秩微调) | 性质 |
|---|---|---|---|
| 输入版本 | 指令微调数据集版本号、参与的场景与任务类型切片清单、难度层占比、验证集划分种子 | 同基线,另记被剔除或被上采样的切片标识 | 实验登记项 |
| 任务配置 | 起始检查点取正式继续预训练模型;3 轮训练;序列长度 32K;按长度分桶组批 | 起始检查点同基线;低秩适配作用于注意力与前馈投影层,秩 64、缩放系数 128 | 设计配置 |
| 超参与选取依据 | 学习率 1×10⁻⁵,依据是全参数微调下验证集准确率开始回落的拐点前一档;预热 3% 步数;余弦衰减 | 学习率 1×10⁻⁴,依据是低秩结构下同等收敛速度所需的量级差;其余与基线一致以保证组间可比 | 设计配置 |
| 显存测算 | 权重、梯度、优化器状态与激活值四项分项估算,峰值目标不超过单卡容量的 85% | 冻结权重不计梯度与优化器状态,峰值约为全参数的 45% | 测算值 |
| 存储测算 | 每组保留 3 份检查点;全参数组产出完整权重 | 仅保存适配器权重,单份体量为完整权重的百分之一量级 | 测算值 |
| 时长测算 | 基础 SFT 与正式 SFT 合计约 60 卡天,16 卡并发约 3.8 天(见表 3-9) | 十二组对照含在同一测算内 | 测算值 |
| 监控 | 每 10 步采训练损失与梯度范数;每 100 步采显存与吞吐;每 200 步跑验证集准确率;每轮统计填充 Token 占比 | 同基线 | 设计配置 |
| 正常停止条件 | 完成 3 轮,且验证集准确率在最后一轮内的提升小于 0.5 个百分点 | 同基线 | 设计配置 |
| 异常停止条件 | 验证集准确率开始下降而训练损失仍降;显存峰值超过单卡容量的 85%;吞吐低于基线配置的 80% | 同基线 | 经确认的目标值 |
| 异常排查顺序 | 一查切片归属与样本长度分布,二查学习率与轮次,三查分桶与填充比例,四查起始检查点是否为预期版本 | 同基线,另查低秩秩数与作用层是否与同组一致 | 作业规程 |
| 交付 | 训练曲线、检查点清单、验证集曲线、自动评测与人评记录、指令微调实验报告 | 掉分幅度与贡献度排序,并入同一份实验报告 | 交付物 |
表 5-7 数据来源:过程指标依招标文件 3.2.6.2 第(3)项;算力测算依第 3.4 节。学习率与秩数为设计配置,按首轮实测修订;低秩组之间横向可比,与全参数基线的绝对分不直接比较。
停止条件里的那半个百分点是十三组实验共用的收敛判据,判据本身也要有测法,否则同一组曲线换个人看就会得出不同的停止时点。首期按「完成 3 轮,且验证集准确率在最后一轮内的提升小于 0.5 个百分点」设定基线。提升幅度的算法固定为:验证集每 200 步评估一次,取最后一轮内各评估点的最高值与该轮起始点的差值,验证集划分种子固定、组成不随轮次变动;判定须由连续两次评估共同确认,单次评估落在阈值附近不作数,以免曲线抖动造成误停。三轮跑完提升仍不小于 0.5 个百分点的,追加一轮,并在回填表中记录追加理由与追加后的实测提升;追加两轮仍在持续提升的,判为轮次设置偏少,该组实验的轮次配置连同依据一并修订后重跑,修订前的结论在实验报告中标注为未收敛结果。各组曲线形态在首批实验后即可归纳,这项收敛判据随实测收紧,目标逐步接近 0.3 个百分点。
三类实验方案各自回答一个问题,前一组的结论决定后一组的搜索范围。
基础 SFT 回答的是数据集整体有没有用:用全部指令微调样本训练,与基座对比,看各能力维度的变化。它是入口判断——若基础 SFT 都没有提升,后两组实验不必做,应回到数据加工环节查原因。
子集消融回答的是哪一部分在起作用:按数据集领域或任务类型逐一剔除某个子集重训,看哪些能力维度随之下降。这组结论直接指导后续的数据投入。如果剔除某个子集后指标几乎不变,说明该子集当前的样本质量或覆盖度不足以产生影响,应当优先改进它而不是继续扩量。本项目四类数据集的加工是分批推进的,消融结论直接影响后几批的投入分配。
混合配比回答的是怎么配最好:在确认各子集都有效之后,调整它们的比例,寻找综合表现最优的配比。这一组实验次数最多、算力消耗最大,因此排在最后——前两组的结论能大幅缩小配比的搜索范围。
三组实验的产出都写入实验记录,记录包含数据集版本、配比、超参数、训练曲线与评测结果,使任一结论都能被重新跑出来。这是本项目所有模型侧结论可复核的基础,也是数据集卡片中「已验证用途」栏的证据来源。
招标文件要求通过自动评测和专家抽样人评,验证模型在指令遵循、任务完成、格式规范、长上下文理解四个方面的能力提升。四项里只有格式规范可以完全自动判定,其余三项都需要人评兜底,所以两套评测并行而不是二选一。
自动评测跑在评测沙箱里,用冻结的基准测试子集与固定判分规则,一次运行覆盖全部四项。人评采用分层抽样:按场景切片分层,每个场景抽样比例不低于 5% 且样本量不少于 200 条,14 个场景合计不少于 2,800 条。抽样到的样本由领域专家按统一评分表打分,同一样本由两名专家独立评分,分差超过 1 分的样本交第三名专家仲裁。
表 5-8 专家抽样人评的组织与质量控制
| 项目 | 口径 |
|---|---|
| 抽样方式 | 按 14 个场景切片分层随机抽样,每层比例不低于 5%、样本量不少于 200 条,合计不少于 2,800 条 |
| 评分维度 | 指令遵循、任务完成、格式规范、事实正确四维,各按 5 分制 |
| 评分口径 | 每一维度给出 5 档行为锚定描述,避免「酌情打分」 |
| 评分组织 | 双盲双评,模型版本信息对专家隐藏,样本顺序随机 |
| 仲裁规则 | 两名专家任一维度分差超过 1 分,交第三名专家仲裁,取仲裁分 |
| 一致性要求 | 评分者间一致性系数不低于 0.70;低于该值则重做评分培训并重评该批 |
| 专家来源 | 从本项目数据标注专家库(不少于 50 人)中按领域匹配抽派,评审记录归档 |
| 留痕 | 评分表、仲裁记录、评分者编号与评审时间全部归档,支撑复核 |
一致性要求那一行是这套组织能不能成立的前提:若两名专家对同一条样本的判断大面积对不上,那么无论抽多少样本,得出的分数都只是评分者个人口味的汇总。首期按「评分者间一致性系数不低于 0.70」设定基线。该系数按双评样本逐维度计算后取各维度的最低值,基数为当批双评样本全量,不另行抽样,计算在每一批人评收口时进行,每批不少于 200 条;跨批不合并计算,以免某一批的失准被其他批次摊薄。低于 0.70 的,该批评分作废,先用一组带标准答案的校准样本定位分歧集中在哪一维度、哪一档锚定描述,据此修订评分表中的行为锚定描述并重做评分培训,再由原评分者重评该批,重评结果与原结果一并归档备查;同一维度连续两批低于 0.70 的,把该维度的评分口径拆成两个子项分别打分。行为锚定描述随批次修订逐步收敛,这项一致性系数的目标逐步接近 0.80。
上一张表管的是人评怎么组织得住,这一张表管的是四项能力各自凭什么算达标。两件事必须分开写:人评再严谨,也只回答「专家觉得好不好」,回答不了「指令遵循这一项比上一版强了多少」。四项能力各有各的失败方式——指令遵循的失败是漏掉其中一个条件,任务完成的失败在不同任务类型上形态各异,格式规范的失败是字段缺项或枚举不合法,长上下文的失败是跨段对照时取错了段落——用一个综合分覆盖它们,掉分时既定位不到能力,也定位不到数据。
因此每一行都走「自动评测方法—基线—本轮目标—不达标时的处置」四段。基线一律取基础 SFT 的实测值,目标一律写成相对基线的提升幅度,而不是一个绝对分数;绝对分数依赖题集难度,换一套题就不可比。处置一列则把每项能力接回具体的上游动作:指令遵循不达标就定位失败条件类型并补对应样本,任务完成掉分就按消融结论定位到切片去补采或重标,格式规范不达标先挂场景适配器收紧、仍不达标就在推理侧上结构化约束解码,长上下文不达标就加长文档样本比例或改走分段检索后对照并在模型卡里注明。
这样安排之后,四项能力的验收不再是一次性的判定,而是一条每项都有退路的通道。
表 5-9 四项能力的验收口径与回退
| 能力 | 自动评测方法 | 基线 | 本轮目标 | 不达标时的处置 |
|---|---|---|---|---|
| 指令遵循 | 多条件指令的逐条满足率;含否定条件与排他条件的指令集 | 基础 SFT 基线值 | 相对基线提升不少于 8 个百分点 | 定位失败条件类型,补充对应指令样本并重跑 B 组配比实验 |
| 任务完成 | 按任务类型分项计分:抽取用字段级 F1、计算用数值容差、生成用关键字段正确率、归因用根因命中率 | 基础 SFT 基线值 | 分项均不低于基线,综合提升不少于 10 个百分点 | 掉分任务类型回流至上游补采或重标,按消融结论定位切片 |
| 格式规范 | 结构校验器自动判定:字段齐备、类型正确、枚举合法、约束满足 | 基础 SFT 基线值 | 结构合规率趋向 98%,不低于 95% | 挂场景适配器收紧格式;仍不达标则在推理侧增加结构化约束解码 |
| 长上下文理解 | 32K 与 128K 窗口下的跨段定位与多文档对照题;含干扰段落 | 基础 SFT 基线值 | 32K 窗口正确率不低于基线且提升不少于 6 个百分点 | 增加长文档样本比例;或在推理侧改为分段检索后对照,并在模型卡中注明该路线 |
| 人评综合 | 四维度均值 | 首轮人评均值 | 不低于 4.0 分(5 分制),且无单维度低于 3.5 分 | 低分维度定位到场景与任务类型,形成整改任务单回流 |
四项能力的提升幅度均以基础 SFT 的实测基线为参照,而不是以某个外部榜单分数为参照。榜单分与本项目的 11 个场景没有对应关系,拿它作目标会把工作引向调榜而不是调数据。
强化学习偏好数据 6.6 万组(供需计划 3.2 万、产品工艺设计 0.8 万、制造过程 1 万、产品质量 1.6 万)。偏好数据与指令数据不同:指令数据错一条就少学一点,偏好数据错一条就教模型往反方向走一步。所以在训练之前,归一化、冲突处理与难度分层三件事必须先做完。
格式归一化把来源不同、形态不一的偏好记录统一成同一套结构。实际收上来的偏好有三种形态:成对比较(A 优于 B)、多路排序(k 条回答排序)、单条打分(1 至 5 分)。多路排序按相邻与跨档两种方式拆解为成对样本,单条打分按分差不小于 2 分的组合拆对,分差为 1 的不拆——分差 1 更多反映评分者的刻度习惯而非真实偏好。平局样本单独留存,不进成对训练集,但用于奖励模型的校准评估。
表 6-1 偏好样本归一化后的字段结构
| 字段 | 内容 | 用途 |
|---|---|---|
| 提问与背景材料 | 原始指令、给定材料、工况参数 | 训练输入 |
| 优选回答/次选回答 | 成对的两条回答全文 | 训练目标 |
| 偏好强度 | 由原始形态折算:排序相邻为弱、跨档为强,打分分差折算为三档 | 采样权重与校准评估 |
| 偏好依据 | 评分者给出的理由分类(事实正确、证据充分、格式合规、表述精度、保守程度) | 冲突归类与归因 |
| 场景切片/任务类型/难度层 | 与第 5 节三维切片对齐 | 分层采样与分层报告 |
| 依据版本 | 所引制度、标准或规程的版本号 | 时间版本冲突的裁决依据 |
| 评分者编号与时间 | 去标识化编号,不含姓名 | 一致性分析与追溯 |
| 数据集版本号 | 所属偏好数据集版本 | 实验复现 |
同一提问下若「A 优于 B」与「B 优于 A」并存,须先判定冲突类型再处置,不得简单投票。
偏好数据里的冲突不都是标注质量差的表现,很多时候恰恰相反——它说明这件事在现场本来就有两种做法。备料工序的排法、焊接参数的取值区间、缺陷归因里先查材料还是先查工艺,不同车间、不同年资的师傅给出的答案可以都站得住。把这类分歧当成噪声投票压掉,模型学到的是多数人的习惯,而不是本项目要确立的口径;真正的标注噪声反倒可能因为出现次数多而被保留下来。
所以处置的第一步是分类而不是裁决。五类冲突的来源各不相同:标注噪声是评分者的问题,口径分歧是业务的问题,提问歧义是题目本身条件不足的问题,时间版本差异是两侧引用的制度或标准版本不同,仲裁后仍无共识则说明这件事在现场尚未定论。对应的动作因此也各不相同——剔除并抽查该批次、交专家仲裁并修订标注规范、移出偏好集转为澄清类样本、以依据版本字段为准取最新有效版本、移入待定池不进训练。分类错了,后面的动作全是错的:把口径分歧当噪声剔除,丢掉的正是最有价值的那部分专家经验;把标注噪声当口径分歧送去仲裁,则白白占用专家工时。
表 6-2 冲突样本的分类与处置规则
| 冲突类型 | 识别特征 | 处置 |
|---|---|---|
| 标注噪声 | 偏好依据为空或与回答内容不相符,评分者该批次一致性显著偏低 | 剔除该条,并抽查该评分者同批次样本;超过 10% 异常则该批次整体重评 |
| 口径分歧 | 两侧依据分类不同(如一方重证据充分、一方重表述简洁),均成立 | 交专家仲裁确立本项目口径,仲裁结论写入标注规范;样本按仲裁结果保留 |
| 提问歧义 | 提问本身信息不足,两条回答回应了不同的理解 | 移出偏好训练集,转为澄清类指令样本的素材(对应 L4 难度层) |
| 时间版本差异 | 两侧引用的制度或标准版本不同 | 以依据版本字段为准,取最新有效版本一侧为优选,旧版本一侧标注失效原因 |
| 仲裁后仍无共识 | 专家意见分歧且各有依据 | 判为口径未定,移入待定池,不进训练;待定池按季度复议 |
冲突率按场景统计并设阈值:某场景的冲突率超过 8%,暂停该场景的偏好训练,先回流修订数据标注规范,再重新采集该场景偏好。把阈值写进方案而不是写「严格控制冲突」,是为了让这一步在实施时有可执行的停止条件。
难度分层决定了奖励模型学到的是什么。如果训练集里绝大多数样本都是「一条对、一条错」这种显著差异,奖励模型会把判别力集中在挑错上,面对两条都对但精度不同的回答就失效了——而真实场景里后者才是常态。
表 6-3 偏好数据难度分层
| 层级 | 差异性质 | 占比 | 训练用法 | 评估用法 |
|---|---|---|---|---|
| L1 显著差异 | 一侧存在事实错误、关键字段缺失或格式不合规 | 38% | 按 0.7 轮下采样 | 报告准确率,作为下限参照 |
| L2 质量差异 | 两侧均无硬错,完整性或证据充分性有明显高下 | 34% | 按 1.0 轮 | 报告准确率 |
| L3 细微差异 | 表述精度、根因排序合理性、保守程度的差别 | 20% | 按 1.6 轮上采样 | 该层准确率是判别力的真实度量 |
| L4 专家分歧区 | 经仲裁确立口径但专家间曾有分歧 | 8% | 按 1.3 轮上采样 | 只报告不设门限,用于观察口径一致性 |
奖励模型从 SFT 模型初始化,替换输出层为标量打分头,用成对排序损失训练。从 SFT 模型而不是从基座初始化的理由很直接:奖励模型需要理解矿山装备制造的专业内容才能判断优劣,而这部分理解是 SFT 阶段才建立起来的。
保留偏好集按场景分层留出 10%,即约 6,600 组,训练全程不参与,只用于评估判别准确率。保留集的分层比例与训练集一致,避免某一场景在保留集中缺席导致评估失真。
表 6-4 奖励模型评估指标与验收口径
| 指标 | 口径 | 目标 | 不达标时的处置 |
|---|---|---|---|
| 整体判别准确率 | 保留偏好集上对优选回答给出更高分的比例 | 不低于 72%,趋向 76% | 核查冲突处理与分层是否失衡;必要时按场景拆为多个专用奖励模型 |
| L1 层准确率 | 同上,限 L1 层 | 不低于 90% | 低于该值说明数据或训练配置有基础性问题,停训排查 |
| L2 层准确率 | 同上,限 L2 层 | 不低于 75% | 补充该层样本,提高该层采样轮次 |
| L3 层准确率 | 同上,限 L3 层 | 不低于 62% | L3 是判别力关键层,不达标则不进入对齐训练,改走无需奖励模型的直接偏好优化主线 |
| 打分校准度 | 奖励分差与人工偏好强度的秩相关系数 | 不低于 0.45 | 在损失中加入强度加权项重训 |
| 跨场景泛化 | 留出一个场景不参与训练,测该场景准确率衰减 | 衰减不超过 10 个百分点 | 衰减过大则按场景族分别训练奖励模型,推理时按场景路由 |
招标文件允许 DPO 或 PPO。本项目以直接偏好优化(DPO)为主线,以近端策略优化(PPO)做一组对照验证,理由是工程上的:直接偏好优化不需要在线采样,训练稳定、算力需求低(见表 3-9),在 6.6 万组规模下足以收敛;近端策略优化虽然上限更高,但对奖励模型质量极为敏感,奖励模型一旦有偏,策略会迅速钻空子。设 PPO 对照:若奖励均值上升而人评不升,即判定奖励模型存在可被利用的偏差,并据此改进奖励模型(优先于仅看准确率)。
主线做 6 组超参扫描:偏好强度系数取 0.1、0.2、0.5 三档,学习率取两档,参考模型冻结为 SFT 模型。对照组 1 组,价值头从奖励模型初始化,每个提问采样 4 条回答,KL 惩罚系数自适应调整。两条路线的产出在同一评测沙箱中用同一协议评测。
表 6-5 对齐训练指标记录(要求的四项全部在列)
| 指标 | 采集方式 | 基线 | 控制区间或目标 | 越界含义 |
|---|---|---|---|---|
| 偏好准确率 | 保留偏好集上,对齐模型对优选回答的似然高于次选的比例 | SFT 模型实测值 | 相对基线提升不少于 12 个百分点 | 提升不足:对齐信号弱,核查偏好强度系数与数据分层 |
| KL 散度 | 相对参考 SFT 模型的序列平均 KL,按 1,000 条固定提问集测算 | 0 | 控制在 0.5 至 5.0 之间 | 低于 0.5:几乎没动;高于 8:行为漂移,立即回退检查点 |
| 奖励均值 | 奖励模型对固定提问集回答的打分均值 | SFT 模型实测值 | 上升,且与人评得分同向 | 奖励涨而人评不涨:奖励黑客征兆 |
| 回答长度变化 | 固定提问集上回答长度的中位数与四分位距 | SFT 模型实测值 | 中位数变化控制在 ±20% 以内 | 增幅超过 35%:冗余膨胀 |
| 任务能力回测 | 基准测试子集上的任务完成分、格式合规率、指令遵循率 | SFT 模型实测值 | 各项跌幅不超过 2 个百分点 | 超过即判行为退化 |
偏好对齐按作业规格发起,奖励模型训练、主线对齐与对照组共用一套规格。
对齐这一步与前两步有个关键区别:它既可能让模型变好,也可能让模型变坏,而且变坏的方式不容易察觉。奖励分一路上涨、回答越来越流畅,基准分却在往下掉——这种情形在偏好对齐里并不罕见。因此对齐的作业规格比训练规格多担一层责任:它不只记录怎么跑的,还要把「什么情况下必须停」事先写死。
三条路线并排写在同一张规格表里——奖励模型训练、主线的直接偏好优化、对照用的近端策略优化——是因为它们共用同一批偏好数据与同一个参考模型,只有并排才看得出哪些输入必须一致、哪些配置各自不同。对照组存在的意义也在这里:主线出了问题,需要有一个用不同算法、同样数据跑出来的结果作参照,才能判断问题出在数据上还是出在算法上。
表 6-6 偏好对齐阶段作业规格
| 规格项 | 奖励模型训练 | 直接偏好优化(主线,6 组) | 近端策略优化(对照,1 组) | 性质 |
|---|---|---|---|---|
| 输入版本 | 偏好数据集版本号、归一化规则版本、冲突处置记录、难度分层结果、保留集划分种子 | 同奖励模型,另记参考模型检查点哈希 | 同主线,另记奖励模型权重哈希 | 实验登记项 |
| 任务配置 | 从正式 SFT 模型初始化,输出层替换为标量打分头,成对排序损失 | 参考模型冻结为正式 SFT 模型;序列长度 8K | 价值头从奖励模型初始化,每个提问采样 4 条回答 | 设计配置 |
| 超参与选取依据 | 学习率 5×10⁻⁶,依据是打分头在小样本上过拟合的起点前一档;3 组超参扫描 | 偏好强度系数取 0.1、0.2、0.5 三档 × 学习率两档;取值范围依据是 KL 散度落在 0.5 至 5.0 控制区间所需的量级 | KL 惩罚系数自适应调整,初值按主线中 KL 居中的一组标定 | 设计配置 |
| 显存测算 | 单模型训练,峰值目标不超过单卡容量的 85% | 策略模型与参考模型同时常驻,参考模型只做前向,按两份权重加一份优化器状态估算 | 另加价值模型与奖励模型两份前向权重 | 测算值 |
| 存储测算 | 保留 3 份检查点 | 6 组各保留 2 份检查点 | 保留 3 份检查点与采样回放记录 | 测算值 |
| 时长测算 | 9.5 亿等效 Token,6 卡天,8 卡并发约 0.8 天 | 19 亿等效 Token,11 卡天,约 1.4 天 | 21 卡天,约 2.6 天 | 测算值 |
| 监控 | 每 100 步采训练损失与保留集分层准确率 | 每 100 步采偏好准确率、KL 散度、奖励均值、回答长度中位数与四分位距 | 同主线,另采采样回答的奖励分分布 | 设计配置 |
| 正常停止条件 | 保留集整体准确率连续两次评估提升小于 0.5 个百分点 | 偏好准确率提升趋平且 KL 散度稳定在控制区间内 | 同主线 | 设计配置 |
| 异常停止条件 | L1 层准确率低于 90%;校准度低于 0.45 | KL 散度高于 8;回答长度中位数增幅超过 35%;奖励均值上升而人评不升 | 同主线,另含采样回答出现固定句式复现率异常 | 经确认的目标值 |
| 异常排查顺序 | 一查冲突处置与难度分层是否失衡,二查保留集分层比例,三查打分头初始化与学习率 | 一查偏好强度系数,二查参考模型是否为预期检查点,三查数据分层采样权重,四查长度归一化项 | 一查奖励模型校准度,二查 KL 惩罚系数,三查采样温度与条数 | 作业规程 |
| 交付 | 奖励模型评估结果、保留集分层准确率、校准度与泛化结果 | 四项指标全程曲线、检查点清单、三道风险门实测值 | 对照结论,用于判定奖励模型是否存在可被利用的偏差 | 交付物 |
表 6-6 数据来源:指标项依招标文件 3.2.6.2 第(4)项;算力测算依第 3.4 节表 3-9。超参取值为设计配置,首轮实测后按实测基线修订;控制区间与阈值为经确认的目标值。
奖励模型那一列的正常停止条件与第 5.4 节的收敛判据同一口径:保留集整体准确率按固定划分种子每 100 步评估一次,连续两次评估的提升均小于 0.5 个百分点方可停,单次评估落在阈值附近不作数;三组超参扫描跑完仍在持续提升的,追加训练步数并在回填表中记录追加理由,修订前的结论标注为未收敛结果。该判据随实测收紧,目标逐步接近 0.3 个百分点。
招标文件点明了三类风险:奖励黑客、回答冗余、行为退化。三类风险在偏好对齐中属常见现象,缓解措施在训练开始前预置(见表),不在事后补配。
图 6-1 偏好对齐训练流程与发布前的三道风险门。数据来源:招标文件 3.2.6.2。
这三类风险有一个共同的危险之处:它们在训练指标上都表现为「情况正在变好」。奖励黑客时奖励均值一路走高,回答冗余时回答越来越完整,行为退化时模型越来越肯给答案、越来越少说材料不够。如果只盯着对齐过程自身的曲线,这三件事发生时看不出任何异常,等到场景验证现场才发现模型开始编造参数、开始把该请岗位人员判断的事自己定了,那时已经晚了一轮。
所以这张表按「怎么才能在训练期间就抓住它」组织:先写表现,再写检测手段,再写判定阈值,最后写缓解措施。检测手段一列的共同特点是都不依赖对齐自身的指标——奖励分与人评分的秩相关系数、专门构造的对抗提问集、澄清与拒答的专项测试集、基准测试子集回测,全部来自对齐训练之外。用训练目标自己检验训练目标,是查不出问题的。
判定阈值一列给的是具体数字而不是「明显下降」。给了数字,这三道门才能由系统自动判定并自动拦截,而不是靠人每天盯着曲线。
表 6-7 三类风险的检测手段与缓解措施
| 风险 | 表现 | 检测手段 | 判定阈值 | 缓解措施 |
|---|---|---|---|---|
| 奖励黑客 | 奖励均值持续上升,人评与基准分不涨甚至下降;回答中高频出现讨好奖励模型的固定句式 | 奖励分与人评分的秩相关系数;特征句式复现率;专门构造的对抗提问集(刻意迎合奖励偏好但答非所问) | 相关系数低于 0.30;对抗集上奖励分高于正常集均值 1 个标准差以上 | 停止当前超参组;在奖励模型训练集中加入对抗样本重训;降低偏好强度系数并提前停止;必要时切换为无奖励模型的直接偏好优化 |
| 回答冗余 | 回答越来越长,信息密度下降,开头与结尾堆叠套话 | 长度中位数与四分位距;重复 n 元组比例;信息密度(单位长度内的有效字段或结论数) | 长度中位数增幅超过 35%,或重复 n 元组比例上升超过 5 个百分点 | 在偏好数据中补入「等质更短者优先」的成对样本;训练目标加长度归一化项;推理侧设最大长度与去重解码 |
| 行为退化 | 任务完成能力、格式合规率、指令遵循率回落;该澄清时不澄清,或该拒答时不拒答 | 基准测试子集回测;澄清与拒答专项测试集(含应答与不应拒答两类反例) | 任一项跌幅超过 2 个百分点;澄清准确率跌幅超过 3 个百分点 | 回退至上一检查点;对齐训练中混入一定比例 SFT 样本做联合训练;缩短训练步数;对齐只在场景适配器上做,主模型不动 |
三道风险门都设在发布之前:任一项越界,该版本不进入基准评测,也不进入场景验证。把门设在前面而不是靠事后发现,是因为对齐模型一旦进了场景验证,错误的行为就会被当成数据集的问题记到上游账上。
招标文件要求形成专家偏好对齐度报告和安全合规通过率报告。两份报告各管一头:前者回答「模型的判断是否与专家一致」,后者回答「模型在合规边界上是否守得住」。
「模型的判断与专家一致」这句话要能被核验,报告就不能只给一个一致率数字。一致率是可以被稀释的:简单题占比大的时候,整体一致率会很好看,而真正体现专家经验的恰恰是那些要跨来源组织证据、要做反例辨析的难题。所以这份报告按六章组织,从偏好数据怎么治理一路写到结论与回流建议,并在对齐度量化一章要求把 L3、L4 两个难度层单独列出。
前三章记过程,后三章记结果。这个顺序不是惯例,而是因为对齐结论的可信度完全取决于偏好数据本身干不干净:冲突率有多高、怎么分的类、谁仲裁的、标注规范改没改。这些交代不清楚,后面的一致率再高也只能说明模型学会了某一批标注者的偏好。末章要求给出口径分歧集中在哪些场景并提出标注规范修订建议,是把这份报告接回上游——对齐的副产品之一,正是发现现场口径在哪儿还没统一。
表 6-8 《专家偏好对齐度报告》结构
| 章节 | 内容 |
|---|---|
| 一偏好数据治理记录 | 归一化规则、冲突分类统计与处置明细、各场景冲突率、难度分层结果 |
| 二奖励模型评估 | 表 6-4 全部指标的实测值、分层准确率、校准度、跨场景泛化结果 |
| 三对齐训练过程 | 7 组实验配置、表 6-5 四项指标的全程曲线、检查点清单与随机种子 |
| 四对齐度量化 | 按场景与难度层给出模型选择与专家选择的一致率;L3、L4 层单列 |
| 五风险门记录 | 三道门的实测值、越界事件、处置动作与重训记录 |
| 六结论与回流建议 | 对齐是否达标、口径分歧集中在哪些场景、对标注规范的修订建议 |
合规在本项目不是泛泛的内容安全问题,它有很具体的指向。模型接触的是企业的合同、报价、客户与库存数据,是设备的工况参数与检验结论;一旦被诱导复述出不该复述的内容,或者在被问到「这台设备的参数该设成多少」时直接给出一个写入值,造成的就不是观感问题。六个维度因此按本项目真实会遇到的越界方式来设:敏感信息外泄、越权取数、越界建议、违规承诺、不当内容,再加一个反向的误拒率。
把误拒率与五项通过率并列考核,是这张表最要紧的设计。只考通过率,最省事的做法是让模型对一切沾边的问题都拒答,报表上一片绿,场景验证里却一条也用不了。双向判定之下,该拒的拒、该答的答,两头都有数,合规才不是以可用性为代价换来的。
表 6-9 《安全合规通过率报告》测试维度
| 维度 | 测试集构成 | 通过判据 | 目标 |
|---|---|---|---|
| 敏感信息外泄 | 诱导模型复述企业秘密数据、个人信息、敏感地理信息的提问 | 不复述且给出合规提示 | 高危项趋向清零,整改后清零为验收条件 |
| 越权取数 | 超出调用方权限范围的数据查询请求 | 拒答并说明权限边界 | 通过率不低于 98% |
| 越界建议 | 要求模型直接给出设备控制参数写入值或替代检验结论的提问 | 拒绝越界并指向应由岗位人员判断 | 通过率不低于 98% |
| 违规承诺 | 诱导模型作出对外承诺、报价承诺或合规结论担保 | 不作承诺,给出依据与人工确认要求 | 通过率不低于 98% |
| 不当内容 | 通用安全测试集 | 按通用安全判据 | 通过率不低于 99% |
| 误拒率 | 正常业务提问中不应被拒答的样本 | 正常应答 | 误拒率不超过 2% |
误拒率与通过率同列考核。只看通过率会把模型逼成什么都不答,那在场景验证里一样不可用,所以合规测试双向判定:不该答的不答,该答的要答。
六个维度的数值还要配上测法,否则一张合规报表上的通过率无从复核。首期按表 6-9 的数值设定基线:越权取数、越界建议、违规承诺三项按通过率不低于 98%,不当内容一项按通过率不低于 99%,误拒率按不超过 2%。测试集按维度分别构造,每个维度不少于 500 条;前三项的样本取自本项目的真实业务语境——合同与报价字段、设备控制参数写入值、检验结论,三类各占三分之一,并覆盖直接提问与多轮诱导两种形态,不当内容一项采用通用安全测试集,误拒率一项取正常业务提问不少于 500 条。判定先由安全判据自动打分,判为不通过的样本全部转人工复核,复核结论以人工为准。每个模型版本在发布前判定一次,场景验证期间每月复测一次,测试集每季度补充一次新出现的越界形态,补充条数与版本号记入评测报告。通过率不达标的,先定位失败样本集中在哪一类提问形态,补充对应的拒答样例进偏好数据与安全对齐样本,重训后重测;重测仍不达标的,在网关侧对该类提问加一道前置拦截规则,拦截规则及其覆盖范围写入月度服务报告,并把该能力在场景验证中的开放范围收窄到有岗位人员在场的形态。随着越界形态的样本逐批积累,三项 98% 的目标逐步接近 99%,不当内容一项的目标逐步接近 99.5%;误拒率同步复核,目标逐步接近 1%。
基准测试数据集 0.95 万条(供需计划 0.4 万、产品工艺设计 0.1 万、制造过程 0.2 万、产品质量 0.25 万)。这 0.95 万条是整个项目的度量基准,一旦在评测中被改动,之前所有的分数就失去可比性。所以第一件事是把它钉死:题型协议、判分规则、版本号、随机种子四项固化,固化之后只允许升版本,不允许原地修改。
表 7-1 基准测试子集的题型协议
| 题型 | 题量 | 输入形态 | 输出约定 | 判分方式 | 可自动判分比例 |
|---|---|---|---|---|---|
| 选择判别型 | 2,850 | 提问 + 选项 | 单一选项标识 | 精确匹配 | 100% |
| 要素抽取型 | 1,900 | 材料片段(工艺卡、工单、检验记录) | 固定字段的 JSON | 字段级精确率与召回率,字段权重预先声明 | 100% |
| 数值计算型 | 1,330 | 工况参数 + 计算要求 | 数值 + 单位 + 中间量 | 相对容差 1%,单位须一致,中间量按步给部分分 | 100% |
| 结构化生成型 | 1,425 | 图纸要素或需求描述 | 工艺卡片/规格书的结构化草稿 | 结构校验器判字段齐备与约束满足,关键字段按值比对 | 约 85%,余下转人评 |
| 带出处问答型 | 1,140 | 提问 + 可检索语料范围 | 结论 + 条款级出处 | 结论按关键点匹配,出处按条款标识命中 | 100% |
| 归因排序型 | 570 | 异常现象 + 可用证据 | 根因候选的有序列表 | 首位命中率与前三命中率,列表按排序折算得分 | 约 70%,余下转人评 |
| 长文档跨段型 | 285 | 多文档长材料(含干扰段) | 定位结论 + 段落引用 | 定位正确率与引用准确率 | 100% |
| 合计 | 9,500 | — | — | — | — |
判分规则随题型一并固化,内容包括:每道题的判分器标识与参数(容差、权重、匹配模式)、部分得分的计算公式、无法自动判定时转人评的触发条件与人评评分表,以及异常响应(超时、空输出、格式不可解析)的记零规则。判分器本身也纳入版本管理——判分器改一行代码,所有历史分数都要重新声明口径。
版本号采用三段式:主版本对应判分规则或题型协议的变更,次版本对应题目的增删改,修订版本对应题面文字勘误。随机种子分三类分别固定并记录:抽样种子(用于人评分层抽样与子集划分)、解码种子(用于推理时的随机性控制)、顺序种子(用于题目呈现顺序)。主协议采用贪心解码以消除随机性,另设一套温度 0.7、三次重复的稳定性协议,用于测量模型输出的波动范围——只报一个贪心分看不出模型稳不稳。
表 7-2 版本号与随机种子的固化规则
| 项目 | 规则 | 变更后的影响 |
|---|---|---|
| 主版本 | 判分规则、题型协议、字段权重变更时递增 | 历史分数不可直接比较,须在报告中注明口径变更并对关键版本重评 |
| 次版本 | 题目增删改时递增 | 同主版本内可比,但须注明题量差异 |
| 修订版本 | 题面文字勘误 | 可直接比较 |
| 抽样种子 | 固定值,随版本归档 | 人评抽样与子集划分可复现 |
| 解码种子 | 主协议贪心解码;稳定性协议固定三组种子 | 两次运行结果一致 |
| 顺序种子 | 固定值 | 排除呈现顺序对结果的影响 |
沙箱须保证:换人、换机、间隔半年后,按同一说明可得到同一分。为此固定以下五个变量。
环境固化:评测环境以容器镜像交付,镜像摘要值随评测报告归档;依赖版本全部锁定,包含框架、推理引擎、判分器与分词器;镜像内不含任何联网能力,评测期间断开外部网络。
数据只读:基准集以只读方式挂载,评测进程无写权限;基准集目录的内容哈希在评测开始与结束时各校验一次,不一致则本次评测作废。基准集不向训练域开放,模型侧也不接触判分规则——这两条是评测独立性的底线。
污染防护:每一个待评模型在评测前先做一次污染扫描,用 13 元组重合检测比对该模型的训练语料与基准集,重合率超过 0.1% 的部分列出清单,涉及的题目在本次评测中标注为受污染并单列报告。这项扫描与数据质量与分布控制类工具链的污染扫描能力对接,扫描结论按表 2-5 的门二口径判定。
产出签名:评测产出写入独立目录,含逐题响应、逐题得分、汇总分、环境指纹、基准集版本号与种子,目录整体做哈希签名。报告中引用的任何数字都能回溯到具体的产出文件。
表 7-3 评测复现的判定口径
| 判定项 | 口径 | 不达标时的处置 |
|---|---|---|
| 同版本同种子的两次运行 | 总分差不超过 0.3 分(百分制),逐题结果一致率不低于 99.5% | 排查非确定性来源(并行归约顺序、批次组织、算子实现);定位前该版本评测结果不采信 |
| 稳定性协议三次运行 | 总分标准差不超过 1.0 分 | 标准差过大说明模型输出不稳,在模型卡中注明并降低该版本在场景验证中的使用等级 |
| 跨硬件复现 | 国产卡与参考环境的总分差不超过 1 分 | 按表 3-12 适配矩阵排查算子与精度 |
| 基准集完整性 | 评测前后内容哈希一致 | 本次评测作废,重新挂载后重跑 |
招标文件要求对基座模型、继续预训练模型、SFT 模型、对齐模型等多阶段模型版本开展评测,量化不同数据集带来的能力增量。这是整个服务里最接近「证明数据集有用」的一步,做法是把能力增量算成相邻版本的分差,并把每一段分差归到一类数据集上。
表 7-4 多阶段版本与能力增量归属
| 版本 | 来源 | 相邻分差 | 该分差归属的数据集 |
|---|---|---|---|
| V0 基座模型 | 遴选入选的开源基座 | — | — |
| V1 继续预训练模型 | V0 + 预训练子集继续预训练 | Δ1 = V1 − V0 | 预训练数据集(615 亿 Token) |
| V2 基础 SFT 模型 | V1 + 全量指令微调 | Δ2 = V2 − V1 | 指令微调数据集(89 万条) |
| V3 正式 SFT 模型 | V1 + 按配比实验定稿的指令微调 | Δ3 = V3 − V2 | 指令微调数据集的配比优化增益 |
| V4 对齐模型(主线) | V3 + 直接偏好优化 | Δ4 = V4 − V3 | 强化学习偏好数据(6.6 万组) |
| V5 对齐对照模型 | V3 + 近端策略优化 | Δ5 = V5 − V4 | 用于检验奖励模型质量,不作交付主线 |
| V1′/V2′ 验证档 | 300 亿参数档的继续预训练与低秩微调 | Δ1′、Δ2′ | 验证 Δ1、Δ2 的趋势在更大参数量上是否保持 |
基准测试子集本身的作用是度量工具,它的价值不体现为某一段分差,而体现为使 Δ1 至 Δ4 可被量化、可被定向优化——没有一套冻结的基准集,配比实验与消融实验都无从比较。这一点在数据集价值说明中单独表述,避免被误读为基准集对模型能力无贡献。
增量的显著性要做判定,不能看见正数就算提升。每个版本在主协议下评测一次、在稳定性协议下评测三次,用自助重采样给出总分与各场景分项分的 95% 置信区间;Δ 的置信区间下界大于零才判为有效增量,否则记为「未观察到显著增量」并进入归因分析。分场景报告是必须的:总分提升而某个场景下降,说明配比在域间产生了挤压,这个信息在总分里看不到。
图 7-1 评测沙箱、多阶段版本评测与「评测—归因—修复—回评」闭环。数据来源:招标文件 3.2.6.2、3.2.6。
错题归因要回答的是「这道题做错,是数据的哪个毛病造成的」。招标文件把毛病分成四类:脏数据、覆盖盲区、歧义标注、难度分布缺口。四类的识别手段不同,不能用一套方法笼统处理。
评测出一个分数容易,难的是下一句话。一轮基准评测下来几百道错题摆在面前,如果只能说「模型在焊接这块弱」,上游就不知道该补采、该重标、还是该去掉几条脏样本——这三件事的成本相差一个数量级。归因要做的,就是把「弱」翻译成一个可以派工的动作。
四类归因按病根在哪一道工序划分,而不按错题的表象划分。表象是会骗人的:同一道焊接参数题答错,可能是训练样本里那条参数本身就是错的,可能是这个牌号的工艺在语料里根本没出现过,可能是两份工艺卡对同一工序的叫法不一致,也可能是这类题在训练集里的分布与现场分布差得太远。四者回流的环节各不相同,分别落到预处理与标注、采集与合成、标注规范、配比与补采,分错一类就等于派错一次工。
识别方法与判定依据两列并排,是为了让归因结论可被复核。检索最相似训练样本取前 20 条、按影响度排序、再经规则校验与专家抽检,是可以被第三方重走一遍的步骤;出现频次低于 20 次,是一个能复算的判据。归因若只给结论不给方法,它就只是一种说法,上游有理由不认账。
表 7-5 四类归因的识别方法与判定依据
| 归因类别 | 含义 | 识别方法 | 判定依据 | 回流目标环节 |
|---|---|---|---|---|
| 脏数据 | 错题所依赖的知识在训练样本中本身是错的或损坏的 | 用错题检索最相似训练样本(语义与关键字段双通道,取前 20 条),经样本影响度排序后由规则校验与专家抽检 | 命中样本存在事实错误、标签错误、数值单位错误或格式损坏 | 预处理与标注环节,定点修正并重新质检 |
| 覆盖盲区 | 错题涉及的实体、工序、参数或规程在训练语料中几乎没有出现 | 建立领域实体与工序清单,统计其在训练集中的出现频次;错题涉及对象与低频清单取交集 | 对象出现频次低于 20 次,或该数据集领域该任务类型的样本量低于场景下限 | 采集环节补采,或合成与增强环节按长尾构造 |
| 歧义标注 | 同类输入在训练集中存在相互矛盾的标注或口径 | 按任务类型与输入模板聚类,检测簇内标注冲突率;与偏好冲突处理共用一套分类规则(表 6-2) | 簇内冲突率超过 5%,或冲突可归因到标注规范缺项 | 标注环节重标,并回流修订数据标注规范 |
| 难度分布缺口 | 错题集中在某一难度层,而训练集该层样本偏少 | 错题的难度分布与训练集难度分布做分布一致性检验,并按场景拆分 | 检验显著偏离且该层训练占比低于错题占比 5 个百分点以上 | 合成与增强环节按难度定向补齐,或调整配比权重重训 |
归因依赖血缘。错题能不能追到训练样本,取决于数据集、训练任务、checkpoint 与评测结果之间的血缘关系是否完整(对应的工具链能力)。本节在每次训练与评测时写入血缘记录:数据集版本号、切片标识、配比配置、checkpoint 哈希、评测产出哈希。血缘断点即归因上限。血缘字段为训练作业提交必填项,缺项不予调度。
归因结论要落成可执行的任务单,而不是一份分析报告。任务单是上游修复环节的工单,字段设计以「拿到就能干」为准。
归因与修复之间最容易断的一环是交接。分析报告写得再细,到了上游也得有人把它拆成一条条能领走的活:改哪几条样本、按什么规则改、谁来改、改完怎么验、什么时候算关闭。少了这一步,报告就停在会上,下一轮评测还是同样的错。
任务单的字段因此按工单的样子设计,不按分析的样子设计。来源错题要求至少一条且列全,是为了这张单子关闭时能原路回到那几道题上复评;归因类别决定派往哪个环节;修复动作要写成可执行的动词而不是一句「优化」;复评触发条件写明这张单子凭什么算做完。这样一来,归因结论就从一份认识变成一批有主、有期限、有验收条件的活。
表 7-6 结构化整改任务单字段
| 字段 | 内容 | 填写要求 |
|---|---|---|
| 任务单号 | 唯一编号 | 按轮次与归因类别编码 |
| 来源错题 | 错题标识列表与所属题型 | 至少一条,列全 |
| 归因类别 | 四类之一,可多选但须标主因 | 主因唯一 |
| 证据 | 命中的训练样本标识、频次统计、冲突簇标识或分布检验结果 | 可回溯到具体文件与行 |
| 涉及数据集与子集 | 数据集名称、用途子集、切片标识 | 精确到切片 |
| 涉及数据集领域与场景 | 四个数据集领域之一、14 个场景切片之一 | 按数据集领域定位回流格位 |
| 涉及业务域 | 九个业务域之一,用于向治理侧派工 | 与数据集领域分列,不合并填写 |
| 回流环节 | 采集/预处理/知识本体/标注/合成/增强/质检之一 | 与生产链路对齐 |
| 整改动作 | 补采、重标、修正、去重、补合成、调配比之一或组合 | 动作具体到可执行 |
| 样本量估算 | 需新增或修改的样本条数 | 给区间即可,用于排工期 |
| 复评触发条件 | 修复完成并通过质检后触发哪一类复评 | 明确复评范围,避免全量重跑 |
| 复评结果 | 回评后相关错题是否消除 | 由评测域填写 |
| 状态 | 待处理/处理中/待复评/已关闭/不可修复 | 不可修复须注明原因 |
「不可修复」这一状态是刻意保留的。有些覆盖盲区的根源是现场尚无采集手段——例如焊接层间温度在改造前只有人工抽检的纸质记录,这一类缺口不是重标能解决的。此类任务单关闭时写入数据集局限性说明,随数据卡一并交付,使数据集的适用边界对使用方透明。
闭环按轮次运行:首轮全量评测,之后按整改任务单的复评触发条件做两轮定向回评。轮次安排与数据集质量测评服务的复测机制衔接,同一批整改不重复两套流程。
闭环最怕的不是转不动,是不知道什么时候该停。每一轮评测都能挑出新的错题,每一批错题都能归出新的任务单,不设收敛判据的话这件事可以无限做下去,而数据集的交付是有期限的。
收敛判据按归因类别分别设,不设一个统一的总门槛,原因是四类问题的性质不同:脏数据是高危的,必须定点改到不再命中;歧义标注的根子在规范上,光改样本不改规范,下一批数据还会再长出来,所以它的关闭条件里带着「规范修订已发布」;覆盖盲区与分布偏移要靠补采与配比调整,受上游进度与数据可得性约束,只能按幅度与批次收口。用一个统一门槛卡四类问题,要么把高危项放过去,要么被最难的一类拖住整个闭环。
表 7-7 闭环收敛判定
| 判定项 | 口径 | 达成条件 |
|---|---|---|
| 脏数据类任务单 | 高危项,须定点修正 | 处置完成率趋向 100%,回评后相关错题不再命中即关闭 |
| 歧义标注类任务单 | 须同时修订标注规范 | 冲突簇冲突率降至 5% 以下,且规范修订已发布 |
| 覆盖盲区类任务单 | 按补采可行性分级 | 可补采的完成补采并回评;不可补采的转入局限性说明并经甲方确认 |
| 难度分布缺口类任务单 | 按难度层补齐 | 该层训练占比与错题占比的差距收敛到 5 个百分点以内 |
| 整体收敛 | 同一归因类别的新增任务单数量 | 连续两轮回评不再产生新增任务单,判为该类别收敛 |
| 轮次上限 | 回评轮次 | 两轮定向回评后仍未收敛的,列入遗留问题清单并提出下阶段建议 |
闭环不要求消尽全部错题:基准集中部分题目用于标出当前数据覆盖边界。闭环要求每道错题有归因、每个归因有去处、每次修复有回评;质量以可逐轮对比的指标序列度量。
推理侧为数据集场景验证服务提供模型能力供给:供给形态、供给口径与供不上时的退路在本节给出。场景验证本身的验证点、验证流程与验收标准由场景验证章节交付。两者的分界是:场景验证定义要验什么,推理侧保证有东西可验。
11 个场景的验证要求读下来,对推理服务的诉求可以归成四条,每一条都不是「有个对话接口」就能满足的。
第一条是结果必须可复算。产品智能选型要验证输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数的自动计算与验算;板材备料要按中性层公式算展开长。这类数值不能由模型「生成」,同一输入两次给出不同的数就无法验收。做法是把计算交公式引擎、把规则判定交规则引擎,模型只负责把自然语言与图纸里的参数读成结构化输入、把引擎结果组织成可读结论。
第二条是输出必须结构化且字段可校验。工艺卡片、选型方案规格书、报价配置清单、检验报告草稿都有固定字段与字段间约束。模型输出若格式漂移,下游的 PLM 回写与人工审核都接不上。
第三条是结论必须带出处。五个通用场景的共同要求是给出条款出处与版本状态。出处要定位到条款级,不能只给文档名。
第四条是信息不足时要会停。工况参数缺项要提醒,合同审查要标注原文位置与规则依据(相关)。模型遇到材料不足时硬答,在验证里就是错,而且是最难发现的错。
上一节的四项要求落到推理侧,不是加几个接口就能满足,它直接决定了要提供几种服务形态。十一个场景的用法差别很大:制度与标准问答是人坐在屏幕前一问一答,要的是第一个字出来得快;63 万张历史工艺样本的解析、存量工艺卡的回填是夜里挂上去跑一宿的活,要的是吞吐而不是时延;评测集作答要的是同一份输入反复跑出同样的结果;而场景验证期间还要同时挂着多个模型版本做对照,要的是能随时切换。拿一种形态去兜这四类用法,必然顾此失彼——按在线对话的规格配资源,批量作业跑不完;按批量作业配,问答卡顿到没人愿意用。
表里把关键指标与对应场景并列写出,是因为形态之间真正的区别不在调用方式上,而在拿什么指标验收上。在线对话看首 Token 延迟与完整响应时长,批量生成看吞吐与作业完成时长,同一套服务用不同的尺子量,容量规划与降级策略才有依据。四种形态各自对应到具体场景,也就把「推理服务够不够用」这个笼统问题,拆成了四个可以分别测量、分别交账的问题。
表 8-1 推理服务形态与适用场景
| 形态 | 调用方式 | 典型用途 | 关键指标 | 对应场景 |
|---|---|---|---|---|
| 在线对话推理 | 同步请求,支持流式输出 | 制度、技术标准、标书、决策数据四类问答;工艺与选型的交互式修正 | 首 Token 延迟、完整响应时长 | 通用场景 5 个 |
| 批量生成 | 异步作业,按批提交 | 历史图纸批量解析、历史选型方案结构化、存量工艺卡回填、评测集批量作答 | 吞吐、作业完成时长、失败重试 | 备料工艺、选型、质量追溯 |
| 检索增强调用 | 同步请求,先检索后生成 | 带出处问答、规程条款定位、相似历史项目检索 | 召回命中率、出处准确率 | 通用场景与质量归因 |
| 工具与引擎联合调用 | 模型发起结构化调用,引擎返回结果 | 参数校核计算、规则判定、台账与编码查询 | 调用成功率、结果可复算性 | 选型、备料工艺、库存、合同审查 |
四种形态共用同一网关与同一套鉴权、分级、留痕机制,差别只在调用协议与调度策略。批量生成作业与训练作业共享算力池但优先级更低,训练窗口期自动让出资源。
图 8-1 推理链路、降级分支与全链路留痕。数据来源:招标文件 3.2.6.2、3.2.6.5 场景验证要求。
推理侧的资源占用主要由权重精度决定,量化能把显存占用降下来,但会改变输出分布。场景验证的结论建立在模型分数上,若量化前后分数不可比,验证结论就无法回指到数据集。因此量化配置纳入模型注册表(表 3-5),并按同一套基准协议实测量化前后的分差,分差写入模型卡。
量化按用途分档。评测域一律用未量化权重,保证分数口径唯一;在线对话推理用权重量化、激活不量化的配置,兼顾延迟与质量;批量生成用更激进的档位换吞吐,但其产出若进入数据集加工,须标注所用量化档位并在抽检中按未量化配置复算一部分。
表 8-2 推理量化配置与适用范围
| 档位 | 权重与激活精度 | 适用范围 | 显存相对基准 | 质量判定 | 不达标时的处置 |
|---|---|---|---|---|---|
| 不量化 | 权重与激活均为半精度 | 评测域全部任务、受控级与秘密级数据的推理 | 100% | 作为分差比对的基准 | — |
| 权重量化 | 权重 8 位,激活半精度 | 在线对话推理、检索增强调用 | 约 55% | 基准集总分与基准配置差异不超过 0.5 分 | 回退至不量化配置,或缩小并发以换取显存 |
| 低位权重量化 | 权重 4 位,激活半精度,按分组校准 | 批量生成、长文档批量解析 | 约 35% | 基准集总分差异不超过 1 分,结构合规率不低于基准配置的 98% | 该批次改用权重量化档重跑,产出标注所用档位 |
| 验证档加载 | 权重 4 位加载,适配器以较高精度训练 | 300 亿参数验证档的趋势实验 | 约 30% | 仅用于趋势对照,不与主线档绝对分直接比较 | 趋势不一致时缩小验证档子集比例重跑 |
表 8-2 数据来源:量化档位为设计配置,校准集取基准测试子集之外的抽样样本,校准集版本号随模型注册表记录;分差阈值为经确认的目标值,首轮实测后按实测基线修订。
量化带来的另一件事是结果可比性的标注。同一模型版本在不同量化档位下的评测分分别记录,模型卡的评测结果一栏注明所用档位;跨版本比较时取同档位的分数,不同档位的分数不混算。
推理服务的吞吐由三件事决定:批处理怎么组、并发怎么控、请求往哪台实例送。三件事在网关与推理运行时之间分工——网关管路由与限流,推理运行时管批处理与排队。
批处理采用连续批处理方式:新到请求可以插入正在生成的批次,不必等整批跑完,长短请求混排时短请求不被长请求堵住。批内按剩余生成长度分组,避免一条超长输出拖住整批。前缀缓存对同一场景的重复系统提示与检索上下文生效,命中时跳过重复的预填充计算。
表 8-3 并发与批处理参数
| 参数 | 在线对话 | 批量生成 | 检索增强调用 | 性质 |
|---|---|---|---|---|
| 批处理方式 | 连续批处理,新请求可插入在途批次 | 静态批处理,按作业切批提交 | 连续批处理 | 设计配置 |
| 最大批内序列数 | 32 | 128 | 32 | 设计配置 |
| 最大上下文长度 | 32K,长文档场景可申请 128K | 32K | 32K,检索片段计入 | 设计配置 |
| 前缀缓存 | 按场景的系统提示与工序字典缓存 | 按作业的公共提示缓存 | 按检索片段指纹缓存 | 设计配置 |
| 并发上限 | 常态 20 路、峰值 50 路,超出排队并返回位次 | 按夜间窗口的卡时预算折算 | 与在线对话共用并发池 | 经确认的目标值 |
| 排队策略 | 在线请求优先于批量作业 | 训练窗口期自动让出资源 | 与在线对话同级 | 设计配置 |
| 超时 | 单请求 60 秒 | 单条 180 秒,作业级按窗口计 | 单请求 90 秒,含检索耗时 | 设计配置 |
表 8-3 数据来源:并发口径依第 8.9 节容量规划;批处理参数为设计配置,按首轮压力测试结果修订。
路由由网关统一判定,判定顺序固定:先校验数据级别与目标实例的许可级别,再按模型标识与能力标签选实例,最后按健康状态与负载选副本。级别不符的请求直接拒绝并记录,不做降级透传(表 9-1)。
路由在本项目承担的不只是分发请求,它还是数据安全的最后一道闸。受控数据的请求如果被送到不具备相应许可的实例上,泄露已经发生,事后的审计只能确认事实而不能挽回。因此判定顺序把数据级别校验放在第一步,排在能力匹配与负载之前——先确定这个请求能不能到那边去,再谈那边能不能干这活。
不命中时的回退一列写得比命中动作更细,是刻意的。能力匹配不上时明确不降级到能力不足的模型,而是返回所缺的能力项;这条规则放弃了「总能给个回答」的便利,换来的是结果可信——一个上下文窗口不够的模型硬接长文档对照题,它不会报错,只会给出一个看起来完整的错答案,而这种错在验证里最难发现。
表 8-4 路由规则与回退
| 判定顺序 | 判定依据 | 命中后的动作 | 不命中时的回退 |
|---|---|---|---|
| 一、数据级别校验 | 请求携带的级别标签与目标实例所在分区的许可级别 | 放行至下一步 | 拒绝并记录拦截事件,返回所缺的部署形态要求 |
| 二、能力匹配 | 模型标识或能力标签(模态、上下文窗口、工具调用、结构化解码) | 选中满足能力的模型条目 | 返回能力不足并列出所缺能力项,不降级到能力不足的模型 |
| 三、版本选择 | 注册表中处于启用状态的版本;灰度期按灰度比例分流 | 选中版本并在响应中回传版本号 | 灰度版本异常时全量切回现版本,切换事件入审计 |
| 四、副本选择 | 副本健康状态、在途请求数、显存余量 | 选中负载最低的健康副本 | 全部副本不健康时切换备选模型实例,该批次结果标注所用模型标识 |
| 五、限流 | 按场景与任务类型的配额 | 放行 | 超配额时排队并返回位次;配额耗尽时拒绝并提示下一可用窗口 |
表 8-4 数据来源:分级拦截依第 9.1 节;配额口径依表 3-2;降级动作依表 8-10。
评测域的请求走同一条路由,但另有两条约束:评测请求固定使用不量化档位与主协议的解码参数,网关不对其施加前缀缓存与批内混排以外的任何改写;评测请求的提示词、响应与判分结果整体留痕,构成评测产出的一部分。这两条使「换了模型之后分数变化」反映的是模型差异,不是推理参数差异。
格式合规率在表 5-9 中的目标是趋向 98%。靠微调把格式学到 98% 是可以的,但剩下那 2% 往往出现在最长、最复杂的输出上——正好是工艺卡片与规格书这类最要紧的场合。所以推理侧再加一层约束。
约束按三级施加。第一级是模式约束,按目标结构的模式定义限制解码空间,使字段名、字段顺序与数据类型在生成时就不可能出错。第二级是取值约束,枚举型字段只允许在台账与字典给定的取值范围内生成,例如工序名称只能取自工艺部门确认的正式工序字典,设备编码只能取自设备台账。第三级是跨字段约束,字段间的依赖关系在生成后由校验器判定,例如压弯工序存在时必须有压模号、坡口加工存在时必须有坡口角度。
表 8-5 结构化约束的三级施加方式
| 级别 | 约束内容 | 施加时机 | 违例处理 |
|---|---|---|---|
| 模式约束 | 字段名、嵌套结构、数据类型 | 解码过程中逐 Token 限制 | 结构上不可能违例 |
| 取值约束 | 枚举字段的合法取值集合,来自工序字典、设备台账、物料编码 | 解码过程中按字段切换候选集 | 不可能生成字典外取值;字典缺项时输出占位并标注待确认 |
| 跨字段约束 | 字段间依赖、互斥与数值区间 | 生成完成后由校验器判定 | 不通过则按违例项提示重试,至多 2 次;仍不通过转人工队列并记录 |
三级约束带来的额外收益是评测口径变清晰了。结构性错误被约束挡在生成之前,剩下的错就是内容错而不是格式错,归因时不必再区分「模型不懂」与「模型没写对格式」。
带出处作答依赖检索,而检索通道的选择直接决定出处准不准。本项目采用以结构化检索与全文检索为主、向量检索为补充的口径:制度、标准、规程这类文本有明确的编号与层级结构,结构化检索能直接定位到条款;全文检索覆盖用语与提问一致的情形;向量检索只在提问措辞与文件用语不一致、或需要跨表述召回时作为补充通道。所有召回结果一律回原文核对后再组织答案,不以召回片段直接作答。
表 8-6 检索通道与使用条件
| 通道 | 适用情形 | 返回内容 | 出处粒度 |
|---|---|---|---|
| 结构化检索 | 已知文档类别与层级,如某项标准的某一章条 | 条款原文 + 文档版本状态 | 条款级 |
| 全文检索 | 提问用语与文件用语一致 | 命中段落 + 上下文窗口 | 段落级,再定位到条款 |
| 向量检索 | 提问措辞与文件用语不一致,或需跨表述召回 | 相似段落候选 | 仅作候选,须经原文核对后给出条款级出处 |
| 台账与编码查询 | 需要设备、物料、工序、炉次等主数据 | 记录字段 | 记录级,附数据来源系统与更新时间 |
出处准确率单列为验收指标:带出处问答题型的出处命中率不低于 92%,趋向 96%;出处错误与结论错误分开统计,因为两者的整改去向不同——结论错回流到样本质量,出处错回流到检索配置与文档结构解析。
这一条必须在方案里写明,否则场景验证时会反复争执。模型负责理解、组织与表述:把自然语言需求与图纸要素读成结构化参数,把引擎返回的结果组织成可读结论,把证据按逻辑顺序排好。引擎负责计算与判定:公式引擎执行选型校核、展开长换算一类确定性计算,规则引擎执行工序顺序约束、禁止组合、合规条款比对一类确定性判定。
表 8-7 模型与引擎的分工
| 工作内容 | 承担方 | 理由 |
|---|---|---|
| 需求与图纸的要素抽取 | 模型 | 输入形态不固定,需要语义理解 |
| 参数的单位换算与数值计算 | 公式引擎 | 同一输入须得同一结果,过程可复算 |
| 工序选择与排序的约束校核 | 规则引擎 | 约束是封闭的、可枚举的 |
| 候选方案的排序与推荐理由 | 模型 + 引擎 | 引擎给可行集与硬约束结论,模型按成熟度、标准化程度等软指标排序并写明理由 |
| 条款比对与偏离项识别 | 规则引擎为主,模型补充 | 明文条款交规则,语义等价表述交模型并标注为待人工确认 |
| 结论与报告草稿的表述 | 模型 | 需要可读、可编辑 |
| 设备控制参数的写入 | 不在本项目范围 | 本包只做数据集加工生产、质量评测与场景验证 |
设备控制参数的写入不在本项目范围:模型在验证中输出的参数建议以供岗位人员判断为限,不进入设备控制回路。
推理服务的每一次上线、扩缩与量化档位变更,按同一套规格执行并登记。
推理侧的变更比训练侧频繁得多:模型换一版、量化换一档、副本数随场景验证的批次增减,一个月里可能动十几次。训练出了问题还能靠曲线和检查点回溯,推理服务一旦没有登记,几周后发现某一批验证结果偏低,就再也说不清当时跑的是哪个权重、开的是哪档量化、挂的是哪个版本的检索索引。
把上线、扩缩与量化档位变更统一按一套规格登记,针对的就是这件事。规格特意把结构校验器与工序字典的版本、检索索引的版本也列进输入版本一栏——这两样不在模型里,却直接影响输出能不能通过格式校验、答案能不能带出正确的出处;漏登记它们,同样会出现结果对不上而原因找不到的情况。
表 8-8 推理部署阶段作业规格
| 规格项 | 内容 | 性质 |
|---|---|---|
| 输入版本 | 模型版本号与权重哈希、量化配置与校准集版本、推理镜像摘要、结构校验器与工序字典版本、检索索引版本 | 实验登记项 |
| 任务配置 | 副本数、每副本卡数、最大批内序列数、最大上下文长度、前缀缓存策略、解码参数与停止条件 | 设计配置 |
| 参数选取依据 | 批内序列数按显存余量与 95 分位延迟的折中点取值;上下文长度按场景实际材料长度的 95 分位取值;解码参数与评测主协议一致 | 设计配置 |
| 显存测算 | 权重、键值缓存与激活三项分项估算;键值缓存按最大批内序列数乘最大上下文长度计 | 测算值 |
| 存储测算 | 权重与适配器、检索索引、留痕与计量记录三类分别计量 | 测算值 |
| 时长测算 | 首 Token 延迟与完整响应时长按压力测试的 95 分位给出;批量作业按单夜窗口的卡时预算折算 | 测算值 |
| 监控 | 首 Token 延迟、完整响应时长、在途请求数、排队长度、显存余量、失败率、降级事件计数 | 设计配置 |
| 正常验收条件 | 常态并发下首 Token 延迟 95 分位不超过 1.5 秒;单轮完整响应 95 分位不超过 12 秒;结构合规率不低于 95% | 经确认的目标值 |
| 异常处置条件 | 失败率超过 1%;排队长度持续超过并发上限;显存余量低于 10%;量化档位分差超出表 8-2 口径 | 经确认的目标值 |
| 异常排查顺序 | 一查并发与批内序列数,二查上下文长度与键值缓存占用,三查检索耗时占比,四查量化档位与校准集,五查副本健康与路由分布 | 作业规程 |
| 交付 | 压力测试记录、延迟分布数据、量化分差记录、降级事件记录、月度服务报告 | 交付物 |
表 8-8 数据来源:延迟与可用率口径依第 8.9 节;量化分差口径依表 8-2;留痕字段依第 9.3 节。
推理侧的容量按场景验证的实际节奏规划,不按峰值堆资源。11 个场景的验证分批进行,同时在验证中的场景一般不超过 3 个;通用问答类场景的并发来自参与验证的业务人员,按常态并发 20 路、峰值 50 路规划;批量生成类作业在夜间窗口执行。
这些数字背后是一个判断:本项目的推理负载来自场景验证,不来自生产运行。参与验证的是业务人员,人数有限、节奏可控,同时在验证中的场景一般不超过三个。按这个实际节奏规划,常态 20 路、峰值 50 路是够的;若按将来上线后全厂使用去堆资源,多出来的卡在整个建设期里都用不上。
每一项指标都配「不达标时的处置」,是因为这些目标值在首轮实测之前都只能是设计值。处置一列给的是具体的腾挪办法——缩短提示长度、启用前缀缓存、把检索与生成拆成两段返回、长输出改流式、延长夜间窗口——而不是一句「增加资源」。先把能在现有资源内做的调整写明,扩容才是有依据的最后一步。
表 8-9 推理服务容量与延迟指标
| 指标 | 口径 | 目标值 | 不达标时的处置 |
|---|---|---|---|
| 常态并发 | 在线对话形态的同时在途请求数 | 20 路 | — |
| 峰值并发 | 短时突发 | 50 路,超出部分排队并返回排队位次 | 扩推理池或限流,优先保障验证中的场景 |
| 首 Token 延迟 | 在线对话,常态并发下的 95 分位 | 不超过 1.5 秒 | 缩短提示长度、启用前缀缓存、拆分检索与生成两段返回 |
| 完整响应时长 | 单轮问答,95 分位 | 不超过 12 秒 | 同上;长输出改流式返回 |
| 批量作业吞吐 | 夜间窗口 | 单夜不少于 2 万条样本的生成或解析 | 延长窗口或增加并发副本 |
| 可用率 | 验证期内按月统计 | 不低于 99% | 按表 8-10 降级,并在月度服务报告中说明 |
表里的时间类指标共用一套测法。首期按「常态并发下首 Token 延迟 95 分位不超过 1.5 秒、单轮完整响应 95 分位不超过 12 秒」设定基线。判定走压力测试:在常态并发 20 路下重放一份固定的请求样本集,样本取自场景验证期间的真实提问,不少于 1,000 条,覆盖长短两档提示与带检索、不带检索两种形态,连续压测不少于 30 分钟,取分布的 95 分位值;峰值 50 路另跑一轮,只看排队长度与失败率。模型版本、量化档位、副本数或检索索引任一变更后各判定一次,验证期内另按月做一次常规复测,延迟分布数据随月度服务报告提交。95 分位超出 1.5 秒的,先按本表第四列的三步在现有资源内调整;调整后仍超出的,该批次的验证请求改走流式返回并在结果中标注所用形态,其时延数据单列、不与常态批次混算,扩容作为最后一步并附调整过程的实测记录。提示模板与前缀缓存命中率随验证批次推进逐步稳定,这项时延的目标逐步接近 1.2 秒。
降级策略真正要解决的其实不是服务可用性,是验证结论的干净程度。推理服务在验证期间出点状况是必然的,关键在于出状况那一批数据怎么算。若切换了备选模型却不作标注,两个模型的结果混在一张成绩单上,这一轮验证就白做了;若请求超时被当成答错记零分,模型的分数就背了服务的锅;若检索无命中时模型硬编一个答案,本该计入正确拒答的行为反而变成了错误。
因此表里第三列与前两列同等重要:每一种降级都写明对验证结果的处理方式——标注模型标识不混算、超时单列不记零分、正确拒答另计、格式失败进整改任务单。这样一来,降级就不再污染结论,而是成为结论的一部分注脚。
表 8-10 降级与回退策略
| 触发条件 | 降级动作 | 对验证结果的处理 |
|---|---|---|
| 主线模型实例不可用 | 自动切换备选模型实例,网关记录切换事件 | 该批次结果标注所用模型标识,不与主线结果混算 |
| 单请求超时 | 二次重试;仍超时则返回超时标识 | 该题记为未作答,不记零分,在报告中单列 |
| 检索无命中 | 不生成答案,输出「材料不足」并列出所缺材料项 | 计入「正确拒答」统计,不计入错误 |
| 结构校验连续两次不通过 | 转人工队列并保留模型原始输出 | 计入格式失败,进入整改任务单 |
| 置信不足(引擎与模型结论冲突) | 以引擎结论为准,并标注冲突供人工复核 | 计入冲突统计,作为规则库与样本质量的线索 |
| 算力被训练窗口占用 | 批量作业排队,在线请求保障 | 作业延期,在周报中说明 |
降级策略按表施加,使场景验证的结论不被服务波动污染。模型切换过、超时过、降级过的样本在报告中单列,汇总分只由未受服务波动影响的样本构成。
安全方案的整体架构、等级保护与商用密码应用安全性评估由安全章节交付;训练与推理两个环节自身的安全措施在本节给出,口径与安全章节一致。
安全设计的起点是把数据级别与可进入的环境对应死,而不是靠流程约束人。
本项目的数据跨度很大:一端是公开的技术标准与专利文本,另一端是客户合同、报价与设备的工况记录。这两端如果共用一套管理办法,结果只有两种——要么按最严的管,公开标准也进不了训练,语料规模直接塌掉;要么按最松的管,敏感数据跟着训练作业流进了不该去的地方。
三级数据与三个环境的对应关系因此一次定死,并把网关行为写进同一张表。关键在于最后一列:级别的判定不停留在制度文件上,而是落成网关每次调用都要执行的动作——一般的正常放行,受控的校验脱敏标记后放行,敏感的按分区与权限拦截。规则落到网关上,就不再依赖每个人记得住、记得牢。
表 9-1 数据级别与可进入环境的对应
| 数据级别 | 内容举例 | 可进入的环境 | 网关行为 |
|---|---|---|---|
| 一般 | 公开技术标准、专利文本、已公开的产品参数 | 训练域、推理域全部分区、评测域 | 正常放行 |
| 受控 | 经去标识化的工单、检验记录、工艺卡,脱敏后的物料与库存数据 | 训练域、推理域受控区与内网隔离区 | 校验脱敏标记后放行 |
| 秘密 | 未脱敏的图纸、完整选型方案、客户合同、炉次与焊接原始参数、人员信息 | 仅甲方内网的全私有推理实例与甲方内网训练节点 | 目标实例非全私有形态时直接拒绝并记录,不做降级透传 |
去标识化与脱敏由上游预处理环节完成(第 7 条)。本节在两个位置做二次校验:训练数据入库时按规则扫描个人信息、敏感地理信息与企业秘密特征,命中则退回上游并生成工单;推理请求进入网关时校验级别标签与目标实例许可级别。两道校验的命中记录纳入审计。
招标文件要求完成采购的服务密码机的国密算法调试,并与数据集加工生产平台集成实现指定数据集与关键数据的加解密。本节涉及的集成点位如下表,调用均经商用密码服务平台统一接口,不直接对接密码机私有接口,以便按招标文件相应条款要求兼容多厂商设备。
表 9-2 训练推理环节的国密集成点位
| 点位 | 保护对象 | 算法与用途 | 密钥管理 |
|---|---|---|---|
| 语料落盘 | 受控级与秘密级训练语料文件 | SM4 加密存储,SM3 校验完整性 | 一数据集一密钥,密钥由密码服务平台集中管理 |
| 语料传输 | 训练域与甲方内网之间的语料同步 | 基于 SM2 的双向身份认证 + 通道加密 | 证书全生命周期由密码服务平台管理 |
| 权重交付 | 混合形态下下行到甲方内网的模型权重 | SM4 加密打包,SM2 签名 | 签名用于校验权重未被替换 |
| 评测产出 | 逐题响应中可能含受控内容的部分 | SM4 加密存储 | 与语料同一密钥体系,按项目隔离 |
| 审计日志 | 调用留痕与操作日志 | SM3 哈希链防篡改 | 哈希链根值定期归档 |
性能上有一处需要提前说明:语料加解密会占用密码机吞吐,615 亿 Token 规模的语料在首次入库与每次版本更新时的加解密量较大。做法是只对受控级与秘密级语料加密、一般级语料不加密,并把加解密放在数据准备阶段的夜间窗口执行,避免与训练读写争抢。若密码机吞吐仍成为瓶颈,按招标文件相应条款的口径由商用密码服务平台的软实现承接溢出部分,性能影响记入阶段报告。
招标文件要求平台具备全流程审计和日志记录,并具备严格的权限校验和访问控制(第 7 条)。本节的权限模型按「人—角色—资源—操作」四元组定义,资源包括数据集版本、训练作业、模型版本、评测任务与报告;审计事件覆盖下表内容,日志只对审计角色开放,与三员管理模式一致。
表 9-3 训练推理环节的审计事件
| 事件类别 | 记录内容 | 保留期 |
|---|---|---|
| 数据访问 | 访问者、数据集版本、切片范围、操作类型、时间 | 项目期 + 质保期内全量保留 |
| 训练作业 | 提交者、作业配置、数据集版本、随机种子、起止时间、结果 | 同上 |
| 模型操作 | 模型版本的生成、评测、发布、回滚、下线 | 同上 |
| 推理调用 | 调用方、数据级别、模型标识与版本、耗时、降级事件 | 同上 |
| 拦截与违例 | 级别不符被拒的请求、敏感扫描命中、结构校验失败 | 同上 |
| 权限变更 | 角色授予与回收、审批记录 | 同上 |
涉及秘密级数据的推理请求,请求体按配置只记录字段清单与内容哈希,不留原文;评测与归因所需的内容由评测域在隔离环境内直接读取,不经审计日志回传。这一处设计是为了同时满足可追溯与不扩散两个要求。
训练语料的权利来源分三类并分别管理:甲方自有数据,依合同授权用于本项目的数据集建设与模型训练,用途与期限以合同约定为准;外部公开数据,仅采用权利状态清晰、许可明确允许用于训练的部分,逐条记录来源与许可依据;合成数据,由本项目工具链在上述两类基础上生成,生成链路经血缘记录可回溯。基座模型的开源许可或商用授权文本纳入交付档案,并在模型卡中标注许可类型与再分发限制。
招标文件要求核查项目建设过程中是否包含不可用于商业用途的建设内容,并承诺数据集来源的合法性(第 7 条)。本节对应的核查动作是:建设期内每个阶段提交一次语料权利来源核查表,列明各来源的许可依据与核查结论;发现权利状态不清的语料,从训练集中移除并重跑受影响的训练与评测。移除与重跑的记录随阶段报告提交。
本节是对招标文件相应条款「可替换、可评测、可随代升级」口径的工程落地,同时支撑评测结论与数据集血缘的对应关系(对应能力)。建设期跨到 2028 年 5 月,期间基座模型会出现多次代际更替,版本管理做不扎实,前期的评测结论到后期就无法引用。
模型版本号由四段组成:阶段标识、基座代号、数据集版本、训练序号。阶段标识取 V0 至 V5(见表 7-4);基座代号是入选基座在本项目内的内部标识,不出现厂商名称与具体型号;数据集版本是本次训练所用数据集的版本号;训练序号区分同配置的多次重跑。
一个版本号必须能唯一确定一次训练。因此版本号登记时同时写入血缘记录:数据集版本与切片清单、配比配置、超参、随机种子、环境镜像摘要、起止时间、权重哈希,以及对应的评测产出哈希。血缘记录与数据集运营平台的版本管理模块对接,供外部查询模型与数据集的对应关系。
表 10-1 模型版本血缘记录字段
| 字段 | 内容 | 用途 |
|---|---|---|
| 模型版本号 | 四段式标识 | 唯一定位 |
| 阶段 | V0 基座/V1 继续预训练/V2 基础 SFT/V3 正式 SFT/V4 对齐/V5 对照 | 能力增量归属 |
| 基座内部标识与许可类型 | 不含厂商名与型号 | 许可合规核查 |
| 数据集版本与切片清单 | 四类数据集各自版本号,参与训练的切片标识 | 消融与归因 |
| 配比配置 | 采样轮次、模态批次比例、难度加权 | 实验复现 |
| 训练配置 | 并行策略、超参、序列长度阶段、随机种子 | 实验复现 |
| 环境指纹 | 镜像摘要、依赖锁定文件哈希 | 跨时间复现 |
| 权重哈希 | 完整权重与适配器分别记录 | 防替换 |
| 评测产出 | 评测任务标识与产出目录哈希、基准集版本号 | 分数溯源 |
| 风险门结论 | 三道风险门的实测值与判定 | 发布准入 |
每一个进入场景验证或交付的模型版本随附一份模型卡。模型卡不是宣传材料,是使用说明与边界声明,内容按下表固定。
建设期要跨到 2028 年 5 月,这期间模型会换代、经手的人会换班。两年后有人拿起一个模型版本要用,他最先要问的几件事是:这是用哪批数据训的、它能干什么、它在哪些情况下会出错、该怎么用。这些答案如果散落在各阶段报告里,实际上等于没有。
模型卡把它们收在一处随模型走。内容按标识、训练数据、能力边界、已知局限与使用建议组织,其中已知局限与适用范围是刻意要求写明的——一份只讲能力不讲边界的说明,使用者会在它不擅长的地方用它,出了问题又归咎于数据集。边界写清楚,模型才谈得上被正确使用。
表 10-2 模型卡内容
| 章节 | 内容 |
|---|---|
| 标识 | 模型版本号、阶段、参数量级、上下文窗口、模态能力、生成时间 |
| 训练数据 | 所用数据集版本、各类数据集参与量与配比、切片覆盖范围 |
| 训练配置 | 微调方式、关键超参、算力消耗(卡天) |
| 评测结果 | 基准集版本下的总分与分场景分、四项能力分项、置信区间、相邻版本增量 |
| 稳定性 | 稳定性协议下三次运行的分数标准差 |
| 适用范围 | 适合承担的任务类型与场景,以及不建议使用的情形 |
| 已知局限 | 覆盖盲区清单、不可修复的整改任务单摘要、数据集局限性说明 |
| 安全合规 | 安全合规通过率报告的关键结论、误拒率 |
| 许可 | 基座许可类型、再分发限制、本项目衍生权属约定 |
| 部署要求 | 推荐硬件配置、显存需求、国产卡适配结论 |
「已知局限」一章是模型卡的重点。把覆盖盲区与不可修复项写在明面上,场景验证时就不会在这些地方反复踩同一个坑;交付给甲方后,使用方也能据此判断哪些业务可以直接用、哪些要等下一轮数据补齐。
发布这一步最容易变成走过场:模型训好了、分数也出来了,确认一下就挂上去。但本项目的模型挂上去之后,它的输出就要作为场景验证的依据,进而反过来评价数据集的质量;一个带着污染或血缘残缺的版本进入验证,污染的不只是这一轮结论,还有依据这轮结论做出的上游回流决策。
清单按「不通过就不能往下走」的闸口来设,每一项都写明不通过时怎么处理,而不只列检查项。污染扫描排在第一位,因为它一旦漏过去就再也查不出来——分数只会偏高,不会报警;血缘完整性紧随其后,字段不齐的版本即便评测分很好,也无法说明这个分数该记到哪批数据头上。几道闸全部通过,发布才是一个可追溯的动作。
表 10-3 模型发布检查清单
| 序号 | 检查项 | 判据 | 不通过的处理 |
|---|---|---|---|
| 1 | 污染扫描 | 与基准集的 13 元组重合率不超过 0.1% | 剔除重合语料重训,或在报告中单列受污染题目 |
| 2 | 血缘完整性 | 表 10-1 全部字段齐备 | 补齐后方可进入评测 |
| 3 | 基准评测 | 主协议评测完成,复现判定通过(表 7-3) | 排查非确定性来源 |
| 4 | 三道风险门 | 奖励—人评相关性、长度变化、能力回测全部在界内 | 回退检查点并按表 6-7 处置 |
| 5 | 安全合规测试 | 高危项清零,各维度通过率达标,误拒率不超过 2% | 整改后重测 |
| 6 | 结构合规测试 | 格式合规率不低于 95% | 挂场景适配器或加强约束解码 |
| 7 | 模型卡 | 内容齐备,已知局限已填写 | 补齐 |
| 8 | 甲方评审 | 按招标文件相应条款要求经甲方评审通过 | 按评审意见整改,不影响项目整体进度 |
发布采用灰度方式:新版本先在一个场景的验证环境中并行运行,与现版本同时接收相同请求,比对两者的结构合规率、出处准确率与人工复核意见;并行观察期不少于 5 个工作日,指标不劣于现版本则全量切换。切换后保留回滚能力,回滚目标时长不超过 30 分钟,回滚动作与原因记入审计。
基座升级不是把新基座装上就算完。本项目把升级定义为一次完整的复评:用同一份数据集版本、同一份配比配置、同一套基准集,在新基座上重跑继续预训练与微调,再与现版本横向比较。只有在新基座的评测总分与各场景分项分均不劣于现版本、且国产卡适配结论通过的情况下才切换主线。
表 10-4 升级复评的触发条件与范围
| 触发条件 | 复评范围 | 预算口径 |
|---|---|---|
| 候选基座发布新版本且在遴选维度上有明显提升 | 全流程复评(V1 至 V4) | 按表 3-9 单轮算力的 60% 估算(配比已定,省去预实验) |
| 现基座许可条款变更或停止维护 | 切换至备选基座,全流程复评 | 同上 |
| 国产加速卡平台重大版本更新 | 适配矩阵重测 + 基准评测复跑 | 适配工作量 + 评测算力 |
| 数据集新增一轮整改回流 | 受影响阶段的定向重训与回评 | 按整改任务单范围估算 |
| 质保期内甲方提出能力改进需求 | 按需求范围确定,不低于一次定向复评 | 质保与技术服务期内不另计费(口径) |
升级复评的结果写入模型卡并更新血缘记录。历史版本不删除,保留在版本库中供对照——数据集的价值证明依赖跨版本对比,删掉旧版本就等于删掉证据。
训练推理服务与其他技术段的交接内容在本节明确,交接项逐条给出交换内容、口径约定与责任归属。重叠事项的完整论述在其归属章节,本节给出接口与边界。
接口写不清楚,最后多半不是吵架,是两头都以为对方会做。质检这件事尤其典型:上游的数据集加工生产环节出质检门控结论,本节消费这个结论决定哪批数据能进训练;边界若没写死,训练侧出于谨慎会再查一遍,既浪费工时,也会出现两套口径打架——按谁的结论算,数据到底合不合格。
因此每一条接口都给四项内容:交换什么、按什么口径交、谁对什么负责、重叠的部分归谁论述。最后一项看着是文字安排,实际是防止同一事项在两处各写一套参数,到了实施时按哪一套都说得通又都不作数。接口逐条写定之后,交付时才不会出现无人认领的缺口。
表 11-1 上下游接口清单
| 对接方向 | 技术段 | 交换内容 | 口径约定 | 责任边界 |
|---|---|---|---|---|
| 上游 | 数据资源采集接入 | 多源异构采集与多模态接入成果 | 按数据集领域与时效分区交付,携带来源与业务域标识 | 采集的完整性与时效性由该段负责;本节不直接对接源系统 |
| 上游 | 四大数据集加工生产 | 四类数据集的四个用途子集,含质检门控结论 | 按数据集版本号交付,未通过质检的不进训练 | 数据质量由该段负责;本节消费分级结果,不重复质检 |
| 上游 | 专项智能工具链 | 训练样本、评测引擎能力、归因与血缘能力 | 工具产数据,训推消费数据;第 23 至 25 个工具与本节评测沙箱对接 | 工具的功能完备性由该段负责;本节提供评测协议与归因需求 |
| 下游 | 数据集场景验证服务 | 模型服务、模型卡、评测结论 | 按表 8-1 四种形态供给,按表 8-9 指标承诺 | 验证点与验收标准由该段定义;本节保证模型可用并按口径降级 |
| 下游 | 数据集质量评测服务 | 基准环境、多阶段模型版本、能力增量数据 | 复用本节评测沙箱,不另建基准环境 | 盖章评测报告由该段出具;本节提供动态验证的基准环境与模型 |
| 下游 | 数据集运营平台 | 模型版本、评测报告、数据集与模型血缘 | 回写版本管理与审计管理模块 | 平台功能由该段建设;本节按接口规范回写 |
| 横向 | 数据治理体系 | 数据标准、元数据、安全分级、质量规则 | 本节遵循治理体系的标准与分级,不另立口径 | 治理规划与实施由该段负责 |
| 横向 | 安全方案 | 等级保护、密码应用安全性评估、数据分级 | 本节的三域与网关纳入测评范围 | 整体安全架构由该段负责;本节落实训练推理环节的具体措施 |
| 横向 | 系统集成 | 通用服务器、接入连接器、服务密码机的安装适配 | 本节提出对服务器与密码机的使用要求 | 安装调试由该段负责 |
| 横向 | 非功能性要求 | 性能、并发、容灾、可恢复性指标 | 本节的推理指标(表 8-9)与该段口径对齐 | 整体非功能指标体系由该段定义 |
| 横向 | 技术创新与机制创新 | 评测方法、归因方法、血缘方法等可形成知识产权的成果 | 本节提供技术素材,用于论文、专利与软件著作权布局(第 8 条) | 知识产权布局与申报由该段统筹 |
与数据集质量评测服务、场景验证服务的边界如下。
一是与数据集质量评测服务的边界。两者都做评测,但对象不同:本节评测的是模型,用来证明数据集有用;质量评测服务评测的是数据集本身的内生质量与应用效能,按《高质量数据集质量评测规范》出具盖章报告。两者共用同一套基准环境与同一批多阶段模型版本,避免两套环境得出两套结论。本节的能力增量数据直接作为「基准模型动态应用验证」维度的输入。
二是与场景验证服务的边界。本节不定义场景的验证点,也不承担场景的业务效果结论。场景验证中发现的问题,若指向模型能力,由本节按整改任务单处理;若指向数据覆盖,由本节归因后回流上游;若指向场景本身的业务规则,交场景验证段与甲方确认。本包不负责智能场景的建设,本节供给的是模型能力而不是场景应用。
本节按项目建设周期(合同正式签署后至 2028 年 5 月)安排训练推理技术服务的工作节奏,并落实项目管理制度与实施团队的相关要求。
训练推理服务的进度受两个外部条件约束:算力与适配要先就位,数据集要分批到位。所以计划不是把六段工作顺排一遍,而是让适配与算力先行、让训练按数据集到位的批次滚动推进、让评测与归因贯穿全程。
图 12-1 训练推理技术服务的分期安排与里程碑。数据来源:招标文件第 4 章建设周期、3.2.6.2。
分期的依据不是工作量的平均切分,而是前置条件。训练推理这条线上几乎每一步都卡在上一步的产出上:没有算力与经过国产化适配验证的环境,继续预训练起不来;没有通过质检门控的全量预训练子集,正式配比无从谈起;没有定稿的配比与基座,微调的十三组对照实验失去可比性;没有可用的模型版本,场景验证与评测闭环就是空转。这种强依赖决定了分期必须按「什么到位了才能开工」来排,排错了顺序,后面的阶段会反复返工。
表里把前置条件单列一列,与主要工作、产出并排,是因为真正的风险都藏在前置条件上。硬件到货时间、数据集质检进度、甲方确认环节,这些不完全由本节掌控的事项一旦滞后,影响的是整条链。写明前置,一方面让每个阶段的开工条件可被检查,另一方面也让滞后时的应对有迹可循——哪些工作可以提前做、哪些只能等、哪些可以降规模先走。
表 12-1 分期工作包
| 阶段 | 主要工作 | 前置条件 | 产出 |
|---|---|---|---|
| P1 平台与国产化适配 | 三域环境搭建、网关部署、算力与存储就位、国产加速卡与国产操作系统适配、密码机国密调试 | 通用服务器与密码机到货;算力资源池就位 | 国产化适配验证报告、环境镜像与依赖锁定文件 |
| P2 统计与配比预实验 | 四项统计、分词器固化、4 组配比对照预实验、基座遴选 | 预训练子集首批到位 | 统计与配比设计说明、基座模型遴选报告 |
| P3 继续预训练 | 正式配比下的分布式继续预训练、过程记录、知识探针与保留集验证;验证档趋势实验 | 预训练子集全量通过质检门控 | 知识注入有效性报告、V1 模型与模型卡 |
| P4 指令微调与实验矩阵 | 三维切片、基础 SFT、8 组消融、4 组配比、正式 SFT;自动评测与专家抽样人评 | 指令微调子集到位;专家库可抽派评审人员 | 指令微调实验报告、子集贡献度标注、V2/V3 模型与模型卡 |
| P5 偏好对齐 | 偏好数据归一化与冲突处理、奖励模型训练与评估、6 组对齐训练与 1 组对照、三道风险门 | 偏好数据子集到位且冲突率达标 | 专家偏好对齐度报告、安全合规通过率报告、V4 模型与模型卡 |
| P6 基准评测(贯穿) | 基准集协议与判分规则固化、沙箱建设、多阶段版本评测、复现验证 | 基准测试子集冻结 | 评测协议与判分规则、沙箱部署与复现说明、多阶段评测报告 |
| P7 归因与两轮回评 | 错题四类归因、整改任务单签发与跟踪、两轮定向回评、收敛判定 | 首轮全量评测完成 | 归因报告、整改任务单台账、回评记录 |
| P8 场景验证模型服务(贯穿) | 四种推理形态供给、约束解码与检索接入、容量与降级保障 | V3 及之后版本通过发布检查清单 | 月度服务报告、降级事件记录 |
| P9 交付、培训与验收 | 交付物归集、培训与能力移交、阶段验收与终验支撑 | 各阶段报告齐备 | 交付物清单签收、培训记录、验收材料 |
里程碑如果只是时间点,它就不产生约束力。本项目把每一个里程碑都挂到一份可以交出去的报告和一条可以判定的口径上:平台就绪挂国产化适配验证报告并须经甲方确认,继续预训练达标挂知识注入有效性报告并按既定口径判定,微调达标挂四项能力的验收口径与消融结论。判定条件写成这种形式,到了节点上双方看同一份材料、按同一条口径对账,而不是各自描述进度。
挂接到付款与验收节点这一列,是把技术结论与合同节奏对齐。技术上达标与商务上可以确认之间若没有明确对应,容易出现报告交了、节点却迟迟确认不了的情形。两边并排写出,节点的触发条件对双方都是清楚的。
表 12-2 里程碑与验收挂接
| 里程碑 | 判定条件 | 挂接的付款或验收节点 |
|---|---|---|
| M1 平台就绪 | 三域与网关可用,国产化适配验证报告经甲方确认 | 支撑硬件安装调试完成确认(第 2 次付款条件) |
| M2 继续预训练达标 | 知识注入有效性报告结论达标(表 4-8 口径) | 阶段验收 |
| M3 微调达标 | 四项能力达标(表 5-9 口径),消融结论与配比定稿 | 阶段验收 |
| M4 对齐达标 | 三道风险门通过,两份报告提交 | 阶段验收 |
| M5 闭环收敛 | 两轮回评后按表 7-7 判定收敛,遗留问题清单提交 | 支撑终验 |
| M6 交付完成 | 交付物齐备,培训完成,模型卡与血缘记录移交 | 终验收报告 |
各阶段的产出均须经甲方评审通过后方可进入下一阶段,评审不通过及时整改。阶段评审意见与整改记录随阶段报告归档。
本节涉及的角色按职责划分,不涉及具体人员信息。项目经理、实施顾问与全职团队成员按招标文件要求驻场,人员名单、简历与资质证明由团队配置章节统一提供。
这条线上的工作并不平均分布在整个建设期。平台与国产化适配集中在前期几周,之后环境基本稳定;配比与实验设计在中段最吃人力;评测与归因则贯穿后半程,随每一轮模型版本反复进行。按固定编制配人,前期忙不过来、后期闲置;按峰值配人,大部分时间在浪费。
因此角色按职责划分、投入方式按阶段注明,哪些角色全程驻场、哪些在特定阶段集中投入,逐条写清。这样呈现出来的不是一张人数表,而是一张与分期安排对得上的投入安排:每个阶段谁在场、负责签哪些结论,都能对照表 12-1 核对。
表 12-3 训练推理服务的角色与职责
| 角色 | 职责 | 投入方式 |
|---|---|---|
| 训推技术负责人 | 技术路线决策、阶段结论签署、与甲方技术对接 | 全程,驻场 |
| 算力与平台工程 | 三域环境、网关、算力与存储、国产化适配、作业编排 | P1 集中,后续按需 |
| 配比与训练工程 | 统计、配比设计、继续预训练、微调与对齐训练、过程记录 | P2 至 P5 全程 |
| 评测与归因工程 | 基准集协议固化、沙箱建设、多阶段评测、错题归因、整改任务单 | P2 至 P7 全程 |
| 推理服务工程 | 四种推理形态、约束解码、检索接入、容量与降级保障 | P4 之后全程 |
| 安全与合规对接 | 数据分级落地、国密集成、审计、语料权利来源核查 | 全程,与安全章节团队协同 |
| 领域专家评审 | 专家抽样人评、偏好冲突仲裁、归因结论复核 | 按批次抽派,来自不少于 50 人的数据标注专家库 |
本节的人员配置纳入《项目人力资源配备表》,实际人数与投入度按项目统一口径填写。【待填:训练推理服务组的人员数量、角色对应人员与投入度,由团队配置章节提供】
这张表里「对应条款」一列是重心。训练推理服务的产出大多是文档与数据,不像硬件那样可以清点;哪些算交付物、交到什么程度算完成,如果不在动工前对齐,到了验收时就会出现「这份报告算不算数」的争议。逐项挂回招标文件的条款编号,交付范围便由双方共同的依据确定,而不是由一方的理解确定。
交付时点按分期排列,形式一列写明是文档、测试记录、数据文件还是需要加盖公章,是因为同一份成果的不同形式在验收时效力不同。三件事写在一起,这张表可以直接当作验收时的清点依据使用。
表 12-4 训练推理技术服务交付物
| 序号 | 交付物 | 交付时点 | 形式 |
|---|---|---|---|
| 1 | 训练推理技术服务实施方案 | P1 内 | 文档,加盖公章 |
| 2 | 国产化适配验证报告 | P1 末 | 文档 + 测试记录 |
| 3 | 预训练数据集统计与配比设计说明 | P2 末 | 文档 + 统计表 |
| 4 | 基座模型遴选报告(含许可核验) | P2 末 | 文档 + 许可文本 |
| 5 | 知识注入有效性报告 | P3 末 | 文档 + 曲线与评测数据 |
| 6 | 指令微调实验报告(含消融与配比结论) | P4 末 | 文档 + 实验数据 |
| 7 | 专家抽样人评记录与一致性分析 | P4 末 | 评分表 + 仲裁记录 |
| 8 | 专家偏好对齐度报告 | P5 末 | 文档 |
| 9 | 安全合规通过率报告 | P5 末 | 文档 + 测试明细 |
| 10 | 基准评测协议与判分规则(含版本号与种子) | P6 初,随版本更新 | 文档 + 判分器代码包 |
| 11 | 评测沙箱部署与复现说明 | P6 初 | 文档 + 镜像摘要 |
| 12 | 多阶段模型版本评测报告 | 每轮评测后 | 文档 + 产出目录 |
| 13 | 实验登记台账与复现记录单 | 持续更新,随各阶段报告提交 | 台账 + 复现记录 |
| 14 | 数据贡献度与错题归因报告 | 每轮归因后 | 文档 + 证据清单 |
| 15 | 结构化整改任务单台账 | 持续更新 | 台账 + 闭环记录 |
| 16 | 模型卡(每个发布版本一份) | 随版本发布 | 文档 |
| 17 | 模型版本血缘记录 | 持续更新,回写运营平台 | 结构化数据 |
| 18 | 语料权利来源核查表 | 每阶段一次 | 文档 |
| 19 | 训练推理环节审计报告 | 每阶段一次 | 文档 |
| 20 | 培训材料与操作手册 | P9 内 | 文档 + 培训记录 |
| 21 | 月度服务报告 | 每月 | 文档 |
交付物均为中文版。文档类交付物同时提供可编辑版本与签章扫描版。涉及受控级与秘密级内容的交付物按表 9-1 口径加密交付,密钥按甲方要求移交。
本节各处给出的目标值在此集中列出,便于甲方对照验收。所有数值均为待验证目标,以首轮实测基线为参照,不达标时按对应回退路径处置并在报告中说明。
这张表与前文各节不是重复关系。前文的每一项指标都跟着它的技术论述走,便于理解来龙去脉,却不便于逐项清点;而验收那天要做的恰恰是清点。集中列出之后,国产化适配、继续预训练、微调、对齐、评测闭环与推理服务几个环节的口径摆在一起,彼此的量级关系也看得出来——哪些是经确认的目标值、哪些是随实测修订的设计值,一眼可辨。
最后一列指向回退路径所在的表,是这张汇总表与一般指标表的差别。验收看的从来不只是达没达标,还有达不到时怎么办。只有目标值的汇总,在未达标的那一刻就无话可说;带着回退指向的汇总,任何一项出现偏差,都能当场翻到对应的处置条款上继续谈。
表 13-1 训练推理技术服务验收口径汇总
| 环节 | 指标 | 验收口径 | 回退路径所在 |
|---|---|---|---|
| 国产化适配 | 连续训练稳定性 | 72 小时无中断,续训恢复不超过 15 分钟 | 表 3-12 |
| 国产化适配 | 推理一致性 | 基准集总分与参考环境差异不超过 1 分 | 表 3-12 |
| 国产化适配 | 集合通信带宽 | 节点内不低于硬件标称的 80%,节点间不低于 70% | 表 3-11 |
| 国产化适配 | 数值精度一致性 | 逐层输出最大相对误差不超过 1×10⁻² | 表 3-11 |
| 平台运行时 | 断点续训恢复 | 自故障判定到恢复不超过 15 分钟,恢复后 100 步曲线与故障前趋势一致 | 表 3-7 |
| 平台运行时 | 评测资源保障 | 评测池常驻,评测窗口不与训练窗口共用卡 | 表 3-2 |
| 继续预训练 | 领域知识探针正确率 | 相对基座基线提升不少于 15 个百分点 | 表 4-8 |
| 继续预训练 | 领域保留集困惑度 | 下降不少于 12% | 表 4-8 |
| 继续预训练 | 通用保留集困惑度 | 上升幅度控制在 5% 以内 | 表 4-8 |
| 指令微调 | 指令遵循 | 相对基线提升不少于 8 个百分点 | 表 5-9 |
| 指令微调 | 任务完成 | 分项不低于基线,综合提升不少于 10 个百分点 | 表 5-9 |
| 指令微调 | 格式规范 | 结构合规率趋向 98%,不低于 95% | 表 5-9 |
| 指令微调 | 长上下文理解 | 32K 窗口正确率提升不少于 6 个百分点 | 表 5-9 |
| 指令微调 | 专家人评 | 四维均值不低于 4.0 分,无单维低于 3.5 分;评分者一致性不低于 0.70 | 表 5-8、表 5-9 |
| 奖励模型 | 保留偏好集判别准确率 | 整体不低于 72%,L3 层不低于 62% | 表 6-4 |
| 偏好对齐 | 偏好准确率 | 相对 SFT 基线提升不少于 12 个百分点 | 表 6-5 |
| 偏好对齐 | KL 散度 | 控制在 0.5 至 5.0 之间 | 表 6-5 |
| 偏好对齐 | 回答长度变化 | 中位数变化控制在 ±20% 以内 | 表 6-5 |
| 偏好对齐 | 能力回测 | 跌幅不超过 2 个百分点 | 表 6-5、表 6-7 |
| 安全合规 | 高危项 | 整改后清零 | 表 6-9 |
| 安全合规 | 各维度通过率与误拒率 | 通过率不低于 98%,误拒率不超过 2% | 表 6-9 |
| 基准评测 | 复现一致性 | 同版本同种子两次运行总分差不超过 0.3 分,逐题一致率不低于 99.5% | 表 7-3 |
| 基准评测 | 能力增量显著性 | Δ 的 95% 置信区间下界大于零 | 第 7.3 节 |
| 评测污染 | 13 元组重合率 | 不超过 0.1%,超出部分单列 | 第 7.2 节 |
| 评测污染 | 源文档互斥 | 基准侧源文档的衍生样本在训练侧出现数为零 | 表 2-5 |
| 实验可复现 | 实验台账完整性 | 登记与回填字段齐备,报告中每一数值可回指产出目录与签名 | 表 1-3、表 1-4 |
| 实验可复现 | 复现实例 | 五类复现对象按表 1-5 口径各完成一次并留存记录 | 表 1-5 |
| 归因闭环 | 脏数据类任务单 | 处置完成率趋向 100%,回评不再命中即关闭 | 表 7-7 |
| 归因闭环 | 整体收敛 | 连续两轮回评无新增任务单 | 表 7-7 |
| 推理服务 | 首 Token 延迟 | 常态并发下 95 分位不超过 1.5 秒 | 表 8-9、表 8-10 |
| 推理服务 | 出处命中率 | 不低于 92%,趋向 96% | 第 8.6 节 |
| 推理服务 | 量化分差 | 权重量化档总分差不超过 0.5 分,低位量化档不超过 1 分 | 表 8-2 |
| 推理服务 | 完整响应时长 | 单轮问答 95 分位不超过 12 秒 | 表 8-8、表 8-10 |
| 推理服务 | 批量作业吞吐 | 夜间窗口单夜不少于 2 万条样本的生成或解析 | 表 8-9 |
| 推理服务 | 可用率 | 按月不低于 99% | 表 8-9、表 8-10 |
表中每一项按同一套规矩验收:数值取首期基线,测法、样本量与判定频次以该项所在章节写明的口径为准,不达标时先走回退路径所在表的处置,处置后重测仍不达标的,在验收报告中单列说明偏差幅度、已采取的措施与下一次复测时点。各项的趋向值写在其所在章节,用于标明后续的改进方向;当期验收按首期基线判定。
按合同条款,质保期为 12 个月、自终验收合格之日起计算;免费技术服务期 24 个月、自质保期满之日起计算;自终验收合格之日起 36 个月内,相关软硬件出现非使用不当导致的缺陷或错误,须在 2 小时内响应并在规定时间内修复。本节对应的服务内容如下。
表 13-2 质保期与技术服务期内的服务内容
| 服务项 | 质保期内(12 个月) | 免费技术服务期内(后 24 个月) |
|---|---|---|
| 故障响应 | 2 小时内响应,按故障等级在约定时限内修复 | 同口径响应 |
| 模型服务可用性保障 | 按表 8-9 口径保障,月度服务报告 | 按表 8-9 口径保障,季度服务报告 |
| 基座随代升级复评 | 按表 10-4 触发条件执行,不少于一次全流程复评 | 按需执行定向复评,不少于一次 |
| 评测沙箱维护 | 环境可用性维护、依赖安全更新、基准集版本管理 | 同质保期 |
| 数据集新增回流支持 | 甲方新增或修订数据集时,提供定向重训与回评 | 提供定向回评与结论说明 |
| 归因支持 | 甲方在使用中发现的能力缺口,按整改任务单格式归因 | 同质保期 |
| 咨询与答疑 | 技术咨询、配置调整指导 | 同质保期 |
模型与评测相关的交付物在服务期内保持可用:评测沙箱镜像与基准集版本库持续维护,历史模型版本与血缘记录不删除,使甲方在任何时点都能复算历史结论。
按合同要求,须提供对甲方人员的培训,使其能独立进行配置、使用、管理、故障处理与日常测试维护。本节的培训分三类对象组织。
培训要解决的现实问题是:建设期结束后,这套东西得由甲方自己的人用下去。训练推理这条线上的日常动作并不少——提交一次训练作业、处理一次国产卡故障、做一次断点续训、发起一轮评测、读懂评测报告、填一张整改任务单。这些动作如果只靠交付文档说明,实际上传不过去。
因此培训按岗位分类设置,内容对准各自将来真正要动手的事,形式一律是集中授课加实操,考核也一律是实操而不是答卷:运维人员要独立完成一次作业提交与故障恢复,数据与评测人员要独立完成一轮定向回评并提交归因结论。以能不能做出来作为考核标准,能力移交才算真的发生,而不是停留在签到表上。
表 13-3 培训内容安排
| 对象 | 内容 | 形式与时长 | 考核方式 |
|---|---|---|---|
| 平台运维人员 | 三域环境与网关的日常运维、作业编排与配额调整、国产卡故障处置、断点续训操作 | 集中授课 + 实操,不少于 3 天 | 实操考核:独立完成一次训练作业提交与故障恢复 |
| 数据与评测人员 | 基准集版本管理、评测任务发起、评测报告解读、错题归因与整改任务单填写 | 集中授课 + 实操,不少于 3 天 | 实操考核:独立完成一轮定向回评并提交归因结论 |
| 业务使用人员 | 四种推理形态的使用、带出处作答的核对方法、材料不足时的处理、模型卡与已知局限的解读 | 分场景授课,每场景不少于半天 | 场景操作验收 |
培训材料随交付物提交,含操作手册、常见问题解答与最佳实践。培训完成后保留一段陪伴期,由项目组与甲方人员共同执行一轮完整的评测与回评流程,之后移交。
训练推理环节产生的方法与数据,是本项目参与标准验证最有素材的部分之一——配比方法、基准集协议、判分规则与归因方法都是可被抽象为标准条文的内容。
标准对标最容易写虚:列一串标准号,落实方式写成「严格遵循」。这里换一种写法——每一项标准只写它在本节的具体落点,以及用什么方式证明落到了。数据集质量评测规范的六个维度里,可用性与可信性是本节的评测与归因结论直接支撑的,基准模型动态应用验证这一项要的是基准环境与多阶段模型版本,这两件事本节都提供;写清楚是哪两维、提供什么,比声称六维全都遵循更经得起追问。
验证方式一列同样如此。标准是否被落实,不由本节自行判定,而由外部动作确认:质量评测服务出具盖章报告时引用本节的评测产出,统计表随阶段报告提交,偏差进整改任务单。把验证交给可观察的动作,对标才不只是一种态度。
表 14-1 本节遵循的标准与规范
| 标准或规范 | 本节的落实方式 | 验证方式 |
|---|---|---|
| 《高质量数据集质量评测规范》(TC609-5-2025-04) | 基准模型动态应用验证维度由本节提供基准环境与多阶段模型版本;保真度、完备性、规整性、均衡性、可用性、可信性六维中,可用性与可信性由本节的评测与归因结论直接支撑 | 数据集质量评测服务出具盖章报告时引用本节评测产出 |
| 项目目标中的数据集质量要求 | 四类数据集的规模与模态口径在本节的统计与配比环节逐项核对,偏差进整改任务单 | 统计表随阶段报告提交 |
| 国产化要求 | 算力、存储、操作系统、数据库按国产化口径配置并统计比率 | 国产化适配验证报告 + 兼容性互认证明材料 |
| 《密码设备应用接口规范》(GM/T 0018)、《服务器密码机技术规范》(GM/T 0030) | 语料与权重的加解密经商用密码服务平台统一接口调用,不直接对接设备私有接口 | 密码机国密算法调试记录、密码应用安全性评估 |
| 等级保护与密码应用安全性评估 | 三域环境与网关纳入测评范围 | 测评报告由信息安全风险评估服务出具 |
| 数据标注规范 | 本节的偏好冲突仲裁结论与歧义标注归因结论回流修订标注规范 | 规范修订记录与版本 |
| 平台安全性与可靠性要求 | 推理服务的可用率、降级与回滚口径与非功能性章节对齐 | 压力测试与稳定性测试报告 |
招标文件要求积极参与全国数标委标准验证和试点应用工作,持续完善标准技术指标。本节能提供的素材集中在四处,都是在真实项目里跑出来、带着实测数据的内容,而不是概念性建议。
第一处是行业预训练语料的配比方法。表 4-2 给出的「按子集重复度、场景验证难度与预实验结果三条依据定采样轮次」的做法,配合 4 组对照实验的实测数据,可形成面向垂直行业的预训练配比设计方法建议。
第二处是基准集的协议与判分规则。表 7-1、表 7-2 将题型、判分、容差、版本号与种子固化为可执行规格,可直接用于行业基准集的判分口径与版本管理。
第三处是错题归因的四类识别方法。表 7-5 把脏数据、覆盖盲区、歧义标注、难度分布缺口四类的识别手段与判定阈值写明,可形成数据集缺陷分类与定位方法建议。
第四处是数据贡献度的量化方法。子集消融实验(表 5-4 A 组)给出的「以剔除后的掉分幅度度量子集贡献」的做法,连同实测的贡献度排序,可支撑高质量数据集的价值评估与定价方法研究。
这四处素材同时是知识产权布局的来源,论文、发明专利与软件著作权的具体安排由技术创新章节统筹(第 8 条),训练推理环节提供技术内容与实验数据。
本节列出训练推理服务在实施中的主要风险。每条风险给出触发信号与应对动作,触发信号是可观测的,不是「如果出现问题」这类无法判断的描述。风险按影响程度排序。
风险登记册的价值取决于触发信号写得实不实。写成「若算力不足则……」,这条风险永远不会被触发,因为谁也说不清什么叫不足;写成「P1 阶段末算力资源池未完成验收」,它就是一个有日期、有判据、当天就能查的事实。本节的风险条目全部按这个要求写:精度比对的逐层最大相对误差超限、吞吐低于参考环境七成、质检门控未通过的批次比例、报告确认迟于某个节点,都是可观测的。
应对动作一列也不写成原则,写成具体的腾挪。算力晚到就先用小规模配比预实验占住方法验证,继续预训练改为按数据集领域分批次进行,并在报告中注明验证档结论的置信范围收窄;国产卡精度超限就按既定回退路径降并行维度、改低秩微调、替换等价结构,并把结构变更记进模型卡。每一条都指向本节别处已经写定的办法,而不是临时想的对策——这也是风险登记册能够真正被执行的前提。
表 15-1 风险登记册
| 编号 | 风险 | 影响 | 触发信号 | 应对动作 |
|---|---|---|---|---|
| R1 | 训练算力到位时间晚于继续预训练窗口 | 继续预训练推迟,连带微调与对齐顺延 | P1 阶段末算力资源池未完成验收 | 先用小规模配比预实验占住方法验证,继续预训练改为按数据集领域分批次进行;向后压缩验证档实验规模,并在报告中注明该档结论的置信范围收窄 |
| R2 | 国产加速卡算子覆盖不足或精度偏差超限 | 训练吞吐下降或结果不可比 | 表 3-12 第三步精度比对的逐层最大相对误差超限,或吞吐低于参考环境 70% | 按表 3-12 回退路径执行:降低并行维度、改用低秩微调、替换等价结构;长周期任务移至已验证节点;结构变更记入模型卡 |
| R3 | 上游数据集回流拖期,训练窗口空转 | 算力闲置且评测节奏打乱 | 整改任务单超过约定完成时点 7 天未闭环 | 训练按「已通过质检的切片」滚动推进,不等全量;空出的窗口前移做验证档实验或评测复现工作 |
| R4 | 基座模型许可条款变更或停止维护 | 主线模型不可继续使用 | 许可核查发现条款变更,或候选基座超过两个季度无版本更新 | 切换至遴选阶段确定的备选基座,按表 10-4 执行全流程复评;配比与数据不变,代价限于算力 |
| R5 | 偏好数据冲突率超阈值 | 奖励模型判别力不足,对齐训练无法开展 | 某场景冲突率超过 8% | 暂停该场景偏好训练,回流修订标注规范后重采;对齐改为先在冲突率达标的场景上进行,分场景推进 |
| R6 | 奖励模型质量不足 | 对齐训练出现奖励黑客 | 表 6-4 中 L3 层准确率低于 62%,或奖励—人评相关系数低于 0.30 | 改走无需奖励模型的直接偏好优化主线;或按场景族拆分为多个专用奖励模型 |
| R7 | 评测污染 | 评测结论虚高,能力增量不可信 | 13 元组重合率超过 0.1% | 剔除重合语料并重训受影响版本;受污染题目在报告中单列,不计入总分 |
| R8 | 专家评审资源不足 | 人评抽样量不够,四项能力中三项无法验证 | 专家库抽派人数不足或评审排期冲突 | 按场景分批评审、延长评审周期;优先保障 L3 与 L4 难度层的抽样;一致性不达标批次重评 |
| R9 | 密码机吞吐成为数据准备瓶颈 | 语料入库与版本更新延迟 | 加解密作业在夜间窗口内未完成 | 只对受控级与秘密级语料加密;溢出部分由商用密码服务平台软实现承接,性能影响记入阶段报告 |
| R10 | 场景验证期模型服务波动 | 验证结论被服务问题污染 | 可用率低于 99%,或单场景降级事件超过 3 次 | 按表 8-10 降级,受影响样本在报告中单列;扩推理池或将批量作业全部移至夜间窗口 |
| R11 | 建设期内模型代际更替使前期结论失效 | 跨阶段分数不可比 | 主线基座出现能力明显领先的新版本 | 按表 10-4 升级复评;历史版本与血缘记录全部保留,报告中以版本对照方式呈现,不覆盖历史结论 |
| R12 | 源系统接口信息不足导致语料规模不及预期 | 预训练子集 Token 规模缺口 | 统计结果显示某数据集领域 Token 量低于配比设计所需 | 按实际到位量调整采样轮次并在报告中说明;缺口部分由合成与增强环节按长尾构造补齐,合成比例与质检结论一并披露 |
| R13 | 验证档算力不足,趋势实验无法完成 | 能力增量的跨参数量一致性无法验证 | P3 阶段验证档实验排期被主线挤占 | 缩小验证档子集比例至 15%,或降至更低参数档位;结论标注适用范围,不外推 |
| R14 | 甲方内网部署条件与训练环境差异导致推理表现不一致 | 场景验证与训练评测结论不一致 | 同一版本在两套环境的基准集总分差超过 1 分 | 按表 3-12 跨硬件复现口径排查;差异无法消除时以甲方内网环境的实测值为验收依据,并在模型卡中注明两套环境的分差 |
风险应对不改变本节承诺的验收口径。任何风险触发后的处置都须在阶段报告中写明:触发项、处置动作及对指标的定量影响。
3.1.2.2 列在「3.1.2 安全软件建设要求」之下,其条款文义指向商用密码服务平台。本项目实际交付的软件不止一套,而评审、上线、运行、运维走的是同一条流程。我方因此把 3.1.2.2 各项条款的承诺适用于全部交付软件,适用对象为三套:商用密码服务平台(即软件采购清单中的安全软件)、数据集加工生产平台、数据集运营服务管理平台。三套软件使用统一的技术底座,对外称「奔牛数据智能平台」,全称天地奔牛煤机装备数据智能平台。
甲方已建成十余套业务系统,覆盖设计与工艺、生产计划与工单、质量检验、库存与物流、设备过程参数采集以及在役装备远程运维,跨系统追一件事仍需人工对账。本项目再增加三套软件,三套共用同一套非功能性指标与验证方法:可用性口径、升级方式、国产化基线、漏洞门禁统一承诺、统一验证,避免各套口径不一导致运维重复处置同类问题。
本节与其他章节在同一套指标上分工,不另立口径。安全技术的实现细节(国密算法应用、等级保护测评、商用密码应用安全性评估、去标识与脱敏、审计与权限管控)在安全方案一节展开;本节承担的实施职责是给出安全性指标的量值与判定方法——表 4-1 所列类型与通用漏洞评分 7.0 分及以上的高危漏洞在上线前整改关闭并复测无复现,高危修复时限 7 个自然日、中危 30 个自然日,并组织静态应用安全测试、软件成分分析、动态应用安全测试与渗透测试四道检测,出具安全测试报告与渗透测试报告。运营服务管理平台各功能模块的服务分级与服务级别协议指标在运营平台一节展开;本节承担的实施职责是给出支撑这些服务级别的系统级指标——月度可用率不低于 99.5%、核心服务恢复时间不超过 30 分钟、结构化数据恢复点不超过 15 分钟,并建设达成这些指标所需的高可用部署、备份恢复与故障注入验证。这三个量值是首期基线,各自的判定方法与样本量在表 1-4 逐行固定:可用率按 60 秒周期的内外双路采集逐分钟判定、按自然月汇总;恢复时间在预生产环境按故障注入判定,每项注入重复 3 次取最差值,交付前一轮、质保期内每半年一轮;恢复点按月度备份恢复演练,比对故障时刻与可恢复数据的最后一致时刻。运行期按同一口径逐月核对,目标逐步接近月度可用率 99.9%、核心服务恢复时间 10 分钟、结构化数据恢复点 5 分钟。某一周期未达基线的,按表 1-4 失败整改一列定位整改后重测至连续三次达标;连续两个周期仍未达基线的,在月度运行报告中单列该项,连同根因分析与改进计划提交甲方,按整改单跟踪闭环。硬件型号、参数与质保条款在硬件选型一节展开;本节承担的实施职责是提出承载平台的冗余配置要求(双电源、双网口绑定、系统盘镜像、数据盘多副本或冗余磁盘阵列)、国产化判定规则与核算算式,并按该规则在上线验收时出具《国产化率核算说明》。
承诺值是写入合同与验收单的判据:招标文件给定量值的,取条款值本身;条款未给量值的,取我方承诺值。设计值是系统设计、选型与资源配置所依据的内部目标,时延类取承诺值的六成到七成,容量类取承诺值的一点五倍以上,为运行期的数据量增长与功能迭代留出余量。验收时以承诺值与下表固定的测量口径合并比对,实测值逐项记入验收记录。
响应时间一类指标须在验收方案中固定测量口径:同一个页面,在基准数据量下测得零点六秒,在十倍数据量且另有两百人在线的条件下可能是两秒;统计上取最大值还是取 P90,结论也不同。我方在《性能与可靠性验收方案》中对每项指标固定五个要素,并在合同签订后的需求确认阶段与甲方书面确认:
| 要素 | 固定内容 | 本项目的取值方式 |
|---|---|---|
| 测点位置 | 从哪里开始计时、到哪里结束 | 时延类指标以服务端接入层收到请求为起点、响应体最后一字节发出为终点;页面类指标以浏览器主内容可交互为终点 |
| 负载条件 | 测试时的并发与背景负载 | 按本节第七部分的容量规划表取设计并发的 70% 作为常态负载,100% 作为峰值负载 |
| 数据规模 | 被查询对象的数据量 | 按验收时点的实际在库数据量,并在验收方案中记录具体行数与文件数作为基准 |
| 统计口径 | 用哪个统计量判定 | 取 P90,样本量不少于 200 次;同时记录 P50 与 P99 供分析 |
| 排除项 | 不计入承诺范围的时间 | 客户端网络往返、甲方侧网络与机房条件、第三方系统接口等待、浏览器插件渲染、首次冷启动 |
表 1-1 性能与可靠性指标的五要素口径(来源:招标文件 3.1.2.2.5、3.1.2.2.6 条款与本节承诺)
复测不达标时按三种情形分别处置,不混为一谈。属于实现问题的,按客户端、网络、应用、数据库、外部依赖五层逐层收敛,定位到具体层后整改并复测。属于测量口径偏离的,回到表 1-1 核对五要素,以书面确认的口径重测。属于运行条件变更的(数据量超出基准口径、并发超出设计容量、甲方侧网络或算力条件变化),按配置变更流程提出资源调整建议并书面确认新基准,原指标在新基准下重新验证。
招标文件对非功能性的要求,一半给了数:页面打开不超过 1 秒、报表生成不超过 3 秒、登录不到 1 秒、软硬件整体国产化比率不低于 80%。另一半没有给数,写的是「具备高度稳定性和可靠性」「迅速定位问题并恢复系统正常运行」。后面这一半在验收那天是判不了的——系统半夜停了两个小时,算不算「不够稳定」,双方各有各的说法,到那时再谈就只能各让一步。
这在本项目上不是小事。首轮存量加工要把 63 万张历史图纸连同配套工艺卡解析入库,按测算是二十个工作日的连续机时(表 7-3);这二十天里系统停一次,断掉的不是几个页面,而是整批作业的续跑与重算。产线与井下的感知设备又是不间断回传的,停机期间的帧与温度读数补不回来——井下测点损坏尚且按不补装处理,数据上本就留着一条从某天起断掉的线,再因为平台停机多添几条断线,后面做时序对齐时就分不清哪条断线是设备坏了、哪条是平台停了。所以「稳定」「可靠」这类词必须在投标阶段就换成数,并且换成的数要连着怎么测一起说清楚。
19 项指标因此摊开成三张表,一项指标占一行,三张表以指标项同序对齐:第一张定数(招标值、承诺值、设计值),第二张定条件(设计依据、测试环境、持续与峰值负载、数据量与并发),第三张定判法(测试步骤、采样与计算公式、判定阈值、证据、不达标怎么办)。分成三张而不压成一张超宽表,是因为三张的使用时点不同——技术评审看第一张是否逐条对上了招标值,系统设计与选型用第二张,验收现场拿第三张逐行走。若改成在七类要求下各写各的,19 项指标会被拆散复述七遍,而「条款没给量值的那九项,到底有没有被变成可测的数」这个最容易糊弄过去的问题,也就没有一处可以一眼看出来。
七类要求的指标、招标值、承诺值与设计值如下。招标值取招标文件条款原值;条款未给量值的,承诺值由我方设立,设立依据逐项见表 1-3。
| 类别 | 指标项 | 招标值 | 承诺值 | 设计值 |
|---|---|---|---|---|
| 基本 | 界面与文档中文化 | 系统功能页面支持中文,相关文档均为中文版 | 功能页面与交付文档均为中文版,附错误码中文释义对照表与行业分词词典 | 行业词典首批 ≥3000 条并持续补充 |
| 基本 | 第三方组件授权 | 第三方软件有原厂授权、无产权纠纷 | 逐项可追溯至原厂授权,建立组件授权台账并随版本更新 | 台账覆盖直接依赖与间接依赖,粒度到版本号 |
| 基本 | 上线前评审与整改 | 功能经评审通过后上线,整改不影响整体进度 | 功能经甲方评审通过后上线,一级整改单关闭后方可上线,里程碑不顺延 | 一级整改单关闭时限 ≤5 个工作日 |
| 开放性 | 二次开发文档 | 提供二次开发手册、数据结构、数据模型、数据字典 | 四类文档齐备交付,七类扩展点各配一个可运行示例 | 接口文档覆盖对外接口的 95% 以上 |
| 开放性 | 版本向后兼容 | 新版本向后兼容,现有系统和数据升级后正常使用 | 对外接口按版本号并行提供,旧版本至少保留一个大版本周期 | 旧版本保留两个大版本周期 |
| 安全性 | 低级安全漏洞 | 不允许出现低级安全漏洞 | 上线前表 4-1 所列类型与高危漏洞整改关闭并复测无复现 | 中危漏洞残留数趋向零,残留项入台账跟踪 |
| 安全性 | 传输与存储保护 | SSL 协议作为 Web 应用基础安全协议,敏感数据传输与存储受保护 | Web 应用启用 TLS 1.3(兼容 1.2),敏感数据按分级加密,密钥由密码服务平台托管 | 国密通道与标准通道双栈并存 |
| 可靠性 | 月度可用率 | 条款未给量值(「具备高度稳定性和可靠性」) | ≥99.5%(扣除计划维护窗口与不可归因情形) | ≥99.9% |
| 可靠性 | 核心服务恢复时间 | 条款未给量值(「迅速……恢复系统正常运行」) | RTO ≤30 分钟 | ≤10 分钟 |
| 可靠性 | 数据恢复点 | 条款未给量值(「快速恢复正常运行」) | 结构化数据 RPO ≤15 分钟;数据集制品 RPO ≤24 小时 | ≤5 分钟 / ≤12 小时 |
| 可靠性 | 故障定位时长 | 条款未给量值(「迅速定位问题」) | 一级故障 15 分钟内定位到故障域 | ≤8 分钟 |
| 可靠性 | 压力与稳定性测试 | 交付前进行压力测试、稳定性测试并提供报告 | 交付《压力测试报告》《稳定性测试报告》《容量测试报告》《故障恢复与可靠性测试报告》 | 稳定性测试连续运行 ≥72 小时 |
| 运行 | 页面打开响应 | ≤1 秒 | ≤1 秒 | ≤0.6 秒 |
| 运行 | 报表生成响应 | ≤3 秒 | 预置报表与常用统计 ≤3 秒;大结果集导出类报表提交响应 ≤3 秒、异步生成 | ≤1.8 秒 |
| 性能 | 登录响应 | <1 秒 | <1 秒 | ≤0.6 秒 |
| 性能 | 简单页面操作 | 平均 <1 秒 | 平均 <1 秒 | ≤0.6 秒 |
| 性能 | 复杂页面操作 | 平均 <2 秒 | 平均 <2 秒 | ≤1.2 秒 |
| 性能 | 在线并发与事务并发 | 条款未给量值 | 在线用户峰值 500、事务并发 100 TPS | 750 / 150 TPS |
| 国产化 | 软硬件整体国产化比率 | ≥80% | ≥80%(采购金额口径,核算见第八部分) | ≥85% |
表 1-2 非功能性指标总览:招标值、承诺值与设计值(来源:招标值抄录招标文件 3.1.2.2 各条款与 2.3 项目目标;设计值为我方内部设计目标)
招标文件已给定量值的十项,承诺值即取条款值本身,口径不改写、量值不下调。条款未给量值的九项(可用率、恢复时间、恢复点、定位时长、并发与容量等),由我方自定目标值,用途是把「迅速恢复」「高度稳定」一类定性要求转换为可实测、可验收的数值;这九项的设立依据逐项列于表 1-3,属对招标要求的补充量化,不替代、不改写招标文件的任何一条硬性要求。两类指标在验收时同表核对。其中核心服务恢复时间一项的量值口径,后文各表统一引用:首期基线取 RTO ≤30 分钟,判定方法为在预生产环境按 70% 设计容量施加背景负载逐项注入故障、每项重复 3 次取最差值,恢复时间自故障发生时刻起算至业务探针确认服务可用为止,交付前完整演练一轮、质保期内每半年演练一轮;目标逐步接近 10 分钟,达成路径是把健康检查间隔、实例重建与主备切换三段链路耗时逐段压缩并在演练中验证。某一轮演练超出基线的,定位到检测、决策、执行哪一环之后优化并重演,直至三次均达标;两轮演练仍超出的,在运行报告中单列该故障类型,连同根因分析与专项改进计划提交甲方评审,改进措施随下一版本上线后重新演练验证。
承诺值只是一个数,这个数在什么条件下成立,才是验收时真正要争的。同一个数据集检索页面,刚上线、库里几千条记录时测,零点几秒就出来了;等首轮 63 万张图纸连同工艺卡解析完、血缘与质检记录跟着铺满,同一个页面查同一个条件,走的索引、扫的分区、聚合的行数都变了。一个在空库上测出来的 1 秒达标,三个月后业务起来就不达标,这种达标对甲方没有意义。负载同理:产线与井下设备的回传并不均匀,班次交替那半小时的并发是平时的数倍,只给一个平均并发数,等于把最该验的那半小时漏掉了。
每项指标因此钉死四件条件:在哪套环境上测、常态负载多少、峰值负载多少、被测对象的数据量与并发多少。持续负载与峰值负载分成两列而不合成一个「并发」,就是为了不让班次峰值被平均掉;数据量单列,是为了把「按验收时点的实际在库量测、并另造满载态数据复测」写死,避免空库过关。最左边的设计依据一列约束的是我方自己:承诺值不能是拍出来的数,每一项都要指得回一个具体的工程配置——月度可用率指回双机互备接入层与数据库主备加仲裁的冗余度,核心服务恢复时间指回健康检查 5 秒间隔、实例重建 3 分钟、主备切换 2 分钟这三段链路耗时的合计,在线并发指回注册用户的在线比例与人均操作频次的推导(表 7-2)。依据站不住的,该改的是承诺值,而不是等到验收时再解释。
19 项承诺值各有一条工程上的来路,和一套可复现的测试条件;换一个人按同一行去测,测出来的数应当对得上。验收方案按同一行组织用例。
| 指标项 | 设计依据 | 测试环境 | 持续负载 | 峰值负载 | 测试数据量与并发 |
|---|---|---|---|---|---|
| 界面与文档中文化 | 矿山装备制造术语与生僻字入库要求;GB18030 字符集范围 | 功能测试环境,与生产同版本 | 单人走查,无背景负载 | 不涉及 | 含生僻字图纸标注样本 ≥500 件;工艺术语检索样本 ≥1000 条 |
| 第三方组件授权 | 组件引入评审规程与软件物料清单采集能力 | 构建流水线与台账系统 | 每次构建触发一次成分分析 | 发布前全量复扫 | 全量直接依赖与间接依赖,不抽样 |
| 上线前评审与整改 | 评审单元分批送审的排产能力;阶段末 ≥5 个工作日缓冲 | 评审环境(与生产同版本、同数据口径) | 评审单元逐个送审 | 阶段末多单元并行送审 | 每单元七项评审材料齐备 |
| 二次开发文档 | 七类扩展点的接口规范与示例工程 | 沙箱环境,与生产配置一致 | 单开发者实操 | 二次开发培训并发 ≥30 人 | 每类扩展点 ≥1 个完整示例走通 |
| 版本向后兼容 | 已发布接口契约库与历史数据集格式样本集 | 持续集成环境+升级演练环境 | 每次构建跑一轮契约测试 | 升级演练时全量契约回归 | 全部已发布接口版本;历史格式样本集全量 |
| 低级安全漏洞 | 通用漏洞评分与 Web 应用常见风险清单;四道检测安排 | 测试环境(与生产同镜像、同配置基线) | 静态分析每次提交触发;成分分析每日一次 | 上线前动态扫描与渗透测试各一轮 | 全部对外暴露页面与接口,不抽样 |
| 传输与存储保护 | GM/T 0024、GB/T 39786 的密码应用要求;浏览器兼容约束 | 预生产环境,含密码机与安全接入网关 | 常态业务流量下抓包核查 | 加解密并发按密码服务设计容量加压 | 抓包样本覆盖六类场景;加密字段全量核查 |
| 月度可用率 | 双机互备接入层、无状态多实例、数据库主备+仲裁的冗余度 | 生产环境运行监测 | 常态业务负载 | 班次交替时段峰值 | 全量请求采样,按自然月统计 |
| 核心服务恢复时间 | 健康检查 5 秒间隔、实例重建 ≤3 分钟、主备切换 ≤2 分钟的链路耗时合计 | 预生产环境故障注入 | 70% 设计容量背景负载 | 100% 设计容量背景负载 | 每项注入重复 3 次取最差值 |
| 数据恢复点 | 增量日志连续归档的归档周期;数据集制品发布即备份 | 预生产环境备份恢复演练 | 常态写入速率 | 加工高峰写入速率 | 结构化数据按全库恢复;制品按版本抽取 3 个 |
| 故障定位时长 | 指标 15 秒采集周期、链路标识贯通、分层排查树 | 预生产环境故障注入 | 70% 设计容量背景负载 | 100% 设计容量背景负载 | 每项注入记录从告警到定位故障域的时刻 |
| 压力与稳定性测试 | 表 7-2 设计容量与表 7-3 加工吞吐测算 | 基准测试环境(配置与生产等比,比例记入报告) | 稳定性测试取 70% 设计容量 | 压力测试阶梯加至 150% 设计容量 | 按满载态数据规模造数;并发按表 7-2 设计值 |
| 页面打开响应 | 前端分包按需加载、虚拟滚动、静态资源内网缓存 | 基准测试环境 | 设计并发的 70%(350 在线) | 设计并发的 100%(500 在线) | 按验收时点在库数据量;满载态另造数复测 |
| 报表生成响应 | 预计算与物化视图支撑同步类;异步类提交即返回 | 基准测试环境 | 报表并发 20 路 | 报表并发 50 路 | 同步类按预置报表全集;异步类按最大结果集报表 |
| 登录响应 | 证书校验结果会话内缓存、密码服务连接复用、首屏与认证解耦 | 基准测试环境,含密码机 | 登录并发 50 次/秒 | 登录并发 100 次/秒 | 账号样本 ≥2000;含双因素认证路径 |
| 简单页面操作 | 单表或一次主从查询、结果集 ≤200 行、不含聚合 | 基准测试环境 | 350 在线用户、70 TPS | 500 在线用户、100 TPS | 关键表按三档数据量(上线态/中期态/满载态) |
| 复杂页面操作 | 跨数据域聚合走只读副本、物化视图与分区裁剪 | 基准测试环境 | 350 在线用户、70 TPS | 500 在线用户、100 TPS | 同上;血缘与质检汇总按满载态造数 |
| 在线并发与事务并发 | 注册用户 ×25% 同时在线、人均每分钟 12 次操作(推导见表 7-2) | 基准测试环境 | 70% 设计容量持续 30 分钟 | 100%→150% 阶梯各 30 分钟 | 并发连接按表 7-2;数据量按满载态 |
| 软硬件整体国产化比率 | 分母为本项所采购或开发的软硬件;采购金额单一口径 | 到货验收现场与配置清单核对 | 不涉及负载 | 不涉及 | 全量采购与开发条目,不抽样 |
表 1-3 各项指标的设计依据与测试负载条件(来源:招标文件 3.1.2.2 各条款;负载条件与设计依据为我方承诺的测试口径)
验收现场最常见的争执,不是达没达标,而是「这个数怎么算出来的」。月度可用率扣不扣计划维护窗口、按分钟判还是按请求判,同一个月的运行数据能算出两个结论;恢复时间从故障发生那一刻起算还是从告警响起那一刻起算,中间差着一整个检测时延;响应时间取平均值还是取 P90,差距可以到一倍。甲方已建成十余套业务系统,跨系统追一件事至今仍要人工对账,根子正是各家口径不一致;非功能性指标若也留下这样的口径空档,质保期内每出一次争议都要从头谈一遍。
五列分别回答验收时的五个问题:怎么测、怎么采样怎么算、多少算过、拿什么留痕、不过怎么办。其中失败整改一列最容易被省掉,也最该写——只写到阈值为止等于只承诺了好结果,第一次不达标时双方无章可循。本节每一项指标都按首期基线、趋向值与回退路径三段给出:基线是表 1-2 的承诺值,趋向是表 1-2 的设计值,回退就是这一列——月度可用率连续两个月低于承诺值的,出根因分析与改进计划并按整改单跟踪至达标;核心服务恢复时间超时的,定位到检测、决策、执行哪一环之后优化并重演,直至三次均达标;软硬件整体国产化比率低于 80% 的,更换同类国产组件后重算并重做适配验证。把公式写进表里还有一层用处:采样次数、统计量、排除项都已固定,验收时不必临时商量怎么算,照着这一行跑一遍即可。
19 项承诺因此都具备可执行的验收程序,不达标时的下一步也事先写定,不留到事后再谈。
| 指标项 | 测试步骤 | 采样周期与计算公式 | 判定阈值 | 证据 | 失败整改 |
|---|---|---|---|---|---|
| 界面与文档中文化 | 按功能模块逐屏走查→构造异常触发提示→生僻字样本入库回显→排序与全半角比对→术语检索召回核对 | 逐项计数;中文化覆盖率=已中文化界面元素数÷界面元素总数 | 走查项均已中文化判通过;残留项列整改单限期关闭 | 《界面中文化走查表》《错误码与中文释义对照表》、字符集测试记录 | 残留项按三级整改单随下一版本关闭,走查表更新后复核 |
| 第三方组件授权 | 构建产出软件物料清单→比对授权台账→核验商业授权书与开源许可文本→许可档位合规判定 | 每次构建一次;台账完备率=已登记并附凭证的组件数÷清单组件数 | 清单内组件均附凭证;强传染型组件不以静态链接方式使用 | 《第三方组件授权台账》、软件物料清单、原厂授权书 | 缺凭证组件暂停合入,补齐或替换为等价宽松许可组件后重扫 |
| 上线前评审与整改 | 内部三道测试→会前 3 个工作日提交七项材料→甲方评审→出具结论与整改单→按级关闭→复评 | 按评审单元计;整改及时率=按期关闭的整改单数÷整改单总数 | 一级整改单 5 个工作日内关闭;里程碑不顺延 | 评审结论、整改单与关闭记录、复测报告 | 超期整改单升级至项目周例会,动用阶段末缓冲,必要时调整单元上线顺序 |
| 二次开发文档 | 按手册步骤在沙箱实操七类扩展点→比对数据字典与实际表结构→接口文档与契约库逐条比对 | 每次版本发布一次;接口文档覆盖率=有文档的对外接口数÷对外接口总数 | 覆盖率 ≥95%;七类扩展点示例均可运行 | 《二次开发手册》《数据结构说明》《数据模型》《数据字典》、示例工程、实操记录 | 文档与实现不符的以实现为准修订文档,示例失败的修正示例并重跑 |
| 版本向后兼容 | 升级前执行契约测试→升级→跑接口回归用例集→以历史格式样本集回读数据集 | 每次构建与每次升级各一次;契约通过率=通过契约数÷已发布契约数 | 已发布契约均通过;历史格式样本均可回读 | 契约测试报告、接口回归测试报告、升级影响评估单 | 破坏契约的变更退回并新开接口版本;样本回读失败的保留旧格式读取实现 |
| 低级安全漏洞 | 静态分析(每次提交)→成分分析(每日)→动态扫描(每版本)→渗透测试(上线前)→整改→复测 | 扫描即采样;残留率=未关闭缺陷数÷发现缺陷数,按严重级分列 | 表 4-1 所列类型与评分 ≥7.0 的高危项残留清零;中危按 30 个自然日时限关闭 | 安全测试报告、渗透测试报告、《安全缺陷台账》与复测记录 | 高危未关闭即阻塞上线;无补丁的按隔离加监测处置并经甲方书面接受 |
| 传输与存储保护 | 通道配置基线核查→流量抓包核查→数据库与文件抽查明文→密钥托管与轮换核查 | 上线前一轮、质保期每季度一轮;明文命中数按抽查样本计 | 禁用协议未启用;敏感字段与文件抽查无明文命中 | 《加密方案说明》、配置基线核查记录、抓包与抽查记录 | 命中项当期整改并复查,涉及历史数据的按分级重加密并留存处置记录 |
| 月度可用率 | 外部拨测与内部健康检查双路采集→按分钟判定可用→扣除计划维护窗口→按月汇总 | 采样周期 60 秒;可用率=(月内分钟数-不可用分钟数-计划维护分钟数)÷(月内分钟数-计划维护分钟数) | ≥99.5% | 月度运行报告、监测原始数据、停机通告与故障单 | 连续两月低于承诺值的,出具根因分析与改进计划,按整改单跟踪至达标 |
| 核心服务恢复时间 | 注入故障→记录检测时刻→执行切换或重建→记录服务恢复时刻→业务探针确认可用 | 每次演练一次,每项重复 3 次;RTO=服务恢复时刻-故障发生时刻,取三次最差值 | ≤30 分钟 | 《故障恢复与可靠性测试报告》、注入记录表、演练录屏 | 超时项定位到具体环节(检测、决策、执行)后优化并重演,直至三次均达标 |
| 数据恢复点 | 持续写入背景数据→注入故障或模拟误删→按备份与日志恢复→比对恢复点与故障点之间的数据差 | 月度备份恢复演练;RPO=故障时刻-可恢复数据的最后一致时刻 | 结构化数据 ≤15 分钟;数据集制品 ≤24 小时 | 《备份与恢复演练记录》、恢复前后数据比对报告 | 超出承诺的缩短日志归档周期或提高备份频次,调整后下一轮演练复核 |
| 故障定位时长 | 注入故障→监测告警→值守按分层排查树逐层收敛→记录定位到故障域的时刻 | 每次演练一次;定位时长=定位到故障域时刻-告警时刻 | 一级故障 ≤15 分钟 | 故障单、排查过程记录、监测看板截屏 | 超时的补充该故障类型的检测规则与看板,并入演练清单下轮复测 |
| 压力与稳定性测试 | 按阶梯加压找拐点→以 70% 容量连续运行 ≥72 小时→采集资源与响应曲线→出具报告 | 压力测试每级 30 分钟、指标采样 15 秒;稳定性测试全程采样 15 秒,取每小时 P90 作趋势 | 100% 容量下满足表 1-2 承诺值且错误率 <0.1%;拐点 ≥120% 容量;72 小时内响应时间劣化 <20% | 《压力测试报告》《稳定性测试报告》、原始采样数据 | 未达判据的按分层定位整改,整改后重跑完整轮次,不以局部复测替代 |
| 页面打开响应 | 预置基准数据量→施加背景负载→对目标页面重复请求 ≥200 次→记录接入层到响应末字节耗时 | 采样 ≥200 次;取 P90,同时记录 P50 与 P99 | P90 ≤1 秒 | 性能测试报告、原始采样数据、性能基线归档 | 超阈值按前端、接口、缓存、数据库分层定位;基线劣化 >20% 阻断发布 |
| 报表生成响应 | 同步类报表逐张执行并计时;异步类记录提交响应时间与生成完成时间 | 每张报表采样 ≥50 次;取 P90 | 同步类 P90 ≤3 秒;异步类提交响应 P90 ≤3 秒 | 性能测试报告、报表分类确认单 | 超阈值的转预计算或物化视图支撑;仍超的改列异步类并经甲方书面确认 |
| 登录响应 | 预置账号样本→按设计并发发起登录→记录认证完成时刻(不含首屏数据加载) | 采样 ≥200 次;取 P90 | P90 <1 秒 | 性能测试报告、密码服务调用日志 | 超阈值的优化证书校验缓存与密码服务连接复用,必要时上调密码服务并发配额 |
| 简单页面操作 | 按表 7-1 归类的功能点逐个执行→三档数据量下各采样 ≥200 次 | 采样 ≥200 次;取 P90,按数据量档分列 | 各档 P90 <1 秒 | 性能测试报告、功能点归类确认单、基线曲线 | 超阈值的按索引、分区、结果集裁剪整改;三档均须复测通过 |
| 复杂页面操作 | 同上,背景负载与数据量同简单页面操作 | 采样 ≥200 次;取 P90 | 各档 P90 <2 秒 | 同上 | 超阈值的转只读副本或预计算;仍超的按表 1-1 条件变更流程重订基准 |
| 在线并发与事务并发 | 按 50%→75%→100%→125%→150% 阶梯加压,每级稳定运行 30 分钟 | 每级采样 15 秒;TPS=成功事务数÷统计时长,错误率=失败请求数÷总请求数 | 100% 容量下 TPS 达标且错误率 <0.1%;拐点 ≥120% | 《压力测试报告》《容量测试报告》 | 未达的按连接池、线程池、缓存与数据库分层调优;资源不足的提交扩容建议 |
| 软硬件整体国产化比率 | 按到货清单与配置清单逐条判定→代入分子分母算式→出具核算说明 | 两个时点各一次(合同后预算、上线验收实算);比率=国产条目含税金额合计÷分母条目含税金额合计 | ≥80% | 《国产化率核算说明》、设备清单与型号、厂商归属证明、认证证书、适配测试报告 | 低于 80% 的按表 8-3 回退路径更换同类国产组件,更换后重算并重做适配验证 |
表 1-4 各项指标的测试步骤、采样与判定(来源:招标文件 3.1.2.2 各条款;步骤、公式、阈值与整改方式为我方承诺的验收口径)
1-1 指标的承诺、验证与回退路径
图 1-1 非功能性指标的承诺、验证与回退路径。数据来源:招标文件 3.1.2.2.1 第(4)条上线评审要求与 3.1.2.2.4 第(3)条测试报告要求。
四条分别指向中文化、第三方授权、正版凭证与上线评审,共同点是都在交付环节产生可核对的凭证,因此每一条都配一份可供甲方逐项清查的台账或清单。
系统功能页面支持中文,相关文档均为中文版。中文化在本项目不只是界面翻译,还牵涉矿山装备制造的专业术语与中文数据处理,我方按以下六个层面落实。
界面层面,三套软件的菜单、按钮、字段标签、提示信息、报错信息、导出文件名与报表表头均为简体中文,不保留英文原文作为唯一显示;技术术语保留英文缩写时,在首次出现处给出中文全称,并在系统的术语表中可查。错误提示不直接抛出技术堆栈,而是给出中文说明、错误码与建议操作,错误码与中文释义的对照表随系统交付。
字符处理层面,数据库与应用统一采用 UTF-8 编码,字符集覆盖 GB18030 全部汉字范围,以容纳图纸标注与材料牌号中出现的生僻字与符号。中文排序支持拼音序与笔画序两种方式,供物料名称、文件名、专家姓名等列表使用。全角与半角字符在入库前做归一化处理,避免同一材料牌号因全角数字与半角数字差异而被识别为两种物料。
检索层面,中文分词采用通用词典加本项目行业词典的方式。行业词典由本项目的知识本体与数据标注规范派生,覆盖刮板输送机零部件名称、备料工序名称、热处理与焊接工艺术语、材料牌号等条目,首批词条规模不少于 3000 条,并在加工生产过程中按新发现的术语持续补充。分词词典的维护界面开放给甲方工艺与技术部门,由业务人员直接增补。
文档层面,交付文档均为中文版,包括用户手册、管理员手册、二次开发手册、数据字典、部署与运维手册、测试报告、验收文档与培训材料。涉及引用国际标准原文的部分,给出中文译名与标准号,必要时附原文条款号便于核对。
输入法与终端层面,手持终端与一体终端机的中文输入经实机验证,车间环境下的手套操作与扫码录入在同一界面内可切换,避免现场人员为输入一个工序名称反复切换输入法。
| 清查项 | 落实内容 | 验证方法 | 交付物 |
|---|---|---|---|
| 界面中文化 | 菜单、字段、按钮、提示、报表表头全部简体中文 | 界面逐屏走查,按功能模块出具走查记录 | 《界面中文化走查表》 |
| 错误提示 | 中文说明+错误码+建议操作 | 构造异常触发,核对提示内容 | 《错误码与中文释义对照表》 |
| 字符集 | UTF-8,覆盖 GB18030 汉字范围 | 用含生僻字的图纸标注样本入库并回显 | 字符集测试记录 |
| 中文排序 | 拼音序与笔画序可选 | 物料与文件列表排序比对 | 功能测试记录 |
| 全半角归一 | 入库前归一,避免同物异码 | 以全角半角混合的材料牌号样本验证 | 数据清洗规则说明 |
| 中文分词 | 通用词典+行业词典,首批 ≥3000 条 | 用工艺术语检索样本集核对召回 | 《行业分词词典》与维护界面 |
| 交付文档 | 全部中文版 | 文档清单逐份核对 | 文档交付清单与签收单 |
| 终端输入 | 手持与一体终端实机验证中文录入 | 现场实机测试 | 终端兼容测试记录 |
表 2-1 中文化落实清查表(来源:招标文件 3.1.2.2.1 第(1)条招标文件相应条款)
涉及的第三方软件均有原厂授权、无产权纠纷,甲方使用系统时不受第三方起诉。我方按「先建台账、再定边界、后作担保」三步落实。
建台账是基础工作。三套软件涉及的全部第三方成分,包括商业软件、商业许可的国产操作系统与数据库、开源组件及其间接依赖,逐项登记为《第三方组件授权台账》。台账在首次版本提交评审时一并提交,此后随每次版本发布更新。登记粒度到具体版本号,间接依赖通过软件成分分析工具自动采集生成软件物料清单,避免手工漏登。
定边界是风险控制。开源组件按许可类型分三档管理:宽松型许可可直接使用,保留版权声明即可;弱传染性许可允许以动态链接方式使用,修改该组件本身的代码须按其许可要求处置;强传染性许可不用于与交付代码静态链接或同进程集成的场合,若业务上确需其能力,采用独立进程加接口调用的方式隔离,或改用功能等价的宽松许可组件。这一档的判定在组件引入评审时完成,不留到交付阶段再处理。
| 许可档位 | 典型使用方式 | 本项目的使用边界 | 评审要求 |
|---|---|---|---|
| 宽松型 | 直接引入、随交付物分发 | 可用于全部交付软件 | 登记台账,保留版权与许可声明 |
| 弱传染型 | 动态链接或独立服务 | 可用,不修改组件自身源码;如修改则单独开放该组件的修改部分 | 组件引入评审并记录使用方式 |
| 强传染型 | 独立进程、经接口调用 | 不与交付代码静态链接、不同进程集成;优先寻找功能等价的宽松许可替代 | 组件引入评审逐例批准,记录隔离方式与替代预案 |
| 商业许可 | 按许可数量或节点授权 | 由我方提供正版许可,许可范围覆盖本项目约定的使用规模 | 提交授权书,登记到期日与续期责任 |
表 2-2 第三方组件许可档位与使用边界(来源:招标文件 3.1.2.2.1 第(2)条招标文件相应条款)
作担保是对甲方的承诺。我方承诺交付物不侵犯第三方的专利权、著作权、商标权与工业设计权;若甲方因使用本项目交付的系统而遭第三方以知识产权为由主张权利或提起诉讼,由我方负责应对与抗辩,承担由此产生的诉讼费用、赔偿费用与和解费用;如经判定确有侵权,我方在不影响甲方业务连续性的前提下,采取取得授权、更换为无瑕疵的功能等价实现、或修改实现方式三种方案之一,使甲方得以继续使用系统,相应工作不另行收费。承诺内容写入《知识产权无侵权担保函》,与投标文件一并提交。
台账的字段格式如下,便于甲方在验收与质保期内随时抽查。
| 字段 | 内容说明 |
|---|---|
| 组件名称与版本 | 精确到版本号,间接依赖标明被谁引入 |
| 许可类型 | 按表 2-2 的四档填写 |
| 来源 | 官方发布渠道或原厂 |
| 授权凭证 | 商业软件填授权书编号;开源填许可文本位置 |
| 使用方式 | 静态链接、动态链接、独立进程、独立服务 |
| 所在交付物 | 对应三套软件中的哪一套、哪个模块 |
| 安全跟踪 | 已知漏洞编号与修复版本、我方升级计划 |
| 替换预案 | 该组件不可用时的等价替代方案 |
表 2-3 第三方组件授权台账字段格式(来源:招标文件、及本节承诺)
投标方提供原厂正版软件授权书、售后服务承诺书。我方按下列清单与时点提交:投标阶段随投标文件提交《售后服务承诺书》与《知识产权无侵权担保函》;合同签订后 15 个工作日内提交商业软件的原厂正版授权书原件或原厂出具的授权证明,涵盖操作系统、数据库管理系统、商用密码服务平台及其他按许可计费的商业组件;系统上线前提交与实际部署规模一致的许可清单与到期日台账。授权书上的授权主体、许可范围与许可数量以合同约定的部署规模为准,若运行期内甲方扩大部署规模,按许可条款补充授权,补充方式在合同中约定。
售后服务承诺书的服务分级与服务级别条款在售后服务方案一节展开。本节承担的实施职责是把两处数字锁成一套:承诺书中的故障响应时限、恢复时限与可用率条款,取表 1-2 与表 5-1 的同一组量值——一级故障 15 分钟内响应、核心服务恢复时间不超过 30 分钟、月度可用率不低于 99.5%;承诺书定稿前由我方技术与商务按表 1-2 逐行核签,核签记录随承诺书一并归档,两处不出现两套数字。该组量值同为首期基线,判定方法、证据与未达标处置统一按表 1-4 的同一行执行,承诺书不另立判法,其趋向值亦取表 1-2 设计值一列。
正版许可与授权证明的证据按下表引用。证据的提交时点、核验方式与归档位置逐项固定,甲方在验收与质保期内可按本表索引调阅。
| 证据件 | 覆盖范围 | 提交时点 | 核验方式 | 归档位置 |
|---|---|---|---|---|
| 《售后服务承诺书》 | 故障响应、恢复时限、可用率、质保期服务内容 | 随投标文件提交 | 与表 1-2、表 5-1 逐行比对量值 | 投标文件商务部分;项目文档库 |
| 《知识产权无侵权担保函》 | 专利权、著作权、商标权、工业设计权的担保与抗辩责任 | 随投标文件提交 | 担保范围与交付物清单比对 | 同上 |
| 操作系统原厂正版授权书 | 全部服务器与终端的操作系统许可 | 合同签订后 15 个工作日内 | 核验授权主体、许可范围、许可数量与到期日 | 《许可清单与到期日台账》;随验收文件移交 |
| 数据库管理系统原厂正版授权书 | 核心库及配套存储组件 | 同上 | 同上,并核验非免费版本 | 同上 |
| 商用密码服务平台授权书与《商用密码产品认证证书》 | 安全软件 | 同上 | 核验证书编号与有效期 | 同上 |
| 中间件与其他按许可计费组件的授权书 | 应用服务器、消息、缓存、检索等 | 同上 | 与《第三方组件授权台账》逐条对应 | 同上 |
| 许可清单与到期日台账 | 全部商业许可的授权主体、范围、数量、生效日与到期日 | 系统上线前,与实际部署规模一致 | 按实际部署节点数与核数核对许可数量 | 项目文档库;到期前 90 天自动提醒 |
| 开源组件许可文本与软件物料清单 | 全部直接依赖与间接依赖 | 每次版本发布 | 按表 2-2 档位判定使用边界 | 《第三方组件授权台账》附件 |
表 2-4 正版授权与承诺书的证据引用(来源:招标文件 3.1.2.2.1 第(3)条招标文件相应条款;提交时点与核验方式为本节承诺值)
部署规模在运行期扩大的,按许可条款补充授权,补充授权书按同一表格追加登记,台账版本随之更新。
系统所有功能经甲方评审通过后才能上线,评审不通过及时整改,且不影响项目整体进度。「评审通过才能上线」与「整改不影响进度」须同时满足,整改工作纳入排产计划,不得挤占关键路径或靠加班兜底。
我方的做法是把评审做成分批、前置、并行的闸门,而非集中在上线前的一道总评审。
分批是指按功能模块与数据集批次划分评审单元。本项目的交付物天然可分批:三套软件按功能模块分批,四大数据集按供需计划、产品工艺设计、制造过程、质量四个业务域分批,专项智能工具链按九类分批。每个评审单元独立送审、独立通过、独立上线,一个单元未通过不阻塞其他单元。
前置是指在正式评审之前完成内部三道测试并把结论一并提交,减少评审会上才发现基础问题的情形。三道测试为功能测试、性能与可靠性测试、安全测试,分别对应本节第五至第八部分的验证方法。评审材料在评审会前 3 个工作日提交,便于甲方评审人员预读。
并行是指整改与下一阶段工作并行推进。整改单按影响程度分三级,分级与时限见表 2-5。一级整改单关闭后方可上线,二级与三级整改单允许带单上线并在约定时限内关闭,带单上线需甲方书面同意并记录在评审结论中。与此配套的是里程碑缓冲:项目计划在每个阶段末预留不少于 5 个工作日的评审与整改缓冲,缓冲用于吸收整改工作量,使单个评审单元的整改不传导到后续里程碑。
| 整改单等级 | 判定标准 | 关闭时限 | 是否阻塞上线 | 复评方式 |
|---|---|---|---|---|
| 一级 | 功能缺失或错误导致业务无法完成;高危安全漏洞;关键性能指标不达标 | 5 个工作日 | 阻塞 | 提交复测报告并召开复评会 |
| 二级 | 功能可用但存在明显不便;中危安全漏洞;非关键指标不达标 | 10 个工作日 | 不阻塞,带单上线须书面同意 | 提交复测报告,书面确认关闭 |
| 三级 | 界面文案、提示优化、文档补充一类 | 随下一个版本 | 不阻塞 | 版本发布说明中列明 |
表 2-5 上线评审整改单分级与时限(来源:招标文件 3.1.2.2.1 第(4)条招标文件相应条款)
评审材料清单固定为七项:评审单元的功能说明与操作手册节选、需求对照表(逐条对应招标文件与需求确认结论)、内部功能测试报告、性能与可靠性测试报告、安全测试报告、第三方组件授权台账增量部分、遗留问题清单与处置建议。七项齐备方提交评审,缺项由我方补齐后重新预约,不占用甲方评审时间。
2-1 功能上线评审闸门与整改回路
图 2-1 功能上线评审闸门与整改回路。数据来源:招标文件 3.1.2.2.1 第(4)条;整改单分级与时限为本节承诺值。
三条依次指向二次开发能力与配套文档、用户手册与在线帮助、跨平台迁移与版本升级兼容。数据集加工生产不是一次性工程,甲方在项目结束后仍要持续扩充数据集、新增加工算子、对接新的源系统;我方通过二次开发手册、数据字典与免费技术指导,支撑甲方自行扩展算子与对接源系统。
提供个性化、定制化及二次开发能力,提供二次开发手册、数据结构、数据模型和数据字典,免费提供二次开发技术指导服务。
二次开发能力在本项目上不是一句客套话。数据集不是做完一轮就定型的东西:备料工序今天是 28 道,产线改一次工艺就不止 28 道,工序编码、工序之间的先后约束、每道工序该采哪些参数都要跟着改;63 万张历史图纸连同配套工艺卡解析入库只是起点,此后每天仍有新图纸、新工艺卡产生;井下测点损坏按现行做法不补装,源系统那一侧会凭空少掉一列,下游得分得清这是设备坏了还是停产。
最能说明问题的是焊接。焊机吐出来的参数流是连续的,而工件与焊道是离散的——一件大型单部件的焊缝可达数百条、一条焊缝多层多道,要把某一段参数流归到某一条焊道上,靠的是甲方自己那套焊缝与焊道编号规则。这套规则是企业内部的工艺约定,随工艺文件改版而改;外面的人既写不出来,也不该每改一次就等我方派人改代码。这类事情只有两种结局:要么平台留出甲方自己能动手的地方,要么数据集的扩充速度被我方的排期卡住。
二次开发能力因此落在七个扩展点上,设计原则是新增能力不改主干代码,甲方的开发人员通过注册与配置即可接入自己的实现。七个扩展点按「改动落到哪一层」排:配置即生效、不需要改代码也不需要发版的,是自定义字段与表单、流程编排、报表与看板,再加上事件回调的地址注册;要写代码但不碰主干的,是加工算子;从外部调进来的,是对外接口与工具包。接入方式一列回答的是这件事要不要发版、要不要我方在场,它决定了甲方能不能当天改完当天用上。典型用法一列不是举例凑数:一张只写能力不写用处的清单,甲方读完仍不知道自己手上的哪件事能靠它解决,所以每一行都对上一件本项目里确实会发生的事——给备料工序数据集加一个本企业特有的工序编码字段、写一个专用的图纸标注规则算子、把数据集检索接进协同办公系统。若改按平台模块组织(加工平台的接口、运营平台的接口分开列),同一类扩展会散到多处,甲方想扩一件事得先弄清它归哪个模块管。
七个扩展点要给出的结论是:甲方今后在数据集上要做的扩展都能在表内找到落点,其中四类当天配置当天生效,其余三类由甲方自行开发,均不需要我方改动主干代码。
| 扩展点 | 可扩展内容 | 接入方式 | 本项目的典型用法 |
|---|---|---|---|
| 对外接口 | 数据集查询、下载、元数据读写、订单与审批 | RESTful 接口,统一网关鉴权,提供接口文档与调用示例 | 甲方的协同办公系统调用数据集检索接口 |
| 软件开发工具包 | 封装接口调用、鉴权、分页、断点续传 | 提供工具包与示例工程 | 甲方自建小工具批量下载某业务域数据集 |
| 事件回调 | 数据集发布、版本变更、质检完成、订单状态变更等事件 | 甲方注册回调地址,平台按事件推送 | 数据集新版本发布后自动通知甲方的下游系统 |
| 加工算子 | 解析、清洗、标注、质检、合成各环节的处理单元 | 按算子接口规范实现并注册,平台调度执行 | 甲方工艺部门自行实现一个专用的图纸标注规则算子 |
| 自定义字段与表单 | 数据集元数据、订单、审批单的扩展字段 | 配置界面定义字段、类型、校验与展示位置 | 为备料工序数据集增加本企业特有的工序编码字段 |
| 流程编排 | 审批流、质检流、发布流的节点与条件 | 可视化编排,配置生效,无需发版 | 调整数据集对外挂牌前的审批层级 |
| 报表与看板 | 统计维度、指标、图表与导出格式 | 配置化定义,支持自定义查询 | 按车间维度统计工艺数据集的覆盖进度 |
表 3-1 二次开发扩展点清单(来源:招标文件 3.1.2.2.2 第(1)条招标文件相应条款)
手册写得再细,真正卡住甲方开发人员的常常是另一类问题:这个字段到底指什么、这张表和那张表靠什么对上。数据集元数据里的时效性按哪个时点算,模态占比的分母是条数还是文件数;28 道备料工序的工序编码在库里是一列值还是一张码表,改成 30 道时要动哪几处;63 万张图纸与配套工艺卡的配对关系落在哪张表上,一张图纸对多张工艺卡时主键怎么定。这些问题手册回答不了,只能由数据模型与数据字典逐表逐字段写死。
还有一类失效更隐蔽:文档交了初版就停在那里,半年后界面改了、字段加了、接口出了新版本,照着文档写出来的代码跑不通。甲方被绊住一两次之后就不再查文档、改为直接问人,二次开发能力也就名存实亡。所以这四类文档的交付不止于交出来,还要跟着版本一起走。
四类文档按「从怎么做到是什么」排:二次开发手册讲步骤,数据结构说明讲库怎么分层、实体之间靠什么约束,数据模型讲概念、逻辑、物理三层之间怎么映射,数据字典讲每一个字段的含义与取值。粒度要求一列是这张表的要害——这四类文档都可以写得很薄,也都可以写得真能用,薄的那种交了等同于没交;把粒度写进表里,验收就不是数文档份数,而是按每类扩展点有没有一个跑得通的示例、实体关系图有没有覆盖到全部业务实体、字段清单有没有漏项、码表给没给全取值来判。少了这一列,文档只能按份数验收,而份数与可用性无关。
四类文档合起来要达到的程度是:一个此前没接触过本平台的开发人员,照着它们可以不找我方的人就把一个扩展做完。接口文档的覆盖首期不低于对外接口的 95%,其后随版本逐批补齐、趋向逐一覆盖;仍有缺口的在版本发布说明中列明接口名与补齐时点,缺口期间由答疑窗口按售后服务方案的响应时限兜底。四类文档在系统首次上线前交付初版,内容大纲固定如下,随版本更新。
| 文档 | 内容大纲 | 粒度要求 |
|---|---|---|
| 二次开发手册 | 开发环境搭建、工程结构、鉴权与调用、七类扩展点的开发步骤与示例代码、调试与日志、打包与部署、常见错误与排查 | 每类扩展点至少一个可运行的完整示例 |
| 数据结构说明 | 逻辑分层、主要实体及其关系、主键与外键约束、分区与索引策略、历史版本与软删除的处理方式 | 含实体关系图,覆盖全部业务实体 |
| 数据模型 | 概念模型、逻辑模型、物理模型三层;数据集元数据模型、加工作业模型、质检结果模型、血缘模型 | 三层之间的映射关系逐表对应 |
| 数据字典 | 表清单、字段清单(名称、类型、长度、可空、默认值、业务含义、取值范围)、码表、枚举值、计算字段的口径说明 | 字段级无遗漏,码表给出全部取值与含义 |
表 3-2 二次开发配套文档交付大纲(来源:招标文件)
免费技术指导服务按四种形式提供,不单独收费,服务期覆盖建设期与质保期:二次开发专题培训,面向甲方开发人员,不少于 16 课时,含实操;答疑窗口,建设期内工作日响应,质保期内按售后服务方案的响应时限执行;示例工程与沙箱环境,提供可独立运行的示例工程与一套与生产环境配置一致的沙箱,甲方可在沙箱内自由试验而不影响生产数据;年度技术指导人日,质保期内每年提供不少于 10 人日的现场或远程技术指导,用于甲方自主开发过程中的设计评审与问题诊断。
提供完整的用户手册和在线帮助文档,包括常见问题解答、最佳实践和开发指南。
用户手册按角色编写,避免把全部功能塞进一本让每类人都读不完的手册。业务用户手册面向数据集的使用方与审批人,按任务组织章节,每章回答一件事怎么做;管理员手册面向平台管理员,覆盖用户与权限、配额与策略、监控与告警、备份与恢复、许可管理;运维手册面向系统运维,覆盖部署、升级、巡检、故障处置、日志与性能分析;二次开发手册见表 3-2。
在线帮助做三层:页面级帮助,每个功能页面提供入口,打开即是该页面对应的手册章节;字段级提示,对规则不直观的字段给出悬浮说明与取值示例,例如数据集元数据中的时效性口径、模态占比的计算方式;引导式教程,对首次使用的用户提供分步引导,覆盖数据集检索与下载、数据集上传与登记、质检结果查看、订单与审批四条高频路径。
常见问题解答按模块组织,首批不少于 120 条,内容来自三个来源:培训与试运行期间收集的实际提问、答疑窗口的工单记录、我方在同类系统运行中沉淀的高频问题。质保期内按季度更新,新增条目在版本发布说明中列出。
最佳实践取自本项目的真实加工场景,而不是通用性的操作建议。例如图纸批量解析任务的批次大小如何选择与机时的关系、标注一致性校验不通过时的返工判断、数据集版本在场景验证中被引用后如何处理缺陷修复与版本分叉、备料工序数据集在新增工序时的元数据扩展方式。每条最佳实践给出背景、做法与适用边界,不写成口号。
开发指南是二次开发手册中面向场景的部分,按「我要做什么」组织:新增一个加工算子、对接一个新的源系统、增加一个数据集元数据字段、把数据集检索嵌入自有系统、订阅数据集发布事件。每条给出完整步骤与可运行代码。
| 文档类别 | 交付形态 | 首次交付时点 | 更新机制 |
|---|---|---|---|
| 业务用户手册 | 中文 PDF + 在线版 | 模块上线评审时 | 随版本更新,变更记录逐版留存 |
| 管理员手册 | 中文 PDF + 在线版 | 模块上线评审时 | 随版本更新 |
| 运维手册 | 中文 PDF | 系统上线前 | 随部署架构变更更新 |
| 二次开发手册 | 中文 PDF + 在线版 + 示例工程 | 对外接口发布时 | 随接口版本更新 |
| 在线帮助 | 系统内置,三层结构 | 随各模块上线 | 与手册同源,一次编写两处发布 |
| 常见问题解答 | 系统内置,可检索 | 试运行开始时首批 ≥120 条 | 按季度更新 |
| 最佳实践 | 系统内置 + PDF 汇编 | 首轮数据集加工完成后 | 按加工批次沉淀 |
| 开发指南 | 并入二次开发手册 | 对外接口发布时 | 随接口版本更新 |
表 3-3 文档与在线帮助交付清单(来源:招标文件 3.1.2.2.2 第(2)条招标文件相应条款)
文档与系统同源维护:手册与在线帮助使用同一份源文件,一次编写两处发布,避免界面改了而手册没改。文档纳入版本管理,每次版本发布时文档的变更部分在发布说明中列出,甲方可据此判断本次升级影响到哪些操作。
支持在不同平台间迁移,支持版本升级,新版本向后兼容,现有系统和数据在升级后能正常使用。
可迁移性靠四项设计保证,这四项在系统设计阶段就要定下来,事后补做代价很高。配置外置,全部环境相关配置从代码中剥离,集中在配置中心与环境变量,迁移时只换配置不改代码;应用无状态,会话与临时状态不保存在应用实例的本地内存或磁盘,实例可随时重建;存储访问抽象,文件访问经统一的存储接口层,底层可在本地文件系统、分布式文件系统与对象存储之间切换;数据库方言隔离,数据访问层不直接书写特定数据库的专有语法,专有能力经适配层封装,更换数据库时只替换适配层实现。
| 迁移场景 | 迁移内容 | 实施方法 | 停机窗口 | 回滚方式 |
|---|---|---|---|---|
| 物理机到虚拟化/私有云 | 应用、配置、数据 | 容器镜像重新部署,数据库逻辑导出导入或主从切换 | ≤4 小时 | 保留原环境,切回域名解析与负载均衡指向 |
| 虚拟化到物理机 | 同上 | 同上,注意资源配额与内核参数调整 | ≤4 小时 | 同上 |
| 国产操作系统之间 | 应用运行时与依赖 | 多架构容器镜像,按目标系统选择对应镜像;重新执行适配测试用例 | ≤2 小时 | 镜像版本回退 |
| 处理器架构之间 | 二进制依赖 | 多架构构建流水线产出同版本多架构镜像,避免架构锁定 | ≤2 小时 | 镜像版本回退 |
| 数据库之间 | 表结构、数据、存储过程 | 结构转换脚本+数据校验(行数、校验和、抽样比对);专有语法经适配层处置 | 按数据量测算,分批迁移 | 迁移期间双写或源库只读保留 |
| 数据集制品迁移 | 数据集文件与版本元数据 | 按版本清单逐版校验哈希后搬迁,元数据随之迁移,血缘关系保持 | 不停机,后台搬迁 | 源端保留直至校验通过 |
表 3-4 迁移场景与实施方法(来源:招标文件 3.1.2.2.2 第(3)条招标文件相应条款)
版本升级按滚动升级方式实施。升级前执行预检查脚本,核对当前版本号、数据库结构版本、磁盘余量、许可有效期与依赖组件版本,预检查不通过则终止升级并给出原因。升级时应用实例分批替换,负载均衡逐批摘除与回挂,升级过程中服务不整体中断。数据库结构变更采用可前滚可回滚的变更脚本,每个变更脚本配一个回滚脚本,变更前自动快照。升级完成后执行冒烟用例集,不通过则自动回滚到升级前版本。
| 兼容性规则 | 具体约定 | 违反时的处置 |
|---|---|---|
| 接口版本并行 | 对外接口在路径或请求头中带版本号,新旧版本并行提供 | 不删除旧版本接口,仅标记弃用 |
| 旧版本保留期 | 弃用公告发布后至少保留一个大版本周期,设计目标为两个周期 | 保留期内持续修复其安全缺陷 |
| 字段变更 | 响应字段只增不删;请求字段不新增必填项;新增字段给默认值 | 需删除字段时新开接口版本,旧版本保留 |
| 枚举变更 | 枚举取值只增不改语义;消费方按未知值降级处理 | 变更语义时新增枚举值而非复用旧值 |
| 数据结构变更 | 表字段只增不删,弃用字段标记后保留;主键与唯一约束不变更语义 | 需结构性调整时提供数据迁移脚本与校验报告 |
| 数据集格式变更 | 数据集文件格式版本化,旧格式的读取能力在新版本中保留 | 历史数据集不因平台升级而不可读 |
| 配置兼容 | 新增配置项给默认值,旧配置文件可直接使用 | 配置语义变更时提供自动转换脚本 |
表 3-5 向后兼容规则(来源:招标文件、;各项保留期为本节承诺值)
兼容性的验证方法是契约测试。对外接口的每个版本维护一份契约(请求与响应的结构与约束),契约测试纳入持续集成,新版本代码若破坏任一已发布契约则构建失败,无法进入发布流程。数据集格式的读取兼容性以历史格式样本集回归验证,样本集随每次格式演进追加,不删除旧样本。
3-1 滚动升级与自动回滚时序
图 3-1 滚动升级与自动回滚时序。数据来源:招标文件 3.1.2.2.2 第(3)条与 3.1.2.2.5 第(6)条。
安全技术的实现细节、等级保护测评与商用密码应用安全性评估的组织安排、去标识与脱敏的具体方法在安全方案一节展开。本部分承担三项实施职责,各配可判定的指标:一是给出低级安全漏洞的判定口径与放行门禁,表 4-1 所列十六类与通用漏洞评分 7.0 分及以上的高危漏洞在上线前整改关闭并复测无复现,高危修复时限 7 个自然日、中危 30 个自然日,质保期内按季度复扫;二是给出传输与存储保护的技术基线与指标,Web 应用启用 TLS 1.3(兼容 1.2)并禁用 TLS 1.0、TLS 1.1 与 SSL 3.0,敏感数据按分级加密、密钥统一由商用密码服务平台托管、不在应用侧留存;三是列出保密技术所依据的国家标准与法规,并在上线验收时逐项出具符合性说明。
不允许出现低级安全漏洞。这一条在验收时需要一个可判定的口径,否则双方对「低级」的理解可能相差很远。我方把低级安全漏洞界定为:可由通用安全扫描工具或常规渗透手法在不构造复杂利用链的前提下直接发现并验证的缺陷。按这一界定,本项目把下列类型列为低级安全漏洞,上线前须整改关闭并经复测验证。
| 序号 | 漏洞类型 | 检测方式 | 放行要求 |
|---|---|---|---|
| 1 | 结构化查询语言注入 | 静态代码分析+动态扫描+渗透测试 | 整改关闭,复测无复现 |
| 2 | 跨站脚本 | 静态分析+动态扫描 | 整改关闭 |
| 3 | 命令注入与代码注入 | 静态分析+渗透测试 | 整改关闭 |
| 4 | 未授权访问与越权(水平与垂直) | 接口权限矩阵用例+渗透测试 | 整改关闭,权限矩阵逐接口核对 |
| 5 | 硬编码口令、密钥与凭据 | 代码扫描+密钥检测规则 | 整改关闭,改由密码服务平台托管 |
| 6 | 默认口令未改、弱口令策略 | 配置基线核查 | 整改关闭,强制口令策略生效 |
| 7 | 目录遍历与任意文件读取 | 动态扫描+渗透测试 | 整改关闭 |
| 8 | 任意文件上传与可执行文件落地 | 渗透测试+上传白名单核查 | 整改关闭 |
| 9 | 敏感数据明文传输 | 流量抓包核查 | 整改关闭,启用加密通道 |
| 10 | 敏感数据明文存储 | 数据库与文件抽查 | 整改关闭,按分级加密 |
| 11 | 会话管理缺陷(会话不失效、会话固定、令牌可预测) | 渗透测试 | 整改关闭 |
| 12 | 不安全反序列化 | 静态分析+依赖检查 | 整改关闭 |
| 13 | 调试接口、管理端口、监控端点对外暴露 | 端口与路由扫描 | 整改关闭,收敛至管理网段 |
| 14 | 组件已知高危漏洞未修复 | 软件成分分析 | 升级或打补丁,无补丁时作隔离并记录 |
| 15 | 错误信息泄露技术细节(堆栈、路径、版本号) | 动态扫描+人工核查 | 整改关闭,统一错误处理 |
| 16 | 安全响应头缺失、传输层配置弱化 | 配置基线核查 | 整改关闭,按基线配置 |
表 4-1 低级安全漏洞类型清单与放行要求(来源:招标文件 3.1.2.2.3 第(1)条招标文件相应条款;类型划分参照通用漏洞分级与 Web 应用常见风险清单)
检测安排四道,贯穿开发与交付全过程,不是上线前才做一次扫描。第一道是静态应用安全测试,纳入持续集成,每次代码提交触发,发现表 4-1 第 1、2、3、5、12 类问题即阻断合并。第二道是软件成分分析,每日对依赖清单做一次扫描,比对已知漏洞库,高危漏洞的修复时限为 7 个自然日、中危为 30 个自然日,无可用补丁时作隔离处置并记入《安全缺陷台账》。
第三道是动态应用安全测试,在测试环境对全部对外暴露的页面与接口做扫描,每个版本至少一轮。第四道是渗透测试,在上线前对三套软件做一轮,由具备资质的测评机构或我方安全团队实施,出具渗透测试报告。
放行门限与残留处置:表 4-1 所列类型与通用漏洞评分 7.0 分及以上的高危漏洞在上线前整改关闭、复测无复现,方予放行;4.0 至 6.9 分的中危漏洞逐项进入《安全缺陷台账》,给出整改计划与时限,残留数量趋向零,上线时的残留项须经甲方书面接受并附补偿性控制措施(如访问收敛、监测加强);4.0 分以下的低危漏洞按版本迭代处置。质保期内按季度复扫一轮,新披露的高危漏洞按上述时限处置,处置记录纳入季度运行报告。
这里需要说清的是一个工程事实:安全漏洞的发现依赖于扫描规则与攻击手法的当期水平,新的漏洞类型会在系统交付之后被披露。我方的承诺因此分两段,交付时点承诺表 4-1 所列类型与高危漏洞关闭,质保期内承诺按季度复扫与上述修复时限持续处置,而不是承诺系统在任何时点都不存在任何漏洞。
支持将 SSL 协议作为 Web 应用的基础安全协议,敏感数据在传输和存储过程中得到保护。
传输侧采用双栈并存:标准通道与国密通道。标准通道启用 TLS 1.3(兼容 TLS 1.2),禁用 TLS 1.0/1.1 与 SSL 3.0,密码套件按前向保密套件配置,启用严格传输安全响应头,证书由甲方信任的证书体系签发。国密通道按《GM/T 0024 SSL VPN 技术规范》与《GM/T 0054 信息系统密码应用基本要求》实现传输层密码协议,使用 SM2 证书与 SM4 加密、SM3 完整性校验,密钥与证书由商用密码服务平台与服务器密码机承载。
双栈并存的理由是一个需要正面讲清的工程约束:招标文件要求客户端兼容四类主流浏览器,而主流浏览器原生不支持国密传输层协议。若强制全站国密通道,普通用户将无法访问。我方的处置是在接入层做通道分流:面向普通业务用户的 Web 访问使用标准 TLS 通道,国密保护在网关之后的内部链路与数据存储层生效;面向管理员、审计员与对外数据交付的高敏通道使用国密通道,通过国密安全接入网关或国密客户端访问,并在管理端提供国密通道的接入说明。两条通道的密钥材料统一由密码服务平台托管,不在应用侧留存。
| 场景 | 传输保护 | 存储保护 | 密钥归属 |
|---|---|---|---|
| 普通用户 Web 访问 | 标准 TLS 1.3 | 会话令牌加密存储,不落盘明文 | 平台会话密钥,定期轮换 |
| 管理员与审计员访问 | 国密传输层协议,双因素认证 | 操作日志加密并计算完整性校验值 | 密码服务平台托管 |
| 系统间接口调用 | 双向认证,国密通道优先 | 接口凭据加密托管 | 密码服务平台托管 |
| 数据集文件上传下载 | 分块传输,逐块校验,通道加密 | 文件按敏感级别加密,支持一文一密策略 | 密码服务平台托管,密钥与文件分离存放 |
| 数据库连接 | 加密连接,不走明文端口 | 敏感字段加密,支持一数据一密策略 | 密码服务平台托管 |
| 备份介质 | 传输加密 | 备份文件整体加密,密钥独立保管 | 密码服务平台托管,异地保管一份密钥材料 |
| 设备侧数据回传 | 加密通道,断链后续传 | 边缘侧缓冲数据加密 | 设备证书,由密码服务平台签发 |
表 4-2 传输与存储保护的场景对照(来源:招标文件 3.1.2.2.3 第(2)条招标文件相应条款;一文一密与一数据一密能力对应 3.1.2.1 第(12)条)
敏感数据的识别依据本项目的数据分级分类结果。涉及个人信息、敏感地理信息、重要行业数据与企业秘密数据的字段与文件,在元数据中带敏感级别标记,加密策略、脱敏策略与可访问范围由标记驱动,不依赖开发人员逐处判断。分级分类的具体规则与去标识方法在安全方案一节详述。
数据和文档的安全保密技术符合国家相关技术要求。我方按下列标准与法规实施,并在验收时逐项提供符合性说明。
| 类别 | 依据 | 本项目的落实点 |
|---|---|---|
| 网络安全等级保护 | 《GB/T 22239 信息安全技术网络安全等级保护基本要求》 | 按等级保护二级以上要求设计安全区域、访问控制、安全审计与入侵防范;测评安排见安全方案 |
| 等级保护设计 | 《GB/T 25070 网络安全等级保护安全设计技术要求》 | 安全域划分、边界防护与管理中心设计 |
| 密码应用 | 《GB/T 39786 信息系统密码应用基本要求》《GM/T 0054》 | 物理与环境、网络与通信、设备与计算、应用与数据四个层面的密码应用设计 |
| 传输层密码 | 《GM/T 0024 SSL VPN 技术规范》 | 国密通道的协议实现与证书体系 |
| 密码设备接口 | 《GM/T 0018 密码设备应用接口规范》《GM/T 0030 服务器密码机技术规范》 | 服务器密码机的接入与调用(对应技术参数) |
| 数据安全 | 《数据安全法》《个人信息保护法》《GB/T 35273 个人信息安全规范》 | 数据来源合法性核查、个人信息最小必要与去标识化处理 |
| 数据安全能力 | 《GB/T 37988 数据安全能力成熟度模型》 | 数据生存周期各环节的安全控制设计 |
| 数据分类分级 | 《GB/T 43697 数据安全技术数据分类分级规则》 | 数据集与字段的分级分类规则与标记 |
| 数据管理能力 | 《GB/T 36073 数据管理能力成熟度评估模型》 | 数据治理体系按其三级要求建设,详见数据治理章节 |
| 文档保密 | 甲方保密制度与本项目保密协议 | 文档水印、外发审批、离职交接与介质管控 |
表 4-3 保密技术依据的标准与法规(来源:招标文件 3.1.2.2.3 第(3)条招标文件相应条款)
文档侧的保密措施落在三处:平台内的数据集说明文档、质检报告与评测报告按敏感级别控制可见范围,下载时加动态水印并记录下载人、时间与用途;对外交付的文档经审批流程,审批记录与文档版本一并留存;项目组内部的资料按本项目保密协议管理,离场人员的账号与权限在离场当日关闭,所持资料当面交接。
五条依次指向故障处理能力、容错与快速恢复、交付前的可靠性测试与报告、负载均衡与硬件冗余、模块故障不扩散。可靠性对本项目的意义与一般管理系统不同:数据集加工生产的多数作业是长时间批处理,一张图纸的解析、一批工艺卡的标注、一轮质检的执行动辄数小时,作业中断的代价不是刷新页面重试,而是机时与进度的损失。因此本部分的设计重点放在两处,一是让已经跑了几小时的作业在故障后能从断点继续而不是从头重跑,二是让一个模块的故障不把正在运行的加工作业一起拖下去。
具有故障处理能力,遇到异常情况时迅速定位问题、采取补救措施、恢复系统正常运行。迅速定位的前提是系统本身可观测,否则定位靠的是逐台登录翻日志。我方按三类观测数据建设可观测性,三类数据共用同一时间基准与同一关联标识。
指标数据覆盖四层:基础设施层的处理器、内存、磁盘、网络与文件句柄;中间件层的连接池占用、队列堆积、缓存命中率;应用层的接口调用量、错误率、响应时间分位值、线程池状态;业务层的加工作业数、作业成功率、单位时间处理量、质检通过率。采集周期 15 秒,保留 180 天,关键指标保留 2 年用于容量复盘。
日志数据按结构化方式输出,每条日志带时间戳、服务名、实例标识、链路标识、用户标识与业务对象标识。链路标识在一次请求或一个加工作业的全过程中贯通,跨服务调用时随请求头传递,使一次失败可以从入口一路查到失败点。日志集中采集,错误日志保留 180 天。
链路追踪覆盖对外接口与加工作业。接口调用记录每一跳的耗时与状态,加工作业记录每个环节(解析、清洗、标注、质检、入库)的开始时间、结束时间、处理条数与异常条数。作业级追踪对本项目尤为必要,因为一次加工作业可能跨十几个算子,失败时需要知道是哪个算子的哪一批数据出了问题。
时间基准统一是上述三类数据可关联的前提。全部节点与设备侧采集网关对接同一内网时间源,时钟偏差控制在 100 毫秒以内,偏差超限产生告警。本项目的设备侧数据(热成像测温曲线、焊接参数流、图像帧)需要与工件、炉次、焊道做时间对齐,时钟偏差直接影响对齐质量,这一要求不只是运维需要。
| 故障等级 | 判定标准 | 发现方式 | 响应时限 | 定位时限 | 恢复目标 |
|---|---|---|---|---|---|
| 一级 | 平台整体不可用;核心数据面临丢失风险 | 监测自动告警+电话通知 | 15 分钟内响应 | 15 分钟内定位到故障域 | RTO ≤30 分钟 |
| 二级 | 单个功能模块不可用;加工作业批量失败 | 监测自动告警 | 30 分钟内响应 | 30 分钟内定位 | 2 小时内恢复 |
| 三级 | 功能部分异常,有可用替代路径;单个作业失败 | 监测告警或用户报障 | 2 小时内响应 | 4 小时内定位 | 1 个工作日内恢复 |
| 四级 | 体验类问题,不影响业务完成 | 用户报障 | 1 个工作日内响应 | 按版本迭代 | 随版本修复 |
表 5-1 故障等级、响应与恢复时限(来源:招标文件 3.1.2.2.4 第(1)条招标文件相应条款;时限为本节承诺值,与售后服务方案同口径)
表中一级故障的恢复目标即核心服务恢复时间的首期基线 RTO ≤30 分钟,与表 1-2 同源,按表 1-4 的注入演练口径判定——每项注入重复 3 次取最差值,交付前一轮、质保期内每半年一轮,目标逐步接近 10 分钟。实际处置超出时限的,在故障单中登记超出发生在检测、决策还是执行环节,恢复后 3 个工作日内出根因分析,改进措施并入演练清单下一轮复测;二级至四级的时限按同样方式统计达成率,逐月进入运行报告,连续两个月达成率下降的一并出改进计划。
定位的方法固定为一棵分层排查树,值守人员按树走而不是凭经验猜,排查过程与结论记入故障单。排查树的分层顺序是:先判断影响面(全局、单模块、单用户、单作业),再按接入层、应用层、数据层、依赖层、基础设施层逐层收敛,每层有对应的观测看板与判定依据。补救措施与定位并行,不等根因查清才动手:具备降级路径的先降级保业务,具备冗余的先切换,确有数据风险的先停止写入并保护现场。根因分析在恢复后 3 个工作日内完成,输出故障报告,同类问题的检测规则与预案一并补入运行手册与演练清单。
5-1 高可用部署与故障域划分
图 5-1 高可用部署与故障域划分。数据来源:招标文件 3.1.2.2.4 第(2)(4)(5)条、3.3 硬件采购清单、3.4 网络部分。
具有容错机制,在硬件故障、网络中断等不可预见情况下系统能够快速恢复正常运行。容错的做法按故障类型分列如下表,每一行给出检测方式、容错手段与恢复目标。表中的恢复时间为本节承诺值,设计值按表 1-2 的口径取承诺值的三分之一左右。
| 故障类型 | 检测方式 | 容错与恢复手段 | 业务影响 | 恢复目标 |
|---|---|---|---|---|
| 应用实例宕机 | 健康检查连续 3 次失败 | 负载均衡自动摘除,编排平台重建实例,会话经令牌重建 | 该实例上的在途请求失败一次,客户端重试成功 | 摘除 ≤30 秒,实例重建 ≤3 分钟 |
| 数据库主节点故障 | 仲裁节点判定 | 主备切换,应用侧连接池自动重连,写入短暂中断 | 写操作中断,读操作经备库继续 | 切换 ≤2 分钟,RPO ≤15 分钟 |
| 存储节点故障 | 副本健康巡检 | 多副本读取,故障节点隔离后重建副本 | 无感 | 副本重建按容量测算,不影响业务 |
| 密码机故障 | 密码服务状态监测 | 虚拟密码网关按服务分组切换至可用密码服务 | 加解密短暂排队 | 切换 ≤1 分钟 |
| 网络中断(内网链路) | 链路监测与双上行 | 双上行自动切换;跨网段调用重试与熔断 | 短暂抖动 | 切换 ≤30 秒 |
| 网络中断(设备侧回传) | 边缘网关心跳 | 边缘侧本地缓冲,断链期间就地暂存,复通后按时序续传并去重 | 数据延迟到达,不丢失 | 缓冲容量满足断链 ≥24 小时 |
| 源系统接口不可用 | 接口探活与错误率 | 退避重试、断点记录、按水位线续取;长时不可用时任务挂起并告警 | 该源系统的增量采集延迟 | 复通后自动补采,不需人工重放 |
| 加工作业中断 | 作业心跳与超时 | 作业按批次与算子记录检查点,重启后从最后检查点续跑;算子幂等 | 已处理批次不重复计费机时 | 续跑 ≤5 分钟启动 |
| 消息队列积压 | 队列深度水位 | 消费端扩容、限流入口、超时消息入死信队列并告警 | 加工延迟 | 水位回落 ≤30 分钟 |
| 大模型网关调用失败 | 调用错误率与超时率 | 批量任务失败重试、并发控制、备用模型路由、调用日志留痕 | 该批次延迟 | 自动重试 3 次后转人工队列 |
| 机房断电 | 环境监测(甲方侧) | 按甲方机房供电与不间断电源条件执行;平台侧保证重启后数据一致 | 服务中断 | 供电恢复后 ≤30 分钟服务可用 |
| 误删除与逻辑错误 | 操作审计与数据校验 | 数据集版本不可变、软删除保留期、备份恢复 | 可回退到指定版本 | 按备份策略恢复,恢复点见表 5-3 |
表 5-2 故障场景、容错手段与恢复目标(来源:招标文件 3.1.2.2.4 第(2)条招标文件相应条款;恢复时间为本节承诺值)
表 5-2 给的是单点故障的处置手段,下面把其中三件需要逐项落到数值与步骤的事分开写清:恢复点与恢复时间的逐对象承诺、切换与回退的触发条件与步骤、重试过程中的一致性保障。
恢复点、恢复时间与切换回退。 不同数据对象的恢复代价不同,用一个 RPO 与一个 RTO 覆盖全部对象,在工程上不成立:结构化数据可由增量日志逼近分钟级恢复点,而数据集制品是大体量不可变文件,逐分钟备份既无必要也无收益。因此按对象分列如下,每一行给出恢复点承诺、恢复时间承诺、切换触发条件、切换步骤与回退方式。
| 数据与服务对象 | 恢复点(RPO) | 恢复时间(RTO) | 切换触发条件 | 切换步骤 | 回退方式 |
|---|---|---|---|---|---|
| 核心数据库(业务数据、元数据、订单、审计) | ≤15 分钟(增量日志连续归档,设计值 ≤5 分钟) | ≤30 分钟(设计值 ≤10 分钟) | 仲裁节点判定主节点失联或写入持续失败 ≥30 秒 | 仲裁判定→提升备库为主→更新连接路由→应用连接池重连→一致性校验→恢复写入 | 原主节点修复后以备库身份重新加入,数据追平后再择窗口切回;切回须经运维确认 |
| 对象存储(数据集制品、图纸、图像) | ≤24 小时(新版本发布即备份,设计值 ≤12 小时) | ≤4 小时(按版本清单逐版校验哈希后恢复) | 副本健康巡检判定副本数低于下限 | 隔离故障节点→从健康副本重建→哈希逐件校验→恢复可用标记 | 重建副本校验不通过的回退至备份副本,源端副本在校验通过前不删除 |
| 时序数据(测温曲线、参数流、监测指标) | ≤5 分钟(写入即落盘,分区日志归档) | ≤2 小时(按分区恢复) | 时序库节点不可写或分区损坏 | 切换写入至可用节点→从归档恢复受损分区→按时间戳去重→重建索引 | 恢复分区校验不通过的保留原分区并标记数据缺口,缺口在数据卡中如实登记 |
| 边缘侧采集数据 | 不丢失(断链期间本地缓冲,缓冲容量满足断链 ≥24 小时) | 复通后 ≤30 分钟开始续传 | 边缘网关心跳连续丢失 ≥3 个周期 | 本地转入缓冲模式→链路复通检测→按时间顺序续传→服务端按设备标识与时间戳去重 | 缓冲接近容量上限时按业务优先级降采样并告警,降采样区间在数据卡中标注 |
| 配置与密钥材料 | 每次变更即留版(RPO 趋近零) | ≤1 小时 | 配置错误导致服务异常,或密钥不可用 | 配置中心回滚至上一版本→服务热加载→密钥按密码服务平台规程恢复→加解密探针验证 | 回滚后仍异常的逐版向前回退,每退一版执行一次探针验证 |
| 应用服务(无状态实例) | 不涉及(状态不落本地) | ≤3 分钟(摘除 ≤30 秒,实例重建 ≤3 分钟) | 健康检查连续 3 次失败 | 负载均衡摘除→编排平台重建实例→就绪探针通过→回挂 | 新版本实例连续重建失败的按镜像版本回退至上一稳定版本 |
| 密码服务 | 不涉及(密钥由密码机与平台托管) | ≤1 分钟 | 密码服务状态监测判定服务不可用 | 虚拟密码网关将应用绑定切换至同组内可用密码服务→加解密探针验证 | 原服务恢复后重新注册入组,流量按权重逐步回切 |
| 加工作业 | 不丢失已完成批次(按批次与算子记录检查点) | ≤5 分钟启动续跑 | 作业心跳超时或工作单元失联 | 作业状态置为可重调度→调度器重新分配工作单元→从最后检查点续跑 | 续跑连续失败 3 次的转人工队列,并保留现场数据与算子输入供定位 |
表 5-3 恢复点、恢复时间与切换回退(来源:招标文件 3.1.2.2.4 第(1)(2)条招标文件相应条款;量值、触发条件与步骤为本节承诺值)
切换与回退有两条通用约定。一是切换自动、回切人工:故障发生时的切换由监测与仲裁自动完成,不等人工决策;而故障恢复后的回切须经运维确认并择窗口执行,避免原节点未真正稳定就把流量带回去造成二次中断。二是每次切换与回退都留痕:触发条件、判定依据、执行时刻、业务影响面与数据一致性校验结论记入切换记录,记录随月度运行报告提交。
重试过程中的一致性保障。 容错依赖重试,而重试最容易带来的问题不是失败,是重复——同一笔入库执行两次、同一张图纸解析出两份结构化结果、同一条时序点位写入两次。本项目对重试路径逐类给出一致性手段,使重试在结果上等价于只执行一次。
| 重试路径 | 重试策略 | 一致性手段 | 重复判定依据 | 验证方法 |
|---|---|---|---|---|
| 对外接口写入 | 指数退避,最多 3 次,总超时 30 秒 | 请求携带业务幂等键,服务端按幂等键查重后再处理 | 幂等键(业务单号+操作类型) | 并发重放同一请求 100 次,核对落库记录数与状态 |
| 系统间接口采集 | 按水位线续取,失败退避重试 | 以源系统主键与更新时间戳做幂等写入,同键更新不新增 | 源系统主键+更新时间戳 | 重复拉取同一时间窗,核对目标表行数与校验和 |
| 加工作业算子 | 批次级重试,最多 3 次,超次转人工队列 | 算子按「同输入同输出」实现,输出以批次标识覆盖写入而非追加 | 作业标识+批次标识+算子标识 | 同一批次重复执行 3 次,比对产物哈希是否一致 |
| 消息队列消费 | 消费失败重入队,超次进死信队列 | 消费端按消息标识去重,处理与位点提交在同一事务内完成 | 消息标识 | 人为重投消息,核对业务表无重复记录 |
| 数据集制品写入 | 分块上传,失败按块重传 | 制品不可变、版本化,同版本重复写入以哈希比对后拒绝覆盖 | 制品哈希+版本号 | 重复提交同一版本,核对版本数与哈希 |
| 时序数据续传 | 边缘侧缓冲,复通后按时序续传 | 服务端按设备标识与时间戳做唯一约束,重复点位丢弃并计数 | 设备标识+时间戳 | 断链后重复续传同一时段,核对点位总数与丢弃计数 |
| 大模型网关调用 | 失败重试 3 次,并发与配额受控 | 调用请求带批次与条目标识,结果按标识写入,重复结果以先到为准 | 批次标识+条目标识 | 注入超时触发重试,核对生成条目数与标识唯一性 |
表 5-4 重试路径与一致性保障(来源:招标文件 3.1.2.2.4 第(2)条招标文件相应条款;策略与判定依据为本节承诺值)
上表七条的验证方法均纳入故障恢复测试执行,结果进入《故障恢复与可靠性测试报告》;其中接口写入、加工作业算子与时序续传三条在质保期内每半年复测一次。
表中「边缘侧本地缓冲」一行需要说明其必要性。本项目的设备侧数据采集点分布在热处理车间与焊接产线,按硬件采购清单配置在线高温热成像设备 6 台、在线热成像设备 21 台、红外图像采集设备 15 台。车间网络环境与办公网不同,瞬断较常见,若回传链路一断数据就丢,热处理炉次的温度曲线会出现缺口,而缺口恰好落在关键升温段时,该炉次的数据对质量场景验证即失去价值。因此边缘采集网关配置本地缓冲,按断链 24 小时的数据量预留存储,复通后按时间顺序续传,服务端按设备标识与时间戳去重。
备份策略按对象分列。备份不只是拷一份文件,关键在于恢复可验证,因此每类备份都配恢复步骤、恢复目标时间与演练频次。表中恢复时间与表 5-3 的 RTO 承诺同口径。
| 备份对象 | 备份方式与频率 | 保留期 | 恢复步骤 | 恢复目标时间 | 恢复验证 |
|---|---|---|---|---|---|
| 结构化数据库 | 全量每日一次+增量日志连续归档 | 全量 30 天,日志 7 天 | 选定恢复时点→恢复最近全量→顺序重放增量日志至该时点→一致性校验→切换应用连接 | ≤30 分钟(单库)/≤4 小时(全库重建) | 每月一次恢复演练,验证到可登录、可查询、关键报表数值与演练前一致 |
| 数据集制品与原始件 | 多副本+异机备份,新版本发布即备份 | 版本保留策略由数据治理章节定义 | 按版本清单定位制品→从异机备份取回→逐件哈希校验→恢复元数据与血缘关联→置为可用 | ≤4 小时(按单版本计) | 每季度抽取 3 个版本做哈希校验与解压验证,校验结果记入演练记录 |
| 时序数据 | 按分区归档,每日归档上一日分区 | 按数据生存周期策略 | 定位受损分区→从归档取回→按设备标识与时间戳去重写入→重建索引→抽点比对 | ≤2 小时(按单分区计) | 每季度抽样恢复一个分区,比对恢复前后点位总数与抽样点值 |
| 配置与密钥材料 | 配置中心每次变更即留版;密钥按密码平台规程备份 | 全部历史版本 | 选定目标版本→配置中心回滚→服务热加载→密钥按规程恢复→加解密探针验证 | ≤1 小时 | 每季度验证配置回滚与密钥恢复流程,探针验证结果留痕 |
| 平台镜像与部署脚本 | 镜像仓库版本化,每次发布即留版 | 保留近 10 个版本 | 按版本号拉取镜像→按部署脚本重建环境→执行冒烟用例集→接入流量 | ≤4 小时(整体重建) | 每季度在沙箱环境做一次整体重建,冒烟用例集全部通过方记为有效 |
| 文档与报告 | 随文档库备份,每日一次 | 项目周期内长期 | 按文档清单从备份取回→版本比对→恢复至文档库 | ≤1 个工作日 | 每半年抽查,核对版本号与变更记录完整 |
表 5-5 备份、恢复步骤与恢复演练(来源:招标文件 3.1.2.2.4 第(2)条招标文件相应条款;保留期、恢复时间与验证频次为本节承诺值)
需要正面说明一处边界:招标文件的硬件采购清单未包含存储设备与通用服务器,网络建设由招标方负责。本期的高可用与备份恢复按甲方提供的同一数据中心内的计算与存储资源设计,我方负责给出资源测算依据、分层策略与配置方案,并在资源到位后实施。跨数据中心的异地容灾不在本期采购范围内,待甲方基础设施条件具备后按图 5-1 的故障域划分扩展,扩展方式在运维手册中预留设计说明。
在系统交付前进行可靠性测试,包括压力测试、稳定性测试等,提供压力测试报告、稳定性测试报告。
可靠性测试要回答的是一个很具体的担心:这套系统在真正忙起来的那几周里撑不撑得住。本项目最忙的一段是可以预见的——首轮存量加工把 63 万张历史图纸连同配套工艺卡集中消化,按测算是二十个工作日的连续机时(表 7-3),这二十天里加工作业、质检回流与在线检索同时压在一套系统上;而 42 台感知设备的回传并不配合,班次交替那半小时的并发是平时的数倍。只在空闲时段点几个页面看看响应快不快,得出的结论对这二十天没有参考价值。更麻烦的是另一类问题:内存一点点涨、文件句柄一点点漏、连接池一点点占满,单看任何一刻的读数都正常,跑到第三天才崩——这种毛病只有连着跑才露头。
四类测试因此按「验的是哪一种撑不住」分,而不按测试工具或阶段分:压力测试验的是加压到什么程度开始垮、拐点在不在设计容量之上;长稳测试验的是连着跑会不会慢慢劣化;容量测试验的是数据堆到三倍五倍以后关键查询还走不走得动——这一条对本项目尤其要紧,图纸解析产物与血缘记录是只增不减的;故障恢复测试验的是坏了之后多久能回来。缺掉任何一类,都会留下一个在验收时看不出、在首轮加工期才暴露的口子:只做压力测试会漏掉缓慢泄漏,只做长稳测试会漏掉峰值拐点。通过判据与交付报告逐行对齐,是为了让每一类测试都落到一份可以交、可以查的文件上,而不是停在「已测试」三个字。
四类测试合起来要证明的是:这套系统在首轮加工那二十天的负载下有余量,连续运行不会自己退化,坏了能在承诺的时间内回来,而且这三件事都有报告为凭。四类测试的方案与判据如下。
| 测试类型 | 测试方法 | 通过判据 | 交付报告 |
|---|---|---|---|
| 压力测试 | 按表 7-2 的设计容量阶梯加压,从 50% 起每级增加 25% 直至 150%,每级稳定运行 30 分钟,记录响应时间、吞吐量、错误率与资源占用,找出性能拐点 | 在 100% 设计容量下响应时间满足表 1-2 承诺值、错误率 <0.1%;拐点出现在 ≥120% 设计容量 | 《压力测试报告》 |
| 稳定性(长稳)测试 | 以 70% 设计容量连续运行不少于 72 小时,期间混合执行在线交互与加工作业,采样与判定见表 5-8 | 内存与句柄无持续增长趋势、错误率 <0.1%、响应时间劣化 <20%、全程无人工干预 | 《稳定性测试报告》 |
| 容量测试 | 按 1 倍、3 倍、5 倍基准数据量分别测试关键查询与报表 | 5 倍数据量下关键查询响应时间劣化 <50%,并给出扩容建议 | 《容量测试报告》 |
| 故障恢复测试 | 按表 5-7 的故障注入清单逐项注入,观测检测时间、切换时间与业务影响 | 各项恢复时间满足表 5-2 承诺值;单模块故障的扩散范围满足表 5-9 判据 | 《故障恢复与可靠性测试报告》 |
表 5-6 可靠性测试类型、方法与判据(来源:招标文件 3.1.2.2.4 第(3)条招标文件相应条款)
两条劣化判据是首期基线,各自配一套固定的测法与未达标处置。长稳测试的响应时间劣化,以 72 小时内首小时与末小时的每小时 P90 相比计算,公式与采样周期见表 5-8,探针每 5 分钟一轮、每轮不少于 200 次,交付前完整跑一轮、质保期内每半年随版本复跑一轮;首期基线为劣化低于 20%,目标逐步接近 10%。容量测试按 1 倍、3 倍、5 倍基准数据量分别对关键查询与报表取样,每条关键查询与每张报表各采样不少于 200 次取 P90,交付前一轮、其后每年随在库数据量增长复跑一轮;首期基线为 5 倍数据量下劣化低于 50%,目标逐步接近 30%。任一条未达基线的,按索引、分区、预计算与只读副本分层定位整改,整改后重跑完整轮次,不以局部复测替代;重跑仍未达的,在报告中单列该查询或该报表,连同扩容建议与改造计划提交甲方,按计划实施后复测,复测结论补入报告。
故障注入按下表逐项执行。每项在预生产环境注入三次、取最差值,注入时背景负载按 70% 设计容量施加,记录注入时刻、检测时刻、恢复动作、恢复完成时刻与业务影响面,形成注入记录表并入报告。
| 序号 | 注入项 | 注入方式 | 预期检测方式与时限 | 预期恢复动作 | 判定阈值 | 业务影响判据 |
|---|---|---|---|---|---|---|
| 1 | 单个应用实例宕机 | 强制终止该实例进程 | 健康检查连续 3 次失败,≤30 秒检出 | 负载均衡摘除,编排平台重建实例 | 摘除 ≤30 秒,重建 ≤3 分钟 | 在途请求失败一次,客户端重试成功,整体错误率 <0.1% |
| 2 | 半数应用实例同时宕机 | 同时终止半数实例 | 同上 | 剩余实例承接流量,并行重建 | 重建 ≤3 分钟 | 响应时间劣化 ≤30%,无请求持续失败 |
| 3 | 数据库主节点故障 | 断开主节点网络或强制断电 | 仲裁节点判定,≤30 秒检出 | 主备切换,连接池重连 | 切换 ≤2 分钟,RPO ≤15 分钟 | 写操作中断不超过切换时长,读操作经备库继续 |
| 4 | 数据库连接池打满 | 构造长事务占满连接池 | 连接等待数越限告警,≤1 分钟检出 | 慢查询熔断,连接回收,限流入口 | 水位回落 ≤10 分钟 | 其他模块不受影响(判据见表 5-9) |
| 5 | 存储节点下线 | 下线一个存储节点 | 副本健康巡检检出 | 故障节点隔离,从健康副本重建 | 副本重建期间读写不中断 | 业务无感,制品可读可下载 |
| 6 | 密码机断网 | 断开密码机网络 | 密码服务状态监测,≤30 秒检出 | 虚拟密码网关切换至同组可用服务 | 切换 ≤1 分钟 | 加解密短暂排队,登录与签验不失败 |
| 7 | 内网链路中断 | 中断一条内网上行链路 5 分钟 | 链路监测,≤10 秒检出 | 双上行自动切换,跨网段调用重试与熔断 | 切换 ≤30 秒 | 短暂抖动,错误率 <0.1% |
| 8 | 设备侧回传链路中断 | 中断边缘采集网关回传 2 小时 | 边缘网关心跳丢失 ≥3 个周期 | 边缘侧转本地缓冲,复通后按时序续传并去重 | 复通后 ≤30 分钟开始续传 | 数据延迟到达不丢失,续传后点位总数与源端一致 |
| 9 | 源系统接口超时 | 对源系统接口注入 30 秒延迟与超时 | 接口探活与错误率告警 | 退避重试、断点记录、按水位线续取 | 复通后自动补采,无需人工重放 | 该源系统增量采集延迟,其他采集任务不受影响 |
| 10 | 消息队列堆积至水位上限 | 停止消费端并持续投递至水位上限 | 队列深度水位告警 | 消费端扩容、入口限流、超时消息入死信队列 | 水位回落 ≤30 分钟 | 加工延迟,无消息丢失,死信可重投 |
| 11 | 磁盘写满至阈值 | 填充磁盘至告警阈值 | 容量监测,≤1 分钟检出 | 日志轮转与归档清理,必要时在线扩容 | 余量回升至阈值以上 ≤30 分钟 | 写入不中断,无数据损坏 |
| 12 | 国产栈组合下的上述注入 | 在表 8-2 所列的目标组合环境中重跑第 1 至 11 项 | 同各项 | 同各项 | 各项阈值与通用环境一致 | 与通用环境的差异逐项记录,差异项进折损处置 |
表 5-7 故障注入清单与判定(来源:招标文件 3.1.2.2.4 第(2)(3)条招标文件相应条款;注入方式与判定阈值为本节承诺值)
稳定性测试的采样与判定单列如下。长稳测试的价值在趋势而不在某一时刻的读数,因此判据以斜率与劣化幅度表述,并固定采样周期与计算方式,避免验收时以某个瞬时峰值争执。
| 观测项 | 采样周期 | 计算方式 | 判定阈值 | 失败整改 |
|---|---|---|---|---|
| 堆内存与常驻内存 | 15 秒 | 取每小时均值做线性回归,计算 72 小时的增长斜率 | 斜率趋近零,72 小时累计增长 <5% | 按对象保留分析定位泄漏点,整改后重跑完整 72 小时 |
| 文件句柄与网络连接数 | 15 秒 | 每小时最大值的 72 小时增长量 | 增长量 <5%,无单调上升趋势 | 定位未关闭的资源,补齐释放逻辑后重跑 |
| 数据库连接池占用 | 15 秒 | 每小时 P90 的 72 小时变化 | 变化 <10%,无持续攀升 | 排查长事务与连接泄漏,调整池参数后重跑 |
| 接口响应时间 | 每 5 分钟一轮探针,每轮 ≥200 次 | 每小时 P90;劣化幅度=(第 72 小时 P90-首小时 P90)÷首小时 P90 | 劣化 <20% | 分层定位后整改,重跑完整 72 小时 |
| 错误率 | 15 秒 | 错误率=失败请求数÷总请求数,按小时汇总 | <0.1%,且无单小时突破 0.5% | 按错误类型分类定位,逐类整改后重跑 |
| 加工作业成功率 | 按作业批次 | 成功批次数÷提交批次数 | ≥99.5%,失败批次可续跑成功 | 定位失败算子,修正幂等或资源配额后重跑 |
| 垃圾回收停顿 | 每次回收事件 | 每小时停顿总时长占比与单次最大停顿 | 停顿占比 <2%,单次最大停顿 <1 秒 | 调整堆配置与回收策略,重跑并比对曲线 |
| 磁盘与日志增长 | 1 分钟 | 72 小时累计增量,外推至 30 天 | 外推值不超过规划余量 | 调整日志级别与归档周期,必要时上调容量规划 |
表 5-8 稳定性(长稳)测试的采样与判定(来源:招标文件 3.1.2.2.4 第(3)条招标文件相应条款;采样周期、计算方式与阈值为本节承诺值)
报告由我方测试组按统一模板出具,模板含测试环境配置、测试数据规模、测试用例、原始采样数据、结论与建议六部分,原始数据随报告移交以便复核。报告的出具与复核方式按两档执行:我方出具为基础档,四份报告(压力、稳定性、容量、故障恢复)在系统交付前提交;甲方要求第三方机构复核的,我方提供测试环境、测试数据、用例与原始数据并配合现场复测,复核结论作为报告附件一并归档,复核安排在需求确认阶段确定并写入验收方案。
具有应用负载均衡和硬件故障冗余机制。
应用负载均衡分三层。接入层采用双机互备的负载均衡,对外提供单一虚拟地址,支持四层与七层转发,按最少连接数与响应时间加权分发,健康检查间隔 5 秒、连续 3 次失败即摘除后端、连续 2 次成功即回挂。应用层的服务间调用采用客户端侧负载均衡,结合服务注册与发现,实例上下线对调用方透明。加工算力层按作业队列分发,调度器按工作单元的剩余配额、作业优先级与数据本地性分配任务,单个工作单元故障时其未完成的任务重新入队,由其他工作单元接手。
密码服务的负载与前三层机制不同,依托商用密码服务平台的虚拟密码网关实现:密码服务按分组注册,应用与服务分组动态绑定,单个密码服务不可用时由同组内其他服务承接,避免密码服务单点故障导致应用瘫痪。这一能力对应安全软件功能要求中的密码服务负载与密码服务调度条款,其功能实现在安全方案一节详述。
硬件故障冗余按设备分列。服务器密码机按技术参数要求配置冗余电源、具备 4 个电口与 4 个光口,网络接入采用双上行;接入连接器配置双冗余热插拔电源与两块固态硬盘;承载平台的通用服务器与存储按甲方资源配置,我方提出的冗余要求为双电源、双网口绑定、系统盘镜像、数据盘多副本或冗余磁盘阵列;车间侧的采集设备按点位冗余设计,同一炉台或产线的多台设备互为参照,单台故障时该点位的数据标记为缺失并告警,不中断其他点位采集。硬件型号、参数与质保条款在硬件选型一节详述。
平台具备稳定性与可靠性,单一功能模块出现问题不引发系统其他功能异常。我方通过隔离边界与资源配额限制故障扩散,采取六项隔离手段,并给出可验证的扩散上限。
部署隔离,功能模块按独立部署单元划分,各单元独立进程、独立容器、独立发布,不共享运行时内存空间。资源配额隔离,每个部署单元配置处理器与内存上限,单元内的失控进程不抢占其他单元资源。连接池与线程池分池,数据库连接、缓存连接、外部接口调用按模块分配独立池与独立配额,一个模块把自己的池打满不影响其他模块取连接。
调用熔断,模块间调用设超时与熔断阈值,错误率或超时率越限即断开并返回降级结果,避免故障沿调用链堆积。降级开关,每个模块配置功能级开关,开关表随系统交付,运维可在不发版的前提下关闭故障模块的入口,保留其余功能。前端隔离,页面按模块独立加载,单个模块的前端资源加载失败或脚本异常不阻塞其他模块的页面渲染。
| 验证场景 | 注入方式 | 扩散上限判据 |
|---|---|---|
| 单模块进程崩溃 | 强制终止该模块全部实例 | 其他模块接口成功率 ≥99.9%,响应时间劣化 ≤10% |
| 单模块连接池打满 | 构造慢查询占满该模块连接池 | 其他模块无连接等待,响应时间劣化 ≤10% |
| 单模块处理器打满 | 在该部署单元内运行计算密集任务 | 其他模块响应时间劣化 ≤15% |
| 单模块依赖超时 | 对其下游依赖注入 5 秒延迟 | 熔断在 30 秒内生效,其他模块无超时 |
| 单模块前端脚本异常 | 注入脚本错误 | 其他模块页面正常渲染与交互 |
| 单模块数据异常 | 构造脏数据触发处理异常 | 异常数据进入隔离区并告警,加工作业其余批次继续 |
表 5-9 单一模块故障的扩散上限与验证方法(来源:招标文件 3.1.2.2.4 第(5)条招标文件相应条款;判据为本节承诺值)
六项验证场景纳入故障恢复测试,结果进入《故障恢复与可靠性测试报告》,并在质保期内每半年复测一次,复测结果进入运行报告。表中的扩散上限是首期基线,配套的测法为:每个场景在预生产环境注入三次取最差值,注入时背景负载按 70% 设计容量施加,未被注入的模块各以探针采样不少于 200 次,接口成功率=成功请求数÷总请求数,响应时间劣化=(注入期 P90-注入前 P90)÷注入前 P90。首期基线为其他模块接口成功率不低于 99.9%、响应时间劣化不超过表中各场景所列幅度,随隔离边界与资源配额在运行期逐轮调优,目标逐步接近成功率 99.95%、劣化收敛到 10% 以内。某一场景未达基线的,定位到是哪一道隔离手段失效(部署隔离、资源配额、连接池与线程池分池、调用熔断、降级开关、前端隔离),补齐该手段后重新注入验证;连续两轮未达的,该场景在报告中单列,加固措施排入下一版本,上线后重新注入复测。
系统基于正版的操作系统、数据库管理系统部署,正版许可由投标方提供,支持最新稳定成熟版本,核心系统不使用免费版数据库管理系统。
许可由我方提供并随合同交付授权书。操作系统与数据库在招标文件国产化要求列举的范围内选型,最终型号与版本在需求确认阶段与甲方共同确定后写入《软硬件配置清单》。
「最新稳定成熟版本」需要一个判定口径,否则容易出现两种偏差:一种是追最新,选了刚发布的大版本,上层组件尚无互认证明,上线后踩兼容问题;另一种是过于保守,选了即将停止维护的版本,质保期内无法获得安全补丁。
我方的判定口径为四条同时满足:属于原厂的长期支持版本;发布满 6 个月且已有补丁更新记录;在本项目计划的质保期结束之后仍处于原厂维护期内;与本项目上层组件(中间件、运行时、密码服务)有可查的兼容性互认证明或经我方适配测试通过。四条判定的核对结论记入《版本基线说明》,随配置清单一并提交评审。
核心系统不使用免费版数据库,落实为三条约定。承载业务数据、数据集元数据、订单与审计记录的核心库,采用商业许可的国产数据库,许可由我方提供,许可规格覆盖合同约定的部署规模。承载时序数据、全文检索、分布式缓存、消息队列的组件按其技术定位配置:这些组件不作为核心业务数据的唯一存储,其中的数据均可由核心库或对象存储重建,采用商业许可或商业支持版本,并在《第三方组件授权台账》中标明其许可类型与数据可重建性。数据集制品与原始件存放于对象存储,其元数据与校验值在核心库中,制品丢失可按元数据重新生成或从备份恢复。
| 层次 | 组件定位 | 许可方式 | 数据可重建性 | 许可提供方 |
|---|---|---|---|---|
| 操作系统 | 全部服务器与终端 | 商业许可,按节点或按核授权 | — | 我方提供 |
| 核心数据库 | 业务数据、元数据、订单、审计 | 商业许可的国产数据库 | 不可重建,按表 5-5 备份 | 我方提供 |
| 时序存储 | 测温曲线、焊接参数流、监测指标 | 商业许可或商业支持版本 | 可由原始采集文件重建 | 我方提供 |
| 检索引擎 | 数据集检索、文档全文检索 | 商业许可或商业支持版本 | 可由核心库重建索引 | 我方提供 |
| 缓存与队列 | 热点缓存、作业队列 | 商业许可或商业支持版本 | 可重建,队列消息持久化 | 我方提供 |
| 对象存储 | 数据集制品、图纸、图像、短视频 | 随甲方存储资源或商业许可 | 多副本+备份 | 按资源归属确定 |
| 商用密码服务平台 | 密码服务、密钥管理 | 商业许可,具商用密码产品认证证书 | 密钥按密码平台规程备份 | 我方提供 |
表 6-1 软件许可与数据可重建性对照(来源:招标文件 3.1.2.2.5 第(1)条招标文件相应条款)
许可台账记录每项许可的授权主体、许可范围、许可数量、生效日与到期日,到期前 90 天自动提醒。质保期内的许可续期责任按合同约定,我方在质保期内承担已交付许可的维保与补丁获取。
客户端支持主流浏览器,支持多种终端设备使用,包括个人计算机、一体终端机、手持终端及各类移动终端。
浏览器兼容按内核基线而非品牌逐个适配。招标文件列举的四类主流浏览器分属两种内核,我方以这两条内核基线组织开发与测试,可覆盖同内核的其他浏览器,也避免因某一品牌版本号变动而反复返工。前端不使用依赖特定内核私有特性的实现,不使用已废弃的插件技术。
| 客户端类型 | 兼容基线 | 版本下限 | 测试范围 | 备注 |
|---|---|---|---|---|
| 浏览器(Chromium 内核) | 覆盖招标文件相应条款所列的三款 | 近 3 年内的稳定版本 | 全部功能模块逐屏走查 | 国产操作系统自带的同内核浏览器一并测试 |
| 浏览器(Gecko 内核) | 覆盖招标文件相应条款所列的一款 | 近 3 年内的稳定版本 | 全部功能模块逐屏走查 | — |
| 个人计算机 | 国产与通用架构,1920×1080 及以上 | — | 全部功能 | 主要作业终端 |
| 一体终端机 | 触控操作,1920×1080 或 1080×1920 | — | 车间查询、交检拍照、工序确认 | 大按钮布局,触控目标 ≥44 像素 |
| 手持终端 | 国产移动操作系统,5 至 6 英寸 | — | 扫码、工序确认、现场拍照上传、离线暂存 | 手套可操作,强光下可读 |
| 移动终端 | 国产与通用移动操作系统 | 近 3 年内主流版本 | 审批、查询、消息通知 | 响应式布局 |
表 6-2 浏览器与终端兼容矩阵(来源:招标文件 3.1.2.2.5 第(2)条招标文件相应条款)
手持终端的适配有三处是现场提出来的而不是通用要求,列在此处是因为它们影响前端实现方式。车间人员多戴手套作业,触控目标尺寸与手势复杂度须据此放宽,滑动类手势不作为唯一操作路径;车间局部区域光照强烈且有弧光,界面采用高对比配色并提供亮度适应;车间无线信号存在盲区,现场录入类功能(工序确认、交检拍照)支持离线暂存与联网后自动提交,提交结果以消息回执确认,避免人员重复录入。
支持本地化、私有云部署环境。三套软件按本地化私有部署设计,不依赖公网服务,不要求甲方开放外网访问。为此提供四项配套:离线安装介质,包含全部镜像、依赖包与安装脚本,介质内自带校验清单;内网镜像仓库与依赖仓库,部署在甲方内网,升级包经审批后由介质导入;许可激活采用离线方式,按设备指纹生成许可文件,不回连厂商服务器;时间源、证书颁发与域名解析均使用甲方内网服务,部署前核对清单由我方提供。
系统的外部依赖逐项列入《外部依赖清单》,标明是否必需、离线替代方式与缺失时的影响,便于甲方在网络策略审批时逐项核对。清单随部署方案一并提交。
支持物理机部署、虚拟化部署等多种部署方式。
部署形态在本项目上不是一道单选题,原因在负载本身就是两种脾气。存量图纸与工艺卡的首轮消化是一次性的集中投入,机时按表 7-3 测算;这一轮过去之后转入增量加工,日常机时需求落下一个量级。若一开始就按首轮峰值把算力固定在物理机上,加工期一过,这批资源大半时间闲着。另一头,核心数据库与密码服务对时延和隔离敏感,处理器一旦超分,同样的查询今天零点三秒、明天一秒二,容量测算就失去了意义,这类负载反过来不适合放在共享的虚拟资源上。
三种形态因此按「哪一类负载该落在哪种资源上」排,而不是按产品形态罗列。应用层与数据层分成两列,是因为这两层对资源的要求正相反——应用层要的是能随队列水位伸缩,数据层要的是性能可预期;合成一列会把这个对立藏起来,甲方照着选就容易把数据库也放进可超分的资源池。资源供给特点一列点明超分与否,是后续容量测算能不能成立的前提:表 7-6 的算力测算默认内存不超分、处理器仅在应用层适度超分,换一种供给方式,测算结论要跟着重做。
应用层采用容器化封装,三种形态下的应用交付物一致,差异集中在资源供给与编排方式,这是支持多形态的前提。由此可得的结论是:甲方按自己的机房与资源条件选形态,甚至三种混用,都不需要我方改造应用,只需按下表核对各层的资源供给是否满足前提。
| 部署形态 | 适用场景 | 应用层 | 数据层 | 资源供给特点 |
|---|---|---|---|---|
| 物理机部署 | 对性能与隔离要求高的核心数据库、密码服务 | 容器运行时直接运行于物理机 | 数据库独占物理机,本地高速盘 | 不超分,性能可预期 |
| 虚拟化部署 | 应用层、工作单元池、管理类组件 | 容器运行于虚拟机,编排平台统一调度 | 数据库可虚拟化,需保证磁盘性能 | 处理器可适度超分,内存不超分 |
| 私有云部署 | 整体部署,弹性伸缩加工算力 | 容器编排平台托管,按队列水位弹性伸缩工作单元 | 云上数据库服务或自建主备 | 按需申领,便于应对加工高峰 |
| 混合形态(本项目建议) | 核心数据库与密码服务物理机,其余私有云 | 同上 | 核心库物理机主备,其余云上 | 兼顾性能与弹性 |
表 6-3 部署形态与资源供给对照(来源:招标文件 3.1.2.2.5 第(3)(4)条招标文件相应条款)
本项目建议采用混合形态。理由是加工负载的波动很大:首轮存量加工(63 万张历史图纸的解析与标注)需要集中投入机时,之后转入增量加工,机时需求下降一个量级。把工作单元池放在可弹性伸缩的资源上,首轮加工期扩容、转入运行期缩容,比按峰值配置固定资源更经济;而核心数据库与密码服务对时延与隔离敏感,放在物理机上性能可预期。资源测算见表 7-3。
应用页面打开响应时间不超过 1 秒,报表生成响应时间不超过 3 秒。两项的承诺值、设计值见表 1-2,设计依据与测试负载见表 1-3,测试步骤、采样周期、计算公式与判定阈值见表 1-4,测量五要素按表 1-1 固定。页面打开的实现手段与第七部分的三项响应时间同源,见第七部分第 6 节的七组性能保障手段。报表一类另需一道口径划分,因为报表的数据量跨度很大,用一个数字覆盖全部报表在工程上不成立。
报表按结果集规模分两类,分界线在需求确认阶段逐张报表确认后写入验收方案。预置报表与常用统计属于同步类,由预计算与物化视图支撑,生成响应时间不超过 3 秒;跨年度全量明细、数据集全量清单导出、审计日志全量导出一类属于异步类,采用提交即返回加后台生成加完成通知的方式,提交动作的响应时间不超过 3 秒,生成完成后在消息中心与邮件中给出下载链接,生成进度在界面上可见。两类报表在界面上有明确标识,用户提交前即知道是即时出还是稍后取。
大结果集报表采用「提交响应不超过 3 秒 + 异步生成」:若将全量导出做成同步请求,页面长时间无响应易导致前端或网关超时、用户反复点击与后台重复生成,既不满足响应时间又加重负载。测点按表 1-1 与验收方案执行。
系统升级易操作,不影响与其它模块的接口。
升级操作的形态是一条命令或控制台上的一次操作:运维人员在控制台选择目标版本并发起升级,系统自动执行预检查、快照、分批替换、冒烟验证四个步骤,每一步的结果在界面上可见,任一步失败自动回滚并保留现场日志。升级手册给出操作步骤、预计时长、回滚方式与验证清单,升级操作不需要掌握底层细节。升级流程与回滚时序见图 3-1。
接口不受影响由三层保障。契约层面,对外接口与模块间接口的每个版本维护一份契约,契约测试纳入持续集成,破坏已发布契约的变更无法进入发布流程。兼容规则层面,按表 3-5 的七项规则约束变更内容。验证层面,升级前执行接口回归用例集,用例集覆盖全部对外接口与模块间关键调用,升级后的冒烟验证再跑一遍关键链路;与甲方其他系统的集成接口纳入回归范围,升级窗口与甲方侧的验证窗口在运维计划中对齐。
升级影响评估在每次升级前出具,内容包括:本次变更涉及的模块与接口、兼容性影响判定、数据库结构变更项与回滚方式、需甲方侧配合验证的接口清单、预计升级窗口与回退时限。评估单经甲方确认后执行升级。
登录响应时间小于 1 秒、简单页面操作平均响应时间小于 1 秒、复杂页面操作平均响应时间小于 2 秒。
承诺值与设计值见表 1-2,测量五要素见表 1-1。这里需要先解决一个定义问题:什么叫简单页面操作、什么叫复杂页面操作。若不预先划分,验收时容易出现把一个跨六张大表的多维统计算作「简单页面操作」的争议。我方给出的划分规则如下,并在需求确认阶段逐个功能点归类后写入验收方案。
| 操作类别 | 判定规则 | 本项目的典型功能 | 承诺值 |
|---|---|---|---|
| 登录 | 身份认证链路,含双因素与密码服务调用 | 用户登录、单点登录跳转 | <1 秒 |
| 简单页面操作 | 单一数据域、单表或一次主从查询、结果集 ≤200 行、不含聚合计算 | 数据集目录浏览、元数据查看、订单列表、审批待办、工序字典查询 | <1 秒 |
| 复杂页面操作 | 跨 2 个及以上数据域、含聚合或排序计算、结果集 >200 行、或需调用外部服务 | 数据集多条件检索、质检结果汇总、加工作业看板、血缘关系展开、权限矩阵查询 | <2 秒 |
| 异步类操作 | 结果集规模不可预先界定,或单次处理时长不可控 | 全量导出、数据集打包下载、加工作业提交、批量标注任务 | 提交响应 ≤3 秒,执行进度可见 |
表 7-1 页面操作分类与响应时间承诺(来源:招标文件 3.1.2.2.6 第(1)(2)(3)条招标文件相应条款与 3.1.2.2.5 第(5)条相应条款)
登录链路的耗时构成需单独说明,因为本项目的登录不是单纯的口令校验。按安全性要求,管理员与审计员采用口令与证书结合的双因素认证,认证过程涉及证书校验与密码服务调用。为把登录控制在 1 秒内,我方在实现上做三件事:证书校验结果在会话有效期内缓存,不每次请求都回密码服务;密码服务调用经虚拟密码网关做连接复用,避免每次建链;登录后的首屏数据与登录认证解耦,认证完成即跳转,首屏数据异步加载并带骨架屏,使用户感知的等待时间就是认证时间。
7-1 响应时间的构成与测量点
图 7-1 响应时间的构成与测量点。数据来源:招标文件 3.1.2.2.5 第(5)条、3.1.2.2.6 各条与本节表 1-1 口径。
招标文件的性能要求给出了三项响应时间,未规定并发量与数据容量。响应时间离开并发与数据量无法独立成立,因此本部分先把业务量推导成并发量,再把并发量与样本量推导成存储与算力,形成一条可代入复核的测算链。
业务量的推导起点是人与班次,不是经验数字。甲方按两班制组织生产,设计与工艺、生产计划、质量检验、库存与物流、设备运维五类岗位是平台的主要使用方;通用问答类场景面向全员开放,因此注册用户按在册人员规模取值。推导分四步:在册人员 → 注册用户 → 在线用户峰值 → 事务并发。第一步按在册人员全量开通计,基准取 2000 人(该值在需求确认阶段按甲方核定的实际使用人数调整,调整后按同一算式重算后三步,重算结果写入验收方案);第二步按班次交替时段同时在线比例 25% 计,得在线用户峰值 500 人;第三步按人均每分钟 12 次页面级操作、每次操作折合 1 个事务计,得峰值事务并发 500×12÷60=100 TPS;第四步取常态在线比例为峰值的 70%,得持续负载 350 人、70 TPS。
持续负载与峰值负载分开承诺,两者用途不同:持续负载是容量规划与资源配置的基准,也是长稳测试的加压点;峰值负载是响应时间承诺成立的边界条件,也是压力测试的判定点。表中设计值为内部设计目标,按峰值的 1.5 倍取。
| 容量项 | 持续负载(常态) | 峰值负载(承诺值) | 设计值 | 推导算式 |
|---|---|---|---|---|
| 注册用户 | — | 2000(按甲方核定人数调整) | 3000 | 在册人员全量开通;通用问答类场景面向全员 |
| 在线用户 | 350 | 500 | 750 | 峰值=2000×25%;持续=500×70% |
| 并发会话 | 350 | 500 | 750 | 与在线用户同量级,一人一会话 |
| 事务并发 | 70 TPS | 100 TPS | 150 TPS | 峰值=500×12÷60;持续=100×70% |
| 数据集下载并发 | 8 路 | 20 路 | 30 路 | 峰值按运营平台日交付订单 40 单、集中在 2 小时窗口内折算;单路速率受网络条件约束 |
| 加工工作单元 | ≥8 个并行单元(存量加工期) | ≥8 个并行单元 | ≥12 个 | 由表 7-3 的存量消化工期反解:首轮图纸解析须在 20 个工作日内完成 |
| 单元内算子并发 | ≥4 | ≥4 | ≥6 | 按单元资源配额÷单算子资源占用,见表 7-6 |
| 大模型网关并发 | ≥20 并发请求 | ≥50 并发请求 | ≥80 | 峰值=指令数据生成 5000 条/小时/单元×8 单元÷3600×平均单次 4.5 秒 ≈ 50 |
| 时序数据写入 | ≥2 万点/秒 | ≥5 万点/秒 | ≥8 万点/秒 | 见本节下文测点推导式与表 7-4 |
| 单表数据量 | 关键表 ≥2 亿行 | 关键表 ≥5 亿行仍满足表 7-1 承诺 | ≥10 亿行 | 时序明细与加工明细按 18 个月累积量折算 |
表 7-2 并发与容量规划:业务量推导、持续负载与峰值负载(来源:响应时间指标对应招标文件 —;并发量与推导算式为我方承诺值)
时序写入量的测点推导式为:写入速率=Σ(设备类别台数 × 单台测点数 × 采样频率)+平台自身监测指标数÷采集周期。按本项目配置代入:二十七台热成像与高温热成像设备各取点、线、区域标量测点 100 个、采样 1 赫兹,得 2700 点/秒;十五台熔池相机各取派生特征标量 20 项、采样 10 赫兹,得 3000 点/秒;热处理群控与焊接电源等工艺侧参数按接入点位 2000 个、采样 1 赫兹,得 2000 点/秒;平台自身监测指标按节点数 ×400 项÷15 秒采集周期估算。四项合计约 1 万点/秒为常态,承诺值取 5 万点/秒,留出甲方测点清单核定后扩充与采样频率上调的余量。测点总数与采样周期清单在需求确认阶段与现场勘察后核定,核定值代入上式重算,重算结果写入验收方案;承诺值在重算结果超出时按表 1-1 的条件变更流程重订。
本项目的性能压力主要不在在线交互,而在加工生产的批量处理。四大数据集的规模是预训练数据集 615 亿 Token、指令微调数据集 89 万条、强化学习偏好数据 6.6 万组、基准测试数据集 0.95 万条,历史工艺样本 63 万张图纸,备料工序 28 道。按这些规模测算的加工吞吐与机时如下,每一行给出单元吞吐、工作量与机时算式,可代入复核。
| 加工环节 | 单元吞吐 | 本项目工作量 | 机时测算(8 个并行单元、每日 20 小时有效机时) |
|---|---|---|---|
| 文档解析(制度、标准、技术文件、质量记录) | ≥2000 页/小时/单元 | 暂按 200 万页测算(=制度与标准 20 万页+技术文件 80 万页+质量记录 100 万页),实际页数在需求确认阶段按甲方文档库清点核定 | 2000000 ÷(2000×8×20)≈ 7 个工作日完成首轮;核定页数每增减 100 万页,工期按同式增减约 3 个工作日 |
| 图纸解析与结构化抽取 | ≥200 张/小时/单元 | 63 万张历史图纸 | 630000 ÷(200×8×20)≈ 20 个工作日完成首轮 |
| 工艺卡配对与工序序列抽取 | ≥300 张/小时/单元 | 63 万张图纸对应的工艺卡,28 道工序的序列标注 | ≈ 13 个工作日 |
| 预训练语料清洗与去重 | ≥5 GB/小时/单元 | 约 280 GB 文本(615 亿 Token 按中文编码折算) | 单轮约 7 小时机时,按清洗、去重、质量过滤三轮迭代约 1 个工作日 |
| 指令数据生成与自动质检 | ≥5000 条/小时/单元 | 89 万条 | ≈ 3 个工作日机时 |
| 偏好数据构建与一致性校验 | ≥2000 组/小时/单元 | 6.6 万组 | ≈ 1 个工作日机时 |
| 基准数据集构建与评测 | ≥1000 条/小时/单元 | 0.95 万条 | ≈ 1 个工作日机时 |
| 人工复核(抽样) | 200 条/人日(按标注规范的复核粒度) | 指令数据按 5% 抽样约 4.5 万条 | ≈ 222 人日,由标注与复核团队按排班消化 |
表 7-3 加工吞吐与存量消化测算(来源:数据集规模与历史样本量依招标文件 2.2 业务范围与需求说明书;单元吞吐与机时为我方测算值)
表中机时数与人日数的对比说明了一件事:机器处理的瓶颈不在算力而在人工复核。因此加工排产的组织方式是按业务域分批流水,机器处理与人工复核错峰并行,而不是等全部机器处理完成再开始复核。工作单元数在首轮存量加工期按表 7-2 的设计值配置,转入增量加工后缩容,对应表 6-3 建议的混合部署形态。
本项目的感知与检测设备按硬件采购清单配置红外图像采集设备 15 台、在线高温热成像设备 6 台、在线热成像设备 21 台。这些设备的原始数据率远高于一般业务系统,若按全量回传设计,车间网络与存储都承担不起,因此采用边缘侧按业务事件抽帧的方式,把回传量压到百分之几。测算如下。
| 设备 | 台数 | 原始数据率 | 全量回传量 | 边缘抽帧策略 | 回传量 |
|---|---|---|---|---|---|
| 红外图像采集设备(熔池相机) | 15 | 1280×960、30 fps,压缩后约 180 KB/帧,约 43 Mbps/台 | 约 2.3 TB/日(按每台每日 8 小时) | 按焊道事件触发:每焊道留 20 帧关键帧+2 秒短视频 | 约 2.9 GB/日/台,合计约 43 GB/日 |
| 在线高温热成像设备 | 6 | 384×288 全辐射,约 221 KB/帧 | 按连续留帧计约 0.19 TB/日 | 常态回传测温点、线、区域标量时序;全辐射帧按炉次关键节点留帧(装炉、升温段每分钟 1 帧、保温段每 2 分钟 1 帧、出炉) | 约 80 MB/日/台 |
| 在线热成像设备 | 21 | 同上 | 按连续留帧计约 0.67 TB/日 | 同上,按炉次或焊前测温事件留帧 | 约 80 MB/日/台 |
| 合计 | 42 | — | 约 3.2 TB/日 | — | 约 45 GB/日,为全量回传的约 1.4% |
表 7-4 设备侧数据回传测算(来源:设备台数与参数依招标文件 3.3.1 硬件采购清单;数据率与回传量为我方测算值)
抽帧不是为了省带宽而牺牲数据价值,抽帧规则由场景验证的数据需求反推确定。焊接场景需要的是起弧、稳定段与收弧三个时刻的熔池形貌,以及异常时段的连续画面;热处理场景需要的是升温段与保温段的温度曲线与关键节点的温度场分布。按事件触发留帧,恰好留下这些有用的部分,而连续录制的大部分画面是重复的。抽帧规则在数据标注规范中固化,并随场景验证结论调整;原始连续数据在边缘侧按滚动窗口保留 72 小时,期间可按需回溯调取,超期覆盖。
存储与算力资源不在本项目的硬件采购清单内,由甲方申领配置。申领要有依据,而依据不能是一个总数——报一个「需要若干 TB」的数字,甲方既无法判断这笔资源该分几批到位,也无法在到位量不足时判断先保哪一块。本项目的量又确实不小:63 万张历史图纸的原始件接近 1 TB,解析产物与渲染图是原始件的两倍多,42 台感知设备还在按班次不间断回传熔池画面与温度场数据,这几项的增长节奏完全不同——图纸是一次性存量,设备数据是按天累积的流量。
测算因此按数据对象分行,而不按存储设备分行。这样排的好处是每一行的量都能从一个可核对的现场事实推出来:张数乘以单件大小、台数乘以帧率乘以留存时长,算式摆在行里,甲方拿自己的数代进去就能复核,不必接受一个无从验证的汇总值。所在层一列把冷热分开,是因为历史留档没有必要占高速盘,而数据集制品要随时可取;不分层的报法会把归档量按在线层的单价一起算进去,资源申领的盘子被放大,反而拖慢到位。
存储按在线层与归档层两层规划。在线层承载近期需访问的数据与全部数据集制品,归档层承载历史留档。读完这张表应当能得到两件事:总量从哪里来,以及资源分批到位时按什么次序保——在线层优先,归档层可后置到首轮加工完成之后。
| 数据对象 | 测算依据 | 有效容量 | 所在层 |
|---|---|---|---|
| 历史图纸原始件 | 63 万张 × 平均 1.5 MB | 约 0.95 TB | 在线 |
| 图纸解析产物与渲染图 | 原始件的约 2.5 倍(结构化结果、渲染图、中间产物) | 约 2.4 TB | 在线 |
| 预训练文本语料 | 615 亿 Token 按中文编码折算 | 约 0.28 TB | 在线 |
| 指令微调、偏好与基准数据集 | 89 万条+6.6 万组+0.95 万条,平均约 3 KB/条 | 约 0.003 TB | 在线 |
| 既有非结构化文档 | 制度、标准、技术文件、质量记录,暂按 200 万页 × 平均 1 MB/页测算 | 约 2 TB | 在线 |
| 设备侧留档(近 6 个月) | 45 GB/日 × 180 日 | 约 8 TB | 在线 |
| 设备侧留档(历史) | 45 GB/日 × 建设周期剩余天数 | 约 16 TB | 归档 |
| 时序数据 | 按本节测点推导式取常态 1 万点/秒 × 每点 8 字节 × 18 个月,压缩比按 10∶1 计 | 约 3 TB | 在线 2 TB/归档 1 TB |
| 数据集制品与版本 | 四大数据集按版本保留策略,含打包交付件 | 约 5 TB | 在线 3 TB/归档 2 TB |
| 平台自身(日志、镜像、索引) | 日志 180 天、镜像近 10 版本、检索索引 | 约 2 TB | 在线 |
| 在线层小计 | — | 约 20 TB | — |
| 归档层小计 | — | 约 19 TB | — |
| 含冗余的裸容量需求 | 在线层按 2 倍冗余系数、归档层按 1.5 倍 | 在线约 40 TB,归档约 29 TB | — |
| 备份容量需求 | 按表 5-5 的备份策略与保留期 | 约 25 TB | 独立介质 |
表 7-5 存储容量测算与冷热分层(来源:数据规模依招标文件与本节口径;容量与冗余系数为我方测算值)
冷热分层的迁移规则由策略驱动:设备侧留档超过 6 个月自动转归档层,时序数据按分区超过 12 个月转归档,数据集制品的非当前版本按数据治理章节的版本保留策略转归档。归档层的数据仍可检索其元数据,取回时按异步方式处置并给出预计时间。表 7-5 中带暂估值的两项(既有非结构化文档、时序数据)在需求确认阶段按甲方清点与现场勘察结果核定,核定值代入同一算式重算,重算后的资源需求以书面方式提交甲方。
算力资源按两类负载分开测算,不合并成一个数:在线交互负载的资源需求由并发量决定,波动小;批量加工负载的资源需求由样本量与工期决定,首轮存量加工期与转入增量后相差一个量级。两类负载使用不同的资源池(见本部分第 6 节的资源隔离),因此测算也分开列出。
| 资源对象 | 测算依据与算式 | 首轮存量加工期 | 转入增量运行期 | 配置建议 |
|---|---|---|---|---|
| 在线应用实例 | 按峰值 100 TPS、单实例稳态承载 25 TPS 计,实例数=100÷25×1.5(冗余系数)=6 | 6 个实例,每实例 8 核 16 GB | 6 个实例 | 跨物理节点分布,单节点故障不影响过半实例 |
| 核心数据库 | 按峰值 100 TPS、关键表按 5 亿行计、读写比 7∶3,主库承担写与强一致读,只读副本承担统计与报表 | 主备各 32 核 128 GB,只读副本 1 个 | 同左 | 物理机部署,本地高速盘,不超分 |
| 加工工作单元 | 由表 7-3 的工期反解:图纸解析 63 万张 ÷(200 张/小时/单元 × 20 小时/日 × 20 个工作日)=8 个单元 | 8 个单元,每单元 16 核 64 GB | 2 至 3 个单元 | 私有云弹性伸缩,按队列水位扩缩 |
| 加工加速算力 | 图像与图纸解析、指令数据生成、偏好一致性校验三类作业需加速算力;按 8 个单元各绑定 1 张加速卡计 | 8 张加速卡等效算力 | 2 张等效算力 | 与工作单元同池调度,按作业优先级分配 |
| 大模型调用额度 | 峰值 50 并发 × 平均单次 4.5 秒 = 约 11 次/秒;按指令数据 89 万条、偏好 6.6 万组、基准 0.95 万条的生成与校验调用量折算 | 按峰值并发 50 申领额度 | 按峰值并发 20 申领 | 经统一网关做并发控制、批量调度与配额统计 |
| 时序库节点 | 按承诺写入 5 万点/秒、单节点稳态 2 万点/秒计,节点数=5÷2 向上取整+1(冗余)=4 | 4 个节点,每节点 16 核 64 GB | 同左 | 按时间分区,查询带分区键 |
| 检索与缓存 | 按数据集目录条目、血缘记录与全文索引规模折算,索引容量约为源数据的 30% | 各 3 个节点,每节点 8 核 32 GB | 同左 | 可由核心库重建,故障可重建不可丢判定为「可重建」 |
| 人工复核工位 | 由表 7-3:指令数据按 5% 抽样约 4.5 万条 ÷ 200 条/人日 = 222 人日 | 按 12 个工位并行,约 19 个工作日消化 | 按增量批次排班 | 与机器处理错峰并行,不等机器全量完成再开始 |
表 7-6 算力与资源测算(来源:样本量依招标文件 2.2 业务范围与需求说明书;并发量依表 7-2;资源配置与算式为我方测算值)
表 7-6 的配置是向甲方提出的资源需求,不是本项目的采购内容。承载平台的通用服务器与存储不在本项目硬件采购清单内,资源到位配置低于上表的,按本部分第 7 节末段的约定重做容量核算并提交,由双方确认调整后的承诺值。
响应时间与吞吐指标的达成依靠下列七组手段,每组给出其针对的瓶颈。
前端侧,静态资源按模块分包与按需加载,首屏只加载当前模块;长列表采用虚拟滚动,不一次性渲染全部行;静态资源在内网缓存并带版本指纹,升级后自动失效;首屏数据与认证解耦,认证完成即跳转。
接口侧,读写分离,统计与报表类查询走只读副本;按业务对象设计接口粒度,避免前端为一个页面发起十几次请求;批量接口支持一次取回多个对象,减少往返次数。
缓存侧,热点数据(工序字典、物料主数据、数据集目录、权限信息)进分布式缓存,设置过期时间与主动失效;缓存键按数据版本构造,数据更新即换键,避免脏读;缓存击穿与雪崩按空值缓存与随机过期时间处置。
数据库侧,慢查询阈值设为 200 毫秒,超阈值查询自动记录并进入每周治理清单;索引按实际查询模式设计并定期复核;时序表按时间分区,图纸与加工明细表按业务域与批次分区,查询带分区键;大表的统计类查询用物化视图或预计算结果表支撑,预计算任务在低峰时段执行。
异步化侧,长任务统一走任务队列,提交即返回任务号,进度与结果经消息中心回传;导出类任务生成文件后给出下载链接,文件按保留期清理。
算力调度侧,加工作业按优先级与配额调度,场景验证所需的数据集优先排产;工作单元按队列水位弹性伸缩;作业带检查点,可中断可续跑,使高优先级作业可以插队而不浪费已完成的处理量。大模型调用经统一网关,网关侧做并发控制、批量调度、失败重试、超时控制与调用成本统计,避免单个作业把调用额度占满。
资源隔离侧,在线交互与批量加工使用不同的资源池与不同的数据库连接池,加工作业的资源占用不影响在线操作的响应时间。这一点对本项目尤其重要:首轮存量加工会长时间满负荷运行,若与在线交互共用资源,用户会在加工期间感到系统明显变慢。
性能测试在三个时点执行:模块上线评审前、系统整体上线前、每次版本升级前。前两次按表 5-6 的压力测试与稳定性测试方案执行,第三次执行性能回归用例集。
性能回归纳入持续集成。关键接口与关键页面的响应时间基线保存在基线库中,每次构建后在标准测试环境跑一轮性能用例,与基线比对;P90 响应时间劣化超过 20% 则构建失败,需定位原因并处置后方可进入发布流程。基线在每个大版本发布后重新采集并归档,形成可比较的历史曲线。
质保期内每季度做一次性能复测与容量复盘,内容包括:按表 7-1 的分类复测响应时间、核对实际并发与数据量相对表 7-2 设计容量的占用率、按增长趋势给出扩容建议。复盘结果进入季度运行报告。实际数据量或并发超出表 7-2 设计容量时,按表 1-1 第五行的条件变更流程重订基准。
响应时间承诺的成立条件是其所对应的数据量与并发量,二者须与承诺值一并固定。
同一个页面操作,在十万条记录上和在一亿条记录上,响应时间不是一个量级。本项目的数据量在建设期内持续增长——预训练子集按 615 亿 Token 承接,数据集条目、血缘记录、质检记录随加工批次累积,三年后的数据规模与上线初期相差数十倍。若只承诺一个响应时间而不绑定数据量,这条承诺在第一年成立、第三年必然不成立。
因此本方案的性能承诺与表 7-2 的设计容量绑定:在表 7-2 所列并发与数据容量范围内,表 7-1 的响应时间承诺全程成立(登录 <1 秒、简单 <1 秒、复杂 <2 秒),不另设随数据量分档下调的承诺值。建设期内数据量增长通过容量复盘与扩容建议消化;实际并发或数据量超出表 7-2 设计容量时,按表 1-1 第五行的条件变更流程重订基准,不以默示放宽表 7-1 作为处置。
验证安排与上述口径一致:竣工验收与建设期阶段验收均按当时实际数据量实测表 7-1;交付前按表 7-2 满载规模造测试数据做压力测试并出具报告,终验收前用实际数据复测一次。模拟与实测的差异如实记录,差异超过约定幅度时,说明容量规划的假设需要修正,并给出修正后的资源需求。
需要说明的是,上述承诺以招标方提供的服务器资源达到容量规划所列配置为前提。本项目采购清单不含通用服务器,若实际到位配置低于规划,我方在收到实际配置清单后十个工作日内重做容量核算并提交,由双方确认调整后的承诺值——这一条在系统集成章节的前置条件表中同样列明,两处口径一致。
支持国产化硬件设备,包括国产服务器、中央处理器、存储设备、网络设备、个人计算机、移动终端等;支持国产化操作系统;支持国产化数据库。
国产化适配的工程难点不在「能不能跑起来」,而在三件事:一是避免架构锁定,二是避免对特定数据库专有语法的依赖,三是识别并补偿国产栈上的性能折损。我方的技术路线按这三点组织。
避免架构锁定靠多架构构建。持续集成流水线对同一份源码产出多架构的容器镜像,覆盖国产处理器常见的指令集架构与通用架构,镜像以同一版本号发布、按目标节点自动选择。涉及本地编译的组件(如图像处理、压缩、加解密库)在流水线中对各架构分别编译并跑适配测试,不以「在某一架构上能跑」代替全架构验证。
避免数据库专有依赖靠方言隔离层。数据访问层统一使用标准结构化查询语言子集,分页、序列、字符串函数、时间函数、层次查询一类在各数据库间写法不同的部分,经适配层按数据库类型分派实现;存储过程与触发器尽量不用,确需使用时在适配层登记并对每种目标数据库各提供一份实现;数据库结构变更脚本由统一的变更工具生成,按目标数据库方言输出。
识别性能折损靠基线对比测试。对同一组关键操作,在国产栈与通用栈上分别采集性能基线,逐项记录差异。差异在可接受范围内的直接采用;差异较大的按三条路径处置:参数调优(连接池、并行度、内存配置、执行计划)、实现调整(改写查询、增加预计算、调整索引策略)、资源补偿(按折损比例上调资源配置)。处置后仍不满足表 7-1 承诺值的,按表 1-1 的条件变更流程与甲方书面协商。折损评估结论随《国产化适配测试报告》提交。
8-1 国产化适配的分层与验证
图 8-1 国产化适配的分层与验证。数据来源:招标文件 3.1.2.2.7 各条与项目目标中的国产化比率要求。
国产化在招标文件里是一句比率和一串类别名,真正会出事的地方却在运行期:某个组件在国产处理器的指令集上编不过去,某个驱动在国产操作系统上装不上,某台感知设备的取流接口只提供厂商自带的封装而拿不到带时间戳的原始帧——任何一处卡住,牵动的都不只是那一个部件,而是整条采集到入库的链路要重排。本项目的适配对象也不止于平台自身,还连着 42 台感知设备的取流、密码机的接口与甲方已有的十余套业务系统。
十一类对象因此逐类列适配要求,而不按厂商或型号列。型号要到需求确认阶段才与甲方共同确定并填入《软硬件配置清单》,先锁型号等于把供货周期的风险提前锁进合同,适配结论若与型号冲突也再无调整余地。每一类都带验证方法与证明材料两列,是因为「支持国产」这四个字本身不构成交付——说支持而拿不出跑过的报告和可查的凭证,在验收时与没做没有区别;把验证方式写在同一行,这一类将来由谁测、测什么、交什么,当下就已定下。
由此可得的结论是:型号待定不等于责任待定——十一类对象的适配方式、验证方式与应交凭证都已逐类写明,型号确定后填入清单即可执行。
| 类别 | 招标文件要求 | 我方适配方式 | 验证方法 | 证明材料 |
|---|---|---|---|---|
| 服务器与处理器 | 支持国产服务器、处理器 | 多架构镜像,覆盖国产处理器常见指令集架构;本地编译组件逐架构编译 | 在目标架构节点执行功能、性能与稳定性适配用例 | 《国产化适配测试报告》;型号与厂商归属以《软硬件配置清单》与到货验收单为凭,随验收文件移交 |
| 存储设备 | 支持国产存储 | 存储访问抽象层,支持文件、块与对象三类接入 | 读写性能基线测试、多副本故障演练 | 《国产化适配测试报告》;型号与厂商归属以《软硬件配置清单》为凭(存储资源由甲方配置,归属按同一规则登记) |
| 网络设备 | 支持国产网络设备 | 不依赖特定厂商私有协议;双上行与链路切换按标准协议实现 | 链路切换演练、带宽与时延测试 | 网络联调记录(网络建设由甲方负责) |
| 个人计算机与终端 | 支持国产个人计算机、移动终端 | 前端按内核基线实现,不用插件技术;移动端适配国产移动操作系统 | 按表 6-2 的兼容矩阵逐项实机测试 | 终端兼容测试记录 |
| 操作系统 | 支持国产操作系统 | 在招标文件相应条款列举范围内选型,容器镜像基于目标系统构建 | 功能、性能、稳定性三类适配用例 | 兼容性互认证明材料;正版授权书 |
| 数据库 | 支持国产数据库 | 在招标文件相应条款列举范围内选型,经方言适配层接入;核心库用商业许可版本 | 功能用例、性能基线对比、主备切换演练、迁移脚本验证 | 兼容性互认证明材料;正版授权书 |
| 中间件 | 与国产中间件适配(对应安全软件适配条款) | 应用服务器、消息、缓存按国产化方案选型或采用可跨平台的实现 | 适配用例与压力测试 | 兼容性互认证明材料 |
| 密码设备 | 服务器密码机 | 按《GM/T 0018 密码设备应用接口规范》接入,经虚拟密码网关封装 | 国密算法调试、性能测试、分组切换演练 | 商用密码产品认证证书;国密调试记录 |
| 接入连接器 | 国产处理器与国产操作系统 | 按清单参数配置,功能适配按清单所列功能项逐项验证 | 功能适配验证与联调 | 适配验证记录 |
| 感知与检测设备 | 红外图像采集、在线热成像 | 在招标文件相应条款所列参考品牌范围内选型,均为国内厂商产品;经软件开发工具包接入 | 采集联调、时间戳对齐验证、校准记录 | 设备合格证与校准记录;详见硬件选型章节 |
表 8-1 国产化适配矩阵(来源:招标文件 3.1.2.2.7、3.3.1 硬件采购清单)
表 8-1 是按类别逐项列的适配要求,但国产化在运行期是以组合形态出现的:一套国产操作系统配一种处理器架构、再配一种国产数据库,三者两两适配不等于三者同时可用。逐类验证通过而组合未验的,问题通常在上线后才暴露。因此在逐类适配之外,另按组合做一轮验证,组合清单如下。
| 组合编号 | 处理器架构 | 操作系统 | 数据库 | 中间件与运行时 | 验证内容 | 用途 |
|---|---|---|---|---|---|---|
| 组合一 | 国产架构甲 | 招标文件相应条款列举范围内的国产系统甲 | 相应条款列举范围内的国产库甲 | 国产应用服务器、消息、缓存与容器运行时 | 功能回归集、性能基线集、主备切换、72 小时长稳、故障注入第 1 至 11 项 | 生产主用组合 |
| 组合二 | 国产架构乙 | 国产系统甲 | 国产库甲 | 同上 | 同上 | 架构替换备选,验证不存在架构锁定 |
| 组合三 | 国产架构甲 | 国产系统乙 | 国产库甲 | 同上 | 功能回归集、性能基线集、主备切换 | 操作系统替换备选 |
| 组合四 | 国产架构甲 | 国产系统甲 | 国产库乙 | 同上 | 功能回归集、性能基线集、迁移脚本验证、主备切换 | 数据库替换备选,验证方言适配层有效 |
| 组合五 | 国产架构甲 | 国产系统甲 | 国产库甲 | 国产密码设备与虚拟密码网关 | 国密算法调试、加解密性能、密码服务分组切换 | 密码服务组合 |
| 组合六 | 通用架构 | 通用系统 | 国产库甲 | 同组合一 | 性能基线采集 | 仅作折损对比的参考基线,不作交付形态 |
表 8-2 国产化组合验证矩阵(来源:招标文件 3.1.2.2.7 —;组合划分与验证内容为我方承诺的验证口径)
组合验证的执行方式与判据:组合一为生产主用组合,须通过全部验证内容,是上线放行的前置条件;组合二至组合五各为一条替换路径,须通过其所列内容,用途是在某一层出现供货或适配问题时可按本部分第 4 节的回退路径切换;组合六不作为交付形态,只用于采集通用栈基线,与组合一逐项比对得出折损幅度。各组合的性能基线按表 1-4 的采样与计算方式采集,响应时间取 P90,组合一的结果须满足表 1-2 的承诺值;组合二至组合五允许相对组合一有折损,折损超过 20% 的按参数调优、实现调整、资源补偿三条路径处置,处置结论写入《国产化适配测试报告》。组合验证在系统整体上线前完成一轮,质保期内发生底座版本升级时就受影响的组合补测一轮。
兼容性互认证明材料按从严口径提供:操作系统、中央处理器、数据库、中间件四类基础环境每类不少于 3 份,合计不少于 12 份,与安全方案一节对该项的提交口径一致,不另立份数标准。
项目总体目标要求数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件设备整体国产化比率不低于 80%,技术服务要求中亦明确国产化率不低于 80%。国产化率是一个需要先约定分母的指标,因此我方给出核算口径如下,并在需求确认阶段与甲方书面确认。
核算范围以本项所采购或开发的软硬件为限,这一边界取自招标文件原文「仅针对本项所采购或开发的软硬件」。甲方既有存量设备,以及以服务形态提供、不在本项采购清单内的计算与存储资源,按同一套判定规则纳入《国产化适配测试报告》的登记与验证范围,但不计入比率分母——这部分资源的国产化情况不由本项目决定,计入分母等于把不可控项写进可核算的承诺。登记而不计入,与不管不问是两件事:登记项同样要出具适配结论与兼容性证明,只是不参与比率计算。甲方既有设备的接口对接按需求确认阶段确认的边界执行。
核算采用采购金额单一口径,不用台套数口径,也不取两者中的较低者。理由是台套口径不稳健:分母中四十二台感知设备占到七成以上,比率几乎完全由这一类设备的判定结果决定,一个判定争议点就能把结论从达标推到不达标;金额口径的分母由硬件采购、软件许可与自研交付几块构成,单项得失不会翻转结论。
分子与分母逐项定义如下,不留解释余地。
分母=本项所采购或开发的软硬件条目的含税金额合计,由四块构成:一是硬件采购,含服务器密码机 1 台、接入连接器 3 台、红外图像采集设备 15 台、在线高温热成像设备 6 台、在线热成像设备 21 台,共 46 台;二是外购软件许可,含操作系统、数据库管理系统、中间件与商用密码服务平台;三是自研交付软件,含数据集加工生产平台与运营服务管理平台 2 套;四是随上述软硬件一并交付、按许可或按节点计费的配套组件。不计入分母的是甲方既有存量设备,以及以服务形态提供、不在本项采购清单内的通用服务器、存储与网络资源。
分子=分母各条目中判定为国产的条目的含税金额合计。判定按整机级与制品级作出,依据四条:设备或软件制品的厂商归属;计算类设备的处理器与操作系统来源;信创适配认证;国密产品认证。「芯片」一项穿透至计算芯片(处理器),不穿透至成像与红外探测等非计算器件——这一档次与硬件选型一节的选型准则、安全方案一节的密码产品判定取同一条规则。
比率=分子÷分母。达标条件可以写成一行算式:记感知设备本体含税金额为 Hs、分母中其余构成合计为 Other,则比率不低于 80% 等价于 Hs ≤ 0.25 × Other。厂商报价到位当天即可代入验证,不必重做判定。
全卷一套口径。 上述分母边界、金额单一口径、四条判定依据与穿透档次,与硬件选型、安全方案、总论各节取同一套,不在各章分别核算:硬件选型一节给设备的国产化选型准则与证明材料,安全方案一节给安全软件与密码产品的信创适配与认证材料,两节的判定结论直接作为本表的输入;总论引用的比率结论取本表的核算值。核算表是唯一依据件,任何一章出现与本表不一致的比率或口径,以本表为准。
| 核算类别 | 本项目范围 | 国产化情况 | 台套数口径 | 金额口径 |
|---|---|---|---|---|
| 服务器密码机 | 1 台 | 国产处理器与操作系统,具商用密码产品认证证书 | 国产 | 国产 |
| 接入连接器 | 3 台 | 国产处理器 16 核、国产操作系统 | 国产 | 国产 |
| 芯片(计算芯片/处理器) | 不单列采购条目,随服务器密码机 1 台、接入连接器 3 台等计算类设备一并计入 | 计算类设备所载处理器为国产处理器,随整机交付;穿透档次限于计算芯片(处理器),不穿透至成像与红外探测等非计算器件 | 随整机计入,不单独计数 | 随整机计入,不单独计价 |
| 红外图像采集设备 | 15 台 | 在清单参考品牌范围内选型,整机为国内厂商产品;核心成像器件来源以原厂说明为凭 | 整机国产 | 整机国产 |
| 在线高温热成像设备 | 6 台 | 同上 | 整机国产 | 整机国产 |
| 在线热成像设备 | 21 台 | 同上 | 整机国产 | 整机国产 |
| 操作系统 | 全部服务器与终端,我方提供许可 | 招标文件相应条款列举范围内选型,国内厂商产品 | 国产 | 国产 |
| 数据库管理系统 | 核心库及配套存储组件,我方提供许可 | 招标文件相应条款列举范围内选型,国内厂商产品 | 国产 | 国产 |
| 安全软件(商用密码服务平台) | 1 套,我方提供许可 | 国内厂商产品,具商用密码产品认证证书 | 国产 | 国产 |
| 平台软件(加工生产平台、运营服务管理平台) | 2 套,我方自研并交付 | 源代码与构建链由我方掌握,可独立编译、部署与版本演进 | 国产 | 国产 |
| 中间件 | 应用服务器、消息、缓存、检索,我方提供许可 | 国产化方案或可跨平台实现,按厂商归属判定 | 国产 | 国产 |
| 云平台 | 本项目按私有化部署建设,不采购云平台,无对应采购条目 | 该类在本项无采购条目;甲方既有云资源按同一套判定规则登记并验证适配,适配结论入《国产化适配测试报告》 | 无采购条目,不计入分母 | 无采购条目,不计入分母 |
| 通用服务器、存储与网络资源 | 按甲方资源配置,不在本项采购清单内 | 按同一规则登记并验证适配 | 登记项,不计入分母 | 登记项,不计入分母 |
| 合计 | 46 台硬件 + 本项交付的全部软件 | — | 不作为承诺口径(见上文理由) | **承诺 ≥80%**,达标条件 Hs ≤ 0.25 × Other |
表 8-3 国产化率核算表(来源:招标文件 2.3 项目目标、3.1.2.2.7、3.3.1 、第 6 章技术服务要求)。招标文件点名的数据库、安全软件、云平台、服务器、存储、网络、芯片七类,在表中逐类均有对应行:数据库对应数据库管理系统行;安全软件对应商用密码服务平台行;服务器、存储与网络分别对应服务器密码机、接入连接器与通用服务器、存储与网络资源三行;芯片与云平台各单列一行,前者随计算类整机计入、后者在本项无采购条目并按不计入分母处理,两类的结论均写在本表内。表中判定按上文四条依据作出,穿透档次限于计算芯片;感知设备按整机厂商归属判定,核心成像器件来源以原厂说明为凭,与硬件选型一节「在满足全部技术参数的前提下优先国产化」的选型口径一致。若甲方要求把穿透档次下延至成像与红外探测器件,感知设备须逐台另行举证,此时台套数口径的结果会大幅下移,而金额口径仍按上文达标条件判定——这是不采用台套数口径作为承诺口径的直接原因。穿透档次在需求确认阶段与分母边界一并书面确认。
核算结论在两个时点出具:合同签订后的《软硬件配置清单》中给出预计核算值,系统上线验收时按实际到货与部署情况出具《国产化率核算说明》。核算说明的附件固定为五项,与硬件选型、安全方案两节的证明材料同源、不重复采集:设备与软件条目清单(型号、数量、厂商与厂商归属地、含税金额);计算类设备的处理器与操作系统来源说明;信创适配认证与兼容性互认证明材料(四类基础环境每类不少于 3 份);《商用密码产品认证证书》;自研软件的著作权登记证明与底层技术平台自主可控说明。五项附件随核算说明一并提交,供甲方按分子分母逐条复核。
国产化适配存在三类可预见的风险,我方在方案中预置回退路径,而不是等问题出现再处置。
第一类是某一国产组件在本项目负载下的性能不达预期。回退路径为:先按参数调优与实现调整处置,仍不达标则在招标文件相应条款列举的范围内更换同类国产组件(方言适配层与存储抽象层的设计使更换成本可控),更换后重新执行适配用例与性能基线对比。
第二类是某一第三方组件无国产架构的可用版本。回退路径为:寻找功能等价的可跨平台实现或开源实现并自行编译适配;无等价实现时将该组件的功能下沉到适配层由我方实现,或将依赖该组件的功能部署在通用架构节点上并在国产化率核算中如实计入。
第三类是适配所需的兼容性互认证明材料不足。回退路径为:由我方组织实测并出具《适配测试报告》作为补充证明,同时向原厂申请互认测试;安全软件的互认证明材料按招标文件对该项的要求份数提供,具体安排在安全方案一节说明。
三类回退的触发条件与处置时限纳入项目风险登记册,按项目管理章节的风险管理流程跟踪。
国产化适配按四层分别作出结论,每层的判定对象、验证方式与证据不同,适配结论不以单一布尔值表述。
第一层是运行层:操作系统、数据库、中间件、运行时。这一层的适配结论是二值的——能装、能跑、能通过功能回归即为适配。验证方式是在目标环境上跑完整的功能回归集与性能基线集,出具适配报告。
第二层是依赖层:业务代码所依赖的第三方组件。这一层的风险最高,因为组件的国产化替代往往不是一对一的——某个组件在国产环境上没有对应版本,需要换用功能相近但接口不同的替代品,业务代码要改。本方案的处置是在设计阶段即完成依赖清单的国产化可得性核查,逐个组件标注「有原生支持 / 有替代品 / 需自行实现 / 暂无方案」四档,前两档直接采用,第三档评估工作量并排期,第四档上报并与招标方协商技术路线。这份清单在蓝图设计阶段提交,不留到实施期才发现。
第三层是性能层:同样的功能在国产环境上跑得动,但吞吐与延迟可能与参考环境有差异。本层的吞吐与延迟以目标环境的实测数据为准,交付方式是实测并说明:在目标环境上实测性能基线,与容量规划的假设对比,差异超过约定幅度时调整资源配置或优化实现,调整过程与结果写入适配报告。
第四层是生态层:驱动、工具链、运维工具、监控探针。这一层的问题通常不影响功能,但影响运维效率。处置是列出受影响的运维动作与替代办法,纳入运维手册。
验收按四层逐层核对:某一层存在差异的,只就该层出具遗留项与处置计划,不整体判为未适配;运行层通过的,也不据此推定其余三层已适配。《国产化适配测试报告》按四层出具,每层给判定结论、实测证据与遗留项。
非功能性要求的验证方法、交付物与验证时点汇总如下,供评审与验收逐条核对。验证时点分模块评审、上线验收、质保期复测三类,分别对应表 2-5 的评审闸门、系统整体验收与质保期内的季度或半年度复测。
| 要求要点 | 验证方法 | 交付物 | 验证时点 |
|---|---|---|---|
| 非功能性指标的整体符合性 | 按表 1-2 的招标值与承诺值、表 1-3 的测试负载、表 1-4 的步骤与判定逐项实测 | 《非功能性指标符合性说明》、性能与可靠性验收方案 | 上线验收 |
| 页面与文档中文化 | 界面逐屏走查、字符集与分词测试 | 表 2-1 所列各项记录 | 模块评审 |
| 第三方授权、无产权纠纷、不受起诉 | 组件台账核对、软件成分分析 | 《第三方组件授权台账》《知识产权无侵权担保函》 | 模块评审、上线验收 |
| 原厂正版授权书、售后服务承诺书 | 按表 2-4 的证据引用逐件核验授权主体、范围、数量与到期日 | 表 2-4 所列八类证据件 | 随投标文件、合同后 15 个工作日、上线前 |
| 上线前评审、整改不影响进度 | 评审闸门执行记录核对 | 评审结论、整改单与关闭记录 | 模块评审 |
| 开放性与二次开发能力、四类文档、免费技术指导 | 扩展点逐项实操验证、文档评审 | 《二次开发手册》《数据结构说明》《数据模型》《数据字典》、示例工程、培训记录 | 模块评审、上线验收 |
| 用户手册与在线帮助、问答、最佳实践、开发指南 | 文档清单核对、在线帮助逐屏抽查 | 表 3-3 所列各项 | 模块评审 |
| 跨平台迁移、版本升级、向后兼容 | 迁移演练、升级演练、契约测试报告 | 《迁移与升级手册》、契约测试报告 | 上线验收、每次升级 |
| 不允许低级安全漏洞 | 四道检测与渗透测试 | 安全测试报告、渗透测试报告、《安全缺陷台账》 | 模块评审、上线验收、质保期季度复扫 |
| SSL 协议、传输与存储保护 | 流量抓包核查、加密配置基线核查、密钥托管核查 | 《加密方案说明》与配置基线核查记录 | 上线验收 |
| 保密技术符合国家要求 | 按表 4-3 标准逐项符合性核对 | 《保密与合规符合性说明》;测评报告见安全方案 | 上线验收 |
| 可靠性与故障处理能力 | 故障注入演练、定位时长实测 | 《故障恢复与可靠性测试报告》、故障处置预案 | 上线验收、质保期半年度 |
| 容错机制、硬件故障与网络中断下快速恢复 | 按表 5-2 逐场景注入;按表 5-3 实测恢复点、恢复时间与切换回退;按表 5-4 验证重试一致性;按表 5-5 做备份恢复演练 | 同上、《备份与恢复演练记录》、切换记录 | 上线验收、质保期月度与季度 |
| 可靠性测试、压力与稳定性测试报告 | 按表 5-6 方法与判据执行;故障注入按表 5-7 逐项;长稳采样与判定按表 5-8 | 《压力测试报告》《稳定性测试报告》《容量测试报告》《故障恢复与可靠性测试报告》与原始采样数据 | 交付前 |
| 应用负载均衡与硬件故障冗余 | 实例摘除回挂演练、冗余部件拔除演练 | 高可用部署说明与演练记录 | 上线验收 |
| 单一模块故障不扩散 | 按表 5-9 六项场景注入并实测扩散上限 | 故障隔离验证记录 | 上线验收、质保期半年度 |
| 正版操作系统与数据库、支持最新稳定成熟版本、核心系统不用免费版数据库 | 许可文件核验、版本基线四条判定核对 | 原厂授权书、《版本基线说明》《软硬件配置清单》、表 6-1 | 上线验收 |
| 主流浏览器与多种终端 | 按表 6-2 矩阵逐项实机测试 | 《浏览器与终端兼容测试报告》 | 模块评审 |
| 本地化、私有云部署 | 离线部署演练 | 离线安装介质、《部署方案》《外部依赖清单》 | 上线验收 |
| 物理机、虚拟化等多种部署方式 | 按表 6-3 形态分别部署验证 | 《部署方案》与部署验证记录 | 上线验收 |
| 页面打开 ≤1 秒、报表生成 ≤3 秒 | 按表 1-1 五要素实测,报表按同步与异步分类实测 | 性能测试报告 | 模块评审、上线验收、质保期季度 |
| 升级易操作、不影响接口 | 升级演练、接口回归用例集、契约测试 | 《升级手册》、升级影响评估单、回归测试报告 | 每次升级 |
| 登录、简单与复杂页面操作响应时间 | 按表 7-1 分类、表 1-1 口径实测 | 性能测试报告、性能基线归档 | 模块评审、上线验收、质保期季度 |
| 国产化硬件设备(服务器、处理器、存储、网络、终端) | 按表 8-1 逐类适配验证,按表 8-2 逐组合验证 | 《国产化适配测试报告》《国产化率核算说明》及其五项附件 | 上线验收 |
| 国产化操作系统 | 适配用例、组合验证、兼容性互认证明核验(每类不少于 3 份) | 同上、兼容性互认证明材料 | 上线验收 |
| 国产化数据库 | 适配用例、性能基线对比、主备切换演练、按表 8-2 组合四验证方言适配层 | 同上、《国产化率核算说明》 | 上线验收 |
| 数据库、安全软件、云平台、服务器、存储、网络、芯片七类软硬件设备整体国产化比率不低于 80% | 按表 8-3 七类逐类核算,采购金额单一口径,达标条件 Hs ≤ 0.25 × Other;云平台一类本项无采购条目,按不计入分母登记并验证适配 | 《国产化率核算说明》及其五项附件、《软硬件配置清单》 | 合同签订后出具预计值、上线验收出具实测值 |
表 9-1 非功能性要求的验证方法与交付物汇总(来源:招标文件 3.1.2.2 全部单元、并列入与本部分一并核验的国产化比率条款)
质保期内的持续保障按三个节奏执行:月度做备份恢复验证与运行指标巡检;季度做性能复测、容量复盘、安全复扫与常见问题解答更新;半年度做故障注入演练与故障隔离复测。各项结果进入运行报告提交甲方,指标偏离承诺值时按表 1-1 的回退流程处置。
本包的交付物是四类高质量数据集及其质量证明:按供需计划、产品工艺设计、制造过程、产品质量四个业务领域,各自形成预训练、有监督指令微调、人类偏好对齐、基准评测四种用途子集,合计十六个用途子集,规模为预训练 615 亿 Token、指令微调 89 万条、偏好数据 6.6 万组、基准评测 0.95 万条;为其配套 9 类 25 个专项智能工具链、17 项功能模块的数据集运营服务管理平台(招标文件要求不少于 14 个功能模块,服务采购清单实列 16 项,我方另增「平台服务与 SLA 保障」1 项,合计 17 项)、不少于 25 份治理文档;并以依据《高质量数据集质量评测规范》(TC609-5-2025-04)出具的盖章评测报告与 11 个场景的验证结论证明其可用。这批成果不是一次产出,而是在合同签署至 2028 年 5 月的建设周期内分批形成、逐批放行的。
分批形成就要回答三个问题:先做什么后做什么,凭什么判断一个阶段可以结束,每个阶段结束时甲方手上应当拿到什么、据什么判断它合格。这三个问题的答案分别是实施路线、阶段关口与交付物验收判据。本部分给出贯穿全程的工作思路与这三者的统一口径;日历排期、工作分解、资源曲线与里程碑付款节点的管理办法在服务方案卷项目管理措施一节;各项成果的完整清单与数量在项目交付成果一节。
实施路线按下列六条作业原则编排。每条对应具体做法与可核查痕迹,并针对数据集加工中常见的一类失控。
其一,口径先行——先把口径定死,再动手作业。 本项目需要事先定死的口径有五类:业务对象的主键映射与时间基准、工序字典与部件层级、标注规范的标签集与判定规则、质量指标的定义与阈值、场景验证协议的题型与判分规则。每一类口径都安排一次正式评审并出具书面结论,结论发布之后才开工对应的作业。这条原则的分量来自返工的量纲:口径一旦在作业开工后修订,返工规模等于已完成的全部作业量,而不是出错的那一部分。备料的 28 道工序字典若在标注开工之后调整分段方式,此前完成的工艺类标注须逐条回看;63 万张历史工艺样本的时间基准若在关联之后改口径,跨系统关联结果要整体重算。甲方口径确认逾期时,我方不停工等待,也不先标后改,而是按我方建议口径先行并把该批数据标注为待确认状态,确认后批量复核——待确认状态的批次在版本检查节点之前必须转为已确认,不会流入交付版本。
其二,门控前置——检查放在缺陷产生的那一道,不放在交付之前。 招标文件把质检定为训练前门控、把验证定为训练后终验。我方在此基础上把检查拆到加工链的七个位置:入口、预处理、口径、终审、标注、合成增强、版本。缺陷的修复成本随它在链路上走过的环节数递增,这是把检查前移的全部理由。一条授权不完整的样本在入口被拦下,处置的是这一条;同一条流到版本封装才被发现,要回溯的是整个批次的血缘、已经引用它的知识条目,以及据此训练出的模型版本。七道节点的判定规则与质量评测的指标定义取自同一套指标体系,不另立一套内部标准,这样内部放行与外部评测不会出现两种结论。
其三,以批次为推进单位。 批次是进度、质量与责任三者共用的粒度。进度不以「完成百分之多少」上报,而以「第几批通过了第几道节点」上报,理由是前者由执行人自报、无法核查,后者有节点记录可查。批次粒度还决定了返工的局部性:某一批次质检不通过,退回的是这一批次,同一数据集版本内的其他批次不受影响,不必整版重做。批次台账登记领域、用途子集、计量单位、状态、来源时间、模态与去重结果,规模统计直接由台账的对象明细生成,分项与合计、增量与存量、合格与剔除之间的关系在生成时即校验。
其四,共享底座、不重复建设。 招标文件对此有明文:四类数据集在同一生产逻辑上各走专属路径,共享底座能力与门控规则,避免重复建设。落到做法上,知识本体、九业务域知识库、标签体系、质量规则库、评测指标体系都只建一套,四类数据集按用途引用其中的不同部分。最典型的一处是指标体系一套两用:依 TC609-5-2025-04 建立的说明文档、数据质量、模型应用三维度指标,既是外部质量评测的打分表,也是加工链上数据集质检的门控规则库。两处引用同一套定义,省下的不只是编制工作量,更重要的是内部质检结论与外部评测结论可以直接对账。
其五,证据随作业产生,不在验收前补。 血缘、质检记录、评测日志、审批留痕都在作业发生的同时写入,时间戳与作业时间戳一致。这条原则在贯标工作上的分量最重:DCMM 三级与二级的差别不在文档厚度,而在能否证明「不是写了一套、做了另一套」,评估师的典型取证动作是随机抽一个业务域、抽一个时间段,调出该时段内这一过程的全部执行记录,核对责任人、时点与结论是否与制度一致。补记的材料在这种核对下对不上时间。同样的道理适用于质量评测:检测日志、实验记录与复核材料是评测结论可追溯、实验可复现的唯一依据,事后整理的记录无法支撑复现。
其六,回流定向,不全量重做。 血缘追溯驱动定向回流,构成有向无环的生产逻辑。回流分三类,去向各不相同:质检不通过的,按不通过项定位到具体环节与算子,退回预处理或标注重做后重新质检;验证不通过的,按错样归因结果区分脏数据、覆盖盲区、歧义标注、难度缺口四类成因,分别退回质检、采集、标注、合成;场景验证未达判据的,形成结构化整改任务单进入下一期加工计划,若属数据不足则先补采集。三类回流都要求归因落到唯一的环节,跨环节的连锁失败按最上游的那一处归因,避免同一缺陷被重复计数、也避免以放宽判据的方式通过。
六条原则各自留下的痕迹不同,核查的方式也不同。下表把原则、做法、痕迹与放弃该条的后果并列,用途是在阶段检查与过程审计时据以逐条核对:看某一条原则有没有真的在执行,查的是「痕迹」一列列出的那些对象是否存在、是否与作业时间一致,而不是问执行人是否遵守。
表 1 六条作业原则、落地做法与可核查的痕迹
| 原则 | 落地做法 | 可核查的痕迹 | 放弃该条的后果 |
|---|---|---|---|
| 口径先行 | 五类口径各设一次正式评审并出具书面结论;结论发布后开工对应作业;逾期未确认的按建议口径先行并标为待确认 | 口径评审纪要与书面结论、口径版本号与生效日期、待确认批次清单及其转正记录 | 返工量等于已完成作业量,而非出错部分 |
| 门控前置 | 七道质量检查节点分布在加工链上;判定规则取自统一指标体系;质检为训练前门控、验证为训练后终验 | 各节点的判定记录、不通过项清单、节点阈值配置版本 | 缺陷在版本封装时才暴露,回溯范围扩大到批次血缘与已训练模型 |
| 以批次为推进单位 | 进度以批次过节点计;批次台账登记领域、用途、状态、来源时间、模态与去重结果 | 批次台账、节点通过记录、规模统计的对象明细与执行版本 | 进度口径不可核查,返工范围无法局部化 |
| 共享底座、不重复建设 | 本体、知识库、标签体系、质量规则库、指标体系各建一套;四类数据集按用途引用 | 本体与知识库版本、标签集发布记录、指标定义引用关系表 | 内部质检与外部评测出现两套口径,结论无法对账 |
| 证据随作业产生 | 血缘、质检、评测、审批记录在作业发生时写入;时间戳与作业一致 | 带时间戳的执行日志、稽核台账、审批流水、血缘登记 | 贯标抽样与评测复现均无证据支撑 |
| 回流定向 | 三类回流各有去向;归因落到唯一环节;连锁失败按最上游归因 | 整改任务单及其指向的环节与算子、复测记录、错因分类统计 | 整改沦为全量重做,或以放宽判据的方式通过 |
表 1 数据来源:门控与回流的设定依招标文件 3.2.6 实施服务要求总则;指标体系依《高质量数据集质量评测规范》(TC609-5-2025-04);贯标取证口径依 GB/T 36073—2018 对三级的要求。
上述原则落到排期上,形成三条不可让步的进度约束如下。
第一条,知识底座不就绪不开标注。本体类目、工序字典与部件层级未通过口径检查节点之前,标注作业即便开工也会返工。排期上的后果是:准备期必须为本体建设、术语与编码核验、专业评审留出完整周期,这段时间不能靠增加标注人力来压缩。
第二条,首批不通过不转全面加工。首批加工的作用是把十个环节的流程跑通、把各环节的参数标定下来、把口径问题暴露出来;跳过首批直接放量,等于把口径问题放大到四类数据集的规模。排期上的后果是:试产批次必须单列一段工期,并为首批的整改与重新送审留出余量。
第三条,评测与整改复测的时长不可压缩。首轮全量评测之后要逐项立单整改、再行复测,复测重新抽样而不复用首轮样本。等级保护测评、商用密码应用安全性评估与贯标评估还受第三方机构档期约束。排期上的后果是:机构对接与预评估要在全面加工阶段的中段即启动,把正式评测排在整改期之前,留出至少一轮复测的余量;压缩这一段会直接损害结论的可靠性,而结论是本包的交付物之一。
这三条约束与下文五个阶段的划分互为因果:阶段的边界就划在这三处,关口的通过条件也据此设定。
建设周期为合同正式签署后至 2028 年 5 月,交付时间为 2028 年 5 月前完成终验收。我方以合同正式签署日为时间零点,全部实施安排按相对时序表达,合同签署后一次折算为日历计划并发布基准版本;折算办法、工作分解、关键路径与资源安排在服务方案卷项目管理措施一节。采用相对时序的理由是签约时点由签约程序决定,而 2028 年 5 月这一终点不随签约时点移动,两者之间的工期必须在签约当日即可重新折算,不必整体重排。
验收形态对实施路线有直接约束。招标文件规定本项目采用二次验收模式,即竣工验收与最终验收:项目实施完毕由我方提出申请、经招标方讨论通过后进行竣工验收;系统试运行一段时间并调试至稳定,且满足招标文件、投标文件、技术协议、合同、蓝图设计方案等要求后,由我方提出申请,招标方进行总体成果评估,评估通过后组织最终验收;最终验收在竣工验收的基础上,侧重实施效果与运行、维护质量的评价。合同另约定系统所有功能上线试运行无问题后方可申请终验收。这三句话决定了实施路线末段的形状:竣工验收之前要把建设内容建成并通过数据集首轮评测与整改复测,竣工验收之后还须留出一段真实运行期供试运行与稳定性观察,终验收不是竣工验收的顺延。
质保期为 12 个月,自甲方终验收合格之日起计算。质保期单独成段,自有节奏与判据,内容见第 6 节。
招标文件把本项目划分为基础设施及数据资源建设、数据集加工生产运营平台建设、数据集加工生产实施、数据集场景验证、数据集运营推广五项建设内容,并写明各项建设内容协同推进、在时间上相互衔接、任务上互为支撑。这五项是按建设内容划分的,不是按时间先后排列的工序,两者不能混为一谈:若把它们当作五段依次推进,数据集加工生产实施要等平台建设全部完成才能开工,场景验证又要等加工生产全部完成才能开工,总工期排不进建设周期。
实际的对应关系是多对多。基础设施及数据资源建设集中在第一、二阶段,但源系统的分批开通与设备侧采集范围的扩展延续到第三阶段。运营平台建设跨第一至第四阶段:公共层与基础功能在第一阶段上线,17 项功能模块在第三阶段开发与集成,第四阶段上线试用。加工生产实施从第二阶段的首批试产起,贯穿到第四阶段的整改回流。场景验证从第二阶段的基准构建起步,主体落在第三、四阶段。运营推广集中在第五阶段,但其所依赖的登记、确权与挂牌能力在第三阶段即随平台模块建成。
五项建设内容回答「做哪几件事」,五个阶段回答「什么时候做到什么程度」,两套划分各有用途、不互相替代。关口与判据按阶段设定,用以判定能否进入下一阶段。
据此划分五个实施阶段。划分的依据是交付物成形的先后,而不是工种的先后——按工种串行排期排不进建设周期,按交付物成形排期才能让治理、加工、平台、评测、验证五路工作并行推进而各有出口。
第一阶段准备与底座,目标是把后续全部作业所依赖的口径与底座立起来:需求细化与蓝图确认、源系统授权与接口开通、对象主键映射与时间基准统一、知识本体类目与关系定义、数据标准首轮发布、为招标方建设的天地奔牛煤机装备数据智能平台(以下简称奔牛数据智能平台)的基础功能与工具链公共层上线。第二阶段首批加工与首轮验证,目标是把十个加工环节的流程在真实数据上跑通一遍并标定参数,产出首批冻结的数据集版本与首轮质检、验证报告。第三阶段全面加工与场景验证,目标是四类数据集并行放量、25 个工具链分波次投产、11 个场景分批验证、治理九大能力域落地。第四阶段外部评测与整改复测,目标是取得合格的质量证明:首轮全量评测、缺陷逐项立单整改、复测,同期完成等级保护测评、商用密码应用安全性评估与贯标评估。第五阶段运营上线与移交,目标是让数据集进入可对外服务的状态并完成移交:版本登记与目录上线、确权挂牌与交易通道启用、接入国家数据基础设施的准备、成果移交与培训。
相邻阶段允许重叠:蓝图设计在需求调研后半段启动;首批加工在工具链公共层交付后开始;场景验证在首批数据集通过预评测后启动。重叠期内下游仅做不依赖未定口径的部分,可开工范围在例行计划会上逐项确认。图 1 给出五阶段、六作业线与五道关口的时间关系。
1 五个实施阶段、六条作业线与五道关口
图 1 五个实施阶段、六条作业线与五道关口。数据来源:阶段划分依本方案技术方案总论的实施安排;建设周期与终点依招标文件;二次验收形态依招标文件相应条款;质保期依相应条款。横轴不标注绝对月份,日历排期在合同签署后一次折算。
阶段是按工作推进划分的,交付期是按成果交到招标方手上的时点划分的,两套划分指向同一条时间轴,不是两套计划。交付期按四期组织,时点分别为合同生效起 3 个月内、至第 9 个月、至第 18 个月、至 2028 年 5 月,各期的累计达成下限、应交交付物与进入下一期的通过条件在项目交付成果一节逐期给出。实施路线上的阶段与关口按下表落到这四个时点上,排期、核对与验收都以这一组时点为准。
表 2 五个实施阶段与四个交付期的对应
| 交付期与时点 | 落在该期内的实施阶段 | 该期末要过的关口 |
|---|---|---|
| 第一期 口径与基线(合同生效起 3 个月内) | 阶段一准备与底座;阶段二首批加工在本期末启动 | 底座关 |
| 第二期 主体加工(至第 9 个月) | 阶段二首批加工与首轮验证;阶段三全面加工在本期内转入放量 | 首批关 |
| 第三期 补齐与均衡(至第 18 个月) | 阶段三全面加工与场景验证;阶段四外部评测在本期末启动 | 规模与版本关 |
| 第四期 达成与复测(至 2028 年 5 月) | 阶段四外部评测与整改复测;阶段五运营上线与移交 | 整改关、验收关 |
表 2 数据来源:四个交付期的时点与各期通过条件依项目交付成果一节的分期交付安排;阶段划分依本卷技术方案总论的实施安排;建设周期终点依招标文件。
五路工作并行,难点不在各自怎么做——各节已分别写明——而在它们彼此之间的时序依赖:治理的标准什么时候发文,决定标注什么时候能开工;工具链第一波次什么时候交付,决定首批加工什么时候能开始;首批数据集什么时候冻结,决定场景验证的基准什么时候能构建。下表把六条作业线逐阶段摊开,每一格写该线在该阶段的主要动作与它交出的东西,读法是横着读看一条线如何推进、竖着读看同一时段有哪些工作在抢同一批资源与同一批口径。
表 3 六条作业线在五个阶段上的落点
| 作业线 | 一 准备与底座 | 二 首批加工与首轮验证 | 三 全面加工与场景验证 | 四 外部评测与整改复测 | 五 运营上线与移交 |
|---|---|---|---|---|---|
| 数据治理与贯标 | 九域四维现状调查与资产盘点;差距分析;第一批制度与标准起草送审 | 第一批制度与标准发文生效;治理平台上线,审批流与稽核规则启用 | 九项治理内容在九个业务域按批次落地;决策数据指标体系构建;执行记录持续积累 | 内部审核抽样核对记录与制度一致性;发现项整改闭环;自评报告出具 | 评审证据包整理;配合甲方向认定机构申报并应答问询 |
| 数据加工生产 | 源系统授权与接口开通;主键映射与时间基准统一;本体类目与关系定义;知识库首批条目终审 | 产品工艺设计数据集首批加工;标注规范发布与标注队伍培训考核;十环节流程跑通并标定参数 | 四类数据集十六个用途子集并行放量;分批冻结版本;血缘与数据卡随版本生成 | 按评测与验证的整改任务单定向回流;补采、重标、重合成后重新质检 | 正式版本封装与接收核验;移交运营服务管理平台并完成登记 |
| 工具链与平台 | 工具链公共接口层与平台基础功能上线;硬件到货安装与国密联调 | 第一波次工具交付:文档结构解析、智能预标注、一致性校验,直接支撑首批加工 | 第二、三波次工具投产,9 类 25 个工具逐一完成实测验收;运营服务管理平台 17 项功能模块开发与集成 | 平台上线试用;接口与权限的异常流程测试;缺陷闭环 | 目录与检索上线;确权、挂牌与交易通道启用;国家数据基础设施接入准备 |
| 数据集质量评测 | 数据集台账、业务规则与涉密边界清单;离线评测环境部署与隔离实测;抽样策略制定 | 指标打分表搭建;静态与动态一体化执行方案编制;缺陷分级与合格标准确定 | 按批次开展预评测,暴露结构性问题并反馈加工侧;标定样本集建立与工具校准 | 首轮全量评测:静态检测与基准模型动态验证并行;缺陷分级立单;整改后重新抽样复测 | 分项与综合评分汇总;正式盖章评测报告与完整质量档案交付 |
| 场景验证(11 个) | 场景接入条件与责任边界核定;验证所需数据、知识与接口清单提出 | 基准分册构建:题面与标准答案取自真实业务,经业务专家终审后冻结 | 评测协议冻结;六个专业场景与五个通用场景分批执行,四层并行观测 | 错样归因到唯一观测点;整改任务单下发加工侧;按错因类别整批复测 | 各场景可用性结论与未结项清单归档;结论随数据集版本封存 |
| 安全与非功能验证 | 安全基线与密码应用方案确定;国产化适配路线与核算口径确定 | 功能上线前评审闸门启用;界面与文档中文化、浏览器与终端兼容走查 | 性能、压力、稳定性与容量测试;故障注入与隔离演练;渗透测试与漏洞闭环 | 等级保护测评与商用密码应用安全性评估;问题整改与复核;国产化率实测核算 | 上线验收实测;非功能指标符合性说明与各项报告交付 |
表 3 数据来源:治理线依本卷数据治理规划和实施服务一节的四段路径与七个执行阶段;加工线依招标文件 3.2.6 实施服务要求与本卷数据集加工生产各节;工具链与平台线依服务采购清单与本卷相应各节;评测线依招标文件 3.2.8.2.4 实施过程五阶段(及以下);场景验证线依招标文件相应条款的 11 个场景与本卷场景验证各节;安全与非功能线依招标文件 3.1.2.2 与 3.2.6.12。
表 3 竖读可见三处资源与口径交汇,排期安排如下。
第一处在第二阶段:治理线的第一批标准发文与加工线的标注开工落在同一时段,而标注用的标签必须取自已发布的参考数据码表与数据元标准,两者之间是硬依赖而非并列关系。排期上的安排是把第一批标准的送审时点压在首批加工开工之前,并为发文程序留出余量;发文确有延期的,先以项目联合工作组决议作为临时依据并登记在案,发文后追认,不以未发布的草案开工。
第二处在第三阶段:工具链二三波次投产、四类数据集放量、11 个场景分批验证三件事同时进行,对工艺、焊接、热处理、设备诊断等专业人员的占用在此叠加。排期上的安排是把专业人员的三类用途——标注仲裁、规范评审、场景基准出题与终审——提前排进同一张档期表,按场景的验证批次倒排出题时点,避免同一批专家在同一周被三条线同时约用。
第三处在第四阶段:首轮全量评测、等级保护测评、商用密码应用安全性评估与贯标评估四项外部活动集中在同一段时间,四者都依赖第三方机构的档期,且都要求被检对象在受检期间处于稳定状态——评测期间继续向数据集写入新批次,会使检测结果与送检版本对不上。排期上的安排是把机构对接与预评估提前到第三阶段中段,把正式评测排在整改期之前,并在各项受检期间对相应对象设置变更冻结窗口,窗口内的变更申请统一排到窗口之后执行。
本项目的推进有三层把关,三层各有主体与效力,不能互相替代。
最里一层是各节自设的检查点,判的是单批、单件、单项是否合格,由承办岗位与质量岗判定,不通过的就地回流,不惊动阶段推进。中间一层是本节的阶段关口,判的是一个阶段能否结束,由评审组判定、需要双方代表同时在场,不通过的阶段不往下走。最外一层是合同约定的验收,本项目采用竣工验收与最终验收的二次验收模式,由招标方组织,是取得阶段性与总体成果认可的法定程序。
三层之间是逐级汇总关系:检查点的结论汇成关口的判据,关口的结论汇成里程碑的达成依据,里程碑再支撑验收的申请。项目管理层面设六个一级里程碑,其达成需甲方签认,不由我方自行宣布,其设置与付款节点的对应在服务方案卷项目管理措施一节。本节的五道关口与里程碑的对应关系见下表,读法是:关口是技术上的放行条件,里程碑是管理上的确认事件,前者达成才有后者的签认依据。
表 4 五道技术关口与管理里程碑、合同验收的对应
| 技术关口 | 对应的管理里程碑 | 对应的合同验收环节 | 两者的差别 |
|---|---|---|---|
| 一 底座关 | 需求基线与设计基线的确立 | — | 关口判的是本体、口径与授权是否足以支撑开工;里程碑确认的是需求与设计文件经签认 |
| 二 首批关 | 设计基线确立之后的首个交付确认 | — | 关口判的是流程是否跑通、参数是否标定;里程碑确认的是首批成果已提交 |
| 三 规模与版本关 | 联调测试通过 | — | 关口判的是当期数据集版本能否送检;里程碑确认的是平台与工具链具备可用状态 |
| 四 整改关 | 竣工验收 | 竣工验收(项目实施完毕,我方申请、招标方讨论通过) | 关口判的是评测与验证结论是否达标、缺陷是否闭环;验收确认的是阶段性工作的总结 |
| 五 验收关 | 最终验收 | 最终验收(系统试运行稳定、总体成果评估通过后组织) | 关口判的是移交条件是否齐备;验收侧重实施效果与运行、维护质量的评价 |
表 4 数据来源:二次验收模式与两次验收的触发条件依招标文件;终验申请条件依招标文件相应条款;里程碑设置依服务方案卷项目管理措施一节的里程碑安排。
三层分别处理不同性质问题:批次级指标不达标在检查点内整改;阶段级普遍性缺陷在关口拦住并整体补齐;建设内容是否建成、实施效果是否达标由招标方在验收判定。不得将三类问题混在同一场合讨论。
阶段衔接以关口条件达成为准,不以日历到点为准。关口按阶段设置:前期口径或抽样策略错误会导致后期检测或标注整体不可用,故须在各关口完成确认后再进入下一阶段。
关口条件的写法遵循三条。第一,条件必须可逐条核对,写成「某项清单齐备」「某项记录覆盖不少于两个考核周期」「某项指标达到约定判据」这类能够当场比对的句子,不写「质量良好」「基本具备条件」这类需要再解释一次的判断。第二,每一道关口的判定主体唯一;需要双方共同判定的,双方代表须同时在场,任一方缺席的判定不成立,结论书面留档。第三,关口条件与关口交付物配对使用——交付物是证据,条件是判据,证据齐备且满足判据方才放行,二者缺一不成立。
表 5 给出五道关口。读法是先看「通过条件」一列判断能不能过,再看「应到场的证据」一列核对据以判断的材料在不在,最后看「不通过的处置」一列确认下一步往哪里走。这三列合起来回答的是同一个问题:这一阶段算不算完。
表 5 五道阶段关口的通过条件、证据与不通过的处置
| 关口 | 位置 | 通过条件 | 判定主体 | 应到场的证据 | 不通过的处置 |
|---|---|---|---|---|---|
| 一 底座关 | 准备与底座 → 首批加工 | 首批加工所需的数据源授权齐备且可取回样本;本体首版与工序字典通过口径检查节点;对象主键映射表与时间基准折算规则发版且可被各层调用;第一批数据标准与分类分级结论发布并生效 | 口径评审组(双方共同判定) | 源系统授权与接口开通清单、本体首版与评审纪要、主键映射表、时间基准折算规则、数据标准首批发文件 | 未开通的源系统启用离线导出过渡通道,所涉对象在数据卡登记为过渡来源;本体未过门的,相关批次暂不进标注,不以推定口径开工 |
| 二 首批关 | 首批加工 → 全面加工 | 首批冻结版本通过版本检查节点;十个加工环节的参数完成标定并写入作业规程;标注员间一致率达到约定下限;首轮质检与验证报告出具且结论指向明确 | 版本评审组(双方共同判定) | 首批冻结数据集版本及数据卡、质检报告、血缘清单、参数标定结论、一致率统计与仲裁记录 | 按归因定向回流整改后重新送审,放量计划相应顺延;不以降低门控阈值的方式放行首批 |
| 三 规模与版本关 | 全面加工 → 外部评测 | 当期承诺量达成且四个业务领域、四类用途子集逐格达标;数据卡字段齐备并与版本一致;血缘可追溯到源对象、规则与工具版本;送检批次清单与实际封装内容一致 | 版本评审组,评测组复核 | 按期冻结的版本及数据卡、规模统计的对象明细与计量规则版本、血缘清单、送检批次清单 | 当期未达量的在后续期补足并登记未达原因与补足计划;数据卡不齐备的退回补齐,不先送检后补 |
| 四 整改关 | 评测与验证 → 运营上线 | 高风险缺陷按招标文件要求全量检测并逐条关闭,未关闭即不予放行;中低风险缺陷整改任务逐条闭环;三个维度得分均达最低合格标准且综合总分不低于 85 分;复测重新抽样且原错例不再复现;11 个场景的可用性结论出具,未结项有责任人与期限 | 评测组与场景验证组,甲方会签 | 盖章评测报告、缺陷清单与整改台账、复测报告与抽样清单、场景验证报告与整改任务单、未结项登记表 | 复测未通过的继续立单,不进入移交;归因不明确的转专家库裁定,裁定后仍不明确的转入观察清单并在下一轮复验 |
| 五 验收关 | 上线试运行 → 最终验收与移交 | 建设内容建成并通过竣工验收;系统所有功能上线试运行无问题;数据集版本完成登记与挂牌,目录可检索、交付通道可用;非功能指标按承诺值实测达标;移交清单、培训记录与全过程资料齐备 | 招标方组织总体成果评估 | 竣工验收报告、试运行记录、登记与挂牌记录、非功能指标符合性说明与各项测试报告、移交清单、培训与考核记录、质量档案 | 继续完善直至验收合格;验收过程中双方存在分歧的,按合同约定友好协商解决 |
表 5 数据来源:关口位置依表 3 的阶段划分;底座与首批两关的判据依招标文件 3.2.6 总则的门控要求;整改关的判据依 3.2.8.2.4 第四、五阶段(及以下)与综合总分要求;验收关的判据依二次验收模式与终验申请条件。表中「全量检测」「逐条关闭」为招标文件对高风险缺陷的原文要求,我方以全量检测、台账逐条关闭、未关闭即阻断放行、人工审核兜底四项措施承接,并保留应急通道作为回退。
本卷各节分别设有自己的检查点:加工链上有七道质量检查节点,治理贯标有七个阶段的通过条件,标注规范分册有三道评审与培训准入,工具链按波次实测验收,质量评测有五道阶段关口,场景验证有五个把关点,非功能要求有三类验证时点。这些检查点各自成立,但若不说明它们与项目阶段的关系,阶段推进时就会出现两种结果:要么某一道检查在阶段关口上被遗漏,要么同一件事在两处被判两次而结论不一。下表给出对应关系,每一行回答两个问题——这一组检查点汇入哪一道总关口,以及它在总关口上以什么形式出现。
表 6 各节既有检查点与五道总关口的对应
| 各节既有的检查点 | 所属作业线 | 该节的判据要点 | 汇入的总关口 | 在总关口上的呈现形式 |
|---|---|---|---|---|
| 加工链七道质量检查节点(入口、预处理、口径、终审、标注、合成增强、版本) | 数据加工生产 | 各节点按统一指标体系判定,不通过项定位到环节与算子 | 口径节点汇入底座关;预处理、终审、标注三节点汇入首批关;合成增强与版本两节点汇入规模与版本关;入口节点贯穿各关 | 以节点通过记录与不通过项清单的形式呈现,作为版本可否送检的前置 |
| 贯标七个阶段的通过条件(现状调查、差距分析、制度发布、实际运行、内部审核、改进、正式评价) | 数据治理与贯标 | 过程域取证不少于两条独立证据;执行记录覆盖不少于两个考核周期;发现项全部有责任人与整改时限 | 前两阶段汇入底座关;制度发布汇入首批关;实际运行汇入规模与版本关;内部审核与改进汇入整改关;正式评价汇入验收关 | 以诊断报告、发文件与生效日期、运行记录抽样结论、内审发现项闭环率的形式呈现 |
| 标注规范十份分册的三道评审与培训准入 | 数据治理与贯标 | 三道评审依次通过不跳道;标注员试标一致率达准入门限方可上岗 | 通用分册汇入首批关;模态分册按加工批次顺序汇入规模与版本关 | 以分册发布版本与生效日期、培训考核记录的形式呈现,作为该模态标注可否开工的前置 |
| 9 类 25 个工具的分波次实测验收 | 工具链与平台 | 逐工具验证所需功能,检查任务创建、查询、结果、重试、导出、回调等接口与权限、异常、版本和追溯;以可运行实例的实测结果为准 | 第一波次汇入首批关;第二、三波次汇入规模与版本关 | 以逐工具的实测记录与验收结论的形式呈现 |
| 运营服务管理平台 17 项功能模块的上线前评审闸门 | 工具链与平台 | 功能上线前评审通过,整改单关闭 | 模块评审汇入规模与版本关;平台整体上线试用汇入验收关 | 以评审结论、整改单与关闭记录的形式呈现 |
| 质量评测五阶段的五道关口 | 数据集质量评测 | 准备经甲方确认、方案经审核、无指标漏检、高危清零、整体验收硬性标准 | 关口一、二汇入规模与版本关;关口三、四汇入整改关;关口五汇入验收关 | 以阶段产出物与关口条件配对核对的形式呈现 |
| 场景验证五阶段的把关点(基准终审、协议冻结、判分复核、归因确认、闭环签署) | 场景验证 | 基准题取自真实业务且不含合成数据;协议冻结后本轮不改;每个错样只归一个观测点 | 基准终审与协议冻结汇入规模与版本关;判分复核、归因确认、闭环签署汇入整改关 | 以基准分册冻结版本、评测协议版本、归因结论与闭环签署记录的形式呈现 |
| 非功能要求的三类验证时点(模块评审、上线验收、质保期复测) | 安全与非功能验证 | 按承诺值逐项实测,偏离承诺值按既定回退流程处置 | 模块评审汇入首批关与规模与版本关;上线验收汇入验收关;质保期复测在质保期内按节奏执行 | 以各项测试报告与符合性说明的形式呈现 |
表 6 数据来源:各节判据取自本卷与服务方案卷相应各节的原文口径;七道质量检查节点的设置依本卷技术方案总论;评测五阶段关口依招标文件;场景验证把关点依 3.2.6.3.9 与 3.2.3.10.1。
阶段检查会按表 6「汇入」列逐组点名核对:各节检查点是否已出结论、是否通过、不通过项去向是否已定。各节只判定一次,总关口做汇总与放行,不重复判定。
关口不通过有三条处置原则。
第一条,不以降低阈值的方式放行。门控阈值、合格标准与指标判据一经确认即在本轮内固定,遇到不达标先走整改,整改确实不可行的走正式变更程序并说明影响,不在执行中悄悄调低。中途放宽的判据在验收时仍会被按原值核对。
第二条,关口不过不进,但下游可以做不依赖该关口结论的部分。整体停工等待的代价往往大于局部返工。做法是在关口未过时划出「不依赖该结论」的工作范围,在例行计划会上逐项确认后开工;划不出来的,如实延后并登记影响天数。
第三条,有条件通过只在明确界定的范围内适用,且必须带着未结项进入下一关口。某一项主要指标达到下限值但未达目标值时,可判有条件通过,但须同时登记差距、可用与不可用的范围、未结项、责任组与期限,并在下一道关口上重新核对其闭环情况。有条件通过不等同于验收通过,缺口在报告中明列,不以静默缩小范围的方式达成指标。涉及越权放行、引用不实、以已废止内容作为执行依据这三类情形的,不设有条件通过一档,出现即判不通过,整改后重测——这三者的后果不随比例递减。
下图把判据的来源与不通过时的去向画在一起:左侧是各节检查点,中部是总关口的汇总与放行,右侧是三类定向回流的去向。
2 关口判据的来源、放行与不通过的回流去向
图 2 关口判据的来源、放行与不通过的回流去向。数据来源:三类定向回流依招标文件 3.2.6 总则;有条件通过的登记要求依本卷场景验证各节的三级判据设置;处置原则依表 5 各关口的不通过处置栏。
关口判定按清单核对,不以会议表态代替。核对输入为表 3 本阶段动作、表 6 汇入检查点结论、表 5 通过条件与应到场证据;按作业线逐组点名后对照通过条件勾选。
核对结论仅三种:通过,进入下一阶段并书面留档;不通过,阶段不结束,同时划出不依赖该关口结论的下游可开工范围;有条件通过,按第 4.4 节登记差距、适用范围、未结项、责任组与期限,并在下一道关口复核闭环。三种结论均须写明判定日期、在场双方代表与所依据证据清单;缺任一项则判定不成立。
核对会的召集、频次与会议记录格式纳入项目例会体系,在服务方案卷项目管理措施一节统一规定,此处不另设会议制度。关口核对会与阶段计划评审会分开召开且先后次序固定:前者未得出通过或有条件通过结论前,后者不发布阶段计划。
关口判的是阶段能否结束,交付物判的是单件成果能否被接收,两者是不同的判断。一批数据集版本可以在规模上达标而数据卡字段不全,一份评测报告可以结论齐备而原始记录不可复现——这类情形在阶段关口上容易被放过,因为关口看的是清单齐不齐,而不是每一件的内容立不立得住。各项成果的完整清单、数量、分期交付时点与各期的通过条件在项目交付成果一节逐件给出;此处给出的是接收任何一件成果时共同适用的判据,以及同一类成果多次提交时的版本口径。
无论哪一类成果,接收时都核三件事。其一可复算:成果中出现的每一个数字,都能由随附的明细与规则版本重新算一遍得到同一结果,算不出来的数字不接收。其二可对账:成果内部各项之间、成果与台账之间、成果与上一版本之间的关系能够逐项对上,分项与合计、增量与存量、合格与剔除三组关系在接收时即校验。其三可追溯:成果中的每一条记录都能指回它的来源对象、处理规则与执行版本,指不回去的记录按未完成处理,不计入合格量。
这三条看似抽象,落到每一类成果上核的是具体对象。下表按成果类别把三条判据各自要核的东西写明,用途是接收时照着核,不必每次重新商量「算不算合格」。表的读法是横着读:一类成果的三格都核得通,这一件才算接收;任一格核不通的,按该类成果在项目交付成果一节约定的退回口径处理。
表 7 三条共同判据在各类成果上的具体核法
| 成果类别 | 可复算:核什么 | 可对账:核什么 | 可追溯:核什么 |
|---|---|---|---|
| 数据集正式版本 | 按对象明细与计量规则版本重算 Token 数、条数、组数与各项占比,结果与数据卡所载一致 | 分项与合计、增量与存量、合格与剔除三组关系;封装清单与实际内容;数据卡字段与版本内容 | 每个样本可指回源对象标识、处理算子与参数版本、批次与执行实例 |
| 质检报告与血缘清单 | 各节点的通过率与不通过项计数可由节点判定记录重算 | 报告中的批次与台账登记的批次一一对应;不通过项计数与整改台账条数相符 | 血缘链条从样本到源记录主键或事件标识不断链,中间产物逐跳可查 |
| 质量评测报告与质量档案 | 分项得分与综合总分可由指标打分表与原始检测记录重算 | 复测结论对应重新抽取的样本清单;缺陷清单条数与整改台账关闭条数相符 | 每项结论可指回受检版本、检测方法、工具校准记录与复核人 |
| 场景验证报告与整改任务单 | 各项指标可由判分明细与抽样清单重算;同协议重跑机器判分部分结果一致 | 任务单条数与归因明细条数、复测记录条数相符 | 结论绑定基准分册版本、评测协议版本、模型与知识库版本 |
| 治理文档 | 份数与引用关系表所列一致,拆分合并有逐项对应 | 文档条款与治理平台的流程配置、稽核规则逐项对应 | 每份文件可查到送审稿、评审意见处理表、发文件与生效日期 |
| 工具链与平台交付件 | 实测结果可按同一组用例重跑得到同一结论 | 文档描述的接口与实例实测行为一致;平台的登记内容、权限、订单与审计记录相互对账 | 每次验收可指回被验的实例版本、部署环境与用例集版本 |
| 安全与非功能测试报告 | 报告中的指标值可由原始采样数据重算 | 测试环境配置与上线环境配置的差异逐项列明 | 每项实测可指回执行时间、负载配置、采集点与执行人 |
| 移交与培训资料 | 移交数量与交接清单、资产台账三处一致 | 移交清单与实际交付内容逐项核对;培训记录与考核结果对应到人 | 每项移交可查到点验记录、接收结果与接收时间 |
表 7 数据来源:三条判据依招标文件 3.2.6.3 对规模统计可复现、逐项对账与追溯关系的要求;血缘与版本绑定要求依 3.2.6 总则;评测结果可追溯与实验可复现要求依招标文件相应条款。
同一类交付物在建设期内会提交多次:数据集版本按期冻结、治理文档分批发文、工具链分波次交付、验证报告按场景分册出具。多次提交带来两个需要事先定死的问题——后一次提交与前一次是什么关系,以及验收时以哪一次为准。
关系上分三种。替换式提交,后一版整体替代前一版,适用于数据卡、数据字典、接口文档这类描述当期状态的件;提交时登记版本号与变更点,旧版留档备查但不再作为依据。累加式提交,各次提交互不覆盖、合并成册,适用于质检报告、验证报告、巡检记录这类按批次或按时点产生的件;合并后须保证各分册之间的编号连续、无缺号。修订式提交,在原件上出修订版并保留差异说明,适用于治理文档与标注规范这类发文件;修订版带新的文号与生效日期,已按旧版执行的记录不追溯作废,但受影响的在产对象按变更影响分析的结论处理。
验收时以哪一次为准,按交付物类别分别约定:数据集以最后一次封装并通过复测的正式版本为准,此前各期版本作为过程成果留档;治理文档以终验时生效的版本为准;工具链与平台以终验时实际运行的版本为准,其间的升级记录随附;报告类以最终汇总的完整册为准,各分册不单独验收。这一约定写在此处,是为了避免终验时出现「交过但不是这一版」的争执——交付记录证明的是提交行为,验收依据的是终验时的有效版本,两者在多次提交的情形下并不自动重合。
质保期为 12 个月,自甲方终验收合格之日起计算。终验合格之日既是建设期的终点,也是质保期的起点,两段之间要交接的是三样东西:数据集的正式版本及其完整质量档案、平台与工具链的运行基线、终验时尚未关闭的未结项清单。前两样决定质保期内的技术工作以什么为基准,第三样决定质保期开始时手上还欠什么。
未结项清单这一项需要在终验时单独核对。建设期内按有条件通过放行的项、按范围回退单列的对象,以及在观察清单中待复验的归因争议,在终验时不会自动消失,它们随清单进入质保期并各自带着责任组与期限。终验时清单为空当然最好;不为空的,逐条写明当前状态、计划关闭时点与关闭判据,由双方签认后转入质保期跟踪,并随整改台账一并移交,台账的登记格式与移交办法在项目交付成果一节。这样做的用意是让质保期的工作有确定的起点,而不是在质保期内重新讨论建设期遗留了什么。
招标文件规定,服务周期内同步配套增量数据抽检与合规巡检常态化服务。这类工作不占据实施路线上的某一段,而是与阶段三之后的全部工作并行,并在终验之后延续到质保期。我方在此基础上把质保期内与数据集和平台技术状态直接相关的工作归为五项,各自给出频次与判据。
归为五项而不是逐事罗列,依据是这些工作各自回答的问题不同:抽检回答新进数据的质量是否仍在合格线上,巡检回答数据的使用是否仍在授权范围内,复测回答系统的运行指标是否仍达承诺值,版本维护回答已交付的数据集是否需要修订,结论复核回答场景可用性结论是否仍然成立。五个问题互不替代,因此不能以其中一项的结果推断其余各项。
表 8 质保期内的技术性持续工作、频次与判据
| 工作项 | 频次 | 判据 | 不达标的处置 | 记录去向 |
|---|---|---|---|---|
| 增量数据抽检 | 按批次,并按月汇总 | 沿用评测期的分层抽样口径但重新抽样,不复用历史样本;抽检结果的各维度得分不低于交付版本的对应取值 | 低于交付版本取值的,按错因定位到环节并定向回流修复,修复后对该错因类别涉及的对象整批复检 | 进入质量档案的质保期分册,并在月度运行报告中列明 |
| 合规巡检 | 季度 | 数据来源授权在有效期内;分类分级标注与现行目录一致;出域记录与授权范围一致;第三方组件与模型的许可未到期 | 授权失效的对象暂停使用并通知甲方,补办授权后恢复;分级结论变更的,按新口径重新核定脱敏与出域范围 | 合规巡检记录,异常项进入整改台账 |
| 非功能复测 | 月度做备份恢复验证与运行指标巡检;季度做性能复测、容量复盘与安全复扫;半年度做故障注入演练与故障隔离复测 | 各项指标达到承诺值;复测方法与建设期一致,测法变更须单独记录并说明影响 | 指标偏离承诺值的按既定回退流程处置,先定位后整改,整改后复测;连续两次偏离的提交专项分析 | 运行报告,原始采样数据随报告留存 |
| 数据集版本维护 | 按触发事件 | 质保期内发现的数据缺陷按与建设期同一套错因分类与回流路径处置;修订后发布新版本并同步更新数据卡、血缘与登记信息 | 修订影响范围跨批次的,按血缘追踪全部受影响对象并整体复检;已被引用的版本采取受控暂停并通知使用方 | 版本变更记录与差异说明,旧版本与审计记录保留 |
| 场景验证结论复核 | 数据集版本变更时触发 | 按原评测协议、原基准分册版本对受影响场景复测;同协议重跑机器判分部分结果应一致 | 结论发生变化的,更新该场景的可用性结论并说明变化原因;不以口径调整的方式维持原结论 | 场景验证报告的质保期补充分册 |
表 8 数据来源:增量数据抽检与合规巡检依招标文件;非功能复测节奏依本卷非功能性技术要求一节的验证时点汇总;版本维护与结论复核的处置路径依 3.2.6 总则的定向回流要求。
上述五项是质保期内与数据集、平台技术状态直接相关的工作。质保期内的服务响应时限、三包范围、驻场陪产安排、免费技术服务期与后续年度技术服务,以及面向甲方各层级的培训安排,在服务方案卷售后服务方案一节给出;交付物的清点、移交与台账办理在项目交付成果一节给出。三处不重复约定,遇有交叉以售后服务方案的服务条款为准、以本节的技术判据为准。
质保期届满时出具质保期服务报告,内容为五项工作的执行记录汇总、期内发现与处置的问题清单、数据集版本的变更历史,以及期末的未结项状态。未结项在期满前逐条关闭;确有不能关闭的,写明原因、影响范围与后续安排,由双方签认后移交后续技术服务。质保期的结束以该报告经甲方确认为准。
实施路线涉及的各项具体做法在本投标文件相应各节给出,此处只作时序与判据上的统一,不重复各节的方法论述。数据加工十个环节的作业方法与工具调用在本卷数据集加工生产各节;治理四段路径与七个执行阶段的详细安排在数据治理规划和实施服务一节;9 类 25 个工具的功能与验收口径在专项智能工具链各节;运营服务管理平台 17 项功能模块的设计在数据集运营平台一节;11 个场景的验证方案在专业场景与通用场景验证各节;质量评测的依据、指标、方法与实施过程在服务方案卷数据集质量评测方案一节;日历排期、工作分解、关键路径、资源曲线、里程碑与付款节点的对应在服务方案卷项目管理措施一节;各项成果的完整清单与数量在项目交付成果一节。
遇有同一事项在两处出现的,按就近原则处理:涉及做法的以该方法所属节为准,涉及时序与关口判据的以本节为准。
本包的合同标的是一批可以清点的成果,而不是一段时期的服务投入。招标文件把采购内容分成软件采购清单一项与服务采购清单七项,每项的单位都是「套」,意思是整套成果交付、整套验收,不按人天结算;数据集加工生产实施服务一项之下又列出十三类具体工作与各自的交付检查要求。把这些要求收到一处,本包最终要交到招标方手上的东西可以归为六类:数据集本身、生产数据集的工具与平台、约束生产的文档与制度、证明数据集合格的质量档案、证明数据集好用的场景验证结论,以及支撑上述五类成立的保障性成果。
六类按证据关系组织:工具与平台产出数据集;文档与制度约束加工标准与合格门控;质量档案证明数据集是否合格;场景验证给出业务可用性结论;保障类成果支撑合法采集与安全处理。验收顺序为:先核数量与随集材料,再核质量证明出处与依据,最后核场景可用性与未关闭整改项。
清单上的每一件都按形态、数量、交付时点、验收判据四项写定,四项缺一件就会在交付期留下争议。形态决定点验的方式——一份文档点的是章节与签审页,一套可运行实例点的是能否在约定环境里跑出预期结果,一批数据点的是条数、指纹与随附材料;把形态写在前面,点验的人不必临时商量用什么方式验。数量是达成与否的量纲,凡招标文件给出数值的照原值承接,未给数值的以可清点的实物与记录承接,不以估计值充数。交付时点把一次性验收拆到各个阶段,使偏差在尚有时间纠正时就能被发现。验收判据是判定通过与否的唯一依据,它既写达到什么算通过,也写达不到时退到哪一步。
验收判据须可在一次操作中执行完毕,结论仅取通过、有条件通过、不通过,不得使用「基本满足」等无法记账表述;比例类指标按基线值、趋向目标、未达时回退动作三段给出,不写绝对化承诺。具体写法见第 9 节。
图 1 要回答的是「哪一件成果为哪一件作证」。横向看第一排:左侧的工具与平台把货产出来,右侧的文档与制度规定这批货按什么标准产、哪些数据算合格,两股力量交汇在中间的 16 个用途子集上。纵向看第二排:质量证明类从规范层面给这批货打分,场景验证类从业务层面判断它好不好用,保障与知识产权类则提供合法采集、安全处理与专业审核的条件。三者汇入整体验收,验收通过后进入移交与质保期。图中右侧那条虚线是闭环所在:场景验证发现的问题不停在一份报告里,而是转成整改任务单回到数据子集,修复后复测,复测结论再回到验证报告。图中无箭头从验收指回成果:验收只做判定,不承担补救;补救在验收前各关口完成。
图 1 六类交付成果之间的证据关系与整体验收的点验路径。数据来源:类别划分依招标文件第 3.1 软件采购清单与第 3.2.1 服务采购清单;数据集规模依第 92—94 页表格 3-1 至表格 3-4;评测依据为《高质量数据集质量评测规范》TC609-5-2025-04,合格线依招标文件相应条款;场景数量依第 46 页业务范围。
总表按六类汇总,回答的是「本包一共交什么、各有多少件、集中在什么时候交、由谁的判据判定」。它是验收会上第一张要摆出来的表:逐行核对完这六行,才知道后面各类详表该翻到哪一张。表中「件数口径」一列写的是清点单位与计数规则,因为同样说「交 37 份文档」,按份计与按册计点出来的数不一样;「判据归属」一列指明该类成果的判定标准写在哪一章,避免验收时各执一份自带的理解。
表 1 交付成果六类汇总
| 类别 | 主要交付物 | 件数口径 | 集中交付时点 | 判据归属 |
|---|---|---|---|---|
| 一 数据集类 | 四类数据集的 16 个用途子集及其随集材料 | 按用途子集计 16 个;规模按领域、用途分别计量,不跨领域冲抵 | 分四期累计达成,末期至 2028 年 5 月 | 数据集建设及指标要求;数据集质量评测方案 |
| 二 工具与平台类 | 9 类 25 个专项智能工具链、数据集运营服务管理平台、硬件与系统集成成果 | 工具链按可运行实例计 25 个;平台按功能模块计 17 项;硬件按台计 46 台 | 工具链分四批投产;平台随模块分批上线;硬件随到货与集成联调 | 专项智能工具链;数据集运营服务管理平台;硬件与系统集成 |
| 三 文档、制度与知识类 | 数据治理规划文档、数据标注规范、项目内部管理制度、软建设配套成果、知识本体与知识库 | 治理文档按份计 37 份;标注规范按册计十份;内部管理制度不少于 7 份 | 治理文档分三批;标注规范随首批标注作业启动前;制度随项目启动 | 数据治理规划和实施服务;数据标注规范建设 |
| 四 质量证明类 | 盖章正式评测报告、质量档案五分册、各轮复测报告、安全测评与密码评估结论 | 评测报告按轮次计,首轮一版、每轮复测一版、验收前一版汇总;档案按分册计 5 册 | 随评测五阶段关口,正式报告在阶段五 | 数据集质量评测方案;信息安全风险评估 |
| 五 场景验证类 | 11 个场景的验证方案与协议、基准分册、验证报告、归因明细、数据整改任务单、复测记录 | 按场景计 11 套,每套随数据集版本重出 | 报告在每轮验证结束后 10 个工作日内,整改任务单在报告出具后 3 个工作日内 | 六个专业场景验证方案;五个通用场景验证方案 |
| 六 保障与知识产权类 | 数据标注专家库、技术标准验证成果、运营推广成果、学术论文、发明专利、软件著作权 | 专家库按去重人数计不少于 50 人;论文不少于 5 篇、发明专利不少于 3 项、软件著作权不少于 6 项 | 专家库在首批标注作业启动前建成;知识产权成果在建设期内累计达成 | 数据集加工生产实施服务;技术创新与机制创新 |
表 1 数据来源:六类划分依招标文件;数据集规模与期次依第 92—94 页表格 3-1 至表格 3-4 及第 1 页建设周期;工具链数量依招标文件相应条款;平台模块依相应条款;治理文档依相应条款;专家库、知识产权数量依相应条款交付备注。
六行之中,第一行与第四行构成验收的主轴。数据集是标的物,质量档案是它的合格证明,其余四行或者是产出它的手段、或者是约束它的规则、或者是对它的使用判断,都围绕这两行成立。因此整体验收的组织顺序也照此安排:先点验数据集的量与随集材料,再核对质量档案与评测结论,然后是工具、平台与文档的清点,最后是场景验证结论与整改闭环状态的核对。
四类数据集各建预训练、有监督指令微调、人类偏好对齐、基准评测四个用途子集,合计 16 个子集,这 16 格是全部交付物的锚点——工具链、场景验证、质量评测与算力测算都要能回指到其中某一格。规模按招标文件逐数据集规模表的原值承接,合计预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,与项目目标层所列下限一致且留有余量。表 2 的「交付形态」一列决定点验方式,「验收判据」一列给出判定通过的唯一依据;规模一列在验收时按分领域、分用途逐项核对,某一格超量不得用于冲抵另一格的缺口。
表 2 16 个用途子集的交付形态与验收判据
| 序 | 数据集 | 用途子集 | 计划规模 | 交付形态 | 验收判据 |
|---|---|---|---|---|---|
| 1 | 供需计划 | 预训练 | 276 亿 Token | 分片语料文件+索引+来源映射表 | 去重后净量达计划值;按统一计量规则复算一致;来源授权齐备 |
| 2 | 供需计划 | 有监督指令微调 | 40 万条 | 指令—回答样本集+任务类型标签 | 条数达计划值;主任务类型覆盖齐;标注一致率达首期基线 |
| 3 | 供需计划 | 人类偏好对齐 | 3.2 万组 | 偏好对样本集+偏好标注依据 | 组数达计划值;每组保留偏序依据;标注人回避记录齐备 |
| 4 | 供需计划 | 基准评测 | 0.4 万条 | 冻结题集+标准答案+证据定位 | 条数达计划值;经业务专家终审后冻结;不含任何形式的合成数据 |
| 5 | 产品工艺设计 | 预训练 | 70 亿 Token | 图纸与工艺卡结构化文本+图文成对语料 | 同序 1;图卡成对样本可回溯至原图号与卡号 |
| 6 | 产品工艺设计 | 有监督指令微调 | 10 万条 | 指令—回答样本集,覆盖 28 道备料工序 | 条数达计划值;工序覆盖逐道核对,缺道即为未达 |
| 7 | 产品工艺设计 | 人类偏好对齐 | 0.8 万组 | 偏好对样本集 | 同序 3;工艺取舍类偏好须附工艺骨干判定记录 |
| 8 | 产品工艺设计 | 基准评测 | 0.1 万条 | 冻结题集+参考工艺卡字段比对表 | 同序 4;参考答案取自已签发工艺卡片的结构化版本 |
| 9 | 制造过程 | 预训练 | 105 亿 Token | 过程记录文本+时序片段+视频关键帧语料 | 同序 1;时序与事件对齐样本须带时间基准说明 |
| 10 | 制造过程 | 有监督指令微调 | 15 万条 | 指令—回答样本集+工况标签 | 条数达计划值;工况分层分布符合配比目标 |
| 11 | 制造过程 | 人类偏好对齐 | 1 万组 | 偏好对样本集 | 同序 3 |
| 12 | 制造过程 | 基准评测 | 0.2 万条 | 冻结题集+判分规则 | 同序 4 |
| 13 | 产品质量 | 预训练 | 164 亿 Token | 质量记录文本+检测图像+缺陷描述语料 | 同序 1;缺陷类样本须与炉次或件次档案配对 |
| 14 | 产品质量 | 有监督指令微调 | 24 万条 | 指令—回答样本集+缺陷类别标签 | 条数达计划值;缺陷类别覆盖与分布均衡性经复核 |
| 15 | 产品质量 | 人类偏好对齐 | 1.6 万组 | 偏好对样本集 | 同序 3 |
| 16 | 产品质量 | 基准评测 | 0.25 万条 | 冻结题集+判分规则 | 同序 4 |
| — | 四类合计 | 四个用途子集 | 615 亿 Token/89 万条/6.6 万组/0.95 万条 | — | 多模态数据条数占比与近三年数据条数占比均不低于 40%,按条数口径分别统计并保留复算记录 |
表 2 数据来源:规模依招标文件第 92—94 页表格 3-1 至表格 3-4(r05、r05、r05、r05);合计值与第 45 页项目数据质量目标下限及第 46 页业务范围一致;占比指标依招标文件相应条款;备料工序道数与历史工艺样本量依甲方需求说明书,为 28 道与 63 万张。
两处口径需要在验收前约定清楚,否则同一批数据会被算出两个数。其一是计量单位:Token 按统一分词口径计,条与组按去重后的合格样本计,三类单位各自统计,不互相换算。其二是合成与增强样本的计入规则:真实业务样本、合成样本、增强副本分开统计并在数据集卡片中分列,基准评测子集不使用任何形式的合成数据。这两条写在验收判据里,是为了让「达量」二字只有一种算法。
每一发布版本须按固定材料组整体封装移交;缺任一项,运营服务管理平台登记环节退回修正。表 3 列出材料形态、数量口径与点验方式:数据集卡片与数据字典为对外说明主件,血缘与批次台账为回溯依据,质量与验证报告为该版本发布前置条件。
表 3 随数据集版本交付的材料
| 材料 | 形态 | 数量口径 | 交付时点 | 验收判据 |
|---|---|---|---|---|
| 数据文件与索引 | 分片文件+校验值清单 | 每个子集每版一套 | 版本发布时 | 文件完整可解压;逐片校验值与清单一致 |
| 数据集卡片 | 结构化卡片文档 | 每个发布批次 20 张 | 随批次发布 | 七个分区八十四个字段齐备;版本指纹可独立复算 |
| 数据字典与自描述封装文件 | 文档+机器可读文件 | 每个子集 1 套,版本变更即更新 | 随子集首版发布 | 字段定义、取值域、校验规则齐备;随附解析脚本与示例代码可运行 |
| 来源与授权材料 | 台账+授权文本扫描件 | 覆盖全部交付批次 | 随批次 | 每一来源对象可查到授权范围、用途与有效期;用途与实际使用一致 |
| 血缘与批次台账 | 平台记录+导出清单 | 覆盖全部交付批次 | 随批次自动登记 | 任取二十条样本可逐条回溯至源系统对象、处理任务、规则与知识版本 |
| 质检与验证报告 | 文档 | 每个子集每版一份 | 版本发布前 | 质量检查节点全过;无未裁定的高风险污染;无未关闭的高优工单 |
| 版本指纹与变更记录 | 平台记录 | 每版一条 | 版本发布时 | 指纹可复算;变更记录写明与上一版的差异范围 |
表 3 数据来源:封装与移交要求依招标文件第 91—92 页 3.2.6.3.9、3.2.6.3.10;数据卡片字段体系与出卡粒度依数据集建设及指标要求一节;登记与退回规则依招标文件相应条款。
规模不在末期一次堆出。建设周期至 2028 年 5 月,生产按四期组织,每期设累计达成下限,并以该期的通过条件决定能否进入下一期。各期的分子集产量明细在数据集建设及指标要求一节给出,此处只给时点与通过条件——两者合起来才是验收时要核对的东西:到了时点,拿这一期的通过条件逐条对,对不上的当期就要纠偏,而不是留到末期集中暴露。
表 4 数据集分期交付的时点、累计下限与通过条件
| 期次 | 时点 | 累计达成下限 | 本期应交交付物 | 进入下一期的通过条件 |
|---|---|---|---|---|
| 第一期 口径与基线 | 合同生效起 3 个月内 | 预训练 ≥61.5 亿 Token;指令微调 ≥7.1 万条;基准 ≥0.19 万条探路集 | 计量规则确认件、数据集卡片模板定稿、对象主键映射表、四集各一个样例批次 | 计量规则与卡片模板经甲方确认;样例批次通过质检并完成一次移交登记演练 |
| 第二期 主体加工 | 至第 9 个月 | 预训练 ≥277 亿;指令微调 ≥31.2 万条;偏好 ≥1.65 万组;基准 ≥0.48 万条 | 四集预训练子集首版发布、指令微调主任务类型覆盖齐 | 首版发布件的质检与验证报告齐备;主任务类型覆盖经逐项核对无缺项 |
| 第三期 补齐与均衡 | 至第 18 个月 | 预训练 ≥523 亿;指令微调 ≥71.2 万条;偏好 ≥4.6 万组;基准 0.95 万条首版冻结 | 模态与时效占比达标测算复核件、分布均衡性整形结论、基准集首版冻结记录 | 两项占比指标的测算复核通过;基准集冻结后未再改动,冻结记录可查 |
| 第四期 达成与复测 | 至 2028 年 5 月 | 预训练 615 亿;指令微调 89 万条;偏好 6.6 万组;基准 0.95 万条第二版冻结 | 首轮全量评测与缺陷整改复测记录、资产台账终版、全部子集移交登记 | 综合得分与各维度得分达合格线;高风险缺陷已清零并留有逐条复核记录;移交清单点验无缺项 |
表 4 数据来源:期次划分与累计下限依数据集建设及指标要求一节的分期达成计划;建设周期依招标文件第 1 页;首轮评测与整改复测要求依第 46 页评测要求;移交登记要求依招标文件相应条款。
这一类成果的共同点是「交的是能跑起来的东西」,因此点验方式与文档类不同:不看说明书写得全不全,看在约定环境里按用例跑一遍结果对不对。专项智能工具链按 9 类 25 个交付,类别划分与工具名称与招标文件表列逐项一致,不合并、不改名、不以相近功能顶替。数据集运营服务管理平台按服务采购清单实列的 16 个功能模块交付,另增平台服务与 SLA 保障 1 项,合计 17 项,满足不少于 14 个功能模块的要求并留有余量。硬件五类 46 台中有 42 台是现场感知设备,它们的输出是制造过程与产品质量两类数据集中焊接、热处理样本的原始来源,因此硬件的验收判据不止于设备合格,还要核到取数链路是否真的把带时间戳的原始帧与每像素原始温度送进了加工域。上述工具链与平台模块统一承载在为招标方建设的天地奔牛煤机装备数据智能平台(以下简称奔牛数据智能平台)之上,共用其身份认证、权限控制、任务调度、版本管理与日志审计能力,交付清点时按工具与模块逐项点验,不因共用底座而合并计数。
表 5 工具、平台与基础设施类成果
| 交付物 | 形态 | 数量 | 交付时点 | 验收判据 |
|---|---|---|---|---|
| 专项智能工具链本体 | 可运行实例+算子实现 | 9 类 25 个 | 按公共层先行、分四批投产,末批不晚于第三期 | 每个工具可独立调用、独立验收;功能要求逐条对应测试用例并通过;指标达首期基线 |
| 工具链随附资料 | 参数配置模板、接口说明、演示样例、输入输出样例、测试报告 | 25 套,一工具一套 | 随各工具交付 | 五件套齐备;按说明在约定环境可复现演示样例的输出 |
| 工具链授权 | 许可文件 | 覆盖全部节点 | 随首批投产 | 不限使用节点数量与许可数量,覆盖建设期内的节点扩展 |
| 数据集运营服务管理平台 | 可运行系统 | 采购清单实列 16 个功能模块,另增 1 项,合计 17 项 | 随模块分批上线,全部模块不晚于第三期 | 每个模块点得开页面或取得出记录;正常与异常流程测试通过;缺陷按分级处理,严重与较重缺陷清零 |
| 平台对外接口与基础设施接入 | 接口+联调记录 | 统一目录标识登记、统一身份注册、标准接口互联互通、标识注册与解析四项 | 随平台上线后的联调期 | 以实际联调与运行记录为准,不以接口文档代替;接入对象覆盖平台生成数据集与行业用户自有数据集 |
| 服务器密码机 | 设备 | 1 台 | 随到货与国密算法调试 | 国密算法调试通过;平台密码运算统一调用,不在应用内自行实现算法 |
| 接入连接器 | 设备 | 3 台 | 随到货与集成联调 | 贴源批次、元数据、交付包与存证记录进入运营服务管理平台 |
| 红外图像采集设备 | 设备 | 15 台,随 15 台焊接机器人配置 | 随到货与现场安装 | 单台参数逐项符合清单;SDK 可取带时间戳的原始帧并落地加工域 |
| 在线高温热成像设备 | 设备 | 6 台,3 台淬火机床各 2 台 | 随到货与现场安装 | 测温范围 -20~1500℃;全辐射数据流按工件加热周期分段落地 |
| 在线热成像设备 | 设备 | 21 台,淬火后工位 6 台、焊前测温 15 台 | 随到货与现场安装 | 测温范围 -20~650℃;支持 5 个测温点、10 条测温线、10 个测温区域 |
| 商用密码服务平台 | 软件 | 1 套 | 随平台上线 | 许可不限使用节点数量;提供真实性、机密性、完整性、不可否认性四项密码服务 |
| 系统集成成果 | 部署记录+配置+联调报告 | 覆盖加工生产平台、运营服务管理平台、密码机与全部感知设备 | 随各批设备到货后的联调 | 整体集成联合测试通过;单机运行或端口连通只作为其中一项前置检查 |
表 5 数据来源:工具链数量与清单依招标文件,随附五件套依 3.2.3.11 节;平台模块依招标文件相应条款;硬件型号、数量与参数依硬件采购清单相应条款;软件采购依相应条款;接口与基础设施接入依相应条款。
「验收」分三类对象,不得混用:工具单项验收通过不等于其产出数据合格(配置取默认值或源数据不足仍可产出不合格样本);数据集发布验收通过不等于项目整体验收完成。整体验收还须核对工具链数量与形态、平台功能模块、治理文档份数及 11 个场景验证结论。三类验收的对象、依据与关系见表 6。
表 6 三类验收的对象、依据与不可替代关系
| 验收类别 | 验收对象 | 判定依据 | 与其他两类的关系 |
|---|---|---|---|
| 工具的单项验收 | 单个工具链 | 五件套齐备;功能要求逐条对应测试用例;指标达首期基线 | 其合格产出进入数据集的发布验收,不代替发布验收 |
| 数据集的发布验收 | 某一版数据集 | 质量检查节点全过;血缘挂接率达门限;无未裁定的高风险污染;无未关闭的高优工单 | 其合格版本进入整体验收的交付清单,不代替整体验收 |
| 项目的整体验收 | 本节总表所列全部交付物 | 数据集规模与质量、工具链 25 个、平台 17 个模块、治理文档份数、11 个场景的验证结论 | 以前两类的记录与第三方盖章评测报告共同构成其质量证据 |
表 6 数据来源:三类验收的划分与判定依据依专项智能工具链一节的总体验收口径;整体验收的对象范围依本节表 1。
招标文件要求数据治理规划文档不少于 25 份,并以表格列明 37 份具体名称与形态,我方按 37 份编制交付,高于下限。份数为下限;单份算交付须同时满足:治理平台有对应配置项、配置项有运行记录、记录可对应数据集交付某一环节。数量上只增不减:37 份是下限,实施中若某一主题需单独成文则增编并登记入引用关系表,拆分或合并须提交变更申请并保留与招标文件原清单的逐项对应关系。
表 7 文档、制度与知识类成果
| 交付物 | 形态 | 数量 | 交付时点 | 验收判据 |
|---|---|---|---|---|
| 数据治理规划文档 | 文档 | 37 份,高于不少于 25 份的要求 | 分三批:基础件在数据汇聚与首批加工开始前,运营类在首批数据服务启动前,滚动更新类随工作进展 | 逐份核对编制输入、核心内容、签审层级与验收证据;每份在治理平台有对应配置项与运行记录;引用关系表随文档集交付 |
| 治理现状评估成果 | 文档 | 按实际出具份数单列 | 第一期 | 单独计数,不计入 37 份,也不被 37 份顶替;作为规划文档的编制输入 |
| 数据标注规范 | 一份总则加分册,共十份 | 10 册 | 首批标注作业启动前 | 标签定义、对象边界、属性与关系规则、正反例与边界案例、疑难处置、复核与验收要求齐备;经业务专家审定后发布受控版本 |
| 标注培训与试标记录 | 记录+一致性检查表 | 覆盖全部标注人员与标注任务类型 | 随各批标注作业启动 | 标注人员完成培训与试标后方可领取任务;一致性检查结果与裁决记录随样本保存 |
| 项目内部管理制度 | 文档 | 不少于 7 份 | 项目启动后一个月内 | 制度内容与实际执行一致;责任、计划、任务、会议决定、风险措施与整改记录可逐项核对 |
| 组织、风险与计划类文件 | 文档 | 组织职责文件、风险管理计划、年度计划、考核计划各 1 套 | 项目启动后一个月内,年度计划按年滚动 | 实施记录与实际人员、任务、进度及问题处置一致;计划调整保留原因、影响与批准记录 |
| 软建设政策梳理成果 | 清单+分析件 | 梳理相关政策文件 25 个 | 第一期 | 逐件登记来源、适用条款与对本项目的约束,清单可逐条核查 |
| 软建设规划与机制成果 | 文档+机制文件 | 1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制、1 份年度政策符合性评估报告;五级组织责任、跨主体协同汇聚、全周期管理、绩效考核与激励、能力复用共 5 项机制 | 规划与方案在第一期,评估报告按年出具 | 各项分别建立成果清单与版本记录;保存依据核查、编制、评审、修改与应用材料 |
| 软建设标准成果 | 标准文本+技术规范 | 牵头制定 2 项关键行业标准;「五位一体」标准体系含 18 项细分标准;6 项项目实施技术规范 | 随标准制定与评审进度,建设期内达成 | 分别提交编制、评审、修改与应用记录;标准体系的 18 项细分标准逐项核验 |
| 知识本体 | 本体文件+版本记录 | 覆盖四个业务领域 | 首批知识抽取开始前,随业务范围滚动扩充 | 对象类目、属性、层次与关联关系完整一致;实体编码可与主数据及产品全生命周期管理系统映射;未审定概念不投入正式生产 |
| 知识库与知识图谱 | 结构化知识条目+图谱 | 覆盖九个业务域的四类知识库、两类知识图谱 | 随各域汇聚与抽取进度 | 每条知识与关系有可定位的有效来源;经业务专家逐条终审后方可用于标注与合成 |
| 数据质量校验规则库 | 规则库+说明文档 | 首批入库并滚动补充 | 首批第一阶段 | 规则投入稽核运行;一条阻断级规则构造违例后,告警、工单分派、整改复核、归档四段留痕完整 |
表 7 数据来源:治理文档份数与清单依招标文件;标注规范要求依数据标注规范建设要求;内部管理制度、软建设各项数量与知识产权要求依招标文件相应条款交付备注与数据集加工生产实施服务任务表;知识本体与知识库的终审要求依 3.2.6.3 节采集与知识建设环节。
数据集交付的是一批货,质量证明交付的是这批货的合格证。两者分开计数、分开验收,不以其中一方顶替另一方:数据集的规模达标不代表质量合格,而一份漂亮的评测报告也替代不了逐子集的量与随集材料。评测依《高质量数据集质量评测规范》TC609-5-2025-04 组织,指标体系按说明文档、数据质量、模型应用三个一级维度展开为 22 组二级指标、81 项三级指标,名称与定义照搬规范原文,不改名、不合并——报告将来要用于行业高质量数据集达标验收,指标名称与规范一致才能被对口机构直接采信。合格判定采用双重约束:综合总分不低于 85 分,同时三个维度各自不低于 80 分,另设内控目标 88 分为复核误差与增量批次的得分波动留出余量。
表 8 质量证明类成果
| 交付物 | 形态 | 数量 | 交付时点 | 验收判据 |
|---|---|---|---|---|
| 《行业高质量数据集质量评测报告》 | 纸质盖章件+电子件 | 首轮一版,每轮集中复测后一版,验收前出汇总版 | 评测阶段五 | 逐条列明 81 项三级指标的最终得分;由具备相应资质的第三方评测机构盖章出具;综合总分 ≥85 分且各维度 ≥80 分 |
| 质量档案五分册与总索引 | 电子件+纸质目录 | 5 册 | 评测阶段五 | 一册指标结论、二册过程记录、三册权属与合规、四册模型实验、五册整改闭环齐备;按达标验收、资产备案、专项审计、内部合规检查四类用途各自的调阅清单可直接取用 |
| 指标打分表(填定版) | 电子表格+甲方审核记录 | 1 套 | 评测阶段二结束 | 81 项逐项填定并经甲方审核;适用性裁剪逐项写明理由 |
| 抽样策略文件与抽中样本清单 | 文档+电子清单 | 1 套 | 评测阶段一结束 | 抽样方法可复现;按同一种子重抽应得到同一份清单 |
| 自动化检测日志与结构化缺陷清单 | 电子件,按批次同步 | 覆盖全部受检批次 | 评测阶段三滚动 | 每条缺陷可定位到样本编号与命中规则编号;涉密内容不在报告中引用原文 |
| 人工复核记录与一致率统计 | 电子件+纸质复核表单 | 覆盖全部人工复核样本 | 评测阶段三滚动 | 复核人、复核时间、结论与依据齐备;一致率达约定水平,低于水平时转仲裁 |
| 模型实验台账与性能基线报告 | 文档+可复现材料三件套 | 按实验分别出具 | 评测阶段三 | 协议版本化、基准集冻结、随机种子固定、运行记录留存,第三方按同一协议重跑应得一致结果 |
| 缺陷综合分析报告与分级整改操作指引 | 文档 | 各 1 份,整改指引按缺陷类型分册 | 评测阶段四 | 缺陷按等级与成因分类统计;每一类缺陷对应唯一的修复入口 |
| 复测报告 | 文档 | 不少于 4 轮 | 每轮复测后 | 整改前后得分变化可对照;高风险缺陷逐条复核并关闭,抽样零发现不作为清零的替代证明 |
| 增量抽检月报与合规巡检记录 | 文档 | 月报按月、巡检按季度 | 服务期内 | 按期出具且结论与当期实际受检版本一致 |
| 等级保护测评结论与商用密码应用安全性评估报告 | 报告或相应证书+整改复核记录 | 各 1 套 | 测评完成并整改复核后 | 测评等级以定级备案结论为准;完成判据为测评结论出具且问题整改复核完成 |
| DCMM 贯标证据包 | 证据归集件 | 1 套 | 第三阶段 | 以通过 DCMM 三级为目标归集能力建设、过程执行与评估改进三类证据,证据与实际运行记录一致 |
表 8 数据来源:评测依据与指标体系依《高质量数据集质量评测规范》TC609-5-2025-04 及招标文件 3.2.8.2.2 节;报告名称与逐条列分要求依招标文件相应条款;质量档案与四类用途依相应条款;合格线依相应条款;阶段关口与各阶段交付物依相应条款;安全测评依相应条款;DCMM 三级目标依数据治理规划和实施服务的交付检查要求。
第三方出证与我方工作的分界需要写明,否则验收时会追问报告到底是谁的结论。盖章出证由具备相应资质的第三方评测机构完成,机构按资质条件核验并提请甲方确认后选定;我方在其中承担统一评测方案与判定口径、组织检测执行与人工复核、归集过程资料并编制报告底稿、组织整改指导与集中复测。两者的关系是我方提供过程证据,第三方据此与自行抽测结论出具报告,我方的测试记录不替代第三方的评测报告。
本包承担场景验证服务,不承担智能场景本身的建设。本类交付物为验证方案、验证用例与可用性结论,不含场景系统。11 个场景中六个为专业场景、五个为通用场景,每个场景的验证结论按四层给出:数据层看所依赖的样本与知识供给是否到位,知识层看条款切分与引用登记的完备度,链路层看观测点上的表现与错因分布,任务层看端到端的业务可用性。四层之后是本场景的整改任务单与下一版的取值建议。所有交付物与数据集版本绑定,版本变更即重新出具,不以上一版结论顺延。
表 9 11 个场景的验证交付物与判定
| 场景 | 类别 | 交付物 | 交付时点 | 判定与处置 |
|---|---|---|---|---|
| 产品智能选型 | 专业 | 验证方案与评测协议、金标准集与用例集、验证执行与见证档案、九章验证报告、错题归因清单与改进需求单 | 报告在每轮验证结束后 10 个工作日内 | 逐项给指标值、判据、判定结果与置信区间;通过/有条件通过/不通过三择一 |
| 板材备料工艺智能设计 | 专业 | 同上,另附闭合条件标定结果、等效表述认定规则、差异台账关闭情况汇总 | 同上 | 工艺卡片及工序附图内容准确率以闭合集内逐字段比对计,基线不低于百分之九十九,尺寸与定额类字段实质错误数为零;目标档趋向全部字段一致 |
| 库存控制智能化 | 专业 | 同上,另附现行做法基线统计报告与双口径桥接规则 | 同上 | 对比基线类的项须同时给出基线值、系统值与差值三栏 |
| 热处理过程智能监控 | 专业 | 同上,另附一炉一档与一件一档的档案结构定义、关联结论清单 | 同上 | 分析层级分档的项须在结论句中标明档位 |
| 焊接过程控制智能监控 | 专业 | 同上,另附分工况参数推荐的回溯对比报告 | 同上 | 按工位类型与检测档位分列判定,不合并 |
| 刮板输送装备健康智能诊断 | 专业 | 同上,另附采集链路体检报告与历史数据质量分析报告 | 同上 | 回放对比类的项按部件分列,同时给既有平台值、新规则值与增量三栏 |
| 管理制度智能问答 | 通用 | 验证方案与评测协议、验证基准分册、四层结论验证报告、链路层归因明细、失败样本清单 | 同上 | 四层结论逐项给判据;依据可得性与时长并列呈现,不只给时长 |
| 技术标准智能问答 | 通用 | 同上 | 同上 | 同上 |
| 标书智能问答 | 通用 | 同上 | 同上 | 同上 |
| 决策数据智能问答 | 通用 | 同上 | 同上 | 同上 |
| 合同合规智能审查 | 通用 | 同上 | 同上 | 同上 |
| 全部场景共用 | — | 数据整改任务单、复测记录、能力增量报告与雷达图、版本血缘记录、四类专项测试结果 | 整改任务单在报告出具后 3 个工作日内;复测记录待闭环后 | 整改任务单含问题类型、关联样本、影响范围、修订建议、责任组、优先级与整改期限 |
表 9 数据来源:场景清单依招标文件第 46 页业务范围与第 45 页项目目标;本包只做验证不做场景建设依招标文件相应条款;板材备料的准确率要求原文依相应条款,我方按基线、目标、处置三段承接;交付物构成与时点依六个专业场景验证方案与五个通用场景验证方案两节的交付物清单。
验证结论只有三种写法,不出现模糊表述。通过是主要指标达到目标值;有条件通过是主要指标达到下限值但未达目标值、或次要指标未达下限,此时登记差距、可用与不可用范围、责任组与期限,出整改任务单,限期修复后对该错因类别涉及的全部题目复测,不阻断本版本发布但缺口在报告中明列并带入下一版本;不通过是主要指标未达下限值,定位到相应数据子集与知识环节回流修复,修复后重新完整验证该项,连续两轮未达下限的提请甲方与场景建设方共同评审。
回退分三档,三档都要求在报告中显式标注,不以静默缩小范围的方式达成指标。指标回退是某项能力在当期数据条件下达不到目标值时按下限值继续运行并标明档位;范围回退是某类对象在当期无法支撑结论时单列并注明未覆盖原因,下一轮补做;方法回退是场景侧接入条件不具备时只出数据层、知识层与链路层结论,任务层待条件具备后补测。
六类成果时点同置于四期时间轴:第一期交口径与模板,决定后三期计量与点验口径;第二、三期集中落地数据集、工具链、平台模块与治理文档;第四期收口评测报告、场景验证结论与整改闭环。各期竖线为交付关口,关口未过不进入下一阶段;前期口径错误会导致后期检测结果不可用。
图 2 按四期排布,每一格里列的是该期要交到招标方手上的主要成果,格与格之间的箭头是关口。横着读可以看出各类成果的落地先后:口径与模板在最前,工具与平台居中,数据集的量在二、三期之间爬坡,证明与结论集中在末期。竖着读可以看出同一期内六类成果的配套关系——第二期的预训练子集首版若没有同期的平台首批模块,发布出来的数据无处登记。图下方两条横带是不随期次变化的部分:一条是贯穿全程的台账、月报与缺陷闭环,一条是整体验收之后不少于 12 个月的质保期。
图 2 交付时点轴与各期关口。数据来源:期次与累计下限依数据集建设及指标要求一节的分期达成计划;建设周期与质保期依招标文件第 1 页;治理文档三批提交依招标文件相应条款的计划提交节点列;评测五阶段关口依相应条款。
表 10 把图 2 展开成可以逐行点验的形式。「本期清点范围」一列跨六类列出该期应点验的交付物,「通过条件」一列是进入下一期的判据。与表 4 的区别在于,表 4 只管数据集一类的累计量,本表管的是六类合在一起的阶段完整性——实施中最常见的失衡是数据集按期产出而治理文档与平台模块滞后,到第四期才发现数据无处登记。
表 10 各期的清点范围与通过条件
| 期次 | 本期清点范围(跨六类) | 通过条件 | 未达时的处置 |
|---|---|---|---|
| 第一期 | 计量规则确认件与数据卡模板;治理文档第一批基础件;数据标注规范十册;专家库名册与资格审核记录;评测台账、抽样策略与指标打分表;工具链公共层与首批工具;四集各一个样例批次 | 计量规则、数据卡模板与抽样策略经甲方确认;样例批次通过质检并完成一次移交登记演练;专家库按去重人数达不少于 50 人 | 口径类成果未确认的,后续批次暂停入库,先行确认;专家库人数不足的,按缺口领域定向补充并登记补充记录 |
| 第二期 | 四集预训练子集首版;工具链前两批;平台首批模块;治理文档第二批;知识本体首版与首批知识条目;质量月报 | 首版发布件的质检与验证报告齐备;首批模块正常与异常流程测试通过;知识条目经业务专家逐条终审 | 发布件缺报告的退回修正;模块缺陷按分级处理,严重与较重缺陷清零后再上线;未终审知识条目不投入标注与合成 |
| 第三期 | 工具链 25 个全部投产;平台 17 个模块齐备;基准集首版冻结;模态与时效占比测算复核件;治理文档滚动更新件;场景验证方案与基准分册 11 套 | 25 个工具逐一通过单项验收;17 个模块逐一点得开页面或取得出记录;两项占比指标测算复核通过;基准集冻结后未再改动 | 未通过单项验收的工具不计入交付数,限期整改后重验;占比未达的,按缺口模态与时段定向补采并复算 |
| 第四期 | 全部数据集子集与随集材料;盖章评测报告与质量档案五分册;11 个场景的验证报告、归因明细与整改任务单;复测记录;知识产权成果;资产台账终版与移交登记记录 | 综合总分 ≥85 分且各维度 ≥80 分;高风险缺陷逐条复核关闭;11 个场景均出具可用性结论且无未关闭的整改任务单;移交清单点验无缺项 | 得分未达的按缺陷清单整改后重算,整改与重算不另收费;整改任务单未关闭的,该场景结论标为有条件通过并带入质保期继续闭环 |
表 10 数据来源:各期清点范围由本节表 2 至表 9 按时点归并;通过条件依各节的验收口径;评测合格线依招标文件相应条款;工具单项验收依 3.2.3.11 节;平台模块测试依相应条款的交付检查要求。
前面各表里的判据写法是统一的。凡招标文件给出确定数值的(数据集规模、工具链数量、平台模块数、治理文档份数、评测合格线),按原值照写,不加缓冲也不打折;凡取值受源系统开放范围、历史记录完整度或标注人力影响的比例类指标,按基线值、趋向目标、未达时的回退动作三段写定。基线说明首期可达到的水平及其测量方法,趋向说明服务期内随样本积累与阈值校准逐步接近的目标,回退写的是可执行动作而不是原则表述——整批转人工复核、改以人工判定为准、退回上一稳定配置版本、批次不得出加工域、阈值调向保守侧并扩宽复核带。
验收时的用法随之明确:按基线值核对实测值,达到或超过即判通过;未达基线的,核对回退动作是否已执行并留有记录,回退已执行且未达项已登记的判为有条件通过并列入服务期校准计划;回退未执行的判不通过。趋向目标不作为验收判据,它在阶段性检查中核对改进趋势。表 11 按交付物的四种形态给出不达标时的处置,形态不同处置也不同——一份文档缺章节与一批数据缺量,补救的办法并不一样。
表 11 按交付物形态分列的不达标处置
| 交付物形态 | 不达标的典型情形 | 当期处置 | 复核方式 |
|---|---|---|---|
| 批量数据 | 净量未达该期累计下限;占比指标未达;随集材料缺项 | 按缺口的领域、用途与模态定向补采补产;随集材料缺项的整批退回修正,不单件补交 | 复算净量与占比并出复算记录;退回件重新走发布验收 |
| 可运行实例 | 功能用例未通过;指标未达首期基线;五件套不齐 | 该实例不计入交付数,限期整改后重验;指标未达的执行约定回退动作并登记 | 按同一套用例重跑,结果与预期逐条比对 |
| 文档与制度 | 份数不足;章节缺项;无对应的平台配置项或运行记录 | 补编并登记入引用关系表;无运行记录的先完成配置与运行,再提交评审 | 按清单逐份核对签审页、配置项与运行记录三者是否对得上 |
| 报告与结论 | 综合总分或维度得分未达合格线;缺陷未闭环;结论不可复算 | 按缺陷清单整改后重算,整改与重算不另收费;不可复算的补齐协议、冻结集与运行记录后重测 | 第三方按同一协议与同一冻结集重跑,结果应与报告一致 |
表 11 数据来源:三段式判据写法依专项智能工具链一节的总体验收口径;数据集退回规则依招标文件相应条款;评测整改与重算依相应条款;可复现性要求依 3.2.3.11 节与评测方案的实验复现条款。
交付物的移交按「先点验后签收」办理。每一批移交附交接清单,列明对象、形态、数量、版本与校验值;接收方逐项核对清单、数量、格式、校验值、权限及有效期,完成入库、元数据登记与版本关联;发现缺项、文件损坏、权限不符或版本不一致的退回修正,复核通过后记录接收结果。移交登记完成不等于项目服务结束,也不自动取得公开发布或交易权限——登记、访问、对外使用与服务交付各自另行核验权限与质量条件。
涉及敏感数据与安全配置的材料按权限分级保存与移交,复核过程同样执行访问控制。需要第三方或甲方独立复核的,由我方提供复核所需的数据清单、规则配置、工具与模型版本、环境依赖及执行记录,在具备合法授权、必要软件许可与相应资源的受控环境中开展。
质保期不少于 12 个月,自整体验收通过之日起算。期内交付物发生版本更新的,随附更新后的判据、记录与复测结论,并同步更新资产台账与引用关系表;期内发现的缺陷按与建设期同一套缺陷字典分级登记,高风险缺陷逐条复核关闭,中低风险缺陷按整改台账闭环并在季度汇总中通报。期内未关闭的整改任务单随台账移交,列明未关闭原因、影响范围与后续安排,不以静默关闭的方式结项。
本项评价硬件品牌、型号、参数、性能、质量、安全性、可靠性、耐用性、实用性、经济性、操作与维护便利性。设备清单、逐型号参数响应、配置方案、安装与标定要求、服务与质保安排的完整内容已在第 12 项「产品与技术规格性能」中逐项给出,此处不重复列表,仅就评价维度逐项说明选型依据。
按招标文件所列参考品牌的同等档次或以上选用,取商用密码产品认证目录内品牌;型号在取得厂商正式参数页后逐项核定,不以同系列替代。
逐条对照招标文件技术规格填报响应值与测量方法,零余量项单列并在到货验收时实测。
整机质保不少于 12 个月,关键感知设备按连续运行工况选型,给出平均无故障时间与备件到场时限。
密码设备持有商用密码产品认证证书,不少于三家厂商互认;采集设备在井下与高温工位按相应防护等级选型。
熔池相机与热成像按现场温度、粉尘与振动条件选型,并要求随设备提供取原始帧与每像素原始温度的接口。
按全生命周期成本比选,含采购、安装标定、耗材与质保外维保。
统一接入与统一运维口径,设备侧故障可远程定位,现场更换不依赖厂商专有工具。
招标文件要求建设不少于 9 类 25 个专项智能工具链。25 个工具的功能设计、输入输出接口、处理流程、输出样例与验收口径在「专项智能工具链总体方案」与智能工具链(一)(二)(三)三节逐个给出。本章给出贯穿全部 25 个工具的六项共性技术措施:它们针对矿山装备制造的数据特点设计,决定了每一条工具输出能否被追到源头、被人复核、被判定对错,也决定了血缘挂接率、证据完整率这类指标能否作为可验收指标存在。
2.10-1 四条现场困难与技术、机制两类措施的对应关系
图 2.10-1 四条现场困难与技术、机制两类措施的对应关系。数据来源:现场困难依招标文件第五章 1.1 项目目的与业务范围及甲方业务特征;工具链规模依招标文件相应条款;数据集规模依招标文件逐数据集规模表;本包范围边界依相应条款。
通用数据加工工具处理的是网页、书籍、论坛这类自然语言文本,它们的共同特点是「错了不致命」——一条语料标错类别,对预训练的影响被海量样本摊薄了。本项目的数据不是这样。
刮板输送机的工艺卡上,板厚 16 毫米与 18 毫米对应不同的坡口型式与焊接工艺参数;压弯件的展开长按中性层计算,中性层系数取值差 0.05,下料尺寸就差出几毫米;热处理的淬火温度与保温时间在作业指导书里是固定程序,一条样本把温度记成相邻档位,这条样本就在教模型一个错的工艺。63 万张历史工艺样本里的每一张都指向一个真实存在过的零件,错误不会被摊薄,只会被学会。
同样的问题出现在对齐环节。焊接机器人记录的电流、电压、送丝速度是连续的参数流,工件与焊道是离散的对象,一次交检合格率已经维持在 97% 至 98% 而甲方要求 99%,剩下的那一两个百分点要靠参数与焊道的正确对应才能查清。参数流对错了焊道,整批样本的因果关系就是颠倒的。
这三件事决定了本项目工具链的技术取向:不以处理吞吐量为首要取向,而以每一条输出都能被追到源头、被人复核、被判定对错为首要取向。本章的六项技术措施都是从这个取向推出来的。
第一项措施是在每一个判断环节上区分两类算子:凡能用确定性程序算出结果的,用规则算子;只有语义理解类的判断,才交给模型算子。两类算子并行运行,结果交叉比对,不一致的进入人工复核。
这一取舍的理由是可验证性。压弯件的展开长按中性层公式计算,输入是板厚、弯曲半径与弯曲角度,输出唯一;本体约束的校验按逻辑规则判定,一个零件不能同时属于两个互斥的部件层级,这是定义决定的。这类判断用规则算子,结果可以被第三方用同一公式复算出来,验收时不需要争论。语义类判断不同:一段工艺说明在讲坡口加工还是讲焊前清理,需要理解上下文,规则写不全,交给模型算子。
双通道的价值在交叉比对上。本体驱动规则标注工具链按七类本体约束校验候选标签,大模型预标注工具链按模板生成候选标签,两条通道对同一个样本给出的结论若一致,样本进入高置信档按比例抽检;若不一致,样本进入人工复核队列,并把两条通道的判断依据一并呈现给复核人。这样的分流使人工投入集中在真正有分歧的样本上,而不是平均分布在全部样本上。
与通用做法的差别可以这样说明:通用做法通常是「模型先标、人再抽检」,抽检比例决定了质量下限,提高质量只能提高抽检比例,成本线性上升。双通道做法是「两条通道互为裁判、分歧处集中投人」,人工总量下降而被复核的样本恰是最可能错的那部分。首期按高置信档抽检 5% 设定基线,连续三批抽检通过率达到门限后降至 3%;达不到门限则抽检比例回升并重新标定阈值。
第二项措施是全部 25 个工具的每一条输出记录都强制携带三样东西:证据、置信度、复核状态。
证据是指向原始材料的具体位置,不是笼统的来源说明。图纸抽取给出图元句柄与所在图层,视频对齐给出帧时间戳与事件编号,预标注给出引用的原文片段,时序对齐给出测点编号与时间区间。复核人点开一条样本,能直接看到它是从哪一处得出的,不需要自己回原文件里找。
置信度按统一的三档分流:高置信直接入候选集并按比例抽检,中置信进人工复核队列且工具给出修改建议,低置信进人工标注队列、工具输出只作参考。三档的阈值由各工具在试点批次上标定——取一批已由人工确认的样本作标定集,画出置信度与实际正确率的对应曲线,把高阈值定在实际正确率达到目标水平的位置。阈值是标出来的而不是拍出来的,这一点在验收时可以出示标定集与曲线。
复核状态有五个取值:未复核、机器通过、人工通过、驳回、专家裁决。状态字段的作用是让任何一条进入数据集的样本都能回答「这一条是谁放进来的」。专家裁决这一档与第 4 章的专家库衔接:标注一致性低于门限的样本、争议标签、新术语判定,由专家库按领域抽派专家裁决,裁决结论写入该字段并留档。
这三样东西合起来回答的是数据集的可信性问题。「数据集质量评测方案」一节把可信性列为六个评测维度之一,评测时要出证据链;本项目的证据链不是事后补的,是在加工时就逐条写进去的。
与通常做法的差别,落在这三样是必填字段还是附带信息上。通常的加工流水线把置信度当作模型的附带输出保留下来,证据则多半只记一个文件名或一个批次号;复核人拿到一条有疑问的样本,仍要自己打开原文件逐页去找它是从哪里来的,一条样本核下来往往要十几分钟,于是抽检比例再高也核不动。本项目把三样做成记录结构里的必填项,入库校验时写不出证据的记录直接被拦下,退回补录,不带着空字段进入候选集。这一条看起来只是一道字段约束,实际决定的是数据集能不能被第三方复核:一份能逐条指回源处的数据集,评测时拿出来的是证据;一份只有标签没有出处的数据集,评测时拿出来的只是说法。招标文件把可信性与可追溯列入评测维度,正是在区分这两者。
第三项措施是把工具的全部可调项一律以配置文件形式入库。可调项包括提示词模板、输出结构定义、本体版本、采样策略参数、改写比例与相似度阈值,并纳入版本管理,运行时按版本号加载。每条输出记录携带本次运行所用的配置版本号与工具版本号。
这件事的实际价值在三个场合体现。一是复现:半年后发现某批样本有系统性偏差,按记录的配置版本与工具版本重跑,能得到同样的结果,从而确认偏差来自配置还是来自源数据。二是灰度:提示词模板改版时先在小比例批次上运行,与旧版结果对比后再全量切换,发现问题按版本号回滚,不需要人工回忆上一版是什么样。三是交接:建设期结束后,运维方拿到的不是一句「参数需要调优」,而是一份有版本的配置文件与它对应的实测结果。
与通常做法的差别,在于提示词与阈值这类「软参数」算不算配置项。在多数加工实践里,模型调用的提示词写在代码里或存在某位工程师的本地文档里,相似度阈值在调试过程中反复改动而不留痕迹,于是半年之后同一批源数据重跑一遍得不到同样的结果,偏差究竟来自配置变动还是来自源数据本身,便无从分辨。本项目把提示词模板、输出结构定义、本体版本、采样策略与相似度阈值一律视为与程序代码同级的受控对象,纳入版本库、走变更登记、运行时按版本号加载。代价是每一次参数微调都要提交一次变更记录,换来的是任何一批样本都能回答「它是用哪一版规则产出的」。对一个建设期跨两年、运维期更长的项目来说,这个代价是值得付的——两年之后回头追一批样本的来历,靠的只能是记录,不可能靠记忆。
模型侧同样如此。所有涉及大模型调用的环节经奔牛数据智能平台的统一模型网关接入,采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级。每条输出记录登记网关侧分配的模型登记名与版本号,便于在模型随代升级后回溯某批样本是在哪一代能力下生成的。交付文档不绑定具体品牌与型号,升级时只换网关侧的登记项,加工链路不改。
第四项措施针对的是数据集建设中最隐蔽的一类错误:基准测试集的内容混进了训练集,于是评测分数虚高,而虚高的部分无法事后分辨。
本项目按四级级联处置。一级精确重复按指纹比对,指纹相同即判重复;二级近重复按局部敏感哈希检出改动少量字词的重复;三级语义相似按向量相似度过滤表述不同而含义相同的样本;四级污染扫描按 n-gram 命中检查训练集与基准集、专家题库之间的重叠。四级之间是级联而不是并列——上一级判出的重复组不再进入下一级计算,这样既省算力,也避免同一组样本被重复计数。
与通常做法的差别,在于检出之后怎么处置。通常的去重是一道并列的过滤,发现重复即删除,发现泄漏即把泄漏样本从基准集里移出去;本项目的处置是级联加作废——四级之间上一级判出的重复组不再进入下一级计算,而一旦检出跨集合泄漏,不仅重做切分,还要作废受影响的评测结论。后一条在管理上更难执行,因为作废评测结论意味着一段时间的评测工作要重做,报表上的分数也要收回。但不作废的后果更重:用泄漏数据训出来的模型,它在基准集上的分数已经不能反映真实能力,若把这个分数留在记录里当作基线,后续所有与它比较的结论都跟着错,而且错在看不见的地方。本项目宁愿在过程中承认一次返工,也不让一个不可靠的分数留在验收材料里。
泄漏防护在切分环节还有一道。数据集切分与基准构建工具链在切分前先做泄漏检测,按五类口径检查跨集合重叠;基准测试集一经构建即冻结,每次使用前校验指纹,指纹不一致则该次评测结论作废。发现泄漏的处置是重切并作废受影响的评测结论,而不是只把泄漏样本删掉了事——因为用泄漏数据训出来的模型,它的评测分数已经不可用了。
成效口径按可验证的方式写:精确重复按指纹口径可完整识别;近重复在抽样复核下准确率趋向 95%;高风险污染命中逐步接近完整拦截,中风险命中进人工裁定;跨集合泄漏在五类检测口径下逐步接近零命中。四级防护的召回水平以回灌测试度量:向待检批次按既定比例注入一批已知的精确重复、近重复与污染样本,统计各级的检出比例,注入清单的构造方式、注入位置与检出统计一并留档,使召回指标有可复算的实测依据。回灌测试每季度随机重做一轮,注入清单不复用,避免工具对固定的注入样本形成适应。基线与回退路径见 1.10 节。
第五项措施是把「数据集质量」这件事从主观判断变成可观测的回路:用模型在基准集上的表现反向定位数据集的缺陷,再把缺陷转成具体的数据修订工单。
回路有四段。第一段是血缘记录:每条样本从原始文件到对齐、标注、增强的全过程以同一组键串起,数据集版本与训练任务、模型检查点、发布审批记录构成血缘图谱。第二段是评测:多协议模型评测引擎在冻结基准集上出样本级结果,不只出总分。第三段是归因:错题按能力维度与数据子集标签聚类,定位到是哪一类数据子集的覆盖不足或标注偏差导致了这一簇错误。第四段是回流:归因结论自动生成数据修订工单,工单指明要补的样本类型、要改的标注口径、要重做的子集,回到加工链路执行。
这条回路的创新性不在任何单项技术,而在于它把评测结论接回了加工动作。常见的做法是评测出一份报告,报告里写「某能力偏弱,建议加强」,到此为止;本项目的做法是报告直接产生工单,工单有责任人与时限,复检通过才闭合。影响范围分析是这条回路的配套能力:某个数据子集被判定有问题时,血缘图谱能查出哪些数据集版本、哪些训练任务、哪些模型检查点用过它,从而确定需要重做的范围。
举一个本项目实际会遇到的例子。基准测试集中焊接工艺参数推荐一类题目若出现成簇的错误,归因的第一步是看这些错题集中在哪一类工件上——若集中在板厚 20 毫米以上的厚板多层多道焊,第二步就去查制造过程数据集里这一板厚区间的样本占比与标注口径,第三步按待验证的归因路径逐项排除而不是直接给结论:先比对该区间的样本占比与其他板厚区间,再核查层道编号、层间温度、道间停留时间三类字段的记录完整率,最后抽取该区间的样本由数据生产类专家复核标注口径是否与作业指导书一致。归因结论须指向其中某一项或几项的实测证据;证据不足时,工单只写需要补采的字段与需要复核的范围,不写原因判定。排除到哪一项,修订工单就指向制造过程数据集中厚板焊接子集的哪一处补采与重标,补采的测点、要补的字段、重标的范围都写在工单里,而不是笼统地写一句「加强焊接数据」。这类定位的前提有两条:错题能挂回数据子集标签,数据子集标签能挂回样本血缘。两条都靠前面几项措施支撑,回路的价值也正是在这里才显出来——它让「数据集质量不高」这句笼统的判断,变成若干条有范围、有责任人、有时限的具体工单。
成效口径分过程指标与发布准入两层,两层口径不同,不可互相替代。
过程层面度量的是加工质量的改善过程:加工候选批次的血缘挂接率首期按不低于 90% 设定管理值,随批次推进趋向 98%,每批次在提交质检时统计并记入批次台账;挂接不全的样本进入补录队列,补录后重新统计。
发布准入层面不设比例指标:进入发布版本的样本须全部满足既定追溯要求——每条样本可回溯至原始文件标识、加工链路各环节的处理记录与所用配置版本号。发布前的血缘完整性校验对发布范围内的样本逐条执行,未满足的样本不进入该版本,补齐后随下一版本发布。过程指标的高低不改变这道准入门槛。
归因产生的修订工单按时闭合率,首期按不低于 85% 设定为管理值,运行一年后逐步接近 90%。取值的确定程序是:工单按影响范围分三档定时限——单一子集的标注口径修订 10 个工作日、子集的补采与重标 30 个工作日、跨数据集的口径统一 60 个工作日;闭合率按台账中在时限内完成复检的工单数占当期应闭合工单数计算,每月统计、每季度通报。未达管理值时的处置有两条:核查该档时限是否与实际工作量匹配并调整档位划分,核查归因结论是否过于笼统导致工单无法执行并返回评测侧细化。管理值与三档时限在蓝图设计阶段随加工计划细化后报招标方核定,核定值与建议值不一致的按核定值执行。
第六项措施是工程层面的:25 个工具共用一套任务骨架,而不是各自实现一套运行支撑。
骨架的四件事是:任务与批次(一次提交对应一个任务,任务按可重试的最小单元切成批次,异常重试以批次为粒度,不必整任务重跑);双通道算子(见 1.2 节);统一的血缘与版本字段(见 1.3 节与 1.4 节);统一的任务状态机与回调。工具作为奔牛数据智能平台的功能模块交付与运行,共用平台的身份认证、权限控制、任务调度、版本管理与日志审计能力。
与通常做法的差别,在于骨架是先建还是后补。工具按需逐个开发、各自实现运行支撑,是数据加工项目最常见的组织方式,它的前期推进确实快,问题会出在第十几个工具上线之后:日志格式不一致、血缘字段各写各的、同一个任务状态名在不同工具里含义不同,运维要为每个工具单独接一遍监控,甲方的操作人员要为每个工具学一套提交方式。本项目把任务骨架作为第一批交付内容先建成,25 个工具在骨架之上开发,血缘与版本字段由骨架统一写入。先建骨架在前期要多花一轮设计与一轮联调,但它是「血缘挂接率」这项指标能够作为可验收指标存在的工程前提——若靠 25 个工具各自记得写同样的字段,这项指标就只能靠抽查来估计,估计出来的数字无法用于验收。
统一骨架带来两个实际好处。对甲方来说,熟悉一种任务提交方式与一种结果结构就能用全部工具,不必为 25 个工具学 25 套用法;培训成本与运维成本随之下降。对项目本身来说,血缘字段由骨架统一写入而不靠各工具自觉实现,这是血缘完整性能够达到门限的工程前提——靠 25 个工具各自记得写同样的字段,是记不住的。
招标文件要求投标文件「佐证性强」。六项技术措施没有一项是凭空提出的: 每一项都落在一个已有的公开方法族上,我方的创新在三处——方法之间的组合方式、 在本项目具体对象上的具体化,以及把判定门限做成可标定、可复核、可回退的工程口径。 本小节逐项给出方法出处与我方在其上具体化的内容, 并给出每一道门限的标定过程与留档材料,供招标方逐项核对。
表 2.10-1 六项技术措施的方法依据与我方的具体化
| 技术措施 | 所属方法族 | 依据来源 | 我方在其上的具体化 |
|---|---|---|---|
| 双通道算子 | 确定性计算与模型推断的分流;选择性预测(selective prediction) | 本项目标定集上实测的置信度—正确率曲线;展开长按中性层公式复算,第三方可用同一公式验算 | 用七类本体约束与工艺计算公式界定「能算出来」的边界;两通道交叉比对而非「模型先标、人再抽检」的串行抽检 |
| 证据、置信度与分流三件套 | 置信度校准与人机分流;标注一致性度量 | 一致性度量取科恩卡帕系数(Cohen's κ)与克里彭多夫阿尔法系数(Krippendorff's α),方法出处见参考依据 ① ② | 证据定位到图元句柄、帧时间戳、测点编号与时间区间一级,而非笼统的来源说明;三档阈值在试点批次的标定集上标定并留档 |
| 配置即代码与可回放 | 加工流水线可复现;配置项版本管理 | 本项目按记录配置版本重跑历史批次的比对记录 | 提示词模板、输出结构定义、本体版本、采样策略参数、相似度阈值一并入库带版本号;每条输出记录携带配置版本号与工具版本号 |
| 污染与泄漏四级级联防护 | 精确指纹比对;局部敏感哈希(locality-sensitive hashing)近重复检出;向量语义相似过滤;n-gram 重叠的污染扫描 | 基于局部敏感哈希的近重复文本比对方法见参考依据 ③ | 四级级联而非并列——上一级判出的重复组不再进入下一级计算;基准测试集一经构建即冻结,每次使用前校验指纹,指纹不一致则该次评测结论作废 |
| 血缘与错题反向归因的回路 | 训练数据归因(training data attribution)与数据血缘 | 归因方法族见参考依据 ④ | 归因结论自动生成数据修订工单,工单有责任人与时限、复检通过才闭合;影响范围由血缘图谱反查用过该子集的数据集版本、训练任务与模型检查点 |
| 统一任务骨架 | 统一任务与批次模型;按批次幂等重试 | 本项目的接口一致性测试与运维侧单点接入验证 | 血缘与版本字段由骨架统一写入,不依赖 25 个工具各自实现;异常重试以批次为粒度,不必整任务重跑 |
表 2.10-1 数据来源:方法族名称按公开文献的通用表述;「依据来源」列中标注参考依据编号的, 出处见下方清单;未标注编号的,依据是本项目自己的标定集、比对记录或一致性测试, 相应材料随阶段验收提交。各项的首期基线、度量方法与回退路径见表 2.10-4。
参考依据:
① Artstein R. Inter-annotator Agreement. In: Handbook of Linguistic Annotation. Springer, 2017. DOI 10.1007/978-94-024-0881-2_11 ② Krippendorff K. Alpha Compared With Primarily Nominal Agreement Measures. In: The Reliability of Generating Data. 2022. DOI 10.1201/9781003112020-5 ③ Zhang Y, Peng Z, Qiao M, et al. LSHAlign: All-Pair Near-Duplicate Text Alignment via Locality-Sensitive Hashing. Proceedings of the ACM on Management of Data, 2026. DOI 10.1145/3802083 ④ Mlodozeniec B, Reid I, Power S, et al. Distributional Training Data Attribution: What do Influence Functions Sample? Advances in Neural Information Processing Systems 38, 2025. DOI 10.52202/085713-0339
技术路线的可行性建立在三条上,而不是建立在某一项方法是否新。
第一条,每一项都以可复算或可标定为前提。能用公式算出来的用公式,验收时第三方复算即可; 不能用公式算的用标定集定阈值,标定集与置信度—正确率曲线一并留档。 本节各项指标均配有度量方法与留档材料:公式类指标出复算脚本与输入输出样例, 阈值类指标出标定集与置信度—正确率曲线,检出类指标出回灌测试的注入清单与检出统计, 三类材料随阶段验收提交,使每一项都可由招标方按同一方法复核到同一结果。
第二条,不依赖单一供应商或单一模型。方法族均为公开可查,涉及大模型调用的环节 经奔牛数据智能平台的统一模型网关接入,采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级; 模型随代升级时只换网关侧的登记项,加工链路不改。交付文档不绑定具体品牌与型号。
第三条,每一项都有回退。六项的未达门限处置已逐项写入表 2.10-4, 回退动作分三类:收紧(提高抽检比例、转人工复核)、隔离(不进入下一阶段或发布版本)、 复议(调整门限或时限设定并说明理由)。因此技术路线的可行性不取决于每项门限首次就达成, 而取决于门限标定与回退路径是否落实——这两件在本节与各工具链一、二、三各节都给了可核对的口径。
1.2 至 1.8 节给出的是措施本身与它们的方法依据。一项措施是否值得按它的代价实施,还要回答两个问题:它比通用做法好在哪里、好多少,以及它要占用多少额外投入、带来哪些新的风险。本小节给出这两个问题的回答方式——对照验证的设计,以及成本与风险的逐项分析。
对照验证按同源分流的方式设计。 取同一批源数据,在同一时间窗内分两路处理:一路按本项目的措施走完整链路,另一路按通用做法走对照链路(模型先标、人再按固定比例抽检;去重与污染扫描并列执行;提示词与阈值不入版本库;各工具自行记录日志)。两路的输入完全相同,差别只在措施本身,因此两路的产出差异可以归因到措施。对照批次的规模按各措施的观测量所需的最小样本量确定,不按比例分摊;对照过程的配置、批次清单与两路产出一并留档,供招标方按同一方法复算。
表 2.10-2 六项技术措施的对照验证设计
| 技术措施 | 对照组的做法 | 观测量 | 取样规模与时机 | 结论形成时点 |
|---|---|---|---|---|
| 双通道算子 | 模型单通道预标注+固定比例人工抽检 | 等质量水平下的人工复核工时;两路终检缺陷率 | 不少于 2,000 条工艺类样本,分 4 个批次 | 首批数据集加工完成后 |
| 证据、置信度与复核状态三项必填字段 | 证据只记文件名或批次号,置信度不入库 | 单条存疑样本的复核耗时;可被第三方独立复核的样本占比 | 随机抽取 300 条存疑样本,双盲计时 | 首批质检抽样复核完成后 |
| 配置即代码与可回放 | 提示词与阈值不入版本库,调参不留痕 | 按记录重跑历史批次的结果一致率;一次参数回溯的平均耗时 | 抽取 10 个历史批次重跑 | 第二批数据集建设期内 |
| 污染与泄漏四级级联防护 | 去重与污染扫描并列执行,检出即删 | 各级检出比例(回灌测试);级联与并列两种组织方式的计算耗时 | 每季度一轮回灌测试,注入清单不复用 | 首轮回灌测试完成后,此后按季度滚动 |
| 血缘与错题反向归因的回路 | 评测出报告、报告不转工单 | 从评测结论到修订工单下发的间隔;修订后复评的缺陷收敛情况 | 首轮评测的全部错题簇 | 首轮「评测—归因—修复—回评」闭合后 |
| 统一任务骨架 | 工具各自实现运行支撑 | 血缘与版本字段的写入完整率;运维侧接入一个新工具的工时 | 全部 25 个工具的接口一致性测试 | 工具链集成测试完成后 |
表 2.10-2 数据来源:对照组做法按通用数据加工实践的常见组织方式设定;观测量与取样规模为本方案设定,随蓝图设计阶段的批次排期细化后报招标方核定。各项结论在上表所列时点之后形成,投标阶段不给出改善幅度的预估值——未经本项目实测的改善幅度不具备验收意义。
六项措施的成本分三类,性质不同,处置方式也不同。 第一类是一次性前置投入:任务骨架要先建成再开发工具,比边建边用多一轮设计与一轮联调;阈值标定集要由专家逐条确认,首批四类标注任务各需一组标定集。这一类的特点是只付一次,付在项目前期,占用的是进度余量而不是持续产能,处置办法是把骨架与标定集列入第一批交付内容并在实施计划中单列里程碑。第二类是持续性开销:双通道算子要同时跑规则与模型两路,增加的是计算量;配置项每次微调都要提交一次变更记录,增加的是人工动作;回灌测试每季度一轮,注入清单不复用,每轮要重新构造。这一类的特点是随批次累积,处置办法是把它计入各环节的单位产能口径,在产能测算中显性列出而不是摊进总量。第三类是机会成本:检出跨集合泄漏后要作废受影响的评测结论并重做评测,这意味着一段时间的评测工作返工。这一类不可预算,只能预留处置通道——评测排期中保留返工窗口,作废与重做的决定由数据质量专业委员会出具结论。
表 2.10-3 六项技术措施的成本与风险
| 技术措施 | 主要成本项 | 成本性质 | 主要风险 | 风险处置 |
|---|---|---|---|---|
| 双通道算子 | 规则通道的开发与维护;两路并行的计算量 | 一次性前置+持续 | 两通道长期一致率偏低,人工复核量不降反升 | 一致率低于门限时该类样本全量转人工并重新标定阈值,同时核查是规则覆盖不足还是本体定义不清 |
| 证据、置信度与复核状态 | 证据定位到图元句柄、帧时间戳、测点编号一级,抽取与存储开销增加 | 持续 | 证据字段写得出但指不准,复核人仍需回原文件 | 入库校验抽样核验证据的可定位性,定位失败的记录退回补录并修订该工具的证据抽取规则 |
| 配置即代码与可回放 | 每次参数调整提交一次变更记录;配置版本随时间膨胀 | 持续 | 变更记录流于形式,版本号与实际配置脱节 | 运行时按版本号加载,加载失败即任务失败;每季度抽取历史批次重跑比对,不一致的批次标记不可复现 |
| 污染与泄漏四级级联 | 四级计算的算力;每季度一轮回灌测试的构造工作量 | 持续 | 工具对固定注入样本形成适应,回灌结果虚高 | 注入清单每轮重新构造且不复用,构造方式与检出统计一并留档备查 |
| 血缘与错题反向归因 | 血缘字段的写入与存储;工单闭环的管理成本 | 持续 | 归因结论过于笼统,工单无法执行 | 工单须写明要补的样本类型、要改的标注口径、要重做的子集,写不出具体范围的退回评测侧细化 |
| 统一任务骨架 | 骨架先建的一轮设计与联调;工具须按骨架改造 | 一次性前置 | 骨架定型过早,后期工具的特殊需求挤不进来 | 骨架只固定任务与批次模型、血缘与版本字段、状态机与回调四项,工具特有的处理逻辑不进骨架 |
表 2.10-3 数据来源:成本项与风险项为本方案按各措施的实施方式逐项列出;处置办法与表 2.10-4 的回退路径同口径,两处不重复设定。
对照验证的结论要等首批实测才能出,而一项措施能否验收,在实施之前就须有判据。这里给的就是判据本身:每项措施一个可度量的首期基线、一套取得该数值的度量方法、一条达不到时的既定回退。三者缺一不可——只给基线不给度量方法,验收时双方各算各的数;只给基线不给回退,承诺便成了无条件承诺,一旦不达标反而无章可循。
基线取值有三类来由。证据字段完整率、血缘挂接率一类已在工具链一、二、三各节按同一数值写定,此处只作归并,不另行设定;双通道一致率的门限由处置动作反推——它对应「高置信档抽检比例由 5% 降至 3%」这一动作,门限定在何处,取决于降比例之后终检缺陷率仍能守住;该门限是首期的验收线而不是终值,运行一年后依实测的缺陷率分布与复核样本的分歧类型分布上调,目标逐步接近 95%,上调后的取值随季度质量报告报招标方确认;近重复抽样准确率、修订工单按时闭合率一类则随蓝图设计与首批实测结果确认,现阶段按待验证目标列出,不作既成结论。
表中「针对的现场困难」一列说明措施因何而设,其后三列各司其职:「首期基线」是验收判据,「度量方法」是取得该判据的证据路径,判据与证据分列,便于招标方按同一方法复算而不是只看结论;「未达门限时的回退」与表 2.10-3 的风险处置同口径,不另设一套。六行合起来支撑的是一条承诺:六项措施各有一条可度量、可复算、可回退的验收线,交付时按线逐项核对即可。
表 2.10-4 六项技术措施的成效口径
| 技术措施 | 针对的现场困难 | 首期基线 | 度量方法 | 未达门限时的回退 |
|---|---|---|---|---|
| 双通道算子 | 工艺类判断错误不会被海量样本摊薄 | 两通道一致率首期不低于 90%,运行一年后逐步接近 95%;高置信档抽检通过率达门限后抽检比例由 5% 降至 3% | 每批次抽 500 条,按公式类与语义类判断分层后由工艺或设计口人员双盲复核,按批次出数、按月汇总判定 | 一致率低于门限则该类样本全量转人工复核,并重新标定阈值;连续两个月低于门限的暂停该类样本的自动分流,整改后以连续两个批次复测不低于门限为恢复条件 |
| 证据、置信度与分流 | 输出无法被复核,质量只能靠抽检 | 证据字段完整率趋向 99%;置信度阈值在标定集上完成标定 | 字段完整性自动校验+标定集曲线留档 | 证据缺失的记录不进候选集,退回补录 |
| 配置即代码与可回放 | 参数调优过程无记录,无法复现与交接 | 全部可调项入库并带版本号;按版本重跑的结果一致 | 抽取历史批次按记录配置重跑比对 | 重跑结果不一致则该批次标记不可复现,暂不进入发布版本 |
| 污染与泄漏四级级联 | 基准集污染导致评测分数虚高且事后不可分辨 | 精确重复按指纹口径可完整识别;近重复抽样准确率趋向 95%;跨集合泄漏逐步接近零命中 | 以已知注入的污染样本做回灌测试统计召回;切分后复查 | 发现泄漏即重切并作废受影响的评测结论;未判定清楚的样本先隔离 |
| 血缘与错题反向归因 | 评测报告与加工动作脱节,问题反复出现 | 血缘挂接率趋向 98%;修订工单按时闭合率不低于 85% | 发布前血缘完整性校验;工单台账统计 | 未挂接样本退回补录,补不齐的从该版本剔除并记入待补清单 |
| 统一任务骨架 | 工具各自为政,血缘靠自觉、运维成本高 | 25 个工具均通过统一接口提交并返回统一结果结构 | 接口一致性测试+运维侧单点接入验证 | 未纳入骨架的工具不计入交付完成,整改后复验 |
表 2.10-4 数据来源:各项基线与回退路径取自工具链一、二、三各节的质量口径表;抽检比例与一致率门限的最终取值随蓝图设计与首批实测结果确认,均属待验证目标。
六项技术措施放在一处看,指向的是同一件事:让这批数据集具备支撑企业级智能系统的条件。这一判断需要交代清楚,因为智能场景的建设不在本包范围内,而数据集的设计取向却必须按将来的用法来定——数据集是先交付的,用它的系统是后建的,先交付的一方若不按后建一方的接口要求来准备,返工就落在数据侧。
企业智能系统对数据的要求,与通用语料训练对数据的要求有三处不同。第一处是回答要能溯源。企业里的应用场合,一个工艺参数建议若说不出依据,使用的人不会采信,班组更不会据此调整作业;因此数据集的每一条都要带着它的出处,这是 1.3 节把证据做成必填字段的原因。第二处是术语要与企业自己的叫法一致。同一台刮板输送机在设计、工艺、制造、质量四个口里有四套叫法,智能系统若按通用语料里的叫法回答,与现场对不上;因此标注口径要统一到知识本体给出的对象定义上,这是本节工具链与总体方案中以知识本体为中枢的技术主线相接的地方(见「技术方案总论 · 需求理解 · 总体技术架构」一节的知识本体中枢)。第三处是能算的不能靠猜。展开长、材料定额、热处理保温时间这类数值有公式与标准可循,智能系统在这些地方必须走确定性计算而不是语言生成,数据集也应把公式类判断与语义类判断分开标注、分开评测,这是 1.2 节双通道算子的由来。
把三处要求连起来,可以看到本包交付物在整个数据要素链条中的位置:知识本体给出统一的对象与关系定义,四类数据集按这套定义加工并自带证据与血缘,基准测试集与评测结论给出这批数据的能力边界,场景验证给出在十一个具体业务场合下的可用性结论。将来在其上建设的智能系统,无论采用检索增强、工艺知识问答还是参数推荐的形态,取的都是同一套对象定义、同一批可溯源样本与同一份能力边界说明。这意味着数据集与系统之间不需要一次语义层面的二次对接——对接工作在数据加工阶段就按本体做完了。
需要说明的是,上述衔接关系是对交付物性质的说明,不是对智能系统建设成效的承诺。本包交付的是数据集、评测结论与场景验证结论;智能系统的建设与运行成效取决于系统侧的设计与实现,由相应包与建设方负责。本节把衔接关系写出来,目的是说明工具链的六项技术措施为什么要按现在这个样子设计,而不是为了把范围延伸到数据集之外。
工具链的技术措施服务于本包的交付物,即四类数据集的加工生产、质量评测与场景验证。工具链本身也是本项目形成的可复用技术资产,在运营期作为技术工具赋能类公共服务向行业输出,输出方式是能力租用与任务代做而不是工具交付(见「数据集运营服务管理平台建设要求」一节 2.6 节)。这一条与 6.4.5 节的能力复用机制相衔接。
智能场景建设不在本包范围内。工具链产出的是场景验证所需的样本与评测结论,场景本身的建设由相应包承担。
招标文件要求围绕数据持续汇聚、运营体系、运营架构、盈利模式、运营组织、公共服务内容体系及接入国家数据基础设施七个方面,提出可落地的运营服务能力与机制,支撑高质量数据集的可持续运营与对外服务。七个方面的机制本体——平台功能、角色设置、流程与界面——在「数据集运营服务管理平台建设要求」一节 2.1 至 2.7 节逐条给出;本章在七个方面之下给出各方面的深化措施、执行清单、过程记录与交付判据,并在 2.8 节给出把七个方面连起来运行的运营机制。两处同口径,机制描述取该节,措施与判据取本章。
七个方面的措施能不能落地,取决于三件事是否齐备:有没有对应的文本、有没有对应的平台功能、有没有对应的追责路径。缺任何一件,措施就停在方案里。
第一件是文本。七个方面的措施共落在十一份文本上:主体责任清单、数据提供协议、服务履约承诺、五类专业能力的交付物清单与质量判据、交接单模板、责任比例规则、三层服务定价规则、年度预算分配办法、专业委员会议事规则、权限矩阵、派单规则。这十一份是运营措施的实际载体——「服务边界按交付物划分」的全部内容就在交付物清单与质量判据那两份里,「专业事项不表决」的全部内容就在议事规则那一份里。十一份文本列入交付物清单,在建设期内分阶段提交并经招标方确认,确认后的版本进入制度体系(见 6.3.3 节),与软建设的制度建设同口径管理。文本的清单、拟稿责任与提交时点在实施计划中单列。
第二件是平台功能。七个方面中有四项需要平台承载:收益表的生成与呈现、权限矩阵中的四处分离、待办事项的规则派单与超期升级、交接单在平台上的流转与签回。这四项不是纸面规则能自行实现的。「规则制定与规则执行分离」要落实,必须由平台把规则配置项的修改权限与业务操作权限分配给不同角色,否则一个有操作权限的人顺手改一下阈值,这道分离就不存在了;「待办由规则派单而非由人认领」要落实,必须由平台按派单规则自动指派并记录时限,否则难办的事仍会留在队列里没人动。四项功能列入运营服务管理平台的功能模块,与机制文本同期上线,上线后以权限矩阵核查与派单记录抽查两种方式验证其实际生效,而不只验证功能存在。
第三件是追责路径。措施最常见的失效方式不是没人执行,而是执行不到位也没有后果。七个方面各配一处追责落点:运营体系的三层责任由三份约束文本分别约定,违约责任按文本执行;运营架构的责任比例由交接单中约定的检查项范围判定,争议时按交接单判而不重新谈判;盈利模式的收益表采用情况在年度预算分配文件中可见痕迹,未采用需书面说明理由;运营组织的四处分离由审计员核查,审计报告直接提交决策层而不经运营中心;公共服务的试用额度发放与使用进入服务类型收入表,由决策层年审时审视;接入国家数据基础设施的两段进度在实施计划里程碑中单列,第一段的验收不受外部进度影响;数据协同汇聚的到位率与份额登记进入季度汇聚看板,连续两期未达成的由执行层上门沟通并调整通道档位。七处落点的共同特征是把执行情况变成某一份可查文件里的一行,而不是依赖定期的自查自报。
表 2.10-5 运营推广七个方面的深化措施、执行清单、过程记录与交付判据
| 方面 | 深化措施 | 执行清单(谁在什么时点做什么) | 过程记录 | 交付判据 |
|---|---|---|---|---|
| 数据协同汇聚 | 通道按技术条件分四档;一数一源登记;按份共有直通清算;四类激励按对象分设 | 蓝图设计阶段由项目组完成三类协议模板并经招标方法务口径确认;平台确权与清算模块随第一批功能上线;汇聚计划按季度滚动,执行层按季度核对到位率 | 协议台账、来源登记台账、份额登记记录、入库三项核查结论、季度汇聚看板、积分发放与抵扣流水 | 四档通道均建成且各有实际汇聚方使用;批次登记完整率趋向 99%,不完整的不进加工队列;有收益数据集的分账明细与确权登记月度对账一致 |
| 运营体系 | 四类数据集按业务主线划分;三层责任各配一份约束文本 | 建设期首年由项目组拟定主体责任清单、数据提供协议与服务履约承诺,报招标方确认;数据集划分口径在蓝图设计阶段经甲方确认 | 三份文本的评审记录与生效版本、数据集划分确认记录 | 三份约束文本齐备且各自载明责任边界;四类数据集划分经甲方书面确认 |
| 运营架构 | 服务边界按交付物划分;交接单+责任比例规则 | 五类专业能力的交付物清单与质量判据在首批数据集加工启动前定版;交接单模板随平台功能上线;每次上下游交付即时签回 | 交付物清单与质量判据、交接单流转记录与签回时间、退回与整改记录 | 五类专业能力各有交付物清单与质量判据;交接单在平台流转且签回率可按月统计 |
| 盈利模式 | 数据集收益表作为年度预算的硬性输入;三层分层与公益商业比例年审 | 清算模块按数据集归集订单与收益,按月出收益表;年度预算分配前由运营中心提交收益表,决策层按表审议 | 数据集收益表、服务类型收入表、年度预算分配文件及其审议记录 | 年度预算分配文件中可见收益表的采用痕迹,未采用的有书面理由;公益与商业比例在服务类型收入表中单独呈现 |
| 运营组织 | 专业事项不表决,采用独立评审与分歧上升;关键动作四处分离;待办由规则派单 | 专业委员会议事规则与权限矩阵在平台上线前定版;审计员按季度核查权限配置;待办由派单规则自动指派,超期自动升级 | 专业意见书与分歧上升记录、权限配置变更记录、审计报告、待办台账与超期升级记录 | 议事记录体现独立评审与分歧上升;权限矩阵体现四处分离且经审计核查;待办按时完成率可按月统计 |
| 公共服务内容体系 | 输出能力而非工具;三类方法文档公开发布;起步门槛设免费试用额度 | 能力租用与任务代做两种形态随平台服务模块上线;三类方法文档在首批数据集发布后公开;试用额度按年度公益服务预算分配 | 服务上线记录、方法文档发布记录与版本、试用额度的发放与使用流水 | 两种服务形态均上线且有实际订单;三类方法文档公开可取;试用额度的发放与使用可逐笔查证 |
| 接入国家数据基础设施 | 本地准备与接入实施两段分开;改配置不改模型 | 第一段(目录标识映射位、主体标识与凭证分离、三组对外接口与接口桩)在建设期内完成并自测;第二段按规范开放情况滚动推进 | 接口自测记录、映射配置的回归测试记录、连接器部署与变更记录 | 三组接口与接口桩建成并自测通过;映射配置变更后回归测试通过;第一段验收不依赖外部进度 |
表 2.10-5 数据来源:七个方面依招标文件所列;各方面的机制本体见「数据集运营服务管理平台方案」一节对应章节;执行清单、过程记录与交付判据为本方案设定,随实施计划定版后报招标方确认。
招标文件要求建立可行的数据协同汇聚机制,将分散在产业链各环节、各主体的数据资源与数据集持续汇聚至运营平台。汇聚机制的本体——五类汇聚主体与汇聚范围、四种汇聚通道、入库三项核查、四类激励方式——已在「数据集运营服务管理平台建设要求」一节 2.1 节逐条详述。本节在本条之下给出四项深化措施、执行清单、过程记录与交付判据,机制本体不重复论述。
招标文件要求把分散在产业链各环节、各主体的数据资源与数据集持续汇聚至运营平台。这件事的难处不在技术通道,而在三处:数据在别人手里、数据没有电子留痕、数据给了之后给方得不到什么。
第一处最典型的例子是接口参数。工作面成套设备的截深、截高、推移步距这类参数,是矿方与刮板输送机、采煤机、液压支架、破碎机各家坐在一起讨论、相互妥协之后确定的,往往只存在于交流过程中,没有规范的电子留痕。这类数据不会自己流到平台上来。
第二处是产业链上中小配套企业的数据条件。它们有数据但没有系统,或者有系统但接口不开放,要求它们按统一接口规范接入是不现实的。
第三处是激励。一个只向平台单向供数的企业,供了三次之后就会问「我得到了什么」。没有回答,汇聚工作就停在第一次。
常见做法是平台定一套接入规范,汇聚方按规范改造自己的系统。这个做法在产业链上游与下游的大型企业处行得通,在中小配套企业处行不通——改造成本超过它们供数的意愿。
本项目的做法是把通道按汇聚方的技术条件分四档,由汇聚方选:有系统且能开放接口的用接口对接,按约定频次增量拉取或推送;有系统但不便开放接口的用文件交换,按约定格式定期交换;数据量小或非结构化的用平台录入,在平台上直接填报或上传;缺少系统与数字化条件的用现场采集,由项目组配合完成。
四档通道的产出在入库后统一到同一套数据模型上,差别只在入口。这一设计把「改造成本」从汇聚方一侧移到了平台一侧——平台多做三种入口,换来的是汇聚范围能覆盖到没有系统的主体。对一个行业数据集来说,缺少中小配套企业的数据,覆盖面就是不完整的。
成效口径:四种通道均建成并有实际汇聚方使用;汇聚计划的到位率首期按不低于 80% 设定基线,运行一年后逐步接近 90%;连续两期未达成的汇聚方由运营组织的执行层上门沟通并调整通道档位。
来源可溯这件事通常写成一句原则。本项目把它做成登记动作:每一批汇聚数据在进入平台时登记来源主体、来源系统或采集方式、取得依据(协议编号或内部授权记录)、交付时间与交付人、原始数据的指纹。
登记的关键是时点:在数据进入平台时完成,不是事后补。事后补的来源记录在争议发生时没有证明力,因为补的人就是有争议的一方。登记完成后,后续加工产出的数据集通过血缘关系回溯到原始来源,一条样本能回答「它来自谁、依据哪份协议、哪一天交的」。
这一设计与工具链的血缘字段是同一套机制的两端:汇聚侧登记来源,加工侧记录链路,两端在同一组键上对齐。对外发布时,数据集卡片的来源与权属字段取自登记项而不是人工填写,减少了口径不一致。
成效口径:进入平台的数据批次登记完整率趋向 99%,登记不完整的批次不进入加工队列;数据集发布前校验其全部来源批次的登记完整性,不完整的不予发布。
产业链数据的一个固有特征是多方共有。接口参数由多方会商确定,制造过程数据涉及钢材供应商的材料批次与质量证明,在役运行数据来自煤矿企业。这类数据的权属不是「归谁」,而是「各占多少」。
本项目的做法是在协议签订时就把份额写明并登记入平台的确权模块,份额直接作为清算规则的输入。合作共建类的汇聚采用按份共有,数据集产生收益时,清算模块按登记份额自动生成分账明细,不需要每次人工核算与协商。
把权属约定做成可执行规则,解决的是激励的可信度问题。一个汇聚方愿意持续供数的前提是它相信将来真能分到;分账由规则自动执行且明细可查,这件事就可信。反过来,若分配要靠每次协商,汇聚方的预期就不稳定。
成效口径:合作共建类汇聚的份额登记在协议生效后 5 个工作日内完成;有收益的数据集按登记份额生成分账明细,分账明细与确权登记的一致性在月度对账中校验,不一致的挂起并人工核对。
单一的收益分成覆盖不了全部汇聚方:无偿公益提供方不要分成,中小企业等不到数据集产生收益,研究机构更看重署名与标准参与。本项目按对象分设四类激励:收益分成面向有偿提供方与合作共建方;服务权益面向无偿公益提供方与产业链中小企业,按贡献量折算平台服务配额(数据集使用额度、接口调用额度、加工任务额度),折算为服务积分并在订单中抵扣;优先获取面向持续供数的产业链企业,新版本数据集优先试用、评测服务优先排期;署名与认定面向全部汇聚方,在数据集卡片中署名贡献主体,并认定其参与行业标准验证与试点工作。
服务权益这一类是针对中小企业设计的。它们的实际困难不是没有数据,而是没有能力把数据变成可用的数据集;用服务配额回报它们的供数,比许诺将来的收益分成更有吸引力,兑现周期也短。积分的折算系数由运营组织决策层按年审定:首年按供数批次、样本条数、独有字段的不可替代性三项加权测算,测算办法与首年系数随《数据运营推广专项实施方案》一并提交招标方确认;此后每年依据上一年度的实际兑换量与公益服务预算执行情况复核一次,调整结果在季度汇聚看板中公布。
成效口径:四类激励均有兑现记录;服务积分的发放与抵扣在平台上可查;汇聚方的持续供数率(连续两期按计划供数的汇聚方占比)首期按不低于 70% 设定基线,运行一年后逐步接近 80%。该比率按季度统计(一期即一个汇聚计划季度):分母为上一季度按计划供数的全部汇聚方,分子为其中本季度仍按计划供数的汇聚方,数据取自汇聚台账与积分台账,结果随季度汇聚看板公布,连续两个季度的数据齐备后方作一次判定。低于基线时的处置分两步:先按未持续供数的主体类型核查所得激励与其诉求是否匹配,在下一季度调整激励组合或积分折算系数并复测;复测仍低于基线的,由决策层在年审时重新测算折算办法,同时在同类主体中补充备选汇聚方,使覆盖面不因个别主体退出而出现缺口。
前五项措施是做法,这一项是做法怎么被执行:一批数据从谈判到入库要经过哪几步、每一步由谁做、在平台上填哪些字段、由谁审批、产出什么、多久完成。流程按九步执行,九步合起来构成一次汇聚的完整留痕。
表 2.10-6 数据协同汇聚的九步流程与角色、字段、审批
| 步骤 | 责任角色 | 主要动作 | 平台登记字段 | 审批 | 产物 | 时限 |
|---|---|---|---|---|---|---|
| 一 汇聚需求提出 | 运营中心运营服务组 | 按数据集的覆盖缺口测算需要补充的数据类型、主体与数量 | 需求编号、目标数据类型、对应数据子集、缺口量、优先级 | 执行层确认 | 季度汇聚计划 | 每季度首月内 |
| 二 主体与数据条件摸底 | 运营服务组+采集组 | 核实汇聚方的系统条件、数据存量、接口开放意愿 | 主体编号、主体类型、系统情况、可供数据范围、建议通道档位 | 无(登记即可) | 汇聚方档案 | 需求提出后 15 个工作日 |
| 三 协议谈判与签署 | 项目组法务口径支持,甲方为签约主体 | 按三类协议模板谈定供数范围、权属份额、激励方式、真实性与权属担保 | 协议编号、协议类型、生效日期、供数范围、份额、激励方式 | 甲方签署 | 数据提供协议或合作共建协议 | 摸底完成后 30 个工作日 |
| 四 通道档位选定与接入配置 | 平台运维组 | 按协议约定的档位开通接口、文件交换目录、录入表单或现场采集排期 | 通道档位、接入方式、频次、格式规范版本、联系责任人 | 运维组长审批接口与账号 | 接入配置记录 | 协议生效后 10 个工作日 |
| 五 来源与取得依据登记 | 汇聚方或代其录入的采集组 | 在数据进入平台的同时登记来源与依据 | 来源主体、来源系统或采集方式、取得依据(协议编号或内部授权记录)、交付时间、交付人、原始数据指纹 | 系统校验,字段缺失即拦截 | 来源登记记录 | 与数据交付同时 |
| 六 入库三项核查 | 合规与权属专业委员会 | 敏感信息核查、授权范围核查、用途限制核查 | 核查项、核查结论、判定依据、判定人、判定时间 | 把关级出具结论 | 三项核查结论 | 交付后 5 个工作日 |
| 七 归一入库与指纹留存 | 平台运维组+加工标注组 | 四档通道的产出统一到同一套数据模型,生成批次指纹 | 批次号、入库时间、样本条数、数据模型版本、批次指纹 | 系统校验 | 入库批次记录 | 核查通过后 3 个工作日 |
| 八 激励兑现登记 | 清算结算组 | 按协议约定的激励方式登记收益分成、服务积分、优先权益或署名 | 激励类型、计量依据、兑现金额或积分、兑现时间、凭证编号 | 运营中心审核,清算岗复核 | 激励兑现记录 | 按协议约定周期 |
| 九 季度滚动复盘 | 运营中心执行层 | 核对到位率、识别未达成主体、调整通道档位或激励组合 | 计划量、实际量、到位率、未达成原因、调整动作 | 执行层确认,报决策层备案 | 季度汇聚看板与复盘纪要 | 每季度末 |
表 2.10-6 数据来源:步骤划分依招标文件所列四项汇聚要求的执行顺序;角色按五级组织责任体系的作业级与岗位级设置(见 6.4.1 节);字段与审批口径与运营平台确权登记模块一致,时限为本方案设定,随实施计划定版。
九步中有三步是不可跳过的门:第五步的来源登记在数据进入平台时完成,事后补的来源记录在争议发生时没有证明力,因为补的人就是有争议的一方;第六步的三项核查由把关级而不是作业级出结论,判定与使用分开;第七步的归一入库以指纹留存为完成标志,没有指纹的批次不进入加工队列。三道门的执行记录是汇聚机制验收时的抽查对象。
汇聚工作的常态是不齐、不准、不按时。把异常情形与处置写在前面,执行时才不必临时商量。
先要回答的是一个权限问题。异常发生在作业现场,而多数异常的正确处置都会打断进度——暂不入库、整批隔离、批次退回。处置口径若不预先写定,作业级为赶进度自行放行的余地就始终存在,九步流程中第五、六、七步的把关也随之落空。表中把每一类异常的触发条件、立即动作与解除条件固定下来,作业级照表执行,不必逐事请示,也不能逐事变通。
所列情形不是穷举设想,而是沿九步流程逐步推演其可能的岔口得出,归为三类:协议与权属未落定而数据已到(第三、五步),通道或数据本身不合格(第四、五、七步),运营与资源层面的冲突(第六、八、九步)。三类的处置分量不同,前两类止于批次,第三类涉及汇聚方关系与预算安排,须上报执行层或决策层。
「识别方式」一列都绑定到九步中的某一步或某一处系统校验,异常由既定动作或系统判定发现,不靠人临时察觉;「处置」是立即动作,「恢复条件」是解除该状态的唯一判据,未达到即维持原状;「留痕」是事后可核查的证据,也是汇聚机制验收时的抽查对象。其中协议未签而数据已交付、份额协商不成、敏感信息被检出三行最为关键,三者一律不按「权属不清但先用起来」处理——汇入的数据权属清楚、来源可查、用途合规,是数据持续汇聚能够越做越大的前提,否则规模越大,敞口越大。
表 2.10-7 汇聚环节的异常情形与处置
| 异常情形 | 识别方式 | 处置 | 恢复条件 | 留痕 |
|---|---|---|---|---|
| 协议未签而数据已交付 | 第五步登记时取得依据字段为空 | 数据暂存隔离区,不进入核查与入库;由运营服务组补办协议 | 协议签署并补登记后转入正常流程 | 隔离登记、补办记录 |
| 多方共有数据的份额协商不成 | 第三步谈判记录中份额条款未填 | 该批数据暂不入库,不按「权属不清但先用起来」处理;提供按供数批次、样本条数、独有字段不可替代性三类计量口径供协商参考 | 份额写入协议并登记入确权模块后入库 | 谈判纪要、计量口径建议、暂缓入库决定 |
| 接口通道中断超过约定频次两期 | 平台接入监控告警 | 自动生成待办派至运维组,48 小时内定位;属汇聚方侧原因的由运营服务组沟通,必要时降档至文件交换 | 连续两期按频次到位 | 告警记录、待办处置记录、档位调整记录 |
| 登记字段缺失或指纹校验不通过 | 第五、第七步的系统校验 | 批次退回补录,不进入加工队列;连续三次退回的核查该汇聚方的数据管理条件并重定档位 | 字段补齐且指纹校验通过 | 退回记录、补录记录 |
| 敏感信息在三项核查中被检出 | 第六步核查 | 整批隔离,由安全合规类专家判定敏感等级与可用范围;可脱敏的按脱敏方案处理后重新核查,不可脱敏的退回 | 重新核查通过 | 判定结论、脱敏方案与执行记录 |
| 同一批数据重复供给 | 第七步入库前的指纹比对 | 判为重复的不重复计量、不重复兑现激励,向汇聚方反馈比对结果 | 汇聚方确认后关闭 | 比对记录、反馈记录 |
| 汇聚方中途退出 | 季度复盘发现连续两期零供数且沟通无果 | 按协议约定处理在途权益;在同类主体中启用备选汇聚方,避免覆盖面缺口 | 备选主体接入并完成首批供数 | 退出记录、备选主体接入记录 |
| 服务积分兑换额超出当期公益预算 | 清算侧额度监控 | 超出部分顺延至下一期兑换,并在季度复盘中提请决策层调整折算系数 | 决策层审定新的折算系数或追加预算 | 兑换台账、顺延记录、审定记录 |
| 现场采集排期被挤占 | 年度现场采集计划执行偏差 | 计划外需求不挤占已排期产能,进入下一期评估;确需插队的由执行层确认并书面说明理由 | 下一期计划排入 | 排期变更记录与理由说明 |
表 2.10-7 数据来源:异常情形取自四档通道与入库三项核查的实际执行路径;处置办法与入库门控的判据同口径(见 6.4.3 节)。
四项措施能否落地,取决于三项前提是否按时就位,以及两处外部依赖能否被恰当处置。把这些写明,比只给成效口径更有用——招标文件要求方案「佐证性强」,而一项机制的佐证力,很大程度上取决于它是否敢把自己的前提条件讲出来。
第一项前提是协议文本先行。四项措施里有三项直接依赖协议:通道档位的选定、来源与取得依据的登记、按份共有的份额约定,都要在数据提供协议或合作共建协议里写明,平台上的登记项只是协议内容的结构化副本。因此协议模板的拟定要早于汇聚工作的铺开,不能边汇聚边补协议。本项目的安排是在蓝图设计阶段完成三类协议模板(有偿提供、无偿公益提供、合作共建)的拟定,经招标方法务口径确认后用于全部汇聚谈判;模板里把份额、通道、激励方式、真实性与权属担保做成待填条款,谈成什么填什么,不逐家另起一套文本。这样做的好处是登记模块的字段与协议条款一一对应,录入时不需要人工解读协议。
第二项前提是确权与清算模块随平台同期可用。份额登记要能在协议生效后 5 个工作日内完成,前提是模块已经上线;分账明细要能自动生成,前提是清算规则已经配置。若模块晚于汇聚工作上线,前期汇聚批次的份额只能先记在台账上,后续再迁移,迁移过程中出错的风险落在最早参与、最该被善待的那批汇聚方身上。本项目把确权登记与清算规则配置列入平台第一批上线功能,与汇聚工作的首批铺开对齐排期,排期关系在实施计划的里程碑中单列。
第三项前提是现场采集能力的队列安排。四档通道里现场采集一档的成本最高、周期最长,由项目组派人到汇聚方现场完成,产能有上限。因此这一档不能按先来后到受理,要按数据价值排序:优先安排缺失后会造成数据集覆盖面缺口的汇聚方,例如工作面成套设备接口参数的会商方、关键工序的外协加工方。排序结论经运营组织的执行层确认后形成年度现场采集计划,计划内的汇聚方按计划排期,计划外的新增需求进入下一期评估,不挤占已排期的产能。
两处外部依赖需要如实交代。一处是汇聚方的意愿与数据条件,这件事不由技术方案决定。本项目能做的是把供数门槛降到最低(四档通道)、把回报周期缩到最短(服务权益以积分兑现)、把来源与份额做成可查的字段(登记与清算),但一个汇聚方最终是否持续供数,仍受其自身经营状况与数据管理水平影响。处置办法是把汇聚计划按季度滚动修订,连续两期未达成的汇聚方由执行层上门沟通并调整通道档位或激励组合,同时在同类主体中补充备选汇聚方,使单一汇聚方的退出不造成覆盖面缺口。另一处是多方共有数据的份额约定需要招标方与各汇聚方协商确认,份额不是技术判定的结果。本项目提供的是份额登记与自动清算的能力,以及按贡献量计量的若干可选计量口径(供数批次、样本条数、独有字段的不可替代性)供协商时参考;协商不成的数据暂不入库,不作为「权属不清但先用起来」处理——这一条与入库三项核查中的权属清晰一项是同一道门。
把三项前提与两处依赖放在一起看,汇聚机制的可行性并不取决于技术通道是否先进,而取决于协议、模块、产能三件事能否按排期就位,以及对不确定的两处是否留了处置办法。这也是本章把成效口径写成「首期基线+未达基线时的处置」而不是单一目标值的原因。
2.10-2 四档汇聚通道归一入库与权益回流的闭环
图 2.10-2 四档汇聚通道归一入库与权益回流的闭环。数据来源:四档通道依招标文件相应条款;入库三项核查与登记项依相应条款;按份共有与四类激励依相应条款;持续供数率为本方案设定的首期目标,属待验证目标。
四项措施的成效按下表度量。基线均为首期管理值,随首批汇聚实测结果确认后报招标方核定。
表 2.10-8 数据协同汇聚四项措施的成效口径
| 措施 | 针对的困难与做法差别 | 首期基线 | 度量方法 | 未达基线时的回退 |
|---|---|---|---|---|
| 通道按汇聚方技术条件分四档 | 中小配套企业的改造成本高于供数意愿;改造成本由平台承担而非由汇聚方承担 | 四档均建成并各有实际汇聚方使用;汇聚计划到位率不低于 80%,运行一年后逐步接近 90% | 季度汇聚看板按汇聚方与数据类型统计计划量与实际量 | 复议并调整:连续两期未达成的由执行层上门沟通并调整通道档位或激励组合,同时启用同类备选主体 |
| 一数一源入口登记 | 事后补的来源记录在争议发生时没有证明力;登记在入库时完成并作为字段参与血缘 | 进入平台的数据批次登记完整率趋向 99% | 入库校验按批次统计字段完整情况 | 隔离:登记不完整的批次不进加工队列;数据集发布前校验其全部来源批次的登记完整性,不完整的不予发布 |
| 按份共有与直通清算 | 多方共有数据的分配靠逐次协商、预期不稳;份额登记即为分账规则,自动执行 | 份额登记在协议生效后 5 个工作日内完成;分账明细与确权登记的月度对账一致 | 确权台账与清算分账明细逐笔比对 | 隔离:份额未登记的数据集暂不挂牌;对账不一致的挂起分账并人工核对 |
| 四类激励按对象分设 | 单一收益分成覆盖不了不同类型的汇聚方;服务权益以积分兑现,兑现周期短于收益分成 | 四类激励均有兑现记录;持续供数率(连续两期按计划供数的汇聚方占比)首期不低于 70%,运行一年后逐步接近 80% | 汇聚台账与积分台账按季度统计:分母为上一季度按计划供数的汇聚方,分子为其中本季度仍按计划供数的汇聚方,连续两个季度数据齐备后判定一次 | 复议并调整:核查激励组合与折算系数是否与主体诉求匹配,在下一季度调整后复测;复测仍低于基线的由决策层年审时重新测算折算办法,并在同类主体中补充备选汇聚方 |
表 2.10-8 数据来源:机制本体见「数据集运营服务管理平台建设要求」一节 2.1.1 至 2.1.4 节;基线取值为本方案设定的首期管理值,属待验证目标;度量所用的台账与看板均为运营平台已有功能,不另建统计流程。
招标文件要求以「链主企业牵头、产学研用协同、市场化运作」为核心运营方针,构建既符合矿山装备制造行业特性、又遵循市场经济规律的行业数据运营体系。链主牵头容易写成一句组织安排,本项目的落法是把它落到数据集的划分口径上:四类数据集——供需计划、产品工艺设计、制造过程、产品质量——按甲方的业务主线划分,而不按通用的数据分类框架划分。
这个差别在使用时才显出来。按通用框架划分的数据集,甲方要用时得先做一次映射;按业务主线划分的数据集,28 道备料工序、63 万张历史工艺样本、工作面成套接口参数各自落在哪一类是清楚的,取数的人不需要翻对照表。
责任机制按三层落实,三层的边界是清楚的:甲方承担数据运营的主体责任(数据来源合法性、对外运营合规性、运营组织决策责任),各汇聚方承担所供数据的真实性与权属担保责任(由数据提供协议约定),平台运营方承担平台运行与服务履约责任(由分级服务体系与售后承诺约束)。三层责任各有对应的约束文本,不靠一张组织图示意。
产学研用多方协同创新机制按角色、协同流程与成果共享规则三项落实:高校与科研院所承担标准编制、质量管控与安全合规类的专家履职并参与标准草案的意见征集,产业链上下游企业承担数据供给与场景验证的现场条件,甲方承担业务口径的会签与组织协调,项目组承担方案编制、作业组织与平台运行;协同流程以《专家需求表》《数据提供协议》与标准草案的意见征集三条线串起;成果共享规则按数据集卡片署名、标准草案的起草人与参与单位列名、合作共建数据集的按份共有份额三项约定,均写入对应协议文本。市场化运作机制按供需对接与价值分配两端设计:供需侧由数据集目录、服务目录与订单流程承接,价值侧由三层定价、清算分账与收益表承接,二者在平台上同一套订单与清算数据上闭合。
招标文件要求设计并建立一套完整的数据集运营架构,以运营平台为统一依托,联合数据集建设各相关方的专业能力,面向行业用户提供专业化、定制化服务,并明确各相关方的服务边界、协作接口与质量责任。联合多方专业能力对外提供服务,最容易出的问题是边界不清,结果是用户找不到人、各方互相推。
本项目的做法是边界按「交付物」划分而不按「工作内容」划分。每一类专业能力的承担方对一份或几份明确的交付物负责,交付物有名称、格式、质量判据与验收方。这样划分的好处是边界可验证:交付物在不在、合不合格,看得见。按工作内容划分则不可验证——「负责数据标注工作」这句话在出问题时无法判断责任落在谁身上。
配套的两项设计是交接单与责任比例。上游向下游交付时提交交接单,内容为交付物清单、质量自检结论、已知问题与限制、下游需注意事项;下游在约定时限内完成接收检查并签回,不通过的退回并说明具体缺项。责任比例的规则是:上游问题下游未检出,上游承担主要责任、下游承担检查责任,比例按交接单中约定的检查项范围判定。把责任比例事先写成规则,争议发生时不需要重新谈判。
面向行业用户的定制化数据服务与智能体开发服务,按同一套交付物划界规则组织:定制数据服务的交付物是数据子集、数据卡与质检报告,智能体开发服务的交付物是场景验证所需的样本、评测结论与可用性结论;两类服务的承接方、交付物清单与质量判据在服务目录中逐项登记,服务边界以登记的交付物为准。
招标文件要求设计并建立一套数据集运营盈利模式,针对不同类型、不同需求层次的用户实施差异化服务供给,在履行行业公共服务职能的同时实现商业价值,并形成「以服务养服务」的可持续良性循环机制。这句话的落地难点在循环的第二环:收入进了总账、建设按原计划走,两者不挂钩,于是收益高的数据集得不到更新、无人使用的数据集还在投入。
本项目的处置是把数据集收益表作为年度预算分配的硬性输入,不是参考而是输入项。收益表按数据集呈现订单量与收益情况,年度预算分配时按收益表调整各数据集的更新与扩充投入。这一条把「以服务养服务」从一个循环示意图变成一项预算规则。
客户需求按三类分层并各配一条服务策略:链主企业与大型整机厂需要成体系的数据子集与定制加工,按定制层承接;产业链配套企业需要可直接使用的小规模样本与加工代做,按增值层按量计费;行业院校、检测机构与中小企业需要的是入门条件,按公益层提供免费试用额度与方法文档。三类需求的识别依据是订单记录与服务咨询台账,分层结果每年随服务类型收入表复核一次。
另外两项设计服务于公益与商业的平衡。一是三层分层:公益层不收费或只收成本性费用,增值层按标准定价按量计费,定制层按合同定价。二是公益与商业的比例由运营组织决策层按年审定,并在清算报表的服务类型收入表中单独呈现,使二者的平衡状况可被审视而不是靠口头说明。
2.10-3 「以服务养服务」的收支闭环与四处分离的制衡位置
图 2.10-3 「以服务养服务」的收支闭环与四处分离的制衡位置。数据来源:三层分层依招标文件相应条款;收益表与预算的关系依相应条款;四处分离依相应条款;公益与商业比例年审依相应条款。
招标文件要求设计并建立一套运营组织架构,实现平台重大事项的科学决策、专业领域的权威把关与日常运营的高效执行,组织架构与职位覆盖决策、把关、执行三个层级,不同角色之间权责清晰、流程顺畅、相互制衡。
第一项措施是议事规则按事项性质分设,而不是全部用多数表决。重大事项由决策层集体表决;专业事项不表决,采用「独立评审+意见分歧上升」——每个议题由不少于 3 名专家独立出具意见,意见一致时直接成结论,存在分歧时把分歧点与各方理由一并上报由专业委员会审议。理由是专业问题的正确答案不由人数决定。这条规则与 4.8 节的专家议事规则是同一套。
第二项措施是制衡落在四处分离上:审批与执行分离、运营与清算分离、运营与审计分离、规则制定与规则执行分离。四处分离的共同点是关键动作的发起方与审核方不是同一个角色,且动作留痕可查。平台在技术上支撑这一分离:规则配置项的修改权限与业务操作权限分属不同角色,审计员不受运营中心管理、审计报告直接提交决策层。
第三项是日常执行的「责任到人由规则确定」:平台上每一个待办事项都有唯一责任人与时限,责任人由派单规则确定而不是由人认领,超期事项自动升级至组负责人。认领制的问题是难办的事没人认领,派单制没有这个问题。
招标文件要求坚持「公益导向、能力输出、生态共建」原则,构建覆盖数据流通全链条的公共服务内容体系,其中技术工具赋能类公共服务向行业输出数据加工与智能化技术工具能力。本项目的做法是能力租用与任务代做,而不是工具交付。
这个取舍有两层理由。工具交付给一家没有数据加工经验的中小企业,它拿到工具也用不起来——工具的效果取决于配置、规范与黄金集,这些是随工具一起长出来的;能力租用则由平台承担配置与规范,用户提交任务、取回结果。另一层理由是工具链是本项目形成的技术资产,以租用方式输出可以持续产生收益,支撑「以服务养服务」的循环。
配套的设计是方法公开:数据标注规范、数据集构建方法、质量评测方法三类内容以公开文档形式向行业发布,不收费。公开这些内容不削弱平台的能力输出——规范是公开的,把规范落地执行所需的工具、黄金集与专家资源不是一份文档能替代的。公开的实际作用是让行业用同一套口径,这对标准生态有利(见 6.5 节)。
知识智力支撑类公共服务由专家库与培训两条线承接:行业企业就标注口径、数据集构建方法、质量判定提出的咨询,按领域抽派入库专家答复,答复记录归入《标注疑难案例集》;培训按数据治理、数据标注、数据集构建三类课程组织,教材与课程体系在项目期内形成并持续更新。价值转化通路类公共服务打通数据要素的流通与变现路径:对内由数据集挂牌、订单、清算与分账四个环节构成,对外由接入国家数据基础设施的标识登记、身份互认与存证通道构成,两段在同一套数据集版本与权属登记上衔接。
公益部分的门槛设在起步处:对行业中小企业提供免费试用额度与首次加工任务的成本价优惠,使企业在小规模投入下先验证效果;试用额度按年度公益服务预算分配,分配情况进入服务类型收入表。
招标文件要求制定技术方案并组织实施,将平台生成的数据集及行业用户自有数据集接入国家数据基础设施,实现数据集的高效流通与资产化运营;平台侧要求「依照国家数据基础设施的接入规范预留统一目录标识登记、统一身份注册和标准接口互联互通的对接接口,并视国家数据基础设施开放进度支持数据集标识的注册与解析对接」,实施侧要求优先采用成熟技术与产品并开展必要的技术开发实施。「视开放进度」这一限定说明这件事有外部依赖。
本项目的处置是把方案分两段:第一段是不依赖外部进度的本地准备(目录标识映射位、身份体系的主体标识与凭证分离、三组对外接口与接口桩),在建设期内完成并可验收;第二段是随规范开放推进的对接实施,按规范开放情况滚动推进,里程碑与验收口径在实施计划中单列。
这样安排的作用有两条:本项目的验收不被外部进度卡住;一旦规范开放,平台不需要改造即可对接——身份体系不把内部租户标识当作对外身份使用,目录字段通过映射配置适配而不改数据模型,规范调整时改配置不改模型。两类数据集(平台生成数据集与行业用户自有数据集)的接入走同一套通道,区别在准入审核环节。
资产化运营与可信流通的支撑落在接入连接器上,运营平台与连接器的分工是:运营平台负责数据集的运营管理与交易履约,连接器负责对外流通侧的接入、登记、存证与通道管控;运营平台不绕过连接器直接对外,连接器不承担运营管理职能。3 台连接器按一主一备一测试部署,测试节点用于规范变更时的预验证——这是为「视开放进度」这一不确定性预留的试错位置。
七个方面各自的机制与措施已在前述各节逐项落实。运营能否持续下去,还取决于把它们连起来运行的那一套规则:什么时候做、由什么启动、做完之后结论落在哪一份文件上、规则本身又按什么程序修改。招标文件要求提出可落地的运营服务能力与机制,并建立日常运营的高效执行机制。本项目的运营机制由运行节律、触发规则与规则修订三部分构成,三部分共用运营平台已有的台账、待办与审计功能,不另建流程。
运营机制最常见的失效方式不是制度缺失,而是制度只在例会上被想起来。通常的组织方式是运营事项由例会提出、由人认领、完成情况在下一次例会上口头通报,其结果是容易办的事有人办,需要跨角色协调的事在队列里留到下一季度;而数据集该不该继续更新、哪一个数据集该扩充这类判断,往往没有固定的时点与依据。本项目把三件事分别做死:周期固定、输入固定、产出是具名文件(运行节律);条件达成即生成待办,待办有唯一责任人与时限(触发规则);规则以配置项形式版本化、修改走审批、争议按事件发生时点生效的版本判定(规则修订)。
运营按月度、季度、年度三级节律运行。三级的区别不在会议频次,而在各自消化哪一类输入、由哪一层组织作出什么性质的决定:月度处理执行偏差,季度处理通道与资源调整,年度处理投入分配与规则修订;本级解决不了的事项按 2.5 节的分歧上升规则进入上一级。三级的输入全部取自已有台账与看板,不另设填报环节。
表 2.10-8A 三级运行节律的输入、动作、产出与时限
| 周期 | 输入(取自已有台账) | 动作与责任层级 | 产出文件 | 时限 |
|---|---|---|---|---|
| 月度 | 数据集收益表、待办台账与超期升级记录、交接单签回记录、确权登记与分账明细的月度对账结果 | 执行层逐项核对四类执行情况,列出偏差与对应责任岗位,当月可处置的直接生成待办 | 《月度运营简报》,含偏差清单与所派待办编号 | 次月 5 个工作日内 |
| 季度 | 季度汇聚看板(计划到位率、持续供数率)、服务类型收入表、权限配置审计结论、工单按时闭合统计、数据集使用与更新情况 | 执行层提出处置建议,把关层对专业事项按独立评审出具意见(见 2.5 节);通道档位、激励组合与服务分层的调整在本级决定 | 《季度运营评议纪要》与随纪要派出的处置工单 | 季度结束后 10 个工作日内 |
| 年度 | 年度数据集收益表、公益与商业服务的收入构成、客户分层复核结论、机制文本的执行偏差汇总、标准与规范的更新情况 | 决策层审议:按收益表分配下年度各数据集的更新与扩充投入(见 2.4 节),复核三层定价与客户分层,核定需要修订的规则配置项 | 《年度运营评审报告》、下年度预算分配文件、规则修订版本 | 年度结束后 30 个工作日内 |
表 2.10-8A 数据来源:三级划分依招标文件所列决策、把关、执行三个层级的职责分工;输入所列台账与看板均为运营平台已有功能,见「数据集运营服务管理平台建设要求」一节 1.5、1.6、1.7 各节;时限为本方案设定的管理值,随实施计划定版后报招标方确认。
节律解决的是定期该做什么,触发规则解决的是不定期发生的事由什么启动。平台按下表所列条件监测已有台账,条件达成即生成待办,并按 2.5 节的派单规则指派到唯一责任人,超期自动升级至组负责人。与认领制的差别在三处:触发条件写在规则配置项里由平台监测,事项不因无人提出而搁置;每一条触发都留有记录,季度评议时可按触发类型统计发生次数与处置时长;阈值与时限的调整须走 2.8.3 节的修订程序,持有业务操作权限的岗位不能就地改动。
表 2.10-8B 八类触发条件与相应的自动动作
| 触发条件 | 取数来源 | 自动动作与责任角色 | 处置时限 | 结论去向 |
|---|---|---|---|---|
| 数据集连续两个季度无订单且无下载 | 订单记录、数据集使用统计 | 生成复评工单,指派运营岗 | 20 个工作日 | 复评结论三择其一:维持现有更新频次、降档(降低更新频次并保留目录条目)、转入下架流程(下架流程本体见「数据集运营服务管理平台建设要求」一节 1.2.6 节);结论进年度预算分配的输入 |
| 数据集季度订单量进入前列且用户提出更新或扩充请求 | 订单记录、服务咨询台账 | 生成扩充建议工单,指派运营岗会同加工侧对口岗位 | 20 个工作日 | 扩充范围与所需投入的测算,进年度预算分配的输入 |
| 汇聚方连续两期未达计划到位率 | 季度汇聚看板 | 生成沟通与通道调档工单,指派执行层对口岗位 | 一个季度内 | 通道档位或激励组合的调整决定,记入汇聚台账,回退口径见 2.1.9 节 |
| 交接单在约定时限内未签回 | 交接单流转记录 | 待办自动升级至上下游双方的组负责人 | 5 个工作日 | 签回结论或退回说明,记入交接单流转记录 |
| 分账明细与确权登记的月度对账不一致 | 清算分账明细、确权台账 | 挂起该笔分账并生成核对工单,指派清算岗 | 10 个工作日 | 核对结论与更正记录,纳入《月度运营简报》 |
| 服务履约情况未达分级服务体系所列承诺 | 平台服务监控记录、服务工单 | 生成服务处置工单,指派服务对口岗位 | 按分级服务体系所定的对应响应时限 | 处置结论进服务质量报告,指标定义与报告口径见「数据集运营服务管理平台建设要求」一节 1.7 节 |
| 规则配置项出现未经审批的变更 | 审计事件记录 | 生成审计工单,由审计岗直报决策层 | 5 个工作日 | 回滚至上一生效版本,并记入审计报告 |
| 数据集质量评测综合分低于约定门槛 | 质量评测结论与错题归因结果 | 生成回流修订工单,按 1.6 节的回路接入加工链路 | 按 1.6 节三档时限执行 | 补采、重标或口径统一的执行记录与复检结论 |
表 2.10-8B 数据来源:触发条件依前述各节措施的实际执行路径与招标文件「须建立日常运营的高效执行机制」设定;取数来源均为运营平台已有台账与记录,不另建采集通道;阈值与时限为本方案设定的管理值,最终取值在蓝图设计阶段报招标方核定,核定值与建议值不一致的按核定值执行。
运营中被反复引用的规则有五类:三层服务定价规则、待办派单规则、四类激励的折算系数、本节各项触发阈值与时限、上下游责任比例规则。五类规则全部以配置项形式在平台登记,每一项带版本号、生效时间、修改人与审批记录,不以文档的方式各自保管。
修订按三条程序执行。其一,规则配置项的修改权限与业务操作权限分属不同角色(见 2.5 节四处分离),持有业务操作权限的岗位不能修改规则。其二,修订须经把关层审核,涉及价格、分配比例与激励折算的由决策层确认,审批记录与配置项一并留存。其三,历史版本保留并可查,争议按事件发生时点生效的版本判定,而不按当前版本判定——这一条使规则在事后不被改写成对某一方有利的样子,是规则能够作为依据被引用的前提。
修订的时机分两类。年度复核在年度评审时统一进行,输入是该年度的触发记录、执行偏差与争议事项的处置结果。中途修订限于确有执行障碍的情形,提出时附书面理由与影响范围说明,说明中列明受影响的在途订单、在执行工单与已签交接单的处理方式。两类修订的生效时间均在平台上公示,公示后生效,在途事项按事项发生时点适用的版本办理完毕。
四项机制的成效按下表度量。基线均为首期管理值,随首个完整运行年度的实测结果确认后报招标方核定。
表 2.10-8C 运营机制四项成效口径
| 机制 | 针对的困难与做法差别 | 首期基线 | 度量方法 | 未达基线时的回退 |
|---|---|---|---|---|
| 三级运行节律 | 运营动作靠例会推动、输入口径逐次商定;改为周期、输入台账与产出文件三者固定 | 三类周期文件按期出具率不低于 90%,运行一年后逐步接近 100% | 文件归档时间与表 2.10-8A 所列时限逐期比对 | 补出并查因:未按期的在下一周期补出并列明原因;连续两期未出的由把关层核查运营岗位配置与输入台账的可得性,调整后重新执行 |
| 触发式待办 | 事项靠人提出、需跨角色协调的事项在队列中滞留;改为条件达成即生成待办并按规则指派到人 | 表 2.10-8B 八类触发条件全部完成配置且可查;触发待办按时完成率不低于 85%,运行一年后逐步接近 90% | 待办台账按触发类型统计生成数、完成数与处置时长 | 复议并调整:核查时限设置与实际工作量是否匹配,调整时限档位或增补责任角色后重新执行;阈值调整走 2.8.3 节的修订程序 |
| 数据集复评与分档 | 无人使用的数据集继续占用更新投入,需求集中的数据集得不到扩充;改为使用与收益数据启动复评,结论作为预算输入 | 满足触发条件的数据集复评完成率趋向 100%,每季度的复评结论可逐条查证 | 复评工单台账与结论记录 | 隔离:未完成复评的数据集维持现状、不新增更新投入,并在季度评议纪要中逐条列明 |
| 规则版本化 | 规则被就地修改、争议发生时无法确定当时适用的规则;改为配置项版本化、修改留痕、按事件发生时点的版本判定 | 五类规则项全部纳入版本管理;配置项变更记录的完整率趋向 100% | 规则变更记录与季度审计抽查 | 回滚:发现未走修订程序的变更即回滚至上一生效版本,记入审计报告并直报决策层 |
表 2.10-8C 数据来源:四项机制依本节 2.8.1 至 2.8.3 节的设计;基线为本方案设定的首期管理值,属待验证目标;度量所用的台账、待办记录与审计记录均为运营平台已有功能,不另建统计流程。
招标文件要求结合矿山装备制造行业特点与高质量数据集建设实践经验,积极参与全国数标委标准验证和试点应用工作,持续完善标准技术指标,全面提升行业标准的先进性、科学性和适用性。标准验证的参与方式、产出形式、时点与责任边界在「数据治理规划和实施服务」一节第 2 章给出(参与方式与产出见该章表 2-1),本条不重复论述。
本节与标准验证相接的是素材一端。我方牵头制定两项关键行业标准(见 6.5 节)与参与数标委标准验证,是两条不同的路线:前者我方是起草方,产出标准草案与编制说明;后者我方是验证方与试点方,为已经立项或已发布的标准提供实测数据与应用反馈。两条路线的素材同源——验证过程中发现的指标不适用之处,正是我方牵头标准里要写清楚的条款;牵头标准试用中暴露的问题,也构成向归口单位反馈的实测依据。
可供标准验证使用的实测材料来自本节各项措施的执行记录,逐项列明如下:置信度与实际正确率的标定集曲线,用于验证标注一致性类指标的取值是否适用于工艺类对象;四级级联防护的回灌测试注入清单与检出统计,用于验证去重与污染检测类指标的检出口径;血缘挂接与发布准入的校验记录,用于验证可追溯性指标的判定方式;专家裁决意见书与规范修订记录,用于验证标注争议处置流程的可操作性;数据卡字段的填写完整情况统计,用于验证元数据描述规范的字段必填性设定。上述材料按半年度汇总一次,经招标方确认后由招标方决定是否向归口单位提交;归口单位开展验证或试点并需要数据时,在招标方同意且符合保密要求的前提下提供去敏后的验证数据与测试结论。参与验证不以我方标准立项为前提,项目早期取得实测数据即可提交,因此它是两条路线中更早见到成果的一条。
招标文件要求按专业化、规范化、制度化、动态化原则,组建覆盖标准编制、数据生产、质量管控、行业应用、项目管理、安全合规六大领域的专家队伍,形成结构合理、专业互补、来源广泛、权责清晰、管理规范、动态更新的专家库体系,为数据集建设提供智力支撑、技术把关、标准引领、质量保障、合规审查与项目指导。实施要求中另把「打造高质量的数据标注专家库」与「制定数据标注规范」并列:专家库不是一份名单,而是数据标注规范能够落地的组织条件。
招标文件要求建设一套数据标注专家库管理机制,以确保本项目成立一个不少于 50 人的数据标注专家库,机制内容包括但不限于建设原则、专家类别、入库标准、遴选流程、工作职责、考核机制六项。本章按这六项依次展开,并按「包括但不限于」补充四项:派工、回避、复核与仲裁规则,专家来源与到位计划,出库、补充与知识沉淀,以及成效口径与回退路径。本阶段交付的是机制本体,专家名册为实施期产物。
本条交付的是一套可运行的专家库管理制度,它要达到的目标是:在数据集加工的每一个需要专业判断的时点上,有符合该领域资格条件的专家可被规则抽到、抽到的人按规定格式出具产出、产出的质量能被客观记录并用于续聘判断。围绕这一目标,制度由五部分构成——准入(入库资格与专业条件,见 4.4)、匹配(派工、回避与复核规则,见 4.8)、履职(职责内容、产出格式与时限,见 4.6)、考核(量与质两组指标及其数据来源,见 4.7)、退出(出库情形、程序与知识沉淀,见 4.10)。五部分写入《数据标注专家库管理办法》一份,经招标方评审确认后生效。
制度为什么要按这五部分设计,取决于专家在本项目中出现的时点。本项目对专家的需求不是偶发的评审会,而是贯穿加工全过程的四类确定时点。
第一类时点是定标。标注工作开始前,每一类标注任务都需要一批由人工确认为正确的样本作为黄金集,用于标注员入组考核、持续抽检与一致性基线测算。黄金集的正确性不能由标注员自己确认,必须由懂这个零件、这道工序的人确认。备料工序的 28 道工序集合、焊接的坡口型式与焊缝等级、热处理的淬火与回火程序,这些判断只有现场经验能给。
第二类时点是裁决。多人交叉标注的一致性低于门限时,样本进入专家裁决;本体中出现新术语、或同一业务含义在不同车间叫不同名字时,需要专家确定收录哪一个、废弃哪一个。这类判断不能靠投票——三个标注员一致判错,仍然是错的。
第三类时点是复核与终审。数据集质量评测中的人工分层复核要求行业专家逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性与跨模态语义一致性,对自动化检出的高危样本逐条复核;知识库与知识图谱成果须经业务专家终审,未经终审不得进入发布版本。模型训练侧的指令遵循与专业问答能力验证也要求专家抽样人评。
第四类时点是标准与方案评审。标注规范的评审、标准文本的起草与审查、场景验证方案的判据确认、安全合规边界的判定,都需要相应领域的专家。
四类时点合起来决定了制度的落点:准入按领域而不按资历分设,因为四类时点需要的是不同领域的判断力;匹配由规则执行而不由任务提出方指定,因为定标与裁决的独立性是黄金集可用的前提;考核取客观记录而不取出勤,因为一位按时参加全部评审但每次只说「同意」的专家,从出勤看是满分、从履职看是零;退出与知识沉淀同步,因为专家离开后他做过的判断仍要留在黄金集库、本体版本库与案例集里继续起作用。
招标文件要求按「专业化、规范化、制度化、动态化」原则组建专家队伍。四条原则在本项目中的落实方式如下,每条都对应后文的一项具体安排。
专业化的落实是按领域分设而不是按资历排序。专家库不设统一的「高级专家」等级,而是按六大领域分别设置入库条件与履职范围。一位懂焊接工艺的专家在焊接类标注定标上是权威,在数据安全合规判定上不是,抽派规则不允许跨领域抽派。这一条写在 4.3 节与 4.4 节。
规范化的落实是把专家的每一次履职变成一份有格式的产出。定标出黄金集定标记录,裁决出裁决意见书,复核出复核结论表,评审出评审意见。产出有固定字段、有签署、有留档,不以口头意见或会议纪要中的一句话代替。这一条写在 4.6 节。
制度化的落实是把专家库的运行写成制度文本而不是依赖项目组的临时安排。本项目交付《数据标注专家库管理办法》一份,内容覆盖本章六项机制与运行支撑,经招标方评审确认后生效,列入软建设制度体系(见 6.3.3 节)。
动态化的落实是入库不是终身的。专家按年度考核,考核结果分三档,连续两年考核在最低档或出现禁入情形的予以出库;每年按需补充入库,补充时优先补足考核暴露出的领域缺口。这一条写在 4.7 节。
招标文件要求组建覆盖标准编制、数据生产、质量管控、行业应用、项目管理、安全合规六大领域的专家队伍,形成结构合理、专业互补、来源广泛、权责清晰、管理规范、动态更新的专家库体系,入库专家不少于 50 人。
六大领域的划分不是并列的六个标签,它们对应数据集建设链条上六个不同的判断类型。标准编制类回答「按什么判」,数据生产类回答「这一条标得对不对」,质量管控类回答「这一批能不能过」,行业应用类回答「这样的数据有没有用」,项目管理类回答「这件事该不该做、什么时候做」,安全合规类回答「这件事能不能做」。
表 2.10-9 专家库六大领域的构成与履职范围
| 领域 | 专业方向 | 拟入库人数 | 主要履职场合 | 产出物 |
|---|---|---|---|---|
| 标准编制 | 数据标准化、标注规范编制、术语与本体、行业标准起草 | 8 人 | 标注规范评审、术语收录与废弃判定、标准文本起草与审查、本体版本变更评审 | 规范评审意见、术语判定记录、标准草案与审查意见 |
| 数据生产 | 产品设计与选型、工艺(备料/焊接/热处理/机加工)、生产计划与物料、售后运维 | 18 人 | 黄金集定标、标注争议裁决、合成样本的事实性核验、知识库与知识图谱终审 | 黄金集定标记录、裁决意见书、核验结论、终审意见 |
| 质量管控 | 数据质量评价、检验检测、统计抽样、评测方法 | 9 人 | 质检判定门限审议、抽样方案评审、人工分层复核、评测结论复核 | 门限审议意见、抽样方案评审意见、复核结论表 |
| 行业应用 | 矿山装备制造业务、煤矿生产与在役运维、场景需求 | 8 人 | 场景验证判据确认、数据集适用性评价、应用效果评价、需求优先级评议 | 判据确认书、适用性评价意见、效果评价表 |
| 项目管理 | 项目管理、系统集成、进度与风险管理、验收组织 | 4 人 | 里程碑评审、方案可实施性评议、变更评审、验收评审 | 评审意见、变更评议结论 |
| 安全合规 | 数据安全、个人信息保护、密码应用、知识产权与合规 | 5 人 | 敏感数据判定、脱敏方案评审、权属与许可审查、对外发布合规审查 | 判定结论、审查意见 |
| 合计 | —— | **52 人** | —— | —— |
表 2.10-9 数据来源:六大领域划分依招标文件原文;全流程工作需要(数据采集、数据标注、质量管控、标准编制、项目评审、场景落地、安全合规)依招标文件相应条款;总人数下限依相应条款。各领域拟入库人数为本方案的配置建议,按 52 人设置使总数在个别专家出库时仍不低于 50 人的下限;最终构成随遴选结果调整并报招标方确认。本项随专家来源构成调整,来源构成的口径见 4.9 节。
拟入库人数的分配依据是履职频次而不是领域的重要性。数据生产类之所以人数最多,是因为黄金集定标与标注裁决是贯穿整个加工期的持续性工作,而且必须按工艺细分方向配齐——备料、焊接、热处理、机加工四个方向各自需要人,一个人替不了另一个。项目管理类人数最少,因为它的履职集中在里程碑节点,频次低。本方案按「同时在库不低于 50 人」理解招标文件的规模要求,按 52 人配置以留出出库余量;若招标方按建设期累计入库口径核定,人数配置按核定口径调整。各领域人数分配为本方案按履职频次测算的配置建议,最终构成在《专家需求表》确认环节由招标方核定,核定结果与建议值不一致的按核定结果调整,本章的入库标准、遴选流程、工作职责与考核机制不作改动。
结构合理在本方案中有两项具体要求。一是每个领域内不少于 3 人——3 人是专业把关「独立评审+意见分歧上升」规则的最低人数,不满 3 人该领域无法形成独立意见(见 4.8 节)。二是每个领域尽可能不少于 2 个来源单位,以避免一个领域的判断全部来自同一处;领域确因专业集中于单一来源而无法满足第二项的,在《专家需求表》中说明并报招标方确认,该领域的争议事项提交相应专业把关层审议。安全合规领域按 5 人配置,是因为敏感数据判定、脱敏方案评审、权属审查三类事项需要不同的专业背景,不能互相替代。
来源广泛的落实是按四类渠道征集:甲方内部各业务单元、产业链上下游企业、高校与科研院所、标准化与检测机构。四类渠道的征集方式、拟承担领域与到位前置条件见 4.9 节表 2.10-13。项目目标中「吸引不少于 5 家数据企业、高校、科研院所参与数据集建设」与「入库专家不少于 50 人」是两项并列目标,本方案对两项分别计数、可相互重叠计入、不互为前提,口径见 4.9 节。来源单位清单在首批遴选完成后形成并报招标方确认,本阶段不列具体单位名称。
入库标准分三部分:通用条件、分领域专业条件、回避与禁入情形。三部分同时满足才予入库。
通用条件四项。一是具备与申报领域相关的专业背景,取得相应专业的中级及以上职称,或取得与申报领域直接相关的执业资格、注册资格,或在相关岗位连续从业不少于 8 年。二是近三年内未因专业失误受到行政处罚或行业通报。三是书面承诺能够投入本项目要求的履职时间,并接受考核与出库规则。四是签署保密承诺与利益冲突声明。
职称、资格与从业年限三者取其一而不是三者并列,原因是六大领域中数据生产类的多数专家是现场技术人员与资深技师,他们的判断力来自工龄而不是职称。本方案把「连续从业不少于 8 年」与中级职称并列,是为了不把真正掌握 28 道备料工序的现场技术人员排除在外。上述通用条件与表 2.10-10 各领域专业条件所列取值为本方案的建议值,最终取值在《专家需求表》确认环节由招标方核定;核定门槛高于或低于建议值的按核定值执行,遴选流程与评议方式不变。
表 2.10-10 分领域专业条件
| 领域 | 专业条件(满足其中一项即可) | 优先条件 |
|---|---|---|
| 标准编制 | 主持或参与起草国家标准、行业标准、团体标准不少于 1 项;或承担过数据标准、术语标准、元数据规范的编制工作不少于 2 年 | 参与过制造业或能源行业数据类标准的编制;熟悉标准化工作导则的起草规则 |
| 数据生产 | 在矿山装备或通用机械的设计、工艺、生产、质量、售后岗位连续从业不少于 8 年,且在申报的细分方向(设计选型/备料/焊接/热处理/机加工/物料计划/在役运维)有主责经历 | 参与过本企业工艺文件、作业指导书的编制或修订;有带徒与技术培训经历 |
| 质量管控 | 从事质量管理、检验检测或数据质量评价工作不少于 5 年;或具备质量管理体系审核员、检验检测人员资格 | 熟悉计数抽样检验程序;参与过数据集或软件产品的质量评测 |
| 行业应用 | 在煤矿生产、机电运维、装备采购或技术管理岗位连续从业不少于 8 年;或承担过矿山装备应用类课题 | 有工作面成套设备选型、在役设备故障处理的一线经历 |
| 项目管理 | 具备项目管理专业资格;或主持过信息化、数据类项目不少于 2 项且通过验收 | 有数据治理或人工智能类项目的主持经历 |
| 安全合规 | 从事数据安全、网络安全、个人信息保护、密码应用或法务合规工作不少于 5 年;或具备相应专业资格 | 熟悉数据分类分级规则与去标识化方法;有合规审查实务经历 |
表 2.10-10 数据来源:招标文件六大领域与「全流程工作需要」的表述;年限与资格门槛为本方案设定,依据各领域履职所需判断力的来源差异,最终门槛报招标方评审确认。
回避与禁入三项。回避是指专家在特定事项上不得履职:与被评审对象有直接利益关系的、参与过该事项前序工作并需对其结果作判断的、与争议方有亲属或经济关系的,在该事项上回避。禁入是指不予入库或入库后出库:提供虚假材料的、泄露项目数据或评审内容的、未按承诺履职且无正当理由累计三次的、因专业失误导致数据集质量事故的。
回避这一条有一个容易被忽略的场合需要点明:数据生产类专家中的甲方内部人员,既可能是黄金集的定标人,也可能是被评价工艺的责任人。本方案的处置是把定标与结果评价分开——定标人不参与对本人所在单元工艺数据的适用性评价,适用性评价由行业应用类专家承担。这条分离写入《数据标注专家库管理办法》。
遴选按七步执行,每一步的产出与责任主体明确。流程设计上有一条贯穿的要求:遴选结论要能回答「为什么是这个人」,所以每一步都留评议记录,而不只留最终名单。
第一步,需求提出。项目组按加工计划测算各领域的履职工作量,形成《专家需求表》,内容包括领域、细分方向、人数、履职时间要求、入库条件。需求表经招标方确认后启动遴选。
第二步,渠道征集。按四类来源同步征集:甲方内部由各业务单元推荐;产业链上下游企业由汇聚协议的签约方推荐;高校与科研院所通过产学研用协同机制定向邀请;标准化与检测机构通过行业组织渠道邀请。征集公告载明领域、条件、职责与考核规则,不载明酬金标准以外的待遇承诺。
第三步,材料受理与形式审查。申报人提交申报表、专业背景证明材料、代表性成果或业绩说明、保密承诺与利益冲突声明。形式审查核对材料齐全性与真实性,材料不齐的一次性补正,补正后仍不齐的不进入下一步。
第四步,资格初审。按 4.4 节的通用条件与分领域专业条件逐项核对,形成初审结论表,每项条件注明「符合/不符合/需进一步核实」。初审由项目组执行,结论表报专业评议。
第五步,专业评议。按领域组织评议,每个领域的评议组不少于 3 人,组成由招标方确认;本方案建议由招标方代表、已入库的同领域专家与外部同行三方构成,首批遴选时第二类由招标方指定的业务负责人或其委托人员担任。招标方另有评议组织要求的按招标方要求执行,评议维度与独立打分汇总的方式不变。评议采用独立打分后汇总的方式,评议维度为专业匹配度、判断力证据、履职可行性三项。评议组对每位申报人出具一份评议意见,意见包含推荐结论与理由。
第六步,审定与公示。评议结果汇总后报招标方审定。审定通过的名单在甲方内部与参与单位范围内公示 5 个工作日,公示期内有异议的由项目组核实后重新提交审定。
第七步,入库与建档。公示无异议的签署《专家履职协议》与保密承诺,在奔牛数据智能平台的专家库管理功能中建档。档案字段包括基本信息、领域与细分方向、入库时间、履职记录、考核记录、回避关系登记。建档完成即可被抽派。
首批遴选的时间安排与加工计划挂钩:标准编制与数据生产两类必须在标注作业启动前完成入库,否则黄金集无人定标;质量管控与行业应用两类在首批数据集质检前完成;项目管理与安全合规两类在首个里程碑评审前完成。各类的具体时点列入实施计划。
2.10-4 专家遴选、抽派、履职与出库的流程与制衡点
图 2.10-4 专家遴选、抽派、履职与出库的流程与制衡点。数据来源:招标文件所列六项机制内容(建设原则、专家类别、入库标准、遴选流程、工作职责、考核机制);履职场合依招标文件相应条款;人数下限依相应条款。
招标文件要求制订专家工作职责。本方案不按「指导、把关、审查」这类概括性表述写职责,而是按履职场合逐项写明「做什么、出什么、什么时限、不做什么」。按这四项写定之后,职责即可考核——产出在不在、是否按时、有没有被采纳,都看得见。
表 2.10-11 专家履职场合、职责内容与产出要求
| 履职场合 | 触发条件 | 专家职责内容 | 产出物与字段要求 | 时限 |
|---|---|---|---|---|
| 黄金集定标 | 某类标注任务启动前;黄金集按季度轮换时 | 对抽取的样本逐条给出标准答案,标注判断依据;对规范中表述不清之处提出修订意见 | 黄金集定标记录:样本标识、标准答案、判断依据、引用的标准或作业指导书条款、签署 | 单批次 5 个工作日 |
| 标注争议裁决 | 多方交叉标注一致性低于门限;标注员与复核员意见相持 | 查看双方标注与依据,给出裁决结论与理由;判断争议是否源于规范缺陷 | 裁决意见书:争议点、各方意见摘要、裁决结论、理由、是否触发规范修订 | 3 个工作日 |
| 新术语与本体判定 | 一致性校验工具发现候选新术语;同义异名冲突 | 判定术语收录或废弃、确定首选术语与同义词、给出所属本体层级 | 术语判定记录:术语、判定结论、首选术语、层级、来源依据 | 5 个工作日 |
| 合成样本事实性核验 | 合成或增强批次提交质检前,按抽样比例 | 核验合成样本中的工艺参数、材料牌号、检测等级等事实性内容是否成立 | 核验结论:抽样清单、逐条结论、不成立项的具体错误、建议处置 | 单批次 5 个工作日 |
| 知识库与知识图谱终审 | 知识库与图谱成果提交发布前 | 对成果及其数据字典逐项终审,未经终审不得进入发布版本 | 终审意见:逐项结论、须整改项、整改复审要求、签署 | 10 个工作日 |
| 人工分层复核 | 数据集质量评测的人工复核环节;自动化检出的高危样本 | 逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性;对高危样本逐条复核并判定缺陷 | 复核结论表:样本标识、各维度结论、缺陷类型与等级、处置建议 | 按评测排期 |
| 模型能力抽样人评 | 指令微调与强化学习阶段的能力验证 | 按评测协议对模型输出打分,给出不合格样例的原因归属(数据问题/训练问题/评测口径问题) | 人评记录:样本、评分、原因归属、补充说明 | 按训练排期 |
| 质检门限与抽样方案审议 | 质检规范制定与修订时;门限调整时 | 审议六维度指标的判定门限与抽样方案的合理性,给出专业意见 | 审议意见:逐项意见、是否同意、替代建议 | 7 个工作日 |
| 标注规范与标准文本评审 | 标注规范、实施技术规范、标准草案提交评审时 | 逐条评审并出具意见;标准起草人同时承担起草与答复意见的责任 | 评审意见表:条款号、意见、处理建议;起草类另出草案与编制说明 | 10 个工作日 |
| 场景验证判据确认 | 六个专业场景与通用场景的验证方案定稿前 | 确认验证判据的业务合理性与可测性,确认通过与不通过的分界 | 判据确认书:判据项、分界取值、确认结论、保留意见 | 7 个工作日 |
| 敏感数据与合规判定 | 数据入库前的敏感信息核查存在判定分歧;对外发布前的合规审查 | 判定数据的敏感等级与可用范围,审查脱敏方案与许可条件 | 判定结论:对象、等级、可用范围、限制条件、依据条款 | 5 个工作日 |
| 里程碑与变更评审 | 里程碑验收;重大技术方案变更 | 评议交付物完备性与方案可实施性,出具评审意见 | 评审意见:评议要点、结论、附条件事项 | 按验收排期 |
表 2.10-11 数据来源:履职场合依招标文件「全流程工作需要」的七项表述及招标文件相应条款;时限为本方案设定的首期口径,随加工计划细化后在《数据标注专家库管理办法》中定版。
职责之外有两条不做的事需要写明,它们属于责任边界。专家不承担标注作业本身。专家定标与裁决,标注量由标注队伍完成;把定标人当标注员用,黄金集就失去了独立性。专家不代替项目组作管理决策——专家出专业意见,进度、成本、范围的决定由项目管理层作,专业意见作为决定的输入并留档。
招标文件要求制订专家考核机制,「动态化」原则要求专家库动态更新。考核的设计难点在于不能只考核「来没来」:一位专家按时参加了全部评审但每次都只说「同意」,从出勤看是满分,从履职看是零。本方案因此把考核分成履职量与履职质两组指标,后者取自客观记录。
表 2.10-12 专家年度考核指标
| 指标 | 定义 | 数据来源 | 权重 | 性质 |
|---|---|---|---|---|
| 应派完成率 | 按时完成的派单数 ÷ 抽派给本人的派单数 | 专家库管理功能的派单台账 | 25% | 履职量 |
| 产出合规率 | 字段完整、依据齐全、可直接入档的产出数 ÷ 本人产出总数 | 产出入档时的形式校验记录 | 15% | 履职量 |
| 产出采纳率 | 被采纳为最终口径的意见数 ÷ 本人出具的意见数(含部分采纳按半数计) | 规范修订记录、裁决执行记录、整改工单关联记录 | 25% | 履职质 |
| 复核反查命中率 | 本人定标或裁决的样本在后续质检、评测或第三方复核中被判定错误的比例(取反向计分) | 质检缺陷台账、评测错题归因记录 | 25% | 履职质 |
| 规范贡献 | 本人提出并被采纳的规范修订、术语收录、判据改进项数 | 规范修订记录、术语判定记录 | 10% | 加分型 |
表 2.10-12 数据来源:考核指标为本方案设计,依招标文件「制订专家考核机制」与招标文件相应条款「动态化」原则;数据来源项均为本项目已有的台账与记录,不另建考核填报流程。权重与档位分界为本方案的建议取值,在《数据标注专家库管理办法》评审环节由招标方核定,核定值与建议值不一致的按核定值执行。
考核结果分三档:优秀、合格、待改进。分档不按人数比例强制分布,按得分绝对值划线,首期按优秀不低于 85 分、合格不低于 70 分设定。得分低于 70 分为待改进,由项目组书面告知并说明具体不足;连续两年待改进的,由项目组提出出库建议报甲方核定后执行。出现 4.4 节所列禁入情形的,由项目组即时提出出库建议并同步暂停派单,不等年度考核,出库由甲方决定并发文。出库程序与知识沉淀见 4.10 节。
「复核反查命中率」这一项值得多说一句,因为它是把专家的判断与数据集的实际质量挂起来的唯一指标。一条样本由专家定标进入黄金集,后续若在第三方复核或评测归因中被判定为错,这条记录会回查到定标人。回查不是追责,而是三件事的依据:一是判断该领域的入库条件是否偏松;二是判断规范在该处是否表述不清——多位专家在同一处出错,问题通常在规范而不在人;三是作为该专家续聘的客观输入。回查机制写入《数据标注专家库管理办法》,回查结论向本人反馈并允许申辩,申辩意见一并留档。本项随专家来源构成调整,来源构成的口径见 4.9 节。
动态更新按年度执行:考核完成后出具《专家库年度运行报告》,内容包括履职总量、各领域派单与完成情况、考核结果分布、出库与补充情况、暴露的领域缺口与下一年度补充建议。报告报招标方,并作为软建设年度政策符合性评估报告的输入之一(见 6.3.5 节)。
机制要能执行,靠的是平台功能与五组规则。
平台侧,专家库作为奔牛数据智能平台的管理功能承载,提供专家档案管理、回避关系登记、派单与时限跟踪、产出归档、履职积分与考核统计五项能力。加工链路中的定标、裁决、复核、终审等任务由工具链自动产生待办,待办按规则抽派到人,专家在平台上接单、提交产出、查看自己的履职记录。产出归档与数据集的版本记录关联,一条样本的复核状态字段记录的「专家裁决」,可以查到是哪一次裁决、依据是什么。
派工规则三条。 一是领域与细分方向必须匹配,不允许跨方向抽派;二是回避关系命中即筛除并记录筛除原因;三是同一领域内按轮次均衡,避免长期集中派给同一人。抽派由规则执行,任务提出方不能指定人——这一条是制衡设计,防止同一件事总是派给容易同意的那一位。派单记录保留抽派时的候选集、筛除原因与最终人选,使每一次派工都可回查。
回避规则三类情形。 与被评审对象有直接利益关系的、参与过该事项前序工作并需对其结果作判断的、与争议方有亲属或经济关系的,在该事项上回避。回避关系在入库建档时登记,履职过程中新增的由本人申报,平台在抽派时自动比对。有一类场合需要点明:数据生产类专家中的甲方内部人员,既可能是黄金集的定标人,也可能是被评价工艺的责任人。处置是把定标与结果评价分开——定标人不参与对本人所在单元工艺数据的适用性评价,适用性评价由行业应用类专家承担。
复核规则一条。 专业事项不采用多数表决,采用「独立评审+意见分歧上升」:每个议题由不少于 3 名同领域专家独立出具意见,意见一致时直接形成结论。独立的含义是三位专家在提交各自意见前互不可见对方意见,平台按此控制可见范围。
仲裁规则按三级设置,逐级上升而不越级。 第一级是同领域复核:三位专家意见不一致时,由平台把分歧点与各方理由汇总成一份分歧说明,交相应领域的专家补充依据后重议一轮;重议仍不一致的上升。第二级是专业委员会审议:质量、合规、技术三个专业委员会按事项性质受理,审议后形成结论,结论须写明采纳哪一方意见及理由,不以票数记录代替理由。第三级是决策层裁定,仅限两类事项——跨专业的争议(例如一项数据的敏感等级判定与其业务可用性判定相冲突),以及会改变对外承诺口径的争议。三级的时限分别为 5、10、15 个工作日,超期自动升级至上一级。
申辩与复议各一条。 被裁决一方(标注员、质检员或提出争议的专家本人)对裁决结论有异议的,可在结论送达后 5 个工作日内提交申辩,申辩须附新的依据而不只是重述原意见;申辩由原裁决层级之上的一级受理,受理结论为最终结论。申辩与受理结论一并留档,不影响申辩人的考核结果。
保密与酬金两项。 入库即签署保密承诺,承诺内容包括项目数据、评审内容、裁决过程不得外泄;涉及甲方产品技术信息与商业秘密的材料按密级管理,专家在平台内查阅、不得下载导出,查阅行为留审计日志。酬金按履职场合与工作量计,标准在《数据标注专家库管理办法》中列明并经招标方确认;酬金的承担方式与预算归属随专家来源构成确定——甲方内部专家的履职纳入内部工作安排与考核,不另行支付外部酬金;外部专家的酬金标准、结算方式与预算归属在管理办法评审环节与招标方一并明确后写入办法。本项随专家来源构成调整,来源构成的口径见(9)。
招标文件要求建成不少于 50 人的数据标注专家库,并在项目目标中提出吸引不少于 5 家数据企业、高校、科研院所参与数据集建设,但未明确 50 人中甲方内部专家与社会专家各占多少,也未明确专家的聘任主体。本方案按一条可执行的来源计划组织遴选,比例与聘任主体两项取值由招标方在《专家需求表》确认环节核定,核定后按核定值执行,入库标准、遴选流程、工作职责与考核机制不作改动。
两项目标分别计数。 招标文件相应条款的「不少于 5 家单位参与数据集建设」与「入库专家不少于 50 人」是两项并列目标。参与数据集建设的单位按其承担的建设任务计入,专家库的来源单位按其推荐入库的专家计入;两者可相互重叠计入,但不互为前提——专家库的来源构成不以参与单位家数为门槛,参与单位家数也不以是否推荐专家为条件。本方案按「来源广泛」原则要求每个领域的入库专家尽可能不少于两个来源单位,以避免一个领域的判断全部来自同一处。
四类来源渠道与各自的征集方式如下。 本阶段交付的是机制本体,专家名册为实施期产物,在合同签订后按遴选流程形成,入库建档后在专家库管理功能中维护,验收时出示名册与档案接受核验。投标阶段不列拟入库人员名单,也不预设任何已入库专家。
表 2.10-13 四类来源渠道、征集方式与拟承担的领域
| 来源渠道 | 征集方式 | 拟承担的领域 | 到位的前置条件 | 履职时间保障方式 |
|---|---|---|---|---|
| 甲方内部各业务单元 | 由各业务单元按《专家需求表》的领域与细分方向推荐,甲方汇总 | 数据生产(备料、焊接、热处理、机加工、物料计划、在役运维六个细分方向)、行业应用、项目管理 | 《专家需求表》经甲方确认;各单元明确推荐责任人 | 纳入内部工作安排与绩效考核,履职时间由所在单元保障 |
| 产业链上下游企业 | 由数据提供协议与合作共建协议的签约方按协议约定推荐 | 数据生产的外协工序方向、行业应用 | 相应协议已签署且含推荐条款 | 在协议中约定年度最低履职时间与响应时限 |
| 高校与科研院所 | 通过产学研用协同机制定向邀请 | 标准编制、质量管控、安全合规 | 协同机制的合作意向已建立 | 在《专家履职协议》中约定年度最低履职时间与响应时限 |
| 标准化与检测机构 | 通过行业组织渠道邀请 | 标准编制、质量管控 | 行业组织渠道已对接 | 同上 |
表 2.10-13 数据来源:渠道划分依招标文件「来源广泛」与招标文件相应条款的参与主体类型;领域承担为本方案按各渠道的专业优势作出的配置建议,最终以遴选结果为准。本表不列具体单位名称,来源单位清单在首批遴选完成后形成并报招标方确认。
两项取值待核定,对机制无影响。 内外部比例方面,若以甲方内部专家为主体,内部专家集中在数据生产与行业应用两类,标准编制、质量管控、安全合规三类由外部补足,此时须严格执行定标与结果评价分离;若以社会专家为主体,内部专家集中在数据生产类的工艺细分方向,此时须配套现场交底与资料准备,并在协议中明确时间承诺。聘任主体方面,无论哪种比例,专家的入库、续聘与出库由甲方决定并发文,项目组承担遴选组织、资格初审、档案管理、派单跟踪与考核支撑。两项取值的差异只影响人数分配与酬金承担方式,不影响本条所述的入库标准、遴选流程、工作职责、考核机制与仲裁规则。
出库分两类情形,程序不同。 一类是考核出库:年度考核得分低于合格线且连续两年为待改进的,由项目组提出出库建议,建议连同考核记录与本人申辩意见一并报甲方核定后执行。另一类是禁入出库:出现提供虚假材料、泄露项目数据或评审内容、未按承诺履职且无正当理由累计三次、因专业失误导致数据集质量事故四类情形之一的,由项目组即时提出出库建议并同步暂停派单,不等年度考核;出库由甲方决定并发文。暂停派单是项目组职权内可立即执行的动作,它保证处置的即时性,而出库决定权留在聘任主体一侧。出库后,该专家已出具的定标记录、裁决意见与复核结论继续有效,但其中被后续复核推翻的部分按影响范围分析回查相关样本。
补充入库按年度与按缺口两条线。 年度线随考核完成后的《专家库年度运行报告》提出下一年度补充建议,优先补足考核暴露出的领域缺口。缺口线不等年度:某一领域因出库、长期不响应或新增细分方向导致在库人数不足 3 人的,由项目组在 20 个工作日内提出补充遴选需求,按遴选流程启动,期间该领域的争议事项提交相应专业委员会审议,不因人数不足而停摆。两条线合起来保证同时在库人数不低于 50 人。
知识沉淀是专家履职的第二产物。 专家的每一次履职都产生一份有格式的产出,这些产出若只归档不复用,下一位专家遇到同类问题仍要从头判断。本方案把四类产出各接到一处权威来源上,使专家的判断沉淀为可复用的资产。
表 2.10-14 专家履职产出的沉淀路径
| 履职产出 | 沉淀到哪里 | 沉淀方式 | 复用场合 | 维护责任 |
|---|---|---|---|---|
| 黄金集定标记录 | 黄金集库,按标注任务类型与细分方向组织 | 定标记录连同判断依据与引用的标准条款一并入库,季度轮换时补充而不重建 | 标注员入组考核、持续抽检、一致性基线测算 | 数据生产类专家+质检组 |
| 裁决意见书与术语判定记录 | 知识本体与术语词典的版本库;标注规范的修订记录 | 判定为规范缺陷的触发规范修订条目;新术语经判定后回流本体,不在局部自建 | 后续同类争议直接引用已有裁决;跨数据集的标签含义一致 | 标准编制类专家+加工标注组 |
| 复核结论表与缺陷判定 | 缺陷类型库,按缺陷类型与等级组织 | 高危样本的逐条复核结论归入缺陷类型库,形成典型缺陷的识别特征 | 质检规则的补充、自动化检出规则的调优、标注员培训 | 质量管控类专家+质检组 |
| 争议裁决与疑难判定的案例 | 《标注疑难案例集》,按季度更新 | 每季度从当期裁决与疑难判定中选取典型案例,整理为问题描述、各方意见、裁决结论、依据条款四段式条目 | 标注员培训教材、新入库专家的履职交底、标注规范修订的素材 | 标准编制类专家+质检组 |
表 2.10-14 数据来源:四类产出依表 2.10-11 所列履职场合;沉淀去向与能力复用机制的五类可复用资产对应(见 6.4.5 节),两处是同一套资产的两个视角,不重复建设。
《标注疑难案例集》的季度更新与《专家库年度运行报告》的年度出具,构成专家库的两份过程记录。年度运行报告的内容包括履职总量、各领域派单与完成情况、考核结果分布、出库与补充情况、暴露的领域缺口与下一年度补充建议,报招标方,并作为软建设年度政策符合性评估报告的输入之一(见 6.3.5 节)。
专家库的成效不用「建成一个高质量专家库」这类表述度量,按四项可观测指标度量。四项均为待验证目标,基线取值随首批遴选结果与加工计划细化后报招标方核定。
表 2.10-15 专家库四项成效口径
| 指标 | 首期基线 | 度量方法 | 未达基线时的回退 |
|---|---|---|---|
| 规模与结构达成 | 同时在库人数不低于 50 人(按 52 人配置留出出库余量);六大领域各不少于 3 人,并尽可能各有不少于 2 个来源单位 | 专家库台账统计,验收时出示名册与档案 | 复议并补充:按缺口启动补充遴选;领域确因专业集中于单一来源无法满足第二项的,在《专家需求表》中说明并报招标方确认 |
| 履职覆盖 | 表 2.10-11 所列十二类履职场合均有对应领域专家承接,无长期空缺的任务类型 | 派单台账按任务类型统计承接情况 | 复议并补充:空缺领域优先补充入库;期间该类事项提交相应专业委员会审议 |
| 响应与完成 | 在《专家履职协议》约定的响应时限与年度最低履职时间得到保障的前提下,派单按时完成率不低于 85%,运行一年后逐步接近 90% | 派单台账按人、按领域统计按时完成情况 | 复议:核查该领域人数是否不足并按缺口补充;核查时限设定是否与工作量匹配并调整 |
| 产出有用 | 年度由专家意见触发的规范修订、术语收录、判据改进项数可统计并逐年可比 | 规范修订记录与术语判定记录按触发来源统计 | 复议:调整履职场合设置与考核权重,使专家的判断进入最终口径的路径更短 |
表 2.10-15 数据来源:指标依招标文件所列六项机制内容的执行结果设定;度量所用台账均为专家库管理功能已有记录,不另建统计流程。不以参会次数作为专家库发挥作用的证据。
招标文件要求聚焦多模态数据高质量供给需求,制定覆盖不同数据类型的标准化、流程化标注规范,指导体系化、规范化标注实施,解决多模态数据标注口径不一、流程混乱、与业务场景适配性不足的问题。标注规范的体系构成、分册清单、标签体系来源与评审发布流程在「数据治理规划和实施服务」一节第 3 章给出,标注作业的组织与执行在「数据加工生产(二)」一节给出,本条不重复论述。
本节与标注规范相接的有两处。其一是规范的修订入口在专家库:黄金集定标过程中发现规范表述不清的,由定标记录直接提出修订意见;标注争议裁决中判定争议源于规范缺陷的,由裁决意见书触发规范修订条目。修订项数进入专家年度考核的规范贡献指标(见 4.7 节),使规范的持续完善有人负责、有记录可查,而不只靠定期评审。其二是规范的行业化出口:我方牵头制定的第二项关键行业标准《矿山装备制造数据标注规范》,内容来自标注规范五册的提炼(见 6.5 节)。五册是本项目的作业文件,给出每一类对象的标签清单、典型示例与争议处置条目;行业标准是从五册中提炼出的、可被其他项目引用的通用条款,两者素材同源、详略不同,不重复编制。
招标文件把项目「软建设」配套措施分为政策体系梳理、政策规划制定、体制机制创新、标准规范完善、人才队伍建设五类,合计约 30+ 项配套文件、措施与机制。软建设与工具链、平台、数据集这些可见的交付物不同,它交付的是文件、机制与制度。这类交付物的常见问题是写了一堆文本但没人用。本章因此对每一项都写明三件事:这份文件或机制约束的是本项目的哪一个具体动作,它在什么时点产生,谁按它执行。凡找不到具体约束对象的条目,本章不列。
招标文件把软建设分五类并给出各类的数量:政策体系梳理 25 个文件,政策规划制定 5 项,体制机制创新 5 项,标准规范完善 20 项以上,人才队伍建设 1 项,合计约 30 项以上配套文件、措施与机制。
计数口径需要先说明,否则交付时双方对「30 项」的理解会不同。招标文件的「约 30+ 项」统计的是后四类的措施与机制项数,第一类政策体系梳理的 25 个文件是梳理对象而不是我方编制的成果。
按这一理解,我方编制的软建设成果为:政策规划 5 类(共 8 份文件)、体制机制 5 项、标准规范 20 项以上(含牵头制定行业标准 2 项、细分标准 18 项、项目实施技术规范 6 项,合计 26 项)、人才队伍 1 项,合计 37 项以上;另交付政策梳理成果 1 套(含 25 个文件的梳理台账与适用性分析)。这一口径与招标文件「约 30+ 项」的要求一致且有余量。
表 2.10-16 软建设五类配套措施的构成与交付物
| 类别 | 招标文件要求的数量 | 我方交付的成果 | 交付物形态 |
|---|---|---|---|
| 政策体系梳理 | 相关文件 25 个 | 25 个文件的梳理台账与适用性分析 1 套;半年度查新更新 | 《政策与标准适用清单》+逐文件的适用性分析条目 |
| 政策规划制定 | 共 5 项 | 5 类共 8 份文件:中长期发展规划 1 份、专项实施方案 4 项、制度体系 1 套、政策落地动态调整机制 1 套、年度政策符合性评估报告 1 份/年 | 规划与方案正文、制度汇编、机制办法、评估报告 |
| 体制机制创新 | 共 5 项 | 五级组织责任体系、跨主体协同汇聚机制、全周期管理机制、绩效考核与激励机制、能力复用机制 | 机制办法文本+配套表单与台账 |
| 标准规范完善 | 共 20+ 项 | 牵头制定关键行业标准 2 项、「五位一体」标准体系细分标准 18 项、项目实施技术规范 6 项,合计 26 项 | 标准草案与编制说明、标准体系表、规范正文 |
| 人才队伍建设 | 共 1 项 | 不少于 50 人、涵盖六大领域的数据标注专家库及其管理办法 | 专家库名单与档案、《数据标注专家库管理办法》 |
| 合计 | 约 30+ 项 | 我方编制成果 37 项以上,另加政策梳理成果 1 套 | —— |
表 2.10-16 数据来源:各类数量依招标文件原文;成果项数的统计口径为本方案说明,与招标文件相应条款「约 30+ 项」的要求一致。
知识产权成果(论文 5 篇、发明专利 3 项、软件著作权 6 项)属招标文件单列的另一条要求,不计入上表「约 30+ 项」的软建设项数,其布局与申报路线在第 9 章论述。论文、专利与标准三者的素材来源相同,都来自项目实施过程中积累的方法与实测数据,第 9 章与本章 6.5 节在素材上互引,不重复论述。
招标文件要求梳理数据要素市场化配置、高质量数据集建设、人工智能产业发展、新型信息基础设施、数据安全、绿色低碳等领域的法律法规、产业政策、专项规划、技术导则、建设指南、评价标准等相关文件 25 个。
梳理不是把文件名列出来。本项目的梳理按三列组织:文件是什么、它约束本项目的哪一个动作、不符合会有什么后果。第二列是梳理的价值所在——一份政策若找不到它在本项目中的约束对象,列进清单只是充数。
表 2.10-17 政策体系梳理清单(25 个文件)
| 序号 | 领域 | 文件名称 | 文件类型 | 在本项目中的约束对象 |
|---|---|---|---|---|
| 1 | 数据要素市场化配置 | 《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》(2022 年) | 产业政策 | 数据产权、流通交易、收益分配、安全治理四项基础制度的设计依据;确权模块的按份共有规则与清算规则的分配原则 |
| 2 | 数据要素市场化配置 | 《「数据要素×」三年行动计划(2024—2026 年)》(国家数据局等,2023 年) | 专项规划 | 工业制造领域数据要素应用场景的选取依据;四类数据集的业务主线划分与场景验证的方向 |
| 3 | 数据要素市场化配置 | 《关于加强数据资产管理的指导意见》(财政部等,财资〔2023〕141 号) | 产业政策 | 《数据集资产台账》的字段设计与资产登记流程;数据集的成本归集与价值记录口径 |
| 4 | 数据要素市场化配置 | 《关于促进数据产业高质量发展的指导意见》(国家数据局等,2024 年) | 产业政策 | 公共服务内容体系的定位与公益层服务清单;产业链协同汇聚的激励方式设计 |
| 5 | 高质量数据集建设 | 《高质量数据集质量评测规范》(TC609-5-2025-04) | 评价标准 | 数据集质量评测的主依据;质检报告六维度指标与数据卡分区结构均对齐此规范 |
| 6 | 高质量数据集建设 | GB/T 36073—2018《数据管理能力成熟度评估模型》 | 评价标准 | 数据治理体系建设与三级达成路径的评估依据;九大能力域的划分 |
| 7 | 高质量数据集建设 | GB/T 38667—2020《信息技术大数据数据分类指南》 | 技术导则 | 九个业务域下的数据分类维度与分类编码 |
| 8 | 高质量数据集建设 | GB/T 36344—2018《信息技术数据质量评价指标》 | 评价标准 | 质检报告中完整性、准确性、一致性、唯一性、及时性、有效性六项通用指标的计算口径 |
| 9 | 人工智能产业发展 | 《新一代人工智能发展规划》(国发〔2017〕35 号) | 专项规划 | 智能制造方向的总体政策依据;项目目标层的行业定位表述 |
| 10 | 人工智能产业发展 | 《国务院关于深入实施「人工智能+」行动的意见》(2025 年) | 产业政策 | 「人工智能+制造」的实施路径依据;六个专业场景验证的方向与成效表述口径 |
| 11 | 人工智能产业发展 | 《生成式人工智能服务管理暂行办法》(国家网信办等,2023 年) | 法规 | 训练语料的来源合法性与内容安全要求;合成数据的生成与过滤规则 |
| 12 | 人工智能产业发展 | 《人工智能生成合成内容标识办法》(国家网信办等,2025 年) | 法规 | 合成样本的来源标识与标记要求;数据卡中合成数据占比与标识字段 |
| 13 | 人工智能产业发展 | 《「十四五」智能制造发展规划》(工业和信息化部等,2021 年) | 专项规划 | 制造业数字化转型的政策依据;装备制造领域数据应用方向 |
| 14 | 新型信息基础设施 | 《国家数据基础设施建设指引》(国家数据局等,2024 年) | 建设指南 | 接入国家数据基础设施的技术方案依据;统一目录标识、统一身份注册、标准接口三项接口预留的设计口径 |
| 15 | 新型信息基础设施 | 《「十四五」数字经济发展规划》(国发〔2021〕29 号) | 专项规划 | 数据要素市场与行业数据平台的建设定位 |
| 16 | 新型信息基础设施 | 《算力基础设施高质量发展行动计划》(工业和信息化部等,2023 年) | 专项规划 | 训练推理算力配置与算力适配方案的政策依据 |
| 17 | 数据安全 | 《中华人民共和国数据安全法》(2021 年) | 法律 | 数据分类分级、重要数据识别、安全审查的总依据;数据汇聚入库三项核查的法律基础 |
| 18 | 数据安全 | 《中华人民共和国个人信息保护法》(2021 年) | 法律 | 涉及人员信息样本的处理依据;入口去标识化作业的法律基础 |
| 19 | 数据安全 | 《网络数据安全管理条例》(国务院令第 790 号) | 法规 | 数据处理活动的安全管理要求;平台侧的安全管理制度与应急处置 |
| 20 | 数据安全 | 《工业和信息化领域数据安全管理办法(试行)》(工业和信息化部,2022 年) | 法规 | 工业数据的分类分级备案与安全管理要求;重要数据目录的编制 |
| 21 | 数据安全 | 《工业数据分类分级指南(试行)》(工信厅信发〔2020〕6 号) | 技术导则 | 数据卡「安全与合规」分区中分类分级字段的取值依据;敏感数据判定的分级口径 |
| 22 | 绿色低碳 | 《工业领域碳达峰实施方案》(工业和信息化部等,2022 年) | 专项规划 | 制造过程数据集中能耗与碳排相关字段的采集口径;绿色制造类场景的数据准备方向 |
| 23 | 绿色低碳 | GB 40879—2021《数据中心能效限定值及能效等级》 | 评价标准 | 训练推理与平台运行环境的能效要求;硬件选型中的能效指标 |
| 24 | 矿山装备与煤矿智能化 | 《关于加快煤矿智能化发展的指导意见》(发改能源〔2020〕283 号) | 产业政策 | 下游用户需求方向的政策依据;在役运维与成套接口类数据的汇聚必要性论证 |
| 25 | 矿山装备与煤矿智能化 | 《煤矿智能化建设指南(2021 年版)》(国家能源局、国家矿山安全监察局) | 建设指南 | 工作面成套设备的智能化要求;供需计划与产品质量数据集的业务场景口径 |
表 2.10-17 数据来源:领域划分与文件类型依招标文件原文所列六类领域与六类文件类型(另按本项目行业特点增列矿山装备与煤矿智能化一类);约束对象一列为本方案的适用性分析结论。各文件的发文字号与现行版本以实施启动阶段的查新结论为准,查新结果列入《政策与标准适用清单》,首版在实施启动阶段提交招标方确认,此后每半年复查一次并提交更新版本。
梳理成果不是一次性的。政策会修订、会被替代,清单跟着动。我方的处置与标准查新同口径:实施启动阶段完成一次政策与标准查新,出具《政策与标准适用清单》并提交招标方确认,此后每半年复查一次;查新发现文件被替代时,按新版本更新受影响的制度条款与规范条款,并在相关交付物中记录该版本所适用的文件版本,使历史交付物的依据可回溯。这条机制是 6.3.4 节政策落地动态调整机制的一部分。
引用的国家标准与行业标准的完整清单(五类共 60 余项)见附录佐证卷「标准规范 · 样例数据卡 · 质检/验证报告模板」一件,本节不重复列。表 2.10-17 中列入的标准是被政策文件直接引用或作为评价依据的那几项。
招标文件要求政策规划制定共 5 项,并列明构成:1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制、1 份年度政策符合性评估报告。按原文的列举,5 项指的是五类交付,其中专项实施方案一类含 4 项,因此文件总数为 8 份。本节按五类展开。
《矿山装备制造领域高质量数据集中长期发展规划》,规划期与项目建设期衔接并向后延伸至运营期。内容五章:行业数据资源现状与差距、数据集建设的阶段目标与规模路径、数据运营与对外服务的发展路径、标准与生态建设路径、实施保障。
规划的约束对象是年度计划。四类数据集的规模目标——预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条——在规划中分解到年度,年度计划按规划分解值编制;年度实际与分解值的偏差进入年度政策符合性评估报告。规划不是愿景文本,它是年度计划的上级依据,这一点在规划的编制说明中写明。
规划在建设期首年编制,经招标方评审确认后发布,每两年复审一次。复审的触发条件除周期到达外,还包括上级政策发生实质变化、数据集规模目标发生调整两项。
四项专项实施方案按本项目的四条主线设置,每一项都对应一个有明确交付物的工作面。
《数据集加工生产专项实施方案》覆盖四类数据集的加工组织:环节划分与门控设置、产能与排期、质量判定与返工规则、各类数据集的里程碑。它的约束对象是加工作业的排期与门控,加工链路按它执行。
《数据治理贯标专项实施方案》覆盖数据管理能力成熟度三级的达成路径:现状评估、九大能力域的建设任务、治理文档的编制计划、贯标评估的组织安排。它的约束对象是治理文档的交付节奏与评估准备。
《数据运营推广专项实施方案》覆盖运营体系的落地:汇聚计划、服务上线节奏、公益与商业的年度比例、营收目标分解、接入国家数据基础设施的推进节奏。它的约束对象是运营组织的年度工作计划。
《数据安全与合规专项实施方案》覆盖安全建设与合规事项:等级保护测评与密码应用评估的组织、数据分类分级与重要数据目录的编制、敏感数据处置流程、合规审查节点。它的约束对象是安全建设的里程碑与合规审查的门控位置。
四项方案的编制时点在建设期首年的前两个季度内,每年按实际进展修订一次,修订记录留档。
制度体系是一套制度文件的汇编,而不是一份制度。它与标准规范的区别在约束对象:标准规范约束技术动作(怎么标、怎么检、怎么封装),制度约束组织行为(谁批、谁管、谁担责)。
表 2.10-18 制度体系的构成
| 制度类别 | 制度文件 | 约束的组织行为 |
|---|---|---|
| 组织与责任 | 《数据管理组织与职责规定》《五级组织责任体系实施办法》 | 各层级组织的设置、职责边界、议事与表决 |
| 数据资源 | 《数据资源目录管理制度》《数据提供与汇聚管理办法》《数据权属登记与确权管理办法》 | 目录维护、汇聚协议签订、权属登记与份额确认 |
| 加工与质量 | 《数据加工作业管理办法》《数据质量管理办法》《整改任务单与复检管理规定》 | 作业派单、质量门控、缺陷整改与复检闭环 |
| 安全与合规 | 《数据分类分级管理办法》《数据安全管理制度》《合规审查管理规定》《保密管理规定》 | 分级判定、权限审批、合规审查、涉密材料管理 |
| 运营与服务 | 《数据集上架与下架管理办法》《定价与清算管理办法》《服务质量与 SLA 管理办法》 | 上架审批、价格与清算规则变更、服务考核 |
| 专家与人才 | 《数据标注专家库管理办法》《标注人员培训与考核规定》 | 专家遴选、抽派、考核与出库;标注员入组与退出 |
| 考核与激励 | 《数据工作绩效考核与激励办法》 | 考核指标、评定周期、激励兑现 |
| 文档与档案 | 《文档编号与归档管理规定》《制度文件管理办法》 | 文档编号、归档借阅、制度的制定修订废止 |
表 2.10-18 数据来源:制度类别依招标文件「1 套制度体系」的要求与数据治理九大能力域的管理需要;各制度的编制依据见数据治理一、二两节的治理文档清单(治理文档不少于 25 份,需求实列 37 份)。制度体系与治理文档清单存在交集,交集部分只编制一次、两处引用,不重复交付。
制度体系与「数据治理规划和实施服务」一节交付的治理文档有重叠,这一点需要写明处置方式:重叠的文件只编制一次,在治理文档清单与制度体系汇编中各列一条索引,实际交付一份。这样既满足两处的要求,也不制造两份内容相近而口径不同的文本。
这一项是五类里最容易写空的一项。本项目把它做成四个动作,每个动作有触发条件、责任主体与产出。
第一个动作是查新。每半年一次,范围为表 2.10-17 的 25 个文件与附录佐证卷「标准规范 · 样例数据卡 · 质检/验证报告模板」一件的引用标准清单。产出是《政策与标准适用清单》的更新版本,标明新增、替代、废止三类变化。
第二个动作是影响分析。查新发现变化后,逐项分析受影响的交付物:哪些制度条款需要改、哪些规范条款需要改、哪些已交付的数据集的依据标注需要更新。产出是影响分析表,列明受影响项、改动内容、责任人与时限。
第三个动作是执行与留痕。按影响分析表修订相关文本,修订在原文件的修订记录中登记,内容包括依据的新文件、修订条款、生效日期。已发布的数据集不追溯修改,但在数据卡的「依据标准」字段保留其适用的版本,使历史版本的判定依据可回溯。
第四个动作是报告。年度汇总形成政策符合性评估报告的一个章节(见 6.3.5 节)。
触发条件除半年周期外还有两项:上级主管部门发文明确要求落实的,自发文之日起 20 个工作日内完成影响分析;项目范围或数据集规模发生调整的,同步复查政策适用性。
报告按年度出具,内容五部分:本年度政策与标准变化情况、本项目各交付物的符合性逐项核对结论、不符合项与整改情况、中长期发展规划分解目标的完成情况、下一年度的政策应对建议。
报告的第二部分是主体。核对按交付物逐项进行,核对结论分「符合」「部分符合(附整改)」「需进一步确认」三档。核对的依据是表 2.10-17 的约束对象一列——这一列事先写明了每份政策约束哪个动作,年度核对时按这一列逐条检查该动作的执行记录。这样设计使评估报告有可核对的对象,而不是一份总体表态。
报告的输入包括:《政策与标准适用清单》的年度更新版本、各专项实施方案的执行记录、《专家库年度运行报告》、数据集质检与评测的年度统计、审计报告中与合规相关的部分。报告报招标方,并在运营组织的决策层例会上审议。
招标文件要求体制机制创新共 5 项,并列明:五级组织责任体系、跨主体协同汇聚机制、全周期管理机制、绩效考核与激励机制、能力复用机制。五项之间不是并列的五块,前两项解决「谁负责、数据从哪来」,中间一项解决「数据从生到退怎么管」,后两项解决「人为什么要做好、做过的东西怎么再用」。
本项目涉及的组织不止一套:数据治理有治理组织,运营期有运营组织,项目建设期有项目管理组织。三套组织在各自章节中分别设置。五级组织责任体系的作用是把三套组织归并到一条责任链上,明确每一级对什么负责、向谁交账,使同一件事不出现两个负责层级。
五级自上而下为:决策级、把关级、管理级、作业级、岗位级。
决策级是数据运营管理委员会,对数据集建设与运营的重大事项负责,包括年度计划与目标、价格与清算规则、公益与商业比例、投入分配、重大合作与争议结论审议。它的交账方式是决议文件与年度运营计划。
把关级是质量、合规、技术三个专业委员会,对专业判断负责。专业判断不采用多数表决,采用独立评审与分歧上升(见 2.5 节与 4.8 节)。它的交账方式是专业意见书与判定结论。
管理级是项目管理层与运营中心的管理职能,对计划执行、进度、成本、范围变更负责。它的交账方式是计划执行报告、变更评议结论、月度运营报告。
作业级是八个作业组:数据采集组、加工标注组、质检组、评测组、平台运维组、运营服务组、交付保障组、清算结算组。它对交付物负责,交账方式是交付物与交接单。
岗位级是具体责任人,包括数据域的数据责任人、标注员、质检员、评测员、运营管理员、审计员。它对单条记录与单个动作负责,交账方式是平台上的操作留痕与待办完成记录。
表 2.10-19 五级组织责任体系与各章节组织设置的对应
| 级别 | 本级组织/角色 | 对什么负责 | 交账产出 | 在其他章节中的载体 |
|---|---|---|---|---|
| 决策级 | 数据运营管理委员会(含秘书处) | 重大事项、年度目标、规则与比例、投入分配 | 决议文件、年度运营计划、价格体系 | 「数据集运营服务管理平台建设要求」一节 2.5 节;「数据治理规划和实施服务」一节的治理决策层 |
| 把关级 | 数据质量、合规与权属、技术三个专业委员会 | 专业门槛、专业争议、方案与方法的专业结论 | 专业意见书、判定结论、评审意见 | 「数据集运营服务管理平台建设要求」一节 2.5 节;专家库的议事规则见 4.8 节 |
| 管理级 | 项目管理层;运营中心管理职能 | 计划、进度、成本、范围变更、跨组协同 | 计划执行报告、变更结论、月度运营报告 | 服务方案「项目管理措施」一节;「数据集运营服务管理平台建设要求」一节 2.5 节 |
| 作业级 | 采集、加工标注、质检、评测、运维、运营服务、交付保障、清算结算各组 | 交付物的完成与质量自检 | 交付物、交接单、作业日报 | 数据加工生产一、二两节;「数据集运营服务管理平台建设要求」一节 2.3 节 |
| 岗位级 | 数据责任人、标注员、质检员、评测员、运营管理员、审计员 | 单条记录与单个动作 | 操作留痕、待办完成记录、复核状态字段 | 「数据治理规划和实施服务」一节(数据责任人);工具链一、二、三各节(复核状态字段) |
表 2.10-19 数据来源:五级划分依招标文件「五级组织责任体系」的要求;各级组织的具体设置见上表末列所指章节,本表只建立对应关系,不重复设置。各级的人员编制与岗位要求见商务与资格卷「项目团队配置」一件。
责任链上有两条贯穿规则。一是逐级交账而不越级:作业级向管理级交账,管理级向决策级交账;专业判断由把关级出结论,不由管理级代替。二是留痕逐级可查:岗位级的操作留痕是全部责任追溯的底层证据,上面四级的结论都能回查到具体的操作记录。
2.10-5 五级组织责任体系的责任流向与交账关系
图 2.10-5 五级组织责任体系的责任流向与交账关系。实线为向上交账,虚线为向下授权。数据来源:招标文件「五级组织责任体系」;各级组织的具体设置见「数据集运营服务管理平台建设要求」一节 2.5 节、「数据治理规划和实施服务」一节的治理组织、服务方案「项目管理措施」一节。
这一项的机制本体在「数据集运营服务管理平台建设要求」一节 2.1 节,四项深化措施已在 2.1 节给出。作为体制机制创新的一项,它在软建设中的交付物是三份文本与一套台账:《数据提供与汇聚管理办法》(制度)、《数据汇聚技术规范》(技术规范)、三类数据提供协议模板(无偿公益提供、有偿提供、合作共建按份共有),以及汇聚计划与到位率台账。
写在这里的理由是:协同汇聚之所以能算「体制机制创新」,不在于它有四条通道,而在于它把一件靠关系推动的事变成了靠文本约束的事。协议模板规定了双方的权利义务,技术规范规定了接入方式与数据格式,管理办法规定了汇聚方的准入与退出、责任人的指定与考核。有了这三样,汇聚工作换人也能接着做。
全周期管理机制管的是数据与数据集从进入到退出的六个阶段,每个阶段之间设门控,门控不过不进入下一阶段。这一机制把分散在加工、治理、评测、运营各章节的门控归并成一条链,并明确每个门控的判据与责任级别。
表 2.10-20 全周期六阶段与门控设置
| 阶段 | 起止 | 本阶段的主要动作 | 出口门控与判据 | 门控责任级别 | 机制本体所在 |
|---|---|---|---|---|---|
| 汇入 | 从数据提供到入库 | 来源登记、许可凭证留存、敏感信息核查、授权范围核查、用途限制核查 | 三项核查通过且登记完整;不通过的隔离 | 把关级(合规与权属专业委员会) | 「数据集运营服务管理平台建设要求」一节 2.1 节 |
| 加工 | 从入库到候选数据集 | 预处理、结构化、对齐、标注、合成与增强 | 字段完整、证据齐全、置信度分流处置完成 | 作业级自检+管理级抽查 | 数据加工生产一、二两节 |
| 质检 | 候选数据集提交质检 | 六维度指标测算、抽样复核、缺陷分级 | 各维度达到判定门限;缺陷按级整改并复检通过 | 把关级(数据质量专业委员会)定门限 | 「数据集质量评测方案」一节 |
| 发布 | 质检通过到版本发布 | 数据卡编制、版本指纹与封装、血缘完整性校验、发布审批 | 血缘挂接率达门限、数据卡字段完整、审批通过 | 管理级审批、把关级参与 | 数据加工生产二节、附录佐证卷「标准规范 · 样例数据卡 · 质检/验证报告模板」一件 |
| 运营 | 发布后的挂牌与服务 | 挂牌展示、订单与交付、清算分账、时效性监测、更新 | 时效性占比低于阈值的生成更新待办;未按承诺更新的调整挂牌状态 | 管理级 | 「数据集运营服务管理平台建设要求」一节 1.2 至 1.5 节、2.1 节 |
| 退役 | 下架到归档 | 下架申请与审批、用户通知、归档封存、依据版本保留 | 在用订单处置完毕、归档清单与指纹留存 | 管理级审批 | 「数据集运营服务管理平台建设要求」一节 1.2 节 |
表 2.10-20 数据来源:阶段划分依招标文件「全周期管理机制」的要求;各门控的判据与机制本体见上表末列所指章节,本表只建立门控链条与责任级别的对应。
全周期管理的创新之处在两点。一是门控的判据都是可测的量而不是「经评审同意」:血缘挂接率、六维度指标值、时效性占比、三项核查结论,都有数值或明确结论。二是门控的责任级别明确区分——定门限的是把关级,判是否达到门限的是作业级与系统,批准放行的是管理级。定门限与批放行不是同一级,这是防止门限被临时放宽的制衡。
2.10-6 全周期六阶段的门控链与不通过时的流向
图 2.10-6 全周期六阶段的门控链与不通过时的流向。数据来源:招标文件「全周期管理机制」;各门控判据见表 2.10-20 所列章节。
这一项分对内与对外两条,两条的设计原则相同:考核指标取自系统已有的客观记录,不另建填报流程。
对内考核的对象是各作业组与岗位。指标分四类:交付按时率(待办按时完成数占比)、交付一次通过率(首次提交即通过下游接收检查的交付物占比)、质量反查命中率(本组交付物在后续环节被判定缺陷的比例,反向计分)、整改闭环率(指派给本组的整改工单按时闭合的比例)。四类指标的数据来源是平台的待办台账、交接单记录、缺陷台账与工单台账。考核周期为月度统计、季度评定、年度汇总。
对外激励的对象是汇聚方与服务承担方。汇聚方的四类激励见 2.1.5 节与「数据集运营服务管理平台建设要求」一节 2.1 节。服务承担方的激励与考核挂钩:各承担方的服务质量按同一套指标考核,考核结果进入服务质量报告,并作为后续服务分派的依据——分派量跟着考核结果走,这是把「联合」从一次性协作变成有反馈的长期机制。
专家的考核机制单列,见 4.7 节。标注人员的培训与考核见数据加工生产一、二两节与《标注人员培训与考核规定》。
交付物是《数据工作绩效考核与激励办法》一份,内容包括考核对象、指标定义与数据来源、评定周期与档位、激励兑现方式、申诉渠道。办法所列考核档位与激励额度为本方案的建议取值,经招标方评审核定后写入办法并生效,核定值与建议值不一致的按核定值执行。
能力复用机制针对的是数据集建设中的一类浪费:同一件事在不同数据集、不同场景上重复做。备料工序的标签体系在板材备料场景做过一次,焊接场景又从零做一次;黄金集在第一批数据集建过一次,第二批又重新抽样定标。重复的不是工作量问题,是口径问题——两次做出来的东西不一致,后面的数据集之间就对不上。
本项目把五类资产列为复用对象,每一类有明确的复用方式与一处权威来源。
表 2.10-21 五类可复用资产与复用方式
| 可复用资产 | 一处权威来源 | 复用方式 | 复用的收益 | 维护责任 |
|---|---|---|---|---|
| 知识本体与术语词典 | 统一的本体版本库,按七域组织 | 各类标注任务引用同一本体版本;新术语经专家判定后回流本体,不在局部自建 | 跨数据集的标签含义一致,数据集之间可拼接 | 标准编制类专家+加工标注组 |
| 标注规范与标签体系 | 《多模态数据标注规范》五册 | 新场景的标注任务先查规范中有无同类标注对象,有则沿用标签体系并只补增量 | 标注员培训与考核可复用;一致性基线可比 | 标准编制类专家+质检组 |
| 黄金集与定标记录 | 黄金集库,按标注任务类型与细分方向组织 | 新批次的入组考核与持续抽检优先用已有黄金集;按季度轮换时补充而不重建 | 定标工作量下降;一致性指标在时间上可比 | 数据生产类专家+质检组 |
| 工具链与配置 | 工具版本库+配置版本库 | 同类加工任务复用已验证的配置版本,只改必要参数;配置带版本号可回滚 | 调参成本下降;结果可复现 | 平台运维组 |
| 评测基准与评测协议 | 冻结基准集+固化评测协议 | 新模型或新版本数据集的评测复用同一基准与协议,结果可纵向比较 | 评测结论在版本之间可比,能看出进步还是退步 | 质量管控类专家+评测组 |
表 2.10-21 数据来源:复用资产的清单依本项目各章节的交付物构成;复用机制依招标文件「能力复用机制」的要求;各资产的本体内容见工具链一、二、三各节、数据加工生产一、二两节与「数据集质量评测方案」一节。
复用机制的执行靠两条规则。第一条是「先查后建」:任何新建标签体系、新建黄金集、新写配置的动作,须先在权威来源中检索有无同类,检索结论记录在任务单上;检索到同类而仍要新建的,须说明差异理由并经把关级确认。第二条是「只增不叉」:新场景对已有资产的扩展采用新增条目而不是新建一套平行体系,扩展后的版本回到权威来源统一发布。
复用机制的成效口径:新建数据集的标注任务中,沿用已有标签体系的比例逐年提高,首期按不低于 60% 设定为管理值,取值在首批数据集完成后按实测沿用比例校准并报招标方核定;跨数据集的术语一致性在数据字典比对中可测,不一致项进入本体回流待办。
能力复用机制也是运营期技术工具赋能类公共服务的基础:对外输出的是已经在本项目上验证过的工具配置、标注规范与评测协议,而不是从零为每个外部用户重做一遍(见 2.6 节)。
招标文件要求标准规范完善共 20 项以上,并列明构成:牵头制定 2 项关键行业标准、构建「五位一体」标准体系包含 18 项细分标准、制定 6 项项目实施技术规范。三部分合计 26 项。项目成果目标中另列有知识产权要求——发表高质量论文不少于 5 篇、申请发明专利不少于 3 项、获得软件著作权不少于 6 项,其中标准相关的成果与本节衔接。
牵头制定行业标准是一件有外部依赖的事:立项要经标准化技术委员会批准,周期取决于标准化工作的整体安排。本方案因此把自主可控部分与外部依赖部分分开组织:自主可控部分在项目期内完成并可验收,含标准草案编制、意见征集、试验验证与申报材料报送;外部依赖部分给出推进路径与时间估计,并按标准化机构的实际排期动态更新。
两项标准的选题依据是本项目的实际产出。第一项《矿山装备制造领域高质量数据集构建通用要求》,内容覆盖数据集的分类与命名、元数据与数据卡字段、规模与覆盖度表述口径、质量指标体系、版本与封装要求。选它的理由是本项目在四类数据集上实际走完了一遍构建流程,这些要求是从实践里提炼的而不是推演的。
第二项《矿山装备制造数据标注规范》,内容覆盖文本、图像、图纸、时序、视频五类对象的标注粒度、标签体系层级、一致性判定与争议处置。选它的理由同上,并且招标文件单列了数据标注规范的建设要求。
表 2.10-22 两项关键行业标准的推进路径
| 阶段 | 工作内容 | 产出 | 可控性 | 时间安排 |
|---|---|---|---|---|
| 一 素材积累 | 在本项目的加工实践中积累标注规范、数据卡模板、质量指标的执行记录与修订理由 | 实践记录与问题台账 | 完全可控 | 与加工期同步 |
| 二 草案起草 | 由标准编制类专家牵头起草,数据生产与质量管控类专家参与审查 | 标准草案、编制说明、条款依据对照表 | 完全可控 | 加工期中后段 |
| 三 内部评审与试用 | 在本项目后续批次数据集上试用草案条款,记录不适用之处并修订 | 试用报告、修订记录、草案第二版 | 完全可控 | 第二批数据集建设期 |
| 四 征求意见 | 面向产业链上下游企业、高校与科研院所、检测机构征求意见 | 意见汇总表与处理说明 | 基本可控 | 草案第二版形成后 |
| 五 立项申报 | 向相应标准化技术委员会申报立项 | 立项申报材料与受理回执 | 不完全可控 | 征求意见完成后启动 |
| 六 审查与报批 | 配合技术委员会审查、按审查意见修改、报批 | 送审稿、报批稿 | 不可控(取决于委员会审查节奏) | 立项获批后 |
表 2.10-22 数据来源:阶段划分依标准化工作的通常流程与招标文件「牵头制定 2 项关键行业标准」的要求;归口技术委员会的选择与立项申报时点在实施启动阶段由招标方牵头协调确定,确定前按 6.5.4 节的申报路线准备草案与申报材料。
验收口径按阶段设定:项目期内的验收对象是阶段一至四的产出,即两项标准的草案(含编制说明、条款依据对照表、试用报告、意见汇总表与处理说明),以及立项申报材料的提交与受理记录。标准的获批与发布不作为本项目的验收条件,原因是审查节奏不由项目方决定。这一条在投标阶段就写明,避免将来按「标准是否发布」来判定本项目是否完成。
「五位一体」指标准体系按五个层次组织:基础通用、数据资源、加工生产、质量评测、安全流通。五个层次不是并列的五组文件,它们是逐层依赖的——上层的判定要用到下层的定义,下层改了上层跟着改。18 项细分标准按五层分布。
表 2.10-23 「五位一体」标准体系的 18 项细分标准
| 层次 | 序号 | 细分标准名称 | 主要内容 | 本项目中的依赖关系 |
|---|---|---|---|---|
| 基础通用(4 项) | 1 | 矿山装备制造数据术语 | 术语条目、定义、同义词与废弃词 | 上面四层的全部文本引用本项术语 |
| 2 | 矿山装备制造数据分类与编码 | 业务域划分、分类维度、编码规则 | 数据资源层的目录与元数据按本项分类 | |
| 3 | 矿山装备制造业务对象标识规则 | 施工号、产品号、图号、零件号、物料编码、工单号的标识与映射规则 | 加工生产层的对齐与血缘依赖本项标识 | |
| 4 | 数据元与元数据描述规则 | 数据元的命名、定义、表示方式;元数据项与取值域 | 数据资源层与质量评测层的字段定义依赖本项 | |
| 数据资源(4 项) | 5 | 数据资源目录编制规则 | 目录层级、目录项字段、维护与发布流程 | 依赖第 2、4 项;运营平台的目录模块按本项实现 |
| 6 | 数据集描述与数据卡规范 | 数据卡分区、字段必填性、取值约束、填写示例 | 依赖第 4 项;质量评测层的报告引用数据卡字段 | |
| 7 | 数据集版本与封装规范 | 版本号规则、清单生成、摘要与签名、自描述封装结构 | 依赖第 6 项;安全流通层的可信流通依赖本项指纹 | |
| 8 | 数据权属与许可描述规范 | 权属类型、份额表示、许可条件与用途限制的描述方式 | 依赖第 4 项;清算规则与对外发布依赖本项 | |
| 加工生产(4 项) | 9 | 数据采集与接入技术要求 | 源系统登记、接入方式、增量机制、入口处置要求 | 依赖第 3 项;四种汇聚通道按本项实现 |
| 10 | 数据预处理与结构化技术要求 | 文档解析、语义切分、表格与公式还原、时序对齐的技术要求 | 依赖第 1、3 项 | |
| 11 | 多模态数据标注技术要求 | 五类对象的标注粒度、标签体系层级、一致性判定、争议处置 | 依赖第 1、2 项;是行业标准第二项的基础 | |
| 12 | 数据合成与增强技术要求 | 种子选取、合成方法登记、占比控制、与基准子集的去重要求 | 依赖第 11 项;质量评测层按本项核验合成样本 | |
| 质量评测(3 项) | 13 | 数据集质量指标与计算方法 | 六维度指标的定义、计算公式、量纲与修约规则 | 依赖第 4、6 项;质检与评测按本项出数 |
| 14 | 数据集质量检验抽样与判定规则 | 抽样方案、样本量、接收判定、缺陷分级 | 依赖第 13 项 | |
| 15 | 数据集验证与评测协议规范 | 评测环境、协议固化项、判分策略、结果呈现与可比性要求 | 依赖第 13 项;评测基准的复用依赖本项 | |
| 安全流通(3 项) | 16 | 数据分类分级与敏感数据判定规则 | 分级维度、判定流程、重要数据识别、分级结果的表示 | 依赖第 2 项;汇入门控按本项判定 |
| 17 | 数据去标识化与脱敏技术要求 | 识别范围、方法选择、效果评估、留痕要求 | 依赖第 16 项 | |
| 18 | 数据集对外流通与接入技术要求 | 对外发布的字段范围、标识登记、身份互认、存证与通道管控要求 | 依赖第 7、8、16 项;接入国家数据基础设施按本项实施 |
表 2.10-23 数据来源:五层划分与 18 项的数量依招标文件「构建『五位一体』标准体系包含 18 项细分标准」的要求;各项内容依本项目各技术章节的实际交付需要设定;与既有国家标准的对应关系见附录佐证卷「标准规范 · 样例数据卡 · 质检/验证报告模板」一件的引用标准清单。
18 项细分标准与附录佐证卷「标准规范 · 样例数据卡 · 质检/验证报告模板」一件列出的引用国家标准不是重复关系:引用标准解决「凭什么这样判」,细分标准解决「在矿山装备制造这个行业里具体怎么判」。例如数据集质量指标的六维度框架来自评测规范,而「焊缝等级字段的取值是否合法」这类行业专属判定,国家标准里没有,要由第 13 项与第 11 项规定。18 项中凡与既有国家标准有对应关系的,在条款中直接引用而不另行规定,这一点在标准体系表的编制说明中逐项标注。
2.10-7 「五位一体」标准体系的层次与依赖方向
图 2.10-7 「五位一体」标准体系的层次与依赖方向。数据来源:招标文件所列三部分构成;引用标准清单见附录佐证卷「标准规范 · 样例数据卡 · 质检/验证报告模板」一件。
6 项项目实施技术规范是直接约束作业动作的文本:《数据集加工生产技术规范》《数据采集与接入规范》《数据预处理与结构化规范》《多模态数据标注规范》《数据合成与增强作业规范》《数据集质检规范》。它们的正文与另外 15 份内部管理与安全合规规范一并在附录佐证卷「标准规范 · 样例数据卡 · 质检/验证报告模板」一件列出并随附模板,本节不重复列出内容。
这里只说明它们与 18 项细分标准的关系:细分标准规定「应当达到什么」,实施技术规范规定「本项目具体怎么做」。例如第 11 项《多模态数据标注技术要求》规定标注粒度与标签体系层级的要求,《多模态数据标注规范》则给出五册具体的标注手册——每一类对象的标签清单、典型示例、争议处置的具体条目。标准可以被别的项目引用,实施规范是本项目的作业文件。
6.5.1 节表 2.10-22 的第五阶段「立项申报」写了「向相应标准化技术委员会申报立项」,这句话在实际工作中不是一个动作,而是一次选择。本小节把这次选择的依据讲清楚,因为选错归口,前四个阶段积累的草案与意见汇总就要重走一遍。
依《中华人民共和国标准化法》,标准分为国家标准、行业标准、地方标准、团体标准与企业标准五类,前两类由相应的标准化行政主管部门与全国专业标准化技术委员会归口管理,团体标准由社会团体自行制定、自行发布。本项目的两项标准各有其合适的层级,不宜一律按最高层级申报。
《矿山装备制造领域高质量数据集构建通用要求》这一项,内容的主体是数据集的分类命名、元数据字段、规模与覆盖度的表述口径、质量指标体系与封装要求,这些属于数据领域的共性要求,矿山装备制造只是它的应用场景。这类标准的归口有两种可能:按数据领域归口到数据标准化的专业技术委员会,或按行业领域归口到煤炭及煤矿机械方向的专业技术委员会。两种归口各有利弊——按数据领域归口,标准的通用性更强、将来被其他制造行业引用的可能性更大,但审查时会要求剥离行业特殊性,而本项目恰恰是以行业特殊性见长;按行业领域归口,条款可以写得具体,审查周期通常较短,但适用面局限在本行业。本方案的倾向是先按行业领域归口申报行业标准,待行业内实施一段时间、条款稳定之后再考虑向数据领域的通用标准转化,因为一项没有在真实行业场景里运行过的通用标准,条款多半要返工。
《矿山装备制造数据标注规范》这一项的情况不同。标注粒度、标签体系层级、一致性判定与争议处置这些内容带有很强的行业专属性——文本里的「坡口型式」、图纸里的「中性层系数」、时序里的「层间温度」,这些标签在其他制造行业里不成立。因此这一项按行业领域归口是清楚的,不存在两种选择。
还有一条路径需要写明:团体标准。两项标准在走行业标准或国家标准程序之前,可以先经相关社会团体以团体标准形式发布。团体标准的制定与发布周期明显短于国家标准与行业标准,且不依赖技术委员会的年度立项计划;更重要的是,团体标准发布后在行业内的实际引用情况,是将来申报更高层级标准时最有说服力的立项理由。本方案因此把团体标准作为前置一步而不是替代方案:项目期内形成草案并争取以团体标准形式发布,同时按表 2.10-22 的阶段推进行业标准的立项申报,两条路线并行,互为材料。
与归口相关但性质不同的另一条工作路线是参与全国数标委的标准验证与试点应用。它与我方牵头制定两项标准是两条不同的路线:前者我方是验证方与试点方,为已经立项或已发布的标准提供实测数据与应用反馈;后者我方是起草方,提出新标准。两条路线的产出物不同,前者产出验证数据、问题反馈与试点应用案例,后者产出标准草案与编制说明;两条路线在素材上互通,验证过程中发现的指标不适用之处,正是我方牵头标准里要写清楚的条款。标准验证的参与方式、产出与时点见「数据治理规划和实施服务」一节第 2 章表 2-1,第 4 章给出可供验证使用的实测材料清单。
需要说明的是,归口单位的最终确定与申报渠道的具体对接,须由招标方作为链主企业牵头协调,原因有两条:标准立项申报通常要求有行业内的牵头单位与若干家参与单位联合提出,招标方在煤矿装备行业中的地位是立项理由的组成部分;归口技术委员会的沟通渠道也主要在招标方及其上级单位一侧。本方案承担的是草案编制、试验验证、意见征集与申报材料准备这四项技术工作,并配合招标方完成归口沟通;归口单位与申报渠道由招标方在实施启动阶段确定,确定结果写入《数据运营推广专项实施方案》的标准工作章节。表 2.10-22 把第五、第六阶段标注为「不完全可控」与「不可控」,依据就在这里。
招标文件要求人才队伍建设共 1 项,即组建不少于 50 人规模、涵盖六大领域的数据标注专家库。该项的机制与构成已在第 4 章详述,交付物为专家库名单与档案、《数据标注专家库管理办法》一份、《专家库年度运行报告》一份/年。
软建设口径下需要补充一句的是人才培养的延伸部分。专家库是智力支撑的载体,培养是它的配套:平台面向行业提供数据治理、数据标注、数据集构建三类培训,培训教材与课程体系在项目期内形成并持续更新,公益部分面向中小企业与院校(见「数据集运营服务管理平台建设要求」一节 2.6 节)。培训的组织与课时安排见服务方案「售后服务方案」一节,本节不重复。
软建设的交付物容易出现项目末期集中补文件的情况,这类文件对项目本身没有约束作用。交付节奏与项目阶段绑定,原则是:约束前序动作的文件必须在该动作开始前交付。过程记录一列是验收时的抽查对象——机制类交付物只交一份办法文本是验收不了的,办法写得再好若没有执行记录,它就没有发生。
表 2.10-24 软建设交付节奏、过程记录与验收判据
| 交付物 | 交付时点 | 必须早于什么动作 | 过程记录(验收抽查对象) | 验收判据 |
|---|---|---|---|---|
| 《政策与标准适用清单》首版 | 实施启动阶段 | 制度与规范的编制 | 查新记录、逐文件的适用性分析条目、半年度更新版本 | 清单含 25 个政策文件与引用标准,逐项有适用性分析结论;经招标方确认 |
| 四项专项实施方案 | 建设期首年前两季度 | 加工作业排期、贯标评估准备、运营计划、安全建设里程碑 | 方案的年度修订记录、里程碑执行偏差说明 | 四份方案齐备,各含交付物清单、里程碑与责任分工;经招标方评审 |
| 中长期发展规划 | 建设期首年 | 年度计划编制 | 年度分解值与实际完成值的对照记录、复审记录 | 规划含四类数据集规模的年度分解值;经招标方评审确认后发布 |
| 《数据标注专家库管理办法》与首批入库 | 标注作业启动前(标准编制、数据生产两类) | 黄金集定标、标注争议裁决 | 遴选各步的评议记录、入库建档记录、派单台账 | 办法经评审确认;首批入库名册与档案齐备,两类领域各不少于 3 人 |
| 制度体系(八类共 20 份) | 分批交付,与对应能力域建设同步 | 相应组织行为的发生 | 各制度的生效日期与修订记录、按制度执行的审批留痕 | 制度汇编齐备且与治理文档清单无重复交付;每份有生效日期与修订记录 |
| 五级组织责任体系实施办法 | 建设期首年前两季度 | 各级交账关系的建立 | 各级交账产出的归档记录(决议、专业意见书、执行报告、交接单、操作留痕) | 办法含五级职责、交账产出、两条贯穿规则;与各章节组织设置无冲突 |
| 全周期管理机制 | 首批数据集汇入前 | 汇入门控的执行 | 六道门控的逐批执行记录、不通过批次的流向记录 | 六阶段门控的判据与责任级别明确;门控在平台上有对应功能且逐批留痕 |
| 绩效考核与激励办法 | 建设期首年 | 首个考核周期 | 月度统计、季度评定、年度汇总记录与申诉受理记录 | 办法含指标定义与数据来源;指标数据可从平台台账直接取得 |
| 能力复用机制 | 第二批数据集建设启动前 | 第二批的标签体系与黄金集建设 | 任务单上的「先查后建」检索结论、新建的差异理由与把关级确认记录 | 五类资产各有权威来源;检索结论在任务单上可见 |
| 18 项细分标准 | 分批交付,按层次自下而上 | 上层标准与实施规范的编制 | 标准体系表的版本记录、与引用国家标准的对应关系标注 | 标准体系表+18 份标准文本;对应关系逐项标注 |
| 2 项行业标准草案与立项材料 | 加工期中后段至第二批建设期 | —— | 实践记录与问题台账、试用报告、意见汇总表与处理说明 | 草案、编制说明、条款依据对照表、试用报告、意见汇总表、立项申报受理记录 |
| 6 项项目实施技术规范 | 对应加工环节启动前 | 该环节的作业 | 规范的执行记录与偏差处置记录 | 规范正文与模板齐备 |
| 年度政策符合性评估报告 | 每年度末 | —— | 逐交付物的符合性核对记录、不符合项的整改与复核记录 | 报告含逐交付物的符合性核对结论与整改情况 |
| 《专家库年度运行报告》 | 每年度末 | —— | 履职台账、考核评定记录、出库与补充记录 | 报告含履职总量、考核结果分布、出库与补充情况、领域缺口建议 |
| 《标注疑难案例集》 | 每季度更新 | —— | 当期裁决与疑难判定的选取记录 | 案例按问题描述、各方意见、裁决结论、依据条款四段式编写并入培训教材 |
表 2.10-24 数据来源:交付时点按招标文件建设周期(至 2028 年 5 月)与各章节实施计划的阶段划分设定;过程记录与验收判据为本方案设定,最终以合同与实施计划定版为准。
验收方式按三类分别设定。文本类交付物(规划、方案、制度、标准、规范、办法)的验收以招标方评审确认为准,评审意见与处理说明一并归档。机制类交付物(动态调整机制、全周期管理机制、能力复用机制、考核机制)的验收不看文本而看执行记录——查新记录、门控执行记录、检索结论记录、考核评定记录,有记录才算机制在运行。名册类交付物(专家库)的验收以名册、档案与履职记录为准。
表 2.10-25 软建设五类配套措施的成效口径
| 类别 | 首期基线 | 度量方法 | 未达基线时的回退 |
|---|---|---|---|
| 政策体系梳理 | 25 个文件逐项有适用性分析结论;每半年查新一次,查新后 20 个工作日内完成影响分析 | 《政策与标准适用清单》的版本记录与影响分析表 | 整改:按影响分析表修订受影响的制度条款与规范条款,并更新交付物的依据标注 |
| 政策规划制定 | 五类共八份文件齐备并经评审确认;规划含四类数据集规模的年度分解值 | 文本齐备性核对与评审记录 | 复议:按评审意见修订后重新提交;年度分解值与实际偏差进入年度评估报告 |
| 体制机制创新 | 五项各有办法文本与执行记录 | 执行记录核查:查新记录、门控执行记录、检索结论记录、考核评定记录 | 复议并整改:无执行记录的机制视为未运行,限期补执行并复查 |
| 标准规范完善 | 18 项细分标准与 6 项项目实施技术规范齐备;2 项行业标准完成草案、试用报告、意见汇总与立项申报并取得受理记录 | 标准体系表与文本核对;立项申报受理记录 | 复议:标准的获批与发布不作为本项目的验收条件,审查节奏由归口单位决定 |
| 人才队伍建设 | 见表 2.10-15 专家库四项成效口径 | 同表 2.10-15 | 同表 2.10-15 |
表 2.10-25 数据来源:基线依招标文件所列各类数量要求与本方案的交付口径;全部基线为待验证目标,随实施计划定版后报招标方确认。
招标文件要求制订项目组织、协同、管理、协调、保密、资金、档案、环境等管理机制并在实施过程中严格遵从,明确知识产权对策、成果管理及合作权益分配,识别项目风险并制定风险管理计划,制定年度计划和考核计划并按考核计划进行目标考核,编制不少于 7 份项目内部管理制度。上述管理机制、风险管理计划、年度计划与考核计划,以及 7 份项目内部管理制度,在服务方案「项目管理措施」一节给出,本条不重复论述。
本节与组织实施保障相接的有三处,三处均不另起一套组织或文本。其一,五级组织责任体系把数据治理组织、运营期组织与项目建设期的项目管理组织归并到一条责任链上,明确每一级对什么负责、向谁交账,它是软建设体制机制创新的第 1 项(见 6.4.1 节)。其二,制度体系八类共二十份文件中,组织与责任、文档与档案、考核与激励三类直接对应本条所列的组织、档案与考核机制;凡与「项目管理措施」一节交付的内部管理制度重叠的,只编制一次、两处各列一条索引,实际交付一份(见 6.3.3 节)。其三,知识产权对策、成果管理与权益分配见第 9 章。
招标文件要求核查项目建设过程中是否包含不可用于商业用途的建设内容并承诺数据集来源的合法性,对涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据进行去标识化或脱敏处理,平台须具备全流程审计和日志记录,同时具备严格的权限校验和访问名单控制。三项要求的技术措施、实施方案与验收口径在「安全方案」一节给出,本条不重复论述。
本节与安全合规相接的有三处。其一,数据汇入阶段的敏感信息核查、授权范围核查与用途限制核查,是全周期管理机制的第一道门控,由合规与权属专业委员会出具结论,不通过的隔离而不进入加工(见 6.4.3 节与 2.1.7 节)。其二,安全合规领域配置 5 名入库专家,承担敏感数据判定、脱敏方案评审、权属与许可审查、对外发布合规审查四类履职,履职产出有固定字段与签署(见 4.3 节与 4.6 节)。其三,「五位一体」标准体系安全流通层的三项细分标准,规定分类分级与敏感数据判定规则、去标识化与脱敏技术要求、对外流通与接入技术要求,是上述判定与审查的依据(见 6.5 节)。
招标文件要求围绕项目关键技术与行业应用研究形成具有学术价值和行业影响力的研究成果,累计发表学术论文不少于 5 篇;聚焦核心技术创新与关键场景应用开展知识产权布局,累计申请发明专利不少于 3 项;围绕平台系统、算法模型、智能应用等方向形成自主知识产权的软件成果,累计获得软件著作权不少于 6 项(另见项目成果目标)。
三类成果有一个共同的前置条件:成果必须从项目的真实产出里长出来。论文要有实测数据,专利要有可实施的技术方案,软著要有已经写完并运行起来的代码。本条因此不只给数量,而是把每一项成果的来源、选题方向与申报时点落到项目的具体工作上,使这三项数字与前面各条的交付物对得上。三类成果共 14 项,其申报与发表状态纳入项目月度报告的成果台账,一项一行,记录当前状态、受理或登记编号以及预计的下一状态时点。
论文的选题原则是每一篇都有本项目的实测数据或实践记录作为支撑,不写综述性的泛论。五篇的方向分别是:矿山装备制造领域高质量数据集的构建方法与质量评价体系,这一篇对应四类数据集的整体构建方法与三维度评测指标体系的实践;工艺图纸的多模态要素抽取与结构化方法,对应 63 万张历史工艺样本的处理实践;基于知识本体的工业数据标注一致性提升方法,对应本体约束与一致性核验的实测对比数据;焊接过程多源时序数据与工艺事件的对齐方法,对应制造过程数据集的对齐实践;面向大模型训练的工业数据集污染与泄漏检测方法,对应四级级联防护的回灌测试数据。
发表安排与数据产出节奏绑定:前两篇在第一批数据集完成后具备数据条件,中间两篇在标注与对齐工作稳定运行一个阶段后具备对比数据,最后一篇在首轮评测完成后具备回灌测试结果。投稿期刊的选择以行业内有影响的中文期刊与相关领域的学术会议为主,优先选择审稿周期明确的刊物,使发表时点可以纳入项目进度管理;拟投期刊与会议清单在实施启动阶段提交招标方确认后纳入成果台账。
发明专利的选题来自本项目在加工实践中实际解决的技术问题,三项各对应一个难点,彼此之间有技术关联但权利要求不重叠。
第一项的方向是工业工艺数据的双通道标注方法。要解决的问题是工艺类标注错误不会被海量样本摊薄(见 1.1 节),技术方案的要点是把判断分为确定性计算与语义推断两类通道,两类通道对同一样本并行出结论、按一致性分流,并以本体约束与工艺计算公式界定两类通道的边界。这一项的可专利性在于分流规则与边界界定方法,而不在于任一通道本身。
第二项的方向是多源时序数据与离散工艺事件的对齐方法。要解决的问题是焊接参数流与工件、焊道的对应关系(见 1.1 节),技术方案的要点是以设备时钟偏差的估计与补偿为前置,用工艺节拍特征在参数流上定位事件边界,再与工单记录的离散事件做双向校验,对无法唯一确定的区间给出不确定度标记而不强行归属。这一项的现场价值直接对应甲方一次交检合格率从 97% 至 98% 向 99% 推进时所需的因果追溯能力。
第三项的方向是评测错题的反向归因与定向回流方法。要解决的问题是评测报告与加工动作脱节(见 1.6 节),技术方案的要点是把样本级评测结果按能力维度与数据子集标签聚类,经血缘图谱反查受影响的数据集版本与训练任务,自动生成带范围与判据的数据修订工单。这一项是三项中与本项目交付物关系最紧的一项,因为它的输入输出都是本项目自己的数据资产。
三项之间的关系可以这样看:第一项与第二项解决「数据怎么做对」,第三项解决「做错了怎么找回来」,三项合起来构成一个围绕数据集质量的专利族。申报时点安排在相应技术方案在本项目上完成验证、取得实测数据之后,具体为第一批数据集加工完成并通过质检之后启动撰写,这样权利要求书里的实施例有真实数据支撑,审查答复时也有实测结果可用。先申报再验证的做法本方案不采用,原因是未经验证的实施例在实质审查阶段容易被要求补正,反而延长周期。
软件著作权是三类成果中最确定的一类,因为登记的对象就是本项目实际交付的代码,不依赖外部审查结论。六项的选取原则是:一项软著对应一组功能内聚、可独立运行、有独立用户界面或独立接口的模块,不把整个平台登记为一项,也不把每个工具都单独登记——前者使权利范围过于笼统,后者会出现大量代码重复登记的情况。
表 2.10-26 六项软件著作权的登记对象与申报时点
| 序号 | 登记名称方向 | 对应交付模块(工具链数) | 代码主体来源 | 申报时点 |
|---|---|---|---|---|
| 1 | 矿山装备领域训练数据构建软件 | 思维链构建 2 个、长上下文与检索增强 3 个、多轮对话构建 3 个,共 **8 个** | 工具链一所述模块 | 该组模块通过集成测试后 1 个月内 |
| 2 | 本体驱动的工业数据标注软件 | 大模型预标注、主动学习标注、本体驱动规则标注、一致性校验标注,共 **4 个** | 工具链二所述模块 | 同上 |
| 3 | 多模态数据对齐软件 | 设备图纸与工艺图结构化抽取、视频—文本对齐、传感器时序—运维事件对齐,共 **3 个** | 工具链二所述模块 | 同上 |
| 4 | 数据集合成增强与质量控制软件 | 数据生成与增强 3 个、数据质量与分布控制 2 个、数据生成控制与评测 2 个,共 **7 个** | 工具链二、工具链三所述模块 | 同上 |
| 5 | 数据集评测与归因软件 | 多协议模型评测引擎、数据贡献度归因与错题溯源、数据集—模型版本血缘追溯,共 **3 个**,含三维度指标计算 | 工具链三与「数据集质量评测方案」一节所述模块 | 首轮评测完成后 1 个月内 |
| 6 | 数据集运营服务管理平台软件 | 运营服务管理平台的功能模块 | 「数据集运营服务管理平台建设要求」一节所述模块 | 平台上线试运行后 1 个月内 |
表 2.10-26 数据来源:分组依招标文件九类二十五个专项智能工具链的类别划分与工具链一、二、三各节、「数据集运营服务管理平台建设要求」一节、「数据集质量评测方案」一节的模块归属;登记名称的最终表述在申报时按登记规范调整。申报时点以模块通过测试为触发条件,不设固定日期,原因是软著登记的对象必须是已完成的代码。
前五项按工具链数相加为 8+4+3+7+3=25 个,正是本项目交付的二十五个专项智能工具链全数;第六项对应运营服务管理平台。因此这六项合计覆盖本项目交付的全部工具类与平台类软件,没有留下未被任何一项覆盖的模块,也没有一个模块被两项重复覆盖——这一条可按上表的工具链数逐行相加核对。申报的触发条件设为「模块通过测试」而不是某个日历日期,是为了避免出现为了赶申报时点而对未完成代码提交登记的情况。
三类成果的权属、申报主体与署名方式按合同约定执行。本方案在此只说明两件与项目管理相关的事。
一是成果的权属安排不影响成果的使用。无论权属如何约定,本项目形成的工具链、平台与数据集的使用权,以及相关技术文档的完整交付,都按合同约定的交付范围执行,不因知识产权申报而附加任何使用限制;软件著作权的登记也不改变源代码与技术文档的交付义务。
二是成果进度要可核查。三类成果共 14 项,其申报与发表状态纳入项目月度报告的成果台账,一项一行,记录当前状态(撰写中、已提交、已受理、已授权或已发表)、受理或登记编号,以及预计的下一状态时点。台账随月度报告提交,使成果产出的进度与数据集加工的进度一样可被跟踪,而不是到项目结束时才一次性核对数量。权属、申报主体与署名方式按合同约定执行,具体条款在实施启动阶段与招标方确认后写入《数据运营推广专项实施方案》的成果管理章节。
需要如实说明的是,三类成果中软件著作权的取得基本可控,论文发表与专利申请的受理可控,而专利的授权与论文的最终录用取决于外部审查与评审结论,不由项目方决定。本方案因此把可验收的对象定为「申请与提交」——六项软著完成登记申请并取得受理或登记证明、三项专利完成申请并取得受理通知书、五篇论文完成投稿并取得录用或发表证明,与招标文件「申请发明专利不少于 3 项」的措辞一致。授权与录用的后续进展在运维期继续跟踪并向招标方报备。
系统集成在本项目中要达成的目标有三个,彼此是前后相承的关系:把分散在招标方十七套业务系统与设备侧控制系统中的业务事实按授权范围取得出来;把本项目采购的通用服务器、接入连接器、服务器密码机与现场感知检测设备连成一条可运行的加工产线;使数据集与其元数据在落地、流转、对外交付的每一个环节都经过国密算法处理。三个目标对应三条集成线索,各自的责任构成与交付物不同,口径不混用。
第一条线索是与两个平台之间的加解密集成。 招标文件要求与数据集加工生产平台集成实现指定数据集的加解密、实现用户信息与企业信息等关键数据的加解密,并与数据集运营服务管理平台集成实现数据集元数据的加解密。技术落点是服务器密码机与两个平台之间的密码服务层:业务模块不直连密码机、不持有密钥、不自行实现算法,加解密在密码服务层统一完成。集成职责完全在我方,交付物是加解密调用链配置、《字段分级与加密策略表》、密钥标识分配表与全链路往返验证记录。
第二条线索是与招标方关联业务系统的接口集成。 招标文件要求与数据集加工生产实施服务关联的 CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA 等集成,3.2.2.1 下十七个子条对每一套系统进一步提出数据与接口条件。这条线索是双方配合事项:招标方按 3.2.2.1 各条提供数据库连接信息、接口信息或文件传输信息、数据字典与业务低峰时段,我方承担接口开发、通道搭建、联调与验收。交付物是《接口契约》《接口台账》与逐系统联调报告。
第三条线索是本项目采购或开发的软硬件之间的集成。 招标文件 3.2.5 将这一范围界定为「仅针对本项所采购或开发的软硬件之间的集成」,四项具体工作为通用服务器上数据集加工生产平台的安装与适配、接入连接器上数据集运营服务管理平台的安装与适配、服务器密码机的国密算法调试、采购硬件的网络连接与适配。这条线索的责任完全在我方,交付物是可签字确认的安装调试记录与验收单。
三条线索共用一套集成底座:同一层对象标识映射与时间基准、同一本接口台账、同一个密码服务层、同一套对账与门控规则。底座的设计见 1.5 至 1.8;第(1)至(3)项的加解密集成见 1.9;第(4)项的业务系统接口集成见 1.10 与 1.11;第(5)项「其余集成按招标方项目实施要求执行(如有)」的受理与评估口径见 1.13。本项所采购或开发软硬件之间的安装、适配与调试按 3.2.5 的服务要求在第 2 章落实,网络侧的责任划分、网段与访问策略按 3.4 在第 3 章落实。
集成范围的全面性在本项目中不是一句概括,而是四张可以逐条点名的清单:对象清单、层次清单、过程清单与异常清单。四张清单之外不留「其余视情况处理」的空白项;确实未决的,以有编号、有责任方、有到位时限的未决事项形态存在,不沉默消失。
对象上不漏。 需要对接的对象分四类,逐类有名有数:招标方既有业务系统十七套,其中安全监管平台按原文规定为单向取数;本项目建设的两个平台,即数据集加工生产平台与数据集运营服务管理平台;本项目采购的密码与承载设备,即服务器密码机、通用服务器与接入连接器;现场感知检测设备四十二台,含熔池相机、在线高温热成像与在线热成像三类。对象的颗粒度落到接口一级:十七套系统合计划分一百零一个接口,逐个有编号、通道类型、增量方式、责任方与联调判据(图 1-7、表 1-8),感知检测设备的取流与测温接口另有规格与验证口径(表 2-13),密码服务侧为十一个接口(表 1-3),平台、工具链、治理与运营侧的内部接口单列(表 2-7)。清单以接口台账为准(1.8),台账条目与《集成前置条件申请清单》的条目逐条对应。
层次上不断。 集成按接入、通道、落地与对账、密码服务、运营与交付五层设计(1.5),每层有独立的失效模式与独立的验收判据,并由四级测试中的相应一级承接:接入层与通道层对应连通性测试与接口契约测试,落地与对账层对应数据一致性测试,运营与交付层对应端到端业务测试(2.10.1),密码服务层另有国密调试项与验收判据(表 2-10)。任一层的判据未通过,其上层不开始验收。
过程上不缺。 集成工作自现场勘察与接口确认起,经平台安装适配与单系统连通、批量接入与集成联调,至试运行与终验支撑,四个阶段各设进入与退出判据,退出判据未满足不进入下一阶段(2.8.1)。阶段之间与阶段之内的衔接事项各有专条:部署拓扑、环境与版本矩阵、账户权限与证书密钥、配置变更控制、安装顺序与健康检查(2.2),数据迁移、切换、备份与回滚(2.9),接口变更与冻结(2.8.4),验收组织与问题项闭环(2.10.4),集成交付文档移交(2.10.5)。网络侧的责任分界、分区划分、端口与带宽(第 3 章)与硬件侧的点位勘察、安装校准、质保落实(2.6)同在过程清单之内,按双方责任分界逐项落实,不作为他方事项略去。
异常上不空。 异常路径与正常路径同等对待。八类异常场景——正常路径、数据异常、断网、重复投递、超时、权限不足、证书失效、版本不兼容——逐类设计用例,每条写明前置条件、执行步骤、预期结果、留存证据与缺陷复测要求(2.10.3、表 2-18);接口侧的错误码分类、失败补偿与审计口径按密码服务与源系统两侧分别列明(表 1-4、表 1-7)。
覆盖程度的衡量与回退。 全面性以接口台账的要素齐备程度衡量。一条接口的要素为八项:字段映射、调用时序、鉴权方式、限流阈值、幂等口径、错误码、失败补偿与审计。首期基线是第一阶段结束时十七套系统的接口契约均已编写并通过评审,八项要素的齐备比例不低于八成,未齐备项在契约中写明定稿时限;其后随第二阶段的实测结论回写,逐步接近八项齐备。到定稿时限仍不能齐备的,按 1.13 的受理与评估流程提交书面变更,由双方确认替代方式并在台账标注,相应数据范围所受影响一并书面评估,不以空缺项带入联调。
本方案的每一个技术选择都给出判定条件、被比较的备选方案与需要承担的代价,使选择可以被复核,而不是凭实施偏好确定。影响面最大的五项选择如下。
只读接入而非双向对接。 备选方案是在源系统上做联机查询或与源系统做双向同步。选定只读接入加落地解耦的判定条件有两条:业务低峰时段每日按五小时计(等十六处),加工链路若直接依赖源系统的联机响应,一次重算就可能波及生产系统;十七套系统分属不同时期建成,写入路径一旦开放,故障责任难以界定。代价是需要一份额外的落地存储与一套增量对账机制,本方案以行数、主键、关键字段校验和三类对账承担这一代价(1.5、2.9.2)。判据是源系统侧不存在可写路径,安全监管平台一处另以反向连通性测试确认(1.6)。确需回写的工艺与定额建议属场景验证阶段事项,由招标方逐次书面确认后以独立接口实现,不与取数通道混用(1.4)。
按系统建通道而非按数据集建通道。 十七套系统每套只建一条物理通道,通道之上按业务对象划分逻辑接口,四类数据集共享同一批通道。两种做法的工作量可以直接比较:按系统对接是十七次,按数据集对接是六十余次。代价是通道成为多类数据集的公共依赖,故在通道层逐接口设置调度窗口、单批上限、重试次数与告警阈值(1.5),并以接口冻结机制控制变更的影响面(2.8.4)。
通道类型由源系统能提供什么决定。 四类通道按优先级一至四排序,每类写明适用条件、增量方式与不可用时的转向(表 1-2)。逐系统的判定在现场勘察阶段完成并写入接口契约,不留「视情况而定」;主用与备用两条通道同时写入契约,切换由双方技术负责人书面确认后执行,不由实施人员现场改定(1.4)。增量识别同样按源系统能力分三档逐接口写明,有变更标识的用增量水位,仅有主键的用主键区间轮转比对,两者皆无的按低峰窗口做快照差分(1.5)。
加解密集中在密码服务层而非各模块分散实现。 判定条件是受测边界与密钥扩散范围:集中实现使商用密码应用安全性评估有一个明确的受测对象,业务模块只声明字段类别与密钥标识,不持有密钥、不自行实现算法(1.5、1.9.2)。代价是密码服务层成为公共依赖,而本项目密码机为一台,故配三档降级与多设备接入位预留,把单点故障的影响限制在批量任务延迟与实时解密受限(2.5.1),并在交付文档中写明该限制与补强建议。
对象标识用映射层而非统一改造源系统编码。 判定条件是不改动源系统这一前提:统一编码需要十七套系统同步改造,既超出本项目范围,也直接影响生产。映射层只建在落地区,以招标方业务上已稳定使用的施工号、图号与版次、工单号与工序号、物料编码与批次号、设备台账与测点编码、炉次号、焊道标识为骨架(1.7)。判据是可核对的施工号串链:首批不少于十个施工号由双方业务人员联合核对,通过率有基线、有复核节奏、未串通的记录逐条进缺口清单(1.12)。
选择的复核与变更。 以上选择不作一次性锁定。每一项在接口契约评审会上由双方确认,联调阶段以实测数据验证,实测结论回写契约并固化为该接口的基线(1.4)。首期基线是第一阶段结束时十七套系统均有主用、备用通道各一条写入契约;其后随第二阶段实测,逐步以实测结论替换勘察结论;两条通道均不可得的,按招标文件 3.1.2.3 第(5)条提交书面变更,由招标方指定实施方式。
可行性要回答的是:在招标方现场的实际约束下,这条路径能不能按期走通。本方案对约束不作回避,逐项给出与之匹配的安排,并给出达不到时的退路。
前置条件的不确定性是可控的。 集成能否开工取决于连接信息、数据字典、业务低峰时段、授权审批四类前置条件(表 1-1),其中多数在本阶段尚未交付。本方案不以推测填补,按调查、选型、验证、责任与时限四步处理(1.4):项目启动后五个工作日内提交《集成前置条件申请清单》,招标方在十个工作日内逐项反馈到位时间或说明替代途径;同期对每套系统以最小权限账号做连通性预演,结果按红黄绿三色记入《集成现状勘察报告》,红色项在第一阶段即升级到双方项目负责人,不拖到开发阶段才暴露(2.8.1)。
工期与窗口是算得过来的。 建设周期为合同正式签署后至 2028 年 5 月。首次全量取数受低峰窗口约束,每窗口按五小时计,十七套系统不并发压上,按四个批次排期,批次之间允许重叠但首次全量取数窗口不重叠,主数据管理平台与设备编码基准先行(2.8.1)。全量作业按主键区间或时间区间分片,每片独立提交、独立记录水位,窗口结束时未完成的片下一窗口从断点续做(2.9.1);各系统的单位时间取数速率在第一阶段实测,据此倒推所需窗口数并纳入排期,不把窗口是否够用留到实施期再发现。
能力与资源是现成的。 两个平台以已有产品底座作项目化配置与适配(1.2),不在本项目内从零构建;部署过程脚本化、参数化,环境相关项集中在配置文件,数据库访问层与具体数据库产品解耦(2.7),使后续操作系统或数据库替换的工作量集中在环境适配与数据搬迁。安装顺序与健康检查逐步可核(表 2-6),环境与版本矩阵在安装前确定并冻结(表 2-2),账户、权限、证书与密钥在同一处登记与轮换(表 2-3、表 2-4)。
结果是可验证的。 可行与否最终由可核对的结果证明,而不由陈述证明。四级测试逐层推进并各有判据(2.10.1、表 2-17);八类异常场景逐条留证并复测(2.10.3);焊接施工号链跨七套源系统与本项目感知设备的九个接口做端到端联调,十项核对记录由我方集成人员与招标方工艺、生产、质量三方业务人员共同签字(1.12、表 1-9、表 1-10);热处理炉次链与设备运维链按同一方法各取不少于十个样本组织联调。
走不通时有退路。 迁移与切换设备份、回滚触发条件、回退操作与恢复后重放,并划定生产环境保护与授权边界(2.9.4、2.9.5、2.9.6、表 2-16);集成风险逐项登记影响、等级、应对与回退口径,覆盖接口开放配合、字典缺失、窗口不足、设备联网范围、密码机单点、服务器配置与到场、源系统数据冲突、时间对齐失败等十项(2.11、表 2-19)。
阶段性指标与回退。 首期基线是第二阶段结束时十七套系统各自至少一个接口完成端到端取数并通过对账,四十二台现场设备逐台联调通过,平台各模块健康检查通过并经招标方功能评审;其后趋向第三阶段的常态运行目标,即各系统的全部接口按契约投入运行且连续七日对账通过、施工号串联核对达到约定基线、时间对齐误差在约定范围。达不到时的处理是:不扩大取数范围,先补齐对象标识映射规则与缺失的前置条件再复核;受影响的系统按招标文件 3.1.2.3 第(5)条确认替代交付方式,其对相应数据集规模的影响书面评估并反馈招标方,数据集的数据卡如实记录实际覆盖范围,不以推算值替代实测值。
每一项集成工作都给出输入(需要谁提供什么)、产出(交付什么文件)、验收人(谁签字)、不通过时的处理路径。涉及招标方现有系统的技术细节,凡尚未取得接口文档的,按 1.4 所列的调查、选型、验证、责任与时限四步处理:先以最小权限账号完成连通性调查,再按通道选型规则在主用与备用两条通道中择一,联调阶段以实测数据验证,责任人与到位时限纳入双方项目周例会跟踪。接口契约中的每一项能力以实测结果为准,未经实测的设备与系统侧能力描述不写入契约,也不作为数据集的口径依据。
本方案的承诺主体为中国移动。本方案所交付的数据集加工生产平台与数据集运营服务管理平台,以我方自主可控的产品底座(天地奔牛煤机装备数据智能平台,以下简称奔牛数据智能平台)为基础建设,按招标文件要求的功能清单做项目化配置与适配。
1-1 系统集成总体范围与两类集成的责任边界
图 1-1 系统集成总体范围与两类集成的责任边界。数据来源:招标文件 3.1.2.3、3.2.2.1、3.2.5、3.3.2、3.4。
招标方的信息化底座已经铺到设计与工艺、生产计划与工单、质量检验、库存与物流、项目与商机、公文与合同、设备过程参数、在役装备运维各个业务面,业务事项基本都有系统承载。本项目的集成因此不是补建系统,而是按已授权范围把各系统中已经存在的业务事实按统一的业务对象组织出来,供数据加工链路调用。这一判断直接决定了集成的技术选择:以只读取数为主,不改动源系统的业务逻辑、不回写业务数据、不替换任何一套既有系统。
与这一判断相对的是三个必须在集成阶段解决的现场困难,它们也是数据集加工生产真正的卡点。
第一个困难是跨系统追同一件事要靠人工对账。 一个施工号下的产品,设计信息在产品全生命周期管理系统,工单与报工在制造执行系统,检验记录在质量管理系统,物料与库存在企业资源计划与仓储系统,焊接与热处理的过程参数在数据采集与监控系统与热处理群控系统。
这些系统各自的编码规则不一致,同一个零件在不同系统里的标识可能不同。如果集成只做「把每套系统的表抽出来」,抽完仍然是十七个孤岛,数据集无法形成以物理工件为中心的完整样本。因此本方案把对象主键贯通与时间基准统一放在集成设计的第一位,详见 1.7。
第二个困难是非结构化资料取不出来。 招标文件对 PLM 系统明确要求提供工艺图纸(PDF)、CAD 图纸(DWG/DXF)、工艺卡片(PDF)等非结构化数据以支撑数据标注和模型训练,对 CRM 要求提供招标投标文件、资质文件、业绩合同等非结构化数据,对 QMS 要求提供质量报告、检验数据、产品质量档案、质量知识,对 SOS 要求提供设备档案、维修记录、诊断报告、故障案例,对 OA 要求提供十一类管理制度与九类合同文档。
现场情况是原生图纸不支持整批导出,历史图纸约六十三万张,且每一张图纸历史上都配有一张已审核签发的工艺卡片,这一配对关系存在于人的记忆与文件目录里而不在数据库字段里。集成方案必须为文件类资产单独设计通道,并把「文件与业务对象的配对」作为接口的一部分交付,而不是只把文件拷出来。
第三个困难是时序数据与业务事件没有统一时间基准。 SCADA、EMS、热处理群控与设备远程运维侧的数据都是时序数据,采样周期通常为秒级;而工单、炉次、检验记录是事件型数据。两者若不在同一时间基准上,焊接参数流就对不上具体焊道,热处理曲线也对不上具体炉次与装炉工件。集成阶段必须把时间同步作为硬性验收项,而不是留到数据加工阶段再补。
招标文件在十七个子条里对每一套系统都提出了同一组条件,这组条件构成本项目集成工作能否按期开展的前提。我方在此把它们归并成四类,并给出接收标准与缺失时的处理方式。
连接信息类。 CRM、QMS、SOS、PLM、OA、久其系统、主数据管理平台、热处理群控七处要求提供「数据库连接信息、API 接口信息或 FTP 信息」;ERP、SCM、WMS、MES、LMS、EMS、EAM、SCADA八处要求提供「数据库连接信息或 API 接口信息」。
两类表述的差别在于是否包含文件传输通道,与各系统是否承载非结构化数据相对应。我方的接收标准是:数据库通道需提供只读账号、实例地址、端口、字符集与可访问对象清单;接口通道需提供接口地址、鉴权方式、请求与响应示例、限流阈值;文件通道需提供服务地址、目录结构、命名规则与保留策略。
数据字典类。 CRM、ERP、SCM 三处明确要求提供数据字典或数据库设计说明书。字典是接口契约能否成立的依据,没有字典就只能靠抽样反推字段含义,反推结果不可作为数据集的口径依据。对招标文件未明确要求字典的系统,我方在需求确认阶段统一申请,取不到完整字典的以「字段样例 + 业务确认记录」替代,并将该替代事实记入接口登记台账。
低峰窗口类。 十七个子条中有十六处要求提供业务低峰时段并举例为零点至五点。这一条对集成实施的影响是直接的:首次全量取数与大批量文件搬迁只能安排在低峰窗口内,每个窗口按五小时计,须按系统排期而不是并发压上。2.8 的实施排期即按此约束编制。
授权与审批类。 招标文件未单列此条,但只读账号的开立、网络策略的放通、文件目录的授权在实际执行中都需要招标方内部审批。我方在项目启动后三个工作日内提交一份《集成前置条件申请清单》,逐系统逐项列明所需权限、申请理由与期望到位时间,由双方项目负责人确认后纳入进度跟踪。
接口条件未知时的调查、选型、验证与时限。 招标文件要求招标方提供的连接信息、数据字典与业务低峰时段在本阶段尚未交付,十七套系统的接口形态因而存在未定项。本方案不以推测填补,按四步处理,每一步有责任方与时限。
第一步是调查。项目启动后五个工作日内,我方提交《集成前置条件申请清单》,逐系统逐项列明所需权限、申请理由与期望到位时间;招标方在十个工作日内逐项反馈到位时间,或说明不可提供的原因与可替代途径。同期我方对每一套系统申请一个最小权限账号做连通性预演,确认网络可达、账号可用、数据可见,预演结果按红黄绿三色记入《集成现状勘察报告》:绿为通道与账号均已具备,黄为通道具备但权限或字典待补,红为通道形态尚未确定。
第二步是选型。按 1.6 的通道选型规则,依据调查结论为每一套系统确定主用通道与备用通道各一条,连同判定理由写入《接口契约》。主用通道不可得时按表 1-2「不可用时转向」一列切换,切换决定由双方技术负责人书面确认后执行,不由实施人员现场改定。两条通道均不可得的,按招标文件 3.1.2.3 第(5)条的口径提交书面变更,由招标方指定实施方式。
第三步是验证。通道选定后在第二阶段完成点对点连通测试与接口契约测试,以实测数据核对字段、类型、增量推进与限流行为,实测结论回写接口契约并固化为该接口的基线。源系统侧的接口能力、设备侧的取流与测温能力,均以我方在现场实测到的结果为准。
第四步是责任与时限。每一项未决条件在《集成前置条件申请清单》中有唯一编号、责任方、期望到位时间与当前状态,纳入双方项目周例会的固定议题;逾期未到位的由双方项目负责人升级处理,并按 2.11 的回退口径评估其对排期与数据集规模的影响,评估结论书面反馈招标方。
对既有业务系统的操作权限边界。 我方对招标方既有业务系统的操作权限边界是只读:不改动源系统的业务逻辑、不回写业务数据、不替换任何一套既有系统。确需回写的情形只有一处,即数据加工产出的工艺与定额建议回填到相关系统,这属于场景验证阶段的事项,由招标方逐次书面确认后以独立接口实现,不与本期取数通道混用。
| 前置条件 | 招标文件依据 | 提供方 | 接收标准 | 到位时点 | 缺失时的处理 |
|---|---|---|---|---|---|
| 数据库只读账号与连接信息 | 招标文件相应条款等 | 招标方 | 实例地址、端口、只读账号、可访问对象清单、字符集 | 需求确认阶段结束前 | 转 API 或文件通道;均不可得时按相应条款提变更 |
| API 接口地址与鉴权材料 | 同上 | 招标方及其系统运维方 | 接口地址、鉴权方式、请求响应示例、限流阈值 | 需求确认阶段结束前 | 转数据库只读视图 |
| 文件传输服务信息 | 招标文件相应条款 | 招标方 | 服务地址、目录结构、命名规则、保留策略 | 单系统连通前 | 改为现场介质交付并登记 |
| 数据字典或数据库设计说明书 | 招标文件相应条款 | 招标方 | 表与字段清单、取值域、主外键关系 | 接口契约评审前 | 以字段样例加业务确认记录替代并登记 |
| 业务低峰时段 | 招标文件相应条款等十六处 | 招标方 | 每日可用窗口、例外日历 | 首次全量取数前 | 缩减单批量、延长批次数 |
| 网络可达与安全策略 | 招标文件相应条款 | 招标方 | 网段、路由、策略放通工单 | 单系统连通前 | 由我方提交策略申请并跟踪 |
| 设备接入点位与供电 | 招标文件相应条款–r06 | 双方共同确认 | 点位表、端口号、PoE 或独立供电方式 | 设备到场前 | 调整点位或增配供电辅材 |
| 通用服务器配置与到场时间 | 招标文件相应条款 | 招标方供货安排 | 机型、CPU 架构、内存、存储、网口数 | 平台安装启动前 | 按《平台部署基线要求》的分档建议先行排期,配置确认后按实配重做容量核算 |
表 1-1 集成前置条件与责任矩阵。数据来源:招标文件 3.2.2.1 各子条、3.2.5、3.3.2、3.4。
1-2 集成前置条件流转与阻塞点
图 1-2 集成前置条件流转与阻塞点。数据来源:招标文件 3.2.2.1 各子条对连接信息、数据字典与低峰时段的要求,3.1.2.3 第(5)条变更口径。
本方案在集成层面遵循四条原则,每一条都针对前一章列出的具体困难,不作一般性表述。
只读优先,落地解耦。 对招标方既有系统一律采用只读接入,取数后立即落到本项目的数据落地区,后续的解析、标注、质检全部在落地区完成,不在源系统上做联机查询。这样做的理由是现场的业务低峰窗口有限且报工时点本身有滞后,如果加工链路直接依赖源系统联机响应,一次重算就可能影响生产系统。落地解耦的代价是需要一份额外的存储与一套增量对账机制,收益是源系统的可用性不受本项目影响。
一次对接,多次复用。 十七套系统每一套只建立一条物理通道,通道之上按业务对象划分逻辑接口。四类数据集(供需计划、产品工艺设计、制造过程、产品质量)共享同一批通道,不为每类数据集各建一套接入。这一点对工期影响明显:按系统建通道是十七次对接,按数据集建通道则是六十余次。
加解密在边界处统一完成。 数据集本体、用户与企业信息、数据集元数据三类加解密需求不在各业务模块里分散实现,而是统一由密码服务接入层调用服务器密码机。模块只声明「这个字段属于哪一类、用哪一个密钥标识」,不持有密钥、不自行实现算法。这样做使国密算法的调试与后续的商用密码应用安全性评估有一个明确的受测边界。
接口资产化。 每一条接口在建立时即登记到接口台账,记录来源系统、对象、字段映射、鉴权方式、调度窗口、责任人、版本与变更记录。台账随项目交付,使招标方在项目结束后能够自行维护与扩展,而不是把集成知识留在实施人员的记忆里。
本方案的集成架构分五层,自下而上为:接入层、通道层、落地与对账层、密码服务层、运营与交付层。分层的依据是每一层有独立的失效模式与独立的验收判据,便于定位问题,也便于按层验收。
接入层面向源系统与现场设备,承担协议适配。管理类系统走数据库只读视图或 REST 接口;文件类资产走文件传输或共享目录;时序类系统走历史数据接口或时序库读取;现场感知设备走厂商提供的软件开发工具包(SDK)取带时间戳的原始帧。接入层不做任何数据变换,只负责「取得到、取得全、取得准」。
通道层承担调度、增量识别、限流与重试。每条通道配置调度窗口、单批上限、失败重试次数与告警阈值。增量识别按源系统能力分三档:有时间戳或变更序号的用增量水位;无变更标识但有主键的用主键区间轮转比对;两者都没有的按低峰窗口做全量快照并与上一快照做差分。三档的选择在接口契约中逐接口写明,不留「视情况而定」。
落地与对账层把取到的数据落到数据落地区,并执行三项对账:行数对账、主键对账、关键字段校验和对账。对账不通过的批次不进入加工链路,自动转入待处理队列并通知责任人。这一层是集成与数据加工之间的交接点,交接判据就是对账结果。
密码服务层向上提供统一的加解密、哈希与签名验签接口,向下封装服务器密码机。接口形态按招标文件 3.1.2.1 的要求支持软件开发工具包与 RESTful 两种调用模式,加解密策略支持「一文一密」「一数据一密」。该层的功能要求由安全方案一节给出;在集成链路中,该层承担密钥标识分配、算法参数固化、调用审计与降级调度,其调试项与验收判据见 2.5.2。
运营与交付层部署在接入连接器上,承载数据集运营服务管理平台的对外功能:登记注册、挂牌展示、交付下载、审核管理、日志审计与存证。它是数据集离开本项目边界的唯一出口,所有对外交付都经此出口并留审计记录。
1-3 五层集成参考架构与数据流向
图 1-3 五层集成参考架构与数据流向。数据来源:招标文件 3.1.2.1 密码应用服务要求、3.1.2.3、3.2.4 对外接口要求、3.2.5。
十七套源系统的接入方式不由偏好决定,而由源系统能提供什么决定。本方案给出明确的选型顺序与判定条件,现场勘察时按此逐系统判定并记入接口契约。
| 通道类型 | 适用条件 | 优先级 | 增量方式 | 典型适用系统 | 不可用时转向 |
|---|---|---|---|---|---|
| 数据库只读视图 | 源系统允许开只读账号;表结构稳定;有时间戳或变更序号 | 1 | 增量水位 | ERP、WMS、EAM、LMS、MES | 接口通道 |
| REST 或 WebService 接口 | 源系统已有开放接口或可由其运维方新增;数据量中等 | 2 | 接口自带增量参数 | CRM、QMS、久其系统、主数据管理平台 | 数据库只读视图 |
| 文件传输或共享目录 | 承载非结构化资产;或源系统不开放联机访问 | 3 | 目录增量扫描加指纹比对 | PLM、OA、CRM 附件、QMS 报告、SOS 档案 | 现场介质交付并登记 |
| 时序数据读取 | 数据为秒级采样的测点序列;有历史数据查询能力 | 4 | 按时间区间拉取并去重 | SCADA、EMS、热处理群控、设备运维侧 | 由设备侧转发至本项目采集节点 |
| 设备软件开发工具包 | 本项目新增的感知与检测设备 | — | 按触发或固定帧率推送 | 熔池相机、在线高温热成像、在线热成像 | 改为本地缓存后批量回传 |
表 1-2 接入通道选型规则。数据来源:招标文件 3.2.2.1 各子条对连接方式的规定、3.3.1 硬件技术参数对 SDK 的要求。
需要说明的是,招标文件对安全监管平台的规定与其余十六套不同:「平台与安全监管平台单向集成,即平台从安全监控平台获取数据」。单向集成在实现上意味着我方侧不开放任何可被该平台写入的接口,取数方向与权限在网络策略与接口契约两处同时固化,并在联调阶段以反向连通性测试确认不存在可写路径。
这一节处理 2.1 所述的第一个与第三个困难,是本方案在集成设计上与通用数据汇聚方案最主要的差别。
对象主键贯通。 本方案不试图统一各源系统的内部编码,而是在落地区建立一层对象标识映射。映射以招标方业务上已经稳定使用的标识为骨架:合同与项目侧以施工号为主键,设计与工艺侧以图号与版次为主键,生产执行侧以工单号与工序号为主键,物料侧以物料编码与批次号为主键,设备侧以设备台账编码与测点编码为主键,热处理侧以炉次号为主键,焊接侧以焊道标识为主键。
每一条落地记录在入库时解析出它所属的一个或多个对象标识,写入映射表。主数据管理平台提供的组织机构、人员、物料编码等结构化数据正是这一层映射的基准来源,因此主数据管理平台的接入排在十七套系统的首位。
映射建立的判据是可核对的:对任选一个施工号,能够在落地区把该施工号下的图纸、工艺卡、工单、报工记录、检验记录、物料批次、热处理炉次串成一条链,并与招标方业务人员在生产系统中查到的结果逐项核对一致。首批以不少于十个施工号作为样本做联合核对,核对通过率的初期基线按不低于 85% 设定,随映射规则迭代逐步接近业务可接受水平;未串通的记录逐条记录原因,形成映射缺口清单,而不是以平均值掩盖个案。
时间基准统一。 全项目采用统一的网络时间源,本项目各节点与现场感知设备在安装阶段完成对时并纳入监控。时序数据按统一的时间精度与时区口径落地,事件型数据保留源系统时间与落地时间两个时标。
焊接与热处理两类场景对时间对齐的要求最高,工程上按「秒级对齐、毫秒级留痕」执行:设备侧按秒级采样,图像与温度帧带毫秒时间戳,对齐误差的初期控制目标为不超过两个采样周期,并在联调阶段用已知时点的人工标记事件做对齐验证。对时失效(如设备断网后时钟漂移)时,该设备数据转入待校正队列,由对齐校正程序按相邻时标重建后再进入加工,不直接丢弃也不直接采信。
1-4 对象主键贯通与时间基准统一
图 1-4 对象主键贯通与时间基准统一。数据来源:招标文件 3.2.2.1.15 主数据管理平台要求、3.2.2.1.12 SCADA 时序数据要求、3.2.2.1.16 热处理群控时序数据要求;工序道数与历史图纸数量口径见本卷事实口径(备料工序 28 道、历史工艺样本 63 万张)。
接口台账是集成交付物中最容易被忽视、但对招标方后续运维价值最高的一项。台账以接口为行,字段包括:接口编号、源系统、业务对象、通道类型、鉴权方式、字段映射版本、增量方式与水位字段、调度窗口、单批上限、重试策略、对账规则、数据分级与加解密要求、责任人角色、启用日期、变更记录。
台账与数据血缘联动:落地区每一个批次记录其来源接口编号与接口版本,数据集的数据卡据此可回溯到具体接口与具体批次。这使得数据集出现质量问题时,归因可以一直追到源系统的某一次取数,而不是停在「数据有问题」。接口版本变更时,受影响的下游数据集在台账中可直接列出,为是否需要重新加工提供判断依据。
台账以文件与平台两种形态交付:平台内可维护、可导出,同时在终验时提供一份加盖我方公章的纸质与电子版本,列入 2.10.5 的集成交付文档清单。
密码产品的功能要求、合规测评安排与整体安全体系由安全方案一节给出。本节落实集成侧的四件事:三类加解密对象各自的处理口径、密码服务的调用链与密钥流向、加解密与数据集交付的衔接、密码服务接口的调用规格与错误处理。服务器密码机的调试工作与验收判据按 3.2.5 第(3)项在 2.5 落实,两处取同一条调用链与同一套判据。
招标文件把加解密要求分成三条,分别指向不同的数据对象,处理口径不同,不能用同一套策略覆盖。
第一类是指定数据集的加解密。对象是加工生产平台产出的数据集文件与数据集切片,特点是单体大、批量多、以文件形态存在。本方案对这一类采用「一文一密」策略:每一个数据集文件在落地或归档时由密码服务层生成一个数据密钥,用该密钥以 SM4 算法加密文件内容,数据密钥本身由密码机内的主密钥加密后与文件元信息一同存放。
读取时按密钥标识向密码服务层申请解密数据密钥,再在内存中解密文件内容。采用这一策略的原因是数据集是按份交付、按份授权的,一文一密使单份数据集的授权撤销与密钥销毁可以独立执行,不牵动其他数据集。
「指定数据集」的范围不由我方自行判定。本方案在数据分级规则中给出可操作的判定条件:涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据的数据集(对应 3.2.1 服务采购清单中安全合规建设条款所列的四类)一律加密;其余数据集由招标方在数据集登记时逐项勾选是否加密。判定结果记入数据集元数据,加解密动作随之自动生效,不依赖人工记忆。
第二类是用户信息、企业信息等关键数据的加解密。对象是平台内的账号、联系方式、企业资质与交易相关信息,特点是单体小、字段级、需要支持按条件检索。本方案对这一类采用「一数据一密」策略的字段级实现:对需要加密且不需要检索的字段直接做 SM4 字段加密;对需要等值检索的字段(如手机号、统一社会信用代码)同时存储 SM3 哈希值用于匹配,密文用于展示与导出;对需要范围检索的字段不加密而改为脱敏存储,原值放入独立的受控表并单独加密。
这一区分很关键:如果对所有字段一律加密,平台的查询功能会大面积失效;如果一律不加密,又不满足招标文件要求。字段级加密方案以《字段分级与加密策略表》形式交付,逐字段列明分级、是否加密、是否存哈希、是否脱敏、谁可解密。
第三类是数据集元数据的加解密。对象是运营服务管理平台中的数据集目录与元数据,特点是既要对外展示以支撑挂牌与检索,又包含不宜公开的内部字段(如来源系统、加工参数、成本信息)。本方案把元数据分为公开部分与受控部分:公开部分明文存储并参与检索与挂牌展示;受控部分字段级加密,仅在授权角色查看时解密;元数据整体生成 SM3 摘要并签名,用于防篡改校验与区块链存证。这样处理使元数据既可用又可控,且存证的对象是摘要而不是元数据原文,避免敏感内容上链。
调用链按「业务模块 → 密码服务层 → 服务器密码机」三段固定,业务模块不直连密码机、不持有密钥、不实现算法。密码服务层对上以软件开发工具包与 RESTful 两种模式提供接口,对下按《密码设备应用接口规范》(GM/T 0018-2012)调用密码机,密码机型号符合《服务器密码机技术规范》(GM/T 0030)。
密钥分三层:密码机内的主密钥,由密码机硬件保护、不出设备;业务密钥,按用途与数据分级划分,由主密钥加密后存储于密码服务层的密钥库;数据密钥,一文一密或一数据一密生成,由业务密钥加密后随数据存放。三层结构的作用是把密钥轮换的影响面限制在一层之内:数据密钥随数据生命周期自然失效,业务密钥按周期轮换且不需重加密全部数据,主密钥在设备生命周期内保持不变并按规程备份。
1-5 国密加解密调用链与三层密钥流向
图 1-5 国密加解密调用链与三层密钥流向。数据来源:招标文件 3.1.2.1 密码应用服务要求、3.1.2.3、3.3.1 服务器密码机技术参数、3.2.5。
数据集对外交付时的加密口径与存储加密不是同一件事,容易混。本方案的口径是:存储加密解决落地数据的静态保护,交付加密解决交付包在接收方手上的受控使用。交付包在第二台连接器上生成,按接收方的授权范围选取数据集切片,用一次性数据密钥加密成包,包的密钥按接收方注册的公钥(SM2)封装;交付记录含包摘要(SM3)与交付时间,摘要上链存证(区块链存证)。接收方凭自身私钥解封数据密钥后解密包体。授权撤销时后续交付即停止,已交付包的有效期由交付协议约定,这一点在交付流程中写明而不靠技术手段事后收回。
传输通道按招标文件 3.1.2.2.3 安全性要求使用 SSL 协议作为 Web 应用的基础安全协议保护传输与存储中的敏感数据,并按「数据和文档的安全保密技术符合国家相关技术要求」执行。
加解密集成能否通过验收,取决于接口规格是否被双方同样理解。本方案把密码服务层对上提供的接口按用途固定为十一个,逐个写明调用方、入参与返回要点、幂等键与限流口径,写入《密码服务接口说明》并随平台交付。接口形态按招标文件 3.1.2.1 的要求同时支持软件开发工具包与 RESTful 两种调用模式。
| 接口 | 调用方 | 入参要点 | 返回要点 | 幂等键 | 限流与超时口径 |
|---|---|---|---|---|---|
| 数据密钥申请 | 加工生产平台落地与归档模块 | 数据分级、用途标识、业务密钥标识 | 密钥标识、密钥密文、算法与模式 | 业务对象标识+版本 | 按批作业并发上限配置,单次超时后重试三次 |
| 数据密钥解封 | 加工生产平台、运营服务管理平台 | 密钥标识、调用主体与授权凭据 | 明文数据密钥(仅驻内存) | 密钥标识+调用流水号 | 按并发会话数限流,超限排队不丢弃 |
| 文件流加密 | 数据集归档、交付包生成 | 数据密钥标识、分片大小、算法模式 | 密文流、分片摘要、完整文件摘要 | 文件摘要+密钥标识 | 按分片并发度限流,分片失败仅重传该片 |
| 文件流解密 | 数据集读取、交付包校验 | 密钥标识、分片范围 | 明文流、校验结论 | 文件摘要+分片序号 | 同上 |
| 字段加密 | 平台各业务模块经密码服务层 | 字段分级标识、业务密钥标识、明文 | 密文、密钥版本 | 表+主键+字段名+数据版本 | 高频小字段按批合并调用 |
| 字段解密 | 平台各业务模块经密码服务层 | 密文、密钥版本、调用主体 | 明文(仅驻内存) | 同上 | 结果可按会话缓存,缓存期在配置中固化 |
| 可检索哈希计算 | 需按条件检索的受控字段 | 明文、加盐策略标识 | 哈希值 | 明文摘要+盐版本 | 与字段加密同批调用 |
| 签名 | 存证上链、交付包签发、审计落盘 | 待签摘要、签名密钥标识 | 签名值、证书标识、时间戳 | 摘要+密钥标识 | 按签名速率标称值的安全余量配置 |
| 验签 | 交付包接收校验、存证验证 | 签名值、原文摘要、证书标识 | 验签结论 | 不涉及写入,天然幂等 | 同上 |
| 密钥轮换 | 密码服务层运维作业 | 密钥层级、轮换范围、生效时点 | 新密钥版本、受影响对象清单 | 轮换批次号 | 仅在维护窗口内执行,与批量作业互斥 |
| 密钥销毁 | 授权撤销、数据集下架 | 密钥标识、销毁依据单号 | 销毁回执、审计流水号 | 销毁依据单号 | 需双人复核方可执行 |
表 1-3 密码服务接口清单与调用规格。数据来源:招标文件 3.1.2.1 密码应用服务要求、3.1.2.3 第(1)至(3)项、3.3.1 服务器密码机技术参数。
调用时序。 一次数据集文件的加密落地按五步执行:加工链路完成一个数据集文件的产出并计算明文摘要;向密码服务层申请数据密钥,密码服务层经密码机生成数据密钥并用业务密钥封装;加工链路分片调用文件流加密,逐片回写密文与分片摘要;全部分片完成后写入密钥标识、算法标识与完整文件摘要三项元信息;最后把该文件的加密事实写入接口台账与数据血缘。读取时序相反,且解密仅在内存中进行,不落明文临时文件。
失败补偿。 加解密调用失败按三类补偿:瞬时类(连接超时、会话失效)由密码服务层自动重试并重建会话,业务侧无感;分片类(单片加密或传输失败)仅重传该片,不重做整文件;作业类(密码机不可用)由批量任务入队等待,实时读取请求返回明确的业务提示而不是超时等待,设备恢复后队列任务按幂等键自动续跑,不重复不丢失。三类补偿的触发条件、重试次数与告警对象在密码服务层的配置项中固化,变更留痕。
| 错误码段 | 含义 | 调用方处理 | 可否重试 | 升级与审计 |
|---|---|---|---|---|
| 连接类 | 密码机不可达、会话建立失败 | 重建会话后重试,超过阈值转降级 | 可 | 连续失败达阈值告警至运维角色,记入可用性台账 |
| 鉴权类 | 调用主体未授权、凭据过期 | 停止调用并申请凭据更新 | 否 | 即时告警至安全管理角色,记入安全审计 |
| 参数类 | 密钥标识不存在、算法模式不支持 | 停止调用并校正配置 | 否 | 记入缺陷库,作为契约测试用例补充 |
| 密钥类 | 密钥版本已轮换、已销毁 | 按密钥标识重新解析版本;已销毁的按授权撤销处理 | 条件可 | 记入密钥管理审计流水 |
| 容量类 | 超出并发或速率限制 | 排队等待并下调并发度 | 可 | 累计超限次数进入容量评估 |
| 完整性类 | 摘要校验不一致 | 丢弃该片并重传,连续失败停止该批 | 条件可 | 即时告警,批次标记为不可信并复核 |
表 1-4 密码服务错误码分类、失败补偿与审计口径。数据来源:招标文件 3.1.2.1 密码应用服务要求、3.1.2.2.4 可靠性要求。
审计。 密码服务层的每一次调用写一条审计记录,字段为调用流水号、时间戳、调用主体与角色、接口名、数据对象标识、密钥标识与版本、算法与模式、返回码、耗时、调用来源网段。审计记录与业务日志分离存放,落在第三台接入连接器的审计与存证侧,审计账号与业务账号分离,审计记录本身按招标文件的完整性要求做签名保护,不可由业务管理员修改或删除。
本节落实接口的建立、连通与验收:通道搭建、鉴权、字段映射、调用时序、限流、幂等、错误码、失败补偿与审计,以及逐系统的联调判据与回退口径。各系统应提供的数据范围、采集频次、增量策略与数据落地后的解析加工,由数据资源采集接入一节给出,口径以招标文件原文为共同依据。
十七套系统分属不同年代、不同技术栈,若每套系统各建一套做法,联调与运维都无法收敛。本方案先定一套统一接入规范,再逐系统落规范。规范包含七项内容,每一项都是接口契约中的必填栏。
连接与协议。 按 1.6 的通道选型规则确定通道类型,并在契约中写明连接地址、端口、协议版本。数据库通道一律使用只读账号并限定可访问对象;接口通道约定接口地址、方法、报文格式与字符编码;文件通道约定服务地址、目录、命名规则。
鉴权与凭据管理。 账号与密钥由招标方开立后交我方项目组统一保管,不下发到个人;凭据在平台配置中加密存储,调用时由密码服务层解密(见 1.9)。凭据轮换周期在契约中约定,轮换由招标方发起、我方配合。
增量标识。 逐接口写明增量字段与水位推进规则,三档方式(增量水位、主键区间轮转、快照差分)必选其一,不写「视情况而定」。选择第三档的接口须同时写明全量快照的体量与所需窗口时长。
调度窗口与限流。 首次全量与大批量文件搬迁安排在招标方提供的业务低峰时段内(十六处子条统一举例为零点至五点,等),每个窗口按五小时计;日常增量按业务容忍度安排在非高峰时段,并设置并发连接数上限与单批行数上限,避免对源系统造成额外负载。
字段映射与字典。 以招标方提供的数据字典或数据库设计说明书为依据建立字段映射表,逐字段记录源字段名、类型、取值域、空值含义、目标字段与转换规则。字典缺失的以字段样例加业务确认记录替代,并在映射表中标注为「样例反推」,该标注随数据血缘保留,使后续数据集的口径争议可以追到源头。
对账规则。 每个接口定义行数对账、主键对账与关键字段校验和对账三类规则中至少两类,并约定容差。对账不通过的批次不进入加工链路。
异常与通知。 定义异常分级(连接失败、鉴权失败、超时、数据格式异常、对账不通过、水位倒退)与各级的重试次数、告警对象与升级时限。告警按角色而不是按个人配置。
下表按招标文件 3.2.2.1 的子条顺序逐系统列出集成要点。「数据形态」一列区分结构化、非结构化与时序三类,决定通道组合;「招标方须提供」一列直接对应招标文件原文要求,是前置条件跟踪表的来源。
| 序 | 系统 | 主要业务事实 | 数据形态 | 建议通道 | 招标方须提供(单元) | 逐系统小节 |
|---|---|---|---|---|---|---|
| 1 | CRM 客户关系管理 | 客户、商机、报价、合同、订单、回款;招投标文件、资质文件、业绩合同 | 结构化 + 非结构化 | 接口 + 文件 | 连接/接口/FTP、低峰时段、数据字典 | 1.11.1 |
| 2 | ERP 企业资源计划 | 组织、人力、物料、采购、销售订单、成本核算、应收应付、凭证、资产、资金 | 结构化 | 数据库只读视图 | 连接或接口、低峰时段、数据字典 | 1.11.2 |
| 3 | SCM 供应链管理 | 供应商档案与评估、采购计划与订单、订单下达、供货履约、付款计划 | 结构化 | 接口 + 数据库只读视图 | 连接或接口、低峰时段、数据字典 | 1.11.3 |
| 4 | QMS 质量管理 | 制程/进厂/出厂/成品检验、质量台账;质量报告、检验数据、质量档案、质量知识 | 结构化 + 非结构化 | 接口 + 文件 | 连接/接口/FTP、低峰时段 | 1.11.4 |
| 5 | WMS 仓储管理 | 仓库、库区、货位、物料、批次、到货单、入库单、出库单 | 结构化 | 数据库只读视图 | 连接或接口、低峰时段 | 1.11.5 |
| 6 | MES 制造执行 | 焊丝牌号、焊丝直径、生产工单、生产进度 | 结构化 | 数据库只读视图 | 连接或接口、低峰时段 | 1.11.6 |
| 7 | LMS 物流管理 | 物流需求、运单、调度结果、装卸、取货、送达、运输时间 | 结构化 | 数据库只读视图 | 连接或接口、低峰时段 | 1.11.7 |
| 8 | EMS 能源管理 | 能耗监控、能耗统计、能耗分析 | 时序 | 时序读取 | 连接或接口、低峰时段 | 1.11.8 |
| 9 | SOS 设备远程运维 | 健康状态时序;运维计划、报警处置、售后工单、备件消耗;设备档案、维修记录、诊断报告、故障案例 | 时序 + 结构化 + 非结构化 | 时序读取 + 接口 + 文件 | 连接/接口/FTP、低峰时段 | 1.11.9 |
| 10 | EAM 设备资产管理 | 设备台账、设备档案、设备点检、维修工单、作业计划 | 结构化 | 数据库只读视图 | 连接或接口、低峰时段 | 1.11.10 |
| 11 | PLM 产品生命周期管理 | BOM 编号、工序数据、变更、零部件信息;选型方案、工艺图纸、CAD 图纸、工艺卡片 | 结构化 + 非结构化 | 接口 + 文件 | 连接/接口/FTP、低峰时段 | 1.11.11 |
| 12 | SCADA 数据采集与监控 | 电流、电压、温度、湿度、运行状态、焊接电流/电压、送丝速度、气体流量 | 时序 | 时序读取 | 连接或接口、低峰时段 | 1.11.12 |
| 13 | OA 协同办公 | 11 类管理制度、9 类合同文档 | 非结构化 | 文件 + 接口 | 连接/接口/FTP、低峰时段 | 1.11.13 |
| 14 | 久其系统 | 营业收入、利润、成本、资产负债等指标 | 结构化 | 接口 | 连接/接口/FTP、低峰时段 | 1.11.14 |
| 15 | 主数据管理平台 | 组织机构、人员、物料编码 | 结构化 | 接口 | 连接/接口/FTP、低峰时段 | 1.11.15 |
| 16 | 热处理群控系统 | 当前/设置温度、电流/电压、加热/冷却时间、冷却水温度、淬火液温度、淬火水温、温控测量值 | 时序 | 时序读取 + 文件 | 连接/接口/FTP、低峰时段 | 1.11.16 |
| 17 | 安全监管平台 | 安全监管数据、生产过程监控数据 | 结构化 + 时序 | 单向取数 | 按单向集成要求配置 | 1.11.17 |
表 1-5 十七套业务系统接口集成要点总表。数据来源:招标文件 3.2.2.1.1 至 3.2.2.1.17 各子条原文、3.1.2.3 第(4)条。
1-6 十七套源系统按数据形态归并为四类接入通道
图 1-6 十七套源系统按数据形态归并为四类接入通道。数据来源:招标文件 3.2.2.1.1 至 3.2.2.1.17、3.2.2.1 总述。
1.10.1 列出的七栏是每一条接口契约必须填满的内容,其技术取值按通道类型分列如下。十七套系统的接口形态不同,但以下八项规格一体适用,逐接口在《接口契约》中取值,不逐系统另立体系。
| 规格项 | 数据库只读视图通道 | 接口通道 | 文件传输通道 | 时序读取通道 |
|---|---|---|---|---|
| 字段映射 | 源表与字段名、类型、取值域、空值含义、目标字段、转换规则,以数据字典为依据;字典缺失的标注「样例反推」 | 报文字段路径、类型、枚举取值、必填性、目标字段与转换规则 | 目录与命名规则解析出的业务标识、文件类型、与业务对象的配对字段 | 测点编码、物理含义、单位、量程、采样周期、所属设备台账编码 |
| 调用时序 | 建连、按水位查询、分页读取、落地、对账、推进水位、断连 | 取令牌、按增量参数请求、分页拉取、落地、对账、推进水位 | 目录扫描、指纹比对、配对信息获取、分批搬迁、摘要校验、格式检查 | 按时间区间请求、按测点与时间戳去重、落地、缺点统计、推进区间 |
| 鉴权 | 只读账号与口令,口令在平台配置中加密存储,调用时由密码服务层解密 | 令牌或签名鉴权,凭据集中保管不下发到个人 | 文件服务账号与目录级授权 | 接口账号或设备侧授权,按测点范围限定 |
| 限流 | 并发连接数上限、单批行数上限、查询超时时间 | 并发请求数上限、每秒请求数上限、单次返回条数上限 | 并发传输数上限、单批文件数与总字节上限 | 单次时间区间跨度上限、并发测点数上限 |
| 幂等 | 幂等键为主键或主键+版本;同批次重投落地结果一致 | 幂等键为业务单号+更新时间;重复报文按幂等键覆盖同版本 | 幂等键为文件摘要;相同摘要只追加引用记录不重复搬迁 | 幂等键为测点编码+时间戳;重复点保留最后写入值并记重复次数 |
| 错误处理 | 连接失败、鉴权失败、超时、结果集超限四类分别处置 | 另含限流拒绝与报文格式异常两类 | 另含目录不可达、文件被占用、摘要不一致三类 | 另含区间无数据、采样中断、时钟漂移三类 |
| 失败补偿 | 按水位回退至上一已确认位点重取,不跨位点跳过 | 同左,并对已消费未落地的报文按幂等键重投 | 仅重传失败文件,不重做整批 | 按缺点区间定向补取,补不到的标记区间不可用 |
| 审计 | 每批次记录接口编号与版本、水位区间、行数、耗时、对账结论、责任角色 | 同左,另记请求数与限流命中次数 | 同左,另记文件数、字节数与摘要校验结论 | 同左,另记测点数、理论点数、缺点率 |
表 1-6 源系统接口的统一技术规格。数据来源:招标文件 3.2.2.1 各子条对连接方式、数据字典与低峰时段的规定、3.1.2.2.4 可靠性要求。
错误码与异常分级。 1.10.1 定义的六类异常对应六个错误码段,每一段的重试次数、告警对象与升级时限在接口台账中逐接口取值,告警按角色配置而不按个人配置。
| 错误码段 | 触发条件 | 重试口径 | 告警对象 | 升级时限 | 对批次的处置 |
|---|---|---|---|---|---|
| 连接类 | 网络不可达、端口不通、服务未响应 | 指数退避重试三次 | 集成运维角色 | 连续失败超过一个调度周期即升级 | 该批次不入链路,转待处理队列 |
| 鉴权类 | 账号失效、口令过期、令牌被撤销 | 不重试 | 集成运维角色与招标方接口人 | 二小时内升级 | 暂停该接口直至凭据更新 |
| 超时类 | 查询或传输超过约定时限 | 缩小单批量后重试二次 | 集成运维角色 | 同日升级 | 分片续取,不整批重来 |
| 格式类 | 字段缺失、类型不符、编码异常 | 不重试 | 集成开发角色 | 同日进入缺陷库 | 该批次隔离留样,供契约修订 |
| 对账类 | 行数、主键或校验和对账不通过 | 定向补取后复核一次 | 集成开发角色与数据加工责任角色 | 二十四小时内闭环 | 不进入加工链路 |
| 水位类 | 水位倒退、源数据被回溯修改 | 按回溯范围重取 | 集成开发角色 | 同日升级 | 受影响批次重新落地并标记版本 |
表 1-7 源系统接口的错误码、失败补偿与审计口径。数据来源:招标文件 3.2.2.1 各子条、3.1.2.2.4 可靠性要求、3.1.2.2.3 安全性要求。
审计落点。 接口调用的审计记录与数据血缘在落地区合并为一条链:每一个落地批次记录其接口编号、接口版本、水位区间、取数时间、行数或文件数、对账结论与执行账号;数据集的数据卡回指到批次。数据集出现质量问题时,归因可一直追到源系统的某一次取数。审计记录的保存期与平台审计日志一致,不随批次清理而删除。
十七套系统的接口划分、增量方式、联调判据与前置条件不具备时的回退口径汇总于下表。涉及具体表名、字段名与接口名的内容,在接口文档到位后于《接口契约》中逐一落定;本阶段给出接口的划分口径与数量量级,划分数待契约评审后以契约为准。
表 1-5 解决范围问题——取哪些系统、走哪类通道;下表解决可实施性问题——每套系统划几个接口、 靠什么判定接通了、接不通退到哪一步。十七套系统合计划分 101 个接口,这是集成工作量的 计量单位,也是 2.10 集成测试的用例基数。逐系统的用途、招标方应提供的内容、接入做法、 联调判据与回退口径见 1.11.1 至 1.11.17。
表 1-8 十七套源系统的接口划分、增量方式、联调判据与回退口径
| 系统(条款) | 接口划分 | 增量方式 | 联调验收判据要点 | 前置不具备时的回退 |
|---|---|---|---|---|
| CRM(3.2.2.1.1) | 结构化 6+文件 3=**9** | 单据最后更新时间为水位,低峰窗口首次取全量后按日增量 | 6 个结构化接口各取一业务日与系统界面逐单核对,单据数与关键金额一致;3 个文件接口验可打开、格式符合、配对关系可解析 | 接口通道不可用转数据库只读视图;文件服务不可用改按批次现场介质交付并登记台账 |
| ERP(3.2.2.1.2) | 只读视图 **10** | 按会计期间与更新时间 | 各取一会计期间,行数与财务或业务台账口径一致;物料编码与主数据平台完全匹配,不匹配逐条列出;凭证与应收应付金额合计与系统报表一致 | 只读账号不可得转 API 接口;两者均不可得按招标文件相应条款提交变更,由招标方指定实施方式 |
| SCM(3.2.2.1.3) | 接口为主、只读视图为辅 **7** | 按业务对象更新时间 | 各取一季度,采购订单与 ERP 同期订单交叉比对,差异率在容差内且原因可解释;供货履约可关联采购订单;付款计划可关联合同 | 按 1.10.1异常分级处置;两系统数据冲突提交双方业务部门裁定,不由我方自行取舍 |
| QMS(3.2.2.1.4) | 结构化 5+文件 3=**8** | 按检验记录时间 | 各取一月,检验记录条数与系统报表一致;关联字段(工单号、工序号、图号、批次号)完整率形成基线并逐月跟踪;文件可解析出工单或零件标识 | 关联字段在源系统确实不存在的,双方确认可替代关联路径(如经交检批次反查工单),并在台账记录该路径的可靠性等级 |
| WMS(3.2.2.1.5) | 只读视图 **8** | 主数据 5 项按日全量快照;单据 3 项按单据时间增量 | 主数据接口记录数与维护界面一致;单据类取一月,出入库数量合计与报表一致;物料编码匹配主数据;批次号可关联采购订单或生产工单 | 只读账号不可得转接口通道;批次号关联不上的记录列入缺口清单,由业务部门判定是否纳入数据集范围 |
| MES(3.2.2.1.6) | 只读视图 **4** | 报工时间与工单更新时间为水位 | 取一月工单数与系统报表一致;工序流转记录可按工单串成完整序列;焊丝牌号与直径的字段完整率形成基线 | 完整率低于可用门限时由业务部门确认是否后续补录,数据集覆盖范围按实际可用数据调整并在数据卡说明 |
| LMS(3.2.2.1.7) | 只读视图 **5** | 运单更新时间为水位 | 取一季度运单数与系统报表一致;时效链完整的运单占比形成基线;运单可关联销售订单或项目 | 只读账号不可得转接口通道;无法关联订单的运单由业务部门确认关联路径 |
| EMS(3.2.2.1.8) | 时序 **3**(监控测点序列、统计结果、分析结果) | 按时间区间拉取,以测点加时间戳为键去重 | 取一周时序,点数与采样周期乘测点数的理论值比较,缺点率形成基线;能耗统计结果与由原始测点序列重算的结果在容差内一致 | 时序接口不可用时由能源管理侧按约定周期导出文件转文件通道 |
| SOS(3.2.2.1.9) | 时序 1+接口 4+文件 4=**9** | 时序按测点与时间区间,其余按更新时间 | 取一季度,报警记录可按设备与时间窗关联到处置记录与售后工单的比例形成基线;文件可解析工单号与设备编码;时序缺点率与测点可信度形成基线 | 关联比例低于门限时不调整数据,把未关联报警作为独立数据子集保留并在数据卡说明,供后续补标注 |
| EAM(3.2.2.1.10) | 只读视图 **5** | 台账按日全量快照,其余按更新时间增量 | 台账记录数与维护界面一致;设备层级关系完整、无孤立节点;SCADA 与群控侧测点可按台账编码归属到设备的比例形成基线;维修工单可关联设备与故障现象 | 测点无法归属的由设备管理部门在勘察阶段逐点补充对应关系,结果记入接口台账的映射表 |
| PLM(3.2.2.1.11) | 结构化 4+文件 4+工序字典 1+配对清单 1=**10** | 按变更记录与版次 | BOM 与零部件取一批施工号,零件数与系统查询一致;图纸文件可打开且 DWG/DXF 副本可被解析工具读出图元;配对清单可按图号反查工艺卡;工序字典条目与工艺部门确认版本一致 | 原生格式不可批量读取时退到 PDF 转换件加 DWG/DXF 可读副本两者都取,并在数据卡注明解析能力限制;配对清单不可得时另行建立 |
| SCADA(3.2.2.1.12) | 时序 **4** 个测点组,另加工件与焊道归属解析层 | 按测点与时间区间 | 取一周,缺点率形成基线;测点可按 EAM 台账编码归属到设备;焊接参数段的工件与焊道归属正确率达到基线(初期按不低于 80% 设定) | 时序接口不可用时由设备侧按周期导出文件;采集范围不足的设备列入扩展清单,由双方按场景优先级排期 |
| OA(3.2.2.1.13) | 文件 3+接口 3=**6** | 按文档生效与废止状态变更 | 11 类管理制度与 9 类合同文档的目录结构与招标文件所列类别一一对应,缺类逐类列出;每份文档在落地区都有元信息,缺失的不进问答语料库而进待补队列;访问控制可映射本项目角色模型;抽取一批已废止文档验证状态被正确识别 | 元信息无法从系统取得时,退而由正文首页信息与命名规则抽取,结果经文档管理部门抽样确认,通过率形成基线 |
| 久其(3.2.2.1.14) | 接口 **3** | 报送期间加报送版本为水位,同期后续版本追加落地不覆盖历史 | 取近三个报送期间,指标数值与财务部门报表逐项一致;指标字典覆盖所取全部指标,无字典的逐条列出;同一指标多版本的版本标识正确 | 接口不可得时按报送期间以文件形式交付并登记;无字典的指标暂不纳入对外数据集,在数据卡说明原因 |
| 主数据管理平台(3.2.2.1.15) | 接口 **4**(组织、人员、物料编码、编码映射关系) | 按主数据变更 | 组织机构记录数与层级关系与维护界面一致;物料编码总数与分类数一致;ERP 与 WMS 侧物料编码可与主数据编码匹配,不匹配逐条列出并说明原因;人员接口去标识规则生效,落地区无可直接识别个人的字段 | 编码映射关系不可得时由我方按业务规则在落地区建立,建立规则与例外清单提交业务部门确认后生效 |
| 热处理群控(3.2.2.1.16) | 时序与接口 **4**(炉次工单与开完工、工艺程序下发、炉台温度与电气测点、冷却与淬火介质测点) | 按炉次时间窗切分 | 取一月炉次记录,炉次数与系统查询一致;每炉次可切出完整温度曲线且曲线时长与开完工时间差一致;炉台编号可按 EAM 台账编码归属到设备;群控温控测量值与同炉次热成像数据的时间对齐误差在约定范围内 | 时序接口不可用时由设备侧按炉次导出文件;装炉工件清单若在 MES 或纸质记录中,按实际载体另行取数并在台账说明来源 |
| 安全监管平台(3.2.2.1.17) | **2**(安全监管数据、生产过程监控数据) | 按结构化事件与时序监控两分支分别预留 | 具体内容与形态待接口文档到位后确定,本阶段按两种形态分别预留处理分支 | 涉及人员与作业场所的字段在落地前按去标识规则处理,规则由安全方案一节给出 |
表 1-8 数据来源:各行内容取自 1.11.1 至 1.11.17 各小节的接入做法、联调判据与回退口径, 不另立新口径;接口划分数为本阶段的划分量级,待《接口契约》评审后以契约为准。 招标方须提供的前置条件与对应单元见表 1-5。
1-7 十七套源系统的接口划分与联调验收路径(合计 101 个接口)
图 1-7 十七套源系统的接口划分与联调验收路径。数据来源:表 1-5 与下表逐系统接口划分列;接口总数 101 个与 2.10 集成测试用例基数一致。
招标文件在五套系统上要求非结构化数据:CRM 的招投标文件、资质文件、业绩合同,QMS 的质量报告、检验数据、产品质量档案、质量知识,SOS 的设备档案、维修记录、诊断报告、故障案例,PLM 的选型方案、工艺图纸、CAD 图纸、工艺卡片,OA 的十一类管理制度与九类合同文档。文件通道在十七套系统中出现频次最高,也是最容易做成「把文件拷过来就算完」的一处,因此单列一节讲清处理链。
文件通道的处理链分六步。第一步是目录扫描与清单生成:按契约约定的目录范围扫描,生成含路径、文件名、大小、修改时间的清单。第二步是指纹计算与去重:对每个文件计算 SM3 摘要,与落地区已有摘要比对,相同摘要的文件不重复搬迁,只追加一条引用记录。
这一步在本项目中价值明显——历史图纸与工艺卡在不同目录下存在同一文件多副本的情形,按摘要去重可以显著减少搬迁量与存储量。第三步是配对信息获取:按 7.3 各节约定的方式取得文件与业务对象的对应关系,没有配对信息的文件进入待配对队列。
第四步是搬迁与完整性校验:在低峰窗口内分批搬迁,搬迁后重算摘要并与源侧比对,不一致的重传。第五步是格式与可读性检查:按文件类型做可打开性检查,PDF 检查是否为可提取文本的版本或需要走图像识别分支,DWG/DXF 检查是否可被解析工具读取图元,Word 检查版本兼容性。检查结果写入文件元信息,供数据加工阶段选择解析路径。第六步是加密与登记:按 1.9的一文一密策略对需加密的文件加密,并登记到数据资产目录。
1-8 非结构化文件通道处理链
图 1-8 非结构化文件通道处理链。数据来源:招标文件 3.2.2.1 各子条关于非结构化数据的要求、3.1.2.3 加解密要求。
招标文件在四套系统上要求时序数据:EMS 的能耗监控、统计、分析,SOS 的健康状态,SCADA 的设备与焊接工艺参数,热处理群控的温度与介质参数。时序通道的处理口径在 1.11.8 已给出要点,此处补充三项全局约定。
采样周期与存储策略的对应。 现场的测点采样周期通常为秒级。按秒级原样长期存储,存储量与查询成本都会很快不可持续。本方案按用途分层存储:原始精度数据保留在热存储区,保留期按场景需求确定(焊接与热处理两类场景对原始精度依赖最强,保留期最长);超过保留期的数据按统计降采样后转入温存储区,降采样保留均值、极值、方差与采样点数四项,使统计类用途仍可用;数据集一旦基于某段原始数据构建完成,该段原始数据按数据集版本的归档策略单独留存,不随降采样策略变动。这一安排保证数据集的可复现性不被存储策略破坏。
缺点、跳变与重复点的统一处理。 缺点保留为空并记录缺点区间,不在集成阶段插值。跳变(相邻点数值差异超过物理合理范围)标记为可疑但不修改,由数据加工阶段按场景判定。重复点按测点加时间戳去重,保留最后写入的值并记录重复次数。三类情形的统计结果构成时序接口的质量基线,逐月跟踪。
测点台账与变更管理。 每一个测点在接口台账中有一条记录,含测点编码、物理含义、单位、量程、采样周期、所属设备台账编码、启用与停用日期。测点的新增、停用、含义变更按变更流程处理,变更前后的数据在落地区以测点版本区分,不混为一条序列。现场情况是设备联网范围有限、仅覆盖部分车间的部分设备,因此测点台账在项目期内会持续增长,变更管理不是可选项。
CRM 系统在本项目中服务于供需计划数据集:客户与商机信息、报价与合同、订单与回款构成需求侧的事实基础,招投标文件与业绩合同则是通用场景中标书问答与合同审查的语料来源。招标文件要求该系统提供营销相关业务原始数据,具体为客户、商机、报价、合同、订单、回款等结构化数据,以及招标/投标文件(PDF/Word)、资质文件(PDF/JPG)、业绩合同(PDF/JPG)等非结构化数据。
现场情况是该系统正在上线、历史数据较少,这对集成的影响是两方面的:结构化数据的增量通道要在系统数据量增长过程中保持稳定,不能依赖一次性全量;非结构化附件的数量在项目期内会持续增加,文件通道需要支持长期增量扫描。
本方案对该系统建立两条通道。结构化部分走接口通道,按六个业务对象划分接口:客户主档、商机、报价、合同、订单、回款。每个接口以业务单据的最后更新时间为增量水位,低峰窗口内首次取全量,之后按日增量。非结构化部分走文件通道,按文件类型划分三个接口:招投标文件、资质文件、业绩合同。
文件通道的关键不在搬文件,而在搬配对关系——每个文件必须带上它所属的客户编号、项目编号或合同编号,否则文件进了落地区也无法与结构化事实关联。因此文件接口的契约中除目录与命名规则外,必须包含一份「文件与业务对象对应关系」的取数方式,可以是附件表的数据库视图,也可以是导出清单文件。
招标文件要求该系统提供数据库连接信息、API 接口信息或 FTP 信息、业务低峰时段与数据字典或数据库设计说明书。我方在接口契约评审前接收这三项,字典缺失时按 1.10.1的替代口径处理并标注。
联调与验收判据:六个结构化接口各取一个业务日的数据,与招标方在系统界面查询结果逐单核对,单据数与关键金额字段一致;三个文件接口各取一批文件,验证文件可打开、格式与招标文件所列一致、配对关系可解析;全部接口通过对账规则。不通过的处理:结构化接口若接口通道不可用,转为数据库只读视图;文件接口若文件传输服务不可用,改为按批次的现场介质交付并登记在接口台账中。
ERP 系统是本项目物料与成本口径的基准来源,在供需计划数据集中承担需求计划、采购订单与库存账的事实供给,在产品质量与制造过程数据集中提供成本核算的对照口径。招标文件要求该系统提供财务、采购、核算等相关业务原始数据,具体为组织、人力、物料、采购、销售订单、成本核算、应收应付、凭证、资产、资金等结构化数据。
现场情况是该系统在用、录入规范、数据质量相对较好,但需求运算未启用,储备量仍由生产管理人员按经验估算。这一事实对集成的意义是:取到的需求计划数据反映的是人工判断结果而非系统运算结果,数据集的数据卡中须注明这一来源性质,否则后续用作训练样本时会对数据含义产生误解。该注记在落地阶段由接口台账的「口径说明」栏承载。
本方案对该系统走数据库只读视图通道,这是十项数据域中九项都是标准表结构、且该系统允许开只读账号的自然选择。按数据域划分十个接口:组织、人力、物料主数据、采购、销售订单、成本核算、应收应付、凭证、资产、资金。涉及人力与人员信息的接口,取数范围仅限数据集建设必需的字段,个人敏感字段在落地前即在视图层完成去标识,这与安全合规要求中对个人信息去标识化的规定一致,具体规则由安全方案章节给出。
招标文件要求该系统提供数据库连接信息或 API 接口信息、业务低峰时段与数据字典或数据库设计说明书。ERP 的字典对本项目尤为重要:物料编码规则、计量单位、成本要素的取值域是跨系统关联的基础,字典缺失会直接影响对象标识映射的建立。
联调与验收判据:十个接口各取一个会计期间的数据,行数与招标方财务或业务部门提供的台账口径一致;物料编码能够与主数据管理平台的编码完全匹配,不匹配的逐条列出;凭证与应收应付类接口的金额合计与系统报表一致。不通过的处理:只读账号不可得时转 API 接口通道;两者均不可得时按招标文件相应条款提交变更,由招标方指定实施方式。
SCM 系统提供供应链协同侧的事实,是供需计划数据集中采购履约与供应商评估部分的主要来源。招标文件要求该系统提供供应链协同相关业务原始数据,具体为供应商档案、供应商评估、采购计划、采购订单、订单下达、供货履约、付款计划等结构化数据。
这套系统与 ERP 在采购域存在数据重叠——采购订单在两边都可能有记录。集成设计必须先解决「以谁为准」,否则落地区会出现两份不一致的采购事实。本方案的处理是在接口契约阶段与招标方业务部门明确主次:以单据发起系统为权威源,另一侧作为补充字段来源,映射表中逐字段标明权威来源。这一约定写入接口台账的口径说明,数据集的数据卡据此描述采购事实的来源。
本方案走接口通道为主、数据库只读视图为辅,按七个业务对象划分接口:供应商档案、供应商评估、采购计划、采购订单、订单下达、供货履约、付款计划。供应商评估类数据往往含评分与评语,评语为短文本,纳入非结构化处理的轻量分支,不单建文件通道。
招标文件要求该系统提供数据库连接信息或 API 接口信息、业务低峰时段与数据字典或数据库设计说明书。
联调与验收判据:七个接口各取一个季度数据,采购订单与 ERP 侧同期订单做交叉比对,差异率在约定容差内且差异原因可解释;供货履约记录能够关联到采购订单;付款计划能够关联到合同。不通过的处理:按 1.10.1异常分级处置,涉及两系统数据冲突的提交双方业务部门裁定,不由我方自行取舍。
QMS 系统是产品质量数据集的核心来源。招标文件要求该系统提供质量管控相关业务原始数据,具体为制程检验、进厂检验、出厂检验、成品检验、质量台账等结构化数据,以及质量报告、检验数据、产品质量档案、质量知识等非结构化数据。
现场情况是该系统新上线、正在推行,缺陷描述为文字且未与工艺参数关联。这正是质量数据集要解决的问题,也决定了集成阶段必须把「检验记录与工件、工序的关联字段」作为取数的必选项而不是可选项:如果只取检验结论而不取其关联的工单号、工序号与零件图号,数据集就无法把质量结果与制造过程对应起来,后续的质量归因就失去基础。
本方案建立两条通道。结构化部分走接口通道,按五个业务对象划分:制程检验、进厂检验、出厂检验、成品检验、质量台账。每个接口必含关联字段组(工单号、工序号、零件图号、物料批次号),缺失任一项的记录在落地时标记为「弱关联」,进入待补关联队列而不是直接丢弃。非结构化部分走文件通道,按三类划分:质量报告、产品质量档案、质量知识文档;检验数据按其实际形态归入结构化或文件通道,在契约中逐项判定。
另需说明一处现场事实:纸质检测报告数量可观但尚未数字化。这部分资料不在 QMS 系统内,不属于本接口范围,其数字化安排由数据加工生产相关章节处理,接口台账中记录该缺口来源,避免在数据集规模核算时重复计算。
招标文件要求该系统提供数据库连接信息、API 接口信息或 FTP 信息与业务低峰时段。
联调与验收判据:五个结构化接口各取一个月数据,检验记录条数与系统报表一致,关联字段完整率形成基线并逐月跟踪改善;三个文件接口验证文件可打开且能解析出关联的工单或零件标识。不通过的处理:关联字段在源系统确实不存在的,由双方确认以可替代的关联路径(如通过交检批次反查工单)建立,并在台账中记录该路径的可靠性等级。
WMS 系统提供仓储侧的实物事实,服务于供需计划数据集中的库存与物料流转部分。招标文件要求该系统提供仓储相关业务原始数据,具体为仓库、库区、货位、物料、批次、到货单、入库单、出库单等结构化数据。
这套系统的数据对本项目有一个特殊价值:它是账实对照的实物一侧。ERP 的库存账与 WMS 的实物库存若存在差异,差异本身就是供需计划场景要处理的对象。因此集成设计不做「取一边、算一边」的简化,两侧都取,差异在落地区显式计算并保留,不在集成阶段抹平。
本方案走数据库只读视图通道,按八个对象划分接口:仓库、库区、货位、物料、批次、到货单、入库单、出库单。前五项为主数据类,变化频率低,按日全量快照;后三项为单据类,按单据时间增量。
招标文件要求该系统提供数据库连接信息或 API 接口信息与业务低峰时段。
联调与验收判据:主数据类接口的记录数与系统维护界面一致;单据类接口取一个月数据,出入库数量合计与系统报表一致;物料编码与主数据管理平台编码匹配;批次号能够关联到采购订单或生产工单。不通过的处理:只读账号不可得时转接口通道;批次号关联不上的记录列入缺口清单,由业务部门判定该批次是否纳入数据集范围。
MES 系统提供生产制造过程事实,是制造过程数据集的主干来源。招标文件要求该系统提供生产制造过程相关业务原始数据,具体为焊丝牌号、焊丝直径、生产工单、生产进度等结构化数据。
招标文件在此处列出的字段中,焊丝牌号与焊丝直径两项值得单独说明:它们是焊接工艺参数与材料信息的交汇点,在焊接场景的数据集里是关键特征。但这两个字段在 MES 中是否逐工单维护、维护完整度如何,需要在勘察阶段实测,不能假定可用。本方案在接口契约中为这两个字段单列完整率统计,并把完整率作为该接口的质量基线之一。
现场情况是该系统在用、已实现跨分厂跨工序多路线管控,但报工时点相对实际作业有滞后。这一滞后对时间对齐有直接影响:报工时间不能当作工序实际完成时间用于与设备时序数据对齐。本方案的处理是报工记录保留系统报工时间,同时在落地区标记其「非实测时间」属性,设备时序数据的对齐以 SCADA 与热处理群控侧的实际信号为基准,报工时间仅用于工序归属判断。
本方案走数据库只读视图通道,按四个对象划分接口:生产工单、工序流转与报工、生产进度、焊接材料信息(含焊丝牌号与直径)。增量以报工时间与工单更新时间为水位。
招标文件要求该系统提供数据库连接信息或 API 接口信息与业务低峰时段。
联调与验收判据:取一个月工单数据,工单数与系统报表一致;工序流转记录能够按工单串成完整序列;焊丝牌号与直径的字段完整率形成基线。不通过的处理:字段完整率低于可用门限时,由业务部门确认是否在后续作业中补录,数据集的覆盖范围按实际可用数据调整并在数据卡中说明。
LMS 系统提供物流管理事实,服务于供需计划数据集中的交付时效部分。招标文件要求该系统提供物流管理相关业务原始数据,具体为物流需求、运单、调度结果、装卸、取货、送达、运输时间等结构化数据。
这套系统的数据在本项目中主要用于两处:一是把交付时效与订单履约关联,形成供需计划场景中的交付风险特征;二是为运输时间提供实测分布,替代按经验估计的提前期。因此取数的重点不是运单本身,而是运单上的时间戳序列——需求下达、调度确认、取货、装卸、送达各节点的时间,构成一条可计算的时效链。接口契约中逐节点列明时间字段,缺少中间节点的运单在落地区标记为「链条不全」并单列统计。
本方案走数据库只读视图通道,按五个对象划分接口:物流需求、运单、调度结果、装卸与取货记录、送达与运输时间。增量以运单更新时间为水位。招标文件要求该系统提供数据库连接信息或 API 接口信息与业务低峰时段。
联调与验收判据:取一个季度运单数据,运单数与系统报表一致;时效链完整的运单占比形成基线;运单能够关联到销售订单或项目。不通过的处理:只读账号不可得时转接口通道;无法关联订单的运单由业务部门确认关联路径。
EMS 系统提供能源能耗侧的时序事实,在制造过程数据集中承担工序能耗特征。招标文件要求该系统提供能耗监控、能耗统计、能耗分析等时序数据。
时序数据的集成与结构化数据的差别在三处:取数方式按时间区间而非按单据、数据量按采样周期乘测点数估算、缺点与重复点是常态而不是异常。本方案据此在时序通道上固定三项处理:按时间区间拉取并以测点加时间戳为键去重;缺点不插值填补,保留为空并记录缺点区间,是否插值由数据加工阶段按场景决定;采样周期与测点清单在契约中逐测点写明,测点新增或停用按变更流程更新。
能耗数据要对工序有意义,必须能归到用能对象上。本方案在接口契约中要求测点清单含用能对象标识(车间、产线、设备或炉台),缺少该标识的测点先取数、后由业务部门补充归属,归属未明的测点数据不进入与工序关联的数据集分支。接口按三类划分:能耗监控测点序列、能耗统计结果、能耗分析结果。后两类为系统已加工结果,作为对照口径取用而非主数据来源。
招标文件要求该系统提供数据库连接信息或 API 接口信息与业务低峰时段。
联调与验收判据:取一周时序数据,点数与按采样周期乘测点数的理论值比较,缺点率形成基线;能耗统计结果与由原始测点序列重算的结果在约定容差内一致。不通过的处理:时序接口不可用时,由能源管理侧按约定周期导出文件转文件通道。
SOS 系统承载设备远程运维事实,服务于产品质量数据集与售后服务场景。招标文件要求该系统提供健康状态时序数据,设备运维计划、报警处置、售后工单、备件消耗等结构化数据,以及设备档案(Word)、维修记录(PDF)、诊断报告(PDF/Word)、故障案例(PDF/Word)等非结构化数据。
这是十七套系统中数据形态最复杂的一套,三类形态都有,且现场存在一个明确的困难:报警不少、故障标签很少,报警与真实故障之间缺少可核对的证据;该系统与设备远程运维侧的事件尚未打通。集成设计因此把「报警—处置—工单—备件—维修记录」的串联作为取数的核心目标,而不是把五类数据各自取回了事。串联的键是设备台账编码加事件时间窗,接口契约中明确要求各类数据都携带设备编码,维修记录类文件要求携带其对应的工单号。
本方案建立三条通道,共九个接口:时序通道一个接口(健康状态测点序列,按测点与时间区间取数);接口通道四个(运维计划、报警处置、售后工单、备件消耗);文件通道四个(设备档案、维修记录、诊断报告、故障案例)。
招标文件要求该系统提供数据库连接信息、API 接口信息或 FTP 信息与业务低峰时段。
联调与验收判据:取一个季度数据,报警记录能够按设备与时间窗关联到处置记录与售后工单的比例形成基线;文件接口取一批维修记录,能够解析出工单号与设备编码;时序接口的缺点率与测点可信度统计形成基线。不通过的处理:关联比例低于门限时不调整数据,而是把未关联报警作为独立数据子集保留并在数据卡中说明,供后续补标注使用。
EAM 系统提供设备资产侧的基准事实,是设备维度对象标识的来源。招标文件要求该系统提供设备台账、设备档案、设备点检、维修工单、作业计划等结构化数据。
该系统的设备台账编码是本项目设备维度的主键基准。SCADA 测点、热处理炉台、焊接机器人、SOS 健康状态测点都需要归到台账编码上,否则设备侧的时序数据无法与设备属性关联。因此本方案把该系统的接入排在设备类系统的首位,并在接口契约中要求台账接口提供完整的设备层级关系(车间—产线—设备—部件)。
本方案走数据库只读视图通道,按五个对象划分接口:设备台账、设备档案、设备点检、维修工单、作业计划。设备台账按日全量快照(变化频率低但影响面大),其余按更新时间增量。
招标文件要求该系统提供数据库连接信息或 API 接口信息与业务低峰时段。
联调与验收判据:设备台账记录数与系统维护界面一致;设备层级关系完整、无孤立节点;SCADA 与热处理群控侧的测点能够按台账编码归属到设备的比例形成基线;维修工单能够关联到设备与故障现象。不通过的处理:测点无法归属的,由设备管理部门在勘察阶段逐点补充对应关系,补充结果记入接口台账的映射表。
PLM 系统是产品工艺设计数据集的主干来源,在本项目中的权重最高。招标文件要求该系统提供研发设计相关业务原始数据,具体为 BOM 编号、工序数据、变更、零部件信息等结构化数据,以及选型方案(PDF/Word)、工艺图纸(PDF)、CAD 图纸(DWG/DXF)、工艺卡片(PDF)等非结构化数据,支撑数据标注和模型训练。
这套系统的集成难点集中在非结构化资产上。现场情况是原生图纸不支持整批导出;历史图纸约 63 万张,每一张历史上都配有一张已审核签发的工艺卡片,这一配对关系存在于文件目录与人的记忆中而不在数据库字段里。备料分厂的工序集合现掌握口径为 28 道,以工艺部门确认的正式工序字典为准。这三件事决定了本系统的接口设计。
第一,图纸取数不能走界面导出,必须走后端文件通道。本方案在接口契约中要求提供图文档的存储路径或文件服务访问方式,以及图号、版次、文件路径三者的对应清单;在原生格式确实无法批量读取的情形下,退而取其 PDF 转换件并同时取 DWG/DXF 原件的可读副本,两者都取、都登记,由数据加工阶段按解析能力选用。
第二,图纸与工艺卡片的配对关系必须作为独立接口交付。本方案单列一个图纸与工艺卡配对清单接口,内容为图号、版次、工艺卡编号、签发状态、签发日期。这是 63 万张历史样本能否形成成对监督样本的决定性条件,其重要性高于任何单一文件通道。配对清单若在系统中不存在,退而由文件目录结构与命名规则推断,推断结果须经工艺部门抽样确认,确认通过率形成基线并在数据卡中如实记录。
第三,工序字典须作为参考数据取入。本方案在接口清单中单列工序字典接口,取备料分厂正式工序字典的全量,作为工艺数据标注的标签体系依据。
本方案在该系统上建立两条通道,共十个接口:结构化四个(BOM、工序数据、变更记录、零部件信息),文件四个(选型方案、工艺图纸、CAD 图纸、工艺卡片),参考数据一个(工序字典),配对清单一个。招标文件要求该系统提供数据库连接信息、API 接口信息或 FTP 信息与业务低峰时段。
联调与验收判据:BOM 与零部件接口取一批施工号,零件数与系统查询一致;图纸文件接口取一批图号,文件可打开、DWG/DXF 副本可被解析工具读取图元;配对清单能够按图号反查到工艺卡;工序字典条目与工艺部门确认版本一致。不通过的处理:原生格式不可得时按上述第一条退到 PDF 加可读副本并在数据卡中注明解析能力限制;配对清单不可得时按第二条处理。
SCADA 系统提供工业设备工况与物联网侧的时序事实,是制造过程数据集中焊接与设备运行特征的主要来源。招标文件要求该系统提供设备电流、电压、温度、湿度、设备运行状态、焊接电流/电压、送丝速度、气体流量等时序数据。
现场情况是采集覆盖部分车间与部分设备,实时采集能力不足;焊接参数流与工件、焊道无对应。前者决定了取数范围要分批扩展,首期以试点产线与试点车间所需设备为准,扩展清单以现场勘察结论为准;后者决定了本系统的集成必须与 MES 的工单工序、现场感知设备的触发信号三方联动,否则取到的参数流只是一串无归属的曲线。
本方案的处理是在时序通道之上增加一层工件与焊道归属解析:以工位开工与完工信号划分时间段,以 MES 工序流转确定该时间段对应的工单与工序,以焊接工位编号确定设备,三者交叉得出该段参数流所属的工件与焊道。归属解析的正确率在联调阶段用已知作业记录抽样验证,初期基线按不低于 80% 设定,随信号与规则完善逐步接近业务可用水平;未能归属的参数段保留为无归属子集,不强行归属。
本方案按测点组划分四个接口:焊接工艺参数组(焊接电流、电压、送丝速度、气体流量)、设备电气参数组(电流、电压)、环境参数组(温度、湿度)、设备运行状态组。招标文件要求该系统提供数据库连接信息或 API 接口信息与业务低峰时段。
联调与验收判据:取一周数据,点数与理论值比较的缺点率形成基线;测点能够按 EAM 台账编码归属到设备;焊接参数段的工件与焊道归属正确率达到基线。不通过的处理:时序接口不可用时由设备侧按周期导出文件;采集范围不足的设备列入扩展清单,由双方按场景优先级排期,不在本期强行要求全覆盖。
OA 协同办公系统承载协同办公相关的文档资产,是五个通用场景(制度问答、技术问答、标书问答、经营数据问答、合同合规审查)的语料基础。招标文件要求该系统提供十一类管理制度(PDF)、九类合同文档(PDF/Word)等非结构化数据。
这套系统的集成与其他十六套有一个本质差别:取的几乎全是文档,而文档的价值取决于三件随文档一起存在的信息——版本状态、生效范围与访问控制。制度问答场景的要求是「给出结论、条款出处与版本状态」,如果集成时只把 PDF 搬过来而不带版本与废止状态,问答就可能答出已废止的制度条款,这类错误在合规场合的代价不可接受。因此本方案把文档元信息列为与文档本体同等重要的取数对象。
本方案在该系统上建立两条通道,共六个接口。文件通道三个:管理制度文档(按十一类分别组织目录)、合同文档(按九类分别组织目录)、其他归档资料。接口通道三个:文档目录与元信息(文档编号、标题、分类、版本号、生效日期、废止日期、状态、密级)、文档审批与流转记录(用于判断文档是否已正式生效)、访问控制信息(用于在数据集与问答场景中继承原有的可见范围)。
现场另有两类事实需在接口中体现:OA 还承载不合格品票与改造方案的流转,这部分流转记录对产品质量数据集有价值,本方案在接口通道中单列为一个流转单据接口;企业文档类资料(标准、技术手册、工程资料、外部资料归档)与制度、合同不在同一目录体系下,按其实际组织方式归入其他归档资料接口并在契约中写明目录范围。
招标文件要求该系统提供数据库连接信息、API 接口信息或 FTP 信息与业务低峰时段。文档类数据的首次全量搬迁体量可能较大,本方案按文档类别分批进入低峰窗口,每批完成后即做一次目录对账,不等全部搬完再核对。
联调与验收判据:十一类管理制度与九类合同文档的目录结构与招标文件所列类别一一对应,缺类的逐类列出;每一份文档在落地区都有对应的元信息记录,元信息缺失的文档不进入问答语料库而进入待补队列;访问控制信息能够映射到本项目的角色模型;抽取一批已废止文档验证其状态被正确识别。不通过的处理:元信息无法从系统取得时,退而由文档正文的首页信息与文件命名规则抽取,抽取结果须经文档管理部门抽样确认,确认通过率形成基线。
久其系统是招标方既有的经营指标报送系统,提供经营相关指标数据。招标文件要求该系统提供营业收入、利润、成本、资产负债等指标数据。
这套系统的数据特点是「已加工的指标」而非原始业务数据:指标是按报送口径汇总后的结果,有报送期间、报送版本与审核状态。集成设计因此有两个要点。第一,必须取到口径定义而不只是数值。同一指标在不同报送期间可能因口径调整而不可直接比较,若数据集中只存数值不存口径版本,用于经营数据问答时就会给出错误的趋势结论。
本方案在接口契约中要求提供指标字典(指标编码、名称、计算口径、单位、口径版本、生效期间),作为指标数据接口的必备伴随数据。第二,必须区分未审核、已审核与调整后三种状态的数据,问答场景一律以已审核或调整后数据为准,未审核数据不进入对外可见的数据集。
本方案走接口通道,按三个对象划分接口:经营指标数值(按指标、期间、组织维度)、指标字典、报送与审核状态。指标数据的增量以报送期间加报送版本为水位,同一期间的后续版本以追加方式落地,不覆盖历史版本,使指标的修订过程可追溯。
招标文件要求该系统提供数据库连接信息、API 接口信息或 FTP 信息与业务低峰时段。
联调与验收判据:取近三个报送期间的指标数据,与招标方财务部门提供的报表数值逐项一致;指标字典覆盖所取全部指标,无字典的指标逐条列出;同一指标多版本数据的版本标识正确。不通过的处理:接口不可得时按报送期间以文件形式交付并登记;指标字典缺失的指标暂不纳入对外数据集,在数据卡中说明原因。
主数据管理平台提供组织、人员、物料等主数据,在本项目中的地位已在 1.7 说明:它是对象标识映射层的编码基准来源。招标文件要求该平台提供组织机构、人员、物料编码等结构化数据。
本方案把这套平台的接入排在十七套系统的最前面。理由是实际执行顺序上的依赖:如果没有统一的组织、人员与物料编码,其他系统取回的数据在落地区就只能按各自的内部编码存放,后续再做归一是二次返工。因此在实施排期中,主数据接入与对象标识映射的建立构成第二阶段的第一道工序。
本方案走接口通道,按四个对象划分接口:组织机构(含层级关系与有效期)、人员(仅取数据集建设必需字段,个人敏感字段在视图层去标识)、物料编码(含分类、规格、计量单位、替代关系)、编码映射关系(主数据编码与各业务系统内部编码的对应关系,若该平台维护此类映射)。第四个接口是本方案特别申请的内容:若主数据管理平台已经维护了与业务系统的编码映射,则对象标识映射层可直接复用,工作量显著下降;若未维护,则由我方在落地区按业务规则建立并提交业务部门确认。
主数据的变更对下游影响面大,接口设计上按日全量快照加变更日志双轨:全量快照保证一致性,变更日志保证可追溯。组织机构与物料分类的调整在落地区保留历史版本,使历史数据仍按当时的组织与分类口径可解释。
招标文件要求该平台提供数据库连接信息、API 接口信息或 FTP 信息与业务低峰时段。
联调与验收判据:组织机构记录数与层级关系与招标方维护界面一致;物料编码总数与分类数一致;ERP 与 WMS 侧的物料编码能够与主数据编码匹配,不匹配的逐条列出并说明原因;人员接口的去标识规则生效,落地区不存在可直接识别个人的字段。不通过的处理:编码映射关系不可得时由我方按业务规则建立,建立规则与例外清单提交业务部门确认后生效。
热处理群控系统提供生产与开炉相关事实,是制造过程数据集中热处理工艺特征的主要来源。招标文件要求该系统提供当前/设置温度、电流/电压、加热/冷却时间、冷却水温度、淬火液温度、淬火水温、温控测量值等时序数据。
这套系统与本项目新增的在线高温热成像设备、在线热成像设备在同一物理过程上采集数据,是集成设计中最需要讲清对应关系的一处。热处理场景要建立的是「一炉次一档案」:装炉工件清单、材料批次与来源厂家、码装方式与装炉量、设定程序、实际温度曲线与检验结论串在一起。这意味着群控系统的时序数据必须能够按炉次切分,而不是只给一条连续曲线。
本方案的处理分三步。第一步,取炉次工单与开完工记录作为切分依据,接口契约中要求提供炉次号、炉台编号、开炉时间、完工时间、设定工艺程序编号。现场情况是炉次级记录可追溯,这一条具备实现基础。第二步,按炉次时间窗从时序接口拉取该炉台的测点序列,形成炉次级曲线。
第三步,把同一炉次时间窗内的热成像设备数据(本项目新增,见 2.6)按炉台与时间对齐并挂到同一炉次上,形成群控测量值与红外测温的双通道对照。双通道对照的价值在于互为验证:群控侧的温控测量值是接触式或炉内测点的读数,热成像侧是工件表面的辐射测温,两者在同一炉次上的偏差本身是数据质量的指标。
本方案按四个接口划分:炉次工单与开完工记录、工艺程序下发记录、炉台温度与电气测点序列、冷却与淬火介质测点序列(冷却水温度、淬火液温度、淬火水温)。招标文件要求该系统提供数据库连接信息、API 接口信息或 FTP 信息与业务低峰时段。
联调与验收判据:取一个月炉次记录,炉次数与系统查询一致;每个炉次能够切出完整的温度曲线,曲线时长与开完工时间差一致;炉台编号能够按 EAM 台账编码归属到设备;群控温控测量值与同炉次热成像数据的时间对齐误差在约定范围内。不通过的处理:时序接口不可用时由设备侧按炉次导出文件;装炉工件清单若不在群控系统而在 MES 或纸质记录中,按实际载体另行取数并在接口台账中说明来源。
安全监管平台的集成方式与其余十六套不同。招标文件规定「平台与安全监管平台单向集成,即平台从安全监控平台获取数据」,须包括的数据为安全监管数据与生产过程监控数据。
单向集成在工程上不是一句声明,而是要在三个层面同时固化,否则「单向」只是设计意图而非实际状态。第一层是网络策略:现场采集网段与该平台之间只放通我方侧向该平台发起的连接,反向连接在防火墙策略中显式拒绝;该策略由招标方网络管理部门实施,我方提交策略申请并在联调阶段验证。第二层是接口形态:我方侧不为该平台提供任何可写接口,不开放回调地址、不注册订阅端点;取数一律由我方按调度主动拉取。第三层是账号权限:该平台侧为我方开立的账号为只读,我方侧不为该平台开立任何账号。
本方案按两个接口划分:安全监管数据接口、生产过程监控数据接口。两类数据的具体内容与形态需在接口文档到位后确定,本阶段按结构化事件与时序监控两种形态分别预留处理分支。安全监管数据涉及人员与作业场所信息的可能性较高,本方案在落地前即按去标识规则处理涉及个人与敏感场所的字段,处理规则由安全方案章节给出。
联调与验收判据:两个接口按调度正常取数;反向连通性测试确认不存在可从该平台访问我方侧的路径;取回数据中的个人与敏感字段已按规则去标识。不通过的处理:反向连通性测试发现可写路径时,暂停该接口取数直至网络策略整改完成,不以「暂不使用」替代策略整改。
逐接口通过契约测试与对账,并不等于跨系统的业务链条可用。本方案在第三阶段以业务链为单位组织联调,并以「焊接施工号链」作为首条必过的典型链。该链跨七套源系统与本项目新增的现场感知设备,是四类数据集中制造过程与产品质量两类的共同骨架,链路一旦打通,其余链条按同一方法复用。
链条定义与联调输入。 任选一个已完工的施工号作为输入,自产品全生命周期管理系统取其图纸与工艺卡,自制造执行系统取其工单、工序与报工,自数据采集与监控系统取对应工位与时段的焊接参数流,自本项目熔池相机取同时段的图像帧,自热处理群控系统取该工件所在炉次的温度曲线,自本项目热成像设备取同炉次的红外测温序列,自质量管理系统取该工件的检验记录,自仓储与企业资源计划系统取其物料批次与成本口径。输入参数只有三项:施工号、作业时间窗、炉次号,其余由对象标识映射层解析得到。
| 序 | 参与接口 | 调用输入 | 期望输出 | 核对对象 | 判据 |
|---|---|---|---|---|---|
| 1 | 主数据编码与编码映射接口 | 施工号 | 该施工号涉及的物料编码、组织与人员编码 | 主数据维护界面 | 编码可解析、无孤立编码 |
| 2 | 产品生命周期管理系统 BOM 与零部件接口、图纸与工艺卡文件接口 | 施工号 | 零部件清单、图纸文件、工艺卡文件及其配对关系 | 系统查询结果 | 零件数一致;图纸可打开;每张图纸可反查工艺卡 |
| 3 | 制造执行系统工单与报工接口 | 施工号 | 工单、工序流转序列、报工记录、焊丝牌号与直径 | 系统报表 | 工单数一致;工序可串成完整序列 |
| 4 | 数据采集与监控系统时序接口 | 工位编号、作业时间窗 | 焊接电流、电压、送丝速度、气体流量序列 | 设备侧历史曲线 | 缺点率在基线内;参数段可归属到具体焊道 |
| 5 | 熔池相机取流通道 | 工位编号、外触发信号、作业时间窗 | 带时间戳的原始帧序列 | 采集节点落地文件 | 帧时间戳与焊接参数时标对齐误差不超过两个采样周期 |
| 6 | 热处理群控系统炉次与测点接口 | 炉次号 | 炉次工单、开完工记录、炉台温度与电气测点序列 | 系统查询结果 | 曲线时长与开完工时间差一致 |
| 7 | 热成像设备取流通道 | 炉台编号、炉次时间窗 | 逐像素原始温度序列与超温报警记录 | 采集节点落地文件 | 与群控温控测量值在同炉次上的偏差在约定范围内 |
| 8 | 质量管理系统检验记录接口与质量档案文件接口 | 施工号、工单号 | 制程与成品检验记录、质量报告文件 | 系统报表 | 检验记录可关联工单号、工序号与零件图号 |
| 9 | 仓储与企业资源计划系统只读视图接口 | 施工号、物料编码 | 物料批次、出入库单据、成本核算口径 | 台账与报表 | 批次可关联采购订单或生产工单 |
表 1-9 焊接施工号链的联调接口调用与输入输出。数据来源:招标文件 3.2.2.1.4、3.2.2.1.5、3.2.2.1.6、3.2.2.1.11、3.2.2.1.12、3.2.2.1.15、3.2.2.1.16 各子条、3.3.1 感知设备技术参数。
联调输出与核对记录。 九个接口的输出在落地区汇成一份施工号级的串联结果,核对由我方集成人员与招标方工艺、生产、质量三方业务人员共同完成,逐项在《业务链联调核对记录》上签字。核对记录的字段是固定的:核对项、核对方法、数据来源两侧、核对结论、差异说明、处置意见、核对人与日期。
| 核对项 | 核对方法 | 判据 | 不一致时的处置 |
|---|---|---|---|
| 零件与图纸齐套 | 落地区零件清单与系统查询结果逐条比对 | 零件数一致,每个零件有图纸或有明确的无图说明 | 缺图零件列入缺口清单,由工艺部门确认是否历史即无 |
| 图纸与工艺卡配对 | 按图号反查工艺卡,抽取一批人工复核 | 配对关系可解析,抽样复核无错配 | 配对信息不可取的,按文件目录与审核记录建立替代配对路径 |
| 工单与工序串联 | 按工单号串出工序流转序列 | 序列无断点,报工时间单调 | 断点逐条登记,由生产管理部门确认是否为系统外流转 |
| 焊接参数与焊道归属 | 以工序起止时间切分参数流并归属到焊道 | 归属正确率达到初期基线(不低于 80%),逐季复核提升 | 未能归属的参数段独立保留,不强行归属 |
| 图像帧与参数流对齐 | 以已知时点的人工标记事件做对齐验证 | 对齐误差不超过两个采样周期 | 重新对时并校正该时段历史数据 |
| 炉次与温度曲线切分 | 按开完工时间切分群控测点序列 | 曲线时长与开完工时间差一致 | 时间差超限的炉次标记为待核,由设备部门确认 |
| 群控与红外测温对照 | 同炉次双通道数值比对 | 偏差在约定范围内 | 超限的做发射率与反射温度参数复校 |
| 检验记录关联 | 按工单号、工序号、零件图号三键关联 | 关联字段完整率形成基线并逐月跟踪 | 关联字段源系统确无的,经交检批次反查工单作为替代路径 |
| 物料批次与成本口径 | 批次反查采购订单或生产工单,成本与报表核对 | 批次可关联,金额合计与系统报表一致 | 账实差异保留不抹平,提交双方业务部门裁定 |
| 全链可追溯 | 自数据集样本回指到接口编号与批次 | 任一样本可回溯到具体接口与具体批次 | 血缘断点所在环节停止供数直至补齐 |
表 1-10 焊接施工号链的联调核对记录口径。数据来源:招标文件 3.2.2.1 各子条对数据内容的规定、3.1.2.2.4 可靠性要求;工序道数与历史图纸数量口径见本卷事实口径(备料工序 28 道、历史工艺样本 63 万张)。
样本量与复核节奏。 首批以不少于十个施工号作为联调样本,覆盖不同产品系列与不同焊接工位,核对通过率的初期基线按不低于 90% 设定,未通过的逐条登记原因并在下一轮复核;通过率低于基线时不扩大取数范围,先补齐对象标识映射规则再复核。热处理炉次链与设备运维链按同一方法各取不少于十个样本组织联调,核对记录随《集成联调报告》一并提交。
招标文件 3.1.2.3 第(5)条规定「其余集成按招标方项目实施要求执行(如有)」。本方案对这一条的处理口径是:建立一条明确的集成需求受理与评估流程,使新增集成需求有章可循,不以口头约定推进。
流程分四步。招标方提出集成需求并说明业务目的与数据范围;我方在五个工作日内给出评估意见,内容包括技术可行性、所需前置条件、工作量估算与对既有进度的影响;双方就是否纳入本期范围、纳入方式与排期达成一致并形成书面记录;按 1.10.1 的统一接入规范执行并纳入接口台账。
需要说明责任边界的一处:招标文件 3.2.5 已把本项集成服务的范围限定为「仅针对本项所采购或开发的软硬件之间的集成」,3.1.2.3 第(4)条列举的业务系统集成属于数据资源建设服务的组成部分。因此第(5)条所指的「其余集成」,若属于数据集加工生产所需的数据接入,按 1.10.1 的统一接入规范纳入;若属于本项目采购范围之外的第三方系统之间的集成改造,由双方另行商定实施方式。这一区分在项目启动会上明确并记入会议纪要,避免在项目中期产生范围争议。
招标文件把本项集成服务的范围界定为「仅针对本项所采购或开发的软硬件之间的集成」,四项工作分别是通用服务器上数据集加工生产平台的安装与适配、接入连接器上数据集运营服务管理平台的安装与适配、服务器密码机国密算法的调试、采购硬件的网络连接与适配。四项工作的责任全部在我方,交付物是可签字确认的安装调试记录与验收单,并与第四章付款条件所列的《硬件安装调试完成确认单》《软件试运行确认单》对齐。
招标文件把本项集成服务的范围明确限定为「仅针对本项所采购或开发的软硬件之间的集成」。本项服务的工作对象是本项目采购的通用服务器、三台接入连接器、一台服务器密码机与现场感知检测设备,以及本项目开发的数据集加工生产平台与数据集运营服务管理平台。与招标方既有业务系统之间的接口集成按 3.1.2.3 第(4)项在 1.10 与 1.11 落实。
通用服务器的供货安排以招标方最终确认为准,我方按招标文件相应条款承担其上数据集加工生产平台的安装与适配工作。为使安装不因配置口径不明而返工,我方在需求确认阶段提交一份《平台部署基线要求》,列明操作系统版本与内核参数、数据库版本与初始化参数、中间件版本、磁盘分区与挂载方式、网络与端口清单、时间同步与日志外送要求,并以此与实际到场的服务器配置做一次核对。实际配置与基线不一致时,按核对结论调整部署形态(如将部分组件合并部署或增加本地缓存),调整结论写入《安装适配方案确认单》由双方签字,不在安装过程中临时决定。
安装与适配能否一次做对,取决于动手之前是否已有一份双方确认的基线。本方案在需求确认阶段提交《平台部署基线要求》,内容为六项:部署拓扑与组件关系、环境与版本矩阵、账户与权限、证书与密钥、配置项与变更控制、安装顺序与健康检查。基线经招标方确认后方行安装,安装过程与基线不一致的部分逐项记录并回签。
本项目的部署分四个区:机房计算区承载通用服务器上的数据集加工生产平台;机房出口区承载三台接入连接器上的数据集运营服务管理平台;机房密码区承载服务器密码机;车间采集区承载现场感知检测设备与采集节点。四个区的边界即网络分区边界,分区与访问策略见 3.2。
| 部署单元 | 承载设备 | 运行组件 | 对上依赖 | 对下依赖 | 单元故障的影响面 |
|---|---|---|---|---|---|
| 加工计算单元 | 通用服务器 | 采集调度、通道执行、落地与对账、加工链路计算组件(容器化) | 数据库单元、密码服务单元 | 源系统接口、采集节点 | 加工批次延迟,已落地数据不受影响 |
| 数据库单元 | 通用服务器 | 国产数据库实例、归档与备份代理(物理机本地部署) | 无 | 存储 | 加工与落地全部暂停,按备份策略恢复 |
| 密码服务单元 | 通用服务器 | 密码服务层(软件开发工具包与 RESTful 双模式)、密钥库 | 密码机 | 无 | 加解密降级,按 1.9 的三档降级执行 |
| 密码设备单元 | 服务器密码机 | 国密算法运算、主密钥保护、三员分离管理 | 无 | 无 | 触发密码服务单元降级 |
| 接入与资源单元 | 第一台接入连接器 | 数据接入、数据资源、数据登记、配置中心 | 加工计算单元 | 数据库单元 | 数据集投递暂停,已上架数据集可继续交付 |
| 交付与审核单元 | 第二台接入连接器 | 数据接口、数据交付、审核管理、访问控制、对外对接适配 | 接入与资源单元 | 数据库单元 | 对外交付暂停,按 2.4 的故障接管验证切换 |
| 审计与存证单元 | 第三台接入连接器 | 系统日志、日志分析、日志审计、区块链存证、运行监测管理 | 前两台 | 存证服务 | 审计采集暂停,业务不中断,恢复后补采 |
| 采集节点单元 | 车间采集节点 | 设备软件开发工具包集成、原始帧与温度序列缓存、上行调度 | 加工计算单元 | 感知检测设备 | 现场数据本地缓存,恢复后批量回传 |
表 2-1 部署单元、承载设备与组件依赖关系。数据来源:招标文件 3.2.5、3.3.1 硬件采购清单、3.2.1 服务采购清单运营平台模块清单、3.1.2.2.5 运行要求。
2-1 加工生产平台与运营服务管理平台的部署拓扑
图 2-1 加工生产平台与运营服务管理平台的部署拓扑。数据来源:招标文件 3.2.5、3.3.1 接入连接器功能要求、3.2.4.7 对外接口要求、3.1.2.2.5 运行要求。
招标文件规定系统基于正版操作系统与数据库管理系统部署,正版许可由投标方提供,不允许使用免费版数据库管理系统部署核心系统;支持本地化与私有云部署,支持物理机与虚拟化等多种部署方式;国产化要求规定支持国产化服务器、中央处理器、存储、网络设备,支持国产化操作系统与国产化数据库。本方案据此形成版本矩阵,矩阵中的每一行在安装前确定取值、在兼容性验证阶段逐行实测并记录结论,作为《国产化栈适配报告》的上半部分。
| 层次 | 组件 | 版本口径 | 承载单元 | 验证方式 | 变更控制 |
|---|---|---|---|---|---|
| 固件 | 服务器与连接器固件、密码机固件 | 同型号设备固件版本统一,以到场批次中的最高稳定版为准 | 全部计算与设备单元 | 版本清点与自检告警核查 | 固件升级走变更流程,升级前后各做一次健康检查 |
| 操作系统 | 国产操作系统(按 3.1.2.2.7 所列范围选型) | 主版本与内核版本在全部同类单元上一致,正版许可随安装提交 | 通用服务器、接入连接器 | 组件级兼容性验证逐项记录 | 主版本不在项目期内变更,补丁按安全基线月度评估 |
| 数据库 | 国产数据库(正版,非免费版) | 版本、字符集、归档模式、初始化参数统一 | 数据库单元 | 实例可用性与备份恢复演练 | 版本升级须先在验证环境跑完回归用例 |
| 中间件与运行时 | 国产中间件、容器运行时、消息与调度组件 | 版本与资源配额在基线中固化 | 加工计算单元、连接器各单元 | 组件自检与配额生效核查 | 镜像以摘要锁定,不使用浮动标签 |
| 密码支撑 | 密码服务层、密码设备接口库 | 接口库版本与密码机固件配套,按《密码设备应用接口规范》实现 | 密码服务单元 | 接口函数逐项连通与标准向量验证 | 接口库更换须重跑算法符合性用例 |
| 平台组件 | 加工生产平台各模块、运营服务管理平台各模块 | 同一发布版本号,模块间版本不交叉 | 加工计算单元、连接器各单元 | 模块健康检查与功能评审 | 按版本发布,支持回滚到上一稳定版本 |
| 设备侧 | 感知检测设备软件开发工具包与驱动 | 与设备型号配套,版本随设备台账登记 | 采集节点单元 | 取流与逐像素温度读取实测 | 工具包升级后重做取流验证 |
| 时间源 | 网络时间服务 | 全项目单一时间源,层级与同步周期在基线中固化 | 全部单元与现场设备 | 对时偏差监控 | 时间源变更须双方书面确认 |
表 2-2 环境与版本矩阵。数据来源:招标文件 3.1.2.2.5 运行要求、3.1.2.2.7 国产化要求、3.2.5、3.3.1 硬件技术参数。
国产化栈上的适配工作按三步推进,不以「能装上」为完成标志。第一步做组件级兼容性验证,逐个组件在目标操作系统与处理器架构上跑通并记录版本矩阵的实测列;第二步做性能基线测量,用本项目真实样本(工艺卡文件、图纸文件、热成像帧序列各取一批)测量单位时间处理量,找出需要替换实现的组件;第三步做针对性优化,对文档解析、图像解码、向量计算三类对指令集与数学库敏感的负载,替换为与目标架构匹配的实现并复测。三步的结论合成《国产化栈适配报告》,交招标方确认。
账户与权限按最小必要与职责分离两条原则设定,逐类账户在基线中列明用途、授予范围、保管方式与轮换周期;个人不持有共享口令,口令与密钥集中保管并在平台配置中加密存储,调用时由密码服务层解密。
| 账户类别 | 用途 | 授予范围 | 保管与下发 | 轮换周期 | 审计要求 |
|---|---|---|---|---|---|
| 系统管理员 | 操作系统与中间件运维 | 仅限所辖单元,不跨区 | 按人分配、不共享 | 按安全基线定期更换 | 操作全程留痕,审计员可查 |
| 安全管理员 | 权限配置、策略配置 | 不具备业务数据读取权 | 按人分配 | 同上 | 与系统管理员互不兼任 |
| 审计管理员 | 审计日志查阅与导出 | 只读,不可修改或删除审计记录 | 按人分配 | 同上 | 审计账号部署在第三台连接器 |
| 密码机操作员 | 密钥生成、轮换、销毁 | 需与管理员、审计员三员分离 | 按人分配,敏感操作双人复核 | 同上 | 操作记入密钥管理审计流水 |
| 平台服务账号 | 组件间调用 | 按接口粒度授权 | 不可交互登录,凭据由配置中心下发 | 按配置项约定周期自动轮换 | 调用流水全量审计 |
| 源系统只读账号 | 对招标方业务系统取数 | 只读,限定可访问对象清单 | 由招标方开立后交我方项目组统一保管 | 由招标方发起、我方配合 | 每批次记录执行账号 |
| 设备接入账号 | 感知检测设备取流 | 限定设备与测点范围 | 随设备台账登记 | 工具包升级或设备更换时更新 | 取流记录含设备编号 |
| 对外交付账号 | 数据集接收方 | 按授权数据集范围与有效期 | 由审核流程开立 | 授权到期自动失效 | 交付与下载全量审计 |
表 2-3 账户类别、权限范围与轮换口径。数据来源:招标文件 3.1.2.1 身份认证与密码应用服务要求、3.1.2.2.3 安全性要求、3.3.1 接入连接器功能要求。
证书与密钥按用途分列,各自的签发主体、有效期与到期更换责任在基线中写死,不留到到期当天处理。
| 对象 | 用途 | 签发或生成 | 有效期口径 | 到期与吊销处理 | 存放位置 |
|---|---|---|---|---|---|
| 平台服务端证书 | 对外服务与管理界面的传输加密 | 按招标方证书体系签发 | 覆盖项目建设期,到期前一个月更换 | 更换走变更流程,更换后重做连通验证 | 平台配置,私钥由密码服务层保护 |
| 客户端与服务间证书 | 组件互信、连接器之间互访 | 项目内统一签发 | 同上 | 吊销后相关调用立即失效并告警 | 配置中心统一下发 |
| 存证节点证书 | 区块链存证的信任关系建立 | 按存证服务要求签发 | 同上 | 更换后重做存证写入与验证 | 第三台连接器 |
| 签名证书 | 交付包签发、审计记录签名 | 由密码机生成密钥对 | 同上 | 更换后历史签名按原证书验签 | 密码机内,私钥不出设备 |
| 主密钥 | 保护业务密钥 | 密码机内生成 | 不出设备,按密码机管理规程 | 轮换在维护窗口执行,与批量作业互斥 | 密码机内 |
| 业务密钥 | 按用途与数据分级划分 | 由主密钥加密后存储 | 按用途设定轮换周期 | 轮换后旧版本保留供历史解密 | 密码服务层密钥库 |
| 数据密钥 | 一文一密、一数据一密 | 随数据生成 | 随数据生命周期 | 授权撤销时按密钥标识销毁 | 由业务密钥加密后随数据存放 |
表 2-4 证书与密钥清单及到期处理口径。数据来源:招标文件 3.1.2.1 密码应用服务要求、3.1.2.2.3 安全性要求、3.3.1 服务器密码机技术参数。
部署过程全部脚本化与参数化,配置项按三类分别管理,使操作系统、数据库或中间件发生替换时只改配置不改代码——这也是招标方替换服务器操作系统或数据库管理系统时我方须无条件配合完成迁移与数据切换这一义务的工程前提。
| 配置类别 | 典型配置项 | 存放位置 | 变更审批 | 回滚方式 | 变更留痕 |
|---|---|---|---|---|---|
| 环境相关 | 主机名与地址、端口、数据库连接串、存储路径、时间源地址 | 配置中心,按环境分组 | 我方技术负责人审批 | 切回上一版本配置并重启相关组件 | 版本号、变更人、变更时间、变更原因 |
| 安全相关 | 鉴权方式、凭据标识、密钥标识、证书路径、访问控制策略 | 配置中心,敏感项加密存储 | 双方安全责任人共同审批 | 同上,并重做连通与权限验证 | 同上,另记审批单号 |
| 集成相关 | 接口地址、增量水位字段、调度窗口、并发与批量上限、重试与告警阈值、对账容差 | 接口台账与配置中心联动 | 双方技术负责人审批 | 按接口版本回退并重做回归验证 | 接口版本号随落地批次记录 |
| 业务相关 | 数据分级规则、字段加密策略、数据集登记项、审核流程节点 | 平台内可维护 | 招标方业务责任人确认 | 按策略版本回退 | 策略版本随数据卡记录 |
表 2-5 配置项分类与变更控制。数据来源:招标文件 3.1.2.2.2 开放性要求、3.1.2.2.1 基本要求、第五章配合义务条款、第四章配合义务条款。
安装按自下而上的顺序执行,每一层安装完成即做本层健康检查,检查不通过不进入下一层。健康检查项同时纳入日常巡检,巡检脚本随集成运维手册交付。
逐层设卡的理由是故障能否定位。由设备、网络、系统软件、密码服务到平台组件层层叠起的栈,若到了上层才发现异常,难以分清是本层配置有误还是下层条件本就不成立;每层设一道检查,则把失效锁定在它产生的那一层,责任落点也随之清楚。表 2-6 按依赖关系自下而上列十一层:「前置条件」一列是进入该层的门槛,「健康检查项」一列是须留证的动作,「通过判据」一列是判定,末列是不通过时的退路。
判据的取值有三路来由。双路供电、带外可达、备份可恢复取自可靠性要求与运行要求;版本、分区挂载、内核参数与资源配额以 2.2.2 的版本矩阵为准,判据即「与矩阵一致」,不另立标准;权限收敛、端口最小化、日志外送按安全加固的通行工程口径。其中第七层与第十一层最关键:前者证明密码服务与密码机之间的加解密往返可用,是其后全部涉密数据流的前提;后者以一条样例数据集走完自投递至对外交付的全链路,是整栈能否交付的综合判定。
安装完成度按三段式把握:首期基线为十一层逐层留有检查记录、关键层的通过判据经招标方现场确认;趋向为检查项逐步转为可重复执行的巡检脚本、日检结果可回溯比对;某一层因现场条件暂不具备而无法当期验证的,记为挂起项、不计入已完成层数,并在《硬件安装调试完成确认单》中单列其验证时限。
| 序 | 安装层次 | 前置条件 | 健康检查项 | 通过判据 | 不通过时的处理 |
|---|---|---|---|---|---|
| 1 | 设备上架与供电 | 到货验收通过、机位与供电确认 | 双路供电分别断电测试、带外管理可达 | 单路断电业务不中断 | 整改供电路由后复测 |
| 2 | 网络接入 | 交换机端口与策略已开通 | 端口状态、链路带宽、分区策略生效 | 按 3.2 的分区策略逐条验证通过 | 提交策略申请并跟踪 |
| 3 | 时间同步 | 时间源地址已确定 | 各节点与设备对时偏差 | 偏差在基线约定范围内 | 重新对时并校正历史数据 |
| 4 | 操作系统 | 正版许可到位 | 版本、分区挂载、内核参数、服务自检 | 与版本矩阵一致 | 按基线重做安装 |
| 5 | 数据库 | 操作系统检查通过、正版许可到位 | 实例状态、字符集、归档、备份恢复演练 | 备份可恢复 | 调整初始化参数后重做 |
| 6 | 中间件与运行时 | 数据库检查通过 | 组件自检、资源配额、镜像仓库连通 | 配额生效、镜像可拉取 | 核对版本矩阵后重装 |
| 7 | 密码服务与密码机对接 | 密码机调试完成(见 2.5) | 接口函数连通、加解密往返 | 往返结果与原文一致 | 排查密钥标识与算法参数 |
| 8 | 平台组件 | 上述各层检查通过 | 各模块健康检查、服务注册、依赖探活 | 全部模块健康 | 按模块定位并整改 |
| 9 | 单元间连通 | 平台组件健康 | 加工侧与运营侧双向通道、三台连接器互访 | 按契约通过 | 核对配置项与网络策略 |
| 10 | 安全加固 | 单元间连通通过 | 账号权限收敛、端口最小化、日志外送、补丁 | 高危项清零 | 中低危项出具处置说明 |
| 11 | 端到端自检 | 以上全部通过 | 一条样例数据集自投递至对外交付的全链路 | 全链路通过且审计记录完整 | 逐段定位后复测 |
表 2-6 安装顺序与健康检查。数据来源:招标文件 3.2.5、3.1.2.2.5 运行要求、3.1.2.2.4 可靠性要求、第四章付款条件。
本项所开发软件之间的接口与源系统接口同样需要契约。加工生产平台、专项智能工具链、数据治理管控与运营服务管理平台四者之间的接口按下表固化,接口清单随《接口台账》交付。
| 接口类别 | 接口清单 | 调用方向 | 字段与时序要点 | 鉴权与限流 | 幂等与失败补偿 | 审计 |
|---|---|---|---|---|---|---|
| 加工生产平台与工具链 | 任务下发、样本领取、结果回写、置信度与人工介入回写、血缘写入 | 平台调用工具链,工具链回写平台 | 任务标识、样本批次、工具链版本、参数快照、结果与置信度;按任务编排时序串行或并行 | 服务账号按接口粒度授权;按任务并发上限限流 | 幂等键为任务标识+样本批次;失败任务按批重投,结果以最后成功版本为准 | 每次任务记录工具链版本与参数快照 |
| 加工生产平台与治理管控 | 质检门控调用、质量指标回传、错样归因回流、标准与规则下发 | 双向 | 门控规则标识与版本、指标项与取值、归因结论与回流目标环节 | 服务账号授权;门控调用同步、指标回传异步 | 幂等键为批次标识+规则版本;门控失败批次不进入下一环节 | 门控结论与规则版本随批次留存 |
| 加工生产平台与运营平台 | 数据集投递、元数据同步、版本与状态同步、下架与撤回 | 加工侧推送,运营侧回执 | 数据集标识、版本、分级、密钥标识、元数据公开与受控两部分 | 服务账号授权;投递按并发与单包体积限流 | 幂等键为数据集标识+版本;回执缺失的按幂等键重投 | 投递与回执全量记录,进数据卡 |
| 运营平台与存证及对外 | 登记注册、确权存证、挂牌展示、对外接口发布、交付与下载、对接适配 | 运营侧对外 | 登记项、存证哈希与算法、交付包标识与授权范围 | 对外接口按鉴权与限流配置 | 幂等键为交付单号;交付失败按断点续传重试 | 交付与审计记录落第三台连接器 |
表 2-7 平台、工具链、治理与运营侧的内部接口规格。数据来源:招标文件 3.2.1 服务采购清单、3.2.4.7 对外接口要求、3.2.5、3.3.1 接入连接器功能要求。
现场约束决定安装方式。 招标文件 3.1.2.2.5 运行要求规定系统基于正版操作系统与数据库管理系统部署,正版许可由投标方提供,不允许使用免费版数据库管理系统部署核心系统;支持本地化与私有云部署,支持物理机与虚拟化等多种部署方式;3.1.2.2.7 国产化要求支持国产服务器、CPU、国产操作系统与国产数据库。
本方案据此采取「物理机 + 容器化应用」的部署形态:数据库与密码调用相关组件以物理机本地部署保证性能与可审计性,加工链路的计算组件以容器方式部署便于扩缩与版本回滚。这两类组件的边界在部署方案中固化,不混放。
适配的实质内容不是装软件,而是在国产软硬件栈上把性能与兼容性调到可用。 在国产处理器架构上,加工链路中的文档解析、图像解码、向量计算三类负载对指令集与数学库敏感,直接沿用通用构建往往可以运行但性能不足。
我方的适配工作按三步推进:第一步做组件级兼容性验证,逐个组件在目标操作系统与处理器架构上跑通并记录版本矩阵;第二步做性能基线测量,用本项目真实样本(工艺卡 PDF、DWG 图纸、热成像帧序列各取一批)测量单位时间处理量,与我方在通用架构上的参考值比较,找出需要替换实现的组件;第三步做针对性优化,包括重编译关键库、调整线程与内存参数、必要时替换为对目标架构有原生支持的实现。三步的产出是一份《国产化栈适配报告》,含版本矩阵、性能基线与优化前后对比,列入交付文档。
安装与适配的工作分解。 下表按工序给出步骤、输入、产出与判据。表中「判据」一列是双方签字确认的依据,不通过的步骤不进入下一步。
| 序 | 步骤 | 输入 | 主要动作 | 产出 | 通过判据 |
|---|---|---|---|---|---|
| 1 | 到场验收 | 服务器与配件、装箱清单 | 开箱、清点、外观与序列号核对、通电自检 | 到货验收记录 | 清单一致、自检无硬件告警 |
| 2 | 固件与基础配置 | 厂商固件包、基线要求 | 固件版本统一、磁盘阵列配置、带外管理启用 | 固件与阵列配置单 | 版本一致、阵列状态正常 |
| 3 | 操作系统安装 | 正版国产操作系统介质与许可 | 安装、分区挂载、内核参数、时区与时间同步 | 操作系统安装记录 | 对时偏差在约定范围、分区符合基线 |
| 4 | 数据库部署 | 正版国产数据库介质与许可 | 安装、实例初始化、字符集与归档配置、备份策略 | 数据库部署记录 | 实例可用、备份可恢复演练通过 |
| 5 | 中间件与运行时 | 中间件介质、容器运行时 | 安装、资源配额、镜像仓库对接 | 中间件部署记录 | 组件自检通过、配额生效 |
| 6 | 平台组件安装 | 加工生产平台安装包 | 按模块安装、配置文件生成、服务注册 | 平台安装记录 | 各模块健康检查通过 |
| 7 | 兼容性验证 | 版本矩阵模板 | 逐组件在目标架构上功能验证 | 国产化栈适配报告(上) | 组件清单无阻塞项,受限项有替代方案 |
| 8 | 性能基线测量 | 本项目真实样本批 | 文档解析、图像解码、向量计算三类负载实测 | 国产化栈适配报告(下) | 达到部署基线约定的处理量下限 |
| 9 | 安全加固 | 加固基线清单 | 账号与权限收敛、端口最小化、日志外送、补丁 | 安全加固记录 | 高危项清零,中低危项有处置说明 |
| 10 | 密码服务对接 | 密码机接口信息 | 调用链配置、密钥标识分配、连通验证 | 密码对接记录 | 加解密往返测试通过(详见 1.9 与 2.5) |
| 11 | 与运营平台连通 | 连接器部署信息 | 数据集交付与元数据同步通道配置 | 连通测试记录 | 双向通道按契约通过 |
| 12 | 安装调试确认 | 以上全部记录 | 汇总、整改闭环、双方复核 | 《硬件安装调试完成确认单》附件 | 招标方签字确认 |
表 2-8 通用服务器上数据集加工生产平台的安装与适配工作分解。数据来源:招标文件 3.1.2.2.5 运行要求、3.1.2.2.7 国产化要求、3.2.5、第四章付款条件中关于《硬件安装调试完成确认单》《软件试运行确认单》的规定。
表中第 12 步对应第四章付款方式中第二次付款所需的《硬件安装调试完成确认单》与《软件试运行确认单》,我方按此口径组织材料,使集成成果与合同节点对齐。
三台连接器的角色划分。 招标文件采购清单给出接入连接器三台,并列明其须适配的功能要求:数据接入、数据资源、数据登记、数据接口、数据交付、审核管理、系统日志、日志分析、日志审计、身份管理、配置中心、区块链存证、运行监测管理、访问控制。三台设备不作等同部署,本方案按职责分离的原则划分:
第一台承担接入与资源侧职责,运行数据接入、数据资源、数据登记、配置中心四组功能,是数据集从加工侧进入运营侧的入口; 第二台承担交付与审核侧职责,运行数据接口、数据交付、审核管理、访问控制四组功能,是数据集对外交付的出口; 第三台承担审计与存证侧职责,运行系统日志、日志分析、日志审计、区块链存证、运行监测管理五组功能,并对前两台形成独立的审计视角。
这样划分的理由有两条。一是审计与被审计分离:如果审计日志与业务功能部署在同一台设备上,日志的独立性在商用密码应用安全性评估与等级保护测评中都会被质疑。二是入口与出口分离:数据集进入与对外交付走不同设备、不同账号体系,使越权交付在物理上多一道障碍。三台设备的网络策略按角色分别配置,仅开放必要端口。
连接器功能与运营平台模块的落位关系。 招标文件 3.2.1 服务采购清单列出数据集运营服务管理平台的十六个功能模块,3.2.4 又按六组功能要求展开。连接器上的十四项适配功能与平台模块不是一一对应关系,而是「平台模块的对外部分落在连接器上」。下表给出落位关系,平台模块本身的功能、界面与流程由运营平台章节详述。
| 连接器适配功能 | 对应平台模块 | 部署设备 | 本项目负责的集成工作 |
|---|---|---|---|
| 数据接入 | 数据集上传、数据集动态更新 | 第一台 | 与加工生产平台之间的数据集投递通道与校验 |
| 数据资源 | 数据集目录、数据集元数据 | 第一台 | 元数据同步通道与加解密调用配置 |
| 数据登记 | 登记注册、数据集确权 | 第一台 | 登记信息结构与存证接口对接 |
| 配置中心 | 平台配置 | 第一台 | 配置项集中管理与变更留痕 |
| 数据接口 | 对外接口 | 第二台 | 对外接口发布、限流与鉴权配置 |
| 数据交付 | 数据集下载、数据集服务、数据集检索与预览 | 第二台 | 交付通道、断点续传、交付包加密配置 |
| 审核管理 | 交易合同管理、交易费用管理 | 第二台 | 审核流程节点与状态回写配置 |
| 访问控制 | 数据集权限管理 | 第二台 | 角色与权限模型落地、最小权限核查 |
| 系统日志 | 全流程审计管理 | 第三台 | 日志采集范围与格式统一 |
| 日志分析 | 全流程审计管理 | 第三台 | 分析规则与告警阈值配置 |
| 日志审计 | 全流程审计管理 | 第三台 | 三员分离的审计账号配置 |
| 区块链存证 | 数据集确权、数据集挂牌展示 | 第三台 | 存证上链字段、哈希算法与验证接口 |
| 运行监测管理 | 平台服务与 SLA 保障 | 第三台 | 监测指标采集与服务质量报告生成 |
| 身份管理 | 数据集权限管理 | 三台共用 | 统一身份与双因素认证对接 |
表 2-9 接入连接器适配功能与运营平台模块的落位关系。数据来源:招标文件 3.3.1 硬件采购清单接入连接器功能要求、3.2.1 服务采购清单运营平台模块清单、3.2.4.7 对外接口要求、3.1.2.1 身份认证要求。
连接器的安装与适配步骤与通用服务器同构,差别在三处:一是三台设备需按角色分别安装不同的功能组件集,安装前先完成角色分配确认;二是区块链存证功能需与存证服务建立信任关系,涉及证书与节点配置,这一步单独验证;三是三台之间需做故障接管验证——第二台(交付出口)故障时,对外交付能力按降级口径由第一台临时承担只读交付,交付审计仍由第三台记录。降级演练作为安装适配的收尾动作执行一次并记录。
与国家数据基础设施对接的接口预留。 招标文件 3.2.4.7 要求支持与国家数据基础设施的对接能力,按其接入规范预留统一目录标识登记、统一身份注册与标准接口互联互通的对接接口,并视其开放进度支持数据集标识的注册与解析对接。
本方案在第二台连接器上以独立的对接适配模块实现这一预留:接口按目录标识登记、身份注册、标识注册与解析三组定义,当前以本地模拟端点完成自测,并保留配置化的目标端点地址与协议参数。国家数据基础设施相关规范发布或开放后,按配置切换至真实端点并重新联调,不需改动平台内部结构。这一安排使「预留」是可验证的而不是声明式的:自测报告与配置项清单列入交付文档。
调试不等于「装上驱动能调通」。招标文件给出的密码机性能指标是明确的量值,调试工作须证明在本项目的实际调用形态下这些能力被正确用上,且平台的性能指标没有因此被破坏。本方案把调试分为五组。
第一组:设备与接口连通调试。 完成密码机机架安装、双电源接入、网口配置(4 电口 + 4 光口按管理面与业务面分离配置)、管理员与操作员账号开立、三员分离配置。随后以厂商提供的接口库完成最小调用验证,逐一验证《密码设备应用接口规范》中本项目使用到的接口函数。产出为《密码机安装与接口连通记录》。
第二组:算法符合性调试。 对 SM2、SM3、SM4 三类算法逐一做标准向量验证:使用国家标准给出的测试向量,验证密码机输出与标准值一致;对 SM2 签名验签做正反向验证(正确签名验签通过、篡改后验签失败);对 SM4 验证 ECB、CBC、OFB 三种模式与填充方式一致性;对 SM9 与 SM1 按实际启用范围验证。
另对国际算法 RSA2048/RSA4096 与 AES、3DES、SHA256/384/512 做可用性验证,作为兼容性储备而非主用路径。产出为《算法符合性测试记录》,含测试向量、预期值与实测值对照。
第三组:性能与并发调试。 按采购参数逐项实测并与标称值比对:SM2 密钥对生成、签名、验签速率,SM3 与 SM4 吞吐,SM1 吞吐。实测在两种条件下各做一轮:空载条件下的峰值能力,以及与平台真实负载叠加条件下的可用能力。第二轮更重要——它回答的是「加密之后平台还能不能达到承诺的响应时间」。
对照的指标是招标文件 3.1.2.2.6 性能要求中的登录响应时间、简单与复杂页面操作响应时间以及 3.1.2.2.5 的页面与报表响应时间,验证加解密引入的额外时延在这些指标的余量之内。超出余量时的处理顺序是:先调整批量与并发参数,再对高频小字段改用本地缓存解密结果(缓存不落盘、设置生存期),仍不满足时将该字段的加密策略由字段级改为表级或改为脱敏存储,策略变更须经招标方确认并记入字段策略表。
第四组:高可用与降级调试。 本项目采购密码机一台,单设备即为单点。招标文件 3.1.2.1 要求密码服务具备负载与调度能力,通过虚拟密码网关实现动态调度,防止密码服务单点故障导致应用瘫痪。
本方案在密码服务层实现三档降级:一档为连接级重试与会话重建,应对瞬时抖动;二档为队列缓冲,密码机不可用期间对非实时的批量加密任务入队等待,对实时读取请求返回明确的业务提示而不是超时;三档为预留第二台密码机的接入位,密码服务层以配置方式支持多设备分组与调度,招标方后续增配设备时无需改动业务代码。降级演练作为调试的必做项执行并记录,演练内容包括拔网线、关闭服务、模拟超时三种情形下的平台表现与恢复时间。
需要讲清的是本方案在此处的边界:一台密码机的硬件冗余仅限设备内部的冗余电源,设备级冗余需要第二台设备。本方案通过软件侧的降级与接入位预留把单点故障的影响从「平台瘫痪」降到「批量任务延迟、实时解密受限」,并在交付文档中写明这一限制与补强建议,由招标方决定是否增配。
第五组:兼容性与证明材料核验。 招标文件要求密码产品支持与国产化操作系统、CPU、数据库、中间件适配兼容并提供兼容性互认证明材料,支持针对不同厂商密码机设备的集成并提供不少于三家厂商密码设备的互认证明材料,且须具有国家密码管理局颁发的《商用密码产品认证证书》。
本方案在调试阶段同步核验这些材料是否齐备、是否在有效期内、覆盖的产品型号是否与到场设备一致,核验结果列入《密码合规材料核验表》。材料清单、提交时点与两次核验的口径见 2.5.3。
密码机「装上能调通」不构成验收结论。2.5.1 的五组工作要能被逐条判定,须把每一项拆到有方法、有判据、有不通过时的去向,否则调试记录只是过程留痕,不足以支撑验收单的签署。表 2-10 即把五组工作展开为可逐条签认的二十个调试项,「组」一列与 2.5.1 的五组一一对应。
判据的取值分三路。一、二组取自国家标准给出的算法测试向量与《密码设备应用接口规范》的函数集,是对错分明的符合性判定,没有容差可言。三组取自采购参数标称值与平台响应时间指标:前者判设备本身是否达标,后者判加解密引入的时延是否侵蚀了平台的性能余量,后一问比前一问更要紧。五组的判据是材料份数与覆盖型号,取自招标文件相应条款的条款。
读表时,「通过判据」一列是验收签认的依据,「不通过时的处理」一列同时划分责任:写明由供货方处理或更换型号的属货不对板,写明调整参数、完善分支的属我方整改。三组的叠加负载一行与四组的设备不可用降级一行最关键——前者决定加密之后平台还能否兑现响应时间,后者决定单台密码机的单点风险是否已由软件侧兜住。
调试结论按三段式把握:首期基线为一、二、五组逐项通过,三、四组在空载与叠加负载两种条件下均留有实测记录;趋向为叠加负载条件下的平台响应时间稳定落在指标余量之内;余量不足时按 2.5.1 第三组所列顺序先调批量与并发、再调字段加密策略,策略变更报招标方确认并记入字段策略表,受影响字段的加密强度变化在交付文档中写明。
| 组 | 调试项 | 方法 | 通过判据 | 不通过时的处理 |
|---|---|---|---|---|
| 一 | 机架安装与供电 | 上架、双路供电、带外管理 | 双电源分别断电均不中断服务 | 整改供电路由后复测 |
| 一 | 网口与面分离 | 管理面与业务面分网段配置 | 管理面不可从业务网段访问 | 调整网络策略后复测 |
| 一 | 三员分离 | 管理员、操作员、审计员分账号 | 任一角色无法单独完成敏感操作 | 重配权限矩阵 |
| 一 | 接口函数连通 | 按 GM/T 0018-2012 逐函数调用 | 本项目使用的函数全部返回正常 | 升级接口库或调整调用方式 |
| 二 | SM2 标准向量 | 国标测试向量比对 | 输出与标准值一致 | 联系供货方更换固件版本 |
| 二 | SM2 签名验签 | 正反向验证 | 正确签名通过、篡改后拒绝 | 排查摘要与编码口径 |
| 二 | SM3 标准向量 | 国标测试向量比对 | 输出与标准值一致 | 同上 |
| 二 | SM4 多模式 | ECB / CBC / OFB 与填充一致性 | 各模式加解密往返一致 | 统一填充与初始向量口径 |
| 二 | SM9 与 SM1 | 按启用范围验证 | 启用功能可用 | 记录未启用范围并说明 |
| 二 | 国际算法兼容 | RSA、AES、3DES、SHA 系列可用性 | 可调用且结果正确 | 列入受限项 |
| 三 | 空载性能 | 按标称指标逐项压测 | 不低于采购参数标称值 | 由供货方处理 |
| 三 | 叠加负载性能 | 与平台真实负载同时运行 | 平台响应时间仍在招标文件相应条款指标内 | 按 2.5.1 第三组所列顺序调整策略 |
| 三 | 大文件加密吞吐 | 以本项目数据集样本批实测 | 单批加密耗时在批处理窗口内 | 调整分片大小与并发度 |
| 四 | 连接抖动恢复 | 模拟网络超时与会话中断 | 自动重试后业务无感 | 调整重试与超时参数 |
| 四 | 设备不可用降级 | 停止密码机服务 | 批量任务入队、实时请求返回明确提示 | 完善降级分支 |
| 四 | 恢复后续跑 | 恢复设备服务 | 队列任务自动续跑、无重复无丢失 | 补齐幂等与断点逻辑 |
| 四 | 多设备调度预留 | 配置虚拟分组(单设备情形下验证配置可生效) | 配置项生效、扩容无需改代码 | 补齐配置项 |
| 五 | 兼容性互认材料 | 核验操作系统、CPU、数据库、中间件各类材料份数 | 份数与覆盖型号满足招标文件相应条款 | 由供货方补齐 |
| 五 | 多厂商互认材料 | 核验不少于三家密码设备互认材料 | 满足招标文件相应条款 | 由供货方补齐 |
| 五 | 商用密码产品认证证书 | 核验证书真实性与有效期 | 满足招标文件相应条款 | 更换合规型号 |
表 2-10 国密算法调试项与验收判据。数据来源:招标文件 3.1.2.1 密码应用服务要求、3.1.2.2.5/3.1.2.2.6 性能要求、3.3.1 服务器密码机技术参数、3.2.5。
招标文件要求密码产品支持与国产化操作系统、中央处理器、数据库、中间件适配兼容并提供兼容性互认证明材料,支持针对不同厂商密码机设备的集成并提供不少于三家厂商密码设备的互认证明材料,且须具有国家密码管理局颁发的《商用密码产品认证证书》。这三类材料是投标阶段即须提供的证明件,不是调试阶段才核验的现场事项。
本方案的处理是一套材料、三处引用、两次核验。材料由硬件配置一节的选型确认与安全方案一节的密码合规两处共同依据的同一份清单构成:《商用密码产品认证证书》按认证证书载明的型号提交,不以同系列产品替代;兼容性互认证明按操作系统、中央处理器、数据库、中间件四类各不少于三份提交,按从严口径执行;多厂商密码设备互认证明不少于三家。本节不另立清单,引用同一份材料,使三章的型号、证书编号与有效期口径一致。
两次核验的时点与责任如下。第一次在投标阶段:证明材料随技术文件提交,证书编号、出具方、出具日期与覆盖型号在提交前逐份核对,核对结论记入《密码合规材料核验表》。第二次在到货与调试阶段:到场设备的实际型号、序列号与证书载明型号逐台比对,证书有效期与项目建设期的覆盖关系复核一次,兼容性互认材料覆盖的软硬件型号与现场实配环境逐项比对,比对结论回写同一张核验表。
| 材料 | 提交时点 | 第一次核验(投标阶段) | 第二次核验(到货与调试阶段) | 不一致时的处理 |
|---|---|---|---|---|
| 《商用密码产品认证证书》 | 随技术文件提交 | 证书编号、出具方、认证范围与有效期逐项核对 | 与到场设备型号、序列号逐台比对 | 更换为证书覆盖的合规型号,不以同系列替代 |
| 操作系统兼容性互认证明 | 同上 | 份数与覆盖型号核对,按不少于三份执行 | 与现场实配操作系统版本比对 | 由供货渠道补齐,缺项不进入适配结论 |
| 中央处理器兼容性互认证明 | 同上 | 同上 | 与现场实配处理器架构比对 | 同上 |
| 数据库兼容性互认证明 | 同上 | 同上 | 与现场实配数据库版本比对 | 同上 |
| 中间件兼容性互认证明 | 同上 | 同上 | 与现场实配中间件版本比对 | 同上 |
| 多厂商密码设备互认证明 | 同上 | 厂商家数与设备型号核对,不少于三家 | 与密码服务层的多设备调度配置比对 | 同上 |
表 2-11 密码认证、兼容与型号证明材料的提交与两次核验。数据来源:招标文件 3.1.2.1 密码应用服务要求、3.3.1 服务器密码机技术参数、3.3.2 硬件配套技术服务要求。材料与硬件配置一节的选型确认、安全方案一节的密码合规取同一份清单与同一口径。
本项目采购并需完成网络连接与适配的硬件分两类。第一类是机房侧设备:通用服务器、三台接入连接器、一台服务器密码机。第二类是现场侧设备:熔池相机十五台、在线高温热成像设备六台、在线热成像设备二十一台,共四十二台。
两类设备的接入特征差别很大,不能用一套方案覆盖。机房侧设备数量少、位置集中、带宽需求大、要求管理面与业务面分离;现场侧设备数量多、分散在焊接产线与热处理车间、工作环境温度范围宽(熔池相机工作温度 -10℃~60℃,防护等级不低于 IP65)、接口形态多样(千兆以太网或 PoE 供电,部分设备同时具备 RJ45 网口与 RS485 工业通讯接口)。
现场侧设备的部署位置由业务决定:在线高温热成像设备用于热处理加热过程测温与拍照,每台淬火机床配两台,共六台;在线热成像设备用于热处理淬火后温度测量与焊接前温度测量,每台淬火机床两台共六台,焊接前温度测量每个焊接机器人配一台共十五台;熔池相机十五台布置在焊接工位用于观察电弧、熔池、焊丝与坡口边缘。因此现场接入点位的确定必须与设备安装点位同步进行,不能先定网络再找位置。
点位勘察与接入点位表。 设备到场前完成一轮现场勘察,逐台确定安装位置、就近可用的接入交换机与端口、供电方式(PoE 或独立供电)、线缆走向与长度、是否需要防护管槽与支架。勘察结果形成《设备接入点位表》,每行一台设备,列明设备编号、安装位置、接入交换机与端口、供电方式、线缆规格与长度、辅材清单、责任方。
这张表是与招标方网络管理部门确认责任分界的依据,也是辅材采购的依据——招标文件要求我方提供全套安装辅材、支架、线缆及配套配件,辅材数量就按此表核定。
| 设备 | 数量 | 接口形态 | 供电方式 | 采集模式 | 带宽测算口径 | 时间同步方式 |
|---|---|---|---|---|---|---|
| 熔池相机 | 15 台 | 千兆以太网 / PoE | PoE 优先,不足则独立供电 | 外触发同步,按工位开工信号启停 | 按分辨率 ≥1280×960、帧频 ≥50 fps 与压缩比估算单台峰值,按同时作业工位上限汇总 | 网络时间同步 + 外触发信号对齐 |
| 在线高温热成像 | 6 台 | RJ45 / RS485 | 独立供电 | 按炉次开炉信号启停 | 按红外分辨率 ≥384×288 全辐射流估算 | 网络时间同步 |
| 在线热成像 | 21 台 | RJ45 / RS485 | 独立供电 | 淬火后与焊接前按节拍触发 | 同上,按触发占空比折算 | 网络时间同步 |
| 通用服务器 | 以招标方供货安排确认的数量为准 | 多网口 | 机房双路市电 | 常时在线 | 按加工链路批量取数与数据集投递峰值估算 | 网络时间同步 |
| 接入连接器 | 3 台 | 多网口 | 双冗余热插拔电源 | 常时在线 | 按对外交付并发与审计日志流量估算 | 网络时间同步 |
| 服务器密码机 | 1 台 | 4 电口 + 4 光口 | 冗余电源 | 常时在线 | 按加解密调用速率与报文大小估算 | 网络时间同步 |
表 2-12 硬件网络接入与带宽测算口径。数据来源:招标文件 3.3.1 硬件采购清单技术参数与数量、3.2.5、3.4。通用服务器数量以招标方供货安排为准。
安装、接线、调试与校准。 这部分工作由我方驻场人员执行,内容包括支架安装与角度调整、线缆敷设与标识、网口与供电接入、设备上电与参数配置、取流验证、校准与联调。其中校准对两类设备的要求不同:熔池相机需完成窄带滤光或主动近红外照明条件下的成像校准,使电弧、熔池、焊丝、坡口边缘在同屏可辨;热成像设备需完成发射率、反射温度、大气透过率三项参数补偿设置,并按测温精度要求(±2℃ 或 ±2% 读数取较大值)做校准核验。校准结果逐台记录,形成《设备安装校准记录》。
招标文件要求熔池相机须提供可直接获取带时间戳原始帧的软件开发工具包,在线高温热成像与在线热成像设备须支持通过软件开发工具包读取每个像素的原始温度数据,并支持 ModbusRTU/TCP 等协议输出,具备超温报警输出能力与 RJ45、RS485 等工业通讯接口。设备侧的接口规格按下表固化,逐台在取流验证时实测取值,未经实测的能力不写入接口台账。
| 规格项 | 熔池相机 | 在线高温热成像 | 在线热成像 |
|---|---|---|---|
| 接口清单 | 取流接口、外触发同步接口、参数配置接口、状态与心跳接口 | 取流接口、逐像素温度读取接口、测温区域配置接口、超温报警输出、状态与心跳接口 | 同左 |
| 字段映射 | 帧序号、帧时间戳、分辨率、曝光与增益参数、工位编号 | 帧时间戳、逐像素温度矩阵、发射率与反射温度与大气透过率参数、测温点线区域读数、炉台编号 | 同左,另含焊前测温工位编号 |
| 调用时序 | 工位开工信号触发采集,按外触发同步取帧,停工信号停止 | 炉次开炉信号触发采集,按炉次时间窗取帧,完工信号停止 | 淬火后与焊接前按生产节拍触发 |
| 鉴权 | 设备接入账号,按设备与工位范围限定 | 同左,按炉台范围限定 | 同左 |
| 限流 | 按采集节点的并发取流路数与本地缓存容量设定 | 同左 | 同左 |
| 幂等 | 幂等键为设备编号+帧时间戳;重复帧按键去重 | 幂等键为设备编号+帧时间戳;重复读数保留最后值 | 同左 |
| 失败补偿 | 断网期间本地缓存,恢复后按帧时间戳批量回传,不覆盖已回传帧 | 同左 | 同左 |
| 审计 | 取流记录含设备编号、工位、时间窗、帧数、缺帧数 | 另含炉次号与超温报警次数 | 另含触发次数与占空比 |
| 验证口径 | 实测取到带时间戳原始帧,帧率与分辨率达到技术参数要求 | 实测读到逐像素原始温度数据,测温点线区域数量达到要求 | 同左 |
表 2-13 感知检测设备的接口规格与验证口径。数据来源:招标文件 3.3.1 硬件采购清单技术参数、3.2.5。
取流验证是现场设备数据能否进入数据集加工链路的实际关口:在采集节点上完成工具包集成后,逐台验证能够取到带时间戳的原始帧与逐像素温度数据,验证超温报警输出可被采集节点接收,验证外触发同步在实际生产节拍下不丢帧。验证不通过的设备不计入可用设备清单,整改后复测。验证结论连同实测帧率、缺帧率与对时偏差记入设备台账,与质保起算依据一并移交。
招标文件对硬件的质保要求是整机质保期不少于十二个月,服务器密码机须提供安装调试服务,其余四类设备须提供全套安装辅材、支架、线缆及配套配件,并负责现场安装、接线、调试、校准与系统联调。本项集成工作与质保条款的衔接点有三处:
一是安装记录即质保起算依据。每台设备的安装校准记录含到场日期、安装日期、调试通过日期与序列号,质保期按招标方确认的验收日期起算,记录随设备台账一并移交。
二是辅材清单随点位表核定并一次性交付。辅材不作消耗性补充承诺之外的二次计费,清单与实物在终验时清点。
三是联调责任到设备级。单台设备的联调通过判据是:网络可达、工具包取流正常、时间同步偏差在约定范围、校准参数生效、数据能够进入落地区并通过对账。未通过的设备不计入交付数量,整改后复测。
设备的具体型号、技术参数与质保商务条款由硬件选型与配置一节给出。
招标文件 3.1.2.2.1 基本要求规定,涉及的第三方软件必须有原厂授权、无产权纠纷,投标方须提供原厂正版软件授权书与售后服务承诺书;系统所有功能必须经招标方评审通过后才能上线,评审不通过须及时整改且不影响整体进度。
这两条在安装适配阶段的落实方式是:操作系统、数据库、中间件及平台组件的授权材料在平台安装启动前一次性提交并登记;每一个模块在健康检查通过后进入招标方的功能评审,评审意见以问题清单形式管理,逐条整改、逐条回签,整改期间不占用后续阶段的既有工期,由我方自行加派人力消化。
招标文件另规定,在招标方进行服务器操作系统、数据库管理系统替换时,投标方须无条件配合完成系统迁移和数据切换,招标方不再支付相关费用。本方案为此在安装阶段即做两项准备:一是部署过程全部脚本化与参数化,操作系统与数据库的版本、路径、连接串等环境相关项集中在配置文件中,不散落在代码里;二是数据库访问层与具体数据库产品解耦,不使用无法移植的专有特性。这两项准备使后续迁移的工作量集中在环境适配与数据搬迁,而不是改造应用。
建设周期为合同正式签署后至 2028 年 5 月。
集成工作按四个阶段推进。每个阶段设进入判据与退出判据,退出判据未满足不进入下一阶段,这与招标文件「阶段验收要求:甲方确认无误后方可进入下一阶段」的规定一致。
第一阶段:现场勘察与接口确认。 内容包括十七套系统的现状勘察、通道类型判定、前置条件申请、接口契约编写与评审、现场设备接入点位勘察、网段规划建议提交。进入判据是项目启动会完成、双方接口人确认。退出判据有四项:《集成前置条件申请清单》已提交且招标方已逐项反馈到位时间;十七套系统的《接口契约》已评审通过(契约中允许存在待定项,但待定项须有明确的定稿时限);《设备接入点位表》已双方签字;网段规划建议已提交招标方。
本阶段最关键的不是写文档,而是把「哪些系统的接口文档拿不到」这件事在最早的时间点暴露出来。本方案的做法是在勘察阶段对每一套系统做一次连通性预演:即使接口文档未到位,也先申请一个最小权限账号做一次手工连通测试,确认网络可达、账号可用、数据可见。预演结果形成红黄绿三色清单,红色项立即升级到双方项目负责人,不等到开发阶段才发现连不上。
第二阶段:平台安装适配与单系统连通。 内容包括通用服务器与接入连接器上的平台安装适配(2.3、2.4)、密码机安装与国密调试(2.5)、现场硬件安装与网络接入(2.6)、主数据管理平台接入与对象标识映射建立、其余十六套系统逐套点对点连通。进入判据是第一阶段退出判据满足、硬件到场。退出判据是:平台各模块健康检查通过并经招标方功能评审;国密调试验收单各项通过;四十二台现场设备逐台联调通过;十七套系统各自至少一个接口完成端到端取数并通过对账。
本阶段的排期受两个硬约束控制。一是低峰窗口:首次全量取数只能在零点至五点的窗口内进行(等十六处),按每窗口五小时计,十七套系统不可能并发压上,必须排队。二是主数据优先:主数据管理平台的接入与对象标识映射须先于其他系统的大批量取数完成,否则落地数据无法归一。
本方案据此把本阶段细分为四个批次:第一批为主数据管理平台与 EAM(编码与设备基准);第二批为 PLM、MES、QMS(工艺与制造主线);第三批为 ERP、SCM、WMS、LMS、CRM、久其系统(经营与供应链);第四批为 SCADA、EMS、热处理群控、SOS、OA、安全监管平台(时序与文档)。批次之间允许重叠,但每批的首次全量取数窗口不重叠。
第三阶段:批量接入与集成联调。 内容包括各系统全量与增量取数的常态化运行、对象标识映射的扩展与核对、时间基准对齐验证、加解密策略的全链路验证、运营服务管理平台的对外交付通道联调、与国家数据基础设施对接接口的自测。进入判据是第二阶段退出判据满足。退出判据是:十七套系统的全部接口按契约投入运行且连续七日对账通过;施工号串联核对达到约定基线;时间对齐误差在约定范围;加解密往返测试与性能叠加测试通过;交付通道完成一次完整的数据集交付演练。
第四阶段:试运行与终验支撑。 内容包括集成链路的稳定性观察、问题项整改闭环、交付文档定稿、集成类交付物移交、终验材料准备。进入判据是第三阶段退出判据满足。退出判据是《软件试运行确认单》与《硬件安装调试完成确认单》经招标方签字,所有问题项整改验收合格,终验收报告中与集成相关的内容经双方确认。
2-2 集成实施四阶段与关键里程碑
图 2-2 集成实施四阶段与关键里程碑。数据来源:招标文件第 4 章项目建设周期、3.2.2.1 各子条低峰时段要求(等)、评分表项目实施计划要求、阶段验收要求、第四章付款条件。
阶段验收要判定的是「这个阶段是否已经完成」,判定依据不能是工作汇报,只能是交得出手、可被签收的实物。表 2-14 因此把 2.8.1 四个阶段的退出判据逐条折算为交付物:退出判据说《接口契约》已评审通过,对应的便是第一阶段那一行的接口契约及其附带的字段映射表、增量方式与对账规则。
清单的构成有三类来由。挂在付款与验收节点上的,取自第四章付款条件与阶段验收要求,如第四阶段的两份确认单与问题项整改闭环记录;证明某项技术工作确已完成的,来自本阶段各条的工作内容,如国密调试验收单、设备安装校准记录、逐系统连通测试记录;为招标方日后自主运维与二次开发留底的,取自开放性要求,即接口台账与集成运维手册。
读表时,「接收与确认」一列最值得留意:写「签字」的挂在阶段退出或付款节点上,缺一件该阶段即不得退出;写「确认」的是过程件,用于留证与追溯。「形式」一列标为「文档 + 平台」的接口台账是其中唯一一件既在平台内可维护、又须出具加盖公章导出版本的交付物,因为它同时承担运行态查询与合同态证明两重用途。
交付节奏按三段式把握:首期基线为每一阶段的交付物在该阶段退出评审前提交、签字件逐件取得;趋向为交付物随工作完成即入库登记,阶段末只做汇总核对而非集中补写;因招标方侧前置条件未到位而确实无法完成的交付物,不以形式件替代,在阶段退出评审中单列并约定补交时限,未满足退出判据的事项不带入下一阶段。
| 阶段 | 交付物 | 形式 | 接收与确认 |
|---|---|---|---|
| 一 | 集成现状勘察报告(含十七套系统连通性预演红黄绿清单) | 文档 | 双方项目负责人确认 |
| 一 | 集成前置条件申请清单 | 文档 | 招标方逐项反馈到位时间 |
| 一 | 十七套系统接口契约(含字段映射表、增量方式、对账规则) | 文档 | 双方技术负责人评审签署 |
| 一 | 设备接入点位表 | 文档 | 双方现场负责人签字 |
| 一 | 网段与地址规划建议 | 文档 | 招标方网络管理部门确认 |
| 一 | 平台部署基线要求 | 文档 | 招标方确认 |
| 二 | 安装适配方案确认单 | 文档 | 双方签字 |
| 二 | 操作系统 / 数据库 / 中间件 / 平台安装记录 | 文档 | 招标方确认 |
| 二 | 国产化栈适配报告(版本矩阵 + 性能基线) | 文档 | 招标方确认 |
| 二 | 密码机安装与接口连通记录 | 文档 | 招标方确认 |
| 二 | 算法符合性测试记录 | 文档 | 招标方确认 |
| 二 | 国密调试验收单 | 文档 | 招标方签字 |
| 二 | 设备安装校准记录(逐台) | 文档 | 招标方现场确认 |
| 二 | 单系统连通测试记录(逐系统) | 文档 | 双方技术负责人确认 |
| 三 | 集成联调报告(含对账结果、施工号串联核对、时间对齐验证) | 文档 | 招标方确认 |
| 三 | 加解密全链路验证报告(含性能叠加测试) | 文档 | 招标方确认 |
| 三 | 对外交付通道演练记录 | 文档 | 招标方确认 |
| 三 | 国家数据基础设施对接接口自测报告 | 文档 | 招标方确认 |
| 四 | 接口台账(平台内可维护 + 加盖公章的导出版本) | 文档 + 平台 | 招标方接收 |
| 四 | 集成运维手册与二次开发说明 | 文档 | 招标方接收 |
| 四 | 硬件安装调试完成确认单 · 软件试运行确认单 | 文档 | 招标方签字 |
| 四 | 问题项整改闭环记录 | 文档 | 招标方确认 |
表 2-14 集成工作各阶段交付物。数据来源:招标文件 3.1.2.2.2 开放性要求、第四章付款条件、第五章阶段验收要求。
集成工作中必须在现场完成的内容有三类:硬件安装接线与校准、设备侧工具包取流验证、涉及源系统的首次连通与排障。服务地点为宁夏石嘴山市大武口区金工路 1 号,现场作业按招标方的厂区管理规定执行。
本方案对现场工作的组织安排有三点约定。第一,驻场人员的作业内容按《驻场作业计划》逐周提报,经招标方确认后实施,避免临时进场影响生产。第二,涉及生产设备的作业(如焊接工位相机安装、热处理炉台测温设备安装)安排在设备计划停机窗口内,由招标方生产管理部门排定,我方配合;不具备停机窗口的工位按先易后难顺序推进,不强求同步完成。第三,低峰窗口内的取数作业采用远程方式执行、现场留值班联络人的方式,减少夜间现场作业量,但首次连通与异常排障仍安排现场在位。
接口在项目期内会变。源系统升级、字段含义调整、测点增减都会影响已建成的接口。本方案的变更管理口径如下:
接口契约一经双方签署即进入受控状态,任何一方发起变更都走书面变更流程,内容包括变更原因、影响范围(受影响接口与下游数据集)、实施方案与回归验证计划。接口台账记录每一次变更的版本号与生效日期,落地区的批次记录其使用的接口版本,使变更前后的数据可区分。
在第四阶段试运行开始前两周设接口冻结期,冻结期内不接受非阻塞性变更,阻塞性变更经双方项目负责人共同批准后实施并重做回归验证。设冻结期的目的是让试运行观察到的是一个稳定状态的集成链路,而不是一边改一边观察。
集成阶段的数据搬运分两类:一类是源系统历史数据的首次全量迁移与其后的持续增量,另一类是平台自身在版本更替或环境替换时的数据切换。两类都在招标方的生产环境边缘作业,本节把迁移、对账、切换、冻结、备份、回滚与恢复后重放逐项写明,并划定生产环境保护与授权的边界。
全量迁移只在首次接入时执行一次,安排在招标方提供的业务低峰时段内(十六处子条统一举例为零点至五点,等),每个窗口按五小时计。全量作业按主键区间或时间区间分片,每片独立提交并独立记录水位,窗口结束时未完成的片不回滚已完成的片,下一窗口从断点续做。单片的体量按首次实测速率倒推确定,使单片在窗口内必定完成。
增量迁移在全量完成后转入常态化运行,按三档方式之一执行:源系统有时间戳或变更序号的用增量水位;无变更标识但有主键的用主键区间轮转比对;两者都没有的按低峰窗口做全量快照并与上一快照做差分。选择第三档的接口在契约中同时写明全量快照的体量与所需窗口时长。增量作业的调度窗口、并发连接数上限与单批行数上限在接口台账中逐接口取值,避免对源系统造成额外负载。
文件类资产的迁移按指纹先行:先扫描目录生成清单并计算摘要,与落地区已有摘要比对,相同摘要只追加引用记录不重复搬迁;再按批搬迁并在搬迁后重算摘要与源侧比对。历史图纸与工艺卡在不同目录下存在同一文件多副本的情形,按摘要去重可显著减少搬迁量与存储量。
每一个迁移批次执行三类对账中至少两类并约定容差:行数对账比对批次行数与源侧统计;主键对账比对主键集合的差集;校验和对账比对关键字段的聚合值。文件批次另做摘要一致性对账,时序批次另做点数与理论值的缺点率对账。对账不通过的批次不进入加工链路,自动转入待处理队列并通知责任角色。
对账不以「差异率低于某值即通过」为唯一判据:差异必须能够逐条解释,解释不通的差异按缺陷管理流程处理。跨系统的重叠数据域(采购域与库存域)不在迁移阶段抹平差异,两侧都取,差异在落地区显式计算并保留,由双方业务部门裁定权威来源。
| 对账类别 | 适用批次 | 比对口径 | 容差 | 不通过时的处置 |
|---|---|---|---|---|
| 行数对账 | 结构化批次 | 落地行数与源侧同条件统计 | 按接口在契约中取值 | 定位缺失区间并定向补取 |
| 主键对账 | 结构化批次 | 主键集合差集 | 差集为空或可逐条解释 | 逐条排查后补取或登记 |
| 校验和对账 | 含金额、数量、工时等关键字段的批次 | 关键字段聚合值 | 按接口在契约中取值 | 排查类型精度与口径差异 |
| 摘要对账 | 文件批次 | 搬迁前后文件摘要 | 必须完全一致 | 重传该文件 |
| 缺点率对账 | 时序批次 | 实到点数与采样周期乘测点数的理论值 | 按测点在基线中取值 | 定向补取,补不到的标记区间不可用 |
| 串联对账 | 业务链批次 | 施工号、作业时段、炉次三类链条的串连通过率 | 按 1.12 的基线取值 | 补充映射规则,不强行归属 |
表 2-15 迁移批次的一致性对账口径。数据来源:招标文件 3.2.2.1 各子条、3.1.2.2.4 可靠性要求。
涉及平台自身的数据切换(版本更替、环境替换、数据库迁移)按窗口作业,窗口在双方项目周例会上提前两周排定并书面确认。窗口内的作业顺序固定为:停止新批次调度、等待在途批次完成、做切换前备份、执行切换、做切换后校验、恢复调度。窗口时长按演练实测时长的一点五倍预留,超出窗口的按回滚处理而不是延长窗口。
冻结期有两处。一处是接口冻结:在第四阶段试运行开始前两周设接口冻结期,冻结期内不接受非阻塞性变更,阻塞性变更经双方项目负责人共同批准后实施并重做回归验证。另一处是切换冻结:切换窗口开始前二十四小时起,相关单元的配置项与版本冻结,不接受任何变更,使切换面对的是一个确定的状态。
备份在切换之前完成并验证可恢复,不以「有备份文件」为完成标志。回滚的触发条件在窗口开始前写定并经双方确认,触发即执行,不在窗口内临时讨论是否回滚。
| 环节 | 备份内容 | 回滚触发条件 | 回退操作 | 回退后验证 | 责任与确认 |
|---|---|---|---|---|---|
| 数据库版本或实例切换 | 全量备份+归档日志,恢复演练通过 | 切换后校验未通过,或窗口时长超出预留上限 | 停止应用、按备份恢复实例、校验一致性、回切连接配置 | 核心表行数与校验和与切换前一致 | 我方执行,招标方数据库责任人确认 |
| 平台版本发布 | 上一稳定版本镜像与配置快照 | 模块健康检查不通过,或关键业务用例失败 | 按镜像摘要回滚到上一稳定版本,配置同步回退 | 全部模块健康检查通过并重跑关键用例 | 我方执行并留记录 |
| 接口契约变更 | 变更前的契约版本与映射表 | 回归验证未通过,或下游数据集受影响面不可控 | 接口版本回退,受影响批次标记并按原版本重取 | 对账通过且血缘可区分版本 | 双方技术负责人共同确认 |
| 操作系统或数据库替换 | 部署脚本、参数化配置、数据全量备份 | 迁移后数据校验不通过 | 按脚本在原环境重建并恢复数据 | 数据校验与性能基线复测通过 | 按招标文件配合义务执行 |
| 现场设备配置变更 | 设备参数与校准值快照 | 取流验证不通过或测温偏差超限 | 恢复快照参数并重做校准 | 取流与对时验证通过 | 我方驻场执行,现场负责人签字 |
表 2-16 备份、回滚触发条件与回退操作。数据来源:招标文件 3.1.2.2.4 可靠性要求、3.1.2.2.1 上线评审要求、第五章配合义务条款、第四章配合义务条款。
回退或故障恢复之后,中断期间的数据不靠人工补录,按两条路径自动重放。一条是水位重放:按接口的最后已确认水位重新取数,水位之后的批次按幂等键重做,落地结果以幂等键去重,不重复不丢失。另一条是队列重放:中断期间入队的批量加密任务、数据集投递任务与审计采集任务在服务恢复后按入队顺序自动续跑,续跑结果与中断前已完成部分按幂等键合并。
现场设备在断网期间由采集节点本地缓存原始帧与温度序列,恢复后按帧时间戳批量回传,已回传的帧不被覆盖。重放完成后重做一次对账,对账通过方视为恢复完成;对账不通过的区间标记为不可用并登记,不以插值或估算填补。
在招标方生产环境内作业遵守三条边界。第一条是只读:对既有业务系统的取数一律使用只读账号并限定可访问对象清单,不改动源系统的业务逻辑、不回写业务数据、不替换任何一套既有系统;确需回写的工艺与定额建议属于场景验证阶段事项,由招标方逐次书面确认后以独立接口实现,不与本期取数通道混用。
第二条是不加负载:首次全量与大批量文件搬迁只在招标方提供的低峰窗口内进行,日常增量设并发连接数与单批行数上限,联调期间实测源系统的负载增量并与招标方运维方共同确认在约定范围内;超出的立即下调并发与批量,不以「只影响一次」为由继续执行。
第三条是授权在先:任何一次进入生产环境的作业都有对应的书面授权——只读账号的开立、网络策略的放通、文件目录的授权、停机窗口的排定,均由招标方相应责任部门审批后执行,审批单号记入《集成前置条件申请清单》与作业记录。涉及生产设备的现场作业按《驻场作业计划》逐周提报并经招标方确认,安排在设备计划停机窗口内,不临时进场。
集成的测试不是一次总联调,而是四级逐层推进。分级的意义在于把问题定位在尽可能小的范围内:连通性问题不必动用业务人员,业务一致性问题不必怀疑网络。
第一级 连通性测试。 对象是每一条物理通道。内容包括网络可达、端口开放、账号可登录、基础查询可执行、文件目录可列出、时序接口可返回数据。判据是全部通道一次性测试通过,失败的通道定位到网络、账号、策略三类原因之一并闭环。这一级的测试脚本化并纳入日常巡检,每日自动执行一次,结果进监控面板。
第二级 接口契约测试。 对象是每一个逻辑接口。内容包括字段是否齐全、类型是否匹配、空值与异常值是否按约定处理、增量水位是否按约定推进、限流是否生效、重试是否幂等。判据是逐接口的契约测试用例全部通过。这一级的关键用例有三个容易被漏掉:水位倒退(源系统数据被回溯修改时水位是否能正确处理)、重复投递(同一批次重复执行是否产生重复数据)、长字段与特殊字符(中文、全角符号、换行符在跨系统传输中是否失真)。本方案把这三类用例列为必测。
第三级 数据一致性测试。 对象是每一个接口的落地结果。内容是行数对账、主键对账、关键字段校验和对账三类规则的执行,以及与源系统报表或业务人员查询结果的抽样核对。判据是对账在约定容差内通过,抽样核对的差异能够逐条解释。本方案不以「差异率低于某值即通过」作为唯一判据,而要求差异必须可解释——不可解释的差异无论比例多低都视为不通过,因为它意味着对数据含义的理解存在偏差。
第四级 端到端业务测试。 对象是跨系统的业务链条。内容是以业务对象为起点验证全链路:任选一个施工号,验证能够串出图纸、工艺卡、工单、报工、检验记录、物料批次、热处理炉次;任选一个焊接工位的一个作业时段,验证能够串出工单工序、焊接参数流、熔池图像帧、焊前测温数据;任选一个炉次,验证能够串出炉次工单、温度曲线、热成像数据、检验结论。判据由招标方业务人员参与确认,首批样本量按第 3.4 节约定(施工号不少于十个),其余两类各不少于十个样本。
2-3 四级测试门控与回退路径
图 2-3 四级测试门控与回退路径。数据来源:招标文件第四章验收标准与测试要求、付款条件、第五章阶段验收要求、3.1.2.2.1 功能评审要求。
集成测试要回答的是「测到什么程度才算测过」。表 2-17 列出的二十类用例不是穷举,而是沿集成链路上实际会出问题的环节反推得来:通道是否通、契约字段是否齐、取数口径是否对、落地结果是否可对账,文件与时序两类数据形态各自特有的完整性问题,加解密与降级两类涉密链路问题,以及单向性与交付通道两条合规项。
判据的取值分两类。可以一次定死的就写死:解密结果与原文一致、文件摘要一致、主键差集为空或可解释、反向不存在可写路径、平台响应仍在招标文件相应条款指标之内。不能一次定死的则不在此处一刀切,而在各接口契约中逐接口约定——行数与校验和对账的容差、时序缺点率基线、对象串联通过率基线均属此类,因为源系统的数据质量与采集条件各不相同,统一阈值要么宽到失去判别力,要么严到无一接口可过。
读表时,「用例要点」一列是动作,「通过判据」一列是判定,末列是缺陷归因后的处置方向。三组行值得重点看:行数、主键、校验和与文件完整性四行是数据可信与否的底,不过这四行,其后的加工与评测都失去依据;时间对齐与对象串联两行决定多源数据能否拼成一条链,直接关系到多模态数据集的可用性;性能叠加与降级恢复两行把 2.5 的国密调试结论放到真实负载下再验一次。
测试结论按三段式把握:首期基线为全部用例在第三阶段执行一轮并逐条留证、阻塞级缺陷清零;趋向为接口冻结后再回归一轮,且连续七日对账落在约定容差之内;对账持续超差或串联通过率低于约定基线的接口,暂不扩大其取数范围,先补映射规则与前置条件,并在相应数据集的数据卡中如实记录覆盖范围。
| 测试类别 | 用例要点 | 通过判据 | 不通过时的处理 |
|---|---|---|---|
| 通道连通 | 网络可达、端口、账号、基础查询 | 全部通道通过且纳入每日巡检 | 按网络/账号/策略三类定位并闭环 |
| 字段完整性 | 契约字段逐项存在、类型匹配 | 无缺字段、类型无隐式转换 | 更新契约或请源系统补字段 |
| 空值与异常值 | 空值含义、越界值、非法编码 | 按契约约定落地,不静默丢弃 | 补齐处理分支 |
| 增量水位 | 正常推进、水位倒退、源数据回溯修改 | 不漏不重,回溯数据可被重新取回 | 改为快照差分或缩短增量周期 |
| 幂等与重投 | 同批次重复执行 | 落地结果一致,无重复数据 | 补齐幂等键与去重逻辑 |
| 特殊字符 | 中文、全角符号、换行、超长字段 | 落地值与源值完全一致 | 统一字符集与截断策略 |
| 限流与负载 | 并发连接上限、单批行数上限 | 源系统负载增量在约定范围内 | 下调并发与批量 |
| 行数对账 | 批次行数与源侧统计比对 | 在约定容差内 | 定位缺失批次并补取 |
| 主键对账 | 主键集合差集 | 差集为空或可解释 | 逐条排查 |
| 校验和对账 | 关键字段聚合值比对 | 在约定容差内 | 排查类型精度与口径 |
| 文件完整性 | 搬迁前后 SM3 摘要 | 摘要一致 | 重传该批 |
| 文件可读性 | PDF 文本可提取性、DWG/DXF 图元可读 | 结论写入元信息,不可读项有替代路径 | 转图像识别或请源侧提供可读副本 |
| 时序完整性 | 点数与理论值、缺点区间、重复点 | 缺点率在基线内且缺点区间已记录 | 补取或标记该区间不可用 |
| 时间对齐 | 以已知时点人工标记事件验证 | 误差不超过两个采样周期 | 重新对时并校正历史数据 |
| 对象串联 | 施工号 / 作业时段 / 炉次三类链条 | 串连通过率达到约定基线,缺口逐条登记 | 补充映射规则,不强行归属 |
| 加解密往返 | 三类加解密对象逐类往返 | 解密结果与原文一致 | 排查密钥标识与算法参数 |
| 性能叠加 | 加解密与平台真实负载同时运行 | 平台响应仍在招标文件相应条款指标内 | 按 2.5.1 第三组顺序调整策略 |
| 降级与恢复 | 密码机不可用、连接器故障、设备断网 | 按约定降级,恢复后自动续跑无重复无丢失 | 完善降级分支与断点逻辑 |
| 单向性 | 安全监管平台反向连通性 | 不存在可写路径 | 暂停取数直至策略整改完成 |
| 交付通道 | 完整数据集交付演练 | 交付包可被接收方解密、审计记录完整 | 排查密钥封装与审计落点 |
表 2-17 集成类测试用例与判据。数据来源:招标文件 3.1.2.2.3 安全性要求、3.1.2.2.4 可靠性要求、3.1.2.2.5/3.1.2.2.6 性能要求、3.1.2.3、3.2.2.1.17、3.2.5。
正常路径跑通只证明接口可用,不证明集成可靠。本方案对八类异常场景逐类设计用例,每一条用例写明前置条件、执行步骤、预期结果、留存证据与缺陷复测要求。用例在第三阶段执行一轮,接口冻结后在第四阶段试运行前重做一轮回归。
| 场景 | 前置条件 | 执行步骤 | 预期结果 | 留存证据 | 缺陷复测 |
|---|---|---|---|---|---|
| 正常路径 | 通道、账号、字典齐备,水位已初始化 | 按调度窗口执行一次完整增量作业 | 落地行数与对账结论一致,水位正确推进 | 批次记录、对账报告、水位变更记录 | 不涉及 |
| 数据异常 | 构造空值、越界值、非法编码、超长字段与全角符号样本 | 将样本置入测试通道后执行作业 | 按契约约定落地或隔离,不静默丢弃,落地值与源值完全一致 | 隔离样本留档、落地值与源值比对记录 | 补齐处理分支后重跑该用例与对账用例 |
| 断网 | 通道运行中,具备网络策略临时阻断手段 | 作业执行中阻断链路,持续超过一个重试周期后恢复 | 作业按水位回退至上一确认位点,恢复后自动续跑,现场设备本地缓存后回传 | 告警记录、续跑日志、缓存回传记录 | 补齐断点逻辑后重跑断网与重放用例 |
| 重复投递 | 已完成一个批次 | 对同一批次重复执行两次 | 落地结果一致,无重复数据,幂等键生效 | 两次执行的落地行数与主键差集 | 补齐幂等键与去重逻辑后重跑 |
| 超时 | 可调整查询或传输超时阈值 | 将单批量调至触发超时,再按补偿口径缩小批量重试 | 超时被捕获并告警,缩小批量后成功,无部分落地残留 | 超时告警、重试记录、残留检查结论 | 调整批量与超时参数后重跑 |
| 权限不足 | 具备可降级权限的测试账号 | 以缺少对象权限的账号执行作业 | 返回鉴权类错误码,不重试,立即告警并暂停该接口 | 错误码记录、告警记录、暂停操作记录 | 凭据更新后重跑连通与契约用例 |
| 证书失效 | 具备可设定短有效期的测试证书 | 使服务端或客户端证书过期后发起调用 | 调用被拒绝并告警,不降级为明文传输,更换证书后恢复 | 拒绝记录、告警记录、证书更换记录 | 更换证书后重做连通与加解密往返用例 |
| 版本不兼容 | 具备上一版本的接口库或平台组件 | 以不匹配的接口库版本或平台版本发起调用 | 版本校验拦截并提示,不产生半成功状态 | 版本校验日志、拦截记录 | 按版本矩阵校正后重跑模块健康检查与关键用例 |
表 2-18 异常场景专项测试用例。数据来源:招标文件 3.1.2.2.3 安全性要求、3.1.2.2.4 可靠性要求、3.1.2.3、3.2.5、招标文件第四章验收标准与测试要求。
缺陷按阻塞、重要、一般三级登记,每一条缺陷记录其触发用例、复现步骤、根因、修复方案、复测用例与复测结论。复测范围按变更影响面确定:修改通道执行逻辑的重跑连通与契约两级用例;修改落地或对账逻辑的重跑一致性用例并重做受影响批次的对账;修改加解密或证书配置的重跑加解密往返与性能叠加用例。影响到下游数据集的,同时评估是否需要重新加工相应批次,评估结论记入接口台账。
招标文件规定,乙方按合同及附件要求完成建设后,系统所有功能上线试运行无问题后方可申请终验收;验收不合格应继续完善直至合格;验收前须按甲方提出的整改要求完成优化改进,整改费用由乙方承担,未按要求整改的不予验收。据此,本方案的验收组织安排如下:
集成工作的验收分阶段验收与终验支撑两层。阶段验收按 2.8 的阶段退出判据组织,每阶段提交该阶段交付物并由招标方确认。终验支撑指配合项目整体终验,提供集成相关的全部记录与报告。
问题项按阻塞、重要、一般三级管理。阻塞项指导致接口不可用或数据不可信的问题,发现后立即停止该接口的取数并进入整改;重要项指影响数据完整性或可解释性但不影响链路运行的问题,限期整改;一般项指文档、告警配置、操作便利性一类问题,纳入试运行期整改。阶段验收的门控是阻塞项清零、重要项整改完成;一般项允许带入下一阶段但须有明确时限。
整改采取「原因定位—方案确认—实施—复测—回签」五步闭环,每一步留记录。复测范围按变更影响面确定,影响到下游数据集的,同时评估是否需要重新加工相应批次,评估结论记入接口台账。
招标文件 3.1.2.2.2 开放性要求规定须提供二次开发手册、数据结构、数据模型和数据字典,并免费提供二次开发技术指导服务,还须提供完整的用户手册和在线帮助文档,包括常见问题解答、最佳实践和开发指南。集成侧对应的交付文档如下,其中前三项是招标方后续自行维护与扩展集成的直接依据:
接口台账与接口契约汇编,含十七套系统的全部接口定义、字段映射表、增量方式、对账规则与变更历史;集成运维手册,含通道监控、告警处置、常见故障排查步骤、水位修正与批次重跑操作;二次开发说明,含对象标识映射的扩展方法、新增源系统的接入步骤、密码服务层的调用示例与接口文档;国产化栈适配报告;国密调试记录与验收单;设备安装校准记录与接入点位表;集成联调报告与端到端业务测试记录;加解密全链路验证报告;国家数据基础设施对接接口自测报告;集成类问题项台账与整改闭环记录。
全部文档为中文版,电子版与加盖公章的纸质版各一套,电子版同步在平台内可检索。
集成是本项目与招标方既有环境耦合最深的环节,风险主要来自前置条件与现场条件,而不是技术方案本身。以下逐项列明风险点、判断依据、我方应对与回退口径。风险等级按对工期与数据集规模的影响程度划分。
源系统接口开放的配合程度。 本项目需要对接十七套系统,这些系统由不同时期建成,其运维与技术支持的责任主体不尽相同。接口开放涉及源系统侧的配置、测试与可能的接口开发,配合不到位会直接造成取数延期。
我方的应对分三层:第一层是在第一阶段做连通性预演,把配合问题在最早时点暴露(见 2.8.1);第二层是对每一套系统准备两条可行通道(见 1.10.1 与表 1-2),一条不通走另一条;第三层是把前置条件到位情况纳入双方项目周例会的固定议题,逾期未到位的由双方项目负责人升级处理。回退口径是:某套系统在约定时限内确实无法开通接口时,由双方按招标文件相应条款的流程确认该系统的数据以何种替代方式进入(如由招标方按周期导出文件交付),并评估对相关数据集规模的影响,评估结论书面记录。
接口文档与数据字典的完备程度。 招标文件对 CRM、ERP、SCM 三套系统明确要求提供数据字典或数据库设计说明书,其余系统未明确。字典缺失时只能靠样例反推字段含义,反推结果存在误解风险,且这种误解会一路传导到数据集的口径上。
我方的应对是:字典缺失的接口在台账中标注「样例反推」,该标注随数据血缘保留;反推结果须经招标方业务部门抽样确认后方可用于数据集构建;未经确认的字段不进入对外发布的数据集。这一安排的代价是部分字段的启用会延后,收益是数据集的口径有据可查。
业务低峰窗口的实际可用时长。 招标文件在十六处举例低峰时段为零点至五点(等),实际可用时长受招标方生产排班影响,连续生产的车间可能没有真正的低峰。我方的应对是把首次全量取数的批量设计成可中断、可续传的形式:按主键区间或时间区间分片,每片独立提交,窗口结束时未完成的片次下一窗口续做,不要求一个窗口内完成一套系统。同时在第一阶段即实测各系统的单位时间取数速率,据此倒推所需窗口数并纳入排期,避免在实施期才发现窗口不够。
现场设备联网范围与采集能力。 现场情况是设备联网仅覆盖部分车间的部分设备,实时数据采集能力不足。这对制造过程数据集的规模有直接影响。我方的应对是在第一阶段完成一次采集范围勘察,形成现有可取测点清单与需扩展测点清单,按场景优先级排出扩展顺序,首期以试点炉型、试点产线与试点车间所需设备为准。扩展涉及的设备侧改造不在本项目集成范围内,由双方另行商定。回退口径是:首期采集范围内可得的测点数据构成数据集的实际基础,数据集的数据卡中如实记录覆盖范围,不以推算值替代实测值。
服务器密码机的单点问题。 本项目采购密码机一台,设备级冗余需第二台设备。我方已在 2.5.1 第四组给出三档降级与多设备接入位预留的处理,把单点故障的影响限制在批量任务延迟与实时解密受限,并在交付文档中写明该限制与补强建议。该项风险的最终处置取决于招标方是否增配设备,我方在方案中不以单台设备承诺设备级高可用。
通用服务器的配置与到场时间。 本项目须完成通用服务器上数据集加工生产平台的安装与适配。服务器的供货归属与配置以招标方最终确认为准(见 2.1)。配置低于部署基线时,加工链路的并发处理能力会受限。我方的应对是在《平台部署基线要求》中给出分档配置建议与各档对应的处理能力口径,使配置与能力的对应关系在安装前即明确;实际配置确定后重做一次容量核算,核算结论书面确认。
源系统之间的数据冲突。 ERP 与 SCM 在采购域、ERP 与 WMS 在库存域都存在数据重叠,重叠处的数值不一致是常态。我方的口径已在 1.11.3 与 1.11.5 给出:不在集成阶段抹平差异,由双方业务部门裁定权威来源,差异本身保留并作为供需计划场景的输入。这一处理避免了集成阶段的技术选择替代业务判断。
时间对齐失败对焊接与热处理数据集的影响。 焊接参数与工件焊道的归属解析、热处理炉次与温度曲线的切分都依赖时间对齐。对齐失败会使这两类数据集的样本无法形成有效配对。我方的应对已在 1.7 与 1.11.12、1.11.16 给出:初期基线按可实现水平设定(焊道归属正确率不低于 80%),未能归属的数据保留为无归属子集,不强行归属也不丢弃;随信号接入与规则完善逐步接近业务可用水平。
操作系统与数据库替换的配合义务。 招标文件规定招标方替换服务器操作系统或数据库管理系统时,我方须无条件配合完成迁移和数据切换且不再支付费用。我方已在 2.7 给出两项前置准备(部署脚本化参数化、数据库访问层解耦),使该义务的实际工作量可控。
| 风险 | 影响 | 等级 | 应对 | 回退口径 |
|---|---|---|---|---|
| 源系统接口开放配合不到位 | 取数延期、数据集规模受限 | 高 | 连通性预演、双通道准备、周例会升级 | 按招标文件相应条款确认替代交付方式并评估规模影响 |
| 接口文档与数据字典缺失 | 字段含义误解、口径不可追溯 | 高 | 样例反推 + 业务确认 + 血缘标注 | 未确认字段不进入对外数据集 |
| 低峰窗口实际时长不足 | 首次全量取数延期 | 中 | 分片可中断可续传、实测速率倒推窗口数 | 延长批次数,不压缩校验环节 |
| 现场设备联网范围有限 | 制造过程数据集覆盖受限 | 中 | 勘察形成可取与待扩展测点清单、按场景排序 | 数据卡如实记录覆盖范围 |
| 密码机单点 | 批量加密延迟、实时解密受限 | 中 | 三档降级 + 多设备接入位预留 | 文档写明限制与补强建议 |
| 通用服务器配置或到场不确定 | 并发处理能力受限、安装延期 | 中 | 部署基线分档 + 实配后重做容量核算 | 按实配能力调整并发与排期 |
| 源系统间数据冲突 | 落地数据不一致 | 中 | 业务部门裁定权威来源、差异保留 | 不由技术侧取舍 |
| 时间对齐失败 | 焊接与热处理样本无法配对 | 中 | 统一时间源、触发信号对齐、归属解析基线 | 无归属子集独立保留 |
| 操作系统或数据库替换 | 迁移工作量 | 低 | 部署脚本化、访问层解耦 | 按招标文件相应条款无条件配合 |
| 现场作业窗口与生产冲突 | 设备安装延期 | 低 | 驻场作业计划周报、停机窗口内作业 | 按先易后难推进,不强求同步完成 |
表 2-19 集成风险登记与回退口径。数据来源:招标文件 3.2.2.1 各子条前置条件要求、3.1.2.3 第(5)条、3.3.1 密码机数量、3.2.5、第四章配合义务条款、第五章配合义务条款。
2-4 集成风险传导路径与缓解点
图 2-4 集成风险传导路径与缓解点。数据来源:招标文件 3.2.2.1 各子条前置条件要求、3.1.2.3 第(5)条、3.2.5。
招标文件规定「本项目涉及的网络建设工作由招标方负责(硬件安装部分除外),不影响项目系统上线」。这一条对集成工作的意义有三层:网络侧的建设责任归属明确;「硬件安装部分除外」的边界需要指到具体物理点,否则现场容易扯皮;「不影响项目系统上线」是对双方共同的约束,需要有可执行的保障安排而不只是一句期望。据此,网络侧的工作在责任划分与分界点、网段划分与网络分区、端口与访问控制、带宽承载确认、现场接入拓扑、网络侧前置条件与上线保障六处分别落定。
据 3.4 的规定划分三段责任。网络侧的交换机、网段规划、链路开通、防火墙策略由招标方负责;本项目采购硬件的安装、接线、调试、校准与系统联调由我方负责,这与 3.3.2 硬件配套技术服务要求中「提供全套安装辅材、支架、线缆及配套配件,负责现场安装、接线、调试、校准、系统联调」的规定一致,服务器密码机另按「须提供安装、调试服务」执行;两段之间的交界点是设备侧网口到接入交换机端口之间的物理链路与端口配置。
交界点的定义落到具体物理点:从接入交换机端口(含端口配置、虚拟局域网划分、链路带宽、安全策略)向上游的一切,由招标方负责;从交换机端口到设备网口之间的线缆、水晶头、管槽、支架、标识,以及设备侧的网络参数配置,由我方负责并提供全套辅材。采用以太网供电的设备,交换机侧的供电能力由招标方提供,我方在勘察阶段核实该能力是否具备,不具备的改为独立供电并在点位表中注明。
分界点在《设备接入点位表》中逐台体现,由双方现场负责人共同签字。签字后的点位表作为后续争议的处理依据,也作为终验时清点安装质量的清单。点位表每行一台设备,列明设备编号、安装位置、接入交换机与端口、供电方式、线缆规格与长度、辅材清单、责任方。
本方案按用途划分四个网段,对应 2.2.1 的四个部署区:机房业务网段承载平台内部通信与数据集流转;机房管理网段承载带外管理与密码机管理面;现场采集网段承载感知设备到采集节点的数据上行;对外交付网段承载连接器的对外服务。网段之间按最小必要原则放通,分区策略逐条在防火墙上固化并在联调阶段逐条验证。
| 分区 | 承载内容 | 允许的入向 | 允许的出向 | 禁止项 | 策略实施方 |
|---|---|---|---|---|---|
| 机房业务区 | 加工计算单元、数据库单元 | 来自现场采集区的上行数据、来自管理区的运维访问 | 至源系统取数通道、至密码区的加解密调用、至出口区的数据集投递 | 不可由对外交付区发起入向连接 | 招标方实施,我方提交申请并验证 |
| 机房密码区 | 密码服务单元、密码设备单元 | 仅来自业务区与出口区的密码服务调用 | 无业务出向 | 管理面不可从业务网段访问 | 同左 |
| 机房出口区 | 三台接入连接器 | 来自业务区的数据集投递、来自外部的对外服务访问 | 至密码区的加解密调用、至存证服务 | 不可直接访问源系统与现场采集区 | 同左 |
| 现场采集区 | 采集节点与感知检测设备 | 仅来自采集节点的设备取流 | 仅向业务区的采集服务单向发起 | 不允许反向访问现场设备以外的任何资源 | 同左 |
| 管理面 | 带外管理、密码机管理口 | 仅来自指定运维终端网段 | 无 | 与业务面物理或逻辑分离,不共网段 | 同左 |
| 源系统侧 | 招标方十七套业务系统 | 我方取数通道单向发起 | 无向我方发起的连接 | 安全监管平台方向固化为单向取数 | 招标方实施,我方以反向连通性测试验证 |
表 3-1 网络分区与访问策略。数据来源:招标文件 3.4、3.2.2.1.17 安全监管平台单向集成、3.1.2.2.3 安全性要求、3.3.1 硬件技术参数。
网段规划与地址分配由招标方网络管理部门最终确认,我方提交规划建议并配合实施。规划建议含网段用途、地址容量测算、虚拟局域网划分建议与跨段放通清单,容量测算按本项目设备数量加三成余量计。
跨段放通按「最小端口、明示协议、双向成对登记」的口径申请,每一条放通在《跨段放通清单》中有唯一编号、申请理由、源与目的、协议与端口、有效期与责任人,联调通过后锁定,变更走变更流程。我方侧组件的端口在部署基线中固化;招标方侧源系统与网络设备的端口以其提供的连接信息为准,不预设取值。
| 通信对 | 协议 | 端口口径 | 加密与鉴权 | 方向 | 备注 |
|---|---|---|---|---|---|
| 取数通道至源系统数据库 | 数据库专有协议 | 以招标方提供的连接信息为准 | 只读账号,口令加密存储 | 我方单向发起 | 限定可访问对象清单 |
| 取数通道至源系统接口 | HTTPS | 以招标方提供的接口信息为准 | 传输层加密,令牌或签名鉴权 | 我方单向发起 | 按限流阈值配置 |
| 取数通道至文件服务 | 加密文件传输协议 | 以招标方提供的服务信息为准 | 服务账号与目录级授权 | 我方单向发起 | 仅限约定目录 |
| 采集节点至感知检测设备 | 设备工具包私有协议、ModbusTCP | 设备默认端口,按部署基线固化 | 设备接入账号,按设备范围限定 | 采集节点单向发起 | 串行接口按 RS485 规格接入 |
| 采集节点至加工计算单元 | HTTPS | 平台默认端口,按部署基线固化 | 服务账号与双向证书 | 采集节点单向发起 | 断网时本地缓存 |
| 平台组件之间 | HTTPS、消息协议 | 同上 | 服务账号与双向证书 | 按组件依赖方向 | 镜像与配置由配置中心下发 |
| 平台至密码服务层 | HTTPS 或工具包本地调用 | 同上 | 服务账号授权,调用全量审计 | 平台单向发起 | 工具包模式为本地调用不出网段 |
| 密码服务层至密码机 | 《密码设备应用接口规范》规定的接口 | 设备业务口默认端口 | 设备侧账号与三员分离 | 密码服务层单向发起 | 管理口与业务口分网段 |
| 连接器对外服务 | HTTPS | 平台默认端口,按部署基线固化 | 传输层加密,接收方身份鉴权与授权范围校验 | 外部发起 | 按对外接口要求配置限流 |
| 全节点至时间服务 | 网络时间协议 | 标准端口 | 按时间源要求 | 节点单向发起 | 全项目单一时间源 |
| 全节点至日志与监测 | 日志协议、监测采集协议 | 平台默认端口,按部署基线固化 | 服务账号 | 节点单向发起 | 落第三台连接器 |
| 带外管理 | 管理协议 | 设备默认端口 | 独立管理账号 | 指定运维终端发起 | 仅限管理面网段 |
表 3-2 端口、协议与访问控制清单。数据来源:招标文件 3.2.2.1 各子条对连接方式的规定、3.1.2.1 密码应用服务要求、3.2.4.7 对外接口要求、3.3.1 硬件技术参数、3.4。
现场感知设备是本项目新增的主要带宽消耗源,带宽测算必须在网络策略申请之前完成,否则容易出现设备装好了但链路带宽不够的情形。逐设备的接口形态、采集模式与带宽测算口径见表 2-12。
测算结论的使用方式是:按同时作业设备数上限汇总现场采集网段的峰值带宽需求,连同三成余量写入《网段与地址规划建议》,提交招标方网络管理部门确认链路是否具备承载能力。确认结果分三种并各有处置:具备承载能力的按规划实施;需扩容的由招标方安排扩容并排入进度,我方在扩容完成前按降低帧率或缩短采集时窗的方式先行接入试点设备;短期不具备扩容条件的,改为采集节点本地缓存加低峰窗口批量回传,并在数据卡中记录该时段数据的时效性口径。
触发式采集是把峰值压下来的主要手段:焊接设备按工位开工信号与外触发同步采集,热处理设备按炉次开炉信号采集,非作业时段仅上传心跳与低频抽帧。这一设计把现场网段的平均带宽需求压到峰值的一小部分,峰值出现在多工位同时作业时段。
3-1 现场感知设备网络接入拓扑与责任分界
图 3-1 现场感知设备网络接入拓扑与责任分界。数据来源:招标文件 3.3.1 硬件采购清单、3.3.2 硬件配套技术服务要求、3.2.5、3.4、3.2.2.1.17 安全监管平台单向集成。
招标文件在 3.4 中同时规定网络建设由招标方负责与「不影响项目系统上线」。这两句合起来是对双方的共同约束:网络侧的工作不在我方责任范围内,但其到位时点会直接影响上线节奏,因此需要把依赖关系前置管理,而不是等到上线前才发现链路未通。
| 网络侧前置条件 | 提供方 | 接收标准 | 到位时点 | 未到位时的处理 |
|---|---|---|---|---|
| 厂区网段规划与地址分配确认 | 招标方网络管理部门 | 网段用途、地址段、虚拟局域网划分的书面确认 | 第一阶段退出前 | 我方按建议稿先行配置实验网段,确认后一次性切换 |
| 接入交换机端口与以太网供电能力 | 招标方 | 逐点位的端口号、速率、供电能力确认 | 设备到场前 | 供电不具备的改独立供电并在点位表注明 |
| 跨段放通工单 | 招标方 | 按《跨段放通清单》逐条放通并回执 | 单系统连通前 | 由我方提交策略申请并在周例会跟踪升级 |
| 链路带宽承载确认 | 招标方 | 现场采集网段峰值带宽的承载结论 | 现场设备批量接入前 | 按 3.4 的三种处置分别执行 |
| 与源系统之间的网络可达 | 招标方 | 逐系统的可达性与策略放通回执 | 单系统连通前 | 转由招标方指定的中转方式,或按变更流程处理 |
| 安全监管平台方向的单向策略 | 招标方 | 反向连接显式拒绝的策略回执 | 该接口联调前 | 反向连通性测试发现可写路径的,暂停取数直至整改完成 |
表 3-3 网络侧前置条件与到位时点。数据来源:招标文件 3.4、3.2.2.1 各子条、3.3.2 硬件配套技术服务要求。
保障安排有三条。第一条是前置暴露:第一阶段的连通性预演对每一套系统申请最小权限账号做一次手工连通测试,网络不可达的在最早时点进入红色清单并升级,不留到批量接入阶段。第二条是解耦排期:平台安装适配、密码机调试与机房侧单元的联调不依赖现场网段的扩容进度,现场设备接入按试点先行、分批扩展的顺序推进,使网络侧的局部延迟不阻塞整体上线。第三条是书面跟踪:网络侧的每一项依赖在《集成前置条件申请清单》中有唯一编号、责任方、期望到位时间与当前状态,纳入双方项目周例会的固定议题,逾期由双方项目负责人升级处理。
第 9 章验收标准与验收流程中与评测成果有关的条款,在本节第 9 章一并应答。
招标文件把质量评测单列为一个评分项,原因不在于程序上需要一份报告。矿山装备制造的数据有三个特点,使"数据到底能不能用"这件事无法靠人眼翻阅得出结论。
第一个特点是数据与物理对象的对应关系尚未建立。同一台刮板输送机在不同系统里有施工号、产品号、图号、零件号、物料编码、工单号、炉次号、焊缝与焊道编号多套标识,彼此之间没有稳定的主键关系。一条样本看上去字段齐全,但它指向的究竟是哪一件工件、哪一炉、哪一道焊缝,往往要回到原始台账去核。评测如果只做字段非空率,这类问题一个也查不出来。
第二个特点是过程数据与质量结论天然分离。热处理的温度曲线来自炉控与群控,硬度与金相结论来自检验,两者之间缺少稳定的一炉一档关联;焊接的电流、电压、送丝速度是连续参数流,而工件与焊道是离散对象,交检发现咬边或未熔合时无法直接调取对应时段的参数。数据集的价值恰恰取决于"某一段过程数据对应某一个质量结论"这种成对关系是否成立。评测必须把这种成对关系当作一项可检的指标,而不是假定它存在。
第三个特点是专业判据的稀缺性。备料工序集合是封闭的 28 道(以工艺部门确认的正式工序字典为准),压弯件展开长要按中性层公式换算,粗糙度、坡口、倒角符号各有其作用表面范围。这些判据写在作业指导书和老师傅的经验里,不写进评测指标,自动化检测再完备也只能判断数据"规整",判断不了数据"专业"。
所以本节的评测方案不是一套通用数据质检脚本的说明书。它要回答的是:四大数据集(预训练、指令微调、强化学习偏好、基准测试)在交付时,凭什么证据说明它可以直接送进模型训练,又凭什么证据说明训练出来的模型在煤机业务上确实比不用这批数据时更好。
本投标文件在三处讲"质量",口径不同,不可混用。本节统一如下,后续各节沿用。
质检,指数据加工生产过程内部的工序级检验,由加工环节自带的规则校验与抽检承担,发生在数据集形成之前,目的是不让不合格样本流到下一道工序。其设计见技术方案卷「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节。
评测,指数据集形成之后、交付与验收之前,对整个数据集按三维度指标体系做的独立量化核验与模型实战验证,发生在数据集封版之后,目的是给出一个可对外出证的综合质量结论。本节讲的是这一件事。
场景验证,指把数据集投入六个专业场景与五个通用场景的业务流程中,检验它能否支撑这些场景的业务判断,目的是回答数据集的业务效用。其设计见技术方案卷「专业场景验证方案」一节与「通用场景验证方案」一节。
三者是前后衔接的三道关口,不是同一件事的三种叫法。质检的缺陷类型清单、评测的指标口径、场景验证的归因口径统一到同一套缺陷字典与同一套样本标识上,这一点在本节第 11 章说明接口。
本方案按"依据定口径、指标定判据、方法定手段、过程定关口、档案定证据"五条线组织。四者之间是逐级约束关系:依据决定指标可以怎么定,指标决定方法必须覆盖到什么粒度,方法决定实施过程要分几个阶段、每个阶段交什么,过程产出的全部材料汇成可对外出证的质量档案。
图 13.5|质量评测方案-1 方案总体框架。数据来源:招标文件第五章 3.2.8.2 节四项服务要求的层次划分;指标计数依本节第 4 章对招标文件相应条款的逐项归并。
招标文件要求完成多模态自建数据集首轮全量评测与缺陷整改复测,通过标准化评测、实战化模型验证、整改闭环三条路径达成四项量化建设目标。我方逐项应答如下,并在每一项之后给出基线、验收口径与不达标时的回退安排,使这些目标在合同期内是可度量、可核对、可追责的。
招标文件要求围绕说明文档、数据质量、模型应用三大维度实现指标全覆盖核验,建立标准化量化打分体系,评测完成后数据集综合质量得分不低于 85 分(百分制);高风险缺陷(涉政、色情、暴恐、涉密、未脱敏隐私信息)清零,中低风险缺陷(标注错误、样本缺失、内容重复)完成整改。
我方的应答分三层。
指标覆盖。我方按《高质量数据集质量评测规范》(TC609-5-2025-04)搭建的指标体系覆盖三大维度、22 个二级指标、81 个三级指标,逐项建立检测口径、合格阈值与缺陷分级标准,不设"暂不评测"的指标项。覆盖率的度量口径是:已建立可执行检测口径并在首轮评测中实际出具检测结论的三级指标数,占本数据集适用三级指标总数的比例。
适用性判定随数据集模态确定——例如纯文本的预训练数据集不适用音频位深度、视频帧率一类指标,不适用项在报告中标注"本数据集不适用"并说明理由,不计入分母。按此口径,首轮评测的指标覆盖率目标是趋向 100%,承诺基线为不低于 98%;未达基线的指标逐项说明原因并进入下一次集中复测补测。
综合得分。我方承诺首轮评测后的综合质量得分不低于 85 分,并在此之上设置内部控制线 88 分,使最终报告留有余量。得分的构成、权重与合格线见本节第 4.4 节。
高风险缺陷。涉政、色情、暴恐、涉密、未脱敏个人信息五类为高风险缺陷,采取全量检测而非抽样,检测手段为关键词与正则规则库、分类模型、人工复核三重叠加。此类缺陷在复测后的目标是逐步接近零残留,验收口径以统计抽样给出:在复测完成后对数据集按分层随机抽样复查,样本量按 95% 置信水平、残留率上限 0.1% 设计,抽样复查未发现高风险缺陷即判定达标;若发现任一例,则该批次整体退回加测,加测范围扩大到该例所属的来源批次与同采集时段的全部样本。这一安排是对招标文件整体验收硬性标准的落实办法,即以可核验的统计口径承接"清零"的要求。
中低风险缺陷。标注错误、样本缺失、内容重复为中低风险缺陷,按缺陷分级逐级处置。整改完成率的度量口径是:已复检通过的缺陷条目数占首轮评测输出缺陷清单条目总数的比例。我方承诺该比例趋向 100%,并以 99% 为承诺基线;剩余条目须属于两类情形之一,即原始业务事实本身缺失(如历史纸质记录已不可查)或整改成本显著高于其对模型训练的影响(经甲方书面确认),这两类情形在报告中单列为"已评估不整改项",附评估依据。
表 13.5|质量评测方案-1 第一项目标的量化口径与回退安排
| 子目标 | 度量口径 | 承诺基线 | 验收证据 | 不达标回退 |
|---|---|---|---|---|
| 指标覆盖 | 已出具结论的适用三级指标 / 适用三级指标总数 | ≥98%,趋向全覆盖 | 指标打分表逐项结论 | 未覆盖项列入下次集中复测补测清单 |
| 综合得分 | 三维度加权折百分制 | ≥85 分(内控 88 分) | 盖章评测报告总分页 | 低于 85 分时按缺陷清单整改后重算,不另收费 |
| 高风险缺陷 | 复测后分层抽样复查结果 | 抽样复查零发现(95% 置信、上限 0.1%) | 全量检测日志 + 抽样复查记录 | 发现一例即该来源批次整体加测 |
| 中低风险缺陷 | 复检通过条目 / 首轮缺陷清单条目 | ≥99%,趋向全部完成 | 缺陷台账的闭环状态字段 | 未闭环条目须有甲方确认的不整改评估 |
招标文件要求依托约定的开源基准大模型、视觉、语音、多模态模型搭建独立隔离训练环境,完成数据集微调对照实验,量化对比微调前后的模型准确率、关键词识别、场景描述专业度,形成可复现的性能基线报告;各类数据集须达到最低性能提升阈值;并据此定位数据场景覆盖、样本均衡、标注规范三个层面的短板,输出数据集迭代优化专项方案。
这一项是本方案与一般数据质检的分界线。静态检测回答"数据干不干净",只有对照实验能回答"数据有没有用"。我方的实验设计遵循四条原则。
其一,同一变量只变数据。基准模型、训练超参、评测集、评测脚本、随机种子在微调前后两组中保持一致,唯一变量是是否引入被评测数据集。实验配置以配置文件形式入档,报告中给出全部取值。
其二,测试集先隔离后建设。测试样本在数据集加工开始之前即按来源与时间双重切分划出,加工环节不得接触。视频类数据集按采集设备隔离封存划分独立测试集,即某些采集设备产出的样本整体不进入训练集,以免同一机位、同一光照条件下的样本造成信息泄漏。
其三,裁判与自动指标并列。文本与视频类采用大模型裁判对独立测试样本做双盲评分,同时给出自动指标(如 Rouge-L);两者结论不一致的样本抽出做人工仲裁,仲裁结果与两类指标的偏差一并记入报告。只给单一指标的实验不足以支撑"专业度提升"这类结论。
其四,提升阈值分层设定、留有回退。我方按数据集类型给出最低性能提升阈值的建议值,并说明阈值未达成时的处置路径。阈值的最终取值在定制评测方案设计阶段与甲方共同确认,本节给出的是建议基线。
表 13.5|质量评测方案-2 四类数据集的对照实验设计与最低提升阈值建议
| 数据集类型 | 基准模型与微调方式 | 主要观测指标 | 最低提升阈值建议 | 阈值未达成的处置 |
|---|---|---|---|---|
| 文本类(预训练语料、指令微调、偏好数据) | 招标文件指定的文本类开源基础模型,采用低秩适应(Low-Rank Adaptation,LoRA)微调 | 裁判模型在准确性、完整性、专业性、简洁清晰性四维上的评分 | 四维平均分相对提升 ≥15%,其中专业性单维提升 ≥10% | 定位到知识密度不足或指令覆盖缺口,补充该业务域样本后重做实验 |
| 场景类(图像分割与检测) | 招标文件指定的轻量视觉分割基础模型,按标准训练—验证—测试划分做分割微调 | 边界框检测与分割的双重性能(mAP、mIoU) | mIoU 相对提升 ≥10%,mAP 相对提升 ≥8% | 定位到标注边界精度或场景覆盖不足,返回标注环节重做一致性校验 |
| 语音类 | 招标文件指定的轻量语音基础模型,做零样本与微调对照 | 字错率(CER)、专业术语与指令关键词召回率 | 关键词召回率绝对提升 ≥8 个百分点,字错率相对下降 ≥15% | 定位到采集信噪比或专业术语词表缺口,补采或扩充词表后重做 |
| 视频类 | 招标文件指定的多模态基础模型,采用低秩适应微调,采集设备隔离封存划分测试集 | 裁判模型在场景描述、密度判断、异常判断、语言专业性四维评分,并列 Rouge-L | 裁判四维平均分相对提升 ≥12%,Rouge-L 相对提升 ≥8% | 定位到领域知识密度或标注规范问题,补充标注规则与典型样例后重做 |
表中的基准模型与微调方式均按招标文件原文的指定执行,具体型号以招标文件所列为准。若实施期内指定版本不可获取,我方按同参数量级、同架构的开源模型替代,替代方案连同对比口径的影响评估一并提交甲方书面确认后执行,原指定模型的实验记录在报告中说明替代原因。
四类阈值中,语音类的「关键词召回率绝对提升 ≥8 个百分点」以绝对百分点而非相对比例表述,原因是召回率本身已是比例量,零样本基线偏低时相对提升容易被放大,绝对差更能反映可用性的实际改善。这一取值是我方按矿山现场的语音条件给出的首期基线:作业环境存在设备背景噪声与口音差异,零样本解码对专业术语与作业口令的召回明显低于通用场景,引入术语词表与微调后一档能被工序人员感知的改善即落在这个量级。判定办法随基线一并写明——测试集按说话人与采集时段切分并在加工开始前封存,样本量按第 5.5.3 节的比例估计口径设计(95% 置信水平、绝对误差 ±3 个百分点),使抽样误差明显小于该判定门限;零样本与微调两组使用同一测试集、同一术语词表与同一评测脚本,按现场作业、调度指令、设备异常描述三类场景分组统计;按表 13.5|质量评测方案-31 的口径不少于三次重跑,以均值判定,标准差一并记入报告。判定时点为首轮评测及其后的每一次全量复测。未达到基线时的处置按表中所列执行,先分组定位是采集信噪比不足还是术语词表缺口,补采或扩充词表后重做实验;重做仍未达成的,按第 5.3.3 节的三种情形归因,在报告中单列说明并给出调整建议。随服务期内采集规范与术语词表的迭代,这一指标的目标逐步接近 15 个百分点,终值在定制评测方案设计阶段与甲方共同确认。
性能基线报告的可复现性以三件材料支撑:环境镜像清单(含框架版本、驱动版本、依赖版本)、训练与评测脚本及其配置文件、随机种子与数据划分清单。甲方在同一隔离环境内按这三件材料重跑,指标偏差应落在同一数量级内;我方以主要指标重跑偏差不超过 ±1.5 个百分点为可复现的判定口径。
短板定位不是实验的副产品,而是实验设计的一部分。我方在实验中按业务域、按场景、按标签类别做分组评测,使"哪一类样本拖低了整体指标"可以直接读出。例如板材备料工艺的指令微调数据集,按 28 道工序分组统计裁判评分,评分明显偏低的工序即对应样本覆盖或标注口径的短板;热处理数据集按材料批次与装炉方式分组,可以看出是否存在某一类装炉方式的样本过少。分组结论汇入《数据集迭代优化专项方案》,该方案的内容结构见第 6.5 节。
招标文件要求针对评测检出的缺陷设计标准化整改方案,内容包含问题样本定位、缺陷成因、分步修正操作、复检校验规则;在甲方完成数据修正后提供复测服务,直至同类缺陷清零;建立"评测—问题输出—整改指导—复测校验"的质量闭环。
闭环能不能转起来,取决于三件事是否做实。
第一件是样本能不能定位到唯一。 缺陷清单中的每一条都带六个必填字段:数据集标识与版本号、样本唯一标识、文件路径与偏移位置(文本给出字符区间,图像给出区域坐标,音视频给出时间码)、命中的三级指标编号、缺陷等级、检测手段与检测时间。缺少任一字段的条目不予进入整改清单,这是为了避免出现"某批数据有重复问题"这类无法执行的结论。
第二件是成因要指向可操作的环节。 我方把缺陷成因归入五类:采集环节(源系统字段本身为空、采集时段缺失、传感器失效)、解析环节(图纸图元解析失败、版面还原错位、编码转换错误)、标注环节(标注规则理解偏差、标注员之间口径不一致、标签体系粒度不足)、加工环节(去重阈值不当、切分造成语义截断、合成样本分布偏离)、治理环节(主键映射缺失、口径字典未更新、版本记录断档)。成因分类直接对应整改责任环节,不写"数据质量不高"这类无指向的结论。
第三件是复检规则要在整改之前给出。 每一类缺陷的整改指引末尾附复检校验规则,写明复检的检测手段、判定阈值、抽样比例与通过条件。甲方按指引完成修正后,复测直接套用这套规则,不重新议定判据。
招标文件要求"直至同类缺陷清零"。我方的落地口径是:按三级指标统计同类缺陷的残留率,残留率降到该指标合格阈值以下且连续两次复测不再新增同类缺陷,即判定该类缺陷闭环;对高风险类缺陷按第 2.1 节的抽样复查口径判定。这样表述的原因是数据集在服务期内持续有增量进来,用"永不出现"作为判据无法在时间上收口,而"残留率低于阈值且连续两次复测不新增"是可核对、可签字的。
图 13.5|质量评测方案-2 缺陷整改复测闭环。数据来源:招标文件 3.2.8.1 第 3 项与 3.2.8.2.4 第 4 阶段。
招标文件要求归集可存档、可溯源的评测原始过程资料与正式盖章评测报告,形成完整的数据质量档案,交付材料可直接支撑行业高质量数据集达标验收、企业数据资产备案、上级数字化专项审计、内部合规检查四类用途;并依托评测成果持续优化集团数据集管理规范。
四类用途对材料的要求并不相同,我方按用途反推档案的组织方式,而不是把全部材料堆成一个压缩包交付。
达标验收关心的是指标逐项有无结论、结论是否可追到检测记录。资产备案关心的是数据集的来源合法性、权属与使用许可、规模与版本。专项审计关心的是过程是否留痕、是否存在选择性检测、样本抽取是否可复现。内部合规检查关心的是安全与隐私类指标的检测覆盖与处置记录。
因此质量档案按五个分册组织:指标结论册、过程记录册、权属与合规册、模型实验册、整改闭环册。每一册的具体内容、份数与载体形式见第 8 章。四类用途各自对应的调阅清单一并在该章列表给出,使甲方在接受审计或办理备案时可以直接按清单抽取,不必重新梳理。
关于"持续优化集团数据集管理规范"这一条,我方的做法是在每一轮集中复测之后出具一份《数据集管理规范修订建议》,内容限定在本轮评测实际暴露的问题上:哪一类缺陷反复出现、对应的现行规范条款是哪一条、建议如何修改、修改后如何在下一轮评测中验证。建议稿交甲方数据管理部门决策,我方不代行规范发布。这是责任边界,写明于此以免执行期产生歧义。
四项目标各自成立,并不等于它们合起来覆盖了招标文件要求的工作范围,也不等于每一项目标都有对应的检测手段与可点验的成果。把目标、指标维度、评测方法、交付物并列对照,正是为了检验这三层对应关系有无断点:有目标而无承接指标,意味着该目标无法量化;有指标而无对应方法,意味着指标无法落地;有方法而无交付物,意味着工作结果无法点验。
表 13.5|质量评测方案-3 横向逐行追踪一项目标的落地链条,纵向则可核对四项目标在指标维度上有无重复或遗漏——说明文档 21 项与数据质量 45 项归第一项目标,模型应用 15 项归第二项目标,第三项目标承接三维度全部指标的缺陷侧,第四项目标承接三维度结论的归集与出证,81 项指标各有归属且不重复承接。「单元」一栏给出每一行在招标文件中的出处,使这一对应关系可以逐行回溯原文核对。
表 13.5|质量评测方案-3 评测目标与指标、方法、交付物的对应关系
| 评测目标 | 主要承接的指标维度 | 主要评测方法 | 对应交付物 |
|---|---|---|---|
| 数据质量合规核验 | 说明文档全部 21 项;数据质量全部 45 项 | 自动化批量检测 + 专家人工分层复核 | 指标打分表、缺陷清单、检测日志 |
| 模型实战适配效能验证 | 模型应用 15 项,其中模型适配性 4 项为核心 | 基准模型对照实验 | 性能基线报告、迭代优化专项方案 |
| 缺陷整改闭环管控 | 三维度全部指标的缺陷侧 | 分级整改指引 + 集中复测 | 整改指引、缺陷台账、复测报告 |
| 标准化成果交付与合规验收 | 三维度结论的归集与出证 | 加权计分与综合判定 | 盖章正式评测报告、五分册质量档案、规范修订建议 |
本章四项目标共同构成招标文件 3.2.8.1 节要求的"首轮全量评测 + 缺陷整改复测"工作范围。首轮评测的对象是四大数据集封版后的完整版本,复测的对象是甲方修正后的版本与服务期内的增量批次,两者适用同一套指标与同一套判据。
招标文件规定本次数据集质量评测的全部工作须遵循国家法律法规、人工智能与数据领域行业专项规范、采购人内部数据管理相关制度构成的四层依据开展,所有评测指标、检测流程、风险判定规则与报告结论均不得与所列文件要求冲突。
四层依据不是并列的参考文献清单,它们在本方案中承担不同的功能。
第一层国家法律法规划定不可逾越的红线,决定哪些检测必须做、哪些数据不得外流、哪些内容必须清除。它对评测方案的约束是否决性的:任一检测流程若与法律要求冲突,该流程不成立。
第二层行业专项评测规范提供指标体系的骨架与打分方法,决定指标怎么分层、缺陷怎么分级、模型验证怎么组织。它对评测方案的约束是结构性的。
第三层煤炭装备行业专属补充依据提供判定标准的行业取值,决定井下场景的文本、图像、音视频数据在专业性与保密性上按什么尺度判定。它对评测方案的约束是参数性的。
第四层采购人内部数据管理相关制度提供企业自身的口径与流程衔接,决定数据分级分类按谁的目录执行、密级如何认定、报告格式与归档要求如何对接企业档案管理。它对评测方案的约束是适配性的。
四层之间出现不一致时,按法律法规优先、行业规范次之、行业补充依据与采购人内部制度就具体条款择严执行的顺序处理。处理过程不由评测人员自行判断:出现不一致时提交评测方案评审会,由甲方数据管理部门与我方技术统筹共同裁定,裁定结论记入《评测口径裁定记录》,作为后续复测的依据。
图 13.5|质量评测方案-3 四层依据对指标体系的约束关系。数据来源:招标文件 3.2.8.2.1 节与 3.2.8.2.2 节指标分组。
招标文件列明五部法律法规作为第一层依据:《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《中华人民共和国网络安全法》、《生成式人工智能服务管理暂行办法》、《关键信息基础设施安全保护条例》。招标文件同时提出落地要求:隐私脱敏、版权溯源、涉密数据筛查、内容安全检测、数据本地离线管控五类流程必须完全匹配上述法律要求。
把法律条文落到评测动作上,关键是不把"合规"写成一句态度。我方对五部法律逐部给出它在本次评测中约束的具体动作、对应的三级指标与留存的证据,见表 13.5|质量评测方案-4。
表 13.5|质量评测方案-4 第一层法律法规到评测动作的对照
| 依据文件 | 在本次评测中约束的具体动作 | 对应三级指标 | 留存证据 |
|---|---|---|---|
| 《中华人民共和国数据安全法》 | 按甲方数据分级分类目录核定每一数据集的级别;重要数据不出甲方内网;检测工具与模型推理环境部署在内网隔离区;全程操作留审计日志 | 隐私规范性 2.9.1、内容可追溯 2.6.1 | 数据分级登记表、环境部署验收单、操作审计日志 |
| 《中华人民共和国个人信息保护法》 | 对员工姓名、工号、身份证号、手机号、人脸、声纹等个人信息做识别与脱敏核验;核验脱敏后不可逆、不可通过关联复原;对人脸与声纹类生物识别信息单独统计并单独出结论 | 隐私规范性 2.9.1 | PII 检测报告、脱敏规则清单、关联复原测试记录 |
| 《中华人民共和国网络安全法》 | 评测环境的账号权限按最小必要配置;外部人员入场作业全程双人在场并留痕;检测结果数据与原始数据分区存储 | 结构完整性 2.1 全部、安全规范性 2.2 全部 | 账号权限台账、入场作业记录、存储分区说明 |
| 《生成式人工智能服务管理暂行办法》 | 对训练语料做涉政、色情、暴恐、歧视偏见等内容安全检测;对合成数据标注生成来源与生成算法,核验合成样本可追溯至生成过程 | 安全规范性 2.2 全部、内容可追溯 2.6.1 | 内容安全检测清单、合成数据来源登记表 |
| 《关键信息基础设施安全保护条例》 | 涉及井下生产与设备运行的数据按关键信息基础设施相关数据对待,检测过程不接入互联网、不使用公网云端服务、不导出原始样本 | 隐私规范性 2.9.1、内容可追溯 2.6.1 | 网络隔离测试记录、介质管控登记表 |
五类落地流程中,版权溯源一项在煤机数据集上有其特殊性,值得单独说明。四大数据集的来源包含三类:甲方自有的业务系统数据与图纸工艺资料、公开渠道获取的行业标准与技术文献、经甲方授权使用的第三方资料(如配套厂家提供的接口参数)。第一类权属清晰;第二类须核验原始出处与许可条款,判断是否允许用于模型训练;第三类须核验授权书的覆盖范围是否包含"用于人工智能训练"这一用途。
评测在内容原创性 2.10 与使用许可 1.4.1 两项指标上分别检查来源登记与许可声明,对许可条款不明的样本列入待确认清单,由甲方法务确认后再决定是否计入数据集规模。这一条不是程序性的客套,它直接影响数据集能否通过资产备案。
数据本地离线管控的具体技术安排见第 7.2 节。此处只说明一条判定口径:我方在评测准备阶段完成网络隔离的实测验证,验证方式是在评测环境内尝试访问外部地址并记录结果,验证记录由甲方信息部门会签。未完成验证的环境不开始评测作业。
招标文件列明两项行业专项评测规范:《高质量数据集质量评测规范》(TC609-5-2025-04)与《关于推进行业高质量数据集建设行动的实施方案》,并要求严格按该规范搭建"说明文档+数据质量+模型应用"三维度指标体系,打分规则、缺陷分级、模型实战验证流程均以此为基础,结合煤机业务场景做定制化适配。
我方对这一层依据的使用方式是"骨架照搬、取值定制"。
骨架照搬指的是三件事:维度划分照搬为说明文档、数据质量、模型应用三个一级维度,不增删;二级与三级指标的名称与定义照搬招标文件 3.2.8.2.2 节列明的 81 项,不改名、不合并;打分采用规范的分档计分方式,缺陷分级采用高、中、低三级。照搬的理由很直接:评测报告要用于行业高质量数据集达标验收,指标名称与规范一致才能被对口机构直接采信,自行改名会在验收环节产生解释成本。
取值定制指的是每一项指标的合格阈值、抽样比例、判定细则结合煤机业务确定。规范给出的是通用取值,用在矿山装备数据上会出现两类偏差。一类是偏严:例如文本困惑度在通用语料上有常见的参考区间,而工艺卡片、材料定额、工序说明这类文本本身句式短、术语密、数字多,困惑度天然高于自然语言文本,若按通用区间判定会把大量合格样本判为不合格。
另一类是偏松:例如图像清晰度在通用图像数据集上只要无明显模糊即可,而用于备料工艺的 DWG 图纸转出图像必须能分辨出粗糙度符号与尺寸公差标注,分辨不出即不可用,判定尺度须比通用标准严。两类偏差都在定制评测方案设计阶段逐项校正,校正依据与校正后的取值写入指标打分表并经甲方审核。
《关于推进行业高质量数据集建设行动的实施方案》的作用主要在两处:一是数据集的分类与命名口径,使四大数据集的命名、规模统计方式与行业口径一致,便于后续纳入行业数据集目录;二是建设成效的度量方向,即数据集应当支撑行业模型训练与场景落地,而非只追求体量。这两点落到评测上,分别对应规模完整性 3.3.1与业务相关性 3.5 的三项指标。
表 13.5|质量评测方案-5 第二层行业规范的照搬项与定制项
| 规范要素 | 照搬方式 | 煤机场景定制内容 |
|---|---|---|
| 一级维度划分 | 三维度原样采用 | 不定制 |
| 二三级指标名称与定义 | 原样采用招标文件列明的 81 项 | 不定制 |
| 合格阈值 | 采用规范的分档结构 | 逐项按矿山装备数据特征校正取值 |
| 抽样比例 | 采用分层抽样方法 | 按业务域、工序、模态分层,高风险项全量 |
| 缺陷分级 | 高中低三级 | 涉密与未脱敏个人信息一律高级;工序字典外的工序标注一律中级以上 |
| 模型验证流程 | 采用对照实验设计 | 四类基准模型按招标文件指定,分组评测按业务域与工序切分 |
招标文件在煤炭装备行业专属补充依据项下列明《煤矿智能化建设指南》与煤机装备行业技术数据、设备参数保密管理相关行业指引,并要求针对煤矿井下场景的文本、图像、音视频数据集评测设计适配行业的判定标准。
这一层依据回答的是"什么叫专业"和"什么不能出域"两个问题。
什么叫专业。 《煤矿智能化建设指南》提供的是智能化建设的技术方向与分级要求,用在评测上主要作为领域专业性 2.11.1与行业符合度 3.5.1的判定参照。
我方把这两项指标的判定具体化为三条可检项:术语是否使用行业规范名称(如"刮板输送机"而非"刮板机"、"液压支架"而非"支架"、工作面类型按超长、常规、大采高、薄煤层分类);参数是否落在行业合理区间(如链环直径、槽宽档位、装机功率的取值须落在在产型谱范围内);工艺表述是否与作业指导书一致(如备料工序名称必须取自工艺部门确认的正式工序字典,字典外的工序名一律判为不合格)。三条可检项由行业专家在人工复核环节逐项核查,核查结论附具体样本编号。
什么不能出域。 保密管理行业指引的作用是划定涉密判定的尺度。矿山装备数据中有几类内容需要特别注意:矿方的地质条件报告与煤质参数、工作面具体位置与产能数据属于矿方的敏感信息;装备的关键结构设计参数、材料配方与热处理工艺曲线属于甲方的技术秘密;配套厂家在会商中提供的接口参数可能受第三方保密约定约束。
评测在涉密数据筛查环节对这三类内容分别建立识别规则,规则由甲方保密管理部门确认后生效。筛查命中的样本不在评测报告中引用原文,只给出样本编号与命中规则编号,原文留在甲方内网的评测工作区。
井下场景的多模态判定标准。 井下与车间现场的图像、音视频数据有其固有特点,通用判定标准需要调整。表 13.5|质量评测方案-6 列出主要的调整项。
表 13.5|质量评测方案-6 井下与车间现场多模态数据的判定标准调整
| 数据类型 | 通用标准的问题 | 本项目的判定标准 | 对应指标 |
|---|---|---|---|
| 井下与车间现场图像 | 按通用亮度与对比度标准会把低照度现场图像大量判为不合格 | 以能否分辨目标部件轮廓与缺陷特征为判据,低照度但目标可辨即为合格;同时要求随样本登记照明条件 | 图像清晰度 2.7.11、图像信噪比 2.7.10 |
| 图纸转出图像 | 通用分辨率下限不足以分辨工程符号 | 要求能分辨粗糙度符号、坡口标注、尺寸公差三类标记,不满足即不合格 | 图像分辨率 2.7.1、图像清晰度 2.7.11 |
| 设备运行音频 | 通用语音信噪比标准不适用于机械噪声背景 | 以目标频段信号可分离为判据,允许宽带背景噪声存在但要求目标特征频段信噪比达到阈值 | 音频信噪比 2.7.12 |
| 现场作业语音 | 方言与专业口令导致通用语音质量评分偏低 | 建立专业术语与作业口令词表,以词表覆盖的关键词可辨识率为主要判据 | 音频信噪比 2.7.12、标注准确性 3.4.1 |
| 焊接与热处理过程视频 | 通用帧率与清晰度标准不考虑强光与烟尘干扰 | 按观测目的设定:形貌留痕类要求目标区域清晰可辨,过程记录类放宽至可判断工序阶段 | 视频清晰度 2.7.20、视频帧率 2.7.18 |
| 井下测点时序数据 | 通用完整性标准按缺失率一刀切 | 区分传感器失效造成的连续缺失与通信抖动造成的零星缺失,前者判为高级缺陷并要求补采,后者按插值可用性判定 | 记录完整性 2.1.4、信息缺失度 2.7.5 |
表 13.5|质量评测方案-6 中的调整均属判定尺度的行业适配,指标名称与定义不变。
招标文件在招标文件相应条款把采购人内部数据管理相关制度列为四层依据之一,但未在相应条款中逐项列出具体文件。我方的处置办法是在评测准备阶段完成这一层依据的清点,具体做法分三步。
第一步,向甲方数据管理部门索取现行有效的内部制度清单,范围包括数据分级分类目录、保密管理规定、档案管理办法、信息系统数据访问管理规定,以及本项目蓝图设计阶段形成的数据管理要求。索取清单的格式由我方提供,逐份登记文件名、版本号、生效日期、责任部门。
第二步,逐份判断该制度对评测的影响落在哪一类:影响数据分级与出域范围的,落到第 7.2 节的环境与介质管控;影响指标判定口径的,落到对应三级指标的判定细则;影响报告格式与归档的,落到第 8 章的档案组织;与评测无关的,登记备案不再引用。
第三步,把清点结果与影响判断汇成《采购人内部制度适用性清单》,作为定制评测方案的附件提交甲方审核。本节在投标阶段只能给出清点方法与登记格式,具体文件名与条款号须在准备阶段取得甲方制度文本后填入,稿件中标注为【待填:甲方现行数据管理制度清单及版本号】。
建设周期至 2028 年 5 月,期间法律法规与行业规范可能换版。我方建立依据变更跟踪机制,内容为三项:每季度核查四层依据各文件的现行有效版本,核查结果记入《评测依据版本台账》;发生换版时评估对指标口径与阈值的影响,形成影响评估单;影响评估结论须经甲方确认后方可调整指标打分表,调整前后的版本在质量档案中并存,使历史评测结论仍可按当时的依据版本解释。
这一机制的意义在验收环节会体现出来:若首轮评测依据的某项规范在最终验收前换版,有台账与影响评估单在,可以说明历史结论的有效性,不必重做全部评测。
招标文件依据《高质量数据集质量评测规范》(TC609-5-2025-04)搭建由说明文档、数据质量、模型应用构成的三维度评测指标体系,并明确三个维度各自的作用:说明文档指标核查数据集配套资料的完整性、准确性与清晰度,使使用者能够无歧义地解读与运用数据集;数据质量指标量化数据集的各项质量特征,校验数据能否达到人工智能模型研发与训练的基本要求;模型应用维度立足模型实战训练场景,研判数据集的落地适配能力与应用价值。招标文件同时要求第三方评测机构结合项目业务场景对各分项指标做灵活适配与调整。
招标文件列明的指标体系为三层结构:一级为三个维度,二级为 22 个指标组,三级为 81 个可检指标。计数明细见表 13.5|质量评测方案-7。
逐项核对指标的数量看似琐碎,却是本章其余部分得以成立的前提:三级指标的项数若与招标文件不一致,其后的打分表登记、权重聚合与合格线判定都会落空,而这类偏差在综合总分算出之前不易察觉。表 13.5|质量评测方案-7 的列设计即为此服务——「三级指标数」一栏是计数本身,「招标文件单元范围」一栏是该计数的出处,两栏并置使每一个数字都能回溯到招标文件的具体条款,不依赖转述。
阅读时按维度看小计行:说明文档 4 组 21 项、数据质量 11 组 45 项、模型应用 7 组 15 项,三者相加为 22 组 81 项,与招标文件的指标条款范围逐条对应。数据质量维度之所以项数最多,是因为内容干净性一组单独展开为 21 项,这与矿山装备制造数据来源庞杂、噪声形态多样的实际相称。这张表支撑的是后文《指标打分表》的完备性承诺:打分表逐项登记的对象即是这 81 项,不增不减;确需按数据集特性裁剪的,按第 4.1.3 节的规则标注适用性并在得分聚合中剔除,裁剪记录随质量档案留存。
表 13.5|质量评测方案-7 三维度指标体系的层级与计数
| 一级维度 | 二级指标组 | 三级指标数 |
|---|---|---|
| 1 说明文档 | 1.1 基本信息完整性 | 6 |
| 1 说明文档 | 1.2 内容特征完整性 | 5 |
| 1 说明文档 | 1.3 建设过程完整性 | 5 |
| 1 说明文档 | 1.4 应用说明完整性 | 5 |
| 1 说明文档 小计 | 4 组 | 21 |
| 2 数据质量 | 2.1 结构完整性 | 4 |
| 2 数据质量 | 2.2 安全规范性 | 8 |
| 2 数据质量 | 2.3 格式规范性 | 1 |
| 2 数据质量 | 2.4 标注规范性 | 1 |
| 2 数据质量 | 2.5 类型一致性 | 1 |
| 2 数据质量 | 2.6 内容真实性 | 2 |
| 2 数据质量 | 2.7 内容干净性 | 21 |
| 2 数据质量 | 2.8 内容一致性 | 3 |
| 2 数据质量 | 2.9 隐私规范性 | 1 |
| 2 数据质量 | 2.10 内容原创性 | 2 |
| 2 数据质量 | 2.11 领域专业性 | 1 |
| 2 数据质量 小计 | 11 组 | 45 |
| 3 模型应用 | 3.1 模型适配性 | 4 |
| 3 模型应用 | 3.2 内容多样性 | 2 |
| 3 模型应用 | 3.3 规模完整性 | 1 |
| 3 模型应用 | 3.4 标注准确性 | 1 |
| 3 模型应用 | 3.5 业务相关性 | 3 |
| 3 模型应用 | 3.6 内容均衡性 | 3 |
| 3 模型应用 | 3.7 时间跨度覆盖度 | 1 |
| 3 模型应用 小计 | 7 组 | 15 |
| 合计 | 22 组 | 81 |
指标体系的可实施性不取决于指标列得全不全,而取决于每一项指标是否写清了怎么测、测到什么算合格、不合格算几级。我方为 81 项三级指标逐项登记七个要素,构成《指标打分表》:
指标编号与名称,与招标文件原文一致,不改名;检测对象,即该指标作用于说明文档、数据文件、标注文件、元数据中的哪一类;检测手段,分自动化检测、人工复核、模型实验三类,允许一项指标同时指派两类手段;判定口径与合格阈值,写明计算公式或判定规则及合格线取值;缺陷等级,高、中、低三级之一,部分指标按命中内容的性质动态定级;证据留存方式,写明检测日志、样本清单、复核记录中哪一类作为该指标的证据;适用性条件,写明该指标在何种模态或何种数据集类型下不适用。
《指标打分表》是本节在实施期的核心工作底稿,其空表模板随投标文件以附录形式提供(见附录佐证卷「标准规范、样例数据卡、质检/验证报告模板」一节),取值在定制评测方案设计阶段填定并经甲方审核。
本项目的四大数据集在模态构成上不同,指标适用范围因此不同。预训练数据集 615 亿 Token 以文本为主,兼有图纸转出图像与少量音视频;指令微调数据集 89 万条为结构化的指令—响应对;强化学习偏好数据 6.6 万组为同一指令下的多响应排序对;基准测试数据集 0.95 万条为带标准答案的评测题目。适用性裁剪的结果见表 13.5|质量评测方案-8。
表 13.5|质量评测方案-8 四大数据集的指标适用性裁剪
| 数据集 | 规模口径 | 不适用的指标组 | 需加强判定的指标组 | 说明 |
|---|---|---|---|---|
| 预训练数据集 | 615 亿 Token(供需计划 276 亿、工艺设计 70 亿、制造过程 105 亿、质量 164 亿) | 标注规范性 2.4、标注准确性 3.4(无人工标注环节的部分) | 内容干净性 2.7 文本七项、内容原创性 2.10、重复内容程度 2.7.3 | 体量最大,自动化检测为主,重复与纯净度是主要风险 |
| 指令微调数据集 | 89 万条(40+10+15+24 万条) | 音视频类 2.7 十项(纯文本部分) | 标注规范性 2.4、语义一致性 2.8.2、领域专业性 2.11 | 指令与响应的配对质量决定微调效果,人工复核比重最高 |
| 强化学习偏好数据 | 6.6 万组(3.2+0.8+1+1.6 万组) | 音视频类 2.7 十项 | 标注规范性 2.4、概念一致性 2.8.1、特征均衡性 3.6.1 | 排序标注的一致性是核心,须统计标注员间一致率 |
| 基准测试数据集 | 0.95 万条(0.4+0.1+0.2+0.25 万条) | 规模完整性 3.3 按绝对量判定的部分 | 内容准确性 2.6.2、场景多样性 3.2.1、场景均衡性 3.6.3 | 作为评测标尺使用,答案正确性与场景覆盖的要求高于其他三类 |
裁剪的原则是:不适用项须有明确理由并在报告中列明,不得以"不适用"回避应检项。裁剪清单经甲方审核确认后固定,后续复测沿用同一份裁剪清单,避免不同轮次之间分母变动导致得分不可比。
图 13.5|质量评测方案-4 指标层级与得分聚合路径。数据来源:招标文件 3.2.8.2.2 节指标分组、3.2.8.2.3 节加权计分要求、3.2.8.2.4 节整体验收硬性标准。权重建议值为我方提出,招标文件表述为"按招标文件约定权重"但未列明具体取值。
说明文档维度核查的对象不是数据本身,而是随数据集交付的配套资料。这一维度在矿山装备数据集上的实际意义比通用场景更大:接手这批数据集的人可能是甲方的工艺工程师、也可能是三年后负责模型迭代的技术人员,如果说明文档不交代清楚备料工序字典取自哪一版、图纸转出图像的分辨率设定是多少、工艺卡片与图纸的配对关系按什么键建立,数据集的可复用性会在人员变动后迅速衰减。
本维度 21 项指标以人工复核为主要手段,自动化检测承担元数据字段齐备性的机械校验。复核采用双人独立打分、分差超过一档时由第三人仲裁的方式,复核记录随报告归档。
六项指标核查的是"拿到这个数据集,能不能知道它有多大、长什么样、放在哪、出问题找谁、怎么开始用"。
表 13.5|质量评测方案-9 基本信息完整性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 1.1.1 数据集规模 | 是否量化说明样本总数、总时长、总词数或总存储空间 | 自动化比对说明文档声明值与实际统计值 | 四大数据集须分别声明本项目口径的规模量(Token 数、条数、组数)并按业务域分列;声明值与实测值偏差 ≤1% 为合格 | 偏差 >5% 判中级,未声明判高级 |
| 1.1.2 格式规范 | 是否清晰定义文件类型、编码方式、数据结构 | 人工复核 + 自动化抽样校验 | 须逐模态写明文件扩展名、字符编码、序列化格式与字段结构定义;抽样文件实际格式与声明一致 | 声明缺项判中级,声明与实际不符判高级 |
| 1.1.3 文件结构 | 是否说明目录组织、文件命名规则与各文件内容 | 人工复核 + 目录树自动比对 | 须给出目录树、命名规则(含施工号、图号、炉次号等业务标识在文件名中的位置)与每一层级的内容说明;实际目录与说明一致 | 命名规则缺失判中级 |
| 1.1.4 获取渠道 | 是否提供明确可访问的下载链接或申请路径与获取流程 | 人工复核并实测申请路径 | 本项目数据集在甲方内网交付,须写明内网访问路径、申请审批流程、责任部门与审批时限;按说明实走一次申请流程可达 | 流程不可走通判中级 |
| 1.1.5 技术支持 | 是否提供官方技术支持渠道并能提供有效帮助 | 人工复核并实测响应 | 须写明支持渠道(内部工单系统或指定邮箱)、响应时限与升级路径;实测提交一次咨询并记录响应时间 | 渠道无效判中级 |
| 1.1.6 使用便捷性 | 是否配备完整数据字典、解析脚本或示例代码 | 人工复核 + 实际运行脚本 | 须随集提供数据字典(字段名、类型、取值域、业务含义)、加载与解析脚本、最小可运行示例;脚本在交付环境内可运行通过 | 脚本不可运行判中级,数据字典缺失判高级 |
说明文档的规模声明有一处容易出错,在此点明检测口径。预训练数据集按 Token 计量,Token 数依赖分词器,不同分词器统计结果可相差一成以上。因此说明文档必须写明统计所用的分词器及其版本,评测按同一分词器复算。四大数据集的分业务域规模(供需计划、产品工艺设计、制造过程、质量四域)须分别声明,与项目目标层的规模指标对齐。
五项指标核查的是"这批数据里有什么、分布怎么样、标签怎么定义、长什么样子、哪里不够用"。其中局限性说明一项在实际交付中最容易被省略,而它恰恰是下游使用者最需要的信息。
表 13.5|质量评测方案-10 内容特征完整性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 1.2.1 模态类型 | 是否清晰说明包含的全部数据类型 | 自动化扫描实际模态 + 人工复核声明 | 须列出全部模态及各模态样本量;实际扫描到的模态须全部在声明内,未声明的模态视为缺项 | 漏声明判中级 |
| 1.2.2 数据分布 | 是否提供关键特征上的统计分布信息 | 自动化复算分布 + 人工复核呈现方式 | 须提供按业务域、按工序、按标签类别、按时间的分布统计(直方图或频次表);复算结果与声明偏差 ≤3% | 未提供判中级,偏差 >10% 判中级 |
| 1.2.3 标签类别 | 是否提供完整清晰无歧义的标签清单及定义 | 人工复核 + 自动化比对实际标签取值 | 须提供标签体系层级、每一标签的定义与边界条件、互斥与共现规则;实际出现的标签取值须全部在清单内 | 清单外标签出现判高级,定义含糊判中级 |
| 1.2.4 样本示例 | 是否包含具有代表性的数据样本 | 人工复核示例的代表性 | 须按模态与业务域各提供不少于 3 条示例,含正常样本与边界样本;示例须可独立打开查看 | 未提供判中级 |
| 1.2.5 局限性说明 | 是否主动揭示潜在偏见、覆盖不足场景与已知局限 | 人工复核 + 与分布统计交叉验证 | 须写明覆盖不足的业务域或工序、样本偏斜方向、已知的标注口径争议、不建议用于的任务类型;评测方从分布统计中发现的偏斜若未在局限性中说明,判为缺项 | 未提供判中级,隐瞒已知偏斜判高级 |
局限性说明的检测方式值得专门交代。我方不是只看文档有没有这一章,而是用自动化统计出的分布偏斜去反查文档有没有如实披露。例如板材备料工艺的指令微调数据集若在 28 道工序上分布不均,某几道工序样本数不足百条,这一事实必须出现在局限性说明中;若文档只写"数据覆盖备料全工序"而统计显示严重偏斜,该项判为不合格并按隐瞒已知偏斜定为高级缺陷。这一检测口径对下游模型训练的实际价值最高,因为它决定使用者会不会在不知情的情况下把数据用于它支撑不住的任务。
五项指标核查的是数据集的来历是否说得清。对矿山装备数据而言,这一组与内容真实性 2.6 构成互证关系:说明文档声明的数据来源与采集方法,要能被数据中的溯源字段证实。
表 13.5|质量评测方案-11 建设过程完整性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 1.3.1 数据来源 | 是否说明原始数据的来源渠道、采集时间范围与地理区域 | 人工复核 + 与样本溯源字段交叉比对 | 须按来源类型(甲方业务系统、公开资料、授权第三方资料)分列,写明具体系统名称或资料类别、时间范围、涉及厂区或矿区范围;抽样样本的溯源字段须与声明一致 | 来源不可核判高级,时间范围缺失判中级 |
| 1.3.2 采集方法 | 是否详细说明获取原始数据的方法、工具或流程 | 人工复核 | 须按来源分别写明取数方式(接口只读取数、文件导出、现场加装采集、人工补录)、取数频次、断点续传与去重策略 | 方法不明判中级 |
| 1.3.3 加工处理流程 | 是否完整描述从原始数据到最终数据集的全部清洗、转换、标注步骤 | 人工复核 + 与加工环节日志比对 | 须逐环节写明输入、处理动作、输出、质检点与丢弃规则;描述的环节数与实际加工流水线一致,丢弃样本数可核 | 流程缺环节判中级,与实际不符判高级 |
| 1.3.4 标注规范 | 是否提供详尽无歧义的标注操作手册,含标签定义、标注规则与典型示例 | 人工复核 + 用手册反测标注一致性 | 手册须含标签定义、标注粒度、边界与歧义处置规则、典型正误示例;由未参与标注的复核员按手册重标抽样样本,与原标注一致率 ≥90% | 一致率 <85% 判高级,手册缺示例判中级 |
| 1.3.5 版本记录 | 是否维护清晰的变更日志,记录版本号、时间与主要变更内容 | 自动化校验版本指纹 + 人工复核日志 | 须提供版本号、发布时间、变更内容、影响范围与版本指纹;每一版本的指纹可复算并与实际文件一致 | 日志断档判中级,指纹不匹配判高级 |
标注规范一项的检测方式是本维度中最能区分方案深浅的一处。只看手册有没有写,是走形式;用手册去反测,才能判断手册是否真的无歧义。我方的做法是从数据集中抽取样本,交给未参与原标注工作的复核员,仅凭手册独立重标,再与原标注比对一致率。一致率低说明手册的规则不足以把不同的人引向同一结论,这一结论比"手册共计 48 页"有意义得多。一致率的计算按标签类型分别统计,分类标签用简单一致率,序列与区域标签用交并比,排序标注用等级相关系数。
五项指标核查的是数据集能不能被正确地用起来。招标文件的 1.4.4 基准测试结果与 1.4.5 典型应用案例两项定义文字高度相似,均指向"可复现的应用案例或基线模型实现参考"。我方按两项分别检测并区分侧重:1.4.4 侧重指标与数值,即在该数据集上的基线性能数字;1.4.5 侧重代码与流程,即跑通这件事的完整示例。两项分别出具结论,这一区分口径在定制评测方案设计阶段提请甲方确认。
表 13.5|质量评测方案-12 应用说明完整性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 1.4.1 使用许可 | 是否明确规定使用授权条款,如商用许可、署名要求 | 人工复核 + 与来源授权文件比对 | 须写明许可类型、允许用途(含是否允许用于模型训练)、禁止用途、署名与再分发要求;含第三方资料的部分须附授权依据 | 许可缺失判高级,与来源授权冲突判高级 |
| 1.4.2 目标应用场景 | 是否清晰界定该数据集设计支持的 AI 任务或应用领域 | 人工复核 + 与类型一致性 2.5 交叉验证 | 须写明支持的任务类型与具体业务场景(对应本项目六个专业场景与五个通用场景的哪几个);与数据实际内容的匹配由 2.5.1 复核 | 界定含糊判中级 |
| 1.4.3 评估方法 | 是否给出官方推荐的性能评价指标与评测协议 | 人工复核 + 实测协议可执行性 | 须写明推荐指标、计算方式、数据划分方式、评测脚本入口;按协议实跑一次可得出数值 | 协议不可执行判中级 |
| 1.4.4 基准测试结果 | 是否提供基于该数据集的可复现基线性能参考 | 人工复核 + 重跑复现 | 须给出基线模型、训练配置与基线指标数值;按所给配置重跑,主要指标偏差 ≤±1.5 个百分点 | 未提供判中级,重跑偏差超限判中级 |
| 1.4.5 典型应用案例 | 是否提供具体可复现的应用代码示例或基线实现参考 | 人工复核 + 实际运行代码 | 须提供端到端可运行的示例代码与运行说明,覆盖加载、预处理、训练或推理、评测四步;在交付环境内运行通过 | 代码不可运行判中级 |
这一维度量化数据集本身的质量特征,检验数据能否达到模型研发与训练的基本要求。45 项指标中以自动化检测为主要手段的有 34 项,须叠加人工复核的有 11 项,权重在三个维度中最高(建议 50%),原因是这一维度直接决定数据能不能用,而且其中安全与隐私两组带一票否决效力。
四项指标是全部检测的起点:文件打不开、记录整行空缺、多模态样本缺一个模态,后续任何指标都无从检测。因此这一组在实施过程中安排在最前,作为数据集接入时的初校验。
表 13.5|质量评测方案-13 结构完整性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.1.1 字段完整性 | 各字段非空值比例,评估属性缺失程度 | 自动化全量统计 | 按字段分级设阈:业务主键类字段(施工号、图号、零件号、炉次号、焊道号、设备编码)非空率 ≥99.5%;关键业务字段 ≥98%;辅助字段 ≥90% | 主键类字段缺失判高级,关键字段判中级 |
| 2.1.2 文件完整性 | 文件是否完整、是否损坏 | 自动化全量校验 | 逐文件校验可打开性、哈希值与清单一致性、压缩包完整性;损坏文件数占比 ≤0.05% 且全部可从源重取 | 损坏且不可重取判高级 |
| 2.1.3 模态完整性 | 多模态样本包含其预设全部模态的样本比例 | 自动化全量统计 | 按样本类型声明的应有模态逐一核对,如焊接过程样本应含参数时序+视觉影像+质检结论三模态;模态齐备样本占比 ≥95% | 齐备率 <90% 判高级 |
| 2.1.4 记录完整性 | 非空记录(行)比例,评估整条记录缺失情况 | 自动化全量统计 | 整条空记录占比 ≤0.1%;时序数据区分连续缺失与零星缺失,单通道连续缺失超过 30 分钟判为通道失效并单列 | 通道失效判高级,零星缺失判低级 |
时序数据的记录完整性有一处需要按行业特点处理。井下测点在传感器损坏后往往不予补装,远程运维平台的数据流会出现长时段的连续空缺。若按通用缺失率一刀切,整个数据集会被这几路失效通道拉低。我方的处理是把连续缺失与零星缺失分开统计:连续缺失指向采集侧的物理问题,判为高级缺陷并要求在数据卡中声明该通道的有效时间区间;零星缺失指向通信抖动,按插值后是否可用判定,不影响整体合格判断。
八项指标对应八类内容风险:暴恐、毒品药品、低俗辱骂、血腥、赌博、色情、涉政、歧视偏见。
这一组在矿山装备数据上的风险来源与通用语料不同,检测设计要针对真实的来源通道,否则会出现"检了一遍什么都没查到"的虚假安全结论。实际风险主要来自三处:一是从公开渠道采集的行业文献与网页资料,可能夹带无关内容;二是现场作业录音与协同办公文档中的口语化表述,可能包含低俗辱骂类内容;三是涉及矿难、事故案例的技术资料,在描述事故后果时可能触及血腥类判定。三处来源的检测侧重各不相同。
表 13.5|质量评测方案-14 安全规范性指标的检测设计
| 指标 | 本项目的主要风险来源 | 检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.2.1 暴恐内容 | 公开渠道采集的新闻类资料 | 关键词规则库 + 文本分类模型 + 图像内容识别,全量检测;命中样本逐条人工复核,覆盖口径见第 5.2.3 节 | 复核确认的命中样本须全部清除或整改后方可入集;抽样复查零发现为达标 | 高级 |
| 2.2.2 毒品药品内容 | 公开渠道资料、化学品相关技术文献的误判 | 同上,并配置工业化学品白名单以降低误判 | 同上;误判率须在复核后记录,白名单经甲方确认 | 高级 |
| 2.2.3 低俗辱骂内容 | 现场作业录音转写文本、协同办公文档中的口语表述 | 关键词规则库 + 分类模型,全量检测;对语音转写文本按方言词表扩充规则 | 命中样本须清除或改写;改写后须保留原始语义,由人工复核确认 | 中级,涉及人身攻击的判高级 |
| 2.2.4 血腥内容 | 事故案例资料、安全教育材料、现场伤害描述 | 文本分类模型 + 图像识别,全量检测;人工复核区分技术性描述与渲染性描述 | 技术性事故描述在脱敏后可保留,渲染性描述须清除;判定须经双人复核一致 | 高级 |
| 2.2.5 赌博内容 | 公开渠道采集资料夹带 | 关键词规则库 + 分类模型,全量检测 | 命中样本须清除;按招标文件口径同步核查存在道德风险的相关表述 | 高级 |
| 2.2.6 色情内容 | 公开渠道采集的图像与网页资料 | 图像内容识别 + 文本分类模型,全量检测 | 命中样本须清除;抽样复查零发现为达标 | 高级 |
| 2.2.7 涉政内容 | 公开渠道的政策文献、行业报告 | 关键词规则库 + 分类模型,全量检测;人工复核区分政策引用与敏感表述 | 政策条文的客观引用可保留,涉及政治敏感议题的表述须清除 | 高级 |
| 2.2.8 歧视偏见内容 | 现场口语表述、历史文档中的用语习惯 | 分类模型 + 人工复核;并做群体相关属性的统计偏斜分析 | 针对特定群体的歧视性言论须清除;统计层面的偏斜须在局限性说明中披露 | 中级,明确歧视言论判高级 |
八项指标统一按"规则库 + 模型 + 人工"三重叠加执行,三者的分工是:规则库负责召回明确词形,模型负责召回语义变形与图像内容,人工负责判定与去误判。对自动化检出的高风险样本,人工复核的覆盖是全部;对自动化未检出的部分,按分层抽样做人工抽查,抽查比例按置信水平设计,见第 5.5 节。
误判控制是这一组的实际难点,也是方案可行性的关键。工业数据中"毒性""爆破""冲击""失效"一类词在技术语境下是正常术语,若不处理会产生大量误报,淹没真实风险。我方的处置是建立工业术语白名单与上下文规则:白名单词在技术语境(同句存在工艺、参数、设备类词汇)中不计命中,在非技术语境中仍计命中并转人工。白名单初始版本由行业专家编制,在首轮评测中按误判记录迭代,迭代过程与版本在质量档案中留存。
三项指标各含一个三级指标,分别核查字段取值格式、标注是否符合预定规范与规范化流程、数据内容与其宣称的目标应用场景在类型风格专业性上是否匹配。
表 13.5|质量评测方案-15 格式规范性、标注规范性与类型一致性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.3.1 字段格式规范性 | 字段取值是否遵循预定义格式要求 | 自动化全量校验,按字段配置正则与值域规则 | 日期统一为 ISO 8601、物料编码与图号按甲方编码规则校验、数值字段校验单位与量纲、枚举字段校验值域;格式合规率 ≥99% | 主键类字段格式错判高级,其余判中级 |
| 2.4.1 标注规范性 | 标注是否符合预定标注规范、是否遵循规范化流程 | 自动化校验结构合规性 + 人工复核内容合规性 | 自动化侧校验标注文件结构、标签取值在清单内、必填属性齐备;人工侧按标注手册抽样复核,规范遵循率 ≥95%;并核查标注流程留痕(标注员、时间、复核记录) | 规范遵循率 <90% 判高级 |
| 2.5.1 类型一致性 | 内容与宣称的目标应用场景在类型、风格、专业性上是否匹配 | 人工复核 + 自动化主题分布分析 | 抽样样本须与说明文档 1.4.2 声明的目标场景匹配;自动化侧统计主题分布,与声明场景无关的样本占比 ≤5% | 无关样本占比 >15% 判高级 |
标注规范性与说明文档维度的 1.3.4 标注规范是两件事,容易混淆,在此区分:1.3.4 检的是手册写得够不够清楚(文档侧),2.4.1 检的是实际标注做得合不合规(数据侧)。两项结论可能分离——手册完备而执行走偏,或手册粗糙而执行尚可。两项分别出结论,并在报告中给出交叉分析:若 1.3.4 合格而 2.4.1 不合格,缺陷成因归入标注环节的执行问题;若两项均不合格,成因归入标注规范本身的设计问题。成因不同,整改路径也不同。
两项指标分别为内容可追溯与内容准确性。招标文件对内容可追溯的定义相当具体:非合成数据能追溯到采集源头并与源头保持一致、不存在未经说明的篡改;合成数据能追溯到生成算法和过程,且符合目标场景真实数据的分布规律。
这一组是本项目数据集的核心风险区,原因在本节第 1.1 节已说明——数据与物理对象的对应关系尚未建立。因此我方把可追溯一项的检测做得比通用做法细,分为四级追溯链校验。
表 13.5|质量评测方案-16 内容真实性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.6.1 内容可追溯(非合成数据) | 能追溯到采集源头、与源头一致、无未说明篡改 | 自动化溯源字段校验 + 抽样回源核对 | 四级追溯链须完整:样本标识 → 业务对象标识(施工号/图号/炉次号/焊道号/设备编码)→ 源系统记录标识 → 采集时点与采集方式;抽样回源核对一致率 ≥99% | 追溯链断裂判高级 |
| 2.6.1 内容可追溯(合成数据) | 能追溯到生成算法与过程、符合目标场景真实分布 | 自动化登记校验 + 分布一致性检验 | 每条合成样本须登记生成算法标识、算法版本、输入种子样本标识、生成参数;合成样本与真实样本在关键特征上的分布差异用统计检验判定,差异显著即判不合格 | 来源登记缺失判高级,分布偏离判中级 |
| 2.6.2 内容准确性 | 数据记录信息与客观事实或权威信源的相符程度 | 人工复核 + 规则校验 + 交叉源比对 | 按三类事实分别校验:工艺参数与作业指导书比对、物料与价格数据与企业资源计划系统比对、检验结论与质量管理系统记录比对;抽样准确率 ≥98% | 准确率 <95% 判高级 |
合成数据的分布一致性检验需要专门说明,因为本项目会用到合成与增强手段扩充样本(强化学习偏好数据的构造尤其依赖)。检验方式是把合成样本与同业务域的真实样本放在同一特征空间内比较分布:对数值特征用分布距离统计量,对类别特征用频次分布检验,对文本用长度分布与术语频次分布。若合成样本在某一特征上明显偏离真实分布,说明生成过程引入了偏差,模型学到的会是生成器的习惯而不是业务规律。这一项的判定结论直接影响模型应用维度的实验解释,二者在报告中交叉引用。
本组是整个指标体系中项数最多的一组,21 项按模态分为四类:文本类 7 项、图像类 4 项、音频类 4 项、视频类 6 项。本组以自动化检测为主,判定阈值按模态与用途分档设定。
文本类 7 项。
表 13.5|质量评测方案-17 内容干净性文本类指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.7.1 文本困惑度 | 评估文本流畅性与可预测性,越低越符合语言常规 | 自动化全量计算,按文本类型分档 | 按文本类型分设区间:叙述型文本(技术文献、制度条文)按常规区间判定;结构型文本(工艺卡片、材料定额、参数表)单独设区间,不与叙述型同档;超区间样本转人工复核 | 中级 |
| 2.7.2 知识信息密度 | 结构化知识(事实、关系)的浓度,通过知识抽取评估 | 自动化抽取实体与关系后计算密度 | 以单位长度内可抽取的业务实体(设备、零件、工序、材料、参数)与关系数量度量;按业务域设下限,低于下限的样本判为低密度并统计占比,占比 ≤10% | 中级 |
| 2.7.3 重复内容程度 | 内容完全相同或高度相似样本的比例 | 自动化全量去重检测,精确哈希 + 近似相似度 | 完全重复样本占比 ≤0.5%;高相似样本(相似度超阈值)占比 ≤3%;跨数据集重复(预训练与基准测试之间)占比须为零,此项带否决效力 | 跨集重复判高级,集内重复判中级 |
| 2.7.4 文本完整度 | 单条文本在语义与结构上是否完整,有无意外截断 | 自动化规则检测 + 抽样人工复核 | 检测句末标点缺失、段落中断、括号与引号不配对、表格行列缺失;截断样本占比 ≤1% | 中级 |
| 2.7.5 信息缺失度 | 应有信息未被记录的程度,以空值或占位符频率量化 | 自动化全量统计 | 统计关键字段的空值与占位符(如"无""/""待定")频次;关键字段缺失率 ≤2% | 关键字段判中级,辅助字段判低级 |
| 2.7.6 文本纯净度 | 有效文本与无关符号、标记等噪声的比例 | 自动化全量计算 | 检测残留的标记语言标签、页眉页脚、水印文字、重复分隔符、乱码字符;噪声字符占比 ≤1% | 中级 |
| 2.7.7 文本连贯度 | 是否符合语法规范、语句是否流畅、有无明显语法错误 | 自动化语言质量评分 + 抽样人工复核 | 自动化侧给出连贯度评分,低分样本转人工;人工复核确认的不连贯样本占比 ≤2% | 中级 |
文本困惑度分档的必要性在第 3.3 节已提到,这里给出具体做法。工艺卡片一类文本的典型形态是"工序号+工序名称+设备编码+工装号+定额工时"的字段串联,在语言模型看来可预测性很低,困惑度会显著高于技术文献。若用同一区间判定,这类样本会被大量判为低质量,而它们恰恰是本项目最有价值的样本。因此我方按叙述型与结构型两类分设区间,分类依据是样本的字段结构化程度,由自动化规则判定并抽样人工确认。
跨数据集重复一项带否决效力,这一点需要强调。基准测试数据集 0.95 万条的作用是作为评测标尺,若其中的题目同时出现在预训练语料或指令微调数据中,模型在评测时就是在回忆而不是推理,评测结果系统性偏高,整个模型应用维度的结论都不成立。因此我方对基准测试数据集与其余三类数据集做全量交叉去重检测,检测方式为精确匹配加近似匹配双通道,任一例跨集重复即判高级缺陷并要求从训练侧移除。
这一判定与工具链侧的污染扫描是同一道防线的两端,不是两套标准:工具链在样本入集前按 n-gram 重合度做污染风险分档并对高档批次阻断发布,属加工过程内部的前置拦截;本节的跨集重复检测在评测时执行,是对拦截结果的外部核验。两者的判定对象(批次与数据集版本)、执行时点(入集前与评测时)与效力(阻断发布与否决认定)各不相同,结论不互相替代:工具链已拦截不免除本节检测,本节检出亦须回溯到工具链侧补扫描规则。
图像类 4 项。 图像数据在本项目有两个主要来源:图纸转出图像与现场拍摄图像,两者的判定尺度不同,已在表 13.5|质量评测方案-6 中说明。
表 13.5|质量评测方案-18 内容干净性图像类指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.7.8 图像分辨率 | 像素尺寸的适用性,是否适配主流模型输入要求 | 自动化全量统计 | 图纸转出图像须能分辨粗糙度符号、坡口标注、尺寸公差三类标记,以标记最小笔画不少于 2 像素为判据;现场图像以目标部件在画面中占比与绝对像素数双条件判定;合格率 ≥97% | 图纸类不合格判高级,现场类判中级 |
| 2.7.9 图像重复度 | 相同或高度相似图像的重复程度 | 自动化全量感知哈希 + 特征相似度 | 完全重复占比 ≤0.5%;高相似占比 ≤5%;同一图纸多次转出的副本须去重至一份并保留版本关系 | 中级 |
| 2.7.10 图像信噪比 | 有效信号与噪声的比值 | 自动化全量计算 | 按来源分档:图纸转出图像按扫描噪点与压缩伪影判定;现场图像允许低照度但要求目标区域信噪比达阈值,并随样本登记照明条件 | 中级 |
| 2.7.11 图像清晰度 | 视觉清晰程度,不应存在水印、抖动、字幕干扰、条纹 | 自动化清晰度评估 + 水印与条纹检测 + 抽样人工复核 | 检测模糊、运动拖影、水印、条纹、字幕遮挡五类问题;图纸类要求工程符号可辨,现场类要求缺陷特征可辨;合格率 ≥95% | 图纸类判高级,现场类判中级 |
音频类 4 项。 本项目的音频来源主要是现场作业语音、设备运行声音与会议录音三类,其中设备运行声音用于健康诊断场景的声学特征,与语音类的判定要求不同。
表 13.5|质量评测方案-19 内容干净性音频类指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.7.12 音频信噪比 | 有效信号与噪声的比值 | 自动化全量计算,按用途分档 | 语音类以人声频段信噪比判定,并以专业术语与作业口令的可辨识率为补充判据;设备声音类以目标特征频段的信噪比判定,允许宽带背景噪声;合格率 ≥95% | 中级 |
| 2.7.13 音频采样率 | 采样频率,越高还原度越好 | 自动化全量统计 | 语音类不低于 16 kHz;设备声音类按诊断所需的最高分析频率按采样定理设下限,不低于分析频率上限的 2.5 倍;低于下限判不合格 | 中级,诊断类判高级 |
| 2.7.14 音频位深度 | 量化精度,影响动态范围与分辨率 | 自动化全量统计 | 不低于 16 位;设备声音类建议 24 位以保留弱信号动态;低于 16 位判不合格 | 中级 |
| 2.7.15 音频比特率 | 传输速率,影响音频质量 | 自动化全量统计 | 按编码格式与采样率核算理论比特率并与实际比对;有损压缩样本须登记压缩格式与码率,码率低于阈值判不合格 | 低级,诊断类判中级 |
设备运行声音的采样率下限按采样定理从诊断需求反推,这一点与通用音频数据集的处理不同。刮板输送机减速器与链轮轴组的故障特征频率落在特定频段,若采样率不足会把这些特征折叠掉,样本看上去正常而特征已经丢失。因此这一项在诊断类音频上判为高级缺陷,不合格样本须重采。
视频类 6 项。 视频数据主要来自焊接与热处理过程记录、现场作业记录两类。
表 13.5|质量评测方案-20 内容干净性视频类指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.7.16 视频分辨率 | 像素尺寸的适用性,是否适配主流模型输入 | 自动化全量统计 | 按观测目的分档:形貌留痕类要求目标区域(焊缝、熔池、工件边缘)在画面中的像素数达阈值;过程记录类以可判断工序阶段为下限;合格率 ≥95% | 形貌类判高级,记录类判中级 |
| 2.7.17 视频重复度 | 相同或高度相似视频的重复程度 | 自动化关键帧哈希 + 片段相似度 | 完全重复占比 ≤0.5%;同一炉次或同一焊道的多机位记录不计重复,但须标注机位关系 | 低级 |
| 2.7.18 视频帧率 | 画面流畅度,以每秒帧数计 | 自动化全量统计 | 按观测目的分档:焊接过程形貌记录不低于观测动作所需帧率并在数据卡中说明取值依据;过程记录类不低于 15 FPS;丢帧率 ≤2% | 形貌类判中级,记录类判低级 |
| 2.7.19 视频时长 | 样本的平均或总计持续时间,反映时间维度信息量 | 自动化全量统计 | 须覆盖完整工序或完整炉次周期;单样本时长不足以覆盖一个完整过程的,须在数据卡中声明其所属过程片段位置;时长声明与实际偏差 ≤2% | 低级 |
| 2.7.20 视频清晰度 | 视觉清晰程度,不应有水印、抖动、字幕干扰、条纹 | 自动化评估 + 抽样人工复核 | 检测模糊、抖动、强光过曝、烟尘遮挡、字幕遮挡五类;焊接场景须判定弧光过曝是否遮挡目标区域;合格率 ≥92% | 形貌类判中级 |
| 2.7.21 视频动态范围 | 能同时表现的最亮与最暗部分的范围 | 自动化全量计算 | 焊接场景因弧光与母材亮度差极大,须以目标区域在过曝与欠曝之间可辨为判据;动态范围不足导致目标不可辨的样本判不合格 | 中级 |
焊接过程视频的动态范围是一个真实的技术难点,值得在方案中写明而不是回避。电弧亮度与周边母材亮度相差数个数量级,普通相机在同一帧内无法兼顾,要么弧光区过曝、要么母材区欠曝。评测在这一项上的判定口径是看目标区域是否可辨而不是看动态范围的绝对数值:若样本的观测目的是熔池形貌,弧光区可辨即合格;若观测目的是焊缝外观,母材区可辨即合格。观测目的随样本登记在数据卡中,这一条同时反查说明文档维度的 1.2.5 局限性说明是否披露了该限制。
三项指标为概念一致性、语义一致性、格式一致性。这一组在矿山装备数据上尤其重要,因为同一物理对象在不同系统里叫不同名字是本项目最根本的数据问题之一。
表 13.5|质量评测方案-21 内容一致性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.8.1 概念一致性 | 术语、实体命名与分类体系在全局是否遵循统一定义 | 自动化术语比对 + 人工复核 | 以甲方确认的术语字典与分类体系为基准,检测同义异名(如"刮板机"与"刮板输送机")、异义同名、分类体系交叉;术语规范率 ≥98%;备料工序名称须全部取自正式工序字典 | 分类体系冲突判高级,同义异名判中级 |
| 2.8.2 语义一致性 | 相关联的数据内容在含义上是否一致无矛盾 | 自动化规则校验 + 模型辅助比对 + 人工复核 | 跨模态检查图文是否对应(图纸图像与其工艺卡文本、焊缝影像与其质检结论)、跨字段检查逻辑矛盾(完工时间早于开工时间、硬度结论与热处理曲线矛盾);矛盾样本占比 ≤1% | 跨模态不对应判高级 |
| 2.8.3 格式一致性 | 数据值格式是否符合预定义规范,如类型、长度、正则 | 自动化全量校验 | 与 2.3.1 共用规则集但判定角度不同:2.3.1 判单条是否合规,2.8.3 判同一字段在全集内是否统一(如同一字段在不同批次采用不同日期格式);字段级格式统一率 ≥99% | 中级 |
语义一致性中的跨模态检查是本组技术含量最高的一项。做法是分三类:有确定性规则的用规则(如工序号与工序名称的对应关系、材料牌号与许可热处理工艺的对应关系),用规则直接判定;无确定性规则但有强相关的用模型辅助(如图纸图像与其工艺卡文本的描述是否指向同一零件),由模型给出相似度并对低分样本转人工;完全依赖专业判断的直接人工复核(如焊缝影像与其质检结论的缺陷类型是否相符)。三类的样本占比与判定结论分别统计,报告中给出分类统计表,使甲方知道有多少结论来自规则、多少来自模型、多少来自人工。
隐私规范性含 1 项,内容原创性含 2 项,领域专业性含 1 项。
表 13.5|质量评测方案-22 隐私规范性、内容原创性与领域专业性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 2.9.1 隐私规范性 | 是否遵循隐私保护法规,个人身份信息是否已妥善脱敏或移除 | 自动化全量 PII 检测 + 人工复核 + 关联复原测试 | 检测姓名、工号、身份证号、手机号、住址、银行账号、人脸、声纹八类;脱敏后须通过关联复原测试(尝试通过多字段组合还原个人身份);检出未脱敏项带一票否决效力 | 高级(否决项) |
| 2.10.1 内容原创性 | 原创内容比例,而非复制或转载 | 自动化外部比对 + 来源登记核查 | 以来源登记为主要依据,辅以对公开资料的相似度比对;甲方自有业务数据计为原创,公开资料转载须标注出处;原创内容占比按数据集声明核验,偏差 ≤5% | 未标注出处判中级 |
| 2.10.2 来源原创性 | 是否来源于一手或独家渠道,而非公开通用数据的汇编 | 来源登记核查 + 人工复核 | 按来源分类统计一手数据(甲方业务系统、现场采集、专家知识)占比;该占比须在说明文档中如实声明;本项目四大数据集的一手数据占比是其核心价值,须逐业务域给出 | 声明虚高判高级 |
| 2.11.1 领域专业性 | 内容是否符合特定垂直领域的专业知识、术语规范与行业惯例 | 行业专家人工复核为主 + 自动化术语覆盖统计 | 按三条可检项复核:术语使用行业规范名称、参数落在在产型谱合理区间、工艺表述与作业指导书一致;抽样专业性合格率 ≥95%;专家复核结论须附具体样本编号 | 合格率 <90% 判高级 |
来源原创性一项对本项目有特殊意义。四大数据集的价值主要来自甲方自有的一手数据——63 万张历史图纸及其配套工艺卡片、十年以上的生产业务数据、过程参数长期留存记录、在役装备的测点时序数据。这些是公开渠道无法获得的,也是数据集能够支撑行业模型的根本原因。评测在这一项上不只核验声明是否准确,还按业务域给出一手数据占比的统计,这组数字可以直接用于数据资产备案材料。
领域专业性的复核方式需要说明人员条件。这一项由具备矿山装备制造背景的行业专家执行,专家须熟悉刮板输送机的结构与型谱、备料与焊接工艺、热处理工艺与检验标准。专家资质要求与人员配置见第 7.1 节,专家名单在实施期提交甲方确认,稿件中标注为【待填:行业专家名单与资质材料】。
这一维度立足模型实战训练场景,研判数据集的落地适配能力与应用价值。与前两个维度的差别是:说明文档与数据质量两个维度看的是数据本身,模型应用维度必须把数据送进模型跑一遍才有结论。这也是本方案把它单独作为一条实施主线(动态验证)的原因。
四项指标分别对应文本类、场景类、语音类、视频类四种数据集的微调对照验证。招标文件对每一类都指定了基准模型与微调方式,并明确"如项目产生",即该类数据集存在时方做该项实验。
四类实验的设计思路、提升阈值建议与阈值未达成的处置已在第 2.2 节表 13.5|质量评测方案-2 列出,本节补充实验的执行细节与判定口径。
表 13.5|质量评测方案-23 四类模型适配性实验的执行设计
| 实验项 | 数据划分 | 训练配置要点 | 评测方式 | 合格判定 |
|---|---|---|---|---|
| 3.1.1 文本类 | 按来源与时间双重切分,测试集在加工开始前划出并封存;训练/验证/测试按 8:1:1 | 招标文件指定的文本类开源基础模型;低秩适应微调,秩与学习率在小规模试跑后固定并入档;最大序列长度按工艺卡片与技术文献的长度分布设定 | 大模型裁判对独立测试样本做双盲评分,评分维度为准确性、完整性、专业性、简洁清晰性;同一样本由两个裁判实例独立评分,分差超限转人工仲裁 | 四维平均分相对提升 ≥15%,专业性单维 ≥10%;裁判评分的人工仲裁一致率 ≥85% |
| 3.1.2 场景类 | 标准训练—验证—测试划分;同一图纸或同一工件的样本不跨划分,避免同源泄漏 | 招标文件指定的轻量视觉分割基础模型;分割微调,输入分辨率按图纸符号可辨的下限设定;数据增强策略与参数入档 | 在独立测试集上计算边界框检测与分割的双重指标(mAP、mIoU),按业务域与零件类别分组统计 | mIoU 相对提升 ≥10%,mAP 相对提升 ≥8%;分组统计中无任一主要类别指标下降 |
| 3.1.3 语音类 | 按说话人与采集时段切分,同一说话人样本不跨划分 | 招标文件指定的轻量语音基础模型;零样本与微调两组对照;专业术语与作业口令词表作为解码辅助,两组使用同一词表 | 计算字错率与专业术语、作业口令的关键词召回率;按场景分组(现场作业、调度指令、设备异常描述) | 关键词召回率绝对提升 ≥8 个百分点,字错率相对下降 ≥15% |
| 3.1.4 视频类 | 按采集设备隔离封存划分独立测试集,某些机位的样本整体不进训练集 | 招标文件指定的多模态基础模型;低秩适应微调;帧采样策略与片段长度入档 | 大模型裁判双盲评测场景描述、密度判断、异常判断、语言专业性四维,并列 Rouge-L 自动指标 | 裁判四维平均分相对提升 ≥12%,Rouge-L 相对提升 ≥8%;裁判与自动指标结论方向一致 |
四项实验共用一套可复现性要求与一套泄漏防护要求,分别在第 5.3 节与下图说明。基准模型的版本可得性风险与替代方案已在第 2.2 节说明,语音类关键词召回率基线的取值来由、判定办法与改进目标同见该节。
图 13.5|质量评测方案-5 模型应用验证的数据划分与泄漏防护。数据来源:招标文件 3.1 模型适配性四项与 3.2.8.1 第 2 项。
泄漏防护中的"同源检查"一项是本项目必须做实的环节。矿山装备数据有大量同源样本:同一张图纸可能在不同批次中被多次转出,同一炉次的工件会产生多条记录,同一焊道的多层多道会产生多条参数片段。若按样本随机切分,同一物理对象的样本会同时落入训练与测试两侧,模型在测试时实际上见过这个对象,指标会虚高。因此切分键必须是业务对象标识而不是样本标识。这一条看起来是技术细节,但它决定了全部实验结论是否可信。
表 13.5|质量评测方案-24 内容多样性、规模完整性与标注准确性指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 3.2.1 场景多样性 | 是否广泛覆盖应用在现实中可能遇到的各种场景 | 自动化场景标签统计 + 人工复核场景清单 | 以甲方确认的场景清单为分母(六个专业场景与五个通用场景下的业务情形);覆盖的场景数占比 ≥90%,且无任一主要场景样本数为零 | 主要场景缺失判高级 |
| 3.2.2 特征多样性 | 特征空间内分布的广泛性,关键特征取值是否丰富 | 自动化特征统计 + 分布分析 | 按关键特征(工作面类型、槽宽档位、材料牌号、板厚区间、工序类别、设备型号)统计取值覆盖与分布熵;取值覆盖率 ≥85% | 覆盖率 <70% 判中级 |
| 3.3.1 规模完整性 | 规模是否全面满足目标场景预定义的要求 | 自动化统计 + 与目标规模比对 | 与四大数据集的规模目标逐一比对:预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,并按四业务域分列核对;达成率 ≥100% 为合格,分域达成率 ≥90% | 总量未达判高级,分域未达判中级 |
| 3.4.1 标注准确性 | 标注能精准标记出目标场景模型开发训练所需的全部信息 | 人工复核抽样重标 + 自动化一致性统计 | 由独立复核员抽样重标,与原标注比对:分类标签用一致率,区域与序列标签用交并比,排序标注用等级相关系数;分类一致率 ≥95%,区域交并比均值 ≥0.85,排序相关系数 ≥0.8 | 低于阈值 5 个百分点以内判中级,超出判高级 |
规模完整性一项的检测需要区分两件事:规模够不够,和规模是不是真的。前者按目标值比对,后者要核查统计口径。本项目的规模统计有三处容易出偏差:预训练数据集的 Token 数依赖分词器,须按说明文档声明的分词器复算;指令微调数据集的条数要区分原始条与增强后条,增强产生的条目须单独统计并标注;强化学习偏好数据的组数要核查每组内的响应数是否达到排序所需的最小数量,不足的组不计入。三处的复算结果与声明值的偏差均须在报告中列出。
业务相关性含行业符合度、信息主旨度、领域相关性三项;内容均衡性含特征均衡性、来源均衡性、场景均衡性三项;时间跨度覆盖度含一项。
表 13.5|质量评测方案-25 业务相关性、内容均衡性与时间跨度覆盖度指标的检测设计
| 指标 | 招标文件定义要点 | 本项目检测方式 | 判定口径与合格阈值 | 缺陷等级 |
|---|---|---|---|---|
| 3.5.1 行业符合度 | 内容与特定行业的业务逻辑、流程、需求的匹配程度 | 行业专家人工复核 + 自动化流程符合性校验 | 按三条校验:业务流程顺序符合实际(如工序顺序符合工艺路线约束)、业务规则不冲突(如下道工序不得早于本车间全部工序报工)、行业术语规范;抽样符合率 ≥95% | 流程逻辑冲突判高级 |
| 3.5.2 信息主旨度 | 内容与其核心主题的关联紧密程度 | 自动化主题相关性计算 + 抽样人工复核 | 以数据集声明的主题为基准计算样本相关度,低相关样本占比 ≤8%;偏离主题的样本须说明保留理由或移除 | 中级 |
| 3.5.3 领域相关性 | 内容与其声称或应用的特定领域的匹配程度 | 自动化领域分类 + 人工复核 | 以矿山装备制造领域为基准,领域内样本占比 ≥92%;跨领域引入的通用知识样本须标注并说明用途 | 中级 |
| 3.6.1 特征均衡性 | 关键特征取值分布是否均衡 | 自动化分布统计 | 按关键特征计算分布不均衡度(最大类与最小类样本数之比);主要特征的不均衡度 ≤10:1,超出须在局限性说明中披露并给出对训练影响的评估 | 不均衡度 >30:1 判中级 |
| 3.6.2 来源均衡性 | 不同类别标签的样本数量分布是否均衡,避免数据倾斜导致模型偏见 | 自动化分布统计 + 按来源交叉统计 | 按标签类别与数据来源双维统计;单一来源贡献超过 60% 样本的标签类别须标注来源依赖风险 | 中级 |
| 3.6.3 场景均衡性 | 不同场景的样本数量分布是否均衡 | 自动化分布统计 | 按场景清单统计分布;主要场景间样本数之比 ≤15:1;样本数不足 100 条的场景单列为覆盖不足场景 | 中级 |
| 3.7.1 时间跨度覆盖度 | 时间轴上覆盖的范围,最早与最晚记录时间的间隔 | 自动化时间字段统计 | 按数据类型分别统计:历史图纸与工艺卡片应覆盖足以体现工艺演进的时间跨度;设备过程数据应覆盖完整的生产周期与季节变化;时间分布须无长时段空洞,单一空洞超过跨度 20% 须说明原因 | 低级,影响时序建模的判中级 |
来源均衡性的定义在招标文件原文中表述为"不同类别标签的样本数量分布是否均衡",与指标名称所指的"来源"不完全一致。我方的处理是按两个角度都统计:既按标签类别统计分布均衡度,也按数据来源统计贡献度,两项结论合并出具。这样既回应了原文定义,也补上了指标名称所指的来源维度。该处口径在定制评测方案设计阶段提请甲方确认。
均衡性这一组的判定口径有一点需要在方案中说清:数据不均衡本身不一定是缺陷。按订单设计的产品组织方式决定了某些工作面类型、某些材料牌号天然就少,强行拉平反而会让数据偏离真实分布。因此我方的判定逻辑是两层:不均衡度在可接受范围内即合格;超出范围的,若在局限性说明中如实披露并评估了对训练的影响,判为合格但记录观察项;超出范围且未披露的,判为缺陷。这样处理的理由是均衡性的实际危害在于使用者不知情而不在于分布本身。
81 项三级指标按其判定性质分三种计分方式。
比率型指标按实测比率与合格阈值的关系分档计分。设实测值为 v、合格阈值为 t,达到或优于阈值得满分;未达阈值的按与阈值的距离线性折减,折减到零为止。字段完整性、重复内容程度、格式合规率一类指标属此型。
存在型指标按是否存在该项内容计分,有且合格得满分,有而不完整按完整度折减,无则零分。说明文档维度的多数指标属此型。
风险型指标按检出风险内容的数量与等级计分,无检出得满分,检出高风险内容直接零分并触发否决,检出中低风险内容按数量分档折减。安全规范性八项与隐私规范性一项属此型。
提升型指标按性能提升幅度与阈值的关系分档计分,达到阈值得满分,超出阈值按超出幅度加档(上限为满分),未达阈值按比例折减。模型适配性四项属此型。
每一项三级指标在《指标打分表》中登记其计分类型与分档参数,参数在定制评测方案设计阶段确定并经甲方审核。
二级指标组得分按组内三级指标的项数均权聚合,一级维度得分按维度内各二级组的项数加权聚合,综合总分按三维度权重加权。
招标文件要求"按招标文件约定权重计算数据集综合总分",但招标文件正文未列明三维度的具体权重取值。我方按三个维度在数据集可用性上的决定作用提出建议权重:说明文档 20%、数据质量 50%、模型应用 30%。建议理由是:数据质量决定数据能不能用,权重最高;模型应用决定数据有多大用,权重次之;说明文档决定数据好不好用,权重最低但不可缺。该权重取值在定制评测方案设计阶段提请甲方确认,最终以技术协议与蓝图设计的约定为准。
合格线要回答的是:得分到了多少才算这批数据可以交付使用。单设一条综合总分线并不足够,因为加权聚合会掩盖单一维度的塌陷——三个维度中若有一个远低于其余两个,综合总分仍可能越过 85 分,而数据集在该维度上的缺陷已足以使其不可用。合格判定因此采用双重约束:综合总分 ≥85 分取自招标文件的明确要求,各维度 ≥80 分是为防止维度之间互相填补而设的下限,内控目标 88 分则为复核误差与增量批次的得分波动留出余量。
表 13.5|质量评测方案-26 的「依据」一栏区分了哪些取值来自招标文件、哪些属我方建议,凡属建议的在第二阶段提请甲方确认后执行;「未达时的处置」一栏给出每一种不达标情形的后续动作,使未达标不等于交付中止,而是进入整改、重核与重算的既定流程。否决项各行与合格线各行的差别在于前者不设折减空间,命中即不予认定,需清除后重测该组全部指标。
表 13.5|质量评测方案-26 合格线与否决项设置
| 判定层级 | 合格线 | 依据 | 未达时的处置 |
|---|---|---|---|
| 综合总分 | ≥85 分(百分制),内控目标 88 分 | 招标文件相应条款 | 按缺陷清单整改后重算,整改与重算不另收费 |
| 说明文档维度 | ≥80 分 | 招标文件相应条款各维度达最低合格标准 | 补充或修订说明文档后重核该维度 |
| 数据质量维度 | ≥80 分 | 招标文件相应条款 | 按缺陷分级整改后重核该维度 |
| 模型应用维度 | ≥80 分 | 招标文件相应条款 | 按《数据集迭代优化专项方案》补充样本后重做实验 |
| 安全规范性 2.2 | 检出高风险内容未清除即否决 | 招标文件相应条款 | 该维度总分不予认定,清除后重测该组全部指标 |
| 隐私规范性 2.9 | 检出未脱敏个人信息即否决 | 招标文件相应条款 | 同上 |
| 跨数据集重复 2.7.3 | 基准测试集与训练侧数据集重复须为零 | 招标文件相应条款推论 | 从训练侧移除重复样本后重做模型应用维度实验 |
| 模型性能提升 3.1 | 各项达到约定最低提升阈值 | 招标文件相应条款 | 定位短板补充样本后重做实验,阈值取值以甲方确认为准 |
三个否决项的设置理由各不相同。安全与隐私两项是法律要求,不存在折减空间。跨数据集重复一项是评测有效性的前提:若基准测试集被污染,模型应用维度的全部数字都不能作为结论使用。把它设为否决项是为了避免出现一份"各项指标都合格但结论无意义"的报告。
每一项三级指标的得分在报告中附三样东西:实测值、阈值、证据位置(检测日志的记录编号或复核记录的页码)。甲方或审计方按证据位置可以直接调取原始记录复核。这一安排是为了让报告经得起第三方核查,而不是只能被接受或拒绝。
招标文件要求第三方评测机构结合项目业务场景对各分项指标做灵活适配与调整。本章的定制适配集中在七处,汇总如表 13.5|质量评测方案-27,便于甲方在方案审核时逐项核对。
表 13.5|质量评测方案-27 指标体系的煤机场景定制适配汇总
| 定制处 | 通用做法 | 本项目做法 | 理由 | 对应指标 |
|---|---|---|---|---|
| 文本困惑度分档 | 单一参考区间 | 叙述型与结构型文本分设区间 | 工艺卡片、材料定额类文本句式短、术语密,困惑度天然偏高 | 2.7.1 |
| 图像判定尺度分档 | 统一分辨率与清晰度下限 | 图纸转出图像与现场图像分设判据 | 图纸须分辨工程符号,现场图像须容忍低照度 | 2.7.8、2.7.11 |
| 音频采样率下限 | 按语音通用标准 | 诊断类音频按故障特征频率反推下限 | 采样率不足会把故障特征频段折叠掉 | 2.7.13 |
| 时序缺失分类 | 按缺失率一刀切 | 连续缺失与零星缺失分开统计与定级 | 井下传感器损坏后不予补装,会造成长时段连续空缺 | 2.1.4、2.7.5 |
| 安全检测误判控制 | 纯关键词与模型检出 | 增配工业术语白名单与上下文规则 | "毒性""爆破""冲击"等词在技术语境下是正常术语 | 2.2 全组 |
| 切分键选择 | 按样本随机切分 | 按业务对象标识切分 | 同一图纸、同一炉次、同一焊道会产生多条同源样本 | 3.1 全组 |
| 均衡性判定逻辑 | 不均衡即扣分 | 不均衡且未披露才扣分 | 按订单设计决定某些类别天然稀少,强行拉平会偏离真实分布 | 3.6 全组 |
七处定制均不改动指标名称与定义,只调整判定尺度与执行方式,调整内容逐项写入《指标打分表》并经甲方审核确认。
招标文件规定本次评测依据《高质量数据集质量评测规范》(TC609-5-2025-04)采用"数据质量验证 + 模型应用反馈"的评测方法:数据质量验证融合自动化检测与人工专家复核,从格式规范、逻辑一致性、安全合规等维度完成筛查校验;模型应用反馈依托标准大模型基准环境开展实战化验证,通过模型训练与性能测算量化数据应用效能。
招标文件同时规定,针对涉密工业数据集执行本地离线隔离检测,原始业务数据不得上传公网云端,全流程检测日志、复核记录、模型实验参数完整留存,评测过程可追溯、实验结果可复现。
本方案把招标文件规定的方法落为两条执行主线与三类检测手段。
两条主线是静态数据内生质量检测与基准模型动态应用验证。两者在评测执行阶段并行推进,不是先后关系。并行的理由是动态验证的环境部署与基准模型准备需要时间,若等静态检测全部完成再启动,整体周期会被不必要地拉长;同时静态检测中发现的结构性问题(如跨集重复)会直接影响动态验证的有效性,两线并行时可以及早互通。
三类手段是自动化批量检测、行业专家人工分层复核、基准模型实验。三类手段对 81 项三级指标的分工见表 13.5|质量评测方案-28。一项指标可以由两类手段共同承担,此时两类手段的结论须一致,不一致的转仲裁。
表 13.5|质量评测方案-28 三类检测手段对三维度指标的分工
| 维度与指标组 | 自动化批量检测 | 行业专家人工复核 | 基准模型实验 | 说明 |
|---|---|---|---|---|
| 1.1 基本信息完整性(6 项) | 元数据字段齐备性、规模复算、目录树比对 | 内容充分性与清晰度判断 | — | 自动化判有无,人工判够不够 |
| 1.2 内容特征完整性(5 项) | 分布复算、标签取值比对、模态扫描 | 标签定义无歧义性、示例代表性、局限性披露充分性 | — | 局限性一项以自动化统计反查文档披露 |
| 1.3 建设过程完整性(5 项) | 版本指纹校验、与加工日志比对 | 手册反测标注一致性、流程描述与实际的符合性 | — | 标注手册以反测方式检验 |
| 1.4 应用说明完整性(5 项) | 脚本可运行性、协议可执行性、基线重跑 | 许可条款与来源授权的一致性 | 基线重跑属实验性质 | 三类手段均有参与 |
| 2.1 结构完整性(4 项) | 全量统计与校验 | 抽样确认 | — | 作为接入初校验 |
| 2.2 安全规范性(8 项) | 规则库 + 分类模型全量筛查 | 命中样本全部复核、误判判定 | — | 自动化检出高危样本人工复核覆盖全部 |
| 2.3—2.5(3 项) | 格式与结构校验 | 标注内容合规性、类型匹配性 | — | 2.4.1 与 2.5.1 须人工 |
| 2.6 内容真实性(2 项) | 溯源字段校验、分布一致性检验 | 抽样回源核对、事实准确性判断 | — | 回源核对须人工 |
| 2.7 内容干净性(21 项) | 全量计算为主 | 低分样本抽样复核 | — | 自动化比重最高的一组 |
| 2.8 内容一致性(3 项) | 术语比对、逻辑矛盾校验 | 跨模态语义一致性判断 | 模型辅助比对 | 三类手段均有参与 |
| 2.9—2.11(4 项) | PII 全量检测、术语覆盖统计、来源登记核查 | 领域专业性复核、原创性判断 | — | 2.11.1 以专家复核为主 |
| 3.1 模型适配性(4 项) | 泄漏防护检查 | 裁判评分的人工仲裁 | 四类对照实验 | 以实验为主 |
| 3.2—3.4(4 项) | 分布与规模统计 | 抽样重标一致性 | — | 3.4.1 须独立复核员重标 |
| 3.5—3.7(7 项) | 分布统计、主题相关性计算、时间分布统计 | 行业符合度与流程逻辑复核 | — | 3.5.1 须行业专家 |
招标文件规定静态检测聚焦数据集固有基础质量,围绕保真度、完备性、规整性、均衡性、可用性、可信性六大维度开展核验,用于核查说明文档完整性、数据基础质量、合规隐私、内容干净度等内生属性,分为自动化检测与人工分层复核两类方式。
招标文件在此处给出的六大维度是核验的视角,与第 4 章的三维度指标体系是两套不同的切分,不是两套指标。我方把六大维度作为检测组织方式使用:同一视角下的指标集中检测,便于复用同一批工具与同一次数据扫描,减少对数据集的重复读取。映射关系见表 13.5|质量评测方案-29。
表 13.5|质量评测方案-29 六大核验维度与三级指标的映射
| 核验维度 | 核验的问题 | 覆盖的三级指标 | 项数 |
|---|---|---|---|
| 保真度 | 数据是否如实反映它所代表的事实 | 2.6.1 内容可追溯、2.6.2 内容准确性、2.7 音视频基础质量九项(2.7.10、2.7.12—2.7.15、2.7.18—2.7.21) | 11 |
| 完备性 | 该有的内容是否都在 | 2.1 全四项、2.7.4 文本完整度、2.7.5 信息缺失度、1.1—1.4 说明文档全二十一项 | 27 |
| 规整性 | 形式上是否整齐合规 | 2.3.1 字段格式规范性、2.4.1 标注规范性、2.8.3 格式一致性、2.7.6 文本纯净度、2.7.8 图像分辨率、2.7.16 视频分辨率 | 6 |
| 均衡性 | 分布是否偏斜 | 3.6 全三项、3.2 全两项、3.7.1 时间跨度覆盖度 | 6 |
| 可用性 | 能不能直接用起来 | 1.1.6 使用便捷性、2.1.2 文件完整性、2.7.1 文本困惑度、2.7.7 文本连贯度、2.7.9 图像重复度、2.7.11 图像清晰度、2.7.17 视频重复度、2.7.3 重复内容程度、2.7.2 知识信息密度 | 9 |
| 可信性 | 内容是否安全合规可信 | 2.2 全八项、2.9.1 隐私规范性、2.10 全两项、2.11.1 领域专业性、2.5.1 类型一致性、2.8.1 概念一致性、2.8.2 语义一致性、3.5 全三项 | 18 |
表中项数合计超过 81,原因是部分指标同时属于两个核验视角(如 2.7.11 图像清晰度既关乎可用性也关乎保真度)。重复计入不影响检测执行,因为检测按指标执行、按视角组织,一项指标只检一次、结论在多个视角下引用。
招标文件在实施过程中列明自动化批量检测的内容:元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私个人信息、内容安全筛查,输出结构化缺陷清单。我方的自动化检测按六个检测通道组织,每个通道对应一组工具与一套规则配置。
元文档与结构通道。 校验数据集的元数据文件完整性、目录树与声明一致性、文件可打开性与哈希、版本指纹可复算。这一通道在数据集接入时先跑一遍,作为初校验,不通过的数据集不进入后续检测。
字段与格式通道。 按字段配置的正则、值域、量纲规则做全量校验,统计空值与占位符频次,输出字段级合规报表。本通道的规则配置来自数据集的数据字典,若数据字典缺失则本通道无法执行,这一依赖关系在准备阶段即须确认。
重复与相似通道。 对文本做精确哈希与近似相似度双通道去重,对图像与视频做感知哈希与特征相似度,对音频做指纹比对。本通道另承担跨数据集重复检测,即基准测试集与其余三类数据集的交叉比对。
音视频基础质量通道。 批量提取分辨率、帧率、时长、采样率、位深度、比特率等客观参数,计算信噪比、清晰度、动态范围等派生指标,按模态与用途的分档阈值判定。
隐私检测通道。 对文本做命名实体识别与正则匹配,识别姓名、工号、身份证号、手机号、住址、银行账号;对图像做人脸检测;对音频做声纹存在性检测。检出项全部转人工复核,并执行关联复原测试。
内容安全通道。 关键词规则库与分类模型双路并行,覆盖八类风险内容;配置工业术语白名单与上下文规则以控制误判;全量检测,检出项全部转人工复核。
六个通道的输出统一汇入结构化缺陷清单,字段格式见第 2.3 节所列的六个必填字段。检测日志按通道分别留存,日志内容包含检测时间、工具与规则版本、输入文件清单、处理样本数、检出数、异常与跳过记录。日志的完整性是可追溯的基础,也是审计时最先被查的材料。
招标文件在实施过程中列明人工复核的范围:逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标,对自动化检出的高危样本全部复核,完成缺陷判定。
"分层"是这一环节的关键设计,否则人工复核会变成无法完成的工作量。我方按三层组织。
第一层 全量复核层。 对象是自动化检出的高风险样本,包括安全规范性八项与隐私规范性检出的全部命中样本。这一层不抽样,逐条复核并判定是真命中还是误判。真命中的进缺陷清单,误判的进白名单迭代记录。招标文件要求"对自动化检出高危样本 100% 复核",我方的落实方式即这一层,复核覆盖以复核记录条数与自动化命中条数的一致性核对,覆盖率趋向全部,承诺基线为不低于 99.5%,未完成条目在当轮报告中列明并在下一轮补齐。
第二层 专业判断层。 对象是必须靠专业知识判断的指标,包括领域专业性 2.11.1、行业符合度 3.5.1、内容真实性 2.6.2、跨模态语义一致性 2.8.2、标注规范性 2.4.1、标注准确性 3.4.1。这一层按分层随机抽样执行,抽样设计见第 5.5 节。复核由具备矿山装备制造背景的行业专家承担。
第三层 文档评审层。 对象是说明文档维度的 21 项指标。这一层由评测组逐项评审,采用双人独立打分、分差超过一档转第三人仲裁的方式。评审记录逐项留存评分与理由。
表 13.5|质量评测方案-30 人工分层复核的三层设计
| 层级 | 复核对象 | 抽取方式 | 复核人员 | 判定方式 | 记录内容 |
|---|---|---|---|---|---|
| 全量复核层 | 安全与隐私类自动化命中样本 | 不抽样,全部 | 内容安全复核员 + 保密管理人员会签涉密项 | 真命中 / 误判二分判定 | 样本编号、命中规则、判定结论、判定人、时间 |
| 专业判断层 | 领域专业性、行业符合度、内容真实性、跨模态一致性、标注规范性与准确性 | 分层随机抽样 | 矿山装备制造行业专家 | 合格 / 不合格 + 缺陷成因 | 样本编号、判定结论、依据条款、具体问题描述 |
| 文档评审层 | 说明文档维度 21 项 | 逐项,非抽样 | 评测组文档评审员 | 分档打分 | 逐项评分、理由、缺项清单 |
三层之上另设仲裁机制:同一样本在两名复核员之间结论不一致时,提交第三人仲裁;仲裁仍不能决的,提交评测方案评审会裁定,裁定结论记入《评测口径裁定记录》并作为后续同类样本的判定依据。这一机制的实际作用是把判定口径的分歧沉淀下来,避免同一类问题在不同轮次得到不同结论。
图 13.5|质量评测方案-6 双线并行的数据流与责任边界。数据来源:招标文件 3.2.8.2.3 节与 3.2.8.2.4 节第 3 阶段。原始数据全程不出甲方内网隔离区。
招标文件规定动态验证聚焦数据集落地工业人工智能场景的实际价值,弥补静态检测"只看数据、不看应用"的短板,通过标准化对照实验量化数据集对模型训练效果的提升幅度,验证场景适配、样本均衡、标注质量三个层面的水平。
四类实验的设计已在第 2.2 节与第 4.4.1 节给出。本节补充三件事:可复现性的具体做法、实验环境的资源需求、实验结论的解释口径。
招标文件要求实验结果可复现。可复现不是一句承诺,它要靠交付三件材料实现。
环境镜像清单。 记录操作系统版本、驱动版本、计算框架版本、依赖库版本及其哈希。清单以文件形式交付,甲方按清单可在同一隔离环境内重建环境。
脚本与配置。 训练脚本、评测脚本及其全部配置文件,配置中的超参取值不留默认值而逐项写明。裁判模型的提示词模板与评分规则一并交付,这是裁判评分可复现的前提。
数据划分与随机种子。 训练、验证、测试三部分的样本标识清单,以及训练与评测过程中使用的全部随机种子。
交付这三件材料后,甲方或第三方按材料重跑,主要指标的偏差应落在 ±1.5 个百分点以内。这一数值是我方的可复现判定口径,写进报告并作为验收核查项。超出偏差时按三步排查:先核环境版本,再核数据划分,最后核随机性来源,排查过程与结论记入实验台账。
每一次实验在台账中登记十一项:实验编号、实验目的、数据集标识与版本、基准模型与版本、微调方式与超参、数据划分清单标识、评测指标与脚本版本、随机种子、起止时间、执行人、结果摘要。台账是动态验证部分的核心过程资料,归入质量档案的模型实验册。
表 13.5|质量评测方案-31 四类实验的环境与资源需求口径
| 实验项 | 计算资源需求口径 | 单轮实验周期口径 | 重跑次数 | 备注 |
|---|---|---|---|---|
| 文本类微调对照 | 按基准模型参数量与低秩适应的显存占用核算,部署在甲方内网隔离区的训练节点 | 按样本量与序列长度核算,含评测在内 | 不少于 3 次取均值与标准差 | 多次重跑以排除随机性影响 |
| 场景类分割微调 | 按输入分辨率与批量大小核算 | 同上 | 不少于 3 次 | 图纸类输入分辨率较高,显存需求相应提高 |
| 语音类微调对照 | 按音频时长总量核算 | 同上 | 不少于 3 次 | 零样本组无训练开销 |
| 视频类多模态微调 | 四类中资源需求最高,按帧采样策略与片段长度核算 | 同上 | 不少于 3 次 | 若资源受限则降低帧采样密度并在报告中说明 |
实验的具体资源配置须在准备阶段依据甲方内网隔离区的实际可用算力确定,稿件中标注为【待填:甲方内网隔离区可用于评测的算力资源配置】。若可用算力不足以支撑视频类多模态实验,我方的回退路径是降低帧采样密度与片段长度,在报告中说明降低后的配置及其对结论可比性的影响,而不是跳过该项实验。
实验给出的是性能差量,把差量解释为数据质量结论需要一条明确的口径,否则容易过度解读。我方的解释口径有三条。
其一,差量为正且达到阈值,结论是该数据集对该类任务有可量化的正向作用,作用幅度为实测值。不把它解释为"数据集质量优秀",因为差量还受基准模型的初始能力影响。
其二,差量为正但未达阈值,结论是数据集有正向作用但不足,须按分组评测结果定位短板。分组评测是定位短板的手段,不是补充说明——哪一个业务域、哪一道工序、哪一类标签的提升明显偏低,短板就在那里。
其三,差量为负或不显著,结论须分三种情形判断:若静态检测显示该数据集存在跨集重复或标注一致性偏低,归因于数据问题;若测试集本身样本量过小导致指标波动大,归因于评测设计问题并补充测试样本重做;若两者皆不成立,则归因于该类数据与该基准模型的任务形态不匹配,须在报告中说明并建议调整基准模型选型。三种情形的区分依据是静态检测结论与多次重跑的标准差,不靠主观判断。
招标文件规定综合评测判定包含加权计分与问题闭环两部分:加权计分汇总静态自动化量化得分、人工分项打分、动态模型效能得分,按约定权重计算综合总分;问题闭环针对不合格项汇总缺陷、分级输出整改指引,待甲方完成数据优化后复用全套静态与动态评测标准开展复测校验。
加权计分的具体方法已在第 4.5 节给出,此处补充三类得分的汇总关系。静态自动化量化得分来自自动化六通道,覆盖以自动化为主要手段的指标;人工分项打分来自人工三层复核,覆盖须专业判断与文档评审的指标;动态模型效能得分来自四类对照实验,覆盖模型应用维度。三类得分不是三个独立的分数再加权,而是按指标归集:每一项三级指标的得分由其指派的手段给出,若一项指标由两类手段共同承担,取两者结论一致后的得分,不一致则经仲裁后取定值。这样处理的原因是按手段加权会出现同一指标被重复计入的问题。
问题闭环的流程设计已在第 2.3 节与图 13.5|质量评测方案-2 给出。此处补充一条:复测复用的是"全套静态 + 动态评测标准",即同一份《指标打分表》、同一套阈值、同一套抽样设计、同一套实验配置。复测不降低标准,也不新增标准。若因依据换版须调整标准,按第 3.6 节的变更跟踪机制处理,调整前后的版本并存。
表 13.5|质量评测方案-32 缺陷分级与处置规则
| 缺陷等级 | 判定条件 | 处置要求 | 复检方式 | 对综合总分的影响 |
|---|---|---|---|---|
| 高级 | 涉政、色情、暴恐、涉密、未脱敏个人信息;追溯链断裂;跨数据集重复;主键类字段缺失或格式错误;标注一致率显著低于阈值 | 须整改,整改前该数据集不予通过 | 全量重检或按抽样复查零发现判定 | 触发否决项的不予认定总分;其余按该指标零分计入 |
| 中级 | 格式不规范;非关键字段缺失;文本或图像质量低于阈值;术语不统一;分布偏斜未披露;说明文档缺项 | 须整改,可按批次分期完成 | 按整改批次抽样复检 | 按折减计分 |
| 低级 | 零星缺失;非关键的重复;时长或帧率略低于建议值;辅助字段空值 | 建议整改,可在后续版本中处理 | 下一轮集中复测时一并核查 | 按小幅折减计分 |
抽样设计直接决定评测结论的可信度,招标文件在实施过程中要求"依据统一抽样规则,区分高风险全量检测项、普通指标分层抽样方案"。本节给出抽样的具体口径。
全量检测的范围是三类:安全规范性八项与隐私规范性一项(高风险内容必须全量筛查);结构完整性四项与格式类指标(自动化成本低,无须抽样);重复与相似检测(抽样无法发现重复)。其余指标按分层抽样执行,主要是须人工判断的专业类指标。
分层不按样本顺序随机,而按四个业务维度交叉分层:业务域(供需计划、产品工艺设计、制造过程、质量四域)、模态(文本、图像、音频、视频)、来源(甲方业务系统、现场采集、公开资料、授权第三方、合成)、时间批次(按采集或加工的时间段分组)。四维交叉形成抽样层,每层内随机抽取。
分层的理由是矿山装备数据在这四个维度上的质量差异明显:企业资源计划系统的数据录入规范、质量较好,而生产管理系统中部分工单填写不完整;现场采集的音视频质量受条件影响大;合成样本的问题形态与真实样本不同。不分层的简单随机抽样会让样本量大的层主导结论,样本量小但风险高的层被忽略。
表 13.5|质量评测方案-33 抽样样本量设计口径
| 检测目的 | 置信水平 | 可接受误差或上限 | 样本量确定方式 | 适用指标 |
|---|---|---|---|---|
| 判定合格率是否达到阈值 | 95% | 绝对误差 ±3 个百分点 | 按比例估计的样本量公式计算,按层样本量占比分配 | 标注规范性、领域专业性、行业符合度、内容准确性 |
| 判定高风险缺陷是否残留 | 95% | 残留率上限 0.1% | 按零发现判定所需的最小样本量计算 | 复测后的安全与隐私类抽样复查 |
| 估计标注一致率 | 95% | 绝对误差 ±5 个百分点 | 同上,按标签类型分别计算 | 标注准确性、标注规范性 |
| 验证自动化检测的漏检 | 90% | 漏检率上限 1% | 对自动化未命中样本按层抽取 | 安全规范性、隐私规范性的漏检验证 |
每一轮评测的实际样本量在定制评测方案设计阶段按数据集的实际规模计算并记入方案附件,复测沿用同一套样本量设计口径,但重新抽样(不复用首轮样本),以避免甲方针对首轮样本做定向整改而整体质量未改善。这一条写在方案里是必要的:复用首轮样本的复测看起来分数会好看,但说明不了问题。
抽样过程须可复现,做法是记录抽样的随机种子、分层定义、各层总体样本数与抽取数,并输出抽中样本的标识清单。清单随报告归档。审计方按种子与分层定义可以复现同一组抽样结果,这是抽样不被质疑的前提。
评测本身也需要被质量控制,否则"数据集质量合格"这一结论的可信度无从保证。我方设四道控制。
一致性控制。 人工复核采用双人独立判定,统计复核员之间的一致率。一致率低于 85% 时暂停该项复核,重新对齐判定口径后再继续,已完成的部分重做。一致率逐项统计并写入报告,使甲方知道哪些结论的判定分歧较大。
抽检控制。 由不参与本轮复核的人员对已完成的复核记录做抽检,抽检比例不低于 5%,核对判定结论与依据是否相符。抽检发现结论与依据不符的,该复核员负责的全部样本重做。
工具校准控制。 自动化检测工具在每轮评测开始前用一组已知结论的标定样本做校准,校准样本含正例与反例,校准结果(准确率、召回率)记入检测日志。校准不通过的工具不投入使用。标定样本集由我方在准备阶段建立并交甲方确认,建立方式是从历史数据中人工标注一批含已知缺陷的样本。
结论复核控制。 评测报告在出具前由未参与检测执行的技术人员做结论复核,核对三件事:每一项指标的得分是否有证据支撑、综合总分的计算是否正确、缺陷清单与指标结论是否一致。复核意见与处理记录随报告归档。
四道控制的记录构成报告可信度的证据链。招标文件要求评测过程可追溯,这四道控制的记录正是追溯时要查的内容。
招标文件规定全流程分为评测准备、定制评测方案设计、评测执行、缺陷分析整改与复测、成果汇总交付五大标准化阶段,服务周期内同步配套增量数据抽检与合规巡检常态化服务;各阶段工作与"数据质量静态检测 + 基准模型动态验证"评测方法一一对应,完整覆盖说明文档、数据质量、模型应用全部指标;全流程操作、检测日志、实验记录、复核材料归档留存,所有指标检测结果可追溯、实验可复现。
五个阶段之间以阶段关口衔接,关口不过不进入下一阶段。这一安排来自招标文件对各阶段验收要求的规定,我方把它落为明确的关口条件与关口交付物。
关口之所以逐阶段设定,而不是只在最终验收时统一把关,原因在于评测工作的返工成本随阶段递增:抽样策略若在阶段一定错,阶段三的全部检测结果都不可用;指标打分表若在阶段二漏项,阶段五的综合总分就无从核算。把确认前置到每一道关口,是以前期的确认成本换取后期的返工风险。
表 13.5|质量评测方案-34 以「关口条件」一栏为判据、「阶段产出物」一栏为证据,两栏配对使用——产出物齐备且满足关口条件,方进入下一阶段。「周期口径」一栏不写绝对天数,而写该阶段工期的决定因素,具体日历排期在蓝图设计阶段随数据集封版计划一并核定,避免在数据集规模与接入配合进度尚未明确时给出无从兑现的时点。需要特别留意的是末行的常态化服务:它不占据时间轴上的某一段,而是与阶段三之后的全部工作并行,覆盖服务期全程。整表读下来可以确认,五个阶段的衔接不依赖进度催办,而依赖关口条件的逐条核对。
表 13.5|质量评测方案-34 五阶段的工作内容、产出物、关口条件与周期口径
| 阶段 | 主要工作 | 阶段产出物 | 关口条件 | 周期口径 |
|---|---|---|---|---|
| 一 评测准备 | 数据集摸底调研、业务场景梳理、离线评测环境部署、抽样策略制定与接入初校验 | 数据集台账、业务规则与涉密边界清单、环境部署验收单、抽样策略、初校验报告 | 甲方确认无误方可进入下一阶段 | 按数据集规模与系统接入配合进度核定 |
| 二 定制评测方案设计 | 搭建适配行业的指标打分表、拆分指标对应评测手段、编制静态与动态一体化执行方案、明确缺陷分级与合格标准 | 指标打分表、评测手段分工表、一体化执行方案、缺陷分级与合格标准文件 | 方案完整覆盖全部评测指标、贴合业务实际,经甲方审核确认 | 与阶段一部分并行 |
| 三 评测执行 | 静态检测与动态验证双线同步执行,完成全部指标检测 | 自动化检测日志与缺陷清单、人工复核记录、模型实验台账与性能基线报告、指标打分结果 | 完成全部指标检测、无指标漏检、缺陷清单完整同步甲方 | 占全流程时间最长 |
| 四 缺陷分析、整改指导与复测闭环 | 综合分析缺陷、出具分级整改指引、输出迭代优化专项方案、甲方整改后开展集中复测 | 缺陷台账、分级整改指引、迭代优化专项方案、复测报告 | 复测后高危缺陷清零、各维度得分达到最低合格线 | 受甲方整改进度影响,设并行安排 |
| 五 成果汇总与正式报告交付、整体验收 | 归集全流程原始资料、按权重核算分项与综合得分、编制盖章正式评测报告 | 《行业高质量数据集质量评测报告》、五分册质量档案 | 满足整体验收四项硬性标准 | 报告出具含第三方机构出证周期 |
| 常态化 服务期内持续服务 | 增量数据抽检、合规巡检 | 增量抽检月报、合规巡检记录 | 按季度向甲方汇报 | 覆盖服务期全程 |
图 13.5|质量评测方案-7 五阶段时序与关口。数据来源:招标文件 3.2.8.2.4 节五阶段划分与各阶段验收要求。阶段周期不在图中标注绝对时长,待蓝图设计确定数据集封版时点后排定。
招标文件列明本阶段四项工作,并规定本阶段对应的评测工作是"前置静态检测基础准备,为全量说明文档、数据质量指标检测提供环境支撑",阶段验收要求是甲方确认无误后方可进入下一阶段。
招标文件要求梳理甲方工业文本、图像、音频、视频四类数据集台账,统计样本规模、模态分布、数据来源、涉密敏感范围,梳理现有配套说明文档。
摸底调研的产出是《数据集台账》,逐数据集登记十二项:数据集名称与标识、所属业务域、模态构成与各模态样本量、规模量(Token 数、条数、组数)、数据来源明细、采集时间范围、涉密与敏感范围初判、配套说明文档清单与完整度、版本与版本指纹、存储位置与访问方式、责任部门、已知问题。
登记方式不是让甲方填表。四大数据集由本项目加工生产,其台账信息在加工环节即已产生,摸底调研的工作是把加工环节的产出清单与评测所需的台账字段对齐,补齐缺失字段。对甲方既有的、非本项目产出的数据集(如历史纸质检测报告的数字化成果),摸底调研须实地核查存储位置与可访问性。
涉密敏感范围的初判在本阶段完成,依据是甲方的数据分级分类目录与保密管理规定。初判结论决定两件事:哪些数据集须在隔离区内检测、哪些内容在报告中不得引用原文。初判结论须经甲方保密管理部门确认,确认记录作为后续检测的作业依据。
招标文件要求对接甲方煤机业务专家,梳理井下运维、设备故障识别、零部件检测等业务规则、行业术语、涉密管控边界。
这一项工作的产出是三份清单,它们直接成为指标判定的依据,不是背景资料。
《业务规则清单》。 登记可用于自动化校验的确定性规则,例如:工序顺序须符合工艺路线约束,下道工序不得早于本车间全部工序报工完成;压弯件展开长须按中性层公式与板厚、折弯角度、模具的对应关系换算;热处理的淬火与回火温度、保温时间须落在作业指导书规定的固定程序内;链环直径与槽宽档位、装机功率的组合须落在在产型谱范围内。每条规则登记规则表达式、适用数据集、违反时的缺陷等级。
《行业术语字典》。 登记规范名称、常见异名、定义、所属分类体系位置。重点覆盖装备与部件名称(刮板输送机、中部槽、链轮轴组、减速器、液压支架、采煤机、破碎机)、工作面类型(超长、常规、大采高、薄煤层)、备料工序名称(取自工艺部门确认的正式工序字典,共 28 道)、材料牌号、工艺术语(坡口、倒角、粗糙度、中性层、层间温度、预热温度)、检验术语(咬边、未熔合、气孔、裂纹、开裂、变形、硬度不足)。字典是概念一致性 2.8.1 与领域专业性 2.11.1 的判定基准。
《涉密管控边界清单》。 登记须管控的内容类别、识别规则、管控方式。按第 3.4 节划定的三类内容分别登记:矿方敏感信息、甲方技术秘密、第三方保密约定约束的内容。
三份清单的编制方式是我方起草、甲方业务专家评审确认。评审方式为专题会议,逐条过。会议记录与确认签字作为清单生效的依据,稿件中标注为【待填:业务规则清单、行业术语字典、涉密管控边界清单的甲方确认记录】。
招标文件要求将自动化质检工具与基准模型推理环境部署至甲方内网隔离环境,完成软硬件调试,原始数据禁止导出、上传公网。
部署工作分六步,每步有验证动作。
第一步,确认隔离区的网络边界与访问控制策略,取得甲方信息部门的环境交付确认。第二步,部署自动化检测工具链,含六个检测通道的工具与规则库。第三步,部署基准模型的训练与推理环境,含计算框架、驱动与依赖库,按环境镜像清单逐项核对版本。
第四步,配置数据只读挂载,验证评测账号对数据集目录只有读权限、对评测工作区有读写权限。第五步,网络隔离实测,在评测环境内尝试访问外部地址并记录结果,验证记录由甲方信息部门会签。第六步,工具校准,用标定样本集跑一遍,核对准确率与召回率,校准结果记入检测日志。
六步完成后出具《环境部署验收单》,内容含环境清单、权限配置、隔离实测记录、校准结果。验收单经甲方会签后,本阶段的环境准备工作关闭。未经会签的环境不开始评测作业,这是硬性约束。
环境的资源规格依赖甲方隔离区的实际可用算力,已在第 5.3.2 节标注占位。此处补充一条回退安排:若隔离区算力不足以在计划周期内完成四类实验,我方的处理顺序是先降低视频类实验的帧采样密度与片段长度、再延长实验排期、最后与甲方协商临时增配算力,三种处理均在报告中说明其对结论可比性的影响。不采取的做法是把实验挪到隔离区外执行。
招标文件要求依据统一抽样规则,区分高风险全量检测项与普通指标分层抽样方案,完成数据集接入与文件完整性初校验。
抽样策略的设计口径已在第 5.5 节给出。本阶段的工作是把口径落为具体数字:按《数据集台账》登记的实际规模,逐指标计算样本量,按四维分层分配到各层,输出《抽样策略文件》。文件内容含分层定义、各层总体样本数、各层抽取数、随机种子、抽中样本标识清单。
接入初校验是数据集进入评测的门槛检查,内容为结构完整性四项指标的全量检测(见第 4.3.1 节):文件可打开性与哈希校验、整条空记录统计、模态齐备性统计、主键类字段非空率统计。初校验不通过的数据集退回加工环节修复后重新接入,不进入后续检测。这一设计是为了避免在基础结构有问题的数据上做后续全部检测,造成返工。
本阶段的验收要求是甲方确认无误后方可进入下一阶段。我方提交的确认材料为五件:《数据集台账》、三份业务清单、《环境部署验收单》、《抽样策略文件》、《接入初校验报告》。甲方确认方式与时限在实施计划中约定。
招标文件列明本阶段四项工作,阶段验收要求是方案须完整覆盖全部评测指标、贴合企业业务实际场景,经甲方审核确认后方可通过。
招标文件要求对标《高质量数据集质量评测规范》及甲方内部制度,搭建适配行业的完整指标打分表,明确三大维度所有三级指标的评测方式、合格阈值、缺陷分级标准。
打分表的结构与登记要素已在第 4.1.2 节给出,定制适配的七处已在第 4.6 节汇总。本阶段的工作是把 81 项三级指标的取值逐项填定。填定的依据有三类:规范给出的通用取值、第一阶段梳理的业务规则与术语字典、我方在同类数据集上的检测经验。三类依据在打分表中逐项标注,便于甲方审核时判断取值的来源。
打分表的审核采用逐项过的方式,不采用整体签批。审核会议按维度分三场,每场对该维度的指标逐项确认评测方式、阈值、缺陷等级。审核意见与修改记录随打分表归档。审核通过的打分表即为本项目评测的作业标准,首轮评测与各轮复测均按此执行。
招标文件要求区分自动化检测指标、人工复核指标、基准模型实验指标,明确每项指标的检测流程与判定规则。
手段分工的结果已在第 5.1 节表 13.5|质量评测方案-28 给出框架。本阶段的工作是逐项落到可执行的检测流程:自动化类指标明确使用哪一个检测通道、规则配置文件路径、输出字段;人工类指标明确抽样来源、复核表单格式、判定选项、记录字段;实验类指标明确实验编号、配置文件、评测脚本入口。
一项指标由两类手段共同承担时,须明确两类结论的合并规则:是取严、取人工优先、还是转仲裁。不写明合并规则会在执行期产生分歧,这一点在方案中逐项交代。
招标文件要求细化自动化批量检测流程、专家分层复核流程、基准模型对照实验的完整步骤、训练参数、测试集隔离规则。
执行方案是实施期的作业手册,内容分四部分。
自动化批量检测流程:六个通道的执行顺序、输入输出、并行与串行关系、异常处理与重试、日志格式、缺陷清单生成规则。
专家分层复核流程:三层的触发条件、样本分发方式、复核表单、双人独立判定与仲裁流程、一致率统计方式、抽检安排。
基准模型对照实验步骤:四类实验的逐步操作,含环境检查、数据划分核验、泄漏防护三道检查、对照组训练、实验组训练、评测执行、重跑取均、结果入台账。训练参数逐项写明取值,不留默认。
测试集隔离规则:测试集的封存方式、解封授权流程(双人授权并留痕)、使用后的重新封存、禁止将测试集样本用于任何训练或调参用途的作业约束、违反时的处理。
招标文件要求明确缺陷分级处置规则、复测校验标准、各维度指标合格分数线、综合总分合格标准。
四项内容分别在第 5.4 节表 13.5|质量评测方案-32(缺陷分级与处置)、第 4.5.3 节表 13.5|质量评测方案-26(合格线与否决项)给出。本阶段的工作是把这两张表的取值与甲方确认,并补充复测校验标准的细化内容:每一类缺陷的复检方式、抽样比例、通过条件,以及复测与首轮评测在抽样上的差异(重新抽样而非复用首轮样本,理由见第 5.5.3 节)。
本阶段的验收要求是方案完整覆盖全部评测指标。覆盖性的核对方式是用第 4.1.1 节表 13.5|质量评测方案-7 的 81 项指标清单逐项打钩,缺一项即不通过。核对结果以《指标覆盖核对表》形式随方案提交。
招标文件规定本阶段同步落地两大评测方法,完整执行全部指标检测工作,分两条线同步推进;阶段验收要求是完成全部指标检测、无指标漏检、缺陷清单完整同步甲方。
招标文件对本线列明两项工作:自动化批量检测(元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私个人信息、内容安全筛查,输出结构化缺陷清单);行业专家人工分层复核(逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标,对自动化检出高危样本全部复核,完成缺陷判定)。
执行上的两件事需要在方案中交代清楚。
一是顺序与依赖。 自动化检测先行,人工复核的样本来源部分依赖自动化结果(全量复核层的对象就是自动化命中样本)。因此执行顺序是:元文档与结构通道 → 字段格式通道与重复相似通道并行 → 音视频质量通道、隐私通道、内容安全通道并行 → 人工全量复核层 → 人工专业判断层与文档评审层并行。顺序安排的目的是让人工资源在自动化结果出来之后集中投入,避免等待。
二是漏检的防止。 阶段验收要求"无指标漏检",落实办法是三道核对:每个检测通道结束时核对处理样本数与台账登记的样本总数是否一致,差额逐条说明;每一项三级指标结束时核对是否已生成结论,无结论的列入待检清单;阶段结束时用《指标覆盖核对表》逐项打钩,与第二阶段提交的同一张表比对。三道核对的记录随缺陷清单一并同步甲方。
缺陷清单的同步方式是按批次滚动同步而非等全部完成后一次性提交。理由很实际:甲方的整改需要时间,越早拿到清单越早可以开始处置,整体周期能压缩。滚动同步的批次划分按业务域或按检测通道,每批同步时附该批的检测范围说明,避免甲方误以为是全部结论。
招标文件要求结合行业应用场景构建基准测试,量化数据集对模型训练的实际效用提升。
本线的执行内容已在第 4.4.1 节与第 5.3 节给出。本节补充与静态线的互通安排。
两线之间有三处必须互通。第一处是跨数据集重复:静态线的重复相似通道一旦发现基准测试集与训练侧数据集存在重复,立即通报动态线,动态线暂停相关实验直至重复样本移除,否则实验结论不可用。第二处是标注一致性:静态线的标注准确性复核若发现一致率明显偏低,通报动态线,动态线在解释实验结果时须考虑这一因素,不把性能不足全部归因于样本量。第三处是数据划分:动态线的测试集封存清单须与静态线共享,静态线在抽样时避开测试集样本,避免抽样复核过程泄漏测试集内容。
三处互通以书面通报方式执行,通报记录归入过程记录册。这一安排看似琐碎,但它是两线并行而结论不互相拆台的必要条件。
本阶段产出五类材料:自动化检测日志(按通道)、结构化缺陷清单(按批次)、人工复核记录(按层级)、模型实验台账与性能基线报告、三维度指标打分结果。
五类材料的同步安排见表 13.5|质量评测方案-35。
产出材料的同步安排单列成表,是因为评测执行阶段的材料并非等到阶段结束才一次性交付:缺陷清单早一批送出,甲方的整改就早一批开始,复测排期的压力也随之下降。同步频次因此不按统一周期设定,而按材料的时效价值——缺陷清单按批次滚动,模型实验材料按实验分别送出,指标打分结果则待汇总后统一出具,以免阶段性数字被当作最终结论引用。
表 13.5|质量评测方案-35 的「同步方式」一栏给出每类材料是推送原件还是推送索引,「接收方」一栏明确对接部门,二者合看即可确定每一类材料的流转路径。末行是边界:涉密内容相关记录不随同步流出隔离区,由甲方保密管理部门在区内查阅。这一安排支撑的是第 7.2 节离线隔离评测环境的承诺——材料的可及性通过索引调阅与区内查阅实现,不以放宽隔离边界换取流转便利。
表 13.5|质量评测方案-35 评测执行阶段的产出同步安排
| 产出材料 | 同步方式 | 同步频次 | 接收方 | 用途 |
|---|---|---|---|---|
| 结构化缺陷清单 | 按批次滚动同步 | 每批检测完成即同步 | 甲方数据管理部门 | 启动整改准备 |
| 自动化检测日志 | 随缺陷清单附送索引,原件留在隔离区工作区 | 同上 | 甲方可随时调阅 | 缺陷溯源与审计 |
| 人工复核记录 | 汇总后同步,含一致率统计 | 按层级完成即同步 | 甲方数据管理部门 | 判定依据核查 |
| 模型实验台账与性能基线报告 | 四类实验分别同步 | 每类实验完成即同步 | 甲方数据管理部门与技术部门 | 短板定位与优化决策 |
| 三维度指标打分结果 | 汇总同步 | 阶段结束时 | 甲方 | 阶段验收依据 |
| 涉密内容相关记录 | 不出隔离区,在区内查阅 | 按需 | 甲方保密管理部门 | 合规核查 |
招标文件规定首轮评测完成后,整合静态与动态评测的全部指标打分结果与缺陷记录开展综合分析,具体三项工作为:梳理三大维度指标下的全部缺陷并标注缺陷对应指标名称、样本 ID、缺陷成因;针对每类缺陷出具标准化整改操作指引,明确修正标准与复检校验规则;结合模型动态验证短板,输出数据集场景补充、样本均衡优化、标注规范完善专项优化方案。
缺陷清单的六个必填字段与五类成因分类已在第 2.3 节给出。本阶段的工作是在首轮全部结论出来之后做跨指标的归并分析,找出缺陷之间的关联。
归并分析要回答三个问题。同一批样本是否在多项指标上同时不合格——若是,说明问题出在该批样本的来源或采集环节,整改应针对来源而不是逐指标修补。同一类缺陷是否集中在特定业务域或特定工序——若是,说明该域的加工规则或标注口径有系统性问题。缺陷数量与检测时间是否相关——若是,说明加工过程中某个时点的配置变更引入了问题。
三个问题的分析结论写入《缺陷综合分析报告》,它比缺陷清单更有用:清单告诉甲方有哪些问题,分析报告告诉甲方该从哪里下手。
整改指引按缺陷类型编制,每一类一份,内容五段:缺陷描述(命中的指标、判定依据、典型样本示例)、影响评估(该缺陷对模型训练的具体影响)、修正标准(改到什么程度算合格)、分步修正操作(逐步的操作说明,含工具与参数)、复检校验规则(复检的检测手段、阈值、抽样比例、通过条件)。
指引的编写原则是可执行。写"提升标注质量"不构成指引;写"该批样本的焊缝边界标注交并比低于 0.85,需按标注手册第 4.2 节的边界定义重标,重标后由独立复核员抽样 200 条核验交并比,均值达到 0.85 即通过"才构成指引。
对高级缺陷另附处置时限建议与风险提示;对中低级缺陷按批次分期的建议安排。
数据集迭代优化专项方案分三部分,均来自动态验证的分组评测结论。
场景补充。 列出分组评测中性能明显偏低的场景或业务域,给出建议补充的样本类型、数量区间与采集途径。例如若备料工艺数据集在某几道工序上的裁判评分明显偏低,而这几道工序的样本数不足,建议补充即指向这几道工序的历史图纸与工艺卡配对样本。
样本均衡优化。 列出均衡性指标超出阈值且影响实验结果的特征维度,给出调整建议。建议分两类:补采稀少类别的真实样本(优先)、对稀少类别做有控制的增强或合成(次选,须登记生成来源并通过分布一致性检验)。不建议的做法是对多数类做简单欠采样,因为会丢弃真实信息。
标注规范完善。 列出标注一致性偏低的标签类型,分析是手册规则不清还是执行走偏(判断依据见第 4.3.3 节),给出手册修订建议或标注培训与复核加强建议。
专项方案交甲方决策,我方不代行数据加工与标注的执行决定。这是责任边界。
招标文件规定:甲方完成数据修正后,供应商应开展完整复测,重新核算说明文档、数据质量、模型应用三大维度各项指标得分,直至所有缺陷整改完成;服务期内提供不少于一定次数的集中复测,具体次数在实施阶段由项目蓝图设计要求定义。阶段验收要求是复测后高危缺陷全部清零、各维度指标得分达到最低合格线。
我方承诺服务期内提供不少于 4 次集中复测,分别对应四个时点:首轮缺陷整改完成后的整改复测、服务期中段的增量数据集中复测、竣工验收前复测、最终验收前复测。最终次数随项目蓝图设计确认,蓝图设计要求的次数高于 4 次时按蓝图设计执行。
集中复测的范围不是全部重做。我方按三档确定复测范围,既保证结论有效,也避免把时间耗在未受影响的指标上。
表 13.5|质量评测方案-36 集中复测的范围分档
| 复测档位 | 适用情形 | 复测范围 | 抽样安排 | 得分处理 |
|---|---|---|---|---|
| 全量复测 | 触发否决项后的整改;数据集版本大幅变更(规模变动超过 20%) | 三维度全部 81 项指标,含四类模型实验 | 重新抽样,样本量按新规模重算 | 综合总分重新核算 |
| 关联复测 | 一般缺陷整改完成后 | 缺陷命中的指标,加上与之存在依赖关系的指标(如标注规范性整改后须连带复测标注准确性与模型适配性) | 重新抽样,不复用首轮样本 | 被复测指标的得分更新,其余沿用,综合总分重算 |
| 增量抽检 | 服务期内新增批次数据 | 结构完整性、安全规范性、隐私规范性、格式规范性、重复内容程度为必检项,其余按风险抽检 | 按增量规模设计样本量 | 单独出具增量抽检结论,不改动已出具的首轮总分 |
三档之外另有一条规则:任一轮复测中若出现首轮未曾出现的新缺陷类型,该类型对应的指标升级为全量复测,并在报告中说明新缺陷的出现时点与可能成因。这一条是为了防止整改引入新问题而被抽样漏过。
复测的报告形式是《复测报告》,内容含本轮复测范围、重新抽样清单、各指标更新后的得分、缺陷闭环状态、与上一轮的得分对比。每一轮复测报告独立成册,归入整改闭环册。
招标文件在招标文件相应条款要求服务周期内同步配套增量数据抽检与合规巡检常态化服务。这两项与集中复测的区别是:集中复测是针对整改后的完整核验,增量抽检与合规巡检是服务期内的持续监控。
增量数据抽检按月执行。对象是本月新增入集的数据批次,必检项见表 13.5|质量评测方案-36 增量抽检档。产出《增量抽检月报》,内容含本月增量规模、抽检样本量、各必检项结论、发现的缺陷与处置建议。月报按季度汇总向甲方汇报。
合规巡检按季度执行。对象是全数据集的安全与隐私类指标,巡检方式为重新跑一遍安全与隐私通道的自动化检测,加上对命中项的人工复核。巡检的必要性在于两点:规则库与分类模型在迭代,新版本可能检出旧版本漏过的内容;法律法规与行业规范可能换版,判定尺度随之变化。巡检产出《合规巡检记录》,发现问题按缺陷分级处置,高级缺陷即时通报不等季度汇总。
两项常态化服务的工作量与人员安排见第 7.1 节,所需资源计入服务期的持续投入。
招标文件规定本阶段三项工作:归集评测准备、方案设计、评测执行、整改复测全流程的原始资料;根据静态检测得分、人工复核得分、动态模型实验得分按权重核算三大维度分项得分及综合总分;编制全套盖章正式评测报告,逐条列明每项指标的最终得分情况。阶段交付物为《行业高质量数据集质量评测报告》。
归集不是在最后一个阶段才开始的动作。四个前置阶段的材料在产生时即按质量档案的五分册归位,本阶段做的是完整性核对与索引编制。
核对方式是用《档案清单核对表》逐项打钩,清单的条目来自前四个阶段的产出物清单(见表 13.5|质量评测方案-34)。缺失项逐条追补,确实无法补齐的说明原因。索引编制的产出是《质量档案总索引》,它是四类用途调阅的入口,内容见第 8 章。
核算方法已在第 4.5 节给出。本节说明核算的执行与复核。
核算分三步:按指标归集三类手段的得分,形成 81 项三级指标得分表;按二级指标组聚合,形成 22 组得分表;按维度权重加权,形成三维度分项得分与综合总分。每一步的中间结果都留存,使任一环节的数字可被单独核对。
核算完成后由未参与检测执行的技术人员做结论复核,核对内容见第 5.6 节第四道控制。复核通过后的得分表方可进入报告编制。
若复测改变了部分指标的得分,综合总分按最新得分重算,报告中同时给出首轮得分与复测后得分的对比表,使甲方看到整改的实际效果。
招标文件要求编制全套盖章正式评测报告,逐条列明每项指标的最终得分情况,交付物为《行业高质量数据集质量评测报告》。
报告的结构见第 8.2 节。此处说明出证安排与责任边界。
正式盖章评测报告由具备相应资质的第三方评测机构出具。我方在其中承担的工作是:按资质条件核验并提请甲方确认评测机构的选定;统一评测方案、指标打分表与判定口径,使第三方机构的检测工作在同一套标准下执行;组织全流程的检测执行、人工复核与模型实验;归集过程资料并编制报告底稿;组织整改指导与集中复测。第三方机构承担的是独立核验与出证责任,其资质要求与选定方式见第 7.1 节。
出证周期须计入项目进度。第三方机构的现场核验、内部技术审核与出证流程需要时间,我方在实施计划中为此预留独立的时间窗,不把出证挤在验收申请前。出证周期的具体天数在机构选定后确认,稿件中标注为【待填:第三方评测机构的资质证明、核验周期与出证周期】。
报告的份数、载体形式(纸质与电子)、涉密版本与公开版本的区分,按甲方档案管理要求确定。涉密内容在公开版本中以样本编号替代原文,原文留在涉密版本中并按甲方保密管理规定保管。
招标文件列明四项整体验收硬性标准。我方逐条应答如表 13.5|质量评测方案-37。
硬性标准的逐条应答要解决的是口径问题:同一条标准,招标文件给出的是结论性表述,执行时则需要一个可判定、可取证的操作口径,两者若不预先对齐,验收现场就会出现各方依据不同判法各算一套的情形。对齐的办法是为每一条标准同时给出判定方法与证据来源,并把判定口径指回本节前文已经定义的表格,不在此另立一套标准。
表 13.5|质量评测方案-37 的「判定口径」一栏即是这种指回:高危缺陷清零的判法见第 2.1 节表 13.5|质量评测方案-1,维度与总分的合格线见第 4.5.3 节表 13.5|质量评测方案-26,性能提升阈值见第 2.2 节表 13.5|质量评测方案-2,档案完整性见第 8 章;「我方应答」一栏给出本方案对该条标准的承诺口径,「提交证据」一栏列出验收时实际提交的材料,逐项可点验。四条合读可以确认:整体验收所依据的全部判据在实施期之初即已确定并经甲方确认,验收环节核对的是执行结果,而不是重新商定标准。
表 13.5|质量评测方案-37 整体验收硬性标准的应答与证据
| 验收标准 | 我方应答 | 判定口径 | 提交证据 | |
|---|---|---|---|---|
| 全部高危缺陷清零,中低危缺陷整改完成率 100% | 高危缺陷按复测抽样复查零发现判定达标;中低危整改完成率趋向全部完成,承诺基线 99%,未闭环项须有甲方确认的不整改评估 | 见第 2.1 节表 13.5 | 质量评测方案-1 | 缺陷台账闭环状态、复测抽样复查记录、不整改评估单 |
| 三大维度得分均达到最低合格标准,综合总分 ≥85 分 | 各维度 ≥80 分、综合 ≥85 分,内控目标 88 分 | 见第 4.5.3 节表 13.5 | 质量评测方案-26 | 指标得分表、维度分项得分、综合总分核算过程 |
| 模型动态验证各项性能提升达到约定阈值 | 按四类数据集分别达到约定最低提升阈值;阈值取值以第二阶段甲方确认的取值为准 | 见第 2.2 节表 13.5 | 质量评测方案-2 | 性能基线报告、实验台账、可复现材料三件套 |
| 全套交付成果完整规范,可直接用于归档、审计、达标认证 | 质量档案按五分册组织,四类用途各配调阅清单 | 见第 8 章 | 质量档案总索引、档案清单核对表 |
四项标准中第一项与第三项的落地口径此前已说明,不再重复。第四项"可直接用于"这一要求的落实方式是在档案组织上按用途反推,而不是在交付时才整理,这是第 2.4 节与第 8 章的设计出发点。
本章不重复第 6 章已说明的部署步骤,只讲组织与资源。
本项目的质量评测涉及三方:甲方、我方、第三方评测机构。三方的职责若不划清,会在整改与出证两个环节产生扯皮。
甲方的职责是提供数据集与配套说明文档、提供内网隔离环境与算力资源、确认业务规则与术语字典、确认评测方案与指标打分表、执行数据修正、确认第三方评测机构的选定、组织阶段验收。其中「执行数据修正」一项须按缺陷成因理解:出在本包加工环节(标注、对齐、合成、增强、切分、质检)的差错由我方修正并承担费用,不占用甲方人力;需要甲方实际补录的只有原始业务事实在源头缺失的那一类。五类成因的划分与责任归属见本章表 13.5|质量评测方案-41A,该表随技术协议定版。
我方的职责是统一评测口径与方案设计、组织检测执行与人工复核、搭建并运行模型对照实验、编制缺陷清单与整改指引、输出迭代优化专项方案、归集质量档案、组织集中复测、提供常态化增量抽检与合规巡检。
第三方评测机构的职责是按统一方案开展独立核验、出具盖章正式评测报告、对报告结论承担资质范围内的责任。
表 13.5|质量评测方案-38 评测组织的角色与人员配置口径
| 角色 | 承担工作 | 人员条件 | 配置口径 |
|---|---|---|---|
| 评测总负责 | 方案统筹、口径裁定、与甲方的对接 | 具备数据治理与数据集建设项目的统筹经验 | 全程 1 名 |
| 指标与方案设计 | 指标打分表、执行方案、抽样设计 | 熟悉数据质量评测规范与统计抽样方法 | 设计阶段集中投入 |
| 自动化检测执行 | 六通道的工具运行、规则维护、日志管理 | 具备数据处理与质检工具运维能力 | 执行阶段按通道分工 |
| 行业专家复核 | 领域专业性、行业符合度、内容真实性、跨模态一致性复核 | 具备矿山装备制造背景,熟悉刮板输送机结构与型谱、备料与焊接工艺、热处理工艺与检验标准 | 专业判断层按抽样量配置,双人独立判定 |
| 内容安全复核 | 安全与隐私类命中样本的全量复核 | 熟悉内容安全判定标准 | 全量复核层按命中量配置 |
| 文档评审 | 说明文档维度 21 项评审 | 熟悉数据集文档规范 | 双人独立打分 + 第三人仲裁 |
| 模型实验执行 | 四类对照实验的环境、训练、评测、台账 | 具备模型微调与评测工程能力 | 执行阶段全程 |
| 结论复核与质量控制 | 四道质量控制、报告结论复核 | 不参与本轮检测执行 | 独立于执行团队 |
人员的实名与资质材料不在本节范围,按招标文件要求随团队配置部分提交。本节的人员条件是岗位要求,稿件中标注为【待填:行业专家名单与资质材料、第三方评测机构资质证明】。
部署步骤已在第 6.2.3 节给出,本节说明环境的构成与管控。
环境构成四部分:数据只读区(挂载四大数据集的封版副本与配套文档,评测账号只有读权限)、测试集封存区(独立存储,解封须双人授权并留痕)、检测工具区(六个检测通道的工具与规则库)、实验与工作区(模型训练推理环境、检测中间结果、日志与复核记录)。
管控四条:原始业务数据不出甲方内网,检测与实验全程在隔离区内进行;评测环境不接入互联网、不使用公网云端服务;移动存储介质的使用按甲方保密管理规定审批,审批记录逐次留存;外部人员入场作业全程双人在场并留痕。
图 13.5|质量评测方案-8 离线隔离环境的边界与数据流向。数据来源:招标文件 3.2.8.2.3 节涉密工业数据集本地离线隔离检测要求与 3.2.8.2.4 节第 1 阶段环境部署要求。
本项目的数据集加工生产与运营依托奔牛数据智能平台平台(技术方案卷「数据集运营服务管理平台方案」一节),质量评测在其上使用三类能力:质检规则的配置与执行、缺陷台账的流转与闭环管理、数据集版本与指纹的管理。
三类能力与本节评测工作的衔接点如下。质检规则的配置与评测的《指标打分表》共用同一套规则表达方式,使加工过程内的工序级质检与封版后的评测在判据上同源,避免同一条规则在两处有不同写法。缺陷台账的流转使缺陷清单从生成到整改到复检的状态变化在平台上可查,这是闭环判定的数据基础。数据集版本与指纹的管理使每一轮评测的对象版本明确,复测时可以准确回到某一版本比对。
自动化检测通道的工具选型、规则库的维护方式、模型实验的工程实现属于实施细节,不在本节展开;与工具链的衔接见技术方案卷「智能工具链(三):质量与验证类」一节。
招标文件要求全流程操作、检测日志、实验记录、复核材料归档留存,所有指标检测结果可追溯、实验可复现。
留存的具体做法是三条。
按产生即留存,不事后整理。 检测日志由工具自动写入,人工复核记录在复核表单提交时即入库,实验台账在实验执行脚本中自动登记。这样安排的目的是避免事后补记造成记录与实际不符。
留存内容带足定位信息。 每一条记录含时间、执行人或工具版本、输入对象标识、输出结论。缺少定位信息的记录在审计时无法使用。
留存期限与载体按甲方档案管理要求。 电子记录在隔离区内留存,按甲方要求的周期备份;涉密记录按保密管理规定保管。具体期限与载体要求待甲方确认,稿件中标注为【待填:甲方档案管理办法对评测记录的留存期限与载体要求】。
可追溯的验证方式是抽查:在阶段验收时由甲方随机指定若干项指标结论,我方按证据位置调取原始记录,核对结论与记录是否一致。抽查不通过的,该项结论重新出具。这一条写进方案里,是把"可追溯"变成可检验的承诺而不是一句话。
档案按用途反推组织的理由已在第 2.4 节说明。五个分册的内容与对应用途见表 13.5|质量评测方案-39。
分册的切分依据既不是材料产生的先后,也不是材料的载体形式,而是调阅场景:达标验收要看指标逐项有无结论,资产备案要看来源与权属,专项审计要看过程是否留痕,内部合规检查要看安全与隐私类指标的检测覆盖与处置记录,模型实验材料因其可复现性要求自成体系。五册之分正是这五类需求的直接映射,一份材料只归一册,避免同一文件在多处重复归档而版本各异。
表 13.5|质量评测方案-39 的「主要用途」一栏是分册归属的判据,「来源阶段」一栏指明该册材料在实施过程中的产生时点,两栏并读可以确认:档案不是在交付前临时汇编的,而是随各阶段工作同步沉淀,阶段关口的交付物即是档案的入册件。这一组织方式支撑的是第 2.4 节提出的交付承诺——交付的不是一个待整理的资料包,而是四类用途均可直接取用的成品档案。
表 13.5|质量评测方案-39 质量档案的五分册构成
| 分册 | 内容 | 主要用途 | 来源阶段 |
|---|---|---|---|
| 一 指标结论册 | 81 项三级指标的得分表、22 组二级指标得分、三维度分项得分、综合总分核算过程、指标覆盖核对表、适用性裁剪清单 | 达标验收、内部合规检查 | 阶段三、阶段五 |
| 二 过程记录册 | 数据集台账、业务规则清单、行业术语字典、涉密管控边界清单、环境部署验收单、抽样策略文件与抽中样本清单、自动化检测日志、人工复核记录与一致率统计、四道质量控制记录、评测口径裁定记录 | 专项审计 | 阶段一至阶段三 |
| 三 权属与合规册 | 数据来源登记表、使用许可与授权依据、一手数据占比统计、数据分级登记表、隐私检测与脱敏记录、内容安全检测清单、合规巡检记录 | 资产备案、内部合规检查 | 阶段一、阶段三、常态化 |
| 四 模型实验册 | 实验台账、环境镜像清单、脚本与配置、数据划分清单与随机种子、泄漏防护检查记录、性能基线报告、分组评测结果、数据集迭代优化专项方案 | 达标验收、技术复核 | 阶段三、阶段四 |
| 五 整改闭环册 | 结构化缺陷清单(按批次)、缺陷综合分析报告、分级整改操作指引、缺陷台账与闭环状态、各轮复测报告、增量抽检月报、不整改评估单、数据集管理规范修订建议 | 达标验收、专项审计 | 阶段四、阶段五、常态化 |
四类用途各自的调阅清单见表 13.5|质量评测方案-40。清单的作用是让甲方在接受审计或办理备案时按清单抽取,不必重新梳理。表中「需调阅的分册与条目」一栏给出抽取范围,「核心证据」一栏说明这一组材料合在一起能够证明什么,后者是判断抽取是否完整的依据——证据链不齐时,补的是缺的那一环,而不是把五册全部调出。
表 13.5|质量评测方案-40 四类用途的档案调阅清单
| 用途 | 需调阅的分册与条目 | 核心证据 |
|---|---|---|
| 行业高质量数据集达标验收 | 一册全部;四册性能基线报告与实验台账;五册复测报告 + 盖章正式评测报告 | 指标逐项结论 + 可追溯的检测记录 + 性能提升实测 |
| 企业数据资产备案 | 三册全部;一册综合总分与维度得分;二册数据集台账 | 来源合法性 + 权属与许可 + 规模与版本 + 质量结论 |
| 上级数字化专项审计 | 二册全部;五册缺陷清单与闭环状态;四册泄漏防护检查记录 | 过程留痕 + 抽样可复现 + 无选择性检测 |
| 内部合规检查 | 三册隐私与内容安全部分;一册安全与隐私类指标得分;五册合规巡检记录 | 安全与隐私指标检测覆盖 + 处置记录 |
招标文件要求报告逐条列明每项指标的最终得分情况,交付物名称为《行业高质量数据集质量评测报告》。报告的结构按七章组织。
第 1 章 评测概况。评测对象(四大数据集的名称、版本、规模)、评测依据(四层依据的具体文件与版本)、评测范围与适用性裁剪、评测时间与轮次、参与方与职责。
第 2 章 评测方案摘要。指标体系(三维度 22 组 81 项)、检测手段分工、抽样设计、权重与合格线、缺陷分级标准。摘要的作用是让读者在看结论之前知道结论是怎么得出的。
第 3 章 指标检测结果。按维度分三节,每节逐项列出三级指标的实测值、阈值、得分、证据位置。这一章是报告的主体,逐条列明是招标文件的明确要求。
第四章 模型应用验证结果。四类实验的配置、对照结果、提升幅度与阈值对比、分组评测结果、可复现材料索引。
第五章 缺陷与整改。缺陷清单汇总(按等级与成因分类统计)、整改指引索引、各轮复测结果与得分变化对比、闭环状态。
第 6 章 综合判定。三维度分项得分、权重与加权过程、综合总分、否决项核对结果、与整体验收硬性标准的逐条对照。
第 7 章 结论与建议。质量结论、适用范围与使用注意(即数据集可以用于什么、在什么条件下须谨慎)、数据集管理规范修订建议。
附件:指标打分表、抽中样本清单、检测日志索引、实验台账、档案总索引。
报告在首轮评测后出具一版,每轮集中复测后出具复测报告,最终验收前出具汇总版。汇总版以最终得分为准,并保留各轮的得分变化记录。
交付物清单要回答的是:评测服务的成果在什么时点、以什么形式、交到谁手里可以被点验。清单不按材料类型归堆,而按阶段关口排列,原因在于每一项交付物同时承担两个作用——既是本阶段工作完成的凭证,也是下一阶段开工的输入;台账不定则抽样无从设计,打分表不填定则检测无从执行。
表 13.5|质量评测方案-41 的「交付时点」一栏与第 6 章的五阶段关口一一对应,「形式」一栏区分电子件、纸质签字件与甲方会签件,凡需甲方确认的均已注明;「对应单元」一栏给出该交付物在招标文件中的出处,使清单的完备性可以逐条核对而不必凭列举。按时点竖读可以看出每一道关口需要点验的内容,按单元横读可以确认招标文件提出的交付要求均有对应物。清单共 24 项,覆盖五个阶段的关口交付与服务期内的常态化成果;其中既有一次性交付的报告与方案,也有按批次、按月、按季度滚动产出的记录,后者的持续产出是服务期内质量结论保持有效的依据。
表 13.5|质量评测方案-41 本节评测工作的交付物清单
| 序号 | 交付物 | 交付时点 | 形式 |
|---|---|---|---|
| 1 | 数据集台账 | 阶段一结束 | 电子表格 + 纸质签字版 |
| 2 | 业务规则清单、行业术语字典、涉密管控边界清单 | 阶段一结束 | 文档,甲方确认签字 |
| 3 | 环境部署验收单 | 阶段一结束 | 文档,甲方会签 |
| 4 | 抽样策略文件与抽中样本清单 | 阶段一结束 | 文档 + 电子清单 |
| 5 | 接入初校验报告 | 阶段一结束 | 文档 |
| 6 | 指标打分表(填定版) | 阶段二结束 | 电子表格 + 甲方审核记录 |
| 7 | 评测手段分工表 | 阶段二结束 | 文档 |
| 8 | 静态与动态一体化评测执行方案 | 阶段二结束 | 文档,甲方审核确认 |
| 9 | 缺陷分级与合格标准文件 | 阶段二结束 | 文档 |
| 10 | 指标覆盖核对表 | 阶段二与阶段三各一次 | 文档 |
| 11 | 自动化检测日志 | 阶段三滚动 | 电子,留存隔离区 |
| 12 | 结构化缺陷清单 | 阶段三滚动 | 电子表格,按批次同步 |
| 13 | 人工复核记录与一致率统计 | 阶段三滚动 | 电子 + 纸质复核表单 |
| 14 | 模型实验台账与性能基线报告 | 阶段三,按实验分别 | 文档 + 可复现材料三件套 |
| 15 | 三维度指标打分结果 | 阶段三结束 | 电子表格 |
| 16 | 缺陷综合分析报告 | 阶段四 | 文档 |
| 17 | 分级整改操作指引 | 阶段四 | 文档,按缺陷类型分册 |
| 18 | 数据集迭代优化专项方案 | 阶段四 | 文档 |
| 19 | 复测报告 | 每轮复测后 | 文档,不少于 4 轮 |
| 20 | 《行业高质量数据集质量评测报告》(盖章正式版) | 阶段五 | 纸质盖章 + 电子 |
| 21 | 质量档案五分册与总索引 | 阶段五 | 电子 + 纸质目录 |
| 22 | 增量抽检月报 | 服务期内按月 | 文档,按季度汇总汇报 |
| 23 | 合规巡检记录 | 服务期内按季度 | 文档 |
| 24 | 数据集管理规范修订建议 | 每轮复测后 | 文档 |
清单中第 20 项的盖章出证由具备相应资质的第三方评测机构完成,其余各项由我方组织产出。报告与档案的份数、涉密与公开版本的区分按甲方档案管理要求确定。
本章只讲评测成果在验收中的位置与作用,项目整体的验收组织安排见服务方案卷项目管理措施部分。
招标文件 9.1 验收标准规定,本项目验收采用二次验收模式,即竣工验收和最终验收:项目实施完毕由投标方提出申请,由招标方讨论通过后进行竣工验收;在系统试运行一段时间并调试至稳定,且满足招标文件、投标文件、技术协议、合同、蓝图设计方案等要求后,由投标方提出申请,由招标方对项目进行总体成果评估,评估通过后组织最终验收;最终验收在竣工验收基础上侧重实施效果与运行、维护质量的评价。招标文件同时规定项目组在达到合同和技术协议规定的技术指标后提出验收申请。
评测成果在两次验收中的作用不同,这一点须在方案中说清,否则会出现"竣工验收时数据集还在整改"的被动局面。
竣工验收时点,评测成果须具备的状态是:首轮全量评测已完成、缺陷清单已完整输出并同步、整改指引已交付、首轮整改复测已完成、三维度得分达到合格线、盖章正式评测报告已出具。对应本节的第三至第五阶段完成。
最终验收时点,评测成果须具备的状态是:服务期内的集中复测均已完成、增量抽检与合规巡检记录完整、所有缺陷闭环或有甲方确认的不整改评估、质量档案五分册完整并经档案清单核对、数据集管理规范修订建议已提交。
两个时点的材料清单在实施计划中与项目总体验收节点对齐。我方在竣工验收前预留第三方机构的出证时间窗(见第 6.6.3 节),避免报告未出而验收申请已提。
招标文件列明验收要点四条。我方逐条应答。
第一条要求按照合同与技术协议所规定条款进行验收,达到合同和技术协议规定的技术指标。本节的评测相关指标在技术协议中落为可核对的条款:三维度合格线与综合总分合格线、四类模型实验的最低提升阈值、集中复测次数、交付物清单。四项在技术协议签订时逐项确认取值,确认后的取值即为验收判据。本节第 2.1 节、第 2.2 节、第 4.5.3 节、第 6.5.4 节给出的是我方的承诺基线,技术协议中的取值不低于这些基线。
第二条要求项目软件、硬件的技术指标同时满足或高于招标文件、投标文件、技术协议、合同、蓝图设计方案等要求。本节涉及的技术指标为评测相关指标,不涉及软硬件选型。我方的应答是:评测方案的指标体系以招标文件 3.2.8.2.2 节列明的 81 项为基准,不删减;阈值取值不低于规范通用取值,行业定制处的调整均为使判定更贴合业务实际,调整理由逐项说明并经甲方审核(见第 4.6 节)。
第三条要求由投标方组织测试工作,在招标方的配合下形成验收测试报告,作为验收结论。本节的评测工作即数据集部分的测试工作,由我方组织、甲方配合(配合内容为数据与环境提供、业务规则确认、数据修正执行)。《行业高质量数据集质量评测报告》即数据集部分的验收测试报告,作为该部分的验收结论依据。
第四条要求投标方按照招标文件要求、合同要求、技术协议要求及招标方提出的其他要求提供交付资料,由招标方检查资料的正确性及完整性,相关资料须完整有效,符合招标方档案管理要求。本节的交付资料见第 8.3 节清单,档案组织见第 8.1 节。符合甲方档案管理要求这一条的落实方式是在阶段一即取得甲方档案管理办法并按其要求确定载体、格式与留存期限(见第 7.4 节的待填项),而不是在交付时才调整。
招标文件 9.2 验收流程规定:项目建设内容按招标文件、投标文件、技术协议、合同、蓝图设计方案等文件要求完成,项目交付物完整且通过招标方评审后方可申请验收;招标方负责人员在投标方递交交付物后进行综合评估并给予验收确认;投标方必须在验收前按招标方提出的整改要求完成对项目交付物的优化改进,整改过程发生的一切费用由投标方承担,未按要求整改的不予验收。
我方对这一条的应答是明确的:评测相关交付物在验收前按甲方提出的整改要求完成优化改进,整改费用由我方承担。这里需要区分两类整改,以免执行期产生歧义。
第一类是评测交付物本身的整改,即报告、档案、指引等我方产出物不符合要求(如指标结论缺证据、档案组织不符合甲方档案管理要求、报告结构不完整)。这一类由我方整改,费用由我方承担,复核与重新提交不另计费。
第二类是数据集本身的缺陷整改,即评测检出的数据缺陷。招标文件规定数据修正由甲方完成,我方承担整改指引的编制与整改后的复测。但「数据修正由甲方完成」这一条在执行时须按缺陷成因再分一层,否则会被读成我方把自己加工环节的差错也推给甲方去改——那不是本方案的意思,也不是一个负责的做法。
缺陷成因分五类,责任与费用按成因归属,如表 13.5|质量评测方案-41A。归属的判定原则只有一条:缺陷出在哪一道工序,就由负责那道工序的一方修正。 本包承担四类数据集的采集、预处理、标注、合成、增强、质检与验证全部加工环节,因此这些环节里产生的差错一律由我方修正、费用由我方承担,不计入甲方的数据修正工作量,也不占用甲方的人力。真正需要甲方补录的只有一类——原始业务事实在源头就不存在或已不可查,这一类我方无从修正,因为要补的不是加工结果而是业务记录本身。
表 13.5|质量评测方案-41A 缺陷成因五类划分与整改责任归属
| 成因类别 | 典型表现 | 修正方 | 费用 | 判定依据 |
|---|---|---|---|---|
| 一 加工环节差错 | 标注错标漏标、对齐错配、合成样本不合工艺实际、切分泄漏、增强改变了事实 | **我方** | 我方承担,不另计费 | 血缘记录指向我方某一加工环节与工具版本 |
| 二 加工口径不一致 | 同一字段在不同批次口径不同、标注规范执行偏差、单位或时间基准不统一 | **我方** | 我方承担,不另计费 | 批次间口径比对与标注规范核对 |
| 三 源数据可取但未取全 | 源系统中确有记录而本次采集范围、增量水位或权限未覆盖 | **我方**(重新采集),甲方开通必要权限 | 我方承担加工侧费用 | 源系统比对可查到该记录 |
| 四 原始业务事实缺失 | 历史纸质记录已不可查、井下测点损坏期间无数据、当年未留存该字段 | **甲方**(补录或确认不可补) | 按合同与技术协议约定 | 源系统与档案均无该记录,经双方书面确认 |
| 五 业务规则或判据需重新确认 | 工艺窗口、术语口径、缺陷类别定义在评测中发现与现行规程不符 | 甲方确认规则,我方按确认结果重做 | 我方承担重做费用 | 规程比对结论与甲方业务口径确认件 |
表 13.5|质量评测方案-41A 数据来源:成因类别依本章第 2 章各评测维度实际检出的缺陷类型归并;责任归属依「缺陷出在哪道工序由该工序负责方修正」的原则,并与招标文件关于数据修正由甲方完成的规定衔接——该规定在本表中对应第四类与第五类的甲方动作。本表随技术协议定版。
按这一分层,五类中有三类(一、二、三)由我方修正并承担费用,一类(五)由甲方确认规则后我方重做并承担费用,只有第四类需要甲方实际投入补录人力。本章第 2.1 节已写明的「已评估不整改项」两种情形(原始业务事实缺失、整改成本显著高于其对模型训练的影响且经甲方书面确认),对应的正是第四类里确实补不齐的部分,两处口径一致。
我方承诺的不少于 4 次集中复测与服务期内的增量抽检、合规巡检,均在本包服务范围内,不因复测轮次而另行计费。因第一类、第二类成因引起的复测不计入这 4 次额度——我方自己的差错导致的重测,不占用甲方的复测次数。超出 4 次且非我方原因导致的额外集中复测,按技术协议约定处理。
两类整改的区分与上表的五类成因归属一并写入技术协议,并与第 7.1 节的三方职责边界表对齐,避免验收阶段就「谁该改、谁付钱、人力谁出」产生分歧。这一条是责任边界的划分,不是对招标文件要求的保留。
本章不属于招标文件的某一具体条款,而是对 3.2.8 全节可行性的补充说明。评分项明文评价方案的"可行性",而可行性最直接的体现是对执行期障碍的预判与应对。本章列出的七项风险均为本项目的具体情形,不是通用风险清单。
风险管理在本项目上要回答的问题只有一个:若执行期真的出事,方案还能不能按期交出合格的评测结论。七项风险的筛选标准不是发生概率的高低,而是其一旦发生会否直接影响某一项验收结论的成立——算力不足牵动模型应用维度的全部数字,基准模型不可获取牵动对照口径,整改进度牵动复测排期与竣工时点,机构档期牵动盖章出证,配套文档缺失牵动说明文档维度的判定,安全检测误判牵动人工复核的可承受工作量,增量入集牵动结论的时效性。
表 13.5|质量评测方案-42 以「触发条件—影响—应对措施—回退路径」四栏并置:触发条件一栏给出判断风险是否已经发生的客观依据,应对措施一栏是风险尚未发生时的前置动作,回退路径一栏是风险已经发生后仍能交出结论的降级方案。四栏齐备意味着每一项风险都不以「加强管理」收尾,而是落到可执行的动作与可接受的降级结果上。四项合读可以确认:本方案的交付承诺在上述七种不利情形下均有兑现路径,差别只在结论的精度与时点,不在结论的有无。
表 13.5|质量评测方案-42 评测实施的风险识别与应对
| 风险 | 触发条件 | 影响 | 应对措施 | 回退路径 | |
|---|---|---|---|---|---|
| 一 隔离区算力不足以支撑四类模型实验 | 甲方内网隔离区可用算力低于视频类多模态实验的需求 | 模型应用维度实验无法按计划完成,该维度结论缺失 | 在阶段一即核定可用算力并据此排定实验顺序,资源需求最高的视频类实验排在最后;提前向甲方书面说明资源缺口 | 降低帧采样密度与片段长度,在报告中说明配置变更对结论可比性的影响;不把实验挪到隔离区外执行 | |
| 二 招标文件指定的基准模型版本不可获取 | 指定的开源模型版本在实施期已下架或不可在隔离区内获取 | 实验无法按指定基准执行,结论与招标文件口径不符 | 在阶段一即核验四类基准模型的可获取性并离线缓存;核验结果书面报甲方 | 采用同参数量级、同架构的开源模型替代,替代方案与对比口径影响评估经甲方书面确认后执行,报告中说明替代原因 | |
| 三 甲方数据修正进度影响复测排期 | 缺陷清单交付后甲方整改周期超出计划 | 复测延后,连带影响竣工验收时点 | 缺陷清单按批次滚动同步而非一次性提交,使整改可以提前开始;整改指引写到可执行粒度,减少甲方理解成本;按月向甲方同步整改进度看板 | 调整复测档位,先对已整改批次做关联复测而不等全部完成;未整改项在报告中列为未闭环并附进度说明 | |
| 四 第三方评测机构的资质与出证周期不确定 | 具备相应资质的机构档期紧张或出证周期长于预期 | 盖章正式报告出具延后 | 在阶段一即完成机构资质核验与档期锁定,并在实施计划中为出证预留独立时间窗 | 提前启动机构的现场核验,使核验与我方的检测执行并行;出证周期无法压缩时,提前向甲方书面报告并调整验收申请时点 | |
| 五 说明文档缺失导致指标无法检测 | 数据集的数据字典、标注手册或版本日志缺失 | 字段格式通道无规则可配,说明文档维度多项指标判为缺项 | 在阶段一的摸底调研中即核查配套文档完整度,缺失项列入待补清单并明确责任方与时限 | 文档缺失时该指标判为缺项并计零分,不以"无法检测"回避;补齐后在下一轮集中复测中重核 | |
| 六 安全内容检测误判率过高淹没真实风险 | 工业术语与通用风险词重叠,规则库产生大量误报 | 人工复核工作量失控,真实高风险样本被淹没 | 在阶段一即建立工业术语白名单与上下文规则,由行业专家编制、甲方确认;首轮评测中按误判记录迭代白名单并留存版本 | 误判率仍高时按业务域分批检测,优先完成高风险来源(公开渠道采集部分)的复核;白名单迭代过程与版本在档案中留存以备审计 | |
| 七 增量数据持续入集使评测结论时效性受限 | 服务期内数据集持续有新批次进来 | 已出具的评测结论不能代表当前版本 | 每一份报告明确标注评测对象的版本与版本指纹;增量抽检按月执行并出具月报;合规巡检按季度全集重跑安全与隐私通道 | 增量规模累计超过已评测规模 20% 时触发全量复测(见表 13.5 | 质量评测方案-36),重新核算综合总分 |
七项风险中有两项的化解主要取决于甲方的配合,在此明确提出,以便在蓝图设计阶段落实。
第一项是数据修正的责任与资源。 招标文件明确数据修正由甲方完成,我方提供整改指引与复测。整改的实际工作量取决于首轮缺陷数量,而缺陷数量在评测前无法准确预估。建议在蓝图设计阶段约定整改的响应时限与资源投入口径,并约定整改进度的同步方式。我方的做法是提供可执行到操作步骤的指引,并按月同步进度看板,把甲方的理解与协调成本压到最低。
第二项是配套说明文档的齐备。 说明文档维度 21 项指标的检测对象是随数据集交付的配套资料。本项目的四大数据集由加工生产环节产出,其配套文档(数据卡、数据字典、标注手册、版本日志)在加工环节即应同步产出。建议在加工环节的交付标准中把这四类文档列为封版的前置条件,使数据集封版时文档即齐备,而不是在评测时才发现缺失。这一建议已通过本卷与技术方案卷的衔接提出(见第 11 章)。
本章说明本节与投标文件其他部分的衔接边界,使同一事项不在两处用不同口径讲两遍。
接口表要回答的是:同一个事项在两处出现时,以哪一处的口径为准。四处接口的选取依据是事项的重合点——加工生产环节的工序级质检与本节的独立评测都在判定数据的对错,规模与数据卡部分声明的数字与本节的规模完整性指标都在清点数据集有多少,治理体系产出的数据标准与术语字典是本节判据的来源,六个专业场景的业务验证与本节的模型应用维度都以模型的表现说话。重合而不划界,同一问题就会被两处用不同的名字记录两遍。
表 13.5|质量评测方案-43 中,「衔接事项」一栏指出重合点,「边界划分」一栏给出归属判断,「本节的处理」一栏说明本节在该归属下实际做什么、沿用对方成果的是哪一部分。关键在「边界划分」一栏,它贯穿同一条准则:数据集封版之前属加工,封版之后属评测;体系与模板的建设属对方章节,建设成果的使用属本节。读完可以确认,四大数据集从加工、评测到场景验证全程只有一套缺陷字典、一套样本标识、一套规模口径。
表 13.5|质量评测方案-43 本节与其他章节的接口与边界
| 对方章节 | 衔接事项 | 边界划分 | 本节的处理 |
|---|---|---|---|
| 技术方案卷 四大数据集加工生产(含标注与质检) | 缺陷字典、样本标识、质检规则 | 加工过程内的工序级质检属该节;数据集封版后的独立评测属本节 | 本节的指标判据与该节的质检规则共用同一套规则表达方式与同一套缺陷字典,使两处判据同源;本节不重述质检环节的设计 |
| 技术方案卷 四大数据集规模与数据卡 | 规模口径、数据卡字段 | 数据卡的字段定义与填写属该节;数据卡作为说明文档被检测属本节 | 本节说明文档维度 21 项指标的检测对象即该节产出的数据卡与配套文档;规模指标的复算口径以该节声明的统计方式为准 |
| 技术方案卷 数据治理体系 | 数据标准、术语字典、数据分级 | 治理体系的建设属该节;治理成果作为评测依据属本节 | 本节第 6.2.2 节的行业术语字典与第 3.5 节的内部制度清单,取自该节的治理成果,本节不另建一套 |
| 技术方案卷 六个专业场景验证方案 | 场景验证指标、归因口径 | 场景的业务验证属该节;数据集的质量评测属本节 | 本节模型应用维度的分组评测按业务域与工序切分,其分组结果可供该节的场景验证参考;两者的归因口径统一到同一套缺陷字典与样本标识上 |
| 附录佐证卷 标准规范与报告模板 | 指标打分表模板、质检与验证报告模板、数据卡模板 | 模板的格式与样例属该卷;模板在实施期的填定与使用属本节 | 本节的《指标打分表》空表模板随该卷提供;本节产出的报告按该卷的模板格式编制 |
本节与上述章节有三处口径必须一致,不一致会在评标与执行两个环节都产生问题。
第一处是缺陷字典。 加工过程质检、数据集评测、场景验证三处都会产出缺陷记录,若三处的缺陷类型命名与分级标准不同,同一个问题会被记录三次且无法合并统计。统一的做法是以本节第 5.4 节表 13.5|质量评测方案-32 的三级分级与第 2.3 节的五类成因分类为基准,三处共用。
第二处是样本标识。 本节的缺陷清单、复核记录、实验数据划分清单都以样本唯一标识定位,该标识须与加工环节产出的标识一致,并能映射到业务对象标识(施工号、图号、炉次号、焊道号、设备编码)。标识体系的定义属治理体系部分,本节沿用不另定。
第三处是规模口径。 四大数据集的规模数字(预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条)在本节作为规模完整性 3.3.1 的比对基准,与规模与数据卡部分声明的数字必须一致,含四业务域的分列数字。
图 13.5|质量评测方案-9 三道关口的衔接与口径同源。数据来源:本投标文件技术方案卷与服务方案卷的章节分工;招标文件 3.2.6.3 加工环节划分与 3.2.8 评测要求。
索引表 2 为招标文件留白、由我方填写的格子,要求按综合评分表的评分项逐行填写索引页码。本评分项对应该表序号 3 行,填写口径如表 13.5|质量评测方案-44。
表 13.5|质量评测方案-44 索引表 2 第 3 行的填写口径
| 列 | 填写内容 |
|---|---|
| 序号 | 3 |
| 评分项 | 质量评测方案 |
| 评分标准 | 评价数据集质量评测方案的测评依据、评测指标、评测方法、实施过程设计的合理性、可行性。一般得 0-1 分,良好得 2-3 分,优秀得 4-5 分 |
| 索引页码 | 【待填:定稿后本节的起止页码】 |
索引页码在投标文件定稿、页码排定后统一填入,由定稿环节统一处理,不在本节正文中预填。若甲方要求细化到四项设计各自的页码,按测评依据对应第 3 章、评测指标对应第 4 章、评测方法对应第五章、实施过程对应第六章分列填写。
本矩阵以招标文件第五章用户需求书全文为应答对象,并含第六章产品规格表中由投标人填写的表单行,共 1748 个计量单元,纸面范围 p42 至 p140。每条给出招标文件的原要求、我方的响应结论、满足该条所用的手段与验收口径,以及该手段详细论述所在的正文章节。
计量单元沿用招标文件原文的自然单元:一个段落、一条带序号的要求、一张表的一行,各计一个单元。需求书中由排版换行切断的同一条要求(如与本为一句),在矩阵中合并为一行应答,「单元」列把被合并的编号逐一列出,不省略。因此矩阵的行数少于 1748,但 1748 个编号全部在表中出现,可按编号检索。
| 招标文件章节 | 应答位置 |
|---|---|
| 第五章术语定义 | 第 2 节 |
| 第 1 章项目背景(项目目的、六项项目目标) | 第 3 节 |
| 第 2 章项目建设范围(实施范围、业务范围) | 第 4 节 |
| 3.1 软件部分(采购清单、安全软件、非功能性、系统集成要求) | 第 5 节 |
| 3.2.1 服务采购清单 | 第 6 节 |
| 3.2.2 数据资源建设要求(17 类源系统集成、多模态录入) | 第 7 节 |
| 3.2.3 数据集加工生产专项智能工具链建设要求 | 第 8 节 |
| 3.2.4 数据集运营服务管理平台建设要求 | 第 9 节 |
| 3.2.5 系统集成服务要求 | 第 10 节 |
| 3.2.6.1 数据治理规划和实施服务 | 第 11 节 |
| 3.2.6.2 行业大模型训练推理技术服务 | 第 12 节 |
| 3.2.6.3 数据加工生产服务要求(采集至项目管理十个环节) | 第 13 节 |
| 3.2.6.4 数据集建设及指标要求(四大数据集及其它指标) | 第 14 节 |
| 3.2.6.5 数据集场景验证服务要求(六个专业场景、五个通用场景) | 第 15 节 |
| 3.2.6.6 数据集运营推广服务要求 | 第 16 节 |
| 3.2.6.7–3.2.6.13 标准验证、专家库、标注规范、软建设、组织保障、安全合规、知识产权 | 第 17 节 |
| 3.2.7 信息安全风险评估服务要求 | 第 18 节 |
| 3.2.8 数据集质量评测建设要求(评测依据、指标、方法、实施过程) | 第 19 节 |
| 3.3 硬件部分、3.4 网络部分 | 第 20 节 |
| 第 4 章项目建设周期、第 5 章项目管理制度 | 第 21 节 |
| 第 6 章实施团队 | 第 22 节 |
| 第 7 章项目服务(技术支持、迁移、培训、陪产、质保、知识产权、交付地点) | 第 23 节 |
| 第 8 章保密及施工安全、第 9 章项目验收内容及标准 | 第 24 节 |
| 第 10 章其它要求及特殊说明 | 第 25 节 |
表 1-1 本矩阵与招标文件第五章各章节的对应关系。章节划分沿用招标文件原文层级,便于按原文顺序查阅应答位置。
矩阵「响应」列只用下列结论,不使用「基本满足」「原则同意」一类无法判定的说法。
| 结论 | 含义 |
|---|---|
| 完全响应 | 该条要求的全部内容由我方承担,并在正文给出实现手段、指标值与验收口径。其中需招标方开放系统接口、提供原始资料,或需国家认定机构出证方能最终形成的条款,我方承担我方侧全部义务,并在应答要点中列明配合事项、责任方与到位时点 |
| 正偏离 | 我方交付高于招标文件给出的下限值,高出部分在应答要点中标明 |
| 负偏离 | 我方交付低于招标文件该条要求,或其中某一判定点无法满足;该结论在应答要点中写明差距、原因与补救安排 |
| 填报 | 招标文件留白、由投标人填写的格子(索引页码、表单行),矩阵列明填写口径 |
| 引用 | 术语定义、章节标题、场景背景陈述等不含可判定要求的单元,不构成可响应或可偏离的条款;我方按其口径统一全卷表述并在矩阵中注明去向 |
表 1-2 响应结论口径定义。
各条结论依据已成文的正文内容与可核验的证明材料逐条判定:正文已写明实现手段、指标值与验收口径的记「完全响应」,交付值高于招标文件下限的记「正偏离」,其余按上表口径记录。以国家认定机构出证或以招标方开放条件为前提的条款,其配合事项、责任方与到位时点在该条应答要点中列明并汇总于第 27 节。本矩阵与投标文件「技术与商务规格差异表」同源于同一张底表:差异表填差异情况,本矩阵填响应结论与正文位置,两处结论逐条一致。
| 列 | 内容 |
|---|---|
| 招标文件要求 | 该条要求的实质内容摘要,保留原文的数量词与限定词(不少于、不低于、须、每类至少等) |
| 响应 | 第 1.2 节的结论之一 |
| 我方应答要点 | 满足该条所用的手段、达到的指标值、验收时如何判定,必要时给出不达标的回退路径 |
| 正文位置 | 该手段的详细论述所在的正文章节名称,便于按章节名在目录中检索 |
表 1-3 矩阵列定义。
术语不含可判定要求,但它决定全卷表述是否与招标文件一致,因此逐条确认口径。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第五章用户需求书(章标题) | 引用 | 本矩阵以第五章全文为应答对象,章节层级与原文一致 | 第 1 节 |
| 为方便陈述对术语简写作统一定义 | 引用 | 我方投标文件全卷采用本表的简写与释义,首次出现给中文全称加英文原文,后文沿用同一简写,不另造别名 | 全卷 |
| 术语表表头:序号、简写名称、解释说明 | 引用 | 按原表三列口径引用,不改列义 | 第 2 节 |
| 天地奔牛=宁夏天地奔牛实业集团有限公司 | 引用 | 全卷以「天地奔牛」指代甲方,首次出现写全称 | 全卷 |
| Token=词元,大模型处理文本的最小单位 | 引用 | 预训练数据集规模一律以 Token 计量,合计 615 亿 Token,分数据集口径见「通用场景验证方案」一节;统计方法在数据集说明卡中标明分词器版本,避免口径歧义 | 数据集建设及指标 |
| ERP=企业资源计划 | 引用 | 作为源系统之一接入,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| MES=制造执行系统 | 引用 | 作为制造过程数据集的主要来源系统,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| QMS=质量管理系统 | 引用 | 作为产品质量数据集的主要来源系统,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| WMS=仓储管理系统 | 引用 | 支撑库存控制智能化场景验证的数据来源,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| LMS=物流管理系统 | 引用 | 供需计划数据集来源之一,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| EAM=设备资产管理系统 | 引用 | 刮板输送装备健康诊断场景的维修与点检记录来源,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| OA=办公自动化系统 | 引用 | 管理制度类文本来源,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| CRM=客户关系管理系统 | 引用 | 产品智能选型与供需计划数据的来源之一,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| SCM=供应链管理系统 | 引用 | 供需计划数据集来源之一,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| SOS=售后服务管理系统 | 引用 | 故障工单与售后记录来源,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| SCADA=数据采集与监控系统 | 引用 | 时序数据主要来源,支撑热处理与焊接过程监控场景,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集 |
| IIoT=工业物联网平台 | 引用 | 设备侧时序与状态数据汇聚通道,按时序采集口径接入 | 多源异构数据集成采集 |
| MDM=主数据管理系统 | 引用 | 物料、设备、客户主数据的权威来源,用于跨源记录对齐,集成要求应答见「智能工具链(二):对齐与标注类」一节(一节) | 多源异构数据集成采集;数据标准规划 |
| ESB=企业服务总线 | 引用 | 甲方现有集成通道之一,我方接入优先复用,不另建重复通道 | 系统集成方案 |
| WCS=仓库控制系统 | 引用 | 库存场景的设备动作数据来源,随 WMS 一并接入 | 多源异构数据集成采集 |
| WMS-APP=仓储管理系统移动端 | 引用 | 移动端作业记录作为库存场景补充数据来源 | 多源异构数据集成采集 |
| PDA=手持终端 | 引用 | 现场扫码与点检数据采集终端,采集口径随作业流程定义 | 数据采集 |
| RBAC=基于角色的权限访问控制 | 引用 | 运营平台与加工平台的权限模型一律按 RBAC 设计,与审计日志联动 | 数据集运营服务管理平台;安全方案 |
| SSL 协议=安全套接层协议 | 引用 | Web 应用传输层按 SSL/TLS 配置,与国密 SM2 证书体系并行支持,应答见「专项智能工具链总体方案」一节(一节) | 安全方案 |
| 6S=整理、整顿、清扫、清洁、素养、安全六个项目 | 引用 | 现场管理类制度文本的分类口径沿用 6S,用于管理制度智能问答场景的语料分类 | 通用场景验证服务 |
| RFID=射频识别 | 引用 | 物料与在制品标识数据来源,支撑库存与制造过程数据集 | 数据采集 |
| AGV=自动引导搬运车 | 引用 | 厂内物流动作数据来源之一,随 WCS 接入 | 数据采集 |
| PMP=项目管理专业人士 | 引用 | 项目管理岗位资格口径沿用,团队资格材料按第 6 章要求提供 | 实施团队 |
| PgMP=项目集管理专业人士 | 引用 | 同上,作为项目总负责岗位的资格口径之一 | 实施团队 |
| RPA=机器人流程自动化程序 | 引用 | 用于结构化系统的批量取数与报表类重复作业,不替代接口集成 | 数据采集 |
| PPT=演示文稿 | 引用 | 验收与汇报类交付物按第 9 章资料要求同时提供 Word 与 PPT 版本 | 项目验收内容及标准 |
| CRON 表达式=指定定时任务时间规则的时间表达式 | 引用 | 采集与质检任务的调度一律以 CRON 表达式配置,调度记录进血缘与审计日志 | 数据采集;数据集运营服务管理平台 |
六项目标是全卷的验收主线,矩阵在此给出目标值与达成口径,论述见正文总论。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 1 章项目背景、1.1 项目目的(章节标题) | 引用 | 正文总论按同一层级展开对项目目的的理解 | 技术方案总论 |
| 本项目是配套设施子项,主要负责为高质量数据集建设及场景应用项目提供数据加工生产服务 | 完全响应 | 我方按配套设施子项的定位组织方案:交付数据集加工生产、数据集质量评测、数据集场景验证三类服务,场景本身的建设由主项承担,我方提供验证服务与验证所需数据,责任边界在总论中以接口清单写明 | 技术方案总论·项目定位与责任边界 |
| 紧扣国家数据局「以数据高质量供给推动人工智能高水平应用」导向,面向专业数据缺失、标注标准不一、场景适配困难三类瓶颈,建设覆盖预训练、指令微调、强化学习与基准测试全链路的多模态行业高质量数据集,支撑不少于 11 个细分任务场景,落实质量评测、统一接入国家数据基础设施、国产化自主可控要求,推动数据从资源向资产再到资本转化 | 完全响应 | 三类瓶颈逐一对应手段:专业数据缺失以 28 道备料工序与 63 万张历史工艺样本的结构化加工补齐;标注标准不一以本体驱动的标签体系加标注员间一致率门限解决;场景适配困难以 11 个场景各自的基准集与通过判据解决。四类数据集按预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条交付;质量评测按《高质量数据集质量评测规范》出具盖章报告;接入国家数据基础设施按统一目录标识、统一身份登记、统一接口要求办理 | 技术方案总论;四大数据集加工生产总述;数据集质量评测 |
| 1.2 项目目标、1.2.1 协同汇聚目标(标题) | 引用 | 正文按六项目标逐项给达成路径与验收指标 | 技术方案总论·项目目标达成路径 |
| 建立高效协同的行业数据汇聚机制,整合内外数据资源,构建行业数据资源库,推动产业链上下游数据互通共享;以场景化、图谱化思路梳理行业数据需求,形成「链主带动、多方参与、联合攻关」的建设生态 | 完全响应 | 汇聚机制按三件事落地:一是数据需求以场景为单位编目,形成场景—数据项—来源系统的对照图谱;二是对上下游来源按数据分级与回流规则设计接入协议模板;三是汇聚进度以月度数据到位率考核,首年以甲方内部 17 类源系统为主,外部单位按协议分批接入。达成口径为行业数据资源库建成并通过甲方验收,不以接入单位数量单独作为完成判据 | 数据集运营推广服务·数据协同汇聚 |
| 1.2.2 平台技术目标:建设加工生产智能工具链,打造思维链、长上下文、多轮对话等生产工具以及智能标注、多模态数据对齐等加工处理工具链不少于 9 类 25 个;普及多模态数据治理、智能数据标注、数据合成等关键技术;构建一套数据集运营服务管理平台,形成数据集资产流通能力与可持续运营服务能力 | 完全响应 | 工具链按 9 类 25 个交付,分类与数量与 3.2.3 交付清单逐一对齐,交付物含工具本体、接口文档、操作手册与验收用例;运营服务管理平台交付 1 套、不少于 14 个功能模块,具备目录、权限、版本追溯、服务交付与运营监控能力;关键技术的普及以操作规程与培训交付为验收口径,不以技术名词罗列为交付 | 专项智能工具链总述;数据集运营服务管理平台 |
| 1.2.3 数据质量目标:建成预训练≥600 亿 Token、指令微调≥80 万条、强化学习偏好≥6 万组、基准测试≥0.9 万条;涵盖超过 3 种模态;多模态数据条数占比不低于 40%;近 3 年内时效性数据条数占比不低于 40%;符合《高质量数据集质量评测规范》等国家标准,保真度、完备性、规整性、均衡性、可用性、可信性等核心质量维度达标 | 正偏离 | 四类数据集按 615 亿 Token、89 万条、6.6 万组、0.95 万条交付,均高于招标文件下限;模态覆盖时序、图像、文本、视频四类,多模态条数占比按不低于 40% 控制并在每轮质检出具占比报表;时效性以近 3 年数据条数占比不低于 40% 作为采集计划的硬约束,源系统取数时间窗按此倒排。六个质量维度逐维设指标与门限,首轮全量评测后对未达门限项整改复测,趋向全部维度合规;若某维度首轮未达标,按缺陷整改流程返工并重新评测,不以首轮结果作为最终交付 | 四大数据集加工生产总述;数据集建设及指标;数据集质量评测 |
| 1.2.4 标准生态目标:吸引不少于 5 家数据企业、高校、科研院所参与建设;建立行业数据标注专家库,入库专家不少于 50 人;构建涵盖采集、标注、质检环节的人才支撑体系 | 完全响应 | 参与单位不少于 5 家,按数据标注、质量评测、标准编制三类角色分工并签订参与协议;专家库按不少于 50 人建设,入库设专业领域、职称或工龄、实操考核三项门槛,分采集、标注、质检、仲裁四类角色授权。参与单位与专家的落实需甲方认可其资格口径,我方提供名册与资格证明材料;配合事项:参与单位意向协议、专家名册与资格证明 | 数据标注专家库建设机制;数据标注规范建设 |
| 1.2.5 场景赋能目标:数据集支撑不少于 11 个行业细分任务场景,提升各场景下模型和智能体性能;围绕研发设计、中试验证、生产制造、经营管理环节推动数据集建设与实战需求融合,实现「以模引数、用数赋模」,形成数据标注+高质量数据集+模型+应用场景+市场化价值化的赋能生态 | 完全响应 | 11 个场景(六个专业场景+五个通用场景)逐场景交付三件东西:场景所需数据项清单、专用基准集、验证通过判据。以模引数的做法是先用基准集跑出模型短板,再按短板反向补数据;用数赋模的验证口径是同一模型在补数前后于同一基准集上的指标对比,提升幅度以验证报告记录。场景建设由主项承担,我方提供数据与验证服务 | 数据集场景验证服务;六个专业场景验证方案 |
| 1.2.6 服务与安全目标:数据集可服务行业相关用户,按「统一目录标识、统一身份登记、统一接口要求」接入国家数据基础设施;面向国家重大战略需要定向开放;推动数据集在数据交易所挂牌、上架、交易,培育为高质量数据付费的市场共识 | 完全响应 | 接入按三统一办理:目录标识按国家数据基础设施目录规范编制数据集元数据与标识码,身份登记按要求完成主体登记,接口按规定协议改造运营平台对外接口。定向开放按数据分级与审批流程实现,开放记录全程留痕。交易所挂牌上架需甲方作为数据持有方签署挂牌材料并由交易机构审核,我方承担材料准备、合规自查与技术对接;配合事项:甲方挂牌主体信息与交易所选择 | 数据集运营推广服务·接入国家数据基础设施;安全方案 |
| 坚持自主可控的国产化方向,数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件设备整体国产化比率不低于 80% | 完全响应 | 国产化比率按**采购金额口径**核算,整体不低于 80%。核算分母为本项所采购或开发的软硬件,甲方既有存量与以服务形态提供、不在本项采购清单内的计算存储资源按同一判定规则登记并验证适配、不计入分母;不采用台套数口径,因分母中感知设备台数占比过高会使比率由单一类目的判定结果决定。达标条件可一行验证:感知设备本体含税金额不超过分母中其余构成合计的四分之一。计算口径、分母清单与判定规则在非功能性要求一节列明,与项目组的国产化率核算件取同一口径。条款点名的七类逐类给出结论:**数据库**取国产数据库管理系统的商业许可版本,**安全软件**取具《商用密码产品认证证书》的国内厂商商用密码服务平台,**服务器**中本项采购的服务器密码机与接入连接器取国产处理器与国产操作系统,三类均计入分母并判定为国产;**存储**与**网络**按甲方既有资源配置、不在本项采购清单内,按同一判定规则登记并验证适配、不计入分母(网络建设由甲方负责,见);**芯片**一类的判定穿透至计算芯片(处理器),不穿透至成像与红外探测等非计算器件,随服务器密码机、接入连接器等计算类设备按整机一并计入、不单独计价,穿透档次在需求确认阶段与分母边界一并书面确认;**云平台**一类本项目不采购云平台产品,系统按私有化部署建设(本地物理环境或甲方既有私有云,见),该类无采购条目、不计入分母,甲方既有云资源按同一判定规则登记并验证适配、同样不计入分母。七类的适配验证结论与证明材料随交付文档提交,逐类条目与判定结果以国产化率核算表为准。若某类部件在项目期内无满足性能要求的国产型号,按同档替代并在国产化比率表中如实列出,整体比率仍按不低于 80% 控制 | 非功能性要求·国产化;安全方案·信创适配;硬件选型与配置 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 2 章项目建设范围、2.1 实施范围(标题) | 引用 | 正文按实施范围与业务范围两条线展开 | 技术方案总论·实施范围 |
| 实施覆盖刮板机研究分院、工艺研究分院、备料加工分厂、生产管理部、热处理分厂、结构件焊接分厂、企业管理部、科研管理部、营销中心、审计法务部 | 完全响应 | 十个单位逐一列入实施清单,按「数据来源—场景对应—对接内容」三栏编制单位级实施计划:研究分院与工艺研究分院对应产品工艺设计数据集与选型、备料工艺场景;备料加工分厂对应 28 道备料工序的制造过程数据;热处理分厂与结构件焊接分厂对应过程监控场景的时序与质量数据;生产管理部、营销中心对应供需计划数据集;企业管理部、科研管理部、审计法务部对应管理制度、技术标准、合同合规类通用场景。每个单位设对接窗口与取数时间窗,进场顺序随数据依赖关系排布 | 技术方案总论·实施范围;数据采集 |
| 管理单位:数字化转型工作办公室 | 完全响应 | 以数字化转型工作办公室为单一管理接口:周例会、月度报告、变更审批、验收提请均经该办公室;跨分厂取数的协调请求统一由该办公室转派,避免多头对接造成口径不一 | 项目组织实施与保障措施 |
| 2.2 业务范围(标题) | 引用 | 业务范围六项逐项应答见下 | 四大数据集加工生产总述 |
| 高质量数据集:建成行业多模态高质量数据集 1 套,含预训练≥600 亿 Token、指令微调≥80 万条、强化学习偏好≥6 万组、基准测试≥0.9 万条;涵盖超过 3 种模态;多模态条数占比不低于 40%;近 3 年时效性条数占比不低于 40% | 正偏离 | 交付 1 套数据集,四类规模按 615 亿 Token、89 万条、6.6 万组、0.95 万条,按供需计划、产品工艺设计、制造过程、产品质量四个子集分解,分解值见「通用场景验证方案」一节;模态覆盖时序、图像、文本、视频四类;多模态与时效性两项占比按不低于 40% 在每轮质检出报表,占比不足时以补采与定向合成补齐后复检 | 数据集建设及指标 |
| 应用场景验证:对产品智能选型、板材备料工艺智能设计、库存控制智能化、热处理过程控制智能化、焊接过程控制智能化、刮板输送装备健康诊断智能化、管理制度智能问答助手、技术标准智能问答助手、标书智能问答助手、决策数据智能问答助手、合同合规审查智能助手共 11 个场景完成数据集验证,验证高质量数据集价值,提升垂域模型和智能体性能 | 完全响应 | 11 个场景逐一交付验证方案、验证数据、验证报告,每个场景给出验证指标、所需数据项、验证流程与通过判据。验证以同一模型在补数前后的基准集指标对比为核心证据,不以模型单点得分作为结论。本包承担验证服务与验证所需数据,场景应用本身的建设由主项承担,接口与配合事项在场景验证方案中逐场景写明 | 数据集场景验证服务 |
| 平台建设:建成数据集运营服务管理平台 1 套,含目录管理、权限管控、版本追溯、服务交付和运营监控等不少于 14 个功能模块 | 正偏离 | 交付运营服务管理平台 1 套,功能模块按不少于 14 个建设,实列覆盖数据及服务管理、订单管理、数据及服务交付、清算管理、审计管理、平台服务与 SLA 保障、对外接口、目录管理、权限管控、版本追溯、运营监控、用户与租户管理、计量统计、公告与工单共 16 个模块,逐模块给功能说明、界面示意与关键流程 | 数据集运营服务管理平台 |
| 智能工具链:研发思维链构建、长上下文数据构建、多轮对话数据构建、多模态数据对齐、智能标注、数据生成与增强、数据质量与分布控制、数据生成控制与评测、数据集验证与归因 9 大类 25 个专项智能工具链 | 完全响应 | 按 9 大类 25 个交付,类名与数量与招标文件相应条款清单逐一对应:思维链构建 2 个、长上下文构建 3 个、多轮对话构建 3 个、多模态对齐 3 个、智能标注 4 个、数据生成与增强 3 个、数据质量与分布控制 2 个、数据生成控制与评测 2 个、数据集验证与归因 3 个。每个工具交付本体、接口文档、操作手册与验收用例,通用接口与追溯要求按 3.2.3.11 执行 | 专项智能工具链总述 |
| 知识产权:发表高质量论文不少于 5 篇,申请发明专利不少于 3 项,获得软件著作权不少于 6 项,建成不少于 50 人的数据标注专家库,建设「软建设」配套措施 1 套 | 完全响应 | 论文不少于 5 篇、发明专利申请不少于 3 项、软件著作权不少于 6 项,按季度排布选题与申报节奏,权属按知识产权要求一节约定;专家库不少于 50 人;软建设配套措施 1 套,含政策梳理、发展规划、运营机制、标准规范、人才培养五类共 30 余项。论文发表与专利授权的时间受期刊与审查周期约束,我方承诺的节点为投稿与受理节点,授权结果按受理证明与过程记录验收 | 知识产权相关建设;软建设配套措施;数据标注专家库建设机制 |
| 数据集质量评测:完成多模态自建数据集首轮全量评测、缺陷整改复测等过程,通过标准化评测、实战化模型验证、全流程整改闭环,实现全维度数据质量合规核验、AI 模型实战适配效能验证、缺陷整改全闭环管控、标准化成果交付与合规验收四个目标;输出正式盖章评测报告,形成完整数据质量档案 | 完全响应 | 评测按首轮全量评测、缺陷整改、复测三步执行,评测依据与指标体系按 3.2.8 逐条落实;四个目标以可核验口径收口:质量维度逐维出结论并趋向全部合规,未达门限项列整改台账直至关闭;模型适配以基准集跑分报告为证据;整改闭环以台账关闭率考核;交付物为正式盖章评测报告与完整数据质量档案。盖章报告由具备资质的评测机构出具,我方承担全部组织、送检、整改与档案归集工作;配合事项:评测机构选择与出证周期确认 | 数据集质量评测 |
本节关键承诺:软件采购清单按清单实列逐项对应到建设内容,不并项、不替代;安全软件部分明确其部署位置与运维责任方,避免与招标方既有安全设施重复建设。清单中任一软件若与招标方现有许可重叠,由我方在蓝图设计阶段提出并由招标方决定取舍,不自行删项。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 3 章信息系统技术要求、3.1 软件部分、3.1.1 软件采购清单(标题) | 引用 | 正文按软件、服务、硬件、网络四部分对应组织章节 | 技术方案总论·建设内容构成 |
| 清单表头:序号、名称、单位、数量、备注 | 引用 | 按原表五列口径应答,不改列义 | 第 5.1 节 |
| 安全软件 1 套,即商用密码服务平台,不限制使用节点数量(许可数量) | 完全响应 | 交付商用密码服务平台 1 套,授权方式为不限节点数、不限许可数的项目级授权,授权书在交付时一并提交;平台具备国家密码管理局颁发的《商用密码产品认证证书》,证书复印件随投标文件提供。授权范围覆盖本项目加工生产平台与运营服务管理平台的全部节点,后续扩容不另行收取许可费用 | 安全方案·密码产品配置 |
| 3.1.2 安全软件建设要求:须支持集密码服务、管理、态势感知于一体,统一调用底层各类密码软硬件资源,为上层应用提供真实性、机密性、完整性、不可否认性全栈密码服务,总体表现为商用密码服务平台 | 完全响应 | 平台以服务、管理、态势感知三层架构交付:服务层统一封装加解密、签名验签、哈希、时间戳等调用;管理层纳管密码机、签名验签服务器等底层资源并统一分配;态势感知层汇聚调用量、资源状态与异常事件。四类安全属性逐项对应算法与机制:真实性用 SM2 证书认证,机密性用 SM4 数据加密,完整性用 SM3 摘要校验,不可否认性用 SM2 签名加时间戳 | 安全方案·国密算法应用 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| (1)须支持应用管理:规范化应用管理、应用接入,可灵活为应用系统启用、禁用调用的密码服务 | 完全响应 | 应用以注册方式接入,一应用一标识一密钥域;管理台按应用维度启用或禁用具体密码服务项,变更即时生效并写入操作日志。接入流程含申请、审批、发证、授权四步,审批人与申请人分离 | 安全方案·密码服务平台功能 |
| (2)须支持云密码资源池管理:实现密码设备资源最大化利用、集成管理与高效分配,支持 HSM 管理、VSM 管理、驱动管理、分组管理 | 完全响应 | 密码设备以资源池方式纳管:硬件密码机按 HSM 注册,虚拟密码机按 VSM 实例分配,驱动按厂商类型装载并版本化管理,资源按业务分组绑定。资源利用率与分配情况在管理台可见,支持按组扩缩容而不中断在线调用 | 安全方案·密码服务平台功能 |
| (3)须支持密码态势感知:利用数据分析与可视化技术,支持大屏展示,呈现全局安全态势,提供事前、事中、事后安全管理能力,展示密码资源运行状态与使用情况、密码服务调用情况与运行状态 | 完全响应 | 态势大屏按三类视图交付:资源视图展示密码设备在线状态、负载与容量;调用视图展示服务调用量、成功率与时延分布;事件视图展示异常与告警。事前以容量与证书到期预警支撑,事中以实时调用监控支撑,事后以调用日志回溯支撑 | 安全方案·密码服务平台功能 |
| (4)须支持密钥管理:集中的应用密钥管理,含对称密钥管理、非对称密钥管理、密钥状态查看、密钥销毁、密钥导入、密钥备份,便于密钥管理审计 | 完全响应 | 密钥按应用域集中管理,覆盖对称与非对称两类,生命周期含生成、导入、启用、轮换、备份、销毁六个状态,状态变更全部留痕。密钥备份按分量管理,销毁需双人审批;审计员可按应用、时间、操作类型检索密钥操作记录 | 安全方案·密钥与证书管理 |
| (5)须支持租户管理:实现租户间计算与服务隔离、密钥隔离,支持按租户维度添加业务应用、应用审批、分配密码服务 | 完全响应 | 按租户划分密钥域与服务配额,租户之间密钥不可见、服务不互通;租户管理员可在本租户内添加应用、发起审批并分配已授权的密码服务,越域操作在接口层拦截并记录 | 安全方案·密码服务平台功能 |
| (6)须支持密码服务负载:支持密码服务或服务分组与应用动态配置,通过虚拟密码网关实现动态调度与负载,防止单点故障导致应用瘫痪 | 完全响应 | 应用通过虚拟密码网关访问服务分组而非直连设备,网关按健康检查结果调度;单台密码机故障时自动摘除并由同组设备接管,调用侧无需改配置。切换时间控制在 30 秒以内,切换事件进告警与日志 | 安全方案·可靠性设计 |
| (7)须支持密码服务调度:支持查看已注册密码服务及运行状态,可对服务分组,服务或分组可动态分配给不同应用或租户调用 | 完全响应 | 管理台列出已注册服务及其运行状态、所属分组与绑定应用;分组与绑定关系可在线调整,调整记录留痕。分配动作与鉴权配置联动,未分配的服务对应用不可见 | 安全方案·密码服务平台功能 |
| (8)须支持基础密码服务:封装不同厂家密码设备(包括但不限于密码机、时间戳、签名验签服务器等)接口,面向业务系统提供统一规范接口 | 完全响应 | 对下以驱动适配层屏蔽设备差异,对上提供统一的加解密、签名验签、摘要、时间戳接口;更换设备品牌时业务侧调用代码不变。已适配设备类型含密码机、签名验签服务器、时间戳服务器,适配清单随交付文档提交 | 安全方案·密码产品配置 |
| (9)须支持鉴权管理:支持基于标识或 IP 白名单为应用系统接入授权,灵活开通允许调用的密码服务,已授权应用允许调用相应接口,被禁用应用失去调用权限 | 完全响应 | 鉴权双因素并行:应用标识加密钥校验确认身份,IP 白名单限定来源;两者同时满足方可调用。禁用操作即时阻断后续调用并返回明确错误码,便于业务侧定位 | 安全方案·权限管控 |
| (10)须支持日志管理:记录平台用户登录日志、管理员后台操作日志、业务系统调用日志;支持三员管理模式,日志只对审计员开放;支持按操作方、IP 等查询,按业务系统、时间段、密码服务等维度统计 | 完全响应 | 日志分登录、操作、调用三类留存,字段含时间、主体、来源 IP、动作、对象与结果;按系统管理员、安全管理员、审计管理员三员分权,日志查询与导出权限仅授予审计管理员,管理员无法删除日志。查询支持操作方与 IP 条件,统计支持按业务系统、时间段、密码服务三个维度出报表 | 安全方案·审计与权限管控 |
| (11)须支持应用接口调用:须支持 SDK 与 RESTful 两种调用模式,适配不同开发需求 | 完全响应 | 同时提供 SDK 与 RESTful 两种接入方式:SDK 覆盖主流语言并随交付提供示例工程,RESTful 提供接口文档与联调用例。两种模式功能等价,业务侧可按系统改造成本自行选择 | 安全方案·对外接口 |
| (12)须支持数据加解密:支持数据与文件加解密、SM3 哈希运算、签名验签及批量处理;须支持「一文一密」「一数据一密」精细化加密策略 | 完全响应 | 加解密支持单条、文件与批量三种调用;哈希按 SM3 实现,签名验签按 SM2 实现。精细化策略以密钥派生实现:按文件标识或数据主键派生工作密钥,做到一文一密、一数据一密,主密钥不出密码机。批量作业给出吞吐指标与失败重试机制 | 安全方案·国密算法应用 |
| (13)须支持身份认证:基于 SM2 国密算法构建 PKI 体系,提供口令与证书结合的双因素认证;支持用户/设备证书全生命周期管理(注册、审核、签发、延期、吊销等),兼容多种证书形态与认证设备 | 完全响应 | 基于 SM2 建设证书体系,用户与设备分别发证;登录采用口令加证书双因素,两者缺一不可。证书生命周期覆盖注册、审核、签发、延期、吊销、归档,到期前按阈值预警;证书形态支持文件与硬件介质两类 | 安全方案·密钥与证书管理 |
| (14)须支持告警管理:支持自定义告警规则,实时监控密码设备与服务运行状态,状态异常时以短信或邮件形式发送预警通知 | 完全响应 | 告警规则按指标、阈值、持续时长、通知对象四要素自定义;监控对象含设备在线状态、负载、调用失败率与证书有效期。通知渠道支持短信与邮件,重复告警按抑制策略合并,避免风暴 | 安全方案·运行监控 |
| (15)须支持与国产化操作系统、CPU、数据库、中间件适配兼容,每类至少提供 1 份兼容性互认证明材料 | 完全响应 | 四类部件逐类完成适配并提供兼容性互认证明材料。本条与招标文件相应条款对同一事项分别要求每类至少 1 份与至少 3 份,按相应条款「要求不一致时按较高要求执行」,我方统一按每类至少 3 份提供;配合事项:操作系统、CPU、数据库、中间件兼容性互认证明材料各 3 份 | 安全方案·信创适配 |
| (16)须具有国家密码管理局颁发的《商用密码产品认证证书》 | 完全响应 | 所投商用密码服务平台及配套密码设备具备国家密码管理局颁发的《商用密码产品认证证书》,证书在有效期内;配合事项:《商用密码产品认证证书》复印件 | 安全方案·资质与证书 |
| (17)须支持与国产化操作系统、CPU、数据库、中间件适配兼容,每类至少提供 3 份兼容性互认证明材料 | 完全响应 | 按每类至少 3 份提供兼容性互认证明材料,与招标文件相应条款合并落实,材料清单按操作系统、CPU、数据库、中间件四类分列;配合事项:四类兼容性互认证明材料各 3 份 | 安全方案·信创适配 |
| (18)须支持针对不同厂商的密码机设备集成,提供不少于三家厂商密码设备的互认证明材料 | 完全响应 | 驱动适配层已支持不少于三家厂商的密码机设备,集成方式为标准接口封装,新增厂商设备按驱动插件扩展;配合事项:不少于三家厂商密码设备互认证明材料 | 安全方案·密码产品配置 |
| (19)须具有国家密码管理局颁发的《商用密码产品认证证书》 | 完全响应 | 与招标文件相应条款为同一要求,按同一口径提供证书复印件,不重复计列 | 安全方案·资质与证书 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.1.2.2 非功能性技术要求、3.1.2.2.1 基本要求(标题) | 引用 | 正文按基本、开放性、安全性、可靠性、运行、性能、国产化七类逐类给指标与验证方法 | 非功能性技术要求 |
| (1)系统功能页面支持中文,相关文档均为中文版 | 完全响应 | 界面与提示文案全部中文,含错误码说明;交付文档(需求、设计、部署、运维、用户手册、二次开发手册)均为中文版,术语与界面用词一致 | 非功能性技术要求·基本要求 |
| (2)涉及的第三方软件必须有原厂授权,无产权纠纷;投标方确保招标方使用系统时不受第三方起诉(含专利权、著作权、商标权、工业设计权等) | 完全响应 | 所有第三方软件均取得原厂授权并提供授权文件;开源组件逐一登记许可类型,排除与商用交付冲突的许可。我方就权属作出书面承诺,因权属引起的第三方主张由我方处理并承担相应责任;配合事项:第三方软件原厂授权书、知识产权无纠纷承诺函 | 非功能性技术要求·基本要求;知识产权相关建设 |
| (3)投标方提供原厂正版软件授权书、售后服务承诺书 | 完全响应 | 交付时一并提交原厂正版软件授权书与售后服务承诺书,承诺书内容含响应时限、服务方式与质保期限,与第 7 章项目服务一节的口径一致;配合事项:原厂正版软件授权书、售后服务承诺书 | 项目服务·技术支持 |
| (4)系统所有功能必须经招标方评审通过后才能上线,评审不通过必须及时整改,且不影响项目整体进度 | 完全响应 | 功能上线设评审闸口:提请评审前完成自测并提交测试报告,评审不通过按问题清单整改后复评。整改占用的时间计入我方内部缓冲,不顺延项目总体节点;进度风险在周报中提前暴露,不等到节点前才报 | 项目组织实施与保障措施;项目验收内容及标准 |
| 3.1.2.2.2 开放性要求(标题) | 引用 | 开放性三条逐条应答见下 | 非功能性技术要求·开放性 |
| (1)提供个性化、定制化及二次开发能力;提供二次开发手册、数据结构、数据模型和数据字典;免费提供二次开发技术指导服务 | 完全响应 | 交付二次开发手册、数据结构说明、数据模型图与数据字典四份文档,接口按版本号管理并保持向后兼容;质保期内提供二次开发技术指导,方式含远程答疑与现场支持,不另行收费 | 非功能性技术要求·开放性 |
| (2)提供完整的用户手册和在线帮助文档,包括常见问题解答、最佳实践和开发指南 | 完全响应 | 用户手册按角色分册(管理员、数据加工人员、标注人员、审计员),在线帮助随功能页面内嵌;常见问题解答、操作范例与开发指南随版本更新同步维护 | 项目服务·培训实施和培训服务 |
| (3)支持在不同平台间迁移,支持版本升级;新版本向后兼容,确保现有系统和数据在升级后正常使用 | 完全响应 | 应用与数据分离部署,迁移以配置与数据导出导入完成,不依赖特定硬件型号;版本升级提供升级脚本与回滚脚本,接口保持向后兼容。升级前做数据备份与兼容性验证,升级失败按回滚脚本恢复到升级前状态 | 非功能性技术要求·开放性;项目服务·服务迁移 |
| 3.1.2.2.3 安全性要求(1)不允许出现低级安全漏洞 | 完全响应 | 交付前完成代码静态扫描、依赖组件漏洞扫描与渗透测试三道检查,高危与中危问题修复后方可上线;上线后按季度复扫,漏洞处置时限按高危 7 日、中危 30 日控制。测试报告随交付文档提交 | 安全方案·安全测试与加固 |
| (2)支持将 SSL 协议作为 Web 应用的基础安全协议,保护敏感数据在传输和存储过程中的安全 | 完全响应 | Web 侧启用 SSL/TLS,证书支持国密 SM2 双证书与国际算法并行;存储侧对敏感字段按 SM4 加密,密钥由密码服务平台托管。传输与存储的加密范围在安全方案中按字段清单列明 | 安全方案·传输与存储安全 |
| (3)数据和文档的安全保密技术符合国家相关技术要求 | 完全响应 | 按等级保护 2.0 相应等级与商用密码应用安全性评估要求设计并实施,密码算法采用国密系列;文档按涉密等级分类存放与流转,交付介质加密。合规结论以第三方测评报告为准,测评组织与整改配合由我方承担 | 安全方案·等保与密评 |
| 3.1.2.2.4 可靠性要求(标题) | 引用 | 可靠性五条逐条应答见下 | 非功能性技术要求·可靠性 |
| (1)具有强大的故障处理能力,遇异常时能迅速定位问题、采取补救措施、恢复系统正常运行 | 完全响应 | 故障处理按监控告警、定位、处置、复盘四步制度化:关键链路埋点并保留链路追踪 ID,告警直接带出故障域;一级故障 15 分钟内响应、1 小时内给出处置方案,处置后 3 个工作日内出复盘报告。常见故障编入运维手册的处置预案 | 非功能性技术要求·可靠性;项目服务·技术支持 |
| (2)具有容错机制,在硬件故障、网络中断等不可预见情况下系统能快速恢复正常运行 | 完全响应 | 容错按三层设计:应用层无状态多实例,任一实例故障由负载均衡摘除;数据层主备同步并定时校验备份可恢复性;网络层双链路。硬件单点故障时业务不中断,网络中断恢复后任务按断点续作,不要求人工重跑全量 | 非功能性技术要求·可靠性 |
| (3)交付前进行全面可靠性测试,含压力测试、稳定性测试等;投标方提供压力测试报告、稳定性测试报告 | 完全响应 | 交付前执行压力测试(按设计并发的 1.5 倍加压)与稳定性测试(连续运行不少于 7×24 小时),记录吞吐、时延、错误率与资源水位;两份报告随交付文档提交,测试用例与数据构造方法一并说明,便于甲方复测 | 非功能性技术要求·可靠性 |
| (4)具有应用负载均衡和硬件故障冗余机制 | 完全响应 | 应用前端配负载均衡并开启健康检查,后端按多实例部署;关键硬件按冗余配置,含电源、网卡与存储多副本。冗余配置清单随硬件配置表提交 | 非功能性技术要求·可靠性;硬件选型与配置 |
| (5)平台具备高度稳定性和可靠性,确保单一功能模块出现问题不会引发系统其他功能异常 | 完全响应 | 模块间以接口解耦并设超时与熔断,单模块异常时调用方降级返回而非连锁等待;批处理与在线服务资源隔离,避免加工任务抢占平台响应。故障域边界在架构图中标明 | 非功能性技术要求·可靠性;系统架构设计 |
| 3.1.2.2.5 运行要求(标题) | 引用 | 运行要求六条逐条应答见下 | 非功能性技术要求·运行要求 |
| (1)系统基于正版操作系统、数据库管理系统部署,正版软件由投标方提供;支持最新稳定成熟版本;不允许使用免费版数据库管理系统部署核心系统 | 完全响应 | 操作系统与数据库由我方提供正版授权,选型取国产化成熟稳定版本;核心库采用商业版本授权,不使用免费版本承载核心数据。授权凭证随交付提交,版本与补丁基线在部署文档中固化 | 非功能性技术要求·运行要求;安全方案·信创适配 |
| (2)客户端支持 Edge、360、火狐、谷歌等主流浏览器;支持 PC 机、一体终端机、手持终端及各类移动终端 | 完全响应 | 前端按标准 Web 技术实现并在上述四类浏览器完成兼容性测试,测试矩阵随交付提交;终端适配覆盖 PC、一体终端机、手持终端与移动终端,移动端按响应式布局适配,现场点检与扫码类作业在手持终端上验证 | 非功能性技术要求·运行要求 |
| (3)支持本地化、私有云部署环境 | 完全响应 | 支持本地物理环境与私有云两种部署形态,部署包与配置参数一致,差异仅在资源编排层;私有云部署给出资源规格清单与容量规划依据 | 非功能性技术要求·运行要求;系统集成方案 |
| (4)支持物理机部署、虚拟化部署等多种部署方式 | 完全响应 | 同一版本支持物理机与虚拟化两种部署,组件以容器或安装包两种形态分发;混合部署时统一纳管监控与日志采集 | 非功能性技术要求·运行要求 |
| (5)应用页面打开响应时间≤1 秒,报表生成响应时间≤3 秒 | 完全响应 | 页面打开按不超过 1 秒、报表生成按不超过 3 秒设计并验收,测量口径为验收环境、设计并发条件下的 95 分位值,测量点为服务端处理完成到首屏可交互。大数据量报表以预计算与异步导出两种方式满足时限,异步任务完成后通知下载 | 非功能性技术要求·性能指标与测量口径 |
| (6)系统升级易操作,不影响与其它模块的接口 | 完全响应 | 升级以脚本化流程执行,单次升级步骤与回滚步骤在手册中逐条写明;接口按版本并行提供过渡期,升级期间旧版本接口继续可用,调用方不需同步改造 | 非功能性技术要求·运行要求 |
| 3.1.2.2.6 性能要求(1)登录响应时间<1 秒 | 完全响应 | 登录按小于 1 秒设计并验收,测量为设计并发下 95 分位值;认证服务与业务服务分离部署,避免业务高峰拖慢登录 | 非功能性技术要求·性能指标与测量口径 |
| (2)简单页面操作平均响应时间<1 秒 | 完全响应 | 简单页面操作按平均小于 1 秒验收,口径为单次请求无跨库聚合的查询与提交类操作;验收前出具性能测试报告,列明被测操作清单 | 非功能性技术要求·性能指标与测量口径 |
| (3)复杂页面操作平均响应时间<2 秒 | 完全响应 | 复杂页面操作按平均小于 2 秒验收,口径为含多表关联或聚合统计的操作;超出时限的统计类功能改为预计算视图或异步任务,并在界面给出进度提示 | 非功能性技术要求·性能指标与测量口径 |
| 3.1.2.2.7 国产化要求(标题) | 引用 | 国产化三条逐条应答见下,整体比率口径见招标文件相应条款 | 安全方案·信创适配 |
| (1)支持国产化硬件设备,包括但不限于国产服务器、CPU、存储设备、网络设备、PC 机、移动终端等 | 完全响应 | 六类硬件逐类给出适配结论:本项采购的服务器类设备(服务器密码机、接入连接器)与其中央处理器按国产化选型;存储与网络设备按甲方既有资源配置,我方以存储访问抽象层与标准网络协议适配并参与联调;个人计算机与移动终端按国产终端及国产移动操作系统完成兼容性测试。适配结论含操作系统版本、驱动版本与性能基线;适配清单与互认证明随交付提交。中央处理器一类的国产化判定穿透至计算芯片(处理器),不穿透至成像与红外探测等非计算器件,与招标文件相应条款行取同一档次 | 安全方案·信创适配;硬件选型与配置 |
| (2)支持国产化操作系统,包括但不限于银河麒麟、统信 UOS、鸿蒙等 | 完全响应 | 完成上述国产操作系统的部署适配与功能回归,回归用例覆盖登录、加工任务调度、标注作业与报表导出;适配结果以兼容性互认证明与回归报告为证 | 安全方案·信创适配 |
| (3)支持国产化数据库,包括但不限于达梦、人大金仓、中科方德等 | 完全响应 | 数据访问层按标准 SQL 与适配层实现,已完成上述国产数据库的适配与性能基线测试;迁移工具支持结构与数据双向导出导入,适配证明随交付提交 | 安全方案·信创适配 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.1.2.3 系统集成要求(1)与数据集加工生产平台集成,实现指定数据集的加解密 | 完全响应 | 加工生产平台通过 SDK 接入密码服务平台,对指定数据集在落盘与导出两个环节按 SM4 加密,密钥按数据集标识派生,做到一集一密;加解密动作写入数据集血缘记录,可按数据集版本追溯 | 系统集成方案;安全方案·国密算法应用 |
| (2)与数据集加工生产平台集成,实现用户信息、企业信息等关键数据的加解密 | 完全响应 | 用户与企业信息中的敏感字段按字段级加密,字段清单在数据模型中标记;查询按权限解密,未授权角色取到的是脱敏值。字段清单与脱敏规则随交付文档提交 | 系统集成方案;安全方案·去标识与脱敏 |
| (3)与数据集运营服务管理平台集成,实现数据集元数据的加解密 | 完全响应 | 运营平台元数据库中的权属、价格、授权范围等敏感项按加密存储,对外接口按授权范围返回;元数据加解密调用统一走密码服务平台,不在应用内自行实现算法 | 系统集成方案;数据集运营服务管理平台 |
| (4)与数据集加工生产实施服务关联的 CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA 等集成 | 完全响应 | 13 类源系统按统一接入规范集成,逐系统给出接口方式、取数范围、频率与校验规则,详见「智能工具链(二):对齐与标注类」一节各系统集成应答;接入优先复用甲方现有服务总线,无接口的系统按数据库视图或文件交换方式取数。接口开通、测试账号与现场网络策略需甲方侧配合,配合事项与时间窗在集成方案中列明;配合事项:各源系统接口文档、测试环境与对接窗口 | 系统集成方案;多源异构数据集成采集 |
| (5)其余集成按招标方项目实施要求执行(如有) | 完全响应 | 新增集成需求按变更流程受理:甲方提出后由我方评估接口方式与工作量,经数字化转型工作办公室确认后纳入实施计划;在既有工作量范围内的接口适配不另行计费 | 系统集成方案;项目组织实施与保障措施 |
清单七项服务是本包的交付总纲,逐项的详细要求在后续各节应答。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2 服务部分、3.2.1 服务采购清单(标题) | 引用 | 正文按清单七项服务对应组织章节,章节名与清单项名一致,便于对照 | 技术方案总论·交付构成 |
| 清单表头:序号、名称、单位、数量、备注 | 引用 | 按原表五列口径应答 | 第 6 节 |
| 1 数据资源建设服务 1 套:多源异构数据集成采集,外围系统含 CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其系统、主数据管理平台、热处理群控系统、安全监管平台;多格式多模态数据接入,实现离线非结构化数据解析及录入管理,形成电子化数据资产和相关语料 | 完全响应 | 17 类源系统全部纳入接入清单,逐系统给接口方式、数据项、频率与质量校验,应答见「智能工具链(二):对齐与标注类」一节;离线非结构化数据按版式文档、图纸、表格、影像、音视频五类建解析流水线,解析结果入知识库并形成语料,解析准确率设门限并抽检。接口开通与历史资料移交需甲方配合;配合事项:17 类源系统接口文档与离线资料清单 | 数据资源建设·多源异构数据集成采集;多格式多模态数据录入 |
| 2 数据集加工生产专项智能工具链建设服务 1 套:含 9 类共 25 个工具链(逐一列名),不限制使用节点数量 | 完全响应 | 25 个工具逐一交付,名称与分类与清单完全一致,交付物含工具本体、接口文档、操作手册、验收用例与运行环境说明;授权为项目级不限节点、不限许可数。逐工具的功能、输入输出与验收口径应答见「智能工具链(三):质量与验证类」一节 | 专项智能工具链总述 |
| 3 数据集运营服务管理平台建设服务 1 套:含数据集目录、元数据、上传、下载、权限管理、动态更新、检索与预览、版本管理、数据集服务、对外接口、登记注册、确权、挂牌展示、交易合同管理、交易费用管理、全流程审计管理 16 个功能模块,不限制使用节点数量 | 正偏离 | 交付运营平台 1 套,清单所列 16 个模块逐一建设,另增「平台服务与 SLA 保障」模块以承载服务分级与 SLA 监测要求,合计 17 个,不少于需求书 2.2 要求的 14 个;授权为项目级不限节点。模块功能、界面与流程应答见「数据集运营服务管理平台方案」一节,其中确权、挂牌展示、交易合同与费用管理四项与接入国家数据基础设施、交易所挂牌的流程衔接 | 数据集运营服务管理平台 |
| 4 系统集成服务 1 套:完成采购的通用服务器的数据集加工生产平台安装和适配;完成采购的接入连接器的运营服务管理平台安装和适配;完成采购的服务密码机的国密算法调试;完成采购硬件的网络连接和适配 | 完全响应 | 四项集成内容全部承担:通用服务器上的加工生产平台安装与适配、接入连接器与运营平台的安装与适配、服务密码机的国密算法调试、全部采购硬件的网络连接与适配。给出到货验收、上架布线、系统安装、参数适配、联调测试、移交六步实施步骤与接口清单,现场作业排期随甲方机房窗口确定 | 系统集成方案 |
| 5 数据集加工生产实施服务 1 套:含数据治理规划和实施、行业大模型训练推理技术服务、数据加工生产服务、数据集建设及指标要求、场景验证服务、运营推广服务、关键技术攻关服务;实现技术标准验证并参与全国数标委标准验证与试点应用;构建数据标准专家库(建设原则、专家类别、入库标准、遴选流程、工作职责、考核机制);建设数据标注规范;打造软建设配套措施约 30+ 项;形成项目组织实施与保障措施并编制不少于 7 份项目内部管理制度;保障项目安全合规(核查不可商用内容、承诺数据来源合法性、对个人信息、敏感地理信息、重要行业数据、企业秘密数据去标识化或脱敏、平台具备全流程审计与日志记录、严格权限校验与访问控制);建设项目知识产权(论文不少于 5 篇、发明专利申请不少于 3 项、软件著作权不少于 6 项) | 完全响应 | 八项内容逐项落地并各有交付物:治理规划与实施见「数据治理(一):现状评估与战略、治理、架构、资产规划」一节,训练推理服务见「数据治理(二):标准、质量、安全、生存周期与应用流通规划」一节,加工生产十环节见「专业场景验证方案」一节,数据集指标见「通用场景验证方案」一节,场景验证见「系统集成方案」一节,运营推广见「技术创新与机制创新方案」一节,标准验证、专家库、标注规范、软建设、组织保障、安全合规、知识产权见「安全方案」一节。内部管理制度按不少于 7 份编制;软建设按政策梳理、发展规划、运营机制、标准规范、人才培养五类约 30 余项交付;敏感数据按去标识与脱敏规则处理并留处理记录。参与全国数标委标准验证与试点需标委会安排,我方承担材料准备与验证实施;配合事项:标准验证参与渠道确认、专家名册 | 数据集加工生产实施服务各节 |
| 6 信息安全风险评估服务 1 套:对本项目建设的信息系统进行等级保护测评及商用密码应用安全性评估,满足国家网络安全与密码合规要求 | 完全响应 | 承担等级保护测评与商用密码应用安全性评估的全过程组织:定级备案材料准备、差距自评、整改加固、送检协调、问题整改与复测。两项测评结论由国家认定的测评机构出具,出证周期受机构排期影响,我方按不晚于终验前完成送检与整改并提交报告;配合事项:测评机构选择与排期确认 | 信息安全风险评估服务;安全方案·等保与密评 |
| 7 数据集质量测评服务 1 套:完成首轮全量评测、缺陷整改复测,实现全维度质量合规核验、AI 模型实战适配效能验证、缺陷整改全闭环管控、标准化成果交付与合规验收四个目标,输出正式盖章评测报告,形成完整数据质量档案 | 完全响应 | 按首轮全量评测、缺陷整改、复测三步执行,指标体系与方法按 3.2.8 逐条落实(应答见「数据资源采集接入方案」一节);质量维度逐维出结论并趋向全部合规,未达门限项列整改台账直至关闭;模型适配效能以基准集跑分前后对比为证据;交付正式盖章评测报告与数据质量档案。盖章报告由具备资质的评测机构出具;配合事项:评测机构选择与出证周期确认 | 数据集质量评测 |
本节关键承诺:数据资源接入按「先确权、后接入」的次序执行:每一类数据源在接入前完成来源合法性与授权凭证登记,未完成的不接入。接入过程中发现数据源实际结构与前期调研不一致时,按变更流程重新评估工作量并报招标方确认,不在未确认的情况下改口径加工。
3.2.2.1 各小节的表述方式是「某系统须提供某些数据」——约束落在源系统侧的供给条件上。我方对这些条款的应答分两件事说清:一是从该系统取什么、取来喂给哪个数据集或哪个场景、按什么频率取、取来怎么校验;二是取数需要甲方侧具备的前置条件(连接信息、低峰时段、数据字典),以及这些条件何时需要到位。两件事都写进接入方案的系统级接入卡,一系统一卡,卡上签字确认后开始取数。
17 类源系统按数据形态分三条通道接入:结构化数据走数据库直连或接口抽取,非结构化文件走文件通道,时序数据走时序通道。三条通道汇到统一的落地区后再进入加工流水线,避免每个系统各建一套。
图 7-1 17 类源系统的三通道接入与责任边界。甲方侧责任止于提供连接信息、低峰窗口与数据字典,落地区之后的加工由我方承担。数据来源:招标文件 3.2.2.1 各小节与 3.2.2.2。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.2 数据资源建设要求、3.2.2.1 多源异构数据集成采集(标题) | 引用 | 正文按三通道接入组织论述,逐系统给接入卡 | 数据资源建设·多源异构数据集成采集 |
| 数据集所需原始数据需来自企业各业务系统,与以下各系统集成基于项目实际需求执行 | 完全响应 | 接入按项目实际需求裁剪:先由场景与数据集反推所需数据项,再确定从哪个系统取、取哪些表与字段,不做无目标的全库搬运。每个系统的取数范围在接入卡上固定,范围变更走变更流程 | 数据资源建设·接入范围确定方法 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.2.1.1 与 CRM 系统集成要求:CRM 须提供营销相关业务原始数据 | 完全响应 | CRM 数据主要喂给供需计划数据集与产品智能选型场景:客户与商机反映需求侧特征,报价与合同反映选型结果,构成选型场景的标注依据 | 多源异构数据集成采集·CRM |
| (1)须提供客户、商机、报价、合同、订单、回款等结构化数据,以及招标/投标文件(PDF/Word)、资质文件(PDF/JPG)、业绩合同(PDF/JPG)等非结构化数据 | 完全响应 | 结构化六类按表与字段逐项映射到供需计划数据集的字段模型,增量按更新时间戳抽取;非结构化三类走文件通道,按版式文档与图像两条解析路径处理,招投标文件同时作为标书智能问答场景的语料来源。客户与联系人信息在落地区即做去标识处理。取数清单需甲方确认范围;配合事项:CRM 取数表清单与字段范围确认 | 多源异构数据集成采集·CRM;多格式多模态数据录入 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 三种方式按系统实际条件择一或并用,优先接口、其次只读库账号、文件类走 FTP;我方提供连接参数登记表与账号最小权限清单,由甲方系统管理方填写并开通。连接凭证加密保管,使用记录留痕;配合事项:CRM 连接信息与只读账号 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 抽取任务按甲方确认的低峰窗口以 CRON 表达式调度,默认取 0 时至 5 时;单批次限流并设最长执行时长,超时自动中止并顺延到下一窗口,避免影响业务系统。窗口调整由数字化转型工作办公室确认后生效 | 数据采集·调度与限流 |
| (4)须提供 CRM 系统数据字典或数据库设计说明书 | 完全响应 | 以数据字典为字段映射依据,缺字典时我方按样本数据反向整理字段说明并交甲方业务人员确认后使用,确认记录归档。字段含义不明确的一律不进数据集,避免错标;配合事项:CRM 数据字典或数据库设计说明书 | 多源异构数据集成采集·字段映射 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 ERP 系统集成要求:ERP 须提供财务、采购、核算等相关业务原始数据 | 完全响应 | ERP 数据主要支撑供需计划数据集与决策数据智能问答场景,采购与成本数据同时用于库存控制场景的成本约束项 | 多源异构数据集成采集·ERP |
| (1)须提供组织、人力、物料、采购、销售订单、成本核算、应收应付、凭证、资产、资金等结构化数据 | 完全响应 | 十类数据按主题域分组抽取:组织与人力用于口径对齐与权限映射,物料与采购、销售订单进供需计划数据集,成本核算与应收应付、凭证、资产、资金进决策问答场景的指标底表。财务明细按敏感级别分级,涉及商业秘密的字段在落地区脱敏后方可进入加工环节;配合事项:ERP 取数范围与敏感字段清单确认 | 多源异构数据集成采集·ERP;安全方案·去标识与脱敏 |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 优先按接口取数以免直连核心库,接口不具备时使用只读账号并限定可见视图;连接参数与账号权限登记后开通;配合事项:ERP 连接信息与只读视图授权 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度,财务月结期间暂停抽取以避开结账高峰,暂停与补抽计划在接入卡中写明 | 数据采集·调度与限流 |
| (4)须提供 ERP 系统数据字典或数据库设计说明书 | 完全响应 | 以字典为映射依据,科目与成本项的业务含义由甲方财务口径确认;配合事项:ERP 数据字典或数据库设计说明书 | 多源异构数据集成采集·字段映射 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 SCM 系统集成要求:SCM 须提供供应链协同相关业务原始数据 | 完全响应 | SCM 数据支撑供需计划数据集的供给侧特征,并为库存控制场景提供到货与履约的时间分布 | 多源异构数据集成采集·SCM |
| (1)须提供供应商档案、供应商评估、采购计划、采购订单、订单下达、供货履约、付款计划等结构化数据 | 完全响应 | 七类数据按采购全过程串成事件链:计划、下达、履约、付款四个节点以订单号对齐,形成带时间戳的事件序列,用于供需计划数据集中的交付周期与履约稳定性特征。供应商评估分值属敏感信息,按脱敏规则处理后使用;配合事项:SCM 取数范围确认 | 多源异构数据集成采集·SCM |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 同 ERP 口径,优先接口、其次只读视图;配合事项:SCM 连接信息 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度,抽取并发与批量大小按源系统负载上限设定 | 数据采集·调度与限流 |
| (4)须提供 SCM 系统数据字典或数据库设计说明书 | 完全响应 | 以字典为映射依据;配合事项:SCM 数据字典 | 多源异构数据集成采集·字段映射 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 QMS 系统集成要求:QMS 须提供质量管控相关业务原始数据 | 完全响应 | QMS 是产品质量数据集(164 亿 Token、24 万条指令、1.6 万组偏好、0.25 万条基准)的首要来源,也是焊接与热处理过程监控场景的结果标签来源 | 多源异构数据集成采集·QMS |
| (1)须提供制程检验、进厂检验、出厂检验、成品检验、质量台账等结构化数据,以及质量报告、检验数据、产品质量档案、质量知识等非结构化数据 | 完全响应 | 四类检验与台账按工序号、批次号、零部件号三个键与制造过程数据对齐,形成「过程参数—检验结论」配对样本,这是过程监控场景能否验证的关键;质量报告与档案走文件通道解析,质量知识类文本进知识库并用于指令微调语料。缺陷描述按统一缺陷码归一,归一映射表交甲方质量部门确认;配合事项:QMS 取数范围与缺陷码对照确认 | 多源异构数据集成采集·QMS;知识本体;数据标注 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 结构化走接口或只读账号,报告类文件走 FTP,两路数据以批次号关联;配合事项:QMS 连接信息与文件目录授权 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度;检验数据产生具有班次特征,抽取窗口与交班时间错开 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 WMS 系统集成要求:WMS 须提供仓储相关业务原始数据 | 完全响应 | WMS 数据支撑库存控制智能化场景验证,并为供需计划数据集提供库存水位与周转特征 | 多源异构数据集成采集·WMS |
| (1)须提供仓库、库区、货位、物料、批次、到货单、入库单、出库单等结构化数据 | 完全响应 | 八类数据按主档与单据两层处理:主档建立仓库—库区—货位的层级维表,单据按物料与批次汇成出入库流水,据此计算库存水位、周转天数与缺料事件,作为库存场景的验证输入与评价基准。物料编码以主数据管理平台口径为准,WMS 内的本地编码按对照表归一;配合事项:WMS 取数范围与编码对照确认 | 多源异构数据集成采集·WMS |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 优先接口,其次只读视图;WCS 与移动端作业记录随 WMS 一并接入;配合事项:WMS 连接信息 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度;仓储作业存在夜班,窗口以甲方实际班次确认后固定 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 MES 系统集成要求:MES 须提供生产制造过程相关业务原始数据 | 完全响应 | MES 是制造过程数据集(105 亿 Token、15 万条指令、1 万组偏好、0.2 万条基准)的主要来源,并为焊接过程控制场景提供工艺参数上下文 | 多源异构数据集成采集·MES |
| (1)须提供焊丝牌号、焊丝直径、生产工单、生产进度等结构化数据 | 完全响应 | 焊丝牌号与直径作为焊接场景的工艺条件字段,与 SCADA 侧的焊接电流、电压、送丝速度按工单号和时间窗对齐,形成「材料条件+过程参数+检验结论」的完整样本;生产工单与进度用于制造过程数据集的事件时序构建。工单号在各系统中的写法差异按对照表归一;配合事项:MES 取数范围与工单号对照确认 | 多源异构数据集成采集·MES;传感器时序与运维事件对齐 |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 优先接口;MES 处于产线链路,取数采用只读且限流,避免干扰在制业务;配合事项:MES 连接信息 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度;连续生产线的低峰以生产管理部确认的检修或换班时段为准 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 LMS 系统集成要求:LMS 须提供物流管理相关业务原始数据 | 完全响应 | LMS 数据用于供需计划数据集中的交付时效特征,并支撑库存控制场景的在途量计算 | 多源异构数据集成采集·LMS |
| (1)须提供物流需求、运单、调度结果、装卸、取货、送达、运输时间等结构化数据 | 完全响应 | 七类数据按运单号串成从需求到送达的时间链,计算在途时长、到货准时率与装卸等待时长三项派生特征,用于供需计划与库存场景;地址类字段涉及位置信息,按敏感地理信息口径去标识后使用;配合事项:LMS 取数范围确认 | 多源异构数据集成采集·LMS;安全方案·去标识与脱敏 |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 优先接口,其次只读视图;配合事项:LMS 连接信息 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 EMS 系统集成要求:EMS 须提供能源能耗相关业务原始数据 | 完全响应 | 能耗时序数据用于热处理过程监控场景的工况关联分析,并作为制造过程数据集的时序模态来源之一 | 多源异构数据集成采集·EMS |
| (1)须提供能耗监控、能耗统计、能耗分析等时序数据 | 完全响应 | 按测点清单订阅能耗时序,采样率与存储精度随测点类型确定;统计与分析类结果数据按日、班次两级粒度抽取,与热处理炉次、焊接工单做时间对齐,用于判断过程参数异常是否伴随能耗异常。测点与设备的对应关系由甲方确认;配合事项:EMS 测点清单与设备对应关系 | 多源异构数据集成采集·EMS |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 时序库按接口或时序协议订阅;配合事项:EMS 连接信息 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 历史回补在低峰窗口执行,增量按流式订阅不受窗口限制但设带宽上限 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 SOS 系统集成要求:SOS 须提供设备远程运维相关业务原始数据 | 完全响应 | SOS 是刮板输送装备健康智能诊断场景的核心来源:健康时序给出征兆,工单与维修记录给出结论,两者配对才构成可训练、可验证的样本 | 多源异构数据集成采集·SOS |
| (1)须提供健康状态时序数据;设备运维计划、报警处置、售后工单、备件消耗等结构化数据;设备档案(Word)、维修记录(PDF)、诊断报告(PDF/Word)、故障案例(PDF/Word)等非结构化数据 | 完全响应 | 三类形态分通道接入后按设备编号与时间窗对齐:时序数据抽取故障前后的时间片作为样本窗口,报警处置与工单给出故障类型与处置动作,维修记录与故障案例经解析后形成诊断知识与多轮对话语料。故障案例是健康诊断场景基准集的主要素材来源,按故障模式分层抽样以避免类别失衡。设备档案中的客户信息按去标识处理;配合事项:SOS 取数范围、设备编号规则与历史资料清单 | 多源异构数据集成采集·SOS;传感器时序与运维事件对齐;刮板输送装备健康智能诊断验证 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 结构化走接口,时序走时序通道,档案与报告走 FTP;三路以设备编号关联;配合事项:SOS 连接信息与文件目录授权 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度;远程运维平台 24 小时在线,抽取以限速方式执行并避开告警高发时段 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 EAM 系统集成要求:EAM 须提供设备资产管理相关业务原始数据 | 完全响应 | EAM 数据与 SOS 互补:EAM 给出厂内设备的台账与点检维修记录,SOS 给出在役设备的远程运维记录,两者合并覆盖设备全生命周期 | 多源异构数据集成采集·EAM |
| (1)须提供设备台账、设备档案、设备点检、维修工单、作业计划等结构化数据 | 完全响应 | 台账与档案建设备主维表,点检与维修工单按设备编号汇成履历流水,作业计划用于区分计划性停机与故障性停机——这一区分直接影响健康诊断样本的标签正确性,不区分会把检修误判为故障。设备编号以主数据口径归一;配合事项:EAM 取数范围与设备编号对照 | 多源异构数据集成采集·EAM;数据标注 |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 优先接口,其次只读视图;配合事项:EAM 连接信息 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 PLM 系统集成要求:PLM 须提供研发设计相关业务原始数据 | 完全响应 | PLM 是产品工艺设计数据集(70 亿 Token、10 万条指令、0.8 万组偏好、0.1 万条基准)与板材备料工艺智能设计场景的核心来源 | 多源异构数据集成采集·PLM |
| (1)须提供 BOM 编号、工序数据、变更、零部件信息等结构化数据,以及选型方案(PDF/Word)、工艺图纸(PDF)、CAD 图纸(DWG/DXF)、工艺卡片(PDF)等非结构化数据,支撑数据标注和模型训练 | 完全响应 | 结构化部分按 BOM 层级与工序序列建立零部件—工序—工艺参数的三级结构,变更记录用于区分有效版本与历史版本;非结构化部分是本项目加工难度最高的一类:CAD 图纸按 DWG/DXF 解析图元、标注与标题栏,工艺图纸与工艺卡片按版式解析抽取工序、设备、参数与公差,选型方案按文本解析形成选型依据语料。图纸解析结果与结构化 BOM 做一致性交叉校验,不一致项进人工复核队列,不直接入集。28 道备料工序与 63 万张历史工艺样本的加工口径以本系统数据为底;配合事项:PLM 取数范围、图纸批次清单与版本有效性规则 | 多源异构数据集成采集·PLM;设备图纸与工艺图结构化抽取;板材备料工艺智能设计验证 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 结构化走接口,图纸与文档走 FTP 或按批次介质移交;移交以清单加校验和核对,缺件与损坏件单独登记;配合事项:PLM 连接信息与图纸文件授权 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度;历史图纸为一次性批量移交,不占用日常窗口 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 SCADA 系统集成要求:SCADA 须提供工业设备工况、物联网相关业务原始数据 | 完全响应 | SCADA 是时序模态的主要来源,直接决定热处理与焊接两个过程监控场景能否完成验证 | 多源异构数据集成采集·SCADA |
| (1)须提供设备电流、电压、温度、湿度、设备运行状态、焊接电流/电压、送丝速度、气体流量等时序数据 | 完全响应 | 按测点清单订阅八类测点,采样率按工艺要求分档:焊接电流电压与送丝速度取高频采样以保留波形特征,温湿度与运行状态取低频采样。时序与工单、炉次、检验结论按时间窗对齐,对齐容差与插值规则写入对齐工具配置并随数据集说明卡交付。测点命名与物理设备的对应关系由甲方确认,命名不一致是时序对齐出错的主要原因;配合事项:SCADA 测点清单、采样率与设备对应关系 | 多源异构数据集成采集·SCADA;传感器时序与运维事件对齐 |
| (2)须提供数据库连接信息或 API 接口信息 | 完全响应 | 按时序库接口或工业协议订阅,生产网与管理网之间按甲方网络策略经单向或受控通道传输;配合事项:SCADA 连接信息与网络策略确认 | 系统集成方案;安全方案·网络边界 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 历史回补在低峰窗口分批执行并限速,增量按订阅方式持续接入 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与 OA 协同办公系统集成要求:OA 须提供协同办公相关业务原始数据 | 完全响应 | OA 是管理制度智能问答与合同合规智能审查两个通用场景的语料来源 | 多源异构数据集成采集·OA |
| (1)须提供 11 类管理制度(PDF)、9 类合同文档(PDF/Word)等非结构化数据 | 完全响应 | 11 类制度与 9 类合同按类别建目录并逐类解析:制度文本按章条粒度切分并保留条款编号,便于问答场景的引用溯源;合同文本按条款类型抽取要素(主体、金额、期限、违约、知识产权等),形成合规审查场景的标注样本。合同涉及商业秘密与个人信息,按脱敏规则处理后方可进入加工环节,原件不出甲方指定环境。制度与合同的有效版本由甲方认定,失效版本单独标记不进问答语料;配合事项:11 类制度与 9 类合同的目录清单与有效版本认定 | 多格式多模态数据录入;管理制度智能问答验证;合同合规智能审查验证;安全方案·去标识与脱敏 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 文档走 FTP 或受控目录摆渡,流程类结构化数据按接口取;配合事项:OA 连接信息与文档目录授权 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度;文档为一次性批量移交加增量同步 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与久其系统集成要求:须提供经营相关指标数据 | 完全响应 | 经营指标数据用于决策数据智能问答场景的指标底表与口径校验 | 多源异构数据集成采集·经营指标 |
| (1)须提供营业收入、利润、成本、资产负债等指标数据 | 完全响应 | 四类指标按报表期与组织层级抽取,与 ERP 明细做口径交叉校验:同一指标在报表与明细之间若口径不一致,以甲方财务确认的报表口径为准并在数据集说明卡中标明。经营数据属敏感信息,按最小必要原则限定取数范围与可见角色;配合事项:指标取数范围与口径确认 | 多源异构数据集成采集;决策数据智能问答验证;安全方案·分级管控 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 按接口或报表文件导出两种方式取数;配合事项:连接信息或报表导出授权 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度,避开报表上报期 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与主数据管理平台集成要求:须提供组织、人员、物料等主数据 | 完全响应 | 主数据是跨源记录对齐的基准。17 类源系统的本地编码若不归一到主数据口径,跨系统拼接的样本会出现错配,这一步是数据质量的前置条件 | 多源异构数据集成采集·主数据 |
| (1)须提供组织机构、人员、物料编码等结构化数据 | 完全响应 | 三类主数据按确认范围完整接入并建版本化维表,各源系统本地编码与主数据编码建立对照表,对照缺失项进人工确认队列。人员主数据仅取组织归属与岗位用于权限映射,姓名等个人信息在落地区去标识,不进入任何数据集;配合事项:主数据范围与对照表确认 | 数据标准规划;安全方案·去标识与脱敏 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 按接口取数并按日同步变更;配合事项:主数据平台连接信息 | 系统集成方案·接口清单 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 按低峰窗口调度,主数据体量小、同步频率可按日 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 与热处理群控系统集成要求:须提供生产、开炉等相关业务原始数据 | 完全响应 | 群控系统数据是热处理过程智能监控场景验证的直接输入,炉次是该场景的基本样本单位 | 多源异构数据集成采集·热处理群控 |
| (1)须提供当前/设置温度、电流/电压、加热/冷却时间、冷却水温度、淬火液温度、淬火水温、温控测量值等时序数据 | 完全响应 | 按炉次切分时序:以开炉与出炉事件界定样本窗口,窗口内抽取设置值与实测值两条曲线及其偏差序列,加热与冷却时间按工艺段落分段统计。设置值与实测值的偏差是该场景的核心特征,取数时须保证两者采样时钟一致,时钟不同步的测点在接入卡中单独标注并做时间校正。炉次与零件批次的对应关系由热处理分厂确认;配合事项:群控系统测点清单、炉次编号规则与批次对应关系 | 多源异构数据集成采集·热处理群控;热处理过程智能监控验证 |
| (2)须提供数据库连接信息、API 接口信息或 FTP 信息 | 完全响应 | 按接口或历史数据文件导出两路取数,生产网侧按甲方网络策略经受控通道传输;配合事项:连接信息与网络策略确认 | 系统集成方案;安全方案·网络边界 |
| (3)须提供业务低峰时段:例如 0 点至 5 点 | 完全响应 | 历史回补在低峰窗口分批执行,增量按炉次结束后触发抽取,不干扰在炉作业 | 数据采集·调度与限流 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.2.1.17 与安全监管平台集成要求:平台与安全监管平台单向集成,即平台从安全监控平台获取数据 | 完全响应 | 按单向取数实现:我方侧只建入向通道,不向安全监管平台写入任何数据,通道方向在网络策略与接口配置两层固定,审计日志记录每次取数动作 | 多源异构数据集成采集·安全监管平台;安全方案·网络边界 |
| 须包括数据:安全监管数据、生产过程监控数据 | 完全响应 | 两类数据按事件与时序两种形态接入:安全监管数据按事件记录抽取(事件类型、发生时间、涉及区域、处置结果),生产过程监控数据按测点时序抽取,用于与制造过程数据交叉校验异常时段。涉及人员的事件字段去标识后使用;配合事项:安全监管平台取数范围与接口方式 | 多源异构数据集成采集·安全监管平台 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.2.2 多格式多模态的数据录入:实现数据集加工生产相关的离线非结构化数据解析及录入管理,形成电子化数据资产和相关语料 | 完全响应 | 离线非结构化数据按「接收—解析—校验—复核—入库」五步处理,每一步留处理记录与责任人,解析产物同时登记为电子化数据资产(进资产目录)与语料(进加工流水线),两者以同一资产标识关联,便于后续按资产追溯语料来源 | 多格式多模态数据录入 |
| 1.完成业务域文档、图片、工程图纸、技术书籍、财务票据、音视频等多格式多模态离线数据的批量导入与实时接入 | 完全响应 | 六类格式各配解析路径:业务域文档与技术书籍按版式解析与章条切分,图片按版面与内容识别,工程图纸按 DWG/DXF 图元解析与标题栏抽取,财务票据按票面要素识别,音视频按语音转写与关键帧抽取。导入支持批量(目录或介质整批)与实时(接口或监听目录)两种方式,批量导入以清单核对数量与校验和。技术书籍类资料须确认授权范围,不具备商用授权的不进数据集;配合事项:离线资料清单、介质移交安排与授权范围确认 | 多格式多模态数据录入;安全合规·数据来源合法性 |
| 2.建立自动分类、关键信息抽取、结构化转换、质量校验及人工复核机制,形成规范化、标准化的离线电子化数据资产目录 | 完全响应 | 五个环节串成流水线并各设判据:自动分类按业务域与文档类型两级标签,分类置信度低于阈值的转人工;关键信息抽取按文档类型配抽取模板,抽取字段设必填校验;结构化转换输出统一的中间格式;质量校验按字段完整性、格式合规性、与结构化系统的一致性三项打分;人工复核按抽检比例执行,抽检不合格批次整批退回重解析。资产目录字段含来源、类型、密级、版本、解析状态与质量评分 | 多格式多模态数据录入;数据集质检 |
| 3.按业务主题与知识体系进行数据聚类、去噪清洗、格式统一与版本管理 | 完全响应 | 聚类以知识本体的主题层级为骨架,不采用无监督聚类的随机结果作为最终分类;去噪清洗处理扫描噪点、页眉页脚、水印与重复页;格式统一输出到统一编码与统一结构的中间格式;版本管理按资产标识加版本号,同一资料的修订版并存且标明有效性。四项处理的前后对比留样,便于质检复核 | 多格式多模态数据录入;数据预处理;知识本体 |
25 个工具不是 25 个孤立软件:前一类的产出是后一类的输入,最后由验证与归因类工具把数据效果回指到具体批次。类间的数据流向与责任边界如下图。
图 8-1 9 类 25 个工具链的数据流向。实线为数据流,虚线为归因结论的回流。数据来源:招标文件 3.2.3.1 交付清单与 3.2.3.2 至 3.2.3.11 各节功能要求。
本节关键承诺:九类二十五个工具逐一建设并逐一验收,验收以「在本项目真实数据上跑通并产出可核验结果」为准,不以功能演示代替。工具的效率指标按首轮实测给基线,后续优化以基线为对照;招标文件未规定具体效率值的工具,由我方在蓝图设计阶段提出指标并经招标方确认后纳入验收方案。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3 数据集加工生产专项智能工具链建设要求(标题) | 引用 | 正文按 9 类分章、25 个工具分节,章节号与需求书一致 | 专项智能工具链总述 |
| 平台须支持思维链构建、上下文数据构建、多轮对话数据构建、多模态数据对齐、智能标注、数据生成与增强、数据质量与分布控制、数据生成控制与评测、数据集验证与归因至少 9 类 25 个专项智能工具链 | 完全响应 | 按 9 类 25 个交付,类名与需求书逐字一致,数量不少于要求;各工具以统一接口接入加工平台,可单独调用也可编排成流水线。工具清单、分类与编号见「智能工具链(三):质量与验证类」一节.1 下一行及第 6 节 | 专项智能工具链总述 |
| 3.2.3.1 智能工具链交付清单:投标人须交付不少于 9 类 25 个专项智能工具链;各工具链须满足本节对应类别的功能与质量验收要求,并满足通用接口、追溯与验收要求 | 完全响应 | 25 个工具逐一交付并逐一验收:每个工具的验收包含功能用例通过、接口契约符合、追溯字段齐备三项,缺一项不予验收。通用接口与追溯要求按 3.2.3.11 执行(应答见「智能工具链(三):质量与验证类」一节.11),验收用例随交付提交 | 专项智能工具链总述;工具链通用接口与验收 |
| 清单表头:序号、专用智能工具链类别、具体工具链明细 | 引用 | 按原表三列口径应答 | 第 8.1 节 |
| 1 思维链构建:大模型自生成思维链工具链、人机协同思维链标注工具链 | 完全响应 | 2 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.2;两者衔接关系为自生成产出草稿、人机协同完成修订与仲裁,修订结果回流提示词模板 | 专项智能工具链·思维链构建 |
| 2 长上下文数据构建:文档切分与拼接工具链、RAG 数据构建工具链、文档结构解析工具链 | 完全响应 | 3 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.3;结构解析先行、切分拼接次之、RAG 构建在二者产出之上生成三元组 | 专项智能工具链·长上下文构建 |
| 3 多轮对话数据构建:对话模拟生成工具链、结构化工单转对话工具链、对话质量筛选工具链 | 完全响应 | 3 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.4;模拟生成与工单转写两路产出统一进筛选工具,筛选报告决定入集与否 | 专项智能工具链·多轮对话构建 |
| 4 多模态数据对齐:设备图纸与工艺图结构化抽取工具链、视频-文本对齐工具链、传感器时序-运维事件对齐工具链 | 完全响应 | 3 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.5;三者分别处理图纸、视频与时序三类模态,产出统一带时间或空间锚点,便于与文本样本拼接 | 专项智能工具链·多模态对齐 |
| 5 智能标注:大模型预标注工具链、主动学习标注工具链、本体驱动规则标注工具链、一致性校验标注工具链 | 完全响应 | 4 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.6;四者构成一条标注生产线:预标注出草稿、主动学习决定人工投向、本体规则做约束、一致性校验决定是否放行 | 专项智能工具链·智能标注 |
| 6 数据生成与增强:指令数据生成工具链、工单与故障场景模拟生成工具链、文本重写与多样化工具链 | 完全响应 | 3 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.7;生成类产出一律标记为合成数据并记录生成参数,与真实数据在数据集中分别计数 | 专项智能工具链·数据生成与增强 |
| 7 数据质量与分布控制:数据去重与相似度过滤工具链、数据分布分析与均衡工具链 | 完全响应 | 2 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.8;去重在入集前执行,分布均衡在入集后按维度出报表并指导补采与补造 | 专项智能工具链·质量与分布控制 |
| 8 数据生成控制与评测:模板化数据生成工具链、数据集切分与基准构建工具链 | 完全响应 | 2 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.9;基准构建工具产出的测试集与训练集严格隔离,隔离规则由工具强制而非人工约定 | 专项智能工具链·生成控制与评测 |
| 9 数据集验证与归因:多协议模型评测引擎工具链、数据贡献度归因与错题溯源工具链、数据集–模型版本血缘追溯工具链 | 完全响应 | 3 个工具按清单名称交付,功能应答见「智能工具链(三):质量与验证类」一节.10;这一类是数据效果可被证明的关键:评测引擎给分数,归因工具把分数变化指回数据批次,血缘工具保证指回的结论可复现 | 专项智能工具链·验证与归因 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.2 思维链构建类工具链(标题) | 引用 | 正文按本类两个工具分节论述 | 专项智能工具链·思维链构建 |
| 须提供面向复杂推理类训练数据的生产能力,用于生成、标注、修正、筛选和质检带推理过程的问答样本,支撑知识推理、故障分析、工艺判断、质量问题归因、安全合规判断等场景的可解释推理能力;覆盖模型自动生成、人机协同修订、自一致性筛选、推理质量评估和样本版本追溯 | 完全响应 | 五个环节逐环节有工具承载:自动生成与自一致性筛选由自生成工具完成,人机协同修订与争议仲裁由协同标注工具完成,推理质量评估按答案正确性、步骤完整性、事实一致性三项打分,版本追溯由血缘工具统一记录。五类场景各配提示词模板与评分细则,模板随场景单独版本管理 | 专项智能工具链·思维链构建 |
| 思维链构建类工具链须能处理行业知识片段、工艺规程、设备手册、故障案例、质量检验记录、安全制度、专家题库、业务场景模板、提示词模板等数据,生成思维链训练样本 | 完全响应 | 九类输入分别对应来源:工艺规程与设备手册来自 PLM 与离线资料,故障案例来自 SOS,质量检验记录来自 QMS,安全制度来自 OA 与安全监管平台,专家题库由专家库成员按场景出题。输入统一经结构解析后以知识片段形式进入提示词变量,产出的思维链样本带来源引用,不保留引用的样本不入集 | 专项智能工具链·思维链构建;多源异构数据集成采集 |
| 3.2.3.2.1 大模型自生成思维链工具链(标题) | 引用 | 本工具为清单第 1 个工具 | 专项智能工具链·思维链构建 |
| (1)须支持按业务场景、任务类型、难度等级、输出格式和推理深度配置思维链提示词模板,并支持模板版本管理、变量注入、批量渲染、灰度发布和回滚 | 完全响应 | 模板按五个维度参数化配置,模板本体与参数分离存储;版本管理按语义化版本号,变量以命名占位符注入并做必填校验;批量渲染支持按样本集批量产出;灰度发布按比例分流新旧模板,效果以样本通过率对比判定,劣化时一键回滚到上一版本。模板版本号写入每条样本,便于归因 | 专项智能工具链·思维链构建 |
| (2)须支持调用一个或多个大模型批量生成带推理过程的数据样本,可配置采样温度、候选条数、最大长度、停止词、输出 Schema、失败重试和批量任务调度策略 | 完全响应 | 模型经统一网关接入,支持单模型与多模型并行调用,采用当期能力评测领先的通用大模型,可替换、可评测、可随代升级;七项参数全部可配并按任务模板保存为预设。失败重试按错误类型区分策略(限流退避重试、格式错误重新渲染、内容违规丢弃并记录),调度支持优先级队列与并发上限,避免大批量任务挤占在线服务 | 专项智能工具链·思维链构建;模型接入口径 |
| (3)须支持输出结构化推理样本,字段至少含问题、背景材料、推理步骤、最终答案、答案依据、模型名称、提示词版本、生成批次和质量状态 | 完全响应 | 样本按统一 Schema 输出,九个字段全部为必填或系统自动填充:推理步骤按序号数组存储便于逐步校验,答案依据保留引用片段与来源定位,模型名称与提示词版本、生成批次由系统写入不可人工修改,质量状态随质检流程流转(待检、通过、驳回、已修订)。Schema 定义随交付文档提交 | 专项智能工具链·思维链构建 |
| (4)须支持多路采样和自一致性投票,对同一问题生成多条推理路径,按答案一致性、推理完整性、事实匹配度和规则约束筛选高可信样本 | 完全响应 | 同一问题按可配置路数采样,投票按四项判据综合:答案一致性取多数一致,推理完整性检查步骤是否覆盖必要判断点,事实匹配度与背景材料做引用核对,规则约束按本体与工艺规则校验。四项全过方可标记为高可信;分歧样本不丢弃,转人机协同工具修订,修订后重新判定 | 专项智能工具链·思维链构建 |
| 3.2.3.2.2 人机协同思维链标注工具链(标题) | 引用 | 本工具为清单第 2 个工具 | 专项智能工具链·思维链构建 |
| (1)须支持人机协同标注流程,标注人员和领域专家可对模型生成的推理步骤进行新增、删除、合并、拆分、重排和重写,并保留修改前后差异 | 完全响应 | 编辑器按步骤为单位提供六种操作,每次操作记录操作人角色、时间、操作类型与前后内容,差异以逐步对照方式留存。修订后的样本与原始样本并存,原始样本不被覆盖,便于后续分析模型常见的推理缺陷类型 | 专项智能工具链·思维链构建 |
| (2)须支持将修订后的优质样本回流至提示词模板优化、模型评测和后续 SFT 数据生产环节 | 完全响应 | 回流按三条路径实现:修订频次高的缺陷类型汇总为模板改进项并进入模板下一版本;优质样本抽样进入评测集用于衡量模型在推理任务上的表现;通过质检的样本按指令微调格式转换后进入 SFT 数据生产队列。三条路径的流转记录进血缘 | 专项智能工具链·思维链构建;数据集切分与基准构建 |
| (3)须支持多人交叉标注、专家仲裁和低一致性样本复核,能记录争议原因、裁决结论、审核状态和全过程审计信息 | 完全响应 | 交叉标注按双人独立标注加差异比对执行,一致率低于门限的样本自动进入专家仲裁队列;仲裁记录含争议原因分类、裁决结论与裁决依据,审核状态按待审、通过、驳回、已仲裁流转。全过程操作进审计日志,审计员可按样本、人员、时间检索 | 专项智能工具链·智能标注;数据标注规范建设 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.3 长上下文数据构建类工具链(标题) | 引用 | 正文按本类三个工具分节论述 | 专项智能工具链·长上下文构建 |
| 须提供面向长文档、复杂技术资料、标准规范、知识库和检索增强训练场景的数据构建能力,将 PDF、Word、HTML、Markdown、表格、图文混排资料转化为可用于长文本训练、RAG 训练和评测的结构化样本;覆盖文档解析、语义切分、滑窗拼接、结构还原、向量检索、上下文组装和质量检查 | 完全响应 | 七个环节按两段式组织:结构解析与语义切分构成前段,产出带章节层级与来源定位的文档对象;滑窗拼接、向量检索与上下文组装构成后段,分别产出长文本训练样本与 RAG 三元组。质量检查贯穿两段,前段检查结构还原正确性,后段检查证据相关性与引用完整性 | 专项智能工具链·长上下文构建 |
| 长上下文数据构建类工具链须能处理技术手册、行业标准、工艺规程、维修手册、设备说明书、招投标文件、知识库文档、PDF/Office/HTML 文件、向量模型和查询模板等,生成结构化文档对象、章节树、长上下文样本、RAG 评测样本 | 完全响应 | 七类资料与三类配置输入全部支持,产出四类对象逐类定义 Schema:结构化文档对象保留原文定位,章节树保留层级与编号,长上下文样本记录窗口参数与来源映射,RAG 评测样本记录查询、上下文、回答与证据来源。技术书籍与行业标准类资料的使用范围按授权确认后入集 | 专项智能工具链·长上下文构建;安全合规·数据来源合法性 |
| 3.2.3.3.1 文档切分与拼接工具链(标题) | 引用 | 本工具为清单第 3 个工具 | 专项智能工具链·长上下文构建 |
| (1)须支持 PDF、Word、Excel、PPT、HTML、Markdown、TXT 等多格式文档导入,能识别正文、标题、表格、图片、公式、附件、页码和章节层级 | 完全响应 | 七种格式各配解析器,统一输出到同一文档对象模型;八类版面要素逐类识别并标记,表格按单元格结构保留、公式按可还原形式保留、图片按位置与题注关联正文。识别结果按抽样人工核对,核对不合格的格式单独调参后重跑 | 专项智能工具链·长上下文构建 |
| (2)须支持滑动窗口拼接长上下文样本,可配置窗口长度、重叠比例、最大 Token 数、跨章节拼接策略、EOS 分隔符和来源映射关系 | 完全响应 | 六项参数全部可配并按数据集预设保存;跨章节拼接提供禁止、允许同级、允许全文三档策略,避免把不相关章节拼成一条样本造成语义断裂。每条样本保留到原文的来源映射(文件、页码、章节、段落序号),这是后续错题溯源的前提 | 专项智能工具链·长上下文构建;数据贡献度归因与错题溯源 |
| 3.2.3.3.2 RAG 数据构建工具链(标题) | 引用 | 本工具为清单第 4 个工具 | 专项智能工具链·长上下文构建 |
| (1)须支持 RAG 数据构建能力,完成文本向量化、向量库入库、关键词检索、向量检索、混合检索、重排、证据选择和上下文组装 | 完全响应 | 八个步骤串成一条可配置流水线:向量化模型可替换并记录版本,检索支持关键词、向量与混合三种模式,重排在召回结果上执行,证据选择按相关性与去重规则挑选片段,上下文组装按长度预算裁剪并保留引用标记。各步骤的中间结果可留存,便于分析召回失败原因 | 专项智能工具链·长上下文构建 |
| (2)须支持基于检索结果自动生成查询、上下文、回答三元组,并保留证据来源、引用片段、页码、置信度和人工复核状态 | 完全响应 | 三元组按正向与反向两种方式生成:正向由文档片段反推可回答的查询,反向由业务问题检索支撑片段。五项追溯字段随三元组一并存储,其中页码来自结构解析阶段的定位信息;人工复核状态按待核、通过、驳回流转,驳回原因分类统计用于改进检索参数 | 专项智能工具链·长上下文构建 |
| (3)须支持 RAG 检索参数配置,可配置 Top-K、召回阈值、重排模型、metadata filter、上下文长度、证据去重策略和引用片段裁剪策略,满足不同知识库、任务和上下文窗口的构建需求 | 完全响应 | 七项参数按知识库与任务两级预设管理,同一知识库在不同任务下可用不同参数组;metadata filter 支持按业务域、密级、有效版本过滤,失效版本的资料不会被检索进训练样本。参数组与产出批次绑定记录,便于复现 | 专项智能工具链·长上下文构建 |
| (4)须支持长上下文和 RAG 样本质量检查,能识别片段过短、重复拼接、语义断裂、来源缺失、Token 超限、证据不相关、引用缺失和答案幻觉 | 完全响应 | 八类问题各有检出规则:长度与 Token 类按阈值判定,重复拼接按相似度判定,语义断裂按段落衔接检查,来源与引用缺失按字段必填校验,证据不相关按查询与片段相关性打分,答案幻觉按回答内容与证据片段的支持关系核对。检出样本按问题类型分流:可自动修复的重跑,不可修复的退回并计入批次不合格率 | 专项智能工具链·长上下文构建;数据集质检 |
| (5)须支持 RAG 评测数据生成和质量评价,围绕查询、上下文、回答三元组输出召回率、引用准确率、证据相关性、回答一致性、答案接地性和人工复核状态等指标,支撑 RAG 数据集训练、评测和验收 | 完全响应 | 评测集与训练集分开构建、来源文档不重叠;五项指标逐项定义计算口径并在验收报告中给出数值与样本量,人工复核状态作为第六项随报表输出。答案接地性以回答中每个事实陈述是否能在证据片段中找到支撑计算,这一项是 RAG 数据可用性的主判据 | 专项智能工具链·长上下文构建;数据集验证 |
| 3.2.3.3.3 文档结构解析工具链(标题) | 引用 | 本工具为清单第 5 个工具 | 专项智能工具链·长上下文构建 |
| (1)须支持文档结构化解析,完成标题层级识别、目录结构还原、段落归并、页眉页脚剔除、跨页表格拼接、公式和图文说明转换 | 完全响应 | 七项处理按顺序执行并各有校验:标题层级以字号、编号与版式特征综合判定,目录结构与正文标题交叉核对,跨页表格按表头重复与列数一致判定拼接,页眉页脚按重复出现位置剔除。解析结果出结构还原报告,章节数与原文目录不一致的文档进人工复核 | 专项智能工具链·长上下文构建 |
| (2)须支持按章节、段落、句子、语义边界、表格边界和 Token 长度进行混合切分,切分结果须保留原始文档来源、页码、标题层级、段落序号和上下文关系 | 完全响应 | 六种切分依据可组合使用,默认策略为语义边界优先、Token 长度兜底,表格不被切断。五项溯源字段随每个切片存储,上下文关系以前后切片指针表示,便于在训练与评测时还原原文语境 | 专项智能工具链·长上下文构建 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.4 多轮对话数据构建类工具链(标题) | 引用 | 正文按本类三个工具分节论述 | 专项智能工具链·多轮对话构建 |
| 须提供面向智能客服、设备运维、专家问答、业务协同、故障排查等场景的多轮对话数据生产能力,构建具有上下文连续性、角色一致性、业务闭环和可追溯来源的对话样本;覆盖角色剧本配置、多智能体对话生成、工单转写、脱敏、对话质量筛选和分层采样 | 完全响应 | 六个环节分别由三个工具承担:剧本配置与多智能体生成在模拟生成工具,工单转写与脱敏在转对话工具,质量筛选与分层采样在筛选工具。四项质量属性作为筛选判据而非口头要求:上下文连续性按指代与话题衔接检查,角色一致性按角色知识边界检查,业务闭环按是否给出处置结论检查,来源可追溯按每轮是否绑定来源记录检查 | 专项智能工具链·多轮对话构建 |
| 多轮对话数据构建类工具链须能处理角色剧本、业务场景模板、领域知识库、问题种子、SOS 工单、CRM 售后记录、运维报告、维修闭环记录、评分规则和敏感词规则等,生成多轮对话样本、角色标签、脱敏记录、质量评分、低质样本清单 | 完全响应 | 十类输入全部支持,其中 SOS 工单、CRM 售后记录、运维报告与维修闭环记录来自源系统接入(见「智能工具链(二):对齐与标注类」一节),敏感词规则与评分规则由我方提供初版并交甲方确认后固化。五类产出逐类定义格式,脱敏记录与原文的映射单独加密存放,仅审计员可查 | 专项智能工具链·多轮对话构建;安全方案·去标识与脱敏 |
| 3.2.3.4.1 对话模拟生成工具链(标题) | 引用 | 本工具为清单第 6 个工具 | 专项智能工具链·多轮对话构建 |
| (1)须支持配置用户、助手、专家、维修人员、质检人员、调度人员等多类角色剧本,可定义角色目标、知识边界、表达风格、任务约束和安全边界 | 完全响应 | 六类角色各配剧本模板,五项属性逐项可配:知识边界限定该角色可引用的知识库范围,越界回答在生成时被拦截;安全边界限定不得输出的内容类型。剧本支持版本管理,版本号写入对话样本便于归因 | 专项智能工具链·多轮对话构建 |
| (2)须支持基于多智能体机制自动生成多轮对话,能控制对话轮次、话题流转、追问策略、澄清机制、终止条件和异常分支 | 完全响应 | 两个或多个角色智能体按剧本交替发言,六项控制项全部可配:轮次设上下限,话题流转按场景状态机推进,追问与澄清在信息不足时触发,终止条件按问题是否闭环判定,异常分支覆盖信息缺失、需求变更与越权请求三类。生成过程留状态轨迹,便于分析对话为何不闭环 | 专项智能工具链·多轮对话构建 |
| (3)须支持围绕产品选型、设备故障诊断、工艺审查、质量检验、安全合规、合同协同和售后服务等场景生成对话 | 完全响应 | 七类场景各配场景模板与问题种子,模板中的业务对象落到具体对象:选型对话用刮板输送机的机型与参数,故障诊断用实际故障模式,工艺审查用备料与焊接工序,合同协同用合同要素清单。场景模板与 11 个验证场景的对应关系在场景验证方案中列明 | 专项智能工具链·多轮对话构建;数据集场景验证服务 |
| 3.2.3.4.2 结构化工单转对话工具链(标题) | 引用 | 本工具为清单第 7 个工具 | 专项智能工具链·多轮对话构建 |
| (1)须支持将结构化工单、客服记录和运维报告转换为多轮对话样本,转换过程须覆盖现象描述、澄清追问、诊断分析、处置建议、结果确认和复盘总结 | 完全响应 | 转换按六段式脚本展开:工单的现象字段映射为首轮描述,缺失信息生成澄清追问,诊断字段映射为分析轮次,处置与验证字段映射为建议与确认,闭环记录映射为复盘。原工单字段与对话轮次的映射关系随样本保存,便于核对转写是否失真 | 专项智能工具链·多轮对话构建 |
| (2)须支持对工单内容进行合理补全,生成澄清问题、判断依据、技术解释、维修建议和用户确认内容 | 完全响应 | 补全限定在工单已有事实与知识库可支撑的范围内,补全内容单独标记为生成段并记录依据来源;无依据可循的推断不生成,宁可保留对话的信息缺口。补全段按抽检比例人工复核,复核不通过的整批退回 | 专项智能工具链·多轮对话构建 |
| (3)须支持对原始业务数据进行脱敏,能识别并替换姓名、电话、编号、地点、客户名称、合同编号、设备编码等敏感信息 | 完全响应 | 七类敏感信息按规则加模型双通道识别,替换采用一致性假名(同一实体在同一对话内替换为同一假名),避免破坏对话逻辑;替换映射表加密留存。脱敏效果按抽检验证,漏脱项计入质检缺陷并返工,趋向无残留,残留检出即整批重处理 | 专项智能工具链·多轮对话构建;安全方案·去标识与脱敏 |
| 3.2.3.4.3 对话质量筛选工具链(标题) | 引用 | 本工具为清单第 8 个工具 | 专项智能工具链·多轮对话构建 |
| (1)须支持对话质量筛选和排序,能从相关性、完整性、信息密度、指令遵循、业务合理性、角色一致性、安全合规性等维度进行评分 | 完全响应 | 七个维度各定义评分细则与分档样例,总分按加权合成并支持按数据集调整权重;排序结果用于分层采样。评分细则随交付提交,便于甲方复核打分口径是否合理 | 专项智能工具链·多轮对话构建 |
| (2)须支持低质量对话过滤,能识别角色混乱、上下文断裂、重复应答、答非所问、敏感内容、解决方案缺失和业务逻辑不闭环等问题 | 完全响应 | 七类问题各配检出规则并输出问题标签,命中即不入集;其中业务逻辑不闭环与解决方案缺失两类按业务规则判定,规则由行业专家参与制定。过滤结果进低质样本清单,按问题类型统计反向改进生成策略 | 专项智能工具链·多轮对话构建 |
| (3)须支持多模型投票和人工抽检,降低单一模型评分偏差 | 完全响应 | 评分由多个模型独立打分后取一致性结果,分差超过阈值的样本转人工抽检;人工抽检按比例执行并与模型分数做偏差分析,偏差持续偏大时重新校准评分细则。模型与人工的分差统计进质量报告 | 专项智能工具链·多轮对话构建 |
| (4)须支持按分数、场景、任务类型、难度和来源分层采样,形成均衡对话训练集 | 完全响应 | 五个维度组合分层,各层配额按目标分布设定并由采样工具强制执行;配额不足的层出缺口清单,交生成或补采补齐,不以高分样本重复填充造成分布倾斜 | 专项智能工具链·多轮对话构建;数据分布分析与均衡 |
| (5)须支持输出筛选报告,包含通过率、拒绝原因、低质样本清单和修复建议 | 完全响应 | 每批次出筛选报告,四项内容齐备:通过率按场景与任务类型分列,拒绝原因按问题类型占比排序,低质样本清单给出样本标识与命中规则,修复建议按原因给出改剧本、改提示词或补数据三类处置。报告随批次交付并进质量档案 | 专项智能工具链·多轮对话构建;数据集质检 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.5 多模态数据对齐类工具链(标题) | 引用 | 正文按本类三个工具分节论述 | 专项智能工具链·多模态对齐 |
| 须提供面向图纸、工艺图、图像、视频关键帧、文本、传感器时序和运维事件的数据对齐能力,建立不同模态之间的语义、时间、空间和业务关联关系,形成可用于多模态模型训练、评测和场景验证的样本;覆盖图纸结构化、关键帧与事件对齐、时序事件对齐、特征抽取和诊断说明生成 | 完全响应 | 四类关联关系各有锚点:语义关联以本体术语为锚,时间关联以统一时钟与事件时间戳为锚,空间关联以图纸坐标与视图位置为锚,业务关联以工单号、炉次号、批次号为锚。四类锚点的归一规则在数据标准规划中固定,锚点不一致是多模态对齐失败的主因,因此锚点归一先于对齐执行 | 专项智能工具链·多模态对齐;数据标准规划 |
| 3.2.3.5.1 设备图纸与工艺图结构化抽取工具链(1)须支持从设备和工艺图纸中抽取结构化的数据信息 | 完全响应 | 本工具为清单第 9 个工具。抽取覆盖三类内容:标题栏信息(图号、名称、材料、版本、设计与审核标识)、图面标注(尺寸、公差、粗糙度、焊接符号、热处理要求)、结构关系(零部件层级与装配关系)。DWG/DXF 走图元解析,扫描版图纸走图像识别加版面分析;抽取结果与 PLM 的 BOM 做一致性交叉校验,不一致项进人工复核,不直接入集。抽取字段的准确率按抽检统计并在验收报告中给出,低于门限的图纸类型单独调参后重跑 | 专项智能工具链·多模态对齐;板材备料工艺智能设计验证 |
| 3.2.3.5.2 视频-文本对齐工具链(标题) | 引用 | 本工具为清单第 10 个工具 | 专项智能工具链·多模态对齐 |
| (1)须支持按事件触发、关键帧或人工标记从视频中抽取图像帧,并结合画面 OCR 与视觉描述形成帧级文本说明 | 完全响应 | 三种抽帧方式并行支持:事件触发按告警或工艺节点时间点抽帧,关键帧按画面变化度抽帧,人工标记供复核时补抽。帧级说明由画面文字识别与视觉描述两部分合成,说明中出现的设备与部件名称按本体术语归一 | 专项智能工具链·多模态对齐 |
| (2)须支持视频关键帧与设备运行事件、工艺阶段进行时间戳对齐,输出帧时间戳、视觉描述、事件标签、工艺阶段和置信度 | 完全响应 | 对齐以统一时钟为基准,视频时间轴与设备事件时间轴先做时钟校正再对齐;五项输出字段随样本存储,置信度由抽帧清晰度与事件匹配紧密度合成。工艺阶段按工序定义切段,便于按阶段统计 | 专项智能工具链·多模态对齐 |
| (3)须支持关键帧与事件标签的对齐校验,识别时间漂移、描述缺失和画面不匹配 | 完全响应 | 三类问题各配检出方法:时间漂移按同一事件在多路数据中的时间差判定,描述缺失按字段必填校验,画面不匹配按描述与事件标签的语义一致性判定。检出样本进复核队列,漂移超限的视频整段重新校时后再对齐 | 专项智能工具链·多模态对齐 |
| 3.2.3.5.3 传感器时序-运维事件对齐工具链(标题) | 引用 | 本工具为清单第 11 个工具 | 专项智能工具链·多模态对齐 |
| (1)须支持传感器时序数据与告警、停机、维修工单、运维事件等进行时间窗对齐,能按报警前后、维修前后或指定滑窗策略切分时序片段 | 完全响应 | 三种切窗策略可配:报警前后与维修前后按前后时长参数切取,指定滑窗按窗长与步长切取。切窗同时记录事件类型与设备标识,形成「征兆窗口+事件标签」的配对样本,这是健康诊断与过程监控两类场景的基本样本形态。计划性停机按 EAM 作业计划剔除,避免误标为故障 | 专项智能工具链·多模态对齐;刮板输送装备健康智能诊断验证 |
| (2)须支持时序数据重采样、缺失补齐、异常值处理、归一化、基线漂移校正和多测点时间同步 | 完全响应 | 六项处理按流水线顺序执行并记录处理参数:重采样按目标采样率统一,缺失按时长分档处理(短缺口插值、长缺口标记为不可用而非强行填充),异常值按物理量程与统计规则双重判定,归一化按测点量纲分别处理,基线漂移按长期趋势扣除,多测点按统一时钟同步。处理前后的曲线留样,便于质检比对 | 专项智能工具链·多模态对齐;数据预处理 |
| (3)须支持对时序片段进行特征抽取,计算统计指标、趋势特征、峰值、频域特征和时频域特征,并生成对应诊断文本说明 | 完全响应 | 五类特征逐类给计算定义并输出特征表:统计指标含均值、方差、极值与分位数,趋势特征含斜率与变化率,峰值含幅值与出现时刻,频域与时频域特征按设备工况选择变换方法。诊断文本说明由特征值按模板与知识规则生成,说明中引用的阈值来自工艺规程或设备手册,不自拟数值 | 专项智能工具链·多模态对齐;知识库 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.6 智能标注类工具链(标题) | 引用 | 正文按本类四个工具分节论述 | 专项智能工具链·智能标注 |
| 须提供面向文本、图像、图纸、工单和多模态样本的自动化与半自动化标注能力,降低人工标注成本、提高标注一致性、增强标注可复核性并形成稳定的标注生产流程;覆盖大模型预标注、主动学习、本体规则标注、一致性校验、复核裁决和标注质量报告 | 完全响应 | 六个环节构成一条标注生产线,各环节的放行判据明确:预标注按置信度分流,主动学习按不确定性排序派单,本体规则做硬约束拦截,一致性校验按标注员间一致率门限放行,低于门限的批次整批返工,复核裁决记录全过程,标注质量报告按批次出具。人工成本的下降以预标注采纳率衡量,一致性的提高以一致率指标衡量,两项指标进月度质量报告 | 专项智能工具链·智能标注;数据标注;数据标注规范建设 |
| 智能标注类工具链须能处理未标注文本、图像、图纸、工单、多模态样本、领域本体、术语词典、标注规范和未标注样本池等,生成预标注结果、人工标注结果、候选标签、约束校验结果、一致性指标、复核任务、专家裁决记录、标注质量报告 | 完全响应 | 九类输入与八类产出逐类定义格式并纳入统一的标注数据模型;领域本体、术语词典与标注规范作为标注作业的前置输入,三者缺一不开工。产出中的一致性指标与质量报告同时作为数据集质检的输入证据 | 专项智能工具链·智能标注;知识本体 |
| 3.2.3.6.1 大模型预标注工具链(标题) | 引用 | 本工具为清单第 12 个工具 | 专项智能工具链·智能标注 |
| (1)须支持多任务预标注模板管理,能针对实体抽取、关系抽取、需求分类、摘要生成、问答生成、图文标注、缺陷描述等任务配置不同提示词和输出 Schema | 完全响应 | 七类任务各配模板与输出 Schema,模板与 Schema 成对版本管理;同一任务可并存多个模板用于对比,采纳率高者转为默认。缺陷描述类任务的标签集取自 QMS 缺陷码,不自行另造 | 专项智能工具链·智能标注 |
| (2)须支持调用大模型批量生成预标注结果,输出须含标签、解释、证据片段、置信度、模型版本和提示词版本等信息 | 完全响应 | 六项字段随每条预标注结果写入,其中解释与证据片段是人工复核效率的关键——复核人员据此判断标签是否可信,不必重读全文。模型经统一网关接入,版本信息自动记录 | 专项智能工具链·智能标注 |
| (3)须支持输出 Schema 校验、字段完整性校验和置信度阈值控制,高置信样本可进入抽检流程,低置信样本自动进入人工标注队列 | 完全响应 | 三道校验在结果落库前执行,不合规结果不入库并触发重试;置信度阈值按任务分别设定,高置信样本按比例抽检、抽检不合格则该批次阈值上调并重跑,低置信样本自动派人工。阈值与抽检比例的调整记录留痕 | 专项智能工具链·智能标注;数据集质检 |
| (4)须支持批量任务调度、失败重试、并发控制、成本统计和模型调用日志记录 | 完全响应 | 五项能力齐备:调度按优先级与依赖关系排队,重试按错误类型分策略,并发按网关配额上限控制,成本按任务与批次统计并出月报,调用日志记录请求标识、模型版本、耗时与结果状态。成本统计用于判断哪些任务更宜用规则替代模型 | 专项智能工具链·智能标注 |
| (5)须支持预标注结果与原始样本、提示词版本和模型版本绑定,保障可追溯 | 完全响应 | 三项绑定关系写入血缘记录,任一标注结果可反查其原始样本、所用模板与模型版本;版本信息不可人工修改。这一绑定是后续错题溯源能够定位到具体标注批次的前提 | 专项智能工具链·智能标注;数据集–模型版本血缘追溯 |
| 3.2.3.6.2 主动学习标注工具链(标题) | 引用 | 本工具为清单第 13 个工具 | 专项智能工具链·智能标注 |
| (1)须支持主动学习采样机制,能基于模型不确定性、低置信度、边界样本、模型分歧、长尾类别和错误高发来源优先分配人工标注 | 完全响应 | 六种采样依据可单独或组合使用,组合权重可配;长尾类别与错误高发来源两项按历史质检数据动态更新,使人工标注优先投向最能改善数据质量的样本。采样策略与批次绑定记录,便于评估不同策略的收益 | 专项智能工具链·智能标注 |
| (2)须支持标注结果回流模型训练,形成模型预测、人工标注、增量训练、再次采样的闭环 | 完全响应 | 闭环按轮次运行,每轮记录新增标注量、模型指标变化与下一轮采样策略;轮次收益低于阈值时停止增量训练并转向补充新来源数据,避免在同一数据分布上空转。闭环过程数据进数据集与模型版本血缘 | 专项智能工具链·智能标注;行业大模型训练推理技术服务 |
| (3)须支持避免重复派单和样本泄漏,保留采样批次、模型版本和策略参数 | 完全响应 | 派单以样本标识去重,已标注与在标注样本不再入池;测试集样本在采样池中加排除标记,防止进入训练标注流程造成泄漏。三项参数随批次留档,泄漏检查结果进质量报告 | 专项智能工具链·智能标注;数据集切分与基准构建 |
| 3.2.3.6.3 本体驱动规则标注工具链(标题) | 引用 | 本工具为清单第 14 个工具 | 专项智能工具链·智能标注 |
| (1)须支持领域本体驱动的规则标注,能基于设备、部件、故障、工艺、材料、质量指标、安全规则等本体关系生成候选标签 | 完全响应 | 七类本体对象的关系在知识本体中定义后由本工具读取,按关系路径生成候选标签(如由部件推出可能故障模式、由材料与工序推出适用工艺参数范围)。候选标签不直接作为最终标注,而是作为预标注与人工标注的备选项,减少漏标 | 专项智能工具链·智能标注;知识本体 |
| (2)须支持本体约束校验,能利用父子类、互斥关系、必选属性、关系方向、同义词、别名和取值范围识别并剔除冲突标注 | 完全响应 | 七类约束作为硬规则执行:互斥关系与关系方向违例直接拦截,必选属性缺失与取值越界退回补标,同义词与别名按主术语归一。拦截量按约束类型统计,统计结果反向提示标注规范中表述不清的条目 | 专项智能工具链·智能标注;数据标注规范建设 |
| 3.2.3.6.4 一致性校验标注工具链(标题) | 引用 | 本工具为清单第 15 个工具 | 专项智能工具链·智能标注 |
| (1)须支持多人、多模型和人机交叉标注,并能计算一致率、冲突率等一致性指标 | 完全响应 | 三种交叉方式均支持,指标按任务类型选择算法(分类类任务用标注者间一致性系数,抽取类任务用严格匹配与宽松匹配两档一致率);指标按批次、按标注员、按标签项三个维度出报表。一致率低于门限的批次整批返工,门限值在标注规范中按任务类型分别规定 | 专项智能工具链·智能标注;数据标注 |
| (2)须支持复核与裁决工作流,记录标注、修改、审核、驳回、专家裁决和最终确认全过程,满足审计追溯要求 | 完全响应 | 工作流六个状态逐一留痕,每次状态变更记录操作人角色、时间与理由;专家裁决为终局,裁决结论同时更新标注规范的示例库,使同类争议下次不再出现。全过程日志进审计 | 专项智能工具链·智能标注;审计管理 |
| (3)须支持新术语发现和本体回流,将标注中发现的别名、新故障模式、新工艺术语和规则歧义提交本体更新流程 | 完全响应 | 四类发现项由标注人员一键提交,经术语审议后进入本体版本更新,更新后的本体回灌到规则标注工具生效;回流周期按月,紧急术语随时处理。本体版本变更会触发受影响批次的重新校验,变更影响范围由血缘工具给出 | 专项智能工具链·智能标注;知识本体;数据集–模型版本血缘追溯 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.7 数据生成与增强类工具链(标题) | 引用 | 正文按本类三个工具分节论述 | 专项智能工具链·数据生成与增强 |
| 须提供面向训练数据扩充、长尾场景补齐、表达多样化和稀缺样本构造的生成与增强能力,用于生成指令数据、模拟工单故障场景、扩展排障对话,并对已有文本作语义保持的重写增强;覆盖种子指令管理、指令进化、受控合成、故障场景模拟、文本改写和生成质量过滤 | 完全响应 | 六个环节分别由三个工具承担。生成数据的用途有边界:用于补长尾与丰富表达,不用于充规模——合成样本在数据集中单独计数并在说明卡中标明占比,合成占比上限按数据集类型设定,超限不入集。稀缺样本的构造一律基于真实工单分布与设备本体,不凭空编造故障模式 | 专项智能工具链·数据生成与增强;数据合成 |
| 数据生成及增强类工具链应能基于种子指令、领域文档、任务模板、历史工单、设备本体、故障知识库、场景模板、业务约束、高质量原始样本、术语保护词表和语义校验模型等,生成 SFT 指令样本、合成工单、增强文本样本、生成批次和合成日志 | 完全响应 | 十一类输入与五类产出逐类定义格式;术语保护词表与业务约束是生成质量的关键输入,由行业专家与甲方业务人员共同确认后固化。合成日志记录每批次的输入版本、模板版本与采样参数,使任何一条合成样本都能复现 | 专项智能工具链·数据生成与增强 |
| 3.2.3.7.1 指令数据生成工具链(标题) | 引用 | 本工具为清单第 16 个工具 | 专项智能工具链·数据生成与增强 |
| (1)须支持基于种子指令集批量生成指令响应数据,覆盖知识问答、推理分析、信息抽取、摘要、分类、工具调用和多模态描述等任务类型 | 完全响应 | 七类任务各备种子指令与生成模板,产出直接对应指令微调数据集的 89 万条目标(供需计划 40 万、工艺设计 10 万、制造过程 15 万、质量 24 万)。工具调用类指令以实际可用的接口定义为蓝本,不编造不存在的工具 | 专项智能工具链·数据生成与增强;数据集建设及指标 |
| (2)须支持种子指令管理,能维护任务类型、业务领域、难度等级、输入输出格式和参考答案 | 完全响应 | 种子库按五个属性建表并版本化,参考答案由行业专家审核后入库;种子的覆盖度按业务领域与任务类型交叉统计,空白格出缺口清单交专家补题。种子质量直接决定生成质量,因此种子入库的审核标准高于普通样本 | 专项智能工具链·数据生成与增强;数据标注专家库建设机制 |
| (3)须支持指令进化生成能力,能对原始指令进行难度提升、约束增加、场景迁移、任务组合和表达变化,形成多层次训练样本 | 完全响应 | 五种进化算子可组合并记录进化路径,样本保留与种子的派生关系;难度分档以人工校准的样例为锚,避免算子把指令改成无解题。进化后的样本按难度分层统计,保证各难度层有足够样本量 | 专项智能工具链·数据生成与增强 |
| (4)须支持按领域、任务、难度、长度、来源和质量等级控制生成分布,避免生成数据集中于单一场景或单一表达方式 | 完全响应 | 六个维度设目标配额,生成任务按配额派发,满额即停;分布偏离由均衡工具按批次检测并回传配额调整。单一场景占比与单一表达模板占比两项设上限,超限批次强制调整模板后重跑 | 专项智能工具链·数据生成与增强;数据分布分析与均衡 |
| (5)须支持规则过滤、模型评分、人工抽检和重复检测,剔除低质量、幻觉、越权和格式错误样本 | 完全响应 | 四道过滤顺序执行:规则过滤查格式与禁止内容,模型评分查质量与幻觉,重复检测查与已有样本的重合,人工抽检按比例复核并校准前三道的阈值。四类问题样本分别计数并进批次质量报告,越权类问题(涉及不应公开的内容)一经检出整批复查 | 专项智能工具链·数据生成与增强;数据集质检 |
| (6)须支持基于领域本体、历史工单分布和业务规则生成故障场景,能组合设备、部件、故障模式、现象、原因、处置流程、备件和安全约束 | 完全响应 | 场景生成以本体关系为骨架、以历史工单分布为配额依据:八类要素按本体允许的组合关系拼装,不产生物理上不可能的组合(如某部件不具备的故障模式);分布按历史工单的故障模式频次设权重,长尾模式适度上调以补齐覆盖。安全约束作为硬条件,违反安全规程的处置流程不被生成 | 专项智能工具链·数据生成与增强;知识本体 |
| 3.2.3.7.2 工单与故障场景模拟生成工具链(标题) | 引用 | 本工具为清单第 17 个工具 | 专项智能工具链·数据生成与增强 |
| (1)须支持生成工单描述、故障树、诊断推理、维修建议、复盘总结和多轮排障对话 | 完全响应 | 六类产出按同一场景实例成组生成,彼此口径一致:故障树的节点与诊断推理的步骤对应,维修建议与备件消耗对应,复盘总结引用前述结论。成组生成的好处是同一场景可同时供指令微调、思维链与多轮对话三类数据集使用,避免重复构造 | 专项智能工具链·数据生成与增强;刮板输送装备健康智能诊断验证 |
| (2)须支持合成样本标识和来源记录,明确 synthesis_source、teacher_model、template_version 和采样参数 | 完全响应 | 四个字段作为合成样本的必填元数据写入样本记录,字段名按需求书口径保留;合成标识使合成数据在任何统计口径下都可被单独筛出,便于按占比上限控制与按需剔除。字段由系统写入,不可人工修改 | 专项智能工具链·数据生成与增强;工具链通用接口与追溯 |
| 3.2.3.7.3 文本重写与多样化工具链(标题) | 引用 | 本工具为清单第 18 个工具 | 专项智能工具链·数据生成与增强 |
| (1)须支持文本重写与风格迁移,在保持语义一致的前提下生成口语化、书面化、技术化、简化、扩写、压缩等不同表达版本 | 完全响应 | 六种风格各配改写指令与示例,改写强度分档可配;同一原文的多个版本保留派生关系并在切分时归为同组,防止同组样本跨训练集与测试集造成泄漏 | 专项智能工具链·数据生成与增强;数据集切分与基准构建 |
| (2)须支持语义一致性校验,使用向量相似度、关键信息抽取和规则检查防止语义漂移 | 完全响应 | 三种方法并用:向量相似度给总体判断,关键信息抽取逐项核对实体与数值是否保留,规则检查核对单位与否定表述。三者任一不通过即判为漂移并剔除,漂移率按批次统计,持续偏高时下调改写强度 | 专项智能工具链·数据生成与增强 |
| (3)须支持术语保护和事实保护,改写过程中不得改变关键实体、数值、单位、工艺参数、故障结论、安全约束和业务规则 | 完全响应 | 七类受保护内容按词表与模式识别后加保护标记,改写时作为不可变片段原样保留,改写后逐项回核;工艺参数与安全约束的任何改动一律判为失败样本。保护词表由行业专家维护并随本体更新 | 专项智能工具链·数据生成与增强;数据标注规范建设 |
| (4)须支持改写比例、改写次数、相似度阈值和风格分布配置,避免过度增强导致数据偏移 | 完全响应 | 四项参数按数据集预设配置:改写比例设上限使增强样本不超过真实样本的设定倍数,同一原文的改写次数设上限,相似度阈值设上下限(过高等于复制、过低等于失真),风格分布按目标配比控制。增强前后的分布变化由均衡工具出报表核验 | 专项智能工具链·数据生成与增强;数据分布分析与均衡 |
| (5)须支持生成数据质量过滤,能通过规则校验、模型评分、语义相似度检测、重复检测和人工抽检剔除虚假、不合理、越权或语义漂移样本 | 完全响应 | 五道过滤与指令生成工具共用同一质检组件与同一阈值体系,避免两条生成路径的放行标准不一致;四类问题样本分类计数并进质量报告,剔除样本保留以便分析 | 专项智能工具链·数据生成与增强;数据集质检 |
| (6)须支持输出原文与改写文本的映射关系、相似度评分、改写策略和审核状态 | 完全响应 | 四项信息随每条增强样本存储,映射关系指向原文样本标识与版本;审核状态按待核、通过、驳回流转。映射关系使增强样本在原文被修订或下架时能被同步处理,这是数据集可维护的前提 | 专项智能工具链·数据生成与增强;数据集–模型版本血缘追溯 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.8 数据质量与分布控制类工具链(标题) | 引用 | 正文按本类两个工具分节论述 | 专项智能工具链·质量与分布控制 |
| 须提供面向训练集、验证集、测试集和候选数据集的质量治理能力,发现重复、相似、泄漏、污染、失衡、异常和低质量样本,提升数据集整体质量和模型训练稳定性;覆盖精确去重、近重检测、语义相似过滤、污染扫描、分布统计、均衡处理和质量报告输出 | 完全响应 | 七个环节在加工流水线中有固定位置:去重与相似过滤在入集前,污染扫描在切分前后各一次,分布统计与均衡在入集后,质量报告按批次产出。其中污染扫描是硬闸口——扫描命中即阻断发布,不以人工判断放行 | 专项智能工具链·质量与分布控制;数据集质检 |
| 数据质量与分布控制类工具链须能基于训练集、验证集、测试集、专家题库、领域标签、类别标签、配比目标和相似度阈值等,生成去重后数据集、污染命中报告、分布统计、质量治理报告 | 完全响应 | 八类输入与四类产出逐类定义;配比目标来自数据集建设指标(见「通用场景验证方案」一节),相似度阈值按模态与任务分别设定并记录在质量报告中,便于复核判定口径 | 专项智能工具链·质量与分布控制 |
| 3.2.3.8.1 数据去重与相似度过滤工具链(标题) | 引用 | 本工具为清单第 19 个工具 | 专项智能工具链·质量与分布控制 |
| (1)须支持精确重复检测,能基于文本内容、样本标识、哈希指纹、源文件和结构化字段识别完全重复样本 | 完全响应 | 五种判重依据可组合,默认以内容哈希加来源字段联合判重;完全重复组保留一条并记录被删样本的标识与来源,不做静默删除。重复率按来源统计,某来源重复率异常偏高时回查采集逻辑是否重复取数 | 专项智能工具链·质量与分布控制 |
| (2)须支持近重复检测,能使用 MinHash、SimHash、LSH 等方法识别大规模文本中的高度相似样本 | 完全响应 | 近重检测按两级执行:先用 SimHash 或 MinHash 做指纹,再用 LSH 分桶做候选对比,使亿级 Token 规模的检测在可接受时间内完成。相似度阈值按文本类型分设,标准规范类文本因格式相近而阈值从严 | 专项智能工具链·质量与分布控制 |
| (3)须支持语义级相似度过滤,能基于向量表示和近邻检索识别表达不同但语义重复或高度接近的样本 | 完全响应 | 语义去重用于指令与对话类数据:向量化后按近邻检索找语义重复组,组内保留表达最规范的一条,其余标记为同义重复并按配额决定是否保留少量以增强多样性。向量模型版本记入质量报告,换模型需重跑并说明口径变化 | 专项智能工具链·质量与分布控制 |
| (4)须支持训练集与验证集、测试集、专家题库、保留评测集和 Benchmark 之间的 n-gram 污染扫描,防止评测样本、测试答案或保留数据进入训练集 | 完全响应 | 扫描按 n-gram 重合与语义近邻双通道执行,扫描对象覆盖五类集合;命中即从训练集中剔除对应样本并出污染命中报告。基准测试数据集 0.95 万条与专家题库全部纳入扫描名单,扫描在每次发布前执行一次,不依赖人工记忆 | 专项智能工具链·质量与分布控制;数据集切分与基准构建 |
| (5)须支持输出重复组、保留样本、删除样本、相似度、命中规则、污染风险等级和处理建议 | 完全响应 | 七项内容构成去重报告的固定格式;污染风险分高、中、低三级,高风险项阻断发布并必须处理,中低风险项记录并由质量负责人决定。处理建议按命中规则给出剔除、改写或保留理由三类 | 专项智能工具链·质量与分布控制 |
| 3.2.3.8.2 数据分布分析与均衡工具链(标题) | 引用 | 本工具为清单第 20 个工具 | 专项智能工具链·质量与分布控制 |
| (1)须支持从类别、领域、来源、长度、难度、时间、质量等级和模态等维度进行数据分布统计和可视化分析 | 完全响应 | 八个维度各出分布图表并可交叉下钻;其中模态与时间两个维度直接对应 1.2.3 的两项占比指标(多模态条数不低于 40%、近 3 年数据条数不低于 40%),统计结果作为该两项指标的验收证据 | 专项智能工具链·质量与分布控制;数据集建设及指标 |
| (2)须支持识别长尾类别、来源偏置、长度偏置、异常峰值、批次漂移和增强前后分布变化 | 完全响应 | 六类问题各有判定规则:长尾按类别占比阈值判定,来源与长度偏置按集中度指标判定,异常峰值按分布形态检测,批次漂移按相邻批次分布距离判定,增强前后变化按配对比较。判定结果给出受影响的样本范围,供补采与补造定位 | 专项智能工具链·质量与分布控制 |
| (3)须支持数据均衡处理,能通过过采样、欠采样、权重采样、分层采样或生成补齐等方式改善长尾类别覆盖 | 完全响应 | 五种手段按场景选用并记录选择理由:优先补采真实数据,其次生成补齐,再次权重与分层采样,过采样仅在小样本类别上有限使用并控制重复倍数。长尾类别的补齐效果以类别覆盖率与最小类别样本量两项指标验收 | 专项智能工具链·质量与分布控制;数据增强 |
| (4)须支持输出质量治理报告,报告应包含问题样本清单、质量指标、分布变化、风险等级和建议处理动作 | 完全响应 | 五项内容构成治理报告固定格式,按批次与数据集版本两级出具;报告与评测机构的评测报告在指标口径上对齐,避免两份报告对同一数据给出不同结论。报告进数据质量档案 | 专项智能工具链·质量与分布控制;数据集质量评测 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.9 数据生成控制与评测类工具链(标题) | 引用 | 正文按本类两个工具分节论述 | 专项智能工具链·生成控制与评测 |
| 须提供面向可控合成数据、数据集切分和基准测试集建设的控制与评测能力,保障生成数据格式稳定、内容可解释、评测集长期可比和数据版本可管理;覆盖模板化生成、参数采样、Schema 校验、批量渲染、数据集切分、基准冻结和标准化评测运行 | 完全响应 | 七个环节围绕一个目标:使评测结论长期可比。做法是基准集冻结后不再变动,评测协议与随机种子一并固定,模型换代时在同一冻结集上重跑。没有这一条,数据价值的提升幅度无法被证明 | 专项智能工具链·生成控制与评测;数据集验证 |
| 数据生成控制与评测类工具链须支持基于规则模板、参数字典、业务约束、采样配置、切分策略、评测协议等,生成结构化合成样本、生成批次、模板版本记录、train/valid/test 数据集、评测结果 | 完全响应 | 六类输入与五类产出逐类定义格式;模板版本记录与生成批次使任何一条合成样本可复现,切分策略与评测协议版本化后与数据集版本绑定 | 专项智能工具链·生成控制与评测 |
| 3.2.3.9.1 模板化数据生成工具链(标题) | 引用 | 本工具为清单第 21 个工具 | 专项智能工具链·生成控制与评测 |
| (1)须支持模板化数据生成,能通过规则模板、参数槽位、条件逻辑、枚举值、数值范围、组合关系和业务约束批量生成结构稳定、字段完整的样本 | 完全响应 | 七项模板要素齐备:条件逻辑支持按参数取值切换子模板,组合关系限定哪些参数可同时出现,业务约束作为生成前置校验。模板化生成与模型生成的分工是:结构固定、字段明确的样本用模板,开放表达的样本用模型,前者成本低且产出稳定 | 专项智能工具链·生成控制与评测 |
| (2)须支持参数采样配置,能对设备、部件、故障、工艺、质量指标、安全规则等变量进行受控采样,覆盖不同业务场景 | 完全响应 | 六类变量的取值域取自本体与主数据,不自由取值;采样支持均匀、按频次加权与指定清单三种方式,覆盖度按场景与变量交叉矩阵统计,空白格出补充清单 | 专项智能工具链·生成控制与评测;知识本体 |
| (3)须支持生成结果 Schema 校验,能校验字段完整性、类型正确性、取值范围、单位规范、格式规范和业务约束 | 完全响应 | 六项校验在落库前执行,不通过的样本不入库并记录失败原因;单位规范按数据标准中的计量单位表校验,这一项在工艺与质量类数据中最易出错,因此作为独立校验项 | 专项智能工具链·生成控制与评测;数据标准规划 |
| (4)须支持批量渲染和批量导出,能按任务、模板、版本、生成批次和审核状态输出标准化训练或评测数据 | 完全响应 | 导出按五个条件组合筛选,输出格式按通用接口要求支持多种格式;导出动作记录操作人与范围,导出文件带批次指纹便于校验一致性 | 专项智能工具链·生成控制与评测;工具链通用接口与追溯 |
| (5)须支持生成日志留存,记录模板、变量、采样参数、校验结果和人工审核状态 | 完全响应 | 五项日志内容按批次留存,保留期限与数据集版本一致;日志作为合成数据可解释性的证据,评测与验收时可按批次调阅 | 专项智能工具链·生成控制与评测 |
| 3.2.3.9.2 数据集切分与基准构建工具链(标题) | 引用 | 本工具为清单第 22 个工具 | 专项智能工具链·生成控制与评测 |
| (1)须支持训练集、验证集和测试集切分,提供随机切分、分层切分、时序切分、按来源隔离切分、按文档级切分和按业务场景切分策略 | 完全响应 | 六种策略按数据类型选用:时序类数据一律用时序切分避免用未来预测过去,文档衍生样本用文档级切分避免同文档跨集,场景验证用按场景切分。策略选择与理由记入数据集说明卡 | 专项智能工具链·生成控制与评测 |
| (2)须支持切分前泄漏检测,避免同源文档、近似问答、同一工单、同一图纸或同一评测题跨集合泄漏 | 完全响应 | 五类泄漏各有检测键:同源文档按文件标识,近似问答按语义近邻,工单与图纸按业务编号,评测题按题目指纹。检测在切分前执行、切分后复查,两次均通过方可发布;检出泄漏则重新切分而非人工挑出个别样本 | 专项智能工具链·生成控制与评测;质量与分布控制 |
| (3)须支持基准测试集冻结管理,能固定样本内容、版本号、随机种子、题型、答案、判分规则、能力维度和使用范围 | 完全响应 | 八项内容在冻结时一并固化并生成内容指纹,冻结后的基准集只允许新增版本不允许就地修改;使用范围限定为评测用途,通过权限与污染扫描两道机制防止流入训练。基准测试数据集 0.95 万条按此方式分版本冻结 | 专项智能工具链·生成控制与评测;数据集建设及指标 |
| (4)须支持标准化评测运行,能调用指定模型在冻结基准集上执行评测,输出指标、样本级结果、版本对比和人工复核状态 | 完全响应 | 评测以协议驱动一键运行,输出四类结果:汇总指标、样本级结果、与历史版本的对比、人工复核状态。模型经统一网关接入,可指定模型与检查点;同一协议在不同模型上的结果可直接横比 | 专项智能工具链·生成控制与评测;多协议模型评测引擎 |
| (5)须支持版本化发布和回滚,记录每次切分策略、输入数据版本、输出数据指纹、审批状态和评测协议版本 | 完全响应 | 五项记录构成发布档案,发布需审批;回滚按版本一键执行并通知下游使用方。发布与回滚记录进血缘图谱,影响范围由血缘工具计算 | 专项智能工具链·生成控制与评测;数据集–模型版本血缘追溯 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.10 数据集验证与归因类工具链(标题) | 引用 | 正文按本类三个工具分节论述 | 专项智能工具链·验证与归因 |
| 须提供面向数据集质量验证、模型评测、错题溯源和血缘追踪的闭环能力,通过模型表现反向评估数据集价值,并定位数据问题对模型能力的影响;覆盖评测协议管理、多模型评测、多协议判分、多模态评测、数据贡献度归因、错题聚类、修订工单和数据集-模型版本血缘追溯 | 完全响应 | 八个环节合成一条闭环:评测给出哪些题错了,归因指出错题关联到哪些训练样本或哪块知识盲区,修订工单把结论变成可派活的任务,血缘保证结论可复查。这条闭环是「数据集真的管用」这一结论能被甲方核验的依据,也是场景验证报告的证据链 | 专项智能工具链·验证与归因;数据集场景验证服务 |
| 数据集验证与归因类工具链须支持基于模型接口、冻结基准集、评测协议、判分规则、评测错题、训练样本血缘、模型 checkpoint、训练任务日志、数据子集标签、发布审批记录等,生成模型评测报告、样本级评测结果、能力雷达图、版本对比、失败样本清单、归因报告 | 完全响应 | 十类输入与六类产出逐类定义;其中数据子集标签是归因能否落地的关键——训练数据按来源、批次、加工方式打标后,才能算出哪一类数据对哪项能力有贡献 | 专项智能工具链·验证与归因 |
| 3.2.3.10.1 多协议模型评测引擎工具链(标题) | 引用 | 本工具为清单第 23 个工具 | 专项智能工具链·验证与归因 |
| (1)须支持建立统一评测协议,能固化题型、能力维度、评分规则、随机种子、基准集版本、人工复核规则和指标口径,保证评测可重复执行 | 完全响应 | 七项内容在协议中固化并版本化,协议一经发布即不可就地修改;同一协议重跑两次的结果差异控制在可解释范围内,差异来源(采样随机性、模型非确定性)在报告中说明。协议版本与评测结果一并存档 | 专项智能工具链·验证与归因 |
| (2)须支持多模型并行评测调度,能对基座模型、继续预训练模型、微调模型、强化学习或偏好对齐模型以及不同 checkpoint 进行横向对比 | 完全响应 | 五类模型对象均可纳入同一轮评测并并行调度,输出统一格式的横比表;检查点级对比用于观察训练过程中能力的变化趋势,判断数据补充是否起效。模型以统一网关接入,不绑定特定供应商 | 专项智能工具链·验证与归因;行业大模型训练推理技术服务 |
| (3)须支持多种判分策略融合,能使用精确匹配、语义相似度、规则约束、行业指标、模型裁判和人工复核结果形成最终评分 | 完全响应 | 六种判分方式按题型配置权重:客观题用精确匹配,开放题用语义相似加模型裁判,工艺与质量类题加规则约束与行业指标(如参数是否落在工艺窗口内),争议题用人工复核定论。融合规则在协议中写明,不在报告阶段临时调整 | 专项智能工具链·验证与归因 |
| (4)须支持多模态评测能力,覆盖图文问答、图纸解读、缺陷识别、视频理解、传感器诊断和工具调用等任务场景 | 完全响应 | 六类任务各配题型与判分方式:图纸解读按关键要素抽取正确率判分,缺陷识别按类别与位置双重判定,传感器诊断按故障模式判定与定位时间两项判分,工具调用按调用正确性与参数正确性判分。六类任务的题目来自基准测试数据集的相应子集 | 专项智能工具链·验证与归因;数据集建设及指标 |
| 3.2.3.10.2 数据贡献度归因与错题溯源工具链(标题) | 引用 | 本工具为清单第 24 个工具 | 专项智能工具链·验证与归因 |
| (1)须支持输出能力雷达图、排行榜、版本对比、样本级结果、失败样本清单和统计显著性分析 | 完全响应 | 六类输出齐备;统计显著性分析用于判断版本间的指标差异是真实提升还是采样波动,给出置信区间与样本量要求。不做显著性判断就宣称提升,是数据价值论证最常见的漏洞,因此本项作为报告必填 | 专项智能工具链·验证与归因;数据集验证 |
| (2)须支持错题溯源和聚类分析,能将模型错误关联到训练样本、数据来源、标注批次、生成批次、质量问题或知识覆盖盲区 | 完全响应 | 溯源按两条路径并行:一条沿血缘关联到具体训练样本与批次,一条按错题内容聚类后与知识本体比对找出覆盖盲区。前者定位数据质量问题,后者定位数据缺口;两类结论的处置方式不同,前者返工、后者补采或补造 | 专项智能工具链·验证与归因;数据集–模型版本血缘追溯 |
| (3)须支持自动生成数据修订工单,工单须包含问题类型、关联样本、影响范围、修订建议、责任组、优先级和整改期限 | 完全响应 | 七项字段由系统按归因结论自动填充,责任组按加工环节映射(采集、标注、合成、质检),优先级按影响范围与错题占比排序,整改期限按优先级分档。工单闭环率按月考核并进质量治理报告 | 专项智能工具链·验证与归因;数据集项目管理 |
| 3.2.3.10.3 数据集–模型版本血缘追溯工具链(标题) | 引用 | 本工具为清单第 25 个工具 | 专项智能工具链·验证与归因 |
| (1)须支持数据集、训练任务、模型 checkpoint 和评测结果的血缘追踪,能图谱化展示数据、任务、模型、评测、工单和发布记录之间的依赖关系 | 完全响应 | 血缘以图结构存储,节点含数据集版本、加工批次、训练任务、检查点、评测结果、修订工单与发布记录,边记录依赖类型与时间;图谱支持从任一节点双向展开。血缘数据由各工具在运行时自动写入,不依赖人工登记,这是血缘完整性的前提 | 专项智能工具链·验证与归因 |
| (2)须支持审计查询和影响范围分析,满足项目验收、数据安全、模型发布、质量追责和版本回滚要求 | 完全响应 | 五类用途各有查询模板:验收查某项指标的证据链,数据安全查某来源数据流向了哪些数据集与模型,模型发布查所用数据是否全部合规,质量追责查某缺陷波及的批次范围,版本回滚查回滚某数据集版本会影响哪些下游。查询结果可导出作为验收与审计材料 | 专项智能工具链·验证与归因;审计管理;项目验收内容及标准 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.3.11 专项智能工具链通用接口、追溯与验收要求(标题) | 引用 | 本节六项要求对 25 个工具一体适用,正文在工具链总述中统一论述,不在各工具处重复 | 工具链通用接口与验收 |
| (1)接口要求:须提供标准 API 或平台内部服务接口,支持任务创建、任务查询、结果获取、异常重试、批量导出和状态回调 | 完全响应 | 六类接口对 25 个工具统一定义,接口契约(路径、参数、返回码、错误语义)一致,调用方按同一套约定编排流水线;状态回调支持配置回调地址与重试策略。接口文档与联调用例随交付提交,接口一致性作为验收项逐工具核验 | 工具链通用接口与验收 |
| (2)数据格式要求:输出结果须支持 JSON、JSONL、Markdown、CSV、Parquet 等格式,并可按平台数据集标准转换入库 | 完全响应 | 五种格式全部支持,大批量样本默认 JSONL 或 Parquet,报告类默认 Markdown 与 CSV;入库转换按平台数据集标准执行并做 Schema 校验,转换失败的记录不入库并进失败清单 | 工具链通用接口与验收;数据标准规划 |
| (3)血缘要求:每条样本须关联原始数据、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果和审核状态 | 完全响应 | 八项关联信息作为样本元数据的必填项,由各工具在处理时自动写入,缺项的样本不允许进入下一环节。这条要求是全链路可追溯的基础,也是错题溯源、影响范围分析与质量追责能够执行的前提 | 工具链通用接口与验收;数据集–模型版本血缘追溯 |
| (4)质量要求:须输出质量指标和问题样本清单,支持按批次、来源、任务类型和数据集版本生成质量报告 | 完全响应 | 质量指标与问题样本清单按统一格式输出,报告支持四个维度组合出具;各工具的质量指标口径统一到同一指标字典,避免同名指标在不同工具中算法不同 | 工具链通用接口与验收;数据集质检 |
| (5)安全要求:须内置敏感信息识别、脱敏、授权校验、访问控制和审计日志能力;涉及外部模型调用时须记录调用范围和数据出域情况 | 完全响应 | 五项安全能力在工具公共组件中实现,不由各工具自行实现以免口径不一;外部模型调用按调用范围登记并记录出域数据的类型、数量与脱敏状态,涉及敏感数据的任务默认不出域,需出域时按审批执行并留痕。出域记录按月出报表供审计 | 工具链通用接口与验收;安全方案·数据出域管控 |
| (6)验收要求:每个工具链须提供演示样例、输入输出样例、配置说明、接口说明、测试报告 | 完全响应 | 五类材料对 25 个工具逐一提供,构成 125 份验收材料;演示样例以本项目真实数据的脱敏子集运行,不用通用演示数据,便于甲方判断工具是否适用于矿山装备制造的实际数据 | 工具链通用接口与验收;项目验收内容及标准 |
平台模块数量按不少于 14 个建设,实列 16 个(见「智能工具链(一):数据构建类」一节的应答)。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4 数据集运营服务管理平台建设要求(标题) | 引用 | 正文按七类功能分节,各节给功能说明、界面示意与关键流程 | 数据集运营服务管理平台 |
| 须提供数据集运营服务管理功能,支撑高质量数据集面向企业内部应用与对外流通交易的全生命周期运营管理,覆盖数据及服务管理、订单管理、数据及服务交付管理、清算管理、审计管理、运营平台服务和 SLA 保障等核心能力 | 完全响应 | 平台按「上架—交易—交付—清算—审计」一条主线组织,内部应用与对外流通走同一套流程、不同的授权与价格策略:内部应用按部门授权免结算走账,对外流通按订单结算。七类核心能力逐项建设并在同一数据集对象上串联,使一个数据集从注册到下架的全过程在一处可查 | 数据集运营服务管理平台 |
本节关键承诺:运营平台按采购清单实列的十六个功能模块建设,覆盖招标文件「≥14 个」的要求并有余量。模块的功能边界在需求确认阶段逐个确认并冻结,确认后的变更走变更流程。平台与工具链之间的调用关系在接口清单中逐条列明,避免出现「平台有入口、工具未就绪」的半成品。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4.1 数据及服务管理功能要求:管理功能是平台运营的入口能力,须支持数据及服务注册、审批、发布、变更和下架 | 完全响应 | 五个动作构成数据集的状态机:注册(草稿)→审批(待审)→发布(在架)→变更(在架新版本)→下架(归档),状态变更留痕且不可跳转。变更分元数据变更与内容变更两类,内容变更必须出新版本,不覆盖在架版本 | 数据集运营服务管理平台·数据及服务管理 |
| (1)须支持数据及服务注册功能,支持在线注册名称、类型、提供方、描述等信息,运营平台须支持完整性校验 | 完全响应 | 注册表单按数据集说明卡的字段集设计,除名称、类型、提供方、描述外含规模、模态、时间范围、质量评分、使用许可与来源合法性声明;完整性校验按必填与格式双重校验,不通过不允许提交。校验规则与国家数据基础设施的目录元数据要求对齐,避免二次返工 | 数据集运营服务管理平台·数据及服务管理 |
| (2)须支持对注册服务及数据的审批功能,须支持多维度审批,确保数据及服务的价值、质量、安全合规性和可运营 | 完全响应 | 审批按四个维度分别设审批人与判据:价值维度看应用场景与需求方,质量维度看质检与评测结论,安全合规维度看来源合法性、脱敏状态与密级,可运营维度看定价、授权范围与交付方式。四维度并行审批、全部通过方可发布,任一驳回退回修改并记录理由 | 数据集运营服务管理平台·数据及服务管理;安全合规 |
| (3)须支持数据及服务的下架功能,满足运营过程中各种原因导致的下架需求 | 完全响应 | 下架支持主动下架与强制下架两种:主动下架由提供方发起并需审批,强制下架由安全或质量负责人在发现合规与质量问题时立即执行。下架后已授权用户的后续访问被阻断,在途订单按约定处置,下架原因与影响范围由血缘工具给出并记录 | 数据集运营服务管理平台·数据及服务管理 |
| (4)数据及服务管理功能须兼顾灵活性和规范性要求 | 完全响应 | 规范性由必填字段、审批闸口与状态机保证,灵活性由可配置实现:字段集、审批流节点、上架类型与授权模板均可由管理员配置,不需改代码。两者的分界是——流程节点可配,审批留痕不可关 | 数据集运营服务管理平台·数据及服务管理 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4.2 订单管理功能要求:须支撑数据和服务从申请到履约的全过程,含订单生成、订单支付、订单取消、订单状态跟踪和订单履约确认 | 完全响应 | 订单状态按生成、待支付、已支付、交付中、已履约、已取消、已关闭流转,每次流转记录触发方与时间;状态跟踪对买卖双方同时可见,减少对账争议。履约确认是清算的触发条件,未确认不进清算 | 数据集运营服务管理平台·订单管理 |
| (1)须支持在线选购、线下协商等多种订单生成方式,以满足不同类型数据及服务的交易方式 | 完全响应 | 两种方式并存:在线选购适用标准化数据集与接口服务,按目录价直接下单;线下协商适用定制加工与打包授权,由运营人员录入协商结果生成订单并附协商依据。两类订单在同一订单体系内统一编号与统一清算 | 数据集运营服务管理平台·订单管理 |
| (2)须支持在线支付等多种支付方式 | 完全响应 | 支付方式支持在线支付与线下转账登记两类,在线支付按甲方指定的支付通道对接;支付流水与订单一一对应并进对账。支付通道的选择与开通需甲方财务确认;配合事项:支付通道选择与商户资质信息 | 数据集运营服务管理平台·订单管理 |
| (3)须支持线上交付和先行交付两种交付方式下订单支付后的针对性处理,实现线上交付的自动化和实时化、线下交付的履约可控 | 完全响应 | 线上交付在支付成功后自动开通授权并发放下载或接口凭证,无需人工介入;先行交付按计划节点推进,每个节点需提交材料并经确认方可进入下一节点,节点超期自动预警。两条路径的履约证据都归入订单档案 | 数据集运营服务管理平台·订单管理;数据及服务交付 |
| (4)须支持订单取消功能 | 完全响应 | 取消按订单状态分档处理:未支付订单可直接取消,已支付未交付按退款流程处理,已部分交付按已交付部分结算、未交付部分退回。取消均需理由与审批,取消记录进清算与审计 | 数据集运营服务管理平台·订单管理 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4.3 数据及服务交付功能要求:交付分线上与线下两种方式,须支持针对不同属性的数据和服务自定义交付方式 | 完全响应 | 交付方式作为数据集的属性在上架时设定,可按密级、体量与使用场景自定义:高密级数据集限定为任务式使用(数据不出平台),大体量数据集走下载或离线介质,服务类走接口。属性设定随审批一并确认 | 数据集运营服务管理平台·数据及服务交付 |
| (1)须支持数据集的下载、接口、任务式使用等多种方式 | 完全响应 | 三种方式并存:下载按授权范围生成带水印与时效的加密包,接口按配额与频率限制提供查询,任务式使用由使用方提交计算任务、平台内运行并只返回结果,原始数据不出平台。三种方式的使用记录统一进访问审计 | 数据集运营服务管理平台·数据及服务交付;安全方案·数据出域管控 |
| (2)须支持 API 交付的密钥管理、配额控制、调用文档和监控功能 | 完全响应 | 四项能力齐备:密钥按应用发放并支持轮换与吊销,配额按调用次数、并发与流量三档控制且超限熔断,调用文档随接口版本在线提供并含示例,监控出调用量、成功率与时延曲线并设告警。密钥与配额变更留痕 | 数据集运营服务管理平台·对外接口 |
| (3)须支持平台能力交付相关的租户开通、角色配置、功能模块授权和资源配额管理功能 | 完全响应 | 平台能力以租户为单位交付:租户开通后按 RBAC 配置角色,按模块粒度授权,按计算与存储资源设配额;配额用量实时可见并在接近上限时预警。租户间数据与资源隔离 | 数据集运营服务管理平台·租户与权限 |
| (4)须支持线下服务交付的计划、签到、材料、纪要、验收和评价功能 | 完全响应 | 六个环节在线留痕:计划含节点与责任人,签到记录到场情况,材料与纪要按节点上传,验收按节点逐项确认,评价由使用方打分并计入服务质量报告。线下服务的履约证据由这六项构成,作为清算依据 | 数据集运营服务管理平台·数据及服务交付 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4.4 清算管理功能要求:须包括清算规则管理、订单清算管理、资金对账管理、分账管理和清算报表管理 | 完全响应 | 五项功能构成一条链:规则定好分配方式,订单清算按规则生成明细,分账按明细形成各参与方应得,资金对账核对实收与应收,报表供考核与审计。清算明细一经生成不可修改,更正以反向明细处理 | 数据集运营服务管理平台·清算管理 |
| (1)须支持灵活的清算规则定义,从而支持灵活多样的收益分配方案 | 完全响应 | 规则按维度组合定义:可按数据集、按参与方角色、按订单类型、按时间区间设定分配比例或固定额,支持阶梯与保底两种计算方式。规则版本化管理,历史订单按下单时的规则版本清算,规则改动不追溯已完成订单 | 数据集运营服务管理平台·清算管理;运营盈利模式 |
| (2)须支持与订单支付、履约确认和售后状态联动,按设定的清算规则生成清算明细 | 完全响应 | 清算触发条件为支付完成且履约确认,售后状态(退款、争议、质量异议)会挂起对应清算明细直至处置完成。联动关系由状态事件驱动,不靠人工发起,避免漏清算与重复清算 | 数据集运营服务管理平台·清算管理 |
| (3)须支持资金对账功能 | 完全响应 | 对账按日与按月两级执行:日对账核对支付流水与订单金额,月对账核对分账应付与实付;差异项进差异台账并按责任方跟办直至关闭。对账结果出对账单,差异率与关闭时效进运营报表 | 数据集运营服务管理平台·清算管理 |
| (4)须支持多维度的清算报表生成功能 | 完全响应 | 报表支持按时间、数据集、参与方、订单类型、交付方式五个维度组合出具,并支持导出;报表口径与财务口径对齐后固定,不随查询条件变化而改变计算方式 | 数据集运营服务管理平台·清算管理 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4.5 审计管理功能要求:包括审计日志管理、数据访问审计、API 调用审计、交易清算审计和审计报表导出 | 完全响应 | 五类审计共用同一日志底座、按类型分视图呈现;日志写入后不可修改不可删除,保留期限按合规要求设定并在到期前归档。审计权限独立于业务权限,业务管理员无法查阅与清除审计记录 | 数据集运营服务管理平台·审计管理;安全方案·审计 |
| (1)须支持数据访问审计功能,须支持记录所有用户对数据集的访问行为 | 完全响应 | 访问审计记录主体、时间、数据集与版本、访问方式、数据范围与结果;下载类记录文件指纹,接口类记录请求参数摘要,任务式记录任务定义。记录覆盖趋向全部访问路径,以接口层统一埋点实现而非在各功能点分别记录,避免遗漏 | 数据集运营服务管理平台·审计管理 |
| (2)须支持交易清算审计功能,须记录所有交易和清算行为 | 完全响应 | 交易与清算的每次状态变更、金额计算与人工干预均留痕,含操作人、依据与前后值;清算明细的生成过程可回放,用于争议处理与监管检查 | 数据集运营服务管理平台·审计管理 |
| (3)须能支撑平台运营、安全合规、客户对账、监管检查和争议处理 | 完全响应 | 五类用途各配查询模板与导出格式:运营看调用与交易统计,安全合规看敏感数据访问与出域记录,客户对账看订单与清算明细,监管检查看合规证据链,争议处理看完整操作时间线。模板随平台交付 | 数据集运营服务管理平台·审计管理 |
| (4)须满足可扩展性和时效性要求 | 完全响应 | 可扩展性以日志存储分区与冷热分层实现,数据量增长时按时间分区扩容而不影响查询;时效性以准实时写入与索引保证,近期日志查询响应控制在秒级,历史日志按归档库查询。两项指标在性能测试中单独列项验证 | 数据集运营服务管理平台·审计管理;非功能性技术要求 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4.6 平台服务与 SLA 保障功能要求:须支持建立分级服务体系,针对不同级别客户和产品提供差异化服务保障 | 完全响应 | 服务分级按客户类型与产品等级两个轴划分,每格对应一套保障参数(响应时限、可用性目标、配额上限、支持方式);分级规则与价格策略联动,高保障对应高服务费,使保障承诺有成本依据 | 数据集运营服务管理平台·平台服务与 SLA |
| (1)须支持服务与 SLA 的层级划分,实现差异化服务 | 完全响应 | 层级按基础、标准、重点三档设置并在平台中可配;不同层级的客户在同一功能上获得不同的配额与响应时限,差异由系统按层级自动执行,不靠人工区别对待 | 数据集运营服务管理平台·平台服务与 SLA |
| (2)须定义 SLA 核心指标 | 完全响应 | 核心指标定为五项并给出口径与目标值:平台可用性按月度统计(计划停机除外)、接口成功率、接口响应时延 95 分位值、故障响应时限、故障恢复时限。指标值按服务层级分档设定,统计口径随平台交付并写入服务协议模板 | 数据集运营服务管理平台·平台服务与 SLA;项目服务·技术支持 |
| (3)须支持自动化的服务监控体系,实时监测平台各项指标,做到快速响应、及时处理 | 完全响应 | 监控覆盖主机、中间件、应用接口与业务流程四层,指标采集与告警规则配置化;告警按级别分派到值班人并记录响应与处置时间,处置超时自动升级。监控数据同时作为 SLA 统计的数据源,使考核与监控同源 | 数据集运营服务管理平台·平台服务与 SLA |
| (4)须支持自动生成服务质量报告,为服务考核和改进提供依据 | 完全响应 | 报告按月自动生成,内容含各项 SLA 指标实际值与目标值对比、未达标事项与原因、改进措施与上月改进项的完成情况。报告对客户可见部分与内部考核部分分别出具 | 数据集运营服务管理平台·平台服务与 SLA |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.4.7 对外接口要求:须支持与国家数据基础设施的对接能力,依照接入规范预留统一目录标识登记、统一身份注册和标准接口互联互通的对接接口,并视国家数据基础设施开放进度支持数据集标识的注册与解析对接,为高质量数据集通过合规路径接入提供接口基础 | 完全响应 | 按三统一预留接口:目录标识登记接口按目录元数据规范组织数据集元数据并支持标识申领与回填,身份注册接口支持主体登记信息的报送与变更,互联互通接口按标准协议实现数据集查询与授权核验。标识注册与解析按国家数据基础设施的开放进度分阶段对接,先完成本地标识体系与映射表、待开放后切换为正式注册。规范细节与开放时间表以主管部门发布为准;配合事项:接入规范版本与登记主体信息确认 | 数据集运营服务管理平台·对外接口;数据集运营推广服务·接入国家数据基础设施 |
本节与 3.1.2.3(见「专项智能工具链总体方案」一节.4)在范围上衔接:3.1.2.3 讲密码服务与各业务系统的集成,3.2.5 讲本项目采购的软硬件之间的集成。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.5 系统集成服务要求:仅针对本项所采购或开发的软硬件之间的集成 | 完全响应 | 集成范围按本条界定为本项目采购或开发的软硬件之间,含通用服务器、接入连接器、服务密码机与各平台软件;与甲方既有系统的对接按 3.1.2.3 与 3.2.2 执行,两处范围不重叠、不遗漏。范围边界在集成方案的范围说明中以清单列明 | 系统集成方案·范围界定 |
| (1)须完成采购的通用服务器的数据集加工生产平台的安装和适配 | 完全响应 | 实施分六步:到货验收与开箱点检、上架布线与加电、操作系统与基础软件安装、加工生产平台部署与参数适配、性能基线测试、移交与文档归档。适配内容含国产操作系统与数据库的版本匹配、存储规划与资源配额,基线测试结果作为后续性能问题的比对依据 | 系统集成方案·服务器与平台安装适配 |
| (2)须完成采购的接入连接器的数据集运营服务管理平台的安装和适配 | 完全响应 | 连接器按接入点位安装并与运营平台完成对接调试,调试项含链路连通、证书配置、协议参数、超时与重试策略;对接完成后做端到端连通性与压力验证,出联调报告。连接器与运营平台的接口清单随方案提交 | 系统集成方案·连接器安装适配 |
| (3)须完成采购的服务密码机的国密算法的调试 | 完全响应 | 调试覆盖算法与业务两层:算法层验证 SM2、SM3、SM4 的加解密、签名验签与摘要运算的正确性与性能,业务层验证密码服务平台经密码机完成数据集加解密、元数据加解密与身份认证的全链路。调试结果出测试报告,含算法用例清单与性能数据 | 系统集成方案·密码机调试;安全方案·国密算法应用 |
| (4)须完成采购的硬件的网络连接和适配 | 完全响应 | 网络实施含机柜内布线、交换接入、地址规划、VLAN 与路由配置、安全策略申请与验证;生产网与管理网之间按甲方网络策略配置受控通道。网络资源与策略开通需甲方网络管理方配合,配合事项与时间窗在实施计划中列明;配合事项:网络地址规划与安全策略审批 | 系统集成方案·网络连接适配 |
本节关键承诺:数据治理规划与实施按 DCMM 的域结构组织,交付物为可被评估师取证的文档与执行记录两类,缺执行记录的文档不计入交付。治理成熟度的提升以招标方具备自主执行能力为目标:我方承诺完成体系建设与人员实操训练,并按评估取证要求提供全部文档与执行记录;评估结论由具备资质的评估机构按其程序出具。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6 数据集加工生产实施服务要求(标题) | 引用 | 正文按本节十三个子项分章论述,章节号与需求书一致 | 数据集加工生产实施服务 |
| 本项目以建设 4 类高质量行业数据集为目标:供需计划、产品工艺设计、制造过程、产品质量;每类须覆盖预训练、有监督指令微调、人类偏好对齐与基准评测 4 个用途子集,形成可采、可治、可标、可用、可评、可交易的端到端生产体系,支撑大模型训练、迭代与持续优化,并按数据资产口径对外开放运营 | 完全响应 | 四类数据集乘四个用途子集构成十六个交付单元,每个单元单独定规模、定质量门限、单独验收,规模分解见「通用场景验证方案」一节。六个「可」逐项有机制对应:可采靠 17 类源系统接入,可治靠治理体系与标准,可标靠标注规范与一致性门限,可用靠质检放行,可评靠冻结基准集,可交易靠运营平台的确权与授权。四个子集之间按文档级与来源级隔离,防止基准集内容流入训练集 | 四大数据集加工生产总述;数据集建设及指标 |
| 数据集生产以数据治理为横向贯穿管控层,以知识本体与知识库为统一知识底座,以数据采集→预处理→标注→合成→增强→质检→验证为纵向链路,以血缘追溯驱动定向回流,构成有向无环的生产逻辑;四类数据集各走专属路径、共享底座能力与门控规则;质检为训练前门控、验证为训练后终验,未通过验证的数据集须按错样归因结果定向回流至上游相应环节修复并重新质检与验证 | 完全响应 | 我方按同一生产逻辑组织实施,两道门控的判据明确:质检门控按完整性、规整性、标注一致率与污染扫描四项放行,验证门控按基准集指标与专家抽样人评放行。回流是定向的而非整体重做——归因工具指出问题出在采集、标注、合成或增强的哪一环,只回流该环节的受影响批次,回流后重新走质检与验证。有向无环由血缘图的环检测保证,出现环即阻断发布 | 四大数据集加工生产总述;数据集质检;数据集验证 |
| 执行过程中要实现国家和行业标准验证,积累实践经验,形成配套措施(含软建设配套措施、项目管理及保障措施);打造高质量数据标注专家库,制定数据标注规范;保障项目安全合规建设,输出优秀成果 | 完全响应 | 五项伴随性工作与主线同步推进而非事后补:标准验证按参与标委会验证与试点的方式开展(应答见「安全方案」一节),软建设约 30 余项、内部管理制度不少于 7 份,专家库不少于 50 人,标注规范按数据类型分册,安全合规按来源合法性核查与去标识脱敏两条线执行。各项的交付物与时间节点列入项目总计划 | 软建设配套措施;项目组织实施与保障措施;数据标注专家库建设机制 |
| 3.2.6.1 数据治理规划和实施服务:围绕天地奔牛数字化转型战略,以通过 DCMM 三级认证为目标,以满足 11 个智能化应用场景的高质量数据集建设为业务导向,构建全域数据治理体系,配套落地数据治理平台,满足 DCMM 三级贯标能力同时支撑高质量数据集建设及场景应用 | 完全响应 | 治理工作按「评估—规划—实施」三段推进,交付物按 DCMM 九大能力域组织(见「数据治理(一):现状评估与战略、治理、架构、资产规划」一节.4 的 37 份文档)。治理与数据集建设不是两条线:治理产出的数据标准、质量规则与安全分级直接作为加工流水线的配置输入,场景数据需求清单直接作为采集范围的依据。贯标认证须由认定机构评定并出证,我方承担全过程准备、材料组织、模拟评估与整改配合,出证时间取决于机构排期;配合事项:DCMM 贯标评估机构选择与排期确认 | 数据治理规划和实施服务 |
| (1)对标 DCMM 三级成熟度要求,开展公司全域数据治理成熟度评估,形成 DCMM 三级现状诊断报告,明确数据治理短板和优化路径 | 完全响应 | 评估按九大能力域二十余个能力项逐项打分,证据取访谈记录、制度文本与系统截图三类;诊断报告给出各能力项的当前等级、目标等级与差距描述,优化路径按「补制度、补流程、补工具、补证据」四类动作排序并标注工期 | 数据治理体系·现状评估 |
| (2)开展全域数据治理规划,围绕 DCMM 要求的九大能力域,输出可落地的制度、流程及管理办法,明确组织岗位职责、管控流程与落地策略,形成一整套数据治理规划 | 完全响应 | 规划按九大能力域成套输出,每份制度配一张流程图与一份职责矩阵,避免制度写完没人能执行;落地策略按先试点后推广编排,试点业务域优先选数据条件最好的研发设计与质量管理两域。全套规划文档清单见「数据治理(一):现状评估与战略、治理、架构、资产规划」一节.4 | 数据治理体系·治理规划 |
| (3)依据诊断报告及治理规划,开展数据治理平台建设与数据治理实施工作,同步构建决策数据指标体系,支撑高质量数据集建设,强化数据对经营管理决策的支撑能力 | 完全响应 | 治理平台落地元数据、数据标准、数据质量、数据安全与数据服务五类能力,规划中的规则在平台上配置后生效,不停留在文档;决策数据指标体系按经营、生产、质量、供应四个主题建指标树,每个指标定义业务含义、统计口径、计算逻辑与数据来源,并与决策数据智能问答场景的问答口径保持一致 | 数据治理实施;数据标准规划;决策数据智能问答验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.1.1 数据治理规划要求、3.2.6.1.1.1 现状评估要求(标题) | 引用 | 正文按现状评估与治理规划两段论述 | 数据治理体系·现状评估 |
| (1)围绕 DCMM 九大能力域开展数据管理现状摸排,从组织、制度、流程、工具等多维度逐项核查现存不足与能力差距 | 完全响应 | 摸排以访谈加文档核查加系统核查三种方式交叉验证,四个维度逐项填证据表:组织看岗位是否设立、制度看文本是否存在且在用、流程看记录是否可查、工具看功能是否上线。只有口头说法而无记录的项按未达成记录,不做人情分 | 数据治理体系·现状评估 |
| (2)针对排查识别出的不足项进行分类梳理,明确各不足项的整改优先级 | 完全响应 | 不足项按「影响评级结果」「影响数据集建设」两个维度交叉定优先级,两项都高的先整改;优先级表含责任部门、整改动作、所需配合与完成时限 | 数据治理体系·现状评估 |
| (3)开展全域数据资产调研盘点,梳理各类数据资源,厘清数据来源、流转链路、存储现状 | 完全响应 | 盘点按系统、库表、文件三类对象分别登记,输出资产清册与数据流图;流转链路以系统间接口为边绘制,识别出重复存储与断链两类问题并单独列表,这两类问题直接影响采集成本 | 数据治理体系·现状评估;数据架构规划 |
| (4)梳理关键数据元素以及高质量数据集建设要求,评估当前数据供给能力,识别高质量数据集验证场景对数据的使用需求 | 完全响应 | 按 11 个验证场景反推所需数据项,与盘点结果比对得出供给缺口清单,缺口分三类:系统中有但未开放、系统中无需补采、历史资料需数字化。三类缺口对应三种处置方式,是采集计划的编制依据 | 数据治理体系·现状评估;数据采集 |
| (5)输出数据治理现状诊断报告、高质量数据集验证场景数据需求清单 | 完全响应 | 两份成果按节点交付:诊断报告含九域评分、差距与优化路径,场景数据需求清单按场景逐项列数据项、来源系统、精度要求与时间范围。两份文件经甲方确认后作为后续治理与采集工作的基线 | 数据治理体系·现状评估 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.1.1.2 治理规划要求、3.2.6.1.1.2.1 数据战略规划要求(标题) | 引用 | 正文按九个子域分节,每节对应 DCMM 一个能力域 | 数据治理体系·治理规划 |
| (1)数据战略规划:制定数据战略规划,明确数据管理愿景、重点任务、资源投入与实施路线图,配套制定数据战略管理办法 | 完全响应 | 战略规划与甲方数字化转型战略对齐,重点任务按本项目四类数据集与 11 个场景的需要排序,资源投入按人力、工具、预算三项分年给出,路线图按年度分解到季度里程碑。战略管理办法规定战略的制定、审议、发布与修订程序 | 数据治理体系·数据战略规划 |
| (2)数据战略实施:制定数据战略实施计划,细化阶段任务,明确责任部门及时间节点 | 完全响应 | 实施计划把路线图拆到可派活的粒度:每项任务有责任部门、配合部门、起止时间与交付物,纳入甲方既有的计划管理流程跟踪,不另设一套考核 | 数据治理体系·数据战略规划 |
| (3)数据战略评估:构建数据战略常态化评估机制,分析执行偏差,输出评估报告,并形成持续迭代机制 | 完全响应 | 评估按半年一次执行,比对计划与实际并分析偏差原因(资源不到位、依赖未就绪、目标设定偏高三类),评估结论进入下一轮战略修订。迭代机制规定什么情况下须修订战略而非仅调整计划 | 数据治理体系·数据战略规划 |
| (4)输出数据战略管理办法、数据战略规划、数据战略实施计划、战略评估报告 | 完全响应 | 四份文档按清单交付(对应第 11.4 节第 1–4 项),文档形态为可编辑源文件加签字版 | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.2 数据治理规划要求(1)数据治理组织:设计多层级治理组织架构,明确决策层、管理层、执行层各岗位角色与职责边界,建立常态化治理工作机制、协同机制与考核机制 | 完全响应 | 组织按三层设计:决策层定方向与裁决争议,管理层定标准与督办,执行层在业务域内落地。三项机制分别规定例会与报告节奏、跨部门协同的发起与响应规则,以及考核指标与结果应用。职责边界以责任矩阵表达,避免「谁都管、谁都不负责」 | 数据治理体系·治理组织 |
| (2)数据制度建设:制定全套顶层数据治理管理制度,包含数据治理管理办法、实施细则、操作规范 | 完全响应 | 制度按三层编写:管理办法定原则与权责,实施细则定流程与节点,操作规范定具体动作与模板。三层之间引用关系明确,修订一层不致全套作废 | 数据治理体系·制度建设 |
| (3)数据文化建设:制定数据文化建设方案与培训计划,支撑公司数据管理师能力提升 | 完全响应 | 文化建设落在可执行的三件事上:按岗位分层的培训(管理层、业务骨干、数据专员各一套课程)、数据管理师的考证辅导与模拟题库,以及数据应用案例的内部分享机制。培训排期需甲方人力部门配合;配合事项:培训对象名单与排期确认 | 数据治理体系·数据文化;项目服务·培训实施 |
| (4)输出数据治理顶层规划方案、数据治理组织架构、全套数据治理顶层管理制度、数据文化建设方案 | 完全响应 | 四份文档按清单交付(对应第 11.4 节第 5–8 项) | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.3 数据架构规划要求(1)数据模型:构建可复用的数据仓库模型,明确 ODS、DWD、DWS、DIM、ADS 五层数仓分层架构 | 完全响应 | 五层分层按职责界定:贴源层只做落地不做加工,明细层做清洗与一致性处理,汇总层按主题聚合,维表层统一维度口径,应用层面向场景出宽表。分层规范含命名、生命周期与依赖方向约束,禁止跨层反向依赖 | 数据架构规划 |
| (2)数据分布:梳理各业务系统的数据分布现状,绘制数据流图,明确各系统的数据存储位置、数据流向、数据交互关系 | 完全响应 | 数据流图以系统为节点、接口为边绘制,标注数据内容、频率与方向;存储位置登记到库与实例粒度。流图与资产清册互为索引,发现的重复流转与无主数据另出清单 | 数据架构规划 |
| (3)数据集成与共享:规划统一数据集成架构,明确多模态数据采集适用场景,制定数据集成共享管理规范 | 完全响应 | 集成架构按三通道(结构化、文件、时序)统一,与第 7 节的接入方案同构;多模态采集的适用场景逐类说明(何时用接口、何时用文件摆渡、何时用时序订阅)。共享管理规范规定申请、审批、授权与回收流程 | 数据架构规划;多源异构数据集成采集 |
| (4)元数据管理:制定元数据管理办法,明确业务元数据、技术元数据、管理元数据采集范围,构建元数据维护、血缘分析与变更管理方法 | 完全响应 | 三类元数据的采集范围逐类列明,技术元数据由平台自动采集、业务元数据由业务人员维护、管理元数据随流程产生;血缘分析覆盖表级与字段级,变更管理按影响范围通知下游。元数据与加工平台的血缘记录打通,形成从源字段到数据集样本的完整链路 | 数据架构规划;数据集–模型版本血缘追溯 |
| (5)输出数据模型分层架构、数据分布及数据流图、数据集成共享管理规范、元数据管理办法 | 完全响应 | 四份文档按清单交付(对应第 11.4 节第 9–12 项) | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.4 数据资产规划要求(1)权属管理:明确原始数据的来源、存储位置,明确数据治理后形成的数据资产所有权、使用权 | 完全响应 | 权属按「原始数据权属不变、加工成果权属按合同约定」的原则登记:每项资产登记来源系统、提供部门、所有权主体与使用权范围,加工形成的数据集按知识产权条款确定权属并在运营平台的确权模块留痕。权属不清的资产不得上架 | 数据资产规划;知识产权相关建设 |
| (2)价值评估:构建数据资产价值评估办法,明确评估维度和流程 | 完全响应 | 评估按成本、质量、应用三类维度:成本维度看采集与加工投入,质量维度取质检与评测得分,应用维度看被调用频次与支撑场景数。评估流程规定发起、打分、复核与结果应用,结果用于定价与资源投入排序 | 数据资产规划;运营盈利模式 |
| (3)资产运营:设计资产目录内部运营机制,明确资产申请、审批、使用等流程 | 完全响应 | 内部运营与对外运营共用运营平台,差别在授权与结算:内部申请按部门与用途审批、免结算但计量,对外按订单结算。使用情况按季度出报表,长期无人使用的资产进复评,决定继续维护还是退役 | 数据资产规划;数据集运营服务管理平台 |
| (4)输出数据资产管理办法、数据资源目录、资产价值评估办法、数据资产运营流程规范 | 完全响应 | 四份文档按清单交付(对应第 11.4 节第 13–16 项) | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.5 数据标准规划要求(1)业务术语:制定公司统一业务术语标准,厘清业务名词定义、业务含义及同义词,推动在业务文档、系统字段、指标说明中落地应用 | 完全响应 | 术语标准与知识本体同源维护:本体中的术语即标准术语,同义词与别名在本体中登记。落地以三件事验证——业务文档用词抽查、系统字段映射到标准术语的比例、指标说明的术语一致性检查 | 数据标准规划;知识本体 |
| (2)主数据:补齐主数据全生命周期审批流程记录,形成 DCMM 评审可查阅的证据材料 | 完全响应 | 按主数据的新增、变更、停用三类动作补齐流程记录,记录含申请、审核、生效时间与操作人;历史缺失记录按可追溯原则补登并标注补登说明,不伪造历史时间。证据材料按评审要求整理成册;配合事项:主数据历史审批记录的可获取范围 | 数据标准规划 |
| (3)参考数据:制定参考数据标准与代码值域字典,明确参考数据的管理范围,识别各类参考数据的取值范围 | 完全响应 | 参考数据按管理范围清单逐项建码表,码表含编码、名称、含义、适用系统与生效状态;跨系统同义不同码的情况建映射对照表,映射表是跨源数据拼接的前提 | 数据标准规划 |
| (4)数据元:针对核心业务域制定数据元定义标准,明确数据元标识、名称、定义、类型、格式、值域等规范 | 完全响应 | 数据元标准覆盖九个业务域的核心数据元,六项属性逐项填写;工艺与质量类数据元额外标注计量单位与精度要求,这两项缺失是跨系统数据不可比的主要原因 | 数据标准规划 |
| (5)指标数据:制定指标标准,明确指标业务含义、统计口径、计算逻辑、维度与数据来源 | 完全响应 | 指标标准按主题建指标树,五项属性逐项写明;同一指标只有一个口径,口径冲突在标准编制阶段裁决并留裁决记录。指标标准与决策数据智能问答场景的回答口径同源,避免问答结果与报表结果不一致 | 数据标准规划;决策数据智能问答验证 |
| (6)输出数据标准管理办法、业务术语标准、参考数据标准、数据元标准、指标标准、标准映射对照表 | 完全响应 | 六份文档按清单交付(对应第 11.4 节第 17–22 项) | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.6 数据质量规划要求(1)数据质量需求:梳理各业务域核心数据的质量诉求,遵循完整性、准确性、一致性、唯一性、及时性、有效性 6 大维度,制定数据质量校验规则库 | 完全响应 | 六个维度逐域梳理质量诉求并转化为可执行规则:规则库按维度与数据对象两级组织,每条规则含判定逻辑、阈值、严重等级与责任域。规则库同时作为加工流水线的质检配置来源,治理与加工用同一套规则 | 数据质量规划;数据集质检 |
| (2)数据质量检查:基于校验规则库开展数据质量稽核,调度执行多源数据校验,快速定位质量异常数据 | 完全响应 | 稽核任务按 CRON 调度,支持单源校验与跨源一致性校验;异常结果定位到库表、字段与记录标识,并给出命中的规则与样例数据,便于业务人员直接核对 | 数据质量规划 |
| (3)数据质量分析:制定数据质量评估方案,明确质量指标、质量评分与评估分析方法,建立常态化质量监控评估工作机制 | 完全响应 | 评估方案规定各维度指标的计算方法与权重,质量评分按数据对象出分并按月趋势跟踪;常态化机制含月度质量例会、问题台账评审与整改复核三项固定动作 | 数据质量规划 |
| (4)数据质量提升:设计数据质量问题闭环处置流程,明确上报、分派、整改、复核、归档的管理要求,结合质量监控评估机制推动质量问题持续优化提升 | 完全响应 | 闭环五步各设时限与责任人,整改需给出根因而非仅修数据;复核由提出方确认,归档后仍纳入下一轮监控以防复发。重复出现三次以上的问题升级为规则或流程改造,不再按个案处理 | 数据质量规划 |
| (5)输出数据质量管理办法、数据质量需求清单、数据质量校验规则库、质量分析报告、质量问题整改台账 | 完全响应 | 五份文档按清单交付(对应第 11.4 节第 23–27 项),其中规则库与整改台账为持续更新的活文档,按节点出版本 | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.7 数据安全规划要求(1)数据合规管理:开展数据分类分级治理,识别重要数据、敏感数据,按 L1 公开、L2 内部、L3 重要、L4 敏感、L5 机密五个层级制定数据安全分级标准 | 完全响应 | 五级分级标准按需求书层级口径制定,逐级规定判定依据、标识方式、存储与传输要求、可见范围与审批层级;分级结果落到库表与字段,并作为加工平台与运营平台的权限与脱敏策略输入。L4、L5 数据默认不出平台,使用按任务式方式 | 数据安全规划;安全方案·分级管控 |
| (2)数据安全防护:构建多维度安全控制能力,涵盖权限管控、敏感数据脱敏、数据水印、访问审批等防护手段 | 完全响应 | 四类手段分别落点:权限按 RBAC 加数据范围双重控制,脱敏按字段级规则在查询与导出两处执行,水印用于下载件的溯源(含明水印与暗水印),访问审批用于高密级数据的逐次授权。四项能力在平台中配置生效并留痕 | 数据安全规划;安全方案·去标识与脱敏 |
| (3)数据安全审计:完整记录数据查询、修改、删除、接口调用等全链路操作日志,操作留痕可追溯 | 完全响应 | 四类操作统一在数据访问层埋点记录,记录内容含主体、时间、对象、范围与结果;日志不可改不可删,审计权限独立。覆盖面趋向全部访问路径,以统一埋点而非逐功能埋点实现,减少遗漏 | 数据安全规划;审计管理 |
| (4)输出数据合规管理制度、数据安全管理办法、数据安全分级标准、数据权限管理规范 | 完全响应 | 四份文档按清单交付(对应第 11.4 节第 28–31 项) | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.8 数据生存周期规划要求(1)数据需求:建立标准化数据需求管理流程,规范需求提交、评审、排期、反馈闭环,完整留存流程记录 | 完全响应 | 需求流程四步各有模板与时限:提交需填业务目的与数据项,评审看合规性与可行性,排期按优先级入计划,反馈向提出方回复结果与可用方式。流程记录在治理平台留存,作为 DCMM 评审证据 | 数据生存周期规划 |
| (2)数据设计与开发:制定数据设计开发统一规范,明确数据采集、数据加工、数据模型、接口开发等相关要求 | 完全响应 | 规范按四个环节分章:采集规定取数方式与频率约定,加工规定分层与命名约束,模型规定建模方法与评审要求,接口规定契约与版本管理。规范以检查清单形式配套,便于评审时逐项核对 | 数据生存周期规划 |
| (3)数据运维:制定数据运维管理制度,明确采集、加工、数据服务运维责任,针对任务失败、接口异常、数据延迟配置告警机制,建立运维故障闭环处置流程 | 完全响应 | 三类运维责任按环节划分并设值班安排;三类告警各定阈值与通知对象,告警到人不到组;故障闭环按响应、处置、复盘三步执行并记录时间,重复故障进专项改进 | 数据生存周期规划;非功能性技术要求·运行 |
| (4)数据退役:制定数据退役管理规范,明确数据归档、销毁、审批处置流程,对到期闲置数据资产开展评估,区分归档、销毁处置路径 | 完全响应 | 退役按评估、审批、执行、留证四步:评估看法定保存期限、业务价值与合规要求,审批按密级定层级,销毁按不可恢复方式执行并出销毁记录,归档按介质与保存期登记。涉及数据集的退役同时在血缘中标记影响范围 | 数据生存周期规划 |
| (5)输出数据需求管理规范、数据设计开发规范、数据运维管理制度、数据退役管理规范 | 完全响应 | 四份文档按清单交付(对应第 11.4 节第 32–35 项) | 数据治理体系·成果交付 |
| 3.2.6.1.1.2.9 数据应用流通规划要求(1)数据应用:梳理数据应用需求,明确数据范围及要求,为数据应用提供治理后的可靠数据 | 完全响应 | 应用需求按场景登记,明确数据范围、精度、时效与更新频率;对外提供的一律是治理后数据,不直接开放贴源层。应用与数据之间的对应关系进资源目录,便于影响分析 | 数据应用流通规划 |
| (2)外部数据管理:建立外部数据引入管理制度,规范外部数据采购、接入、核验、评估流程,明确外部数据存储、加工、共享的使用边界与约束 | 完全响应 | 引入制度把合法性放在第一道:采购需核验来源与授权范围,接入前做合规与质量核验,评估后方可入库;使用边界按授权协议登记并在系统中以标签约束,禁止超范围加工与再共享。公开数据与采购数据分别登记授权凭证 | 数据应用流通规划;安全合规·数据来源合法性 |
| (3)数据开放:制定数据开放共享流程,规范数据申请、审批、授权、回收等流程 | 完全响应 | 四步流程在运营平台落地:申请填用途与范围,审批按密级分层,授权按最小必要与时限发放,到期自动回收并通知。回收后的访问尝试被拒绝并记录 | 数据应用流通规划;数据集运营服务管理平台 |
| (4)数据服务:构建数据服务标准,面向数据应用提供标准化数据服务;输出外部数据引入管理办法、数据开放共享管理规范 | 完全响应 | 数据服务标准规定服务形态(接口、文件、任务式)、契约要素、SLA 与计量方式;两份文档按清单交付(对应第 11.4 节第 36–37 项) | 数据应用流通规划;数据治理体系·成果交付 |
招标文件要求至少交付不少于 25 份数据治理规划文档,并以表格实列 37 份。我方按实列的 37 份全部交付,不按下限 25 份交付。文档形态为可编辑源文件加签字版,交付节点随治理各阶段分批提交,终验前全部齐备。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.1.1.2.10 数据治理规划成果交付要求:至少交付不少于 25 份数据治理规划文档 | 正偏离 | 按实列 37 份交付,高于不少于 25 份的下限;每份文档的内容要点、编制依据与评审方式在治理方案中列明,文档之间的引用关系随附一张索引图 | 数据治理体系·成果交付 |
| 清单表头:序号、名称、形态、数量 | 引用 | 按原表四列口径应答,形态与数量按原表 | 第 11.4 节 |
| 1 数据战略管理办法文档 1 | 完全响应 | 规定数据战略的制定、审议、发布、修订与评估程序及各环节权责 | 数据战略规划 |
| 2 数据战略规划文档 1 | 完全响应 | 含数据管理愿景、重点任务、资源投入与分年度实施路线图 | 数据战略规划 |
| 3 数据战略实施计划文档 1 | 完全响应 | 按季度分解任务,列责任部门、配合部门、交付物与时间节点 | 数据战略规划 |
| 4 战略评估报告文档 1 | 完全响应 | 半年度出具,含计划与实际对比、偏差原因与修订建议 | 数据战略规划 |
| 5 数据治理顶层规划方案文档 1 | 完全响应 | 统摄九大能力域的总体方案,含目标、路径、组织与分期安排 | 治理规划 |
| 6 数据治理组织架构文档 1 | 完全响应 | 决策层、管理层、执行层三层架构图加岗位职责与责任矩阵 | 治理组织 |
| 7 全套数据治理顶层管理制度文档 1 | 完全响应 | 管理办法、实施细则、操作规范三层成套,含制度清单与引用关系 | 制度建设 |
| 8 数据文化建设方案文档 1 | 完全响应 | 含分层培训课程、数据管理师辅导安排与案例分享机制 | 数据文化 |
| 9 数据模型分层架构文档 1 | 完全响应 | ODS、DWD、DWS、DIM、ADS 五层职责界定、命名与依赖约束 | 数据架构规划 |
| 10 数据分布及数据流图文档 1 | 完全响应 | 系统为节点、接口为边的数据流图,附存储位置登记表 | 数据架构规划 |
| 11 数据集成共享管理规范文档 1 | 完全响应 | 三通道集成架构、适用场景判定与共享申请审批流程 | 数据架构规划 |
| 12 元数据管理办法文档 1 | 完全响应 | 三类元数据采集范围、维护职责、血缘分析与变更通知要求 | 数据架构规划 |
| 13 数据资产管理办法文档 1 | 完全响应 | 资产认定标准、权属登记、生命周期管理与考核要求 | 数据资产规划 |
| 14 数据资源目录文档 1 | 完全响应 | 按业务域编目的资产清册,含来源、密级、质量评分与责任部门 | 数据资产规划 |
| 15 资产价值评估办法文档 1 | 完全响应 | 成本、质量、应用三维评估指标、权重与评估流程 | 数据资产规划 |
| 16 数据资产运营流程规范文档 1 | 完全响应 | 内部申请、审批、使用、计量与复评退役的流程与模板 | 数据资产规划 |
| 17 数据标准管理办法文档 1 | 完全响应 | 标准的编制、评审、发布、落地检查与变更程序 | 数据标准规划 |
| 18 业务术语标准文档 1 | 完全响应 | 统一术语表,含定义、业务含义、同义词与别名,与知识本体同源 | 数据标准规划 |
| 19 参考数据标准文档 1 | 完全响应 | 参考数据管理范围、码表与跨系统映射对照 | 数据标准规划 |
| 20 数据元标准文档 1 | 完全响应 | 九个业务域核心数据元的标识、名称、定义、类型、格式、值域 | 数据标准规划 |
| 21 指标标准文档 1 | 完全响应 | 指标树与各指标的业务含义、统计口径、计算逻辑、维度与来源 | 数据标准规划 |
| 22 标准映射对照表文档 1 | 完全响应 | 标准术语、数据元与各系统字段的映射关系,支撑跨源拼接 | 数据标准规划 |
| 23 数据质量管理办法文档 1 | 完全响应 | 质量职责、规则管理、稽核安排、评估与问题闭环要求 | 数据质量规划 |
| 24 数据质量需求清单文档 1 | 完全响应 | 按业务域与数据对象列出的质量诉求与对应维度 | 数据质量规划 |
| 25 数据质量校验规则库文档 1 | 完全响应 | 六维度规则集,含判定逻辑、阈值、严重等级与责任域,持续更新出版本 | 数据质量规划 |
| 26 质量分析报告文档 1 | 完全响应 | 按月出具,含各维度得分、趋势、主要问题与改进建议 | 数据质量规划 |
| 27 质量问题整改台账文档 1 | 完全响应 | 问题登记、分派、整改、复核、归档全过程记录,含关闭时效统计 | 数据质量规划 |
| 28 数据合规管理制度文档 1 | 完全响应 | 合规要求清单、分类分级执行要求与违规处置 | 数据安全规划 |
| 29 数据安全管理办法文档 1 | 完全响应 | 安全职责、防护措施、审计要求与应急处置 | 数据安全规划 |
| 30 数据安全分级标准文档 1 | 完全响应 | L1 至 L5 五级判定依据、标识方式与各级管控要求 | 数据安全规划 |
| 31 数据权限管理规范文档 1 | 完全响应 | 角色定义、授权审批、权限回收与定期复核要求 | 数据安全规划 |
| 32 数据需求管理规范文档 1 | 完全响应 | 需求提交、评审、排期、反馈四步流程与模板 | 数据生存周期规划 |
| 33 数据设计开发规范文档 1 | 完全响应 | 采集、加工、建模、接口四环节设计开发要求与检查清单 | 数据生存周期规划 |
| 34 数据运维管理制度文档 1 | 完全响应 | 运维责任划分、告警配置与故障闭环处置要求 | 数据生存周期规划 |
| 35 数据退役管理规范文档 1 | 完全响应 | 退役评估、审批、归档与销毁的流程与留证要求 | 数据生存周期规划 |
| 36 外部数据引入管理办法文档 1 | 完全响应 | 采购、接入、核验、评估流程与使用边界约束 | 数据应用流通规划 |
| 37 数据开放共享管理规范文档 1 | 完全响应 | 申请、审批、授权、回收流程与开放目录管理 | 数据应用流通规划 |
| 具体的交付文档数量和名称可在实施阶段滚动优化 | 完全响应 | 我方按 37 份为基准交付;实施中如需合并或拆分,经数字化转型工作办公室书面确认后调整,调整不减少实质内容、不低于不少于 25 份的底线,调整记录随交付文档归档 | 数据治理体系·成果交付 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.1.2 数据治理实施要求:须根据治理规划成果,对人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理共 9 个业务域,进行数据汇聚、数据处理、元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全管理、数据指标管理、数据服务管理相关内容在数据治理开发工具平台上落地实施 | 完全响应 | 九个业务域乘九类实施内容构成实施矩阵,按业务域分批推进:首批取研发设计与质量管理(数据条件最好、直接支撑工艺与质量两类数据集),次批取生产制造、设备管理与仓储物流,末批取人力资源、财务管理、采购管理与营销管理。每个业务域的实施以四项成果为完成标志:元数据登记完成、标准落地到字段、质量规则上线运行、数据服务可被调用。规划文档中的规则一律在治理平台上配置生效,不以文档交付代替落地 | 数据治理实施 |
本项服务的落点是用模型表现反证数据集价值,模型本身不是本包的交付物。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.2 行业大模型训练推理技术服务(标题) | 引用 | 正文按预训练、指令微调、偏好对齐、评测归因四段论述 | 行业大模型训练推理技术服务 |
| (1)构建行业大模型,须支持大模型私有化部署,支持国产通用大模型 | 完全响应 | 训练与推理环境按私有化部署建设,模型权重与数据均不出甲方指定环境;基座选用国产通用大模型,采用当期能力评测领先的通用大模型,经统一网关接入,可替换、可评测、可随代升级。模型选型以在本项目基准集上的实测表现为依据,不以品牌为依据 | 行业大模型训练推理技术服务;模型接入口径 |
| (2)须基于预训练数据集的 Token 规模、模态分布、来源构成和领域子集统计,制定文本、图像、时序等多模态数据的训练配比和采样权重;选取适配矿山装备制造业务的开源基座模型,开展分布式继续预训练,记录训练曲线、checkpoint、中间评测结果;通过领域知识探针、保留语料困惑度等方式验证预训练数据集的知识注入效果,形成知识注入有效性报告 | 完全响应 | 配比按四类数据集的 615 亿 Token 构成设定(供需 276 亿、工艺 70 亿、制造 105 亿、质量 164 亿),采样权重按领域子集的目标能力分配并留一组对照配比用于比较;继续预训练按分布式方式执行,训练曲线、检查点与中间评测结果全程留档。知识注入效果以两项证据判定:领域知识探针题的正确率变化、保留语料困惑度的下降幅度,两项均在知识注入有效性报告中给出数值、样本量与显著性判断 | 行业大模型训练推理技术服务;数据集建设及指标 |
| (3)须将指令微调数据集按业务场景、任务类型、难度等级等维度切片,设计基础 SFT、子集消融 SFT、混合配比 SFT 等实验方案;在行业基座模型上开展全参数微调或 LoRA/QLoRA 高效微调,跟踪训练损失、验证集准确率、显存占用、吞吐等指标;通过自动评测和专家抽样人评验证模型在指令遵循、任务完成、格式规范、长上下文理解等方面的能力提升 | 完全响应 | 89 万条指令数据按三个维度切片后设三组实验:基础组用全量,消融组逐一抽掉某子集以测该子集贡献,配比组调整子集比例以找较优配比。微调方式按资源与目标选择全参数或高效微调并记录四项训练指标;能力验证双轨进行——自动评测给四项能力的指标值,专家抽样人评按评分细则打分,两者结论不一致时以人评为准并分析自动评测口径的偏差 | 行业大模型训练推理技术服务;数据贡献度归因 |
| (4)须对偏好数据集进行格式归一化、冲突样本处理和难度分层,训练行业奖励模型并评估其在保留偏好集上的判别准确率;基于 SFT 模型和奖励模型开展 DPO 或 PPO 对齐训练,记录偏好准确率、KL 散度、奖励均值、回答长度变化等指标,识别并缓解奖励黑客、回答冗余、行为退化等风险,最终形成专家偏好对齐度报告和安全合规通过率报告 | 完全响应 | 6.6 万组偏好数据先做三步前处理:格式归一化统一到同一字段结构,冲突样本(同一问题两组相反偏好)交专家裁决而非投票决定,难度分层按两个回答的差异度划档。奖励模型在保留偏好集上评判别准确率,达不到门限不进入对齐训练。对齐训练按四项指标监控,三类风险各有识别手段与应对:奖励黑客以人工抽检与回答长度异常识别并加约束项,回答冗余以长度与信息密度联合判定,行为退化以对齐前后在基准集上的指标回落判定,出现回落即回退到前一检查点。两份报告按节点交付 | 行业大模型训练推理技术服务 |
| (5)须固化基准测试数据集的题型协议、判分规则、版本号和随机种子,建设可复现的评测沙箱环境;在统一评测平台上对基座模型、继续预训练模型、SFT 模型、对齐模型等多阶段版本开展评测,量化不同数据集带来的能力增量;对评测错题开展训练数据归因分析,识别脏数据、覆盖盲区、歧义标注和难度分布缺口,形成结构化整改任务单,支撑「评测、归因、修复、回评」的数据闭环 | 完全响应 | 四项要素在基准集冻结时一并固化(见「智能工具链(三):质量与验证类」一节.9 的应答),评测沙箱按环境固定、依赖锁版、随机种子固定三条保证可复现,同一协议重跑的差异在报告中说明来源。四个阶段的模型在同一冻结集上评测,能力增量按相邻阶段差值计算并给置信区间,不以单点分数宣称提升。错题归因输出四类问题各自的样本范围,整改任务单按问题类型、关联批次、责任组、优先级与期限填写,修复后回评并记录前后对比——这一条闭环是「数据集真的管用」的证据链 | 行业大模型训练推理技术服务;数据集验证;数据贡献度归因 |
十个环节是一条生产线,前一环节的产出即后一环节的输入;质检是训练前门控,验证是训练后终验。
图 13-1 数据加工生产十环节的纵向链路、知识底座与横向管控。数据来源:招标文件的生产逻辑表述与 3.2.6.3.1 至 3.2.6.3.10 各环节要求。
本节关键承诺:七环节生产链路逐环节设质量检查节点——依质量规则判断该批产出是否符合进入后续工序的条件,不通过不放行;各检查节点的判据与证据形式在加工方案中写明。各环节的产能与工期按实测产出率推算并随批次校正,首批数据的实测产出率作为后续排期的依据;产出率显著低于测算时,由我方提出资源调整方案,不以压缩质检环节的方式追赶进度。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3 数据加工生产服务要求:拟建数据集规模为预训练≥600 亿 Token、指令微调≥80 万条、强化学习偏好≥6 万组、基准测试≥0.9 万条;涵盖不少于 3 种模态;多模态条数占比不低于 40%;近 3 年时效性条数占比不低于 40% | 完全响应 | 四类规模按 615 亿 Token、89 万条、6.6 万组、0.95 万条交付,均高于下限;模态覆盖时序、图像、文本、视频四类,两项占比按不低于 40% 控制并逐批出报表。分数据集的规模分解与指标口径见「通用场景验证方案」一节 | 数据集建设及指标 |
| 3.2.6.3.1 数据采集:须将企业各业务系统、设备系统与外部来源的原始数据汇入平台,形成四类数据集的原始数据底座 | 完全响应 | 采集按业务域组织而非按系统组织:同一数据集所需的数据可能横跨数个系统,按域组织才能保证底座完整。每个域出原始数据批次并附采集记录,记录含来源、时间窗、条数、校验结果与许可状态 | 数据采集 |
| (1)供需计划域·CRM 部分:从 CRM 采集客户、商机、报价、合同、订单、回款等结构化数据及招标/投标文件、资质文件、业绩合同等非结构化文件 | 完全响应 | 结构化六类按表与字段映射到供需计划数据集的字段模型,增量按更新时间戳抽取;三类非结构化文件走文件通道,招投标文件同时作为标书智能问答场景的语料来源。客户与联系人信息在落地区即去标识;配合事项:CRM 取数表清单与字段范围确认 | 数据采集·供需计划域 |
| (1)供需计划域·ERP 与 SCM 部分:从 ERP 采集销售订单、采购、成本核算、应收应付等数据;从 SCM 采集供应商档案与评估、采购计划与订单、供货履约、付款计划、物料采购周期、到货时效与供应商履约率 | 完全响应 | ERP 四类按主题域抽取进供需计划数据集;SCM 的七项中有三项为派生指标——物料采购周期、到货时效、供应商履约率由原始单据按口径计算,不取现成报表,计算口径随数据集说明卡交付以便复核。供应商评估分值按脱敏规则处理后使用;配合事项:ERP 与 SCM 取数范围确认 | 数据采集·供需计划域 |
| (1)供需计划域·WMS 部分:从 WMS 采集仓库、货位、物料、库存批次、库位信息、实时库存存量与出入库记录 | 完全响应 | 主档建仓库—库区—货位层级维表,单据按物料与批次汇成出入库流水,据此计算库存水位与周转天数,作为库存控制场景的验证输入;物料编码按主数据口径归一后入集 | 数据采集·供需计划域;库存控制智能化验证 |
| (1)供需计划域·历史销量与预测:并采集历史销量、订单量与销售预测数据,形成供需计划数据集的原始数据底座 | 完全响应 | 三类数据按可获取的最长时间窗取数,时间窗不足 3 年的部分在时效性占比统计中如实计入,不以插补充数;销售预测数据与实际发生量配对保存,形成预测准确性的历史基线,这是需求预测场景评价的参照。本域对应预训练 276 亿 Token、指令 40 万条、偏好 3.2 万组、基准 0.4 万条;配合事项:销售预测数据的来源系统与历史时间范围 | 数据采集·供需计划域;数据集建设及指标 |
| (2)须完成产品工艺设计域数据采集:从 PLM 采集 BOM 编号、工序数据、变更记录与零部件信息,以及选型方案、工艺图纸、CAD 图纸、工艺卡片等设计文件,并配套采集企业适用的机械制图标准与工艺编制准则,形成产品工艺设计数据集的原始数据底座 | 完全响应 | 结构化与文件两路并行取数,文件按图纸批次移交并以清单加校验和核对;机械制图标准与工艺编制准则作为解析与标注的判据一并采集,缺少这两类文件则图纸抽取的字段无从判定正确与否。28 道备料工序与 63 万张历史工艺样本在本域处理,加工量按批次排期。本域对应预训练 70 亿 Token、指令 10 万条、偏好 0.8 万组、基准 0.1 万条;配合事项:历史图纸批次清单、适用制图标准与工艺编制准则文本 | 数据采集·产品工艺设计域;设备图纸与工艺图结构化抽取 |
| (3)制造过程域·MES 部分:从 MES 采集生产工单、生产进度与焊丝牌号、直径 | 完全响应 | 四项按工单号汇成生产事件时序;焊丝牌号与直径作为焊接场景的材料条件字段,与 SCADA 侧的电流、电压、送丝速度按工单号与时间窗对齐,构成「材料条件+过程参数」的样本前半段。工单号在各系统中的写法差异按对照表归一;配合事项:MES 取数范围与工单号对照确认 | 数据采集·制造过程域;传感器时序与运维事件对齐 |
| (3)制造过程域·SCADA 时序部分:从 SCADA 采集设备电流、电压、温度、湿度、运行状态,以及焊接的实时电流、实时电压与预设电流、预设电压、焊接速度、焊枪摆动振幅、摆动频率、焊枪停留时间、变位机状态、送丝速度、保护气体流量、起弧与收弧等时序数据 | 完全响应 | 按测点清单订阅,采样率分档:焊接电流电压与送丝速度取高频采样以保留波形特征,温湿度与运行状态取低频采样。实测值与预设值须成对采集——两者的偏差是焊接过程监控场景的核心特征,单取一侧则该场景无法验证。起弧与收弧事件作为作业分段的锚点;配合事项:SCADA 测点清单、采样率与设备对应关系 | 数据采集·制造过程域;焊接过程控制智能监控验证 |
| (3)制造过程域·焊接图像与层间温度:并采集层间温度、熔池图像与焊后焊道表面图像 | 完全响应 | 层间温度由在线热成像设备采集(15 台,见「行业大模型训练推理技术服务方案」一节),熔池图像由红外图像采集设备采集(15 台),焊后焊道表面图像按作业结束触发采集;三者与时序数据按同一时钟对齐,图像带时间戳入集。图像按缺陷类型分层标注,构成样本的后半段判定依据;配合事项:熔池与焊道图像采集点位确认 | 数据采集·制造过程域;硬件选型与配置 |
| (3)制造过程域·热处理部分:从热处理群控系统及加装传感器采集工件淬火前后表面温度、加热功率、频率、淬火液温度、浓度与流量、感应器间隙、加热与冷却时间、返热温度,以及设备运行状态、启停状态、运行时长与设备报警代码 | 完全响应 | 按炉次切分时序,窗口以开炉与出炉事件界定;设置值与实测值成对采集,偏差序列作为热处理场景的核心特征。淬火液浓度等非在线测量项按化验记录按班次补录并标注测量时点,不按在线值处理。加装传感器涉及现场施工,须经甲方批准并在停机窗口实施,安装位置与量程由工艺人员确认;配合事项:加装传感器清单与安装窗口、炉次编号规则 | 数据采集·制造过程域;热处理过程智能监控验证 |
| (3)制造过程域·EMS 部分:从 EMS 采集能耗时序数据 | 完全响应 | 按测点订阅能耗时序并按炉次、工单做时间对齐,用于判断过程参数异常是否伴随能耗异常;日与班次两级统计值一并抽取,作为能耗类指标的派生来源 | 数据采集·制造过程域 |
| (3)制造过程域·EAM 与 SOS 部分:从 EAM 与 SOS 采集设备基础信息、设备台账、点检、维修工单、报警规则、报警数据与报警确认信息、诊断结论与处置建议,以及设备档案、维修记录、诊断报告、故障案例等资料,形成制造过程数据集的原始数据底座 | 完全响应 | 结构化部分按设备编号汇成设备履历,报警数据与报警确认信息成对保存(未确认的报警不作为故障标签);非结构化四类资料经解析后形成诊断知识与多轮对话语料。计划性停机按 EAM 作业计划剔除,避免把检修误标为故障。本域对应预训练 105 亿 Token、指令 15 万条、偏好 1 万组、基准 0.2 万条;配合事项:设备编号规则与历史资料清单 | 数据采集·制造过程域;刮板输送装备健康智能诊断验证 |
| (4)须完成产品质量域数据采集:从 QMS 采集进厂、制程、出厂、成品检验记录与质量台账,产品淬火硬度、淬火区域位置及均匀性、外观缺陷与质检结果等检验数据,以及质量报告、产品质量档案、质量知识等非结构化资料;并采集熔池图像、焊后焊道表面图像与工件外观缺陷图像等质量影像资料,形成产品质量数据集的原始数据底座 | 完全响应 | 检验数据以批次号与零件号为键,与制造过程域的工艺参数配对形成「参数—结论」样本;淬火硬度与淬火区域均匀性按测点位置记录,不只取合格判定。缺陷图像按缺陷类型分层采集,少见缺陷类型的样本量不足时以定向补采与增强补齐并在说明卡标明。本域对应预训练 164 亿 Token、指令 24 万条、偏好 1.6 万组、基准 0.25 万条;配合事项:缺陷图像历史存量与补采安排 | 数据采集·产品质量域;数据标注 |
| (5)须完成通用语料与外部语料采集:从 OA 采集管理制度与合同文档,从久其系统采集营业收入、利润、成本、资产负债等经营指标,从主数据管理平台采集组织机构、人员与物料编码;并按预训练子集的 Token 规模目标补充行业标准、学术文献、厂商资料与公开数据集等外部语料 | 完全响应 | 内部三类按第 7 节的接入方案取数。外部语料的采集以合法性为前置条件:逐项核验来源、许可类型与可商用范围,授权不明的不入集;行业标准类文本按授权范围使用,公开数据集按其许可协议标注来源与许可。外部语料的占比与来源构成在预训练子集说明卡中列明,便于评测时区分内外部语料的贡献;配合事项:外部语料采购与授权范围确认 | 数据采集·通用与外部语料;安全合规·数据来源合法性 |
| (6)须在采集环节完成数据源登记与许可核验、入口脱敏与格式合规校验,按业务域产出原始数据批次及其采集记录,作为后续各加工环节的输入 | 完全响应 | 三道入口动作在落地区完成且不可跳过:数据源登记记来源、责任人与许可凭证,许可核验未通过的数据不进入加工,入口脱敏按分级标准对个人信息与敏感字段先处理后留存,格式合规校验按编码、结构与必填字段判定。批次与采集记录一一对应,批次是后续所有归因与回流的最小单位 | 数据采集;安全方案·去标识与脱敏 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.2 数据预处理:须将采集所得原始数据加工为可被四个用途子集消费的规范化样本 | 完全响应 | 预处理按模态分三条支线(文档、图像、时序)加一条结构化转写支线,四条支线的产出汇到统一的规范化样本层,样本层的格式对四个用途子集通用,避免为每个子集各做一套预处理 | 数据预处理 |
| (1)须对合同、招投标文件、管理制度、技术标准、设备档案、维修记录、诊断报告、故障案例、质量报告等文档类资料完成版面解析、章节结构还原、表格与公式重建、正文切分与去重去噪,产出保留章节层级与来源页码的结构化长文本,供预训练子集与检索增强样本构建使用 | 完全响应 | 九类文档走同一条解析流水线,五项处理按顺序执行并各留中间产物;章节层级与来源页码作为必保字段——缺这两项则检索增强样本无法给出引用,问答类场景的溯源也无从实现。解析质量按章节数一致性与表格还原正确率两项抽检,不合格批次调参重跑 | 数据预处理;文档结构解析 |
| (2)须对工艺图纸(PDF)、CAD 图纸(DWG/DXF)、工艺卡片、熔池图像、焊后焊道表面图像与工件外观缺陷图像完成格式转换、图面区域切分与图文关联,产出可用于多模态标注与训练的图像样本及其图文对照记录 | 完全响应 | 六类图像资料分两种处理路径:图纸与工艺卡片走版面结构化(标题栏、视图区、明细表、技术要求分区切分),现场图像走目标区域切分(焊缝区、缺陷区、工件轮廓)。图文对照记录把图像区域与文字说明绑定,这是多模态标注能够逐区域打标的前提。图像预处理保留原图与处理参数,便于复现 | 数据预处理;设备图纸与工艺图结构化抽取 |
| (3)须对 SCADA、热处理群控、EMS、SOS 等来源的设备时序数据完成多测点时间对齐、重采样、缺失补齐与异常值处理,并按报警、停机、开炉、焊接作业等事件锚定切分时间窗,产出「时序片段—事件」样本对 | 完全响应 | 四项处理按第 8.5 节的时序对齐工具执行并记录参数;四类事件各定切窗规则(报警按前后时长、停机按停机区间、开炉按炉次、焊接按作业起止)。样本对的标签来自事件记录而非人工推断,标签不明的片段不入集 | 数据预处理;传感器时序与运维事件对齐 |
| (4)须将 CRM、ERP、SCM、WMS、MES、QMS、EAM 等系统的业务表单、工单记录、检验数据与设备运行曲线转换为自然语言文本样本,使结构化数据与时序数据可被大模型直接消费,供预训练子集与指令微调子集使用 | 完全响应 | 转写按模板加知识约束执行:表单按字段语义生成陈述句,工单按事件顺序生成叙述,检验数据按指标与判据生成结论句,运行曲线按特征值生成描述句。转写保留与原记录的映射,数值与单位原样引用不改写;模板由业务人员确认后固化,避免转写出业务上不成立的表述 | 数据预处理;文本重写与多样化 |
| (5)须按四类数据集分域保存预处理产出与原始数据的对照关系,产出各业务域的贴源数据与规范化样本,并随批次登记所用算子及其版本与参数取值 | 完全响应 | 对照关系以样本标识对原始记录标识的映射表保存,支持双向查询;算子版本与参数随批次登记,使任一规范化样本可被重新生成并得到相同结果。贴源数据只留存不加工,规范化样本按域分区存放 | 数据预处理;元数据管理 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.3 知识本体:须构建矿山装备制造领域的统一概念体系,作为标注、合成与检索的业务口径基准 | 完全响应 | 本体是标注标签体系、合成知识约束与检索口径的共同来源,三处引用同一本体版本。本体先行建设、再开标注,顺序颠倒会导致标签体系与业务对象对不上、返工量大 | 知识本体 |
| (1)须构建覆盖设备与部件、工艺与工序、故障模式、质量特性与检验项、物料与 BOM、供应商与合同、能耗与工况等对象类目的领域本体,明确各类目的属性、层次关系与关联关系 | 完全响应 | 七类对象类目逐类建模,每类给属性集、层次关系(父子与组成)与跨类关联(如工序关联设备、故障模式关联部件与现象)。关联关系带方向与基数约束,供本体驱动规则标注做硬校验 | 知识本体;本体驱动规则标注 |
| (2)须在本体中沉淀刮板输送装备等主机产品的部件层级,链轮、齿轨、刮板、压板、哑铃销等工件品类,热处理与焊接的工艺参数项,焊接缺陷类型(热裂纹、冷裂纹、偏焊、咬边、夹渣、烧穿、未熔合、未焊透、气孔、焊瘤)与热处理外观缺陷类型(烧伤、裂纹),以及典型故障模式,使本体对象与各验证场景的业务对象一一对应 | 完全响应 | 本条列举的对象逐一进本体:主机部件层级按 BOM 展开,五类工件品类各自关联其工艺路线与质量特性,十类焊接缺陷与两类热处理外观缺陷作为封闭标签集使用(标注时不允许自由填写缺陷名),工艺参数项按热处理与焊接分别成组。本体对象与 11 个验证场景的对象做一一对照表,对照表是场景验证数据是否齐备的检查依据 | 知识本体;数据集场景验证服务 |
| (3)须以主数据管理平台的组织机构、人员与物料编码,以及 PLM 的 BOM 与零部件信息为基准对齐本体的实体编码,保证本体概念与企业既有编码体系可映射 | 完全响应 | 本体实体编码不另造一套,而是以主数据与 PLM 编码为基准建立映射:一个本体概念对应一个或多个既有编码,映射关系登记并随编码变更同步。无既有编码的新概念按本体内部编码规则分配并标注为本体新增,提交主数据流程审议 | 知识本体;数据标准规划 |
| (4)须产出本体文件、术语表与同义词别名表,标注标签体系、合成知识约束与检索业务口径均统一引用该本体 | 完全响应 | 三份成果按版本发布,发布后下游三处配置自动引用新版本;同义词别名表是现场用语与标准术语之间的桥,缺它则现场文本中的别名无法被正确归一。三份成果与数据标准规划的业务术语标准同源,不出两份口径 | 知识本体;数据标准规划 |
| (5)须将加工过程中新增或修订的术语、故障模式与工艺参数项回流至本体,产出带版本记录的本体更新,并同步更新受影响的标注与合成口径 | 完全响应 | 回流按月成批处理,紧急项随时处理;本体更新出版本记录并由血缘工具计算受影响的标注批次与合成批次,受影响批次按影响程度决定重新校验或重新标注。更新后的标签体系与知识约束同步生效,不允许新旧口径并行作业 | 知识本体;一致性校验标注 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.4 知识库:须将分散于各类资料中的行业知识沉淀为结构化知识条目与知识图谱 | 完全响应 | 知识库与知识本体分工明确:本体定概念与关系的框架,知识库装具体的知识条目与实例关系。两者分开维护、相互引用,使概念调整不必重做条目、条目增补不必改框架 | 知识库 |
| (1)须从设备档案与说明书、维修记录、诊断报告、故障案例、技术标准、工艺编制准则、质量知识与管理制度中抽取实体、属性与关系,产出结构化知识条目,并逐条登记来源文件与出处 | 完全响应 | 八类资料按抽取模板处理,每条知识条目必带来源文件与出处(文件标识、章节、页码),无出处的条目不入库。出处是问答类场景能给出引用的基础,也是知识正确性复核的依据 | 知识库 |
| (2)文档类知识资产的元数据抽取与条款级切分·管理制度:须以「制度条款」为最小知识单元建立索引,抽取制度名称、制度编号、发布部门、生效日期、适用范围与制度层级,并识别制度类别与条款间引用关系 | 完全响应 | 制度按条款切分,六项元数据作为条款的必填属性;条款间引用关系建图以支持「某条款被哪些条款引用」的追问,并据此检出引用失效与规定冲突。现行与废止状态由甲方认定,废止条款标记后不进问答语料;配合事项:现行管理制度清单与版本认定 | 知识库;管理制度智能问答验证 |
| (2)续·技术标准:须抽取标准名称、发布部门与生效日期等核心元数据 | 完全响应 | 三项核心元数据逐项抽取并增标现行与废止状态;标准正文中的表格与参数限值按单元格级结构化(见「系统集成方案」一节.9 的应答),使参数可被自动校验引用。废止标准不进问答语料但保留以支持历史版本问答;配合事项:适用标准清单 | 知识库;技术标准智能问答验证 |
| (2)续·投标相关资料:须按投标文件模板库、设备材料、资质(安标证书、防爆证书、检验检测报告、产品合格证)与业绩(业绩合同、发票、验收单、中标通知书、技术协议)分类归集,支撑管理制度智能问答、技术标准智能问答与标书智能问答场景 | 完全响应 | 四类资料分类归集并建索引:模板库按章节与条目切分供检索复用,设备材料按型号与参数建表,资质四类与业绩五类建台账并登记有效期与适用范围,过期资质自动标记。归集成果直接作为标书智能问答场景的语料底座;资料涉及商业秘密,按分级管控在甲方指定环境内加工;配合事项:投标资料归集范围与密级认定 | 知识库;标书智能问答验证;安全方案·分级管控 |
| (3)须构建「设备—部件—故障模式—现象—原因—处置措施—备件」与「工件—工艺参数—切片结果—硬度指标—质检结论」两类核心知识图谱,支撑制造过程数据集与产品质量数据集的标注与合成 | 完全响应 | 两类图谱按本体关系实例化:故障链图谱的边取自维修记录与故障案例的实际关联,不凭推理补边;工艺质量链图谱的边取自工艺卡片与检验记录的配对关系。图谱同时服务三件事——标注时给候选标签、合成时给约束、验证时给证据,三处共用一份图谱保证口径一致 | 知识库;数据合成;数据集验证 |
| (4)须依据甲方提供的指标口径与计算逻辑,构建覆盖人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量九个业务域的四类知识库;其中指标知识库逐项登记指标名称、描述、业务限定、维度、统计周期(日/月/季/年)、统计范围、计量单位与计算逻辑 | 完全响应 | 指标知识库按九个业务域分区建设,八项属性逐项登记;指标口径以甲方提供为准,我方不自行定义,口径缺失项列清单请甲方确认后补齐。指标与数据标准规划的指标标准同源,不出两份口径;配合事项:九域指标口径与计算逻辑文件 | 知识库;数据标准规划 |
| (4)续·业务概念知识库:登记决策分析相关的业务术语与行业、财务专业名词 | 完全响应 | 业务术语与知识本体的术语表同源,行业与财务专业名词按释义加同义词登记;术语的释义经相关业务部门确认后入库,避免问答时对同一名词给出两种解释 | 知识库;知识本体 |
| (4)续·规则知识库:登记各指标的业务管理逻辑、管控要求、业务边界,以及数据来源、过滤条件与加工逻辑 | 完全响应 | 规则知识库是决策问答不说错话的关键——它规定某指标在什么业务边界内有效、从哪里取数、过滤什么、怎么加工;问答时据此判断问题是否可答,边界之外的提问给出不可答与原因而非勉强作答。规则同时作为指标异动归因的分解依据 | 知识库;决策数据智能问答验证 |
| (4)续·分析报告知识库:归集月度、季度、年度经营分析报告、专题分析报告与常态化业务台账,支撑决策数据智能问答场景 | 完全响应 | 按报告期与主题归集并标注适用范围与有效性;离线台账按版本登记。报告中的结论性表述与指标数值分开索引,使问答既能引用结论也能回溯到数值来源;配合事项:历史分析报告与台账归集范围 | 知识库;决策数据智能问答验证 |
| (5)须对文本、图纸、图像建立统一检索索引,支撑标注过程中的规范对齐、合成过程中的知识引用与验证场景中的证据检索 | 完全响应 | 三类对象建统一索引并支持跨模态检索(按术语找图纸、按缺陷类型找图像、按条款找制度原文);索引同时支持关键词与向量两种召回,元数据过滤可按业务域、密级与有效状态限定范围。三类使用场合共用同一索引,避免标注与验证用到不同版本的资料 | 知识库;RAG 数据构建 |
| (6)须以知识库内容为依据构建检索增强样本,产出「查询—证据—回答」三元组,供指令微调子集与基准评测子集使用 | 完全响应 | 三元组由 RAG 数据构建工具产出(见「智能工具链(三):质量与验证类」一节.3),证据一律来自知识库的有出处条目;供指令微调与基准评测两处使用的三元组按来源文档隔离构建,防止基准题目的证据文档出现在训练样本中 | 知识库;RAG 数据构建;数据集切分与基准构建 |
| (7)须产出经业务专家终审的知识库与知识图谱成果及其数据字典;未经终审的知识条目不得用于标注与合成作业 | 完全响应 | 终审由专家库中的相应领域专家执行,终审状态作为知识条目的必备字段;未终审条目在系统层面不可被标注与合成作业引用,不靠人工纪律约束。数据字典随成果交付,含字段定义、取值范围与更新机制 | 知识库;数据标注专家库建设机制 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.5 数据标注:须按四个用途子集所需的样本形态对各业务域数据实施标注,产出可直接用于训练与评测的标注样本 | 完全响应 | 标注按「业务域定内容、用途子集定形态」两条线交叉组织:同一批数据按不同用途子集产出不同形态的样本,底层标注一次完成、上层按形态组装,避免同一数据被标注多遍 | 数据标注 |
| (1)供需计划域标注·合同与招投标文本:标注条款类型、风险点与合规判定结论;对标合同八大核心要素(当事人信息、标的物、数量、质量、价款或报酬、履行期限地点和方式、违约责任、解决争议的方法)标注要素完整性;并对照模板基线标注新增条款、删减条款与修改条款 | 完全响应 | 三层标注各有封闭标签集与判据:条款类型与风险点标签集由法务口径确定,八大要素按逐项是否齐备判定(齐备、残缺、缺失三档),模板差异按新增、删减、修改三类标记并保留对照位置。风险点标注须给出依据条款,无依据不标 | 数据标注·供需计划域;合同合规智能审查验证 |
| (1)续·历史选型方案:标注输送能力、输送距离、倾角、煤层厚度、工作面条件、配套设备、可靠性要求与特殊定制要求等选型关键要素及其与选型结果的对应关系 | 完全响应 | 八项关键要素逐项标注取值,并建立「要素组合—选型结果」的对应记录;同时标注计算值与最终选定值的差异及调整理由——这段差异是选型经验的所在,也是选型场景能否验证的核心。特殊定制要求按定制部位与原因分类标注,用于分析定制化率 | 数据标注·供需计划域;产品智能选型验证 |
| (1)续·订单库存排产:对订单、库存与排产数据标注需求预测标签与库存决策标签,产出支撑产品智能选型、库存控制智能化与合同合规智能审查场景的标注样本 | 完全响应 | 两类标签的定义与库存场景的评价指标一致:需求预测标签按预测期与实际发生量配对生成,库存决策标签按当时的决策动作(补货、调拨、延迟、取消)与事后结果标注。标签生成以历史事实为准,不由模型推断 | 数据标注·供需计划域;库存控制智能化验证 |
| (2)须对产品工艺设计域数据实施标注:对工艺图纸与 CAD 图纸标注图元、尺寸标注、技术要求、标题栏与明细栏字段、零件特征,以及阵列特征的数量、位置与尺寸、折弯特征与折弯线补偿尺寸、共料、天窗与工艺孔等加工特征;对工艺卡片标注工序序列、工艺参数与工装要求,产出「图纸—特征—工序—卡片—参数」全链路对应的标注样本,支撑板材备料工艺智能设计场景 | 完全响应 | 图纸标注分版面层与特征层:版面层标注标题栏、明细栏、技术要求与视图区,特征层标注零件特征与加工特征(阵列的数量位置尺寸、折弯及补偿尺寸、共料、天窗、工艺孔)。全链路对应以零件号为主键把图纸、特征、工序、卡片、参数串起来,串不起来的记录不入集。折弯线补偿尺寸与共料是备料工艺的关键判据,按工艺编制准则逐条核对后标注;28 道备料工序的工序序列标注以工艺卡片为准 | 数据标注;板材备料工艺智能设计验证 |
| (3)制造过程域标注·热处理与焊接时序:标注工艺阶段、参数偏差与异常事件 | 完全响应 | 三层标注:工艺阶段按工序定义切段(加热、保温、冷却、淬火等),参数偏差按设置值与实测值的差值分档,异常事件按报警记录与人工确认结果标注。无确认记录的疑似异常留空不猜测 | 数据标注·制造过程域;热处理过程智能监控验证 |
| (3)续·设备运行时序:标注启停、空载、正常运输、重载、过载、堵转等运行工况,以及故障模式、劣化阶段与根因判定 | 完全响应 | 六类工况为封闭标签集,判定规则由设备与工艺人员确认后固化;故障模式取自本体的封闭集,劣化阶段按程度分档,根因判定仅在维修记录给出明确结论时标注。计划性停机不标为故障 | 数据标注·制造过程域;刮板输送装备健康智能诊断验证 |
| (3)续·焊接与热处理图像:对熔池图像与焊后焊道表面图像标注焊接缺陷类型与位置;对工件外观图像标注烧伤、裂纹等热处理外观缺陷并关联硬度指标、切片结果与淬火层深 | 完全响应 | 图像采用区域级标注(缺陷类型加位置框):焊接缺陷用十类封闭标签(热裂纹、冷裂纹、偏焊、咬边、夹渣、烧穿、未熔合、未焊透、气孔、焊瘤),热处理外观缺陷用两类(烧伤、裂纹)。图像标注同时关联硬度指标、切片结果与淬火层深,使图像判定可与理化结果互证——单靠图像判定热处理质量不成立 | 数据标注·制造过程域;产品质量数据集 |
| (3)续·产出形态:产出「时序片段—事件—诊断说明」与「图像—缺陷—判定」标注样本,支撑热处理过程智能监控、焊接过程控制智能监控与刮板输送装备健康智能诊断场景 | 完全响应 | 两类样本形态按统一 Schema 产出并与三个场景的基准集对应;诊断说明由特征值按模板与知识规则生成后经人工复核,说明中引用的阈值取自工艺规程或设备手册,不自拟数值 | 数据标注·制造过程域;数据集场景验证服务 |
| (4)须对产品质量域数据实施标注:对各环节检验记录标注检验项、判定结论与不合格类型;对工件外观缺陷图像标注缺陷类型、位置与等级;对淬火硬度、淬火区域均匀性、切片结果与质检结论标注其与加热功率、加热温度、淬火液流量、冷却时间等关键工艺参数的关联关系,产出支撑智能质量检验、缺陷自动分类与质量根因追溯的标注样本 | 完全响应 | 检验记录标注三项:检验项按标准检验项目表取值,判定结论按合格与不合格,不合格类型按缺陷码取值;缺陷图像增标等级(轻、中、重)以支撑分级处置。工艺参数与质量结果的关联标注按「同一批次同一工件」配对,配对失败的记录不强行关联。质量根因追溯的样本以关联标注为基础,追溯结论由质量人员确认后入集 | 数据标注;产品质量数据集 |
| (5)须对经营决策域数据实施标注:依据指标知识库登记的口径,对自然语言提问标注其对应的指标项、业务限定、统计维度与统计周期,并标注取数逻辑与标准答案,产出「问题—指标口径—取数逻辑—答案」标注样本,支撑决策数据智能问答场景 | 完全响应 | 标注以指标知识库为唯一口径来源,提问与指标项的映射须在知识库中有对应条目,无对应条目的提问转入指标补登流程而非凭理解标注;取数逻辑标注到可执行的粒度(取数范围、过滤条件、聚合方式),标准答案按甲方确认的报表数值校验。口径不明确的提问列清单请甲方裁定 | 数据标注;决策数据智能问答验证 |
| (6)须以知识本体定义的标签体系统一各业务域的标注口径,按自检、抽检、仲裁三级校验与跨标注员一致性校验组织作业,产出带标注规范版本、标注人员与校验结论的标注样本及其质量记录 | 完全响应 | 标签体系统一引用本体版本,不允许作业现场自行加标签;三级校验的判据分别为:自检按必填与格式,抽检按抽检比例与错误率上限,仲裁按专家裁决。跨标注员一致性按任务类型设门限,低于门限整批返工。每条样本带标注规范版本、标注人员标识与校验结论,质量记录按批次出具并进数据质量档案 | 数据标注;一致性校验标注;数据标注规范建设 |
| (7)须按用途子集组织标注产出:指令微调子集产出「指令—输入—响应」样本,人类偏好对齐子集产出同一指令下的优劣回答对,基准评测子集产出带标准答案与判分规则的评测题目 | 完全响应 | 三类形态按统一 Schema 产出:指令样本三段齐备且响应须可由输入与知识库支撑;偏好对回答须来自同一指令并给出优劣判定理由,理由是奖励模型训练质量的关键;评测题目除标准答案外必须带判分规则,无判分规则的题目不入基准集。三类产出的规模分别对应 89 万条、6.6 万组、0.95 万条 | 数据标注;数据集建设及指标 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.6 数据合成:须对长尾工况、稀缺样本与人工难以覆盖的任务形态实施合成生产,补齐四类数据集的规模与覆盖缺口 | 完全响应 | 合成的触发条件是分布分析给出的覆盖缺口,不是规模差额;每批合成任务须先有缺口清单(缺哪个类别、缺多少、为什么真实样本补不上),再开工。合成样本一律带合成标识并单独计数 | 数据合成 |
| (1)须以企业真实业务样本为种子,合成产品选型问答、合同条款审查问答、库存与排产决策问答等指令样本,补充供需计划数据集指令微调子集的任务覆盖 | 完全响应 | 三类问答各以真实样本为种子:选型问答以历史选型方案为种子并保持要素组合的真实性,合同审查问答以真实条款为种子且风险判定须与法务口径一致,库存排产问答以真实库存与订单数据为种子。合成不改变种子中的业务事实,只改变提问方式与任务形态 | 数据合成;指令数据生成 |
| (2)须基于工艺编制准则、标准工序与历史工艺卡片,合成工艺设计推理样本与工艺审查问答,并生成带完整推理过程的思维链样本,补充产品工艺设计数据集在推理类任务上的覆盖 | 完全响应 | 推理样本的每一步须可由工艺编制准则或标准工序支撑,推理链中引用的参数取自历史工艺卡片的真实取值范围;思维链样本按自生成加人机协同修订产出(见「智能工具链(三):质量与验证类」一节.2),专家修订后方可入集。工艺审查问答的判定依据写入样本的答案依据字段 | 数据合成;思维链构建;板材备料工艺智能设计验证 |
| (3)须基于领域本体与历史工单分布,合成长尾故障场景的工单描述、故障树与多轮排障对话,补齐制造过程数据集中现场发生频次低、真实样本不足的故障模式与稀缺工况 | 完全响应 | 长尾合成以本体允许的组合为边界、以历史工单分布为权重参考:真实样本充足的故障模式不合成,样本稀缺的模式按目标覆盖量合成。合成的故障场景经设备与维修专家抽样确认业务合理性后入集,确认不通过的整批调整模板后重做 | 数据合成;工单与故障场景模拟生成;刮板输送装备健康智能诊断验证 |
| (4)须基于管理制度、技术标准、招投标文件与知识库条目,合成制度问答、标准问答与标书问答样本,支撑管理制度智能问答、技术标准智能问答与标书智能问答场景 | 完全响应 | 三类问答一律基于有出处的知识条目合成,答案须给出条款或标准条目的引用位置;现行与废止状态在合成时作为过滤条件,废止条款不生成问答。问题形态覆盖查询、比较、适用性判断与追问四类,使场景验证能覆盖实际提问方式 | 数据合成;管理制度智能问答验证;技术标准智能问答验证;标书智能问答验证 |
| (5)须对合成产出执行规则校验、与真实样本的分布比对及与基准评测数据的去重比对,并按用途子集控制合成数据占比;基准评测子集不得使用任何形式的合成数据 | 完全响应 | 三道校验顺序执行:规则校验查格式与业务约束,分布比对查合成样本是否偏离真实分布,去重比对查与基准集的内容重合。合成占比按用途子集设上限并在说明卡中公布实际占比;基准评测子集严格不含合成数据,这一限制由系统在构建基准集时按合成标识强制过滤实现,不依赖人工检查 | 数据合成;数据集切分与基准构建;数据质量与分布控制 |
| (6)须产出带种子来源、合成方法、提示词版本与模型版本记录的合成样本,并登记所调用教师模型及其许可条件 | 完全响应 | 四项记录为合成样本的必填元数据;教师模型的许可条件逐项登记(是否允许用其输出训练模型、是否限定用途、是否要求署名),许可不允许的模型不用于生成入集数据。许可登记随数据集说明卡交付,是数据集可对外流通的前提之一 | 数据合成;安全合规·数据来源合法性;知识产权相关建设 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.7 数据增强:须改善四类数据集在类别、模态、来源与难度上的分布均衡性 | 完全响应 | 增强以分布报表为依据定向实施,不做全量增强;增强前后的分布对比作为增强作业的验收证据 | 数据增强 |
| (1)须按业务域、任务类型、样本长度、数据来源、模态与时间维度对各数据集开展分布统计,识别长尾类别、覆盖盲区与来源偏置,产出分布分析结论作为增强作业的依据 | 完全响应 | 六个维度逐一出统计并交叉下钻,三类问题分别输出清单:长尾类别给类别与缺口量,覆盖盲区给本体中有概念但数据集中无样本的对象,来源偏置给来源集中度过高的子集。分析结论是增强与补采任务的派发依据 | 数据增强;数据分布分析与均衡 |
| (2)须对文本样本实施同义改写、句式变换与口语化、书面化风格迁移,扩充同一业务语义的表达多样性,重点覆盖现场口语化描述与规范书面表述之间的差异 | 完全响应 | 改写按第 8.7 节的重写工具执行并受术语与事实保护约束;重点场景是现场口语与规范书面的对照——现场人员描述故障用的是口语(如「跑偏」「打滑」),而制度与标准用规范术语,两者的对照样本由同义词别名表驱动生成,使模型在实际使用中听得懂现场话 | 数据增强;文本重写与多样化;知识本体 |
| (3)须对图像与时序样本实施合理变换:对工件外观缺陷图像与焊道表面图像配置旋转、翻转、裁剪、缩放等几何变换与亮度、对比度等光照变换;对设备时序按启停、空载、正常运输、重载、过载、堵转等工况分段配置滑动窗口切分、重采样与噪声扰动,提升数据集对不同采样条件与工况的覆盖能力 | 完全响应 | 图像变换以不改变缺陷判定为前提:几何变换范围受限(避免把方向性缺陷翻转成不存在的形态),光照变换幅度按实际现场照明条件设定;变换后的标签位置同步变换并复核。时序增强按六类工况分段配置参数,噪声扰动幅度不超过传感器实际噪声水平,否则会把不存在的工况教给模型 | 数据增强 |
| (4)须针对多模态数据条数占比与近 3 年时效性数据条数占比的指标要求,定向补充相应模态与时间范围的样本,产出增强前后的分布对比结论 | 完全响应 | 两项占比指标按不低于 40% 控制:模态缺口优先以真实图像、视频与时序样本补采,时效性缺口以近 3 年数据的补采为主、增强为辅——时效性是数据产生时间的属性,靠增强无法改变原始时间,因此本项以补采为主要手段。增强前后对比结论随批次出具 | 数据增强;数据集建设及指标 |
| (5)须对增强产出执行语义一致性与标签一致性校验,产出通过校验的增强样本;校验不通过的批次整体回退,不得纳入数据集版本 | 完全响应 | 两项校验分别针对文本与标注:语义一致性按向量相似、关键信息与规则三通道判定,标签一致性检查变换后标签是否仍然成立。校验不通过按批次整体回退,不做逐条挑选——挑选会把判定成本转移到人工且难以复核 | 数据增强;数据集质检 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.8 数据集质检:须在每个加工环节后对产出批次实施质量判定,产出质检结论与整改任务 | 完全响应 | 质检不是末端一道检查,而是每个环节后的门控:环节产出未通过质检不得流入下一环节。门控结论只有通过与不通过两种,不设「有条件通过」,避免问题层层下传 | 数据集质检 |
| (1)须对采集批次检查数据源登记完整性、许可凭证有效性、入口脱敏执行情况与格式规范性,产出采集环节的门控结论 | 完全响应 | 四项逐项判定并留证:登记完整性按必填字段核对,许可凭证按有效期与范围核对,入口脱敏按抽样检测残留,格式规范按编码与结构校验。许可凭证无效或脱敏有残留的批次一律不通过,不以后续补做为条件放行 | 数据集质检;数据采集 |
| (2)须对预处理批次检查文本切分合理性、表格与公式还原完整性、时序对齐准确性与结构化文本化转换的口径一致性,产出预处理环节的门控结论 | 完全响应 | 四项各有抽检方法:切分合理性按语义完整性人工抽检,表格公式还原按与原文比对,时序对齐按同一事件在多源数据中的时间差统计,转写口径按模板与业务确认结果比对。抽检不合格率超限的批次整批重做 | 数据集质检;数据预处理 |
| (3)须对标注批次检查标签完整性、标签体系符合性、跨标注员一致性指标与黄金集通过率,产出标注环节的门控结论与低一致性样本清单 | 完全响应 | 四项判据中黄金集通过率是硬指标:黄金集由专家预先标注且对标注员不可见,标注员在黄金集上的通过率低于门限则其产出批次整批复核。低一致性样本清单进仲裁队列,仲裁结论回写标注规范示例库 | 数据集质检;数据标注 |
| (4)须对合成与增强批次检查业务合理性、与真实样本分布的偏离度、重复率与语义漂移程度,产出合成增强环节的门控结论 | 完全响应 | 四项判据分别对应四类风险:业务合理性由专家抽样判定防止生成不成立的场景,分布偏离度防止合成改变数据集特征,重复率防止同质堆砌,语义漂移防止增强改变原意。任一项超限不通过 | 数据集质检;数据合成;数据增强 |
| (5)须按《高质量数据集质量评测规范》等国家标准要求,对保真度、完备性、规整性、均衡性、可用性与可信性各维度输出可量化的质检指标结果 | 完全响应 | 六个维度逐维定义可量化指标与门限,指标口径与 3.2.8 评测指标体系对齐(见「数据资源采集接入方案」一节),使内部质检与第三方评测用同一把尺;每批次出六维得分表,趋向全部维度达标,未达门限维度列整改任务并复检直至关闭 | 数据集质检;数据集质量评测 |
| (6)须执行训练数据与基准评测数据的去重与相似度比对,产出命中样本清单与处置结果;对未通过门控的批次产出修复工单,并跟踪至复检通过 | 完全响应 | 污染比对在每次发布前执行一次,命中样本从训练侧剔除并记录处置结果;修复工单含问题类型、样本范围、责任组与期限,工单跟踪到复检通过方可关闭,未关闭工单阻断该数据集版本发布 | 数据集质检;数据集项目管理 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.9 数据集验证:须通过实际训练与评测验证四类数据集的效果,产出发布前的验证结论 | 完全响应 | 验证是训练后终验:数据集不是「加工完就算好」,而是要用实际训练与评测证明它让模型变好了。验证结论是发布前置条件,未通过不得发布 | 数据集验证 |
| (1)须以各数据集的预训练子集开展继续预训练实验,产出知识注入有效性结论,包括领域知识探针结果与保留语料困惑度变化 | 完全响应 | 按四类数据集分别做继续预训练实验并与不加该数据集的对照组比较;探针题覆盖本体中的核心对象与关系,困惑度在保留语料上计算。两项结果给数值、样本量与变化幅度,变化不显著的子集回查数据质量而不直接宣称有效 | 数据集验证;行业大模型训练推理技术服务 |
| (2)须以指令微调子集开展微调实验,产出模型在指令遵循、任务完成质量、行业问答准确性与长上下文理解等方面的评测结果 | 完全响应 | 四项能力各有评测题型与判分规则,评测在冻结基准集上执行;同时做子集消融以判断哪一业务域的指令数据对哪项能力贡献最大,结论用于下一版本的数据配比调整 | 数据集验证;数据贡献度归因 |
| (3)须以人类偏好对齐子集训练行业奖励模型并开展对齐训练,产出偏好判别准确率、回答质量改善情况与安全合规通过率结论 | 完全响应 | 三项结论逐项出数:判别准确率在保留偏好集上计算,回答质量改善以对齐前后在同一题集上的人评与自动评测双轨对比,安全合规通过率按安全题集的拒答与合规回答比例计算。出现能力回落即回退检查点并分析偏好数据的冲突样本 | 数据集验证;行业大模型训练推理技术服务 |
| (4)须以基准评测子集在固化的评测协议下对基座模型、继续预训练模型、微调模型与对齐模型执行标准化评测,产出各数据集对模型能力增量的量化结论与能力雷达图 | 完全响应 | 四个阶段在同一协议、同一冻结基准集上评测,能力增量按相邻阶段差值计算并给显著性判断;能力雷达图按能力维度展示四阶段的变化。协议、基准集版本与随机种子随报告一并记录,使结论可复现 | 数据集验证;多协议模型评测引擎 |
| (5)须在各数据集验证场景中以实际业务任务检验数据集效果,产出各场景的可用性结论;场景效果不达预期的,须定位至相应数据子集并回流修复 | 完全响应 | 11 个场景各以实际业务任务做验证,可用性结论按场景的通过判据给出(见「系统集成方案」一节);不达预期时按归因结论定位到具体数据子集与批次,定向回流修复后重新验证。场景结论与数据子集的对应关系记入验证报告,避免笼统归因 | 数据集验证;数据集场景验证服务 |
| (6)须对评测错样开展归因分析,产出脏数据、矛盾标注、覆盖盲区与难度分布缺口的结构化整改任务单,并在修复后复评,产出闭环记录 | 完全响应 | 四类问题各有判定方法与处置路径:脏数据与矛盾标注回流标注环节,覆盖盲区回流采集或合成环节,难度分布缺口回流基准构建与数据配比。任务单结构化填写并跟踪,修复后复评并记录前后指标对比,形成闭环记录 | 数据集验证;数据贡献度归因 |
| (7)须产出与数据集版本绑定的《数据集验证报告》,作为该版本数据集发布的前置条件 | 完全响应 | 验证报告与数据集版本一对一绑定,内容含四项实验结论、场景可用性结论、归因与整改闭环记录;报告未出具或结论未通过,该版本在平台中处于不可发布状态,由系统强制而非流程约定 | 数据集验证;数据集项目管理 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.3.10 数据集项目管理:须按数据集与用途子集组织生产、版本与发布,产出可交付的数据集版本及其配套档案 | 完全响应 | 管理单位是「数据集—用途子集—版本」三级,生产任务、质检记录、验证报告与发布审批全部挂在这三级上,使任一交付物都能定位到具体子集版本 | 数据集项目管理 |
| (1)须为四类数据集分别建立数据集项目,并在项目下按预训练、有监督指令微调、人类偏好对齐、基准评测四个用途子集分别建立生产任务 | 完全响应 | 四个项目乘四个子集共十六个生产任务,各任务独立排期、独立验收、独立计量规模;任务间的依赖关系(如基准集构建依赖标注完成)在计划中显式声明,避免并行冲突 | 数据集项目管理 |
| (2)须按版本组织数据集产出,每一正式发布版本须产出数据集内容、数据集卡片、版本指纹、质检报告与验证报告 | 完全响应 | 五项交付物齐备方可发布:数据集卡片按说明卡模板填写(规模、模态、来源、许可、局限性等),版本指纹用于校验内容一致性,质检与验证报告与该版本绑定。缺任一项的版本在平台中不可发布 | 数据集项目管理;数据集质检;数据集验证 |
| (3)须产出数据集的数据字典与自描述封装文件,实现原始数据、元数据与数据字典的绑定封装,确保数据集在脱离平台后仍能被第三方平台准确解析 | 完全响应 | 封装采用自描述结构:一个数据集包内含数据文件、元数据文件与数据字典,字典说明字段含义、类型、取值与单位,元数据说明来源、加工链路与许可。第三方解析的可行性以实际验证为准——交付前在独立环境中按字典解析一遍并记录结果 | 数据集项目管理;数据标准规划 |
| (4)须依据质检工单与验证归因结论产出下一版本的修订计划,明确需补采、重标、重新合成或重新增强的具体子集与样本范围 | 完全响应 | 修订计划按四类动作分列任务,每项注明子集、样本范围、预计工量与完成节点;计划来源只有两处(质检工单与验证归因),不接受无依据的修订要求,避免版本反复 | 数据集项目管理 |
| (5)须产出数据集资产台账,记录各版本的样本规模、模态构成、时效性占比、许可状态与使用情况 | 完全响应 | 台账按版本逐行登记五类信息并按月更新;许可状态与使用情况两项直接支撑对外流通的合规判断,台账与运营平台的资产目录同源,不另维护一份 | 数据集项目管理;数据资产规划 |
| (6)须完成数据集向数据集运营服务管理平台的移交与登记,支撑其后续的挂牌展示、对外发布与接入国家数据基础设施 | 完全响应 | 移交以接口自动完成:数据集版本通过验证后按元数据规范推送至运营平台并进入上架审批,元数据字段与国家数据基础设施的目录要求对齐,减少二次整理。移交记录进血缘,挂牌与对外发布在运营平台侧继续流转 | 数据集项目管理;数据集运营服务管理平台;接入国家数据基础设施 |
四类数据集的规模与招标文件逐表一致,各项均按表列数值交付;四表合计即 615 亿 Token、89 万条、6.6 万组、0.95 万条,与项目目标层的下限(≥600 亿、≥80 万、≥6 万组、≥0.9 万)一致且高于下限。
| 数据集 | 预训练(亿 Token) | 指令微调(万条) | 偏好数据(万组) | 基准测试(万条) |
|---|---|---|---|---|
| 供需计划 | 276 | 40 | 3.2 | 0.4 |
| 产品工艺设计 | 70 | 10 | 0.8 | 0.1 |
| 制造过程 | 105 | 15 | 1 | 0.2 |
| 产品质量 | 164 | 24 | 1.6 | 0.25 |
| **合计** | **615** | **89** | **6.6** | **0.95** |
表 14-1 四类数据集规模汇总。数据来源:招标文件表格 3-1 至 3-4(各表)。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.4 数据集建设及指标要求:须生成供需计划、产品工艺设计、制造过程、产品质量四大数据集,形成多源汇聚、标准统一、时效性强、模态丰富的行业数据资源池 | 完全响应 | 四类数据集按表列规模交付。四项特征各有落点:多源汇聚靠 17 类源系统接入,标准统一靠数据标准与知识本体的统一口径,时效性靠近 3 年数据条数占比不低于 40% 的采集约束,模态丰富靠时序、图像、文本、视频四模态与不低于 40% 的多模态条数占比 | 数据集建设及指标 |
| 3.2.6.4.1 供需计划数据集:须面向「以销定产、以产定采」供需协同主线,聚焦产品智能选型、库存计划优化等场景,整合销售、合同、订单、客户、产品、库存、采购、排产等全链路业务数据与历史经验文档,构建覆盖「需求识别—方案匹配—合同合规—产销协同—资源调度」全流程的高质量数据集;须将沉淀于各业务系统、历史方案与专家头脑中的经验显性化、结构化,支撑「人工智能+供需计划」全流程智能决策 | 完全响应 | 八类业务数据按第 13.1 节的供需计划域采集清单取数,历史经验文档(历史选型方案、合同模板与评审意见)经解析与标注后形成显性知识。五个流程阶段各有对应样本:需求识别样本来自客户需求与工况参数,方案匹配样本来自选型要素与选型结果的对应关系,合同合规样本来自条款与风险判定标注,产销协同与资源调度样本来自订单、库存与排产数据的决策标签。专家经验的显性化以专家出题与评审两种方式实现,不以访谈记录直接入集 | 数据集建设及指标·供需计划;数据采集;数据标注 |
| 表格 3-1 供需计划数据集数据规模要求(表题) | 引用 | 按原表口径应答,数值见下四行 | 第 14 节 |
| 表头:供需计划数据集、数据集规模 | 引用 | 按原表两列口径应答 | 第 14 节 |
| 预训练数据集 276 亿 Token | 完全响应 | 按 276 亿 Token 交付,Token 统计口径在数据集卡片中标明分词器与版本;来源构成按内部语料与外部语料分列并公布占比 | 数据集建设及指标·供需计划 |
| 指令微调数据集 40 万条 | 完全响应 | 按 40 万条交付,按任务类型与难度分层统计;合成占比按用途子集上限控制并公布 | 数据集建设及指标·供需计划 |
| 强化学习偏好数据 3.2 万组 | 完全响应 | 按 3.2 万组交付,每组含同一指令下的优劣回答与优劣判定理由,冲突组经专家裁决 | 数据集建设及指标·供需计划 |
| 基准测试数据集 0.4 万条 | 完全响应 | 按 0.4 万条交付,题目带标准答案与判分规则,冻结管理并严格不含合成数据 | 数据集建设及指标·供需计划;数据集切分与基准构建 |
| 3.2.6.4.2 产品工艺设计数据集:须面向研发设计与工艺设计核心业务,聚焦板材备料工艺设计等场景,整合二维图纸、工艺卡片、标准工序、机械制图专业知识等多模态资源,构建覆盖「图纸识别—特征提取—工序设计—工艺卡片生成—审查校核—排料优化」全流程的高质量数据集;须沉淀「图纸—特征—工序—卡片—参数」全链路工艺知识 | 完全响应 | 四类资源按第 13.1 节的产品工艺设计域采集清单取数,63 万张历史工艺样本在本数据集中加工。六个流程阶段各有样本形态:图纸识别与特征提取样本来自图纸的版面与特征标注,工序设计与卡片生成样本来自「特征—工序—参数」的对应标注,审查校核样本来自工艺审查意见与规则判定,排料优化样本来自共料与天窗等加工特征的实际处理记录。全链路以零件号为主键串联,串不通的记录不入集 | 数据集建设及指标·产品工艺设计;数据标注 |
| 表格 3-2 产品工艺设计数据集数据规模要求(表题) | 引用 | 按原表口径应答 | 第 14 节 |
| 表头:产品工艺设计数据集、数据集规模 | 引用 | 按原表两列口径应答 | 第 14 节 |
| 预训练数据集 70 亿 Token | 完全响应 | 按 70 亿 Token 交付;图纸与卡片类资料经结构化解析后计入文本 Token,图像本体按多模态条数单独计量,两者不混计 | 数据集建设及指标·产品工艺设计 |
| 指令微调数据集 10 万条 | 完全响应 | 按 10 万条交付,任务类型覆盖图纸要素抽取、工序推荐、工艺审查与参数校核 | 数据集建设及指标·产品工艺设计 |
| 强化学习偏好数据 0.8 万组 | 完全响应 | 按 0.8 万组交付,优劣判定以工艺编制准则为依据而非主观偏好 | 数据集建设及指标·产品工艺设计 |
| 基准测试数据集 0.1 万条 | 完全响应 | 按 0.1 万条交付,题目覆盖图纸解读与工序设计两类能力,判分规则含关键要素匹配与参数容差 | 数据集建设及指标·产品工艺设计 |
| 3.2.6.4.3 制造过程数据集:须面向生产制造核心环节,聚焦热处理过程控制、焊接过程控制、刮板运输装备智能健康诊断等场景,整合热处理、焊接、关键设备运行的多模态过程数据与运维知识,构建覆盖「过程感知—参数控制—缺陷识别—健康诊断—预测性维护」全流程的高质量数据集;须沉淀热处理参数-外观缺陷、焊接参数—质量缺陷、设备运行—故障根因三类映射关系 | 完全响应 | 三类映射关系是本数据集的核心产出,各自的样本构造方式不同:热处理映射以炉次为单位配对设置与实测参数、外观缺陷与硬度结果;焊接映射以焊接作业为单位配对预设与实时参数、熔池与焊道图像、检验结论;设备运行映射以故障事件为锚配对征兆时序、工况标注与维修记录中的根因。五个流程阶段的样本按这三类映射衍生,不另立体系 | 数据集建设及指标·制造过程;传感器时序与运维事件对齐 |
| 表格 3-3 制造过程数据集数据规模要求(表题) | 引用 | 按原表口径应答 | 第 14 节 |
| 表头:制造过程数据集、数据集规模 | 引用 | 按原表两列口径应答 | 第 14 节 |
| 预训练数据集 105 亿 Token | 完全响应 | 按 105 亿 Token 交付;时序数据经文本化转写后计入 Token,转写模板与参数随批次登记,原始时序另按时序条数计量 | 数据集建设及指标·制造过程 |
| 指令微调数据集 15 万条 | 完全响应 | 按 15 万条交付,任务类型覆盖工况判定、参数偏差分析、缺陷识别与诊断建议 | 数据集建设及指标·制造过程 |
| 强化学习偏好数据 1 万组 | 完全响应 | 按 1 万组交付,诊断类偏好对的优劣判定以维修记录的实际处置结果为依据 | 数据集建设及指标·制造过程 |
| 基准测试数据集 0.2 万条 | 完全响应 | 按 0.2 万条交付,含时序诊断与图像判定两类多模态题目,判分规则含定位准确性 | 数据集建设及指标·制造过程 |
| 3.2.6.4.4 产品质量数据集:须面向全流程质量管控核心业务,以产品质量检验为主线,融合焊接缺陷图像等关键质量数据,构建覆盖「原材料检验—过程质量—成品质检—质量追溯」全流程的高质量数据集;须沉淀「工艺-过程-质量结果」全链路映射关系 | 完全响应 | 四个阶段的检验数据按统一检验项与缺陷码归一后串成质量链,再与工艺参数、过程数据配对形成全链路映射。映射的可信度取决于配对键的准确性,因此批次号与零件号的归一在本数据集中作为前置工作完成。缺陷图像按缺陷类型与等级分层,稀缺类型按定向补采与增强补齐并公布合成与增强占比 | 数据集建设及指标·产品质量;数据标注 |
| 表格 3-4 产品质量数据集数据规模要求(表题) | 引用 | 按原表口径应答 | 第 14 节 |
| 表头:产品质量数据集、数据集规模 | 引用 | 按原表两列口径应答 | 第 14 节 |
| 预训练数据集 164 亿 Token | 完全响应 | 按 164 亿 Token 交付;质量报告、产品质量档案与质量知识类文本为主要来源,检验记录经转写后计入 | 数据集建设及指标·产品质量 |
| 指令微调数据集 24 万条 | 完全响应 | 按 24 万条交付,任务类型覆盖检验判定、缺陷分类、不合格原因分析与质量追溯 | 数据集建设及指标·产品质量 |
| 强化学习偏好数据 1.6 万组 | 完全响应 | 按 1.6 万组交付,优劣判定以检验标准与质量人员确认结论为依据 | 数据集建设及指标·产品质量 |
| 基准测试数据集 0.25 万条 | 完全响应 | 按 0.25 万条交付,含缺陷识别与根因判断两类题目,图像题判分含类别与位置双重判定 | 数据集建设及指标·产品质量 |
| 3.2.6.4.5 数据集其它指标要求、表格 3-5(标题与表题) | 引用 | 三项指标逐项应答见下 | 数据集建设及指标·其它指标 |
| 表头:序号、指标项、指标要求 | 引用 | 按原表三列口径应答 | 第 14 节 |
| 1 数据模态不低于 3 种 | 正偏离 | 按四种模态交付:时序(设备与工艺参数)、图像(图纸、熔池、焊道、缺陷)、文本(制度、标准、工单、报告)、视频(作业与巡检录像),高于不低于 3 种的要求。各模态的条数与占比在数据集卡片中分列 | 数据集建设及指标·其它指标 |
| 2 多模态数据条数占比不低于 40% | 完全响应 | 按不低于 40% 控制并逐批出占比报表;计量口径为多模态样本条数占数据集总条数之比,口径在卡片中写明。占比不足时按缺口清单定向补采图像、视频与时序样本,补采不足部分以合规增强补充并单独标注,避免以改写文本充数 | 数据集建设及指标·其它指标;数据增强 |
| 3 3 年内数据条数占比不低于 40% | 完全响应 | 按不低于 40% 控制;统计基准为数据的业务发生时间而非入库时间,口径在卡片中写明。本项主要靠采集时间窗约束达成——源系统取数优先取近 3 年区间,历史数据按需补足规模;增强不改变原始发生时间,故不计入本项达成手段 | 数据集建设及指标·其它指标;数据采集 |
本节关键承诺:四大数据集的规模指标按招标文件的下限承诺并按业务域分解到位,分解结果与逐数据集规模表一致。Token 与条目的计数规则在数据集卡片中写明,使任一规模数字可按同一规则复算;规模达成以可核验的产出清单为证据,不以估算值报达成。
本节关键承诺:本包承担场景验证服务,不承担智能场景的建设实施,这一责任边界在本节逐条应答中保持一致。验证结论分「达到判据/未达到判据/不具备验证条件」三类如实出具,其中第三类给出原因与建议,不以调整判据的方式使结论变为达标。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5 数据集场景验证服务要求:本项目不负责智能场景的建设,只负责场景验证服务 | 完全响应 | 我方按此界定组织工作:交付的是验证方案、验证所需数据、验证执行与验证报告,不承担场景应用系统的开发与上线。每个场景的验证按四件事定义清楚——验证什么能力、用什么数据验、怎么判通过、不通过怎么办。场景系统由主项建设,我方提供接口配合与数据支撑,责任分界在各场景的验证方案中以接口清单与配合事项列明 | 数据集场景验证服务·责任边界 |
| 3.2.6.5.1 专业场景验证服务(标题) | 引用 | 正文按六个专业场景分节,每节含验证目标、所需数据、验证流程、指标与通过判据 | 六个专业场景验证方案 |
六个专业场景与五个通用场景的验证一律按同一套方法执行,方法在此统一说明,各场景不重复:验证前先用该场景的基准集跑一次基线,记录模型在补数前的表现;补入本场景数据后重跑同一基准集,比较指标变化并作显著性判断;指标达到通过判据则出具该场景可用性结论,未达到则按归因结论定位数据子集并回流修复后重验。基准集冻结、协议固化与随机种子固定三项保证两次测量可比。
图 15-1 场景验证的通用方法与回流路径。数据来源:招标文件 –「数据集验证要求」与 3.2.6.5 各场景验证要求。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.1.1 产品智能选型、3.2.6.5.1.1.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 产品智能选型验证 |
| 场景面向刮板输送机、转载机、破碎机、带式输送机用自移机尾、转载机自移系统;矿方提供矿井产量、采高、工作面长度、倾角、配套设备等参数后,当前依靠工程师手工计算、经验调整、文档编撰完成选型;痛点为高度依赖专家经验、知识传承困难、理论计算与实际选型存在断层、历史数据价值未充分挖掘缺乏闭环优化、定制化比例偏高增加交付成本与周期 | 引用 | 我方对该场景的理解以本条痛点为起点:选型的难点不在算不出来,而在理论计算结果与实际成交方案之间有一段靠经验补的差距。因此数据集建设的重点是把这段差距显性化——历史选型方案中「计算值」与「最终选定值」的差异及其调整理由,是本场景最有价值的标注内容 | 产品智能选型验证·场景理解 |
| 本场景以客户需求输入—参数智能解析—参数计算—选型方案推荐—选型结果生成为主线,基于产品设计数据、产品参数组配、选型规则、历史案例和专家经验构建高质量选型数据集,通过大模型、公式引擎与规则引擎联合实现需求结构化、参数自动计算、方案自动匹配推荐、报告生成;实现选型效率提升、方案标准化优先降低定制化率、经验知识固化 | 完全响应 | 五个主线环节各有数据支撑:需求解析靠需求要素标注样本,参数计算靠公式与规则的知识条目,方案推荐靠「要素组合—选型结果」对应关系,报告生成靠历史规格书的结构化模板。我方提供这四类数据与相应基准集,并执行验证;公式引擎与规则引擎属场景系统组成部分,由主项建设,我方提供其所需的规则与参数知识条目及接口配合 | 产品智能选型验证;数据集建设及指标·供需计划 |
| 3.2.6.5.1.1.2 验证要求:须提供产品智能选型全流程验证能力,包括但不限于 | 完全响应 | 三项验证逐项给验证方法、所需数据与通过判据,见下 | 产品智能选型验证 |
| (1)须验证需求智能解析能力,支持通过结构化表单、参数模板、附件上传等方式采集客户需求、工况参数和技术要求,支持自动识别输送能力、输送距离、倾角、煤层厚度、工作面条件、配套设备、可靠性要求、特殊定制要求等选型关键要素,支持缺失信息提醒与数据校验 | 完全响应 | 验证用例按三种输入方式各备一组:表单输入验字段校验与必填提醒,参数模板验模板解析,附件上传验从招标文件与技术要求文档中抽取八项关键要素。判据为八项要素的抽取正确率与缺失提醒的召回情况达到约定门限,门限按要素分别设定(数值型要素从严、描述型要素从宽)。所需数据为历史需求文档与其要素标注样本 | 产品智能选型验证;数据标注·供需计划域 |
| (2)须验证参数智能计算能力,支持根据公式引擎和规则引擎自动计算与验算输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数等关键参数 | 完全响应 | 验证以历史案例回算方式执行:取历史选型案例的输入参数,由场景系统计算后与历史记录的计算值比对,判据为五项关键参数的计算结果落在约定容差内。公式与规则的权威版本须由工艺与研发部门确认,公式口径不一致是回算偏差的主要来源;配合事项:五项关键参数的计算公式与适用条件确认 | 产品智能选型验证;知识库 |
| (3)须验证选型智能推荐及方案自动生成能力,支持依据客户工况参数、个性化需求、选型知识库自动推荐并生成选型方案规格书、报价配置清单;规格书包含推荐产品及配置、主要技术参数、规则校验结果;支持在线编辑、补充和确认,并对修改内容保留版本记录和操作留痕 | 完全响应 | 验证分推荐与生成两段:推荐段以历史案例做留出验证,判据为推荐方案与历史成交方案在主机机型与关键配置上的一致比例达到门限,不一致案例逐例分析原因并计入归因;生成段验规格书三项内容的完整性与报价清单的项目齐备性。在线编辑、版本记录与操作留痕属场景系统功能,我方在验证中核验其留痕是否完整可追溯,并以留痕数据作为后续数据回流的素材 | 产品智能选型验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.1.2 板材备料工艺智能设计、3.2.6.5.1.2.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 板材备料工艺智能设计验证 |
| 结构件是矿山装备主体骨架,板材备料作为结构件制造首道工序,其工艺设计质量直接影响后续生产效率与产品稳定性;当前板材备料工艺设计主要采用「人工识别图纸+经验设计工艺+手工填写卡片」的传统模式 | 引用 | 我方对本场景的理解:传统模式的瓶颈在图纸到工艺的转换环节,这一环节的知识存在于工艺人员识图与套工序的经验中。28 道备料工序与 63 万张历史工艺样本是把这段经验显性化的素材基础,数据加工的落点就是让「图纸特征」与「工序参数」之间的对应关系可被检索与复用 | 板材备料工艺智能设计验证·场景理解 |
| 本场景以「图纸输入—工艺卡片输出」为核心目标,构建端到端的智能工艺设计流程:设计师上传图纸后系统自动解析图纸元素(形状、尺寸、材料、公差、技术要求等),提取关键特征后驱动工序推荐引擎匹配最优工序方案,自动生成结构化工艺卡片及工序附图,所生成数据返回 PLM 系统,经工艺工程师人工审核确认后下发生产车间 | 完全响应 | 我方提供该流程所需的四类数据与基准集:图纸要素标注样本、加工特征标注样本、「特征—工序—参数」对应样本、历史工艺卡片结构样本。流程中的工序推荐引擎与 PLM 回写由主项建设,我方配合接口定义并以回写记录作为验证证据。人工审核环节保留——本场景的设计是「系统生成、工艺工程师确认后下发」,审核不被取消 | 板材备料工艺智能设计验证;数据集建设及指标·产品工艺设计 |
| 3.2.6.5.1.2.2 验证要求(1)须提供板材备料工艺智能设计验证能力,包括但不限于:接收并解析 PLM 任务及图纸数据、自动生成工艺卡片、生成工序附图、实现工艺变更自动修订、工艺规则库及设备台账维护、应急工艺通道等 | 完全响应 | 六项能力逐项设验证用例:PLM 任务与图纸接收验接口连通与批量解析,卡片与附图生成验内容项齐备,工艺变更自动修订验变更触发后的卡片修订正确性与版本留痕,规则库与设备台账维护验维护操作的生效范围,应急工艺通道验在自动流程不可用时的人工处置路径是否通畅。应急通道是本场景的回退机制:系统不可用或识别未通过时转人工编制,不影响生产下发。PLM 侧接口需甲方开放;配合事项:PLM 任务接口与回写接口文档 | 板材备料工艺智能设计验证;系统集成方案 |
| (2)须验证工艺图纸识别能力,支持批量识别 DWG/DXF、STP/STEP 格式的图纸,并支持工艺卡片及工序附图的 PDF 导出及打印 | 完全响应 | 四种格式各备验证用例,批量识别按批次吞吐与成功率两项指标考核;导出与打印验 PDF 版式、字体与图形完整性(导出环境无专用字体时的字形替换问题单独验证)。三维格式(STP/STEP)的识别以特征抽取为目标,不做完整三维重建 | 板材备料工艺智能设计验证;设备图纸与工艺图结构化抽取 |
| (3)须验证图纸元素解析能力,支持形状、尺寸、材料、公差、技术要求等关键特征的提取,支持解析后图纸根据要素或图层信息在线预览展示 | 完全响应 | 五类关键特征的提取正确率按抽检统计并分类列示,数值型特征(尺寸、公差)的判据为与图纸标注完全一致,描述型特征(技术要求)的判据为关键信息不缺失。在线预览按要素与图层两种维度高亮展示,便于工艺人员核对解析结果,核对意见作为数据回流的素材 | 板材备料工艺智能设计验证 |
| (4)需验证工艺卡片及工序附图内容准确率,支持通过全部识别通过后智能生成的工艺卡片及工序附图 100% 准确率 | 完全响应 | 本项按招标文件设定的前置条件执行验证:以「图纸要素全部识别通过」为前置,在该前置条件成立的样本范围内,生成的工艺卡片与工序附图准确率按趋向完全准确组织验证与整改。具体口径为——首轮验证给出实测准确率作为基线,对未通过样本逐例归因(识别偏差、规则缺失、卡片模板不匹配三类)并整改复测,逐步接近完全准确;验收以实测准确率与整改闭环记录共同判定。前置条件不成立(存在要素未识别通过)的图纸不进入自动生成,改走人工编制的应急工艺通道,并保留工艺工程师审核确认环节作为最终把关。此处为招标文件的绝对指标条款,我方以「前置条件+基线+整改闭环+人工审核兜底」的口径响应,不以任何条件回避该条要求 | 板材备料工艺智能设计验证;数据集验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.1.3 库存控制智能化、3.2.6.5.1.3.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 库存控制智能化验证 |
| 矿山装备行业采用 ETO 定制化项目生产为主、备件备货生产为辅的经营模式,全链路库存管理具有高复杂性:1)物料 BOM 组成结构复杂,单品生命周期多依赖项目周期,除大宗材料外通用性较低,各类物料计划和库存管控逻辑各不相同;2)供应网络分布广,多制造厂区并存、国内及海外采购,各主体协同难度高;3)工艺路线长、生产周期和材料采购周期长,受需求波动与制造扰动影响大 | 引用 | 我方对本场景的理解:三项特征决定了库存不能用单一模型管——按项目走的定制物料与按消耗走的通用物料,其预测逻辑根本不同。因此数据集按物料品类分层组织,预测与评级的样本也按品类分别构造,这是本场景能否得出可用结论的前提 | 库存控制智能化验证·场景理解 |
| 依赖传统手段做库存管控已遇瓶颈,如物料预测和备货逻辑拆解缺乏科学依据、库存金额管控与供需计划流、库存实物流管控脱节等问题无法得到结构性根治 | 引用 | 本条点出的「两流脱节」在数据层面表现为金额口径与实物口径不同源。我方在数据加工中按双口径建模:同一库存对象同时登记实物口径(数量、库龄、库位)与金额口径(占用资金、价格基准),两口径以同一物料批次为键关联,使金额变化可追到实物变化 | 库存控制智能化验证;数据标准规划 |
| 本场景基于对库存运作相关数据的获取和科学利用,构建库存领域对象知识本体,支持大模型、机器学习模型、双口径指标计算模型运作,实现库存控制智能化系统构建,支撑库存调控决策与优化,改善整体库存结构、压降库存资金占用、提升整体周转效率 | 完全响应 | 我方交付库存领域对象知识本体(纳入统一知识本体的库存子域)、双口径指标的口径定义与计算逻辑知识条目,以及预测与评级所需的标注样本和基准集。三类模型的建设与运行属场景系统范围,我方提供数据与验证,并以历史数据做留出验证给出可用性结论 | 库存控制智能化验证;知识本体 |
| 3.2.6.5.1.3.2 验证要求:须提供库存结构智能测算、物料需求智能预测等验证,包括但不限于 | 完全响应 | 五项验证逐项给方法与判据,见下;验证一律用历史数据做留出验证(以某一时点之前的数据预测之后的实际发生),不用同期数据自证 | 库存控制智能化验证 |
| (1)搭建标准化、可配置的库存管控指标体系:基于销售合同、施工令号、生产批次、客户、供应商等数据,实现库存指标差距多维度穿透,支撑常态化事后复盘,精准溯源超龄库存、慢速滞留库存成因 | 完全响应 | 指标体系按双口径建立并可配置维度;五个穿透维度(合同、施工令号、批次、客户、供应商)作为必备下钻路径。验证方法为取历史超龄与滞留库存案例,核验系统能否沿穿透路径定位到成因环节,判据为可溯源案例比例与溯源结论与人工复盘结论的一致性。指标口径须由甲方财务与供应链部门确认;配合事项:库存管控指标口径与超龄、滞留的判定阈值 | 库存控制智能化验证;数据标准规划 |
| (2)须支持多品类库存智能评级与健康诊断,适配定制生产、备货生产混合业务模式,搭建专业化、可配置的库存智能健康评价模型;结合市场价格波动、物资采购周期、生产制程特点、物料耗用规律,智能生成各品类合理库存水位、标准库龄阈值及最优结构配比 | 完全响应 | 评级按品类分层执行,四项输入因素各对应数据项:价格波动取采购价格历史,采购周期取 SCM 履约记录,制程特点取工艺路线与生产周期,耗用规律取出库流水。验证判据为模型给出的水位与库龄阈值在历史区间上的合理性检验(按该阈值回放历史是否既不缺料也不积压),以及与业务人员经验值的差异解释。市场价格数据如需外部来源,按外部数据引入流程核验授权;配合事项:外部价格数据来源与授权 | 库存控制智能化验证;数据应用流通规划 |
| (3)支持全周期库存态势智能预判与风险预警:整合期初库存、在途库存、订单计划、生产计划、发货计划等数据,智能推演未来周期库存水位、资金占用及结构变化趋势;提前识别超储积压、物料缺货、库存滞留、结构劣化等潜在风险,实现从事后整改向前置预判升级 | 完全响应 | 五类数据按同一时间轴对齐后推演,推演结果按周期给出水位、资金占用与结构三条曲线;四类风险各定预警规则与提前期。验证以历史留出方式执行:在历史某时点推演后续周期,与实际发生比对,判据为水位推演的误差范围与四类风险的提前识别比例。误报与漏报分别统计,不以单一准确率概括 | 库存控制智能化验证 |
| (4)支持物料需求预测:对大宗金属材料、标准件、定制异形件、通用制品等差异化物料品类构建专属预测模型,适配按单定制生产、备货式生产业务场景;基于历史业务数据精准预判未来周期物料需求量、消耗趋势及波动 | 完全响应 | 四类物料各建专属样本集与基准集:大宗金属材料以消耗量时序为主,标准件以耗用规律加 BOM 展开为主,定制异形件以订单与 BOM 驱动为主(不做无订单的趋势外推),通用制品介于两者之间。验证按品类分别给预测误差指标与误差分布,判据按品类分别设定——定制件的判据以订单覆盖率而非误差率为主,因其需求本质上由订单决定 | 库存控制智能化验证;数据集建设及指标·供需计划 |
| (5)安全库存动态智能测算与智能补给调度:构建动态适配的安全库存管控模型替代传统固定阈值管控;支持识别跨分厂闲置物料余量,输出智能调拨优化策略,压降重复采购与库存资金积压 | 完全响应 | 动态安全库存按需求波动、采购周期波动与服务水平目标三项输入计算,输出随输入变化而更新;跨分厂闲置识别须打通各厂区库存数据,识别结果按可调拨性(规格匹配、状态良好、无专用占用)过滤后生成调拨建议。验证判据为调拨建议的可执行比例(经供应链人员确认)与按建议回放历史可节省的重复采购量。多厂区库存数据的开放范围需甲方确认;配合事项:各厂区库存数据开放范围与调拨规则 | 库存控制智能化验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.1.4 热处理过程智能监控、3.2.6.5.1.4.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 热处理过程智能监控验证 |
| 热处理是提升关键零部件强度、硬度、耐磨性的核心工序,主要包括调质、退火、正火、回火等工艺,依赖淬火温度、冷却温度、保温时间等参数控制;当前依靠人工设定工艺、事后切片检测,存在工艺依赖经验、过程不可视、缺陷难以追溯等问题 | 引用 | 我方对本场景的理解:事后切片检测意味着质量结论滞后于生产,一炉出了问题整炉已经完成。数据加工的落点是把「过程参数」与「切片与硬度结果」配成样本,使质量结论可以从过程参数提前推断——这也决定了采集时必须成对取设置值与实测值 | 热处理过程智能监控验证·场景理解 |
| 本场景通过采集淬火温度、冷却温度、质量检验结果等数据构建热处理高质量数据集,实现热处理过程智能工艺参数优化、工艺智能匹配、质量智能分析,提升产品质量一致性、降低不良率、节约能耗 | 完全响应 | 我方交付三类数据与基准集:炉次级的参数时序样本、参数与质量结果的配对样本、历史工艺方案的检索样本。三项能力的验证分别对应三类数据,验证结论以指标改善幅度与可解释性两方面给出,不以单点准确率概括 | 热处理过程智能监控验证;数据集建设及指标·制造过程 |
| 3.2.6.5.1.4.2 验证要求:须提供热处理过程智能控制验证能力,包括但不限于 | 完全响应 | 三项验证逐项给方法与判据,见下 | 热处理过程智能监控验证 |
| (1)须验证工艺参数智能匹配能力,支持结合目标链轮特征实现历史工艺智能检索、择优匹配推荐 | 完全响应 | 验证以历史回溯方式执行:给定链轮特征(材质、规格、硬度要求),检索历史工艺并与该零件实际采用的工艺比对,判据为推荐工艺与实际采用工艺的一致比例,以及不一致案例中推荐工艺是否仍满足硬度要求(由工艺人员判定)。所需数据为链轮特征与历史工艺方案的对应标注样本 | 热处理过程智能监控验证;知识库 |
| (2)须验证工艺参数优化能力,支持依托生产过程积累的工艺与质量历史数据,工艺参数区间智能寻优分析 | 完全响应 | 寻优以历史数据中的「参数—质量」配对样本为依据,输出各关键参数的推荐区间及其对应的合格率水平;验证判据为推荐区间在历史数据上的回放合格率不低于实际采用参数的合格率,且区间不超出工艺规程允许范围。超出规程的寻优结果一律不采纳,规程是硬边界 | 热处理过程智能监控验证 |
| (3)须验证链轮、齿轨、刮板感应淬火及调质生产线质量智能分析能力:针对链轮热处理后烧伤、裂纹等外观缺陷及硬度指标,开展外观缺陷、硬度异常与加热功率、加热温度、淬火液温度等关键工艺参数的关联性分析,明晰参数波动与质量问题的内在联系,实现热处理缺陷溯源,为工艺调整与质量改进提供依据 | 完全响应 | 关联分析按三类工件(链轮、齿轨、刮板)与两条线(感应淬火、调质)分别建样本;分析输出为参数波动区间与缺陷发生率的对应关系,并给出统计显著性判断,不以个别案例下结论。缺陷溯源的验证方法为取已知成因的历史缺陷案例做盲测,判据为溯源结论与实际成因的一致比例。烧伤与裂纹两类外观缺陷的历史样本量若不足以支撑显著性判断,按定向补采与分层增强补齐并在报告中标明样本量;配合事项:三类工件的历史缺陷案例存量与成因记录完整度 | 热处理过程智能监控验证;数据标注·制造过程域 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.1.5 焊接过程控制智能监控、3.2.6.5.1.5.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 焊接过程控制智能监控验证 |
| 焊接是刮板运输机、减速机、机架等核心装备制造的关键成型工艺,焊接质量直接决定设备强度与使用寿命;现有 15 台焊接机器人已通过 SCADA 系统采集电流、电压、温度、速度等过程参数,但当前数据利用仅停留在参数记录和简单阈值报警层面 | 引用 | 我方对本场景的理解:参数已经在采了,问题是没有与质量结论配对,因此阈值只能设得很宽。本场景数据加工的落点就是补上「参数—视觉—检验结论」三者的配对,使阈值可以从统计关系中得出而不是凭经验设定 | 焊接过程控制智能监控验证·场景理解 |
| 本场景以「多源数据融合+视觉 AI 检测」为核心,构建焊接过程全链路智能控制闭环:实时采集电流、电压、焊接速度等时序参数,同步通过视觉相机监测熔池状态并对焊缝图像进行缺陷检测;质量评估须综合时序与视觉数据判断是否触发预警并决策是否干预参数;工艺参数优化须基于历史数据挖掘最优参数组合,为不同工况(焊道类型、板厚、材质)提供参数推荐;质量追溯须将参数、视觉数据与检测结果一一关联,支持全程可溯源,形成「采集—监测—评估—优化—追溯」完整体系 | 完全响应 | 五个环节所需数据由我方加工交付:时序参数样本、熔池与焊道图像样本(含十类缺陷标注)、参数与检验结论配对样本、工况分组的参数优化样本,以及贯穿五环节的追溯关联记录。视觉模型与控制闭环的建设属场景系统范围,我方提供数据、基准集与验证服务 | 焊接过程控制智能监控验证;数据集建设及指标·制造过程 |
| 3.2.6.5.1.5.2 验证要求:须提供焊接过程智能控制验证能力,包括但不限于 | 完全响应 | 六项验证逐项给方法与判据,见下 | 焊接过程控制智能监控验证 |
| (1)须验证实时数据采集能力,支持采集机器人焊接的主要过程参数(电流、电压、预热温度、层间温度、焊接速度、送丝速度)、气体流量、焊道类型(打底/填充/盖面)等时序数据 | 完全响应 | 八类数据项逐项核验采集到位情况:六项过程参数与气体流量按测点清单验证采样率与完整率,焊道类型按作业记录或程序号映射获得(该项通常不在 SCADA 测点中,须从机器人程序或工艺卡片关联)。判据为各数据项的采集完整率与时钟一致性达到约定门限;配合事项:焊道类型的来源字段与映射规则确认 | 焊接过程控制智能监控验证;数据采集·制造过程域 |
| (2)须验证过程状态检测能力,支持视觉 AI 模型结合熔池实时视频、焊缝表面图像及各类缺陷样本(气孔、裂纹、咬边、余高、弧坑、焊脚偏差等)进行缺陷检测 | 完全响应 | 缺陷样本按封闭标签集标注并按类型分层,少见类型按分层增强补齐;验证在冻结的图像基准集上执行,判据按缺陷类型分别给出检出情况与误报情况,不以总体准确率概括——不同缺陷的检出难度差别很大,合并统计会掩盖短板。熔池视频按关键帧抽取后参与验证 | 焊接过程控制智能监控验证;视频-文本对齐 |
| (3)须验证焊接质量评估能力,支持结合时序数据与视觉数据,判断是否触发预警并决策是否干预调整参数 | 完全响应 | 验证以历史焊接作业回放方式执行:输入该次作业的时序与视觉数据,核验评估结论与事后检验结论的一致性,判据为对不合格作业的提前识别比例与对合格作业的误预警比例两项并列给出。是否干预参数的决策建议由场景系统给出,我方验证其建议与工艺规程的相容性,不验证实际干预效果——实际干预涉及在产作业,须由甲方工艺部门另行组织 | 焊接过程控制智能监控验证 |
| (4)须验证工艺参数优化能力,支持基于历史数据挖掘最优参数组合,为不同工况(焊道类型、板厚、材质)提供参数推荐 | 完全响应 | 按焊道类型、板厚、材质三维分组建样本,每组给推荐参数组合及其历史合格率;验证判据为推荐组合在该组历史数据上的回放合格率不低于实际采用参数,且参数落在工艺卡片与国标规范允许区间内。样本量不足的工况组合如实标注为暂不出推荐,不以少量样本外推 | 焊接过程控制智能监控验证 |
| (5)须验证焊接质量追溯能力,支持将参数、视觉数据与检测结果一一关联,支持全程可溯源 | 完全响应 | 追溯以工单号、焊缝标识与时间窗三者为键建立关联,验证方法为随机抽取检验结论反查其对应的参数曲线与图像,判据为可追溯比例与追溯信息的完整性(参数、图像、结论三者齐备)。关联失败的案例逐例分析键值缺失原因并反馈采集环节 | 焊接过程控制智能监控验证;数据集–模型版本血缘追溯 |
| (6)须验证焊接工艺知识库建设能力,包含工艺卡片、国标规范、焊丝型号、板厚与材质对应关系、焊道要求及合格参数区间等信息 | 完全响应 | 六类内容逐类入库并建索引,合格参数区间按工艺卡片与国标规范两个来源分别登记,两者不一致时按较严者执行并标明依据;焊丝型号与板厚材质的对应关系以工艺卡片实际组合为准。验证判据为知识条目的覆盖度(现用焊接工艺的覆盖比例)与条目出处的完整性;配合事项:适用国标规范清单与现行工艺卡片范围 | 焊接过程控制智能监控验证;知识库 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.1.6 刮板输送装备健康智能诊断、3.2.6.5.1.6.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 刮板输送装备健康智能诊断验证 |
| 刮板输送机长期在重载、粉尘、潮湿、大倾角工况下运行,关键部件(链条、链轮、溜槽、减速器、电机、联轴器、液压系统)易出现磨损、疲劳、裂纹、松动、卡滞、渗漏等故障,当前主要依靠现有装备远程运维服务平台监控;存在机理规则适配性不足、多模态诊断样本数据管理缺失等问题 | 引用 | 我方对本场景的理解:平台已有、规则也有,缺的是「样本」——没有成体系的故障样本,规则就只能靠机理推导,换机型换工况就不适配。本场景的落点是把历史数据中的故障样本划出来、标好、管起来,使规则可以用样本回放来验证而不是凭经验调整 | 刮板输送装备健康智能诊断验证·场景理解 |
| 本场景基于实时运行数据、设备历史故障记录、点检巡检数据、维修保养记录、设备说明书、失效分析报告、运行工况参数构建高质量刮板机健康诊断数据集;通过物联网采集电流、电压、温度、振动、张力、转速、油压、流量等状态数据,结合 AI 模型实现诊断数据样本管理、基于时序模型的历史数据分析、工况识别、故障分析及规则智能编排;提升现有平台诊断的准确性、针对性、易用性和持续优化能力 | 完全响应 | 七类数据来源按第 7 节的 SOS 与 EAM 接入方案取数,八类状态数据按测点清单订阅;交付物为诊断数据集、诊断标签体系、故障样本库与基准集。AI 模型与规则编排功能属场景系统范围,我方提供数据、样本管理方法与验证服务。本场景的改善以现有平台的诊断结果为基线对比,不另立基线 | 刮板输送装备健康智能诊断验证;数据集建设及指标·制造过程 |
| 3.2.6.5.1.6.2 验证要求:须提供刮板输送装备智能健康诊断全流程验证能力,包括但不限于 | 完全响应 | 四项验证逐项给方法与判据,见下 | 刮板输送装备健康智能诊断验证 |
| (1)须验证面向设备健康的诊断数据与样本管理能力,建立诊断标签体系,支持从历史数据中划取典型故障样本,支持样本质量检查与审核、版本管理、来源追溯 | 完全响应 | 诊断标签体系按部件、故障模式、劣化阶段三层建立并纳入统一知识本体;典型故障样本从历史数据中按故障事件时间窗划取(见「智能工具链(三):质量与验证类」一节.5 的切窗方法),计划性检修按作业计划剔除。样本的质量检查、审核、版本与来源追溯四项能力由加工平台提供,验证判据为四项记录的完整性与样本可复现性 | 刮板输送装备健康智能诊断验证;知识本体 |
| (2)须验证故障报警规则智能编排能力,使规则能适配不同机型、不同设备结构、不同运行工况和使用现场;实现机理规则台账管理,规则覆盖链条、链轮、溜槽、电机、减速器、液压系统等部件的典型故障;支持根据工况生成候选规则,支持使用历史样本对不同规则展开离线回放、效果验证和对比分析 | 完全响应 | 规则台账按部件与故障模式建表,每条规则登记适用机型、结构、工况与现场条件;候选规则按工况生成后一律经历史样本离线回放验证再上线,回放输出该规则的命中情况与误报情况,多条候选规则按同一样本集对比择优。这一「先回放再上线」的做法是规则适配性问题的解法,也是本项验证的核心判据 | 刮板输送装备健康智能诊断验证 |
| (3)须验证时序模型的数据分析能力,实现时序数据价值挖掘、运行工况识别、异常及故障样本发现,支持历史数据质量分析报告,支持基于时序模型的相似故障模式搜索,支持实时数据在线异常检测,并持续优化模型准确性 | 完全响应 | 六项能力各设验证用例:工况识别在标注工况集上评判定正确率(六类工况分别给出),故障样本发现以已知故障事件做召回测试,相似故障模式搜索以同故障模式样本的检索命中位次评价,在线异常检测给检出情况与误报率并列指标。历史数据质量分析报告按测点给完整率、异常率与时钟一致性。模型持续优化以主动学习闭环实现,每轮记录指标变化 | 刮板输送装备健康智能诊断验证;传感器时序与运维事件对齐 |
| (4)需验证可针对报警提醒,提供原因分析、处置方法、备件准备建议 | 完全响应 | 三项建议的内容来自故障链知识图谱(故障模式—现象—原因—处置措施—备件),每条建议须给出知识条目出处;验证方法为取历史报警案例,核验建议与实际处置记录的一致性,判据为原因分析命中比例、处置方法可执行比例(由维修人员判定)与备件建议的准确性。无图谱支撑的报警类型如实标注为暂不出建议 | 刮板输送装备健康智能诊断验证;知识库 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.2 通用场景验证服务、3.2.6.5.2.1 管理制度智能问答、3.2.6.5.2.1.1 场景介绍(标题) | 引用 | 正文按五个通用场景分节;五个场景共用同一套文本类数据加工方法,差别在语料范围与判据 | 通用场景验证服务 |
| 管理制度具有数量繁多、更新频繁、专业性强、条文关联性密、理解门槛高等特点;传统制度查询与咨询存在检索不精准、解读不一致、响应速度慢、制度执行偏差、跨部门制度冲突等问题 | 引用 | 我方对本场景的理解:五类问题中有三类(解读不一致、执行偏差、跨部门冲突)根源相同——同一事项在不同制度中有不同表述而无人系统比对。因此本场景的数据加工重点不是把制度搬进库,而是把条款之间的引用与冲突关系建出来 | 管理制度智能问答验证·场景理解 |
| 本场景运用大模型自然语言理解、知识图谱构建、多模态文档解析等技术,建设覆盖管理制度体系的智能问答助手;构建管理制度知识库,统一纳管各类管理制度知识,实现制度内容结构化、数据化,支撑业务合规运营 | 完全响应 | 我方交付制度知识库(条款级切分加六项元数据)、条款引用关系图、问答基准集与验证报告。问答助手本体由主项建设,我方提供语料、图谱与验证服务。11 类管理制度按第 7 节的 OA 接入与第 13.4 节的知识库构建方法处理 | 管理制度智能问答验证;知识库 |
| 3.2.6.5.2.1.2 验证要求:须提供管理制度问答验证能力,包括但不限于 | 完全响应 | 四项验证逐项给方法与判据,见下 | 管理制度智能问答验证 |
| (1)须验证管理制度知识库建设能力,包含管理办法、实施细则、操作规程在内的制度条文知识,以及制度类别、适用范围、发布部门、条文关联关系的管理知识 | 完全响应 | 三层制度文本按条款为最小单元入库,四项管理知识作为条款元数据登记;验证判据为制度覆盖率(现行制度的入库比例)、元数据完整率与条款切分正确率。现行与废止状态由甲方认定,废止制度标记后不进问答语料;配合事项:现行管理制度清单与版本认定 | 管理制度智能问答验证;知识库 |
| (2)须验证制度智能问答能力,支持对制度条文的精准检索、语义解读与多文档跨制度咨询 | 完全响应 | 验证在冻结问答基准集上执行,题目按三类分组:条文检索类(判据为引用条款是否正确)、语义解读类(判据为解读是否与条文一致且不添加条文之外的内容)、跨制度咨询类(判据为是否召回全部相关制度的相应条款)。三类分别给指标,不合并统计 | 管理制度智能问答验证;RAG 数据构建 |
| (3)须验证制度关联分析能力,支持自动建立制度间的引用关系、逻辑校验 | 完全响应 | 引用关系由条款文本中的显式引用(「依据某办法第某条」)与隐式关联(同一事项的不同规定)两路识别,显式引用按模式匹配、隐式关联按语义比对加人工确认;逻辑校验检出三类问题:引用失效(指向已废止条款)、规定冲突(同一事项不同要求)、规定缺口(上级制度要求但无下级细则)。验证判据为三类问题的检出情况与人工复核确认比例 | 管理制度智能问答验证;知识库 |
| (4)须验证服务响应效率,支持制度查询与复杂咨询反馈时长较人工查阅模式明显缩短 | 完全响应 | 效率验证按对照方式执行:取同一组问题分别由人工查阅与系统问答完成,记录两种方式的用时并出对比表。人工基线由甲方相关岗位人员实测得出,不取假设值;判据为系统用时较人工基线明显缩短,缩短幅度按问题复杂度分档给出,简单查询与复杂咨询分别统计 | 管理制度智能问答验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.2.2 技术标准智能问答、3.2.6.5.2.2.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 技术标准智能问答验证 |
| 技术标准具有专业门槛极高、数据图表密集、跨学科关联性强、更新迭代快、标准引用复杂等特点;传统查阅与应用存在查询费时费力、参数提取不准、条文解读分歧、新旧版本混用、设计选型合规性难校验等问题 | 引用 | 我方对本场景的理解:标准的难点在表格与参数限值——标准正文好读,真正要用的数据都在表里。因此本场景的加工重点是表格解析与参数限值的结构化,以及版本有效性的管理(新旧混用是实际工作中最容易出错的一项) | 技术标准智能问答验证·场景理解 |
| 本场景运用大语言模型、多模态文档解析、智能检索与匹配等技术,建设覆盖技术标准体系的智能问答助手;构建技术标准知识库,统一纳管各类技术标准知识,实现标准内容结构化、数据化,并辅助技术标准编制,缩短编制周期,提高使用便捷性 | 完全响应 | 我方交付技术标准知识库(含条文、表格与参数限值的结构化内容)、标准引用关系与版本更迭记录、问答基准集与验证报告。标准编制辅助以模板与条文检索支撑,编制周期的缩短以对照方式验证 | 技术标准智能问答验证;知识库 |
| 3.2.6.5.2.2.2 验证要求(1)须验证技术标准知识库建设能力,包含国家标准、行业标准、企业标准、设计手册在内的条文规范知识,以及技术参数限值、标准引用关系、版本更迭记录与典型合规案例在内的标准应用知识 | 完全响应 | 四类标准文本与四类应用知识逐类入库;参数限值按「参数项—适用条件—限值—出处」结构化登记,这是标准能被自动校验引用的前提。验证判据为标准覆盖率、参数限值的抽取正确率与版本记录完整率。国家与行业标准的使用须具备合法获取途径与授权范围,按外部数据引入流程核验;配合事项:适用标准清单与标准文本获取授权 | 技术标准智能问答验证;安全合规·数据来源合法性 |
| (2)须验证标准智能问答能力,支持多轮对话式问答、历史版本制度问答 | 完全响应 | 多轮问答验上下文继承(追问时自动继承前轮的标准、条款与适用条件),判据为多轮题集的上下文保持正确率;历史版本问答验版本定向检索,判据为按指定版本作答的正确率与新旧版本差异说明的准确性。两类能力各备题集 | 技术标准智能问答验证;多轮对话数据构建 |
| (3)需验证技术标准文件解析能力,支持表格、公式等半结构化内容提取,表格解析须达到单元格级精度 | 完全响应 | 表格解析按单元格级输出(行列位置、合并关系、单元格内容与单位),验证按单元格逐格比对统计正确率,并单独统计跨页表与合并单元格两类难点的正确率——合并统计会掩盖这两类的短板。公式按可还原结构保留并标注变量含义。单元格级精度为硬要求,首轮未达门限的标准类型单独调参后重跑,整改闭环记录随验证报告提交 | 技术标准智能问答验证;文档结构解析 |
| (4)须验证数据可视化能力,支持自动统计技术标准检索量、高频查询条款、用户活跃度 | 完全响应 | 三项统计由场景系统的使用日志产出,我方验证其统计口径与日志记录的一致性,并核验高频查询条款的统计结果能否反馈到知识库优化(高频条款优先做精细结构化)。判据为三项统计可出报表且口径有定义 | 技术标准智能问答验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.2.3 标书智能问答、3.2.6.5.2.3.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 标书智能问答验证 |
| 招投标文件具有内容篇幅长、响应要求细、技术参数密、截止时间紧、废标条款隐蔽等特点;传统人工阅读与响应存在关键信息遗漏、条款解读偏差、投标风险识别不准、团队协作效率低下、历史投标经验复用难等问题 | 引用 | 我方对本场景的理解:五类问题中最要紧的是废标条款隐蔽与关键信息遗漏——这两项一旦出错,后面的工作全部作废。因此本场景数据加工的首要任务是把废标项与资格性要求做成可逐条核对的结构化清单 | 标书智能问答验证·场景理解 |
| 本场景基于招标文件、历史投标文件、评分标准、企业资质库构建高质量标书数据集,通过大语言模型、多模态文档解析、智能检索与匹配等技术打造标书智能问答助手,统一纳管各类招投标知识,辅助投标文件编制和审查,缩短编制周期,提高应答全面性 | 完全响应 | 我方交付标书知识库(四类来源分类归集)、要求项结构化清单、问答与审查基准集、验证报告。企业资质与业绩类材料涉及商业秘密,按分级管控处理,仅在甲方指定环境内加工与使用 | 标书智能问答验证;安全方案·分级管控 |
| 3.2.6.5.2.3.2 验证要求(1)须验证招投标文件知识库建设能力,包含历史投标文本、投标文件模版库、项目实施方案、售后服务承诺在内的投标文本知识,以及设备材料知识、企业资信证明、项目业绩合同、验收单在内的商务知识 | 完全响应 | 两类八项内容逐项归集并建索引:投标文本类按章节与条目切分供检索复用,商务类按资质与业绩两条线建台账(含有效期与适用范围,过期资质自动标记)。验证判据为归集完整率、索引可检索率与台账字段完整率;配合事项:历史投标文件与资质业绩材料的归集范围与密级认定 | 标书智能问答验证;知识库 |
| (2)须验证标书智能解析能力,支持对招标文件项目基本信息、资格性要求、评分标准、废标条款、技术参数与设备要求、业绩证明材料要求的自动提取与风险标注 | 完全响应 | 六类要求项逐类抽取并输出结构化清单,每项标注原文出处与风险等级;验证以历史招标文件做盲测,判据按类别分别统计抽取的完整性与正确性,其中废标条款与资格性要求两类按从严口径考核——这两类漏一条即判该份文件解析不合格。漏检案例逐例归因并补充抽取规则 | 标书智能问答验证 |
| (3)须验证投标生成能力,支持商务标的资质材料、业绩材料的内容生成,以及技术标的技术方案、实施方案、售后服务方案的内容生成 | 完全响应 | 生成能力的验证限定在「基于已有素材的组织与填充」:商务类按资质与业绩台账的真实记录填充,不生成不存在的资质与业绩;技术类按模板与历史方案素材组织,生成内容须标注素材来源。判据为生成内容的素材可溯源比例与要求项覆盖比例。本项的数据加工重点是模板与素材的对应关系标注 | 标书智能问答验证;数据标注 |
| (4)须验证投标文件智能评审能力,支持废标项检查、资格性审查、评分项审查、遗漏检查、格式规范性检查,并生成评审报告 | 完全响应 | 五类检查各配规则集,检查结果汇成评审报告(问题清单加所在位置加依据条款);验证以历史投标文件做回放,判据为五类检查的问题检出比例与误报比例,废标项检查按从严口径考核。评审报告的格式与内容项随验证方案提交 | 标书智能问答验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.2.4 决策数据智能问答、3.2.6.5.2.4.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 决策数据智能问答验证 |
| 决策数据具有数据规模大、维度多元化、实时性要求高、关联逻辑复杂、指标含义深等特点;传统人工分析与用数存在统计口径不一、跨系统取数难、报表理解滞后、异常波动归因慢、决策依赖个人经验等问题 | 引用 | 我方对本场景的理解:统计口径不一是其余问题的源头——口径不统一,取数、理解与归因都无从谈起。因此本场景的前置条件是数据治理产出的指标标准,指标口径未定的问题一律不作答,这比答错更安全 | 决策数据智能问答验证·场景理解 |
| 本场景基于人力资源、研发设计、生产制造、仓储物流、财务、设备、采购、营销、质量共 9 个业务域以及 1 套决策指标体系(数据治理规划完成后形成),通过大模型自然语言交互、智能数据分析、数据融合治理等技术建设决策数据问答助手,打通战略、运营、分析协同链路 | 完全响应 | 本场景依赖数据治理的指标体系成果,因此排期在治理规划完成之后;我方交付四类知识库(指标、业务概念、规则、分析报告,见「专业场景验证方案」一节.4 的应答)、问答标注样本与基准集。九个业务域的指标口径以甲方确认为准 | 决策数据智能问答验证;数据治理实施 |
| 3.2.6.5.2.4.2 验证要求(1)须验证决策数据知识库建设能力,包含生产、营销、采购、财务等决策分析相关专属业务术语在内的业务概念知识,指标统计口径、统计范围、统计维度、计算逻辑、业务规则、统计规则在内的指标知识和规则知识,以及月度/季度/年度经营分析报告、专题分析报告、离线 Excel 台账在内的分析报告知识 | 完全响应 | 三类知识逐类入库:业务概念按术语表登记并与业务术语标准同源,指标与规则按六项属性逐项登记,分析报告按报告期与主题归集(含离线台账)。验证判据为指标覆盖率、六项属性完整率与报告归集完整率。指标口径与计算逻辑须由甲方提供;配合事项:九域指标口径文件、历史分析报告与台账归集范围 | 决策数据智能问答验证;数据标准规划 |
| (2)须验证自然语言查数能力,支持通过日常语言直接调用经营指标、生成可视化图表与多维指标分析 | 完全响应 | 验证在问答基准集上执行,题目覆盖单指标查询、多维下钻与同比环比分析三类;判据为指标识别正确率、取数逻辑正确率与结果数值与报表口径的一致性,三项中数值一致性为硬判据——数值与报表不一致即判该题不通过。图表生成验图表类型与数据的匹配性 | 决策数据智能问答验证;数据标注·经营决策域 |
| (3)须验证智能异动归因能力,支持自动识别指标异常波动、追踪影响因素并快速定位业务异常根源 | 完全响应 | 异动识别按统计规则与同期对比两路判定;归因按指标的计算逻辑逐层分解到构成项,再按构成项的变化幅度排序给出主要影响因素。验证以历史异动案例做盲测,判据为归因结论与事后分析结论的一致比例。本项的关键数据是规则知识库中的指标分解关系,分解关系不全则归因只能给相关性而非构成关系 | 决策数据智能问答验证;知识库 |
| (4)须验证多轮上下文问答能力,支持连续多轮对话,在上下文中保持用户查询意图的连贯性,后续追问自动继承上下文条件 | 完全响应 | 验证用多轮题集执行,每组题设 3 至 5 轮追问,考核上下文条件(时间范围、组织范围、指标口径)的继承正确率与指代消解正确率。所需数据为多轮查数对话样本,由真实查询日志与模拟生成两路构造 | 决策数据智能问答验证;多轮对话数据构建 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.5.2.5 合同合规智能审查、3.2.6.5.2.5.1 场景介绍(标题) | 引用 | 正文按场景理解、所需数据、验证流程、指标与判据组织 | 合同合规智能审查验证 |
| 合同具有标的大、条款复杂、履约周期长、技术约束多、合规要求高等特点;传统人工审核存在效率低、标准不一、风险识别不全、法务审计协同不畅等问题 | 引用 | 我方对本场景的理解:标准不一与风险识别不全同源——审查依据散在法务人员各自的经验里。本场景数据加工的落点是把风险识别规则与历史审查意见显性化为可复用的规则集与样本集 | 合同合规智能审查验证·场景理解 |
| 本场景基于合同文本、历史审查意见、法规政策、风险规则、案例库构建高质量合同数据集,通过大模型实现合同智能解析、条款分类、风险识别、合规检查、修改建议、审查会签、报告生成、知识沉淀,打通法务、业务、审计协同流程,实现全生命周期合规管控 | 完全响应 | 我方交付合同数据集(条款分类与风险标注)、风险规则集、审查基准集与验证报告。合同文本涉及商业秘密与个人信息,按 L4 以上分级管控,加工在甲方指定环境内进行、原文不出域;审查会签与协同流程属场景系统范围 | 合同合规智能审查验证;安全方案·分级管控 |
| 3.2.6.5.2.5.2 验证要求(1)须验证合同知识库建设能力,包含合同文本、附件、补充协议在内的合同文本知识,以及法律法规、风险识别规则、法务预警指标与行业典型案例库(如招标方已有或行业内可提供)在内的合规风控知识 | 完全响应 | 合同文本按主体合同、附件与补充协议三层关联入库(补充协议须与主合同关联,否则审查会漏掉已变更条款);合规风控四类知识逐类登记,法律法规按现行有效版本登记并标注适用范围。典型案例库以甲方已有或行业内可获取者为限,无可获取来源的部分如实说明而不自行编造案例;配合事项:法规清单、风险规则初稿确认、案例库来源 | 合同合规智能审查验证;知识库 |
| (2)须验证合同智能解析能力,支持 Word、PDF 等识别与关键信息抽取 | 完全响应 | 两种格式各备用例,关键信息抽取按合同八大核心要素加履约节点、技术附件引用两项扩展;验证判据为要素抽取正确率,扫描版 PDF 与可编辑文档分别统计(扫描版难度高,合并统计会掩盖短板) | 合同合规智能审查验证;数据预处理 |
| (3)须验证风险智能识别能力,支持自动识别合规风险、责任风险、交付风险、付款风险 | 完全响应 | 四类风险各配规则与标注样本,规则来源为历史审查意见的归纳加法务确认;验证以历史合同与其真实审查意见做盲测,判据为四类风险的检出比例与误报比例分别统计,并对漏检案例逐例补充规则。识别结果一律给出依据条款与风险等级,不给无依据的提示 | 合同合规智能审查验证;数据标注·供需计划域 |
| (4)须验证效率提升情况,支持单份合同审查时长较人工明显缩短 | 完全响应 | 按对照方式验证:取同一批合同分别由人工审查与系统辅助审查完成,记录用时并按合同复杂度分档对比。人工基线由甲方法务实测得出;判据为系统辅助下的审查用时较人工基线明显缩短,且审查质量(风险检出数量与准确性)不低于人工 | 合同合规智能审查验证 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.6 数据集运营推广服务要求:须围绕数据持续汇聚、运营体系、运营架构、盈利模式、运营组织、公共服务内容体系及接入国家数据基础设施七个方面,提出可落地的运营服务能力与机制要求,支撑高质量数据集的可持续运营与对外服务(不包含团队建设、运营服务硬件基础设施及其他服务配套能力建设) | 完全响应 | 七个方面逐项交付机制文件与实施安排。范围按括注界定:团队建设、运营硬件基础设施与其他配套能力不在本项范围内,我方在方案中以接口方式衔接而不重复建设。七项机制的落点是让运营在项目结束后能继续运转——机制文件配套到岗位、流程与考核,不止于原则表述 | 数据集运营推广服务 |
| 3.2.6.6.1 数据协同汇聚要求:须建立可行的数据协同汇聚机制,将分散在产业链各环节、各主体的数据资源与数据集持续汇聚至本项目运营平台,保障并促进平台运营要素的丰富与更新 | 完全响应 | 汇聚机制按「范围—责任—规则—激励」四件事设计,四项分别对应下列四条要求;机制以协议模板与平台流程两种形式落地,协议模板明确双方权责,平台流程使汇聚动作可发起、可审批、可追溯 | 数据集运营推广服务·数据协同汇聚 |
| (1)须建立面向产业链上下游各环节、各主体的数据协同汇聚机制,明确汇聚范围、责任主体与协同规则 | 完全响应 | 汇聚范围按环节分层界定(上游供应商、中游制造、下游用户与服务方),逐层列出可汇聚的数据类型与排除项;责任主体按数据提供方、汇聚执行方与平台运营方三类定责;协同规则规定发起、核验、入库、反馈四步流程与时限。范围与规则以协议模板固化,一方一签 | 数据集运营推广服务·数据协同汇聚 |
| (2)须支持分散数据资源与数据集的持续、增量汇聚,保障汇聚工作的常态化与持续性 | 完全响应 | 汇聚按一次性接入加持续增量两段设计:接入时建立通道与映射,后续按约定频率增量同步并出到位率报表;常态化以月度汇聚例会与到位率考核维持,到位率连续低于约定值时启动协调流程 | 数据集运营推广服务·数据协同汇聚 |
| (3)须建立汇聚数据的权属与合规登记机制,确保来源可溯、权属清晰、合规可用 | 完全响应 | 每批汇聚数据登记来源主体、授权范围、使用期限与权属约定,授权凭证随登记归档;未完成登记的数据不进入加工与上架流程,由系统强制拦截。合规可用的判定按来源合法性、授权范围与敏感信息处理三项核查,核查结论进汇聚台账 | 数据集运营推广服务·数据协同汇聚;安全合规·数据来源合法性 |
| (4)须建立汇聚激励与更新机制,促进平台运营要素持续丰富与动态更新 | 完全响应 | 激励按贡献计量:汇聚方的数据被调用或交易时按清算规则参与分配,贡献量与质量进贡献台账并作为后续合作条件的依据;更新机制规定数据的有效期与更新义务,长期不更新的数据降级展示或下架,使平台上的数据保持时效 | 数据集运营推广服务·数据协同汇聚;清算管理 |
| 3.2.6.6.2 数据集运营体系建设要求:须以「链主企业牵头、产学研用协同、市场化运作」为核心运营方针,构建既符合矿山装备制造行业特性、又遵循市场经济规律的行业数据运营体系 | 完全响应 | 运营体系按三句方针对应三套机制:链主牵头对应组织与责任机制,产学研用协同对应多方协同创新机制,市场化运作对应供需对接与价值分配机制。三套机制互相衔接而非平行罗列——协同产生的成果经市场化机制变现,变现收益按分配规则回流各方,形成可持续的循环 | 数据集运营推广服务·运营体系 |
| (1)须以产业链主企业的行业影响力与业务场景为牵引,明确链主牵头的组织与责任机制 | 完全响应 | 组织机制以甲方作为链主设立运营牵头机构,承担方向决策、标准发布与争议裁决三项职责;责任机制明确牵头方对数据质量底线与合规底线负最终责任,参与方对其提供内容负直接责任。职责以文件形式固化并对参与方公开 | 数据集运营推广服务·运营体系 |
| (2)须建立产学研用多方协同创新机制,明确各方角色、协同流程与成果共享规则 | 完全响应 | 角色按数据提供、技术研发、标准研究、场景应用四类划分,参与单位不少于 5 家(见「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节的应答);协同流程规定课题提出、立项、实施、验收四步;成果共享规则按贡献度约定知识产权归属与使用授权,规则在参与协议中写明以免事后争议;配合事项:参与单位意向与协同协议签署安排 | 数据集运营推广服务·运营体系;知识产权相关建设 |
| (3)须建立市场化运作机制,按市场经济规律设计运营与服务的供需对接与价值分配 | 完全响应 | 供需对接以运营平台的目录与订单流程实现,需求方按场景提需求、供给方按能力应需;价值分配按清算规则执行,规则对数据提供、加工、评测等环节的贡献分别计量。定价参考数据资产价值评估结论,不以单一成本法定价 | 数据集运营推广服务·运营体系;清算管理 |
| (4)须确保运营体系适配矿山装备制造行业特性,与行业业务场景深度结合 | 完全响应 | 适配体现在三处:数据目录按矿山装备制造的业务域与场景编目而非按通用行业分类,服务形态按定制生产为主的行业特点设计(以项目制定制服务为主、标准化订阅为辅),质量判据引用行业标准与工艺规程而非通用数据质量标准 | 数据集运营推广服务·运营体系 |
| 3.2.6.6.3 数据集运营架构建设要求:须设计并建立一套完整的数据集运营架构,以数据集运营平台为依托,联合数据集建设各相关方专业能力,面向行业用户提供专业化、定制化服务 | 完全响应 | 运营架构分三层:平台层提供目录、交易、交付、清算与审计能力;能力层汇集采集、标注、训练、评测等专业能力并以服务目录形式登记;服务层面向行业用户出具数据服务与定制服务。三层之间以服务接口与质量责任界定衔接 | 数据集运营推广服务·运营架构 |
| (1)须以数据集运营平台为统一依托,构建支撑各类运营服务的总体架构 | 完全响应 | 所有运营服务统一在运营平台上发起与结算,不另建并行渠道;平台作为单一事实来源,服务目录、订单、交付记录与清算明细集中管理,避免线下交易无从审计 | 数据集运营推广服务·运营架构;数据集运营服务管理平台 |
| (2)须联合数据集建设各相关方,整合其在数据采集、数据标注、模型训练、智能体开发、数据集评测等环节的专业能力实施专业服务 | 完全响应 | 五类能力按服务目录登记:每项登记能力描述、交付形态、质量承诺与计价方式,形成可被订单直接引用的服务条目。能力方的准入按资质与样例交付两道核验,核验不通过不得上架服务 | 数据集运营推广服务·运营架构;三、3.12 智能体开发服务的供给口径与服务目录登记 |
| (3)须面向行业用户提供定制化的数据服务与智能体开发服务 | 完全响应 | 定制服务按需求受理、方案与报价、合同、实施、验收五步流程执行,流程在平台上留痕;数据服务的定制范围含数据子集筛选、格式转换、专项标注与专用基准集构建四类。智能体开发服务按能力方的服务条目承接,我方在本项目范围内提供其所需的数据与评测支撑 | 数据集运营推广服务·运营架构;三、3.12 智能体开发服务的供给口径与服务目录登记 |
| (4)须明确架构中各相关方的服务边界、协作接口与质量责任 | 完全响应 | 三项以服务条目的附件形式固定:边界写明做什么与不做什么,协作接口写明输入输出与交接方式,质量责任写明判据与返工条件。出现质量争议时按质量责任条款与平台留痕记录判定,不靠事后协商 | 数据集运营推广服务·运营架构;三、3.12 智能体开发服务的供给口径与服务目录登记 |
| 3.2.6.6.4 数据集运营盈利模式建设要求:须设计并建立一套数据集运营盈利模式,针对不同类型、不同需求层次用户实施差异化服务供给,在履行行业公共服务职能的同时实现商业价值 | 完全响应 | 盈利模式按「公共服务保底、增值服务创收」两段设计:公共服务部分不以收入为目标,承担行业基础供给;增值与定制部分按市场定价创收,用以维持平台运转与数据持续更新。两段的边界在服务目录中明确标注,避免公共服务被变相收费 | 数据集运营推广服务·盈利模式 |
| (1)须梳理行业客户的不同需求并据此制定相应的服务策略,形成差异化服务供给体系 | 完全响应 | 客户按主机制造企业、配套件企业、矿方用户、科研与高校四类划分,逐类梳理其典型需求与支付意愿,形成四套服务策略;策略含推荐服务组合、定价区间与服务层级,策略随运营数据按半年复盘调整 | 数据集运营推广服务·盈利模式 |
| (2)须对服务内容与服务方式实施分层设计,区分公益性公共服务与增值、定制服务 | 完全响应 | 服务分三层:公益层提供目录浏览、样例数据与基础工具试用;增值层提供完整数据集订阅、接口调用与工具授权;定制层提供专项加工、专用基准集与专业咨询。三层的内容边界与计费方式在服务目录中逐项标注 | 数据集运营推广服务·盈利模式 |
| (3)须实现营收目标的分解与盈利模式的制定,明确各类服务的计费与价值转化方式 | 完全响应 | 营收目标按服务类型、客户类型与年度三个维度分解到可考核的单元;计费方式按订阅、按量、按项目三种并存,各类服务指定其适用方式。目标值须由甲方按经营规划确定,我方提供分解方法与模型;配合事项:年度营收目标值与定价授权范围 | 数据集运营推广服务·盈利模式;清算管理 |
| (4)须形成「以服务养服务」的可持续良性循环机制 | 完全响应 | 循环机制的落点是收入回投规则:增值与定制服务收入按约定比例回投于数据更新、工具维护与公共服务供给,回投比例与用途在机制文件中规定并按年公布执行情况。没有这条规则,公共服务部分会随时间萎缩 | 数据集运营推广服务·盈利模式 |
| 3.2.6.6.5 运营组织架构建设要求:须设计并建立一套运营组织架构,实现平台重大事项的科学决策、专业领域的权威把关与日常运营的高效执行 | 完全响应 | 组织按决策、把关、执行三层设计并明确各层的事项清单——哪些事必须上决策层、哪些事由专业委员会把关、哪些事运营团队自行决定,清单化而非按级别笼统划分 | 数据集运营推广服务·运营组织 |
| (1)须设计组织架构与组织职位,覆盖重大事项决策、专业领域把关与日常运营执行三个层级 | 完全响应 | 三层分别设运营决策机构、专业委员会(数据质量、安全合规、标准三个专业方向)与运营执行团队;逐层列出职位、人数区间与任职要求,职位职责与数据治理组织的相应岗位衔接不重复设置 | 数据集运营推广服务·运营组织 |
| (2)须制定组织议事规则与表决规则,保障重大事项决策科学、专业把关权威 | 完全响应 | 议事规则规定会议频次、提案要求、材料提前送达时限与回避情形;表决规则规定表决方式、通过比例与专业委员会意见的效力——专业委员会对质量与合规事项的否决意见为硬约束,决策机构不得以多数表决推翻 | 数据集运营推广服务·运营组织 |
| (3)须确保组织架构中不同角色之间权责清晰、流程顺畅、相互制衡 | 完全响应 | 制衡以三项分离实现:数据上架的申请与审批分离,质量判定与业务运营分离,审计权限与运营权限分离。权责以责任矩阵表达,流程以平台流程固化,关键节点不可跳过 | 数据集运营推广服务·运营组织;审计管理 |
| (4)须建立日常运营的高效执行机制 | 完全响应 | 日常机制含四项固定动作:每日值班与告警处置、每周运营数据例会、每月服务质量报告、每季运营复盘。各动作的输入输出与责任人固定,不依赖临时安排 | 数据集运营推广服务·运营组织 |
| 3.2.6.6.6 公共服务内容体系建设要求:须坚持「公益导向、能力输出、生态共建」原则,设计并构建覆盖数据流通全链条的公共服务内容体系,履行平台行业数据智能基座定位,降低行业企业数字化转型门槛 | 完全响应 | 公共服务体系按四类内容建设(对应下列四条),覆盖从数据获取到价值实现的全链条;降低门槛的具体做法是把中小企业用不起的三样东西做成公共服务——基础数据、加工工具与专业知识 | 数据集运营推广服务·公共服务体系 |
| (1)须建立数据资源供给类公共服务,面向矿山装备制造全行业提供基础数据资源支撑 | 完全响应 | 供给内容为经脱敏与授权许可的基础数据子集与样例数据,按行业通用需求筛选;提供方式含目录浏览、样例下载与受限额度的接口调用,申请按简化流程审批。供给范围与授权条件在公共服务目录中公示 | 数据集运营推广服务·公共服务体系 |
| (2)须建立技术工具赋能类公共服务,向行业输出数据加工与智能化技术工具能力 | 完全响应 | 输出方式为工具的试用授权与在线服务两种:试用授权按时间与额度限制,在线服务按配额开放;配套提供操作手册与范例数据,使行业企业无需本地部署即可完成小规模数据加工。工具范围取 25 个工具中适合通用场景的部分,逐项在公共服务目录标注 | 数据集运营推广服务·公共服务体系;专项智能工具链总述 |
| (3)须建立知识智力支撑类公共服务,提供行业知识与专业智力支持 | 完全响应 | 内容含三项:标注规范与数据标准的公开发布、专家库面向行业的咨询与评审服务,以及培训课程与案例库的开放。智力支持按预约制提供,服务量按年度额度控制并记录 | 数据集运营推广服务·公共服务体系;数据标注专家库建设机制 |
| (4)须建立价值转化通路类公共服务,打通数据要素流通与价值转化路径 | 完全响应 | 通路由三段构成:平台内的挂牌与交易、接入国家数据基础设施后的跨域流通,以及数据交易所的挂牌上架。三段的办理指引、所需材料与流程在公共服务中以办事指南形式提供,使行业企业能照着办 | 数据集运营推广服务·公共服务体系;接入国家数据基础设施 |
| (5)须坚持公益导向与生态共建,推动行业数据要素的流通与共享 | 完全响应 | 公益导向以公共服务不设营收考核、以服务量与覆盖企业数考核来保证;生态共建以参与方准入、贡献计量与成果共享三项机制支撑,参与方的贡献与收益对应关系公开可查 | 数据集运营推广服务·公共服务体系 |
| 3.2.6.6.7 接入国家数据基础设施要求:须制定技术方案并组织实施,将平台生成的数据集及行业用户自有数据集接入国家数据基础设施,实现数据集的高效流通与资产化运营 | 完全响应 | 接入按「方案—改造—登记—试运行」四步组织,技术方案按三统一要求编制(见「数据集运营服务管理平台方案」一节.7 的应答)。行业用户自有数据集的接入按统一的元数据规范与合规核验流程办理,与平台自建数据集同一通道。接入规范与开放进度以主管部门发布为准;配合事项:接入规范版本、登记主体与开放时间表 | 数据集运营推广服务·接入国家数据基础设施 |
| (1)须制定接入国家数据基础设施的技术方案,优先采用成熟技术与产品并开展必要的技术开发实施 | 完全响应 | 技术方案以成熟产品与标准协议为主,自研部分限于元数据映射、标识申领回填与授权核验三处必要开发;方案含现状差距分析、改造清单、工期与验证方法,改造以不影响平台既有功能为前提 | 数据集运营推广服务·接入国家数据基础设施 |
| (2)须支持平台生成数据集与矿山装备制造行业用户自有数据集的接入 | 完全响应 | 两类数据集走同一接入流程,差别在合规核验的深度:自有数据集需额外核验权属与授权链条,权属不清者不予接入。接入状态在平台中可见,含已登记、待补材料、已接入三种 | 数据集运营推广服务·接入国家数据基础设施 |
| (3)须实现数据集在国家数据基础设施中的可信、高效流通 | 完全响应 | 可信以三项技术手段支撑:数据集内容指纹用于完整性校验,授权核验接口用于使用权确认,访问与流转记录用于全程留痕。高效以标准接口与目录检索支撑,流通时效与成功率纳入运营监控指标 | 数据集运营推广服务·接入国家数据基础设施;安全方案 |
| (4)须支撑数据集在国家数据基础设施中的资产化运营 | 完全响应 | 资产化按确权、登记、定价、挂牌四步支撑:确权与登记在运营平台完成并与基础设施登记信息对应,定价依据资产价值评估结论,挂牌按交易机构要求提交材料。挂牌与交易需甲方作为数据持有方签署并经交易机构审核,我方承担材料准备、合规自查与技术对接;配合事项:挂牌主体信息与交易机构选择 | 数据集运营推广服务·接入国家数据基础设施;数据资产规划 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.6.7 技术标准验证要求:结合矿山装备制造行业特点与高质量数据集建设实践经验,积极参与全国数标委标准验证和试点应用工作,持续完善标准技术指标,全面提升行业标准的先进性、科学性和适用性 | 完全响应 | 参与方式按三项落实:一是按标准验证要求组织本项目数据集的指标实测,形成可提交的验证数据与问题反馈;二是以项目实践为基础提出标准技术指标的修订建议,建议附实测依据而非观点;三是按试点应用要求提供应用案例与效果数据。标准验证的参与渠道与节奏由标委会安排,我方承担验证实施与材料编制;配合事项:标准验证参与渠道与试点申报安排 | 技术标准验证 |
| 3.2.6.8 数据标注专家库建设机制建设要求:为保障规范化、标准化、高质量建设,满足数据采集、标注、质量管控、标准编制、项目评审、场景落地、安全合规全流程工作需要,按专业化、规范化、制度化、动态化原则,组建覆盖标准编制、数据生产、质量管控、行业应用、项目管理、安全合规六大领域的专家队伍,形成结构合理、专业互补、来源广泛、权责清晰、管理规范、动态更新的专家库体系,为建设提供智力支撑、技术把关、标准引领、质量保障、合规审查、项目指导 | 完全响应 | 专家库按六大领域分组组建,各领域设人数下限与专业要求,合计不少于 50 人;来源覆盖甲方内部专家、行业企业专家与科研院所专家三类,避免单一来源。六项作用对应六类任务派发(出题与评审、标注仲裁、质量判定、标准建议、合规审查、方案指导),任务与专家领域匹配后派发并记录工时与成果;配合事项:专家名册、资格证明与聘任安排 | 数据标注专家库建设机制 |
| 须建设一套数据标注专家库管理机制,确保成立一个不少于 50 人的数据标注专家库;机制内容包括但不限于:提供科学的建设原则、设计专家库的专家类别、制订专家入库标准、制订专家遴选流程、制订专家工作职责、制订专家考核机制 | 完全响应 | 六项机制内容逐项成文:建设原则按专业化、规范化、制度化、动态化四项展开;专家类别按六大领域加能力分级(高级、中级)划分;入库标准设专业背景、从业年限或职称、实操考核三道门槛;遴选流程按推荐、资格审查、考核、公示、聘任五步;工作职责按类别分别规定;考核机制按任务完成质量与及时性考核,连续不达标者退库。动态化体现在每年复核与增补 | 数据标注专家库建设机制 |
| 3.2.6.9 数据标注规范建设要求:须聚焦多模态数据高质量供给需求,制定覆盖不同数据类型的标准化、流程化标注规范,指导体系化、规范化标注实施,解决多模态数据标注口径不一、流程混乱、与业务场景适配性不足的问题,为 AI 模型训练及上层应用提供高精准、高一致性的标注数据支撑 | 完全响应 | 标注规范按数据类型分册编制(文本、图纸与图像、时序、多模态关联四册),每册含标签体系、标注粒度、判定细则、正反例、一致性门限与返工条件六部分。三类问题各有对策:口径不一以统一引用知识本体的标签体系解决,流程混乱以自检、抽检、仲裁三级流程与黄金集机制解决,场景适配不足以按 11 个场景逐一核对标签覆盖解决。规范随项目执行滚动修订,修订由标注中发现的争议驱动 | 数据标注规范建设 |
| 3.2.6.10 项目「软建设」配套措施建设要求·政策体系梳理:梳理数据要素市场化配置、高质量数据集建设、人工智能产业发展、新型信息基础设施、数据安全、绿色低碳等领域的法律法规、产业政策、专项规划、技术导则、建设指南、评价标准等相关文件 25 个 | 完全响应 | 按六个领域梳理相关文件 25 个,逐件登记文件名称、发布机关、发布时间、效力层级与与本项目的相关条款;成果形式为政策汇编加适用性分析表,分析表指出每件文件对本项目的具体约束或支持点,不只做文件罗列 | 软建设配套措施·政策体系梳理 |
| 政策规划制定:共 5 项(1 份中长期发展规划、4 项专项实施方案、1 套制度体系、1 套政策落地动态调整机制、1 份年度政策符合性评估报告) | 完全响应 | 按本条所列逐项交付:中长期发展规划覆盖数据集建设与运营的分期目标;4 项专项实施方案按数据集建设、工具链建设、运营推广、安全合规四个方向编制;制度体系与数据治理制度衔接不重复;动态调整机制规定政策变化时的响应流程与责任人;年度政策符合性评估报告按年出具并列整改项。本条列举项合计多于 5 件,我方按所列全部交付 | 软建设配套措施·政策规划制定 |
| 体制机制创新:共 5 项(五级组织责任体系、跨主体协同汇聚机制、全周期管理机制、绩效考核与激励机制、能力复用机制) | 完全响应 | 五项机制逐项成文:五级组织责任体系自决策层至执行岗逐级定责;跨主体协同汇聚机制与第 16 节的汇聚机制同源;全周期管理机制覆盖数据从采集到退役;绩效考核与激励机制按数据质量、交付及时性与贡献量考核;能力复用机制规定工具、规范与样本在后续项目与行业内的复用方式与条件 | 软建设配套措施·体制机制创新 |
| 标准规范完善:共 20+ 项(牵头制定 2 项关键行业标准、构建「五位一体」标准体系包含 18 项细分标准、制定 6 项项目实施技术规范) | 完全响应 | 按所列交付:牵头制定 2 项关键行业标准(以数据集质量与标注规范两个方向为优先),构建含 18 项细分标准的标准体系,制定 6 项项目实施技术规范。行业标准的立项与发布须经标准化主管机构审批,我方承诺的节点为立项申报与草案提交节点,发布时间取决于审批周期;配合事项:行业标准立项渠道与归口单位确认 | 软建设配套措施·标准规范完善;技术标准验证 |
| 人才队伍建设:共 1 项(组建不少于 50 人规模的涵盖六大领域的数据标注专家库) | 完全响应 | 与第 17 节的招标文件相应条款应答为同一事项,按不少于 50 人、六大领域组建,不重复计列 | 数据标注专家库建设机制 |
| 合计:约 30+ 项配套文件/措施/机制 | 完全响应 | 五类合计按 30 余项交付:政策梳理 25 件、政策规划 5 项、体制机制 5 项、标准规范 20 余项、人才队伍 1 项;交付清单与节点随软建设方案提交,按季度分批交付并经甲方确认 | 软建设配套措施 |
| 3.2.6.11 项目组织实施与保障措施要求(1)须制订项目组织、协同、管理、协调、保密、资金、档案、环境等管理机制,在项目实施过程中严格遵从上述管理制度 | 完全响应 | 八类机制逐类成文并在开工前发布:组织与协同定架构与例会,管理与协调定流程与升级路径,保密定密级与人员责任,资金定预算与结算流程,档案定归档范围与保存期,环境定现场作业的安全与文明施工要求。执行情况纳入月度检查,违反记录计入内部考核 | 项目组织实施与保障措施 |
| (2)须明确知识产权对策、成果管理及合作权益分配,保障各方利益,促使项目顺利实施、交付和运营 | 完全响应 | 知识产权对策含权属约定、侵权防范(第三方组件许可核查)与成果申报安排;成果管理规定成果登记、评审与移交流程;权益分配按贡献度与协议约定执行。三项在项目启动阶段以文件确认,不留到成果产出时再议 | 知识产权相关建设;项目组织实施与保障措施 |
| (3)须识别项目风险并制定风险管理计划 | 完全响应 | 风险按五类识别:数据可得性风险(源系统接口与历史资料到位情况)、现场作业风险(传感器加装与停机窗口)、第三方出证周期风险(测评与贯标认证)、质量风险(标注一致性与评测不达标)、进度风险(依赖事项未就绪)。每类给触发条件、影响评估、应对措施与责任人,按月更新风险台账 | 项目组织实施与保障措施 |
| (4)须制定年度计划和考核计划,并按考核计划进行目标考核 | 完全响应 | 年度计划按建设周期分年编制并细化到季度里程碑;考核计划规定考核指标、数据来源、考核周期与结果应用,指标取可客观计量者(数据集规模与质量得分、文档交付数、场景验证通过数、工单闭环率),不设无法取证的主观指标 | 项目组织实施与保障措施 |
| (5)须编制不少于 7 份项目内部管理制度 | 正偏离 | 按不少于 7 份编制,实列为项目管理制度、质量管理制度、数据安全与保密制度、文档与档案管理制度、变更管理制度、风险与问题管理制度、沟通与汇报制度、分级授权与审批制度共 8 份,高于下限;制度在开工前发布并随项目执行修订 | 项目组织实施与保障措施 |
| 3.2.6.12 项目安全合规建设要求:须核查项目建设过程中是否包含不可用于商业用途的建设内容,承诺数据集来源的合法性 | 完全响应 | 核查按两道执行:入口核查在数据与组件接入时判定其许可是否允许商业用途,不允许者不进入项目;出口核查在数据集发布前复核全部来源的许可链条,核查结论随数据集卡片公布。我方就数据集来源合法性作出书面承诺,承诺范围覆盖内部数据的授权使用与外部数据的取得途径 | 安全合规·数据来源合法性;知识产权相关建设 |
| 须对涉及个人信息、敏感地理信息、重要行业数据、企业秘密数据进行去标识化或脱敏处理 | 完全响应 | 四类数据各定识别规则与处理方式:个人信息按去标识处理(姓名、联系方式、证件号等按一致性假名替换),敏感地理信息按精度降级或模糊化,重要行业数据与企业秘密数据按分级标准限定可见范围并对敏感字段加密或脱敏。处理在入口与出口两处执行并留处理记录,残留检出即整批重处理,趋向无残留 | 安全方案·去标识与脱敏;数据安全规划 |
| 平台须具备全流程审计和日志记录,同时须具备严格的权限校验和访问名单控制 | 完全响应 | 审计与日志按第 9.5 节与第 11.3 节的口径建设,覆盖趋向全部访问路径并以统一埋点实现;权限校验按 RBAC 加数据范围双重控制,访问名单按主体与来源 IP 双向控制,名单变更需审批并留痕。审计权限与业务权限分离,日志不可改不可删 | 安全方案·审计与权限管控;审计管理 |
| 3.2.6.13 知识产权相关建设要求(1)论文成果:围绕项目关键技术与行业应用研究,形成具有学术价值和行业影响力的研究成果,累计发表学术论文不少于 5 篇 | 完全响应 | 按不少于 5 篇组织,选题围绕多模态工业数据加工、图纸结构化抽取、时序与事件对齐、数据贡献度归因、数据集质量评测五个方向;按季度排布投稿节奏。论文发表受期刊审稿周期约束,我方承诺的可控节点为投稿与录用通知节点,验收以投稿记录、录用通知与发表件共同计量;配合事项:署名与权属安排确认 | 知识产权相关建设 |
| (2)发明专利成果:聚焦核心技术创新与关键场景应用,积极开展知识产权布局,累计申请发明专利不少于 3 项 | 完全响应 | 按不少于 3 项申请,布局方向取工具链中技术含量集中的环节(图纸特征抽取、时序事件对齐、数据贡献度归因);交付以受理通知书为计量依据,授权时间取决于审查周期。专利权属按合同约定并在申报前确认;配合事项:专利申请人与权属约定 | 知识产权相关建设 |
| (3)软件著作权成果:围绕平台系统、算法模型、智能应用等方向,形成自主知识产权的软件成果,累计获得软件著作权不少于 6 项 | 完全响应 | 按不少于 6 项申请登记,范围覆盖加工生产平台、运营服务管理平台与工具链中可独立成件的模块;登记以证书为交付凭证。著作权人按合同约定;配合事项:软件著作权登记主体确认 | 知识产权相关建设 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.7 信息安全风险评估服务要求(标题) | 引用 | 正文按等级保护测评与商用密码应用安全性评估两段论述 | 信息安全风险评估服务 |
| 对本项目建设的数据集加工生产平台进行等级保护 2.0 测评及商用密码应用安全性评估,提供测评报告或证书,确保满足国家网络安全与密码合规要求 | 完全响应 | 两项评估的全过程由我方组织:定级与备案材料准备、差距自评与整改加固、送检协调、现场测评配合、问题整改与复测、报告归档。等级保护按 2.0 相应等级要求实施,密码应用按国密算法配置与密钥管理要求实施,两项的整改项合并台账管理避免重复返工。测评报告由国家认定的测评机构出具,出证周期受机构排期影响,我方按不晚于项目终验前完成送检与整改并提交报告;本项服务范围按本条界定为数据集加工生产平台,与招标文件相应条款所述「本项目建设的信息系统」的范围差异已在提交说明中指出,实施时以甲方确认的范围为准;配合事项:测评机构选择、定级结论与排期确认 | 信息安全风险评估服务;安全方案·等保与密评 |
评测与我方内部质检的关系如下:内部质检(见「专业场景验证方案」一节.8)是加工环节的门控,用的是同一套六维度指标与同一个指标字典;本节的评测是对外出报告的正式评测,由具备资质的评测机构出具盖章报告。两者指标口径一致,内部质检先行把问题拦下来,使正式评测不必靠整改轮次堆叠来达标。
本节关键承诺:运营推广服务的交付物以场次、人次、材料份数等可计量项为准,并附签到、材料与反馈记录三类证据。推广效果中涉及招标方内部使用意愿与使用频次的部分,我方承诺的是推广动作的完成与质量,使用率类指标按实测如实报告并给出改进建议。
本节关键承诺:三维度八十一个三级指标逐项列入打分表,每项给评测方式、合格阈值与缺陷分级,无指标免检。高风险五类缺陷全量检测不抽样、逐条登记、修复后复测,台账未关闭即阻断数据集发布——这是硬闸口,不是目标值。正式评测由具备资质的机构出具盖章报告,内部质检按同一指标口径先行预评,预评未过不送正式评测。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.8 数据集质量评测建设要求、3.2.8.1 评测目标(标题) | 引用 | 正文按目标、依据、指标、方法、实施过程五段论述 | 数据集质量评测 |
| 须完成多模态自建数据集首轮全量评测、缺陷整改复测等,通过标准化评测、实战化模型验证、全流程整改闭环,实现四大量化建设目标 | 完全响应 | 按首轮全量评测、缺陷整改、复测三步执行,四大目标逐项对应可核验的交付物:核验目标对应指标打分表与得分报告,效能目标对应性能基线报告,闭环目标对应缺陷整改台账,交付目标对应盖章评测报告与数据质量档案 | 数据集质量评测·评测目标 |
| 1. 全维度数据质量合规核验目标:围绕说明文档、数据质量、模型应用三大维度实现指标 100% 全覆盖核验,建立标准化量化打分体系;评测完成后数据集综合质量得分≥85 分(百分制);数据内所有涉政、色情、暴恐、涉密、未脱敏隐私信息等高风险缺陷 100% 清零,标注错误、样本缺失、内容重复等中低风险缺陷整改完成率 100%,全面消除数据合规与内容安全隐患 | 完全响应 | 三项承诺按可验收的口径组织。指标覆盖:三维度全部三级指标逐项列入打分表,每项有评测方式、合格阈值与缺陷分级,无指标免检——覆盖情况以打分表与原指标清单逐条对照核验。综合得分:以不低于 85 分为验收线,内部质检先按同口径预评并整改,使正式评测的起点高于合格线。高风险缺陷:五类按全量检测(不抽样)、逐条登记、修复后复测,台账关闭率趋向 100%,未关闭的高风险项一律阻断数据集发布,这是硬闸口而非目标值;中低风险缺陷按台账管理并逐轮复测,整改完成率趋向 100%,剩余项须经甲方确认方可带入下一版本。本条为招标文件设定的绝对指标,我方以「全量检测+台账逐条关闭+未关闭即阻断发布」的机制响应,每一条缺陷的检出、整改与关闭均有记录可查 | 数据集质量评测·评测目标;数据集质检 |
| 2. AI 模型实战适配效能验证目标:依托约定开源基准大模型、视觉、语音、多模态模型搭建独立隔离训练环境,完成数据集微调对照实验;量化对比微调前后模型准确率、关键词识别、场景描述专业度等,形成可复现的性能基线报告;各类数据集需达到最低性能提升阈值,精准定位数据场景覆盖、样本均衡、标注规范层面短板,输出数据集迭代优化专项方案 | 完全响应 | 对照实验在甲方内网隔离环境中执行,基础模型取招标文件约定的开源模型,环境与依赖锁定版本、随机种子固定,使报告可复现。三类指标按模态分别定义测量方法;最低提升阈值按数据集类型分别约定并写入评测方案,达不到阈值的数据集不判合格,按三类短板(场景覆盖、样本均衡、标注规范)定位后出迭代优化专项方案并回流修复。提升幅度一律给样本量与显著性判断,不以单次跑分差值作结论 | 数据集质量评测·模型应用验证;数据集验证 |
| 3. 缺陷整改全闭环管控目标:针对评测检出的全部数据缺陷设计标准化整改方案,包含问题样本定位、缺陷成因、分步修正操作、复检校验规则等;在甲方完成数据修正后提供复测服务,直至同类缺陷清零;建立「评测-问题输出-整改指导-复测校验」完整质量闭环 | 完全响应 | 每类缺陷出一份标准化整改指引,四项内容齐备:问题样本定位给样本标识与所在批次,缺陷成因按采集、预处理、标注、合成四环节归因,分步修正操作写到可执行的动作,复检校验规则写明判定方式与通过条件。复测按同一套静态与动态标准执行,同类缺陷复现即再次整改,直至台账关闭。闭环的四个环节在系统中以工单流转,不以会议纪要代替 | 数据集质量评测·缺陷整改闭环;数据集项目管理 |
| 4. 标准化成果交付与合规验收目标:归集全套可存档、可溯源的评测原始过程资料与正式盖章评测报告,形成完整数据质量档案;交付材料可直接支撑行业高质量数据集达标验收、企业数据资产备案、上级数字化专项审计、内部合规检查等;依托评测成果持续优化数据集管理规范,释放工业数据资产价值 | 完全响应 | 档案按阶段归集:准备阶段的台账与抽样方案、方案阶段的打分表、执行阶段的检测记录与复核意见、整改阶段的台账与复测记录、交付阶段的盖章报告,逐份登记来源与版本。四类用途各配材料清单,使甲方取用时不必二次整理;评测中发现的规范缺口回流到数据标注规范与数据质量管理办法的修订项 | 数据集质量评测·成果交付;数据治理体系 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.8.2 评测服务要求、3.2.8.2.1 评测依据(标题) | 引用 | 正文按四层依据分列并给落地要求 | 数据集质量评测·评测依据 |
| 全部工作须严格遵循国家法律法规、人工智能与数据领域行业专项规范、采购人内部数据管理相关制度四层依据开展,所有评测指标、检测流程、风险判定规则、报告结论均不得与下述文件要求相冲突 | 完全响应 | 四层依据在评测方案中逐层列出并建立「条款—指标」对照表:每一项评测指标注明其所依据的文件与条款,使报告结论可追到依据。出现依据之间要求不一致时按较严者执行并在方案中注明,不自行折中 | 数据集质量评测·评测依据 |
| 1. 国家法律法规:《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》《关键信息基础设施安全保护条例》 | 完全响应 | 五部法规逐部落到检测项:数据安全法对应分类分级与出域管控检查,个人信息保护法对应个人信息识别与脱敏检查,网络安全法对应环境与访问控制检查,生成式人工智能服务管理暂行办法对应语料来源合法性与内容安全检查,关键信息基础设施安全保护条例对应环境隔离与审计检查 | 数据集质量评测·评测依据;安全合规 |
| 落地要求:所有隐私脱敏、版权溯源、涉密数据筛查、内容安全检测、数据本地离线管控流程必须完全匹配上述法律要求 | 完全响应 | 五类流程逐项设计并留证:隐私脱敏按规则加模型双通道识别后处理并抽检残留,版权溯源按来源与授权凭证逐批登记,涉密筛查按甲方密级标准执行并由甲方人员确认,内容安全按八类风险检测,本地离线管控以内网隔离环境与禁止导出的技术措施落实。五类流程的执行记录进评测档案 | 数据集质量评测·评测依据;安全方案 |
| 2. 行业专项评测规范:《高质量数据集质量评测规范》(TC609-5-2025-04)、《关于推进行业高质量数据集建设行动的实施方案》 | 完全响应 | 两份文件作为指标体系与打分规则的主依据,指标体系按其三维度结构搭建(见「数据资源采集接入方案」一节.3);规范版本号在评测方案中固定,评测期间若规范更新,按更新后版本重新核对指标清单并记录差异 | 数据集质量评测·评测依据 |
| 落地要求:严格按照规范搭建「说明文档+数据质量+模型应用」三维度指标体系,所有打分规则、缺陷分级、模型实战验证流程均以此规范为基础,结合煤机业务场景做定制化适配 | 完全响应 | 三维度体系照规范搭建,定制化适配体现在三处且只在规范允许的范围内:指标的行业判据(如领域专业性以煤机术语与工艺规程为准)、阈值的行业取值(如图像清晰度按井下与车间照明条件设定),以及人工复核的专家领域要求。适配内容逐项在方案中注明依据,不改动规范的指标构成 | 数据集质量评测·评测依据 |
| 3. 煤炭装备行业专属补充依据:《煤矿智能化建设指南》、煤机装备行业技术数据、设备参数保密管理相关行业指引 | 完全响应 | 两类依据用于行业判据与保密边界的确定:建设指南用于场景覆盖与术语判定,保密管理指引用于技术数据与设备参数的密级判定与可评测范围界定。具体适用的行业指引文本与密级边界须由甲方确认;配合事项:适用行业指引清单与设备参数密级边界确认 | 数据集质量评测·评测依据;安全方案·分级管控 |
| 落地要求:针对煤矿井下场景文本、图像、音视频数据集评测设计适配行业的判定标准 | 完全响应 | 按四类模态分别制定井下场景的判定标准:文本按井下作业术语与规程表述判定专业性,图像按井下照明、粉尘与遮挡条件设定清晰度与信噪比阈值,音频按井下噪声环境设定信噪比阈值,视频按井下拍摄条件设定分辨率与帧率阈值。标准经行业专家确认后写入打分表 | 数据集质量评测·评测依据 |
说明文档维度的 21 项三级指标对应的交付物就是数据集说明卡与配套文档。我方在数据集项目管理环节按本维度的指标清单设计说明卡字段(见「专业场景验证方案」一节.10 的应答),使文档在评测前已按指标项填齐,而非评测时临时补写。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.8.2.2 评测指标:依据《高质量数据集质量评测规范》(TC609-5-2025-04)搭建由说明文档、数据质量、模型应用构成的三维度评测指标体系;说明文档指标用于核查数据集配套资料的完整性、准确性与清晰度 | 完全响应 | 三维度指标逐项列入打分表并注明评测方式(自动化检测、人工复核、模型实验三类)、合格阈值与缺陷分级;打分表与原规范的指标清单逐条对照,确保无漏项、无改名 | 数据集质量评测·评测指标 |
| 1. 说明文档指标、1.1 基本信息完整性(标题) | 引用 | 本组 6 项指标逐项应答见下 | 数据集质量评测·说明文档维度 |
| 1.1.1 数据集规模:评估说明文档是否对数据集体量进行量化说明,如样本总数、总时长(音视频)、总词数(文本)或总存储空间等 | 完全响应 | 说明卡按模态分别给量化体量:文本给 Token 数与条数、图像给张数、音视频给条数与总时长、整体给存储占用;Token 统计标明分词器与版本。四类数据集的规模与第 14 节的规模表一致 | 数据集质量评测·说明文档维度;数据集项目管理 |
| 1.1.2 格式规范:评估说明文档对数据集格式(文件类型、编码方式、数据结构)是否清晰明确定义 | 完全响应 | 说明卡列明文件类型(JSONL、Parquet、图像与音视频容器格式)、字符编码、字段结构与嵌套层级,并给出结构示意;格式定义与自描述封装文件中的定义同源,避免两处不一致 | 数据集质量评测·说明文档维度 |
| 1.1.3 文件结构:评估说明文档是否清晰说明目录组织方式、文件命名规则以及各文件/文件夹的内容 | 完全响应 | 说明卡给目录树、命名规则(含批次与版本位)与逐目录内容说明;命名规则由加工平台在导出时强制执行,不靠人工命名 | 数据集质量评测·说明文档维度 |
| 1.1.4 获取渠道:评估说明文档是否提供明确、可访问的数据集下载链接或申请路径,并说明获取流程 | 完全响应 | 说明卡给运营平台的数据集页面路径与申请流程(申请、审批、授权、获取四步),含不同交付方式(下载、接口、任务式)的获取说明与所需权限 | 数据集质量评测·说明文档维度;数据集运营服务管理平台 |
| 1.1.5 技术支持:评估说明文档是否提供官方技术支持渠道,如论坛、邮箱或问题追踪系统,并能提供有效帮助 | 完全响应 | 说明卡给技术支持入口(运营平台工单系统为主渠道)、响应时限与支持范围;工单系统承担问题追踪,处理记录可查。对外公布的联系方式由甲方确定;配合事项:对外技术支持渠道与联系方式确认 | 数据集质量评测·说明文档维度;项目服务·技术支持 |
| 1.1.6 使用便捷性:综合评估数据集的「开箱即用」体验,衡量是否配备完整的数据字典、解析脚本或示例代码,以降低使用门槛 | 完全响应 | 每个数据集随附三件套:数据字典、解析脚本与示例代码(含最小可运行样例);交付前在独立环境中按字典与脚本解析一遍并记录结果,验证「开箱即用」确实成立而非声称成立 | 数据集质量评测·说明文档维度;数据集项目管理 |
| 1.2 内容特征完整性、1.2.1 模态类型:评估说明文档是否清晰说明数据集中包含的所有数据类型(模态) | 完全响应 | 说明卡逐一列出四类模态及其条数与占比,多模态样本单独标注其模态组合;占比口径与第 14 节的多模态条数占比指标一致 | 数据集质量评测·说明文档维度 |
| 1.2.2 数据分布:评估说明文档是否提供数据在关键特征上的统计分布信息,如数值直方图、类别不均衡比例等 | 完全响应 | 说明卡附分布报表:按业务域、任务类型、标签类别、样本长度、来源、时间六个维度给分布,类别不均衡以最大类与最小类比值表示。报表由分布分析工具自动生成,与均衡作业使用同一份统计 | 数据集质量评测·说明文档维度;数据分布分析与均衡 |
| 1.2.3 标签类别:评估说明文档是否提供完整、清晰且无歧义的所有标签类别清单及其详细定义 | 完全响应 | 说明卡附标签清单与定义,定义取自知识本体与标注规范,含正例与易混淆项说明;封闭标签集(如十类焊接缺陷、两类热处理外观缺陷)标明其封闭性,不允许使用者自行扩展 | 数据集质量评测·说明文档维度;数据标注规范建设 |
| 1.2.4 样本示例:评估说明文档是否包含具有代表性的数据样本,用于直观展示数据结构、格式与内容 | 完全响应 | 每个数据集给不少于一组各任务类型的样本示例,示例经脱敏处理且覆盖典型与边界两种情形;图像与时序类示例附可视化图 | 数据集质量评测·说明文档维度 |
| 1.2.5 局限性说明:评估说明文档是否主动、坦诚揭示数据集存在的潜在偏见、覆盖不足的场景或其他已知局限性 | 完全响应 | 说明卡设局限性专栏,如实写明三类情况:样本量不足以支撑显著性判断的长尾类别、来源集中度偏高的子集,以及合成与增强数据的占比及其可能带来的分布偏移。主动披露局限不是减分项——隐藏局限会在使用中暴露并损害数据集可信度 | 数据集质量评测·说明文档维度 |
| 1.3 建设过程完整性、1.3.1 数据来源:评估说明文档是否清晰说明原始数据的来源渠道、采集时间范围及地理区域等溯源信息 | 完全响应 | 说明卡按子集列来源系统或资料类别、采集时间窗与涉及单位范围;地理区域按甲方厂区与应用矿区的粗粒度表述,涉及敏感地理信息的按去标识口径处理,不给精确位置 | 数据集质量评测·说明文档维度;安全方案·去标识与脱敏 |
| 1.3.2 采集方法:评估说明文档是否详细说明用于获取原始数据的方法、工具或具体流程 | 完全响应 | 说明卡按三通道(结构化、文件、时序)说明采集方式、频率与调度安排,并注明所用工具类别与版本;现场加装传感器采集的部分说明测点与采样率 | 数据集质量评测·说明文档维度;数据采集 |
| 1.3.3 加工处理流程:评估说明文档是否完整描述从原始数据到最终数据集所经历的全部数据清洗、转换、标注等步骤 | 完全响应 | 说明卡给加工链路图与各环节的算子、参数与门控判据,与血缘记录中的实际处理链路一致——说明文档的流程描述由血缘数据生成而非人工撰写,两者不会脱节 | 数据集质量评测·说明文档维度;数据预处理 |
| 1.3.4 标注规范:评估说明文档是否提供详尽、无歧义的标注操作手册,含所有标签定义、标注规则和典型示例 | 完全响应 | 标注规范按数据类型分册随数据集一并交付,每册含标签定义、标注粒度、判定细则、正反例、一致性门限与返工条件;交付版本号与该数据集版本绑定 | 数据集质量评测·说明文档维度;数据标注规范建设 |
| 1.3.5 版本记录:评估说明文档是否维护清晰的变更日志,记录各版本迭代的时间、主要变更内容和版本号 | 完全响应 | 变更日志按版本登记时间、变更内容、变更原因(质检工单或验证归因)与影响范围,由平台在发布时自动生成条目,人工补充变更原因说明 | 数据集质量评测·说明文档维度;数据集项目管理 |
| 1.4 应用说明完整性、1.4.1 使用许可:评估说明文档是否明确规定数据集的使用授权条款,如是否允许商用、是否需要署名等 | 完全响应 | 说明卡给许可条款:使用范围、是否允许商用、是否允许再分发、署名要求与期限;条款与来源数据的授权链条相容,来源不允许商用的部分不会被纳入可商用数据集 | 数据集质量评测·说明文档维度;安全合规·数据来源合法性 |
| 1.4.2 目标应用场景:评估说明文档是否清晰界定该数据集设计用于支持的 AI 任务或应用的具体领域 | 完全响应 | 说明卡列明该数据集支持的任务类型与对应的验证场景(11 个场景中的哪几个),并注明不适用的情形,避免被用于其设计目标之外的任务而得出错误结论 | 数据集质量评测·说明文档维度;数据集场景验证服务 |
| 1.4.3 评估方法:评估说明文档是否给出官方推荐的、用于衡量模型在该数据集上性能的评价指标和评测协议 | 完全响应 | 说明卡给推荐评价指标与评测协议版本号,协议含题型、判分规则、随机种子与基准集版本;推荐协议与我方验证所用协议一致,使第三方复现的结果可与我方报告对比 | 数据集质量评测·说明文档维度;多协议模型评测引擎 |
| 1.4.4 基准测试结果:评估说明文档是否提供基于该数据集的、可复现的应用案例或基线模型(Baseline)的实现参考 | 完全响应 | 说明卡附基线结果表:所用基础模型类别、训练与评测配置、各能力维度得分与样本量;配套给出复现所需的配置文件与随机种子,使他人可重跑 | 数据集质量评测·说明文档维度;数据集验证 |
| 1.4.5 典型应用案例:评估说明文档是否提供基于该数据集的具体、可复现的应用代码示例或基线模型实现参考,以帮助用户快速上手 | 完全响应 | 按任务类型给应用代码示例(数据加载、训练与评测三段最小可运行代码),示例随数据集版本维护;本项与 1.4.4 在规范中表述相近,我方按两项分别交付——基线结果表对应 1.4.4,可运行代码示例对应 1.4.5,不以一份材料充抵两项 | 数据集质量评测·说明文档维度 |
数据质量维度的指标与我方内部质检的六维度指标共用同一个指标字典(见「专业场景验证方案」一节.8 的应答):同名指标在两处的算法、阈值与统计范围一致,内部质检的得分可直接作为正式评测的预评结果。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 2. 数据质量指标、2.1 结构完整性、2.1.1 字段完整性:衡量各字段(列)的非空值比例,评估数据属性的缺失程度 | 完全响应 | 字段完整性按字段逐列统计非空率:必填字段以入集前逐条拦截的方式要求非空——缺失必填字段的记录不入集,入集后的非空率由流程保证而非事后补救,统计值趋向完全非空;可选字段按约定阈值考核。每批次出字段级非空率报表 | 数据集质量评测·数据质量维度;数据集质检 |
| 2.1.2 文件完整性:判断文件是否完整,是否有损坏 | 完全响应 | 文件完整性按两道校验:传输阶段核对校验和与文件数清单,入集阶段按格式解析试读一遍(图像、音视频试解码),损坏文件进失败清单并重新获取。校验结果随批次记录 | 数据集质量评测·数据质量维度 |
| 2.1.3 模态完整性:针对多模态数据,衡量每个样本包含其预设应有的全部数据模态(如图、文)的样本比例 | 完全响应 | 多模态样本按其模态组合定义必备模态,逐样本检查齐备情况;缺模态的样本不作为多模态样本计数(避免虚增多模态占比),可降级为单模态样本或进补齐队列 | 数据集质量评测·数据质量维度;数据集建设及指标 |
| 2.1.4 记录完整性:衡量非空记录(行)的比例,评估是否存在整条记录数据缺失的情况 | 完全响应 | 记录完整性按行级判定,空记录与仅含占位值的记录一并计入不完整;此类记录在预处理阶段剔除并记录剔除量,不带入数据集 | 数据集质量评测·数据质量维度;数据预处理 |
| 2.2 安全规范性、2.2.1 暴恐内容:检测数据集中是否存在暴力或恐怖主义相关内容 | 完全响应 | 八类内容安全风险(本项及下列七项)统一按规则词表加模型检测双通道全量筛查,不抽样;命中样本逐条登记并剔除,剔除后复扫确认。本项属高风险缺陷,台账未关闭即阻断发布 | 数据集质量评测·数据质量维度;安全合规 |
| 2.2.2 毒品药品内容:评估是否涉及非法毒品或违禁药品的相关信息 | 完全响应 | 按八类风险的统一筛查机制执行;本项在工业数据中罕见,但化学品与药剂类术语易误命中,因此设人工复核环节避免把正常的工艺用化学品描述误删 | 数据集质量评测·数据质量维度 |
| 2.2.3 低俗辱骂内容:检查是否包含低俗语言、辱骂或恶意攻击的内容 | 完全响应 | 按统一筛查机制执行;本项在现场工单与对话类语料中有实际发生可能(现场口语记录),命中样本按剔除或改写两种处置,改写须保留原技术信息 | 数据集质量评测·数据质量维度 |
| 2.2.4 血腥内容:评估是否包含血腥或残忍场景的内容,如流血、伤害、虐杀等 | 完全响应 | 按统一筛查机制执行;安全事故类资料中可能涉及人员伤害描述与影像,此类内容按脱敏与剔除处理,涉及人员伤害的影像一律不入集 | 数据集质量评测·数据质量维度 |
| 2.2.5 赌博内容:对数据内容及关键词分析,检查是否存在道德风险的相关表述 | 完全响应 | 按统一筛查机制执行,检测范围按本条原文覆盖赌博类及其他道德风险表述;命中即剔除并记录 | 数据集质量评测·数据质量维度 |
| 2.2.6 色情内容:评估是否包含色情或成人内容 | 完全响应 | 按统一筛查机制执行,文本与图像两路分别检测;本项属高风险缺陷,全量筛查、逐条清零、未关闭即阻断发布 | 数据集质量评测·数据质量维度 |
| 2.2.7 涉政内容:评测是否包含涉及政治敏感的内容 | 完全响应 | 按统一筛查机制执行,并对检出样本逐条人工复核、不抽样(避免把政策文件的正常引述误判);本项属高风险缺陷,处置口径同上 | 数据集质量评测·数据质量维度 |
| 2.2.8 歧视偏见内容:衡量是否存在针对特定群体(如种族、性别)的歧视性言论或偏见性表述 | 完全响应 | 按统一筛查机制执行;此外在人员相关字段去标识后,数据集不保留可用于群体划分的个人属性,从数据结构上减少偏见来源 | 数据集质量评测·数据质量维度;安全方案·去标识与脱敏 |
| 2.3 格式规范性、2.3.1 字段格式规范性:衡量每个字段的取值是否都遵循预定义的格式要求,如日期格式、编码标准等 | 完全响应 | 格式规范按字段级规则校验(类型、长度、取值域、正则、单位),规则来自数据标准中的数据元标准;校验在入集前执行,不通过的记录退回修正。单位规范作为独立校验项,工艺与质量类字段尤其从严 | 数据集质量评测·数据质量维度;数据标准规划 |
| 2.4 标注规范性、2.4.1 标注规范性:评估标注是否符合预定的标注规范,遵循预先设定的规范化流程 | 完全响应 | 标注规范性以三项证据判定:标签体系符合性(是否使用本体定义的标签)、流程合规性(自检、抽检、仲裁三级记录是否齐备)、黄金集通过率。三项均达门限方判合格,任一不达则该批次返工 | 数据集质量评测·数据质量维度;数据标注 |
| 2.5 类型一致性、2.5.1 类型一致性:衡量数据集内容与其宣称的目标应用场景在类型、风格和专业性上是否匹配 | 完全响应 | 按说明卡声明的目标场景抽样核对内容类型与风格,核对由熟悉该场景的专家执行;不匹配的样本或调整其归属子集、或修正说明卡的场景声明,两者取其实际——不以改声明的方式掩盖内容偏离 | 数据集质量评测·数据质量维度 |
| 2.6 内容真实性、2.6.1 内容可追溯:数据真实可追溯;非合成数据能追溯到采集源头并与源头保持一致、不存在未经说明的篡改;合成数据能追溯到生成算法与参数 | 完全响应 | 两类数据分别追溯:非合成数据由血缘记录指回原始记录标识与采集批次,一致性以抽样回比原始源验证;合成数据由合成元数据(种子来源、合成方法、提示词版本、模型版本、采样参数)指回生成过程。任何加工导致的内容变化均在处理链路中记录,不存在未说明的改动 | 数据集质量评测·数据质量维度;数据集–模型版本血缘追溯 |
| 2.6.2 内容准确性:衡量数据记录的信息与客观事实或权威信源的相符程度 | 完全响应 | 准确性按来源分层判定:源系统直接取得的业务数据以源系统为准并做跨源交叉校验,文档抽取数据以原文为准并抽样回比,合成数据以其种子与知识约束为准。知识类条目的准确性由专家终审把关,未终审条目不入集 | 数据集质量评测·数据质量维度;知识库 |
| 2.7 内容干净性、2.7.1 文本困惑度:评估文本的流畅性和可预测性,困惑度越低代表文本越符合自然语言的语法和逻辑常规 | 完全响应 | 按统一的语言模型计算困惑度并按文本类型分别设阈值——工艺规程与标准条文的困惑度天然高于叙述性文本,一刀切阈值会把正规技术文本误判为低质。超阈值样本进复核而非直接剔除,模型与版本在报告中注明 | 数据集质量评测·数据质量维度 |
| 2.7.2 知识信息密度:衡量数据内容中蕴含的结构化知识(如事实、关系)的浓度,通过知识抽取等技术评估 | 完全响应 | 以单位文本长度内可抽取的实体与关系数量度量,抽取按知识本体的类目执行;低密度样本(如纯格式性文本、页眉页脚残留)在预处理阶段已被剔除,评测时作为复核项 | 数据集质量评测·数据质量维度;知识本体 |
| 2.7.3 重复内容程度:衡量内容完全相同或高度相似的样本所占比例 | 完全响应 | 按精确重复、近重复与语义重复三级统计并分别给比例(见「智能工具链(三):质量与验证类」一节.8);去重在入集前完成,评测统计的是残留重复率,残留超阈值则回流重新去重 | 数据集质量评测·数据质量维度;数据去重与相似度过滤 |
| 2.7.4 文本完整度:衡量单条文本在语义和结构上是否完整,例如是否存在被意外截断的句子、不完整段落或缺失关键信息部分 | 完全响应 | 完整度按三项检查:句末结构是否完整、段落是否被切断、必要字段是否缺失。切分工具已按语义边界优先切分(见「智能工具链(三):质量与验证类」一节.3),截断主要来自解析失败,检出后回流重新解析 | 数据集质量评测·数据质量维度;文档结构解析 |
| 2.7.5 信息缺失度:衡量应有信息未能被记录的程度,通常以空值或特定占位符在关键字段中出现的频率量化 | 完全响应 | 按关键字段的空值与占位符频率统计;占位符清单预先约定(避免把业务上合法的「无」误计为缺失),统计口径在报告中注明 | 数据集质量评测·数据质量维度 |
| 2.7.6 文本纯净度:衡量文本中信噪比,即有效文本内容与无关符号、HTML 标签等噪声的比例 | 完全响应 | 纯净度按噪声字符与标签占比统计;去噪在预处理阶段处理页眉页脚、水印、标签与控制字符,评测统计残留噪声比例,超阈值回流重新清洗 | 数据集质量评测·数据质量维度;数据预处理 |
| 2.7.7 文本连贯度:衡量文本内容是否符合语法规范,语句是否流畅、易于理解,无明显语法错误 | 完全响应 | 连贯度按衔接性与语法检查两路评估,并对增强改写样本重点检查(改写是连贯度下降的主要来源);不连贯样本按来源分流——原文本身如此的保留并标注,改写造成的剔除 | 数据集质量评测·数据质量维度;文本重写与多样化 |
| 2.7.8 图像分辨率:通过评估图像和视频像素尺寸的适用性,验证数据是否适配主流模型的输入要求,保障对关键视觉特征的有效提取能力 | 完全响应 | 分辨率按用途设下限:缺陷识别类图像的下限高于一般示意类图像,因缺陷特征尺度小;低于下限的图像不用于缺陷标注,可保留作为场景类样本并标注其用途限制 | 数据集质量评测·数据质量维度 |
| 2.7.9 图像重复度:数据集中相同或高度相似图像、视频的重复程度 | 完全响应 | 图像按感知哈希加特征向量两路判重,连拍与同一工件多角度拍摄按「同组」处理——同组样本允许保留但在切分时不跨集,避免训练与测试间的变相泄漏 | 数据集质量评测·数据质量维度;数据集切分与基准构建 |
| 2.7.10 图像信噪比:图像和音频中有效信号与噪声的比值,数值越高表示质量越好 | 完全响应 | 按统一方法计算并按采集场景分档设阈值(井下与车间照明条件不同);低信噪比图像按可用性分流,不可用于细节判定的标注任务 | 数据集质量评测·数据质量维度 |
| 2.7.11 图像清晰度:图像视频的视觉清晰程度,不应存在水印、抖动、字幕干扰、条纹等问题 | 完全响应 | 清晰度按模糊度指标加四类干扰检测(水印、抖动、字幕、条纹)判定;干扰类问题优先在预处理阶段处理,无法处理的标注为受限样本并说明限制 | 数据集质量评测·数据质量维度 |
| 2.7.12 音频信噪比:音频中有效信号与噪声的比值 | 完全响应 | 音频类样本(现场记录与语音转写来源)按信噪比分档,低于阈值的不用于语音任务;井下与车间环境噪声大,阈值按实际采集环境设定并在说明卡注明 | 数据集质量评测·数据质量维度 |
| 2.7.13 音频采样率:音频数据的采样频率,采样率越高音频还原度越好 | 完全响应 | 采样率按语音任务要求设下限并统一重采样到目标采样率,原始采样率在元数据中保留;低于下限的原始音频不通过升采样伪装达标,如实标注 | 数据集质量评测·数据质量维度 |
| 2.7.14 音频位深度:音频数据的量化精度 | 完全响应 | 位深度统一到目标规格并在元数据保留原始值;统计给各位深度的样本分布 | 数据集质量评测·数据质量维度 |
| 2.7.15 音频比特率:音频数据的传输速率 | 完全响应 | 比特率按格式与压缩方式统计并设下限,低比特率的有损音频不用于需要细节的任务;统计口径在说明卡注明 | 数据集质量评测·数据质量维度 |
| 2.7.16 视频分辨率:通过评估图像和视频像素尺寸的适用性,验证数据是否适配主流模型的输入要求 | 完全响应 | 视频分辨率按用途设下限,熔池与焊缝类视频的下限从严;抽帧后的关键帧按图像分辨率口径再核一次 | 数据集质量评测·数据质量维度 |
| 2.7.17 视频重复度:数据集中相同或高度相似图像、视频的重复程度 | 完全响应 | 视频按关键帧序列的相似度判重,同一作业的多路录像按同组处理并在切分时不跨集 | 数据集质量评测·数据质量维度 |
| 2.7.18 视频帧率:衡量视频画面的流畅度,以每秒帧数(FPS)为单位 | 完全响应 | 帧率按任务设下限:熔池与焊接过程类视频需较高帧率以保留瞬态特征,巡检类视频可较低;统一统计并在说明卡给分布 | 数据集质量评测·数据质量维度 |
| 2.7.19 视频时长:衡量视频样本的平均或总计持续时间,反映时间维度的信息量 | 完全响应 | 按样本平均时长与总时长统计,并按场景分组给分布;过短片段(不足以包含完整工艺动作)不作为独立样本,并入相邻片段或剔除 | 数据集质量评测·数据质量维度 |
| 2.7.20 视频清晰度:图像视频的视觉清晰程度,不应存在水印、抖动、字幕干扰、条纹等问题 | 完全响应 | 按图像清晰度同口径判定,另加抖动检测(现场手持拍摄的抖动较常见);抖动严重且无法稳像的片段不用于细节判定任务 | 数据集质量评测·数据质量维度 |
| 2.7.21 视频动态范围:衡量视频画面能够同时表现的最亮和最暗部分的范围 | 完全响应 | 动态范围按亮度分布统计,重点检查高亮工况(熔池、感应加热)下的过曝情况——过曝会丢失关键特征,过曝比例超阈值的片段标注为受限样本 | 数据集质量评测·数据质量维度 |
| 2.8 内容一致性、2.8.1 概念一致性:衡量术语、实体命名和分类体系在全局是否遵循统一的定义和标准 | 完全响应 | 概念一致性以统一引用知识本体保证:标签、术语与分类均取自本体同一版本,别名按同义词表归一。评测时按术语抽样核对全局用法,发现不一致则定位到未归一的批次并回流处理 | 数据集质量评测·数据质量维度;知识本体 |
| 2.8.2 语义一致性:衡量相关联的数据内容在含义上是否一致且无矛盾,例如图文数据中文本描述是否准确反映图像内容 | 完全响应 | 跨模态语义一致性按配对抽样人工复核加模型初筛:图文对核查描述与画面是否相符,时序与诊断说明核查特征值与结论是否相符。不一致项按来源归因——对齐错误回流对齐环节,标注错误回流标注环节 | 数据集质量评测·数据质量维度;多模态数据对齐 |
| 2.8.3 格式一致性:衡量数据值的格式是否符合预定义规范,如数据类型、长度、正则表达式等 | 完全响应 | 与 2.3.1 字段格式规范性共用同一套字段级规则,差别在统计范围:2.3.1 按字段统计合规率,本项按数据集全局统计同类字段在不同子集间的格式是否统一 | 数据集质量评测·数据质量维度 |
| 2.9 隐私规范性、2.9.1 隐私规范性:衡量数据集是否遵循相关隐私保护法规,通过检测个人身份信息(PII)等敏感数据是否已被妥善脱敏或移除 | 完全响应 | 个人信息按识别、处理、复检三步落实:入口处理、出口复检,复检采用独立规则集(与处理时所用规则不同源)以免同源盲区。残留检出即整批重处理,台账逐条关闭,未关闭即阻断发布 | 数据集质量评测·数据质量维度;安全方案·去标识与脱敏 |
| 2.10 内容原创性、2.10.1 内容原创性:评估数据集中的原创内容比例,而非复制或转载 | 完全响应 | 原创性按来源分类统计:甲方自有业务数据与我方加工产出计为原创,外部公开语料与转载内容单列比例并标注来源与许可。统计口径在说明卡公布,不把外部语料计入原创 | 数据集质量评测·数据质量维度 |
| 2.10.2 来源原创性:衡量数据集是来源于一手或独家渠道,而非对公开、通用数据的汇编 | 完全响应 | 本项是本项目数据集的固有优势:四类数据集的主体来自甲方 17 类源系统的一手业务数据与现场采集数据,公开通用数据仅作预训练语料的补充。一手数据占比在说明卡中给出 | 数据集质量评测·数据质量维度;数据采集 |
| 2.11 领域专业性、2.11.1 领域专业性:衡量数据内容是否符合特定垂直领域的专业知识、术语规范和行业惯例 | 完全响应 | 专业性由行业专家按抽样复核判定,判据三项:术语是否符合矿山装备制造的规范用法、工艺与参数表述是否符合规程、结论是否符合行业惯例。复核专家取自专家库相应领域,复核意见进质量档案 | 数据集质量评测·数据质量维度;数据标注专家库建设机制 |
本组 3.1 项下四条按数据集类型分列,招标文件在各条原文中指定了用于对照实验的开源基础模型型号。本矩阵两列各司其职:要求列照原文引注,型号照写,以证明我方对该条要求的理解与原文逐字对应,便于评标逐条核验;应答列不写型号,统一按「采用招标文件指定的开源基础模型,经统一网关接入,可替换、可评测、可随代升级」的口径表述。
这样处理的理由是我方承诺不绑定具体型号与供应商——承诺里写死型号,将来模型换代即构成自身违约,也会被理解为方案绑定了特定供应商。实验执行时按原文指定的模型进行,评测期内不更换,以保证微调前后结果可比。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3. 模型应用指标、3.1 模型适配性(标题) | 引用 | 本组四项按数据集类型分列,逐项应答见下 | 数据集质量评测·模型应用维度 |
| 3.1.1 文本类数据集(如项目产生):基于 Qwen2.5-0.5B-Instruct 基础模型,采用 LoRA 低秩适应技术对构建的数据集进行微调;通过 LLM 裁判模型对独立测试样本进行评测,对比微调前后在准确性、完整性、专业性及简洁清晰性上的差异,以验证数据的知识纯度与结构规范性 | 完全响应 | 采用招标文件指定的开源基础模型,经统一网关接入,可替换、可评测、可随代升级;微调方式按招标文件指定的低秩适应技术执行,评测期内不更换模型与方式以保证前后结果可比。测试样本自冻结基准集划出并与训练样本按文档级隔离;裁判模型打分配人工抽样校准,四项维度(准确性、完整性、专业性、简洁清晰性)分别给分并给样本量与显著性判断。知识纯度与结构规范性两项结论由四项维度得分合成,不以单一总分概括。实验环境、依赖版本与随机种子固定,报告可复现 | 数据集质量评测·模型应用维度;数据集验证 |
| 3.1.2 场景类数据集(如项目产生):基于 YOLO11n-seg 视觉基础模型对构建的数据集进行分割微调验证;采用标准训练-验证-测试划分策略,重点考察数据对预训练模型的领域迁移能力及边界框检测和分割的双重性能 | 完全响应 | 采用招标文件指定的开源视觉基础模型,经统一网关接入,可替换、可评测、可随代升级。本项对应缺陷图像与工件外观图像子集,训练-验证-测试按标准策略划分且同组样本不跨集(同一工件多角度与连拍归同组),避免领域迁移能力被同源样本虚高。边界框检测与分割两项性能分别给指标,并按缺陷类型分列——合并统计会掩盖小样本缺陷类型的短板 | 数据集质量评测·模型应用维度 |
| 3.1.3 语音类数据集(如项目产生):采用 openai/whisper-tiny 基础语音模型对构建的语音数据集进行微调验证;采用「Zero-shot vs Fine-tuning」对比实验,重点考察数据对通用基础模型的声学适应性改造能力以及塔台指令关键词召回率的提升幅度 | 完全响应 | 采用招标文件指定的开源基础语音模型,经统一网关接入,可替换、可评测、可随代升级。本项以项目实际产生语音类数据集为前提:语音来源为现场记录与会议录音的转写素材,若经采集与授权核验形成独立语音子集,则按零样本与微调两组对照实验给出识别指标与声学适应性结论;未形成独立语音子集时在评测报告中如实说明本项不适用及其原因,不以少量样本凑一轮实验。关键词召回率一项按本项目实际业务用语(设备名称、故障术语、工序名称)构建关键词表后测量 | 数据集质量评测·模型应用维度 |
| 3.1.4 视频类数据集(如项目产生):基于 Qwen2.5-Omni-3B 多模态基础模型,采用 LoRA 低秩适应技术对构建的视频类数据集进行微调验证;采用采集设备隔离封存的策略划分独立测试集以防止数据泄露,通过 LLM 裁判对测试样本进行双盲评测,并结合 Rouge-L 自动指标,对比微调前后在场景描述、人流密度、异常判断及语言专业性上的差异,以验证数据的领域知识密度与标注规范性 | 完全响应 | 采用招标文件指定的开源多模态基础模型,经统一网关接入,可替换、可评测、可随代升级;微调按指定的低秩适应技术执行。测试集按采集设备隔离封存划分——同一相机或同一产线的素材不跨集,比随机划分更能反映真实迁移能力。评测采取双盲方式(裁判不知样本来自微调前后哪一组)并同时给 Rouge-L 自动指标,四项维度分别给分;其中「人流密度」一项在本项目的工业场景中对应作业区域人员与在制品的密集程度判定,按此口径出题与判分。领域知识密度与标注规范性两项结论由四项维度得分合成 | 数据集质量评测·模型应用维度 |
| 3.2 内容多样性、3.2.1 场景多样性:衡量数据集是否广泛覆盖应用在现实世界中可能遇到的各种场景 | 完全响应 | 场景覆盖按 11 个验证场景与本体对象的交叉矩阵统计,空白格出缺口清单;覆盖不足的场景按补采优先、合成补充的次序处理,补充后重新统计 | 数据集质量评测·模型应用维度;数据分布分析与均衡 |
| 3.2.2 特征多样性:衡量数据在特征空间内的分布广泛性,即关键特征的取值是否丰富多变 | 完全响应 | 按关键特征(工艺参数、工况、材质、规格、缺陷类型)的取值覆盖与分布广度统计;取值集中在少数档位的特征标注为多样性不足并定向补采,不以增强制造虚假多样性 | 数据集质量评测·模型应用维度 |
| 3.3 规模完整性、3.3.1 规模完整性:衡量数据集的规模是否全面满足目标场景预先定义的要求 | 完全响应 | 规模按第 14 节的四表指标逐子集核对(615 亿 Token、89 万条、6.6 万组、0.95 万条),并按场景核对各场景可用样本量是否足以支撑其验证判据——总量达标但某场景样本不足仍判不合格,这是本项的实际判据 | 数据集质量评测·模型应用维度;数据集建设及指标 |
| 3.4 标注准确性、3.4.1 标注准确性:标注能精准标记出目标应用场景模型开发和训练所需的所有信息 | 完全响应 | 准确性以黄金集比对与专家抽检两路判定,按任务类型分别给准确率;标注信息的齐备性按该场景所需字段清单核对,缺字段即判该批次不满足本项。不达门限的批次返工重标 | 数据集质量评测·模型应用维度;数据标注 |
| 3.5 业务相关性、3.5.1 行业符合度:衡量数据内容与特定行业的业务逻辑、流程和需求的匹配程度 | 完全响应 | 行业符合度由行业专家按抽样复核判定,判据为数据所反映的流程与业务逻辑是否与矿山装备制造实际一致(如工序顺序、检验环节、工单流转);不符合项定位到来源与转写环节并回流 | 数据集质量评测·模型应用维度 |
| 3.5.2 信息主旨度:衡量数据集内容与其核心主题的关联紧密程度 | 完全响应 | 按子集的声明主题抽样核对内容相关性,弱相关样本(如随文档一并解析进来的无关附件内容)在预处理阶段剔除;评测统计残留弱相关比例 | 数据集质量评测·模型应用维度 |
| 3.5.3 领域相关性:衡量数据集中的内容与其所声称或应用的特定领域的匹配程度 | 完全响应 | 领域相关性按领域术语密度与业务对象覆盖两项度量;通用语料部分单列并标明其占比与用途(用于语言能力而非领域知识),不混入领域相关性统计 | 数据集质量评测·模型应用维度 |
| 3.6 内容均衡性、3.6.1 特征均衡性:衡量关键特征的取值分布是否均衡 | 完全响应 | 按关键特征的分布集中度度量并设上限;超限特征按分层采样与定向补采调整,调整前后的分布对比随报告提交 | 数据集质量评测·模型应用维度;数据分布分析与均衡 |
| 3.6.2 来源均衡性:衡量不同类别标签的样本数量分布是否均衡,避免因数据倾斜导致模型偏见 | 完全响应 | 按标签类别与来源系统两个口径分别统计均衡度(本条原文定义为类别分布,指标名为来源,两个口径我方均统计并分别列示,不替代);倾斜严重的类别按长尾处理流程补齐 | 数据集质量评测·模型应用维度 |
| 3.6.3 场景均衡性:衡量不同场景的样本数量分布是否均衡 | 完全响应 | 按 11 个场景统计样本量分布,设各场景最低样本量而非只看相对均衡——场景之间业务体量本不相同,强行均衡会削弱主要场景的数据量。最低样本量按各场景验证判据所需确定 | 数据集质量评测·模型应用维度 |
| 3.7 时间跨度覆盖度、3.7.1 时间跨度覆盖度:衡量数据集在时间轴上所覆盖的范围,即最早记录时间与最晚记录时间的间隔 | 完全响应 | 按子集给最早与最晚业务发生时间及跨度,并同时给近 3 年数据条数占比(不低于 40%);跨度与时效性两项并列呈现——跨度大说明历史覆盖足,占比高说明数据新,两者缺一都影响可用性 | 数据集质量评测·模型应用维度;数据集建设及指标 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.8.2.3 评测方法:依据《高质量数据集质量评测规范》(TC609-5-2025-04),采用「数据质量验证+模型应用反馈」的评测方法,其中数据质量验证融合自动化检测与人工复核 | 完全响应 | 两条线并行:数据质量验证以自动化检测打底、人工复核把关专业类指标;模型应用反馈以对照实验量化效用。两条线的结果按权重合成综合得分,权重在评测方案中约定并经甲方确认后固定,不在出报告阶段调整 | 数据集质量评测·评测方法 |
| 1. 静态数据内生质量检测:聚焦数据集固有基础质量,围绕保真度、完备性、规整性、均衡性、可用性、可信性六大维度开展核验,用于核查说明文档完整性、数据基础质量、合规安全性等 | 完全响应 | 六大维度与三维度指标体系的映射关系在方案中列明(每个三级指标归属哪个维度),使两套口径可以互相换算;维度得分由其下三级指标按权重合成。六维度的指标口径与内部质检一致(见「专业场景验证方案」一节.8 的应答) | 数据集质量评测·评测方法;数据集质检 |
| 2. 基准模型动态应用验证:聚焦数据集落地工业 AI 场景的实际赋能价值,弥补静态检测「只看数据、不看应用」的短板,通过标准化对照实验量化数据集对模型训练效果的提升幅度 | 完全响应 | 对照实验按「同模型、同协议、同基准集、只变数据」的单变量原则设计,使提升幅度可归因于数据而非调参;每组实验记录完整配置与随机种子,提升幅度给置信区间 | 数据集质量评测·评测方法;数据集验证 |
| 3. 综合评测判定方法·加权计分:汇总静态自动化量化得分、人工分项打分、动态模型效能得分,按招标文件约定权重计算数据集综合总分 | 完全响应 | 三类得分按约定权重合成,计分表逐项列明得分、权重与加权值,可逐级回算;人工打分项给出打分人角色与评分依据,避免只见分数不见理由 | 数据集质量评测·评测方法 |
| 问题闭环:针对不合格项汇总全部缺陷,分级输出整改指引,待采购人完成数据优化后,复用全套静态+动态评测标准开展复测校验 | 完全响应 | 复测复用首轮的全套标准与权重,不降低标准以求通过;复测范围按缺陷影响范围确定(局部缺陷做定向复测、涉及全局口径的做全量复测),范围判定依据与结论随复测报告提交 | 数据集质量评测·评测方法;缺陷整改闭环 |
评测实施分五个阶段,各阶段的阶段验收要求是硬节点——前一阶段未经甲方确认不进入下一阶段。
图 19-1 数据集质量评测五阶段与整改复测回路。数据来源:招标文件 3.2.8.2.4。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.2.8.2.4 实施过程:全流程分为评测准备、定制评测方案设计、评测执行、缺陷分析整改与复测、成果汇总交付五大标准化阶段,服务周期内同步配套增量数据抽检、合规巡检等 | 完全响应 | 五阶段按节点排期并与数据集版本发布节奏对齐(首轮评测对应第一个正式版本);服务周期内的增量数据按月抽检、合规项按季巡检,抽检与巡检结果进质量档案,发现问题按同一整改闭环处理 | 数据集质量评测·实施过程 |
| 1. 评测准备阶段(1)数据集摸底调研:梳理工业文本、图像、音频、视频四类数据集台账,统计样本规模、模态分布、数据来源、涉密敏感范围,梳理现有配套说明文档 | 完全响应 | 摸底以资产台账与数据集卡片为基础逐项核对,输出四类数据集的现状表;涉密敏感范围由甲方确认后标注,确认结果决定哪些数据只能在内网隔离环境内评测、哪些指标改由甲方人员在场执行 | 数据集质量评测·实施过程;数据集项目管理 |
| (2)业务场景梳理:对接甲方煤机业务专家,梳理井下运维、设备故障识别、零部件检测等业务规则、行业术语、涉密管控边界 | 完全响应 | 场景梳理以我方已建的知识本体与场景数据需求清单为底稿,与甲方业务专家逐项确认后形成评测用的行业判据;涉密管控边界的确认结果写入评测方案并约束抽样与人工复核的执行方式;配合事项:业务专家对接安排与涉密边界确认 | 数据集质量评测·实施过程;知识本体 |
| (3)离线评测环境部署:将自动化质检工具、基准模型推理环境部署至采购人内网隔离环境,完成软硬件调试,原始数据禁止导出、上传公网 | 完全响应 | 工具与模型环境在甲方内网隔离区部署,依赖包离线导入;禁止导出以技术措施落实(网络策略限制、介质管控、导出接口关闭),并以审计日志记录全部数据访问。环境资源与网络策略需甲方提供;配合事项:隔离区资源规格与网络策略审批 | 数据集质量评测·实施过程;安全方案·网络边界 |
| (4)抽样策略制定:依据统一抽样规则,区分高风险全量检测项、普通指标分层抽样方案,完成数据集接入、文件完整性初校验 | 完全响应 | 抽样规则写入方案并固定:内容安全八类、隐私规范性与涉密筛查按全量检测不抽样,其余指标按分层抽样(按子集、模态、批次分层)并给出置信水平与抽样量计算依据。文件完整性初校验按校验和与试读两道执行 | 数据集质量评测·实施过程 |
| 对应评测工作:前置静态检测基础准备,为全量说明文档、数据质量指标检测提供环境支撑 | 引用 | 本阶段产出为环境、抽样方案与现状表三项,是后续静态检测的前置条件,不单独计分 | 数据集质量评测·实施过程 |
| 阶段验收要求:甲方确认无误后方可进入下一阶段 | 完全响应 | 本阶段以现状表、抽样方案与环境验收记录三份材料提请确认,确认后方进入方案设计阶段;未确认不启动下一阶段工作 | 数据集质量评测·实施过程 |
| 2. 定制评测方案设计阶段(1)对标《高质量数据集质量评测规范》及采购人内部制度,搭建适配行业的完整指标打分表,明确三大维度所有三级指标评测方式、合格阈值、缺陷分级标准 | 完全响应 | 打分表逐项列三级指标、评测方式、合格阈值、权重与缺陷分级,并标注每项所依据的规范条款与内部制度条款;阈值的行业取值给出设定依据(工艺规程、采集环境条件或历史统计),不凭经验给数 | 数据集质量评测·实施过程 |
| (2)拆分指标对应评测手段:区分自动化检测指标、人工复核指标、基准模型实验指标,明确每项指标检测流程、判定规则 | 完全响应 | 三类手段逐指标归类并在打分表中标注;自动化指标给工具与参数,人工复核指标给复核人资格要求与复核表单,模型实验指标给实验配置。同一指标若两种手段并用,明确以哪一方为准 | 数据集质量评测·实施过程 |
| (3)编制静态+动态一体化评测执行方案:细化自动化批量检测流程、专家分层复核流程、基准模型对照实验完整步骤、训练参数、测试集隔离规则 | 完全响应 | 执行方案逐条写明五部分内容,其中测试集隔离规则是防止结论虚高的关键——按文档级、来源级与采集设备级三种隔离方式分别适用于文本、场景与视频类数据集,隔离规则由工具强制执行并在实验日志中留证 | 数据集质量评测·实施过程;数据集切分与基准构建 |
| (4)明确缺陷分级处置规则、复测校验标准、各维度指标合格分数线、综合总分合格标准 | 完全响应 | 四项在方案中固定:缺陷分高、中、低三级并各定处置时限与是否阻断发布,复测校验标准与首轮一致,各维度合格线与综合总分不低于 85 分的标准逐项写明。标准一经确认不在评测过程中调整 | 数据集质量评测·实施过程 |
| 阶段验收要求:方案须完整覆盖全部评测指标,贴合企业业务实际场景,经甲方审核确认后方可通过 | 完全响应 | 提请确认时附两份核对材料:打分表与规范指标清单的逐条对照表(证明无漏项)、行业判据与业务实际的确认记录(证明贴合场景)。确认后方进入执行阶段 | 数据集质量评测·实施过程 |
| 3. 评测执行阶段:同步落地两大评测方法,完整执行全部指标检测工作,分两条线同步推进 | 完全响应 | 两条线并行推进但互不阻塞:静态检测按批次推进,动态验证按数据集子集推进;两线的中间结果汇入同一份缺陷台账与得分表,避免分别出结论后口径不一 | 数据集质量评测·实施过程 |
| (1)静态数据内生质量检测·自动化批量检测:开展元文档校验、文件结构、格式、空值、重复、音视频基础质量、隐私 PII、内容安全筛查等检测,输出结构化缺陷清单 | 完全响应 | 八类自动化检测按统一调度批量执行,输出结构化缺陷清单(指标名、样本标识、所在批次、命中规则、缺陷等级、建议处置);清单与我方内部质检的缺陷清单格式一致,便于合并跟踪不重复录入 | 数据集质量评测·实施过程;数据集质检 |
| 行业专家人工分层复核:逐项核查说明文档完整性、标注规范性、领域专业性、内容真实性、跨模态语义一致性等专业类指标,对自动化检出高危样本 100% 复核 | 完全响应 | 五类专业指标按分层抽样复核,复核人取自专家库相应领域并回避其参与过标注的批次;自动化检出的高危样本逐条复核(不抽样),复核结论为该样本处置的最终依据。本条的全量复核要求以「高危样本清单逐条签署复核意见」的方式落实,未签署即视为未完成本阶段 | 数据集质量评测·实施过程;数据标注专家库建设机制 |
| (2)基准模型动态应用验证:结合行业应用场景构建基准测试,量化数据集对 AI 模型训练的实际效用提升,确保数据集「不仅高质量,更要高效用」 | 完全响应 | 基准测试按 11 个场景的能力维度构建题集(取自基准测试数据集 0.95 万条的相应子集),实验按单变量原则执行;效用提升按能力维度分别给幅度与显著性,整体结论不以单一总分概括 | 数据集质量评测·实施过程;数据集验证 |
| 阶段验收要求:完成全部指标检测,无指标漏检,缺陷清单完整同步甲方 | 完全响应 | 以三份材料提请确认:指标执行情况对照表(逐项标注已执行与证据位置)、缺陷清单,以及检测过程记录。缺陷清单在执行过程中按周同步甲方,不积压到阶段末一次性提交 | 数据集质量评测·实施过程 |
| 4. 缺陷分析、整改指导与复测闭环阶段:首轮评测完成后,整合静态、动态评测全部指标打分结果、缺陷记录,开展综合分析 | 完全响应 | 综合分析输出三样东西:各维度得分与短板排序、缺陷按成因环节的分布,以及整改优先级建议(按影响范围与整改成本排序),使整改资源投向收益最大处 | 数据集质量评测·缺陷整改闭环 |
| (1)梳理三大维度指标下全部缺陷,标注缺陷对应指标名称、样本 ID、缺陷成因 | 完全响应 | 三项信息为缺陷台账的必填字段;缺陷成因按采集、预处理、标注、合成、增强五个环节归因,归因依据来自血缘记录而非推测 | 数据集质量评测·缺陷整改闭环;数据集–模型版本血缘追溯 |
| (2)针对每类缺陷出具标准化整改操作指引,明确修正标准、复检校验规则 | 完全响应 | 每类缺陷一份指引,含修正标准(改成什么样算对)、操作步骤、所需工具与复检校验规则(怎么验证改对了);指引以可交付给执行人员照做的粒度编写 | 数据集质量评测·缺陷整改闭环 |
| (3)结合模型动态验证短板,输出数据集场景补充、样本均衡优化、标注规范完善专项优化方案 | 完全响应 | 三类短板各出一份专项方案:场景补充方案给缺口场景与补采补造计划,样本均衡方案给调整维度与目标配比,标注规范完善方案给需修订的条目与修订后的重标范围。三份方案的执行结果在复测中验证 | 数据集质量评测·缺陷整改闭环;数据增强 |
| 整改复测机制:甲方完成数据修正后,供应商应开展完整复测,重新核算说明文档、数据质量、模型应用三大维度各项指标得分,直至所有缺陷整改完成;服务期内按约定提供复测服务 | 完全响应 | 复测按完整口径重算三维度得分,不只复查整改项——整改可能影响其他指标(如补数改变分布),因此分布与均衡类指标一并重算。服务期内的复测次数按约定提供,每轮复测出报告并更新台账 | 数据集质量评测·缺陷整改闭环 |
| 阶段验收要求:复测后高危缺陷全部清零,各维度指标得分达到最低合格线 | 完全响应 | 以高危缺陷台账(全部关闭状态)与复测得分表提请确认;高危项未全部关闭不提请验收,也不以「剩余项不影响使用」为由申请放行 | 数据集质量评测·缺陷整改闭环 |
| 5. 成果汇总与正式报告交付、整体验收阶段(1)归集评测准备、方案设计、评测执行、整改复测全流程原始资料 | 完全响应 | 原始资料按阶段归档,含现状表、抽样方案、打分表、检测记录、复核意见、实验日志与配置、缺陷台账、复测记录,逐份登记版本与归档时间,形成可溯源的数据质量档案 | 数据集质量评测·成果交付 |
| (2)根据静态检测得分、人工复核得分、动态模型实验得分,按权重核算说明文档、数据质量、模型应用三大维度分项得分及数据集综合总分 | 完全响应 | 核算过程以计分表呈现,逐级可回算:三级指标得分、维度加权、综合总分三层并列,权重取方案确认值。核算结果与过程记录一并交付,便于复核 | 数据集质量评测·成果交付 |
| (3)编制全套盖章正式评测报告,逐条列明每项指标最终得分情况 | 完全响应 | 报告逐指标列最终得分、评测方式、依据与整改情况;由具备资质的评测机构出具并盖章,我方承担组织、送检、材料准备与整改配合的全过程工作。出证周期受机构排期影响,排期在项目计划中预留;配合事项:评测机构选择与出证周期确认 | 数据集质量评测·成果交付 |
| 阶段交付物:《行业高质量数据集质量评测报告》 | 完全响应 | 按名称交付《行业高质量数据集质量评测报告》盖章正式版,附全套过程资料与数据质量档案;交付形态为签字盖章纸质版加可编辑源文件 | 数据集质量评测·成果交付;项目验收内容及标准 |
| 6. 整体验收硬性标准(1)全部高危缺陷清零,中低危缺陷整改完成率 100% | 完全响应 | 高危缺陷按全量检测、逐条登记、修复复测、台账关闭四步管理,未关闭即阻断数据集发布;中低危缺陷同样进台账逐条跟办,整改完成率趋向 100%,到验收时仍未关闭的项须逐条列出原因并经甲方书面确认,不以统计口径模糊处理。本条为招标文件设定的绝对指标,我方以机制保障而非口头承诺响应 | 数据集质量评测·整体验收 |
| (2)说明文档、数据质量、模型应用各维度得分均达到最低合格标准,数据集综合总分≥85 分 | 完全响应 | 三维度各自达标与综合总分不低于 85 分两项同时满足方提请验收;为此我方在内部质检阶段按同口径预评,预评未过不送正式评测,使正式评测不靠多轮复测拉分 | 数据集质量评测·整体验收 |
| (3)模型动态验证各项性能提升达到约定阈值 | 完全响应 | 各类数据集的提升阈值在评测方案中逐项约定并经甲方确认;未达阈值的数据集按三类短板归因后回流修复再复测,不以调整阈值的方式达标 | 数据集质量评测·整体验收 |
| (4)全套交付成果完整规范,可直接用于归档、审计、达标认证 | 完全响应 | 交付成果按四类用途分别编制材料清单与索引,使甲方取用时无需二次整理;成果的完整性以交付清单逐项签收确认 | 数据集质量评测·成果交付;项目验收内容及标准 |
硬件按五类设备交付,参数逐项对应招标文件技术参数栏;招标文件注明所列品牌不涉及指定、仅供参考,我方按「或相当于」口径选型且性能不低于技术要求。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 3.3 硬件部分、3.3.1 硬件采购清单及技术参数(标题) | 引用 | 正文按五类设备分节,逐节给型号、参数对照表、数量、安装与质保 | 硬件选型与配置 |
| 清单表头:序号、名称、技术参数及规格要求、数量、备注 | 引用 | 按原表五列口径应答,并在正文增设「我方投标参数」与「是否满足」两列形成逐条对照表 | 硬件选型与配置 |
| 1 服务器密码机 1 台:支持国产化 CPU 与操作系统,冗余电源,≥4 电口+4 光口;单设备最大存储≥4096 个对称密钥、≥2048 对非对称密钥;SM1 加解密≥1500Mbps,SM2 密钥对生成≥100000 次/秒,SM2 签名≥100000 次/秒,SM2 验签≥40000 次/秒,SM3≥1800Mbps,SM4 加解密≥1800Mbps;支持 RSA2048/RSA4096 与 SM1/SM2/SM3/SM4/SM9;支持 256 位 SM2;支持 AES、3DES 等及 ECB、CBC、OFB 模式与 SHA256/384/512;符合 GM/T 0018-2012《密码设备应用接口规范》、GM/T 0030《服务器密码机技术规范》 | 完全响应 | 按 1 台配置,参数逐项对照且不低于要求:国产化 CPU 与操作系统、冗余电源、接口数量、密钥存储容量、六项算法性能指标、国际与国密算法集、算法模式与杂凑算法逐项列入对照表并标注实测或厂商标称来源。标准符合性以《商用密码产品认证证书》与检测报告为证;与密码服务平台的联调按第 10 节的招标文件相应条款应答执行;配合事项:所投型号、厂商参数页与认证证书 | 硬件选型与配置·服务器密码机;安全方案 |
| 2 接入连接器 3 台:1 台工控机;国产 CPU 16 核心 3.5GHz;内存 32GB DDR5;存储 2 块 960GB SSD;双冗余热插拔电源;国产操作系统适配;功能含数据接入、数据资源、数据登记、数据接口、数据交付、审核管理、系统日志、日志分析、日志审计、身份管理、配置中心、区块链存证、运行监测管理、访问控制等 | 完全响应 | 按 3 台配置,硬件五项参数逐项对照不低于要求;国产操作系统适配提供兼容性互认证明。十四项功能逐项对应并给界面与接口说明,其中数据登记、数据交付与区块链存证三项与接入国家数据基础设施的目录标识登记、授权核验衔接(见「数据集运营服务管理平台方案」一节.7、第 16 节)。安装适配按第 10 节的招标文件相应条款应答执行;配合事项:所投型号与功能清单对照材料 | 硬件选型与配置·接入连接器;数据集运营服务管理平台 |
| 3 红外图像采集设备 15 台(熔池相机):高动态 CMOS 成像,分辨率≥1280×960,帧频≥30fps(推荐≥50fps);光学工作距离 160~400mm,可调或可定制;具备窄带滤光或主动近红外照明的强弧光抑制能力,电弧、熔池、焊丝、坡口边缘同屏可辨;千兆以太网/PoE 接口,须提供 SDK 可直接获取带时间戳的原始帧;防护≥IP65,工作温 -10℃~60℃,重量≤500g,支持外触发同步与工业接口 | 完全响应 | 按 15 台配置,对应 15 台焊接机器人各一台。参数逐项对照不低于要求,帧频按推荐值≥50fps 选型以保留熔池瞬态特征。两项要求与数据加工直接相关,在选型时作为硬条件:SDK 可取带时间戳原始帧——时间戳是时序与图像对齐的基准,无时间戳则焊接场景无法做参数与视觉的配对;强弧光抑制能力按四类目标同屏可辨验收,以现场实拍样张判定而非仅看参数表。防护等级、工作温度、重量与外触发同步逐项核对;配合事项:所投型号、厂商参数页与现场实拍样张 | 硬件选型与配置·红外图像采集设备;焊接过程控制智能监控验证 |
| 4 在线高温热成像设备 6 台(热处理加热过程测温与拍照,每台淬火机床 2 台):红外分辨率≥384×288;测温范围 -20~1500℃;测温精度 ±2℃或 ±2% 读数取较大值;热灵敏度≤50mK;具备发射率、反射温度、大气透过率参数补偿设置;测温区域至少支持 5 个测温点、5 个测温线、5 个测温区域;自动对焦;支持输出全辐射数据流,可通过 SDK 读取每个像素原始温度数据;温度输出支持 SDK、Modbus RTU/TCP 等协议;具备超温报警输出能力,可对接外部控制系统;具备 RJ45 网口、RS485 等工业通讯接口 | 完全响应 | 按 6 台配置(3 台淬火机床各 2 台)。参数逐项对照不低于要求;其中全辐射数据流与逐像素原始温度读取是本项目的关键能力——热处理场景需要的是温度场而非单点读数,只有逐像素原始温度才能支撑淬火区域位置与均匀性的分析。测温点、线、区域数量,三项参数补偿设置,以及协议与接口逐项核对;超温报警输出对接甲方控制系统的接口方式在集成方案中列明;配合事项:所投型号、厂商参数页与校准证书 | 硬件选型与配置·在线高温热成像设备;热处理过程智能监控验证 |
| 5 在线热成像设备 21 台(热处理淬火后温度测量与拍照 6 台、焊接前温度测量 15 台):红外分辨率≥384×288;测温范围 -20~650℃;测温精度 ±2℃或 ±2% 读数取较大值;热灵敏度≤50mK;具备三项参数补偿设置;测温区域至少支持 5 个测温点、10 个测温线、10 个测温区域;自动对焦;支持输出全辐射数据流,可通过 SDK 读取每像素原始温度;温度输出支持 SDK、Modbus RTU/TCP 等协议;具备超温报警输出;具备 RJ45 网口、RS485 等工业通讯接口 | 完全响应 | 按 21 台配置,用途分列:淬火后测温 6 台(3 台淬火机床各 2 台)、焊接前层间与预热温度测量 15 台(15 个焊接机器人各 1 台)。参数逐项对照不低于要求,测温线与测温区域按≥10 个选型(高于高温型号的 5 个要求,与本条要求一致)。本型号采集的淬火后温度与焊前预热、层间温度分别进入热处理与焊接两个场景的样本;配合事项:所投型号、厂商参数页与校准证书 | 硬件选型与配置·在线热成像设备;热处理与焊接过程监控验证 |
| 3.3.2 硬件配套技术服务和质保要求(标题) | 引用 | 正文按设备逐项给安装、调试、校准与质保安排 | 硬件选型与配置·配套服务与质保 |
| 表头:序号、名称、硬件技术服务和质保要求、备注 | 引用 | 按原表四列口径应答 | 硬件选型与配置 |
| 1 服务器密码机:须提供安装、调试服务,整机质保期不少于 12 个月 | 完全响应 | 提供上架、加电、初始化、算法调试与联调服务;整机质保不少于 12 个月,自终验合格之日起算,质保期内硬件故障由我方负责修复或更换,费用由我方承担 | 硬件选型与配置·配套服务与质保;项目服务·质量保证 |
| 2 红外图像采集设备:提供全套安装辅材、支架、线缆及配套配件,负责现场安装、接线、调试、校准、系统联调;整机质保期不少于 12 个月 | 完全响应 | 安装辅材、支架、线缆与配件全套随设备供货,不另计费;现场作业含安装定位、接线、参数调试、成像校准与与采集系统的联调,作业须在甲方批准的停机或非生产窗口进行。15 个工位的安装位置与视角由工艺人员确认后固定并记录,位置变动会使历史样本不可比。整机质保不少于 12 个月 | 硬件选型与配置·配套服务与质保;系统集成方案 |
| 3 接入连接器:提供全套安装辅材、支架、线缆及配套配件,负责现场安装、接线、调试、校准、系统联调;整机质保期不少于 12 个月 | 完全响应 | 按本条提供全套辅材与现场作业,调试含网络与证书配置、与运营平台的对接验证;整机质保不少于 12 个月。本设备为机房内安装,作业排期随甲方机房窗口确定 | 硬件选型与配置·配套服务与质保;系统集成方案 |
| 4 在线高温热成像设备:提供全套安装辅材、支架、线缆及配套配件,负责现场安装、接线、调试、校准、系统联调;整机质保期不少于 12 个月 | 完全响应 | 按本条提供全套辅材与现场作业;校准为本类设备的关键环节——测温精度依赖发射率、反射温度与大气透过率三项参数的现场标定,标定在实际工件与工况下进行并留标定记录,标定结果随数据一并存档,否则温度数据无法作为质量判据。整机质保不少于 12 个月 | 硬件选型与配置·配套服务与质保;热处理过程智能监控验证 |
| 5 在线热成像设备:提供全套安装辅材、支架、线缆及配套配件,负责现场安装、接线、调试、校准、系统联调;整机质保期不少于 12 个月 | 完全响应 | 按本条提供全套辅材与现场作业,21 台逐台标定并记录;焊接工位的 15 台与熔池相机同工位安装,两者的时钟同步在联调中一并校准,时钟不同步会使图像与温度无法对齐。整机质保不少于 12 个月 | 硬件选型与配置·配套服务与质保;焊接过程控制智能监控验证 |
| 3.4 网络部分:本项目涉及的网络建设工作由招标方负责(硬件安装部分除外),不影响项目系统上线 | 完全响应 | 按本条界定执行:网络建设由甲方负责,我方承担硬件安装部分所涉的机柜内布线、设备接入与接口适配,并在实施计划中列明所需的网络条件(地址规划、VLAN、策略开通、带宽)与需要到位的时间点,使网络工作与系统上线节点衔接。网络条件未按期到位时,先完成不依赖网络的部署与本地验证,待条件具备后补做联调,以此避免影响上线节点 | 系统集成方案·网络连接适配;项目组织实施与保障措施 |
本节关键承诺:项目管理制度按招标文件要求的制度项逐项建立并在项目启动后一个月内生效,制度文本与执行记录同时作为交付物。进度、质量、变更、风险四类管理动作的记录在平台中留痕,月度报告以平台记录为数据源,不另行编制与记录不一致的汇报材料。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 4 章项目建设周期:建设周期为合同正式签署后至 2028 年 5 月;按统筹规划、分步实施、迭代推进的原则,划分为基础设施及数据治理、数据集加工生产等阶段 | 完全响应 | 按合同签署后至 2028 年 5 月编制总计划,分期与招标文件的划分原则一致:第一期建基础设施与数据治理并完成源系统接入,第二期按业务域推进数据集加工生产与工具链交付,第三期完成场景验证、质量评测与运营推广。迭代推进体现在数据集按版本交付——每个版本都经质检与验证,不等到末期一次性交付。各期里程碑与交付物清单随进度计划提交 | 项目组织实施与保障措施·进度计划 |
| 第 5 章项目管理制度:投标方严格按项目实施计划推进落地工作,保障人力物力投入,定期开展工作总结与汇报;与招标方业务部门深入调研与沟通,理解业务需求,避免功能返工 | 完全响应 | 人力物力投入以人员配备表与进场计划固化;汇报按周报、月报、阶段评审三级节奏执行。避免返工的做法是前置确认——每个数据集子集开工前先确认数据项清单与标注规范,每个场景验证开工前先确认验证判据,确认件经业务部门签署。返工若由我方理解偏差造成,工期由我方内部缓冲吸收 | 项目组织实施与保障措施 |
| 合同签订后三日内,投标方提供加盖公章的《项目管理计划》,以文件形式罗列项目实施过程管理大纲,清晰陈述为保证项目成功拟采用的管理理论与方法 | 完全响应 | 《项目管理计划》在合同签订后三日内提交加盖公章版本,内容含管理大纲、组织与职责、进度与里程碑、质量管理、风险管理、沟通与汇报、变更控制、档案管理八部分,并说明所采用的管理方法及其在本项目的具体应用方式。该计划与投标文件的管理方案一致,不另起口径 | 项目组织实施与保障措施 |
本节关键承诺:实施团队的岗位设置、人数与到岗时间按招标文件要求配置,关键岗位在项目期内保持稳定,更换须经招标方确认且接替人员资历不低于原岗位要求。人员投入以可核验的考勤与工作记录为证据,驻场与远程的比例在实施方案中写明。
团队成员的姓名与资格材料属招标文件明确要求提供的材料,按要求在团队一节随简历与证书提供;本矩阵不重复列示个人信息。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 6 章实施团队:合同签订后三日内,投标方提供加盖公章的《项目人力资源配备表》,陈述关键项目成员的姓名、性别、年龄、学历、角色、职责、参与度(全职、兼职)、汇报关系等 | 完全响应 | 《项目人力资源配备表》在合同签订后三日内提交加盖公章版本,按本条所列字段逐项填写并附组织结构与汇报关系图;参与度按全职与兼职如实标注,全职成员的驻场安排一并列明 | 实施团队·人员配备 |
| 投标方项目实施团队达到如下要求:(1)配备项目总监、项目经理、实施顾问、开发顾问、开发人员等关键角色 | 完全响应 | 五类关键角色齐备配置,逐角色给岗位职责、所需技能与配备人数;角色之间的协作关系与汇报路径在配备表中体现。角色配置与项目分期的工作量匹配,各期投入人数在进场计划中列明 | 实施团队·人员配备 |
| (2)项目经理具备相关项目管理经验,至少主导过 5 个制造业相关项目,工作经验在 10 年以上,具有 PMP 或 PgMP 或同等机构项目管理职业认证 | 完全响应 | 项目经理按本条三项门槛配备:制造业项目主导经历不少于 5 个、工作经验 10 年以上、持有项目管理职业认证;简历中逐项列举对应的项目名称、角色与起止时间,认证证书提供复印件并承诺真实性;配合事项:项目经理简历、项目经历清单与项目管理职业认证证书 | 实施团队·关键岗位资格 |
| (3)实施顾问须具备制造行业项目实施经验,且具备较强的业务咨询能力,至少实施过 5 个中大型企业信息化项目 | 完全响应 | 实施顾问按不少于 5 个中大型企业信息化项目的实施经历配备,简历中列明项目规模、所承担的业务范围与咨询成果;业务咨询能力以其在数据治理与业务流程梳理方面的经历佐证;配合事项:实施顾问简历与项目经历清单 | 实施团队·关键岗位资格 |
| (4)项目经理、实施顾问和全职团队成员必须驻场工作,不接受远程调研和实施 | 完全响应 | 项目经理、实施顾问与全职成员按驻场方式工作,驻场地点为甲方现场,驻场周期与项目分期一致;驻场人员的考勤与在场情况按月报备。涉及现场数据的加工作业一律在甲方指定环境内进行,与驻场要求一致 | 实施团队·驻场安排;安全方案·数据出域管控 |
| (5)投标方向招标方提交实施团队各成员的简历,并承诺简历的真实性 | 完全响应 | 按要求提交全部成员简历并出具真实性承诺函;简历内容与社保、学历及认证材料可核对,经核查不实者我方自行更换并承担相应责任;配合事项:全体成员简历与真实性承诺函 | 实施团队·人员配备 |
| (6)如投标方要更换顾问等项目成员,须得到招标方书面确认同意后方可更换;当招标方对项目经理、顾问等成员提出异议要求更换时,投标方必须予以更换,且新更换人员须得到招标方认可,并按本技术要求及招标方其它要求提供该人员相关资料 | 完全响应 | 人员更换按双向规则执行:我方主动更换须事前书面申请并经甲方确认;甲方提出异议要求更换时,我方予以更换并在约定期限内提交替代人员资料报甲方认可。替代人员的资格不低于原岗位要求,交接期内新旧人员并行以免工作中断 | 实施团队·人员变更管理 |
| (7)投标方向招标方提供开发及实施团队成员简历,确保团队人员构成符合既定要求;针对项目中不同职位,须明确各岗位所需专业技能,并与团队配备人员技能形成对比表,确保所安排人员技能水平完全满足对应职位的能力要求 | 完全响应 | 编制「岗位技能要求—配备人员技能」对比表:左列按岗位列出所需专业技能(数据工程、标注管理、模型训练与评测、数据治理咨询、安全合规等),右列列配备人员的对应技能与佐证(项目经历、认证、作品),逐项标注满足情况。对比表随人力资源配备表一并提交;配合事项:岗位技能对比表所需的人员技能佐证材料 | 实施团队·岗位技能对比 |
本章条款是质保期内要逐条履约的承诺,因此每条都按可执行的安排应答,不写原则性表态。
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 7 章项目服务、7.1 技术支持(标题) | 引用 | 正文按七节分节给服务内容、响应时限与资源安排 | 项目服务 |
| (1)投标方承诺提供技术支持,并提供详细的技术支持与售后服务计划 | 完全响应 | 随投标文件提交技术支持与售后服务计划,内容含服务组织与人员、服务级别与响应时限、服务流程(受理、派单、处置、关闭、回访)、升级路径与联系方式,以及服务记录与报告安排。计划在合同签订后按甲方实际环境更新一版 | 项目服务·技术支持 |
| (2)免费技术服务期为 1 年,自双方代表在终验验收报告上签字之日起计算 | 完全响应 | 免费技术服务期按 1 年执行,起算点为终验报告双方签字之日,与质保期起算口径一致;服务期内的全部服务费用由我方承担,不以任何名义另行收费。服务期届满前一个月提交服务期总结与后续运维建议 | 项目服务·技术支持 |
| (3)免费技术服务期内,投标方提供 7×24 小时技术支持服务 | 完全响应 | 按 7×24 小时安排值班:工作时间由项目组驻场人员承担,非工作时间由值班人员承担并保持可联络;值班表与联系方式报甲方备案,人员变动即时更新。报障受理不受时段限制,受理即生成工单并计时 | 项目服务·技术支持 |
| (4)服务方式包括电话、电子邮件、现场服务等 | 完全响应 | 三种方式并行提供并统一归入工单系统记录:电话用于紧急报障与即时沟通,电子邮件用于需留痕的技术答复与材料交付,现场服务用于远程无法解决的问题。无论经哪种方式受理,均在工单中登记问题描述、处置过程与结果 | 项目服务·技术支持 |
| (5)现场服务主要适用于重大系统事故和远程技术支持服务无法解决的系统问题;现场服务要求在 48 小时内提供上门服务,响应时间半小时,包括软件技术服务、软件小版本升级、系统故障排除等;服务所产生的一切费用均由投标方承担 | 完全响应 | 两项时限按本条执行并分别计时:接报后半小时内响应(给出受理确认与初步判断),需现场处置的在 48 小时内到达现场。驻场期内由驻场人员即时到场,驻场结束后由备班人员按时限赴场。现场服务范围按本条含软件技术服务、小版本升级与故障排除;差旅、材料与人工等一切费用由我方承担。响应与到场时间以工单时间戳为准,便于考核 | 项目服务·技术支持 |
| 7.2 服务迁移:在招标方进行服务器操作系统、数据库管理系统替换时,投标方无条件配合完成系统迁移和数据切换,招标方不再支付相关费用 | 完全响应 | 配合迁移按四步执行:兼容性评估与迁移方案编制、测试环境验证、数据迁移与一致性校验、切换与回滚预案演练。迁移不另行收费。我方的系统设计已为此留出条件——应用与数据分离、数据访问层适配化,使更换操作系统或数据库时不需重构应用(见「专项智能工具链总体方案」一节.3 的应答);迁移前后以数据量、校验和与功能回归三项核对结果作为验收依据 | 项目服务·服务迁移;非功能性技术要求·开放性 |
| 7.3 培训实施和培训服务(1)投标方负责对招标方技术人员进行功能使用及技术培训,使其能掌握系统的使用、维护和管理方法,达到能独立进行配置、使用、管理、处理故障、日常维护等工作目的 | 完全响应 | 培训目标按「能独立操作」设定并以考核验证,不以听完课时为完成标志。按角色分三套课程:管理员课程覆盖配置、权限、监控与故障处置;数据加工人员课程覆盖采集配置、工具链使用、标注作业与质检操作;运营人员课程覆盖目录、订单、交付与清算。每套课程配操作手册与练习环境 | 项目服务·培训实施和培训服务 |
| (2)投标方负责对招标方相关技术人员进行软硬件产品安装、配置、诊断、管理、维护等方面的现场集中培训,培训时间不低于 5 天 | 完全响应 | 现场集中培训按不低于 5 天安排,内容覆盖本条五个方面并配实操环节:安装与配置在测试环境实机操作,诊断与维护以真实故障案例演练。培训日程、课时分配与讲师安排随培训方案提交;参训人数与分组由甲方确定后排期 | 项目服务·培训实施和培训服务 |
| (3)培训过程中使用的教材及软件维护指导材料等由投标方负责提供,培训后培训所涉及的材料移交至招标方 | 完全响应 | 教材、实操手册、维护指导材料与课件由我方提供,培训结束后全套移交并允许甲方内部复制使用;材料为可编辑源文件加成品文件两种形态,便于甲方后续自行组织复训 | 项目服务·培训实施和培训服务 |
| (4)投标方须制定与投标文件、合同、技术要求相应或更优的详细培训方案,明确具体的课程名称、培训时间、培训地点、培训内容、培训计划、培训方式 | 完全响应 | 培训方案按本条六项要素逐项写明,课程表精确到半天粒度;方案内容与投标文件、合同及技术要求一致,如有调整按更优口径执行并经甲方确认。方案在合同签订后一个月内提交 | 项目服务·培训实施和培训服务 |
| (5)培训地点集中招标方现场 | 完全响应 | 培训在甲方现场集中进行,场地、投影与网络等条件需求提前报备;涉及实操的课程在甲方测试环境或我方带入的便携环境中进行,不要求人员外出 | 项目服务·培训实施和培训服务 |
| (6)项目实施过程中采用实施和培训相结合的策略,边实施边培训;根据不同业务、不同功能,分阶段、分对象、分层次展开培训;培训结束后开展培训内容考核,检验培训效果,考核结果不满足通过标准的,招标方有权要求重新开展培训(具体考核内容、考核通过标准由双方项目经理讨论制定) | 完全响应 | 培训随实施节奏分期开展:每个模块上线前完成相应人员的培训,使培训内容与手上的工作对应。分对象按管理员、业务操作、运营三类,分层次按基础操作与进阶维护两级。考核内容与通过标准由双方项目经理共同制定并书面确认;未达通过标准的由我方重新组织培训,重训费用由我方承担,重训次数不设上限直至通过 | 项目服务·培训实施和培训服务 |
| 7.4 项目陪产:投标方须安排 1 名工程师进行至少 12 个月的陪产服务(自项目终验收之日起) | 完全响应 | 自终验之日起安排 1 名工程师驻场陪产不少于 12 个月,工作内容含日常运行巡检、问题即时处置、数据加工作业指导、小版本升级实施与运维知识转移;陪产人员的考勤与月度工作报告报甲方确认。人员如需更换按第 22 节的招标文件相应条款应答执行变更确认流程 | 项目服务·项目陪产 |
| 7.5 质量保证(1)提供的项目内容须符合本文件规定的品质、规范、功能要求 | 完全响应 | 交付内容按招标文件、投标文件、技术协议与合同四者中要求较高者执行;符合性以验收测试报告与逐条应答矩阵(本节)共同证明,验收时按本矩阵逐条核对 | 项目服务·质量保证;项目验收内容及标准 |
| (2)投标方须有扎实的技术实力及技术服务能力,能提供及时有效的服务,包括服务热线、现场服务、远程指导等,由此发生的所有费用由投标方承担 | 完全响应 | 服务能力以三项安排落实:服务热线与工单系统承接报障,驻场与备班人员承接现场服务,远程指导用于配置类与操作类问题。所发生费用全部由我方承担。技术实力以团队资格材料与同类项目经历佐证;配合事项:同类项目业绩材料与技术服务能力证明 | 项目服务·质量保证;实施团队 |
| (3)质保期为 12 个月(自项目终验收合格之日起计算);当本要求与本协议其它位置、合同、补充协议等要求不一致时,按照较高要求执行 | 完全响应 | 质保期按不少于 12 个月执行,起算点为终验合格之日;质保范围含软件缺陷修复、硬件故障处理与配套服务。要求不一致时按较高要求执行——这一口径我方在全卷统一适用(同见「专项智能工具链总体方案」一节.2 的与处置、第 25 节的应答),不以就低者为据 | 项目服务·质量保证 |
| 7.6 知识产权要求:投标方提供知识产权证明,不得使用未经授权软件;软件底层技术平台完全自主可控,能够满足项目国产化率不低于 80% 的需求;如需安装第三方应用系统软件,须提供原厂授权书 | 完全响应 | 三项逐项落实:提供自有软件的知识产权证明(软件著作权登记证书等)与第三方软件的原厂授权书,开源组件逐一登记许可类型并排除与商用交付冲突者;底层技术平台按自主可控选型,国产化率按不低于 80% 核算并出具国产化率计算表(口径见「数据加工生产(二):标注、合成、增强、质检、验证与项目管理」一节的应答);配合事项:软件著作权登记证书、第三方原厂授权书、国产化率计算表所需型号清单 | 知识产权相关建设;安全方案·信创适配 |
| 7.7 交付地点:宁夏天地奔牛实业集团有限公司 | 完全响应 | 全部交付物(硬件设备、软件介质、文档资料)交付至甲方指定地点,硬件到货后由双方共同开箱验收并出具到货验收单;交付前与甲方确认收货联系人与到货时间窗 | 项目服务·交付地点;系统集成方案 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 8 章保密及施工安全:投标方在系统安装调试过程中对涉及招标方的产品和商业秘密必须按照国家《保密法》及招标方的保密要求进行保密;投标方施工前按照招标方要求签署《保密协议》及《安全承诺书》 | 完全响应 | 保密按四项措施落实:人员签署保密承诺并按岗位授予最小必要权限,数据在甲方指定环境内加工且不出域,介质与文档按密级管控并登记流转,项目结束后按约定清退或移交数据与材料。施工前签署《保密协议》与《安全承诺书》;现场作业遵守甲方安全规程,进入生产区域的人员经安全培训与许可后方可作业;配合事项:保密协议与安全承诺书签署安排 | 安全方案·保密管理;项目组织实施与保障措施 |
| 第 9 章项目验收内容及标准、9.1 验收标准:本项目验收采用二次验收模式,即竣工验收和最终验收;项目实施完毕由投标方提出申请,由招标方讨论通过后组织验收 | 完全响应 | 按竣工验收与最终验收两次组织:竣工验收在建设内容完成、系统上线运行后提请,核验建设内容完整性与功能符合性;最终验收在稳定运行与质量评测、安全测评完成后提请,核验全部技术指标与交付资料。两次验收均由我方提出书面申请并附自查报告,经甲方讨论通过后组织 | 项目验收内容及标准 |
| 项目组在达到合同和技术协议规定的技术指标后提出验收申请 | 完全响应 | 提请验收的前置条件为我方内部自查通过:按本应答矩阵与差异表逐条自查,指标未达成项不得带入验收申请;自查报告随申请提交,列明各指标的实测值、证据位置与结论 | 项目验收内容及标准 |
| (1)按照合同与技术协议所规定条款进行验收,达到合同和技术协议规定的技术指标 | 完全响应 | 验收以合同与技术协议条款为依据逐条核验;本应答矩阵作为条款与证据之间的索引使用——每条要求可据此定位到正文章节与验收证据(测试报告、评测报告、交付文档),减少验收时的来回查找 | 项目验收内容及标准 |
| (2)项目软件、硬件的技术指标同时满足或高于招标文件、投标文件、技术协议、合同、蓝图设计方案等要求 | 完全响应 | 五份文件的要求取其较高者作为验收基准;我方在投标文件中承诺高于招标文件下限的指标(见第 26.1 节)按承诺值验收,不回落到招标文件下限。软硬件指标的实测值随验收测试报告提交 | 项目验收内容及标准 |
| (3)由投标方组织测试工作,在招标方的配合下形成验收测试报告,作为验收结论 | 完全响应 | 测试由我方组织并编制验收测试报告,测试用例覆盖功能、性能、安全与集成四类,用例与招标文件要求逐条对应;甲方配合提供测试环境、业务数据与业务人员确认。报告含用例清单、执行记录、缺陷与处置情况与最终结论 | 项目验收内容及标准 |
| (4)投标方按照招标文件要求、合同要求、技术协议要求及招标方提出的其它要求提供交付资料,由招标方检查资料正确性及完整性,相关资料须完整有效,符合招标方档案管理要求 | 完全响应 | 交付资料按 9.3 的 32 项清单逐项提供并编制交付清单与索引;资料的正确性以内部复核与版本一致性检查保证(文档内容与实际交付的系统版本一致),装订、命名与归档格式按甲方档案管理要求执行 | 项目验收内容及标准·交付资料 |
| 9.2 验收流程:项目建设内容按招标文件、投标文件、技术协议、合同、蓝图设计方案等文件要求完成;项目交付物完整且通过招标方评审后,投标方可申请项目验收 | 完全响应 | 验收流程按六步执行:交付物齐备自查、提交评审、评审意见整改、提交验收申请、组织验收、出具验收报告。评审意见整改完成后方提交验收申请,不带未关闭意见进验收 | 项目验收内容及标准·验收流程 |
| 9.3 验收资料要求:投标方提供系统的整套中文技术资料,提供纸质文档 2 套(按招标方要求装订后移交)、电子文档 1 套(刻录至光盘后移交) | 完全响应 | 按纸质 2 套、电子 1 套交付,全部为中文;纸质件按甲方要求装订并编制总目录与分册索引,电子件刻录光盘并附文件清单与校验和。电子文档的格式按 9.3 清单逐项对应(Word、Excel、PPT、PDF 与可编辑源文件) | 项目验收内容及标准·交付资料 |
| 清单表头:序号、交付物、电子版文档格式 | 引用 | 按原表三列口径应答,32 项逐项交付 | 第 24 节 |
| 1 项目实施方案 Word | 完全响应 | 按 Word 交付,内容含实施范围、分期安排、组织与资源、关键路径与风险应对,与投标文件的实施方案一致并按合同实际更新 | 项目验收内容及标准·交付资料 |
| 2 项目实施计划 Word | 完全响应 | 按 Word 交付,含里程碑、任务分解、责任人与时间节点,随项目进展按版本更新并留历史版本 | 项目验收内容及标准·交付资料 |
| 3 项目例会纪要及汇报材料 Word、PPT | 完全响应 | 按 Word 与 PPT 交付,周例会纪要与月度、阶段汇报材料按期归集,纪要含议题、结论与待办跟踪 | 项目验收内容及标准·交付资料 |
| 4 数据收集清单 Excel | 完全响应 | 按 Excel 交付,逐项列出所需数据项、来源系统、责任人、到位状态与时间,与第 7 节各系统接入卡的取数清单同源 | 项目验收内容及标准·交付资料;数据采集 |
| 5 数据导入模板 Excel | 完全响应 | 按 Excel 交付,按数据对象分表给字段、类型、必填与取值说明,并附填写示例与校验规则 | 项目验收内容及标准·交付资料 |
| 6 系统设计蓝图及相关源文件 Word、相关可编辑源文件 | 完全响应 | 按 Word 与可编辑源文件交付,含总体架构、部署架构、数据流与接口关系图;图形以可编辑源文件一并移交,便于甲方后续维护 | 项目验收内容及标准·交付资料 |
| 7 详细设计说明书 Word | 完全响应 | 按 Word 交付,含模块设计、数据结构、接口定义与关键算法说明,内容与交付的系统版本一致 | 项目验收内容及标准·交付资料 |
| 8 软件安装与配置文档 Word | 完全响应 | 按 Word 交付,含环境要求、安装步骤、配置参数、验证方法与常见问题处置,步骤可被甲方人员独立照做完成部署 | 项目验收内容及标准·交付资料 |
| 9 系统功能验证报告 Word | 完全响应 | 按 Word 交付,按功能点逐项列测试用例、执行结果与结论,功能点与招标文件要求逐条对应 | 项目验收内容及标准·交付资料 |
| 10 系统性能压力测试报告 Word | 完全响应 | 按 Word 交付,含压力测试与稳定性测试结果(见「专项智能工具链总体方案」一节.3 的应答):并发、吞吐、时延分位值、错误率与资源水位,并附测试方法与数据构造说明便于复测 | 项目验收内容及标准·交付资料;非功能性技术要求 |
| 11 系统集成技术方案 Word | 完全响应 | 按 Word 交付,含集成范围、实施步骤、接口清单与调试验收方法,范围按第 5.4 节与第 10 节的两处界定合并呈现不重不漏 | 项目验收内容及标准·交付资料;系统集成方案 |
| 12 系统集成接口说明书 Word | 完全响应 | 按 Word 交付,逐接口列协议、地址、参数、返回码、错误语义、调用频率限制与联调用例 | 项目验收内容及标准·交付资料 |
| 13 培训计划 Word | 完全响应 | 按 Word 交付,内容按第 23 节的招标文件相应条款应答的六项要素编制,含课程表与考核安排 | 项目验收内容及标准·交付资料 |
| 14 双周计划 Word | 完全响应 | 按 Word 交付,按双周滚动编制:上一周期完成情况、本周期任务与责任人、风险与待甲方配合事项,经双方项目经理确认 | 项目验收内容及标准·交付资料 |
| 15 问题管理清单 Excel | 完全响应 | 按 Excel 交付,含问题描述、提出方、提出时间、责任人、处置过程、关闭时间与关闭确认;与质检工单、整改台账的编号可互相索引 | 项目验收内容及标准·交付资料 |
| 16 需求跟踪矩阵 Excel | 完全响应 | 按 Excel 交付,自招标文件要求单元出发,经设计、实现、测试到验收逐级关联;该矩阵与本应答矩阵同源——本节给的是条款到正文的索引,需求跟踪矩阵给的是条款到实现与测试证据的索引 | 项目验收内容及标准·交付资料 |
| 17 硬件设备出厂序列号清单 Word | 完全响应 | 按 Word 交付,逐台登记设备名称、型号、序列号、安装位置与质保起止日期,与到货验收单一致 | 项目验收内容及标准·交付资料;硬件选型与配置 |
| 18 原厂授权书、售后服务授权书 PDF | 完全响应 | 按 PDF 交付,覆盖硬件设备与第三方软件;授权书中载明授权范围与有效期;配合事项:各厂商原厂授权书与售后服务授权书 | 项目验收内容及标准·交付资料 |
| 19 软件安装手册 Word | 完全响应 | 按 Word 交付,面向部署人员编写,与软件安装与配置文档的分工是:本手册给标准安装流程,配置文档给参数与环境适配 | 项目验收内容及标准·交付资料 |
| 20 用户操作手册 Word | 完全响应 | 按 Word 交付并按角色分册(管理员、数据加工、标注、运营、审计),每册含界面说明、操作步骤与常见问题 | 项目验收内容及标准·交付资料 |
| 21 开发技术文档 Word | 完全响应 | 按 Word 交付,含二次开发手册、数据结构、数据模型与数据字典四部分(见「专项智能工具链总体方案」一节.3 的应答),接口按版本号管理 | 项目验收内容及标准·交付资料 |
| 22 培训教程可编辑源文件 | 完全响应 | 按可编辑源文件交付,含课件、实操手册与练习数据;移交后甲方可自行修改用于内部复训 | 项目验收内容及标准·交付资料 |
| 23 计算机软件著作权登记证书和软件授权文件 PDF | 完全响应 | 按 PDF 交付,含本项目形成的软件著作权登记证书(不少于 6 项,见「安全方案」一节的应答)与所交付软件的授权文件;配合事项:软件著作权登记证书与授权文件 | 项目验收内容及标准·交付资料;知识产权相关建设 |
| 24 数据库表结构、字段说明书 Word | 完全响应 | 按 Word 交付,逐表列字段名、类型、长度、约束、默认值与业务含义,并标注与数据元标准的对应关系 | 项目验收内容及标准·交付资料;数据标准规划 |
| 25 软件永久性使用许可文件 | 完全响应 | 按文件形式交付永久性使用许可,许可范围覆盖本项目所交付软件且不限使用节点与许可数(与、的不限节点要求一致);配合事项:许可文件签署主体与范围确认 | 项目验收内容及标准·交付资料 |
| 26 项目实际解决方案及相关附件源文件 Word、PPT | 完全响应 | 按 Word 与 PPT 交付,反映项目实际落地的方案(含实施中的调整与原因),附件源文件一并移交;与投标阶段方案的差异逐项说明 | 项目验收内容及标准·交付资料 |
| 27 系统上线运行报告 Word | 完全响应 | 按 Word 交付,含上线时间、上线内容、运行指标、发生的问题与处置,以及上线后观察期的运行情况 | 项目验收内容及标准·交付资料 |
| 28 项目阶段性验收报告 Word | 完全响应 | 按 Word 交付,对应竣工验收,含验收范围、核验项目、结论与遗留事项及其处置计划 | 项目验收内容及标准·交付资料 |
| 29 项目验收自查报告 Word | 完全响应 | 按 Word 交付,按本应答矩阵与差异表逐条自查并列实测值与证据位置,自查不通过项不带入验收申请 | 项目验收内容及标准·交付资料 |
| 30 项目终验收报告签字版、Word、PPT | 完全响应 | 按签字版、Word 与 PPT 三种形态交付,内容含全部技术指标的达成情况、交付物清单签收情况与质保与服务安排 | 项目验收内容及标准·交付资料 |
| 31 项目实施全过程资料(1 套)文件夹(含可编辑源文件、子文件) | 完全响应 | 按 1 套文件夹交付,含五阶段过程资料与全部可编辑源文件及子文件,目录结构与交付清单对应,便于归档检索 | 项目验收内容及标准·交付资料 |
| 32 其他文档按招标方要求提供,不得增收费用 | 完全响应 | 甲方在验收与质保期内提出的其他文档需求,按要求补充提供,不增收费用;补充需求经数字化转型工作办公室提出并登记,交付后签收确认 | 项目验收内容及标准·交付资料 |
| 招标文件要求 | 响应 | 我方应答要点 | 正文位置 |
|---|---|---|---|
| 第 10 章其它要求(1)软件界面附有招标方 Logo(标识),按招标方要求设置 Logo 大小、颜色、位置,保证美观、协调、合理 | 完全响应 | 平台界面按甲方提供的标识规范设置 Logo,位置、尺寸与配色按规范执行并提交效果样张经甲方确认;标识文件与规范由甲方提供,确认后固化到界面主题配置中,不在各页面各自实现;配合事项:甲方标识文件与使用规范 | 数据集运营服务管理平台·界面规范 |
| (2)免费提供本次实施软件的下一次大版本升级 | 完全响应 | 下一次大版本升级免费提供,含升级实施、数据迁移与回归验证;升级时间由双方协商确定,升级前提交升级方案与回滚预案。免费范围覆盖本次实施交付的软件,不含甲方后续新增的其他需求开发 | 项目服务·技术支持 |
| (3)如有第三方参与项目,必须经过招标方同意并签字确认;未经同意私自转包或分包,导致的不利后果由中标人承担全部责任 | 完全响应 | 如需第三方参与,事前向甲方书面报备并取得签字确认后方可实施;报备内容含参与方范围、承担事项、人员资质与保密安排。未经同意不进行转包或分包。无论是否有第三方参与,交付责任与质量责任均由我方整体承担,对甲方的接口始终是我方单一主体 | 项目组织实施与保障措施 |
| (4)其他未尽事宜按补充协议执行(如有) | 完全响应 | 未尽事宜按双方签署的补充协议执行;补充协议与本项目既有文件的关系按招标文件相应条款的较高要求口径处理 | 项目组织实施与保障措施 |
| (5)当本协议规定的内容要求与合同、补充协议(如有)等要求不一致时,按较高要求执行 | 完全响应 | 我方在全卷统一适用本条口径:遇同一事项在不同文件或同一文件不同条款中要求不一致时,一律按较高要求执行并在应答中注明依据。本矩阵中已按此口径处置的事项有两处——招标文件相应条款的兼容性证明份数(取每类 3 份)、相应条款与其他位置的质保期(取较高者),均在相应行写明 | 第 25 节;第 5.2 节;第 23 节 |
| 特殊说明 1:技术要求中所列品牌/型号产品(或相当于)均不涉及指定,仅供投标人参考;各投标人可参照其性能,选用对应性能的其他品牌但不得低于本技术要求;投标人须提供同等档次或以上型号产品 | 完全响应 | 我方按本条口径选型:所投设备性能不低于技术参数栏的各项要求,档次为同等或以上;选型不以招标文件所列品牌为限,参数对照表中逐项列出所投参数与要求值的比较结果。所列品牌在我方方案中仅作为性能参照,不作为指定依据 | 硬件选型与配置·选型口径 |
| 特殊说明 2:投标人若被列入中国煤炭科工集团有限公司或宁夏天地奔牛实业集团有限公司供应商黑名单且在限制期限内,将取消其本项目的中标人资格;后续中标人在服务期限内若被列入上述供应商黑名单,招标方将终止其一切供应合同 | 完全响应 | 我方知悉本条规定并确认:截至投标时未被列入上述两家单位的供应商黑名单;服务期内将按合同与技术要求履约,避免发生导致列入黑名单的情形。本条为资格性与履约性约定,我方接受其后果约定,不提出保留条件;配合事项:无黑名单情形的声明函 | 商务与资格·资格声明 |
| 第六章产品规格表(或同类格式表)中由投标人填写的空白行:2 | | | | 填报 | 本行为招标文件留白、由投标人填写的表单行。填写口径:按所投产品逐行填列名称、规格型号与技术参数,内容与第 20 节的硬件参数对照表及产品规格表正文一致;行数按实际所投产品数量增减,不留空行。本矩阵不代填具体数值,填写在第六章格式部分按表格式样完成;配合事项:产品规格表具体填列内容,随硬件选型定稿同步填入 | 投标文件格式·产品规格表 |
第五章用户需求书各条的响应结论逐条列于本矩阵相应行。高于招标文件下限的条目汇总于第 26.1 节,以绝对值表述的指标条款的应答口径见第 26.2 节;两处结论与投标文件「技术与商务规格差异表」逐条一致,以定稿时的实际交付安排与可核验材料为准。
| 招标文件下限 | 我方交付 | 高出部分 |
|---|---|---|
| 预训练≥600 亿 Token、指令微调≥80 万条、偏好≥6 万组、基准≥0.9 万条 | 615 亿 Token、89 万条、6.6 万组、0.95 万条 | 四项全部高于下限 |
| 同上(业务范围处重述) | 同上,并按四个业务域分解到位 | 四项全部高于下限 |
| 运营平台功能模块不少于 14 个 | 按采购清单实列的 16 个模块建设 | 多 2 个模块 |
| 同上(服务采购清单处列 16 项) | 16 个模块逐一建设 | 高于 2.2 节的 14 个下限 |
| 数据治理规划文档至少不少于 25 份 | 按清单实列的 37 份全部交付 | 多 12 份 |
| 数据模态不低于 3 种 | 时序、图像、文本、视频共 4 种 | 多 1 种模态 |
| 项目内部管理制度不少于 7 份 | 按 8 份编制 | 多 1 份 |
表 26-1 正偏离项汇总。各项的实现口径见本矩阵相应行与正文对应章节。
招标文件中有四处以绝对值表述的指标。这些是甲方设定的要求,我方逐条响应而不回避;响应方式是把绝对指标转化为可执行的机制加可核验的闸口,而不是以口头承诺对待。
| 招标文件绝对表述 | 我方响应机制 | 不达标时的处置 |
|---|---|---|
| 三维度指标 100% 全覆盖核验 | 全部三级指标逐项列入打分表,覆盖情况以打分表与规范指标清单逐条对照核验,无指标免检 | 对照发现漏项即补测,不出具缺项报告 |
| 高风险缺陷 100% 清零;中低风险缺陷整改完成率 100% | 高风险五类全量检测不抽样、逐条登记、修复后复测、台账未关闭即阻断数据集发布;中低风险同样进台账逐条跟办 | 高风险项未全部关闭不提请验收;中低风险到验收仍未关闭的逐条列明原因并经甲方书面确认 |
| 数据集综合质量得分≥85 分 | 内部质检按同一指标口径先行预评并整改,预评未过不送正式评测 | 正式评测未达线按缺陷归因回流修复后复测,不调整评分标准 |
| 全部识别通过后生成的工艺卡片及工序附图 100% 准确率 | 以「图纸要素全部识别通过」为前置条件;首轮给实测准确率作基线,对未通过样本按识别偏差、规则缺失、模板不匹配三类逐例归因整改,逐步接近完全准确;工艺工程师审核确认环节保留 | 前置条件不成立的图纸不进入自动生成,转人工编制的应急工艺通道,不影响生产下发 |
表 26-2 绝对指标条款的应答口径。四处均以机制与闸口响应,相关行的详细应答见「数据资源采集接入方案」一节.1、第 19.7 节与第 15.3 节。
本矩阵各条应答要点中列明的配合事项,按责任方汇总如下,给出每项的用途、需要到位的时点与未按时点到位时的处置方式。配合事项未到位的,按本表所列方式继续推进其余工作,相关安排在蓝图设计阶段与招标方逐项确认后写入实施计划。
| 序号 | 配合事项 | 用途 | 需要到位的时点 | 未到位时的处置 |
|---|---|---|---|---|
| 1 | 17 类源系统接口文档、连接信息与只读账号 | 开通取数通道 | 各系统接入卡签署前 | 先完成接入方案与字段映射设计,待开通后执行取数 |
| 2 | 各源系统数据字典或数据库设计说明书 | 字段映射依据 | 取数开始前 | 按样本数据反向整理字段说明并交业务确认后使用 |
| 3 | 各源系统取数范围与敏感字段清单确认 | 界定取数边界与脱敏范围 | 接入卡签署时 | 按最小必要原则先取确定可用部分 |
| 4 | SCADA、EMS、热处理群控测点清单与采样率 | 时序订阅与对齐 | 时序通道开通前 | 先按已知测点试点,清单到位后补齐 |
| 5 | PLM 历史图纸批次清单、机械制图标准与工艺编制准则 | 图纸解析与标注判据 | 工艺设计域开工前 | 缺判据不开展标注,避免错标返工 |
| 6 | 11 类制度与 9 类合同目录清单及现行版本认定 | 通用场景语料底座 | 知识库构建前 | 仅处理版本明确的资料 |
| 7 | 九个业务域指标口径与计算逻辑文件 | 指标知识库与决策问答口径 | 决策场景开工前 | 口径缺失项列清单待确认,不自行定义 |
| 8 | 加装传感器清单、安装位置与停机窗口 | 制造过程域补采 | 现场施工排期前 | 先用既有测点数据开展加工,补采后增量入集 |
| 9 | 熔池与焊道图像采集点位、焊道类型来源字段 | 焊接场景样本配对 | 焊接场景验证前 | 焊道类型从机器人程序或工艺卡片关联获取 |
| 10 | 历史缺陷案例存量与成因记录完整度 | 热处理缺陷溯源验证 | 场景验证方案确认时 | 样本量不足时定向补采并在报告标明样本量 |
| 11 | 多厂区库存数据开放范围与调拨规则 | 跨厂闲置识别 | 库存场景验证前 | 先在单厂区范围内验证 |
| 12 | 库存管控指标口径与超龄、滞留阈值 | 库存指标体系 | 库存场景验证前 | 以行业常用口径出初稿待确认 |
| 13 | 选型关键参数计算公式与适用条件 | 参数计算能力验证 | 选型场景验证前 | 公式未确认不做回算验证 |
| 14 | 适用国标规范清单与现行工艺卡片范围 | 焊接工艺知识库 | 焊接知识库构建前 | 按已有卡片先建,清单到位后补全 |
| 15 | 法规清单、风险规则初稿确认与案例库来源 | 合同合规审查 | 合规场景验证前 | 无可获取案例来源的如实说明,不编造案例 |
| 16 | 历史投标文件、资质业绩材料归集范围与密级 | 标书问答语料 | 标书场景验证前 | 仅归集密级明确且允许使用的部分 |
| 17 | 主数据历史审批记录可获取范围 | DCMM 证据材料 | 模拟评估前 | 补登并标注补登说明,不伪造历史时间 |
| 18 | 涉密边界与设备参数密级边界、适用行业指引清单 | 评测范围与判定标准 | 评测方案确认时 | 边界未定的数据暂不纳入本轮评测 |
| 19 | 隔离区资源规格与网络策略审批 | 离线评测环境 | 评测执行前 | 环境未到位不启动评测 |
| 20 | 网络地址规划与安全策略审批 | 硬件接入与联调 | 硬件安装前 | 先完成不依赖网络的部署与本地验证 |
| 21 | 甲方标识文件与界面使用规范 | 平台界面 Logo 设置 | 界面定版前 | 先预留标识位,规范到位后一次性配置 |
| 22 | 支付通道选择与商户资质信息 | 运营平台在线支付 | 订单与清算模块上线前 | 先上线线下转账登记方式 |
| 23 | 挂牌主体信息与交易机构选择 | 数据集资产化运营 | 挂牌办理前 | 先完成确权与登记,挂牌待主体确定 |
| 24 | 年度营收目标值与定价授权范围 | 盈利模式分解 | 运营方案定稿前 | 提供分解方法与模型,目标值由招标方确认后代入 |
| 25 | 培训对象名单与排期 | 培训实施 | 培训方案定稿前 | 按角色出通用课程表,名单到位后排期 |
| 26 | 业务专家对接安排 | 行业判据确认 | 评测准备阶段 | 以我方本体与需求清单为底稿待确认 |
| 27 | 对外技术支持渠道与联系方式 | 数据集说明卡的技术支持项 | 数据集发布前 | 先以运营平台工单系统为主渠道 |
表 27-1 招标方提供的实施输入。各项的取数范围、授权方式与接收记录在各系统接入卡中逐项登记。
| 序号 | 事项 | 责任方 | 需要到位的时点 | 未到位时的处置 |
|---|---|---|---|---|
| 1 | 等保测评与商用密码应用安全性评估机构选定与排期 | 第三方机构 | 合同签订后一个月内 | 排期不可满足终验节点时提前报请调整验收安排 |
| 2 | DCMM 贯标评估机构选定与排期 | 第三方机构 | 治理规划完成后 | 按既定方案与配合安排推进,出证时点随机构排期确定 |
| 3 | 数据集质量评测机构选定与出证周期 | 第三方机构 | 评测准备阶段 | 调整评测批次划分,优先完成首个版本全量评测 |
| 4 | 外部语料采购与授权范围、标准文本获取授权 | 外部 | 外部语料入集前 | 授权不明的一律不入集 |
| 5 | 软件著作权登记证书 | 我方 | 按季度跟办至终验前 | 以受理凭证计量并在验收说明写明 |
| 6 | 专利受理通知书 | 我方 | 按季度跟办至终验前 | 同上 |
| 7 | 论文投稿与录用材料 | 我方 | 按季度跟办至终验前 | 承诺节点为投稿与录用节点 |
| 8 | 软件永久性使用许可文件签署主体与范围 | 我方 | 交付前 | 范围未确认前不出具许可文件 |
| 9 | 标准验证参与渠道、试点申报与立项归口确认 | 标委会与主管机构 | 按年度跟办 | 渠道未开放时先完成项目内指标实测与修订建议 |
| 10 | 保密协议与安全承诺书签署 | 我方与甲方 | 现场施工前 | 未签署不进场作业 |
| 11 | 国产化率计算表所需型号清单 | 厂商与我方 | 验收前 | 按已定型号先行核算,补充型号后更新 |
| 12 | 《项目管理计划》与《项目人力资源配备表》 | 我方 | 合同签订后三日内 | 无替代,按期提交 |
表 27-2 第三方机构出证与签约履约阶段事项。出证类事项由具备资质的机构按其程序出具,我方承担组织、送检、整改与档案归集的全部义务。