这是奔牛项目的撰写首页。新提的意见和交稿只留在本机。 今日总结 · 定稿条件 · 返回项目列表
投标文件预览 1 节 · 已撰写 1 · 生成 2026-10-16 15:42 ← 任务卡片招标文件原文成稿目录 ✎ 阅读批注(1819) 选中任意一段文字即可提修改意见;点橙色单元号回招标文件原文 ⬇ 终稿 PDF ⬇ 终稿 DOCX 致移动三章 预览 ⬇ 致移动三章 Word

GHY-26691 · 数据加工生产服务(第01包)
投 标 文 件(预览稿)

递交截止 2026-10-20 09:30 · 生成于 2026-10-16 15:42
预览稿,非最终投标文件;各节内容以各任务 MAIN.md 为准。

目 录

  1. 第二卷 技术方案
  2. T1C 数据集建设及指标要求 批注 3 ······434

第二卷 技术方案

2.2.23 数据集建设及指标要求

T1C ↗

负责人 欧阳未 · 状态 初稿 · 覆盖 44 个标书单元 ·  批注 3

1、四大数据集的定位、总规模与达成逻辑

四个数据集的分集要求、其它指标要求以及数据集卡片的字段规范,分别在本节第三至第八部分展开。

1. 四个数据集对应企业四条业务主线,不是四个数据仓库

招标文件要求通过数据集加工生产验证服务生成供需计划、产品工艺设计、制造过程、产品质量四大数据集,形成多源汇聚、标准统一、时效性强、模态丰富的行业数据资源池(b1578)。这四个名字不是按系统划分的,也不是按部门划分的,而是按甲方四条真实的业务主线划分的:订单怎么来、图纸怎么变成工艺、工件怎么被加工出来、质量怎么被判定。

甲方的事务系统覆盖已经成型,产品全生命周期管理、企业资源计划、制造执行、质量管理、仓储与物流、协同办公、数据采集与监控、装备远程运维各有承载,业务数据长期留存。真正缺的不是数据,而是数据之间的关联:同一个物理工件的过程事实分散在若干系统与若干纸质记录中,跨系统追一件事仍要人工对账。

因此我方对这四个数据集的理解是:它们是四组按业务对象重新组织过的、带标注与证据的样本集合,而不是四份导出的数据副本。衡量它们建成没有,看的不是落了多少库表,而是三件事能不能成立:样本能不能绑定到施工号、图号、工单号、炉次、焊道、设备编码这些业务对象上;过程数据与质量结论能不能成对;每一条样本能不能溯源回原始数据、加工链路与工具版本。这三件事构成本节全部规模承诺的前提。

四个数据集各自装什么、装多少、怎么证明装够了,是本节逐项作答的内容:第二部分定规模的计量规则、十六个子集的净量—损耗—受理量测算与四层核验;第三至第六部分逐集给出来源构成与四个用途子集的样本结构、难度分层、许可与发布条件;第七部分给模态与时效的占比测算;第八部分给数据卡的出卡粒度与字段落点。

2. 四大数据集总规模

招标文件分四张表给出了四个数据集的规模要求(b1582、b1587、b1592、b1597)。我方按原表数值承接,汇总如表 1。表中「Token」即词元,是语言模型处理文本时的基本计量单位,其计量规则见本节第二部分。

表 1 四大数据集规模要求与我方承接汇总

用途子集供需计划产品工艺设计制造过程产品质量合计对应招标文件单元
预训练数据集(亿 Token)27670105164615b1583r02、b1588r02、b1593r02、b1598r02
指令微调数据集(万条)4010152489b1583r03、b1588r03、b1593r03、b1598r03
强化学习偏好数据(万组)3.20.811.66.6b1583r04、b1588r04、b1593r04、b1598r04
基准测试数据集(万条)0.40.10.20.250.95b1583r05、b1588r05、b1593r05、b1598r05

表 1 数据来源:招标文件第 92—94 页表格 3-1 至表格 3-4 原值;四集合计与招标文件第 45 页项目数据质量目标所列下限(预训练 ≥600 亿 Token、指令微调 ≥80 万条、强化学习偏好 ≥6 万组、基准测试 ≥0.9 万条,b0670)及第 46 页业务范围(b0683)一致,合计值均高于下限。

四张分集表的表头行(b1583r01、b1588r01、b1593r01、b1598r01)为招标文件原表的列标题,在表 1 中以「用途子集 / 数据集」二维形式合并呈现;四张分集原表在第三至第六部分各自原样复现,供逐表对照。

项目目标层写的是下限(b0670、b0683),分集表写的是分配值。我方以分集表的分配值作为生产计划与交付承诺的依据,合计 615 亿 Token、89 万条、6.6 万组、0.95 万条;相对目标下限分别留出 15 亿 Token、9 万条、0.6 万组、0.05 万条的余量。这个余量不是用来宣称超额的,它的用途是吸收质检与验证环节的剔除量。去重、脱敏剔除、标注返工、分布均衡性削峰都会减少可发布样本。没有余量,交付前就只剩下降低质检门槛这一条路。

3. 四大数据集与十一个验证场景的供数关系

招标文件要求建成的数据集支撑不少于 11 个行业细分任务场景(b0674),业务范围列明了六个专业场景与五个通用场景(b0684)。四大数据集与这些场景不是一对一关系:一个场景可能取多个数据集的子集,一个数据集也服务多个场景。本包只承担数据集加工生产、质量评测与场景验证,智能场景本身的建设不在本包范围内,因此下图画的是供数与验证反馈的流向,不是场景的实现架构。

图 1 四大数据集的供数关系与规模核验链路

业务对象主键贯通层(施工号 · 图号 · 工单号 · 炉次 · 焊道 · 设备编码) 样本必须绑定到业务对象,未绑定的样本不进入规模计量 供需计划数据集 276 亿 / 40 万 / 3.2 万 / 0.4万 产品工艺设计数据集 70 亿 / 10 万 / 0.8 万 / 0.1 万 制造过程数据集 105 亿 / 15 万 / 1 万 / 0.2 万 产品质量数据集 164 亿 / 24 万 / 1.6 万 / 0.25万 按用途子集切分后供数(预训练 / 指令微调 / 偏好 / 基准,附数据集卡片与版本指纹) 六个专业场景验证 五个通用场景验证 问制度 · 问技术 · 问标书 · 问数据 · 合同合规审查 场景可用性结论、失败样本清单 规模与指标核验(三道):工具链自动计量 → 资产台账复核 → 第三方评测 核验口径见本节第二部分;评测指标体系见《数据集质量评测方案》 未达量或不达标 按归因定向回流 数据集运营服务管理平台:移交登记 · 版本管理 · 挂牌展示 · 对外接口 本包交付至移交登记为止,平台功能建设见《数据集运营平台》 选型 · 备料工艺 · 库存 · 热处理 · 焊接 · 健康诊断

图 1 四大数据集的供数关系与规模核验链路。数据来源:数据集划分与规模依招标文件第 92—94 页表格 3-1 至表格 3-4(b1583、b1588、b1593、b1598);场景清单依第 46 页 2.2 业务范围(b0684);核验与移交环节依第 91—92 页 3.2.6.3.9、3.2.6.3.10(b1561、b1567、b1575)。

4. 规模承诺的表述方式

规模数值是承诺,我方按表 1 所列数值组织生产并作为交付依据。覆盖度、完整度、准确率一类比例指标与规模不同,它们受源系统开放范围、历史记录完整度与标注人力影响。这类指标我方一律按「基线值—目标值—未达时的处置」三档写明,表述为逐步接近目标值,不作绝对化承诺。例如多模态样本占比的目标是不低于 40%(b1601r03),我方给出的测算值为 45.9%,同时写明测算所依据的条数口径,以及口径若在蓝图设计阶段被重新定义时的调整办法。这样处理的理由很直接:比例类指标一经承诺即为验收条款,而它的取值取决于口径;把口径与调整办法一并写明,验收时双方按同一口径复算,不会出现「数对口径不对」的争议。

2、规模计量规则、净量测算与达成的四层核验

招标文件给出了数值,没有给出计量口径;而「615 亿 Token」按不同分词器、不同去重时点、是否计入合成数据,结果可以相差一倍以上。规模是本包最硬的交付承诺之一,口径不先定死,验收时双方对同一批数据会得出不同结论。

1. 计量规则

口径要定的是四件事:按什么单位数、数的是哪一个加工阶段的产物、什么时候数、以及哪些东西明明在库里却不能数。前三件决定数字本身,第四件决定数字可不可信——同一批数据,把去重前的副本算进去与算出去,差额可以是两成;把增强出来的改写副本也算进去,差额还要更大。五项计量对象因此逐项按这四件事定死,不留「视情况而定」的余地。

五项之中前四项对应四个用途子集,第五项「数据条数」单列,是因为多模态占比与时效性占比两项指标的分母用的就是它(第七部分)。分母定义不写进规则,占比就无从复算:同一批数据集,把预训练集的篇章条数算进分母与不算进分母,多模态占比可以差出二十个百分点以上。

我方建议在蓝图设计阶段以《数据集规模计量规则》形式与甲方书面确认下表口径,并在每一版数据集卡片中声明本版所用的规则版本号(规则版本一经确认,同一数据集的历次版本不得中途更换,否则版本间规模不可比)。

表 2 数据集规模计量规则

计量项单位计量口径计量时点不计入的情形
预训练数据集亿 Token以项目统一确认的分词器对发布态文本计量;图像、时序、视频等非文本模态按其结构化描述文本与标注文本计量,不按像素或采样点折算去重、脱敏、质检通过并发布之后未通过质检的批次;被去重判定为重复的副本;仅存在于中间加工态的临时文本
指令微调数据集万条一条=一组「指令+输入+参考输出」,同一指令配不同输入计多条,同一输入配多个等价参考输出计一条同上仅改写措辞而语义等价的扩增副本(计入增强批次台账,不计入规模)
强化学习偏好数据万组一组=同一提问下的一对或多对可比较回答及其偏好序,含偏好理由字段方计为有效组同上缺偏好理由或标注员间不一致未裁决的组
基准测试数据集万条一条=一个带唯一正确答案或评分细则的评测样本,须与训练用样本按来源与时间双重隔离冻结发布之后与指令微调集存在来源同批或内容重叠的样本
数据条数(占比指标的分母)万条四个用途子集中以条或组为计量单位的样本合计;预训练集以 Token 计量,其篇章级样本条数单列统计,默认不计入占比分母同上同上各项

表 2 数据来源:计量项与单位依招标文件表格 3-1 至表格 3-4(b1583r02—r05 等);隔离要求依第 91 页 3.2.6.3.9 对基准评测子集固化评测协议的规定(b1554);去重与分布控制依第 90 页数据集质检环节要求,具体方法见《数据加工生产二:标注 · 合成 · 增强 · 质检 · 验证 · 项目管理》(第 389—433 页)。

三条口径须随表 2 一并确认。

其一是合成数据的计入上限。招标文件要求建设数据合成与数据增强环节(3.2.6.3.6、3.2.6.3.7),合成样本是达成规模的正当手段,但合成样本的知识密度低于真实样本。招标文件已明确要求按用途子集控制合成数据占比,且基准评测子集不得使用任何形式的合成数据(b1512、b1513)。我方据此给出具体上限:预训练子集不高于 30%,指令微调子集不高于 45%,偏好子集不高于 50%,基准测试子集为零——基准集全部来自真实业务样本并经人工裁定。该上限写入数据集卡片的内容特征字段,由质检环节自动统计并在超限时阻断发布。

其二是多模态样本的 Token 换算。图纸、缺陷图像、过程曲线本身不产生 Token,产生 Token 的是它们的结构化描述与标注文本。我方不采用把图像折算为等效 Token 的做法,原因是折算系数无公认依据,一旦采用,规模数字就无法被第三方复算。

其三是跨模态去重与合并计数。同一业务对象的多种模态表达——一张缺陷图像、它的结构化描述文本、它在检验报告中的文字结论——属同一条样本的不同字段,合并计一条,不按模态拆成三条。判重以业务对象主键加业务发生时间为键:同一键下的多模态记录先归并,再参与去重与规模计量。跨集之间(如焊接过程参数段与焊接质量结论)以对象标识双向引用关联,引用不产生新的计量条目。该规则使「多模态样本条数」与「样本总条数」取自同一个分母,不会出现模态越多、条数越多的计量膨胀。

2. 净交付量、预计损耗与受理原始量

规模数值是净交付量,不是投料量。从源系统受理的原始数据到可发布的样本之间,有去重、脱敏剔除、版面还原失败、标注返工与裁决剔除、分布均衡性削峰若干道减量;若按净量组织投料,每一道减量都要靠降低质检门槛来填平。本节因此把每一个子集的投料量先算出来。四个量的定义与关系如下:

表 3 十六个子集的来源对象、净交付量、预计损耗与受理原始量(测算)

数据集用途子集来源对象与清点口径单位净交付量预计损耗率受理原始量
供需计划预训练合同与技术协议件、订单与排产记录行、物料与型谱主数据项、库存与采购单据行、矿方工况与地质资料件、会商与访谈纪要件;按单据号、文档号、主数据编码清点亿 Token27632%405.9
供需计划指令微调选型校核案例、补货与库存决策案例、合同与技术协议条款、产销协同工单、客户与工况参数表;按案例号与条款号清点万条4025%53.3
供需计划偏好选型候选排序的专家裁定、补货方案取舍记录、风险提示措辞修改痕迹、报告底稿修订痕迹;按裁定记录与修订版次清点万组3.235%4.9
供需计划基准未被用于训练的项目集合中的选型、库存、合规、抽取样本;按项目号与业务发生时间双重切分后清点万条0.442%0.7
产品工艺设计预训练历史二维图纸、与之配对的工艺卡片、专利说明书与公开标准手册、许可范围内的期刊与厂商技术资料、设备与工装台账条目、工艺变更单、定额计算记录;按图号、卡片号、文献号、台账条目号清点亿 Token7026%94.6
产品工艺设计指令微调图纸识读与特征抽取案例、工序选择与排序案例、卡片字段生成案例、展开长与定额计算案例、工艺审查差异案例;按图号与工序码清点万条1022%12.8
产品工艺设计偏好工艺卡片从初稿到签发之间的修改痕迹、工序排序方案的评审意见、可借用工艺的选用记录;按变更单号清点万组0.830%1.1
产品工艺设计基准按零件类型与板厚档位分层抽取、未参与训练的图纸与卡片对;按图号分层清点万条0.140%0.2
制造过程预训练热处理炉次时序段、焊接设备与机器人参数时序段、在役装备运行时序与报警日志、工单与工序流转记录、运维检修知识条目、装载与计量记录;按炉次号、焊道号、设备编码、工单号清点亿 Token10538%169.4
制造过程指令微调热处理曲线偏离案例、焊接参数偏差归因案例、设备健康异常判断案例、工单流转问答、计量与装载登记问答;按时序段标识与工单号清点万条1528%20.8
制造过程偏好同一异常下实际采取与未采取的候选处置、归因结论的复核意见、检查顺序的实际执行记录;按处置记录号清点万组134%1.5
制造过程基准按同材料批次同装炉方式、同型部件同工况段分组抽取、未参与训练的时序段;按炉次号与部件号分组清点万条0.245%0.4
产品质量预训练检验项目与检验记录、焊接缺陷图像及标注、无损检测报告(含纸质)、原材料化验与来料批次记录、不合格品票与返修记录、质量追溯链;按检验记录号、缺陷码、报告号、施工号清点亿 Token16430%234.3
产品质量指令微调缺陷分类与定级案例、检验项目判定案例、根因追溯链案例、无损检测报告生成与复核案例、不合格品处置案例;按缺陷码与检验记录号清点万条2424%31.6
产品质量偏好多名检验人员对同一缺陷图像的判定差异及最终裁定、根因解释的评审意见、报告表述的修订痕迹;按裁定记录号清点万组1.632%2.4
产品质量基准按缺陷类别分层抽取、未参与训练的缺陷图像与检验记录;按缺陷码分层清点万条0.2544%0.4

表 3 数据来源:净交付量依表 1;来源对象依招标文件 b1580、b1585、b1586、b1590、b1591、b1595、b1596 所列数据范围;预计损耗率与受理原始量为测算值,损耗构成依第 90 页数据集质检环节的去重、脱敏与分布控制要求及第 91 页 3.2.6.3.9 的隔离要求(b1554)。受理原始量四项合计:预训练 904.2 亿 Token、指令微调 118.5 万条、偏好 9.9 万组、基准 1.7 万条。

损耗率的分集差异有明确来由。预训练子集中制造过程集最高(38%),因为秒级时序按工艺段降采样后,同一工况段的重复描述占比高;工艺设计集最低(26%),因为图纸与工艺卡一一配对、天然低冗余。基准子集的损耗率在四类子集中最高(40%—45%),这不是加工质量问题,而是隔离规则的必然结果:凡与训练样本同批来源或内容重叠的候选样本一律剔除,宁可剔多不可留错,否则评测结果会系统性偏高。

表 4 十六个子集的分期产量、真实数据补充来源与损耗补足路径(测算)

数据集用途子集分期累计产量(一期/二期/三期/终期)真实数据补充来源损耗补足路径
供需计划预训练27.6/124.2/234.6/276 亿 Token协同办公与企业文档的历史归档批次;纸质合同与矿方资料数字化;许可范围内的行业与政策公开语料先扩源(开通未开通业务域的只读接口)→ 再扩量(纸质数字化批次前移)→ 最后在 30% 上限内以合成补足
供需计划指令微调3.2/14/32/40 万条历史选型方案回溯标注;业务专家结构化访谈;合同与技术协议条款逐条成题先提高预标注与一致性校验工具链的使用比例降低返工 → 再扩案例来源 → 最后在 45% 上限内以合成补足
供需计划偏好0/0.8/2.24/3.2 万组历史方案投运使用评价(须增设填报入口);资深工程师对候选排序的裁定投运评价覆盖不足时,来源由投运评价为主调整为专家裁定为主,样本量不变并在卡片记录来源构成变化
供需计划基准0.08/0.2/0.4/0.4 万条未参训项目集合,按业务发生时间晚于训练截止时间切分不以合成补足;隔离命中剔除后的缺口由扩大未参训项目集合与延后时间切分点补足
产品工艺设计预训练7/31.5/59.5/70 亿 Token产品全生命周期管理系统按图号或项目分批开通的原生图纸;工艺归档卡片;专利说明书与公开标准图纸接口受限时,改以工艺卡片侧结构化文本为主、图纸侧以缩略图与关键尺寸摘要替代,缺口由工艺卡片与专业知识两类来源补足
产品工艺设计指令微调0.8/3.5/8/10 万条图纸与工艺卡成对样本的逐对成题;工序字典固化后的工序设计成题工序字典未成文时先按知识本体建设路径固化,再据以标注;返工缺口由扩大配对批次补足
产品工艺设计偏好0/0.2/0.56/0.8 万组工艺变更与审查记录(初稿到签发之间的修改痕迹)变更记录不足的工序类别,补充组织专家成对评审,并在卡片标注该类别偏好来源
产品工艺设计基准0.02/0.05/0.1/0.1 万条按零件类型与板厚档位分层、未参训的图纸卡片对不以合成补足;某一层样本不足 50 条时扩大该层的抽样项目范围
制造过程预训练10.5/47.25/89.25/105 亿 Token数据采集与监控、热处理群控、焊接产线控制、装备远程运维平台的历史时序;运维检修知识文档测点覆盖不足的时段不入集,缺口由扩大工况段覆盖与运维知识条目补足;感知设备到位后按批次回补
制造过程指令微调1.2/5.25/12/15 万条时序段三段式成题;工艺文件参数窗口与事后检验结论成题粒度不足的设备段落按档位分层保留但不计入细粒度任务,缺口由扩大设备与工况段范围补足
制造过程偏好0/0.25/0.7/1 万组处置记录填报入口(系统预填、经手人确认)填报覆盖不足时,由工艺与检修人员对历史异常段落补做成对裁定
制造过程基准0.04/0.1/0.2/0.2 万条未参训的炉次与部件分组不以合成补足;分组不足时扩大炉次与部件型号范围
产品质量预训练16.4/73.8/139.4/164 亿 Token质量管理系统结构化检验记录;产线缺陷图像采集;纸质检测与化验报告三档数字化纸质存量超出盘点预估时按三档顺序交付,无损检测报告类来源占比下调,缺口由检验记录与缺陷图像标注文本补足
产品质量指令微调1.92/8.4/19.2/24 万条缺陷名录与分级判据固化后的逐缺陷成题;追溯链逐链成题判据未成文时先固化判据再标注;返工缺口由扩大检验记录批次补足
产品质量偏好0/0.4/1.12/1.6 万组多人判级差异与最终裁定(随质量管理系统推行自然产生,按月归集)判级差异样本不足的缺陷类别,补充组织盲评产生成对裁定
产品质量基准0.05/0.12/0.25/0.25 万条未参训的缺陷图像与检验记录,按缺陷类别分层不以合成补足;天然稀少类别的样本不足时以人工构造样本补充,构造样本单列标记、与真实样本分别统计准确率

表 4 数据来源:分期累计产量依表 3 净交付量与表 6 各期比例测算;补充来源依各集第五部分所列源系统与资料范围;补足路径依本节第七部分未达量处置顺序与各集局限性小节的回退办法。

3. 一个完整的计算例:产品工艺设计数据集预训练子集

受理原始量不由「分配值除以平均 Token 长度」倒推得到——那样算出来的只是一个与源系统无关的商数,盘点时无从核对。实际的算法方向相反:先按业务主键清点来源对象的件数,再乘以该类对象经试点批次实测的单位 Token 产出,得到受理原始量,最后按损耗率折为净交付量;若乘积低于分配值,差额走表 4 的补充来源与补足路径,而不是回头调大单位产出。下表以产品工艺设计数据集预训练子集为例给出完整算式。

表 5 产品工艺设计数据集预训练子集受理原始量的逐对象测算

来源对象清点单位对象数单位受理 Token 产出受理原始量(亿 Token)折净后归入表 14 的来源类别
历史二维图纸(按图号清点)张630,0005,15032.45图纸解析结构化文本 24.0
历史工艺卡片(与图纸一一配对)张630,0003,86024.32历史工艺卡片与工序字典 18.0
专利说明书(矿山装备与金属加工分类号)件120,0008,2009.84机械制图与工艺专业知识、标准规范 11.0
公开标准与制图、工艺手册件2,20032,0000.70同上
许可范围内的期刊论文与厂商技术资料篇70,0006,2004.34同上
设备与工装、样板台账、压弯与排料参数条目条4,050,00030012.15设备与工装、样板台账、压弯与排料参数 9.0
工艺变更与审查记录单件250,0002,7006.75工艺变更与审查记录 5.0
排料与材料定额计算过程记录件1,000,0004054.05排料与定额计算过程记录 3.0
合计———94.6070.0

表 5 数据来源:历史图纸 63 万张为甲方需求说明书原文所载口径;其余对象数为按甲方现有系统与归档规模所做的规划测算,以蓝图设计阶段的实际盘点结果为准;单位受理 Token 产出为测算值,以试点批次实测值替换;损耗率 26% 依表 3;折净后的六类来源构成与表 14 一致。

算式为:受理原始量 94.60 亿 Token × (1 − 26%)= 70.0 亿 Token,等于表 1 分配给本子集的 70 亿 Token。六类来源折净后分别为 24.0、18.0、11.0、9.0、5.0、3.0 亿 Token,与表 14 的来源构成逐行相等。

这张表同时说明了盘点结果偏离测算时的处置方向。若实际清点得到的历史图纸少于 63 万张,缺口不由调高单位产出掩盖,而是按表 4 的补足路径处理:先扩专利说明书与公开标准手册的受理范围(这两类对象数可外部获取、不受甲方归档进度制约),再扩台账与定额记录的历史区间;两者仍不足时,才在 30% 的合成上限内以合成语料补足,并在数据集卡片的内容特征字段记录本版的实际合成占比。其余十五个子集按同一算式逐项测算,各自的对象数与单位产出在蓝图设计阶段随盘点结果写入《数据集规模计量规则》的附表。

4. 分期达成计划

建设周期至 2028 年 5 月。规模不是在末期一次性堆出来的,我方按四期组织生产,每期设累计达成下限,如表 6。各期的达成下限是阶段验收的核对口径,也是发现偏差后尚有时间纠偏的前提;分数据集、分子集的各期产量见表 4。

表 6 四大数据集规模分期累计达成下限

用途子集第一期(口径与基线,合同生效起 3 个月内)第二期(主体加工,至第 9 个月)第三期(补齐与均衡,至第 18 个月)第四期(规模达成与复测,至 2028-05)
预训练(亿 Token)≥61.5(10%)≥277(45%)≥523(85%)615(计划值)
指令微调(万条)≥7.1(8%)≥31.2(35%)≥71.2(80%)89(计划值)
强化学习偏好(万组)—≥1.65(25%)≥4.6(70%)6.6(计划值)
基准测试(万条)≥0.19(探路集,20%)≥0.48(50%)0.95(首版冻结)0.95(第二版冻结并复测)
阶段主要产出计量规则确认、数据集卡片模板定稿、对象主键映射表、四集各一个样例批次四集预训练子集首版发布、指令微调主任务类型覆盖齐模态与时效占比达标测算复核、分布均衡性整形完成首轮全量评测与缺陷整改复测(b0688)、资产台账终版、移交登记

表 6 数据来源:规模值依表 1;期次划分依招标文件第 1 页建设周期与第 92 页数据集项目管理按版本组织产出的要求(b1567);基准集冻结与复测依第 91 页 3.2.6.3.9(b1554、b1561)与第 46 页评测要求(b0688)。

5. 真实、合成与增强三类样本的分类与去重统计

规模数字里有多少是真实业务样本、多少是合成样本、多少是增强副本,必须逐子集说清楚,否则「达量」二字可以用改写措辞堆出来。三类样本按下列定义分开统计,三类的统计口径与计入规则各不相同:

表 7 十六个子集的真实、合成、增强计划构成与去重统计口径

用途子集真实样本计划占比合成样本计划占比合成上限增强副本(不计入规模)集内重复率与基准集交叉命中处置
预训练(四集同口径)100%0%(上限作缺口余量)≤30%按分布整形需要生成,单列台账基线首版实测/趋向 ≤1.0%/超出时重跑去重并重算规模后方可发布命中样本整条移出预训练子集,记入隔离日志
指令微调(四集同口径)≥60%≤40%≤45%同上基线首版实测/趋向 ≤0.8%/处置同上同上
强化学习偏好(四集同口径)≥70%≤30%≤50%同上基线首版实测/趋向 ≤0.8%/处置同上同上
基准测试(四集同口径)100%0%(硬性,不设余量)0不适用基线首版实测/趋向 ≤0.3%/处置同上本子集为隔离基准,反向比对训练侧并剔除训练侧命中样本

表 7 数据来源:合成上限依招标文件 b1512、b1513 对合成占比控制与基准子集禁用合成的要求;增强副本不计入规模依表 2;去重与相似度比对结论的记录字段依第 90 页质检环节要求(b1544)。计划占比为测算值,实测值逐版本写入数据集卡片。

四项去重统计随每一版本出具,口径固定为四项:集内重复率(同一子集内按文本指纹与向量近邻双判)、跨子集重复率(同一数据集四个子集之间)、跨集归并条数(按业务对象主键合并的多模态记录数)、与基准集的交叉命中数及其处置结果。四项统计进入数据集卡片与质检报告,并随数据集一同封装,使第三方可复算。

基准子集的独立性由三条同时成立来保证,缺一不可:零合成;来源与时间双重隔离(取自未被用于训练的项目集合,且业务发生时间晚于训练样本截止时间);隔离一经建立不得回填。三条写入评测协议并随基准集冻结,评测时由评测机构核对。

6. 规模达成的四层核验

规模达成不靠人工报数,靠四层可复算的核验,逐层收口。前两层证明「这一批是什么、有多少」,后两层证明「这一批合格、够用」。

第一层是清单核验。每一批次发布时随数据集生成校验清单,逐个样本文件登记路径、字节数与内容摘要值,并由数据集质量与分布控制类工具链自动输出规模统计(样本数、Token 数、模态构成、时效性分布、合成样本占比、重复率、去重四项统计)。统计脚本与分词器版本随数据集一同封装,甲方或第三方可在脱离平台的环境中按清单逐项复算(b1569、b1570)。工具链的功能要求见《工具链三:质量与验证类》(第 691—745 页)。

第二层是版本摘要核验。对校验清单整体计算摘要值,再对数据集卡片中除指纹字段本身以外的全部字段按固定序列化规则计算摘要值,与内容摘要一并构成三段式版本指纹(生成方式见本节第八部分)。版本摘要把「清单所列」与「卡片所声明」锁在同一个值上:任何一个样本被替换、清单被改动或卡片中的规模字段被修改,指纹都会变化。各版本的样本规模、模态构成、时效性占比、许可状态与使用情况同时记入数据集资产台账(b1573、b1574),台账与清单统计逐版本对账,差异超过 0.5% 的版本不予发布,须先定位差异来源;台账按月出具一份增量报表提交甲方数字化转型工作办公室。

第三层是质检核验。每一批次在发布前出具《数据集质检报告》,按保真度、完备性、规整性、均衡性、可用性、可信性六个维度逐项判定;规模相关的门控项包括去重后净量是否达到本期累计下限、合成占比是否在上限之内、基准子集的隔离命中是否为零。质检结论为「不通过」的批次不得发布,「条件通过」的批次须列出遗留缺陷及其关闭计划。质检门控的执行方法见《数据加工生产二:标注 · 合成 · 增强 · 质检 · 验证 · 项目管理》(第 389—433 页)。

第四层是评测核验。招标文件要求完成首轮全量评测与缺陷整改复测并输出正式盖章评测报告(b0688),评测指标体系中的「规模完整性」一项即衡量数据集规模是否满足目标场景预先定义的要求(b2076、b2077)。我方以第三方评测结论作为规模达成的最终认定依据。评测依据、指标与实施过程见《数据集质量评测方案》(第 1432—1479 页)。

7. 五类异常情形的补充与重验步骤

四层核验的作用是把问题挡在发布之前,被挡下之后怎么办须同样写明。下表逐类给出判定口径、补充办法与重验范围;五类情形的共同约束是不以降低质检门槛的方式过关,且每一次补充与重验都在数据集卡片的版本变更记录中留痕。

表 8 五类异常情形的补充与重验步骤

异常情形判定口径补充办法重验范围版本处置
不足量某期末某子集的累计净交付量低于表 6、表 4 所列该期下限按顺序处置:一、核对源系统开放范围,未开通的业务域转为人工补录与纸质数字化两条替代路径;二、核对标注产能,一致率不达标导致返工的,扩充预标注与一致性校验工具链的使用比例而非放宽一致率要求;三、按表 4 的补充来源扩源扩量;四、最后才在合成上限内补量补量批次单独出质检报告;全子集重算规模统计与四项去重统计本期不发布正式版本,以增量批次合入下一版本;缺口与成因记入卡片的局限性字段
模态不足某集的多模态条数占比低于测算值,或四集汇总低于 40% 加 5 个百分点的安全边界优先补图像与时序类来源的受理批次(缺陷图像、交检拍照、图纸局部视图、时序段落),而非把单模态样本重复标注成多模态重算该集与四集汇总的多模态占比,核对跨模态归并条数未被重复计入低于安全边界的版本先补批次再发布;占比与分母口径写入卡片
时效不足某一版发布前重算的近三十六个月条数占比低于 45% 的安全边界补充近期批次:优先取质量管理、制造执行与企业资源计划三类系统的当期增量,这三类的业务发生时间明确且留存完整重算全集时效占比,核对基准日、时间边界与未知业务时间条数的处置补足后方可发布;基准日与区间写入卡片的业务发生时间范围字段
许可撤回某一来源的授权条款变更、到期或被撤回,或商用可用性核查结论由可用转为不可用该来源样本整批下架并从在用版本中移除;缺口按表 4 的补充来源补足,优先取企业自有数据;受影响批次的血缘记录逐条标注下架原因重算规模、模态与时效三项统计;对下游已发布版本出具影响范围说明发布撤回版本修订号,在版本变更记录中写明撤回范围与替代来源;不以静默替换的方式处理
评测不通过第三方评测的维度得分未达最低合格标准,或综合总分低于 85 分按评测报告的缺陷清单归因到加工环节,经血缘追溯定位到具体批次与工具版本,作定向回流而非全量重做;规模类缺陷按本表前三行处置,标注与内容类缺陷回标注与质检环节整改后申请缺陷整改复测(b0688);复测范围覆盖全部整改批次与受影响的关联子集复测通过后发布新版本并更新卡片的质量与评测字段;复测结论随版本封装

表 8 数据来源:异常类型依招标文件第 46 页评测与整改复测要求(b0688)、第 90—91 页质检与验证环节要求、第 92 页按版本组织产出的要求(b1567);许可与合规处置依数据许可与合规审查的登记要求(b1534);安全边界取值依本节第七部分与第四部分的测算余量。

8. 分项规模逐项达标,不跨领域冲抵

表 1 的十六个格子各自是一条独立承诺。某一数据集某一子集超产,不得用于冲抵另一数据集或另一子集的欠产;四集合计达到 615 亿 Token 而供需计划集只做到 240 亿,不算达标。核验时逐格比对,十六格全部达到分配值方判规模达成,台账、质检报告与评测报告三处的规模统计也一律按格出具、不出具合计掩盖分项。

这条规则与占比类指标的核算层级不同,两者不可混用。规模是招标文件按数据集逐表分配的(表格 3-1 至表格 3-4),因此按格承诺、按格核验;多模态占比与近三十六个月占比是招标文件对整套数据集提出的(表格 3-5 及 b0670、b0683),因此在四集汇总层面核算达标,分集占比如实记录在各自的数据集卡片中。四集汇总核算不是允许冲抵规模,恰恰相反:规模不冲抵是占比可以按汇总核算的前提——十六格都足量,汇总占比才有意义。

9. 计量规则与指标的适用条件

计量规则的适用对象分两类,判定方式与可变动性不同。

第一类是招标文件原表给出的数值:表 1 的四集汇总、第三至第六部分各集的规模表、第七部分的其它指标要求表。这一类是交付承诺,不随现场盘点结果变动,按本部分第 1 小节的口径计量、按第 6 小节的四层核验逐版复算、异常情形按第 7 小节处置、达标判定按第 8 小节逐格进行。

第二类是我方的规划测算值:各集内部的来源构成、对象数与单位产出、损耗率与受理原始量、模态构成、时效构成、占比测算与三类样本的计划占比,在各表的来源说明中以「测算」标明。这一类用于说明达成路径与资源安排,其取值随现场数据盘点与蓝图设计阶段的口径确认而调整,调整后的实测值逐版写入数据集卡片的内容特征与建设过程字段,但不改变第一类的承诺值。测算值与实测值出现偏差时,调整的是来源配比、损耗补足路径与生产排期,不是承诺规模。

占比类指标另有一层适用条件:其结果取决于「数据条数」统计基数的定义,基数口径见第七部分第 2 小节。我方的承接值按该小节的口径一计算;若蓝图设计阶段与甲方及第三方评测机构确认改用其他基数,我方按新基数重新测算,并相应调整各集多模态样本与近三年样本的生产计划,总规模与达标结论不变。所用规则版本号与基数口径一并记入每一版数据集卡片,使任一版本的占比结果都可按其声明的口径复算。

3、供需计划数据集

1. 业务主线与当前的数据困难

招标文件要求本数据集面向「以销定产、以产定采」的供需协同业务主线,聚焦产品智能选型、库存计划优化等业务场景,整合销售、合同、订单、客户、产品、库存、采购、排产等全链路业务数据与历史经验文档,构建覆盖「需求识别—方案匹配—合同合规—产销协同—资源调度」全流程的高质量数据集(b1580)。

这条主线上的数据困难有三处,数据集的设计必须正面处理它们。第一处在需求输入端。装备按矿井工作面条件定制,选型输入并非全部来自客户单方面提供的文档:产量与作业制度类参数来自矿方生产规划,地质与煤质类参数来自矿方地质条件报告,而截深、截高、推移步距一类接口参数是矿方与配套装备各方会商妥协后确定的,往往只存在于交流过程中,没有规范的电子留痕。

第二处在历史方案端。历史选型方案以文档形式散存,没有结构化库;更关键的是方案留存时未随结论一并留存输入参数,投运之后用得好不好也没有回到选型环节。第三处在口径端。库存口径存在多套并存的情况,商机与成交的对应关系未回溯对齐,余料无可用尺寸台账,外购有效提前期无历史统计。

招标文件进一步要求,通过建设本数据集把沉淀于各业务系统、历史方案与专家头脑中的经验显性化、结构化,支撑「人工智能+供需计划」的全流程智能决策(b1581)。「专家头脑中的经验」这半句对数据集建设是一条实质要求:它意味着本集中必须有一部分样本不是从系统里导出来的,而是通过结构化访谈、历史方案回溯标注与业务规则提炼生成的。我方把这部分列为独立的生产任务,配专门的采集模板与审核流程,不与系统导出批次混同计量。

图 2 供需协同业务主线五环节与三处数据困难的位置

供需协同业务主线(以销定产、以产定采) 需求识别 方案匹配 合同合规 产销协同 资源调度 困难一 · 需求输入端 产量与作业制度来自矿方规划 地质与煤质来自地质报告 截深截高等接口参数由多方 会商确定,无规范电子留痕 困难二 · 历史方案端 历史选型方案以文档散存 没有结构化库 留存结论未留存输入参数 投运效果未回到选型环节 困难三 · 口径端 库存口径多套并存;商机与成交未回溯对齐 余料无可用尺寸台账 外购有效提前期无历史统计 口径映射表随集发布 我方做法:无系统承载的部分列为独立生产任务——结构化访谈 · 历史方案回溯标注 · 业务规则提炼 配专门的采集模板与审核流程,不与系统导出批次混同计量

图 2 供需协同业务主线五环节与三处数据困难的位置。数据来源:业务主线与全流程环节依招标文件第五章供需计划数据集建设要求(b1580);经验显性化与结构化要求依 b1581;三处数据困难依甲方现场盘点与需求说明书所述现状。

2. 规模要求与分解

供需计划集在四个数据集中规模最大:预训练子集 276 亿 Token 占四集合计 615 亿的四成五,指令微调 40 万条占 89 万条的四成五。这个分配与上一小节的三处数据困难是一致的——装备按矿井工作面条件定制,一套配置可行不可行,判据散落在矿方的生产规划、地质条件报告、会商纪要与工程师的经验里;要让样本能复现这个判断过程,就得把销售、合同、订单、库存、采购、排产这几条线上十余年的文字记录整体收进来,体量自然最大。

招标文件表格 3-1 原值如表 9,我方按原值承接。原表在此原样复现、不改写、不与别集合并,是因为这四个数字各自是一条独立的交付承诺:预训练子集超产不能冲抵指令微调子集的欠产,本集超产也不能冲抵别集的欠产(第二部分第 8 小节)。验收时逐格比对,照抄原表就是比对的起点。

表 9 供需计划数据集数据规模要求(招标文件表格 3-1 原表)

供需计划数据集数据集规模单元
预训练数据集(亿 Token)276b1583r02
指令微调数据集(万条)40b1583r03
强化学习偏好数据(万组)3.2b1583r04
基准测试数据集(万条)0.4b1583r05

表 9 数据来源:招标文件第 92 页表格 3-1(b1582、b1583r01—r05)原值。

276 亿这个数字本身指导不了生产。真正要回答的是:这些文字从哪里来、各有多少、分别卡在什么地方。因此把总量拆到七类来源,每一类标明它的承载系统——拆分的依据不是文档的题材,而是取数的接口:一类来源对应一个要开通的只读账号或一次导出作业。拆到这个粒度,蓝图设计阶段才能逐行去谈接口、谈权限、谈导出批次,而不是拿着一个总数去问「数据什么时候能给」。

若按题材拆,会漏掉一件要紧的事。七类里有一类没有系统承载——供需协同经验与会商结论整理 26 亿 Token,接近总量的一成,对应的正是上一小节所说那部分「只存在于交流过程中、没有规范电子留痕」的接口参数与取舍理由。这部分不会随任何接口自动流出来,要靠结构化访谈与历史方案回溯逐条生成,周期长、人力重、且依赖甲方业务人员的时间。把它单独成行而不是摊进别的来源里,是为了让这块工作量从一开始就被看见、被排期。

预训练子集 276 亿 Token 的来源构成测算如表 10。表中各行之和等于 276,构成比例在现场盘点后可调整,总量不变。

表 10 供需计划数据集预训练子集来源构成(测算)

来源类别亿 Token主要承载系统或资料模态加工要点
销售与合同文本(含技术协议、投标与选型方案)68协同办公、企业文档文本按合同主体与项目号绑定;敏感商务条款按密级分级处置
订单、排产与产销协同记录54企业资源计划、制造执行文本(结构化转述)结构化记录转为自然语言陈述句式后计量,保留原字段映射
客户与矿方工况、地质资料42协同办公、企业文档、项目归档文本+图像纸质资料数字化后版面还原;工况参数抽取为参数表并与原文定位绑定
产品与部件型谱、物料主数据与价格38产品全生命周期管理、企业资源计划文本+图像标准件库补齐适用条件、替代关系、在产状态三项字段
库存、采购与到货记录34企业资源计划、仓储管理与物流执行文本多套库存口径统一到同一时点口径后入集,口径映射表随集发布
供需协同经验与会商结论整理26结构化访谈、历史方案回溯文本本集中无系统承载的部分,按专项生产任务组织
行业与政策公开语料(许可范围内)14公开渠道文本逐条登记来源与许可凭证,不可商用的不入集
合计276———

表 10 数据来源:总量依表 9;来源类别依招标文件 b1580 所列业务数据范围;承载系统依第 46 页实施范围(b0680)与我方对甲方现有系统条件的理解。构成比例为测算值。

3. 用途子集的内容设计

指令微调子集 40 万条按任务类型分解:产品智能选型问答与校核推理 13 万条、库存与补货计划决策 9 万条、合同与技术协议合规问答 7 万条、产销协同与排产调度 6 万条、客户与工况参数抽取 5 万条。选型类样本是本集中技术含量最高的一部分,其设计依据是甲方现有公式的性质。

现有公式是校核公式而不是正算公式,工程师必须先凭经验预设一整套配置,再连同工况参数代入验算。因此选型类样本不能只做「给参数出结论」的问答对,必须包含配置候选的生成、逐项校核的中间步骤与排序理由,样本结构为「工况参数+候选配置+校核过程+排序结论+理由」五段式。这类样本的思维链部分由思维链构建类工具链生成初稿、由业务专家裁定,工具链要求见本卷《工具链一:数据构建类》(第 553—611 页)。

强化学习偏好数据 3.2 万组按偏好对象分解:选型推荐排序偏好 1.4 万组、补货方案取舍 0.9 万组、合同风险提示措辞 0.5 万组、报告底稿质量 0.4 万组。偏好标注的判据来自两处:历史方案的投运使用评价分级,以及资深工程师对候选排序的裁定。前者当前无系统性记录,须在既有流程中增设填报入口由系统预填、经手人确认,属于本集需要从零补录的字段,我方在数据集卡片的局限性字段中如实记录其覆盖进度。

基准测试子集 0.4 万条按能力维度分解:选型校核 0.16 万条、库存决策 0.12 万条、合同合规 0.07 万条、参数抽取 0.05 万条。本子集与指令微调子集按来源与时间双重切分隔离:来源切分指基准样本取自未被用于训练的项目集合,时间切分指基准样本的业务发生时间晚于训练样本的截止时间。隔离一旦建立不得回填,否则评测结果会系统性偏高。

4. 四个用途子集的样本结构、难度长尾与发布条件

条数定下来,还不等于知道要做什么。一条「产品智能选型问答」样本究竟长什么样、里面必须有哪几段、什么样的算合格,这些不讲清楚,标注员各做各的,交付时拿到的会是四十万条形态不一的东西。

样本结构这一列定的是形状,四个用途子集的形状各不相同,套不了同一个模板。预训练子集是篇章级连续文本,要紧的是每篇都挂得上合同号、订单号、物料编码与业务发生时间,否则这篇文字将来追不回它说的是哪一单生意。指令微调子集是一问一答,但选型类必须写成五段式——甲方现有的是校核公式而不是正算公式,工程师真实的工作是先预设一整套配置再代入验算,样本若只留「参数进、结论出」,就把中间那段最有价值的推理丢掉了。偏好子集一组里必须带理由字段,缺理由的组不计为有效组。基准子集则多一个隔离标记,记明这道题出自哪个项目集合、时间切分点在哪里。

难度分层那一列解决的是另一个麻烦。历史项目里常见工况占了绝大多数,样本按自然比例采下来,多工作面组合选型、跨年度补货测算这类真正费脑子的案例会被淹没在平均值里——模型在这些样本上答错,总体准确率却看不出来。因此逐子集单设长尾配额:指令微调子集的长尾测算占比约 8%,首期配额不低于 3.2 万条;基准子集每个能力维度不低于 50 条。这两个数是首期基线,随现场盘点出的真实工况分布逐期上调;若历史项目中某一长尾类型实在凑不满配额,该类型在评测中单列统计、不并入总准确率,并在数据集卡片中记明实际条数与原因。

表 11 供需计划数据集四个用途子集的样本结构、任务类型与难度长尾

用途子集样本结构任务类型与条数分解难度分层与长尾处置
预训练篇章级连续文本。每篇带文档标识、来源类别、业务对象主键(合同号、订单号、物料编码)、业务发生时间与版面定位指针;矿方资料的图像来源以版面切片随文引用不分任务类型,按表 10 的七类来源成批组织按篇章长度分三层(一千 Token 以下、一千至一万、一万以上)。长尾为超长技术协议与招标文件正本,切分时保留跨段落指代,单独成批人工抽检
指令微调指令+输入+参考输出。选型类另含候选配置、逐项校核过程与排序理由,合为「工况参数+候选配置+校核过程+排序结论+理由」五段式产品智能选型问答与校核推理 13 万条、库存与补货计划决策 9 万条、合同与技术协议合规问答 7 万条、产销协同与排产调度 6 万条、客户与工况参数抽取 5 万条按工况参数完整度与候选配置数分三档。长尾为多工作面组合选型与跨年度补货测算,测算占比约 8%,单设配额不低于 3.2 万条,避免被常见案例淹没
强化学习偏好同一提问下的一对或多对可比较回答+偏好序+偏好理由字段;缺理由的组不计为有效组选型推荐排序偏好 1.4 万组、补货方案取舍 0.9 万组、合同风险提示措辞 0.5 万组、报告底稿质量 0.4 万组按候选之间的差距分档。长尾为近似并列、标注员判定分歧的组,整批转第三人裁定后方可入集
基准评测题干+唯一正确答案或评分细则+能力维度标签+隔离标记(所属项目集合与时间切分点)选型校核 0.16 万条、库存决策 0.12 万条、合同合规 0.07 万条、参数抽取 0.05 万条按能力维度分层,每层样本量不低于 50 条。长尾为罕见工况与跨能力维度组合题,单列统计,不混入总准确率

表 11 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 9;难度分层与长尾配额为测算值,依甲方历史项目的工况分布。

形状对了,样本也未必能用。参考答案是谁给的、这份原始资料准不准用、凭什么说它质量合格、够不够格发布——四件事里任何一件悬着,整批样本在验收时都站不住。

许可一列尤其省不得。本集的来源混杂:合同与技术协议含客户名称与价格条款,矿方工况与地质资料的权属在矿方,行业与政策语料来自公开渠道而公开不等于可商用。这些来源一旦混在一起成批入集,将来只要有一条被追究,牵连的是整批而不是那一条。因此逐子集写明许可状态与密级处置,不可商用的在入集前就挡住。

质量证据与发布条件两列是同一件事的两面:证据是拿什么证明,条件是达到什么才放行。四个子集的放行门槛逐级加码——预训练子集四项同时成立,指令微调子集在此之上再加一致率与长尾配额两项,基准子集另立一套(零合成、来源与时间双重隔离、隔离建立后不回填)。这样排列是因为误差会沿训练链路向下传递,越靠近评测端的子集,一旦混入问题样本,后果越不可逆:预训练子集混进重复样本,损失的是训练效率;基准子集混进训练用过的题,整份评测结论作废。表 11 与表 12 的每一行各对应一张子集数据卡,字段落点见第八部分。

表 12 供需计划数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件

用途子集标签与参考答案的出处许可状态质量证据用途与发布条件
预训练无标注,本行不适用企业自有为主;行业与政策公开语料逐条登记来源与许可凭证,不可商用的不入集质检六维度报告、去重四项统计、脱敏抽检结果继续预训练。必填字段齐备、合成占比不高于 30%、集内重复率达基线、脱敏抽检通过,四项同时成立方可发布
指令微调参考输出取自历史已签发方案与业务专家裁定;校核过程逐项给出公式与取值,过程与结果分别留存企业自有;含客户名称与价格条款的批次按较高密级处理,不对外再分发标注员间一致率与裁决记录、黄金集通过率、质检六维度报告有监督指令微调。在预训练子集发布条件之上,另须一致率达标注规范阈值、长尾配额达标
强化学习偏好偏好序取自历史方案的投运使用评价分级与资深工程师对候选排序的裁定同指令微调子集标注员间一致率、裁决记录、偏好理由字段完整率人类偏好对齐。理由字段完整率达标、未裁决组清零方可发布
基准评测人工裁定的唯一答案或评分细则,双人独立出题、第三人复核企业自有;冻结后不再变更与训练侧的隔离命中比对结论、评测协议、复现随机种子基准评测。零合成、来源与时间双重隔离成立、隔离建立后不回填,三条同时成立方可冻结发布

表 12 数据来源:标签与参考答案出处依 b1580、b1581 所列业务数据范围与经验显性化要求;许可状态依数据许可与合规审查的登记要求(b1534);质量证据与发布条件依第二部分表 7、表 8 及第 90 页质检环节要求。

5. 模态与时效构成

本集以文本为主,多模态样本来自矿方资料扫描件、构件图与选型图、报表图片。以条为单位的样本合计 43.6 万条(40+3.2+0.4),其中多模态样本测算 6.54 万条,占 15%;三年内数据条数测算 23.98 万条,占 55%。时效性占比较高的原因是合同、订单、库存与采购记录近三年的留存与填写完整度明显好于更早期间;客户关系管理系统正在上线、历史数据较少,其项目与商机数据基本全部落在三年内。四集汇总后的占比核算见本节第七部分。

6. 本集的局限性与回退

本集有两处已知局限,须写入数据集卡片并在验证报告中复述。一是配套接口参数的会商结论无电子留痕,只能通过历史方案回溯与结构化访谈部分还原,覆盖度以项目为单位统计,近三年项目优先;无法还原的项目在样本中以缺失标记显式保留,不做插补。二是历史方案的投运使用评价须从零补录,补录进度取决于业务流程改造的推进,若至第三期末覆盖度仍低于测算值,偏好子集中「选型推荐排序偏好」一项的样本来源由投运评价为主调整为专家裁定为主,样本量不变,并在卡片中标注来源构成的变化。

4、产品工艺设计数据集

1. 业务主线与本集的特殊之处

招标文件要求本数据集面向研发设计与工艺设计核心业务,聚焦板材备料工艺设计等业务场景,整合企业沉淀的二维图纸、工艺卡片、标准工序、机械制图专业知识等多模态资源,构建覆盖「图纸识别—特征提取—工序设计—工艺卡片生成—审查校核—排料优化」全流程的高质量数据集(b1585);并要求沉淀「图纸—特征—工序—卡片—参数」的全链路工艺知识(b1586)。

本集与其余三集相比有一处结构性优势。甲方历史图纸约 63 万张,且每一张图纸历史上都配有一张已审核签发的工艺卡片,天然构成成对的监督样本。这是四个数据集中唯一一处规模化、已审核、天然成对的监督数据,是本集预训练与指令微调子集的主要来源。与之相对的困难有两处:图纸与工艺卡片的配对关系存在于人的记忆与文件目录中,没有稳定的主键关联;图号与命名规则不统一,同一零件在不同项目中的图号可能不同。因此本集的第一项工作不是解析图纸,而是重建配对关系。

还有一处业务事实决定了本集的工序标签体系。备料分厂的工序集合是固定且封闭的,现掌握的口径为 28 道,以工艺部门确认的正式工序字典为准。工序集合封闭意味着工序设计任务是一个有限标签上的选择与排序问题,而不是开放生成问题——这对标注规范、一致性校验与评测设计都有直接影响:标签空间有限,标注员间一致率可以严格统计;排序结果可以用序列相似度而非文本相似度评分。招标文件要求的工序字典与分档规则当前未成文,我方按本卷《数据加工生产一:采集 · 预处理 · 知识本体 · 知识库》(第 319—388 页)的知识本体建设路径先行固化,再据以标注。

图 3 图纸与工艺卡成对样本的形成路径

原生图纸文件 约 63 万张 已签发工艺卡片 与图纸一一对应 配对关系重建 图号归一 · 目录线索 人工抽样核对 图元 · 尺寸 · 标注 工序 · 设备 · 定额 特征与工序对齐标注 28 道封闭工序字典 一致率逐批统计 成对候选 预训练 70 亿 Token 指令微调 10 万条 偏好 0.8 万组 基准 0.1 万条 配对不成立的图纸仅进入单模态语料,不计入成对样本

图 3 图纸与工艺卡成对样本的形成路径。数据来源:图纸与工艺卡片成对关系依甲方数据条件(历史图纸约 63 万张,每张配一张已签发工艺卡片);工序道数 28 道以工艺部门确认的正式工序字典为准;加工环节划分依招标文件第 93 页 b1585 所列全流程。

2. 规模要求与分解

产品工艺设计集的规模在四集中最小——70 亿 Token、10 万条、0.8 万组、0.1 万条,预训练子集只有供需计划集的四分之一。规模小不等于容易。这一集的样本要成对:一张图纸配它的工艺卡片,图上的坡口、板厚、孔位要对得上卡片里的工序、设备与参数;少了任何一边,这条样本就只是一张图或一页表,教不会任何东西。63 万张历史图纸横跨十余年,其中有多少找得到配套的工艺卡、找到的能不能对上版本,是本集全部工作量的所在。

招标文件表格 3-2 原值如表 13,我方按原值承接。

表 13 产品工艺设计数据集数据规模要求(招标文件表格 3-2 原表)

产品工艺设计数据集数据集规模单元
预训练数据集(亿 Token)70b1588r02
指令微调数据集(万条)10b1588r03
强化学习偏好数据(万组)0.8b1588r04
基准测试数据集(万条)0.1b1588r05

表 13 数据来源:招标文件第 93 页表格 3-2(b1587、b1588r01—r05)原值。

70 亿 Token 里,决定这一集成色的是第一行。图纸不是图片——备料分厂在用的原生图纸文件里,每一条线、每一个尺寸标注、每一个图层、几个视图之间的投影关系,都是可以直接读出来的结构化信息。若改用截图再识别的办法,这些关系会在转成像素的那一刻全部丢失,剩下的只是一张看起来像图纸的照片。所以这一行写明直接解析原生图纸文件、不依赖截图识别,并写明解析在内网就地进行——图纸是甲方的核心技术资产,不出内网是前提。

六类来源的排序不按体量,按它们在「图纸—特征—工序—卡片—参数」这条链上的位置:前两类是链条的两端(图纸侧与卡片侧),第三类是读懂这两端所需的专业知识,后三类把工序落到具体的设备、工装、样板与定额上。少掉其中任何一环,链就断在那里:没有工序字典,卡片里的工序名称五花八门,同一道工序在不同卡片上叫三个名字,样本标签就无法封闭;没有排料与定额的计算过程记录,展开长算得对不对就只能看结果、不能看过程。

表 14 产品工艺设计数据集预训练子集来源构成(测算)

来源类别亿 Token主要承载系统或资料模态加工要点
图纸解析结构化文本(图元、尺寸、标注、图层、视图投影关系)24产品全生命周期管理图像+文本直接解析原生图纸文件,不依赖截图识别;解析在内网就地进行
历史工艺卡片与工序字典18产品全生命周期管理、工艺归档文本卡片字段标准化;工序名称统一到 28 道封闭字典
机械制图与工艺专业知识、标准规范11企业文档、外部标准文本+图像粗糙度、坡口、倒角、公差等符号表达的加工要求逐项成条
设备与工装、样板台账、压弯与排料参数9设备档案、工装台账文本设备编码、工装压模号、样板号与工序关联
工艺变更与审查记录5协同办公、工艺归档文本每次修改归因后成条,是偏好样本的来源
排料与定额计算过程记录3工时定额、工艺归档文本中性层公式与展开长换算过程完整留存,供确定性校验
合计70———

表 14 数据来源:总量依表 13;来源类别依 b1585、b1586 所列资源范围与全链路知识要求;构成比例为测算值。

3. 用途子集的内容设计

指令微调子集 10 万条按任务类型分解:图纸特征抽取与识读 3.2 万条、工序选择与排序 2.8 万条、工艺卡片字段生成 1.9 万条、展开长与定额计算 1.2 万条、工艺审查与差异比对 0.9 万条。

展开长、材料定额等样本同时记录计算过程、依据参数和结果,并分别验证中间参数与最终值。材料定额中的下料尺寸写错,钢板割下来就是废料,出错代价并不对称。样本给出过程,评测时才能分辨「结果对但过程错」与「过程对但参数取错」,上线后也才能把确定性计算交给程序、把参数判断交给模型。这一条同时决定了本集基准测试子集的评分方式:按中间参数与最终结果分别判分。

强化学习偏好数据 0.8 万组按偏好对象分解:工序排序方案优劣 0.35 万组、卡片填写规范性 0.25 万组、可借用工艺推荐 0.2 万组。偏好判据的主要来源是工艺变更与审查记录。一张卡片从初稿到签发之间的修改痕迹,本身就是一组偏好对。这类样本的采集成本低于专门组织的人工偏好标注,我方优先使用。

基准测试子集 0.1 万条按能力维度分解:图纸识读 0.04 万条、工序设计 0.03 万条、定额计算 0.02 万条、工艺审查 0.01 万条。本子集规模在四集中最小,但对评测的敏感度最高,我方按零件类型(板材切割件、压弯件、带孔件、带坡口件)与板厚档位分层抽样,使每一层的样本量不低于 50 条,避免小样本上出现层内空白。

4. 四个用途子集的样本结构、难度长尾与发布条件

板材备料的工艺设计有一个外行容易忽略的特点:出错的代价不对称。工序排得不够优,无非多走一趟、多花些工时;而下料尺寸算错,钢板割下去就是废料,几吨料连同已经占用的工期一起没了。这个不对称决定了本集样本的形状——计算类样本必须把计算过程、依据参数与最终结果分三段留存,而不是只留一个答案。

分三段换来的是分辨能力。只留结果,评测时只知道对或不对;留了过程,就能分清「结果对但过程错」(碰巧蒙对,不可依赖)与「过程对但参数取错」(方法没问题,是取值环节出的错)。前者要回到训练去改,后者只需在上线时把参数来源接准,处置办法完全不同。这一区分同时决定了基准子集的判分方式:中间参数与最终结果分别给参考答案、分别计权。

分层那一列按零件类型与板厚档位双重切分。只按零件类型切,薄板与超厚板的工艺差别会被平均掉——同样是带孔件,三毫米板与四十毫米板的加工方法、设备、工装完全不是一回事。双重分层后每一层样本量不低于 50 条,这是首期基线,随备料分厂现行加工方法分档的正式确认结果逐期上调;分档规则目前有一部分未成文,以工艺部门确认结果为准。若某一档位的历史图纸实在不足 50 条,该档位在评测中单列统计、不并入总准确率,并在数据集卡片中记明实际条数与原因。

表 15 产品工艺设计数据集四个用途子集的样本结构、任务类型与难度长尾

用途子集样本结构任务类型与条数分解难度分层与长尾处置
预训练篇章级连续文本。图纸解析样本为「图元—尺寸—标注—图层—视图投影关系」的结构化序列,随文保留图号与版面定位;工艺卡片样本按卡片字段成文,工序名称统一到 28 道封闭字典不分任务类型,按表 14 的六类来源成批组织按零件复杂度(图元数与标注数)分三层。长尾为多视图装配图与带多道坡口的焊接件图,解析失败率明显高于均值,单独成批并人工复核
指令微调指令+输入(图纸或图纸局部视图+材料与工况参数)+参考输出。展开长、材料定额等计算类样本的参考输出分计算过程、依据参数、结果三段留存图纸特征抽取与识读 3.2 万条、工序选择与排序 2.8 万条、工艺卡片字段生成 1.9 万条、展开长与定额计算 1.2 万条、工艺审查与差异比对 0.9 万条按零件类型(板材切割件、压弯件、带孔件、带坡口件)与板厚档位双重分层。长尾为超厚板与薄板规格及异形件,单设配额并在评测中单列
强化学习偏好同一图纸与工况下的两版工艺方案+偏好序+偏好理由(引修改痕迹的具体位置)工序排序方案优劣 0.35 万组、卡片填写规范性 0.25 万组、可借用工艺推荐 0.2 万组按修改幅度分档。长尾为仅一处参数差异的近似方案,全部经工艺专家裁定后入集
基准评测图纸或局部视图+题干+唯一答案或评分细则+分层标记(零件类型、板厚档位)。定额计算类的参考答案分中间参数与最终结果两部分图纸识读 0.04 万条、工序设计 0.03 万条、定额计算 0.02 万条、工艺审查 0.01 万条按零件类型与板厚档位分层抽样,每层不低于 50 条,避免小样本上出现层内空白。长尾为异形件与超规格板厚,单列统计

表 15 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 13;零件类型与板厚档位的分层依备料分厂现行加工方法分档,分档规则未成文部分以工艺部门确认结果为准。

本集的标签有一个别集没有的便利条件:工序名称是封闭的。28 道备料工序构成一个有限字典,标注员只能在这 28 个里选,不能自造。标签空间封闭,意味着标注员之间的一致率可以严格统计——两个人标同一张图,要么选的是同一道工序,要么不是,没有「说法不同但意思差不多」的模糊地带。这在四集里是独一份的,也是本集的质量证据比别集硬的地方。前提是工序字典先固化成文,因此它被列为本集指令微调子集的发布条件之一。

偏好样本的出处则利用了另一个现成条件。一张工艺卡从初稿到签发之间留下的修改痕迹,本身就是一组偏好对——改之前的是次优,签发的是优,改动的位置就是理由。这类样本从工艺变更与审查记录里直接提取,成本远低于专门组织人工对比标注,还避开了一个常见毛病:专门组织的偏好标注,标注员往往按自己的偏好而不是按实际签发标准来判;而修改痕迹记录的是真实发生过、并且被签字认可的工程判断。表 15 与表 16 的每一行各对应一张子集数据卡,字段落点见第八部分。

表 16 产品工艺设计数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件

用途子集标签与参考答案的出处许可状态质量证据用途与发布条件
预训练无标注,本行不适用图纸、卡片、台账、变更单为企业自有;专利说明书与公开标准为公开许可;期刊论文与厂商技术资料逐件登记许可凭证,许可不明的不入集图纸与工艺卡片的配对率、图纸解析成功率、质检六维度报告继续预训练。配对率与解析成功率达基线、合成占比不高于 30%、集内重复率达标方可发布
指令微调工序标签取 28 道封闭工序字典;参考答案取已审核签发的工艺卡片;计算类样本的中间参数与最终值分别留存并分别判分企业自有工序标签的标注员间一致率(标签空间封闭,可严格统计)、计算类样本的确定性校验通过率有监督指令微调。工序字典已固化成文、一致率达阈值、计算类样本的过程字段齐备方可发布
强化学习偏好偏好序取自工艺卡片从初稿到签发之间的修改方向,签发版判为优企业自有变更记录的可追溯性、偏好理由字段完整率人类偏好对齐。理由完整率达标方可发布
基准评测人工裁定;定额计算类按中间参数与最终结果分别给参考答案与判分权重企业自有;冻结后不再变更隔离命中比对结论、各分层样本量达标记录基准评测。零合成、双重隔离成立、冻结后不回填方可发布

表 16 数据来源:工序字典口径为 28 道(以工艺部门确认的正式工序字典为准);标签与参考答案出处依 b1585、b1586;许可状态依 b1534;质量证据与发布条件依第二部分表 7、表 8。

5. 模态与时效构成

本集是四集中多模态占比最高的一集。以条为单位的样本合计 10.9 万条(10+0.8+0.1),其中多模态样本测算 9.27 万条,占 85%——绝大多数样本都带有图纸或图纸局部视图。三年内数据条数测算 2.725 万条,占 25%,是四集中最低的一集。

原因是 63 万张历史图纸横跨十余年,近三年新增图纸只占其中一小部分。这个低占比在四集汇总后由制造过程与产品质量两集补平,具体核算见本节第七部分;本集自身不单独追求时效性占比达标,因为工艺知识的有效期远长于过程数据,为提高时效占比而削减历史样本会损失本集最有价值的部分。

6. 本集的局限性与回退

本集的关键前提是原生图纸文件可解析。招标文件实施范围覆盖工艺研究分院与备料加工分厂(b0680),但甲方的产品全生命周期管理系统原生图纸不支持整批导出,须按图号或项目开通只读读取。若接口开通范围受限,本集按以下顺序回退:优先解析已导出的近期项目图纸,其余按项目批次分批开通;仍不可得的部分改以工艺卡片侧的结构化文本为主、图纸侧以缩略图与关键尺寸摘要替代,预训练子集总量不变而图纸解析类来源的占比下调,缺口由工艺卡片与专业知识两类来源补足。该调整须在数据集卡片的建设过程字段中记录,并在验证报告中说明对图纸识读类能力评测结果的影响。

5、制造过程数据集

1. 业务主线与本集的核心瓶颈

招标文件要求本数据集面向生产制造核心环节,聚焦热处理过程控制、焊接过程控制、刮板运输装备智能健康诊断等业务场景,整合热处理、焊接、关键设备运行的多模态过程数据与运维知识,构建覆盖「过程感知—参数控制—缺陷识别—健康诊断—预测性维护」全流程的高质量数据集(b1590);并要求沉淀热处理参数与外观缺陷、焊接参数与质量缺陷、设备运行与故障根因之间的映射关系(b1591)。

这三组映射关系是本集的全部价值所在,也是本集最难的地方。甲方的过程参数已在采集并长期保存,数据采集与监控系统覆盖部分车间与部分设备,热处理与产线设备的测点采样周期通常为秒级。量不少,但三处关联都没建立:炉次、工件、材料批次、实际曲线与检测结果之间无稳定关联;焊接的过程参数、熔池视觉与缺陷检测结果三者割裂;在役装备的历史数据无事件级标签,故障记录与数据段没有配对。

所以本集的瓶颈是数据对不上而非体量不够。我方把本集的第一项工作定为建立三条对齐链:热处理按「炉次—装炉工件清单—材料批次—设定程序—实际曲线—检验结论」对齐;焊接按「工单—部件—焊缝—焊道—时间窗—参数流—质检结果」对齐;健康诊断按「设备—部件—测点—时间窗—报警事件—维修事实」对齐。三条链建立之后,预训练与指令微调样本才有意义;在此之前采集到的过程数据只能作为无标签时序语料,我方在计量上单列,不与成对样本混同。

图 4 过程数据与质量结论的配对与责任边界

过程侧(制造过程数据集) 结果侧(产品质量数据集) 热处理炉次时序 温度 · 时间 · 速率 焊接参数流 电流 · 电压 · 速度 在役装备运行时序 对象标识对齐 炉次 · 焊道 · 测点 +时间窗对齐 时钟基准统一 硬度与金相结论 检验记录 缺陷图像与无损检测 提供配对用的结论标签 成对样本 参数段 + 结论 偏离段 + 处置 事件段 + 根因 计入成对样本 105 亿 / 15 万 仅无标签时序 单列统计 对齐不成立的时序数据不计入成对样本,按无标签语料单列 归属规则:过程侧参数归制造过程集,检验结论归产品质量集,成对关系双向引用

图 4 过程数据与质量结论的配对与责任边界。数据来源:映射关系依招标文件第 94 页 b1591;焊接缺陷图像在两集中的归属依 b1590 与 b1595 的交叉表述,按本节所述归属规则处理;采样周期与采集覆盖范围依甲方现有数据采集与监控系统条件。

2. 规模要求与分解

制造过程集 105 亿 Token、15 万条的分配量,放在上一小节说的三条对齐链面前,含义与别集不同:这一集缺的从来不是数据量。热处理炉与焊接产线的测点大多在以秒级采样并长期保存,单论采集到的点数,远远超过任何一个规模数字。难的是这些点对不上人——哪一炉、装的哪些工件、用的哪批材料、最后检验结论是什么,分散在不同系统与纸质记录中,没有一条稳定的线把它们串起来。所以本集的规模数字衡量的不是采了多少,而是对齐之后能用的有多少。

招标文件表格 3-3 原值如表 17,我方按原值承接。

表 17 制造过程数据集数据规模要求(招标文件表格 3-3 原表)

制造过程数据集数据集规模单元
预训练数据集(亿 Token)105b1593r02
指令微调数据集(万条)15b1593r03
强化学习偏好数据(万组)1b1593r04
基准测试数据集(万条)0.2b1593r05

表 17 数据来源:招标文件第 94 页表格 3-3(b1592、b1593r01—r05)原值。

105 亿 Token 拆成六类来源,前三类是时序、后三类是文本,这条分界对应着两种完全不同的加工方式。

时序侧的加工要点都落在「怎么切」上。热处理按工艺段降采样后编码,焊接按焊道切段,在役装备按工况分段——三者切法不同,是因为三者的业务单元不同:一炉热处理是一个完整的升温—保温—冷却过程,一条焊缝由若干焊道组成,而一台在役装备的运行要先分出空载、重载、启停这些工况段才谈得上异常。切错了单元,后面所有的统计描述都是在错误的区间上算出来的。降采样之后一律保留原始段落指针,样本正文因此可读、可评、可复算,又不丢回溯能力:验收时要核对任何一段的原始波形,照指针取回即可。

文本侧的三类里,最后一类要特别交代。装载与码装、计量校验记录当前没有结构化留存——装炉时工件怎么摆、摆几层,直接影响受热均匀程度,是热处理结果的关键变量,但现场靠的是老师傅的经验,没有记下来。这一行写的 4 亿 Token,办法是在既有流程中增设填报入口、由系统预填、经手人确认。它的实际到量取决于流程改造的推进速度,属于本集中不由我方单方面决定的部分,首期按试点工段的实际填报情况确定基线并逐期上调,若长期低于测算值,该来源的缺口由热处理炉次过程时序与运维知识两类补足、总量不变,并在数据集卡片的建设过程字段中记录来源构成的变化。

表 18 制造过程数据集预训练子集来源构成(测算)

来源类别亿 Token主要承载系统或资料模态加工要点
热处理炉次过程时序31数据采集与监控、热处理群控、物联网与设备数据平台时序秒级原始数据按工艺段降采样后编码;保留原始段落指针供回溯
焊接设备与机器人参数时序27数据采集与监控、焊接产线控制时序按焊道切段;段内统计量与偏离描述一并成文
在役装备运行时序与报警日志21装备远程运维平台时序+文本工况分段后入集;三机联动耦合干扰段单独标记
工单、工序流转与报工记录13制造执行文本报工时点滞后的情形以实际作业时间区间表示,不按报工时点对齐
运维与检修知识、故障名录与机理9售后服务与备件管理、企业文档文本故障名录与四档证据分级口径统一后成条
装载与码装、计量校验记录4热处理分厂记录、计量管理文本+图像当前无结构化记录,按增设填报入口方式补录
合计105———

表 18 数据来源:总量依表 17;来源类别依 b1590、b1591 所列过程数据与运维知识范围;承载系统依第 46 页实施范围(b0680);构成比例为测算值。

3. 用途子集的内容设计

指令微调子集 15 万条按任务类型分解:热处理曲线偏离识别与处置建议 4.3 万条、焊接参数窗口与偏差归因 4.1 万条、设备健康异常判断与检查顺序 3.6 万条、工单与工序流转问答 1.8 万条、计量与装载登记规范问答 1.2 万条。

时序数据本身不适合直接作为语言模型样本,我方按三段式构造:原始段落的指针与元数据(设备、测点、时间窗、工况段)、段落的结构化统计描述(设定值、实际值、偏离幅度与方向、持续时长、分段趋势)、以及任务相关的参考输出(偏离判定、可调量建议、检查顺序)。原始波形不进入样本正文而以指针保留,这样样本可读、可评、可复算,同时不丢失回溯能力。对仅有分钟级均值的设备,样本在元数据中标注粒度档位,评测时按档位分层统计,避免把粒度不足造成的误差记到模型能力上。

强化学习偏好数据 1 万组按偏好对象分解:处置建议优劣 0.45 万组、归因结论可信度 0.35 万组、检查顺序合理性 0.2 万组。偏好判据取自工艺人员与检修人员的实际选择:同一异常下实际采取的措施与未采取的候选措施构成一组偏好对。这类样本须在既有流程中增设处置记录的填报入口,由系统预填、经手人确认,属于本集需从零补录的部分。

基准测试子集 0.2 万条按业务场景均分为热处理 0.07 万条、焊接 0.07 万条、健康诊断 0.06 万条。三类样本一律按「同材料批次、同装炉方式」或「同型部件、同工况段」分组抽样,使评测能够反映横向比对能力而不只是单段判别能力。

4. 四个用途子集的样本结构、难度长尾与发布条件

时序数据不能直接拿来做语言模型的样本。一段焊接电流的采样序列,几万个数字,给人看看不出名堂,给模型也学不到东西;而把它整段转成文字,又会变成几万个毫无信息量的数字串,把真正要紧的那几句判断淹没掉。

我方的办法是三段式。第一段是原始段落的指针与元数据:设备编码、测点、时间窗、工况段、采样粒度档位。第二段是这一段的结构化统计描述:设定值、实际值、偏离的幅度与方向、持续了多久、分段趋势。第三段是任务相关的参考输出:偏离判定、可调量建议、检查顺序。预训练子集取前两段,指令微调子集三段全取,基准子集在前两段上加题干与答案。原始波形始终不进样本正文,只以指针保留。这样一条样本是人能读、能评、能复算的,同时随时可以回到原始数据核对。

元数据里的采样粒度档位一项值得单说。甲方的设备不是一个标准:有的秒级采样,有的只留分钟级均值。分钟级均值会把短时尖峰抹平,一次持续十几秒的温度越限在均值曲线上可能完全看不出来。若不标注粒度就混在一起评测,模型在这些样本上答错,看起来像是能力不足,实际是数据根本没有记录那个事件。因此粒度档位写进元数据,评测时按档位分层统计,把数据的局限与模型的能力分开记账。

长尾那一列指的是弱信号早期征兆与多因耦合异常——恰恰是预测性维护最想要的那部分,也是历史上出现次数最少的那部分。这两类单设配额,首期按历史事件实际可配对的数量确定基线并在数据集卡片中如实记录,随维修事实回填与历史回溯配对的推进逐期上调;若至第三期末某一故障模式的配对样本仍不足,该模式在评测中单列统计、不并入总体指标,并在验证报告中说明。

表 19 制造过程数据集四个用途子集的样本结构、任务类型与难度长尾

用途子集样本结构任务类型与条数分解难度分层与长尾处置
预训练时序类样本为三段式,预训练子集取前两段:第一段为原始段落的指针与元数据(设备编码、测点、时间窗、工况段、采样粒度档位),第二段为段落的结构化统计描述;文本类样本按工单与知识条目成文不分任务类型,按表 18 的六类来源成批组织按采样粒度档位与工况段复杂度分层。长尾为三机联动的耦合干扰段与仅有分钟级均值的设备段,单独标记并在评测中分层统计
指令微调三段式全取:指针与元数据、结构化统计描述、任务相关的参考输出(偏离判定、可调量建议、检查顺序)。原始波形不进入样本正文,以指针保留回溯能力热处理曲线偏离识别与处置建议 4.3 万条、焊接参数窗口与偏差归因 4.1 万条、设备健康异常判断与检查顺序 3.6 万条、工单与工序流转问答 1.8 万条、计量与装载登记规范问答 1.2 万条按偏离幅度与证据等级分层。长尾为弱信号早期征兆与多因耦合异常,单设配额,评测时与常见异常分层统计
强化学习偏好同一异常下实际采取的措施与未采取的候选措施构成一组+偏好序+理由(引事后检验结论或复查记录)处置建议优劣 0.45 万组、归因结论可信度 0.35 万组、检查顺序合理性 0.2 万组按异常罕见度分档。长尾为历史上仅出现数次的故障模式,由检修人员对历史段落补做成对裁定
基准评测时序段指针+结构化统计描述+题干+唯一答案或评分细则+分组标记(同材料批次同装炉方式,或同型部件同工况段)热处理 0.07 万条、焊接 0.07 万条、健康诊断 0.06 万条一律按分组抽样,使评测反映横向比对能力而不只是单段判别能力。长尾为跨工况段迁移题,单列统计

表 19 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 17;三段式结构与粒度档位的处置依 b1590、b1591 所列过程数据范围。

本集的参考答案有一条硬边界:证据到哪里,结论就只能写到哪里。

在役装备目前缺少部件级的振动测点,也没有轴上角位置基准。缺了这些,从现有测点数据能得出的结论最多到「某测点异常」,再往下推到是哪一个轴承的哪一处损伤,就是猜的。标注时若放任标注员按经验把结论写到部件级,样本看起来更有价值,实际是把猜测固化成了参考答案——模型学会的是猜,而且学会了用确定的语气猜。因此本集的样本一律按证据等级分档标注:证据不足以支撑部件级结论的,结论止于测点级;分档字段随样本留存,评测时按档位分层统计。

偏好样本的出处是同一异常下实际采取的措施与未采取的候选措施,判据取自事后检验结论或复查记录——用结果反推当时的取舍哪个更好,而不是请人凭空评价。代价是这类记录当前并不存在,须在既有流程中增设处置记录的填报入口。填报覆盖率因此是本集的一项已知风险:首期按试点工段的实际填报情况确定基线,随流程推行逐期上调,覆盖率逐期统计并如实记入数据集卡片的局限性字段;若长期低于测算值,该部分偏好样本改以检修人员对历史段落补做成对裁定的方式形成,样本量不变,来源构成的变化在卡片中标明。表 19 与表 20 的每一行各对应一张子集数据卡,字段落点见第八部分。

表 20 制造过程数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件

用途子集标签与参考答案的出处许可状态质量证据用途与发布条件
预训练无标注,本行不适用企业自有;在役装备运行数据涉矿方的,矿方单位名称按矿区与工作面类型泛化后入集测点覆盖率、工况分段正确率、质检六维度报告继续预训练。粒度档位已标注、耦合干扰段已标记、合成占比不高于 30% 方可发布
指令微调偏离判定取工艺文件的参数窗口;处置建议取实际采取的措施与事后检验结论;证据不足以支撑部件级结论的,结论止于测点级并按证据等级分档标注企业自有证据等级分档记录、采样粒度档位分层统计、标注一致率有监督指令微调。证据等级与粒度档位两个字段齐备、一致率达阈值方可发布
强化学习偏好偏好序取自工艺人员与检修人员的实际选择及其事后效果企业自有处置记录的填报覆盖率、偏好理由字段完整率人类偏好对齐。理由完整率达标,填报覆盖率如实记入卡片的局限性字段方可发布
基准评测人工裁定,双人独立出题、第三人复核企业自有;冻结后不再变更隔离命中比对结论、分组完整性记录基准评测。零合成、双重隔离成立、冻结后不回填方可发布

表 20 数据来源:参数窗口依甲方现行工艺文件;证据分级口径与故障名录统一后适用;许可状态依 b1534;质量证据与发布条件依第二部分表 7、表 8。

5. 模态与时效构成

以条为单位的样本合计 16.2 万条(15+1+0.2),其中多模态样本测算 12.96 万条,占 80%——本集样本大多包含时序段落或设备图像。三年内数据条数测算 13.77 万条,占 85%,是四集中最高的一集。原因是采集覆盖范围近年才逐步扩展,更早期间的过程数据在测点覆盖与采样粒度上多数不满足入集条件。

6. 本集的局限性与回退

本集有三处已知局限。一是预热温度与层间温度当前无采集手段,熔池状态与气体波动无实时监测,这部分数据须随感知设备到位后才能产生,硬件选型见本卷《硬件选型与配置》(第 918—950 页);在设备到位前,相关样本以工艺文件参数窗口与事后检验结论构造,样本量按比例下调并在卡片中标注。二是在役装备缺少部件级振动测点与轴上角位置基准,键相信号缺失时结论只能止于测点级;本集对应样本按证据等级分档标注,不同档位的样本在评测中分层统计。三是故障样本须靠维修事实回填与历史回溯配对形成,覆盖进度不由我方单方面决定;若至第三期末配对样本不足,健康诊断类指令微调样本的来源由真实事件为主调整为故障机理知识与模拟工单生成为主,并在验证报告中说明该调整对诊断类能力评测结论的限制。

6、产品质量数据集

1. 业务主线与两集之间的归属边界

招标文件要求本数据集面向全流程质量管控核心业务,以产品质量检验为主线,融合生产过程中的焊接缺陷图像等关键质量数据,构建覆盖「原材料检验—过程质量—成品质检—质量追溯」全流程的高质量数据集(b1595);并要求沉淀「工艺—过程—质量结果」的全链路映射关系(b1596)。

招标文件在两处提到焊接相关数据:制造过程数据集要求整合焊接过程的多模态过程数据(b1590),产品质量数据集要求融合焊接缺陷图像等关键质量数据(b1595)。同一批业务数据在两集中都有落点,若不定归属规则,同一条样本会被计量两次,规模数字就不可信。

我方的归属规则是按「过程侧/结果侧」切分:焊接与热处理的工艺参数、设备状态、过程时序归制造过程数据集;检验结论、缺陷判级、无损检测结果、缺陷图像及其标注归产品质量数据集;二者的成对关系以对象标识双向引用实现,引用不产生新的计量条目。这条规则也写入数据集卡片的内容特征字段,供第三方评测时核对重复内容程度(b2005、b2006),该项检测由评测机构按其指标体系执行,详见服务方案卷《数据集质量评测方案》(第 1432—1479 页)。

本集的现场困难有两处。质量管理系统新上线、正在推行,缺陷描述为文字且未与工艺参数关联;外观、超声与磁粉三类检测的位置口径不一致,同一条焊缝在三份报告中的位置表述对不上。此外纸质检测报告数量可观但尚未数字化。因此本集的加工重点不在体量而在三件事:缺陷位置口径统一、缺陷术语归一到统一的缺陷名录与分级、纸质报告的版面还原与字段抽取。

2. 规模要求与分解

产品质量集 164 亿 Token、24 万条的分配量在四集中居第二,仅次于供需计划集。这个量级与上一小节划定的归属边界直接相关:焊接与热处理的工艺参数、设备状态、过程时序归制造过程集,而检验结论、缺陷判级、无损检测结果、缺陷图像及其标注归本集。边界划在过程侧与结果侧之间,本集拿到的是结果侧的全部——检验记录、交检拍照、超声与磁粉报告、不合格品票、返修与复检、追溯链,覆盖从原材料到成品的每一道检验,体量自然大。

招标文件表格 3-4 原值如表 21,我方按原值承接。

表 21 产品质量数据集数据规模要求(招标文件表格 3-4 原表)

产品质量数据集数据集规模单元
预训练数据集(亿 Token)164b1598r02
指令微调数据集(万条)24b1598r03
强化学习偏好数据(万组)1.6b1598r04
基准测试数据集(万条)0.25b1598r05

表 21 数据来源:招标文件第 94 页表格 3-4(b1597、b1598r01—r05)原值。

本集的 164 亿 Token 里,有相当一部分现在还在纸上。无损检测报告一类 29 亿 Token,承载方式写的是质量管理系统与纸质归档两处——超声与磁粉报告历史上多以纸质签字归档,数量可观而尚未数字化。它的加工要点因此与别的来源不同:先做版面还原,再抽取字段,而且抽取结果须能回到原文的具体位置。回原文定位这一条不是额外讲究,是必需的:版面还原会出错,字段抽错一个检测位置,这条样本就把缺陷安在了别的焊缝上;若没有回原文的指针,这个错误在交付之后既无从发现,也无法纠正。

缺陷图像一类 38 亿 Token 的加工要点落在两个「统一」上。外观、超声、磁粉三类检测现在对同一条焊缝的位置表述对不上,缺陷描述又是自由文字、未与工艺参数关联。所以位置口径先统一到焊缝与焊道坐标,缺陷术语先归一到统一的缺陷名录与分级,然后才谈得上标注。这两项不是本集的某一道加工工序,而是本集能否开工的前置条件:位置对不上,这张缺陷图像就无法与制造过程集中那一段焊接参数配对,而那一对关系恰恰是招标文件要求沉淀的「工艺—过程—质量结果」全链路映射里最关键的一环。

表 22 产品质量数据集预训练子集来源构成(测算)

来源类别亿 Token主要承载系统或资料模态加工要点
检验项目与检验记录(含交检拍照)46质量管理文本+图像检验项与工艺编制时标注的关键工序、重要尺寸对应关系随样本保留
焊接缺陷图像的结构化描述与标注文本38质量管理、产线图像采集图像+文本缺陷名录与分级统一后标注;位置口径统一到焊缝与焊道坐标
无损检测报告(超声、磁粉)29质量管理、纸质归档文本+图像纸质报告版面还原后字段抽取;抽取结果须回原文定位
原材料化验与来料批次记录21质量管理、企业资源计划文本材料批次与炉次、工件的关联在本集中以引用方式保留
不合格品票、返修与处置流程记录18协同办公、质量管理文本处置结论与返修后复检结果成对
质量追溯链与质量报告12质量管理文本按施工号、产品号组织追溯链,断链处显式标注
合计164———

表 22 数据来源:总量依表 21;来源类别依 b1595、b1596 所列全流程质量数据范围与映射关系要求;构成比例为测算值。

3. 用途子集的内容设计

指令微调子集 24 万条按任务类型分解:焊接缺陷分类与定级 7.5 万条、检验项目与判定规则问答 5.6 万条、质量根因追溯链推理 4.8 万条、无损检测报告生成与复核 3.4 万条、不合格品处置与返修决策 2.7 万条。

缺陷分类与定级样本的标注口径必须与判据口径同源。招标文件要求支撑缺陷自动分类与根因追溯(b1596),而甲方现行判据分布在十一类缺陷与其检出手段的对应关系中。标注规范直接引用该判据,不另立一套标签体系;判据换版时标注规范随之升版,旧版样本保留其当时所依据的判据版本号,不做追溯重标。这样处理的代价是同一缺陷在不同版本样本中可能有不同标签,收益是每条样本的标签都能对应到一份当时有效的判据,评测时可按判据版本分层。两者相比,可追溯比表面一致更重要。

根因追溯链样本是本集中与制造过程数据集联动最紧的一部分。样本结构为「质量结论+追溯链条(工件、工序、炉次或焊道、材料批次)+对应过程参数段引用+根因判断+依据」。过程参数段本身不在本集中计量,以引用方式指向制造过程数据集的对应段落。

强化学习偏好数据 1.6 万组按偏好对象分解:缺陷判级一致性 0.7 万组、根因解释充分性 0.5 万组、报告表述规范性 0.4 万组。判级一致性类偏好取自多名检验人员对同一缺陷图像的判定差异及最终裁定结果,这类数据在质量管理系统推行过程中会自然产生,我方按月归集。

基准测试子集 0.25 万条按能力维度分解:缺陷分类 0.1 万条、检验判定 0.07 万条、根因追溯 0.05 万条、报告生成 0.03 万条。缺陷分类类基准样本按缺陷类别分层,每类不低于 60 条;对天然稀少但后果严重的缺陷类别,基准样本不足时以人工构造样本补充,构造样本单列标记并在评测报告中与真实样本分别统计,不混合计算准确率。

4. 四个用途子集的样本结构、难度长尾与发布条件

缺陷分类样本有一个绕不开的现实:真正要命的缺陷,历史上出现得最少。

常见的表面气孔、咬边一天能遇上几回,而那些后果严重、一旦漏判就要返修甚至报废的缺陷类别,十余年的记录里也许只有几十例。样本按自然频次采下来,模型在常见类别上表现很好,总体准确率很漂亮,稀有类别上的表现则被几个百分点的权重掩盖过去——偏偏那里才是最不该出错的地方。

因此按缺陷类别频次分层,稀有类别单设配额并在评测中单列统计;基准子集每一缺陷类别不低于 60 条,这是首期基线,随缺陷名录与分级判据正式确认后按在役台数与后果等级加权逐期上调。若某一天然稀少的类别实在凑不满 60 条,以人工构造样本补充——构造样本单列标记,与真实样本分别统计准确率,不混合计算。把构造样本掺进真实样本一起算,得出的准确率既不反映真实能力,也无法向任何一方解释清楚;分开统计,报告上多两行数字,结论却是可信的。

偏好子集的长尾是另一类:刚好跨档的临界判级样本。两名检验人员对同一张缺陷图像给出不同等级,往往不是谁错了,而是判据在那个边界上本来就不够清晰。这类样本全部进入偏好集,因为它们记录的正是经验最密集的地方。

表 23 产品质量数据集四个用途子集的样本结构、任务类型与难度长尾

用途子集样本结构任务类型与条数分解难度分层与长尾处置
预训练检验记录与检测报告按字段成文,抽取结果回原文定位;缺陷图像以结构化描述与标注文本随缺陷码成对,图像本体以版面与焊缝、焊道坐标定位引用不分任务类型,按表 22 的六类来源成批组织按缺陷稀有度与报告完整度分层。长尾为版面复杂、字段抽取置信度低的纸质报告批次,单独复核后入集
指令微调指令+输入(缺陷图像或检验记录+工艺参数引用)+参考输出。根因追溯类样本为「质量结论+追溯链条(工件、工序、炉次或焊道、材料批次)+对应过程参数段引用+根因判断+依据」五段式焊接缺陷分类与定级 7.5 万条、检验项目与判定规则问答 5.6 万条、质量根因追溯链推理 4.8 万条、无损检测报告生成与复核 3.4 万条、不合格品处置与返修决策 2.7 万条按缺陷类别频次分层。长尾为天然稀少但后果严重的缺陷类别,单设配额并在评测中单列统计
强化学习偏好同一缺陷图像的多名检验人员判定+最终裁定+偏好序+理由(引判据条款)缺陷判级一致性 0.7 万组、根因解释充分性 0.5 万组、报告表述规范性 0.4 万组按判定分歧度分档。长尾为刚好跨档的临界判级样本,全部进入偏好集
基准评测缺陷图像或检验记录+题干+唯一答案或评分细则+缺陷类别分层标记+真实/人工构造标记缺陷分类 0.1 万条、检验判定 0.07 万条、根因追溯 0.05 万条、报告生成 0.03 万条缺陷分类类按类别分层,每类不低于 60 条。天然稀少类别的样本不足时以人工构造样本补充,构造样本单列标记,与真实样本分别统计准确率,不混合计算

表 23 数据来源:样本结构与任务类型分解依本节第三小节;条数依表 21;缺陷类别分层依甲方现行缺陷名录,名录与分级判据未成文部分以质量管理部门确认结果为准。

本集的标签体系有一条自我约束:不另立一套。

缺陷分级的判据甲方现行就有,分布在十一类缺陷与其检出手段的对应关系中。另起一套更规整、更便于标注的标签体系是容易想到的做法,但那样做出来的样本,判出的级别与质量管理部门实际签字认可的级别不是一回事,上线之后两套口径并行,争议只会更多。所以标注规范直接引用现行判据;判据换版时标注规范随之升版,旧版样本保留它当时所依据的判据版本号,不做追溯重标。

代价要说清楚:同一种缺陷在不同版本的样本中可能带着不同的标签。收益是每一条样本的标签都能对应到一份当时有效、并且被质量管理部门认可的判据,评测时按判据版本分层即可。两相权衡,可追溯比表面一致更重要——表面一致是把历史改成现在的样子,而追溯链一旦断了,将来谁也说不清这条样本当初凭什么这么判。判据版本号随样本留存的完整率因此列为本集的一项质量证据,字段不齐的批次不予发布。表 23 与表 24 的每一行各对应一张子集数据卡,字段落点见第八部分。

表 24 产品质量数据集四个用途子集的标签与参考答案、许可、质量证据与发布条件

用途子集标签与参考答案的出处许可状态质量证据用途与发布条件
预训练无标注,本行不适用企业自有;第三方检测机构出具的报告按其授权范围使用,超范围的不入集版面还原与字段抽取的回原文定位通过率、缺陷位置口径统一率、质检六维度报告继续预训练。缺陷位置口径已统一到焊缝与焊道坐标、术语已归一到缺陷名录方可发布
指令微调标签直接引用甲方现行缺陷分级判据,不另立标签体系;判据换版时标注规范随之升版,旧版样本保留其当时所依据的判据版本号,不做追溯重标企业自有判据版本号随样本留存的完整率、判级一致率与裁决记录有监督指令微调。判据版本号字段齐备、一致率达阈值方可发布;评测时按判据版本分层
强化学习偏好最终裁定判为优,裁定依据引判据条款企业自有裁定记录、偏好理由字段完整率人类偏好对齐。理由完整率达标方可发布
基准评测人工裁定;人工构造样本的答案由两名检验人员独立给出并取得一致企业自有;冻结后不再变更隔离命中比对结论、真实样本与构造样本的分别统计结果基准评测。零合成(人工构造样本不属模型合成,须单列标记并随卡片说明构造方法与数量)、双重隔离成立、冻结后不回填方可发布

表 24 数据来源:标签与参考答案出处依 b1595、b1596 所列全流程质量数据范围与映射关系要求;许可状态依 b1534;质量证据与发布条件依第二部分表 7、表 8。

5. 模态与时效构成

以条为单位的样本合计 25.85 万条(24+1.6+0.25),其中多模态样本测算 15.51 万条,占 60%——缺陷图像、交检拍照与纸质报告扫描件构成主要部分。三年内数据条数测算 18.095 万条,占 70%。时效占比较高的原因是质量管理系统新上线,结构化检验记录主要产生于近期;更早期间的质量数据以纸质报告为主,数字化批次按项目重要性分批推进。

6. 本集的局限性与回退

本集的主要不确定性在纸质报告数字化的工作量。我方按三档组织:近三年的无损检测与化验报告按批次全部纳入数字化范围,完成率逐月统计;三至八年的报告按产品型号抽样数字化,抽样比例按型号的在役台数加权;八年以上的报告仅对发生过重大质量事件的项目数字化。若实际纸质量显著超出盘点预估,本集按上述三档顺序交付,预训练子集的无损检测报告一类来源占比下调,缺口由检验记录与缺陷图像标注文本补足,总量不变。此外,交检拍照的图像质量参差,部分照片不满足缺陷标注要求,这部分图像仅作为场景多样性语料,不进入缺陷分类类样本,相应情况在卡片的局限性字段中说明。

7、数据集其它指标要求

1. 招标文件要求与我方承接

规模之外,招标文件另给了三项指标:数据模态种类、多模态数据条数占比、3 年内数据条数占比。这三项与规模数字的性质不一样。规模是绝对量,做到就是做到;后两项是比例,而比例的取值取决于分母怎么定——招标文件只给了比例数值,没有定义「数据条数」怎么数。

这个差别必须在承接的时候就讲明白,否则会出现这样的局面:我方按一种算法测出 45.9%,第三方评测机构按另一种算法测出三十几,双方拿的是同一批数据、各自计算也都没错,结论却相反。到那一步再争口径,争的是验收结论,谁都退不了。我方对这三项的承接因此分两层:一是逐项给出承接口径与余量(表 25),二是把所采口径的分母定义、测算过程与每一个数字的来源全部摊开(本部分第 2 至第 4 小节),使任何一方都能照着复算一遍。

表 25 数据集其它指标要求(招标文件表格 3-5 原表)与我方承接

序号指标项指标要求我方承接口径单元
1数据模态不低于 3 种建设文本、图像、时序、视频四种模态,高于要求一种b1601r02
2多模态数据条数占比不低于 40%按本节口径一测算 45.9%,留 5.9 个百分点余量b1601r03
33 年内数据条数占比不低于 40%按本节口径一测算 60.7%,留 20.7 个百分点余量b1601r04

表 25 数据来源:指标项与指标要求依招标文件第 95 页表格 3-5(b1600、b1601r01—r04)原值;承接口径测算值依表 26。

表头行 b1601r01 为招标文件原表列标题,在表 25 中原样保留。

模态一项在招标文件中有两处表述。表格 3-5 写「数据模态不低于 3 种」(b1601r02),项目数据质量目标与业务范围两处写「数据集涵盖超过 3 种模态(时序数据、图像、文本、视频等)」(b0670、b0683)。「不低于 3 种」与「超过 3 种」在严格读法下分别对应三种与四种。

我方按较高要求承接,建设文本、图像、时序、视频四种模态,同时满足两处表述。四种模态的分布不是均匀的,各集实际建设的模态(本节称「有效模态」)逐集不同:供需计划集为文本与图像两种;产品工艺设计集为文本与图像两种,其中图像以原生图纸及其局部视图为主;制造过程集为文本、时序、图像、视频四种;产品质量集为文本、图像、视频三种。四集取并集得文本、图像、时序、视频四种,满足模态种类数不低于 3 种的要求,也满足「超过 3 种」的较高表述。

视频模态另有一条计量约定。视频主要用于焊接产线与装配现场的工序记录,规模最小,按场景多样性语料的定位建设,承载在制造过程集与产品质量集的预训练子集中;因预训练子集以 Token 计量、不计入口径一的条数分母,视频样本的条数与占比不进入表 26 的分子与分母,而在各自子集数据卡的模态构成字段中单列。此项约定使「有效模态种类数」与「计入条数分母的模态」两个口径分开,避免以模态种类数反推条数占比。

2. 占比指标的计量口径

招标文件给出了占比数值,没有定义「数据条数」的统计基数(b1601r03、b1601r04)。四个用途子集的计量单位不统一——预训练集以 Token 计,其余三集以条或组计——因此基数定义直接决定占比结果。我方给出两套口径,以口径一为承接依据,口径二作为备选,最终以蓝图设计阶段与甲方及第三方评测机构确认的结论为准。

口径一(承接口径):统计基数为以条或组为计量单位的样本合计,即指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条,合计 96.55 万条。预训练集以 Token 计量,其篇章级样本条数单列统计,不计入分母。采用这一口径的理由是三类以条计量的子集具有同质的计量单位,占比可直接计算与复算。

口径二(备选口径):将预训练集的篇章级样本条数一并计入分母。该口径下的分母不由「总 Token 数除以平均篇章长度」推算——那样得到的只是一个随切分参数浮动的商数,第三方无法核对;分母取发布态文件清单中实际登记的篇章条数,由清单逐条计数得出,随每一版本的校验清单一同发布。采用本口径时,分母随切分粒度变化而变化,占比结果因此对加工参数敏感,我方不建议作为验收依据;若评测机构要求采用,我方按清单实际计数重新测算多模态与时效样本配比,并相应调整各集的多模态样本生产计划与图像、时序类来源的占比,总规模不变。

3. 占比测算

一个 45.9% 的总数,第三方无从核对。要让它可验,表里必须同时出现三样东西:每一集各自的分子与分母、分母由哪三个子集的条数加出来、以及这一集为什么是这个数。前两样是算术,第三样是业务解释——没有解释,看到工艺设计集的时效占比只有 25%,合理的反应是怀疑测算有误,而不是想到 63 万张历史图纸横跨十余年这件事。

列的设置因此按可复算来定,不按好看来定:分母一列与分母构成一列并排,使每一个分母都能当场被三个数加出来;多模态与近 36 个月两项各自先给绝对条数再给占比,而不是只给占比;业务时间未知单独成列,不并进任何一边。少掉其中任何一列,这张表就从一份可核对的测算退回成一组声明。

表 26 多模态与时效性占比测算(口径一)

数据集有效模态分母(条数基数,万条)分母构成(指令微调+偏好+基准)多模态条数(万条)多模态占比近 36 个月条数(万条)近 36 个月占比业务时间未知条数(万条)占比高低的主要成因
供需计划文本、图像43.640+3.2+0.46.5415%23.9855%0.87以合同、订单、库存文本为主;客户关系管理系统新上线,历史数据少,近期数据占优
产品工艺设计文本、图像10.910+0.8+0.19.2785%2.72525%0.65图纸与工艺卡成对样本几乎全部带图;历史图纸横跨十余年,近三年新增占比小;早期归档图纸缺日期字段,未知时间条数在四集中最高
制造过程文本、时序、图像、视频16.215+1+0.212.9680%13.7785%0.08样本以时序段落为主;采集覆盖近年才扩展,早期数据多不满足入集条件;时序段自带时间戳,未知时间条数最低
产品质量文本、图像、视频25.8524+1.6+0.2515.5160%18.09570%0.78缺陷图像与检验拍照占相当比重;质量管理系统新上线,结构化记录以近期为主;纸质报告部分缺检验日期
合计文本、图像、时序、视频(四种)96.5589+6.6+0.9544.2845.9%58.5760.7%2.38(占分母 2.5%)两项占比均高于 40% 的要求

表 26 数据来源:分母依表 1 各集指令微调、偏好、基准三项之和,预训练子集以 Token 计量不入分母(见本部分第 2 小节口径一);有效模态依本部分第 1 小节;多模态条数、近 36 个月条数与业务时间未知条数为测算值,依据各集来源构成(表 10、表 14、表 18、表 22)与甲方各源系统的数据留存状况;占比要求依招标文件 b1601r03、b1601r04。

表中三项数量关系须一并说明。多模态条数与近 36 个月条数共用同一个分母,且两者各自与分母的关系互相独立:一条样本可以既是多模态又在近 36 个月内,两列不互斥、不可相加。业务时间未知条数计入分母但不计入近 36 个月的分子,即按不利于我方的方向保守处置——未知不等于近期。该列同时是时效占比的改进余量:随纸质资料数字化推进与归档日期回填,未知条数下降,近 36 个月占比只会上升不会下降。跨模态记录已按第二部分第 1 小节的合并计数规则归并,同一业务对象的图像与其结构化描述计一条,不在多模态列与分母中重复出现。

两项指标的分集差异很大,这是业务事实决定的,不是配比不当。工艺设计集的时效占比只有 25%,制造过程集高达 85%;若按分集各自达标来要求,前者必须削减历史图纸样本,而历史图纸恰是本集最有价值的部分。因此我方按招标文件原文的口径执行。两项指标是对整套数据集提出的(b0670、b0683),在四集汇总层面核算达标,分集占比如实记录在各自的数据集卡片中,不做分集达标承诺。

4. 「3 年内」的时点口径与达成保障

「3 年内」以数据集版本的发布日为基准日向前推 36 个月,按业务发生时间而非入库时间判定。按业务发生时间判定的原因是同一批历史数据可能在项目中期才完成数字化入库,按入库时间统计会把十年前的图纸记成当年数据。该口径在数据集卡片的建设过程字段中以「采集时间范围」与「业务发生时间范围」两个字段分别记录,对应评测规范中数据来源一项对采集时间范围的要求(b1939)。

时间边界按三条判定,逐版固定并随卡片声明。其一是区间的开闭:计入区间为基准日前推 36 个月的次日起至基准日当日止,两端均含边界当日;基准日取版本发布日,不取评测日,避免同一版本在不同评测时点得出不同占比。其二是跨期样本的归属:一条样本涉及多个时间点时(如合同签订、交货、结算分属不同年份),以该样本所述业务事实的主体发生时间为准,主体时间在样本结构中以单一字段显式记录,不取最早也不取最晚。其三是业务时间未知样本的处置:无法从原始记录判定业务发生时间的样本,计入分母、不计入近 36 个月分子,并在样本中以缺失标记显式保留、不以入库时间或归档时间代填;该部分条数逐集统计,列于表 26 并写入卡片的局限性字段。

基准日逐版本后移,早期入集的样本会陆续退出区间。以 2028 年 5 月的终版为例,基准日之前 36 个月即 2025 年 5 月之后发生的业务数据才计入。

我方的处理办法是把近三年数据的持续补充列为常态生产任务,每一版发布前重算时效占比并记入卡片;若某一版测算值低于 45%(即在 40% 的要求上预留 5 个百分点安全边界),该版发布前先补充近期批次,补足后再发布。

图 5 模态与时效性占比的达成结构(口径一)

多模态条数占比(要求 ≥40%,测算合计 45.9%) 供需计划 15% · 6.54/43.6 万条 工艺设计 85% · 9.27/10.9 万条 制造过程 80% · 12.96/16.2 万条 产品质量 60% · 15.51/25.85 万条 四集合计 40% 要求线 45.9% · 44.28/96.55 万条 3 年内条数占比(要求 ≥40%,测算合计 60.7%) 四集合计 60.7% · 58.57/96.55 万条 分集时效占比:供需计划 55% · 工艺设计 25% · 制造过程 85% · 产品质量 70%; 分集占比差异来自各源系统的数据留存状况,按四集汇总层面核算达标。

图 5 模态与时效性占比的达成结构(口径一)。数据来源:测算值依表 26;要求值依招标文件第 95 页表格 3-5(b1601r03、b1601r04)。条形长度按占比比例绘制,浅灰为达成部分,竖线为 40% 要求线。

8、数据集卡片(数据卡):出卡粒度、字段体系与样例

每一正式发布版本均产出数据集内容、数据集卡片、版本指纹、质检报告与验证报告五件(b1567、b1568),其中数据字典与自描述封装文件须使数据集脱离平台后仍能被第三方平台准确解析(b1569、b1570)。本部分给出卡片的出卡粒度、字段体系、版本指纹的生成方式与一张填满的样例卡。

1. 卡片承担的举证责任

数据集卡片在本项目中不是一份摘要性文档,它承担的是评测规范中「说明文档」维度的全部举证责任。招标文件要求的三维度评测指标体系中,说明文档维度下设基本信息完整性、内容特征完整性、建设过程完整性、应用说明完整性四组共二十一项指标(b1912—b1958)。这二十一项指标每一项都在问「说明文档是否说明了某件事」。

因此卡片字段与这二十一项指标逐项对应:每一项指标对应卡片中至少一个字段,字段留空即对应指标失分,由平台在发布前自动校验必填字段,缺项则阻断发布。这样安排使说明文档维度的得分不取决于编写人的经验,而取决于字段是否填齐,可核查、可自动化。

卡片同时承担另外两件事:记录本版数据集的已知局限(b1935),以及承载规模、模态与时效三项承诺指标的本版实测值。前者关系到评测规范对局限性说明的要求,也关系到回退情形的如实披露;后者使第三方评测可以直接拿卡片声明值与自己的复算值比对。

2. 出卡粒度:一个发布批次二十张卡

卡片按「一数据集一用途子集一卡」的粒度产出。四类数据集乘四个用途子集得十六张子集卡,外加四张数据集级汇总卡,一个正式发布批次共二十张。汇总卡不重复子集卡的内容,它回答三个只有在数据集层面才成立的问题:该数据集跨四个子集的总规模、模态构成与时效构成;四个子集之间的来源隔离与引用关系;该数据集对应哪几个验证场景、由哪几份质检与验证报告支撑。

表 27 二十张数据卡的清单与取数来源

数据卡编号卡名本卡承载的内容规模与构成的取数来源
GHY26691-DC-01-0000供需计划数据集级汇总卡四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单表 9、表 10、表 11、表 12
GHY26691-DC-01-0001供需计划预训练子集卡Token 总量、来源构成、篇章长度分层、合成占比与去重统计表 9、表 10、表 11、表 12
GHY26691-DC-01-0002供需计划有监督指令微调子集卡条数与任务类型分解、难度分层与长尾配额、标注规范与一致率表 9、表 10、表 11、表 12
GHY26691-DC-01-0003供需计划人类偏好对齐子集卡组数与偏好对象分解、偏好序出处、理由字段完整率表 9、表 10、表 11、表 12
GHY26691-DC-01-0004供需计划基准评测子集卡条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子表 9、表 10、表 11、表 12
GHY26691-DC-02-0000产品工艺设计数据集级汇总卡四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单表 13、表 14、表 15、表 16
GHY26691-DC-02-0001产品工艺设计预训练子集卡Token 总量、来源构成、篇章长度分层、合成占比与去重统计表 13、表 14、表 15、表 16
GHY26691-DC-02-0002产品工艺设计有监督指令微调子集卡条数与任务类型分解、难度分层与长尾配额、标注规范与一致率表 13、表 14、表 15、表 16
GHY26691-DC-02-0003产品工艺设计人类偏好对齐子集卡组数与偏好对象分解、偏好序出处、理由字段完整率表 13、表 14、表 15、表 16
GHY26691-DC-02-0004产品工艺设计基准评测子集卡条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子表 13、表 14、表 15、表 16
GHY26691-DC-03-0000制造过程数据集级汇总卡四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单表 17、表 18、表 19、表 20
GHY26691-DC-03-0001制造过程预训练子集卡Token 总量、来源构成、篇章长度分层、合成占比与去重统计表 17、表 18、表 19、表 20
GHY26691-DC-03-0002制造过程有监督指令微调子集卡条数与任务类型分解、难度分层与长尾配额、标注规范与一致率表 17、表 18、表 19、表 20
GHY26691-DC-03-0003制造过程人类偏好对齐子集卡组数与偏好对象分解、偏好序出处、理由字段完整率表 17、表 18、表 19、表 20
GHY26691-DC-03-0004制造过程基准评测子集卡条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子表 17、表 18、表 19、表 20
GHY26691-DC-04-0000产品质量数据集级汇总卡四子集合计规模、数据集层面的模态与时效构成、四子集之间的来源隔离与引用关系、本数据集对应的验证场景与质检验证报告清单表 21、表 22、表 23、表 24
GHY26691-DC-04-0001产品质量预训练子集卡Token 总量、来源构成、篇章长度分层、合成占比与去重统计表 21、表 22、表 23、表 24
GHY26691-DC-04-0002产品质量有监督指令微调子集卡条数与任务类型分解、难度分层与长尾配额、标注规范与一致率表 21、表 22、表 23、表 24
GHY26691-DC-04-0003产品质量人类偏好对齐子集卡组数与偏好对象分解、偏好序出处、理由字段完整率表 21、表 22、表 23、表 24
GHY26691-DC-04-0004产品质量基准评测子集卡条数与能力维度分解、隔离标记与命中比对结论、评测协议与随机种子表 21、表 22、表 23、表 24

表 27 数据来源:出卡粒度与编号规则依第 92 页按版本组织产出的要求(b1567、b1568);四集规模依表 1;各卡的取数来源为本节第三至第七部分各表。二十张卡的逐张实填件见附录佐证卷《附录:四大数据集样例数据卡》(第 2282—2463 页)。

3. 字段体系:七个分区八十四个字段

卡片字段按标识与基本信息、内容特征、建设过程、应用说明、质量与评测、安全与合规、版本与指纹七个分区组织,共八十四个字段,字段号在机器可读卡中作为键名使用。字段号、字段名、必填性、填写方与取值约束一律取附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分(第 1495—1604 页),本节不另立字段;二十张卡与八十四个字段的逐张实填件见附录佐证卷《附录:四大数据集样例数据卡》(第 2282—2463 页)。

七个分区的字段数依次为十七、十四、十四、十、十、十、九。前四个分区对应评测规范说明文档维度的四组指标,后三个分区对应质检与验证的举证、数据安全与合规的举证、版本指纹与血缘的举证。八十四个字段中,机器可独立判定的有六十一项,须人工复核判定的有二十三项。

本节第一至第七部分的全部内容都有确定的字段落点,落点列于表 28。凡本节给出的数值与口径,均由该表所列字段在卡片中承载;凡卡片中的统计类字段,其计算口径均回指本节对应的小节,两端用同一套口径,评测时不需要再做换算。

表 28 本节内容在八十四个字段上的落点

本节内容所在表或小节落点字段填写方
十六格净交付量(四集四子集的规模承诺)表 1、表 3A08 样本总数、A09 Token 总数平台
预计损耗率与受理原始量表 3、表 5C01 数据来源清单、C02 采集方法人工
来源对象与清点口径表 3、表 5C01 数据来源清单人工
各集预训练子集的来源构成表 10、表 14、表 18、表 22B07 来源分布、C01 数据来源清单平台/人工
分期累计产量与各期下限表 4、表 6A05 版本号、C14 版本变更记录平台
真实数据补充来源表 4C01 数据来源清单人工
损耗补足路径表 4B12 已知局限性、C04 加工处理流程人工
四个子集的样本结构表 11、表 15、表 19、表 23A12 数据结构说明人工
任务类型与条数分解表 11、表 15、表 19、表 23A08 样本总数、B05 业务主题分布、D03 目标模型任务类型平台/人工
难度分层与长尾配额表 11、表 15、表 19、表 23B08 难度分布平台
标签与参考答案的出处表 12、表 16、表 20、表 24B09 标签体系、B10 标签分布、C06 标注规范编号人工/平台
许可状态表 12、表 16、表 20、表 24C03 许可状态、D01 使用许可条款、F06 商用可用性核查、F07 来源合法性承诺人工
质量证据表 12、表 16、表 20、表 24C08 跨标注员一致性、C09 黄金集通过率、E01—E04 质检四项、E05—E07 验证三项平台
用途与发布条件表 12、表 16、表 20、表 24D02 目标应用场景、D09 不适用情形、E03 质检结论人工/平台
有效模态与模态构成表 26、第七部分第 1 小节B01 模态构成、B02 模态种类数平台
多模态条数占比与其分母口径表 26、第七部分第 2 小节B03 多模态条数占比平台
近 36 个月占比、时间边界与业务时间未知条数表 26、第七部分第 4 小节B04 近三年数据条数占比、B13 时间跨度、B12 已知局限性平台/人工
真实、合成、增强三类样本的计划构成与上限表 7B14 合成样本占比、C10 合成方法记录、C11 教师模型许可登记、C12 增强方法记录平台/人工
去重四项统计与跨模态归并计数表 7、第二部分第 1 小节C13 去重与相似度比对结论平台
基准子集的零合成与双重隔离表 7、表 12 等四表基准行C13 去重与相似度比对结论、D05 评测协议平台/人工
五类异常情形的处置留痕表 8C14 版本变更记录、B12 已知局限性、E04 未关闭缺陷平台/人工
规模逐格达标、不跨领域冲抵第二部分第 8 小节A08 样本总数、A09 Token 总数、E02 六维度质检结果平台
版本指纹与自描述封装本部分第 4 小节G01—G07平台

表 28 数据来源:字段号与字段名依附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分字段总表;指标对应关系依第 112—115 页评测规范说明文档维度指标(b1912—b1958);本节内容依第一至第七部分各表。

4. 版本指纹与自描述封装

版本指纹用于回答一个问题:拿到手的这份数据集,是不是卡片所描述的那一份。我方采用三段式摘要,摘要算法采用国产商用密码杂凑算法,与本卷《安全方案》(第 1167—1200 页)的国密要求一致。第一段是内容摘要,对每一个样本文件逐个计算摘要值,形成校验清单;第二段是清单摘要,对校验清单整体计算摘要值;第三段是卡片摘要,对卡片中除指纹字段本身以外的全部字段按固定序列化规则计算摘要值。三段摘要值拼接为版本指纹,写入卡片与封装包的清单文件。任何一个样本被替换、清单被改动或卡片关键字段被修改,指纹都会变化。

自描述封装包的目录结构固定为六部分:原始数据或发布态内容、元数据、数据字典、数据集卡片、校验清单与许可文件、读取与校验脚本。招标文件要求实现原始数据、元数据与数据字典的绑定封装,使数据集在脱离平台后仍能被第三方平台准确解析(b1569、b1570)。

我方的实现方式是把解析所需的全部信息放进包内而不依赖平台接口:字段定义在数据字典中、文件组织在清单中、读取逻辑在脚本中。验收时以一台未安装本项目任何组件的机器执行包内脚本作为通过标准:脚本能读出样本、指纹校验一致,即视为自描述能力成立。

5. 数据卡样例:供需计划数据集·有监督指令微调子集 V1.0

下表为一张完整的数据卡,八十四个字段逐项成行,字段号与字段名取附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分字段总表。标注【待填】的三类字段是发布时方才产生的值:由平台在发布环节自动计算的摘要、体积与统计实测值;由质检与验证环节出具后回填的报告编号与结论;由甲方确权后方能确定的授权条款与支持渠道。其余字段均为本版实际内容。卡片随数据集一同封装发布,必填字段缺项的版本由平台阻断发布。

表 29 数据卡样例:供需计划数据集·有监督指令微调子集 V1.0

字段号字段名本版内容
A01数据卡编号GHY26691-DC-01-0002-V1.0
A02数据集名称供需计划数据集
A03用途子集有监督指令微调
A04所属业务域01 供需计划
A05版本号V1.0
A06发布日期【待填:本版正式发布之日】
A07数据集简介本子集面向矿山装备制造企业「以销定产、以产定采」的供需协同主线,把分散在销售、合同、订单、客户、产品、库存、采购、排产各系统与历史经验文档中的决策事实,整理为可供指令微调使用的监督样本。核心是把选型与补货两类依赖经验的判断显性化:选型类样本按「工况参数+候选配置+校核过程+排序结论+理由」五段式组织,完整保留逐项校核的中间步骤与排序依据,以适配甲方现行公式为校核式而非正算式这一业务事实;库存与补货类样本统一到同一时点的库存口径,并随样本发布口径映射表。本子集支撑产品智能选型、库存控制智能化、合同合规审查三个验证场景的验证服务
A08样本总数40 万条。产品智能选型问答与校核推理 13 万条、库存与补货计划决策 9 万条、合同与技术协议合规问答 7 万条、产销协同与排产调度 6 万条、客户与工况参数抽取 5 万条
A09Token 总数不适用。本子集以条计量,Token 计量仅适用于预训练子集
A10存储总量【待填:发布时由平台统计压缩前与压缩后体积】
A11文件类型与编码.jsonl 样本正文、.parquet 列存副本、.png 版面切片、.csv 口径映射表;字符编码一律 UTF-8,换行符 LF
A12数据结构说明每条含 sample_id、task_type、instruction、input、reference_output、reasoning、biz_key、biz_time、source_ref、quality_flags 十个字段。biz_key 为业务对象主键(合同号、订单号、物料编码之一),biz_time 为业务发生时间,source_ref 指向原始记录与版面定位,quality_flags 记缺失标记与口径转换标记。逐字段定义见《数据字典》GHY26691-LG-01-0003
A13目录组织方式/01_supply_demand/sft/{selection,inventory,contract,scheduling,extraction}/{year}/。五类任务各一目录,目录内按业务发生年份分层;根目录另置 manifest.json 校验清单、datacard/ 本卡、dict/ 数据字典、scripts/ 读取与校验脚本
A14文件命名规则SFT-<任务码>-<业务年份>-<批次号>-<序号>.jsonl。任务码取 SEL 选型校核、INV 库存决策、CTR 合同合规、SCH 产销协同、EXT 参数抽取;批次号为四位流水,序号为六位流水
A15获取方式奔牛数据智能平台数据集专区申请入口。提交用途说明与使用范围承诺后,经数据所有权部门与安全管理岗两级审批;含商务条款的 CTR 批次另需经营管理部门加签。受理时限 2 个工作日,加签批次 3 个工作日
A16技术支持渠道【待填:技术支持入口与受理时间,由甲方指定】。响应时限按本项目售后服务承诺执行
A17配套件清单《数据字典》GHY26691-LG-01-0003、库存口径映射表 inv_mapping_v1.csv、术语词典 term_dict_01.json、读取与字段校验脚本 read_sft_01.py、分层抽样脚本 sample_sft_01.py、按参考输出判分示例 eval_demo_01.py
B01模态构成文本 34 万条(85%)、文本+图像 6 万条(15%)。图像来自矿方资料扫描件、构件图与选型图、报表图片,以版面切片随样本引用;同一业务对象的图像与其结构化描述合并计一条,不拆分计数
B02模态种类数2(文本、图像)。四集取并集为文本、图像、时序、视频四种,满足模态不低于 3 种的要求
B03多模态条数占比15%(6 万条/40 万条)。分母按本节第七部分口径一取以条计量的样本
B04近三年数据条数占比55%(22 万条/40 万条)。基准日为本版发布日前推 36 个月,区间两端含边界当日,按业务发生时间判定;业务时间未知的样本计入分母不计入分子
B05业务主题分布五类任务条数见 A08。业务域分布:销售与合同 12 万条、库存与采购 9 万条、排产与产销协同 6 万条、客户与工况 8 万条、型谱与物料 5 万条
B06样本长度分布指令与输入合计长度中位数约 600 Token、90 分位约 2,400 Token(测算);长尾为五段式选型校核样本,单条可达 6,000 Token。本版实测分位数与直方分布随发布态统计报表出具
B07来源分布协同办公 11 万条、企业资源计划 9 万条、制造执行 6 万条、客户关系管理 4 万条、企业文档与项目归档 5 万条、产品全生命周期管理 3 万条、结构化访谈与历史方案回溯 2 万条
B08难度分布按工况参数完整度与候选配置数分三档:参数齐备单一配置 18 万条、参数部分缺失或多配置比选 19 万条、长尾 3.2 万条。长尾为多工作面组合选型与跨年度补货测算,单设配额不低于 3.2 万条并在评测中单列统计
B09标签体系《供需计划数据集标注规范》V1.0。含选型校核、库存决策、合同合规、产销协同、参数抽取五类任务的标签定义、边界条件与判定规则;选型校核类另定校核项标签与排序理由的分类标签
B10标签分布逐标签条数与占比随发布态统计报表出具。长尾标签为「配置不可行—接口参数冲突」与「补货方案—外购提前期不确定」两类,各不足全集 1%,已单独标出并在抽样时保底
B11样本示例五类任务各一条,全文见封装包 samples/ 目录。选型校核类示例为五段式结构,含工况参数表、三个候选配置、逐项校核算式与取值、排序结论与理由
B12已知局限性一、配套接口参数的会商结论无电子留痕,相关样本通过历史方案回溯与结构化访谈部分还原,未还原的项目在 quality_flags 中以缺失标记显式保留,不做插补,覆盖度以项目为单位统计、近三年项目优先;二、库存口径经统一映射入集,属一次有损转换,依赖原始分仓口径的账务类分析不适合基于本子集进行;三、客户关系管理系统新上线,项目与商机类样本集中在近三年,更早期间的客户侧信息以合同与技术协议反向补齐;四、历史选型方案的投运使用评价须从零补录,补录进度取决于业务流程改造,本版覆盖度按实际填报。以上四项的补齐计划列入《下一版本修订计划》GHY26691-PL-01-0007
B13时间跨度【待填:本版最早与最晚业务发生日期】。按业务发生时间统计,不按入库时间
B14合成样本占比计划不高于 40%,硬上限 45%,超限由质检环节阻断发布。合成部分以真实案例为种子、由思维链构建类工具链生成过程初稿并经业务专家裁定;本版实测值随质检报告出具
C01数据来源清单协同办公(合同、技术协议、选型方案)、企业资源计划(订单、物料主数据、库存账、采购订单)、制造执行(排产与工序流转)、客户关系管理(项目与商机)、企业文档与项目归档(矿方工况与地质资料)、产品全生命周期管理(产品与部件型谱)、仓储管理与物流执行(库存批次与出入库流水)、结构化访谈与历史方案回溯(供需协同经验与会商结论)。各源的受理原始量与预计损耗率见本节第二部分表 3;采集时间范围逐源登记
C02采集方法业务系统按已授权数据域开通只读接口或只读视图、按日增量抽取;协同办公与企业文档按目录批量导出后文档解析;矿方纸质资料扫描后版面还原;无系统承载的协同经验按专项采集模板组织结构化访谈与历史方案回溯,单独成批次,不与系统导出批次混同计量。本子集净交付 40 万条对应受理原始量 53.3 万条,预计损耗率 25%
C03许可状态企业自有。含客户名称与价格条款的批次按较高密级处理,不对外再分发;许可凭证编号随各源登记条目留存
C04加工处理流程采集登记与许可核验 → 文档解析与版面还原 → 对象主键贯通 → 库存与时间口径统一 → 去标识化 → 指令对构造与思维链初稿生成 → 业务专家裁定 → 一致性校验 → 去重 → 质检门控 → 定版。各环节所用工具链及其版本随封装包记录;未达量、模态不足、时效不足、许可撤回、评测不通过五类情形的处置按本节第二部分表 8 执行,处置过程在 C14 留痕
C05预处理参数文档解析保留原始段落与版面坐标;长文按语义段切分,单段上限 2,000 Token、重叠 200 Token;表格按行列结构还原后转为陈述句式并保留原字段映射;库存口径统一到同一时点口径,映射表随集发布
C06标注规范编号《供需计划数据集标注规范》V1.0(册号 GHY26691-ST-01-0002)
C07标注组织方式预标注由工具链生成初稿,人工标注双人独立进行,不一致样本转业务专家仲裁。预标注覆盖全部样本,双人独立标注覆盖 30%,仲裁覆盖双人不一致的全部样本
C08跨标注员一致性【待填:本版标注员间一致率实测值】。低于《供需计划数据集标注规范》所定阈值的批次整批退回重标,不以放宽阈值的方式放行
C09黄金集通过率【待填:本版黄金集通过率实测值】。黄金集由业务专家预先裁定,按月轮换以防针对性记忆
C10合成方法记录种子取自历史已签发方案与真实业务记录;合成方法为按任务类型模板生成候选过程、再由业务专家裁定取舍;提示词版本与所调用模型的版本标识逐批登记。模型经统一网关接入,可替换、可评测、可随代升级
C11教师模型许可登记所调用通用大模型的许可条件逐条登记,登记条目编号随合成批次留存;许可条款不允许用于训练数据生成的模型不予调用
C12增强方法记录增强手段为同义改写与指令措辞变体,用于改善指令表达分布;增强副本登记于增强批次台账,不计入本子集 40 万条的规模。增强前后的分布对比结论编号随台账留存
C13去重与相似度比对结论四项统计逐版出具:集内重复率(文本指纹与向量近邻双判)、与本数据集其余三个子集的跨子集重复率、按业务对象主键合并的跨模态归并条数、与基准评测子集的交叉命中数。交叉命中样本整条移出本子集并记入隔离日志,命中数不为零的版本不予发布
C14版本变更记录V1.0 首版,无上游版本。后续逐版记录时间、变更内容、变更原因与变更人角色;因许可撤回而下架的来源、因评测整改而回流的批次,一律在本字段单列,不以静默替换方式处理
D01使用许可条款【待填:对外授权条款、是否可商用、署名要求与再分发限制,由甲方确权后填写】
D02目标应用场景产品智能选型、库存控制智能化、合同合规审查三个验证场景。本包承担数据集加工生产、质量评测与场景验证服务,智能场景本身的建设不在本包范围内
D03目标模型任务类型指令微调
D04推荐评测指标五类任务的参考输出一致率;选型校核类另计过程分,按候选生成完整性、逐项校核正确率、排序结论一致率三项分别计算,过程分与结果分不合并
D05评测协议评测环境、推理参数、随机种子与指标脚本版本随本业务域基准评测子集的评测协议一并固化,冻结后不变更;本子集样本不得用于评测,与基准评测子集按来源与时间双重隔离
D06基线结果【待填:基座模型与本版训练后模型的指标对比表,随首轮评测完成后回填】
D07可复现实现参考封装包内 scripts/eval_demo_01.py 给出按参考输出判分的完整流程;read_sft_01.py 给出字段校验与异常样本定位。两个脚本在未安装本项目任何组件的机器上可直接运行
D08典型应用案例选型校核子任务:输入矿方工况参数与候选配置,输出逐项校核过程与排序结论。输入输出示例与运行步骤见封装包 cases/sel_case_01/,可按示例复现
D09不适用情形本子集不适用于价格测算与成本核算类任务,价格条款已按分档映射处理、不保留原值;不适用于依赖原始分仓库存口径的账务分析;不适用于作为评测集使用
D10配套数据集GHY26691-DC-01-0001 预训练子集(提供业务语料底座)、GHY26691-DC-01-0004 基准评测子集(提供同业务域的评测口径)
E01质检报告编号【待填:本版《数据集质检报告》编号】
E02六维度质检结果保真度、完备性、规整性、均衡性、可用性、可信性六项的实测值与门限对照随质检报告出具。规模相关门控项为:去重后净量达到本期累计下限、合成占比在上限之内、与基准子集的隔离命中为零
E03质检结论【待填:通过/条件通过/不通过】
E04未关闭缺陷条件通过时逐条列出遗留缺陷及其关闭计划与时限;无遗留缺陷时填「无」
E05验证报告编号【待填:本版《数据集验证报告》编号】
E06能力增量结论本子集对模型在选型校核、库存决策、合同合规三类能力上的量化增量,随验证报告出具
E07场景可用性结论产品智能选型、库存控制智能化、合同合规审查三个场景的逐场景可用性判定与失败样本清单,随验证报告出具
E08第三方评测状态【待填:第三方评测报告编号与得分;未评测时填「待评测」】
E09依据标准版本《高质量数据集质量评测规范》TC609-5-2025-04;数据分类分级、去标识化与效果评估所依据的国家标准版本随附录佐证卷标准清单逐项登记
E10复测记录【待填:集中复测的时间、范围与结论编号;未复测时填「无」】
F01数据分类企业经营管理数据、客户与项目数据、产品与物料数据三类
F02数据分级内部级;含客户名称与价格条款的批次按较高一级处理
F03涉及敏感信息类型个人信息(经手人姓名与联系方式)、商业秘密(价格条款与客户名称)
F04去标识化方法客户单位名称按泛化法处理到矿区与工作面类型层级;经手人姓名与联系方式按替换法处理;价格条款按分档映射法处理,保留可比性不保留原值
F05去标识化效果评估按重识别风险评估方法逐批评估并抽检,评估方法与结论随本版质检报告出具
F06商用可用性核查本子集不含不可用于商业用途的外部内容;行业与政策公开语料不进入本子集,核查结论随许可审查记录留存
F07来源合法性承诺《数据许可与合规审查规范》审查记录编号随各源登记条目留存;许可撤回时按本节第二部分表 8 处置
F08访问权限范围数据集申请通过的项目成员、数据所有权部门、安全管理岗、第三方评测机构(评测期限内只读)
F09审计记录位置平台审计日志按数据集编号与版本号检索,检索标识 GHY26691-DC-01-0002-V1.0
F10出境与共享限制不出境;对外共享以甲方确权结论为准,确权前不对外提供
G01文件清单摘要【待填:发布时由平台对校验清单计算的摘要值】
G02内容根摘要【待填:发布时由各样本文件摘要按清单顺序归并计算的根摘要】
G03摘要算法SM3(GB/T 32905)
G04签名算法SM2(GB/T 32918.1)
G05签名值【待填:发布时对内容根摘要的签名值】
G06签名时间【待填:发布时的签名时间】
G07自描述封装文件GHY26691-DC-01-0002-V1.0.pkg。包内六部分:发布态内容、元数据、数据字典、本数据卡、校验清单与许可文件、读取与校验脚本。在未安装本项目任何组件的机器上执行包内脚本即可读出样本并完成指纹校验
G08上游版本无(首版)
G09血缘标识LIN-01-0002-V1.0。逐条样本记录其原始数据定位、所经加工环节、各环节工具链版本与生成所用模型版本标识,可由样本反查到原始业务记录

表 29 数据来源:字段号、字段名与必填性依附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》第四部分字段总表;规模与任务类型分解依表 9、表 11;难度分层依表 11;许可、质量证据与发布条件依表 12;损耗率与受理原始量依表 3;合成与去重口径依表 7;模态与时效口径依表 26 及第七部分第 4 小节。

卡片的填写不是交付前的一次性文书工作。规模、占比、合成比例、一致率四类字段由工具链在每批次发布时自动写入;来源、流程、局限性三类字段由生产任务负责人在批次结项时填写并经质检环节复核;许可与责任部门两类字段由甲方确权后填写。平台在发布前校验必填字段,缺项不予发布。

9、【内部作业件·导出时自动剥除,不进交付件】与关联任务的边界

本节与本投标文件其他章节的分工如下。数据加工的十个环节中,采集、预处理、知识本体、知识库四个环节见本卷《数据加工生产一:采集 · 预处理 · 知识本体 · 知识库》(第 319—388 页),标注、合成、增强、质检、验证、项目管理六个环节见本卷《数据加工生产二:标注 · 合成 · 增强 · 质检 · 验证 · 项目管理》(第 389—433 页);本节给出的是四集的规模口径、净量与受理量测算、来源构成、四个用途子集的内容设计与数据卡的出卡粒度及字段落点。工具链的功能要求与清单见本卷《专项智能工具链总述》(第 535—552 页)及《工具链一:数据构建类》(第 553—611 页)、《工具链二:对齐与标注类》(第 612—690 页)、《工具链三:质量与验证类》(第 691—745 页)。

数据集运营服务管理平台的功能模块见本卷《数据集运营平台》(第 746—786 页),本节的交付责任至数据集移交登记为止(b1575、b1576)。质量评测的依据、指标体系、评测方法与实施过程见服务方案卷《数据集质量评测方案》(第 1432—1479 页),本节第二部分所述四层核验中的第四层即以该节所述第三方评测为准。数据卡的字段总表、质检报告与验证报告的可填写模板见附录佐证卷《标准规范 · 样例数据卡 · 质检/验证报告模板》(第 1495—1604 页),二十张卡的逐张实填件见附录佐证卷《附录:四大数据集样例数据卡》(第 2282—2463 页)。

10、【内部作业件·导出时自动剥除,不进交付件】本稿待补材料清单

下列内容需由甲方确认或由项目组在蓝图设计阶段补充,本稿中以占位标明。

表 30 本稿待补材料清单

序号待补内容需要谁提供影响范围
1《数据集规模计量规则》的书面确认(含分词器选型、条与组的判定、合成占比上限)甲方与项目组共同确认表 2 全部口径、表 6 分期达成下限的核对方式
2占比指标「数据条数」统计基数的确认(本稿口径一或口径二)甲方、第三方评测机构表 26 测算结果与各集多模态样本生产计划
3备料分厂正式工序字典(现掌握口径 28 道)与加工方法分档规则工艺部门产品工艺设计数据集的工序标签体系与标注规范
4缺陷名录、缺陷分级判据与三类检测的位置口径对照表质量管理部门产品质量数据集的标签体系与基准集分层抽样
5各源系统只读接口的开通范围与时间表甲方数字化转型工作办公室四集来源构成,缺口按各集第 5 小节回退办法处理
6纸质检测报告与化验报告的实际存量盘点结果质量管理部门、档案管理产品质量数据集数字化工作量与三档交付顺序
7数据集责任部门名称、对外联系方式、技术支持入口甲方数据集卡片 A 组与 C 组字段
8数据集对外授权条款与确权结论甲方数据集卡片 F 组使用许可字段、挂牌与对外发布
9历史选型方案投运使用评价的填报入口与流程改造安排营销中心、生产管理部供需计划数据集偏好子集的样本来源构成
10焊接层间温度、预热温度等新增感知设备的到位时间项目组与甲方共同确认制造过程数据集相关样本的生产时点与样本量

表 30 数据来源:各项依本节第三至第八部分所列前提条件与回退办法。

✎ 对这段提意见

修改意见 ·