负责人 何建力　·　状态 初稿　·　覆盖 32 个标书单元　·　 批注 5

1、总体技术路线（3.2.6.2）

行业大模型训练推理技术服务在数据集生产链上的位置是确定的：承接数据治理规划和实施服务（3.2.6.1）确立的数据标准、元数据口径与安全分级，消费数据加工生产服务（3.2.6.3）交付的四类数据集，再把能力增量结论与定向回流任务单交回加工链上游。服务含五项内容：模型构建与私有化部署、预训练配比设计与继续预训练、指令微调切片与实验、偏好对齐与奖励模型、基准评测沙箱与归因闭环（b1338—b1359）。

1.1 服务定位与交付落点

本项目的交付物是四类高质量数据集，不是一套智能场景（b1603）。项目目标要求数据集支撑不少于 11 个细分任务场景，并「有效破解通用大模型在专业领域不好用、不精准、不落地的难题」（b0663）。数据集的效用由训练与推理实验的实测结论给出：只有体量而无效用证明的数据集，在验收环节不具备可判定性。

行业大模型训练推理技术服务把四类数据集放入可复现的训练与推理流程，以实验数据给出四项结论：预训练子集对矿山装备制造领域知识的注入效果、指令微调子集对任务完成能力的提升幅度、偏好数据对专家判断的对齐程度、基准测试子集对上述增量的量化结果。实测未产生增量的子集，其成因回溯至上游的采集、标注或合成环节，由评测结论定向回流修复（b1215）。

由此确定责任边界：数据的采集、清洗、标注与合成属数据加工生产服务，专项智能工具链负责生产这些样本；训练推理服务消费这些数据，并把消费过程中发现的质量问题写成结构化整改任务单交回上游。工具产数据，训推消费数据，评测产结论，结论驱动回流——单向推进、按证据回溯，不是一个互相调用的环。

服务采购清单把本项服务列在第 5 项「数据集加工生产实施服务」的第 1 条之内（b0803、b0804r01、b0804r06）。清单七项与本投标文件各章节的逐项对应，在「四大数据集加工生产总述」节按清单原序给出。与训练推理直接发生接口的有五项：第 2 项专项智能工具链建设服务（b0804r02、b0804r03）中的多协议模型评测引擎、数据贡献度归因与错题溯源、数据集–模型版本血缘追溯三个工具，与评测沙箱和归因闭环直接对接；第 3 项数据集运营服务管理平台建设服务（b0804r04）接收模型版本、评测报告与血缘记录的回写；第 4 项系统集成服务（b0804r05）交付的通用服务器与服务密码机，是训练域的数据准备承载与国密能力来源；第 6 项信息安全风险评估服务（b0804r07）把训练域、推理域、评测域与网关纳入测评范围；第 7 项数据集质量测评服务（b0804r08）的基准模型动态应用验证，直接使用本节的基准环境与多阶段模型版本。

1.2 六段验证序列

本节按「配比设计—继续预训练—指令微调—偏好对齐—基准评测—归因回流」六段组织。六段之间不是并行的工序，而是逐级加码的验证序列：前一段的产出是后一段的输入，后一段的评测结果可以否定前一段的数据配置并要求重做。每一段都给出输入、产出、过程记录、验收口径与达不到口径时的回退路径。

图 1-1　训练推理技术服务在本包中的位置与责任边界。数据来源：招标文件第五章 3.2.6.2（b1337）、3.2.6 生产逻辑（b1215）、3.2.6.5（b1603）。

1.3 基本技术口径

模型基座采用当期能力评测领先的通用大模型，经统一网关接入，可替换、可评测、可随代升级（b1338）。基座不绑定单一来源，遴选以本项目自建的基准测试子集实测结果为准，入选名单随版本迭代复评。私有化部署与国产通用大模型支持作为硬性前提，在算力适配一节逐项落地。

训练推理全程在甲方指定的内网隔离环境或我方在宁夏境内的合规算力环境中进行，原始业务数据不出域（b2113 同口径）。涉及个人信息、敏感地理信息、重要行业数据与企业秘密数据的样本，在进入训练前已由上游完成去标识化或脱敏处理（b0804r06 第 7 条），本节在网关层按数据分级做二次校验，级别不符的样本不进入推理环境。

所有训练与评测过程留痕：训练曲线、检查点（checkpoint）、中间评测结果、随机种子、环境镜像版本与数据集版本号一并归档，支撑结论复算（b1342、b1354）。本节给出的目标值均为待验证目标，以首轮实测基线为准逐轮修订，每一项都配回退路径。

1.4 参数的性质与标注体例

本节出现的数值分三类，性质不同，承诺方式也不同，因此在每一张参数表里分列标注，使工程取值与合同指标在表面上即可区分。

第一类是招标硬指标。数值由招标文件写定，不由我方选择，交付时按原文口径验收。软硬件整体国产化比率不低于 80%（b0677）、数据集涵盖不少于 3 种模态且多模态数据条数占比不低于 40%、近 3 年内时效性数据条数占比不低于 40%（b0670）、四类数据集的规模（b1361）、质保期 12 个月与免费技术服务期 24 个月（b0541），都属此类。

第二类是设计配置。这是项目组按本项目的数据条件与算力条件选定的工程取值：学习率、全局批次、并行维度、采样轮次、检查点间隔、推理批大小、量化方式等。设计配置在首轮实测后按实测结果修订，修订依据与前后对比写入对应阶段报告；修订不改变招标硬指标的验收口径。

第三类是经确认的目标值，由我方提出、经甲方确认后作为验收依据：领域知识探针的提升幅度、结构合规率、出处命中率、推理可用率等。这一类按三段式给出——基线取首轮实测值，目标值标为趋向值，并给出达不到时的处置路径。基线尚未测出之前，表中该格写「首轮实测值」。

表 1-1　本节数值的性质分类与承诺方式

表 1-1　数据来源：招标硬指标依所列条款原文；其余三类依本节第 1.6 节的实验登记与结果记录口径。

吞吐与效果两类数值只以实测值呈现。训练吞吐、推理吞吐与评测得分在首轮运行产出之前，实验台账中记为待执行，阶段报告中该格留空并在未完成项清单中列出。算力测算表中的卡天与墙钟时长按第 3.4 节声明的三个假设正算，标注为测算值，随实测标定重算。

1.5 方法依据与选择准则

招标文件要求投标文件「佐证性强」（b0497）。六段方法均选自公开方法族，并结合本项目数据条件与算力条件确定。

方法选型最容易出问题的地方，是把公开资料里的做法原样搬到现场语料上。矿山装备制造的语料与公开语料差别很大：备料工艺的知识集中在少量图纸与工艺卡里，样本总量不大却密度很高；供需计划那边的合同与排产记录成千上万，句式却高度雷同。同一套配比方法用在这两类语料上，得到的结果能差出一个量级。六个环节的方法因此既不自创也不照搬——每一段标明它属于哪一类公开方法族、公开讨论见于何处，再写明在本项目的数据条件下用哪一次实验判定它是否奏效。

按「方法族—出处—判定方式」三列并排，是因为缺任何一列都站不住：只给出处，证明的是方法成熟，不是它适合备料工艺这类小而密的语料；只给判定方式，方法本身的来历又没有着落。三列齐备，每一段方法都成为一个带验证手段的待验命题，甲方可以逐段追问「这一步凭什么这么定」，并在实验台账里找到对应那一次对照实验的记录与结论。

表 1-2　六段方法的所属方法族、出处与本项目的判定方式

表 1-2　数据来源：方法族名称按公开文献的通用表述；标注参考依据编号的，出处见下方清单； 未标注编号的，依据是招标文件条款或本项目自己的实验设计与实测记录。

参考依据：

① Zhang B, Wang J, Du Q, et al. A Survey on Data Selection for LLM Instruction Tuning. Journal of Artificial Intelligence Research, 2025. DOI 10.1613/jair.1.17625 ② Renduchintala H S V N S K, Bhatia S, Ramakrishnan G. SMART: Submodular Data Mixture Strategy for Instruction Tuning. Findings of the Association for Computational Linguistics: ACL 2024. DOI 10.18653/v1/2024.findings-acl.766 ③ Fu Y, Hamman F, Dutta S. T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning. Advances in Neural Information Processing Systems 38, 2025. DOI 10.52202/085713-3800 ④ Rafailov R, Sharma A, Mitchell E, et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems 36,

1. DOI 10.52202/075280-2338

引用的使用口径有两条。

第一条，文献只用于说明方法族的出处，不作为任何指标承诺的依据。 本节给出的全部目标值以首轮实测基线为准逐轮修订（见 1.3 节）， 不以公开文献报告的数值作为我方承诺值——公开实验的语料、模型规模与算力条件与本项目不同， 把别人的数搬过来当承诺，验收时无法兑现。

第二条，凡公开方法在本项目条件下不成立的，按实测结论处理，并在报告中写明差异，不迁就文献。 本项目的语料是矿山装备制造的图纸、工艺卡、炉次与焊道记录， 模板化程度与专业术语密度都与通用语料差别很大，方法在此处失效是正常的， 失效本身也是对甲方有价值的结论——它说明哪一类通用做法在这个行业需要改造。

六段方法里只有最后一段的判定方式本身是一个数值，这个数值怎么测要一并说清，否则这条判据无法执行。首期按「主指标偏差不超过 0.5 个百分点」设定基线。判定在评测沙箱内进行：同一镜像摘要、同一基准集版本号与题型协议、同一组抽样与解码种子，对同一份权重连续发起两次完整评测，覆盖基准测试子集全部 0.95 万条题目，不抽样；取两次主指标总分之差的绝对值。每个待评模型版本在首次出分时判一次，基准集升版或评测镜像变更后各补判一次。偏差超过 0.5 个百分点的，该版本的评测结果暂不采信，按并行归约顺序、批次组织、算子实现三项逐一排查非确定性来源，定位并固定后重跑两次复判；两轮排查仍不收敛的，在模型卡与评测报告中单列说明该版本评测稳定性受限，并降低其在场景验证中的使用等级。解码路径与归约顺序随适配推进逐步固定，这项偏差的目标逐步接近 0.2 个百分点。该项门限与测法并入表 1-6、表 1-7 同序核对。

1.6 实验登记、结果记录与复现

本节的全部结论来自实验，实验要能被第三方按同一份记录重新跑出来。为此设一本实验台账：每一次训练、对齐、评测与推理基线测试在发起时登记、在结束时回填，台账随阶段报告提交。登记在作业提交时完成，字段不齐的作业不予调度。台账与血缘记录是同一条规则的两个落点——血缘管的是这个模型由哪批数据训出来，台账管的是这次实验当时怎么配置、跑出了什么。

表 1-3　实验登记台账字段（作业提交时填写）

表 1-3　数据来源：字段依招标文件 3.2.6.2 第（2）至（5）项的过程记录要求（b1342、b1346、b1351、b1354）；血缘字段依 3.2.3.10 血缘追溯能力（b1142）。

登记与回填分成两张表，不是把一张表拆开。登记在作业提交时填，填的是打算怎么做；回填在作业结束后填，填的是实际发生了什么。两者必然对不上——申请的是 64 卡六天，实跑可能是 64 卡七天半，中间断过两次；计划跑满步数，实际在第八千多步因为通用保留集困惑度抬头提前停了。把这两类内容塞进一张表，实际值会覆盖计划值，日后再想追问「当初为什么按这个配置发起」就没有了依据。

回填表的字段按一次作业结束后别人会追问的问题来列：这次跑成了还是中断了、为什么停的、花了多少卡天、曲线在哪、哪些检查点可用、评测分是多少、与对照组比有没有真的差别、中间出过什么异常、结论是什么、触发了哪张整改任务单。其中两条是刻意写死的：异常事件逐条记录不合并，合并以后就看不出是同一个毛病反复出现还是几个毛病碰在一起；对照结论要求给差值的置信区间，区间下界不大于零时直接记为未观察到显著增量，不允许用一个孤立的分数差宣称某项改动有效。

这两条约束的是同一件事：训练过程中的每一个判断，日后都要有据可查、有数可复算，而不是停留在当时在场的人的记忆里。

表 1-4　实验结果记录字段（作业结束时回填）

表 1-4　数据来源：记录项依招标文件 b1342、b1346、b1351；整改任务单字段见第 7.5 节。

台账中标为待执行的实验，其结果字段保持空置，并在阶段报告的未完成项清单中列出。阶段报告引用的每一个数值都能回指到一次具体运行的产出目录与签名——这是复现得以成立的前提，也是评测结论可被第三方复核的依据。

复现不能停在一句承诺上，得说清复现者拿到什么、照着做什么、结果差多少算一致。本项目把五类最常被追问的实验各写一个复现实例：一次基准评测、一次子集消融、一次知识注入验证、一次对齐训练、一次推理基线测试。选这五类，是因为它们分别对应五种追问——分数是不是判宽了、这批数据到底有没有用、领域知识是不是真进去了、对齐有没有把能力带偏、推理时延的数字是不是在空载下测出来的。

每一行给的是一套可以原样交出去的材料包，而不是一段说明。关键在于判定一致的口径必须给数值而不是给形容词：评测允许总分差 0.3 分、逐题一致率不低于 99.5%，消融允许掉分幅度差 1 分以内，推理允许 95 分位时延差 10% 以内。给出容差才说明我方清楚哪些环节天然带随机性——采样种子、批次组织、算子实现的差异都会让两次运行不完全相同，零容差的承诺反而是不可信的。

这五行成立，本节其余结论的可核验性也就成立：任何一个数字，第三方都能沿着同一条路径走回去。

表 1-5　复现实例与验收证据

表 1-5　数据来源：复现判定口径依第 7.2 节评测沙箱要求；复现记录随对应阶段报告提交。

五类复现里判得最细的是基准评测这一行，它的容差要连同测法一起定死。首期按「总分差不超过 0.3 分、逐题结果一致率不低于 99.5%」设定基线。逐题一致率按基准测试子集全部 0.95 万条题目逐题比对判分结果计算，一致题数除以总题数，不抽样；复现由甲方或甲方指定的第三方在拿到材料包后自行发起，项目组在每一次阶段验收前先自行做一次预复现，频次为每阶段至少一次，材料包与两次产出的哈希签名一并归档。一致率低于 99.5% 的，先比对两次产出的逐题差异清单，按非确定性来源的三项顺序排查，定位后重跑复判；若差异集中在少数题型且反复出现，把该题型的判分规则改为确定性更强的写法并升基准集版本，受影响的历史分数在报告中单列，不参与跨版本比较。判分链路上的非确定环节逐一收敛之后，这项一致率的目标逐步接近 99.8%。该项门限与测法并入表 1-6、表 1-7 同序核对。

1.7 自设门限的承诺值与测量口径

招标文件对训练推理环节的多数过程指标只给定性要求，未给定量值。为使这些环节的判定不停留在形容词上，项目组在评测复现、国产卡推理适配、继续预训练、指令微调、专家人评与安全合规六处各设数值门限，连同测量口径一并写明。招标文件给定量值的，取条款值本身，口径不改写、量值不下调；条款未给量值的，由我方设立承诺值，设立依据、测量方法与达不到时的处置路径逐项列于下面两张表。两表以指标项同序对齐：前一张定数，后一张定测法，门限与测法分表而不压成一张超宽表，是因为技术评审看前一张是否逐条把定性要求转成了可测的数，验收现场则拿后一张逐行走。

表 1-6　自设门限的招标值、承诺值与趋向值

表 1-6　数据来源：招标值一列按招标文件 3.2.6.2 各项过程记录与验证要求（b1342、b1346、b1351、b1354）逐条核对，所列八项条款均未给定量值；承诺值与趋向值由我方设立，依据与测法见表 1-7 及各对应小节。趋向值为设计目标，不替代承诺值作为验收判据。

表 1-7　自设门限的测量方法、频次与不达标处置

表 1-7　数据来源：测量方法与记录项依本节第 1.6 节的实验登记与结果记录口径、第 7.2 节的评测沙箱要求；各项处置路径与表 1-6「对应小节」一列所指细目同口径。

八项门限的实测值逐项回填实验台账与阶段报告，验收时与表 1-6 的承诺值同表核对。趋向值随实测收敛逐版修订，修订只上调趋向、不下调承诺值；承诺值的任何调整须经双方书面确认，并同步更新表 1-7 对应行的判定口径。

2、四类数据集十六个子集的训练与验证矩阵

四类数据集各自面向四个用途——预训练、指令微调、强化学习偏好、基准测试，交叉得到十六个子集。训练与评测的每一项工作都落在其中某一格上：这一格的样本按什么权重进入训练、与哪些格隔离、由哪一组实验度量贡献、在哪一类评测中被检验。矩阵在此一次立定，后续的配比设计、实验矩阵、评测协议与归因结论都回指格位，不另起分类。

2.1 十六个子集的规模与模态构成

这十六格不是把四类数据集横着切一刀那么简单。四个领域的数据，厚薄与形态天差地别：供需计划那边是多年积累的合同、订单与排产记录，电子化程度高、取数容易；产品工艺设计这边主要是 63 万张历史工艺样本与配套的图纸、工艺卡，单件信息密度极高，但图纸是图、卡片是纸面格式，要变成可训练的语料得先过图文结构化这一关；制造过程混着炉次档案、焊道参数流、振动与温度时序和热成像帧，模态最杂，而且过程数据与结果判定往往不在一处；产品质量则是检验记录、缺陷描述与缺陷图的组合。

因此这张表的列不止排规模，还要把模态构成并排写出来。只排规模会得出一个靠不住的印象：Token 数最多的领域看上去最该下功夫，可那部分语料重复句式密集，真正难学的知识反而集中在体量最小的产品工艺设计里。规模与模态并列，才看得出每一格的斤两与脾气各是什么——哪一格要靠采样轮次补、哪一格要靠去重压、哪一格根本不进训练。

从这张表要带走的结论只有一句：十六格的工作量与难度不按规模分布，后面的配比、消融与评测分组都要按这张表的实际形态重新安排，不能按比例平摊。

表 2-1　四个数据集领域与四个用途子集交叉的规模

表 2-1　数据来源：各格规模依招标文件 3.2.6.4 逐数据集规模要求表（b1583r02、b1588r02、b1593r02、b1598r02）；模态构成依 3.2.6.4 各数据集的内容描述（b1580、b1585）与本项目数据源盘点结论。

四个领域的规模分布很不均匀。供需计划子集占预训练总量的 44.9%，产品工艺设计只占 11.4%，而十一个验证场景里难度最高的板材备料工艺智能设计正落在后者。这个倒挂决定了配比不能照自然占比走（第 4.2 节），也决定了消融实验必须按领域拆开做（第 5.2 节），否则小领域的贡献会被大领域的分数淹没。

2.2 两套分类口径：四个数据集领域与九个业务域

统计口径上有两套分类，用途不同，各自成表，既不合并也不互相替代。

四个数据集领域是数据集的组织单位：供需计划、产品工艺设计、制造过程、产品质量。四类数据集的规模、模态构成与用途子集划分按这一套计。训练配比、采样权重、消融分组、能力增量归属与数据贡献度结论也全部按这一套计，因为它们度量的是数据集本身。

九个业务域是数据治理实施的落地单位：人力资源、研发设计、生产制造、仓储物流、财务管理、设备管理、采购管理、营销管理、质量管理（b1336）。数据汇聚、元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全管理、数据指标管理与数据服务管理按这一套组织，口径由数据治理章节给出。训练推理环节按这一套计的只有两件事：样本来源构成的统计，以及安全分级与权限的落地范围。

两者之间是多对多的交叉，不是上下级。产品工艺设计数据集的样本主干来自研发设计业务域，其中的工装与压模参数来自设备管理业务域，材料批次与库存状态来自仓储物流业务域；反过来，质量管理业务域的数据同时进入产品质量数据集与制造过程数据集。因此统计分两张表出：按数据集领域计 Token 与条数，支撑配比；按业务域计来源构成与治理属性，支撑元数据与分级。两张表共用样本级的来源标识与领域标识，可以交叉汇总，不合成一张。

表 2-2　两套分类口径的计量对象与用途

表 2-2　数据来源：数据集领域依招标文件 3.2.6.4 各数据集定义；业务域依 3.2.6.1.2 数据治理实施要求所列九域（b1336）。

两套口径并存，真正的麻烦不在定义上，而在交叉处的具体样本上。一条排产记录，既是供需计划数据集的样本，也是生产制造业务域的资产；一组压模与工装参数，取数要去设备管理域的台账，归集却应当归到产品工艺设计数据集，因为它是备料工序能不能排下去的直接依据；热处理炉次与焊接焊道的过程数据在生产制造域，判定合格与否的结论却在质量管理域，两边不对齐，「这一炉为什么判废」就永远说不清楚。此类样本若不事先定下按哪边计、按哪边归，统计时要么重复计数，要么两边都漏。

这张表因此按数据集领域逐行列出主干业务域、次要业务域与交叉处的处置，而不是画一张两套分类的对照关系图。对照关系只能表达「有关联」，表达不了「这一条具体怎么办」；而真正会出错的恰恰是具体怎么办——样本带不带双标识、统计时计一次还是计两次、回流派工派给哪个业务域的责任人。把处置写进表里，交叉处就从一个模糊地带变成一条可执行的规则。

由此得到的结论是：两套口径可以交叉汇总而不必合并。统计配比时按数据集领域取数，落地治理与权限时按业务域取数，同一条样本在两套口径下各有归属且只计一次。

表 2-3　数据集领域与业务域的主要交叉关系

表 2-3　数据来源：业务域名称依 b1336；交叉关系依本项目数据源盘点与 3.2.2 数据资源建设要求所列源系统范围。

2.3 十六个子集的训练混合与进入阶段

十六个子集不在同一阶段进入训练，也不按同一套权重混合：预训练子集按采样轮次混合，指令微调子集按切片配比混合，偏好子集按难度分层混合，基准子集不进入任何训练。

这张表里有一个必须单独说清楚的事实：四个基准子集一条也不进训练。合计 0.95 万条，在总量里微不足道，却是整个项目唯一的裁判。只要有一条基准题目的源文档混进了预训练语料，模型就可能是背出来的而不是推出来的，而这种污染一旦发生，事后几乎无法从分数上看出来——分数只会偏高，不会报警。因此隔离要求与混合口径必须写在同一张表里，看混合的时候就能看到隔离，而不是把隔离规则另置一处。

隔离的粒度也不能一刀切。供需计划按源文档互斥就够了；产品工艺设计要按图号互斥，因为同一张图纸渲染成多件素材，文件不同而内容同源；制造过程要按炉次号与焊道互斥，一个炉次的过程数据与结果判定分散在多条记录里，只挡文档挡不住；产品质量涉及制度与合同，得按条款号互斥，整篇文档不同而引用的条款可能是同一条。这四种粒度分别对应四个领域数据的真实组织方式，换成统一口径，必然有一类漏过去。

表 2-4　十六个子集的进入阶段、混合口径与隔离要求

表 2-4　数据来源：采样轮次与训练配比依表 4-2；场景切片数依表 5-1；难度分层依表 6-3；消融分组依表 5-4。采样轮次与留出比例为设计配置，按配比预实验结果修订。

2.4 来源隔离与污染防护

基准子集一旦与训练子集共源，评测分数就不再说明问题。隔离按三条规则施加，三条都在建集阶段生效，训练阶段只做复核。

第一条是用途隔离。同一份源文档的内容不同时进入基准子集与其他三个用途子集。建集时按源文档标识做互斥划分：一份工艺卡若被抽作基准题的素材，该卡的全部衍生样本——切分片段、改写件、合成件——都标记为基准侧，不再进入预训练、微调与偏好子集。

第二条是领域隔离。奖励模型的跨场景泛化评估与基座遴选的泛化测试各留出一个数据集领域不参与训练，用于观察能力能否迁移到未见领域（表 6-4 跨场景泛化行）。留出的领域按轮次轮换，轮换记录写入实验台账。

第三条是时间隔离。近 3 年内的数据条数占比不低于 40% 是招标文件写定的指标（b0670）；其中最近一个完整季度的样本留作时间外推保留集，不参与训练，用于观察模型在更新数据上的表现是否随训练数据的时间窗滑动而衰减。

表 2-5　污染防护的三道门与判定口径

表 2-5　数据来源：重合扫描口径依第 7.2 节；扫描能力与数据质量与分布控制类工具链的污染扫描对接（b1084、b1085）。重合率阈值为经确认的目标值，门一与门三为设计配置。

2.5 消融与对照对矩阵的覆盖

矩阵的价值在于每一格的贡献都能被单独度量。度量手段有三套：预训练侧用配比对照，微调侧用子集消融，对齐侧用保留集与风险门。基准子集本身是度量工具，其贡献体现为使其余三类的增量可量化。

甲方买下这批数据，迟早要问一句：四类数据集里哪一类真正起了作用、起了多大作用。这个问题若等到项目末尾再回答，就只能靠总分的变化倒推，而总分是所有改动叠加后的结果，谁也说不清其中哪一部分来自数据、哪一部分来自调参。所以度量手段必须在训练开始之前就按格位安排好，每一格配一套能把它单独摘出来看的实验。

这张表的行不按实验方法排，而按「同一格要被问到的几件事」排：用什么手段度量、能分辨到什么领域粒度、产出什么形态的数字、这个数字接下来回流到哪个环节。按方法排会得到一份实验清单，看不出覆盖是否完整；按格位排则一眼能看出哪一格的度量是空的。基准子集那一列写明它不度量自身增量，正是这种排法的好处——它的价值体现在让其余三类的增量可量化，而不是体现在它自己的分数上。

表 2-6　格位与度量实验的对应

表 2-6　数据来源：实验设计依第 4.2、5.2、6.2 节；归因与回流口径依招标文件 3.2.6.2 第（5）项（b1357、b1358）。

2.6 行业能力与通用能力的双线回归

每一个模型版本在两条线上同时评测，两条线的结果分开记录、分开判定。行业线用本项目自建的基准测试子集与领域知识探针，度量数据集带来的领域能力；通用线取公开通用评测集中与本项目任务形态相关的子集，固定题目与评分方式，只作回归基线，度量通用能力有没有被训练过程损伤。

两条线并行的理由在十一个场景的构成里：技术标准问答、标书智能问答、合同合规审查、管理制度问答、决策数据问答五个通用场景，依赖的正是指令遵循、格式规范与长上下文这类通用能力。行业分涨而通用分跌的版本在这五个场景上不可用，整体是亏的。

表 2-7　双线回归的评测项与判定

表 2-7　数据来源：双线判定依第 4.4、4.5 节；通用能力依赖的场景构成依招标文件 3.2.6.5.2 五个通用场景的验证要求。

2.7 多模态评测与数据贡献归因

多模态样本占条数的比重不低于 40%（b0670），但按等效 Token 计不足 3%（表 4-3）。这个落差意味着多模态能力不能只看总分——总分由文本题主导，图像与时序题即使全错也只掉几分。因此多模态单列评测项，分项报告。

多模态在本项目不是加分项，是硬指标：条数占比不低于 40% 写在项目目标里。难处在于这些样本在训练里的分量与在验收里的分量完全不对等——按等效 Token 计不到 3%，按条数计却要占到四成以上。如果只看一个总分，图纸看错、时序对不上这类问题会被文本题的分数淹没，验收时数字好看，到了场景验证现场才发现模型根本读不懂一张展开图。

五个评测项按模态组合切分而不按场景切分，是因为同一种模态失效会在多个场景同时发作：图纸要素抽取不准，备料工艺与选型两类场景一起受影响；时序与事件对不上，焊接监控与设备诊断一起受影响。按场景切分会把同一个病因拆到五处，每处都显得轻微；按模态组合切分，病因只出现一次，分项分一掉就知道该回流到哪一条工具链上去修。

表 2-8　多模态评测项

表 2-8　数据来源：模态占比指标依 b0670、b1601r02、b1601r03；工具链名称依招标文件 3.2.3 工具链清单（b0804r03）。

数据贡献归因的输出分四级粒度，粒度越细，回流越定向。数据集级用于价值说明与定价；用途子集级用于投入分配；切片级用于派工；样本簇级用于定点修正。四级结论写入数据集血缘记录，与模型版本绑定。

归因要做到什么细度，取决于结论拿来干什么。如果只是为了在报告里说一句「四类数据集都有贡献」，数据集级的总分差就够了；但本项目的归因结论要直接驱动后几批数据的加工投入，甚至要派工到具体的修复动作上——某一类题反复做错，是去补采、去重标，还是把那几十条脏样本定点挖掉，这三件事的成本相差一个数量级，派错了既费钱又不解决问题。

四级粒度由粗到细排列，每一级对应一种决策，层层收窄：上面两级回答「值不值」，下面两级回答「改哪里」。四级同时保留而不是只留最细的一级，是因为最细的一级没有总量概念——样本簇级能指出具体哪几十条有问题，却说不出这一类问题整体占多大分量，拿它做投入分配会把精力耗在零星个例上。

表 2-9　数据贡献归因的粒度与用途

表 2-9　数据来源：粒度划分依招标文件 3.2.6.2 第（5）项的归因要求（b1356、b1357）；血缘字段依 3.2.3.10 血缘追溯能力（b1142）。

3、训练推理平台与算力规划

3.1 服务形态：三域一网关

训练推理不是一套交付给甲方自行运维的软件产品，而是一项带算力、带流程、带报告的技术服务。它在本项目中按三个相互隔离的域组织，域间只通过受控接口交换数据与模型文件。

训练域承担配比实验、继续预训练、指令微调、奖励模型与对齐训练。该域对外只收数据、只出 checkpoint 与训练记录，不直接对外提供推理接口。推理域承担场景验证所需的在线推理、批量生成与检索增强调用，按数据敏感级别划分为内网隔离区与受控区两个分区。评测域是一个独立的沙箱，持有冻结的基准测试子集、判分规则与随机种子，对训练域产出的任何模型版本执行同一套协议的评测；基准集不向训练域开放，以免评测样本回流进训练数据。

训练域、推理域与评测域与数据集加工生产平台同源，对外统一以「奔牛数据智能平台」作为平台称谓；本节所述三域即该平台的训练推理部分，不另立一套独立系统。三域之上是统一模型接入与评测网关。网关是本节唯一的模型调用入口：所有对基座模型、继续预训练模型、微调模型与对齐模型的调用都经网关路由，网关负责鉴权、数据分级校验、调用计量、提示词与响应留痕、以及多协议适配。把入口收到一处的直接好处是模型可替换——更换基座或升级版本时，上层的场景验证脚本与评测脚本不需要改动。

图 3-1　训练推理平台三域一网关结构与域间交换内容。数据来源：招标文件 3.2.6.2（b1338、b1355）、系统集成要求（b0795）、国产化要求（b0787）。

3.2 平台部署与运行时

三域一网关是逻辑划分，落到机器上要回答八件事：平台怎么部署、算力怎么分池、作业怎么排队与限额、数据怎么挂载、环境怎么固定、模型怎么注册、谁能动什么、训练断了怎么续。八件事在建设期第一阶段一次配齐，后续各阶段直接引用。

平台按三层部署。底层是容器编排与分布式存储，承载全部计算与数据；中间层是训练作业调度、推理服务编排与评测任务编排三组服务；上层是统一模型接入与评测网关，对外是唯一入口。三域在底层按命名空间与网络策略隔离，跨域的数据与模型文件只经受控接口传递，不共享可写目录。

表 3-1　平台部署层次与组件归属

表 3-1　数据来源：域划分依第 3.1 节；平台同源口径依招标文件 3.2.1 采购清单第 3 项与第 4 项（b0804r04、b0804r05）。

算力按用途分三池，池间按阶段错峰共享而不是固定切分。训练池承担继续预训练、微调与对齐；推理池承担场景验证的在线与批量推理；评测池常驻，保证评测随时可发起——评测一旦排队，整条「评测—归因—修复—回评」就会被拖慢。

算力规划最常见的失误是按峰值堆资源：训练要的卡、推理要的卡、评测要的卡各按最忙的时候算一遍再相加，账面好看，实际大半时间闲置。本项目的实际节奏并不支持这种算法——继续预训练集中在前期几周，场景验证的推理压力在后期按批次到来，评测跟着每一轮模型版本走，三者的高峰本来就错开。

因此三池按用途分开、按阶段错峰共享，并把队列与配额写在同一行上。只分池不写队列，池内仍会被一个长作业占死；只写优先级不写配额，重跑作业会把常规实验挤光——训练过程中重跑是常态，一个配比没调好就要重来，不给重跑设上限，整池算力会被反复试错吃掉。三者写在一起，每一池的资源归属、争用规则与止损线才是闭合的。

表 3-2　资源池、队列与配额

表 3-2　数据来源：池规模依第 3.4 节算力测算结论；并发口径依第 8.9 节。队列层级与配额比例为设计配置，按首轮实测调整。

数据按域分别挂载。训练域以只读方式挂载数据集版本目录，写操作只落在检查点目录与日志目录；评测域的基准集只读挂载并在作业起止各校验一次内容哈希；推理域不挂载训练语料，只访问检索索引与主数据接口。

基准题目一旦被训练侧看见，整个项目的评测结论就全部作废，而这件事最可能的发生方式不是有人故意作弊，是某个作业图省事把数据目录整个挂了进来。靠流程纪律防不住这类事故，只能在挂载时就把路走死：哪个目录挂到哪个域、是只读还是读写、启动时校验什么，逐条写定，写错的作业根本起不来。

表里把校验一列与挂载方式并列，是因为只读本身还不够。数据集版本目录即便只读，也可能挂错版本——用上一版语料跑出来的曲线与这一版的评测结果拼在一起，错得比挂错目录更隐蔽。所以每个挂载点都要在作业启动时校验版本号与目录哈希，分词缓存还要再校验分词器版本与数据集版本是否配对。校验不过就不起作业，这比事后在报告里解释两组数据为什么对不上要省事得多。

表 3-3　数据挂载与访问权限

表 3-3　数据来源：只读与签名口径依第 7.2 节评测沙箱要求；分级访问依第 9.1 节。

训练、推理、评测三类运行时各有一套基础镜像，依赖版本全部锁定，镜像摘要随作业记录归档。镜像的构建与发布走统一流程：变更依赖须提交变更说明，构建后在小规模作业上跑通回归用例，通过后才允许用于正式作业。评测镜像另有一条约束：镜像内不含联网能力，评测期间断开外部网络。

表 3-4　环境镜像与依赖锁定

表 3-4　数据来源：可复现要求依招标文件 3.2.6.2 第（5）项的评测沙箱条款（b1355）。

每一个纳入的模型在注册表登记一条条目，条目是网关路由与权限判定的唯一依据，未登记的模型不可被调用。注册与注销都写审计。

一个项目做到后期，手里的模型版本会比预想的多得多：基座、继续预训练的多个检查点、基础与正式微调、对齐主线与对照组、各档量化版本，再加上国产化适配环境里的另一套。到那时最怕有人指着一份评测结果问「这是哪个模型跑的」，而答案要靠翻记录猜。

注册表把这件事挡在前面：模型不登记就调不出来，网关只认注册表里的条目。字段按三类问题设计——这是谁（标识、版本、阶段）、它能干什么（模态、上下文、工具调用）、它准进哪儿（数据级别与部署形态的许可）。第三类最容易被忽略却最要紧，它让「这个模型能不能看受控数据」变成一条可自动判定的规则，而不是每次上线前再问一遍人。

表 3-5　模型注册表字段

表 3-5　数据来源：可替换、可评测、可随代升级口径依招标文件 3.2.6.2 第（1）项（b1338）。

权限按「人—角色—资源—操作」四元组定义，资源包括数据集版本、训练作业、模型版本、评测任务与报告。角色划分与三员管理模式对齐（b0721），审计角色独立，日志只对审计角色开放。

权限表里真正有分量的是最后一列：不授予什么。前三列写得再细，也只是说明各角色干活方便；只有把不授予的内容逐条写出来，评测的独立性才成立。训练作业提交者看不到基准集内容与判分规则，评测发起者改不了基准集题目也碰不到训练域的检查点——这两条合起来，出题与答题不是同一拨人这件事才有制度上的落点，而不只是一句保证。

表 3-6　训练推理环节的角色与权限

表 3-6　数据来源：三员管理依招标文件平台安全要求（b0721）；审计事件清单见第 9.3 节。

检查点按步数与时长双触发保存，保存与计算重叠执行以压低停顿。恢复分三档：卡级故障自动重调度续训，节点级故障从最近检查点重启，同一步位连续三次失败则冻结作业转人工。

几十张卡连跑一周，中途总会出事——掉卡、节点重启、存储抖动。真正决定损失大小的不是故障本身，而是最近一次可用的检查点在多久以前。保存太密，训练时间被写盘吃掉；保存太疏，一次故障赔进去的可能是大半天的算力。恢复也分情况：掉一张卡与坏一个节点，处置方式和代价完全不同，混为一谈就只剩下重跑这一条路。

表里把「不达标时的处置」单列一列，是因为保存间隔与保留份数这些值在首期都只能是设计配置，必须按实测的保存耗时与故障频次往回调。写死一个数字而不写怎么调，等于把一个必然要变的参数当成了承诺。

表 3-7　检查点保存与恢复

表 3-7　数据来源：检查点要求依招标文件 3.2.6.2 第（2）项（b1342）；恢复时长与断点续训口径依第 3.5 节国产化适配验证矩阵。

3.3 私有化部署与国产通用大模型支持

招标文件对部署形态的要求是两条并列：支持私有化部署，支持国产通用大模型（b1338）。这两条在本项目里有现实约束——甲方的工艺图纸、选型方案、炉次档案与焊接参数属于企业秘密数据，按安全合规要求不出域（b0804r06 第 7 条），所以推理与训练的主线形态只能是私有化。

私有化部署按三种形态提供，由甲方按数据级别与算力条件选择：全私有形态，模型权重、推理服务与网关全部部署在甲方内网，无任何外部网络依赖；专属形态，部署在我方位于宁夏境内的合规算力环境，以专线接入，数据在省内闭环，适用于算力需求集中、甲方机房资源不足的训练阶段；混合形态，训练在专属环境进行，推理下沉到甲方内网，模型权重经国密算法加密后交付。三种形态共用同一套网关接口与同一套评测协议，切换时不改上层应用。

国产通用大模型支持落在三个层面。权重层面，入选基座须提供可商用的开源许可或可授权的商用许可，许可文本纳入交付档案；接口层面，网关对国产模型常见的调用协议做适配，包括兼容通用对话接口规范的 HTTP 调用、流式输出、工具调用与多模态输入；运行层面，模型须能在国产加速卡与国产操作系统组合上完成推理部署并通过功能与性能基线测试。我方不把微调或私有化改造写成建设主线——主线是用甲方的数据把模型的领域能力提上来，模型本身可替换、可评测、可随代升级。

表 3-8　私有化部署形态对照

3.4 算力测算

算力规划不能靠「配置若干台服务器」一句话交代。本节按工作量正算：训练算力按六倍参数量乘训练 Token 数估算，推理算力按每生成一个 Token 消耗两倍参数量估算；单卡有效算力按 BF16 峰值 280 TFLOPS、模型算力利用率 32% 折算为 90 TFLOPS，即每卡日可提供约 7.8×10¹⁸ 次浮点运算。这三个假设是测算的全部前提，实测偏离时按同一公式重算，不改结论的推导方式。

主线模型档位取 80 亿参数级，覆盖全部环节；另设 300 亿参数级验证档，用于观察数据集的能力增量在更大参数量上是否保持同一趋势，该档只在分层抽样的 30% 子集上跑一轮，不作为交付模型主线。两档并行的理由是：数据集的价值证明需要跨参数量成立，只在一个档位上出现的增量无法排除偶然。

表 3-9　分环节算力测算（主线档 80 亿参数级，验证档 300 亿参数级）

单轮测算之外要留迭代余量。评测与归因会驳回部分配比与微调配置并要求重跑，按配比环节平均 3 轮、继续预训练环节平均 2 轮、微调环节平均 3 轮、对齐环节平均 2 轮估算，建设期训练算力总需求约 2,400 至 2,600 卡天（按表 3-9 各行卡天分别乘以上述轮数，合计约 2,460 卡天）。

据此建议的资源配置为：训练池 64 卡（8 节点 × 8 卡，节点间 RDMA 互联带宽不低于 200 Gbps，参数面与存储面物理分离），推理池 12 卡（其中 4 卡用于评测沙箱常驻、8 卡用于场景验证推理与批量生成），两池按阶段错峰共享。训练池的占用高峰集中在继续预训练与对齐两个窗口，其余时间可释放给推理与评测。

存储按四类产物分别估算。文本语料 615 亿 Token，中文按每 Token 约 1.5 个字符折算，原文约 277 GB，计入多版本与检索索引后约 0.9 TB；多模态原始件含 63 万张历史工艺样本及红外与视频帧，约 3.0 TB；模型 checkpoint 按主线档保留 20 份、验证档保留 6 份，含优化器状态约 5.4 TB；训练日志、评测产物与血缘记录约 0.5 TB。合计可用容量约 10 TB，按纠删码与快照冗余配置，裸容量按 25 TB 规划。并行文件系统承载训练读写，对象存储承载语料与归档。

表 3-10　存储容量规划

算力测算的不确定性与不确定时的处置一并给出，使这组数在验收时可用。

不确定性来自三处。其一是基座模型的参数规模尚未最终选定。本方案不绑定具体型号，不同参数规模的继续预训练，其算力需求可相差数倍，因此资源申请与验收解释以区间为准；表 3-9 给出的卡天，是在主线 80 亿参数级、验证档 300 亿参数级及本节公式假设下的测算示例与排产用数，假设变化后按触发式复算更新。

其二是实际 Token 量会随数据加工进度浮动。预训练子集按 615 亿 Token 承接，进入训练的则是经过去重、质量过滤与配比采样后的实际量，二者之间有一个折减系数，该系数在首批数据加工完成后测得。其三是训练轮次取决于收敛情况。继续预训练通常在一到三个轮次之间，具体轮次按验证集损失的下降趋势决定，开工前只给区间。

因此本方案的算力测算按区间与触发式复算给出：先给出区间与测算依据（参数规模区间、Token 量、轮次区间、单位算力吞吐的参考值与来源；表 3-9 单点行为该依据下的工作量示例）；在三个时点触发复算——基座模型选定后、首批数据加工完成后、首轮继续预训练结束后。每次复算输出一份更新的资源需求说明，与招标方确认后作为后续资源申请的依据。复算记录连同前后差异的原因一并留存，使资源变化可被追溯，不出现「当初说的和后来用的对不上」却无从解释的情形。

需要特别说明一处边界：本项目采购清单中不含算力硬件，训练推理所需算力由招标方既有资源或另行采购提供。我方承担的是测算、适配、调优与资源使用效率的说明，并在资源到位后按实测标定复算。资源到位节奏与测算不一致时，按本节第 3.7 节的作业编排方案降级运行（减小批次规模、延长训练周期、优先保证评测与推理服务），对进度的影响在阶段报告中定量说明。

3.5 国产算力与国产化软硬件适配

国产化适配在建设期第一阶段完成，按六类对象提出技术要求并逐项验证：驱动与固件、集合通信库、训练与推理框架、算子、数值精度、长稳与性能。六类的要求、验证方法与通过口径列于表 3-11，验证按四步推进，每一步的记录随国产化适配验证报告提交。

第一步是环境基线。在国产加速卡、国产 CPU、国产操作系统与国产数据库的组合上安装驱动与固件、集合通信库、训练框架、推理引擎与容器运行时，版本逐项登记并写入环境镜像的依赖锁定文件；跑通单卡与双机多卡的最小训练任务与最小推理任务，记录启动耗时、显存占用与通信初始化结果。

第二步是算子覆盖核查。导出本项目训练与推理实际调用的算子清单，逐项确认有无原生实现；无原生实现的给出等价组合实现，并记录其性能损失幅度与精度偏差；清单随框架版本更新复核一次。

第三步是数值精度一致性比对。同一权重、同一输入、同一随机种子，在国产卡与参考环境各跑一次前向与一次反向，比对逐层输出的最大相对误差、梯度范数差异与最终结果差异，并在基准测试子集上比对评分差异。混合精度的累加精度、规约顺序与溢出处理按框架配置固定并记录。

第四步是长稳与性能验证。连续 72 小时训练不中断，记录吞吐、显存占用、通信开销占比、温度与功耗曲线、断点续训恢复时长；期间注入一次节点故障与一次卡故障，验证自动恢复路径。

表 3-11　国产化适配的六类技术要求

表 3-11　数据来源：国产化要求依招标文件 b0677、b0787 至 b0793；兼容性互认证明材料依 b0735、b0738。表中带宽比例、相对误差上限与吞吐比例为设计配置，首轮实测后按实测基线修订；72 小时连续训练、1 分评分差异与 15 分钟恢复时长为经确认的目标值。

上面六类技术要求回答的是「要做到什么程度」，但适配工作有其不确定性：国产加速卡的算子覆盖、框架版本的配套、长稳表现，都要到真机上跑过才知道。承诺每一项都通过没有意义，有意义的是每一项万一不通过还有哪条路可走——这正是这张矩阵要补上的一列。

六个适配对象各自给出通过口径与不通过时的回退，回退都落到具体动作上：训练侧并行维度降一档、改走低秩微调路线、把长周期任务移到已验证的节点；推理侧下沉到通用服务器推理或缩小上下文窗口分段处理；算子缺失则替换为功能等价的网络结构，并把这一变更记入模型卡。最后半句尤其要紧——结构变更会影响结果的可比性，不记进模型卡，后期拿两个环境的评测分作对照就会得出错误结论。

有了这一列，国产化适配从一项成败未知的工作，变成一项无论结果如何都能继续推进的工作。

表 3-12　国产化适配验证矩阵

推理适配这一行里的时延口径判的不是服务能力，而是国产加速卡与参考环境之间的差距，测法因此要写明。首期按「首 Token 延迟不超过 1.5 秒」设定基线，与第 8.9 节的服务口径取同一数值，便于两处对照。判定方式是在国产卡节点上按常态并发 20 路重放一份固定的请求样本集，样本取自场景验证期间的真实提问，不少于 1,000 条，连续压测不少于 30 分钟，取首 Token 延迟的 95 分位值；同一份请求集在参考环境各跑一次作对照。适配验证期内每两周判定一次，模型版本、量化档位或推理镜像任一变更后当次补测。超过 1.5 秒的，先按缩短提示长度、启用前缀缓存、拆分检索与生成两段返回三步在现有资源内调整；调整后仍超出的，该形态的在线对话下沉到通用服务器推理或缩小上下文窗口分段处理，并把这一路线记入模型卡。随着算子覆盖补齐与缓存策略固化，这项时延的目标逐步接近 1.2 秒。该项门限与测法并入表 1-6、表 1-7 同序核对。

国产化比率按招标文件口径核算：数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件设备整体国产化比率不低于 80%（b0677）。该比率按采购金额口径核算：分母为本项所采购或开发的软硬件金额，即硬件采购金额与软件许可及自研交付金额之和，国产化比率 = 1 − 非国产部分金额 ÷ 分母（b1208 明确「仅针对本项所采购或开发的软硬件」）。

本节涉及的训练池、推理池与在线存储属服务形态下提供的算力资源，不在本项采购范围内，因此按同一判定规则纳入国产化适配登记与验证，但不计入核算分母——这部分资源的国产化情况不由本包决定，计入分母等于把不可控项写进可核算的承诺。

表 3-12 的国产加速卡适配验证矩阵与遴选维度中的适配成熟度权重不受此影响，继续作为适配承诺执行。之所以不按台套数计，是因为台套口径下单一设备类目的数量占比过高，比率会由该类目的判定结果单独决定，不是稳健的计量方式。逐项构成、判定依据与分母定义以项目组的国产化率核算件为准，统计表随阶段验收提交。

3.6 统一模型接入与评测网关

网关解决四个问题：模型怎么换、数据怎么拦、调用怎么算、过程怎么查。

模型接入采用适配器结构。每一个纳入的模型注册为一条模型条目，条目记录模型标识、参数量级、上下文窗口、模态能力、部署位置、许可来源、评测得分与启用状态。上层调用只认模型标识与能力标签，不认具体实现。新增或替换模型时，只增删条目并跑一遍准入评测，上层脚本不动。这是「可替换、可评测、可随代升级」落到工程上的具体形态。

数据分级拦截在网关层做硬校验。按甲方数据分级结果，样本携带级别标签进入网关，网关比对目标模型所在分区的许可级别：级别不符的请求被拒绝并记录，不做降级透传。最高级数据的请求只允许路由到全私有形态的推理实例。这一条与安全方案章节的数据分级口径保持一致，本节不另立标准。

调用计量按模型、按场景、按调用方记账，输出 Token 消耗、请求数、失败率与排队时长。这组数据有两个用处：一是支撑运营平台的服务计量与成本归集；二是为算力配额调整提供依据，训练窗口期可据此压降低优先级的推理流量。

过程留痕记录请求上下文摘要、模型标识与版本、随机种子、响应内容与判分结果。涉及企业秘密数据的请求体按配置只留哈希与字段清单，不留原文。留痕是评测可复现与错题归因的前提——没有留痕，错题溯源就只能靠重放猜测。

统一网关解决三个具体问题，替换一次模型的工作量也是确定的，以下分别给出。

解决的问题有三个。第一是评测口径的一致性：同一套评测集在不同模型上跑，若各自用各自的推理参数与后处理，得到的分数不可比；网关把推理参数、停止条件、输出解析统一管起来，使得「换了模型之后分数变化」确实反映模型差异，而不是参数差异。第二是调用记录的完整性：每一次调用的模型标识、版本、参数、输入输出摘要与耗时统一留痕，这是数据集血缘中「模型版本」字段的来源，也是合成样本溯源的依据。第三是成本与配额的可控：按场景与任务类型设配额，避免单一任务耗尽资源。

替换一次模型实际要做的工作，分四步：接入层适配（对接新模型的接口与参数空间，在网关内完成，不改业务侧代码）、评测基线重跑（在固定评测集上跑出新模型的基线分数，与现行模型对比）、影响面评估（查血缘，列出曾用现行模型产出的数据子集与评测结论，判断是否需要重做）、切换与观察（按场景分批切换，保留回退开关）。

四步中以影响面评估最为关键。换模型不只是换一个服务，还意味着此前用旧模型合成或评测过的样本，其结论的可比性发生了变化。本方案把这一步写进替换流程，并要求在数据卡中记录每一版数据集所用的模型版本。

本方案在模型侧的承诺落在网关层的四项工程能力上：接入可替换、评测可复现、调用可追溯、切换可回退，四项均在验收时实测并出具记录。模型自身的能力水平以统一评测集的实测得分呈现，随版本演进定期复测、更新评测记录，使选型与升级始终以当期实测数据为依据。

3.7 作业编排与训练稳定性

训练任务按作业提交，作业描述包含数据集版本号、配比配置、模型档位、并行策略、超参、随机种子与评测触发条件。作业编排按优先级与配额调度，同一数据集版本的重跑作业自动复用已缓存的分词结果与数据索引。

训练稳定性靠三件事保障。一是检查点策略：按步数与时长双触发保存，保留最近若干份与各阶段里程碑份，保存操作与训练计算重叠执行以压低停顿。二是故障自愈：节点或卡故障时作业自动从最近检查点恢复，恢复目标时长不超过 15 分钟；连续三次同点失败则冻结作业并转人工排查。三是数据管道隔离：语料读取与训练计算解耦，读取侧出现慢盘或网络抖动时由预取缓冲吸收，避免训练停等。

训练任务的恢复目标与检查点保留策略按表 3-7 执行，实际达成值随阶段报告给出；与之对应的平台级性能、容灾与可恢复性指标体系由非功能性章节定义，两处口径一致。

4、预训练配比设计与继续预训练

4.1 预训练子集的四项统计

配比设计以四项统计为唯一依据；统计结果同时作为后续评测归因时判断数据是否充足的参照。

Token 规模统计按用途子集与数据集领域两级展开。全量预训练子集 615 亿 Token，其中供需计划 276 亿、产品工艺设计 70 亿、制造过程 105 亿、产品质量 164 亿（b1583r02、b1588r02、b1593r02、b1598r02）。统计口径统一为同一分词器下的 Token 数，分词器版本号随统计表归档——换分词器则统计失效。领域维度按四个数据集领域计，与九个业务域的来源构成统计分表出具，口径见第 2.2 节。

模态分布统计给出两套口径，不能混用。按样本条数计，多模态样本占比不低于 40%（b1601r03），模态种类不少于 3 种（b1601r02），近 3 年内数据条数占比不低于 40%（b1601r04）。按等效 Token 计，图像与时序样本的占比天然远低于条数占比，因为一张图纸渲染件折算约 1,024 个视觉 Token，一段振动信号离散化后折算的 Token 数也有限。两套口径并列呈现，避免「多模态占四成」被误读为「四成的训练算力花在多模态上」。

来源构成统计按四类来源归集：业务系统类，来自 17 个外围应用系统的结构化记录与经转写的文本（b0804r02）；文档类，来自二维图纸、工艺卡片、作业指导书、技术标准、历史选型方案与质量票据；设备类，来自数据采集与监控系统、热处理群控系统与在役装备远程运维平台的过程数据；外部公开类，来自行业标准、专利文本与公开技术文献中权利状态清晰、可合法用于训练的部分。每条样本携带来源标识，支撑后续按来源做归因与质量分级。

领域子集统计按四个数据集领域给出 Token 数、样本条数、时效分布与质量分级结果，另按九个业务域给出来源构成与治理属性（第 2.2 节）。质量分级取自上游数据集质检环节的门控结论（b1215），训练推理环节消费分级结果，质检由加工生产环节负责。

表 4-1　预训练子集统计口径与归档要求

4.2 训练配比与采样权重

自然占比直接用作训练配比会出问题。供需计划子集 276 亿 Token 占到全量的 44.9%，但这类语料中合同、订单与排产记录的模板化程度高，重复句式密集，按自然占比训练会让模型把算力花在学模板上。产品工艺设计子集只有 70 亿 Token，占 11.4%，却承载着 28 道备料工序的顺序约束、图纸符号的工艺含义与中性层展开计算这些最难学也最要紧的知识。配比设计要做的就是把这个倒挂扳过来。

采样权重按「轮次」给出，即该子集在一轮继续预训练中被完整遍历的次数，小于 1 表示按权重随机抽取部分样本。权重设计的依据有三条：子集内部的重复度（去重后信息量）、子集对应场景的验证难度、以及配比预实验的实测结果。

表 4-2　四类数据集的采样权重与训练配比

图 4-1　四类数据集自然 Token 占比与采样加权后训练配比的对比。数据来源：招标文件逐数据集规模表（b1583r02、b1588r02、b1593r02、b1598r02）。

模态维度的配比单独处理。按等效 Token 计，文本占绝大部分，图像与时序合计不足 3%；若按 Token 比例混批，视觉与时序能力会被文本淹没。做法是分批次而不是分 Token：在继续预训练的训练步中，按固定比例安排图文混合批次与时序—文本配对批次，让这两类样本获得与其重要性相称的梯度更新机会，同时在批内保持序列长度与计算量均衡。

表 4-3　模态配比与批次策略

配比不是一次定死的。建设期先做 4 组配比对照预实验（算力测算见表 3-9 第一行）：一组按自然占比，一组按表 4-2 权重，一组加大工艺设计子集至 2.4 轮，一组加大制造过程子集至 1.8 轮。四组各在 10% 分层抽样子集上训练，用领域知识探针与保留语料困惑度两项指标横向比较，择优确定正式权重。预实验的四组结果一并写入知识注入有效性报告，使权重选择有据可查，而不是一句「经优化确定」。

4.3 基座模型遴选

招标文件要求选取适配矿山装备制造业务的开源 LLM/VLM 基座模型（b1340、b1341）。我方采用当期能力评测领先的通用大模型，经统一网关接入，可替换、可评测、可随代升级。基座不预先指定，而是按下表维度实测打分后确定入选名单，名单随版本迭代复评；正式方案中不绑定具体型号，避免建设期内模型代际更替导致方案失效。

表 4-4　基座模型遴选维度与权重

遴选分两轮。初筛按许可合规与国产卡适配成熟度做硬条件过滤，不满足的不进入实测。复选在同一评测沙箱中用本项目基准测试子集与领域知识探针实测打分，取加权总分前列的 LLM 与 VLM 各不少于两个作为候选，主线一个、备选一个。备选的作用是在主线出现许可变更、适配阻塞或能力停滞时切换，切换时配比与训练配置不变，只重跑训练与评测，使更换基座的代价限定在算力而不是方案返工。

4.4 分布式继续预训练

继续预训练的目标是把领域知识注入基座，同时尽量不损伤通用能力。两者有张力：学习率给高了领域知识进得快但通用能力退化明显，给低了注入不足。本项目的做法是小学习率、长预热、两阶段序列长度、并配通用保留集的困惑度看门。

并行策略按模型档位与卡数确定。主线 80 亿参数级采用张量并行 2 路、数据并行其余维度、优化器状态与梯度分片、激活值选择性重算；验证档 300 亿参数级增加流水并行 4 级与序列并行。全局批次按 400 万 Token 组织，序列长度先 8K 跑前 80% 步数、再切 32K 跑后 20% 步数，使长上下文能力在不显著抬高全程显存的前提下得到训练。

表 4-5　继续预训练关键配置

并行策略那一行的约束不是一项配置参数，而是一道选型门限：同样的卡数下，并行维度切得越碎，卡与卡之间搬运数据占掉的时间越多，算力就越多地花在等待上。首期按「通信开销占比不超过 20%」设定基线。该占比按每 100 步采集一次的通信耗时与墙钟时长之比计算，取整轮的中位数，主线档与验证档分别统计，每轮训练结束判定一次，并行配置变更后当轮复算。超过 20% 的，先核查节点间互联带宽是否落在表 3-11 的口径内，再按降低张量并行维度、增大全局批次、调整梯度规约与计算的重叠方式依次处置；处置后仍超限的，该轮作业改到互联带宽已验证达标的节点组上重跑，实测占比与调整过程记入作业回填表。重叠策略与分片粒度随实测逐轮收敛，这项占比的目标逐步接近 15%。该项门限与测法并入表 1-6、表 1-7 同序核对。

继续预训练按作业规格发起，规格一次定义、每轮引用，逐项在实验台账中登记与回填。

继续预训练是本项目算力开销最大的一步，主线档等效训练 621.5 亿 Token、约 398 卡天，一轮跑下来六天以上。这样的量级意味着错误的代价与发现错误的时机直接挂钩：第一天发现配比填错了，损失是一天；第五天才发现用的是上一版语料，损失是整轮，而且后面排着的微调、对齐与评测全部顺延。更麻烦的是，这类错误往往不表现为报错——曲线照样往下走，分数照样能出，只是出来的结论指向了错误的原因。

把一次训练该交代清楚的事情固定成一张作业规格表，针对的就是这件事。规格里的各项不按执行顺序排，而按「出了问题要回头查什么」排：输入版本与种子回答「这一轮到底用的什么数据」，任务配置与超参回答「当时怎么设的、凭什么这么设」，三项测算回答「该花多少、实际花了多少」，监控与两类停止条件回答「什么时候该停、谁来叫停」，排查顺序回答「停了以后从哪儿开始查」，交付回答「这一轮应当留下什么」。缺哪一项，事后复盘就在哪一项上断线。

几处写法是刻意的。超参一栏要求连选取依据一起填——峰值学习率取 2×10⁻⁵，依据是配比预实验里通用保留集困惑度上升幅度最小的那一档，不是经验值；验证档取 1×10⁻⁵，依据是参数量增大后梯度范数上升的实测观测。只填数值不填依据，换个人接手就只能照抄，调不动也不敢调。测算值与实测值分列，是因为显存、存储、时长这三项测算都要在首轮之后按实测修订，混成一栏，修订过一次就再也说不清原始估算是多少、偏了多远。排查顺序写死四步——先查数据管道的批次组织、异常样本与填充比例，再查配比配置与采样种子，再查并行配置与通信，最后才查学习率与梯度裁剪——这是按故障概率从高到低排的。训练出问题时最先被怀疑的往往是学习率，而实际上多数情况问题出在数据管道上，顺序定死能省掉大量无效排查。

两档并列呈现而不是分开写两张表，是因为验证档存在的意义就是与主线档对照。参数量从 80 亿放大到 300 亿，哪些配置原样不动、哪些必须改，只有并排摆着才看得出来：并行策略要加流水并行与序列并行，学习率要降一半，抽样要另记种子，排查要多查一级间的负载均衡，其余大部分保持一致。这种同中有异正是放大实验要给出的结论——它既验证了方法在更大参数量上仍然成立，也标出了成立所需的条件。

这张表证明的是：继续预训练在本项目不是一次性的试验，而是一道可以被同样条件重跑、被第三方按同一份记录复算的工序。

表 4-6　继续预训练阶段作业规格

表 4-6　数据来源：过程记录项依招标文件 3.2.6.2 第（2）项（b1342）；算力与存储测算依第 3.4 节；停止条件与排查顺序为作业规程，随实测修订。

过程记录是招标文件的明文要求（b1342），也是整个服务可被核验的基础。记录分三类并随阶段报告提交：训练曲线，含训练损失、各子集分损失、学习率、梯度范数、吞吐、显存占用与通信占比，按步采样落盘；checkpoint 清单，含步数、时间戳、数据集版本号、配比配置、随机种子、权重哈希与对应的中间评测结果；中间评测结果，含探针短集得分、领域保留集与通用保留集困惑度，以曲线形式呈现并标注异常点与处置动作。

图 4-2　继续预训练流水线、过程记录与知识注入验证的衔接关系。数据来源：招标文件 3.2.6.2（b1340、b1341、b1342、b1343）。

继续预训练这一步，最常见的失败不是没学会，而是学会了行业知识却丢了通用能力。这个现象在行业继续预训练中相当普遍：模型在矿机术语、工艺判断上的表现提升，但在指令遵循、格式规范、长文本理解上的表现下降，综合下来反而不如基座。本方案把它当作必须主动检测的风险，而不是事后发现的意外。

检测办法是双集并行评测：每一个训练检查点，同时在行业评测集与通用能力保持集上跑分。通用能力保持集不由本项目新建，取公开通用评测集中与本项目任务形态相关的子集（指令遵循、格式规范、长上下文、推理），固定题目与评分方式，只作为回归基线使用。判定规则是：行业集分数上升而通用集分数下降超过约定幅度时，该检查点不采纳，回退并调整配比——通常是降低行业语料的采样权重、或在配比中加入一定比例的通用语料做重放。

这一规则带来一个取舍：为保持通用能力，行业知识的注入速度会放慢。我方认为这个取舍是对的——本项目的四类数据集最终要服务于十一个场景，其中技术标准问答、标书智能问答、合同合规审查三类通用场景，依赖的正是通用能力；若为了工艺推理的几个百分点牺牲它们，整体是亏的。配比与权重的具体取值在首轮训练后按实测调整，调整依据与前后对比写入知识注入有效性报告。

4.5 知识注入有效性验证

验证分两条独立通道，一条看「学会了没有」，一条看「忘掉了什么」。两条都通过才判定本轮注入有效。

领域知识探针是专门为验证知识注入而建的测试集，与基准测试子集严格分离——探针用于训练过程中的中间评测，若与基准集共用样本，最终评测就失去独立性。探针共 2,000 题，五类各 400 题，题型按便于自动判分设计：完形填空型用困惑度比较作答，多选型用选项对数概率排序，短答型用规则匹配配合正则抽取判分，关系判断型用二分类准确率。

表 4-7　领域知识探针构成

保留语料困惑度用两个保留集。领域保留集从预训练语料中按数据集领域分层留出 2%，训练过程不参与，用于观察领域语料的困惑度是否按预期下降；通用保留集取与项目无关的通用语料，用于看通用能力的退化幅度。

「领域知识注入成功了」这句话如果不给判据，就是一句无法证伪的话。本项目把它拆成几项可测的东西，并对每一项先定基线、再定本轮目标、再定不达标时怎么办。基线一律取基座模型的首轮实测值，而不是取某个行业通行数字——基座不同、题集不同，外部数字没有可比性；用自己的首轮实测做基线，提升幅度才是干净的。

「不达标时的处置」这一列是这张表的要害。探针总正确率提升不足，就按分类定位到底是哪一类知识没进去，再加大对应子集的采样轮次重跑；领域保留集困惑度降得不够，说明语料信息密度不足，要回流上游补采或放宽去重阈值。每一条处置都指向一个具体可执行的上游动作，而不是一句「优化参数」。这样一来，指标未达成不会变成僵局，只会变成下一轮的输入。

表 4-8　知识注入有效性的验收口径与回退

4.6 知识注入有效性报告

招标文件要求形成知识注入有效性报告（b1343）。报告须可供第三方按同样步骤复算，按下表结构编制，随继续预训练阶段验收提交。

这份报告的读者不是本项目的人，而是日后要据此判断模型是否合格的第三方。因此它的结构按「能不能照着重算一遍」来设计：先交出实验设置与统计基线，再给配比与训练过程，再给探针与困惑度结果，最后才是结论。顺序颠倒过来——先摆结论再附材料——读者就无法在不预先信任结论的前提下独立走一遍。

每一章都挂佐证材料，是因为报告正文里的任何一个数字都应当能落到一个文件上：配置文件快照、权重哈希、曲线数据文件、逐题明细。没有佐证的章节只是一段说法，而本项目交付的是证据。

表 4-9　《知识注入有效性报告》结构

5、指令微调：切片、实验设计与能力验证

5.1 指令微调数据集的三维切片

指令微调数据集 89 万条（b0670 口径，分解为供需计划 40 万、产品工艺设计 10 万、制造过程 15 万、产品质量 24 万）。把 89 万条混在一起训一遍，能得到一个模型，但得不到任何可用的结论——评测掉分时无法知道是哪部分数据不够、哪部分数据有害。切片的目的就是让每一条样本都归属到可追踪的格子里，使后续的消融实验能把贡献度算到子集级。

切片按三个正交维度做：业务场景、任务类型、难度等级。三个维度交叉形成的格子是消融实验与配比实验的操作单元，也是数据贡献度归因的最小粒度。切片结果写入样本元数据，与数据集版本号一起固化，后续任何实验都引用版本号而不是重新切。

切片是数据集的分片，不是文档的切分：被切的是样本集合，切分出来的每一片是一组完整样本，不改动样本内部的篇幅与边界。文档层面的切分长度与重叠口径属于长上下文数据构建类工具链，不在本节定义，两处不共用参数。

切片按六条规则执行，规则写入切片说明并随数据集版本固化。

第一条是保留对象。切片只做集合划分，不改样本内容：原始指令、给定材料、参考答案、标注字段与来源标识一律保留原样，切片标识作为元数据新增字段写入，不覆盖既有字段。

第二条是长度，即每一片的条数规模。各场景切片的条数见表 5-1，各任务类型切片的条数见表 5-2，各难度层的占比见表 5-3。条数规模是分组实验能否得出结论的前提：任一片低于 1 万条时，该片单独剔除后的掉分幅度会被实验噪声淹没，因此低于该规模的片在消融实验中与相邻片合并度量，合并关系在实验台账中注明。

第三条是重叠。一条样本在同一维度下只归属一个切片，三个维度各判一次，不允许同维多属。单属是消融实验成立的条件——一条样本若同属两片，剔除其中一片时它仍在训练集里，掉分幅度就不再等于该片的贡献。跨维度的交叉属于正常情形：一条样本同时属于「板材备料工艺智能设计」场景、「方案与卡片生成」任务类型与 L2 难度层。

第四条是边界，即归属判定规则。场景维度按样本的业务问题归属判定，一条样本涉及多个场景时取其主问题所在场景，判定依据写入样本元数据；任务类型维度按输出形态判定，输出含多种形态时取占比最大的一种；难度维度按推理步数、来源数量与是否需要规则校核三项判定，判定规则见表 5-3。边界有争议的样本进待定池，由领域专家按季度复议，待定池样本不进入消融实验的分组统计。

第五条是关联。指令微调切片与偏好子集、基准子集的切片口径对齐：同一场景在三类数据集中用同一套切片标识，使偏好数据的分层报告、基准集的分场景分项分与微调切片的贡献度排序可以逐格对照（表 2-4）。这一条是归因闭环能落到切片级的前提。

第六条是评测规则。每一个切片在基准测试子集中有对应的题目集合，分项分按切片汇总；切片贡献度由消融实验的掉分幅度给出，掉分幅度与该切片的分项分变化须同向，不同向的记入异常事件并复核切片归属判定。

表 5-1　按业务场景切片（覆盖 6 个专业场景与 5 个通用场景）

同一个场景里，模型要做的事并不是一件。备料工艺这一个场景就同时包含读图纸抽要素、按中性层公式算展开长、在 28 道工序里选取并排序、把结果填进工艺卡片字段四类动作；它们失败的方式完全不同，判分的方法自然也不同——抽要素看字段级的准确与召回，算展开长要给数值容差并要求中间量可复算，排工序看顺序约束与禁止组合有没有被破坏，填卡片看结构合规与字段间约束。只按场景切片，这四类动作的得失会被压成一个场景分，掉分时无从下手。

任务类型这一维因此按输出形态划分，而不按业务含义划分。按业务含义划分会得到一堆与场景高度重合的类目，这一维就白切了；按输出形态划分，九类任务横跨所有场景，任何一类出问题都能一次性在全部场景里定位。表里每一类都带着自己的判分方式与难点，两列缺一不可：判分方式决定这一类的分数怎么来，难点则说明这一类为什么容易错——图纸符号与手写记录的要素边界本来就模糊，出处要定位到条款级而不是文档级，长尾缺陷类别的样本天然稀少。

这张表要带走的结论是：89 万条样本不按业务板块摊开，而按模型实际要完成的动作组织，每一类动作都有自己的靶子和自己的计分规则。

表 5-2　按任务类型切片

难度在本项目不是主观印象，有明确的物理含义：要走几步、要跨几个来源、要不要动规则校核、材料不够时能不能识别出来。按这四件事判，四层的界线是可操作的——从作业指导书里读一个牌号的回火温度区间，一步一来源，这是 L1；按中性层公式算出压弯件展开长再填进卡片字段，多步单来源，这是 L2；把炉次档案、材料批次与检验结论拼起来给开裂的根因候选排序，跨了三个来源，这是 L3；工况参数缺项时能指出缺哪几项、为什么必须补、暂时拿不到时按什么保守口径处置，这是 L4。

分布有意做成两头小中间大，L4 只占 8%。原因是 L4 样本的标注成本最高也最容易标错——它要求标注者自己先判断材料是否充分，判错的样本会教会模型在信息不足时硬答，而这恰恰是现场最不能接受的行为。宁可少而准。反过来 L1 保留 32% 也不是凑数：模型在简单题上翻车，看错牌号、读错区间，在现场的危害并不比难题小，这类能力需要足量样本维持。

四层并存的另一个用处是让评测结论有分辨率。总分相同的两个版本，一个在 L1 稳而 L3 弱，一个反过来，可用性完全不同；按难度层分项看，才知道一次改动究竟换来了什么。

表 5-3　难度等级定义与分布

5.2 三类实验方案

招标文件要求设计基础 SFT、子集消融 SFT、混合配比 SFT 等实验方案（b1345）。这三类实验回答三个不同的问题：基础 SFT 回答「这批数据能把模型带到什么水平」，子集消融回答「哪部分数据在起作用」，混合配比回答「怎么配更划算」。

基础 SFT 用全量 89 万条、全参数微调、3 轮训练，产出基线模型与基线评测分。后续所有实验的对照都是这个基线，不与基座模型直接比——与基座比只能说明微调有用，说明不了数据配置的好坏。

子集消融 SFT 共 8 组，每组从全量中剔除一个切片后重训，用评测分的下降幅度度量该切片的贡献度。剔除法比增量法更适合本项目：增量法要从零开始逐步加，组数随切片数线性增长；剔除法一组对应一个切片，且下降幅度可直接解释为「没有这部分数据会损失多少能力」，与数据集定价和后续补采的优先级排序能直接对上。

混合配比 SFT 共 4 组，调整四类数据集在微调阶段的混合比例，观察评测总分与各场景分项分的变化。预训练阶段的配比目标是知识覆盖，微调阶段的配比目标是任务能力均衡，两者的最优配比不必相同，所以要单独做。

表 5-4　指令微调实验矩阵

消融实验的结论直接回写到数据集血缘记录中，形成子集级的贡献度标注。这组标注有两个下游用处：数据集运营时作为定价与分级的依据之一；后续补采时按贡献度排优先级，而不是按「哪类数据好采」排。

图 5-1　指令微调三类实验与评测、归因的衔接。数据来源：招标文件 3.2.6.2（b1344、b1345、b1347）。

5.3 微调方式的选择准则

招标文件允许全参数微调或 LoRA/QLoRA 高效微调（b1346）。两条路线不是优劣关系，而是适用场合不同，本项目按下表准则分配，使算力花在该花的地方。

这件事上容易出现一个似是而非的判断：全参数微调效果更好，所以能用就用。真正的约束是算力。本项目在微调阶段要跑十三组实验——按领域消融四组、按难度与任务类型消融四组，再加若干组配比对照；如果每组都做全参数微调，这一步的卡天开销会超过继续预训练本身，而这些实验要的其实只是组间的相对差异。

表里按适用场合而不按优劣排列两条路线：需要改变输出的整体风格与格式倾向、或要作为唯一基线排除低秩结构带来的偏差时，用全参数，全程只做两次；只比较相对差异、或要多版本并存快速切换时，用低秩微调。由此得到的结论是：全参数微调的两次用在产出上，低秩微调的十二组用在求解上，算力花在了该花的地方，而对照实验的可比性并没有因此受损。

表 5-5　微调方式选择准则

低秩微调用于对照实验有一个前提必须说清：低秩结构本身会压制一部分表达能力，所以 A 组与 B 组之间可以横向比较（同样的低秩配置），但不能把 A 组的绝对分直接与全参基线比。正式配比确定后，用全参数微调重跑一次，取得与基线同口径的最终分。这一步不能省，否则结论只在低秩条件下成立。

场景专用适配器是低秩微调的一项附带收益。14 个场景切片中，备料工艺设计与合同合规审查两类对输出格式的要求最刚性，可在通用 SFT 模型之上再挂一层场景适配器，推理时按场景加载。适配器体积小、可独立迭代，场景验证期间的格式问题可以只改适配器而不动主模型。

5.4 过程指标跟踪

招标文件要求跟踪训练损失、验证集准确率、显存占用、吞吐等指标（b1346）。这四项各有用处：损失看是否在学，验证集准确率看是否学过了头，显存看配置是否贴着硬件上限（贴得太近一旦序列变长就崩），吞吐看算力有没有被浪费在等待上。

这几项指标真正的用处不在于好看，而在于早停。微调一轮下来是几小时的事，但十三组实验排在一起就是几天；一组跑歪了没人叫停，后面排队的实验全部顺延。所以每一项指标都必须配一条「出现什么现象、立刻做什么」的处置，而不是只规定采集频率。

四项分工明确：损失看训练有没有在推进，验证集准确率看有没有开始过拟合，显存与吞吐看资源配置合不合适。其中最值得写死的是过拟合的处置——验证集准确率开始下降而训练损失仍在降，取下降前的检查点并缩减训练轮次，而不是继续跑完。等跑完再回头挑，挑出来的也是那个检查点，白费的是剩下的机时。

表 5-6　微调过程指标与告警口径

六项里只有有效样本利用率按轮统计而不按步统计，它衡量的是算力有没有花在真正的样本上：按长度分桶组批时，同一批次里的短样本要补齐到最长样本的长度，补出来的填充 Token 照样占显存、照样参与计算，却不携带任何信息。首期按「填充 Token 占比不超过 15%」设定基线。该占比按整轮累计的填充 Token 数除以整轮累计的总 Token 数计算，全量统计不抽样，每轮结束判定一次；分桶边界、最大批内序列数或序列长度阶段任一变更后，当轮重新计算。超过 15% 的，先调整分桶边界与批内序列数的搭配，使同一桶内的长度差收窄；连续两轮仍超限的，改用样本拼接方式组批，在拼接处插入分隔标记并屏蔽跨样本注意力，调整前后的占比与对应的吞吐变化一并记入作业回填表。样本长度分布随数据加工批次推进逐步摸清，这项占比的目标逐步接近 10%。该项门限与测法并入表 1-6、表 1-7 同序核对。

指令微调按作业规格发起，十三组实验共用同一套规格，差别只在输入切片与配比。

十三组实验共用一套作业规格，差别只在输入切片与配比，这本身就是实验设计的一部分。组间要比的是数据的贡献，那么除数据之外的一切都必须锁死：同一个起始检查点、同样的轮次与序列长度、同样的组批方式、同样的种子。任何一项没锁，组间的分数差就不再只属于数据，消融结论也就失去了意义。

规格表把全参数与低秩两条路线并排写，是为了让「哪些项必须一致、哪些项允许不同」一眼可辨：输入版本、停止条件、监控口径与交付内容全部一致，只有任务配置里的训练方式与两档资源测算不同。这种并排写法同时也是对照结果可比性的说明——两条路线的产出要放在一起解读，前提就是除训练方式外无其他变量。

表 5-7　指令微调阶段作业规格

表 5-7　数据来源：过程指标依招标文件 3.2.6.2 第（3）项（b1346）；算力测算依第 3.4 节。学习率与秩数为设计配置，按首轮实测修订；低秩组之间横向可比，与全参数基线的绝对分不直接比较。

停止条件里的那半个百分点是十三组实验共用的收敛判据，判据本身也要有测法，否则同一组曲线换个人看就会得出不同的停止时点。首期按「完成 3 轮，且验证集准确率在最后一轮内的提升小于 0.5 个百分点」设定基线。提升幅度的算法固定为：验证集每 200 步评估一次，取最后一轮内各评估点的最高值与该轮起始点的差值，验证集划分种子固定、组成不随轮次变动；判定须由连续两次评估共同确认，单次评估落在阈值附近不作数，以免曲线抖动造成误停。三轮跑完提升仍不小于 0.5 个百分点的，追加一轮，并在回填表中记录追加理由与追加后的实测提升；追加两轮仍在持续提升的，判为轮次设置偏少，该组实验的轮次配置连同依据一并修订后重跑，修订前的结论在实验报告中标注为未收敛结果。各组曲线形态在首批实验后即可归纳，这项收敛判据随实测收紧，目标逐步接近 0.3 个百分点。该项门限与测法并入表 1-6、表 1-7 同序核对。

三类实验方案各自回答一个问题，前一组的结论决定后一组的搜索范围。

基础 SFT 回答的是数据集整体有没有用：用全部指令微调样本训练，与基座对比，看各能力维度的变化。它是入口判断——若基础 SFT 都没有提升，后两组实验不必做，应回到数据加工环节查原因。

子集消融回答的是哪一部分在起作用：按数据集领域或任务类型逐一剔除某个子集重训，看哪些能力维度随之下降。这组结论直接指导后续的数据投入。如果剔除某个子集后指标几乎不变，说明该子集当前的样本质量或覆盖度不足以产生影响，应当优先改进它而不是继续扩量。本项目四类数据集的加工是分批推进的，消融结论直接影响后几批的投入分配。

混合配比回答的是怎么配最好：在确认各子集都有效之后，调整它们的比例，寻找综合表现最优的配比。这一组实验次数最多、算力消耗最大，因此排在最后——前两组的结论能大幅缩小配比的搜索范围。

三组实验的产出都写入实验记录，记录包含数据集版本、配比、超参数、训练曲线与评测结果，使任一结论都能被重新跑出来。这是本项目所有模型侧结论可复核的基础，也是数据集卡片中「已验证用途」栏的证据来源。

5.5 能力验证：自动评测与专家抽样人评

招标文件要求通过自动评测和专家抽样人评，验证模型在指令遵循、任务完成、格式规范、长上下文理解四个方面的能力提升（b1347、b1348）。四项里只有格式规范可以完全自动判定，其余三项都需要人评兜底，所以两套评测并行而不是二选一。

自动评测跑在评测沙箱里，用冻结的基准测试子集与固定判分规则，一次运行覆盖全部四项。人评采用分层抽样：按场景切片分层，每个场景抽样比例不低于 5% 且样本量不少于 200 条，14 个场景合计不少于 2,800 条。抽样到的样本由领域专家按统一评分表打分，同一样本由两名专家独立评分，分差超过 1 分的样本交第三名专家仲裁。

表 5-8　专家抽样人评的组织与质量控制

一致性要求那一行是这套组织能不能成立的前提：若两名专家对同一条样本的判断大面积对不上，那么无论抽多少样本，得出的分数都只是评分者个人口味的汇总。首期按「评分者间一致性系数不低于 0.70」设定基线。该系数按双评样本逐维度计算后取各维度的最低值，基数为当批双评样本全量，不另行抽样，计算在每一批人评收口时进行，每批不少于 200 条；跨批不合并计算，以免某一批的失准被其他批次摊薄。低于 0.70 的，该批评分作废，先用一组带标准答案的校准样本定位分歧集中在哪一维度、哪一档锚定描述，据此修订评分表中的行为锚定描述并重做评分培训，再由原评分者重评该批，重评结果与原结果一并归档备查；同一维度连续两批低于 0.70 的，把该维度的评分口径拆成两个子项分别打分。行为锚定描述随批次修订逐步收敛，这项一致性系数的目标逐步接近 0.80。该项门限与测法并入表 1-6、表 1-7 同序核对。

上一张表管的是人评怎么组织得住，这一张表管的是四项能力各自凭什么算达标。两件事必须分开写：人评再严谨，也只回答「专家觉得好不好」，回答不了「指令遵循这一项比上一版强了多少」。四项能力各有各的失败方式——指令遵循的失败是漏掉其中一个条件，任务完成的失败在不同任务类型上形态各异，格式规范的失败是字段缺项或枚举不合法，长上下文的失败是跨段对照时取错了段落——用一个综合分覆盖它们，掉分时既定位不到能力，也定位不到数据。

因此每一行都走「自动评测方法—基线—本轮目标—不达标时的处置」四段。基线一律取基础 SFT 的实测值，目标一律写成相对基线的提升幅度，而不是一个绝对分数；绝对分数依赖题集难度，换一套题就不可比。处置一列则把每项能力接回具体的上游动作：指令遵循不达标就定位失败条件类型并补对应样本，任务完成掉分就按消融结论定位到切片去补采或重标，格式规范不达标先挂场景适配器收紧、仍不达标就在推理侧上结构化约束解码，长上下文不达标就加长文档样本比例或改走分段检索后对照并在模型卡里注明。

这样安排之后，四项能力的验收不再是一次性的判定，而是一条每项都有退路的通道。

表 5-9　四项能力的验收口径与回退

四项能力的提升幅度均以基础 SFT 的实测基线为参照，而不是以某个外部榜单分数为参照。榜单分与本项目的 11 个场景没有对应关系，拿它作目标会把工作引向调榜而不是调数据。

6、偏好对齐与奖励模型

6.1 偏好数据的归一化、冲突处理与难度分层

强化学习偏好数据 6.6 万组（供需计划 3.2 万、产品工艺设计 0.8 万、制造过程 1 万、产品质量 1.6 万）。偏好数据与指令数据不同：指令数据错一条就少学一点，偏好数据错一条就教模型往反方向走一步。所以在训练之前，归一化、冲突处理与难度分层三件事必须先做完。

格式归一化把来源不同、形态不一的偏好记录统一成同一套结构。实际收上来的偏好有三种形态：成对比较（A 优于 B）、多路排序（k 条回答排序）、单条打分（1 至 5 分）。多路排序按相邻与跨档两种方式拆解为成对样本，单条打分按分差不小于 2 分的组合拆对，分差为 1 的不拆——分差 1 更多反映评分者的刻度习惯而非真实偏好。平局样本单独留存，不进成对训练集，但用于奖励模型的校准评估。

表 6-1　偏好样本归一化后的字段结构

同一提问下若「A 优于 B」与「B 优于 A」并存，须先判定冲突类型再处置，不得简单投票。

偏好数据里的冲突不都是标注质量差的表现，很多时候恰恰相反——它说明这件事在现场本来就有两种做法。备料工序的排法、焊接参数的取值区间、缺陷归因里先查材料还是先查工艺，不同车间、不同年资的师傅给出的答案可以都站得住。把这类分歧当成噪声投票压掉，模型学到的是多数人的习惯，而不是本项目要确立的口径；真正的标注噪声反倒可能因为出现次数多而被保留下来。

所以处置的第一步是分类而不是裁决。五类冲突的来源各不相同：标注噪声是评分者的问题，口径分歧是业务的问题，提问歧义是题目本身条件不足的问题，时间版本差异是两侧引用的制度或标准版本不同，仲裁后仍无共识则说明这件事在现场尚未定论。对应的动作因此也各不相同——剔除并抽查该批次、交专家仲裁并修订标注规范、移出偏好集转为澄清类样本、以依据版本字段为准取最新有效版本、移入待定池不进训练。分类错了，后面的动作全是错的：把口径分歧当噪声剔除，丢掉的正是最有价值的那部分专家经验；把标注噪声当口径分歧送去仲裁，则白白占用专家工时。

表 6-2　冲突样本的分类与处置规则

冲突率按场景统计并设阈值：某场景的冲突率超过 8%，暂停该场景的偏好训练，先回流修订数据标注规范（b1852），再重新采集该场景偏好。把阈值写进方案而不是写「严格控制冲突」，是为了让这一步在实施时有可执行的停止条件。

难度分层决定了奖励模型学到的是什么。如果训练集里绝大多数样本都是「一条对、一条错」这种显著差异，奖励模型会把判别力集中在挑错上，面对两条都对但精度不同的回答就失效了——而真实场景里后者才是常态。

表 6-3　偏好数据难度分层

6.2 行业奖励模型

奖励模型从 SFT 模型初始化，替换输出层为标量打分头，用成对排序损失训练。从 SFT 模型而不是从基座初始化的理由很直接：奖励模型需要理解矿山装备制造的专业内容才能判断优劣，而这部分理解是 SFT 阶段才建立起来的。

保留偏好集按场景分层留出 10%，即约 6,600 组，训练全程不参与，只用于评估判别准确率（b1350）。保留集的分层比例与训练集一致，避免某一场景在保留集中缺席导致评估失真。

表 6-4　奖励模型评估指标与验收口径

6.3 对齐训练路线

招标文件允许 DPO 或 PPO（b1351）。本项目以直接偏好优化（DPO）为主线，以近端策略优化（PPO）做一组对照验证，理由是工程上的：直接偏好优化不需要在线采样，训练稳定、算力需求低（见表 3-9），在 6.6 万组规模下足以收敛；近端策略优化虽然上限更高，但对奖励模型质量极为敏感，奖励模型一旦有偏，策略会迅速钻空子。设 PPO 对照：若奖励均值上升而人评不升，即判定奖励模型存在可被利用的偏差，并据此改进奖励模型（优先于仅看准确率）。

主线做 6 组超参扫描：偏好强度系数取 0.1、0.2、0.5 三档，学习率取两档，参考模型冻结为 SFT 模型。对照组 1 组，价值头从奖励模型初始化，每个提问采样 4 条回答，KL 惩罚系数自适应调整。两条路线的产出在同一评测沙箱中用同一协议评测。

表 6-5　对齐训练指标记录（b1351 要求的四项全部在列）

偏好对齐按作业规格发起，奖励模型训练、主线对齐与对照组共用一套规格。

对齐这一步与前两步有个关键区别：它既可能让模型变好，也可能让模型变坏，而且变坏的方式不容易察觉。奖励分一路上涨、回答越来越流畅，基准分却在往下掉——这种情形在偏好对齐里并不罕见。因此对齐的作业规格比训练规格多担一层责任：它不只记录怎么跑的，还要把「什么情况下必须停」事先写死。

三条路线并排写在同一张规格表里——奖励模型训练、主线的直接偏好优化、对照用的近端策略优化——是因为它们共用同一批偏好数据与同一个参考模型，只有并排才看得出哪些输入必须一致、哪些配置各自不同。对照组存在的意义也在这里：主线出了问题，需要有一个用不同算法、同样数据跑出来的结果作参照，才能判断问题出在数据上还是出在算法上。

表 6-6　偏好对齐阶段作业规格

表 6-6　数据来源：指标项依招标文件 3.2.6.2 第（4）项（b1351、b1352）；算力测算依第 3.4 节表 3-9。超参取值为设计配置，首轮实测后按实测基线修订；控制区间与阈值为经确认的目标值。

奖励模型那一列的正常停止条件与第 5.4 节的收敛判据同一口径：保留集整体准确率按固定划分种子每 100 步评估一次，连续两次评估的提升均小于 0.5 个百分点方可停，单次评估落在阈值附近不作数；三组超参扫描跑完仍在持续提升的，追加训练步数并在回填表中记录追加理由，修订前的结论标注为未收敛结果。该判据随实测收紧，目标逐步接近 0.3 个百分点。

6.4 三类风险的识别与缓解

招标文件点明了三类风险：奖励黑客、回答冗余、行为退化（b1352）。三类风险在偏好对齐中属常见现象，缓解措施在训练开始前预置（见表），不在事后补配。

图 6-1　偏好对齐训练流程与发布前的三道风险门。数据来源：招标文件 3.2.6.2（b1350、b1351、b1352）。

这三类风险有一个共同的危险之处：它们在训练指标上都表现为「情况正在变好」。奖励黑客时奖励均值一路走高，回答冗余时回答越来越完整，行为退化时模型越来越肯给答案、越来越少说材料不够。如果只盯着对齐过程自身的曲线，这三件事发生时看不出任何异常，等到场景验证现场才发现模型开始编造参数、开始把该请岗位人员判断的事自己定了，那时已经晚了一轮。

所以这张表按「怎么才能在训练期间就抓住它」组织：先写表现，再写检测手段，再写判定阈值，最后写缓解措施。检测手段一列的共同特点是都不依赖对齐自身的指标——奖励分与人评分的秩相关系数、专门构造的对抗提问集、澄清与拒答的专项测试集、基准测试子集回测，全部来自对齐训练之外。用训练目标自己检验训练目标，是查不出问题的。

判定阈值一列给的是具体数字而不是「明显下降」。给了数字，这三道门才能由系统自动判定并自动拦截，而不是靠人每天盯着曲线。

表 6-7　三类风险的检测手段与缓解措施

三道风险门都设在发布之前：任一项越界，该版本不进入基准评测，也不进入场景验证。把门设在前面而不是靠事后发现，是因为对齐模型一旦进了场景验证，错误的行为就会被当成数据集的问题记到上游账上。

6.5 专家偏好对齐度报告与安全合规通过率报告

招标文件要求形成专家偏好对齐度报告和安全合规通过率报告（b1353）。两份报告各管一头：前者回答「模型的判断是否与专家一致」，后者回答「模型在合规边界上是否守得住」。

「模型的判断与专家一致」这句话要能被核验，报告就不能只给一个一致率数字。一致率是可以被稀释的：简单题占比大的时候，整体一致率会很好看，而真正体现专家经验的恰恰是那些要跨来源组织证据、要做反例辨析的难题。所以这份报告按六章组织，从偏好数据怎么治理一路写到结论与回流建议，并在对齐度量化一章要求把 L3、L4 两个难度层单独列出。

前三章记过程，后三章记结果。这个顺序不是惯例，而是因为对齐结论的可信度完全取决于偏好数据本身干不干净：冲突率有多高、怎么分的类、谁仲裁的、标注规范改没改。这些交代不清楚，后面的一致率再高也只能说明模型学会了某一批标注者的偏好。末章要求给出口径分歧集中在哪些场景并提出标注规范修订建议，是把这份报告接回上游——对齐的副产品之一，正是发现现场口径在哪儿还没统一。

表 6-8　《专家偏好对齐度报告》结构

合规在本项目不是泛泛的内容安全问题，它有很具体的指向。模型接触的是企业的合同、报价、客户与库存数据，是设备的工况参数与检验结论；一旦被诱导复述出不该复述的内容，或者在被问到「这台设备的参数该设成多少」时直接给出一个写入值，造成的就不是观感问题。六个维度因此按本项目真实会遇到的越界方式来设：敏感信息外泄、越权取数、越界建议、违规承诺、不当内容，再加一个反向的误拒率。

把误拒率与五项通过率并列考核，是这张表最要紧的设计。只考通过率，最省事的做法是让模型对一切沾边的问题都拒答，报表上一片绿，场景验证里却一条也用不了。双向判定之下，该拒的拒、该答的答，两头都有数，合规才不是以可用性为代价换来的。

表 6-9　《安全合规通过率报告》测试维度

误拒率与通过率同列考核。只看通过率会把模型逼成什么都不答，那在场景验证里一样不可用，所以合规测试双向判定：不该答的不答，该答的要答。

六个维度的数值还要配上测法，否则一张合规报表上的通过率无从复核。首期按表 6-9 的数值设定基线：越权取数、越界建议、违规承诺三项按通过率不低于 98%，不当内容一项按通过率不低于 99%，误拒率按不超过 2%。测试集按维度分别构造，每个维度不少于 500 条；前三项的样本取自本项目的真实业务语境——合同与报价字段、设备控制参数写入值、检验结论，三类各占三分之一，并覆盖直接提问与多轮诱导两种形态，不当内容一项采用通用安全测试集，误拒率一项取正常业务提问不少于 500 条。判定先由安全判据自动打分，判为不通过的样本全部转人工复核，复核结论以人工为准。每个模型版本在发布前判定一次，场景验证期间每月复测一次，测试集每季度补充一次新出现的越界形态，补充条数与版本号记入评测报告。通过率不达标的，先定位失败样本集中在哪一类提问形态，补充对应的拒答样例进偏好数据与安全对齐样本，重训后重测；重测仍不达标的，在网关侧对该类提问加一道前置拦截规则，拦截规则及其覆盖范围写入月度服务报告，并把该能力在场景验证中的开放范围收窄到有岗位人员在场的形态。随着越界形态的样本逐批积累，三项 98% 的目标逐步接近 99%，不当内容一项的目标逐步接近 99.5%；误拒率同步复核，目标逐步接近 1%。该项门限与测法并入表 1-6、表 1-7 同序核对。

7、基准评测沙箱与「评测—归因—修复—回评」闭环

7.1 基准测试子集的四项固化

基准测试数据集 0.95 万条（供需计划 0.4 万、产品工艺设计 0.1 万、制造过程 0.2 万、产品质量 0.25 万）。这 0.95 万条是整个项目的度量基准，一旦在评测中被改动，之前所有的分数就失去可比性。所以第一件事是把它钉死：题型协议、判分规则、版本号、随机种子四项固化，固化之后只允许升版本，不允许原地修改。

表 7-1　基准测试子集的题型协议

判分规则随题型一并固化，内容包括：每道题的判分器标识与参数（容差、权重、匹配模式）、部分得分的计算公式、无法自动判定时转人评的触发条件与人评评分表、以及异常响应（超时、空输出、格式不可解析）的记零规则。判分器本身也纳入版本管理——判分器改一行代码，所有历史分数都要重新声明口径。

版本号采用三段式：主版本对应判分规则或题型协议的变更，次版本对应题目的增删改，修订版本对应题面文字勘误。随机种子分三类分别固定并记录：抽样种子（用于人评分层抽样与子集划分）、解码种子（用于推理时的随机性控制）、顺序种子（用于题目呈现顺序）。主协议采用贪心解码以消除随机性，另设一套温度 0.7、三次重复的稳定性协议，用于测量模型输出的波动范围——只报一个贪心分看不出模型稳不稳。

表 7-2　版本号与随机种子的固化规则

7.2 可复现评测沙箱

沙箱须保证：换人、换机、间隔半年后，按同一说明可得到同一分。为此固定以下五个变量。

环境固化：评测环境以容器镜像交付，镜像摘要值随评测报告归档；依赖版本全部锁定，包含框架、推理引擎、判分器与分词器；镜像内不含任何联网能力，评测期间断开外部网络。

数据只读：基准集以只读方式挂载，评测进程无写权限；基准集目录的内容哈希在评测开始与结束时各校验一次，不一致则本次评测作废。基准集不向训练域开放，模型侧也不接触判分规则——这两条是评测独立性的底线。

污染防护：每一个待评模型在评测前先做一次污染扫描，用 13 元组重合检测比对该模型的训练语料与基准集，重合率超过 0.1% 的部分列出清单，涉及的题目在本次评测中标注为受污染并单列报告。这项扫描与数据质量与分布控制类工具链的污染扫描能力对接（b1084、b1085），扫描结论按表 2-5 的门二口径判定。

产出签名：评测产出写入独立目录，含逐题响应、逐题得分、汇总分、环境指纹、基准集版本号与种子，目录整体做哈希签名。报告中引用的任何数字都能回溯到具体的产出文件。

表 7-3　评测复现的判定口径

7.3 多阶段模型版本评测与能力增量量化

招标文件要求对基座模型、继续预训练模型、SFT 模型、对齐模型等多阶段模型版本开展评测，量化不同数据集带来的能力增量（b1355、b1356）。这是整个服务里最接近「证明数据集有用」的一步，做法是把能力增量算成相邻版本的分差，并把每一段分差归到一类数据集上。

表 7-4　多阶段版本与能力增量归属

基准测试子集本身的作用是度量工具，它的价值不体现为某一段分差，而体现为使 Δ1 至 Δ4 可被量化、可被定向优化——没有一套冻结的基准集，配比实验与消融实验都无从比较。这一点在数据集价值说明中单独表述，避免被误读为基准集对模型能力无贡献。

增量的显著性要做判定，不能看见正数就算提升。每个版本在主协议下评测一次、在稳定性协议下评测三次，用自助重采样给出总分与各场景分项分的 95% 置信区间；Δ 的置信区间下界大于零才判为有效增量，否则记为「未观察到显著增量」并进入归因分析。分场景报告是必须的：总分提升而某个场景下降，说明配比在域间产生了挤压，这个信息在总分里看不到。

图 7-1　评测沙箱、多阶段版本评测与「评测—归因—修复—回评」闭环。数据来源：招标文件 3.2.6.2（b1356、b1357、b1358、b1359）、3.2.6（b1215）。

7.4 错题的训练数据归因

错题归因要回答的是「这道题做错，是数据的哪个毛病造成的」。招标文件把毛病分成四类：脏数据、覆盖盲区、歧义标注、难度分布缺口（b1357）。四类的识别手段不同，不能用一套方法笼统处理。

评测出一个分数容易，难的是下一句话。一轮基准评测下来几百道错题摆在面前，如果只能说「模型在焊接这块弱」，上游就不知道该补采、该重标、还是该去掉几条脏样本——这三件事的成本相差一个数量级。归因要做的，就是把「弱」翻译成一个可以派工的动作。

四类归因按病根在哪一道工序划分，而不按错题的表象划分。表象是会骗人的：同一道焊接参数题答错，可能是训练样本里那条参数本身就是错的，可能是这个牌号的工艺在语料里根本没出现过，可能是两份工艺卡对同一工序的叫法不一致，也可能是这类题在训练集里的分布与现场分布差得太远。四者回流的环节各不相同，分别落到预处理与标注、采集与合成、标注规范、配比与补采，分错一类就等于派错一次工。

识别方法与判定依据两列并排，是为了让归因结论可被复核。检索最相似训练样本取前 20 条、按影响度排序、再经规则校验与专家抽检，是可以被第三方重走一遍的步骤；出现频次低于 20 次，是一个能复算的判据。归因若只给结论不给方法，它就只是一种说法，上游有理由不认账。

表 7-5　四类归因的识别方法与判定依据

归因依赖血缘。错题能不能追到训练样本，取决于数据集、训练任务、checkpoint 与评测结果之间的血缘关系是否完整（b1142 对应的工具链能力）。本节在每次训练与评测时写入血缘记录：数据集版本号、切片标识、配比配置、checkpoint 哈希、评测产出哈希。血缘断点即归因上限。血缘字段为训练作业提交必填项，缺项不予调度。

7.5 结构化整改任务单

归因结论要落成可执行的任务单，而不是一份分析报告（b1358）。任务单是上游修复环节的工单，字段设计以「拿到就能干」为准。

归因与修复之间最容易断的一环是交接。分析报告写得再细，到了上游也得有人把它拆成一条条能领走的活：改哪几条样本、按什么规则改、谁来改、改完怎么验、什么时候算关闭。少了这一步，报告就停在会上，下一轮评测还是同样的错。

任务单的字段因此按工单的样子设计，不按分析的样子设计。来源错题要求至少一条且列全，是为了这张单子关闭时能原路回到那几道题上复评；归因类别决定派往哪个环节；修复动作要写成可执行的动词而不是一句「优化」；复评触发条件写明这张单子凭什么算做完。这样一来，归因结论就从一份认识变成一批有主、有期限、有验收条件的活。

表 7-6　结构化整改任务单字段

「不可修复」这一状态是刻意保留的。有些覆盖盲区的根源是现场尚无采集手段——例如焊接层间温度在改造前只有人工抽检的纸质记录，这一类缺口不是重标能解决的。此类任务单关闭时写入数据集局限性说明，随数据卡一并交付，使数据集的适用边界对使用方透明。

7.6 闭环的运转与收敛判定

闭环按轮次运行：首轮全量评测，之后按整改任务单的复评触发条件做两轮定向回评。轮次安排与数据集质量测评服务的复测机制衔接（b2136），同一批整改不重复两套流程。

闭环最怕的不是转不动，是不知道什么时候该停。每一轮评测都能挑出新的错题，每一批错题都能归出新的任务单，不设收敛判据的话这件事可以无限做下去，而数据集的交付是有期限的。

收敛判据按归因类别分别设，不设一个统一的总门槛，原因是四类问题的性质不同：脏数据是高危的，必须定点改到不再命中；歧义标注的根子在规范上，光改样本不改规范，下一批数据还会再长出来，所以它的关闭条件里带着「规范修订已发布」；覆盖盲区与分布偏移要靠补采与配比调整，受上游进度与数据可得性约束，只能按幅度与批次收口。用一个统一门槛卡四类问题，要么把高危项放过去，要么被最难的一类拖住整个闭环。

表 7-7　闭环收敛判定

闭环不要求消尽全部错题：基准集中部分题目用于标出当前数据覆盖边界。闭环要求每道错题有归因、每个归因有去处、每次修复有回评；质量以可逐轮对比的指标序列度量。

8、推理服务供给与评测网关

推理侧为数据集场景验证服务（b1602）提供模型能力供给：供给形态、供给口径与供不上时的退路在本节给出。场景验证本身的验证点、验证流程与验收标准由场景验证章节交付。两者的分界是：场景验证定义要验什么，推理侧保证有东西可验。

8.1 场景验证对推理侧的四项要求

11 个场景的验证要求读下来，对推理服务的诉求可以归成四条，每一条都不是「有个对话接口」就能满足的。

第一条是结果必须可复算。产品智能选型要验证输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数的自动计算与验算（b1615、b1616）；板材备料要按中性层公式算展开长。这类数值不能由模型「生成」，同一输入两次给出不同的数就无法验收。做法是把计算交公式引擎、把规则判定交规则引擎，模型只负责把自然语言与图纸里的参数读成结构化输入、把引擎结果组织成可读结论。

第二条是输出必须结构化且字段可校验。工艺卡片、选型方案规格书、报价配置清单、检验报告草稿都有固定字段与字段间约束（b1618、b1619、b1626）。模型输出若格式漂移，下游的 PLM 回写与人工审核都接不上。

第三条是结论必须带出处。五个通用场景的共同要求是给出条款出处与版本状态（b1718、b1732、b1745）。出处要定位到条款级，不能只给文档名。

第四条是信息不足时要会停。工况参数缺项要提醒（b1614），合同审查要标注原文位置与规则依据（b1776 相关）。模型遇到材料不足时硬答，在验证里就是错，而且是最难发现的错。

8.2 四种推理服务形态

上一节的四项要求落到推理侧，不是加几个接口就能满足，它直接决定了要提供几种服务形态。十一个场景的用法差别很大：制度与标准问答是人坐在屏幕前一问一答，要的是第一个字出来得快；63 万张历史工艺样本的解析、存量工艺卡的回填是夜里挂上去跑一宿的活，要的是吞吐而不是时延；评测集作答要的是同一份输入反复跑出同样的结果；而场景验证期间还要同时挂着多个模型版本做对照，要的是能随时切换。拿一种形态去兜这四类用法，必然顾此失彼——按在线对话的规格配资源，批量作业跑不完；按批量作业配，问答卡顿到没人愿意用。

表里把关键指标与对应场景并列写出，是因为形态之间真正的区别不在调用方式上，而在拿什么指标验收上。在线对话看首 Token 延迟与完整响应时长，批量生成看吞吐与作业完成时长，同一套服务用不同的尺子量，容量规划与降级策略才有依据。四种形态各自对应到具体场景，也就把「推理服务够不够用」这个笼统问题，拆成了四个可以分别测量、分别交账的问题。

表 8-1　推理服务形态与适用场景

四种形态共用同一网关与同一套鉴权、分级、留痕机制，差别只在调用协议与调度策略。批量生成作业与训练作业共享算力池但优先级更低，训练窗口期自动让出资源。

图 8-1　推理链路、降级分支与全链路留痕。数据来源：招标文件 3.2.6.2（b1338）、3.2.6.5 场景验证要求（b1614、b1615、b1618、b1718）。

8.3 推理量化与精度一致性

推理侧的资源占用主要由权重精度决定，量化能把显存占用降下来，但会改变输出分布。场景验证的结论建立在模型分数上，若量化前后分数不可比，验证结论就无法回指到数据集。因此量化配置纳入模型注册表（表 3-5），并按同一套基准协议实测量化前后的分差，分差写入模型卡。

量化按用途分档。评测域一律用未量化权重，保证分数口径唯一；在线对话推理用权重量化、激活不量化的配置，兼顾延迟与质量；批量生成用更激进的档位换吞吐，但其产出若进入数据集加工，须标注所用量化档位并在抽检中按未量化配置复算一部分。

表 8-2　推理量化配置与适用范围

表 8-2　数据来源：量化档位为设计配置，校准集取基准测试子集之外的抽样样本，校准集版本号随模型注册表记录；分差阈值为经确认的目标值，首轮实测后按实测基线修订。

量化带来的另一件事是结果可比性的标注。同一模型版本在不同量化档位下的评测分分别记录，模型卡的评测结果一栏注明所用档位；跨版本比较时取同档位的分数，不同档位的分数不混算。

8.4 并发、批处理、路由与回退

推理服务的吞吐由三件事决定：批处理怎么组、并发怎么控、请求往哪台实例送。三件事在网关与推理运行时之间分工——网关管路由与限流，推理运行时管批处理与排队。

批处理采用连续批处理方式：新到请求可以插入正在生成的批次，不必等整批跑完，长短请求混排时短请求不被长请求堵住。批内按剩余生成长度分组，避免一条超长输出拖住整批。前缀缓存对同一场景的重复系统提示与检索上下文生效，命中时跳过重复的预填充计算。

表 8-3　并发与批处理参数

表 8-3　数据来源：并发口径依第 8.9 节容量规划；批处理参数为设计配置，按首轮压力测试结果修订。

路由由网关统一判定，判定顺序固定：先校验数据级别与目标实例的许可级别，再按模型标识与能力标签选实例，最后按健康状态与负载选副本。级别不符的请求直接拒绝并记录，不做降级透传（表 9-1）。

路由在本项目承担的不只是分发请求，它还是数据安全的最后一道闸。受控数据的请求如果被送到不具备相应许可的实例上，泄露已经发生，事后的审计只能确认事实而不能挽回。因此判定顺序把数据级别校验放在第一步，排在能力匹配与负载之前——先确定这个请求能不能到那边去，再谈那边能不能干这活。

不命中时的回退一列写得比命中动作更细，是刻意的。能力匹配不上时明确不降级到能力不足的模型，而是返回所缺的能力项；这条规则放弃了「总能给个回答」的便利，换来的是结果可信——一个上下文窗口不够的模型硬接长文档对照题，它不会报错，只会给出一个看起来完整的错答案，而这种错在验证里最难发现。

表 8-4　路由规则与回退

表 8-4　数据来源：分级拦截依第 9.1 节；配额口径依表 3-2；降级动作依表 8-10。

评测域的请求走同一条路由，但另有两条约束：评测请求固定使用不量化档位与主协议的解码参数，网关不对其施加前缀缓存与批内混排以外的任何改写；评测请求的提示词、响应与判分结果整体留痕，构成评测产出的一部分。这两条使「换了模型之后分数变化」反映的是模型差异，不是推理参数差异。

8.5 结构化约束解码

格式合规率在表 5-9 中的目标是趋向 98%。靠微调把格式学到 98% 是可以的，但剩下那 2% 往往出现在最长、最复杂的输出上——正好是工艺卡片与规格书这类最要紧的场合。所以推理侧再加一层约束。

约束按三级施加。第一级是模式约束，按目标结构的模式定义限制解码空间，使字段名、字段顺序与数据类型在生成时就不可能出错。第二级是取值约束，枚举型字段只允许在台账与字典给定的取值范围内生成，例如工序名称只能取自工艺部门确认的正式工序字典，设备编码只能取自设备台账。第三级是跨字段约束，字段间的依赖关系在生成后由校验器判定，例如压弯工序存在时必须有压模号、坡口加工存在时必须有坡口角度。

表 8-5　结构化约束的三级施加方式

三级约束带来的额外收益是评测口径变清晰了。结构性错误被约束挡在生成之前，剩下的错就是内容错而不是格式错，归因时不必再区分「模型不懂」与「模型没写对格式」。

8.6 检索增强的接入口径

带出处作答依赖检索，而检索通道的选择直接决定出处准不准。本项目采用以结构化检索与全文检索为主、向量检索为补充的口径：制度、标准、规程这类文本有明确的编号与层级结构，结构化检索能直接定位到条款；全文检索覆盖用语与提问一致的情形；向量检索只在提问措辞与文件用语不一致、或需要跨表述召回时作为补充通道。所有召回结果一律回原文核对后再组织答案，不以召回片段直接作答。

表 8-6　检索通道与使用条件

出处准确率单列为验收指标：带出处问答题型的出处命中率不低于 92%，趋向 96%；出处错误与结论错误分开统计，因为两者的整改去向不同——结论错回流到样本质量，出处错回流到检索配置与文档结构解析。

8.7 模型与引擎的责任边界

这一条必须在方案里写明，否则场景验证时会反复争执。模型负责理解、组织与表述：把自然语言需求与图纸要素读成结构化参数，把引擎返回的结果组织成可读结论，把证据按逻辑顺序排好。引擎负责计算与判定：公式引擎执行选型校核、展开长换算一类确定性计算，规则引擎执行工序顺序约束、禁止组合、合规条款比对一类确定性判定。

表 8-7　模型与引擎的分工

设备控制参数的写入不在本项目范围：模型在验证中输出的参数建议以供岗位人员判断为限，不进入设备控制回路（b1603）。

8.8 推理部署阶段作业规格

推理服务的每一次上线、扩缩与量化档位变更，按同一套规格执行并登记。

推理侧的变更比训练侧频繁得多：模型换一版、量化换一档、副本数随场景验证的批次增减，一个月里可能动十几次。训练出了问题还能靠曲线和检查点回溯，推理服务一旦没有登记，几周后发现某一批验证结果偏低，就再也说不清当时跑的是哪个权重、开的是哪档量化、挂的是哪个版本的检索索引。

把上线、扩缩与量化档位变更统一按一套规格登记，针对的就是这件事。规格特意把结构校验器与工序字典的版本、检索索引的版本也列进输入版本一栏——这两样不在模型里，却直接影响输出能不能通过格式校验、答案能不能带出正确的出处；漏登记它们，同样会出现结果对不上而原因找不到的情况。

表 8-8　推理部署阶段作业规格

表 8-8　数据来源：延迟与可用率口径依第 8.9 节；量化分差口径依表 8-2；留痕字段依第 9.3 节。

正常验收条件一行的三项量值与表 1-6 的承诺值取同一口径，测量方法、频次与不达标处置按表 1-7 与第 8.9 节执行：每一次上线、扩缩与量化档位变更后，按该测法在常态并发下实测一轮，实测值与本表规格逐项核对通过后，该形态方可投入场景验证；未通过的按异常排查顺序定位后重测。

8.9 容量、延迟与降级

推理侧的容量按场景验证的实际节奏规划，不按峰值堆资源。11 个场景的验证分批进行，同时在验证中的场景一般不超过 3 个；通用问答类场景的并发来自参与验证的业务人员，按常态并发 20 路、峰值 50 路规划；批量生成类作业在夜间窗口执行。

这些数字背后是一个判断：本项目的推理负载来自场景验证，不来自生产运行。参与验证的是业务人员，人数有限、节奏可控，同时在验证中的场景一般不超过三个。按这个实际节奏规划，常态 20 路、峰值 50 路是够的；若按将来上线后全厂使用去堆资源，多出来的卡在整个建设期里都用不上。

每一项指标都配「不达标时的处置」，是因为这些目标值在首轮实测之前都只能是设计值。处置一列给的是具体的腾挪办法——缩短提示长度、启用前缀缓存、把检索与生成拆成两段返回、长输出改流式、延长夜间窗口——而不是一句「增加资源」。先把能在现有资源内做的调整写明，扩容才是有依据的最后一步。

表 8-9　推理服务容量与延迟指标

表里的时间类指标共用一套测法。首期按「常态并发下首 Token 延迟 95 分位不超过 1.5 秒、单轮完整响应 95 分位不超过 12 秒」设定基线。判定走压力测试：在常态并发 20 路下重放一份固定的请求样本集，样本取自场景验证期间的真实提问，不少于 1,000 条，覆盖长短两档提示与带检索、不带检索两种形态，连续压测不少于 30 分钟，取分布的 95 分位值；峰值 50 路另跑一轮，只看排队长度与失败率。模型版本、量化档位、副本数或检索索引任一变更后各判定一次，验证期内另按月做一次常规复测，延迟分布数据随月度服务报告提交。95 分位超出 1.5 秒的，先按本表第四列的三步在现有资源内调整；调整后仍超出的，该批次的验证请求改走流式返回并在结果中标注所用形态，其时延数据单列、不与常态批次混算，扩容作为最后一步并附调整过程的实测记录。提示模板与前缀缓存命中率随验证批次推进逐步稳定，这项时延的目标逐步接近 1.2 秒。该项门限与测法并入表 1-6、表 1-7 同序核对。

降级策略真正要解决的其实不是服务可用性，是验证结论的干净程度。推理服务在验证期间出点状况是必然的，关键在于出状况那一批数据怎么算。若切换了备选模型却不作标注，两个模型的结果混在一张成绩单上，这一轮验证就白做了；若请求超时被当成答错记零分，模型的分数就背了服务的锅；若检索无命中时模型硬编一个答案，本该计入正确拒答的行为反而变成了错误。

因此表里第三列与前两列同等重要：每一种降级都写明对验证结果的处理方式——标注模型标识不混算、超时单列不记零分、正确拒答另计、格式失败进整改任务单。这样一来，降级就不再污染结论，而是成为结论的一部分注脚。

表 8-10　降级与回退策略

降级策略按表施加，使场景验证的结论不被服务波动污染。模型切换过、超时过、降级过的样本在报告中单列，汇总分只由未受服务波动影响的样本构成。

9、训练与推理的安全合规落地

安全方案的整体架构、等级保护与商用密码应用安全性评估由安全章节交付；训练与推理两个环节自身的安全措施在本节给出，口径与安全章节一致。

9.1 三类数据、三个环境

安全设计的起点是把数据级别与可进入的环境对应死，而不是靠流程约束人。

本项目的数据跨度很大：一端是公开的技术标准与专利文本，另一端是客户合同、报价与设备的工况记录。这两端如果共用一套管理办法，结果只有两种——要么按最严的管，公开标准也进不了训练，语料规模直接塌掉；要么按最松的管，敏感数据跟着训练作业流进了不该去的地方。

三级数据与三个环境的对应关系因此一次定死，并把网关行为写进同一张表。关键在于最后一列：级别的判定不停留在制度文件上，而是落成网关每次调用都要执行的动作——一般的正常放行，受控的校验脱敏标记后放行，敏感的按分区与权限拦截。规则落到网关上，就不再依赖每个人记得住、记得牢。

表 9-1　数据级别与可进入环境的对应

去标识化与脱敏由上游预处理环节完成（b0804r06 第 7 条）。本节在两个位置做二次校验：训练数据入库时按规则扫描个人信息、敏感地理信息与企业秘密特征，命中则退回上游并生成工单；推理请求进入网关时校验级别标签与目标实例许可级别。两道校验的命中记录纳入审计。

9.2 国密算法的集成点位

招标文件要求完成采购的服务密码机的国密算法调试（b1211），并与数据集加工生产平台集成实现指定数据集与关键数据的加解密（b0795、b0796）。本节涉及的集成点位如下表，调用均经商用密码服务平台统一接口，不直接对接密码机私有接口，以便按 b0740 要求兼容多厂商设备。

表 9-2　训练推理环节的国密集成点位

性能上有一处需要提前说明：语料加解密会占用密码机吞吐，615 亿 Token 规模的语料在首次入库与每次版本更新时的加解密量较大。做法是只对受控级与秘密级语料加密、一般级语料不加密，并把加解密放在数据准备阶段的夜间窗口执行，避免与训练读写争抢。若密码机吞吐仍成为瓶颈，按 b1211 的口径由商用密码服务平台的软实现承接溢出部分，性能影响记入阶段报告。

9.3 权限、审计与留痕

招标文件要求平台具备全流程审计和日志记录，并具备严格的权限校验和访问控制（b0804r06 第 7 条）。本节的权限模型按「人—角色—资源—操作」四元组定义，资源包括数据集版本、训练作业、模型版本、评测任务与报告；审计事件覆盖下表内容，日志只对审计角色开放，与三员管理模式一致（b0721）。

表 9-3　训练推理环节的审计事件

涉及秘密级数据的推理请求，请求体按配置只记录字段清单与内容哈希，不留原文；评测与归因所需的内容由评测域在隔离环境内直接读取，不经审计日志回传。这一处设计是为了同时满足可追溯与不扩散两个要求。

9.4 语料与模型的权利来源

训练语料的权利来源分三类并分别管理：甲方自有数据，依合同授权用于本项目的数据集建设与模型训练，用途与期限以合同约定为准；外部公开数据，仅采用权利状态清晰、许可明确允许用于训练的部分，逐条记录来源与许可依据；合成数据，由本项目工具链在上述两类基础上生成，生成链路经血缘记录可回溯。基座模型的开源许可或商用授权文本纳入交付档案，并在模型卡中标注许可类型与再分发限制。

招标文件要求核查项目建设过程中是否包含不可用于商业用途的建设内容，并承诺数据集来源的合法性（b0804r06 第 7 条）。本节对应的核查动作是：建设期内每个阶段提交一次语料权利来源核查表，列明各来源的许可依据与核查结论；发现权利状态不清的语料，从训练集中移除并重跑受影响的训练与评测。移除与重跑的记录随阶段报告提交。

10、模型版本管理、模型卡与发布流程

本节是对 b1338 「可替换、可评测、可随代升级」口径的工程落地，同时支撑评测结论与数据集血缘的对应关系（b1142 对应能力）。建设期跨到 2028 年 5 月（b2156），期间基座模型会出现多次代际更替，版本管理做不扎实，前期的评测结论到后期就无法引用。

10.1 版本命名与血缘绑定

模型版本号由四段组成：阶段标识、基座代号、数据集版本、训练序号。阶段标识取 V0 至 V5（见表 7-4）；基座代号是入选基座在本项目内的内部标识，不出现厂商名称与具体型号；数据集版本是本次训练所用数据集的版本号；训练序号区分同配置的多次重跑。

一个版本号必须能唯一确定一次训练。因此版本号登记时同时写入血缘记录：数据集版本与切片清单、配比配置、超参、随机种子、环境镜像摘要、起止时间、权重哈希、以及对应的评测产出哈希。血缘记录与数据集运营平台的版本管理模块对接（b0804r04），供外部查询模型与数据集的对应关系。

表 10-1　模型版本血缘记录字段

10.2 模型卡

每一个进入场景验证或交付的模型版本随附一份模型卡。模型卡不是宣传材料，是使用说明与边界声明，内容按下表固定。

建设期要跨到 2028 年 5 月，这期间模型会换代、经手的人会换班。两年后有人拿起一个模型版本要用，他最先要问的几件事是：这是用哪批数据训的、它能干什么、它在哪些情况下会出错、该怎么用。这些答案如果散落在各阶段报告里，实际上等于没有。

模型卡把它们收在一处随模型走。内容按标识、训练数据、能力边界、已知局限与使用建议组织，其中已知局限与适用范围是刻意要求写明的——一份只讲能力不讲边界的说明，使用者会在它不擅长的地方用它，出了问题又归咎于数据集。边界写清楚，模型才谈得上被正确使用。

表 10-2　模型卡内容

「已知局限」一章是模型卡的重点。把覆盖盲区与不可修复项写在明面上，场景验证时就不会在这些地方反复踩同一个坑；交付给甲方后，使用方也能据此判断哪些业务可以直接用、哪些要等下一轮数据补齐。

10.3 发布流程与回滚

发布这一步最容易变成走过场：模型训好了、分数也出来了，确认一下就挂上去。但本项目的模型挂上去之后，它的输出就要作为场景验证的依据，进而反过来评价数据集的质量；一个带着污染或血缘残缺的版本进入验证，污染的不只是这一轮结论，还有依据这轮结论做出的上游回流决策。

清单按「不通过就不能往下走」的闸口来设，每一项都写明不通过时怎么处理，而不只列检查项。污染扫描排在第一位，因为它一旦漏过去就再也查不出来——分数只会偏高，不会报警；血缘完整性紧随其后，字段不齐的版本即便评测分很好，也无法说明这个分数该记到哪批数据头上。几道闸全部通过，发布才是一个可追溯的动作。

表 10-3　模型发布检查清单

发布采用灰度方式：新版本先在一个场景的验证环境中并行运行，与现版本同时接收相同请求，比对两者的结构合规率、出处准确率与人工复核意见；并行观察期不少于 5 个工作日，指标不劣于现版本则全量切换。切换后保留回滚能力，回滚目标时长不超过 30 分钟，回滚动作与原因记入审计。

10.4 随代升级机制

基座升级不是把新基座装上就算完。本项目把升级定义为一次完整的复评：用同一份数据集版本、同一份配比配置、同一套基准集，在新基座上重跑继续预训练与微调，再与现版本横向比较。只有在新基座的评测总分与各场景分项分均不劣于现版本、且国产卡适配结论通过的情况下才切换主线。

表 10-4　升级复评的触发条件与范围

升级复评的结果写入模型卡并更新血缘记录。历史版本不删除，保留在版本库中供对照——数据集的价值证明依赖跨版本对比，删掉旧版本就等于删掉证据。

11、与其他技术段的接口与责任边界

训练推理服务与其他技术段的交接内容在本节明确，交接项逐条给出交换内容、口径约定与责任归属。重叠事项的完整论述在其归属章节，本节给出接口与边界。

接口写不清楚，最后多半不是吵架，是两头都以为对方会做。质检这件事尤其典型：上游的数据集加工生产环节出质检门控结论，本节消费这个结论决定哪批数据能进训练；边界若没写死，训练侧出于谨慎会再查一遍，既浪费工时，也会出现两套口径打架——按谁的结论算，数据到底合不合格。

因此每一条接口都给四项内容：交换什么、按什么口径交、谁对什么负责、重叠的部分归谁论述。最后一项看着是文字安排，实际是防止同一事项在两处各写一套参数，到了实施时按哪一套都说得通又都不作数。接口逐条写定之后，交付时才不会出现无人认领的缺口。

表 11-1　上下游接口清单

与数据集质量评测服务、场景验证服务的边界如下。

一是与数据集质量评测服务的边界。两者都做评测，但对象不同：本节评测的是模型，用来证明数据集有用；质量评测服务评测的是数据集本身的内生质量与应用效能，按《高质量数据集质量评测规范》出具盖章报告（b2100、b2142）。两者共用同一套基准环境与同一批多阶段模型版本，避免两套环境得出两套结论。本节的能力增量数据直接作为「基准模型动态应用验证」维度的输入（b2104、b2129）。

二是与场景验证服务的边界。本节不定义场景的验证点，也不承担场景的业务效果结论。场景验证中发现的问题，若指向模型能力，由本节按整改任务单处理；若指向数据覆盖，由本节归因后回流上游；若指向场景本身的业务规则，交场景验证段与甲方确认。本包不负责智能场景的建设（b1603），本节供给的是模型能力而不是场景应用。

12、实施计划、组织与交付物

本节按项目建设周期（合同正式签署后至 2028 年 5 月，b2156）安排训练推理技术服务的工作节奏，并落实项目管理制度与实施团队的相关要求（b2158、b2162）。

12.1 分期安排

训练推理服务的进度受两个外部条件约束：算力与适配要先就位，数据集要分批到位。所以计划不是把六段工作顺排一遍，而是让适配与算力先行、让训练按数据集到位的批次滚动推进、让评测与归因贯穿全程。

图 12-1　训练推理技术服务的分期安排与里程碑。数据来源：招标文件第 4 章建设周期（b2156）、3.2.6.2（b1338 至 b1359）。

分期的依据不是工作量的平均切分，而是前置条件。训练推理这条线上几乎每一步都卡在上一步的产出上：没有算力与经过国产化适配验证的环境，继续预训练起不来；没有通过质检门控的全量预训练子集，正式配比无从谈起；没有定稿的配比与基座，微调的十三组对照实验失去可比性；没有可用的模型版本，场景验证与评测闭环就是空转。这种强依赖决定了分期必须按「什么到位了才能开工」来排，排错了顺序，后面的阶段会反复返工。

表里把前置条件单列一列，与主要工作、产出并排，是因为真正的风险都藏在前置条件上。硬件到货时间、数据集质检进度、甲方确认环节，这些不完全由本节掌控的事项一旦滞后，影响的是整条链。写明前置，一方面让每个阶段的开工条件可被检查，另一方面也让滞后时的应对有迹可循——哪些工作可以提前做、哪些只能等、哪些可以降规模先走。

表 12-1　分期工作包

里程碑如果只是时间点，它就不产生约束力。本项目把每一个里程碑都挂到一份可以交出去的报告和一条可以判定的口径上：平台就绪挂国产化适配验证报告并须经甲方确认，继续预训练达标挂知识注入有效性报告并按既定口径判定，微调达标挂四项能力的验收口径与消融结论。判定条件写成这种形式，到了节点上双方看同一份材料、按同一条口径对账，而不是各自描述进度。

挂接到付款与验收节点这一列，是把技术结论与合同节奏对齐。技术上达标与商务上可以确认之间若没有明确对应，容易出现报告交了、节点却迟迟确认不了的情形。两边并排写出，节点的触发条件对双方都是清楚的。

表 12-2　里程碑与验收挂接

各阶段的产出均须经甲方评审通过后方可进入下一阶段，评审不通过及时整改（b0749）。阶段评审意见与整改记录随阶段报告归档。

12.2 组织与角色

本节涉及的角色按职责划分，不涉及具体人员信息。项目经理、实施顾问与全职团队成员按招标文件要求驻场（b2169），人员名单、简历与资质证明由团队配置章节统一提供。

这条线上的工作并不平均分布在整个建设期。平台与国产化适配集中在前期几周，之后环境基本稳定；配比与实验设计在中段最吃人力；评测与归因则贯穿后半程，随每一轮模型版本反复进行。按固定编制配人，前期忙不过来、后期闲置；按峰值配人，大部分时间在浪费。

因此角色按职责划分、投入方式按阶段注明，哪些角色全程驻场、哪些在特定阶段集中投入，逐条写清。这样呈现出来的不是一张人数表，而是一张与分期安排对得上的投入安排：每个阶段谁在场、负责签哪些结论，都能对照表 12-1 核对。

表 12-3　训练推理服务的角色与职责

本节的人员配置纳入《项目人力资源配备表》（b2161），实际人数与投入度按项目统一口径填写。【待填：训练推理服务组的人员数量、角色对应人员与投入度，由团队配置章节提供】

12.3 交付物清单

这张表里「对应条款」一列是重心。训练推理服务的产出大多是文档与数据，不像硬件那样可以清点；哪些算交付物、交到什么程度算完成，如果不在动工前对齐，到了验收时就会出现「这份报告算不算数」的争议。逐项挂回招标文件的条款编号，交付范围便由双方共同的依据确定，而不是由一方的理解确定。

交付时点按分期排列，形式一列写明是文档、测试记录、数据文件还是需要加盖公章，是因为同一份成果的不同形式在验收时效力不同。三件事写在一起，这张表可以直接当作验收时的清点依据使用。

表 12-4　训练推理技术服务交付物

交付物均为中文版（b0745）。文档类交付物同时提供可编辑版本与签章扫描版。涉及受控级与秘密级内容的交付物按表 9-1 口径加密交付，密钥按甲方要求移交。

13、验收口径汇总与质保期服务

13.1 验收口径汇总

本节各处给出的目标值在此集中列出，便于甲方对照验收。所有数值均为待验证目标，以首轮实测基线为参照，不达标时按对应回退路径处置并在报告中说明。

这张表与前文各节不是重复关系。前文的每一项指标都跟着它的技术论述走，便于理解来龙去脉，却不便于逐项清点；而验收那天要做的恰恰是清点。集中列出之后，国产化适配、继续预训练、微调、对齐、评测闭环与推理服务几个环节的口径摆在一起，彼此的量级关系也看得出来——哪些是经确认的目标值、哪些是随实测修订的设计值，一眼可辨。

最后一列指向回退路径所在的表，是这张汇总表与一般指标表的差别。验收看的从来不只是达没达标，还有达不到时怎么办。只有目标值的汇总，在未达标的那一刻就无话可说；带着回退指向的汇总，任何一项出现偏差，都能当场翻到对应的处置条款上继续谈。

表 13-1　训练推理技术服务验收口径汇总

表中每一项按同一套规矩验收：数值取首期基线，测法、样本量与判定频次以该项所在章节写明的口径为准，不达标时先走回退路径所在表的处置，处置后重测仍不达标的，在验收报告中单列说明偏差幅度、已采取的措施与下一次复测时点。各项的趋向值写在其所在章节，用于标明后续的改进方向；当期验收按首期基线判定。

13.2 质保期与免费技术服务期内的工作

按合同条款，质保期为 12 个月、自终验收合格之日起计算；免费技术服务期 24 个月、自质保期满之日起计算；自终验收合格之日起 36 个月内，相关软硬件出现非使用不当导致的缺陷或错误，须在 2 小时内响应并在规定时间内修复（b0541）。本节对应的服务内容如下。

表 13-2　质保期与技术服务期内的服务内容

模型与评测相关的交付物在服务期内保持可用：评测沙箱镜像与基准集版本库持续维护，历史模型版本与血缘记录不删除，使甲方在任何时点都能复算历史结论。

13.3 培训与能力移交

按合同要求，须提供对甲方人员的培训，使其能独立进行配置、使用、管理、故障处理与日常测试维护（b0605）。本节的培训分三类对象组织。

培训要解决的现实问题是：建设期结束后，这套东西得由甲方自己的人用下去。训练推理这条线上的日常动作并不少——提交一次训练作业、处理一次国产卡故障、做一次断点续训、发起一轮评测、读懂评测报告、填一张整改任务单。这些动作如果只靠交付文档说明，实际上传不过去。

因此培训按岗位分类设置，内容对准各自将来真正要动手的事，形式一律是集中授课加实操，考核也一律是实操而不是答卷：运维人员要独立完成一次作业提交与故障恢复，数据与评测人员要独立完成一轮定向回评并提交归因结论。以能不能做出来作为考核标准，能力移交才算真的发生，而不是停留在签到表上。

表 13-3　培训内容安排

培训材料随交付物提交，含操作手册、常见问题解答与最佳实践（b0754）。培训完成后保留一段陪伴期，由项目组与甲方人员共同执行一轮完整的评测与回评流程，之后移交。

14、标准对标与成果转化

训练推理环节产生的方法与数据，是本项目参与标准验证最有素材的部分之一——配比方法、基准集协议、判分规则与归因方法都是可被抽象为标准条文的内容。

14.1 对标清单

标准对标最容易写虚：列一串标准号，落实方式写成「严格遵循」。这里换一种写法——每一项标准只写它在本节的具体落点，以及用什么方式证明落到了。数据集质量评测规范的六个维度里，可用性与可信性是本节的评测与归因结论直接支撑的，基准模型动态应用验证这一项要的是基准环境与多阶段模型版本，这两件事本节都提供；写清楚是哪两维、提供什么，比声称六维全都遵循更经得起追问。

验证方式一列同样如此。标准是否被落实，不由本节自行判定，而由外部动作确认：质量评测服务出具盖章报告时引用本节的评测产出，统计表随阶段报告提交，偏差进整改任务单。把验证交给可观察的动作，对标才不只是一种态度。

表 14-1　本节遵循的标准与规范

14.2 可参与标准验证的素材

招标文件要求积极参与全国数标委标准验证和试点应用工作，持续完善标准技术指标（b1847）。本节能提供的素材集中在四处，都是在真实项目里跑出来、带着实测数据的内容，而不是概念性建议。

第一处是行业预训练语料的配比方法。表 4-2 给出的「按子集重复度、场景验证难度与预实验结果三条依据定采样轮次」的做法，配合 4 组对照实验的实测数据，可形成面向垂直行业的预训练配比设计方法建议。

第二处是基准集的协议与判分规则。表 7-1、表 7-2 将题型、判分、容差、版本号与种子固化为可执行规格，可直接用于行业基准集的判分口径与版本管理。

第三处是错题归因的四类识别方法。表 7-5 把脏数据、覆盖盲区、歧义标注、难度分布缺口四类的识别手段与判定阈值写明，可形成数据集缺陷分类与定位方法建议。

第四处是数据贡献度的量化方法。子集消融实验（表 5-4 A 组）给出的「以剔除后的掉分幅度度量子集贡献」的做法，连同实测的贡献度排序，可支撑高质量数据集的价值评估与定价方法研究。

这四处素材同时是知识产权布局的来源，论文、发明专利与软件著作权的具体安排由技术创新章节统筹（b0804r06 第 8 条），训练推理环节提供技术内容与实验数据。

15、风险识别与应对

本节列出训练推理服务在实施中的主要风险。每条风险给出触发信号与应对动作，触发信号是可观测的，不是「如果出现问题」这类无法判断的描述。风险按影响程度排序。

风险登记册的价值取决于触发信号写得实不实。写成「若算力不足则……」，这条风险永远不会被触发，因为谁也说不清什么叫不足；写成「P1 阶段末算力资源池未完成验收」，它就是一个有日期、有判据、当天就能查的事实。本节的风险条目全部按这个要求写：精度比对的逐层最大相对误差超限、吞吐低于参考环境七成、质检门控未通过的批次比例、报告确认迟于某个节点，都是可观测的。

应对动作一列也不写成原则，写成具体的腾挪。算力晚到就先用小规模配比预实验占住方法验证，继续预训练改为按数据集领域分批次进行，并在报告中注明验证档结论的置信范围收窄；国产卡精度超限就按既定回退路径降并行维度、改低秩微调、替换等价结构，并把结构变更记进模型卡。每一条都指向本节别处已经写定的办法，而不是临时想的对策——这也是风险登记册能够真正被执行的前提。

表 15-1　风险登记册

风险应对不改变本节承诺的验收口径。任何风险触发后的处置都须在阶段报告中写明：触发项、处置动作及对指标的定量影响。