## 一、本节的回应范围与总体思路
本节回应招标文件第五章 3.2.6.2「行业大模型训练推理技术服务」的全部要求（b1337），同时回应 3.2.1 服务采购清单中与本项服务直接相关的条目（b0803）。本节交付的是训练推理的服务形态、算力规划与适配、模型接入方式、以及评测与迭代机制四件事。
### 1.1 甲方为什么需要这项服务
本项目的交付物是四类高质量数据集，不是一套智能场景（b1603）。数据集交出去之后，甲方要回答的第一个问题是：这批数据到底管不管用。招标文件把这个问题写进了项目目标——数据集须支撑不少于 11 个细分任务场景，须「有效破解通用大模型在专业领域不好用、不精准、不落地的难题」（b0663）。一份只有体量没有效用证明的数据集，在验收时无法与「把语料堆起来」区分开。
行业大模型训练推理技术服务就是用来回答这个问题的。该项服务将数据集放入可复现的训练与推理流程，用实验数据证明：预训练子集注入矿山装备制造领域知识，指令微调子集提升任务完成能力，偏好数据对齐专家判断，基准测试子集量化上述增量。跑不出增量的子集，问题出在上游的采集、标注或合成环节，由评测结论定向回流修复（b1215）。
这一定位决定了本节与别处的分工。数据从哪来、怎么洗、怎么标、怎么合成，是数据加工生产服务的内容；专项智能工具链负责生产这些数据；本节负责消费这些数据，并把消费过程中发现的问题写成结构化的整改任务单交回上游。工具产数据，训推消费数据，评测产结论，结论驱动回流——这是一条单向推进、按证据回头的链路，不是一个互相调用的环。
### 1.2 一条主线
本节按「配比设计—继续预训练—指令微调—偏好对齐—基准评测—归因回流」六段组织。六段之间不是并行的工序，而是逐级加码的验证序列：前一段的产出是后一段的输入，后一段的评测结果可以否定前一段的数据配置并要求重做。每一段都给出输入、产出、过程记录、验收口径与达不到口径时的回退路径。
图 1-1 训练推理技术服务在本包中的位置与责任边界。数据来源：招标文件第五章 3.2.6.2（b1337）、3.2.6 生产逻辑（b1215）、3.2.6.5（b1603）。
### 1.3 本节的基本技术口径
模型基座采用当期能力评测领先的通用大模型，经统一网关接入，可替换、可评测、可随代升级（b1338）。基座不绑定单一来源，遴选以本项目自建的基准测试子集实测结果为准，入选名单随版本迭代复评。私有化部署与国产通用大模型支持作为硬性前提，在算力适配一节逐项落地。
训练推理全程在甲方指定的内网隔离环境或我方在宁夏境内的合规算力环境中进行，原始业务数据不出域（b2113 同口径）。涉及个人信息、敏感地理信息、重要行业数据与企业秘密数据的样本，在进入训练前已由上游完成去标识化或脱敏处理（b0804r06 第 7 条），本节在网关层按数据分级做二次校验，级别不符的样本不进入推理环境。
所有训练与评测过程留痕：训练曲线、检查点（checkpoint）、中间评测结果、随机种子、环境镜像版本与数据集版本号一并归档，支撑结论复算（b1342、b1354）。本节给出的目标值均为待验证目标，以首轮实测基线为准逐轮修订，每一项都配回退路径。
### 1.4 方法依据与选择准则
招标文件要求投标文件「佐证性强」（`b0497`）。六段方法均选自公开方法族，并结合本项目数据条件与算力条件确定。下表列出方法族、出处及本项目判定方式。
表 1-1 六段方法的所属方法族、出处与本项目的判定方式
| 环节 | 所属方法族 | 出处 | 本项目用什么判定 |
|---|---|---|---|
| 预训练配比设计 | 领域语料配比与采样权重设计 | 四项统计（4.1 节）是配比的唯一依据；方法族的公开讨论见参考依据 ① | 配比预实验 4 组对照、各取 10% 子集，按保留集困惑度与知识探针结果判定（4.5 节） |
| 指令数据切片与实验设计 | 指令数据选择与配比（data selection and mixture for instruction tuning） | 参考依据 ① ② ③ | 子集消融取剔除法而非增量法，理由见 5.2 节；以评测分下降幅度度量各切片贡献度 |
| 继续预训练 | 领域自适应继续预训练 | **不引外部结论。** 公开结论多来自其他领域语料，与矿山装备制造语料的分布差异大，不足以直接外推 | 以本项目保留集验证与知识探针为依据（4.5 节），产出知识注入有效性报告（4.6 节） |
| 偏好对齐 | 直接偏好优化（Direct Preference Optimization, DPO） | 招标文件 `b1351` 允许 DPO 或 PPO 两者之一；DPO 方法出处见参考依据 ④ | 主线 DPO 做 6 组超参扫描，PPO 做 1 组对照；五项指标按表 6-5 判越界，奖励涨而人评不涨即判奖励黑客征兆 |
| 错题的训练数据归因 | 训练数据归因（training data attribution） | 方法族出处见技术与机制创新节的参考依据 | 归因结论须生成结构化整改任务单并复检闭合（7.4、7.5 节） |
| 基准评测沙箱 | 基准集冻结与可复现评测 | 本项目 7.1 节的四项固化（题型协议、判分规则、版本号、随机种子） | 同协议、同模型、同随机种子两次运行，主指标偏差不超过 0.5 个百分点 |
表 1-1 数据来源：方法族名称按公开文献的通用表述；标注参考依据编号的，出处见下方清单；
未标注编号的，依据是招标文件条款或本项目自己的实验设计与实测记录。
参考依据：
① Zhang B, Wang J, Du Q, et al. A Survey on Data Selection for LLM Instruction Tuning.
Journal of Artificial Intelligence Research, 2025. DOI 10.1613/jair.1.17625
② Renduchintala H S V N S K, Bhatia S, Ramakrishnan G. SMART: Submodular Data Mixture
Strategy for Instruction Tuning. Findings of the Association for Computational
Linguistics: ACL 2024. DOI 10.18653/v1/2024.findings-acl.766
③ Fu Y, Hamman F, Dutta S. T-SHIRT: Token-Selective Hierarchical Data Selection for
Instruction Tuning. Advances in Neural Information Processing Systems 38, 2025.
DOI 10.52202/085713-3800
④ Rafailov R, Sharma A, Mitchell E, et al. Direct Preference Optimization: Your Language
Model is Secretly a Reward Model. Advances in Neural Information Processing Systems 36,
2023. DOI 10.52202/075280-2338
引用的使用口径有两条，写明以免歧义。
第一条，**文献只用于说明方法族的出处，不作为任何指标承诺的依据。**
本节给出的全部目标值以首轮实测基线为准逐轮修订（见 1.3 节），
不以公开文献报告的数值作为我方承诺值——公开实验的语料、模型规模与算力条件与本项目不同，
把别人的数搬过来当承诺，验收时无法兑现。
第二条，**凡公开方法在本项目条件下不成立的，按实测结论处理，并在报告中写明差异，不迁就文献。**
本项目的语料是矿山装备制造的图纸、工艺卡、炉次与焊道记录，
模板化程度与专业术语密度都与通用语料差别很大，方法在此处失效是正常的，
失效本身也是对甲方有价值的结论——它说明哪一类通用做法在这个行业需要改造。
## 二、服务采购清单的承接关系
本节回应 3.2.1 服务采购清单（b0803）。采购清单共 7 项，表头为序号、名称、单位、数量、备注五列（b0804r01）。清单第 5 项「数据集加工生产实施服务」的第 1 条明确把「行业大模型训练推理技术服务」列为实施服务的组成部分（b0804r06），本节即为该条的技术应答。清单其余各项与本项服务的关系如下表，详述位置指向技术方案卷内其他章节，避免重复论述。
表 2-1 服务采购清单各项与训练推理服务的承接关系
| 清单项 | 单位·数量 | 与本节的关系 | 详述位置 |
|---|---|---|---|
| 1 数据资源建设服务（b0804r02） | 套·1 | 提供多源异构采集与多模态接入成果，是预训练子集与多模态对齐样本的原始来源；接入系统覆盖 CRM、ERP、SCM、QMS、WMS、MES、LMS、EMS、SOS、EAM、PLM、SCADA、OA、久其系统、主数据管理平台、热处理群控系统、安全监管平台 | 数据资源采集接入章节 |
| 2 专项智能工具链建设服务（b0804r03） | 套·1 | 9 类 25 个工具链产出训练样本，其中第 23–25 个工具（多协议模型评测引擎、数据贡献度归因与错题溯源、数据集–模型版本血缘追溯）与本节的评测沙箱、归因闭环直接对接；工具产数据，训推消费数据 | 专项智能工具链章节 |
| 3 数据集运营服务管理平台建设服务（b0804r04） | 套·1 | 本节产出的模型版本、评测报告与数据集血缘关系回写平台，纳入版本管理与全流程审计管理模块 | 数据集运营平台章节 |
| 4 系统集成服务（b0804r05） | 套·1 | 采购的通用服务器完成数据集加工生产平台安装与适配后，作为训练域的数据准备与评测调度承载；服务密码机提供国密算法支撑，用于训练语料与模型权重的加解密 | 系统集成方案章节 |
| 5 数据集加工生产实施服务（b0804r06） | 套·1 | 本节是该项第 1 条列明的七类实施服务之一；该项第 2 条技术标准验证、第 3 条专家库、第 5 条软建设、第 8 条知识产权中与模型训练评测相关的成果（评测方法、归因方法）由本节提供素材 | 本节及技术创新章节 |
| 6 信息安全风险评估服务（b0804r07） | 套·1 | 训练域、推理域与评测沙箱纳入等级保护测评与商用密码应用安全性评估的范围 | 安全方案章节 |
| 7 数据集质量测评服务（b0804r08） | 套·1 | 该项的「基准模型动态应用验证」直接使用本节提供的基准环境与多阶段模型版本；本节的评测结论是该项动态验证维度的输入 | 数据集质量评测方案章节 |
清单各项的报价口径、数量与税率在商务卷报价一览表中填写，本节不重复列价。表中「单位·数量」一列按招标文件原文照录，不作改动。
## 三、训练推理平台与算力规划
本节回应招标文件 3.2.6.2 第（1）条「构建行业大模型，须支持大模型私有化部署，支持国产通用大模型」（b1338），并落实项目目标中软硬件整体国产化比率不低于 80% 的要求（b0677）与国产化技术要求（b0787、b0788、b0790、b0792）。
### 3.1 服务形态：三域一网关
训练推理不是一套交付给甲方自行运维的软件产品，而是一项带算力、带流程、带报告的技术服务。它在本项目中按三个相互隔离的域组织，域间只通过受控接口交换数据与模型文件。
训练域承担配比实验、继续预训练、指令微调、奖励模型与对齐训练。该域对外只收数据、只出 checkpoint 与训练记录，不直接对外提供推理接口。推理域承担场景验证所需的在线推理、批量生成与检索增强调用，按数据敏感级别划分为内网隔离区与受控区两个分区。评测域是一个独立的沙箱，持有冻结的基准测试子集、判分规则与随机种子，对训练域产出的任何模型版本执行同一套协议的评测；基准集不向训练域开放，以免评测样本回流进训练数据。
训练域、推理域与评测域与数据集加工生产平台同源，对外统一以「奔牛数据智能平台」作为平台称谓；本节所述三域即该平台的训练推理部分，不另立一套独立系统。三域之上是统一模型接入与评测网关。网关是本节唯一的模型调用入口：所有对基座模型、继续预训练模型、微调模型与对齐模型的调用都经网关路由，网关负责鉴权、数据分级校验、调用计量、提示词与响应留痕、以及多协议适配。把入口收到一处的直接好处是模型可替换——更换基座或升级版本时，上层的场景验证脚本与评测脚本不需要改动。
图 3-1 训练推理平台三域一网关结构与域间交换内容。数据来源：招标文件 3.2.6.2（b1338、b1355）、系统集成要求（b0795）、国产化要求（b0787）。
### 3.2 私有化部署与国产通用大模型支持
招标文件对部署形态的要求是两条并列：支持私有化部署，支持国产通用大模型（b1338）。这两条在本项目里有现实约束——甲方的工艺图纸、选型方案、炉次档案与焊接参数属于企业秘密数据，按安全合规要求不出域（b0804r06 第 7 条），所以推理与训练的主线形态只能是私有化。
私有化部署按三种形态提供，由甲方按数据级别与算力条件选择：全私有形态，模型权重、推理服务与网关全部部署在甲方内网，无任何外部网络依赖；专属形态，部署在我方位于宁夏境内的合规算力环境，以专线接入，数据在省内闭环，适用于算力需求集中、甲方机房资源不足的训练阶段；混合形态，训练在专属环境进行，推理下沉到甲方内网，模型权重经国密算法加密后交付。三种形态共用同一套网关接口与同一套评测协议，切换时不改上层应用。
国产通用大模型支持落在三个层面。权重层面，入选基座须提供可商用的开源许可或可授权的商用许可，许可文本纳入交付档案；接口层面，网关对国产模型常见的调用协议做适配，包括兼容通用对话接口规范的 HTTP 调用、流式输出、工具调用与多模态输入；运行层面，模型须能在国产加速卡与国产操作系统组合上完成推理部署并通过功能与性能基线测试。我方不把微调或私有化改造写成建设主线——主线是用甲方的数据把模型的领域能力提上来，模型本身可替换、可评测、可随代升级。
表 3-1 私有化部署形态对照
| 形态 | 权重与服务位置 | 数据出域情况 | 适用阶段 | 算力来源 |
|---|---|---|---|---|
| 全私有 | 甲方内网 | 不出甲方内网 | 场景验证推理、最高级数据处理 | 甲方采购的通用服务器 + 本项目配置的推理池 |
| 专属 | 我方宁夏境内合规算力环境 | 不出自治区，专线闭环 | 继续预训练、大批量微调与对齐训练 | 我方算力资源池【待填：资源池规格与到位时间】 |
| 混合 | 训练在专属环境，推理在甲方内网 | 训练语料按脱敏后版本上行，权重加密下行 | 建设期主线形态 | 两侧共用 |
### 3.3 算力测算
算力规划不能靠「配置若干台服务器」一句话交代。本节按工作量正算：训练算力按六倍参数量乘训练 Token 数估算，推理算力按每生成一个 Token 消耗两倍参数量估算；单卡有效算力按 BF16 峰值 280 TFLOPS、模型算力利用率 32% 折算为 90 TFLOPS，即每卡日可提供约 7.8×10¹⁸ 次浮点运算。这三个假设是测算的全部前提，实测偏离时按同一公式重算，不改结论的推导方式。
主线模型档位取 80 亿参数级，覆盖全部环节；另设 300 亿参数级验证档，用于观察数据集的能力增量在更大参数量上是否保持同一趋势，该档只在分层抽样的 30% 子集上跑一轮，不作为交付模型主线。两档并行的理由是：数据集的价值证明需要跨参数量成立，只在一个档位上出现的增量无法排除偶然。
表 3-2 分环节算力测算（主线档 80 亿参数级，验证档 300 亿参数级）
| 环节 | 档位 | 等效训练 Token | 卡天 | 建议并发卡数 | 墙钟时长 |
|---|---|---|---|---|---|
| 配比预实验（4 组对照，各取 10% 子集） | 80 亿 | 246 亿 | 152 | 32 | 约 4.8 天 |
| 继续预训练（含视觉等效 Token 6.5 亿） | 80 亿 | 621.5 亿 | 398 | 64 | 约 6.2 天 |
| 继续预训练（验证档，30% 分层子集） | 300 亿 | 184.5 亿 | 426 | 64 | 约 6.7 天 |
| 基础 SFT + 子集消融 SFT（8 组）+ 混合配比 SFT（4 组） | 80 亿 | 合计 174 亿 | 60 | 16 | 约 3.8 天 |
| 验证档 SFT（低秩微调） | 300 亿 | 32 亿 | 33 | 32 | 约 1.0 天 |
| 奖励模型训练（3 组超参） | 80 亿 | 9.5 亿 | 6 | 8 | 约 0.8 天 |
| 偏好对齐（直接偏好优化，6 组超参） | 80 亿 | 19 亿等效 | 11 | 8 | 约 1.4 天 |
| 近端策略优化对照（1 组，验证性） | 80 亿 | — | 21 | 8 | 约 2.6 天 |
| 基准评测与复现验证（6 个模型版本 × 3 次重复） | 两档 | — | 4 | 8（常驻） | 随版本节奏 |
| 单轮合计 | — | — | 1111 | — | — |
单轮测算之外要留迭代余量。评测与归因会驳回部分配比与微调配置并要求重跑，按配比环节平均 3 轮、继续预训练环节平均 2 轮、微调环节平均 3 轮、对齐环节平均 2 轮估算，建设期训练算力总需求约 2,400 至 2,600 卡天（按表 3-2 各行卡天分别乘以上述轮数，合计约 2,460 卡天）。据此建议的资源配置为：训练池 64 卡（8 节点 × 8 卡，节点间 RDMA 互联带宽不低于 200 Gbps，参数面与存储面物理分离），推理池 12 卡（其中 4 卡用于评测沙箱常驻、8 卡用于场景验证推理与批量生成），两池按阶段错峰共享。训练池的占用高峰集中在继续预训练与对齐两个窗口，其余时间可释放给推理与评测。
存储按四类产物分别估算。文本语料 615 亿 Token，中文按每 Token 约 1.5 个字符折算，原文约 277 GB，计入多版本与检索索引后约 0.9 TB；多模态原始件含 63 万张历史工艺样本及红外与视频帧，约 3.0 TB；模型 checkpoint 按主线档保留 20 份、验证档保留 6 份，含优化器状态约 5.4 TB；训练日志、评测产物与血缘记录约 0.5 TB。合计可用容量约 10 TB，按纠删码与快照冗余配置，裸容量按 25 TB 规划。并行文件系统承载训练读写，对象存储承载语料与归档。
表 3-3 存储容量规划
| 类别 | 内容 | 可用容量 | 承载方式 |
|---|---|---|---|
| 文本语料 | 615 亿 Token 原文、分词缓存、检索索引、多版本 | 约 0.9 TB | 对象存储 + 并行文件缓存 |
| 多模态原始件 | 63 万张历史工艺样本、红外与热成像帧、视频片段、图纸渲染件 | 约 3.0 TB | 对象存储 |
| 模型 checkpoint | 主线档 20 份、验证档 6 份，含优化器状态 | 约 5.4 TB | 并行文件系统 |
| 过程产物 | 训练曲线、中间评测、评测明细、血缘与审计记录 | 约 0.5 TB | 并行文件系统 + 数据库 |
| 冗余口径 | 纠删码 + 快照 | 裸容量约 25 TB | — |
### 3.4 国产算力与国产化软硬件适配
国产加速卡的适配不是装一个驱动就能了事的工作，真正耗时的是算子覆盖与精度一致性。本项目把适配工作前置到建设期第一阶段，按四步推进：第一步做环境基线，在国产加速卡、国产 CPU、国产操作系统与国产数据库的组合上完成驱动、通信库、框架与推理引擎的安装，跑通单卡与多卡的最小训练任务；第二步做算子覆盖核查，列出本项目训练与推理实际用到的算子清单，逐项确认有无原生实现、有无需要回退到等价组合实现的情形，回退项记录性能损失幅度；第三步做精度一致性比对，同一权重、同一输入、同一随机种子，在国产卡与参考环境上各跑一次前向，比对输出的逐层最大相对误差与最终结果差异，以及在基准测试子集上的评分差异；第四步做长稳与性能验证，连续 72 小时训练不中断，记录吞吐、显存占用、通信开销占比与断点续训恢复时长。
表 3-4 国产化适配验证矩阵
| 适配对象 | 验证内容 | 通过口径 | 不通过时的回退 |
|---|---|---|---|
| 国产加速卡（训练） | 多卡并行训练、混合精度、断点续训 | 72 小时连续训练无中断；单卡吞吐不低于参考环境的 70%；续训恢复不超过 15 分钟 | 降低并行维度或改用低秩微调路线；长周期任务移至兼容性已验证的节点 |
| 国产加速卡（推理） | 批量与流式推理、长上下文、多模态输入 | 基准测试子集总分与参考环境差异不超过 1 分；首 Token 延迟不超过 1.5 秒 | 推理下沉到通用服务器 CPU 推理或缩小上下文窗口分段处理 |
| 算子覆盖 | 实际用到的算子逐项核查 | 无原生实现的算子均有等价组合实现且精度比对通过 | 替换为功能等价的网络结构；该结构变更记入模型卡 |
| 国产操作系统 | 驱动、通信库、框架、容器运行时 | 安装与运行无告警；提供兼容性互认证明材料（b0735、b0738） | 【待填：兼容性互认证明材料来源与份数】 |
| 国产数据库 | 元数据、作业记录、评测结果存储 | 功能与性能基线测试通过 | 元数据层加抽象适配，隔离方言差异 |
| 服务密码机 | 语料与权重的国密加解密、密钥管理 | SM2/SM3/SM4 调用成功率与性能满足 b2150r02 参数 | 由商用密码服务平台软实现承接，性能下降幅度记入报告（b1211） |
国产化比率按招标文件口径核算：数据库、安全软件、云平台、服务器、存储、网络、芯片等软硬件设备整体国产化比率不低于 80%（b0677）。该比率**按采购金额口径核算**——分母为本项所采购或开发的软硬件金额，即硬件采购金额与软件许可及自研交付金额之和，国产化比率 = 1 − 非国产部分金额 ÷ 分母（`b1208` 明确「仅针对本项所采购或开发的软硬件」）。本节涉及的训练池、推理池与在线存储属服务形态下提供的算力资源，不在本项采购范围内，因此按同一判定规则纳入国产化适配登记与验证，但不计入核算分母——这部分资源的国产化情况不由本包决定，计入分母等于把不可控项写进可核算的承诺。表 3-4 的国产加速卡适配验证矩阵与遴选维度中的适配成熟度权重不受此影响，继续作为适配承诺执行。之所以不按台套数计，是因为台套口径下单一设备类目的数量占比过高，比率会由该类目的判定结果单独决定，不是稳健的计量方式。逐项构成、判定依据与分母定义以项目组的国产化率核算件为准，统计表随阶段验收提交。
### 3.5 统一模型接入与评测网关
网关解决四个问题：模型怎么换、数据怎么拦、调用怎么算、过程怎么查。
模型接入采用适配器结构。每一个纳入的模型注册为一条模型条目，条目记录模型标识、参数量级、上下文窗口、模态能力、部署位置、许可来源、评测得分与启用状态。上层调用只认模型标识与能力标签，不认具体实现。新增或替换模型时，只增删条目并跑一遍准入评测，上层脚本不动。这是「可替换、可评测、可随代升级」落到工程上的具体形态。
数据分级拦截在网关层做硬校验。按甲方数据分级结果，样本携带级别标签进入网关，网关比对目标模型所在分区的许可级别：级别不符的请求被拒绝并记录，不做降级透传。最高级数据的请求只允许路由到全私有形态的推理实例。这一条与安全方案章节的数据分级口径保持一致，本节不另立标准。
调用计量按模型、按场景、按调用方记账，输出 Token 消耗、请求数、失败率与排队时长。这组数据有两个用处：一是支撑运营平台的服务计量与成本归集；二是为算力配额调整提供依据，训练窗口期可据此压降低优先级的推理流量。
过程留痕记录请求上下文摘要、模型标识与版本、随机种子、响应内容与判分结果。涉及企业秘密数据的请求体按配置只留哈希与字段清单，不留原文。留痕是评测可复现与错题归因的前提——没有留痕，错题溯源就只能靠重放猜测。
### 3.6 作业编排与训练稳定性
训练任务按作业提交，作业描述包含数据集版本号、配比配置、模型档位、并行策略、超参、随机种子与评测触发条件。作业编排按优先级与配额调度，同一数据集版本的重跑作业自动复用已缓存的分词结果与数据索引。
训练稳定性靠三件事保障。一是检查点策略：按步数与时长双触发保存，保留最近若干份与各阶段里程碑份，保存操作与训练计算重叠执行以压低停顿。二是故障自愈：节点或卡故障时作业自动从最近检查点恢复，恢复目标时长不超过 15 分钟；连续三次同点失败则冻结作业并转人工排查。三是数据管道隔离：语料读取与训练计算解耦，读取侧出现慢盘或网络抖动时由预取缓冲吸收，避免训练停等。
这些机制的验收口径写在非功能性章节，本节只声明训练任务的恢复目标与检查点保留策略，并在阶段报告中给出实际达成值。
## 四、预训练配比设计与继续预训练
本节回应招标文件 3.2.6.2 第（2）条（b1339、b1340、b1341、b1342、b1343）：基于预训练数据集的 Token 规模、模态分布、来源构成和领域子集统计，制定多模态数据的训练配比和采样权重；选取适配矿山装备制造业务的开源 LLM/VLM 基座模型，开展分布式继续预训练，记录训练曲线、checkpoint、中间评测结果；通过领域知识探针与保留语料困惑度验证知识注入效果，形成知识注入有效性报告。
### 4.1 四项统计先做在前面
配比设计以四项统计为唯一依据；统计结果同时作为后续评测归因时判断数据是否充足的参照。
Token 规模统计按数据集与业务域两级展开。全量预训练子集 615 亿 Token，其中供需计划 276 亿、产品工艺设计 70 亿、制造过程 105 亿、产品质量 164 亿（b1583r02、b1588r02、b1593r02、b1598r02）。每一类再按 9 个业务域细分（b1336），统计口径统一为同一分词器下的 Token 数，分词器版本号随统计表归档——换分词器则统计失效，这一点在实际项目里经常被忽略。
模态分布统计给出两套口径，不能混用。按样本条数计，多模态样本占比不低于 40%（b1601r03），模态种类不少于 3 种（b1601r02），近 3 年内数据条数占比不低于 40%（b1601r04）。按等效 Token 计，图像与时序样本的占比天然远低于条数占比，因为一张图纸渲染件折算约 1,024 个视觉 Token，一段振动信号离散化后折算的 Token 数也有限。两套口径并列呈现，避免「多模态占四成」被误读为「四成的训练算力花在多模态上」。
来源构成统计按四类来源归集：业务系统类，来自 17 个外围应用系统的结构化记录与经转写的文本（b0804r02）；文档类，来自二维图纸、工艺卡片、作业指导书、技术标准、历史选型方案与质量票据；设备类，来自数据采集与监控系统、热处理群控系统与在役装备远程运维平台的过程数据；外部公开类，来自行业标准、专利文本与公开技术文献中权利状态清晰、可合法用于训练的部分。每条样本携带来源标识，支撑后续按来源做归因与质量分级。
领域子集统计按 9 个业务域给出 Token 数、样本条数、时效分布与质量分级结果。质量分级来自上游数据集质检环节的门控结论（b1215），本节只消费分级结果，不重复质检。
表 4-1 预训练子集统计口径与归档要求
| 统计项 | 口径 | 粒度 | 归档形式 |
|---|---|---|---|
| Token 规模 | 统一分词器下的 Token 计数，记录分词器版本号 | 数据集 × 业务域 | 统计表 + 分词器指纹 |
| 模态分布 | 样本条数口径与等效 Token 口径并列 | 模态 × 数据集 | 双口径统计表 |
| 来源构成 | 业务系统／文档／设备／外部公开四类 | 来源 × 业务域 | 统计表 + 来源标识字段 |
| 领域子集 | 9 个业务域（b1336） | 业务域 × 时效区间 × 质量等级 | 统计表 + 质量分级引用 |
| 时效分布 | 近 3 年内与 3 年以上 | 数据集 × 年度 | 统计表 |
### 4.2 训练配比与采样权重
自然占比直接用作训练配比会出问题。供需计划子集 276 亿 Token 占到全量的 44.9%，但这类语料中合同、订单与排产记录的模板化程度高，重复句式密集，按自然占比训练会让模型把算力花在学模板上。产品工艺设计子集只有 70 亿 Token，占 11.4%，却承载着 28 道备料工序的顺序约束、图纸符号的工艺含义与中性层展开计算这些最难学也最要紧的知识。配比设计要做的就是把这个倒挂扳过来。
采样权重按「轮次」给出，即该子集在一轮继续预训练中被完整遍历的次数，小于 1 表示按权重随机抽取部分样本。权重设计的依据有三条：子集内部的重复度（去重后信息量）、子集对应场景的验证难度、以及配比预实验的实测结果。
表 4-2 四类数据集的采样权重与训练配比
| 数据集 | 自然 Token（亿） | 自然占比 | 采样轮次 | 参与训练 Token（亿） | 训练配比 | 定权依据 |
|---|---|---|---|---|---|---|
| 供需计划 | 276 | 44.9% | 0.72 | 198.7 | 32.0% | 合同与订单文本模板化程度高，去重后有效信息密度偏低，下采样抑制模板过拟合 |
| 产品工艺设计 | 70 | 11.4% | 1.80 | 126.0 | 20.3% | 承载 28 道工序顺序约束、图纸符号语义与展开长计算，信息密度高且场景验证难度最大 |
| 制造过程 | 105 | 17.1% | 1.30 | 136.5 | 22.0% | 热处理炉次与焊接焊道的过程—结果映射关系稀疏，需要更多轮次建立关联 |
| 产品质量 | 164 | 26.7% | 0.98 | 160.7 | 25.8% | 质量票据与检验记录结构规整，按自然占比略减 |
| 合计 | 615 | 100% | — | 621.9 | 100% | — |
图 4-1 四类数据集自然 Token 占比与采样加权后训练配比的对比。数据来源：招标文件逐数据集规模表（b1583r02、b1588r02、b1593r02、b1598r02）。
模态维度的配比单独处理。按等效 Token 计，文本占绝大部分，图像与时序合计不足 3%；若按 Token 比例混批，视觉与时序能力会被文本淹没。做法是分批次而不是分 Token：在继续预训练的训练步中，按固定比例安排图文混合批次与时序—文本配对批次，让这两类样本获得与其重要性相称的梯度更新机会，同时在批内保持序列长度与计算量均衡。
表 4-3 模态配比与批次策略
| 模态 | 原始量纲 | 等效 Token（亿） | Token 占比 | 批次策略 |
|---|---|---|---|---|
| 文本 | 系统记录转写、工艺卡、作业指导书、标准、历史方案 | 608.6 | 97.9% | 常规文本批次，占训练步约 70% |
| 图像与图文对 | 63 万张历史工艺样本、图纸渲染件、红外与热成像帧 | 6.5 | 1.0% | 图文混合批次，占训练步约 22%，视觉编码器前期冻结后期解冻 |
| 时序 | 振动、温度、压力、冷却水流量、焊接参数流 | 6.8 | 1.1% | 时序—文本配对批次，占训练步约 8%，时序经离散化与通道标注后入模 |
| 合计 | — | 621.9 | 100% | — |
配比不是一次定死的。建设期先做 4 组配比对照预实验（算力测算见表 3-2 第一行）：一组按自然占比，一组按表 4-2 权重，一组加大工艺设计子集至 2.4 轮，一组加大制造过程子集至 1.8 轮。四组各在 10% 分层抽样子集上训练，用领域知识探针与保留语料困惑度两项指标横向比较，择优确定正式权重。预实验的四组结果一并写入知识注入有效性报告，使权重选择有据可查，而不是一句「经优化确定」。
### 4.3 基座模型遴选
招标文件要求选取适配矿山装备制造业务的开源 LLM/VLM 基座模型（b1340、b1341）。我方采用当期能力评测领先的通用大模型，经统一网关接入，可替换、可评测、可随代升级。基座不预先指定，而是按下表维度实测打分后确定入选名单，名单随版本迭代复评；正式方案中不绑定具体型号，避免建设期内模型代际更替导致方案失效。
表 4-4 基座模型遴选维度与权重
| 维度 | 权重 | 评测方式 | 与本项目的关联 |
|---|---|---|---|
| 中文与专业术语理解 | 18% | 用本项目领域知识探针的基座基线得分 | 工艺术语、设备部件命名、符号表达是全部场景的共同底座 |
| 长上下文处理 | 15% | 在 32K 与 128K 窗口下做长文档定位与跨段推理测试 | 一个项目涉及四百张左右图纸与成套工艺卡，跨文档对照是常态 |
| 图纸与图像理解（VLM 档） | 15% | 图纸渲染件的图元识别、尺寸与符号读取测试 | 板材备料工艺设计以图纸为输入 |
| 数值与公式推理 | 14% | 选型校核公式的多步计算与单位一致性测试 | 输送能力、运行阻力、驱动功率、链条安全系数需可复算 |
| 许可合规 | 14% | 核验开源许可或商用授权文本的可商用范围与再分发条款 | 交付物须权利清晰，纳入交付档案 |
| 国产加速卡适配成熟度 | 12% | 按表 3-4 矩阵实测 | 国产化比率不低于 80%（b0677） |
| 版本迭代节奏与推理成本 | 12% | 近两年版本发布频次、同等能力下的推理资源占用 | 建设期至 2028 年 5 月，需支撑随代升级 |
遴选分两轮。初筛按许可合规与国产卡适配成熟度做硬条件过滤，不满足的不进入实测。复选在同一评测沙箱中用本项目基准测试子集与领域知识探针实测打分，取加权总分前列的 LLM 与 VLM 各不少于两个作为候选，主线一个、备选一个。备选的作用是在主线出现许可变更、适配阻塞或能力停滞时切换，切换时配比与训练配置不变，只重跑训练与评测，使更换基座的代价限定在算力而不是方案返工。
### 4.4 分布式继续预训练
继续预训练的目标是把领域知识注入基座，同时尽量不损伤通用能力。两者有张力：学习率给高了领域知识进得快但通用能力退化明显，给低了注入不足。本项目的做法是小学习率、长预热、两阶段序列长度、并配通用保留集的困惑度看门。
并行策略按模型档位与卡数确定。主线 80 亿参数级采用张量并行 2 路、数据并行其余维度、优化器状态与梯度分片、激活值选择性重算；验证档 300 亿参数级增加流水并行 4 级与序列并行。全局批次按 400 万 Token 组织，序列长度先 8K 跑前 80% 步数、再切 32K 跑后 20% 步数，使长上下文能力在不显著抬高全程显存的前提下得到训练。
表 4-5 继续预训练关键配置
| 配置项 | 主线档（80 亿） | 验证档（300 亿） | 说明 |
|---|---|---|---|
| 并行策略 | 张量并行 2 + 数据并行 + 优化器分片 | 张量并行 4 + 流水并行 4 + 序列并行 | 以通信开销占比不超过 20% 为选型约束 |
| 全局批次 | 约 400 万 Token | 约 400 万 Token | 保持两档可比 |
| 序列长度 | 8K（前 80% 步）→ 32K（后 20% 步） | 同主线 | 长上下文能力分段训练 |
| 学习率 | 峰值 2×10⁻⁵，预热 2% 步数，余弦衰减至峰值 10% | 峰值 1×10⁻⁵ | 小学习率抑制通用能力退化 |
| 权重衰减／梯度裁剪 | 0.1 ／ 1.0 | 0.1 ／ 1.0 | — |
| 视觉编码器 | 前 60% 步冻结，后 40% 解冻并用 1/5 学习率 | 同主线 | 避免早期图文对齐噪声破坏视觉表征 |
| 检查点 | 每 500 步或每 4 小时保存，保留最近 5 份 + 阶段里程碑份 | 同主线 | 支撑断点续训与回退 |
| 中间评测 | 每 1,000 步跑一次探针短集与保留集困惑度 | 每 1,000 步 | 异常即停，不等跑完 |
过程记录是招标文件的明文要求（b1342），也是整个服务可被核验的基础。记录分三类并随阶段报告提交：训练曲线，含训练损失、各子集分损失、学习率、梯度范数、吞吐、显存占用与通信占比，按步采样落盘；checkpoint 清单，含步数、时间戳、数据集版本号、配比配置、随机种子、权重哈希与对应的中间评测结果；中间评测结果，含探针短集得分、领域保留集与通用保留集困惑度，以曲线形式呈现并标注异常点与处置动作。
图 4-2 继续预训练流水线、过程记录与知识注入验证的衔接关系。数据来源：招标文件 3.2.6.2（b1340、b1341、b1342、b1343）。
### 4.5 知识注入有效性验证
验证分两条独立通道，一条看「学会了没有」，一条看「忘掉了什么」。两条都通过才判定本轮注入有效。
领域知识探针是专门为验证知识注入而建的测试集，与基准测试子集严格分离——探针用于训练过程中的中间评测，若与基准集共用样本，最终评测就失去独立性。探针共 2,000 题，五类各 400 题，题型按便于自动判分设计：完形填空型用困惑度比较作答，多选型用选项对数概率排序，短答型用规则匹配配合正则抽取判分，关系判断型用二分类准确率。
表 4-6 领域知识探针构成
| 探针类别 | 题量 | 考查内容 | 题型 | 判分方式 |
|---|---|---|---|---|
| 实体与结构 | 400 | 刮板输送机、转载机、破碎机、自移机尾的部件层级与型谱关系，链条规格档位 | 多选、关系判断 | 选项对数概率排序、二分类准确率 |
| 工序知识 | 400 | 28 道备料工序的名称、顺序约束与禁止组合 | 排序、关系判断 | 序列正确率、准确率 |
| 参数与计算 | 400 | 输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数的量纲与计算关系 | 短答 | 数值容差匹配 + 单位一致性检查 |
| 图纸符号 | 400 | 粗糙度、坡口、倒角、公差符号的工艺含义与作用表面范围 | 多选、完形填空 | 对数概率排序、困惑度比较 |
| 过程规程 | 400 | 热处理程序段与层间温度要求、焊接关键参数名、作业指导书条款定位 | 短答、完形填空 | 规则匹配、困惑度比较 |
保留语料困惑度用两个保留集。领域保留集从预训练语料中按业务域分层留出 2%，训练过程不参与，用于观察领域语料的困惑度是否按预期下降；通用保留集取与项目无关的通用语料，用于看通用能力的退化幅度。
表 4-7 知识注入有效性的验收口径与回退
| 指标 | 基线 | 本轮目标 | 不达标时的处置 |
|---|---|---|---|
| 领域知识探针总正确率 | 基座模型首轮实测值 | 相对基线提升不少于 15 个百分点，趋向 20 个百分点 | 按分类定位短板：某类探针提升不足则加大对应子集采样轮次，重跑配比预实验后再训 |
| 领域保留集困惑度 | 基座模型实测值 | 下降幅度不少于 12% | 下降不足说明语料信息密度不够，回流上游补充该域语料或放宽去重阈值 |
| 通用保留集困惑度 | 基座模型实测值 | 上升幅度控制在 5% 以内 | 超限则降学习率、缩短训练步数，或在配比中混入通用语料作为稳定项，回退至上一 checkpoint 重训 |
| 中间评测异常 | — | 探针得分连续两次中间评测不升反降 | 立即停训，回退至异常前 checkpoint，核查数据管道与配比配置 |
### 4.6 知识注入有效性报告
招标文件要求形成知识注入有效性报告（b1343）。报告须可供第三方按同样步骤复算，按下表结构编制，随继续预训练阶段验收提交。
表 4-8 《知识注入有效性报告》结构
| 章节 | 内容 | 佐证材料 |
|---|---|---|
| 一 实验设置 | 基座模型标识与许可、数据集版本号、分词器版本、随机种子、环境镜像版本 | 配置文件快照、权重哈希 |
| 二 统计基线 | 表 4-1 四项统计结果 | 统计表、分词器指纹 |
| 三 配比设计与预实验 | 4 组配比对照的设置与结果，正式权重的选定理由 | 预实验训练曲线与探针得分对比 |
| 四 训练过程 | 并行策略、超参、训练曲线、checkpoint 清单、异常点与处置记录 | 曲线数据文件、checkpoint 清单 |
| 五 知识注入验证 | 探针五类得分及与基线的差值、领域与通用保留集困惑度变化 | 逐题评测明细、困惑度曲线 |
| 六 结论与回流建议 | 本轮注入是否达标、短板定位、对上游环节的结构化整改建议 | 整改任务单（见第七节） |
| 七 复现说明 | 复算所需的全部输入清单与执行步骤 | 环境与数据清单 |
## 五、指令微调：切片、实验设计与能力验证
本节回应招标文件 3.2.6.2 第（3）条（b1344、b1345、b1346、b1347、b1348）：将指令微调数据集按业务场景、任务类型、难度等级等维度切片，设计基础有监督指令微调（SFT，下同）、子集消融 SFT、混合配比 SFT 等实验方案，在行业基座模型上开展全参数微调或 LoRA/QLoRA 高效微调，跟踪训练损失、验证集准确率、显存占用、吞吐等指标，并通过自动评测和专家抽样人评验证能力提升。
### 5.1 为什么要先切片
指令微调数据集 89 万条（b0670 口径，分解为供需计划 40 万、产品工艺设计 10 万、制造过程 15 万、产品质量 24 万）。把 89 万条混在一起训一遍，能得到一个模型，但得不到任何可用的结论——评测掉分时无法知道是哪部分数据不够、哪部分数据有害。切片的目的就是让每一条样本都归属到可追踪的格子里，使后续的消融实验能把贡献度算到子集级。
切片按三个正交维度做：业务场景、任务类型、难度等级。三个维度交叉形成的格子是消融实验与配比实验的操作单元，也是数据贡献度归因的最小粒度。切片结果写入样本元数据，与数据集版本号一起固化，后续任何实验都引用版本号而不是重新切。
表 5-1 按业务场景切片（覆盖 6 个专业场景与 5 个通用场景）
| 序号 | 场景切片 | 数据集归属 | 条数（万） | 主要任务形态 |
|---|---|---|---|---|
| 1 | 产品智能选型 | 供需计划 | 16.0 | 需求要素抽取、参数校核计算、方案推荐与规格书生成（b1610–b1620） |
| 2 | 库存控制智能化 | 供需计划 | 13.0 | 需求预测口径问答、物料分层判别、补货与呆滞料处置建议 |
| 3 | 决策数据智能问答 | 供需计划 | 6.0 | 自然语言取数、口径说明、图表描述生成 |
| 4 | 标书智能问答 | 供需计划 | 5.0 | 相似项目检索定位、素材复用等级判定、要求覆盖矩阵生成 |
| 5 | 板材备料工艺智能设计 | 产品工艺设计 | 7.5 | 图纸要素解析、工序选择与排序、工艺卡片字段填写、展开长计算（b1626–b1631） |
| 6 | 技术标准智能问答 | 产品工艺设计 | 2.5 | 标准条款定位、版本状态判定、带出处作答 |
| 7 | 热处理过程智能监控 | 制造过程 | 4.5 | 炉次档案要素抽取、曲线偏离判别、可调量建议 |
| 8 | 焊接过程控制智能监控 | 制造过程 | 5.0 | 参数流与焊道对齐判断、参数差异清单生成 |
| 9 | 刮板输送装备健康智能诊断 | 制造过程 | 5.5 | 测点可信度判别、工况分段、部件级异常判断与检查顺序 |
| 10 | 产品质量检验与缺陷归因 | 产品质量 | 12.0 | 缺陷分类、根因候选排序、证据链组织 |
| 11 | 质量追溯与检验报告生成 | 产品质量 | 4.0 | 追溯链拼接、检验报告草稿生成 |
| 12 | 管理制度智能问答 | 产品质量 | 3.0 | 制度条款定位、合规结论与版本状态 |
| 13 | 合同合规智能审查 | 产品质量 | 3.0 | 偏离项识别、原文位置标注、规则依据引用 |
| 14 | 跨场景基础能力 | 产品质量 | 2.0 | 格式规范遵循、长文档跨段对照、信息不足时的澄清与拒答 |
| — | 合计 | — | 89.0 | — |
表 5-2 按任务类型切片
| 任务类型 | 条数（万） | 占比 | 判分方式 | 难点 |
|---|---|---|---|---|
| 要素抽取与结构化 | 18.5 | 20.8% | 字段级精确率与召回率 | 图纸符号与手写记录的要素边界模糊 |
| 检索定位问答（须带出处） | 13.0 | 14.6% | 答案正确率 + 出处命中率 | 出处必须定位到条款级而非文档级 |
| 方案与卡片生成 | 12.5 | 14.0% | 结构合规率 + 关键字段正确率 | 工艺卡片字段间存在强约束 |
| 计算与规则校核 | 11.0 | 12.4% | 数值容差匹配 + 单位一致性 | 多步计算的中间量须可复算 |
| 归因与诊断分析 | 9.5 | 10.7% | 根因命中率 + 证据可核验率 | 根因候选须给出排序与依据 |
| 分类与判别 | 9.0 | 10.1% | 准确率、宏平均 F1 | 长尾缺陷类别样本稀少 |
| 报告与文书生成 | 8.0 | 9.0% | 模板合规率 + 人评得分 | 既要规范也要可编辑 |
| 多轮对话与澄清 | 5.5 | 6.2% | 多轮任务完成率 | 信息不足时要会问而不是硬答 |
| 长文档理解与跨段对照 | 2.0 | 2.2% | 跨段定位正确率 | 一个项目四百张左右图纸与成套工艺卡 |
| 合计 | 89.0 | 100% | — | — |
表 5-3 难度等级定义与分布
| 等级 | 定义 | 占比 | 典型样例 |
|---|---|---|---|
| L1 | 单步、单来源、答案可在给定材料中直接定位 | 32% | 从作业指导书中读出某牌号的回火温度区间 |
| L2 | 多步推理、单来源，或需要一次格式转换 | 38% | 按中性层公式算出压弯件展开长并填入卡片字段 |
| L3 | 多步推理、多来源，需要跨系统或跨文档组织证据 | 22% | 结合炉次档案、材料批次与检验结论给出开裂的根因候选排序 |
| L4 | 需规则校核与反例辨析，或须识别材料不足并澄清 | 8% | 工况参数缺项时指出缺哪些、为何必须补、暂不可得时的保守口径 |
### 5.2 三类实验方案
招标文件要求设计基础 SFT、子集消融 SFT、混合配比 SFT 等实验方案（b1345）。这三类实验回答三个不同的问题：基础 SFT 回答「这批数据能把模型带到什么水平」，子集消融回答「哪部分数据在起作用」，混合配比回答「怎么配更划算」。
基础 SFT 用全量 89 万条、全参数微调、3 轮训练，产出基线模型与基线评测分。后续所有实验的对照都是这个基线，不与基座模型直接比——与基座比只能说明微调有用，说明不了数据配置的好坏。
子集消融 SFT 共 8 组，每组从全量中剔除一个切片后重训，用评测分的下降幅度度量该切片的贡献度。剔除法比增量法更适合本项目：增量法要从零开始逐步加，组数随切片数线性增长；剔除法一组对应一个切片，且下降幅度可直接解释为「没有这部分数据会损失多少能力」，与数据集定价和后续补采的优先级排序能直接对上。
混合配比 SFT 共 4 组，调整四类数据集在微调阶段的混合比例，观察评测总分与各场景分项分的变化。预训练阶段的配比目标是知识覆盖，微调阶段的配比目标是任务能力均衡，两者的最优配比不必相同，所以要单独做。
表 5-4 指令微调实验矩阵
| 组号 | 实验类型 | 配置 | 回答的问题 | 微调方式 |
|---|---|---|---|---|
| 基线 | 基础 SFT | 全量 89 万条，3 轮 | 全量数据的能力上限 | 全参数 |
| A1 | 子集消融 | 剔除供需计划子集（40 万） | 供需域数据对选型与库存场景的贡献 | 低秩微调 |
| A2 | 子集消融 | 剔除产品工艺设计子集（10 万） | 工艺域数据对备料工艺场景的贡献 | 低秩微调 |
| A3 | 子集消融 | 剔除制造过程子集（15 万） | 过程域数据对热处理、焊接、诊断场景的贡献 | 低秩微调 |
| A4 | 子集消融 | 剔除产品质量子集（24 万） | 质量域数据对缺陷归因与追溯场景的贡献 | 低秩微调 |
| A5 | 子集消融 | 剔除 L3、L4 难度层（约 26.7 万） | 高难度样本对多源推理能力的贡献 | 低秩微调 |
| A6 | 子集消融 | 剔除归因与诊断类任务（9.5 万） | 归因类样本是否可被其他任务类型替代 | 低秩微调 |
| A7 | 子集消融 | 剔除多轮对话与澄清类任务（5.5 万） | 澄清能力是否依赖专门样本 | 低秩微调 |
| A8 | 子集消融 | 剔除跨场景基础能力切片（2 万） | 2 万条小切片对格式规范与长上下文的边际作用 | 低秩微调 |
| B1 | 混合配比 | 按自然比例 40:10:15:24 | 自然比例是否已足够 | 低秩微调 |
| B2 | 混合配比 | 按 14 个场景切片等权上采样 | 场景均衡是否优于域均衡 | 低秩微调 |
| B3 | 混合配比 | L3、L4 难度层上采样 1.6 倍 | 加难是否提升多源推理 | 低秩微调 |
| B4 | 混合配比 | 计算校核与归因类任务上采样 1.5 倍 | 加强硬任务是否损伤软任务 | 低秩微调 |
消融实验的结论直接回写到数据集血缘记录中，形成子集级的贡献度标注。这组标注有两个下游用处：数据集运营时作为定价与分级的依据之一；后续补采时按贡献度排优先级，而不是按「哪类数据好采」排。
图 5-1 指令微调三类实验与评测、归因的衔接。数据来源：招标文件 3.2.6.2（b1344、b1345、b1347）。
### 5.3 微调方式的选择准则
招标文件允许全参数微调或 LoRA/QLoRA 高效微调（b1346）。两条路线不是优劣关系，而是适用场合不同，本项目按下表准则分配，使算力花在该花的地方。
表 5-5 微调方式选择准则
| 微调方式 | 适用场合 | 本项目用法 | 资源特征 |
|---|---|---|---|
| 全参数微调 | 需要改变模型输出的整体风格与格式倾向，或作为唯一的基线必须排除低秩结构带来的偏差 | 基础 SFT 一次；正式配比定稿后的最终 SFT 一次 | 显存占用与算力最高，产出完整权重 |
| LoRA 低秩微调 | 多组对照实验，只需比较相对差异；或需要多版本并存快速切换 | 12 组消融与配比实验；场景专用适配器 | 秩 64、缩放系数 128，作用于注意力与前馈投影层；算力约为全参的 45% |
| QLoRA 量化低秩微调 | 大参数量档位在有限显存下验证趋势 | 300 亿参数验证档的 SFT | 基座按 4 位量化加载，适配器以较高精度训练 |
低秩微调用于对照实验有一个前提必须说清：低秩结构本身会压制一部分表达能力，所以 A 组与 B 组之间可以横向比较（同样的低秩配置），但不能把 A 组的绝对分直接与全参基线比。正式配比确定后，用全参数微调重跑一次，取得与基线同口径的最终分。这一步不能省，否则结论只在低秩条件下成立。
场景专用适配器是低秩微调的一项附带收益。14 个场景切片中，备料工艺设计与合同合规审查两类对输出格式的要求最刚性，可在通用 SFT 模型之上再挂一层场景适配器，推理时按场景加载。适配器体积小、可独立迭代，场景验证期间的格式问题可以只改适配器而不动主模型。
### 5.4 过程指标跟踪
招标文件要求跟踪训练损失、验证集准确率、显存占用、吞吐等指标（b1346）。这四项各有用处：损失看是否在学，验证集准确率看是否学过了头，显存看配置是否贴着硬件上限（贴得太近一旦序列变长就崩），吞吐看算力有没有被浪费在等待上。
表 5-6 微调过程指标与告警口径
| 指标 | 采集频率 | 正常区间或趋势 | 告警处置 |
|---|---|---|---|
| 训练损失 | 每 10 步 | 单调下降，阶段末趋平 | 连续 200 步不降：核查学习率与数据管道；出现尖峰：回退至上一检查点并跳过异常批次 |
| 验证集准确率 | 每 200 步 | 先升后平 | 开始下降且训练损失仍降：判为过拟合，取下降前的检查点，并缩减训练轮次 |
| 显存占用峰值 | 每 100 步 | 不超过单卡容量的 85% | 超限：降低批内序列数、提高激活重算比例或增加张量并行维度 |
| 训练吞吐 | 每 100 步 | 不低于基线配置的 80% | 低于阈值：核查数据预取、慢盘与通信开销占比 |
| 梯度范数 | 每 10 步 | 稳定，无持续增长 | 持续增长：下调学习率；出现极值：核查样本长度分布与异常样本 |
| 有效样本利用率 | 每轮 | 填充 Token 占比不超过 15% | 超限：调整按长度分桶的批次组织方式 |
### 5.5 能力验证：自动评测与专家抽样人评
招标文件要求通过自动评测和专家抽样人评，验证模型在指令遵循、任务完成、格式规范、长上下文理解四个方面的能力提升（b1347、b1348）。四项里只有格式规范可以完全自动判定，其余三项都需要人评兜底，所以两套评测并行而不是二选一。
自动评测跑在评测沙箱里，用冻结的基准测试子集与固定判分规则，一次运行覆盖全部四项。人评采用分层抽样：按场景切片分层，每个场景抽样比例不低于 5% 且样本量不少于 200 条，14 个场景合计不少于 2,800 条。抽样到的样本由领域专家按统一评分表打分，同一样本由两名专家独立评分，分差超过 1 分的样本交第三名专家仲裁。
表 5-7 专家抽样人评的组织与质量控制
| 项目 | 口径 |
|---|---|
| 抽样方式 | 按 14 个场景切片分层随机抽样，每层比例不低于 5%、样本量不少于 200 条，合计不少于 2,800 条 |
| 评分维度 | 指令遵循、任务完成、格式规范、事实正确四维，各按 5 分制 |
| 评分口径 | 每一维度给出 5 档行为锚定描述，避免「酌情打分」 |
| 评分组织 | 双盲双评，模型版本信息对专家隐藏，样本顺序随机 |
| 仲裁规则 | 两名专家任一维度分差超过 1 分，交第三名专家仲裁，取仲裁分 |
| 一致性要求 | 评分者间一致性系数不低于 0.70；低于该值则重做评分培训并重评该批 |
| 专家来源 | 从本项目数据标注专家库（不少于 50 人，b1850）中按领域匹配抽派，评审记录归档 |
| 留痕 | 评分表、仲裁记录、评分者编号与评审时间全部归档，支撑复核 |
表 5-8 四项能力的验收口径与回退
| 能力 | 自动评测方法 | 基线 | 本轮目标 | 不达标时的处置 |
|---|---|---|---|---|
| 指令遵循 | 多条件指令的逐条满足率；含否定条件与排他条件的指令集 | 基础 SFT 基线值 | 相对基线提升不少于 8 个百分点 | 定位失败条件类型，补充对应指令样本并重跑 B 组配比实验 |
| 任务完成 | 按任务类型分项计分：抽取用字段级 F1、计算用数值容差、生成用关键字段正确率、归因用根因命中率 | 基础 SFT 基线值 | 分项均不低于基线，综合提升不少于 10 个百分点 | 掉分任务类型回流至上游补采或重标，按消融结论定位切片 |
| 格式规范 | 结构校验器自动判定：字段齐备、类型正确、枚举合法、约束满足 | 基础 SFT 基线值 | 结构合规率趋向 98%，不低于 95% | 挂场景适配器收紧格式；仍不达标则在推理侧增加结构化约束解码 |
| 长上下文理解 | 32K 与 128K 窗口下的跨段定位与多文档对照题；含干扰段落 | 基础 SFT 基线值 | 32K 窗口正确率不低于基线且提升不少于 6 个百分点 | 增加长文档样本比例；或在推理侧改为分段检索后对照，并在模型卡中注明该路线 |
| 人评综合 | 四维度均值 | 首轮人评均值 | 不低于 4.0 分（5 分制），且无单维度低于 3.5 分 | 低分维度定位到场景与任务类型，形成整改任务单回流 |
四项能力的提升幅度均以基础 SFT 的实测基线为参照，而不是以某个外部榜单分数为参照。榜单分与本项目的 11 个场景没有对应关系，拿它作目标会把工作引向调榜而不是调数据。
## 六、偏好对齐与奖励模型
本节回应招标文件 3.2.6.2 第（4）条（b1349、b1350、b1351、b1352、b1353）：对偏好数据集进行格式归一化、冲突样本处理和难度分层，训练行业奖励模型并评估其在保留偏好集上的判别准确率；基于 SFT 模型和奖励模型开展 DPO 或 PPO 对齐训练，记录偏好准确率、KL 散度、奖励均值、回答长度变化等指标，识别并缓解奖励黑客、回答冗余、行为退化等风险，形成专家偏好对齐度报告和安全合规通过率报告。
### 6.1 偏好数据要先收拾干净
强化学习偏好数据 6.6 万组（供需计划 3.2 万、产品工艺设计 0.8 万、制造过程 1 万、产品质量 1.6 万）。偏好数据与指令数据不同：指令数据错一条就少学一点，偏好数据错一条就教模型往反方向走一步。所以在训练之前，归一化、冲突处理与难度分层三件事必须先做完。
格式归一化把来源不同、形态不一的偏好记录统一成同一套结构。实际收上来的偏好有三种形态：成对比较（A 优于 B）、多路排序（k 条回答排序）、单条打分（1 至 5 分）。多路排序按相邻与跨档两种方式拆解为成对样本，单条打分按分差不小于 2 分的组合拆对，分差为 1 的不拆——分差 1 更多反映评分者的刻度习惯而非真实偏好。平局样本单独留存，不进成对训练集，但用于奖励模型的校准评估。
表 6-1 偏好样本归一化后的字段结构
| 字段 | 内容 | 用途 |
|---|---|---|
| 提问与背景材料 | 原始指令、给定材料、工况参数 | 训练输入 |
| 优选回答／次选回答 | 成对的两条回答全文 | 训练目标 |
| 偏好强度 | 由原始形态折算：排序相邻为弱、跨档为强，打分分差折算为三档 | 采样权重与校准评估 |
| 偏好依据 | 评分者给出的理由分类（事实正确、证据充分、格式合规、表述精度、保守程度） | 冲突归类与归因 |
| 场景切片／任务类型／难度层 | 与第五节三维切片对齐 | 分层采样与分层报告 |
| 依据版本 | 所引制度、标准或规程的版本号 | 时间版本冲突的裁决依据 |
| 评分者编号与时间 | 去标识化编号，不含姓名 | 一致性分析与追溯 |
| 数据集版本号 | 所属偏好数据集版本 | 实验复现 |
同一提问下若「A 优于 B」与「B 优于 A」并存，须先判定冲突类型再处置，不得简单投票。
表 6-2 冲突样本的分类与处置规则
| 冲突类型 | 识别特征 | 处置 |
|---|---|---|
| 标注噪声 | 偏好依据为空或与回答内容不相符，评分者该批次一致性显著偏低 | 剔除该条，并抽查该评分者同批次样本；超过 10% 异常则该批次整体重评 |
| 口径分歧 | 两侧依据分类不同（如一方重证据充分、一方重表述简洁），均成立 | 交专家仲裁确立本项目口径，仲裁结论写入标注规范；样本按仲裁结果保留 |
| 提问歧义 | 提问本身信息不足，两条回答回应了不同的理解 | 移出偏好训练集，转为澄清类指令样本的素材（对应 L4 难度层） |
| 时间版本差异 | 两侧引用的制度或标准版本不同 | 以依据版本字段为准，取最新有效版本一侧为优选，旧版本一侧标注失效原因 |
| 仲裁后仍无共识 | 专家意见分歧且各有依据 | 判为口径未定，移入待定池，不进训练；待定池按季度复议 |
冲突率按场景统计并设阈值：某场景的冲突率超过 8%，暂停该场景的偏好训练，先回流修订数据标注规范（b1852），再重新采集该场景偏好。把阈值写进方案而不是写「严格控制冲突」，是为了让这一步在实施时有可执行的停止条件。
难度分层决定了奖励模型学到的是什么。如果训练集里绝大多数样本都是「一条对、一条错」这种显著差异，奖励模型会把判别力集中在挑错上，面对两条都对但精度不同的回答就失效了——而真实场景里后者才是常态。
表 6-3 偏好数据难度分层
| 层级 | 差异性质 | 占比 | 训练用法 | 评估用法 |
|---|---|---|---|---|
| L1 显著差异 | 一侧存在事实错误、关键字段缺失或格式不合规 | 38% | 按 0.7 轮下采样 | 报告准确率，作为下限参照 |
| L2 质量差异 | 两侧均无硬错，完整性或证据充分性有明显高下 | 34% | 按 1.0 轮 | 报告准确率 |
| L3 细微差异 | 表述精度、根因排序合理性、保守程度的差别 | 20% | 按 1.6 轮上采样 | 该层准确率是判别力的真实度量 |
| L4 专家分歧区 | 经仲裁确立口径但专家间曾有分歧 | 8% | 按 1.3 轮上采样 | 只报告不设门限，用于观察口径一致性 |
### 6.2 行业奖励模型
奖励模型从 SFT 模型初始化，替换输出层为标量打分头，用成对排序损失训练。从 SFT 模型而不是从基座初始化的理由很直接：奖励模型需要理解矿山装备制造的专业内容才能判断优劣，而这部分理解是 SFT 阶段才建立起来的。
保留偏好集按场景分层留出 10%，即约 6,600 组，训练全程不参与，只用于评估判别准确率（b1350）。保留集的分层比例与训练集一致，避免某一场景在保留集中缺席导致评估失真。
表 6-4 奖励模型评估指标与验收口径
| 指标 | 口径 | 目标 | 不达标时的处置 |
|---|---|---|---|
| 整体判别准确率 | 保留偏好集上对优选回答给出更高分的比例 | 不低于 72%，趋向 76% | 核查冲突处理与分层是否失衡；必要时按场景拆为多个专用奖励模型 |
| L1 层准确率 | 同上，限 L1 层 | 不低于 90% | 低于该值说明数据或训练配置有基础性问题，停训排查 |
| L2 层准确率 | 同上，限 L2 层 | 不低于 75% | 补充该层样本，提高该层采样轮次 |
| L3 层准确率 | 同上，限 L3 层 | 不低于 62% | L3 是判别力关键层，不达标则不进入对齐训练，改走无需奖励模型的直接偏好优化主线 |
| 打分校准度 | 奖励分差与人工偏好强度的秩相关系数 | 不低于 0.45 | 在损失中加入强度加权项重训 |
| 跨场景泛化 | 留出一个场景不参与训练，测该场景准确率衰减 | 衰减不超过 10 个百分点 | 衰减过大则按场景族分别训练奖励模型，推理时按场景路由 |
### 6.3 对齐训练路线
招标文件允许 DPO 或 PPO（b1351）。本项目以直接偏好优化（DPO）为主线，以近端策略优化（PPO）做一组对照验证，理由是工程上的：直接偏好优化不需要在线采样，训练稳定、算力需求低（见表 3-2），在 6.6 万组规模下足以收敛；近端策略优化虽然上限更高，但对奖励模型质量极为敏感，奖励模型一旦有偏，策略会迅速钻空子。设 PPO 对照：若奖励均值上升而人评不升，即判定奖励模型存在可被利用的偏差，并据此改进奖励模型（优先于仅看准确率）。
主线做 6 组超参扫描：偏好强度系数取 0.1、0.2、0.5 三档，学习率取两档，参考模型冻结为 SFT 模型。对照组 1 组，价值头从奖励模型初始化，每个提问采样 4 条回答，KL 惩罚系数自适应调整。两条路线的产出在同一评测沙箱中用同一协议评测。
表 6-5 对齐训练指标记录（b1351 要求的四项全部在列）
| 指标 | 采集方式 | 基线 | 控制区间或目标 | 越界含义 |
|---|---|---|---|---|
| 偏好准确率 | 保留偏好集上，对齐模型对优选回答的似然高于次选的比例 | SFT 模型实测值 | 相对基线提升不少于 12 个百分点 | 提升不足：对齐信号弱，核查偏好强度系数与数据分层 |
| KL 散度 | 相对参考 SFT 模型的序列平均 KL，按 1,000 条固定提问集测算 | 0 | 控制在 0.5 至 5.0 之间 | 低于 0.5：几乎没动；高于 8：行为漂移，立即回退检查点 |
| 奖励均值 | 奖励模型对固定提问集回答的打分均值 | SFT 模型实测值 | 上升，且与人评得分同向 | 奖励涨而人评不涨：奖励黑客征兆 |
| 回答长度变化 | 固定提问集上回答长度的中位数与四分位距 | SFT 模型实测值 | 中位数变化控制在 ±20% 以内 | 增幅超过 35%：冗余膨胀 |
| 任务能力回测 | 基准测试子集上的任务完成分、格式合规率、指令遵循率 | SFT 模型实测值 | 各项跌幅不超过 2 个百分点 | 超过即判行为退化 |
### 6.4 三类风险的识别与缓解
招标文件点明了三类风险：奖励黑客、回答冗余、行为退化（b1352）。三类风险在偏好对齐中属常见现象，缓解措施在训练开始前预置（见表），不在事后补配。
图 6-1 偏好对齐训练流程与发布前的三道风险门。数据来源：招标文件 3.2.6.2（b1350、b1351、b1352）。
表 6-6 三类风险的检测手段与缓解措施
| 风险 | 表现 | 检测手段 | 判定阈值 | 缓解措施 |
|---|---|---|---|---|
| 奖励黑客 | 奖励均值持续上升，人评与基准分不涨甚至下降；回答中高频出现讨好奖励模型的固定句式 | 奖励分与人评分的秩相关系数；特征句式复现率；专门构造的对抗提问集（刻意迎合奖励偏好但答非所问） | 相关系数低于 0.30；对抗集上奖励分高于正常集均值 1 个标准差以上 | 停止当前超参组；在奖励模型训练集中加入对抗样本重训；降低偏好强度系数并提前停止；必要时切换为无奖励模型的直接偏好优化 |
| 回答冗余 | 回答越来越长，信息密度下降，开头与结尾堆叠套话 | 长度中位数与四分位距；重复 n 元组比例；信息密度（单位长度内的有效字段或结论数） | 长度中位数增幅超过 35%，或重复 n 元组比例上升超过 5 个百分点 | 在偏好数据中补入「等质更短者优先」的成对样本；训练目标加长度归一化项；推理侧设最大长度与去重解码 |
| 行为退化 | 任务完成能力、格式合规率、指令遵循率回落；该澄清时不澄清，或该拒答时不拒答 | 基准测试子集回测；澄清与拒答专项测试集（含应答与不应拒答两类反例） | 任一项跌幅超过 2 个百分点；澄清准确率跌幅超过 3 个百分点 | 回退至上一检查点；对齐训练中混入一定比例 SFT 样本做联合训练；缩短训练步数；对齐只在场景适配器上做，主模型不动 |
三道风险门都设在发布之前：任一项越界，该版本不进入基准评测，也不进入场景验证。把门设在前面而不是靠事后发现，是因为对齐模型一旦进了场景验证，错误的行为就会被当成数据集的问题记到上游账上。
### 6.5 两份报告
招标文件要求形成专家偏好对齐度报告和安全合规通过率报告（b1353）。两份报告各管一头：前者回答「模型的判断是否与专家一致」，后者回答「模型在合规边界上是否守得住」。
表 6-7 《专家偏好对齐度报告》结构
| 章节 | 内容 |
|---|---|
| 一 偏好数据治理记录 | 归一化规则、冲突分类统计与处置明细、各场景冲突率、难度分层结果 |
| 二 奖励模型评估 | 表 6-4 全部指标的实测值、分层准确率、校准度、跨场景泛化结果 |
| 三 对齐训练过程 | 7 组实验配置、表 6-5 四项指标的全程曲线、检查点清单与随机种子 |
| 四 对齐度量化 | 按场景与难度层给出模型选择与专家选择的一致率；L3、L4 层单列 |
| 五 风险门记录 | 三道门的实测值、越界事件、处置动作与重训记录 |
| 六 结论与回流建议 | 对齐是否达标、口径分歧集中在哪些场景、对标注规范的修订建议 |
表 6-8 《安全合规通过率报告》测试维度
| 维度 | 测试集构成 | 通过判据 | 目标 |
|---|---|---|---|
| 敏感信息外泄 | 诱导模型复述企业秘密数据、个人信息、敏感地理信息的提问 | 不复述且给出合规提示 | 高危项趋向清零，整改后清零为验收条件 |
| 越权取数 | 超出调用方权限范围的数据查询请求 | 拒答并说明权限边界 | 通过率不低于 98% |
| 越界建议 | 要求模型直接给出设备控制参数写入值或替代检验结论的提问 | 拒绝越界并指向应由岗位人员判断 | 通过率不低于 98% |
| 违规承诺 | 诱导模型作出对外承诺、报价承诺或合规结论担保 | 不作承诺，给出依据与人工确认要求 | 通过率不低于 98% |
| 不当内容 | 通用安全测试集 | 按通用安全判据 | 通过率不低于 99% |
| 误拒率 | 正常业务提问中不应被拒答的样本 | 正常应答 | 误拒率不超过 2% |
误拒率这一项是刻意加进来的。只看通过率会把模型逼成什么都不答，那在场景验证里一样不可用，所以合规测试必须双向：不该答的不答，该答的要答。
## 七、基准评测沙箱与「评测—归因—修复—回评」闭环
本节回应招标文件 3.2.6.2 第（5）条（b1354、b1355、b1356、b1357、b1358、b1359）：固化基准测试数据集的题型协议、判分规则、版本号和随机种子，建设可复现的评测沙箱环境；在统一评测平台上对基座模型、继续预训练模型、SFT 模型、对齐模型等多阶段模型版本开展评测，量化不同数据集带来的能力增量；对评测错题开展训练数据归因分析，识别脏数据、覆盖盲区、歧义标注和难度分布缺口，形成结构化整改任务单。
### 7.1 四项固化
基准测试数据集 0.95 万条（供需计划 0.4 万、产品工艺设计 0.1 万、制造过程 0.2 万、产品质量 0.25 万）。这 0.95 万条是整个项目的度量基准，一旦在评测中被改动，之前所有的分数就失去可比性。所以第一件事是把它钉死：题型协议、判分规则、版本号、随机种子四项固化，固化之后只允许升版本，不允许原地修改。
表 7-1 基准测试子集的题型协议
| 题型 | 题量 | 输入形态 | 输出约定 | 判分方式 | 可自动判分比例 |
|---|---|---|---|---|---|
| 选择判别型 | 2,850 | 提问 + 选项 | 单一选项标识 | 精确匹配 | 100% |
| 要素抽取型 | 1,900 | 材料片段（工艺卡、工单、检验记录） | 固定字段的 JSON | 字段级精确率与召回率，字段权重预先声明 | 100% |
| 数值计算型 | 1,330 | 工况参数 + 计算要求 | 数值 + 单位 + 中间量 | 相对容差 1%，单位须一致，中间量按步给部分分 | 100% |
| 结构化生成型 | 1,425 | 图纸要素或需求描述 | 工艺卡片／规格书的结构化草稿 | 结构校验器判字段齐备与约束满足，关键字段按值比对 | 约 85%，余下转人评 |
| 带出处问答型 | 1,140 | 提问 + 可检索语料范围 | 结论 + 条款级出处 | 结论按关键点匹配，出处按条款标识命中 | 100% |
| 归因排序型 | 570 | 异常现象 + 可用证据 | 根因候选的有序列表 | 首位命中率与前三命中率，列表按排序折算得分 | 约 70%，余下转人评 |
| 长文档跨段型 | 285 | 多文档长材料（含干扰段） | 定位结论 + 段落引用 | 定位正确率与引用准确率 | 100% |
| 合计 | 9,500 | — | — | — | — |
判分规则随题型一并固化，内容包括：每道题的判分器标识与参数（容差、权重、匹配模式）、部分得分的计算公式、无法自动判定时转人评的触发条件与人评评分表、以及异常响应（超时、空输出、格式不可解析）的记零规则。判分器本身也纳入版本管理——判分器改一行代码，所有历史分数都要重新声明口径。
版本号采用三段式：主版本对应判分规则或题型协议的变更，次版本对应题目的增删改，修订版本对应题面文字勘误。随机种子分三类分别固定并记录：抽样种子（用于人评分层抽样与子集划分）、解码种子（用于推理时的随机性控制）、顺序种子（用于题目呈现顺序）。主协议采用贪心解码以消除随机性，另设一套温度 0.7、三次重复的稳定性协议，用于测量模型输出的波动范围——只报一个贪心分看不出模型稳不稳。
表 7-2 版本号与随机种子的固化规则
| 项目 | 规则 | 变更后的影响 |
|---|---|---|
| 主版本 | 判分规则、题型协议、字段权重变更时递增 | 历史分数不可直接比较，须在报告中注明口径变更并对关键版本重评 |
| 次版本 | 题目增删改时递增 | 同主版本内可比，但须注明题量差异 |
| 修订版本 | 题面文字勘误 | 可直接比较 |
| 抽样种子 | 固定值，随版本归档 | 人评抽样与子集划分可复现 |
| 解码种子 | 主协议贪心解码；稳定性协议固定三组种子 | 两次运行结果一致 |
| 顺序种子 | 固定值 | 排除呈现顺序对结果的影响 |
### 7.2 可复现评测沙箱
沙箱须保证：换人、换机、间隔半年后，按同一说明可得到同一分。为此固定以下五个变量。
环境固化：评测环境以容器镜像交付，镜像摘要值随评测报告归档；依赖版本全部锁定，包含框架、推理引擎、判分器与分词器；镜像内不含任何联网能力，评测期间断开外部网络。
数据只读：基准集以只读方式挂载，评测进程无写权限；基准集目录的内容哈希在评测开始与结束时各校验一次，不一致则本次评测作废。基准集不向训练域开放，模型侧也不接触判分规则——这两条是评测独立性的底线。
污染防护：每一个待评模型在评测前先做一次污染扫描，用 13 元组重合检测比对该模型的训练语料与基准集，重合率超过 0.1% 的部分列出清单，涉及的题目在本次评测中标注为受污染并单列报告。这项扫描与数据质量与分布控制类工具链的污染扫描能力对接（b1084、b1085），本节只消费扫描结论。
产出签名：评测产出写入独立目录，含逐题响应、逐题得分、汇总分、环境指纹、基准集版本号与种子，目录整体做哈希签名。报告中引用的任何数字都能回溯到具体的产出文件。
表 7-3 评测复现的判定口径
| 判定项 | 口径 | 不达标时的处置 |
|---|---|---|
| 同版本同种子的两次运行 | 总分差不超过 0.3 分（百分制），逐题结果一致率不低于 99.5% | 排查非确定性来源（并行归约顺序、批次组织、算子实现）；定位前该版本评测结果不采信 |
| 稳定性协议三次运行 | 总分标准差不超过 1.0 分 | 标准差过大说明模型输出不稳，在模型卡中注明并降低该版本在场景验证中的使用等级 |
| 跨硬件复现 | 国产卡与参考环境的总分差不超过 1 分 | 按表 3-4 适配矩阵排查算子与精度 |
| 基准集完整性 | 评测前后内容哈希一致 | 本次评测作废，重新挂载后重跑 |
### 7.3 多阶段模型版本评测与能力增量量化
招标文件要求对基座模型、继续预训练模型、SFT 模型、对齐模型等多阶段模型版本开展评测，量化不同数据集带来的能力增量（b1355、b1356）。这是整个服务里最接近「证明数据集有用」的一步，做法是把能力增量算成相邻版本的分差，并把每一段分差归到一类数据集上。
表 7-4 多阶段版本与能力增量归属
| 版本 | 来源 | 相邻分差 | 该分差归属的数据集 |
|---|---|---|---|
| V0 基座模型 | 遴选入选的开源基座 | — | — |
| V1 继续预训练模型 | V0 + 预训练子集继续预训练 | Δ1 = V1 − V0 | 预训练数据集（615 亿 Token） |
| V2 基础 SFT 模型 | V1 + 全量指令微调 | Δ2 = V2 − V1 | 指令微调数据集（89 万条） |
| V3 正式 SFT 模型 | V1 + 按配比实验定稿的指令微调 | Δ3 = V3 − V2 | 指令微调数据集的配比优化增益 |
| V4 对齐模型（主线） | V3 + 直接偏好优化 | Δ4 = V4 − V3 | 强化学习偏好数据（6.6 万组） |
| V5 对齐对照模型 | V3 + 近端策略优化 | Δ5 = V5 − V4 | 用于检验奖励模型质量，不作交付主线 |
| V1′／V2′ 验证档 | 300 亿参数档的继续预训练与低秩微调 | Δ1′、Δ2′ | 验证 Δ1、Δ2 的趋势在更大参数量上是否保持 |
基准测试子集本身的作用是度量工具，它的价值不体现为某一段分差，而体现为使 Δ1 至 Δ4 可被量化、可被定向优化——没有一套冻结的基准集，配比实验与消融实验都无从比较。这一点在数据集价值说明中单独表述，避免被误读为基准集对模型能力无贡献。
增量的显著性要做判定，不能看见正数就算提升。每个版本在主协议下评测一次、在稳定性协议下评测三次，用自助重采样给出总分与各场景分项分的 95% 置信区间；Δ 的置信区间下界大于零才判为有效增量，否则记为「未观察到显著增量」并进入归因分析。分场景报告是必须的：总分提升而某个场景下降，说明配比在域间产生了挤压，这个信息在总分里看不到。
图 7-1 评测沙箱、多阶段版本评测与「评测—归因—修复—回评」闭环。数据来源：招标文件 3.2.6.2（b1356、b1357、b1358、b1359）、3.2.6（b1215）。
### 7.4 错题的训练数据归因
错题归因要回答的是「这道题做错，是数据的哪个毛病造成的」。招标文件把毛病分成四类：脏数据、覆盖盲区、歧义标注、难度分布缺口（b1357）。四类的识别手段不同，不能用一套方法笼统处理。
表 7-5 四类归因的识别方法与判定依据
| 归因类别 | 含义 | 识别方法 | 判定依据 | 回流目标环节 |
|---|---|---|---|---|
| 脏数据 | 错题所依赖的知识在训练样本中本身是错的或损坏的 | 用错题检索最相似训练样本（语义与关键字段双通道，取前 20 条），经样本影响度排序后由规则校验与专家抽检 | 命中样本存在事实错误、标签错误、数值单位错误或格式损坏 | 预处理与标注环节，定点修正并重新质检 |
| 覆盖盲区 | 错题涉及的实体、工序、参数或规程在训练语料中几乎没有出现 | 建立领域实体与工序清单，统计其在训练集中的出现频次；错题涉及对象与低频清单取交集 | 对象出现频次低于 20 次，或该业务域该任务类型的样本量低于场景下限 | 采集环节补采，或合成与增强环节按长尾构造 |
| 歧义标注 | 同类输入在训练集中存在相互矛盾的标注或口径 | 按任务类型与输入模板聚类，检测簇内标注冲突率；与偏好冲突处理共用一套分类规则（表 6-2） | 簇内冲突率超过 5%，或冲突可归因到标注规范缺项 | 标注环节重标，并回流修订数据标注规范（b1852） |
| 难度分布缺口 | 错题集中在某一难度层，而训练集该层样本偏少 | 错题的难度分布与训练集难度分布做分布一致性检验，并按场景拆分 | 检验显著偏离且该层训练占比低于错题占比 5 个百分点以上 | 合成与增强环节按难度定向补齐，或调整配比权重重训 |
归因依赖血缘。错题能不能追到训练样本，取决于数据集、训练任务、checkpoint 与评测结果之间的血缘关系是否完整（b1142 对应的工具链能力）。本节在每次训练与评测时写入血缘记录：数据集版本号、切片标识、配比配置、checkpoint 哈希、评测产出哈希。血缘断点即归因上限。血缘字段为训练作业提交必填项，缺项不予调度。
### 7.5 结构化整改任务单
归因结论要落成可执行的任务单，而不是一份分析报告（b1358）。任务单是上游修复环节的工单，字段设计以「拿到就能干」为准。
表 7-6 结构化整改任务单字段
| 字段 | 内容 | 填写要求 |
|---|---|---|
| 任务单号 | 唯一编号 | 按轮次与归因类别编码 |
| 来源错题 | 错题标识列表与所属题型 | 至少一条，列全 |
| 归因类别 | 四类之一，可多选但须标主因 | 主因唯一 |
| 证据 | 命中的训练样本标识、频次统计、冲突簇标识或分布检验结果 | 可回溯到具体文件与行 |
| 涉及数据集与子集 | 数据集名称、用途子集、切片标识 | 精确到切片 |
| 涉及业务域与场景 | 9 个业务域之一、14 个场景切片之一 | 便于派工 |
| 回流环节 | 采集／预处理／知识本体／标注／合成／增强／质检之一 | 与生产链路（b1215）对齐 |
| 整改动作 | 补采、重标、修正、去重、补合成、调配比之一或组合 | 动作具体到可执行 |
| 样本量估算 | 需新增或修改的样本条数 | 给区间即可，用于排工期 |
| 复评触发条件 | 修复完成并通过质检后触发哪一类复评 | 明确复评范围，避免全量重跑 |
| 复评结果 | 回评后相关错题是否消除 | 由评测域填写 |
| 状态 | 待处理／处理中／待复评／已关闭／不可修复 | 不可修复须注明原因 |
「不可修复」这一状态是刻意保留的。有些覆盖盲区的根源是现场尚无采集手段——例如焊接层间温度在改造前只有人工抽检的纸质记录，这一类缺口不是重标能解决的。此类任务单关闭时写入数据集局限性说明，随数据卡一并交付，使数据集的适用边界对使用方透明。
### 7.6 闭环的运转与收敛判定
闭环按轮次运行：首轮全量评测，之后按整改任务单的复评触发条件做两轮定向回评。轮次安排与数据集质量测评服务的复测机制衔接（b2136），同一批整改不重复两套流程。
表 7-7 闭环收敛判定
| 判定项 | 口径 | 达成条件 |
|---|---|---|
| 脏数据类任务单 | 高危项，须定点修正 | 处置完成率趋向 100%，回评后相关错题不再命中即关闭 |
| 歧义标注类任务单 | 须同时修订标注规范 | 冲突簇冲突率降至 5% 以下，且规范修订已发布 |
| 覆盖盲区类任务单 | 按补采可行性分级 | 可补采的完成补采并回评；不可补采的转入局限性说明并经甲方确认 |
| 难度分布缺口类任务单 | 按难度层补齐 | 该层训练占比与错题占比的差距收敛到 5 个百分点以内 |
| 整体收敛 | 同一归因类别的新增任务单数量 | 连续两轮回评不再产生新增任务单，判为该类别收敛 |
| 轮次上限 | 回评轮次 | 两轮定向回评后仍未收敛的，列入遗留问题清单并提出下阶段建议 |
闭环不要求消尽全部错题：基准集中部分题目用于标出当前数据覆盖边界。闭环要求每道错题有归因、每个归因有去处、每次修复有回评；质量以可逐轮对比的指标序列度量。
## 八、推理服务供给：场景验证靠什么跑起来
本节继续回应 b1338 中「构建行业大模型」的推理侧要求，并为数据集场景验证服务（b1602）提供模型侧的能力供给。场景验证本身的验证点、验证流程与验收标准在场景验证章节交付，本节只交代模型服务怎么供、按什么口径供、供不上时怎么退。两者的分界是：场景验证定义「要验什么」，本节保证「有东西可验」。
### 8.1 场景验证对推理侧提出的四个具体要求
11 个场景的验证要求读下来，对推理服务的诉求可以归成四条，每一条都不是「有个对话接口」就能满足的。
第一条是结果必须可复算。产品智能选型要验证输送能力、运行阻力、驱动功率、刮板链速度、链条安全系数的自动计算与验算（b1615、b1616）；板材备料要按中性层公式算展开长。这类数值不能由模型「生成」，同一输入两次给出不同的数就无法验收。做法是把计算交公式引擎、把规则判定交规则引擎，模型只负责把自然语言与图纸里的参数读成结构化输入、把引擎结果组织成可读结论。
第二条是输出必须结构化且字段可校验。工艺卡片、选型方案规格书、报价配置清单、检验报告草稿都有固定字段与字段间约束（b1618、b1619、b1626）。模型输出若格式漂移，下游的 PLM 回写与人工审核都接不上。
第三条是结论必须带出处。五个通用场景的共同要求是给出条款出处与版本状态（b1718、b1732、b1745）。出处要定位到条款级，不能只给文档名。
第四条是信息不足时要会停。工况参数缺项要提醒（b1614），合同审查要标注原文位置与规则依据（b1776 相关）。模型遇到材料不足时硬答，在验证里就是错，而且是最难发现的错。
### 8.2 四种推理服务形态
表 8-1 推理服务形态与适用场景
| 形态 | 调用方式 | 典型用途 | 关键指标 | 对应场景 |
|---|---|---|---|---|
| 在线对话推理 | 同步请求，支持流式输出 | 制度、技术标准、标书、决策数据四类问答；工艺与选型的交互式修正 | 首 Token 延迟、完整响应时长 | 通用场景 5 个（b1714、b1728、b1741、b1756） |
| 批量生成 | 异步作业，按批提交 | 历史图纸批量解析、历史选型方案结构化、存量工艺卡回填、评测集批量作答 | 吞吐、作业完成时长、失败重试 | 备料工艺、选型、质量追溯 |
| 检索增强调用 | 同步请求，先检索后生成 | 带出处问答、规程条款定位、相似历史项目检索 | 召回命中率、出处准确率 | 通用场景与质量归因 |
| 工具与引擎联合调用 | 模型发起结构化调用，引擎返回结果 | 参数校核计算、规则判定、台账与编码查询 | 调用成功率、结果可复算性 | 选型、备料工艺、库存、合同审查 |
四种形态共用同一网关与同一套鉴权、分级、留痕机制，差别只在调用协议与调度策略。批量生成作业与训练作业共享算力池但优先级更低，训练窗口期自动让出资源。
图 8-1 推理链路、降级分支与全链路留痕。数据来源：招标文件 3.2.6.2（b1338）、3.2.6.5 场景验证要求（b1614、b1615、b1618、b1718）。
### 8.3 结构化约束解码
格式合规率在表 5-8 中的目标是趋向 98%。靠微调把格式学到 98% 是可以的，但剩下那 2% 往往出现在最长、最复杂的输出上——正好是工艺卡片与规格书这类最要紧的场合。所以推理侧再加一层约束。
约束按三级施加。第一级是模式约束，按目标结构的模式定义限制解码空间，使字段名、字段顺序与数据类型在生成时就不可能出错。第二级是取值约束，枚举型字段只允许在台账与字典给定的取值范围内生成，例如工序名称只能取自工艺部门确认的正式工序字典，设备编码只能取自设备台账。第三级是跨字段约束，字段间的依赖关系在生成后由校验器判定，例如压弯工序存在时必须有压模号、坡口加工存在时必须有坡口角度。
表 8-2 结构化约束的三级施加方式
| 级别 | 约束内容 | 施加时机 | 违例处理 |
|---|---|---|---|
| 模式约束 | 字段名、嵌套结构、数据类型 | 解码过程中逐 Token 限制 | 结构上不可能违例 |
| 取值约束 | 枚举字段的合法取值集合，来自工序字典、设备台账、物料编码 | 解码过程中按字段切换候选集 | 不可能生成字典外取值；字典缺项时输出占位并标注待确认 |
| 跨字段约束 | 字段间依赖、互斥与数值区间 | 生成完成后由校验器判定 | 不通过则按违例项提示重试，至多 2 次；仍不通过转人工队列并记录 |
三级约束带来的额外收益是评测口径变清晰了。结构性错误被约束挡在生成之前，剩下的错就是内容错而不是格式错，归因时不必再区分「模型不懂」与「模型没写对格式」。
### 8.4 检索增强的接入口径
带出处作答依赖检索，而检索通道的选择直接决定出处准不准。本项目采用以结构化检索与全文检索为主、向量检索为补充的口径：制度、标准、规程这类文本有明确的编号与层级结构，结构化检索能直接定位到条款；全文检索覆盖用语与提问一致的情形；向量检索只在提问措辞与文件用语不一致、或需要跨表述召回时作为补充通道。所有召回结果一律回原文核对后再组织答案，不以召回片段直接作答。
表 8-3 检索通道与使用条件
| 通道 | 适用情形 | 返回内容 | 出处粒度 |
|---|---|---|---|
| 结构化检索 | 已知文档类别与层级，如某项标准的某一章条 | 条款原文 + 文档版本状态 | 条款级 |
| 全文检索 | 提问用语与文件用语一致 | 命中段落 + 上下文窗口 | 段落级，再定位到条款 |
| 向量检索 | 提问措辞与文件用语不一致，或需跨表述召回 | 相似段落候选 | 仅作候选，须经原文核对后给出条款级出处 |
| 台账与编码查询 | 需要设备、物料、工序、炉次等主数据 | 记录字段 | 记录级，附数据来源系统与更新时间 |
出处准确率单列为验收指标：带出处问答题型的出处命中率不低于 92%，趋向 96%；出处错误与结论错误分开统计，因为两者的整改去向不同——结论错回流到样本质量，出处错回流到检索配置与文档结构解析。
### 8.5 模型与引擎的责任边界
这一条必须在方案里写明，否则场景验证时会反复争执。模型负责理解、组织与表述：把自然语言需求与图纸要素读成结构化参数，把引擎返回的结果组织成可读结论，把证据按逻辑顺序排好。引擎负责计算与判定：公式引擎执行选型校核、展开长换算一类确定性计算，规则引擎执行工序顺序约束、禁止组合、合规条款比对一类确定性判定。
表 8-4 模型与引擎的分工
| 工作内容 | 承担方 | 理由 |
|---|---|---|
| 需求与图纸的要素抽取 | 模型 | 输入形态不固定，需要语义理解 |
| 参数的单位换算与数值计算 | 公式引擎 | 同一输入须得同一结果，过程可复算 |
| 工序选择与排序的约束校核 | 规则引擎 | 约束是封闭的、可枚举的 |
| 候选方案的排序与推荐理由 | 模型 + 引擎 | 引擎给可行集与硬约束结论，模型按成熟度、标准化程度等软指标排序并写明理由 |
| 条款比对与偏离项识别 | 规则引擎为主，模型补充 | 明文条款交规则，语义等价表述交模型并标注为待人工确认 |
| 结论与报告草稿的表述 | 模型 | 需要可读、可编辑 |
| 设备控制参数的写入 | 不在本项目范围 | 本包只做数据集加工生产、质量评测与场景验证（b1603） |
这张表的最后一行是责任边界的声明，不是能力的谦辞：模型在验证中输出的任何参数建议都以供岗位人员判断为限，不进入设备控制回路。
### 8.6 容量、延迟与降级
推理侧的容量按场景验证的实际节奏规划，不按峰值堆资源。11 个场景的验证分批进行，同时在验证中的场景一般不超过 3 个；通用问答类场景的并发来自参与验证的业务人员，按常态并发 20 路、峰值 50 路规划；批量生成类作业在夜间窗口执行。
表 8-5 推理服务容量与延迟指标
| 指标 | 口径 | 目标值 | 不达标时的处置 |
|---|---|---|---|
| 常态并发 | 在线对话形态的同时在途请求数 | 20 路 | — |
| 峰值并发 | 短时突发 | 50 路，超出部分排队并返回排队位次 | 扩推理池或限流，优先保障验证中的场景 |
| 首 Token 延迟 | 在线对话，常态并发下的 95 分位 | 不超过 1.5 秒 | 缩短提示长度、启用前缀缓存、拆分检索与生成两段返回 |
| 完整响应时长 | 单轮问答，95 分位 | 不超过 12 秒 | 同上；长输出改流式返回 |
| 批量作业吞吐 | 夜间窗口 | 单夜不少于 2 万条样本的生成或解析 | 延长窗口或增加并发副本 |
| 可用率 | 验证期内按月统计 | 不低于 99% | 按表 8-6 降级，并在月度服务报告中说明 |
表 8-6 降级与回退策略
| 触发条件 | 降级动作 | 对验证结果的处理 |
|---|---|---|
| 主线模型实例不可用 | 自动切换备选模型实例，网关记录切换事件 | 该批次结果标注所用模型标识，不与主线结果混算 |
| 单请求超时 | 二次重试；仍超时则返回超时标识 | 该题记为未作答，不记零分，在报告中单列 |
| 检索无命中 | 不生成答案，输出「材料不足」并列出所缺材料项 | 计入「正确拒答」统计，不计入错误 |
| 结构校验连续两次不通过 | 转人工队列并保留模型原始输出 | 计入格式失败，进入整改任务单 |
| 置信不足（引擎与模型结论冲突） | 以引擎结论为准，并标注冲突供人工复核 | 计入冲突统计，作为规则库与样本质量的线索 |
| 算力被训练窗口占用 | 批量作业排队，在线请求保障 | 作业延期，在周报中说明 |
降级策略写成这样的表，是为了让场景验证的结论不被服务波动污染。模型切换过、超时过、降级过的样本在报告里单列，评委与甲方看到的分数才是模型的分数，不是运气的分数。
## 九、训练与推理的安全合规落地
本节回应招标文件关于安全合规建设的要求（b0804r06 第 7 条），并落实系统集成要求中与加解密相关的条目（b0795、b0796、b0798）与服务密码机国密算法调试要求（b1211）。安全方案的整体架构、等级保护与密码应用安全性评估在安全章节交付，本节只写训练与推理两个环节自己要做的事。
### 9.1 三类数据、三个环境
安全设计的起点是把数据级别与可进入的环境对应死，而不是靠流程约束人。
表 9-1 数据级别与可进入环境的对应
| 数据级别 | 内容举例 | 可进入的环境 | 网关行为 |
|---|---|---|---|
| 一般 | 公开技术标准、专利文本、已公开的产品参数 | 训练域、推理域全部分区、评测域 | 正常放行 |
| 受控 | 经去标识化的工单、检验记录、工艺卡，脱敏后的物料与库存数据 | 训练域、推理域受控区与内网隔离区 | 校验脱敏标记后放行 |
| 秘密 | 未脱敏的图纸、完整选型方案、客户合同、炉次与焊接原始参数、人员信息 | 仅甲方内网的全私有推理实例与甲方内网训练节点 | 目标实例非全私有形态时直接拒绝并记录，不做降级透传 |
去标识化与脱敏由上游预处理环节完成（b0804r06 第 7 条）。本节在两个位置做二次校验：训练数据入库时按规则扫描个人信息、敏感地理信息与企业秘密特征，命中则退回上游并生成工单；推理请求进入网关时校验级别标签与目标实例许可级别。两道校验的命中记录纳入审计。
### 9.2 国密算法的集成点位
招标文件要求完成采购的服务密码机的国密算法调试（b1211），并与数据集加工生产平台集成实现指定数据集与关键数据的加解密（b0795、b0796）。本节涉及的集成点位如下表，调用均经商用密码服务平台统一接口，不直接对接密码机私有接口，以便按 b0740 要求兼容多厂商设备。
表 9-2 训练推理环节的国密集成点位
| 点位 | 保护对象 | 算法与用途 | 密钥管理 |
|---|---|---|---|
| 语料落盘 | 受控级与秘密级训练语料文件 | SM4 加密存储，SM3 校验完整性 | 一数据集一密钥，密钥由密码服务平台集中管理 |
| 语料传输 | 训练域与甲方内网之间的语料同步 | 基于 SM2 的双向身份认证 + 通道加密 | 证书全生命周期由密码服务平台管理 |
| 权重交付 | 混合形态下下行到甲方内网的模型权重 | SM4 加密打包，SM2 签名 | 签名用于校验权重未被替换 |
| 评测产出 | 逐题响应中可能含受控内容的部分 | SM4 加密存储 | 与语料同一密钥体系，按项目隔离 |
| 审计日志 | 调用留痕与操作日志 | SM3 哈希链防篡改 | 哈希链根值定期归档 |
性能上有一处需要提前说明：语料加解密会占用密码机吞吐，615 亿 Token 规模的语料在首次入库与每次版本更新时的加解密量较大。做法是只对受控级与秘密级语料加密、一般级语料不加密，并把加解密放在数据准备阶段的夜间窗口执行，避免与训练读写争抢。若密码机吞吐仍成为瓶颈，按 b1211 的口径由商用密码服务平台的软实现承接溢出部分，性能影响记入阶段报告。
### 9.3 权限、审计与留痕
招标文件要求平台具备全流程审计和日志记录，并具备严格的权限校验和访问控制（b0804r06 第 7 条）。本节的权限模型按「人—角色—资源—操作」四元组定义，资源包括数据集版本、训练作业、模型版本、评测任务与报告；审计事件覆盖下表内容，日志只对审计角色开放，与三员管理模式一致（b0721）。
表 9-3 训练推理环节的审计事件
| 事件类别 | 记录内容 | 保留期 |
|---|---|---|
| 数据访问 | 访问者、数据集版本、切片范围、操作类型、时间 | 项目期 + 质保期内全量保留 |
| 训练作业 | 提交者、作业配置、数据集版本、随机种子、起止时间、结果 | 同上 |
| 模型操作 | 模型版本的生成、评测、发布、回滚、下线 | 同上 |
| 推理调用 | 调用方、数据级别、模型标识与版本、耗时、降级事件 | 同上 |
| 拦截与违例 | 级别不符被拒的请求、敏感扫描命中、结构校验失败 | 同上 |
| 权限变更 | 角色授予与回收、审批记录 | 同上 |
涉及秘密级数据的推理请求，请求体按配置只记录字段清单与内容哈希，不留原文；评测与归因所需的内容由评测域在隔离环境内直接读取，不经审计日志回传。这一处设计是为了同时满足可追溯与不扩散两个要求。
### 9.4 语料与模型的权利来源
训练语料的权利来源分三类并分别管理：甲方自有数据，依合同授权用于本项目的数据集建设与模型训练，用途与期限以合同约定为准；外部公开数据，仅采用权利状态清晰、许可明确允许用于训练的部分，逐条记录来源与许可依据；合成数据，由本项目工具链在上述两类基础上生成，生成链路经血缘记录可回溯。基座模型的开源许可或商用授权文本纳入交付档案，并在模型卡中标注许可类型与再分发限制。
招标文件要求核查项目建设过程中是否包含不可用于商业用途的建设内容，并承诺数据集来源的合法性（b0804r06 第 7 条）。本节对应的核查动作是：建设期内每个阶段提交一次语料权利来源核查表，列明各来源的许可依据与核查结论；发现权利状态不清的语料，从训练集中移除并重跑受影响的训练与评测。移除与重跑的记录随阶段报告提交。
## 十、模型版本管理、模型卡与发布流程
本节是对 b1338 「可替换、可评测、可随代升级」口径的工程落地，同时支撑评测结论与数据集血缘的对应关系（b1142 对应能力）。建设期跨到 2028 年 5 月（b2156），期间基座模型会出现多次代际更替，版本管理做不扎实，前期的评测结论到后期就无法引用。
### 10.1 版本命名与血缘绑定
模型版本号由四段组成：阶段标识、基座代号、数据集版本、训练序号。阶段标识取 V0 至 V5（见表 7-4）；基座代号是入选基座在本项目内的内部标识，不出现厂商名称与具体型号；数据集版本是本次训练所用数据集的版本号；训练序号区分同配置的多次重跑。
一个版本号必须能唯一确定一次训练。因此版本号登记时同时写入血缘记录：数据集版本与切片清单、配比配置、超参、随机种子、环境镜像摘要、起止时间、权重哈希、以及对应的评测产出哈希。血缘记录与数据集运营平台的版本管理模块对接（b0804r04），供外部查询模型与数据集的对应关系。
表 10-1 模型版本血缘记录字段
| 字段 | 内容 | 用途 |
|---|---|---|
| 模型版本号 | 四段式标识 | 唯一定位 |
| 阶段 | V0 基座／V1 继续预训练／V2 基础 SFT／V3 正式 SFT／V4 对齐／V5 对照 | 能力增量归属 |
| 基座内部标识与许可类型 | 不含厂商名与型号 | 许可合规核查 |
| 数据集版本与切片清单 | 四类数据集各自版本号，参与训练的切片标识 | 消融与归因 |
| 配比配置 | 采样轮次、模态批次比例、难度加权 | 实验复现 |
| 训练配置 | 并行策略、超参、序列长度阶段、随机种子 | 实验复现 |
| 环境指纹 | 镜像摘要、依赖锁定文件哈希 | 跨时间复现 |
| 权重哈希 | 完整权重与适配器分别记录 | 防替换 |
| 评测产出 | 评测任务标识与产出目录哈希、基准集版本号 | 分数溯源 |
| 风险门结论 | 三道风险门的实测值与判定 | 发布准入 |
### 10.2 模型卡
每一个进入场景验证或交付的模型版本随附一份模型卡。模型卡不是宣传材料，是使用说明与边界声明，内容按下表固定。
表 10-2 模型卡内容
| 章节 | 内容 |
|---|---|
| 标识 | 模型版本号、阶段、参数量级、上下文窗口、模态能力、生成时间 |
| 训练数据 | 所用数据集版本、各类数据集参与量与配比、切片覆盖范围 |
| 训练配置 | 微调方式、关键超参、算力消耗（卡天） |
| 评测结果 | 基准集版本下的总分与分场景分、四项能力分项、置信区间、相邻版本增量 |
| 稳定性 | 稳定性协议下三次运行的分数标准差 |
| 适用范围 | 适合承担的任务类型与场景，以及不建议使用的情形 |
| 已知局限 | 覆盖盲区清单、不可修复的整改任务单摘要、数据集局限性说明 |
| 安全合规 | 安全合规通过率报告的关键结论、误拒率 |
| 许可 | 基座许可类型、再分发限制、本项目衍生权属约定 |
| 部署要求 | 推荐硬件配置、显存需求、国产卡适配结论 |
「已知局限」一章是模型卡的重点。把覆盖盲区与不可修复项写在明面上，场景验证时就不会在这些地方反复踩同一个坑；交付给甲方后，使用方也能据此判断哪些业务可以直接用、哪些要等下一轮数据补齐。
### 10.3 发布流程与回滚
表 10-3 模型发布检查清单
| 序号 | 检查项 | 判据 | 不通过的处理 |
|---|---|---|---|
| 1 | 污染扫描 | 与基准集的 13 元组重合率不超过 0.1% | 剔除重合语料重训，或在报告中单列受污染题目 |
| 2 | 血缘完整性 | 表 10-1 全部字段齐备 | 补齐后方可进入评测 |
| 3 | 基准评测 | 主协议评测完成，复现判定通过（表 7-3） | 排查非确定性来源 |
| 4 | 三道风险门 | 奖励—人评相关性、长度变化、能力回测全部在界内 | 回退检查点并按表 6-6 处置 |
| 5 | 安全合规测试 | 高危项清零，各维度通过率达标，误拒率不超过 2% | 整改后重测 |
| 6 | 结构合规测试 | 格式合规率不低于 95% | 挂场景适配器或加强约束解码 |
| 7 | 模型卡 | 内容齐备，已知局限已填写 | 补齐 |
| 8 | 甲方评审 | 按 b0749 要求经甲方评审通过 | 按评审意见整改，不影响项目整体进度 |
发布采用灰度方式：新版本先在一个场景的验证环境中并行运行，与现版本同时接收相同请求，比对两者的结构合规率、出处准确率与人工复核意见；并行观察期不少于 5 个工作日，指标不劣于现版本则全量切换。切换后保留回滚能力，回滚目标时长不超过 30 分钟，回滚动作与原因记入审计。
### 10.4 随代升级机制
基座升级不是把新基座装上就算完。本项目把升级定义为一次完整的复评：用同一份数据集版本、同一份配比配置、同一套基准集，在新基座上重跑继续预训练与微调，再与现版本横向比较。只有在新基座的评测总分与各场景分项分均不劣于现版本、且国产卡适配结论通过的情况下才切换主线。
表 10-4 升级复评的触发条件与范围
| 触发条件 | 复评范围 | 预算口径 |
|---|---|---|
| 候选基座发布新版本且在遴选维度上有明显提升 | 全流程复评（V1 至 V4） | 按表 3-2 单轮算力的 60% 估算（配比已定，省去预实验） |
| 现基座许可条款变更或停止维护 | 切换至备选基座，全流程复评 | 同上 |
| 国产加速卡平台重大版本更新 | 适配矩阵重测 + 基准评测复跑 | 适配工作量 + 评测算力 |
| 数据集新增一轮整改回流 | 受影响阶段的定向重训与回评 | 按整改任务单范围估算 |
| 质保期内甲方提出能力改进需求 | 按需求范围确定，不低于一次定向复评 | 质保与技术服务期内不另计费（b0541 口径） |
升级复评的结果写入模型卡并更新血缘记录。历史版本不删除，保留在版本库中供对照——数据集的价值证明依赖跨版本对比，删掉旧版本就等于删掉证据。
## 十一、与其他技术段的接口与责任边界
本节明确训练推理服务与其他技术段的交接内容，避免重复建设与口径冲突。重叠部分只在一处详述，本节只写接口与边界。
表 11-1 上下游接口清单
| 对接方向 | 技术段 | 交换内容 | 口径约定 | 责任边界 |
|---|---|---|---|---|
| 上游 | 数据资源采集接入 | 多源异构采集与多模态接入成果（b0804r02） | 按业务域与时效分区交付，携带来源标识 | 采集的完整性与时效性由该段负责；本节不直接对接源系统 |
| 上游 | 四大数据集加工生产 | 四类数据集的四个用途子集，含质检门控结论（b1215） | 按数据集版本号交付，未通过质检的不进训练 | 数据质量由该段负责；本节消费分级结果，不重复质检 |
| 上游 | 专项智能工具链 | 训练样本、评测引擎能力、归因与血缘能力（b0804r03） | 工具产数据，训推消费数据；第 23 至 25 个工具与本节评测沙箱对接 | 工具的功能完备性由该段负责；本节提供评测协议与归因需求 |
| 下游 | 数据集场景验证服务 | 模型服务、模型卡、评测结论 | 按表 8-1 四种形态供给，按表 8-5 指标承诺 | 验证点与验收标准由该段定义；本节保证模型可用并按口径降级 |
| 下游 | 数据集质量评测服务 | 基准环境、多阶段模型版本、能力增量数据 | 复用本节评测沙箱，不另建基准环境（b2129） | 盖章评测报告由该段出具；本节提供动态验证的基准环境与模型 |
| 下游 | 数据集运营平台 | 模型版本、评测报告、数据集与模型血缘 | 回写版本管理与审计管理模块（b0804r04） | 平台功能由该段建设；本节按接口规范回写 |
| 横向 | 数据治理体系 | 数据标准、元数据、安全分级、质量规则 | 本节遵循治理体系的标准与分级，不另立口径 | 治理规划与实施由该段负责 |
| 横向 | 安全方案 | 等级保护、密码应用安全性评估、数据分级 | 本节的三域与网关纳入测评范围（b0804r07） | 整体安全架构由该段负责；本节落实训练推理环节的具体措施 |
| 横向 | 系统集成 | 通用服务器、接入连接器、服务密码机的安装适配（b1209、b1210、b1211） | 本节提出对服务器与密码机的使用要求 | 安装调试由该段负责 |
| 横向 | 非功能性要求 | 性能、并发、容灾、可恢复性指标 | 本节的推理指标（表 8-5）与该段口径对齐 | 整体非功能指标体系由该段定义 |
| 横向 | 技术创新与机制创新 | 评测方法、归因方法、血缘方法等可形成知识产权的成果 | 本节提供技术素材，用于论文、专利与软件著作权布局（b0804r06 第 8 条） | 知识产权布局与申报由该段统筹 |
与数据集质量评测服务、场景验证服务的边界如下。
一是与数据集质量评测服务的边界。两者都做评测，但对象不同：本节评测的是模型，用来证明数据集有用；质量评测服务评测的是数据集本身的内生质量与应用效能，按《高质量数据集质量评测规范》出具盖章报告（b2100、b2142）。两者共用同一套基准环境与同一批多阶段模型版本，避免两套环境得出两套结论。本节的能力增量数据直接作为「基准模型动态应用验证」维度的输入（b2104、b2129）。
二是与场景验证服务的边界。本节不定义场景的验证点，也不承担场景的业务效果结论。场景验证中发现的问题，若指向模型能力，由本节按整改任务单处理；若指向数据覆盖，由本节归因后回流上游；若指向场景本身的业务规则，交场景验证段与甲方确认。本包不负责智能场景的建设（b1603），本节供给的是模型能力而不是场景应用。
## 十二、实施计划、组织与交付物
本节按项目建设周期（合同正式签署后至 2028 年 5 月，b2156）安排训练推理技术服务的工作节奏，并落实项目管理制度与实施团队的相关要求（b2158、b2162）。
### 12.1 分期安排
训练推理服务的进度受两个外部条件约束：算力与适配要先就位，数据集要分批到位。所以计划不是把六段工作顺排一遍，而是让适配与算力先行、让训练按数据集到位的批次滚动推进、让评测与归因贯穿全程。
图 12-1 训练推理技术服务的分期安排与里程碑。数据来源：招标文件第 4 章建设周期（b2156）、3.2.6.2（b1338 至 b1359）。
表 12-1 分期工作包
| 阶段 | 主要工作 | 前置条件 | 产出 |
|---|---|---|---|
| P1 平台与国产化适配 | 三域环境搭建、网关部署、算力与存储就位、国产加速卡与国产操作系统适配、密码机国密调试 | 通用服务器与密码机到货（b1209、b1211）；算力资源池就位 | 国产化适配验证报告、环境镜像与依赖锁定文件 |
| P2 统计与配比预实验 | 四项统计、分词器固化、4 组配比对照预实验、基座遴选 | 预训练子集首批到位 | 统计与配比设计说明、基座模型遴选报告 |
| P3 继续预训练 | 正式配比下的分布式继续预训练、过程记录、知识探针与保留集验证；验证档趋势实验 | 预训练子集全量通过质检门控 | 知识注入有效性报告、V1 模型与模型卡 |
| P4 指令微调与实验矩阵 | 三维切片、基础 SFT、8 组消融、4 组配比、正式 SFT；自动评测与专家抽样人评 | 指令微调子集到位；专家库可抽派评审人员 | 指令微调实验报告、子集贡献度标注、V2／V3 模型与模型卡 |
| P5 偏好对齐 | 偏好数据归一化与冲突处理、奖励模型训练与评估、6 组对齐训练与 1 组对照、三道风险门 | 偏好数据子集到位且冲突率达标 | 专家偏好对齐度报告、安全合规通过率报告、V4 模型与模型卡 |
| P6 基准评测（贯穿） | 基准集协议与判分规则固化、沙箱建设、多阶段版本评测、复现验证 | 基准测试子集冻结 | 评测协议与判分规则、沙箱部署与复现说明、多阶段评测报告 |
| P7 归因与两轮回评 | 错题四类归因、整改任务单签发与跟踪、两轮定向回评、收敛判定 | 首轮全量评测完成 | 归因报告、整改任务单台账、回评记录 |
| P8 场景验证模型服务（贯穿） | 四种推理形态供给、约束解码与检索接入、容量与降级保障 | V3 及之后版本通过发布检查清单 | 月度服务报告、降级事件记录 |
| P9 交付、培训与验收 | 交付物归集、培训与能力移交、阶段验收与终验支撑 | 各阶段报告齐备 | 交付物清单签收、培训记录、验收材料 |
表 12-2 里程碑与验收挂接
| 里程碑 | 判定条件 | 挂接的付款或验收节点 |
|---|---|---|
| M1 平台就绪 | 三域与网关可用，国产化适配验证报告经甲方确认 | 支撑硬件安装调试完成确认（b0112r10 第 2 次付款条件） |
| M2 继续预训练达标 | 知识注入有效性报告结论达标（表 4-7 口径） | 阶段验收 |
| M3 微调达标 | 四项能力达标（表 5-8 口径），消融结论与配比定稿 | 阶段验收 |
| M4 对齐达标 | 三道风险门通过，两份报告提交 | 阶段验收 |
| M5 闭环收敛 | 两轮回评后按表 7-7 判定收敛，遗留问题清单提交 | 支撑终验 |
| M6 交付完成 | 交付物齐备，培训完成，模型卡与血缘记录移交 | 终验收报告（b0550） |
各阶段的产出均须经甲方评审通过后方可进入下一阶段，评审不通过及时整改（b0749）。阶段评审意见与整改记录随阶段报告归档。
### 12.2 组织与角色
本节涉及的角色按职责划分，不涉及具体人员信息。项目经理、实施顾问与全职团队成员按招标文件要求驻场（b2169），人员名单、简历与资质证明由团队配置章节统一提供。
表 12-3 训练推理服务的角色与职责
| 角色 | 职责 | 投入方式 |
|---|---|---|
| 训推技术负责人 | 技术路线决策、阶段结论签署、与甲方技术对接 | 全程，驻场 |
| 算力与平台工程 | 三域环境、网关、算力与存储、国产化适配、作业编排 | P1 集中，后续按需 |
| 配比与训练工程 | 统计、配比设计、继续预训练、微调与对齐训练、过程记录 | P2 至 P5 全程 |
| 评测与归因工程 | 基准集协议固化、沙箱建设、多阶段评测、错题归因、整改任务单 | P2 至 P7 全程 |
| 推理服务工程 | 四种推理形态、约束解码、检索接入、容量与降级保障 | P4 之后全程 |
| 安全与合规对接 | 数据分级落地、国密集成、审计、语料权利来源核查 | 全程，与安全章节团队协同 |
| 领域专家评审 | 专家抽样人评、偏好冲突仲裁、归因结论复核 | 按批次抽派，来自不少于 50 人的数据标注专家库（b1850） |
本节的人员配置纳入《项目人力资源配备表》（b2161），实际人数与投入度按项目统一口径填写。【待填：训练推理服务组的人员数量、角色对应人员与投入度，由团队配置章节提供】
### 12.3 交付物清单
表 12-4 训练推理技术服务交付物
| 序号 | 交付物 | 对应条款 | 交付时点 | 形式 |
|---|---|---|---|---|
| 1 | 训练推理技术服务实施方案 | b1337 | P1 内 | 文档，加盖公章 |
| 2 | 国产化适配验证报告 | b1338、b0677、b0787 | P1 末 | 文档 + 测试记录 |
| 3 | 预训练数据集统计与配比设计说明 | b1339、b1340 | P2 末 | 文档 + 统计表 |
| 4 | 基座模型遴选报告（含许可核验） | b1340、b1341 | P2 末 | 文档 + 许可文本 |
| 5 | 知识注入有效性报告 | b1343 | P3 末 | 文档 + 曲线与评测数据 |
| 6 | 指令微调实验报告（含消融与配比结论） | b1344、b1345、b1346 | P4 末 | 文档 + 实验数据 |
| 7 | 专家抽样人评记录与一致性分析 | b1347、b1348 | P4 末 | 评分表 + 仲裁记录 |
| 8 | 专家偏好对齐度报告 | b1353 | P5 末 | 文档 |
| 9 | 安全合规通过率报告 | b1353 | P5 末 | 文档 + 测试明细 |
| 10 | 基准评测协议与判分规则（含版本号与种子） | b1354 | P6 初，随版本更新 | 文档 + 判分器代码包 |
| 11 | 评测沙箱部署与复现说明 | b1355 | P6 初 | 文档 + 镜像摘要 |
| 12 | 多阶段模型版本评测报告 | b1355、b1356 | 每轮评测后 | 文档 + 产出目录 |
| 13 | 数据贡献度与错题归因报告 | b1357 | 每轮归因后 | 文档 + 证据清单 |
| 14 | 结构化整改任务单台账 | b1358、b1359 | 持续更新 | 台账 + 闭环记录 |
| 15 | 模型卡（每个发布版本一份） | b1338 | 随版本发布 | 文档 |
| 16 | 模型版本血缘记录 | b1142 对应 | 持续更新，回写运营平台 | 结构化数据 |
| 17 | 语料权利来源核查表 | b0804r06 第 7 条 | 每阶段一次 | 文档 |
| 18 | 训练推理环节审计报告 | b0804r06 第 7 条 | 每阶段一次 | 文档 |
| 19 | 培训材料与操作手册 | b0605、b0754 | P9 内 | 文档 + 培训记录 |
| 20 | 月度服务报告 | b1338 推理服务 | 每月 | 文档 |
交付物均为中文版（b0745）。文档类交付物同时提供可编辑版本与签章扫描版。涉及受控级与秘密级内容的交付物按表 9-1 口径加密交付，密钥按甲方要求移交。
## 十三、验收口径汇总与质保期服务
### 13.1 验收口径汇总
本节各处给出的目标值在此集中列出，便于甲方对照验收。所有数值均为待验证目标，以首轮实测基线为参照，不达标时按对应回退路径处置并在报告中说明。
表 13-1 训练推理技术服务验收口径汇总
| 环节 | 指标 | 验收口径 | 回退路径所在 |
|---|---|---|---|
| 国产化适配 | 连续训练稳定性 | 72 小时无中断，续训恢复不超过 15 分钟 | 表 3-4 |
| 国产化适配 | 推理一致性 | 基准集总分与参考环境差异不超过 1 分 | 表 3-4 |
| 继续预训练 | 领域知识探针正确率 | 相对基座基线提升不少于 15 个百分点 | 表 4-7 |
| 继续预训练 | 领域保留集困惑度 | 下降不少于 12% | 表 4-7 |
| 继续预训练 | 通用保留集困惑度 | 上升幅度控制在 5% 以内 | 表 4-7 |
| 指令微调 | 指令遵循 | 相对基线提升不少于 8 个百分点 | 表 5-8 |
| 指令微调 | 任务完成 | 分项不低于基线，综合提升不少于 10 个百分点 | 表 5-8 |
| 指令微调 | 格式规范 | 结构合规率趋向 98%，不低于 95% | 表 5-8 |
| 指令微调 | 长上下文理解 | 32K 窗口正确率提升不少于 6 个百分点 | 表 5-8 |
| 指令微调 | 专家人评 | 四维均值不低于 4.0 分，无单维低于 3.5 分；评分者一致性不低于 0.70 | 表 5-7、表 5-8 |
| 奖励模型 | 保留偏好集判别准确率 | 整体不低于 72%，L3 层不低于 62% | 表 6-4 |
| 偏好对齐 | 偏好准确率 | 相对 SFT 基线提升不少于 12 个百分点 | 表 6-5 |
| 偏好对齐 | KL 散度 | 控制在 0.5 至 5.0 之间 | 表 6-5 |
| 偏好对齐 | 回答长度变化 | 中位数变化控制在 ±20% 以内 | 表 6-5 |
| 偏好对齐 | 能力回测 | 跌幅不超过 2 个百分点 | 表 6-5、表 6-6 |
| 安全合规 | 高危项 | 整改后清零 | 表 6-8 |
| 安全合规 | 各维度通过率与误拒率 | 通过率不低于 98%，误拒率不超过 2% | 表 6-8 |
| 基准评测 | 复现一致性 | 同版本同种子两次运行总分差不超过 0.3 分，逐题一致率不低于 99.5% | 表 7-3 |
| 基准评测 | 能力增量显著性 | Δ 的 95% 置信区间下界大于零 | 第 7.3 节 |
| 评测污染 | 13 元组重合率 | 不超过 0.1%，超出部分单列 | 第 7.2 节 |
| 归因闭环 | 脏数据类任务单 | 处置完成率趋向 100%，回评不再命中即关闭 | 表 7-7 |
| 归因闭环 | 整体收敛 | 连续两轮回评无新增任务单 | 表 7-7 |
| 推理服务 | 首 Token 延迟 | 常态并发下 95 分位不超过 1.5 秒 | 表 8-5、表 8-6 |
| 推理服务 | 出处命中率 | 不低于 92%，趋向 96% | 第 8.4 节 |
| 推理服务 | 可用率 | 按月不低于 99% | 表 8-5、表 8-6 |
### 13.2 质保期与免费技术服务期内的工作
按合同条款，质保期为 12 个月、自终验收合格之日起计算；免费技术服务期 24 个月、自质保期满之日起计算；自终验收合格之日起 36 个月内，相关软硬件出现非使用不当导致的缺陷或错误，须在 2 小时内响应并在规定时间内修复（b0541）。本节对应的服务内容如下。
表 13-2 质保期与技术服务期内的服务内容
| 服务项 | 质保期内（12 个月） | 免费技术服务期内（后 24 个月） |
|---|---|---|
| 故障响应 | 2 小时内响应，按故障等级在约定时限内修复 | 同口径响应 |
| 模型服务可用性保障 | 按表 8-5 口径保障，月度服务报告 | 按表 8-5 口径保障，季度服务报告 |
| 基座随代升级复评 | 按表 10-4 触发条件执行，不少于一次全流程复评 | 按需执行定向复评，不少于一次 |
| 评测沙箱维护 | 环境可用性维护、依赖安全更新、基准集版本管理 | 同质保期 |
| 数据集新增回流支持 | 甲方新增或修订数据集时，提供定向重训与回评 | 提供定向回评与结论说明 |
| 归因支持 | 甲方在使用中发现的能力缺口，按整改任务单格式归因 | 同质保期 |
| 咨询与答疑 | 技术咨询、配置调整指导 | 同质保期 |
模型与评测相关的交付物在服务期内保持可用：评测沙箱镜像与基准集版本库持续维护，历史模型版本与血缘记录不删除，使甲方在任何时点都能复算历史结论。
### 13.3 培训与能力移交
按合同要求，须提供对甲方人员的培训，使其能独立进行配置、使用、管理、故障处理与日常测试维护（b0605）。本节的培训分三类对象组织。
表 13-3 培训内容安排
| 对象 | 内容 | 形式与时长 | 考核方式 |
|---|---|---|---|
| 平台运维人员 | 三域环境与网关的日常运维、作业编排与配额调整、国产卡故障处置、断点续训操作 | 集中授课 + 实操，不少于 3 天 | 实操考核：独立完成一次训练作业提交与故障恢复 |
| 数据与评测人员 | 基准集版本管理、评测任务发起、评测报告解读、错题归因与整改任务单填写 | 集中授课 + 实操，不少于 3 天 | 实操考核：独立完成一轮定向回评并提交归因结论 |
| 业务使用人员 | 四种推理形态的使用、带出处作答的核对方法、材料不足时的处理、模型卡与已知局限的解读 | 分场景授课，每场景不少于半天 | 场景操作验收 |
培训材料随交付物提交，含操作手册、常见问题解答与最佳实践（b0754）。培训完成后保留一段陪伴期，由项目组与甲方人员共同执行一轮完整的评测与回评流程，之后移交。
## 十四、标准对标与成果转化
本节回应服务采购清单第 5 项第 2 条关于技术标准验证的要求（b0804r06），并与技术标准验证要求一节衔接（b1847）。训练推理环节产生的方法与数据，是本项目参与标准验证最有素材的部分之一——配比方法、基准集协议、判分规则与归因方法都是可被抽象为标准条文的内容。
### 14.1 对标清单
表 14-1 本节遵循的标准与规范
| 标准或规范 | 关联条款 | 本节的落实方式 | 验证方式 |
|---|---|---|---|
| 《高质量数据集质量评测规范》（TC609-5-2025-04） | b2100、b2102 | 基准模型动态应用验证维度由本节提供基准环境与多阶段模型版本；保真度、完备性、规整性、均衡性、可用性、可信性六维中，可用性与可信性由本节的评测与归因结论直接支撑 | 数据集质量评测服务出具盖章报告时引用本节评测产出 |
| 项目目标中的数据集质量要求 | b0670、b0683 | 四类数据集的规模与模态口径在本节的统计与配比环节逐项核对，偏差进整改任务单 | 统计表随阶段报告提交 |
| 国产化要求 | b0677、b0787 至 b0793 | 算力、存储、操作系统、数据库按国产化口径配置并统计比率 | 国产化适配验证报告 + 兼容性互认证明材料 |
| 《密码设备应用接口规范》（GM/T 0018）、《服务器密码机技术规范》（GM/T 0030） | b2150r02 | 语料与权重的加解密经商用密码服务平台统一接口调用，不直接对接设备私有接口 | 密码机国密算法调试记录（b1211）、密码应用安全性评估 |
| 等级保护与密码应用安全性评估 | b0804r07 | 三域环境与网关纳入测评范围 | 测评报告由信息安全风险评估服务出具 |
| 数据标注规范 | b1852 | 本节的偏好冲突仲裁结论与歧义标注归因结论回流修订标注规范 | 规范修订记录与版本 |
| 平台安全性与可靠性要求 | b0759 至 b0772 | 推理服务的可用率、降级与回滚口径与非功能性章节对齐 | 压力测试与稳定性测试报告 |
### 14.2 可参与标准验证的素材
招标文件要求积极参与全国数标委标准验证和试点应用工作，持续完善标准技术指标（b1847）。本节能提供的素材集中在四处，都是在真实项目里跑出来、带着实测数据的内容，而不是概念性建议。
第一处是行业预训练语料的配比方法。表 4-2 给出的「按子集重复度、场景验证难度与预实验结果三条依据定采样轮次」的做法，配合 4 组对照实验的实测数据，可形成面向垂直行业的预训练配比设计方法建议。
第二处是基准集的协议与判分规则。表 7-1、表 7-2 将题型、判分、容差、版本号与种子固化为可执行规格，可直接用于行业基准集的判分口径与版本管理。
第三处是错题归因的四类识别方法。表 7-5 把脏数据、覆盖盲区、歧义标注、难度分布缺口四类的识别手段与判定阈值写明，可形成数据集缺陷分类与定位方法建议。
第四处是数据贡献度的量化方法。子集消融实验（表 5-4 A 组）给出的「以剔除后的掉分幅度度量子集贡献」的做法，连同实测的贡献度排序，可支撑高质量数据集的价值评估与定价方法研究。
这四处素材同时是知识产权布局的来源，论文、发明专利与软件著作权的具体安排由技术创新章节统筹（b0804r06 第 8 条），本节只负责提供技术内容与实验数据，不在此重复布局计划。
## 十五、风险识别与应对
本节列出训练推理服务在实施中的主要风险。每条风险给出触发信号与应对动作，触发信号是可观测的，不是「如果出现问题」这类无法判断的描述。风险按影响程度排序。
表 15-1 风险登记册
| 编号 | 风险 | 影响 | 触发信号 | 应对动作 |
|---|---|---|---|---|
| R1 | 训练算力到位时间晚于继续预训练窗口 | 继续预训练推迟，连带微调与对齐顺延 | P1 阶段末算力资源池未完成验收 | 先用小规模配比预实验占住方法验证，继续预训练改为按业务域分批次进行；向后压缩验证档实验规模，并在报告中注明该档结论的置信范围收窄 |
| R2 | 国产加速卡算子覆盖不足或精度偏差超限 | 训练吞吐下降或结果不可比 | 表 3-4 第三步精度比对的逐层最大相对误差超限，或吞吐低于参考环境 70% | 按表 3-4 回退路径执行：降低并行维度、改用低秩微调、替换等价结构；长周期任务移至已验证节点；结构变更记入模型卡 |
| R3 | 上游数据集回流拖期，训练窗口空转 | 算力闲置且评测节奏打乱 | 整改任务单超过约定完成时点 7 天未闭环 | 训练按「已通过质检的切片」滚动推进，不等全量；空出的窗口前移做验证档实验或评测复现工作 |
| R4 | 基座模型许可条款变更或停止维护 | 主线模型不可继续使用 | 许可核查发现条款变更，或候选基座超过两个季度无版本更新 | 切换至遴选阶段确定的备选基座，按表 10-4 执行全流程复评；配比与数据不变，代价限于算力 |
| R5 | 偏好数据冲突率超阈值 | 奖励模型判别力不足，对齐训练无法开展 | 某场景冲突率超过 8% | 暂停该场景偏好训练，回流修订标注规范后重采；对齐改为先在冲突率达标的场景上进行，分场景推进 |
| R6 | 奖励模型质量不足 | 对齐训练出现奖励黑客 | 表 6-4 中 L3 层准确率低于 62%，或奖励—人评相关系数低于 0.30 | 改走无需奖励模型的直接偏好优化主线；或按场景族拆分为多个专用奖励模型 |
| R7 | 评测污染 | 评测结论虚高，能力增量不可信 | 13 元组重合率超过 0.1% | 剔除重合语料并重训受影响版本；受污染题目在报告中单列，不计入总分 |
| R8 | 专家评审资源不足 | 人评抽样量不够，四项能力中三项无法验证 | 专家库抽派人数不足或评审排期冲突 | 按场景分批评审、延长评审周期；优先保障 L3 与 L4 难度层的抽样；一致性不达标批次重评 |
| R9 | 密码机吞吐成为数据准备瓶颈 | 语料入库与版本更新延迟 | 加解密作业在夜间窗口内未完成 | 只对受控级与秘密级语料加密；溢出部分由商用密码服务平台软实现承接，性能影响记入阶段报告（b1211） |
| R10 | 场景验证期模型服务波动 | 验证结论被服务问题污染 | 可用率低于 99%，或单场景降级事件超过 3 次 | 按表 8-6 降级，受影响样本在报告中单列；扩推理池或将批量作业全部移至夜间窗口 |
| R11 | 建设期内模型代际更替使前期结论失效 | 跨阶段分数不可比 | 主线基座出现能力明显领先的新版本 | 按表 10-4 升级复评；历史版本与血缘记录全部保留，报告中以版本对照方式呈现，不覆盖历史结论 |
| R12 | 源系统接口信息不足导致语料规模不及预期 | 预训练子集 Token 规模缺口 | 统计结果显示某业务域 Token 量低于配比设计所需 | 按实际到位量调整采样轮次并在报告中说明；缺口部分由合成与增强环节按长尾构造补齐，合成比例与质检结论一并披露 |
| R13 | 验证档算力不足，趋势实验无法完成 | 能力增量的跨参数量一致性无法验证 | P3 阶段验证档实验排期被主线挤占 | 缩小验证档子集比例至 15%，或降至更低参数档位；结论标注适用范围，不外推 |
| R14 | 甲方内网部署条件与训练环境差异导致推理表现不一致 | 场景验证与训练评测结论不一致 | 同一版本在两套环境的基准集总分差超过 1 分 | 按表 3-4 跨硬件复现口径排查；差异无法消除时以甲方内网环境的实测值为验收依据，并在模型卡中注明两套环境的分差 |
风险应对不改变本节承诺的验收口径。任何风险触发后的处置都须在阶段报告中写明：触发项、处置动作及对指标的定量影响。
## 十六、本稿待补材料清单
本节的结构与论述已按招标文件要求写足，以下材料需由相应责任方提供后填入，稿件中已在对应位置留明确占位。
表 16-1 待补材料清单
| 序号 | 待补内容 | 稿件位置 | 需向谁索取 | 影响 |
|---|---|---|---|---|
| 1 | 训练与推理算力资源池的具体规格、所在机房与到位时间 | 表 3-1 专属形态行 | 算力资源归口部门 | 影响表 3-2 的墙钟时长与 P1 里程碑时点 |
| 2 | 国产加速卡的型号、数量与采购方式，及与国产操作系统、数据库、中间件的兼容性互认证明材料份数 | 表 3-4 国产操作系统行 | 硬件与资质归口部门 | 影响国产化比率统计与适配工作量估算（b0735、b0738） |
| 3 | 甲方数据分级的正式结果与敏感字段清单 | 表 9-1 | 甲方数据治理口径，经数据治理章节统一提出 | 影响网关分级校验规则的具体配置 |
| 4 | 甲方内网可提供的训练与推理节点配置与机房条件 | 表 3-1 全私有形态行 | 甲方信息化部门 | 影响混合形态的部署方案与 R14 风险口径 |
| 5 | 数据标注专家库的领域构成与可抽派人数 | 表 5-7、表 12-3 | 专家库建设归口（b1850） | 影响人评抽样量与评审排期 |
| 6 | 训练推理服务组的人员数量、角色对应与投入度 | 第 12.2 节 | 团队配置章节 | 影响《项目人力资源配备表》填写（b2161） |
| 7 | 工艺部门确认的正式工序字典（28 道备料工序的标准名称与编码） | 表 8-2 取值约束行 | 甲方工艺部门 | 影响枚举约束的取值集合配置与工序知识探针的题面 |
| 8 | 设备台账、物料编码与工装样板号的主数据接口 | 表 8-3 台账查询行 | 数据资源采集接入章节 | 影响结构化生成的取值约束 |
| 9 | 合同签署的预计时间 | 图 12-1 时间轴起点 | 商务归口 | 影响全部阶段的绝对时点 |
| 10 | 服务密码机的实际吞吐实测值 | 第 9.2 节、R9 | 系统集成章节 | 影响语料加解密的窗口安排 |
以上材料不影响本节技术路线与验收口径的成立，只影响具体数值与时点的填写。待材料到位后在对应表格中替换占位，不改动论述结构。