负责人 何建力　·　状态 定稿　·　覆盖 70 个标书单元　·　 批注 5

数据构建类专项智能工具链（思维链 · 长上下文与检索增强 · 多轮对话）

数据构建类工具链交付八个工具，分属思维链构建、长上下文数据构建（含检索增强）、多轮对话数据构建三类，对应招标文件 3.2.3.2 至 3.2.3.4 三节（b0919—b0988）。每个工具交付的内容为：功能设计、输入字段与输出结构、参数与约束、处理流程、运行接口、异常码与回退、运行日志、人工复核点、验收用例，以及在本项目真实业务对象上的端到端作业样例与失败对照。

四大数据集的规模目标是预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条。这个量级不可能靠人工撰写堆出来，也不可能靠把现有文档简单切块凑出来。宁夏天地奔牛实业集团有限公司（以下简称甲方）的数据起点是一个很具体的局面：生产业务数据留存完整，历史图纸约 63 万张且每张历史上都配有一份已审核签发的工艺卡片，设备过程参数长期保存，服务工单与运维报警逐条在库；但这些资料的形态是事务记录，不是训练样本。

工艺卡片记录了"这张图最终走了哪几道工序"，没有记录"为什么这样排"；故障工单记录了"换了哪个件"，没有记录"从哪条线索判断到这个件"；技术手册是一本几百页的 PDF，模型要的是带章节上下文、带页码出处、长度落在窗口内的样本。

把事务记录变成训练样本，中间要补三类能力：思维链补推理过程，长上下文补结构与出处，多轮对话补交互轮次与业务闭环。这三类分别由思维链构建类、长上下文数据构建类、多轮对话数据构建类三类工具链承担。这三类的产出互不重叠，在数据集结构上各有归属：长上下文样本主要供预训练与检索增强训练，思维链样本与对话样本主要供指令微调与偏好数据，三类产出的质量评价样本共同构成基准测试集的主体。

取数来源限于已入湖、已登记来源、已完成格式归一与敏感信息初筛的清洗后语料与结构化业务记录，由数据采集与预处理环节交付。各类来源的取数前置条件逐项列于表 2-2、表 2-24、表 2-45；前置条件未落实的来源不进入生产队列，其缺口在数据卡中按来源分列统计。凡涉及甲方源系统现状的判断，均为我方前期调研所了解的情况，以蓝图设计阶段的勘察复核结论为准，勘察结论与此不一致时按勘察结论调整取数通道与排期。

三项技术规则在本章各处一体适用。其一，九类 25 个专项智能工具链的交付总览以专项智能工具链总述一节为准。其二，通用接口规范、血缘追溯与工具链验收要求以质量与验证类工具链一节末的通用要求为准，本章八个工具按其规定实现接口、血缘字段与质量报告格式。其三，训练与推理的服务形态、算力适配与模型接入网关以行业大模型训练推理技术服务相关章节为准；本章产出训练与评测数据，训练推理服务消费这些数据。

1、本组工具链的位置、责任边界与交付构成

八个工具链在数据加工主线上处于预处理环节之后、数据集入库之前，分属招标文件 3.2.3.2 至 3.2.3.4 三节所列的三类工具链，统一部署在天地奔牛煤机装备数据智能平台（以下简称奔牛数据智能平台）内。

1.1 在数据加工主线中的位置与责任边界

本组工具链的上游是数据采集与预处理（见数据加工生产环节相关章节）：源系统接入、格式归一、清洗去噪、敏感信息初筛在那里完成，本组拿到的是已入湖、已登记来源的清洗后语料与结构化业务记录。本组工具链的下游是数据集运营与训练推理服务：本组按统一样本规范输出，经质检与审核后入数据集库，由训练推理服务按版本取用。我方在本章范围内不负责模型训练、不负责推理服务部署，也不负责智能场景建设。本包交付的是数据集加工生产、质量评测与场景验证。

图 2-1　数据构建类工具链在加工主线中的位置与数据流向

图 2-1　数据构建类工具链在加工主线中的位置与数据流向。数据来源：招标文件第五章 3.2.3.1 智能工具链交付清单（b0917）、3.2.3.2–3.2.3.4 节；数据集规模口径取自招标文件逐数据集规模表。

1.2 八个工具链的交付构成

本章交付的八个工具链及其与招标文件条目的对应关系如表 2-1。每个工具链按同一组交付项给出：现场问题与能力定位、功能设计、输入字段与输出结构、参数与约束、处理流程、运行接口、验收口径。异常码与回退动作随各工具的「任务创建入参契约、调用样例与异常回退」小节给出，运行日志、人工复核点与验收用例八个工具统一列于第 7 节，三个跨工具的端到端作业样例列于第 6 节。

表 2-1　本章交付的八个工具链与招标文件条目对应关系

八个工具链由我方统一设计、开发与交付，部署在奔牛数据智能平台平台内，对外以统一的任务接口暴露，涉及大模型调用的环节一律经平台统一模型网关接入。网关侧采用当期能力评测领先的通用大模型，可替换、可评测、可随代升级，样本上只记录模型标识与版本号，不绑定具体型号，模型换代时存量样本的血缘记录保持可追溯。

2、思维链构建类工具链（3.2.3.2）

2.1 甲方的现场问题与本类工具链的能力定位

现场缺口。 甲方业务记录多半只留下结论，很少留下判断过程。典型如：

• 工艺判断：备料工艺人员读多视图图纸，要识别牌号、板厚、轮廓、孔与方孔、坡口与倒角、压弯线与粗糙度等，再在分厂封闭的 28 道工序中选型排序并校核依赖与禁止条件；工艺卡片上通常只有工序号、设备编码、工装样板号、材料定额，「孔为何排在压弯前」「为何须先退火」等判断未落盘。
• 故障分析：远程运维报警多、故障标签少，报警与真实故障缺少可核对证据链，维修事实多在纸面工单，「从哪条线索判到哪个部件」的路径未结构化。
• 质量归因 / 安全合规 / 知识推理：检验结论与不合格处置、制度条款适用、选型与参数校核等，同样常见「有结论、缺步骤、缺依据定位」。

五类任务共同缺口是可训练、可评测的推理轨迹：结果多在系统里，过程多在资深人员经验里。

能力定位。 本类工具链不声称把专家脑中过程原样拷贝出来，而是在成对事实约束下，建设一条可验收的推理样本生产线：

1. 以成对事实为锚——如图纸与工艺卡、报警段与维修结论、检验记录与不合格品处置票、制度条款与适用结论；锚必须来自甲方真实业务，不由模型编造。
2. 由模型生成候选推理过程——在锚与已检索背景材料上补出步骤、答案与依据引用（工具 1）。
3. 由标注人员与领域专家修订——步骤级增删改与仲裁，使过程符合本企业规程与现场口径（工具 2）。
4. 用一致性与事实匹配筛选——筛掉编造、违规或站不住的路径；优选路径进指令微调，合格负样本可进偏好数据。

因此，思维链样本是把「有结果、无过程」的业务记录补成可训练对象的主要路径。可信性依赖三件事同时成立：锚真实、过程经专家修订或复核、筛选判据可核对。

本类交付的是推理样本及其质量与版本记录；不承担模型训练部署，也不替代业务部门做工艺或故障结论裁决。工具 1 与工具 2 的功能、接口与验收见后文各节。

2.2 可处理的数据与产出物

招标文件列明本类工具链须能够处理行业知识片段、工艺规程、设备手册、故障案例、质量检验记录、安全制度、专家题库、业务场景模板、提示词模板等数据，生成思维链训练样本等数据（b0921）。各类输入在甲方的落点、取数依赖与对应的推理样本类型如表 2-2。

表 2-2　思维链构建类工具链的输入数据、取数依赖与产出样本类型

产出侧统一为一种样本结构（见 2.3.4 节的字段定义），按推理样本类型打标签分流：工艺判断类与质量问题归因类主要进入产品工艺设计、制造过程、质量三个数据域的指令微调集，故障分析类进入制造过程与质量域，知识推理与安全合规判断类覆盖四个数据域。同一问题的多条推理路径经自一致性筛选后，优选路径进指令微调集，被淘汰但仍可读的路径与优选路径配对后进偏好数据集。这是偏好数据 6.6 万组的主要来源之一，不另设生产线。

2.3 大模型自生成思维链工具链（3.2.3.2.1）

2.3.1 思维链提示词模板体系与版本治理

招标文件要求支持按业务场景、任务类型、难度等级、输出格式和推理深度配置思维链提示词模板，并支持模板版本管理、变量注入、批量渲染、灰度发布和回滚（b0923）（b0924）。

模板是本工具链的核心可配置资产，也是样本质量的主要变量。工具链把模板拆成五个配置维度与一组可注入变量，模板本体只写推理结构与输出约束，业务事实一律通过变量注入，这样同一套模板可以在四个数据域之间复用，换域只换变量源。五个维度的取值口径如表 2-3。

表 2-3　思维链提示词模板的五个配置维度

变量注入支持三类来源：知识库检索结果（由工具 4 提供）、结构化业务记录字段（如工序字典项、物料主数据字段）、以及上一轮生成的中间结果。注入前做长度预算与缺失校验，必填变量缺失时任务不进生成队列，直接落入待料清单并给出缺哪个字段，避免生成一批背景材料为空的废样本。

模板版本管理按"草稿—评审—灰度—全量—归档"五态推进。每个模板有唯一标识与递增版本号，修改模板必产生新版本，不允许原地覆盖；样本上记录的是模板标识加版本号，因此任何一条历史样本都能复原出当时用的是哪一版提示词。

灰度发布按批次比例放量，默认先在 5% 的待生成任务上试跑一轮，比对灰度批与基线批在自一致性通过率、事实匹配率、人工抽检合格率三项指标上的差异；三项中有两项不低于基线，方可放量至全量。回滚是把当前生效版本指回上一个稳定版本，已生成的样本不删除，改为标记"由已回滚模板版本生成"并进入复核队列——模板出了问题，样本的处置由人来定，工具不替人做删除决定。

图 2-2　思维链提示词模板的生命周期与灰度回滚机制

图 2-2　思维链提示词模板的生命周期与灰度回滚机制。数据来源：招标文件 3.2.3.2.1 节第（1）条（b0923）（b0924）；放量判据中的三项指标口径与本章 2.3.5 节自一致性筛选判据一致。

2.3.2 批量生成与任务调度

招标文件要求支持调用一个或多个大模型批量生成带推理过程的数据样本，并能够配置采样温度、候选条数、最大长度、停止词、输出 Schema、失败重试和批量任务调度策略（b0925）（b0926）（b0927）。

生成作业以"批次"为管理单位。一个批次绑定一套模板版本、一份输入清单、一组生成参数和一个或多个模型标识，批次创建后参数即冻结，中途改参数须新建批次。这样做是为了让批次成为可比较的单位，否则事后无法判断某批样本的质量差异来自模板还是来自参数。生成参数的配置项与默认取值如表 2-4。

表 2-4　批量生成的参数配置项

调度侧按"数据域—任务类型—批次"三级队列组织。每个数据域有独立的 Token 配额与并发上限，防止某一域的大批量作业把网关占满；批次内按输入清单分片，分片失败只重跑该片，不重跑整批。作业状态落库，可按批次查询进度、成功数、失败数、失败原因分布。失败原因按网关侧（限流、超时、拒答）、格式侧（Schema 校验不通过、字段缺失）、内容侧（空输出、重复输出、答案与锚不符）三类归并统计，这份分布本身就是模板与参数调优的依据。

2.3.3 任务分解与依据引用的生成约束

招标文件要求输出的结构化推理样本至少包含问题、背景材料、推理过程、答案和依据五项（b0928）。推理过程与依据这两项的生成不能交给模型自由发挥，否则同一类任务的样本在步数、颗粒度与引用密度上会散成一片，后续的步骤级核验与依据覆盖率都无从计算。本工具因此在生成前先做任务分解，在生成后逐步校验依据引用。

任务分解是把一个问题拆成有序的子目标序列，再由子目标驱动推理步骤。分解骨架按任务类型预置，不由模型自定；难度等级决定子目标数的区间，三级及以上的任务允许出现条件分支子目标（如"若孔位落在弯曲影响区则改排序"）。分解结果写入样本的 decomposition 字段，每个子目标带编号、目标描述与期望产出类型；推理步骤上的 goal_id 指回其所属子目标，使步骤与子目标可逐一对齐。必备子目标缺失的样本不进入筛选环节，直接退回重新生成，重新生成两次仍缺失的转人工补充。五类任务类型的分解骨架如表 2-5。

表 2-5　五类任务类型的分解骨架与必备子目标

表 2-5　数据来源：任务类型取自招标文件 3.2.3.2 节第（1）条所列五类（b0920）；难度等级与子目标数的联动口径见本章表 2-3 难度等级一行。

依据引用的四项约束如表 2-6。其中第四项是本工具的防漏口径：算术换算、格式转换与对上一步结论的复述这三类步骤本来就无外部依据可引，若不设豁免，模型会为凑引用而给算术步骤挂一条不相干的出处；若豁免不加限定，无依据推理又会从这个口子出去。做法是把豁免类型封闭为上述三类，豁免须在 ref_exempt 字段写明类型，豁免步骤计入依据覆盖率的分母扣减项并在批次报告中单列占比，占比超过设定上限的批次回查分解骨架是否把实质判断拆成了换算步骤。

表 2-6　依据引用的四项约束与校验

表 2-6　数据来源：依据项与字段口径依招标文件 3.2.3.2.1 节第（3）条对结构化推理样本字段的要求（b0928、b0929）；覆盖率的计算口径见本章表 2-22。

分解与引用之后的三道判据不在本小节重复：推理步骤的中间核验与首错定位见 2.3.6，同一问题多条路径的答案一致性见 2.3.5 表 2-8 第一行，错误推理的剔除与淘汰路径的去向见 2.3.5 末段。四者合起来构成推理样本从生成到入池的完整判定链。

2.3.4 结构化推理样本的字段定义

招标文件要求输出结构化推理样本，样本字段至少包含问题、背景材料、推理步骤、最终答案、答案依据、模型名称、提示词版本、生成批次和质量状态（b0928）（b0929）。

工具链按表 2-7 定义样本结构。表中前九项是招标文件明文要求的字段，其余为满足血缘、追溯与后续加工所需的补充字段；补充字段与通用接口、追溯与验收要求一节的血缘字段规范保持一致，不另立口径。

表 2-7　结构化推理样本字段定义

每步推理显式记录"本步引用了哪一项背景材料"，这一设计是为了让事实匹配度可计算：如果某一步的结论里出现了背景材料中没有的具体数值或型号，规则校验即可直接标出。这比事后用模型整体打分更可靠，也更便于向评审与验收方解释判据。

一条工艺判断类样本的完整样例如下（取自板材备料场景，字段值已按脱敏规则处理）：

{
  "sample_id": "GYSJ-CL-2027Q1-000812",
  "task_type": "工艺判断",
  "scene_code": "BLBL-01",
  "difficulty": "三级",
  "question": "某刮板输送机中部槽封板零件，材料 Q355B，板厚 16mm，轮廓含两处 R40 圆弧过渡，图纸标注一处 45°坡口（坡口面粗糙度 切割面质量按等级评定）、四个 φ22 通孔、一条压弯线（折弯角 90°）。请在备料分厂工序字典范围内确定工序顺序，并说明判断依据。",
  "context": [
    {"doc_id": "GYZD-BL-V3", "title": "备料分厂工序字典（28 道）", "page": 2, "text": "工序字典含下料类 6 道、成形类 5 道、孔加工类 4 道、坡口类 3 道、热处理类 3 道、表面类 4 道、辅助类 3 道……"},
    {"doc_id": "GYGC-BL-07", "title": "板材备料工艺规程·压弯件展开长计算", "page": 11, "text": "压弯件展开长按中性层公式计算，中性层系数按板厚与折弯半径分档查表……"},
    {"doc_id": "GYGC-BL-07", "title": "板材备料工艺规程·工序排序禁止条件", "page": 14, "text": "压弯工序之后不得安排影响弯曲区域尺寸精度的孔加工；坡口加工宜在轮廓成形之后……"}
  ],
  "reasoning_steps": [
    {"step": 1, "text": "该零件为板类件，含轮廓、孔、坡口、压弯四类加工要求，须先确定各类要求的工序归属。", "refs": ["GYZD-BL-V3#p2"], "conclusion": "涉及下料类、孔加工类、坡口类、成形类四类工序。"},
    {"step": 2, "text": "板厚 16mm，本件轮廓须与后续坡口加工衔接，对切割面垂直度与粗糙度有要求；按工序字典中下料类的方法分档规则，该板厚区间且对切割面质量有要求的，取等离子数控切割——其切割面质量等级与热影响区宽度优于火焰切割，单件工时亦更短。火焰数控切割在本板厚同样可用，分档规则将其列为切割面质量要求较低时的可选方法。", "refs": ["GYZD-BL-V3#p2"], "conclusion": "下料工序取等离子数控切割。"},
    {"step": 3, "text": "工艺规程规定压弯之后不得安排影响弯曲区域尺寸精度的孔加工，四个 φ22 通孔中须判断是否落在弯曲影响区。按图纸孔位标注，四孔均距压弯线 60mm 以上，超出板厚 3 倍的影响区范围。", "refs": ["GYGC-BL-07#p14"], "conclusion": "孔加工可安排在压弯之前。"},
    {"step": 4, "text": "规程规定坡口加工宜在轮廓成形之后，本件轮廓由下料工序一次成形，故坡口工序排在下料之后。坡口位于本件直边段、不在弯曲影响区内，排在压弯之前或之后均不改变坡口面角度；此处排在压弯之前，理由是压弯后工件呈折弯状态，坡口机装夹与行走受限，平板状态下加工更易保证角度一致性。", "refs": ["GYGC-BL-07#p14"], "conclusion": "坡口工序排在下料与孔加工之后、压弯之前。"},
    {"step": 5, "text": "压弯工序需按中性层公式换算展开长，板厚 16mm、折弯角 90°，中性层系数按分档表查取后代入计算，展开长作为下料尺寸回写至下料工序的材料定额。", "refs": ["GYGC-BL-07#p11"], "conclusion": "压弯排在末位，并向下料工序回写展开长。"}
  ],
  "final_answer": "工序顺序为：等离子数控切割下料（按展开长下料）→ 钻孔（四个 φ22 通孔）→ 坡口加工（45°，切割面质量按 GB/T 15579 等级评定）→ 压弯（90°）。展开长按中性层公式计算后回写下料工序材料定额。",
  "answer_evidence": [
    {"doc_id": "GYZD-BL-V3", "page": 2, "quote": "下料类方法分档规则"},
    {"doc_id": "GYGC-BL-07", "page": 14, "quote": "压弯工序之后不得安排影响弯曲区域尺寸精度的孔加工"},
    {"doc_id": "GYGC-BL-07", "page": 11, "quote": "压弯件展开长按中性层公式计算"}
  ],
  "model_name": "gw-model-a@2027.01",
  "prompt_version": "COT-GYPD-v2.3",
  "batch_id": "B-2027Q1-CL-0042",
  "quality_status": "自一致性通过",
  "consistency_score": 0.84,
  "sampling_group": "SG-000812",
  "lineage": {"source": ["DWG-XXXXXX", "GYK-XXXXXX"], "pipeline": "工具5→工具4→工具1", "tool_version": "cot-gen-1.4.0", "rule_version": "BL-RULE-v1.2", "qc_result": "pass", "audit_status": "待专家复核"}
}

样例核对要点：背景材料取自甲方工艺文件并带出处；第 3 步含弯曲影响区阈值判断（工艺卡通常不落盘）；答案含「向下料工序回写展开长」，覆盖业务闭环而非单结论。样例中的文档标识与图号按脱敏规则处理，正式生产时由平台按真实标识填充。

2.3.5 多路采样与自一致性筛选

招标文件要求支持多路采样和自一致性投票，对同一问题生成多条推理路径，并按答案一致性、推理完整性、事实匹配度和规则约束筛选高可信样本（b0930）（b0931）。

四项判据各管一件事，合起来才构成筛选。答案一致性管"结论是否稳定"，推理完整性管"过程是否完整"，事实匹配度管"有没有编造"，规则约束管"是否违反本企业的硬规定"。四项的计算口径、判据与不达标处置如表 2-8。

表 2-8　自一致性筛选的四项判据与处置

四项判据的阈值在首批 2,000 条样本的人工全检结果上校准，校准方法是以人工判定为真值，调阈值使漏判（本应淘汰而通过）优先于误判（本应通过而淘汰）得到控制。本环节的承诺落在可实测、可追溯的三条上：首批校准后漏判率给出实测值并写入质量报告，此后每月以 200 条随机抽样复核一次，漏判率逐步接近校准目标；单月实测漏判率高于校准值 50% 以上时，该月样本批次整体转人工复核，并回查是模板、模型版本还是规则库变更导致。这是本工具链的回退路径。

通过筛选的路径标记为"自一致性通过"，进入人机协同修订或直接入待采纳池。被淘汰的路径不删除：淘汰原因为"答案一致性不足"或"推理完整性不足"但事实匹配无硬性问题的路径，与同组优选路径配对构成偏好数据的负样本；因事实不匹配或规则冲突淘汰的路径另池存放，作为数据生成控制与评测类工具链的问题样本库输入。

图 2-3　多路采样与自一致性筛选的处置流向

图 2-3　多路采样与自一致性筛选的处置流向。数据来源：招标文件 3.2.3.2.1 节第（4）条（b0930）（b0931）；四项判据口径与阈值见本章表 2-8。

2.3.6 步骤级可信度与首错步骤定位

自一致性筛选解决的是「几条推理路径的最终答案是否互相一致」。它管用，但它看不见一件事：过程错而结论对。 一条推理链在第三步引用了错误的工艺窗口，后面两步又恰好把偏差抵消回去，最终答案与其他路径一致，于是这条链被判为高可信并入库。对通用语料来说这类样本危害有限；对本项目来说它是危险的——一条过程错误的工艺推理样本，教给模型的是一套错的判断依据，而这个错误在训练中不会被摊薄，只会被学会。备料二十八道工序的排序规则、压弯件展开长的中性层取值、热处理的保温时间档位，这些地方的过程错误尤其不能靠答案一致来兜。

因此本工具在路径级判据之上，再加一层步骤级判据。

步骤级可信度怎么得出。 做法不依赖人工标注，也不依赖另训一个判分模型，用的是推理链自身的可续写性：把一条链按步骤切开，从某一步骤之后截断，让模型从该处续写若干次，统计这些续写能到达正确答案的比例。这个比例就是该步骤的后续成功率——若从第三步往后怎么续都走不到正确答案，说明第三步本身已经偏了；若从第三步往后多次续写大多能到达正确答案，说明第三步是可靠的。逐步骤算出后续成功率，即得到整条链的步骤级可信度分布。

筛选规则随之升级为两条同时成立：答案在多条路径间一致，且链上没有低分步骤。只满足前者的链不再直接入候选集，而是转入人工复核队列，并在界面上标出低分步骤的位置。

「低分」要给到门限，否则这一层无从核对。步骤级判分的参数与分档如表 2-9。门限取值在首批标定集上校准，校准方法与本章 2.3.5 的四项判据一致：以专家逐步骤判定为真值，调门限使「把走偏的步骤判成可信」这一类错误优先得到控制。

表 2-9　步骤级可信度的判分口径与分档

表 2-9　数据来源：判定口径复用本章表 2-8 答案一致性的规范化与多数簇定义；门限取值为首期设定，属待验证目标，随标定集扩充复标，复标记录入库。

首错步骤怎么定位。 知道「链上有低分步骤」还不够，要指出是哪一步最先出错，专家才省力。做法是在链上做二分：先在中点处截断续写，若续写成功率仍高，说明错误在后半段；若已经偏低，说明错误在前半段；在确定的那一半里继续二分。链长为若干步时，定位所需的采样轮次只随链长的对数增长，开销可控。定位结果写入输出记录的首错步骤字段，连同该步骤所依赖的背景材料片段一并传给人机协同标注工具（见 2.4 节）。

有三种情形不输出首错步骤，三者的去向不同，分别如下。链上全部步骤处于可信档，判为无首错，按整条可信处理；后续成功率曲线出现多次升降，判为多处错误，整条链转人工且不派发单步工位，因为在多处出错的链上指定一个单步会把复核人的注意力引偏；步骤切分不成立，退回路径级判据。不输出首错步骤本身也是一种结论，它决定样本去向，因此要写入定位状态字段而不是留空。

本层能力在样本上新增的字段如表 2-10。字段随样本入库并纳入血缘，命名口径与本章表 2-7 的字段定义一致。通用要求的血缘条款要求每条样本可关联其处理链路与质检结果，步骤级判分与首错定位的结果因此逐项定义为样本字段，由字段承载而非由文字表述承载。

表 2-10　步骤级判分与定位在样本上新增的字段

表 2-10　数据来源：字段命名与类型口径依本章表 2-7 公共字段定义；必填项依通用要求中处理链路与质检结果须可关联的条款。

这一层的三项作用都落在可度量的事情上。

第一条，它把专家的工作从「读完整条链再判断对错」降到「看一个被指出来的步骤」。一条二十步的工艺推理链，专家通读一遍要几分钟，而定位到首错步骤后只需确认一步。专家处理时长是可以实测的，这是降本的直接证据，而不是一句「提高效率」。

第二条，它顺带产出本项目最干净的偏好数据。强化学习偏好数据集要六点六万组，偏好对的信号质量取决于「好与坏的差别是否明确」。用整条路径的优劣配对，好坏差别混在二十步里；用同一前缀下的好步骤与坏步骤配对——前缀完全相同，只有这一步不同，一个走得通一个走不通——信号就干净得多。这类步骤级偏好对由本工具的采样过程自然产生，不需要额外的构造工序。

步骤级配对与路径级配对同指偏好数据集的六点六万组，两者的分工与计数规则如下。路径级配对取自整条路径的优选与淘汰（见 2.3.5），刻画的是结论与整体推理质量的差异；步骤级配对取自同一前缀的分叉，刻画的是单步判断的差异。两类在样本上以配对类型字段区分，同一条路径不得同时作为两类配对的来源重复入库；偏好数据集的规模按配对条数一次计数，不叠加。 各工具对六点六万组的贡献比例以本章 5.2 节的对账表为准。

第三条，它可实现且不依赖训练。整套做法只需要多次采样与一个判分依据，不需要先训练一个过程判分模型。若后续具备训练条件，可以把采样得到的步骤分作为监督信号，蒸馏成一个轻量的过程判分模型，把采样开销进一步降下来；但这是可选的后续优化，不是本期的前提。

本层的三处实现口径如下。 一是步骤切分：按换行、序号标记与显式步骤词三重规则切分，三重都切不开的链标记为不可步骤化，退回路径级判据处置——不假装所有链都结构整齐。二是续写采样数：首期取每个探测点四到八次，二分定位的总开销约为链长的对数倍乘以每次采样数，这个口径写入成本统计，与本章 2.3.2 的调度与成本登记共用一套计量。三是事实匹配度的判定：步骤中引用的工艺参数、标准条款与设备档案，经知识库检索核对；检索不到对应证据的步骤判为不可验证，而不是判为错误——两者处置不同，不可验证转人工确认，错误直接淘汰。把这两种情形混为一谈，会把知识库覆盖不全的责任记到样本质量上。

第三项配套做法是采样预算按难度自适应。 候选条数不固定在一个值上：先采四条，若答案已高度一致即停止，不一致则逐步加采至上限。这样同一算力下能覆盖更多问题，预算也自动流向难题。每条样本登记本次实际用掉的采样预算，用于成本统计。

与此配套的还有一条必须讲明的限制：步骤级判分不对全部样本开启。 若全量开启，单条样本的生成开销成倍上升，而多数样本并不需要——答案高度一致、事实匹配命中率高的链，按表 2-8 的口径直接采纳即可。触发范围因此按表 2-8 的既有判据划定：答案一致性落在人工复核带内（多数簇占比 0.4 至 0.6）、或事实匹配度处于中档（命中率 0.8 至 0.9）、或任务难度为三级及以上的样本进入步骤级判分；其余样本不判分，其定位状态记为「未判分」并按答案级口径采纳。

这条规则把增量算力投在最可能出问题的样本上，并使步骤级判分的开销可按批次预先估算、事后核对——每条样本登记本次实际消耗的续写条数，批次报告按任务类型汇总，与 2.3.2 的成本统计合并出账。不加触发条件的全量判分在产能上不可行，触发范围因此按上述三项条件划定并随批次实测复核。

表 2-11　步骤级判据的三项首期基线、度量方式与回退

表 2-11　数据来源：判据定义依招标文件 3.2.3.2.1 节第（4）条对多路采样与自一致性筛选的要求（b0930、b0931）；三项基线为本方案设定的首期目标，属待验证目标，随首批实测结果调整后报招标方确认。三项中任一未达门限，按表中回退执行，均退回本章 2.3.5 的路径级口径，不影响本工具的交付完整性。

图 2-4　步骤级可信度、首错定位与三条分流

图 2-4　步骤级可信度、首错定位与三条分流。数据来源：筛选判据依招标文件 3.2.3.2.1 节第（4）条（b0930、b0931）；步骤级判据的基线与回退见表 2-11；偏好对的用途与规模口径见数据集建设分节强化学习偏好数据集一节。

2.3.7 处理流程

把一个批次从问题清单推到可入集的推理样本，中间始终要回答同一件事：这一条样本是在哪一步被判定为可用的；若它最终不可用，又是在哪一步、按哪条判据被拦下的。七步的划分由此而来——生成与判定分开，判定与分流分开，分流与归档分开，使每一条样本的去向都能回指到某一步的质检点，而不是笼统归因于“模型效果不好”。各步的取值也不是流程环节另设的：第 3 步的生成参数取自本章表 2-4，第 4 步的字段取自表 2-7，第 5 步的判据与阈值取自表 2-8；流程负责的是把这些已定的口径按先后次序串起来，并规定每一步失败时作业往哪里走。

表中“质检点”一列是判据，“产出”一列是该步留下的证据，两列合起来构成逐步可查的作业轨迹；关键的是第 5 步与第 6 步——筛选在第 5 步完成，样本入采纳池还是转人工在第 6 步分流，这两步决定了后续人力投向何处。

工具 1 的一次完整作业按七步推进，各步的输入、动作、产出与质检点如表 2-12。表中"异常处置"一列给出每一步失败时的去向，保证作业不会在中途静默停下。

表 2-12　大模型自生成思维链工具链的处理流程

第 2 步约定：背景材料由检索链路提供并带出处，不由生成模型自行回忆；材料已知，方可做事实匹配校验。

2.3.8 接口与验收口径

工具 1 对外提供的接口如表 2-13。接口风格、鉴权、异常重试与状态回调遵循通用接口、追溯与验收要求一节的统一规范。

表 2-13　大模型自生成思维链工具链的接口

验收口径：我方提供可运行的演示样例一套（含模板、输入清单、生成参数与完整产出样本）、输入输出样例各不少于 20 条、配置说明与接口说明文档、以及在甲方环境中跑通的测试报告。测试报告须给出首批校准后的四项判据实测值、人工全检一致率，以及一次完整的模板灰度与回滚演练记录。

2.3.9 任务创建入参契约、调用样例与异常回退

入参契约要回答的是对接方最先遇到的问题：发起一次生成作业，最少要交代清楚哪几件事，产出的样本日后才可被复算。表 2-14 的“必填”一列即按这条线划定——模板版本、生成参数、背景材料来源与结果落点四项缺一不可，它们分别决定了样本的提示词口径、采样行为、事实依据与归属。其中背景材料来源之所以列为必填，是因为表 2-8 的事实匹配度判据要把样本里的实体、数值、型号与标准号逐一回查材料，材料来源不确定，该判据就无从计算，样本也就谈不上可判废。可选项则一律给出预置缺省：模型集合缺省取该任务类型的当前择优选用项，采样组条数与四项判据阈值缺省取当前标定值，对接方不了解标定细节时同样可以发起一次合规作业。

读这张表时，“必填”一列是受理门槛，“缺省与约束”一列给出未显式传参时的实际行为。贯穿其中的一条规则是传入项与解析项分离：模板本体、判据定义与模型品牌都不经接口传递，接口里出现的只有登记标识与版本号，样本因而可以凭标识反查当时生效的配置。

表 2-14　工具 1 的任务创建入参契约

调用样例与受理返回：

{
  "client_request_id": "REQ-2027Q1-COT-0033",
  "selector": {"input_list": "QSET-PROCESS-2027Q1@v2"},
  "params": {
    "template_version": "COT-GYPD-v2.3",
    "generation": {"task_type": "工艺判断", "difficulty": "三级", "max_steps": 8, "require_refs": true},
    "model_refs": ["gw-model-a@2027.01", "gw-model-b@2026.12"],
    "sampling_group_size": 5,
    "consistency_criteria": {"answer_agreement_min": 0.6, "ref_hit_required": true},
    "context_source": "DS-RAG-2027Q1/process@v3"
  },
  "output": {"dataset_ref": "DS-SFT-2027Q1/cot", "formats": ["jsonl"]}
}

{
  "task_id": "T-COT-002188",
  "accepted_at": "2027-02-20T01:40:12+08:00",
  "param_check": "passed",
  "batch_count": 24,
  "estimated_tokens": 41800000,
  "resolved_template_version": "COT-GYPD-v2.3",
  "idempotent_hit": false
}

表 2-15　工具 1 的异常与回退

接口层面可当场核对的点有两条：model_refs 回传的是网关登记标识与版本而不是品牌型号；构造一个模板版本为草稿态的请求，接口须在受理前返回参数类错误。质量口径仍按本章 2.3.8 节的验收口径执行。

2.4 人机协同思维链标注工具链（3.2.3.2.2）

模型自生成的推理路径即使通过了自一致性筛选，也只能说"几条路径互相不矛盾且没有明显编造"，不能说"这就是本企业资深工程师的判断方式"。把前者变成后者，靠的是领域专家在步骤层面上动手改。本工具链提供的是改的工位、改的留痕与改完之后的去向，不是把专家的工作替掉。

2.4.1 步骤级编辑与差异留痕

招标文件要求支持人机协同标注流程，标注人员与领域专家可对模型生成的推理步骤进行新增、删除、合并、拆分、重排和重写，并保留修改前后差异（b0933）（b0934）。

推理步骤在工具内部按有序步骤树组织：每一步是一个节点，节点上挂步骤文本、引用的背景材料项与本步结论；合并与拆分会改变节点数，重排会改变节点序。六类编辑操作的语义与差异记录内容如表 2-16。操作类型按六类分别记录，不合并为一条"修改前后文本差异"，原因是这些操作的分布本身是信号：如果某个场景的样本里"新增步骤"占压倒多数，说明提示词设定的推理深度偏浅；如果"重写"集中在某一类步骤上，说明模板里对该类判断的约束写得不够。这份分布会定期回流到模板优化。

表 2-16　六类编辑操作的语义与差异记录

专家工位的派活方式在此要定一条规矩：按首错步骤排队，不按样本排队。 工具 1 的步骤级判据已经指出了每条可疑链的首错位置（见 2.3.6），这个字段随样本传到本工具，专家界面打开即定位到该步骤，并同时高亮该步骤所依赖的背景材料片段。差别在于专家要做的事：按样本排队时，专家要从第一步读到最后一步、自己找出问题在哪，一条二十步的工艺推理链通读一遍就要几分钟；按首错步骤排队时，专家确认或改写被指出的那一步即可，其后的步骤若因这一步修正而连带失效，由工具重新续写候选再交专家确认。

这件事的成效用一个数衡量：单条样本的专家处理时长。 首期以按样本排队的实测时长为基线，启用按首错步骤排队后逐月比对。时长取自工位系统的操作日志，可直接统计，不需估算；该数若无改善，说明首错定位的命中率不足（见表 2-11 第二项），处置是回查定位环节而非继续推广。首错定位命中率低于门限时，界面退回「只高亮低分步骤集合、不声称首错位置」的处置，避免把专家的注意力引到错的地方——这比不指出位置更坏。

还要补一句关于专家否定的处置：定位结果是建议而非结论，专家可在工位上否定该定位并标注真实的首错位置，这条标注回流用于校准表 2-9 的分档门限，并计入表 2-11 第二项的命中率度量——否定本身即为标定样本，不是废弃动作。

每一次编辑都生成一条修订记录，记录链按时间顺序挂在样本的 audit_trail 字段上。样本始终保留原始生成版本，修订版本以增量方式叠加，任何时点都可以回看"模型原来怎么说、人改成了什么、谁改的、为什么改"。这一点对本项目有直接价值：甲方的工艺知识长期存在于人的经验中，修订记录是第一次把"专家不同意模型哪里"这件事结构化记录下来，其本身就是企业规则沉淀的素材。

这份素材要用起来，而不是只存着。本项目把修订动作按类型归档，按月统计分布，并把统计结果作为两件事的输入。

归档的类型有五类：事实错误（引用的参数、标准条款或设备档案与实际不符）、步骤缺失（漏掉了必要的校核或换算环节）、顺序颠倒（推理顺序与工艺实际顺序不符）、越权结论（给出了超出所给材料能支撑的判断）、依据缺失（结论对但说不出依据）。这五类不是凭空分的，它们对应着模型在工艺推理上五种不同的系统性毛病，处置办法也不同——事实错误要补知识库与收紧检索校核，步骤缺失要改模板里的推理深度设定，顺序颠倒要在模板中显式给出工序约束，越权结论要加材料边界提示，依据缺失要加引证要求。

统计结果的第一个去向是模板优化，即本节 2.4.2 的第一条回流路径：某一类修订动作在某个场景上集中出现，就改该场景的模板，改完后看下一月的分布有没有下来。第二个去向是错误模式清单：把五类动作在各业务域、各任务类型上的分布整理成一份清单，这份清单一方面进质量治理报告，另一方面是基准测试集题型设计的输入——模型在哪一类上错得多，基准集就该在哪一类上多出题。这样一来，人机协同就不只是一道工序，而是一条有输出的闭环：专家的修订动作既改好了这一条样本，也改进了下一批样本的生成方式与下一轮评测的出题方式。

图 2-5　步骤树编辑与差异留痕

图 2-5　步骤树编辑与差异留痕。数据来源：招标文件 3.2.3.2.2 节第（1）条（b0933）（b0934）；示例步骤取自本章 2.3.4 节板材备料工艺判断样例。

2.4.2 优质样本的三条回流路径

招标文件要求支持将修订后的优质样本回流至提示词模板优化、模型评测和后续 SFT 数据生产环节（b0935）（b0936）。

三条回流路径的触发条件、回流内容与承接方不同，工具链分别实现，不混为一谈。

第一条回流到提示词模板优化。回流内容不是样本本身，是修订记录的统计量：按场景与任务类型汇总六类操作的占比、被删步骤的原因分布、被新增步骤的内容聚类。模板维护人据此改模板，改完走表 2-3 的灰度流程。触发节奏为每积累 500 条修订样本或每两周触发一次，取先到者。

第二条回流到模型评测。修订后经专家确认的样本中，按来源与时间双重切分划出一部分，锁定为评测用金标准，自划出之日起不再进入任何训练集。这件事必须在样本生产期就做，不能等到评测前再划。若同一批标注样本既用于训练又用于评测，评测结果会系统性偏高，验收看到的指标反映不了上线表现。划出比例按基准测试集 0.95 万条的规模需求反推，划出的样本在血缘上打不可逆的隔离标记，取用接口对训练类调用方直接不可见。

第三条回流到后续指令微调数据生产。确认采纳的样本按数据域归集，经格式转换后入指令微调集。转换规则是：问题与背景材料合成指令输入，推理步骤与最终答案合成期望输出；同一问题的优选路径与被淘汰路径配对，入偏好数据集。这里的"配对"有一个前提条件：被淘汰路径必须是因一致性或完整性不足被淘汰，而非因事实不符或规则冲突被淘汰；后者作为负样本会把错误事实带进训练，应进问题样本库而不是偏好集。

图 2-6　修订后样本的三条回流路径与隔离边界

图 2-6　修订后样本的三条回流路径与隔离边界。数据来源：招标文件 3.2.3.2.2 节第（2）条（b0935）（b0936）；数据集规模口径取自招标文件逐数据集规模表。

2.4.3 多人交叉标注、专家仲裁与低一致性复核

招标文件要求支持多人交叉标注、专家仲裁和低一致性样本复核，并能够记录争议原因、裁决结论、审核状态和全过程审计信息（b0937）（b0938）。

交叉标注按任务难度分档派发：一级与二级难度样本单人标注加抽检，三级与四级难度样本固定双人独立标注，涉及安全合规判断的样本一律双人独立标注。双人独立标注意味着第二位标注人看不到第一位的结果，这一点在工具层面强制，不依赖流程纪律。

两份标注结果的一致性在三个粒度上分别计算，如表 2-17。分粒度计算是必要的：两位专家可能最终答案完全一致，但推理路径差异很大，这种情况下样本可用于训练答案，不宜直接用于训练推理过程，需要仲裁确定采用哪条路径。

一致性的报告口径要再说清一层，因为「一致率」这一个数在步骤级标注上是不够用的。简单一致率把每一次比对当成独立的对或错，它没有扣除「两人碰巧一致」的部分，也处理不了步骤级标注固有的两种情况：一是标注对象是结构化的（步骤序列有增删，两份标注的步骤数可能不同，无法逐位对齐），二是存在缺失（某位标注人对某一步未作判断）。因此本工具的一致性除报一致率外，同时报一个一致性系数——采用可处理多名标注者、可处理缺失值、可处理多种数据类型的那一类系数（克里彭多夫系数），它扣除了偶然一致的部分，在步骤数不等与存在缺失的情形下仍可计算。两个数一并报出：一致率直观，系数可比。

在此基础上还做一件事：对标注者建立能力画像。做法是统计每位标注者的历史判定与最终裁决结论之间的偏离度，按偏离度给其判定赋权重，于是聚合真值不再是简单多数，而是去偏后的加权聚合。这件事在本项目的规模下有实际意义——六十三万张历史工艺样本的标注产能要靠一支队伍长期维持，队伍里标注者的水平必然有差异，若一律按人数多数决定，一位长期偏离的标注者会持续把结论往一侧拉，而这种影响在逐条抽检里看不出来，只在统计上看得出来。

能力画像的用途是识别需要再培训的标注者，不是用于考核排名。这里有一条处置顺序必须写明：一致性系数低于门限时，先排查标注规范是否有歧义，再看标注者。原因很直接——两位尽职的标注者在同一条样本上给出不同判定，最常见的原因是规范对这种情形没写清，而不是其中一位不认真。规范澄清之后重测该批次，若系数回升即为规范问题，若仍不回升再进入标注者维度的分析。把顺序倒过来做，会把规范缺口记在人头上，既不公平也修不好问题。

表 2-17　交叉标注一致性的计算粒度与分流

仲裁由领域专家承担，仲裁工位上同时展示两份标注、差异高亮与各自的修改原因，专家可采纳其中一份、合成第三份，或判定问题本身表述有缺陷退回题目修订。仲裁记录的字段包括：争议粒度（答案／路径／依据）、争议原因枚举（规程理解分歧、图纸信息不足、规则版本不一致、术语口径不一致、题目表述歧义、其他）、裁决结论、裁决依据引用、仲裁人角色、裁决时间。争议原因的分布会按月汇总。这份汇总对甲方的价值可能超过样本本身，因为"规程理解分歧"集中出现在哪些条款上，直接指出了哪些工艺规程需要澄清或补充。

审核状态按"待标注—标注中—待仲裁—已仲裁—待终审—已采纳／已退回"推进，状态迁移与操作人角色绑定，标注人不能自审，仲裁人不能仲裁自己参与标注的样本。全过程审计信息包括每一次状态迁移的操作人角色、时间、入参与出参摘要，审计日志只追加不修改，保留期按甲方数据安全管理要求执行。

低一致性样本的复核不止于逐条处置。工具链按场景、任务类型、标注人角色、规则版本四个维度统计一致率，当某一维度的一致率连续两周低于设定基线时触发专项复核：先查是不是标注规范对该类情形没有写明，再查是不是题目来源有系统性问题，最后才考虑标注人培训。这一排查顺序是故意这样定的。一致率低通常是规范问题而不是人的问题，先改规范比先培训人有效。

2.4.4 处理流程与样例

工具 2 的作业流程按六步推进，如表 2-18。

表 2-18　人机协同思维链标注工具链的处理流程

一条修订记录的样例（对应图 2-5 中的"新增"操作）：

{
  "record_id": "REV-000812-003",
  "sample_id": "GYSJ-CL-2027Q1-000812",
  "from_version": "v2",
  "to_version": "v3",
  "operation": "新增",
  "position": {"after_step": 2},
  "new_step": {"step": 3, "text": "工艺规程规定压弯之后不得安排影响弯曲区域尺寸精度的孔加工，需先判断四个 φ22 通孔是否落在弯曲影响区。按图纸孔位标注，四孔距压弯线均在 60mm 以上，超出板厚 3 倍的影响区范围。", "refs": ["GYGC-BL-07#p14"], "conclusion": "孔加工可安排在压弯之前。"},
  "reason_code": "漏校核环节",
  "reason_note": "原路径直接给出工序顺序，未校核孔位与弯曲影响区的关系；该校核是本厂规程的硬性要求。",
  "operator_role": "领域专家",
  "timestamp": "2027-02-14T09:37:00+08:00",
  "char_diff_summary": {"inserted": 112, "deleted": 0, "modified": 0}
}

这条记录的 reason_code 为"漏校核环节"，是六类编辑操作统计中最值得关注的一类——它直接指出提示词模板对该任务类型的推理深度要求偏浅。按 2.4.2 节第一条回流路径，这类原因码的累计占比超过阈值即触发模板修订。

2.4.5 接口与验收口径

表 2-19　人机协同思维链标注工具链的接口

验收口径：我方提供标注工位的演示样例（含双盲派发、六类编辑操作、仲裁与回流全流程录屏或分步截图）、输入输出样例、配置说明与接口说明、测试报告。测试报告须给出首批样本的三粒度一致率实测值、仲裁率、争议原因分布，以及一次由低一致率触发的专项复核记录。本工具链不设"一致率达到某一固定数值"的绝对承诺，设的是基线加改进口径：首批测得的一致率作为基线写入报告，此后按月统计，趋向于逐步提高；连续两个统计周期低于基线时按上述排查顺序处置并记录结论。

2.4.6 任务创建入参契约、调用样例与异常回退

标注工位的任务创建要回答的是派活问题：这一批样本派给谁、按什么规则分难度、两份标注对不上时由谁来裁。表 2-20 的字段即对应这三件事——难度分档规则版本决定派发给哪一类标注角色，标注人角色与人数决定双盲派发能否成立，仲裁规则版本决定争议的裁决依据。三者都以版本引用而非内容传入，使任一样本日后可凭版本号反查当时的派发与裁决口径；角色一列只记角色与人数、不记姓名，与标注过程的审计留痕口径一致。

一致性阈值沿用本章表 2-17 已定的三个粒度，接口只提供阈值覆盖项，不另立计算口径。关键的一行是双盲派发：人数不足时按表 2-21 的 TC02-101 在受理前即不予创建，而不是降为单人标注后仍按双盲口径统计一致率——后者会让一致率这个指标失去它本来的含义。这张表支撑的是本工具链在一致率上的三段式承诺：首批实测值写入报告作为基线，此后按月统计并趋向逐步提高，连续两个统计周期低于基线时按本章 2.4.5 节的排查顺序处置。

表 2-20　工具 2 的任务创建入参契约

{
  "client_request_id": "REQ-2027Q1-COTA-0017",
  "selector": {"sample_scope": {"batch_id": "B-2027Q1-CL-0042", "quality_status": "自一致性通过", "difficulty": ["三级", "四级"]}},
  "params": {
    "difficulty_rule_version": "DIFF-v1.1",
    "annotator_roles": {"标注人员": 4, "领域专家": 2},
    "double_blind": true,
    "consistency_thresholds": {"step_level": 0.75, "conclusion_level": 0.90, "ref_level": 0.85},
    "arbitration_rule_version": "ARB-COT-v1.0"
  },
  "output": {"dataset_ref": "DS-SFT-2027Q1/cot-reviewed", "formats": ["jsonl"]}
}

表 2-21　工具 2 的异常与回退

接口层面可当场核对的点：差异查询能按版本区间取出字符级差异与操作人角色，且日志为只追加形态——取一条已修订样本，核对其各版本可逐一还原。质量口径按本章 2.4.5 节执行。

2.5 本类工具链的推理质量评估与样本版本追溯

前三个环节分别由 2.3.2、2.4.1 与 2.3.4 三节交代，此处补齐评估与追溯。

2.5.1 推理质量评估的四类口径

自一致性筛选判断的是"这条路径能不能留"，推理质量评估回答的是另一个问题："这一批样本整体处在什么水平，比上一批好还是差。"两者的判据有重叠但用途不同：前者是逐条的闸门，后者是批次级的度量，是质量报告与验收的依据。四类评估口径如表 2-22。

表 2-22　推理质量评估的四类口径

四类口径在质量报告中按批次、来源、任务类型与数据集版本四个维度呈现，格式与通用质量报告规范一致。四项的首批实测值作为基线写入报告，后续按批次对照。本工具链不对这四项承诺固定数值。它们受任务难度与文档质量影响，不同数据域的合理区间不同；承诺的是基线公开、逐批对照、低于基线时给出原因分析与处置记录。

有一项评估需要单独说明：推理过程的正确性无法单凭自动化手段完全判定。工具链能自动判出"引用了不存在的数值""违反了成文规则""步骤间逻辑断裂"，判不出"依据都对但判断方向错了"。后者只能由领域专家判断，因此专家抽检是推理质量评估不可替代的一环。本项目的安排是：每批次按不低于 5% 的比例由领域专家抽检推理方向的正确性，抽检结果单列为一项指标，与自动化指标并列呈现，不合并计算。把人判的和机器判的混成一个数，会让验收时无法分辨质量到底来自哪一侧。

2.5.2 样本版本追溯

样本版本追溯要回答四个具体问题：这条样本当初是怎么生成的、后来被谁改过什么、它现在属于哪个数据集版本、以及如果上游的某份文件更新了，哪些样本需要重做。前三个问题由血缘字段与修订链回答，第四个问题需要反向索引。

正向追溯链由表 2-7 的 lineage 字段与 audit_trail 字段共同承载：lineage 记录生成时的全部版本信息（原始数据标识、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果、审核状态），audit_trail 按时间顺序记录每一次修订与审核。给定一条样本，可以逐项复原出它的生成条件与修改历史。

反向索引是追溯能力的另一半，也是实际运行中用得更多的一半。工具链维护"源文档—样本"与"规则版本—样本"两张反向索引：某份工艺规程发布新版本时，通过第一张索引可以列出所有以该规程旧版本为依据的样本；某条场景规则修订时，通过第二张索引可以列出所有按旧规则校验通过的样本。列出之后的处置分三档，如表 2-23。

表 2-23　上游变更后的样本处置分档

实质变更与非实质变更的区分依靠片段级的来源映射：样本引用的是某份文档的哪一段、哪些字符区间，新旧版本在该区间上有无差异，这是可以自动比对的。能自动比对的部分走自动判定，比对不确定的部分转人工。这个分档的意义在于避免两种极端：一是文件一改就把全部相关样本作废，代价过高；二是文件改了却无人知道哪些样本受影响，数据集里留下一批以作废依据为基础的样本。

数据集版本关系由平台的数据集版本管理承载，本工具链的责任是保证每条样本携带的版本信息完整、可被索引、且在样本被修订时同步更新。追溯接口的具体形式以通用接口、追溯与验收要求一节为准。

3、长上下文数据构建类工具链（3.2.3.3）

3.1 甲方的现场问题与本类工具链的能力定位

招标文件要求这一类工具链提供面向长文档、复杂技术资料、标准规范、知识库和检索增强训练场景的数据构建能力，用于将 PDF、Word、HTML、Markdown、表格、图文混排资料等转化为可用于长文本训练、RAG 训练和评测的结构化样本，覆盖文档解析、语义切分、滑窗拼接、结构还原、向量检索、上下文组装和质量检查七个环节（b0940）。

预训练语料 615 亿 Token 的主体来自文档。甲方的文档资源不缺量：企业文档系统归档了标准、技术手册、工程资料与外部资料，协同办公系统承载制度文件、合同与标书，产品全生命周期管理系统承载图纸与工艺文件。缺的是三样东西。第一样是结构。一份几百页的刮板输送机维护手册在系统里是一个 PDF 文件，章节层级、表格归属、图与图说的对应关系都只存在于版面上，机器读到的是连续的字符流，切出来的片段常常从一句话中间断开。

第二样是出处。通用场景的核心需求是"回答一个问题时能说清依据的是哪一版文件、哪一页",而文档一旦被切成片段，页码与版本信息若不随片段带走，这个需求就无法满足。第三样是长度适配。训练与评测对样本长度有要求，手册里有的章节三百字、有的两万字，直接按章节切会得到一批长度分布极不均匀的样本。

本类工具链的三个工具正好对应这三样：文档结构解析工具链（工具 5）还原结构，文档切分与拼接工具链（工具 3）处理长度适配与来源映射，RAG 数据构建工具链（工具 4）处理检索与出处。三者在流水线上的实际顺序是工具 5 在前、工具 3 在中、工具 4 在后；招标文件的条目顺序是工具 3、4、5。本章按招标文件条目顺序编排，各工具在其小节首行注明在流水线上的上下游。

3.2 可处理的数据与产出物

招标文件列明本类工具链须能够处理技术手册、行业标准、工艺规程、维修手册、设备说明书、招投标文件、知识库文档、PDF/Office/HTML 文件、向量模型和查询模板等数据，生成结构化文档对象、章节树、长上下文样本、RAG 评测样本等（b0941）。各类输入在甲方的落点与产出对应关系如表 2-24。

表 2-24　长上下文数据构建类工具链的输入数据与产出物对应关系

本类工具链的加工对象限于文本与版面类文档；图纸与工艺图的结构化抽取由多模态数据对齐类工具链承担（见对齐与标注类工具链相关章节）。两类工具链在同一份技术手册上分别取用：手册正文归本类，手册中的装配图归多模态类，由文档对象上的要素类型标记区分，同一要素只加工一次。

原生图纸的读取方式按实施调查结论确定，不以前期了解作为既定条件。按前期调研所了解的情况，产品全生命周期管理系统的原生图纸不支持整批导出；该结论为我方前期了解所得，以蓝图设计阶段的勘察复核结论为准，勘察结论与此不一致时按勘察结论调整取数通道与排期。进场后第一个月内完成读取方式的现场核实与试读，核实三项：单次可读批量上限、按图号或项目的检索条件、并发与低峰窗口限制。核实结论确定后在三条接入路径中选定，三条可并用：一是按图号或项目分批调用只读读取接口，批量与并发按源系统给定上限配置；二是在授权范围内挂载文件服务只读目录，按图号清单比对读取；三是由甲方按批次导出并经文件服务交付，我方按清单核收。三条路径的解析一律在内网就地进行。试读结果不足以支撑整体归集时，先归集与试点场景直接相关的图纸分片，其余分片按季度推进，归集进度在数据卡中按分片披露。

3.3 文档切分与拼接工具链（3.2.3.3.1）

本工具在流水线上接收工具 5 输出的结构化文档对象，输出长上下文样本与来源映射表，供预训练语料与长文本训练使用。

3.3.1 多格式导入与版面要素识别

招标文件要求支持 PDF、Word、Excel、PPT、HTML、Markdown、TXT 等多格式文档导入，并能够识别正文、标题、表格、图片、公式、附件、页码和章节层级（b0943）（b0944）。

多格式导入的关键不在于支持的格式数量，而在于对同一格式的不同成因区别对待。甲方的 PDF 至少有三种成因：由 Word 直接导出的电子 PDF（文字层完整，版面信息可解析）、扫描纸质文件得到的影像 PDF（无文字层，须经光学字符识别）、以及由图纸或排版软件输出的图文混排 PDF（文字层存在但阅读顺序混乱）。三者的解析通道完全不同，若不加区分地走同一条通道，影像 PDF 会得到空文本，混排 PDF 会得到顺序错乱的文本。工具链在导入时先做成因判定，再按表 2-25 分派通道。

表 2-25　格式与成因的解析通道分派

要素识别的产出是统一的文档对象，不因输入格式而异。文档对象的顶层记录文档标识、原文件指纹、格式与成因、版本状态、授权范围与密级标记；中层是章节树；底层是段落、表格、图片、公式等要素节点，每个节点带页码、在页内的位置、在章节树中的路径。密级标记随对象一路传递到样本。这是后续授权校验与出域控制的依据，不能到了组装样本时才补。

表格与公式这两类要素单独说明。表格在甲方的技术资料中承载了大量参数要求，如热处理工艺参数窗口、中性层系数分档表、物料定额表，这些表格被切碎后价值归零，因此工具链把表格作为不可分割对象处理：表格整体作为一个要素节点，带表头、表题与所属章节；跨页表格由工具 5 完成拼接后再交给本工具。公式在工艺规程与校核文档中出现（如中性层展开长公式、链条安全系数公式），工具链将其转为可检索的文本表达并保留原始图像，两者同时挂在节点上，检索用文本、人工核对用图像。

3.3.2 滑动窗口拼接与来源映射

招标文件要求支持滑动窗口拼接长上下文样本，可配置窗口长度、重叠比例、最大 Token 数、跨章节拼接策略、EOS 分隔符和来源映射关系（b0945）。

滑窗拼接解决的是长度适配问题，但如果只按长度切，会在句子和表格中间断开。工具链的做法是"先按语义边界划候选点，再按长度在候选点上落窗"：候选点来自章节边界、段落边界、句子边界、表格边界四类，优先级由高到低；落窗时在目标长度附近寻找优先级最高的候选点，落窗位置与目标长度的偏差在容许范围内即接受。参数配置如表 2-26。

表 2-26　滑动窗口拼接的参数配置

来源映射表是本工具最重要的产出之一，也是整个长上下文构建链条的出处依据。每个长上下文样本携带一张映射表，逐片段记录：源文档标识、源文档版本、章节树路径、页码、段落序号、在原文中的字符区间、要素类型。有了这张表，任何一个长上下文样本都可以被反向定位到原文的具体位置；通用场景中"说清依据的是哪一版文件哪一页"的要求，依赖的就是这张表。

图 2-7　滑动窗口拼接与来源映射的生成过程

图 2-7　滑动窗口拼接与来源映射的生成过程。数据来源：招标文件 3.2.3.3.1 节第（1）（2）条（b0943）（b0944）（b0945）；参数口径见本章表 2-26。

3.3.3 文档关联、长度分布与重叠控制

滑窗参数决定单条样本长什么样，另有三件事决定一批样本整体长什么样：片段之间的关联怎么记、样本长度怎么分布、重叠到什么程度算多。三件都在落窗环节一并处理，事后补不回来。

文档关联分三层记录，如表 2-27。前两层已由片段的溯源字段承载（见表 2-41），第三层是本小节新增的文档族标识。设立文档族的用处很直接：同一份维护手册的 V3 与 V4、同一标准的新旧版本、同一台设备的手册与其附录，内容高度重叠，若一部分落进训练集、另一部分落进评测集，评测结果会虚高。文档族标识由文档对象上的标准号、设备型号与文档主题三项合成，同族文档在后续的训练与评测划分中整族同去同留，不逐份划分（口径见本章 5.7 节数据家族隔离一项）。

表 2-27　文档关联的三层标识与用途

表 2-27　数据来源：前两层字段依本章表 2-41 切分片段的溯源字段；文档族的隔离用法见本章 5.7 节。

长度分布与重叠控制的三项观测量如表 2-28。长度分布之所以要单独管，是因为按语义边界落窗必然带来长度离散：一个三百字的小节与一个两万字的章节走同一套参数，产出的样本长度能差两个数量级。工具的做法是先按窗口档位给出目标条数配比，落窗后统计实测直方图，偏离目标配比的档位在下一轮调整落窗偏差容许值或改用相邻窗口档位，不靠截断或补白把长度拉齐。

表 2-28　长度分布与重叠的三项观测量、首期基线与处置

表 2-28　数据来源：重叠比例口径见本章表 2-26；重复检测的指纹口径见本章表 2-34 重复拼接一行与 5.5 节重复检测一项；三项基线为本方案设定的首期目标，属待验证目标，随首批实测结果调整后报招标方确认。

三项门限的来源须交代清楚：招标文件对文档切分与拼接给出的是能力要求，未就长度分布与重叠给定量值，三项门限因而由我方设立，用途是把「长度分布要合理」「重叠不能过多」这类定性要求转换为可实测、可核对的数；招标文件已给定量值的条款，承诺值取条款值本身，口径不改写、量值不下调。门限由我方设立，测法就须与门限一并给出——只给一个数而不给怎么测、多久测一次，这个数在验收时无从核对。三项的统计范围、测量频次、计算式与趋向值如表 2-28A。

表 2-28A　长度分布与重叠三项门限的统计范围、频次与计算式

表 2-28A　数据来源：观测量与首期基线见本章表 2-28；重叠比例的分档配置见本章表 2-26；指纹口径见本章表 2-34 重复拼接一行。门限与趋向值为本方案设立的待验证目标，首批实测后写入批次报告并报招标方确认。

不达标时的处置分两级。单批次单档超限的，按表 2-28 末列就地处置，调整落窗偏差容许值或改用相邻档位，留痕含调整前后取值与生效批次；同一档位连续两批超限的，升为策略性复核（复核点与承办角色见本章 7.2 节），先判该文档类型的档位配比本身是否与语料的实际结构不符，再判落窗参数，调整后重跑该批次并在批次报告中单列调整记录。两级处置都不以放宽门限的方式关闭问题：门限放宽一次，此前各批次的对照基准即告失效。

3.3.4 处理流程与样例

工具 3 的作业流程按五步推进：接收结构化文档对象并校验结构置信度；按章节、段落、句子、表格四类边界标出候选落窗点；按窗口参数在候选点上落窗，表格整体纳入不拆分；为每个窗口生成片段级来源映射表；执行质量检查（片段过短、重复拼接、语义断裂、来源缺失、Token 超限五类，见表 2-34 相应行）并分流。结构置信度低于阈值的文档不进入落窗，直接转待校对队列。这一道前置校验的意义在于，结构没还原好的文档无论怎么切都切不对。

一条长上下文样本的产出样例（节选，对应图 2-7 中的窗口 W1）：

{
  "sample_id": "LC-SCS-2027Q1-001204",
  "window_spec": {"target_tokens": 4096, "actual_tokens": 3978, "overlap_ratio": 0.10, "cross_section_policy": "按父章节允许"},
  "text": "【§5 减速器维护】\n5.1 日常检查\n……\n5.2 润滑管理\n……\n<TABLE id=\"T-5-1\" caption=\"减速器润滑油牌号与换油周期\">……</TABLE>\n……",
  "source_map": [
    {"seq": 1, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.1 日常检查", "page_start": 108, "page_end": 110, "paragraph_seq": "1-14", "char_range": [46012, 47880], "element_type": "正文"},
    {"seq": 2, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.2 润滑管理", "page_start": 110, "page_end": 111, "paragraph_seq": "1-9", "char_range": [47881, 48950], "element_type": "正文"},
    {"seq": 3, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.2 润滑管理", "page_start": 111, "page_end": 112, "paragraph_seq": "表 5-1", "char_range": [48951, 49420], "element_type": "表格", "table_id": "T-5-1", "cross_page": true}
  ],
  "split_basis": ["章节", "表格边界"],
  "qc": {"too_short": false, "duplicate": false, "semantic_break": false, "source_missing": false, "token_overflow": false},
  "lineage": {"source": ["SCS-SB-V4"], "pipeline": "工具5→工具3", "tool_version": "doc-chunk-1.3.1", "structure_confidence": 0.93, "security_label": "内部"}
}

样例中 seq 3 这一项是跨页表格，cross_page 为真且作为一个不可分割要素整体纳入窗口。若按纯长度切分，这张"润滑油牌号与换油周期"表会被从中间断开，后续用它生成的问答样本就会出现牌号与周期对不上的错误。这类错误在样本层面很难被发现，因为两半各自都是通顺的文本。

3.3.5 接口与验收口径

表 2-29　文档切分与拼接工具链的接口

验收口径：我方提供七类格式各不少于 2 份的导入演示样例（其中 PDF 覆盖电子、影像、图文混排三种成因）、滑窗参数三档配置的输出样例、来源反查的双向验证记录、配置说明与接口说明、测试报告。测试报告须给出各格式的要素识别抽样准确率实测值、影像 PDF 转入待校对队列的比例，以及一批样本的来源反查逐条核对结果。要素识别的承诺按可核验的口径给出：按格式分别给出实测准确率基线，低置信度内容显式进待校对队列而不静默入库，并随语料积累逐步接近设定目标。

3.3.6 任务创建入参契约、调用样例与异常回退

切分这一步决定长上下文样本的边界落在哪里，也决定它日后能不能被追回原文，因此任务创建时要固定下来的是三组量：窗口怎么落、跨章节能不能拼、来源映射记到多细。表 2-30 的字段按这三组展开，取值与默认口径沿用本章表 2-26——窗口长度 4096 Token、重叠比例 10%、最小长度 1024 Token 是技术手册与标准类文档的默认档，重叠比例取在较低档位，是因为过高的重叠会在预训练语料中引入重复。

params.doc_level_grouping 是其中唯一不接受覆盖的字段，固定为真。它要防的是同一份文档被切开后一部分进训练集、另一部分进测试集：这种同源会把后续评测结果抬高，而且抬高得相当隐蔽，所以它不作为可调参数，由表 2-31 的 TC03-101 在受理前直接拦截。来源映射粒度缺省取字符区间级，是为了让任一片段都能回指到原文的页与字符区间，这也是场景验证一侧“说清依据出自哪一版文件哪一页”的前提。读表时“必填”一列是受理门槛，“缺省与约束”一列给出未显式传参时的实际行为。

表 2-30　工具 3 的任务创建入参契约

{
  "client_request_id": "REQ-2027Q1-SEG-0088",
  "selector": {"doc_refs": ["SCS-SB-V4", "SCS-GC-V2", "STD-AQ-2026"]},
  "params": {
    "window": {"target_tokens": 4096, "overlap_ratio": 0.10, "min_tokens": 1024},
    "cross_section_policy": "按父章节允许",
    "source_map_granularity": "字符区间级",
    "doc_level_grouping": true
  },
  "output": {"dataset_ref": "DS-PRETRAIN-2027Q1/longctx", "formats": ["jsonl", "parquet"]}
}

表 2-31　工具 3 的异常与回退

接口层面可当场核对的点：取任一长上下文样本，按 source_map 能回到原文档的页与字符区间；构造一个 doc_level_grouping 为假的请求，接口须拒绝受理。质量口径按本章 3.3.5 节执行。

3.4 RAG 数据构建工具链（3.2.3.3.2）

本工具在流水线上接收工具 5 与工具 3 的产出，输出查询—上下文—回答三元组与 RAG 评测样本，并为思维链构建类工具链提供背景材料检索服务。

3.4.1 检索链路的七个环节

招标文件要求支持 RAG 数据构建能力，能够完成文本向量化、向量库入库、关键词检索、向量检索、混合检索、重排、证据选择和上下文组装（b0947）（b0948）。

这八项动作构成一条完整链路。链路的设计要点不在于每一项用什么算法，而在于两件事：混合检索的权重如何确定，以及证据选择阶段按什么规则取舍。前者决定召回，后者决定生成出来的样本是否站得住。

文本向量化经平台统一模型网关调用向量化能力，向量模型标识与版本记入索引元数据。这一点在本项目有实际必要性：向量模型换代后，旧索引与新查询的向量不在同一空间，必须能查出"哪些索引是用哪个版本建的"，才能判断是否需要重建。索引按知识域分库建设，四个数据域各自独立，跨域检索由上层按授权范围合并，不把不同密级的内容混在一个索引里。

入库时每个片段除向量外同时写入可过滤的元数据：源文档标识与版本、章节树路径、页码、要素类型、业务对象标签（如所属设备型号、所属工序、所属物料类别）、密级标记、生效状态（现行／作废／替代）。生效状态这一项对标准与制度类文档尤其重要。甲方的技术标准与管理制度存在版本更替，作废版本不能被检索到当作依据，但也不能直接删除，因为历史问答的追溯需要它。

关键词检索与向量检索并行执行后做混合。混合不是简单加权求和：两路检索的得分尺度不同，先各自在候选集内做分数归一化，再按场景配置的权重合并。权重按文档类型分档设定：标准与规程类文档的查询常含条款号、型号、标准号这类精确标识，关键词检索权重取高；故障现象描述、工艺判断这类查询语义化程度高，向量检索权重取高。初始权重按场景设定后，以人工标注的查询—相关片段对为校准集做一轮调参，调参结果写入配置并记版本。

重排对混合后的候选集做精排，重排模型同样经统一模型网关接入，可替换、可评测。重排之后进入证据选择：这一步不是取前 N 条，而是按四条规则取舍：同一源文档的连续片段优先合并为一段而不是分列多条；内容高度重复的片段去重保留信息量最大者；作废状态的片段剔除；与查询的实体不匹配的片段剔除（如查询指向某一型号而片段指向另一型号）。实体不匹配的剔除依赖入库时写入的业务对象标签，这也是为什么元数据必须在入库阶段就写全。

上下文组装把选中的证据按原文顺序而非得分顺序排列，补上章节标题作为层级提示，插入片段分隔标记与出处标注，最后做长度预算：超出目标上下文长度时按引用片段裁剪策略裁剪，而不是整段丢弃。

图 2-8　RAG 数据构建链路与责任边界

图 2-8　RAG 数据构建链路与责任边界。数据来源：招标文件 3.2.3.3.2 节第（1）（3）条（b0947）（b0948）（b0951）（b0952）（b0953）。

3.4.2 查询—上下文—回答三元组的生成与证据留痕

招标文件要求支持基于检索结果自动生成查询、上下文、回答三元组，并保留证据来源、引用片段、页码、置信度和人工复核状态（b0949）（b0950）。

三元组的生成方向有两条，工具链都支持，用途不同。

正向生成从查询出发：查询来自查询模板渲染、专家题库或历史问答记录，走检索链路得到上下文，再由大模型基于上下文生成回答。这条路径贴近实际使用形态，适合生成评测样本。

反向生成从文档出发：先取一段结构化片段，由大模型基于该片段生成若干个"该片段能回答的问题"，再把这些问题投回检索链路，只有当检索能把原片段召回到前列时，该问题才被保留为有效查询。这条路径的好处是覆盖面可控——可以保证每一份重要文档都被覆盖到，不会出现"手册第 7 章没有任何一条训练样本"的情况；同时它自带一道检验：如果一个问题连它的来源片段都召回不出来，说明这个问题表述有问题或索引有问题，这本身是有价值的诊断信号。

本项目的配比口径是：预训练与检索增强训练用样本以反向生成为主，保证文档覆盖；评测样本以正向生成为主，并要求查询来源可追溯到专家题库或真实问答记录，避免评测题与训练题同源。

三元组的字段定义如表 2-32。

表 2-32　查询—上下文—回答三元组的字段定义

answer_grounding 字段是"引用准确率"与"答案接地性"两项指标可计算的前提：回答被切成论断单元，每个论断单元指向它所依据的 evidence 项，没有对应项的论断即为未接地论断。这个设计让"答案是否有出处"从一个主观判断变成一个可统计的数字。

一条 RAG 三元组样例如下（取自装备健康诊断场景的维修手册问答）：

{
  "triple_id": "RAG-ZBJK-2027Q1-004137",
  "query": "刮板输送机减速器运行中出现油温持续升高但振动值正常，按维护手册应依次检查哪些项，判断顺序的依据是什么？",
  "query_origin": "专家题库",
  "context": "【来源 1｜《刮板输送机安装使用维护手册》V4 · 第 5 章 减速器维护 · 第 112 页】减速器正常工作油温不应超过规定上限，油温异常升高时按下列顺序排查：润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况……\n【来源 2｜同上 · 第 5 章 · 第 114 页】油温升高而振动值未同步升高时，优先从润滑与冷却环节排查；若振动值同步升高，应优先排查轴承与齿轮……\n【来源 3｜《减速器润滑油管理规定》V2 · 第 3 条 · 第 2 页】润滑油更换周期按运行小时数与油品检测结果双重判定……",
  "evidence": [
    {"doc_id": "SCS-SB-V4", "version": "V4", "section": "5 减速器维护 / 5.3 异常处置", "page": 112, "quote": "油温异常升高时按下列顺序排查：润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况", "char_range": [48213, 48302], "retrieval_score": 0.81, "rerank_score": 0.93},
    {"doc_id": "SCS-SB-V4", "version": "V4", "section": "5 减速器维护 / 5.3 异常处置", "page": 114, "quote": "油温升高而振动值未同步升高时，优先从润滑与冷却环节排查", "char_range": [49880, 49932], "retrieval_score": 0.76, "rerank_score": 0.95},
    {"doc_id": "RHY-GL-V2", "version": "V2", "section": "3 更换周期", "page": 2, "quote": "润滑油更换周期按运行小时数与油品检测结果双重判定", "char_range": [1204, 1252], "retrieval_score": 0.68, "rerank_score": 0.71}
  ],
  "answer": "应先排查润滑与冷却环节，再排查传动部件。具体顺序为：一、核查润滑油量与油位；二、核查润滑油品质与是否超过更换周期；三、核查冷却水流量与进水温度；四、在前三项均正常时再排查轴承状态与齿轮啮合状况。判断顺序的依据是手册中关于振动值是否同步升高的分支规定：本例振动值正常，说明传动部件的机械状态暂无明显异常迹象，故优先从润滑与冷却环节入手；润滑油是否需要更换按运行小时数与油品检测结果双重判定，不单以时间判断。",
  "answer_grounding": [
    {"claim": "先排查润滑与冷却环节，再排查传动部件", "evidence_idx": [1]},
    {"claim": "排查顺序为油位、油品与更换周期、冷却水流量与水温、轴承与齿轮", "evidence_idx": [0]},
    {"claim": "润滑油更换周期按运行小时数与油品检测结果双重判定", "evidence_idx": [2]}
  ],
  "confidence": 0.88,
  "review_status": "复核通过",
  "review_record": {"role": "领域专家", "time": "2027-02-18T10:24:00+08:00", "modification": "将原回答中的具体油温数值删去，改为引用手册规定上限，避免写入未经确认的数值", "reject_reason": null},
  "lineage": {"source": ["SCS-SB-V4", "RHY-GL-V2"], "pipeline": "工具5→工具4", "tool_version": "rag-build-1.6.2", "index_version": "IDX-ZBJK-2027Q1-03", "embed_model": "gw-embed-b@2026.11", "rerank_model": "gw-rerank-a@2026.12", "qc_result": "pass", "audit_status": "已采纳"}
}

样例复核要点：专家将具体油温数值改为引用手册「规定上限」。模型常把事实补成定点数值，手册多为区间或条件式；此类修订应写入生成约束。

3.4.3 检索参数配置

招标文件要求支持 RAG 检索参数配置，能够配置 Top-K、召回阈值、重排模型、metadata filter、上下文长度、证据去重策略和引用片段裁剪策略，满足不同知识库、不同任务和不同上下文窗口的检索增强数据构建需求（b0951）（b0952）（b0953）。

参数不按"一套默认值通吃"设计，而按知识库类型分档预置，这样现场配置时只需选档并微调，不必逐项从零设定。分档口径如表 2-33。

表 2-33　检索参数的分档配置口径

四档的差异来自知识库自身的性质。标准与规程库的查询多含精确标识且答案不容改写，所以关键词权重高、保留条数少、裁剪必须保完整条款句。工单与案例库的单条内容短但同类数量多，所以检索条数放大、去重阈值放低。制度与合同库涉及授权与密级，metadata filter 必须做授权范围校验。这一项是硬约束，不是性能选项。

参数配置以版本化方式保存，每个三元组记录生成时所用的配置版本。调参走与模板相同的灰度流程：在校准集上先评估，六项质量指标中至少四项不低于当前基线才放量生效，不达标则保持原配置。

3.4.4 长上下文与 RAG 样本的质量检查

招标文件要求支持长上下文和 RAG 样本质量检查，能够识别片段过短、重复拼接、语义断裂、来源缺失、Token 超限、证据不相关、引用缺失和答案幻觉八类问题（b0954）（b0955）。

八类问题的检测方法分两个通道：规则通道处理可计算的问题，模型通道处理需要语义判断的问题。两个通道的结果合并后形成质量标记，不互相替代：规则通道便宜、可解释、结果稳定，应当尽可能多承担；模型通道处理剩下的部分，并且其判定结果须经抽检校验。检测口径如表 2-34。

表 2-34　八类质量问题的检测方法与处置

这里的"答案幻觉"检测要说清一件事：规则通道只能查出"答案里的数字在证据里找不到"这类硬性不符，查不出"数字对但推理错"。后者由模型通道加人工抽检承担。本环节的承诺由两条构成：硬性不符项按规则逐条拦截并给出实测拦截率，模型通道的判定以月度 200 条人工抽检校验其准确率并公布，整体幻觉率随规则库与提示词约束的积累逐步下降；当某一批次的人工抽检幻觉率高于基线一定幅度时，该批次整体转人工复核，并回查是索引、检索参数还是生成约束导致。这是本环节的回退路径。

3.4.5 RAG 评测数据生成与质量评价

招标文件要求支持 RAG 评测数据生成和质量评价，能够围绕查询、上下文、回答三元组输出召回率、引用准确率、证据相关性、回答一致性、答案接地性和人工复核状态等指标，支撑 RAG 数据集训练、评测和验收（b0956）（b0957）（b0958）。

六项指标的计算口径必须先定清楚，否则验收时各说各话。口径如表 2-35。表中"初始基线"一列的数值是本项目拟定的起测口径，首批评测集建成后以实测值替换并写入质量报告；"验收方式"一列说明该指标在验收时如何核验。

表 2-35　RAG 评测的六项指标口径

六项的量值来源同样须分清：招标文件要求围绕三元组输出这六项指标，未就各项给定目标值，表 2-35 的初始基线因而由我方设立；招标文件已给定量值的条款，承诺值取条款值本身，口径不改写、量值不下调。六项的样本量、频次、计算式与低于基线时的处置如表 2-35A。其中人工复核一项的地位与另外五项不同：它是另外五项的判定基准（证据相关性以人工为准、引用准确率由人工逐论断核对），因此它给的是逐条复核的覆盖率门限而不是抽样门限——基准本身若只抽样核过一部分，依它校准出来的五项指标就只在那一部分上成立。

表 2-35A　六项指标的样本量、频次、计算式与低于基线时的处置

表 2-35A　数据来源：指标口径与初始基线见本章表 2-35；复核点、承办角色与留痕要求见本章表 2-94 工具 4 两行；抽检比例与回检规模沿用本章既有的复核口径。趋向值为本方案设立的待验证目标。

评测集建设有两条纪律。其一，评测集与训练集按来源与时间双重切分隔离：来源切分指评测用文档与训练用文档不重叠，时间切分指以某一时点为界，该时点之后入库的文档优先划入评测集；两条同时生效，隔离标记写入血缘且不可逆。其二，评测集必须包含一类"应当拒答"的查询，即知识库中确实没有依据的问题。

通用场景的核心需求之一是"在没有依据时能够明确地不回答"，如果评测集里全是有答案的问题，这项能力就测不出来。本项目按不低于 10% 的比例在评测集中设置无依据查询，标准答案是"知识库中无相关依据"，回答给出具体内容的判为错误。

质量评价报告按批次、来源、任务类型和数据集版本四个维度生成，报告内容包括六项指标值、与上一版本的对比、低于基线的维度清单与问题样本清单。报告格式与通用接口、追溯与验收要求一节规定的质量报告格式一致。

3.4.6 处理流程

工具 4 的作业流程按八步推进，如表 2-36。流程分两条支线：索引构建支线（第 1–2 步）在知识库变更时执行，样本生成支线（第 3–8 步）按批次执行。

表 2-36　RAG 数据构建工具链的处理流程

第 7 步的"两集是否有交集"是一道硬性校验：训练集与评测集一旦出现交集，后续所有评测结论都不可信，因此这一步校验失败即整体回滚，不做部分修补。

3.4.7 接口与验收口径

表 2-37　RAG 数据构建工具链的接口

验收口径：我方提供完整演示样例一套（覆盖索引创建、四档参数检索、正反双向三元组生成、八类质量检查、评测执行与报告）、输入输出样例各不少于 20 条、四档参数配置说明、接口说明、测试报告。测试报告须给出六项指标在甲方真实文档上的实测值、无依据查询的拒答判定结果、一次向量模型换代后的索引重建范围判定记录。

3.4.8 任务创建入参契约、调用样例与异常回退

检索增强样本的可信度取决于两件事：检索到的证据是不是当时那一版语料里的，以及已知的质量问题有没有被逐类检出。入参契约即围绕这两件事设计。片段库引用必须与索引配置同版本——索引一旦建在另一版语料上，同一条查询的召回结果就不可重放，证据也就无从复核，这一项由表 2-39 的 TC04-101 在受理前拦下。检索参数按知识库性质分档，取值沿用本章表 2-33；调用样例中的 Top-K 与召回阈值对应标准与规程档的口径，该档关键词权重高、保留条数少，是因为标准条款的查询多含精确标识且答案不容改写。

质量检测项与评测指标两列缺省全开，即八类质量问题与六项指标默认都要产出。这样设计的理由在于：缺省关掉的检测项在项目后期几乎不会被重新打开；而指标一旦缺项，返工时就判断不出该退回检索侧还是生成侧。读表时“必填”一列是受理门槛，“缺省与约束”一列是证据，关键的一行是检索参数——它直接决定证据召回率与冗余率两项指标的实测水平。

表 2-38　工具 4 的任务创建入参契约

{
  "client_request_id": "REQ-2027Q1-RAG-0121",
  "selector": {"query_set": "QSET-STD-2027Q1@v1", "corpus_ref": "DS-PRETRAIN-2027Q1/longctx@v2"},
  "params": {
    "index_config_version": "IDX-2027.01",
    "retrieval": {"top_k": 8, "rerank": true, "score_floor": 0.35, "chunk_expand": "父章节"},
    "quality_checks": ["证据不足", "证据冲突", "答非所问", "引用错位", "跨文档混淆", "时效过期", "术语歧义", "重复片段"],
    "metrics": ["证据召回率", "证据精确率", "答案可依据率", "引用准确率", "冗余率", "拒答恰当率"]
  },
  "output": {"dataset_ref": "DS-SFT-2027Q1/rag", "formats": ["jsonl"]}
}

表 2-39　工具 4 的异常与回退

接口层面可当场核对的点：构造一个检索无结果的查询，返回须为拒答样本且标明原因；向量化服务不可用时，返回须显式标记降级而不是静默改用关键词检索。质量口径按本章 3.4.7 节执行。

3.5 文档结构解析工具链（3.2.3.3.3）

本工具是长上下文构建链条的第一道，上游接收采集与预处理环节交付的文档文件，下游向工具 3 与工具 4 输出结构化文档对象与章节树。

3.5.1 文档结构化解析的六项能力

招标文件要求支持文档结构化解析，能够完成标题层级识别、目录结构还原、段落归并、页眉页脚剔除、跨页表格拼接、公式和图文说明转换（b0960）。

六项中前四项处理的是"版面噪声与结构丢失"，后两项处理的是"跨页与非文本要素"。这六项在甲方的文档上各有具体难点，解析方法与条件不具备时的退化策略如表 2-40。

表 2-40　六项解析能力的方法、难点与退化策略

退化策略要求错误显式分流：标记「结构置信度低」的文档进待人工确认队列，不静默入预训练语料；标记「疑为同一表格」的对象须人工确认后再用于问答生成。

图 2-9　文档结构解析流程与置信度分流

图 2-9　文档结构解析流程与置信度分流。数据来源：招标文件 3.2.3.3.3 节第（1）（2）条（b0960）（b0961）；解析项与退化策略见本章表 2-40。

3.5.2 混合切分与溯源字段

招标文件要求支持按章节、段落、句子、语义边界、表格边界和 Token 长度进行混合切分，切分结果须保留原始文档来源、页码、标题层级、段落序号和上下文关系（b0961）。

六类切分依据按优先级联合使用：章节→段落→句子→语义；表格边界为硬约束；Token 长度仅为上限。前述边界都无法满足长度要求时，才允许在最接近的句子边界处强制落点。高层级边界优先，以保持片段语义完整、利于检索召回。

「按 Token 长度切分」仅作其他切分的长度上限，不作独立切分方式。若以长度为首要依据，易在句中或表中断开。

切分结果携带的溯源字段如表 2-41。这些字段与来源映射表（表 2-26 所述）在内容上一致，差别在于：本表描述的是单个片段自身携带的字段，来源映射表描述的是一个长上下文样本所含多个片段的集合映射，两者是同一套溯源信息在不同粒度上的呈现，不是两套口径。

表 2-41　切分片段的溯源字段

split_basis 字段的用途是质量回溯：如果某批样本质量偏低，可以直接统计这批样本中"长度强制"切分的占比，若占比明显偏高，说明文档的结构解析不充分，应回到解析环节而不是在切分参数上反复试。

3.5.3 处理流程与样例

工具 5 的作业流程按六步推进：文件接入与成因判定；版面分析（分栏、区块、阅读顺序重建）；页眉页脚剔除并提取其中的章节线索与版本元数据；标题层级识别与目录结构还原并做对齐校验；段落归并、跨页表格拼接、公式与图说转换；结构置信度评定与分流（达标出结构化文档对象，不达标进待人工确认队列）。六步之后按混合切分优先级输出片段。

一份技术手册的解析产出样例（章节树节选与一个片段）：

{
  "doc_id": "SCS-SB-V4",
  "doc_version": "V4",
  "origin": "电子 PDF",
  "meta_from_footer": {"版本号": "V4", "受控标识": "受控文件", "编制年份": "2024"},
  "section_tree": [
    {"level": 1, "title": "5 减速器维护", "page_start": 106, "page_end": 121, "children": [
      {"level": 2, "title": "5.1 日常检查", "page_start": 108, "page_end": 110},
      {"level": 2, "title": "5.2 润滑管理", "page_start": 110, "page_end": 112, "elements": [{"type": "表格", "table_id": "T-5-1", "caption": "减速器润滑油牌号与换油周期", "cross_page": true, "pages": [111, 112]}]},
      {"level": 2, "title": "5.3 异常处置", "page_start": 112, "page_end": 118}
    ]}
  ],
  "toc_alignment": {"toc_page_detected": true, "aligned_titles": 142, "total_titles": 148, "offset_corrected": 2, "result": "采用自带目录"},
  "structure_confidence": 0.93
}

{
  "chunk_id": "CH-SCS-SB-V4-005311",
  "doc_id": "SCS-SB-V4", "doc_version": "V4",
  "page_start": 112, "page_end": 112,
  "section_path": "5 减速器维护 / 5.3 异常处置",
  "section_level": 2,
  "paragraph_seq": 3,
  "char_range": [48213, 48302],
  "element_type": "正文",
  "text": "油温异常升高时按下列顺序排查：润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况。",
  "prev_chunk_id": "CH-SCS-SB-V4-005310",
  "next_chunk_id": "CH-SCS-SB-V4-005312",
  "split_basis": "段落",
  "confidence": 0.95,
  "security_label": "内部"
}

两段样例的衔接：章节树记录跨页表，第二段取自表后正文；若跨页表未拼接，表残片会混入正文片段。双重溯源字段便于抽检定位。

3.5.4 接口与验收口径

表 2-42　文档结构解析工具链的接口

验收口径：我方提供演示样例一套（覆盖表 2-40 六项解析能力，其中跨页表格与两栏排版标准各不少于 1 例）、输入输出样例、配置说明与接口说明、测试报告。测试报告须给出六项解析能力在甲方真实文档上的抽样准确率实测值、低置信度文档占比、以及待人工确认队列的处置记录。历史文档的结构还原程度与原始资料品质直接相关：扫描质量差、编号体系混乱的早期资料，其可还原的结构层级有限。本方案的承诺因此落在三条上：解析结果的置信度可判、低置信度内容显式分流、覆盖程度随规则与模型迭代逐步提高，各档资料的实测覆盖率在质量报告中分别列示。

3.5.5 任务创建入参契约、调用样例与异常回退

表 2-43　工具 5 的任务创建入参契约

{
  "client_request_id": "REQ-2027Q1-DOC-0245",
  "selector": {"file_refs": [{"doc_id": "SCS-SB-V4", "file_hash": "<文件指纹>"}, {"doc_id": "STD-AQ-2026", "file_hash": "<文件指纹>"}]},
  "params": {
    "capabilities": ["章节树还原", "段落结构化", "表格还原", "图题与图注关联", "页眉页脚剥离", "公式与符号保留"],
    "confidence_thresholds": {"high": 0.90, "low": 0.60},
    "degrade_policy": {"表格还原": "降为单元格文本并标记结构未还原"}
  },
  "output": {"dataset_ref": "DS-DOC-2027Q1/parsed", "formats": ["jsonl"]}
}

表 2-44　工具 5 的异常与回退

接口层面可当场核对的点：取一份跨页续表的文档，续表部分须标记表头待确认；取一份低清扫描件，输出须标记层级未还原而不是给出一个看似完整的章节树。质量口径按本章 3.5.4 节执行，并与场景验证一侧的表格解析四层精度口径对齐（见通用场景验证方案相关章节）。

4、多轮对话数据构建类工具链（3.2.3.4）

4.1 甲方的现场问题与本类工具链的能力定位

招标文件要求这一类工具链提供面向智能客服、设备运维、专家问答、业务协同、故障排查等场景的多轮对话数据生产能力，用于构建具有上下文连续性、角色一致性、业务闭环和可追溯来源的对话样本，覆盖角色剧本配置、多智能体对话生成、工单转写、脱敏、对话质量筛选和分层采样六个环节（b0963）。

甲方业务判断多在多轮追问中收敛，而非单轮问答。售前选型接口参数常经多方协商、电子留痕不足；健康诊断排查亦需先问测点、工况、检修史再收敛到部件。单轮样本易训出「未问清前提即给完整结论」的行为。

本类工具链的三个工具分工明确：对话模拟生成工具链（工具 6）从角色剧本出发造对话，解决的是"覆盖面"问题——现场缺的那些没有电子留痕的协商过程，只能靠构造；结构化工单转对话工具链（工具 7）从真实工单出发转写，解决的是"真实性"问题。

SOS 服务工单、CRM 售后记录、运维报告里有真实的现象描述与处置结论；对话质量筛选工具链（工具 8）解决的是"可用性"问题，两类来源的样本都要过它这一道。构造的对话覆盖面好但真实性弱，转写的对话真实性强但覆盖面受历史记录限制，本项目两条路都走，在数据集中按比例配比，比例按场景分别设定并记入数据卡。

4.2 可处理的数据与产出物

招标文件列明本类工具链须能够处理角色剧本、业务场景模板、领域知识库、问题种子、SOS 工单、CRM 售后记录、运维报告、维修闭环记录、评分规则和敏感词规则等数据，生成多轮对话样本、角色标签、脱敏记录、质量评分、低质样本清单等（b0964）。各类输入的落点与取数前提如表 2-45。

表 2-45　多轮对话数据构建类工具链的输入数据与取数前提

这里要如实指出两处取数缺口，它们影响工具 7 的产出规模：其一，服务工单与运维报警之间没有事件级配对，"某次报警对应某次维修"这种关系需要回填建立，不是现成可导出的数据；其二，CRM 系统正在上线、历史数据较少，售后记录类样本的规模在首期会受限。两处缺口的处理方式是在数据卡上如实统计覆盖度并随进度更新，不以构造样本充抵真实样本。构造与转写两类样本在数据集中分别标记来源，不混计。

4.3 对话模拟生成工具链（3.2.3.4.1）

4.3.1 角色剧本配置

招标文件要求支持配置用户、助手、专家、维修人员、质检人员、调度人员等多类角色剧本，并可定义角色目标、知识边界、表达风格、任务约束和安全边界（b0966）（b0967）。

角色剧本约束表达差异与知识边界。若不约束，各角色易同腔同调，「角色一致性」评分偏低。五项定义中优先守住「知识边界」：用户角色不得掌握仅专家可知的判据，以免自问自答、追问失效。六类角色的剧本要点如表 2-46。

表 2-46　六类角色的剧本定义要点

剧本以配置文件形式版本化管理，角色定义变更产生新版本，对话样本上记录所用剧本的标识与版本。角色标签作为样本字段输出，便于后续按角色组合做分层采样。

4.3.2 多智能体对话生成与流程控制

招标文件要求支持基于多智能体机制自动生成多轮对话，能够控制对话轮次、话题流转、追问策略、澄清机制、终止条件和异常分支（b0968）（b0969）。

多智能体的实现方式是：每个角色由一个独立的智能体承担，智能体只能看到自己角色剧本允许看到的信息，对话在一个受控的调度器下轮转。调度器按状态机推进对话阶段（现象描述→前提澄清→判断分析→处置建议→结果确认→复盘总结），而非简单轮流发言；当前阶段决定发言方与可执行动作。六项控制项的配置口径如表 2-47。

表 2-47　对话生成的六项流程控制

异常分支这一项需要特别说明其用途。现场的真实对话很少是理想的：用户会把两个问题混着说，会中途改口，会提出超出系统范围的要求。若训练数据里全是理想对话，模型在现场遇到非理想输入时表现会明显退化。工具链因此把异常分支作为必须生成的一部分，按配额纳入。本项目口径是异常分支样本占对话样本总量的 10%–15%，具体比例按场景在数据卡中记录。

图 2-10　多智能体对话生成的状态机与控制点

图 2-10　多智能体对话生成的状态机与控制点。数据来源：招标文件 3.2.3.4.1 节第（2）条（b0968）（b0969）；控制项口径见本章表 2-47。

4.3.3 智能体的职责边界与交互协议

招标文件要求基于"多智能体机制"（b0968）。多智能体须落到可验收形态，并定死三件事：各角色可见信息、可执行动作、下一发言方裁决权。任一含糊，对话易退化为同一模型换称呼自说自话。

参与一次对话生成的实体分两类。一类是角色智能体，按表 2-46 的剧本装配，数量与种类随场景配置而定，由场景配置决定本次启用哪些角色。另一类是调度器，它不是角色、不发言、不产出对话内容，职责是裁决每一轮由谁发言、本轮发言是否合法、以及对话何时结束。把裁决权从角色智能体手里收到调度器，是这套机制与"让几个模型自由聊天"的根本差别：自由聊天的对话由最健谈的那个角色带跑，而本项目需要的是对话按业务阶段推进。

可见性隔离是角色一致性的实现手段。各角色智能体能看到的信息范围如表 2-48。其中最关键的一条是用户角色不具备知识库检索能力：用户一旦能检索到规程与判据，它的提问会自带答案，追问与澄清环节随即失去意义，追问与澄清是多轮样本相对单轮样本的主要训练目标。

表 2-48　角色智能体的可见信息与动作集（b0967、b0968）

交互协议把每一轮发言约束成一条结构化消息，而不是一段自由文本。协议字段如表 2-49。设立协议的用意有两层：其一，调度器按字段裁决而不按文义猜测，裁决结果因此可复算；其二，字段本身就是对话样本的标注，阶段标记与引用依据在生成时写入，不必事后再标一遍。

表 2-49　一次发言的协议字段

最后两个字段只作参考，不构成裁决。若允许角色智能体自行指定下一发言方或自行宣布结束，对话的推进就由内容生成方自己决定，状态机形同虚设，而"控制对话轮次"与"控制终止条件"这两项要求（b0968、b0969）也就无从落实。把建议与裁决分开，建议仍然有用——它是调度器判断对话是否已经收敛的一项输入，也是分析对话为何提前收敛时的线索。

裁决规则只有三条，调度器逐轮按序执行：先判阶段迁移是否合法，再判动作是否在该角色动作集内，最后判内容是否越出该角色的知识边界。任何一条不通过即拦截该轮并要求重新生成；同一轮的重新生成上限为两次，两次仍不通过则终止该对话并计入失败。

失败对话不进入样本集，但其作业轨迹完整保留，用于分析是剧本配置过严还是场景配置与业务实际不符。这一条在实施中会被反复用到：首期试点批次的失败对话往往集中在某一两个场景，那通常意味着该场景的澄清清单或阶段定义需要与业务口再对一次，而不是模型能力不足。

图 2-11　角色隔离、交互协议与调度器裁决

图 2-11　角色隔离、交互协议与调度器裁决。角色智能体按剧本产出一轮发言，调度器按三条规则裁决，违规轮次拦截重生成，合法轮次写入对话并带阶段标记与引用依据。数据来源：招标文件 3.2.3.4.1 节第（1）（2）条（b0967）（b0968）（b0969）；可见信息与动作集见本章表 2-48，协议字段见表 2-49。

可重放是这套机制接受核查的方式。一次对话生成作业的全部决定因素是四项版本与一个随机种子：角色剧本版本、场景配置版本、模板库版本、所用模型的网关标识与版本，以及本次作业的随机种子。五项随作业记录留存，使任何一条对话样本都能在原条件下重跑一遍并比对差异。甲方对某条样本提出疑问时，重放是比解释更有效的回应方式。

4.3.4 六项控制的可验证判据

表 2-47 给的是六项控制的配置项，配置本身不说明控制是否起作用。六项各自的观测量、基线、测量方法与不达标时的回退如表 2-50，作为"能够控制"一条的验收判据（b0968、b0969）。

基线的取法统一为：首期以试点批次的实测值作为基线并写入测试报告，此后各批次与基线比对，目标值为随批次推进逐步趋向表中所列水平。首期试点批次的规模与场景分布在实施方案中约定。本项目开工前无同类对话样本的历史实测可依，基线因此取自首期试点批次的实测值，不取自估计值。

表 2-50　六项控制的观测量、基线与回退

表中六项观测量的原始数据由对话生成作业直接产出，不需另做统计口径的转换，这一点在设计时是有意的：需要人工二次加工才能得到的指标，在项目后期大概率不会被持续统计。六项指标随每批次的控制项校验报告一并输出（接口见本章 4.3.9 节）。

六项的量值来源与测法一并交代：招标文件要求六项「能够控制」，未就控制效果给定量值，表 2-50 的基线与目标因而由我方设立；招标文件已给定量值的条款，承诺值取条款值本身，口径不改写、量值不下调。六项的统计范围、测量频次与计算式如表 2-50A，不达标时的回退仍按表 2-50 末列执行。

表 2-50A　六项控制的统计范围、频次与计算式

表 2-50A　数据来源：观测量、基线与回退见本章表 2-50；澄清清单与追问上限的配置口径见本章表 2-47；计数所依据的状态字段见本章表 2-51。门限与趋向值为本方案设立的待验证目标。

追问策略一项有两个方向相反的量，须分开判：触发率低说明该问的没问，超限占比高说明问起来收不住，两者不相互抵消，也不合并成一个数。某一批次触发率低于基线或超限占比高于 0.05 的，按表 2-50 末列就地回退；同一方向连续两批不达标的，升为策略性复核（见本章 7.2 节），由项目组先判场景澄清清单与追问上限的设置是否与该场景的信息释放节奏不符，调整配置后重跑试点批次复核。回退调的是配置，不调门限。

4.3.5 对话状态、上下文继承与对话内纠错

状态机管的是对话走到哪一阶段，它不记"已经问出了什么"。一段十二轮的故障排查对话里，第九轮的助手需要知道测点、工况与检修史这三项前提哪些已经拿到、哪个还悬着，否则会把问过的再问一遍，也会在前提没拿齐时就下结论。这件事由一个独立的对话状态对象承担，由调度器维护，逐轮更新，并随样本一并输出。

表 2-51　对话状态对象的字段与维护规则

表 2-51　数据来源：澄清清单与追问上限的口径见本章表 2-47；观测量的计算用法见表 2-50。

上下文继承按两条规则执行。其一，角色智能体每轮可见的不是对话全文，而是该角色允许看到的公开历史加上状态对象（可见范围见表 2-48），状态对象因此是跨轮信息传递的唯一通道，角色之间不另设私下传递。其二，对话轮数超过设定阈值后做状态压缩：早于最近六轮的轮次以状态对象的摘要代替原文送入生成，原文在样本中完整保留不受影响。压缩只改变生成时的输入，不改变样本内容；压缩阈值与摘要口径记入场景配置版本，重放时按同一版本还原（重放口径见本章 4.3.3 节）。

对话内的纠错是本项目明确要生成的一类内容，不是异常。甲方的真实排查过程常有改判：用户先说"昨天报了三次"，后面想起来是前天；助手先按润滑方向判断，检索到检修记录后改判为冷却回路。模型若没见过改判，遇到证据变化时会倾向于维持先前结论。三类纠错的触发、标记与状态更新如表 2-52。纠错轨迹在样本中整段保留，纠错前的错误结论不删除——删掉就只剩一条顺畅的正确路径，这类样本的训练价值恰恰在改判这一段。纠错样本按场景设定配额，与异常分支配额分列计数，不互相充抵。

表 2-52　三类对话内纠错的触发、标记与状态更新

表 2-52　数据来源：角色动作集与依据附带要求见本章表 2-48、表 2-49；异常分支与配额的计数口径见本章表 2-47 异常分支一行。

4.3.6 七类业务场景的对话生成

招标文件要求支持围绕产品选型、设备故障诊断、工艺审查、质量检验、安全合规、合同协同和售后服务等场景生成对话（b0970）（b0971）。

七类场景的对话结构差异不小，直接套同一套配置会得到一批形似而神不似的样本。工具链按场景预置配置模板，各场景的角色组合、轮次区间、须澄清前提与业务闭环要素如表 2-53。表中"业务闭环要素"一列是对话是否合格的硬条件——缺了闭环要素的对话，在工具 8 的"业务逻辑不闭环"检测中会被判为低质。

表 2-53　七类业务场景的对话生成配置

各场景的样本按四大数据域归集：产品选型归供需计划与产品工艺设计域，工艺审查与质量检验归产品工艺设计与质量域，设备故障诊断与售后服务归制造过程与质量域，安全合规与合同协同按内容归属分流。各场景的业务做法以场景验证方案相关章节为准；本节定的是对话样本的生成配置。

4.3.7 对话样本的字段与样例

一条多轮对话样本要能被独立判定合格，字段上须同时承载三类信息：对话本身（角色、轮次、阶段标记、本轮引用的依据）、对话的业务结论（闭环要素是否逐项满足、以何种方式终止），以及它在加工链路上的身份（来源类型、质量评分、脱敏记录、血缘）。表 2-54 按这三类编排，每个字段都对应后续某一道判据的输入：closure 供闭环要素满足率统计，anomaly_branch 供异常分支配额核算，termination 的四类取值把正常收尾与依据不足、超出授权、超轮次三种情形分开计数，使收敛类问题不被混进质量类问题。其中 quality_score 由工具 8 写入、desensitize_record 由工具 7 写入，本工具不自填——字段的写入方即该项的判定方。

字段定义之外另给一段完整对话的节选，是因为字段说明得了样本的构成，说明不了对话的成色：信息是否逐轮递进、各角色是否守住自己的知识边界，只有看原文才判得出来。

对话样本的字段定义如表 2-54。

表 2-54　多轮对话样本字段定义

一段设备故障诊断场景的模拟对话样例（节选，共 9 轮，此处取前 6 轮）：

样例核对要点：助手首轮先问型号／测点／工况／检修史（澄清清单）；用户回答不完整，符合知识边界；维修角色补具体数值，信息递进而非一次给齐。

4.3.8 处理流程

多轮对话由多个角色智能体分别发言，天然存在两种跑偏：一种是角色越界，助手替维修人员报出本该由现场确认的数值；另一种是过程塌缩，两三轮就给出结论，对话失去“先问清前提”的训练价值。七步流程要处理的正是这两件事，所以它不是按时间顺序罗列动作，而是每一步挂一个可判定的质检点，并规定不通过时是重新生成该轮、强制插入一轮，还是终止该条对话。

表中“质检点”一列是判据，“异常处置”一列给出不通过时的去向；关键的一行是第 3 步，它守的是角色知识边界，同一轮两次越界即终止该条对话并计入失败，而不是反复重试到生成一句看似合规的表述为止。七步的实测结果汇入本章表 2-50 的六项观测量，其中话题流转与追问策略两项分别对应第 2 步与第 4 步，基线取试点批次实测值，低于基线时按该表回退配置而不是放宽判据。

工具 6 的作业流程按七步推进，如表 2-55。

表 2-55　对话模拟生成工具链的处理流程

第 4 步的强制追问是这条流程中唯一由调度器主动干预对话内容的环节。设置它的理由是：模型倾向于尽快给出结论，若不强制，故障排查对话易两三轮收尾；强制追问用于训练「先问清前提」。

4.3.9 接口与验收口径

本工具链对外暴露的接口分两类：一类管可改的部分，即角色剧本与场景配置；另一类管跑起来之后看得见的部分，即任务、样本与校验报告。两类分开，是因为剧本与场景配置改一次就会改变此后全部样本的生成口径，必须走注册与发布并带版本标识与发布态；任务与样本只在当批次内有效，按任务标识取用即可。

表 2-56 中最值得留意的是末行的校验报告接口：它把生成过程中的控制项实测量直接开放出来，使验收不必只看产出条数——条数能证明产能，证明不了对话是不是按配置的流程走完的。这几项过程量的口径统一为三段：首批试点测得的数值写入测试报告作为基线，此后逐批统计并趋向本章表 2-50 给出的目标值，连续两个批次低于基线时按该表“不达标时的回退”一列处置，回退的是配置而不是判据。

表 2-56　对话模拟生成工具链的接口

验收口径：我方提供七类场景各不少于 2 段完整对话的演示样例（含异常分支样例不少于 3 段）、角色剧本与场景配置说明、接口说明、测试报告。测试报告须给出各场景的闭环要素满足率、澄清清单覆盖率、过早收敛与未收敛比例实测值，以及一次剧本版本变更前后的样本对比。

4.3.10 人工介入点与判定权归属

本工具链产出的是候选对话样本，不是可入集样本。判定权的归属如下：哪些判断由工具作出、哪些保留给人，以及引入多智能体后这条界线的位置。

引入多智能体后界线不变。对话样本能否进入数据集，判定依据仍然是对话质量筛选工具链（工具 8）的七维评分与低质判定，以及其后的人工抽检校正；工具 8 的评分维度、权重、抽检比例与低质判定阈值不因为上游改用多智能体生成而调整。工具 6 的调度器只负责生成过程是否合规，不负责样本质量是否合格，两者是两道独立的关口，前一道通过不代表后一道可以省略。

本工具链涉及的人工介入点有五处，见表 2-57。五处之中，第一处与第五处是策略性的，走策略变更会签；其余三处是作业性的，走复核与裁决队列。两类的区别在于前者改变的是此后全部样本的生成口径，后者只处置当前这一批。

表 2-57　对话模拟生成环节的人工介入点

剧本库与场景配置的改进是有边界的迭代，不是自行演化。路径固定为四步：质量筛选与控制项校验报告产出改进建议，复核与业务口形成会签意见，发布新版本的剧本库或场景配置并登记版本号与回滚路径，此后生成的样本记录新版本标识。既有样本不因剧本改版而回溯重写，需要对比新旧剧本效果时采用重放方式产出对照批次，两批样本分别标记剧本版本后比较，而不是把旧样本改成新口径。回滚的触发判据写在发版说明里，回滚后在途作业按当前批次完成、下一批次起使用回退版本。

还有一处范围需要界定：本工具链中的智能体用于项目组的加工生产作业，产出的是数据集样本。它不构成交付给甲方的智能体应用，也不替代甲方场景中的任何业务系统。本包的交付范围是数据集加工生产、质量评测与场景验证服务。

4.3.11 任务创建入参契约、调用样例与异常回退

本工具的入参契约比其余七个多一组：角色与控制项配置。六项控制的配置口径见本章表 2-47，其可验证判据见表 2-50；本小节给出接口形态与异常码。

表 2-58　工具 6 的任务创建入参契约

{
  "client_request_id": "REQ-2027Q2-DLG-0054",
  "selector": {"scene_codes": ["设备故障诊断", "工艺审查"], "seed_questions": "QSEED-DLG-2027Q2@v1"},
  "params": {
    "script_version": "SCRIPT-2027Q2-v3",
    "scene_config_version": "SCNCFG-2027Q2-v2",
    "control_overrides": {"turn_range": {"设备故障诊断": [6, 12]}, "clarify_retry_limit": 2},
    "anomaly_quota": {"min_ratio": 0.10, "max_ratio": 0.15},
    "target_count": 8000,
    "random_seed": 20270415
  },
  "output": {"dataset_ref": "DS-SFT-2027Q2/dialog", "formats": ["jsonl"]}
}

受理返回除任务标识外，回传五项重放因子：剧本版本、场景配置版本、模板库版本、所用模型的网关登记标识与版本、随机种子。五项齐备是本工具可重放的前提（口径见本章 4.3.3 节）。

表 2-59　工具 6 的异常与回退

接口层面可当场核对的点有三条：受理返回含五项重放因子；取任一条对话样本按五项因子重放，产出可与原样本逐字比对；构造一个剧本版本为已回滚的请求，接口须拒绝受理。质量口径按本章 4.3.9 节执行。

4.4 结构化工单转对话工具链（3.2.3.4.2）

4.4.1 工单到对话的六段式转写

招标文件要求支持将结构化工单、客服记录和运维报告转换为多轮对话样本，转换过程须覆盖现象描述、澄清追问、诊断分析、处置建议、结果确认和复盘总结六个环节（b0973）（b0974）。

工单与对话的结构差异是这个工具要解决的核心问题。一张 SOS 服务工单的字段大致是：报修时间、设备与矿别、故障现象（一段文字）、派工记录、更换备件清单、处理结果、闭单时间。这些字段描述的是"发生了什么"和"做了什么"，缺的恰恰是中间那段：为什么从这个现象判断到这个部件，判断过程中确认了哪些前提。转写不是把工单字段分行排成对话的样子，而是把工单里有的事实放到对应的对话段落里，把工单里没有而对话必须有的环节按规则补出来，并明确标出哪些是补的。

六段与工单字段的映射关系如表 2-60。

表 2-60　工单字段到对话六段的映射

表中"是否需要补全"一列是本工具的核心约束。现象描述、处置建议、结果确认三段有工单事实支撑，直接转写；澄清追问、诊断分析、复盘总结三段在工单里基本没有，必须补。补出来的内容如果不加标记地混进训练数据，训练出来的模型会把"推定的判断路径"当成"企业的真实判断路径"，这是一种难以事后察觉的数据污染。工具链因此在样本的每一轮上标记该轮内容的事实来源等级，分三级：工单原文、工单字段推导、模型补全。三级比例在数据卡中统计，模型补全比例过高的样本不进训练集的主干部分。

4.4.2 合理补全的内容与依据

招标文件要求支持对工单内容进行合理补全，生成澄清问题、判断依据、技术解释、维修建议和用户确认内容（b0975）（b0976）。

"合理"二字是约束而不是形容词。补全须有依据，依据来源有三类：场景配置中的澄清清单（补澄清问题）、领域知识库检索结果（补判断依据与技术解释）、同类工单的统计规律（补维修建议与预防要点）。无依据的补全不允许产生。若某项补全既检索不到知识依据、也没有同类工单支撑，该轮内容留空并把样本标记为"转写不完整"，进人工补充队列。五类补全内容的依据与标记方式如表 2-61。

表 2-61　五类补全内容的生成依据与可信度标记

补全环节的大模型调用经统一模型网关，提示词中明确约束"只能使用提供的工单字段与检索到的依据，不得引入外部常识性数值"。这条约束在实测中不能完全杜绝模型补数值，因此在样本质检阶段叠加一道规则校验：对话中出现的型号、数值、标准号逐一回查工单字段与检索依据，查不到的直接标记未接地，未接地项超过阈值的样本转人工复核。本环节的承诺落在未接地内容的可识别与可控上：未接地项按规则逐条标出并给出实测标出率，模型补全比例与未接地率在数据卡与质量报告中公布，并随提示词约束与检索覆盖的改进逐步降低。

图 2-12　工单到六段对话的转写与事实来源分级

图 2-12　工单到六段对话的转写与事实来源分级。数据来源：招标文件 3.2.3.4.2 节第（1）（2）条（b0973）（b0974）（b0975）（b0976）；映射口径见本章表 2-60、表 2-61。

4.4.3 原始业务数据的脱敏

招标文件要求支持对原始业务数据进行脱敏，能够识别并替换姓名、电话、编号、地点、客户名称、合同编号、设备编码等敏感信息（b0977）（b0978）。

脱敏在本工具中不是一道可选的后处理，而是样本出加工域的前置条件。工单与售后记录中含有矿方联系人姓名与电话、矿别与井口名称、合同编号、设备出厂编号。这些信息一旦进入训练数据，就随模型扩散，事后无法回收。工具链的处置原则是：敏感实体在数据进入对话构造流程之前即完成替换，替换后的样本才流向后续环节；原值与替换值的映射表单独存放，访问受控且与样本库物理隔离，仅供必要的追溯使用。

七类敏感实体的识别方法与替换策略如表 2-62。识别采用规则与模型双通道：规则通道处理有格式特征的实体（电话、合同编号、设备编码、工单号），模型通道处理无格式特征的实体（姓名、地点、客户名称），两通道结果取并集。这里取并集而不是取交集，是因为在脱敏这件事上漏掉一个的代价远高于多替换一个。

表 2-62　七类敏感实体的识别与替换

"一致性要求"这一列是脱敏设计中最容易被忽略而后果最明显的一项。设备编码如果每次出现都替换成不同的伪值，同一台设备的多条工单样本之间的关联关系就被切断了，而这种关联恰恰是故障分析类样本的价值所在。因此脱敏不是逐条独立替换，而是在数据集范围内维护一张稳定的映射表，保证"同一原值在同一数据集内映射到同一伪值"。映射表随数据集版本管理，数据集版本冻结后映射关系不再变动。

脱敏记录作为独立产出物输出，内容包括：样本标识、被替换实体的类型与位置、替换前后的值指纹（不记原值明文）、识别通道、识别置信度、操作时间。脱敏效果以抽检方式核验：每批次抽取不少于 100 条样本做人工核验，统计漏替换项与过度替换项。脱敏环节的承诺由四条构成：双通道取并集、抽检覆盖、漏替换项逐条记录、当批整体重跑；单批次抽检发现漏替换项时，该批次不得出加工域，须重新脱敏并复检通过后方可流转。这是本环节的回退路径，也是硬性闸门。

4.4.4 处理流程与样例

工具 7 的作业流程按七步推进：工单导入与字段映射校验；可转写性判定（现象描述与处置结果两项字段齐备方可转写，否则列入不可转写清单）；敏感实体识别与替换（脱敏在转写之前完成）；按表 2-60 做六段结构映射；按表 2-61 执行补全并逐项标记依据与可信度；事实来源三级标注与规则校验回查；输出样本并附脱敏记录，送工具 8 筛选。

一条工单转写的完整样例（工单字段、转写结果与脱敏记录三段对照，内容已脱敏）：

转写结果（节选前四轮）：

脱敏记录（节选）：

{
  "dialog_id": "DLG-SOS-2026-004471",
  "desensitize_record_id": "DSR-004471",
  "entities": [
    {"type": "客户名称", "position": "工单.设备与矿别", "channel": "模型+名册", "confidence": 0.97, "replacement": "某矿业集团某矿", "value_fingerprint": "sha256:…"},
    {"type": "地点", "position": "工单.设备与矿别", "channel": "模型+地名词典", "confidence": 0.94, "replacement": "某工作面", "value_fingerprint": "sha256:…"},
    {"type": "设备编码", "position": "工单.设备与矿别", "channel": "规则+主数据", "confidence": 1.0, "replacement": "SGZ-xxxx-0xxx", "mapping_scope": "数据集内一致", "value_fingerprint": "sha256:…"},
    {"type": "编号", "position": "工单.工单号", "channel": "规则", "confidence": 1.0, "replacement": "SOS-2026-0xxxxx", "mapping_scope": "数据集内一致", "value_fingerprint": "sha256:…"}
  ],
  "source_level_distribution": {"一级": 0.38, "二级": 0.41, "三级": 0.21},
  "ungrounded_items": 0,
  "operated_at": "2027-01-22T14:05:00+08:00"
}

这条样例的三级来源分布为 38%／41%／21%，模型补全部分占比约五分之一，落在可入训练集主干的范围内。设备编码的 mapping_scope 标为"数据集内一致"，因此同一台设备在其他工单转写样本中会被替换为同一个伪编码，跨样本的设备关联关系得以保留。

4.4.5 接口与验收口径

表 2-63　结构化工单转对话工具链的接口

验收口径：我方提供演示样例一套（覆盖六段转写、三类补全依据、七类实体脱敏，含一例"无依据留空"与一例"漏替换重跑"）、输入输出样例、字段映射与脱敏配置说明、接口说明、测试报告。测试报告须给出三级来源占比、未接地率、脱敏抽检漏替换项统计、脱敏映射一致性验证记录（同一设备跨样本可关联性抽查）。

4.4.6 任务创建入参契约、调用样例与异常回退

工单转写的输入与其余七个工具有一处本质不同：它来自甲方的真实业务记录，其中既有可直接转写的事实，也有不能原样外露的客户与人员信息，还有工单上本来就没有、只能靠补全得到的部分。这三者的口径须在任务创建时一并固定，作业才允许开工。表 2-64 中映射版本与脱敏规则版本因此同为必填，且只传版本引用——前者决定工单字段落到六段对话的哪一段（口径见本章表 2-60），后者决定七类敏感实体的识别与替换方式（见表 2-62）；两者都带版本，是为了让任一条转写样本日后可按当时的规则重放，而不是只能看到替换后的结果。

补全策略一列对应表 2-61 的五类补全内容，逐类配置是否生成以及如何标记可信度，缺省按工单类型预置；require_six_stages 固定为真，不接受置假。读表时“必填”一列是受理门槛，“缺省与约束”一列给出未显式传参时的实际行为。这张表支撑的承诺是：转写既不丢工单事实，也不把推定内容充作企业的真实判断——补出来的部分一律带可信度标记，无依据的补全按表 2-65 的 TC07-403 直接不生成。

表 2-64　工具 7 的任务创建入参契约

{
  "client_request_id": "REQ-2027Q2-WO2D-0073",
  "selector": {"work_order_ids": {"batch_ref": "WO-SOS-2027Q1", "filter": {"has_closure": true, "limit": 4000}}},
  "params": {
    "mapping_version": "WO2D-MAP-v1.4",
    "desensitize_rule_version": "DESENS-2027.01",
    "completion_policy": {"澄清问题": "生成并标记为补全", "判断依据": "仅在工单含依据时生成", "技术解释": "生成并标记为补全"},
    "require_six_stages": true
  },
  "output": {"dataset_ref": "DS-SFT-2027Q2/wo-dialog", "formats": ["jsonl"]}
}

表 2-65　工具 7 的异常与回退

接口层面可当场核对的点：取任一条转写样本，脱敏记录逐项可查且代号映射表不随样本导出；取一条无处置结论的工单，返回须为半闭环样本并带标记，而不是补一个结论凑满六段。质量口径按本章 4.4.5 节执行。

4.5 对话质量筛选工具链（3.2.3.4.3）

工具 6 的模拟生成样本与工具 7 的工单转写样本都要经本工具筛选后才进数据集，本工具是多轮对话数据的出口闸门。

4.5.1 七个维度的质量评分

招标文件要求支持对话质量筛选和排序，能够从相关性、完整性、信息密度、指令遵循、业务合理性、角色一致性、安全合规性七个维度进行评分（b0980）（b0981）。

七个维度若只给一句定义就打分，不同评分者（无论是人还是模型）给出的分数不可比。工具链的做法是为每个维度定义三档评分锚点：5 分、3 分、1 分各给出可判别的描述，2 分与 4 分为相邻档之间的过渡。锚点越具体，评分的一致性越高。七个维度的定义、锚点与权重如表 2-66。

表 2-66　七个质量维度的定义、评分锚点与权重

综合得分按权重加权计算，但安全合规性维度另设否决规则：该维度得 1 分的样本无论综合得分多高，一律不进数据集并回退至脱敏环节。这种一票否决的设置只给安全合规一项，其余维度都按加权处理。其余维度低分意味着样本质量差，可以通过筛选控制；安全合规低分意味着数据有泄露风险，性质不同。

权重取值在首批样本上以人工全评结果校准：取 1,000 条样本由评分人逐条给七维分与总体可用性判断，以人工总体判断为目标拟合权重，再由业务口会签确认。校准结果与会签记录写入评分规则的版本记录。

4.5.2 低质量对话的识别

招标文件要求支持低质量对话过滤，能够识别角色混乱、上下文断裂、重复应答、答非所问、敏感内容、解决方案缺失和业务逻辑不闭环七类问题（b0982）（b0983）。

七类问题与七个评分维度不是一一对应关系：评分维度回答"这条对话有多好"，低质识别回答"这条对话坏在哪里"。前者用于排序与采样，后者用于定位与修复。检测口径如表 2-67。

表 2-67　七类低质量问题的检测规则与处置

未闭环案例池的设置理由如下。工单里确实存在至今没有闭环的案例：报修了、派工了，但最终原因没查清。这类案例不是数据缺陷，它反映的是现场的真实状况，对训练模型识别"信息不足、需要进一步确认"的情形有价值。工具链把这类样本单独归池并显式标记，既不当作合格样本混入主干，也不当作废品丢掉。

4.5.3 多模型投票与人工抽检

招标文件要求支持多模型投票和人工抽检，降低单一模型评分偏差（b0984）。

单一模型打分有两种系统性偏差：一是对长回复给高分的长度偏差，二是对与自身生成风格相近的文本给高分的同源偏差。后者在本项目尤其需要防范。若用同一个模型既生成对话又评价对话，评分结果会系统性偏高，筛选等于失效。

工具链的处置是三条并行。其一，评分模型与生成模型不同源：生成任务与评分任务在模型网关侧配置为不同的模型集合，配置冲突时任务不予创建。其二，多模型投票：评分由不少于 3 个模型独立进行，综合得分取中位数而非均值，中位数对单个模型的异常打分不敏感；各模型打分差异超过阈值的样本转人工评分。其三，人工抽检校验：每批次按不低于 3% 的比例随机抽检，由评分人独立给出七维分，与模型评分比对，统计各维度的偏差方向与幅度。

抽检结果的用法不止于发现问题样本，更重要的是校正模型评分：若某一维度上模型评分系统性高于人工评分，则在该维度上对模型分做偏差修正，修正量按抽检统计确定并记入评分配置版本。这一校正每月执行一次。模型评分与人工评分的一致性以可核算的方式管理：各维度偏差按月统计并公布，经偏差修正后趋向收敛；某一维度的偏差连续两个周期超过设定幅度时，该维度改为以人工评分为准，模型分仅作参考。这是本环节的回退路径。

图 2-13　双通道评分、投票与抽检校正

图 2-13　双通道评分、投票与抽检校正。数据来源：招标文件 3.2.3.4.3 节第（1）（3）条（b0980）（b0981）（b0984）；维度与权重见本章表 2-66。

4.5.4 分层采样

招标文件要求支持按分数、场景、任务类型、难度和来源分层采样，形成均衡对话训练集（b0985）（b0986）。

分层采样解决的是分布失衡。若只按分数从高到低取，会得到一批集中在少数几个容易生成的场景上的高分样本：产品选型与制度问答类对话容易生成得好，故障诊断类不容易，按分排序的结果就是故障诊断类样本被挤出去。而故障诊断恰恰是本项目最需要的一类。

五个分层维度的配额设定方式如表 2-68。配额不是一次定死：首轮按表中口径设定，每一轮采样完成后统计实际分布与目标分布的偏差，偏差超过设定幅度的层在下一轮优先补生成。

表 2-68　分层采样的五个维度与配额口径

来源一行的口径如下：工单转写样本的上限由甲方历史工单的实际可用量决定，而服务工单与运维报警之间的事件级配对本身需要回填建立。因此"工单转写占比不低于 30%"是一个目标口径而非承诺值，达不到时在数据卡上如实记录缺口与原因，不用模拟生成样本顶替数量——数据集的真实性比配比表好看更重要。

4.5.5 筛选报告

招标文件要求支持输出筛选报告，包含通过率、拒绝原因、低质样本清单和修复建议（b0987）（b0988）。

筛选报告按批次生成，同时按场景、来源与数据集版本维度汇总，报告结构如表 2-69。

表 2-69　筛选报告的结构

一段筛选报告的修复建议示例（格式化节选）：

修复建议逐条须指出"定位到哪些样本的哪一轮"与"指向哪个配置项"；不写"建议进一步优化提示词"这类无法执行的建议。每条建议须可直接对应到一项具体配置的修改。

4.5.6 处理流程与样例

工具 8 的作业流程按七步推进：接收待筛选样本并校验必备字段；规则通道全量扫描（角色序列、重复度、闭环要素、敏感实体）；模型通道不少于 3 个模型独立七维打分并取中位数；按评分规则版本合并判定，安全合规维度执行否决；按表 2-67 定位低质问题并分流（重生成、截断、补充队列、未闭环案例池、废弃池）；按表 2-68 五维配额执行分层采样；生成筛选报告并更新数据卡。人工抽检与偏差校正作为旁路并行执行，按月汇总。

一条评分结果的样例（对应 4.3.4 节的设备故障诊断对话）：

{
  "dialog_id": "DLG-SIM-ZBJK-2027Q1-002286",
  "rule_channel": {"role_sequence_valid": true, "repetition_max_sim": 0.41, "closure": {"部件级判断": true, "证据等级": true, "处置建议": true, "检查顺序": true, "需现场确认项": true}, "sensitive_hits": 0},
  "model_channel": {
    "models": 3,
    "per_dimension_median": {"相关性": 4.7, "完整性": 4.6, "信息密度": 4.3, "指令遵循": 4.8, "业务合理性": 4.4, "角色一致性": 4.5, "安全合规性": 5.0},
    "max_inter_model_gap": 0.7
  },
  "weighted_score": 4.56,
  "grade": "优",
  "veto": false,
  "issues": [],
  "stratify_tags": {"场景": "设备故障诊断", "任务类型": "诊断类", "难度": "高", "来源": "模拟生成"},
  "sampling_result": "入选",
  "human_audit": {"sampled": true, "auditor_role": "评分人", "per_dimension": {"相关性": 4.5, "完整性": 4.5, "信息密度": 4.0, "指令遵循": 5.0, "业务合理性": 4.0, "角色一致性": 4.5, "安全合规性": 5.0}, "max_deviation_dimension": "业务合理性", "deviation": 0.4}
}

这条样例的人工抽检结果显示"业务合理性"维度模型分高于人工分 0.4 分。单条偏差不作处理，按月汇总后若该维度偏差方向一致且幅度超过设定值，则对该维度的模型分统一做偏差修正；连续两个周期超限则该维度改以人工评分为准。该条体现 4.5.3 节校正与回退：单条偏差汇总后超限则修正模型分或改以人工评分为准。

一条低质样本清单行的样例：

4.5.7 接口与验收口径

表 2-70　对话质量筛选工具链的接口

验收口径：我方提供演示样例一套（覆盖七维评分、七类低质识别、三模型投票、人工抽检比对、分层采样与一份完整筛选报告）、输入输出样例、评分规则与配额配置说明、接口说明、测试报告。测试报告须给出权重校准记录与业务口会签证明、模型分与人工分的逐维偏差实测值、一次偏差修正的前后对照，以及一次分层偏差超限后的补生成记录。

4.5.8 任务创建入参契约、调用样例与异常回退

本工具是对话类样本进入数据集前的最后一道，契约上要求出参必须给出逐维评分与低质类型，不接受只回一个总分。只给总分的接口无法支撑返工——不知道是哪一维不合格，就不知道该退回哪一个上游环节。

表 2-71　工具 8 的任务创建入参契约

{
  "client_request_id": "REQ-2027Q2-DQ-0091",
  "selector": {"dialog_ids": {"batch_ref": "DLG-2027Q2-B07"}},
  "params": {
    "scoring_rule_version": "DLGSCORE-v2.0",
    "channels": {"rule": true, "model": {"enabled": true, "model_count": 3, "aggregate": "median"}},
    "low_quality_rules_version": "DLGLOW-v1.5",
    "stratified_sampling": {"dims": ["分数", "场景", "任务类型", "难度", "来源"], "target_per_cell": 120},
    "spot_check_ratio": 0.05
  },
  "output": {"dataset_ref": "DS-SFT-2027Q2/dialog-selected", "formats": ["jsonl", "md"]}
}

表 2-72　工具 8 的异常与回退

接口层面可当场核对的点有两条：出参含七维逐维评分与低质类型，不只回总分；构造一个把 spot_check_ratio 下调到门限以下的请求，接口须拒绝受理。质量口径按本章 4.5.7 节执行。

5、本组工具链的共同工程约束与交付验收

本节说明八个工具链的共同约束、产能与交付验收安排，对应招标文件 3.2.3.1 节对交付清单的要求（b0917）。

5.1 与相邻章节的边界

本组八个工具链与相邻章节的交接点如表 2-73。表中「相邻章节的责任」一列所列事项以相邻章节的规定为准，本章按其规定实现并提供本章各工具的产出；字段一级的交接关系见表 2-74。

表 2-73　本章与相邻章节的交接边界

表 2-73 定的是责任归属，交接能不能对上还要看字段。本章产出的样本由对齐与标注类工具链（工具链二）与质量与验证类工具链（工具链三）直接消费，两侧各自取用哪些字段、按什么口径取、对不上时怎么办，逐项如表 2-74。表中只列字段一级的对应关系，责任划分以表 2-73 为准。

八项血缘字段由平台公共层在各处理环节追加写入，本章各工具不自行填写；本章的责任是保证公共层取数所需的原始字段在样本上齐备、取值有效、且在样本被修订时同步更新。

表 2-74　本章产出与相邻工具链的字段级交接

表 2-74　数据来源：承接侧的字段与口径依对齐与标注类工具链的公共字段表与智能标注类四个工具的入参契约、质量与验证类工具链的血缘字段表、泄漏判定表与分布统计表；本章字段依表 2-7、表 2-32、表 2-41、表 2-54。

5.2 产出规模与四大数据集的对账

八个工具链的产出要与四大数据集的规模目标对得上账，否则工具交付了而数据集规模落不了地。对账关系如表 2-75。表中条数为本组工具链承担的部分，其余部分由标注、合成与增强等其他环节承担，合计构成数据集总量。

表 2-75　本组工具链产出与四大数据集规模的对账

对账中有一项需要如实说明：预训练语料的 Token 量受甲方可用文档的实际体量约束。文档解析工具链能把现有文档的结构还原出来，但不能增加文档总量。我方的做法是先完成文档资源的清点与解析覆盖度统计，按域给出可得 Token 量的实测值，与目标存在差距的域在数据卡中列明并提出补充来源建议（如外部公开标准、行业资料的合规引入），由项目组与甲方共同确定补充路径。这一口径在逐数据集的数据卡章节另有详述。

5.3 八个工具在标准调用上的共同约定与差异

各工具对外提供的接口清单、任务创建入参契约、一次完整调用的样例与异常回退动作，在其所属工具小节内逐一给出。本小节给出跨工具共用的三项：八个工具在同一套标准调用上的差异、两组共用入参、异常码体例与共用异常码，供集成方一次读全。六类标准调用、八态任务状态机与错误码四分类的条款以工具链（三）第 5 节为准，本章各工具按其口径填写。

有两组入参为八个工具共用。一是客户端请求标识 client_request_id，口径与幂等用法见工具链（三）第 5 节；二是输出落点组 output.dataset_ref 与 output.formats，前者指向结果落点，后者指定导出格式，缺省取该任务类型的预置值。八个工具的调用样例中这两组逐条出现，样例可直接照搬使用。

接口表给出的是接口清单与出入参要点，各工具小节的入参契约与异常码给出的是接口在非理想情况下的表现。批量加工作业的非理想情况集中在四类：版本传错、素材缺失、模型网关限流、质量检查节点未过。质量检查节点是设置在数据生产流程中的检查环节，依据质量规则判断数据是否符合进入后续工序或交付的条件，未通过的批次不放行、不进入下一环节。四类的处置方式在各工具小节逐条写定，集成方按统一的错误码与回退动作对接，不为八个工具分别实现分支逻辑。

表 2-76　八个工具在六类标准调用上的差异

八个工具的幂等键都由客户端请求标识与输入集合指纹共同构成。只用客户端请求标识是不够的：调用方重试时常常会沿用同一个请求标识却换了输入范围，此时应当视为新任务而不是幂等命中。加上输入指纹，这种情形就能被接口自己分辨出来。

异常码按统一体例编定，形如 TCnn-Xyy：nn 为工具序号，取 01 至 08，与表 2-1 的序号一致；X 为错误分类位，1 为参数类、2 为输入类、3 为执行类、4 为策略类，与工具链（三）第 5 节的错误四分类一一对应；yy 为该分类内的顺序号。调用方按分类位即可决定重试策略：参数类与输入类不重试，须改参数或补素材后重新提交；执行类按退避策略自动重试，重试上限随码返回；策略类不重试，按回退动作处置并记入批次报告。异常码、分类位与回退动作三者在各工具的异常表中逐条对应，码一经发布不改含义，新增情形取新码。

八个工具共用的异常情形不在各工具表中重复列出，统一如表 2-77，码位以 TC00 为工具序号。

表 2-77　八个工具共用的异常码

表 2-77　数据来源：错误四分类与幂等口径依工具链（三）第 5 节；授权与密级拦截依质量与验证类工具链一节的出域控制条款。

本章八个工具的契约与异常口径取自工具链（三）第 5 节：六类标准调用、八态状态机、错误四分类与幂等口径同源，输出格式与入库口径见其 5.2，血缘字段见其 5.3。本小节与那一节出现表述差异时，以工具链（三）第 5 节为准。各工具的质量指标、基线与回退路径以本章各自小节的验收口径为准。

5.4 实施准备期的资料与取数通道

本组工具链的产能取决于取数通道何时打通、基础资料何时到位。下列资料与通道在实施准备期由项目组向甲方各归口部门逐项落实，落实结果写入取数台账，台账随首批数据卡一并提交。资料到位前，相关工具按本章各节给出的可选接入路径先行建设与联调：规则类资料未到位的，先以现行电子文本抽取的草案规则运行并标注为待确认；取数接口未开通的，先以离线导出样本联调，接口开通后重放补齐。

表 2-78　实施准备期的资料与取数通道

第 1、2、5、9 项直接影响本章若干口径的落地值（备料工序的规范名称、预训练语料可得 Token 量、工单转写占比），在材料到位前按本章给出的口径执行，到位后以实际材料替换并同步更新数据卡。各项落实进度按月在质量报告中更新；任一项在准备期未能到位时，按该项所属工具小节写明的回退路径执行，并在数据卡中如实记录覆盖范围与影响。

5.5 建设与投产安排

八个工具链不是同时投产，而是按依赖顺序分三批。依赖关系决定了顺序：文档结构解析在最前（工具 5），切分拼接与 RAG 构建紧随（工具 3、工具 4），这三者投产后文档类语料与检索服务可用；思维链两个工具（工具 1、工具 2）依赖检索服务提供背景材料；对话三个工具（工具 6、工具 7、工具 8）依赖知识库检索与脱敏规则就绪。分批安排如表 2-79。

表 2-79　八个工具链的分批投产安排

三批之后进入持续生产与迭代期，直至建设期结束。迭代期内每月固定执行四项动作：模板与规则的修订与灰度、模型评分偏差校正、分层分布偏差补生成、质量报告发布。四项的判据与回退路径以前文对应章节的规定为准。

图 2-14　八个工具链的依赖关系与分批投产

图 2-14　八个工具链的依赖关系与分批投产。数据来源：招标文件 3.2.3.1 节交付清单（b0917）（b0918r02）（b0918r03）（b0918r04）；分批依据见本章表 2-79。

5.6 交付物与验收口径汇总

通用接口、追溯与验收要求规定每个工具链须提供演示样例、输入输出样例、配置说明、接口说明与测试报告五类交付物。本组八个工具链的交付物清单与各自的关键验收内容汇总如表 2-80，便于逐项勾核。

表 2-80　八个工具链的交付物与关键验收内容

我方在本组工具链的质量指标上统一采用"基线加改进"的承诺方式，不采用固定数值的绝对承诺。理由是这些指标受输入数据质量影响显著。同样的解析能力，作用在电子版规程上和作用在二十年前的扫描件上，结果不可能相同。因此各工具的测试报告先给出在甲方真实数据上的实测基线，再给出按月或按批次的对照与改进口径，以及低于基线时的回退路径。各工具的回退路径已在前文对应章节逐一写明，均为可执行的具体动作（整批转人工复核、改以人工判定为准、退回上一稳定配置版本、批次不得出加工域），而非原则性表述。

5.7 本组共同的六项数据纪律

八个工具各有自己的判据与回退，但有六件事不能各管各的：参数怎么选、哪些数据不能分开、重复怎么算、合成了多少、结果能不能重放、推理依据能不能查。六项在本节一次定清，八个工具按同一口径执行，各工具的接口与报告按本节字段上报。

一、参数选择以对照批为依据，不以经验取值定稿。 本章各参数表给出的是首期取值，取值的确定走同一套对照流程：在同一份校准集上跑完候选取值的对照批，比同一组指标，择优后固化并记版本。对照口径如表 2-81。候选取值少于两个的参数不走对照，直接按预置值固化并在配置说明中注明理由。

表 2-81　五类参数的对照口径

表 2-81　数据来源：各参数的取值范围与首期口径见本章对应各表；灰度放量判据见本章 2.3.1 节与 3.4.3 节。

二、数据家族隔离，按族划分而不按条划分。 训练集与评测集的隔离若按单条样本随机划分，同一份手册的相邻两段、同一张工单转写出的两条对话、同一道题改写出的两个变体会分落两侧，评测结果随之虚高。隔离因此按家族执行：先归族，再整族划入一侧。四类家族的划分键如表 2-82。未完成归族的数据集不进入训练与评测划分，这是硬条件。

表 2-82　四类数据家族的划分键与隔离口径

表 2-82　数据来源：家族划分键与泄漏判定口径依质量与验证类工具链的泄漏判定表；文档族标识的构成规则见本章表 2-27。

三、重复检测分四级，四级各有处置。 重复不是一件事：同一条样本里两个片段重复、同一批次里两条样本重复、跨批次重复、跨数据集与被保护集合重复，四者的危害与处置都不同。四级口径如表 2-83。四级共用一套指纹：正文做规范化（去空白、统一全半角、去页眉页脚残留）后按段落取指纹，长文本另取段落级 n-gram 指纹，口径与表 2-34「重复拼接」一行一致。

表 2-83　重复检测的四级口径

表 2-83　数据来源：指纹与近重口径依本章表 2-34 重复拼接一行；被保护集合与污染清单的处置依质量与验证类工具链的去重与污染扫描条款。

四、合成来源逐条计量，按三级标记并设上限。 本组八个工具的产出里，真实业务事实、由事实推导的内容、由模型补出的内容三者混在同一条样本上。不逐条标记，数据集就说不清有多少是真的。三级口径与计量方式如表 2-84。三级标记在生成时写入，不事后推断；批次与数据集两级各出一份构成统计，随数据卡发布。

表 2-84　事实来源三级的判定与计量

表 2-84　数据来源：三级来源的定义与工单转写侧的实现见本章表 2-60、表 2-61；未接地内容的判定见本章表 2-34 引用缺失与答案幻觉两行；上限值为本方案设定的首期目标，属待验证目标，随首批实测结果调整后报招标方确认。

五、版本重放是接受核查的方式。 甲方对某条样本提出疑问时，重跑一遍比解释更有效。八个工具的重放因子如表 2-85。重放因子随作业记录留存，缺任何一项即判该批次不可重放，并在质量报告中单列。重放比对的口径是：在同一组因子下重跑，产出与原样本逐字段比对，差异项按字段列出；涉及模型调用的工具允许文本表述差异，但结论、引用依据与结构字段须一致，不一致即进人工核查。

表 2-85　八个工具的重放因子

表 2-85　数据来源：工具 6 的五项重放因子口径见本章 4.3.3 节；模型标识与版本的记录口径见本章 1.2 节末段。

六、内部推理依据可审计。 本组工具产出的推理过程、判断依据与复盘结论，一律须可回查到一条外部依据或一条人工判定记录，三条规矩随之固定。其一，凡以专家口吻给出的判断，须有对应的标注或仲裁记录，记录中含操作人角色、时间与裁决依据引用；没有记录的不得以专家判断的形式呈现。其二，凡表述为业务实际发生结果的内容，须回指到工单、检验记录或报警日志中的具体条目；回指不到的改为条件式表述并标记为补全内容，按表 2-84 第三级计量。其三，模型对自身推理过程的说明不构成依据，依据只能是检索到的文档片段、结构化业务字段或人工判定记录三者之一。三条的校验落在表 2-6 的引用约束与表 2-34 的接地检查上，批次报告按未接地项与无记录判断两类分别统计。

6、三个端到端作业样例

前六节按工具分别给出设计、接口与样例。本节换一个切面：取产品选型、图纸工艺、售后维修三项本项目的真实任务，各走一遍完整作业，从输入、配置、中间产物、输出到质检逐段摆出，并各附一张失败对照表，列出这条链路上最常发生的失败情形及其去向。三例涉及的工具不同——选型例走工具 6 与工具 8，图纸工艺例走工具 1 与工具 2，售后维修例走工具 7 与工具 8——合起来覆盖本章八个工具中的六个，其余两个（工具 3 与工具 5）的产出以检索片段的形式出现在三例的中间产物里。

三例共用同一条作业链路与同一套分流规则，如图 2-15。

图 2-15　端到端作业的五段链路与三条分流

图 2-15　端到端作业的五段链路与三条分流。数据来源：五段划分依本章各工具的处理流程表（表 2-12、表 2-18、表 2-36、表 2-55）；分流判据依表 2-8、表 2-34、表 2-67；回退动作与异常码依本章各工具的异常回退表。

6.1 产品选型：刮板输送机选型咨询对话

本例走对话模拟生成（工具 6）与对话质量筛选（工具 8），产出指令微调数据集供需计划域与产品工艺设计域的对话样本。选型是本项目中电子留痕最薄弱的一类业务：接口参数常在多方协商中确定，过程不落盘，只能按角色剧本构造。五段如表 2-86。

表 2-86　产品选型作业的五段内容

表 2-86　数据来源：场景配置与闭环要素见本章表 2-53 产品选型一行；对话状态字段见表 2-51；评分维度与分层口径见表 2-66、表 2-68。

表 2-87　产品选型作业的失败对照

表 2-87　数据来源：控制项观测量与回退见本章表 2-50；角色动作集见表 2-48；异常码见表 2-59、表 2-39。

6.2 图纸工艺：中部槽封板的备料工序排序

本例走自生成思维链（工具 1）与人机协同标注（工具 2），产出产品工艺设计域的推理样本与步骤级偏好对。图纸要素字段由对齐与标注类工具链提供，本章在其基础上补推理过程。五段如表 2-88。

表 2-88　图纸工艺作业的五段内容

表 2-88　数据来源：零件要素与工序排序口径见本章 2.3.4 节样例；判据与门限见表 2-8、表 2-9、表 2-11；一致性粒度见表 2-17。

表 2-89　图纸工艺作业的失败对照

表 2-89　数据来源：判据与处置见本章表 2-8、表 2-9；一致性分流见表 2-17；异常码见表 2-15。

6.3 售后维修：机尾链条跳动工单的转写

本例走结构化工单转对话（工具 7）与对话质量筛选（工具 8），产出制造过程域与质量域的对话样本。工单是本项目真实性最强的一类来源，难点不在转写而在补全与脱敏两道。五段如表 2-90。

表 2-90　售后维修作业的五段内容

表 2-90　数据来源：六段映射见本章表 2-60；补全依据与可信度标记见表 2-61；脱敏实体与一致性要求见表 2-62；来源等级计量见表 2-84。

表 2-91　售后维修作业的失败对照

表 2-91　数据来源：异常码见本章表 2-65、表 2-72；脱敏抽检与回退见本章 4.4.3 节；低质判定见表 2-67。

7、运行日志、人工复核点与验收用例

本节给出八个工具共同的运行日志口径、逐工具的人工复核点，以及可直接在甲方环境中执行的验收用例。三项与各工具的入参契约、异常码合起来，构成各工具在验收与运维两个阶段的可核对依据。

7.1 运行日志

日志分五类，如表 2-92。五类共同遵守三条：只追加不修改，更正以追加更正记录的方式实现；记角色不记姓名；日志的保留期与访问控制按甲方数据安全管理要求执行，脱敏映射类日志与样本库物理隔离。

表 2-92　五类运行日志的记录时机、必记字段与用途

表 2-92　数据来源：日志的只追加要求与记角色不记姓名口径依质量与验证类工具链的血缘与安全条款；成本计量口径见本章 2.3.2 节。

八个工具在五类之外各有专有日志项，如表 2-93。专有项随批次报告输出，不另设查询接口。

表 2-93　八个工具的专有日志项

表 2-93　数据来源：各专有项的定义见本章对应工具的处理流程表与判据表。

7.2 人工复核点

八个工具的人工复核点如表 2-94。复核点分两类：策略性的改变此后全部样本的生产口径，走会签并登记回滚路径；作业性的只处置当前批次，走复核与裁决队列。工具 6 的五处介入点已在表 2-57 逐项列出，本表对其只列类别不重复明细。

表 2-94　八个工具的人工复核点

表 2-94　数据来源：工具 6 的介入点见本章表 2-57；各复核点的触发条件见本章对应工具的质检与判据小节。

7.3 验收用例

验收用例按「前置条件—操作—预期结果」三段编写，每个工具三条：一条走正常路径，一条走边界或异常，一条验回退与隔离。用例在甲方环境中由双方人员共同执行，执行记录与实测值写入测试报告。用例清单如表 2-95。

表 2-95　八个工具的验收用例

表 2-95　数据来源：用例的判定依据取自本章各工具的验收口径小节与异常回退小节；用例的交付形态按通用接口、追溯与验收要求规定的测试报告格式提交。