## 数据构建类专项智能工具链（思维链 · 长上下文与检索增强 · 多轮对话） 本章回应招标文件第五章 3.2.3.2 思维链构建类工具链、3.2.3.3 长上下文数据构建类工具链、3.2.3.4 多轮对话数据构建类工具链三节的全部要求，交付智能工具链清单中的第 1 至第 8 个工具链（b0918r02）（b0918r03）（b0918r04）。本章只讲这八个工具链本身：设计思路、输入输出接口、处理流程与可核对的样例。九类 25 个专项智能工具链的交付总览见专项智能工具链总述一节；通用接口规范、血缘追溯与工具链验收要求见质量与验证类工具链一节末的通用要求，本章各处凡涉及该三项，一律按其规定执行，不另立口径；训练与推理的服务形态、算力适配与模型接入网关见行业大模型训练推理技术服务相关章节。本章产出的是训练与评测数据，训练推理服务消费这些数据，两者分工明确，不互相替代。 ### 一、本组工具链要解决的现场问题 #### 1.1 为什么把数据构建类放在工具链的最前面 四大数据集的规模目标是预训练 615 亿 Token、指令微调 89 万条、强化学习偏好 6.6 万组、基准测试 0.95 万条。这个量级不可能靠人工撰写堆出来，也不可能靠把现有文档简单切块凑出来。宁夏天地奔牛实业集团有限公司（以下简称甲方）的数据起点是一个很具体的局面：生产业务数据留存完整，历史图纸约 63 万张且每张历史上都配有一份已审核签发的工艺卡片，设备过程参数长期保存，服务工单与运维报警逐条在库；但这些资料的形态是事务记录，不是训练样本。工艺卡片记录了"这张图最终走了哪几道工序"，没有记录"为什么这样排"；故障工单记录了"换了哪个件"，没有记录"从哪条线索判断到这个件"；技术手册是一本几百页的 PDF，模型要的是带章节上下文、带页码出处、长度落在窗口内的样本。 把事务记录变成训练样本，中间要补三类能力：思维链补推理过程，长上下文补结构与出处，多轮对话补交互轮次与业务闭环。这三类由本组三个工具链分别承担。这三类的产出互不重叠，在数据集结构上各有归属：长上下文样本主要供预训练与检索增强训练，思维链样本与对话样本主要供指令微调与偏好数据，三类产出的质量评价样本共同构成基准测试集的主体。 #### 1.2 本组工具链的位置与责任边界 本组工具链的上游是数据采集与预处理（见数据加工生产环节相关章节）：源系统接入、格式归一、清洗去噪、敏感信息初筛在那里完成，本组拿到的是已入湖、已登记来源的清洗后语料与结构化业务记录。本组工具链的下游是数据集运营与训练推理服务：本组按统一样本规范输出，经质检与审核后入数据集库，由训练推理服务按版本取用。我方在本章范围内不负责模型训练、不负责推理服务部署，也不负责智能场景建设。本包交付的是数据集加工生产、质量评测与场景验证。 ### 图 2-1　数据构建类工具链在加工主线中的位置与数据流向 图纸与工艺卡片 63 万张成对样本 技术手册·行业标准 工艺规程·安全制度 服务工单·运维报告 检验记录·故障案例 上游边界：采集与预处理交付清洗后语料 思维链构建类（工具 1–2） 自生成 · 人机协同修订 长上下文构建类（工具 3–5） 切分拼接 · RAG · 结构解析 多轮对话构建类（工具 6–8） 模拟生成 · 工单转写 · 筛选 预训练语料 615 亿 Token 指令微调 89 万条 偏好数据 6.6 万组 基准测试 0.95 万条 推理样本 长上下文样本 对话样本 下游边界：训推服务按版本取用 训练与推理 技术服务 （另章） 奔牛数据智能平台 平台底座：统一模型网关 · 血缘与版本登记 · 质检与审核 · 脱敏与审计 八个工具链共用，口径与接口规范见通用接口、追溯与验收要求一节 图 2-1　数据构建类工具链在加工主线中的位置与数据流向。数据来源：招标文件第五章 3.2.3.1 智能工具链交付清单（b0917）、3.2.3.2–3.2.3.4 节；数据集规模口径取自招标文件逐数据集规模表。 #### 1.3 八个工具链的交付构成 本章交付的八个工具链及其与招标文件条目的对应关系如表 2-1。每个工具链按同一体例展开：现场问题、功能设计、输入输出接口、处理流程、样例与验收口径，便于横向比对与逐项勾验。 表 2-1　本章交付的八个工具链与招标文件条目对应关系 | 序号 | 工具链名称 | 招标文件条目 | 覆盖单元 | 主要产出物 | |---|---|---|---|---| | 1 | 大模型自生成思维链工具链 | 3.2.3.2.1 | b0922–b0931 | 结构化推理样本、自一致性筛选结果 | | 2 | 人机协同思维链标注工具链 | 3.2.3.2.2 | b0932–b0938 | 修订后推理样本、修改差异记录、仲裁档案 | | 3 | 文档切分与拼接工具链 | 3.2.3.3.1 | b0942–b0945 | 文档对象、滑窗长上下文样本、来源映射表 | | 4 | RAG 数据构建工具链 | 3.2.3.3.2 | b0946–b0958 | 查询—上下文—回答三元组、RAG 评测样本与指标 | | 5 | 文档结构解析工具链 | 3.2.3.3.3 | b0959–b0961 | 章节树、结构化段落、混合切分片段 | | 6 | 对话模拟生成工具链 | 3.2.3.4.1 | b0965–b0971 | 多轮对话样本、角色标签 | | 7 | 结构化工单转对话工具链 | 3.2.3.4.2 | b0972–b0978 | 工单转写对话样本、补全标记、脱敏记录 | | 8 | 对话质量筛选工具链 | 3.2.3.4.3 | b0979–b0988 | 质量评分、低质样本清单、分层采样集、筛选报告 | 八个工具链由我方统一设计、开发与交付，部署在奔牛数据智能平台 平台内，对外以统一的任务接口暴露，涉及大模型调用的环节一律经平台统一模型网关接入。网关侧采用当期能力评测领先的通用大模型，可替换、可评测、可随代升级，样本上只记录模型标识与版本号，不绑定具体型号，模型换代时存量样本的血缘记录保持可追溯。 ### 二、思维链构建类工具链 本节回应招标文件 3.2.3.2 节思维链构建类工具链的全部要求（b0919）。 #### 2.1 甲方的现场问题与本类工具链的能力定位 本节回应招标文件对思维链构建类的总体要求（b0920）：产出带推理过程的问答样本，覆盖知识推理、故障分析、工艺判断、质量问题归因、安全合规判断五类任务，并贯穿模型自动生成、人机协同修订、自一致性筛选、推理质量评估与样本版本追溯。 **现场缺口。** 甲方业务记录多半只留下结论，很少留下判断过程。典型如： - **工艺判断**：备料工艺人员读多视图图纸，要识别牌号、板厚、轮廓、孔与方孔、坡口与倒角、压弯线与粗糙度等，再在分厂封闭的 28 道工序中选型排序并校核依赖与禁止条件；工艺卡片上通常只有工序号、设备编码、工装样板号、材料定额，「孔为何排在压弯前」「为何须先退火」等判断未落盘。 - **故障分析**：远程运维报警多、故障标签少，报警与真实故障缺少可核对证据链，维修事实多在纸面工单，「从哪条线索判到哪个部件」的路径未结构化。 - **质量归因 / 安全合规 / 知识推理**：检验结论与不合格处置、制度条款适用、选型与参数校核等，同样常见「有结论、缺步骤、缺依据定位」。 五类任务共同缺口是**可训练、可评测的推理轨迹**：结果多在系统里，过程多在资深人员经验里。 **能力定位。** 本类工具链不声称把专家脑中过程原样拷贝出来，而是在成对事实约束下，建设一条可验收的推理样本生产线： 1. **以成对事实为锚**——如图纸与工艺卡、报警段与维修结论、检验记录与不合格品处置票、制度条款与适用结论；锚必须来自甲方真实业务，不由模型编造。 2. **由模型生成候选推理过程**——在锚与已检索背景材料上补出步骤、答案与依据引用（工具 1）。 3. **由标注人员与领域专家修订**——步骤级增删改与仲裁，使过程符合本企业规程与现场口径（工具 2）。 4. **用一致性与事实匹配筛选**——筛掉编造、违规或站不住的路径；优选路径进指令微调，合格负样本可进偏好数据。 因此，思维链样本是把「有结果、无过程」的业务记录补成可训练对象的**主要路径**。可信性依赖三件事同时成立：**锚真实、过程经专家修订或复核、筛选判据可核对**。 本类交付的是推理样本及其质量与版本记录；不承担模型训练部署，也不替代业务部门做工艺或故障结论裁决。工具 1 与工具 2 的功能、接口与验收见后文各节。 #### 2.2 可处理的数据与产出物 招标文件列明本类工具链须能够处理行业知识片段、工艺规程、设备手册、故障案例、质量检验记录、安全制度、专家题库、业务场景模板、提示词模板等数据，生成思维链训练样本等数据（b0921）。各类输入在甲方的落点、取数依赖与对应的推理样本类型如表 2-2。 表 2-2　思维链构建类工具链的输入数据、取数依赖与产出样本类型 | 招标文件所列输入 | 在甲方的具体落点 | 取数与前置依赖 | 产出的推理样本类型 | |---|---|---|---| | 行业知识片段 | 刮板输送机选型校核知识、链条安全系数口径、工作面类型分化规则 | 由文档结构解析工具链（工具 5）输出的章节级片段 | 知识推理类 | | 工艺规程 | 备料分厂 28 道工序字典、加工方法分档规则、中性层系数表 | 需工艺部门确认正式工序字典版本 | 工艺判断类 | | 设备手册 | 刮板输送机安装使用维护手册、减速器与电机说明书 | 企业文档系统只读导出 | 知识推理类、故障分析类 | | 故障案例 | 远程运维平台报警日志与 SOS 服务工单的配对记录 | 需报警与维修事实的事件级配对，缺口须回填 | 故障分析类 | | 质量检验记录 | 质量管理系统检验记录、交检拍照、不合格品处置票 | 缺陷描述为文字，与工艺参数未关联 | 质量问题归因类 | | 安全制度 | 企业安全管理制度、作业规程、安全技术措施 | 协同办公系统文档只读导出 | 安全合规判断类 | | 专家题库 | 由领域专家按场景编制的问题与标准答案集 | 本项目新建，随标注工作同步积累 | 五类通用，兼作基准测试候选 | | 业务场景模板 | 六个专业场景与五个通用场景的任务描述模板 | 与场景验证方案共用一套场景定义 | 五类通用 | | 提示词模板 | 本工具链自建并版本化管理的思维链提示词库 | 工具链自身资产 | 五类通用 | 产出侧统一为一种样本结构（见 2.3.3 节的字段定义），按推理样本类型打标签分流：工艺判断类与质量问题归因类主要进入产品工艺设计、制造过程、质量三个数据域的指令微调集，故障分析类进入制造过程与质量域，知识推理与安全合规判断类覆盖四个数据域。同一问题的多条推理路径经自一致性筛选后，优选路径进指令微调集，被淘汰但仍可读的路径与优选路径配对后进偏好数据集。这是偏好数据 6.6 万组的主要来源之一，不另设生产线。 #### 2.3 大模型自生成思维链工具链（工具 1） 本节回应招标文件 3.2.3.2.1 节要求（b0922）。 ##### 2.3.1 思维链提示词模板体系与版本治理 招标文件要求支持按业务场景、任务类型、难度等级、输出格式和推理深度配置思维链提示词模板，并支持模板版本管理、变量注入、批量渲染、灰度发布和回滚（b0923）（b0924）。 模板是本工具链的核心可配置资产，也是样本质量的主要变量。工具链把模板拆成五个配置维度与一组可注入变量，模板本体只写推理结构与输出约束，业务事实一律通过变量注入，这样同一套模板可以在四个数据域之间复用，换域只换变量源。五个维度的取值口径如表 2-3。 表 2-3　思维链提示词模板的五个配置维度 | 维度 | 取值 | 对样本的影响 | 配置依据 | |---|---|---|---| | 业务场景 | 产品选型、板材备料、库存控制、热处理、焊接、装备健康诊断，以及问制度、问技术、问标书、问数据、合同合规审查 | 决定注入哪一类背景材料与术语表 | 与场景验证方案的场景定义一致 | | 任务类型 | 知识推理、故障分析、工艺判断、质量问题归因、安全合规判断 | 决定推理骨架与答案依据的形式 | 招标文件 b0920 所列五类 | | 难度等级 | 一级（单跳事实）、二级（两跳关联）、三级（多约束校核）、四级（证据冲突下的判断） | 决定推理步数区间与是否注入干扰材料 | 按基准测试集难度分层需要设定 | | 输出格式 | 纯文本步骤、带编号步骤、JSON 结构化步骤、步骤加证据引用 | 决定解析器与校验规则 | 按下游训练任务的格式要求 | | 推理深度 | 浅（2–3 步）、中（4–6 步）、深（7 步以上并允许回溯） | 决定最大长度与停止条件 | 按任务类型与难度等级联动设定 | 变量注入支持三类来源：知识库检索结果（由工具 4 提供）、结构化业务记录字段（如工序字典项、物料主数据字段）、以及上一轮生成的中间结果。注入前做长度预算与缺失校验，必填变量缺失时任务不进生成队列，直接落入待料清单并给出缺哪个字段，避免生成一批背景材料为空的废样本。 模板版本管理按"草稿—评审—灰度—全量—归档"五态推进。每个模板有唯一标识与递增版本号，修改模板必产生新版本，不允许原地覆盖；样本上记录的是模板标识加版本号，因此任何一条历史样本都能复原出当时用的是哪一版提示词。灰度发布按批次比例放量，默认先在 5% 的待生成任务上试跑一轮，比对灰度批与基线批在自一致性通过率、事实匹配率、人工抽检合格率三项指标上的差异；三项中有两项不低于基线，方可放量至全量。回滚是把当前生效版本指回上一个稳定版本，已生成的样本不删除，改为标记"由已回滚模板版本生成"并进入复核队列——模板出了问题，样本的处置由人来定，工具不替人做删除决定。 ### 图 2-2　思维链提示词模板的生命周期与灰度回滚机制 草稿 v0.n 评审 领域专家会签 灰度 5% 批次 与基线批对照 全量生效 版本号冻结 归档 仅供血缘复原 放量判据：自一致性通过率 · 事实匹配率 人工抽检合格率 三项中两项不低于基线方可放量 灰度批指标 达标放量 回滚：生效版本指回上一稳定版 已生成样本不删除，标记并转复核队列 不达标 样本记录模板标识 ＋版本号（可复原） 图 2-2　思维链提示词模板的生命周期与灰度回滚机制。数据来源：招标文件 3.2.3.2.1 节第（1）条（b0923）（b0924）；放量判据中的三项指标口径与本章 2.3.4 节自一致性筛选判据一致。 ##### 2.3.2 批量生成与任务调度 招标文件要求支持调用一个或多个大模型批量生成带推理过程的数据样本，并能够配置采样温度、候选条数、最大长度、停止词、输出 Schema、失败重试和批量任务调度策略（b0925）（b0926）（b0927）。 生成作业以"批次"为管理单位。一个批次绑定一套模板版本、一份输入清单、一组生成参数和一个或多个模型标识，批次创建后参数即冻结，中途改参数须新建批次。这样做是为了让批次成为可比较的单位，否则事后无法判断某批样本的质量差异来自模板还是来自参数。生成参数的配置项与默认取值如表 2-4。 表 2-4　批量生成的参数配置项 | 参数项 | 取值范围 | 本项目默认口径 | 设置理由 | |---|---|---|---| | 模型标识 | 经统一模型网关注册的可用模型，支持单模型或多模型并行 | 按任务类型配置 2–3 个模型并行生成 | 多模型并行是自一致性投票的前提，也避免单一模型的系统性偏差 | | 采样温度 | 0–1.2 | 工艺判断与安全合规判断类 0.3–0.5，故障分析与知识推理类 0.6–0.8 | 强约束任务降温保稳定，开放性任务升温保路径多样 | | 候选条数 | 1–8 | 三级以下难度 3 条，三级及以上 5 条 | 投票需要奇数条以上候选，难题多采样 | | 最大长度 | 按模型上下文窗口与推理深度联动设定 | 浅 1024、中 2048、深 4096 Token | 与推理深度配置对应，防止深度推理被截断 | | 停止词 | 可配置多组 | 输出结束标记、下一问题起始标记、重复步骤标记 | 截断失控输出，减少后处理成本 | | 输出 Schema | JSON Schema 定义，按输出格式维度选取 | 结构化步骤格式使用统一 Schema（见表 2-5） | Schema 校验失败即判本次生成无效 | | 失败重试 | 重试次数、退避间隔、是否降级 | 最多 3 次，指数退避，第 3 次允许降级到备用模型 | 网关限流与瞬时失败是批量作业的常态 | | 调度策略 | 并发度、优先级、配额、时间窗 | 按数据域设配额，夜间窗口跑大批量，白天留并发给人机协同任务 | 与标注与复核作业错峰，避免占满网关配额 | 调度侧按"数据域—任务类型—批次"三级队列组织。每个数据域有独立的 Token 配额与并发上限，防止某一域的大批量作业把网关占满；批次内按输入清单分片，分片失败只重跑该片，不重跑整批。作业状态落库，可按批次查询进度、成功数、失败数、失败原因分布。失败原因按网关侧（限流、超时、拒答）、格式侧（Schema 校验不通过、字段缺失）、内容侧（空输出、重复输出、答案与锚不符）三类归并统计，这份分布本身就是模板与参数调优的依据。 ##### 2.3.3 结构化推理样本的字段定义 招标文件要求输出结构化推理样本，样本字段至少包含问题、背景材料、推理步骤、最终答案、答案依据、模型名称、提示词版本、生成批次和质量状态（b0928）（b0929）。 工具链按表 2-5 定义样本结构。表中前九项是招标文件明文要求的字段，其余为满足血缘、追溯与后续加工所需的补充字段；补充字段与通用接口、追溯与验收要求一节的血缘字段规范保持一致，不另立口径。 表 2-5　结构化推理样本字段定义 | 字段 | 类型 | 是否招标文件明文要求 | 说明 | |---|---|---|---| | sample_id | 字符串 | 否（血缘必需） | 全局唯一样本标识，按数据域与批次编码 | | question | 文本 | 是 | 问题。由专家题库、场景模板渲染或从业务记录反向构造 | | context | 文本数组 | 是 | 背景材料。每项带来源文档标识、章节标题与页码 | | reasoning_steps | 对象数组 | 是 | 推理步骤。每步含步序号、步骤文本、本步引用的背景材料项、本步结论 | | final_answer | 文本 | 是 | 最终答案 | | answer_evidence | 对象数组 | 是 | 答案依据。指向背景材料项或外部文档的定位信息 | | model_name | 字符串 | 是 | 模型标识。记网关注册标识与版本号，不记商业型号 | | prompt_version | 字符串 | 是 | 提示词模板标识与版本号 | | batch_id | 字符串 | 是 | 生成批次标识 | | quality_status | 枚举 | 是 | 质量状态：待筛选／自一致性通过／自一致性淘汰／待人工复核／已修订／已采纳／已废弃 | | task_type | 枚举 | 否 | 任务类型，取表 2-3 五类 | | scene_code | 字符串 | 否 | 业务场景编码 | | difficulty | 枚举 | 否 | 难度等级，一至四级 | | consistency_score | 数值 | 否 | 自一致性得分，见 2.3.4 节 | | sampling_group | 字符串 | 否 | 同一问题的多路采样分组标识，用于投票与偏好对构造 | | lineage | 对象 | 否 | 血缘信息：原始数据标识、处理链路、工具版本、规则版本、质检结果、审核状态 | | audit_trail | 对象数组 | 否 | 修改与审核留痕，由工具 2 写入 | 每步推理显式记录"本步引用了哪一项背景材料"，这一设计是为了让事实匹配度可计算：如果某一步的结论里出现了背景材料中没有的具体数值或型号，规则校验即可直接标出。这比事后用模型整体打分更可靠，也更便于向评审与验收方解释判据。 一条工艺判断类样本的完整样例如下（取自板材备料场景，字段值已按脱敏规则处理）： ```json { "sample_id": "GYSJ-CL-2027Q1-000812", "task_type": "工艺判断", "scene_code": "BLBL-01", "difficulty": "三级", "question": "某刮板输送机中部槽封板零件，材料 Q355B，板厚 16mm，轮廓含两处 R40 圆弧过渡，图纸标注一处 45°坡口（坡口面粗糙度 Ra12.5）、四个 φ22 通孔、一条压弯线（折弯角 90°）。请在备料分厂工序字典范围内确定工序顺序，并说明判断依据。", "context": [ {"doc_id": "GYZD-BL-V3", "title": "备料分厂工序字典（28 道）", "page": 2, "text": "工序字典含下料类 6 道、成形类 5 道、孔加工类 4 道、坡口类 3 道、热处理类 3 道、表面类 4 道、辅助类 3 道……"}, {"doc_id": "GYGC-BL-07", "title": "板材备料工艺规程·压弯件展开长计算", "page": 11, "text": "压弯件展开长按中性层公式计算，中性层系数按板厚与折弯半径分档查表……"}, {"doc_id": "GYGC-BL-07", "title": "板材备料工艺规程·工序排序禁止条件", "page": 14, "text": "压弯工序之后不得安排影响弯曲区域尺寸精度的孔加工；坡口加工宜在轮廓成形之后……"} ], "reasoning_steps": [ {"step": 1, "text": "该零件为板类件，含轮廓、孔、坡口、压弯四类加工要求，须先确定各类要求的工序归属。", "refs": ["GYZD-BL-V3#p2"], "conclusion": "涉及下料类、孔加工类、坡口类、成形类四类工序。"}, {"step": 2, "text": "板厚 16mm 且轮廓含 R40 圆弧过渡，火焰切割难以保证圆弧精度，按工序字典中下料类的方法分档规则应选等离子数控切割。", "refs": ["GYZD-BL-V3#p2"], "conclusion": "下料工序取等离子数控切割。"}, {"step": 3, "text": "工艺规程规定压弯之后不得安排影响弯曲区域尺寸精度的孔加工，四个 φ22 通孔中须判断是否落在弯曲影响区。按图纸孔位标注，四孔均距压弯线 60mm 以上，超出板厚 3 倍的影响区范围。", "refs": ["GYGC-BL-07#p14"], "conclusion": "孔加工可安排在压弯之前。"}, {"step": 4, "text": "规程规定坡口加工宜在轮廓成形之后，本件轮廓由下料工序一次成形，故坡口工序排在下料之后、压弯之前，避免压弯后坡口面角度变化。", "refs": ["GYGC-BL-07#p14"], "conclusion": "坡口工序排在下料与孔加工之后、压弯之前。"}, {"step": 5, "text": "压弯工序需按中性层公式换算展开长，板厚 16mm、折弯角 90°，中性层系数按分档表查取后代入计算，展开长作为下料尺寸回写至下料工序的材料定额。", "refs": ["GYGC-BL-07#p11"], "conclusion": "压弯排在末位，并向下料工序回写展开长。"} ], "final_answer": "工序顺序为：等离子数控切割下料（按展开长下料）→ 钻孔（四个 φ22 通孔）→ 坡口加工（45°，Ra12.5）→ 压弯（90°）。展开长按中性层公式计算后回写下料工序材料定额。", "answer_evidence": [ {"doc_id": "GYZD-BL-V3", "page": 2, "quote": "下料类方法分档规则"}, {"doc_id": "GYGC-BL-07", "page": 14, "quote": "压弯工序之后不得安排影响弯曲区域尺寸精度的孔加工"}, {"doc_id": "GYGC-BL-07", "page": 11, "quote": "压弯件展开长按中性层公式计算"} ], "model_name": "gw-model-a@2027.01", "prompt_version": "COT-GYPD-v2.3", "batch_id": "B-2027Q1-CL-0042", "quality_status": "自一致性通过", "consistency_score": 0.84, "sampling_group": "SG-000812", "lineage": {"source": ["DWG-XXXXXX", "GYK-XXXXXX"], "pipeline": "工具5→工具4→工具1", "tool_version": "cot-gen-1.4.0", "rule_version": "BL-RULE-v1.2", "qc_result": "pass", "audit_status": "待专家复核"} } ``` 样例核对要点：背景材料取自甲方工艺文件并带出处；第 3 步含弯曲影响区阈值判断（工艺卡通常不落盘）；答案含「向下料工序回写展开长」，覆盖业务闭环而非单结论。样例中的文档标识与图号按脱敏规则处理，正式生产时由平台按真实标识填充。 ##### 2.3.4 多路采样与自一致性筛选 招标文件要求支持多路采样和自一致性投票，对同一问题生成多条推理路径，并按答案一致性、推理完整性、事实匹配度和规则约束筛选高可信样本（b0930）（b0931）。 四项判据各管一件事，合起来才构成筛选。答案一致性管"结论是否稳定"，推理完整性管"过程是否完整"，事实匹配度管"有没有编造"，规则约束管"是否违反本企业的硬规定"。四项的计算口径、判据与不达标处置如表 2-6。 表 2-6　自一致性筛选的四项判据与处置 | 判据 | 计算口径 | 通过条件（初始基线） | 不达标处置 | |---|---|---|---| | 答案一致性 | 同一采样组内各路径最终答案按任务类型规范化后聚类，取最大簇占比 | 多数簇占比不低于 0.6；枚举型答案要求完全一致，数值型答案允许在规程规定公差内视为一致 | 占比在 0.4–0.6 之间转人工复核；低于 0.4 判问题本身表述不清，退回题目修订 | | 推理完整性 | 步数落在模板设定的深度区间内，且每步均有非空结论、无跳步引用 | 步数在区间内且跳步引用数为 0 | 步数越界或存在跳步引用的路径直接淘汰，不进复核 | | 事实匹配度 | 推理步骤与答案中出现的实体、数值、型号、标准号，逐一回查背景材料与知识库；可回查命中的占比 | 命中率不低于 0.9，且不存在"背景材料中无此数值"的硬性不匹配项 | 存在硬性不匹配项直接淘汰；命中率 0.8–0.9 转人工复核 | | 规则约束 | 按场景规则库校验，如备料工序排序禁止条件、安全制度中的禁止性条款、热处理工艺参数窗口 | 无规则冲突 | 任一规则冲突直接淘汰，并把冲突条目记入样本的淘汰原因 | 四项判据的阈值在首批 2,000 条样本的人工全检结果上校准，校准方法是以人工判定为真值，调阈值使漏判（本应淘汰而通过）优先于误判（本应通过而淘汰）得到控制。我方不承诺达到无漏判，承诺的是：首批校准后漏判率给出实测值并写入质量报告，此后每月以 200 条随机抽样复核一次，漏判率逐步接近校准目标；单月实测漏判率高于校准值 50% 以上时，该月样本批次整体转人工复核，并回查是模板、模型版本还是规则库变更导致。这是本工具链的回退路径。 通过筛选的路径标记为"自一致性通过"，进入人机协同修订或直接入待采纳池。被淘汰的路径不删除：淘汰原因为"答案一致性不足"或"推理完整性不足"但事实匹配无硬性问题的路径，与同组优选路径配对构成偏好数据的负样本；因事实不匹配或规则冲突淘汰的路径另池存放，作为数据生成控制与评测类工具链的问题样本库输入。 ### 图 2-3　多路采样与自一致性筛选的处置流向 同一问题 3–5 路采样 · 多模型 ① 推理完整性 ② 规则约束 ③ 事实匹配度 ④ 答案一致性投票 采纳池 自一致性通过 人工复核队列 落在中间区间的样本 偏好数据负样本 与优选路径配对 问题样本库 事实不符·规则冲突 多数簇占比 ≥0.6 0.4–0.6 区间 人机协同思维链 标注工具链（工具 2） 修订后回流至采纳池 阈值校准：首批 2,000 条人工全检定阈值；月度 200 条抽样复核 回退：单月实测漏判率高于校准值 50% 以上，该月批次整体转人工复核并回查模板／模型版本／规则库变更 图 2-3　多路采样与自一致性筛选的处置流向。数据来源：招标文件 3.2.3.2.1 节第（4）条（b0930）（b0931）；四项判据口径与阈值见本章表 2-6。 ##### 2.3.5 处理流程 工具 1 的一次完整作业按七步推进，各步的输入、动作、产出与质检点如表 2-6A。表中"异常处置"一列给出每一步失败时的去向，保证作业不会在中途静默停下。 表 2-6A　大模型自生成思维链工具链的处理流程 | 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 | |---|---|---|---|---|---| | 1 | 场景编码、任务类型、问题来源 | 组装输入清单：从专家题库取题，或由业务记录反向构造问题 | 待生成问题清单 | 问题表述完整性、是否与评测集重复 | 与评测集重复的问题剔除并记录；表述不完整的退回题目修订 | | 2 | 问题清单、模板版本 | 检索背景材料（调用工具 4 检索接口），做长度预算 | 带背景材料的渲染输入 | 必填变量是否齐备、材料长度是否超限 | 必填变量缺失的条目入待料清单，不进生成队列 | | 3 | 渲染输入、生成参数、模型集合 | 多模型多路采样生成 | 原始生成结果 | Schema 校验、空输出与重复输出检测 | 校验失败按重试策略重试；三次仍失败记入失败清单并统计原因 | | 4 | 原始生成结果 | 解析为结构化样本，写入表 2-5 各字段与血缘 | 结构化推理样本 | 字段完整性、步骤引用指向是否有效 | 引用指向无效的样本直接判废并计入格式侧失败 | | 5 | 同一采样组的多条样本 | 按表 2-6 四项判据筛选 | 通过／淘汰／待复核三类 | 四项判据实测值与基线对照 | 判据实测值偏离基线超限时暂停该批放量，先回查模板与模型版本 | | 6 | 通过与待复核样本 | 分流：通过样本入采纳池，待复核样本派发至工具 2 | 分流结果 | 分流比例是否异常 | 待复核比例超过设定上限时降低生成温度或提高材料检索覆盖后重跑 | | 7 | 批次全部结果 | 生成批次质量报告，更新数据卡 | 质量报告、淘汰原因分布 | 报告字段完整性 | 报告缺项不得关闭批次 | 第 2 步约定：背景材料由检索链路提供并带出处，不由生成模型自行回忆；材料已知，方可做事实匹配校验。 ##### 2.3.6 接口与验收口径 工具 1 对外提供的接口如表 2-7。接口风格、鉴权、异常重试与状态回调遵循通用接口、追溯与验收要求一节的统一规范。 表 2-7　大模型自生成思维链工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 模板注册与版本发布 | POST | 模板本体、五个维度取值、变量清单、目标发布态 | 模板标识、版本号、校验结果 | | 模板批量渲染预览 | POST | 模板标识与版本、变量样本集、渲染条数 | 渲染结果样例、长度预算、缺失变量清单 | | 生成批次创建 | POST | 输入清单、模板版本、生成参数（表 2-4）、模型标识集合 | 批次标识、预估 Token 消耗、排队位置 | | 批次状态查询 | GET | 批次标识 | 进度、成功／失败数、失败原因分布 | | 样本结果获取 | GET | 批次标识、质量状态过滤、分页或流式 | 符合表 2-5 的样本集，支持 JSON／JSONL／Parquet | | 自一致性筛选触发 | POST | 采样组范围、判据阈值覆盖项 | 筛选结果统计、各判据淘汰数 | | 批次重试 | POST | 批次标识、仅重试失败分片标志 | 新分片状态 | | 质量报告导出 | GET | 批次／来源／任务类型／数据集版本维度 | 质量指标与问题样本清单 | 验收口径：我方提供可运行的演示样例一套（含模板、输入清单、生成参数与完整产出样本）、输入输出样例各不少于 20 条、配置说明与接口说明文档、以及在甲方环境中跑通的测试报告。测试报告须给出首批校准后的四项判据实测值、人工全检一致率，以及一次完整的模板灰度与回滚演练记录。 #### 2.4 人机协同思维链标注工具链（工具 2） 本节回应招标文件 3.2.3.2.2 节要求（b0932）。 模型自生成的推理路径即使通过了自一致性筛选，也只能说"几条路径互相不矛盾且没有明显编造"，不能说"这就是本企业资深工程师的判断方式"。把前者变成后者，靠的是领域专家在步骤层面上动手改。本工具链提供的是改的工位、改的留痕与改完之后的去向，不是把专家的工作替掉。 ##### 2.4.1 步骤级编辑与差异留痕 招标文件要求支持人机协同标注流程，标注人员与领域专家可对模型生成的推理步骤进行新增、删除、合并、拆分、重排和重写，并保留修改前后差异（b0933）（b0934）。 推理步骤在工具内部按有序步骤树组织：每一步是一个节点，节点上挂步骤文本、引用的背景材料项与本步结论；合并与拆分会改变节点数，重排会改变节点序。六类编辑操作的语义与差异记录内容如表 2-8。之所以要把操作类型区分得这么细，而不是笼统记一个"修改前后文本差异"，是因为这些操作的分布本身是有用的信号：如果某个场景的样本里"新增步骤"占压倒多数，说明提示词设定的推理深度偏浅；如果"重写"集中在某一类步骤上，说明模板里对该类判断的约束写得不够。这份分布会定期回流到模板优化。 表 2-8　六类编辑操作的语义与差异记录 | 操作 | 语义 | 典型使用情形 | 差异记录内容 | |---|---|---|---| | 新增 | 在指定位置插入新步骤 | 模型跳过了一个必要的校核环节，如漏掉弯曲影响区判断 | 插入位置、新步骤全文、引用项、操作人角色、时间戳 | | 删除 | 移除冗余或错误步骤 | 模型重复论述同一判断，或引入与本题无关的推导 | 被删步骤全文、删除原因枚举（冗余／错误／无关／违规） | | 合并 | 将相邻多步合为一步 | 模型把一次查表动作拆成三步，颗粒度过细 | 被合并步骤序号集合、合并后全文 | | 拆分 | 将一步拆为多步 | 一步里同时完成了查表与换算两个判断，无法单独核对 | 原步骤全文、拆分后各步全文与边界位置 | | 重排 | 调整步骤顺序 | 推理顺序与工艺实际顺序不符 | 调整前后序号映射表 | | 重写 | 保留步序，改写内容 | 判断方向对但依据引错、数值引错或表述不规范 | 修改前后全文、字符级差异、引用项变更 | 每一次编辑都生成一条修订记录，记录链按时间顺序挂在样本的 audit_trail 字段上。样本始终保留原始生成版本，修订版本以增量方式叠加，任何时点都可以回看"模型原来怎么说、人改成了什么、谁改的、为什么改"。这一点对本项目有直接价值：甲方的工艺知识长期存在于人的经验中，修订记录是第一次把"专家不同意模型哪里"这件事结构化记录下来，其本身就是企业规则沉淀的素材。 ### 图 2-4　步骤树编辑与差异留痕 模型原始版本 v1 ① 识别加工要求 ② 选下料方法 ③ 排坡口与压弯 ④ 给出工序顺序 专家修订版本 v2 ① 识别加工要求 ② 选下料方法（重写） ③ 判断弯曲影响区（新增） ④ 坡口（拆分） ⑤ 压弯并回写展开长 步序映射 修订记录（挂于 audit_trail） · 操作类型：重写／新增／拆分 · 修改前后全文与字符级差异 · 引用背景材料项的变更 · 操作人角色（标注员／领域专家） · 时间戳与版本号 · 修改原因枚举与自由说明 原始版本不覆盖，增量叠加可逐版回看 逐次写入 操作类型分布按场景统计，回流至提示词模板优化：新增占比高→推理深度偏浅；重写集中→模板约束不足 图 2-4　步骤树编辑与差异留痕。数据来源：招标文件 3.2.3.2.2 节第（1）条（b0933）（b0934）；示例步骤取自本章 2.3.3 节板材备料工艺判断样例。 ##### 2.4.2 优质样本的三条回流路径 招标文件要求支持将修订后的优质样本回流至提示词模板优化、模型评测和后续 SFT 数据生产环节（b0935）（b0936）。 三条回流路径的触发条件、回流内容与承接方不同，工具链分别实现，不混为一谈。 第一条回流到提示词模板优化。回流内容不是样本本身，是修订记录的统计量：按场景与任务类型汇总六类操作的占比、被删步骤的原因分布、被新增步骤的内容聚类。模板维护人据此改模板，改完走表 2-3 的灰度流程。触发节奏为每积累 500 条修订样本或每两周触发一次，取先到者。 第二条回流到模型评测。修订后经专家确认的样本中，按来源与时间双重切分划出一部分，锁定为评测用金标准，自划出之日起不再进入任何训练集。这件事必须在样本生产期就做，不能等到评测前再划。若同一批标注样本既用于训练又用于评测，评测结果会系统性偏高，验收看到的指标反映不了上线表现。划出比例按基准测试集 0.95 万条的规模需求反推，划出的样本在血缘上打不可逆的隔离标记，取用接口对训练类调用方直接不可见。 第三条回流到后续指令微调数据生产。确认采纳的样本按数据域归集，经格式转换后入指令微调集。转换规则是：问题与背景材料合成指令输入，推理步骤与最终答案合成期望输出；同一问题的优选路径与被淘汰路径配对，入偏好数据集。这里的"配对"有一个前提条件：被淘汰路径必须是因一致性或完整性不足被淘汰，而非因事实不符或规则冲突被淘汰；后者作为负样本会把错误事实带进训练，应进问题样本库而不是偏好集。 ### 图 2-5　修订后样本的三条回流路径与隔离边界 专家修订并确认 的推理样本 ① 提示词模板优化 回流修订操作统计量，非样本 ② 评测用金标准 按来源与时间双重切分划出 打不可逆隔离标记 ③ 指令微调与偏好数据 优选路径入 SFT 集 一致性淘汰路径配对入偏好集 每 500 条或每两周 模板新版本进灰度 见图 2-2 基准测试集 0.95 万条 训练类调用方不可见 89 万条 · 6.6 万组 按数据域归集入库 隔离边界 图 2-5　修订后样本的三条回流路径与隔离边界。数据来源：招标文件 3.2.3.2.2 节第（2）条（b0935）（b0936）；数据集规模口径取自招标文件逐数据集规模表。 ##### 2.4.3 多人交叉标注、专家仲裁与低一致性复核 招标文件要求支持多人交叉标注、专家仲裁和低一致性样本复核，并能够记录争议原因、裁决结论、审核状态和全过程审计信息（b0937）（b0938）。 交叉标注按任务难度分档派发：一级与二级难度样本单人标注加抽检，三级与四级难度样本固定双人独立标注，涉及安全合规判断的样本一律双人独立标注。双人独立标注意味着第二位标注人看不到第一位的结果，这一点在工具层面强制，不依赖流程纪律。 两份标注结果的一致性在三个粒度上分别计算，如表 2-9。分粒度计算是必要的：两位专家可能最终答案完全一致，但推理路径差异很大，这种情况下样本可用于训练答案，不宜直接用于训练推理过程，需要仲裁确定采用哪条路径。 表 2-9　交叉标注一致性的计算粒度与分流 | 粒度 | 计算方法 | 一致性判定 | 分流处置 | |---|---|---|---| | 最终答案 | 按任务类型规范化后比对 | 一致／不一致 | 不一致一律进仲裁 | | 推理步骤序列 | 步骤对齐后计算编辑距离，归一化为相似度 | 相似度不低于 0.7 视为一致 | 低于 0.7 进仲裁，仲裁只定路径不改答案 | | 引用依据 | 引用的背景材料项集合求交并比 | 交并比不低于 0.6 视为一致 | 低于 0.6 进复核，核对是否存在引错依据 | 仲裁由领域专家承担，仲裁工位上同时展示两份标注、差异高亮与各自的修改原因，专家可采纳其中一份、合成第三份，或判定问题本身表述有缺陷退回题目修订。仲裁记录的字段包括：争议粒度（答案／路径／依据）、争议原因枚举（规程理解分歧、图纸信息不足、规则版本不一致、术语口径不一致、题目表述歧义、其他）、裁决结论、裁决依据引用、仲裁人角色、裁决时间。争议原因的分布会按月汇总。这份汇总对甲方的价值可能超过样本本身，因为"规程理解分歧"集中出现在哪些条款上，直接指出了哪些工艺规程需要澄清或补充。 审核状态按"待标注—标注中—待仲裁—已仲裁—待终审—已采纳／已退回"推进，状态迁移与操作人角色绑定，标注人不能自审，仲裁人不能仲裁自己参与标注的样本。全过程审计信息包括每一次状态迁移的操作人角色、时间、入参与出参摘要，审计日志只追加不修改，保留期按甲方数据安全管理要求执行。 低一致性样本的复核不止于逐条处置。工具链按场景、任务类型、标注人角色、规则版本四个维度统计一致率，当某一维度的一致率连续两周低于设定基线时触发专项复核：先查是不是标注规范对该类情形没有写明，再查是不是题目来源有系统性问题，最后才考虑标注人培训。这一排查顺序是故意这样定的。一致率低通常是规范问题而不是人的问题，先改规范比先培训人有效。 ##### 2.4.4 处理流程与样例 工具 2 的作业流程按六步推进，如表 2-10A。 表 2-10A　人机协同思维链标注工具链的处理流程 | 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 | |---|---|---|---|---|---| | 1 | 待复核样本、难度分档规则 | 派发任务：三级及以上难度与安全合规类双盲派发 | 标注任务批次 | 双盲设置是否生效、派发量是否超岗位承载 | 双盲设置失效时任务不予创建 | | 2 | 标注任务 | 标注人执行六类编辑操作，逐次记录差异 | 修订版本与修订记录 | 每次操作是否带修改原因 | 无修改原因的操作不予提交 | | 3 | 同一样本的多份标注 | 按表 2-9 三粒度计算一致性 | 一致性结果、待仲裁清单 | 三粒度阈值是否按当前版本 | 阈值版本不一致时重算 | | 4 | 待仲裁样本 | 专家仲裁，记录争议原因与裁决依据 | 仲裁记录、最终版本 | 仲裁人是否参与过该样本标注 | 存在利益冲突时改派其他仲裁人 | | 5 | 已仲裁样本 | 终审确认，写入审核状态 | 已采纳或已退回 | 终审人角色权限 | 退回样本注明退回原因与可否重做 | | 6 | 已采纳样本 | 按三条路径回流（见 2.4.2 节） | 模板优化统计量、金标准、训练集 | 隔离标记是否写入成功 | 隔离标记写入失败则本次回流回滚 | 一条修订记录的样例（对应图 2-4 中的"新增"操作）： ```json { "record_id": "REV-000812-003", "sample_id": "GYSJ-CL-2027Q1-000812", "from_version": "v2", "to_version": "v3", "operation": "新增", "position": {"after_step": 2}, "new_step": {"step": 3, "text": "工艺规程规定压弯之后不得安排影响弯曲区域尺寸精度的孔加工，需先判断四个 φ22 通孔是否落在弯曲影响区。按图纸孔位标注，四孔距压弯线均在 60mm 以上，超出板厚 3 倍的影响区范围。", "refs": ["GYGC-BL-07#p14"], "conclusion": "孔加工可安排在压弯之前。"}, "reason_code": "漏校核环节", "reason_note": "原路径直接给出工序顺序，未校核孔位与弯曲影响区的关系；该校核是本厂规程的硬性要求。", "operator_role": "领域专家", "timestamp": "2027-02-14T09:37:00+08:00", "char_diff_summary": {"inserted": 112, "deleted": 0, "modified": 0} } ``` 这条记录的 reason_code 为"漏校核环节"，是六类编辑操作统计中最值得关注的一类——它直接指出提示词模板对该任务类型的推理深度要求偏浅。按 2.4.2 节第一条回流路径，这类原因码的累计占比超过阈值即触发模板修订。 ##### 2.4.5 接口与验收口径 表 2-10　人机协同思维链标注工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 标注任务派发 | POST | 样本范围、难度分档规则、标注人角色与人数、是否双盲 | 任务批次标识、派发明细 | | 步骤编辑提交 | POST | 样本标识、操作序列（六类操作）、修改原因、引用项变更 | 新版本号、差异摘要、校验结果 | | 样本版本与差异查询 | GET | 样本标识、版本区间 | 各版本全文、字符级差异、操作人角色与时间 | | 一致性计算 | POST | 标注批次标识、三个粒度的阈值覆盖项 | 三粒度一致性结果、待仲裁清单 | | 仲裁提交 | POST | 样本标识、争议粒度、原因枚举、裁决结论与依据 | 仲裁记录标识、后续状态 | | 回流触发 | POST | 回流路径（模板优化／金标准／训练集）、样本范围 | 回流批次标识、隔离标记写入结果 | | 审计日志导出 | GET | 时间区间、样本范围、操作人角色 | 只追加日志的导出文件 | | 一致率统计 | GET | 场景／任务类型／标注人角色／规则版本维度 | 一致率时序与低于基线的维度清单 | 验收口径：我方提供标注工位的演示样例（含双盲派发、六类编辑操作、仲裁与回流全流程录屏或分步截图）、输入输出样例、配置说明与接口说明、测试报告。测试报告须给出首批样本的三粒度一致率实测值、仲裁率、争议原因分布，以及一次由低一致率触发的专项复核记录。本工具链不设"一致率达到某一固定数值"的绝对承诺，设的是基线加改进口径：首批测得的一致率作为基线写入报告，此后按月统计，趋向于逐步提高；连续两个统计周期低于基线时按上述排查顺序处置并记录结论。 #### 2.5 推理质量评估与样本版本追溯 本节回应招标文件 3.2.3.2 节对本类工具链"须覆盖模型自动生成、人机协同修订、自一致性筛选、推理质量评估和样本版本追溯等环节"的要求中后两个环节（b0920）。前三个环节分别由 2.3.2、2.4.1 与 2.3.4 三节交代，此处补齐评估与追溯。 ##### 2.5.1 推理质量评估的四类口径 自一致性筛选判断的是"这条路径能不能留"，推理质量评估回答的是另一个问题："这一批样本整体处在什么水平，比上一批好还是差。"两者的判据有重叠但用途不同：前者是逐条的闸门，后者是批次级的度量，是质量报告与验收的依据。四类评估口径如表 2-9A。 表 2-9A　推理质量评估的四类口径 | 口径 | 评估对象 | 计算方式 | 用途 | |---|---|---|---| | 步骤有效率 | 单条样本 | 有明确结论且被后续步骤或最终答案引用的步骤数，占总步骤数的比例 | 识别"凑步数"的样本；批次均值低说明推理深度配置与任务难度不匹配 | | 依据覆盖率 | 单条样本 | 推理步骤中引用了背景材料的步骤数占应引用步骤数的比例；应引用步骤由任务类型决定 | 识别无依据推理；工艺判断与安全合规判断类要求高于知识推理类 | | 专家修订率 | 批次 | 经人机协同环节产生实质修订（新增、删除、重写三类操作）的样本占送审样本的比例，按操作类型分列 | 衡量模型生成质量的趋势；修订率随模板迭代趋向下降 | | 难度分布符合度 | 批次 | 实际难度分布与目标难度分布的偏差 | 防止批次整体偏易；偏差超限的批次补生成高难度样本 | 四类口径在质量报告中按批次、来源、任务类型与数据集版本四个维度呈现，格式与通用质量报告规范一致。四项的首批实测值作为基线写入报告，后续按批次对照。本工具链不对这四项承诺固定数值。它们受任务难度与文档质量影响，不同数据域的合理区间不同；承诺的是基线公开、逐批对照、低于基线时给出原因分析与处置记录。 有一项评估需要单独说明：推理过程的正确性无法单凭自动化手段完全判定。工具链能自动判出"引用了不存在的数值""违反了成文规则""步骤间逻辑断裂"，判不出"依据都对但判断方向错了"。后者只能由领域专家判断，因此专家抽检是推理质量评估不可替代的一环。本项目的安排是：每批次按不低于 5% 的比例由领域专家抽检推理方向的正确性，抽检结果单列为一项指标，与自动化指标并列呈现，不合并计算。把人判的和机器判的混成一个数，会让验收时无法分辨质量到底来自哪一侧。 ##### 2.5.2 样本版本追溯 样本版本追溯要回答四个具体问题：这条样本当初是怎么生成的、后来被谁改过什么、它现在属于哪个数据集版本、以及如果上游的某份文件更新了，哪些样本需要重做。前三个问题由血缘字段与修订链回答，第四个问题需要反向索引。 正向追溯链由表 2-5 的 lineage 字段与 audit_trail 字段共同承载：lineage 记录生成时的全部版本信息（原始数据标识、处理链路、工具版本、模型版本、提示词版本、规则版本、质检结果、审核状态），audit_trail 按时间顺序记录每一次修订与审核。给定一条样本，可以逐项复原出它的生成条件与修改历史。 反向索引是追溯能力的另一半，也是实际运行中用得更多的一半。工具链维护"源文档—样本"与"规则版本—样本"两张反向索引：某份工艺规程发布新版本时，通过第一张索引可以列出所有以该规程旧版本为依据的样本；某条场景规则修订时，通过第二张索引可以列出所有按旧规则校验通过的样本。列出之后的处置分三档，如表 2-9B。 表 2-9B　上游变更后的样本处置分档 | 变更类型 | 判定方式 | 处置 | |---|---|---| | 实质变更 | 变更涉及被样本引用的具体条款、数值或判据 | 相关样本标记"依据已过期"，退回复核；复核后重做或作废 | | 非实质变更 | 变更不涉及被引用内容（如排版调整、无关章节修订） | 样本的依据版本号更新，内容不变，不退回 | | 待判定 | 自动比对无法确定是否涉及被引用内容 | 转人工判定，判定结果记入变更处置记录 | 实质变更与非实质变更的区分依靠片段级的来源映射：样本引用的是某份文档的哪一段、哪些字符区间，新旧版本在该区间上有无差异，这是可以自动比对的。能自动比对的部分走自动判定，比对不确定的部分转人工。这个分档的意义在于避免两种极端：一是文件一改就把全部相关样本作废，代价过高；二是文件改了却无人知道哪些样本受影响，数据集里留下一批以作废依据为基础的样本。 数据集版本关系由平台的数据集版本管理承载，本工具链的责任是保证每条样本携带的版本信息完整、可被索引、且在样本被修订时同步更新。追溯接口的具体形式与通用接口、追溯与验收要求一节一致，本节不重复。 ### 三、长上下文数据构建类工具链 本节回应招标文件 3.2.3.3 节长上下文数据构建类工具链的全部要求（b0939）。 #### 3.1 甲方的现场问题与本类工具链的能力定位 招标文件要求这一类工具链提供面向长文档、复杂技术资料、标准规范、知识库和检索增强训练场景的数据构建能力，用于将 PDF、Word、HTML、Markdown、表格、图文混排资料等转化为可用于长文本训练、RAG 训练和评测的结构化样本，覆盖文档解析、语义切分、滑窗拼接、结构还原、向量检索、上下文组装和质量检查七个环节（b0940）。 预训练语料 615 亿 Token 的主体来自文档。甲方的文档资源不缺量：企业文档系统归档了标准、技术手册、工程资料与外部资料，协同办公系统承载制度文件、合同与标书，产品全生命周期管理系统承载图纸与工艺文件。缺的是三样东西。第一样是结构。一份几百页的刮板输送机维护手册在系统里是一个 PDF 文件，章节层级、表格归属、图与图说的对应关系都只存在于版面上，机器读到的是连续的字符流，切出来的片段常常从一句话中间断开。第二样是出处。通用场景的核心需求是"回答一个问题时能说清依据的是哪一版文件、哪一页",而文档一旦被切成片段，页码与版本信息若不随片段带走，这个需求就无法满足。第三样是长度适配。训练与评测对样本长度有要求，手册里有的章节三百字、有的两万字，直接按章节切会得到一批长度分布极不均匀的样本。 本类工具链的三个工具正好对应这三样：文档结构解析工具链（工具 5）还原结构，文档切分与拼接工具链（工具 3）处理长度适配与来源映射，RAG 数据构建工具链（工具 4）处理检索与出处。三者在流水线上的实际顺序是工具 5 在前、工具 3 在中、工具 4 在后；招标文件的条目顺序是工具 3、4、5，本章按招标文件顺序叙述，各工具内部注明其在流水线上的上下游，便于逐条核对。 #### 3.2 可处理的数据与产出物 招标文件列明本类工具链须能够处理技术手册、行业标准、工艺规程、维修手册、设备说明书、招投标文件、知识库文档、PDF/Office/HTML 文件、向量模型和查询模板等数据，生成结构化文档对象、章节树、长上下文样本、RAG 评测样本等（b0941）。各类输入在甲方的落点与产出对应关系如表 2-11。 表 2-11　长上下文数据构建类工具链的输入数据与产出物对应关系 | 招标文件所列输入 | 在甲方的具体落点 | 主要格式 | 产出物 | |---|---|---|---| | 技术手册 | 刮板输送机、减速器、电机、液压件的技术手册 | PDF、Word | 章节树、结构化段落、长上下文样本 | | 行业标准 | 煤矿机械相关国家标准、行业标准与企业标准 | PDF | 章节树、条款级片段、条款引用索引 | | 工艺规程 | 板材备料、热处理、焊接等工艺规程与作业指导书 | Word、PDF | 结构化段落、规则候选条目、长上下文样本 | | 维修手册 | 井下装备安装使用维护手册、检修规程 | PDF | 章节树、故障处置片段、RAG 语料 | | 设备说明书 | 外购件与配套设备说明书 | PDF、图文混排 | 结构化段落、参数表对象 | | 招投标文件 | 历史标书、技术应答文件、合同文本 | Word、PDF | 章节树、条款级片段、问标书场景语料 | | 知识库文档 | 经治理入库的知识条目与问答对 | Markdown、结构化 | RAG 语料、评测样本 | | PDF/Office/HTML 文件 | 上述各类的实际承载格式，另含 Excel 台账与 PPT 培训材料 | PDF、Word、Excel、PPT、HTML、Markdown、TXT | 统一文档对象 | | 向量模型 | 经平台统一模型网关接入的向量化能力 | 服务接口 | 向量索引 | | 查询模板 | 按场景配置的查询生成模板 | 工具链自身资产 | 查询—上下文—回答三元组 | 需要说明一处取数前提：产品全生命周期管理系统中的原生图纸不支持整批导出，图纸与工艺图的结构化抽取由多模态数据对齐类工具链承担（见对齐与标注类工具链相关章节），本类工具链处理的是文本与版面类文档。两类工具链在同一份技术手册上可能分别取用：手册正文归本类，手册中的装配图归多模态类，由文档对象上的要素类型标记区分，不重复加工。 #### 3.3 文档切分与拼接工具链（工具 3） 本节回应招标文件 3.2.3.3.1 节要求（b0942）。本工具在流水线上接收工具 5 输出的结构化文档对象，输出长上下文样本与来源映射表，供预训练语料与长文本训练使用。 ##### 3.3.1 多格式导入与版面要素识别 招标文件要求支持 PDF、Word、Excel、PPT、HTML、Markdown、TXT 等多格式文档导入，并能够识别正文、标题、表格、图片、公式、附件、页码和章节层级（b0943）（b0944）。 多格式导入的关键不在于支持的格式数量，而在于对同一格式的不同成因区别对待。甲方的 PDF 至少有三种成因：由 Word 直接导出的电子 PDF（文字层完整，版面信息可解析）、扫描纸质文件得到的影像 PDF（无文字层，须经光学字符识别）、以及由图纸或排版软件输出的图文混排 PDF（文字层存在但阅读顺序混乱）。三者的解析通道完全不同，若不加区分地走同一条通道，影像 PDF 会得到空文本，混排 PDF 会得到顺序错乱的文本。工具链在导入时先做成因判定，再按表 2-12 分派通道。 表 2-12　格式与成因的解析通道分派 | 格式与成因 | 判定方法 | 解析通道 | 可识别要素 | 条件不具备时的退化策略 | |---|---|---|---|---| | 电子 PDF | 文字层覆盖率高于阈值且字符位置规整 | 版面分析加文字层抽取 | 正文、标题、表格、图片位置、公式、页码、章节层级 | —— | | 影像 PDF | 无文字层或覆盖率极低 | 光学字符识别加版面分析 | 正文、标题、表格（框线可识别时）、页码 | 识别置信度低于阈值的页面标记为"待人工校对"，不入训练集，先入待校对队列 | | 图文混排 PDF | 文字层存在但阅读顺序熵高 | 版面分区后分区内重建阅读顺序 | 正文、标题、图片与图说对应关系 | 分区失败的页面按整页图像处理，文字作为图像说明候选 | | Word（docx） | —— | 文档对象模型直读 | 全要素，含样式级标题层级、批注、修订痕迹 | 旧版 doc 先转换，转换失败转 PDF 通道 | | Excel | —— | 工作表与单元格直读 | 表格结构、合并单元格、公式、跨表引用 | 含大量格式化排版的台账按"表格即对象"处理，不强行转为段落 | | PPT | —— | 幻灯片对象直读 | 标题、文本框、表格、图片、备注 | 以图片为主的页面转图像处理 | | HTML | —— | 文档树解析 | 标题层级、正文、表格、链接、附件引用 | 页面模板噪声按选择器规则剔除 | | Markdown／TXT | —— | 直读 | 标题层级（Markdown）、正文 | TXT 无标题结构，按空行与行首特征推断段落 | 要素识别的产出是统一的文档对象，不因输入格式而异。文档对象的顶层记录文档标识、原文件指纹、格式与成因、版本状态、授权范围与密级标记；中层是章节树；底层是段落、表格、图片、公式等要素节点，每个节点带页码、在页内的位置、在章节树中的路径。密级标记随对象一路传递到样本。这是后续授权校验与出域控制的依据，不能到了组装样本时才补。 表格与公式这两类要素单独说明。表格在甲方的技术资料中承载了大量参数要求，如热处理工艺参数窗口、中性层系数分档表、物料定额表，这些表格被切碎后价值归零，因此工具链把表格作为不可分割对象处理：表格整体作为一个要素节点，带表头、表题与所属章节；跨页表格由工具 5 完成拼接后再交给本工具。公式在工艺规程与校核文档中出现（如中性层展开长公式、链条安全系数公式），工具链将其转为可检索的文本表达并保留原始图像，两者同时挂在节点上，检索用文本、人工核对用图像。 ##### 3.3.2 滑动窗口拼接与来源映射 招标文件要求支持滑动窗口拼接长上下文样本，可配置窗口长度、重叠比例、最大 Token 数、跨章节拼接策略、EOS 分隔符和来源映射关系（b0945）。 滑窗拼接解决的是长度适配问题，但如果只按长度切，会在句子和表格中间断开。工具链的做法是"先按语义边界划候选点，再按长度在候选点上落窗"：候选点来自章节边界、段落边界、句子边界、表格边界四类，优先级由高到低；落窗时在目标长度附近寻找优先级最高的候选点，落窗位置与目标长度的偏差在容许范围内即接受。参数配置如表 2-13。 表 2-13　滑动窗口拼接的参数配置 | 参数 | 取值范围 | 本项目默认口径 | 说明 | |---|---|---|---| | 窗口长度 | 512–32768 Token | 预训练语料 4096，长文本训练 8192 与 16384 两档 | 按下游训练任务的上下文窗口设定 | | 重叠比例 | 0–30% | 技术手册与标准 10%，工艺规程 15% | 重叠保证跨窗语义连续；过高会在预训练语料中引入重复 | | 最大 Token 数 | 等于或小于窗口长度 | 等于窗口长度，硬上限 | 超限样本不截断，改为重新落窗 | | 跨章节拼接策略 | 禁止／同级允许／按父章节允许 | 标准与规程类禁止跨章节，手册类按父章节允许 | 标准条款跨章节拼接会造成条款混淆 | | EOS 分隔符 | 可配置 | 章节间插入章节分隔标记，文档间插入文档分隔标记 | 让模型学到边界，避免跨文档语义串联 | | 来源映射粒度 | 窗口级／片段级 | 片段级 | 片段级映射是出处可追溯的前提 | | 落窗偏差容许 | 0–20% | 15% | 容许偏差换取在语义边界落窗 | 来源映射表是本工具最重要的产出之一，也是整个长上下文构建链条的出处依据。每个长上下文样本携带一张映射表，逐片段记录：源文档标识、源文档版本、章节树路径、页码、段落序号、在原文中的字符区间、要素类型。有了这张表，任何一个长上下文样本都可以被反向定位到原文的具体位置；通用场景中"说清依据的是哪一版文件哪一页"的要求，依赖的就是这张表。 ### 图 2-6　滑动窗口拼接与来源映射的生成过程 结构化文档对象（来自工具 5） §4.1 段落 §4.1 段落 §4.2 参数表（不可分割） §4.2 段落 §4.3 段落 §4.3 段落 候选落窗点（优先级：章节＞段落＞句子＞表格边界） 章节 表格边界 章节 段落 段落 落窗结果（目标 4096 Token，偏差容许 15%，重叠 10%） 窗口 W1：§4.1–§4.2（表格整体纳入） 窗口 W2：§4.2 尾段–§4.3（重叠段） 窗口 W3：§4.3 续 来源映射表（片段级）：源文档标识 · 版本 · 章节树路径 · 页码 · 段落序号 · 字符区间 · 要素类型 每个窗口携带一张映射表；任一片段可反向定位到原文位置，是出处可追溯的唯一依据 图 2-6　滑动窗口拼接与来源映射的生成过程。数据来源：招标文件 3.2.3.3.1 节第（1）（2）条（b0943）（b0944）（b0945）；参数口径见本章表 2-13。 ##### 3.3.3 处理流程与样例 工具 3 的作业流程按五步推进：接收结构化文档对象并校验结构置信度；按章节、段落、句子、表格四类边界标出候选落窗点；按窗口参数在候选点上落窗，表格整体纳入不拆分；为每个窗口生成片段级来源映射表；执行质量检查（片段过短、重复拼接、语义断裂、来源缺失、Token 超限五类，见表 2-17 相应行）并分流。结构置信度低于阈值的文档不进入落窗，直接转待校对队列。这一道前置校验的意义在于，结构没还原好的文档无论怎么切都切不对。 一条长上下文样本的产出样例（节选，对应图 2-6 中的窗口 W1）： ```json { "sample_id": "LC-SCS-2027Q1-001204", "window_spec": {"target_tokens": 4096, "actual_tokens": 3978, "overlap_ratio": 0.10, "cross_section_policy": "按父章节允许"}, "text": "【§5 减速器维护】\n5.1 日常检查\n……\n5.2 润滑管理\n……\n……
\n……", "source_map": [ {"seq": 1, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.1 日常检查", "page_start": 108, "page_end": 110, "paragraph_seq": "1-14", "char_range": [46012, 47880], "element_type": "正文"}, {"seq": 2, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.2 润滑管理", "page_start": 110, "page_end": 111, "paragraph_seq": "1-9", "char_range": [47881, 48950], "element_type": "正文"}, {"seq": 3, "doc_id": "SCS-SB-V4", "doc_version": "V4", "section_path": "5 减速器维护 / 5.2 润滑管理", "page_start": 111, "page_end": 112, "paragraph_seq": "表 5-1", "char_range": [48951, 49420], "element_type": "表格", "table_id": "T-5-1", "cross_page": true} ], "split_basis": ["章节", "表格边界"], "qc": {"too_short": false, "duplicate": false, "semantic_break": false, "source_missing": false, "token_overflow": false}, "lineage": {"source": ["SCS-SB-V4"], "pipeline": "工具5→工具3", "tool_version": "doc-chunk-1.3.1", "structure_confidence": 0.93, "security_label": "内部"} } ``` 样例中 seq 3 这一项是跨页表格，cross_page 为真且作为一个不可分割要素整体纳入窗口。若按纯长度切分，这张"润滑油牌号与换油周期"表会被从中间断开，后续用它生成的问答样本就会出现牌号与周期对不上的错误。这类错误在样本层面很难被发现，因为两半各自都是通顺的文本。 ##### 3.3.4 接口与验收口径 表 2-14　文档切分与拼接工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 文档导入 | POST | 文件或文件清单、格式声明（可缺省由成因判定）、密级标记、授权范围 | 文档标识、成因判定结果、解析通道、要素统计 | | 文档对象查询 | GET | 文档标识、要素类型过滤 | 章节树与要素节点，含页码与位置 | | 滑窗拼接任务创建 | POST | 文档范围、窗口参数（表 2-13）、目标数据集版本 | 任务标识、预估样本条数与 Token 量 | | 长上下文样本获取 | GET | 任务标识、分页或流式 | 样本正文、来源映射表，支持 JSONL／Parquet | | 来源反查 | GET | 样本标识与片段序号 | 源文档标识、版本、页码、字符区间 | | 待校对队列查询 | GET | 文档范围、置信度阈值 | 低置信度页面清单与原因 | 验收口径：我方提供七类格式各不少于 2 份的导入演示样例（其中 PDF 覆盖电子、影像、图文混排三种成因）、滑窗参数三档配置的输出样例、来源反查的双向验证记录、配置说明与接口说明、测试报告。测试报告须给出各格式的要素识别抽样准确率实测值、影像 PDF 转入待校对队列的比例，以及一批样本的来源反查逐条核对结果。要素识别不承诺达到全要素无差错，承诺的是：按格式分别给出实测准确率基线，低置信度内容显式进待校对队列而不静默入库，并随语料积累逐步接近设定目标。 #### 3.4 RAG 数据构建工具链（工具 4） 本节回应招标文件 3.2.3.3.2 节要求（b0946）。本工具在流水线上接收工具 5 与工具 3 的产出，输出查询—上下文—回答三元组与 RAG 评测样本，并为思维链构建类工具链提供背景材料检索服务。 ##### 3.4.1 检索链路的七个环节 招标文件要求支持 RAG 数据构建能力，能够完成文本向量化、向量库入库、关键词检索、向量检索、混合检索、重排、证据选择和上下文组装（b0947）（b0948）。 这八项动作构成一条完整链路。链路的设计要点不在于每一项用什么算法，而在于两件事：混合检索的权重如何确定，以及证据选择阶段按什么规则取舍。前者决定召回，后者决定生成出来的样本是否站得住。 文本向量化经平台统一模型网关调用向量化能力，向量模型标识与版本记入索引元数据。这一点在本项目有实际必要性：向量模型换代后，旧索引与新查询的向量不在同一空间，必须能查出"哪些索引是用哪个版本建的"，才能判断是否需要重建。索引按知识域分库建设，四个数据域各自独立，跨域检索由上层按授权范围合并，不把不同密级的内容混在一个索引里。 入库时每个片段除向量外同时写入可过滤的元数据：源文档标识与版本、章节树路径、页码、要素类型、业务对象标签（如所属设备型号、所属工序、所属物料类别）、密级标记、生效状态（现行／作废／替代）。生效状态这一项对标准与制度类文档尤其重要。甲方的技术标准与管理制度存在版本更替，作废版本不能被检索到当作依据，但也不能直接删除，因为历史问答的追溯需要它。 关键词检索与向量检索并行执行后做混合。混合不是简单加权求和：两路检索的得分尺度不同，先各自在候选集内做分数归一化，再按场景配置的权重合并。权重按文档类型分档设定：标准与规程类文档的查询常含条款号、型号、标准号这类精确标识，关键词检索权重取高；故障现象描述、工艺判断这类查询语义化程度高，向量检索权重取高。初始权重按场景设定后，以人工标注的查询—相关片段对为校准集做一轮调参，调参结果写入配置并记版本。 重排对混合后的候选集做精排，重排模型同样经统一模型网关接入，可替换、可评测。重排之后进入证据选择：这一步不是取前 N 条，而是按四条规则取舍：同一源文档的连续片段优先合并为一段而不是分列多条；内容高度重复的片段去重保留信息量最大者；作废状态的片段剔除；与查询的实体不匹配的片段剔除（如查询指向某一型号而片段指向另一型号）。实体不匹配的剔除依赖入库时写入的业务对象标签，这也是为什么元数据必须在入库阶段就写全。 上下文组装把选中的证据按原文顺序而非得分顺序排列，补上章节标题作为层级提示，插入片段分隔标记与出处标注，最后做长度预算：超出目标上下文长度时按引用片段裁剪策略裁剪，而不是整段丢弃。 ### 图 2-7　RAG 数据构建链路与责任边界 结构化片段 （工具 5／工具 3） 向量化与入库 元数据随片段写入 元数据：版本·页码 业务对象标签·密级 生效状态（现行／作废） 关键词检索 向量检索 混合：分数归一化 权重按文档类型分档 重排（经网关） 证据选择四条规则 连续片段合并·重复去重 作废剔除·实体不匹配剔除 上下文组装 原文顺序·出处标注 三元组生成 查询·上下文·回答 ＋证据来源与置信度 质量检查八类问题 见表 2-17 RAG 评测样本 六项指标见表 2-18 人工 复核 状态 本工具链产出训练与评测数据；检索服务同时供思维链构建类工具链取背景材料 在线问答检索与模型推理属训练推理技术服务范围，本工具链不承担在线服务 回退：召回不足或证据不相关超阈值的查询转人工补充标注；向量模型换代时按索引元数据判断重建范围 图 2-7　RAG 数据构建链路与责任边界。数据来源：招标文件 3.2.3.3.2 节第（1）（3）条（b0947）（b0948）（b0951）（b0952）（b0953）。 ##### 3.4.2 查询—上下文—回答三元组的生成与证据留痕 招标文件要求支持基于检索结果自动生成查询、上下文、回答三元组，并保留证据来源、引用片段、页码、置信度和人工复核状态（b0949）（b0950）。 三元组的生成方向有两条，工具链都支持，用途不同。 正向生成从查询出发：查询来自查询模板渲染、专家题库或历史问答记录，走检索链路得到上下文，再由大模型基于上下文生成回答。这条路径贴近实际使用形态，适合生成评测样本。 反向生成从文档出发：先取一段结构化片段，由大模型基于该片段生成若干个"该片段能回答的问题"，再把这些问题投回检索链路，只有当检索能把原片段召回到前列时，该问题才被保留为有效查询。这条路径的好处是覆盖面可控——可以保证每一份重要文档都被覆盖到，不会出现"手册第七章没有任何一条训练样本"的情况；同时它自带一道检验：如果一个问题连它的来源片段都召回不出来，说明这个问题表述有问题或索引有问题，这本身是有价值的诊断信号。 本项目的配比口径是：预训练与检索增强训练用样本以反向生成为主，保证文档覆盖；评测样本以正向生成为主，并要求查询来源可追溯到专家题库或真实问答记录，避免评测题与训练题同源。 三元组的字段定义如表 2-15。 表 2-15　查询—上下文—回答三元组的字段定义 | 字段 | 说明 | |---|---| | triple_id | 三元组唯一标识 | | query | 查询文本 | | query_origin | 查询来源：模板渲染／专家题库／历史问答／反向生成 | | context | 组装后的上下文全文，含片段分隔标记与出处标注 | | evidence | 证据数组，每项含源文档标识、版本、章节路径、页码、引用片段原文、在原文中的字符区间、检索得分、重排得分 | | answer | 回答文本 | | answer_grounding | 回答中每个论断与 evidence 项的对应关系 | | confidence | 置信度，由检索得分、重排得分与接地性校验结果合成 | | review_status | 人工复核状态：未复核／复核通过／复核修订／复核驳回 | | review_record | 复核记录：复核人角色、时间、修订内容、驳回原因 | | lineage | 血缘信息，口径同表 2-5 | answer_grounding 字段是"引用准确率"与"答案接地性"两项指标可计算的前提：回答被切成论断单元，每个论断单元指向它所依据的 evidence 项，没有对应项的论断即为未接地论断。这个设计让"答案是否有出处"从一个主观判断变成一个可统计的数字。 一条 RAG 三元组样例如下（取自装备健康诊断场景的维修手册问答）： ```json { "triple_id": "RAG-ZBJK-2027Q1-004137", "query": "刮板输送机减速器运行中出现油温持续升高但振动值正常，按维护手册应依次检查哪些项，判断顺序的依据是什么？", "query_origin": "专家题库", "context": "【来源 1｜《刮板输送机安装使用维护手册》V4 · 第 5 章 减速器维护 · 第 112 页】减速器正常工作油温不应超过规定上限，油温异常升高时按下列顺序排查：润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况……\n【来源 2｜同上 · 第 5 章 · 第 114 页】油温升高而振动值未同步升高时，优先从润滑与冷却环节排查；若振动值同步升高，应优先排查轴承与齿轮……\n【来源 3｜《减速器润滑油管理规定》V2 · 第 3 条 · 第 2 页】润滑油更换周期按运行小时数与油品检测结果双重判定……", "evidence": [ {"doc_id": "SCS-SB-V4", "version": "V4", "section": "5 减速器维护 / 5.3 异常处置", "page": 112, "quote": "油温异常升高时按下列顺序排查：润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况", "char_range": [48213, 48302], "retrieval_score": 0.81, "rerank_score": 0.93}, {"doc_id": "SCS-SB-V4", "version": "V4", "section": "5 减速器维护 / 5.3 异常处置", "page": 114, "quote": "油温升高而振动值未同步升高时，优先从润滑与冷却环节排查", "char_range": [49880, 49932], "retrieval_score": 0.76, "rerank_score": 0.95}, {"doc_id": "RHY-GL-V2", "version": "V2", "section": "3 更换周期", "page": 2, "quote": "润滑油更换周期按运行小时数与油品检测结果双重判定", "char_range": [1204, 1252], "retrieval_score": 0.68, "rerank_score": 0.71} ], "answer": "应先排查润滑与冷却环节，再排查传动部件。具体顺序为：一、核查润滑油量与油位；二、核查润滑油品质与是否超过更换周期；三、核查冷却水流量与进水温度；四、在前三项均正常时再排查轴承状态与齿轮啮合状况。判断顺序的依据是手册中关于振动值是否同步升高的分支规定：本例振动值正常，说明传动部件的机械状态暂无明显异常迹象，故优先从润滑与冷却环节入手；润滑油是否需要更换按运行小时数与油品检测结果双重判定，不单以时间判断。", "answer_grounding": [ {"claim": "先排查润滑与冷却环节，再排查传动部件", "evidence_idx": [1]}, {"claim": "排查顺序为油位、油品与更换周期、冷却水流量与水温、轴承与齿轮", "evidence_idx": [0]}, {"claim": "润滑油更换周期按运行小时数与油品检测结果双重判定", "evidence_idx": [2]} ], "confidence": 0.88, "review_status": "复核通过", "review_record": {"role": "领域专家", "time": "2027-02-18T10:24:00+08:00", "modification": "将原回答中的具体油温数值删去，改为引用手册规定上限，避免写入未经确认的数值", "reject_reason": null}, "lineage": {"source": ["SCS-SB-V4", "RHY-GL-V2"], "pipeline": "工具5→工具4", "tool_version": "rag-build-1.6.2", "index_version": "IDX-ZBJK-2027Q1-03", "embed_model": "gw-embed-b@2026.11", "rerank_model": "gw-rerank-a@2026.12", "qc_result": "pass", "audit_status": "已采纳"} } ``` 样例复核要点：专家将具体油温数值改为引用手册「规定上限」。模型常把事实补成定点数值，手册多为区间或条件式；此类修订应写入生成约束。 ##### 3.4.3 检索参数配置 招标文件要求支持 RAG 检索参数配置，能够配置 Top-K、召回阈值、重排模型、metadata filter、上下文长度、证据去重策略和引用片段裁剪策略，满足不同知识库、不同任务和不同上下文窗口的检索增强数据构建需求（b0951）（b0952）（b0953）。 参数不按"一套默认值通吃"设计，而按知识库类型分档预置，这样现场配置时只需选档并微调，不必逐项从零设定。分档口径如表 2-16。 表 2-16　检索参数的分档配置口径 | 参数 | 标准与规程库 | 技术手册与说明书库 | 工单与案例库 | 制度与合同库 | |---|---|---|---|---| | Top-K（检索） | 20 | 30 | 40 | 20 | | Top-K（重排后保留） | 5 | 8 | 10 | 5 | | 召回阈值 | 0.55 | 0.50 | 0.45 | 0.55 | | 关键词／向量权重 | 6∶4 | 4∶6 | 3∶7 | 5∶5 | | 重排模型 | 经网关注册的重排能力，按评测结果择优选用，可随代升级 | 同左 | 同左 | 同左 | | metadata filter | 生效状态＝现行；标准号／条款号精确匹配优先 | 设备型号与部件类别匹配 | 设备型号、故障类别、时间窗 | 生效状态＝现行；密级与授权范围校验 | | 上下文长度 | 2048 | 4096 | 4096 | 2048 | | 证据去重策略 | 同条款仅保留现行版本；相似度高于 0.9 的片段去重 | 同章节连续片段合并；相似度高于 0.92 去重 | 同工单号片段合并；相似度高于 0.88 去重 | 同条款仅保留现行版本 | | 引用片段裁剪策略 | 按句裁剪，保留完整条款句 | 按段裁剪，保留段首结论句 | 按对话轮裁剪，保留现象与处置两端 | 按句裁剪，不跨条款裁剪 | 四档的差异来自知识库自身的性质。标准与规程库的查询多含精确标识且答案不容改写，所以关键词权重高、保留条数少、裁剪必须保完整条款句。工单与案例库的单条内容短但同类数量多，所以检索条数放大、去重阈值放低。制度与合同库涉及授权与密级，metadata filter 必须做授权范围校验。这一项是硬约束，不是性能选项。 参数配置以版本化方式保存，每个三元组记录生成时所用的配置版本。调参走与模板相同的灰度流程：在校准集上先评估，六项质量指标中至少四项不低于当前基线才放量生效，不达标则保持原配置。 ##### 3.4.4 长上下文与 RAG 样本的质量检查 招标文件要求支持长上下文和 RAG 样本质量检查，能够识别片段过短、重复拼接、语义断裂、来源缺失、Token 超限、证据不相关、引用缺失和答案幻觉八类问题（b0954）（b0955）。 八类问题的检测方法分两个通道：规则通道处理可计算的问题，模型通道处理需要语义判断的问题。两个通道的结果合并后形成质量标记，不互相替代：规则通道便宜、可解释、结果稳定，应当尽可能多承担；模型通道处理剩下的部分，并且其判定结果须经抽检校验。检测口径如表 2-17。 表 2-17　八类质量问题的检测方法与处置 | 问题类型 | 通道 | 检测方法 | 处置 | |---|---|---|---| | 片段过短 | 规则 | 片段字符数或 Token 数低于下限；下限按知识库类型设定 | 尝试与相邻片段合并；合并后仍过短则剔除并计入覆盖缺口 | | 重复拼接 | 规则 | 样本内片段两两相似度超阈值；跨样本指纹重复 | 去重保留信息量最大者；跨样本重复按采样配额控制 | | 语义断裂 | 规则＋模型 | 规则查片段首尾是否在句中断开；模型判相邻片段语义连续性 | 重新落窗；无法修复的样本退回切分环节 | | 来源缺失 | 规则 | 来源映射表字段完整性校验，缺源文档标识、版本或页码即判失败 | 直接判不合格，不进数据集；回查文档对象是否解析不全 | | Token 超限 | 规则 | 按目标窗口的分词口径计数 | 重新落窗或按裁剪策略裁剪，不做尾部截断 | | 证据不相关 | 模型 | 逐条评估 evidence 与 query 的相关性，低于阈值计为不相关 | 不相关证据剔除；剔除后证据数不足下限的三元组转人工补充标注 | | 引用缺失 | 规则 | answer_grounding 中存在无对应 evidence 的论断单元 | 标记未接地论断；未接地论断占比超阈值的样本转人工复核 | | 答案幻觉 | 规则＋模型 | 规则查答案中的实体、数值、标准号是否在 evidence 中出现；模型判答案是否可由上下文推出 | 存在实体或数值硬性不符者直接判不合格；模型判定存疑者转人工复核 | 这里的"答案幻觉"检测要说清一件事：规则通道只能查出"答案里的数字在证据里找不到"这类硬性不符，查不出"数字对但推理错"。后者由模型通道加人工抽检承担。我方因此不承诺能识别全部幻觉，承诺的是：硬性不符项按规则逐条拦截并给出实测拦截率，模型通道的判定以月度 200 条人工抽检校验其准确率并公布，整体幻觉率随规则库与提示词约束的积累逐步下降；当某一批次的人工抽检幻觉率高于基线一定幅度时，该批次整体转人工复核，并回查是索引、检索参数还是生成约束导致。这是本环节的回退路径。 ##### 3.4.5 RAG 评测数据生成与质量评价 招标文件要求支持 RAG 评测数据生成和质量评价，能够围绕查询、上下文、回答三元组输出召回率、引用准确率、证据相关性、回答一致性、答案接地性和人工复核状态等指标，支撑 RAG 数据集训练、评测和验收（b0956）（b0957）（b0958）。 六项指标的计算口径必须先定清楚，否则验收时各说各话。口径如表 2-18。表中"初始基线"一列的数值是本项目拟定的起测口径，首批评测集建成后以实测值替换并写入质量报告；"验收方式"一列说明该指标在验收时如何核验。 表 2-18　RAG 评测的六项指标口径 | 指标 | 计算口径 | 初始基线 | 验收方式 | |---|---|---|---| | 召回率 | 对带标准证据标注的评测查询，检索链路在重排后保留集内命中标准证据的比例 | 不低于 0.85 | 抽取评测集 200 条，由复核人逐条核对标准证据是否命中 | | 引用准确率 | answer_grounding 中指向的 evidence 项，经人工判定确实支持该论断的比例 | 不低于 0.90 | 抽取 200 条回答，逐论断核对 | | 证据相关性 | evidence 各项与 query 相关性判定为相关的比例 | 不低于 0.85 | 模型判定加人工抽检双通道，以人工为准 | | 回答一致性 | 同一查询在配置不变条件下多次生成，回答语义一致的比例 | 不低于 0.90 | 同查询重复生成 3 次，比对关键论断 | | 答案接地性 | 回答中已接地论断单元占全部论断单元的比例 | 不低于 0.92 | 按 answer_grounding 自动统计并抽检校验 | | 人工复核状态 | 评测集中复核通过样本占比，以及驳回原因分布 | 评测集逐条复核，首期覆盖率不低于 0.95，趋向逐条覆盖 | 查复核记录完整性与未复核条目清单 | 评测集建设有两条纪律。其一，评测集与训练集按来源与时间双重切分隔离：来源切分指评测用文档与训练用文档不重叠，时间切分指以某一时点为界，该时点之后入库的文档优先划入评测集；两条同时生效，隔离标记写入血缘且不可逆。其二，评测集必须包含一类"应当拒答"的查询，即知识库中确实没有依据的问题。通用场景的核心需求之一是"在没有依据时能够明确地不回答"，如果评测集里全是有答案的问题，这项能力就测不出来。本项目按不低于 10% 的比例在评测集中设置无依据查询，标准答案是"知识库中无相关依据"，回答给出具体内容的判为错误。 质量评价报告按批次、来源、任务类型和数据集版本四个维度生成，报告内容包括六项指标值、与上一版本的对比、低于基线的维度清单与问题样本清单。报告格式与通用接口、追溯与验收要求一节规定的质量报告格式一致。 ##### 3.4.6 处理流程 工具 4 的作业流程按八步推进，如表 2-19A。流程分两条支线：索引构建支线（第 1–2 步）在知识库变更时执行，样本生成支线（第 3–8 步）按批次执行。 表 2-19A　RAG 数据构建工具链的处理流程 | 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 | |---|---|---|---|---|---| | 1 | 结构化片段、元数据 | 向量化并写入索引；记录向量模型标识与版本 | 向量索引 | 入库条数与片段数是否一致、元数据字段完整性 | 元数据缺失的片段不入库并列入清单 | | 2 | 索引、校准集 | 混合检索权重调参，按文档类型分档固化 | 检索参数配置版本 | 校准集上的召回率 | 低于基线则保持原配置，不放量 | | 3 | 查询来源或片段范围 | 按正向或反向方向生成查询 | 查询集合 | 反向生成的查询能否召回其来源片段 | 召回不到来源片段的查询剔除并记录 | | 4 | 查询集合、参数档位 | 执行检索、重排、证据选择、上下文组装 | 组装后的上下文与证据清单 | 证据条数是否达下限、作废版本是否已剔除 | 证据条数不足的查询转人工补充标注 | | 5 | 查询与上下文 | 调用模型生成回答，并产出论断与证据的对应关系 | 回答与接地关系 | 未接地论断占比 | 超阈值的三元组转人工复核 | | 6 | 三元组 | 执行八类质量检查 | 质检结果与问题样本清单 | 硬性不匹配项是否为零 | 存在硬性不匹配的直接判不合格 | | 7 | 合格三元组 | 按用途分流：训练用入库，评测用按来源与时间切分划出并打隔离标记 | 训练集与评测集 | 隔离标记写入结果、两集是否有交集 | 存在交集则本次划分回滚重做 | | 8 | 评测集 | 执行评测，生成六项指标报告 | 评测报告 | 六项指标与基线对照、无依据查询占比 | 低于基线的指标须给出原因分析并记录处置 | 第 7 步的"两集是否有交集"是一道硬性校验：训练集与评测集一旦出现交集，后续所有评测结论都不可信，因此这一步校验失败即整体回滚，不做部分修补。 ##### 3.4.7 接口与验收口径 表 2-19　RAG 数据构建工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 索引创建与重建 | POST | 片段范围、知识域、向量模型标识、元数据映射 | 索引标识与版本、入库条数、失败清单 | | 检索（供取证） | POST | 查询、参数档位或逐项参数、metadata filter、授权上下文 | 候选片段、检索与重排得分、元数据 | | 三元组生成任务 | POST | 生成方向（正向／反向）、查询来源、参数配置版本、目标条数 | 任务标识、预估条数与消耗 | | 三元组获取 | GET | 任务标识、复核状态过滤、分页或流式 | 符合表 2-15 的三元组，支持 JSON／JSONL／Parquet／CSV | | 质量检查触发 | POST | 样本范围、八类问题的阈值覆盖项 | 各类问题命中数、问题样本清单 | | 评测集划分 | POST | 文档范围、来源与时间切分规则、无依据查询比例 | 评测集标识、隔离标记写入结果 | | 评测执行与报告 | POST／GET | 评测集标识、被评对象（检索配置版本） | 六项指标值、与上版对比、低于基线清单 | | 复核提交 | POST | 三元组标识、复核结论、修订内容、驳回原因 | 新复核状态、血缘更新结果 | 验收口径：我方提供完整演示样例一套（覆盖索引创建、四档参数检索、正反双向三元组生成、八类质量检查、评测执行与报告）、输入输出样例各不少于 20 条、四档参数配置说明、接口说明、测试报告。测试报告须给出六项指标在甲方真实文档上的实测值、无依据查询的拒答判定结果、一次向量模型换代后的索引重建范围判定记录。 #### 3.5 文档结构解析工具链（工具 5） 本节回应招标文件 3.2.3.3.3 节要求（b0959）。本工具是长上下文构建链条的第一道，上游接收采集与预处理环节交付的文档文件，下游向工具 3 与工具 4 输出结构化文档对象与章节树。 ##### 3.5.1 文档结构化解析的六项能力 招标文件要求支持文档结构化解析，能够完成标题层级识别、目录结构还原、段落归并、页眉页脚剔除、跨页表格拼接、公式和图文说明转换（b0960）。 六项中前四项处理的是"版面噪声与结构丢失"，后两项处理的是"跨页与非文本要素"。这六项在甲方的文档上各有具体难点，解析方法与条件不具备时的退化策略如表 2-20。 表 2-20　六项解析能力的方法、难点与退化策略 | 解析项 | 方法 | 在甲方文档上的具体难点 | 退化策略 | |---|---|---|---| | 标题层级识别 | 多信号融合：字号与字重、编号模式、缩进、与正文的间距、Word 样式名 | 早期技术手册编号体系不统一，同一手册内混用"第一章／1.／一、"三套编号；部分扫描件无字号信息 | 编号模式与字号信号冲突时以编号模式为准；两者均缺失的文档按单层结构处理并标记"结构置信度低" | | 目录结构还原 | 优先解析文档自带目录页并与正文标题对齐校验，无目录页时由标题层级自底向上构建 | 目录页页码与正文实际页码存在偏移（扫描件常见）；部分手册目录不完整 | 目录与正文对齐失败率超阈值时放弃目录页，改用正文标题构建，并记录放弃原因 | | 段落归并 | 按行间距、首行缩进、断字与标点特征判定段落边界，跨页续段按语义连续性合并 | 两栏排版的标准文本跨栏续段；手册中大量以换行代替段落的说明文字 | 两栏版面先做分栏再归并；分栏失败的页面按单栏处理并标记 | | 页眉页脚剔除 | 跨页重复内容检测加位置约束 | 页眉中含章节名，剔除后丢失章节线索；页脚中含版本号与受控标识，属有用元数据 | 页眉中的章节名提取为结构信号后再剔除；页脚中的版本号与受控标识提取为文档元数据后再剔除，不直接丢弃 | | 跨页表格拼接 | 表头重复检测、列数与列宽对齐、续表标记识别 | 工艺参数表跨三页以上且中间页无表头；部分表格跨页处被页眉打断 | 列对齐置信度低于阈值时不拼接，各页表格独立成对象并标记"疑为同一表格"，转人工确认 | | 公式与图文说明转换 | 公式转为可检索文本表达并保留原始图像；图与图说按位置邻接与编号匹配建立对应 | 工艺规程中的公式含自定义符号；图说编号与图编号不一致的情形存在 | 公式转换置信度低时仅保留图像并标记"公式未转换"；图说匹配失败的图保留为无说明图像对象，不强行配对 | 退化策略要求错误显式分流：标记「结构置信度低」的文档进待人工确认队列，不静默入预训练语料；标记「疑为同一表格」的对象须人工确认后再用于问答生成。 ### 图 2-8　文档结构解析流程与置信度分流 文档文件 含成因判定结果 版面分析 分栏·区块·阅读序 页眉页脚剔除 标题层级识别 段落归并 跨页表格拼接 公式与图说转换 目录结构还原 自带目录优先 与正文标题对齐校验 失败则自底向上构建 结构化文档对象 章节树＋要素节点 带页码·位置·密级 待人工确认队列 结构置信度低 疑为同一表格等 置信度达标 置信度不达标 混合切分：章节 ＞ 段落 ＞ 句子 ＞ 语义边界 ＞ 表格边界 ＞ Token 长度，按优先级逐级让位 切分结果保留源文档标识 · 页码 · 标题层级 · 段落序号 · 上下文关系（前后片段指针） 下游：工具 3 做滑窗拼接 · 工具 4 做向量化与检索 · 思维链构建类取背景材料 图 2-8　文档结构解析流程与置信度分流。数据来源：招标文件 3.2.3.3.3 节第（1）（2）条（b0960）（b0961）；解析项与退化策略见本章表 2-20。 ##### 3.5.2 混合切分与溯源字段 招标文件要求支持按章节、段落、句子、语义边界、表格边界和 Token 长度进行混合切分，切分结果须保留原始文档来源、页码、标题层级、段落序号和上下文关系（b0961）。 六类切分依据按优先级联合使用：章节→段落→句子→语义；表格边界为硬约束；Token 长度仅为上限。前述边界都无法满足长度要求时，才允许在最接近的句子边界处强制落点。高层级边界优先，以保持片段语义完整、利于检索召回。 「按 Token 长度切分」仅作其他切分的长度上限，不作独立切分方式。若以长度为首要依据，易在句中或表中断开。 切分结果携带的溯源字段如表 2-21。这些字段与来源映射表（表 2-13 所述）在内容上一致，差别在于：本表描述的是单个片段自身携带的字段，来源映射表描述的是一个长上下文样本所含多个片段的集合映射，两者是同一套溯源信息在不同粒度上的呈现，不是两套口径。 表 2-21　切分片段的溯源字段 | 字段 | 说明 | |---|---| | chunk_id | 片段唯一标识 | | doc_id / doc_version | 源文档标识与版本 | | page_start / page_end | 起止页码；跨页片段两者不同 | | section_path | 标题层级路径，如"5 减速器维护 / 5.3 异常处置" | | section_level | 片段所属标题的层级深度 | | paragraph_seq | 在所属章节内的段落序号 | | char_range | 在源文档规范化文本中的字符区间 | | element_type | 要素类型：正文／表格／公式／图说／列表／附件引用 | | prev_chunk_id / next_chunk_id | 上下文关系指针，用于还原片段的前后文 | | split_basis | 本片段的切分依据：章节／段落／句子／语义／表格边界／长度强制 | | confidence | 结构解析置信度，低于阈值的片段不进训练集 | | security_label | 密级标记与授权范围，随片段传递 | split_basis 字段的用途是质量回溯：如果某批样本质量偏低，可以直接统计这批样本中"长度强制"切分的占比，若占比明显偏高，说明文档的结构解析不充分，应回到解析环节而不是在切分参数上反复试。 ##### 3.5.3 处理流程与样例 工具 5 的作业流程按六步推进：文件接入与成因判定；版面分析（分栏、区块、阅读顺序重建）；页眉页脚剔除并提取其中的章节线索与版本元数据；标题层级识别与目录结构还原并做对齐校验；段落归并、跨页表格拼接、公式与图说转换；结构置信度评定与分流（达标出结构化文档对象，不达标进待人工确认队列）。六步之后按混合切分优先级输出片段。 一份技术手册的解析产出样例（章节树节选与一个片段）： ```json { "doc_id": "SCS-SB-V4", "doc_version": "V4", "origin": "电子 PDF", "meta_from_footer": {"版本号": "V4", "受控标识": "受控文件", "编制年份": "2024"}, "section_tree": [ {"level": 1, "title": "5 减速器维护", "page_start": 106, "page_end": 121, "children": [ {"level": 2, "title": "5.1 日常检查", "page_start": 108, "page_end": 110}, {"level": 2, "title": "5.2 润滑管理", "page_start": 110, "page_end": 112, "elements": [{"type": "表格", "table_id": "T-5-1", "caption": "减速器润滑油牌号与换油周期", "cross_page": true, "pages": [111, 112]}]}, {"level": 2, "title": "5.3 异常处置", "page_start": 112, "page_end": 118} ]} ], "toc_alignment": {"toc_page_detected": true, "aligned_titles": 142, "total_titles": 148, "offset_corrected": 2, "result": "采用自带目录"}, "structure_confidence": 0.93 } ``` ```json { "chunk_id": "CH-SCS-SB-V4-005311", "doc_id": "SCS-SB-V4", "doc_version": "V4", "page_start": 112, "page_end": 112, "section_path": "5 减速器维护 / 5.3 异常处置", "section_level": 2, "paragraph_seq": 3, "char_range": [48213, 48302], "element_type": "正文", "text": "油温异常升高时按下列顺序排查：润滑油量与油位、润滑油品质与更换周期、冷却水流量与水温、轴承状态、齿轮啮合状况。", "prev_chunk_id": "CH-SCS-SB-V4-005310", "next_chunk_id": "CH-SCS-SB-V4-005312", "split_basis": "段落", "confidence": 0.95, "security_label": "内部" } ``` 两段样例的衔接：章节树记录跨页表，第二段取自表后正文；若跨页表未拼接，表残片会混入正文片段。双重溯源字段便于抽检定位。 ##### 3.5.4 接口与验收口径 表 2-22　文档结构解析工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 解析任务创建 | POST | 文档范围、解析项开关、置信度阈值、密级标记 | 任务标识、按文档的解析结果摘要 | | 章节树获取 | GET | 文档标识 | 章节树、各节点页码区间与要素统计 | | 要素节点获取 | GET | 文档标识、要素类型过滤、章节路径过滤 | 要素节点全文与属性 | | 混合切分任务 | POST | 文档范围、切分优先级配置、长度上限、表格处理策略 | 片段集合、切分依据分布统计 | | 片段获取 | GET | 任务标识、分页或流式 | 符合表 2-21 的片段，支持 JSONL／Parquet | | 待确认队列查询与处置 | GET／POST | 文档范围、确认结论 | 待确认项清单；确认后重新解析的结果 | | 解析质量报告 | GET | 文档范围、批次 | 六项解析能力的抽样准确率、低置信度占比、问题清单 | 验收口径：我方提供演示样例一套（覆盖表 2-20 六项解析能力，其中跨页表格与两栏排版标准各不少于 1 例）、输入输出样例、配置说明与接口说明、测试报告。测试报告须给出六项解析能力在甲方真实文档上的抽样准确率实测值、低置信度文档占比、以及待人工确认队列的处置记录。我方不承诺对全部历史文档都能还原出完整结构：扫描质量差、编号体系混乱的早期资料客观上做不到；承诺的是解析结果的置信度可判、低置信度内容显式分流、并随规则与模型迭代逐步提高覆盖。 ### 四、多轮对话数据构建类工具链 本节回应招标文件 3.2.3.4 节多轮对话数据构建类工具链的全部要求（b0962）。 #### 4.1 甲方的现场问题与本类工具链的能力定位 招标文件要求这一类工具链提供面向智能客服、设备运维、专家问答、业务协同、故障排查等场景的多轮对话数据生产能力，用于构建具有上下文连续性、角色一致性、业务闭环和可追溯来源的对话样本，覆盖角色剧本配置、多智能体对话生成、工单转写、脱敏、对话质量筛选和分层采样六个环节（b0963）。 甲方业务判断多在多轮追问中收敛，而非单轮问答。售前选型接口参数常经多方协商、电子留痕不足；健康诊断排查亦需先问测点、工况、检修史再收敛到部件。单轮样本易训出「未问清前提即给完整结论」的行为。 本类工具链的三个工具分工明确：对话模拟生成工具链（工具 6）从角色剧本出发造对话，解决的是"覆盖面"问题——现场缺的那些没有电子留痕的协商过程，只能靠构造；结构化工单转对话工具链（工具 7）从真实工单出发转写，解决的是"真实性"问题。SOS 服务工单、CRM 售后记录、运维报告里有真实的现象描述与处置结论；对话质量筛选工具链（工具 8）解决的是"可用性"问题，两类来源的样本都要过它这一道。构造的对话覆盖面好但真实性弱，转写的对话真实性强但覆盖面受历史记录限制，本项目两条路都走，在数据集中按比例配比，比例按场景分别设定并记入数据卡。 #### 4.2 可处理的数据与产出物 招标文件列明本类工具链须能够处理角色剧本、业务场景模板、领域知识库、问题种子、SOS 工单、CRM 售后记录、运维报告、维修闭环记录、评分规则和敏感词规则等数据，生成多轮对话样本、角色标签、脱敏记录、质量评分、低质样本清单等（b0964）。各类输入的落点与取数前提如表 2-23。 表 2-23　多轮对话数据构建类工具链的输入数据与取数前提 | 招标文件所列输入 | 在甲方的具体落点 | 取数前提 | 用于哪个工具 | |---|---|---|---| | 角色剧本 | 按七类业务场景配置的角色定义 | 本项目新建，须经业务口确认角色的知识边界 | 工具 6 | | 业务场景模板 | 六个专业场景与五个通用场景的任务模板 | 与场景验证方案共用场景定义 | 工具 6 | | 领域知识库 | 经治理入库的手册、规程、标准与知识条目 | 由工具 4 提供检索服务 | 工具 6、工具 7 | | 问题种子 | 专家题库、历史问答记录、常见问题清单 | 部分需由业务口整理提供 | 工具 6 | | SOS 工单 | 售后服务与备件管理系统的服务工单、派工与备件出库记录 | 该系统与远程运维平台的事件未打通，工单与报警的配对需另行建立 | 工具 7 | | CRM 售后记录 | 客户关系管理系统的项目与商机信息 | 系统正在上线，历史数据较少 | 工具 7 | | 运维报告 | 远程运维平台的报警日志与巡检、检修记录 | 报警不少但故障标签很少，维修事实多在纸面 | 工具 7 | | 维修闭环记录 | 不合格品票、改造方案流转记录、返修处置记录 | 协同办公系统只读导出；缺陷描述为文字，未与工艺参数关联 | 工具 7 | | 评分规则 | 七维评分规则与各维度评分锚点 | 本项目新建，须经业务口会签 | 工具 8 | | 敏感词规则 | 敏感实体识别规则与替换策略 | 须与甲方数据安全管理要求对齐 | 工具 7、工具 8 | 这里要如实指出两处取数缺口，它们影响工具 7 的产出规模：其一，服务工单与运维报警之间没有事件级配对，"某次报警对应某次维修"这种关系需要回填建立，不是现成可导出的数据；其二，CRM 系统正在上线、历史数据较少，售后记录类样本的规模在首期会受限。两处缺口的处理方式是在数据卡上如实统计覆盖度并随进度更新，不以构造样本充抵真实样本。构造与转写两类样本在数据集中分别标记来源，不混计。 #### 4.3 对话模拟生成工具链（工具 6） 本节回应招标文件 3.2.3.4.1 节要求（b0965）。 ##### 4.3.1 角色剧本配置 招标文件要求支持配置用户、助手、专家、维修人员、质检人员、调度人员等多类角色剧本，并可定义角色目标、知识边界、表达风格、任务约束和安全边界（b0966）（b0967）。 角色剧本约束表达差异与知识边界。若不约束，各角色易同腔同调，「角色一致性」评分偏低。五项定义中优先守住「知识边界」：用户角色不得掌握仅专家可知的判据，以免自问自答、追问失效。六类角色的剧本要点如表 2-24。 表 2-24　六类角色的剧本定义要点 | 角色 | 角色目标 | 知识边界 | 表达风格 | 任务约束 | 安全边界 | |---|---|---|---|---|---| | 用户 | 说明自己遇到的情况，获得可执行的结论 | 只知道现象与自身业务上下文，不知道判据与内部规程 | 口语化，描述不完整，可能用俗称 | 不得主动给出正确答案；被追问时按设定逐步补充信息 | 不涉及未授权数据 | | 助手 | 组织对话，问清前提，给出结论或转交专家 | 掌握知识库可检索内容，不掌握未入库的经验 | 简洁、先问后答、给出依据 | 依据不足时须明确说明并提出需补充的信息 | 无依据不作结论；不输出超出授权范围的内容 | | 专家 | 在助手无法判断时给出专业判断与依据 | 掌握规程、标准与经验判据 | 直接、给判据、指出例外情形 | 结论须附依据出处 | 不涉及个人与客户敏感信息 | | 维修人员 | 报告现场所见，执行检查并反馈结果 | 掌握现场状态与检修史，不掌握设计意图 | 现场口径，含具体数值与部件俗称 | 反馈须具体到部件与数值 | 不涉及未授权数据 | | 质检人员 | 给出检验结论与处置意见 | 掌握检验标准与判定口径 | 规范、引用检验项编号 | 结论须对应检验项与判定依据 | 不涉及未授权数据 | | 调度人员 | 协调资源与工序安排 | 掌握工单与产能状态，不掌握技术判据 | 简短、关注时间与资源 | 不作技术判断 | 不涉及未授权数据 | 剧本以配置文件形式版本化管理，角色定义变更产生新版本，对话样本上记录所用剧本的标识与版本。角色标签作为样本字段输出，便于后续按角色组合做分层采样。 ##### 4.3.2 多智能体对话生成与流程控制 招标文件要求支持基于多智能体机制自动生成多轮对话，能够控制对话轮次、话题流转、追问策略、澄清机制、终止条件和异常分支（b0968）（b0969）。 多智能体的实现方式是：每个角色由一个独立的智能体承担，智能体只能看到自己角色剧本允许看到的信息，对话在一个受控的调度器下轮转。调度器按状态机推进对话阶段（现象描述→前提澄清→判断分析→处置建议→结果确认→复盘总结），而非简单轮流发言；当前阶段决定发言方与可执行动作。六项控制项的配置口径如表 2-25。 表 2-25　对话生成的六项流程控制 | 控制项 | 配置方式 | 本项目口径 | 不满足时的处理 | |---|---|---|---| | 对话轮次 | 配置最小与最大轮次区间 | 简单咨询类 3–6 轮，故障排查类 6–12 轮，工艺审查类 5–10 轮 | 未达最小轮次即出现终止条件的对话标记"过早收敛"，进复核；超最大轮次强制收尾并标记"未收敛" | | 话题流转 | 按状态机定义允许的阶段迁移 | 允许回退（如处置建议后退回前提澄清），禁止跳跃（现象描述直接到结果确认） | 出现禁止迁移时调度器拦截，重新生成该轮 | | 追问策略 | 配置追问触发条件与追问上限 | 助手在关键前提缺失时必须追问；同一前提追问不超过 2 次 | 超过上限仍未得到前提时，助手须明确说明在该前提未知下结论的适用范围 | | 澄清机制 | 配置须澄清的前提清单（按场景） | 故障排查须澄清设备型号、报警测点、工况与近期检修史四项 | 澄清清单未覆盖的对话标记"前提不全"，进复核 | | 终止条件 | 配置正常终止与异常终止条件 | 正常终止：结论给出且用户确认；异常终止：依据不足、超出授权、超轮次上限 | 异常终止的对话单独归池，作为"拒答与转交"类样本保留，不作废 | | 异常分支 | 配置异常情形与应对 | 用户描述自相矛盾、提出超范围请求、中途更换问题 | 按配置生成对应分支，这类样本按配额保留，用于训练模型处理非理想输入 | 异常分支这一项需要特别说明其用途。现场的真实对话很少是理想的：用户会把两个问题混着说，会中途改口，会提出超出系统范围的要求。若训练数据里全是理想对话，模型在现场遇到非理想输入时表现会明显退化。工具链因此把异常分支作为必须生成的一部分，按配额纳入。本项目口径是异常分支样本占对话样本总量的 10%–15%，具体比例按场景在数据卡中记录。 ### 图 2-9　多智能体对话生成的状态机与控制点 角色剧本 六类角色·版本化 领域知识库 经工具 4 检索 调度器 按状态机 决定发言方 现象描述 前提澄清 判断分析 处置建议 结果确认 复盘总结 允许回退 轮次区间校验 过早收敛／未收敛标记 澄清清单校验 四项前提是否问全 追问上限校验 同一前提不超 2 次 禁止迁移拦截 拦截后重新生成该轮 异常分支配额 占总量 10%–15% 对话样本 ＋角色标签 ＋阶段标记 ＋异常分支标记 送工具 8 筛选 图 2-9　多智能体对话生成的状态机与控制点。数据来源：招标文件 3.2.3.4.1 节第（2）条（b0968）（b0969）；控制项口径见本章表 2-25。 ##### 4.3.3 智能体的职责边界与交互协议 招标文件要求基于"多智能体机制"（b0968）。多智能体须落到可验收形态，并定死三件事：各角色可见信息、可执行动作、下一发言方裁决权。任一含糊，对话易退化为同一模型换称呼自说自话。 参与一次对话生成的实体分两类。一类是**角色智能体**，按表 2-24 的剧本装配，数量与种类随场景配置而定，由场景配置决定本次启用哪些角色。另一类是**调度器**，它不是角色、不发言、不产出对话内容，职责是裁决每一轮由谁发言、本轮发言是否合法、以及对话何时结束。把裁决权从角色智能体手里收到调度器，是这套机制与"让几个模型自由聊天"的根本差别：自由聊天的对话由最健谈的那个角色带跑，而本项目需要的是对话按业务阶段推进。 **可见性隔离**是角色一致性的实现手段。各角色智能体能看到的信息范围如表 2-25A。其中最关键的一条是用户角色不具备知识库检索能力：用户一旦能检索到规程与判据，它的提问会自带答案，追问与澄清环节随即失去意义，追问与澄清是多轮样本相对单轮样本的主要训练目标。 表 2-25A　角色智能体的可见信息与动作集（b0967、b0968） | 实体 | 可见信息 | 可执行动作 | 不可执行 | |---|---|---|---| | 用户 | 自身剧本、对话公开历史、本次场景给定的现象与业务上下文 | 陈述、回答追问、提出新诉求、确认结论 | 检索知识库、引用规程条款、给出判据 | | 助手 | 自身剧本、对话公开历史、知识库检索结果 | 陈述、追问、检索、给结论并附依据、移交专家、声明依据不足 | 在无检索依据时给出判据性结论 | | 专家 | 自身剧本、对话公开历史、知识库检索结果、助手的移交说明 | 给判断与依据、指出例外情形、要求补充信息 | 代替用户陈述现场事实 | | 维修人员 | 自身剧本、对话公开历史、本次场景给定的现场状态与检修史 | 报告现场所见、反馈检查结果、给出具体数值 | 给出设计意图层面的判断 | | 质检人员 | 自身剧本、对话公开历史、检验标准条目 | 给检验结论与判定依据、给处置意见 | 更改检验判定标准 | | 调度人员 | 自身剧本、对话公开历史、工单与资源状态 | 安排资源与时序、确认时限 | 作技术判断 | | 调度器（非角色） | 全部轮次、阶段标记、场景配置、剧本版本、控制项配置 | 指定发言方、拦截违规轮次、插入强制追问、判定终止、标记异常分支 | 产出对话内容 | **交互协议**把每一轮发言约束成一条结构化消息，而不是一段自由文本。协议字段如表 2-25B。设立协议的用意有两层：其一，调度器按字段裁决而不按文义猜测，裁决结果因此可复算；其二，字段本身就是对话样本的标注，阶段标记与引用依据在生成时写入，不必事后再标一遍。 表 2-25B　一次发言的协议字段 | 字段 | 含义 | 由谁写入 | 调度器的校验 | |---|---|---|---| | 轮序 | 本轮在对话中的序号 | 调度器 | 与轮次区间配置比对 | | 发言角色 | 本轮发言的角色标识与剧本版本 | 调度器指定 | 是否为当前阶段允许发言的角色 | | 阶段标记 | 本轮所处的业务阶段 | 调度器 | 与上一轮阶段的迁移是否为允许迁移 | | 动作类型 | 陈述、追问、检索、给结论、移交、声明依据不足、确认 | 角色智能体 | 是否在该角色的动作集内 | | 内容 | 本轮发言正文 | 角色智能体 | 是否越出该角色的知识边界 | | 引用依据 | 本轮所引知识条目的标识与版本 | 角色智能体 | 给结论类动作是否附依据 | | 建议下一发言方 | 角色智能体对下一发言方的建议 | 角色智能体 | 仅作参考，裁决权在调度器 | | 终止请求 | 角色智能体认为对话可以结束 | 角色智能体 | 仅作参考，终止由调度器按终止条件判定 | 最后两个字段需要说明为什么只作参考。若允许角色智能体自行指定下一发言方或自行宣布结束，对话的推进就由内容生成方自己决定，状态机形同虚设，而"控制对话轮次"与"控制终止条件"这两项要求（b0968、b0969）也就无从落实。把建议与裁决分开，建议仍然有用——它是调度器判断对话是否已经收敛的一项输入，也是分析对话为何提前收敛时的线索。 **裁决规则**只有三条，调度器逐轮按序执行：先判阶段迁移是否合法，再判动作是否在该角色动作集内，最后判内容是否越出该角色的知识边界。任何一条不通过即拦截该轮并要求重新生成；同一轮的重新生成上限为两次，两次仍不通过则终止该对话并计入失败。失败对话不进入样本集，但其作业轨迹完整保留，用于分析是剧本配置过严还是场景配置与业务实际不符。这一条在实施中会被反复用到：首期试点批次的失败对话往往集中在某一两个场景，那通常意味着该场景的澄清清单或阶段定义需要与业务口再对一次，而不是模型能力不足。 ### 图 2-9A　角色隔离、交互协议与调度器裁决 角色智能体（按场景配置装配） 用户 只见现象与自身上下文，不可检索 助手 可检索知识库，结论须附依据 专家 见移交说明，给判据与例外情形 维修／质检／调度人员 各见本岗信息，动作集各不相同 可见性隔离 调度器（不发言） 一　阶段迁移是否允许 二　动作是否在该角色动作集内 三　内容是否越出知识边界 指定下一发言方 · 判定终止类型 缺前提时插入强制追问轮 合法轮次入对话 阶段标记与引用依据随轮写入 生成时即完成标注，不事后补标 违规轮次：拦截并重新生成 同一轮重生成上限两次 超限则终止该对话并计入失败 候选对话样本 入集与否由对话质量筛选（工具 8） 与人工复核判定，门控不放宽 按协议字段提交一轮发言 重新生成该轮 角色智能体可建议下一发言方与终止，建议仅作参考；裁决权在调度器，终止按终止条件判定 图 2-9A　角色隔离、交互协议与调度器裁决。角色智能体按剧本产出一轮发言，调度器按三条规则裁决，违规轮次拦截重生成，合法轮次写入对话并带阶段标记与引用依据。数据来源：招标文件 3.2.3.4.1 节第（1）（2）条（b0967）（b0968）（b0969）；可见信息与动作集见本章表 2-25A，协议字段见表 2-25B。 **可重放**是这套机制接受核查的方式。一次对话生成作业的全部决定因素是四项版本与一个随机种子：角色剧本版本、场景配置版本、模板库版本、所用模型的网关标识与版本，以及本次作业的随机种子。五项随作业记录留存，使任何一条对话样本都能在原条件下重跑一遍并比对差异。甲方对某条样本提出疑问时，重放是比解释更有效的回应方式。 ##### 4.3.4 六项控制的可验证判据 表 2-25 给的是六项控制怎么配，但配置本身不说明控制是否真的起作用。本小节给出六项各自的观测量、基线、测量方法与不达标时的回退，使"能够控制"这一条在验收时有判据可依（b0968、b0969）。 基线的取法统一为：首期以试点批次的实测值作为基线并写入测试报告，此后各批次与基线比对，目标值为随批次推进逐步趋向表中所列水平。首期试点批次的规模与场景分布在实施方案中约定。这样取基线的原因是本项目开工前没有同类对话样本的历史实测可依，凭空给一个目标值而后在验收时解释为何达不到，对双方都不是好的安排。 表 2-25C　六项控制的观测量、基线与回退 | 控制项 | 观测量 | 基线与目标 | 测量方法 | 不达标时的回退 | |---|---|---|---|---| | 对话轮次 | 轮次区间符合率：轮次落在该场景配置区间内的对话占比 | 首期取试点批次实测值为基线，目标趋向 0.95 | 按场景分别统计，过早收敛与未收敛两类分列计数，不合并成一个数 | 低于基线时暂停该场景的批量生成，回看轮次区间与终止条件配置是否与该场景实际不符，调整配置后重跑试点批次 | | 话题流转 | 阶段完整度：对话实际经过的阶段数与该场景要求阶段数之比；并记禁止迁移的拦截次数 | 阶段完整度首期基线取试点实测值，目标趋向 0.90 | 按阶段标记统计，逐场景出分布；拦截次数按拦截原因分类计数 | 阶段完整度低于基线时回看状态机的允许迁移表，必要时为该场景单独配置迁移规则，而不是放宽通用规则 | | 追问策略 | 关键前提未给出时的追问触发率；同一前提追问超限的对话占比 | 触发率首期基线取试点实测值，目标趋向 0.95；超限占比目标不高于 0.05 | 以场景澄清清单为比对基准，逐条前提核对是否发生过追问 | 触发率低于基线时检查强制追问环节（见本章 4.3.7 节第 4 步）是否被场景配置绕过；超限占比偏高时回看追问上限设置与用户角色的信息释放节奏 | | 澄清机制 | 澄清清单覆盖率：场景要求澄清的前提中实际被问到的比例 | 首期基线取试点实测值，目标趋向 0.95 | 逐对话按清单逐项核对，未覆盖项记入"前提不全"并进复核 | 低于基线时，先核对澄清清单本身是否包含了该场景实际无法在对话中确认的前提；确属工具问题的调整强制追问的触发条件 | | 终止条件 | 终止类型标记与人工复核判定的一致率 | 首期基线取试点实测值，目标趋向 0.90 | 按终止类型分层抽检，抽检比例沿用既有复核比例，由复核岗独立判定后与工具标记比对 | 一致率低于基线时暂停自动终止标记的下游使用，该批次的终止类型改由人工判定，同时回看终止条件配置 | | 异常分支 | 异常分支样本占对话样本的比例；异常分支类型的覆盖数 | 占比落在 10%—15% 配额区间内；类型覆盖数不低于配置的异常情形数 | 按异常分支标记统计占比，按类型统计覆盖 | 占比低于下限时按缺口定向补生成，高于上限时停止该类补生成；类型覆盖不足时逐类检查该异常情形的触发条件是否可达 | 表中六项观测量的原始数据由对话生成作业直接产出，不需另做统计口径的转换，这一点在设计时是有意的：需要人工二次加工才能得到的指标，在项目后期大概率不会被持续统计。六项指标随每批次的控制项校验报告一并输出（接口见本章 4.3.8 节）。 ##### 4.3.5 七类业务场景的对话生成 招标文件要求支持围绕产品选型、设备故障诊断、工艺审查、质量检验、安全合规、合同协同和售后服务等场景生成对话（b0970）（b0971）。 七类场景的对话结构差异不小，直接套同一套配置会得到一批形似而神不似的样本。工具链按场景预置配置模板，各场景的角色组合、轮次区间、须澄清前提与业务闭环要素如表 2-26。表中"业务闭环要素"一列是对话是否合格的硬条件——缺了闭环要素的对话，在工具 8 的"业务逻辑不闭环"检测中会被判为低质。 表 2-26　七类业务场景的对话生成配置 | 场景 | 角色组合 | 轮次区间 | 须澄清的前提 | 业务闭环要素 | |---|---|---|---|---| | 产品选型 | 用户（矿方或销售）＋助手＋专家 | 6–12 | 工作面类型、产量或运力要求、铺设长度与倾角、采高与煤层厚度、配套设备接口参数 | 给出机型与主要配置建议、说明校核结论、指出待与配套厂家确认的接口项 | | 设备故障诊断 | 用户（矿方或服务人员）＋助手＋维修人员＋专家 | 6–12 | 设备型号与部件、报警测点与报警时间、当时工况、近期检修史 | 给出部件级判断与证据等级、处置建议与检查顺序、说明需现场确认的项 | | 工艺审查 | 用户（工艺人员）＋助手＋专家 | 5–10 | 零件与材料、板厚与关键尺寸、加工要求符号、适用的工艺规程版本 | 给出工序顺序或审查意见、引用规程条款、指出需人工确认之处 | | 质量检验 | 用户（检验人员）＋助手＋质检人员 | 4–8 | 检验项目与判定标准版本、被检对象批次、检验手段 | 给出判定结论与依据检验项、不合格情形的处置路径 | | 安全合规 | 用户（作业或管理人员）＋助手＋专家 | 4–8 | 作业类型与场所、适用制度与规程版本、人员资质要求 | 给出合规结论与依据条款、不合规情形的整改要求 | | 合同协同 | 用户（商务或法务）＋助手＋专家 | 4–8 | 合同类型与标的、适用的审查要点清单、条款版本 | 给出条款对照结论、风险条款清单与建议表述 | | 售后服务 | 用户（矿方）＋助手＋调度人员＋维修人员 | 5–10 | 设备与服务履历、故障现象、备件需求、时间要求 | 给出响应安排与备件处置、明确责任边界与时限 | 各场景的样本按四大数据域归集：产品选型归供需计划与产品工艺设计域，工艺审查与质量检验归产品工艺设计与质量域，设备故障诊断与售后服务归制造过程与质量域，安全合规与合同协同按内容归属分流。本章不展开各场景的业务做法，场景本身的建设方案见场景验证方案相关章节；此处只定对话样本的生成配置。 ##### 4.3.6 对话样本的字段与样例 对话样本的字段定义如表 2-27。 表 2-27　多轮对话样本字段定义 | 字段 | 说明 | |---|---| | dialog_id | 对话唯一标识 | | scene_code / task_type | 业务场景与任务类型 | | source_type | 来源类型：模拟生成／工单转写 | | roles | 参与角色清单，含角色标识与剧本版本 | | turns | 对话轮数组，每轮含轮序、发言角色、内容、所处阶段标记、本轮引用的知识依据 | | closure | 业务闭环要素的满足情况，逐项标记 | | anomaly_branch | 异常分支类型，无则为空 | | termination | 终止类型：正常终止／依据不足终止／超范围终止／超轮次终止 | | quality_score | 七维评分结果，由工具 8 写入 | | desensitize_record | 脱敏记录标识，由工具 7 写入（转写样本） | | lineage | 血缘信息，口径同表 2-5 | 一段设备故障诊断场景的模拟对话样例（节选，共 9 轮，此处取前 6 轮）： | 轮次 | 角色 | 发言 | |---|---|---| | 1 | 用户 | 我们这台刮板机的减速器最近老是报警，油温高，井下师傅说摸着也烫，这是不是要坏了？ | | 2 | 助手 | 需要先确认几项信息才能判断。请问这台设备的型号和出厂编号是多少？报警来自哪一个测点，是油池温度还是轴承温度？最近一次报警是什么时候？ | | 3 | 用户 | 型号我得查一下，编号在铭牌上。报警就显示"减速器温度高"，具体是哪个点我不清楚。昨天班上报了三次。 | | 4 | 助手 | 温度报警的测点位置会影响判断方向，建议从远程运维平台的测点配置里确认具体测点。在确认之前，还需要两项信息：昨天这三次报警时设备的运行工况是什么——是正常割煤、还是空载或者带载启动？另外，这台减速器最近三个月有没有做过检修或者换油？ | | 5 | 用户 | 昨天是正常生产，每班割五六刀。换油的事我问问机电队，印象里年初换过一次。 | | 6 | 维修人员 | 我这边查了，报警测点是油池温度，昨天三次报警都在交班后一小时内出现，当时振动值在正常范围。年初换油是在一月，到现在运行了大概两千六百小时。 | 样例核对要点：助手首轮先问型号／测点／工况／检修史（澄清清单）；用户回答不完整，符合知识边界；维修角色补具体数值，信息递进而非一次给齐。 ##### 4.3.7 处理流程 工具 6 的作业流程按七步推进，如表 2-28A。 表 2-28A　对话模拟生成工具链的处理流程 | 步 | 输入 | 动作 | 产出 | 质检点 | 异常处置 | |---|---|---|---|---|---| | 1 | 场景编码、问题种子 | 选取场景配置与角色剧本版本，装配智能体 | 对话作业实例 | 剧本版本是否为生效版本 | 使用已回滚版本的作业不予创建 | | 2 | 作业实例 | 调度器按状态机推进，逐轮指定发言角色 | 轮次序列 | 发言角色是否符合状态机允许 | 禁止迁移即拦截并重新生成该轮 | | 3 | 当前轮上下文、角色剧本 | 角色智能体生成本轮发言；需要依据时调用检索 | 本轮内容与引用依据 | 是否越出该角色知识边界 | 越界内容重新生成，两次仍越界则终止该对话并计入失败 | | 4 | 已生成轮次 | 校验澄清清单覆盖情况 | 前提覆盖结果 | 场景要求的前提是否已问全 | 未问全且未达轮次上限时，调度器强制插入追问轮 | | 5 | 对话全文 | 判定终止类型并执行收尾 | 终止标记 | 轮次是否落在区间内 | 过早收敛或未收敛的对话打标并进复核 | | 6 | 对话全文 | 校验业务闭环要素逐项满足情况 | 闭环标记 | 关键闭环要素是否缺失 | 缺关键要素的对话退回第 2 步补生成 | | 7 | 合格对话 | 写入角色标签、阶段标记、异常分支标记与血缘，送工具 8 | 对话样本 | 字段完整性、异常分支配额 | 配额未达标时按缺口定向补生成 | 第 4 步的强制追问是这条流程中唯一由调度器主动干预对话内容的环节。设置它的理由是：模型倾向于尽快给出结论，若不强制，故障排查对话易两三轮收尾；强制追问用于训练「先问清前提」。 ##### 4.3.8 接口与验收口径 表 2-28　对话模拟生成工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 角色剧本注册与发布 | POST | 角色定义五项、场景适用范围、目标发布态 | 剧本标识与版本、校验结果 | | 场景配置管理 | POST／GET | 场景编码、角色组合、轮次区间、澄清清单、闭环要素 | 配置版本标识 | | 对话生成任务创建 | POST | 场景范围、问题种子集合、剧本版本、异常分支配额、目标条数 | 任务标识、预估条数与消耗 | | 任务状态查询 | GET | 任务标识 | 进度、生成条数、拦截与重生成统计 | | 对话样本获取 | GET | 任务标识、过滤条件、分页或流式 | 符合表 2-27 的样本，支持 JSON／JSONL／Parquet | | 闭环与控制项校验报告 | GET | 任务标识 | 闭环要素满足率、过早收敛与未收敛比例、禁止迁移拦截次数 | 验收口径：我方提供七类场景各不少于 2 段完整对话的演示样例（含异常分支样例不少于 3 段）、角色剧本与场景配置说明、接口说明、测试报告。测试报告须给出各场景的闭环要素满足率、澄清清单覆盖率、过早收敛与未收敛比例实测值，以及一次剧本版本变更前后的样本对比。 ##### 4.3.9 人工介入点与判定权归属 本工具链产出的是**候选**对话样本，不是可入集样本。这一句不是谦辞，它决定了本小节要交代的事：哪些判断由工具作出，哪些判断保留给人，以及引入多智能体之后这条界线有没有移动。 界线没有移动。对话样本能否进入数据集，判定依据仍然是对话质量筛选工具链（工具 8）的七维评分与低质判定，以及其后的人工抽检校正；工具 8 的评分维度、权重、抽检比例与低质判定阈值不因为上游改用多智能体生成而调整。工具 6 的调度器只负责生成过程是否合规，不负责样本质量是否合格，两者是两道独立的关口，前一道通过不代表后一道可以省略。 本工具链涉及的人工介入点有五处，见表 2-28B。五处之中，第一处与第五处是策略性的，走策略变更会签；其余三处是作业性的，走复核与裁决队列。两类的区别在于前者改变的是此后全部样本的生成口径，后者只处置当前这一批。 表 2-28B　对话模拟生成环节的人工介入点 | 介入点 | 触发条件 | 承办 | 判定内容 | 留痕 | 引入智能体后有无变化 | |---|---|---|---|---|---| | 剧本与场景配置的发布 | 新建或修订角色剧本、场景配置、控制项配置 | 项目组与甲方业务口会签 | 角色知识边界是否符合业务实际；澄清清单是否可在对话中确认；轮次区间是否合理 | 配置版本号、变更项、会签意见、回滚路径 | 无变化 | | 过早收敛与未收敛样本的复核 | 轮次落在配置区间之外 | 复核岗 | 该对话是内容问题还是配置问题 | 原标记、复核判定、处置去向 | 无变化 | | 异常终止样本的归池确认 | 终止类型为依据不足或超出授权 | 复核岗 | 是否作为"拒答与转交"类样本保留 | 终止类型、归池结论、理由 | 无变化 | | 失败对话的归因确认 | 同一轮重生成两次仍不通过 | 复核岗，必要时转业务口 | 属剧本过严、场景配置不符，还是生成质量问题 | 作业轨迹、拦截原因分类、归因结论 | 无变化 | | 控制项阈值与配额的调整 | 表 2-25C 任一观测量持续低于基线 | 项目组与甲方业务口会签 | 调整配置还是调整目标，调整幅度与生效范围 | 调整前后取值、依据的实测数据、生效批次、回滚路径 | 无变化 | 剧本库与场景配置的改进是有边界的迭代，不是自行演化。路径固定为四步：质量筛选与控制项校验报告产出改进建议，复核与业务口形成会签意见，发布新版本的剧本库或场景配置并登记版本号与回滚路径，此后生成的样本记录新版本标识。既有样本不因剧本改版而回溯重写，需要对比新旧剧本效果时采用重放方式产出对照批次，两批样本分别标记剧本版本后比较，而不是把旧样本改成新口径。回滚的触发判据写在发版说明里，回滚后在途作业按当前批次完成、下一批次起使用回退版本。 还有一处范围需要界定：本工具链中的智能体用于项目组的加工生产作业，产出的是数据集样本。它不构成交付给甲方的智能体应用，也不替代甲方场景中的任何业务系统。本包的交付范围是数据集加工生产、质量评测与场景验证服务。 #### 4.4 结构化工单转对话工具链（工具 7） 本节回应招标文件 3.2.3.4.2 节要求（b0972）。 ##### 4.4.1 工单到对话的六段式转写 招标文件要求支持将结构化工单、客服记录和运维报告转换为多轮对话样本，转换过程须覆盖现象描述、澄清追问、诊断分析、处置建议、结果确认和复盘总结六个环节（b0973）（b0974）。 工单与对话的结构差异是这个工具要解决的核心问题。一张 SOS 服务工单的字段大致是：报修时间、设备与矿别、故障现象（一段文字）、派工记录、更换备件清单、处理结果、闭单时间。这些字段描述的是"发生了什么"和"做了什么"，缺的恰恰是中间那段：为什么从这个现象判断到这个部件，判断过程中确认了哪些前提。转写不是把工单字段分行排成对话的样子，而是把工单里有的事实放到对应的对话段落里，把工单里没有而对话必须有的环节按规则补出来，并明确标出哪些是补的。 六段与工单字段的映射关系如表 2-29。 表 2-29　工单字段到对话六段的映射 | 对话段落 | 工单侧来源字段 | 转写规则 | 是否需要补全 | |---|---|---|---| | 现象描述 | 故障现象、报修时间、设备与矿别、报警记录（若已配对） | 以用户角色第一人称改写，保留现象原文的关键词与数值，去掉工单格式化表述 | 否，以原文为准 | | 澄清追问 | 工单中的设备型号、测点、工况、履历等结构化字段 | 把工单上"已经填好"的字段反向构造成助手的追问与用户的回答 | 部分需补：工单未记录的前提按场景澄清清单补出追问，但用户的回答标记为"推定" | | 诊断分析 | 派工记录中的检查项、更换备件清单、处理结果 | 由备件与检查项反推判断路径，以助手或专家角色给出分析 | 是，判断依据须补全并标记 | | 处置建议 | 处理结果、更换备件、工时记录 | 转为维修人员或专家给出的处置建议 | 否，以工单记录为准 | | 结果确认 | 闭单时间、处理结果确认、客户签认 | 转为用户确认与反馈 | 否 | | 复盘总结 | 返修记录、同类工单统计（若有） | 由助手给出要点总结与预防建议 | 是，须补全并标记 | 表中"是否需要补全"一列是这个工具最需要讲清的地方。现象描述、处置建议、结果确认三段有工单事实支撑，直接转写；澄清追问、诊断分析、复盘总结三段在工单里基本没有，必须补。补出来的内容如果不加标记地混进训练数据，训练出来的模型会把"推定的判断路径"当成"企业的真实判断路径"，这是一种难以事后察觉的数据污染。工具链因此在样本的每一轮上标记该轮内容的事实来源等级，分三级：工单原文、工单字段推导、模型补全。三级比例在数据卡中统计，模型补全比例过高的样本不进训练集的主干部分。 ##### 4.4.2 合理补全的内容与依据 招标文件要求支持对工单内容进行合理补全，生成澄清问题、判断依据、技术解释、维修建议和用户确认内容（b0975）（b0976）。 "合理"二字是约束而不是形容词。补全须有依据，依据来源有三类：场景配置中的澄清清单（补澄清问题）、领域知识库检索结果（补判断依据与技术解释）、同类工单的统计规律（补维修建议与预防要点）。无依据的补全不允许产生。若某项补全既检索不到知识依据、也没有同类工单支撑，该轮内容留空并把样本标记为"转写不完整"，进人工补充队列。五类补全内容的依据与标记方式如表 2-30。 表 2-30　五类补全内容的生成依据与可信度标记 | 补全内容 | 生成依据 | 可信度标记 | 无依据时的处理 | |---|---|---|---| | 澄清问题 | 场景澄清清单；工单已有字段反推 | 高（清单驱动，确定性生成） | 清单未覆盖的前提不补 | | 判断依据 | 领域知识库检索结果，须带出处 | 按检索接地性分高／中；无出处不生成 | 留空并标记"判断依据待补" | | 技术解释 | 手册与规程检索结果，须带出处 | 按检索接地性分高／中 | 留空 | | 维修建议 | 工单处理结果为主，同类工单统计为辅 | 工单原文支撑为高，统计推导为中 | 以工单原文为准，不作统计推导 | | 用户确认内容 | 工单闭单记录与客户签认 | 高 | 按"已闭单未记录确认"表述，不编造客户原话 | 补全环节的大模型调用经统一模型网关，提示词中明确约束"只能使用提供的工单字段与检索到的依据，不得引入外部常识性数值"。这条约束在实测中不能完全杜绝模型补数值，因此在样本质检阶段叠加一道规则校验：对话中出现的型号、数值、标准号逐一回查工单字段与检索依据，查不到的直接标记未接地，未接地项超过阈值的样本转人工复核。我方不承诺补全内容达到无编造，承诺的是：未接地项按规则逐条标出并给出实测标出率，模型补全比例与未接地率在数据卡与质量报告中公布，并随提示词约束与检索覆盖的改进逐步降低。 ### 图 2-10　工单到六段对话的转写与事实来源分级 结构化工单字段 故障现象·报修时间 设备型号·测点·履历 派工·检查项·备件清单 处理结果·工时 闭单时间·客户签认 返修记录·同类统计 ① 现象描述 ② 澄清追问 ③ 诊断分析 ④ 处置建议 ⑤ 结果确认 ⑥ 复盘总结 补全依据：澄清清单 · 知识库检索（带出处） 同类工单统计 无依据不生成，留空并进人工补充队列 事实来源三级标记 一级：工单原文 二级：工单字段推导 三级：模型补全 逐轮标记，比例入数据卡 三级占比过高的样本 不进训练集主干 规则校验：型号·数值·标准号回查 查不到即标未接地 未接地项超阈值转人工复核 浅底填充的三段（②③⑥）为需补全段落；全部样本经脱敏后方可出加工域，脱敏映射表另库存放并受访问控制 图 2-10　工单到六段对话的转写与事实来源分级。数据来源：招标文件 3.2.3.4.2 节第（1）（2）条（b0973）（b0974）（b0975）（b0976）；映射口径见本章表 2-29、表 2-30。 ##### 4.4.3 原始业务数据的脱敏 招标文件要求支持对原始业务数据进行脱敏，能够识别并替换姓名、电话、编号、地点、客户名称、合同编号、设备编码等敏感信息（b0977）（b0978）。 脱敏在本工具中不是一道可选的后处理，而是样本出加工域的前置条件。工单与售后记录中含有矿方联系人姓名与电话、矿别与井口名称、合同编号、设备出厂编号。这些信息一旦进入训练数据，就随模型扩散，事后无法回收。工具链的处置原则是：敏感实体在数据进入对话构造流程之前即完成替换，替换后的样本才流向后续环节；原值与替换值的映射表单独存放，访问受控且与样本库物理隔离，仅供必要的追溯使用。 七类敏感实体的识别方法与替换策略如表 2-31。识别采用规则与模型双通道：规则通道处理有格式特征的实体（电话、合同编号、设备编码、工单号），模型通道处理无格式特征的实体（姓名、地点、客户名称），两通道结果取并集。这里取并集而不是取交集，是因为在脱敏这件事上漏掉一个的代价远高于多替换一个。 表 2-31　七类敏感实体的识别与替换 | 实体类型 | 识别方法 | 替换策略 | 一致性要求 | |---|---|---|---| | 姓名 | 模型命名实体识别＋人员名册比对（名册仅用于识别，不随样本留存） | 替换为角色化代称，如"机电队班长""矿方联系人" | 同一对话内同一人替换为同一代称 | | 电话 | 规则（号段与位数模式） | 替换为固定占位格式 | 无需跨样本一致 | | 编号（工单号、图号、炉次号等） | 规则（前缀与位数模式）＋字段位置 | 保留类型前缀，序列部分替换为伪随机序列 | 同一数据集内同一原值映射到同一伪值，保证关联关系不断 | | 地点（矿别、井口、工作面名称） | 模型识别＋地名词典 | 替换为类型化代称，如"某矿某工作面" | 同一对话内一致 | | 客户名称 | 模型识别＋客户名册比对 | 替换为"某矿业集团""某煤矿" | 同一数据集内一致 | | 合同编号 | 规则 | 保留年份段，其余替换 | 同一数据集内一致 | | 设备编码（出厂编号、资产编号） | 规则＋主数据比对 | 保留型号段，流水段替换 | 同一数据集内一致，保证同一设备的多条样本可关联 | "一致性要求"这一列是脱敏设计中最容易被忽略而后果最明显的一项。设备编码如果每次出现都替换成不同的伪值，同一台设备的多条工单样本之间的关联关系就被切断了，而这种关联恰恰是故障分析类样本的价值所在。因此脱敏不是逐条独立替换，而是在数据集范围内维护一张稳定的映射表，保证"同一原值在同一数据集内映射到同一伪值"。映射表随数据集版本管理，数据集版本冻结后映射关系不再变动。 脱敏记录作为独立产出物输出，内容包括：样本标识、被替换实体的类型与位置、替换前后的值指纹（不记原值明文）、识别通道、识别置信度、操作时间。脱敏效果以抽检方式核验：每批次抽取不少于 100 条样本做人工核验，统计漏替换项与过度替换项。我方不承诺达到无漏替换，承诺的是：双通道取并集、抽检覆盖、漏替换项逐条记录并当批整体重跑；单批次抽检发现漏替换项时，该批次不得出加工域，须重新脱敏并复检通过后方可流转。这是本环节的回退路径，也是硬性闸门。 ##### 4.4.4 处理流程与样例 工具 7 的作业流程按七步推进：工单导入与字段映射校验；可转写性判定（现象描述与处置结果两项字段齐备方可转写，否则列入不可转写清单）；敏感实体识别与替换（脱敏在转写之前完成）；按表 2-29 做六段结构映射；按表 2-30 执行补全并逐项标记依据与可信度；事实来源三级标注与规则校验回查；输出样本并附脱敏记录，送工具 8 筛选。 一条工单转写的完整样例（工单字段、转写结果与脱敏记录三段对照，内容已脱敏）： | 工单字段 | 原始内容（脱敏后） | |---|---| | 工单号 | SOS-2026-0xxxxx | | 报修时间 | 2026-07-14 06:20 | | 设备与矿别 | 刮板输送机 SGZ-xxx/xxx，某矿业集团某矿某工作面，出厂编号 SGZ-xxxx-0xxx | | 故障现象 | 机尾处链条跳动，有异响，运行电流偏高 | | 派工记录 | 现场检查链条张紧度、机尾滚筒、刮板螺栓 | | 更换备件 | 刮板螺栓 12 套，链条连接环 2 个 | | 处理结果 | 调整链条张紧度，更换松动刮板螺栓与变形连接环，试运行正常 | | 闭单时间 | 2026-07-14 15:40 | 转写结果（节选前四轮）： | 轮次 | 角色 | 来源等级 | 发言 | |---|---|---|---| | 1 | 用户 | 一级·工单原文 | 机尾这边链条跳得厉害，还有异响，看电流也比平时高一些。 | | 2 | 助手 | 二级·字段推导 | 请确认几项信息：这台设备的型号和出厂编号、异响是连续的还是间断的、链条张紧度最近一次调整是什么时候？ | | 3 | 用户 | 二级·字段推导，标记推定 | 型号是 SGZ 系列，编号在铭牌上。异响是间断的，跟着链条走。张紧度上个检修周期调过。 | | 4 | 维修人员 | 三级·模型补全，依据：维修手册检索 | 链条跳动伴异响且电流偏高，通常先查张紧度与机尾滚筒，再查刮板与连接件是否松动变形。现场测了张紧度偏松，机尾滚筒转动正常，发现 12 套刮板螺栓松动、2 个连接环变形。 | 脱敏记录（节选）： ```json { "dialog_id": "DLG-SOS-2026-004471", "desensitize_record_id": "DSR-004471", "entities": [ {"type": "客户名称", "position": "工单.设备与矿别", "channel": "模型+名册", "confidence": 0.97, "replacement": "某矿业集团某矿", "value_fingerprint": "sha256:…"}, {"type": "地点", "position": "工单.设备与矿别", "channel": "模型+地名词典", "confidence": 0.94, "replacement": "某工作面", "value_fingerprint": "sha256:…"}, {"type": "设备编码", "position": "工单.设备与矿别", "channel": "规则+主数据", "confidence": 1.0, "replacement": "SGZ-xxxx-0xxx", "mapping_scope": "数据集内一致", "value_fingerprint": "sha256:…"}, {"type": "编号", "position": "工单.工单号", "channel": "规则", "confidence": 1.0, "replacement": "SOS-2026-0xxxxx", "mapping_scope": "数据集内一致", "value_fingerprint": "sha256:…"} ], "source_level_distribution": {"一级": 0.38, "二级": 0.41, "三级": 0.21}, "ungrounded_items": 0, "operated_at": "2027-01-22T14:05:00+08:00" } ``` 这条样例的三级来源分布为 38%／41%／21%，模型补全部分占比约五分之一，落在可入训练集主干的范围内。设备编码的 mapping_scope 标为"数据集内一致"，因此同一台设备在其他工单转写样本中会被替换为同一个伪编码，跨样本的设备关联关系得以保留。 ##### 4.4.5 接口与验收口径 表 2-32　结构化工单转对话工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 工单导入与字段映射 | POST | 工单数据源、字段映射配置、场景编码 | 导入条数、字段缺失统计、不可转写清单 | | 转写任务创建 | POST | 工单范围、六段转写配置、补全策略、目标条数 | 任务标识、预估条数 | | 对话样本获取 | GET | 任务标识、事实来源等级过滤、分页或流式 | 符合表 2-27 的样本，含逐轮来源等级标记 | | 脱敏任务与结果 | POST／GET | 样本范围、实体类型开关、一致性映射域 | 脱敏记录、漏替换抽检结果 | | 脱敏映射追溯 | GET | 伪值、授权凭证 | 原值（仅限授权角色，调用全程审计） | | 人工补充队列 | GET／POST | 样本范围、补充内容 | 待补清单；补充后的样本版本 | | 转写质量报告 | GET | 批次、场景 | 三级来源占比、未接地率、不可转写比例与原因分布 | 验收口径：我方提供演示样例一套（覆盖六段转写、三类补全依据、七类实体脱敏，含一例"无依据留空"与一例"漏替换重跑"）、输入输出样例、字段映射与脱敏配置说明、接口说明、测试报告。测试报告须给出三级来源占比、未接地率、脱敏抽检漏替换项统计、脱敏映射一致性验证记录（同一设备跨样本可关联性抽查）。 #### 4.5 对话质量筛选工具链（工具 8） 本节回应招标文件 3.2.3.4.3 节要求（b0979）。工具 6 的模拟生成样本与工具 7 的工单转写样本都要经本工具筛选后才进数据集，本工具是多轮对话数据的出口闸门。 ##### 4.5.1 七个维度的质量评分 招标文件要求支持对话质量筛选和排序，能够从相关性、完整性、信息密度、指令遵循、业务合理性、角色一致性、安全合规性七个维度进行评分（b0980）（b0981）。 七个维度若只给一句定义就打分，不同评分者（无论是人还是模型）给出的分数不可比。工具链的做法是为每个维度定义三档评分锚点：5 分、3 分、1 分各给出可判别的描述，2 分与 4 分为相邻档之间的过渡。锚点越具体，评分的一致性越高。七个维度的定义、锚点与权重如表 2-33。 表 2-33　七个质量维度的定义、评分锚点与权重 | 维度 | 定义 | 5 分锚点 | 3 分锚点 | 1 分锚点 | 权重 | |---|---|---|---|---|---| | 相关性 | 各轮回复是否针对当前问题与上文 | 每轮均直接回应上一轮，无偏题 | 有一轮偏离但随后被纠回 | 多轮明显偏题或回答与问题无关 | 0.18 | | 完整性 | 业务闭环要素是否齐备 | 场景要求的闭环要素全部满足 | 缺一项非关键闭环要素 | 缺关键闭环要素，如未给出结论或未说明依据 | 0.20 | | 信息密度 | 单位轮次承载的有效信息量 | 每轮都推进对话，无空转轮 | 有一至两轮为客套或重复 | 多轮无实质信息，对话靠凑轮数撑长 | 0.12 | | 指令遵循 | 是否按设定的格式与约束输出 | 格式、角色发言规则、引用要求全部符合 | 有轻微格式偏差 | 违反角色发言规则或未按要求给出依据 | 0.12 | | 业务合理性 | 判断与处置是否符合本企业规程与工程常识 | 判断路径与处置建议均合规程，数值合量级 | 有一处表述不严谨但不影响结论 | 存在违反规程的判断或明显不合工程常识的数值 | 0.20 | | 角色一致性 | 各角色是否守住剧本设定的知识边界与风格 | 各角色始终守界，风格区分明显 | 有一轮越界但无实质影响 | 用户角色说出只有专家才知道的判据，或角色风格混同 | 0.12 | | 安全合规性 | 是否含敏感信息、越权内容或不当表述 | 无任何敏感信息与越权内容 | 有疑似敏感表述但不构成泄露 | 含未脱敏敏感信息或越权内容 | 0.06 | 综合得分按权重加权计算，但安全合规性维度另设否决规则：该维度得 1 分的样本无论综合得分多高，一律不进数据集并回退至脱敏环节。这种一票否决的设置只给安全合规一项，其余维度都按加权处理。其余维度低分意味着样本质量差，可以通过筛选控制；安全合规低分意味着数据有泄露风险，性质不同。 权重取值在首批样本上以人工全评结果校准：取 1,000 条样本由评分人逐条给七维分与总体可用性判断，以人工总体判断为目标拟合权重，再由业务口会签确认。校准结果与会签记录写入评分规则的版本记录。 ##### 4.5.2 低质量对话的识别 招标文件要求支持低质量对话过滤，能够识别角色混乱、上下文断裂、重复应答、答非所问、敏感内容、解决方案缺失和业务逻辑不闭环七类问题（b0982）（b0983）。 七类问题与七个评分维度不是一一对应关系：评分维度回答"这条对话有多好"，低质识别回答"这条对话坏在哪里"。前者用于排序与采样，后者用于定位与修复。检测口径如表 2-34。 表 2-34　七类低质量问题的检测规则与处置 | 问题类型 | 检测通道 | 检测规则 | 处置 | |---|---|---|---| | 角色混乱 | 规则＋模型 | 规则查发言角色序列是否违反状态机允许的发言方；模型判某角色发言内容是否超出其知识边界 | 可定位到具体轮次的，回退至该轮重新生成；全局混乱的样本废弃 | | 上下文断裂 | 模型 | 逐轮判断本轮是否与上文衔接；指代消解失败计为断裂 | 断裂处之前的部分保留为短对话，断裂处之后截断；截断后轮数低于下限则废弃 | | 重复应答 | 规则 | 相邻或近邻轮次文本相似度超阈值；同一问题被重复追问超过上限 | 合并重复轮；合并后轮数低于下限则废弃 | | 答非所问 | 模型 | 回复与上一轮问题的语义相关性低于阈值 | 该轮重新生成，重新生成两次仍不达标则废弃 | | 敏感内容 | 规则＋模型 | 敏感实体识别规则全量扫描；模型判不当表述 | 回退至脱敏环节；重新脱敏并复检通过后方可进入 | | 解决方案缺失 | 规则 | 闭环要素中"给出结论或处置建议"一项未满足 | 可补的转人工补充队列；工单来源确无处置记录的样本归入未闭环案例池，单独标记，不混入主干训练集 | | 业务逻辑不闭环 | 规则＋模型 | 闭环要素逐项校验；模型判处置建议与诊断结论是否矛盾 | 结论与建议矛盾的样本废弃；仅缺非关键要素的转补充队列 | 需要说明未闭环案例池的设置理由。工单里确实存在至今没有闭环的案例：报修了、派工了，但最终原因没查清。这类案例不是数据缺陷，它反映的是现场的真实状况，对训练模型识别"信息不足、需要进一步确认"的情形有价值。工具链把这类样本单独归池并显式标记，既不当作合格样本混入主干，也不当作废品丢掉。 ##### 4.5.3 多模型投票与人工抽检 招标文件要求支持多模型投票和人工抽检，降低单一模型评分偏差（b0984）。 单一模型打分有两种系统性偏差：一是对长回复给高分的长度偏差，二是对与自身生成风格相近的文本给高分的同源偏差。后者在本项目尤其需要防范。若用同一个模型既生成对话又评价对话，评分结果会系统性偏高，筛选等于失效。 工具链的处置是三条并行。其一，评分模型与生成模型不同源：生成任务与评分任务在模型网关侧配置为不同的模型集合，配置冲突时任务不予创建。其二，多模型投票：评分由不少于 3 个模型独立进行，综合得分取中位数而非均值，中位数对单个模型的异常打分不敏感；各模型打分差异超过阈值的样本转人工评分。其三，人工抽检校验：每批次按不低于 3% 的比例随机抽检，由评分人独立给出七维分，与模型评分比对，统计各维度的偏差方向与幅度。 抽检结果的用法不止于发现问题样本，更重要的是校正模型评分：若某一维度上模型评分系统性高于人工评分，则在该维度上对模型分做偏差修正，修正量按抽检统计确定并记入评分配置版本。这一校正每月执行一次。我方不承诺模型评分与人工评分完全一致，承诺的是：各维度偏差按月统计并公布，经偏差修正后趋向收敛；某一维度的偏差连续两个周期超过设定幅度时，该维度改为以人工评分为准，模型分仅作参考。这是本环节的回退路径。 ### 图 2-11　双通道评分、投票与抽检校正 待筛选对话样本 模拟生成＋工单转写 规则通道 角色序列·重复度 闭环要素·敏感实体 模型通道（≥3 模型） 七维独立打分 取中位数 与生成模型不同源 合并判定 加权综合得分 安全合规一票否决 模型间差异超阈值 → 转人工评分 分层采样池 按五维配额抽取 补充队列 可修复样本 未闭环案例池 显式标记另存 废弃池 原因入筛选报告 人工抽检：每批次不低于 3% 随机抽检，逐维比对模型分与人工分，统计偏差方向与幅度 校正：按月对模型分做偏差修正，修正量记入评分配置版本 回退：某维度偏差连续两周期超设定幅度，该维度改以人工评分为准，模型分仅作参考 图 2-11　双通道评分、投票与抽检校正。数据来源：招标文件 3.2.3.4.3 节第（1）（3）条（b0980）（b0981）（b0984）；维度与权重见本章表 2-33。 ##### 4.5.4 分层采样 招标文件要求支持按分数、场景、任务类型、难度和来源分层采样，形成均衡对话训练集（b0985）（b0986）。 分层采样解决的是分布失衡。若只按分数从高到低取，会得到一批集中在少数几个容易生成的场景上的高分样本：产品选型与制度问答类对话容易生成得好，故障诊断类不容易，按分排序的结果就是故障诊断类样本被挤出去。而故障诊断恰恰是本项目最需要的一类。 五个分层维度的配额设定方式如表 2-35。配额不是一次定死：首轮按表中口径设定，每一轮采样完成后统计实际分布与目标分布的偏差，偏差超过设定幅度的层在下一轮优先补生成。 表 2-35　分层采样的五个维度与配额口径 | 分层维度 | 分层方式 | 配额口径 | 偏差处置 | |---|---|---|---| | 分数 | 按综合得分分四档：优（4.5 及以上）、良（4.0–4.5）、中（3.5–4.0）、低（3.5 以下） | 优良两档合计不低于 70%；中档保留不超过 30%；低档不入训练集 | 优档占比过高说明生成偏易，须提高难度配置 | | 场景 | 七类业务场景 | 按场景对数据集的需求强度分配，故障诊断与工艺审查两类各不低于 20% | 单一场景占比超过 30% 时下一轮限额 | | 任务类型 | 咨询类、诊断类、审查类、协同类 | 诊断类与审查类合计不低于 55% | 同上 | | 难度 | 按澄清前提数量与推理步数分三档 | 中高难度合计不低于 60% | 低难度占比超限时下一轮提高难度配置 | | 来源 | 模拟生成／工单转写 | 工单转写占比不低于 30%，按场景分别设定；工单可用量不足时如实记录缺口，不以模拟样本充抵 | 转写占比不达标的场景在数据卡中标注覆盖缺口 | 最后一行的口径要特别说明：工单转写样本的上限由甲方历史工单的实际可用量决定，而服务工单与运维报警之间的事件级配对本身需要回填建立。因此"工单转写占比不低于 30%"是一个目标口径而非承诺值，达不到时在数据卡上如实记录缺口与原因，不用模拟生成样本顶替数量——数据集的真实性比配比表好看更重要。 ##### 4.5.5 筛选报告 招标文件要求支持输出筛选报告，包含通过率、拒绝原因、低质样本清单和修复建议（b0987）（b0988）。 筛选报告按批次生成，同时按场景、来源与数据集版本维度汇总，报告结构如表 2-36。 表 2-36　筛选报告的结构 | 报告章节 | 内容 | |---|---| | 批次概况 | 批次标识、样本总数、来源构成、评分配置版本、规则版本、评分模型集合 | | 通过率 | 总体通过率、按场景／来源／难度分的通过率、与上一批次对比 | | 七维得分分布 | 各维度得分直方图与均值、中位数；偏差修正前后对照 | | 拒绝原因 | 按表 2-34 七类问题统计拒绝数与占比；安全合规否决单列 | | 低质样本清单 | 逐条列样本标识、主要问题类型、问题定位到的轮次、拟处置方式 | | 修复建议 | 按问题类型聚合的改进指向：剧本、场景配置、补全策略、脱敏规则、评分规则 | | 分层分布 | 五个分层维度的实际分布与目标分布对照、偏差超限层清单 | | 待补缺口 | 工单可用量不足导致的来源配比缺口、人工补充队列积压情况 | 一段筛选报告的修复建议示例（格式化节选）： | 问题聚类 | 定位 | 指向 | 建议 | |---|---|---|---| | 1｜角色一致性低分集中于设备故障诊断场景（占该场景拒绝样本的 41%） | 低分样本中 34 条的问题轮次为用户角色发言轮，用户在第 2–3 轮即说出报警测点名称与振动值 | 用户角色剧本的知识边界设定过宽，允许用户知道测点级信息 | 修订用户角色剧本，将测点名称与具体数值移出用户知识边界，由维修人员角色在第 4 轮之后给出；修订后走剧本灰度流程，在 200 条样本上比对该维度得分再放量 | | 2｜解决方案缺失集中于工单转写来源（占该来源拒绝样本的 29%） | 对应工单的处理结果字段为空或仅填"已处理" | 数据源字段完整度问题，非转写逻辑问题 | 该部分工单不进主干训练集，归入未闭环案例池；同时将字段缺失清单反馈至数据采集环节，作为工单填报质量的改进输入 | 修复建议这一节的写法有一条纪律：每条建议必须指出"定位到哪些样本的哪一轮"与"指向哪个配置项"，不写"建议进一步优化提示词"这类无法执行的建议。报告须可直接对应到具体配置项修改。 ##### 4.5.6 处理流程与样例 工具 8 的作业流程按七步推进：接收待筛选样本并校验必备字段；规则通道全量扫描（角色序列、重复度、闭环要素、敏感实体）；模型通道不少于 3 个模型独立七维打分并取中位数；按评分规则版本合并判定，安全合规维度执行否决；按表 2-34 定位低质问题并分流（重生成、截断、补充队列、未闭环案例池、废弃池）；按表 2-35 五维配额执行分层采样；生成筛选报告并更新数据卡。人工抽检与偏差校正作为旁路并行执行，按月汇总。 一条评分结果的样例（对应 4.3.4 节的设备故障诊断对话）： ```json { "dialog_id": "DLG-SIM-ZBJK-2027Q1-002286", "rule_channel": {"role_sequence_valid": true, "repetition_max_sim": 0.41, "closure": {"部件级判断": true, "证据等级": true, "处置建议": true, "检查顺序": true, "需现场确认项": true}, "sensitive_hits": 0}, "model_channel": { "models": 3, "per_dimension_median": {"相关性": 4.7, "完整性": 4.6, "信息密度": 4.3, "指令遵循": 4.8, "业务合理性": 4.4, "角色一致性": 4.5, "安全合规性": 5.0}, "max_inter_model_gap": 0.7 }, "weighted_score": 4.56, "grade": "优", "veto": false, "issues": [], "stratify_tags": {"场景": "设备故障诊断", "任务类型": "诊断类", "难度": "高", "来源": "模拟生成"}, "sampling_result": "入选", "human_audit": {"sampled": true, "auditor_role": "评分人", "per_dimension": {"相关性": 4.5, "完整性": 4.5, "信息密度": 4.0, "指令遵循": 5.0, "业务合理性": 4.0, "角色一致性": 4.5, "安全合规性": 5.0}, "max_deviation_dimension": "业务合理性", "deviation": 0.4} } ``` 这条样例的人工抽检结果显示"业务合理性"维度模型分高于人工分 0.4 分。单条偏差不作处理，按月汇总后若该维度偏差方向一致且幅度超过设定值，则对该维度的模型分统一做偏差修正；连续两个周期超限则该维度改以人工评分为准。该条体现 4.5.3 节校正与回退：单条偏差汇总后超限则修正模型分或改以人工评分为准。 一条低质样本清单行的样例： | 样本标识 | 综合分 | 主要问题 | 问题轮次 | 定位说明 | 拟处置 | |---|---|---|---|---|---| | DLG-SIM-ZBJK-2027Q1-002519 | 3.1 | 角色一致性 | 第 3 轮 | 用户角色说出"油池温度测点报 78 度"，测点名称与具体数值超出用户知识边界 | 回退至第 3 轮重新生成；该原因累计后触发剧本修订 | | DLG-SOS-2026-004503 | 2.8 | 解决方案缺失 | 第 6 轮 | 对应工单处理结果字段为"已处理"，无具体处置内容，复盘段无依据可补 | 归入未闭环案例池并显式标记；字段缺失反馈至采集环节 | ##### 4.5.7 接口与验收口径 表 2-37　对话质量筛选工具链的接口 | 接口 | 方法 | 入参要点 | 出参要点 | |---|---|---|---| | 评分规则注册与发布 | POST | 七维定义与锚点、权重、否决规则、目标发布态 | 规则版本标识、校验结果 | | 筛选任务创建 | POST | 样本范围、评分规则版本、评分模型集合、抽检比例 | 任务标识、预估消耗 | | 评分结果获取 | GET | 任务标识、得分区间过滤、分页或流式 | 七维分、综合分、各模型原始分、问题类型标记 | | 低质样本清单 | GET | 任务标识、问题类型过滤 | 样本标识、问题轮次、拟处置方式 | | 人工评分提交 | POST | 样本标识、七维人工分、评分人角色 | 入库结果、与模型分的偏差 | | 偏差统计与修正 | GET／POST | 统计周期、维度 | 各维度偏差方向与幅度；修正量写入结果 | | 分层采样执行 | POST | 配额配置、目标条数、偏差容许 | 采样结果、实际与目标分布对照 | | 筛选报告导出 | GET | 批次／场景／来源／数据集版本 | 符合表 2-36 结构的报告 | 验收口径：我方提供演示样例一套（覆盖七维评分、七类低质识别、三模型投票、人工抽检比对、分层采样与一份完整筛选报告）、输入输出样例、评分规则与配额配置说明、接口说明、测试报告。测试报告须给出权重校准记录与业务口会签证明、模型分与人工分的逐维偏差实测值、一次偏差修正的前后对照，以及一次分层偏差超限后的补生成记录。 ### 五、本组工具链的共同工程约束与交付验收 本节说明八个工具链的共同约束、产能与交付验收安排，对应招标文件 3.2.3.1 节对交付清单的要求（b0917）。 #### 5.1 与相邻章节的边界 本组八个工具链与相邻章节的交接点如表 2-38。表中列出的内容在本章只引用、不重复论述，以避免同一要求在投标文件中出现两套口径。 表 2-38　本章与相邻章节的交接边界 | 相邻内容 | 交接点 | 本章的责任 | 相邻章节的责任 | |---|---|---|---| | 数据采集与预处理 | 清洗后语料与结构化业务记录的交付 | 接收已登记来源、已完成格式归一与初筛的数据 | 源系统接入、清洗去噪、敏感信息初筛 | | 对齐与标注类工具链 | 图纸与工艺图的结构化抽取、人工标注工具与规范 | 文本与版面类文档的解析与构建 | 图纸、视频、时序类数据的对齐与抽取；标注工具与标注规范 | | 质量与验证类工具链 | 通用接口规范、血缘字段、安全要求、验收要求 | 按其规定实现并提供本章各工具的产出 | 统一规定接口、格式、血缘、质量报告、安全与验收口径 | | 行业大模型训练推理技术服务 | 模型网关与数据集取用 | 产出训练与评测数据，经网关调用模型能力 | 训练与推理服务、算力适配、模型接入与评测网关 | | 数据集质量评测方案 | 数据集级质量指标与评测过程 | 提供样本级与批次级质量指标及问题样本清单 | 数据集整体的评测依据、指标体系与评测过程 | | 数据集运营服务管理平台 | 数据集入库、版本与发布 | 按样本规范输出并携带完整血缘 | 数据集注册、审批、发布、版本与运营 | #### 5.2 产出规模与四大数据集的对账 八个工具链的产出要与四大数据集的规模目标对得上账，否则工具交付了而数据集规模落不了地。对账关系如表 2-39。表中条数为本组工具链承担的部分，其余部分由标注、合成与增强等其他环节承担，合计构成数据集总量。 表 2-39　本组工具链产出与四大数据集规模的对账 | 数据集 | 总体规模目标 | 本组承担的主要部分 | 对应工具 | 说明 | |---|---|---|---|---| | 预训练数据集 | 615 亿 Token（供需计划 276 亿、工艺设计 70 亿、制造过程 105 亿、质量 164 亿） | 文档类长上下文语料 | 工具 3、工具 5 | 由技术手册、标准、规程、维修手册等文档解析切分而来；文档类语料的实际 Token 量取决于可用文档体量，覆盖度在数据卡中逐域统计 | | 指令微调数据集 | 89 万条（40／10／15／24 万条） | 推理样本与对话样本 | 工具 1、工具 2、工具 6、工具 7、工具 8 | 推理样本与对话样本按场景与数据域分配；RAG 三元组经格式转换后亦计入 | | 强化学习偏好数据 | 6.6 万组（3.2／0.8／1／1.6 万组） | 同一问题多路径的优劣配对 | 工具 1、工具 2、工具 8 | 来自自一致性筛选的淘汰路径与优选路径配对，以及对话样本的高低分配对 | | 基准测试数据集 | 0.95 万条（0.4／0.1／0.2／0.25 万条） | 推理评测题、RAG 评测三元组、对话评测样本 | 工具 1、工具 2、工具 4、工具 8 | 自建设之初即与训练集隔离，按来源与时间双重切分，隔离标记不可逆 | 对账中有一项需要如实说明：预训练语料的 Token 量受甲方可用文档的实际体量约束。文档解析工具链能把现有文档的结构还原出来，但不能增加文档总量。我方的做法是先完成文档资源的清点与解析覆盖度统计，按域给出可得 Token 量的实测值，与目标存在差距的域在数据卡中列明并提出补充来源建议（如外部公开标准、行业资料的合规引入），由项目组与甲方共同确定补充路径。这一口径在逐数据集的数据卡章节另有详述。 #### 5.3 建设与投产安排 八个工具链不是同时投产，而是按依赖顺序分三批。依赖关系决定了顺序：文档结构解析在最前（工具 5），切分拼接与 RAG 构建紧随（工具 3、工具 4），这三者投产后文档类语料与检索服务可用；思维链两个工具（工具 1、工具 2）依赖检索服务提供背景材料；对话三个工具（工具 6、工具 7、工具 8）依赖知识库检索与脱敏规则就绪。分批安排如表 2-40。 表 2-40　八个工具链的分批投产安排 | 批次 | 工具 | 前置条件 | 投产后可交付的能力 | 阶段验收内容 | |---|---|---|---|---| | 第一批 | 工具 5、工具 3 | 文档资源清点完成；企业文档与协同办公系统只读导出开通 | 结构化文档对象、章节树、长上下文样本 | 六项解析能力抽样准确率、七类格式导入演示、来源反查双向验证 | | 第二批 | 工具 4、工具 1 | 第一批产出可用；统一模型网关接入可用；专家题库首批完成 | RAG 三元组与评测样本、结构化推理样本 | 六项 RAG 指标实测、四项自一致性判据校准、模板灰度与回滚演练 | | 第三批 | 工具 2、工具 6、工具 7、工具 8 | 标注工位与评分规则会签完成；脱敏规则与甲方数据安全要求对齐；工单取数开通 | 修订后推理样本、对话样本、筛选报告 | 三粒度一致率、七类场景对话演示、脱敏抽检、筛选报告完整性 | 三批之后进入持续生产与迭代期，直至建设期结束。迭代期内每月固定执行四项动作：模板与规则的修订与灰度、模型评分偏差校正、分层分布偏差补生成、质量报告发布。每一项都在前文对应章节给出了判据与回退路径，此处不重复。 #### 5.4 交付物与验收口径汇总 通用接口、追溯与验收要求规定每个工具链须提供演示样例、输入输出样例、配置说明、接口说明与测试报告五类交付物。本组八个工具链的交付物清单与各自的关键验收内容汇总如表 2-41，便于逐项勾核。 表 2-41　八个工具链的交付物与关键验收内容 | 工具 | 演示样例 | 输入输出样例 | 配置说明 | 接口说明 | 测试报告关键内容 | |---|---|---|---|---|---| | 1 自生成思维链 | 模板配置至产出全流程一套 | ≥20 条 | 五维度模板配置、八项生成参数 | 表 2-7 八个接口 | 四项判据实测值、人工全检一致率、灰度与回滚演练记录 | | 2 人机协同标注 | 双盲派发至仲裁回流全流程 | ≥20 条 | 难度分档派发、三粒度阈值 | 表 2-10 八个接口 | 三粒度一致率、仲裁率、争议原因分布、专项复核记录 | | 3 文档切分与拼接 | 七类格式各 ≥2 份，PDF 覆盖三种成因 | ≥20 条 | 七项滑窗参数、三档窗口配置 | 表 2-14 六个接口 | 要素识别抽样准确率、待校对队列比例、来源反查核对 | | 4 RAG 数据构建 | 索引至评测报告全流程 | ≥20 条 | 四档检索参数、八类质检阈值 | 表 2-19 八个接口 | 六项指标实测值、无依据查询拒答结果、索引重建判定记录 | | 5 文档结构解析 | 六项解析能力各 ≥1 例 | ≥20 条 | 解析项开关、置信度阈值、切分优先级 | 表 2-22 七个接口 | 六项解析抽样准确率、低置信度占比、待确认队列处置 | | 6 对话模拟生成 | 七类场景各 ≥2 段，异常分支 ≥3 段 | ≥20 条 | 六类角色剧本、七类场景配置 | 表 2-28 六个接口 | 闭环要素满足率、澄清清单覆盖率、收敛比例、剧本变更对比 | | 7 工单转对话 | 六段转写、三类补全、七类脱敏各 ≥1 例 | ≥20 条 | 字段映射、补全策略、脱敏规则 | 表 2-32 七个接口 | 三级来源占比、未接地率、脱敏抽检与映射一致性验证 | | 8 对话质量筛选 | 评分至筛选报告全流程 | ≥20 条 | 七维锚点与权重、五维配额 | 表 2-37 八个接口 | 权重校准与会签记录、逐维偏差实测、偏差修正对照、补生成记录 | 我方在本组工具链的质量指标上统一采用"基线加改进"的承诺方式，不采用固定数值的绝对承诺。理由是这些指标受输入数据质量影响显著。同样的解析能力，作用在电子版规程上和作用在二十年前的扫描件上，结果不可能相同。因此各工具的测试报告先给出在甲方真实数据上的实测基线，再给出按月或按批次的对照与改进口径，以及低于基线时的回退路径。各工具的回退路径已在前文对应章节逐一写明，均为可执行的具体动作（整批转人工复核、改以人工判定为准、退回上一稳定配置版本、批次不得出加工域），而非原则性表述。 ### 图 2-12　八个工具链的依赖关系与分批投产 第一批 第二批 第三批 工具 5　文档结构解析 工具 3　切分与拼接 产出：章节树·结构化片段 长上下文样本·来源映射表 工具 4　RAG 数据构建 工具 1　自生成思维链 产出：三元组·评测样本 结构化推理样本 片段 工具 2　人机协同标注 工具 6　对话模拟生成 工具 7　工单转对话 工具 8　对话质量筛选 推理样本 检索服务 三批投产后进入持续生产与迭代期：月度模板与规则灰度 · 评分偏差校正 · 分层偏差补生成 · 质量报告发布 图 2-12　八个工具链的依赖关系与分批投产。数据来源：招标文件 3.2.3.1 节交付清单（b0917）（b0918r02）（b0918r03）（b0918r04）；分批依据见本章表 2-40。 ### 六、八个工具链的调用契约、调用样例与异常回退 本节回应招标文件 3.2.3.11 节第（1）条接口要求与第（6）条验收要求中的接口说明、输入输出样例两项（b1147、b1148、b1157、b1158）。 各工具对外提供的接口清单已在其所属小节逐一给出（表 2-7、表 2-10、表 2-14、表 2-19、表 2-22、表 2-28、表 2-32、表 2-37），本节不重复清单，补的是清单之外的三件：任务创建的入参契约与幂等口径、一次完整调用的样例、以及异常情形与回退动作。六类标准调用、八态任务状态机与错误码四分类的条款在工具链（三）第五节统一给出，本节按其口径填写而不另立定义。有两组入参是八个工具共用的，只在 6.1 的契约表中完整列出一次，其余各表不重复：一是客户端请求标识 `client_request_id`，口径与幂等用法见工具链（三）第五节；二是输出落点组 `output.dataset_ref` 与 `output.formats`，含义与缺省值同 6.1。调用样例中这两组逐条出现，是为了保持样例可直接照搬。 补这三件有一个具体用途。接口清单回答的是"有没有这个接口"，入参契约与异常回退回答的是"这个接口在非理想情况下怎么表现"。批量加工作业大部分时间处在非理想情况里：版本传错、素材缺失、模型网关限流、质量门未过。这些路径不事先写定，实施时每个工具会各自给出一种处置方式，集成方要为八个工具写八套分支逻辑。 表 2-42　八个工具在六类标准调用上的差异 | 工具 | 任务粒度 | 幂等键 | 结果获取方式 | 状态回调的额外内容 | |---|---|---|---|---| | 1 大模型自生成思维链 | 生成批次 | 客户端请求标识＋输入清单指纹＋模板版本 | 流式，可按质量状态筛选 | 各判据淘汰数、采样组完成情况 | | 2 人机协同思维链标注 | 标注任务批次 | 客户端请求标识＋样本范围＋派发配置 | 分页，按版本区间取差异 | 一致性快照、待仲裁条目数 | | 3 文档切分与拼接 | 文档集合 | 客户端请求标识＋文档标识集合＋切分参数版本 | 流式 | 跨章节拼接比例、来源映射完整性 | | 4 RAG 数据构建 | 查询集合 | 客户端请求标识＋查询集指纹＋索引配置版本 | 分页，按质量问题类型筛选 | 六项评测指标快照 | | 5 文档结构解析 | 文档集合 | 客户端请求标识＋文件指纹集合 | 分页，按置信度分流筛选 | 退化策略命中计数 | | 6 对话模拟生成 | 生成批次 | 客户端请求标识＋场景范围＋剧本版本＋种子集合 | 流式 | 六项控制的观测量、拦截与重生成计数 | | 7 结构化工单转对话 | 工单批次 | 客户端请求标识＋工单标识集合＋脱敏规则版本 | 分页 | 脱敏命中计数、补全内容的可信度分布 | | 8 对话质量筛选 | 待筛选样本批次 | 客户端请求标识＋样本集合＋评分规则版本 | 分页，按低质类型筛选 | 双通道评分一致性、低质类型分布 | 八个工具的幂等键都由客户端请求标识与输入集合指纹共同构成。只用客户端请求标识是不够的：调用方重试时常常会沿用同一个请求标识却换了输入范围，此时应当视为新任务而不是幂等命中。加上输入指纹，这种情形就能被接口自己分辨出来。 #### 6.1 大模型自生成思维链工具链（工具 1） 表 2-43　工具 1 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.input_list` | 引用或列表 | 是 | 业务问题清单引用，或问题标识集合 | | `params.template_version` | 引用 | 是 | 思维链提示词模板版本；模板内容本身不经接口传递 | | `params.generation` | 结构 | 是 | 生成参数，取值项见本章表 2-4 | | `params.model_refs` | 列表 | 否 | 统一网关登记的模型标识与版本集合；缺省取该任务类型的当前择优选用项 | | `params.sampling_group_size` | 整数 | 否 | 多路采样的每组条数，缺省按任务类型预置；大于 1 时自一致性筛选自动启用 | | `params.consistency_criteria` | 结构 | 否 | 四项判据的阈值覆盖项（判据见本章表 2-6），缺省取当前标定值 | | `params.context_source` | 引用 | 是 | 背景材料来源：由工具 4 提供的三元组集合或检索服务引用 | | `output.dataset_ref` | 引用 | 是 | 结果落点 | 调用样例与受理返回： ```json { "client_request_id": "REQ-2027Q1-COT-0033", "selector": {"input_list": "QSET-PROCESS-2027Q1@v2"}, "params": { "template_version": "COT-GYPD-v2.3", "generation": {"task_type": "工艺判断", "difficulty": "三级", "max_steps": 8, "require_refs": true}, "model_refs": ["gw-model-a@2027.01", "gw-model-b@2026.12"], "sampling_group_size": 5, "consistency_criteria": {"answer_agreement_min": 0.6, "ref_hit_required": true}, "context_source": "DS-RAG-2027Q1/process@v3" }, "output": {"dataset_ref": "DS-SFT-2027Q1/cot", "formats": ["jsonl"]} } ``` ```json { "task_id": "T-COT-002188", "accepted_at": "2027-02-20T01:40:12+08:00", "param_check": "passed", "batch_count": 24, "estimated_tokens": 41800000, "resolved_template_version": "COT-GYPD-v2.3", "idempotent_hit": false } ``` 表 2-44　工具 1 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 模板版本已回滚或处于草稿态 | 参数类 | 所传版本、当前生效版本 | 不受理；使用已回滚版本的作业不予创建（口径见本章表 2-28A 第 1 步同理） | | 背景材料来源不可读或版本不存在 | 输入类 | 来源引用、失败原因 | 任务不启动；不以无背景材料的方式生成推理过程 | | 模型网关限流或暂时不可用 | 执行类（批次级） | 失败批次、网关状态 | 按退避策略自动重试三次；仍失败的批次挂起，已完成批次结果照常可取 | | 同一采样组内答案分歧超限 | 策略类 | 分歧分布、判据阈值 | 该组按表 2-6 判据处置，不取多数答案强行定稿 | | 推理步骤引用不到依据 | 策略类 | 样本标识、缺失的引用项 | 该条不进入优选路径；是否保留为负样本按筛选判据决定 | | 整批自一致性通过率骤降 | 策略类 | 通过率、与近期批次比对 | 批次挂起，检查模板版本与背景材料来源是否变化，不自动放行 | 接口层面可当场核对的点有两条：`model_refs` 回传的是网关登记标识与版本而不是品牌型号；构造一个模板版本为草稿态的请求，接口须在受理前返回参数类错误。质量口径仍按本章 2.3.6 节的验收口径执行。 #### 6.2 人机协同思维链标注工具链（工具 2） 表 2-45　工具 2 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.sample_scope` | 结构 | 是 | 待标注样本范围，可按批次、质量状态或难度分档筛选 | | `params.difficulty_rule_version` | 引用 | 是 | 难度分档规则版本，决定派发给哪一类标注角色 | | `params.annotator_roles` | 结构 | 是 | 标注人角色与人数（记角色不记姓名） | | `params.double_blind` | 布尔 | 否 | 是否双盲派发，缺省按任务类型预置 | | `params.consistency_thresholds` | 结构 | 否 | 三个粒度的一致性阈值覆盖项（粒度见本章表 2-9） | | `params.arbitration_rule_version` | 引用 | 是 | 仲裁规则版本 | ```json { "client_request_id": "REQ-2027Q1-COTA-0017", "selector": {"sample_scope": {"batch_id": "B-2027Q1-CL-0042", "quality_status": "自一致性通过", "difficulty": ["三级", "四级"]}}, "params": { "difficulty_rule_version": "DIFF-v1.1", "annotator_roles": {"标注人员": 4, "领域专家": 2}, "double_blind": true, "consistency_thresholds": {"step_level": 0.75, "conclusion_level": 0.90, "ref_level": 0.85}, "arbitration_rule_version": "ARB-COT-v1.0" }, "output": {"dataset_ref": "DS-SFT-2027Q1/cot-reviewed", "formats": ["jsonl"]} } ``` 表 2-46　工具 2 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 双盲派发所需人数不足 | 参数类 | 所需人数、可用人数 | 不受理；不降为单人标注后仍按双盲口径计一致性 | | 样本未通过上游自一致性筛选 | 输入类 | 样本标识、上游状态 | 不派发；修订未经筛选的样本会把人力投在待淘汰内容上 | | 编辑操作不在六类之内 | 参数类 | 所提交的操作类型 | 拒绝该次提交；六类操作的语义见本章表 2-8 | | 一致率低于基线 | 策略类 | 三粒度实测值、基线 | 按本章 2.4.5 节的排查顺序处置并记录结论，不调整统计口径达标 | | 仲裁规则无对应条款 | 策略类 | 争议粒度、规则覆盖范围 | 转专家裁决，结论与理由进规则补充队列 | | 上游模板或规程改版 | 策略类 | 受影响的样本范围 | 按本章表 2-9B 的分档处置，不整批回溯重写 | 接口层面可当场核对的点：差异查询能按版本区间取出字符级差异与操作人角色，且日志为只追加形态——取一条已修订样本，核对其各版本可逐一还原。质量口径按本章 2.4.5 节执行。 #### 6.3 文档切分与拼接工具链（工具 3） 表 2-47　工具 3 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.doc_refs` | 列表 | 是 | 文档对象引用集合；须为已完成结构解析的文档 | | `params.window` | 结构 | 是 | 滑动窗口参数，取值项见本章表 2-13 | | `params.cross_section_policy` | 枚举 | 是 | 跨章节拼接口径：禁止／按父章节允许／不限 | | `params.source_map_granularity` | 枚举 | 否 | 来源映射粒度：段落级／字符区间级，缺省为字符区间级 | | `params.doc_level_grouping` | 布尔 | 否 | 固定为真；同一文档的片段整份归入同一集合，防止训练与测试同源 | ```json { "client_request_id": "REQ-2027Q1-SEG-0088", "selector": {"doc_refs": ["SCS-SB-V4", "SCS-GC-V2", "STD-AQ-2026"]}, "params": { "window": {"target_tokens": 4096, "overlap_ratio": 0.10, "min_tokens": 1024}, "cross_section_policy": "按父章节允许", "source_map_granularity": "字符区间级", "doc_level_grouping": true }, "output": {"dataset_ref": "DS-PRETRAIN-2027Q1/longctx", "formats": ["jsonl", "parquet"]} } ``` 表 2-48　工具 3 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 文档未完成结构解析 | 输入类 | 文档标识、当前状态 | 不切分；按版面顺序硬切会把表格与标题切碎 | | 单章节长度超出窗口上限 | 策略类 | 章节路径、实际长度 | 按父章节允许的口径拆分并在来源映射中标注拆分点，不静默截断 | | 表格跨页导致片段内表格不完整 | 执行类（条目级） | 表格标识、跨页范围 | 该表所在片段按表边界重新取窗，表不被切开 | | `doc_level_grouping` 被置为假 | 参数类 | 该字段取值 | 拒绝受理；文档级归集是切分隔离的硬约束（口径见工具链（三）8.3） | | 来源映射缺失字符区间 | 执行类（条目级） | 片段标识 | 该片段不发布；缺来源映射的长上下文样本无法溯源 | 接口层面可当场核对的点：取任一长上下文样本，按 `source_map` 能回到原文档的页与字符区间；构造一个 `doc_level_grouping` 为假的请求，接口须拒绝受理。质量口径按本章 3.3.4 节执行。 #### 6.4 RAG 数据构建工具链（工具 4） 表 2-49　工具 4 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.query_set` | 引用 | 是 | 查询集引用与版本 | | `selector.corpus_ref` | 引用 | 是 | 片段库引用；须与工具 3 的产出同版本 | | `params.index_config_version` | 引用 | 是 | 索引配置版本，含向量化模型的网关登记标识 | | `params.retrieval` | 结构 | 是 | 检索参数，分档口径见本章表 2-16 | | `params.quality_checks` | 列表 | 否 | 启用的质量问题检测项（八类见本章表 2-17），缺省八类全开 | | `params.metrics` | 列表 | 否 | 需要产出的评测指标（六项见本章表 2-18），缺省六项全出 | ```json { "client_request_id": "REQ-2027Q1-RAG-0121", "selector": {"query_set": "QSET-STD-2027Q1@v1", "corpus_ref": "DS-PRETRAIN-2027Q1/longctx@v2"}, "params": { "index_config_version": "IDX-2027.01", "retrieval": {"top_k": 8, "rerank": true, "score_floor": 0.35, "chunk_expand": "父章节"}, "quality_checks": ["证据不足", "证据冲突", "答非所问", "引用错位", "跨文档混淆", "时效过期", "术语歧义", "重复片段"], "metrics": ["证据召回率", "证据精确率", "答案可依据率", "引用准确率", "冗余率", "拒答恰当率"] }, "output": {"dataset_ref": "DS-SFT-2027Q1/rag", "formats": ["jsonl"]} } ``` 表 2-50　工具 4 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 片段库版本与索引配置不配套 | 参数类 | 两者版本 | 不受理；索引须在同版本片段库上重建 | | 向量化服务不可用 | 执行类 | 失败阶段 | 降级为关键词检索并标记降级完成，降级批次的指标单列不并入总体 | | 检索结果为空 | 策略类 | 查询标识、检索参数 | 该查询产出拒答样本而非编造回答；拒答样本按配额保留 | | 证据与回答冲突 | 策略类 | 冲突点、检出方法 | 该三元组进人工复核，不自动采信回答一侧 | | 文档时效过期 | 策略类 | 文档标识、版本日期 | 按表 2-17 处置，过期文档的三元组单独标记，不进入指令微调主集 | | 指标低于基线 | 策略类 | 指标名、实测值与基线 | 按本章 3.4.7 节的回退口径处置 | 接口层面可当场核对的点：构造一个检索无结果的查询，返回须为拒答样本且标明原因；向量化服务不可用时，返回须显式标记降级而不是静默改用关键词检索。质量口径按本章 3.4.7 节执行。 #### 6.5 文档结构解析工具链（工具 5） 表 2-51　工具 5 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.file_refs` | 列表 | 是 | 原件引用；按只读授权范围读取 | | `params.channel_policy` | 结构 | 否 | 格式与成因到解析通道的分派覆盖项（口径见本章表 2-12），缺省按文件类型自动分派 | | `params.capabilities` | 列表 | 否 | 启用的六项解析能力（见本章表 2-20），缺省六项全开 | | `params.confidence_thresholds` | 结构 | 否 | 高低两档阈值，缺省取当前标定值 | | `params.degrade_policy` | 结构 | 否 | 各能力的退化策略覆盖项（见本章表 2-20），缺省按能力预置 | ```json { "client_request_id": "REQ-2027Q1-DOC-0245", "selector": {"file_refs": [{"doc_id": "SCS-SB-V4", "file_hash": "<文件指纹>"}, {"doc_id": "STD-AQ-2026", "file_hash": "<文件指纹>"}]}, "params": { "capabilities": ["章节树还原", "段落结构化", "表格还原", "图题与图注关联", "页眉页脚剥离", "公式与符号保留"], "confidence_thresholds": {"high": 0.90, "low": 0.60}, "degrade_policy": {"表格还原": "降为单元格文本并标记结构未还原"} }, "output": {"dataset_ref": "DS-DOC-2027Q1/parsed", "formats": ["jsonl"]} } ``` 表 2-52　工具 5 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 文件格式不在支持范围 | 参数类 | 文件标识、实际格式 | 不受理该文件，其余文件照常执行 | | 扫描质量不足以还原章节层级 | 执行类（条目级） | 文档标识、实测质量指标 | 按退化策略输出平铺段落并标记层级未还原，不按页码猜测层级 | | 跨页续表的表头无法确定 | 执行类（条目级） | 表格标识、跨页范围 | 续表部分单独输出并标记表头待确认，不复制上页表头充数 | | 解析置信度落在低档 | 策略类 | 文档标识、置信度 | 进人工标注队列，工具输出仅作参考（口径见本章 3.5 节置信度分流） | | 公式或专用符号无法保留 | 策略类 | 位置、符号类型 | 原样保留图像片段并标记，不以近似字符替代 | 接口层面可当场核对的点：取一份跨页续表的文档，续表部分须标记表头待确认；取一份低清扫描件，输出须标记层级未还原而不是给出一个看似完整的章节树。质量口径按本章 3.5.4 节与场景验证一侧的表格解析四层精度口径对齐（见任务 T14）。 #### 6.6 对话模拟生成工具链（工具 6） 本工具的入参契约比其余七个多一组：角色与控制项配置。六项控制的配置口径见本章表 2-25，其可验证判据见表 2-25C，本小节只给接口形态。 表 2-53　工具 6 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.scene_codes` | 列表 | 是 | 本批生成的业务场景编码（七类见本章表 2-26） | | `selector.seed_questions` | 引用 | 是 | 问题种子集合引用与版本 | | `params.script_version` | 引用 | 是 | 角色剧本版本；须为生效版本，已回滚版本不予创建作业 | | `params.scene_config_version` | 引用 | 是 | 场景配置版本，含角色组合、轮次区间、澄清清单与闭环要素 | | `params.control_overrides` | 结构 | 否 | 六项控制的覆盖项（见本章表 2-25），缺省取场景配置中的取值 | | `params.anomaly_quota` | 结构 | 否 | 异常分支配额，缺省取 10%—15% 区间的中值 | | `params.target_count` | 整数 | 是 | 本批目标条数 | | `params.random_seed` | 整数 | 否 | 重放用随机种子；缺省由工具生成并随作业记录留存 | ```json { "client_request_id": "REQ-2027Q2-DLG-0054", "selector": {"scene_codes": ["设备故障诊断", "工艺审查"], "seed_questions": "QSEED-DLG-2027Q2@v1"}, "params": { "script_version": "SCRIPT-2027Q2-v3", "scene_config_version": "SCNCFG-2027Q2-v2", "control_overrides": {"turn_range": {"设备故障诊断": [6, 12]}, "clarify_retry_limit": 2}, "anomaly_quota": {"min_ratio": 0.10, "max_ratio": 0.15}, "target_count": 8000, "random_seed": 20270415 }, "output": {"dataset_ref": "DS-SFT-2027Q2/dialog", "formats": ["jsonl"]} } ``` 受理返回除任务标识外，回传五项重放因子：剧本版本、场景配置版本、模板库版本、所用模型的网关登记标识与版本、随机种子。五项齐备是本工具可重放的前提（口径见本章 4.3.3 节）。 表 2-54　工具 6 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 剧本版本已回滚 | 参数类 | 所传版本、当前生效版本 | 不受理作业 | | 场景配置的澄清清单含对话中无法确认的前提 | 策略类 | 该前提项 | 本批该场景暂停，清单经会签修订后重跑（介入点见本章表 2-28B） | | 禁止的阶段迁移 | 执行类（轮级） | 迁移方向、所依据的状态机 | 拦截并重新生成该轮，上限两次 | | 同一轮重生成两次仍不通过 | 执行类（条目级） | 拦截原因分类 | 终止该对话并计入失败；失败对话不入集，作业轨迹保留供归因 | | 异常分支配额未达下限 | 策略类 | 当前占比、下限 | 按缺口定向补生成，不以正常对话顶替配额 | | 某控制项观测量持续低于基线 | 策略类 | 观测量、实测值与基线 | 按本章表 2-25C 的回退列处置；调整阈值走策略会签 | 接口层面可当场核对的点有三条：受理返回含五项重放因子；取任一条对话样本按五项因子重放，产出可与原样本逐字比对；构造一个剧本版本为已回滚的请求，接口须拒绝受理。质量口径按本章 4.3.8 节执行。 #### 6.7 结构化工单转对话工具链（工具 7） 表 2-55　工具 7 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.work_order_ids` | 列表或引用 | 是 | 工单标识集合或批次引用；来源含服务工单、售后记录、运维报告、维修闭环记录 | | `params.mapping_version` | 引用 | 是 | 工单字段到六段对话的映射版本（口径见本章表 2-29） | | `params.desensitize_rule_version` | 引用 | 是 | 脱敏规则版本（七类敏感实体见本章表 2-31） | | `params.completion_policy` | 结构 | 否 | 五类补全内容的启用与可信度标记口径（见本章表 2-30），缺省按工单类型预置 | | `params.require_six_stages` | 布尔 | 否 | 固定为真；转写过程须覆盖六段（b0974） | ```json { "client_request_id": "REQ-2027Q2-WO2D-0073", "selector": {"work_order_ids": {"batch_ref": "WO-SOS-2027Q1", "filter": {"has_closure": true, "limit": 4000}}}, "params": { "mapping_version": "WO2D-MAP-v1.4", "desensitize_rule_version": "DESENS-2027.01", "completion_policy": {"澄清问题": "生成并标记为补全", "判断依据": "仅在工单含依据时生成", "技术解释": "生成并标记为补全"}, "require_six_stages": true }, "output": {"dataset_ref": "DS-SFT-2027Q2/wo-dialog", "formats": ["jsonl"]} } ``` 表 2-56　工具 7 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 工单无处置结论 | 策略类 | 工单标识、缺失段 | 不转写为完整六段对话；可作为前四段的半闭环样本单独归池并标记 | | 脱敏规则命中但无替换代号可用 | 策略类 | 实体类型、所依据规则版本 | 该条拦截不输出；不以原值输出也不以空值掩盖 | | 工单与运维报警无事件级配对 | 输入类 | 工单标识 | 该条按无报警上下文转写，配对缺口在数据卡中如实统计 | | 补全内容无事实来源 | 策略类 | 补全项 | 该补全项不生成；补全只在有依据时进行，可信度标记随样本留存 | | 六段覆盖不全 | 执行类（条目级） | 缺失的段 | 该条退回补生成一次；仍不全的归入半闭环池 | | `require_six_stages` 被置为假 | 参数类 | 该字段取值 | 拒绝受理 | 接口层面可当场核对的点：取任一条转写样本，脱敏记录逐项可查且代号映射表不随样本导出；取一条无处置结论的工单，返回须为半闭环样本并带标记，而不是补一个结论凑满六段。质量口径按本章 4.4.5 节执行。 #### 6.8 对话质量筛选工具链（工具 8） 本工具是对话类样本进入数据集前的最后一道，契约上要求出参必须给出逐维评分与低质类型，不接受只回一个总分。只给总分的接口无法支撑返工——不知道是哪一维不合格，就不知道该退回哪一个上游环节。 表 2-57　工具 8 的任务创建入参契约 | 字段 | 类型 | 必填 | 缺省与约束 | |---|---|---|---| | `selector.dialog_ids` | 列表或引用 | 是 | 待筛选对话集合；含模拟生成与工单转写两类来源 | | `params.scoring_rule_version` | 引用 | 是 | 七维评分规则与权重版本（见本章表 2-33） | | `params.channels` | 结构 | 否 | 双通道配置：规则通道与模型通道的启用与模型数，缺省模型通道不少于三个并取中位数 | | `params.low_quality_rules_version` | 引用 | 是 | 七类低质问题的检测规则版本（见本章表 2-34） | | `params.stratified_sampling` | 结构 | 否 | 分层采样配置（五个维度见本章表 2-35），按分数、场景、任务类型、难度、来源分层（b0985） | | `params.spot_check_ratio` | 小数 | 否 | 抽检校正比例，缺省取当前门限值；下调须经策略会签 | ```json { "client_request_id": "REQ-2027Q2-DQ-0091", "selector": {"dialog_ids": {"batch_ref": "DLG-2027Q2-B07"}}, "params": { "scoring_rule_version": "DLGSCORE-v2.0", "channels": {"rule": true, "model": {"enabled": true, "model_count": 3, "aggregate": "median"}}, "low_quality_rules_version": "DLGLOW-v1.5", "stratified_sampling": {"dims": ["分数", "场景", "任务类型", "难度", "来源"], "target_per_cell": 120}, "spot_check_ratio": 0.05 }, "output": {"dataset_ref": "DS-SFT-2027Q2/dialog-selected", "formats": ["jsonl", "md"]} } ``` 表 2-58　工具 8 的异常与回退 | 异常情形 | 错误类 | 返回要点 | 回退动作 | |---|---|---|---| | 评分规则版本未经业务口会签 | 参数类 | 版本、会签状态 | 不受理；评分规则的生效以会签为前提 | | 双通道评分分歧超限 | 策略类 | 分歧维度、两通道取值 | 该条进人工抽检校正，不按模型通道单方定分 | | 安全合规维度不通过 | 策略类 | 维度、命中规则 | 该条否决，不因总分高而放行 | | 某分层单元样本量不足配额 | 策略类 | 单元标识、缺口 | 如实记为覆盖不足并回传定向补生成需求，不降低该单元标准凑数 | | 抽检比例被下调 | 参数类 | 所传比例、当前门限 | 拒绝受理；抽检比例的调整走策略会签（口径见工具链总述 4.7） | | 低质比例骤升 | 策略类 | 比例、与近期批次比对 | 批次挂起并回看上游生成配置，不自动放行 | 接口层面可当场核对的点有两条：出参含七维逐维评分与低质类型，不只回总分；构造一个把 `spot_check_ratio` 下调到门限以下的请求，接口须拒绝受理。质量口径按本章 4.5.7 节执行。 本节八个工具的契约与异常口径取自工具链（三）第五节：六类标准调用、八态状态机、错误四分类与幂等口径同源，输出格式与入库口径见其 5.2，血缘字段见其 5.3。本节与那一节若出现表述差异，以工具链（三）第五节为准。各工具的质量指标、基线与回退路径仍以本章各自小节的验收口径为准，本节不重复指标数值。 ### 七、本稿待补材料清单 本章的结构与论述按招标文件要求写足，以下材料需由相关方提供后补入，稿件中以占位标出： | 序号 | 待补材料 | 用途 | 需向谁索取 | |---|---|---|---| | 1 | 备料分厂正式工序字典（确认版本号与 28 道工序的规范名称） | 工艺判断类样本的背景材料与规则校验依据 | 甲方工艺部门 | | 2 | 板材备料工艺规程现行版本（含工序排序禁止条件、中性层系数分档表） | 推理样本的依据来源与规则库 | 甲方工艺部门 | | 3 | 刮板输送机安装使用维护手册等技术手册清单与电子件 | 文档解析与长上下文语料的实际体量核算 | 甲方企业文档管理部门 | | 4 | 企业文档、协同办公、售后服务与备件管理、远程运维四类系统的只读取数范围与接口说明 | 各工具的取数通道与字段映射 | 甲方信息化部门 | | 5 | 历史文档资源清点结果（按类型、份数、页数、电子化程度与扫描质量分档） | 预训练语料可得 Token 量的实测与缺口统计 | 甲方各文档归口部门 | | 6 | 甲方数据安全管理要求与敏感信息分级清单 | 脱敏规则、密级标记与授权校验的配置依据 | 甲方信息安全归口部门 | | 7 | 人员名册与客户名册（仅用于脱敏识别，不随样本留存） | 姓名与客户名称的识别准确率 | 甲方相关部门，按最小必要范围提供 | | 8 | 专家题库首批题目与标准答案 | 推理样本的问题来源与评测集建设 | 甲方各业务口领域专家 | | 9 | 服务工单与运维报警的历史可用量统计及事件配对现状 | 工单转写样本的规模与来源配比口径 | 甲方售后与运维部门 | | 10 | 七维评分规则的业务口会签意见 | 评分权重校准与规则版本确认 | 甲方各业务口 | 上述第 1、2、5、9 项直接影响本章若干口径的落地值（如 28 道工序的规范名称、预训练语料可得 Token 量、工单转写占比），在材料到位前按本章给出的口径与占位执行，到位后以实际材料替换并同步更新数据卡。