未知不能当成满足：阿里用离线匹配和线上 A/B 测工业采购模型

未知不能当成满足：阿里用离线匹配和线上 A/B 测工业采购模型

阿里多模态与工业 AI 团队（Multimodal and Industrial AI Team）的技术报告 IndustryLLM 写明是 2026 年 9 月的技术报告。arXiv 版本 v1 的提交日期是 2026-09-25。PDF 元数据里的许可证是 CC0 1.0。项目负责人是 Liang Ding，通讯邮箱写在报告脚注。模型权重放在 Hugging Face 的 alibaba-multimodal-industrial-ai/IndustryLLM。报告把论文许可、权重许可和训练语料许可分成三件事，没有说权重也是 CC0。

IndustryLLM 从 Qwen3.5-35B-A3B-Base 继续训练。总参数 35B，每个 token 大约激活 3B。视觉编码器和视觉文本对齐模块全程冻结，评测针对文本。

先把需求和资格拆开

报告把采购失败拆成两种。一种是听不懂工业说法：术语、单位、属性关系。另一种是货到底能不能用：浓度、温度、密封、法兰这些要看当前商品记录，参数知识补不上缺失证书。

下游接口用三值逻辑：满足、未知、违反。缺失、过期或互相冲突的商品证据必须判成未知，不能判成满足。模型只负责把口语需求写成硬约束、软约束和未决项。报告写明，检查点评测覆盖的是模型组件和问句结构化，不证明端到端的商品资格。

训练数据按失败来改，但消融不在 35B 上

继续预训练大约 100B token：国家标准和技术档案约 5B，脱敏交易和询价约 10B，过滤后的工业网页约 25B，通用回放约 60B。其中约 20B 的领域子集被重写。摘要只点了 5B、10B 和 60B，25B 网页写在正文的语料拆分里。

重写分三步：从 10 种体裁里最多留 4 种，再配 8 种写法，然后改写。事实错误用 Qwen3-Max 做高召回检查，再做最小修改，不整段重写。问答合成的预算打在当前检查点会做错的概念上。这些做法的对照实验在 2B 到 4B 的代理规模、单个随机种子上做。报告写，它们是设计线索，不是 35B 检查点的可加因果分解。2B 最小修改对照里，编辑臂在针对性事实偏好探针上高 13.9 个百分点。同一节又写，历史日志没记下呈现顺序，不能排除位置偏差，非目标 token 是否完全相同也没核过。

监督微调比较原始目标和经过任务过滤的教师目标。两边提示和任务分布相同，监督 token 长度和训练算力没有配平。

四层评测账本，每层都写了不能说明什么

表 10 把证据分成四问：

• 代理对照：局部领域或通用指标、编辑片段偏好、留出问答、短程损失。不能拆成 35B 的因果项。
• RQ1：13 个通用基准，看教师目标会不会伤到通用能力。
• RQ2：IndustryBench，零样本原始分（0–3，并换算 0–100）和安全违规调整后的 Final SV。
• RQ3：采购问句结构化。精确匹配、语义匹配、选择题。精确匹配给了配对自助法置信区间。完整执行模式没有端到端评。
• RQ4：线上随机实验和搜索的前后对照。看时延、点击、询价满足、成交和 GMV。测的是整套系统，拆不出单个检查点。

通用基准：长推理涨，短代码和格式跌

表 11，单次生成。AIME26 用 avg@8。教师目标相对原始目标：HumanEval-Plus 83.5 到 92.1（+8.6），GPQA-Diamond 71.2 到 78.3（+7.1），LiveCodeBench 73.4 到 75.6（+2.2）。五门综合知识全部略高，幅度 +0.1 到 +0.9。MBPP-Plus 96.0 到 94.2（-1.8），IF-Eval 91.1 到 90.6（-0.5），AIME26 两边都是 80.0。官方发布列来自别的评测框架，只作背景。这是一次运行，评的是整套目标构造，不是 Base 到继续预训练再到监督微调的同一套工具链。

IndustryBench 是研制诊断，不是对齐排名

IndustryBench 有 2049 道专家编写的零样本工业采购题，0–3 分。裁判是 Qwen3-Max，在 198 条 GLM-5 回答上相对资深工程师的加权 kappa 是 0.798。训练数据对这个基准做了 n-gram 去污。错误类型又被用来指导中间训练，所以报告把它当成内部研制诊断，不是独立双盲。

发布后的 Think 检查点：原始分 2.120（0–100 为 70.7），Final SV 2.030。安全调整下来 0.090。谱系是基座 1.64，继续预训练后 1.80，再到 Think 发布版 2.120。后一步把教师目标和 Think 模式绑在一起，不是正交消融。

表 12 还列了外部模型的已发表分数，例如 Gemini 3.1 Pro 原始分 2.253，Qwen3.5-35B-A3B 厂商后训练版 1.903。报告写明这不是同一协议的排名：IndustryLLM 开了 Think，外部行多用各自默认配置，也没有在同一版裁判下重跑，专有模型没有自助法区间。

问句结构化：精确匹配高 2.97 个点

离线对比 Base+SFT 和 CPT+SFT，都是 No-Think，下游指令微调配平。自由生成 4747 条，取上下文监督微调第 120 步。选择题 1872 条，取闭卷监督微调第 80 步。

CPT+SFT 对 Base+SFT：精确匹配 14.83% 对 11.86%（+2.97 个百分点），语义匹配 36.65% 对 31.47%（+5.18 个百分点），选择题 82.91% 对 79.86%（+3.05 个百分点）。精确匹配的配对自助法用 10 万次重采样，差值的 95% 区间是 [2.11, 3.86] 个百分点。这三项都不等于商品能不能买。

线上：随机实验和前后对照分开写

随机实验按用户 50:50 固定分桶，不是按请求随机，每臂每天大约 10 万名符合条件的商业用户。商业敏感指标只报相对变化，不报基数。报告写这些随机差值都满足 p ≤ 0.01。

搜索是前后对照，没有同期对照：需求满足率相对 +6.5%，成交转化相对 +7.11%。商品搜索 PV_L2O 从 0.148% 到 0.156%（+0.008 个百分点，相对 +5.41%）。工业问答 PV_L2O 从 0.203% 到 0.215%，UV_L2O 从 13.33% 到 13.87%。报告写这是观察关联，不是无混淆的因果。

属性归一化的随机实验做了两周，把数值缩放、同义词和单位换算捆在排序前的一层。相对对照：访客商品点击率 +2.4%，A2A 询价 +4.32%，满足硬约束的 A2A 询价 +8.3%。拆不开三个子操作各自的贡献。

对话询价栈的离线盲评用 1000 段真实对话。IndustryLLM（No-Think）对 Qwen3.5-Plus，裁判是 Qwen3.7-Max-thinking，70 分工程量规。总分 60.1 对 53.7。分项差：信息安全 +3.22，参数覆盖和忠实 +1.39，需求理解完整 +1.00，总体可用性 +0.97，流程要求抽取 +0.47，JSON 良构 -0.06，职业语气 -0.58。生成模型和裁判同属 Qwen 家族，没有人工或跨家族复核。报告把这组成绩写成描述性对照，不是人类偏好。

18 天询价 A/B 用同一 GPU 池和同一服务框架，把默认 Qwen3.5-Plus 助手换成整套 IndustryLLM 询价栈。端到端时延从 6–7 秒到 1.5 秒。负载分布没有单独隔离。A2A 询价量 +6.50%，GMV +4.25%，广告收入 +1.85%，属性标准化率从 62.5% 到 85.2%。文中提要把这组绝对差写成 +22.7 个百分点。模型、提示词模式和引擎优化绑在一起，没有把研究检查点钉到线上版本的不可变提交。

报告自己划出的四条边界

通用能力上，教师目标拉高多步推理，压低短代码和严格格式，算力也没配平。数据改造只在 2B–4B、单种子上消融过。

参数模型不能证明实物合格。三值门是系统合同，多源约束核验不在这次检查点评测里。

线上数字是整栈结果。搜索前后对照没有随机对照。基数因保密未给出。

范围只在中国 B2B 工业电商。跨语言、境外法规和外国目录没测。视觉编码器冻结，没有测 CAD 图纸和缺陷图像。数据生成、最小修改和裁判都用 Qwen 家族，报告承认可能有家族内盲点。权重和推理配置公开，不等于训练语料可再分发。Step-3.5-Flash-SFT 的元数据同时提到 Apache-2.0 和 CC-BY-NC-2.0，报告只把它们记成来源属性，不合成一份数据集许可。

出处：阿里，Liang Ding 等，IndustryLLM: Failure-Driven LLM Training for Industrial Procurement，2026-09-25，https://arxiv.org/abs/2609.31871