论文标题： Automated Reformulation of Robust Optimization via Memory-Augmented Large Language Models

论文作者： Jinbiao Chen, Shuang Jin, Guoyun Zhang, Junyu Zhang, Guanyi Wang, Hanzhang Qin

论文链接： https://arxiv.org/abs/2605.11813

导读：鲁棒优化中的“硬骨头”与大模型的困境

鲁棒优化（Robust Optimization, RO）是处理不确定性决策的强大数学框架。在实际应用中，RO 通常遵循一个三阶段的流水线：建模（Formulation）、重构（Reformulation） 和 求解（Solving）。

近年来，大语言模型（LLMs）在逻辑推理和代码生成上展现出了极强的能力，极大地推进了“求解阶段”的自动化，并在“建模阶段”展现出巨大潜力。然而，重构阶段依然是一个严峻的瓶颈：将包含不确定性的原始模型转化为可使用标准求解器处理的“确定性对等模型（Robust Counterpart）”，需要基于凸分析和对偶理论进行极其严密的手工代数推导。这严重限制了 RO 在实际业务中的规模化应用。

图1：鲁棒优化的标准流程及本文重点关注的自动化重构阶段

为什么现有的增强方法行不通？

为了提升大模型的推理能力，现有的方法主要分为两派：

1. 参数微调（Parameter-tuning）：例如基于强化学习（RL）的后训练。这类方法面临严重的样本和计算效率低下问题，往往需要成千上万次昂贵的跑测（rollouts），且研究表明，RL 后训练更多是导致了“分布锐化（distribution sharpening）”，而非赋予大模型真正的新能力。
2. 微调机制（Tuning-free）：相比之下，记忆增强等免微调方法提供了一种高扩展性的范式，让模型能在运行时绕过高昂的参数更新，直接复用过去轨迹中的可解释知识。这本应非常契合代数推导模式高度重复的 RO 重构任务。

但是，现有的记忆增强框架在 RO 重构中却遭遇了局限。现有框架通常对构造记忆采用纯累加机制，且缺乏严格的质量验证。由于 RO 的推导必须 100% 在数学上精确，哪怕是一条存在瑕疵的经验记忆，也足以毁掉整个推理过程。在这种任务下，记忆的“质量”压倒性地重要于“数量”。

为了攻克这一难题，研究团队不仅开发了专门的基准测试 AutoRO-Bench，还提出了一种全新的免微调记忆增强框架——AutoREM，通过定制化的离线适应过程，让大模型自主构建高质量的文本经验记忆库！

背景：从名义模型到鲁棒对等模型（Robust Counterpart）

在运筹优化中，传统的线性规划（即名义模型，Nominal LP）通常假设参数是完全已知的：
$$\min c^{\top }x\text{s.t.}{\bar{a}}_i^{\top }x\le b_i.$$
然而在现实场景中，参数往往受不确定性（如成本波动、需求变化）影响。如果我们将含有不确定性的参数定义为：
$$a_i={\bar{a}}_i+{\zeta }_i$$
其中 ${\bar{a}}_i$ 为名义系数，${\zeta }_i$ 为扰动量，这就构成了一个鲁棒优化模型（Robust Model）。模型要求在最坏的扰动情况下，约束依然成立：
$$\min \underset{{\zeta }_i\in U_i}{\max }(c+{\zeta }_i{)}^{\top }x\text{s.t.}\underset{{\zeta }_i\in U_i}{\max }({\bar{a}}_i+{\zeta }_i{)}^{\top }x\le b_i.$$
为了让这个包含内层“最大化（max）”的复杂模型变得“可求解”（Tractable），我们必须利用对偶理论将内层的最大化问题消去，转化为等价的有限维线性约束。这一过程就是重构（Reformulation），最终得到的结果被称为确定性对等模型（Robust Counterpart）。

论文主要关注三种经典的不确定性集合（$U_i$）：盒式（Box）、预算（Budget） 和 多面体（Polyhedral）。每一种集合都有其严密的代数推导规则，最终转换的线性规划对等式如下表所示：

表1：三种经典的不确定性集合及其对应的线性规划鲁棒对等式

填补评估空白：首个 RO 重构基准 AutoRO-Bench

为了系统评估大模型的重构能力，团队开发了首个专属基准测试 AutoRO-Bench，包含两个不同的任务：

1. RO 重构任务（RO Reformulation Task）：直接输入 LaTeX 格式的鲁棒模型，测试核心底层数学推导能力。团队设计了一个全自动的数据生成管道，通过 RSOME 求解器获取真实的客观最优解作为严格的评估信号。
2. RO 应用任务（RO Application Task）：输入自然语言描述的业务问题，测试端到端求解能力。数据集包含 32 个精心设计的实例，采用与以往 LLM 建模研究相似的设定，由运筹学领域专家人工验证。

核心利器：AutoREM 框架与四大机制解密

AutoREM（Automated Reformulation with Experience Memory） 框架采用了一种量身定制的离线适应（Offline Adaptation）过程。它包含四大核心组件，以确保构建出极高质量的重构记忆：

1. 🔍 单元级经验（Unit-Level Experience, ULE）：精细化记忆管理。将经验粒度细化到“单个独立重构单元”（如单独的某一个不确定约束行），使得每条经验都可以被独立归因和灵活复用。
2. 🛠️ 结构化记忆算子（Structured Memory Operators, SMO）：反思模型（Reflector）拥有原子操作权限——添加（ADD）、更新（UPDATE）和删除（DELETE），实现精准、可解释的记忆编辑。
3. 🛡️ 双重检查提交（Dual-Check Commit, DCC）：Step 级别的质量把关。模型提议的记忆修改会被放入一个锁定的验证“微批次”中进行压力测试。全票通过才会正式提交，防止“修东墙补西墙”的性能倒退。
4. ✅ 基于验证集的验收（Validation-Based Acceptance, VBA）：Epoch 级别的全局护栏。每轮训练结束后测试全量验证集，若准确率未打破历史最高记录则自动回滚（Rollback），杜绝有害编辑随时间累积。

实验表现：全面超越，极致通用

实验证明，AutoREM 展现出了统治级的表现。

1. 分布内与分布外重构任务（RO Reformulation Task）

在分布内（Random）数据集上，AutoREM 达到了惊人的 97.4% 准确率，大幅领先专家提示词（92.7%）和当前最先进的记忆方法（如 ACE 仅 87.0%）。同时，提纯后的极简记忆让其生成的 Token 数量比最大化思考（Max Thinking）降低了 54%。

在极具挑战的分布外（Hard）困难数据集上，所有基线模型准确率大幅跳水，而 AutoREM 仅微降 2.6%，以 94.8% 的准确率拉开最好基线模型 11.5 个百分点！

2. 跨模型通用性（Cross-model Universality）

AutoREM 学习到的重构记忆极具普适性。研究人员将其直接输入给 GPT-5.4 和 Qwen3.6-Plus（无需重新适应），让两者的准确率分别提升了 6.3% 和 7.3%！

团队早期在旧版本模型 DeepSeek-V3.2（目前官方 API 已下线）进行的探索性实验显示，AutoREM 将该模型的准确率从 46.9% 惊人地提升至 96.9%，这表明了 AutoREM 对于较弱的基座模型能够带来巨大的能力提升。

表3：三种不同底层架构大模型的跨模型通用性对比结果

3. 端到端应用落地（RO Application Task）

在基于自然语言描述的鲁棒优化端到端求解任务中，AutoREM 取得了 81.3% 的惊人表现。这一成绩显著拉开了与 AlphaOPT、LEAN、OptiTree 等前沿大模型自动建模框架的差距，有力地证明了其在实际业务场景中的落地价值。

图3：端到端自然语言应用任务中基于大模型的基线对比

结语与展望

本文提出的 AutoRO-Bench 与 AutoREM 框架，展示了大模型在鲁棒优化自动重构方面的巨大潜力。AutoREM 在多种场景下实现了 SOTA 性能，更展现了卓越的跨模型通用性，有力证明了“高质量验证记忆”在严密推理任务中的核心价值。​

未来，研究团队将重点探索基于可行性检查等弱监督信号的自适应机制，以摆脱对求解器真值的依赖；同时，计划将重构能力从线性模型扩展至更复杂的非线性鲁棒优化领域。