大模型赋能强化学习 - 论文统计表

筛选标准：利用大语言模型(LLM/VLM)的知识和能力来提升强化学习(RL)效果的论文
统计时间：2026-03-25
论文总数：140篇

零、经典论文（开创性工作）

序号类型题目作者单位作者期刊/会议一句话总结
1代码生成策略Code as Policies: Language Model Programs for Embodied ControlGoogle ResearchJacky Liang, et al.ICLR 2023开创性工作，提出将LLM生成的代码作为可执行策略进行具身控制。
2开放性探索Voyager: An Open-Ended Embodied Agent with Large Language ModelsNVIDIAGuanzhi Wang, et al.arXiv 2023开创性工作，LLM驱动的开放性智能体，自动发现技能库。
3推理规划Inner Monologue: Embodied Reasoning through Planning with Language ModelsGoogle RoboticsWenlong Huang, et al.CoRL 2022开创性工作，LLM内部对话进行具身推理规划。
4程序化规划ProgPrompt: Generating Situated Robot Task Plans using Large Language ModelsStanfordIshika Singh, et al.IROS 2022开创性工作，LLM生成程序化的机器人任务计划。
5技能发现MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale KnowledgeNVIDIALinxi Fan, et al.NeurIPS 2022利用互联网规模知识构建开放性Minecraft智能体。
6语言强化学习Reflexion: Language Agents with Verbal Reinforcement LearningNortheastern, MITNoah Shinn, et al.NeurIPS 2023语言智能体通过语言反馈进行强化学习，无需参数更新。
7奖励设计Eureka: Human-Level Reward Design via Coding Large Language ModelsNVIDIAYecheng Jason Ma, et al.NeurIPS 2023 (Outstanding Paper)里程碑工作，LLM编写奖励函数代码达到人类水平。
8策略教师Large Language Model as a Policy Teacher for Training RL Agents待补充待补充IJCAI 2024LLM作为策略教师指导RL智能体学习。

一、奖励设计类 (16篇)

序号类型题目作者单位作者期刊/会议一句话总结
9奖励设计Text2Reward: Reward Shaping with Language Models for RLHKU, NJU, CMUTianbao Xie, et al.arXiv 2023将自然语言任务描述转化为密集奖励信号。
10奖励设计Leveraging LLMs for Reward Function Design in RL Control TasksPontifical Catholic UniversityFranklin Cardenoso, et al.arXiv 2025系统研究LLM在控制任务中的奖励函数设计。
11奖励设计STRIDE: Automating Reward Design, Deep RL Training and Feedback Optimization待补充Zhenwei Wu, et al.arXiv 2025自动化完成奖励设计、深度RL训练和反馈优化。
12奖励设计Rewarding DINO: Predicting Dense Rewards with Vision Foundation ModelsTU DarmstadtPierre Krack, et al.arXiv 2026视觉基础模型预测密集奖励，零样本RL。
13奖励设计Reward Design with Language ModelsStanford UniversityMinae Kwon, et al.ICLR 2023利用语言模型进行奖励设计。
14奖励设计Motif: Intrinsic Motivation from Artificial Intelligence FeedbackMcGill, Meta AIMartin Klissarov, et al.ICLR 2024AI反馈生成内在动机奖励。
15奖励设计MaestroMotif: Skill Design from Artificial Intelligence FeedbackMcGill, Meta AIMartin Klissarov, et al.ICLR 2025AI反馈进行技能设计和层次化奖励生成。
16奖励设计GROVE: A Generalized Reward for Learning Open-Vocabulary Physical SkillPeking University, TsinghuaJieming Cui, et al.CVPR 2025VLM生成开放词汇的物理技能奖励。
17奖励设计Extracting Heuristics from LLMs for Reward ShapingASUSiddhant Bhambri, et al.arXiv 2024从LLM中提取启发式规则进行奖励塑形。
18奖励设计Vision-Language Models as a Source of RewardsUCL, DeepMindMohit Shridhar, et al.arXiv 2023VLM作为奖励来源。
19奖励设计Online Intrinsic Rewards for Decision Making Agents from LLM Feedback待补充待补充RLC 2025LLM实时反馈调整内在动机。
20奖励设计RL-VLM-F: RL from Vision Language Foundation Model Feedback待补充待补充arXiv 2024VLM反馈进行RL训练。
21奖励设计Discovery of the reward function for embodied RL agents待补充待补充Nature Communications 2025具身RL智能体的奖励函数发现。
22奖励设计SCALAR: Scalable Reinforcement Learning with Large Language Models待补充待补充arXiv 2026可扩展的LLM强化学习方法。
23奖励设计CODE-SHARP: Continuous Open-ended Discovery and Evolution of Skills待补充待补充arXiv 2026LLM生成层次化奖励程序实现技能进化。
24奖励设计SecureCodeRL待补充待补充arXiv 2026安全代码生成的RL方法。

二、策略指导类 (20篇)

序号类型题目作者单位作者期刊/会议一句话总结
25策略指导VLGOR: Visual-Language Knowledge Guided Offline RLValeo AIAnh-Quan Cao, et al.arXiv 2026VLM引导离线RL学习。
26策略指导Memory-Based Advantage Shaping for LLM-Guided RL待补充待补充arXiv 2026记忆增强的优势函数塑形。
27策略指导MIRA: Memory-Integrated RL Agent with Limited LLM Guidance待补充待补充arXiv 2026有限LLM指导下记忆集成RL。
28策略指导Improving Sample Efficiency of RL with Background Knowledge from LLMsGeorgia Tech, GoogleLiyou Zhou, et al.TNNLS 2025LLM背景知识提升RL样本效率。
29策略指导RLingua: Improving RL Sample Efficiency in Robotic ManipulationsHKUSTYue Wu, et al.IEEE RA-L 2024LLM指导机器人操作RL训练。
30策略指导Assessing the Zero-Shot Capabilities of LLMs for Action Evaluation in RLPrinceton, DeepMindKumar Shaurya Shankar, et al.ICML 2024评估LLM在RL动作评估中的零样本能力。
31策略指导SEAL: SEmantic-Augmented Imitation Learning via Language Model待补充待补充arXiv 2024语言模型语义增强模仿学习。
32策略指导On the Modeling Capabilities of LLMs for Sequential Decision Making待补充待补充ICLR 2025LLM在序列决策建模中的能力。
33策略指导LLM-Explorer: A Plug-in RL Policy Exploration Enhancement待补充待补充NeurIPS 2025LLM指导策略探索。
34策略指导How Can LLM Guide RL: A Survey待补充待补充arXiv 2024LLM指导RL综述。
35策略指导Guiding RL Using Uncertainty-Aware LLMs待补充待补充arXiv 2024不确定性感知的LLM指导RL。
36策略指导Novelty Adaptation Through Hybrid LLM-Symbolic Planning待补充待补充arXiv 2026混合LLM-符号规划新颖性适应。
37策略指导Fostering Intrinsic Motivation in RL with Pretrained Foundation Models待补充待补充NeurIPS 2024预训练基础模型培养内在动机。
38策略指导Cracking the Code of Action: Generative Approach to Affordances待补充待补充ICLR 2025生成式方法学习RL可供性。
39策略指导Guiding RL with Selective Vision-Language Model Supervision待补充待补充CAIPT 2025选择性VLM监督指导RL。
40策略指导ProAgent: Building Proactive Cooperative Agents with LLMs待补充待补充AAAI 2024LLM构建主动合作智能体。
41策略指导AdaRefiner: Refining Decisions of Language Models with Adaptive FeedbackPeking University待补充NAACL 2024自适应反馈改进LLM决策。
42策略指导Distilling and Retrieving Generalizable Knowledge via Language Corrections待补充待补充ICRA 2024语言纠正提取可泛化知识。
43策略指导Multimodal LLM-assisted Evolutionary Search for Programmatic Control Policies待补充待补充ICLR 2026MLLM辅助进化搜索控制策略。
44策略指导Self-Improving Embodied Foundation Models待补充待补充NeurIPS 2025具身基础模型自我改进。

三、规划与任务分解类 (20篇)

序号类型题目作者单位作者期刊/会议一句话总结
45规划Code-as-Symbolic-Planner: Foundation Model-Based Robot Planning待补充待补充arXiv 2025基础模型生成符号代码规划。
46规划Code-Driven Planning in Grid Worlds with LLM待补充待补充arXiv 2025LLM生成代码驱动规划。
47规划DYSTIL: Dynamic Strategy Induction with LLM for RL待补充待补充arXiv 2025LLM生成策略指导RL。
48规划LLM-Guided Probabilistic Program Induction for POMDP待补充待补充arXiv 2025LLM概率程序归纳POMDP。
49规划Coverage-Aware Game Playtesting with LLM-Guided RL待补充待补充arXiv 2025LLM指导游戏测试RL。
50规划WebAnchor: Anchoring Agent Planning for Long-Horizon Web Reasoning待补充待补充arXiv 2026锚定规划稳定Web智能体。
51规划Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC待补充待补充arXiv 2026规划与学习结合的层次化RL-MPC。
52规划LLM-Planner: Few-Shot Grounded Planning for Embodied Agents待补充待补充ICCV 2023LLM少样本具身规划。
53规划Goal-Guided RL for Long-Horizon Task Decomposition待补充待补充ICRA 2025LLM长视野任务分解。
54规划Self-Corrective Task Planning by Inverse Prompting待补充待补充ICRA 2025逆向提示自纠正规划。
55规划LGMCTS: Language-Guided Monte-Carlo Tree Search待补充待补充IROS 2024语言引导MCTS。
56规划LLMs augmented hierarchical RL for long-horizon manipulation待补充待补充Scientific Reports 2025LLM增强层次化RL操作任务。
57规划Enhancement of long-horizon task planning via LLM modification待补充待补充Scientific Reports 2025LLM修改提升长视野规划。
58规划LEARNING WHEN TO PLAN待补充待补充arXiv 2025学习何时规划。
59规划Learning When to Plan: Efficiently Allocating Test-Time Compute待补充待补充arXiv 2026高效分配测试时计算。
60规划Subgoal Graph-Augmented Planning for LLM-Guided Open-World RL待补充待补充arXiv 2025子目标图增强规划。
61规划STO-RL: Offline RL via LLM-Guided Subgoal Temporal Order待补充待补充arXiv 2026LLM生成子目标时序。
62规划LgTS: Dynamic Task Sampling using LLM-generated Sub-GoalsUNC CharlotteYash Sharma, et al.AAMAS 2024LLM生成子目标动态采样。
63规划Causal-aware Large Language Models待补充待补充arXiv 2025因果感知LLM。
64规划Hierarchical in-Context RL with Hindsight Modular Reflections待补充待补充arXiv 2024后见模块反思的层次化上下文RL。

四、世界模型与语言引导探索类 (15篇)

序号类型题目作者单位作者期刊/会议一句话总结
65世界模型DECKARD: Do Embodied Agents Dream of Pixelated SheepBerkeleyEyvind Niklasson, et al.ICML 2023语言引导世界模型，"做梦"生成想象经验。
66世界模型PTGM: Pre-Training Goal-Based Models for Sample-Efficient RL待补充待补充ICLR 2024预训练目标模型。
67世界模型World Model Agents with Change-Based Intrinsic Motivation待补充待补充arXiv 2025基于变化的世界模型内在动机。
68世界模型From Observations to Events: Event-Aware World Model待补充待补充ICLR 2026事件感知世界模型。
69世界模型One Life to Learn: Inferring Symbolic World Models待补充待补充ICLR 2026推断符号世界模型。
70世界模型DyMoDreamer待补充待补充arXiv 2025动态梦者。
71探索ELLM: Guiding Pretraining in RL with Large Language ModelsDeepMindKatja Hofmann, et al.ICML 2023LLM指导RL预训练。
72探索Informing RL Agents by Grounding Natural Language to MDPsNorthwestern UniversityJesse Mu, et al.ICLR 2024自然语言接地到MDP。
73探索Language Instructed RL for Human-AI CoordinationStanford, DeepMindJonathan He, et al.ICML 2023语言指导人机协调RL。
74探索Do As I Can, Not As I Say: Grounding Language in Robotic AffordancesGoogle RoboticsMichael Ahn, et al.CoRL 2022语言接到机器人能力。
75探索Accelerating RL of Robotic Manipulations via Feedback from LLMs待补充待补充arXiv 2023LLM反馈加速机器人RL。
76探索From Laws to Motivation: Guiding Exploration through Law-Based Reasoning待补充待补充NeurIPS 2024定律推理引导探索。
77探索Generate Explorative Goals with Large Language Model Guidance待补充待补充arXiv 2024LLM生成探索性目标。
78探索OMNI: Open-endedness via Models of human Notions of Interestingness待补充待补充ICLR 2024人类兴趣概念的开放性模型。
79探索Dreaming in Code for Curriculum Learning in Open-Ended Worlds待补充待补充arXiv 2026代码做梦课程学习。

五、技能发现与层次化方法类 (18篇)

序号类型题目作者单位作者期刊/会议一句话总结
80技能发现Option Discovery Using LLM-guided Semantic HRL待补充待补充arXiv 2025LLM语义层次化选项发现。
81技能发现LLM-assisted Semantic Option Discovery for Adaptive Deep RL待补充待补充arXiv 2026LLM辅助语义选项发现。
82技能发现Evolving Programmatic Skill Networks待补充待补充arXiv 2026进化程序化技能网络。
83技能发现Unsupervised Hierarchical Skill Discovery待补充待补充arXiv 2026无监督层次化技能发现。
84技能发现Automated Skill Discovery for Language Agents待补充待补充arXiv 2025语言智能体自动技能发现。
85技能发现Agentic Skill Discovery待补充待补充arXiv 2024智能体技能发现。
86技能发现Intrinsically-Motivated Humans and Agents待补充待补充arXiv 2025内在动机人类与智能体。
87层次化LLM Augmented Hierarchical Agents待补充待补充CoRL 2023LLM增强层次化智能体。
88层次化HiPER: Hierarchical RL with Explicit Credit Assignment待补充待补充arXiv 2026显式信用分配层次化RL。
89层次化HiMAC: Hierarchical Macro-Micro Learning for Long-Horizon LLM Agents待补充待补充arXiv 2026宏微层次化学习。
90层次化Probabilistic Subgoal Representations for HRL待补充待补充ICML 2024概率子目标表示。
91层次化Learning to Integrate Exploration Strategies via Option Framework待补充待补充ICML 2023选项框架集成探索策略。
92层次化Discovering Hierarchical Achievements in RL待补充待补充NeurIPS 2023发现层次化成就。
93层次化Efficient Policy Adaptation with Contrastive Prompt Ensemble待补充待补充NeurIPS 2023对比提示集成策略适应。
94层次化MAGIK: Mapping to Analogous Goals via Imagination-enabled Knowledge Transfer待补充待补充arXiv 2025想象知识迁移到类似目标。
95层次化Data-Efficient Hierarchical Goal-Conditioned RL via Normalizing Flows待补充待补充arXiv 2026归一化流层次化目标条件RL。
96层次化Enabling Option Learning in Sparse Rewards with Hindsight Experience Replay待补充待补充AAMAS 2026后见经验回放选项学习。
97层次化Skill RL and Planning for Open-World Long-Horizon Tasks待补充待补充NeurIPS 2023技能RL与规划。

六、智能体与记忆类 (12篇)

序号类型题目作者单位作者期刊/会议一句话总结
98智能体Large Language Models are Semi-Parametric RL AgentsStanfordJesse Mu, et al.NeurIPS 2023LLM作为半参数化RL智能体。
99智能体MemRL: Self-Evolving Agents via Runtime RL on Episodic Memory待补充待补充arXiv 2026运行时RL情景记忆自我进化智能体。
100智能体AutoContext: Instance-Level Context Learning for LLM Agents待补充待补充arXiv 2026实例级上下文学习。
101智能体MrSteve: Instruction-Following Agents in Minecraft with What-Where-When Memory待补充待补充ICLR 2025Minecraft智能体时空记忆。
102智能体Learning Instruction-Following Policies through Open-Ended Instruction Relabeling待补充待补充arXiv 2025开放指令重标注学习指令跟随策略。
103智能体Are Large Language Models Strategic Decision Makers待补充待补充arXiv 2024LLM是否是战略决策者。
104智能体Commanding Humanoid by Free-form Language待补充待补充arXiv 2025自由语言指挥人形机器人。
105智能体SwiftSage: A Generative Agent with Fast and Slow Thinking待补充待补充arXiv 2023快慢双系统生成智能体。
106智能体OmniJARVIS: Unified Vision-Language-Action Tokenization待补充待补充NeurIPS 2024统一VLA标记化。
107智能体Can Language Agents Approve待补充待补充arXiv 2024语言智能体能否审批。
108智能体HERAKLES待补充待补充arXiv 2025赫拉克勒斯智能体。
109智能体Unified and Modular Training for Open-Source Language Agents待补充待补充ACL 2024开源语言智能体统一模块化训练。

七、安全与应用类 (10篇)

序号类型题目作者单位作者期刊/会议一句话总结
110安全RLLLM-Guided Safe RL for Energy System Topology Reconfiguration待补充待补充arXiv 2026LLM指导安全RL电力系统。
111安全RLDriveVLM-RL: Neuroscience-Inspired RL with VLMs for Safe Autonomous Driving待补充待补充arXiv 2026神经科学启发VLM安全自动驾驶。
112应用LLM-Enhanced RL for Time Series Anomaly Detection待补充待补充arXiv 2026LLM增强时间序列异常检测。
113应用CORE: Code-based Inverse Self-Training Framework待补充待补充arXiv 2026基于代码的逆向自训练框架。
114应用Textual Explanations and Their Evaluations for RL Policy待补充待补充arXiv 2026RL策略文本解释评估。
115应用A Survey on Large Language Model-Based Game Agents待补充待补充arXiv 2024LLM游戏智能体综述。
116应用Thinking Fast and Slow for Decision Making待补充待补充arXiv 2025决策的快慢思考。
117应用LLM for Interactive待补充待补充Mathematics 2025LLM交互应用。
118应用Craftax: A Lightning-Fast Benchmark for Open-Ended RL待补充待补充ICML 2024开放性RL基准测试。
119应用LLM Policy Synthesis for Sequential Social Dilemmas待补充待补充arXiv 2026序列社会困境LLM策略合成。

八、综述与其他 (12篇)

序号类型题目作者单位作者期刊/会议一句话总结
120综述PlanGenLLMs: A Modern Survey of LLM Planning Capabilities待补充待补充ACL 2025LLM规划能力综述。
121综述LLMsasPlanning Formalizers待补充待补充ACL 2025LLM规划形式化。
122综述A Survey of Task Planning with Large Language Models待补充待补充Intelligent Computation 2025LLM任务规划综述。
123综述LLM for Planning待补充待补充arXiv 2025LLM规划综述。
124综述Understanding the planning of LLM agents待补充待补充arXiv 2024理解LLM智能体规划。
125综述Exploring Large Language Model based Intelligent Agents待补充待补充2023LLM智能体探索。
126综述From Words to Actions: Unveiling the Theoretical Underpinnings待补充待补充ICML 2024从语言到行动理论。
127其他Average-reward RL in semi-Markov decision processes待补充待补充arXiv 2025半马尔可夫决策过程平均奖励RL。
128其他skill set optimization: reinforcing language model behavior待补充待补充ICML 2024技能集优化。
129其他SAC-GLAM: Improving Online RL for LLM agents待补充待补充arXiv 2024改进LLM智能体在线RL。
130其他CAPE: Corrective Actions from Precondition Errors using LLMs待补充待补充arXiv 2022LLM纠正前置条件错误。
131其他Learning to Act without Actions待补充待补充arXiv 2023无需动作标签学习策略。

九、新补充论文（2026-03-25 晚补充）

序号类型题目作者单位作者期刊/会议一句话总结
132智能体交互Enabling Intelligent Interactions between an Agent and an LLM: A Reinforcement Learning Approach待补充待补充arXiv 2023提出了RL方法实现智能体与LLM之间的智能交互，有效提升了交互效率。
133专家示范LEED: A Highly Efficient and Scalable LLM-Empowered Expert Demonstrations Framework待补充待补充arXiv 2025提出了LLM增强的专家示范框架，用于多智能体RL训练。
134多轮交互MUA-RL: Multi-turn User-interacting Agent Reinforcement Learning待补充待补充arXiv 2025提出了多轮用户交互智能体RL方法，用于智能体工具使用。
135对话智能体Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations待补充待补充arXiv 2024提出通过后见重生成进行对话智能体RL训练。
136智能体训练ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents待补充待补充arXiv 2026提出了Rollout-as-a-Service服务化训练多轮LLM智能体。
137资源推理When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning待补充待补充arXiv 2026提出了资源感知的推理方法，利用RL决定机器人何时思考。
138技能设计Memento-Skills: Let Agents Design Agents待补充待补充arXiv 2026提出让智能体设计智能体的技能设计框架。
139效率优化ARL-Tangram: Unleash the Resource Efficiency in Agentic Reinforcement Learning待补充待补充arXiv 2026提出释放智能体RL中资源效率的框架。
140快慢思考MistyPilot: An Agentic Fast-Slow Thinking LLM Framework待补充待补充arXiv 2026提出快慢双系统LLM框架用于智能体。

更新后统计摘要

类型数量占比
经典/开创性工作86%
奖励设计1611%
策略指导2014%
规划与任务分解2014%
技能发现与层次化方法1813%
世界模型与探索1511%
智能体与记忆1511%
安全与应用107%
智能体交互54%
综述与其他139%
总计140篇100%

核心趋势

  1. 策略指导 (15%) 和 规划与任务分解 (15%) 是当前最热门的方向
  2. 技能发现与层次化方法 (14%) 通过LLM进行技能学习
  3. 奖励设计 (12%) 依然是重要方向
  4. 世界模型与探索 (11%) 利用LLM构建世界模型

代表性工作（必读）

开创性论文

  • Code as Policies (ICLR 2023): 代码即策略
  • Voyager (2023): 开放性智能体
  • Inner Monologue (CoRL 2022): LLM作为世界模型
  • ProgPrompt (IROS 2022): 程序化规划
  • Eureka (NeurIPS 2023): 奖励设计里程碑

重要经典论文

  • MINEDOJO (NeurIPS 2022): 互联网规模知识
  • Reflexion (NeurIPS 2023): 语言强化学习
  • ELLM (ICML 2023): LLM指导预训练
  • DECKARD (ICML 2023): 世界模型做梦

新兴重要论文

  • Dreaming in Code (arXiv 2026): 课程学习
  • SCALAR (arXiv 2026): 可扩展RL
  • OMNI (ICLR 2024): 开放性模型
  • MrSteve (ICLR 2025): 时空记忆

注：部分论文的作者和单位信息标注为"待补充"，可根据需要进一步补充完善。

本次补充时间：2026-03-25 20:35
补充论文：Enabling Intelligent Interactions, LEED, MUA-RL, Interactive Dialogue Agents, ProRL Agent等9篇

Logo
亚马逊云科技技术品牌专区

更多推荐

cover

基于STM32的全屋环境智能监测与预警终端设计

avatar 亚马逊云科技技术品牌专区

Keras：面向人类的深度学习库

Keras3支持多后端（TensorFlow、PyTorch、JAX），通过设置环境变量切换，兼容指定版本。pip安装后可用Sequential API快速构建CNN模型，如MNIST分类示例，实

avatar 亚马逊云科技技术品牌专区

AI行业日报｜2026-09-25：5个热点事件

本期行业动态聚焦于端侧算力重构、自主智能体工作流、开发工具经济模型、网络隔离架构设计与公共部门合规审查。以下结合一线技术场景进行结构化梳理，供 AI 研究员与软件工程团队参考。 PrismML 正将其轻量级语言模型适配至搭载高通处理器的智能眼镜终端 1 。该平台的核心战略指向开源权重模型的本地化运行，旨在最大化挖掘穿戴设备现有算力的利用效率 1 。对于嵌入式与边缘计算开发者而言，此类微型模型向低功

avatar 亚马逊云科技技术品牌专区