本周我给大家精选 10篇大模型领域前沿论文，覆盖大模型机制与训练优化方向、跨域应用与推荐系统方向，编程与教育技术方向、人机协作与场景模拟等方向。全部近200多篇论文皆可扫码免费领取。

➔➔➔➔点击查看原文，获取论文合集https://mp.weixin.qq.com/s/DS2SYBr4mEqq1VnI8alJpA

大模型词云图

一、模型机制与训练优化方向

1、LLMs Process Lists With General Filter Heads

作者：Arnab Sen Sharma, Giordano Rogers, Natalie Shapira, David Bau

亮点：发现LLMs中存在“过滤头”（filter heads），能编码通用过滤操作的紧凑因果表示，其谓词表示具备跨格式、跨语言、跨任务的通用性和可移植性；同时识别出模型的“即时评估”过滤策略，揭示了LLMs对抽象计算操作的类函数式编程实现逻辑。

A filter head in Llama-70B encodes a compact representation of the predicate “is this fruit?”

论文：https://arxiv.org/abs/2510.26784

开源代码：https://filter.baulab.info/

2、Value Drifts: Tracing Value Alignment During LLM Post-Training

作者：Mehar Bhatia, Shravan Nayak, Gaurav Kamath, Marius Mosbach, Karolina Stańczak, Vered Shwartz, Siva Reddy

亮点：首次系统探究LLM后训练过程中的价值对齐动态变化，明确SFT阶段是模型价值确立的关键，后续偏好优化难以重新调整价值；发现相同偏好数据下，不同偏好优化算法会导致不同价值对齐结果，为数据筛选和算法选择提供实操指导。

Post-training can cause value drift

论文：https://arxiv.org/abs/2510.26707

3、BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning

作者：Qianli Shen, Daoyuan Chen, Yilun Huang, Zhenqing Ling, Yaliang Li, Bolin Ding, Jingren Zhou

亮点：提出贝叶斯在线任务选择框架BOTS，融合直接评估的显式证据与推理得出的隐式证据，通过汤普森采样平衡探索与利用；采用超轻量插值插件估算未评估任务难度，无额外推理开销，显著提升RFT的数据效率和模型性能。

Overview of the BOTS framework

论文：https://arxiv.org/abs/2510.26374

4、From Amateur to Master: Infusing Knowledge into LLMs via Automated Curriculum Learning

作者：Nishit Neema, Srinjoy Mukherjee, Sapan Shah, Gokul Ramakrishnan, Ganesh Venkatesh

亮点：提出ACER框架，通过生成教科书式课程和Bloom分类法引导的QA对，实现系统化、递进式知识注入；在不产生灾难性遗忘的前提下，使模型在专业领域MMLU子集准确率提升3-5个百分点，同时促进跨域知识迁移。

ACER - pipeline for synthesis book corpus generation

论文：https://arxiv.org/abs/2510.26336

---

二、跨域应用与推荐系统方向

1、WeaveRec: An LLM-Based Cross-Domain Sequential Recommendation Framework with Model Merging

作者：Min Hou, Xin Liu, Le Wu, Chenyi He, Hao Liu, Zhi Li, Xin Li, Si Wei

亮点：突破传统CDSR对重叠用户/物品的依赖，采用LoRA模块交叉训练+模型融合的编织式学习方案；支持多源域场景，无额外推理 latency 和内存开销，理论上可降低目标域误差上界，在真实推荐任务中持续优于基线模型。

Illustration of our proposed WeaveRec Framework

论文：https://arxiv.org/abs/2510.26546

2、LINK-KG: LLM-Driven Coreference-Resolved Knowledge Graphs for Human Smuggling Networks

作者：Dipak Meher, Carlotta Domeniconi, Guadalupe Correa-Cabrera

亮点：提出模块化LINK-KG框架，通过LLM引导的三阶段共指消解和类型特异性Prompt Cache，解决长文本中实体引用歧义问题；使知识图谱节点重复率降低45.21%，噪声节点减少32.22%，为复杂犯罪网络分析提供高质量结构化数据支撑。

论文：https://arxiv.org/abs/2510.26486

Overview of the LINK-KG framework

Comments：Accepted in ICKG 2025 Conference, 8 Pages, 2 Figures

---

三、编程与教育技术方向

1、Stitch: Step-by-step LLM Guided Tutoring for Scratch

作者：Yuan Si, Kyle Qi, Daming Li, Hanyuan Shi, Jialu Zhang

亮点：针对Scratch编程教育中的语义bug问题，设计分步引导式辅导系统，通过Diff-Analyze模块识别代码关键差异并解释原理；替代直接展示正确答案的传统模式，实证表明其学习效果显著优于现有自动化反馈工具，促进问题解决能力培养。

Stitch pipeline

论文：https://arxiv.org/abs/2510.26634

2、Automated Extract Method Refactoring with Open-Source LLMs: A Comparative Study

作者：Sivajeet Chand, Melih Kilic, Roland Würsching, Sushant Kumar Pandey, Alexander Pretschner

亮点：首次对3B-8B参数开源LLM的代码提取重构（EMR）能力进行系统评估，提出RCI提示策略；最优模型Deepseek-Coder-RCI和Qwen2.5-Coder-RCI的测试通过率超0.8，显著降低代码行数和循环复杂度，开发者接受度超70%。

Workflow diagram

论文：https://arxiv.org/abs/2510.26480

Comments：Accepted at AIware'25 - Main Track

---

四、人机协作与场景模拟方向

1、Scaffolding Creativity: How Divergent and Convergent LLM Personas Shape Human Machine Creative Problem-Solving

作者：Alon Rosenbaum, Yigal David, Eran Kaufman, Gilad Ravid, Amit Ronen, Assaf Krebs 亮点：设计融合发散性与收敛性思维的LLM角色辅助框架，平衡创意探索与聚焦；发现个体特质可预测角色适配性，互动模式契合设计思维模型，为开发“支架式”创意协作工具提供核心设计原则。

Distribution of persona preference ratings (1-4 scale).

论文：https://arxiv.org/abs/2510.26490

2、Simulating and Experimenting with Social Media Mobilization Using LLM Agents

作者：Sadegh Shirani, Mohsen Bayati

亮点：构建融合真实人口统计数据、社交网络拓扑和异质LLM代理的模拟框架，复现经典社交动员实验的核心规律；支持反事实设计和敏感性分析，为政治动员研究提供兼具有效性和灵活性的计算建模工具。

Overview of the LLM Social-Political Mobilization (LLM-SocioPol) simulator

论文：https://arxiv.org/abs/2510.26494

开源代码：https://github.com/CausalMP/LLM-SocioPol

3、LLMs as In-Context Meta-Learners for Model and Hyperparameter Selection

作者：Youssef Attia El Hili, Albert Thomas, Malik Tiomoko, Abdelhakim Benechehab, Corentin Léger, Corinne Ancourt, Balázs Kégl

亮点：提出将LLM作为上下文元学习器，通过数据集元数据实现模型家族和超参数的零样本/元信息引导推荐；无需昂贵搜索过程，推荐结果具备竞争力，拓展了LLM在机器学习工程中的轻量化辅助应用场景。

Overview of the method.

论文：https://arxiv.org/abs/2510.26510

➔➔➔➔点击查看原文，获取论文合集https://mp.weixin.qq.com/s/DS2SYBr4mEqq1VnI8alJpA