本周精选 12篇大模型领域前沿论文，覆盖大模型安全与可信性、大模型评估与基准测试、大模型行业应用与落地、大模型技术架构与系统优化等方向。全部200多篇论文皆可扫码免费领取。

➔➔➔➔点击查看原文，获取本期大模型周报合集https://mp.weixin.qq.com/s/AmghpfYjhpsDwlmfbuLdNQ

llm词云图

一、大模型安全与可信性方向

1、PIShield: Detecting Prompt Injection Attacks via Intrinsic LLM Features

作者：Wei Zou, Yupei Liu, Yanting Wang, Ying Chen, Neil Gong, Jinyuan Jia

亮点：提出一种高效且有效的提示注入攻击检测方法，核心在于利用LLM特定“注入关键层”提取的提示最终token内部表示，捕捉清洁与受污染提示的区分特征；基于该特征训练简单线性分类器，在5个基准数据集和8种攻击场景下，显著优于11种基线方法，且能抵抗强自适应攻击。

Overview of LLM-integrated applications

论文：（arxiv论文网址：https://arxiv.org/abs/2510.14005）

开源代码：https://github.com/weizou52/PIShield

Comments：The code is available at https://github.com/weizou52/PIShield

2、Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation

作者：Zhiqi Huang, Vivek Datla, Chenyang Zhu, Alfy Samuel, Daben Liu, Anoop Kumar, Ritesh Soni

亮点：针对高风险领域LLM可信度问题，提出基于FFN原始激活的不确定性估计方法，避免token logits和概率投影后的信息损失；将置信度预测建模为序列分类任务，结合Huber损失正则化提升鲁棒性，在金融客服场景中实现高准确性与低延迟的平衡。

Diagram of the proposed Retrieval Augmented Generation (RAG) with the confidence model.

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13750）

开源代码：无

Comments：UncertaiNLP at EMNLP 2025

3、ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups

作者：Peter Banyas, Shristi Sharma, Alistair Simmons, Atharva Vispute

亮点：提出独立基准ConsistencyAI，评估LLM对不同人群的事实一致性；通过19个LLM在15个主题、100种角色下的测试，采用句子嵌入余弦相似度计算得分，发现模型提供商和主题均影响一致性，Grok-3表现最优，就业市场主题一致性最低。

The basic pipeline of our benchmark

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13852）

开源代码：http://github.com/banyasp/consistencyAI

Comments：For associated code repository, see http://github.com/banyasp/consistencyAI For user-friendly web app, see http://v0-llm-comparison-webapp.vercel.app/

二、大模型评估与基准测试方向

1、Think Globally, Group Locally: Evaluating LLMs Using Multi-Lingual Word Grouping Games

作者：César Guerra-Solano, Zhuochun Li, Xiang Lorraine Li

亮点：提出抽象推理评估任务GlobalGroup，灵感源自《纽约时报》Connections游戏，覆盖5种语言及对应英语翻译版本；设计游戏难度度量指标，实现受控对比，发现英语模态下模型抽象推理表现更优，开源与闭源模型存在性能差距。

An example Spanish (ES) GLOBALGROUP game

论文：（arxiv论文网址：https://arxiv.org/abs/2510.14030）

Comments：EMNLP Main 2025

2、Attribution Quality in AI-Generated Content: Benchmarking Style Embeddings and LLM Judges

作者：Misam Abbas

亮点：在Human AI Parallel Corpus数据集上，基准测试风格嵌入和GPT-4o法官两种AI生成内容归因机制，覆盖6个领域；发现风格嵌入在GPT生成内容归因上准确率更高（82% vs 68%），LLM法官在小说和学术文本上更优，二者形成互补。

Task Formulation

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13898）

开源代码：无（提供GitHub代码和Hugging Face衍生数据）

Comments：Accepted for publication at the 2025 IEEE ICDM Workshop on "Grounding Documents with Reasoning, Agents, Retrieval, and Attribution". This is author submitted version. Not yet published

3、TextBandit: Evaluating Probabilistic Reasoning in LLMs Through Language-Only Decision Tasks

作者：Jimin Lim, Arjun Damerla, Arthur Jiang, Nam Le

亮点：提出纯语言反馈的多臂老虎机基准任务，LLM需仅通过语言提示推断潜在奖励结构并做序列决策；评估4个开源LLM，发现Qwen3-4B最佳臂选择率达89.2%，显著优于更大模型和传统决策算法，证实语言可催生出概率推理能力。

Comparison of cumulative regret trends for four LLMs.

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13878）

Comments：COLM 2025 @ ORIGen Workshop

三、大模型行业应用与落地方向

1、FinAI Data Assistant: LLM-based Financial Database Query Processing with the OpenAI Function Calling API

作者：Juhyeong Kim, Yejin Kim, Youngbin Lee, Hyunwoo Byun

亮点：提出金融数据库自然语言查询方案，结合LLM与OpenAI函数调用API，将用户请求路由到参数化查询库而非生成完整SQL；在价格和基本面数据实验中，相比文本到SQL基线，实现更低延迟、成本和更高可靠性。

Cost, time, and accuracy for database query processing

论文：（arxiv论文网址：https://arxiv.org/abs/2510.14162）

Comments：4 pages, 2 figures, accepted at CIKM 2025 FinAI Workshop

2、A Methodology for Assessing the Risk of Metric Failure in LLMs Within the Financial Domain

作者：William Flanagan, Mukunda Das, Rajitha Ramanayake, Swanuja Maslekar, Meghana Mangipudi, Joong Ho Choi, Shruti Nair, Shambhavi Bhusan, Sanjana Dulam, Mouni Pendharkar, Nidhi Singh, Vashisth Doshi, Sachi Shah Paresh

亮点：针对金融领域LLM性能评估痛点，指出传统指标难以泛化到生成式AI任务，现有基准缺乏工业适用性；提出风险评估框架，整合领域专家评估与机器学习指标，助力金融机构合理选择评估方案。

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13524）

Comments：NeurIPS 2025 GenAI in Finance Workshop

3、Beyond Static LLM Policies: Imitation-Enhanced Reinforcement Learning for Recommendation

作者：Yi Zhang, Lili Xie, Ruihong Qiu, Jiajun Liu, Sen Wang

亮点：提出模仿增强的离线强化学习推荐框架，通过逆强化学习从LLM生成轨迹中提取奖励模型，无需微调LLM即可转移其语义洞察；在两个基准数据集上，性能优于现有RL和上下文学习基线，且降低计算开销。

The left part illustrates the collection of demonstrations from the LLM policy

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13229）

开源代码：https://github.com/ArronDZhang/IL-Rec

Comments：ICDM 2025 Accepted Paper

四、大模型技术架构与系统优化方向

1、F-BFQ: Flexible Block Floating-Point Quantization Accelerator for LLMs

作者：Jude Haris, José Cano

亮点：提出灵活块浮点量化（F-BFQ）加速器，支持动态切换两种BFP量化变体并执行矩阵乘法，适配LLM层间混合量化需求；在AMD Kria板上部署，相比Arm NEON CPU执行，平均推理时间减少1.4倍，达5.2 tokens/秒。

Overview of our F-BFQ accelerator design for Q2_K and Q3_K MatMul operations

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13401）

开源代码：无

Comments：Accepted to Workshop on New Approaches for Addressing the Computing Requirements of LLMs and GNNs (LG-ARC) @ ISCA 2025

2、D-SMART: Enhancing LLM Dialogue Consistency via Dynamic Structured Memory And Reasoning Tree

作者：Xiang Lei, Qin Li, Min Zhang, Min Zhang

亮点：提出模型无关框架D-SMART，通过动态结构化内存（DSM）构建对话知识图谱，结合推理树（RT）实现多步推理；在MT-Bench-101基准上，使开源和闭源模型的对话一致性得分提升超48%，开源模型质量得分最高提升10.1%。

An overview of the D-SMART framework

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13363）

开源代码：无

Comments：8 pages, 6 figures (main content); 25 pages, 18 figures (total). MSC Class: 68T50; 68T30 ACM Class: I.2.7; I.2.4

3、LLM Agent Communication Protocol (LACP) Requires Urgent Standardization: A Telecom-Inspired Protocol is Necessary

作者：Xin Li, Mengbing Liu, Chau Yuen

亮点：提出LLM智能体通信协议（LACP）标准化需求，借鉴电信领域分层协议设计，构建三层架构以保障通信语义清晰、事务完整和内置安全；认为统一协议是解决多智能体生态碎片化、实现6G复杂实时应用的关键。

LLM Agent Communication: From Ad-Hoc Chaos to LACP Clarity.

论文：（arxiv论文网址：https://arxiv.org/abs/2510.13821）

开源代码：https://github.com/LiXin97/LACP

Comments：Accepted at NeurIPS 2025 AI4NextG Workshop

➔➔➔➔点击查看原文，获取本期大模型周报合集https://mp.weixin.qq.com/s/AmghpfYjhpsDwlmfbuLdNQ