logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Positional Overload: Positional Debiasing and Context Window Extension for LLM using Set Encoding

集合编码:让模型将一个集合(一组无序的元素)视为一个整体,其内部元素的排列顺序不会影响模型的输出。

文章图片
#人工智能#nlp
ANSWER, ASSEMBLE, ACE: UNDERSTANDING HOW LMS ANSWER MULTIPLE CHOICE QUESTION 2025ICLR

通过机械解释性(Mechanistic Interpretability)的方法,揭示模型如何在内部“克服”符号偏差并完成答案选择的。ANSWER, ASSEMBLE, ACE: UNDERSTANDING HOW LMS ANSWER MULTIPLE CHOICE QUESTION 2025ICLR

文章图片
#人工智能
LARGE LANGUAGE MODELS ARE NOT ROBUST ICLR2024

LLM推理MCQA时存在选择偏差问题(模型依赖选项"A/B/C/D"而非内容本身作答,模型爱选C)提出名为PriDe(Prior Debiasing)推理时使用无标签(不需要答案)的无监督去偏方法

文章图片
#人工智能#nlp
Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following 2025.findings

构建大量多约束指令,改变约束顺序并计算CDDI值,发现大模型在“难到易”顺序下表现最好,并通过注意力可视化解释了原因:**模型在难到易顺序下更关注约束内容**。

文章图片
#人工智能#nlp#自然语言处理
到底了