logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

论文分享➲ ICLR2025 Oral | Scaling and evaluating sparse autoencoders

这是一篇由 OpenAI 于 2024 年 6 月发表的研究论文,并已被 ICLR 2025 接收为 Oral 论文,获得了三个满分的高分(Scores:[10,10,10,8,3])。文章主要探索了如何将SAE扩展到更大规模的语言模型上进行训练,以便通过SAE来对语言模型内部特征进行可解释性分析。此外,作者还提出了一套更为先进的 SAE 评估指标,用于全面评估SAE质量。

文章图片
#机器学习#人工智能#论文阅读 +1
论文分享➲ Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning

本文认为任务数据集与大型语言模型之间的分布差距是主要的根本原因。为解决这一问题,引入了自蒸馏微调(SDFT)这一新颖的方法,该方法通过利用模型自身生成的经过蒸馏的数据集来引导微调,使其与原始分布相匹配,从而弥合分布差距。

文章图片
#语言模型#人工智能#自然语言处理
到底了