本文约3200字，建议阅读6分钟ReFT特别是LoReFT的成功，对自然语言处理的未来和大型语言模型的实际应用具有重要意义。ReFT(Representation Finetuning)是一种突破性的方法，有望重新定义我们对大型语言模型进行微调的方式。这是由斯坦福大学的研究人员刚刚（4月）发布在arxiv上的论文，ReFT与传统的基于权重的微调方法大有不同，它提供了一种更高效和有效的方法来适应这些

来源：机器之心‍‍‍‍‍‍‍‍‍‍‍‍本文约14000字，建议阅读25分钟本文将从一个 cuda 初学者的角度来阐述如何优化一个形状较大的正方形乘正方形的 FP32 矩阵乘。矩阵乘作为目前神经网络计算中占比最大的一个部分，其快慢会显著影响神经网络的训练与推断所消耗的时间。虽然现在市面上已经有非常多的矩阵乘的高效实现——如基于 cpu 的 mkl、基于 arm 设备的 ncnn 与 emll、基于.

本文约3200字，建议阅读6分钟ReFT特别是LoReFT的成功，对自然语言处理的未来和大型语言模型的实际应用具有重要意义。ReFT(Representation Finetuning)是一种突破性的方法，有望重新定义我们对大型语言模型进行微调的方式。这是由斯坦福大学的研究人员刚刚（4月）发布在arxiv上的论文，ReFT与传统的基于权重的微调方法大有不同，它提供了一种更高效和有效的方法来适应这些

来源：专知本文为论文介绍，建议阅读5分钟本文从数据选择的角度构建了一个特定于任务的自监督预训练框架，基于一个简单的假设，对与目标任务分布相似的未标记样本进行预训练，可以带来实质性的性能提升。最近，自监督预训练范式在利用大规模无标记数据来提高下游任务性能方面显示出了巨大的潜力。然而，在现实场景中增加无标记预训练数据的规模，需要惊人的计算成本，并面临着未经策划的样本的挑战。为解决这些问题，本文从数..

研究发现，尽管 MLP 的整体预测精度较低，但往往在某一部分样本上表现出色，这突显了其与教师模型之间存在一定的优势互补，强调了通过知识蒸馏向教师模型的学习互补知识的重要性。一个直觉的解决方案是知识蒸馏（Knowledge Distillation），通过将更大、更复杂的模型（教师模型）的知识迁移到较小、更简单的模型（学生模型），使其在提升性能的同时实现更高的计算效率。该方法通过蒸馏复杂模型的优势至

来源：量化研究方法本文约3000字，建议阅读5分钟。数学科学学院耿直老师为你介绍统计学中的因果推断问题。今天，小编带来了数学科学学院耿直老师关于统计学中因果推断问题的介绍。文中介绍了几种...

来源：圆圆的算法笔记本文约1000字，建议阅读5分钟本文提出了一种基于频域Transformer的时间序列预测模型，并通过改造attention计算逻辑提升频域特征多样性。今天给大家介绍的这篇文章是清华大学、北京大学联合发表的一篇时间序列预测工作，提出了一种基于频域Transformer的时间序列预测模型，并通过改造attention计算逻辑提升频域特征多样性。论文标题：FreEformer:..

来源：机器之心本文约1000字，建议阅读5分钟《统计学习导论》很经典，但用的是 R 语言，没关系，这里有份 Python 版习题实现。斯坦福经典教材《The Element of Sta...

来源：时序人本文约3000字，建议阅读5分钟本文介绍了一种通用的校准方法，用于检测和调整经过训练的模型中的 CDS。近年来，将深度学习模型引入时间序列预测领域取得了显著成功。从数据生成的角度来看，现有模型容易受到时间上下文（无论是否被观测到）驱动的分布偏移的影响。这种由上下文驱动的分布偏移（CDS）会在特定上下文中引入预测偏差，并对传统的训练范式构成挑战。来自浙江大学的研究团队提出了一种通用的..

本文约4500字，建议阅读5分钟本文介绍了牛津大学团队发布Medical SAM 2，刷新医学图像分割SOTA榜。‍牛津大学团队开发了名为 Medical SAM 2 (MedSAM-2) 的医学图像分割模型，基于 SAM 2 框架设计，将医学图像视作视频，不仅在 3D 医学图像分割任务上表现卓越，同时还解锁了一种新的单次提示分割的能力。2023 年 4 月，Meta 公司发布了 Segment