PEFT（Performance Estimation and Modeling for Fine-Tuning）是一种用于微调任务的性能估计和建模方法。它的目的是帮助研究人员和从业者在微调过程中更好地理解和预测模型的性能，并进行更有效的模型选择和调优。PEFT的主要思想是通过预测模型在微调任务上的性能，提供对不同模型和参数设置的性能估计。这样可以避免在大规模数据集上进行昂贵的微调实验，从而节省时

《Attention Is All You Need》是Google在2017年提出的一篇将Attention思想发挥到极致的论文。该论文提出的Transformer模型，基于encoder-decoder架构，抛弃了传统的RNN、CNN模型，仅由Attention机制实现，并且由于encoder端是并行计算的，训练时间大大缩短。Transformer模型广泛应用于NLP领域，机器翻译、文本摘要、

一 人类的视觉注意力扩展阅读：Attention and Augmented Recurrent Neural Networks【译文】不用看数学公式！图解谷歌神经机器翻译核心部分：注意力机制Attn: Illustrated AttentionDeep Reading | 从0到1再读注意力机制，此文必收藏！从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，...

一、概述：传统的线性模型难以解决多变量或多输入问题，而神经网络如LSTM则擅长于处理多个变量的问题，该特性使其有助于解决时间序列预测问题。本文将初步探究LSTM 在股票市场的应用。通过使用LSTM对股票收益的预测，可以了解到：（1）如何将原始数据集转换为可用于时间序列预测的数据。（2）如何准备数据并使LSTM适合多变量时间序列预测问题。（3）如何进行预测并将结果重新调整回原始数据。import n

交叉验证（Cross Validation）是常用的一种用来评估模型效果的方法。当样本分布发生变化时，交叉验证无法准确评估模型在测试集上的效果，这导致模型在测试集上的效果远低于训练集。通过本文，你将通过一个kaggle的比赛实例了解到，样本分布变化如何影响建模，如何通过对抗验证辨别样本的分布变化，以及有哪些应对方法。本篇文章完整代码: https://github.com/Qiuyan918/Ad

一 知识蒸馏(Knowledge Distillation)介绍名词解释teacher - 原始模型或模型ensemblestudent - 新模型transfer set - 用来迁移teacher知识、训练student的数据集合soft target - teacher输出的预测结果（一般是softmax之后的概率）hard target - 样本原本的标签temperature - 蒸馏目

在当前的 NLP 领域，Transformer / BERT 已然成为基础应用，而 Self-Attention 则是两者的核心部分，下面尝试用 Q&A 和源码的形式深入 Self-Attention 的细节。一 Q&A1. Self-Attention 的核心是什么？Self-Attention 的核心是用文本中的其它词来增强目标词的语义表示，从而更好的利用上下文的信息。2. S

首先了解一下正则性（regularity），正则性衡量了函数光滑的程度，正则性越高，函数越光滑。（光滑衡量了函数的可导性，如果一个函数是光滑函数，则该函数无穷可导，即任意n阶可导）。 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。...

在单节点情况下，DeepSpeed的配置更多地集中在指定的节点内，因此不需要显式指定hostfile，而可以通过命令行参数更灵活地控制使用的GPU资源。DeepSpeed模型训练的核心在于DeepSpeed引擎，它能够包装任意类型为torch.nn.module的模型，并提供了一组最小的API用于训练和模型检查点。在这些设置步骤中，DeepSpeed的启动脚本提供了多种命令行选项，使用户能够根据需

前言在图中，如果能把节点表示成合适的数值，能做很多任务，例如节点分类，关系预测，聚类等等。如何把节点表示成计算机能看懂的数值目前也有很多方法，本文主要为大家介绍基于Random Walk的节点表示方法。...