域泛化 (Domain Generalization, DG) 它研究的问题是从若干个具有不同数据分布的数据集（领域）中学习一个泛化能力强的模型，以便在 未知 (Unseen) 的测试集上取得较好的效果。DG算法的评估通常遵循leave-one- domain-out的规则：给定一个包含至少两个不同域的数据集，其中一个或多个域被用作模型训练的源域，而其余域被视为目标域；在TL中，新的下游任务的模型

attention_mask是一个布尔张量，用于指示哪些位置有实际的单词（对应于input_ids），哪些位置是填充的（用于使输入长度一致）。而较低的温度值则会使概率分布更加尖锐，模型更可能选择概率最高的token，导致生成的文本更加确定和可预测。这有助于增加生成文本的多样性和随机性。总之，这段代码的目的是从给定的model_path加载一个预训练的因果语言模型，并尝试优化CPU内存使用。mode

最近，基于端到端DETR取得了显著的性能。然而，DETR的高计算成本限制了它们的实际应用，并阻碍了它们充分利用无后处理（如非最大抑制（NMS））的优势。本文首先分析了NMS对现有实时目标检测器的准确性和速度的负面影响，并建立了一个端到端的速度基准。为了解决上述问题，我们提出了一种实时检测转换器（RT-DETR），这是我们所知的第一个实时端到端目标检测器。具体来说，，通过解耦尺度内交互和跨尺度融合来

高斯热图与坐标回归方法探讨

在实习期间，看到同事在做文字识别的相关项目，用Levenshtein距离作为评价模型好坏的标准之一。由于是行外人，当时对这个算法并没有任何了解，只听他介绍是用来判断两个字符是否相似的一种指标吧，直到后来自己也做NLP相关的项目，才好好钻研了一番，特此记录。一、Levenshtein距离一般的，我们在NLP中评价模型的时候，经常会使用计算得到的Levenshtein距离作为模型的评分（正确率...

提升方法（Boosting），是一种可以用来减小监督式学习中偏差的机器学习算法。它是通过训练多个弱分类器，最后加权组合成一个强分类器。弱分类器一般是指一个分类器它的分类结果仅仅比随机分类好一点点。Boosting系列算法最经典的包括AdaBoost算法和GBDT算法。 Boosting是一种递进的组合方式，每一个新的分类器都在前一个分类器的预测结果上改进，所以说boosting是减少bias而b.

Mac下tmux常用快捷键tmux 默认的快捷键是Ctrl B(下面用C代替），常见的操作：Cd#隐藏会话Cc#新开一个窗口C&#退出当前窗口C，#重命名窗口C数字#切换到第几个窗口Cn#切换到下个窗口Cp#切换到上个窗口Cl#切换到最后一个窗口Cw...

Git 常用的是以下 6 个命令：git clone、git push、git add 、git commit、git checkout、git pullgit push 命令用于从将本地的分支版本上传到远程并合并命令格式如下：git push <远程主机名> <本地分支名>:<远程分支名>如果本地分支名与远程分支名相同，则可以省略冒号：git push &lt

在各种深度学习框架中，我们最常用的损失函数就是交叉熵（torch.nn.CrossEntropyLoss），熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度。交叉熵越小，表示数据越接近真实样本。交叉熵计算公式：就是我们预测的概率的对数与标签的乘积，当qk->1的时候，它的损失接近零。nn.NLLLoss官方文档中介绍称： nn.NLLLoss...

原文链接：https://blog.csdn.net/malefactor/article/details/78767781作者：张俊林博士最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例，深入浅出地介绍了深度学习中注意力机制的原理及关键计算...