回顾以下word2vec，负采样的思想更加直观：为了解决数量太过庞大的输出向量的更新问题（word2vec这里要预测是哪个单词，而单词库上万），我们就不更新全部向量，而只更新他们的一个样本。显然正确的输出单词（也就是正样本）应该出现在我们的样本中，另外，我们需要采集几个单词作为负样本（因此该技术被称为“负采样”）。采样的过程需要指定总体的概率分布，我们可以任意选择一个分布。我们把这个分布叫做噪声分

主要围绕着decoder部分展开。吸收了网上博客的内容，进行了下自己的输出。。。目录1. Decoder的问题2. 回顾 transformer​3. mask3.1. Padding Mask3.2. Sequence mask4. QA1. Decoder的问题传统seq2seq是按照时间顺序展开，所以decoder就是按照time，一步一步输入。【深度学习】NLP之Transformer (

首先transformer不是encoder+decoder，是self-attention结构，楼主说的encoder-decoder，是transformer应用到seq2seq任务（例如机器翻译任务）上的一种体现，例如Bert就是只有encoder的self-attention结构。大自然的搬运工：transformer面试题的简单回答 - Necther的文章 - 知乎大部分内容来自上面，

https://zhuanlan.zhihu.com/p/32404424extractor:VGG-16anchor:Anchor是大小和尺寸固定的候选框。论文中用到的anchor有三种尺寸和三种比例，如下图所示，三种尺寸分别是小（蓝128）中（红256）大（绿512），三个比例分别是1:1，1:2，2:1。3×3的组合总共有9种anchor。 Anchor ...

增大 batch size 使得一个 epoch 所能进行的优化次数变少，收敛可能变慢，从而需要更多时间才能收敛（比如 batch_size 变成全部样本数目）参考链接：https://blog.csdn.net/lien0906/article/details/78863118。显存占用不是和 batch size 简单成正比，模型自身的参数及其延伸出来的数据也要占据显存。显存占用 = 模型显存

FPS是衡量系统处理和显示速度的一个关键指标，表示每秒钟能够处理或显示的帧数。高FPS带来更流畅的视觉体验和更高的系统性能，广泛应用于视频播放、游戏、图像处理和实时视频分析等领域。理解和优化FPS对于提升用户体验和系统效率至关重要。看完我发现FPS的计算公式和QPS好像一样。我又问了一下。Q: QPS和FPS的计算方式一样吗？QPS（Queries Per Second，每秒查询数）和FPS（Fr

编写卷积神经网络卷积的实现过程的代码import numpy as npclass ReluActivator(object):def forward(self, weighted_input):#return weighted_inputreturn max(0, weighted_input)def backward(se...

ROUGE评估NLP任务的时候，分值是越大越好还是越小越好，以及ROUGE最大能达到多少?GPT4O在自然语言处理（NLP）任务中，ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种常用的评估指标，特别是在文本摘要和机器翻译等生成任务中。

任意方向文本Arbitrary Shape Scene Text Detection with Adaptive Text Region Representation这篇论文中，接触到了这个block从表中看出，SE-VGG16的对于模型性能的提升。言归正传

排查CLIP为什么评测推理没有调用GPU，因为model并没有to.cuda()。主要是这个代码：https://github.com/OFA-Sys/Chinese-CLIP/blob/master/cn_clip/eval/extract_features.py在使用图像模型提取图片特征时，GPU利用率为0可能是由于多种原因导致的。