1、Pytorch 使用不同版本的 cudaPytorch 使用特定的 cuda 版本　　从 Pytorch 确定使用的 cuda 版本的流程来看，想要指定 Pytorch 使用的 cuda 版本，主要有两种方法，第一种是修改软链接 /usr/local/cuda 所指向的 cuda 安装目录( 若不存在则新建 )，第二种是通过设置环境变量 CUDA_HOME 指向所需使用的 cuda 版本的安装

关于数据集的划分是基本概念，但是有时候看其他人代码时，经常被弄得云里雾里。特作此记录。

目录一、前置知识二、理论回顾Logistic Regression三、Noise Contrastive Estimation​​​​举例四、特别注意五、NCE in tensorflow一、前置知识【机器学习】tf.nn.softmax【机器学习】sampled softmax loss因为我觉得nce loss是这几个里面最难理解的。Noise-contrastive estimationnc

具体做法为：对一个 batch 输入的图片，随机用不同的数据增强方法生成两个 view，对他们用相同的网络 结构进行特征提取，得到 y 和 y’，来自同一张图像的两个不同的表示构成一对正样本对，来自不同图像任意表示对为一对负样本对。从 InfoNCE loss 我们可以看出，增加负例的数量可以防止过拟合，与此同时，负例越多，这个任务的难度就越大，因而通过增加负例的方式可作为一个优化方向。-----

【代码】【hive】Use CodedInputStream.setSizeLimit() to increase the size limit。

mian()方法里没传参数，但是方法内部可以打印外部参数filename。让我们来看看chatgpt的回答。

具体做法为：对一个 batch 输入的图片，随机用不同的数据增强方法生成两个 view，对他们用相同的网络 结构进行特征提取，得到 y 和 y’，来自同一张图像的两个不同的表示构成一对正样本对，来自不同图像任意表示对为一对负样本对。从 InfoNCE loss 我们可以看出，增加负例的数量可以防止过拟合，与此同时，负例越多，这个任务的难度就越大，因而通过增加负例的方式可作为一个优化方向。-----

前置知识损失函数 - 交叉熵损失函数 - 飞鱼Talk的文章 - 知乎 https://zhuanlan.zhihu.com/p/35709485一文详解Softmax函数 - 触摸壹缕阳光的文章 - 知乎 https://zhuanlan.zhihu.com/p/105722023softmax 介绍 + 公式 + 代码sampled softmax如何通俗理解sampled softmax机制

【深度学习】Attention的理解【深度学习】NLP之Transformer (1)【深度学习】NLP之Transformer (2)理解bert首先需要，attention和transformer理论的铺垫。1、bert理论基础BERT的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encode

首先transformer不是encoder+decoder，是self-attention结构，楼主说的encoder-decoder，是transformer应用到seq2seq任务（例如机器翻译任务）上的一种体现，例如Bert就是只有encoder的self-attention结构。大自然的搬运工：transformer面试题的简单回答 - Necther的文章 - 知乎大部分内容来自上面，