本人怀疑是重装vscode后，1.99版本的python插件残留下来的问题。bug果然可以存在于任何地方QAQ。语句中的包的颜色从之前的青色变成了现在的白色。再用ctrl+左键点击包名试图进行跳转，发现没有任何反应。笔者使用的vscode版本是1.85.2（一周前从1.99降下来的，因为版本过高连不上服务器）。最后在reddit一个小角落发现有人重装了python插件，然后就没问题了。试了一下，果

看了很多教程，不清楚具体原理，但总之自己是摸索出来了：每一步的配置如下：vscode中按下“ctrl+shift+p”，然后输入“Remote-SSH: Open SSH Configuration File“，选择，修改自己的配置（重点是这2行yes）：笔者在win11的mobaxterm上连接到服务器，输入xeyes发现图像可以正常显示，但是vscode terminal中就不行。于是在mob

4.重新进入vscode，在terminal中输入。1.在windows环境变量中，设置变量。vscode terminal中，输入。2.进入vscode，按下。

requires_grad大家都挺熟悉的，因此穿插在retain_grad的例子里进行捎带讲解就行。属性并不会在反向传播的过程中被自动保存下来（这是为了节省内存，毕竟我们只需要计算那些手动设置。的张量的梯度，并进行梯度更新，对吧？警告的大致意思是：访问了非叶子节点的。的梯度也在反向传播以后被正确保存了！因此，我们只需要添加一行代码。可以看到，现在非叶子节点。属性，但非叶子节点的。

看了很多教程，不清楚具体原理，但总之自己是摸索出来了：每一步的配置如下：vscode中按下“ctrl+shift+p”，然后输入“Remote-SSH: Open SSH Configuration File“，选择，修改自己的配置（重点是这2行yes）：笔者在win11的mobaxterm上连接到服务器，输入xeyes发现图像可以正常显示，但是vscode terminal中就不行。于是在mob

4.重新进入vscode，在terminal中输入。1.在windows环境变量中，设置变量。vscode terminal中，输入。2.进入vscode，按下。

VPT的核心思想是，在适配下游任务时，我们应当冻结 (freeze) 强大的预训练模型本身，只通过训练一小组额外添加的、轻量级的来引导模型的行为。这很容易理解，想想GPT：为什么一个Transformer Decoder能做这么多事？就是因为对于不同的任务，我们会喂给模型不同的prompt麻。

这是最关键的一步，它让卷积核在计算完一个Patch后，直接“跳”到下一个不重叠的Patch上。卷积核数量 (Kernel Count): 设为 768。这决定了每个Patch最终生成的嵌入向量维度。个图像块 (Patch) 的嵌入向量。这个原理的核心，是巧妙地利用单次卷积操作，同时实现“切块”和“特征提取”两个任务。的卷积核以16的步长滑过整个图像时，其输出就是一个。这确保了卷积核的“视野”恰好覆

当embedding维度为2时，position的位置每往后一个，就把embedding对应维度旋转θ角度，这就是RoPE的核心思想。问题：理论上讲，位置1，2对应的PE应该在距离上比位置1，500的PE更接近，但APE做不到这一点。的操作是完全一样的（如果去掉Attention Is All You Need中的PE的话）。解决了APE中的问题，但也带来了计算效率低下等问题。而矩阵的第一项，就是

原理。