本人参考，超级简化了穿透流程，全程只需要大改3步，

向上/下/左/右滑动网页：上下左右方向键大幅度滑动网页：方向键+ option 键向下滑动一整页：空格键向上滑动一整页：shift +空格键显示所有网页标签页：command + shift + 键切换到下一个标签页：control + tab 键 / command + shift + ] 键切换到上一个标签页：control + shift + tab 键 / shift + command

N-gram是自然语言处理（NLP）中的一个概念，它描述的是文本中连续的n个项（通常是单词或字符）。这个概念主要用于语言建模和文本分析中。具体来说：Unigram (1-gram): 包含一个单词的序列，例如句子中的单个单词。Bigram (2-gram): 包含两个相邻单词的序列。例如，在句子 “I love natural language processing” 中，“I love”、“lo

因为文本不能够直接被模型计算，所以需要将其转化为向量。

其实思路就是利用argparse模块，给parse增加一个dir参数，这个参数用来存放超参数json文件夹所在路径。这样，我们训练模型时，只需要给好超参数文件所在位置即可，而具体的超参数可以直接在json文件中修改即可。

这里有一些细节需要注意，第一个参数与第二个参数都要进行softmax(dim=-1)，目的是使两个概率分布的所有值之和都为1，若不进行此操作，如果x或y概率分布所有值的和大于1，则可能会使计算的KL为负数。（至于为什么，大概是为了方便pytorch的代码组织，pytorch定义的损失函数都调用handle_torch_function函数，方便权重控制等），才能得到正确结果。其中kl_div接收三

批量归一化固定小批量中的均值和方差，后学习出适合的偏移和缩放可以加速收敛速度，但一般不改变模型精度。所以，你可以通过加入BN来调高你的学习率。也许你之前的学习率是0.01，加入BN后你可以调整到0.1。原因：之前梯度太大，上层梯度爆炸；梯度太小，下层更新慢。加入之后，每层放在相似的分布，可以用一个较大的学习率。

synchronized和lock的区别。springboot和spring的区别。tcp/udp区别，为什么udp不可靠。为什么springboot开箱即用。springboot如何简化开发的。主从数据库如果数据不一致怎么办。平衡树和哈希表的查找速度O。http和HTTPS的区别。操作系统socket是啥。用户下单如何避免重复下单。数据库索引是怎么实现的。什么时候会出现索引失效。https的s代

这里有一些细节需要注意，第一个参数与第二个参数都要进行softmax(dim=-1)，目的是使两个概率分布的所有值之和都为1，若不进行此操作，如果x或y概率分布所有值的和大于1，则可能会使计算的KL为负数。（至于为什么，大概是为了方便pytorch的代码组织，pytorch定义的损失函数都调用handle_torch_function函数，方便权重控制等），才能得到正确结果。其中kl_div接收三

批量归一化固定小批量中的均值和方差，后学习出适合的偏移和缩放可以加速收敛速度，但一般不改变模型精度。所以，你可以通过加入BN来调高你的学习率。也许你之前的学习率是0.01，加入BN后你可以调整到0.1。原因：之前梯度太大，上层梯度爆炸；梯度太小，下层更新慢。加入之后，每层放在相似的分布，可以用一个较大的学习率。