题记： 好记性不如烂笔头。搞一个稳定的hadoop部署方式，给以后的人生省点打游戏的时间。环境介绍两台阿里云服务器server1,server2,还有一台华为云服务器。准备将两台阿里云服务器器分别记为：master,slave1;将华为云服务器记为slave2。masterip,masterip_分别表示master的公网ip和内网ip；slave1ip表示slave1的公网ip;slave2ip

anoconda是个非常好用的工具，不对，应该说是一个好用的环境集成工具，但是在使用的时候我们总会由于版本问题遇见这样活着那样的问题。比如说，python3.7对某些用3.6写的程序就会报一些莫名的错误，所以就希望把python的版本调到3.6，其实我们是可以将anoconda中的内容进行覆盖，但是如果每次都这样覆盖过来覆盖过去，就需要重新安装一些包，比较容易出错，所以我们可以在anoconda中

写作目的在编程过程，特别是线上编程的过程中，总会需要用到很多高级的数据结构，但是python中的一些高级数据结构并没有那么的“明显”，这里梳理一下。栈栈在python中比较好实现，直接用List数据结构就可以代替。add方法用append代替，有内置的pop()方法，时间复杂度O(1),至于peek()方法可以直接用索引-1代替。myStack=[]myStack.append(1)m...

题记： 好记性不如烂笔头。搞一个稳定的hadoop部署方式，给以后的人生省点打游戏的时间。环境介绍两台阿里云服务器server1,server2,还有一台华为云服务器。准备将两台阿里云服务器器分别记为：master,slave1;将华为云服务器记为slave2。masterip,masterip_分别表示master的公网ip和内网ip；slave1ip表示slave1的公网ip;slave2ip

至此，数据流在Transormer编码层的流动过程已经清晰，除了MultiheadAttention，其他的代码和层的设置都是pytorch中的基本操作，不再详细追踪底层实现。MultiheadAttention的代码实现在下节中进行分析。

位置编码的数学定义如下公式所示：从公式上可以看出，在对位置信息进行编码的过程中主要涉及到两个索引：p和i，其中，p表示，某个单次在一个句子中的位置，该位置用索引表示，索引从0开始；其中的i表示，某个数值，在embedding后形成的向量中的位置，该位置也用索引表示，并且索引从0开始。可以搭配下图进行理解。比如0.03这个元素的p=0并且i=0, 而0.07这个元素的p=1,i=1。从inputs到

题记：凌晨3点半的不眠，是这个时代太聒噪，还是内心的不安kmeans知识体系从代码中梳理知识体系sklearn中kmeans源码源码结构kmeans算法属于cluster包的k_means.py文件。使用的过程中通过from sklearn.cluster import Kmeans导入在使用常规（不含大批量数据的情况下）kmeans算法的实现过程如上图所示，Kmeans主类，包含若干的内部函数（