场景在做mysql库表同步任务的时候，其中有一张表的数据量30万条，其中有两个字段是text, longtext类型。在利用第三方的同步工具做数据同步的时，出现Io异常，效率很低。解决方案首先尝试在text，longtext类型的字段上面加索引，发现在工具中执行同步的任务，加索引起不到效率提升的作用。主要是在select a,b 这两个字段的时候，msyql底层并没有走index。思路2：考虑把这

深度学习

数据仓库学习路线

transformer机制的论文来源：谷歌论文《Attention all in you need》\论文地址：添加链接描述该模型的架构图如下所示：上面图中左边是encoder机制，右边是decoder机制。encoder机制是由6层组成，如下图：每一层的结构如下图所示：假设现在有两个单词(word1,word2)经过embedding之后的向量上图中(x1,x2)，输入到s...

机器学习的基础概念

机器学习的基础概念

深度学习

1. 移动硬盘上面的虚拟机我们需要在virtualbox里面加载.vdi文件的数据，由于自己笔记本的磁盘容量太小了，所以把创建的虚拟机移动到了移动硬盘上面。2现在我想要把移动硬盘上面的虚拟机启动，具体的过程是：打开virtualbox加载.vdi文件。第二步到此把移动硬盘上面的虚拟机加载到了本地。接下来就是需要去启动虚拟机，登陆虚拟机之后，发现虚拟机的网卡没有启动，只是显示lo回...

bert的输入是什么。首先放上bert论文的地址：添加链接描述上图是论文中给出的bert的输入的结构图:输入由三部分组成：1.token embedding2 segment embedding 段向量, 其中端对应的就是inputs的一句话， 句子末尾都有加[SEP]结尾符，两句拼接开头有[CLS]符号。是因为BERT里面的下一句的预测任务，所以会有两句拼接起来，上句与下句，上句...

流程说明：1、首先命令产看topic的详细信息：这个topic的partition-0的 leader是副本1号（0,1两个副本），partition-1的 leader是副本0号partition-2的 leader是副本1号2、producer 先从 zookeeper 的 "ls /brokers/topics/one_broker_topicsss/partit...