目录1.准备工作2.安装工作2.1、集群规划2.2、集群配置1. hadoop-env.sh2. core-site.xml3. hdfs-site.xml4. mapred-site.xml5. yarn-site.xml6. slaves2.3、启动集群（初始化工作）1. 启动3个Zookeeper2. 启动3个JournalNode3. 格式化NameNode4. 复制hadoop01上的N

目录1.整体系统架构2.挨个分析2.1HDFS2.2Zookeeper2.3HMaster2.4HRegionServer2.5Write-Ahead logs（WAL，Hlog）2.6Region2.7Store2.8MemStore2.9 Store File->HFile1.整体系统架构HBase 是由 Client、Zookeeper、Master、HRegionServer、HDF

目录1.什么是Spark2.总体技术栈3.Spark演变历史4.Spark与MapReduce的区别5.Spark运行模式1.什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop Map

目录1.写在前面2.强化学习与神经网络3.神经网络的作用4.更新神经网络5.DQN 两大利器1.写在前面今天我们会来说说强化学习中的一种强大武器, Deep Q Network 简称为 DQN. Google Deep mind 团队就是靠着这 DQN 使计算机玩电动玩得比我们还厉害.2.强化学习与神经网络之前我们所谈论到的强...

目录1.写在前面2.模块导入和参数设置3.神经网络4.DQN体系5.训练6.完整代码演示7.附加A3C1.写在前面Torch 是神经网络库, 那么也可以拿来做强化学习,你同样也可以用 PyTorch 来实现, 这次我们就举 DQN 的例子, 我对比了我的 Tensorflow DQN 的代码, 发现 PyTorch 写的要简单很多.2.模块...

目录1.写在前面2.训练数据3.AutoEncoder4.训练5.画3D图6.完整代码演示1.写在前面神经网络也能进行非监督学习, 只需要训练数据, 不需要标签数据. 自编码就是这样一种形式. 自编码能自动分类数据, 而且也能嵌套在半监督学习的上面, 用少量的有标签样本和大量的无标签样本学习.这次我们还用 MNIST 手写数字数...

jieba“结巴”中文分词：做最好的 Python 中文分词组件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.Scroll down for English d

hadoop的存储模型整个思想就是：化整为零、并行计算。第一步：如果一个文件非常非常大，单台服务器的内存无法处理这样一个大文件，无法一次性加载到内存中，可以对文件切割成若干个小文件。第二步：为了达到提升计算效果的目的，可以把切割的小文件分散发送到多台服务器之上，让服务器并行计算小文件，由于每台服务器它所计算得数据量比较小同时他们又是并行的，就可以达到分而治之的目的。以上即分布式存储和分布式计算。下

目录1.写在前面2.压缩与解压3.编码器 Encoder4.解码器 Decoder1.写在前面今天我们会来聊聊用神经网络如何进行非监督形式的学习. 也就是 autoencoder, 自编码.自编码 autoencoder 是一种什么码呢. 他是不是 条形码? 二维码? 打码? 其中的一种呢? NONONONO. 和他们统统没有关系. 自编...

上一节我们写了关于冒泡排序的内容，但是在算法执行效率上却牺牲了太多，时间复杂度达到了N^2,相比较桶排序浪费空间相比，有没有一个既不浪费时间又不浪费空间的算法呢，那就是快排了。算法思想：从一个序列中找一个基准数，用来参照（一般选第一个数字），接下来需要将这个序列中所有比基准数大的数字放在基准的右侧，所有比基准小的数字放在基准的左侧。分别从两端开始探测，先右后左，相遇说明此时探测结束...