目录一、RDD、DataFrame、DataSet三者概念二、RDD、DataFrame、DataSet的创建和相互转换1. RDD和DataFrame互转2. RDD与DataSet互转3. DataFrame和DataSet的互转三、RDD、DataFrame、DataSet互转示意图四、RDD、DataFrame、DataSet异同点1. 相同点2. 区别...

目录1. Redis概述：2. Redis的主要应用场景：3. 缓存穿透及布隆过滤器（1）缓存穿透（大量查询一个不存在的key）定义（2）解决方法ps：布隆过滤器原理ps：布隆过滤器另一个用途——推荐去重1. Redis概述：Redis是一个开源的Key-Value存储系统，其中Value支持String、list、set、hash、zset五种数据结构，这些数...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wx1528159409目录1. 在VMware Workstation下安装CentOs，新建虚拟机并安装VMtools2. 修改虚拟机IP，联网并连接Xshell3. 修改主机名4. 修改linux和win10中的hosts文件5. 关闭防火墙6. 创建自定义用户k...

hadoop集群时间同步：设定一台机器为标准时间服务器，其余所有的机器都与这台服务器时间定时同步，eg：每隔10min，同步一次时间。准备条件：三台已经安装完成的虚拟机集群hadoop100、hadoop101、hadoop102单台虚拟机的ip分别为192.168.5.100、192.168.5.101、192.168.5.1021. 检查ntp是否安装2. 修改ntp配置文...

1. 查看防火墙状态systemctl status firewalld.service出现绿色的active，说明防火墙开启2. 关闭防火墙systemctl stop firewalld.service3. 关闭防火墙开机自启systemctl disable firewalld.service重启虚拟机后，查看防火墙状态，发现变成inactive，防火墙已关...

克隆虚拟机，新生成的服务器，需要修改成新的ip才能连接Xsehll以下操作都需要root用户登录，或者用sudo命令一、CentOS6版本（1）修改etc下的70-persistent-net.rules文件[root@hadoop104 /]#vim /etc/udev/rules.d/70-persistent-net.rules把eth0那一行删掉，把eth1那一行...

tar：tar是linux等下的打包工具，生成的包通常也用tar作为扩展名，其实tar只是负责打包，不一定有压缩，事实上可以压缩，也可以不压缩，通常你看到xxxx.tar.gz，就表示这个tar包是压缩的，并且使用的压缩算法是GNU ZIP，而xxxx.tar.bz2就表示这个包使用了bzip2算法进行压缩，当然这样的命名只是一种惯例，并非强制。简单地说，tar就仅是打包。jar：即J...

目录一、如何理解HBase二、HBase与Hive、Hadoop的区别1. 从概念上区分2. 从应用场景上区分3. 从数据库角度来看4. 小结三、HBase的详细架构1. HBase与HDFS和Zookeeper的关系2. 两个核心节点HMaster和HRegionServer3. HLog4. HRegion5. Store6. 存储工具Mem...

版权声明：本文为博主原创文章，未经博主允许不得转载。https://blog.csdn.net/wx1528159409目录一、Zookeeper的监听器原理理解二、常见的监听类型一、Zookeeper的监听器原理理解（1）在Zookeeper的API操作中，创建main()主方法即主线程；（2）在main线程中创建Zookeeper客户端（zkClient），这时会...

版权声明：本文为博主原创文章，未经博主允许不得转载。https://blog.csdn.net/wx1528159409目录一、下载地址1. 官网首页2. 下载步骤二、完全分布式集群安装1. 集群规划2. 安装前准备3. 配置服务器编号4. 配置并分发zoo.cfg文件5. 群启集群一、下载地址1. 官网首页https://zookeep...