本文为自己总结的hadoop-cdh5集群安装（简易版），适合新手首次玩集群使用。本文附带安装包、配置文件等都跟文中配置相同，如有需要请自行修改。本文中介绍的集群均配置在虚拟机中，Linux版本为：CentOS7本文hadoop配置集群为4台：192.168.5.128 hadoop0 主192.168.5.129 hadoo

很多场景下我们都需要使用外网来访问内网中的Elasticsearch集群，比如AWS或者虚拟机等。本文参考Elasticsearch版本6.3.0AWSaws的话比较简单了，内网对应的都有外网映射，我们需要外网访问的话直接访问外网ip就可以了。不过要注意Elasticsearch配置文件中network.host要配置内网的主机名或ip。虚拟机虚拟机的环境相对复杂一...

我们在安装虚拟机时几乎都会使用开机直接进入命令界面来释放内存，不过centOS7 跟其他版本的配制方法有些不同。centOS7 开机直接进入命令界面systemctl set-default multi-user.targetsystemctl set-default graphical.target查看默认targetsystemctl

错误原因：反射方法返回值类型不同，当反射方法返回类型为List<Stock>时，fastjson解析Stock时失败。json报错。问题猜测：使用google的gson来解析，没有出现这个问题，说明是fastjson解析的方式不同。问题在fastjson上。最后确定是fastjson解析Stock时调用get方法时会出现异常。问题解决：第一种方式：以通过设置Seria.

关于Spark-Streaming官方示例：https://github.com/apache/spark/tree/master/examples本文采用kafka作为spark输入源运行时出现以下日志：18/09/12 11:15:28 INFO JobScheduler: Added jobs for time 1536722117000 ms18/09/1...

kafka有些操作在技术上是可行的，但这些操作对集群的安全性有很大隐患，不到迫不得已的情况，不应该有这些操作。重新选举控制器一个集群有一个控制器，一般由第一台启动的broker担当。一般情况只有当控制器broker挂掉的情况才会进行控制器重新选举，但有些时候，控制器虽然还在运行但已经无法提供正常的功能，这时候就需要手动进行控制器的选举。删除zookeeper中/controller，释...

一、linux下环境搭建1 解压kafka压缩包安装目录/app/data/kafka解压tar -xzf kafka_2.11-0.9.0.0.tgz2 配置kafka环境变量root用户：#vi /etc/profile或cdh5用户：$vi~/.bashrc以上两个任选一种，增加以下环境变量：export KAFKA_HOME=/ap

我们在使用kafka的过程中，可能需要把某个group中的偏移量offset导出来查看。下面提供一种把偏移量从zookeeper中导出来的方法。执行命令bin/kafka-run-class.sh kafka.tools.ExportZkOffsets我们可以看到都需要哪些参数执行如下命令导出group1中的偏移量信息bin/kafka-run-class

本文介绍一些关于kafka有关的数据交互。Flume+kafka1.安装Flume安装包： apache-flume-1.6.0-bin安装过程这里不予说明，详见《Flume-ng安装.pdf》2.安装kafka安装包： kafka_2.11-0.9.0.0安装过程这里不予说明，详见《kafka集群安装.pdf》3.下载插件包下载地址：https://

我们在使用producer产生数据时，如何保证所产生的数据已经被kafka收录。我们在producer中可以通过配置返回值来确定这些。props.put("request.required.acks","1");这个配置大概意思就是producer每产生一条数据到partitions都会有一个返回值，这个返回值有三种：“-1”，“0”，“1”。返回值为“0”时，表示produce