错误日志：Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to construct kafka consumerat org.apache.kafka.clients.consumer.KafkaConsumer.<i

本文为自己总结的hadoop-cdh5集群安装（简易版），适合新手首次玩集群使用。本文附带安装包、配置文件等都跟文中配置相同，如有需要请自行修改。本文中介绍的集群均配置在虚拟机中，Linux版本为：CentOS7本文hadoop配置集群为4台：192.168.5.128 hadoop0 主192.168.5.129 hadoo

很多场景下我们都需要使用外网来访问内网中的Elasticsearch集群，比如AWS或者虚拟机等。本文参考Elasticsearch版本6.3.0AWSaws的话比较简单了，内网对应的都有外网映射，我们需要外网访问的话直接访问外网ip就可以了。不过要注意Elasticsearch配置文件中network.host要配置内网的主机名或ip。虚拟机虚拟机的环境相对复杂一...

我们在安装虚拟机时几乎都会使用开机直接进入命令界面来释放内存，不过centOS7 跟其他版本的配制方法有些不同。centOS7 开机直接进入命令界面systemctl set-default multi-user.targetsystemctl set-default graphical.target查看默认targetsystemctl

Kafka在启动一段时间后，如果出现服务自动关闭情况，可在启动kafka的时使用守护进程模式启动，即在原启动命令中加-daemonkafka-server-start.sh -daemon config/server.properties &原因参考：kafka-run-class.sh# Launch modeif [ "x$DAEMON_MODE

两种方法：一、修改配置文件server.properties添加如下配置：delete.topic.enable=true说明：官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turne

本文介绍如何手动跟新zookeeper中的偏移量。我们在使用kafka的过程中，有时候需要通过修改偏移量来进行重新消费。我们都知道offsets是记录在zookeeper中的，所以我们想修改offsets的值只要修改zookeeper中的offsets值就可以了。修改offsets值有几种方法，这里介绍最直接的一种修改方法，就是直接手动修改zookeeper中记录的offsets值。首先...

我们用Flume采集日志信息后，数据进入Kafka。在Kafka之后的选择我们有很多，最典型的就是Flume-ng------Kafka------Storm。当然也可以是Mongo、Elasticsearch、Hbase等等。不过不管去哪，Kafka的数据默认只存7天（可以配置），7天之后就会自动删除了，所以说数据持久化的问题就来了，数据持久化最好的选择就是进入Hadoop。所以本文介绍如何将K