什么是ansibleansible是新出现的自动化运维工具，基于python开发，通过SSH协议管理机器，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力，真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架，可结合playbook一次性运行多个任务。使用ansible有什么好处其实就是简单、高...

先说明下我使用的环境：centos7.xcdh6.3.2jdk1.8之前的配置都配好后执行systemctl start cloudera-scm-server命令报如下错误：[root@s30 ~]# systemctl status cloudera-scm-server● cloudera-scm-server.service - Cloudera CM Server ServiceLoad

我们在使用Spark的时候主要是用来快速处理大批量的数据，那么实际开发和生产中会有哪些数据来源呢，我归类总结有：textcsvjsonparquetjdbchivekafkaelasticsearch接下来所有的测试是基于spark local模式，因为local模式便于测试不依赖spark集群环境。有一点要注意将代码运行在spark集群上时要将.master("...

Kafka是一种高吞吐量的分布式发布订阅消息系统，可作为中间件进行数据隔离、传输作用。Kafka安装包下载到Kafka官网下载对应版本的安装包，本文以kafka 1.0.2为例。将下载好的kafka_2.11-1.0.2.tgz上传到/opt/ansible/roles/files目录下，本文将所有tar安装包都进行了重命名操作，比如将kafka_2.11-1.0.2.tgz解压...

ZooKeeper是一个分布式应用程序协调服务，是Hadoop、Kafka及Hbase等的重要组件。Zookeeper安装包下载到Zookeeper官网下载对应版本的安装包，本文以zookeeper 3.4.5为例。将下载好的zookeeper-3.4.5.tar.gz上传到/opt/ansible/roles/files目录下，本文将所有tar安装包都进行了重命名操作，比如...

今天我在Windows下写了一个scala代码，用spark去消费kafka的数据， 然后报Group coordinator cdhtest002.sendinfo.com:9092 (id: 2147483581 rack: null) is unavailable or invalid, will attempt rediscovery 这个错误，这个是集群（kafka）中ip和hostna