安装前准备先明确几个概念：1. Ambari只能安装Hortonworks Data Platform，即Hortonworks的开源Hadoop，不支持Apach的Hadoop平台；2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的，不能使用Ambari来管理；再说几个注意事项：1. Ambari默认的安装方式是使用yum，从远程下载HDP组件安装，而HDP平台安装...

用python进行数据分析处理时，常用到的两个库就是numpy和pandas，以下是些常用的数据处理方法。合并：使用一个或多个键，将多行数据连接在一起。执行合并操作的函数为merge()。import numpy as npimportpandas as pdframe=pd.DataFrame({'a':[1,2,3,4],'b':[2,3,4,5],'c':[6,7,...

1、新建客户端需要的脚本# vim discovertcpport.sh#!/bin/bashportarray=(`sudo netstat -tnlp|egrep -i"$1"|awk {'print $4'}|awk -F':' '{if ($NF~/^[0-9]*$/) print$NF}'|sort|uniq`)length=${#portarray[@]}print

Cloudera Manager 5和CDH5离线安装 前期准备：13台centos6.7(虚拟机部署)=12台(CDH集群)+1台(LAMP展示机器)HostNameIP master0110.255.184.32 master0210.255.184.33 slave0110.255.184.34 slave0210.255.184.35 slave0310.255.1...

ScalaScala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。1.优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。2.速度快：Scala语言表达能力强，一行代码抵得上Java多行，开发速度快；Scala是静态编译的，所以和JRuby,G

cat /etc/passwd|grep -v nologin|grep -v halt|grep -v shutdown|awk -F":" '{ print $1"|"$3"|"$4 }'|morecat /etc/passwd

利用Maxwell组件实时监听mysql的binlog日志，并且把解析的json格式数据发送到kafka窗口供实时消费文档主题：如何使用Maxwell实时监听Mysql的binlog日志，并且把解析的json格式数据发送到kafka窗口具体步骤一：在linux环境下安装部署好mysql1 开启binlogsudo vi /etc/my.cnf2 mysql的binlog格式...

1.下面这个问题挺坑的(SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - kafka.utils.Logging$class.error(Logging.scala:97)] Failed to collate messages by topic, partition due to: Failed to fetch topic ...

1、Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM+REDIS l  Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。l  Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目

第一部分 搭建Kafka环境安装Kafka下载：http://kafka.apache.org/downloads.htmltar zxf kafka-<VERSION>.tgzcd kafka-<VERSION>启动Zookeeper启动Zookeeper前需要配置一下config/zookeeper.properties：接下来启动Zoo