参考文章：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html首先截图看下完成后能通过web访问的hadoop框架的样子一、节点的分布可以看到这个集群有5台服务器，我本人是在VMware虚拟机中装的2台Ubuntu14.04和3台cen

由于项目需要，需要在cloudera的spark中直接用sparksql操作hive，但是cloudera的spark中没有sparksql cli（也就是没有spark-sql命令），有关解决方案网上比较多。cloudera的安装参照这篇博客基本上就可以离线安装好cloudera我在自己笔记本的虚拟机上装了一天半的时间，最后还是部分框架没有安装成功，总结的经验就是cloudera通过cm来安装

在项目开发中，后台接口开发好了，在本地用postman测试都是没有问题了，前台开发联调后，发现用get方式没问题，但是前台post方式以json方式穿过的的参数，到后台，后台的参数为null，解决方法如下篇文章：http://blog.csdn.net/yixiaoping/article/details/45281721

前一段时间，在项目中，领导要求实时查看来自各个省份的ip访问的详情，根据这一需求，通过flume/logstack实时采集nginx的日志到生产到kafka，再通过spark实时消费分析保存到redis/mysql中，最后前端通过百度的echart图实时的显示出来。