固定开头，菜鸡一只，如有说错，请大家批评指出，一定改正！事情是这样，当我们学习spark的时候，搭建一个环境是最简单也是最开始我们要做的，一般情况下，我们都是使用虚拟机（linux机器）来搭建spark的环境，然后让spark运行在yarn上（其实也有其他几个模式，但是yarn模式是较常见的通用的资源管理平台）但是本文要说的是如何在生产（环境）服务器上，搭建自己的spark环境 ...

事先说明，本人菜鸡一只，如果有什么说错的，还请各位大神批评指出！先说下我的环境：VMware Workstation10（这东西版本无所谓了，区别就在与有些按钮可能在不同地方）+Centos6.4（版本较低，望轻喷），OK，两种模式都记录下1、相关概念说模式前，我再墨迹几句（如果这方面的概念清晰的话，请略过）：ip：ip就相当于地址，别人要访问你，都是通过ip访问的，比如在Windows的cmd中

因为某些误操作，导致znode节点上的数据太大，超过长度，这时候要ls或者rmr就会报错大概像下图：Packet len4807928 is out of range在外网有这样的文章：https://stackoverflow.com/questions/10249579/zookeeper-cli-failing-ioexception-packet-len12

本文的内容是东拼西凑出来的，写给自己看的，还有调试的时候的一些报错的解决方式，本人菜鸡一只，如果有说错的地方，还望批评指出！概述：Yarn支持两种不同容器实现方式，一种是yarn容器，一种是Linux容器，据说还有一种Docker容器（但是Docker其实带不太动CM，不过apache还是没问题的），Linux容器较比Yarn容器具有更好的扩展性和隔离性。本文将讲述Linux容器的配置。偶然有机会

说在文前，菜鸟一个，如果有说的不对的，还请见谅，望能指出，让我这井底之蛙也能见见世面。今天分享下一个比较常见的问题，端口被占用。报错大致类型如下：这里我是zookeeper开启的时候，报了Address已经被使用。其实这个问题还挺常见的，比如我们重复打开Tomcat就可以看到这个报错。解决方法如下：最简单的方法：jps看看，然后看看有没有对应的进程，有就直接kill ...

事先说明，本人菜鸡一只，如果有说错的地方，还请大家指出批评，多多包涵~本文有后续哦！本文主要还是介绍hive中函数的解析json的函数get_json_object()和json_tuple()的使用，如果想通过serde直接加载hive数据，请看第二篇！【Hive】hive加载json数据和解析json（二）：https://blog.csdn.net/lsr40/articl...

哦豁，好像好久没有写博客了，上次写是4月8号，快一个月了吧~可能是最近比较忙吧。。。这次来记录一个简单的东西~如题，其实要做到linux免秘钥登录，无非就几条命令，百度一下就能找到，但是有些概念许多文章没有讲或者未描述清楚，所以我就来这里啰嗦下！原理：场景：要通过自己的linux登录远程的别人linux在自己的linux上生成私钥和公钥，然后把自己的公钥发给别人（公钥...

一、关于 java.lang.NoSuchMethodError这个异常类型，其实如果遇到次数比较多了，大概可以判断是什么样的情况：比如在有一次在自己电脑上放一个spark的测试环境的时候，报了如下的异常： java.lang.NoSuchMethodError：org.apache.hadoop.hive.conf.HiveConf$ConfVars.getDef

本人菜鸡，最近还更新python的爬虫系列，有什么错误，还望大家批评指出！该系列暂时总共有4篇文章，连接如下：【python】爬虫篇：python连接postgresql（一）：https://blog.csdn.net/lsr40/article/details/83311860【python】爬虫篇：python对于html页面的解析（二）：https://blog.csdn.ne...

本人菜鸡一只，该文章会比较短，而且没有比较详细的报错和图片，但是我想解决问题的思路还是可以分享下的！公司有一个kafka集群，我接手做了些文字匹配的东西之后，好久都没人用过了。然后最近公司想做统一日志的收集，打算开启一个消费者来处理多个项目的日志，结果就发生了如下的问题！19/06/12 10:25:37 WARN clients.NetworkClient:[Produc...