这段时间再玩python ，数据源来源于mongdb ，数据处理方式用的是pandas刚开始是用的一个比较麻烦的转化，直接上代码：方法一：import pandas as pdfrom pymongo import MongoClientclient = MongoClient('192.168.1.5',10070)db = client.dbtestcollection=db.data_tab

有时候我们碰到这样的情况：输入hive时，只会出现下面的提示Logging initialized using configuration in file:/home/grid/apache-hive-1.2.1-bin/conf/hive-log4j.properties然后就没有然后了，也不报错，一直卡着不动。解决方法：jps一下，看一下runJar进程有几个如果你已经运行了

pycharm 中Permission denied问题 解决方案系统：ubuntu16.41、在/usr/bin/目录下新建文件 python2.7_sudo.sh ：sudo gedit /usr/bin/python2.7_sudo.sh 在文件中写入下列代码：#! /bin/bashsudo python $* 2、给sh文件赋予权限：cd /usr/bin/sudo

目的：CDH5.8.0离线搭建hadoop环境关于CDH和ClouderaManagerCDH (Cloudera’s Distribution, includingApacheHadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可直接用于生产环境。ClouderaManager（本文以下简称为CM）则

当我们想整合Hadoop，Hbase，Hive，zookeeper的时候，如果刚入门，可能认为这是比较简单的问题。但是当你自己真正想整合的时候，却会遇到很多的问题。1.hadoop与hbase哪些版本兼容？2.hadoop与hive哪些版本兼容？3.hbase与hive哪些版本兼容？4.hbase与zookeeper哪些版本兼容？所以当我们真正想做整合的时候，我们需要解决上面四个问题，有些同

首先看一下你的hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命令file libhadoop.so.1.0.0然后查看一下linux的版本uname -aLinux hostname 2.6.18-274.el5 #1 SMP Fri Jul 8 17:36:59 EDT 2011 x86_64 x86_64 x86_64

yyyy-MM-dd’T’HH:mm:ss.SSSZ后面的三个SSS指的是毫秒，Z代表的时区，中间的T代表可替换的任意字符。下面看例子：例子一：@Testpublic void testTime() throws ParseException{Date date = new Date();SimpleDateFormat df = new Si

交互式查询工具impala主要内容第 1 部分 Impala概述（Impala是什么，优势，劣势，与Hive对⽐）第 2 部分 Impala的安装(制作本地Yum源⽅式安装)第 3 部分 Impala的架构原理(有哪些组件，组件的作⽤，查询流程，查询计划)第 4 部分 Impala的使⽤（使⽤与Hive类似，编写sql⽅式；Impala的DDL,查询语法，导⼊数据）第 5 部分 Impala的Ja

yyyy-MM-dd’T’HH:mm:ss.SSSZ后面的三个SSS指的是毫秒，Z代表的时区，中间的T代表可替换的任意字符。下面看例子：例子一：@Testpublic void testTime() throws ParseException{Date date = new Date();SimpleDateFormat df = new Si

windows下的中文文件名拷贝到ubuntu下面以后，文件名直接变成乱码，原因为windows下的文件名以GBK编码，而Ubuntu下的文件 名为utf-8编码。ubuntu下有一个工具可以用来转换文件名的编码，这个工具是convmv 。安装方法： apt-get install convmv使用方法： convmv -f GBK -t utf-8–notest *如此可以把当前目录下的所有中