在使用hive中函数regexp_extract需要注意的是正则表达式的\需要使用\进行转义，也就是说，需要使用\\两道斜线。      使用案例：      提取数字：select regexp_extract('4.2.3.','\\d',0) from error_20111101 limit 4;    提取版本信息：select regexp_extract('4

在使用kafka 和zookeeper 实现实时分析程序时，由于zookeeper部署版本和分析程序导入jar包的版本不一致，导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错，错误信息如下：2012-12-31 10:51:41,562-[TS] INFO main-EventThread org.I0Itec.zkclient.ZkClient - zookeep

本文出自 “炽天使” 博客，请务必保留此出处http://3199782.blog.51cto.com/3189782/703873原创作品，允许转载，转载时请务必以超链接形式标明文章原始出处 、作者信息和本声明。否则将追究法律责任。http://3199782.blog.51cto.com/3189782/703873 最近在优化hiveSQL，下面是一段排序，分组

最近在使用hive时，需要将hive查询的数据导出到本地文件系统，HQL语法如下：INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1查询结果导出到本地文件后，试图使用excel加载时遇上了麻烦：不知道hive导出文件时使用的分隔符，使用文本编辑器打开也显示乱码。最后在官方文档上找了半天才发现，h

1）根据pid文件杀死进程            命令：cat test.pid | xargs kill -9            注意事项：如果是在windows上编写的shell 脚本，迁移到linux上时，一定要执行dos2unix 转换命令，将shell脚本文件格式转换为unix格式，否则会发生很多奇怪的问题。

hadoop集群的机架感知功能是提高hadoop集群网络性能的重要参数，配置hadoop机架感知功能的步骤如下：      1）修改core-site.xml文件，添加以下配置项：topology.script.file.name/opt/modules/hadoop/hadoop-0.20.203.0/Utility/RackAware.py

在配置其他linux用户使用hive 的cli客户端时，发现该用户没有对/tmp目录的写权限，于是将/tmp目录下权限设置为777：bin  /hadoop fs -chmod -R 777 /tmp，然而第二天来时发现hadoop的文件rush任务失败，报错的日志信息如下：Job Submission failed with exception 'java.io.IOException(The

可以在hdfs-site.xml中添加如下dfs.permissions  false的方式关闭文件权限检查

作者： baiyuzhong分类：云计算,选题策划  阅读：5,396 次添加评论文 / Ines Sombra  译 / 李刚将MongoDB加入到我们的服务支持列表中，是整个团队年初工作计划中的首要任务。但我们感觉如果先添加一项对NoSQL存储的支持，而不是先升级已支持的关系型数据库，可能对用户不太好，毕竟目前的用户都使用关系型数据库。所以我们决定将引入MongoDB这项工

分析和优化云集群性能使用可配置参数监视和调优 Hadoop 集群的性能Yu Li, 软件工程师, IBMYu Li 是一位中国软件工程师。他是 IBM InfoSphere BigInsight 团队的成员，这个团队的任务是在 Apache Hadoop 上构建分析平台。他的专业领域包括云计算、性能调优、数据挖掘、数据库技术和中间件技术。简介： Hadoop 是一个可