当使用websocket，向前端实时推送消息的时候,遇到如下异常:2018-06-29 13:42:55 ERROR 988 --- [container-699] org.springframework.data.redis.listener.adapter.MessageListenerAdapter : [TxId :, SpanId : ] Listener execution...

jenkins插件 Git Parameter Plug-In参数构建，可以在构建的时候选择git的某一个分支来构建服务，其中jenkins的老版本中用的Dynamic Choice Parameter这个插件，但是新版本这个插件已经被Git Parameter Plug-In它代替了。首先需要安装Git Parameter Plug-In这个插件，然后构建一个job，并且在参数化构建选

也是前几天才知道，hive这玩意可以和hbase整合，就在网上找了些资料，准备用我的单节点试一试，单节点上面安装的apache版本的hbase和hive，导致整合的时候不兼容，一直报错：org.apache.hadoop.hbase.HTableDescriptor.addFamily找不到addFamily方法，所以只有用cdh的版本了（chd有对应的安装包的版本，兼容好）已经安装hbas

sqoop作为很常用的数据同步工具，用于RDBMS和HDFS的数据迁移，但是不支持NoSql，比如说MongoDB，那如果我们需要同步mongoDB的数据到hive该怎么处理呢？下面提供下我的思路：1.我先去查询了一下mongoDB可以导出数据为CSV格式或者json格式的文件，CSV是以逗号分隔的，这样可以直接把这个文件put到hdfs中然后load到hive，但是有个问题就是：如果数据本身就自

之前是采用的join的方法来增量更新。详情见：http://blog.csdn.net/qq_20641565/article/details/52763663现在有一种新方案如下：Select b.id,b.name,b.addr,b.updated_dateFrom(select a.*,row_number() over(distribute by a.id sort by upd

第一种:通过case classpackage cn.lijieimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.SQLContext/*** Created by jie on 2017/7/31.*/object SparkSql01 {def main(args:

hadoop的一些测试，做一个记录：一下操作都是在这个目录下面执行：/opt/cloudera/parcels/CDH/jars1.HDFS 写数据IO测试Throughput平均值： 86.73306Average IO rate平均值：89.33704IO rate std deviation平均值： 16.62124Test exec t

建立一个maven工程，把src下的java文件夹改为scala或者新添加scala文件夹项目结构如下：pom配置文件：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven

在使用hdfs存储的时候可能会遇到一个问题：明明设置hadoop dfs.datanode.du.reserved预留空间的，但是磁盘还是被写满了。当你挂载磁盘作为datanode的存储空间，如果磁盘大小为500G当你使用df -h 可能会发现上面显示（举个例子）：总磁盘大小500G，使用了430G，剩余50G，这里就会有个问题：500G-（430G+50G）=20G，还差了20G空间。就是因为

今天在虚拟机上面配置了一个Azkaban的任务调度器，这是由Linkedin公司开源的一个大批量工作流任务调度器(任务量不大的话crontab和hadoop的jobController 结合起来也可以实现任务的调度)；下面我们来部署下Azkaban：1.需要下载三个包azkaban-web-server-2.5.0.tar.gzazkaban-executor-server-2.5.0.t