logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hadoop集群datanode报错10000 millis timeout while waiting for channel to be ready for write

问题发生背景:集群一切运行正常,由于需求增加,数据量也突然增大,数据量增大后,集群的datanode节点经常挂掉,而且每次挂掉都是一批一批的挂掉,每次挂掉的还不重复。分析datanode的日志,日志如下:java.net.SocketTimeoutException: 10000 millis timeout while waiting for channel to...

Hadoop 获取Active Namenode的IP地址

由于工作需要,需要拿到当前集群的Active Namenode的Ip地址,所以写以下小代码,防止忘记,记录一下:import java.io.IOException;import java.net.InetSocketAddress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f...

#hadoop
Spark 使用Phoenix往HBase插入数据报错 PhoenixOutputFormat not found

集群版本:cdh5.8Phoenix版本:4.7.0项目依赖管理:Maven描述:在工作中,需要使用Phoenix往HBase写数据,但是调试的时候出现问题17/06/12 09:35:46 ERROR kerberos.SaveAsPhoenixApp$: save to phoenix error :java.lang.RuntimeException: jav...

到底了