logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

解决MapReduce-Yarn问题:错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

在跑MapReduce任务时,yarn出现了问题问题如下:且通过任何日志都查看不到详细的错误信息,通过ApplicationID也只能查到错误:找不到或无法加载主类这类错误。怀疑是hdfs与yarn之间的都通有问题了。解决措施:命令行输入:hadoop classpath将输出的内容放到yarn-site.xml中将修改的yarn-site.xml发送到所有的机器中,重启yarn即可解决。...

#hadoop#大数据
解决java.lang.NoSuchMethodError: org.json4s.jackson.JsonMethods$.parse(Lorg/json4s/JsonInput;Z)

近期工作中遇到了一个这个问题,现记录一下。问题如下:

#spark
kafka cluster id不匹配问题解决

The Cluster ID xxxxdoesn't match stored clusterId Some(xxxx) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.

#kafka#scala#分布式
2.7.2-Hadoop切片源码分析

输入文件 rain_in/data.txt、data1.txt、data2.txt(62m) 会产生4个切片1、进入job的任务提交方法job.waitForCompletion2、首先检查job的状态,然后进入提交方法submit();3、ensureState确保状态setUseNewAPI使用新的APIConnect()获得链接的方法,从此方法中能够获得本地或是yarn工作的链接(本地或是y

#hadoop#大数据#java
GIt push时出现的Merge branch ‘xxx‘ into ‘xxx‘

虽然不影响使用但是日志中出现太多这样的内容,日志看起来会很冗余。1、背景和同事基于同一个分支共同开发时,我本地落后太多,而同事commit已经领先我很多;按理说我应该先pull一下再commit、push我的内容。我在不知情的情况下push会报如下问题我先pull后就push就成功了,但是git log中就出现了Merge branch ’xxx‘ into ’xxx‘的信息。2、总结操作上的问题

#git
到底了