logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapre

Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.&lt;init&gt;()V from class org.apache.hadoop.mapred.FileInputFormat  

Spark on yarn--几种提交集群运行spark程序的方式

今天看了spark的yarn配置,本来想着spark在hadoop集群上启动之后,还需要配置spark才能让yarn来管理和调度spark的资源,原来启动master和worker之后就会让yarn来原理spark的资源,因为我使用了spark和hadoop集群的高可用,可能是不是这个问题呢,还不太清楚,暂且记住,等我再研究研究因为我使用zookeeper集群来进行管理,所以我提交任务

#spark#yarn
到底了