在spark集群中使用命令：

sbin/start-all.sh

启动集群时报错：

starting org.apache.spark.deploy.master.Master, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.master.Master-1-linux.out
yxk@linux's password:
linux: starting org.apache.spark.deploy.worker.Worker, logging to /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.worker.Worker-1-linux.out
linux: failed to launch: nice -n 0 /home/yxk/cluster/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://linux:7077
linux:   JAVA_HOME is not set
linux: full log in /home/yxk/cluster/spark/logs/spark-yxk-org.apache.spark.deploy.worker.Worker-1-linux.out

从日志分析中可以看出启动时找不到JAVA_HOME

不过检查当前用户下的java环境是正常的，经分析寻找资料在这个博客中找到了 原理https://stackoverflow.com/questions/33955635/why-does-start-all-sh-from-root-cause-failed-to-launch-org-apache-spark-deploy

 

解决方法

在当前用户的.bashrc文件中加入java的环境变量

$ vim ~/.bashrc

加入java环境变量

重新启动spark集群

使用jps命令查看当前的进程。显示正常

# spark # 大数据
Logo
Linux

更多推荐

网卡速率和双工模式的配置

http://linux.chinaitlab.com/system/792187.html1、mii-tool 配置网络设备协商方式的工具；    1.1 mii-tool 介绍；    mii-tool - view, manipulate media-independent interface status （mii-tool 是查看，管理介质的网络接口的状态）

avatar Linux

Linux虚拟文件系统之文件系统卸载（sys_umount())

Linux中卸载文件系统由umount系统调用实现，入口函数为sys_umount()。较于文件系统的安装较为简单，下面是具体的实现。1. /*sys_umont系统调用*/2. SYSCALL_DEFINE2(umount, char __user *, name, int, flags)3. {4.struct path path;

avatar Linux

Linux系统下超级终端Minicom的使用方法（例如：连接交换机，路由器等）转http://baike.baidu.com/view/2911642.htm?fr=ala0_1

<br />　　Linux系统下超级终端Minicom的使用方法 <br />　　Linux下的Minicom的功能与下的超级终端功能相似，适于在通过超级终端对设备的管理以及对嵌入操作系统的升级，现写出Minicom的使用手册： <br />　　1． 启动minicom <br />　　以root权限登录系统 <br />　　使用命令 <br />　　minicom –s 则minicom启动，屏

avatar Linux