版本信息：Centos7.3  3台

hadoop版本：hadoop-2.6.0-cdh5.7.0

hbase版本：hbase-1.2.0-cdh5.7.0

spark版本：spark-2.2.0-bin-2.6.0-cdh5.7.0

zookeeper：zookeeper-3.4.5-cdh5.7.0

最近在使用spark-submit提交SparkStreaming项目的时候，遇到一个问题，在提交任务之后，一旦关闭shell命令行，就会关闭spark-submit进程，从而中断任务。那么考虑到命令窗口被关闭或者电脑因断电等异常原因，spark-submit程序也会终止运行，所以开始寻找是否能在后台一直运行spark-submit进程。

经过google后，得到结论为：使用nohup命令进行后台运行任务，命令如下：

nohup bin/spark-submit --class <完整包名.类名> --jars $(echo /opt/hbase-1.2.0-cdh5.7.0/lib/*.jar | tr ' ' ',' ) --master yarn --delopy-mode client <运行的项目jar包> &

之后会提示：

nohup ：忽略输入并把输出追加到"nohup.out" 。

输入任意字符串返回shell，再次jps可以发现spark-submit进程已经在后台运行了。



Logo
向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

沃云统一开发平台介绍

沃云集成平台研发平台介绍1.平台优势2.平台原理3.研发平台使用方法4.遇到的问题5.现阶段实现的功能6.后续需要补充的功能和优化内容研发平台介绍1.平台优势解决孤岛式应用，实现能力共享；现有系统框架过于复杂，跨系统业务处理成本居高不下，协同服务共享，降低运维成本；提高项目应用资源监控能力，改善资源利用率；业务微服务化，快速发布、快速部署，快速响应业务需求变化；沃云平台不仅提供了自动化的、可快速部

avatar 云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

avatar 云原生

基于docker的test-containers环境百宝箱

笔者语录： 我开了个公众号【Java你我他】，欢迎大家关注。  在很多时候，程序猿们更关注代码本身，而不愿意把时间花费在环境搭建上，这也是Docker变得越来越受欢迎的原因之一。test-containe是Docker生态圈中的一颗新星，其 主要针对测试领域、背靠Docker实现环境百宝箱功能。  test-containers： 你要的环境，我都有~  假设我们现在需要一个redis-clust

avatar 云原生