logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用springboot构建rest api远程提交spark任务

github代码链接:github地址1. spark集群及版本信息服务器版本:centos7hadoop版本:2.8.3spark版本:2.3.3使用springboot构建rest api远程提交spark任务,将数据库中的表数据存储到hdfs上,任务单独起一个项目,解除与springboot项目的耦合2. 构建springboot项目1. pom配置<prop...

#spark
ClassNotFoundException: org.codehaus.janino.InternalCompilerException

Spark SQL创建DF时出现异常异常信息Driver stacktrace:at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1661)at org.apache.spar...

#spark#scala
centos7离线安装CDH 5.13.1过程记录及安装所遇到问题的解决方案(2019-05-04)

我有三台虚拟机,都是最新安装的centos7,下面是资源分配主机名ip内存磁盘大小主从s201192.168.0.20110g40g主s202192.168.0.2024g20g从s203192.168.0.2034g20g...

#cloudera#hadoop#spark
到底了