spark-submit提交任务给spark服务器

druid + presto报错：java.sql.SQLFeatureNotSupportedException: Batches not supported

DAGScheduler TaskScheduler如何配合提交任务，各个阶段如何划分？一个application可能有多个job提交，因为每个行为算子都调用runjob方法，即都对应一次job任务提交一个job可能有多个stage，划分依据主要是RDD是不是出现了shuffle，即每个宽依赖都会导致新stage的生成。一个stage对应一个taskset，且为stage中每个分区创建一个task

Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec 问题探究

一般报这种错误，基本都是配置问题导致。常见的配置有用户名、密码、host、port、防火墙等。代码方面排查时这四个点可能都要看一下。而在clickhouse中，则着重看一下防火墙以及clickhouse的host和port是否对外开放。我的报错如下：我这里代码检查过是没问题的，而且用户名密码类的问题一般都有更清晰的提示。所以这里接着看clickhouse服务器防火墙以及host和port配置。sy

1、在家搭建大数据环境时，修改hive的元数据库从derby改为mysql时，报错密码过期。java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://hadoop-senior.ibeifeng.com:3306/metastore?createDat

谷歌浏览器下禁止浏览器自动代理http图片到https1、前言所在公司目前开发了一个新的模块，但是集成到门户后。 用谷歌浏览器打开门户，访问模块内http类型的图片时，访问不了，通过debug排查，发现是http图片链接转换成了https形式。初始以为是前端代码问题，但是换个浏览器后，用360浏览器打开门户，则可以正常访问http类型图片。于是判断为谷歌浏览器自动转换了http请求。使用了网上配置

mysql数据恢复和回滚

spark sql物理计划执行流程解析

简单探究spark sql中analyzer解析库表的源码