
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
spark sql json AnalysisException: Found duplicate column(s) in the data schema
spark sql 读取 json 文件 json 中存在 date 和 Date 字段下面的配置默认 False 解析查询不区分大小写,改为 True 之后就可以区分大小写,不报错了spark.conf.set(“spark.sql.caseSensitive”, “true”)...
Flink 本地 idea 调试开启 WebUI
Flink 本地 idea 调试开启 WebUI

Flink 本地 idea 调试开启 WebUI
Flink 本地 idea 调试开启 WebUI

spark on k8s 部署的一点理解
提交后driver后,driver 需要创建pod的权限,这里可以使用的是 serviceAccout 的权限,创建权限以及如何指定serviceAccount 参考 官网RBAC部分。spark on k8s 并不会启动一个常驻的集群,而是再 submit 提交任务时启动对应的pod作为driver 和 executor,任务结束后,这些pod 都会被释放。本地spark-submit 进程 创

到底了







