logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark sql json AnalysisException: Found duplicate column(s) in the data schema

spark sql 读取 json 文件 json 中存在 date 和 Date 字段下面的配置默认 False 解析查询不区分大小写,改为 True 之后就可以区分大小写,不报错了spark.conf.set(“spark.sql.caseSensitive”, “true”)...

#spark#json
spark on k8s 部署的一点理解

提交后driver后,driver 需要创建pod的权限,这里可以使用的是 serviceAccout 的权限,创建权限以及如何指定serviceAccount 参考 官网RBAC部分。spark on k8s 并不会启动一个常驻的集群,而是再 submit 提交任务时启动对应的pod作为driver 和 executor,任务结束后,这些pod 都会被释放。本地spark-submit 进程 创

文章图片
#spark#kubernetes#大数据
到底了