logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark对接hudi遇到的坑

1.spark-sql读写MOR 的hudi表spark版本:2.4.3hudi版本:0.9.0按照官网文档可正常独写cow表,但读写mor时报错:Caused by: org.apache.hudi.exception.HoodieException: Unable to load classat org.apache.hudi.common.util.ReflectionUtils.getCl

#spark#big data#分布式
hive:引入hive-jdbc后导致jar包冲突

场景spark项目,需要在写入表后,连接impala执行invalidate。需要用到hive驱动org.apache.hive.jdbc.HiveDriver 。但是在引入hive-jdbc后,spark程序启动时报错,原因是spark-sql的包与hive-jdbc中的包冲突了。解决指定排除hive-jdbc中无用的jar包。如果你只需要hive-jdbc包,可直接排除hive-jdbc依赖的

spark不支持hive表分区字段中存在大写字母

建表语句:DROP TABLE IF EXISTS ldldwd.ec_jd_intransit_detail;CREATE TABLE IF NOT EXISTS ldldwd.ec_jd_intransit_detail(DataLablestring,DocumentNumberstring,CurrentRecordNumberint,VendorProductIDstring,Buyer

python:excel导入hive

实现功能目前公司中的部分数据是crm人工处理的,处理后放在一个excel文件中。现需要将这些excel数据导入到大数据平台,供其他部门使用。本程序提供一个web页面,实现在web页面上传指定格式的excel文件,程序自动将该文件的数据导入到hive中。实现方案web交互:Flaskexcel解析:Pandas数据导入:Impyla 或 Hdfs使用Flask快速搭建web应用,实现接收文件、流程控

hive:beeline提交SQL报错 return code 2

1.现象beeline连hive跑任务,报错:Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)除此以外没有其他详细的错误信息。如果直接到 org.a

Spark-SQL:spark3.0后BROADCAST、SHUFFLE_MERGE、SHUFFLE_HASH三种调优参数

https://www.24tutorials.com/spark/joins-spark-sql-shuffle-hash-sort-merge-broadcast/https://github.com/apache/spark/pull/24164Spark 3.0 之后,对Spark-SQL增加了三种join选项:SHUFFLE_HASH, SHUFFLE_MERGE , SHUFFLE_R

hive:编写java代码,将文本中的分隔符替换成\001

需求将sql-server中的数据导入到hive,但是没有informatic的权限,又不想麻烦别人,好在数据量较小,可以手动查询之后,保存在txt文件里,再load进hive。但是hive表中的分隔符是\001,而查询出的结果是以\t分割,所以需要将\t修改为\001。思路1.编写代码,使用jdbc链接数据库,将查询结果以\001分割,并写进文件。2.在sql-server客户端查询,将结果粘贴

python:pyinstaller打包后,运行exe提示缺失包文件

场景使用python写的一个ui工具,用于连接并操作impala。但在打包后,报错提示:FileNotFoundError: [Errno 2] No such file or directory: 'D:\\code\\python\\excel2csv\\dist\\UI\\impala\\thrift\\ExecStats.thrift'打包命令:pyinstaller -D -p D:\c

Java通过post请求调用openai接口

【代码】Java通过post请求调用openai接口。

文章图片
#java#开发语言
Java通过post请求调用openai接口

【代码】Java通过post请求调用openai接口。

文章图片
#java#开发语言
    共 18 条
  • 1
  • 2
  • 请选择