logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive和presto引擎下的JSON串解析

举例json_extract_scalar(json extract_scalar(nessage,'$.extInfo').'$platformtimit'--举例如:get_json_object(get_json_object(message,'$.extInfo').'$.platformLimit')--举例:get_json_object(data_json,'$.customer[1

#hive#数据仓库#json +2
hive表insert数据报错input path does not exists

mapred.invalidinputException:input path does not exists hdfs://表路径/表名/表分区。hive表 insert数据时,报错vertex failed ,vertex name =Map 1...查询不到当前分区 ,说明hive分区表元数据和hdfs文件目录不一致(也可能是分区删除),导致的读异常。这个方式可以解决问题,之后再重新inse

文章图片
#hive#hadoop#数据仓库
hive中常用的日期函数

SELECT DATE_FORMAT('2025-01-23', '%Y年%m月%d日');表示在 2025-01-23 基础上加上5天,返回 2025-01-28。🔨现在数仓部门也有专门的日期维表,写入了日期相关的很多字段,比如周啊季度啊上旬啊月啊之类的,还挺全面的,但是要看一下跨年是如何计算的,保持一致就好了。🔨我发现很多日期相关的计算,都是带-的形式的日期,一般分区表里存的都是不带-的日

#hive#数据仓库#大数据 +1
到底了