极之夜个人主页

@Brother_ning

极之夜

2022-10-12 09:58:46 加入 DevPress

简介

该用户还未填写简介

擅长的技术栈

未填写擅长的技术栈

可提供的服务

暂无可提供的服务

Hive和Spark生产集群搭建（spark on doris）

hive on spark生产集群搭建，可以切换为spark-sql，调度采用yarn，同时可以用spark操纵doris

#hive #spark #hadoop +2

Hive on spark 配置 & 踩坑记录 Failed to create spark client

-Hive查询时，报错java.lang.OutOfMemoryError: Java heap space-这种情况属于 JVM 堆内存溢出了，在y arn-site.xml 文件中添加如下代码-->编译步骤：官网下载Hive3.1.2源码，修改pom文件中引用的Spark版本为3.0.0，如果编译通过，直接打包获取jar包。注意：hive.spark.client.connect.timeou

#spark #hive #大数据

MongoDB版本升级指南

mongodb升级

#mongodb #数据库 #nosql

热数据存储在HDFS，冷备数据存储于对象存储中

将日常常用热数据采用HDFS存储（存储时间2～3个月），超过该时间段数据采用对象存储。改方案均采用同一套Hadoop架构，使用hive均可以读取到，在降低成本的同时提高数据的利用率。