logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive安装 和 Hive环境准备 (hive on Spark 、Yarn队列配置)

摘要:本文详细介绍了Hive 3.1.2的安装部署过程,包括解压安装包、配置环境变量和解决日志冲突。重点说明如何将Hive元数据配置到MySQL,包括驱动配置和hive-site.xml文件设置。同时讲解了Hive服务的启动方法,包括初始化元数据库、编写启动脚本等。此外,还介绍了Hive与Spark的集成配置,包括Spark编译、环境变量设置和HDFS路径创建。最后说明了Yarn容量调度器中新增h

文章图片
#hive#spark#hadoop
大数据开发之Hive篇-Hive函数详解

本文系统介绍了Hive的常用函数,包括数值函数、日期时间函数、条件函数、字符函数和表生成函数(UDTF)。数值函数如round、floor、ceil等用于数值处理;日期函数支持日期转换、提取和计算;条件函数包含nvl、if等逻辑判断;字符函数处理字符串操作;UDTF函数如explode可展开数组或映射。文章通过示例演示了各函数的使用方法,帮助开发者快速掌握Hive函数功能,提升数据处理效率。Hiv

文章图片
#大数据#hive#hadoop
大数据开发之Hive篇-Hive锁机制

Hive锁机制包括共享锁(S)和排他锁(X)两种类型,共享锁允许多个读取操作同时进行,而排他锁会阻塞其他所有锁请求。对于分区表,读取操作会在表和相关分区上加S锁,修改操作则在分区上加X锁。Hive通过字典顺序获取锁来避免死锁,并提供配置参数控制锁重试次数和间隔。通过SHOW LOCKS和EXPLAIN LOCKS命令可以查看锁状态,使用UNLOCK TABLE释放锁。事务表采用DbTxnManag

文章图片
#大数据#hive#hadoop
大数据开发之Hive优化篇-Hive on spark

Hive on Spark将Hive查询引擎与Spark计算框架集成,显著提升查询性能。测试数据显示,相同查询任务从MapReduce的447秒缩短至Spark的71秒,性能提升6倍以上。该项目保留了Hive全部功能特性,同时利用Spark的内存计算优势,实现了对多阶段复杂查询的加速。作为Hive的第三个计算引擎选项,Spark与MapReduce、Tez并存,为用户提供更多选择。这种集成既扩展了

文章图片
#大数据#hive#spark
Mysql - com.mysql.jdbc.Driver与com.mysql.cj.jdbc.Driver的区别

是mysql-connector-java 5版本的驱动名称,5版本之后替换为。的时候,会有警告提示,替换为。查看源码可知,老版本的。

#mysql#数据库
Mysql - com.mysql.jdbc.Driver与com.mysql.cj.jdbc.Driver的区别

是mysql-connector-java 5版本的驱动名称,5版本之后替换为。的时候,会有警告提示,替换为。查看源码可知,老版本的。

#mysql#数据库
到底了