logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hive数据仓库之全量表、增量表、快照表、切片表和拉链表

待整理实现!https://blog.csdn.net/mtj66/article/details/78019370?

#hive
hive中执行sql后一直是ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

查看yarn的后台任务都是显示的ACCEPTED:可以执行建库和建表以及select * 的操作,但是其它的操作就一直卡住了:原因与解决:看了网上的博客资料,先是对namenode进行格式化之后重启hive但也还是不行看日志怀疑是没有资源可分配?于是又把给虚拟机的内存从2G增加到8G,并且在hive-site.xml中又增加了对调度器最小和最大资源分配的设置:<property>&lt

#hive
MySQL数据库中文显示成问号的解决方案

问题现象插入到MySQL数据库的中文数据都显示为一个个的问号“?”原因定位一开始还以为是SecureCRT没有设置编码的原因,于是设置字符编码为UTF-8:还是不行,于是又把centos7设置为中文版本:结果还是不行,MySQL数据库还是显示的中文为一个个问号。解决办法初步判定是编码的问题。我们利用命令查看编码情况:mysql> show variables like'character_s

#mysql#数据库
Datanode工作机制以及数据存储详解

目录1. Datanode工作机制2. 数据完整性3. 掉线时限参数设置4. DataNode的目录结构5. Datanode多目录配置HDFS分布式文件系统也是一个主从架构,主节点是我们的namenode,负责管理整个集群以及维护集群的元数据信息从节点datanode,主要负责文件数据存储1. Datanode工作机制1)一个数据块在datanode上以文件形式存储在磁盘上,包括两个文件,一个是

#hadoop#hdfs
MySQL数据库中文显示成问号的解决方案

问题现象插入到MySQL数据库的中文数据都显示为一个个的问号“?”原因定位一开始还以为是SecureCRT没有设置编码的原因,于是设置字符编码为UTF-8:还是不行,于是又把centos7设置为中文版本:结果还是不行,MySQL数据库还是显示的中文为一个个问号。解决办法初步判定是编码的问题。我们利用命令查看编码情况:mysql> show variables like'character_s

#mysql#数据库
HBase介绍、优缺点和实际应用场景

一、优点:1)海量存储Hbase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性,才为海量数据的存储提供了便利。2)列式存储这里的列式存储其实说的是列族(ColumnFamily)存储,Hbase是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指...

#hadoop#hdfs#大数据
Hive中的静态分区和动态分区使用与区别详解

Hive中支持的分区类型有两种:静态分区(static partition)动态分区(dynamic partition)两者的区别:主要在于静态分区需要手动指定,而动态分区是基于查询参数的位置去推断分区的名称,从而建立分区。总的来说就是,静态分区的列是在编译时期通过用户传递来决定的;动态分区只有在SQL执行时才能确定。下面举例详细说明:一、静态分区(static partition)1、静态分区

一张图轻松搞懂Hive中的join(内连接、左外连接、右外连接、满外连接)

join语句1 等值 joinHive支持通常的SQL JOIN语句,但是只支持等值连接,==不支持非等值连接==。案例实操select * from stu left join score on stu.id = score.s_id;根据学生和成绩表,查询学生姓名对应的成绩2 表的别名好处使用别名可以简化查询。使用表名前缀可以提高执行效率。案例实操:合并老师与课程表-- hive当中创建cou

Redis(6)删除策略(定时删除、惰性删除、定期删除)和数据逐出策略

目录一、过期数据二、数据删除策略1. 定时删除2. 惰性删除3. 定期删除4. 删除策略比对三、逐出算法1. 新数据进入检测2. 影响数据逐出的相关配置3. 数据逐出策略配置依据一、过期数据Redis是一种内存级数据库,所有数据均存放在内存中,内存中的数据可以通过TTL指令获取其状态:XX :具有时效性的数据-1 :永久有效的数据-2 :已经过期的数据 或 被删除的数据 或 未定义的数据二、数据删

#redis#nosql
zookeeper无法启动,报“Unable to load database on disk”

问题背景:在三台虚拟机上都装了zookeeper服务,由于昨晚虚拟机在强制关机之前Zookeeper服务没有正常关闭,导致今天三台虚拟机上的第二台虚拟机(node02)上的Zookeeper服务不能正常启动,进程没有起来:原因定位:在node02机器上查看Zookeeper服务启动的日志,显示报错ERROR [main:QuorumPeer@577] - Unable to load databa

#zookeeper
到底了