logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive的msck repair命令

msck repair table tablename修复表分区,常用于手动复制目录到hive表的location下,此时Hive元数据中没有记录到该目录是hive的分区,所以查不到该分区数据。例子:表test_tbl,存储路径为/user/hive/warehouse/test_tbl,分区字段为pt,正常添加分区是这样的:alter table add if not exist...

#hive
使用Python操作InfluxDB时序数据库

上一篇介绍了如何安装InfluxDB以及开启Web操作页面,本篇介绍一下如何使用python操作influxdb。InfluxDB1.1.0和1.8.0版本安装并开启web界面----------------------------------------------------------------------------安装python包influxdb,这里我安装的是5.3.0版本pip

#python#时序数据库#运维
数据结构(四)、LSM树(日志结构合并树)

传统关系型数据库大都使用B-Tree或其变体作为存储结构,能够进行高效查找。但保存在磁盘中时它也有一个明显的缺陷,那就是逻辑上相离很近但物理却可能相隔很远,这就可能造成大量的磁盘随机读写。因此对于关系型数据库来说随机读写比顺序读写慢很多,为了提升IO性能,我们需要一种能将随机操作变为顺序操作的机制,于是便有了本篇要讲的LSM树。LSM树能让我们进行顺序写磁盘,从而大幅提升写操作,作为代价的是牺牲了

#数据结构
Redis系列(二十)、缓存穿透、击穿、雪崩、预热、更新、降级

Redis是高性能的分布式内存数据库,对于内存数据库经常会出现下面几种情况,也经常会出现在Redis面试题中:缓存穿透、缓存击穿、缓存雪崩、缓存预热、缓存更新、缓存降级。本篇分别介绍这些概念以及处理方案。

使用Phoenix映射hbase表创建表和视图

之前的文章介绍了如何在CDH5和CDH6中分别安装phoenix4和phoenix5:CDH6.2中使用parcel离线安装Phoenix5.0.0CDH5.14集群下Phoenix4.14.0安装及性能对比phoenix/impala/hive本篇内容介绍一下如何使用Phoenix映射hbase创建表和视图以及注意事项。1. 进入命令行模式首先进入命令行模式,使用!tables查看当前的表,效果

#hbase#nosql#大数据 +1
impala&hive大数据平台数据血缘与数据地图(二)-实时采集impala血缘日志推送到kafka​​​​​​​

impala数据血缘与数据地图系列:1. 解析impala与hive的血缘日志2. 实时采集impala血缘日志推送到kafka-----------------------------------------实时采集impala血缘日志推送到kafka-----------------------------------------------------使用filebeat采集...

#kafka
在Python中使用ibis,impyla,pyhive,pyspark连接Kerberos安全认证的Hive、Impala

在python中连接hive和impala有很多中方式,有pyhive,impyla,pyspark,ibis等等,本篇我们就逐一介绍如何使用这些包连接hive或impala,以及如何通过kerberos认证。

#python#hive
impala&hive大数据平台数据血缘与数据地图(一)-解析impala与hive的血缘日志

impala数据血缘与数据地图系列:----------------------------------------------------------------------------------------------Impala血缘:CDH官方文档impala数据血缘:https://docs.cloudera.com/documentation/enterprise...

#hive
impala&hive大数据平台数据血缘与数据地图(四)-impala血缘架构图及功能介绍

最近在内部做了个分享,顺便画了一下这次impala数据血缘的架构图:架构图:如果想了解如何实现请参照前面几篇文章:impala数据血缘与数据地图系列:1. 解析impala与hive的血缘日志2. 实时采集impala血缘日志推送到kafka3. 实时消费血缘记录写入neo4j并验证---------------------------------Impala血缘 架构图-------------

文章图片
#hive
impala&hive大数据平台数据血缘与数据地图(三)-实时消费血缘记录写入neo4j并验证

impala数据血缘与数据地图系列:1. 解析impala与hive的血缘日志2. 实时采集impala血缘日志推送到kafka-----------------------------------------实时采集impala血缘日志推送到kafka-----------------------------------------------------前两篇介绍了如何采集impala和hiv

#neo4j#hive
    共 23 条
  • 1
  • 2
  • 3
  • 请选择