logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

离线安装部署CDH6.3.2集群

今天用虚拟机离线安装CDH6集群,现在CDP7已经出了,但没有社区版了,CDP7装起来只能用个60天,相比于CDH6的组件只有hive和spark进行了大版本更新以及加入几个新的组件,所以这里还是装CDH6,主要还是因为好久以前就下好了parcel包。。。

#cloudera#大数据#集群
Linux后台执行命令并获取pid,使用pid文件杀死进程

有一些脚本或命令在执行的时候会占据屏幕,当关掉终端时该命令就被杀掉了,有时候我们想让它们在后台执行,甚至想要在执行之后获得他的pid以便于追踪它的执行状况,可以使用下面的方式

#bash
Linux编码及dos2unix,unix2dos命令

通常我们在执行shell脚本的时候会遇到类似下面的错误,而事实上脚本没有任何问题,很多人会卡在这一步很久,其实有可能是编码导致的回车符不一致引起的

#linux#windows#unix
Phoenix创建二级索引及使用

一、CDH5.14集群下Phoenix4.14.0安装及性能对比phoenix/impala/hive二、CDH6.2中使用parcel离线安装Phoenix5.0.0三、使用Phoenix映射hbase表创建表和视图之前提到phoenix实现了hbase的sql接口,并且支持二级索引,本篇内容就介绍一下如何使用Phoenix创建二级索引及使用。官方文档-二级索引创建索引建索引:CREATE IN

#hbase#大数据#nosql
Kafka系列(四)、消费者策略、Rebalance机制、Offset存储机制

本篇是kafka系列的第四篇,介绍kafka消费者策略,分区分配策略,Rebalance重分配策略,以及offset存储机制

#kafka
Redis系列(十三)、pub/sub发布与订阅(对比List和Kafka)

在前面的文章中或多或少有提到Redis的publish命令,它就是Redis中的发布订阅中的一个命令,本篇就介绍Redis中的发布订阅模式,以及对比使用List实现的消息队列和传统消息队列Kafka的区别。

#redis#kafka
HBase系列(二)、架构原理

本篇内容介绍Hbase的架构原理。为Hbase系列的第二篇。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase可在廉价服务器上搭建起大规模结构化存储集群。是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,因此可以容错地存储海量稀疏的数据。HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,使用Ja

#hbase#架构#zookeeper
分布式事务(三)、柔性事务之 TCC、Saga、本地消息表、事务消息、最大努力通知

在前面的文章中我们提到了柔性事务遵循BASE理论,满足最终一致性,柔性事务主要分为补偿型和通知型。补偿型事务又分TCC、Saga,通知型事务分事务消息、最大努力通知型。补偿型事务都是同步的,通知型事务都是异步的。本篇介绍柔性事务的这几种实现方案:TCC、Saga、事务消息、本地消息表、最大努力通知。

#分布式
到底了