1.redis事务-mutil/execredis中mutil是事务的开始，exec是事务的结束127.0.0.1:6379> MULTIOK127.0.0.1:6379> set hello 1QUEUED127.0.0.1:6379> set hello 2QUEUED127.0.0.1:6379> set hello 3QUEUED127.0.0....

众所周知，kafka为了快速的读写，进行了零拷贝、mmap、单个partition中只能被一个consumer读取等等操作，由此牺牲了全局有序性和事务性等保证。于是我就有一个猜想，如果手动去维护kafka的100%投递、幂等性等特性是否就可以使得kafka的读写速度高于rabbitmq，而且又同时具有rabbitmq的良好事务性呢？知道我想到RocketMQ的设计，我感觉这就是对我的猜想的印证..

1. 解决下载erlang慢这是rabbitmq官网提供的erlang，下载比使用erlang官网的下载方式快。url：https://www.rabbitmq.com/releases/2.erlang安装本文中使用的erlang版本如下：（本文章使用的linux版本contos6.7）yum -y install erlang-19.0.4-1.el6.x86_64.rpm检...

1.java API实现对hbase的操作package testhbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import...

1.散列算法哈希算法主要有MD4、MD5、SHA。MD4 1990年 输出128位 （已经不安全）MD5 1991年 输出128位 （已经不安全）SHA-0 1993年 输出160位 （发布之后很快就被NSA撤回，是SHA-1的前身）SHA-1 1995年 输出160位 （已经不安全）SHA-2包括SHA-224、SHA-256、SHA-384，和 SHA-512，分别输出224、25...

floyd以龟兔赛跑来解释这一算法，寻找单链表中是否含有一个圈。一、思想：龟和兔子同时出发，龟走一步，兔子走两步，兔子比龟快，所以兔子一定可以追上龟，就好像在环形跑道中跑的快的运动员会从后面超过跑得慢的运动员。龟兔的行走距离差，恰好是龟的行近距离，龟的行近距离即是循环的倍数。二、尋找循環起點：龜退回起點，兔原地待命，龜兔同時出發，龜走一步、兔走一步。龜兔相遇之處即是循環起點。三、尋找...

一、数据倾斜介绍与定位a、数据倾斜的现象，有两种表现：1、某个task一直在执行任务，其他task轻松执行任务马上就结束了。2、有的task正常运行，有的task内存泄漏。c、数据倾斜定位与出现问题的位置：根据log去定位出现数据倾斜的原因，基本只可能是因为发生了shuffle操作，在shuffle的过程中，出现了数据倾斜的问题。因为某个，或者某些key对应的数据，远远的高于其他的ke...

1.mapreduce整体执行流程input – split切片 – map – map shuffle – 分成多个partition – reduce shuffle – reduce拉去对应的partition到相应的reduce上 – reduce2.map shufflepartition而可以通过自定义partitoner实现自定义分区，是缓解数据倾斜的一种手段。pu...

1.搭建springboot先选择spring initializr ->next创建项目名称选择web版本选择目录因为自定义maven，删除了关于的文件目录结构编写一个helloworld：package com.qianliu.spark.web;import org.springframework.web.bind.annotation.RequestMa...

1.写入数据到hbase首先要保证：hadoop，zookeeper，hbase，flume，kafka都启动了（1）进入hadoop的sbin目录启动hdfs./start-dfs.shjps查看：进入到hbase的bin目录下：start-hbase.shjps查看：2.创建hbase表进入hbase命令行hbase shelllist查看表单list数...