k8s部署redis一主两从三哨兵，1. 一共6个容器，1个主节点、2个从节点、3个哨兵节点。2. 编写namespace脚本，创建专门的namespace3. 编写configmap脚本，分别将主节点、从节点、哨兵的配置写在里面4. 编写secret脚本，将redis的密码保存在里面5. 编写storageClass脚本，用于自动创建磁盘资源6. 编写service脚本，1个提供redis之间的

一、为什么要使用Redis1、读写的二八原则  大多数场景下用户的写操作次数远远小于读操作次数，例如：用户使用淘宝的时候，绝大部分时间是查询商品，下单购买的操作频率相对较低，将频繁读取的数据，写入到reids中，可以减少读取数据库的次数，降低数据库的负载，同时也能加快读取速度2、信息的统一管理  当系统部署多个节点的时候，每个节点的缓存数据独立管理，会导致系统之间的数据出现不一致，交互不及...

一、k8s部署mysql主从需要解决上面问题 1. 启动顺序有要求，master节点必须比slave节点先启动2. 节点挂掉了，新的pod启动必须使用原先pod的资源3. master与slave的配置不一样4. master启动之后需要设置主从授权账户，slave需要执行change master命令，以及加入主从的命令5. 希望客户账户名密码自己配置6. slave需要知道master节点的地

目录一、介绍二、下载（非必要）三、idea安装protobuf插件（非必要）四、使用1、添加maven依赖2、添加maven插件3、创建定义文件4、使用maven创建对象5、直接在代码中使用一、介绍  Protocol Buffer是Google的语言中立的，平台中立的，可扩展机制的，用于序列化结构化数据 - 对比XML，但更小，更快，更简单。您可以定义数据的结构化，然后可以使用特殊生成的源代码轻

文章目录一、数据切分1、垂直切分2、水平切分3、分库分表的两种模式二、使用MyCat分库分表1、系统环境2、mysql安装（1）下载mysql的yum引导（2）将文件上传到linux系统上（3）安装mysql（4）启动mysql（5）查询登录的默认密码（6）登录mysql（7）修改默认密码（8）创建用户并授权3、mycat安装（1）下载地址（2）将文件上传到linux系统上（3）解压压缩包（4）修

一、kafka在zookeeper中的存储结构producer不在zk中注册，消费者在zk中注册。 二、kafka消费过程分析kafka提供了两套consumer API：高级Consumer Api和低级Api1.高级Api优点：编写简单，不需要自行管理offset，系统通过zookeeper自行管理不需要管理分区，副本等情况，系统自...

一、kafka是什么在流式计算中，kafka一般用来缓存数据，storm通过消费kafka的数据进行计算。1.Apache kafka是一个开源的消息系统，由scala写成，是由Apache软件基金会开发的一个开源消息系统项目。2.kafka最初始由Linkedin公司开发，并于2011年初开源。2012年10月从Apache incubator毕业。该项目的目标是为处理实时数据提供一...

一、命令行操作1.查看当前服务器中的所有topicbin/kafka-topics.sh --zookeeper localhost:2181 --list2.创建topicbin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 3 --partitions 1 --topic f...

一、数据倾斜优化1.合理设置Map数量       1.通常情况下，作业会通过input的目录产生一个或者多个map任务       主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。       2.Map并非越多越好       如果一个任务有很多小文件，则每个小文件也会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的...

一、分桶及抽样查询1.分桶表数据存储        分区针对的是数据存储路径（HDFS中表现出来的便是文件夹），分桶针对的是数据文件。分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是当数据要确定合适的划分大小的时候，分区便不再合适。分桶是将数据集分解成更容易管理的若干部分的技术。2.先创建分桶表，通过直接导入数据的方式插入数据创建分桶表...