整理的不够系统,需要之后再完善

1. zookeeper集群

奇数个节点,原因:投票机制,选举效率高

2. solrcloud

1. 概念

solrcloud是solr提供的分布式搜索方案,需要大规模、容错、分布式索引和检索能力时用solrCloud。搜索量很大,搜索请求并发很高时采用。

基于solr和zookeeper的分布式搜索方案,主要思想是使用zookeeper作为集群的配置信息中心。

特色功能:

  1. 集中式的配置信息
  2. 自动容错
  3. 近实时搜索
  4. 查询时自动负载均衡

3. redis-cluster

1. 概念

为何要搭建Redis集群。Redis是在内存中保存数据的,而我们的电脑一般内存都不大,这也就意味着Redis不适合存储大数据,适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发,一台设备的存储能力是很有限的,但是多台设备协同合作,就可以让内存增大很多倍,这就需要用到集群

redis 3.0之后版本支持redis-cluster集群,它是Redis官方提出的解决方案,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下:

在这里插入图片描述

客户端与 redis 节点直连,不需要中间 proxy 层.客户端不需要连接集群所有节点连接集群中任何一个可用节点即可。

所有的 redis 节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。

2. 分布式存储机制-槽

redis-cluster 把所有的物理节点映射到[0-16383]slot 上,cluster 负责维护

Redis 集群中内置了 16384 个哈希槽,当需要在 Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

例如三个节点:槽分布的值如下:

SERVER1: 0-5460

SERVER2: 5461-10922

SERVER3: 10923-16383

3. 容错机制-投票

选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障,自动触发故障转移操作. 故障节点对应的从节点自动升级为主节点

什么时候整个集群不可用

如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态

在这里插入图片描述

其他概念

1. 反向代理

Reverse Proxy,以代理服务器来接收Internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给Internet上请求链接的客户端,此时代理服务器对外表现为一个反向代理服务器。

nginx主机修改nginx配置文件

upstream pinyougou-portal {
  server 192.168.25.141:8080;
}
server {
  listen	80;
  server_name www.pinyougou.com;
  
  location / {
  	proxy_pass http://pinyougou-portal;
  	index	index.html;
   }
}

2. 负载均衡

web工程 由nginx做反向代理实现负载均衡

服务工程 由zookeeper负责负载均衡

nginx配置

upstream pinyougou-portal {
  server 192.168.25.141:8080;
  server 192.168.25.141:8081;
  server 192.168.25.141:8082;
}
server {
  listen	80;
  server_name www.pinyougou.com;
  
  location / {
  	proxy_pass http://pinyougou-portal;
  	index	index.html;
   }
}

3. 高可用

nginx压力很大,需要建立备份机,主机和备份机都运行高可用监控程序来监控对方的运行状况。

keepalived就是集群管理中保证集群高可用的服务软件,防止单点故障。

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐