java提高之集群概念
整理的不够系统,需要之后再完善1. zookeeper集群奇数个节点,原因:投票机制,选举效率高2. solrcloud1. 概念solrcloud是solr提供的分布式搜索方案,需要大规模、容错、分布式索引和检索能力时用solrCloud。搜索量很大,搜索请求并发很高时采用。基于solr和zookeeper的分布式搜索方案,主要思想是使用zookeeper作为集群的配置信息中心。...
整理的不够系统,需要之后再完善
1. zookeeper集群
奇数个节点,原因:投票机制,选举效率高
2. solrcloud
1. 概念
solrcloud是solr提供的分布式搜索方案,需要大规模、容错、分布式索引和检索能力时用solrCloud。搜索量很大,搜索请求并发很高时采用。
基于solr和zookeeper的分布式搜索方案,主要思想是使用zookeeper作为集群的配置信息中心。
特色功能:
- 集中式的配置信息
- 自动容错
- 近实时搜索
- 查询时自动负载均衡
3. redis-cluster
1. 概念
为何要搭建Redis集群。Redis是在内存中保存数据的,而我们的电脑一般内存都不大,这也就意味着Redis不适合存储大数据,适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB。Redis更适合处理高并发,一台设备的存储能力是很有限的,但是多台设备协同合作,就可以让内存增大很多倍,这就需要用到集群。
redis 3.0之后版本支持redis-cluster集群,它是Redis官方提出的解决方案,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下:
客户端与 redis 节点直连,不需要中间 proxy 层.客户端不需要连接集群所有节点连接集群中任何一个可用节点即可。
所有的 redis 节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
2. 分布式存储机制-槽
redis-cluster 把所有的物理节点映射到[0-16383]slot 上,cluster 负责维护
Redis 集群中内置了 16384 个哈希槽,当需要在 Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点
例如三个节点:槽分布的值如下:
SERVER1: 0-5460
SERVER2: 5461-10922
SERVER3: 10923-16383
3. 容错机制-投票
选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障,自动触发故障转移操作. 故障节点对应的从节点自动升级为主节点
什么时候整个集群不可用
如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态
其他概念
1. 反向代理
Reverse Proxy,以代理服务器来接收Internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给Internet上请求链接的客户端,此时代理服务器对外表现为一个反向代理服务器。
nginx主机修改nginx配置文件
upstream pinyougou-portal {
server 192.168.25.141:8080;
}
server {
listen 80;
server_name www.pinyougou.com;
location / {
proxy_pass http://pinyougou-portal;
index index.html;
}
}
2. 负载均衡
web工程 由nginx做反向代理实现负载均衡
服务工程 由zookeeper负责负载均衡
nginx配置
upstream pinyougou-portal {
server 192.168.25.141:8080;
server 192.168.25.141:8081;
server 192.168.25.141:8082;
}
server {
listen 80;
server_name www.pinyougou.com;
location / {
proxy_pass http://pinyougou-portal;
index index.html;
}
}
3. 高可用
nginx压力很大,需要建立备份机,主机和备份机都运行高可用监控程序来监控对方的运行状况。
keepalived就是集群管理中保证集群高可用的服务软件,防止单点故障。
更多推荐
所有评论(0)