一、主从复制存在的问题

Redis的主从复制模式下,一旦主节点由于故障不能提供服务,需要人工将从节点晋升为主节点,同时还要通知应用方更新主节点地址,对于很多应用场景这种故障处理的方式是无法接受的。可喜的是Redis从2.8开始正式 提供了Redis Sentinel(哨兵)架构来解决这个问题
 
 

二、哨兵的高可用行

当主节点出现故障时,Redis Sentinel能自动完成故障发现和故障转移,并通知应用方,从而实现真正的高可用。
 

三、哨兵的工作内容

1.监控

不断的检查master和slave是否正常运行。master存活检测、 master与slave运行情况检测

2.通知

Sentinel节点会将故障转移的结果通知给应用方。

3.自动故障转移

实现从节点晋升为主节点并维护后续正确的主从关系

4.配置提供者

在Redis Sentinel结构中,客户端在初始化的时候连接的是Sentinel节点集合,从中获取主节点信息

四、哨兵工作流程

1.主节点出现故障,此时两个从节点与主节点失去连接,主从复制失败。

2.每个Sentinel节点通过定期监控发现主节点出现了故障

3.多个Sentinel节点对主节点的故障达成一致(超过半数的哨兵),选举出sentinel-3节点作为领导者负责故障转移

4.Sentinel领导者节点执行了故障转移

找到最合适的从节点(slave-1)成为新的主节点后,更新应用方的主节点信息,重新启动应用方,其他从节点复制新的主节点

 

5.如果原来的主节点恢复了也会让它去复制新的主节点

五、监控任务

Redis Sentinel通过三个定时监控任务完成对各个节点发现和监控
 
1.每隔10秒,每个Sentinel节点会向主节点和从节点发送info命令获取最新的拓扑结构
2.每隔2秒,每个Sentinel节点会向Redis数据节点的__sentinel__:hello频道上发送该Sentinel节点对于主节点的判断以及当前Sentinel节点的信息同时每个Sentinel节点也会订阅该频道,来了解其他Sentinel节点以及它们对主节点的判断
3.每隔1秒,每个Sentinel节点会向主节点、从节点、其余Sentinel节点发送一条ping命令做一次心跳检测,来确认这些节点当前是否可达。
 

六、主观下线和客观下线

1.主观下线

上一小节介绍的第三个定时任务,每个Sentinel节点会每隔1秒对主节 点、从节点、其他Sentinel节点发送ping命令做心跳检测,当这些节点超过 down-after-milliseconds没有进行有效回复,Sentinel节点就会对该节点做失败 判定,这个行为叫做主观下线。从字面意思也可以很容易看出主观下线是当前Sentinel节点的一家之言,存在误判的可能

2.客观下线

当Sentinel主观下线的节点是主节点时,该Sentinel节点会通过sentinel is- master-down-by-addr命令向其他Sentinel节点询问对主节点的判断,当超过 <quorum>个数,Sentinel节点认为主节点确实有问题,这时该Sentinel节点会 做出客观下线的决定,这样客观下线的含义是比较明显了,也就是大部分 Sentinel节点都对主节点的下线做了同意的判定,那么这个判定就是客观的
 

七、领导者哨兵节点选举

假如Sentinel节点对于主节点已经做了客观下线,那么是不是就可以立即进行故障转移了?当然不是,实际上故障转移的工作只需要一个Sentinel 节点来完成即可,所以Sentinel节点之间会做一个领导者选举的工作,选出一个Sentinel节点作为领导者进行故障转移的工作。Redis使用了Raft算法实现领导者选举

Redis Sentinel选举大致流程:

(1)每个在线的Sentinel节点都有资格成为领导者,当它确认主节点主观下线时候,会向其他Sentinel节点发送sentinel is-master-down-by-addr命令,要求将自己设置为领导者。
(2)收到命令的Sentinel节点,如果没有同意过其他Sentinel节点的sentinel is-master-down-by-addr命令,将同意该请求,否则拒绝。
(3)如果该Sentinel节点发现自己的票数已经大于等于max(quorum,num(sentinels)/2+1),那么它将成为领导者。
(4)如果此过程没有选举出领导者,将进入下一次选举。
(5)

 此时选举的是领导者哨兵节点,还没有选举主节点的流程,选举哨兵领导的目的主要是为了快速恢复,所以最快响应的哨兵最合适,大概率是最先发现主节点挂掉的哨兵

八、故障转移流程详解

1.找主节点

选举出的领导者Sentinel节点负责故障转移需要找到新的主节点,具体步骤如下:
(1)过滤:“不健康”(主观下线、断线)、5秒内没有回复过Sentinel节点ping响应、与主节点失联超过down-after-milliseconds*10秒。
(2)选择slave-priority(从节点优先级)最高的从节点列表,如果存在则返回,不存在则继续。
(3)选择复制偏移量最大的从节点(复制的最完整),如果存在则返回,不存在则继续。
(4)选择runid最小的从节点

2.晋升主节点

Sentinel领导者节点会对第一步选出来的从节点执行slaveof no one命令让其成为主节点。

3.通知其他节点

Sentinel领导者节点会向剩余的从节点发送命令,让它们成为新主节点的从节点,复制规则和parallel-syncs参数有关
 

4.降级原主节点

Sentinel领导者节点集合会将原来的主节点更新为从节点,并保持着对其关注,当其恢复后命令它去复制新的主节点。

更多推荐