分布式系统架构

   当前大部分分布式系统架构如下图：

  有一个中心节点来存储集群元数据和管理work儿节点，中心节点采用主备模式来实现HA。当中心节点主故障后，备节点接管业务成为主节点。我们下面讨论的心跳机制就是基于这种分布式架构而设计的。

心跳设计目标：

     1.  master控制节点的切换，不可以影响server的心跳。

     2.  server可以感知到master的每一次切换。

     3.  master在任意场景下都不会丢失server故障的事件。

     4.  心跳可以作为其它控制消息是否需要重试的依据。

心跳Clien端设计：

  a.  worker2启动后只有master的列表，并不知道哪个是leader，因此先广播bootstrap信息。

  b.  只有leader节点响应bootstrap信息，leader生成session id并持久化，返回bootstrap ack 给worker2，标记worker2为Up。

  c.  worker2收到ack信息本地记录leader的epoch，sessionid等信息作为后续发送心跳的凭证，并进入connected状态。 

  d. bootstrap ack消息还需要携带，心跳超时时间，假心跳超时时间。

  假心跳超时： 假心跳超时的时间一般小于心跳超时的时间，例如：心跳超时的时间为5s，假心跳超时的时间就为3s。这主要是为了识别leader切换，当到了假心跳超时时间后，worker将开始广播心跳，尝试连接到新的leader，在心跳超时时间内连接上新的leader则对外是无感知的。

a. worker2进入connected状态后，后续定期发送HB消息给leader，leader返回ACK。

b. 如果这时候leader故障了，follwer变成leader，超过假心跳超时时间后将会触发心跳广播。

a. leader故障后，新的leader接管了业务，并且从持久化存储中load起worker2的相关信息，主要是sessionid信息。

b. worker2到达假心跳时间后意识到旧leader可能故障，因此开始广播心跳寻找新的leader。

c.  新的leader收到worker2的信息，并且比对sessionid是一致的则接收并返回hb ack。

d. worker2收到新的HB ack后更新新的leader地址与epoch信息，整个流程对外是透明的。

a. worker2找到新leader后，不再广播心跳而是单一的给leader发送。