系统架构设计

1. 三层结构

• 边缘层：用户接入的最外层，承担主要的消息转发任务。

  • 每台服务器上维护一个主 room 和若干从 room。
  • 当有成员加入从 room 时，自动向主 room 发起 relay 连接以同步状态。
  • 消息只在本地机房内传播，减少无意义的跨机房流量。

• 父层：边缘机房之间的数据中继层。

  • 当某边缘房间内用户跨机房时，向父层汇聚连接，形成多区域数据同步网络。
  • 仅维护关键房间的状态与数据转发。

• 中心层：整个系统的核心控制层。

  • 汇聚多区域流量，实现跨区域的数据同步。
  • 通过一致性哈希策略确保中心房间的可靠性。

2. 连接逻辑

• 单向出向连接：每个进程只维护一条出向连接，减少连接复杂性与资源消耗。
• 动态连接管理：
  • 房间内无成员或所有入向连接关闭时，出向连接自动销毁。
  • 出向连接断开时，触发重连机制并同步成员状态变化。

性能优化策略

1. 全同步与半同步切换

• 半同步模式：仅维持与父层的心跳连接，传递必要的房间存在状态。
• 全同步模式：同步成员列表及状态变化，同时转发聊天与业务消息。

动态切换：

• 当上层节点发现存在多个下层连接时，通知切换为全同步模式，保证数据及时分发。
• 当下层连接减少时，上层指示切换回半同步模式，减少资源消耗，实现自动收敛。

2. 中心房间的强一致性同步

为确保跨区域房间的一致性，中心层采用以下策略：

• 一致性哈希选主：通过一致性哈希为下层分配主 VIP，建立全同步连接，其余 VIP 维持半同步连接。
• 动态主节点切换：当主连接断开后，自动按照哈希规则切换到下一个 VIP 并升级为全同步状态，同时通知其他节点更新同步关系。
• 定时域名解析与状态恢复：下层节点周期性计算哈希，尝试恢复到初始连接状态，确保连接的稳定性与最优性。

关键优势

1. 跨区域高效数据同步

• 局部隔离：边缘层房间仅在本机房内传播消息，避免冗余通信。
• 逐级扩展：仅当跨机房需求出现时，逐级上报到父层与中心层。
• 智能收敛：通过动态切换同步模式，确保资源使用最小化。

2. 高可靠性

• 一致性哈希策略确保中心层房间连接的高可用性，即使单点故障也能快速切换。
• 出向连接重试与状态恢复机制，保障系统的自愈能力。

3. 高性能转发

• 每个进程仅维持一条出向连接，大幅降低连接管理的复杂性与资源开销。
• 使用多层架构减少中心节点的流量压力，实现负载均衡。

适用场景

该架构广泛适用于对实时性和可靠性要求极高的场景，如：

• 大型跨区域实时会议系统。
• 超大规模直播间消息同步。
• 复杂分布式社交房间场景（如元宇宙或虚拟活动）。

结语

通过上述设计，我们构建了一套高效、灵活且可靠的实时音视频房间分布式架构。它不仅满足了跨区域低延迟与强一致性的需求，还通过创新的全同步/半同步模式大幅降低了资源消耗，提升了系统的性能和稳定性。

这一架构为实时音视频业务提供了坚实的技术支撑，助力我们应对未来更高并发、更复杂场景的挑战。