DolphinDB高可用集群部署教程

What this page covers

• DolphinDB 高可用总体方案概览（数据、元数据、客户端）。
• 数据高可用：多副本与 2PC、一致性原因与配置参数示例。
• 元数据高可用：控制节点 Raft 组、容错条件与启用步骤。
• 客户端高可用：API 自动重连/切换与 connect 参数示例。
• 动态扩容：使用 addNode 在线增加数据节点的流程。
• 活动报名入口（技能认证特训营第二期）。

技能认证特训营第二期正式开启（限时报名）

页面顶部提供活动报名引导与福利优惠入口。

• 本页包含“技能认证特训营第二期”的报名入口信息。
• 报名链接指向外部 H5 活动页面。

DolphinDB高可用集群部署教程（作者与日期）

该部分给出文章标题、作者署名与发布日期信息。

• 本文发布日期为 2021-08-05。
• 该部分呈现文章标题与作者信息条目。

概述

介绍 DolphinDB 高可用在数据、多副本一致性、元数据 Raft 以及客户端自动切换方面的总体方案与前置条件。

• 高可用方案覆盖数据、元数据与客户端三个层面。
• 数据高可用使用多副本机制，副本存放在不同数据节点上。
• 数据副本一致性通过二阶段提交协议（2PC）实现。
• 元数据存储在控制节点上，并采用 Raft 协议实现高可用。
• 高可用仅在集群中支持，单实例不支持。

数据高可用

说明数据多副本与二阶段提交实现强一致性的原因、相关配置参数与示例说明。

• 数据副本间及数据与元数据间可通过 2PC 实现强一致性。
• 选择 2PC 的原因之一与“单集群可支持千万级以上分区数”相关。
• dfsReplicationFactor 参数用于设置副本个数。
• 默认允许同一数据块的副本分布在同一台机器上。
• dfsReplicaReliabilityLevel 可用于将副本分布在不同机器上以提升可用性。
• Web 集群管理界面提供 DFS Explorer 用于查看数据分布。
• 示例中某分区存在多个副本，单个数据节点宕机时仍可读写该分区数据。

元数据高可用

说明控制节点 Raft 组的元数据高可用机制、容错条件与在既有集群中启用/扩展控制节点的配置与启动步骤。

• 元数据包含数据块存储位置等信息。
• 元数据不可用会导致系统无法正常访问数据。
• Raft 组只有一个 Leader，其余为 Follower。
• 数据节点只能与 Leader 交互以获取元数据服务。
• Leader 不可用时会选举新的 Leader 提供服务。
• 配置要求包括：控制节点数量至少为 3。
• 节点管理操作（如启动/关闭数据节点、修改配置）只能在 Leader 的界面进行。

客户端高可用

描述 API 在数据节点故障时的自动重连与切换机制，并给出 connect 接口参数与 Java 示例。

• 目前 Java、C#、C++ 和 Python API 支持高可用。
• connect 方法签名包含 highAvailability 参数。
• 连接数据节点时将 highAvailability 设为 true 可启用高可用。
• 当连接的数据节点宕机时，API 会自动连接到其他可用数据节点。

动态增加数据节点

介绍通过 addNode 在线扩容数据节点的流程，包括新增服务器上部署代理节点、配置文件与启动命令。

• 可使用 addNode 在线增加数据节点，无需重启集群。
• 在新增物理服务器上部署数据节点前，需要先部署代理节点。
• 新增服务器的 agent.cfg 需要包含 localSite、controllerSite 与 sites 等配置。
• 其他机器上的 cluster.nodes 需要同步为与新增服务器一致的内容。
• 执行 addNode 后，新数据节点默认处于关闭状态，需要手动启动。

总结

总结通过数据、元数据与 API 连接的高可用保障来支持特定行业的不中断服务需求。

• 高可用可用于满足物联网、金融等领域 24 小时不中断服务需求。
• 整体思路包含数据层、元数据层与客户端连接层的可用性保障。

Facts Index