集群间的异步复制

集群间的异步复制指通过异步方式,将主集群复制到从集群,使主从集群数据一致。集群间的异步复制是集群异地容灾的一个解决方案,通常主集群用于实时的业务查询,而从集群则是作为主集群的一个备份。

与传统集群间的异步复制解决方案相比,DolphinDB 具有以下优势:

  • 容错性强。节点宕机不会造成数据丢失,主从集群数据最终会保持一致。

  • 运维便捷。提供在线监控函数以及错误修复函数。

支持性:

  • 仅支持分布式表,暂不支持内存表和本地磁盘表。

  • 对 DDL(Data Definition Language)/DML(Data Manipulation Language) 操作的支持性请参见下表。

  • 不支持权限管理、分级存储以及存储引擎配置修改等非 DDL/DML 操作。

支持 对应操作类型(operationType)
append / tableInsert APPEND、APPEND_CHUNK_GRANULARITY(APPEND Best Effort)
delete SQL_DELETE
update SQL_UPDATE
upsert! UPSERT
dropTable DROP_TABLE
dropPartition DROP_PARTITION
dropDatabase DROP_DB
addRangePartitions ADD_RANGE_PARTITION
addValuePartitions ADD_VALUE_PARTITION
database CREATE_DOMAIN
create, createPartitionedTable, createTable CREATE_TABLE, CREATE_PARTITIONED_TABLE
addColumn ADD_COLUMN
dropColumns DROP_COLUMN
renameTable RENAME_TABLE
truncate TRUNCATE_TABLE
replaceColumn REPLACE_COLUMN
setColumnComment SET_COLUMN_COMMENT
rename! RENAME_COLUMN

异步复制流程

(1)启用集群间的异步复制,在配置文件指定相关配置参数。参考集群间的异步复制配置项

(2)配置完成后,启动服务器。在主集群数据节点调用 setDatabaseForClusterReplication(dbHandle, true) ,开启某个数据库集群间的异步复制(一次调用只启动一个数据库的异步复制)。

(3)主集群开启异步复制后,从集群自动到主集群拉取异步复制任务,然后逐一执行。

(4)若从集群某个数据库的异步复制任务多次失败导致整个异步复制中断(调用 getSlaveReplicationQueueStatus 函数,返回字段 status 为 STOPPED),用户可以尝试以下方案解决:

(5)若需要停止所有数据库的异步复制,可以在主集群和从集群的控制节点分别调用 stopClusterReplication 函数。调用后,正在执行的任务会继续进行,但主集群不再将异步复制任务放进发送队列,从集群不再从主集群拉取异步复制任务。

(6)若要停止某个数据库的异步复制,可以调用 setDatabaseForClusterReplication(dbHandle, false) 。调用后,正在执行的任务会继续进行,但该数据库不再产生异步复制任务。

异步复制机制

主集群:

(1)事务完成后,根据两阶段提交协议,协调节点发送 “commit” 信号给控制节点,同时将事务的元数据发送给控制节点。若为写事务,则协调节点将该事务的数据持久化到本地。

(2)控制节点收到元数据后,将其写入 DFSMetaLog 文件。

  • DFSMetaLog 文件路径由配置项 dfsMetaDir 决定。

(3)协调节点发送事务 “complete” 信号给控制节点。

(4)控制节点将已经完成的事务的元数据放入发送队列。并根据入列先后标记任务 id。

(5)对发送队列内的任务进行冲突检测。若两个任务写入或修改的 chunk 存在交集,则被认为是冲突的。

(6)根据事务的执行顺序和是否冲突,为其标记组号,系统保证同一组的任务是可以并行执行的。

从集群(记录一个偏移量标记从主集群拉取任务的id):

(1)控制节点根据偏移量从主集群发送队列获取任务。

(2)将元数据通过哈希算法映射到各个从集群的数据节点,映射信息将保存在从集群控制节点的内存中。然后,从最小的组号开始,将元数据发送到对应的数据节点。

(3)若数据节点检测到该任务为写操作,则根据元数据中主集群节点的 ip:port,将任务的数据从主集群拉取到本地。

(4)根据任务对应的查询语句,在当前节点发起事务。

  • 多个数据节点间可以并发执行同一组的任务(即不冲突的任务可以并发执行)。若同一组任务中,有任务执行失败,则不再执行下一组任务。

(5)事务完成后,根据两阶段提交协议,数据节点发送 “commit” 信号给控制节点。

(6)控制节点将已经提交的任务 id 写入 EditLog。

(7)数据节点发送 “complete” 信号给控制节点。控制节点收到后,标记该任务为完成状态。并继续执行步骤(2)到(7)。

(8)控制节点将标记为完成状态的任务 id 发送给主集群,主集群发送队列根据该信息进行垃圾回收。

注:步骤(8)和步骤(1)同时进行。

注意:若增加从集群的节点,步骤(2)的哈希算法仍基于原节点数进行映射,因此异步复制任务不会被分配到拓展的节点上。