高速迁移MySQL数据到分布式时序数据库DolphinDB

What this page covers

• 导入 MySQL 数据的方法概述与推荐插件。
• 使用 MySQL 插件前的安装准备提示。
• MySQL 插件下载位置与编译参考。
• 在 GUI 中加载 MySQL 插件的方法与示例。
• 插件接口函数列表与调用方式。
• 导入过程中的数据类型转换规则与注意事项。
• 性能测试条件与对比结果（含耗时、速度、磁盘占用）。

技能认证特训营第二期报名活动

页面顶部包含活动宣传信息，并提供限时报名链接。

• 该页面包含“技能认证特训营第二期”的报名入口信息。
• 页面提供一个可访问的报名链接。

高速迁移MySQL数据到分布式时序数据库DolphinDB（作者与日期）

该部分给出文章标题、作者署名与发布日期。

• 发布日期为 2021-08-05。
• 作者署名为 Junxi。

导入MySQL数据方法概述与推荐插件

介绍 DolphinDB 导入 MySQL 的两种方法，并给出推荐选择与原因（速度、配置）。

• 导入 MySQL 数据的方法包括 ODBC 插件与 MySQL 插件两种。
• 推荐使用 MySQL 插件导入 MySQL 数据。
• 在 6.5G 数据导入对比中，MySQL 插件速度为 ODBC 的 4 倍。
• MySQL 插件无需任何配置，而 ODBC 插件需要配置数据源。

使用前准备：安装指南

提示在使用 MySQL 插件前，需要参考安装使用指南完成 DolphinDB 安装。

• 使用 MySQL 插件前需先安装 DolphinDB。
• 安装参考指向《DolphinDB安装使用指南》（GitHub Tutorials_CN 文档）。

1. 下载插件

说明 MySQL 插件默认所在路径，并提供自行编译的参考信息。

• DolphinDB 安装目录 /server/plugins/mysql 已包含 MySQL 插件。
• 该插件可直接使用。
• 自行编译可参考 DolphinDBPlugin 仓库的 mysql/README_CN.md。

2. 加载插件

说明在 DolphinDB GUI 中使用 loadPlugin 函数加载 MySQL 插件，并给出示例代码。

• 可在 DolphinDB GUI 中使用 loadPlugin 加载 MySQL 插件。
• 示例代码：loadPlugin(server_dir+"/plugins/mysql/PluginMySQL.txt")。

3. 接口函数与调用方式

列出 MySQL 插件提供的接口函数，并说明两种调用方式与推荐方式。

• 插件接口函数包括 connect。
• 插件接口函数包括 showTables。
• 插件接口函数包括 extractSchema。
• 插件接口函数包括 load。
• 插件接口函数包括 loadEx。
• 调用方式之一为 moduleName::apiFunction。
• 调用方式之一为 use moduleName 后直接调用接口函数。
• 一般推荐使用 use moduleName 的调用方法。

3.1 connect

给出 connect 的语法、参数含义、用途与连接示例，并包含认证类型建议。

• connect 语法为 connect(host, port, user, password, db)。
• host 表示 MySQL 服务器主机名。
• port 表示 MySQL 服务器端口号，默认为 3306。
• user 表示 MySQL 服务器用户名。
• password 表示与 user 对应的密码。
• db 表示 MySQL 数据库名称。
• connect 用于创建 MySQL 连接并返回连接句柄。
• 建议 MySQL 用户的 Authentication Type 为 mysql_native_password。
• 连接示例：conn=connect("127.0.0.1",3306,"root","123456","employees")。

3.2 showTables

给出 showTables 的语法、参数说明、用途与示例输出。

• showTables 语法为 showTables(connection)。
• connection 参数为 connect 返回的连接句柄。
• showTables 返回 DolphinDB 类型的数据表，包含 MySQL 数据库中所有表名。
• 示例输出包含表名：employees。
• 示例输出包含表名：salaries。

3.2 extractSchema

给出 extractSchema 的语法、参数说明、返回结果说明与示例输出。

• extractSchema 语法为 extractSchema(connection, tableName)。
• connection 参数为 connect 返回的连接句柄。
• tableName 参数为 MySQL 数据表名称。
• 返回表包含字段名、导入后的 DolphinDB 类型与 MySQL 类型。
• 示例映射包含 emp_no: LONG / int(11)。
• 示例映射包含 hire_date: DATE / date。

3.3 load

给出 load 的语法、参数说明、用途与示例（整表、limit、schema 修改类型）。

• load 语法为 load(connection, table|query, [schema], [startRow], [rowNum])。
• load 用于把 MySQL 数据加载到 DolphinDB 的内存表中。
• schema 为可选参数，可用于修改加载到 DolphinDB 时的数据类型。
• startRow 默认 0，表示从第一条记录开始读取。
• 未指定 rowNum 时读取所有数据。
• 示例：t=load(conn,"employees")。
• 示例：t=load(conn,"select * from employees limit 10")。
• 示例：可通过 schema 修改 last_name 类型为 SYMBOL 后再 load。

3.4 loadEx

给出 loadEx 的语法、用途、限制与示例，并说明数据库路径在不同目标（内存/分布式）下的设置方式。

• loadEx 语法为 loadEx(connection, dbHandle, tableName, partitionColumns, table|query, [schema], [startRow], [rowNum])。
• loadEx 用于把 MySQL 数据加载到 DolphinDB 的分区表中。
• loadEx 不支持加载到 DolphinDB 的顺序分区表。
• 示例将 employees 加载到磁盘 VALUE 分区表。
• 示例包含结果：select count(*) from loadTable(db,"pt") => 300,024。
• 加载到内存分区表时，可将 database 路径设为空字符串。
• 加载到分布式表时，database 路径可设为以 “dfs://” 开头。
• 分布式表需在集群中使用。

4. 数据类型转换

说明使用 MySQL 插件导入时的数据类型转换规则与注意事项，并提及转换规则表（图）。

• 使用 MySQL 插件导入时会进行相应类型转换。
• 该部分提供转换规则表（图）。
• DolphinDB 的整型（SHORT/INT/LONG）均为有符号。
• 为防止溢出，MySQL 无符号整型会转换为高一阶的有符号类型。
• MySQL 插件目前不支持 64 位无符号类型转换。
• DolphinDB 中 CHAR(-128) 表示 NULL。
• DolphinDB 中 LONG(-9223372036854775808) 表示 NULL。
• MySQL 的 bigint unsigned 默认转换为 DolphinDB 的 LONG。
• 若 bigint unsigned 溢出，可用 schema 指定为 DOUBLE 或 FLOAT。
• char/varchar 长度 ≤10 转为 DolphinDB SYMBOL。
• char/varchar 长度 >10 转为 DolphinDB STRING。
• 若字段值大量重复，适合用 SYMBOL。
• 示例场景包括金融数据中的股票代码或合约代码字段。

5. 性能测试

给出在特定硬件与数据集下的导入耗时、读取速度与磁盘占用对比（MySQL 插件 vs ODBC vs clickhouse），并包含结论性评价。

• 测试硬件为普通 PC：16G 内存，4 核 8 线程，使用 SSD。
• 数据集为美国股票市场 1990-2016 每日报价数据。
• 数据规模为 6.5G，包含 22 个字段与 50,591,907 行。
• 在 MySQL -> DolphinDB（loadEx）测试中，耗时为 160.5 秒。
• 在 MySQL -> DolphinDB（loadEx）测试中，读取速度为 41.4M/s。
• 导入后 DolphinDB database 磁盘占用为 1.3G。
• 同 PC 条件下，ODBC 需分批每次导入 100 万条记录。
• 同 PC 条件下，ODBC 导入总耗时为 660 秒。
• 导入到 clickhouse 的耗时为 171.9 秒。
• 导入到 clickhouse 的读取速度为 37.8M/s。
• 文中包含“DolphinDB 在时间序列处理和分区管理上更方便”的评价性表述。
• 文中包含“DolphinDB 将是不二选择”的结论性表述。

Facts Index