DolphinDB 用户入门指南之金融篇（3）- 4. 数据导入与数据清洗

What this page covers

• 数据导入与数据清洗的问题概览与目标
• DolphinDB 数据导入方式的方法导览
• 从文本（CSV）导入的流程与约束
• 按天大文件导入：并行作业与校验
• 小文件导入：合并、分批与异常重写
• 超大文件逐笔数据：分块读取与并行冲突规避
• 常见问题：OOM、列不一致、分区策略导致写入无效

技能认证特训营第二期报名入口

页面顶部提供活动报名宣传与限时报名链接入口。

• 本页包含“技能认证特训营第二期”的报名链接。
• 报名链接指向 qingsuyun.com 的活动页面。

DolphinDB 用户入门指南之金融篇（3）

本部分展示文章的标题信息，以及作者与发布日期。

• 发布日期为 2025-01-07。
• 作者署名为 momo。

4. 数据导入与数据清洗：问题概览

说明在建库建表后进入数据导入/迁移阶段时可能遇到的问题，并引出教程目标。

• 导入可能出现类型解析错误或空值问题。
• 中文字符编码可能导致导入后显示乱码。
• 导入过程可能需要字段增删改、重排序或多列合并。
• 导入后数据量可能相对源文件大小出现膨胀。
• 社区版本导入可能因内存限制出现 OOM。

4.1 方法导览

介绍 DolphinDB 支持的多种数据导入方式，并提供参考文档方向。

• DolphinDB 支持多种文件格式的数据导入方式。
• DolphinDB 支持从数据库迁移数据。
• DolphinDB 支持通过实时数据订阅进行数据导入。

4.2 从文本文件导入数据

以 CSV 文本文件为示例讲解导入流程、约束与典型问题处理方向。

• CSV 文件需与 DolphinDB server 位于同一台服务器。
• 启动 DolphinDB server 的用户需要有文件读权限。

4.2.1 导入一年快照数据（每天一个文件）

以按天单文件的较大文件场景为例，包含模拟数据、批量写入建议、多线程后台作业导入与导入后校验。

• 示例场景为一年股票快照数据：每天一个 CSV 文件，包含 100 只股票。
• 示例中单文件大小为“约 300MB”（图示约 335MB~339MB）。
• 经验建议：几百 MB 的文件以“单批写入”较为合适。
• submitJob 可为每个文件写入创建后台作业进行多线程并行处理。
• 并行写入要求每个线程写入不同分区，避免分区冲突。
• 该按天文件场景下，文件并发写入被描述为不会造成分区冲突。
• 批处理作业并行度受 workerNum 影响；默认发行版配置为 4。
• submitJob 默认任务并行度为 2；submitJobEx 可用 parallelism 调高并行度。

4.2.2 导入一天快照数据（每个股票一个文件）

针对小文件、多事务的导入场景，提出先合并再分批导入以降低事务开销，并说明分区冲突规避与异常重写。

• 示例场景为一天数据：每个股票一个 CSV 文件，共 500 只股票。
• 图示小文件大小约 3.3MB 左右。
• 每个小文件单独起线程写入可能效率低，原因包含事务开销较大。
• 推荐做法：先载入内存并合并多个文件后再导入数据库。
• 为避免分区冲突，可将同一 HASH 桶的数据作为一批导入。
• tableInsert 会返回写入的数据条数。
• getRecentJob 或 getJobReturn 可用于定位失败任务或获取作业写入条数。
• dropPartition 可用于删除写异常分区后重写（示例包含分区路径）。

4.2.3 导入逐笔成交数据（每天一个文件）

逐笔超大文件导入示例包含 TSDB 建库建表、分块读取写入，以及并行写入导致分区冲突的规避策略。

• 示例场景为一天逐笔成交数据：每天一个 CSV 文件，共计 500 只股票。
• 示例数据库 dfs://stock_trade 使用 TSDB 引擎，并包含 VALUE 与 HASH 分区设置。
• 示例表按 TradeDate 与 SecurityID 分区，并设置 sortColumns 与 keepDuplicates=ALL。
• 示例仅模拟 3 日数据范围并保存对应日期文件。
• 图示中单日文件大小可达 1.5GB（示例日期为 2022.01.04）。
• textChunkDS 可按指定大小将大文本文件划分为多个数据源，再通过 mr 写入数据库。
• mr+textChunkDS 与 loadTextEx 都可分块读文件写库，但前者允许更灵活配置数据源大小。
• 数据源按文件大小划分时，并行写入可能造成分区冲突；可设置 parallel=false 串行写入。

4.3 数据预处理

说明入库前常见预处理类型，并通过后续案例展开。

• 预处理包含类型转换。
• 预处理包含字段处理（合并、过滤、重排序、增加）。
• 预处理包含记录处理（异常过滤、跳过或过滤记录）。

4.3.1 时间类型解析

展示两类时间戳文本格式解析问题：一种需要通过 schema 修正类型推断，另一种需要 temporalParse 处理非标准格式。

• 直接导入时 tradeTime 可能无法识别为时间戳，并被推断为 LONG。
• 通过 extractTextSchema 并将 tradetime 类型设为 TIMESTAMP，可被正确解析并查询到时间值。
• 并非所有时间戳格式都会被 DolphinDB 自动匹配。
• 将 tradetime 设为 TIMESTAMP 后直接 loadText 导入可能不报错，但时间列变为空值。
• 可先以 STRING 导入时间字段，再用 temporalParse 指定格式转换为 TIMESTAMP。
• loadTextEx 导入分布式表时可在 transform 参数中定义字段转换逻辑。

4.3.2 字段增删改与数组向量合并（loadTextEx + transform）

介绍 loadTextEx 常用参数与字段处理函数，并示例说明导入时字段处理与数组向量合并方式。

• loadTextEx 可通过 transform 实现字段类型修改、增删字段与记录修改等处理逻辑。
• 文中列举的 loadTextEx 参数包含 skipRows 与 delimiter。
• 文中列举的 loadTextEx 参数包含 containHeader 与 arrayDelimiter。
• 文中列举的 loadTextEx 参数包含 arrayMarker。
• 字段处理相关函数清单包含 dropColumns! 与 replaceColumn! 等。
• transform 参数仅接受指定函数为一元函数；示例通过部分应用固定参数实现一元函数。
• fixedLengthArrayVector 可将多列合并为一列数组向量（示例用于多档价格列）。
• loadTextEx 可用于向分布式表导入文本数据，并可指定 partitionColumns、schema、sortColumns 等。

4.3.3 中文乱码（GBK 编码）处理

说明文本导入编码限制与 GBK 文件乱码现象，并给出编码转换处理方式。

• DolphinDB 仅支持导入 UTF8 和 ANSI 编码文件。
• 直接导入 GBK 编码 CSV 可能在 DolphinDB 中显示乱码。
• convertEncode / toUTF8 可用于导入时进行编码转换（示例包含 toUTF8(...,"gbk")）。

4.4 常见问题

汇总 OOM 排查与缓存清理、写入列类型/顺序不一致、以及 VALUE/RANGE 分区策略导致写入无效等问题与建议处理。

• DolphinDB 社区版本存在 8G 的内存限制。
• OOM 报错示例包含 “Out of memory” 与写入失败信息。
• cancelJob 可取消单机的后台作业。
• cancelJobEx 可取消集群节点上的后台作业。
• objs(true) 可统计临时变量的内存占用。
• undef 可用于清除临时变量（包含 undef all）。
• getSessionMemoryStat() 可获取缓存的内存占用（单位 B）。
• 表中给出多类缓存清理接口示例（如 clearAllCache、flushOLAPCache、flushTSDBCache）。
• 写入时报错示例包含列类型不一致提示。
• 写入需确保数据类型与字段顺序与表定义完全一致。
• VALUE 分区写入无效可检查 newValuePartitionPolicy 或调用 addValuePartitions。
• RANGE 分区不支持自增；超出范围需 addRangePartitions 后再写入。
• 并行导入时多线程写同一分区可能出现 chunk 被锁定的异常。

4.5 下一步阅读

本部分提供后续阅读入口，覆盖文本导入、数据清洗与相关模块/插件方向。

• 包含与文本导入相关的后续阅读链接。
• 包含与数据清洗、行情数据模块或插件相关的后续阅读链接。

Facts index