金融数据导入手册之：逐笔数据篇

What this page covers

• 活动报名入口信息（页面顶部）。
• 文章标题、发布日期与内容范围说明。
• 数据导入前准备：数据源、存储方案、分区规划与字段类型示例。
• loadTextEx 导入与 transform 清洗/转换能力。
• 导入常见问题与配置建议（缓存、内存、NFS、去重）。

技能认证特训营第二期正式开启（限时报名） cta

页面顶部的活动报名入口与优惠提示。

• 本页包含“技能认证特训营第二期”的报名入口信息。
• 报名链接指向 qingsuyun.com 的活动页面。

金融数据导入手册之：逐笔数据篇 product_overview

新闻文章标题与发布日期，并说明内容将概述导入准备与核心步骤且完整教程在官方知乎。

• 文章发布日期为 2022.12.29。
• 本文内容范围包含导入前准备工作与导入核心步骤概述。
• 完整教程发布在官方知乎。

准备工作示例 how_it_works

给出数据导入前的准备工作三方面：数据源分析、存储方案规划、分区规划，并以逐笔委托 CSV 为例说明字段与类型选择。

• 导入前准备工作包含：数据源分析、规划存储方案、规划分区。
• 数据源分析从 DolphinDB 数据类型兼容性角度出发。
• 无表连接需求时，推荐单库单表存储数据。
• 有表连接需求时，推荐一库多表存储数据。
• 逐笔数据分区规划可采用复合分区：先按日期值分区，再按股票代码做 HASH 分区。

CSV 示例与字段/类型要点

• 示例以逐笔委托数据 CSV 文件为例，并用 Linux 的 head 命令查看。
• 示例 CSV 第一行是文件说明，读取时需要跳过。
• 从第二行开始是数据，且没有列名。
• 建表时需根据说明文档定义字段名称与字段类型。
• SecurityID、OrderBSFlag、OrdType 可使用 SYMBOL 类型。
• TransactTime 使用 TIMESTAMP 数据类型。
• 整数可用 INT，浮点数可用 DOUBLE。
• 本教程存储引擎推荐选用 TSDB 引擎。

数据导入与清洗转换 how_it_works

说明 DolphinDB 使用 loadTextEx 进行 CSV 读取、清洗、入库一体化，transform 参数可引用函数以进行类型转换、增列、过滤、编码转换、部分列导入等。

• loadTextEx 可用于 CSV 读取、数据清洗和入库一体化操作。
• 示例代码包含数据库创建/引用：db = database("dfs://sh_entrust")。
• transform 参数可引用 transType 函数定义，用于清洗与类型转换。
• transform 可用于转换数据类型。
• transform 可用于在 CSV 基础上增加列。
• transform 可用于过滤无效数据。
• transform 可用于转换字符编码。
• transform 可用于导入部分列。

transform 典型用例（按页面示例拆分）

• 当 SecurityID 为整型导致与 SYMBOL 不符而报错时，可用自定义转换后再导入。
• transType 函数定义示例片段：def transType(mutable memTable)。
• 当 CSV 缺少列但文件名包含信息时，可通过 transform 引用函数增加列并赋值。
• addCol 函数定义示例片段：def addCol(mutable memTable,datePara)。
• 可在 transform 引用函数中用 select 筛选数据（示例：只写入价格大于 0 的数据）。
• fliterData 函数定义示例片段：def fliterData(mutable memTable)。
• 有时需要把 GBK 编码的列转成 UTF-8。
• 字符编码转换示例包含函数定义片段：def addCol(mutable memTable)。
• 可在 transform 引用函数中筛选所需列，实现仅导入部分列。
• partCol 函数定义示例片段：def partCol(mutable memTable)。

常见问题 faq

针对导入慢/无写入、out of memory、NFS Bad file descriptor、去重等问题给出配置与处理建议。

• 单个 CSV 文件过大可能导致缓存不够用，导入长时间执行不完且无硬盘写入。
• 可将 OLAPCacheEngineSize 与 TSDBCacheEngineSize 调整为大于 CSV 文件大小并重启系统。
• 若使用社区版本 license 且导入 out of memory，建议联系支持销售获取试用版本 license。
• 若 maxMemSize 远小于系统内存，建议配置为系统内存的 80%。
• workerNum 可按“可用内存/单文件大小”向下取整，localExecutors=workerNum-1。
• NFS 导入 Bad file descriptor：建议使用 v3 并将 local_lock 设为 all 挂载。
• 去重可通过建表时指定 keepDuplicates 参数实现。
• keepDuplicates=ALL：保留所有数据。
• keepDuplicates=LAST：仅保留最新数据。
• keepDuplicates=FIRST：仅保留第一条数据。

Facts Index