多品种金融数据高效导入丨DolphinDB 希施玛历史数据自动化导入模块介绍

What this page covers

• 模块定位与导入挑战背景。
• 历史数据目录结构要求与市场代码对照。
• 支持的数据源与覆盖市场范围（含表格/图片呈现）。
• schema（csvSchema/dfsSchema）用途与目录结构。
• 建库建表模块与分区/排序方案。
• 导入模块函数、参数与任务查询方法。
• 性能测试环境、结果与吞吐量优化建议。

技能认证特训营第二期报名入口与优惠提示

页面顶部提供活动报名入口，并提示福利优惠信息。

• 提供“技能认证特训营第二期”的报名链接。
• 报名入口与优惠提示位于页面顶部区域。

文章标题、作者与发布日期

页面包含文章标题、作者署名与发布日期信息。

• 文章标题为“多品种金融数据高效导入丨DolphinDB 希施玛历史数据自动化导入模块介绍”。
• 作者署名为 momo。
• 发布日期为 2025-04-03。

引言：希施玛历史数据导入挑战与 CsmarData 模块定位

说明希施玛历史数据的结构与高频特征对入库提出需求，并介绍 DolphinDB 的 CsmarData 模块及本文范围。

• DolphinDB 提供 CsmarData 模块作为高效数据导入解决方案。
• 模块通过结构化数据处理流水线实现多品种金融数据的高效导入。
• 模块采用模块化设计以存储复杂金融数据。
• 覆盖股票与期货期权的多类数据源（示例：Level-2、逐笔、分笔等）。

历史数据文件结构要求与市场代码表

给出希施玛原始文件目录结构要求、注意事项，并提供市场名称与代码对照表。

• 用户需自行解压希施玛数据。
• 主目录下包含以日期命名的日期目录。
• 每个日期目录下包含各市场各数据源当日的 CSV 文件。
• 导入代码依赖该目录结构，解压后需保持一致。
• 提供市场代码对照（示例：SSE、SZSE、SHFE、INE、DCE、GFEX、CFFEX、CZCE）。

模块介绍：组成部分与支持的数据源/市场

概述 CsmarData 模块的三大部分，并说明股票与期货期权的数据源与覆盖市场信息（部分以图片表格呈现）。

• 模块主要包含：数据表结构、数据库和分区表创建、数据导入。
• 股票核心数据源包括：Level-2快照行情、逐笔委托、逐笔成交。
• 期货期权核心数据源包括：分笔数据、套利深度、分价成交量、委托统计、委托队列、静态数据。
• 股票相关数据源覆盖市场为上交所与深交所。
• 期货期权数据支持范围以图片表格形式给出（表 2-2）。

数据表结构：csvSchema 与 dfsSchema

说明 _tbSchema_ 目录下 schema 相关内容的用途与分层结构（stock/futures）。

• _tbSchema_ 包含 csvSchema 与 dfsSchema 子文件夹。
• csvSchema 用于指定 DolphinDB 读取 CSV 文件时的数据格式。
• dfsSchema 用于指定数据写入数据库时的数据格式。
• schema 子目录结构按 stock 与 futures 分类。

数据库与分区表创建：CreateDB.dos / CreateTB.dos 与分区方案

说明创建数据库/分布式表的模块文件，并给出股票与期货期权各数据源的分区与排序方案。

• 创建模块包含 _CreateDB.dos_ 与 _CreateTB.dos_。
• _CreateDB.dos_ 用于创建存储希施玛数据的数据库。
• _CreateTB.dos_ 用于创建存储希施玛数据的分布式表。
• 股票支持沪深分开或合并存储的分区/排序方案。
• 期货期权不同数据源对应不同存储引擎与分区/排序方案。

去重方案：删除已导入日期数据与 isDuplicated 去重

描述导入前删除库内对应日期数据，并在导入当日数据前采用以内存去重的策略（部分以图片表格呈现）。

• 每次导入前删除库内已存在的对应日期数据以避免重复。
• 将当天市场数据读入内存后再执行去重处理。
• 使用 isDuplicated([...], LAST) 进行去重后再导入数据库。
• 该策略用于降低重复提交任务或重复导入的影响。

数据导入：模块文件、主要函数与参数说明

介绍导入模块组成，并说明主要函数的语法、参数约束与功能描述。

• 数据导入模块包含 _loadOneDayData_ 文件夹与 _LoadCsmarData.dos_。
• _loadOneDayData_ 下分为 stock 与 futures 子目录。
• _LoadCsmarData.dos_ 用于导入指定目录下的所有希施玛数据并整合前置模块。
• autoLoadCsmarStockData 用于导入股票 Snapshot/Entrust/Trade 数据源。
• autoLoadCsmarFuturesData 支持 TAQ、Arbi、MarchpriceQty、OrderStatistic、OrderQueue、BasicInfo。
• getJobStatus 用于查询后台任务状态。
• getJobDetails 用于输出后台任务的中间信息。

使用示例：准备数据、上传模块、导入股票与期货期权

分步骤展示目录结构示例、模块上传位置说明，并给出股票与期货期权数据导入脚本示例。

• 模块同步位置为 DolphinDB 的 sever/modules 目录（原文拼写）。
• 股票示例包含：加载模块、登录、设置 fileDir、导入 Snapshot/Entrust/Trade。
• 股票示例包含：使用 getJobStatus 查看导入任务状态。
• 期货期权示例包含：加载模块、登录、设置 fileDir、导入 TAQ/Arbi/MarchpriceQty/OrderStatistic/OrderQueue/BasicInfo。
• 期货期权示例包含：使用 getJobStatus 查看导入任务状态。

注意事项：fileDir 查找规则与数据源/市场字段填写

说明 fileDir 目录层级要求、日期筛选逻辑，以及 markets 参数与支持市场的填写要求示例。

• fileDir 下必须存在以 8 位日期命名的目录层级（如 20250221）。
• 模块会递归查找由 8 位数字组成的日期文件夹并按 startDate/endDate 筛选。
• 模块会在每个日期文件夹下递归查找 CSV 并获取绝对路径。
• 导入单日数据建议通过 startDate/endDate 控制日期，而非通过 fileDir 控制。
• 模块会按数据源名称与市场名称查找文件，名称需填写正确。

性能测试：模块定位、测试环境、性能结果与优化建议

给出性能测试动机与结论性描述、软硬件环境、导入性能结果，以及吞吐量提升建议。

• 模块称专为处理 Level-2 高频数据设计。
• 性能测试环境包含 CentOS Linux 7 (Core) 与内核 3.10.0-1160.el7.x86_64。
• 测试 CPU 为 Intel(R) Xeon(R) Gold 5220R CPU @ 2.20GHz。
• 测试内存为 356G。
• 建议通过 parallel 参数增加后台导入任务数以提升并行度。
• 建议使用读写性能更好的硬盘以缓解磁盘瓶颈。
• 建议数据分盘存储并从多个盘读取以提升吞吐量。

总结：CsmarData 的流水线与分布式存储整合与适用场景

总结模块在多市场、多数据源高频数据入库方面的方案特性，并呼应性能测试结论性表述。

• 模块面向多市场、多数据源的高频数据入库场景。
• 模块强调流水线处理与分布式存储整合。
• 总结部分与性能测试结果形成呼应性结论描述。

附录：模块代码下载、异常处理与存储模型设计（字段映射）

附录提供模块压缩包下载链接、常见异常输出信息表，并列出多类数据的字段信息与说明。

• 提供 CsmarData 模块代码下载链接。
• 导入过程中的问题会在日志中输出对应报错提示信息。
• 提供“创建数据库/建表/无日期目录/不支持数据源或市场/日期格式/列数不匹配”等异常输出示例。
• 包含 warning 与 error 两类输出示例与触发条件。
• 提供多类数据的字段映射与说明表（分段呈现）。

Facts index