国内股票行情数据导入实例

What this page covers

• 背景与应用需求（数据规模、格式差异、目标表结构、样例下载）
• 建库建表（分区机制、分区设计建议、建库脚本示例与链接）
• 新格式数据导入（脚本位置、函数与关键处理、批量与并行导入）
• 旧格式数据导入（编码与schema处理、字段筛选、缺失列补齐、规范化差异）

技能认证特训营第二期报名信息

页面顶部包含活动推广内容与限时报名入口链接。

• 该部分用于提供报名或活动入口导航。
• 该部分不属于行情数据导入技术内容本体。

国内股票行情数据导入实例（新闻页标题与日期）

新闻页展示文章标题与发布日期信息。

• 发布日期为 2022.05.17。
• 该页面为“国内股票行情数据导入实例”的新闻文章页。

背景与应用需求

本节给出行情 CSV 数据规模、目录与文件命名规则、新旧格式差异，以及导入 DolphinDB 分布式库表的目标表结构改造要求与样例下载。

• 历史行情数据范围为最近 10 年。
• 数据规模包含 4000 余只股票。
• 文件组织为“每只股票每天一个 CSV 文件”。
• 源文件目录结构示例为 ~/yyyy/yyyyMMdd/。
• 文件名规则为“市场代码+证券代码+[yyyyMMdd].csv”。

数据格式与字段差异（概览）

• 数据分为两种格式：2015 年至今为新格式；2015 年之前为旧格式。
• 旧格式编码为 GB2312。
• 新格式 Symbol 对应旧格式的“市场代码+证券代码”。
• 新格式包含 TotalVolume 与 TotalAmount；旧格式包含“成交量/成交额”。
• 新格式盘口为 10 档；旧格式为 5 档。

导入目标与目标表结构要求

• 导入目标是写入 DolphinDB 分布式库表，用于量化分析计算。
• 目标表结构以新格式列为基准。
• 将 Symbol 拆分为 Symbol（证券代码）与 market（市场代码）。
• 将 TotalVolume 列名改为 Volume。
• 将 TotalAmount 列名改为 Amount。

样例下载

• 新格式数据样本下载地址为 https://www.dolphindb.cn/downloads/tutorial/2020.zip。
• 旧格式数据样本下载地址为 https://www.dolphindb.cn/downloads/tutorial/2013.zip。

建库建表

本节介绍 DolphinDB 分区机制与一致性、分区设计建议（时间/产品维度与复合分区），并给出建库脚本片段与脚本下载链接。

• 数据库以分区（chunk）为单位管理。
• 系统通过事务机制与二阶段提交协议保证强一致性与完整性。
• 最多支持三个维度分区。
• 不提供行级索引；分区作为物理索引。
• 建议每表每分区压缩前数据量控制在约 100MB 左右以获得较佳性能。

分区设计建议（时间与产品）

• 多数情况下时间维度可按天进行值分区。
• 若每天数据量非常大且时间跨度不长，可按小时分区并使用 DATEHOUR 类型。
• 产品标识维度可使用哈希、范围、值、列表等方法。
• 多维分区是平级组合关系，分区数可能为 n×m。
• 本文案例采用复合分区：时间按天 VALUE 分区；产品按证券代码 HASH 分为 40 个分区。

建库脚本与链接

• 示例脚本片段包含 dbDate = database("", VALUE, 2020.01.01..2020.01.03)。
• 建库脚本下载位置为 script/csvImportDemo/createDB.txt · dolphindb/Tutorials_CN - Gitee.com。

新格式数据导入

本节给出新格式 CSV 导入脚本位置、脚本函数与关键处理逻辑，并描述批量写入与并行批处理对导入性能的影响及相关配置参数。

• 新格式导入脚本参考链接为 script/csvImportDemo/importNewData.txt · dolphindb/Tutorials_CN - Gitee.com。
• 脚本定义 4 个函数：getSchema、LoadOneFile、LoadOneDayFiles、loopLoadOneYears。
• getSchema 会修改列名：TotalVolume→Volume，TotalAmount→Amount。
• 加载单文件时会将 Symbol 拆分为 market 与 Symbol。
• 加载单文件时会用 eachPre 将累计成交量/成交额处理为成交量/成交额。
• 写入一天数据时将文件名分组（每 100 个文件一组）后批量插入分布式表。
• 按年导入时会对“每天一个任务”提交批处理作业。
• 批处理并发上限由 maxBatchJobWorker 配置参数控制。

性能与批量策略（文中测试描述）

• 每批写入 1 个文件时，导入一天数据约 25 分钟。
• 每批写入 100 个文件约 2 分钟。
• 上述对比中写入性能差 10 余倍。
• 建议增大每批写入量以提升性能，但批量不宜过大（一般几十 MB 较合适）。

旧格式数据导入

本节说明旧格式 CSV 导入脚本位置，并描述其与新格式脚本在函数结构上的一致性，以及在 schema、编码转换、字段筛选、缺失列补齐与字段规范化上的差异。

• 旧格式导入脚本链接为 script/csvImportDemo/importOldData.txt · dolphindb/Tutorials_CN - Gitee.com。
• 旧格式脚本同样定义 4 个函数：getSchema、LoadOneFile、LoadOneDayFiles、loopLoadOneYears。
• LoadOneDayFiles 与 loopLoadOneYears 与新格式基本一致。
• 旧格式中文字段名在 extractTextSchema 中可能乱码，需要 convertEncode 转为 utf-8。
• 旧格式中“方向”列不需要导入，并通过修改 schema 来筛选字段。
• 旧格式存在缺失列，需要用 addColumn 预先补齐以便插入分布式表。
• 旧格式会将市场代码使用 upper 规范为大写。
• 旧格式会对 Volume 做 Volume*100 的缩放以保持一致。

Facts index