一种优于 Python + HDF5 的存算方案 | 以高频因子为例

What this page covers

• 高频因子计算背景与 Python+HDF5 方案痛点
• 对比测试设置、数据规模与脚本教程获取途径
• 在结果一致前提下的耗时对比结论与说明
• 测试用快照表字段数量与字段类型示例
• 测试环境（硬件与软件版本）
• DolphinDB 的存储、计算与并行相关优势点

技能认证特训营第二期正式开启（限时报名）

页面顶部展示活动报名入口，并提示相关福利信息。

• 提供“技能认证特训营第二期”的报名链接。
• 该区域属于页面顶部的活动入口信息。

新闻 / 一种优于 Python + HDF5 的存算方案 | 以高频因子为例

该部分包含新闻文章标题、发布日期，以及文章主题（高频因子存算方案对比）。

• 文章发布日期为 2023.06.14。
• 文章主题聚焦高频因子存算方案的对比。

背景：高频因子计算与现有 Python+HDF5 方案的痛点

该部分描述高频行情数据规模、常见技术栈（Python+HDF5），以及 HDF5 在该场景下的问题点。

• 国内全市场十年 L2 历史数据量级约 20 ~ 50T。
• L2 行情数据每日新增数据量约 10 ~ 20G。
• 常见方案为 Python 投研开发配合 HDF5 存储行情数据。
• 在高频数据存储场景，HDF5 存在权限管理困难问题。
• 在高频数据存储场景，HDF5 存在检索和查询不便问题。

对比测试说明与可获取的脚本教程

该部分说明对比测试的因子、数据规模、并行度调节方式，并提示完整脚本教程的获取途径。

• 对比测试包含流动状态因子（flow）。
• 对比测试包含权重偏度因子（mathWghtSkew）。
• 测试数据包含 1992 只股票。
• 测试时间范围为 3 天。
• 测试数据总行数为 2200 万行。
• 通过调节并行度，测试不同 CPU 核数下的耗时。
• 测试脚本和教程已发布在官方知乎，并提示可在文末查看。

测试结果：耗时对比与结论（图表+AI说明）

该部分在“两种方案结果完全一致”的前提下，给出耗时对比结论，并包含图表与说明。

• 测试结果可用性的前提是两种方案计算结果完全一致。
• 单核库内计算比 Python + HDF5 计算快接近 100 倍。
• 随着可用 CPU 核数增加，耗时比逐渐趋近 1:25 左右。
• （说明）单核性能对比被概括为“约 95 倍”。
• （说明）效率比值被概括为“稳定在 25 倍左右”。

测试数据结构：快照表字段（图表+AI说明）

该部分说明用于测试的快照表字段数量，并展示部分字段结构及类型示例。

• 测试快照表数据（DolphinDB）共 55 个字段。
• （示例）字段类型包含 DATE。
• （示例）字段类型包含 TIMESTAMP。
• （示例）字段类型包含 SYMBOL。
• （示例）字段类型包含 INT 与 DOUBLE。

测试环境：硬件配置（图表+AI说明）

该部分列出对比测试使用的硬件环境信息并附说明。

• （说明）CPU 为主频 2.40GHz 的 Intel Xeon Silver 4210R 处理器。
• （说明）内存为 512GB。
• （说明）SSD 为 500GB。

测试环境：软件栈与版本（图表+AI说明）

该部分列出对比测试使用的软件系统与版本信息并附说明。

• （说明）操作系统为 CentOS 7.9。
• （说明）DolphinDB 版本为 V2.00.8.7。
• （说明）Python 版本为 V3.6.8。
• （说明）Numpy 版本为 V1.19.3。
• （说明）Pandas 版本为 V1.1.5。

优势点 01：存储引擎与分区机制保证高效数据读取

该部分对比 HDF5 与 DolphinDB 在读写并行性、数据管理复杂度与分区/存储引擎带来的可管理性。

• HDF5 文件读写基本是单线程。
• HDF5 存储结构设计通常需要数据冗余以满足不同场景读写。
• 在 T 级数据量下，HDF5 数据管理与操作复杂度会大幅增加。
• DolphinDB 的数据管理、查询与使用被描述为更简单便捷。
• DolphinDB 的相关能力来源包括不同存储引擎与分区机制。

优势点 02：移动窗口计算优化提供更高性能

该部分对比 Python rolling 方式与 DolphinDB 函数（mavg、rowWavg 等）在移动窗口计算上的优化与性能提升。

• 在示例中，Python 移动窗口计算通过 rolling 与 mean 等函数组合实现。
• 该方式被描述为难以进行针对性的增量优化。
• DolphinDB 提供 mavg 作为滑动窗口（m 系列）函数示例。
• DolphinDB 提供 rowWavg 作为行计算（row 系列）函数示例。
• 相关优化被描述为计算性能最高可以提高 100 倍。

优势点 03：原生分布式自动并行调度

该部分对比 Python 使用 Joblib 进行多进程调度与 DolphinDB 自动任务拆解及多线程并行计算机制。

• Python 并行因子计算示例方案需要使用 Joblib 库。
• 示例流程包含从文件读出待计算股票并按并行度拆分为多组。
• 该拆分用于实现多进程并行调度。
• DolphinDB 将大任务拆解并自动分析数据涉及分区。
• DolphinDB 可通过参数配置最大工作线程数进行多线程并行计算。

综合结论：生产环境下 DolphinDB 相对 Python+HDF5 的效率与易用性

该部分从代码实现、计算速度与并行计算三个方面给出综合性对比结论。

• 综合结论认为 DolphinDB 的因子计算与存储相对 Python+HDF5 更高效。
• 库内计算被描述为更易于实现因子计算调用及并行调用。
• 综合对比中，库内计算被描述为比 Python + HDF5 快 25 倍以上。
• DolphinDB 被描述为可自动使用当前可用 CPU 资源。
• Python 脚本被描述为需要通过并行调度代码实现并行计算。

Facts Index