DolphinDB 在深度学习中的应用：股票实时波动率预测

What this page covers

• 背景、挑战与一站式方案概览
• 现有方案的限制与工程代价
• 基于 Level 2 快照的特征因子计算与数据规模说明
• 使用 AI DataLoader 在 Python 中加载训练数据与建模训练
• 流式实时因子计算与回放测试思路
• 使用 Libtorch 插件在 DolphinDB 中进行实时推理与结果写入
• 实时预测性能与延迟拆分统计

技能认证特训营第二期正式开启（限时报名） navigation

页面顶部包含限时报名的推广信息，并提供注册入口与权益提示。

• 包含报名链接或入口信息。
• 强调活动具有时间限制。

DolphinDB 在深度学习中的应用：股票实时波动率预测 hero

文章头部展示标题、作者信息与发布日期。

• 发布日期为 2025-03-20。
• 该部分属于文章的头部信息区。

背景与挑战、DolphinDB 方案概览 value_proposition

该部分讨论深度学习在量化金融的工程落地难点，并将 DolphinDB 与 AI DataLoader、Libtorch 插件组合描述为一体化实现路径，同时说明教程范围与示例代码/环境注意事项。

• 列举落地难点包括大规模因子存储与计算。
• 列举落地难点包括因子实时流式计算。
• 列举落地难点包括因子数据与深度学习模型的工程化集成。
• 提到 AI DataLoader 与 Libtorch 插件用于对接深度学习框架。
• 声明重点在操作流程介绍，模型与结果仅供参考。

1. 概述 product_overview

该部分从算法交易工作流阶段出发，提出需要对比常见技术栈与 DolphinDB 一站式方法的动机。

• 按流程阶段讨论算法交易中的数据与计算需求。
• 引出与现有技术栈的对比与改进空间。

1.1 现有解决方案的优缺点 comparison

该部分介绍研究与实时因子常见方案，并指出在并行性、扩展性、高可用、开发与运维成本等方面的限制。

• 算法研究阶段常见方案包含 NAS 文件存储 + HDFS + Python。
• 指出 Python 受 GIL 影响难以并行计算。
• 指出 NAS/HDFS + Python 在容量扩展、性能与高可用方面可能不足。
• 指出某些实时计算实现仅支持全量计算而非增量计算。
• 指出以 C++ 复现研究代码会带来双代码维护与一致性成本。

1.2 DolphinDB 解决方案 how_it_works

该部分给出三阶段端到端流程：历史数据存储与离线因子计算、Python 侧训练数据加载与训练、以及在 DolphinDB 内结合流计算与 Libtorch 插件进行实时推理，并支持下游订阅。

• 阶段 1：在 DolphinDB 分布式数据库中存储历史行情并计算因子。
• 阶段 2：在 Python 中用 AI DataLoader 读取因子并转为 Tensor 用于训练。
• 阶段 3：训练模型可被 Libtorch 插件识别并在 DolphinDB 内推理。
• 结合流数据表与流计算引擎生成实时因子表与预测结果表。
• 实时预测结果表可被 Python 等策略程序订阅用于后续处理。

2. 特征因子计算与存储 how_it_works

该部分说明特征工程设置：基于 Level 2 快照数据构建 10 分钟频率的衍生特征（共 676 列），并持久化以支持模型训练，同时描述数据规模与样例数据范围。

• 输入数据为股票 Level 2 快照数据，快照间隔为 3 秒。
• 衍生特征的频率为 10 分钟。
• 衍生特征列数为 676 列。
• 示例提到已导入数据库的快照测试数据约 17 亿条。
• 附录样例快照数据为一支股票一个月范围。

2.1 特征因子计算 feature_list

该部分描述因子构建：使用 10 档盘口量价信息，并将 10 分钟窗口切分为多段进行聚合，得到 676 维特征；同时给出基于 DolphinDB 元编程的因子生成方式与性能对比表述。

• 因子基于 Level 2 快照中的 10 档买卖量价数据。
• 将 10 分钟窗口切分为 0-600s、150-600s、300-600s、450-600s 四段。
• 聚合后得到 676 维特征。
• 676 个因子由元编程动态生成，代码量不超过 70 行。
• 声明相同并行度下 DolphinDB 分布式计算较并行 Pandas 约提升 30 倍。

2.2 特征因子存储 how_it_works

该部分推荐因子库采用窄表存储，并给出 TSDB 引擎下的分区与排序策略示例。

• 推荐因子库采用窄表存储以便高效增删改因子。
• 本例使用 TSDB 存储引擎。
• 分区方式为时间按月 + 因子名的组合分区。
• 排序列为股票代码 + 交易时间。

3. 模型开发与训练 how_it_works

该部分描述在 Python 中用 AI DataLoader 从 DolphinDB 加载因子并训练 PyTorch 模型，以预测未来 10 分钟波动率，并给出目标变量名称。

• 预测目标变量为 LogReturn0_realizedVolatility。
• 使用 AI DataLoader 在 Python 侧加载因子用于模型训练。
• 训练目标为未来 10 分钟波动率预测。

3.1 AI Dataloader 加载训练数据 how_it_works

该部分说明 Python 依赖安装、数据预处理与训练/测试拆分，并展示 DDBDataLoader 的窗口化参数配置以生成时序张量。

• 安装依赖包含 pip install dolphindb 与 pip install dolphindb-tools。
• AI DataLoader 可将数据转换为深度学习框架可识别的 tensor。
• AI DataLoader 可拆分 SQL 查询以减少客户端内存占用。
• 窄表可用 pivot by 转成宽表以便在 Python 端转 tensor。
• 示例按日期 8:2 划分训练集与测试集。

3.2 模型搭建 how_it_works

该部分给出用于波动率时序预测的 LSTM 模型选择与相关结构定义。

• 模型类型选择为 LSTM。
• 模型用于波动率的时序预测任务。

3.3 模型训练 how_it_works

该部分展示使用 AI DataLoader 输出进行训练，并将模型以 TorchScript 格式保存以便服务端推理使用。

• 模型保存格式为 TorchScript（保存为 .pt）。
• 训练流程使用 PyTorch 风格训练循环。
• 训练数据来自 AI DataLoader（DDBDataLoader）的加载结果。

3.4 训练性能 trust_signal

该部分给出训练实验设置与耗时等信息，包括数据规模、特征维度、模型结构示例与训练设备说明。

• 示例训练 100 轮总耗时为 72 秒。
• 示例训练数据集规模为 5832 行（10 分钟频率，一年）。
• 示例特征为 676 个因子（输入维度 675，目标维度 1）。
• 损失函数为 SmoothL1Loss。
• 优化器为 Adam，初始学习率 0.0001。

4. 实时计算与预测 how_it_works

该部分描述将批处理逻辑迁移到流处理：将快照数据回放注入流表、实时计算因子、实时推理，并记录输出结果。

• 示例以 100 倍速回放一只股票一天的快照数据。
• 将快照数据注入到流表作为实时输入。
• 实时计算生成因子数据用于后续推理。
• 推理输出写入结果表以供读取或订阅。

4.1 流式实时因子计算 how_it_works

该部分说明流批一体实现：复用同一套因子函数，在历史计算中走 SQL 引擎，在流式计算中走聚合引擎，并用时序聚合引擎持续产出 10 分钟因子。

• 复用相同因子函数实现流批一体。
• 历史计算使用 SQL 引擎执行因子函数。
• 流式计算使用聚合引擎执行因子函数。
• 时序聚合引擎参数示例为 windowSize=600000ms，step=600000ms。
• 实时因子流表示例包含 676 个 DOUBLE 特征列。

4.2 使用 Libtorch 插件进行实时模型推理 how_it_works

该部分讲解在 DolphinDB 中加载 Libtorch 插件并进行实时推理：选择 CPU/GPU 插件、加载 TorchScript 模型、设置设备、从实时因子流取数并完成预处理与推理、将预测写入结果流表，并说明列顺序一致性、历史窗口与预热等注意点。

• CPU 插件名为 Libtorch，GPU 插件名为 GpuLibtorch。
• CPU 与 GPU 版本插件不能同时加载。
• 示例因 server 为 GPU 版本而加载 GpuLibtorch 插件。
• 示例推理设备设置为 Libtorch::setDevice(model, "CUDA")。
• 结果流表字段包含 Predicted、SecurityID、DateTime、ReceiveTime、HandleTime、PredictedTime。
• 示例窗口含义为 window=120：用 120 个时间点预测下一个时间点。
• 示例取当天往前 20 日十分钟因子作为历史窗口数据来源。
• 需要保证 676 维特征顺序与 Python 训练时一致。
• 示例使用 reorderColumns! 调整因子列顺序。
• 示例在实时预测前先调用一次模型用于预热。

4.3 通过 PythonAPI 实时订阅预测结果 how_it_works

该部分展示通过 DolphinDB Python API 订阅实时预测结果流表，并对到达的数据进行处理的示例方式。

• 订阅前进行 s.enableStreaming()。
• 使用 s.subscribe 订阅 result10min。
• 订阅参数示例 tableName="result10min"。
• 订阅参数示例 actionName="result10min"。

4.4 实时预测性能 trust_signal

该部分通过时间戳埋点拆分因子计算与模型推理延迟，并给出 100 倍速回放条件下的统计结果与脚本。

• 注入引擎时记录 ReceiveTime，计算结束记录 HandleTime。
• 因子计算耗时定义为 HandleTime-ReceiveTime。
• 推理结束记录 PredictedTime。
• 推理耗时定义为 PredictedTime-HandleTime。
• 示例单次响应平均总时延约 9.8 毫秒。

5. 总结 misc

该部分总结 DolphinDB 可支撑从因子计算到训练与实时推理的端到端流程，并强调该流程可根据需求调整扩展。

• 总结强调端到端流程覆盖离线与实时环节。
• 总结指出方案可按场景进行适配与调整。

附录 legal

附录列出开发环境规格，并提供相关脚本与样例数据文件链接。

• 列出开发环境 CPU 为 AMD EPYC 7513 32-Core Processor @ 2.60GHz。
• 列出开发环境 GPU 为 NVIDIA A800 80GB PCIe。
• 提供 snapshotDB.dos 等脚本资源链接。
• 提供 Level 2 快照样例数据 Snapshot.csv 链接。

Facts index