性能提升30倍 | 深度不平衡、买卖压力指标和波动率计算优化案例

What this page covers

• 案例标题与发布日期信息。
• 金融指标计算场景与 Array Vector 方案概述。
• 数据字段范围、样本规模与运行环境说明。
• 指标定义：WAP、DI、Press、RV。
• 四种存储/计算方式的性能对比概览与 SQL 实现概述。
• TSDB 相比 OLAP 的性能提升原因与相关优势点。

技能认证特训营第二期正式开启（限时报名）

页面顶部推广技能认证特训营第二期并提供限时报名链接与福利优惠提示。

• 页面包含“技能认证特训营第二期”的推广信息。
• 页面提供该活动的报名链接。
• 页面提示存在限时报名与福利优惠相关信息。

新闻栏目入口

标示该页面属于新闻内容的栏目标签。

• 页面标示内容所属栏目为新闻。
• 页面提供新闻栏目入口信息。

性能提升30倍 | 深度不平衡、买卖压力指标和波动率计算优化案例（含日期）

给出新闻标题与发布日期。

• 页面标题为“性能提升30倍 | 深度不平衡、买卖压力指标和波动率计算优化案例”。
• 页面包含发布日期信息。

场景与 Array Vector 方案概述

描述金融指标计算对大数据与高维运算的需求，并介绍 DolphinDB 的数组向量（Array Vector）及其适用与限制范围。

• 该场景强调金融指标计算对大数据与高维运算的需求。
• DolphinDB 提供数组向量（Array Vector）用于存储可变长度的二维数组。
• 数组向量（Array Vector）可用于简化某些常用查询与计算。
• 在大量重复数据场景，数组向量存储可提高压缩比并提升查询速度。
• 数组向量仅由内存表与使用 TSDB 存储引擎的分布式表支持。
• OLAP 存储引擎暂不支持数组向量。

数据与样本说明

列出使用的快照字段范围、样本来源与规模、分布式表数据量、成分股数据量与逻辑 CPU 核数。

• 样本数据为 2020 年上证50指数成分股快照数据，约 28.75 亿条。
• 案例列出快照字段：股票代码、快照时间、申买十价/量、申卖十价/量（部分字段）。
• 分布式表数据总量为 2,874,861,174。
• 成分股数据量为 58,257,708。
• 运行环境的逻辑 CPU 核数为 8。

指标定义（WAP、DI、Press、RV）

给出加权平均价格、深度不平衡、买卖压力指标与已实现波动率的定义说明，并通过配图展示公式。

• WAP 指 Weighted Average Price（加权平均价格）。
• DI 指 Depth Imbalance（深度不平衡指标）。
• Press 对应买卖压力指标。
• RV 在本案例中定义为对数收益率平方和的平方根。
• 本案例用加权平均价格代替股价进行 RV 计算。

一图带你读懂优化升级

说明基于该计算场景开发四份 SQL 代码，并用图示对比四种不同存储计算方式下的性能差异。

• 该案例实现方式包含四份 SQL 代码。
• 页面通过图示对比四种存储与计算方式的性能差异。

OLAP 到 TSDB 性能提升原因

解释 TSDB 相比 OLAP 的性能提升原因，并补充 Array Vector 与 TSDB+Array Vector 在读取、压缩与矩阵运算上的优势。

• 在本案例中，TSDB 存储引擎相比 OLAP 引擎计算性能有很大提升。
• OLAP 方式需要加载分区内无关证券数据到内存并进行解压、过滤与计算。
• TSDB 方式只需加载成分股数据到内存进行计算。
• 上交所 Level 2 快照数据使用 Array Vector 存储时，压缩比可提升至 9–11。
• 在无缓存前提下，Array Vector 相比多列存储可提升单位时间磁盘读取条数。
• DolphinDB V2.00 TSDB + Array Vector 支持在分布式表某列某行存储向量对象。
• 矩阵运算取某列多行数据返回矩阵对象，可省去矩阵拼接过程。

Facts Index