高频数据处理技巧：数据透视的应用

What this page covers

• 页面顶部的报名提示与活动信息入口。
• 文章的作者与发布日期等基础信息。
• pivot（行列转换）概念与高频数据存储形态概述。
• 示例1：用 pivot by 构造矩阵并计算相关性。
• 示例2：用 pivot by 计算组合（指数/ETF）价值。

技能认证特训营第二期报名提示

页面顶部提供“技能认证特训营第二期”限时报名链接与福利优惠提示。

• 提供“技能认证特训营第二期”的报名入口链接。
• 提示活动状态为“正式开启”。
• 提示“限时报名”。
• 提示“享专属福利优惠”。

高频数据处理技巧：数据透视的应用（作者与日期）

给出文章标题、作者名与发布日期信息。

• 文章标题为“高频数据处理技巧：数据透视的应用”。
• 作者为 Junxi。
• 发布日期为 2021-05-18。

行列转换（pivot）与高频数据场景介绍

定义 pivot（行列转换/转置/透视）并说明高频数据常见存储结构及在 DolphinDB 中使用 pivot by 的动机与收益。

• 行列转换（pivot）又称为转置或透视。
• 高频数据常见格式是“每一行对应某只股票某个时刻的信息”。
• 示例字段包含股票代码与交易时间等。
• DolphinDB 可通过 pivot by 语句对数据进行行列转置。
• pivot by 与向量化操作可用于简化策略代码并提升效率（表述为收益）。

示例1：计算股票收益的两两相关性

演示从 TAQ quotes 表加载高频数据、筛选股票、用 pivot by 构造分钟级价格矩阵并计算收益相关性与Top相关股票。

• 示例场景为配对交易与风险对冲中的两两相关性计算。
• 从 dfs://TAQ 的 quotes 表加载数据（quotes = loadTable(..., "quotes")）。
• 筛选日期为 2009.08.04，并限定交易时间范围。
• 选择 500 只报价变动最频繁的股票（num=500）。
• 对报价有效性添加约束条件（如 0<bid，bid<ofr 等）。
• 使用 pivot by 将数据降维为分钟级股票价格矩阵（列为股票，行为一分钟）。
• 价格定义为 price = avg(bid + ofr)/2.0。
• 透视维度使用 time.minute() 与 Symbol（pivot by time.minute() as minute, Symbol）。
• pivot by 可与聚合函数搭配，并被描述为具有类似“group by”的功能。
• 用 each 将价格矩阵转换为收益率矩阵（retMatrix = each(..., priceMatrix)）。
• 用 pcross 计算 500 只股票收益的两两相关性（corrMatrix = pcross(corr, retMatrix)）。
• 为每只股票选取相关性最高的 10 只股票（rank between 1:10）。
• 给出查询示例：筛选 sym='SPY' 并按 corr 降序排序。
• 给出 quotes 表总行数为 2,693 亿条。
• 给出 2009 年 8 月 4 日当日数据量近 1.9 亿条。
• 给出示例1计算耗时为 1,952 毫秒。
• 提供 pivot by 文档链接。

示例2：计算股票组合（指数/ETF）的价值

以 AAPL/FB 的权重示例，展示纳秒时间戳下通过 pivot by 与 ffill/rowSum 计算组合价值，并讨论传统方案的内存与性能问题。

• 示例场景为指数套利回测中计算股票组合价值。
• 示例指数仅由 AAPL 与 FB 两只股票组成。
• 权重存储在 weights 字典中（weights=dict(`AAPL`FB, 0.6 0.4)）。
• 时间戳精度为纳秒。
• 将 Price*weights[Symbol] 定义为 weightedPrice。
• 使用 pivot by Time, Symbol 进行透视。
• 第一次查询结果包含 Time、AAPL、FB 等列（以示例输出展示）。
• 传统方案需要宽表转换并 forward fill NULLs 后求和。
• 传统方案可能产生远大于原始表的中间数据表。
• 传统方案可能导致内存不足且计算速度慢（描述性结论）。
• 给出简化代码：select rowSum(ffill(last(weightedPrice))) from ETF pivot by Time, Symbol;
• rowSum 输出结果包含 Time 与 rowSum 列（以示例输出展示）。
• 描述为“一行代码实现上述步骤”，并强调避免中间过程表（表述为效果）。

Facts Index