如何在小内存环境中实现全市场数据的aj

What this page covers

• 小内存环境下进行全市场数据 aj 关联的方法与代码示例。
• 实测结果规模与社区版内存限制相关背景。
• 降低内存占用与结果持久化的优化方向。
• 页面顶部的培训营活动报名引导信息。
• 作者署名与发布时间信息。

技能认证特训营第二期正式开启（限时报名）

页面顶部提供培训营活动报名引导，并提示优惠相关信息。

• 提供“技能认证特训营第二期”的报名链接。
• 文案包含“正式开启”的状态描述。
• 文案包含“限时报名”的提示。
• 文案提到“专属福利优惠”。

如何在小内存环境中实现全市场数据的aj

该部分说明小内存场景下进行全市场股票数据 aj 关联的思路，并通过示例函数展示实现方式。

• 总体思路是“拿时间换空间”。
• 实现倾向于尽可能串行执行。
• 强调及时释放中间变量以控制内存占用。
• 实现方式包含“按股票进行 aj + each”。
• 示例函数 ajBySecurityID 的输入参数包含 securityIDStr 与 aDate。
• ajBySecurityID 从 dfs://SH_TSDB_tick 的 tick 表读取数据。
• ajBySecurityID 从 dfs://SH_TSDB_snapshot_ArrayVector1 的 snapshot 表读取数据。
• tick 的过滤条件包含 date(Tradetime)=aDate 与 securityID=securityIDStr。
• snapshot 的过滤条件包含 date(DateTime)=aDate 与 securityID=securityIDStr。
• aj 关联键使用 `SecurityID`TradeTime 与 `SecurityID`DateTime。
• allSecurityID 通过从 tick 表取 distinct securityID 生成（按 date(TradeTime)=2021.01.04）。
• 给出 each 调用方式：each(ajBySecurityID, allSecurityID, 2021.01.04)。
• 提到 loadTable 的行为：仅加载元数据。
• 提供 ajBySecurityID2 方案：在 dfs tables 上 aj 并在 where 中过滤。

作者与日期

该部分提供文章作者署名与发布日期信息。

• 作者署名为“笨笨”。
• 发布日期为 2024-12-13。

实测结果与社区版内存限制背景

该部分给出全市场 aj 结果集体量的实测数据，并说明社区版在内存中获取全量结果集存在困难。

• 在 2021.01.04 的实测中，结果涉及约 1800 只股票。
• 在 2021.01.04 的实测中，结果集大小约 25GB。
• 社区版无法在内存中获得所有结果集。
• 要拿到所有结果集需要进行优化。

后续优化点

该部分列出降低内存占用与将结果进行持久化存储的优化方向。

• 只读取所需字段，而不是使用 select *。
• 将结果数据存回 dfs 表，而不是放在内存中。
• 可将 return data 的部分调整为写入 dfs 表。

Facts Index