自动因子挖掘神器，9 秒挖完 166W 行数据！

What this page covers

• 遗传算法背景与 gplearn 的局限。
• DolphinDB Shark GPLearn 的能力差异概览。
• 示例概览与获取完整案例/代码的入口指引。
• 数据导入与预处理步骤（示例）。
• 模型训练：拆分、引擎、适应度与性能信息。
• 因子评价：IC/IR 分析流程、函数与阈值。
• 模型优化：进化轮次、节俭系数、初始化公式与权衡。

技能认证特训营第二期报名活动

页面顶部包含活动提示，提供限时报名链接，并强调专属福利优惠。

• 提供“技能认证特训营第二期”的报名入口。
• 报名入口以链接形式给出。
• 活动提示强调存在专属福利优惠。

自动因子挖掘神器，9 秒挖完 166W 行数据！

文章展示标题与作者/日期信息，整体定位为高性能自动因子挖掘的技术实践内容。

• 文章标题聚焦“自动因子挖掘”。
• 页面给出文章发布日期信息。
• 内容语境为技术实践文章，而非纯产品公告。

背景：遗传算法与 gplearn 的局限

本节介绍遗传算法的来源与应用场景，并说明 gplearn 在量化因子挖掘中的性能与数据维度支持限制。

• 遗传算法的提出者被描述为美国密歇根大学的 J. Holland。
• 遗传算法应用场景示例包含量子计算、电子设计、游戏比赛等。
• python gplearn 被描述为成熟的遗传算法库，并被广泛引用。
• python gplearn 在因子挖掘中存在性能瓶颈，影响效率。
• python gplearn 仅支持二维数据特征提取，不适用于三维金融数据挖掘场景。

方案：DolphinDB Shark GPLearn 的能力差异

本节提出 Shark GPLearn，并概述其算子库、GPU 实现、分组语义、三维数据支持与单机多卡扩展能力。

• DolphinDB 推出产品/方案为 Shark GPLearn。
• Shark GPLearn 被描述为具有更丰富的算子库（相较 gplearn）。
• Shark GPLearn 提供高效的 GPU 版本实现。
• Shark GPLearn 引入分组语义，可在训练中分组计算。
• Shark GPLearn 支持在三维数据中挖掘因子。
• Shark GPLearn 支持单机多卡进行遗传因子挖掘。

示例概览与白皮书入口指引

本节说明将以股票日频 K 线数据进行因子挖掘示例，并指引至官网开发者中心白皮书获取完整案例与代码。

• 示例数据类型为股票日频 K 线数据，用于因子挖掘。
• 完整案例及代码展示的获取入口被指向官网开发者中心的白皮书栏目。
• 本节包含“去哪里获取材料”的导航指引信息。

第一步：导入数据并进行预处理

本节给出示例数据时间范围，并概述 A 股筛选、指标计算、清洗与股票筛选等预处理步骤。

• 示例数据时间范围为 2020-08-12 至 2023-06-19 的股票日频 K 数据。
• A 股筛选规则为选取以“0”“3”“6”开头的数据。
• 预处理包含获取基础指标。
• 预处理包含计算收益率与 52 周最高价/最低价。
• 预处理包含删除空值并筛选每天都有数据的股票。

第二步：训练模型

本节说明训练/测试拆分、引擎创建与算子库配置、自定义适应度函数与训练调用，并给出样本规模与耗时信息。

• 数据拆分规则为前 80% 日期训练、后 20% 日期测试。
• 训练流程包含：拆分训练/测试 → 获取训练集 → 配置算子库 → 创建引擎 → 自定义适应度 → 挖掘因子。
• createGPLearnEngine 用于初始化遗传算法模型，并设置种群大小、进化代数等参数。
• createGPLearnEngine 可指定算子库（示例提到滑动窗口函数）。
• 自定义适应度函数的 rankIC 计算由 spearmanr、groupby、mean 三个函数实现。
• 测试数据集规模约为 166W 行。
• 训练 50 个因子的耗时约为 9 秒。
• 训练调用示例为 gpFit(50)，并挑选最优的 50 个因子。

第三步：因子评价

本节说明因子挖掘后需要评价，并给出使用 DolphinDB Alphalens 进行 IC/IR 分析的流程、函数与并行/批量处理方式，以及示例阈值。

• 挖掘得到的大量因子公式并非都有效，因此需要因子评价步骤。
• DolphinDB Alphalens 模块为自主开发，开发逻辑与 Quantopian 的 Python Alphalens 相同。
• DolphinDB Alphalens 可计算不同持仓周期下的因子 IC 值序列。
• 示例流程包含：计算单因子 → 单因子分析 → 获取每日收盘价 → 批量因子 IC 值分析。
• calFactor 中使用 parseExpr、sql、eval 实现“公式字符串到因子值”的计算流程。
• 示例提到的数据处理函数为 get_clean_factor_and_forward_returns。
• 示例提到的 IC 计算函数为 create_information_tear_sheet。
• 批量处理方式为使用 peach 将 single_factor_analysis 应用于所有因子公式。
• 本例有效单因子阈值为 IC 值 > 0.03 且 IR 值 > 0.5。

第四步：模型优化

本节通过进化轮次、节俭系数与初始化公式等参数对比，讨论适应度、公式复杂度与可解释性的权衡，并给出初始化种群策略的改进方向与示例观察。

• 本例对比实验参数包含进化轮次、节俭系数、初始化公式。
• 结论描述为：迭代次数越多适应度越高，但增长幅度有限。
• 迭代次数增加会导致因子长度变长、公式复杂度提高，并可能失去可解释性。
• 节俭系数测试设置限制为 generations=6 且 parsimonyCoefficient ≤ 0。
• 节俭系数绝对值越大，公式长度对适应度的影响越大。
• 节俭系数设置过大可能不利于挖掘有效因子。
• Shark GPLearn 支持设置初始化公式，以减少初始公式随机性并更有目标地挖掘因子。
• 本例从国泰君安 191 因子库选取 70 号因子作为初始公式进行优化。
• 样本内 IC 值有所提升的同时，也观察到单一初始公式会导致生成因子组成单一。
• 建议通过增加初始化公式并加入随机生成公式来丰富初始种群。
• 初始化公式数量示例从 1 个增加到 8 个。
• 初代种群构成示例为 1000 个个体，其中 500 个来自指定初始化公式，其余随机生成。

结尾：获取白皮书与下载试用

页面结尾引导访问官网获取《Shark GPLearn 高性能因子挖掘白皮书》，并下载试用 DolphinDB。

• 引导访问官网获取《Shark GPLearn 高性能因子挖掘白皮书》。
• 引导下载试用 DolphinDB。

Facts index