基于股票日频 K 线的自动因子挖掘实践

What this page covers

• 遗传算法与 gplearn 的背景、用途与局限。
• DolphinDB Shark GPLearn 的能力概述与优势点。
• 一个四步因子挖掘实践流程的结构化说明。
• 数据导入与预处理要点（时间范围、筛选与指标构建）。
• 模型训练流程（拆分、引擎、适应度、输出与耗时）。
• 因子评价流程（Alphalens、IC/IR 与筛选阈值）。
• 模型优化实验（进化轮次、节俭系数、初始化公式）。

技能认证特训营第二期报名促销

页面顶部的限时报名入口与福利优惠提示。

• 提供技能认证特训营第二期的报名入口。
• 页面提示与报名相关的优惠或福利信息。

新闻栏目与文章标题/日期

标注栏目为新闻，并给出文章标题与发布日期。

• 页面将内容归类为“新闻”栏目。
• 文章标题为“基于股票日频 K 线的自动因子挖掘实践”。
• 文章发布日期为 2024.12.19。

背景：遗传算法与 gplearn 的应用与局限

介绍遗传算法与 gplearn，并说明其在量化因子挖掘中的性能与数据维度限制。

• 遗传算法由美国密歇根大学的 J. Holland 提出。
• 遗传算法的应用场景示例包括量子计算、电子设计、游戏比赛等。
• python gplearn 被描述为基于遗传算法开发的数据分析工具。
• python gplearn 存在性能瓶颈，因适应度计算涉及大量复杂公式。
• python gplearn 只支持二维数据特征提取，不适用于金融三维数据挖掘场景。

解决方案：DolphinDB Shark GPLearn 及优势概述

提出 Shark GPLearn 并描述其相对 gplearn 的性能提升、算子库、GPU 与三维数据支持等能力。

• DolphinDB 推出 DolphinDB Shark GPLearn。
• Shark GPLearn 相对 gplearn 的性能提升被描述为“近百倍”。
• Shark GPLearn 被描述为具有更丰富的算子库。
• Shark GPLearn 提供高效的 GPU 版本实现。
• Shark GPLearn 支持在三维数据中挖掘因子。
• Shark GPLearn 支持单机多卡进行遗传因子挖掘。
• Shark GPLearn 引入分组语义，可在训练中分组计算。

案例引导与白皮书获取指引

引出以日频 K 线因子挖掘为例，并提示完整案例与代码可在官网开发者中心白皮书获取。

• 示例案例主题为基于股票日频 K 线数据的因子挖掘。
• 完整案例及代码展示位于 DolphinDB 官网“开发者中心”-“白皮书”。

实践流程：基于股票日频 K 线数据进行因子挖掘

以四步流程（数据预处理、训练、评价、优化）展示如何使用 Shark GPLearn 进行因子挖掘。

• 流程包含“数据预处理”。
• 流程包含“训练”。
• 流程包含“评价”。
• 流程包含“优化”。

第一步：导入数据与预处理

说明样本时间范围、训练指标计算与 A 股筛选、指标获取、收益率与 52 周高低、去空值与数据完整性筛选等预处理项。

• 示例数据集时间范围为 2020 年 8 月 12 日至 2023 年 6 月 19 日。
• 预处理选取“0”“3”“6”开头的 A 股数据。
• 预处理包含获取基础指标。
• 预处理包含计算收益率与 52 周最高价/最低价。
• 预处理包含删除空值与筛选每天都有数据的股票。
• 训练指标构建包含计算收益率与个股 20 个交易日后的收益率等指标。

第二步：模型训练（引擎、算子库、适应度、训练与耗时）

描述训练/测试拆分、SQL 获取输入列、创建 GPLearn 引擎与配置参数/算子库、定义适应度与训练输出因子数量及性能表现。

• 训练流程顺序包括：拆分训练集和测试集。
• 训练/测试集划分为前 80% 日期做训练集，后 20% 做测试集。
• 数据获取方式为通过 sql 函数查询指定列（xCols）作为模型输入。
• createGPLearnEngine 用于创建引擎并初始化遗传算法模型参数与算子库。
• 自定义适应度函数的 rankIC 计算涉及 spearmanr、groupby、mean。
• gpFit(50) 用于训练并挑选最优的 50 个因子。
• 测试数据集规模约 166W 行。
• 训练 50 个因子耗时约 9 秒。

第三步：因子评价（Alphalens 模块与 IC/IR 分析流程）

说明使用 DolphinDB Alphalens 模块进行因子 IC 序列计算、批量单因子分析与有效因子筛选阈值。

• DolphinDB Alphalens 模块由 DolphinDB 自主开发。
• 该模块的开发逻辑与 Quantopian 用 Python 开发的 Alphalens 相同。
• 该模块可计算不同持仓周期下的因子 IC 值序列。
• 因子评价流程包含计算单因子与单因子分析。
• 因子评价流程包含获取每日收盘价。
• 流程包含对批量因子进行 IC 值分析的自定义函数调用。
• calFactor 通过 parseExpr 将公式字符串转化为元代码。
• calFactor 使用 sql 动态生成语句并用 eval 执行元代码得到因子值。
• get_clean_factor_and_forward_returns 用于数据处理以获得单因子分析中间结果。
• create_information_tear_sheet 用于计算因子的 IC 值。
• peach 用于将 single_factor_analysis 应用到所有因子公式上。
• 本例有效因子筛选标准为 IC 值大于 0.03 且 IR 值大于 0.5。

第四步：模型优化（进化轮次、节俭系数、初始化公式）

通过对进化代数、节俭系数与初始化公式等参数做对比实验，讨论适应度、长度/可解释性与种群多样性权衡，并给出一种扩充初始化公式的设置方式。

• 为更快挖掘出有效因子，需要反复调参。
• 本例对比的优化参数包括进化轮次。
• 本例对比的优化参数包括节俭系数。
• 本例对比的优化参数包括初始化公式。
• 迭代次数越多，适应度越高，但增长幅度有限。
• 迭代次数越多，因子长度越长且公式复杂度增高。
• 因子长度与复杂度增加会影响可解释性。
• 节俭系数测试设置为仅在 generations=6 时测试 parsimonyCoefficient ≤ 0。
• 节俭系数绝对值越大，对公式长度的惩罚越严。
• 节俭系数过大时，长度影响可能超过 fitness 函数影响。
• 长度惩罚过强不利于挖掘有效因子。
• Shark GPLearn 支持设置初始化公式以减少初始随机性。
• 初始化公式可用于基于已知有效因子进行进化和变异。
• 本例从国泰君安 191 因子库中选取 70 号因子作为初始公式进行优化。
• 本例观察到样本内 IC 值有所提升。
• 本例指出初始公式只有一个会导致生成因子组成单一。
• 建议增加初始化公式数量以丰富初始化种群。
• 建议调节 size(initProgram) 与 populationSize 的比例。
• 建议在初始种群中加入随机生成公式。
• 本例设置将初始化公式从 1 个增加到 8 个。
• 本例设置中初代种群为 1000 个个体。
• 本例设置中 500 个个体由指定初始化公式生成，其余随机生成。

结语与白皮书/试用引导

总结示例并引导访问官网获取 Shark GPLearn 白皮书并下载试用 DolphinDB。

• 引导访问官网获取 Shark GPLearn 高性能因子挖掘白皮书。
• 引导下载试用 DolphinDB。

Facts Index