万家基金基于 DolphinDB 完成从存储到因子生产的体系化升级

2025-11-20

客户背景

万家基金是一家多策略、多品类布局的公募基金管理机构,在量化投资、主动管理和多资产配置等方向均有深入发展。随着量化研究规模的扩大,策略模型需要依赖越来越精细的行情数据,而 Level-2 数据因维度丰富、频率高,是构建交易微结构研究、短周期特征、流动性因子等任务的重要基础。万家基金使用 kdb+ 承载高频数据存储与计算。但随着策略迭代加速、因子数量不断增加,与 Python 端的数据交互需求增强,原有系统在性能、维护成本和灵活性方面逐渐暴露出局限。为了确保未来研究体系能持续扩展、可维护且高效,万家基金决定建设一套新的高频行情底座。

面临挑战

原有方案在业务与系统层面存在以下痛点:

一、旧系统在扩展性与维护性方面逐渐吃力

随着数据逐年累积,高频行情的存储量呈指数增长。在原有环境中,无论是新增字段、扩展策略所需的数据表结构,还是调整并发计算能力,都需要投入较高成本才能维持平稳运行。系统的封闭性也进一步增加了维护难度。

二、降频加工与因子计算效率难以满足新需求

Level-2 行情每个交易日的增量巨大,对其进行分钟级、日级降频处理,以及根据聚合结果构造成交、价量、微结构等因子,是策略研发的关键环节。但旧环境在大批量降频、循环计算、多次联表关联时,任务耗时较长,且资源竞争容易造成性能波动,影响研究进度。

三、跨语言的开发体验不够顺畅

研究团队的主力工具依然是 Python,希望能够方便地从 Python 端直接提取加工后的分钟频、日频数据以及因子结果,进行回测、验证与建模。旧系统在接口能力与交互体验方面不够友好,使许多操作需要绕行脚本层或手动导出,降低了整体研发效率。

在多重因素叠加下,万家基金需要一个既能覆盖高频存储,又能够胜任实时或批量计算,同时在成本、灵活性与可维护性方面更具优势的替代方案。

DolphinDB 解决方案

在综合评估后,万家基金决定将 DolphinDB 作为替代 kdb+ 的核心底座,构建高频行情数据的存储与计算中心。解决方案围绕三个关键任务展开:高频存储、降频加工和因子构建。

一、构建面向高频行情的分布式存储体系

DolphinDB 在底层采用列式存储与分布式架构,天然适合存放 Level-2 类高频时序数据。万家基金将 Level-2 全量行情按交易日与证券维度进行分区管理,使写入、查询与计算均能做到并发处理。

二、使用 DolphinDB 脚本体系实现高效降频加工

Level-2 到分钟级、日级的降频过程往往涉及聚合、过滤、窗口统计等多种逻辑。团队将这些逻辑迁移至 DolphinDB 的脚本环境,在内存计算、向量化执行和并行处理能力的支持下,使降频任务能够在更短时间内完成。

三、在统一计算引擎上实现因子生成

DolphinDB 支持通过脚本快速构建分析指标与因子,例如价量类、波动类、流动性类、微结构类等常见因子。团队将因子逻辑封装为模块,能够根据研究需要灵活复用与扩展;并通过内置调度能力,使因子生成能够在每日收盘后自动运行,形成策略研发所需的标准化输入。

四、通过 Python API 适配研究团队的工作流程

为保证研究体验,万家基金使用 DolphinDB 的官方 Python API,将分钟级、日级数据以及各类因子统一以接口方式下发。研究人员在 Python 端即可直接读取表、执行查询、提取结果,避免中间导出环节,极大提升模型验证与回测效率。

通过这一系列建设,DolphinDB 成为高频数据流入、降频处理、因子生产与 Python 端研究之间的核心枢纽,实现了数据端与研究端的紧密衔接。

方案效果与价值

解决方案上线后,万家基金在数据质量、计算效率以及整体研究体系的稳定性方面都获得了显著提升。

  • 数据底座更加稳健,日常维护成本显著下降。分布式体系让高频行情的写入与存储变得更加稳定,新增字段、扩展数据表结构等操作也变得轻量化。系统的开放性减少了对单层组件的依赖,使维护工作更加透明、可控。
  • 降频加工任务大幅提速,处理结果更稳定。得益于向量化与并行执行机制,大规模 Level-2 数据的分钟级、日级聚合在更短时间内完成,避免了过去因数据峰值导致的性能波动。数据在研究端的可用时间提前,使策略迭代更加顺畅。
  • 因子生产体系更加标准化、自动化。因子以模块化方式管理,计算流程实现全自动运行。无论是新增研究方向还是调整计算逻辑,都能够以较低成本完成,使整个因子体系更具扩展性。
  • Python 端体验全面提升,研究效率加速。直接从 Python 调取分钟频、日频数据和因子,使模型训练、回测验证与特征探索更加顺畅。研究团队能够更专注于策略本身,而不是数据准备环节。
如果您是:
寻求更优行情处理与实时分析能力的券商、资管机构;
需要高效量化研究平台与强大回测引擎的量化团队;
致力于构建实时风险管控系统的银行、金融科技公司;
任何需要处理海量时序数据、追求极速分析的行业创新者……
欢迎访问官网下载并试用 DolphinDB!