万家基金基于 DolphinDB 完成从存储到因子生产的体系化升级
本页为一篇案例文章,提供标题信息,并包含作者署名与发布日期等基础信息。
Source: https://dolphindb.cn/blogs/265
What this page covers
- 活动推广与限时报名链接信息。
- 客户背景:机构属性、Level-2 数据重要性与建设新底座动因。
- 面临挑战:扩展维护、降频与因子计算、Python 交互痛点。
- 解决方案:DolphinDB 存储计算、降频加工、因子生产与 Python 接入。
- 方案效果:维护、性能、标准化与研究体验变化。
- 适用人群与官网试用引导。
技能认证特训营第二期限时报名推广
页面顶部提供活动宣传信息与报名链接,并强调限时报名与专属福利优惠。
- 活动为“技能认证特训营第二期”。
- 报名状态描述为“正式开启”。
- 提供限时报名链接入口。
- 宣传中提到可享“专属福利优惠”。
万家基金基于 DolphinDB 完成从存储到因子生产的体系化升级(标题/作者/日期)
本节给出案例文章的标题,并包含作者署名与发布日期信息。
- 文章标题为“万家基金基于 DolphinDB 完成从存储到因子生产的体系化升级”。
- 文章包含作者署名信息。
- 文章发布日期为 2025-11-20。
客户背景
本节介绍万家基金的机构属性、量化研究对 Level-2 数据的依赖,以及原有 kdb+ 环境的局限与新底座建设决策。
- 万家基金为多策略、多品类布局的公募基金管理机构。
- 万家基金在量化投资、主动管理与多资产配置方向均有发展。
- Level-2 数据被描述为交易微结构与短周期研究的重要基础。
- 原有高频数据体系使用 kdb+ 承载高频数据存储与计算。
- 为提升可扩展性与可维护性,决定建设新的高频行情底座。
面临挑战
本节概述旧系统在扩展维护、降频与因子计算效率以及 Python 交互体验方面的痛点,并提出对替代方案的能力要求。
- 高频行情存储量呈指数增长,扩展成本升高。
- 新增字段或扩展表结构需要较高成本。
- 大批量降频处理与多次联表在旧环境中耗时较长。
- 资源竞争导致性能波动,影响研究进度。
- 研究团队主力工具为 Python,期望直接提取分钟频、日频与因子结果。
- 旧系统跨语言接口体验不够友好,部分操作需脚本绕行或手动导出。
- 替代方案需覆盖高频存储,并胜任实时或批量计算。
DolphinDB 解决方案
本节描述以 DolphinDB 替代 kdb+ 搭建高频行情存储与计算中心的方案,包括分布式存储、降频加工、因子生成与 Python API 接入。
- DolphinDB 在方案中作为替代 kdb+ 的核心底座。
- 核心任务包括高频存储、降频加工与因子构建。
- DolphinDB 采用列式存储与分布式架构,面向高频时序数据场景。
- Level-2 全量行情按交易日与证券维度分区管理。
- 分区管理支持写入、查询与计算并发处理。
- 通过 DolphinDB 脚本体系实现 Level-2 到分钟级、日级的降频加工。
- 支持以脚本构建价量、波动、流动性与微结构等类型因子。
- 因子逻辑可封装为模块,便于复用与扩展。
- 因子生成可在每日收盘后自动运行,形成标准化输入。
- 通过官方 Python API 下发分钟级、日级数据及各类因子。
- 研究人员可在 Python 端读取表与查询结果,避免中间导出环节。
- DolphinDB 被描述为连接数据流入、处理、因子生产与研究端的核心枢纽。
方案效果与价值
本节列举上线后的变化,涵盖维护成本、降频效率与稳定性、因子生产流程,以及 Python 端研究体验。
- 数据底座更稳健,日常维护成本显著下降。
- 新增字段与扩展表结构更轻量化。
- 降频加工任务提速且更稳定,减少峰值性能波动。
- 分钟级与日级聚合可在更短时间完成,研究端可用时间提前。
- 因子生产体系更标准化与自动化,计算流程可自动运行。
- Python 端可直接调取分钟频、日频数据与因子,回测与建模更顺畅。
适用人群与官网试用引导
本节给出适用对象范围,并引导访问官网并下载试用 DolphinDB。
- 面向寻求更优行情处理与实时分析能力的券商/资管机构。
- 面向需要高效量化研究平台与回测引擎的量化团队。
- 面向构建实时风险管控系统的银行/金融科技公司。
- 也面向需要处理海量时序数据并追求极速分析的行业场景。
- 行动号召为访问官网并“下载并试用 DolphinDB”。
- 官网链接为 https://dolphindb.cn/ 。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | 报名状态/活动信息 | 正式开启;提供限时报名链接并称可享专属福利优惠 | medium |
| 限时报名链接 | URL | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 文章发布日期 | date | 2025-11-20 | high |
| 万家基金 | 机构类型与特点 | 多策略、多品类布局的公募基金管理机构;在量化投资、主动管理和多资产配置等方向均有深入发展 | high |
| Level-2 数据 | 用途/重要性 | 因维度丰富、频率高,是交易微结构研究、短周期特征、流动性因子等任务的重要基础 | high |
| 万家基金原有高频数据体系 | 使用的系统 | 使用 kdb+ 承载高频数据存储与计算 | high |
| 原有系统 | 问题 | 随着策略迭代加速、因子数量增加与 Python 交互需求增强,在性能、维护成本和灵活性方面逐渐暴露局限 | high |
| 万家基金 | 目标/需求 | 为确保未来研究体系可持续扩展、可维护且高效,决定建设一套新的高频行情底座 | high |
| 旧系统(扩展性与维护性) | 痛点 | 高频行情存储量指数增长;新增字段、扩展表结构或调整并发计算能力需要较高成本;系统封闭性增加维护难度 | high |
| 旧系统(降频加工与因子计算) | 痛点 | Level-2 日增量巨大;分钟级/日级降频处理及因子构建关键但旧环境在大批量降频、循环计算、多次联表时耗时较长;资源竞争导致性能波动影响研究进度 | high |
| 研究团队工作流 | 主要工具/期望 | 主力工具是 Python;希望从 Python 端直接提取分钟频、日频数据及因子结果用于回测、验证与建模 | high |
| 旧系统(跨语言交互) | 问题 | 接口能力与交互体验不够友好;许多操作需要绕行脚本层或手动导出,降低研发效率 | high |
| 替代方案需求 | 能力要求 | 需要覆盖高频存储、胜任实时或批量计算,并在成本、灵活性与可维护性方面更具优势 | high |
| DolphinDB | 在万家基金方案中的定位 | 作为替代 kdb+ 的核心底座,构建高频行情数据的存储与计算中心;关键任务包括高频存储、降频加工和因子构建 | high |
| DolphinDB | 存储与架构特性 | 底层采用列式存储与分布式架构,适合存放 Level-2 类高频时序数据 | high |
| 万家基金 Level-2 行情数据管理(基于 DolphinDB) | 分区方式与效果 | 将 Level-2 全量行情按交易日与证券维度分区管理,使写入、查询与计算可并发处理 | high |
| DolphinDB 脚本体系 | 用途 | 用于实现 Level-2 到分钟级、日级的降频加工(聚合、过滤、窗口统计等逻辑迁移至脚本环境) | high |
| DolphinDB 执行能力(在降频加工中) | 带来的效果 | 在内存计算、向量化执行和并行处理能力支持下,使降频任务能在更短时间内完成 | medium |
| DolphinDB | 因子/指标构建支持 | 支持通过脚本快速构建分析指标与因子,如价量类、波动类、流动性类、微结构类等常见因子 | high |
| 因子逻辑管理(万家基金基于 DolphinDB) | 模块化与复用 | 将因子逻辑封装为模块,可按研究需要灵活复用与扩展 | high |
| DolphinDB 内置调度能力(在万家基金方案中) | 运行方式 | 使因子生成可在每日收盘后自动运行,形成策略研发所需的标准化输入 | high |
| DolphinDB 官方 Python API | 在万家基金的用途 | 用于统一下发分钟级、日级数据及各类因子;研究人员在 Python 端可读取表、执行查询、提取结果,避免中间导出环节 | high |
| DolphinDB 在万家基金体系中的作用 | 系统定位描述 | 成为高频数据流入、降频处理、因子生产与 Python 端研究之间的核心枢纽,实现数据端与研究端紧密衔接 | medium |
| 方案效果(维护) | 结果 | 数据底座更稳健,日常维护成本显著下降;新增字段与扩展表结构更轻量化;开放性减少对单层组件依赖,使维护更透明可控 | medium |
| 方案效果(降频加工) | 结果 | 降频加工任务大幅提速且更稳定;分钟级/日级聚合在更短时间完成并避免峰值性能波动;研究端可用时间提前使策略迭代更顺畅 | medium |
| 方案效果(因子生产) | 结果 | 因子生产体系更标准化、自动化;因子模块化管理、计算流程全自动运行;新增研究方向或调整逻辑成本更低、扩展性更好 | medium |
| 方案效果(Python 端体验) | 结果 | Python 端体验全面提升;可直接从 Python 调取分钟频、日频数据和因子,使模型训练、回测验证与特征探索更顺畅,研究团队更专注于策略本身 | medium |
| DolphinDB 试用引导的目标受众 | 适用对象 | 寻求更优行情处理与实时分析能力的券商/资管机构;需要高效量化研究平台与强大回测引擎的量化团队;构建实时风险管控系统的银行/金融科技公司;以及任何需要处理海量时序数据、追求极速分析的行业创新者 | medium |
| DolphinDB 官网 | URL | https://dolphindb.cn/ | high |
| DolphinDB 官网 CTA | 行动号召 | 引导访问官网并“下载并试用 DolphinDB” | medium |