DolphinDB 助力敦和资产打造高频投研数据中台
一、客户背景
敦和资产管理有限公司作为国内知名的私募基金管理机构之一,以长期主义和系统化投资理念闻名。公司旗下的量化投资团队在国内市场早期便开始探索以数据驱动的投研体系,在多资产、多频率、多策略方向上积累了丰富的研究经验。
随着金融市场数据体量的激增与市场结构的加速演变,数据已不再只是策略的“原料”,而是构成研究方法论的底层逻辑。敦和资产意识到,要想在竞争激烈的量化领域保持领先,不仅需要优秀的模型,更需要一个高效、统一、可靠的数据基础设施,让研究者能够在庞大的历史数据中快速验证想法、复现策略、迭代模型。
二、面临的挑战
先前,敦和资产的投研团队在高频数据处理上面临多重挑战。首先,数据量巨大且来源多样。团队需要长期存储并使用超过10年的 Level-2 股票高频行情数据,且历史数据主要来自同花顺文件系统,格式各异、压缩方式不同,导入和解析过程复杂。
其次,数据清洗与校验成本高。由于不同来源的行情文件在字段定义、时间对齐、缺失值处理等方面存在差异,研究员在使用前必须花费大量时间进行清洗与对比工作。即便是经验丰富的研究者,也需要耗费数小时甚至数天来完成一次数据准备流程,严重影响了策略迭代的节奏。
第三,计算性能与使用体验的平衡难以兼顾。团队使用的部分传统数据库在面对高并发查询和复杂聚合运算时表现吃力,而分布式计算框架虽能扩展性能,却需要较高的技术门槛,不利于策略研究人员的日常使用。
最后,随着团队扩展与新成员的加入,研发效率与协作需求不断提高。不同策略组对数据的调用方式、时间粒度与计算逻辑各不相同,如果没有统一的系统架构与接口规范,重复劳动和数据不一致问题将不可避免。
三、DolphinDB 解决方案与价值
在综合评估性能、稳定性与易用性后,敦和资产最终选择 DolphinDB 作为投研数据中心的核心引擎。DolphinDB 的分布式时序数据库架构、统一编程接口和高效的存储压缩机制,为量化研究提供了强有力的支撑。
1. 建立高效可靠的数据中心
项目团队将10年+的股票高频行情数据导入 DolphinDB 集群,并利用 DolphinDB 的并行加载与批处理能力完成历史数据的格式转换与标准化。系统对接同花顺的历史文件后,自动执行字段校验、时间对齐与异常值过滤,实现了数据的一致化与可追溯管理。得益于列式存储与分布式架构,TB 级数据的读取与聚合查询得以在秒级响应,为后续研究奠定了坚实基础。
2. 搭建统一的投研平台,服务多策略团队
基于 DolphinDB,敦和资产构建了统一的投研数据平台。不同策略组通过同一接口访问清洗后的标准化数据,无需重复开发导入与解析逻辑。系统同时支持分钟级、秒级乃至更高频率的降频计算,研究人员可以根据策略需求自由调整时间尺度,从原始 tick 数据中灵活生成分钟K线、成交量指标或区间特征。
平台还为团队提供了丰富的内置函数与自定义脚本支持,方便研究员直接在数据库中完成数据变换、因子计算与回测分析,而不必频繁导出数据进行外部处理。
3. 提升因子挖掘与策略研发效率
在 DolphinDB 的加持下,策略组能够在完整的高频历史数据上进行快速因子挖掘与回测。通过向量化计算与并行执行机制,原本需要几小时才能完成的计算任务,如今只需几分钟即可得到结果。
尤其是对于以分钟级策略为主的团队,DolphinDB 的灵活降频与窗口函数能力,让研究员能够方便地从高频数据中提取出短期波动信号和结构性特征,大幅缩短策略验证周期。
同时,DolphinDB 的脚本化环境使得研究逻辑可以被封装、复用与共享。新加入的研究员能够直接调用已有模块,快速开展二次开发与验证,形成了从数据到模型的高效闭环。
4. 构建稳健、可扩展的数据生态
DolphinDB 的高可用集群设计确保系统在长时间运行和高并发访问下依然保持稳定。数据中心不仅支持现有两个策略组的日常研究,还预留了充足的扩展空间,可在未来接入更多资产类别或频率层次的研究团队。随着时间推移,整个系统将沉淀出一套完整的投研数据体系和研究方法论,成为敦和资产的核心竞争力之一。
四、结语
DolphinDB 的引入,为敦和资产的投研体系注入了新的能量。它不仅解决了高频数据存储与计算的技术瓶颈,更重要的是,让研究人员从繁琐的数据准备中解放出来,把精力重新聚焦于因子逻辑与策略创新。
如今,基于 DolphinDB 的投研平台已成为敦和资产内部的重要基础设施。它让不同策略组在同一数据基座上高效协同,让数据真正成为驱动研究与决策的核心引擎。
如果您是:
寻求更优行情处理与实时分析能力的券商、资管机构;
需要高效量化研究平台与强大回测引擎的量化团队;
致力于构建实时风险管控系统的银行、金融科技公司;
任何需要处理海量时序数据、追求极速分析的行业创新者……
欢迎访问官网下载并试用 DolphinDB!