DolphinDB 助力广发资管打造公司级行情中心
客户背景
广发资管长期致力于推动资产管理业务的专业化、科技化发展。在量化投资日益发展的背景下,数据资产的价值渐渐凸显。如何构建统一、高效、稳定的行情数据平台,已成为支撑其多策略研究、精细化风控和智能决策能力的关键基础。
为实现跨部门统一数据管理、提升策略高频回测与因子挖掘效率,广发资管试图打造公司级行情数据中心,提升数据服务的协同性与智能化水平。数据中心主要覆盖超过10年的股票 Level2 高频行情数据,接入来源主要包括通联历史行情数据,需完成数据清洗、对齐、校验等一系列预处理操作,并为资管内部多个业务团队提供高质量的数据服务。
面临挑战
尽管具备数据积累和策略研发能力,广发资管在实际推进行情数据平台建设过程中,仍面临诸多挑战,主要集中在以下三个层面:
- 数据体量巨大、处理流程复杂。Level2 数据粒度细、更新频率高,长达十年以上的历史数据使得整体数据量呈指数级增长。在接入通联历史行情数据的过程中,不仅需要对接大批量数据文件,还需完成字段标准化、异常数据剔除、时间序列对齐等复杂清洗流程。传统数据库与通用计算工具在这类任务中性能难以满足,处理流程耗时长、资源消耗大,影响策略团队的数据调用体验。
- 缺乏统一的数据底座,跨团队协同效率低下。在历史架构中,不同策略团队各自管理数据副本,存在数据口径不统一、版本不同步的问题,导致研发成本高、重复建设严重。缺少一个统一且灵活的行情数据平台,成为制约高质量策略研究和快速迭代的关键瓶颈。
- 量化策略对高性能计算的需求持续上升。广发资管多个团队依赖高频数据进行因子研究、降频处理与组合优化,对底层计算平台的性能提出了更高要求。例如,因子挖掘涉及对百万级样本的多维窗口聚合计算,若底层查询与计算效率不高,往往严重拖慢策略开发进度。此外,随着策略复杂度上升,要求平台支持更高并发和更复杂的分析任务。
DolphinDB 解决方案
为解决上述问题,广发资管引入 DolphinDB 作为行情数据中心的核心技术平台,构建统一的高频行情处理与策略研发支撑体系。
在数据接入与清洗层面,广发资管利用 DolphinDB 的分布式数据导入能力,对通联提供的历史行情文件进行并发加载,并在导入过程中自动完成字段映射、缺失值填补、交易时间对齐和异常值检测等操作。清洗逻辑可由脚本灵活配置,显著提升了数据接入的自动化程度和处理效率。
在存储与管理层面,DolphinDB 支持按时间与股票代码分区的列式存储方式,极大地提升了查询与分析速度。十年以上的高频数据可实现高压缩比存储,在保障性能的同时有效控制了硬件资源消耗。统一的数据表结构也为后续的分析工作提供了标准化、规范化的基础。
更为关键的是,DolphinDB 构建了支撑多策略团队使用的统一数据服务平台。平台支持细粒度的数据权限控制与资源隔离机制,不同团队可以在共享的数据底座上灵活使用各自所需样本,避免数据冗余和版本不一致问题,提升了策略协作效率和治理水平。
在策略研发环节,DolphinDB 强大的内存计算引擎与丰富的时序函数库为因子挖掘提供了强力支撑。团队可以基于 tick 级数据自定义降频逻辑(如 1min、5min、日内 VWAP 等),并在此基础上进行滑窗计算、横截面分析与信号构建。平台还支持 Python 等语言调用,与公司现有的研发框架无缝集成,保持策略开发流程的连贯性与灵活性。
方案效果与价值
DolphinDB 平台的落地应用,为广发资管行情数据中心和策略研发体系带来了全方位的提升:
在数据处理层面,导入与清洗效率显著提升。原本需要数小时才能完成的大批量历史数据处理任务,如今可在分钟级内完成。平台具备良好的稳定性和容错机制,确保数据加工流程高可用、自动化,极大减少了人工运维成本。
在策略支持层面,因子研发效率大幅提升。通过统一平台调用高频数据并进行快速降频处理,研究人员可以在分钟级时间内完成以往需数小时的特征工程任务。多策略团队在平台上可以并行开展因子测试、信号验证与组合优化,策略从构想到落地的周期被显著压缩。
在数据治理方面,形成了统一可控的数据底座。各业务团队不再需要各自维护数据副本,统一的数据结构与访问接口实现了资源复用与权限管控,提高了整体数据治理能力,降低了运维与沟通成本。
更重要的是,通过 DolphinDB 平台的搭建,广发资管构建起了具有前瞻性的量化研发基础设施,为未来更多样化的策略模型、更高频率的数据接入以及更智能的因子生成机制提供了技术保障。
如果您是:
寻求更优行情处理与实时分析能力的券商、资管机构;
需要高效量化研究平台与强大回测引擎的量化团队;
致力于构建实时风险管控系统的银行、金融科技公司;
任何需要处理海量时序数据、追求极速分析的行业创新者……
欢迎访问官网下载并试用 DolphinDB!