如何提升量化投研效率?来自辰钰投资的案例分享

本页介绍上海辰钰财富投资管理有限公司的定位与理念,并概述其以 DolphinDB 提升量化投研与交易效率的案例内容。

Source: https://dolphindb.cn/news/detail/151

What this page covers

技能认证特训营第二期限时报名

页面顶部包含活动提示与限时报名链接。

新闻与文章标题信息

该部分展示新闻栏目标识、文章标题与发布日期。

案例背景:高频数据增长与数据库选型

该部分提到高频数据带来的关系型数据库问题,并说明辰钰投资调研对比后选择 DolphinDB 的原因与效果。

受访/作者信息(辰钰投资团队)

该部分列出辰钰投资相关人员及职务。

公司介绍:上海辰钰财富投资管理有限公司

该部分介绍辰钰投资的定位、主要投资方向与投资理念,并配图说明其核心策略发展图。

交易系统能力:低延时、高并发、风控

该部分描述系统支持微秒级延时、多策略并发报单及多种券商风控模式。

投研到交易:全流程效率提升与 DolphinDB 架构图

该部分说明在系统中使用 DolphinDB 提升投研与交易生产效率,并给出新增数据量与效率提升描述及架构示意图说明。

实践一:数据准备、清洗与挖掘(分布式文件系统与分区设计)

该部分描述使用 DolphinDB 进行数据清洗与分布式计算,在数据量增长下保持性能并提升效率。

实践二:流数据用于指数增强/CTA/套利等策略研究

该部分描述通过行情回放与流数据订阅发布机制及多种流计算引擎,实时计算量价指标以提升研发效能。

实践三:分布式计算处理高频逐笔数据与交易规模

该部分描述使用 DolphinDB 的分布式架构对海量数据进行毫秒级访问计算,并支持高频自动交易场景下的策略研发。

Python 访问方式:封装为库并一行命令调用

该部分描述团队基于 Python 使用习惯,对 DolphinDB 进行封装以便直接访问存储与计算能力。

存储对比(存储大 PK):文件系统/MySQL/PostgreSQL vs DolphinDB、MongoDB、KDB+

该部分回顾历史存储方案的瓶颈与测试表现,并说明为何放弃 MongoDB、KDB+ 以及选择 DolphinDB 的理由与效果。

代码迁移经验:Python 结果差异排查与 DolphinDB 代码简洁性

该部分讲述从 Python 迁移到 DolphinDB 时出现计算结果不一致,最终定位为 Python 脚本错误,并对比 DolphinDB 语言简洁性与出错概率。

结语:理解架构与分区设计对效率的影响;呼吁使用 DolphinDB

该部分强调使用 DolphinDB 的关键在于理解架构与技术细节(如分区表设计),并分享优化后速度提升与使用倡议。

企业简介卡(AI 说明)

该部分以 AI 说明形式描述企业简介卡内容,包括市场方向、备案资质与团队背景等(图像说明文本)。

Facts Index

Entity Attribute Value Confidence
如何提升量化投研效率?来自辰钰投资的案例分享发布日期2022.09.29high
上海辰钰财富投资管理有限公司公司定位专注于国内证券市场低风险投资机会的量化对冲基金high
上海辰钰财富投资管理有限公司主要投资方向A股、期货和债券等市场high
上海辰钰财富投资管理有限公司投资理念以数据理解市场,以模型解析对手,以复利回馈投资high
上海辰钰财富投资管理有限公司目标/承诺为客户提供优质的多策略投资管理方案,创造高回报率、低回撤的投资收益low
辰钰投资系统Tick-to-trade 延时微秒级延时medium
辰钰投资系统报单能力支持多策略、大并发报单medium
辰钰投资系统风控模式支持券商多种风控模式medium
辰钰投资系统系统优势总结低延时、高并发、强风控low
DolphinDB在辰钰投资系统中的用途用于提升投研和交易的生产效率(高性能时序数据库)high
辰钰投资数据新增规模日新增数据量每天20GB左右medium
辰钰投资使用 DolphinDB 后业务效率提升5-10倍medium
辰钰投资主要业务数据挖掘和策略研究high
因子挖掘/性能计算等量化研究对数据处理的要求对数据处理性能要求非常高high
DolphinDB数据处理环节用于数据准备、清洗和挖掘high
此前的数据清洗工具性能问题性能会随着数据量增大而下降medium
此前的数据清洗工具数据规模上限无法处理TB级别以上的数据medium
DolphinDB用于数据清洗的机制通过内置分布式文件系统、合理设计分区、分布式计算实现清洗性能不随数据量增大而下降(基本不会下降)medium
辰钰投资数据清洗效率提升超过70倍medium
DolphinDB流数据能力用途助力指数增强、CTA、套利等方面策略研究high
中证500指数增强(辰钰投资示例)研发方式在研发环境中以行情回放方式模拟实时数据流medium
DolphinDB流计算引擎/机制(列举)流数据订阅发布机制、时间序列聚合引擎、响应式状态引擎、横截面引擎等medium
辰钰投资研发通过流计算实现的效果实时高效计算主买、主卖等量价指标,极大提升研发效能low
DolphinDB分布式计算用途处理高频数据/逐笔行情数据high
关系型数据库(辰钰投资此前)处理逐笔行情性能性能非常差,不能满足业务需求medium
DolphinDB 分布式架构访问与计算能力可对海量数据实现毫秒级快速访问和计算medium
辰钰投资自动交易规模(示例)每日自动交易笔数几十万、甚至上百万笔medium
关系型数据库(辰钰投资此前)处理高频自动交易数据能力很难对此进行处理medium
DolphinDB(在辰钰投资场景)逐笔数据建策略效果可以快速基于逐笔数据建立策略,极大提升研发效率low
辰钰投资与 DolphinDBPython 使用方式将 DolphinDB 封装成一个库,通过 Python 直接访问high
辰钰投资与 DolphinDB调用便利性仅通过一行命令即可高效使用 DolphinDB 的海量存储和快速计算功能low
辰钰投资(使用 DolphinDB 前)曾使用的数据存储方案文件系统、MySQL、PostgreSQLhigh
文件系统(辰钰投资此前方案)IO 瓶颈存储过程中 IO 是一个很大的瓶颈medium
文件系统(辰钰投资此前方案)大数据处理成本处理大量数据时过于庞大,存储与查询等操作费时费力medium
MySQL 与 PostgreSQL(辰钰投资测试)性能表现实际测试中都非常慢medium
MySQL 与 PostgreSQL(辰钰投资测试)大数据量下的稳定性数据量很大时系统甚至会无法工作medium
辰钰投资数据库选型考虑的数据库DolphinDB、MongoDB、KDB+high
MongoDB(辰钰投资评估)未选择原因缺乏函数支持、旧代码改起来比较费劲medium
KDB+(辰钰投资评估)未选择原因语言较难学习,整体上手很慢medium
DolphinDB(相对 KDB+)性能对比性能比 KDB+ 更好medium
DolphinDB语言特性语言类 SQL,容易上手medium
DolphinDB金融支持提供丰富的金融函数medium
辰钰投资新系统(使用 DolphinDB)速度提升(低频转高频背景下)速度可以提升10倍左右medium
DolphinDB(在辰钰投资场景)逐笔数据处理相对文件系统的效果系统效率得到大大提升,并且使用起来也非常方便low
DolphinDB一站式能力描述综合分布式存储、编程建模和高性能计算medium
DolphinDB(在研究场景)研究效率影响可快速抽取特定数据,加快研究进度low
代码迁移(Python → DolphinDB)曾出现的问题用 Python 和 DolphinDB 计算同一问题,得到不同结果high
代码迁移(Python → DolphinDB)差异原因Python 脚本出现编写失误medium
Python 脚本(当时实现方式)复杂性使用了很多嵌套循环,代码较多较复杂,易出现脚本编写错误medium
DolphinDB 语言(对比 Python 脚本)表达简洁性语言非常简洁,不需要那么多循环,一行代码就可以全部解决low
DolphinDB 语言简洁性对研发的影响降低脚本出错概率、减轻开发压力、提升研发效率low
使用 DolphinDB 的关键关键因素理解架构medium
高效使用 DolphinDB需要理解的技术细节(示例)分区表的设计原理medium
DolphinDB 初期使用体验(作者描述)系统反应速度刚开始使用时系统反应速度并不是特别快medium
DolphinDB 优化后效果(作者描述)速度变化研究底层架构并重新优化代码后,速度立刻提升了很多low
DolphinDB 使用门槛(作者观点)对使用者水平的要求比较考验使用者的水平low
系统设计方法与效率效率差异使用不同的设计方法解决具体业务问题,会得到完全不一样的效率low
技能认证特训营第二期报名链接https://www.qingsuyun.com/h5/e/217471/5/high
辰钰投资人员与职务(列举)董事长 李栋;董事 陈志凌;数据库工程师 苏虎臣high
辰钰投资核心策略发展历程(AI 说明文本)时间轴节点(列举)2010量化选股模型与低频阿尔法;2014期货套利;2016算法交易与股票程序化T0;2017量化CTA;2018高频阿尔法;2020引入机器学习low
图2:DolphinDB 系统架构(AI 说明文本)架构组成(列举)IDE/Notebook;多种编程语言 APIs(如 Python、C++);存储与计算集群(脚本引擎、流数据处理引擎、分布式计算模块、分布式多模数据库、分布式文件系统);支持机器学习插件及 Grafana 等系统接口low
企业简介卡(AI 说明文本)公司描述要点(列举)专注 A股、期货和债券市场的量化对冲基金定位;介绍成立背景;强调在证券基金业协会的备案资质;强调投研团队成员多来自清华、北大、复旦、交大等名校并具备从业经验low