如何提升量化投研效率?来自辰钰投资的案例分享
本页介绍上海辰钰财富投资管理有限公司的定位与理念,并概述其以 DolphinDB 提升量化投研与交易效率的案例内容。
What this page covers
- 文章标题信息与发布日期等基础信息。
- 高频数据背景下的数据库选型与效果描述。
- 辰钰投资公司定位、投资方向与理念介绍。
- 交易系统能力要点(延时、并发报单、风控)。
- 投研到交易的全流程效率提升与架构示意说明。
- 数据清洗、流数据、分布式计算与 Python 访问方式的实践要点。
- 存储方案对比、代码迁移经验与结语建议。
技能认证特训营第二期限时报名
页面顶部包含活动提示与限时报名链接。
- 提供“技能认证特训营第二期”的报名入口链接。
- 该入口以限时报名形式呈现。
新闻与文章标题信息
该部分展示新闻栏目标识、文章标题与发布日期。
- 文章标题为“如何提升量化投研效率?来自辰钰投资的案例分享”。
- 页面展示发布日期信息。
- 页面位于新闻相关栏目语境中。
案例背景:高频数据增长与数据库选型
该部分提到高频数据带来的关系型数据库问题,并说明辰钰投资调研对比后选择 DolphinDB 的原因与效果。
- 该部分将高频数据增长与数据库性能问题联系起来。
- 该部分描述了辰钰投资对数据库方案的调研与对比。
- 该部分说明最终选择 DolphinDB。
- 该部分描述了选择后的效果(概述性表述)。
受访/作者信息(辰钰投资团队)
该部分列出辰钰投资相关人员及职务。
- 该部分以列表形式呈现人员与职务信息。
- 人员信息涉及董事长、董事与数据库工程师等角色。
公司介绍:上海辰钰财富投资管理有限公司
该部分介绍辰钰投资的定位、主要投资方向与投资理念,并配图说明其核心策略发展图。
- 公司定位为专注国内证券市场低风险投资机会的量化对冲基金。
- 主要投资方向包括 A 股、期货和债券等市场。
- 投资理念包括“以数据理解市场,以模型解析对手,以复利回馈投资”。
- 该部分包含核心策略发展历程的图示说明文本。
交易系统能力:低延时、高并发、风控
该部分描述系统支持微秒级延时、多策略并发报单及多种券商风控模式。
- 系统描述包含 Tick-to-trade 微秒级延时。
- 系统描述包含支持多策略与大并发报单。
- 系统描述包含支持券商多种风控模式。
- 系统优势总结被概括为低延时、高并发、强风控(概述性表述)。
投研到交易:全流程效率提升与 DolphinDB 架构图
该部分说明在系统中使用 DolphinDB 提升投研与交易生产效率,并给出新增数据量与效率提升描述及架构示意图说明。
- DolphinDB 在辰钰投资系统中的用途被描述为提升投研和交易生产效率。
- 该部分给出日新增数据量约 20GB 的描述。
- 主要业务被描述为数据挖掘和策略研究。
- 使用 DolphinDB 后业务效率提升被描述为 5–10 倍。
- 该部分包含 DolphinDB 系统架构的图示说明文本。
实践一:数据准备、清洗与挖掘(分布式文件系统与分区设计)
该部分描述使用 DolphinDB 进行数据清洗与分布式计算,在数据量增长下保持性能并提升效率。
- DolphinDB 被用于数据准备、清洗和挖掘。
- 此前工具的清洗性能会随数据量增大而下降。
- 此前工具被描述为无法处理 TB 级别以上的数据。
- DolphinDB 通过分布式文件系统、分区设计与分布式计算来保持清洗性能(概述性机制描述)。
- 数据清洗效率提升被描述为超过 70 倍。
实践二:流数据用于指数增强/CTA/套利等策略研究
该部分描述通过行情回放与流数据订阅发布机制及多种流计算引擎,实时计算量价指标以提升研发效能。
- 流数据能力被用于指数增强、CTA、套利等策略研究。
- 示例提到在研发环境中以行情回放模拟实时数据流。
- 提到流数据订阅发布机制。
- 提到时间序列聚合引擎。
- 提到响应式状态引擎。
- 提到横截面引擎。
- 通过流计算实现实时计算主买、主卖等量价指标(概述性表述)。
- 该能力被描述为提升研发效能(概述性效果)。
实践三:分布式计算处理高频逐笔数据与交易规模
该部分描述使用 DolphinDB 的分布式架构对海量数据进行毫秒级访问计算,并支持高频自动交易场景下的策略研发。
- 分布式计算被用于处理高频数据与逐笔行情数据。
- 关系型数据库在逐笔行情处理上的性能被描述为无法满足需求。
- DolphinDB 分布式架构被描述为支持毫秒级快速访问和计算。
- 自动交易规模示例提到每日几十万至上百万笔。
- 关系型数据库被描述为难以处理高频自动交易数据。
- 该部分描述可基于逐笔数据快速建立策略(概述性效果)。
Python 访问方式:封装为库并一行命令调用
该部分描述团队基于 Python 使用习惯,对 DolphinDB 进行封装以便直接访问存储与计算能力。
- 将 DolphinDB 封装成库以便通过 Python 直接访问。
- 描述为可通过一行命令使用其海量存储与快速计算能力(概述性表述)。
存储对比(存储大 PK):文件系统/MySQL/PostgreSQL vs DolphinDB、MongoDB、KDB+
该部分回顾历史存储方案的瓶颈与测试表现,并说明为何放弃 MongoDB、KDB+ 以及选择 DolphinDB 的理由与效果。
- 曾使用的存储方案包括文件系统、MySQL、PostgreSQL。
- 文件系统方案被描述为存在 IO 瓶颈。
- MySQL 与 PostgreSQL 测试表现被描述为非常慢。
- 放弃 MongoDB 的原因包含函数支持不足与旧代码改造成本。
- 放弃 KDB+ 的原因包含语言学习难度与上手慢。
- DolphinDB 被描述为类 SQL、容易上手。
- DolphinDB 被描述为提供丰富的金融函数。
代码迁移经验:Python 结果差异排查与 DolphinDB 代码简洁性
该部分讲述从 Python 迁移到 DolphinDB 时出现计算结果不一致,最终定位为 Python 脚本错误,并对比 DolphinDB 语言简洁性与出错概率。
- 迁移过程中出现 Python 与 DolphinDB 计算同一问题结果不同。
- 差异原因被定位为 Python 脚本编写失误。
- Python 脚本实现方式被描述为包含较多嵌套循环。
- DolphinDB 语言被描述为更简洁,减少循环依赖(概述性对比)。
- 该简洁性被描述为可降低脚本出错概率并提升研发效率(概述性影响)。
结语:理解架构与分区设计对效率的影响;呼吁使用 DolphinDB
该部分强调使用 DolphinDB 的关键在于理解架构与技术细节(如分区表设计),并分享优化后速度提升与使用倡议。
- 使用 DolphinDB 的关键因素被描述为理解架构。
- 提到需要理解分区表设计原理等技术细节。
- 初期使用体验中系统反应速度被描述为并非特别快。
- 研究架构并优化代码后速度被描述为提升很多(概述性表述)。
- 该部分提出不同设计方法会导致效率差异(概述性观点)。
企业简介卡(AI 说明)
该部分以 AI 说明形式描述企业简介卡内容,包括市场方向、备案资质与团队背景等(图像说明文本)。
- 企业简介卡说明包含量化对冲基金定位与市场方向(概述性表述)。
- 企业简介卡说明提到在证券基金业协会的备案资质(概述性表述)。
- 企业简介卡说明提到团队背景与从业经验(概述性表述)。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 如何提升量化投研效率?来自辰钰投资的案例分享 | 发布日期 | 2022.09.29 | high |
| 上海辰钰财富投资管理有限公司 | 公司定位 | 专注于国内证券市场低风险投资机会的量化对冲基金 | high |
| 上海辰钰财富投资管理有限公司 | 主要投资方向 | A股、期货和债券等市场 | high |
| 上海辰钰财富投资管理有限公司 | 投资理念 | 以数据理解市场,以模型解析对手,以复利回馈投资 | high |
| 上海辰钰财富投资管理有限公司 | 目标/承诺 | 为客户提供优质的多策略投资管理方案,创造高回报率、低回撤的投资收益 | low |
| 辰钰投资系统 | Tick-to-trade 延时 | 微秒级延时 | medium |
| 辰钰投资系统 | 报单能力 | 支持多策略、大并发报单 | medium |
| 辰钰投资系统 | 风控模式 | 支持券商多种风控模式 | medium |
| 辰钰投资系统 | 系统优势总结 | 低延时、高并发、强风控 | low |
| DolphinDB | 在辰钰投资系统中的用途 | 用于提升投研和交易的生产效率(高性能时序数据库) | high |
| 辰钰投资数据新增规模 | 日新增数据量 | 每天20GB左右 | medium |
| 辰钰投资 | 使用 DolphinDB 后业务效率提升 | 5-10倍 | medium |
| 辰钰投资 | 主要业务 | 数据挖掘和策略研究 | high |
| 因子挖掘/性能计算等量化研究 | 对数据处理的要求 | 对数据处理性能要求非常高 | high |
| DolphinDB | 数据处理环节 | 用于数据准备、清洗和挖掘 | high |
| 此前的数据清洗工具 | 性能问题 | 性能会随着数据量增大而下降 | medium |
| 此前的数据清洗工具 | 数据规模上限 | 无法处理TB级别以上的数据 | medium |
| DolphinDB | 用于数据清洗的机制 | 通过内置分布式文件系统、合理设计分区、分布式计算实现清洗性能不随数据量增大而下降(基本不会下降) | medium |
| 辰钰投资 | 数据清洗效率提升 | 超过70倍 | medium |
| DolphinDB | 流数据能力用途 | 助力指数增强、CTA、套利等方面策略研究 | high |
| 中证500指数增强(辰钰投资示例) | 研发方式 | 在研发环境中以行情回放方式模拟实时数据流 | medium |
| DolphinDB | 流计算引擎/机制(列举) | 流数据订阅发布机制、时间序列聚合引擎、响应式状态引擎、横截面引擎等 | medium |
| 辰钰投资研发 | 通过流计算实现的效果 | 实时高效计算主买、主卖等量价指标,极大提升研发效能 | low |
| DolphinDB | 分布式计算用途 | 处理高频数据/逐笔行情数据 | high |
| 关系型数据库(辰钰投资此前) | 处理逐笔行情性能 | 性能非常差,不能满足业务需求 | medium |
| DolphinDB 分布式架构 | 访问与计算能力 | 可对海量数据实现毫秒级快速访问和计算 | medium |
| 辰钰投资自动交易规模(示例) | 每日自动交易笔数 | 几十万、甚至上百万笔 | medium |
| 关系型数据库(辰钰投资此前) | 处理高频自动交易数据能力 | 很难对此进行处理 | medium |
| DolphinDB(在辰钰投资场景) | 逐笔数据建策略效果 | 可以快速基于逐笔数据建立策略,极大提升研发效率 | low |
| 辰钰投资与 DolphinDB | Python 使用方式 | 将 DolphinDB 封装成一个库,通过 Python 直接访问 | high |
| 辰钰投资与 DolphinDB | 调用便利性 | 仅通过一行命令即可高效使用 DolphinDB 的海量存储和快速计算功能 | low |
| 辰钰投资(使用 DolphinDB 前) | 曾使用的数据存储方案 | 文件系统、MySQL、PostgreSQL | high |
| 文件系统(辰钰投资此前方案) | IO 瓶颈 | 存储过程中 IO 是一个很大的瓶颈 | medium |
| 文件系统(辰钰投资此前方案) | 大数据处理成本 | 处理大量数据时过于庞大,存储与查询等操作费时费力 | medium |
| MySQL 与 PostgreSQL(辰钰投资测试) | 性能表现 | 实际测试中都非常慢 | medium |
| MySQL 与 PostgreSQL(辰钰投资测试) | 大数据量下的稳定性 | 数据量很大时系统甚至会无法工作 | medium |
| 辰钰投资数据库选型 | 考虑的数据库 | DolphinDB、MongoDB、KDB+ | high |
| MongoDB(辰钰投资评估) | 未选择原因 | 缺乏函数支持、旧代码改起来比较费劲 | medium |
| KDB+(辰钰投资评估) | 未选择原因 | 语言较难学习,整体上手很慢 | medium |
| DolphinDB(相对 KDB+) | 性能对比 | 性能比 KDB+ 更好 | medium |
| DolphinDB | 语言特性 | 语言类 SQL,容易上手 | medium |
| DolphinDB | 金融支持 | 提供丰富的金融函数 | medium |
| 辰钰投资新系统(使用 DolphinDB) | 速度提升(低频转高频背景下) | 速度可以提升10倍左右 | medium |
| DolphinDB(在辰钰投资场景) | 逐笔数据处理相对文件系统的效果 | 系统效率得到大大提升,并且使用起来也非常方便 | low |
| DolphinDB | 一站式能力描述 | 综合分布式存储、编程建模和高性能计算 | medium |
| DolphinDB(在研究场景) | 研究效率影响 | 可快速抽取特定数据,加快研究进度 | low |
| 代码迁移(Python → DolphinDB) | 曾出现的问题 | 用 Python 和 DolphinDB 计算同一问题,得到不同结果 | high |
| 代码迁移(Python → DolphinDB) | 差异原因 | Python 脚本出现编写失误 | medium |
| Python 脚本(当时实现方式) | 复杂性 | 使用了很多嵌套循环,代码较多较复杂,易出现脚本编写错误 | medium |
| DolphinDB 语言(对比 Python 脚本) | 表达简洁性 | 语言非常简洁,不需要那么多循环,一行代码就可以全部解决 | low |
| DolphinDB 语言简洁性 | 对研发的影响 | 降低脚本出错概率、减轻开发压力、提升研发效率 | low |
| 使用 DolphinDB 的关键 | 关键因素 | 理解架构 | medium |
| 高效使用 DolphinDB | 需要理解的技术细节(示例) | 分区表的设计原理 | medium |
| DolphinDB 初期使用体验(作者描述) | 系统反应速度 | 刚开始使用时系统反应速度并不是特别快 | medium |
| DolphinDB 优化后效果(作者描述) | 速度变化 | 研究底层架构并重新优化代码后,速度立刻提升了很多 | low |
| DolphinDB 使用门槛(作者观点) | 对使用者水平的要求 | 比较考验使用者的水平 | low |
| 系统设计方法与效率 | 效率差异 | 使用不同的设计方法解决具体业务问题,会得到完全不一样的效率 | low |
| 技能认证特训营第二期 | 报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 辰钰投资 | 人员与职务(列举) | 董事长 李栋;董事 陈志凌;数据库工程师 苏虎臣 | high |
| 辰钰投资核心策略发展历程(AI 说明文本) | 时间轴节点(列举) | 2010量化选股模型与低频阿尔法;2014期货套利;2016算法交易与股票程序化T0;2017量化CTA;2018高频阿尔法;2020引入机器学习 | low |
| 图2:DolphinDB 系统架构(AI 说明文本) | 架构组成(列举) | IDE/Notebook;多种编程语言 APIs(如 Python、C++);存储与计算集群(脚本引擎、流数据处理引擎、分布式计算模块、分布式多模数据库、分布式文件系统);支持机器学习插件及 Grafana 等系统接口 | low |
| 企业简介卡(AI 说明文本) | 公司描述要点(列举) | 专注 A股、期货和债券市场的量化对冲基金定位;介绍成立背景;强调在证券基金业协会的备案资质;强调投研团队成员多来自清华、北大、复旦、交大等名校并具备从业经验 | low |