实时行情难处理?睿凝资本选择 DolphinDB 解决流数据难题
本页是一篇新闻类客户案例内容,介绍睿凝资本在实时行情与流数据处理场景中选择并使用 DolphinDB 的背景与过程。
What this page covers
- 活动报名入口与页面顶部推广信息。
- 案例主题、文章标题与发布日期信息。
- 受访者/署名信息与背景引入。
- 业务需求:数据规模与查询/写入/计算/成本要求。
- 选型对比与选择 DolphinDB 的原因。
- 系统流程、架构与指标计算、交易推送与回放用途。
- 总结评价与客户简介卡片信息。
技能认证特训营第二期限时报名活动
页面顶部提供活动推广信息与报名链接入口。
- 页面包含“技能认证特训营第二期”的报名入口。
- 报名链接指向 qingsuyun.com 的活动页面。
新闻页标识
页面所属栏目或类型标识为新闻。
- 页面以“新闻”作为栏目/类型标识。
- 该标识用于表明内容属于新闻类页面。
实时行情难处理?睿凝资本选择 DolphinDB 解决流数据难题
本部分呈现文章标题、发布日期,并引入客户案例主题与背景。
- 文章发布日期为 2022.08.29。
- 案例讨论实时行情处理与流数据难题。
- 案例涉及在对冲基金业务中使用 DolphinDB。
受访者/署名信息与背景引入
本部分列出睿凝资本相关人物,并介绍作者了解 DolphinDB 与创办公司的背景。
- 本部分列出与睿凝资本相关的受访者/署名信息。
- 作者描述其了解 DolphinDB 的背景经历。
- 作者描述与合伙人共同创办北京睿凝私募基金管理有限公司的过程。
主视觉海报(含AI说明)
本部分展示客户案例主视觉海报,并附带说明文本。
- 页面展示与案例相关的主视觉海报内容。
- 说明文本将其描述为睿凝资本与 DolphinDB 合作伙伴关系的客户案例主视觉。
睿凝的业务需求
本部分描述睿凝资本的量化研发数据规模,并提出查询、写入、计算与成本方面的系统需求。
- 策略研究数据处理每日新增数据量约 20GB。
- 策略研究历史数据规模为几十TB。
- 系统需求包括分区灵活与毫秒级查询响应。
- 系统需求包括高吞吐、低延时与毫秒级批量写入。
- 系统需求包括强大计算引擎与毫秒级实时计算,以及降低开发运维成本。
为什么选择 DolphinDB
本部分概述选型参考与对比测试,并总结选择 DolphinDB 的理由(性能、函数、学习成本、流计算与技术服务)。
- 选型参考了 DB-Engines 的排名信息。
- InfluxDB、KDB+ 与 DolphinDB 被列入对比测试名单。
- 对比测试覆盖批量写入、查询与实时计算等方面。
- DolphinDB 被描述为内置量化金融常用的数据分析函数。
- DolphinDB 被描述为支持类标准 SQL 语法,脚本语言类似 Python,以降低学习与培训成本。
- DolphinDB 被描述为自带流数据引擎,有利于策略在生产环境落地。
- DolphinDB 被描述为具有国内专业技术支持团队,可配合需求开发新功能。
我们用 DolphinDB 做了什么
本部分描述基于 DolphinDB 流数据引擎的行情采集、清洗、统计、计算、入库与因子指标计算流程。
- 实时收集行情数据包含逐笔交易、逐笔委托与快照数据。
- 对采集到的行情数据进行清洗处理。
- 对行情数据进行统计与计算。
- 将计算结果入库。
- 流程用于因子库指标计算。
系统架构流程图(含AI说明)
本部分展示从外部行情接入到引擎级联处理,再到结果推送交易系统的架构流程。
- 外部实时行情数据通过 Java API 进入 DolphinDB Server。
- 架构包含多级级联处理链路。
- ReactiveStateEngine 作为级联处理链路的一部分。
- TimeSeriesEngine 作为级联处理链路的一部分。
- TimeSeriesEngine 用于实时计算 K 线、量价指标及资金流指标的一部分。
- 计算结果通过 Python API 推送至交易系统。
计算资金流指标
本部分描述订阅流数据并用时间序列聚合引擎计算资金流指标的步骤与输出表。
- 订阅买卖方向流数据表。
- 使用时间序列聚合引擎计算自定义资金流指标。
- 分别计算不同时间窗口的指标结果。
- 生成资金流指标流数据表。
计算K线衍生的量价指标
本部分描述基于多引擎级联与增量计算方式生成量价指标流数据表的步骤。
- 订阅买卖方向流数据表。
- 用时间序列聚合引擎计算不同时间窗口的 K 线。
- 与响应式状态引擎级联构成多引擎流水线。
- 使用增量计算方式计算回报率等衍生量价指标。
- 生成量价指标流数据表。
进行交易与回测
本部分描述推送计算结果至实盘交易系统、落库用于历史回放,并给出生产环境的响应与稳定性描述。
- 通过 Python API 订阅推送方式将流数据表数据推送至实盘交易系统。
- 流数据表可通过本地或远程订阅方式写入数据库表。
- 写入数据库表用于历史数据回放的策略验证与优化。
- 运维描述称计算因子可实现毫秒级响应。
- 运维描述称整体性能稳定、延时低、吞吐高。
总结与评价
本部分对合作一年多的性能与服务进行主观评价,并表达对后续发展的期待。
- 作者主观认为 DolphinDB 的性能已超越 KDB+,并仍在前进。
- 作者称 DolphinDB 会倾听客户并快速回应新需求或 corner case 的 bug。
- 作者表达对 DolphinDB 的认可与期待。
客户简介卡片(含AI说明)
本部分展示睿凝资本简介卡片及背景介绍说明文本。
- 说明文本将睿凝资本描述为位于北京中关村核心区的对冲基金。
- 说明文本提到通过数理建模及程序化交易进行 A 股量化投资。
- 说明文本提到核心团队由投行量化投资负责人组成并具有金融经验。
- 说明文本提到以人工智能驱动统计模型和自动化技术提供资管方案。
- 说明文本举例包含对冲基金与指数增强类产品方案。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 实时行情难处理?睿凝资本选择 DolphinDB 解决流数据难题 | 发布日期 | 2022.08.29 | high |
| 睿凝资本 | 公司类型/定位 | 专注于通过数理建模及程序化交易进行量化投资的对冲基金公司 | high |
| 睿凝资本 | 主要业务 | 主要从事对冲基金的多样性策略交易,研发投资策略,为客户提供差异化收益风险特征的资管产品 | high |
| 睿凝资本策略研究数据处理 | 每日新增数据量 | 每日20GB左右的新增数据 | high |
| 睿凝资本策略研究数据处理 | 历史数据规模 | 几十TB的历史数据 | medium |
| 目标系统(睿凝资本) | 查询需求 | 分区灵活方便,实现毫秒级响应 | high |
| 目标系统(睿凝资本) | 写入需求 | 系统高吞吐、低延时,实现毫秒级批量写入 | high |
| 目标系统(睿凝资本) | 计算需求 | 计算引擎强大,实现毫秒级实时计算 | high |
| 目标系统(睿凝资本) | 成本需求 | 尽量降低开发与运维的成本 | high |
| DolphinDB | 被选择用于解决的问题 | 为解决对冲基金业务中的流计算难题并应对海量数据存储、计算和查询需求而被选择 | high |
| DolphinDB | 选型对比参考来源 | 参考 DB-Engines 的排名将 InfluxDB、KDB+ 和 DolphinDB 列入选型名单 | high |
| InfluxDB | 在选型中被对比测试 | 与 KDB+、DolphinDB 一同列入选型名单并从批量写入、查询、实时计算等方面进行测试对比 | high |
| KDB+ | 在选型中被对比测试 | 与 InfluxDB、DolphinDB 一同列入选型名单并从批量写入、查询、实时计算等方面进行测试对比 | high |
| DolphinDB | DB-Engines排名(当时) | 国内排名第1、世界排名第12(目前排名第9)的时序数据库 | medium |
| DolphinDB | 性能对比结论 | 性能远远超过其他几家排名更高的数据库 | low |
| DolphinDB | 功能范围 | 超越传统数据库简单的存储和查询功能,内置众多量化金融常用的数据分析函数 | medium |
| DolphinDB | 语法与学习成本 | 支持类标准 SQL 的语法,脚本语言类似 Python;新人可更快上手并节省培训成本和使用成本 | medium |
| DolphinDB | 流计算能力 | 自带流数据引擎,有利于研发策略在生产环境落地 | high |
| DolphinDB | 技术服务能力 | 具有国内专业的技术支持团队,可及时解答问题并配合需求开发新功能 | medium |
| 睿凝资本使用 DolphinDB | 实时行情数据采集范围 | 实时收集行情数据包括逐笔的股票交易和委托数据以及快照数据,并进行清洗、统计、计算和入库 | high |
| DolphinDB内置流数据计算引擎 | 在该案例中的用途 | 用于实时收集行情并进行数据清洗、统计、计算、入库,以及因子库指标计算 | high |
| 该实时行情处理与因子计算系统架构 | 接入方式与接口 | 数据从外部实时行情接入,通过 Java API 进入 DolphinDB Server;计算结果通过 Python API 推送至交易系统 | medium |
| ReactiveStateEngine(响应式状态引擎) | 在架构中的作用 | 用于多级级联处理的一部分(与时间序列聚合引擎共同构成处理链路) | medium |
| TimeSeriesEngine(时间序列聚合引擎) | 在架构中的作用 | 用于多级级联处理并实时计算K线、量价指标及资金流指标的一部分 | medium |
| 资金流指标计算 | 计算方法 | 订阅买卖方向流数据表,使用时间序列聚合引擎分别计算不同时间窗口的自定义资金流指标,生成资金流指标流数据表 | high |
| K线衍生的量价指标计算 | 计算方法 | 订阅买卖方向流数据表;用时间序列聚合引擎计算不同时间窗口K线,并与响应式状态引擎级联构成多引擎流水线;使用增量计算方式计算回报率等衍生量价指标,生成量价指标流数据表 | high |
| 实盘交易系统(睿凝资本) | 数据对接方式 | 通过 Python API 订阅方式将计算后输出的流数据表数据推送至实盘交易系统 | high |
| 策略验证与优化(睿凝资本) | 历史回放用途 | 所有流数据表通过本地或远程订阅方式写入数据库表,便于通过历史数据回放方式进行策略验证与优化 | high |
| DolphinDB 流数据引擎在睿凝资本生产环境的表现 | 响应与稳定性 | 近半年运维状况显示:计算因子可实现毫秒级响应,整体性能稳定,延时低、吞吐高 | medium |
| DolphinDB(相对KDB+) | 性能评价 | 作者认为 DolphinDB 的性能已经超越 KDB+,并且还在不断前进中 | low |
| DolphinDB | 客户反馈与响应 | 作者称 DolphinDB 会倾听客户、对新需求或 corner case 的 bug 在第一时间回应并很快提供解决方案 | low |
| 北京睿凝私募基金管理有限公司 | 创办描述 | 作者称告别前公司后,结合量化投资经验与数理专业特长,与合伙人共同创办该公司 | medium |
| 文章主视觉海报(AI说明文本) | 所表达主题 | 说明为睿凝资本与 DolphinDB 合作伙伴关系的客户案例主视觉海报 | low |
| 睿凝资本(AI说明文本) | 地点 | 位于北京中关村核心区的对冲基金 | low |
| 睿凝资本(AI说明文本) | 投资方向 | 通过数理建模及程序化交易进行A股量化投资 | low |
| 睿凝资本(AI说明文本) | 团队构成 | 核心团队由国内外顶尖投行的量化投资负责人组成,拥有丰富的金融从业经验 | low |
| 睿凝资本(AI说明文本) | 业务核心方法 | 以人工智能驱动统计模型和自动化技术,为投资者提供差异化资管方案 | low |
| 睿凝资本资管方案(AI说明文本) | 产品类型举例 | 包括对冲基金和指数增强类产品在内的资管方案 | low |
| 技能认证特训营第二期 | 报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |