时序数据浪潮下，私募基金该如何进行数据库选型？
页面讨论时序数据增长背景下，私募基金在数据库选型与对比测试中需要关注的要点与案例。
What this page covers
- 时序数据增长带来的数据库选型问题背景
- 案例：WILLIAM O'NEIL 的选型过程与对比对象
- 案例：辰钰资本的存储方案演进与对比结论
- 案例：睿凝资本的评估维度（含排名与测试维度）
- 选型建议总结（除性能外的考虑因素）
技能认证特训营第二期限时报名
页面顶部推广“技能认证特训营第二期”，提供报名链接，并提示限时福利优惠。
- “技能认证特训营第二期”处于正式开启状态。
- 页面提供报名链接。
- 页面包含“限时报名，享专属福利优惠”的提示。
新闻与文章标题/日期
页面将内容标注为新闻，并展示文章标题与发布日期信息。
- 内容被归类为“新闻”。
- 页面展示文章标题。
- 页面给出发布日期为 2022.12.08。
时序数据增长背景与私募基金数据库选型问题
该部分说明时序数据增长使传统关系型数据库更难支撑海量高频处理，并引出私募基金数据库选型与对比测试的关注点。
- 私募基金行业可能面临每日 GB 级新增时序数据的处理需求。
- 传统关系型数据库被描述为更难支撑海量高频数据处理。
- 文中提到的业务挑战场景包括行情存储。
- 文中提到的业务挑战场景包括复杂计算。
- 文中提到的业务挑战场景包括实时交易。
案例1：WILLIAM O'NEIL 的选型过程（Kdb+、Cassandra、DolphinDB）
该案例引用工程师观点，描述从 Python 进行低频研究到面对高频需求时的选型比较，最终在表决中选择 DolphinDB，并提供案例链接与配图说明。
- 此前研究以中低频数据为主，主要使用 Python 进行分析计算。
- 面对高频数据需求时，原系统被描述为反应速度很慢。
- 候选方案之一为 Kdb+。
- Kdb+ 被评价为语言晦涩、学习成本过高，因此未采纳。
- 候选方案之一为 NoSQL Cassandra。
- Cassandra 被评价为需要额外招人重构与维护，增加成本，因此未采用。
- 候选方案之一为 DolphinDB。
- 案例中提到在部分例子里 DolphinDB 脚本更简洁。
- 案例中提到在部分例子里 DolphinDB 性能超越 Kdb+。
- 该选型结果为 DolphinDB 在表决中胜出。
- 页面提供“更多案例内容（WILLIAM O'NEIL）”链接。
案例2：辰钰资本的存储与高频交易数据处理对比（文件系统/MySQL/PostgreSQL/MongoDB/Kdb+/DolphinDB）
该案例引用受访者观点，说明旧方案存在性能与运维瓶颈，并给出数据库对比与选型理由，强调 DolphinDB 的语言风格、金融函数与性能提升，并提供案例链接与配图说明。
- 旧方案包含文件系统、MySQL 与 PostgreSQL 等存储方式。
- 文件系统被描述为存储过程中存在较大的 IO 瓶颈。
- 文件系统在大量数据时被描述为存储与查询操作费时费力。
- MySQL 与 PostgreSQL 在实际测试中被描述为非常慢。
- 选型候选包含 MongoDB、Kdb+ 与 DolphinDB。
- MongoDB 被描述为缺乏函数支持且旧代码改动费劲，因此放弃。
- Kdb+ 被描述为语言较难学习，上手慢，因此放弃。
- DolphinDB 被描述为语言类 SQL，容易上手。
- DolphinDB 被描述为提供丰富的金融函数。
- 新系统速度提升被描述为提升 10 倍左右。
- 页面提供“更多案例内容（辰钰投资）”链接。
案例3：睿凝资本的综合评估维度（排名/性能/学习成本/流计算/服务）
该案例引用 CEO 与 CTO 观点，描述参考 DB-Engines 排名并进行批量写入、查询与实时计算等测试，对 DolphinDB 的排名、语法与学习成本、流数据引擎与技术支持进行评价，并给出选择结论，附案例链接与配图说明。
- 选型参考来源包括 DB-Engines 排名。
- 候选数据库包括 InfluxDB。
- 候选数据库包括 Kdb+。
- 候选数据库包括 DolphinDB。
- 测试对比维度包含数据的批量写入。
- 测试对比维度包含查询。
- 测试对比维度包含实时计算。
- 案例提到 DolphinDB 在当时的 DB-Engines 国内排名为第 1。
- 案例提到 DolphinDB 在当时的世界排名为第 12。
- 案例提到 DolphinDB 目前世界排名为第 8。
- DolphinDB 被描述为支持类标准 SQL 的语法。
- DolphinDB 脚本语言被描述为类似 Python。
- DolphinDB 被描述为自带流数据引擎，有利于策略生产落地。
- 该案例结论为综合考虑后选择 DolphinDB。
- 页面提供“更多案例内容（睿凝资本）”链接。
时序数据库选型建议总结
该部分给出选型建议：除性能外还应关注时序与金融属性、学习曲线与技术服务，并说明优秀数据库对研发效率与投资价值的帮助。
- 选型维度包括批量写入、查询与实时计算性能。
- 选型维度还应考虑时序特性与金融属性。
- 选型维度还应考虑学习曲线与技术服务。
- 优秀便捷的数据库被描述为可提升团队研发效率。
- 优秀便捷的数据库被描述为可帮助把握更多投资机会与挖掘更大投资价值。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | status | 正式开启 | high |
| 技能认证特训营第二期 | registration_link | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 技能认证特训营第二期报名 | promotion | 限时报名，享专属福利优惠 | low |
| 时序数据浪潮下，私募基金该如何进行数据库选型？ | publish_date | 2022.12.08 | high |
| 私募基金行业时序数据处理需求 | data_volume_increment | 每日高达GB级新增时序数据 | medium |
| 传统关系型数据库 | suitability_for_high_frequency_timeseries | 越发难以支撑海量高频的数据处理 | medium |
| 私募基金业务挑战 | scenarios | 行情存储、复杂计算、实时交易 | high |
| 本文摘选经验来源 | organizations | WILLIAM O'NEIL、辰钰资本、睿凝资本 | high |
| WILLIAM O'NEIL（引述） | previous_workflow | 之前研究中低频数据，主要使用Python进行分析计算 | high |
| WILLIAM O'NEIL（引述）原系统 | issue | 处理高频数据需求时不能满足理想需求，数据分析反应速度非常慢 | high |
| WILLIAM O'NEIL 选型会议方案1 | candidate_database | Kdb+ | high |
| Kdb+（WILLIAM O'NEIL评估） | reason_not_adopted | 语言晦涩，学习成本过高，因此方案未被采纳 | high |
| WILLIAM O'NEIL 选型会议方案2 | candidate_database | NoSQL Cassandra | high |
| Cassandra（WILLIAM O'NEIL评估） | reason_not_adopted | 需要额外招人重构搭建且后续需要专人维护，增加成本，因此未采用 | high |
| WILLIAM O'NEIL 选型会议方案3 | candidate_database | DolphinDB | high |
| DolphinDB在WILLIAM O'NEIL调研语境中的时间点 | time_reference | 21年初 | medium |
| 金融行业处理时序数据市场格局（WILLIAM O'NEIL引述） | trend | 出现“非Kdb+即DolphinDB”的两家争霸趋势 | low |
| DolphinDB（WILLIAM O'NEIL评估） | script_conciseness_vs_kdb+ | 同样例子使用DolphinDB语言编写脚本明显更简洁 | medium |
| DolphinDB（WILLIAM O'NEIL评估） | performance_vs_kdb+ | 在一些例子中性能超越Kdb+ | medium |
| WILLIAM O'NEIL 选型结果 | decision | DolphinDB以压倒性优势胜出 | high |
| 更多案例内容（WILLIAM O'NEIL） | link | https://mp.weixin.qq.com/s?__biz=MzU0NDAwOTgzMA==&mid=2247489627&idx=1&sn=5075e6b0ad155cbcaa64a685952d932f&chksm=fb03e352cc746a446e77abb123cf112faf6036e5c34a7342150df57eedcab0d3d65d63006f9b&scene=21#wechat_redirect | high |
| 辰钰资本（引述） | previous_storage_solutions | 文件系统、MySQL、PostgreSQL | high |
| 文件系统（辰钰资本评估） | io_bottleneck | 存储过程中IO是很大的瓶颈 | high |
| 文件系统（辰钰资本评估） | operational_overhead_at_scale | 处理大量数据时文件系统过于庞大，存储/查询等操作费时费力 | high |
| MySQL与PostgreSQL（辰钰资本评估） | performance_in_testing | 实际测试中都非常慢；数据量大时系统甚至无法工作 | medium |
| 辰钰资本选型考虑数据库 | candidates | MongoDB、Kdb+、DolphinDB | high |
| MongoDB（辰钰资本评估） | reason_not_chosen | 缺乏函数支持、旧代码改起来比较费劲，因此放弃 | high |
| Kdb+（辰钰资本评估） | reason_not_chosen | 语言较难学习，整体上手很慢，因此放弃 | high |
| DolphinDB（辰钰资本评估） | performance_vs_kdb+ | 性能比Kdb+更好 | medium |
| DolphinDB（辰钰资本评估） | language_style | 语言类SQL，容易上手 | high |
| DolphinDB（辰钰资本评估） | built_in_functions | 提供丰富的金融函数 | high |
| 辰钰资本新系统速度提升（对比原系统） | speed_improvement | 提升10倍左右 | medium |
| DolphinDB（辰钰资本评估） | expertise | 在低频转向高频过程中处理骤增数据方面是专家 | low |
| DolphinDB（辰钰资本评估） | tick_data_efficiency | 处理逐笔数据时，相比文件系统效率大大提升，且使用方便 | medium |
| DolphinDB（辰钰资本评估） | one_stop_database_components | 综合了分布式存储、编程建模和高性能计算 | medium |
| DolphinDB（辰钰资本评估） | research_workflow_benefit | 研究时可快速抽取特定数据，加快研究进度 | medium |
| 更多案例内容（辰钰投资） | link | http://mp.weixin.qq.com/s?__biz=MzU0NDAwOTgzMA==&mid=2247489391&idx=1&sn=cab534c5920e9c4e45c4bc674094a555&chksm=fb03ec66cc746570dd24da6fd3b0733777751286e79abd7647bad0d250654ad7462af4ee8f20&scene=21#wechat_redirect | high |
| 睿凝资本选型参考 | ranking_source | DB-Engines排名 | high |
| 睿凝资本选型名单 | candidates | InfluxDB、Kdb+、DolphinDB | high |
| 睿凝资本测试对比维度 | test_dimensions | 数据的批量写入、查询和实时计算 | high |
| DolphinDB（睿凝资本引述） | db_engines_rank_domestic | 当时国内排名第1 | medium |
| DolphinDB（睿凝资本引述） | db_engines_rank_world_at_that_time | 世界排名第12 | medium |
| DolphinDB（睿凝资本引述） | db_engines_rank_world_current | 目前排名第8 | medium |
| DolphinDB（睿凝资本评估） | performance_comparison | 性能远远超过其他几家排名更高的数据库 | low |
| DolphinDB（睿凝资本评估） | built_in_analysis_functions | 内置众多量化金融常用的数据分析函数，可满足编程建模需求 | medium |
| DolphinDB（睿凝资本评估） | sql_compatibility | 支持类标准SQL的语法 | high |
| DolphinDB（睿凝资本评估） | scripting_language_similarity | 脚本语言类似Python | high |
| DolphinDB（睿凝资本评估） | learning_curve_advantage | 技术人员尤其是新人可更快上手，相比Kdb+节省培训成本和使用成本 | medium |
| DolphinDB（睿凝资本评估） | stream_processing_engine | 自带优秀的流数据引擎，有利于策略在生产环境落地 | medium |
| DolphinDB（睿凝资本评估） | technical_support | 具有国内专业的技术支持团队，可及时解答问题并配合需求开发新功能 | low |
| 睿凝资本选型结果 | decision | 综合考虑后选择性能强悍的国产数据库DolphinDB | medium |
| 更多案例内容（睿凝资本） | link | http://mp.weixin.qq.com/s?__biz=MzU0NDAwOTgzMA==&mid=2247488972&idx=1&sn=d9e497eb316898d797ab752865c58548&chksm=fb03eec5cc7467d31a77160c4eedeb937374f3c727c541466244e3deac24affa9cd49dfe8d85&scene=21#wechat_redirect | high |
| 时序数据库选型建议 | evaluation_dimensions | 除批量写入、查询和实时计算性能外，还应考虑时序特性与金融属性、学习曲线与技术服务 | high |
| 优秀便捷的数据库（选型建议） | benefits | 可有效提升团队研发效率，并帮助把握更多投资机会、挖掘更大投资价值 | low |