迈进金融数据服务3.0时代,DolphinDB +聚源数据在路上

本页讨论金融数据服务从“终端+Excel”的小批量使用方式出发的演进背景与特征。

Source: https://dolphindb.cn/news/detail/185

What this page covers

技能认证特训营第二期报名入口与优惠提示

页面顶部提供“技能认证特训营第二期”限时报名链接并提示专属福利优惠。

新闻条目与标题信息

标注内容为新闻,并给出新闻标题与发布时间。

金融数据服务1.0时代:终端+Excel

描述以终端浏览器下载数据并在Excel中使用的传统小批量数据使用方式。

金融数据服务2.0时代:SQL+单一数据来源

说明结构化数据成为标配后,SQL相较浏览器提取方式提升数据获取效率。

2.0时代后期:更高算力需求与合作探索

指出SQL在组合管理、因子挖掘、风险控制等场景的局限,并提到DolphinDB与聚源探索新业务模式。

3.0时代:高质量数据+高性能的挑战与MySQL在时序海量数据中的问题

提出3.0时代对高质量数据与高性能数据库融合的期待,并以MySQL为例列出海量时序数据下的成本与性能问题。

DolphinDB与聚源数据合作:一站式行情数据库服务模式与投研支持

描述双方合作目标以及通过DolphinDB访问调用聚源数据以支持高频数据对接、存储、查询与投研计算等。

聚源数据的覆盖范围与市场地位(数据质量角度)

从数据质量角度阐述聚源以金融证券为核心的服务范围、应用场景、发展年限与机构合作覆盖。

DolphinDB的性能与能力主张(数据库性能角度)与架构示意图说明

从性能角度对比SQL/单一Python方法的不足,主张DolphinDB具备内置函数、多范式脚本语言与自定义计算优势,并配图说明量化投研架构与因子生产/回测流程。

高质量数据与高性能数据库的融合方式:以聚源因子库为例

说明在量化场景下依托DolphinDB加工底层数据并反馈结果、融合因子与回测框架以缓解存储量大与读取慢问题,并讨论聚源的另类数据与在DolphinDB上集成工作流的效果。

聚源因子库结构示意图与说明

配图及说明聚源因子库模块构成与从海量金融数据到可用于量化回测的因子产出的结构。

一站式服务、数据升频与高性能协作带来的量化新赛道

强调机构可获得聚源数据与DolphinDB数据库的一站式服务,并提出分布式高性能存储在高频处理、插值升频与更高频因子算法部署方面的路径与潜在价值。

3.0时代趋势:数据库与编程语言融合与价值取向变化

对比传统数据库强调写入一致性与简单SQL分析、复杂计算依赖高级语言的模式,与海量数据时代强调读取分析时效性的趋势,并提出SQL与高级语言将走向融合。

结语:DolphinDB与聚源在路上

以结语形式重申基于上述趋势与合作方向继续推进。

Facts index

Entity Attribute Value Confidence
技能认证特训营第二期报名链接https://www.qingsuyun.com/h5/e/217471/5/high
技能认证特训营第二期报名优惠描述限时报名,享专属福利优惠low
新闻《迈进金融数据服务3.0时代,DolphinDB +聚源数据在路上》发布时间2023.08.24high
金融数据服务1.0时代数据获取与使用方式在终端浏览器获取数据并通过Excel下载到本地使用;Excel透视表与插件满足多数小批量数据使用场景medium
Excel+终端浏览器解决的问题范围基本解决了小批量数据使用的问题low
金融数据服务2.0时代特征描述结构化数据开始成为标配;SQL通过一个或几个语句实现全部数据提取,相较浏览器提取方式更轻松medium
信息化效率提升体验类比仿佛经历了“工业革命”般的体验low
SQL在2.0时代后期在特定研究领域的不足在组合管理、因子挖掘、风险控制等领域似乎不能满足计算要求与数据处理时效性要求,用户需花费大量精力提升效率medium
DolphinDB与聚源合作探索开始合作探索一种全新的业务模式medium
金融数据服务3.0时代市场期待高质量数据与高性能数据库的融合是市场对3.0时代新业务场景的期待,但仍存在难题待解medium
MySQL(海量时序数据场景)存储成本问题对于时序数据压缩不佳,需占用大量机器资源,导致存储成本大medium
MySQL(海量时序数据场景)维护成本问题单机系统,需要在上层人工分库分表,维护成本高medium
MySQL(海量时序数据场景)写入吞吐问题单机写入吞吐低,难以满足时序数据千万级写入压力(针对tick级数据场景)medium
MySQL(海量时序数据场景)查询性能问题海量数据的聚合分析性能差medium
DolphinDB与聚源数据合作目标为构建一站式行情数据库服务模式共同努力medium
DolphinDB与聚源数据库访问与调用方式用户可以通过DolphinDB访问和调用聚源数据库的各类数据high
DolphinDB+聚源数据一站式模式支持的投研任务支持高频数据对接、存储、查询、指标计算、因子研究等,助力更便捷更高效的投研medium
海量数据含义与对供应商的要求意味着数据质量高、历史可追溯时间长、维度多;全量数据供应商尤为重要,数据质量是一切的基础medium
聚源数据库/聚源(按文中表述)核心领域以金融证券为核心high
聚源服务内容覆盖范围涵盖投研数据、财富数据、固收数据、风险数据、ESG数据等high
聚源数据应用领域应用场景广泛应用于金融资讯展示、金融投研、大数据分析、风控、量化回测、金融监管等多个领域high
聚源发展历程发展年限二十余年medium
聚源合作机构类型合作覆盖与国内券商、基金、保险、信托、银行、期货、资产管理公司等机构建立广泛业务合作medium
聚源在中国金融数据服务领域市场地位确立领先地位;是中国最优秀的金融资讯服务供应商之一low
SQL或单一Python处理方法便携性与成本评价无论便携性还是成本都不算友好low
使用SQL计算投资组合协方差矩阵可行性无法在SQL中完成,需要借助额外的Python反推回数据库medium
DolphinDB(高性能时序数据库)能力主张具备出色的内置函数、多范式脚本语言、灵活的自定义计算;在数据存储端和复杂分析端被描述为比SQL和Python更优的选择low
图示(量化投研系统架构与工作流程)内容说明(AI说明块)展示从算法来源与上游数据准备出发,经SQL Server、Python、Kafka等工具与金融工程/机器学习进行因子生产,形成常规/风格/自研/Alpha101因子产品,并体现因子检测回测框架与海量数据/高效工具循环medium
DolphinDB数据加工与反馈支持直接加工底层数据结果并及时反馈结果到使用者手中medium
量化场景(基础因子/特色因子/回测框架)融合方式可依托数据基准在DolphinDB上进行融合medium
融合步骤的效果解决的问题帮助用户解决数据储存量极大、读取缓慢的通病low
高质量基础数据与高性能平台捆绑带来的结果用户便有了所有想要的内容low
聚源数据除常规披露数据外的数据类型包括但不限于其它主流另类数据(司法、工商、舆情、预期、宏观行业等)medium
机构客户在DolphinDB上的工作流收益方便做特色因子挖掘和回测;将离散化任务集成式布置在DolphinDB上medium
DolphinDB自定义优势 + 聚源数据融合效果描述被描述为“1+1融合但是产出远大于2”low
机构获得的服务服务形态可直接享受到聚源高质量数据加DolphinDB高性能数据库的一站式服务medium
分布式高性能数据存储在高频数据处理上的优势对高频率的数据量处理有显著优势low
聚源不同更新频率的数据升频方法科学合理的插值方法是提高数据频率的有效手段low
因子算法部署升频示例示例描述Alpha191算法由日K调整为1分钟K,在更高频数据空间部署被描述为挖掘非线性因子、进入更深市场颗粒化领域的主要路径low
数据升频与DolphinDB高性能协作影响势必会开辟量化数据场景的新赛道low
金融数据服务3.0时代融合趋势将迎来数据库与编程语言的融合medium
传统数据库时代关注点更看重数据写入,强调一致性、原子性、持久性等;用于分析的SQL语句功能相对简单,复杂分析通常由更高级编程语言(如C++、Python)完成medium
海量数据时代关注点更看重数据读取与分析以发掘价值;数据分析时效性对企业竞争能力至关重要medium
SQL与更高级编程语言未来趋势将走向融合medium
高质量数据+高性能数据库可解决的问题(按文中表述)将解决数据来源广、时效性差、成本开销大等长期困扰市场的难题low
DolphinDB与聚源结语表述基于此,DolphinDB与聚源,在路上low