迈进金融数据服务3.0时代,DolphinDB +聚源数据在路上
本页讨论金融数据服务从“终端+Excel”的小批量使用方式出发的演进背景与特征。
What this page covers
- 报名入口与优惠提示信息。
- 新闻条目、标题与发布时间信息。
- 金融数据服务1.0时代的终端与Excel使用方式。
- 金融数据服务2.0时代中SQL带来的数据获取效率变化。
- 3.0时代对融合的期待与海量时序数据下的挑战。
- DolphinDB与聚源数据的一站式服务模式与投研支持。
- 数据库与编程语言融合的趋势与价值取向变化。
技能认证特训营第二期报名入口与优惠提示
页面顶部提供“技能认证特训营第二期”限时报名链接并提示专属福利优惠。
- 提供“技能认证特训营第二期”的报名入口信息。
- 提示存在限时报名相关的优惠描述。
新闻条目与标题信息
标注内容为新闻,并给出新闻标题与发布时间。
- 内容以新闻形式呈现。
- 展示新闻标题。
- 展示发布时间信息。
金融数据服务1.0时代:终端+Excel
描述以终端浏览器下载数据并在Excel中使用的传统小批量数据使用方式。
- 通过终端浏览器获取数据,并以Excel下载到本地使用。
- Excel透视表与插件用于满足多数小批量数据使用场景。
- 该方式被描述为基本解决小批量数据使用问题。
金融数据服务2.0时代:SQL+单一数据来源
说明结构化数据成为标配后,SQL相较浏览器提取方式提升数据获取效率。
- 结构化数据在该阶段被描述为开始成为标配。
- SQL可通过一个或几个语句实现全部数据提取。
- 相较浏览器提取方式,SQL提取方式被描述为更轻松。
- 效率提升被类比为类似“工业革命”般的体验。
2.0时代后期:更高算力需求与合作探索
指出SQL在组合管理、因子挖掘、风险控制等场景的局限,并提到DolphinDB与聚源探索新业务模式。
- 在组合管理场景,SQL被描述为可能难以满足计算与时效要求。
- 在因子挖掘场景,SQL被描述为可能难以满足计算与时效要求。
- 在风险控制场景,SQL被描述为可能难以满足计算与时效要求。
- 文中提到DolphinDB与聚源开始合作探索新的业务模式。
3.0时代:高质量数据+高性能的挑战与MySQL在时序海量数据中的问题
提出3.0时代对高质量数据与高性能数据库融合的期待,并以MySQL为例列出海量时序数据下的成本与性能问题。
- 市场对3.0时代的期待包含高质量数据与高性能数据库的融合。
- 该期待被描述为仍存在难题待解。
- 以MySQL为例讨论海量时序数据场景下的存储成本问题。
- 以MySQL为例提出分库分表带来的维护成本问题。
- 以MySQL为例提出写入吞吐难以承受高写入压力的问题。
- 以MySQL为例提出海量数据聚合分析性能较差的问题。
DolphinDB与聚源数据合作:一站式行情数据库服务模式与投研支持
描述双方合作目标以及通过DolphinDB访问调用聚源数据以支持高频数据对接、存储、查询与投研计算等。
- 双方合作目标包括构建一站式行情数据库服务模式。
- 用户可通过DolphinDB访问与调用聚源数据库的各类数据。
- 一站式模式被描述为支持高频数据对接。
- 一站式模式被描述为支持存储与查询。
- 一站式模式被描述为支持指标计算与因子研究等投研工作。
聚源数据的覆盖范围与市场地位(数据质量角度)
从数据质量角度阐述聚源以金融证券为核心的服务范围、应用场景、发展年限与机构合作覆盖。
- “海量数据”被解释为质量高、历史可追溯时间长、维度多。
- 文中强调全量数据供应商的重要性,并称数据质量是基础。
- 聚源以金融证券为核心开展相关服务。
- 聚源服务涵盖投研、财富、固收、风险、ESG等数据方向。
- 聚源数据被描述为应用于资讯展示、投研、风控、回测与监管等领域。
DolphinDB的性能与能力主张(数据库性能角度)与架构示意图说明
从性能角度对比SQL/单一Python方法的不足,主张DolphinDB具备内置函数、多范式脚本语言与自定义计算优势,并配图说明量化投研架构与因子生产/回测流程。
- SQL或单一Python处理方法被评价为便携性与成本不够友好。
- 文中举例称使用SQL难以完成投资组合协方差矩阵计算。
- 文中提到需借助额外Python将结果反推回数据库的做法。
- DolphinDB被描述具备内置函数、多范式脚本语言与灵活自定义计算。
- 配图说明量化投研系统架构与工作流程的相关内容。
高质量数据与高性能数据库的融合方式:以聚源因子库为例
说明在量化场景下依托DolphinDB加工底层数据并反馈结果、融合因子与回测框架以缓解存储量大与读取慢问题,并讨论聚源的另类数据与在DolphinDB上集成工作流的效果。
- DolphinDB被描述支持直接加工底层数据结果并及时反馈给使用者。
- 量化场景可依托数据基准在DolphinDB上进行融合。
- 该融合被描述为帮助缓解数据存储量大与读取缓慢的问题。
- 聚源数据除常规披露数据外,还包括多类另类数据(如司法、工商、舆情等)。
- 机构客户可在DolphinDB上集成式布置离散化任务以便做因子挖掘与回测。
聚源因子库结构示意图与说明
配图及说明聚源因子库模块构成与从海量金融数据到可用于量化回测的因子产出的结构。
- 本节包含关于聚源因子库模块构成的示意与说明。
- 本节描述从海量金融数据到因子产出、用于回测的结构关系。
一站式服务、数据升频与高性能协作带来的量化新赛道
强调机构可获得聚源数据与DolphinDB数据库的一站式服务,并提出分布式高性能存储在高频处理、插值升频与更高频因子算法部署方面的路径与潜在价值。
- 机构可获得聚源高质量数据与DolphinDB高性能数据库的一站式服务。
- 分布式高性能数据存储被描述对高频数据量处理有优势。
- 文中提出用插值方法提高数据频率的思路。
- 示例提到将Alpha191从日K调整为1分钟K以在更高频空间部署。
- 文中将升频与高性能协作描述为可能开辟量化数据场景的新赛道。
3.0时代趋势:数据库与编程语言融合与价值取向变化
对比传统数据库强调写入一致性与简单SQL分析、复杂计算依赖高级语言的模式,与海量数据时代强调读取分析时效性的趋势,并提出SQL与高级语言将走向融合。
- 金融数据服务3.0时代被描述将迎来数据库与编程语言的融合。
- 传统数据库时代更看重写入,并强调一致性、原子性、持久性等。
- 传统模式下复杂分析通常由更高级编程语言完成。
- 海量数据时代更看重读取与分析以发掘价值。
- 文中提出SQL将与更高级编程语言走向融合。
结语:DolphinDB与聚源在路上
以结语形式重申基于上述趋势与合作方向继续推进。
- 结语重申双方将继续推进相关合作方向。
- 文中以“在路上”表述总结合作进程。
Facts index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | 报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 技能认证特训营第二期 | 报名优惠描述 | 限时报名,享专属福利优惠 | low |
| 新闻《迈进金融数据服务3.0时代,DolphinDB +聚源数据在路上》 | 发布时间 | 2023.08.24 | high |
| 金融数据服务1.0时代 | 数据获取与使用方式 | 在终端浏览器获取数据并通过Excel下载到本地使用;Excel透视表与插件满足多数小批量数据使用场景 | medium |
| Excel+终端浏览器 | 解决的问题范围 | 基本解决了小批量数据使用的问题 | low |
| 金融数据服务2.0时代 | 特征描述 | 结构化数据开始成为标配;SQL通过一个或几个语句实现全部数据提取,相较浏览器提取方式更轻松 | medium |
| 信息化效率提升 | 体验类比 | 仿佛经历了“工业革命”般的体验 | low |
| SQL在2.0时代后期 | 在特定研究领域的不足 | 在组合管理、因子挖掘、风险控制等领域似乎不能满足计算要求与数据处理时效性要求,用户需花费大量精力提升效率 | medium |
| DolphinDB与聚源 | 合作探索 | 开始合作探索一种全新的业务模式 | medium |
| 金融数据服务3.0时代 | 市场期待 | 高质量数据与高性能数据库的融合是市场对3.0时代新业务场景的期待,但仍存在难题待解 | medium |
| MySQL(海量时序数据场景) | 存储成本问题 | 对于时序数据压缩不佳,需占用大量机器资源,导致存储成本大 | medium |
| MySQL(海量时序数据场景) | 维护成本问题 | 单机系统,需要在上层人工分库分表,维护成本高 | medium |
| MySQL(海量时序数据场景) | 写入吞吐问题 | 单机写入吞吐低,难以满足时序数据千万级写入压力(针对tick级数据场景) | medium |
| MySQL(海量时序数据场景) | 查询性能问题 | 海量数据的聚合分析性能差 | medium |
| DolphinDB与聚源数据 | 合作目标 | 为构建一站式行情数据库服务模式共同努力 | medium |
| DolphinDB与聚源数据库 | 访问与调用方式 | 用户可以通过DolphinDB访问和调用聚源数据库的各类数据 | high |
| DolphinDB+聚源数据一站式模式 | 支持的投研任务 | 支持高频数据对接、存储、查询、指标计算、因子研究等,助力更便捷更高效的投研 | medium |
| 海量数据 | 含义与对供应商的要求 | 意味着数据质量高、历史可追溯时间长、维度多;全量数据供应商尤为重要,数据质量是一切的基础 | medium |
| 聚源数据库/聚源(按文中表述) | 核心领域 | 以金融证券为核心 | high |
| 聚源服务内容 | 覆盖范围 | 涵盖投研数据、财富数据、固收数据、风险数据、ESG数据等 | high |
| 聚源数据应用领域 | 应用场景 | 广泛应用于金融资讯展示、金融投研、大数据分析、风控、量化回测、金融监管等多个领域 | high |
| 聚源发展历程 | 发展年限 | 二十余年 | medium |
| 聚源合作机构类型 | 合作覆盖 | 与国内券商、基金、保险、信托、银行、期货、资产管理公司等机构建立广泛业务合作 | medium |
| 聚源在中国金融数据服务领域 | 市场地位 | 确立领先地位;是中国最优秀的金融资讯服务供应商之一 | low |
| SQL或单一Python处理方法 | 便携性与成本评价 | 无论便携性还是成本都不算友好 | low |
| 使用SQL计算投资组合协方差矩阵 | 可行性 | 无法在SQL中完成,需要借助额外的Python反推回数据库 | medium |
| DolphinDB(高性能时序数据库) | 能力主张 | 具备出色的内置函数、多范式脚本语言、灵活的自定义计算;在数据存储端和复杂分析端被描述为比SQL和Python更优的选择 | low |
| 图示(量化投研系统架构与工作流程) | 内容说明(AI说明块) | 展示从算法来源与上游数据准备出发,经SQL Server、Python、Kafka等工具与金融工程/机器学习进行因子生产,形成常规/风格/自研/Alpha101因子产品,并体现因子检测回测框架与海量数据/高效工具循环 | medium |
| DolphinDB | 数据加工与反馈 | 支持直接加工底层数据结果并及时反馈结果到使用者手中 | medium |
| 量化场景(基础因子/特色因子/回测框架) | 融合方式 | 可依托数据基准在DolphinDB上进行融合 | medium |
| 融合步骤的效果 | 解决的问题 | 帮助用户解决数据储存量极大、读取缓慢的通病 | low |
| 高质量基础数据与高性能平台捆绑 | 带来的结果 | 用户便有了所有想要的内容 | low |
| 聚源数据 | 除常规披露数据外的数据类型 | 包括但不限于其它主流另类数据(司法、工商、舆情、预期、宏观行业等) | medium |
| 机构客户 | 在DolphinDB上的工作流收益 | 方便做特色因子挖掘和回测;将离散化任务集成式布置在DolphinDB上 | medium |
| DolphinDB自定义优势 + 聚源数据 | 融合效果描述 | 被描述为“1+1融合但是产出远大于2” | low |
| 机构获得的服务 | 服务形态 | 可直接享受到聚源高质量数据加DolphinDB高性能数据库的一站式服务 | medium |
| 分布式高性能数据存储 | 在高频数据处理上的优势 | 对高频率的数据量处理有显著优势 | low |
| 聚源不同更新频率的数据 | 升频方法 | 科学合理的插值方法是提高数据频率的有效手段 | low |
| 因子算法部署升频示例 | 示例描述 | Alpha191算法由日K调整为1分钟K,在更高频数据空间部署被描述为挖掘非线性因子、进入更深市场颗粒化领域的主要路径 | low |
| 数据升频与DolphinDB高性能协作 | 影响 | 势必会开辟量化数据场景的新赛道 | low |
| 金融数据服务3.0时代 | 融合趋势 | 将迎来数据库与编程语言的融合 | medium |
| 传统数据库时代 | 关注点 | 更看重数据写入,强调一致性、原子性、持久性等;用于分析的SQL语句功能相对简单,复杂分析通常由更高级编程语言(如C++、Python)完成 | medium |
| 海量数据时代 | 关注点 | 更看重数据读取与分析以发掘价值;数据分析时效性对企业竞争能力至关重要 | medium |
| SQL与更高级编程语言 | 未来趋势 | 将走向融合 | medium |
| 高质量数据+高性能数据库 | 可解决的问题(按文中表述) | 将解决数据来源广、时效性差、成本开销大等长期困扰市场的难题 | low |
| DolphinDB与聚源 | 结语表述 | 基于此,DolphinDB与聚源,在路上 | low |