上海财经大学基于 DolphinDB 的量化高频数据中心系统介绍

What this page covers

• 案例概述与背景（为什么选择 DolphinDB）。
• 旧系统痛点与历史技术尝试。
• 研发背景与个性化行情需求。
• 数据类型、采集频率、覆盖范围与规模。
• 功能架构：采集、调度、存储、ETL 与接口。
• 性能测试：写入、读取与实时计算。
• 选型原因与使用体验（性能、分布式、学习门槛）。

技能认证特训营第二期报名活动 (cta)

页面顶部提供活动通知与限时报名链接。

• 提供“技能认证特训营第二期”的报名入口。
• 报名链接指向 qingsuyun.com 的活动页面。

页面导航与当前位置 (navigation)

页面包含客户案例入口与“上海财经大学”相关的当前位置导航信息。

• 提供客户案例相关的导航入口。
• 展示面包屑式的当前位置提示。

上海财经大学基于 DolphinDB 的量化高频数据中心系统介绍（概述） (hero)

上财团队因历史数据采集与访问性能问题选择并采购 DolphinDB，并说明文章主讲人与主题。

• 选择 DolphinDB 的动因包含历史数据采集慢与访问慢等问题。
• 动因还包括行情实时处理困难等问题。
• 团队在试用体验良好后于 2019 年正式采购 DolphinDB。
• 主讲人由谢斐教授介绍基于 DolphinDB 的量化高频数据中心系统。

既有系统痛点与技术尝试 (definition)

旧系统在存储、压缩、调用和运算方面存在问题，并回顾 HDF5 检索系统与 Hive 等尝试及不足。

• 旧系统在数据存储、压缩、调用和运算方面存在较大问题。
• 旧系统需要耗费大量时间进行数据整理。
• 可存储 HDF5 并直接检索的系统存在响应速度慢的问题。
• 该类系统还存在无法动态管理数据的问题。
• Hadoop Hive 系列不利于高效研究结构化数据。

新系统目标与总体介绍范围 (product_overview)

基于 DolphinDB 的量化高频数据中心系统总体性能良好，并说明后续将从多个维度介绍系统。

• 系统主要解决长时间采集多数据点的问题。
• 系统覆盖实时因子计算相关问题。
• 系统覆盖高频数据采集相关问题。
• 后续介绍维度包括研发背景、数据类型、架构与性能测试。
• 系统已成为教学和科研中的重要工具。

客户案例封面图（图示说明） (misc)

包含封面图片及其 AI 说明，主题指向上财与 DolphinDB 客户案例。

• 展示客户案例相关的封面图元素。
• 配套文本说明指向上财与 DolphinDB 的案例主题。

研发背景 (definition)

列出个性化行情需求、历史采集与实时处理现状，以及自建系统难点。

• 行情厂商标准数据无法满足部分个性化拼接规则需求。
• 历史数据采集面临数据量大、采集慢与访问慢的问题。
• 采集一年数据可能耗时数天且难以保证无遗漏。
• 实时处理方面缺乏高效的内存型数据库以实时计算因子。
• 自建采集工具成本高，且高频处理系统开发难度高。

数据类型 (product_overview)

说明研究数据类型、采集频率、覆盖范围与入库规模。

• 主要研究 level2 公开数据。
• 快照数据频率为每只股票每 3 秒一次。
• 逐笔成交与逐笔委托数据以 10 毫秒频率采集多笔。
• 通过数据商获取实时采集数据与盘后数据。
• 入库数据覆盖 2013 年至今的市场全景数据，原始数据约 60TB。

功能架构 (feature_list)

概述系统的采集、调度、存储、ETL 一致性与多语言接口扩展能力。

• 支持高速、自动采集证券或期货的历史数据。
• 借助 AirFlow 工作流平台进行全自动调度处理。
• DolphinDB 用作高性能分布式数据库进行数据存储。
• 采用 ETL 统一数据结构以保证一致性、稳定性与质量。
• 支持 Python、C++、C#、Java 等接口对接第三方系统。

中心功能模块介绍 (how_it_works)

介绍数据中心六大模块，并描述采集、存储、处理、应用、监控与对外接口的内容。

• 系统包含六大模块：采集、存储、处理、上层应用、状态监控、对外接口。
• 数据采集模块支持 CSV 文件与多类数据源的采集。
• DolphinDB 存储 Ticks、Bar、合约信息、因子与自定义合约等。
• PostgresSQL 存储日志、任务、计划与门户前端数据库信息。
• 数据处理模块包含 Builder 与 Validator 等能力。

架构介绍 (how_it_works)

说明 AirFlow 调度标识与顺序控制，数据写入 DolphinDB 集群/内存并拼接校验，提供输出与后台管理能力。

• 使用 TaskID 与 JobID 控制调度运行顺序与状态。
• 调度机制可保证数据采集完整性与出错重做。
• 采集数据写入 DolphinDB 集群与内存以便调用。
• 写入后对数据进行拼接与校验处理。
• 系统提供 Exporter 输出接口与 Manager 后台配置管理。

写入性能测试 (comparison)

在同等硬件条件下对比 MongoDB 与 DolphinDB 写入一周 Tick 数据的耗时，并说明实现方式与限制。

• 测试对比对象为 MongoDB 与 DolphinDB 的写入性能。
• 测试数据为上期所一周 Tick 数据（712 万条）。
• MongoDB 入库一周 tick 级数据约 1000 秒左右。
• DolphinDB 入库一周 tick 级数据约 120 秒左右。
• 结论：DolphinDB 写入速度超过 MongoDB 近 8 倍。
• 限制：DolphinDB 目前不支持同区多线程写入。
• 入库程序可进行任务分派以实现入库保存。

读取性能测试 (comparison)

描述读取一年数据的测试，并提到分区分表方案与实际速度描述。

• 读取测试任务为读取深市某股票一年数据并给出测试结果（图示）。
• 根据技术专家建议采用分区分表的新方案。
• 页面提到优化后实际速度比表中速度更快（未给出具体数值）。

实时数据计算性能 (comparison)

说明借助 DolphinDB 流计算引擎实现 10 毫秒内因子计算，并支持订阅多个合约与因子数据。

• 借助 DolphinDB 流计算引擎可实现 10 毫秒内因子计算。
• 示例因子包括将行情数据转换为均线与 K 线等。
• 因子计算结果可进行存储。
• 系统可按需求订阅多个合约数据。
• 系统可按需求订阅多个因子数据。

选择 DolphinDB (value_proposition)

从性能、分布式稳定性与学习门槛等角度阐述选型原因与使用体验。

• 研究场景中日数据量约八千万到一亿条。
• 处理耗时从约 3 小时缩短到约 30 分钟（使用 DolphinDB 一站式服务）。
• 团队使用的 DolphinDB 集群所有节点总内存为 1.0TB。
• 使用体验提到可自动进行分布式计算且处理较稳定快速。
• 教学体验：学生有 Python 基础时，学习 SQL 后约一周可上手 DolphinDB。

综上所述（应用与合作评价） (case_study)

总结系统满足业务需求、用于教学科研与合作项目，并给出对 DolphinDB 的评价与合作描述。

• 系统满足每天进行实时策略回测等业务需求。
• 系统满足模拟交易等业务需求。
• 系统用于学校科研项目及与券商、基金公司等合作项目。
• 页面提到 DolphinDB 在相关课程中成为重要组成部分。
• 页面包含对 DolphinDB 的主观评价与合作期待（未量化）。

客户案例封面图（再次出现） (trust_signal)

再次展示客户案例封面图并附 AI 说明。

• 封面图在页面后段重复出现以强化案例主题呈现。
• 配套说明仍指向上财与 DolphinDB 客户案例主题。

客户简介 (misc)

给出行业类别与上海财经大学的概况信息。

• 客户行业类别为高校。
• 上海财经大学位于上海市。
• 页面描述其为教育部直属重点大学（表述来自页面）。
• 页面列出“双一流”“211工程”“985工程优势学科创新平台”等标签。
• 页面提到其起源于 1917 年南京高等师范学校开设的商科。

Facts Index