版本更新!多资产统一数据模型发布,定义金融数据处理新范式!
本页概述 DolphinDB 新版本(V3.00.04 & 2.00.17)的更新要点,包括多资产统一数据模型、以增量计算为核心的流式 SQL 引擎、MCP Server 及多个模块增强。
What this page covers
- 版本更新总览与主要新增能力的概览。
- 多资产统一数据模型(MKTDATA 与 INSTRUMENT)的接口与支持范围。
- 流式 SQL 的注册式查询与增量计算能力。
- MCP 协议背景与 DolphinDB MCP Server 的定位与能力。
- ORCA 的 Raft Learner 与相关增强点。
- 跨数据库联邦查询与跨级群访问语法。
- Swordfish 与 Shark 等计算加速/低延时相关更新。
技能认证特训营第二期正式开启(限时报名)
页面顶部提供培训营报名引导,并提示限时报名与优惠信息。
- 提供“技能认证特训营第二期”的报名入口链接。
- 文案提示活动处于开启状态,并强调限时报名与福利优惠。
新闻与文章标题/日期
该部分展示新闻栏目语境、文章标题与发布日期信息。
- 文章标题为“版本更新!多资产统一数据模型发布,定义金融数据处理新范式!”。
- 文章发布日期为 2025.10.23。
- 页面包含新闻栏目/导航相关标识信息。
版本更新总览(V3.00.04 & 2.00.17)
本段给出更新概览,覆盖多资产统一数据模型、增量计算流式 SQL 引擎、MCP Server,以及多个平台/模块的增强方向。
- 新版本号为 V3.00.04 与 2.00.17。
- 推出基于 INSTRUMENT 与 MKTDATA 类型的多资产统一数据模型。
- 发布以增量计算为核心构建的全新流式 SQL 引擎。
- 推出 DolphinDB MCP server,用于不同大模型与资源之间的扩展与集成。
- 概览中提及 ORCA、Swordfish、Shark、Octopus 等模块有增强或改进。
多资产统一数据模型(MKTDATA & INSTRUMENT)
该部分描述以 MKTDATA 与 INSTRUMENT 为核心的对象模型,给出解析接口、工具类函数、支持范围与后续规划。
- 模型核心类型包括 MKTDATA 与 INSTRUMENT。
- 提供 parseMktData 与 parseInstrument 统一解析接口。
- 解析接口支持通过 JSON 或 Dict 传入标准字段。
- 提供 instrumentPricer 与 portfolioPricer 等工具函数用于估值与组合定价。
- 后续规划提到将支持与流计算相关的实时构建与实时定价接口。
流式 SQL 技术发布
该部分介绍流式 SQL 的注册式查询与增量计算模式,并提及热更新与并发订阅能力及示例流程。
- 流式 SQL 采用一次性注册 SQL 查询的方式。
- 系统监控数据变化并向客户端推送最新结果。
- 增量计算模式仅对变化数据重算,避免重复执行全量 SQL。
- 支持查询语句热更新与多语句并发订阅。
- 描述中提到用于实时场景的毫秒级响应体验。
DolphinDB MCP Server(协同AI)
该部分说明 MCP 协议的背景,并描述 DolphinDB 作为 MCP Server 与外部 AI 模型/应用通信的定位与接口能力。
- MCP(Model Context Protocol)被定义为大模型与应用软件交互数据的协议。
- DolphinDB MCP server 用于与外部 AI 模型及其他系统通信与集成。
- 接口支持配置与维护用户自定义 tool 与 prompt。
- 接口支持按用户设置 tools 的权限控制与调用管理。
- 定位描述包括为 AI 模型提供“海量历史数据深度”与“实时流计算性能”的能力组合。
ORCA:Raft Learner 高可用升级
本节介绍 Orca 新增 Raft Learner 以增强跨数据中心/跨集群的同步与访问能力,并列出其他运维与流计算相关增强。
- Orca 新增 Raft Learner 功能。
- 目标是提升高可用流表在跨数据中心或跨集群场景的数据同步与访问能力。
- Raft Learner 允许非投票成员异步复制数据以支持容灾与读写分离等。
- 示例场景描述包含跨地域集群配置 Learner 节点以实现异步复制与就近读取。
- Orca 还包含跨集群订阅、流图管理与血缘关系查询等运维增强点。
跨数据库联邦查询
该部分描述通过 createExternalTable 将异构数据库与多种文件格式虚拟化为本地表,从而使用 SQL 进行联合查询,并给出跨级群访问语法与示例。
- 通过 createExternalTable 可将异构数据源虚拟化为本地表以支持 SQL 联合查询。
- 示例数据源类型包括 Oracle、MySQL、SQL Server、S3 与 Parquet 等。
- 跨级群查询不需要手动创建外部表。
- 跨级群访问语法为 catalog.database.tb@ClusterCatalog。
- 跨级群查询依赖 Master of Master 架构的全局元数据管理。
Swordfish 低延时计算引擎优化
本节介绍 Swordfish 的定位、集成方式,以及新增 lowLatency 参数与语言支持相关信息,并提及面向低延时场景的性能描述。
- Swordfish 被定义为面向低延时与高性能数据分析的计算函数库。
- Swordfish 可集成到用户 C++ 程序中进行函数计算。
- 部分引擎新增 lowLatency 参数以优化逐条数据实时计算性能。
- 语言支持描述包含 C++、Java 与 Python 脚本(Python 脚本版本后续发布)。
- 性能描述提到在特定硬件条件下可实现十微秒级别计算延迟。
Shark:GPU加速与GPLearn降频因子挖掘
本节说明 Shark Graph 的 GPU 并行加速、@GPU 标签机制、性能描述与处理器支持,并介绍 dimReduceCol 参数支持降频因子挖掘的机制与要求。
- Shark Graph 用于对用户表达式进行批式并行计算加速。
- 通过在自定义函数上标注“@GPU”,系统可解析并转为 GPU 可执行计算图。
- 描述中提到无需基于 CUDA 进行二次开发。
- 性能描述提到相较 CPU 可实现 10–20 倍以上提升。
- 处理器支持信息包含海光 DCU。
- 引入 dimReduceCol 参数以支持降频因子挖掘能力。
- 降频因子挖掘描述包含对聚合算子规则与分组/拆分逻辑的约束与调整要求。
其他功能(数据库/TextDB、权限、流计算、回放、Octopus、函数、运维、修复与优化)
本节汇总 TextDB、权限管理、流计算引擎与回放、Octopus、函数扩展、运维容量检查,以及故障修复与性能优化等更新条目。
- TextDB 增强文本匹配与文本处理,并新增 matchFuzzy 等能力描述。
- 权限管理新增对用户创建共享变量的权限控制。
- 流计算引擎新增多数据源流式关联引擎 NearestJoin Engine。
- 流计算引擎新增订单还原引擎 createOrderReconstituteEngine。
- reply 函数支持记录回放数据的写入系统时间以管理回放流程。
- Octopus 引擎支持对外部类方法的调用,并取消特定回调限制描述。
- 函数与数据结构扩展包括 roll 窗口函数相关能力与多项新增/增强点。
- 运维引入更精细化的磁盘容量检查机制以降低写入失败风险。
- 故障修复描述覆盖内存泄漏、资源回收、函数计算错误与高并发卡顿等方向。
- 功能优化描述包括分区查询、剪枝效率与脚本引擎表达式处理能力等方向。
结语与技术支持联系方式(小助手)
页面结语邀请升级试用,并提供加入技术交流群的联系账号。
- 提供联系账号:DolphinDB 小助手(dolphindb1)。
- 结语包含对版本特性的收尾与升级试用的引导语。
宣传联系卡片图片与附注(AI说明)
该部分包含一张联系信息卡片图片,以及引用块形式的用途说明文字。
- 引用块文字将图片描述为官方宣传与联系信息卡片,用于引导联系支持。
- 该用途描述来自页面引用块文字,而非对图片进行 OCR 的结果。
- 该区域包含图片相关内容与附注信息。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | 报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 技能认证特训营第二期 | 状态 | 正式开启;限时报名并享专属福利优惠 | low |
| 新闻文章《版本更新!多资产统一数据模型发布,定义金融数据处理新范式!》 | 发布日期 | 2025.10.23 | high |
| DolphinDB 新版本 | 版本号 | V3.00.04 & 2.00.17 | high |
| DolphinDB 新版本 | 新增/推出 | 基于 INSTRUMENT & MKTDATA 类型的多资产统一数据模型 | high |
| 多资产统一数据模型 | 实现方式 | 将各类交易抽象为统一的“可计算对象”,存储为库表中的一列,并提供一致的计算接口,使用户无需关心资产类型与适配规则即可进行估值、定价与风险管理 | medium |
| DolphinDB 新版本 | 发布 | 以增量计算为核心构建的全新流式 SQL 引擎(将批算法改为流算法,实现前置计算结果与增量数据的实时更新结果查询,无需重复扫描数据集) | medium |
| DolphinDB 新版本 | 推出 | DolphinDB MCP server,用于不同大模型与各种资源之间的扩展与集成 | high |
| ORCA 平台 | 改进 | 流计算能力进一步完善 | low |
| Swordfish 低延时计算引擎 | 改进 | 性能进一步提升 | low |
| Shark 异构计算平台 | 支持 | 在新版中支持降频因子挖掘能力 | high |
| Octopus 引擎 | 新增支持 | 对外部类方法的调用,降低代码耦合度、提升开发灵活性 | high |
| DolphinDB 新版本 | 增强领域 | 运维、安全性、流计算模块、数据分析能力均得到增强 | low |
| 多资产统一数据模型 | 核心类型 | MKTDATA 与 INSTRUMENT | high |
| 多资产统一数据模型 | 抽象封装对象 | 市场数据(价格、曲线、波动率曲面)与金融工具(债券、期货、远期、互换、期权等) | high |
| parseMktData / parseInstrument 接口 | 输入格式 | 通过 JSON 或 Dict 传入标准字段 | high |
| 多资产统一数据模型 | 统一解析接口 | parseMktData 与 parseInstrument,可快速解析为强类型内部对象 | high |
| 多资产统一数据模型对象 | 适用流程场景 | 曲线构建、曲面构建、定价估值、风险计算等全流程业务场景 | high |
| DolphinDB 工具类函数(多资产模型) | 能力 | 传入标准化对象后系统智能匹配模型,完成从单一资产定价到复杂组合风险管理的全流程计算 | medium |
| instrumentPricer | 功能 | 输入 instruments + marketData + 定价时间信息;自动按金融合约类型匹配定价模型并批量估值定价 | high |
| portfolioPricer | 功能 | 输入 instruments + 头寸信息 + 定价时间信息;自动对一个或多个合约进行组合定价 | high |
| curvePredict | 功能 | 输入曲线和时间点(日期或年数),预测特定时间点的利率值 | high |
| optionVolPredict | 功能 | 输入波动率曲面对象 + 时间点 + 行权价,预测特定期限和执行价格上的波动率数值 | high |
| DolphinDB(不同资产支持) | 提供 | 收益率曲线、利率互换曲线和波动率曲面构建函数以及多种资产的定价接口,涵盖固收、利率、外汇等 | medium |
| bondYieldCurveBuilder | 功能 | 收益率曲线构建函数(针对债券示例) | high |
| bondPricer | 功能 | 债券定价函数(作为示例) | high |
| 支持列表(多资产模型/函数主题) | 文档链接 | https://docs.dolphindb.cn/zh/funcs/funcs_by_topics.html#ariaid-title10 | high |
| 多资产模型(后续计划) | 下个版本将支持 | 实时市场数据(曲线/曲面)构建、实时定价等流计算相关接口 | medium |
| DolphinDB 流式 SQL | 工作方式 | 一次性注册SQL查询(支持多表关联、过滤排序等复杂操作),系统监控数据变化并实时向客户端推送最新结果 | high |
| DolphinDB 流式 SQL | 增量计算模式 | 基于状态变化的智能增量计算;感知键值表和内存表变更,仅对变化数据重算;无需重复执行全量SQL | high |
| DolphinDB 流式 SQL 引擎 | 支持 | 查询语句热更新与多语句并发订阅 | high |
| DolphinDB 流式 SQL 引擎 | 响应体验 | 毫秒级响应体验(用于实时行情面板、监控、低延迟指标计算等场景的描述) | low |
| MCP (Model Context Protocol) | 定义 | AI大模型与各类应用软件进行数据交互的协议 | high |
| MCP 协议 | 特性 | 相比模型特有接口,MCP普适性更强、生态更丰富 | low |
| DolphinDB MCP server | 目的 | 实现与外部AI模型和其他应用系统的通信;实现不同大模型与各种资源之间扩展与集成 | high |
| DolphinDB 作为 MCP Server | 定位/优势 | 为AI模型提供兼具“海量历史数据深度”和“实时流计算性能”的超级外脑(技术定位描述) | low |
| DolphinDB MCP server 接口(当前版本) | 支持 | 对用户自定义 tool 和 prompt 的配置和维护;对不同用户设置不同权限控制对 tools 的管理和调用 | high |
| Orca 版本 | 新增 | Raft Learner 功能 | high |
| Raft Learner(Orca) | 目标 | 提升高可用流表在跨数据中心或跨集群场景下的数据同步与访问能力 | medium |
| Raft Learner(Orca) | 机制 | 扩展Raft协议,允许非投票成员(Learner)异步复制数据,在不影响主集群写入性能前提下实现异地容灾、多活部署与读写分离 | high |
| Orca Raft Learner | 典型场景 | 北京集群A部署高可用流表;上海集群B配置Learner节点即可自动异步复制数据,实现跨地域就近读取与容灾备份 | high |
| Orca | 支持 | 流表的跨级群订阅:通过 <流表名称>@<集群标识符> 指定其他集群的 orca 流表 | high |
| Orca | 运维管理增强 | 支持销毁流图、暂停/启动流图、重命名全限定名<name>、查询数据表血源关系等 | high |
| Orca | 流计算接口拓展 | 允许更新/删除规则引擎规则集;新增自定义流计算引擎等 | medium |
| 跨数据库联邦查询(DolphinDB) | 能力 | 通过 createExternalTable 将多种异构数据库和文件格式(Oracle、MySQL、SQL Server、S3、Parquet等)虚拟化为本地表,可直接用SQL做联合查询与关联分析 | high |
| 跨数据库联邦查询(DolphinDB) | 优化 | 屏蔽底层数据库差异,支持谓词下推等优化以减少数据传输 | medium |
| 跨数据库联邦查询(DolphinDB) | 目标 | 提供统一、简单且高效的数据访问入口,实现跨源数据整合与查询分析 | low |
| 跨数据库联邦查询(分布式/多集群场景) | 能力 | 可无缝集成,实现跨节点或跨集群数据的统一联邦查询 | medium |
| 跨级群查询(联邦查询的一部分) | 是否需手动创建外部表 | 不需要手动创建外部表 | high |
| 跨级群查询 | 依赖 | Master of Master 架构的全局元数据管理 | high |
| 跨级群查询 | 访问语法 | 使用 `catalog.database.tb@ClusterCatalog` 语法直接访问,由系统自动完成虚拟化 | high |
| Swordfish | 定义 | 专门为低延时、高性能数据分析开发的计算函数库 | high |
| Swordfish | 集成方式 | 可集成于用户C++程序;用户程序无需跨网络访问DolphinDB即可进行函数计算 | high |
| Swordfish | 继承的能力规模 | 包含 2000 多个函数、各种数据结构以及流计算引擎(继承DolphinDB计算内核) | medium |
| Swordfish 新版本 | 新增参数 | 为 createReactiveStateEngine、createTimeSeriesEngine、createOrderBookSnapshotEngine 增加 lowLatency 参数;开启后优化逐行处理逻辑和数据结构以提升逐条数据实时计算性能 | high |
| Swordfish | 延迟指标(测试描述) | 在高端处理器等硬件支持下可实现十微秒级别计算延迟,甚至更低 | low |
| Swordfish | 适用场景 | 超高频场景与逐笔订单级别因子计算、实时流计算等任务 | medium |
| Swordfish | 语言支持 | 目前已支持 C++、Java 和 Python 脚本(Python脚本版本将后续发布) | medium |
| Shark Graph | 能力 | 对用户自定义一个或多个表达式进行批式并行计算加速,使用GPU提高效率且不干扰服务器CPU资源(描述) | medium |
| Shark | @GPU 机制 | 在自定义函数上打“@GPU”标签后,Shark自动解析并将任务转为可在GPU执行的计算图;无需基于CUDA二次开发 | high |
| Shark Graph | 性能提升 | 相比CPU可实现 10-20 倍以上性能提高(描述) | low |
| Shark Graph | 开发要求 | 用户不需要进行任何基于 CUDA 的二次开发 | high |
| Shark | 处理器支持 | 目前已经支持海光 DCU 处理器 | high |
| Shark GPLearn 新版本 | 新增参数 | 引入 dimReduceCol 参数支持降频因子挖掘(使用高频数据生成低频因子) | high |
| 降频因子挖掘(Shark GPLearn) | 框架与用户要求 | 通过约束聚合算子规则、调整分组与拆分逻辑确保多维处理可行;要求用户保证预测数据顺序与分组排序一致以解决维度匹配问题 | high |
| TextDB 新版本 | 增强 | 增强文本匹配与文本处理;新增 matchFuzzy 函数用于文本模糊匹配,scoreColName 参数输出匹配得分;支持导入外部词库进行分词分段 | high |
| 权限管理 新版本 | 增强 | 增加对用户创建共享变量的权限控制 | high |
| enableSharedVarCreationControl | 用途 | 控制是否允许用户创建共享变量;为 true 时创建共享变量会检查权限 CREATE_SHARED_VAR,只有具备权限用户才可创建 | high |
| 流计算引擎 新版本 | 新增引擎 | 多数据源流式关联引擎:新增 NearestJoin Engine(在 asof join 关联最近1条基础上扩展,支持关联右表最近n条数据) | high |
| 流计算引擎 新版本 | 新增引擎 | 订单还原引擎:通过 createOrderReconstituteEngine 创建;基于上交所逐笔成交与逐笔委托数据实时还原缺失原始委托信息以确保完整性 | high |
| reply 函数 | 回放能力 | 可自动记录回放数据的写入系统时间,用于管理回放数据和优化回放流程 | high |
| Octopus 引擎(新版本变更) | 不再限制 | 事件监听器回调函数 handler 必须调用 monitor 类的方法(该限制取消) | high |
| Octopus 引擎 | 新增支持 | 支持对外部类方法的调用,提升开发灵活性并降低代码耦合度 | high |
| dropDataViewEngine | 功能 | 用于删除 DataView 引擎 | high |
| dict 与 tuple(双目计算) | 扩展 | 支持元组与标量或其他元组之间的元素级双目运算 | high |
| semiannualBegin | 功能 | 返回指定时间所在半年期的第一天 | high |
| semiannualEnd | 功能 | 返回指定时间所在半年期的最后一天 | high |
| roll(通用窗口函数) | 功能 | 支持在SQL中自定义滑动窗口计算规则;相比 moving/rolling/window 等系列函数更通用便捷 | high |
| roll(窗口配置) | 支持的窗口类型 | 固定时间、行数、交易量滑动窗口;以及用户自定义窗口起止时间的窗口 | high |
| roll(窗口配置) | 可配置项 | 自定义滑动窗口步长;空窗口填充;窗口闭合方式;窗口起始时间等 | high |
| roll(窗口配置) | 计算区间配置 | 支持设置计算时间区间(如金融场景下仅交易时间段发生计算) | high |
| at 函数 | 新增功能 | 计数展开:根据输入向量X将每个索引i重复X[i]次生成新向量,可用于统计计数转原始序列、数据扩增等 | high |
| reverse 函数 | 新增支持 | 对内存表、有序字典逆序排序 | high |
| 运维(新版本) | 容量检查机制 | 引入更精细化磁盘容量检查:新建分区和写入前对每个数据副本所在独立磁盘卷进行空间可用性校验,替代仅依赖节点整体平均使用率检查,以预防单盘写满导致写入失败 | high |
| 故障修复(新版本) | 修复范围 | 修复内存泄漏、资源回收、函数计算错误、高并发卡顿、元数据管理等多项关键故障,提升稳定性和性能表现(描述) | low |
| 功能优化(新版本) | 优化点 | 优化分区查询、剪枝效率与高并发场景系统表现,并增强脚本引擎表达式处理能力(描述) | low |
| DolphinDB 小助手 | 账号 | dolphindb1 | high |
| 联系信息卡片图片(引用块AI说明) | 图片用途描述 | 被描述为DolphinDB官方宣传与联系信息卡片,包含定位、官方联系邮箱/官网/城市布局信息与二维码,用于引导联系支持(该描述来自页面引用块文字而非图片OCR) | low |