3.00版本来了!DolphinDB V2.00.12 & V3.00.0 正式发布!

本页为版本发布新闻与更新概览,包含发布日期、版本定位与主要更新方向(3.00.0、2.00.12及相关版本说明)。

Source: https://dolphindb.cn/news/detail/259

What this page covers

技能认证特训营第二期报名入口(站内提示) navigation

页面顶部提供培训营活动提示与限时报名链接入口。

新闻条目:DolphinDB V2.00.12 & V3.00.0 正式发布 hero

该新闻条目给出发布日期与发布概览,并说明不同版本的定位与关系。

线上直播预告 cta

页面提供线上直播时间、主讲人与主题,并引导用户进行预约。

3.00.0 大版本全新发布:总体能力提升与新增组件概览 product_overview

3.00 版本面向风控、交易等场景强调能力提升,并概览新增引擎、嵌入式版本、脚本引擎与平台等内容。

插件市场新装修 feature_list

该部分说明插件市场的插件类别、安装加载方式,并提到面向企业版的专业插件与用户生态规划。

交易型内存存储引擎 IMOLTP feature_list

该部分介绍 IMOLTP 的设计机制,并提供建库建表与查询示例代码。

嵌入式产品 Swordfish product_overview

该部分说明 Swordfish 的嵌入式定位、与 Server 3.00.0 的功能一致性、以及动态库交付与能力描述。

CEP 复杂事件处理引擎 feature_list

该部分说明 DolphinDB 在流数据框架中新增 CEP 引擎,并概述其核心功能与示例说明。

Shark GPLearn 自动因子挖掘引擎 feature_list

该部分介绍 Shark GPLearn 的自动因子挖掘方式、GPU 加速点与示例说明。

Python Parser 脚本引擎 feature_list

该部分描述 Python Parser 的定位、能力范围,以及在编辑器/Workspace 中的启用与切换方式示例。

支持类(Class):面向对象编程 feature_list

该部分说明 DolphinScript 引入 Class 支持 OOP,并描述对代码可维护性的影响。

Catalog 功能:更便捷的数据工程化管理 feature_list

该部分说明引入 Catalog 的目的,并给出标准化库表访问示例。

orderbook engine:逐笔生成订单簿快照 feature_list

该部分介绍 orderbook engine 的定位、输入触发方式、支持范围与实时技术能力,并给出代码示例。

AI Dataloader:深度学习数据高速通道 feature_list

该部分说明 AI Dataloader 的目的、与深度学习框架的对接输出,以及增量读取与内存控制能力。

UDP 可靠组播模式(发布订阅增强) feature_list

该部分说明发布订阅新增 UDP 组播支持与可靠性措施,并给出启用参数与后续计划说明。

2.00.12 升级功能清单总述 product_overview

该部分概述 2.00.12 与 3.00.0 同步适用的优化方向,并引出分项清单。

易用性增强(宏变量元编程、字段序列表达式、动态配置) feature_list

该部分列出元编程、SQL 查询表达式与运维动态配置函数的新增/增强点。

数据库使用体验优化(TSDB与SQL执行计划等) feature_list

该部分列出 TSDB、分布式表更新、执行计划信息与 SQL 语句能力等改进点。

数据分析能力更强大(类型、函数、开窗函数完善) feature_list

该部分列出 DECIMAL、数学统计/矩阵/回归/概率分布/插值/优化器、金融、物联网与开窗函数等增强点。

流数据功能拓展(流表、引擎参数与能力增强) feature_list

该部分列出流数据表与多类引擎的新增函数、参数与能力增强点。

性能再提升(JIT、join、分区剪枝、TSDB缓存读取、回归性能) feature_list

该部分列出 JIT 类型支持扩展、join 与分区剪枝优化、TSDB 读取加速与回归算法优化。

运维管理功能强化(热修复、rebalance、权限、审计) feature_list

该部分列出系统函数热修复、rebalance 参数与算法改进、计算节点管理能力与审计日志等内容。

Web 端功能优化与扩展(权限管理与配置管理界面) feature_list

该部分介绍 Web 端新增的权限管理与配置管理界面能力。

Roadmap(未完待续) misc

该部分列出后续版本计划中的重点功能方向。

使用说明与许可/下载指引 legal

该部分说明社区版可免费使用范围、企业版插件体验,以及部分功能的许可证申请与联系指引。

Facts Index

Entity Attribute Value Confidence
新闻发布发布日期2024.04.03high
DolphinDB发布版本DolphinDB V2.00.12 与 V3.00.0 正式发布high
DolphinDB 3.00.0版本定位本次更新后,3.00.0版本将成为DolphinDB的最新版high
DolphinDB 2.00.12版本定位本次更新后,2.00.12版本变更为稳定版high
DolphinDB 1.30.23版本定位此前发布的1.30.23版本将成为1.30系列的最后一个版本high
线上直播时间4月10日晚上七点半high
DolphinDB直播主讲人DolphinDB 研发副总监 胡津铭high
线上直播内容主题详细介绍3.00.0版本发布的新功能,以及2.00.12版本的重要更新high
DolphinDB 3.00版本新增能力新增交易型内存存储引擎;流数据架构中新增CEP引擎、订单簿引擎high
Swordfish产品定位DolphinDB推出嵌入式版本“Swordfish”,可作为基础组件嵌入交易和实时风控等对时延有苛刻要求的场景high
DolphinDB 3.00版本引入脚本引擎引入Python Parser脚本引擎,支持原生Python语法、Pandas库以及所有DolphinDB内置功能high
DolphinDB 3.00版本语言特性完成对Class类的支持;更新了基于宏变量的元编程方法high
Shark GPLearn平台描述发布全新的基于CPU-GPU异构计算和遗传算法的因子挖掘平台——Shark GPLearnhigh
DolphinDB 3.00版本将发布的重要功能插件市场、Catalog 和 AI dataloader 等重要功能将在3.00版本中正式发布high
DolphinDB 插件市场插件类别示例提供行情插件、数据存取、机器学习、云存储、可视化等多个类别的插件工具high
DolphinDB Server插件安装与加载方式通过installPlugin和loadPlugin函数快速安装并加载所需插件high
DolphinDB 插件市场更新企业版专业插件将在插件市场中发布为企业版用户打造的高频回测、模拟撮合等专业插件high
DolphinDB 插件市场用户生态规划上线用户和评价系统并与ASK DolphinDB社区打通,规划自由开发、上传作品、交易、即时问答和专业内容输出等体验medium
IMOLTP引擎实现方式将所有数据维护在内存中以省去磁盘I/O开销;以行存组织数据;支持创建B+树索引(主键索引和二级索引)high
IMOLTP配置方式IMOLTP引擎可在建库时指定,与OLAP和TSDB的配置方式相同high
Swordfish与Server版本一致性其支持功能与Server的3.00.0版本一致high
Swordfish交付形态将DolphinDB核心计算能力封装为动态库提供给用户high
Swordfish内置函数数量内置1500+函数与流计算框架high
Swordfish脚本引擎支持支持DolphinScript和Python Parser两个脚本引擎high
Swordfish性能/时延能力描述支持到个位微秒级的数据读写、事务操作与持久化日志medium
CEP引擎引擎加入位置DolphinDB在流数据框架中增加复杂事件处理(CEP)引擎high
CEP引擎核心功能事件定义、事件捕捉和过滤、事件模式匹配、事件发送、事件处理等high
Shark GPLearn 平台方法与加速可直接从数据库读取数据,调用遗传算法自动因子挖掘,并利用GPU加速遗传算法适应度计算high
Shark GPLearn性能对比在1000万行测试数据条件下,Shark相比gplearn有86倍性能提升high
Python Parser定位为习惯用Pandas的用户提供更优替代方案medium
Python Parser能力支持解析Python语法脚本;支持调用DolphinDB原生内置函数和库表对象;提供Pandas接口库以结合库表与Pandas数据结构high
Python Parser使用方式在脚本编辑器切换解析语言为Python Parser即可用Python编写脚本high
DolphinDB Class新增特性在DolphinScript基础上引入类(Class),实现面向对象编程(OOP)high
DolphinDB Class效果描述提高代码可读性和可维护性,降低复杂业务逻辑代码维护成本medium
Catalog 功能引入目的为提供更便捷、更标准、兼容性更好的数据库访问体验,并更方便与第三方软件集成,引入Catalog功能high
Catalog 功能访问方式示例select * from catalog.schema.tablehigh
orderbook engine描述推出经过正确性校验的高性能orderbook engine;通过createOrderbookSnapshotEngine定义,引擎输入符合约定的逐笔成交与逐笔委托数据触发计算high
orderbook engine业务能力支持多个交易所的多种证券类型;支持任意档位和任意频率orderbook;支持成交明细/委托明细/撤单明细等衍生指标;支持用户自定义指标high
orderbook engine实时技术能力支持流批一体、多种时间概念、灵活的触发机制等high
AI Dataloader目的将数据库与深度学习相结合,开发数据加载工具AI Dataloaderhigh
AI Dataloader输出/对接框架可将DolphinDB中的因子数据转换成PyTorch、TensorFlow等深度学习框架需要的tensor格式high
AI Dataloader数据读取与内存控制支持以流水线作业方式增量读取和转换数据,控制Python客户端内存使用量high
DolphinDB 发布订阅(流计算)新增通信模式新增对UDP组播模式的支持,用于多订阅端共同订阅单一发布端时提升发布与订阅效率high
UDP组播订阅可靠性措施机制共享内存维护log buffer;利用NAK机制保证传输失败时重传;在log buffer维护数据包seq number以重建顺序high
UDP组播订阅启用参数订阅者指定udpMulticast=true启用UDP模式订阅(示例:subscribeTable(...,udpMulticast=true))high
UDP可靠组播模式发布计划DolphinDB将在3.00.0的修订版中支持UDP可靠组播模式,以提升流数据多路订阅发布性能medium
AI Dataloader 与 orderbook engine版本支持2.00.12版本与3.00.0版本将同步支持AI Dataloader与orderbook engine功能high
2.00.12与3.00.0升级功能清单适用范围说明下列升级功能皆适用于2.00.12版本与3.00.0版本high
元编程方法新增方式新增支持基于宏变量的元编程方法,可用宏变量声明列字段并直接通过SQL脚本编写元编程代码high
SQL查询表达式新增能力新增字段序列表达式,支持如select fac001...fac999 from t表示查询fac001到fac999列high
运维配置管理新增函数提供统一在线修改参数配置函数setDynamicConfig,并提供获取修改后配置值函数getDynamicConfighigh
TSDB引擎字段级压缩算法支持支持在字段级别设置zstd压缩算法;相比LZ4压缩算法压缩比提高约30%high
分布式表更新能力支持使用update更新分布式表的Array Vector列high
[HINT_EXPLAIN] 执行计划信息拓展拓展sortKey命中的相关信息,帮助定位并优化SQL性能问题high
TSDB引擎排序字段类型支持排序字段(Sort Columns)支持DECIMAL类型high
SQL语句能力新增支持支持update+context by语句搭配csort和having子句进行排序和过滤high
DECIMAL舍入模式配置项支持通过decimalRoundingMode配置项指定全局DECIMAL舍入模式high
数学统计函数支持新增函数(窗口计算)新增m系列函数mLowRange、mpercentileTopN、mfirstNot等,以及tm系列函数tmLowRange等high
矩阵计算新增函数与类型支持支持matrixRank、pinverse;矩阵新增支持STRING和DECIMAL类型high
线性回归新增函数新增wlsr函数用于单列加权最小二乘回归;返回值为元组,可搭配moving实现滑动加权最小二乘回归high
概率分布新增概率密度函数新增pdfF、pdfChiSquare、pdfNormalhigh
数据插值新增函数新增kroghInterpolate(点集多项式插值函数)high
优化器新增函数新增fmin函数,支持通过Nelder-Mead单纯形算法找到目标函数最小值high
金融函数新增函数新增bondAccrInt用于计算有价证券的应付利息high
金融函数增强支持bondDirtyPrice、bondDuration、bondConvexity新增对零息债券和贴现债券的支持high
物联网函数新增函数新增geoWithin用于判断点是否在多边形中,可用于车辆警戒区域判断、区域车辆统计等场景high
SQL开窗函数能力完善支持时间范围;支持与group by结合并支持嵌套聚合函数;新增imin、imax、iminLast、imaxLast、firstNot、lastNot、sum2、prod、percentile、wavg、wsum、corr、covar、beta、atImax、atIminhigh
流数据表新增函数通过setStreamTableTimestamp为注入数据打上时间戳high
时序聚合引擎新增配置/能力配置数据接收延时acceptedDelay;通过warmupStreamEngine预注入历史数据high
响应式状态引擎能力增强状态函数prev和move支持对数组向量的计算high
横截面引擎参数增强参数contextByColumn支持指定多个分组列high
异常检测引擎能力增强支持自定义输出的异常指标信息high
JIT支持类型扩展增加JIT支持的数据类型:set、arrayVector、dict、stringhigh
join性能优化优化范围优化多种场景下join性能:包括cross join、并发join多线程、维度表与分布式表joinmedium
分区剪枝优化点优化分区剪枝逻辑,使in子句中list为变量时能够裁剪分区范围(示例:where date(dt) in 2022.01.01按Month分区表可定位对应月份)high
TSDB从CacheEngine读取性能性能提升最多达到20多倍性能提升medium
回归函数性能优化对象优化回归函数lasso、ElasticNet的性能high
系统函数热修复实现方式支持通过加载插件方式对内置系统函数进行热修复,无需重启DolphinDB,保障7*24不间断运行high
rebalance新增参数新增控制节点、数据节点上rebalance并发线程数的参数,用以控制rebalance过程效率与资源消耗high
rebalanceChunksAmongDatanode函数优化点改进分区大小估算方法;优化分区移动策略减少网络传输;增加算法适用场景(单机多节点、共享磁盘等部署方式)high
计算节点管理能力计算节点可以执行用户/组管理、权限管理等相关函数high
数据库审计日志新增内容新增数据库审计日志,记录DML(库、表、分区、字段)及update/delete等记录,用于数据异常时定位结构与修改行为high
DolphinDB Web端新增界面新增用户权限管理界面,支持对用户/组在不同应用范围的权限设置并实现批量用户管理high
DolphinDB Web端新增界面新增配置管理界面,可在控制节点上对集群节点及配置项集中管理和设置high
Roadmap计划功能支持主键模型引擎;向量存储引擎VectorDB;支持RDMA高速网络通讯框架;引入Tensor数据结构并支持与Ray等分布式机器学习框架集成;完善Shark平台并用于大规模因子计算;增强计算节点能力并完善存算分离;为Swordfish增加Python和Java接口medium
社区版下载费用说明新版本中的绝大部分功能,下载社区版即可免费使用medium
企业版插件可用性高频回测和模拟撮合插件,企业版用户可直接体验high
CEP引擎与订单簿引擎许可证要求需联系DolphinDB小助手(dolphindb1)或销售申请对应许可证high
Shark GPLearn版本与许可证要求需下载GPU版本,并联系小助手或销售申请独立GPU许可证high
Swordfish获取与许可证要求需下载嵌入式版本,并联系小助手或销售申请独立Swordfish许可证high
DolphinDB 小助手联系账号dolphindb1high
技能认证特训营第二期报名链接https://www.qingsuyun.com/h5/e/217471/5/high