新版本发布丨向企业级实时计算平台迈进!支持存算分离、FICC 函数库大更新!

该页面是一则新闻发布内容,展示版本发布主题与发布日期信息。

Source: https://dolphindb.cn/news/detail/310

What this page covers

技能认证特训营第二期限时报名与福利信息

页面顶部提供技能认证特训营第二期的限时报名链接与福利优惠提示。

新闻标题与发布日期

新闻页面展示版本发布主题标题与发布日期。

版本发布背景与总体方向(企业级实时计算平台)

介绍 DolphinDB 面向金融行业挑战的工具体系与通过迭代打造企业级实时计算平台的总体方向,并概述本次版本的关键更新点。

DolphinDB V3.00.2 重磅功能总览

进入 V3.00.2 重点功能部分并按编号展开。

完善企业级实时计算平台架构

介绍通过存算分离、计算组、以及单点登录与多集群管理等能力完善平台架构。

存算分离:资源/故障隔离,节点弹性扩展

说明存算分离架构动机与 DolphinDB 引入计算组以实现更彻底的存算分离,并描述计算组的作用与调度优势。

存算分离架构示意与说明(图与AI说明)

配图与说明解释计算层计算组与存储层的分工以及资源与故障隔离机制。

集群管理:单点登录 + 多集群管理

介绍通过 oauthLogin 支持单点登录、登录限制与 IP 透传,以及通过 MoM 节点/集群实现多集群集中管理与跨集群访问授权。

FICC 业务功能上新:曲线拟合引擎 + 估值定价引擎 + 多个业务函数

概述为 FICC 场景新增两大流计算引擎并扩展业务函数库。

曲线拟合引擎(原理、能力与用例)

描述利率曲线拟合在 FICC 中的作用、引擎定位、支持的拟合算法,并给出创建与回放流数据的示例代码与演示图。

估值定价引擎(能力与用例)

描述估值定价引擎基于行情与合约信息实时计算估值/价格、支持多类指标与算法,并给出示例代码与演示图。

新增业务函数(清单)

列出新增/扩展的优化、回撤、债券、互换、期权、时间序列模型与插值等函数以及部分参数接口扩展。

打造 RAG 技术底座:新增文本存储引擎 TextDB

从 RAG 的检索需求出发,说明密集检索与稀疏检索,并介绍 DolphinDB 在本版本推出 TextDB 以完善文本检索能力及与 VectorDB 的关系。

TextDB:倒排索引加速文本检索(能力与用例)

解释倒排索引与适用场景,描述 TextDB 相对 like 匹配的性能提升、支持的检索方式与当前支持的存储引擎,并提供建库建表与 matchAny 查询示例代码。

点位管理引擎:单表管理不同类型点位数据

面向物联网点位管理场景,介绍 IOTANY 可变类型实现单表存储与管理不同类型点位,并通过最新值缓存提升查询性能(含架构图与说明)。

DolphinDB V3.00.2 & V2.00.14 升级功能一览(总述)

进入版本升级功能一览,概述对流数据处理、数据库管理、数据分析与运维管理等方面的优化升级。

流数据功能扩展与优化

介绍订阅过滤增强、最新键值流表、新增 time bucket engine 与 snapshot join engine,以及多类引擎的改进项清单。

流订阅 filter 自定义函数与最新键值流表(Latest Keyed Stream Table)

说明 subscribeTable 支持 filter 自定义函数以实现更灵活过滤,并介绍最新键值流表按时间戳写入规则与适用场景。

自定义窗口时序聚合引擎(time bucket engine)与机制示意图

说明 time bucket engine 通过 timeCutPoints 自定义窗口边界并在边界触发计算以降低延迟,并提供机制示意图与说明。

快照连接引擎(snapshot join engine)与适用场景

说明用于两张流表实时连接、支持内连接与全外连接,并举风控实时连接账户资产与市价表计算指标的例子。

各项流计算/规则/状态/时间序列/连接/横截面引擎优化清单

列出订单簿快照引擎、规则引擎、响应式状态引擎、时间序列引擎、流连接引擎与横截面引擎的具体增强项。

数据库管理优化(权限/集群/存储引擎)

概述从运维、权限、集群与存储引擎等方面的优化,并列出新增权限查询函数、agent 登录与细粒度登录限制、TSDB upsert 与主键引擎向量索引支持。

数据分析能力再增强(JIT、SQL、函数)与兼容性

描述 JIT 数据类型扩展、SQL join/group by/hash join 并行与 outer join 语法、函数新增与参数优化,以及性能优化与二级兼容/插件SDK兼容。

未完待续:后续版本规划与试用/联系方式

列出后续版本重点功能规划,并邀请试用新版本,提供微信小助手联系方式用于技术答疑。

Facts Index

Entity Attribute Value Confidence
技能认证特训营第二期报名链接https://www.qingsuyun.com/h5/e/217471/5/(限时报名)high
新闻:新版本发布丨向企业级实时计算平台迈进!支持存算分离、FICC 函数库大更新!发布日期2024.10.24high
DolphinDB工具体系概念以“引擎、函数、模块、插件”四大工具构成业务中间件概念high
DolphinDB对金融业务团队开发效率影响为金融业务团队开发效率大幅提速low
DolphinDB产品方向通过多个版本迭代打造集全局数据目录、分布式集群调度、多业务模块于一体的企业级实时计算平台medium
DolphinDB 新版本版本号V3.00.2 & V2.00.14high
DolphinDB 新版本(V3.00.2&V2.00.14)引入概念引入计算组(实现存算分离基础架构)high
DolphinDB 新版本(V3.00.2&V2.00.14)支持功能单点登录high
DolphinDB 新版本(V3.00.2&V2.00.14)支持功能多集群管理high
DolphinDB 新版本(业务支持/FICC)新增引擎估值定价引擎与曲线拟合两大引擎high
DolphinDB 新版本(业务支持/FICC)新增优化函数数量十多个优化函数(含现金流、收益率、利率互换估值、信用违约互换估值等)medium
点位管理引擎(IOTDB)面向行业物联网行业high
点位管理引擎(IOTDB)引入数据类型IOTANY 可变数据类型high
点位管理引擎(IOTDB)解决的问题解决点位表中不同测点数据类型不一致导致不得不使用 STRING 进行低效存储和计算的问题medium
点位管理引擎(IOTDB)性能影响测点最新值查询性能大幅提升low
TextDB目的/效果提升 DolphinDB 与 AI 大模型融合应用的能力medium
存算分离架构定义存储和计算资源相互独立high
存算分离架构带来的能力系统可灵活调配资源并避免数据过于集中的问题medium
存算分离架构可靠性影响防止单个存储节点故障导致业务中断甚至数据永久丢失medium
DolphinDB 以前版本计算任务下推虽有计算节点,但部分计算任务下推到存储节点完成high
DolphinDB(本版本)存算分离支持方式引入计算组使存算分离支持更彻底high
计算组(compute group)定义由 n 个计算节点组成的节点组,用户可根据需求自由配置high
计算组承担任务类型可承担 SQL 查询、流计算、内存计算等不同类型计算任务high
计算组扩展能力可灵活增减计算节点,实现弹性扩展;规模决定算力大小high
存算分离架构(引入计算组后)查询调度策略写入频繁的分区查询调度到存储节点原地执行;写入不频繁的分区查询调度到计算组high
计算组性能影响通过缓存分区数据加快查询速度medium
计算组资源隔离将用户安排在不同计算组可实现用户层面的计算资源隔离并降低节点宕机风险medium
单点登录(SSO)作用一次登录访问多个企业内部系统,无需重复输入用户名和密码high
单点登录(SSO)管理与合规影响集中管理身份信息减轻权限管理负担,并通过集中记录登录/访问行为提升审计与监控能力medium
DolphinDB(本版本)SSO 实现方式支持 oauthLogin 函数以实现与内部软件系统之间的单点登录high
DolphinDB(本版本)登录限制模式提供“IP + 用户”模式限制用户登录地址high
DolphinDB(本版本)IP 透传支持支持 Haproxy HTTP/TCP 模式下的 IP 透传high
多集群管理能力允许用户在不同环境中灵活配置和利用计算与存储资源medium
DolphinDB 多集群管理集中管理中心可定义 MoM(Master of Master)节点或集群作为多个集群的集中管理中心,进行权限管理、资源监控及跨集群数据访问等操作high
DolphinDB 跨集群授权示例授权命令grant("user1@cluster1", TABLE_READ, "trading.stock.quote@cluster2")high
DolphinDB 跨集群访问示例访问方式select * from trading.stock.quote@cluster1(用于访问其他集群数据的示例写法)medium
FICC(DolphinDB 新增)新增引擎类型两大流计算引擎:实时曲线拟合引擎、估值定价引擎high
曲线拟合引擎定位将此前曲线拟合、优化求解相关函数整合成适用于不同业务场景、品种以及数据频率的工具high
曲线拟合引擎能力根据标的资产并结合资产类别、清算速度、产品类型等维度信息,在动态市场环境下实时计算最优曲线medium
曲线拟合引擎支持算法分段线性拟合、Nelson-Siegel 模型拟合、三次样条曲线拟合、线性插值拟合、多项式曲线拟合等high
曲线拟合引擎创建函数(示例代码)createYieldCurveEngine(...)high
估值定价引擎用途帮助用户高效、精准完成估值定价medium
估值定价引擎输入信息动态市场行情信息 + 静态合约信息high
估值定价引擎覆盖资产债券、期权等金融资产high
估值定价引擎支持的算法/指标(示例)可将多种债券和期权估值算法作为算子,包含但不限于含息价格、应计利息、麦考利久期、债券凸性、欧式期权等指标计算medium
估值定价引擎创建函数(示例代码)createPricingEngine(...)high
业务函数库扩展(本版本)新增函数differentialEvolution(差分进化算法求解多元函数全局最小值)high
业务函数库扩展(本版本)新增函数maxDrawdown(计算最大回撤率)high
业务函数库扩展(本版本)新增函数cummdd(计算累计最大回撤)high
业务函数库扩展(本版本)新增函数bondCashflow(计算现金流)high
业务函数库扩展(本版本)新增函数bondYield(计算收益率)high
业务函数库扩展(本版本)新增函数irs(实现利率互换估值)high
业务函数库扩展(本版本)新增函数crmwCBond(短期债券的信用风险缓释凭证估值)high
业务函数库扩展(本版本)新增函数cds(信用违约互换估值)high
业务函数库扩展(本版本)新增函数treasuryConversionFactor(国债期货估值转换因子)high
业务函数库扩展(本版本)新增函数vanillaOption(香草期权定价)high
时间序列模型函数(本版本)新增函数varma(向量自回归移动平均模型)与 garch(广义自回归条件异方差模型)high
插值函数(本版本)新增函数kroghInterpolateFit(多项式插值)与 linearInterpolateFit(线性插值)high
nss 与 piecewiseLinFit参数接口扩展支持指定最优化算法、最大迭代次数、随机数种子、初始估计值、上下边界high
RAG(检索增强生成)描述通过将检索得到的具体信息与生成模型生成能力相结合,提高生成内容准确性和信息丰富度medium
RAG 技术底座(数据库)需要能力强大的信息检索能力high
信息检索能力两方面密集检索与稀疏检索high
VectorDB版本信息DolphinDB 已在 3.00.1 版本推出向量数据库 VectorDB(TSDB 作为底层存储引擎)high
VectorDB能力支持高效向量检索、索引持久化以及混合搜索high
TextDB定位用于稀疏检索(文本检索),进一步完善信息检索能力high
TextDB索引机制对文本字段建立倒排索引以加速检索high
倒排索引适用场景数据类型适合处理大量非结构化文本数据high
TextDB性能对比相较 like 文本匹配可有几十倍提升medium
TextDB支持检索方式关键词检索、短语检索high
TextDB支持检索方式前后缀检索;短语检索可指定词距high
TextDB语言支持中文、英文及中英文混合检索high
TextDB当前支持的主键存储引擎主键存储引擎 PKEY 已支持文本索引;后续扩展到其他存储引擎high
TextDB 示例查询函数matchAny(textCol=txt, terms="farewell")high
点位管理引擎点位定义点位是设备上用于采集、监测和控制的各类传感器和执行器,是物联网应用场景中最重要的数据单位medium
点位管理可实现方案设备监控预警、实时监测等方案medium
点位管理常见方案多表存储问题不同测点类型分别存储在多张表中,不便于管理high
点位管理常见方案字符串存储问题将测点值以字符串存储会导致数据存储和计算效率较低high
点位管理引擎数据类型支持支持可变类型 IOTANY,可在同一列存储不同类型属性值,实现一张表存储/管理所有类型点位high
点位管理引擎成本影响大幅降低数据库管理和维护成本,同时保持高效存储与计算low
点位管理引擎最新值查询机制内部维护点位最新值缓存表,缓存所有点位数据最新值以提升查询性能high
subscribeTable(流订阅)新增能力支持配置 filter 参数为自定义函数,以 or 逻辑过滤多个字段等更灵活过滤处理high
Latest Keyed Stream Table写入规则添加新记录时自动检查时间戳;仅当新记录时间戳大于该键值的最大时间戳时才写入high
Latest Keyed Stream Table用途可用于多源行情数据的采集high
time bucket engine解决问题相对原 time series engine 的触发方式,在某些场景可降低计算延迟medium
time bucket engine关键参数timeCutPoints(自定义每个计算窗口范围/边界)high
time bucket engine触发机制当时间戳≥窗口边界的数据到来时立即触发聚合并关闭窗口;后续到达属于该时间范围的数据将被丢弃high
snapshot join engine用途两张流数据表的实时连接,支持内连接和全外连接;任意一方更新触发连接计算high
snapshot join engine示例场景风控场景下实时连接账户资产表与资产市价表,计算杠杆率、净值等关键指标medium
orderbookSnapshotEngine 优化新增函数setOrderbookSnapshotEngineStaticData(支持指定 prevClose、maxPrice、minPrice、outputCodeMap)high
orderbookSnapshotEngine 优化参数行为useSystemTime=true 时,skipCrossedMarket 可设为 falsehigh
orderbookSnapshotEngine 优化输出调整调整交易所休盘时段的输出medium
orderbookSnapshotEngine 优化新增能力无逐笔数据进来的窗口内也能输出快照medium
orderbookSnapshotEngine 优化类型输出支持支持将 int[]、long[] 字段输出为 double[] 类型high
orderbookSnapshotEngine 优化输出过滤不输出 msgType=-1 的记录high
orderbookSnapshotEngine 优化品种支持支持本币利率互换品种medium
orderbookSnapshotEngine 优化新增衍生字段剩余委托明细medium
规则引擎优化新增函数getRules(获取规则引擎中所有生效规则)high
reactiveStateEngine 增强函数支持支持累计最大回撤函数 cummddhigh
reactiveStateEngine 增强参数扩展percentChange、deltas 支持可变更间隔大小的可选参数high
reactiveStateEngine 增强moving 函数能力流处理场景下 moving 函数支持多个返回值high
createDailyTimeSeriesEngine输出行为允许输出不完整的窗口high
DailyTimeSeriesEngine新增参数能力支持每天分组不清理medium
TimeSeriesEngine参数/字段支持支持 updateTime 为 0high
流数据连接引擎能力支持左右表实时更新需求的流数据连接medium
cross-section engine输入支持支持数组向量(array vector)输入high
权限管理(本版本)新增函数getTableAccess 和 gettDBAccess(查询用户对库与表的权限)high
集群管理(本版本)能力agent 支持登录high
集群管理(本版本)能力支持细粒度的登录限制medium
TSDB(KEEP_ALL 模式)upsert 行为upsert 允许 keyColNames 仅包含部分排序列(sortColumns),无需列出所有排序列high
主键引擎索引支持支持 VectorIndex,可通过向量索引加速数据检索、提升查询效率high
后续版本规划企业级实时计算平台架构完善方向增强流表跨地区订阅能力;流计算支持试算以满足风控需求;流计算支持声明式 API 提升易用性medium
后续版本规划性能优化方向进一步优化多表连接性能medium
后续版本规划(Shark 平台)GPU 支持Shark 平台支持使用 GPU 执行自定义 DolphinDB 脚本,加速复杂指标计算、曲线拟合、衍生品定价等计算任务medium
后续版本规划(插件市场)能力插件市场支持上传和下载以 DolphinDB 脚本开发的插件和模块medium
DolphinDB 技术答疑微信联系方式dolphindb1high