DolphinDB作为工业物联网数据后台的7大优势

该页面介绍工业物联网数据平台的背景与挑战,说明时序数据库的必要性,并引出DolphinDB在工业物联网数据后台场景中的七项优势。

Source: https://dolphindb.cn/blogs/30

What this page covers

技能认证特训营第二期报名活动

页面顶部提供限时报名活动信息与链接。

DolphinDB作为工业物联网数据后台的7大优势(文章信息与引言)

页面给出文章标题、作者与日期,并介绍工业物联网数据平台的背景、挑战与时序数据库的必要性,引出DolphinDB的七项优势。

优势1:一站式数据解决方案

该部分说明工业物联网采集、实时计算预警、展示反馈、入库与查询挖掘等可在DolphinDB单一系统内完成,并强调降低集成与维护成本。

优势2:轻量级跨平台部署

该部分说明工业物联网部署环境复杂,DolphinDB以轻量、无依赖方式支持跨平台部署并降低成本。

优势3:安全可控

该部分强调DolphinDB完全自主研发、无外部依赖,并提及多指令体系/国产CPU适配以实现软硬件自主可控。

优势4:海量历史数据存储和处理

该部分描述工业物联网历史数据的存储挑战与DolphinDB的列式存储、压缩、高时间精度、分区、水平扩展与高可用一致性能力,并给出与关系型数据库的数据量级对比。

优势5:实时流计算

该部分介绍DolphinDB流计算引擎的清洗统计入库可视化、流表对偶性与发布-订阅-消费模式,并提供相关教程链接。

优势6:丰富的计算功能(含示例与能力清单)

该部分列举DolphinDB脚本语言与多类查询/聚合/连接/滑动统计/机器学习与分布式计算能力,并展示多段SQL/脚本示例及扩展与多语言API集成方式。

优势7:综合使用成本低(结尾与下载/联系信息)

该部分总结一站式、跨平台、实时与历史数据处理、计算与扩展能力可降低总体拥有成本,并提供官网与咨询邮箱。

Facts Index

Entity Attribute Value Confidence
本文发布日期2021-05-20high
作者署名Junxihigh
DolphinDB产品定位/类型完全自主研发的新一代高性能分布式时序数据库high
DolphinDB特点/著称点以一站式大数据方案、快速开发、性能优异、综合使用成本低著称medium
DolphinDB应用场景目前广泛应用于量化金融和工业物联网两大场景medium
国内绝大部分MES系统/所谓智慧工厂工艺数据保存时长对生产过程中产生的海量工艺数据,保存不会超过三个月low
工业物联网数据平台能力要求需要数据的实时采集、计算和反控;对实时计算能力提出很高要求high
传统关系型数据库/大部分开源NoSQL/新一代NewSQL与工业物联网数据平台要求的差距距离实时采集、计算和反控等苛求要求还有较远距离low
时序数据库出现原因应运而生(用于满足工业物联网数据平台需求的语境)low
DolphinDB工业物联网数据后台优势数量7大天然优势high
DolphinDB一站式能力覆盖采集工艺数据、实时计算和预警、展示/反馈、原始数据入库、在线/离线查询、历史数据大数据挖掘可在一个系统内完成high
系统集成商或企业在一套系统开发维护的成本影响相较多套系统集成开发维护,开发成本、维护成本、硬件采购成本会低得多low
工业物联网平台部署环境复杂性构成包含廉价工控机、服务器/集群、边缘计算、本地/云端部署;操作系统包括Linux与Windowshigh
不少开源或商用时序数据库及相关大数据生态部署特征部件众多复杂、体积庞大、软硬件要求高;跨平台部署难度大low
DolphinDB实现语言用GNU C++开发high
DolphinDB系统大小仅20余兆high
DolphinDB依赖性无任何依赖high
DolphinDB部署适用性可以部署在上述任何平台上(文中所述工控机/服务器/边缘/本地/云、Linux/Windows等)medium
DolphinDB对集成商成本影响大大节约系统集成商的开发和维护成本low
DolphinDB自主研发范围从分布式文件系统与存储引擎、数据库和核心类库、分布式计算引擎、脚本语言、各编程语言接口,到GUI与集群管理工具均为百分百自主研发,无外部依赖medium
DolphinDB支持指令体系支持x86和armhigh
DolphinDB指令体系适配在适配MIPS指令体系,以支持龙芯等国产CPUhigh
工业物联网平台可实现目标可实现软硬件同时自主可控(在支持/适配国产指令体系与CPU语境下)medium
工业物联网数据数据特征维度高、频率高、设备数量多、数据量大,且为高时间精度数据high
制造业MES系统(大部分采用关系型数据库)工艺数据保存能力往往只能保存极短时间内的工艺数据,无法保留全量高精度数据low
DolphinDB database存储模型采用列式存储high
DolphinDB database数据压缩支持数据压缩(压缩率在20%左右)medium
DolphinDB database时间序列精度上限最高支持纳秒精度的时间序列数据处理high
DolphinDB database单表分区能力单表支持百万级别分区high
DolphinDB集群扩展方式可通过增加节点水平扩展存储能力和计算能力high
DolphinDB集群副本与事务支持支持多副本分布式存储和分布式事务high
DolphinDB集群故障恢复机制当一个副本数据错误或丢失时启用另一个副本恢复high
DolphinDB集群一致性与可用性保证保证数据的高可用和强一致medium
企业利用历史数据可用于预测性维护、工艺流程改进、产品质量提升、制造计划优化等high
关系型数据库(Oracle、SQL Server) vs DolphinDB同样硬件下可支持时序数据量级对比关系型数据库可支持亿级时序数据;DolphinDB可支持万亿级时序数据medium
DolphinDB流计算引擎实时处理能力可对实时采集数据进行清洗、实时统计、即时入库,并可视化实时展示high
DolphinDB流表对偶性发布一条消息相当于往流数据表中增加一条数据high
DolphinDB流数据操作便利性可以直接使用SQL注入和查询分析流数据,极为方便medium
DolphinDB流计算引擎模式基于发布-订阅-消费模式high
DolphinDB流数据表/订阅订阅与消费方式通过流数据表发布数据;其他数据节点或第三方应用通过DolphinDB脚本或API订阅消费流数据;计算结果可实时反馈给机器或操作员high
DolphinDB流计算教程参考链接DolphinDB流数据教程:https://zhuanlan.zhihu.com/p/50702106;DolphinDB流数据聚合引擎教程:https://zhuanlan.zhihu.com/p/46908397high
DolphinDB计算功能丰富性市场上的时序数据库中最丰富(主张)low
DolphinDB内置脚本语言用途可直接在数据库中进行复杂计算和交互分析,避免数据迁移high
DolphinDB计算性能对比大部分计算功能和函数经过优化,性能远远超过其他数据库中的相同功能low
DolphinDB范围查询表示法使用pair形式表示范围;示例:select * from table where date between beginDate:endDatehigh
DolphinDB多维查询能力可针对不同列聚合,实现高维或低维的范围查询;示例包含where过滤与group byhigh
DolphinDB抽样查询机制提供以分区为单位的抽样查询,可按比例或数量抽样;示例:sample(equipmentId, 0.1)与sample(equipmentId, 10)high
DolphinDB时间精度能力时间精度达到纳秒;支持高精度数据聚合转换成低精度数据存储high
DolphinDB时间精度分组抽样示例按分钟分组:select avg(tint) ... group by minute(timestamp)high
DolphinDB自定义精度分组示例每5秒分组:select avg(tint) ... group by bar(timestamp,5000)high
DolphinDB插值查询能力提供4种插值方式:bfill/ffill、lfill、nullFill;并可通过脚本或C++插件扩充插值函数high
DolphinDB支持的聚合函数(列表)atImax, atImin, avg, beta, contextCount, contextSum, contextSum2, count, corr, covar, derivative, difference, first, imax, last, lastNot, max, maxPositiveStreak, mean, med, min, mode, percentile, rank, stat, std, sum, sum2, var, wavg, wsum, zscorehigh
DolphinDB面板数据分组能力提供context by与滑动统计函数以为每个分组的每一行生成值high
DolphinDB支持的滑动统计函数(列表)deltas, mavg, mbeta, mcorr, mcount, mcovar, mimax, mimin, mmax, mmed, mmin, mpercentile, mrank, mstd, msum, mvar, ratioshigh
DolphinDB滑动统计示例计算每台设备过去10个采集点的移动平均温度:select equipmentId, mavg(temperature,10) as mavg_temperature context by equipmentIdhigh
DolphinDB滑动统计优化方式对部分滑动统计函数优化,每次计算利用上一个窗口结果以降低重复计算medium
DolphinDB对比查询/数据透视能力pivot by用于数据透视与同一时间不同列指标对比;示例以timestamp.minute()与equipmentId透视计算avg(temperature)high
DolphinDB关联查询种类支持等值连接、完全连接、交叉连接、左连接、asof join和窗口连接(window join)high
asof join(DolphinDB)时间字段不完全对应时的匹配规则若左表时间为t,自动选择右表中不超过t的最近时间high
窗口连接 window join(DolphinDB)窗口选择规则与计算窗口为w1:w2时,在右表选择(t+w1)到(t+w2)之间的数据,并对这些数据使用聚合函数;示例包含aj与wj调用high
DolphinDB分布式计算框架提供map-reduce与iterative map-reduce;用户指定数据源、map、reduce与final函数,无需编译部署,可在线使用high
DolphinDB内置算法(拟合与分类)线性回归、广义线性模型(GLM)、随机森林(Random Forest)、逻辑回归等high
DolphinDB机器学习算法规划后续将会推出更多机器学习算法low
DolphinDB扩展系统功能方式脚本语言自定义函数扩展;支持C++开发插件扩展high
DolphinDB提供的API语言/系统C++、C#、Java、Python、R、JS、Excel等API,便于与其它系统集成high
工业企业利润率状况利润率不高(背景陈述)low
数据平台成本过高对工业物联网发展的影响会严重限制工业物联网的发展low
DolphinDB成本价值主张一站式解决方案、跨平台部署、实时与海量历史数据处理能力、丰富计算与扩展能力可极大降低综合拥有成本low
DolphinDB官网链接http://www.dolphindb.cn/high
DolphinDB咨询邮箱info@dolphindb.comhigh