DolphinDB作为工业物联网数据后台的7大优势
该页面介绍工业物联网数据平台的背景与挑战,说明时序数据库的必要性,并引出DolphinDB在工业物联网数据后台场景中的七项优势。
Source: https://dolphindb.cn/blogs/30
What this page covers
- 文章信息与引言:工业物联网数据平台背景与挑战。
- 一站式数据解决方案相关能力与成本影响。
- 轻量级、跨平台部署与部署环境复杂性。
- 自主研发与软硬件自主可控相关表述。
- 海量历史数据存储与处理能力与对比信息。
- 实时流计算模式与教程链接。
- 计算、查询、连接、分布式与扩展/API能力(含示例)。
技能认证特训营第二期报名活动
页面顶部提供限时报名活动信息与链接。
- 该部分用于引导用户参与报名活动。
- 该部分包含一个可点击的活动入口。
DolphinDB作为工业物联网数据后台的7大优势(文章信息与引言)
页面给出文章标题、作者与日期,并介绍工业物联网数据平台的背景、挑战与时序数据库的必要性,引出DolphinDB的七项优势。
- 作者署名为 Junxi。
- 发布日期为 2021-05-20。
- DolphinDB被描述为完全自主研发的新一代高性能分布式时序数据库。
- 工业物联网数据平台需要实时采集、计算与反控能力。
- 文中在工业物联网数据平台需求语境下提出时序数据库“应运而生”。
优势1:一站式数据解决方案
该部分说明工业物联网采集、实时计算预警、展示反馈、入库与查询挖掘等可在DolphinDB单一系统内完成,并强调降低集成与维护成本。
- 工艺数据采集可在一个系统内完成。
- 实时计算与预警可在一个系统内完成。
- 在线/离线查询与历史数据挖掘可在一个系统内完成。
- 相较多套系统集成,开发与维护成本被描述为更低。
优势2:轻量级跨平台部署
该部分说明工业物联网部署环境复杂,DolphinDB以轻量、无依赖方式支持跨平台部署并降低成本。
- 工业物联网平台部署环境包含多类硬件与本地/云端形态。
- 部署环境涉及Linux与Windows操作系统。
- DolphinDB被描述为仅20余兆且无任何依赖。
- DolphinDB被描述为可部署在文中所述多种平台上。
优势3:安全可控
该部分强调DolphinDB完全自主研发、无外部依赖,并提及多指令体系/国产CPU适配以实现软硬件自主可控。
- DolphinDB的多个核心组成被描述为百分百自主研发且无外部依赖。
- DolphinDB支持x86和arm指令体系。
- DolphinDB提及正在适配MIPS指令体系以支持龙芯等国产CPU。
- 在上述适配语境下,文中提出可实现软硬件同时自主可控。
优势4:海量历史数据存储和处理
该部分描述工业物联网历史数据的存储挑战与DolphinDB的列式存储、压缩、高时间精度、分区、水平扩展与高可用一致性能力,并给出与关系型数据库的数据量级对比。
- 工业物联网数据被描述为维度高、频率高、设备数量多且数据量大。
- DolphinDB database采用列式存储。
- DolphinDB最高支持纳秒精度时间序列数据处理。
- DolphinDB集群可通过增加节点进行水平扩展存储与计算能力。
- 文中给出同样硬件下关系型数据库与DolphinDB时序数据量级对比描述。
优势5:实时流计算
该部分介绍DolphinDB流计算引擎的清洗统计入库可视化、流表对偶性与发布-订阅-消费模式,并提供相关教程链接。
- 流计算引擎可对实时采集数据进行清洗。
- 流计算引擎可进行实时统计与即时入库。
- 流计算引擎支持可视化实时展示。
- 该引擎基于发布-订阅-消费模式。
- 页面提供DolphinDB流数据与聚合引擎教程链接。
优势6:丰富的计算功能(含示例与能力清单)
该部分列举DolphinDB脚本语言与多类查询/聚合/连接/滑动统计/机器学习与分布式计算能力,并展示多段SQL/脚本示例及扩展与多语言API集成方式。
- 内置脚本语言用于在数据库中进行复杂计算与交互分析。
- 范围查询可用pair形式表示(示例:between beginDate:endDate)。
- 提供以分区为单位的抽样查询(按比例或数量)。
- 提供4种插值方式(bfill/ffill、lfill、nullFill)。
- 支持多种连接方式,包括asof join与窗口连接。
优势7:综合使用成本低(结尾与下载/联系信息)
该部分总结一站式、跨平台、实时与历史数据处理、计算与扩展能力可降低总体拥有成本,并提供官网与咨询邮箱。
- 文中提出数据平台成本过高会限制工业物联网发展。
- 文中将一站式与跨平台部署等能力与降低综合拥有成本相关联。
- 提供DolphinDB官网链接。
- 提供咨询邮箱 info@dolphindb.com。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 本文 | 发布日期 | 2021-05-20 | high |
| 作者 | 署名 | Junxi | high |
| DolphinDB | 产品定位/类型 | 完全自主研发的新一代高性能分布式时序数据库 | high |
| DolphinDB | 特点/著称点 | 以一站式大数据方案、快速开发、性能优异、综合使用成本低著称 | medium |
| DolphinDB | 应用场景 | 目前广泛应用于量化金融和工业物联网两大场景 | medium |
| 国内绝大部分MES系统/所谓智慧工厂 | 工艺数据保存时长 | 对生产过程中产生的海量工艺数据,保存不会超过三个月 | low |
| 工业物联网数据平台 | 能力要求 | 需要数据的实时采集、计算和反控;对实时计算能力提出很高要求 | high |
| 传统关系型数据库/大部分开源NoSQL/新一代NewSQL | 与工业物联网数据平台要求的差距 | 距离实时采集、计算和反控等苛求要求还有较远距离 | low |
| 时序数据库 | 出现原因 | 应运而生(用于满足工业物联网数据平台需求的语境) | low |
| DolphinDB | 工业物联网数据后台优势数量 | 7大天然优势 | high |
| DolphinDB | 一站式能力覆盖 | 采集工艺数据、实时计算和预警、展示/反馈、原始数据入库、在线/离线查询、历史数据大数据挖掘可在一个系统内完成 | high |
| 系统集成商或企业 | 在一套系统开发维护的成本影响 | 相较多套系统集成开发维护,开发成本、维护成本、硬件采购成本会低得多 | low |
| 工业物联网平台部署环境 | 复杂性构成 | 包含廉价工控机、服务器/集群、边缘计算、本地/云端部署;操作系统包括Linux与Windows | high |
| 不少开源或商用时序数据库及相关大数据生态 | 部署特征 | 部件众多复杂、体积庞大、软硬件要求高;跨平台部署难度大 | low |
| DolphinDB | 实现语言 | 用GNU C++开发 | high |
| DolphinDB | 系统大小 | 仅20余兆 | high |
| DolphinDB | 依赖性 | 无任何依赖 | high |
| DolphinDB | 部署适用性 | 可以部署在上述任何平台上(文中所述工控机/服务器/边缘/本地/云、Linux/Windows等) | medium |
| DolphinDB | 对集成商成本影响 | 大大节约系统集成商的开发和维护成本 | low |
| DolphinDB | 自主研发范围 | 从分布式文件系统与存储引擎、数据库和核心类库、分布式计算引擎、脚本语言、各编程语言接口,到GUI与集群管理工具均为百分百自主研发,无外部依赖 | medium |
| DolphinDB | 支持指令体系 | 支持x86和arm | high |
| DolphinDB | 指令体系适配 | 在适配MIPS指令体系,以支持龙芯等国产CPU | high |
| 工业物联网平台 | 可实现目标 | 可实现软硬件同时自主可控(在支持/适配国产指令体系与CPU语境下) | medium |
| 工业物联网数据 | 数据特征 | 维度高、频率高、设备数量多、数据量大,且为高时间精度数据 | high |
| 制造业MES系统(大部分采用关系型数据库) | 工艺数据保存能力 | 往往只能保存极短时间内的工艺数据,无法保留全量高精度数据 | low |
| DolphinDB database | 存储模型 | 采用列式存储 | high |
| DolphinDB database | 数据压缩 | 支持数据压缩(压缩率在20%左右) | medium |
| DolphinDB database | 时间序列精度上限 | 最高支持纳秒精度的时间序列数据处理 | high |
| DolphinDB database | 单表分区能力 | 单表支持百万级别分区 | high |
| DolphinDB集群 | 扩展方式 | 可通过增加节点水平扩展存储能力和计算能力 | high |
| DolphinDB集群 | 副本与事务支持 | 支持多副本分布式存储和分布式事务 | high |
| DolphinDB集群 | 故障恢复机制 | 当一个副本数据错误或丢失时启用另一个副本恢复 | high |
| DolphinDB集群 | 一致性与可用性保证 | 保证数据的高可用和强一致 | medium |
| 企业利用历史数据 | 可用于 | 预测性维护、工艺流程改进、产品质量提升、制造计划优化等 | high |
| 关系型数据库(Oracle、SQL Server) vs DolphinDB | 同样硬件下可支持时序数据量级对比 | 关系型数据库可支持亿级时序数据;DolphinDB可支持万亿级时序数据 | medium |
| DolphinDB流计算引擎 | 实时处理能力 | 可对实时采集数据进行清洗、实时统计、即时入库,并可视化实时展示 | high |
| DolphinDB | 流表对偶性 | 发布一条消息相当于往流数据表中增加一条数据 | high |
| DolphinDB | 流数据操作便利性 | 可以直接使用SQL注入和查询分析流数据,极为方便 | medium |
| DolphinDB流计算引擎 | 模式 | 基于发布-订阅-消费模式 | high |
| DolphinDB流数据表/订阅 | 订阅与消费方式 | 通过流数据表发布数据;其他数据节点或第三方应用通过DolphinDB脚本或API订阅消费流数据;计算结果可实时反馈给机器或操作员 | high |
| DolphinDB流计算教程 | 参考链接 | DolphinDB流数据教程:https://zhuanlan.zhihu.com/p/50702106;DolphinDB流数据聚合引擎教程:https://zhuanlan.zhihu.com/p/46908397 | high |
| DolphinDB | 计算功能丰富性 | 市场上的时序数据库中最丰富(主张) | low |
| DolphinDB | 内置脚本语言用途 | 可直接在数据库中进行复杂计算和交互分析,避免数据迁移 | high |
| DolphinDB | 计算性能对比 | 大部分计算功能和函数经过优化,性能远远超过其他数据库中的相同功能 | low |
| DolphinDB | 范围查询表示法 | 使用pair形式表示范围;示例:select * from table where date between beginDate:endDate | high |
| DolphinDB | 多维查询能力 | 可针对不同列聚合,实现高维或低维的范围查询;示例包含where过滤与group by | high |
| DolphinDB | 抽样查询机制 | 提供以分区为单位的抽样查询,可按比例或数量抽样;示例:sample(equipmentId, 0.1)与sample(equipmentId, 10) | high |
| DolphinDB | 时间精度能力 | 时间精度达到纳秒;支持高精度数据聚合转换成低精度数据存储 | high |
| DolphinDB | 时间精度分组抽样示例 | 按分钟分组:select avg(tint) ... group by minute(timestamp) | high |
| DolphinDB | 自定义精度分组示例 | 每5秒分组:select avg(tint) ... group by bar(timestamp,5000) | high |
| DolphinDB | 插值查询能力 | 提供4种插值方式:bfill/ffill、lfill、nullFill;并可通过脚本或C++插件扩充插值函数 | high |
| DolphinDB | 支持的聚合函数(列表) | atImax, atImin, avg, beta, contextCount, contextSum, contextSum2, count, corr, covar, derivative, difference, first, imax, last, lastNot, max, maxPositiveStreak, mean, med, min, mode, percentile, rank, stat, std, sum, sum2, var, wavg, wsum, zscore | high |
| DolphinDB | 面板数据分组能力 | 提供context by与滑动统计函数以为每个分组的每一行生成值 | high |
| DolphinDB | 支持的滑动统计函数(列表) | deltas, mavg, mbeta, mcorr, mcount, mcovar, mimax, mimin, mmax, mmed, mmin, mpercentile, mrank, mstd, msum, mvar, ratios | high |
| DolphinDB | 滑动统计示例 | 计算每台设备过去10个采集点的移动平均温度:select equipmentId, mavg(temperature,10) as mavg_temperature context by equipmentId | high |
| DolphinDB | 滑动统计优化方式 | 对部分滑动统计函数优化,每次计算利用上一个窗口结果以降低重复计算 | medium |
| DolphinDB | 对比查询/数据透视能力 | pivot by用于数据透视与同一时间不同列指标对比;示例以timestamp.minute()与equipmentId透视计算avg(temperature) | high |
| DolphinDB | 关联查询种类 | 支持等值连接、完全连接、交叉连接、左连接、asof join和窗口连接(window join) | high |
| asof join(DolphinDB) | 时间字段不完全对应时的匹配规则 | 若左表时间为t,自动选择右表中不超过t的最近时间 | high |
| 窗口连接 window join(DolphinDB) | 窗口选择规则与计算 | 窗口为w1:w2时,在右表选择(t+w1)到(t+w2)之间的数据,并对这些数据使用聚合函数;示例包含aj与wj调用 | high |
| DolphinDB | 分布式计算框架 | 提供map-reduce与iterative map-reduce;用户指定数据源、map、reduce与final函数,无需编译部署,可在线使用 | high |
| DolphinDB | 内置算法(拟合与分类) | 线性回归、广义线性模型(GLM)、随机森林(Random Forest)、逻辑回归等 | high |
| DolphinDB | 机器学习算法规划 | 后续将会推出更多机器学习算法 | low |
| DolphinDB | 扩展系统功能方式 | 脚本语言自定义函数扩展;支持C++开发插件扩展 | high |
| DolphinDB | 提供的API语言/系统 | C++、C#、Java、Python、R、JS、Excel等API,便于与其它系统集成 | high |
| 工业企业 | 利润率状况 | 利润率不高(背景陈述) | low |
| 数据平台成本过高 | 对工业物联网发展的影响 | 会严重限制工业物联网的发展 | low |
| DolphinDB | 成本价值主张 | 一站式解决方案、跨平台部署、实时与海量历史数据处理能力、丰富计算与扩展能力可极大降低综合拥有成本 | low |
| DolphinDB | 官网链接 | http://www.dolphindb.cn/ | high |
| DolphinDB | 咨询邮箱 | info@dolphindb.com | high |