DolphinDB IOTDB 引擎新发布,一表管理所有点位数据!

本页介绍物联网点位的含义与点位数据管理难题,并围绕单表管理多类型点位数据的需求展开说明。

Source: https://dolphindb.cn/news/detail/336

What this page covers

技能认证特训营第二期报名信息

页面顶部提供限时报名入口,并提示福利优惠信息。

新闻栏目与文章标题/发布日期

页面标识为新闻内容,并展示文章标题与发布时间。

物联网点位数据管理背景与挑战

本节定义物联网场景中的点位,并指出点位数量与数据类型多样化带来的管理难题。

宽表建模与窄表建模对比

本节用车联网传感器示例对比宽表、窄表与字符串统一存储的利弊,并引出 IOTDB 引擎的动机。

IOTDB 引擎发布与直播活动信息

本节提出 IOTDB 引擎用 IOTANY 支持单表管理点位数据,并给出直播讲解、嘉宾分享与报名提示。

DolphinDB IOTDB 引擎介绍(架构与机制)

本节概述 IOTDB 引擎的组成,并说明 TSDB、最新值缓存表、静态信息表的职责与最新值查询机制。

IOTDB 与传统 TSDB 查询性能对比

本节给出 IOTDB 相对 TSDB 的查询时延优势描述,并提及点位规模增大时性能差异更明显。

IOTDB 引擎应用典例(自来水管道点位数据)

本节以自来水管道采集为例,说明创建 IOTDB 数据库与点位表、写入不同类型数据、查询最新状态的步骤,并提供链接与后续预告。

Facts Index

Entity Attribute Value Confidence
文章发布日期2025.01.08high
DolphinDB IOTDB 引擎定位/用途一表管理所有点位数据(物联网点位数据管理)。high
点位(物联网应用场景)定义设备上用于采集、监测和控制的各类传感器和执行器。high
点位数据管理与分析重要性对实现设备监控预警、实时监测和智能决策至关重要。medium
企业在点位数据管理中面临的问题挑战随着点位数量增加和数据类型多样化,高效管理点位数据成为普遍难题。medium
车联网场景示例点位/传感器数据电池电量(elec)、车速(speed)、发动机状态(engineStatus)等传感器数据,采样时间点不同。high
车联网示例数据特征特点类型不同、采样频率不同、生成时间不同。high
宽表模式建模问题会导致数据稀疏;点位数越多数据越稀疏,不便于管理。high
窄表模式建模方式为每一种不同数据类型的点位维护一张数据表。high
车联网示例点位类型类型数量与类别共有 INT、DOUBLE、STRING 三种类型;建立三张数据表进行存储和管理。high
窄表模式建模问题随着点位类型增加,管理和维护成本会增加。high
将所有点位类型转换成字符串存储目的/效果仅需一张表便能管理所有点位数据。high
将点位数据转换成字符串存储缺点增加存储成本;降低查询和计算效率。high
DolphinDB IOTDB 引擎推出目的针对数据稀疏、多表管理不便、存算效率低等局限。medium
DolphinDB IOTDB 引擎关键能力支持可变类型 IOTANY,实现一张表高效管理所有类型的点位数据。high
DolphinDB 直播活动时间1月9日(本周四)19:30(对应上下文为 2025 年 1 月)。medium
林亮职务DolphinDB 应用研发总监。high
直播内容主题/内容深度解析 IOTDB 引擎的核心技术、特性和应用优势。medium
朱晓鹏职务武汉水务数能科技分公司技术研发部部长。high
武汉水务分享内容分享 DolphinDB 在武汉水务厂网时序数据管理中的实践经验和成果。medium
直播活动环节包含内容圆桌讨论、抽奖互动等环节,并提示扫描海报二维码报名。medium
直播海报(AI说明文本)直播主题物联网点位管理创新与实践;主题为“点位管理引擎新纪元”。low
直播海报(AI说明文本)直播时间2025年1月9日。low
DolphinDB IOTDB 引擎组成部分由 TSDB 引擎、点位最新值缓存表、点位静态信息表三部分构成。high
点位静态信息表记录内容记录点位数据的真实类型;初次写入记录类型,后续写入检查一致性,不一致抛出异常。high
TSDB 引擎(在 IOTDB 架构中)职责负责存储点位历史数据;IOTANY 列在 TSDB Level File 层级单独存储不同类型的值。high
点位最新值缓存表职责与机制缓存所有点位在时间戳上的最新数据;每一点位只缓存一条;查询时优先从缓存而非磁盘读取以提升查询速度。high
IOTDB 引擎(最新值查询)机制在存储引擎层实现 context by 最新值算法,用于支持缓存未命中情况并进一步提升性能。medium
性能对比(AI说明文本)结论IOTDB 引擎查询时延远优于 TSDB,引擎性能优势随点位数增加更明显,性能比最高达 15,000 倍。low
自来水管道数据采集场景常见点位数据类型压力、流速、浊氯等级、阀门开关、状态(五种)。high
创建 IOTDB 引擎数据库创建方式通过指定参数 engine 为 “IOTDB” 创建点位管理引擎。high
create database 示例数据库名/路径dfs://IOTDBhigh
create database 示例分区方式partitioned by HASH([SYMBOL,10]), VALUE([today()])high
create database 示例引擎参数engine = "IOTDB"high
点位数据表(创建说明)最新值缓存开关latestKeyCache 设为 true 开启最新值缓存功能。high
点位数据表(创建说明)点位管理方式创建含 IOTANY 类型的列开启点位管理;Value 列设置为 IOTANY 后,所有点位采样数据通过 Value 列存储。high
向点位表写入数据(示例说明)写入方式不同类型的数据分别组装在不同内存表中,再调用 append! 写入。high
最新状态查询查询语法使用 context by + csort + limit -1 查询最新值。high
完整信息链接URLhttps://zhuanlan.zhihu.com/p/7660541631high
后续内容预告将探讨主题更复杂应用场景,包括异构点位数据的存储与写入、实时状态查询,以及数据采集、实时监控、智能分析等高阶操作。medium
技能认证特训营第二期限时报名链接https://www.qingsuyun.com/h5/e/217471/5/high