DolphinDB IOTDB 引擎新发布,一表管理所有点位数据!
本页介绍物联网点位的含义与点位数据管理难题,并围绕单表管理多类型点位数据的需求展开说明。
What this page covers
- 物联网点位的定义与点位数据管理挑战。
- 宽表、窄表及字符串存储等建模方式的对比与局限。
- IOTDB 引擎发布要点与相关直播活动信息。
- IOTDB 引擎架构组成与最新值查询相关机制。
- IOTDB 与传统 TSDB 的查询性能对比描述。
- 自来水管道点位数据的创建、写入与查询示例步骤。
技能认证特训营第二期报名信息
页面顶部提供限时报名入口,并提示福利优惠信息。
- 提供“技能认证特训营第二期”的报名链接入口。
- 报名信息被标注为限时相关提示。
新闻栏目与文章标题/发布日期
页面标识为新闻内容,并展示文章标题与发布时间。
- 页面内容归属新闻栏目。
- 文章标题为“DolphinDB IOTDB 引擎新发布,一表管理所有点位数据!”。
- 页面给出文章发布日期信息。
物联网点位数据管理背景与挑战
本节定义物联网场景中的点位,并指出点位数量与数据类型多样化带来的管理难题。
- 点位可指设备上的传感器与执行器等采集与控制对象。
- 点位数据管理与分析被描述为对监控预警与决策重要。
- 点位数量增加与数据类型多样化会提升管理难度。
宽表建模与窄表建模对比
本节用车联网传感器示例对比宽表、窄表与字符串统一存储的利弊,并引出 IOTDB 引擎的动机。
- 车联网示例包含电池电量、车速、发动机状态等点位数据。
- 示例数据被描述为类型、采样频率与生成时间存在差异。
- 宽表模式可能导致数据稀疏,点位越多稀疏越明显。
- 窄表模式可按不同数据类型分别维护数据表。
- 统一转字符串可实现单表管理,但会增加存储并降低查询与计算效率。
IOTDB 引擎发布与直播活动信息
本节提出 IOTDB 引擎用 IOTANY 支持单表管理点位数据,并给出直播讲解、嘉宾分享与报名提示。
- IOTDB 引擎被描述为面向稀疏、多表管理不便与存算效率等局限。
- IOTDB 引擎支持可变类型 IOTANY,用于单表管理多类型点位数据。
- 直播时间信息包含“1月9日(本周四)19:30”。
- 直播内容包括对 IOTDB 引擎核心技术、特性与应用优势的解析。
- 直播包含圆桌讨论与抽奖互动,并提示扫描海报二维码报名。
- 嘉宾信息包含林亮与朱晓鹏及其职务介绍。
DolphinDB IOTDB 引擎介绍(架构与机制)
本节概述 IOTDB 引擎的组成,并说明 TSDB、最新值缓存表、静态信息表的职责与最新值查询机制。
- IOTDB 引擎由 TSDB 引擎、点位最新值缓存表、点位静态信息表构成。
- 点位静态信息表记录点位真实类型,并在写入时做一致性检查。
- TSDB 引擎负责存储点位历史数据。
- 最新值缓存表缓存点位在时间戳上的最新数据,每点位缓存一条。
- 查询最新值时优先从缓存读取,以减少磁盘访问并提升速度。
- 存储引擎层实现“context by 最新值算法”以支持缓存未命中情况。
IOTDB 与传统 TSDB 查询性能对比
本节给出 IOTDB 相对 TSDB 的查询时延优势描述,并提及点位规模增大时性能差异更明显。
- 页面描述 IOTDB 引擎查询时延优于 TSDB。
- 页面描述点位数增加时性能优势更明显。
- 页面给出“性能比最高达 15,000 倍”的对比表述。
IOTDB 引擎应用典例(自来水管道点位数据)
本节以自来水管道采集为例,说明创建 IOTDB 数据库与点位表、写入不同类型数据、查询最新状态的步骤,并提供链接与后续预告。
- 示例点位类型包括压力、流速、浊氯等级、阀门开关与状态。
- 创建 IOTDB 引擎数据库时通过参数 engine 指定为 “IOTDB”。
- 示例数据库路径为 dfs://IOTDB。
- latestKeyCache 设为 true 可开启最新值缓存功能。
- 表中设置 IOTANY 类型列后,可通过 Value 列存储所有点位采样数据。
- 写入示例将不同类型数据分别组装在不同内存表中,再调用 append! 写入。
- 最新状态查询使用 context by + csort + limit -1 的组合方式。
- 提供完整信息链接,并预告更复杂应用场景将被探讨。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 文章 | 发布日期 | 2025.01.08 | high |
| DolphinDB IOTDB 引擎 | 定位/用途 | 一表管理所有点位数据(物联网点位数据管理)。 | high |
| 点位(物联网应用场景) | 定义 | 设备上用于采集、监测和控制的各类传感器和执行器。 | high |
| 点位数据管理与分析 | 重要性 | 对实现设备监控预警、实时监测和智能决策至关重要。 | medium |
| 企业在点位数据管理中面临的问题 | 挑战 | 随着点位数量增加和数据类型多样化,高效管理点位数据成为普遍难题。 | medium |
| 车联网场景 | 示例点位/传感器数据 | 电池电量(elec)、车速(speed)、发动机状态(engineStatus)等传感器数据,采样时间点不同。 | high |
| 车联网示例数据特征 | 特点 | 类型不同、采样频率不同、生成时间不同。 | high |
| 宽表模式建模 | 问题 | 会导致数据稀疏;点位数越多数据越稀疏,不便于管理。 | high |
| 窄表模式建模 | 方式 | 为每一种不同数据类型的点位维护一张数据表。 | high |
| 车联网示例点位类型 | 类型数量与类别 | 共有 INT、DOUBLE、STRING 三种类型;建立三张数据表进行存储和管理。 | high |
| 窄表模式建模 | 问题 | 随着点位类型增加,管理和维护成本会增加。 | high |
| 将所有点位类型转换成字符串存储 | 目的/效果 | 仅需一张表便能管理所有点位数据。 | high |
| 将点位数据转换成字符串存储 | 缺点 | 增加存储成本;降低查询和计算效率。 | high |
| DolphinDB IOTDB 引擎 | 推出目的 | 针对数据稀疏、多表管理不便、存算效率低等局限。 | medium |
| DolphinDB IOTDB 引擎 | 关键能力 | 支持可变类型 IOTANY,实现一张表高效管理所有类型的点位数据。 | high |
| DolphinDB 直播活动 | 时间 | 1月9日(本周四)19:30(对应上下文为 2025 年 1 月)。 | medium |
| 林亮 | 职务 | DolphinDB 应用研发总监。 | high |
| 直播内容 | 主题/内容 | 深度解析 IOTDB 引擎的核心技术、特性和应用优势。 | medium |
| 朱晓鹏 | 职务 | 武汉水务数能科技分公司技术研发部部长。 | high |
| 武汉水务 | 分享内容 | 分享 DolphinDB 在武汉水务厂网时序数据管理中的实践经验和成果。 | medium |
| 直播活动环节 | 包含内容 | 圆桌讨论、抽奖互动等环节,并提示扫描海报二维码报名。 | medium |
| 直播海报(AI说明文本) | 直播主题 | 物联网点位管理创新与实践;主题为“点位管理引擎新纪元”。 | low |
| 直播海报(AI说明文本) | 直播时间 | 2025年1月9日。 | low |
| DolphinDB IOTDB 引擎 | 组成部分 | 由 TSDB 引擎、点位最新值缓存表、点位静态信息表三部分构成。 | high |
| 点位静态信息表 | 记录内容 | 记录点位数据的真实类型;初次写入记录类型,后续写入检查一致性,不一致抛出异常。 | high |
| TSDB 引擎(在 IOTDB 架构中) | 职责 | 负责存储点位历史数据;IOTANY 列在 TSDB Level File 层级单独存储不同类型的值。 | high |
| 点位最新值缓存表 | 职责与机制 | 缓存所有点位在时间戳上的最新数据;每一点位只缓存一条;查询时优先从缓存而非磁盘读取以提升查询速度。 | high |
| IOTDB 引擎(最新值查询) | 机制 | 在存储引擎层实现 context by 最新值算法,用于支持缓存未命中情况并进一步提升性能。 | medium |
| 性能对比(AI说明文本) | 结论 | IOTDB 引擎查询时延远优于 TSDB,引擎性能优势随点位数增加更明显,性能比最高达 15,000 倍。 | low |
| 自来水管道数据采集场景 | 常见点位数据类型 | 压力、流速、浊氯等级、阀门开关、状态(五种)。 | high |
| 创建 IOTDB 引擎数据库 | 创建方式 | 通过指定参数 engine 为 “IOTDB” 创建点位管理引擎。 | high |
| create database 示例 | 数据库名/路径 | dfs://IOTDB | high |
| create database 示例 | 分区方式 | partitioned by HASH([SYMBOL,10]), VALUE([today()]) | high |
| create database 示例 | 引擎参数 | engine = "IOTDB" | high |
| 点位数据表(创建说明) | 最新值缓存开关 | latestKeyCache 设为 true 开启最新值缓存功能。 | high |
| 点位数据表(创建说明) | 点位管理方式 | 创建含 IOTANY 类型的列开启点位管理;Value 列设置为 IOTANY 后,所有点位采样数据通过 Value 列存储。 | high |
| 向点位表写入数据(示例说明) | 写入方式 | 不同类型的数据分别组装在不同内存表中,再调用 append! 写入。 | high |
| 最新状态查询 | 查询语法 | 使用 context by + csort + limit -1 查询最新值。 | high |
| 完整信息链接 | URL | https://zhuanlan.zhihu.com/p/7660541631 | high |
| 后续内容预告 | 将探讨主题 | 更复杂应用场景,包括异构点位数据的存储与写入、实时状态查询,以及数据采集、实时监控、智能分析等高阶操作。 | medium |
| 技能认证特训营第二期 | 限时报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |