计算前移、数据减负、高效分析——DolphinDB 云边协同解决方案
本页提供文章标题信息,并给出作者/标识与发布日期等页面基本信息。
Source: https://dolphindb.cn/blogs/277
What this page covers
- 工业物联网高频数据在纯云端处理中的挑战与限制。
- 边缘计算的理念、价值与落地约束。
- DolphinDB 云边协同方案的架构与能力概述。
- 电力设备振动监控与故障诊断的案例说明。
- 轻量化验证示例:降采样、异常检测与异常录波的步骤化展示。
- 页面顶部的活动报名提示与报名链接信息。
技能认证特训营第二期报名提示 navigation
页面顶部包含活动报名提示信息,并提供限时报名链接。
- 本页包含“技能认证特训营第二期”的报名提示。
- 本页提供该活动的报名链接入口。
计算前移、数据减负、高效分析——DolphinDB 云边协同解决方案 hero
页面展示文章标题,并给出作者/标识与发布日期信息。
- 文章标题为“计算前移、数据减负、高效分析——DolphinDB 云边协同解决方案”。
- 页面包含署名/标识信息。
- 页面包含发布日期信息。
工业物联网高频数据云端处理的挑战 definition
工业现场产生海量高频数据时,纯云端上传与分析会在时延、带宽与合规约束下暴露问题。
- 高频数据难以全部上传到云端。
- 数据上传后可能出现计算不及时的问题。
- 网络抖动会导致时延不可控。
- 安全生产、隐私与封闭网络等因素可能导致数据无法离开本地。
边缘计算兴起及落地短板 definition
本节说明边缘计算将算力前移以提升实时性与可靠性,同时指出边缘算力受限、低时延要求与云边同步带来的挑战。
- 边缘计算将部分计算能力从云端前移至现场。
- 边缘计算强调在数据产生地进行处理、分析与判断。
- 边缘设备计算资源有限,CPU与存储能力可能不如服务器。
- 工业场景可能需要秒级甚至毫秒级的响应速度。
- 边缘计算被描述为缓解云端压力,而非替代云。
- 云边协同需要将边缘处理结果同步汇总到云端分析,并保障实时性与准确性。
DolphinDB 云边协同方案 product_overview
本节介绍 DolphinDB 的云边协同解决方案,包括边缘部署的实时处理、向云端同步结果以及高可用保障能力。
- 该方案被描述为可在边缘环境运行,并提供实时计算能力且与云端协作。
- 方案包含在边缘设备上部署 DolphinDB,并接入传感器产生的高频数据流。
- 边缘端依托流表机制,在数据到达时进行实时处理。
- 边缘端处理内容包括原始数据减量落盘、异常数据录波与指标计算。
- 云端同步方式包括远程调用、定时同步与数据订阅等。
- 该方案描述了高可用能力:节点故障自动切换、数据冗余备份与事务一致性保障。
电力设备振动监控与故障诊断实例 case_study
本节以电力行业边缘 SCADA 场景为例,描述 ARM 工控机的采样频率范围、部署方式,以及边端实时处理与云端协作方式。
- 该实例目标包括在工控机中内置振动监控与故障诊断功能。
- 实例边缘设备为 ARM 工控机。
- 实例采样频率范围为 8KHZ~50KHZ。
- DolphinDB 安装在主变振动监测与故障预警设备内进行边端实时流处理。
- 边端处理结果上传至服务器以实现云边一体。
边缘端数据降采样及异常录波展示 how_it_works
本节提供轻量化验证示例,围绕高频数据降采样与异常录波目标,按步骤创建库表、流表、引擎、订阅,并进行结果验证与展示。
- 示例目标包括对高频数据进行降采样处理。
- 示例目标包括在异常出现时自动完成前后波形录制。
- Step 1 创建 4 个分布式表。
- warnDB 用于存储异常记录。
- alterWaveDB 用于存储异常波形。
- Step 2 创建 5 个流表。
- wave 流表用于接收 python 解析后的振动数据。
- 降采样的时间窗口与步长均为 5 分钟。
- down_sampling 订阅 wave 流表并注入时间序列引擎进行降采样。
- 异常检测规则示例:峰值超过 90 或低于 -90 触发告警。
- 异常录波通过将告警表 warn 与原始数据表 wave 进行关联。
- 异常录波窗口为触发点前后各 1000 毫秒。
- 结果验证脚本模拟 4 通道、256 测点数据实时写入。
- 模拟数据完全随机,计算结果可能存在差异。
总结与关注引导 cta
本节总结边缘端实时处理与云端全局分析的组合价值,并引导关注以获取更多物联网案例与应用动态。
- 总结提到边缘端可实时完成降采样、峰值计算、异常检测与录波等操作。
- 总结提到通过远程调用、定时同步、数据订阅等方式上传核心结果至云端。
- 页面引导对云边协同方案与物联网案例感兴趣的读者继续关注。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | 报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 文章 | 发布日期 | 2025-12-03 | high |
| DolphinDB | 页面署名/标识 | DolphinDB dingyi | medium |
| 工业物联网数据处理(云端模式) | 限制/问题 | 高频数据难以全部上传;上传后计算不及时;网络抖动导致时延不可控;工业现场存在安全生产/隐私/封闭网络导致数据无法离开本地 | medium |
| 边缘计算 | 核心理念 | 将部分计算能力从云端前移至现场,让数据在产生地被处理、分析和判断,以提升实时性与可靠性 | medium |
| 边缘设备 | 资源限制 | 边缘设备计算资源有限,部分工控机采用ARM处理器,CPU性能与存储容量不如服务器 | high |
| 传感器采样频率(示例范围) | 频率范围 | 8kHz、20kHz、50kHz(持续产生多通道数据) | high |
| 工业场景响应速度 | 时延要求 | 秒级甚至毫秒级响应速度 | high |
| 传统脚本处理方式 | 适配性 | 在高响应速度要求下往往无法满足,处理稍慢会错过异常瞬间 | medium |
| 边缘计算与云的关系 | 定位 | 边缘计算不是替代云,而是缓解云端在物联网时代的数据处理压力,让云边协同更高效 | medium |
| 云边协同数据同步 | 同步要求 | 边缘设备本地处理后需将结果同步汇总到云端分析,需保障实时性和准确性 | high |
| DolphinDB 云边协同解决方案 | 推出背景/目的 | 在边缘环境可运行、提供强大实时计算能力,并与云端良好协作以满足企业需求 | medium |
| DolphinDB 云边协同解决方案 | 部署位置 | 将DolphinDB部署在边缘设备上,直接接入传感器产生的高频数据流 | high |
| DolphinDB(边缘端) | 机制/能力 | 依托流表机制,数据抵达边缘端瞬间进行实时处理 | high |
| DolphinDB(边缘端实时处理) | 处理内容 | 原始数据减量落盘、异常数据录波、指标计算等 | high |
| DolphinDB 流式计算能力 | 效果 | 避免边缘设备处理全量数据的资源瓶颈,并确保告警与分析的实时性 | medium |
| DolphinDB(云端同步) | 同步方式 | 远程调用、定时同步、数据订阅等多种方式将关键结果稳定同步至云端 | high |
| DolphinDB(高可用架构) | 能力 | 支持节点故障自动切换、数据冗余备份和事务一致性保障 | high |
| DolphinDB(云边协同可靠性) | 效果 | 即使本地节点异常或网络波动,数据依然能够安全同步,实现云边协同 | medium |
| 电力设备振动监控与故障诊断实例 | 目标 | 在工控机中内置振动监控与故障诊断功能,助力搭建边缘端SCADA系统 | high |
| 实例边缘设备 | 硬件与采样能力 | ARM工控机;采样频率可达8KHZ~50KHZ | high |
| 实例部署方式 | 部署描述 | 将DolphinDB安装在主变震动监测和故障预警设备(边端设备)内,边端实时流处理并将结果上传至服务器,实现云边一体 | high |
| DolphinDB(该实例) | 解决的问题/功能点 | 流计算引擎用于解决边端硬盘空间小和全量数据计算问题 | high |
| DolphinDB(该实例) | 功能点 | 流数据引擎实现减量落盘+波形录制 | high |
| DolphinDB Signal 插件 | 用途 | 实现波形计算和傅里叶变换 | high |
| DolphinDB 编程与计算 | 性能手段 | 通过向量化编程、Array Vector计算提高数据处理效率 | high |
| DolphinDB(该实例) | 数据运维能力 | 数据备份、数据迁移 | medium |
| Grafana | 用途 | 可视化展示,并实现反控 | medium |
| 轻量化验证示例 | 聚焦功能 | 对高频数据进行降采样处理;出现异常时自动完成前后波形录制 | high |
| 分布式表(Step 1) | 数量 | 4个分布式表 | high |
| warnDB | 用途 | 存储异常记录 | high |
| waveDB | 用途 | 存储波形峰值趋势 | high |
| alterWaveDB | 用途 | 存储异常波形 | high |
| waveDB5M | 用途 | 存储降采样后的原始数据 | high |
| 流表(Step 2) | 数量 | 5个流表 | high |
| wave(流表) | 用途 | 接收python解析后的振动数据 | high |
| wave5M(流表) | 用途 | 转存降采样后的原始数据 | high |
| stwave(流表) | 用途 | 存储波形峰值 | high |
| warn(流表) | 用途 | 存储异常记录 | high |
| windowOutput1(流表) | 用途 | 存储异常波形数据 | high |
| 时间序列引擎(降采样) | 窗口与步长 | 时间窗口与步长均为5分钟;每五分钟聚合一次并返回最后一条记录存储到wave5M表 | high |
| 订阅(降采样流程) | down_sampling订阅 | 订阅wave流表并注入时间序列引擎中进行降采样 | high |
| 订阅(落库流程) | save5mToDFS订阅 | 订阅wave5M流表,将降采样后数据存入分布式库表 | high |
| 时序引擎(峰值趋势) | 计算内容 | 计算每秒波形峰值 | high |
| 时序引擎示例(tsAggr1) | 窗口与步长 | 设置1秒的时间窗口与步长;订阅wave将数据注入引擎;将最大值和最小值写入stwave并持久化到分布式数据库 | medium |
| 异常检测引擎 | 检测规则 | 波形峰值超过90或低于-90触发告警 | medium |
| 异常检测引擎 | 数据流转 | 订阅峰值表实时监测;触发告警后推送到warn流表,并通过订阅自动存入warnDB | medium |
| Window Join引擎(异常录波) | 关联对象 | 将告警表warn与原始数据表wave进行关联 | medium |
| 异常录波窗口 | 时间窗口 | 异常触发点前后各1000毫秒 | medium |
| 异常录波结果存储 | 存储位置 | 提取的异常波形数据保存到alterWaveDB分布式库 | medium |
| 结果验证脚本(Step 4) | 模拟数据规模与通道 | 模拟4通道、256测点数据实时写入 | medium |
| 结果验证脚本(Step 4) | 采样频率 | 50HZ | high |
| 模拟数据说明 | 随机性影响 | 模拟生成的数据完全随机,计算结果可能存在差异 | high |
| 峰值趋势表 | 保留内容 | 每秒保留该通道的最大值与最小值 | high |
| 异常告警表输出 | 包含字段/示例判定 | 包含触发告警时间戳、数据源ID、异常类型type与判定metric(如max_wave > 90或min_wave < -90) | medium |
| 异常波形记录表 | 记录内容 | 记录异常基准时间、数据源、最大/最小波值出现的精确时间点(max_wave_datatime与min_wave_datatime)并支持记录异常前后一秒完整波形数据 | medium |
| 边缘端部署DolphinDB(总结) | 能力覆盖 | 在边缘端实时完成降采样、峰值计算、异常检测与录波等操作 | medium |
| 云边协同上传机制(总结) | 手段 | 依托远程调用、定时同步、数据订阅等方式将核心结果及时上传至云端 | medium |
| 云边协同(总结) | 满足需求 | 兼顾本地实时判断与云端全局分析的双重需求 | low |
| DolphinDB 云边协同方案适用性 | 扩展到其他场景 | 除电力设备振动监测外,可适配更广泛的工业物联网场景,让数据在现场释放价值并与云端形成紧密协同 | low |
| 目标读者/潜在用户 | 兴趣指向 | 对DolphinDB云边协同方案、物联网领域实际案例与前沿应用感兴趣的读者 | medium |