1440 万条数据毫秒级上云！——DolphinDB 云边协同实战案例

What this page covers

• 边缘数据上云的挑战与传统上传方式的限制。
• DolphinDB 云边同步方案定位与概述。
• 基于流处理、流表与 Pub/Sub 的同步机制。
• 本地/远端订阅与 remoteRun 及压缩选项。
• 机器人巡检案例的数据规模与建模设计。
• 性能评估的测试环境与资源配置。
• 测试结果表与结论解读（耗时、资源、压缩对比）。

技能认证特训营第二期报名入口提示

页面顶部提供“技能认证特训营第二期”限时报名链接与福利优惠提示。

• 提供“技能认证特训营第二期”的报名入口链接。
• 报名提示包含限时与福利优惠相关信息。

新闻文章标题与发布日期

给出新闻栏目、文章标题以及发布日期信息。

• 文章发布日期为 2025.12.05。
• 页面展示文章标题信息。
• 页面标注新闻栏目或位置线索。

物联网边缘数据上云的痛点与背景

描述边缘侧数据增长、批量回传/异步上传的延迟问题及带宽和成本等限制。

• 企业边缘数据上云面临带宽受限的挑战。
• 云端资源昂贵会增加上云成本压力。
• 边端环境复杂会增加数据上云难度。
• 传统批量回传/异步上传可能导致云端难以及时掌握设备状态。
• 延迟会影响预测性维护、实时调度或跨设备分析的实现。

DolphinDB“毫秒级上云+智能压缩”解决方案概述

介绍 DolphinDB 作为分布式时序数据库与实时计算平台，提出用于云边同步的解决方案定位。

• DolphinDB 定位为高性能分布式时序数据库与实时计算平台。
• 提出云边同步方案，描述为“毫秒级上云+智能压缩”。

DolphinDB 云边同步方案：流处理、流数据表与订阅模式

说明方案基于流处理架构与流数据表（流表），并通过 Pub/Sub 与内置消息队列实现实时转发。

• 云边同步方案构建在 DolphinDB 高性能流处理架构之上。
• DolphinDB 引入“流数据表”（简称流表）。
• 流表结合发布/订阅（Pub/Sub）模型进行数据传递。
• 通过内置消息队列实现数据高速转发。
• 流处理强调数据抵达时的计算与分发，以缩短延迟。

实时同步方式与 remoteRun：本地/远端订阅与压缩选项

给出本地订阅与远端订阅两种方式，并说明 remoteRun 用于边云数据与逻辑传递，支持 lz4 与 zstd 压缩。

• 实时同步方案提供本地订阅与远端订阅两种方式。
• 本地订阅可在边端直接接收并处理流表数据。
• remoteRun 用于边端与云端之间的数据与指令传递。
• 边端可将数据发送至云端，并传递需要云端执行的处理逻辑。
• remoteRun 支持 lz4 与 zstd 两种压缩方式。
• 在 remoteRun 场景下，lz4 被描述为适合中小规模的高频传输。
• 在 remoteRun 场景下，zstd 被描述为适合进行大数据同步。

方案资源占用与云端轻负载诉求

描述通过流表推送与 remoteRun 实现较少内存/网络资源占用、边端完成压缩与方案以实现云端轻负载。

• 方案强调在占用较少内存及网络资源情况下完成数据同步。
• 数据压缩可在边端完成，以降低云端负载。
• 数据传输相关方案可在边端完成，以实现云端轻负载。
• 云端处理方案被描述为也可在边端完成并传递执行。

云边实时数据汇聚架构模型（配图与说明）

配图与图注说明边端数据注入流表后，经 remoteRun 处理与压缩实现毫秒级增量同步到云端。

• 边端数据注入流表后进入同步链路。
• 同步链路包含 remoteRun 相关处理。
• 同步链路包含数据压缩环节。
• 架构说明强调“毫秒级增量同步到云端”。

机器人巡检实例：数据规模与建模分区设计

以场区机器人巡检数据为例，说明模拟数据规模、分区存储与按日期分区及排序列设置等建模方案。

• 演示模拟多种数据量情况，用于展示云边同步功能与性能。
• 模拟数据规模为 100 个机器人 30 天活动数据，共 14,400,000 条，大小 3.3G。
• 接收端分布式表采用分区存储方案。
• 分区按日期进行，以提升效率。
• detect_time 按日期值分区，并按日期的值分为 30 个区。
• 机器人设备 ID 被设置为排序列。

机器人巡检数据建模方案代码图与说明

配图图注说明重建分布式数据库、TSDB 存储引擎、日期值分区及字段/排序列等建模要点。

• 该部分以代码图与图注形式呈现建模要点。
• 图注涉及分布式数据库的重建说明。
• 图注提及 TSDB 存储引擎相关内容。
• 图注涉及日期值分区及字段/排序列设置要点。

性能评估：测试环境与硬件资源配置

说明使用两台服务器分别模拟云端接收与边端生成数据，并给出硬件资源配置表的说明。

• 测试环境使用两台服务器。
• 一台服务器模拟云设备用于接收同步数据。
• 一台服务器模拟边缘设备用于生成同步数据。
• 该部分包含硬件资源配置表/配图与说明。

云端设备软件运行配置（参数说明）

给出云端设备配置配图与图注说明，包括站点标识、内存限制、线程数、连接上限与流处理/持久化等参数。

• 提供云端设备软件运行配置的配图与图注说明。
• 参数说明包含站点标识相关信息。
• 参数说明包含内存限制设置。
• 参数说明包含线程数与连接上限设置。
• 参数说明涉及流处理与持久化相关设置。

边端受限资源配置（4C8G）

说明为模拟资源受限场景，边端配置为 4C8G，并给出配置截图与图注说明。

• 为模拟资源受限场景，边端设备配置为 4C8G。
• 该部分提供配置截图与图注说明。
• 该配置用于支撑后续同步与资源消耗评估。

测试设计：不同数据量与压缩方式对资源与效率的影响

说明测试覆盖不同数据量下的同步性能、内存、CPU、带宽消耗，并比较 zstd 与 lz4 压缩方式。

• 测试在不同数据量下评估同步性能。
• 测试记录内存、CPU 及网络带宽消耗。
• 对比 remoteRun 下 zstd 与 lz4 的资源消耗与传输效率。

测试结果表与结论解读

通过结果表与文字结论说明不同数据量与压缩方式下的同步耗时、吞吐与资源峰值，并给出提升比例等结论。

• 结果表覆盖数据量级范围从 4,800 行至 1,440 万行。
• 结果表对比 lz4、zstd 与无压缩三种方式。
• 表注说明资源使用记录均为峰值。
• 相对传统方案，耗时缩短了 41%。
• 文字结论提到较低的内存与 CPU 资源消耗以节约云端资源。
• 文字结论提到带压缩传输的效率和同步速度高于未压缩。
• 在小数据量场景（4800 条数据），lz4 与 zstd 传输效率和资源消耗基本相同。
• 文字结论提到数据量越大，zstd 的优势越明显。

收束与关注引导

强调端到端闭环与云边同步价值，并邀请关注以获取物联网领域案例与应用动态。

• 强调端到端闭环与云边同步的价值主张。
• 邀请关注以获取物联网领域案例与应用动态。

Facts Index