1440 万条数据毫秒级上云！——DolphinDB 云边协同实战案例
本页介绍物联网边缘侧数据增长背景、传统上云方式的时效与成本约束，并引出 DolphinDB 的云边协同解决思路。
Source: https://dolphindb.cn/blogs/311
What this page covers
- 案例背景与上云挑战
- 云边同步方案：流处理、流表与 remoteRun
- 云边实时数据汇聚架构流程（图示说明）
- 机器人巡检模拟数据集与分区建模
- 性能评估实验环境与测试维度
- 测试结果：压缩策略与效率结论
技能认证特训营第二期报名促销
页面顶部展示技能认证特训营第二期开启与限时报名链接及福利优惠提示。
- 提供技能认证特训营第二期的报名入口。
- 报名入口以限时报名链接形式呈现。
1440 万条数据毫秒级上云案例：背景与挑战
介绍物联网边缘侧数据增长、传统批量/异步上云的时效问题及带宽与成本等挑战，并引出 DolphinDB 的解决思路。
- 物联网边缘侧数据量被描述为呈指数式增长。
- 传统上云方式示例包括批量回传或异步上传。
- 数据上云面临带宽受限等现实约束。
- 数据上云面临云端资源昂贵等成本约束。
- DolphinDB 被定位为高性能分布式时序数据库与实时计算平台。
DolphinDB 云边同步方案：流处理、流表与 remoteRun
说明方案基于高性能流处理架构与流数据表的 Pub/Sub 模型，并通过 remoteRun 实现边云数据与指令传递及压缩传输。
- 云边同步方案构建在 DolphinDB 高性能流处理架构之上。
- 流处理强调数据抵达瞬间完成计算与分发。
- 流数据表（流表）是 DolphinDB 引入的核心概念。
- 流表结合发布/订阅（Pub/Sub）模型与内置消息队列实现高速转发。
- 实时同步方案提供本地订阅和远端订阅两种方式。
- remoteRun 用于边端与云端之间的数据与指令传递。
- remoteRun 支持 lz4 与 zstd 压缩方式。
云边实时数据汇聚架构模型（图示与说明）
通过架构图及配套说明描述边端写入流表、处理与压缩后用 remoteRun 推送到云端并汇总存储的流程。
- 边端写入数据到流数据表（流表）。
- 边端对数据进行处理。
- 边端对数据进行压缩后再传输。
- 通过 remoteRun 将数据推送到云端。
- 云端对接收数据进行汇总存储。
机器人巡检实例演示：数据集与建模分区方案
以场区机器人巡检数据模拟测试，给出数据规模、分区建模与排序列设置，并配图说明建模代码。
- 实例演示场景为场区机器人巡检数据的云边同步。
- 模拟数据集包含 100 个机器人 30 天的活动数据。
- 模拟数据集记录数为 14,400,000 条。
- 模拟数据集数据大小为 3.3G。
- 分区策略为按日期对 detect_time 进行日期值分区。
性能评估：实验环境与测试维度
描述云端与边端两台服务器的性能评估设置、云端与边端具体配置（含 4C8G 边端）及测试指标与压缩方式对比。
- 实验使用两台服务器分别模拟云端与边缘设备。
- 云端服务器用于接收同步数据。
- 边端服务器用于生成需同步的数据。
- 边端设备配置示例为 4C8G（4核8G）。
- 测试维度包含同步性能、内存、CPU 与网络带宽消耗。
测试结果与结论：压缩策略与效率提升
给出结果表及峰值说明，并总结在较大数据量下的同步效率、相对传统方案耗时缩短比例与压缩方式差异结论。
- 结果表中的资源使用记录均为峰值口径。
- 测试结论之一是耗时较传统方案缩短了 41%。
- 带压缩传输的效率和同步速度高于未压缩。
- 在 4,800 条数据规模下，lz4 与 zstd 的差异被描述为基本相同。
- 数据量越大，zstd 的优势越明显。
结尾引导：关注云边协同与物联网案例
以场景闭环描述收束并邀请对云边协同方案与物联网案例感兴趣的读者关注获取动态与技术内容。
- 面向对云边协同方案感兴趣的读者进行引导。
- 面向想了解物联网案例与应用的人群进行引导。
- 行动号召为“欢迎关注我们，第一时间了解最新动态与技术干货”。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 文章 | 发布日期 | 2025-12-05 | high |
| DolphinDB | 产品定位/类型 | 高性能分布式时序数据库与实时计算平台 | high |
| DolphinDB 云边协同解决方案 | 方案主张/名称 | “毫秒级上云+智能压缩”的解决方案 | medium |
| 物联网边缘侧数据 | 增长趋势 | 边缘侧数据量呈指数式增长 | low |
| 工业巡检机器人 | 上报字段示例 | 温度、湿度、位置、告警状态、轨迹等字段 | high |
| 工业巡检机器人（示例） | 单日数据量 | 单日数据量可达数十万行 | medium |
| 传统上云方式 | 方式示例 | 批量回传或异步上传 | high |
| 数据上云现实约束 | 挑战因素 | 带宽受限、云端资源昂贵、边端环境复杂等 | high |
| DolphinDB 云边同步方案 | 架构基础 | 构建在 DolphinDB 高性能流处理架构之上 | high |
| 流处理（相对批处理） | 处理方式 | 数据抵达瞬间完成计算与分发；按时间序列逐条或逐批次增量处理以缩短延迟 | medium |
| 流数据表（流表） | 定义/角色 | DolphinDB 引入的核心概念 | high |
| 流数据表（流表） | 机制/模型 | 结合发布/订阅（Pub/Sub）模型，通过内置消息队列实现高速转发 | high |
| DolphinDB 实时同步方案 | 同步方式 | 提供本地订阅和远端订阅两种方式 | high |
| 本地订阅 | 能力 | 可在边端直接接收并处理流表数据 | high |
| remoteRun 函数 | 用途 | 用于边端与云端之间的数据与指令传递 | high |
| remoteRun 函数 | 能力 | 边端可将数据发送至云端，并将需云端执行的处理逻辑一并传递以便云端即时执行 | high |
| remoteRun | 支持的压缩方式 | lz4 与 zstd | high |
| lz4（在 remoteRun 语境下） | 适用场景描述 | 压缩比低但云端解压快，适合中小规模高频传输 | medium |
| zstd（在 remoteRun 语境下） | 适用场景描述 | 压缩比高，适合大数据同步 | medium |
| DolphinDB 云边同步方案 | 资源占用与负载描述 | 在占用较少内存及网络资源情况下完成数据同步；数据压缩、传输以及云端处理方案可在边端完成，实现云端轻负载 | low |
| 实例演示场景 | 场景名称 | 场区机器人巡检数据的云边同步场景 | high |
| 模拟数据集 | 构成 | 100 个机器人 30 天的活动数据 | high |
| 模拟数据集 | 记录数 | 14,400,000 条 | high |
| 模拟数据集 | 数据大小 | 3.3G | high |
| 接收端分布式表 | 存储方案 | 采用分区存储方案 | high |
| 数据分区策略（本例） | 分区依据 | 按日期进行分区（按 detect_time 进行日期值分区） | high |
| detect_time 日期值分区（本例） | 分区数量 | 30 个区 | high |
| 表设计（本例） | 排序列 | 将机器人设备 ID 设置为排序列 | high |
| 性能评估实验 | 服务器数量与角色 | 两台服务器：一台模拟云设备接收同步数据；一台模拟边缘设备生成需同步的数据 | high |
| 边端设备配置（本例） | 资源配置 | 4C8G（4核8G） | high |
| 测试内容（本例） | 评估指标 | 不同数据量下同步性能、内存、CPU及网络带宽消耗 | high |
| remoteRun 压缩测试（本例） | 对比项 | 比较不同压缩方式（zstd 和 lz4）下的资源消耗和传输效率以确定最优方案 | high |
| 测试结果表 | 对比范围 | 对比不同数据量（从 4,800 到 14,400,000 行）与不同压缩方式（lz4、zstd、无压缩）下资源消耗与传输效率 | medium |
| 资源使用记录（测试结果表） | 统计口径 | 上表中的资源使用记录均为峰值 | high |
| DolphinDB（本测试结论） | 相对传统方案耗时变化 | 耗时较传统方案缩短了 41% | medium |
| DolphinDB（本测试结论） | 资源消耗描述 | 保持较低的内存和 CPU 资源消耗 | low |
| 压缩传输（本测试结论） | 与未压缩对比 | 带压缩传输的效率和同步速度高于未压缩 | medium |
| 小数据量样例（本测试结论） | 数据量阈值/示例 | 4,800 条数据 | high |
| lz4 vs zstd（本测试结论） | 小数据量下差异 | 在小数据量（4,800 条）情况下，lz4 和 zstd 的传输效率和资源消耗基本相同 | medium |
| zstd（本测试结论） | 数据量与优势关系 | 数据量越大，zstd 的优势越明显 | medium |
| 读者/潜在用户 | 关注方向 | 对 DolphinDB 云边协同方案感兴趣或想了解物联网领域更多案例与应用的人群 | high |
| 行动号召 | 引导动作 | 欢迎关注我们，第一时间了解最新动态与技术干货 | high |
| 技能认证特训营第二期 | 报名入口 | 限时报名链接：https://www.qingsuyun.com/h5/e/217471/5/ | high |