随着物联网领域智能设备的不断普及，边缘侧数据量呈指数式增长。以工业巡检机器人为例，一台机器人每秒都会上报温度、湿度、位置、告警状态、轨迹等大量字段，单日数据量可达数十万行。若企业仍然依靠批量回传或异步上传的方式，云端难以及时掌握设备状态，更不用说实现预测性维护、实时调度或跨设备分析。而且，带宽受限、云端资源昂贵、边端环境复杂等现实条件，也为企业的数据上云带来了不小的挑战。
在这样的背景下，DolphinDB 作为一款高性能分布式时序数据库与实时计算平台，推出了“毫秒级上云+智能压缩”的解决方案，成为云边数据同步场景下的理想选择。
DolphinDB 云边同步方案
这一方案构建在 DolphinDB 高性能流处理架构之上。相比传统的批处理模式，流处理能够在数据抵达的瞬间完成计算与分发，遵循时间序列进行逐条或逐批次的增量式处理，大幅缩短数据从产生到可用之间的延迟。
为了支撑这套架构，DolphinDB 引入了“流数据表”（简称流表）这一核心概念。流表结合发布/订阅（Pub/Sub）模型，通过内置的消息队列实现数据的高速转发。当新的记录写入发布端时，系统会立即将数据推送到队列中，并由发布线程分发给各个订阅端，确保数据的实时传递。
DolphinDB 实时同步方案正是基于这些特性构建，提供本地订阅和远端订阅两种方式。其中本地订阅可以在边端直接接收并处理流表数据。而在边端与云端之间的数据与指令传递，则由 DolphinDB 内置的 remoteRun 函数完成。通过 remoteRun，边端不仅能够将数据发送至云端，还可以将需要云端执行的处理逻辑一并传递，使云端能够即时执行相应操作。为了在不同网络和设备条件下最大化传输效率，remoteRun 支持 lz4 与 zstd 两种压缩方式。前者压缩比低，但在云端解压快，适合中小规模的高频传输；后者压缩比高，适合进行大数据同步。
借助流表的实时推送机制与remoteRun 的远程执行能力，这一方案能够在占用较少内存及网络资源的情况下完成数据同步。数据压缩、数据传输以及云端处理方案都能在边端完成，实现云端轻负载。
云边实时数据汇聚架构模型
机器人巡检实例演示
接下来，我们以场区机器人巡检数据的云边同步场景为例，通过模拟多种数据量情况，展示 DolphinDB 云边同步功能与性能。
本例模拟的数据为 100 个机器人 30 天的活动数据，共 14,400,000 条，大小为 3.3G。在测试中，模拟数据以不同规模持续写入，由边端实时同步至云端，全面评估不同数据量条件下 DolphinDB 的传输性能。为了优化数据的存储和查询性能，在接收端建立的分布式表采用分区存储方案。考虑到 DolphinDB 的最佳性能要求和数据存储的扩展性，我们将数据按日期进行分区以提升效率。
针对本数据集的建模，我们按 detect_time 进行日期值分区，其中 detect_time 列按日期的值分为 30 个区。为进一步提升查询性能，我们将机器人设备 ID 设置为排序列。具体建模方案如下：
性能评估
本例中，我们使用两台服务器：一台模拟云设备，用来接收同步数据；一台模拟边缘设备，用来生成需要同步的数据。硬件资源配置如下：
云端设备配置信息如下：
为模拟边端设备资源受限的情况，边端设备配置为 4C8G，具体信息如下：
接着，对 DolphinDB 在不同数据量下的同步性能、内存、CPU 及网络带宽的消耗情况进行测试。此外，本次测试还涵盖了使用 remoteRun 函数时，不同压缩方式（ zstd 和 lz4）下的资源消耗和传输效率，以确定不同条件下的最优方案。
测试结果如下：
注：上表中的资源使用记录均为峰值
从测试结果可以看到，DolphinDB 可以在较大数据量的情况下实现高效同步，耗时较传统方案缩短了 41%。同时，DolphinDB 还能保持较低的内存和 CPU 资源消耗，有效节约云端资源。
在传输方式上，带压缩传输的效率和同步速度都高于未压缩的情况。在小数据量（4800 条数据）情况下，lz4 和 zstd 的传输效率和资源消耗基本相同。数据量越大，zstd 的优势越明显。
从边端流式处理到远端执行，从数据压缩传输到实时入库分析，DolphinDB 将数据流动的每个环节整合为一个高效闭环，让企业无需在性能、成本与复杂性之间反复权衡。数据不再需要等待，而是可以快速实现云边同步，助力企业决策。
如果您对 DolphinDB 云边协同方案感兴趣，或想了解 DolphinDB 在物联网领域的更多实际案例与前沿应用，欢迎关注我们，第一时间了解最新动态与技术干货！