DolphinDB实现EMQ X的数据接入

What this page covers

• DolphinDB 与 EMQ X 的背景介绍与定位说明。
• DolphinDB 侧的部署、配置与流数据持久化示例。
• EMQ X 规则引擎配置为“保存数据到 DolphinDB”的操作步骤与验证。
• 转载声明与原文来源链接。

技能认证特训营第二期正式开启（限时报名）

页面包含一个限时报名相关的宣传性行动号召，强调报名与权益信息。

• 该部分属于活动报名导向的行动号召内容。
• 该部分强调“限时”与“报名”相关信息。

DolphinDB实现EMQ X的数据接入

文章页头用于标识主题为“DolphinDB 实现 EMQ X 的数据接入”，并给出作者与发布日期等信息。

• 文章主题是“DolphinDB 实现 EMQ X 的数据接入”。
• 文章发布日期为 2021-08-05。
• 页头包含作者与日期等文章元信息。

导语

导语介绍 DolphinDB 与 EMQ X 的定位与能力，并给出一个合作示例：通过 DolphinDB API 实现基于 TCP 的双向数据传输。

• DolphinDB 被描述为高性能分布式时序数据库，融合存储、计算、流计算与编程语言。
• DolphinDB 被描述为面向客户提供轻量级、一站式的大数据解决方案。
• DolphinDB 适用于量化金融及工业物联网等领域。
• DolphinDB 支持 MQTT/OPC/KAFKA 等数据注入方式。
• 合作示例中提到自主开发了面向 DolphinDB 的 API。
• 该 API 可通过 TCP 与 DolphinDB 进行双向数据传输。
• EMQ X 被描述为完全开源、可伸缩且高可用的分布式 MQTT 消息服务器。
• EMQ X 支持 CoAP/LwM2M 一站式 IoT 协议接入。

搭建与配置 DolphinDB

本部分按步骤说明 DolphinDB 侧为 EMQ X 集成所需的准备与配置，包括版本要求、安装、开启流发布订阅、启动服务、建库建表，以及将 StreamTable 数据持久化到 DFS 表的示例脚本。

• EMQ X 到 DolphinDB 的后端适配要求为 DolphinDB 1.20.7 及以上。
• 示例中从官网下载 DolphinDB 社区版 Linux64 安装包。
• 示例中将安装包的 server 目录上传至 /opts/app/dolphindb。
• 需要开启 StreamTable 发布/订阅并创建相关表以实现 EMQ X 消息存储与持久化。
• 示例 streaming 配置包含 maxPubConnections=10。
• 示例 streaming 配置包含 persistenceDir=/ddb/pubdata/。
• 示例 streaming 配置包含 subPort=8000。
• 示例使用命令 nohup ./dolphindb -console 0 & 启动服务。
• 示例中服务启动后监听 8848 端口供客户端连接。
• DolphinDB GUI 客户端依赖 Java 环境。
• 示例在 GUI 目录执行 sh gui.sh 启动客户端。
• 示例创建 DFS 数据库名为 dfs://emqx。
• 示例持久化表名为 msg。
• 示例表字段包含 clientid、topic、qos、payload。
• 示例字段类型为 STRING、STRING、INT、STRING。
• 示例分区按 clientid 与 topic 的 HASH 值进行组合分区。
• 示例 StreamTable 名为 st_msg。
• 示例 StreamTable 容量参数包含 streamTable(10000:0, ...)。
• 示例通过 subscribeTable 将 st_msg 数据持久化到 msg 表（参数包含 true）。
• 本部分提供用户指南、IoT 场景示例、流处理指南与编程手册等文档链接。

配置规则引擎

本部分按步骤说明在 EMQ X 规则引擎中筛选 MQTT Topic，并通过“保存数据到 DolphinDB”动作将消息写入 DolphinDB；同时给出 SQL 模板、资源配置与写入结果验证示例。

• 规则配置示例入口为 http://127.0.0.1:18083/#/rules。
• 示例规则 SQL 为 SELECT * FROM "t/#"。
• 示例动作类型为“保存数据到 DolphinDB（Save data to DolphinDB）”。
• 该动作需要两个参数：SQL 模板与关联资源 ID。
• 示例 SQL 模板为 insert into st_msg values('${clientid}', '${topic}', ${qos}, '${payload}')。
• 提示：直接复制可能带换行符导致插入失败，需确认 SQL 模板为单行。
• 示例资源配置包含用户名 admin 与密码 123456。
• 资源配置需填写 DolphinDB 服务器地址（示例图包含 192.168.1.172:8848）。
• 示例测试消息为 Topic "t/a"、QoS 1、Payload "hello"。
• 验证示例显示：检查持久化表后，新数据添加成功（示例查询到一条记录）。

声明（转载来源）

本页包含转载声明，说明文章转载自 EMQ，并提供原文文档链接来源。

• 声明指出文章转载自 EMQ。
• 声明提供原文链接为 EMQ Docs（规则引擎 backend_dolphindb 页面）。

Facts Index