基于Docker的DolphinDB集群部署教程
本页提供一份基于 Docker 的 DolphinDB 集群部署教程,并包含作者与发布日期信息。
Source: https://dolphindb.cn/blogs/58
What this page covers
- 活动报名提示与限时报名链接。
- 教程标题、作者与发布日期信息。
- Docker 概念与目标集群拓扑概述。
- 网络 IP/端口配置与 UDP 限制相关设置。
- 部署前置条件:安装 docker 与 docker-compose。
- 下载部署包并构建镜像与查看镜像示例。
- license 要求与放置路径说明。
技能认证特训营第二期报名促销
页面顶部提供活动报名提示与限时报名链接。
- 页面展示“技能认证特训营第二期”报名提示。
- 页面提供限时报名链接入口。
基于Docker的DolphinDB集群部署教程
该部分呈现教程标题,并给出作者与发布日期。
- 本页标题为“基于Docker的DolphinDB集群部署教程”。
- 作者署名为 Junxi。
- 文章发布日期为 2021-08-05。
Docker与DolphinDB Docker分布式集群部署包介绍与目标拓扑
该部分介绍 Docker 的概念与 DolphinDB 的 docker 分布式集群部署包,并说明目标环境与拓扑示意。
- Docker 被描述为用于创建轻量级、可移植、自给自足容器的开源引擎。
- DolphinDB database 提供基于 docker 的分布式集群部署包。
- 教程目标是通过 4 个 CentOS 容器搭建 5 节点的多机集群。
- 拓扑示意包含 1 个 controller、3 个 agent、5 个 datanode。
集群网络IP/端口与配置文件(controller/agent/cluster.nodes)及UDP限制说明
该部分说明部署需要配置 controller/agent/datanode 的网络 IP 与端口,并给出固定 IP 与配置示例,以及 UDP 限制下的配置项要求。
- 部署需要分别配置 controller、agent、datanode 的网络 IP 和端口。
- 部署包为 4 个容器在虚拟子网中指定 10.5.0.2 到 10.5.0.5 的固定 IP。
- 配置文件内置 IP 与端口分配信息,用户无需手工逐一指定。
- Docker 虚拟网络环境下,UDP 协议无法正常运作。
- agent.cfg 与 cluster.cfg 需要设置 lanCluster=0(部署包默认添加)。
部署前置:安装docker与docker-compose
该部分说明部署前需搭建 docker 环境,并提供安装教程链接。
- 部署前需要先搭建好 docker 环境。
- 页面提供 docker 安装教程链接。
- 页面提供 docker-compose 安装教程链接。
步骤1:下载并编译DolphinDB Docker集群部署包
该部分给出部署包下载地址,并提供构建镜像与查看镜像的命令及示例输出信息。
- 提供 DolphinDB Docker 集群部署包的下载地址(GitHub)。
- 提供构建镜像命令:cd ./DolphinDB-Docker-Compose/Dockerbuild; docker build -t ddb:latest ./。
- 构建结果被描述为包含最新版本 DolphinDB server 的镜像文件。
- 提供查看镜像命令:docker images。
- 示例输出包含镜像 ddb:latest 的大小与镜像 ID。
步骤2:替换部署包license文件
该部分说明社区版 license 不支持该节点规模,需要企业版 license,并给出放置路径。
- 社区版 license 文件无法支持部署 5 个数据节点和 1 个控制节点。
- 需要申请支持 6 个以上节点的企业版 license。
- 企业版 license 文件 dolphindb.lic 需放到 ./cfg 目录下。
步骤3:创建并启动controller与agent容器(docker-compose)
该部分说明默认启动脚本的行为,并给出 docker-compose 启动命令与示例输出。
- 容器默认启动脚本会自动启动控制节点和代理节点。
- 提供启动容器命令:cd ./DolphinDB-Docker-Compose; docker-compose up -d。
- 示例输出显示创建了一个 bridge 网络。
- 示例输出显示多个容器创建完成(如 ddbcontroller、ddbagent1/2/3)。
步骤4:查看集群与通过Web启动数据节点
该部分说明通过本地 Web 页面访问集群管理界面,并在 Web 中启动数据节点,附带界面图注信息。
- 集群管理 Web 页面访问地址为 http://localhost:8888。
- 数据节点需要在 Web 中启动。
- 界面说明提到左侧显示三个代理节点在线状态。
- 界面说明提到 1 个名为 master 的控制器节点与 5 个数据节点处于正常运行状态。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | status | 正式开启(限时报名,享专属福利优惠) | medium |
| 限时报名链接 | url | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 文章发布日期 | date | 2021-08-05 | high |
| 作者 | name | Junxi | high |
| Docker | description | 一个开源的引擎,可为任何应用创建轻量级、可移植、自给自足的容器 | medium |
| DolphinDB database | offering | 提供基于docker的分布式集群部署包 | high |
| DolphinDB docker分布式集群部署包 | benefit | 可让用户方便快捷地部署DolphinDB分布式集群 | low |
| 教程目标环境 | containers | 通过4个centos容器搭建一个5节点的多机集群 | high |
| 示意图(集群逻辑架构) | topology | 包含1个controller、3个agent、5个datanode | medium |
| 分布式集群部署配置 | needs_configuration | 需要分别配置controller、agent、datanode的网络IP和端口 | high |
| 部署包(docker容器虚拟子网) | fixed_ips | 为4个容器分别指定10.5.0.2到10.5.0.5的固定IP地址 | high |
| 部署包配置文件 | preconfigured | 包含IP与端口分配信息的配置文件已内置,用户无需手工逐一指定 | high |
| controller.cfg | localSite | 10.5.0.5:8888:master | high |
| agent1.cfg | mode_and_sites | mode=agent; localSite=10.5.0.2:8710:P1-agent,agent; controllerSite=10.5.0.5:8888:master | high |
| cluster.nodes | nodes_list | 10.5.0.2:8710:P1-agent,agent; 10.5.0.2:8711:P1-node1,datanode; 10.5.0.2:8712:P1-node2,datanode; 10.5.0.3:8810:P2-agent,agent; 10.5.0.3:8811:P2-node1,datanode; 10.5.0.3:8812:P2-node2,datanode; 10.5.0.4:8910:P3-agent,agent; 10.5.0.4:8911:P3-node1,datanode | high |
| Docker虚拟网络环境 | udp_support | UDP协议无法正常运作 | medium |
| agent.cfg与cluster.cfg | required_setting | 需要加上配置项lanCluster=0(部署包中已默认添加) | high |
| 部署前置条件 | software_installation | 需要先搭建好docker环境,并参考docker安装教程与docker-compose安装教程 | high |
| docker安装教程 | url | https://docs.docker.com/install/ | high |
| docker-compose安装教程 | url | https://docs.docker.com/compose/install/#install-compose | high |
| DolphinDB Docker集群部署包 | download_url | https://github.com/dolphindb/Tutorials_CN/blob/master/docker/DolphinDB-Docker-Compose.zip | high |
| 构建镜像步骤 | command | cd ./DolphinDB-Docker-Compose/Dockerbuild; docker build -t ddb:latest ./ | high |
| 构建结果 | image_contains | 通过步骤得到一个包含最新版本DolphinDB server的镜像文件 | medium |
| 查看镜像 | command | docker images | high |
| 镜像 ddb:latest(示例输出) | size | 420MB | medium |
| 镜像 ddb:latest(示例输出) | image_id | 4268ac618977 | medium |
| 社区版license文件 | node_limit | 无法支持部署5个数据节点和1个控制节点 | high |
| 企业版license | minimum_supported_nodes | 需要申请支持6个以上节点的企业版license | high |
| license文件放置位置 | path_and_filename | 将企业版license文件dolphindb.lic放到./cfg目录下 | high |
| 容器默认启动脚本 | behavior | 会自动启动控制节点和代理节点 | high |
| 启动容器步骤 | command | cd ./DolphinDB-Docker-Compose; docker-compose up -d | high |
| docker-compose输出(示例) | network_created | Creating network "20190121-dolphindb-docker-compose_dbnet" with driver "bridge" | medium |
| docker-compose输出(示例) | containers_created | ddbcontroller、ddbagent2、ddbagent3、ddbagent1 创建完成 | medium |
| 集群管理Web页面 | access_url | http://localhost:8888 | high |
| 数据节点启动方式 | operation | 在Web中启动所有数据节点 | high |
| Cluster Manager Web控制台截图说明 | agent_status | 左侧显示三个代理节点在线状态 | medium |
| Cluster Manager Web控制台截图说明 | node_inventory | 包含1个名为master的控制器节点和5个挂载在不同代理节点下的数据节点,且均为正常运行状态 | medium |