Grafana 三件套在手,玩转运维监控
本页介绍企业进行实时监控预警与可视化展示的需求背景,并围绕运维监控的实时分析与展示展开说明。
What this page covers
- 新闻页信息(标题与发布日期)。
- 实时监控预警与可视化的需求背景。
- Grafana 仪表盘与可视化能力示例(配图说明)。
- Grafana 的定位与适用场景。
- Telegraf + DolphinDB + Grafana 的端到端链路与架构思路。
- Telegraf 采集 CPU 指标并输出到 DolphinDB 的配置步骤。
- DolphinDB 流计算预警脚本与阈值示例(CPU 使用率 > 80%)。
技能认证特训营第二期报名推广
页面顶部提供活动提示与限时报名链接,用于引导报名并强调福利优惠。
- 该部分用于引导用户报名活动。
- 该部分包含一个报名链接入口。
- 该部分强调活动福利或优惠信息。
新闻页与文章标题/日期
内容以新闻页形式呈现,并给出文章标题与发布日期信息。
- 文章标题为“Grafana 三件套在手,玩转运维监控”。
- 页面展示了发布日期信息。
- 页面包含新闻页标识信息。
实时监控与可视化的背景与需求
该部分阐述海量数据的实时监控预警价值,并说明实时监控、分析与可视化展示成为硬需求的背景。
- 企业需要对海量数据进行实时监控与预警。
- 实时监控可用于降低故障带来的损失风险。
- 实时监控与分析可用于辅助决策。
- 可视化展示被描述为硬需求之一。
Grafana 仪表盘与可视化能力示例(配图说明)
该部分通过示例图片与说明,展示 Grafana 在运维监控仪表盘与多样化可视化组件方面的能力与适用指标类型。
- 展示 Grafana 的运维监控仪表盘示例。
- 展示 Grafana 的多样化可视化组件示例。
- 配图说明涉及可视化与指标呈现方式。
Grafana 的定位与适用场景
该部分说明 Grafana 面向监控运维的定位与特点,包括时间序列展示、仪表盘插件与告警系统,并提到其适用的物联网场景示例。
- Grafana 被描述为面向监控运维场景的数据可视化工具。
- Grafana 专注于时间序列数据展示。
- Grafana 的特点包括仪表盘插件与可视化效果。
- Grafana 的特点包括简单易用的告警系统。
- 适用场景示例包括智能工厂与智慧零售等物联网监控需求。
“三件套”方案:数据采集 + 分析处理 + Grafana 展示
该部分提出将 Telegraf、DolphinDB 与 Grafana 组合的端到端方案,并用架构流程图说明数据采集、存储/计算与可视化展示的链路。
- “三件套”由 Telegraf、DolphinDB 与 Grafana 组成。
- 该方案覆盖指标采集、存储、实时处理与结果展示环节。
- 架构图用于说明端到端的数据流转链路。
- Grafana 在方案中承担展示与可视化环节。
Telegraf 与 DolphinDB 简介
该部分介绍 Telegraf 的来源与用途,以及 DolphinDB 的定位与能力描述(时序数据库、编程语言与流数据分析)。
- Telegraf 来自 InfluxData 公司。
- Telegraf 用于采集各种指标信息。
- DolphinDB 被描述为高性能分布式时序数据库。
- DolphinDB 集成编程语言与流数据分析系统能力。
运维实例引入:CPU 使用率统计与预警监控
该部分引入使用“三件套”统计 CPU 使用率并进行预警监控的实例,用于说明实时监控系统搭建过程。
- 示例围绕 CPU 使用率统计展开。
- 示例包含 CPU 使用率的预警监控需求。
- 示例用于说明实时监控系统的搭建过程。
步骤一:Telegraf 采集 CPU 指标并输出到 DolphinDB
该部分描述 Telegraf 的 CPU 指标采集配置、输出到 DolphinDB 流表的配置,以及输出插件的获取/编译与相关配置文件准备。
- 在 INPUT PLUGINS 中添加 CPU 监控配置 [[inputs.cpu]]。
- 在 OUTPUT PLUGINS 中添加对应输出 [[outputs.execd]]。
- Output 插件用于将 Telegraf 数据写入 DolphinDB。
- Telegraf 将数据序列化并通过 stdin 传入该插件。
- 插件作为 Telegraf 子进程在后台常驻运行。
- 通过 stderr 监听插件日志及处理结果。
- 配置中将 Telegraf 数据导入到 DolphinDB 流表 cpu_stream。
- dolphindb-output-3.conf 中可直接注释掉 database 设置。
步骤二:DolphinDB 流计算与预警脚本(阈值>80%)
该部分说明创建 CPU 流表、订阅并持久化到分布式表,以及进行流计算筛选 CPU 使用率大于 80% 的预警数据并写入结果流表,并包含启动与查询相关内容。
- CPU 流表名称为 cpu_stream。
- CPU 持久化表名称为 dfs_cpu。
- 预警条件为 CPU 使用率大于 80%。
- 预警结果写入结果流表 cpu_warning_result。
- 示例查询包含最近的 100 条记录(涉及相关表)。
- dolphindb.cfg 用于支持创建磁盘持久化流表。
步骤三:Grafana 可视化 DolphinDB 预警数据
该部分说明在 Grafana 中连接 DolphinDB 数据源并创建面板,来可视化预警结果表数据,实现 CPU 使用率超过阈值的监控预警,并配有示例截图说明。
- 在 Grafana 中连接 DolphinDB 数据源。
- 在 Grafana 中创建面板(Panel)用于可视化。
- 可视化的数据来源为 cpu_warning_result 表。
- 示例仅监控单核 cpu0 的预警数据。
- 该部分包含示例截图与说明内容。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| Grafana 三件套在手,玩转运维监控 | published_date | 2023.03.02 | high |
| 企业实时监控预警 | benefits | 可规避故障带来的损失、助力决策、实现降本增效 | low |
| Grafana | differentiators | 凭借丰富的仪表盘插件、灵活的可视化效果、以及简单易用的告警系统脱颖而出 | low |
| Grafana | positioning | 专门面向监控运维场景的数据可视化工具 | high |
| Grafana | data_focus | 专注于时间序列数据的展示 | high |
| Grafana | suitable_scenarios | 适用于智能工厂、智慧零售等需要监控大量时序数据的物联网场景 | medium |
| “三件套”方案 | components | Telegraf + DolphinDB + Grafana | high |
| “三件套”方案 | capabilities | 集指标采集、存储、实时处理、结果展示等功能于一体 | medium |
| Telegraf | vendor | InfluxData 公司 | high |
| Telegraf | purpose | 用于采集各种指标信息的软件 | high |
| DolphinDB | positioning | 高性能分布式时序数据库 | high |
| DolphinDB | integrated_capabilities | 集成功能强大的编程语言和高容量、高速度的流数据分析系统 | medium |
| Telegraf 与 DolphinDB | write_path | 基于 Telegraf 的 Output 插件将 Telegraf 采集并处理过的数据写入 DolphinDB | high |
| telegraf-dolphindb-outputs 插件 | runtime_mode | 作为 Telegraf 的子进程在后台常驻运行 | high |
| Telegraf 到 telegraf-dolphindb-outputs 插件 | data_transfer | Telegraf 将采集并处理好的数据进行序列化并通过 stdin 传入该插件 | high |
| telegraf-dolphindb-outputs 插件 | logging_channel | 通过 stderr 监听插件日志及处理结果 | high |
| Telegraf 配置(TelegrafConfig) | input_plugin | 在 INPUT PLUGINS 中添加 CPU 监控 [[inputs.cpu]] | high |
| Telegraf 配置(TelegrafConfig) | output_plugin | 在 OUTPUT PLUGINS 中添加对应 [[outputs.execd]] 输出 | high |
| dolphindb-output-3.conf | database_setting | 直接注释掉 database | high |
| Telegraf 输出到 DolphinDB | target_stream_table | 将 Telegraf 采集的数据导入到 DolphinDB 流表 cpu_stream 中 | high |
| dolphindb.cfg | purpose | 用于支持创建磁盘持久化流表 | high |
| DolphinDB | stream_table_name_for_cpu | cpu_stream | high |
| DolphinDB | persistent_table_name_for_cpu | dfs_cpu | high |
| DolphinDB 流计算预警 | threshold_condition | CPU 使用率大于 80% | high |
| DolphinDB | warning_result_stream_table | cpu_warning_result | high |
| 查询示例 | recent_records_count | 最近的100条(cpu_stream、dfs_cpu、cpu_warning_result) | high |
| Grafana 与 DolphinDB | data_source_connection | 在 Grafana 中连接 DolphinDB 数据源并创建面板 Panel 以可视化 cpu_warning_result 中的数据 | high |
| Grafana 监控示例 | scope | 这里只监控了单核 cpu0 的预警数据 | high |
| 技能认证特训营第二期 | signup_link | https://www.qingsuyun.com/h5/e/217471/5/ | high |