成本减半，效率提升20倍——中钢设备基于 DolphinDB 重构万亿级工业数据底座
本页为一篇案例文章的标题与发布信息展示。
Source: https://dolphindb.cn/blogs/180
What this page covers
- 文章标题与发布日期信息
- 导语：场景、问题与目标概述
- 背景：数据规模与数据底座要求
- 挑战：存储、时延、数据孤岛与运维问题
- 解决方案：一体化数据底座架构与能力要点
- 方案效果：时延、响应、成本与模型沉淀
- 报名推广信息与链接
技能认证特训营第二期报名推广
页面顶部包含限时报名与福利优惠的推广信息。
- 技能认证特训营第二期处于“正式开启”状态。
- 页面提供限时报名链接。
成本减半，效率提升20倍——中钢设备基于 DolphinDB 重构万亿级工业数据底座
本节展示文章标题、作者标识与发布日期信息。
- 标题宣称“成本减半，效率提升20倍”。
- 文章发布日期为 2025-04-25。
导语
概述在带式焙烧机场景中使用 DolphinDB 解决海量工控数据处理难题，并推动球团工艺精细化管控。
- 项目目标包含打造带式焙烧机数字孪生工厂。
- DolphinDB用于处理海量工控数据存储问题。
- DolphinDB用于复杂工艺的实时计算与高效分析。
- 球团工艺管控被描述为“迈入新阶段”。
一、背景介绍
介绍A公司探索方向、产线数据规模，以及数据底座吞吐、实时计算、分析与集团级集成需求。
- 产线探索数字孪生、工业大脑与元宇宙工厂的融合方向。
- 球团厂年产能超过500万吨。
- 产线传感器点位数量为10万+。
- 数据以秒级频率实时采集多维信息（如温度、压力、设备状态）。
- 日均数据量高达86.4亿条。
二、面临挑战
说明原分层架构在存储与查询、实时计算时延、数据管理与运维方面存在局限。
- 采集层需为 OPC UA、MQTT 与私有 TCP 协议定制对接程序。
- 存储层依赖 SQL Server 集群存储海量时序数据。
- 行式存储压缩率低，历史累积后写入性能下降。
- 报表生成时延超过10分钟（如产量统计）。
- 单条数据实时处理时延超过1000ms，难以满足秒级调控需求。
三、解决方案
提出以 DolphinDB 构建一体化数据底座，并说明其存储、实时计算、多模态与整合能力要点。
- DolphinDB因多模存储引擎、实时计算框架与函数库被用于构建一体化底座。
- 方案以 DolphinDB 集群为核心，整合“采-存-算-分析”全链路。
- 分布式存储引擎采用列式存储与分区技术。
- 多模态存储提供 OLAP、TSDB 与 OLTP 引擎，并支持混合存储模型。
- 流计算部分被描述为内置10+流计算引擎。
四、方案效果
给出新方案在时延、响应与成本方面的效果，并提及模型沉淀与模块管理对决策支持的作用。
- 数据查询时延从分钟级降至毫秒级。
- 实时计算响应速度提升20倍。
- 整体存储成本降低50%。
- 沉淀四类工艺分析计算模型（示例：物料状态跟踪、累积量滤波）。
- 标准化模块管理体系被描述为支撑智能决策。
Facts index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | 状态 | 正式开启 | high |
| 限时报名链接 | url | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 中钢设备基于 DolphinDB 重构工业数据底座 | 效果（标题宣称） | 成本减半，效率提升20倍 | medium |
| 文章 | 发布日期 | 2025-04-25 | high |
| 中钢设备（A公司） | 项目/建设 | 打造带式焙烧机数字孪生工厂 | high |
| DolphinDB | 在项目中的作用 | 使用多模引擎与流计算框架解决海量工控数据存储、复杂工艺实时计算与高效分析难题 | high |
| 球团工艺管控 | 阶段性影响 | 推动球团工艺精细化管控迈入新阶段 | low |
| 中钢设备（A公司） | 行业地位描述 | 国内钢铁行业的领军者 | low |
| A公司球团产线 | 探索方向 | 探索数字孪生、工业大脑与元宇宙工厂的深度融合 | medium |
| 球团厂 | 年产能 | 超过500万吨 | high |
| 产线传感器点位 | 数量 | 10万+ | high |
| 数据采集频率 | 频率 | 秒级频率实时采集温度、压力、设备状态等多维数据 | high |
| 日均数据量 | 规模 | 高达86.4亿条 | high |
| 全年数据规模 | 规模 | 突破3万亿条 | high |
| 数据底座 | 要求 | 对吞吐能力提出极高要求 | medium |
| 带式焙烧机工段 | 工艺特点 | 从原料配比到烧结温控等环节的细微波动可能影响成品质量 | medium |
| 数据底座 | 要求 | 对实时计算效率和复杂分析能力提出严苛要求 | medium |
| A公司数据底座建设目标 | 能力要求 | 具备秒级响应能力，支撑工艺仿真、实时计算和智能决策 | high |
| 集团级数据集成 | 要求 | 满足“一总部多基地”的集团级数据集成要求 | high |
| A公司原分层技术架构 | 数据采集层协议对接 | 需针对OPC UA、MQTT及私有TCP协议定制开发对接程序 | high |
| A公司原分层技术架构 | 存储层组件 | 依赖SQL Server集群存储海量时序数据 | high |
| A公司原分层技术架构 | 计算层组件 | 通过Flink+Spark+Python组合实现实时与离线数据清洗，并借助消息队列与本地数据库进行分层缓存 | high |
| 原架构（SQL Server行式存储） | 问题 | 压缩率低，历史数据累积后写入性能大幅下降 | high |
| 产量统计等报表生成时延 | 时延 | 超过10分钟 | high |
| 原架构存储层 | 影响 | 高磁盘空间占用率使得存储成本升高 | medium |
| 原架构实时计算 | 单条数据处理时延 | 超过1000ms | high |
| 原架构实时性 | 结果 | 无法满足工艺调控秒级实时性需求 | high |
| 原架构数据管理 | 问题 | 宽表、窄表等异构模型分库存储；时序数据、工控配置和监测信息分散在不同数据库 | high |
| 跨设备分析表关联耗时占比 | 占比 | 超过70%（在整个查询过程中） | high |
| 原架构运维 | 问题 | 依赖Flink、Spark、Python等多组件拼凑，架构臃肿且兼容性差；运维需同时维护协议对接、计算逻辑和缓存机制 | high |
| 原架构 | 总体影响 | 制约A公司球团产线的数智化进程 | medium |
| A公司 | 寻求方案目标 | 打通“采-存-算-分析”全链路的创新方案 | high |
| DolphinDB | 被选择原因 | 凭借多模存储引擎、实时计算框架和丰富的数据分析函数库，用于构建一体化数据底座 | high |
| DolphinDB | 能力 | 支持万亿级数据的高效存储与快速查询 | medium |
| DolphinDB | 能力 | 具备毫秒级的实时滤波与复位计算能力 | medium |
| DolphinDB | 能力 | 具备敏捷的探索性数据分析（EDA）效率，助力打通数据流转全链路 | low |
| 传统数据架构图（图片AI说明） | 架构组成/流程 | 从KepServer、SQL Server等数据源出发，经协议驱动采集层将工控配置、监测及项目时序数据存入数据集市，再通过统一接口（SQL、API等）支撑工艺仿真、监控及EDA分析应用 | medium |
| 传统架构（图片AI说明） | 缺陷 | 数据孤岛突出、运维成本高 | medium |
| 基于DolphinDB的技术架构图（图片AI说明） | 核心 | 以DolphinDB集群为核心，实现“采-存-算-分析”全链路整合 | medium |
| 基于DolphinDB的技术架构图（图片AI说明） | 引擎集成 | 集成多模态存储引擎（OLAP、TSDB、IOTDB）和流式计算引擎，支持多种采集协议对接，并为Web、小程序等应用提供Restful接口 | medium |
| DolphinDB分布式存储引擎 | 技术手段 | 采用列式存储与分区技术构建分布式存储引擎 | high |
| DolphinDB单表管理能力 | 规模 | 单表可高效管理万亿行数据 | medium |
| DolphinDB写入与查询时延 | 时延 | 写入和查询时延均可降至毫秒级 | medium |
| DolphinDB列式存储压缩率对比行式存储 | 提升倍数 | 可提升15倍 | medium |
| DolphinDB列式存储 | 影响 | 降低磁盘空间占用并优化存储成本 | medium |
| DolphinDB流计算 | 引擎数量 | 内置10+流计算引擎 | medium |
| 滤波、复位和降采样等自定义算子时延（通过DolphinDB增量优化技术） | 时延变化 | 从1000ms降至50ms以内 | medium |
| A公司实时计算需求 | 吞吐/速率 | 每秒10万条数据的实时计算需求 | high |
| DolphinDB多模态存储 | 存储引擎类型 | 提供OLAP、TSDB和OLTP存储引擎，支持时序模型与关系模型混合存储 | high |
| A公司在DolphinDB中的数据统一 | 数据范围 | 可将时序数据、工控配置和设备监测信息统一存储在DolphinDB中，减少复杂关联操作 | medium |
| DolphinDB一体化设计 | 组成 | “插件+多模存储引擎+流计算框架+脚本引擎” | high |
| DolphinDB一体化设计 | 整合范围 | 将数据采集、协议解析、实时计算、分析建模等全流程整合在同一平台 | medium |
| DolphinDB方案对A公司成本 | 影响 | 降低A公司的开发、运维和管理成本 | low |
| 新方案数据查询时延 | 变化 | 从分钟级降至毫秒级 | medium |
| 新方案实时计算响应速度 | 提升倍数 | 提升20倍 | medium |
| 整体存储成本 | 变化 | 降低50% | medium |
| 工艺分析计算模型沉淀 | 类别数量与示例 | 沉淀四类工艺分析计算模型（示例：物料状态跟踪、累积量滤波） | medium |
| 标准化模块管理体系 | 作用 | 有力支撑数字孪生与工业大脑的智能决策 | low |