进军高能物理与核能业！DolphinDB 助力重构 EPICS 数据治理体系

豚
2025-04-15

导语

在中国核能“三步走”战略的核心项目中，中国科学院近代物理所基于 DolphinDB 搭建高性能分布式存储与查询系统，完成与 EPICS 系统的对接，在库内实现数据采集、存储、工程计算（如傅里叶变换）、实时流计算等核心功能，简化原有架构 80% 的运维组件。

关键词：DolphinDB，EPICS，核聚变，大型装置数据管理，ITER，归档系统，电子对撞试验

EPICS（Experimental Physics and Industrial Control System）是面向大型实验装置和工业控制系统的开源工具集，现已成为国际高能物理、核能、天文观测等领域的核心基础设施。其分布式架构支持数万设备节点的实时监控，不仅应用于加速器驱动嬗变研究装置（CIADS）、全超导托卡马克核聚变实验装置（EAST）等大科学工程，还支撑了上海光源（SSRF）、散裂中子源（CSNS）等国家级科研设施。目前，EPICS 系统正逐步渗透至新能源、智能制造等领域，成为工业物联网的关键支撑平台。

一、背景介绍

中国科学院近代物理所（下称 A 所）作为我国重离子科学与加速器驱动核能技术发展的引导者，不仅承担着国家战略科技任务，也是国际上具有重要影响力的重离子研究中心。目前，A 所正主导中国某核心重离子科学研究项目，推动国内核聚变相关产业的业务开发。

该项目涉及对万亿级别加速器装置数据的管理与分析。如何高效采集和存储设备运行数据、完成高频数据的工程计算，并顺利对接 EPICS 系统，成为项目落地的重大挑战。

二、面临挑战

在国内科研与工业场景中，EPICS Archiver Appliance 一直是默认的时序数据归档方案。A 所同样使用 EPICS Archiver Appliance 对加速器装置数据进行归档。然而，该方案在数据管理与分析上存在较大局限，尤其在海量 PV 数据管理与涉及傅里叶变换、小波变换等信号处理的工程场景中，具体表现为：

  • 封闭存储格式拖累查询效率：Archiver Appliance 采用 Protobuf 二进制格式存储数据。在处理数据时，需引入解析中间件将其转化为可读格式。这一过程不仅拉长了数据处理链条，还导致查询效率严重受限，影响数据的时效性。
  • 工程特征数据分析性能不足：项目涉及多个指标的工程计算，如傅里叶变换、小波变换等。研究人员需要先将历史高频波形数据从分布式表中提取出来，再导入 java 或 python 中进行计算，流程复杂，数据分析结果输出效率低。
  • 数据生命周期管理不灵活：对存储在 EPICS Archiver Appliance 的数据进行冷热数据分级管理比较复杂，缺乏细粒度的管理策略，往往需要依赖人工定期清理数据。繁琐的操作过程既增加了运维工作量，也容易造成数据管理效率低下。
  • 分布式架构能力不足：当数据激增时，系统需依赖新增独立服务器来扩展计算与存储能力。这种方式不仅会显著提高硬件投入成本，还会带来节点管理、系统配置、故障排查等一系列运维难题，整体架构也更趋复杂。

面对万亿级别的数据管理和复杂的工程计算需求，A 所亟需一个可以深度融合 EPICS 生态、简化取数过程、并支持工程计算的数据管理平台。

三、解决方案

在综合评估完系统性能、功能完善性、运维复杂程度以及自主可控等因素后，A 所最终选择使用 DolphinDB——一款纯国产自研的高性能时序数据库与实时计算平台，替代原有的底层文件存储系统。新方案支持将 A 所大型装置设备实验数据以表的形式存储，同时采用多种压缩算法，实现数据从采集、存储到计算分析的全链路落地。

  • All-in-One 架构降本增效：数据接入、存储、计算过程在 DolphinDB 库内完成，无需在多个组件间频繁调取和额外开发解析中间件，显著提升效率，降低运维成本。
  • 支持复杂工程计算：内置 Array Vector 格式，可高效存储波形、声纹等信号类数据，支持傅里叶变换、小波变换等复杂计算，满足工程分析需求。
  • 自动化数据生命周期管理：相比 EPICS Archiver Appliance 需人工清理冷热数据，DolphinDB 可以自动设置数据的清理周期，简化管理流程。
  • 分布式架构支持弹性扩展：DolphinDB 的分布式架构天然适配国内大规模设备接入场景，可水平扩展节点，支持在线扩容，扩展过程中不影响现有业务运行。
  • 海量数据高效存储与查询：PV 数据可写入分布式表，支持万亿级数据行的毫秒级查询，同时，存储成本可降至原有架构的十分之一。

四、性能测试

以下是 EPICS 场景下对 DolphinDB 进行的一次性能测试，验证其历史数据写入、存储和查询的性能：

数据量级：批量添加 10 个装置，170 亿条数据

硬件配置：使用 DolphinDB 物联网标准版搭建三机高可用集群，更新 license，授权 12 核 144 GB（单机 4 核 48 GB）

性能测试与结果见下表：

五、方案效果

在这一重离子科学研究项目的数据“采-存-算-用”场景下，DolphinDB 平滑替换了 A 所采用的默认时序数据库，显著简化系统架构，深度重构了 EPICS 数据归档体系。

同时，凭借 DolphinDB 的高性能与丰富功能，A 所实现了复杂工程计算的高效执行，数据处理和管理能力得到全面提升。