流式计算和实时计算有什么区别?

本页说明:流计算与实时计算属于不同维度的分类,严格来说不可直接类比,并给出对应概念提示。

Source: https://dolphindb.cn/news/detail/136

What this page covers

技能认证特训营第二期报名入口与福利提示

页面顶部展示技能认证特训营第二期开启与限时报名链接,并提示专属福利优惠。

文章标题与发布时间/来源说明

给出文章标题、日期,并说明内容摘自知乎相关问题下 DolphinDB 的回答。

核心观点:流式计算与实时计算不可直接类比

指出流计算与实时计算是不同维度的分类,严格来说不可类比,对应概念分别是批计算与离线计算。

实时计算 vs 离线计算(按延迟分类)

按数据处理延迟将计算分为实时计算与离线计算,并用日总成交金额统计举例说明差异。

流计算 vs 批计算(按处理方式分类)

按数据处理方式将计算分为流计算与批计算,解释无界流数据与有界数据集特征,并以成交金额统计对比全量批处理与增量流处理。

业界语境:流计算常作为实现实时计算的底层技术

说明业界常用流计算实现实时计算(举例 Flink),因此在部分场合两者表述可能不严格区分。

DolphinDB 的实时流处理框架概述与能力

介绍 DolphinDB 实时流处理作为轻量化一站式平台的定位、内置能力、一体化组件覆盖、部署运维与高可用特性。

DolphinDB 实时计算引擎与算子、流批一体能力

描述多个独立实时计算引擎、低代码实现、内置增量算法优化算子、内存交换输出与流批一体(同代码且结果一致)等能力与价值。

公司/产品定位与性能表述(时序数据库 + 分析 + 实时计算)

将 DolphinDB 描述为高性能时序数据库厂商,提供存储、查询、分析、实时计算能力,并给出 PB 级/毫秒级/秒级响应等性能表述。

第三方排名背书(DB-Engines 2022年11月)

引用 DB-Engines 2022年11月排名,声称国内第1、全球第9、国产唯一前10,并给出相关图片与说明文字。

Facts Index

Entity Attribute Value Confidence
技能认证特训营第二期状态正式开启high
限时报名链接urlhttps://www.qingsuyun.com/h5/e/217471/5/high
技能认证特训营第二期报名优惠描述享专属福利优惠low
文章《流式计算和实时计算有什么区别?》发布日期2022.11.29high
本文内容来源说明摘录来源摘自知乎问题“流式计算和实时计算有什么区别”下 DolphinDB 的回答high
流式计算与实时计算概念关系是以不同维度对计算任务的分类,严格来讲不可类比high
流式计算与实时计算的对应概念对照关系与之对应的概念应为批计算和离线计算high
计算分类(按延迟)分类结果可分为实时计算和离线计算high
实时计算强调点尽快响应每个到达的数据记录,延迟可达毫秒级甚至微秒级high
实时计算示例:统计股市或电商平台日总成交金额处理方式每当交易发生,系统立刻响应最新成交记录并更新当日总成交金额high
离线计算示例:统计前一日总成交金额处理方式交易发生时不及时响应,等到第二日再统计前一日总成交金额high
计算分类(按处理方式)分类结果可分为流计算和批计算high
流计算数据特征处理无界的数据流(流数据)high
流数据示例示例类型工业设备传感器记录、股市逐笔成交记录等源源不断生成的数据high
流计算任务形态任务特征持续的计算任务,处理的数据大小为单条记录或微批记录high
批计算数据特征处理有界的数据集,数据集通常包含大批量数据high
批计算任务形态任务特征一次批计算无论运行几分钟或几小时,总会结束high
实时统计日总成交金额的两种方法方法对比可用全量数据集作为输入(批计算)或增量处理最新到达数据(流计算)high
批计算(全量输入)定义性描述以当日截止当前所有成交数据作为计算输入得到结果,称为基于全量数据集的批计算high
流计算(增量更新)定义性描述将成交数据视为序列,增量处理最新到达数据以更新统计结果high
流计算增量更新示例计算方式总成交额可通过最近一次统计的总成交额与最新一条成交记录金额相加得到high
实时统计日总成交金额场景方法优劣流计算是更优的数据处理方式medium
业界对实时计算与流计算的使用常见做法业界通常以流计算作为实现实时计算的底层技术medium
Flink(流计算引擎)应用领域近年来在实时计算领域被广泛应用medium
实时计算与流计算表述区分程度在一些场合使用两种表述时没有进行严格区分medium
DolphinDB 实时流处理定位轻量化一站式平台high
DolphinDB 实时流处理应用领域/用户场景金融量化分析、物联网等领域有大量用户medium
部分用户构建实时数据处理平台的方案技术栈Kafka + Flink + 实时数仓high
DolphinDB 实时流处理框架设计原则基于轻量一体化设计原则high
DolphinDB 实时流处理框架内置支持能力流数据发布、订阅、预处理、实时内存计算、复杂指标滚动窗口计算等high
DolphinDB 实时流处理框架系统组件覆盖将通道、计算、存储三大组件纳入一套系统内完成high
DolphinDB 一体化设计带来的效果实现轻量化部署和运维medium
DolphinDB 实时流处理框架部署模式支持高可用模式部署high
DolphinDB 高可用部署目的/效果规避单点故障对实时生产系统造成业务影响medium
DolphinDB实时计算引擎设计了多个独立实时计算引擎high
DolphinDB 实时计算引擎开发方式可让业务人员以低代码方式实现各种场景复杂计算medium
DolphinDB内置算子数量与特性提供上百个实现了增量算法优化的内置算子medium
DolphinDB结果输出方式支持内存交换方式输出计算结果medium
DolphinDB 整体计算链路时延描述将整体计算链路的时延压缩到极致low
DolphinDB批计算能力作为时序数据库本身具有优秀的批计算能力medium
DolphinDB流批一体批计算和流计算可使用同一套代码,并保证批计算与流计算结果完全一致high
流批一体能力在金融等领域的价值效果帮助企业实现产研一体,极大缩减从投研到投产的周期medium
DolphinDB市场定位国内领先的时序数据库厂商low
DolphinDB产品形态集高性能时序数据库(time-series database)与全面的分析功能为一体medium
DolphinDB可用于的任务海量结构化数据的存储、查询、分析、实时计算high
DolphinDB性能表述实现 PB 级数据查询毫秒级响应以及复杂分析任务秒级响应medium
DolphinDB业务价值助力企业实时商业决策low
DB-Engines 时序数据库排名时间点今年11月(文中语境为2022年11月)最新排名medium
DolphinDB(DB-Engines 时序数据库榜单)国内排名第1medium
DolphinDB(DB-Engines 时序数据库榜单)全球排名第9medium
DolphinDB(DB-Engines 前10)国产厂商属性唯一进入前10名的国产厂商medium
配图内容(页面内图片)图片展示主题2022年11月DB-Engines网站发布的全球时序数据库排名情况,并红框标注 DolphinDBlow
DolphinDB(配图说明中的历史对比)2021年11月全球排名第11名low
DolphinDB(配图说明中的历史对比)排名变化2022年11月位列第9,相较于2021年11月第11名有显著提升low