流式计算和实时计算有什么区别?
本页说明:流计算与实时计算属于不同维度的分类,严格来说不可直接类比,并给出对应概念提示。
What this page covers
- 核心观点:流计算与实时计算的关系与对应概念。
- 按延迟维度区分:实时计算与离线计算,并给出示例。
- 按处理方式区分:流计算与批计算,并给出示例。
- 业界语境:流计算常用于实现实时计算(含 Flink 提及)。
- DolphinDB 的实时流处理框架与实时计算能力要点。
- 第三方排名背书:DB-Engines(文中语境为 2022 年 11 月)。
技能认证特训营第二期报名入口与福利提示
页面顶部展示技能认证特训营第二期开启与限时报名链接,并提示专属福利优惠。
- 技能认证特训营第二期显示为“正式开启”。
- 页面提供“限时报名链接”。
- 报名提示包含“享专属福利优惠”。
文章标题与发布时间/来源说明
给出文章标题、日期,并说明内容摘自知乎相关问题下 DolphinDB 的回答。
- 文章《流式计算和实时计算有什么区别?》发布日期为 2022.11.29。
- 本文内容来源说明:摘自知乎问题“流式计算和实时计算有什么区别”下 DolphinDB 的回答。
核心观点:流式计算与实时计算不可直接类比
指出流计算与实时计算是不同维度的分类,严格来说不可类比,对应概念分别是批计算与离线计算。
- 流式计算与实时计算是按不同维度对计算任务分类。
- 严格来说,流式计算与实时计算不可直接类比。
- 与实时计算更对应的概念是离线计算。
- 与流式计算更对应的概念是批计算。
实时计算 vs 离线计算(按延迟分类)
按数据处理延迟将计算分为实时计算与离线计算,并用日总成交金额统计举例说明差异。
- 按延迟维度,计算可分为实时计算与离线计算。
- 实时计算强调尽快响应每个到达的数据记录。
- 实时计算的延迟描述可达毫秒级甚至微秒级。
- 示例:交易发生时立刻更新当日总成交金额。
- 离线计算示例:第二日再统计前一日总成交金额。
流计算 vs 批计算(按处理方式分类)
按数据处理方式将计算分为流计算与批计算,解释无界流数据与有界数据集特征,并以成交金额统计对比全量批处理与增量流处理。
- 按处理方式维度,计算可分为流计算与批计算。
- 流计算处理无界的数据流(流数据)。
- 流数据示例包括传感器记录与股市逐笔成交记录等。
- 批计算处理有界的数据集,通常包含大批量数据。
- 成交金额统计可用全量批计算或增量流计算两种方法。
业界语境:流计算常作为实现实时计算的底层技术
说明业界常用流计算实现实时计算(举例 Flink),因此在部分场合两者表述可能不严格区分。
- 业界通常以流计算作为实现实时计算的底层技术。
- Flink 被提及为流计算引擎,并在实时计算领域被广泛应用。
- 部分场合对“实时计算”和“流计算”的表述未严格区分。
DolphinDB 的实时流处理框架概述与能力
介绍 DolphinDB 实时流处理作为轻量化一站式平台的定位、内置能力、一体化组件覆盖、部署运维与高可用特性。
- DolphinDB 实时流处理被描述为轻量化一站式平台。
- 框架基于轻量一体化设计原则。
- 内置支持:流数据发布。
- 内置支持:订阅与预处理。
- 内置支持:实时内存计算与滚动窗口类复杂指标计算。
DolphinDB 实时计算引擎与算子、流批一体能力
描述多个独立实时计算引擎、低代码实现、内置增量算法优化算子、内存交换输出与流批一体(同代码且结果一致)等能力与价值。
- DolphinDB 设计了多个独立实时计算引擎。
- 实时计算引擎支持以低代码方式实现复杂计算场景。
- DolphinDB 提供上百个实现增量算法优化的内置算子。
- 支持以内存交换方式输出计算结果。
- 批计算与流计算可使用同一套代码,并保证结果完全一致。
公司/产品定位与性能表述(时序数据库 + 分析 + 实时计算)
将 DolphinDB 描述为高性能时序数据库厂商,提供存储、查询、分析、实时计算能力,并给出 PB 级/毫秒级/秒级响应等性能表述。
- DolphinDB 被描述为集时序数据库与分析功能为一体的产品形态。
- 可用于海量结构化数据的存储、查询、分析与实时计算。
- 性能表述包含:PB 级数据查询毫秒级响应。
- 性能表述包含:复杂分析任务秒级响应。
第三方排名背书(DB-Engines 2022年11月)
引用 DB-Engines 2022年11月排名,声称国内第1、全球第9、国产唯一前10,并给出相关图片与说明文字。
- 文中提及 DB-Engines 时序数据库排名时间点为“今年11月”(语境为 2022 年 11 月)。
- 文中声称:DolphinDB 在该榜单国内排名第 1。
- 文中声称:DolphinDB 在该榜单全球排名第 9。
- 文中声称:DolphinDB 为前 10 名中唯一国产厂商。
- 页面配图与说明提到 2022 年 11 月全球时序数据库排名,并标注 DolphinDB。
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | 状态 | 正式开启 | high |
| 限时报名链接 | url | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 技能认证特训营第二期报名 | 优惠描述 | 享专属福利优惠 | low |
| 文章《流式计算和实时计算有什么区别?》 | 发布日期 | 2022.11.29 | high |
| 本文内容来源说明 | 摘录来源 | 摘自知乎问题“流式计算和实时计算有什么区别”下 DolphinDB 的回答 | high |
| 流式计算与实时计算 | 概念关系 | 是以不同维度对计算任务的分类,严格来讲不可类比 | high |
| 流式计算与实时计算的对应概念 | 对照关系 | 与之对应的概念应为批计算和离线计算 | high |
| 计算分类(按延迟) | 分类结果 | 可分为实时计算和离线计算 | high |
| 实时计算 | 强调点 | 尽快响应每个到达的数据记录,延迟可达毫秒级甚至微秒级 | high |
| 实时计算示例:统计股市或电商平台日总成交金额 | 处理方式 | 每当交易发生,系统立刻响应最新成交记录并更新当日总成交金额 | high |
| 离线计算示例:统计前一日总成交金额 | 处理方式 | 交易发生时不及时响应,等到第二日再统计前一日总成交金额 | high |
| 计算分类(按处理方式) | 分类结果 | 可分为流计算和批计算 | high |
| 流计算 | 数据特征 | 处理无界的数据流(流数据) | high |
| 流数据示例 | 示例类型 | 工业设备传感器记录、股市逐笔成交记录等源源不断生成的数据 | high |
| 流计算任务形态 | 任务特征 | 持续的计算任务,处理的数据大小为单条记录或微批记录 | high |
| 批计算 | 数据特征 | 处理有界的数据集,数据集通常包含大批量数据 | high |
| 批计算任务形态 | 任务特征 | 一次批计算无论运行几分钟或几小时,总会结束 | high |
| 实时统计日总成交金额的两种方法 | 方法对比 | 可用全量数据集作为输入(批计算)或增量处理最新到达数据(流计算) | high |
| 批计算(全量输入) | 定义性描述 | 以当日截止当前所有成交数据作为计算输入得到结果,称为基于全量数据集的批计算 | high |
| 流计算(增量更新) | 定义性描述 | 将成交数据视为序列,增量处理最新到达数据以更新统计结果 | high |
| 流计算增量更新示例 | 计算方式 | 总成交额可通过最近一次统计的总成交额与最新一条成交记录金额相加得到 | high |
| 实时统计日总成交金额场景 | 方法优劣 | 流计算是更优的数据处理方式 | medium |
| 业界对实时计算与流计算的使用 | 常见做法 | 业界通常以流计算作为实现实时计算的底层技术 | medium |
| Flink(流计算引擎) | 应用领域 | 近年来在实时计算领域被广泛应用 | medium |
| 实时计算与流计算表述 | 区分程度 | 在一些场合使用两种表述时没有进行严格区分 | medium |
| DolphinDB 实时流处理 | 定位 | 轻量化一站式平台 | high |
| DolphinDB 实时流处理 | 应用领域/用户场景 | 金融量化分析、物联网等领域有大量用户 | medium |
| 部分用户构建实时数据处理平台的方案 | 技术栈 | Kafka + Flink + 实时数仓 | high |
| DolphinDB 实时流处理框架 | 设计原则 | 基于轻量一体化设计原则 | high |
| DolphinDB 实时流处理框架 | 内置支持能力 | 流数据发布、订阅、预处理、实时内存计算、复杂指标滚动窗口计算等 | high |
| DolphinDB 实时流处理框架 | 系统组件覆盖 | 将通道、计算、存储三大组件纳入一套系统内完成 | high |
| DolphinDB 一体化设计 | 带来的效果 | 实现轻量化部署和运维 | medium |
| DolphinDB 实时流处理框架 | 部署模式 | 支持高可用模式部署 | high |
| DolphinDB 高可用部署 | 目的/效果 | 规避单点故障对实时生产系统造成业务影响 | medium |
| DolphinDB | 实时计算引擎 | 设计了多个独立实时计算引擎 | high |
| DolphinDB 实时计算引擎 | 开发方式 | 可让业务人员以低代码方式实现各种场景复杂计算 | medium |
| DolphinDB | 内置算子数量与特性 | 提供上百个实现了增量算法优化的内置算子 | medium |
| DolphinDB | 结果输出方式 | 支持内存交换方式输出计算结果 | medium |
| DolphinDB 整体计算链路 | 时延描述 | 将整体计算链路的时延压缩到极致 | low |
| DolphinDB | 批计算能力 | 作为时序数据库本身具有优秀的批计算能力 | medium |
| DolphinDB | 流批一体 | 批计算和流计算可使用同一套代码,并保证批计算与流计算结果完全一致 | high |
| 流批一体能力在金融等领域的价值 | 效果 | 帮助企业实现产研一体,极大缩减从投研到投产的周期 | medium |
| DolphinDB | 市场定位 | 国内领先的时序数据库厂商 | low |
| DolphinDB | 产品形态 | 集高性能时序数据库(time-series database)与全面的分析功能为一体 | medium |
| DolphinDB | 可用于的任务 | 海量结构化数据的存储、查询、分析、实时计算 | high |
| DolphinDB | 性能表述 | 实现 PB 级数据查询毫秒级响应以及复杂分析任务秒级响应 | medium |
| DolphinDB | 业务价值 | 助力企业实时商业决策 | low |
| DB-Engines 时序数据库排名 | 时间点 | 今年11月(文中语境为2022年11月)最新排名 | medium |
| DolphinDB(DB-Engines 时序数据库榜单) | 国内排名 | 第1 | medium |
| DolphinDB(DB-Engines 时序数据库榜单) | 全球排名 | 第9 | medium |
| DolphinDB(DB-Engines 前10) | 国产厂商属性 | 唯一进入前10名的国产厂商 | medium |
| 配图内容(页面内图片) | 图片展示主题 | 2022年11月DB-Engines网站发布的全球时序数据库排名情况,并红框标注 DolphinDB | low |
| DolphinDB(配图说明中的历史对比) | 2021年11月全球排名 | 第11名 | low |
| DolphinDB(配图说明中的历史对比) | 排名变化 | 2022年11月位列第9,相较于2021年11月第11名有显著提升 | low |