DolphinDB流数据聚合引擎教程

What this page covers

• 流数据特点与聚合引擎的概述主题。
• 聚合引擎与订阅机制的应用框架与相关概念。
• 窗口长度、计算周期与时间对齐规则相关说明。
• 聚合表达式示例与限制（如嵌套限制）。
• 订阅前预处理/过滤无效数据的示例主题。
• 输出目标类型与二次聚合（多级聚合）的示例主题。
• createStreamAggregator 的语法、参数与优化函数列表相关内容。

技能认证特训营第二期报名促销

页面顶部包含报名活动提示与限时报名链接相关内容。

• 该部分为活动报名提示信息。
• 该部分包含与报名相关的链接入口。

DolphinDB流数据聚合引擎教程（作者与日期）

该部分展示文章标题、作者名与发布日期信息。

• 页面包含文章标题。
• 页面展示作者信息。
• 页面展示发布日期。

流数据与DolphinDB聚合引擎概述

该部分解释流数据特点及为何需要专门引擎，并介绍通过 createStreamAggregator 持续聚合并输出结果的能力。

• 该部分讨论流数据的特点与处理需求。
• 该部分说明需要专门的聚合引擎来处理流数据。
• 该部分提到可持续聚合流数据并持续输出结果。

聚合引擎应用框架

该部分说明聚合引擎与 subscribeTable 配合的使用方式，并列出流数据表、数据源、聚合表达式、窗口与计算周期等概念。

• 该部分描述 subscribeTable 与聚合引擎的配合方式。
• 该部分列出流数据表（streamTable）的概念。
• 该部分说明聚合引擎数据源为 createStreamAggregator 返回对象。
• 该部分描述聚合表达式（aggregators）的表达方式与示例形式。
• 该部分引入数据窗口（windowSize）与计算周期（step）的概念。

数据窗口（windowSize/step、时间对齐与示例）

该部分讲解窗口长度与计算间隔的定义、useSystemTime 的单位含义、对齐规则（alignmentSize）以及示例输出与窗口推导。

• windowSize 用于指定每次计算时截取的流数据窗口长度。
• step 用于指定触发计算的时间间隔。
• useSystemTime 决定 windowSize 与 step 的单位口径。
• 系统会根据 step 规整第一个数据窗口边界并确定 alignmentSize。
• 第一个窗口左边界规整公式为 firstDataTime/alignmentSize*alignmentSize（取整除法）。

聚合表达式（复杂表达式与限制）

该部分展示纵向/横向聚合、多结果输出、多参数函数与自定义函数的表达式示例，并说明不支持聚合函数嵌套。

• 该部分给出纵向聚合的表达式示例（如 sum(ofr)）。
• 该部分给出横向聚合的表达式示例（如 max(ofr)-min(ofr)）。
• 该部分展示一次输出多个聚合结果的表达式示例。
• 该部分展示多参数聚合函数调用示例（如 corr）。
• 该部分说明不支持聚合函数嵌套调用。

流数据源（订阅前预处理/清洗示例）

该部分说明 streamTable 作为输入数据源，并给出在 subscribeTable 中用自定义处理函数过滤无效数据的示例与结果。

• streamTable 是用于流数据发布的特定表对象。
• subscribeTable 可在数据进入聚合引擎前执行自定义预处理函数。
• 示例过滤条件包含 voltage<=0.02 或 electric==NULL。
• 订阅在每次新数据进入时触发指定规则以持续输入聚合引擎。

聚合引擎输出（输出到内存表或流表与二次聚合）

该部分说明输出可写入内存表或流数据表，并示例将聚合结果输出为流表后再订阅进行二次聚合计算。

• 聚合结果可输出到内存表或流数据表。
• 内存表输出可更新或删除，流数据表输出不可变更但可再次发布。
• 可将第一个聚合引擎输出为流数据表后进行二次聚合。
• 示例二次聚合包含对上一级结果求 max(avgElectric)。

createStreamAggregator 函数介绍及语法

该部分描述 createStreamAggregator 关联的输入源、聚合表达式与输出表，并给出语法、返回对象、参数说明与优化聚合函数列表。

• createStreamAggregator 语法包含 windowTime、rollingTime、aggregators、dummyTable、outputTable、timeColumn 等参数。
• createStreamAggregator 返回一个抽象表，用于将数据写入聚合引擎。
• useSystemTime 可用于选择时间驱动或数据驱动方式，默认值为 false。
• outputTable 的列结构包含时间列、可选分组列与聚合结果列。
• 部分聚合函数经过优化以减少重复计算。

示例：dummyTable 与分组聚合（keyColumn/garbageSize）

该部分通过 dummyTable 示例说明样本表作用，并通过分组聚合示例说明 keyColumn 分组、窗口触发与无数据窗口不输出。

• dummyTable 用于提供样本表对象，其表结构需与输入流表相同。
• 示例说明 dummyTable 是否包含数据不影响输出结果。
• keyColumn 可用于按分组列对输入流数据进行分组聚合。
• garbageSize 用于控制历史数据缓存清理阈值。
• 窗口内无数据时系统不会计算也不会产生结果。

总结

该部分概括 streamAggregator 与 streamTable 配合实现实时流数据计算，并列举支持的能力点。

• 该部分将 streamAggregator 描述为轻量且使用方便的流数据聚合引擎。
• 该部分提到支持纵向与横向的聚合计算形式。
• 该部分提到支持自定义函数与分组聚合。
• 该部分提到支持无效数据预清洗与多级计算。

Facts Index