如何快速搭建 Level-2 快照数据流批一体因子计算平台
本页为一篇新闻文章，围绕“如何快速搭建 Level-2 快照数据流批一体因子计算平台”及其发布时间信息展开。
What this page covers
- 新闻文章标题与发布日期信息
- DolphinDB 能力概述（直播内容背景）
- 大规模因子计算的工程化问题与需求
- 流批一体因子计算平台原型与价值主张
- 平台架构与功能模块
- 历史数据开发调试流程
- 实时数据生产部署流程
技能认证特训营第二期报名活动
页面顶部包含活动推广信息与报名链接。
- 提供“技能认证特训营第二期”的报名入口
- 给出可访问的报名链接
新闻：如何快速搭建 Level-2 快照数据流批一体因子计算平台
该部分呈现新闻文章标题与发布日期。
- 文章主题为“如何快速搭建 Level-2 快照数据流批一体因子计算平台”
- 文章发布日期为 2023.05.12
背景：直播内容与 DolphinDB 能力概述
该部分基于直播内容，概述 DolphinDB 的计算与流计算能力，并关联直播回放观看信息。
- DolphinDB 提供向量化计算能力以支持因子计算
- DolphinDB 支持函数式编程以简化高频数据因子计算
- DolphinDB 内置多个流计算引擎
- 系统可自动解析并将引擎串联以支持复杂因子流批一体计算
- B站账号 @DolphinDB智臾科技 提供直播回放观看入口
问题与需求：大规模因子计算工程化
该部分说明因子投研与生产中存在大量复杂指标的有状态加工需求，并指出重复建设与重复计算带来的低效问题。
- 投研与生产需要加工有状态的复杂指标
- 复杂指标示例包括实时 K 线
- 复杂指标示例包括 MACD
- 复杂指标示例包括 RSI
- 在大量因子场景下，重复搭建流处理框架会导致低效
- 在大量因子场景下，重复计算中间变量会导致低效
解决方案：流批一体因子计算平台原型与价值
该部分提出 DolphinDB 的流批一体因子计算平台原型，用于基于快照数据计算分钟因子并进一步加工为复杂因子，并描述对业务与开发人员的使用方式与收益描述。
- 平台原型可基于快照数据计算分钟因子
- 平台原型可将分钟因子进一步加工为复杂因子
- 业务人员可不必理解流计算框架底层架构即可使用
- 业务人员可按业务逻辑编写函数表达式并调度计算接口
- 开发人员可在投研与生产中使用同一套系统与脚本进行切换
架构与功能模块
该部分给出平台架构要点（两层计算）并列出实时接入、历史回放、流计算引擎、集成开发环境与消息总线发布等模块能力。
- 第一层使用时间序列聚合引擎计算不同频率的分钟因子
- 第二层通过响应式状态引擎将分钟因子加工为复杂因子
- 平台支持实时数据接入
- 平台支持历史数据回放
- 用户可通过 GUI、Vscode 及多种语言 API 交互
功能模块索引
- 实时数据低延时接入包含 API 实时写入接口
- 实时数据低延时接入包含实时行情接入插件
- 实时数据低延时接入包含消息中间件订阅插件
- 历史数据回放支持单表按时间顺序控速回放
- 历史数据回放支持多表按时间顺序控速回放
- 快照数据滚动窗口聚合使用时间序列聚合引擎
- 加工复杂因子依赖响应式状态引擎
- 集成开发环境包含 DolphinDB GUI
- 集成开发环境包含 DolphinDB Vscode
- 集成开发环境用于表达式代码开发与调试
- 通过 API 交互进行任务调度与作业执行
- 低延时消息总线发布可将结果推送到 Kafka
- 低延时消息总线发布可将结果推送到 zmq
- 低延时消息总线发布可将结果推送到 RabbitMQ
- 低延时消息总线发布可将结果推送到 MQTT
使用方式：历史数据开发调试流程
该部分描述基于历史数据进行因子开发与调试的方式，包括在集成开发环境中编写表达式、调用平台接口执行，并根据语法正确与否返回结果或报错中断。
- 在 DolphinDB 集成开发环境中编写因子计算函数表达式
- 调用平台计算接口完成调试
- 表达式符合 DolphinDB 语法时可成功执行并返回结果
- 表达式不符合 DolphinDB 语法时会报错中断
生产部署：基于实时数据的部署流程
该部分描述在生产环境中通过客户端调用实时因子计算服务进行部署，并说明部署后服务器端会出现用于接入与存储结果的入口/出口表对象。
- 因子业务开发人员可通过客户端调用实时因子计算服务执行函数完成部署
- 部署后服务器端会出现流计算服务入口（表对象）
- 入口（表对象）可用于接入数据
- 部署后服务器端会出现流计算服务出口（表对象）
- 出口（表对象）用于存储计算结果
步骤总结与后续计划
该部分总结因子上线的关键步骤，并说明当前范围与后续将发布的内容方向。
- 上线步骤包含：编写对应因子函数
- 上线步骤包含：生成 Json 配置文件
- 上线步骤包含：调度新的 Json 文件
- 本次推出的平台只涉及分钟频的因子计算
- 后续计划包括发布更高频因子计算平台构建最佳实践教程
Facts Index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 新闻文章《如何快速搭建 Level-2 快照数据流批一体因子计算平台》 | 发布日期 | 2023.05.12 | high |
| DolphinDB | 能力/特性（因子计算相关） | 具有强大的向量化计算、函数式编程等功能，使基于高频数据的因子计算变得简洁 | medium |
| DolphinDB | 内置流计算引擎与自动解析串联能力 | 内置多个流计算引擎，并能自动解析将引擎串联，实现复杂因子的流批一体计算 | medium |
| B站账号 @DolphinDB智臾科技 | 内容 | 可观看直播“打破 Python 束缚：Level 2 因子的脚本优化实践”完整回放 | medium |
| 因子投研和生产过程 | 需要加工的复杂指标示例 | 实时 K 线、MACD、RSI 等有状态复杂指标 | high |
| 因子计算规模示例 | 因子数量 | 1000 个因子（假设场景） | high |
| 重复搭建流处理框架与重复计算中间变量 | 影响 | 必然非常低效（在大量因子场景下） | medium |
| DolphinDB 流批一体因子计算平台原型 | 定位/特性 | 方便、快捷、扩展性好、兼容性强 | low |
| DolphinDB 流批一体因子计算平台原型 | 功能 | 基于快照数据计算分钟因子 | high |
| DolphinDB 流批一体因子计算平台原型 | 功能 | 进一步加工分钟因子为复杂因子 | high |
| 平台搭建与调试 | 提供内容 | 用户可根据给出的脚本和部署教程快速搭建和调试 | medium |
| 业务人员 | 使用门槛 | 无需理解 DolphinDB 流计算框架底层架构；只需按业务逻辑编写函数表达式并调度计算接口即可完成因子计算 | medium |
| 开发人员 | 工作变化/收益 | 无需再转写代码；因子投研和生产只需一套系统、一种脚本即可无缝切换 | medium |
| 因子计算平台 | 效果 | 极大降低开发运维成本，提高因子投产全流程效率 | low |
| Level 2 快照数据流批一体因子计算平台 | 架构内容（两层计算） | 第一层用时间序列聚合引擎计算不同频率的分钟因子；第二层通过响应式状态引擎加工为复杂因子 | high |
| Level 2 快照数据流批一体因子计算平台 | 数据接入能力 | 支持实时数据接入与历史数据回放 | medium |
| Level 2 快照数据流批一体因子计算平台 | 交互方式/工具 | 用户可通过 GUI、Vscode 及多种语言 API 进行交互 | medium |
| 功能模块：实时数据低延时接入 | 包含组件 | API 实时数据写入接口、实时行情接入插件、消息中间件订阅插件 | high |
| 功能模块：历史数据回放 | 能力 | 单表和多表严格按时间顺序控速回放，将存储在 DolphinDB 数据库中的历史数据回放成流 | high |
| 功能模块：流计算引擎 | 引擎使用方式 | 快照数据滚动窗口聚合使用时间序列聚合引擎；加工复杂因子依赖响应式状态引擎 | high |
| 功能模块：集成开发环境 | 工具与用途 | DolphinDB GUI 和 DolphinDB Vscode 用于因子表达式代码开发与调试，并通过 API 交互进行任务调度与作业执行 | high |
| 功能模块：低延时消息总线发布 | 对接对象 | 对接消息队列中间件，将实时计算结果推送到 Kafka、zmq、RabbitMQ、MQTT 等 | high |
| 因子开发阶段（基于历史数据） | 调试方式 | 在 DolphinDB 提供的集成开发环境编写因子计算函数表达式，调用平台计算接口完成调试 | high |
| 历史数据调试执行结果 | 成功条件 | 因子表达式符合 DolphinDB 语法则成功执行并返回计算结果 | high |
| 历史数据调试执行结果 | 失败条件 | 因子表达式不符合 DolphinDB 语法则报错中断 | high |
| 生产环境部署（基于实时数据） | 部署方式 | 因子业务开发人员通过客户端调用封装好的实时因子计算服务执行函数即可完成部署 | high |
| DolphinDB server（部署后） | 自动生成对象 | 出现流计算服务入口（表对象）与出口（表对象）；入口可用于接入数据，出口用于存储计算结果 | high |
| 因子计算平台上线步骤（总结） | 步骤 | 写对应因子函数；生成 Json 配置文件；调度新的 Json 文件 | high |
| 本次推出的因子计算平台 | 涉及范围 | 只涉及分钟频的因子计算 | high |
| 后续计划 | 将发布内容 | 将陆续发布快照频率、1s 频率甚至更高频率的因子计算平台构建最佳实践教程 | medium |
| 技能认证特训营第二期 | 报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |