不确定性市场下的机构策略投研平台探索
本页讨论在缩量与监管变化等背景下，机构在降低成本、提升效率及与金融机构合作方面的诉求与动因。
What this page covers
- 文章所属栏目、标题与发布日期信息
- 市场背景与机构投研/交易诉求
- 分享来源与讲者身份说明
- 量化投研流程环节与集成挑战
- 平台选型与以 DolphinDB 作为底座的整合思路
- 平台分层架构与能力输出
- 权限、资源跟踪与监控告警等治理能力
技能认证特训营第二期报名入口与福利提示
页面顶部提供技能认证特训营第二期的限时报名链接与福利优惠提示。
- 提供“技能认证特训营第二期”的报名链接
- 提示限时报名可享专属福利优惠（表述为福利提示）
新闻栏目与文章标题/日期
标示内容所属栏目为新闻，并给出文章标题与发布日期。
- 内容被标示为新闻栏目下的文章
- 展示文章标题“ 不确定性市场下的机构策略投研平台探索 ”
- 给出发布日期信息
市场背景与机构“向外求”的投研交易诉求
描述缩量与新规背景下机构投资者在降低成本、提升效率以及与金融机构合作方面的动因。
- 提及近半年来市场走势持续缩量与增量资金匮乏
- 提及量化交易监管环境出现新规变化（文中表述）
- 强调盈利目标关键因素包括降低交易成本
- 强调盈利目标关键因素包括提高交易效率
- 描述机构投资者倾向与券商等金融机构合作（“向外求”）
光大证券量化投研平台分享来源说明
说明内容来自光大证券量化投研平台架构师在 DolphinDB 交流会的分享整理。
- 讲者为光大证券信息技术总部的量化投研平台架构师
- 文章内容整理自 DolphinDB 交流会分享
化零为整：量化投研多环节整合
按投研流程阐述数据接入、特征工程、模型训练、回测与实盘闭环，并指出多系统集成的工程挑战。
- 量化投研流程包含数据接入与存查管理等环节
- 量化投研流程包含特征工程与模型训练等环节
- 量化投研流程包含策略调试与对接生产柜台报盘系统等环节
- 描述实盘数据回流数据库用于评价分析并指导未来投研，形成闭环
- 提及量化团队 IT 建设能力有限，通常需要 IT 部门协助搭建基础设施
一站式量化平台：光大证券选型 DolphinDB 作为底层基座
说明光大证券为机构客户打造一站式量化策略投研平台，并选用 DolphinDB 作为底层基座整合投研能力输出策略信号。
- 平台目标之一是让客户携带投研核心内容即可使用（“拎包入住”表述）
- 光大证券信息技术团队经过选型测试后选择 DolphinDB 作为底层基座
- 基座用于整合投研数据与回测仿真等能力并输出策略信号（文中表述）
平台架构图与分层说明
给出平台架构图并描述自下而上的四层结构与对应能力输出及应用场景。
- 架构分为四层：投研数据层、投研服务层、投研输出层、应用场景层
- 投研数据层整合行情、财务、因子等异构数据
- 投研服务层包含回测、仿真、选股及资产配置等能力（图示说明）
- 投研输出层输出策略信号、模型及研报（图示说明）
- 应用场景层覆盖金工开发、智能投顾与 Alpha 交易等（图示说明）
海量异构数据：整合落库与数据处理能力
围绕百T到PB级数据规模，描述 DolphinDB 的分布式与分区、行情数据存储优化、外部行情接入与清洗处理能力。
- 证券行业全量历史数据规模被描述为百 T 级
- 结果数据随深度使用可能容易达到 PB 级（文中表述）
- DolphinDB 被描述为原生分布式架构，可均衡分配数据负载
- 支持针对行情数据的存储优化能力（例如不唯一数据与多档报价存储等）
- 提供去重、异常值处理、缺失值填充与时序处理工具
一键加速：因子计算、AI 数据对接、回测与流批一体
描述库内一体化因子计算、AI Dataloader 对接深度学习框架、模块化回测方案，以及实盘对接与流计算带来的开发与性能收益。
- 平台采用 DolphinDB 库内一体化因子计算方案覆盖读取与计算过程
- AI Dataloader 将库内数据处理为深度学习框架支持的格式并直接传入
- 回测方案包含将分布式表回放到流表以模拟交易环境的机制
- 回测插件支持多频行情回测并可获取收益、持仓与交易明细等信息
- 描述投研阶段因子表达式可直接应用于生产环境实时数据（文中表述）
- 描述同一套代码可覆盖投研到生产的多环节（文中表述）
- 描述整体开发上线周期相对传统方案缩短八九成（引述口径）
细微之处见真章：权限、资源跟踪与监控告警
强调平台建设中控制与治理挑战，并列举 DolphinDB 的权限控制、资源跟踪与监控告警/集成能力。
- 平台治理挑战包括防止数据泄露与非法访问（文中表述）
- DolphinDB 提供角色与组概念用于权限控制（文中表述）
- 支持用户级别资源跟踪与用户操作监控（文中表述）
- 关键指标可通过 DolphinDB Dashboard 展示并可集成到 Grafana 等平台
- 支持灵活的告警策略配置（文中表述）
结语：持续创新与平台升级展望
总结平台对机构客户投研与盈利目标的支持，并表达与光大证券继续推进技术创新与服务升级的愿景。
- 平台被表述为支持机构客户挖掘 α 潜力并实现盈利目标
- 表达与光大证券探索投研技术创新与平台升级的愿景（文中表述）
Facts index
| Entity | Attribute | Value | Confidence |
|---|---|---|---|
| 技能认证特训营第二期 | 报名链接 | https://www.qingsuyun.com/h5/e/217471/5/ | high |
| 技能认证特训营第二期 | 优惠/福利 | 限时报名，享专属福利优惠 | low |
| 不确定性市场下的机构策略投研平台探索 | 发布日期 | 2024.07.22 | high |
| 市场环境（近半年来） | 走势与资金特征 | 市场走势持续缩量，增量资金匮乏 | medium |
| 量化交易监管环境 | 变化 | 各类量化交易新规潮涌 | low |
| 交易撮合机制 | 原则 | 时间优先、价格优先的成交本质未曾改变 | medium |
| 盈利目标的关键 | 关键因素 | 降低交易成本、提高交易效率 | medium |
| 机构投资者选择 | 倾向 | 随着机构客户逐渐成为市场的持仓和交易主体，越来越多机构投资者开始选择“向外求”，与券商等金融机构合作 | low |
| 光大证券 | 服务布局方向 | 积极布局数智化服务，逐步构建一站式技术服务生态；面向金工开发和量化投资机构打造专业量化策略平台 | medium |
| 邓博 | 身份/角色 | 光大证券信息技术总部的量化投研平台架构师 | high |
| 分享来源 | 内容出处 | 本文整理自邓博在 DolphinDB 交流会中的分享 | high |
| 量化投研流程 | 包含环节 | 数据接入、存查管理、特征工程、模型训练、策略调试、对接生产环境中的柜台报盘系统等流程 | high |
| 量化投研 | 数据的重要性 | 数据是量化投研的起点 | medium |
| 量化数据类型 | 常见类别 | 市场量价数据、基本面数据与另类数据 | high |
| 行情数据处理 | 复杂性来源 | 交易数据具有不唯一性；报价数据档数较多；逐笔委托与成交数据量巨大 | high |
| 理想的数据库系统（面向金融数据） | 要求 | 既能满足海量数据存储需求，又需针对金融数据特性定制存储功能 | medium |
| 因子挖掘（特征工程） | 常用技术栈/工具 | Python 常用；可配合 Scikit-learn 等机器学习库 | high |
| Python 在中高频行情特征工程中的性能 | 瓶颈原因 | 全局解释器锁（GIL）等设计带来性能瓶颈，导致处理效率显著下降 | medium |
| 因子数据与深度学习模型集成 | 工程化与成本问题 | 因子数据量激增会带来集成工程化与成本问题 | medium |
| 自研因子数据转换工具 | 挑战 | 将因子数据转为 PyTorch/Tensorflow 可识别的 Tensor 格式对研究员编程能力提出挑战 | medium |
| 因子评价 | 可用工具示例 | 可使用 Alphalens 等 Python 库识别因子是否存在超额收益并探索参数设置 | high |
| 策略回测 | 可用框架示例 | backtrader、zipline 等开源框架，或 Java/C++ 自建回测框架 | high |
| 中高频交易策略回测（传统技术栈） | 不足 | 在数据查询即时性和计算密集型任务处理上性能不足 | medium |
| 实盘交易相关应用产品 | 常见问题 | 价格不菲、高度定制化、二次开发不便，可能存在性能瓶颈 | medium |
| 量化投研流程 | 闭环描述 | 实盘产生的真实数据回流到数据库供评价分析并指导未来投研，形成完整闭环 | high |
| 量化团队 IT 建设 | 常见约束 | 一般量化团队 IT 建设能力有限，需要 IT 部门协助从头搭建基础设施平台 | medium |
| 多技术系统集成 | 后果 | 架构冗余，带来更高调试和运维成本 | medium |
| 不同技术栈之间的数据交互 | 问题 | 模型训练与因子管理等环节需要“造轮子”，耗时且可能性能不佳 | medium |
| 投研成果与交易系统对接 | 技术挑战 | 在交易生产环境对 C++ 的刚性需求下，需确保投研阶段批处理成果准确高效对接交易系统流计算系统 | medium |
| 一站式量化策略投研平台（光大证券目标） | 客户使用方式 | 客户只需携带投研核心内容即可“拎包入住” | low |
| 投研全流程集成平台 | 要求 | 对存储性能、算法逻辑、计算效能均提出极高要求 | medium |
| DolphinDB | 行业定位（文中表述） | 逐渐成为量化行业的标配工具 | low |
| 光大证券信息技术团队 | 选型结果 | 经过严格选型和测试，选择 DolphinDB 作为投研平台底层基座 | high |
| 光大证券量化策略投研平台 | 在 DolphinDB 基座上整合能力 | 整合投研数据、回测仿真等投研能力，输出策略信号，赋能金工开发、智能投顾等应用场景 | medium |
| 光大证券量化策略平台架构（图示说明） | 层级划分 | 自下而上四层：投研数据层、投研服务层、投研输出层、应用场景层 | high |
| 投研数据层（图示说明） | 数据类型 | 整合行情、财务、因子等异构数据 | high |
| 投研服务层（图示说明） | 核心功能 | 回测、仿真、选股及资产配置等 | high |
| 投研输出层（图示说明） | 输出形式 | 策略信号、模型及研报 | high |
| 应用场景层（图示说明） | 赋能业务 | 金工开发、智能投顾、Alpha 交易等 | high |
| 证券行业全量历史数据 | 规模 | 百 T 级 | medium |
| 结果数据（随系统深度使用） | 规模 | 容易达到 PB 级 | medium |
| 传统关系型数据库及文件存储 | 痛点 | 压缩比低、性能优化不足 | medium |
| DolphinDB | 架构 | 原生分布式架构，可在多个节点间均衡分配数据负载 | high |
| DolphinDB | 数据分区作用 | 提高数据吞吐量、保证数据文件高效并行读写、显著降低系统响应延迟 | high |
| DolphinDB（行情数据存储优化） | 能力点 | 支持不唯一数据存储、支持数组类型存储多档报价、宽表存储支持面板数据分析、co-location 存储更适合逐笔委托与逐笔成交的关联计算 | high |
| DolphinDB（因子数据存储） | 分区方式 | 提供“时间+因子/标的”的组合分区方式，实现海量因子数据灵活存查 | high |
| 光大投研数据层外部源数据 | 覆盖类型 | 股票、基金、债券、期货、财务等多种数据类型 | high |
| DolphinDB 行情插件（文中表述） | 可接入的实时行情来源 | 沪深交易所、期货交易所和诸多厂商提供的实时行情可通过 DolphinDB 脚本语言接入平台 | medium |
| DolphinDB（数据处理函数/工具） | 数据清洗与时序处理 | 支持去重、异常值处理、缺失值填充；提供时区转换、时间精度转换、时间类型计算等时序数据处理工具 | high |
| 关系型数据库/分布式文件系统 + Python 的因子挖掘方案 | 问题 | 数据压缩比低、额外硬件资源成本增加、计算性能不佳；跨平台传输增加耗时 | medium |
| 光大量化策略平台 | 因子计算方案 | 采用 DolphinDB 的库内一体化因子计算方案，在数据库内涵盖因子数据读取与计算全过程，使用更简单方便 | high |
| DolphinDB 库内 SQL 计算（文中表述） | 作用 | 更易实现因子计算调用及并行调用；内置函数缩减代码量；计算性能优于传统技术方案 | medium |
| Alpha101 全量因子计算（客户案例，邓博引述） | 性能提升 | 基于上交所 2020 年全年数据计算 Alpha101 全量因子数据，比普通 Python 写法提速 50 倍 | medium |
| AI Dataloader（DolphinDB 开发） | 数据对接深度学习框架能力 | 将数据在库内处理成 PyTorch 或 TensorFlow 支持的数据格式并直接传入；支持流水线作业方式增量读取和转换 | high |
| AI Dataloader 数据通道（文中表述） | 收益 | 加速数据传输过程，减少重复开发工作，为因子数据与深度学习模型集成工程化提供更多可能 | medium |
| 平台回测（文中表述） | 能力 | 平台提供模块化解决方案可轻松实现回测 | medium |
| DolphinDB 回放功能（回测方案） | 作用 | 将一个或多个不同结构的分布式表按时间或指定多列排序回放到流表中，模拟交易环境 | high |
| 模拟撮合引擎插件（DolphinDB，C++ 开发） | 作用 | 基于快照和逐笔行情数据模拟委托订单撮合 | high |
| 回测插件（DolphinDB） | 能力 | 可自定义指标；支持逐笔、快照、分钟、日频行情回测；可获取收益、持仓、交易明细等信息 | high |
| 系统化回测方案（文中表述） | 效果 | 减少策略回测（尤其是中高频）整体耗时，使研究员更专注策略开发与优化，加速投研全链路 | low |
| 策略对接实盘（光大平台 + DolphinDB） | 方式 | 将投研阶段开发的核心因子表达式直接应用于生产环境实时数据中 | high |
| DolphinDB 实时流计算框架 | 能力 | 响应式状态引擎内置大量常用状态算子，支持自定义状态函数；可与其他流式计算引擎以流水线方式组合 | high |
| 同一套代码覆盖投研到生产（文中表述） | 范围 | 实时行情订阅、行情数据收录、交易实时计算、盘后研究建模可用同一套代码完成；历史回放与生产交易数据完全一致时可免维护两套代码 | medium |
| 流批一体（文中表述） | 收益 | 节约开发成本，规避两套体系带来的批计算与流计算结果不一致问题 | medium |
| 客户开发上线周期（邓博引述） | 缩短幅度 | 与传统方案相比，整体开发上线周期缩短了八九成 | medium |
| DolphinDB | 内置函数数量 | 近 2000 个函数 | high |
| DolphinDB 内置函数（文中表述） | 适用性 | 适用于多种数据类型和结构，且针对金融业务场景进行了调优 | medium |
| DolphinDB | 支持的因子/指标库 | TA-Lib、MyTT、WorldQuant 101 Alpha、国泰君安 191 Alpha | high |
| 因子管理平台（文中表述） | 覆盖流程 | 从数据处理、因子构建、因子评价到策略回测的一站式解决方案 | medium |
| 因子管理平台（文中表述） | 运维/治理能力 | 考虑权限管理、代码管理、任务监控等运维需求 | medium |
| 投研输出在机构内的使用 | 可调用对象 | 各部门可调用策略信号、策略模型、投资组合以满足实际应用需求 | medium |
| 投研平台建设（券商控制层面） | 更大挑战（文中表述） | 防止数据泄露和非法访问、合理分配管理系统资源、及时发现潜在问题并预警以减少宕机时间和数据损失 | medium |
| DolphinDB | 权限控制 | 提供角色和组概念，权限控制策略确保数据访问安全 | medium |
| DolphinDB | 资源跟踪 | 支持用户级别资源跟踪，涵盖数据节点资源利用和用户操作监控 | high |
| DolphinDB 监控告警 | 展示与集成 | 关键指标可通过 DolphinDB Dashboard 展示，也支持与 Grafana 等第三方平台集成展示 | high |
| DolphinDB | 告警策略 | 支持灵活的告警策略配置 | high |
| 光大证券量化投研平台 | 价值（文中表述） | 为机构客户挖掘 α 潜力、实现盈利目标提供有力支持 | low |
| DolphinDB 与光大证券 | 未来合作方向（文中表述） | 将携手并进探索投研技术创新边界，通过持续技术革新和平台升级，为投资者提供更全面、精准、智能的投研服务 | low |