DolphinDB脚本语言的混合范式编程

What this page covers

• 活动通知与报名入口信息。
• 文章基本信息与教程范围说明。
• 向量化编程范式、示例、优化与局限。
• SQL在DolphinDB中的定位与融合方式。
• 面板数据与时间序列相关能力要点。
• 函数式、RPC、分布式计算与元编程概览。

技能认证特训营第二期报名信息

页面顶部提供活动通知，并给出限时报名链接。

• 技能认证特训营第二期状态为“正式开启”。
• 页面提供报名链接入口。

DolphinDB脚本语言的混合范式编程

给出文章标题、作者与日期，并引入语言设计动机与教程覆盖范围。

• 文章作者署名为 Junxi。
• 文章发布日期为 2021-08-05。
• DolphinDB脚本语言从SQL与Python汲取设计灵感。
• 教程讲解混合范式用于快速开发大数据分析应用。
• 教程涉及语言与数据库、分布式计算的融合。

向量化编程

介绍向量化范式、优势、示例、滑动窗口优化，以及局限与应对方案。

• 向量化编程是DolphinDB中最基本的编程范式。
• 多数函数支持向量作为输入参数。
• 函数可按返回值分为聚合函数与向量函数。
• 向量化操作的优点包括代码更简洁。
• 在向量相加示例中，for循环耗时可高于向量化百倍以上。
• 滑动窗口移动平均的朴素计算复杂度为 O(nk)。
• 滑动窗口指标函数可将复杂度优化到 O(n)。
• 并非所有操作都能向量化，部分场景需要逐行迭代。
• 向量化计算可能需要连续内存，内存碎片会带来约束。
• big array用于将不连续内存块组织为逻辑连续向量。

SQL编程

说明SQL在DolphinDB中的定位，并引出与脚本语言融合及相关扩展方向。

• SQL被描述为面向问题的语言。
• DolphinDB脚本语言支持SQL标准功能。
• SQL能力针对大数据分析（含时间序列）有扩展以简化代码。

SQL与编程语言的融合

说明SQL作为语言子集/表达式的使用方式、可引用上下文变量与函数、可动态生成，并可操作多种数据结构。

• SQL语句在DolphinDB中是语言子集或一种表达式。
• SQL表达式可直接赋值给变量或作为函数参数。
• SQL语句中可使用上下文创建的变量和函数。
• 涉及分布式表时，相关变量与函数可自动序列化到节点。
• SQL语句可动态生成，而非仅作为字符串。
• SQL不仅操作table，也可操作scalar、vector、matrix等结构。
• DolphinDB语言区分大小写，SQL关键词必须使用小写。
• EXEC语句相对select可返回matrix、vector或scalar。

对面板数据(Panel Data)的友好支持（context by）

介绍context by子句能力与示例，并提供量化因子计算性能案例。

• context by被引入用于处理面板数据。
• 其他系统可用窗口函数处理组内行数保持问题。
• context by可与select配合查询，也可与update配合更新。
• context by可使用现有字段或计算字段进行分组。
• context by不限制可用函数，并支持任意表达式组合。
• context by可与having配合过滤组内行。
• Alpha98案例给出C#与DolphinDB的耗时对比描述。

对时间序列数据的友好支持（时间类型、建模、join）

描述时间精度转换、序列关系建模，以及asof join与window join，并给出示例与参考链接。

• 数据库采用列式存储，计算采用向量化编程。
• 支持不同精度的时间类型。
• 可通过SQL将高频数据转换为较低频数据（秒/分/小时）。
• 支持lead、lag、sliding window与cumulative window建模。
• 提供asof join与window join两种联结方式。
• 页面给出window join文档链接。
• window join在金融中可用于关联trades与quotes以计算交易成本。
• 对同一问题，其他系统实现的性能被描述为落后两个数量级以上。

SQL的其它扩展（UDF、库内计算、组合字段）

列举SQL扩展能力，包括UDF在SQL中的使用、库内计算与组合字段输出方式。

• UDF无需编译、打包和部署即可在SQL中使用。
• UDF可在本节点或分布式环境的SQL中使用。
• SQL与分布式计算框架被描述为紧密集成，便于库内计算。
• 支持composite column将多个返回值输出到表的一行。
• 组合字段输出需为简单键值对或数组。
• 页面给出组合字段相关用户手册链接。

命令式编程

介绍命令式语句类型与示例，并给出海量数据场景的建议。

• DolphinDB支持命令式编程。
• 目前支持18种语句（含赋值、if..else、for、do..while等）。
• 页面提供编程语句用户手册链接（第五章）。
• 不推荐对海量数据逐行使用for、if..else等控制语句。
• 更建议向量编程、函数编程与SQL编程等方式。

函数化编程

概述函数式能力与常见特性，并给出相关用户手册链接。

• 支持纯函数。
• 支持自定义函数（udf）与lambda函数。
• 支持高阶函数、部分应用与闭包。
• 页面提供函数式编程用户手册链接（第七章）。

自定义函数和lambda函数

说明函数的约束与作用域限制，并通过示例展示用法。

• 函数体内只能引用函数参数与函数内局部变量。
• 函数体内不能引用函数体外定义的变量。
• 该限制被描述为牺牲部分灵活性但有助于软件质量。

高阶函数（cross/each/pivot等）

将高阶函数作为数据处理模板进行解释，并提供示例与函数枚举。

• cross抽象了A与B元素两两计算并输出矩阵的模式。
• 页面枚举了多个模板高阶函数名称（示例）。
• 示例包含模拟生成10000000个数据点（tick相关性例）。

部分应用(Partial Application)与保持状态

解释{}与()语法、部分应用的用途，以及在状态保持中的示例。

• 函数调用使用()，部分应用使用{}。
• ratios函数示例被描述为eachPre的部分应用。
• 部分应用可用于高阶函数以确保参数符合要求（示例）。
• 部分应用可用于保持函数状态（示例：累计均值）。

远程过程调用编程（RPC）

介绍RPC系统与远程执行能力，并概述remoteRun与rpc相关用法。

• 分布式文件系统、数据库与计算框架采用原创RPC系统。
• 可通过RPC在远程机器上执行代码。
• 参数可为多种数据结构，也可为函数（含自定义函数）。
• 可使用独占连接或节点间共享连接。

使用remoteRun执行远程函数

展示通过xdb连接并用remoteRun/句柄执行脚本、注册函数与本地自定义函数等示例。

• remoteRun用于在远程节点执行已注册函数或本地自定义函数。
• 示例以xdb连接作为执行通道。
• 本地自定义函数可序列化到远程节点执行。
• 远程执行权限等同于当前登录用户在本地的权限。

使用rpc执行远程函数（集群内复用连接）

说明rpc的使用范围、连接复用优势与执行限制，并给出示例。

• rpc只能在同一集群内的控制节点与数据节点之间使用。
• rpc复用已有网络连接以节约资源并减少创建连接延迟。
• rpc在远程节点一次只能执行一个函数。
• 运行脚本需封装在自定义函数内。
• 只能在控制节点(master)上创建用户。

使用其它函数间接执行远程函数（pnodeRun等）

讨论允许执行本地自定义函数的差异与安全注意点，并提及pnodeRun等函数。

• DolphinDB可在远程节点执行用户在本地自定义的函数。
• 相关能力需要规划与设置用户访问权限。
• 自定义函数目前必须使用DolphinDB脚本开发。
• pnodeRun用于在多个节点并行运行同一函数并合并结果。

分布式计算（mr / imr）

介绍mr/imr框架，并通过分布式线性回归与近似中位数示例说明用法与一致性描述。

• mr用于基于MapReduce的分布式计算。
• imr用于基于迭代MapReduce的分布式计算。
• 分布式示例使用的数据规模包含10000000（示例参数）。
• 自定义分布式算法myOLSEx结果被描述与内置ols一致（示例）。
• 近似中位数示例使用bucketCount并迭代细分区间以满足精度要求。

元编程

解释元编程定义、目的与实现方式，并列举常用函数集合。

• 元编程指用程序代码创建可动态运行的程序代码。
• 元编程目的包括延迟执行或动态创建代码。
• 可用尖括号<>表示延后执行的动态代码。
• 也可用函数创建表达式来实现元编程。
• 页面列出常用元编程函数，如objByName、sql、eval等。

小结

对DolphinDB作为面向数据分析并与分布式数据库/计算紧密集成的语言特性进行收束描述。

• DolphinDB被描述为为数据分析而生的编程语言。
• 其与分布式数据库和分布式计算紧密集成。
• 被描述为具备处理海量数据的能力。
• 支持SQL编程、函数化编程与元编程（概述性表述）。
• 支持向量化计算与分布式计算（概述性表述）。

Facts index