DolphinDB 库表创建向导：时序数据规划实践

What this page covers

• 时序数据规划的背景与常见用户问题
• 库表创建向导的总体方案（物联网与金融）
• 物联网场景向导的概述与面向用户
• 物联网简易版向导流程、引擎与配置规则
• 物联网进阶版向导的高阶配置项
• 金融场景向导的流程与关键规划因素
• 金融场景建表信息的约束与规则

技能认证特训营第二期报名活动

页面顶部包含培训营开营提示与限时报名链接入口。

• 提供“技能认证特训营第二期”的报名链接。

DolphinDB 库表创建向导：时序数据规划实践

文章页展示标题与作者、日期等基础信息。

• 文章标题为“DolphinDB 库表创建向导：时序数据规划实践”。
• 页面包含发布日期信息。

时序数据规划背景与用户痛点

介绍时序数据应用与时序数据库的重要性，并说明用户在数据规划中常见的两类问题。

• 时序数据适用于多类应用场景，例如物联网数据采集与金融交易分析。
• 时序数据库可利用索引与压缩技术存储时序数据，以支持读写效率。
• 用户规划时常需要设计数据结构、存储方案与分区策略以优化查询。
• 常见问题之一是确定数据需求（如类型、结构、关系、粒度与范围）。
• 常见问题之二是选择存储方案并进行性能优化（如索引与分区策略）。

库表创建向导总体方案（物联网与金融场景）

DolphinDB 针对物联网与金融两类场景提供库表创建向导，可收集信息并生成建库建表脚本。

• 向导面向物联网场景与金融场景。
• 向导可根据用户选择收集建库建表信息。
• 向导可生成库表创建脚本。

物联网场景向导概述

说明物联网数据类型（时序/非时序）、一库一表设计偏好，以及简易版与进阶版向导面向的不同用户群体。

• 物联网数据类型可分为时序数据与非时序数据。
• 时序数据指严格时间增长的数据，例如测点采集数据。
• 非时序数据指不随时间严格增长的数据，例如设备监控表中的阈值更新时间。
• 在物联网数据设计中，一库一表可能更符合业务需求（因结构与主键列名差异）。
• 物联网库表创建向导提供简易版与进阶版。
• 简易版面向对数据库不甚了解的用户（如领域业务专家）。
• 进阶版面向对 DolphinDB 领域知识相对了解的用户（如运维人员）。

物联网向导（简易版）流程与规则

简易版通过表单引导填写并生成脚本，隐藏部分配置，并包含引擎选择、列配置方式与常用筛选列规则。

• 简易版会隐藏部分存储与索引配置，并给出默认值以降低复杂度。
• 简易版步骤包含库名、表名、是否时序、数据量、测点数与列配置等信息输入。
• 时序数据选择日增数据量；非时序数据选择总数据量。
• 当为时序数据时需要输入测点数。
• 时序数据或总数据量大于 200 万的非时序数据使用 TSDB 引擎。
• 总数据量小于 200 万的非时序数据使用 OLAP 引擎。
• 列配置需要包含一列用于存储测点信息。
• 在 TSDB 或大数据量场景下，列配置需要时间列与枚举列。
• 在 OLAP 且较小数据量的非时序场景下，列配置需要枚举列。
• 列配置支持手动输入、本地文件导入与服务器文件导入。
• 常用筛选列指查询中经常作为筛选条件的列，位置越靠前越重要。
• OLAP（总数据量小于 200 万的非时序数据）无需选择常用筛选列。
• TSDB 场景下常用筛选列第一列需为时间列，第二列需为设备编号列。
• 脚本生成后可预览，并可直接执行或复制后修改。

物联网向导（进阶版）流程与高阶配置

进阶版在基础信息之外开放高阶配置项，包括存储引擎、并发写入、分区列、数据时间列、常用筛选列与重复数据处理策略。

• 进阶版提供更多高级配置，并将信息填写分为基本信息与高阶信息两步。
• 当为时序数据或非时序总数据量大于 200 万时开放高阶信息。
• 物联网场景的非时序数据也可能包含时间信息，但间隔不定。
• 高阶配置项包含存储引擎选择（OLAP 或 TSDB）。
• 高阶配置项包含是否允许并发写入同一分区。
• 允许并发写入时，锁冲突分区会被尝试写入，且不同 server 版本写入方式可能不同。
• release 200 及之前：数据节点申请分布式锁，失败分区 sleep 后重试直至完成。
• release 300 及之后：controller 统一队列调度，写入可能拆分为多个事务。
• 不允许并发写入时，若多分区写入发生锁冲突，该事务写入全部失败。
• 高阶配置项包含分区列选择，并会依据前置信息推荐分区列个数与类型。
• 物联网时序数据分区层数可根据日增数据量判断。
• 时序数据 1 层分区：只能选择时间列作为分区列。
• 时序数据 2 层分区：第一列为时间列，第二列为设备编号列。
• 非时序数据分区：选择设备编号列作为分区列。
• 高阶配置项包含数据时间列选择（非必选）。
• TSDB 且非时序数据时可展示数据时间列，并可用于查询优化的 sortColumns。
• 高阶配置项包含常用筛选列与唯一值数量，并可作为 sortColumns 用于查询优化。
• 仅 TSDB 引擎可选择常用筛选列（OLAP 分区内不支持索引）。
• 常用筛选列数量不能少于推荐个数，且仅支持可枚举类型（STRING、SYMBOL、CHAR）。
• 高阶配置项包含重复数据处理策略选择。
• 重复数据处理策略包含 ALL、LAST、FIRST。
• 脚本生成后可直接执行，也可返回修改或复制脚本修改。

金融场景向导概述与流程

阐述金融交易数据分析场景中日增量与标的重要性，并给出向导的三个步骤与分支路径。

• 金融领域中，股票交易数据分析被描述为至关重要。
• 金融场景建库建表规划强调日增量与标的重要性。
• 金融场景向导支持新建库表或基于现有库创建数据表。
• 金融场景向导包含“建库信息、建表信息、脚本生成”三个步骤。
• DolphinDB 在金融场景被描述为支持市场数据的实时存储与快速分析（低置信度表述）。

金融场景：建库信息

列出金融场景在现有库或新建库路径下的建库信息填写步骤与存储引擎选项。

• 建库信息步骤包含“选择是否使用现有库”。
• 选择现有库路径下需要“选择现有库”。
• 新建库路径下需要“输入新建库名”。
• 新建库路径下包含“选择日增量”。
• 新建库路径下包含“选择存储引擎：OLAP 或 TSDB”。

金融场景：建表信息与规则

列出金融场景建表信息填写步骤，包括列配置、时间列/标的列/分区列/常用筛选列的约束条件及示例界面引用。

• 建表信息包含“输入新建表名”。
• 金融场景列配置支持手动输入、本地文件导入与服务器文件导入。
• 金融场景表结构必须包含一列时间列。
• 时间列类型包括 DATE、DATETIME、TIMESTAMP、NANOTIMESTAMP。
• 新建库且总数据量大于 200 万时，需要选择严格按时序增长排序的时间类型列用于分区。
• 新建库且数据量条件满足时，需要选择标的列用于分区（仅支持 SYMBOL 与 STRING）。
• 已有库且该库存在分区时，需要选择与已有库分区信息一致的分区列数量与类型。
• 金融场景常用筛选列数量不多于 2 列。
• 金融场景常用筛选列需要为可枚举类型（如 CHAR、STRING、SYMBOL）。
• 生成脚本后提供预览，并可直接执行、返回修改或复制修改。

总结

重申向导面向金融与物联网两类常见场景，通过表单收集信息生成脚本以降低数据规划与建表门槛。

• 向导覆盖金融与物联网两类常见的时序数据库应用场景。
• 向导通过表单收集必要信息以生成建库建表脚本。
• 向导旨在降低对数据库专业知识的依赖，以支持数据规划与库表创建。

Facts Index