DolphinDB 内存分区表的加载和操作

What this page covers

• 活动推广与报名入口信息。
• 文章信息与对内存分区表主题的导语说明。
• 创建非分区内存表与分区内存表的方法与注意事项。
• 将数据加载到未分区/分区内存表的多种导入方式与适用场景。
• 围绕示例表的插入、更新、删除与结构管理等常见操作。

技能认证特训营第二期报名推广

页面顶部提供活动推广内容，并给出限时报名链接。

• 页面包含“技能认证特训营第二期”的报名入口信息。
• 报名链接指向 qingsuyun.com 的页面。

DolphinDB 内存分区表的加载和操作（文章信息与导语）

本节给出文章标题、作者与日期，并说明内存数据表的分区类型适用范围及并行计算相关优势。

• 文章发布日期为 2021-08-05。
• 文章作者署名为 Junxi。
• DolphinDB 内存数据表可以是非分区或分区形态。
• 除组合分区外，多种分区方式可用于内存数据表。
• 分区内存表运算被描述为可发挥多核 CPU 并行计算优势。

创建内存数据表

本节介绍创建非分区内存表与分区内存表的方法，并提示创建与访问方面的注意事项。

• table 函数可用于创建非分区内存表。
• table(X,[X1],[X2],...) 的输入可为向量、矩阵或元组。
• table(X,[X1],[X2],...) 要求各列长度一致。
• table(capacity:size, colNames, colTypes) 可按容量/初始大小与列信息建表。
• 记录行数超出 capacity 时表会自动扩展。
• size 设为 0 可创建空表。
• size>0 时创建表会使用默认值填充。
• createPartitionedTable 函数可创建分区内存表。
• 创建分区内存表前需建立“内存分区数据库”，路径为空字符串。
• 内存分区表不能直接访问，需要使用 SQL 语句访问。

加载数据到内存表

本节通过模拟数据与多种导入函数，展示加载到未分区与分区内存表的方式，并给出适用场景与部分限制说明。

• 模拟数据集（trades）生成脚本包含参数 n=30000000。
• 示例 workDir 为 C:/DolphinDB/Data。
• loadText 可将文本文件数据导入到未分区的内存表。
• ploadText 可将文本文件导入为顺序分区的内存表。
• ploadText 方式要求文本文件小于可用内存。
• ploadText 方式被描述为无法用 sortBy! 做分区内有意义排序（等）。
• loadTextEx 可将文本文件导入为指定分区方式的表。
• loadTextEx 适用于分区内经常需要排序的情况。
• loadTextEx 适用于基于分区字段做 group by 或 context by 计算的情况。
• loadTextEx 相关的 directory 与 tableName 参数需使用空字符串("")。
• 内存分区表上的 sortBy! 是分区内排序，不是全表排序。
• timer(10) 的 SQL 说明为连续执行 10 次的总耗时。
• 当分组列与分区列相同时，分组计算性能被描述为最优。
• loadTable 可将磁盘分区表的全部或部分分区导入到内存表。
• loadTable 适用于文本文件大于可用内存且每次只需部分数据的场景。
• loadTable 适用于需要重复使用数据的场景。
• loadTable 的 memoryMode 需要设为 1，否则只加载元数据。
• loadTableBySQL 可通过 SQL 选择磁盘分区表的行/列载入内存分区表。
• loadTableBySQL 被描述为需与 loadTable 结合使用。
• loadTableBySQL 被描述为最灵活的方法（原文表述，低置信度）。

内存表的数据处理

本节以示例 trades 表为对象，概述内存表的常见数据处理操作，包括插入、更新、删除与表结构管理等。

• 内存表插入数据方式包含：SQL insert、append!、tableInsert。
• append! 插入要求新数据以“表”的形式表示。
• tableInsert 会返回插入的行数。
• 分区表上的 tableInsert 要求新数据以“表”的形式表示。
• 未分区表上的 tableInsert 允许新数据用元组形式表示。
• 内存表增加列方式包含：SQL update、update!、赋值语句。
• 内存表更新列方式包含：SQL update、update!、赋值语句。
• 内存表删除行方式包含：SQL delete 与 erase 语句。
• drop! 可用于删除列（示例为 trades.drop!("qty1")）。
• rename! 可用于重命名列（示例为 trades.rename!("qty2","qty2New")）。
• schema 函数可用于查看表结构。
• 删除内存表方式包括 undef 与将变量赋值为 NULL。
• undef 会删除命名空间；赋值为 NULL 仍保留命名空间。
• replaceColumn! 可用于修改列的数据类型。
• 修改列数据类型目前仅未分区内存表支持，分区内存表不支持。
• reorderColumns! 可用于修改列的顺序。
• 原文在列顺序段落中也出现“仅未分区表支持修改列数据类型”的限制表述。

Facts Index