随机森林算法实现的性能对比测试

What this page covers

• 对比测试概述与评价指标。
• 测试软件（平台版本）。
• 环境配置（硬件与操作系统）。
• 数据生成（模拟数据与数据规模）。
• 模型参数（各平台统一设置与xgboost线程说明）。
• 测试结果（深度10与深度30）。
• 结果分析（准确率、性能、CPU与内存占用）。

技能认证特训营第二期正式开启（限时报名）

页面顶部包含活动/培训营报名提示与报名链接。

• 提供“技能认证特训营第二期”的报名入口。
• 报名链接指向外部页面。

随机森林算法实现的性能对比测试

给出文章标题、作者与发布日期信息。

• 作者署名为 Junxi。
• 发布日期为 2021-08-05。
• 文章主题为随机森林实现的性能对比测试。

对比测试概述与评价指标

说明随机森林的用途、对比的平台、评价指标，以及数据与任务设置（模拟二分类训练与预测）。

• 随机森林可用于分类问题。
• 随机森林可用于回归问题。
• 对比平台包括 scikit-learn、Spark MLlib、DolphinDB、xgboost。
• 评价指标包括内存占用、运行速度、分类准确性。
• 任务使用模拟数据进行二分类训练并对模拟数据预测。

测试软件（平台版本）

列出参与对比测试的软件平台与版本信息。

• scikit-learn 环境为 Python 3.7.1，scikit-learn 0.20.2。
• Spark MLlib 环境为 Spark 2.0.2，Hadoop 2.7.2。
• DolphinDB 版本为 0.82。
• xgboost 为 Python package，版本 0.81。

环境配置（硬件与操作系统）

给出CPU、内存、操作系统，并说明测试将数据载入内存、与磁盘无关。

• CPU 为 Intel(R) Xeon(R) CPU E5-2650 v4 2.20GHz（24核48线程）。
• 内存容量为 512GB。
• 操作系统为 CentOS Linux release 7.5.1804。
• 测试时数据会先加载到内存再计算。
• 随机森林算法的性能与磁盘无关。

数据生成（模拟数据与数据规模）

描述模拟数据的生成方式、分布假设、训练/测试集规模设置与脚本位置。

• 使用 DolphinDB 脚本生成模拟数据并导出为 CSV。
• 训练集平均分成两类。
• 两类特征服从多元正态分布 N(0,1) 与 N(2/sqrt(20),1)。
• 训练集中没有空值。
• 训练集规模 n 取 10,000、100,000、1,000,000。
• 特征数 p 取值为 50。
• 测试集规模为 1000 行。
• 测试集大小对准确性评估无显著影响（基于独立同分布假设）。

模型参数（各平台统一设置与xgboost线程说明）

列出随机森林训练参数，并解释xgboost在不同nthread下的性能现象与最终取值。

• 树的棵数设置为 500。
• 最大深度测试值为 10 和 30。
• 每次划分节点选取的特征数为 sqrt(总特征数)=7。
• Impurity 指标为基尼指数，适用于部分平台。
• maxBins 设置为 32，适用于部分平台。
• 并发线程数：scikit-learn、Spark MLlib、DolphinDB 取 48；xgboost 取 24。
• xgboost 在 nthread=48 时性能不理想。
• xgboost 最终使用线程数为 24。

测试结果（深度10与深度30）

给出两组（最大深度10/30）对比结果表（以图片形式）并配有说明性文字。

• 包含“树数量500、最大深度10”的结果条件说明。
• 包含“树数量500、最大深度30”的结果条件说明。
• 深度10的对比结果以表格/图片形式呈现。
• 深度30的对比结果以表格/图片形式呈现。

结果分析（准确率、性能、CPU与内存占用）

对四个平台的准确率、训练性能、CPU利用率与内存占用进行对比，并给出DolphinDB numJobs参数与xgboost实现差异解释。

• scikit-learn、Spark MLlib、DolphinDB 准确率相近，略高于 xgboost。
• 性能排序（高到低）：DolphinDB、scikit-learn、xgboost、Spark MLlib。
• scikit-learn 使用了所有 CPU 核。
• Spark MLlib 在 10,000 行时 CPU 峰值占用率约 8%。
• Spark MLlib 在 100,000 行时 CPU 峰值占用率约 25%。
• Spark MLlib 在 1,000,000 行时会因内存不足中断。
• DolphinDB 使用了所有 CPU 核。
• DolphinDB 在对比中速度最快。
• DolphinDB 内存占用为 scikit-learn 的 2–7 倍。
• DolphinDB 内存占用为 xgboost 的 3–9 倍。
• 可通过 numJobs 调整并行度以减少内存占用。
• xgboost 内存占用最少。
• xgboost 的实现不包含 bootstrap 过程。
• xgboost 对数据使用无放回抽样。

总结

概括各平台实现的总体表现与适用场景，并强调DolphinDB与数据库的无缝集成及numJobs权衡能力。

• scikit-learn 在性能、内存开销和准确率上较均衡。
• Spark MLlib 在性能和内存开销上不如其他平台。
• DolphinDB 的总体性能最优。
• DolphinDB 随机森林与数据库无缝集成，可直接训练与预测数据库数据。
• numJobs 提供内存与速度之间的权衡能力。
• xgboost 随机森林的应用场景侧重 boosted tree。

附录（数据生成与各平台脚本/代码）

提供模拟数据生成脚本以及 scikit-learn、Spark MLlib、DolphinDB、xgboost 的训练与预测脚本/代码。

• 附录1提供模拟生成数据的 DolphinDB 脚本。
• 附录2提供 Python scikit-learn 的训练与预测脚本。
• 附录3提供 Spark MLlib 的训练与预测代码（Scala）。
• 附录4提供 DolphinDB 的训练与预测脚本。
• 附录5提供 xgboost 的训练与预测脚本。
• 测试脚本位置说明为附录2~5。

Facts index