CN107132266A - 一种基于随机森林的水质分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于随机森林的水质分类方法及系统，该系统包括采样模块和分类模块。该方法包括：利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果。通过本发明方法及系统，能简单快捷地建立得到基于随机森林算法的水质类别判定模型，而且能在无需对样品进行繁多指标检测条件下，直接实现水质类别的快速鉴定，该系统具有操作简单、分析速度快、精确度高等优点。本发明作为一种基于随机森林的水质分类方法及系统可广泛应用于水质分析技术领域中。

Description

一种基于随机森林的水质分类方法及系统

技术领域

本发明涉及水质类型识别技术，尤其涉及一种基于随机森林的水质分类方法及系统。

背景技术

水是生命之源，水资源作为人类赖以生存的重要条件之一，在生活中扮演着极其重要的角色。但随着工业化、城市化等进程的加快，水资源的匮乏及污染程度日益加重，淡水资源面临巨大挑战。这不仅影响到人类的日常生活，同时也阻碍了社会的正常发展。因此，建立一种能快速、准确、实时的水质分类方法具有紧迫性与必要性，不仅能为水资源的管理以及合理利用提供科学准确的信息，也能为水资源保护法律法规的检测提供可靠的依据。

近年来，新技术新方法的发展对水质的分析起到了重要的推动作用。目前国家地表水环境质量标准(GB3838-2002)依据地表水水域环境功能和保护目标将其划分为Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ五类。传统用于水质分类的方法主要有单因子评价法、模糊评价法、灰色评价法、指数评价法和分级评价法等，但是，这些传统水质类别鉴定方法通常需要繁多指标包括化学需氧量、氨氮、总磷、铜、锌、铬、砷、铅等，操作复杂，费时费力，效率极低。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于随机森林的水质分类方法。

本发明的另一目的是提供一种基于随机森林的水质分类系统。

本发明所采用的技术方案是：一种基于随机森林的水质分类方法，该方法包括以下步骤：

利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；

通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果。

进一步，还包括建立水质类别判定模型这一步骤，所述建立水质类别判定模型这一步骤，其包括以下步骤：

对不同质量类别的水样进行质谱分析，从而获取得到对应的水样质谱数据，将由获取得到的水样质谱数据所构成的数据集作为水样质谱数据集；

将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型；

利用验证集对随机森林模型进行验证。

进一步，所述将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型这一步骤，其包括有以下步骤：

通过建立多棵自助采样形成的决策树，从而建立得到随机森林模型。

进一步，所述建立自助采样形成的决策树这一步骤，其具体包括以下步骤：

通过自助采样法，从水样质谱数据集所包含的N个水样质谱数据中，以有放回随机选取方式选取k个水样质谱数据，利用选取出的k个水样质谱数据来训练生成一棵决策树；

当决策树的每个节点需要分裂时，随机从水样质谱数据所包含的M个变量中选取m个变量，其中，m<<M；然后，从选取出的m个变量中，采用信息增益或基尼指数来选取一个变量作为对应节点的分裂变量。

进一步，所述通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果这一步骤，其具体包括：

将待测水质所对应的水样质谱数据输入至所述水质类别判定模型进行处理，从而导出对应的水样相似度矩阵；

采用多维标度分析法对导出的水样相似度矩阵进行降维，降维后得到的矩阵为待测水质的分类结果。

本发明所采用的另一技术方案是：一种基于随机森林的水质分类系统，该系统包括：

采样模块，用于利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；

分类模块，用于通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果。

进一步，还包括用于建立水质类别判定模型的模型建立模块，所述模型建立模块具体包括：

建模数据获取子模块，用于对不同质量类别的水样进行质谱分析，从而获取得到对应的水样质谱数据，将由获取得到的水样质谱数据所构成的数据集作为水样质谱数据集；

建模处理子模块，用于将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型；

验证子模块，用于利用验证集对随机森林模型进行验证。

进一步，所述建模处理子模块包括用于通过建立多棵自助采样形成的决策树，从而建立得到随机森林模型的建模单元。

进一步，所述自助采样形成的决策树，其建立步骤包括有：

通过自助采样法，从水样质谱数据集所包含的N个水样质谱数据中，以有放回随机选取方式选取k个水样质谱数据，利用选取出的k个水样质谱数据来训练生成一棵决策树；

当决策树的每个节点需要分裂时，随机从水样质谱数据所包含的M个变量中选取m个变量，其中，m<<M；然后，从选取出的m个变量中，采用信息增益或基尼指数来选取一个变量作为对应节点的分裂变量。

进一步，所述分类模块具体包括：

分类处理子模块，用于将待测水质所对应的水样质谱数据输入至所述水质类别判定模型进行处理，从而导出对应的水样相似度矩阵；

降维处理子模块，用于采用多维标度分析法对导出的水样相似度矩阵进行降维，降维后得到的矩阵为待测水质的分类结果。

本发明的有益效果是：本发明方法能在无需对样品进行繁多指标检测条件下，直接实现水质类别的快速鉴定，而且该方法具有操作简单、分析速度快、精确度高等优点。

本发明的另一有益效果是：通过本系统能够在无需对样品进行繁多指标检测条件下，直接实现水质类别的快速鉴定，该系统具有操作简单、分析速度快、精确度高等优点。

附图说明

图1是本发明一种基于随机森林的水质分类方法流程图；

图2是本发明一种基于随机森林的水质分类方法一具体实施流程步骤示意图；

图3是本发明一种基于随机森林的水质分类系统的结构框图；

图4是为Ⅰ类水质质谱图；

图5是为Ⅱ类水质质谱图；

图6是为Ⅲ类水质质谱图；

图7是为Ⅳ类水质质谱图；

图8是为Ⅴ类水质质谱图；

图9是随机森林模型的参数优化示意图；

图10是不同类别水质的分类结果示意图。

具体实施方式

如图1所示，一种基于随机森林的水质分类方法，该方法包括以下步骤：

利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；

通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果。

进一步作为本发明方法的优选实施方式，还包括建立水质类别判定模型这一步骤，所述建立水质类别判定模型这一步骤，其包括以下步骤：

对不同质量类别的水样进行质谱分析，从而获取得到对应的水样质谱数据，将由获取得到的水样质谱数据所构成的数据集作为水样质谱数据集；

将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型；

利用验证集对随机森林模型进行验证。

进一步作为本发明方法的优选实施方式，所述将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型这一步骤，其包括有以下步骤：

通过建立多棵自助采样形成的决策树，从而建立得到随机森林模型。

进一步作为本发明方法的优选实施方式，所述建立自助采样形成的决策树这一步骤，其具体包括以下步骤：

通过自助采样法，从水样质谱数据集所包含的N个水样质谱数据中，以有放回随机选取方式选取k个水样质谱数据，利用选取出的k个水样质谱数据来训练生成一棵决策树；

当决策树的每个节点需要分裂时，随机从水样质谱数据所包含的M个变量中选取m个变量，其中，m<<M；然后，从选取出的m个变量中，采用信息增益或基尼指数来选取一个变量作为对应节点的分裂变量。

进一步作为本发明方法的优选实施方式，所述通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果这一步骤，其具体包括：

将待测水质所对应的水样质谱数据输入至所述水质类别判定模型进行处理，从而导出对应的水样相似度矩阵；

采用多维标度分析法对导出的水样相似度矩阵进行降维，降维后得到的矩阵为待测水质的分类结果。

本发明方法一具体实施例

如图2所示，一种基于随机森林的水质分类方法，其具体包括以下步骤：

第一步骤：建立水质类别判定模型

所述第一步骤具体包括以下步骤：

S101、通过电喷雾萃取电离技术，对不同质量类别水样进行质谱分析，从而获取得到不同质量类别水样的质谱数据，即水样质谱数据，而这些数据为用于建立水质类型判定模型的数据；如图4至图8所示，其分别依次为Ⅰ类水质质谱图、Ⅱ类水质质谱图、Ⅲ类水质质谱图、Ⅳ类水质质谱图、Ⅴ类水质质谱图；

其中，将由步骤S101获取得到的所有水样质谱数据所构成的数据集作为水样质谱数据集；

S102、将获得的水样质谱数据进行预处理后，随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型；

其中，对于所述随机森林模型，其是由多棵自助采样形成的决策树组合而成，而所述自助采样形成的决策树，其建立生成步骤包括：

S1021、通过自助采样法，从水样质谱数据集所包含的N个水样质谱数据中，以有放回随机选取方式选取k个水样质谱数据，利用选取出的k个水样质谱数据来训练生成一棵决策树，作为决策树根节点处的样本，而未抽到的样本可作为包外数据用于预测，评估其误差；

S1022、当决策树的每个节点需要分裂时，随机从水样质谱数据所包含的M个变量中选取m个变量，其中，m<<M；然后，从选取出的m个变量中，采用信息增益或基尼指数来选取一个变量作为对应节点的分裂变量；

可见，通过重复执行上述步骤S1021～S1022，便可建立n棵决策树，构成随机森林模型；具体地，在水样质谱数据集中用于训练建立随机森林模型的数据构成训练集，而其它剩余的数据则构成验证集；

在本实施例随机森林自助采样过程中，每棵树建立时仅使用了水样质谱初始训练集63.2％的样本，而剩余的36.8％的样本作为构成验证集来对泛化性能进行“包外估计”，这36.8％的数据称为袋外数据，可以用于取代测试集进行误差估计和作为评价指标来优化参数，本实施例中得到的随机森林算法模型的参数优化如图9所示；其中，对于随机森林分类器，其主要需要优化两个参数：决策树的数量及每棵树生长时的变量数；当随机森林中子树的数量增加时，模型的稳定性和预测准确率增长，但同时占用更大的内存，运行速度变慢，而当变量数增加时，每棵树更强壮，一般能提高模型性能，但是同时增加了树之间的相关性，降低了单个树的多样性；

S103、通过多维标度分析法(MDS)对随机森林模型所得到的水样相似度矩阵进行降维；

S104、利用验证集对随机森林模型进行验证；

通过上述步骤建立得到的随机森林模型则为所需的水质类别判定模型。

第二步骤：利用上述建立好的水质类别判定模型来实现水质分类

S201、利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；

S202、将待测水质所对应的水样质谱数据输入至所述水质类别判定模型进行处理，从而导出对应的水样相似度矩阵；

S203、采用多维标度分析法对导出的水样相似度矩阵进行降维，降维后得到的矩阵为待测水质的分类结果，其为一可视化图。每棵树建成后，所有的水样质谱数据都达到该树的某个叶节点上，若两个水样落在每棵树的同一个叶子节点的频率越大，表明相似度越高，所以，从决策树导出的水样相似度矩阵能收集水样之间的相似性，从而将原始空间样本映射到相似性空间；而为了能直观方便地观测随机森林模型所导出的分类结果，本实施例还通过多维标度分析法(MDS)对随机森林模型所得到的水样相似度矩阵进行降维；由于采用MDS来实现水样相似度矩阵的降维，能尽可能地保留原始对象之间的相似性，也就是说，通过设有降维步骤，在达到直观方便观测分类结果这一效果的同时，还能保证这降维结果的精确性。本实施例中最终得到的不同类别水质的分类图如图10所示，本实施例得到的随机森林模型对未知样本验证得到的混淆矩阵则如表1所示。所述表1如下所示：

表1

对于上述第二步骤，其实现水质类别识别的过程约为1分钟，达到快速鉴别、处理效率高等效果。

上述方法实施例中的内容均适用于以下的系统实施例中。

如图3所示，一种基于随机森林的水质分类系统，该系统包括：

采样模块，用于利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；

分类模块，用于通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果。所述采样模块和分类模块，其可为程序模块，也可为硬件模块，通过采用处理器等硬件载体来实现。

进一步作为本发明系统的优选实施方式，还包括用于建立水质类别判定模型的模型建立模块，所述模型建立模块具体包括：

建模数据获取子模块，用于对不同质量类别的水样进行质谱分析，从而获取得到对应的水样质谱数据，将由获取得到的水样质谱数据所构成的数据集作为水样质谱数据集；

建模处理子模块，用于将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型；

验证子模块，用于利用验证集对随机森林模型进行验证。

进一步作为本发明系统的优选实施方式，所述建模处理子模块包括用于通过建立多棵自助采样形成的决策树，从而建立得到随机森林模型的建模单元。

进一步作为本发明系统的优选实施方式，所述自助采样形成的决策树，其建立步骤包括有：

通过自助采样法，从水样质谱数据集所包含的N个水样质谱数据中，以有放回随机选取方式选取k个水样质谱数据，利用选取出的k个水样质谱数据来训练生成一棵决策树；

当决策树的每个节点需要分裂时，随机从水样质谱数据所包含的M个变量中选取m个变量，其中，m<<M；然后，从选取出的m个变量中，采用信息增益或基尼指数来选取一个变量作为对应节点的分裂变量。

进一步作为本发明系统的优选实施方式，所述分类模块具体包括：

分类处理子模块，用于将待测水质所对应的水样质谱数据输入至所述水质类别判定模型进行处理，从而导出对应的水样相似度矩阵；

降维处理子模块，用于采用多维标度分析法对导出的水样相似度矩阵进行降维，降维后得到的矩阵为待测水质的分类结果。

由上述可得，本发明为一种基于随机森林算法的水质分类技术，它能在无需对样品进行繁多指标检测条件下，直接实现水质类别的快速鉴定，具有操作简单、分析速度快、精确度高等优点，解决了传统水质类别鉴定方法操作复杂、指标繁多、分析速度慢等局限性，将在环境保护、水产业、食品安全等相关技术领域具有巨大的潜在应用前景。而且利用随机森林算法来实现水质分类判别模型的建立，针对水质鉴别这一领域中，能达到步骤更简化、更易实现等有益效果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于随机森林的水质分类方法，其特征在于：该方法包括以下步骤：

利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；

通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果。

2.根据权利要求1所述一种基于随机森林的水质分类方法，其特征在于：还包括建立水质类别判定模型这一步骤，所述建立水质类别判定模型这一步骤，其包括以下步骤：

对不同质量类别的水样进行质谱分析，从而获取得到对应的水样质谱数据，将由获取得到的水样质谱数据所构成的数据集作为水样质谱数据集；

将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型；

利用验证集对随机森林模型进行验证。

3.根据权利要求2所述一种基于随机森林的水质分类方法，其特征在于：所述将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型这一步骤，其包括有以下步骤：

通过建立多棵自助采样形成的决策树，从而建立得到随机森林模型。

4.根据权利要求3所述一种基于随机森林的水质分类方法，其特征在于：所述建立自助采样形成的决策树这一步骤，其具体包括以下步骤：

通过自助采样法，从水样质谱数据集所包含的N个水样质谱数据中，以有放回随机选取方式选取k个水样质谱数据，利用选取出的k个水样质谱数据来训练生成一棵决策树；

当决策树的每个节点需要分裂时，随机从水样质谱数据所包含的M个变量中选取m个变量，其中，m<<M；然后，从选取出的m个变量中，采用信息增益或基尼指数来选取一个变量作为对应节点的分裂变量。

5.根据权利要求1-4任一项所述一种基于随机森林的水质分类方法，其特征在于：所述通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果这一步骤，其具体包括：

将待测水质所对应的水样质谱数据输入至所述水质类别判定模型进行处理，从而导出对应的水样相似度矩阵；

采用多维标度分析法对导出的水样相似度矩阵进行降维，降维后得到的矩阵为待测水质的分类结果。

6.一种基于随机森林的水质分类系统，其特征在于：该系统包括：

采样模块，用于利用电喷雾萃取电离质谱技术，获取得到待测水质所对应的水样质谱数据；

分类模块，用于通过基于随机森林算法而建立得到的水质类别判定模型，对获取得到的水样质谱数据进行类别判定处理，从而得到待测水质的分类结果。

7.根据权利要求6所述一种基于随机森林的水质分类系统，其特征在于：还包括用于建立水质类别判定模型的模型建立模块，所述模型建立模块具体包括：

建模数据获取子模块，用于对不同质量类别的水样进行质谱分析，从而获取得到对应的水样质谱数据，将由获取得到的水样质谱数据所构成的数据集作为水样质谱数据集；

建模处理子模块，用于将获得的水样质谱数据随机划分成训练集和验证集，利用随机森林算法对训练集进行建模处理，从而建立得到随机森林模型；

验证子模块，用于利用验证集对随机森林模型进行验证。

8.根据权利要求7所述一种基于随机森林的水质分类系统，其特征在于：所述建模处理子模块包括用于通过建立多棵自助采样形成的决策树，从而建立得到随机森林模型的建模单元。

9.根据权利要求8所述一种基于随机森林的水质分类系统，其特征在于：所述自助采样形成的决策树，其建立步骤包括有：

通过自助采样法，从水样质谱数据集所包含的N个水样质谱数据中，以有放回随机选取方式选取k个水样质谱数据，利用选取出的k个水样质谱数据来训练生成一棵决策树；

当决策树的每个节点需要分裂时，随机从水样质谱数据所包含的M个变量中选取m个变量，其中，m<<M；然后，从选取出的m个变量中，采用信息增益或基尼指数来选取一个变量作为对应节点的分裂变量。

10.根据权利要求6-9任一项所述一种基于随机森林的水质分类系统，其特征在于：所述分类模块具体包括：

分类处理子模块，用于将待测水质所对应的水样质谱数据输入至所述水质类别判定模型进行处理，从而导出对应的水样相似度矩阵；

降维处理子模块，用于采用多维标度分析法对导出的水样相似度矩阵进行降维，降维后得到的矩阵为待测水质的分类结果。