CN104077128B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法，包括：获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；根据所述宏从特定文件中读取该宏对应的宏程序；设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理。本发明实施例还公开了一种数据处理装置。采用本发明实施例，实现对数据的快速处理，数据处理效率高，操作简单。

Description

一种数据处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着各种应用的发展，往往需要对各种变量所表示的数据进行数据处理，例如，在银行中需要对所有用户1月份的消费金额变量所表示的数据进行分析之前，为了分析更加准确，更加贴合大众的消费特点，则需要将所有用户1月份的消费金额变量所表示的数据进行相应的数据处理，比如，将所有数据中的异常值剔除，即是将所有用户1月份的消费金额变量所表示的数据中最大的1％剔除掉。现有的实现方法完全依靠人工，首先用户从不同的数据集中将所有用户1月份的消费金额变量所表示的数据整理在一个数据集中，计算消费金额的最高的1％的金额数值，在数据集中将大于该数值的记录进行剔除。这种数据处理方法完全依靠人工操作，在变量多的情况下，需要花费大量的时间，效率低下。

发明内容

本发明实施例提供一种数据处理方法及装置，可实现对数据的快速处理，数据处理效率高，操作简单。

本发明实施例提供了一种数据处理方法，包括：

获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

根据所述宏从特定文件中读取该宏对应的宏程序；

设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理。

相应地，本发明实施例还提供了一种数据处理装置，包括：

获取模块，用于获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

第一读取模块，用于响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

第二读取模块，用于根据所述宏从特定文件中读取该宏对应的宏程序；

数据处理模块，用于设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据处理方法的流程示意图；

图2是本发明实施例提供的另一种数据处理方法的流程示意图；

图3是本发明实施例提供的又一种数据处理方法的流程示意图；

图4是本发明实施例提供的又一种数据处理方法的流程示意图；

图5是本发明实施例提供的又一种触屏操作方法的流程示意图；

图6是本发明实施例提供的又一种数据处理方法的流程示意图；

图7是本发明实施例提供的又一种触屏操作方法的流程示意图；

图8是本发明实施例提供的一种数据处理装置的结构示意图；

图9是本发明实施例提供的一种第一读取模块的结构示意图；

图10是本发明实施例提供的另一种第一读取模块的结构示意图；

图11是本发明实施例提供的一种数据处理模块的结构示意图；

图12是本发明实施例提供的另一种数据处理模块的结构示意图；

图13是本发明实施例提供的又一种数据处理模块的结构示意图；

图14是本发明实施例提供的又一种数据处理模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例所述的数据处理方法可以应用于统计分析(Statistics AnalysisSystem，SAS)软件平台上，在SAS软件上输入控制指令，并根据控制指令中的宏控制语句对数据进行相应的数据处理，数据处理可以是在解决数据挖掘建模中变量预处理与预筛选，具体的，包括：数据质量检核、批量原始变量的提取、变量缺失值与异常值处理、自动生成衍生变量以及单变量选择等等。本发明实施例的运行方法不需要其他软件的支持，仅要求安装了SAS软件即可，并且不区分本端SAS软件还是服务器SAS软件。

请参照图1，为本发明实施例提供的一种数据处理方法的流程示意图；如图1所述，本实施例所述的一种数据处理方法包括步骤：

S100，获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

具体实施例中，当用户需要对待处理变量所表示的数据进行相应的数据处理时，需要输入控制指令，该控制指令可以包括宏控制语句，例如，在SAS软件的编辑窗口输入控制指令，该控制指令为宏控制语句。宏控制语句中包括需要调用的宏以及提示信息，需要调用的宏体现了用户需要对数据进行何种数据处理，提示信息用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，在SAS软件中宏可以是进行数据质量检核的宏，该宏所对应的数据处理即是数据质量检核。需要说明的是，提示信息的存在方式可以有多种，例如，在SAS软件中提示信息可以是与SAS软件相关联的表格存储路径，表格中存储了待处理变量所表示的数据存储路径，当需要获取待处理变量所表示的数据时，则需要先获取相关联的表格，再从表格中去获取待处理变量所表示的数据的存储路径；提示信息也可以是待处理变量所表示的数据存储路径，可以通过提示信息直接找到待处理变量所表示的数据，操作参数可以是数据变量名称，所提取的数据日期，需要计算的衍生变量的种类等等。

S101，响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

具体实施例中，响应所输入的控制指令，例如，当此数据处理方法是运用在SAS软件上，则响应所输入的宏控制语句，根据宏控制语句中的提示信息从数据存储路径的文件中读取待处理变量所表示的数据。因为提示信息的存在方式有多种，所以根据提示信息获取待处理变量所表示的数据的方式也有多种。

S102，根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，根据宏控制语句中的宏从特定文件中读取该宏对应的宏程序，需要说明的是，宏程序可以存储在一个文件中，也可以存储在多个文件中，可以根据控制指令中宏的名称读取相应的宏程序。

S103，设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理。

具体实施例中，调用相应的宏程序，并设置宏程序的执行参数为操作参数，从而实现对待处理变量所表示的数据进行相应的数据处理。具体的，这里相应的数据处理可以是数据质量检核、批量原始变量的提取、变量缺失值与异常值处理、自动生成衍生变量以及单变量选择等等。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图2，为本发明实施例提供的另一种数据处理方法的流程示意图；本实施例所述的另一种数据处理方法包括步骤：

S200，获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

具体实施例中，本实施例步骤S200参照图1所述实施例步骤S100，在此不再赘述。

S201，响应所述控制指令，根据所述提示信息获取所述预设表格，并读取所述预设表格中存储的所述待处理变量所表示的数据所在数据集存储路径，并将所述数据集存储路径确定为所述数据存储路径；

具体实施例中，当提示信息为预设表格存储路径信息，所述预设表格存储待处理变量所表示的数据所在数据集存储路径。

当在SAS软件中，预设表格与SAS软件相关联，在预设表格中由用户输入待处理变量所在数据集的逻辑库，即是数据集存储路径，当运行软件时，可以在该预设表格中获取到待处理变量所在数据集存储路径。

S202，从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据。

具体实施例中，从数据存储路径的文件中获取到数据集，再从数据集中获取待处理变量所表示的数据。例如，待处理变量为用户1月份消费金额，则从1月份的数据集中提取出所有用户消费金额数据。

S203，根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，本实施例步骤S203参照图1所述实施例步骤S102，在此不再赘述。

S204，设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理。

具体实施例中，本实施例步骤S204参照图1所述实施例步骤S103，在此不再赘述。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图3，为本发明实施例提供的又一种数据处理方法的流程示意图；本实施例所述的又一种数据处理方法包括步骤：

S300，获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

具体实施例中，本实施例步骤S300参照图1所述实施例步骤S100，在此不再赘述。

S301，响应所述控制指令，将所述数据集存储路径确定为所述数据存储路径；

具体实施例中，当提示信息为待处理变量所表示的数据所在数据集存储路径，则直接将该数据集存储路径确定为数据存储路径。

S302，根据所述提示信息从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据。

具体实施例中，根据提示信息中数据集存储路径获取到数据集，并从数据集中查找到待处理变量所表示的数据。

S303，根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，本实施例步骤S303参照图1所述实施例步骤S102，在此不再赘述。

S304，设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理。

具体实施例中，本实施例步骤S304参照图1所述实施例步骤S103，在此不再赘述。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图4，为本发明实施例提供的又一种数据处理方法的流程示意图；本实施例所述的又一种数据处理方法包括步骤：

S400，获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

具体实施例中，本实施例步骤S400参照图1所述实施例步骤S100，在此不再赘述。

S401，响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

具体实施例中，本实施例步骤S401参照图1所述实施例步骤S101，在此不再赘述。

S402，根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，本实施例步骤S402参照图1所述实施例步骤S102，在此不再赘述。

S403，调用所述宏程序；

S404，设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是变量名，输出格式，统计方法等等。

S405，所述宏程序根据所述操作参数，按照预设输出格式将所述待处理变量所表示的数据进行统计处理，并输出统计处理后的数据。

具体实施例中，该宏程序用于对数据质量检核，以使用户查看该变量的分布情况，是否有数据，分布如何，是否符合业务规则，从而决定是否提取该变量作为建模的原始变量。

具体的，统计处理可以是统计该变量所表示的数据的记录数、均值、缺失值、最小值、各个分位数、区间、区间记录数、区间百分比、累积百分比以及最大值等等，具体的统计处理方式可以是用户预先设定，例如，在SAS软件中，在调用宏程序％varchek时，对于数值型的变量，若没有指定输出格式，则统计该变量所表示的数据的记录数、均值、缺失值、最小值、各个分位数、最大值。对于字符型变量与指定输出格式的数值型变量，则统计该变量的区间记录数、区间百分比、累积百分比等。

进一步的，输出统计处理后的数据，具体的输出方式可以是，将所有变量的链接汇总在一页html格式的表格中，只要点击相应的变量即可以查看其分布。其分布即是对于该变量所表示的数据统计处理后的数据。

当对待处理变量所表示的数据进行质量检核后，可以提取待处理变量所表示的数据，这个也可以通过调用宏程序％varget，并运行后即可以得到按照新的变量命名对数据进行命名的数据。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图5，为本发明实施例提供的又一种数据处理方法的流程示意图；本实施例所述的又一种数据处理方法包括步骤：

S500，获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

具体实施例中，本实施例步骤S500参照图1所述实施例步骤S100，在此不再赘述。

S501，响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

具体实施例中，本实施例步骤S501参照图1所述实施例步骤S101，在此不再赘述。

S502，根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，本实施例步骤S502参照图1所述实施例步骤S102，在此不再赘述。

S503，调用所述宏程序；

S504，设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是将缺失值替换成的预设数值等等。

S504，所述宏程序根据所述操作参数，统计所述待处理变量所表示的数据的缺失率，并输出所述缺失率；

具体实施例中，在利用待处理变量所表示的数据进行建模之前，通常需要对待处理变量所表示的数据进行缺失值与异常值的处理。首先宏程序统计待处理变量所表示的数据的缺失率，并输出缺失率，以使用户了解该待处理变量所表示的数据的缺失情况。

S505，所述宏程序将所述待处理变量所表示的数据中的缺失值替换成预设数值。

具体实施例中，宏程序将待处理变量所表示的数据中的缺失值替换成预设数值，例如，将缺失值全部替换成数值0。需要说明的是，预设阈值可以是用户根据实际情况进行设定。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图6，为本发明实施例提供的又一种数据处理方法的流程示意图；本实施例所述的又一种数据处理方法包括步骤：

S600，获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

具体实施例中，本实施例步骤S600参照图1所述实施例步骤S100，在此不再赘述。

S601，响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

具体实施例中，本实施例步骤S601参照图1所述实施例步骤S101，在此不再赘述。

S602，根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，本实施例步骤S602参照图1所述实施例步骤S102，在此不再赘述。

S603，调用所述宏程序；

S604，设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是需要计算的原始变量名、需要计算哪些类型的衍生变量等等。

S605，所述宏程序基于所述操作参数，并根据所述待处理变量所表示的数据，计算所述待处理变量的预设衍生变量，并输出所述预设衍生变量。

具体实施例中，为了增加待处理变量的预测能力，往往需要对待处理变量进行各种形式的变换，例如，生成待处理变量的衍生变量，衍生变量可以是待处理变量所表示的数据中的最大值、最小值、均值以及趋势变量等等。一般根据实际情况，用户可以设置需要计算的预设衍生变量，宏程序通过统计学计算方法，计算出待处理变量的预设衍生变量，并输出所计算的预设衍生变量。以使用户从所输出的预设衍生变量分析该待处理变量所表示的数据分布情况。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图7，为本发明实施例提供的又一种数据处理方法的流程示意图；本实施例所述的又一种数据处理方法包括步骤：

S700，获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；；

具体实施例中，本实施例步骤S700参照图1所述实施例步骤S100，在此不再赘述。

S701，响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

具体实施例中，本实施例步骤S701参照图1所述实施例步骤S101，在此不再赘述。

S702，根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，本实施例步骤S702参照图1所述实施例步骤S102，在此不再赘述。

S703，调用所述宏程序；

S704，设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是对变量进行分类时所需要分的类别数，最后需要保留的变量数等等。

S704，所述宏程序根据每一个所述变量所表示的数据，计算该变量的信息值；

具体实施例中，待处理变量包括至少一个变量，为了实现对待处理变量中所包括的变量进行预筛选，筛选出具有预测能力的变量，则首先调用宏程序％var_chose计算二值型待处理变量或者连续型待处理变量的信息值。待处理变量中的每一个变量都有一个信息值。需要说明的是，变量的信息值表明该变量对目标变量的预测能力高低。

S705，所述宏程序将所述至少一个变量进行分类，获得至少一个类别；

具体实施例中，为了排除待处理变量中变量的共线性对模型效果的影响，则需要调用宏程序％varclus对变量进行分类，将具有共线性特点的变量归为一类，例如，在用户信用卡记录中，将用户消费次数与消费金额分为一类，将待处理变量中的所有变量进行分类，这样就可以获得多个类别。

S706，所述宏程序获取每一类别中信息值最高的变量，并将每一类别中信息值最高的变量确定为筛选后的变量。

具体实施例中，为了筛选出最有预测能力的变量，则需要调用宏程序将每一类别中信息值最高的变量挑选出来，并将每一类别中信息值最高的变量确定为筛选后的变量，输出筛选后的变量，以使用户可以将筛选后的变量代入模型中进行进一步的数据建模分析。需要说明的是，对待处理变量进行筛选的目的是降低待处理变量的维度。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

下面阐述本发明实施例提供的一种数据处理装置的具体实现。

请参照图8，为本发明实施例提供的一种数据处理装置的结构示意图。如图8所示，本实施例所述的一种数据处理装置包括：获取模块100、第一读取模块101、第二读取模块和数据处理模块102。

获取模块100，用于获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

具体实施例中，当用户需要对待处理变量所表示的数据进行相应的数据处理时，需要输入控制指令，该控制指令可以包括宏控制语句，获取模块100获取用户输入的携带有宏控制语句的控制指令。例如，在SAS软件的编辑窗口输入控制指令，该控制指令为宏控制语句。宏控制语句中包括需要调用的宏以及提示信息，需要调用的宏体现了用户需要对数据进行何种数据处理，提示信息用于提示待处理变量所表示的数据存储路径，以及对所述数据进行处理的操作参数，在SAS软件中宏可以是进行数据质量检核的宏，该宏所对应的数据处理即是数据质量检核。需要说明的是，提示信息的存在方式可以有多种，例如，在SAS软件中提示信息可以是与SAS软件相关联的表格存储路径，表格中存储了待处理变量所表示的数据存储路径，当需要获取待处理变量所表示的数据时，则需要先获取相关联的表格，再从表格中去获取待处理变量所表示的数据的存储路径；提示信息也可以是待处理变量所表示的数据存储路径，可以通过提示信息直接找到待处理变量所表示的数据，操作参数可以是数据变量名称，所提取的数据日期，需要计算的衍生变量的种类等等。

第一读取模块101，用于响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

具体实施例中，第一读取模块101响应所输入的控制指令，例如，当此数据处理方法是运用在SAS软件上，则响应所输入的宏控制语句，第一读取模块101根据宏控制语句中的提示信息从数据存储路径的文件中读取待处理变量所表示的数据。因为提示信息的存在方式有多种，所以根据提示信息获取待处理变量所表示的数据的方式也有多种。

第二读取模块102，用于根据所述宏从特定文件中读取该宏对应的宏程序；

具体实施例中，第二读取模块102根据宏控制语句中的宏从特定文件中读取该宏对应的宏程序，需要说明的是，宏程序可以存储在一个文件中，也可以存储在多个文件中，可以根据控制指令中宏的名称读取相应的宏程序。

数据处理模块103，用于设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理。

具体实施例中，数据处理模块103调用相应的宏程序，并设置宏程序的执行参数为操作参数，从而实现对待处理变量所表示的数据进行相应的数据处理。具体的，这里相应的数据处理可以是数据质量检核、批量原始变量的提取、变量缺失值与异常值处理、自动生成衍生变量以及单变量选择等等。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图9，为本发明实施例提供的一种第一读取模块的结构示意图。如图9所示，本实施例所述的一种第一读取模块包括：第一获取单元1010和第二获取单元1011。

第一获取单元1010，用于根据所述提示信息获取所述预设表格，并读取所述预设表格中存储的所述待处理变量所表示的数据所在数据集存储路径，并将所述数据集存储路径确定为所述数据存储路径；

具体实施例中，当提示信息为预设表格存储路径信息，所述预设表格存储待处理变量所表示的数据所在数据集存储路径。

当在SAS软件中，预设表格与SAS软件相关联，在预设表格中由用户输入待处理变量所在数据集的逻辑库，即是数据集存储路径，当运行软件时，第一获取单元1010可以在该预设表格中获取到待处理变量所在数据集存储路径。

第二获取单元1011，用于从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据。

具体实施例中，第二获取单元1011从数据存储路径的文件中获取到数据集，再从数据集中获取待处理变量所表示的数据。例如，待处理变量为用户1月份消费金额，则从1月份的数据集中提取出所有用户消费金额数据。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图10，为本发明实施例提供的另一种第一读取模块的结构示意图。如图10所示，本实施例所述的一种第一读取模块包括：确定单元1012和第三获取单元1013。

确定单元1012，用于将所述数据集存储路径确定为所述数据存储路径；

具体实施例中，当提示信息为待处理变量所表示的数据所在数据集存储路径，确定单元1012则直接将该数据集存储路径确定为数据存储路径。

第三获取单元1013，用于根据所述提示信息从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据。

具体实施例中，第三获取单元1013根据提示信息中数据集存储路径获取到数据集，并从数据集中查找到待处理变量所表示的数据。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图11，为本发明实施例提供的一种数据处理模块的结构示意图。如图11所示，本实施例所述的一种数据处理模块包括：第一调用单元1030、第一设置单元1031和统计处理单元1032。

第一调用单元1030，用于调用所述宏程序；

第一设置单元1031，用于设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是变量名，输出格式，统计方法等等。

统计处理单元1032，用于采用所述宏程序根据所述操作参数，按照预设输出格式将所述待处理变量所表示的数据进行统计处理，并输出统计处理后的数据。

具体实施例中，该宏程序用于对数据质量检核，以使用户查看该变量的分布情况，是否有数据，分布如何，是否符合业务规则，从而决定是否提取该变量作为建模的原始变量。

具体的，统计处理可以是统计处理单元1031统计该变量所表示的数据的记录数、均值、缺失值、最小值、各个分位数、区间、区间记录数、区间百分比、累积百分比以及最大值等等，具体的统计处理方式可以是用户预先设定，例如，在SAS软件中，在调用宏程序％varchek时，对于数值型的变量，若没有指定输出格式，则统计该变量所表示的数据的记录数、均值、缺失值、最小值、各个分位数、最大值。对于字符型变量与指定输出格式的数值型变量，则统计该变量的区间记录数、区间百分比、累积百分比等。

进一步的，输出统计处理后的数据，具体的输出方式可以是，将所有变量的链接汇总在一页html格式的表格中，只要点击相应的变量即可以查看其分布。其分布即是对于该变量所表示的数据统计处理后的数据。

当对待处理变量所表示的数据进行质量检核后，可以提取待处理变量所表示的数据，这个也可以通过调用宏程序％varget，并运行后即可以得到按照新的变量命名对数据进行命名的数据。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图12，为本发明实施例提供的另一种数据处理模块的结构示意图。如图12所示，本实施例所述的一种数据处理模块包括：第二调用单元1033、第二设置单元1034、统计输出单元1035和替换单元1036。

第二调用单元1033，用于调用所述宏程序；

第二设置单元1034，用于设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是将缺失值替换成的预设数值等等。

统计输出单元1035，用于采用所述宏程序根据所述操作参数，统计所述待处理变量所表示的数据的缺失率，并输出所述缺失率；

具体实施例中，在利用待处理变量所表示的数据进行建模之前，通常需要对待处理变量所表示的数据进行缺失值与异常值的处理。首先统计输出单元1033采用宏程序统计待处理变量所表示的数据的缺失率，并输出缺失率，以使用户了解该待处理变量所表示的数据的缺失情况。

替换单元1036，采用所述宏程序将所述待处理变量所表示的数据中的缺失值替换成预设数值。

具体实施例中，替换单元1034采用宏程序将待处理变量所表示的数据中的缺失值替换成预设数值，例如，将缺失值全部替换成数值0。需要说明的是，预设阈值可以是用户根据实际情况进行设定

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图13，为本发明实施例提供的又一种数据处理模块的结构示意图。如图13所示，本实施例所述的一种数据处理模块包括：第三调用单元1037、第三设置单元1038和计算输出单元1039。

第三调用单元1037，用于调用所述宏程序；

第三设置单元1038，用于设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是需要计算的原始变量名、需要计算哪些类型的衍生变量等等。

计算输出单元1039，用于采用所述宏程序基于所述操作参数，并根据所述待处理变量所表示的数据，计算所述待处理变量的预设衍生变量，并输出所述预设衍生变量。

具体实施例中，为了增加待处理变量的预测能力，往往需要对待处理变量进行各种形式的变换，例如，生成待处理变量的衍生变量，衍生变量可以是待处理变量所表示的数据中的最大值、最小值、均值以及趋势变量等等。一般根据实际情况，用户可以设置需要计算的预设衍生变量，计算输出单元1036采用宏程序通过统计学计算方法，计算出待处理变量的预设衍生变量，并输出所计算的预设衍生变量。以使用户从所输出的预设衍生变量分析该待处理变量所表示的数据分布情况。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

请参照图14，为本发明实施例提供的又一种数据处理模块的结构示意图。如图14所示，本实施例所述的一种数据处理模块包括：第四调用单元1040、第四设置单元1041、计算单元1042、分类单元1043和获取确定单元1044。

第四调用单元1040，用于调用所述宏程序；

第四设置单元1041，用于设置所述宏程序的执行参数为所述操作参数；

具体实施例中，操作参数可以是对变量进行分类时所需要分的类别数，最后需要保留的变量数等等。

计算单元1042，采用所述宏程序根据每一个所述变量所表示的数据，计算该变量的信息值；

具体实施例中，待处理变量包括至少一个变量，为了实现对待处理变量中所包括的变量进行预筛选，筛选出具有预测能力的变量，则计算单元1038首先调用宏程序％var_chose计算二值型待处理变量或者连续型待处理变量的信息值。待处理变量中的每一个变量都有一个信息值。需要说明的是，变量的信息值表明该变量对目标变量的预测能力高低。

分类单元1043，采用所述宏程序将所述至少一个变量进行分类，获得至少一个类别；

具体实施例中，为了排除待处理变量中变量的共线性对模型效果的影响，则需要分类单元1039调用宏程序％varclus对变量进行分类，将具有共线性特点的变量归为一类，例如，在用户信用卡记录中，将用户消费次数与消费金额分为一类，将待处理变量中的所有变量进行分类，这样就可以获得多个类别。

获取确定单元1044，采用所述宏程序获取每一类别中信息值最高的变量，并将每一类别中信息值最高的变量确定为筛选后的变量。

具体实施例中，为了筛选出最有预测能力的变量，则获取确定单元1040需要调用宏程序将每一类别中信息值最高的变量挑选出来，并将每一类别中信息值最高的变量确定为筛选后的变量，输出筛选后的变量，以使用户可以将筛选后的变量代入模型中进行进一步的数据建模分析。需要说明的是，对待处理变量进行筛选的目的是降低待处理变量的维度。

本发明实施例中，获取用户输入的携带有宏控制语句的控制指令，宏控制语句中包括需要调用的宏以及用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数，根据提示信息读取待处理变量所表示的数据，设置宏程序的执行参数为操作参数，并利用宏对应的宏程序对所获取的待处理变量所表示的数据进行相应的数据处理。这种数据处理方法，可实现利用宏对应的宏程序自动对数据进行处理，数据处理效率高，操作简单。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例终端中的模块或单元可以根据实际需要进行合并、划分和删减。

本发明实施例中所述模块或单元，可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

根据所述宏从特定文件中读取该宏对应的宏程序；

设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理；

其中，若所述提示信息中的所述数据存储路径为所述待处理变量所表示的数据所在数据集存储路径，

所述根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据，包括：

将所述数据集存储路径确定为所述数据存储路径，

根据所述提示信息从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据；

其中，若所述需要调用的宏为用于进行数据缺失值处理的宏，

所述设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理，包括：

调用所述宏程序，

设置所述宏程序的执行参数为所述操作参数，

所述宏程序根据所述操作参数，统计所述待处理变量所表示的数据的缺失率，并输出所述缺失率，

所述宏程序将所述待处理变量所表示的数据中的缺失值替换成预设数值。

2.如权利要求1所述的方法，其特征在于，若所述提示信息中的所述数据存储路径为预设表格存储路径信息，所述预设表格存储所述待处理变量所表示的数据所在数据集存储路径；

所述根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；包括：

根据所述提示信息获取所述预设表格，并读取所述预设表格中存储的所述待处理变量所表示的数据所在数据集存储路径，并将所述数据集存储路径确定为所述数据存储路径；

从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据。

3.如权利要求2所述的方法，其特征在于，若所述需要调用的宏为用于进行数据质量检核的宏；

所述设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理，包括：

调用所述宏程序；

设置所述宏程序的执行参数为所述操作参数；

所述宏程序根据所述操作参数，按照预设输出格式将所述待处理变量所表示的数据进行统计处理，并输出统计处理后的数据。

4.如权利要求2所述的方法，其特征在于，若所述需要调用的宏为用于生成衍生变量的宏；

所述设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理，包括：

调用所述宏程序；

设置所述宏程序的执行参数为所述操作参数；

所述宏程序基于所述操作参数，并根据所述待处理变量所表示的数据，计算所述待处理变量的预设衍生变量，并输出所述预设衍生变量。

5.如权利要求1所述的方法，其特征在于，若所述需要调用的宏为进行变量筛选的宏，所述待处理变量包括至少一个变量；

所述设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理，包括：

调用所述宏程序；

设置所述宏程序的执行参数为所述操作参数；

所述宏程序根据每一个所述变量所表示的数据，计算该变量的信息值；

所述宏程序将所述至少一个变量进行分类，获得至少一个类别；

所述宏程序获取每一类别中信息值最高的变量，并将每一类别中信息值最高的变量确定为筛选后的变量。

6.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取用户输入的携带有宏控制语句的控制指令，所述宏控制语句包括需要调用的宏以及提示信息，所述提示信息包括用于提示待处理变量所表示的数据存储路径以及对所述数据进行处理的操作参数；

第一读取模块，用于响应所述控制指令，根据所述提示信息从所述数据存储路径的文件中读取所述待处理变量所表示的数据；

第二读取模块，用于根据所述宏从特定文件中读取该宏对应的宏程序；

数据处理模块，用于设置所述宏程序的执行参数为所述操作参数，并利用所述宏程序对所述待处理变量所表示的数据进行相应的数据处理；

其中，若所述提示信息中的所述数据存储路径为所述待处理变量所表示的数据所在数据集存储路径，所述第一读取模块包括：

确定单元，用于将所述数据集存储路径确定为所述数据存储路径，

第三获取单元，用于根据所述提示信息从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据；

其中，若所述需要调用的宏为用于进行数据缺失值处理的宏，所述数据处理模块包括：

第二调用单元，用于调用所述宏程序，

第二设置单元，用于设置所述宏程序的执行参数为所述操作参数，

统计输出单元，用于采用所述宏程序根据所述操作参数，统计所述待处理变量所表示的数据的缺失率，并输出所述缺失率，

替换单元，采用所述宏程序将所述待处理变量所表示的数据中的缺失值替换成预设数值。

7.如权利要求6所述的装置，其特征在于，若所述提示信息中的所述数据存储路径为预设表格存储路径信息，所述预设表格存储所述待处理变量所表示的数据所在数据集存储路径；所述第一读取模块包括：

第一获取单元，用于根据所述提示信息获取所述预设表格，并读取所述预设表格中存储的所述待处理变量所表示的数据所在数据集存储路径，并将所述数据集存储路径确定为所述数据存储路径；

第二获取单元，用于从所述数据存储路径的文件中获取所述数据集，并从所述数据集中获取所述待处理变量所表示的数据。

8.如权利要求7所述的装置，其特征在于，若所述需要调用的宏为用于进行数据质量检核的宏；所述数据处理模块包括：

第一调用单元，用于调用所述宏程序；

第一设置单元，用于设置所述宏程序的执行参数为所述操作参数；

统计处理单元，用于采用所述宏程序根据所述操作参数，按照预设输出格式将所述待处理变量所表示的数据进行统计处理，并输出统计处理后的数据。

9.如权利要求7所述的装置，其特征在于，若所述需要调用的宏为用于生成衍生变量的宏；所述数据处理单元包括：

第三调用单元，用于调用所述宏程序；

第三设置单元，用于设置所述宏程序的执行参数为所述操作参数；

计算输出单元，用于采用所述宏程序基于所述操作参数，并根据所述待处理变量所表示的数据，计算所述待处理变量的预设衍生变量，并输出所述预设衍生变量。

10.如权利要求6所述的装置，其特征在于，若所述需要调用的宏为进行变量筛选的宏，所述待处理变量包括至少一个变量；所述数据处理单元包括：

第四调用单元，用于调用所述宏程序；

第四设置单元，用于设置所述宏程序的执行参数为所述操作参数；

计算单元，采用所述宏程序根据每一个所述变量所表示的数据，计算该变量的信息值；

分类单元，采用所述宏程序将所述至少一个变量进行分类，获得至少一个类别；

获取确定单元，采用所述宏程序获取每一类别中信息值最高的变量，并将每一类别中信息值最高的变量确定为筛选后的变量。