CN113611007B - 一种数据处理方法及数据采集系统 - Google Patents

Abstract

本发明公开了一种数据采集系统，包括：车载设备，适于采集执行采集任务过程中的车辆状态数据，其中采集任务中包含多个不同类型的指向危险驾驶行为的事件；至少一个摄像头，适于采集执行采集任务过程中的图像数据；移动终端，布置在车辆上，适于采集执行所述采集任务过程中的行车状态数据，还适于通过服务器与数据采集设备进行绑定；数据采集设备，布置在车辆上，与车载设备和至少一个摄像头分别耦接，以获取车辆状态数据和图像数据；服务器，适于将行车状态数据、车辆状态数据和图像数据进行关联处理，得到指示危险驾驶行为的标注数据。根据本发明的数据采集系统，能够得到高质量的针对危险驾驶行为的标注数据。

Description

一种数据处理方法及数据采集系统

技术领域

本发明涉及计算机技术领域，尤其涉及基于一种数据处理方法及数据采集系统。

背景技术

随着汽车行业的不断发展，以及人们对驾乘体验的需求攀升，人们对规避交通风险的需求日益增长。其中，识别危险驾驶行为是评估司机驾驶风险和预防交通事故的重要手段。

同时，识别危险驾驶行为的应用场景宽广。例如，随着车联网、自动驾驶、大数据监控等技术的发展，车队监控、驾驶行为车险因子以及行车辅助服务都悄然布局行程监控技术，而行程监控技术中科技感与实际应用价值最高的当属危险驾驶行为识别技术。又如，货运汽车群体是交通事故的高发群体，如何监控和规避货运车队的交通风险是货运行业亟待解决的问题。

另一方面，危险驾驶行为是一个具有复杂性与不确定的行为，在现有技术中，可以简单地利用加速度、角速度等运动学物理量的变化规则来定义危险驾驶行为，也可以利用驾驶行为所可能诱发未来车祸事故的概率大小来确定危险驾驶行为。但是，由于个人感知的差异，同样的危险驾驶行为在不同人群下的感知风险也是不同的，同时，司机驾驶习惯和路况的复杂性，会导致同样的危险驾驶行为所对应的客观风险大小也有差异。要想准确识别这些差异，就需要大量高质量的危险驾驶行为标注数据。

因此，亟需一种能够获取高质量的危险驾驶行为数据的方案。

发明内容

本发明提供了一种数据处理方法及数据采集系统，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种数据处理方法，在服务器中执行，包括步骤：响应于来自移动终端的绑定请求，通过行程标识，将移动终端与布置在车辆上的数据采集设备进行绑定；每隔第二时长，获取来自数据采集设备的第一行程数据，其中，所述第一行程数据是所述数据采集设备在接收到所述行程标识后开始采集的、在执行采集任务时车辆的数据；获取来自所述移动终端的第二行程数据，其中，所述第二行程数据是所述移动终端自接收到所述行程标识起所采集的、在执行采集任务时车辆的数据；获取所述行程标识对应的采集任务的配置信息；从所述配置信息中确定执行所述采集任务所对应的时间区间；根据所述时间区间，对所述第一行程数据和所述第二行程数据分别进行处理，得到对应的第三行程数据和第四行程数据；以及基于所述第一行程数据和所述第二行程数据的采集频率，对所述第三行程数据和所述第四行程数据进行对齐，得到对齐的第三行程数据和对齐的第四行程数据。

可选地，根据本发明的方法还包括步骤：当接收到来自移动终端的要与数据采集设备进行绑定的请求时，生成行程标识，并返回给所述移动终端；在接收到来自所述数据采集设备的心跳信号后，将所述行程标识发送给所述数据采集设备，其中，所述心跳信号是所述数据采集设备在启动后，每隔第一时长发送至所述服务器的，以便于所述服务器监控所述数据采集设备的联网状态。

可选地，在根据本发明的方法中，采集任务中包含多个不同类型的事件，所述事件指向危险驾驶行为；以及配置信息至少包括：所述采集任务中各事件的事件类型、事件标识和预期执行时间。

可选地，在根据本发明的方法中，数据采集设备分别与车载设备和摄像头相耦接，第一行程数据包括：在执行采集任务时，通过车载设备采集的车辆状态数据、和通过摄像头采集的图像数据；第二行程数据包括：在执行采集任务时，车辆的行车状态数据、和各事件的实际执行时间。

可选地，在根据本发明的方法中，从配置信息中确定执行所述采集任务所对应的时间区间的步骤包括：从所述配置信息中确定各事件的预期执行时间；判断各事件的所述预期执行时间与所述实际执行时间是否一致；若所述预期执行时间与所述实际执行时间一致，则将所述实际执行时间作为各事件对应的时间区间。

可选地，在根据本发明的方法中，根据时间区间，对第一行程数据和第二行程数据分别进行处理，得到对应的第三行程数据和第四行程数据的步骤包括：从所述车辆状态数据和图像数据中，分别截取出所述时间区间内对应的数据，作为第三行程数据；从所述行车状态数据中，截取出所述时间区间内对应的数据，作为第四行程数据。

可选地，在根据本发明的方法中，基于第一行程数据和第二行程数据的采集频率，对第三行程数据和第四行程数据进行对齐，得到对齐后第三行程数据和对齐的第四行程数据的步骤包括：基于所述第一行程数据和第二行程数据的采集频率，确定对齐频率；基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，以得到对齐的第三行程数据和对齐的第四行程数据。

可选地，在根据本发明的方法中，基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，以得到对齐的第三行程数据和对齐的第四行程数据的步骤，还包括：基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，得到采样后的第三行程数据和采样后的第四行程数据；若所述采样后的第三行程数据和/或所述采样后的第四行程数据中，存在数据缺失，则通过插值来补充缺失的数据，以得到对齐的第三行程数据和对齐的第四行程数据。

可选地，根据本发明的方法还包括步骤：结合所述配置信息和所述对齐的第三行程数据和对齐的第四行程数据，检查在执行所述采集任务时，司机的动作指令是否符合预设要求；若符合预设要求，则将所述对齐的第三行程数据和对齐的第四行程数据，作为指示危险驾驶行为的标注数据。

根据本发明的另一方面，提供了一种数据采集系统，包括：车载设备，适于采集用户执行采集任务过程中的车辆状态数据；至少一个摄像头，适于采集用户执行采集任务过程中的图像数据；移动终端，布置在车辆上，适于采集指向危险驾驶行为的行车状态数据；数据采集设备，布置在所述车辆上，与所述车载设备和所述至少一个摄像头分别耦接，以获取所述车辆状态数据和所述图像数据，所述数据采集设备还适于通过服务器与所述移动终端进行绑定；服务器，适于执行如上所述的方法，将所述行车状态数据、所述车辆状态数据和所述图像数据进行关联处理，得到指示危险驾驶行为的标注数据。

根据本发明的再一方面，提供了一种计算设备，包括：一个或多个处理器存储器；一个或多个程序，其中所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上任一方法的指令。

根据本发明的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令在被计算设备执行时，使得计算设备执行如上所述的任一方法。

综上所述，根据本发明的方案，考虑到第一行程数据以及第二行程数据的采集开始时间与采集结束时间会有差异，同时受网络传输的客观条件限制，数据还会被切分为多段上传至服务器。此外，第一行程数据和第二行程数据又涉及到多模态数据，包括但不限于，GPS定位数据、OBD数据、视频图像数据、指令模板的数据等，不同类型的数据其采集频率也不一致，因此，将采集的多源数据在时间和空间上进行耦合，保证了数据的对齐和质量。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一些实施例的数据采集系统100的示意图；

图2示出了根据本发明一个实施例的数据采集设备110的工作流程图；

图3A示出了根据本发明一个实施例的采集任务界面的示意图；

图3B示出了根据本发明一个实施例的事件描述信息的显示界面的示意图；

图4示出了根据本发明一些实施例的计算设备400的示意图；

图5示出了根据本发明一个实施例的数据处理方法500的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

随着移动终端应用和传感器硬件的发展，且鉴于移动终端(如，手机)与人直接绑定的属性，使其成为监控危险驾驶行为具有巨大潜力的监控设备。然而，移动终端虽然便于采集信息，但其传感器精度与质量均不及车载记录设备(如行车记录仪、OBD(On-BoardDiagnostics)系统)。用移动终端来监控驾驶行为，有如在限制感知能力的情况下认识世界，如何以小见大，甚至识别出潜在的深层的事故风险行为是极具挑战性的任务。此外，移动终端的传感器的噪音和不同机型的硬件差异，也会限制移动终端感知车辆客观真实的运动状态，进而阻碍了对危险驾驶行为的识别。

行程记录仪、OBD中枢均是与车绑定的一种精确采集方式，但在实际场景中，直接采集OBD数据来识别危险驾驶行为是困难的。同时，OBD系统由汽车厂商自主研发，一方面，汽车硬件差异导致不同车型可以获取的OBD数据具有差异；另一方面，不同车系(欧系、日系、美系)遵循不同的OBD协议，甚至有些小众车系遵循私有协议，而OBD协议是OBD数据加密与解析的关键。因此，OBD数据以及协议的多样性为采集不同车辆驾驶行为数据带来挑战。

有鉴于此，根据本发明的实施方式，提供了一种数据采集系统100，从多个方面来采集车辆的状态数据、以及车辆在行驶过程中的其他关键数据。之后，通过对这些多源数据进行处理，以分析出这些数据背后所蕴含的驾驶行为模式，进而确定出能够表征危险驾驶行为的数据。这些数据可以作为标注数据，用于后续的基于危险驾驶行为的相关分析中。根据本发明的实施方式，危险驾驶行为至少包括：急加速、急减速、急转弯、玩手机、打电话等。

在一种实施例中，保险公司根据用户驾驶车辆的风险行为和对车辆的使用情况，对不同用户进行差异化定价的保险。这种保险方式(算法)高度依赖于危险驾驶行为的识别效果，而采集高质量的、针对危险驾驶行为的标注数据，是提升算法与模型效果的关键。

在又一种实施例中，电子地图导航应用提供了驾驶评分功能，对用户每段自驾导航驾驶行程进行驾驶评分。驾驶评分即围绕着算法识别出的“危险驾驶行为”事件进行评分。因此，高质量的、针对危险驾驶行为的标注数据，是计算出准确评分的关键。

图1示出了根据本发明一个实施例的数据采集系统100的示意图。如图1所示，数据采集系统100包括：数据采集设备110、至少一个摄像头120、车载设备130、移动终端140和服务器150。根据一种实现方式，数据采集设备110分别与摄像头120、车载设备130耦接。此外，移动终端140还可以通过服务器150与数据采集设备110绑定。

车载设备130例如是OBD盒子，布置在车辆上，用来采集车辆状态数据。车辆状态数据至少包括以下数据中的一种或多种：车辆型号、平均油耗、瞬时油耗、续航里程、车速、转速、灯光状态、手刹状态、安全带状态、车门状态、车窗状态、转向角度、电池电压、水温、机油温度、油量百分比、电量百分比。

移动终端140通常布置在车辆上，通过布置在移动终端140中的各类传感器，来采集行车状态数据，包含定位数据(如，GNSS(Global Navigation Satellite System)数据)、IMU(Inertial Measurement Unit)数据(如加速度、旋转角度等)、接近度(由诸如proximity传感器进行度量，得到的移动终端140和其前方障碍物的距离)、运动状态、手机朝向、驾驶员接听电话状态、光感强度状态等。

此外，移动终端140上还可以布置有数据采集应用，用户通过操作该应用(APP)，来选择采集任务和事件、并根据相关指令进行输入，实现用户与移动终端140之间的人机交互。

根据本发明的一种实施方式，数据采集系统100中至少包含2个摄像头120，如图1所示。其中一个布置在制动踏板附近，用于采集驾驶员操作制动踏板时(例如，踩下制动踏板、松开制动踏板)的视频图像数据；另一个布置在主驾驶位附近，用于采集包含驾驶员的面部的视频图像数据。需要说明的是，此处仅作为示例，本发明实施例对摄像头120并不做限制。本领域技术人员可根据采集场景需求，增加或删减摄像头120的数量、或调整摄像头120的安装位置及采集对象。

在一种实施例中，数据采集设备110作为车载设备130的外接硬件，由车载设备130对其进行供电。根据本发明的一种实施例，数据采集设备110被固定在车辆内点烟器周围。优选地，在数据采集设备110的边缘处布置有多个螺丝孔，以对其进行固定。应当了解，数据采集设备110通常被布置在车辆的中控台周围，本发明的实施例对此不做过多限制。

在一种实施例中，数据采集设备110被实现为搭载瑞芯微RK3288处理器的微型计算存储设备，其外形为带有多个通信接口的金属盒子。根据本发明的实施方式，数据采集设备110通过USB通信接口，分别与各摄摄像头120建立连接；通过CAN通信接口，与车载设备130建立连接。

此外，数据采集设备110的内部主板附带有多种网络通信硬件，支持WIFI、4G、蓝牙等功能。同时，在数据采集设备110的外部，布置有可拆卸的信号增幅发射器。

此外，在根据本发明的一个实施例中，数据采集设备110搭载Linux操作系统，并且安装有相应的应用，能够实现与车载设备130的通信、且解析所获取的数据。应当了解，数据采集设备110搭载的操作系统还可以是Android或AliOS等已知或未来可知的操作系统，本发明实施例对此并不做限制。

此外，在数据采集设备110的外部，布置有二维码图像(例如，将二维码图像粘贴在数据采集设备110上，不限于此)，该二维码作为数据采集设备110的标识，能够与移动终端140进行绑定，以在移动终端140与数据采集设备110之间建立通信连接。

此外，数据采集设备110还具有临时存储模块，以存储来自车载设备130的车辆状态数据和来自摄像头120各种图像数据。

图2示出了根据本发明一个实施例的数据采集设备110的工作流程图。

根据本发明的实施方式，数据采集设备110在连接到车载设备130时，通过车载设备130的电源进行供电自启，且自启后自动联网。在启动后，数据采集设备110每隔第一时长(例如，5秒)发送一次心跳信号至服务器150，以便服务器150监控数据采集设备110的心跳状态。

当用户(例如，司机)在移动终端140上选择采集任务、并扫描数据采集设备110上的二维码图像时，服务器150生成一个行程标识，并返回给移动终端140。同时，服务器150在接收到新的心跳信号时，将该行程标识返回给数据采集设备110。因此，数据采集设备110也通过心跳信号来监听行程标识。在一次执行采集任务的过程中，数据采集设备110继续每隔第一时长向服务器150发送心跳信号，同时，作为心跳检测的响应，服务器150继续返回该行程标识给数据采集设备110，直至该次采集任务执行完毕，数据采集设备110接收到来自服务器150、行程标识为空的响应。

数据采集设备110监听行程标识，只要行程标识不为空，数据采集设备110便采集来自车载设备130的车辆状态数据、与来自摄像头120的图像数据，作为第一行程数据进行缓存。并且，每隔第二时长(例如，2分钟)将第一行程数据发送给服务器150。本发明实施例对第一时长和第二时长并不做过多限制，在一些优选地实施例中，第二时长大于第一时长。当行程标识为空时，数据采集设备110停止采集。

此外，在数据采集设备110启动后，还会定期(例如，10秒)检测新版本。当检测到有新版本时，进行版本更新。

结合图1和图2，以下以一次采集任务为例，简单说明根据本申请的数据采集系统100如何根据采集的数据，生成指示危险驾驶行为的标注数据。

需要说明的是，根据本发明的实施方式，在采用数据采集系统100进行数据采集时，通常会选择一个开阔的训练场地(如，驾校的训练场地)，且训练场地中尽可能包含各种道路情况(如，直行路段、弯道、坡道等)。同时，为确保采集流程安全有效地进行，选择有丰富驾驶经验的司机(如，驾校教练)来驾驶车辆，完成采集任务中的指定操作。

采集过程开始前，用户(如，司机)先登录布置在移动终端140上的数据采集应用，并选择一组采集任务。一组采集任务是多种不同类型的危险驾驶行为事件的集合。危险驾驶行为包括急加速、急减速、急转弯、玩手机、打电话等，每种危险驾驶行为又可以包含多种情形，如针对急加速这一类型，可以包含如下事件：低速急加速、中速急加速、高速急加速、红绿灯急加速、转弯后急加速、起步急加速。这样，一组采集任务可以表示为：{3个急加速、2个急转弯、2个急减速}，其中，急减速、急减速、急转弯等为不同的事件类型，同种事件类型下有不同要求具体事件，通常不同要求指的是对车速、执行时间等驾驶状态的要求。

选择一组数据采集任务后，用户还需要通过移动终端140扫描数据采集设备110上的二维码图像，移动终端140将其发送至服务器150，请求绑定。服务器150在接收到绑定请求后，检查是否存在绑定环境，若存在绑定环境，则生成行程标识，并分发给移动终端140和数据采集设备110。至此，移动终端140和数据采集设备110处于绑定状态，开始执行采集任务。在一种实施例中，绑定环境，即验证数据采集设备110是否处于可以上传数据的正常联网状态，其通过如上所述的心跳检测来验证，若在第一时长之内，服务器150收到来自数据采集设备110的心跳信号，则表示数据采集设备110处于正常联网状态。数据采集设备110在接收到行程标识后，指示车载设备130和摄像头120开始采集数据。并且，每隔第二时长，将第一行程数据发送给服务器150。此过程可参考图2的相关描述，此处不再赘述。

此外，在返回行程标识给移动终端140的同时，服务器150还会将采集任务对应的配置信息发送给移动终端140。配置信息至少包括：采集任务中各事件的事件类型、事件标识、预期执行时间和各事件类型对应的指令模板。指令模板适于提示用户在执行相应事件时的动作指令。

在一种实施例中，配置信息由服务器150预先生成。以指令模板为例，指令模板可以包含语音指令模板和文字指令模板，二者的内容可以是一致的。其中，文字指令模板通过文本方式显示在移动终端140上，以提示用户；而语音指令模板通过语音播放的方式来提示用户。语音指令模板中大部分固定内容有真人录音，保证了语音的连贯清晰，部分内容(主要为数字以及场景状态)满足采集多样性的需求。

在一种实施例中，急加速与急减速以踏板的操作为主，其指令模板相似，玩手机与打电话的指令模板则突出了比较复杂的状态场景，等等。这样，针对不同事件，指令模板的具体数据和场景不同，能够突出危险程度的差异，对于危险驾驶行为识别算法的训练是极富价值的。以下示出根据本发明实施方式的指令模板的几组示例，但不限于此。其中，用横线“____”示出的地方，即在后续执行时，针对各具体事件，生成其事件描述信息时，需要写入的操作数据(操作数据至少包括以下数据中的至少一个：速度、距离、时间、方向、执行动作等)，此处不再赘述。

a.针对急加速、急减速相关事件的指令模板

请系好安全带，并确保前方有____米直行安全距离。请将车辆初始速度达到____km/h(如果是起步急加速或者红绿灯急加速，初始速度为0，则为：请将车辆保持静止)。现在请在5秒倒计时之后______(填入动作，比如急踩油门、急踩刹车、轻缓急加速、轻缓急刹车等)。

b.针对急转弯相关事件的指令模板

请系好安全带，并确保前方_____米存在弯道。请将车辆初始速度达到____km/h，现在请在5秒倒计时后，请向___(左或右)急打方向盘__通过转弯路口。

c.针对玩手机相关事件的指令模板

请系好安全带，玩手机动作均由副驾驶人员来执行。请将车速达到____km/h。请在5秒倒计时之后，由副驾驶人员将手机放在_____位置上开始玩手机(看电影、玩游戏等)，并保持____秒。

d.针对打电话相关事件的指令模板

请系好安全带，接听电话动作均由副驾驶人员来执行。请将车速达到____km/h，并将手机放在手机支架上。请在5秒倒计时后进行打电话测试并让电话响铃____秒。请__________(接听电话_____秒、靠边停车接听电话____秒、正常行驶直到对方挂断电话、正常行驶并挂断电话、靠边停车并挂断电话)。

在开始采集后，移动终端140确定采集任务中多个事件的执行顺序，之后，在移动终端140的采集任务界面，以第一显示方式依序显示本次采集任务所对应的多个事件。

图3A示出了根据本发明一个实施例的采集任务界面的示意图。如图3A所示出的是在一次采集任务中，急加速类型事件的示意图。在采集任务界面上，可以显示各事件对应的基本信息，例如初始速度、训练动作、执行时间、执行次数等。如图3A所示，对“中速急加速训练”和“红绿灯急加速训练”事件的显示方式，即为第一显示方式。同时，对“低速急加速训练”事件的显示方式，为第二显示方式。第二显示方式区别于第一显示方式，用于显示已执行事件。

在一种实施例中，基于道路信息，来确定采集任务中多个事件的执行顺序。道路信息包括道路范围内全部或部分对象的静态和/或动态信息。例如可以是，道路是否开阔、是否有弯道，也可以是，道路范围内是否有障碍物、是否有运动物体等。道路信息可以通过V2X(Vehicle to X，车用无线通信技术)技术来获取，本发明实施例对此不做限制。

在另一种实施例中，也可以由实际根据路段条件，来选择多个事件的执行顺序。如，在一段开阔的路段上，司机可以选择在长距离的开阔直行路段，先执行急加速事件，在到达路口前，再执行急转弯事件。

之后，司机在采集任务界面上，选择其中一个事件。通常，司机会根据显示顺序选择各事件来执行，但不限于此。移动终端140输出被选中事件的事件描述信息，以引导用户根据事件描述信息执行该事件。具体地，移动终端140根据该事件类型对应的指令模板，生成该事件的事件描述信息。之后，在界面上显示该事件描述信息，图3B示出了根据本发明一个实施例的事件描述信息的显示界面的示意图。事件描述信息可以包含采集时的安全注意事项、驾驶的细节要求等。如图3B所示，分步骤展示了在执行“低速急加速”事件的过程中的具体操作要求。同时，移动终端140通过语音指令播放事件描述信息。

在一种实施例中，开始具体事件的采集后，会有30秒语音播报提示采集时的安全注意事项与驾驶的细节要求，随后进行一定时长倒计时(时长根据具体事件的采集要求而定，预定时长也可以作为事件描述信息的一部分)，司机在倒计时内按照事件描述信息执行操作，完成要求后即可进行确认操作，表示该事件执行完毕。继续如图3B，司机可以按照界面指示“滑动完成训练”，移动终端即可收到司机的确认操作。

在司机执行该事件的过程中，移动终端140中的相应传感器会采集车辆的行车状态数据。

同时，在这个过程中，响应用户对该事件的选择，移动终端140记录下当前时间，作为该事件的开始时间；响应于用户在执行完毕该事件后的确认操作，移动终端140记录下当前时间，作为该事件的结束时间。之后，将事件的开始时间和结束时间所对应的这一段时间，作为事件的实际执行时间。

可选地，移动终端140将该事件对应的事件标识、行车状态数据和实际执行时间关联存储。

在一个事件执行完毕后，移动终端140返回采集任务界面，并且，在采集任务界面上，以区别于第一显示方式的第二显示方式，来显示已执行事件，且已执行完成的事件为不可选的状态。如图3A所示，“低速急加速事件”为已执行完毕的事件，为不可选状态。司机选择其他事件任务进行采集。如果采集倒计时到，司机未完成相应的采集要求，司机需要选择未完成或执行失败，失败的数据不会上传。司机在合适的条件下选择未完成的事件进行再次采集即可。

司机重复上述过程直至所有具体事件任务均采集完成，所有事件均执行完毕，即可结束本次采集任务。在采集任务结束时，移动终端140将各事件的事件标识、行车状态数据和实际执行时间，作为第二行程数据，发送给服务器150。

在服务器150侧，每隔第二时长，获取来自数据采集设备110的第一行程数据；在采集任务执行完毕时，获取来自移动终端140的第二行程数据。这样，基于本次采集任务的行程标识，服务器150可以将第一行程数据和第二行程数据相关联。

在一次采集任务中，由于移动终端140接收行程标识的时间点、与数据采集设备110接收行程标识的时间点，存在一定的时间间隔(通常会小于5秒)，因此，第一行程数据以及第二行程数据的采集开始时间会有差异。同时，移动终端140在接收到用户的确认操作后，结束采集；数据采集设备110在接收不到该行程标识时，结束采集，故而，第一行程数据和第二行程数据的采集结束时间也存在差异。此外，受网络传输的客观条件限制，数据还会被切分为多段上传至服务器150。此外，第一行程数据和第二行程数据又涉及到多模态数据，包括但不限于，GPS定位数据、OBD数据、视频图像数据、指令模板的数据等，不同类型的数据其采集频率也不一致。因此，在根据本发明的实施例中，要将第一行程数据和第二行程数据在时间和空间上进行对齐，这对得到高质量的标注数据是非常重要的。

在一种实施例中，考虑到危险驾驶行为的实际执行时间受指令(即，指令模板的数据)控制，具体反映在移动终端140与司机的人机交互。因此，服务器150先确定执行采集任务所对应的时间区间。在一种实施例中，服务器150从配置信息中确定各事件的预期执行时间。然后，判断各事件的预期执行时间与实际执行时间是否一致。若预期执行时间与实际执行时间一致，则将实际执行时间作为各事件对应的时间区间。

接着，根据所确定的时间区间，对第一行程数据和第二行程数据分别进行处理，得到对应的第三行程数据和第四行程数据。在一种实施例中，从车辆状态数据和图像数据中，分别截取出时间区间内对应的数据，作为第三行程数据；从行车状态数据中，截取出时间区间内对应的数据，作为第四行程数据。

之后，基于第一行程数据和第二行程数据的采集频率，对第三行程数据和第四行程数据进行对齐，得到对齐的第三行程数据和对齐的第四行程数据，作为标注数据。在一种实施例中，在移动终端140的传感器中，GNSS的采集频率为1Hz，IMU的采集频率最高为10Hz；摄像头120的采集频率通常为20-30Hz；车载设备130的采集频率为10Hz。基于上述采集频率，确定对齐频率为1Hz。之后，基于对齐频率，对第三行程数据和第四行程数据进行采样，以得到对齐的第三行程数据和对齐的第四行程数据，作为标注数据。

在另一些实施例中，考虑到由于GPS信号丢失等问题，引起的采集频率不定或数据缺失的情况，在经采样得到第三行程数据和第四行程数据后，通过插值来补充缺失数据，将插值处理后的数据作为最终的标注数据。

根据本发明的数据采集系统100，除了连接车辆中控系统用于解析上传OBD等数据的外源设备(如，数据采集设备110及与其相耦接的车载设备130和摄像头120)外，还加入了移动终端140，从多个角度完整地刻画出危险驾驶行为对应的数据变化特征。而且，将整套多源数据的采集流程进行了简化，降低了采集者的理解成本和沟通成本。

此外，根据本发明的数据采集系统100，利用不同的事件配置生成指令模板，由专业驾校司机根据指令模板，实际执行危险驾驶行为，相比于事后的看图标注，获得的数据标注质量更高。同时，事件的配置信息可以理解为更细粒度的标注信息，对于研究与优化危险驾驶行为识别极富价值。

此外，根据本发明的数据采集系统100，将采集的数据在时间和空间上进行耦合，保证了数据的对齐和质量验证。

根据本发明的一种实施例，数据采集系统100及其中的各部分，均可通过一个或多个计算设备来实现。图4示出了根据本发明一个实施例的计算设备400的示意框图。

如图4所示，在基本的配置402中，计算设备400典型地包括系统存储器406和一个或者多个处理器404。存储器总线408可以用于在处理器404和系统存储器406之间的通信。

取决于期望的配置，处理器404可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器404可以包括诸如一级高速缓存410和二级高速缓存412之类的一个或者多个级别的高速缓存、处理器核心414和寄存器416。示例的处理器核心414可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器418可以与处理器404一起使用，或者在一些实现中，存储器控制器418可以是处理器404的一个内部部分。

取决于期望的配置，系统存储器406可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器406可以包括操作系统420、一个或者多个应用422以及数据424。在一些实施方式中，应用422可以布置为在操作系统上由一个或多个处理器404利用数据424执行指令。

计算设备400还包括储存设备432，储存设备432包括可移除储存器436和不可移除储存器438，可移除储存器436和不可移除储存器438均与储存接口总线434连接。

计算设备400还可以包括有助于从各种接口设备(例如，输出设备442、外设接口444和通信设备446)到基本配置402经由总线/接口控制器430的通信的接口总线440。示例的输出设备442包括图形处理单元448和音频处理单元450。它们可以被配置为有助于经由一个或者多个A/V端口452与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口444可以包括串行接口控制器454和并行接口控制器456，它们可以被配置为有助于经由一个或者多个I/O端口458和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备446可以包括网络控制器460，其可以被布置为便于经由一个或者多个通信端口464与一个或者多个其他计算设备462通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

一般地，计算设备400可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。在根据本发明的一种实施方式中，计算设备400也可以被实现为微型计算模块等。本发明的实施例对此均不做限制。

在根据本发明的实施例中，计算设备400被配置为执行根据本发明的数据采集方法，和/或，数据处理方法。其中，计算设备400的应用422中包含执行根据本发明的上述方法的多条程序指令。

图5示出了根据本发明一个实施例的针对危险驾驶行为的标注数据的生成方法500的流程图。方法500适于在服务器150中执行。需要说明的是，方法500和前文内容互为补充，重复部分不做赘述。

如图5所示，方法500始于步骤S510。在步骤S510中，响应于来自移动终端的绑定请求，通过行程标识，将移动终端与布置在车辆上的数据采集设备进行绑定。

根据一种实施例，当服务器150接收到来自移动终端140的要与数据采集设备110进行绑定的请求时，生成行程标识，并返回给移动终端140。之后，在接收到来自数据采集设备110的心跳信号后，将该行程标识发送给数据采集设备110，其中，心跳信号是数据采集设备110在启动后，每隔第一时长发送至服务器150的，以便于服务器150监控数据采集设备的联网状态。

随后在步骤S520中，每隔第二时长，获取来自数据采集设备110的第一行程数据。其中，第一行程数据是数据采集设备110在接收到行程标识后开始采集的、在执行采集任务时车辆的数据。

如前文所述，采集任务中包含多个不同类型的事件，各事件指向不同的危险驾驶行为。

并且，数据采集设备110分别与车载设备130和摄像头120相耦接。第一行程数据包括：在执行采集任务时，通过车载设备130采集的车辆状态数据、和通过摄像头120采集的图像数据。

随后在步骤S530中，获取来自移动终端140的第二行程数据。

其中，第二行程数据是移动终端140自接收到行程标识起所采集的、在执行采集任务时车辆的数据。第二行程数据包括：在执行采集任务时，车辆的行车状态数据、和各事件的实际执行时间。

随后在步骤S540中，获取行程标识对应的采集任务的配置信息。

配置信息可以预先在服务器150端生成。针对不同的危险驾驶行为，设置不同的事件，各事件有对应的事件类型和事件标识、以及所属事件类型对应的指令模板等。将不同事件的组合，作为一组采集任务，对应得到采集任务的配置信息。可选地，配置信息至少包括：采集任务中各事件的事件类型、事件标识和预期执行时间。预期执行执行可以是区间形式的，例如从13:00到13:05，不限于此。

随后在步骤S550中，从配置信息中确定执行采集任务所对应的时间区间。

在一种实施例中，先从配置信息中确定各事件的预期执行时间。之后，判断各事件的预期执行时间与实际执行时间是否一致。若预期执行时间与实际执行时间一致，则将实际执行时间作为该事件对应的时间区间。若预期执行时间与实际执行时间不一致，则说明本次采集任务数据有误，需要重新采集。

如前文所述，事件的实际执行时间是基于用户的输入(即，用户与移动终端140的交互)所生成的时间，具体包括：响应于用户对采集任务中一个事件的选择，所生成的该事件的开始时间；以及，响应于用户在执行完毕该事件后的确认操作，所生成的该事件的结束时间。

随后在步骤S560中，根据时间区间，对第一行程数据和第二行程数据分别进行处理，得到对应的第三行程数据和第四行程数据。

在一种实施例中，从车辆状态数据和图像数据中，分别截取出时间区间内对应的数据，作为第三行程数据；从行车状态数据中，截取出时间区间内对应的数据，作为对应的第四行程数据。

随后在步骤S570中，基于第一行程数据和第二行程数据的采集频率，对第三行程数据和第四行程数据进行对齐，得到对齐的第三行程数据和对齐的第四行程数据。

在一种实施例中，先基于第一行程数据和第二行程数据的采集频率，确定对齐频率。

之后，基于对齐频率，对第三行程数据和第四行程数据分别进行采样，以得到对齐的第三行程数据和对齐的第四行程数据。该第三行程数据和第四行程数据，就可以作为指示危险驾驶行为的标注数据。

在又一些实施例中，考虑到所采集的数据中可能存在数据缺失等问题，因此，基于对齐频率，对第三行程数据和第四行程数据进行采样的步骤，还包括：基于对齐频率，对第三行程数据和第四行程数据分别进行采样，得到采样后的第三行程数据和采样后的第四行程数据；若采样后的第三行程数据和/或采样后的第四行程数据中，存在数据缺失(例如，在某个采样时间点，缺少图像数据，不限于此)，则通过插值来补充缺失的数据，以得到对齐的第三行程数据和/或对齐的第四行程数据。应当了解，本发明实施例并不限制采用何种方式来进行插值。

根据再一些实施例，在得到对齐的第三行程数据和对齐的第四行程数据之后，还包括步骤：

结合配置信息和对齐的第三行程数据和对齐的第四行程数据，检查在执行采集任务时，用户的动作指令是否符合预设要求。预设要求例如是，司机执行的动作是否符合速度、持续时间上的要求，不限于此。若符合预设要求，则将对齐的第三行程数据和对齐的第四行程数据，作为指示危险驾驶行为的标注数据。

根据本发明的数据处理方法500，考虑到第一行程数据以及第二行程数据的采集开始时间与采集结束时间会有差异，同时受网络传输的客观条件限制，数据还会被切分为多段上传至服务器150。此外，第一行程数据和第二行程数据又涉及到多模态数据，包括但不限于，GPS定位数据、OBD数据、视频图像数据、指令模板的数据等，不同类型的数据其采集频率也不一致，因此，将采集的多源数据在时间和空间上进行耦合，保证了数据的对齐和质量。此外，在对多源数据进行对齐处理时，以危险驾驶行为的实际执行时间为基准，与指令模板中的预期执行时间进行比对，进一步确保了所采集数据的指令。

本发明一并公开了：

A8、如A7所述的方法，其中，所述基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，以得到对齐的第三行程数据和对齐的第四行程数据的步骤，还包括：基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，得到采样后的第三行程数据和采样后的第四行程数据；若所述采样后的第三行程数据和/或所述采样后的第四行程数据中，存在数据缺失，则通过插值来补充缺失的数据，以得到对齐的第三行程数据和对齐的第四行程数据。A9、如A1-8中任一项所述的方法，还包括步骤：结合所述配置信息和所述对齐的第三行程数据和对齐的第四行程数据，检查在执行所述采集任务时，司机的动作指令是否符合预设要求；若符合预设要求，则将所述对齐的第三行程数据和对齐的第四行程数据，作为指示危险驾驶行为的标注数据。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (11)

1.一种数据处理方法，在服务器中执行，包括步骤：

响应于来自移动终端的绑定请求，通过行程标识，将所述移动终端与布置在车辆上的数据采集设备进行绑定；

每隔第二时长，获取来自所述数据采集设备的第一行程数据，其中，所述第一行程数据是所述数据采集设备在接收到所述行程标识后开始采集的、在执行采集任务时车辆的数据；

获取来自所述移动终端的第二行程数据，其中，所述第二行程数据是所述移动终端自接收到所述行程标识起所采集的、在执行采集任务时车辆的数据；

获取所述行程标识对应的采集任务的配置信息；

从所述配置信息中确定执行所述采集任务所对应的时间区间；

根据所述时间区间，对所述第一行程数据和所述第二行程数据分别进行处理，得到对应的第三行程数据和第四行程数据；以及

基于所述第一行程数据和所述第二行程数据的采集频率，对所述第三行程数据和所述第四行程数据进行对齐，得到对齐的第三行程数据和对齐的第四行程数据；

结合所述配置信息和所述对齐的第三行程数据和对齐的第四行程数据，检查在执行所述采集任务时，司机的动作指令是否符合预设要求；

若符合预设要求，则将所述对齐的第三行程数据和对齐的第四行程数据，作为指示危险驾驶行为的标注数据。

2.如权利要求1所述的方法，其中，所述响应于来自移动终端的绑定请求，通过行程标识，将所述移动终端与布置在车辆上的数据采集设备进行绑定的步骤包括：

当接收到来自移动终端的要与数据采集设备进行绑定的请求时，生成行程标识，并返回给所述移动终端；

在接收到来自所述数据采集设备的心跳信号后，将所述行程标识发送给所述数据采集设备，其中，所述心跳信号是所述数据采集设备在启动后，每隔第一时长发送至所述服务器的，以便于所述服务器监控所述数据采集设备的联网状态。

3.如权利要求1所述的方法，其中，

所述采集任务中包含多个不同类型的事件，所述事件指向危险驾驶行为；以及

所述配置信息至少包括：所述采集任务中各事件的事件类型、事件标识和预期执行时间。

4.如权利要求1所述的方法，其中，

所述数据采集设备分别与车载设备和摄像头相耦接，所述第一行程数据包括：在执行采集任务时，通过车载设备采集的车辆状态数据、和通过摄像头采集的图像数据；

所述第二行程数据包括：在执行采集任务时，车辆的行车状态数据、和各事件的实际执行时间。

5.如权利要求4所述的方法，其中，所述从配置信息中确定执行所述采集任务所对应的时间区间的步骤包括：

从所述配置信息中确定各事件的预期执行时间；

判断各事件的所述预期执行时间与所述实际执行时间是否一致；

若所述预期执行时间与所述实际执行时间一致，则将所述实际执行时间作为各事件对应的时间区间。

6.如权利要求4或5所述的方法，其中，所述根据时间区间，对第一行程数据和第二行程数据分别进行处理，得到对应的第三行程数据和第四行程数据的步骤包括：

从所述车辆状态数据和图像数据中，分别截取出所述时间区间内对应的数据，作为第三行程数据；

从所述行车状态数据中，截取出所述时间区间内对应的数据，作为第四行程数据。

7.如权利要求4所述的方法，其中，所述基于第一行程数据和第二行程数据的采集频率，对第三行程数据和第四行程数据进行对齐，得到对齐后第三行程数据和对齐的第四行程数据的步骤包括：

基于所述第一行程数据和第二行程数据的采集频率，确定对齐频率；

基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，以得到对齐的第三行程数据和对齐的第四行程数据。

8.如权利要求7所述的方法，其中，所述基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，以得到对齐的第三行程数据和对齐的第四行程数据的步骤，还包括：

基于所述对齐频率，对所述第三行程数据和所述第四行程数据进行采样，得到采样后的第三行程数据和采样后的第四行程数据；

若所述采样后的第三行程数据和/或所述采样后的第四行程数据中，存在数据缺失，则通过插值来补充缺失的数据，以得到对齐的第三行程数据和对齐的第四行程数据。

9.一种数据采集系统，包括：

车载设备，适于采集用户执行采集任务过程中的车辆状态数据；

至少一个摄像头，适于采集用户执行采集任务过程中的图像数据；

移动终端，布置在车辆上，适于采集指向危险驾驶行为的行车状态数据；

数据采集设备，布置在所述车辆上，与所述车载设备和所述至少一个摄像头分别耦接，以获取所述车辆状态数据和所述图像数据，所述数据采集设备还适于通过服务器与所述移动终端进行绑定；

服务器，适于执行如权利要求1-8中任一项所述的方法，将所述行车状态数据、所述车辆状态数据和所述图像数据进行关联处理，得到指示危险驾驶行为的标注数据。

10.一种计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-8所述任一方法的指令。

11.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在被计算设备执行时，使得所述计算设备执行根据权利要求1-8所述的任一方法。

Images