CN108171817A - 基于mr或ar的巡检方法、mr或ar设备及巡检系统 - Google Patents

Abstract

本发明提供了一种基于MR或AR的巡检方法、MR或AR设备及巡检系统，该方法对巡检目标进行建模生成与实际场景对应的三维虚拟场景，并对三维虚拟场景中的子目标分配与实际场景中的子目标对应的唯一id；将三维虚拟场景通过MR或AR设备显示，巡检人员巡检时佩戴该设备，并将三维虚拟场景与实际场景进行对位，使之重叠；当MR或AR设备对准现实场景中子目标时，获取三维虚拟场景中对应的子目标的id，统计并记录该设备在该子目标的目光停留时间；根据该设备对准子目标的时刻和在每个子目标的目光停留时间绘制注意力集中图；根据注意力集中图对巡检员的巡检情况进行判断，因此，能够自动、客观地评估巡检人员的工作成果。

Description

基于MR或AR的巡检方法、MR或AR设备及巡检系统

技术领域

本发明属于安全管理技术领域，具体涉及一种基于MR或AR的巡检方法、MR或AR设备及巡检系统。

背景技术

在巡检领域，由于巡检区域往往设备分布集中，并且价值较大，一旦出故障对企业效益或运转负面影响严重，巡检工作的必要性难以忽视。但是，长期以来，由于工作内容重复、单调，而且由于巡检报表内容单一容易伪造等特点，普遍存在巡检人员对巡检工作不上心，敷衍了事等情况，而管理员对巡检工作又难以形成有效监督，导致设备缺陷难以及时发现，系统隐患难以有效消除。

长期以来，人们通过各种手段来尝试解决此问题，典型的方案包括：设置点检机/打卡机，辅助确定巡检人员到位情况；使用gps跟踪，要求巡检人员携带巡检棒(用于支持gps跟踪)；使用手机gps辅助跟踪；使用手机扫码签到；使用视频监控；使用机器人巡检；使用无人机巡检等等。但是，依然无法将巡检结果客观化。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种能够能够有效监督巡检人员的基于MR或AR技术的巡检方法。

本发明提供了一种基于MR或AR的巡检方法，其特征在于，包括以下步骤：步骤1，对巡检目标进行建模生成与实际场景对应的三维虚拟场景，并对三维虚拟场景中的子目标分配与实际场景中的子目标对应的唯一id；

步骤2，将所述三维虚拟场景通过MR或AR设备显示，巡检人员巡检时佩戴MR或AR设备，并将三维虚拟场景与实际场景进行对位，使之重叠；

步骤3，当所述MR或AR设备对准现实场景中子目标时，获取所述三维虚拟场景中对应的子目标的id，统计并记录所述MR或AR设备在该子目标的目光停留时间；

步骤4，根据所述MR或AR设备对准子目标的时刻和在每个子目标的目光停留时间绘制注意力集中图；

步骤5，根据所述注意力集中图对巡检员的巡检情况进行判断。

进一步，在本发明提供的基于MR或AR的巡检方法中，还可以具有这样的特征：其中，所述三维虚拟场景中子目标的id与数据库中存储的各子目标对应，所述步骤3中，在所述MR或AR设备对准现实场景中子目标，获取所述三维虚拟场景中对应的子目标的id时，根据所述三维虚拟场景中对应的子目标的id从数据库中获得该子目标的信息并显示在所述三维虚拟场景中。

进一步，在本发明提供的基于MR或AR的巡检方法中，还可以具有这样的特征：其中，巡检人员巡检时，所述MR或AR设备自动记录巡检人员的位置坐标，并统计在每个位置坐标的停留时间，

根据所述MR或AR设备记录的各个时刻的位置坐标和每个位置坐标的停留时间绘制巡检路线图，

根据所述巡检路线图得到巡检人员的实际巡检路线。

进一步，在本发明提供的基于MR或AR的巡检方法中，还可以具有这样的特征：其中，步骤6中，根据所述注意力集中图对巡检员的巡检情况进行判断的方法为：

将每个子目标的目光停留时间与其历史平均值进行比较，将差值超过预定值的子目标确认为未认真检查的目标，并将其发送给管理员服务器；

将所有子目标的目光停留时间进行排序，根据排序结果将目光停留时间超过设定的高时间和低于设定的低时间的子目标确认为未认真检查的目标，并将其发送给管理员服务器。

进一步，在本发明提供的基于MR或AR的巡检方法中，还可以具有这样的特征：其中，步骤6中，根据对巡检情况的判断要求巡检人员再次确认判断为未认真检查的子目标的状态。

本发明还提供了一种MR或AR设备，其特征在于，包括：

第一计时模块，用于计时巡检人员观察子目标的目光停留时间；

建模模块，用于构建三维虚拟场景；

存储模块，用于存储所述三维虚拟场景、观察子目标的目光停留时间；

显示模块，用于显示所述三维虚拟场景；

处理模块，根据所述显示模块对准的现实场景的子目标获取所述三维虚拟场景中对应的子目标的id，根据对准子目标的时刻和在每个子目标的目光停留时间得到注意力集中图；以及

通信模块，与管理员服务器通信连接，用于将所述注意力集中图发送给管理员服务器。

进一步，在本发明提供的MR或AR设备中，还可以具有这样的特征：MR或AR设备还包括定位模块，用于定位巡检人员的实时位置坐标；第二计时模块，用于计时巡检人员在某一位置的停留时间，

所述存储模块存储所述实时位置坐标、某一位置的停留时间，所述处理模块根据所述实时位置坐标和停留时间处理得到巡检线路图，所述通信模块将所述巡检线路图发送给管理员服务器。

进一步，在本发明提供的MR或AR设备中，还可以具有这样的特征：所述通信模块还与数据库通信连接，用于获取所述数据库中各子目标的信息，所述显示模块显示在所述三维虚拟场景中。

本发明还提供了一种巡检系统，其特征在于，包括：

上述的MR或AR设备；

管理员服务器，与所述MR或AR设备通信连接，用于接收所述MR或AR设备发送的处理结果；以及

数据库，与所述MR或AR设备通信连接，存储有各子目标的信息。本发明的优点如下：

根据本发明所涉及的基于MR或AR的巡检方法，因为对巡检目标进行建模生成与实际场景对应的三维虚拟场景，并对三维虚拟场景中的子目标分配与实际场景中的子目标对应的唯一id，将三维虚拟场景通过MR或AR设备显示，在MR或AR设备对准现实场景中子目标时，获取三维虚拟场景中对应的子目标的id，从而巡检人员可以通过MR或AR设备可以直观的看到各子目标的实际状态、正常状态和子目标的信息，根据实际状态和正常状态的对比，子目标的信息来判断子目标是否正常，方便巡检人员的检查，节省巡查时间。并且由于可以方便的看到所有设备的情况，使得巡检更全面，巡检人员得到的信息更全面，从而容易发现潜在的问题或故障。统计并记录MR或AR设备在每个子目标的目光停留时间，并得到注意力集中图，管理员可以根据注意力集中图中对每个子目标的检查时间判断是否对该子目标认真检查，对判断为未进行认真检查的子目标要求巡检人员重新进行检查，因此能够自动、客观地评估巡检人员的工作成果，能够对巡检人员的巡检进行有效的监督，提高巡检的效果。

本发明的MR或AR设备，能够对巡检目标进行建模，在对准现实场景中子目标时能够获取三维虚拟场景中对应的子目标的id，并对目光停留时间进行计时，最终得到注意力集中图，并能够将注意力集中图发送给管理员服务器，因此，巡检人员佩戴本发明的MR或AR设备进行巡检，能够自动、客观地评估巡检人员的工作成果，能够对巡检人员的巡检进行有效监督，提高巡检的效果。

本发明的巡检系统，巡检人员在巡检时，佩戴本发明的MR或AR设备，MR或AR设备在对准子目标时，数据库将相对应的子目标的信息发送给MR或AR设备，MR或AR设备将子目标的信息显示，因此，更加方便巡检人员进行巡检，MR或AR设备将注意力集中图等处理结果发送给管理员服务器，管理员对巡检人员的巡检进行判断，并知道巡检人员重新检查一些被管理员判定为未认真检查的设备，因此能够自动、客观地评估巡检人员的工作成果，能够对巡检人员的巡检进行有效的监督，提高巡检的效果。

附图说明

图1是本发明中基于MR或AR的巡检方法的流程图；

图2是本发明中MR或AR设备和巡检系统的结构图示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明基于MR或AR的巡检方法、MR或AR设备及巡检系统作具体阐述。

如图1所示，基于MR或AR技术的巡检方法100包括以下步骤：

步骤S1，对巡检目标进行建模生成与实际场景对应的三维虚拟场景，并对三维虚拟场景中的子目标分配与实际场景中的子目标对应的唯一id。

在本实施例中，三维虚拟场景中子目标的id与数据库中存储的各子目标对应，数据库中存储有各自目标的信息。

其中，对目标进行建模时。在对目标的场景进行建模时，可以将对一些子目标进行遮挡的物体进行删除，从而在三维虚拟场景中，可以看到所有的子目标。比如将场景中的天花板删除，从而在三维虚拟模型中被天花板遮挡的子目标可以显示出来。具体实施中，例如：在布置有地下水管的区域进行其他作业时，在对场景进行建模时，场景模型中不包含地面，因此，MR或AR设备佩戴人员能够观察到地下水管的情况。从而能够检查到被遮挡物遮挡而不方便检查的设备，方便了巡检人员的巡检。

步骤S2，将三维虚拟场景通过MR或AR设备显示，巡检人员巡检时佩戴MR或AR设备，并将三维虚拟场景与实际场景进行对位，使之重叠。

步骤S3，当MR或AR设备对准现实场景中子目标时，获取三维虚拟场景中对应的子目标的id，统计并记录MR或AR设备在该子目标的目光停留时间。

在本实施例中，在MR或AR设备对准现实场景中子目标，获取三维虚拟场景中对应的子目标的id时，根据三维虚拟场景中对应的子目标的id从数据库中获得该子目标的信息并显示在三维虚拟场景中。从而巡检人员可以通过MR或AR设备直观的看到各子目标的实际状态、正常状态和子目标的信息，根据实际状态和正常状态的对比，子目标的信息来判断子目标是否正常，方便巡检人员的检查，节省巡查时间。并且由于可以方便的看到所有设备的情况，使得巡检更全面，巡检人员得到的信息更全面，从而容易发现潜在的问题或故障。

在本实施例中，巡检人员巡检时，MR或AR设备自动记录巡检人员的位置坐标，并统计在每个位置坐标的停留时间。

步骤S4，根据MR或AR设备对准子目标的时刻和在每个子目标的目光停留时间绘制注意力集中图。

在本实施例中，还根据MR或AR设备记录的各个时刻的位置坐标和每个位置坐标的停留时间绘制巡检路线图。

步骤S5，根据注意力集中图对巡检员的巡检情况进行判断。

在本实施例中，根据所述注意力集中图对巡检员的巡检情况进行判断的方法为：

将每个子目标的目光停留时间与其历史平均值进行比较，将差值超过预定值的子目标确认为未认真检查的目标，并将其发送给管理员服务器。将所有子目标的目光停留时间进行排序，根据排序结果将目光停留时间超过设定的高时间和低于设定的低时间的子目标确认为未认真检查的目标，并将其发送给管理员服务器。

在本实施例中，根据对巡检情况的判断要求巡检人员再次确认判断有问题的子目标的状态。对判断为未认真检查的子目标要求再次检查，避免因未认真检查而使得设备存在的安全隐患没有得到及时处理从而产生严重的后果，提高了巡检的效果。

在本实施例中，还根据巡检路线图判断巡检人员的巡检效果。根据巡检路线图可以得出巡检人员实际的巡检路径。当巡检人员巡检时，站在一个位置处，巡检人员可以看到周围一定范围的设备，如果巡检人员不上心，仅站在一个位置将附近所有设备进行粗略检查的话，离得近的设备检查的会比较好，而离的远的设备就检查的就比较马虎。而管理员根据巡检路线图可以知道巡检人员的巡检路径，并且可以知道在某个位置的停留时间，当巡检人员在一个位置的停留时间过长或者在巡检点停留的时间过短时，管理员对该位置的巡检效果确定为未仔细检查。具体在一个位置停留时间的长短首先设定一个初始范围，然后根据多次的巡检统计结果进行调整。根据巡检路线图可以知道巡检人员的实际巡检路线，也可以辅助判断巡检人员的巡检效果。

如图2所示，一种MR或AR设备200包括：第一计时模块210、建模模块220、存储模块230、显示模块240、处理模块250和通信模块260。

第一计时模块210用于计时巡检人员观察子目标的目光停留时间。建模模块220用于构建三维虚拟场景。存储模块230用于存储三维虚拟场景、观察子目标的目光停留时间。显示模块240用于显示三维虚拟场景。处理模块250根据显示模块240对准的现实场景的子目标获取三维虚拟场景中对应的子目标的id，根据对准子目标的时刻和在每个子目标的目光停留时间得到注意力集中图。通信模块260与管理员服务器300通信连接，用于将注意力集中图发送给管理员服务器300。

在本实施例中，MR或AR设备200还包括定位模块270和第二计时模块280。定位模块270用于定位巡检人员的实时位置坐标。第二计时模块280用于计时巡检人员在某一位置的停留时间。具体的，定位模块270可以是GPS定位模块。

存储模块230还存储实时位置坐标、某一位置的停留时间，处理模块250根据实时位置坐标和停留时间处理得到巡检线路图，通信模块260将巡检线路图发送给管理员服务器。

在本实施例中，通信模块260还与数据库400通信连接，用于获取数据库中各子目标的信息，显示模块230将子目标的信息显示在三维虚拟场景中。

巡检时，巡检人员带上MR或AR设备200，从而能够对巡检人员的巡检效果进行判定，并对判定为未认真检查的设备重新进行检查，从而使得巡检的效果更加好，避免因巡检不到位，隐患未及时发现未解决而导致问题。

如图2所示，一种巡检系统，包括上述MR或AR设备200、管理员服务器300和数据库400。

管理员服务器300与MR或AR设备200通信连接，用于接收MR或AR设备200发送的处理结果。也即将注意力集中图和巡检路线图发送给管理员服务器。管理员根据注意力集中图和巡检路线图判断此次巡检的效果。

数据库400与MR或AR设备200通信连接，存储有各子目标的信息，数据库400根据MR或AR设备200对准现实场景中子目标获取的三维虚拟场景中的子目标id向MR或AR设备200发送对应的子目标的信息。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (9)

1.一种基于MR或AR的巡检方法，其特征在于，包括以下步骤：

步骤1，对巡检目标进行建模生成与实际场景对应的三维虚拟场景，并对三维虚拟场景中的子目标分配与实际场景中的子目标对应的唯一id；

步骤2，将所述三维虚拟场景通过MR或AR设备显示，巡检人员巡检时佩戴MR或AR设备，并将三维虚拟场景与实际场景进行对位，使之重叠；

步骤3，当所述MR或AR设备对准现实场景中子目标时，获取所述三维虚拟场景中对应的子目标的id，统计并记录所述MR或AR设备在该子目标的目光停留时间；

步骤4，根据所述MR或AR设备对准子目标的时刻和在每个子目标的目光停留时间绘制注意力集中图；

步骤5，根据所述注意力集中图对巡检员的巡检情况进行判断。

2.根据权利要求1所述的基于MR或AR的巡检方法，其特征在于：

其中，所述三维虚拟场景中子目标的id与数据库中存储的各子目标对应，所述步骤3中，在所述MR或AR设备对准现实场景中子目标，获取所述三维虚拟场景中对应的子目标的id时，根据所述三维虚拟场景中对应的子目标的id从数据库中获得该子目标的信息并显示在所述三维虚拟场景中。

3.根据权利要求1所述的基于MR或AR的巡检方法，其特征在于：

其中，巡检人员巡检时，所述MR或AR设备自动记录巡检人员的位置坐标，并统计在每个位置坐标的停留时间，

根据所述MR或AR设备记录的各个时刻的位置坐标和每个位置坐标的停留时间绘制巡检路线图，

根据所述巡检路线图得到巡检人员的实际巡检路径。

4.根据权利要求1所述的基于MR或AR的巡检方法，其特征在于：

其中，步骤6中，根据所述注意力集中图对巡检员的巡检情况进行判断的方法为：

将每个子目标的目光停留时间与其历史平均值进行比较，将差值超过预定值的子目标确认为未认真检查的目标，并将其发送给管理员服务器；

将所有子目标的目光停留时间进行排序，根据排序结果将目光停留时间超过设定的高时间和低于设定的低时间的子目标确认为未认真检查的目标，并将其发送给管理员服务器。

5.根据权利要求1或4所述的基于MR或AR的巡检方法，其特征在于：

其中，步骤6中，根据对巡检情况的判断要求巡检人员再次确认判断为未认真检查的子目标的状态。

6.一种MR或AR设备，其特征在于，包括：

第一计时模块，用于计时巡检人员观察子目标的目光停留时间；

建模模块，用于构建三维虚拟场景；

存储模块，用于存储所述三维虚拟场景、观察子目标的目光停留时间；

显示模块，用于显示所述三维虚拟场景；

处理模块，根据所述显示模块对准的现实场景的子目标获取所述三维虚拟场景中对应的子目标的id，根据对准子目标的时刻和在每个子目标的目光停留时间得到注意力集中图；以及

通信模块，与管理员服务器通信连接，用于将所述注意力集中图发送给管理员服务器。

7.根据权利要求6所述的MR或AR设备，其特征在于，还包括：

定位模块，用于定位巡检人员的实时位置坐标；

第二计时模块，用于计时巡检人员在某一位置的停留时间，

所述存储模块存储所述实时位置坐标、某一位置的停留时间，所述处理模块根据所述实时位置坐标和停留时间处理得到巡检线路图，所述通信模块将所述巡检线路图发送给管理员服务器。

8.根据权利要求6所述的MR或AR设备，其特征在于：

其中，所述通信模块还与数据库通信连接，用于获取所述数据库中各子目标的信息，所述显示模块显示在所述三维虚拟场景中。

9.一种巡检系统，其特征在于，包括：

权利要求6至8中任一权利要求所述的MR或AR设备；

管理员服务器，与所述MR或AR设备通信连接，用于接收所述MR或AR设备发送的处理结果；以及

数据库，与所述MR或AR设备通信连接，存储有各子目标的信息。