CN109992111B - 增强现实扩展方法和电子设备 - Google Patents

Abstract

本公开提供了一种增强现实扩展方法，包括：对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息；基于所述第一位姿与第二电子设备的第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息；输出所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息。本公开还提供了一种电子设备。

Description

增强现实扩展方法和电子设备

技术领域

本公开涉及一种增强现实扩展方法和电子设备。

背景技术

增强现实技术(Augmented Reality，简称AR)，也称为混合现实技术，是一种实时地计算摄像装置的影像的位置及角度并加上相应图像、视频、立体模型等信息的技术。即，将虚拟的信息应用到真实世界，如将真实的环境和虚拟的信息实时地叠加到了同一个画面或空间。

摄像装置通常是固定在AR设备上，例如，AR眼镜的摄像头固定在用户的头部，这导致使用AR眼镜在进行物体识别时，如果待识别对象处于较低位置、待识别对象体积较小、待识别对象处于不易识别的角度或光线较暗等较差的识别场景中时，AR眼镜的用户需要低头靠近待识别对象或改变摄像角度才能成功识别，这样的AR设备的可操作性较差，不能给用户带来良好体验。

发明内容

本公开的一个方面提供了一种增强现实扩展方法，应用于第一电子设备，所述方法包括如下操作：首先，对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息，然后，基于所述第一位姿与第二电子设备的第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息，接着，输出所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息。

本公开提供的增强现实扩展方法，当第二电子设备，如AR设备不便于直接采集待识别物的图像时，可以通过第一电子设备进行图像采集和物体识别，同时，由于过程中获取了第一电子设备的第一位姿和第二电子设备的第二位姿，并且第一位姿和第二位姿之间存在转换关系，因此，可以将第一位姿下获取的待识别物的图像和物体识别信息转换到第二位姿下该待识别物的图像信息和物体识别信息，使得可以在第二电子设备中正确添加物体识别信息等，有效扩展了第二电子设备的适用范围，并提升了用户体验。

可选地，所述方法还可以包括如下操作：首先，至少基于在预设时间段内所述第一电子设备的第一位姿的变化量，确定第一用户操作，然后将所述第一用户操作输入所述第二电子设备以控制所述第二电子设备。现有技术为了提升电子设备的可操作性，会设置专用的操控装置，如遥控装置、手柄等，但是这些操控装置会增加电子设备的成本，本公开考虑到用户通常具有可以采集位姿信息的电子设备，如智能手机等，可以通过已有的电子设备的位姿信息来获取用户的操作，并输入第二电子设备，这样无需为了提升第二电子设备的可操作性而专门为其新配置操控装置，利用用户已有的电子设备的位姿信息采集功能来实现第二电子设备的操作输入，有效提升用户对第二电子设备的操作便捷度。

可选地，所述第一位姿对应的待识别对象位姿关联信息包括以下至少一种：待识别对象相对于所述第一电子设备的指定个数自由度数据、包含待识别对象的图像信息、第一位姿下获取的包括待识别对象的图像信息中待识别物的位置信息。通过这些位姿关联信息可以简便快捷地将第一位姿下的信息转换到第二位姿下，且能保证转换的准确率。

可选地，所述对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息可以包括如下操作：首先，获取所述第一电子设备的第一位姿下的待识别对象的第一图像信息，然后，将所述第一图像信息发送给第三电子设备，所述第三电子设备与所述第一电子设备通讯连接，接着，接收对象识别信息及第一位姿对应的待识别对象位姿关联信息，所述对象识别信息及第一位姿对应的待识别对象位姿关联信息由所述第三电子设备至少基于所述第一图像信息确定。由于图像识别、不同位姿下的信息转换等处理过程在第三电子设备中进行，可以有效降低第一电子设备的功耗，且可以使用较低计算能力的电子设备作为第一电子设备，便于进行技术推广。

可选地，所述方法还可以包括如下操作：首先，接收第二用户操作，所述用户操作用于控制所述第一电子设备获取图像信息，响应于所述第二用户操作，获取并输出所述图像信息。这样使得第一电子设备和第二电子设备可以获取用户实时的真实图像，并进行展示，解决了现有技术中两个AR设备的交互过程中，无法看到自己或对方的实时图像的问题，有效地提升用户体验。

本公开的另一个方面提供了一种增强现实扩展方法，应用于第二电子设备，所述方法可以包括如下操作：首先，获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息，然后，获取所述第二位姿对应的待识别对象位姿关联信息和对象识别信息，这样可以根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。其中，所述对象识别信息为对第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别得到的，所述第二位姿对应的待识别对象位姿关联信息为所述第一电子设备基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息获取的。

可选地，所述方法还可以包括如下操作：接收第一用户操作，所述第一用户操作为至少基于在预设时间段内所述第一电子设备的第一位姿的变化量确定的，然后，执行所述第一用户操作对应的功能。

可选地，所述方法还可以包括如下操作：接收图像信息，所述图像信息为所述第一电子设备响应于第二用户操作控制所述第一电子设备获取的，然后输出所述图像信息。

本公开的另一个方面提供了一种增强现实扩展方法，应用于增强现实系统，所述增强现实系统包括至少一个第一电子设备和第二电子设备，对于其中一个第一电子设备和第二电子设备，所述方法可以包括如下操作：首先，获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息，并且，获取所述第一电子设备的第一位姿下的包括待识别对象的第一图像信息，然后，对所述第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息，接着，基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息，然后，根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

本公开的另一个方面提供了一种增强现实扩展装置，所述装置可以包括第一信息获取模块、第一转换模块和输出模块，其中，所述第一信息获取模块用于对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息，所述第一转换模块用于基于所述第一位姿与第二电子设备的第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息，所述输出模块用于输出所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息。

可选地，所述装置还可以包括操作确定模块和输入模块，其中，所述操作确定模块用于至少基于在预设时间段内所述第一电子设备的第一位姿的变化量，确定第一用户操作，所述输入模块用于将所述第一用户操作输入所述第二电子设备以控制所述第二电子设备。

可选地，所述第一信息获取模块可以包括获取单元、发送单元和接收单元，其中，所述获取单元用于获取所述第一电子设备的第一位姿下的待识别对象的第一图像信息，所述发送单元用于将所述第一图像信息发送给第三电子设备，所述第三电子设备与所述第一电子设备通讯连接，所述接收单元用于接收对象识别信息及第一位姿对应的待识别对象位姿关联信息，所述对象识别信息及第一位姿对应的待识别对象位姿关联信息由所述第三电子设备至少基于所述第一图像信息确定。

可选地，所述装置还可以包括操作获取模块和图像输出模块，其中，所述操作获取模块用于接收第二用户操作，所述第二用户操作用于控制所述第一电子设备获取图像信息，所述图像输出模块用于响应于所述第二用户操作，获取并输出所述图像信息。

本公开的另一个方面提供了一种增强现实扩展装置，所述装置可以包括：图像获取模块、第二信息获取模块和信息添加模块，其中，所述图像获取模块用于获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息，所述第二信息获取模块用于获取所述第二位姿对应的待识别对象位姿关联信息和对象识别信息，所述信息添加模块用于根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。其中，所述对象识别信息为对第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别得到的，所述第二位姿对应的待识别对象位姿关联信息为所述第一电子设备基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息获取的。

可选地，所述装置还可以包括操作接收模块和执行模块，其中，所述操作接收模块用于接收第一用户操作，所述第一用户操作为至少基于在预设时间段内所述第一电子设备的第一位姿的变化量确定的，所述执行模块用于执行所述第一用户操作对应的功能。

本公开的另一个方面提供了一种增强现实扩展系统，所述增强现实系统包括至少一个第一电子设备和第二电子设备，所述系统可以包括：第三信息获取模块、第四信息获取模块、第二转换模块和第二信息添加模块，其中，所述第三信息获取模块用于获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息，并且，获取所述第一电子设备的第一位姿下的包括待识别对象的第一图像信息，所述第四信息获取模块用于对所述第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息，所述第二转换模块用于基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息，所述第二信息添加模块用于根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器、计算机可读存储介质，其中，所述计算机可读存储介质用于存储一个或多个计算机程序，所述计算机程序在被所述处理器执行时，实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的增强现实扩展方法和电子设备的应用场景；

图2A示意性示出了根据本公开实施例的增强现实扩展方法的流程图；

图2B示意性示出了根据本公开实施例的对待识别对象进行识别的示意图；

图2C示意性示出了根据本公开另一实施例的增强现实扩展方法的流程图；

图3示意性示出了根据本公开另一实施例的增强现实扩展方法的流程图；

图4示意性示出了根据本公开另一实施例的增强现实扩展方法的流程图；

图5A示意性示出了根据本公开实施例的增强现实扩展装置的框图；

图5B示意性示出了根据本公开实施例的增强现实扩展装置的框图；

图6示意性示出了根据本公开实施例的增强现实扩展系统的框图；以及

图7示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种增强现实扩展方法以及能够应用该方法的电子设备。该方法包括对象识别过程和信息转换过程。在对象识别过程中，对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息。基于对象识别过程可以得到对象识别信息及第一位姿对应的待识别对象位姿关联信息。在完成对象识别过程之后，进入信息转换过程，基于所述第一位姿与第二电子设备的第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息，这样就可以输出所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息，即第一电子设备辅助第二电子设备进行对象识别，并在第二电子设备基于第二电子设备的姿态展示待识别对象的识别信息。

图1示意性示出了根据本公开实施例的增强现实扩展方法和电子设备的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，用户使用AR设备(如头戴式AR眼镜等)进行物体识别，当AR眼镜的摄像头拍摄到待识别对象，如桌子以及放在桌子上的杯子的图像，会进行图像识别，并将识别结果，例如“杯子”和“桌子”的信息在图像中的对应位置进行信息标注，以便于用户了解待识别对象的属性信息。

AR设备之间或者AR设备与例如服务器之间(未示出)可以进行信息交互，以接收或发送信息等。AR设备上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

此外，还可以存在与AR设备配合使用的操控输入装置(未图示)，例如支持3自由度(Degree of Freedom，简称DoF)或6DoF数据采集及传输的手柄，当然，还可以包括语音输入类型的操控输入装置等。

AR设备可以是具有显示屏和图像采集装置并且支持多自由度数据交互及信息显示的各种电子设备。上述操控输入装置包括但不限于手柄、智能手机、平板电脑、膝上型便携计算机等支持3dof或6dof数据采集及传输的设备，或者支持语音识别的装置。

图2A示意性示出了根据本公开实施例的增强现实扩展方法的流程图。在本实施例中，所述增强现实扩展方法应用于第一电子设备，如智能手机等支持多自由度数据交互、且可进行图像采集的电子设备。

如图2A所示，该方法包括操作S201～S203。

在操作S201，对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息。

在本实施例中，所述第一电子设备可以作为AR设备的操控输入装置，同时还起到扩展AR设备的功能的作用，该第一电子设备需要支持多自由度数据，例如，6DoF数据，具体地，可以支持ARCore和/或ARKit平台的应用、且具有图像采集功能的各种电子设备。其中6DoF数据可以包括AR设备在地面惯性坐标系中各轴向的坐标以及AR设备的姿态角，该姿态角包括如下至少一种：俯仰角θ、偏向角ψ、横滚角φ。

在一个实施例中，由于智能手机已普及，且智能手机中通常都具有多轴惯性测量单元(如3轴、6轴、9轴等)，因此，智能手机通常都支持6DoF数据，以智能手机作为第一电子设备，则无需额外添加操控输入装置，且可以借助智能手机的各种功能与AR设备进行互动，并且可以利用智能手机的数据处理能力辅助AR设备提升数据处理性能和续航能力。所述第一电子设备与所述AR设备之间可以通过网络(未图示)连接，网络用以在AR设备和服务器之间提供通信链路的介质，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

对包含待识别对象的第一图像信息进行识别，得到对象识别信息可以如下所述，例如，首先对图像进行预处理(如模数转换、二值化处理、图像平滑处理、增强处理、滤波等)，进行特征提取(提取得到的特征可以用于表征待识别对象的类别)，然后利用训练好的识别模型处理上述特征，得到待识别对象所属的类别，该类别即可作为对象识别信息。当然现有技术中适用的图像识别技术都适用，在此不做限定。由于现有的图像识别过程是在第二电子设备上进行，而在本实施例中，图像识别过程在第一电子设备上进行，可以有效降低第二电子设备的计算资源消耗和电能消耗，提升第二电子设备的续航能力。

其中，所述第一位姿对应的待识别对象位姿关联信息可以包括以下至少一种：待识别对象相对于所述第一电子设备的指定个数自由度数据、包含待识别对象的图像信息、第一位姿下获取的包括待识别对象的图像信息中待识别物的位置信息等。具体地，第一位姿对应的待识别对象位姿关联信息可以为待识别对象在所述第一电子设备坐标系中的位姿信息。例如，待识别对象在所述第一电子设备坐标系中的坐标(x值，y值，z值)以及所述待识别对象相对于所述第一电子设备的姿态角(θ值，ψ值，φ值)。当然，上述坐标也可以替换为各轴向的速度值、加速度值等，这样可以基于速度值、加速度值等通过积分得到各时刻的相对坐标。

需要说明的是，第一位姿对应的待识别对象位姿关联信息可以通过如图像处理得到。此外，还可以是由待识别对象自身的传感器(如6轴惯性测量单元)获取的待识别对象相对于所述第一电子设备的位姿信息，并发送给所述第一电子设备。例如，待识别对象与所述第一电子设备之间存在初始的位姿转换关系，待识别对象基于所述初始的位姿转换关系和检测到的位姿变化量来确定待识别对象相对于第一电子设备的位姿信息。

此外，图像识别过程和基于图像的位姿关联信息获取过程可以在本地实现，也可以远程实现。

在一个实施例中，所述对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息可以包括如下操作。

首先，获取所述第一电子设备的第一位姿下的待识别对象的第一图像信息。例如，所述第一电子设备通过自身的图像传感器获取包括待识别对象的第一图像信息，其中，该第一图像信息为所述第一电子设备在第一位姿下获取的。

然后，将所述第一图像信息发送给第三电子设备，所述第三电子设备与所述第一电子设备通讯连接。所述第三电子设备可以为服务器、服务器集群等。由于服务器的数据处理能力强，且受体积、能耗等限制较小，因此，利用第三电子设备进行图像识别等有助于减少第一电子设备的电量和性能消耗，且可以使得本公开提供的方法适用于不具有高数据处理能力的第一电子设备。

接着，接收对象识别信息及第一位姿对应的待识别对象位姿关联信息，所述对象识别信息及第一位姿对应的待识别对象位姿关联信息由所述第三电子设备至少基于所述第一图像信息确定。其中，第三电子设备对图像进行识别的方法可以如上所述。这样使得第一电子设备可以在低消耗的状态下获取对象识别信息及第一位姿对应的待识别对象位姿关联信息。

在操作S202，基于所述第一位姿与第二电子设备的第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息。

在本实施例中，所述第一位姿与第二电子设备的第二位姿之间的关联关系可以是标定信息。例如，对第一电子设备和第二电子设备的位姿信息进行初始化，得到初始化状态下的第一电子设备和第二电子设备的初始化位姿之间的对应关系。其中，初始化过程可以是将第一电子设备和第二电子设备分别放置在预先设置好的第一标定位置和第二标定位置，第一标定位置和第二标定位置之间存在位姿信息转换关系(如位移关系和姿态角关系，即上述标定信息)，然后对第一电子设备和第二电子设备的位姿信息进行关联。

所述第一位姿可以为所述第一电子设备相对于地面惯性坐标系的位姿信息，所述第二位姿可以为所述第二电子设备相对于所述第一电子设备的位姿信息，所述第一位姿对应的待识别对象位姿关联信息为所述待识别对象相对于所述第一电子设备的位姿信息。

例如，第一标定位置的位姿信息(X_A0，Y_A0，Z_A0，θ_A0，ψ_A0，φ_A0)为(0,0,0,0,0,0)，第二标定位置的位姿信息(X_B0，Y_B0，Z_B0，θ_B0，ψ_B0，φ_B0)为(10,0,0,0,0,0)。第二电子设备在第一标定位置初始化后的第二位姿信息为(0,0,0,0,0,0)，第一电子设备在第二标定位置初始化后第一位姿信息为(10,0,0,0,0,0)，则当第一电子设备运动后的位姿信息改变量为(20,50,-3,10,30,-20)时，则第一电子设备相对于第二电子设备的位姿信息为(30,50,-3,10,30,-20)。如果待识别对象相对于第一电子设备的位姿信息为(20,22,60,20,-10,10)，则待识别对象相对于第二电子设备的位姿信息为(50,72,57,30,20,-10)。如果期间第二电子设备发生运动，如第二电子设备运动后位姿信息变为如(10,10,10,10,10,10)，则所述待识别对象相对于所述第二电子设备的位姿信息变为(60,82,67,40,30,0)。这样就可以基于待识别对象相对于第二电子设备的位姿信息，确定待识别对象在所述第二电子设备当前显示图像中的位置。

这样就可以通过简单的几何变换得到所述第二位姿对应的待识别对象位姿关联信息，该第二位姿对应的待识别对象位姿关联信息即为所述待识别对象相对于所述第二电设备(如AR设备)的位姿信息，例如，所述待识别对象在AR设备当前显示的图像中的位置信息(如哪个区域、哪些像素等)。此外，还可以通过立体3D模型处理(如利用多帧图像进行处理得到的待识别对象的立体模型)将所述第一电子设备在第一位姿下拍摄到的待识别对象的图像，转换为所述第二电子设备在第二位姿下应当拍摄到的待识别对象的图像，当然，也可以为直接提供该待识别对象的立体模型。

在操作S203，输出所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息。

在本实施例中，可以将所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息发送给所述第二电子设备，以便于所述第二电子设备基于当前的第二位姿和所述第二位姿对应的待识别对象位姿关联信息在所述第二电子设备当前显示的图像的正确位置上添加所述对象识别信息。此外，还可以将待识别对象的立体模型发送给所述第二电子设备以便进行展示。

图2B示意性示出了根据本公开实施例的对待识别对象进行识别的示意图。

如图2B所示，以所述第一电子设备为智能手机，所述第二电子设备为AR眼镜为例进行说明。用户在使用AR眼镜对待识别对象(如杯子)进行物体识别时，在以下场景中不便于对杯子进行扩展信息显示：场景中的物体较多、待识别杯子的体积比场景中的其它物体的体积小、杯子的体积较小、杯子距离用户较远、杯子的当前角度不是较佳的识别角度等，则用户为了识别杯子，并在AR眼镜上显示的画面中的正确位置显示“杯子”的标注信息时，操作较困难。在图2B中，场景中存在电视机、电视机柜、茶几、门、多个电器以及杯子等物体，且摆放的比较拥挤(如果全部显示扩展信息则会导致显示的画面较乱)，如果用户不认识或看不清茶几上放置的物体(杯子)，希望AR眼镜对该物体进行识别后标注其物体信息，但是不希望AR眼镜对环境中其余物体显示标注信息时，现有技术中，用户只能走到离杯子较近的位置，弯下腰从一个或多个角度拍摄杯子的图像，此时AR眼镜才能较好的识别杯子，并在显示的画面中标注其物体信息。在本实施例中，用户可以直接将智能手机移动到能较清晰拍摄所述杯子的位置进行图像采集(可以从多个角度进行采集，期间还可以利用闪光灯等进行补光)，然后手机利用自身或服务器的数据处理能力来获取杯子的识别信息、第一位姿对应的杯子位姿关联信息、第二位姿对应的杯子位姿关联信息，然后将所述识别信息和所述第二位姿对应的杯子位姿关联信息发送给AR设备，这样就可以在AR设备显示的画面中的正确位置添加信息“杯子”。其中，AR设备拍摄杯子的角度和手机拍摄杯子的角度、距离等可能不同，因此，获取的杯子的图像也可能不同，但是可以基于位姿信息进行转换。

需要说明的是，AR设备显示的画面中的杯子的图像可以是AR设备自身拍摄的杯子的图像，也可以是手机拍摄的图像经过几何转换后得到的杯子的图像，上述两个杯子的图像应当相同，但是受到位姿信息精度的影响，转换后的图像可能会存在一定的误差。此外，AR设备显示的画面中的杯子的图像也可以是杯子的立体模型(其尺寸是基于位姿信息进行调整过，且与AR设备拍摄的图像相适配)，也可以是在AR设备显示的画面中开启一个窗口用于显示杯子的立体模型，在此不做限定。另外，手机上也可以实时的显示手机拍摄的图像、立体模型和图像识别结果，作为AR设备的辅助显示内容，例如，用户可以通过手指在屏幕上的运动对杯子进行拖拽、缩放、旋转等操作以全方位的观察杯子的结构。

本公开提供的增强现实扩展方法，借助第一电子设备，如智能手机的摄像头及6DoF数据，可以灵活改变摄像头和待识别对象之间的距离，且可以以不同角度靠近待识别对象，使得AR设备用户能更方便做物体识别，并且识别算法在第一电子设备端执行，有效降低AR设备端的功耗。

图2C示意性示出了根据本公开另一实施例的增强现实扩展方法的流程图。

在一个实施例中，如图2C所示，所示增强现实扩展方法还可以包括操作S204～操作S205。

在操作S204，至少基于在预设时间段内所述第一电子设备的第一位姿的变化量，确定第一用户操作。

在本实施例中，以所述第一电子设备为智能手机为例进行说明，智能手机可以获取和输出6DoF数据，基于6DoF数据提供空中鼠标功能，作为AR眼镜的操作输入装置。

例如，启用操作输入功能后，手机的运动路径为Z字形，且在预设的时间阈值内完成，则可确定所述第一用户操作为进行拍照功能。第一用户操作对应的功能可以为预先设定的，也可以是用户自定义的，在此不做限定。

在操作S205，将所述第一用户操作输入所述第二电子设备以控制所述第二电子设备。

其中，基于所述第一用户操作控制所述第二电子设备的过程可以参考现有的基于手柄控制第二电子设备的过程，在此不再赘述。

本公开提供的增强现实扩展方法，借助第一电子设备，如智能手机的6DoF数据，提供空中鼠标等功能，作为AR设备的操控输入装置，无需额外为AR设备设置配套的操控输入装置来提升输入的便捷度。

在另一个实施例中，如图2C所示，所述增强现实扩展方法还可以包括操作S206～操作S207。现有技术中，用户使用AR设备进行视频通话时，通话双方看不到真实的对方图像(如AR眼镜佩戴者无法拍摄自身的真实图像)，这会影响用户体验，该问题可以通过以下操作进行解决。

在操作S206，接收第二用户操作，所述第二用户操作用于控制所述第一电子设备获取图像信息。

例如，用户点击了手机屏上展示的拍摄视频功能的按钮。又例如，用户通过空中手势(基于6DoF数据确定的手势)开启了拍摄视频功能。当然，也可以是AR眼镜在进行视频通话时直接调用智能手机的摄像头进行图像采集，在此不做限定。

在操作S207，响应于所述第二用户操作，获取并输出所述图像信息。

具体地，可以将所述图像信息发送给所述第二电子设备，然后由所述第二电子设备发送给视频通话的对方。此外，所述第一电子设备也可以实时的显示所述图像信息或通话对方的图像信息，提升用户体验度。

图3示意性示出了根据本公开另一实施例的增强现实扩展方法的流程图。在本实施例中，所述增强现实扩展方法可以应用于第二电子设备。

如图3所示，所述增强现实扩展方法可以包括操作S301～S303。

在操作S301，获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息。

例如，所述第二电子设备在第二位姿下通过摄像头采集包括待识别对象的第二图像信息。所述第二电子设备可以为AR设备，如AR眼镜等。

在操作S302，获取所述第二位姿对应的待识别对象位姿关联信息和对象识别信息。

其中，所述对象识别信息为对第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别得到的，所述第二位姿对应的待识别对象位姿关联信息为所述第一电子设备基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息获取的。

在操作S303，根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

具体地，参考图2B所示，图中的标注信息“杯子”被正确的添加到了AR设备显示的图像中。

需要说明的是，所述第二位姿对应的待识别对象位姿关联信息和对象识别信息的获取过程参考如上所述的方法，在此不再赘述。

本公开提供的增强现实扩展方法，借助第一电子设备的摄像头及6DoF数据，可以灵活改变摄像头和待识别对象之间的距离，且可以以不同角度靠近待识别对象，使得AR设备的用户能更方便进行物体识别。此外，能基于位姿信息将物体识别信息正确的添加到AR设备显示的图像中，极大的提升了操作便捷度。此外在第一电子设备端执行识别算法，从而有效降低AR设备端的功耗。

在另一个实施例中，所述方法还可以包括如下操作。

首先，接收第一用户操作，所述第一用户操作为至少基于在预设时间段内所述第一电子设备的第一位姿的变化量确定的。然后，执行所述第一用户操作对应的功能。这样可以使用智能手机等支持6DoF数据的设备作为所述第二电子设备的操作输入设备，且可以利用智能手机的丰富的功能为AR设备提供功能扩展，并且不用额外添加新的操作输入设备。

在另一个实施例中，所述方法还可以包括如下操作。

首先，接收图像信息，所述图像信息为所述第一电子设备响应于第二用户操作控制所述第一电子设备获取的。然后，输出所述图像信息。这样使得AR设备可以实时获取用户的真实图像信息，进而使得通话双方可以看到真实的对方图像(现有技术中AR眼镜佩戴者无法拍摄自身的真实图像)。

图4示意性示出了根据本公开另一实施例的增强现实扩展方法的流程图。在本实施例中，所述增强现实扩展方法可以适用于增强现实系统，所述增强现实系统包括至少一个第一电子设备和第二电子设备，对于其中一个第一电子设备和第二电子设备。

如图4所示，所述方法可以包括操作S401～操作S404。

在操作S401，获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息，并且，获取所述第一电子设备的第一位姿下的包括待识别对象的第一图像信息。

在操作S402，对所述第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息。

在操作S403，基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息。

在操作S404，根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

在本实施例中，上述各操作可以参考如图2A至图3所示的相关内容，在此不再赘述。

图5A示意性示出了根据本公开实施例的增强现实扩展装置的框图。

如图5A所示，所述增强现实扩展装置500可以为智能手机等支持6DoF数据的电子设备。具体地，所述增强现实扩展装置500可以包括：第一信息获取模块510、第一转换模块520和输出模块530。

其中，所述第一信息获取模块510用于对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息。

所述第一转换模块520用于基于所述第一位姿与第二电子设备的第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息。

所述输出模块530用于输出所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息。

例如，所述第一位姿对应的待识别对象位姿关联信息包括以下至少一种：待识别对象相对于所述第一电子设备的指定个数自由度数据、包含待识别对象的图像信息、第一位姿下获取的包括待识别对象的图像信息中待识别物的位置信息。

在一个实施例中，所述装置500还可以包括操作确定模块540和输入模块550。

其中，所述操作确定模块540用于至少基于在预设时间段内所述第一电子设备的第一位姿的变化量，确定第一用户操作。

所述输入模块550用于将所述第一用户操作输入所述第二电子设备以控制所述第二电子设备。

可选地，所述第一信息获取模块510可以包括获取单元、发送单元和接收单元。

其中，所述获取单元用于获取所述第一电子设备的第一位姿下的待识别对象的第一图像信息，所述发送单元用于将所述第一图像信息发送给第三电子设备，所述第三电子设备与所述第一电子设备通讯连接，所述接收单元用于接收对象识别信息及第一位姿对应的待识别对象位姿关联信息，所述对象识别信息及第一位姿对应的待识别对象位姿关联信息由所述第三电子设备至少基于所述第一图像信息确定。

在另一个实施例中，所述装置500还可以包括操作获取模块560和图像输出模块570。

其中，所述操作获取模块560用于接收第二用户操作，所述第二用户操作用于控制所述第一电子设备获取图像信息。

所述图像输出模块570用于响应于所述第二用户操作，获取并输出所述图像信息。

图5B示意性示出了根据本公开实施例的增强现实扩展装置的框图。

如图5B所示，所述增强现实扩展装置5000可以为支持增强现实技术的电子设备。具体地，所述增强现实扩展装置5000可以包括图像获取模块580、第二信息获取模块590和信息添加模块511。

其中，所述图像获取模块580用于获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息。

所述第二信息获取模块590用于获取所述第二位姿对应的待识别对象位姿关联信息和对象识别信息。

所述信息添加模块511用于根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

需要说明的是，所述对象识别信息为对第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别得到的，所述第二位姿对应的待识别对象位姿关联信息为所述第一电子设备基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息获取的。

此外，所述装置5000还可以包括操作接收模块512和执行模块513。

其中，所述操作接收模块512用于接收第一用户操作，所述第一用户操作为至少基于在预设时间段内所述第一电子设备的第一位姿的变化量确定的。

所述执行模块513用于执行所述第一用户操作对应的功能。

图6示意性示出了根据本公开实施例的增强现实扩展系统的框图。

如图6所示，所述增强现实扩展装置600可以为增强现实系统，所述增强现实系统包括至少一个第一电子设备和第二电子设备，其中，所述第一电子设备可以为智能手机等支持6DoF数据的电子设备，所述第二电子设备可以为支持增强现实技术的电子设备。

具体地，所述增强现实扩展装置600可以包括：第三信息获取模块610、第四信息获取模块620、第二转换模块630和第二信息添加模块640。

其中，所述第三信息获取模块610用于获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息，并且，获取所述第一电子设备的第一位姿下的包括待识别对象的第一图像信息。

所述第四信息获取模块620用于对所述第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息。

所述第二转换模块630用于基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息。

所述第二信息添加模块640用于根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

根据本公开的实施例，增强现实扩展装置的图像识别过程和位姿信息转换过程，可以参见上面的描述，这里不再重复。

根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一信息获取模块510、第一转换模块520、输出模块530、操作确定模块540、输入模块550、操作获取模块560和图像输出模块570中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一信息获取模块510、第一转换模块520、输出模块530、操作确定模块540、输入模块550、操作获取模块560和图像输出模块570中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一信息获取模块510、第一转换模块520、输出模块530、操作确定模块540、输入模块550、操作获取模块560和图像输出模块570中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的电子设备的框图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，所述电子设备700包括：一个或多个处理器710和计算机可读存储介质720。该电子设备可以执行根据本公开实施例的方法。

具体地，处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质720，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存等等。

计算机可读存储介质720可以包括程序721，该程序721可以包括代码/计算机可执行指令，其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。

程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，程序721中的代码可以包括一个或多个程序模块，例如包括程序模块721A、程序模块721B、……。应当注意，程序模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器710执行时，使得处理器710可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，处理器710可以与计算机可读存储介质720进行交互，来执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，第一信息获取模块510、第一转换模块520、输出模块530、操作确定模块540、输入模块550、操作获取模块560和图像输出模块570中的至少一个可以实现为参考图7描述的程序模块，其在被处理器710执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种增强现实扩展方法，应用于第一电子设备，所述方法包括：

对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息；

基于所述第一位姿与第二电子设备的第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息；以及

输出所述对象识别信息以及所述第二位姿对应的待识别对象位姿关联信息，以便第二电子设备根据所述第二位姿对应的待识别对象位姿关联信息在第二图像信息中与所述待识别对象的对应位置添加所述对象识别信息。

2.根据权利要求1所述的方法，还包括：

至少基于在预设时间段内所述第一电子设备的第一位姿的变化量，确定第一用户操作；以及

将所述第一用户操作输入所述第二电子设备以控制所述第二电子设备。

3.根据权利要求1所述的方法，其中：

所述第一位姿对应的待识别对象位姿关联信息包括以下至少一种：待识别对象相对于所述第一电子设备的指定个数自由度数据、包含待识别对象的图像信息、第一位姿下获取的包括待识别对象的图像信息中待识别物的位置信息。

4.根据权利要求1所述的方法，其中，所述对所述第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息包括：

获取所述第一电子设备的第一位姿下的待识别对象的第一图像信息；

将所述第一图像信息发送给第三电子设备，所述第三电子设备与所述第一电子设备通讯连接；以及

接收对象识别信息及第一位姿对应的待识别对象位姿关联信息，所述对象识别信息及第一位姿对应的待识别对象位姿关联信息由所述第三电子设备至少基于所述第一图像信息确定。

5.根据权利要求1所述的方法，还包括：

接收第二用户操作，所述第二用户操作用于控制所述第一电子设备获取图像信息；以及

响应于所述第二用户操作，获取并输出所述图像信息。

6.一种增强现实扩展方法，应用于第二电子设备，所述方法包括：

获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息；

获取所述第二位姿对应的待识别对象位姿关联信息和对象识别信息，其中，

所述对象识别信息为对第一电子设备的第一位姿下获取的包含待识别对象的第一图像信息进行识别得到的，

所述第二位姿对应的待识别对象位姿关联信息为所述第一电子设备基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息获取的；以及

根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

7.根据权利要求6所述的方法，还包括：

接收第一用户操作，所述第一用户操作为至少基于在预设时间段内所述第一电子设备的第一位姿的变化量确定的；以及

执行所述第一用户操作对应的功能。

8.根据权利要求6所述的方法，还包括：

接收图像信息，所述图像信息为所述第一电子设备响应于第二用户操作控制所述第一电子设备获取的；以及

输出所述图像信息。

9.一种增强现实扩展方法，应用于增强现实系统，所述增强现实系统包括至少一个第一电子设备和第二电子设备，对于其中一个第一电子设备和第二电子设备，所述方法包括：

获取所述第二电子设备的第二位姿下的包括待识别对象的第二图像信息，并且，获取所述第一电子设备的第一位姿下的包括待识别对象的第一图像信息；

对所述第一图像信息进行识别，得到对象识别信息及第一位姿对应的待识别对象位姿关联信息；

基于所述第一位姿与所述第二位姿之间的关联关系、所述第一位姿、所述第二位姿和所述第一位姿对应的待识别对象位姿关联信息，获取所述第二位姿对应的待识别对象位姿关联信息；以及

根据所述第二位姿对应的待识别对象位姿关联信息在所述第二图像信息中的对应位置添加所述对象识别信息。

10.一种电子设备，包括：

一个或多个处理器；

计算机可读存储介质，用于存储一个或多个计算机程序，所述计算机程序在被所述处理器执行时，实现根据权利要求1~9中任一项所述的方法。

Images