[go: up one dir, main page]

CN111833457A - 图像处理方法、设备及存储介质 - Google Patents

图像处理方法、设备及存储介质 Download PDF

Info

Publication number
CN111833457A
CN111833457A CN202010623776.4A CN202010623776A CN111833457A CN 111833457 A CN111833457 A CN 111833457A CN 202010623776 A CN202010623776 A CN 202010623776A CN 111833457 A CN111833457 A CN 111833457A
Authority
CN
China
Prior art keywords
image
terminal
real scene
virtual
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010623776.4A
Other languages
English (en)
Inventor
侯欣如
栾青
王鼎禄
郑少林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010623776.4A priority Critical patent/CN111833457A/zh
Publication of CN111833457A publication Critical patent/CN111833457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种图像处理方法、设备及存储介质，其中所述方法包括：获取现实场景图像；根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述三维虚拟模型以虚拟显示效果进行显示。

Description

图像处理方法、设备及存储介质
技术领域
本申请涉及图像处理技术，具体涉及一种图像处理方法、设备及存储介质。
背景技术
增强现实(AR)技术可将真实环境和虚拟环境呈现在同一画面或空间中，以令用户感觉到身临其境的感受。AR技术可将真实环境中的实体信息(如视觉信息、声音信息等)进行系统模拟和仿真后得到虚拟环境，并将虚拟环境和真实环境进行叠加，一同在AR设备中进行显示。对AR设备呈现的增强现实效果的优化，显得尤为重要。
发明内容
本申请实施例提供一种图像处理方法、设备及存储介质，在于对AR场景中的呈现特效进行增强显示。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，包括：
获取现实场景图像；
根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；
获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；
获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；
在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述三维虚拟模型以虚拟显示效果进行显示。
前述方案中，所述根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿，包括：
根据所述现实场景图像，识别终端在拍摄所述至少部分现实场景模型时所处的位置以及拍摄角度；
所述获取在终端处于所述位姿下待显示的虚拟对象数据，包括：
获得在终端处于所述位置以及所述拍摄角度的情况下待显示的虚拟对象数据；
所述获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果，包括：
获得所述三维虚拟模型在终端处于所述位置以及所述拍摄角度下进行显示时是否存在有虚拟显示效果的判断结果。
前述方案中，所述根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿，包括：
将所述现实场景图像与点云库中的点云区域进行特征匹配，确定出至少一个目标点云区域；
获得关联图像集，所述关联图像集包括与该至少一个目标点云区域关联的图像；
将关联图像集中的图像与所述现实场景图像进行特征匹配，确定出目标关联图像；
获得拍摄目标关联图像时终端所处的位姿信息；
依据拍摄目标关联图像时终端所处的位姿信息，确定终端在拍摄至少部分现实场景模型的情况下所处的位姿。
前述方案中，所述根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿，包括：
获得所述现实场景图像的特征信息；
将所述现实场景图像的特征信息与至少一个预定图像的特征信息进行匹配，从至少一个预定图像中确定出匹配图像；
获得终端拍摄所述匹配图像时所处的位姿信息；
依据终端拍摄所述匹配图像时所处的位姿信息，确定所述终端在拍摄所述至少部分现实场景模型时所处的位姿。
前述方案中，所述虚拟显示效果至少有两种；所述方法还包括：
控制所述三维虚拟模型以所述至少两种虚拟显示效果中的其中任意一种进行显示，或者控制所述三维虚拟模型进行至少两种虚拟显示效果的切换显示。
前述方案中，所述方法还包括：
获得用户的触发操作；
基于所述触发操作，控制所述三维虚拟模型进行所述至少两种虚拟显示效果的切换显示。
前述方案中，所述终端设置于支架上，位于支架上的所述终端在滑动轨道上围绕着所述现实场景模型移动，移动过程中所述终端对所述现实场景模型的至少部分现实场景模型进行拍摄。
本申请实施例提供一种图像处理设备，包括：
第一获取单元，用于获取现实场景图像；
识别单元，用于根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；
第二获取单元，用于获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；
第三获取单元，用于获取对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；
控制单元，用于在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述虚拟模型以虚拟显示效果进行显示。
本申请实施例提供一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述图像处理方法的步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述图像处理方法的步骤。
本申请实施例提供的图像处理方法、设备及存储介质，其中所述方法包括：获取现实场景图像；根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述三维虚拟模型以虚拟显示效果进行显示。
本申请实施例中，利用获取到的现实场景图像，对终端在拍摄至少部分现实场景模型的情况下所处的位姿进行识别，为一种定位终端拍摄位姿的方案。在定位出的终端拍摄姿态下需要显示的三维虚拟模型存在有虚拟显示效果的情况下，方可进行三维虚拟模型的虚拟显示。相当于利用三维虚拟模型进行现实场景的增强显示，实现了对AR场景中呈现特效的增强显示。使得增强现实场景的显示更加逼真、AR设备的显示功能更加多样化，可大大提升用户对AR设备的使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例的图像处理方法的实现流程示意图一；
图2为本申请实施例的图像处理方法的实现流程示意图二；
图3为本申请实施例的图像处理方法的实现流程示意图三；
图4为本申请实施例的图像处理方法的实现流程示意图四；
图5为本申请实施例的终端以及呈现三维虚拟模型的示意图一；
图6为本申请实施例的终端以及呈现三维虚拟模型的示意图二；
图7为本申请实施例的图像处理设备的组成结构示意图；
图8为本申请实施例的图像处理设备的硬件构成示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
以下本申请的图像处理方法的各实施例，由终端或服务器来执行。其中，如果执行方法实施例的主体为终端，则终端可以为任何能够支持AR功能的设备。如所述终端可以为支持AR设备的固定终端，还可以为支持AR设备的移动终端。例如，终端为AR设备，支持AR功能的手机、平板电脑、台式机、一体机及车载终端等。服务器可以为云服务器，还可以为普通服务器，对此不做具体限定。在执行方法实施例的主体为服务器的情况下，服务器可以是支持AR功能的服务器，通过自身支持的AR功能进行三维虚拟特效的呈现。服务器还可以控制支持AR功能的终端进行三维虚拟特效的呈现。此外，在终端或服务器支持AR功能的情况下，通过终端或服务器可观看到叠加在现实场景中的虚拟对象，比如可以在天空中看到虚拟出的飞翔的小鸟，比如在大海中看到虚拟出的轮船等，这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果。
本申请实施例中，涉及到真实世界场景或环境，也涉及到虚拟世界场景或环境。真实世界场景或环境，可以是在实际应用中的场景或环境，如用户参观楼盘的场景、参观车展的场景、或开会场景等。虚拟世界场景或环境，指的是利用AR、技术对用户实际所处的场景或环境进行模拟或仿真得到的虚拟场景或环境，以令用户得到身临其境的感受。
本申请实施例提供的图像处理方法的第一实施例，应用于终端或服务器中，也即执行以下S101～S105的主体为终端，还可以为服务器。以下对执行主体为支持AR功能的终端如AR设备进行说明。以下方案中，如果没有特殊说明，执行图像处理方法的执行主体均为支持AR功能的终端。
如图1所示，所述方法包括：
S101：获取现实场景图像；
本步骤中，终端采集现实场景图像，或者读取已经采集完的现实场景图像，或者接收其它设备采集到的现实场景图像。在终端采集现实场景图像或者读取已经采集完的现实场景图像的方案中，终端具有图像采集装置如摄像头，由摄像头对终端其位于当前位姿上可拍摄到的现实场景进行拍摄，得到现实场景图像。
S102：根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；
可以理解，终端所处的场景为现实或真实场景，S101的现实场景图像为对终端所处的场景进行部分或全部拍摄或采集的图像。为方便描述，将终端所处的场景也即现实或真实场景视为一个场景模型，称为现实场景模型。S101中的现实场景图像可以是对终端所处的部分真实场景的拍摄，还可以是对终端所处的全部真实场景的拍摄。也即现实场景图像是对部分现实场景模型进行拍摄而得到的图像，也可以是对全部现实场景模型进行拍摄而得到的图像。终端依据现实场景图像，来识别终端在拍摄至少部分现实场景模型的情况下所处的位姿。在实际应用中，考虑到终端所处的现实场景的范围以及视角更广阔，而终端由于摄像头的拍摄参数如拍摄广角、焦距等的限制，优选为终端对所处的真实或现实场景中的部分场景进行拍摄，也即现实场景图像是对终端所处的现实场景的一部分进行拍摄而得到的图像。
其中，S101和S102相当于终端对拍摄至少部分现实场景模型的终端在采集现实场景图像时的位姿进行识别。
S103：获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；
本步骤中，终端获取在终端处于获得现实场景图像的位姿下需要显示的虚拟对象数据。终端依据至少部分现实场景模型对需要显示的虚拟对象进行构建，获得构建结果。相当于，依据真实空间下的真实或现实的场景进行虚拟空间下的虚拟场景的构建，构建出的虚拟场景可视为三维虚拟模型。该虚拟场景下包括至少一个虚拟对象，构建出的虚拟场景下的虚拟对象应与拍摄的现实场景图像中的对象保持为一致。虚拟对象在虚拟场景中的呈现视角也应该与拍摄的现实场景图像中的对象在图像中的呈现视角一致。
S104：获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；
本步骤中，终端判断需要显示的三维虚拟模型是否存在有虚拟显示效果，得到判断结果，读取判断结果。或者，直接做出对需要显示的三维虚拟模型是否存在有虚拟显示效果的判断结果。在技术层面上，在现实场景模型中，模型中的哪个/些区域或地方可以进行虚拟显示，可以预先设定好。终端根据预先设定好的内容进行三维虚拟模型是否可以进行虚拟显示的判断。示例性地，如果构建出的三维虚拟模型在现实场景中的对应区域或地方预先设定有可进行虚拟显示效果的显示，则判断为需要进行虚拟显示效果的显示。
S105：在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述三维虚拟模型以虚拟显示效果进行显示。
本步骤中，在三维虚拟模型存在有虚拟显示效果的情况下，终端控制三维虚拟模型以虚拟显示效果进行显示。
前述方案为S101～S105的执行主体是终端情况下由终端执行的方案。此外，S101～S105的执行主体还可以为服务器，在执行主体为服务器的情况下，将前述的执行主体换成服务器即可，重复之处不做赘述。此外，服务器除了可以执行前述终端所执行的内容之外，在S101中，还可以，终端将采集或拍摄到的现实场景图像发送至服务器，服务器接收终端发送来的现实场景图像，并根据接收的现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿，获取在终端处于所述位姿下待显示的虚拟对象数据，获得对三维虚拟模型是否存在有虚拟显示效果的判断结果，并在三维虚拟模型存在有虚拟显示效果的情况下，控制自身将三维虚拟模型以虚拟显示效果进行显示；和/或，控制终端将三维虚拟模型以虚拟显示效果进行显示。
在S101～S105中，先利用获取到的现实场景图像，对终端在拍摄至少部分现实场景模型的情况下所处的位姿进行识别，为一种定位终端拍摄位姿的方案。获得在终端处于该位姿下需要显示的三维虚拟模型是否存在有虚拟显示效果的判断结果，并在三维虚拟模型存在有虚拟显示效果的情况下，控制三维虚拟模型以虚拟显示效果进行显示。也即，在定位出的终端拍摄姿态下需要显示的三维虚拟模型存在有虚拟显示效果的情况下，方可进行三维虚拟模型的虚拟显示。相当于利用三维虚拟模型进行现实场景的增强显示，实现了对AR场景中呈现特效的增强显示。使得增强现实场景的显示更加逼真、AR设备的显示功能更加多样化，可大大提升用户对AR设备的使用体验。
如果执行S101～S105的主体为终端，则本申请实施例中的终端可以是将具有一定处理以及显示功能的设备如AR或VR设备，能够利用拍摄的现实场景图像将终端的拍摄位姿态定位出，并将拍摄到的现实场景模型(部分或全部现实场景模型)映射到虚拟空间下，得到与现实场景模型相同的且需要进行呈现的三维虚拟模型，并将三维虚拟模型进行虚拟呈现。在执行S101～S105的主体为服务器的情况下，本申请实施例中的终端可以仅是具有图像采集或拍摄功能以及AR显示功能的设备如显示屏，在服务器从获得的判断结果中得出三维虚拟模型存在有虚拟显示效果的情况下，服务器控制终端进行三维虚拟模型的虚拟显示。此时的终端可以为支持AR显示的显示屏，能够对三维虚拟模型进行虚拟显示。
可以理解，在实际应用中，用于拍摄现实场景图像的设备如前述的终端，其在现实场景中所处的位置不同，拍摄至少部分现实场景内容时所使用的拍摄角度不同，得到的现实场景图像自然不同。本申请实施例中的拍摄角度指的是终端在现实场景中的当前位置下是偏上、偏下对现实场景进行拍摄，还是偏左或偏右对现实场景进行拍摄。即使终端处于现实场景中的位置不变，但是拍摄角度发生变化，那么拍摄到的现实场景图像内容是不同的。基于此，为利用获取的现实场景图像实现对终端拍摄姿态的更准确定位，本申请实施例中的位姿既包括终端拍摄现实场景图像时在现实场景中所处的位置，也包括对现实场景图像进行拍摄的拍摄角度。如此，在一些实施例中，如图2所示，本申请实施例的前述的S102～S104的方案还可以通过如下步骤来实现：
S101:获取现实场景图像；
S102a:根据所述现实场景图像，识别终端在拍摄所述至少部分现实场景模型时所处的位置以及拍摄角度；
S101和S102a为一种由终端或服务器依据终端对其所处的场景中的部分场景进行拍摄而得到的图像进行终端在拍摄该图像时所处拍摄位姿的定位方案。
S103a:获得在终端处于所述位置以及所述拍摄角度的情况下待显示的虚拟对象数据；所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；
S104a:获得所述三维虚拟模型在终端的所述位置以及所述拍摄角度下进行显示时是否存在有虚拟显示效果的所述判断结果；
S105：在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述三维虚拟模型以虚拟显示效果进行显示。
S103a～S105中，在终端或服务器在获得在定位出的终端拍摄姿态下需要显示的三维虚拟模型存在有虚拟显示效果的情况下，方可进行三维虚拟模型的虚拟显示。实现对AR场景中呈现特效的增强显示，使得增强现实场景的显示更加逼真、AR设备的显示功能更加多样化，可大大提升用户对AR设备的使用体验。
在前述S102和/或S102a中，现实场景图像是终端在处于现实环境的某个位置以及某个拍摄角度下能够拍摄到的现实环境进行拍摄而得到的图像。终端拍摄到的现实场景图像可以是一张，还可以是多张。多张现实场景图像中的各张图像均是终端在现实环境中处于同一位置和同一拍摄角度进行拍摄而得到的。如果是多张现实场景图像，则可以从多张现实场景图像中筛选出目标现实场景图像。目标现实场景图像可以是多张现实场景图像中拍摄清晰度高、不存在抖动和模糊、图像内容的轮廓清晰的图像。针对筛选出的目标现实场景图像和终端拍摄的一张现实场景图像，可通过如下几种方式中的至少一种进行终端拍摄现实场景图像或目标现实场景图像时所处位姿的识别。
第一种位姿态识别方案：
如图3所示，
S102或S102a具体可以为：
S301：将现实场景图像与点云库中的点云区域进行特征匹配，确定出至少一个目标点云区域；
S302：获得关联图像集，所述关联图像集包括与该至少一个目标点云区域关联的图像；
S303：将关联图像集中的图像与所述现实场景图像进行特征匹配，确定出目标关联图像；
S304：获得拍摄目标关联图像时终端所处的位姿信息；
S305：依据拍摄目标关联图像时终端所处的位姿信息，确定终端在拍摄至少部分现实场景模型的情况下所处的位姿。
在第一种位姿态识别方案中，预先将现实环境中能够做成点云区域的区域进行集合，得到点云库。点云库中包括有对应于现实环境中的至少一个区域的点云区域。每个点云区域具有一定的特征，也即每个点云区域具有其在现实环境中的对应区域的特征，该特征可以是在现实环境中的对应区域中的各点在现实场景中的诸如三维坐标、轮廓、细节、纹理、颜色等信息。同时，预先对现实环境中能够做成点云区域的区域进行图像拍摄，形成图像集。在拍摄完图像集中的各图像的情况下，对拍摄各图像时终端在现实环境中所处的拍摄姿态、具体是拍摄位置以及拍摄角度进行获取。获取终端对各图像的拍摄位姿可通过多种方式，例如当终端配置有用于检测位置的定位部件和用于检测拍摄角度的角速度传感器时，可通过定位部件检测此时的拍摄位置，可通过角速度传感器检测到此时的拍摄角度。还例如当终端配置有用于检测位置的定位部件和检测位姿信息的姿态传感器，通过定位部件检测此时的拍摄位置，通过姿态传感器检测此时的拍摄角度。前述的角速度传感器可以是陀螺仪、惯性测量单元(IMU)。定位部件可以是全球定位系统(GPS)、全球导航卫星系统(GLONASS)等。将图像集中的各图像以及拍摄各图像时终端的拍摄位姿进行对应记录。
在技术层面上，将现实场景图像与点云库中记录或存储的至少一个点云区域进行特征匹配，例如进行现实场景图像中像素点能够构成的轮廓与各点云区域自带的轮廓进行一致性比对，如果在点云库中存在有这样一个点云区域，其在现实环境中的对应区域的轮廓与现实场景图像中像素点构成的轮廓相同或相似度达到预定的第一相似阈值如95％，则认为这样的点云区域与为现实场景图像匹配的点云区域，也即为目标点云区域。从图像集中，查找对在现实环境中对应于目标点云区域进行拍摄的图像，将查找到的图像视为关联图像集。查找到的关联图像集可能是两张及以上图像，还可能是一张图像，视具体情况而定。将关联图像集、现实场景图像分别进行诸如图像中拍摄的物体的轮廓、呈现角度、颜色、纹理等特征的提取。基于提取的特征，从关联图像集中识别出与现实场景图像的特征相似度高于第二相似阈值如98％的图像，将识别出的图像视为目标关联图像。可以理解，目标关联图像是预先对现实环境中对应于目标点云区域进行拍摄的图像，且预先还记录有终端拍摄目标关联图像时的拍摄位姿信息。从预先记录的图像集中的各图像以及拍摄各图像时终端的拍摄位姿的对应信息中，查找出终端拍摄目标关联图像时所处的拍摄位姿，终端拍摄目标关联图像时所处的位姿即可视为终端拍摄现实场景图像时终端所处的位姿信息。
在第一种位姿识别方案中，S301进行了一次图像特征匹配，S303进行了第二次图像特征匹配，第一种位姿识别方案相当于通过两次特征匹配进行的终端拍摄现实场景图像时终端所处位姿的识别，这种通过两次特征匹配进行位姿识别的方案，可保证终端拍摄现实场景图像时所处位姿的识别准确性，进而可保证后续需要对三维虚拟模型构建的准确性以及对三维虚拟模型的显示准确性。
第二种位姿态识别方案：
如图4所示，
S102或S102a具体可以为：
S401：获得所述现实场景图像的特征信息；
S402：将所述现实场景图像的特征信息与至少一个预定图像的特征信息进行匹配，从至少一个预定图像中确定出匹配图像；
S403：获得终端拍摄所述匹配图像时所处的位姿信息；
S404：依据终端拍摄所述匹配图像时所处的位姿信息，确定所述终端在拍摄所述至少部分现实场景模型时所处的位姿。
在第二种位姿识别方案中，预先采用不同的拍摄位姿将现实环境中的各个区域进行图像的拍摄。针对现实环境中的同一区域，采用不同的拍摄姿态对该区域进行拍摄。其中，对同一区域采用不同拍摄姿态进行拍摄，包括在不同的拍摄位置以及不同的拍摄角度上对该区域进行拍摄，在同一拍摄位置的不同拍摄角度进行拍摄，以及在同一拍摄角度下的不同拍摄位置进行拍摄。如此采用多样化以及全面的拍摄位姿进行图像的拍摄，可保证对现实环境中的各区域的在各个拍摄位置以及各个拍摄角度下拍摄到的图像的多样性和全面性。将拍摄到的多样化图像进行存储或记录，形成预定图像集，以便后续使用。
在具体实现上，将现实场景图像、预定图像集中的各个预定图像分别进行诸如图像中拍摄的物体的轮廓、颜色、纹理等特征的提取。基于提取的特征，从预定图像集中识别出与现实场景图像的特征相似度高于第三相似阈值如97％的图像，将识别出的图像视为匹配图像。可以理解，识别出的匹配图像是从拍摄物体的轮廓、颜色、纹理等方面来看，是预定图像集中与现实场景图像匹配度最高也即最为相似的图像。这个图像中所体现的拍摄到的内容很大程度上与现实场景图像拍摄的内容是一致的。视拍摄这个图像时终端在现实环境中所处的拍摄位置以及拍摄角度为终端拍摄现实场景图像时的拍摄位置和拍摄角度。
在第二种位姿识别方案中，由于预定图像集从不同拍摄位置以及不同拍摄角度进行了拍摄，预定图像集中的图像较为全面，依据较为全面的图像进行拍摄位姿的识别，可保证终端拍摄现实场景图像时所处位姿的识别准确性，进而可保证后续对三维虚拟模型构建的准确性以及对三维虚拟模型的显示准确性。
下面对前述的S103和S103a的实现过程进行说明。在S103和S103a中，现实场景是AR场景中位于真实坐标系下的场景，待显示的虚拟对象数据、具体是三维虚拟模型是在虚拟坐标系下的模型或环境。S103和S103a意在依据现实场景图像中拍摄的内容，将原本显示在真实坐标下的场景或环境，进行沙盘A区域的虚拟场景或环境的构建或重建，并将构建出的虚拟场景或环境视为虚拟对象数据、具体是三维虚拟模型，显示在虚拟坐标系下。构建出的虚拟场景或环境可以是与在真实环境下的显示比例相同，也可以不同。优选为相同，如此，对构建出的虚拟场景或环境的显示相当于拍摄到的真实场景的等比例显示，实现对真实场景的虚拟显示，给用户一种身临其境的感觉。
在具体实现上，对于终端拍摄到的现实场景图像，针对该图像中的像素点所表示的对象，如现实场景图像为对沙盘中的部分场景进行拍摄，图像中的像素点所表示的对象可以是现实场景中的高楼或街道。构建虚拟坐标系，相当于构建一个空的虚拟空间，将现实场景图像拍摄到的对象映射到空的虚拟空间中即得到三维虚拟模型。假定现实场景图像中的一个(些)像素点表示的现实场景中的对象A，识别该对象A在现实场景图像中的位置，假定其为第一位置，将第一位置用坐标(rx，ry)来表示。则对象A映射到虚拟空间中其所处的位置是(fx，fy，fz)。坐标(fx，fy，fz)可通过公式(1)计算而来：
Figure BDA0002563967890000091
Figure BDA0002563967890000092
Figure BDA0002563967890000093
其中，n1为现实场景图像的单位像素距离与真实空间单位距离之间的比例关系，可通过公式(2)计算而得。n2为真实空间单位距离与虚拟空间单位距离之间的比例关系，可通过公式(3)计算而得。
Figure BDA0002563967890000101
n2＝hs/hv (3)
在公式(2)中，d表示对象A与终端、具体是终端的摄像头之间的距离。a表示现实场景图像的宽度；b表示现实场景图像的高度；c＝b/2/tan((FOV1/2)*con)；FOV1表示终端、具体是摄像头在真实环境中竖直方向的视觉角度；con为视觉角度到弧度的转变量，为一常量。
公式(3)中，hs表示用于显示三维虚拟模型的设备如终端的高度；hv可表示为虚拟摄像设备的高度，hv＝tan((FOV2/2)*con*dz*2)。FOV2表示虚拟摄像设备在竖直方向的视觉角度；con为角度到弧度的转变量，为一常量；dz表示对象A与虚拟摄像设备之间的轴向距离。
前述方案中，对象A与终端所在的空间可视为真实空间。三维虚拟模型和虚拟摄像设备对应的空间为虚拟空间。对对象A拍摄的现实场景图像可视为像素空间。前述方案即是将像素空间中的对象映射到虚拟空间中。根据前述的方案可以看出，将像素空间中的对象映射到虚拟空间中需要借助于真实空间。公式(2)计算的现实场景图像的单位像素距离与真实空间单位距离之间的比例，相当于计算的是像素空间与真实空间的对应关系。公式(3)计算的真实空间单位距离与虚拟空间单位距离之间的比例关系，相当于计算的是真实空间与虚拟空间的对应关系。根据这两个对应关系，即可得到现实场景图像中的各对象在虚拟空间下的映射关系，如利用前述的公式(3)，现实场景图像中的各对象在虚拟坐标系下所处的位置计算，后续可在虚拟坐标下将各对象显示在相应的位置处即可。可以理解，在终端处于拍摄现实场景图像的位姿下需要显示的虚拟对象数据，也即现实场景图像中拍摄的各现实对象在虚拟空间下的三维虚拟模型即为集合有前述的各对象以及各对象在虚拟坐标系下所处位置的三维模型。
前述方案可视为依据现实场景图像中拍摄的内容(真实环境中的对象)，构建出三维虚拟模型，该三维虚拟模型可将原本显示在真实坐标下的对象以及各对象在真实坐标系下所处的位置，显示在虚拟坐标系下，进行虚拟显示。读取构建出的三维虚拟模型，以便在三维虚拟模型存在有虚拟显示效果的情况下进行虚拟显示。前述方案相当于，现实场景图像中拍摄有真实场景或环境中的哪个对象，就进行哪个对象以及其在在真实环境中所处位置的构建，以进行虚拟显示。可以理解，构建出的对象为虚拟对象，不仅需要构建出虚拟对象还需要构建出虚拟对象在其要呈现的三维虚拟模型中的位置。
在前述的S104和S104a中，在真实环境中，哪个区域或哪个地方需要进行虚拟效果的显示可以预先进行设置。例如，假定真实场景为沙盘，沙盘中的A区域可以进行虚拟效果的显示，则预先存储诸如沙盘中的A区域可进行虚拟效果显示的内容。如果现实场景图像是针对沙盘的A区域进行拍摄而得到的图像，则在构建出A区域的虚拟模型的情况下，根据预先存储的内容，可知A区域可进行虚拟显示效果的呈现，则控制终端进行A区域的三维虚拟模型的显示。
可以理解，本申请实施例中的虚拟显示效果可以指的是虚拟对象数据可进行三维虚拟显示。此外，本申请实施例中的虚拟显示效果还可以指的是可使用一种或两种及以上的(虚拟)显示效果进行显示。在虚拟显示效果为两种或两种以上的情况下，可以从任何能够想到的角度，进行虚拟显示效果的划分。例如，从色彩的角度，假定需要进行虚拟显示的三维虚拟模型包括有几个对象如高楼、街道、树木等，则可采用不同的颜色进行高楼、街道、树木的划分。如将三维虚拟模型中的高楼用红色来标识出，将街道用灰色来标识出，将树木用绿色来标识，以通过不同的颜色进行各对象的区分显示。从对象的高度的角度，将不同高度的对象进行区分。如将高度在1m以下的对象用红色标出，将高度在1m以上至3m的对象用绿色标出，将高度在3m以上的对象用灰色标出，以通过不同的颜色进行不同高度的对象的区分显示。还或者，将诸如高楼、平房等视为商圈，将街道、树木等视为非商圈，利用不同的颜色将商圈和非商圈区分显示。还例如，从不同线条和/或线条的粗细角度进行虚拟显示效果的划分，示例性地，将高楼用实线标识出，将街道用下划线标识出，将树木用点划线标识出。将商圈区用粗线标识出，将非商圈区用细线标识出。如此，便可令用户看到较为丰富的虚拟显示效果，提升用户体验。可以理解，本申请实施例中的不同虚拟显示效果的显示无法一一枚举，任何合理的方案均在本申请的覆盖范围内。
应该理解，在三维虚拟模型具有两种或两种以上的虚拟显示效果的情况下，可以控制三维虚拟模型以至少两种虚拟显示效果中的其中任意一种进行显示；还可以，控制三维虚拟模型进行至少两种虚拟显示效果的轮流显示、或切换显示。在进行轮流或切换显示的方案中，可以获得用户的触发操作；基于所述触发操作，控制所述三维虚拟模型进行所述至少两种虚拟显示效果的切换显示。示例性地，假定终端对三维虚拟模型的虚拟显示效果有两种，显示效果1和效果2，在终端以显示效果1进行显示的情况下，如三维虚拟模型中的高楼用红色来标识，将街道用灰色来标识，将树木用绿色来标识。终端在检测到用户对终端的触发操作如对终端显示屏的预定次数点击(单击、双击)、滑动、语音操作、甩动、摇晃等操作的情况下，认为存在有显示效果切换的需求，从显示效果1切换到显示效果2进行显示。显示效果2可以是利用不同的颜色将商圈和非商圈进行区分显示。可以理解，用户对终端的触发操作除了可以是对显示屏的以上操作之外，还可以是对显示屏显示的某个虚拟对象的操作，如预定次数点击(单击、双击)、滑动，在这种情况下，也可进行显示效果的切换。这种针对检测到的如上触发操作，可以实现对AR场景中对图像的呈现特效的切换或更新，提高了增强现实场景的可操作性。此外，AR场景中对图像的呈现特效的多样化也即虚拟显示效果的多样化，可增加显示趣味性，大大提升用户的观看体验。
除前所述的构建三维虚拟模型的方案之外，本申请实施例中还可以采用SFM(基于行为的重建方法，Structure-From-Motion)算法，对现实场景图像中拍摄到的各对象进行三维重建。本申请实施例中需要终端在现实场景或环境中的同一拍摄位置以及同一拍摄角度下采集多张现实场景图像，SFM算法主要分为以下几个步骤：第一步，对各张现实场景图像进行特征提取，特征提取时可以采用SIFI(Scale Invariant Feature Transform，尺度不变特征变换)算子，由于SIFT算子具有尺度和旋转不变性，所以提取的特征较为准确性。第二步，基于提取出的特征，对多张现实场景图像进行图像对的匹配，匹配就在于查找出在不同现实场景图像中表示同一对象的像素点。在查找出之后，将表示同一对象的像素点以及所在现实场景图像做成踪迹(track)集合。示例性地，第1幅现实场景图像的第13个像素点、第2幅现实场景图像的第14个像素点、以及第5幅现实场景图像的第115号像素点是表示同一对象的像素点，则(1,13)、(2，14)以及(5，115)是属于同一个track，记录到track集合中。可以理解，每个track是匹配(像素)点以及匹配图像对的集合。track集合中包括至少两个track。第三步，识别出理想图像对。目的是找到摄像头或相机基线最大的相对，采用RANSC算法四点法计算图像对的单应矩阵，满足单应矩阵的匹配点称之为内点。从找到的内点中找到内点占比最小的图像对，找到的图像对即为理想或期望的图像对。第四步，初始化图像对的相对定向。具体的，根据RANSC八点法计算图像对的本征矩阵，将本征矩阵进行奇异值(SVD)分解，得到图像对的旋转(R)矩阵和平移(T)矩阵。根据R矩阵和T矩阵以及匹配对像素点坐标，计算出该像素点的三维坐标。第五步，进行匹配对像素点的三维构建。以第3幅现实场景图像为例，根据第四步生成的三维点、以及第3幅现实场景图像与第1、2两个现实场景图像的track关系，反计算出第3幅现实场景图像的R矩阵和T矩阵，对R矩阵和T矩阵进行三角化计算出匹配像素点的三维坐标。重复执行本步骤，即可将track集合中的匹配对像素点的三维坐标计算出。本步骤进行匹配对像素点的三维坐标点的计算，即是相当于对现实场景图像中的各对象进行虚拟坐标系下的构建。第六步，属于优化步骤，在对同一匹配对像素点的三维坐标点计算的情况下，可能计算出两个三维坐标点或更多个三维坐标点，此时需要将计算出两个或更多个三维坐标点代入至预设的约束函数，使得约束函数最小的三维坐标点即为理想的坐标点，利用理想的坐标点进行现实场景图像中的各对象的构建。利用SFM(基于行为的重建方法，structure-from-motion)算法，可实现对现实场景图像中拍摄到的各对象进行三维重建。利用SFM算法对现实场景图像中拍摄到的各对象进行三维重建或构建，可保证重建或构建的准确性。进而实现对构建出的三维虚拟模型更准确的AR增强特效显示。利用SFM的具体实现过程请参见现有相关说明，不赘述。
下面结合附图5和图6及具体实施例对本申请作进一步详细的说明。
在本应用场景中，以AR场景中，终端与云端服务器之间的交互为例本申请实施例的技术方案的说明。如果将图5所示的现实场景视为沙盘场景或环境，整个沙盘场景可被划分为四个区域：A区域、B区域、C区域和D区域。整个沙盘模型即可视为现实场景模型。终端为AR设备。
如图5所示，在本应用场景中，将终端12设置于支架11上，支架11上具有滑动轨道，位于支架11上的终端12在滑动轨道上围绕着现实场景模型移动，移动过程中终端12对现实场景模型的至少部分现实场景模型进行拍摄。如当终端在滑动轨道上围绕着沙盘模型移动至A区域的情况下，进行沙盘A区域的图像拍摄，并将拍摄到的沙盘A区域的图像发送至云服务器。可以理解，A区域对于整个沙盘模型来说仅是沙盘模型的一部分，终端对A区域的沙盘模型进行拍摄即是对整个沙盘模型的部分进行图像采集或拍摄。这里，终端采集到的沙盘A区域的图像即为前述的现实场景图像，该图像是对整个沙盘模型的一部分如A区域部分进行采集或拍摄而得到的图像。
云服务器接收终端拍摄到的沙盘A区域的图像。依据接收的图像，对终端拍摄A区域的沙盘图像时的位姿信息进行识别。对终端采集或拍摄A区域的沙盘图像时的位姿信息进行识别可以采用前述的第一种位姿识别方案或者第二种位姿识别方案，还可以同时采用两种位姿识别方案。
其中，利用第一种位姿识别方案进行位姿的识别过程是：预先将沙盘模型的A区域中能够做成点云的区域如高楼区域、平房区域进行集合，得到点云库。每个点云区域具有一定的特征，也即每个点云区域具有其在A区域对应的各对象的特征，A区域的对象包括高楼、平房，该特征可以是高楼、平房在A区域中的诸如坐标、轮廓、细节、纹理、颜色等信息。预先对A区域进行多张图像拍摄，如对A区域的每个对象进行多张图像的拍摄，或者对A区域的所有对象进行图像的拍摄。将这些拍摄的图像进行记录或存储，形成图像集。在拍摄完图像集中的各图像的情况下，对拍摄各图像时终端在现实环境中所处的拍摄姿态、具体是拍摄位置以及拍摄角度进行获取。例如，可根据GPS定位出终端拍摄各图像时所处的拍摄位置。依据陀螺仪定位出终端拍摄各图像时所处的拍摄角度。云服务器将A区域的图像与点云库中记录的各点云区域进行特征匹配，如将A区域的图像中的轮廓与各点云区域的轮廓进行一致性比对，如果在点云库中存在有这样一个点云区域，其图像轮廓与A区域的图像中的轮廓相同或相似度达到预定的第一相似阈值如95％，则认为这样的点云区域与为A区域的图像匹配的点云区域，也即为目标点云区域。示例性地，假定点云库中有对应于A区域的楼房的点云区域，有对应于A区域的平房的点云区域，还有对应于A区域的楼房和平房的点云区域，则将A区域的图像中的轮廓与各点云区域的轮廓进行一致性比对，会发现A区域的图像中既存在有楼房的轮廓又存在有平房的轮廓，则从点云库中匹配出的目标点云区域是对应于A区域的楼房和平房的点云区域。从图像集中，查找对在现实环境中对应于目标点云区域进行拍摄的图像，将查找到的图像视为关联图像集。示例性地，因为图像集中既包括仅对A区域的楼房进行拍摄的图像，由包括仅对A区域的平房进行拍摄的图像，还包括有既对A区域的楼房又对平房进行拍摄的图像。从图像集中查找出的关联图像集就是既对A区域的楼房又对平房进行拍摄的图像。将关联图像集、A区域的图像分别进行诸如图像中拍摄的对象如高楼、平房的轮廓、呈现角度、颜色、纹理等特征的提取，主要提取轮廓和呈现角度等特征。基于提取的特征，从关联图像集中识别出与A区域的图像的特征相似度高于第二相似阈值如98％的图像，将识别出的图像视为目标关联图像。虽然关联图像集中的各关联图像均是对A区域的楼房和平房进行拍摄的图像，由于拍摄位姿不同，所以关联图像集中的各关联图像所呈现的A区域的楼房和平房的角度以及模样均有所不同。目标关联图像是关联图像集中与A区域的图像无论是拍摄内容还是呈现角度均是一致的图像。如此，如果预先记录的终端拍摄目标关联图像时的拍摄位姿为A，位姿A可以指的是终端位于A区域的正前方位置进行的A区域的拍摄、且是以是终端垂直于地面的拍摄角度进行的拍摄。如此，便可识别出终端拍摄A区域的图像时所处的位姿即为位姿A。
利用第二种位姿识别方案进行位姿的识别过程是：预先采用不同的拍摄位姿将A区域、具体是A区域的各个对象进行图像的拍摄。针对A区域，采用不同的拍摄姿态对该区域进行拍摄。拍摄的图像可以是包括A区域的所有对象的图像，还可以是包括部分对象的图像，对此不做具体限定。其中，对A区域采用不同拍摄姿态进行拍摄，包括在不同的拍摄位置以及不同的拍摄角度上对该区域进行拍摄，在同一拍摄位置的不同拍摄角度进行拍摄，以及在同一拍摄角度下的不同拍摄位置进行拍摄。如此采用多样化以及全面的拍摄位姿进行图像的拍摄，可保证对现实环境中的各区域的在各个拍摄位置以及各个拍摄角度下拍摄到的图像的多样性和全面性。将拍摄到的多样化图像进行存储或记录，形成预定图像集，以便使用。
在具体实现上，云服务器将A区域的图像、预定图像集中的各个预定图像分别进行诸如图像中拍摄对象的轮廓、呈现角度、颜色、纹理等特征的提取，主要提取轮廓和呈现角度等特征。基于提取的特征，从预定图像集中识别出与A区域的图像的特征相似度高于第三相似阈值如97％的图像，将识别出的图像视为匹配图像。可以理解，识别出的匹配图像是从拍摄对象的轮廓、呈现角度、颜色、纹理等方面来看，是预定图像集中与现实场景图像相似度最高也即最为相似的图像。这个图像中所体现的拍摄到的内容很大程度上与现实场景图像拍摄的内容是一致的，这个图像中对拍摄到的内容的呈现角度也是与现实场景图像拍摄的内容的呈现角度也是一致的。如此，视拍摄这个图像时终端在现实环境中所处的拍摄位置以及拍摄角度为终端拍摄A区域图像时的拍摄位置和拍摄角度。
前述位姿识别方案可以同时利用前述的两种位姿识别方案进行识别。在利用两种方案进行识别的过程中，两种方案识别的结果为一致的情况下，可将识别为一致的位姿作为终端拍摄A区域图像时的拍摄位姿。如果不一致，可以以第一种位姿识别方案的识别结果为准，或者放弃本次识别。重新对A区域的沙盘进行图像采集并识别。前述的第一、二相似阈值以及第三相似阈值可以依据具体情况而灵活设定，不局限于以上所述。
可以理解，云服务器识别终端拍摄A区域的位姿、意在识别A区域中的各对象是被以何种拍摄位姿拍摄的，因为不同的拍摄位姿对A区域的各对象拍摄到的图像均不同。依据拍摄的A图像中的拍摄内容，将原本显示在真实坐标下的沙盘A区域的场景或环境，进行沙盘A区域的虚拟场景或环境的构建或重建。本应用场景中，构建出的沙盘A区域虚拟场景可以采用与在真实环境下A区域的显示比例相同的比例进行显示。如此便使得构建或重建出的沙盘A区域的模型更加真实化，可大大提升用户的使用体验，如图5或图6所示的构建出的A区域的三维虚拟模型和C区域的三维虚拟模型。构建或重建出的沙盘A区域的模型的过程即可参照前述的公式(1)～(3)所示的过程或者参照前述的SFM算法过程。本应用场景中，构建或重建出的沙盘A区域的模型即为图5中终端12所呈现的内容。如图5所示，在拍摄的A区域图像中包括有现实场景中的高楼、平房等对象，则构建出的沙盘A区域模型中也包括有高楼、平房，在沙盘A区域模型中构建出的高楼、平房等均为构建出的虚拟对象。通俗地讲，在拍摄的沙盘A区域的图像中有何种对象，就对何种对象进行构建，得到相应的虚拟对象。以及构建出的各虚拟对象在AR场景中呈现的视角与在拍摄出的沙盘A区域图像中各对象呈现的视角相同。
可以理解，本应用场景中，现实场景图像是终端在处于位姿A的情况下拍摄沙盘A区域而得到的图像。云端服务器依据终端拍摄的A图像中的内容，构建或重建出沙盘A区域的虚拟场景或环境，也即构建出沙盘A区域的三维虚拟模型。构建或重建出沙盘A区域的三维虚拟模型被终端显示时用户所看到的视角应该与用户看到终端拍摄的沙盘A区域的图像的视角相同。通俗地讲，构建或重建出三维虚拟模型中的各对象呈现的角度和模样需要与用户看到终端拍摄的沙盘A区域的图像中的各对象呈现的角度和模样一致，只不过三维虚拟模型是以三维的形式进行的呈现，而终端拍摄的沙盘A区域的图像是以平面的形式进行的呈现。
假定云端服务器预先存储有以下内容：沙盘中的A区域可以进行虚拟效果显示。根据预先存储的内容，判断出A区域可进行虚拟显示效果的呈现，则云服务器控制终端进行A区域的三维虚拟模型的显示。图5即为终端显示云端服务器为A区域的沙盘模型构建或重建的三维虚拟模型的显示图。如果根据预先存储的内容中没有说明沙盘的A区域可进行虚拟显示效果的呈现，则不控制终端进行三维虚拟模型的显示。
如果预先设定终端可对构建或重建出的沙盘A区域的三维虚拟模型进行虚拟显示的虚拟显示效果有两种，显示效果1和效果2，则云端服务器可先控制沙盘A区域的三维虚拟模型进行显示效果1的显示，终端以显示效果1进行沙盘A区域的三维虚拟模型的显示。在终端检测到用户针对终端、具体是显示屏的滑动操作的情况下，基于滑动操作生成一切换指令，发送切换指令至云端服务器。云端服务器切换终端显示的显示效果从显示效果1切换到显示效果2，终端以显示效果2进行沙盘A区域的三维虚拟模型的显示。还可以，云端服务器自带AR显示屏，检测到用户对自带AR显示屏的滑动操作的情况下，切换终端显示的显示效果。其中，显示效果1可以是沙盘A区域的三维虚拟模型中的高楼用红色来标识，平房用灰色来标识。显示效果2可以是利用不同的颜色将商圈(包括高楼和平房)和非商圈(除高楼和平房之外的对象如街道)进行区分显示。云端服务器还可以使得对显示屏显示的某个虚拟对象进行点击操作，进行虚拟显示效果的切换。本应用场景中，如果操作是针对显示屏的操作，则可以对整个三维虚拟模型的显示效果进行切换。如果操作是针对某个虚拟对象的操作，则可以对整个三维虚拟模型的显示效果进行切换，还可以仅对三维虚拟模型中被操作的虚拟对象进行显示效果的切换，其它虚拟对象仍然使用原显示效果进行呈现。AR场景中对图像的呈现特效的多样化，可增加显示趣味性，提升用户的观看体验。
可以理解，前述方案是利用终端与云端服务器之间的交互进行的终端拍摄位姿的定位以及三维虚拟模型的虚拟显示的方案。除此之外，还可以仅利用终端、或仅利用云端服务器进行终端拍摄位姿的定位以及三维虚拟模型的虚拟显示的方案。如果是利用终端与云端服务器之间的交互进行的终端拍摄位姿的定位以及三维虚拟模型的虚拟显示，则终端可以仅是具有拍照功能和显示功能的设备，如一个具有摄像头的显示屏。而在仅利用终端、或仅利用云端服务器进行终端拍摄位姿的定位以及三维虚拟模型的虚拟显示的方案中，终端不仅需要具有拍照功能和显示功能，还需要一定的处理功能以完成定位以及构建等过程。如果将图5和图6所示的终端视为一种支持AR功能的固定终端，则本申请实施例中的终端还可以是支持AR功能的移动终端，如手机或PAD。无论终端是何种形态的设备，均可实现对AR场景中图像的三维虚拟增强显示特效。如此，便可使AR设备的功能多样化，提升用户对AR设备的体验。
在处于如图5所示的状态下，沿着滑动轨道对终端12继续进行滑动，如图6所示，当其滑动到C区域的情况下，与前述对A区域的图像采集以及处理类似，终端还可以对云端服务器为C区域构建出的三维虚拟模型进行显示。在图5和图6中，区别于实际沙盘，需要终端显示的沙盘区域如A区域和C区域均使用粗线进行表示。而实际沙盘的其它区域如图5中的B-D区域、以及图6中的A、B区域以及D区域均用细线表示。
本申请实施例的技术方案至少存在如下有益效果：
1)基于拍摄到的现实场景图像，对终端在拍摄该图像时所处的位姿进行识别，为一种能够准确定位出终端拍摄位姿的方案。进一步的，利用前述的两种位姿识别方案中的任意一种进行拍摄位姿的识别，拍摄位姿的识别方案具有可选择性，实用性强。此外，还可同时利用前述的两种位姿识别方案进行拍摄位姿的识别，如此，更能够提高识别准确性。
2)在定位出的终端拍摄姿态下需要显示的三维虚拟模型存在有虚拟显示效果的情况下，方可进行三维虚拟模型的虚拟显示。实现了对AR场景中呈现特效的增强显示。使得增强现实场景的显示更加逼真、AR设备的显示功能更加多样化，可大大提升用户对AR设备的使用体验。
3)利用公式(1)-(3)进行沙盘A区域或C区域的构建，或者利用SFM算法进行构建或重建，可保证对处于定位出的拍摄位姿下的沙盘A区域或C区域的准确构建。此外，还可以同时利用公式(1)-(3)以及SFM算法进行构建，在利用二种方式进行构建的方案中，如果二种方式构建出的模型为一致，则可将任意一种构建结果作为最终的结果。
4)三维虚拟模型可采用多种虚拟显示效果进行显示，虚拟显示效果的多样化，可增加显示趣味性，提升用户的观看体验。
本申请实施例还提供一种图像处理设备，该设备可以为前述的终端或服务器。在组成结构上，如图7所示，图像处理设备包括：第一获取单元1001、识别单元1002、第二获取单元1003、第三获取单元1004及控制单元1005；其中，
第一获取单元1001，用于获取现实场景图像；
识别单元1002，用于根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；
第二获取单元1003，用于获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；
第三获取单元1004，用于获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；
控制单元1005，用于在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述虚拟模型以虚拟显示效果进行显示。
在一些实施例中，识别单元1002，用于根据所述现实场景图像，识别终端在拍摄所述至少部分现实场景模型时所处的位置以及拍摄角度；
第二获取单元1003，用于获得在终端处于所述位置以及所述拍摄角度的情况下待显示的虚拟对象数据；
第三获取单元1004，用于获得所述三维虚拟模型在终端处于所述位置以及所述拍摄角度下进行显示时是否存在有虚拟显示效果的判断结果。
在一些实施例中，识别单元1002，用于：
将所述现实场景图像与点云库中的点云区域进行特征匹配，确定出至少一个目标点云区域；
获得关联图像集，所述关联图像集包括与该至少一个目标点云区域关联的图像；
将关联图像集中的图像与所述现实场景图像进行特征匹配，确定出目标关联图像；
获得拍摄目标关联图像时终端所处的位姿信息；
依据拍摄目标关联图像时终端所处的位姿信息，确定终端在拍摄至少部分现实场景模型的情况下所处的位姿。
在一些实施例中，识别单元1002，用于：
获得所述现实场景图像的特征信息；
将所述现实场景图像的特征信息与至少一个预定图像的特征信息进行匹配，从至少一个预定图像中确定出匹配图像；
获得终端拍摄所述匹配图像时所处的位姿信息；
依据终端拍摄所述匹配图像时所处的位姿信息，确定所述终端在拍摄所述至少部分现实场景模型时所处的位姿。
在一些实施例中，虚拟显示效果至少有两种；
控制单元1005，用于控制所述三维虚拟模型以所述至少两种虚拟显示效果中的其中任意一种进行显示，或者控制所述三维虚拟模型进行至少两种虚拟显示效果的切换显示。
在一些实施例中，控制单元1005，用于获得用户的触发操作；基于所述触发操作，控制所述三维虚拟模型进行所述至少两种虚拟显示效果的切换显示。
在一些实施例中，所述终端设置于支架上，位于支架上的所述终端在滑动轨道上围绕着所述现实场景模型移动，移动过程中所述终端对所述现实场景模型的至少部分现实场景模型进行拍摄。
可以理解，图像处理设备中的第一获取单元1001、识别单元1002、第二获取单元1003、第三获取单元1004及控制单元1005在实际应用中均可由图像处理设备的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－ProgrammableGate Array)实现。
需要说明的是，本申请实施例的图像处理设备，由于该图像处理设备解决问题的原理与前述的图像处理方法相似，因此，图像处理设备的实施过程及实施原理均可以参见前述图像处理方法的实施过程及实施原理描述，重复之处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时至少用于执行图1至图6任一所示方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图8所示的存储器62。
图8为本申请实施例的图像处理设备的硬件结构示意图，如图8所示，图像处理设备包括：用于进行数据传输的通信组件63、至少一个处理器61和用于存储能够在处理器61上运行的计算机程序的存储器62。终端中的各个组件通过总线系统64耦合在一起。可理解，总线系统64用于实现这些组件之间的连接通信。总线系统64除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统64。
其中，所述处理器61执行所述计算机程序时至少执行图1至图6任一所示方法的步骤。
可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，图像处理设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取现实场景图像；
根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；
获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；
获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；
在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述三维虚拟模型以虚拟显示效果进行显示。
2.根据权利要求1所述的方法，其特征在于，所述根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿，包括：
根据所述现实场景图像，识别终端在拍摄所述至少部分现实场景模型时所处的位置以及拍摄角度；
所述获取在终端处于所述位姿下待显示的虚拟对象数据，包括：
获得在终端处于所述位置以及所述拍摄角度的情况下待显示的虚拟对象数据；
所述获得对所述三维虚拟模型是否存在有虚拟显示效果的判断结果，包括：
获得所述三维虚拟模型在终端处于所述位置以及所述拍摄角度下进行显示时是否存在有虚拟显示效果的判断结果。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿，包括：
将所述现实场景图像与点云库中的点云区域进行特征匹配，确定出至少一个目标点云区域；
获得关联图像集，所述关联图像集包括与该至少一个目标点云区域关联的图像；
将关联图像集中的图像与所述现实场景图像进行特征匹配，确定出目标关联图像；
获得拍摄目标关联图像时终端所处的位姿信息；
依据拍摄目标关联图像时终端所处的位姿信息，确定终端在拍摄至少部分现实场景模型的情况下所处的位姿。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿，包括：
获得所述现实场景图像的特征信息；
将所述现实场景图像的特征信息与至少一个预定图像的特征信息进行匹配，从至少一个预定图像中确定出匹配图像；
获得终端拍摄所述匹配图像时所处的位姿信息；
依据终端拍摄所述匹配图像时所处的位姿信息，确定所述终端在拍摄所述至少部分现实场景模型时所处的位姿。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述虚拟显示效果至少有两种；所述方法还包括：
控制所述三维虚拟模型以所述至少两种虚拟显示效果中的其中任意一种进行显示，或者控制所述三维虚拟模型进行至少两种虚拟显示效果的切换显示。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获得用户的触发操作；
基于所述触发操作，控制所述三维虚拟模型进行所述至少两种虚拟显示效果的切换显示。
7.根据权利要求1或2所述的方法，其特征在于，所述终端设置于支架上，位于支架上的所述终端在滑动轨道上围绕着所述现实场景模型移动，移动过程中所述终端对所述现实场景模型的至少部分现实场景模型进行拍摄。
8.一种图像处理设备，其特征在于，包括：
第一获取单元，用于获取现实场景图像；
识别单元，用于根据所述现实场景图像，识别终端在拍摄至少部分现实场景模型的情况下所处的位姿；
第二获取单元，用于获取在终端处于所述位姿下待显示的虚拟对象数据，所述虚拟对象数据包括所述至少部分现实场景模型映射到虚拟空间下的三维虚拟模型；
第三获取单元，用于获取对所述三维虚拟模型是否存在有虚拟显示效果的判断结果；
控制单元，用于在所述判断结果表征为所述三维虚拟模型存在有虚拟显示效果的情况下，控制所述虚拟模型以虚拟显示效果进行显示。
9.一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任一所述方法的步骤。
CN202010623776.4A 2020-06-30 2020-06-30 图像处理方法、设备及存储介质 Pending CN111833457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010623776.4A CN111833457A (zh) 2020-06-30 2020-06-30 图像处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010623776.4A CN111833457A (zh) 2020-06-30 2020-06-30 图像处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111833457A true CN111833457A (zh) 2020-10-27

Family

ID=72900112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623776.4A Pending CN111833457A (zh) 2020-06-30 2020-06-30 图像处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111833457A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650422A (zh) * 2020-12-17 2021-04-13 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质
CN113160035A (zh) * 2021-04-16 2021-07-23 浙江工业大学 一种基于姿态引导、风格和形状特征约束的人体图像生成方法
CN113190120A (zh) * 2021-05-11 2021-07-30 浙江商汤科技开发有限公司 位姿获取方法、装置、电子设备及存储介质
CN113706709A (zh) * 2021-08-10 2021-11-26 深圳市慧鲤科技有限公司 文本特效生成方法及相关装置、设备、存储介质
CN114125310A (zh) * 2022-01-26 2022-03-01 荣耀终端有限公司 拍照方法、终端设备及云端服务器
CN114821675A (zh) * 2022-06-29 2022-07-29 阿里巴巴达摩院(杭州)科技有限公司 对象的处理方法、系统和处理器
CN115202481A (zh) * 2022-07-15 2022-10-18 上海商汤智能科技有限公司 对象的交互方法、智能终端、电子设备及存储介质
CN115719376A (zh) * 2022-11-17 2023-02-28 Oppo广东移动通信有限公司 位姿识别方法、装置、存储介质及电子设备
CN116342785A (zh) * 2023-02-24 2023-06-27 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质
WO2023155672A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
WO2025179784A1 (zh) * 2024-03-01 2025-09-04 亮风台（上海）信息科技有限公司 一种用于呈现ar虚拟信息的方法与设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222647A1 (en) * 2011-06-27 2013-08-29 Konami Digital Entertainment Co., Ltd. Image processing device, control method for an image processing device, program, and information storage medium
CN106951260A (zh) * 2017-03-27 2017-07-14 联想(北京)有限公司 一种虚拟场景下的虚拟对象准入方法和虚拟显示设备
CN107274463A (zh) * 2017-06-22 2017-10-20 口碑控股有限公司 图像处理方法及装置、电子设备
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130222647A1 (en) * 2011-06-27 2013-08-29 Konami Digital Entertainment Co., Ltd. Image processing device, control method for an image processing device, program, and information storage medium
CN106951260A (zh) * 2017-03-27 2017-07-14 联想(北京)有限公司 一种虚拟场景下的虚拟对象准入方法和虚拟显示设备
CN107274463A (zh) * 2017-06-22 2017-10-20 口碑控股有限公司 图像处理方法及装置、电子设备
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650422A (zh) * 2020-12-17 2021-04-13 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质
CN113160035A (zh) * 2021-04-16 2021-07-23 浙江工业大学 一种基于姿态引导、风格和形状特征约束的人体图像生成方法
CN113190120A (zh) * 2021-05-11 2021-07-30 浙江商汤科技开发有限公司 位姿获取方法、装置、电子设备及存储介质
CN113706709A (zh) * 2021-08-10 2021-11-26 深圳市慧鲤科技有限公司 文本特效生成方法及相关装置、设备、存储介质
CN114125310A (zh) * 2022-01-26 2022-03-01 荣耀终端有限公司 拍照方法、终端设备及云端服务器
CN114125310B (zh) * 2022-01-26 2022-07-05 荣耀终端有限公司 拍照方法、终端设备及云端服务器
WO2023155672A1 (en) * 2022-02-15 2023-08-24 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
US12197635B2 (en) 2022-02-15 2025-01-14 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
US11869145B2 (en) 2022-02-15 2024-01-09 Beijing Source Technology Co., Ltd. Input device model projecting method, apparatus and system
CN114821675A (zh) * 2022-06-29 2022-07-29 阿里巴巴达摩院(杭州)科技有限公司 对象的处理方法、系统和处理器
CN114821675B (zh) * 2022-06-29 2022-11-15 阿里巴巴达摩院(杭州)科技有限公司 对象的处理方法、系统和处理器
CN115202481A (zh) * 2022-07-15 2022-10-18 上海商汤智能科技有限公司 对象的交互方法、智能终端、电子设备及存储介质
CN115719376A (zh) * 2022-11-17 2023-02-28 Oppo广东移动通信有限公司 位姿识别方法、装置、存储介质及电子设备
CN116342785A (zh) * 2023-02-24 2023-06-27 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质
WO2025179784A1 (zh) * 2024-03-01 2025-09-04 亮风台（上海）信息科技有限公司 一种用于呈现ar虚拟信息的方法与设备

Similar Documents

Publication Publication Date Title
CN111833457A (zh) 图像处理方法、设备及存储介质
JP6644833B2 (ja) アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法
CN117115256B (zh) 图像处理系统
EP3798801A1 (en) Image processing method and apparatus, storage medium, and computer device
US20200097732A1 (en) Markerless Human Movement Tracking in Virtual Simulation
CN109035334B (zh) 位姿的确定方法和装置、存储介质及电子装置
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
CN112882576B (zh) Ar交互方法、装置、电子设备及存储介质
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN111679742A (zh) 基于ar的交互控制方法、装置、电子设备及存储介质
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
CN112991551A (zh) 图像处理方法、装置、电子设备和存储介质
CN110215706B (zh) 虚拟对象的位置确定方法、装置、终端及存储介质
CN116503474B (zh) 位姿获取方法、装置、电子设备、存储介质及程序产品
CN111970557A (zh) 图像显示方法、装置、电子设备及存储介质
CN112419388A (zh) 深度检测方法、装置、电子设备和计算机可读存储介质
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN114882106A (zh) 位姿确定方法和装置、设备、介质
US20240331245A1 (en) Video processing method, video processing apparatus, and storage medium
WO2022166173A1 (zh) 视频资源处理方法、装置、计算机设备、存储介质及程序
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027

RJ01 Rejection of invention patent application after publication