CN115877992A

CN115877992A - 显示方法、显示装置以及存储介质

Info

Publication number: CN115877992A
Application number: CN202211232792.6A
Authority: CN
Inventors: 李昭
Original assignee: Weilai Automobile Technology Anhui Co Ltd
Current assignee: Weilai Automobile Technology Anhui Co Ltd
Priority date: 2022-10-10
Filing date: 2022-10-10
Publication date: 2023-03-31

Abstract

本申请涉及显示方法、显示装置以及存储介质。所述显示方法包括：渲染包括深度信息的立体内容；以及根据所述深度信息呈现用户界面，其中，所述用户界面的至少一部分不被所述立体内容中遮挡。

Description

显示方法、显示装置以及存储介质

技术领域

本申请涉及用户界面显示领域，具体而言，涉及显示方法、显示装置以及存储介质。

背景技术

在现有技术中，为了解决用户界面（User Interface，UI）和三维（threedimension，3D）内容叠加显示的问题，一般在要显示UI的时候可以把3D内容转为二维（twodimension，2D）图像并与UI一同叠加显示。此时，左右眼显示的内容将是完全一致的，UI为2D形式，因而显示效果将明显下降。

还有一些方案是将UI以固定的深度显示在3D内容中，但是由于3D内容可能对UI的某些部分存在遮挡，因而也不利于用户获取UI中的信息以及操作UI上的控件。

有鉴于此，需要提出一种改进的3D内容和UI叠加显示的方法。

发明内容

本申请的实施例提供了一种显示方法、显示装置以及存储介质，用以在3D内容上叠加显示UI。

根据本申请的一方面，提供一种显示方法。所述方法包括：渲染包括深度信息的立体内容；以及根据所述深度信息呈现用户界面，其中，所述用户界面的至少一部分不被所述立体内容中遮挡。

在本申请的一些实施例中，可选地，所述用户界面包括关于所述立体内容的控件。

在本申请的一些实施例中，可选地，所述立体内容为按时间组织的图像信息，并且所述控件包括调整所述图像信息的重现形式的控件。

在本申请的一些实施例中，可选地，所述控件包括针对所述图像信息的以下至少一者：播放控制按钮、暂停控制按钮、跳转控制按钮。

在本申请的一些实施例中，可选地，所述控件的大小根据所述深度信息设置。

在本申请的一些实施例中，可选地，根据所述深度信息呈现用户界面包括：在所述立体内容中深度信息处于最前侧的部分之前呈现所述用户界面的至少一部分。

在本申请的一些实施例中，可选地，根据所述立体内容中的多个部分各自的深度信息而在所述多个部分中的每一部分之前的预定距离处呈现关于该部分的控件。

在本申请的一些实施例中，可选地，根据所述深度信息呈现用户界面包括：基于所述立体内容的观察者的调用呈现所述用户界面。

在本申请的一些实施例中，可选地，所述方法还包括：响应于所述立体内容的观察者的操作而消除所述用户界面。

根据本申请的另一方面，提供一种显示装置。所述装置包括：第一渲染单元，其配置成渲染包括深度信息的立体内容；以及第二渲染单元，其配置成根据所述深度信息呈现用户界面，其中，所述用户界面的至少一部分不被所述立体内容中遮挡。

在本申请的一些实施例中，可选地，所述第二渲染单元被配置成在所述立体内容中深度信息处于最前侧的部分之前呈现所述用户界面的至少一部分。

在本申请的一些实施例中，可选地，所述第二渲染单元被配置成根据所述立体内容中的多个部分各自的深度信息而在所述多个部分中的每一部分之前的预定距离处呈现关于该部分的控件。

在本申请的一些实施例中，可选地，所述第二渲染单元被配置成基于所述立体内容的观察者的调用呈现所述用户界面。

在本申请的一些实施例中，可选地，所述第二渲染单元还配置成响应于所述立体内容的观察者的操作而消除所述用户界面。

根据本申请的另一方面，提供一种显示装置。所述装置包括：存储器，其配置成存储指令；处理器，其配置成在执行所述指令时使得执行如上文所述的任意一种显示方法。

根据本申请的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令。当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种显示方法。

根据本申请的一些实施例提供的显示方法、显示装置以及存储介质可以在3D内容上叠加显示UI，并且UI中的有效细节（例如，提示、告警、诱导类信息）可以不受3D内容的遮挡，从而提高UI的可利用性。

附图说明

从结合附图的以下详细说明中，将会使本申请的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。

图1示出了根据本申请的一个实施例的3D内容显示场景；

图2示出了根据本申请的一个实施例的在3D内容上叠加显示UI的场景；

图3示出了根据本申请的一个实施例的显示方法；

图4示出了根据本申请的一个实施例的显示装置；

图5示出了根据本申请的一个实施例的显示装置。

具体实施方式

出于简洁和说明性目的，本文主要参考其示范实施例来描述本申请的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的显示方法、显示装置以及存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本申请的真实精神和范围。

图1示出了根据本申请的一个实施例的3D内容显示场景。如图所示， 3D内容的观看对象101（在本申请中又称为3D内容的观察者）可以通过头戴的虚拟现实显示设备/增强现实显示设备来欣赏3D内容。为了向对象101营造出立体场景，画面102中的内容将包括深度信息。虚拟现实显示设备/增强现实显示设备将根据画面中各个部分的深度信息，针对对象101的两眼分别形成有些许差别的图像。对象101的眼睛在捕捉到这些图像后经过视觉神经系统的处理可以获得立体的观赏感受。

为了更清楚地说明本发明的原理，图2中将对图1中显示的画面102的细节加以描述。如图2所示，画面102可以为一系列按时间组织的画面中的一帧，而这些画面是以视频12的形式存在的。由于视频12中的各帧（各个画面）是按时间编排的，因而在其重现过程中也将按照原先组织的顺序实时。此外，对象101可以对视频12的重现过程执行暂停、继续、加速、降速等操作，但是视频12中各帧的重现顺序一般是不变的。

本申请的一方面提供了一种显示方法。如图3所示，显示方法30（以下简称方法）包括如下步骤：在步骤S302中渲染包括深度信息的立体内容，以及在步骤S304中根据深度信息呈现用户界面。其中，用户界面的至少一部分不被立体内容中遮挡。根据方法30的以上步骤，用户界面的有效细节将可以不受遮挡地呈现给对象101，因此，对象101可以获取用户界面中的提示、告警、诱导类信息，并且可以实现与用户界面中的可操作部分的交互。

方法30在步骤S302中渲染包括深度信息的立体内容，在本申请中立体内容可以为画面102，具体渲染出的立体内容可以参考图1和图2中描述的场景。由于在制作立体内容之时画面102中的各个部分就包括了深度信息，因而借助于虚拟现实显示设备/增强现实显示设备将使得对象101获得三维立体的感受。应当理解，画面102中的各个部分可以具有不同的深度信息，因而在画面102中叠加显示用户界面时应当防止深度较小（视觉感受上较为靠近对象101）的部分对用户界面形成覆盖。具体而言，用户界面上的各类有效消息和控件不应当受到画面102中的内容遮挡以至于不能被辨识。另一方面，由于视频12包括多个画面，因而画面中的各个场景中的深度信息是不停变化的。如果将用户界面以统一的深度植入到画面中就可能导致在一些画面场景下用户界面被画面所遮挡，这对用户界面的识读和操作是不利的。

方法30在步骤S304中根据深度信息呈现用户界面。具体而言，在步骤S304中要保证用户界面的至少一部分不被立体内容中遮挡。在本申请中不被遮挡的这部分被称为有效部分，其具有提示、告警、诱导含义和/或是可被操作的。图2中示出了三种不同类似的控件121、122和123。

如图2所示，其中带有“i”标志的图标122属于用户界面的一部分，在步骤S304中渲染的图标122不应当被在步骤S302中渲染的画面102中的任意部分所遮挡。图标122表示点击该图标可以获取远处的山峰的介绍信息，当用户通过诸如手柄、操纵杆、指套等设备指向图标122时，视频12的画面可以暂停在画面102处并且图标122可以变换形态（例如，反色显示）以提示对象101图标122已经被激活处于可点击状态。此时，若对象101从图标122处移开光标，视频12将恢复播放，图标122也可以恢复到初始状态并且将随着山峰在视频画面中的消失而消失。若对象101点击图标122，那么关于山峰的介绍信息可以在画面上弹出（图中未示出）。出于便于对象101识别的角度考虑，弹出的介绍信息也应当不受遮挡。例如，在介绍信息之上不存在深度信息比介绍信息更小（亦即，更靠近对象101）的画面内容。

图2中还示出了另一种形式的用户界面，在步骤S304中渲染的购物车标志123对应于儿童自行车，表示画面102中的儿童自行车可以购买。因此，在步骤S304中渲染的标志123不应当被在步骤S302中渲染的画面102中的任意部分所遮挡。当用户点击标志123即可启动下单购买程序。同样的，为便于对象101识别，弹出的购买信息也应当不受遮挡。

在本申请的一些实施例中，用户界面还包括关于立体内容的控件。如上文所述，立体内容为按时间组织的图像信息，而控件则可以包括调整图像信息的重现形式的控件。图2中还示出了用于控制视频12重放进程的控件121，控件121也属于用户界面的一部分。如图所示，控件121包括了播放控制按钮、暂停控制按钮、跳转控制按钮（快进、快退）等用于控制重放进程的虚拟按钮。

在本申请的一些实施例中，控件121、122和123的大小是可以根据深度信息设置。换言之，叠加到画面102中显示的控件的大小不是固定不变的。由于要使得控件不被画面所遮挡，其相对于对象101的位置不是一成不变的。为此，可以使得控件根据其呈现的位置而设定其大小。又由于控件的呈现位置与画面102的各个部分的深度信息相关，因而控件的大小也与深度信息相关。如此，控件将在画面中也将呈现出“远小近大”的视角效果，从而可以更好地融入到画面102中。具体而言，可以将深度信息较小的部分（离对象更近）所对应的控件设置得更大，将深度信息较大的部分（离对象更远）所对应的控件设置得更小。控件的大小可以与它所对应画面部分的深度信息呈反比或者反相关关系。在一些示例中，图标122之类的用户界面信息可以随着关联对象的深度信息的变化（例如，画图102的镜头焦距变化导致其中的物体产生深度信息的变化）而改变大小。

在本申请的一些实施例中，在步骤S304中可以在立体内容中深度信息处于最前侧的部分之前呈现用户界面的至少一部分。例如，图2中的控件121是用于对整个视频12中的各个画面进行控制的，因而控件121应当显示在每个画面的最前面。因此，在步骤S304中可以将控件121渲染在画面102的各个部分之前。

在本申请的一些实施例中，在步骤S304中可以根据立体内容中的多个部分各自的深度信息而在多个部分中的每一部分之前的预定距离处呈现关于该部分的控件。继续参考图2，例如，可以在远处山峰的前侧（相对于对象101而言）预定距离D处呈现图标122，在儿童自行车的前侧（相对于对象101而言）预定距离D处呈现标志123。

在本申请的一些实施例中，在步骤S304中可以基于立体内容的观察者的调用呈现用户界面。亦即，在画面102中叠加显示的用户界面可以在对象101调用之时才显现出来，在对象101没有调用之时可以隐藏起来，防止对画面102的内容造成干扰。

在本申请的一些实施例中，方法30还包括步骤S306：响应于立体内容的观察者的操作而消除用户界面。用户界面一方面可以随着视频12中不同画面的呈现而变化，另一方面也可以受对象101的控制而显示或不显示。

本申请的另一方面提供了一种显示装置。如图4所示，显示装置40（以下简称装置40）包括第一渲染单元401和第二渲染单元402。装置40根据第一渲染单元401和第二渲染单元402可以实现将用户界面的有效细节不受遮挡地呈现给对象101，因此，对象101可以获取用户界面中的提示、告警、诱导类信息，并且可以实现与用户界面中的可操作部分的交互。

装置40的第一渲染单元401被配置成渲染包括深度信息的立体内容，在本申请中立体内容可以为画面102，具体渲染出的立体内容可以参考图1和图2中描述的场景。由于在制作立体内容之时画面102中的各个部分就包括了深度信息，因而借助于虚拟现实显示设备/增强现实显示设备将使得对象101获得三维立体的感受。应当理解，画面102中的各个部分可以具有不同的深度信息，因而在画面102中叠加显示用户界面时应当防止深度较小（视觉感受上较为靠近对象101）的部分对用户界面形成覆盖。具体而言，用户界面上的各类有效消息和控件不应当受到画面102中的内容遮挡以至于不能被辨识。另一方面，由于视频12包括多个画面，因而画面中的各个场景中的深度信息是不停变化的。如果将用户界面以统一的深度植入到画面中就可能导致在一些画面场景下用户界面被画面所遮挡，这对用户界面的识读和操作是不利的。

装置40的第二渲染单元402被配置成根据深度信息呈现用户界面。具体而言，第二渲染单元402所渲染的用户界面的至少一部分不被立体内容中遮挡。在本申请中不被遮挡的这部分被称为有效部分，其具有提示、告警、诱导含义和/或是可被操作的。图2中示出了三种不同类似的控件121、122和123。上文中关于图1和图2的描述内容一并引用于此，限于篇幅在此不作赘述。

如图2所示，其中带有“i”标志的图标122属于用户界面的一部分，第二渲染单元402所渲染的图标122不应当被第一渲染单元401所渲染的画面102中的任意部分所遮挡。图标122表示点击该图标可以获取远处的山峰的介绍信息，当用户通过诸如手柄、操纵杆、指套等设备指向图标122时，视频12的画面可以暂停在画面102处并且图标122可以变换形态（例如，反色显示）以提示对象101图标122已经被激活处于可点击状态。此时，若对象101从图标122处移开光标，视频12将恢复播放，图标122也可以恢复到初始状态并且将随着山峰在视频画面中的消失而消失。若对象101点击图标122，那么关于山峰的介绍信息可以在画面上弹出（图中未示出）。出于便于对象101识别的角度考虑，弹出的介绍信息也应当不受遮挡。例如，在介绍信息之上不存在深度信息比介绍信息更小（亦即，更靠近对象101）的画面内容。

图2中还示出了另一种形式的用户界面，第二渲染单元402所渲染的购物车标志123对应于儿童自行车，表示画面102中的儿童自行车可以购买。因此，第二渲染单元402所渲染的标志123不应当被第一渲染单元401所渲染的画面102中的任意部分所遮挡。当用户点击标志123即可启动下单购买程序。同样的，为便于对象101识别，弹出的购买信息也应当不受遮挡。

在本申请的一些实施例中，第二渲染单元402所呈现的用户界面包括关于立体内容的控件。如上文所述，立体内容为按时间组织的图像信息，而控件则可以包括调整图像信息的重现形式的控件。图2中还示出了用于控制视频12重放进程的控件121，控件121也属于用户界面的一部分。如图所示，控件121包括了播放控制按钮、暂停控制按钮、跳转控制按钮（快进、快退）等用于控制重放进程的虚拟按钮。

在本申请的一些实施例中，第二渲染单元402所呈现的控件121、122和123的大小是可以根据深度信息设置。换言之，叠加到画面102中显示的控件的大小不是固定不变的。由于要使得控件不被画面所遮挡，其相对于对象101的位置不是一成不变的。为此，可以使得控件根据其呈现的位置而设定其大小。又由于控件的呈现位置与画面102的各个部分的深度信息相关，因而控件的大小也与深度信息相关。如此，控件将在画面中也将呈现出“远小近大”的视角效果，从而可以更好地融入到画面102中。具体而言，可以将深度信息较小的部分（离对象更近）所对应的控件设置得更大，将深度信息较大的部分（离对象更远）所对应的控件设置得更小。控件的大小可以与它所对应画面部分的深度信息呈反比或者反相关关系。在一些示例中，图标122之类的用户界面信息可以随着关联对象的深度信息的变化（例如，画图102的镜头焦距变化导致其中的物体产生深度信息的变化）而改变大小。

在本申请的一些实施例中，第二渲染单元402被配置成在立体内容中深度信息处于最前侧的部分之前呈现用户界面的至少一部分。例如，图2中的控件121是用于对整个视频12中的各个画面进行控制的，因而控件121应当显示在每个画面的最前面。因此，第二渲染单元402可以将控件121渲染在画面102的各个部分之前。

在本申请的一些实施例中，第二渲染单元402被配置成根据立体内容中的多个部分各自的深度信息而在多个部分中的每一部分之前的预定距离处呈现关于该部分的控件。继续参考图2，例如，可以在远处山峰的前侧（相对于对象101而言）预定距离D处呈现图标122，在儿童自行车的前侧（相对于对象101而言）预定距离D处呈现标志123。

在本申请的一些实施例中，第二渲染单元402被配置成基于立体内容的观察者的调用呈现用户界面。换言之，在画面102中叠加显示的用户界面可以在对象101调用之时才由第二渲染单元402渲染出来，在对象101没有调用之时可以隐藏起来，防止对画面102的内容造成干扰。

在本申请的一些实施例中，第二渲染单元402还配置成响应于立体内容的观察者的操作而消除用户界面。用户界面一方面可以随着视频12中不同画面的呈现而变化，另一方面也可以受对象101的控制而显示或不显示。

本申请的另一方面提供了一种显示装置。如图5所示，显示装置50（以下简称装置50）包括存储器501和处理器502。其中，处理器502可以从存储器501中读取数据并且可以向其中写入数据。存储器501被配置成存储指令，而处理器502被配置成在执行存储器501中存储的指令时将使得执行如上文所述的任意一种显示方法。存储器501可以具有如下文所述的计算机可读存储介质的特征，详细内容将在下文加以描述。

根据本申请的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种显示方法。本申请中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括RAM、ROM、EPROM、E²PROM、寄存器、硬盘、可移动盘、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或专用计算机、或者通用或专用处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。

根据以上实施例提供的显示方法、显示装置以及存储介质可以在3D内容上叠加显示UI，并且UI中的有效细节（例如，提示、告警、诱导类信息以及可操作性的控件等）可以不受3D内容的遮挡，这将克服传统方案中在固定位置添加UI而导致UI的不可用。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此。本领域的技术人员可以根据本申请所披露的技术范围想到其他可行的变化或替换，此等变化或替换皆涵盖于本申请的保护范围之中。在不冲突的情况下，本申请的实施方式及实施方式中的特征还可以相互组合。本申请的保护范围以权利要求的记载为准。

Claims

1. 一种显示方法，其特征在于，所述方法包括：

渲染包括深度信息的立体内容；以及

根据所述深度信息呈现用户界面，其中，所述用户界面的至少一部分不被所述立体内容中遮挡。

2.根据权利要求1所述的方法，其中，所述用户界面包括关于所述立体内容的控件。

3.根据权利要求2所述的方法，其中，所述立体内容为按时间组织的图像信息，并且所述控件包括调整所述图像信息的重现形式的控件。

4.根据权利要求3所述的方法，其中，所述控件包括针对所述图像信息的以下至少一者：播放控制按钮、暂停控制按钮、跳转控制按钮。

5.根据权利要求2所述的方法，其中，所述控件的大小根据所述深度信息设置。

6.根据权利要求1所述的方法，其中，根据所述深度信息呈现用户界面包括：在所述立体内容中深度信息处于最前侧的部分之前呈现所述用户界面的至少一部分。

7.根据权利要求6所述的方法，其中，根据所述立体内容中的多个部分各自的深度信息而在所述多个部分中的每一部分之前的预定距离处呈现关于该部分的控件。

8.根据权利要求1所述的方法，其中，根据所述深度信息呈现用户界面包括：基于所述立体内容的观察者的调用呈现所述用户界面。

9.根据权利要求8所述的方法，还包括：响应于所述立体内容的观察者的操作而消除所述用户界面。

10. 一种显示装置，其特征在于，所述装置包括：

第一渲染单元，其配置成渲染包括深度信息的立体内容；以及

第二渲染单元，其配置成根据所述深度信息呈现用户界面，其中，所述用户界面的至少一部分不被所述立体内容中遮挡。