CN111886155A

CN111886155A - 用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质

Info

Publication number: CN111886155A
Application number: CN201980019551.3A
Authority: CN
Inventors: A·卡斯纳; M·亨宁; N·施密特
Original assignee: Volkswagen Automotive Co ltd
Current assignee: Volkswagen Automotive Co ltd
Priority date: 2018-03-15
Filing date: 2019-02-13
Publication date: 2020-11-03
Anticipated expiration: 2039-02-13
Also published as: CN111886155B; US11993145B2; EP3765324B1; ES2959475T3; US20200406754A1; DE102018203927A1; EP3765324A1; WO2019174841A1

Abstract

用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质。在第一步骤（10）中，机动动作规划器确定机动车的目标机动动作。此外确定（11）目标机动动作的实施位置。图形生成器基于所述信息来生成（12）目标机动动作标记以用于通过增强现实显示器设备来显示。最后输出（13）目标机动动作标记以用于通过所述增强现实显示器设备来显示。在此，所述目标机动动作标记的显示如此来进行，使得在所述目标机动动作的实施位置的区域内以位置固定的方式垂直于所述机动车要行驶的车道直立地示出所述目标机动动作标记。

Description

用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质

技术领域

本发明涉及一种用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质。此外，本发明涉及一种机动车，在该机动车中使用根据本发明的方法或根据本发明的设备。

背景技术

车辆导航装置在未来将越来越多地利用到在平视显示器（HUD）中的图示。在此，在仪表盘中安装的显示器的光束经由多个镜和透镜来折叠并且经由投影面来映射到驾驶员的眼中，使得该驾驶员觉察到在车辆之外的虚拟图像。在汽车领域中，常常将前挡风玻璃片用作为投影面，所述投影面的弯曲形状必须在显示时被考虑。作为替代方案，也部分地利用由玻璃或塑料制成的附加玻璃，所述附加玻璃在仪表盘上被布置在驾驶员和前挡风玻璃之间。由于显示和行驶情景的光学叠加，需要更少的头部和眼睛运动来读出信息。此外，减少对于眼睛的适应性耗费，因为取决于显示的虚拟距离而较少地、甚至完全不需要进行适应性调节。然而，当前的系列HUD限于直接在驾驶员的主要视野下方的显示。虽然这种显示技术减少了从道路转移开视线的情况，但是还是具有如下缺点：所展示的信息必须被解读并且转移到真实情境，因为所述信息并不在真实情景中被记录。这可能在复杂情境中构成过度损耗精力的认知过程。

在此背景下，WO 2002/010838 A1描述一种机动车中的导航方法，在所述方法情况下根据所选路线作为导航设备的显示来在的挡风玻璃上示出方向符号。方向符号的示出在此根据视线方向识别的信号来进行。在接近于要选择的岔路时，该方向符号在挡风玻璃上朝该岔路的方向上移动。此外，该方向符号可以改变自身的大小或颜色。

DE 10 2016 203 080 A1描述一种用于运行机动车的平视显示器的方法，其中根据当前行驶数据借助平视显示器来将提示投射到驾驶员的视野中。借助卫星支持的导航系统，检测该机动车的当前位置和行驶方向或行驶距离。此外，确定在机动车的移动路径中的机动动作点。根据机动车到该机动动作点的距离来投射一个或多个机动动作箭头。这些机动动作箭头在此作为虚拟护栏来显示。

随着虚拟现实和增强现实技术及应用的持续发展，虚拟现实和增强现实技术及应用也被采用到汽车领域中、尤其是用于平视显示器的显示。增强现实（AR）（德语为“erweiterte Realität”）是指：用虚拟元素来对真实世界进行增强，其中所述虚拟元素在三维空间中位置准确地被记录并且允许实时交互。因为，在德语地区中的学术界，表述“Augmented Reality（增强现实）” 比表述“erweiterte Realität”要更为普遍地被接受，因此在下文中使用前者。也将表述“Mixed reality（混合现实）”同义地使用。针对AR显示的示出也可以替代性地使用增强现实眼镜（Augmented-Reality-Brillen）。增强现实眼镜也像普通眼镜那样来佩戴但是却具有一个或多个投影单元或显示装置，借助于所述投影单元或显示装置能够将信息在眼前投影到眼镜的佩戴者或者直接投影到视网膜上。该眼镜在此这样构型，使得该佩戴者也能够觉察周围环境。

通过标记对象并且在该对象的真实参考位置处叠加显示信息，也即通过接触模拟式表示，能够在驾驶员的视野中直接示出与环境有关的信息。这种以增强现实的方式来对环境的直接的图形式增强可以明显减小认知转化要求。增强现实提供用于通过接触模拟标记车行道和对象来支持驾驶员的多种多样的应用可能性，尤其是用于车辆导航。在常规平视显示器中的经典的导航显示通常显示出示意性图示，例如朝右直角延伸的箭头来作为针对在下一机会应向右转弯的标记，而AR显示则提供了明显更有效的可能性。

许多增强式导航图示包含伸入到要转向的道路中的导航标记，例如位于路面上的箭头或地毯。然而，这种导航标记对于驾驶员而言是难以觉察的，因为在更大距离情况下所述标记可能具有用于产生标记的显示器的仅较少的像素大小。此外，平视显示器的在当今所探讨的显示大小情况下不能实现所述图示的这种形式，因为转弯的道路通常位于显示区域之外。

发明内容

本发明的任务是，指明一种用于控制机动车的增强现实显示器设备的显示的解决方案，其中所述解决方案生成对于驾驶员而言好觉察的标记。

所述任务通过具有权利要求1的特征的方法、根据权利要求9的具有指令的计算机可读存储介质和具有权利要求10的特征的设备得以解决。本发明的优选构型方案是从属权利要求的主题。

根据本发明的第一方面，用于控制机动车的增强现实显示器设备的显示的方法包括以下步骤：

- 确定机动车的目标机动动作；

- 确定目标机动动作的实施位置；

- 生成目标机动动作标记以用于通过增强现实显示器设备来显示；和

- 输出目标机动动作标记以用于通过增强现实显示器设备如此来显示，使得在目标机动动作的实施位置的区域内以位置固定的方式垂直于机动车要行驶的车道直立地示出该目标机动动作标记。

根据本发明的另一方面，计算机可读存储介质包含如下指令，所述指令在由计算机执行的情况下促使该计算机执行用于控制机动车的增强现实显示器设备的显示的如下步骤：

- 确定机动车的目标机动动作；

- 确定目标机动动作的实施位置；

术语“计算机”在此已经是易于理解的。计算机尤其是也包括控制设备和其他基于处理器的数据处理设备。

根据本发明的另一方面，用于控制机动车的增强现实显示器设备的显示的设备具有：

- 机动动作规划器，用于确定机动车的目标机动动作并且确定目标机动动作的实施位置；

- 图形生成器，用于生成目标机动动作标记以用于通过增强现实显示器设备来显示；和

- 输出端，用于输出目标机动动作标记以用于通过增强现实显示器设备如此来显示，使得在目标机动动作的实施位置的区域内以位置固定的方式垂直于机动车要行驶的车道直立地示出该目标机动动作标记。

为了以不间断的道路和路线引导来对使用者进行支持，在根据本发明的解决方案中，在下一机动动作位置、例如岔路的高度上将目标机动动作标记投影到道路上。该目标机动动作标记与路牌或其他物理对象类似地垂直于车行道而直立，也就是说该目标机动动作标记并不漂浮。以这种方式，使得使用者能够可靠定位该显示。通过将目标机动动作标记定位在机动车要行驶的车道上，从远处就已能够很容易看见该目标机动动作标记。术语“车道”在此表示车辆要行驶的道路区域，也就是说在转弯机动动作时车道跟随该车辆的轨迹。在所描述的解决方案中，可以放弃跟随整个转弯过程的显示。因为驾驶员通常清楚自方向转换的时间点起所需的行动，因此这种跟随显示的必要性本来就是成问题的。

根据本发明的一个方面，如此示出所述目标机动动作标记，使得所述目标机动动作标记可能叠加于在图示区域内存在的对象或其他交通参与者之上。因此可以确保：当目标机动动作的实施位置例如被其他车辆遮挡时，那么也还是告知使用者即将发生的目标机动动作。

根据本发明的一个方面，如此示出所述目标机动动作标记，使得所述目标机动动作标记在横向上定位在机动车要行驶的车道的边缘处。在所述定位情况下，直接在所显示的目标机动动作标记之前进行目标机动动作、例如转弯过程。使用者因而可靠地辨认出自己必须在哪里实施该目标机动动作。相反，在定位于车道中央的情况下则必须行驶经过该目标机动动作标记，这可能使得使用者困惑。

根据本发明的一个方面，如此示出所述目标机动动作标记，使得所述目标机动动作标记随着机动车接近于目标机动动作的实施位置而看起来越来越大。该使用者以这种方式而始终具有如下视觉锚点，该使用者能够驶近直至该视觉锚点并且自该视觉锚点起需要新的行驶机动动作。

根据本发明的一个方面，通过至少一个附加的导航图示来补充该目标机动动作标记。利用所述附加的导航图示、例如直至目标机动动作的实施位置的距离说明，能够将其他有帮助的信息传达给该使用者，其中所述其他有帮助的信息支持该使用者来执行其行驶机动动作。

根据本发明的一个方面，在机动车低于极限距离地接近于目标机动动作的实施位置时将该目标机动动作标记转换成扩展式图示。在该扩展式图示中可以例如对目标机动动作标记扩展出附加元素，所述附加元素阐明要执行的机动动作。所述图示的转换在低于极限距离时才进行，从而使所述目标机动动作标记已经达到了既定的最小大小。因此而确保：能够以足够的分辨率示出扩展式图示。

根据本发明的一个方面，以动画方式示出用于阐明要实施的目标机动动作的目标机动动作标记。动画图示、例如经目标机动动作标记跑出的闪光允许附加地阐明要实施的机动动作、例如要选择的行驶方向。

根据本发明的一个方面，该增强现实显示器设备是增强现实平视显示器设备或数据眼镜。不仅平视显示器而且数据眼镜也理想地适合用于传达增强现实内容给使用者。此外，考虑到这两种技术的越来越多的普及，从而能够以较少的附加耗费来广泛地实施根据本发明的解决方案。

特别有利地，在车辆中、尤其是机动车中使用根据本发明的方法或根据本发明的设备。

附图说明

结合附图从接下来的描述中和所附权利要求书中看出本发明的其他特征。

图1示意性地示出用于控制机动车的增强现实显示器设备的显示的方法；

图2示出用于控制机动车的增强现实显示器设备的显示的设备的第一实施方式；

图3示出用于控制机动车的增强现实显示器设备的显示的设备的第二实施方式；

图4示意性地示出机动车，在所述机动车中实现根据本发明的解决方案；

图5示意性地示出机动车的平视显示器设备的一般而言的构造；

图6示意性地示出增强现实眼镜；

图7示出在一定距离处的目标机动动作标记的图示；

图8示出在接近于实施位置时的图7中的目标机动动作标记的图示；

图9示出在转换成扩展式图示之后的目标机动动作标记；和

图10示出在有对象进行遮挡的情况下的图7中的目标机动动作标记的图示。

为了更好理解本发明的原理，接下来根据附图来更详细阐述本发明的实施方式。应理解为：本发明并不限于所述实施方式并且也能够对所述特征进行结合或修改，而并不偏离如在所附权利要求书中所限定的本发明的保护范围。

具体实施方式

图1示意性地示出用于控制机动车的增强现实显示器设备的显示的方法。在第一步骤10中，机动动作规划器确定机动车的目标机动动作。此外，确定11所述目标机动动作的实施位置。图形生成器基于所述信息来生成12目标机动动作标记以用于由增强现实显示器设备进行显示。该目标机动动作标记最终被输出13以用于由增强现实显示器设备进行显示。所述目标机动动作标记的显示如此来进行，使得在目标机动动作的实施位置的区域内以位置固定的方式垂直于机动车要行驶的车道直立地示出该目标机动动作标记。优选地，该目标机动动作标记在横向方向上在此定位在车行道的边缘处。为了阐明机动车接近于目标机动动作的实施位置而有意义的是，以越来越大的方式示出该目标机动动作标记。在此，附加地可以在小于极限距离时转换成目标机动动作标记的扩展式图示。在所述图示中可能使该目标机动动作标记叠加于在图示区域内存在的对象或其他交通参与者之上。依据期望，可以此外通过附加的导航图示来补充该目标机动动作标记或者将该目标机动动作标记以动画方式示出。并不将所生成的目标机动动作标记输出给增强现实显示器设备的控制设备而是可替代地仅仅将如下指令输出给所述控制设备：生成相应的目标机动动作标记。同样可能的是，完全地由增强现实显示器设备的控制设备来实施所述方法。

图2示出用于控制机动车的增强现实显示器设备的显示的设备20的第一实施方式的简化示意图。该设备20具有输入端21，通过该输入端能够例如接收摄像机43的图像数据、传感器系统44的数据或导航系统45的数据。该传感器系统44可以例如检测机动车的周围环境。该设备20此外具有机动动作规划器22，用于确定机动车的目标机动动作并且确定目标机动动作的实施位置。图形处理器23尤其是基于机动动作规划器22的所述信息来生成目标机动动作标记以用于由增强现实显示器设备进行显示。所述增强现实显示器设备可以例如是平视显示器或数据眼镜。

经由设备20的输出端26来将目标机动动作标记输出给增强现实显示器设备的控制设备42。可替代地，也可以仅仅将如下指令输出给控制设备42：生成相应的目标机动动作标记。控制设备42可以然后将该目标机动动作标记插入到该增强现实显示器设备的显示中。所述目标机动动作标记的显示如此来进行，使得在目标机动动作的实施位置的区域内以位置固定的方式垂直于机动车要行驶的车道直立地示出该目标机动动作标记。优选地，该目标机动动作标记在横向上在此定位在车道的边缘处。为了阐明机动车接近于目标机动动作的实施位置而有意义的是，以越来越大的方式示出该目标机动动作标记。在此，可以附加地在小于极限距离时转换成目标机动动作标记的扩展式图示。在所述图示中可能使该目标机动动作标记叠加于在图示区域内存在的对象或其他交通参与者之上。可以此外通过附加的导航图示来补充该目标机动动作标记或者将该目标机动动作标记以动画方式示出。

机动动作规划器22和图形生成器23可以由监控单元24来控制。通过用户接口27可以必要时改变机动动作规划器22的、图形生成器23的或监控单元24的设定。在该设备20中积累的数据可以在需要时保存在该设备20的存储器25中，例如用于之后评估或由该设备20的组件来使用。该机动动作规划器22、图形生成器23以及监控单元24可以被实现为专用硬件、例如集成电路。然而当然也可以将其部分地或完全地组合或者作为在适合的处理器、例如GPU或CPU上运行的软件来实施。输入端21和输出端26可以实施为分开的接口或组合式双向接口。在所述示例中，该设备20是独立的组件。但是同样能够将该设备集成在增强现实显示器设备的控制设备42中。

图3示出用于控制机动车的增强现实显示器设备的显示的设备30的第二实施方式的简化示意图。该设备30具有处理器32和存储器31。例如，该设备30是计算机或控制设备。在存储器31中保存如下指令，这些指令在由处理器32来执行的情况下促使该设备30执行根据所述方法之一的步骤。在存储器31中保存的指令因此体现为能够由处理器32执行的程序，该程序实现根据本发明的方法。该设备30具有用于接收信息、例如导航数据或关于机动车的周围环境的数据的输入端33。由处理器32生成的数据经由输出端34来提供。此外，可以将所述数据保存在存储器31中。该输入端33和输出端34可以被合并成双向接口。

处理器32可以包括一个或多个处理器单元，例如微处理器、数字信号处理器或其组合。

所描述的实施方式的存储器25、31可以不仅具有易失性存储区而且也具有非易失性存储区并且包括各种存储设备和存储介质，例如硬盘、光学存储介质或半导体存储器。

图4示意性地示出机动车40，在该机动车中实现根据本发明的解决方案。该机动车40具有增强现实显示器设备41，该增强现实显示器设备41具有所属的控制设备42。此外，机动车40具有用于控制增强现实显示器设备41的显示的设备20。该设备20当然也可以被集成到增强现实显示器设备41中或增强现实显示器设备41的控制设备42中。该机动车40的其他组件是摄像机43和用于检测周围环境的传感器系统44、导航系统45、数据传输单元46以及一系列的辅助系统47，其中仅示例性地示出了一个。借助该数据传输单元46可以建立与服务提供商的连接，例如以用于调用地图数据。为了存储数据而存在存储器48。在机动车40的不同组件之间的数据交换经由网络49来进行。

图5示意性地示出平视显示器50来作为用于机动车40的增强现实显示器设备的示例。借助于平视显示器50可以在机动车40的投影面53上、例如在前挡风玻璃上或在由玻璃或塑料制成的附加玻璃上显示内容，其中所述附加玻璃在仪表盘上被布置在驾驶员和前挡风玻璃之间。所示出的内容通过成像单元51来生成并且借助于光学模块52来投影到投影面53上。典型地，在此进行：投影到方向盘上方的前挡风玻璃区域中。成像单元51可以例如是LCD-TFT显示器。该平视显示器50通常安装在机动车40的仪表盘中。

图6示意性地示出增强现实眼镜60来作为增强现实显示器设备的示例。该增强现实眼镜60具有用于检测该增强现实眼镜60的周围环境的周围环境数据的摄像机61。借助于接口62，存在与外部的姿态确定设备63的连接，以用于根据周围环境数据来确定增强现实眼镜60的姿态。姿态确定设备63可以为此例如探测并评估图像数据中的棱边或显著点。该姿态确定设备63当然也可以是增强现实眼镜1的组成部分。借助图形单元64可以使增强现实眼镜60的显示相应地适配于所确定的姿态。为此，姿态确定设备63和图形单元64彼此可以交换数据。图形单元64可以如示例性示出的那样是增强现实眼镜60的组成部分或者经由接口62来与增强现实眼镜60连接。由图形单元64生成的显示通过投影单元65来被叠加显示。在图6中的示例中，利用单眼显示器，也即在使用者的眼睛前方布置显示器。当前描述的解决方案当然也可以利用具有双眼显示器的增强现实眼镜60来实现，其中在所述双眼显示器的情况下针对每个眼睛各使用一个显示器或者针对两个眼睛使用共同的显示器。

接下来，应该根据图7至10来描述本发明的优选实施方式。

图7示例性地示出与车辆有一定距离的目标机动动作标记71的图示。该目标机动动作是向右转弯过程，在图中通过虚线椭圆来表明的实施位置70位于车辆前方70m的距离处。与要实施的机动动作相应地，目标机动动作标记71表示向右的勾勒的箭头，该箭头在实施位置70处看起来是垂直于道路直立的。由于所述距离，目标机动动作标记71还是很小的，然而对于驾驶员而言已经能够很好辨认。相反，在该距离处，应转向的道路却是难以辨认的。在所示的示例中，用附加的导航图示72来补充该目标机动动作标记71，具体而言所述附加的导航图示是具有距离说明的转向箭头以及用于阐明车道的点状轨线。所述点状轨线可以在此这样被示出，使得所述点状轨线位于道路上或者在道路上方漂浮。

图8示出在接近于实施位置70时的图7中的目标机动动作标记71的图示。与实施位置70的距离仅还为30m，应转向的道路以及引导到该道路中的点状轨线在其间对于驾驶员而言是能够辨认的。但是，明显更好领会的是：自身的大小与更小距离相应地已明显增大的目标机动动作标记71。在图中很好看出，所述目标机动动作标记71定位在机动车要行驶的车道的边缘处，从而驾驶员必须在该目标机动动作标记71之前立即转向。

图9示出在转换成扩展式图示之后的目标机动动作标记71。在该扩展式图示中，以其他元素来补充原始的目标机动动作标记71。在所示的示例中，以附加箭头以及所标明的尾线来扩展所勾勒的转弯箭头。对所述目标机动动作的附加强调可以在紧接着要发生的机动动作之前出现，例如在实施位置前的10-20m的距离处。进行图示转换的极限距离可以优选地通过用户来规定。

图10示出在有对象遮挡的情况下的图7中的目标机动动作标记71的图示。在车辆前方有其他交通参与者73，在此为另一车辆，所述另一车辆从驾驶员的角度来看遮挡住目标机动动作的实施位置。与此相应地，仅仅示出点状轨线的未被前方行驶车辆遮挡的部分。相反，该目标机动动作标记71则叠加于该车辆之上，使得该驾驶员尽管实施位置被遮挡却还是被告知即将发生的目标机动动作。

附图标记列表

10 确定目标机动动作

11 确定目标机动动作的实施位置

12 生成目标机动动作标记

13 输出目标机动动作标记

20 设备

21 输入端

22 机动动作规划器

23 图形生成器

24 监控单元

25 存储器

26 输出端

27 用户接口

30 设备

31 存储器

32 处理器

33 输入端

34 输出端

40 机动车

41 增强现实显示器设备

42 增强现实显示器设备的控制设备

43 摄像机

44 传感器系统

45 导航系统

46 数据传输单元

47 辅助系统

48 存储器

49 网络

50 平视显示器

51 成像单元

52 光学模块

53 投影面

60 增强现实眼镜

61 摄像机

62 接口

63 姿态确定设备

64 图形单元

65 投影单元

70 实施位置

71 目标机动动作标记

72 附加的导航图示

73 交通参与者

Claims

1.用于控制机动车（40）的增强现实显示器设备（41）的显示的方法，所述方法具有以下步骤：

- 确定 (10) 所述机动车（40）的目标机动动作；

- 确定 (11) 所述目标机动动作的实施位置（70）；

- 生成（12）目标机动动作标记（71）以用于通过所述增强现实显示器设备（41）来显示；和

- 输出（13）所述目标机动动作标记（71）以用于通过所述增强现实显示器设备（41）如此来显示，使得在所述目标机动动作的所述实施位置（70）的区域内以位置固定的方式垂直于所述机动车（40）要行驶的车道直立地示出所述目标机动动作标记（71）。

2.根据权利要求1所述的方法，其中如此示出所述目标机动动作标记（71），使得所述目标机动动作标记可能叠加于在图示区域内存在的对象或其他交通参与者（73）之上。

3.根据权利要求1或2所述的方法，其中如此示出所述目标机动动作标记（71），使得所述目标机动动作标记在横向上定位在所述机动车（40）要行驶的车道的边缘处。

4.根据上述权利要求其中任意一项所述的方法，其中如此示出所述目标机动动作标记（71），使得所述目标机动动作标记随着所述机动车（40）接近于所述目标机动动作的所述实施位置（70）而看起来越来越大。

5.根据上述权利要求其中任意一项所述的方法，其中通过至少一个附加的导航图示（72）来补充所述目标机动动作标记（71）。

6.根据上述权利要求其中任意一项所述的方法，其中在所述机动车（40）低于极限距离地接近于所述目标机动动作的所述实施位置（70）时将所述目标机动动作标记（71）转换成扩展式图示。

7.根据上述权利要求其中任意一项所述的方法，其中以动画方式示出用于阐明要实施的目标机动动作的目标机动动作标记（71）。

8.根据上述权利要求其中任意一项所述的方法，其中所述增强现实显示器设备（41）是增强现实平视显示器设备（41）或数据眼镜。

9.具有指令的计算机可读存储介质，所述指令在由计算机执行的情况下促使所述计算机执行根据权利要求1至8其中任意一项所述的用于控制机动车（40）的增强现实显示器设备（41）的显示的方法的步骤。

10.用于控制机动车（40）的增强现实显示器设备（41）的显示的设备（20），其中所述设备具有：

- 机动动作规划器（22），用于确定（10）所述机动车（40）的目标机动动作并且确定（11）所述目标机动动作的实施位置（70）；

- 图形生成器（23），用于生成（12）目标机动动作标记（71）以用于通过所述增强现实显示器设备（41）来显示；和

- 输出端（26），用于输出（13）所述目标机动动作标记（71）以用于通过所述增强现实显示器设备（41）如此来显示，使得在所述目标机动动作的实施位置（70）的区域内以位置固定的方式垂直于所述机动车（40）要行驶的车道直立地示出所述目标机动动作标记（71）。

11.机动车（40），所述机动车具有增强现实显示器设备（41），其特征在于，所述机动车（40）具有根据权利要求10所述的设备（20）或者被设立用于，实施根据权利要求1至8其中任意一项所述的用于控制增强现实显示器设备（41）的显示的方法。