[go: up one dir, main page]

CN112703527A - 平视显示器（hud）内容控制系统和方法 - Google Patents

平视显示器（hud）内容控制系统和方法 Download PDF

Info

Publication number
CN112703527A
CN112703527A CN201980041534.XA CN201980041534A CN112703527A CN 112703527 A CN112703527 A CN 112703527A CN 201980041534 A CN201980041534 A CN 201980041534A CN 112703527 A CN112703527 A CN 112703527A
Authority
CN
China
Prior art keywords
image
view
field
vehicle
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980041534.XA
Other languages
English (en)
Other versions
CN112703527B (zh
Inventor
A·奧顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen Automotive Co ltd
Audi AG
Dr Ing HCF Porsche AG
Original Assignee
Volkswagen Automotive Co ltd
Audi AG
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Automotive Co ltd, Audi AG, Dr Ing HCF Porsche AG filed Critical Volkswagen Automotive Co ltd
Publication of CN112703527A publication Critical patent/CN112703527A/zh
Application granted granted Critical
Publication of CN112703527B publication Critical patent/CN112703527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种用于控制平视显示器的内容以提供环境中自然出现的轮廓和表面的增强的可见性的系统和方法。深度信息与预定义的照明状况一起被提供，以便由HUD输出具有增强的特征轮廓的图像。

Description

平视显示器（HUD）内容控制系统和方法
背景技术
本公开涉及用于增强驾驶员视野的系统、部件和方法。特别地，本公开涉及执行图像轮廓描绘并与自然发生的视野对准地投影该轮廓描绘的图像以增强在视野中的特征的可见性的系统、部件和方法。
发明内容
根据本公开，提供了用于控制HUD以增强驾驶员视场内的可见性的系统、部件和方法。
根据所公开的实施例，提供了用于控制HUD的结构和软件，使得显示器可以投影车辆外部自然发生的视场或视场一部分的增强轮廓描绘的图像。增强轮廓描绘的图像可以是视场中深度信息、照明状况和特征的乘积。
根据至少一个实施例，深度信息使用激光成像、检测和测距(LIDAR)来感测并被格式化为深度图像。视场中的特征可以由相机捕获。照明状况可以是例如镜面、漫射或环境遮挡，并且可以使用从深度图像计算的法向矢量来计算。
根据至少一个实施例，可以基于车辆轨迹、一天中的时间和/或一年中的日期来确定照明状况。光轮廓描绘的图像可由HUD响应于平坦或低照明状况或所感测到的雨来投影。HUD和处理器可集成在车辆中，以经由通信总线与各种车辆传感器和输入通信。
在考虑例示目前所理解的执行本公开的最佳模式的说明性实施例时，本公开的附加特征对于本领域技术人员将变得显而易见。
附图说明
详细描述具体参考了附图，其中：
图1是由所公开的实施例用来在HUD中提供自然增强视野的硬件结构和软件的框图；
图2是在挡风玻璃视野上操纵各种图像数据以及投影和对准所操纵的数据以在HUD中提供自然增强视野的示图；以及
图3是生成自然增强视野的方法的流程图。
具体实施方式
本文提供的附图和描述可能已经被简化以说明与清楚理解本文描述的设备、系统和方法相关的方面，同时为了清楚起见，消除了可以在典型设备、系统和方法中发现的其它方面。本领域的普通技术人员可以认识到，其它元件和/或操作对于实现本文所述的设备、系统和方法可能是期望的和/或必要的。由于这样的元件和操作在本领域中是公知的，并且由于它们并不促进对本公开的更好理解，所以在此可以不提供对这样的元件和操作的讨论。然而，本公开被认为固有地包括了本领域普通技术人员将已知的对所描述的方面的所有这样的元件、变化和修改。
在说明性实施例中，图1中示出了其一个示例，提供用于HUD内容控制系统100的结构和软件以用于改善、增强或提高车辆外部自然出现的视野的可见性。HUD系统100说明性地被实现为集成到车辆104的通信总线102中。HUD系统说明性地包括一个或多个传感器106，其被实现为包括被配置为感测车辆外部的特征的地理区域的传感器。还可以提供相机110以捕获车辆外部的地理区域的图像。处理器118可以接收来自传感器106的信息，处理该信息，并控制到车辆挡风玻璃上的HUD 120的输出。处理器118可进一步提供有本地存储器124，用于存储命令、历史感测数据和/或生成的HUD输出。车辆还可以包括地图的数据库114、导航系统116和可以与处理器118通信的另外的车辆传感器112。为此，将根据车辆104的驾驶员和挡风玻璃的视场来描述和定位HUD。然而，该系统可以在多个不同视点为车辆内的乘客单独地或同时在如可以从车辆看到的不同窗户和视野处生成多个不同显示。
系统100说明性地包括一个或多个传感器106，其被实现为包括至少一个LIDAR传感器，用于接收指示车辆与从挡风玻璃的视野中的各个点之间的距离数据。车辆还可以包括地图的数据库114、GPS单元115和导航系统116，以及诸如罗盘、天气和速度传感器之类的另外的车辆传感器112，或者诸如信息娱乐触摸屏之类的输入接口112，其可以与处理器118通信。为了说明的目的，将根据车辆104的驾驶员和挡风玻璃的视点来描述和定位HUD。然而，HUD系统可以在车辆内的多个不同视点处单独地或同时地生成和投影多个不同的显示。
如图2中所见，处理器218可以是图形处理单元(GPU)，并且可以在平坦照明状况期间处理挡风玻璃视场的光图像224和相机图像226，以生成光轮廓描绘的图像228。光轮廓描绘的图像228可被传送到HUD 220。HUD可将光轮廓描绘的图像228投影到挡风玻璃以及相应的挡风玻璃视野230上，使得光轮廓描绘的图像228与实际挡风玻璃视野230对齐，从而产生自然增强视野232。
用于实时生成自然增强视野的方法可以经由手动驾驶员输入开始300，例如在诸如中央控制台或信息娱乐接口的车辆接口处。另外，该过程可以被编程为当感测到低照明状况时和/或当车辆前灯被点亮时自动开始。可以捕获车辆前方的视野的深度数据302，并且同时可以捕获车辆前方的视野的真实图像数据304。深度数据可例如使用LIDAR或其他深度传感器来捕获。深度数据可以作为深度图像被捕获至图像格式的缓冲器中，并且然后被图像处理以提供关于车辆前方的视野的几何形状的信息。可以使用相机或使用地图图像数据库（诸如GOOGLE EARTH[TM]、HERE[TM]地图或其他街道视野地图数据库）连同可以例如经由车辆导航系统来提供的车辆的当前地理位置和取向信息一起来捕获真实图像数据。
使用深度数据和真实图像数据可以生成306光轮廓描绘的图像。首先，可确定308深度图像内几何形状或特征的每个像素的法向矢量。为了计算几何表面上每个像素处的法向矢量，计算表面上的第一正切矢量。然后，正切矢量的叉积生成法向矢量。在深度图像中的每个像素处，在与当前像素相邻的四个像素的方向上计算从相机到几何结构的矢量。然后，使用两个相邻的水平像素矢量来计算差矢量。该差矢量的归一化可以用作当前像素的几何表面上的水平正切矢量的估计。可以对两个相邻垂直像素重复该过程，以确定垂直正切矢量的估计。然后，法向矢量可以针对像素确定为水平正切矢量和垂直正切矢量的叉积。下面更详细地提供该法向矢量处理的一个示例。
深度图像空间可以根据相机视野空间来定义，以便计算从相机到几何结构的每个法线。z轴可被定义为沿着相机瞄准方向，正z是从场景朝向相机的，x轴是在查看深度图像时的水平方向，正x是右，y轴是垂直的，正y是向上的。因此，使用CG相机的标准透视投影，从相机到像素x，y的单位矢量可以计算为：
Figure DEST_PATH_IMAGE002
其中，fovY=在Y(垂直)方向上的视场角度，width（宽度）=深度图像的以像素为单位的宽度，height（高度）=深度图像的以像素为单位的高度，aspect（纵横比）=宽度/高度，并且y和y分别是范围从[0…width-1]到[0…height-1]的像素坐标。通过将x和y坐标值中的每一个加上.5来计算通过每个像素的中心的矢量。
使用x，y像素处的深度值，像素x，y处的最近几何结构处的点是：
Figure DEST_PATH_IMAGE004
。
使用上述“PointOnGeomitryAtPixel（在像素处的几何结构上的点）”公式，系统可以计算当前像素以及四个相邻水平和垂直像素处的几何形状的矢量。
通过减去相邻水平和垂直像素处的几何形状的矢量来计算当前像素在几何表面处的水平和垂直正切矢量：
Figure DEST_PATH_IMAGE006
。
最后，法向矢量可以计算为正切矢量的叉积：
Figure DEST_PATH_IMAGE008
。
使用所确定的法向矢量数据连同关于光方向的信息一起，可以执行照明计算以生成光图像310。例如，光方向和法线方向之间的角度的余弦可被用于生成漫射照明光图像。光方向信息可以本地存储，并且与日期、当日时间和罗盘取向中的一个或多个相关，或者可以被集成在车辆中的传感器感测。
最后，可以通过将光图像和原始捕获图像进行组合来计算光轮廓描绘的图像。可以确定312光图像和原始捕获图像的乘积，以便生成光轮廓描绘的图像306。接下来，图像光轮廓描绘的图像可以被投影以叠加并对准通过挡风玻璃314的实时视野，从而生成自然增强视野。在自然增强视野或提高视野中，使用自然照明和对比度来逼真地锐化车辆前方特征的轮廓以增强驾驶员的视野。当操作车辆时，随着通过挡风玻璃的视野改变和更新，可以重复和更新该过程。更进一步，诸如镜面、漫射、背光或特别相关的当日时间照明的照明状况可以存储在本地存储器中，并且可以根据驾驶员或用户偏好来应用。
尽管使用漫射照明技术描述了该方法，但是镜面照明也可以与感测的驾驶员凝视数据一起使用，以便在视野中提供定向照明和逼真的光闪烁。此外，可以使用背光以便增强情绪并且创建“朝光驾驶”的感知。例如，电影照明可以用于进一步放大或增强轮廓、引导眼睛、以及增强情绪，电影照明通常意味着创造性的解释，但是通常利用标准3点照明设置，其包括3个灯：从大约45到60度的侧角照明的最亮光的关键灯、从相对侧照明并照亮关键灯阴影的区域的较暗的补光灯、以及从对象后面朝向相机照明从而在对象上创建照明的边框类型外观的背光灯。
深度图像空间是根据相机空间来定义的。然而，在一些实施例中，可以使用相机到世界矩阵将在相机空间中计算的值变换到诸如世界空间的其他空间。
根据一个替选实施例，LIDAR深度数据可表示为点云格式，且法线可直接从点云计算。现有的库(诸如pointcludes.org)可用于从点云数据计算法向矢量。该计算通常将对邻近点采用主分量分析以获得表示法线的次特征矢量。两个主特征矢量表示位于视野中几何特征的表面上的正切矢量。
低亮度驾驶状况会导致低对比度的影像，其中驾驶员看到平的或不自然的照明。这可能会导致在操纵车辆时由于驾驶员不能看到包括坑洼、道路弯曲、轮廓和地形的特征而降低的情况意识、错误解读或响应时间延迟。在夜间或黑暗状况期间，车前灯产生了可见性隧道，并且缺少了对周围环境和地平线的感知。可用的HUD系统简单地将不自然的图形和图标加到了驾驶员的视野中，从而使视野模糊并分散了驾驶员的注意力。
所公开的HUD系统被配置为改善驾驶员对视场中的特征的可见性。这是通过自动感测特征、处理它们的轮廓、以及投影与视场中的特征的轮廓对准的轮廓增强图像来实现的。以这种方式，HUD系统使用现实照明增强了视场中的特征的自然出现的轮廓以提高驾驶安全性。系统避免了将额外的图形或图标添加到输出到视场上的投影以便识别这些特征，这些特征可能会使视场模糊或分散驾驶员的注意力。通过使用自然照明提示来增强驾驶员看到的内容，驾驶状况被现实地增强。这种增强的真实性准许操纵关于呈现给驾驶员的影像的轮廓信息以补偿较差的照明、天气和一天中的时间。这允许驾驶员即使在黑暗、下雨或以其他方式在驾驶时更难以看见时也能观察到最佳驾驶状况。
应当理解，可以在一个或多个服务器、处理器和相关联的存储器上执行、利用或访问一个或多个服务器、处理器和相关联的存储器来执行上述方法中的一些或全部。除非另外特别说明，并且从以上描述中可以清楚，应当理解，贯穿说明书描述，使用诸如“处理”、“计算”、“运算”、“确定”等术语指的是计算机或计算系统或类似电子计算设备的动作和/或处理，其将计算系统的寄存器和/或存储器内的表示为诸如电子的物理量的数据操纵和/或转换为类似地表示为计算系统的存储器、寄存器或其它这种信息存储、传输或显示设备内的物理量的其它数据。
以类似的方式，术语“处理器”可以指GPU或处理来自寄存器和/或存储器的电子数据以将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的一部分。
对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的引用可以指示如此描述的本发明的(一个或多个)实施例可以包括特定特征、结构或特性，但是不是每个实施例都必须包括该特定特征、结构或特性。此外，重复使用短语“在一个实施例中”或“在示例性实施例中”不一定是指同一实施例，尽管它们可以是同一实施例。

Claims (20)

1.一种用于实时增强驾驶员视场中的特征的可见性的系统(100)，所述系统包括：
相机(110)，被配置为捕获驾驶员视场中的图像，
至少一个深度传感器，被配置为捕获驾驶员视场中的深度数据，以及
用于从所捕获的图像和所述深度数据生成光轮廓描绘的图像(228)并且将所述光轮廓描绘的图像(228)叠加在所述驾驶员视场上以使所述驾驶员视场中的特征的可见性增强的装置。
2.根据权利要求1所述的系统，其中，用于生成和叠加的装置包括与平视显示单元(120)通信的处理器(118、218)。
3.根据权利要求1所述的系统，其中，至少一个深度传感器包括LIDAR传感器(106)，被配置为捕获深度数据并将所述数据转换为图像格式缓冲区中的帧中的深度图像，其中，每个帧对应于由所述相机(110)捕获的图像。
4.根据权利要求3的系统，其中，所述装置还被配置成使用预选的照明状况对深度图像进行图像处理以创建光图像(224)。
5.根据权利要求4所述的系统，其中，所述预选的照明状况可以是漫射、镜面、背光、电影或艺术照明状况中的一个。
6.根据权利要求4所述的系统，其中，所述装置被配置为将所述光图像(224)与对应的捕获的相机图像(226)及时组合以生成所述光轮廓描绘的图像(228)。
7.一种车辆，包括：
至少一个深度传感器，被配置为捕获所述车辆外部的地理或环境的深度数据，
处理器(118、218)，被配置为从所捕获的深度数据和图像数据生成光轮廓描绘的图像(228)，以及
平视显示器单元(120)，被配置为将光轮廓描绘的图像(228)投影在车辆(104)的窗上，并且将光轮廓描绘的图像(228)与通过窗的视野(230)对准，以增加通过窗的视野中的特征的对比度和轮廓。
8.根据权利要求7所述的车辆，还包括相机(110)，其中，所述相机生成所述图像数据。
9.根据权利要求7所述的车辆，还包括地图数据库(114)，其中，所述地图数据库生成所述图像数据。
10.根据权利要求7所述的车辆，其中，所述处理器还被配置成从车辆通信总线(102)接收信息，所述信息包括一天中的时间和行驶方向以及照明方向，使得基于一天中的时间数据和行驶方向数据生成所述光轮廓描绘的图像(228)。
11.根据权利要求10所述的车辆，其中，所述处理器(118、218)还被配置为基于预选的照明状况来生成所述光轮廓描绘的图像(228)，所述预选的照明状况诸如漫射、镜面、背光、电影或艺术照明状况。
12.根据权利要求11所述的车辆，其中，所述处理器被配置为响应于用户输入、感测到的所述车辆外部的环境状况或车辆前灯照明中的一个而开始(300)生成(306)所述光轮廓描绘的图像(228)。
13.根据权利要求7所述的车辆，其中，所述至少一个深度传感器是LIDAR传感器(106)。
14.根据权利要求13所述的车辆，其中，所述LIDAR传感器(106)将深度数据捕获为深度图像帧或点云格式。
15.一种用于增强驾驶员视场中的特征的可见性的方法，包括：
捕获(304)视场的图像，
在所述图像捕获的同时感测(302)视场中的特征的深度，
处理(306)特征深度感测数据和捕获图像以生成轮廓描绘的图像，以及
将所述轮廓描绘的图像投影(314)到所述视场上以将所述轮廓描绘的图像与所述视场对准。
16.根据权利要求15所述的方法，其中，所述处理还包括将选自漫射照明、镜面照明、背光照明、电影或艺术照明中的一个的照明状况应用于所述感测数据。
17.根据权利要求15所述的方法，其中，所述轮廓描绘的图像与所述视场的对准导致具有现实照明状况的总体增强视野。
18.根据权利要求15所述的方法，其中，所述轮廓描绘的图像与所述视场的对准导致具有电影照明状况的总体增强视野。
19.根据权利要求17所述的方法，其中，所述视场中的图像由相机(110)捕获，并且特征的深度由至少一个LIDAR传感器(106)感测为深度图像，所述深度图像包含从所述相机到沿着每个矢量从所述相机通过每个像素的最近几何结构的距离。
20.根据权利要求15所述的方法，其中，所述轮廓描绘的图像被实时处理和更新，以随着所述车辆移动而与所述更新的视场对准。
CN201980041534.XA 2018-06-22 2019-06-19 平视显示器（hud）内容控制系统和方法 Active CN112703527B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/015859 2018-06-22
US16/015,859 US11227366B2 (en) 2018-06-22 2018-06-22 Heads up display (HUD) content control system and methodologies
PCT/EP2019/066134 WO2019243392A1 (en) 2018-06-22 2019-06-19 Heads up display (hud) content control system and methodologies

Publications (2)

Publication Number Publication Date
CN112703527A true CN112703527A (zh) 2021-04-23
CN112703527B CN112703527B (zh) 2025-05-30

Family

ID=66999833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041534.XA Active CN112703527B (zh) 2018-06-22 2019-06-19 平视显示器（hud）内容控制系统和方法

Country Status (4)

Country Link
US (1) US11227366B2 (zh)
EP (1) EP3811326B1 (zh)
CN (1) CN112703527B (zh)
WO (1) WO2019243392A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
WO2022154803A1 (en) * 2021-01-15 2022-07-21 Google Llc System and method for simulating light-in-flight
US11878717B2 (en) * 2022-01-24 2024-01-23 International Business Machines Corporation Mirage detection by autonomous vehicles
US20230243973A1 (en) * 2022-01-31 2023-08-03 Hewlett-Packard Development Company, L.P. Real space object reconstruction within virtual space image using tof camera

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030122930A1 (en) * 1996-05-22 2003-07-03 Donnelly Corporation Vehicular vision system
CN102891985A (zh) * 2011-07-20 2013-01-23 通用汽车环球科技运作有限责任公司 用于增强的深度视频感的系统和方法
US20140168265A1 (en) * 2012-12-18 2014-06-19 Korea Electronics Technology Institute Head-up display apparatus based on augmented reality
CN104049927A (zh) * 2013-03-13 2014-09-17 本田技研工业株式会社 用于左转安全提示的增强现实平视显示器（hud）
US20160350601A1 (en) * 2015-06-01 2016-12-01 Brightway Vision Ltd. Image enhancements for vehicle imaging systems
CN106853799A (zh) * 2015-12-08 2017-06-16 通用汽车环球科技运作有限责任公司 全息波导平视显示器侧景显示
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source
CN107284356A (zh) * 2016-06-20 2017-10-24 梅克朗有限两合公司 车辆视镜替代系统
US20180017799A1 (en) * 2016-07-13 2018-01-18 Ford Global Technologies, Llc Heads Up Display For Observing Vehicle Perception Activity
US20180031384A1 (en) * 2016-07-28 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented road line detection and display system
WO2018019544A1 (de) * 2016-07-26 2018-02-01 Audi Ag Verfahren zum steuern einer anzeigevorrichtung für ein kraftfahrzeug, anzeigevorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer anzeigevorrichtung
CN108027511A (zh) * 2015-09-18 2018-05-11 株式会社理光 信息显示装置、信息提供系统、运动对象设备、信息显示方法和记录介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
HUP0500483A2 (en) 2005-05-12 2006-12-28 Mta Sztaki Szamitastechnikai E Method and equipment for matching virtual images to the real environment
US7995060B2 (en) 2007-08-01 2011-08-09 Disney Enterprises, Inc. Multiple artistic look rendering methods and apparatus
US20150288948A1 (en) * 2014-04-08 2015-10-08 Tk Holdings Inc. System and method for night vision object detection and driver assistance
US20160109701A1 (en) * 2014-10-15 2016-04-21 GM Global Technology Operations LLC Systems and methods for adjusting features within a head-up display
US9824490B1 (en) 2015-06-08 2017-11-21 Bentley Systems, Incorporated Augmentation of a dynamic terrain surface

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030122930A1 (en) * 1996-05-22 2003-07-03 Donnelly Corporation Vehicular vision system
CN102891985A (zh) * 2011-07-20 2013-01-23 通用汽车环球科技运作有限责任公司 用于增强的深度视频感的系统和方法
US20140168265A1 (en) * 2012-12-18 2014-06-19 Korea Electronics Technology Institute Head-up display apparatus based on augmented reality
CN104049927A (zh) * 2013-03-13 2014-09-17 本田技研工业株式会社 用于左转安全提示的增强现实平视显示器（hud）
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source
US20160350601A1 (en) * 2015-06-01 2016-12-01 Brightway Vision Ltd. Image enhancements for vehicle imaging systems
CN108027511A (zh) * 2015-09-18 2018-05-11 株式会社理光 信息显示装置、信息提供系统、运动对象设备、信息显示方法和记录介质
CN106853799A (zh) * 2015-12-08 2017-06-16 通用汽车环球科技运作有限责任公司 全息波导平视显示器侧景显示
CN107284356A (zh) * 2016-06-20 2017-10-24 梅克朗有限两合公司 车辆视镜替代系统
US20180017799A1 (en) * 2016-07-13 2018-01-18 Ford Global Technologies, Llc Heads Up Display For Observing Vehicle Perception Activity
WO2018019544A1 (de) * 2016-07-26 2018-02-01 Audi Ag Verfahren zum steuern einer anzeigevorrichtung für ein kraftfahrzeug, anzeigevorrichtung für ein kraftfahrzeug und kraftfahrzeug mit einer anzeigevorrichtung
US20180031384A1 (en) * 2016-07-28 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented road line detection and display system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KRAMER, L.J 等: "Assessing dual sensor enhanced flight vision systems to enable equivalent visual operations", 《AIAA INFOTECH AT AEROSPACE》, 28 April 2016 (2016-04-28) *
孙滨生: "提高航空安全的增强视觉设备――谈增强视景系统和合成视景系统的发展", 国际航空, no. 03, 8 March 2003 (2003-03-08) *

Also Published As

Publication number Publication date
CN112703527B (zh) 2025-05-30
US20190392562A1 (en) 2019-12-26
US11227366B2 (en) 2022-01-18
EP3811326B1 (en) 2023-08-09
EP3811326A1 (en) 2021-04-28
WO2019243392A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
CN112703527B (zh) 平视显示器（hud）内容控制系统和方法
US10535180B2 (en) Method and system for efficient rendering of cloud weather effect graphics in three-dimensional maps
US9598013B2 (en) Device and method for displaying head-up display (HUD) information
US8773534B2 (en) Image processing apparatus, medium recording image processing program, and image processing method
WO2021197189A1 (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
JP2024539329A (ja) 表示機器のための位置合わせ方法及び位置合わせ装置、車載表示システム
US9437034B1 (en) Multiview texturing for three-dimensional models
CN104303211A (zh) 用于在车辆显示器上整合虚拟对象的方法
KR102911790B1 (ko) 크로스토크를 보정하는 방법 및 장치
JP2018530467A (ja) 画像を投影面に投影するための自動車用投影方法
WO2018134897A1 (ja) 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法
CN118827936A (zh) 作业机械的辅助图像展示方法、装置、介质及电子设备
CN107009962A (zh) 一种基于姿态识别的全景观测方法
US12080075B2 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
CN113689358A (zh) 车辆挡风玻璃图像增强显示方法、电子设备、存储介质及玻璃
US10896017B2 (en) Multi-panel display system and method for jointly displaying a scene
CN117980961A (zh) 虚拟空间图像生成装置和方法
CN117087545B (zh) 一种全息电子后视镜系统的工作方法及装置
US12179591B2 (en) Method for depicting a virtual element
KR102447414B1 (ko) 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템
US12545241B2 (en) Driving assistance apparatus and driving assistance method
JP2020158014A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
US20250342609A1 (en) On-the-fly recalibration of tracking camera
CN118485807A (zh) 基于图像显示的ar驾驶辅助方法及终端设备
US20240317215A1 (en) Driving assistance apparatus and driving assistance method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant