[go: up one dir, main page]

CN106716514A - 信息显示控制系统及信息显示控制方法 - Google Patents

信息显示控制系统及信息显示控制方法 Download PDF

Info

Publication number
CN106716514A
CN106716514A CN201480082234.3A CN201480082234A CN106716514A CN 106716514 A CN106716514 A CN 106716514A CN 201480082234 A CN201480082234 A CN 201480082234A CN 106716514 A CN106716514 A CN 106716514A
Authority
CN
China
Prior art keywords
atural object
display
display control
information
visuognosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480082234.3A
Other languages
English (en)
Inventor
有田英
有田英一
下谷光生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN106716514A publication Critical patent/CN106716514A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)

Abstract

信息显示控制系统包括：显示控制部(11)，该显示控制部将图像显示于本车的显示器(20)；本车位置获取部(12)，该本车位置获取部获取本车的位置信息；地物数据获取部(13)，该地物数据获取部获取包含地物的位置信息的地物数据；及视觉辨认困难地物检测部(14)，该视觉辨认困难地物检测部检测视觉辨认困难地物，该视觉辨认困难地物为虽处于可从本车进行视觉辨认的位置但处于视觉辨认困难的状态的地物。显示控制部(11)基于地物数据中包含的地物的位置信息及本车位置获取部(12)获取到的本车的位置信息，将表示视觉辨认困难地物的位置的图像显示于显示器(20)。

Description

信息显示控制系统及信息显示控制方法
技术领域
本发明涉及在车辆的显示器上显示图像的信息显示控制系统。
背景技术
车载导航系统等包括装载于车辆的显示器的信息显示系统正得到普及。此外，近年来，通过在挡风玻璃、或驾驶员能透视的透明屏幕上显示信息从而在驾驶员的视野直接显示信息的透射型显示器(平视显示器(head-up display)等)正在逐渐得到实用(例如下述的专利文献2)。
在下述的专利文献1中，公开了在显示于车辆用显示装置的本车周围的图像存在清晰度较低的区域的情况下将预先拍摄到的本车周围的图像重叠显示的技术。此外，在下述的专利文献2中，公开了在隔着车辆的挡风玻璃显示图像的显示装置中显示表示本车的行驶车道的形状的车道引导的技术。特别在专利文献2中，提出了在沿本车的行驶车道存在侧沟等障碍物的情况下，将表示本车的行驶车道的形状的车道引导以与通常不同的颜色来显示，从而向驾驶员通知存在障碍物的技术。
现有技术文献
专利文献
专利文献1：国际公开第2013/171962号公报
专利文献2：日本专利特开2006-350617号公报
发明内容
发明所要解决的技术问题
例如，在因积雪、雨、雾等导致车辆周边的地物的可视性下降的状态下，驾驶员注意到地物的存在容易有延迟，可能对车辆的驾驶产生妨碍。因此，期望使驾驶员快速地识别出可视性下降的地物的存在的技术。另外，本说明书中的“地物”表示指代现实世界中存在的所有物体的概念，例如也包含绘制于道路的路面标志(交通标识、隔离线等)这样的平面物体。
本发明是为了解决上述问题而完成的，其目的在于，提供一种能使驾驶员识别出处于视觉辨认困难的状态的地物的位置的信息显示控制系统。
解决技术问题的技术方案
本发明所涉及的信息显示控制系统包括：显示控制部，该显示控制部将图像显示于本车的显示器；本车位置获取部，该本车位置获取部获取本车的位置信息；地物数据获取部，该地物数据获取部获取包含地物的位置信息的地物数据；及视觉辨认困难地物检测部，该视觉辨认困难地物检测部检测视觉辨认困难地物，该视觉辨认困难地物为虽处于可从本车进行视觉辨认的位置但处于视觉辨认困难的状态的地物，显示控制部基于地物数据中包含的地物的位置信息及本车位置获取部获取到的本车的位置信息，将表示视觉辨认困难地物的位置的图像显示于显示器。
发明效果
根据本发明，可使驾驶员识别出视觉辨认困难的状态的地物的位置，可辅助驾驶。
本发明的目的、特征、形态以及优点通过以下详细的说明和附图会变得更为明了。
附图说明
图1是表示实施方式1所涉及的信息显示控制系统的结构的框图。
图2是用于对实施方式1所涉及的信息显示控制装置的动作进行说明的图。
图3是用于对实施方式1所涉及的信息显示控制装置的动作进行说明的图。
图4是用于对实施方式1所涉及的信息显示控制装置的动作进行说明的图。
图5是用于对实施方式1所涉及的信息显示控制装置的动作进行说明的图。
图6是表示实施方式1所涉及的信息显示控制装置的动作的流程图。
图7是表示实施方式2所涉及的信息显示控制系统的结构的框图。
图8是用于对实施方式2所涉及的信息显示控制装置的动作进行说明的图。
图9是用于对实施方式2所涉及的信息显示控制装置的动作的变形例进行说明的图。
图10是表示实施方式3所涉及的信息显示控制系统的结构的框图。
图11是表示实施方式3所涉及的信息显示控制系统的结构的框图。
图12是表示实施方式4所涉及的信息显示控制系统的结构的框图。
图13是用于对实施方式4所涉及的信息显示控制装置的动作进行说明的图。
图14是表示实施方式4所涉及的信息显示控制装置的动作的流程图。
图15是表示实施方式5所涉及的信息显示控制系统的结构的框图。
图16是表示实施方式6所涉及的信息显示控制系统的结构的框图。
图17是用于对利用显示器上显示的图像来表示地物的位置的方法的示例进行说明的图。
图18是用于对利用透射型显示器上显示的图像来表示地物的位置的方法的示例进行说明的图。
具体实施方式
<实施方式1>
图1是表示实施方式1所涉及的信息显示控制系统的结构的框图。如图1所示，信息显示控制系统包括信息显示控制装置10、显示器20、地图信息存储装置21及车载摄像机22。此处，示出显示器20、地图信息存储装置21及车载摄像机22外置于信息显示控制装置10的结构，但它们也可与信息显示控制装置10一体构成。
显示器20例如由液晶显示装置构成。本实施方式中，显示器20装载于车辆，但也可不是像仪表盘的显示部那样固定于车内的部件，而是能带入车辆的携带型显示装置(例如电视终端、智能手机、平板终端等)。
地图信息存储装置21为存储有地图信息的硬盘、可移动介质等存储介质。在地图信息存储装置21所存储的地图信息中不仅包含道路网的数据，还包含有地物数据，该地物数据包含各地存在的地物的位置信息及该地物的类别的信息。此外，地图信息存储装置21也可为经由互联网等通信网向信息显示控制装置10提供地图信息的服务器。
车载摄像机22为拍摄搭载有信息显示控制装置10及显示器20的车辆(以下称为“本车”)的周围的拍摄装置。
信息显示控制装置10为控制显示器20的动作的控制装置，包括显示控制部11、本车位置获取部12、地物数据获取部13及视觉辨认困难地物检测部14。信息显示控制装置10利用计算机来构成，显示控制部11、本车位置获取部12、地物数据获取部13及视觉辨认困难地物检测部14通过使计算机按照程序进行动作来实现。
显示控制部11生成用于在显示器20上显示图像的图像信号，从而使显示器20显示所期望的图像。例如，显示控制部11可获取车载摄像机22拍摄到的图像，并将该图像显示于显示器20。
本车位置获取部12获取本车的位置信息。作为本车位置获取部12，以接收从例如GPS(Global Positioning System：全球定位系统)等GNSS(Global Navigation SatelliteSystem：全球导航卫星系统)发送的信号并获取绝对位置(纬度、经度)的信息的GNSS接收机为代表，但也可包含用于获取相对位置(位置的变化)的信息的速度传感器、方位传感器等。此外，本车位置获取部12通过利用地图信息存储装置21中存储的地图信息的地图匹配处理，可提高本车的位置信息的精度。
另外，本车位置获取部12也不一定具有计算本车位置的功能，也可从处理本车的位置信息的其它装置(例如导航装置)获取本车的位置信息。
地物数据获取部13根据本车位置获取部12获取的本车的位置信息和地图信息存储装置21中存储的地图信息，检测本车周边(例如离本车位置一定距离内的范围)存在的地物，获取所检测出的地物数据。
视觉辨认困难地物检测部14基于地物数据获取部13获取的地物数据中包含的地物的位置信息和车载摄像机22拍摄到的本车周围的图像(拍摄图像)，检测虽处于可从本车进行视觉辨认的位置但处于视觉辨认困难的状态的地物(以下称为“视觉辨认困难地物”)。具体而言，视觉辨认地物检测部14根据车载摄像机22拍摄到的本车周围的图像，提取出地物所处位置的图像并进行解析，确认该地物是否被车载摄像机22清晰地拍摄。若未清晰地拍摄，则将该地物检测作为视觉辨认困难地物。
显示控制部11根据本车的位置信息和视觉辨认困难地物的地物数据中包含的位置信息，求出本车与视觉辨认困难地物的位置关系，在此基础上，将表示视觉辨认困难地物的位置的图像与车载摄像机22拍摄到的本车周围的图像重叠，并显示于显示器20。此外，显示控制部11根据视觉辨认困难地物的类别，决定表示该地物的位置的图像的内容(形状、图案、色彩等)。
本实施方式中，车载摄像机22拍摄本车的前进方向前方的视频，显示控制部11将表示视觉辨认困难地物检测部14检测出的视觉辨认困难地物中存在于车载摄像机22的拍摄范围内(即本车的前进方向前方)的视觉辨认困难地物的位置的图像显示于显示器20(视觉辨认困难地物检测部14也可仅检测出位于本车的前进方向前方的视觉辨认困难地物)。
此外，本实施方式中，设为将表示视觉辨认困难地物存在的图像与本车周围的图像中该视觉辨认困难地物所处位置的部分进行合成并显示于显示器20，从而表示该视觉辨认困难地物的位置。图17中示意性示出该方法。
例如，如图17那样，假定地表面S为包含X轴和Y轴的平面。在作为视觉辨认困难地物的地物F处于地表面S上的位置P1(x1，y1)的情况下，显示控制部11将表示该地物F存在的图像F1与车载摄像机22拍摄到的地表面S的图像M中的位置P1(x1，y1)所对应的部分进行合成。若利用该方法，则在显示于显示器20的图像中，图像F1的位置与地物F的存在位置一致，因此，本车的驾驶员可根据图像F1的显示位置，正确识别视觉辨认困难地物的存在位置。
接下来，具体说明实施方式1所涉及的信息显示控制装置10的动作。信息显示控制装置10进行动作，使得在本车的前进方向前方检测出视觉辨认困难地物的存在时，将表示该视觉辨认困难地物的位置的图像与车载摄像机22拍摄到的图像重叠显示于显示器20。
例如，假定本车在图2所示的道路R1上行驶的情况。此处，示出在道路R1划出中央线C1和车道外侧线(以下简称为“外侧线”)E1、E2，在道路R1两侧设置有侧沟G1、G2的示例。若视野良好，则车载摄像机22中拍摄到图3那样的图像。
然而，若例如道路R1上有积雪，道路R1、中央线C1、外侧线E1、E2及侧沟G1、G2分别处于视觉辨认困难的状态，则车载摄像机22的拍摄图像如图4那样，这些地物变得不清晰。在此情况下，信息显示控制装置10中，视觉辨认困难地物检测部14将道路R1、中央线C1、外侧线E1、E2及侧沟G1、G2检测作为视觉辨认困难地物。然后，显示控制部11如图5那样，将表示作为视觉辨认困难地物的道路R1、中央线C1、外侧线E1、E2及侧沟G1、G2的位置的图像与车载摄像机22拍摄到的图像(图4)重叠显示于显示器20。
此处，表示中央线C1、外侧线E1、E2及侧沟G1、G2的位置的图像在显示器20的画面上与实际的地物的位置及形状一致，但表示地物的位置的图像的位置及形状也可与实际的地物不一致。例如，在图5的示例中，表示道路R1的位置的图像为道路R1的轮廓线。
本车的驾驶员通过观察显示器20上显示的图像(图5)，可容易识别道路R1的宽度、中央线C1、外侧线E1、E2及侧沟G1、G2的位置。
此处，虽然示出因积雪而产生视觉辨认困难地物的示例，但对于因浸水、浓雾而导致地物难以视觉辨认的状态、路面磨损且路面标志变淡而难以视觉辨认的状态也可适用。
图6是表示实施方式1所涉及的信息显示控制装置10的动作的流程图。利用图2～图5说明的动作通过使信息显示控制装置10进行图6所示的处理来实现。另外，图6的动作在用户对信息显示控制装置10进行了用于结束该动作的操作的情况、或从其它设备输入了结束该动作的指示到信息显示控制装置10的情况、或信息显示控制装置10进行的其它处理中有结束该动作的指示等情况下结束。
若信息显示控制装置10启动，则首先，显示控制部11获取由车载摄像机22拍摄到的本车周围的图像(步骤S11)，并将该图像显示于显示器20(步骤S12)。然后，本车位置获取部12获取本车的位置信息(步骤S13)，地物数据获取部13从地图信息存储装置21获取在本车周边存在的地物的地物数据(步骤S14)。
之后，视觉辨认困难地物检测部14基于地物数据获取部13获取的地物数据(地物的位置信息)，对车载摄像机22拍摄到的车辆周围的视频(地物的存在位置的视频)进行解析，从而确认在本车周边是否存在视觉辨认困难地物(步骤S15)。若在本车周边不存在视觉辨认困难地物(步骤S15中为否)，则返回至步骤S11。
另一方面，若在本车周边存在视觉辨认困难地物(步骤S15中为是)，则显示控制部11将表示视觉辨认困难地物的位置的图像与本车周围的拍摄图像(步骤S12中显示的图像)重叠显示于显示器20(步骤S16)。之后，返回至步骤S11。即，重复执行上述步骤S11～S16的处理。
此外，本实施方式中，示出了显示表示在本车的前进方向前方存在的视觉辨认困难地物的位置的图像的示例，但也可将表示在本车的侧方或后方存在的视觉辨认困难地物的位置的图像与拍摄侧方或后方得到的图像进行重叠显示。例如，考虑将本发明适用于停车时等的后方确认用的画面(后方监视器)等。
<实施方式2>
图7是表示实施方式2所涉及的信息显示控制系统的结构的框图。该信息显示控制系统构成为相对于实施方式1的结构(图1)，在信息显示控制装置10设置有行驶障碍地物提取部14a。
行驶障碍地物提取部14a从视觉辨认困难地物检测部14检测出的视觉辨认困难地物中，提取出可能成为本车的行驶障碍的地物(以下称为“行驶障碍地物”)。例如，在图2的道路R1中，像侧沟G1、G2那样与道路R1之间具有高低差的地物为行驶障碍地物。各地物是否为行驶障碍地物可根据地物数据所表示的地物的类别来判断(例如，侧沟、中央分离带等立体地物可判断为行驶障碍地物)。或者，也可在地物数据中包含表示各地物是否为行驶障碍地物的信息。
实施方式2中，显示控制部11在表示行驶障碍地物提取部14a提取出的行驶障碍地物的位置的图像中包含警告该行驶障碍地物存在的图像。例如，在本车行驶于图2的道路R1时，若利用视觉辨认困难地物检测部14，检测出道路R1、中央线C1、外侧线E1、E2及侧沟G1、G2作为视觉辨认困难地物，则行驶障碍地物提取部14a从中提取作为行驶障碍地物的侧沟G1、G2。在此情况下，显示控制部11如图8那样，利用包含警告侧沟G1、G2存在的图像(此处为包含记号“！”的图形)的图像，以作为表示侧沟G1、G2的图像。由此，能更可靠地使驾驶员识别行驶障碍地物的存在。
另外，警告行驶障碍地物存在的图像并不限于图8所示的图像，也可为特定的文字、图形、色彩、图案、动态图像(例如闪烁的图像)等，只要使表示行驶障碍地物的图像比表示其它视觉辨认困难地物的图像更醒目即可。
此外，也可如图9那样，信息显示控制装置10仅将表示行驶障碍地物提取部14a检测出的行驶障碍地物的位置的图像与本车周围的拍摄图像重叠显示。通过不显示表示行驶障碍地物以外的地物的图像，可使表示行驶障碍地物的图像更醒目。
<实施方式3>
实施方式1中，示出了视觉辨认困难地物检测部14基于本车的位置信息和车载摄像机22拍摄到的车辆周围的图像来检测视觉辨认困难地物的结构，但视觉辨认困难地物的检测也可通过其它方法来进行。此处，示出几个示例。
例如，视觉辨认困难地物检测部14也可基于装载于本车的各种传感器(车载传感器)所获取的信息，检测视觉辨认困难地物。图10是在此情况下的信息显示控制系统的结构例，构成为相对于实施方式1的结构(图1)，信息显示控制装置10还连接有车载传感器23(车载传感器23也可内置于信息显示控制装置10)。
在该结构中，视觉辨认困难地物检测部14根据从车载传感器23(例如照度传感器、降雨传感器、烟雾传感器等)获取的表示本车的周边环境的状态的信息，判断地物数据获取部13检测出的各地物是否难以视觉辨认。例如，考虑在降雨时、浓雾时，将处于与本车隔开一定距离以上的位置的地物判断为视觉辨认困难地物的情况等。其它的处理与实施方式1相同即可，因此省略说明。
此外，例如，在配备有信号灯等发布交通信息的基础设施，在道路网的各处设置有发布视觉辨认困难地物(例如，行将消失的路面标志、被雪掩埋的侧沟等)的信息的发布设备的情况下，视觉辨认困难地物检测部14可基于利用与各发布设备的通信获取的信息，检测出视觉辨认困难地物。
图11是表示此时的信息显示控制系统的结构的框图。信息显示控制装置10连接有与信息的发布设备进行通信的通信装置24(通信装置24也可内置于信息显示控制装置10)。
信息显示控制装置10通过利用了通信装置24的通信，从信息的发布设备获取视觉辨认困难地物的信息。然后，视觉辨认困难地物检测部14通过将通信装置24从发布设备获取的视觉辨认困难地物的位置信息和地物数据获取部13检测出的本车周边的地物的位置信息进行比较，从而判断各地物是否为视觉辨认困难地物。其它处理与实施方式1相同即可。
此外，也可将利用车载摄像机22、车载传感器23或通信装置24的方法彼此进行组合。例如，也可在配备有信息的发布设备的地域，执行利用通信装置24的方法，在其它地域，执行利用车载摄像机22或车载传感器23的方法。
<实施方式4>
图12是表示实施方式4所涉及的信息显示控制系统的结构的框图。该信息显示控制系统相对于实施方式1的结构(图1)，将显示器20替换成透射型显示器25。此外，在该系统中，车载摄像机22拍摄到的图像不输入到显示控制部11。
透射型显示器25是通过在挡风玻璃、或驾驶员能透视的透明屏幕上显示信息，从而在驾驶员的视野直接显示信息的一类显示器(例如平视显示器)。
实施方式1～3中，为了表示视觉辨认困难地物的位置，需要将表示该位置的图像与车载摄像机22拍摄到的图像重叠显示。然而，在透射型显示器25中，从驾驶员越过挡风玻璃看到的景象为画面的背景，因此，无需利用车载摄像机22拍摄到的图像，可将表示视觉辨认困难地物的位置的图像与实际的景象重叠。
本实施方式中，设为将表示视觉辨认困难地物存在的图像在从本车的驾驶员来看时与该视觉辨认困难地物所处的位置看起来重叠的方式显示于透射型显示器25，从而表示该视觉辨认困难地物的位置。图18中示意性示出该方法。
例如，如图18那样，假定地表面S为包含X轴和Y轴的平面。在作为视觉辨认困难地物的地物F处于地表面S上的位置P1(x1，y1)的情况下，显示控制部11将表示该地物F存在的图像F1显示于透射型显示器25的画面SC(例如挡风玻璃)中的与将驾驶员的眼睛的位置E和位置P1(x1，y1)连接的直线的交点。若利用该方法，则从驾驶员来看，图像F1看起来与地物F的存在位置重叠，因此，驾驶员可根据图像F1的显示位置，正确识别视觉辨认困难地物的存在位置。
例如，如实施方式1中示出的示例那样，在积雪时本车行驶于图2所示的道路R1的情况下，在驾驶员的视野中映出图13那样的图像(表示道路R1、中央线C1、外侧线E1、E2及侧沟G1、G2的图像的背景为实际的景象)。由此，本车的驾驶员可容易识别道路R1的宽度、中央线C1、外侧线E1、E2及侧沟G1、G2的位置。
图14是表示实施方式4所涉及的信息显示控制装置10的动作的流程图。上述动作通过使信息显示控制装置10进行图14所示的处理来实现。另外，图14的动作在用户对信息显示控制装置10进行了用于结束该动作的操作的情况、或从其它设备输入了结束该动作的指示到信息显示控制装置10的情况、或信息显示控制装置10进行的其它处理中有结束该动作的指示等情况下结束。
若信息显示控制装置10启动，则首先，本车位置获取部12获取本车的位置信息(步骤S21)，地物数据获取部13从地图信息存储装置21获取在本车周边存在的地物的地物数据(步骤S22)。
之后，视觉辨认困难地物检测部14基于地物数据获取部13获取的地物数据(地物的位置信息)，对车载摄像机22拍摄到的车辆周围的视频(地物的存在位置的视频)进行解析，从而确认在本车周边是否存在视觉辨认困难地物(步骤S23)。若在本车周边不存在视觉辨认困难地物(步骤S23中为否)，则返回至步骤S21。
另一方面，若在本车周边存在视觉辨认困难地物(步骤S23中为是)，则显示控制部11利用透射型显示器25将表示视觉辨认困难地物的位置的图像显示于驾驶员的视野(步骤S24)。对驾驶员而言，表示视觉辨认困难地物的位置的图像看起来与实际的景象重叠。之后，返回至步骤S21。即，重复执行上述步骤S21～S24的处理。
图14中，示出对实施方式1的信息显示控制系统适用透射型显示器25的示例，但对实施方式2、3所示的各种信息显示控制系统也可适用透射型显示器25。
<实施方式5>
图15是表示实施方式5所涉及的信息显示控制系统的结构的框图。该信息显示控制系统构成为相对于实施方式4的结构(图12)，在信息显示控制装置10设置有视点推定部17。
视点推定部17推定驾驶员的眼睛相对于透射型显示器25的画面(例如挡风玻璃)的位置(视点)。视点推定部17推定驾驶员的眼睛的位置的方法可以是任意的，例如考虑对利用设置于驾驶座的摄像机(驾驶员监视摄像机)拍摄驾驶员的脸得到的图像进行解析并推定的方法。此外，例如也可为根据驾驶座的座椅的位置(椅面的位置和高度、靠背的倾斜角度等)来推定驾驶员的眼睛的位置的简易方法。
本实施方式中，显示控制部11基于视点推定部17推定出的驾驶员的眼睛的位置，决定表示视觉辨认困难地物的位置的图像在透射型显示器25的画面上的显示位置。由此，可在驾驶员的视野内更正确的位置显示表示视觉辨认困难地物的位置的图像。
<实施方式6>
地物包含各种各样的地物，因此，考虑若将表示地物数据中包含的所有地物的位置的图像无限制地显示于显示器(或透射型显示器)，则难以识别各个地物的位置。因此，在本实施方式中，使得用户可任意设定作为利用显示图像来表示位置的对象的地物的类别、用于显示图像的条件。
图16是表示实施方式6所涉及的信息显示控制系统的结构的框图。该信息显示控制系统构成为相对于实施方式1的结构(图1)，在信息显示控制装置10设置有显示对象设定部18及显示条件设定部19。
显示对象设定部18及显示条件设定部19是用户可操作的用户界面，用户利用显示对象设定部18，可设定作为利用显示图像来表示位置的对象的地物的类别，并且，利用显示条件设定部19，可设定用于显示表示地物位置的图像的条件。显示对象设定部18及显示条件设定部19也可为外置于信息显示控制装置10的装置(遥控器等)。
实施方式6中，显示控制部11仅将表示视觉辨认困难地物中设定于显示对象设定部18的类别的地物的图像与本车周围的拍摄图像重叠显示于显示器20。此外，仅在满足设定于显示条件设定部19的条件的情况下，将表示地物位置的图像显示于显示器20。
根据本实施方式，可根据用户的喜好，设定利用显示图像来表示位置的对象、显示图像的条件。例如，将作为利用显示图像来表示位置的对象的地物仅限制为交通标识，或限制表示地物位置的图像的显示范围的宽度，从而可防止显示无用的图像，可提高所显示的各个图像的可视性。
图16中，对于实施方式1的信息显示控制系统，示出在信息显示控制装置10中设置有显示对象设定部18及显示条件设定部19的结构，但本实施方式也可适用于实施方式2～5所示的各种信息显示控制系统。
另外，本发明可以在该发明的范围内对各实施方式自由地进行组合，或对各实施方式进行适当的变形、省略。
虽然对本发明进行了详细的说明，但上述的说明在所有的方式中均为例示，本发明并不限于此。应该认为在不脱离本发明范围的情况下未例示出的无数个变形例是能想到的。
标号说明
10信息显示控制装置、11显示控制部、12本车位置获取部、13地物数据获取部、14视觉辨认困难地物检测部、14a行驶障碍地物提取部、17视点推定部、18显示对象设定部、19显示条件设定部、20显示装置、21地图信息存储装置、22车载摄像机、23车载传感器、24通信装置、25透射型显示器。

Claims (13)

1.一种信息显示控制系统，其特征在于，包括：
显示控制部，该显示控制部将图像显示于本车的显示器；
本车位置获取部，该本车位置获取部获取所述本车的位置信息；
地物数据获取部，该地物数据获取部获取包含地物的位置信息的地物数据；及
视觉辨认困难地物检测部，该视觉辨认困难地物检测部检测视觉辨认困难地物，该视觉辨认困难地物为虽处于可从所述本车进行视觉辨认的位置但处于视觉辨认困难的状态的地物，
所述显示控制部基于所述地物数据中包含的地物的位置信息及所述本车位置获取部获取到的所述本车的位置信息，将表示视觉辨认困难地物的位置的图像显示于所述显示器。
2.如权利要求1所述的信息显示控制系统，其特征在于，
所述显示控制部获取对所述本车的周围进行拍摄后得到的图像，将表示视觉辨认困难地物的位置的图像与所述本车的周围的图像进行合成并显示于所述显示器。
3.如权利要求2所述的信息显示控制系统，其特征在于，
所述显示控制部将表示视觉辨认困难地物的存在的图像与所述本车的周围的图像中该视觉辨认困难地物所处的位置的部分进行合成并显示于所述显示器。
4.如权利要求1所述的信息显示控制系统，其特征在于，
所述显示器为所述本车的驾驶员能透视的透射型显示器。
5.如权利要求4所述的信息显示控制系统，其特征在于，
所述显示控制部将表示视觉辨认困难地物的存在的图像以从所述驾驶员来看时与该视觉辨认困难地物所处的位置看起来重叠的方式显示于所述透射型显示器。
6.如权利要求4所述的信息显示控制系统，其特征在于，
还包括视点推定部，该视点推定部推定所述驾驶员的眼睛相对于所述透射型显示器的画面的位置，
所述显示控制部基于所述视点推定部推定出的所述驾驶员的眼睛的位置，决定表示视觉辨认困难地物的位置的图像的显示位置。
7.如权利要求1所述的信息显示控制系统，其特征在于，
还包括行驶障碍地物提取部，该行驶障碍地物提取部从视觉辨认困难地物中提取可能成为本车的行驶障碍的地物即行驶障碍地物，
所述显示控制部将表示所述行驶障碍地物提取部提取出的行驶障碍地物的位置的图像显示于所述显示器。
8.如权利要求7所述的信息显示控制系统，其特征在于，
表示行驶障碍地物的位置的图像包含警告该行驶障碍地物的存在的图像。
9.如权利要求1所述的信息显示控制系统，其特征在于，
所述视觉辨认困难地物检测部检测出的作为视觉辨认困难地物的地物包含道路、车道及路面标志中的1种以上。
10.如权利要求1所述的信息显示控制系统，其特征在于，
所述视觉辨认困难地物检测部根据表示本车的周边环境的状态的信息，判断各地物是否从本车难以视觉辨认。
11.如权利要求1所述的信息显示控制系统，其特征在于，
还包括显示对象设定部，该显示对象设定部使用户能设定作为利用图像来表示位置的对象的地物的类别，
所述显示控制部仅将表示视觉辨认困难地物中由所述显示对象设定部设定的类别的地物的图像显示于所述显示器。
12.如权利要求1所述的信息显示控制系统，其特征在于，
还包括显示条件设定部，该显示条件设定部使用户能设定用于显示表示地物的位置的图像的条件，
所述显示控制部在满足由所述显示条件设定部设定的条件的情况下，将表示地物的位置的图像显示于所述显示器。
13.一种信息显示控制方法，为车辆用的信息显示控制系统中的信息显示控制方法，其特征在于，
所述信息显示控制系统的本车位置获取部获取本车的位置信息，
所述信息显示控制系统的视觉辨认困难地物检测部检测视觉辨认困难地物，该视觉辨认困难地物为虽处于可从所述本车进行视觉辨认的位置但处于视觉辨认困难的状态的地物，
所述信息显示控制系统的地物数据获取部获取所述视觉辨认困难地物的位置信息，
所述信息显示控制系统的显示控制部基于所述视觉辨认困难地物的位置信息及所述本车的位置信息，将表示所述视觉辨认困难地物的位置的图像显示于显示器。
CN201480082234.3A 2014-09-29 2014-09-29 信息显示控制系统及信息显示控制方法 Pending CN106716514A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/075810 WO2016051447A1 (ja) 2014-09-29 2014-09-29 情報表示制御システムおよび情報表示制御方法

Publications (1)

Publication Number Publication Date
CN106716514A true CN106716514A (zh) 2017-05-24

Family

ID=55629548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082234.3A Pending CN106716514A (zh) 2014-09-29 2014-09-29 信息显示控制系统及信息显示控制方法

Country Status (5)

Country Link
US (1) US20170120819A1 (zh)
JP (1) JP6415583B2 (zh)
CN (1) CN106716514A (zh)
DE (1) DE112014007007T5 (zh)
WO (1) WO2016051447A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112154077A (zh) * 2018-05-24 2020-12-29 三菱电机株式会社 车辆用显示控制装置和车辆用显示控制方法
CN113139420A (zh) * 2020-01-16 2021-07-20 本田技研工业株式会社 显示控制装置、显示控制装置的控制方法、移动体以及记录介质
CN115830838A (zh) * 2022-11-23 2023-03-21 浙大城市学院 一种工程机械智能控制系统
CN116805021A (zh) * 2022-03-23 2023-09-26 本田技研工业株式会社 信息处理系统和信息处理方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677644B1 (ko) * 2014-09-02 2016-11-29 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN110603428B (zh) * 2017-05-16 2023-05-23 三菱电机株式会社 显示控制装置及显示控制方法
FR3082320B1 (fr) * 2018-06-06 2022-05-27 Valeo Comfort & Driving Assistance Dispositif d'affichage pour l'aide a la conduite
JP7279314B2 (ja) * 2018-08-09 2023-05-23 日本精機株式会社 車両用表示装置、車両用表示装置の制御方法、車両用表示装置の制御プログラム
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
WO2021029016A1 (ja) * 2019-08-13 2021-02-18 本田技研工業株式会社 ガイド表示方法
JP7563449B2 (ja) * 2020-05-11 2024-10-08 ソニーグループ株式会社 通信装置、方法、およびプログラム
DE102020212562B3 (de) 2020-10-05 2021-11-11 Volkswagen Aktiengesellschaft Fahrspurbezogene visuelle Assistenzfunktion einer Head-Up-Displayeinrichtung für ein Kraftfahrzeug
WO2025187043A1 (ja) * 2024-03-08 2025-09-12 三菱電機株式会社 側溝情報生成システムおよび側溝情報生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
CN1880919A (zh) * 2005-06-15 2006-12-20 株式会社电装 车辆驾驶辅助系统
JP2007183764A (ja) * 2006-01-05 2007-07-19 Hitachi Ltd 車載装置
JP2010257253A (ja) * 2009-04-24 2010-11-11 Denso Corp 車両用表示装置
US8239131B2 (en) * 2007-06-12 2012-08-07 Panasonic Corporation Navigation device, navigation method, and navigation program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9649980B2 (en) * 2012-05-18 2017-05-16 Nissan Motor Co., Ltd. Vehicular display apparatus, vehicular display method, and vehicular display program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1818929A (zh) * 2005-01-28 2006-08-16 爱信艾达株式会社 图像识别装置及图像识别方法
CN1880919A (zh) * 2005-06-15 2006-12-20 株式会社电装 车辆驾驶辅助系统
JP2007183764A (ja) * 2006-01-05 2007-07-19 Hitachi Ltd 車載装置
US8239131B2 (en) * 2007-06-12 2012-08-07 Panasonic Corporation Navigation device, navigation method, and navigation program
JP2010257253A (ja) * 2009-04-24 2010-11-11 Denso Corp 車両用表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112154077A (zh) * 2018-05-24 2020-12-29 三菱电机株式会社 车辆用显示控制装置和车辆用显示控制方法
CN113139420A (zh) * 2020-01-16 2021-07-20 本田技研工业株式会社 显示控制装置、显示控制装置的控制方法、移动体以及记录介质
CN116805021A (zh) * 2022-03-23 2023-09-26 本田技研工业株式会社 信息处理系统和信息处理方法
CN115830838A (zh) * 2022-11-23 2023-03-21 浙大城市学院 一种工程机械智能控制系统
WO2024109017A1 (zh) * 2022-11-23 2024-05-30 浙大城市学院 一种工程机械智能控制系统
CN115830838B (zh) * 2022-11-23 2025-04-25 浙大城市学院 一种工程机械智能控制系统

Also Published As

Publication number Publication date
US20170120819A1 (en) 2017-05-04
JPWO2016051447A1 (ja) 2017-04-27
WO2016051447A1 (ja) 2016-04-07
JP6415583B2 (ja) 2018-10-31
DE112014007007T5 (de) 2017-06-08

Similar Documents

Publication Publication Date Title
CN106716514A (zh) 信息显示控制系统及信息显示控制方法
US11767024B2 (en) Augmented reality method and apparatus for driving assistance
CN109427199B (zh) 用于辅助驾驶的增强现实的方法及装置
US10748426B2 (en) Systems and methods for detection and presentation of occluded objects
US11535155B2 (en) Superimposed-image display device and computer program
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
CN103105168B (zh) 用于确定位置的方法
US10996070B2 (en) Route guidance apparatus and method
JP4752836B2 (ja) 道路環境情報通知装置及び道路環境情報通知プログラム
EP3667239A1 (en) Method and apparatus for augmented reality based on localization and environmental conditions
US11082616B2 (en) Overlooking image generation system for vehicle and method thereof
US10732420B2 (en) Head up display with symbols positioned to augment reality
TW201333896A (zh) 使用視訊雷達的遠距交通管理系統
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
JP2004171159A (ja) 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
CN109927629B (zh) 用于控制投影设备的显示控制设备、显示控制方法及车辆
JP6102509B2 (ja) 車両用表示装置
JP2014074627A (ja) 車両用ナビゲーションシステム
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
JP6448274B2 (ja) 情報表示制御システムおよび情報表示制御方法
JP2016068654A (ja) 車両用照射制御システムおよび画像照射の制御方法
JP2008097279A (ja) 車両外部情報表示装置
US20220065649A1 (en) Head-up display system
CN115503745B (zh) 车辆用显示装置、车辆用显示系统、车辆用显示方法以及存储有程序的非临时性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524