[go: up one dir, main page]

CN108268833A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN108268833A
CN108268833A CN201711395617.8A CN201711395617A CN108268833A CN 108268833 A CN108268833 A CN 108268833A CN 201711395617 A CN201711395617 A CN 201711395617A CN 108268833 A CN108268833 A CN 108268833A
Authority
CN
China
Prior art keywords
image
vehicle
unit
visual point
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711395617.8A
Other languages
English (en)
Inventor
畠山友希子
清幸荣
武内环
土生田理惠
元广彬翔
佐藤智之
前岛康平
坂口敦俊
高桥将宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Ten Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd, Toyota Motor Corp filed Critical Denso Ten Ltd
Publication of CN108268833A publication Critical patent/CN108268833A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像处理设备和图像处理方法。根据一个实施例的图像处理设备包括图像获取单元、信息获取单元、生成单元、以及合成单元。所述图像获取单元获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像。所述信息获取单元获取关于所述车辆的环境中存在的障碍物的检测到的位置的信息。所述生成单元基于由所述图像获取单元获取的所述被捕获图像来生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看。所述合成单元将提供在所述检测到的位置处存在所述障碍物的通知的通知图像与所述虚拟视点图像相合成，并且将车辆图像与所述虚拟视点图像相合成。

Description

图像处理设备和图像处理方法
技术领域
在此讨论的实施例涉及一种图像处理设备和图像处理方法。
背景技术
例如，通常已知一种设备，其通过使用雷达设备等的传感器检测车辆的环境中存在的障碍物，并且向用户呈现检测结果。例如，在日本特许专利公开2012-188057中，在检测到障碍物的情况下，传感器的检测范围被叠加和显示在由摄像机捕获的被捕获图像上。
但是，常规技术在容易地识别障碍物的位置方面具有进一步改进的空间。
例如，在如上所述的常规技术中，仅向用户呈现能够检测到障碍物的范围，并且检测到的障碍物的位置本身未被呈现给该用户。因此，用户可能忽视障碍物。
已通过考虑以上所述提供实施例的一个方面，并且这一方面旨在提供一种能够容易地识别障碍物的位置的图像处理设备和图像处理方法。
发明内容
根据一个实施例的图像处理设备包括图像获取单元、信息获取单元、生成单元、以及合成单元。所述图像获取单元获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像。所述信息获取单元获取关于所述车辆的环境中存在的障碍物的检测到的位置的信息。所述生成单元基于由所述图像获取单元获取的所述被捕获图像来生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看。所述合成单元将提供在所述检测到的位置处存在所述障碍物的通知的通知图像与所述虚拟视点图像相合成，并且将车辆图像与所述虚拟视点图像相合成。
根据一个实施例的一个方面，能够容易地识别障碍物的位置。
附图说明
图1A和图1B是示出根据一个实施例的障碍物呈现系统的概要的图；
图2是示出根据一个实施例的障碍物呈现系统的配置的框图；
图3是示出根据一个实施例的图像捕获设备的布置的一个示例的图；
图4是示出根据一个实施例的移动预测线的一个示例的图；
图5是示出根据一个实施例的范围图像的一个示例的图；
图6是示出根据一个实施例的通知图像的一个示例的图；
图7A是示出根据一个实施例的车辆图像的一个示例的图；
图7B是示出如图7A中所示的车辆图像的一部分的放大图；
图8是示出根据一个实施例的由合成单元生成的合成图像的一个示例的图；
图9是示出根据一个实施例的由图像处理设备执行的图像生成过程的处理步骤的流程图。
具体实施方式
以下，将参考附图详细描述本申请中公开的图形处理设备和图像处理方法的一个实施例。此外，本发明并不限于此类实施例。
1.障碍物呈现系统的概要
将通过使用图1A和图1B描述根据一个实施例的障碍物呈现系统1的概要。图1A和图1B是示出根据一个实施例的障碍物呈现系统1的概要的图。障碍物呈现系统1安装在车辆上，检测车辆周围的障碍物并且向用户(驾驶者)呈现该障碍物。
障碍物呈现系统1基于被捕获图像生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看，并且其中由图像捕获设备捕获车辆周围的图像。障碍物呈现系统1将提供在检测到的障碍物位置处存在障碍物的通知的通知图像与虚拟视点图像相合成，并且将车辆图像与所述虚拟视点图像相合成以生成合成图像。此外，障碍物呈现系统1的雷达设备检测障碍物的位置。障碍物呈现系统1在显示设备上显示生成的合成图像，以使得向用户呈现障碍物。
因此，将通知图像与由雷达设备检测到的障碍物的位置处的虚拟视点图像相合成，以使得用户能够容易地识别障碍物。
障碍物呈现系统1包括图像处理设备10、图像捕获设备20、雷达设备30、以及显示设备50。
图像捕获设备20例如具有多个(未示出的)摄像机，它们被布置在车辆的环境中。图像捕获设备20的每个摄像机以恒定时段捕获车辆周围的图像。
雷达设备30在车辆周围发出无线电波并且接收从障碍物反射的反射波，以使得在车辆周围存在的障碍物被检测到。此外，雷达设备30例如检测从车辆到障碍物的距离(将在下面描述为障碍物的位置信息)作为障碍物的位置。
图像处理设备10对由图像捕获设备20捕获的被捕获图像执行坐标变换，以便生成从虚拟视点观看的虚拟视点图像。图像处理设备10生成合成图像并且将其输出到显示设备50，在所述合成图像中，将车辆图像或通知图像与虚拟视点图像相合成。图像处理设备10包括图像获取单元110、信息获取单元120、生成单元130、以及合成单元160。
图像获取单元110从图像捕获设备20获取被捕获图像。信息获取单元120从雷达设备30获取障碍物的位置信息。
生成单元130针对由图像获取单元110获取的被捕获图像执行坐标变换过程，以便生成其中从虚拟视点观看车辆的虚拟视点图像。
合成单元160将从虚拟视点观看车辆的外观的车辆图像与由生成单元130生成的虚拟视点图像相合成。此外，合成单元160基于由信息获取单元120获取的障碍物的位置信息，将指示存在障碍物的障碍物信息与存在障碍物的位置(所检测到的障碍物位置)处的虚拟视点图像相合成。因此，合成单元160将车辆图像和通知图像与虚拟视点图像合成以便生成合成图像P1。
图1B示出由合成单元160生成的合成图像P1的一个示例。在图1B的示例中，合成单元160将车辆图像Pc与其中从左斜后方的上侧观看车辆的虚拟视点图像相合成。此外，合成单元160将在车辆前部的右侧的通知图像Ps与所述虚拟视点图像相合成。
如图1B中所示，在检测到障碍物的位置处将通知图像Ps与虚拟视点图像相合成，并且将车辆图像Pc与所述虚拟视点图像相合成，以使得用户能够容易地确认车辆与障碍物之间的位置关系。
此外，导致车辆图像Pc的一部分透明，以使得通知图像Ps不被车辆图像Pc隐藏，并且用户能够更容易地确认障碍物的位置。随后将通过使用图7A、图7B等描述导致车辆图像Pc的一部分透明。
显示设备50例如包括显示器，并且显示由合成单元160生成的合成图像P1。由此，能够向用户呈现障碍物。
因此，根据一个实施例的图像处理设备10将车辆图像Pc和通知图像Ps与虚拟视点图像相合成。在此，在检测到障碍物的位置处将通知图像Ps与虚拟视点图像相合成。从而，用户能够容易地确认障碍物的位置。
2.障碍物呈现系统的细节
接下来，将参考图2至图9描述根据一个实施例的障碍物呈现系统1的细节。图2是示出根据一个实施例的障碍物呈现系统1的配置的框图。此外，在图2中，描述一个实施例的特性需要的组件由功能块表示，并且通用组件的描述将被省略。
换言之，如图2中所示的每个组件具有功能概念，并且不必如附图中所示的那样进行物理配置。例如，相应功能块的分散或集成的特定配置并不限于附图中所示的配置，并且可以根据各种类型的负载或使用等，可以将这些功能块的全部或部分在功能上或物理上分散或集成在要被配置的任意单元中。
如图2中所示，障碍物呈现系统1包括图像捕获设备20、雷达设备30、传感器40、图像处理设备10、以及显示设备50。
2.1图像捕获设备
图像捕获设备20例如具有多个车载摄像机20a至20d，所述车载摄像机具有诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)之类的图像捕获元件。图像捕获设备20将由车载摄像机20a至20d捕获的被捕获图像输出到图像处理设备10。
例如，如图3中所示，车载摄像机20a被布置在车辆C的前部，并且车载摄像机20b被布置在车辆C的后部。此外，车载摄像机20c被布置在车辆C的右侧，并且车载摄像机20d被布置在车辆C的左侧。当相应成像方向是车辆的前部、后部、右侧、以及左侧时，车载摄像机20a至20d执行成像。此外，图3是示出图像捕获设备20的布置的一个示例的图。
此外，采用诸如鱼眼镜头之类的广角镜头作为车载摄像机20a至20d的镜头，并且车载摄像机20a至20d中的每一者具有大于或等于180度的视角。使用车载摄像机20a至20d，以使得能够对车辆C的整个外围执行成像。此外，如图3中所示的车载摄像机20a至20d的布置或数量是一个示例，并且并不限于此。只要能够捕获车辆C的环境的图像，车载摄像机的数量可以多于或少于四个。
2.2雷达设备
雷达设备30例如包括多个毫米波雷达30a至30d。如图3中所示，毫米波雷达30a至30d被布置在车辆C的前部，并且检测车辆C的前部存在的障碍物。雷达设备30检测位置信息，例如从车辆C到障碍物的距离或方位方向。雷达设备30将检测到的位置信息输出到图像处理设备10。
此外，如图3中所示的雷达设备30的布置或数量是一个示例，并且并不限于此。例如，还可以在车辆C的后部设置雷达设备，以便检测车辆C的后部的障碍物。此外，被布置在车辆C的前部的毫米波雷达的数量可以多于或少于四个。
2.3图像处理设备
如图2中所示的图像处理设备10对由图像捕获设备20捕获的被捕获图像执行坐标变换，以便生成虚拟视点图像。图像处理设备10将车辆C的移动预测线、车辆图像Pc、通知图像Ps等与虚拟视点图像合成，并且将其输出到显示设备50。
图像处理设备10是具有中央处理单元(CPU)、存储单元170等的微计算机。图像处理设备10例如安装在电子控制单元(ECU)中。
图像处理设备10的CPU例如读取并且执行存储在ROM中的程序，并且从而用作图像获取单元110、信息获取单元120、生成单元130、移动预测单元140、显示控制单元150、以及合成单元160。
此外，还可以合成诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的硬件的图像获取单元110、信息获取单元120、生成单元130、移动预测单元140、显示控制单元150、以及合成单元160中的至少一者或全部。
2.3.1图像获取单元
图像获取单元110按顺序获取由图像捕获设备20捕获的被捕获图像。由图像获取单元110获取的被捕获图像包括由图像捕获设备20的车载摄像机20a至20d(参见图3)捕获的被捕获图像。图像获取单元110将获取的被捕获图像输出到生成单元130。
2.3.2信息获取单元
信息获取单元120从雷达设备30获取位置信息，所述位置信息包括车辆C的周围存在的障碍物的检测到位置。信息获取单元120将获取的位置信息输出到显示控制单元150。
此外，信息获取单元120的位置信息的获取源并不限于雷达设备30。只要发现障碍物的位置，信息获取单元120便能够例如从基于获取的图像检测此类位置信息的(未示出的)检测设备来获取障碍物的位置信息。此外，图像处理设备10可以基于被捕获图像来检测障碍物的位置信息。
2.3.3生成单元
生成单元130针对由图像获取单元110获取的被捕获图像执行坐标变换过程，并且从而生成其中从任意虚拟视点观看车辆C的环境的虚拟视点图像。此外，通过随后描述的显示控制单元150的视点位置确定单元155确定此类虚拟视点。
例如，生成单元130将被捕获图像投影(映射)到预定投影面上作为坐标变换过程，并且在已被投影到预定投影面上的被捕获图像中，导致当从任意虚拟视点观看时包括在预定视角中的区域的图像成为虚拟视点图像。
例如，生成单元130存储一个表，该表指示包括在被捕获图像中的数据的位置与预定投影面的位置之间的对应关系，并且通过使用这样的表，将包括在被捕获图像中的数据投影到对应位置处的预定投影面上。
此类预定投影面例如具有基本半球形(例如，碗形)，其中其中央区域(例如，碗底部)在车辆C的某个位置处，并且车辆C的某个位置(例如，碗底部之外的部分)的外部对应于车辆C的环境的一个区域。此外，预定投影面不必是曲面，并且例如可以是平面。
生成单元130将生成的虚拟视点图像输出到合成单元160。
2.3.4移动预测单元
移动预测单元140基于传感器40的输出结果，预测车辆C的移动路线。移动预测单元140例如在车辆C的速度小于或等于预定值的情况下，预测车辆C的移动路线。传感器40例如包括检测转向角的转向传感器或者检测换挡状态的换挡传感器。
移动预测单元140基于换挡状态，预测车辆C的移动方向。例如，如果车辆C的换挡状态是“前进”，则移动预测单元140预测车辆C的移动方向是向前。
移动预测单元140基于转向角，预测车辆C的移动角度。例如，移动预测单元140在车辆C开始移动的情况下，从车辆C的转向角、度数和转弯半径等来预测移动角度。
移动预测单元140在车辆C开始移动的情况下，基于已被预测的移动方向和移动角度，对预测路线进行预测。移动预测单元140将预测路线输出到显示控制单元150。
2.3.5显示控制单元
显示控制单元150确定通过合成单元160与虚拟视点图像合成的图像，以使得控制在显示设备50上显示的显示图像。显示控制单元150确定将移动预测线、车辆图像Pc、通知图像Ps、以及指示雷达设备30的检测范围的范围图像中的至少一者与虚拟视点图像相合成。此外，显示控制单元150确定要被合成的图像的显示格式，例如显示颜色或存在或不存在着重显示。
显示控制单元150包括预测线确定单元151、范围图像确定单元152、通知图像确定单元153、车辆图像确定单元154、以及视点位置确定单元155。
在移动预测单元140对预测路线进行预测的情况下，预测线确定单元151确定将指示预测路线的移动预测线与虚拟视点图像相合成。例如，假设移动预测单元140预测车辆C向左转的路线。在此类情况下，预测线确定单元151确定将从车辆C的右前轮和左后轮延伸的移动预测线L1和L2与虚拟视点图像相合成，如图4中所示。
此外，图4是示出根据一个实施例的移动预测线L1和L2的一个示例的图。此外，如图4中所示的移动预测线L1和L2是示例，并且并不限于此。例如，预测线确定单元151可以确定将从左前轮和右前轮延伸的移动预测线与虚拟视点图像相合成。
范围图像确定单元152确定在显示设备50上显示指示雷达设备30的检测范围的范围图像R。显示控制单元150例如以这样的方式显示雷达设备30的检测范围：将检测范围分成四个范围，它们是范围Ra至Rd，如图5中所示。此外，范围Ra至Rd分别对应于毫米波雷达30a至30d的检测范围。
如图5中所示的范围图像R包括检测范围是车辆C的右前部的范围Ra以及检测范围是车辆C的左前部的范围Rb。图5中的范围图像R包括检测范围在范围Ra与Rb之间并且在范围Ra附近的范围Rc以及检测范围在范围Rb附近的范围Rd。此外，范围Rc和Rd的检测距离大于范围Ra和Rb的检测距离。
此外，图5是示出根据一个实施例的范围图像R的一个示例的图。如图5中所示的范围图像R是在雷达设备30检测到障碍物的情况下通知用户的范围，并且可以不同于雷达设备30能够实际检测到障碍物的范围。
即，显示控制单元150基于由信息获取单元120获取的位置信息，在此类障碍物包括在范围Ra至Rd内的情况下向用户通知障碍物。随后将通过使用图6描述此类情况。
此外，关于范围图像R的信息作为范围图像信息172被存储在存储单元170中。
此外，当确定显示范围图像R时，范围图像确定单元152确定范围图像R的显示格式。例如，范围图像确定单元152显示范围Ra至Rd的边界线以便显示雷达设备30的检测范围。
备选地，范围图像确定单元152可以使用具有预定透明度的黑色显示范围Ra至Rd，并且使用白色显示范围Ra至Rd的边界线。从而，用户能够更容易地识别检测范围。此外，当使用白色显示边界线时，可以向其中添加所谓的火炬状显示，其中径向执行显示并且在预定范围内朝着范围Ra至Rd的外部逐步减轻颜色。在此类情况下，突出边界线，以使得能够更清楚地确定范围Ra至Rd。
此外，对于如图5和图6中所示的区域Rc和Rd，可以导致除了外框线之外的区域的内部透明。在此类情况下，可以参考叠加在区域Rc或Rd上的障碍物。此外，可以向区域Rc和Rd的框线的颜色应用从中心到外框线的渐变。在此类情况下，能够容易地参考区域Rc和Rd的外部范围。此外，优选地尤其向范围Ra和Rb外部的部分应用透明度或渐变。这是因为此类部分容易叠加在障碍物上。
返回到图2。在信息获取单元120获取障碍物的位置信息的情况下，即，在障碍物存在于车辆C的环境中的情况下，通知图像确定单元153确定在显示设备50上显示通知图像Ps。
通知图像确定单元153基于由信息获取单元120获取的位置信息，确定在虚拟视点图像上存在障碍物的位置处显示通知图像Ps。
首先，通知图像确定单元153确定障碍物位于检测范围内的何处。具体地说，通知图像确定单元153将包括在检测图像中的范围Ra至Rd分成多个区域，并且确定哪个划分区域中存在障碍物。例如，在图6中，将范围Ra或Rb分成四个区域，并且将范围Rc或Rd分成五个区域。此外，图6是示出根据一个实施例的通知图像Ps的一个示例的图。
在此，障碍物位于范围Ra的区域Ra2和范围Rc的区域Rc3的每一者中，如图6中所示。此外，在图6中障碍物的位置由点S1和S2表示。在此类情况下，通知图像确定单元153将区域Ra2和区域Rc3确定为用于在其上显示通知图像Ps的区域。
例如，通知图像确定单元153确定将作为通知图像Ps的没有厚度的四边形板(表面)与虚拟视点图像三维地合成。在此，通知图像确定单元153例如三维地显示此类通知图像Ps，以便垂直于地面并且在区域Ra2或Rc3中面向车辆C。从而，通知图像确定单元153能够在虚拟视点图像上显示通知图像Ps，所述通知图像Ps执行在检测到障碍物的位置处存在障碍物的通知。
接下来，通知图像确定单元153基于障碍物的位置信息，确定通知图像Ps的显示格式。例如，通知图像确定单元153根据障碍物与车辆C之间的距离，改变通知图像Ps的显示颜色。
例如，当作为示例描述图6中的范围Ra时，在范围Ra的区域Ra1至Ra4中，在靠近车辆C的区域Ra1或Ra2中存在障碍物的情况下，通知图像确定单元153将通知图像Ps的显示颜色确定为红色作为高危险。此外，在远离车辆C的区域Ra3或Ra4中存在障碍物的情况下，通知图像确定单元153将通知图像Ps的显示颜色确定为黄色作为低危险。
在此，如上所述，在区域Ra2和Ra3中存在障碍物的情况下，通知图像确定单元153将在区域Rc3中显示的通知图像Ps的显示颜色确定为黄色，因为区域Rc3远离车辆C。另一方面，通知图像确定单元153将在区域Ra2中显示的通知图像Ps的显示颜色确定为红色，因为区域Ra2靠近车辆C。
在此，例如，范围图像确定单元152可以将包括区域Ra2的范围Ra的显示颜色确定为与通知图像Ps的显示颜色相同的红色。从而，能够向用户通知存在高危险的障碍物以便增加对其的关注程度。
此外，在此基于障碍物的距离，改变通知图像Ps的显示颜色，并且并不限于此。根据障碍物的距离(即，其危险)改变通知图像Ps的显示格式便足够。例如，可以基于障碍物的距离，改变通知图像Ps的灰度。在此类情况下，通知图像确定单元153例如显示通知图像Ps，以便随着与障碍物的距离的增加而变淡。
备选地，可以基于障碍物的距离，改变通知图像Ps的高度。在此类情况下，通知图像确定单元153导致通知图像Ps的高度(其在垂直于地面的方向上的长度)随着与障碍物的距离的增加而减小。
此外，在障碍物的距离较小的情况下，通知图像确定单元153可以使通知图像Ps闪烁和显示，显示轮廓线以使其变厚等，以使得着重显示通知图像Ps。
此外，通知图像Ps在此是没有厚度的四边形板(表面)，并且通知图像Ps的形状不限于此。例如，通知图像Ps可以是具有预定厚度的立体图像。例如，通知图像确定单元153可以导致具有区域Ra2(参见图6)作为底面和预定高度的立方体成为通知图像Ps。在此类情况下，区域Ra2可以在某个范围内延伸，在该范围内，能够确定比实际区域Ra2的底面更好的检测水平。从而，能够更容易地识别通知图像Ps。
返回到图2。车辆图像确定单元154确定与虚拟视点图像合成的车辆图像Pc。例如，在信息获取单元120未获取障碍物的位置信息(即，车辆C的环境中不存在障碍物)的情况下，车辆图像确定单元154确定指示车辆C的外观的车辆图像Pc被与虚拟视点图像相合成。
在不存在障碍物的情况下与虚拟视点图像合成的车辆图像Pc是车辆C不透明的图像，并且例如可以是包括模拟车辆C的多边形的图像、或者捕获车辆C的外观图像的被捕获图像。
另一方面，在车辆C的环境中存在障碍物的情况下，车辆图像确定单元154确定其中车辆C的至少一部分透明的车辆图像Pc。
将通过使用图7A和图7B描述由车辆图像确定单元154确定的车辆图像Pc。图7A是示出根据一个实施例的车辆图像Pc的一个示例的图，并且图7B是示出如图7A中所示的车辆图像Pc的一部分的放大图。
如图7A中所示，在存在障碍物的情况下与虚拟视点图像合成的车辆图像Pc是其一部分透明的图像。在图7A中，车辆C的前部具有高透明度，以使得透明地观看其背景，而朝着车辆C的后部减小透明度，以使得呈现车辆C而不会导致背景透明。
因此，即使在车辆C前部的障碍物被显示为此类通知图像Ps的情况下，也通过渐变导致车辆图像Pc的一部分透明，以使得通知图像Ps不被车辆图像Pc所隐藏。从而，用户能够更容易独立于虚拟视点的位置、车辆图像Pc的位置等来确认障碍物。随后将通过使用图8描述此类情况。
此外，即使在导致车辆图像Pc的一部分透明的情况下，也不会导致车辆C的轮廓线透明，如图7A中所示。从而，即使在导致车辆图像Pc的一部分透明的情况下，也能够容易地确认车辆C与障碍物之间的来回关系(back-and-forth relationship)。随后将通过使用图8描述此类情况。
此外，包括在车辆图像Pc中的车辆C的轮廓线由多条线表示。例如，如图7B中所示，轮廓线是具有浅色和深色的双色线。此外，图7B是图7A中的一部分R1被放大的放大图。
例如，向车辆图像Pc的轮廓中添加颜色依赖于车辆C的车身颜色的辅助线，以使得能够通过具有不同亮度的多条线表示轮廓线。具体地说，例如，在车身颜色是诸如白色或灰色之类的浅色的情况下，通过具有黑色的辅助线绘制轮廓线。此外，例如，在车身颜色是诸如蓝色或黑色之类的深色的情况下，通过具有白色的辅助线绘制轮廓线。
从而，例如，还在白天等背景色较淡的情况下，或者在夜晚等背景色较深的情况下，用户能够容易地识别车辆图像Pc的轮廓线。
此外，如图7A中所示的车辆图像Pc是一个示例，并且并不限于此。例如，在从车辆C的前部观察车辆C后部的车辆图像Pc的情况下，提供车辆C的后部透明的车辆图像Pc。因此，车辆图像确定单元154根据存在或不存在障碍物以及虚拟视点的位置，确定障碍物与车辆C重叠的部分透明的车辆图像Pc。此外，车辆图像Pc例如作为车辆图像信息171被存储在存储单元170中。
返回到图2。视点位置确定单元155基于来自移动预测单元140的预测路线，确定在显示设备50上显示的虚拟视点图像的虚拟视点位置。
例如，在移动预测单元140预测车辆C左转的情况下，视点位置确定单元155确定在车辆C的左后侧上方的虚拟视点位置。此外，在车辆C右转的情况下，视点位置确定单元155确定在车辆C的右后侧上方的虚拟视点位置。
2.3.6.合成单元
合成单元160根据显示控制单元150的确定，将移动预测线L1和L2等与由生成单元130生成的虚拟视点图像相合成，以便生成合成图像。合成单元160根据存在或不存在障碍物来生成合成图像。
例如，在障碍物存在于车辆C的环境中的情况下，合成单元160将移动预测线L1和L2、范围图像R、通知图像Ps、以及车辆图像Pc与虚拟视点图像相合成。在此类情况下，合成单元160首先将移动预测线L1和L2、范围图像R、以及通知图像Ps与虚拟视点图像相合成。
例如，在由预测线确定单元151确定的移动预测线L1和L2是从正上方观看车辆C而提供的线的情况下(如图4中所示)，合成单元160对移动预测线L1和L2执行坐标变换，以便改变为从虚拟视点观看的移动预测线L1和L2并且叠加在虚拟视点图像上。
此外，合成单元160例如基于存储在存储单元170中的范围图像信息172，将范围图像R与虚拟视点图像相合成。在此，在存储在存储单元170中的范围图像信息172是从正上方观看的检测范围的情况下(参见图5)，合成单元160对范围图像信息172执行坐标变换，以便生成从虚拟视点观看检测范围的范围图像R并将范围图像R叠加在虚拟视点图像上。同样，合成单元160还将通知图像Ps变换成从虚拟视点观看的图像并且将该图像叠加在虚拟视点图像上。
此外，移动预测线L1和L2等在此经历坐标变换并且被叠加在虚拟视点图像上，并且并不限于此。例如，在从虚拟视点观看的范围图像信息172被预先存储在存储单元170中之类的情况下，不必执行坐标变换。
合成单元160将移动预测线L1和L2等与虚拟视点图像相合成，并且随后基于存储在存储单元170中的车辆图像信息171，例如由于色度键(chroma key)而将车辆图像Pc与虚拟视点图像合成，以便生成合成图像。在此类情况下，合成单元160将至少一部分透明的车辆图像Pc叠加在虚拟视点图像上。
图8示出由合成单元160生成的合成图像的一个示例。图8是示出根据一个实施例的由合成单元160生成的合成图像的一个示例的图。在图8的示例中，合成单元160生成从左斜后方观看车辆C的合成图像P4和从正上方观看车辆C的概览图像P5。例如，合成单元160将其中合成图像P4被与概览图像P5合成的显示图像P6输出到显示设备50。
如图8中所示，将概览图像P5与车辆图像Pc、移动预测线L1和L2、以及范围图像R相合成。在此，在车辆C的右前部存在两个障碍物(参见图6)。例如，在概览图像P5上显示的范围图像R中，区域Ra2填充红色，并且范围Ra由红线显示。此外，例如，区域Rc3填充黄色。
此外，如图8中所示，将合成图像P4与车辆图像Pc、移动预测线L1和L2、范围图像R、以及通知图像Ps1和Ps2相合成。在此，在车辆C的右前部存在障碍物，并且因此，将车辆图像Pc叠加在通知图像Ps1和Ps2上，而车辆图像Pc透明，并且因此，用户能够容易地确认通知图像Ps1和Ps2。
此外，在图8中，通知图像Ps1和Ps2的一部分(图8中的中央区域)透明。因此，导致通知图像Ps1和Ps2的至少一部分透明，以使得用户能够容易地确认移动预测线L1。此外，可以向通知图像Ps1和Ps2的框线的颜色应用从中心到外框线的渐变。在此类情况下，能够容易参考通知图像Ps1和Ps2的外部范围。图1B中的通知图像Ps也与此类似。
此外，在图8中，通知图像Ps1和Ps2由垂直于地面的表面表示。因此，通知图像Ps1和Ps2被三维地表示，以使得用户能够更容易地识别障碍物的位置。
在此，如上所述，导致车辆图像Pc的一部分透明，但不导致车辆图像Pc的轮廓线透明。从而，很明显，通知图像Ps1和Ps2存在于车辆图像Pc的后面，以使得用户能够更容易地确认障碍物与车辆C之间的位置关系。
另一方面，在车辆C的周围不存在障碍物的情况下，合成单元160将移动预测线L1和L2、范围图像R、以及车辆图像Pc与虚拟视点图像相合成，以便生成(未示出的)合成图像。在此类情况下，合成单元160例如基于存储单元170中的车辆图像信息171，将不透明的车辆图像Pc与虚拟视点图像相合成。
因此，根据是否检测到障碍物来改变车辆图像Pc的透明度，以使得在存在障碍物的情况下，能够向用户呈现障碍物与车辆C之间的位置关系。
2.3.7.存储单元
返回到图2。存储单元170存储在图像处理设备10的每个单元的过程中使用的信息，例如车辆图像信息171或范围图像信息172。此外，存储单元170存储每个单元的过程的结果。
存储单元170例如包括RAM或HDD。例如，RAM或HDD能够存储各种类型的程序等的信息，具体取决于由图像处理设备10的每个单元执行的过程。此外，图像处理设备10可以通过借助有线或无线网络连接的另一个计算机或便携式记录介质，获取各种类型的程序等的信息。
2.4.显示设备
显示设备50例如是安装在车辆C上的显示器。显示设备50显示由图像处理设备10生成的显示图像。例如，在(未示出的)导航设备安装在车辆C上的情况下，显示设备50可以是包括在此类导航设备中的显示器。
3.图像生成过程
接下来，将通过使用图9描述根据一个实施例的由图像处理设备10执行的图像生成过程的处理步骤。图9是示出根据一个实施例的由图像处理设备10执行的图像生成过程的处理步骤的流程图。
例如在车辆C以预定速度或更小速度向前移动时执行右转或左转的情况下，图像处理设备10重复执行图9中的图像生成过程。
图像处理设备10例如以恒定间隔执行图9中的图像生成过程，以便图像捕获设备20捕获被捕获图像。此外，图像处理设备10执行图像生成过程的间隔并不限于此类恒定间隔。图像处理设备10可以例如在每次获取多个被捕获图像时(即，以长于此类恒定间隔的时段)执行图像生成过程。
如图9中所示，图像处理设备10首先从图像捕获设备20获取被捕获图像(步骤S101)。图像处理设备10基于获取的被捕获图像，生成虚拟视点图像(步骤S102)。
然后，图像处理设备10根据信息获取单元120是否获取位置信息，判定是否检测到障碍物(步骤S103)。在没有检测到障碍物的情况下(步骤S103处的“否”)，图像处理设备10转到步骤S105。
另一方面，在检测到障碍物的情况下(步骤S103处的“是”)，图像处理设备10在所检测到的障碍物位置处将通知图像Ps与虚拟视点图像相合成(步骤S104)。随后，图像处理设备10将范围图像R与虚拟视点图像相合成(步骤S105)，并且将移动预测线L1和L2与虚拟视点图像相合成(步骤S106)。
图像处理设备10将车辆图像Pc与虚拟视点图像相合成以便生成合成图像(步骤S107)。图像处理设备10在显示设备50上显示所生成的合成图像(步骤S108)。
此外，只要图像处理设备10根据存在或不存在障碍物，将通知图像Ps、范围图像R、以及移动预测线L1和L2中的至少一者与虚拟视点图像相合成，便能够改变步骤S104至步骤S106处的过程顺序或者可以省略它们。
如上所述，根据一个实施例的障碍物呈现系统1在显示设备50上显示合成图像，在该合成图像中，将车辆图像Pc和通知图像Ps与虚拟视点图像相合成。在此，在检测到障碍物的位置处将通知图像Ps与虚拟视点图像相合成，以使得用户能够容易地确认障碍物的位置。
4.效果
根据上述实施例的图像处理设备10包括图像获取单元110、信息获取单元120、生成单元130、以及合成单元160。图像获取单元110获取被捕获图像，其中由图像捕获设备20捕获车辆C的环境的图像。信息获取单元120获取关于车辆C的环境中存在的障碍物的所检测到的位置的信息。生成单元130基于由图像获取单元110获取的被捕获图像，生成虚拟视点图像，在所述虚拟视点图像中，从虚拟视点观看车辆C的环境。合成单元160将提供在检测到的位置处存在障碍物的通知的通知图像Ps与虚拟视点图像相合成，并且将车辆图像Pc与虚拟视点图像相合成。
从而，用户能够更容易地识别障碍物。
根据上述实施例的图像处理设备10的合成单元160导致通知图像Ps的至少一部分透明，并且将所述通知图像Ps与所述虚拟视点图像合成。
从而，即使在将通知图像Ps叠加在移动预测线L1或L2等上并与它们一起显示的情况下，用户也能够更容易地识别移动预测线L1或L2等。
根据上述实施例的图像处理设备10的合成单元160将车辆C的至少一部分透明的车辆图像Pc与虚拟视点图像相合成。
从而，即使在将车辆图像Pc叠加在通知图像Ps上并与其一起显示的情况下，用户也能够更容易地识别障碍物。
根据上述实施例的图像处理设备10的合成单元160将轮廓线不透明的车辆图像Pc与虚拟视点图像相合成。
从而，即使在将车辆图像Pc叠加在近侧显示的通知图像Ps上并与其一起显示的情况下，也容易地识别，以使得能够更容易地识别车辆C与障碍物之间的位置关系。
根据上述实施例的图像处理设备10的合成单元160将使用具有不同亮度的多条轮廓线呈现的车辆图像Pc与虚拟视点图像相合成。
从而，用户能够容易地独立于虚拟视点图像的背景颜色来识别车辆图像Pc的轮廓线。
根据上述实施例的图像处理设备10的合成单元160将三维地显示的通知图像Ps与虚拟视点图像相合成。
从而，能够立体地识别通知图像Ps，以使得能够更容易地识别车辆C与障碍物之间的位置关系。
根据上述实施例的图像处理设备10的信息获取单元120从检测障碍物的检测设备(雷达设备30)获取关于所检测到的位置的信息。合成单元160将指示检测设备(雷达设备30)的检测范围的范围图像R与所述虚拟视点图像相合成。
从而，用户能够识别检测设备的检测范围，以使得能够容易地确认是否检测到障碍物。
根据上述实施例的图像处理设备10的合成单元160以火炬状形状显示指示检测范围的范围图像R的外框，并且将所述范围图像R与虚拟视点图像相合成。
从而，用户能够更容易地识别检测设备的检测范围。
根据上述实施例的图像处理设备10的生成单元130生成从车辆C的后部的上侧观看车辆C的虚拟视点图像。
从而，即使在用户执行参与确认的情况下，也能够向用户呈现所检测到的障碍物。
根据上述实施例的图像处理设备10进一步包括显示控制单元150，其以这样的方式控制合成单元160，使得：根据所检测到的位置着重显示通知图像Ps。
从而，在障碍物靠近车辆C并且处于高危险的情况下，也能够更可靠地向用户呈现障碍物。

Claims (13)

1.一种图像处理设备，包括：
图像获取单元，其获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像；
信息获取单元，其获取关于所述车辆的环境中存在的障碍物的检测到的位置的信息；
生成单元，其基于由所述图像获取单元获取的所述被捕获图像来生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看；以及
合成单元，其将提供在所述检测到的位置处存在所述障碍物的通知的通知图像与所述虚拟视点图像相合成，并且将车辆图像与所述虚拟视点图像相合成。
2.根据权利要求1所述的图像处理设备，其中所述合成单元导致所述通知图像的至少一部分透明，并且将所述通知图像与所述虚拟视点图像相合成。
3.根据权利要求1或2所述的图像处理设备，其中所述合成单元将所述车辆的至少一部分透明的车辆图像与所述虚拟视点图像相合成。
4.根据权利要求1或2所述的图像处理设备，其中所述合成单元将轮廓线不透明的车辆图像与所述虚拟视点图像相合成。
5.根据权利要求1或2所述的图像处理设备，其中所述合成单元将使用具有不同亮度的多条轮廓线呈现的车辆图像与所述虚拟视点图像相合成。
6.根据权利要求1或2所述的图像处理设备，其中所述合成单元将三维地显示的通知图像与所述虚拟视点图像相合成。
7.根据权利要求1或2所述的图像处理设备，其中：
所述信息获取单元从检测所述障碍物的检测设备获取关于所述检测到的位置的信息；以及
所述合成单元将指示所述检测设备的检测范围的范围图像与所述虚拟视点图像相合成。
8.根据权利要求7所述的图像处理设备，其中所述合成单元以火炬状形状显示指示所述检测范围的范围图像的外框，并且将所述范围图像与所述虚拟视点图像相合成。
9.根据权利要求1或2所述的图像处理设备，其中所述生成单元生成从所述车辆的后部的上侧观看所述车辆的虚拟视点图像。
10.根据权利要求1或2所述的图像处理设备，进一步包括
显示控制单元，其以这样的方式控制所述合成单元，使得：根据所述检测到的位置着重显示所述通知图像。
11.一种图像处理设备，包括：
图像获取单元，其获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像；
生成单元，其基于由所述图像获取单元获取的所述被捕获图像来生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看；以及
合成单元，其将所述车辆的至少一部分透明的车辆图像与所述虚拟视点图像相合成。
12.根据权利要求11所述的图像处理设备，其中所述合成单元将轮廓线不透明的车辆图像与所述虚拟视点图像相合成。
13.一种图像处理方法，包括：
获取被捕获图像，其中由图像捕获设备捕获车辆的环境的图像；
获取关于所述车辆的环境中存在的障碍物的检测到的位置的信息；
基于所述被捕获图像生成虚拟视点图像，在所述虚拟视点图像中，所述车辆的环境被从虚拟视点观看；以及
将提供在所述检测到的位置处存在所述障碍物的通知的通知图像与所述虚拟视点图像相合成，并且将车辆图像与所述虚拟视点图像相合成。
CN201711395617.8A 2017-01-04 2017-12-21 图像处理设备和图像处理方法 Pending CN108268833A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017000226A JP2018110328A (ja) 2017-01-04 2017-01-04 画像処理装置および画像処理方法
JP2017-000226 2017-01-04

Publications (1)

Publication Number Publication Date
CN108268833A true CN108268833A (zh) 2018-07-10

Family

ID=62568055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711395617.8A Pending CN108268833A (zh) 2017-01-04 2017-12-21 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US10750093B2 (zh)
JP (1) JP2018110328A (zh)
CN (1) CN108268833A (zh)
DE (1) DE102017127248B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170081A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018181534A1 (ja) * 2017-03-31 2018-10-04 住友建機株式会社 ショベル、ショベルの表示装置及びショベルにおける画像の表示方法
JP7283059B2 (ja) 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
KR102175947B1 (ko) * 2019-04-19 2020-11-11 주식회사 아이유플러스 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치
JP7443705B2 (ja) * 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
JP7298456B2 (ja) * 2019-11-29 2023-06-27 トヨタ自動車株式会社 車両用表示制御装置、車両用表示制御方法、及び車両用表示制御プログラム
JP7491194B2 (ja) * 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094110A1 (en) * 2000-05-09 2002-07-18 Tsuyoshi Okada Driving assistance apparatus
US20040105579A1 (en) * 2001-03-28 2004-06-03 Hirofumi Ishii Drive supporting device
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
US20100259372A1 (en) * 2009-04-14 2010-10-14 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
JP2012188057A (ja) * 2011-03-14 2012-10-04 Panasonic Corp 表示装置
US20130093851A1 (en) * 2011-10-13 2013-04-18 Aisin Seiki Kabushiki Kaisha Image generator
CN103692973A (zh) * 2012-09-27 2014-04-02 富士通天株式会社 图像生成装置、图像显示系统、以及图像生成方法
WO2016158265A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械
CN106169061A (zh) * 2015-05-21 2016-11-30 富士通天株式会社 图像处理设备和图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2010016805A (ja) * 2008-06-04 2010-01-21 Sanyo Electric Co Ltd 画像処理装置、運転支援システム、及び画像処理方法
JP2010093567A (ja) 2008-10-08 2010-04-22 Panasonic Corp 画像処理装置
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP2010283718A (ja) 2009-06-08 2010-12-16 Alpine Electronics Inc 車両周辺画像提供装置
JP5071743B2 (ja) 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
JP5750344B2 (ja) 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
JP6014433B2 (ja) 2012-09-19 2016-10-25 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
DE102013016244A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
WO2015125979A1 (ja) * 2015-04-28 2015-08-27 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094110A1 (en) * 2000-05-09 2002-07-18 Tsuyoshi Okada Driving assistance apparatus
US20040105579A1 (en) * 2001-03-28 2004-06-03 Hirofumi Ishii Drive supporting device
JP2004240480A (ja) * 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
US20100259372A1 (en) * 2009-04-14 2010-10-14 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
JP2012188057A (ja) * 2011-03-14 2012-10-04 Panasonic Corp 表示装置
US20130093851A1 (en) * 2011-10-13 2013-04-18 Aisin Seiki Kabushiki Kaisha Image generator
CN103692973A (zh) * 2012-09-27 2014-04-02 富士通天株式会社 图像生成装置、图像显示系统、以及图像生成方法
WO2016158265A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械
CN106169061A (zh) * 2015-05-21 2016-11-30 富士通天株式会社 图像处理设备和图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170081A (zh) * 2018-12-11 2021-07-23 索尼集团公司 图像处理装置、图像处理方法和图像处理系统
US12296749B2 (en) 2018-12-11 2025-05-13 Sony Group Corporation Image processing apparatus, image processing method, and image processing system

Also Published As

Publication number Publication date
JP2018110328A (ja) 2018-07-12
US20180191960A1 (en) 2018-07-05
DE102017127248A1 (de) 2018-07-05
US10750093B2 (en) 2020-08-18
DE102017127248B4 (de) 2023-11-30

Similar Documents

Publication Publication Date Title
CN108268833A (zh) 图像处理设备和图像处理方法
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
CN103692973B (zh) 图像生成装置、图像显示系统、以及图像生成方法
CN103988499B (zh) 车辆周边监视装置
CN106464847B (zh) 影像合成系统和用于其的影像合成装置与影像合成方法
JP5208203B2 (ja) 死角表示装置
CN101107556B (zh) 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置
US10930070B2 (en) Periphery monitoring device
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP5516998B2 (ja) 画像生成装置
JP5715778B2 (ja) 車両用画像表示装置
WO2012169355A1 (ja) 画像生成装置
JPWO2010137265A1 (ja) 車両周囲監視装置
JP2008205914A (ja) 画像処理装置
JP2013207637A (ja) 画像処理装置及び方法、並びにコンピュータプログラム
JP2016063390A (ja) 画像処理装置、及び画像表示システム
CN104735403A (zh) 车用障碍物侦测显示系统
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
JP5067136B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
WO2013157184A1 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2010283718A (ja) 車両周辺画像提供装置
CN108267738B (zh) 图像处理设备和图像处理方法
US12505568B1 (en) Generating 3D visualization on 3D display utilizing 3D point cloud from multiple sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220111

Address after: Aichi Prefecture, Japan

Applicant after: DENSO Corp.

Applicant after: Toyota Motor Corp.

Address before: Japan Hyogo Prefecture

Applicant before: DENSO TEN LTD.

Applicant before: Toyota Motor Corp.

TA01 Transfer of patent application right