[go: up one dir, main page]

CN1295656C - 图像合成装置 - Google Patents

图像合成装置 Download PDF

Info

Publication number
CN1295656C
CN1295656C CNB021030774A CN02103077A CN1295656C CN 1295656 C CN1295656 C CN 1295656C CN B021030774 A CNB021030774 A CN B021030774A CN 02103077 A CN02103077 A CN 02103077A CN 1295656 C CN1295656 C CN 1295656C
Authority
CN
China
Prior art keywords
vehicle
image
trajectory
line
image synthesizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB021030774A
Other languages
English (en)
Other versions
CN1371079A (zh
Inventor
饭田亮介
水泽和史
三轮道雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1371079A publication Critical patent/CN1371079A/zh
Application granted granted Critical
Publication of CN1295656C publication Critical patent/CN1295656C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Vehicle Body Suspensions (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明揭示一种图象合成装置，在变换成象在虚拟视点拍摄的图象上，通过将辅助图象重迭在监视器上显示，提示能很容易地从监视器图象类推靠近周围立体物体那样的图象。该图象合成装置包括装在车辆上的摄像装置101、对摄像装置101拍摄的图象作视点变换图象合成的视点变换图象合成装置102、生成车辆在直线行驶时车辆任意高度轨轨迹线的车辆直行轨迹线生成装置103、及将车辆直行轨迹线生成装置103生成的轨迹线描画在所述视点变换图象合成装置102合成的图象上的车辆轨迹线描画装置104。

Description

图像合成装置
技术领域
本发明涉及图像合成装置，特别是有关将多台装在汽车上的摄像装置摄得的图像作视点变换合成为来自虚拟视点的图像，向驾驶者提示汽车周围的图像，适合于帮助驾驶者在诸如停车等行驱时所用的图像合成装置。
背景技术
过去，作为这种图像显示装置所知道的是，根据“用于一条道路表面模型的虚拟视点图像合成原理(The Principle of virtual viewpoint imagesynthesis using a road surface model)”(第7届ITS世界会议)将摄像机的实摄图像作视点变换成恰如从虚拟视点拍摄的图像，在监视器上进行显示的装置。另外，根据第2610146号专利，可知是将与车辆的转向角传感器检测出的转向角对应的倒退预测轨迹重迭在车载摄像机图像上的装置。
但是，在以往的图像显示装置中存在如下的问题，即将倒退预测轨迹重迭在变换成如在虚拟视点拍摄的图像上并在监视器上显示时，到周围的立体物体的距离靠监视器上的图像易误解成比实际距离大。
以下，利用附图说明之。在图30，在监视器图像中，自己的车辆的插图2401看上去和其它车辆的距离好像还相距甚远。但实际上如图31所示：自己的车辆2401和其它车辆2402正相当接近，这是因根据变换成虚拟视点，如保险杠(bump)那样不在地上的物体在变换后的图像上投影到此实际位置还要远离摄像机的位置向引起的。
发明内容
本发明为解决前述以往的技术问题，提供一种图像合成装置，将辅助图像重叠在变换成如虚拟视点拍摄到的图像上，并在监视器上显示，能够提示从监视器图像容易地推断向周围物体接近的图像。
本发明的图像合成装置，包括固定在路面车辆上的摄像装置，所述摄像装置获取从该摄像装置的视点处看到的周围物体原始图像，变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像，在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置，和车辆轨迹线描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的合成图像上的轨迹线。根据该构成，生成自己车辆的任意高度的轨迹线，就能在由视点变换所得的合成图像上显示，所以能在前述合成图像上描画自己车辆的立体轨迹。因此，通过使自己车辆的轨迹和在视点变换图像合成时产生的周围立体物体的畸变一样地变形，就容易捕捉到周围与自己车的预想轨迹的三维位置关系，提高目视识别能力，能容易地进行自己车辆和周围立体物体的接触判定。
此外，本发明的图像合成装置还包括装在车上的摄像装置，对由前述摄像装置摄得的图像作视点变换合成图像的视点变换图像合成装置，从前述车辆生成任意位置的辅助线的辅助线生成装置，及在由前述视点变换图像合成装置合成的图像上，描绘由前述辅助线生成装置生成的辅助线的辅助线描绘装置。根据该构成，从自己车辆开始生成任意的辅助线，在由视点变换得到的合成图像上显示，所以在合成图像上引一根成为距离的大致标准的辅助线，就能使驾驶者在行驶时容易地掌握和后方驶近车辆的距离。
再有，本发明的图像合成装置为还包括装在车辆上的摄像装置，对由前述摄像装置摄得的图像作视点变换合成图像的视点变换图像合成装置，存储预定装置的存储装置，及在由前述视点变换图像合成装置合成的图像，根据从前述存储装置读出的数据，将规定的辅助数据重迭上的描绘装置，前述摄像装置装置成可将前述车辆的尾部收纳在其视野内，前述视点变换图像合成装置包括前述车辆的图像在内作视点变换合成。根据该构成，能向驾驶者提示自己车辆尾部图像的变换，合成结果，所以就能容易地作出自己车辆和车辆周围的立体物的接触判定。
本发明的图像显示装置包括图像合成装置，包括固定在路面车辆上的摄像装置，所述摄像装置获取从该摄像装置的视点处看到的周围物体原始图像、变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像、在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置、和车辆轨迹描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的合成图像上的轨迹线，显示装置，显示由所述图像合成装置在所述平面上描画出的合成图像和轨迹线图像的组合图像，和显示数据变换装置，将须显示的所述组合图像变换成与所述显示装置相适应的数据。根据该构成，能在显示装置上显示由摄像装置摄得的图像或合成图像，能供操作者易于掌握周围的状况，与汽车的位置关系等。
此外，本发明的图像取得警告装置包括探测装置，探测将要连接车辆的连接对象物的接近状况；图像合成装置，包括固定在所述车辆和/或所述连接对象物上的摄像装置，所述摄像装置获取从该摄像装置的视点处看到的周围物体原始图像，变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像，在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置，和车辆轨迹线描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的合成图像上的轨迹线；以及警告装置，从由所述探测装置得到的所述接近状况和/或所述图像合成装置合成图像中的所述车辆和所述连接对象物的关系发出警告信号。
根据该构成，在向车体后部连接对象物时，与连接对象物的靠近相对应，通过与接近的状态相对应发出警告信息，从而能唤起操作者的注意。此外，在连接结束时，也能确认结束状态。
另外，本发明的自己车位辨认判别装置包括图像合成装置，具备固定在路面车辆上的多台摄像装置，包括拍摄所述车辆后方周围物体的原始图像的后方摄像装置，变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像、在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置、及车辆轨迹线描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的图像上的轨迹线；图像检测装置，从所述后方摄像装置摄的原始图像或所述图像合成装置生成的合成图像中检测出任意对象的图像；辩认装置，辩认所述图像检测装置检测出的图像和所述车辆的图像间的位置关系；和比较装置，将所述辩认装置辩认出的位置关系与预定的位置关系作比较，从这些位置关系检测出两者间的偏移量。
根据该构成，能在显示装置上显示由摄像装置摄得的图像或合成图像，能供操作者诸如掌握周围的状况，尤其是从任意设定的对象物的图像掌握对象物(包括对象显示)的位置，容易掌握与汽车的位置关系。
附图说明
图1表示本发明第1实施形态的图像合成装置构成的方框图。
图2为说明由图1的图像合成装置所得的自上垂直向下所见的合成图像和轨迹线的图。
图3为说明图1中任意高度的轨迹线运算装置103B构成用的方框图。
图4为说明图1中任意高度的轨迹线运算装置103B处理流程图。
图5为详细说明图2轨迹线图。
图6为说明由图1的图像合成装置所得的后方全景合成图像和轨迹线用的图。
图7为表示本发明的第2实施形态的图像合成装置构成的方框图。
图8为用于说明图7中任意高度的轨迹线运算装置502B构成的方框图。
图9为说明由图7的图像合成装置所得的自后方垂直向下看到的合成图像和轨迹线的图。
图10为说明由图7的图像合成装置所得的自后方看到的合成图像和轨迹线的图。
图11为说明由图7的图像合成装置所得的自上垂直向下看到的合成图像和轨迹线随看时间移动立体显示自己车辆的图。
图12为表示本发明的第3实施形态的图像合成装置的构成方框图。
图13为说明由图12的图像合成装置所得后方全景合成图像和轨迹线相撞处的重点显示的图。
图14为表示本发明的第4实施形态的图像合成装置的构成方框图。
图15为说明由图14的图像合成装置所得的多画面显示图像和轨迹线的图。
图16为表示本发明的第5实施形态的图像合成装置的构成方框图。
图17为说明由图16的图像合成装置所得的多画面显示图像和辅助线的图。
图18为表示本发明的第6实施形态的图像合成、显示装置的构成方框图。
图19为本发明的第6实施形态的图像合成、显示装置的摄像单元设置图
图20为本发明的第6实施形态的图像合成、显示装置的画面构成图。
图21为本发明的第7实施形态的图像合成、显示装置的画面构成图。
图22为本发明的第8实施形态的图像合成、显示装置的画面构成图。
图23为本发明的第9实施形态的图像合成、显示装置的画面构成图。
图24为本发明的第10实施形态的图像合成、显示装置的画面构成图。
图25为本发明的第11实施形态的图像合成、显示装置的画面构成图。
图26为本发明的第12实施形态的图像合成、显示装置的画面构成图。
图27为本发明的第13实施形态的图像合成、显示装置的画面构成图。
图28为本发明的第14实施形态的图像合成、显示装置的画面构成图。
图29为本发明的第15实施形态的图像合成、显示装置的画面构成图。
图30为以往的后方视场显示装置的画面构成图。
图31为说明以往的后方视场显示装置问题用的车辆置关系图。
具体实施方式
下面，参照附图对本发明的实施形态进行说明。
(第1实施形态)
图1为表示第1实施形态的图像合成装置的构成方框图。该图像合成装置由装在汽车上的摄像装置101、视点变换图像合成装置102、车辆直行轨迹线生成装置103、车辆轨迹线描画装置104构成。
摄像装置101由装在车辆的后部或者侧部的1台以上的摄像机构成，朝着车的后方。视点变换图像合成装置102通过输入一张以上由摄像装置101摄得的图像，输出从虚拟视点见到的图像。车辆直行轨迹线生成装置103通过输入自己车辆的大小及形状，视点变换时的摄像机参数，摄像装置101的摄像状况，输出自己车辆笔自倒退时的轨迹线。车辆直行轨迹线生成装置103具备路面上的轨迹线运算装置103A和经意高度的轨迹线运算装置103B，能输出自己车辆的任意位置的轨迹线，具备同时输出例如：路面上的轨迹，车辆的保险杠端的轨迹等功能。车辆轨迹线描画装置104将由车辆直行轨迹线生成装置103输出的自己车辆轨迹线重迭在由视点变换图像合成装置102所得的合成图像上并描画。再者，车辆轨迹线描画装置104的输出能给予图中未示出的显示装置而显示。
图2为将由摄像装置101所得的图像靠视点变换图像合成装置102合成从自己车辆的后方对看自己车辆的停放路面垂直向下看的图像，由车辆直行轨迹线生成装置103在合成图像上描画由车辆轨迹线描画装置104得到的自己车辆204的路面上的轨迹线201和距路面高度50cm位置的自己车辆的轨迹线202时的图。在合成图像上因为很容易了解立体物体是如何投影的，以对路面垂直的直线203连接路面上的轨迹线201和具有高度的轨迹线202。在此，自己车204的后方有第1辆其它的车205存在，在侧面有第2辆其它的车206存在。
图3为说明图1中任意高度的轨迹线运算装置103B的构成用的方框图。任意高度的轨迹运算装置103B由三维轨迹线合成装置103B-1三维轨迹线道路路面投影装置103B-2，合成图像投影装置103B-3构成。三维轨迹线生成装置103B-1具备生成在真实空间上的车辆任意高度的三维轨迹线的功能。三维轨迹线道路路面投影装置103B-2具备从安装在车上的摄像装置将由三维轨迹线生成装置103B-1生成的三维轨迹线投影到道路路面上的功能。合成图像投影装置103B-3具备将由三维轨迹线道路路面投影装置103B-2投影在道路路面上的轨迹线投影在合成图像上的功能。
图4为说明前述任意高度的轨迹线运算装置103B处理流程用的图。首先，由三维轨迹线生成装置103B-1，在三维空间上作为自己车辆的任意部分的轨迹线生成线段105。接着线段105由三维轨迹线道路路面投影装置103B-2从安装在车上的摄像装置投影在道路路面上的线段106上。然后，线段106由合成图像投影装置103B-3投影在合成图像上的线段107上，这样所得的线段107为在合成图像上的轨迹线。
图5为详细说明图2轨迹线用的图。如图5所示：设车辆的路面上的轨迹上的各点为a至h，离路面高度50cm的轨迹上的各点为A至H。
直线ab为表示自己车辆204的后端在路面上的位置的直线，直线cd为自己车辆204的后方1m的路面上的位置的直线，直线ef为表示自己车辆后方2m的路面上的位置的直线，gh为表示自己车辆后方3m的路面上的位置的直线。另外，直线AB为表示自己车辆204的后端高度50cm的直线，直线CD为表示自己车辆204后方1m的高度50cm的直线，直线EF为表示自己车辆204后方2m的高度50cm的直线，直线GH为表示自己车辆204后方3m的高度50cm的直线。因此，能认为直线Aa、Bb、Cc、Dd、Ee、Ff、Gg、Hh表示在路面的各个位置，长度50cm的棒对看路面垂直竖立时在合成图像上的像。
一旦如上述那样定下轨迹线，例如，在合成图像上长方形ABCD内的区域只表示道路面时，则可以说至少在以自己车辆宽度到后方1m为止区域不存在高度50cm以下的物体，反之，可以说：在长方形ABCD内表示路面以外的立体物体时，在以自己车辆宽度到后方1m为止区域有存在高度50cm以下的物体的可能性。
在此，图1的装置也能自由地改变描画轨迹线的颜色。例如：在离自己车辆1m的范围内能用红色线段表示，在1m至2m的范围内能用黄色的线段表示，2m至3m的范围内能用兰色的线段表示。此外，路面上的轨迹aceg及bdfh也能选得既黑又粗，就以直感地，易于知道自己车辆轮胎的轨迹。
另外，图1装置也能描画自己车辆保险杠高度的轨迹。从而使其也能持有如下的特征：当描画自己车辆保险杠高度的轨迹时，就会容易地判断合成图像上自己车辆的保险杠和周围物体的接触。
再有，图2描绘的轨迹线为到车后3m，也能描绘到任意距离的轨迹线。
图6为从由摄像装置101所得的图像通过视点变换图像合成装置102合成后方全景图像，在该合成图像上描有自己车辆的道路路面上的轨迹401，自己车辆保险杠端的轨迹402，和自己车辆车高的轨迹403的图像。通过描绘自己车辆的车高轨迹，从而具有易于领会与周围车辆距离感等的特点。
这样，采用本发明的第1实施形态，因能在视点变换合成图像上描画自己车辆的立体轨迹，驾驶者就能容易地进行自己车辆和周围立体物体的接触判定。
此外，通过用直线或曲线插入自己车辆路面上的轨迹线和任意高度的轨迹之间，也能在合成图像上表示对于路面垂直的线，自己车辆的轨迹线上的断面图。
例如想象用自己车上装的车厢连接器(挂钩)和货架车连接的情景，在货架车离开自己车辆的初始状态即将自己的车靠近货架车之际，根据显示出的自己车的预想轨迹，就很容易地找到如何靠近成为对象的货架车为好的方法，此外，在就要和货架车连接之前，通过视点变换，提供宛如从正上方看到的图像(平面投影)，就能正确地捕捉到彼此的挂钩间位置关系，靠以上的动作和使用方法，货架车和自己车就能方便地连接。
另外，无用多言。同样的优点在以下的情形时也是存在的，要将车停到有限的停车空间时，或要把握多条车道后方车辆的位置关系时，能够向驾驶者提供容易理解的图像。
再有，如上述的例子，若是预先知道保险杠的高度，挂钩的高度等最极限的部分的高度，就可根据驾驶者的指示描画其高度的轨迹线。
而且，通过描画保险杠的轨迹线能作出保险杠端的接触判定，通过在合成图像上描车车高的轨迹线也能直感地描画出易理解的轨迹线。
另外，通过根据离自己车辆的距离改变轨迹线的颜色，粗细来描画，能取得让驾驶者的注意力集中在自己车辆附近的效果。
本发明的第1实施形态的图像合成装置对于驾驶者能作为兼具明白地显示后方死角的安全性及在上述停车，连接时的便利性，性能优良的驾驶支援装置而被灵活利用。
(第2实施形态)
图7为表示第2实施形态的图像合成装置的方框图。在该图中，对与图1相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图像合成装置的构成为取代图1的图像合成装置中车辆直行轨迹生成装置103设置车辆转向角对应轨迹线生成装置502，再附加转向角信号输出装置501，将其输出输入车辆转向角对应轨迹线生成装置502，其它的构成要素具有和图1的装置相同的构成。
转向角信息输出装置501为输出自己车辆方向盘转向角的装置，车辆转向角对庆轨际线生成装置502将方向盘转向角作为输入，输出与其方向盘转向角对应的轨迹线的装置。车辆转向角对应轨迹线生成装置502具备路面上的轨迹线的运算装置502A和任意高度的轨迹线的运算装置502B，通过输入方向盘转向角、自己车辆的大小及形状、视点变换时摄像机参数、和摄像装置101的摄像状况，具备输出与自己车辆倒退时自己车辆的任意位置的转向角对应的轨迹线的功能。
图8为说明图7中任意高以轨迹线的运算装置508B构成用的方框图。任意高度的轨迹线运算装置502B由三维形状存储装置502B-1、三维轨迹区域生成装置502B-2、和道路路面投影装置502B-3、合成图像投影装置502B-4构成。三维形状存储装置502B-1能存储自己车辆的形状、自己车辆内接的长方体、自己车辆的一部分例如保险杠、车轮等形状。三维轨迹区域生成装置502B-2由三维形状存储装置502B-1存储的自己车辆的形状生成在自己车辆移动时通过的实际空间上的区域的功能，道路路面投影装置502B-3具有将由三维轨迹区域生成装置502B-2生成的三维区域投影在道路路面上的功能，合成图像投影装置502B-4具有将由道路路面投影装置502B-3生成的三维区域投影在合成图像上的功能。而且，由三维形状存储装置502B-1存储的形状也可以是自己车辆的某部分的一点，所以也可将由三维轨迹区域生成装置502B-2生成的区域做成三维的线段。
图9为在由视点变换图像合成图像上，描出与转向角信息对应的轨迹线。在此，车辆转向角对应轨迹线生成装置502中三维形状存储装置502B-1存储位于自己车辆后方角部离道路路面50cm的一点的三维位置。如该图所示：表示路面上的转向角对应轨迹线601和高度50cm的转向角对应轨迹线602。其特征在于：靠这样的显示，能很容易判定车辆的方向盘转多少就会碰到周围的立体物体，停车时能容易地避免与周围的立体物体相碰。
图10为将图7的装置应用在后方全景图像上。在此，显示在自己车辆的后方有两辆其它车辆、路面上的转向角对应轨迹线701、保险杠高度的转向角对应轨迹线702、以及车高的转向角对应轨迹线703。
图11为将自己车辆后退时的自己车辆的轮胎、保险杠等投影在路面上的轨迹描画在合成图像上的样子。在此，三维形状存储装置502B-1存储自己车辆的保险杠和车轮的形状，靠车辆转向角对应轨迹线生成装置502投影自己车辆204的车轮的凤影图像801和保险杠端的投影图像802。该投影图像以某个周期随着时间从自己车辆204的后端向后方移动。由此，在自己的车辆开动时，能直感、方便地捕捉到与周围物体的位置关系。尤其是在使劲转动方向盘时，轮胎的轨迹与保险杠的轨迹会因转弯半径的差而异，故如图8在合成图像上描画自己车辆的立体模型是相当有效的。
这样，利用本发明的第2实施形态，通过描画转向角对应的自己车辆的立体轨迹，就能容易地判定车辆的方向盘转多少将会碰到周围的立体物体，停车时容易地避开与周围的立体物体相碰。
还有，通过在图像上沿着轨迹线描画随着时间移动的物体使得自己车辆的断面、立体模远离自己车辆的后端，就能更容易判定与本物体的接触。
(第3实施形态)
图12为表示第3实施形态的图像合成装置构成的方框图。在该图中，和图7相同的构成要素或对应的要素注上与图7相同的的标号。
该图像合成装置为在图7的装置上增加与障碍物相预测装置901和与障碍物相撞物相撞重点显示装置902，其它的构成要素上人有和图7的装置同样的构成。
与障碍物相撞预测装置901为检测在自己车辆的周围存在的车辆等障碍物的装置。另外，车辆轨迹线描画装置104判定由与障碍物相撞预测装置901检测出的障碍物的位置和自己车辆的轨迹线将要相撞时，具有不描画该处的轨迹线的功能。与障碍物相撞重点显示装置902，在自己车辆的轨迹线将和障碍物相撞时，具备在合成图像上重点显示相撞部位的功能。
由这样的构成，图12的装置在预想轨迹线上有障碍物时，不会有在障碍物描画轨迹线这种不自然的感觉。在显示更易理解的预想轨迹线。
图13为由图12的装置得到的全景图像和轨迹线。在图13，存在于此障碍物更靠前的轨迹线的虚线部分1001不能描车在图像上，此外，通过如1002那样看重显示相撞部位，就能使驾驶者的注意力集中在相撞部位。
这样，采用本发明的第3实施形态，通过不在自己车辆周围的障碍物上描画轨迹线，能防止在本来就不能前进的进路上描画轨迹这种不自然现象的发生。能描画出对周围的状况更易理解的轨迹线。
此外，在预测出自己车辆将和障碍物相撞时，通过着重显示相撞部位，也能引起驾驶者的注意。
(第4实施形态)
图14为表示第4实施形态的图像合成装置构成的方框图。在该图中，与图7相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图像合成装置为在图7的图像合成装置上加了多画面生成装置1101，其它的构成要素具有和图7的装置同样的构成。但摄像装置101，为取得多画面生成用的图像，装在车辆的后部及两侧。
图15为表示装在车辆后部的摄像机、以装在车辆两侧的摄像机摄得的图像为基础由图14的图像合成装置所得的合成图像、及车辆轨迹线的附图。
用2/3左右的显示区域显示装在车辆后部的摄像机拍摄的图像，用余下的1/3左右区域显示装车辆两侧摄像机拍摄到的图像。面对于各画面，描画自己车辆的后方的轨迹线1201。另外，在朝看自己车辆侧面的摄像机的图像上也能描画自己车辆的前方角部的轨迹1202。在此，通过以相同的颜色显示在不同的画面间表示相同位置的轨迹线或自己车辆的边框，即使在不同的画面上，也能方便地取得自己车辆在相同位置的轨迹的对应。
这样，采用本发明的第4实施形态，因为将自己车辆后方的轨迹描在从两个以上的不同位置摄像机摄得的图像上，所以容易理解轨迹线的三维位置，并容易判定与周围障碍物的接触。
此外，通过以相同的颜色显示在不同的画面间表示相同位置的轨迹线或自己车辆的边框，即使不同的画面也能取得自己车辆在相同位置的轨迹的对应。
而且，也能使图14的装置具有让自己车辆的边框1203随着时间移动的功能。
(第5实施形态)
图16为表示第5实施形态的图像合成装置构成的方框图。在该图中，与图1相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图像合成装置在图1的图像合成装置上增加多画面生成装置1101，再将轨迹线生成装置103置换成辅助线生成装置1301、将车辆轨迹线描画装置104置换成辅助线描画装置1302，其它的构成要素具有和图1的装置相同的构成。
辅助线生成装置1301为在合成图像上例如生成自己车后10m和20m的位置导线的装置。而辅助线描画装置1302将由辅助线生成装置1301输出的辅助线重迭描画在由多画面生成装置1101所得的合成图像上。
图17为由图16的图像合成装置所得的合成图像。在此，表示自己车后10m的辅助线1401及辅助线1402就容易把握与从后方接近的车辆的距离。另外，也能如垂直投影在路面上的辅助线1403那样描车自己车辆后端的线。其特征在于：靠辅助线1403能很容易地判断想要超越自己车辆的其它车辆是在自己车的车尾后行驶、还是在自己车的侧面行驶，在变道时能方便地确认侧面车辆。再有，也能显示表示辅助线1401、1402、1403上的一般车辆车宽的辅助线1404。由此，从后面接近的车辆靠近某一刻度线，若该车的宽度变得大致和辅助线1403相同，就可知该车正在该辅助线附近行驶。
这样，根据本发明的第5实施形态，通过在合成车像上引距离的大致标准的辅助线，诸如在行驶时驾驶者就会容易地把握与从的玟接近的车辆的距离。
另外，通过在自己车辆的侧面摄到的图像或前述图像的合成图像上生成表示自己车辆后端位置的辅助线，就能容易了解侧面车辆的车头是在自己车尾的后面还是前面，在变道等时候相当有效。
还有，在这些辅助线上，通过描画表示一般车辆的辅助线，也能使把握与周围车辆的车距更加容易。
(第6实施形态)
图18为表示第6实施形态的图像合成。显示装置构成的方框图。该图像合成，显示装置由装在汽车上的第1摄像单元1501及第2摄像单元1502、图像变换、合成单元1503、描画单元1504、存储器1505及第2摄像单元1502与图1的摄像装置101对应，图像变换合成单元1503与视点变换图像全成装置102对应。
第1摄像单元1501及第2摄像单元1502拍摄车辆的后面。第1摄像单元1501及第2摄像单元1502取得的图像在图像变换、合成单元1503变换成像是从虚拟视点拍摄到的图像。描画单元1504根据存在存储器1505中的数据，描画应重迭在输出图像上的插图、辅助线。该描画单元1504描画过的图像在显示单元1506上显示。并且，在图18假设摄像单元为2台，只要图像变换、合成单元1503能对应几台也无发妨。如图19所示：第1摄像单元1501及第2摄像单元1502安装在自己车辆204的尾部使得自己车辆204的保险杠及车尾的部份车体收缩在其视野内。
对于如上构成的图像合成、显示装置利用图20说明其画面构成。该图为一作过变换图像的示例，恰似将摄像单元设置在车后离地2m的上方一样。
图中表示自己车辆204、位于后方的第1辆其它车辆205、位于后侧方的第2辆其它车辆206、及道路路面1701。打斜杠的部分1702为摄像单元视野外的路面。
另外，速显示自己车辆后部的车号牌204A、保险杠204B、及停止车灯204C。再将辅助线1703重迭在保险杠的后端及车身的尾部位置上着重显示自己车辆的尾部，这时向上实际的车尾更外的外侧引辅助线，并将辅助线加粗，也能减少相碰的危险。
另外，在仅离保险杠204B的后端一定距离处引一根与保险杠204B水平的反光镜确认线1704。该反光镜确认线1704为将显示图像分离成和自己车辆相同区域的危险区域、和自己车辆不同区域的安全区域的辅助线，靠反光镜具有促使驾驶者确认与周围物体相撞的功能。总之，在行驶中显示在车辆周围的物体与已接触到该反光镜确认线1704时通过确认反光镜，驾驶者就能以最佳的时机确认与周围物体相撞之可能性。并且，反光镜确认线1704与可为从图像中映出的车身的尾部及保险杠的后端向仅离开一定距离的外侧引线、也可如要围位车辆尾部那样的曲线。
这样，采用本发明的第6实施形态，设置摄像单元便利自己车辆的保险杠及后面车体的一部分收缩在其视野内，通过包括自己车辆在内视点变换、合成，就能容易地作出自己车辆的车辆周围立体物体的接触判定。
另外将辅助线重迭在保险杠的后端及自己车辆的尾部位置上，通过提供着重显示这些位置的图像，能容易判别自己车辆的尾部，接触壑变得更加容易。
再有，通过提示显示在仅距自己车辆保险杠一定距离的后面和保险杠水平的反光镜确认线的图像，从而能根据最佳的时机促使驾驶者依靠反光镜对周围作安全确认。
(第7实施形态)
第7实施形态的图像合成、显示装置和图18相同。图21为第7实施形态的画面构成图。
在图21显示自己车辆的三维插图1801。该图1801生成得宛如变换民从设置在车后离地2m处上方的虚拟点见到的图像，重迭在显示图像中相当于自己车辆的区域。
此外，辅助线1802表示保险杠区域。在该区域也可显示将摄像单元实际摄到的图像作过变换的图像。由此，能给予驾驶者正在看实际的图像的放心感觉。这时，通过将保险杠区域的插图画得此实际的车辆位置更大，也能降低接触的危险性。
再有，辅助线1803为在自己车辆直线后退时，表示其车身一端通过的位置投影在路面上的位置在路面上的通过轨迹。另外，辅助线1804为自己车辆在直线后退时表示保险杠通过位置的保险杠通过轨迹。而辅助线1805A～C为从自己的车辆有一定距离的路面上通过轨迹上的点及保险杠通过轨迹上的点相连的立体辅助线。而且不仅是自己车辆的保险端，也可显示特有与自己车辆不同高度的保险杠、与适当的其它车辆保险杠高度相当的自己车辆车身一端的通过轨迹。
这样，采用本发明的第7实施形态，通过将自己车辆恰似由实际设置的摄像单元拍摄并变换、合成后的三维图形重迭在显示图像上提供立体显示自己车辆的图像，从而能立体地抓住自己的车辆，容易立体地掌握自己车辆和车辆周围立体物体间位置关系，其结果，使接触判定变得容易。
另外，通过将实摄图像变换、合成的图像显示在与插图和保险杠相当的区域上，能给予驾驶者看到实际图像的放心感觉。
再有，在自己车辆倒车时，通过提示表示车身一端通过的位置投影在路面上位置的路面通过轨迹、及表示保险杠端通过位置的保险杠端通过轨迹、以及它们相联显示产生立体感的立体辅助线的图像，能立体地方便地把握两根通过轨迹的位置关系。
(第8实施形态)
第8实施形态的图像合成、显示装置的构成和图18相同。图22为第8实施形态的画面构成图。
图22中，插图1901为以轮廓形式表现自己车辆同时也表现轮胎的三维插图，能确认自己车辆的轮胎与路面接触的位置。该插图1901生成得恰似从设置在车后离2m左右上方的虚拟视点见到的图像，重迭在显示图像上相当于自己车辆的区域。还有，自己车辆也可用线条框形式表现。
此外，辅助线1902表示保险框区域，在该区域也可显示由摄像单元实际摄到的图像经变换后的图像。而且，辅助线1903表示从插图1901内的轮胎引出的路面通过轨迹，由此，能直感地容易领会路面上通过轨迹的意义。
这样，根据本发明的第8实施形态，以轮廓或线条框形式表现自己车辆的插图，通过提示明白地显示出轮胎位置的图像，能更加强自己车辆立体感之同时，因为能直感地理解路面上轮胎的位置，所以就能易于三维地掌握自己车辆和车辆周围的立体物体间位置关系恰似变换成从设置在车后离地2m左右上方的虚拟视点见到的图像一般，接触判定变得容易。
(第9实施形态)
第9实施形态的图像合成、显示装置的构成和图18相同。图23为第9实施形态的画面构成图。
在图23，第1墙面2001为在自己车辆的后端位置、同路面垂直与停放的车辆宽度相同的墙面的插图。该墙面2001生成得恰似变换成从设置在车后离地2m左右的虚拟视点上见到的图像一般，重迭在与显示图像的自己车辆后端位置相当的区域上。另外，第2的墙面2202为和置在比第1的墙面2001更靠近自己车辆的内侧、与自己车辆宽度相同的墙面的插图。第2的墙面2002和第1的墙面2001生成方法相同，重迭在显示图像内适当的位置上。在此，第2的墙面2002可以描绘成能见到与路面接触之处。
还有，也能在第1的墙面2001上描绘车辆后部那样的插图、在第2的墙面2002，与路面接触的部分上描绘轮胎的插图。
这样，采用本发明的第9实施形态，通过将自己车辆的后端位置，以及此该位置更靠自己车辆的内侧，和路面垂直与停放的自己车辆宽度相同宽度的两块墙面的插图重迭在显示图像上，提示以立体物体比喻地表示自己车辆的图像，由于能立体地抓住自己的车辆，所以就易于三维玫车辆周围的立体物体间位置关系，接触判定变得容易。
(第10实施形态)
图24为表示第10实施形态图像合成、显示装置构成的方框图，在该图中，和图18相同构成要素或对应的构成要素注上与图18相同的的标号。
在图24，轨迹运算单元2101根据外部输入的自己车辆方向盘的转向角信号，算出保持现有转向角不变倒车时自己车辆通过的轨迹。描画单元1504根据存在存储器1505的数据以及从轨迹运算单元2101输入的自己车辆的通过预测轨迹，在输出图像上描画须重迭的插图、辅助线等。
第10实施形态画面的构成为如图9的辅助线601、602那样根据转向角将图21画面中辅助线1803、1804、1805A～C弯曲面成。
这样，采用本发明的第10实施形态，通过提示自己车辆转向角表示自己车辆车身的一端通过的位置投影在路面上的位置的路面上通过轨迹、表示自己车辆的保险杠端通过位置的保险框端通过轨端、及显示将这此迹连接产生出立体感的立体辅助线的图像，在例车时，根据自己车辆的转向角就能立体显示实际的通过预测轨迹并易于掌握。驾驶者将显示画面作为参考，就能最佳地操纵方向盘。
再者，将这些辅助线和在第6～9实施形态(图20～23)表示的自己车辆的实际画面或插图同时显示，将路面上通过的轨迹显示成轮胎的痕迹，也可将保险杠端通过轨迹与自己车辆的实际画面或插图的保险杠端相连而显示，在显示适当的高度的车身一端的通过轨迹时，与相当于该高度的自己车辆位置相连。
另外，也可以轮廓或线条框形式显示自己车辆。这时，使路面上通过轨迹1903做成从插图内的轮胎上引出。由此，能直感地容易领会路面上通过轨迹的意义。
再有，通过将这些辅助线与自己车辆的实际画面或插图同时显示、将路面上通过轨迹显示成轮胎的痕迹、将保险杠端通过轨迹与自己车辆的实际画面或插图连接而显示，能直感地容易掌握而两根通过轨迹和自己车辆间关系。
此外，通过同时也显示反光镜确认线，驾驶者能直感地掌握好在最佳的时机并要确认哪一边。
(第11实施形态)
第11实施形态的图像合成、显示装置的构成和图18相同。图25为第11实施形态的车面构成图。以下，假设自己车辆为轿车来说明之。
在图25，辅助线2201表示自己车辆笔直倒车时，自己车辆车身一端通过的位置投影在路面上位置的路面上通过轨迹。辅助线2202表示自己车辆笔直倒车时保险杠端通过位置的保杠端通过轨迹。辅助线2203表示自己车辆笔直倒车时保险杠位置与此自己车辆保险杠位置还要高的SUV等的保险杠位置相当的自己车辆车体一端通过位置的通过轨迹线。插图2204A～C为模仿自己车辆后部的车体面的插图，在自己车辆的车体后部位于各个位置时将实际摄在图像上的样子作为插图表示。还有，作为插图表示的高度假设和辅助线2203一样高，也可不一定一样高，辅助线2203的高度亦可任意定。
这样，根据本发明第11实施形态，通过同时显示笔直倒车时自己车辆的路面通过轨迹、自己车辆保险杠端通过轨迹、SUV等的保险杠端通过轨迹、同时显示模仿自己车辆的车体的插图，能直感地掌握自己车辆行进方向和自己车辆周围存在的物体间位置关系。
再者，如第7～第8实施形态，与自己车辆的插图组合，移动该插图或在画面上组合变形将自己车辆后部车体面作为模仿的插图使用，通过将路面上通过轨迹显示成轮胎痕迹，该构成能更直感地掌握自己车辆的行进方向和自己车辆周围存在物体间位置关系。
另外，也能同时显示第6实施形态中反光镜确认线，也能如第10实施形态那样根据自己车辆转向角，移动这些辅助线，显示实际倒车时通过的轨迹。还有，只正确地显示辅助线位置，模仿自己车辆后部的插图也可以预定的几种中选出重迭在适当位置上。
(第12实施形态)
第12实施形态的图像合成、显示装置的构成和图18相同。图26为第12实施形态画面构成图。以下将自己车辆作为轿车说明之。
在图26，辅助线2301为表示自己车辆直线倒车时车身端通过的益投影在路面上位置直线倒车时保险杠下面的一端通过位置的保险杠下面端通过轨迹。辅助线2303为表示直线倒车时保险杠下面的一端通过位置的保险杠下面端通过轨迹。辅助线2303为表示睦线倒车时保险杠上面的一端通过位置的保险杠上面端通过轨迹。插图2304A～C为模仿保险杠的插图，在各个位置上只有保险杠时将作为图像实际显示的样子当作插图来表示。
这样，采用本发明的第12实施形态，通过同时显示自己车辆直线倒车时的呼面通过轨迹、保险杠上面端通过轨迹、保险杠下面端通过轨迹、及模仿自己车辆保险杠的插图，能直感地掌握自己车辆的行进方向和自己车辆周围存在的物体间位置关系。
还有，如第7～第8实施形态，通过与自己车辆的插图组合，移动该插图或在车辆组合变形将自己车辆的的车体而作为模仿的插图使用，将路面上通过轨迹显示成轮胎的痕迹，该构成能更直感地掌握自己车的行进方向和自己车周围存在的物体间位置关系。
此外，同时也显示第6实施形态中的反光镜确认线，也能如实施形态10，根据自己车辆的转向角，移动这些辅助线，显示实际例车时通过的轨迹。
(第13实施形态)
图27为本发明第13实施形态的图像合成、显示装置的方框图。该实施形态包括在前述实施诉说明中图内未予示出的显示装置。即，如图27所7示，设置接受车辆轨迹描画装置104的输出信号即显示数据并变换成规定形式信号的显示数据变换控制装置80、及接受显示数据变换控制装置80所得的显示数据在画面上显示的显示装置81。该显示装置81让车辆的后视镜等具有显示功能，能成为带显示功能的反光镜。
依靠这种构成，通过将图像在带显示功能的反光镜上显示，就能使操纵者容易地认识周围状况、自己车的位置。还有，作为带显示功能的反光镜的反光镜构成可为在液晶或有机电致发光(EL：Electro-Luminescence)等显示装置81的显示单元表面上重叠半透明反光镜的形式，该液晶或有机EL部份可以由整体是一个显示单元，或是多个显示单元的集合体，至少是一个显示单元构成。
再有，这种构成的反光镜能切换到作为通常的反光镜工作的状态和作为图像显示画面工作的状态。该切换支作能根据车内的照度传感器一到晚上自动地切换到图像显示状态。另外还可以做成与驾驶者打开车头灯动作一致来切换，再有在雨水粘糊后窗时，或冬季积雪结冰看不清后方时，也可和接通后窗加热线开关等同时切换到图像显示状态，还能让与传动装置联动，只有在传动装置向后时切换成图像显示状态。
这样，因为能将反光镜整个面切换成通常的反光镜状态和图像显示状态，操纵者能在宽大的显示面上容易掌握汽车后面的状况安全行驶。
也能用其它构成的反光镜取代上述构成的反光镜，有将通常的反光镜和液晶或有机EL等显示单元一并设置的。这种其它的反光镜在通常的反光镜部分能大致掌握后方的状况，而一并设置的显示单元能扩大显示通常显示单元上死角的部分，能将需特别注意的对象部分扩大并显示。再者，这些显示装置81并不限于反光镜，也可是设置在车辆挡泥板上的显示单元、联接导航系统的显示器、携带式信息终端或抬头显示器。
(第14实施形态)
图28为本发明第14实施形态的图像取得、警告装置的方框图。该实施形态上在前述第13实施形态的基础上增加设置了装在车辆后部的探测装置82，和与探测装置82的输出信号响应的警告装置83。探测装置82探测向着作为被连接车辆的连接对象部的野营车等车辆的异常接近，至于异常接近与否，在车辆与连接对象部间的距离小于预先规定的距离时，能判断为异常接近。
根据这样的构成，作为探测装置82利用接近传感器探测连接对象物即野营车的接近，在图像上不断确认接近状态，在汽车和野营车上互相配对的车箱连接器(挂钩)间的距离接近第1规定的距离、例如1m以内时和进一步接近第2规定的距离、例如50cm时，能以各自的报警装置83即扬声器发出警告操纵者的警报声。警报声可以有不同的声音。这样在挂车箱连接器(挂钩)时，能在图像上不断确认连接作业，根据其接近状态(根据连接作业在任意设定的距离上)恰当地发出警告，能安全可靠地进行连接作业。
还有，警告装置83使用扬声器，但并不限于此，通过如图28的虚线所示地连接、发送警告信号在图像的显示装置上显示警告用符号图像、闪烁图像等为了引起注意还可再加上适当的色彩。再有，发出警告信息的条件利用警告信号发生条件设定装置87能根据连接对象物的大小、重量、速度等任意设定。
也可为摄像装置安装在车箱连接器(挂钩)上，最后确认连接结束状态的构成。
此外，探测装置82可为超声波、电磁、光学(包括红外线)等，也可为从图像上算出直接距离发出警告的方式。
还有，将连接对象物当作野营车、当然也可以为装着游艇的拖车等其它的东西。
(第15实施形态)
图29为本发明第15实施形态自己车位置辩认装置的方框图。该实施形态，在前述第1～第12实施形态的基础上增加通过处理车辆后方的图像，检测出任意对象物图像，辩认检测出的图像和车辆图像的位置关系，将辩认出的位置关系和预先设定的位置关系作比较就能检测出两者之间的偏移量。即，第15实施形态的自己车位置辩认装置具有图像检测装置84，检测由摄像装置101具有的后方摄像装置摄得的图像或来自由第1～第12实施形态的图像合成装置全成的图像的任意对象物图像、辩认装置85，辩认由图像检测装置84检测出的检测图像和车辆图像的位置、比较装置86，由辩认装置辩认的位置关系和预先设定的位置关系相比较，从这些位置关系检测出两者的偏移量。作为后方摄影装置，能使用设置在车辆后方的摄像机，由此，拍摄表示车辆后方停车空间的路面上的白线。图像检测装置84从由后方摄像装置摄得的图像、或投影在园筒面和球面组合成的三维投影模型上的图像、或由图像合成的图像检测出表示停车空间的白线。辩认装置85从图像数据运算检测出的白线和自己车的图像的位置关系并加以辩认。比较装置86将由辩认装置85辩认出的实际位置关系和自己车图像中心位于划定停车窨的左右白线中央的预先设定好的位置关系相比较，从这些位置关系检测两者间的偏移量。还能做成这样的构成，该偏移量异常尺时，若原样地向后倒车，车辆就无法停在左右白线内，于是发出警报。
利用该构成，驾驶者在图像上不断确认停车窨的白线向后倒车，能容易地掌握好使自己车和停车窨的位置关系和后方周围的位置关系一致，能更安全地行驶。
如上所述，本发明通过在来自虚拟视点的模拟图像上重迭适当的插图、辅助线、轨迹线等，驾驶者能直感地掌握自己车辆和周围立体物间三维的位置关系，其结果是能提供容易地作出恰当的接触判定、具有显著效果的图像合成装置。

Claims (34)

1、一种图像合成装置，包括
固定在路面车辆上的摄像装置，所述摄像装置获取从该摄像装置的视点处看到的周围物体原始图像，
其特征在于，还包括
变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像，
在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置，和
车辆轨迹线描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的合成图像上的轨迹线。
2、如权利要求1所述的图像合成装置，其特征在于，
所述车辆轨迹线生成装置由三维轨迹线生成装置、道路路面投影装置、和合成图像投影装置构成。
3、如权利要求1所述的图像合成装置，其特征在于，
所述车辆轨迹线生成装置生成所述车辆一直前进时的轨迹线。
4、如权利要求1所述的图像合成装置，其特征在于，包括
输出所述车辆方向盘转向角的转向角信息输出装置，
所述车辆轨迹线生成装置生成与所述转向角信息输出装置输出的转向角信息对应的轨迹线。
5、如权利要求1所述的图像合成装置，其特征在于，
通过用直线或曲线插入所述车辆路面上的轨迹线和任意高度轨迹线之间，在所述合成图像上描图垂直于所述路面的线。
6、如权利要求1所述的图像合成装置，其特征在于，
将所述车辆保险杠端的轨迹线或车高的轨迹线描画在所述合成图像上。
7、根据权利要求1所述的图像合成装置，其特征在于，
根据离所述车辆的距离改变所述轨迹线颜色、粗细来描画。
8、如权利要求4所述的图像合成装置，其特征在于，
将所述车辆的断面图像从所述车辆的后端离去似地沿着所述轨迹线、随着时间移动的线条描画在所述合成图像上。
9、如权利要求4所述的图像合成装置，其特征在于，
将所述车辆的立体图像从所述车辆的后端离去似地沿着所述轨迹线、随着时间移动的线条描画在所述合成图像上。
10、如权利要求4所述的图像合成装置，其特征在于，
所述车辆轨迹线生成装置由三维形状存储装置、三维轨迹区域生成装置、道路路面投影装置、及合成图像投影装置构成。
11、如权利要求10所述的图像合成装置，其特征在于，
所述三维形状存储装置存储所述车辆的形状。
12、如权利要求10所述的图像合成装置，其特征在于，
所述三维形状存储装置存储内接所述车辆的长方形形状。
13、如权利要求10所述的图像合成装置，其特征在于，
所述三维形状存储装置存储所述车辆车轮的形状。
14、如权利要求10所述的图像合成装置，其特征在于，
所述三维形状存储装置存储所述车辆保险杠的形状。
15、如权利要求4所述的图像合成装置，其特征在于，包括
探测所述车辆周围存在的障碍物，预测所述障碍物与所述车辆相撞可能性的障碍物相撞预测装置。
16、如权利要求15所述的图像合成装置，其特征在于，
所述车辆轨迹线描画装置，在靠所述障碍物相撞预测装置预测所述车辆将和所述障碍物相撞时，不描画相撞处之前的所述车辆轨迹线。
17、如权利要求15所述的图像合成装置，其特征在于，
所述车辆轨迹线描画装置在靠所述障碍物相撞预测装置预测所述车辆将和所述障碍物相撞时，着重显示相撞部位。
18、如权利要求4所述的图像合成装置，其特征在于，
将由所述视点变换图像合成装置合成的图像分割成多画面显示的多画面生成装置。
19、如权利要求18所述的图像合成装置，其特征在于，
所述车辆轨迹线描画装置将车辆轨迹描画在由所述多画面生成装置生成的画面上。
20、如权利要求18所述的图像合成装置，其特征在于，
所述摄像装置具有拍摄所述车辆后面的和拍摄所述车辆侧面的装置。
21、如权利要求18所述的图像合成装置，其特征在于，
所述车辆轨迹线描画装置将所述车辆后端的轨迹线描画在拍摄所述车辆侧面的图像或所述图像作过变换的图像上。
22、如权利要求19所述的图像合成装置，其特征在于，
所述车辆轨迹线描画装置在多幅画面上描画所述轨迹线时，在不同画面间用相同颜色描画表示相同位置的轨迹线或车辆外框。
23、如权利要求1所述的图像合成装置，其特征在于，包括
生成指示所述车辆外任意位置的辅助线的辅助线生成装置，和
将由所述辅助线生成装置生成的辅助线描画在由前述视点变换图像合成装置生成的合成图像上的辅助线描画装置。
24、如权利要求23所述的图像合成装置，其特征在于，所述辅助线生成装置生成表示一般车辆车宽的辅助线。
25、如权利要求23所述的图像合成装置，其特征在于，包括
将由所述视点变换图像合成装置合成的图像作多画面分割显示的多画面生成装置，
所述辅助线描画装置将生成的辅助线描图在由所述多画面生成装置生成的各画面上。
26、如权利要求23所述的图像合成装置，其特征在于，
所述辅助线生成装置生成表示所述车辆后端位置的辅助线。
27、如权利要求23所述的图像合成装置，其特征在于，
所述辅助线生成装置生成表示离所述车辆后端一定距离的辅助线。
28、一种图像合成显示装置，包括，
图像合成装置，包括固定在路面车辆上的摄像装置，所述摄像装置获取从该摄像装置的视点处看到的周围物体原始图像，
显示装置，显示由所述图像合成装置在所述平面上描画出的合成图像和轨迹线图像的组合图像，和
显示数据变换装置，将须显示的所述组合图像变换成与所述显示装置相适应的数据
其特征在于，所述图像合成装置还包括
变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像、
在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置、和
车辆轨迹线描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的合成图像上的轨迹线。
29、如权利要求28所述的图像合成显示装置，其特征在于，
所述图像合成装置还包括
生成指示所述车辆外任意位置的辅助线的辅助线生成装置、
将由所述辅助线生成装置生成的辅助线描画在由所述视点变换图像合成装置生成的合成图像上的辅助线描画装置，
所述显示装置显示包括有所述辅助线的合成图像，和
所述显示数据变换装置将须显示的包括有所述辅助线的所述合成图像变换成与所述显示装置相适应的数据。
30、一种图像取得警告装置，包括
探测装置，探测将要连接车辆的连接对象物的接近状况；
图像合成装置，包括固定在所述车辆和/或所述连接对象物上的摄像装置，所述摄像装置获取从该摄像装置的视点处看到的周围物体原始图像；以及
警告装置，从由所述探测装置得到的所述接近状况和/或所述图像合成装置合成图像中的所述车辆和所述连接对象物的关系发出警告信号，
其特征在于，所述图像合成装置还包括
变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像，
在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置，和
车辆轨迹线描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的合成图像上的轨迹线。
31、如权利要求30所述的图像取得警告装置，其特征在于，包括
所述图像合成装置，进一步具备
生成指示所述车辆外任意位置的辅助线的辅助线生成装置，和
将由所述辅助线生成装置生成的辅助线描画在由所述视点变换图像合成装置生成的合成图像上的辅助线描画装置，
所述警告装置根据由所述探测装置得到的所述接近状况和/或由所述图像合成装置合成的图像中所述车辆和所述连接对象物的关系发出警告信号。
32、如权利要求30至31中任一项所述的图像取得警告装置，其特征在于，还包括
警告信号发生条件设定装置，用于让使用者任意设定所述警告装置发出警告信号用的条件。
33、一种自己车位置辩认装置，包括
图像合成装置，具备固定在路面车辆上的多台摄像装置，包括拍摄所述车辆后方周围物体的原始图像的后方摄像装置；
图像检测装置，从所述后方摄像装置摄的原始图像或所述图像合成装置生成的合成图像中检测出任意对象的图像；
辩认装置，辩认所述图像检测装置检测出的图像和所述车辆的图像间的位置关系；和
比较装置，将所述辩认装置辩认出的位置关系与预定的位置关系作比较，从这些位置关系检测出两者间的偏移量，
其特征在于，所述图像合成装置还具备
变换视点、根据所述摄像装置获得的图像生成合成图像并将该合成图像描画在与路面相对应的一个平面上的视点变换图像合成装置，其中以一个虚拟视点来观察所述合成图像、
在从所述路面起的任意高度上生成所述车辆的轨迹线的车辆轨迹线生成装置、及
车辆轨迹线描画装置，所述车辆轨迹线描画装置从所述摄像装置将由所述车辆轨迹线生成装置生成的轨迹线投影到路面上的第一线段上，然后将所述第一线段投影到所述合成图像的第二线段上，以此获得第二线段作为描画在所述视点变换图像合成装置所生成的合成图像上的轨迹线。
34、如权利要求33所述的自己车位置辩认装置，其特征在于，
所述图像合成装置还包括
生成指示所述车辆外任意位置的辅助线的辅助线生成装置，及
将所述辅助线生成装置生成的辅助线描画在所述视点变换图像合成装置生成的合成图像上的辅助线描画装置。
CNB021030774A 2001-02-09 2002-02-08 图像合成装置 Expired - Lifetime CN1295656C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2001034093 2001-02-09
JP34093/01 2001-02-09
JP174415/01 2001-06-08
JP2001174415A JP3645196B2 (ja) 2001-02-09 2001-06-08 画像合成装置

Publications (2)

Publication Number Publication Date
CN1371079A CN1371079A (zh) 2002-09-25
CN1295656C true CN1295656C (zh) 2007-01-17

Family

ID=26609226

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021030774A Expired - Lifetime CN1295656C (zh) 2001-02-09 2002-02-08 图像合成装置

Country Status (7)

Country Link
US (1) US7058207B2 (zh)
EP (1) EP1231110B1 (zh)
JP (1) JP3645196B2 (zh)
KR (1) KR100481248B1 (zh)
CN (1) CN1295656C (zh)
AT (1) ATE376507T1 (zh)
DE (1) DE60223095T2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103042972A (zh) * 2011-10-13 2013-04-17 哈曼贝克自动系统股份有限公司 控制显示车辆环景的光学输出装置的方法及车辆环景系统

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3483143B2 (ja) * 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
JP4021685B2 (ja) * 2002-03-04 2007-12-12 松下電器産業株式会社 画像合成変換装置
JP2004345554A (ja) * 2003-05-23 2004-12-09 Clarion Co Ltd 車両後方モニタ装置及び車両後方モニタシステム
JP3916240B2 (ja) * 2003-08-07 2007-05-16 松下電器産業株式会社 運転支援装置及び運転支援方法
JP4457664B2 (ja) * 2003-12-25 2010-04-28 株式会社エクォス・リサーチ 駐車支援装置
DE102004009924A1 (de) * 2004-02-23 2005-09-01 Valeo Schalter Und Sensoren Gmbh Verfahren und Warnvorrichtung zum grafischen Aufbereiten eines Bildes einer Kamera
JP2005268847A (ja) * 2004-03-16 2005-09-29 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
DE102005015088B4 (de) * 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP2006054504A (ja) * 2004-08-09 2006-02-23 Olympus Corp 画像生成方法および装置
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP4569285B2 (ja) * 2004-12-13 2010-10-27 日産自動車株式会社 画像処理装置
JP4604703B2 (ja) * 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
US8130269B2 (en) 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP4645254B2 (ja) * 2005-03-24 2011-03-09 アイシン・エィ・ダブリュ株式会社 車両周辺視認装置
JP2006272990A (ja) * 2005-03-28 2006-10-12 Clarion Co Ltd 車両後退運転補助装置
DE102005018408A1 (de) * 2005-04-20 2006-10-26 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Auswertung von Abstandsmessdaten eines Abstandsmesssystems eines Kraftfahrzeugs
JP4677820B2 (ja) * 2005-04-21 2011-04-27 日産自動車株式会社 予測進路表示装置および予測進路表示方法
CN102074007B (zh) * 2005-05-20 2012-07-18 丰田自动车株式会社 车辆用图像处理装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
EP1897033A4 (en) 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS
JP4772409B2 (ja) * 2005-07-20 2011-09-14 株式会社オートネットワーク技術研究所 画像表示システム
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
DE102005052634B4 (de) * 2005-11-04 2021-02-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerunterstützung vor und/oder bei Durchfahren einer Engstelle
JP4579145B2 (ja) * 2005-11-30 2010-11-10 アルパイン株式会社 車両周辺画像表示装置
DE102005062151B4 (de) * 2005-12-22 2007-09-13 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen
JP4557302B2 (ja) * 2006-01-26 2010-10-06 アルパイン株式会社 車両運転支援装置
TW200729934A (en) * 2006-01-27 2007-08-01 Asustek Comp Inc Method, video display system and automobile video display system
CN101075376B (zh) * 2006-05-19 2010-11-03 无锡易斯科电子技术有限公司 基于多视点的智能视频交通监控系统及方法
JP4656005B2 (ja) * 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
ATE479980T1 (de) * 2006-08-24 2010-09-15 Valeo Vision Verfahren zur bestimmung der durchfahrt eines fahrzeugs durch eine engen durchlass
DE102006041651A1 (de) * 2006-08-24 2008-03-13 Valeo Schalter Und Sensoren Gmbh Verfahren zur Ermittlung der Passierfähigkeit eines Fahrzeugs durch einen Fahrbahnengpass und Fahrerassistenzsystem hierfür
JP4605400B2 (ja) * 2006-12-01 2011-01-05 富士フイルム株式会社 画像出力システム、画像生成装置および画像生成方法
JP4927514B2 (ja) * 2006-12-12 2012-05-09 クラリオン株式会社 運転支援装置
US8888121B2 (en) * 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
US8888120B2 (en) * 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
JP4356763B2 (ja) * 2007-01-30 2009-11-04 トヨタ自動車株式会社 操作装置
JP4286294B2 (ja) * 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
DE102007012181A1 (de) * 2007-03-14 2008-09-18 Lochmüller, Roland System und Verfahren zur Verkehrssteuerung und Unfallverhütung aus Positionsmeldungen von Satelliten-Navigationssystemen
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP2008312004A (ja) 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
JP4489800B2 (ja) * 2007-08-30 2010-06-23 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
KR101326966B1 (ko) 2007-09-07 2013-11-13 현대자동차주식회사 차량용 전방향 영상 제공 시스템
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP5347257B2 (ja) 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2009087228A (ja) * 2007-10-02 2009-04-23 Denso Corp 画像表示装置
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP5090126B2 (ja) * 2007-10-23 2012-12-05 アルパイン株式会社 車載用撮像装置
JP5577023B2 (ja) * 2008-02-22 2014-08-20 日立コンシューマエレクトロニクス株式会社 表示装置
US7777615B2 (en) 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
JP5636609B2 (ja) 2008-05-08 2014-12-10 アイシン精機株式会社 車両周辺表示装置
JP4623396B2 (ja) * 2008-05-08 2011-02-02 アイシン精機株式会社 車両周辺表示装置
US20090289937A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Multi-scale navigational visualtization
JP2010016805A (ja) 2008-06-04 2010-01-21 Sanyo Electric Co Ltd 画像処理装置、運転支援システム、及び画像処理方法
JP5136256B2 (ja) * 2008-07-18 2013-02-06 日産自動車株式会社 駐車支援装置および画像表示方法
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
KR101417110B1 (ko) * 2008-09-29 2014-07-08 현대자동차주식회사 차량의 입체 안내선 표시된 영상 제공 시스템
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
JP2010136289A (ja) * 2008-12-08 2010-06-17 Denso It Laboratory Inc 運転支援装置及び運転支援方法
US20100201508A1 (en) * 2009-02-12 2010-08-12 Gm Global Technology Operations, Inc. Cross traffic alert system for a vehicle, and related alert display method
JP5316805B2 (ja) * 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8416300B2 (en) 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
JP5284206B2 (ja) * 2009-07-10 2013-09-11 三菱電機株式会社 運転支援装置およびナビゲーション装置
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
CN102059978B (zh) * 2009-11-16 2014-09-10 财团法人工业技术研究院 驾驶辅助方法与系统
US8633810B2 (en) 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP5071743B2 (ja) * 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
DE102010001922A1 (de) * 2010-02-15 2011-08-18 Robert Bosch GmbH, 70469 Verfahren und Vorrichtung zum Parken eines Kraftfahrzeugs
JP2013091331A (ja) * 2010-02-26 2013-05-16 Panasonic Corp 運転支援装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5113881B2 (ja) * 2010-06-03 2013-01-09 株式会社デンソー 車両周辺監視装置
US8665116B2 (en) 2010-07-18 2014-03-04 Ford Global Technologies Parking assist overlay with variable brightness intensity
PH12013500314A1 (en) 2010-08-19 2019-02-20 Nissan Motor Three-dimensional object detection device and three-dimensional object detection method
JP5251947B2 (ja) 2010-09-17 2013-07-31 日産自動車株式会社 車両用画像表示装置
WO2012059955A1 (ja) * 2010-11-04 2012-05-10 トヨタ自動車株式会社 道路形状推定装置
DE102010056406A1 (de) * 2010-12-23 2012-06-28 Jenoptik Robot Gmbh Verfahren zur sicheren Identifikation eines durch einen Strahlungssensor erfassten Fahrzeuges in einer Bildaufnahme
BR112013007085B1 (pt) * 2011-02-21 2021-02-23 Nissan Motor Co., Ltd Sistema e método de detecção de objeto fixo repetitivo
KR20120103232A (ko) * 2011-03-10 2012-09-19 현대모비스 주식회사 장애물 충돌 방지를 위한 주차 보조 장치 및 그 방법
CN103582907B (zh) * 2011-06-13 2016-07-20 日产自动车株式会社 车载用图像识别装置及车道识别方法
DE102011105884B4 (de) * 2011-06-28 2019-02-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Einparken eines Fahrzeugs
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
US20130155305A1 (en) * 2011-12-19 2013-06-20 Sony Corporation Orientation of illustration in electronic display device according to image of actual object being illustrated
JP5888087B2 (ja) * 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
JP5861776B2 (ja) * 2012-05-08 2016-02-16 トヨタ自動車株式会社 俯瞰画像表示装置
JP2013239015A (ja) * 2012-05-15 2013-11-28 Sharp Corp 駐車支援装置、駐車支援方法およびプログラム
JP5836490B2 (ja) * 2012-08-17 2015-12-24 本田技研工業株式会社 運転支援装置
TW201416997A (zh) * 2012-10-19 2014-05-01 Nanoplus Technology Inc 行車影像辨識裝置及其方法
JP5904093B2 (ja) * 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
GB2534039B (en) 2013-04-26 2017-10-25 Jaguar Land Rover Ltd System for a towing vehicle
GB2513393B (en) 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
CN103434448B (zh) * 2013-08-07 2016-01-27 燕山大学 一种消除车柱盲区系统及其使用方法
CN103442179B (zh) * 2013-08-16 2016-10-26 北京智谷睿拓技术服务有限公司 照明方法和照明系统
JP6281289B2 (ja) 2014-01-10 2018-02-21 アイシン精機株式会社 周辺監視装置、及びプログラム
CN104802708A (zh) * 2014-01-23 2015-07-29 致伸科技股份有限公司 行车影像辅助系统
JP2015184874A (ja) * 2014-03-24 2015-10-22 株式会社東芝 移動体操作支援装置、移動体操作支援方法、および移動体操作支援プログラム
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
JP2015226146A (ja) * 2014-05-27 2015-12-14 学校法人関東学院 ３次元モニタ装置
KR102289477B1 (ko) * 2015-01-30 2021-08-13 현대모비스 주식회사 주차 지원 장치
GB2533983A (en) * 2015-06-04 2016-07-13 Ford Global Tech Llc Parking assist method and system
JP6464952B2 (ja) * 2015-08-04 2019-02-06 株式会社デンソー 表示制御装置、表示制御プログラム及び表示制御方法
CN105128760B (zh) * 2015-08-27 2018-10-16 惠州华阳通用电子有限公司 倒车轨迹描绘方法及装置
JP6589468B2 (ja) 2015-09-01 2019-10-16 株式会社タダノ 移動式クレーンの周囲表示装置
KR101953128B1 (ko) * 2015-10-22 2019-05-31 현대자동차주식회사 차량 및 차량의 제어 방법
US10706580B2 (en) * 2015-12-09 2020-07-07 Hajime Kasahara Position-information specifying method, position-information specifying device, and position-information specifying program
JP2017147505A (ja) * 2016-02-15 2017-08-24 トヨタ自動車株式会社 車両用周囲画像表示装置
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Ｓｏｋｅｎ 表示制御装置
CN105933680A (zh) * 2016-07-07 2016-09-07 广州勘帝德电子科技有限公司 无can_bus智能车辆动态轨迹线后视影像系统
CN107640147B (zh) * 2016-07-18 2020-12-04 奥迪股份公司 泊车辅助方法和系统
JP6774605B2 (ja) * 2017-03-14 2020-10-28 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
CN109070879B (zh) 2016-08-09 2021-05-07 Jvc 建伍株式会社 显示控制装置、显示装置、显示控制方法以及存储介质
JP6658392B2 (ja) * 2016-08-09 2020-03-04 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
US11010934B2 (en) * 2016-12-09 2021-05-18 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
US10268907B2 (en) * 2017-01-11 2019-04-23 GM Global Technology Operations LLC Methods and systems for providing notifications on camera displays for vehicles
CN106985751A (zh) * 2017-04-07 2017-07-28 深圳市歌美迪电子技术发展有限公司 后视显示方法、装置及设备
JP6271068B1 (ja) * 2017-06-22 2018-01-31 株式会社ショーワ 障害物検知装置、車両、および、障害物検知システム
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
JP7000822B2 (ja) * 2017-12-06 2022-01-19 株式会社アイシン 周辺監視装置
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
TWI668146B (zh) * 2018-03-30 2019-08-11 帷享科技股份有限公司 Vehicle side safety distance display system
CN109087485B (zh) * 2018-08-30 2021-06-08 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
JP7088807B2 (ja) * 2018-10-29 2022-06-21 京セラ株式会社 画像処理装置、カメラ、移動体および画像処理方法
DE102019209813B4 (de) * 2019-07-04 2022-06-30 Zf Friedrichshafen Ag Vorrichtung zum Navigieren eines Ist-Fahrzeugs durch zumindest einen Abschnitt einer Soll-Trajektorie, Verfahren und Verwendung
JP7331511B2 (ja) * 2019-07-16 2023-08-23 株式会社アイシン 車両周辺表示装置
CN110458884A (zh) * 2019-08-16 2019-11-15 北京茵沃汽车科技有限公司 在全景图中生成车辆运行动态轨迹线的方法、装置、介质
JP6825731B2 (ja) * 2020-02-04 2021-02-03 株式会社Ｊｖｃケンウッド 表示制御装置、表示制御方法及びプログラム
CN111586304B (zh) * 2020-05-25 2021-09-14 重庆忽米网络科技有限公司 一种基于5g及vr技术的全景摄像系统及方法
JP7696252B2 (ja) * 2021-08-19 2025-06-20 フォルシアクラリオン・エレクトロニクス株式会社 障害物表示装置
KR20240066751A (ko) 2022-11-08 2024-05-16 현대자동차주식회사 차량 및 차량위치산출방법
JP7477015B1 (ja) 2023-05-29 2024-05-01 いすゞ自動車株式会社 表示制御装置及び表示制御方法
FR3155195A1 (fr) * 2023-11-15 2025-05-16 Stellantis Auto Sas Système d’affichage en réalité augmentée de places de parking pour personne à mobilité réduite

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574443A (en) * 1994-06-22 1996-11-12 Hsieh; Chi-Sheng Vehicle monitoring apparatus with broadly and reliably rearward viewing
JPH09323590A (ja) * 1996-06-07 1997-12-16 Nec Corp 車載監視装置
CN1218335A (zh) * 1997-11-26 1999-06-02 倚天资讯股份有限公司 多频道射频模组的通讯装置
JPH11338074A (ja) * 1998-05-25 1999-12-10 Nissan Motor Co Ltd 車両用周囲モニタ装置
CN1255624A (zh) * 1998-11-26 2000-06-07 松下电器产业株式会社 车辆用单摄像机的三维观测系统
WO2000033279A1 (en) * 1998-12-03 2000-06-08 Aisin Aw Co., Ltd. Driving support device
US6114951A (en) * 1996-12-27 2000-09-05 Fuji Jukogyo Kabushiki Kaisha Vehicle collision preventing apparatus
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2736885A (en) * 1955-03-14 1956-02-28 Thompson William Lester Trailer and towing vehicle aligning indicator
JP2610146B2 (ja) 1987-12-04 1997-05-14 本田技研工業株式会社 車両の後方視界表示装置
JPH01168538A (ja) * 1987-12-23 1989-07-04 Honda Motor Co Ltd 車両の後方視界表示装置
US5109213A (en) * 1991-07-05 1992-04-28 Williams John J Tire pressure monitor
JPH0717328A (ja) * 1993-06-30 1995-01-20 Mitsubishi Motors Corp 車両用周辺認識補助装置
JPH07195978A (ja) * 1993-12-30 1995-08-01 Nissan Motor Co Ltd 車両周囲表示装置
JP3468487B2 (ja) * 1996-03-29 2003-11-17 生物系特定産業技術研究推進機構 作業車両の遠隔操作装置
JP3787218B2 (ja) * 1997-05-14 2006-06-21 クラリオン株式会社 車輌後方監視装置
EP2267656A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
JP3562335B2 (ja) * 1998-08-31 2004-09-08 アイシン精機株式会社 駐車補助装置
AUPP744998A0 (en) 1998-12-03 1998-12-24 Altamura, Ralph Paul Continents soccer match
JP4061757B2 (ja) * 1998-12-03 2008-03-19 アイシン・エィ・ダブリュ株式会社 駐車支援装置
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
JP4350838B2 (ja) * 1999-06-29 2009-10-21 富士通テン株式会社 車両の運転支援装置
JP4312883B2 (ja) * 1999-06-29 2009-08-12 富士通テン株式会社 車両の駐車支援装置
JP4723703B2 (ja) * 1999-06-25 2011-07-13 富士通テン株式会社 車両の運転支援装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
WO2001012472A1 (en) 1999-08-12 2001-02-22 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Steering assist device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574443A (en) * 1994-06-22 1996-11-12 Hsieh; Chi-Sheng Vehicle monitoring apparatus with broadly and reliably rearward viewing
JPH09323590A (ja) * 1996-06-07 1997-12-16 Nec Corp 車載監視装置
US6114951A (en) * 1996-12-27 2000-09-05 Fuji Jukogyo Kabushiki Kaisha Vehicle collision preventing apparatus
CN1218335A (zh) * 1997-11-26 1999-06-02 倚天资讯股份有限公司 多频道射频模组的通讯装置
JPH11338074A (ja) * 1998-05-25 1999-12-10 Nissan Motor Co Ltd 車両用周囲モニタ装置
CN1255624A (zh) * 1998-11-26 2000-06-07 松下电器产业株式会社 车辆用单摄像机的三维观测系统
WO2000033279A1 (en) * 1998-12-03 2000-06-08 Aisin Aw Co., Ltd. Driving support device
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103042972A (zh) * 2011-10-13 2013-04-17 哈曼贝克自动系统股份有限公司 控制显示车辆环景的光学输出装置的方法及车辆环景系统
CN103042972B (zh) * 2011-10-13 2016-08-03 哈曼贝克自动系统股份有限公司 控制显示车辆环景的光学输出装置的方法及车辆环景系统

Also Published As

Publication number Publication date
CN1371079A (zh) 2002-09-25
KR100481248B1 (ko) 2005-04-08
EP1231110A3 (en) 2004-09-08
DE60223095D1 (de) 2007-12-06
JP2002314991A (ja) 2002-10-25
US7058207B2 (en) 2006-06-06
DE60223095T2 (de) 2008-07-31
KR20020066214A (ko) 2002-08-14
EP1231110A2 (en) 2002-08-14
ATE376507T1 (de) 2007-11-15
JP3645196B2 (ja) 2005-05-11
US20020110262A1 (en) 2002-08-15
EP1231110B1 (en) 2007-10-24

Similar Documents

Publication Publication Date Title
CN1295656C (zh) 图像合成装置
JP7106846B2 (ja) 周辺監視装置
JP4325705B2 (ja) 表示システム及びプログラム
CN1174623C (zh) 多功能车载摄像机系统及其图像显示方法
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
CN101816175B (zh) 停车辅助装置以及停车辅助方法
CN104648387B (zh) 汽车用驻车支援系统及其方法
JP5459154B2 (ja) 車両用周囲画像表示装置及び方法
JP6045796B2 (ja) 映像処理装置、映像処理方法、および映像表示システム
CN107027329B (zh) 将行进工具的周围环境的局部图像拼接成一个图像
CN1333626A (zh) 图像合成装置和方法
JP5495071B2 (ja) 車両周辺監視装置
JP5213063B2 (ja) 車両表示装置および表示方法
JP2015027852A (ja) 運転支援装置
JP5622986B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
CN1461561A (zh) 用于车载摄像机的图像显示方法和装置
WO2018070298A1 (ja) 表示制御装置
JP2004240480A (ja) 運転支援装置
CN1535866A (zh) 障碍物探测装置
JP2022064677A (ja) 表示制御装置、表示装置及び表示制御プログラム
JP6876236B2 (ja) 表示制御装置
KR20100005971A (ko) 차량 전방위 감시 시스템
JP2021111854A (ja) 車両用電子ミラーシステム
KR101861523B1 (ko) 차량 운전 보조 장치 및 방법
WO2013144998A1 (ja) 車両用視認支援装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20070117