[go: up one dir, main page]

WO2009141846A1 - 車両周囲監視装置および車両周囲監視方法 - Google Patents

車両周囲監視装置および車両周囲監視方法 Download PDF

Info

Publication number
WO2009141846A1
WO2009141846A1 PCT/JP2008/001248 JP2008001248W WO2009141846A1 WO 2009141846 A1 WO2009141846 A1 WO 2009141846A1 JP 2008001248 W JP2008001248 W JP 2008001248W WO 2009141846 A1 WO2009141846 A1 WO 2009141846A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
auxiliary
frame
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2008/001248
Other languages
English (en)
French (fr)
Inventor
修作 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to CN2008801292090A priority Critical patent/CN102027744A/zh
Priority to US12/993,304 priority patent/US20110063444A1/en
Priority to EP08751766A priority patent/EP2280547A4/en
Priority to JP2010512845A priority patent/JPWO2009141846A1/ja
Priority to PCT/JP2008/001248 priority patent/WO2009141846A1/ja
Publication of WO2009141846A1 publication Critical patent/WO2009141846A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the first camera display area data 122-1 is image data for displaying a frame surrounding the image area in front of the vehicle 200 among the overhead images generated based on the first mapping table 121-1. It has become.
  • the third camera display area data 122-3 displays two frame lines surrounding the image area on the left and right sides of the vehicle 200 among the overhead images generated based on the third mapping table 121-3. It is image data.
  • step S1000 the display switching unit 130 selects the third mapping table 121-3 as an initial state, and sets it in the mapping table reference unit 141. At this time, the display switching unit 130 selects the third camera display area data 122-3 and sets it in the frame overlapping unit 143.
  • the direction of the auxiliary image is shown by making the image area corresponding to the auxiliary image in the overhead image stand out, and this image area is a frame line surrounding the image area. It is shown by superimposing on the image.
  • the frame line superimposed on the overhead image clearly indicates one or more regions closed to the vehicle 200 around the vehicle 200. That is, the vehicle periphery monitoring apparatus 100 can indicate the direction of the auxiliary image by visual information of a relatively large size of the corresponding image area by adopting the display form of the composite image in which the image area is surrounded by the frame line. . And since it is a frame line, the visibility of the image of the area

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置。この車両周囲監視装置（１００）は、車両の上方から車両の周囲を見た画像である俯瞰画像と、車両から車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御部（１４０）と、補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重畳して表示させる枠線重畳部（１４３）とを有する。また、車両周囲監視装置（１００）は、車両に取り付けられ、車両の周囲を撮影する第１～第４のカメラ（１１０－１～１１０－４）を更に有し、表示制御部（１４０）は、第１～第４のカメラ（１１０－１～１１０－４）の撮像画像を用いて、俯瞰画像を合成する。

Description

車両周囲監視装置および車両周囲監視方法
　本発明は、車両運転の際の安全確認の補助などに利用される車両周囲監視装置および車両周囲監視方法に係り、特に、車両周囲の撮像画像を表示する車両周囲監視装置および車両周囲監視方法に関する。
　乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方（以下適宜「後方」と総称する）をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲監視装置の普及が進んでいる。このような車両周囲監視装置を用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。
　このような車両周囲監視装置を発展させたものとして、複数のカメラを使って様々な運転シーンを網羅的に支援することを試みる装置が提案されている（例えば特許文献１参照）。特許文献１記載の車両周囲監視装置は、それぞれ異なる方向を向いた複数のカメラを用いて車両周囲を撮像し、複数の撮像画像を合成して、車両の上方の仮想視点から車両の周囲を見下ろした画像（以下「俯瞰画像」という）を生成する。そして、生成した俯瞰画像と、車両から周囲を見た画像（以下「補助画像」という）とを組み合わせた、複合画像（以下単に「複合画像」という）を表示する。
　補助画像は、例えば、車両が後退しているときにはリア方向の画像となり、同乗者が乗り降りするときには左右方向の画像となる。運転者は、このようなビューが表示されることにより、俯瞰画像にて複数の方向に気を配りながら、補助画像にて特定の範囲の様子を詳細に確認することができる。
　使い勝手の向上の観点から、運転者に対して、どの方向の画像が補助画像に映し出されているのかを、よりわかりやすく、つまり高い視認性をもって伝えられることが望ましい。そこで、補助画像がどの方向の画像を映し出しているのかを示す情報を複合画像に表示する技術が、従来存在している。
　図１は、従来の車両周囲監視装置による複合画像の画面構成を示す図である。従来のビュー１０は、俯瞰画像２０および補助画像３０に加えて、これらとは別の領域に、補助画像がどの方向の画像を映し出しているのかを示すアイコン４０を表示する。このようなビュー１０によれば、運転者は、補助画像３０として映し出されている画像の方向（以下単に「補助画像の方向」という）を、アイコン４０を見ることで、正確に認識することができる。
国際公開第００／６４１７５号パンフレット
　しかしながら、図１に示す従来の複合画像は、限られた画面に俯瞰画像および補助画像の視認性を損なわずにアイコンを表示する必要があるため、アイコンを小さくせざるを得ないという問題がある。アイコンが小さいと、運転者が補助画像の方向を認識し難く、安全確認に支障をきたすおそれがある。したがって、俯瞰画像、補助画像、および補助画像の方向の全てが、高い視認性で表示されることが望ましい。
　本発明の目的は、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置および車両周囲監視方法を提供することである。
　本発明の車両周囲監視装置は、車両の上方から前記車両の周囲を見た画像である俯瞰画像と、前記車両から前記車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御手段と、前記補助画像に対応する画像領域を囲む枠線を、前記俯瞰画像に重畳して表示させる枠線重畳手段とを有する構成を採る。
　このように構成された車両周囲監視装置は、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。
　本発明の車両周囲監視装置は、前記車両に取り付けられ、前記車両の周囲を撮影する複数のカメラを更に有し、前記表示制御手段が、前記複数のカメラの撮像画像を用いて、前記俯瞰画像を合成する構成を有する。
　このように構成された車両周囲監視装置は、車両に取り付けた複数のカメラの撮像画像から、俯瞰画像を合成することができるので、車両の移動に追従して俯瞰画像を表示することができる。
　本発明の車両周囲監視装置は、前記補助画像の水平画角が、前記俯瞰画像の水平画角よりも狭い構成を有する。
　このように構成された車両周囲監視装置は、より大きい水平画角の画像を有する俯瞰画像と、これよりも小さい水平画角の補助画像とを、１つの画面に表示するので、運転者に対し、車両周囲の広い範囲と狭い範囲との両方の様子を、表示画像で確認させることができる。すなわち、運転状況において特に注意すべき領域等、より詳細に見せたい領域を、広い範囲の領域と併せて運転者に提示することができる。
　本発明の車両周囲監視装置は、前記表示制御手段が、前記俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示させる構成を有する。
　このように構成された車両周囲監視装置は、俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示することができる。これにより、複数種類の補助画像を表示することができるとともに、個々の補助画像を比較的大きいサイズで表示することができ、かつ、必要な補助画像に絞って表示することができる。
　本発明の車両周囲監視装置は、前記複数のカメラの撮像画像から、前記俯瞰画像と前記補助画像とを１つの画面に表示する画像である複合画像を合成するためのマッピングテーブルと、前記マッピングテーブルに基づいて合成される複合画像に前記枠線を重畳するための表示領域データと、の組を、前記複数の補助画像に対応して複数組記憶するデータ記憶手段と、前記データ記憶手段に記憶された前記マッピングテーブルと前記表示領域データとの複数の組を切り替えて選択する表示切替手段とを更に有し、前記表示制御手段は、前記表示切替手段によって選択された組のマッピングテーブルを用いて、前記複合画像を合成し、前記枠線重畳手段は、前記表示切替手段によって選択された組の表示領域データを用いて、前記複合画像に前記枠線の画像を重畳する構成を有する。
　このように構成された車両周囲監視装置は、マッピングテーブルおよび表示領域データの組を切り替えることによって枠線が重畳された複合画像を表示することができるので、枠線が重畳された複数種類の複合画像を簡単に切り替えて表示することができる。
　本発明の車両周囲監視装置は、前記補助画像が、前記車両の前方の画像、前記車両の後方の画像、および前記車両の側方の画像の少なくとも１つを含む構成を有する。
　このように構成された車両周囲監視装置は、車両の前方の画像、後方の画像、または側方の画像を、補助画像として表示することができるので、車両運転の際の安全確認を行い易い範囲を、１つの補助画像として表示することができる。
　本発明の車両周囲監視装置は、前記表示制御手段が、前記車両の動作状態に応じて、前記複数の補助画像を切り替えて表示する構成を有する。
　このように構成された車両周囲監視装置は、車両の動作状態に応じて、補助画像を切り替えることができる。これにより、車両が前進するときには車両の前方を表示し、車両が後退するときには車両の後方を表示し、車両が停止している場合には車両の側方を表示するというように、運転者が特に安全確認を行うべき範囲の画像を、自動で選択して表示することができる。
　本発明の車両周囲監視方法は、車両の動作状態を判断するステップと、前記車両の動作状態に応じて、前記車両から周囲を異なる方向で見た画像である複数の補助画像の中から、いずれか１つを選択するステップと、選択した前記補助画像と、前記車両の上方から前記車両の周囲を見た画像である俯瞰画像と、を１つの画面に同時に表示し、かつ、前記補助画像に対応する画像領域を囲む枠線を前記俯瞰画像に重畳して表示するステップとを有する方法である。
　このような車両周囲監視方法によれば、車両の動作状態に応じて、補助画像を切り替えることができるとともに、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、俯瞰画像と、車両の動作状態に応じた種類の補助画像と、その補助画像の方向とを表示することができる。
　本発明によれば、補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重ねて表示し、補助画像の方向を画像領域の強調により示すことができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。
従来の車両周囲監視装置による複合画像を示す平面図 本発明の一実施の形態に係る車両周囲監視装置の構成図 本実施の形態におけるカメラおよびモニタの取り付け位置の一例を示す斜視図 本実施の形態における複合画像の例を示す平面図 本実施の形態における車両のギアがリバースに設定されているときの各画像の一例を示す平面図 本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート 本実施の形態におけるフレーム処理の一例を示すフローチャート 本実施の形態に係る車両周囲監視装置と他の車両周囲監視装置との比較実験の評価対象を示す図 本実施の形態についての比較実験の被験者のデータを示す図 本実施の形態についての比較実験の結果を示す円グラフ
　以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
　図２は、本発明の一実施の形態に係る車両周囲監視装置のシステム構成図である。本実施の形態に係る車両周囲監視装置は、車両の上方から車両の周囲を見た画像である俯瞰画像と、車両から車両の周囲を見た画像である補助画像とを１つの画面に配置した複合画像を表示する装置に、本発明を適用した例として説明する。
　図２において、車両周囲監視装置１００は、大別して、第１～第４のカメラ１１０－１～１１０－４、データ記憶部１２０、表示切替部１３０、表示制御部１４０、およびモニタ１５０から構成されている。
　第１～第４のカメラ１１０－１～１１０－４は、同一の構成を有しているため、カメラ１１０としてまとめて説明を行う。カメラ１１０は、撮像部１１１と、フレームメモリ１１２を有するフレーム切替部１１３とから構成されている。ここで、撮像部１１１は、ＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal oxide）などの撮像素子と、撮像素子の撮像面に光学像を結像させる光学系とを有し（いずれも図示せず）、撮像素子で撮像した画像をフレームメモリ１１２に出力するように構成されている。フレームメモリ１１２は、撮像部１１１で撮像した画像を一時的に格納するメモリである。フレーム切替部１１３は、撮像部１１１で撮影した画像の入力先を各フレームメモリ１１２に切り替えることができ、また、表示制御部１４０に出力する画像の参照先であるフレームメモリ１１２を切り替えることができるように構成されている。なお、撮像素子としてＣＭＯＳを採用する場合には、撮像素子にフレームメモリ１１２の機能を持たせるようにしてもよい。
　図３は、図１の車両周囲監視装置の第１～第４のカメラ１１０－１～１１０－４およびモニタ１５０の取り付け位置の一例を示す斜視図である。
　図３に示すように、第１のカメラ１１０－１は、車両２００前部のバンパーを含む車両２００の前方を撮像するために、車両２００の正面中央に取り付けられている。第２のカメラ１１０－２は、車両２００の後部のバンパーを含む車両２００の後方を撮像するために、車両２００の後部中央に取り付けられている。第３のカメラ１１０－３は、車両２００の左側方を撮像するために、車両２００の左サイドミラーに取り付けられている。第４のカメラ１１０－４は、車両２００右側方を撮像するために、車両２００の右サイドミラーに取り付けられている。また、モニタ１５０は、車両２００のダッシュボードの運転者から見える位置に取り付けられている。
　第１～第４のカメラ１１０－１～１１０－４の撮像範囲１１０ａ－１～１１０ａ－４は、いずれも、車両２００の周囲の地面を含む。また、第１～第４のカメラ１１０－１～１１０－４の撮像範囲１１０ａ－１～１１０ａ－４のうち、隣り合う撮像範囲１１０ａは、少なくとも地面において、接するか、重なり合っている。これにより、第１～第４のカメラ１１０－１～１１０－４は、全体で、車両２００周囲の地面を３６０度撮像することができる。また、第１～第４のカメラ１１０－１～１１０－４の撮像画像を表示することにより、運転者に対し、地面の障害物の有無を画像で示すことができる。
　俯瞰画像および補助画像は、後述するが、第１～第４のカメラ１１０－１～１１０－４の撮像画像に基づいて合成される。したがって、車両周囲監視装置１００は、車両２００の移動に追従して、車両２００周囲の様子をほぼリアルタイムで表示する俯瞰画像および補助画像を、運転者に提示することができる。
　図２のデータ記憶部１２０は、第１～第３のマッピングテーブル１２１－１～１２１－３と、これに対応する第１～第３のカメラ表示領域データ１２２－１～１２２－３が予め記憶されて構成されている。
　マッピングテーブル１２１は、複合画像の画素ごとのマッピングデータの集合である。マッピングデータは、複合画像の各画素が、フレームメモリ１１２に格納された画像のどの画素に対応するかを示すデータである。すなわち、マッピングテーブル１２１は、第１～第４のカメラ１１０－１～１１０－４の撮像画像から複合画像を合成するためのテーブルである。カメラ表示領域データ１２２は、マッピングテーブル１２１に基づいて生成される複合画像のうち、補助画像に対応する画像領域を示すデータである。本実施の形態では、カメラ表示領域データ１２２は、俯瞰画像のうち補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重ねて表示するための画像データであるものとする。
　表示切替部１３０は、車両２００の運転状況に応じて、データ記憶部１２０に格納された第１～第３のマッピングテーブル１２１－１～１２１－３を切り替えて選択するとともに、選択したマッピングテーブル１２１に対応するカメラ表示領域データ１２２を選択するように構成されている。
　表示制御部１４０は、第１～第４のカメラ１１０－１～１１０－４の各フレームメモリ１１２に格納された画像から、表示切替部１３０により選択されたマッピングテーブル１２１およびカメラ表示領域データ１２２を用いて、複合画像を生成するように構成されている。表示制御部１４０は、マッピングテーブル参照部１４１、画像合成部１４２、枠線重畳部１４３、映像信号生成部１４４、およびタイミング生成部１４５から構成されている。
　マッピングテーブル参照部１４１は、表示切替部１３０により選択されたマッピングテーブル１２１を一時的に格納し、このマッピングテーブル１２１を参照して、複合画像の各画素のマッピングデータを画像合成部１４２に出力するように構成されている。
　画像合成部１４２は、マッピングテーブル参照部１４１から出力されるマッピングデータに従って、第１～第４のカメラ１１０－１～１１０－４のフレームメモリ１１２に格納された画像を読み取り、読み取った画像のマッピングを行うように構成されている。すなわち、画像合成部１４２から出力される画像データは、表示切替部１３０により選択されたマッピングテーブル１２１に基づく複合画像の画像データとなる。
　枠線重畳部１４３は、画像合成部１４２から出力される画像データと、表示切替部１３０により選択されたカメラ表示領域データ１２２とを合成し、補助画像に対応する画像領域を囲む枠線の画像を複合画像に重畳した画像（以下「枠線重畳画像」という）を生成するように構成されている。
　映像信号生成部１４４は、枠線重畳部１４３で生成されたフレームごとの枠線重畳画像から、動画系列を表示するための映像信号を生成するように構成されている。
　タイミング生成部１４５は、第１～第４のカメラ１１０－１～１１０－４のフレーム切替部１１３が接続状態を切り替えるタイミングと、マッピングテーブル参照部１４１がマッピングデータを出力するタイミングと、映像信号生成部１４４の動作タイミングとを制御するタイミング信号を生成するように構成されている。
　モニタ１５０は、任意のディスプレイから構成されており、表示制御部１４０で生成された映像信号に基づいて、枠線重畳画像を表示することができるように構成されている。
　なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（central processing unit）や、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリなどを有する。例えば、ＣＰＵが制御プログラムを実行することで、上記した各部の機能は実現される。
　次に、第１～第３のマッピングテーブル１２１－１～１２１－３および第１～第３のカメラ表示領域データ１２２－１～１２２－３の内容について説明する。
　第１～第３のマッピングテーブル１２１－１～１２１－３は、第１～第４のカメラ１１０－１～１１０－４の撮像画像から複合画像を合成するためのマッピングテーブルである。本実施の形態の複合画像は、車両２００上方に固定された仮想視点による俯瞰画像と、補助画像とを、左右に並べて配置したものである。このような表示形態を採ることにより、運転者に対し、車両２００の周囲の広い範囲と狭い範囲との両方の様子を、表示画像で確認させることができる。また、俯瞰画像は車両２００の周囲３６０度の画像を表示するので、運転者に対し、全ての方向の様子を表示画像で確認させることができる。
　第１のマッピングテーブル１２１－１は、車両２００前方の画像を補助画像として表示するためのマッピングテーブルである。また、第２のマッピングテーブル１２１－２は、車両２００後方の画像を補助画像として表示するためのマッピングテーブルである。また、第３のマッピングテーブル１２１－３は、車両２００左方向の画像および右方向の画像を並べた側方画像を補助画像として表示するためのマッピングテーブルである。
　図４Ａ～図４Ｃは、第１～第３のマッピングテーブル１２１－１～１２１－３から生成される複合画像の例を示す平面図である。
　図４Ａに示すように、第１のマッピングテーブル１２１－１が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００前方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００前方の画像領域２００ｆに対応している。画像領域２００ｆは、例えば、第１のカメラ１１０－１の撮像範囲１１０ａ－１に対応している。
　図４Ｂに示すように、第２のマッピングテーブル１２１－２が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００後方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００後方の画像領域２００ｂに対応している。画像領域２００ｂは、例えば、第２のカメラ１１０－２の撮像範囲１１０ａ－２に対応している。
　図４Ｃに示すように、第３のマッピングテーブル１２１－３が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００左側方の画像および車両２００右側方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００左側方の画像領域２００ｌおよび右側方の画像領域２００ｒに対応している。画像領域２００ｌは、例えば、第３のカメラ１１０－１の撮像範囲１１０ａ－３に対応している。画像領域２００ｒは、例えば、第４のカメラ１１０－４の撮像範囲１１０ａ－４に対応している。
　表示切替部１３０は、車両２００がリバース以外のギア設定で走行している間は、第１のマッピングテーブル１２１－１を選択し、車両２００がリバースのギア設定で走行している間は、第２のマッピングテーブル１２１－２を選択する。これにより、走行時に車両２００の進行方向の画像が補助画像３２０に表示され、運転者は、より安全な走行を行うことができる。また、表示切替部１３０は、車両２００が走行していない間やサイドドアが開かれている間は、第３のマッピングテーブル１２１－３を選択する。これにより、乗降時に車両２００のサイドドア周囲の画像が補助画像３２０に表示され、運転者は、安全な乗降を図ることができる。すなわち、運転者が特に安全確認を行うべき範囲の画像を、自動で選択して表示することができる。また、不要な補助画像３２０は表示されないので、個々の補助画像３２０を比較的大きいサイズで表示することができる。
　また、ここで、車両のギアがリバースに設定されているときの、カメラ表示領域データおよび枠線重畳画像の例について説明する。
　図５Ａ～図５Ｃは、車両２００のギアがリバースに設定されているときの、複合画像の一例と、カメラ表示領域データによる枠線の画像の一例と、これらの画像から生成される枠線重畳画像の一例とを示す平面図である。
　図５Ａに示すように、複合画像３００の俯瞰画像３１０の中央には、車両２００を上方からみたときの画像３３０が配置される。車両２００のギアがリバースに設定されているときには、上述したように第２のマッピングテーブル１２１－２が選択されるため、図５Ａに示すように、複合画像３００の画像データは、補助画像３２０として車両２００後方の画像を表示するデータとなる。この画像は、上述したように、俯瞰画像３１０のうち、車両２００後方の画像領域に対応する。したがって、第２のカメラ表示領域データ１２２－２は、図５Ｂに示すように、俯瞰画像３１０のうち車両２００後方の画像領域を囲む枠線３４０を表示する画像データ３５０となっている。
　枠線重畳部１４３で、図５Ａに示す複合画像３００の画像データに、図５Ｂに示すカメラ表示領域データ１２２－２が重畳されることにより、図５Ｃに示すような枠線重畳画像３６０が生成される。枠線重畳画像３６０は、俯瞰画像３１０のうち、補助画像３２０に対応する車両２００後方の画像領域が、枠線３４０により囲まれた状態となる。また、車両２００の画像３３０と枠線３４０とにより、補助画像３２０に対応する画像領域は、閉じられた領域となっている。
　同様に、第１のカメラ表示領域データ１２２－１は、第１のマッピングテーブル１２１－１に基づいて生成される俯瞰画像のうち、車両２００前方の画像領域を囲む枠線を表示する画像データとなっている。また、第３のカメラ表示領域データ１２２－３は、第３のマッピングテーブル１２１－３に基づいて生成される俯瞰画像のうち、車両２００左右側方の画像領域を囲む２つの枠線を表示する画像データとなっている。マッピングテーブル１２１と表示領域データ１２２との組を切り替えることにより、枠線が重畳された複数種類の複合画像３００を簡単に切り替えて表示することができる。
　第１～第３のカメラ表示領域データ１２２－１～１２２－３は、様々な手法により生成することができる。
　例えば、第１～第３のカメラ表示領域データ１２２－１～１２２－３は、オペレータが、第１～第３のマッピングテーブル１２１－１～１２１－３に基づいて生成される３つの複合画像を目視で確認しながら、枠線３４０の位置を手動で設定することにより、生成される。
　また、例えば、第１～第３のカメラ表示領域データ１２２－１～１２２－３は、各マッピングテーブル１２１から、所定の面（例えば地面）について補助画像が映し出す範囲を演算し、演算された範囲を基準に、枠線を自動設定することによって、生成される。
　また、例えば、第１～第３のカメラ表示領域データ１２２－１～１２２－３は、補助画像の画像範囲がカメラ１１０ごとの撮像範囲に対応している場合には、補助画像に対応するカメラ１１０の撮像画像がマッピングされたときのマッピング先の領域を基準に、枠線を自動設定することによって、生成される。
　枠線の位置、色、線種、大きさ、および太さなどの形態は、補助画像の方向および俯瞰画像の画像を運転者が容易に認識することができる形態であればよい。また、枠線は、領域や障害物接近などの各種条件に応じて、色、太さ、点滅状態を変化するようにしてもよい。また、枠線が囲む範囲は、必ずしも、補助画像で映し出され、かつ俯瞰画像で表示可能な範囲に完全に一致させる必要は無く、補助画像の方向を正しく認識することが可能な範囲とすればよい。
　次に、このように構成された車両周囲監視装置１００の動作について説明する。
　図６は、車両周囲監視装置１００の動作の一例を示すフローチャートである。ここでは、車両２００がパーキングギアに設定されている状態で、車両周囲監視装置１００の動作が開始されるものとする。
　まず、ステップＳ１０００で、表示切替部１３０は、初期状態として、第３のマッピングテーブル１２１－３を選択し、マッピングテーブル参照部１４１に設定する。また、このとき、表示切替部１３０は、第３のカメラ表示領域データ１２２－３を選択し、枠線重畳部１４３に設定する。
　そして、ステップＳ２０００で、表示切替部１３０は、車両２００のギアがフォワードギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがフォワードギアに切り替えられた場合には（Ｓ２０００：ＹＥＳ）、ステップＳ３０００に進み、ギアがフォワードギアに切り替えられていない場合には（Ｓ２０００：ＮＯ）、ステップＳ４０００に進む。
　ステップＳ３０００で、表示切替部１３０は、第１のマッピングテーブル１２１－１を選択し、マッピングテーブル参照部１４１に設定する。また、このとき、表示切替部１３０は、第１のカメラ表示領域データ１２２－１を選択し、枠線重畳部１４３に設定する。
　そして、ステップＳ５０００で、車両周囲監視装置１００は、カメラ１１０、マッピングテーブル参照部１４１、画像合成部１４２、枠線重畳部１４３、および映像信号生成部１４４によるフレーム処理を実行する。フレーム処理については後述する。
　そして、ステップＳ６０００で、車両周囲監視装置１００は、処理を継続するか否かを判断し、継続する場合には（Ｓ６０００：ＹＥＳ）、ステップＳ２０００に戻り、継続しない場合には（Ｓ６０００：ＮＯ）、一連の処理を終了する。
　また、ステップＳ４０００で、表示切替部１３０は、車両２００のギアがリバースギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがリバースギアに切り替えられた場合には（Ｓ４０００：ＹＥＳ）、ステップＳ７０００に進み、ギアがリバースギアに切り替えられていない場合には（Ｓ４０００：ＮＯ）、ステップＳ８０００に進む。
　ステップＳ７０００で、表示切替部１３０は、第２のマッピングテーブル１２１－２を選択し、マッピングテーブル参照部１４１に設定し、ステップＳ５０００のフレーム処理に進む。また、このとき、表示切替部１３０は、第２のカメラ表示領域データ１２２－２を選択し、枠線重畳部１４３に設定する。
　また、ステップＳ８０００で、表示切替部１３０は、車両２００のギアがパーキングギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがパーキングギアに切り替えられた場合には（Ｓ８０００：ＹＥＳ）、ステップＳ９０００に進み、ギアがパーキングギアに切り替えられていない場合には（Ｓ８０００：ＮＯ）、ステップＳ５０００のフレーム処理に進む。
　なお、ギアの切り替えが行われていない間は、ステップＳ５０００のフレーム処理が繰り返されることになる。
　このような動作により、車両２００のギアがパーキング、フォワードギア、およびリバースギアの間で切り替えられる度に、使用されるマッピングテーブル１２１およびカメラ表示領域データ１２２は切り替わり、その結果、補助画像の方向および俯瞰画像の枠の位置が切り替わる。そして、フレーム単位で複合画像に枠線を重畳して映像信号を生成する、以下に説明するフレーム処理が繰り返される。
　図７は、フレーム処理の一例を示すフローチャートである。
　まず、ステップＳ５１００で、第１～第４のカメラ１１０－１～１１０－４は、カメラ画像が書き込まれるフレームメモリ１１２と、画像合成部１４２によって参照されるフレームメモリ１１２とを切り替える。
　具体的には、各カメラ１１０のフレーム切替部１１３は、撮像部１１１からの画像の入力が完了したフレームメモリ１１２が、表示制御部１４０による画像の参照先となるように、各フレームメモリ１１２と撮像部１１１との接続状態、および各フレームメモリ１１２と表示制御部１４０との接続状態を切り替える。これらの接続状態の切り替えタイミングは、表示制御部１４０から出力されるタイミング信号によって制御される。画像合成部１４２から参照されるカメラ画像の画素の位置は、撮像部１１１の書き込みの順序とは関係無く飛び飛びになる。したがって、各カメラ１１０において、このようにフレーム切替部１１３が複数のフレームメモリ１１２を切り替えることにより、書き込みと参照が干渉しないようにすることができる。
　そして、ステップＳ５２００で、タイミング生成部１４５は、合成出力のタイミングに合わせて、マッピングテーブル参照部１４１が現在マッピングデータを出力すべき画素を設定する。タイミング生成部１４５は、ステップＳ５２００で複合画像のフレームの各画素を１つずつ順に選択し、設定する。
　そして、ステップＳ５３００で、マッピングテーブル参照部１４１は、ステップＳ５２００で設定された画素に対応する要素を、現在格納しているマッピングテーブルから読み出し、マッピングデータとして画像合成部１４２に出力する。
　そして、ステップＳ５４００で、画像合成部１４２は、入力されたマッピングデータに従って、各カメラ１１０のフレームメモリ１１２に記録されたカメラ画像の、対応する画素の値を合成することにより、複合画像の画像データを生成し、枠線重畳部１４３に出力する。例えば、画素の値の最も簡単な決定方法は、フレームメモリ１１２の対応する画素データの値をそのまま画素の値とすることである。
　そして、ステップＳ５５００で、枠線重畳部１４３は、入力された複合画像の画像データと、カメラ表示領域データ１２２とから、複合画像に補助画像の方向を示す枠線を重畳した枠線重畳画像の画像データを生成し、映像信号生成部１４４に出力する。
　枠線重畳部１４３は、カメラ表示領域データ１２２が、枠線の部分に色彩を付し他の部分を透明とした画像の画像データである場合には、その画像を複合画像に重ね合わせる画像処理により、枠線重畳画像の画像データを生成する。また、枠線重畳部１４３は、カメラ表示領域データ１２２が、枠線の部分の画素を示すデータである場合には、複合画像のうち該当する箇所の画素値を変換することにより、枠線重畳画像の画像データを生成する。
　枠線重畳部１４３には、上述の通り、常に、画像合成部１４２が使用しているマッピングテーブル１２１に対応するカメラ表示領域データ１２２が設定された状態となっている。したがって、枠線重畳部１４３では、常に、補助画像に対応する画像領域を囲む枠線が、俯瞰画像に重畳されることになる。
　そして、ステップＳ５６００で、映像信号生成部１４４は、入力された枠線重畳画像の画像データを映像信号に変換し、映像信号をモニタ１５０に出力する。
　そして、ステップＳ５７００で、タイミング生成部１４５は、フレームの最終画素に対する処理が完了したか否かを判断する。タイミング生成部１４５は、最終画素に対する処理がまだ終了していない場合は（Ｓ５７００：ＮＯ）、ステップＳ５８００に進む。
　ステップＳ５８００で、タイミング生成部１４５は、次の画素の処理へ移行し、ステップＳ５２００に戻る。
　そして、車両周囲監視装置１００は、ステップＳ５２００～Ｓ５７００の処理を繰り返した結果、合成画像のフレームの最終画素に対する処理が完了すると（Ｓ５７００：ＹＥＳ）、図６の処理に戻る。そして、車両周囲監視装置１００は、適宜次のフレームに対するフレーム処理を開始する。
　このようなフレーム処理により、車両周囲監視装置１００は、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重畳した枠線重畳画像を、モニタ１５０に表示させる。
　なお、ここでは、フレーム単位で合成処理を行う場合について説明したが、フィールド単位で合成処理を行う場合にも、同様の処理で枠線重畳画像を表示することができる。
　以上説明した動作により、車両周囲監視装置１００は、車両２００の動作状態に応じた補助画像を示すとともに、その補助画像の方向を、俯瞰画像に重畳した枠線によって示すことができる。これにより、俯瞰画像と、車両２００の動作状態に応じた種類の補助画像と、補助画像の方向を、高い視認性で同時表示することができる。
　上述のように、車両周囲監視装置１００では、補助画像の方向は、俯瞰画像のうち補助画像に対応する画像領域を目立たせることで示され、この画像領域は、画像領域を囲む枠線を俯瞰画像に重畳することによって示される。俯瞰画像に重畳された枠線は、車両２００周辺の、車両２００に対して閉じた１つまたは複数の領域を、明瞭に示す。すなわち、車両周囲監視装置１００は、枠線により画像領域を囲むという複合画像の表示形態を採ることにより、補助画像の方向を、対応する画像領域という比較的大きなサイズの視覚情報によって示すことができる。しかも、枠線であるため、その領域の画像の視認性には、ほとんど影響を及ぼすことが無い。
　以下、本実施の形態による複合画像の表示形態と、従来の形態を含む他の複合画像の表示形態との、視認性についての比較実験結果について説明する。
　視認性についての比較実験は、本実施の形態に係る複合画像と、他の表示形態を採る複合画像と、従来の表示形態を採る複合画像とを、複数の被験者に見せ、各被験者が補助画像に対応する画像領域を最も把握し易いと評価した表示形態にポイントを付け、ポイントの集計結果を比較することにより行った。
　図８は、上記比較実験の評価対象を示す図である。
　図８に示すように、本実験では、本実施の形態に係る複合画像、つまり俯瞰画像に枠線を重畳する表示形態を、第１案とした。また、俯瞰画像および補助画像とは別の領域に、文字情報を用いて補助画像の方向を示すアイコンを表示する形態を、第２案とした。また、従来の表示形態、つまり、俯瞰画像および補助画像とは別の領域に、補助画像の方向を図で示すアイコンを表示する形態を、第３案とした。また、それぞれの案において、車両の後退シーンおよび前進シーンの複合画像の静止画を用意した。
　第１案は、補助画像の方向を示す画像を俯瞰画像に重ねて配置しているものの、枠線で領域を囲むという形態を採っているため、俯瞰画像の視認性はほとんど低下しない。また、第２案および第３案とも、補助画像の方向を示すアイコンは、俯瞰画像および補助画像の表示範囲の縮小による視認性の低下を最小限に抑えるべく、十分小さい大きさで表示されている。したがって、第１案～第３案のいずれも、俯瞰画像および補助画像の視認性はほぼ同レベルとなっている。
　図９は、上記比較実験の被験者のデータを示す図である。
　図９に示すように、被験者は、２０代～６０代の男女２４人である。いずれの被験者も、月１回以上、軽度に普通乗用車を運転している者である。本実験では、各被験者に対し、図８に示す３案の画像を見せ、補助画像の方向について見間違えを起こさないかどうかという観点で、被験者の主観による３案の順位付けを回答させた。
　図１０は、上記比較実験の結果を、どの案の複合画像に対して何人の被験者が最も見易いと評価したかを示す円グラフである。
　図１０に示すように、第１案（本実施の形態）の複合画像を最も見易いと評価した被験者の数は、１７人と最も多く、第２案の５人、第３案の２人と続いた。第２案および第３案の俯瞰画像および補助画像の表示サイズは、アイコンの表示領域のために、第１案よりも小さくせざるを得ない。したがって、第２案および第３案の俯瞰画像および補助画像の視認性は、第１案の俯瞰画像および補助画像の視認性よりも劣る。したがって、本実験結果は、補助画像の方向の視認性の比較結果を示すものであるといえる。この実験結果より、本実施の形態に係る複合画像は、第２案および第３案に係る複合画像に比べて、俯瞰画像、補助画像、および補助画像の方向を、より高い視認性で同時表示することができることが明らかであり、特に、従来の車両周囲監視装置に係る複合画像に対して優位性を有することは明らかである。
　以上説明したように、本実施の形態によれば、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができるので、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。
　また、補助画像の方向を、対応する画像領域を囲む枠線で示すので、補助画像の方向を、俯瞰画像の視認性低下を最小限に抑えながら、視覚的により目立つ状態で示すことができる。
　また、俯瞰画像および補助画像のいずれも、車両の周囲の地面の画像を含んでいるので、運転者は、地面の障害物を視認することができるとともに、地面の画像を基準として俯瞰画像と補助画像との対応付けを行うことができる。
　なお、本実施の形態では、マッピングテーブルとカメラ表示領域データとを別個に用意した場合について説明したが、マッピングテーブルにカメラ表示領域データを含むようにしてもよい。この場合には、例えば、マッピングテーブルは、複合画像のうち枠線の部分とすべき画素の画素値を、枠線の色の画素値とする。これにより、枠線重畳部１４３を設けることなく、マッピング処理のみによって、俯瞰画像に枠線が重畳された画像を表示することができる。
　また、本実施の形態では、複合画像全体のマッピングテーブルを用意する場合について説明したが、例えば、俯瞰画像と補助画像とで別に用意し、俯瞰画像のマッピングテーブルと補助画像のマッピングテーブルとを組み合わせて用いるようにしてもよい。また、カメラの撮像画像をそのまま補助画像として用いる場合には、補助画像部分のマッピングテーブルは不要である。
　また、本実施の形態では、枠線を俯瞰画像に重ねて表示するための手法として、カメラ表示領域データを画像データとしてマッピングテーブルとは別個に用意する場合について説明したが、他の手法を用いてもよい。例えば、マッピングデータのうち、枠線の部分に対応する画素に、カメラ画素の情報ではなく枠線の色情報を入れることにより、枠線の情報をマッピングテーブルに埋め込んでおく手法が考えられる。
　また、本実施の形態では、補助画像の方向が前方、後方、および左右側方の３つのパターンで切り替わる場合について説明したが、より多くの方向で補助画像の方向が切り替わるようにしてもよい。この場合には、それぞれの方向に対応するマッピングテーブルおよびカメラ表示領域データを用意すればよい。
　また、補助画像の方向を任意に設定したり、補助画像の方向をスムーズに変化させるようにしてもよい。この場合には、補助画像が映し出す地面の範囲をリアルタイムで演算し、演算された地面の範囲を基準に、俯瞰画像における枠線の位置を更にリアルタイムで演算すればよい。
　また、俯瞰画像の仮想視点が固定されている場合について説明したが、この仮想視点の位置、向き、および画角等は、可変としてもよい。この場合には、俯瞰画像のうち、補助画像が映し出す地面の範囲に対応する画像領域を、仮想視点の状態に基づいてリアルタイムで演算し、演算された画像領域を囲む枠線を、更にリアルタイムで複合画像に描画すればよい。
　また、本実施の形態では、車両周囲の撮像を４つのカメラで行う場合について説明したが、４つ未満、または５つ以上のカメラで行うようにしてもよい。
　本発明に係る車両周囲監視装置および車両周囲監視方法は、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置および車両周囲監視方法として有用である。
 
 

Claims (8)

  1. 　車両の上方から前記車両の周囲を見た画像である俯瞰画像と、前記車両から前記車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御手段と、
    　前記補助画像に対応する画像領域を囲む枠線を、前記俯瞰画像に重畳して表示させる枠線重畳手段と、
    　を有する車両周囲監視装置。
  2. 　前記車両に取り付けられ、前記車両の周囲を撮影する複数のカメラ、を更に有し、
    　前記表示制御手段は、
    　前記複数のカメラの撮像画像を用いて、前記俯瞰画像を合成する、
    　請求項１記載の車両周囲監視装置。
  3. 　前記補助画像の水平画角は、前記俯瞰画像の水平画角よりも狭い、
    　請求項１記載の車両周囲監視装置。
  4. 　前記表示制御手段は、
    　前記俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示させる、
    　請求項２記載の車両周囲監視装置。
  5. 　前記複数のカメラの撮像画像から、前記俯瞰画像と前記補助画像とを１つの画面に表示する画像である複合画像を合成するためのマッピングテーブルと、前記マッピングテーブルに基づいて合成される複合画像に前記枠線を重畳するための表示領域データと、の組を、前記複数の補助画像に対応して複数組記憶するデータ記憶手段と、
    　前記データ記憶手段に記憶された前記マッピングテーブルと前記表示領域データとの複数の組を切り替えて選択する表示切替手段と、を更に有し、
    　前記表示制御手段は、
    　前記表示切替手段によって選択された組のマッピングテーブルを用いて、前記複合画像を合成し、
    　前記枠線重畳手段は、
    　前記表示切替手段によって選択された組の表示領域データを用いて、前記複合画像に前記枠線の画像を重畳する、
    　請求項４記載の車両周囲監視装置。
  6. 　前記補助画像は、前記車両の前方の画像、前記車両の後方の画像、および前記車両の側方の画像の少なくとも１つを含む、
    　請求項１記載の車両周囲監視装置。
  7. 　前記表示制御手段は、
    　前記車両の動作状態に応じて、前記複数の補助画像を切り替えて表示させる、
    　請求項４記載の車両周囲監視装置。
  8. 　車両の動作状態を判断するステップと、
    　前記車両の動作状態に応じて、前記車両から周囲を異なる方向で見た画像である複数の補助画像の中から、いずれか１つを選択するステップと、
    　選択した前記補助画像と、前記車両の上方から前記車両の周囲を見た画像である俯瞰画像と、を１つの画面に同時に表示し、かつ、前記補助画像に対応する画像領域を囲む枠線を前記俯瞰画像に重畳して表示するステップと、
    　を有する車両周囲監視方法。
     
     
PCT/JP2008/001248 2008-05-19 2008-05-19 車両周囲監視装置および車両周囲監視方法 Ceased WO2009141846A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2008801292090A CN102027744A (zh) 2008-05-19 2008-05-19 车辆周围监视装置和车辆周围监视方法
US12/993,304 US20110063444A1 (en) 2008-05-19 2008-05-19 Vehicle surroundings monitoring device and vehicle surroundings monitoring method
EP08751766A EP2280547A4 (en) 2008-05-19 2008-05-19 DEVICE AND METHOD FOR MONITORING THE VEHICLE ENVIRONMENT
JP2010512845A JPWO2009141846A1 (ja) 2008-05-19 2008-05-19 車両周囲監視装置および車両周囲監視方法
PCT/JP2008/001248 WO2009141846A1 (ja) 2008-05-19 2008-05-19 車両周囲監視装置および車両周囲監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/001248 WO2009141846A1 (ja) 2008-05-19 2008-05-19 車両周囲監視装置および車両周囲監視方法

Publications (1)

Publication Number Publication Date
WO2009141846A1 true WO2009141846A1 (ja) 2009-11-26

Family

ID=41339821

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/001248 Ceased WO2009141846A1 (ja) 2008-05-19 2008-05-19 車両周囲監視装置および車両周囲監視方法

Country Status (5)

Country Link
US (1) US20110063444A1 (ja)
EP (1) EP2280547A4 (ja)
JP (1) JPWO2009141846A1 (ja)
CN (1) CN102027744A (ja)
WO (1) WO2009141846A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2281720A1 (en) * 2009-07-28 2011-02-09 Hitachi Ltd. In-vehicle image display device
JP2011193136A (ja) * 2010-03-12 2011-09-29 Aisin Seiki Co Ltd 画像制御装置
EP2431227A1 (en) * 2010-09-17 2012-03-21 Nissan Motor Co., Ltd. Vehicle image display apparatus and method
JP2012186582A (ja) * 2011-03-04 2012-09-27 Honda Access Corp 車両後方監視装置
WO2013105597A1 (ja) * 2012-01-12 2013-07-18 日立建機株式会社 自走式産業機械の周囲監視装置
KR101339121B1 (ko) 2011-12-08 2013-12-09 ㈜베이다스 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP2013256231A (ja) * 2012-06-13 2013-12-26 Yazaki Corp 車両用映像表示装置
KR101376211B1 (ko) 2012-06-01 2014-03-21 현대모비스 주식회사 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법
WO2015049847A1 (ja) * 2013-10-01 2015-04-09 ヤンマー株式会社 コンバイン
JP2015070799A (ja) * 2013-10-01 2015-04-16 ヤンマー株式会社 コンバイン
JP2015077087A (ja) * 2013-10-16 2015-04-23 ヤンマー株式会社 コンバイン
JP2018042205A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2019016825A (ja) * 2017-07-03 2019-01-31 トヨタ自動車株式会社 車両周辺表示装置
JP2022074395A (ja) * 2020-11-04 2022-05-18 スズキ株式会社 車両用表示制御システム
CN115039133A (zh) * 2020-01-24 2022-09-09 宝马汽车股份有限公司 机动车辆的俯视图的生成

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2476588B1 (en) * 2009-09-11 2014-07-30 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitor apparatus
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
US20130083196A1 (en) * 2011-10-01 2013-04-04 Sun Management, Llc Vehicle monitoring systems
US9387813B1 (en) 2012-03-21 2016-07-12 Road-Iq, Llc Device, system and method for aggregating networks and serving data from those networks to computers
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
DE102014223941A1 (de) * 2014-11-25 2016-05-25 Robert Bosch Gmbh Verfahren zum Kennzeichnen von Kamerabildern eines Parkmanöverassistenten
JP6261542B2 (ja) * 2015-06-10 2018-01-17 株式会社デンソーテン 画像処理装置および画像処理方法
WO2017002708A1 (ja) * 2015-06-29 2017-01-05 アイシン精機株式会社 画像表示制御装置
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
US20210354691A1 (en) 2016-04-27 2021-11-18 State Farm Mutual Automobile Insurance Company Systems and methods for reconstruction of a vehicular crash
US9886841B1 (en) 2016-04-27 2018-02-06 State Farm Mutual Automobile Insurance Company Systems and methods for reconstruction of a vehicular crash
CN105799596A (zh) * 2016-05-20 2016-07-27 广州市晶华精密光学股份有限公司 一种汽车智能后视系统及图像显示方法
EP3584120B1 (en) * 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
US20190100106A1 (en) * 2017-10-02 2019-04-04 Hua-Chuang Automobile Information Technical Center Co., Ltd. Driving around-view auxiliary device
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
JP2020121638A (ja) * 2019-01-30 2020-08-13 アイシン精機株式会社 表示制御装置
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
US11748920B2 (en) * 2019-08-02 2023-09-05 Nissan Motor Co., Ltd. Image processing device, and image processing method
USD924256S1 (en) 2019-08-21 2021-07-06 Aristocrat Technologies Australia Pty Limited Display screen or portion thereof with a gaming machine interface
KR20210082999A (ko) * 2019-12-26 2021-07-06 주식회사 에스엘미러텍 차량의 주변 감시 장치
JP7613313B2 (ja) * 2021-08-04 2025-01-15 トヨタ自動車株式会社 車両用表示装置、車両用表示方法及び車両用表示プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2006131166A (ja) * 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP2006273308A (ja) * 2005-03-03 2006-10-12 National Univ Corp Shizuoka Univ 視覚情報提供システム
JP2007325074A (ja) * 2006-06-02 2007-12-13 Nissan Motor Co Ltd 画像処理システム及び画像処理方法
JP2008017311A (ja) * 2006-07-07 2008-01-24 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542840B2 (en) * 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP2006131166A (ja) * 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP2006273308A (ja) * 2005-03-03 2006-10-12 National Univ Corp Shizuoka Univ 視覚情報提供システム
JP2007325074A (ja) * 2006-06-02 2007-12-13 Nissan Motor Co Ltd 画像処理システム及び画像処理方法
JP2008017311A (ja) * 2006-07-07 2008-01-24 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2280547A4

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2281720A1 (en) * 2009-07-28 2011-02-09 Hitachi Ltd. In-vehicle image display device
US8421863B2 (en) 2009-07-28 2013-04-16 Hitachi, Ltd. In-vehicle image display device
JP2011193136A (ja) * 2010-03-12 2011-09-29 Aisin Seiki Co Ltd 画像制御装置
EP2431227A1 (en) * 2010-09-17 2012-03-21 Nissan Motor Co., Ltd. Vehicle image display apparatus and method
US9106842B2 (en) 2010-09-17 2015-08-11 Nissan Motor Co., Ltd. Vehicle image display apparatus and method
JP2012186582A (ja) * 2011-03-04 2012-09-27 Honda Access Corp 車両後方監視装置
KR101339121B1 (ko) 2011-12-08 2013-12-09 ㈜베이다스 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JPWO2013105597A1 (ja) * 2012-01-12 2015-05-11 日立建機株式会社 自走式産業機械の周囲監視装置
WO2013105597A1 (ja) * 2012-01-12 2013-07-18 日立建機株式会社 自走式産業機械の周囲監視装置
KR101376211B1 (ko) 2012-06-01 2014-03-21 현대모비스 주식회사 용이한 뷰 모드 변경을 위한 어라운드 뷰 모니터 시스템용 영상 합성 장치 및 영상 합성 방법
JP2013256231A (ja) * 2012-06-13 2013-12-26 Yazaki Corp 車両用映像表示装置
WO2015049847A1 (ja) * 2013-10-01 2015-04-09 ヤンマー株式会社 コンバイン
JP2015070799A (ja) * 2013-10-01 2015-04-16 ヤンマー株式会社 コンバイン
JP2015077087A (ja) * 2013-10-16 2015-04-23 ヤンマー株式会社 コンバイン
JP2018042205A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
JP2019016825A (ja) * 2017-07-03 2019-01-31 トヨタ自動車株式会社 車両周辺表示装置
CN115039133A (zh) * 2020-01-24 2022-09-09 宝马汽车股份有限公司 机动车辆的俯视图的生成
JP2022074395A (ja) * 2020-11-04 2022-05-18 スズキ株式会社 車両用表示制御システム
JP7576235B2 (ja) 2020-11-04 2024-10-31 スズキ株式会社 車両用表示制御システム

Also Published As

Publication number Publication date
EP2280547A4 (en) 2013-02-13
JPWO2009141846A1 (ja) 2011-09-22
CN102027744A (zh) 2011-04-20
EP2280547A1 (en) 2011-02-02
US20110063444A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
WO2009141846A1 (ja) 車両周囲監視装置および車両周囲監視方法
JP3855814B2 (ja) 車両用画像処理装置
EP2410740B1 (en) Surrounding-area monitoring device for vehicles and surrounding-area image display method for vehicles
JP5914013B2 (ja) 運転支援装置
US9706175B2 (en) Image processing device, image processing system, and image processing method
KR101446898B1 (ko) 차량 주변 감시 장치
CN1865849B (zh) 影像显示装置及影像显示方法
JP4195966B2 (ja) 画像表示制御装置
JP6756555B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
EP2476587B1 (en) Vehicle surrounding monitor apparatus
JP2002019556A (ja) 監視システム
JP2006311272A (ja) 車両用映像表示装置
EP2476588A1 (en) Vehicle surrounding monitor apparatus
JP2010093567A (ja) 画像処理装置
JP7009637B2 (ja) 仮想カメラを自動車両のルームミラーに向けてシフトすることにより周囲環境の表示を生成するための方法、ならびにカメラ装置
WO2011001642A1 (ja) 車載用映像表示装置
JP5825323B2 (ja) 車両周辺監視装置
JP2012214083A (ja) 画像生成装置、画像表示システム及び画像生成方法
JP4457690B2 (ja) 運転支援装置
JP4976685B2 (ja) 画像処理装置
CN113840755B (zh) 生成车辆周围环境图像的方法及生成车辆周围环境图像的装置
JP4706896B2 (ja) 広角画像の補正方法及び車両の周辺監視システム
JP4832272B2 (ja) 車両周辺画像表示装置およびその表示方法
JP2021524959A (ja) 車両周辺部を表示するための方法及び装置
JP2013126167A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880129209.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08751766

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010512845

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12993304

Country of ref document: US

Ref document number: 2008751766

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE