JP2008141649A - 車両周辺監視装置 - Google Patents

Abstract

【課題】不適切な車両周辺監視画像の表示を抑制することができるとともに、可動部の移動にともなう予め想定されたカメラの姿勢の変動に対応した車両周辺監視画像の表示を行うことができる「車両周辺監視装置」を提供すること。
【解決手段】可動部の移動が検出された場合であっても、可動部に設置されたカメラ３，４，５の姿勢の変動が予め想定されたものである場合には、可動部の移動量に対応する補正情報を用いて補正されたマッピングテーブル２０を用いて生成した車両周辺監視画像９，１０を表示し、可動部以外に設置されたカメラ２の姿勢の変動が検出された場合または可動部に設置されたカメラ３，４，５の姿勢の変動が予め想定されたものでない場合には、車両周辺監視画像９，１０の表示を中止または制限すること。
【選択図】図１

Description

本発明は、車両周辺監視装置に係り、特に、車両の周辺を監視するための車両周辺監視画像を表示部に表示することによって安全かつ円滑な車両の運転操作を支援するのに好適な車両周辺監視装置に関する。

近年、車両の運転操作の安全性を高めるための技術として、車両の周辺を監視するための画像である車両周辺監視画像を生成して車載機のディスプレイ上に表示する車両周辺監視装置が採用されるようになった。

この種の車両周辺監視装置は、車両に設置されたカメラによって撮影された路面等の撮影映像に基づいて、車両周辺監視画像として、車両およびその周辺を車両の上方から見下ろした俯瞰画像や、車両の側方を監視するためのサイドビュー画像をディスプレイ上に表示するようになっている。

ところで、車両の左右のドアミラーやリアハッチ等の車両の可動部に設置されているカメラについては、可動部の移動にともなって姿勢（例えば、路面に対する高さや方向）が変動することによって、適切な車両周辺監視画像の生成に必要な映像を撮影することができなくなることがある。

そこで、このような不具合を是正する手段として、これまでにも、例えば、特許文献１に記載の車両周辺監視装置が提案されている。この特許文献１に記載の車両周辺監視装置は、カメラが設置されている可動部が、カメラによる車両の周辺の撮影の際における可動部の通常位置（例えば、リアハッチの場合には閉状態の位置）から移動した場合には、車両周辺監視画像の表示を中止または制限するとともに、警告メッセージを表示するようになっている（例えば、特許文献１図６および図７参照）。

特許第３５９９６３９号公報 特許第３６７０６４７号公報

しかしながら、従来は、可動部の移動にのみ着目していたため、可動部に設置されたカメラの姿勢が可動部と独立して変動した場合や、可動部以外に設置されたカメラの姿勢が変動した場合に対応することができず、不適切な車両周辺監視画像を表示してしまうことがあった。

さらに、可動部に設置されたカメラの場合には、可動部の移動範囲が車両の設計に基づいて予め決められているため、可動部の移動にともなうカメラの姿勢の変動が想定可能であるにもかかわらず、従来は、可動部が移動した場合には、車両周辺監視画像の表示の中止または制限を余儀なくされていた。

このように、従来の車両周辺監視装置には、安全かつ円滑な運転操作を支援するには未だに不十分な点があった。

そこで、本発明は、このような点に鑑みなされたものであり、可動部に設置されたカメラの可動部と独立した姿勢の変動および可動部以外に設置されたカメラの姿勢の変動に対応して不適切な車両周辺監視画像の表示を抑制することができるとともに、可動部が移動した場合であっても、可動部の移動にともなう予め想定されたカメラの姿勢の変動に対応した車両周辺監視画像の表示を行うことができ、ひいては、安全かつ円滑な運転操作を十分に支援することができる車両周辺監視装置を提供することを目的とするものである。

前述した目的を達成するため、本発明に係る車両周辺監視装置は、車両に設置された前記車両の周辺を撮影するカメラの撮影映像に基づいて前記車両の周辺を監視するための車両周辺監視画像を生成して表示部に表示する車両周辺監視装置であって、前記カメラの撮影映像と前記車両周辺監視画像との対応関係を示すマッピングテーブルを記憶するマッピングテーブル記憶手段と、このマッピングテーブル記憶手段に記憶された前記マッピングテーブルを用いて前記車両周辺監視画像を生成し、生成された前記車両周辺監視画像を前記表示部に表示する処理を行う画像処理手段と、前記車両の可動部に設置された前記カメラに対応する前記マッピングテーブルの補正に用いる補正情報であって、当該カメラによる前記車両の周辺の撮影の際における前記可動部の通常位置からの前記可動部の移動量と対応関係を有する補正情報を記憶する補正情報記憶手段と、前記カメラが設置された前記可動部の前記通常位置からの移動状態を、その移動量とともに検出する可動部移動検出手段と、この可動部移動検出手段によって前記可動部の移動状態および移動量が検出された場合に、検出された前記可動部の移動量に対応する前記補正情報記憶手段によって記憶された前記補正情報を用いて、前記マッピングテーブルの補正を行うマッピングテーブル補正手段と、前記車両の周辺の撮影の際における通常姿勢からの姿勢の変動が生じているカメラを検出する姿勢変動カメラ検出手段と、この姿勢変動カメラ検出手段によって検出されたカメラが前記可動部に設置されたカメラであるか否かの判定を行うカメラ種別判定手段と、このカメラ種別判定手段により、前記姿勢変動カメラ検出手段によって検出されたカメラが前記可動部に設置されたカメラである旨の判定が行われた場合に、当該可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示しているか否かの判定を行うカメラ姿勢変動判定手段とを備え、前記画像処理手段が、前記カメラ姿勢変動判定手段により、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示している旨の判定が行われた場合に、前記マッピングテーブル補正手段による補正後のマッピングテーブルを用いて生成された前記車両周辺監視画像を前記表示部に表示し、前記カメラ種別判定手段により、前記姿勢変動カメラ検出手段によって検出されたカメラが前記可動部に設置されたカメラでない旨の判定が行われた場合、または、前記カメラ姿勢変動判定手段により、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定されていない姿勢の変動を示している旨の判定が行われた場合に、前記表示部への前記車両周辺監視画像の表示を中止または制限するように形成されていることを特徴としている。

そして、このような構成によれば、カメラが設置された可動部の移動が検出された場合であっても、この可動部の移動にともなう可動部に設置されたカメラの姿勢の変動が予め想定されたものである場合には、可動部の移動量に対応する補正情報を用いてマッピングテーブルを補正し、補正されたマッピングテーブルを用いて生成された車両周辺監視画像を表示することが可能となり、また、可動部以外に設置されたカメラの姿勢の変動が検出された場合または可動部の移動にともなう可動部に設置されたカメラの姿勢の変動が予め想定されたものでない場合には、車両周辺監視画像の表示を中止または制限することが可能となる。

また、本発明に係る他の車両周辺監視装置は、前記画像処理手段が、前記表示部への前記車両周辺監視画像の表示を中止または制限する場合に、前記表示部に警告メッセージを表示するように形成されていることを特徴としている。

そして、このような構成によれば、警告メッセージを表示することによって、カメラに想定外の姿勢の変動が生じたことをユーザに通知することが可能となる。

さらに、本発明に係る他の車両周辺監視装置は、前記車両周辺監視画像が、複数台の前記カメラの撮影映像に基づいて生成される前記車両およびその周辺を前記車両の上方から見下ろした俯瞰画像であって、各カメラの撮影映像のそれぞれを前記マッピングテーブルを用いて変換してなる各カメラに対応する複数の変換画像を繋ぎ合わせることによって生成される俯瞰画像とされ、前記可動部移動検出手段が、前記画像処理手段によって生成された前記俯瞰画像における前記変換画像の繋がり状態に基づいて、前記可動部の移動状態を検出するように形成されていることを特徴としている。

そして、このような構成によれば、俯瞰画像を形成する複数の変換画像の繋がり状態に基づいて可動部の移動状態を検出することが可能となる。

さらにまた、本発明に係る他の車両周辺監視装置は、前記カメラ姿勢変動判定手段が、前記マッピングテーブル補正手段による補正後のマッピングテーブルを用いて生成された前記俯瞰画像における前記変換画像の繋がり状態に基づいて、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示しているか否かの判定を行うように形成されていることを特徴としている。

そして、このような構成によれば、補正後のマッピングテーブルを用いて生成された俯瞰画像を形成する複数の変換画像の繋がり状態に基づいて、可動部に設置されたカメラが可動部の移動にともなって予め想定された姿勢の変動を示しているか否かを判定することが可能となる。

また、本発明に係る他の車両周辺監視装置は、前記車両周辺監視画像が、前記車両の側方を監視するためのサイドビュー画像とされ、前記可動部移動検出手段が、前記サイドビュー画像内への前記車両の映り込み状態に基づいて、前記可動部の移動状態を検出するように形成されていることを特徴としている。

そして、このような構成によれば、サイドビュー画像内への車両の映り込み状態に基づいて、可動部の移動状態を検出することが可能となる。

さらに、本発明に係る他の車両周辺監視装置は、前記カメラ姿勢変動判定手段が、前記マッピングテーブル補正手段による補正後のマッピングテーブルを用いて生成された前記サイドビュー画像内への前記車両の映り込み状態に基づいて、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示しているか否かの判定を行うように形成されていることを特徴としている。

そして、このような構成によれば、補正後のマッピングテーブルを用いて生成されたサイドビュー画像内への車両の映り込み状態に基づいて、可動部に設置されたカメラが可動部の移動にともなって予め想定された姿勢の変動を示しているか否かを判定することが可能となる。

本発明に係る車両周辺監視装置によれば、可動部に設置されたカメラの可動部と独立した姿勢の変動および可動部以外に設置されたカメラの姿勢の変動に対応して不適切な車両周辺監視画像の表示を抑制することができるとともに、可動部が移動した場合であっても、可動部の移動にともなう予め想定されたカメラの姿勢の変動に対応した車両周辺監視画像の表示を行うことができ、ひいては、安全かつ円滑な運転操作を十分に支援することができる。

また、本発明に係る他の車両周辺監視装置によれば、更に、警告メッセージの表示によってユーザにカメラの姿勢の異常を指摘することができるので、利便性を向上させることができる。

さらに、本発明に係る他の車両周辺監視装置によれば、更に、俯瞰画像を形成する複数の変換画像の繋がり状態に基づいて可動部の移動状態を検出することができるので、不適切な俯瞰画像の表示の抑制と予め想定されたカメラの姿勢の変動に対応した俯瞰画像の表示とを簡便かつ確実に行うことができる。

さらにまた、本発明に係る他の車両周辺監視装置によれば、更に、補正後のマッピングテーブルを用いて生成された俯瞰画像を形成する複数の変換画像の繋がり状態に基づいて、換言すれば、可動部の移動量に対応した補正が行われたマッピングテーブルを用いることによって変換画像の繋がり状態が良好な適切な俯瞰画像を生成することができたか否かに基づいて、可動部に設置されたカメラが可動部の移動にともなって予め想定された姿勢の変動を示しているか否かを判定することができるので、不適切な俯瞰画像の表示の抑制と予め想定されたカメラの姿勢の変動に対応した俯瞰画像の表示とをさらに簡便かつ確実に行うことができる。

また、本発明に係る他の車両周辺監視装置によれば、更に、サイドビュー画像内への車両の映り込み状態に基づいて、可動部の移動状態を検出することができるので、不適切なサイドビュー画像の表示の抑制と予め想定されたカメラの姿勢の変動に対応したサイドビュー画像の表示とを簡便かつ確実に行うことができる。

さらに、本発明に係る他の車両周辺監視装置によれば、更に、補正後のマッピングテーブルを用いて生成されたサイドビュー画像内への車両の映り込み状態に基づいて、換言すれば、可動部の移動量に対応した補正が行われたマッピングテーブルを用いることによってサイドビュー画像内への車両の映り込み状態が予め想定されたものと一致する適切なサイドビュー画像を生成することができたか否かに基づいて、可動部に設置されたカメラが可動部の移動にともなって予め想定された姿勢の変動を示しているか否かを判定することができるので、不適切なサイドビュー画像の表示の抑制と予め想定されたカメラの姿勢の変動に対応したサイドビュー画像の表示とをさらに簡便かつ確実に行うことができる。

以下、本発明に係る車両周辺監視装置の実施形態について、図１乃至図６を参照して説明する。

図１に示すように、本実施形態における車両周辺監視装置１は、車両の互いに異なる箇所に設置された合計４台のカメラ２，３，４，５を有している。これら４台のカメラ２，３，４，５のうちの１台のカメラ２は、車両の前部（例えば、エンブレム部）に設置されたフロントカメラ２とされており、このフロントカメラ２は、車両の前方に存在する物体（路面等）を撮影するようになっている。その他の３台のカメラ３，４，５のうちの１台のカメラ３は、可動部としての車両の左ドアミラーに設置された左サイドカメラ３とされており、この左サイドカメラ３は、車両の左側方に存在する物体（路面等）を撮影するようになっている。その他の２台のカメラ４，５のうちの１台のカメラ４は、可動部としての車両の右ドアミラーに設置された右サイドカメラ４とされており、この右サイドカメラ４は、車両の右側方に存在する物体（路面等）を撮影するようになっている。残りの１台のカメラ５は、可動部としての車両のリアハッチに設置されたバックカメラ５とされており、このバックカメラ５は、車両の後方に存在する物体（路面等）を撮影するようになっている。

これらのカメラ２，３，４，５は、魚眼レンズ等の超広角レンズを備え、ＣＣＤ等の固体撮像素子の撮像面の物体の像を結像させるカメラであってもよい。

各カメラ２，３，４，５には、画像処理手段としての画像処理部７が接続されており、この画像処理部７は、各カメラ２，３，４，５から各カメラ２，３，４，５の撮影映像を取得し、取得された撮影映像に基づいて、車両の周辺を監視するための車両周辺監視画像を生成するようになっている。

本実施形態において、画像処理部７は、図２に示すように、車両周辺監視画像としての車両およびその周辺を車両の上方（鉛直上方）から見下ろした俯瞰画像９と、車両周辺監視画像としての車両の側方を監視するためのサイドビュー画像１０とを含む画像８を生成するようになっている。

図２に示すように、俯瞰画像９は、フロントカメラ２の撮影映像に基づいて生成された変換画像としての前方監視画像１１と、左サイドカメラ３の撮影映像に基づいて生成された変換画像としての左側方監視画像１２と、右サイドカメラ４の撮影映像に基づいて生成された変換画像としての右側方監視画像１３と、バックカメラ５の撮影映像に基づいて生成された変換画像としての後方監視画像１４と、カメラ２，３，４，５の死角領域（撮影されない領域）に貼り付けられた車両のイラスト画像１５とによって形成されている。図２に示すように、前方監視画像１１は、左側方監視画像１２および右側方監視画像１３とそれぞれ繋ぎ合わされている。また、後方監視画像１４も、左側方監視画像１２および右側方監視画像１３とそれぞれ繋ぎ合わされている。車両のイラスト画像１５は、各監視画像１１，１２，１３，１４のすべてに連接されるようにして画像９の中央に位置されている。

一方、サイドビュー画像１０は、車両の左側方の路面を車両の進行方向前方に向かって斜めに見下ろした画像１６と車両の一部（左側部）を映り込ませた車両の映り込み画像１７とによって形成されている。

図１に戻って、画像処理部７には、マッピングテーブル記憶手段としてのマッピングテーブル記憶部１８が接続されており、このマッピングテーブル記憶部１８には、俯瞰画像９用のマッピングテーブルとサイドビュー画像１０用のマッピングテーブルと車両のイラスト画像とがそれぞれ記憶されている。なお、俯瞰画像９用のマッピングテーブルは、カメラ２，３，４，５ごとに独立していてもよい。

ここで、マッピングテーブルには、カメラ２，３，４，５の撮影映像と車両周辺監視画像９，１０との対応関係が記述されている。

具体的には、図３に示すように、マッピングテーブル２０には、カメラ２，３，４，５のＸ−Ｙ座標系における座標点（Ｘｃ_ｉ，Ｙｃ_ｊ）（ｉ、ｊは任意の自然数（但し、ｉ≠５、ｊ≠２））に位置するカメラ２，３，４，５の撮影映像における１つの画素を、後述するディスプレイ２１のＸ−Ｙ座標系における座標点（Ｘｔ_ｍ，Ｙｔ_ｎ）（ｍ、ｎは任意の自然数（但し、ｍ≠４、ｎ≠３））に表示される車両周辺監視画像９，１０における１つの画素の生成に用いる旨が記述されている。なお、マッピングテーブル２０には、カメラ２，３，４，５の撮影映像における２つ以上の画素を、車両周辺監視画像９，１０の１つの画素の生成に用いる旨が記述されていていもよい（例えば、特許文献１段落００４１、００４４等参照）。また、マッピングテーブル２０は、カメラ２，３，４，５用のレンズとして超広角レンズを用いる場合における撮影画像の歪みを補正することを考慮した座標変換をともなうものであってもよい。

そして、画像処理部７は、俯瞰画像９用のマッピングテーブル２０を用いて、フロントカメラ２の撮影映像を前方監視画像１１に、左サイドカメラ３の撮影映像を左側方監視画像１２に、右サイドカメラ４の撮影映像を右側方監視画像１３に、バックカメラ５の撮影映像を後方監視画像１４にそれぞれ変換（視点変換）して合成し、さらに、自車両のイラスト画像１５を合成することによって、俯瞰画像９を生成するようになっている。

さらに、画像処理部７は、サイドビュー画像１０用のマッピングテーブル２０を用いて左サイドカメラ３の撮影映像をサイドビュー画像１０に変換することによってサイドビュー画像１０を生成するようになっている。

図１に戻って、画像処理部７には、ディスプレイ２１が接続されており、このディスプレイ２１に、画像処理部７によって生成された車両周辺監視画像９，１０が出力されて表示されるようになっている。

画像処理部７には、可動部移動検出手段としての可動部移動検出部２２が接続されており、この可動部移動検出部２２には、画像処理部７から、画像処理部７によって生成された車両周辺監視画像９，１０のデータが入力されるようになっている。そして、可動部移動検出部２２は、入力された車両周辺監視画像９，１０のデータに基づいて、車両の可動部としての左ドアミラー、右ドアミラーおよびリアハッチが、それぞれ、対応するカメラによる車両の周辺の撮影の際における通常位置から移動していること（移動状態）を、各可動部の移動量とともに検出するようになっている。なお、左ドアミラーおよび右ドアミラーの通常位置は、各ミラーが取付けられた左右のドアが完全に閉じている位置とされ、また、リアハッチの通常位置は、リアハッチが閉じている位置とされている。可動部が通常位置にある場合には、マッピングテーブル２０の補正を要しないことになる。

より具体的には、可動部移動検出部２２は、俯瞰画像９における各監視画像１１，１２，１３，１４の繋がり状態およびサイドビュー画像１０における車両の映り込み状態に基づいて、左ドアミラー、右ドアミラーおよびリアハッチの移動状態および移動量を検出するようになっている。

例えば、可動部移動検出部２２は、前方監視画像１１における左側方監視画像１２との繋ぎ目部分の画像および左側方監視画像１２における前方監視画像１１との繋ぎ目部分の画像の双方から、フロントカメラ２および左サイドカメラ３における互いに隣接する撮影地点にそれぞれ対応する画素である特徴点をそれぞれ抽出し、抽出された特徴点同士が互いに繋がる場合には、左ドアミラーの移動状態を検出しないことになる。なお、前記特徴点は、路面に引かれた白線と路面との境界部分等の抽出が行い易い点であることが好ましい。また、可動部移動検出部２２は、サイドビュー画像１０における車両の映り込み画像１７の位置および範囲（大きさ）が、予め記憶されている適切な位置および範囲と一致する場合には、左ドアミラーの移動状態を検出しないことになる。

一方、可動部移動検出部２２は、前方監視画像１１および左側方監視画像１２から抽出された特徴点同士が繋がらない場合、または、サイドビュー画像１０における車両の映り込み画像１７の位置および範囲（大きさ）が、前記適切な位置および範囲と一致しない場合には、左ドアミラーの移動状態および移動量を検出するようになっている。

可動部移動検出部２２は、通常位置からの左ドアミラーの不動状態において本来繋がり合う前方監視画像１１の特徴点と左側方監視画像１２の特徴点との間の離間量と、それに対応する左ドアミラーの通常位置からの移動量とが記述されたテーブルを予め保有しておき、このテーブルを参照することによって左ドアミラーの移動量を検出するようにしてもよい。このテーブルには、通常位置からの左ドアミラーの移動量として、左ドアミラーの車幅方向への移動量と車両の全長方向への移動量とが記述されていてもよい。その他にも、前記テーブルには、左ドアミラーの移動量として、通常位置（０°とする）からの左ドアミラーの回転角度が記述されていてもよい。

あるいは、可動部移動検出部２２は、車両の映り込み画像１７についての適切な位置および範囲からのずれ量（例えば、車幅方向および車両の全長方向へのずれ量）と、それに対応する左ドアミラーの通常位置からの移動量とが記述されたテーブルを予め保有しておき、このテーブルを参照することによって左ドアミラーの移動量を検出するようにしてもよい。

なお、俯瞰画像９の繋がり状態に基づいた可動部の移動状態の検出は、左ドアミラー以外の可動部に適用してもよいことは勿論である。

可動部移動検出部２２には、マッピングテーブル補正手段としてのマッピングテーブル補正部２３が接続されており、このマッピングテーブル補正部２３には、補正情報記憶手段としての補正情報記憶部２４が接続されている。

補正情報記憶部２４には、左サイドカメラ３、右サイドカメラ４およびバックカメラ５のそれぞれについての通常位置からの移動量に対応するマッピングテーブル２０の補正情報が記憶されている。この補正情報は、例えば、図４に示すようなテーブル形式の情報であってもよい。すなわち、図４に示すテーブルには、左ドアミラーの移動量が、車幅方向および全長方向への移動量（ｍｍ）として表されているとともに、各移動量に対応する補正情報が、左サイドカメラ３のＸＹ座標系における各座標点の画素ごとに記述されている。例えば、左サイドカメラ３の移動量が、車幅方向にｉ（ｍｍ）かつ車両の全長方向にｊ（ｍｍ）の場合には、左サイドカメラ３のＸＹ座標系における座標点（Ｘｃ_ｉ，Ｙｃ_ｊ）の画素を用いて生成する左側方監視画像１２上の画素を、ディスプレイ２１のＸＹ座標系における座標点（Ｘｔ_ｍ，Ｙｔ_ｎ）上の画素から、補正後の座標点（Ｘｔ_ｍ＋１，Ｙｔ_ｎ＋１）上の画素へと変更（補正）することになる。なお、補正情報は、図４に示したようにディスプレイ２１のＸＹ座標系における補正後の座標点そのものを記述する代りに、補正量として、ディスプレイ２１のＸＹ座標系の座標点のＸ方向およびＹ方向への移動補正量あるいは回転補正量（例えば、補正前の座標点を補正後の座標点に回転移動させる回転行列等）を記述したものであってもよい。これらの例は、左ドアミラー以外の可動部に適用してもよいことは勿論である。

図１に戻って、マッピングテーブル補正部２３は、可動部移動検出部２２によって通常位置からの可動部の移動およびその移動量が検出された場合には、その移動が検出された可動部についての移動量に対応するマッピングテーブル２０の補正情報を補正情報記憶部２４から取得するようになっている。そして、マッピングテーブル補正部２３は、取得された補正情報を用いて、マッピングテーブル記憶部１８に記憶されているマッピングテーブル２０を補正し、補正後のマッピングテーブル２０をマッピングテーブル記憶部１８に記録するようになっている。

上記構成に加えて、さらに、画像処理部７には、姿勢変動カメラ検出手段としての姿勢変動カメラ検出部２６が接続されており、この姿勢変動カメラ検出部２６は、画像処理部７によって生成された車両周辺監視画像９，１０のデータを取得し、取得された車両周辺監視画像９，１０のデータに基づいて、車両の周辺の撮影の際における通常姿勢からの姿勢の変動が生じているカメラを検出するようになっている。

具体的には、姿勢変動カメラ検出部２６は、可動部移動検出部２２と同様に、俯瞰画像９における各監視画像１１，１２，１３，１４の繋がり状態に基づいて、通常姿勢からの姿勢の変動が生じているカメラ２，３，４，５を検出するようになっている。

また、姿勢変動カメラ検出部２６は、可動部移動検出部２２と同様に、サイドビュー画像１０における車両の映り込み状態に基づいて、通常姿勢からの姿勢の変動が生じているカメラとして、左サイドカメラ３を検出するようになっている。

なお、各カメラ２，３，４，５の通常姿勢は、周辺を撮影して車両周辺監視画像９，１０を生成する際の各カメラ２，３，４，５の通常（本来）の姿勢であり、可動部に設置されたカメラ３，４，５の場合には、可動部が通常位置から移動していないことが前提となる。

姿勢変動カメラ検出部２６には、カメラ種別判定手段としてのカメラ種別判定部２７が接続されており、このカメラ種別判定部２７は、姿勢変動カメラ検出部２６の検出結果を取得するようになっている。そして、カメラ種別判定部２７は、取得された姿勢変動カメラ検出部２６の検出結果から、姿勢変動カメラ検出部２６によって検出されたカメラが、可動部に設置されたカメラ（左サイドカメラ３、右サイドカメラ４またはバックカメラ５）であるか否かを判定し、判定結果を画像処理部７に出力するようになっている。

そして、本実施形態において、画像処理部７は、カメラ種別判定部２７から、姿勢変動カメラ検出部２６によって検出されたカメラが可動部に設置されたカメラでない旨の判定結果を取得した場合には、前述した補正後のマッピングテーブル２０を用いて生成された車両周辺監視画像９，１０のディスプレイ２１への表示を制限するようになっている。

すなわち、画像処理部７は、姿勢変動カメラ検出部２６によって検出されたカメラが可動部に設置されたカメラでない場合には、例えば、図５に示すように、フロントカメラ２に異常があり、前方監視画像１１を表示することができない旨を通知する警告メッセージ画像２９を生成して、これを俯瞰画像９における前方監視画像１１に対応する位置に表示することによって、俯瞰画像９の表示を制限するようになっている。

上記構成に加えて、さらに、カメラ種別判定部２７には、カメラ姿勢変動判定手段としてのカメラ姿勢変動判定部３１が接続されており、このカメラ姿勢変動判定部３１は、カメラ種別判定部２７の判定結果を取得するようになっている。このカメラ姿勢変動判定部３１は、カメラ種別判定部２７の判定結果として、姿勢変動カメラ検出部２６によって検出されたカメラが可動部に設置されたカメラである旨の判定結果を取得した場合にのみ、そのカメラが、可動部の移動にともなって予め想定された姿勢の変動を示しているか否かの判定（以下、姿勢変動判定と称する）を行うようになっている。

この際に、カメラ姿勢変動判定部３１は、画像処理部７から、補正後のマッピングテーブル２０を用いて生成された車両周辺監視画像９，１０のデータを取得し、取得されたデータに基づいて姿勢変動判定を行うようになっている。具体的には、カメラ姿勢変動判定部３１は、補正後のマッピングテーブル２０を用いて生成された俯瞰画像９における各監視画像１１，１２，１３，１４の繋がり状態に基づいて、姿勢変動判定を行うようになっている。この場合、カメラ姿勢変動判定部３１は、例えば、補正後のマッピングテーブルを用いて生成された右側方監視画像１３が、前方監視画像１１と適切に繋がる場合には、可動部としての右ドアミラーに設置された右サイドカメラ４が、右ドアミラーの移動にともなって予め想定された姿勢の変動を示していると判定するようになっている。また、カメラ姿勢変動判定部３１は、補正後のマッピングテーブル２０を用いて生成されたサイドビュー画像１０における車両の映り込み状態に基づいて、姿勢変動判定を行うようになっている。そして、カメラ姿勢変動判定部３１は、サイドビュー画像１０における車両の映り込み画像１７の位置および範囲が、予め記憶されている適切な映り込み画像１７の位置および範囲と一致する場合には、左サイドカメラ３が、可動部としての左ドアミラーの移動にともなって予め想定された姿勢の変動を示していると判定するようになっている。

カメラ姿勢変動判定部３１は、姿勢変動判定の判定結果を画像処理部７に対して出力するようになっている。

そして、本実施形態において、画像処理部７は、カメラ姿勢変動判定部３１から出力された姿勢変動判定の判定結果が、可動部に設置されたカメラが可動部の移動にともなって予め想定された姿勢の変動を示している旨の判定の場合には、前述した補正後のマッピングテーブル２０を用いて生成された車両周辺監視画像９，１０をディスプレイ２１に表示するようになっている。

一方、画像処理部７は、カメラ姿勢変動判定部３１から出力された姿勢変動判定の判定結果が、可動部に設置されたカメラのいずれかが、可動部の移動にともなって予め想定されていない姿勢の変動を示している旨の判定の場合には、補正後のマッピングテーブル２０を用いて生成された車両周辺監視画像９，１０の表示を中止または制限するようになっている。例えば、可動部の移動にともなって予め想定されていない姿勢の変動が生じているカメラが、可動部としての左ドアミラーに設置された左サイドカメラ３の場合には、画像処理部７は、図６に示すように、左サイドカメラ３に異常があり、サイドビュー画像１０を表示することができない旨を通知する警告メッセージ画像３３を生成してディスプレイ２１に表示することによって、車両周辺監視画像としてのサイドビュー画像１０の表示を中止するようになっている。また、このとき、画像処理部７は、図６に示すように、俯瞰画像９における左側方監視画像１２を表示することができない旨を通知する警告メッセージ画像３４を生成してディスプレイ２１に表示することによって、車両周辺監視画像としての俯瞰画像９の表示を制限するようになっている。

次に、本実施形態の作用について説明する。

本実施形態においては、まず、画像処理部７により、各カメラ２，３，４，５の撮影映像を、マッピングテーブル記憶部１８に記憶された俯瞰画像９用のマッピングテーブル２０を用いて、各監視画像１１，１２，１３，１４に変換するとともに、自車両のイラスト画像１５を生成し、これらの画像を合成することによって、車両周辺監視画像としての俯瞰画像９を生成する。

同時に、画像処理部７により、左サイドカメラ３の撮影映像を、マッピングテーブル記憶部１８に記憶されたサイドビュー画像１０用のマッピングテーブル２０を用いてサイドビュー画像１０に変換することによって、車両周辺監視画像としてのサイドビュー画像１０を生成する。

次いで、可動部移動検出部２２により、通常位置からの可動部（左ドアミラー、右ドアミラーまたはリアハッチ）の移動状態および移動量の検出を行うとともに、姿勢変動カメラ検出部２６により、通常姿勢からの姿勢の変動が生じているカメラ２，３，４，５の検出を行う。これらの検出は、画像処理部７によって生成された俯瞰画像９における各監視画像１１，１２，１３，１４の繋がり状態およびサイドビュー画像１０における車両の映り込み状態に基づいて行われる。

この結果、可動部の移動状態および姿勢の変動が生じているカメラ２，３，４，５が一切検出されなかった場合には、画像処理部７は、生成された車両周辺監視画像９，１０をそのままディスプレイ２１に表示する。

これに対し、姿勢変動カメラ検出部２６によって通常姿勢からの姿勢の変動が生じているカメラ２，３，４，５が検出された場合には、カメラ種別判定部２７によって、そのカメラ２，３，４，５が、可動部に設置されたカメラ３，４，５であるか否かを、カメラ３，４，５との通信等を利用して判定する。

そして、カメラ種別判定部２７による判定の結果、通常姿勢からの姿勢の変動が生じているカメラ２，３，４，５が可動部以外に設置されたフロントカメラ２の場合には、図５に示すように、画像処理部７により、前方監視画像１１を表示することができない旨を通知する警告メッセージ画像２９を生成して、他の監視画像１２，１３，１４および自車両のイラスト画像１５と合成してディスプレイ２１に表示することによって、俯瞰画像９の表示を制限する。

一方、カメラ種別判定部２７による判定の結果、通常姿勢からの姿勢の変動が生じているカメラ２，３，４，５が可動部に設置されたカメラ３，４，５の場合には、カメラ姿勢変動判定部３１による姿勢変動判定に移行する。

ところで、この姿勢変動判定に移行する場合には、当然に、可動部移動検出部２２によって、通常位置からの可動部の移動状態が移動量とともに検出されることになる。そして、マッピングテーブル補正部２３により、可動部の移動量に対応する補正情報を用いたマッピングテーブル２０の補正が行われ、画像処理部７により、補正されたマッピングテーブル２０を用いた新たな車両周辺監視画像９，１０の生成が行われることになる。

姿勢変動判定は、このようにな補正後のマッピングテーブル２０を用いて生成された車両周辺監視画像９，１０に基づいて行う。

すなわち、カメラ姿勢変動判定部３１は、補正後のマッピングテーブル２０を用いて生成された俯瞰画像９における各監視画像１１，１２，１３，１４の繋がり状態に基づいて、姿勢変動判定を行う。そして、カメラ姿勢変動判定部３１は、各監視画像１１，１２，１３，１４が適切に繋がっている場合（前述した特徴点同士が繋がる場合）には、可動部の移動にともなってカメラ３，４，５が予め想定された姿勢の変動を示していると判定し、適切に繋がっていない場合には、可動部の移動にともなってカメラ３，４，５が予め想定されていない姿勢の変動を示していると判定する。

また、カメラ姿勢変動判定部３１は、補正後のマッピングテーブル２０を用いて生成されたサイドビュー画像１０における車両の映り込み状態に基づいて姿勢変動判定を行う。そして、カメラ姿勢変動判定部３１は、サイドビュー画像１０における車両の映り込み画像１７の位置および範囲が、予め記憶されている適切な映り込み画像１７の位置および範囲と一致する場合には、左サイドカメラ３が、可動部としての左ドアミラーの移動にともなって予め想定された姿勢の変動を示していると判定し、一致しない場合には、左サイドカメラ３が、左ドアミラーの移動にともなって予め想定されていない姿勢の変動を示していると判定する。

画像処理部７は、カメラ姿勢変動判定部３１によって、可動部に設置されたカメラ３，４，５が、可動部の移動にともなって予め想定された姿勢の変動を示していると判定された場合には、補正後のマッピングテーブル２０を用いて生成された車両周辺監視画像９，１０をディスプレイ２１に表示する。

一方、画像処理部７は、カメラ姿勢変動判定部３１によって、可動部に設置されたカメラ３，４，５が可能部の移動にともなって予め想定されていない姿勢の変動を示していると判定された場合には、画像処理部７により例えば、図６に示すような警告メッセージ画像３３，３４を表示することによって、車両周辺監視画像９，１０の表示を中止または制限する。

以上述べたように、本実施形態によれば、可動部に設置されたカメラ３，４，５の可動部と独立した姿勢の変動および可動部以外に設置されたカメラ２の姿勢の変動に対応して不適切な車両周辺監視画像９，１０の表示を抑制することができるとともに、可動部が移動した場合であっても、可動部の移動にともなう予め想定されたカメラ３，４，５の姿勢の変動に対応した車両周辺監視画像９，１０の表示を行うことができ、ひいては、安全かつ円滑な運転操作を十分に支援することができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

例えば、前述した実施形態においては、１台のカメラの姿勢の変動および１箇所の可動部の移動を想定した車両周辺監視画像の表示の制御を行っているが、本発明は、このような実施の形態に限定されるものではない。例えば、俯瞰画像の場合には、カメラが設置された２箇所以上の可動部の変動が検出された場合であって、各可動部のカメラの姿勢の変動が予め想定されたものでない場合に、２箇所以上の監視画像１２，１３，１４を表示することができない旨の警告メッセージ画像が表示されるようにしてもよい。

また、俯瞰画像９およびサイドビュー画像１０は、別個の画面に表示されるようにしてもよい。

本発明に係る車両周辺監視装置の実施形態を示すブロック図 本発明に係る車両周辺監視装置の実施形態において、車両周辺監視画像としての俯瞰画像およびサイドビュー画像を示す図 本発明に係る車両周辺監視装置の実施形態において、マッピングテーブルを示す図 本発明に係る車両周辺監視装置の実施形態において、補正情報を示す図 本発明に係る車両周辺監視装置の実施形態において、俯瞰画像の表示の制限状態を示す図 本発明に係る車両周辺監視装置の実施形態において、俯瞰画像の表示の制限状態およびサイドビュー画像の表示の中止状態を示す図

符号の説明

１ 車両周辺監視装置
２ フロントカメラ
３ 左サイドカメラ
４ 右サイドカメラ
５ バックカメラ
７ 画像処理部
９ 俯瞰画像
１０ サイドビュー画像
２０ マッピングテーブル
２１ ディスプレイ
２２ 可動部移動検出部
２３ マッピングテーブル補正部
２４ 補正情報記憶部
２６ 姿勢変動カメラ検出部
２７ カメラ種別判定部
３１ カメラ姿勢変動判定部

Claims (6)

1. 車両に設置された前記車両の周辺を撮影するカメラの撮影映像に基づいて前記車両の周辺を監視するための車両周辺監視画像を生成して表示部に表示する車両周辺監視装置であって、
   前記カメラの撮影映像と前記車両周辺監視画像との対応関係を示すマッピングテーブルを記憶するマッピングテーブル記憶手段と、
   このマッピングテーブル記憶手段に記憶された前記マッピングテーブルを用いて前記車両周辺監視画像を生成し、生成された前記車両周辺監視画像を前記表示部に表示する処理を行う画像処理手段と、
   前記車両の可動部に設置された前記カメラに対応する前記マッピングテーブルの補正に用いる補正情報であって、当該カメラによる前記車両の周辺の撮影の際における前記可動部の通常位置からの前記可動部の移動量と対応関係を有する補正情報を記憶する補正情報記憶手段と、
   前記カメラが設置された前記可動部の前記通常位置からの移動状態を、その移動量とともに検出する可動部移動検出手段と、
   この可動部移動検出手段によって前記可動部の移動状態および移動量が検出された場合に、検出された前記可動部の移動量に対応する前記補正情報記憶手段によって記憶された前記補正情報を用いて、前記マッピングテーブルの補正を行うマッピングテーブル補正手段と、
   前記車両の周辺の撮影の際における通常姿勢からの姿勢の変動が生じているカメラを検出する姿勢変動カメラ検出手段と、
   この姿勢変動カメラ検出手段によって検出されたカメラが前記可動部に設置されたカメラであるか否かの判定を行うカメラ種別判定手段と、
   このカメラ種別判定手段により、前記姿勢変動カメラ検出手段によって検出されたカメラが前記可動部に設置されたカメラである旨の判定が行われた場合に、当該可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示しているか否かの判定を行うカメラ姿勢変動判定手段と
   を備え、
   前記画像処理手段が、
   前記カメラ姿勢変動判定手段により、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示している旨の判定が行われた場合に、前記マッピングテーブル補正手段による補正後のマッピングテーブルを用いて生成された前記車両周辺監視画像を前記表示部に表示し、
   前記カメラ種別判定手段により、前記姿勢変動カメラ検出手段によって検出されたカメラが前記可動部に設置されたカメラでない旨の判定が行われた場合、または、前記カメラ姿勢変動判定手段により、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定されていない姿勢の変動を示している旨の判定が行われた場合に、前記表示部への前記車両周辺監視画像の表示を中止または制限するように形成されていること
   を特徴とする車両周辺監視装置。
2. 前記画像処理手段が、
   前記表示部への前記車両周辺監視画像の表示を中止または制限する場合に、前記表示部に警告メッセージを表示するように形成されていること
   を特徴とする請求項１に記載の車両周辺監視装置。
3. 前記車両周辺監視画像が、複数台の前記カメラの撮影映像に基づいて生成される前記車両およびその周辺を前記車両の上方から見下ろした俯瞰画像であって、各カメラの撮影映像のそれぞれを前記マッピングテーブルを用いて変換してなる各カメラに対応する複数の変換画像を繋ぎ合わせることによって生成される俯瞰画像とされ、
   前記可動部移動検出手段が、前記画像処理手段によって生成された前記俯瞰画像における前記変換画像の繋がり状態に基づいて、前記可動部の移動状態を検出するように形成されていること
   を特徴とする請求項１または請求項２に記載の車両周辺監視装置。
4. 前記カメラ姿勢変動判定手段が、
   前記マッピングテーブル補正手段による補正後のマッピングテーブルを用いて生成された前記俯瞰画像における前記変換画像の繋がり状態に基づいて、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示しているか否かの判定を行うように形成されていること
   を特徴とする請求項３に記載の車両周辺監視装置。
5. 前記車両周辺監視画像が、前記車両の側方を監視するためのサイドビュー画像とされ、
   前記可動部移動検出手段が、前記サイドビュー画像内への前記車両の映り込み状態に基づいて、前記可動部の移動状態を検出するように形成されていること
   を特徴とする請求項１または請求項２に記載の車両周辺監視装置。
6. 前記カメラ姿勢変動判定手段が、
   前記マッピングテーブル補正手段による補正後のマッピングテーブルを用いて生成された前記サイドビュー画像内への前記車両の映り込み状態に基づいて、前記可動部に設置されたカメラが前記可動部の移動にともなって予め想定された姿勢の変動を示しているか否かの判定を行うように形成されていること
   を特徴とする請求項５に記載の車両周辺監視装置。

Images