JP2017220760A - 車両用画像処理装置 - Google Patents

Abstract

【課題】出力画像に含まれる物体の位置をより認識しやすくする車両用画像処理装置を提供する。【解決手段】車両用画像処理装置は、車両に設けられた撮像部により撮像された、車両の周辺の撮像画像を取得する取得部３１と、地面を基準に車両と反対側に設けられた面であって、地面に沿って延びていく方向において車両から遠ざかるに従って地面から離れていく仮想投影面に対して、取得部が取得した撮像画像が投影された、俯瞰画像を生成する俯瞰画像生成部３２と、車両による路面の予測経路を示したガイド線を生成するガイド線生成部３３と、ガイド線生成部により生成されたガイド線を、仮想投影面上での車両による予測経路を示した仮想ガイド線に変換するガイド線変換部３４と、俯瞰画像に、仮想ガイド線を重畳する重畳部３５と、を備える画像処理部３０を有する。【選択図】図３

Description

本発明の実施形態は、車両用画像処理装置に関する。

従来から、撮像画像を立体上に映した像データを生成し、当該像データを設定された視点から見た画像に変換して出力画像とする画像処理装置が知られている。

特開２００６−２５３８７２号公報 国際公開第２０１２／０１７５６０号

この種の画像処理装置では、例えば、出力画像に含まれる物体の位置がより認識しやすくなることは、有意義である。

実施形態の車両用画像処理装置は、例えば、車両に設けられた撮像部により撮像された、車両の周辺の撮像画像を取得する取得部と、地面を基準に車両と反対側に設けられた面であって、地面に沿って延びていく方向において車両から遠ざかるに従って地面から離れていく３次元の仮想投影面に対して、取得部が取得した撮像画像が投影された、俯瞰画像を生成する俯瞰画像生成部と、車両による路面の予測経路を示したガイド線を生成するガイド線生成部と、ガイド線生成部により生成されたガイド線を、仮想投影面上での車両による予測経路を示した仮想ガイド線に変換する変換部と、俯瞰画像に、仮想ガイド線を重畳する重畳部と、を備える。よって、例えば、地面を基準に車両と反対側に設けられた面であって、地面に沿って延びていく方向において車両から遠ざかるに従って地面から離れていく３次元の仮想投影面に対して、撮像画像が投影された俯瞰画像を用いることで、立っている物の伸びが抑止されるとともに、ガイド線の違和感を抑止できるため、周囲の状況をより認識しやすくなる。

実施形態の車両用画像処理装置は、例えば、俯瞰画像生成部は、取得部が取得した撮像画像を、地面に対応する仮想平面を介して仮想投影面に投影した仮想レンズ状の俯瞰画像を生成する。よって、例えば、仮想球面形状の３次元の仮想投影面に投影する前に、仮想平面に投影させることで、車両の周囲の表示において破綻が生じるのを抑止できる。

実施形態の車両用画像処理装置は、例えば、俯瞰画像生成部は、仮想レンズの種類に応じた複数の変換手法のうち、いずれか一つに基づいて仮想レンズ状の俯瞰画像を生成する。よって、例えば、状況に応じた表示が可能になるので、車両の周囲の状況を容易に認識できる。

図１は、第１の実施形態の画像表示システムの例示的な概略構成図である。 図２は、第１の実施形態の画像表示システムの撮像部による撮像範囲の一例が示された平面図である。 図３は、第１の実施形態のＥＣＵの例示的かつ模式的なブロック図である。 図４は、従来から用いられている、仮想投影面が仮想平面の場合を説明した図である。 図５は、従来から用いられている、仮想投影面が仮想平面の場合に生成された俯瞰画像データを例示した図である。 図６は、従来から用いられている、仮想投影面が仮想お椀形状の場合を説明した図である。 図７は、従来から用いられている、仮想投影面が仮想お椀形状の場合に生成された俯瞰画像データを例示した図である。 図８は、第１の実施形態の仮想投影面が仮想球面形状の場合を説明した図である。 図９は、第１の実施形態の仮想投影面が仮想球面（曲面）形状の場合に生成された俯瞰画像データを例示した図である。 図１０は、第１の実施形態の記憶部に記憶される画像変換テーブルを説明した図である。 図１１は、理想像高と実像高との関係を例示した図である。 図１２は、路面上の実際の位置を例示した図である。 図１３は、撮像部で撮像される画像データを、仮想曲面への投影を示す説明図である。 図１４は、第１の実施形態のＥＣＵにおける俯瞰画像データを出力するまでの処理の手順を示すフローチャートである。 図１５は、第２の実施形態のＥＣＵの例示的かつ模式的なブロック図である。 図１６は、第２の実施形態における、正射影の魚眼レンズ状に変換された俯瞰画像データと、等立体角射影の魚眼レンズ状に変換された俯瞰画像データと、を例示した図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。

また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

（第１の実施形態）
図１は、第１の実施形態の画像表示システムの例示的な概略構成図である。図１に示されるように、車両１に装備される画像表示システム１０は、ＥＣＵ１１（electronic control unit）を備えている。ＥＣＵ１１は、撮像部１２による撮影画像を画像処理して出力画像を生成する。ＥＣＵ１１は、出力画像が表示されるよう、表示部２４ａを制御する。ＥＣＵ１１は、画像処理装置あるいは表示制御部の一例である。

画像表示システムについて説明する。画像表示システム１０は、車両１の状況に応じた出力画像を表示する。画像表示システム１０は、出力画像を車両１の制御に利用するシステム、例えば、走行支援システムや、駐車支援システムに組み込まれてもよい。

図１に示されるように、画像表示システム１０に含まれる装置や電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。装置や電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。

撮像部１２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。

図２は、撮像部１２による撮像範囲の一例が示された平面図である。図２に例示されるように、車体２には、車外を撮像する撮像部１２が、車体２の前部、右側の側部、左側の側部、および後部のそれぞれに、設けられている。車体２の前部に設けられる撮像部１２は、例えば、フロントグリルに設けられる。車体２の左右の側部に設けられる撮像部１２は、例えば、ドアミラーに設けられる。車体２の後部に設けられる撮像部１２は、例えば、リヤハッチに設けられる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部の左右の角部にそれぞれ設けられてもよい。撮像部１２は、例えば、広角レンズまたは魚眼レンズである。撮像部１２は、車体２（車両１）の周辺の撮影画像のデータを取得する。なお、撮像部１２は、三つ以下でも良いし、五つ以上でもよい。また、複数の撮像部１２のそれぞれの撮像範囲は異なってもよい。

非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された障害物の有無や障害物までの距離を測定することができる。すなわち、非接触計測装置１３は、物体検出部や、測距部とも称される。

舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。

ＧＰＳ１６（global positioning system）は、人工衛星から受信した電波に基づいて、現在位置を取得することができる。

車輪速センサ１７は、車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。

画像表示システム１０には、入力部１０ａが設けられてもよい。この場合、入力部１０ａは、例えば、押しボタン、スイッチ、つまみ等として構成される。

モニタ装置２４は、表示部２４ａ、入力部２４ｂ、および音声出力装置２４ｃを有する。表示部２４ａは、例えば、ＬＣＤ（liquid crystal display）である。音声出力装置２４ｃは、例えば、スピーカである。入力部２４ｂは透明であり、表示部２４ａを覆っている。入力部２４ｂは、例えば、タッチパネル等である。ユーザは、入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、ユーザは、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で入力部２４ｂを触れたり押したり動かしたりして操作することで、入力を実行することができる。そして、これら表示部２４ａや、入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用される。

ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、フラッシュメモリ１１ｄ、表示制御部１１ｅ、音声制御部１１ｆ等を有している。フラッシュメモリ１１ｄは、ＳＳＤ（solid state drive）であってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやフラッシュメモリ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、フラッシュメモリ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、主として、撮像部１２で得られた画像データを用いた一般的な画像処理や、表示部２４ａで表示される画像データの一般的な画像処理等を実行することができる。また、音声制御部１１ｆは、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、フラッシュメモリ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、フラッシュメモリ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

図３は、ＥＣＵ１１の例示的かつ模式的なブロック図である。ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像処理装置として機能することができる。ＥＣＵ１１は、図１に示されるように、表示制御部１１ｅや音声制御部１１ｆの他、図３に示されるように、画像処理部３０および記憶部４０を含むことができる。画像処理部３０は、例えば、ＣＰＵ１１ａによって構成される。この場合、ＣＰＵ１１ａは、画像処理部３０の各部、すなわち、取得部３１、俯瞰画像生成部３２、ガイド線生成部３３、ガイド線変換部３４、重畳部３５、出力部３６等として機能する。記憶部４０は、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、およびフラッシュメモリ１１ｄを含む。なお、画像処理部３０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。画像処理部３０の各部は、プログラムのモジュールで対応してもよいし、画像処理部３０の少なくとも一部はハードウエアとして構成されてもよい。

取得部３１は、車両１に設けられた複数の撮像部１２により撮像された、車両１の周辺の撮像画像を取得する。

記憶部４０は、取得部３１が取得した撮影画像データを、仮想投影面に投影した俯瞰画像に変換するための画像変換テーブル４１を記憶する。また、記憶部４０は、車両１を案内するためのガイド線を、俯瞰画像に重畳するために、俯瞰画像と同様の歪みを付与するためのガイド線変換テーブル４２を記憶する。

本実施形態の画像変換テーブルは、撮像画像データを、魚眼レンズを介したようにみえる俯瞰画像データを生成するためのテーブルとする。まず、従来から用いられていた俯瞰画像データについて説明する。

図４は、従来から用いられている、仮想投影面が仮想平面の場合を説明した図である。図４に示されるように、仮想投影面が仮想平面４００の場合、従来は、車両４１０から上方向に設けられた仮想視点４０１から参照したような俯瞰画像データを生成し、表示する手法が用いられていた。

図５は、従来から用いられている、仮想投影面が仮想平面の場合に生成された俯瞰画像データを例示した図である。図５に示される例では、区画線の直線が再現されている。さらには、車両４１０の舵角等に基づいて、車両４１０の予測経路を示したガイド線４２０も俯瞰画像データに重畳して表示されている。当該ガイド線４２０も仮想平面上に投影されるため、運転者は車両４１０の予測経路を認識しやすい。

一方、車両４１０の周囲で立っている人物（例えば子供５０１）や物は引き延ばされることになる。これは、子供５０１のように、車両４１０に設けられた撮像部と同じ高さの位置は無限遠に投影されるためである。このため、撮像画像データでは、車両４１０の周辺で立っている人や物が判断しにくい場合がある。

図６は、従来から用いられている、仮想投影面が仮想お椀形状の場合を説明した図である。図６に示されるように、仮想投影面６００が仮想お椀形状の場合に、仮想投影面６００は、平面部６０１と曲面部６０２と、で構成される。その上で、車両６１０から上方向に設けられた仮想視点６０５から参照したような俯瞰画像データを生成し、表示する手法が用いられていた。

図７は、従来から用いられている、仮想投影面６００が仮想お椀形状の場合に生成された俯瞰画像データを例示した図である。図７に示される例では、仮想お椀形状に撮像画像データが投影されているため、車両６１０の周囲に存在する人物（例えば子供７１０）や物の延びが抑制され、判別しやすくなる。

図７で示される例では、複数の撮像部で撮像する場合に、任意の点で交わる複数の撮像部の撮像方向は、当該任意の点からずれるに従って、異なる場所にずれていくことになる。このため、路面状の直線上の白線が、隣り合う撮像部の境界で途中から折れ曲がるように歪んだり、一本の白線が、隣り合う撮像部の境界で二股に分かれてしまう傾向にある。

さらには、俯瞰画像データには、違和感が生じるガイド線７２０が重畳される可能性がある。これは、路面上で車両６１０を案内するためにガイド線を重畳する場合に、当該路面（平面）と、仮想お椀形状で中空に配置される投影面と、の間で視差が生じる。このため、当該視差の影響により、ガイド線に違和感が生じる。

そこで、本実施形態では魚眼レンズを介して参照されたような投影面に撮像画像データを投影することとした。

図８は、本実施形態の仮想投影面が仮想球面形状の場合を説明した図である。図８に示されるように、本実施形態では、仮想球面形状の仮想投影面８００を、車両８１０の情報の仮想視点８０１から俯瞰画像データを生成し、表示する。

本実施形態では、複数の撮像部１２が撮像した複数の撮像画像データを、仮想投影面８００に直接投影するのではなく、複数の撮像部１２が撮像した複数の撮像画像データを仮想平面８０２に一旦投影した後、当該仮想平面８０２に投影された画像データを、仮想投影面８００に投影することとした。図４、図５で示したような、仮想平面に投影する場合、図６、図７で説明したような複数のカメラによる画像のずれや、視差は、生じない。

そこで、本実施形態では、撮像画像データを、一度仮想平面８０２に投影し、仮想平面８０２に投影された撮像画像データを、再び仮想投影面８００に投影することとした。

図９は、仮想投影面が仮想球面（曲面）形状の場合に生成された俯瞰画像データを例示した図である。図９に示される例では、仮想平面８０２に投影し、仮想平面８０２に投影された撮像画像データを、再び仮想投影面８００に投影している。仮想平面８０２を介することで、画像のずれや視差による違和感を抑止できる。その後、仮想投影面８００に投影することで、車両８１０の周囲に存在する人物（例えば子供８０１）や物の延びが抑制され、判別しやすくなる。

図９で示される例では、仮想平面に重畳されるガイド線８２０を、仮想投影面８００に投影する処理を行うことで、違和感を抑止できる。

そこで、本実施形態は、撮像画像データを、仮想平面８０２に投影し、仮想平面８０２に投影された撮像画像データを、再び仮想投影面８００に投影するための変換を行う画像変換テーブルを記憶部４０に記憶することとした。

本実施形態の画像変換テーブルについて説明する。図１０は、記憶部４０に記憶される画像変換テーブルを説明した図である。図１０に示されるように、撮像画像データの画素（座標Ｕn，Ｖn）が、画像変換テーブルを用いることで、出力画像データの画素（座標Ｘn，Ｙn）に変換される。次に画像変換テーブルの変換アルゴリズムについて説明する。まずは、出力画像データの画素（座標Ｘn，Ｙn）から、撮像画像データの画素（座標Ｕn，Ｖn）までの遷移について説明する。なお、当該画像変換テーブルを変換するための演算は、ＥＣＵ１１で実行することに制限するものではなく、どの算出部が処理を行っても良い。

（図示しない）算出部は、出力画像データの画素（座標Ｘn，Ｙn）を、魚眼レンズの中心座標（座標Ｘc，Ｙc）を原点とした座標（座標Ｘ’n，Ｙ’n）に変換する。なお、出力画像データの画素（座標Ｘn，Ｙn）は、図１０の出力エリア内において、左上を原点とした座標とする。算出部は、魚眼レンズの中心座標を原点とした座標（座標Ｘ’n，Ｙ’n）の算出に、式（１）、式（２）を用いる。

Ｘ’n＝Ｘn−Ｘc…（１）
Ｙ’n＝Ｙn−Ｙc…（２）

さらに、算出部は、式（３）を用いることで、出力画像データの画素のレンズ中心からの距離ｙを算出する。

ｙ＝ｓｑｒｔ（（Ｘ’n×Ｘ’n）＋（Ｙ’n×Ｙ’n））…（３）

本実施形態では、魚眼レンズが正射影の場合について説明する。正射影の場合、次の式（４）が成立する。なお、被写体側の光軸からの角度（入射角）θ、像側（魚眼レンズで変換された後）の中心からの距離（実像高）ｙ、焦点距離ｆとする。

ｙ＝ｆ×ｓｉｎθ…（４）

従って、入射角θは、式（５）で表すことができる。

θ＝ａｓｉｎ（ｙ／ｆ）…（５）

図１１は、理想像高Ｉと実像高ｙとの関係を例示した図である。図１１に示されるように、理想像高Ｉとは、魚眼レンズから焦点距離ｆ離れた平面上で、魚眼レンズ１１０１で変換されなかった場合の中心からの距離とし、実像高ｙは、魚眼レンズ１１０１から焦点距離ｆ離れた平面上で、魚眼レンズで変換された場合の中心からの距離とする。図１１で示されるように、理想像高Ｉは、式（６）を用いて入射角θから算出できる。

Ｉ＝ｆ×ｔａｎθ…（６）

実像高ｙを理想像高Ｉにする拡大率αは、式（７）で表すことができる。

α＝Ｉ／ｙ…（７）

そして、算出部は、式（８）、式（９）を用いることで、実像高による座標（座標Ｘ’n，Ｙ’n）を、理想像高による座標（座標Ｘ’’n，Ｙ’’n）に変換する。

Ｘ’’n＝Ｘ’n×α…（８）
Ｙ’’n＝Ｙ’n×α…（９）

理想像高Ｉによる座標（座標Ｘ’’n，Ｙ’’n）は、魚眼レンズを介さない場合の仮想平面上の座標を示している。換言すれば、式（８）、式（９）の処理は、仮想曲面上に投影されていた座標が、仮想平面に投影された座標に変換されたことを示している。

図１２は、路面上の実際の位置を例示した図である。図１２に示されるように、路面上の位置は、レンズ中心（ＰＸc，０，ＰＺc）を中心とした座標系（ＰＸ軸、ＰＺ軸）とする。

本実施形態では、算出部が、実像高ｙと路面の距離の違いを示したスケールScaleに基づいて、理想像高による座標（座標Ｘ’’n，Ｙ’’n）を、図１２に示される路面上の位置（ＰＸn，０，ＰＺn）に変換する。当該変換には、下記の式（１０）、式（１１）を用いる。

ＰＸn＝−Ｘ’’n×Scale＋ＰＸn…（１０）
ＰＺn＝−Ｙ’’n×Scale＋ＰＺn…（１１）

そして、算出部は、路面上の位置（ＰＸn，０，ＰＺn）を、撮影装置の撮像画像上に投影変換して、撮像画像データの画素（座標Ｕn，Ｖn）を導出する。なお、撮像部１２への投影変換方法は、従来の手法を用いても良く、説明を省略する。

算出部が、上述した処理を行うことで、撮像画像データの画素（座標Ｕn，Ｖn）と、出力画像データの画素（座標Ｘn，Ｙn）と、の対応関係を導出できる。本実施形態の画像変換テーブルは、当該対応関係を格納する。なお、本実施形態は、これにより、撮像画像データの画素（座標Ｕn，Ｖn）を、正射影の魚眼レンズ状の出力画像データの画素（座標Ｘn，Ｙn）に変換できる。なお、本実施形態では、撮像画像データの画素（座標Ｕn，Ｖn）から、出力画像データの画素（座標Ｘn，Ｙn）に変換するものであって、理想像高による座標（座標Ｘ’’n，Ｙ’’n）や、実像高による座標（座標Ｘ’n，Ｙ’n）による、中間で生成される画像データを、実際に生成したり、利用したりするものではない。

次に、ガイド線変換テーブル４２について説明する。まず、算出部は、式（１２）、式（１３）を用いて、ガイド線が表される路面上の軌跡点（ＰＸm，０，ＰＺm）を、レンズ中心（ＰＸc，０，ＰＺc）を原点とした座標（ＰＸ’m，０，ＰＺ’m）に変換する。

ＰＸ’m＝ＰＸm−ＰＸc…（１２）
ＰＺ’m＝ＰＺm−ＰＺc…（１３）

さらに、算出部は、式（１４）、式（１５）を用いて、表示画面で理想像高による座標（Ｘ’’m，Ｙ’’m）に変換する。

Ｘ’’m＝−ＰＸ’m／Scale…（１４）
Ｙ’’m＝−ＰＺ’m／Scale…（１５）

表示画面で理想像高による座標（Ｘ’’m，Ｙ’’m）から理想像高Ｉmを式（１６）から求めることができる。

Ｉm＝ｓｑｒｔ（（Ｘ’’m×Ｘ’’m）＋（Ｙ’’m×Ｙ’’m））…（１６）

また、入射角θmは、下記の式（１７）を用いることで導出できる。なお、焦点距離ｆは、画像変換テーブル４１で用いた値と同様とする。

θm＝atan（Ｉm／ｆ）…（１７）

魚眼レンズは、画像変換テーブル４１と同様であるため、式（１８）が成り立つ。なお、実像高ｙmとする。

ｙm＝ｆ×ｓｉｎθm…（１８）

理想像高Ｉmを実像高ｙmにする縮小率βは、式（１９）で表すことができる。

β＝ｙm／Ｉm…（１９）

そして、算出部は、式（２０）、式（２１）を用いて、換言すれば縮小率βを用いて、理想像高による座標（Ｘ’’m，Ｙ’’m）から、実像高による座標（Ｘ’m，Ｙ’m）に変換する。

Ｘ’m＝Ｘ’’m×β…（２０）
Ｙ’m＝Ｙ’’m×β…（２１）

そして、算出部は、式（２２）、式（２３）を用いて、実像高による座標（Ｘ’m，Ｙ’m）に、魚眼レンズのレンズ中心座標（Ｘｃ，Ｙｃ）を加えることで、出力領域上の左上を原点とした座標（Ｘm，Ｙm）に変換する。

Ｘm＝Ｘ’m＋Ｘｃ…（２２）
Ｙm＝Ｙ’m＋Ｙｃ…（２３）

算出部が、上述した処理を行うことで、ガイド線の路面上の軌跡点（ＰＸm，０，ＰＺm）を、出力画像データの座標値（座標Ｘm，Ｙm）と、の対応関係を導出できる。本実施形態のガイド線変換テーブルは、当該対応関係を格納する。これにより、車両１を案内するガイド線の軌跡を、出力画像データ上の仮想ガイド線の軌跡に変換できる。

図３に戻り、俯瞰画像生成部３２は、画像変換テーブル４１を用いて、取得部３１により取得された撮像画像データを変換し、仮想視点を基準にした魚眼レンズ状の俯瞰画像データを生成する。本実施形態では、魚眼レンズ状の俯瞰画像を生成する例について説明するが、魚眼レンズ状の俯瞰画像に制限するものではなく、仮想レンズ状の俯瞰画像であれば良い。例えば、広角の仮想レンズ状の俯瞰画像が考えられる。

なお、画像変換テーブル４１は、全画素に対する対応関係を有している必要は無く、撮像画像データを三角形毎に切り分け、各三角形の頂点毎に対応関係を有しても良い。

図１３は、撮像部１２で撮像される画像データを、仮想曲面（仮想投影面）への投影を示す説明図である。図１３に示されるように、画像変換テーブル４１は、上述した対応関係による変換を行っている。俯瞰画像生成部３２が、画像変換テーブル４１を用いることで、撮像画像データを、地面に対応する仮想平面ＳＰ１に投影し、仮想平面ＳＰ１に投影された撮像画像データをさらに仮想曲面ＳＰ２に投影した、魚眼レンズ状の俯瞰画像データを生成する。

なお、仮想平面ＳＰ１は、車両１の上下方向Ｙに直交する水平面であり、タイヤが接地する地面に相当する。仮想曲面ＳＰ２は、地面を基準に車両１と反対側に設けられた面であって、地面に沿って延びていく方向において車両１から遠ざかるに従って地面から離れていく仮想球面形状の３次元の仮想投影面を示している。この仮想曲面ＳＰ２は、撮像部１３０１の撮像方向１３０２の延長上に存在する点１３０３で仮想平面ＳＰ１に接している。本実施形態では、球面形状の仮想曲面ＳＰ２に投影する例について説明するが、仮想球面形状に制限するものではなく、非球面形状であってもよい。

また、撮像部１３０１の画角１３６１内では、仮想平面ＳＰ１上では線１３５２で示される範囲のみ表示できるが、仮想平面ＳＰ２上では線１３５１で示される範囲より広い範囲を表示できる。このように魚眼レンズ状の俯瞰画像データを生成することで、より広い範囲を確認できる。

さらに、本実施形態においては、仮想平面ＳＰ１を介してから仮想曲面ＳＰ２に投影している。これにより、生成された俯瞰画像データにおいて、複数の撮像部の境界で、直線が途中で曲がったり、線が途中で分岐したりすることが抑止できる。

ガイド線生成部３３は、車両１の舵角に基づいて、車両１による路面の予測経路を示したガイド線を生成する。

ガイド線変換部３４は、ガイド線変換テーブル４２を用いて、ガイド線生成部３３により生成されたガイド線を、球面形状の仮想投影面（仮想曲面）ＳＰ２上での車両１による予測経路を示した仮想ガイド線に変換する。

重畳部３５は、魚眼レンズ状の俯瞰画像データに、仮想ガイド線を重畳する。本実施形態では、従来から用いられている、仮想投影面が仮想お椀形状の仮想投影面に仮想ガイド線を重畳した場合と比べて、視差による差が生じないため、違和感が生じるのを抑止できる。

出力部３６は、仮想ガイド線が重畳された、魚眼レンズ状の俯瞰画像データを、表示部２４ａに出力する。

次に、本実施形態のＥＣＵ１１における俯瞰画像データを出力するまでの処理について説明する。図１４は、本実施形態のＥＣＵ１１における上述した処理の手順を示すフローチャートである。

まず、取得部３１は、複数の撮像部１２により撮像された、車両１の周辺の撮像画像データを取得する（Ｓ１４０１）。

次に、俯瞰画像生成部３２が、画像変換テーブル４１を用いて、撮像画像データを、俯瞰画像データに変換する（Ｓ１４０２）。

次に、ガイド線生成部３３が、車両１の舵角に基づいたガイド線を生成する（Ｓ１４０３）。

ガイド線変換部３４が、ガイド線変換テーブル４２を用いて、生成されたガイド線を、俯瞰画像データの歪みに従った仮想ガイド線に変換する（Ｓ１４０４）。

重畳部３５は、俯瞰画像データに、仮想ガイド線を重畳する（Ｓ１４０５）。

そして、出力部３６が、仮想ガイド線が重畳された、魚眼レンズ状の俯瞰画像データを、表示部２４ａに出力する（Ｓ１４０６）。

本実施形態によれば、上述した構成を備えることで、俯瞰画像データに適した仮想ガイド線を重畳できる。これにより、魚眼レンズ状の俯瞰画像データであっても、車両１の予測経路を認識できる。

（第２の実施形態）
第１の実施形態においては、魚眼レンズのパターンが１種類しかない場合について説明した。しかしながら、魚眼レンズ（仮想レンズ）のパターンを１種類に制限するものではなく、複数種類からユーザが任意で選択しても良い。そこで、第２の実施形態では、複数種類から選択可能な場合について説明する。

図１５は、第２の実施形態のＥＣＵ１１の例示的かつ模式的なブロック図である。ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像処理装置として機能することができる。ＣＰＵ１１ａは、画像処理部３０の各部、すなわち、取得部３１、俯瞰画像生成部１５０１、ガイド線生成部３３、ガイド線変換部１５０２、重畳部３５、選択部１５０３、出力部３６等として機能する。

記憶部４０は、第１の画像変換テーブル１５５１と、第２の画像変換テーブル１５５２と、第１のガイド線変換テーブル１５５３と、第２のガイド線変換テーブル１５５４と、を記憶している。

第１の画像変換テーブル１５５１は、第１の実施形態の画像変換テーブル４１と同様に、撮像画像データの画素（座標Ｕn，Ｖn）を、正射影の魚眼レンズ状の出力画像データの画素（座標Ｘn，Ｙn）に変換するテーブルとする。

第２の画像変換テーブル１５５２は、撮像画像データの画素（座標Ｕn，Ｖn）を、等立体角射影の魚眼レンズ状の出力画像データの画素（座標Ｘ’’’n，Ｙ’’’n）に変換するテーブルとする。

第２の画像変換テーブル１５５２は、第１の実施形態で示した正射影ｙ＝ｆ×ｓｉｎθの代わりに、等立体角射影ｙ＝２×ｆ×ｓｉｎ（θ／２）を用いた変換テーブルとする。なお、他は第１の実施形態と同様とする。

第１のガイド線変換テーブル１５５３は、第１の実施形態のガイド線変換テーブル４２と同様に、正射影の魚眼レンズ状の出力画像データに重畳するガイド線を生成するための変換テーブルとする。

第２のガイド線変換テーブル１５５４は、等立体角射影の魚眼レンズ状の出力画像データに重畳するガイド線を生成するための変換テーブルとする。第２のガイド線変換テーブル１５５４は、第１の実施形態で示した正射影ｙ＝ｆ×ｓｉｎθの代わりに、等立体角射影ｙ＝２×ｆ×ｓｉｎ（θ／２）を用いた変換テーブルとする。なお、他は第１の実施形態と同様とする。

選択部１５０３は、表示部２４ａに表示する俯瞰画像データを変換する際に、入力部１０ａを介した運転者からの操作に従って、正射影の魚眼レンズ及び等立体角射影の魚眼レンズのうち、どちらを用いるかを選択する。

俯瞰画像生成部１５０１は、魚眼レンズの種類に応じた複数の変換手法のうち、いずれか一つに基づいて魚眼レンズ状の俯瞰画像を生成する。

本実施形態の俯瞰画像生成部１５０１は、選択部１５０３で正射影の魚眼レンズが選択された場合には、第１の画像変換テーブル１５５１を用いて、撮像画像データを、俯瞰画像データに変換する。また、俯瞰画像生成部１５０１は、選択部１５０３で等立体角射影の魚眼レンズが選択された場合には、第２の画像変換テーブル１５５２を用いて、撮像画像データを、俯瞰画像データに変換する。

ガイド線変換部１５０２は、魚眼レンズの種類に応じた複数の変換手法のうち、いずれか一つに基づいた魚眼レンズ状の俯瞰画像に従った仮想ガイド線に変換する。

本実施形態のガイド線変換部１５０２は、選択部１５０３で正射影の魚眼レンズが選択された場合には、ガイド線を、第１のガイド線変換テーブル１５５３を用いて（正射影の魚眼レンズ状に変換された路面上の）仮想ガイド線に変換する。また、俯瞰画像生成部１５０１は、選択部１５０３で等立体角射影の魚眼レンズが選択された場合には、ガイド線を、第２のガイド線変換テーブル１５５４を用いて（等立体角射影の魚眼レンズ状に変換された路面上の）ガイド線を変換する。

そして、重畳部３５は、第１の実施形態と同様に、俯瞰画像生成部１５０１に変換された俯瞰画像データに、ガイド線変換部１５０２に変換されたガイド線を重畳する。

図１６は、正射影の魚眼レンズ状に変換された俯瞰画像データ１６０１と、等立体角射影の魚眼レンズ状に変換された俯瞰画像データ１６０２と、を例示した図である。図１６に示される例では、車両１とガイド線１６２１とが示されている。

図１６に示されるように、俯瞰画像データ１６０１においては、基準線１６５１で人物１６１１と接し、基準線１６５２で白線の端部に接している。

これに対して、俯瞰画像データ１６０２においては、基準線１６５１より中心側に人物１６１２が表され、基準線１６５２より中心側に白線の端部が表されている。

つまり、正射影の魚眼レンズ状に変換された俯瞰画像データ１６０１においては、車両１の周辺が広く表されるという特徴がある。これに対して、等立体角射影の魚眼レンズ状に変換された俯瞰画像データ１６０２は、俯瞰画像データ１６０１と比べて、広い範囲が表示されるという特徴がある。このように運転者は、表示する俯瞰画像データを選択することができる。本実施形態では、運転者が状況に応じた表示を選択できるので、運転者は周囲の把握が容易になる。

本実施形態においては、正射影の魚眼レンズ状、及び等立体角射影の魚眼レンズ状から選択する場合について説明したが、これらに制限するものではなく、例えば、等距離射影の魚眼レンズ状や、立体射影の魚眼レンズ状の俯瞰画像データを選択可能としても良い。

以上説明したとおり、上述した実施形態によれば、魚眼レンズ状に俯瞰画像データを表示することで、周囲の物体が延びるのを抑止しつつ、撮像部の境界面でも破綻の生じない表示を実現できる。さらに、魚眼レンズ状の俯瞰画像データに従うように、仮想ガイド線を変換したことで、従来のお椀形状の投影面で俯瞰画像データを投影する技術と比べて、仮想ガイド線に違和感が生じるのを抑止できる。これにより、周囲の状況をより認識しやすくなる。

本実施形態においては、魚眼レンズ状の俯瞰画像データから選択する例について説明したが、魚眼レンズ状の俯瞰画像データに制限するものではなく、仮想レンズ状の俯瞰画像データから選択するものであれば良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２４ａ…表示部、３０…画像処理部、３１…取得部、３２、１５０１…俯瞰画像生成部、３３…ガイド線生成部、３４、１５０２…ガイド線変換部、３５…重畳部、３６…出力部、４０…記憶部、４１…画像変換テーブル、４２…ガイド線変換テーブル、１５０３…選択部、１５５１…第１の画像変換テーブル、１５５２…第２の画像変換テーブル、１５５３…第１のガイド線変換テーブル、１５５４…第２のガイド線変換テーブル。

Claims (3)

1. 車両に設けられた撮像部により撮像された、前記車両の周辺の撮像画像を取得する取得部と、
   地面を基準に前記車両と反対側に設けられた面であって、地面に沿って延びていく方向において前記車両から遠ざかるに従って地面から離れていく３次元の仮想投影面に対して、前記取得部が取得した撮像画像が投影された、俯瞰画像を生成する俯瞰画像生成部と、
   前記車両による路面の予測経路を示したガイド線を生成するガイド線生成部と、
   前記ガイド線生成部により生成された前記ガイド線を、前記仮想投影面上での前記車両による予測経路を示した仮想ガイド線に変換する変換部と、
   前記俯瞰画像に、前記仮想ガイド線を重畳する重畳部と、
   を備える車両用画像処理装置。
2. 前記俯瞰画像生成部は、前記取得部が取得した前記撮像画像を、地面に対応する仮想平面を介して前記仮想投影面に投影した仮想レンズ状の俯瞰画像を生成する、
   請求項１に記載の車両用画像処理装置。
3. 前記俯瞰画像生成部は、仮想レンズの種類に応じた複数の変換手法のうち、いずれか一つに基づいて仮想レンズ状の俯瞰画像を生成する、
   請求項１又は２に記載の車両用画像処理装置。

Images