JP2009126270A - 画像処理装置及び方法、運転支援システム、車両 - Google Patents

Abstract

【課題】カメラ内蔵型の可動式ドアミラーを格納位置に配置した状態でも、通常位置に配置した状態と同様の画像を表示する。
【解決手段】ドアミラーの配置状態に拘らず車両の前後輪及び車両側面の下端（底部）が視野内に収まるように、カメラをドアミラーのミラーケース内に下方を向けて固定する。カメラが取得した原画像にレンズ歪み補正を施した後、歪み補正画像に対してエッジ抽出処理を施すことにより歪み補正画像上における車両側面の下端を検出し、その下端が伸びる方向（１２１）を歪み補正画像上の車両方向と推定する。この推定した車両方向が画像上の垂直方向を向くように歪み補正画像を補正することで方向補正画像を生成し、方向補正画像の一部を切り出した画像を表示装置に表示させる。
【選択図】図７

Description

本発明は、カメラからの入力画像に対して画像処理を施す画像処理装置及び方法に関する。また本発明は、それらを利用した運転支援システム及び車両に関する。

自動車などの車両の助手席側に設けられるドアミラーの直下及びその直下近傍の前輪周辺は、運転者の死角となる。カメラを用いて、この死角を映像表示するシステムが既に開発されている。例えば、ドアミラーのミラーケース（ミラーハウジング）内に小型カメラを下方に向けて設置するシステムが周知である（特許文献１参照）。

一方、ドアミラーを可動式にし、ドアミラーを格納できるようにした車両が一般的に利用されている。ドアミラーを格納位置に配置することにより、ドアミラーの車外への張り出し量が小さくなり車庫入れなどが容易となる。ドアミラーの配置位置の変更は、例えば、鉛直線を回転軸とするミラーケースの回転運動によって実現される。

しかし、この可動式のドアミラーのミラーケース内にカメラを下方に向けて固定した場合において、ドアミラーを回転させてドアミラーの配置位置を通常位置から格納位置に変更すると、その変更に伴ってカメラからの入力画像も変化し、表示される映像も変化する。例えば、ドアミラーの回転に応じて回転したような映像が表示され、前輪近傍の視認性が低下する。

このような可動式のドアミラーに対応するべく、カメラ角度を調整する駆動機構を設けることで、格納時においても通常時と同様な一定の撮像範囲を維持する方法が提案されている（特許文献２参照）。

特開２０００−１６１８１号公報 特開２００３−１６５３８４号公報

しかしながら、この方法では、ドアミラーの駆動と連動しつつ高精度にカメラ角度を調整する駆動機構が必要となるため、システムのコストアップを招くと共に構成が複雑化してしまう。また、ドアミラーの格納位置やカメラの取り付け角度にずれが生じたり、経年劣化等に由来して駆動機構による調整精度が低下したりすると、所望の映像を得ることができなくなる。また、所望の映像を得るべく、取り付け角度等を再調整するには甚大な手間がかかる。

そこで本発明は、カメラからの入力画像を望ましい形で提示するシステムの低廉化及び構成簡素化に寄与する画像処理装置及び画像補正方法を提供することを目的とする。また、本発明は、それらを利用した運転支援システム及び車両を提供することを目的とする。

本発明に係る画像処理装置は、車両に取り付けられ且つ車両本体の一部を視野内に収めるカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、前記入力画像に基づいて前記入力画像上の前記車両の方向を推定する車両方向推定手段と、推定された前記車両の方向に基づいて前記入力画像を補正して出力画像を生成する画像補正手段と、を備えたことを特徴とする。

具体的には例えば、前記車両本体に対する配置状態を変更可能な突出体が前記車両本体の外側に取り付けられており、前記カメラは前記突出体に装着されて、前記配置状態の変更に伴って前記カメラの視野が変化し、前記画像補正手段は、前記配置状態の変更に伴う前記出力画像上の前記車両の方向の変化を低減するための補正を前記入力画像に対して実行する。

上記の配置状態の変更に伴って入力画像上の車両の方向が変化するが、上記の如く構成することにより、その変更に伴う出力画像上の車両の方向の変化が低減される。結果、配置状態の変更を感じさせない、望ましい形の画像を提示することが可能となる。これを実現するに当たり、カメラの駆動機構は不要であるため、画像処理装置を含むシステムの低廉化及び構成簡素化が図られる。更に、撮影結果から車両の方向を推定し、その推定結果に基づいて入力画像の補正を行うため、カメラの取り付け角度などにずれが生じた場合でも、そのずれに容易に対応することができる。

より具体的には例えば、前記画像補正手段は、前記出力画像上の前記車両の方向が所定の方向となるように、前記入力画像を補正する。

また例えば、前記車両方向推定手段は、前記車両の方向に応じた方向に伸びる、前記入力画像上のエッジ部を検出することにより前記車両の方向を推定する。

また具体的には例えば、前記車両本体に装着された可動式のサイドミラーによって前記突出体が形成される。

また例えば、当該画像処理装置は、前記突出体の配置状態の変更を認識する変更認識手段を更に備え、前記車両方向推定手段は、その認識後であって且つ認識時点を基準とするタイミングにおいて、前記車両の方向を推定する。

本発明に係る運転支援システムは、上記のカメラ及び画像処理装置を備え、前記画像処理装置の前記画像補正手段の補正を介して得られた画像を表示手段に出力することを特徴とする。

本発明に係る車両は、上記のカメラ及び画像処理装置が設置されたことを特徴とする。

本発明に係る画像処理方法は、車両に取り付けられ且つ車両本体の一部を視野内に収めるカメラの撮影結果に基づいて入力画像を取得し、前記入力画像に基づいて前記入力画像上の前記車両の方向を推定し、推定された前記車両の方向に基づいて前記入力画像を補正する。

本発明は、カメラからの入力画像を望ましい形で提示するシステムの低廉化及び構成簡素化に寄与する。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る運転支援システムが適用される車両１０を左側から見た平面図である。図２（ａ）は車両１０を上方から見た平面図であり、図２（ｂ）は車両１０を後方から見た平面図である。尚、図１に示される車両１０は一般乗用車であるが、任意の車両に対して、本発明の実施形態に係る運転支援システムは適用可能である。

車両１０は路面上に位置しているものとし、路面は水平面に平行であるものとする。路面に平行な二次元座標系において、以下のように「前後左右」を定義する（この定義は、一般的な考え方と同様である）。車両１０が路面上を真っ直ぐ前進する時の車両１０の進行側を「前」とし、その逆側を「後」とする。上記の二次元座標系において前後方向に直交する方向を左右方向とする。「左」及び「右」とは、夫々、車両１０の運転席から前方を見たときの「左」及び「右」を意味する。更に、路面に直交する鉛直方向を上下方向とし、上空側を「上」、路面側を「下」とする。

車両本体１６内の前席の右側に運転席が設けられ且つ左側に助手席が設けられている。車両本体１６に前後輪及びドアミラーを含む車両部品を取り付けることによって車両１０が形成される。ドアミラーは、運転者が車両１０の後方及び後側方を確認するためのミラーであり、前席ドアの車外側に装着される。ドアミラーは、通常、車両本体１６に２つ取り付けられるが、今、車両本体１６の左側（即ち、助手席）に取り付けられた一方のドアミラー１１にのみ着目する。前輪及び後輪も車両本体１６に２つずつ取り付けられるが、車両本体１６の左側に取り付けられた一方の前輪１４及び一方の後輪１５にのみ着目する。車両１０を上方から見たとき、車両本体１６の形状は概ね長方形であり、ドアミラー１１は、その長方形の左側に突出するように車両本体１６に装着される。符号１２は車両本体１６の左側面を表しており、符合１３はその左側面１２の下端を表している。

ドアミラー１１の下部には、前輪１４付近の運転者の死角を映像として捉えるためのカメラ２１が装着されている（例えば、内蔵されている）。ドアミラー１１は可動式ドアミラーであり、格納式ドアミラーとも呼ばれる。図３（ａ）及び（ｂ）に、後方から見たドアミラー１１の平面図を示す。図３（ａ）は通常時における平面図であり、図３（ｂ）は格納時における平面図である。車両本体１６に対するドアミラー１１の配置状態は通常時と格納時で異なる。ここにおける配置状態は、ドアミラー１１の構成要素であるミラーケース１１ａの配置状態とも言える。以下、通常時における配置状態を通常状態といい、格納時における配置状態を格納状態という。

ドアミラー１１は、ミラーケース１１ａと、ミラーケース１１ａに嵌め込まれた鏡面体１１ｂと、ミラーベース１１ｃと、から形成される。ミラーベース１１ｃの右端は車両本体１６に固定され、ミラーベース１１ｃの左端とミラーケース１１ａの右端が接するようにミラーケース１１ａがミラーベース１１ｃに接合されている。ミラーケース１１ａとミラーベース１１ｃとの接合部内の、鉛直線に平行な軸を回転軸として、ミラーケース１１ａは回転可能となっている。その軸を回転軸としてミラーケース１１ａが回転することによって、ドアミラー１１の配置状態が変更される。

車両１０を或る程度の速度で走行させる場合など、ドアミラー１１の鏡面体１１ｂによって運転者が車両１０の後方及び後側方を確認する場合には、ドアミラー１１の配置状態は通常状態とされる。一方、車両１０を車庫内に格納しようとする場合など、ドアミラー１１の車外への張り出し量を小さくしたい場合には、ドアミラー１１の配置状態は格納状態とされる。例えば、運転者が車両１０に設けられた操作ボタン（不図示）を操作することによって、ドアミラー１１の配置状態は通常状態から格納状態へ或いは格納状態から通常状態へ変更される。

カメラ２１は、ミラーケース１１ａの下方に固定されており、ミラーケース１１ａの回転と共にカメラ２１も回転し、この回転に伴ってカメラ２１の視野（換言すれば、撮影領域）は変化する。但し、ドアミラー１１の配置状態に拘らず、カメラ２１が前輪１４近傍及び前輪１４近傍の下端１３を含む車両１０の周辺領域を撮影できるように、カメラ２１は形成されていると共にカメラ２１の取り付け角度などが調整されている。更に、カメラ２１の視野内に後輪１５も収めることが望ましい。以下の説明では、ドアミラー１１の配置状態に拘らず、カメラ２１の視野内に、前輪１４及び後輪１５並びに前輪１４と後輪１５の間の下端１３が含まれているものとする。

例えば、広角レンズを使用してカメラ２１を形成し、カメラ２１の光軸方向を鉛直方向と一致させる。ドアミラー１１（及びミラーケース１１ａ）の回転軸とカメラ２１の光軸の厳密なる一致は必要ではないが、概ね両者を一致させることが望ましい。或いは、撮影すべき領域を実際に撮影できる範囲内でカメラ２１の光軸方向を調整する。カメラ２１の光軸方向を鉛直方向と一致させると、ドアミラー１１（及びミラーケース１１ａ）の回転軸とカメラ２１の光軸が一致することになり、ドアミラー１１の配置状態が変更されたとしても、カメラ２１は概ね同じ領域を視野内に収めることができる。

図４に、車両１０に適用される運転支援システムのブロック図を示す。図４の運転支援システムは、カメラ２１と、画像処理装置２２と、表示装置２３と、を備える。この他、システム全体を統括的に制御するＣＰＵ（Central Processing Unit）や画像及びプログラムを記憶するメモリが運転支援システムには備えられているが、それらの図示は省略されている。

カメラ２１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２２は、例えば集積回路から形成される。表示装置２３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置２３として流用しても良い。また、画像処理装置２２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２２及び表示装置２３は、例えば、車両１０の運転席付近に設置される。

画像処理装置２２は、符号３１〜３６にて参照される各部位を備える。カメラ２１は、所定のフレーム周期（例えば、１／３０秒の周期）にて周期的に撮影を行い、順次、その撮影によって得られた画像（以下、原画像という）を表す画像データを画像処理装置２２に送る。

１枚の原画像に基づく画像が画像処理装置２２による画像処理を介して表示装置２３で表示されるまでの流れを、図５を参照して概略的に説明する。図５は、その流れを表すフローチャートである。まず、カメラ２１から原画像を取得して原画像の画像データをフレームメモリ（不図示）に格納する（ステップＳ１）。その原画像に対してレンズ歪み補正を施し（ステップＳ２）、レンズ歪み補正後の画像に対してエッジ抽出処理を施すことで画像上の左側面１２の下端１３を検出し、その検出結果から画像上の車両１０の方向（以下、車両方向という）を推定する（ステップＳ３及びＳ４）。その後、推定された車両方向が画像上で所望の方向を向くように、画像変換パラメータの算出を介してレンズ歪み補正後の画像を幾何学的変換し（ステップＳ５及びＳ６）、その変換後の画像の一部を切り出して切り出し画像を表示装置２３上で表示する（ステップＳ７及びＳ８）。尚、車両方向とは、一般的な解釈と同様、車両１０の走行時における車両１０の進行方向と合致し、車両１０の前後方向と同義である。

画像処理装置２２内の各部位の動作について詳細に説明する。画像入力部３１は、カメラ２１から原画像の入力を受ける。即ち、周期的に送られてくる原画像の画像データを受け取り、その画像データをフレームメモリ（不図示）に記憶させていくことで原画像を取得する。広視野角を確保すべくカメラ２１には広角レンズが用いられるため、原画像には歪みが含まれている。そこで、レンズ歪み補正部３２は、画像入力部３１が取得した原画像に対してレンズ歪み補正を施す。レンズ歪み補正の方法として、特開平５−１７６３２３号公報に記載されているような公知の任意の方法が利用可能である。レンズ歪み補正後の原画像を、以下「歪み補正画像」とも呼ぶ。

図６（ａ）に歪みを含む原画像の例として原画像１００を示し、図６（ｂ）に、その原画像１００に対してレンズ歪み補正を施すことによって得られた歪み補正画像１１０を示す。原画像１００の撮影時におけるカメラ２１の視野内には、車両１０の前後方向に真っ直ぐ伸びる、路面上の縁石が存在しており、図６（ａ）の符号１０１は原画像１００上の縁石を表していると共に図６（ｂ）の符号１１１は歪み補正画像１１０上の縁石を表している。レンズ歪み補正によって、画像上の縁石の歪みが除去されていることが分かる。

また、図６（ａ）において、図面の上下方向に伸びる実線１３ａは原画像１００上の下端１３を表し、黒く塗りつぶされた楕円１４ａ及び１５ａはそれぞれ原画像１００上の前輪１４及び後輪１５を表す（図１、図２（ａ）及び（ｂ）参照）。図６（ｂ）において、図面の上下方向に伸びる実線１３ｂは歪み補正画像１１０上の下端１３を表し、黒く塗りつぶされた楕円１４ｂ及び１５ｂはそれぞれ歪み補正画像１１０上の前輪１４及び後輪１５を表す。尚、原画像１００は、ドアミラー１１の配置状態を通常状態にして得られた画像である。

エッジ抽出部３３は、微分フィルタやソーベルフィルタ等の任意のエッジ抽出フィルタを歪み補正画像に適用することで、歪み補正画像中で明るさが急峻に変化するエッジ部分を歪み補正画像から抽出する。これにより、少なくとも歪み補正画像上の下端１３がエッジ部分として抽出される。図６（ｂ）の歪み補正画像１１０の例の場合は、実線１３ｂがエッジ部分として抽出される。

車両方向推定部３４は、抽出されたエッジ部分から歪み補正画像上の下端１３を検出し、歪み補正画像上で下端１３が伸びる方向を歪み補正画像上の車両方向と推定する。つまり、図６（ｂ）の歪み補正画像１１０の例の場合は、実線１３ｂが伸びる方向を歪み補正画像上の車両方向と推定する。実線１３ｂは若干曲がっているが、直線近似を用いて車両方向を直線の方向として推定する。尚、抽出されたエッジ部分から下端１３を検出して車両方向を推定する過程において、公知のハフ変換を利用することができる。

下端１３は、長く且つ強いエッジ成分を含むため、比較的容易に、下端１３のエッジ部分が抽出されて抽出結果から歪み補正画像上の下端１３が検出される。尚、歪み補正画像上において下端１３が存在しうる領域は限られているため、予めエッジ抽出を行う領域を限定しておくとよい。即ち、歪み補正画像の全体領域の内の予め定められた一部領域のみを対象としてエッジ部分の抽出処理を行い、その結果から車両方向を推定するようにするとよい。これにより、車両方向の誤検出が抑制されると共に処理の負荷が軽減される。

また、路面に白線が描かれているような場所において車両方向の推定を行うと、白線が描かれた方向を車両方向であると誤って推定する惧れがある。そこで、歪み補正画像上の前後輪のタイヤを特徴部として捉え、その特徴部をも併せて検出することで車両方向の推定精度を高めるようにしてもよい。即ち、エッジ抽出部３３によって抽出された直線状のエッジ部分の両端に前輪１４及び後輪１５のタイヤが存在しているか否かを検出し、存在が検出された場合にのみ該直線状のエッジ部分を下端１３についてのエッジ部分であると判断して、そのエッジ部分から車両方向を推定するようにしてもよい。

この場合、車両方向推定部３４は、着目した直線状のエッジ部分の両端に前輪１４及び後輪１５のタイヤが存在しているか否かを検出を、歪み補正画像に基づいて行う。例えば、歪み補正画像上において、着目した直線状のエッジ部分の両端に一定以上の大きさを有する黒色領域が存在しているか、或いは、該両端に楕円形状のエッジが検出されるかを確認し、その黒色領域の存在が検出された場合、或いは、その楕円形状のエッジが検出された場合に、着目した直線状のエッジ部分の両端に前輪１４及び後輪１５のタイヤが存在していると判断する。

尚、前輪１４及び後輪１５の双方を検出することが望ましいのであるが、前輪１４のみを検出するようにしてもよい。この場合、エッジ抽出部３３によって抽出された直線状のエッジ部分の一端に前輪１４のタイヤが存在しているか否かを検出し、存在が検出された場合にのみ該直線状のエッジ部分を下端１３についてのエッジ部分であると判断して、そのエッジ部分から車両方向を推定する。タイヤの存在／不存在の判別方法は、上述した通りである。

画像補正手段としての画像変換部３５は、車両方向推定部３４によって推定された車両方向に基づいて歪み補正画像を補正する。この補正後の画像を方向補正画像と呼ぶ。より具体的には、車両方向推定部３４によって推定された車両方向に基づいて、方向補正画像上における車両方向を予め設定した目標方向と合致させるための画像変換パラメータを求め、該画像変換パラメータを用いて歪み補正画像を変形することにより方向補正画像を生成する。目標方向は、例えば、画像の垂直方向とする。この場合、方向補正画像上の車両方向は、方向補正画像の垂直方向と合致するようになる。

方向補正画像を得るための変形とは、例えば、アフィン変換に代表される幾何学的変換であり、画像変換パラメータとは、その幾何学的変換の内容を表すパラメータを指す。ドアミラー１１の回転軸の方向及びカメラ２１の光軸方向が共に鉛直方向と一致する場合は、方向補正画像を得るための変形は、画像回転である。

図７に、格納時に得られる歪み補正画像の典型例として歪み補正画像１２０を示すと共に、この歪み補正画像１２０を変形することで得られる方向補正画像１３０を示す。図７において、破線１２１は、車両方向推定部３４によって推定される、歪み補正画像１２０上の車両方向に沿った線であり、破線１３１は、方向補正画像１３０上の車両方向に沿った線である。方向補正画像１３０上の車両方向は、方向補正画像１３０の垂直方向を向いていることが分かる。尚、歪み補正画像上の車両方向が、既に目標方向を向いている場合（即ち、歪み補正画像の垂直方向を向いている場合）は、画像変換部３５において変形は施されず、歪み補正画像そのものが方向補正画像として出力される。

仮にカメラ２１の光軸方向が鉛直方向と異なる場合は、方向補正画像上における車両方向を目標方向に合致させ且つ方向補正画像が定義される座標面と路面とを平行にするための画像変換パラメータを求める。この場合における画像変換パラメータには、歪み補正画像の座標面を路面に投影するための行列（透視投影行列や射影変換行列）の成分が含まれる。この行列の成分は、カメラ２１の取り付け角度及びカメラ２１の設置高さなどのカメラ外部情報とカメラ２１の焦点距離などのカメラ内部情報とに基づいて予め設定される、或いは、カメラ２１の撮影結果に基づくカメラキャリブレーションによって予め設定される。

表示画像生成部３６は、画像変換部３５にて生成された方向補正画像の一部を切り出し、切り出した画像（以下、切り出し画像という）の画像データを表示装置２３に出力する。これにより、切り出し画像が表示装置２３に表示される。カメラ２１に広角レンズを使用した場合、広範囲を撮影することが出来るが、運転者にとって確認が必要な領域は車両近辺であるので、上記の切り出しを行った方が望ましい。例えば、表示装置２３の表示画面上で車両方向がその直交方向と比べて長く表示されるように切り出しを行う。但し、方向補正画像そのものを表示装置２３に表示させることも可能である。尚、方向補正画像の切り出し画像又は方向補正画像そのものに車両速度や地図などの情報を示す画像を合成し、合成後の画像を表示装置２３に表示させるようにしてもよい。

車両方向の推定及びその推定結果に基づく画像変換パラメータの算出を、原画像の取得ごとに行わせることも可能であるが、それらを必要なタイミングにおいてのみ行わせるようにしても良い。この場合、一旦算出した画像変換パラメータを保持しておき、新たな画像変換パラメータが算出されるまで、保持しておいた画像変換パラメータを用いて歪み補正画像の変形を行うようにする。そして、新たな画像変換パラメータが算出された時点で保持すべき画像変換パラメータを、その新たな画像変換パラメータで更新するようにする。

例えば、車両方向の推定並びにその推定結果に基づく画像変換パラメータの算出及び更新を実行すべきタイミングをユーザが指示するようにしてもよい。ユーザによる指示は、例えば、図示されない操作部に対する操作を介して画像処理総理２２に伝達される。

或いは例えば、ドアミラー１１の配置状態を変更するための操作ボタン（不図示）が操作された時点を基準として、車両方向の推定並びにその推定結果に基づく画像変換パラメータの算出及び更新のタイミングを定めてもよい。操作ボタンに対する操作内容は画像処理総理２２に伝達され、画像処理装置２２（詳細には、画像処理装置２２内の変更認識部（不図示））は、その操作によってドアミラー１１の配置状態が変更されることを認識する。その認識時点から所定時間が経過した後に（換言すれば、操作ボタンに対する操作時点から所定時間が経過した後に）、車両方向の推定を実行して新たな画像変換パラメータを算出するようにする。この所定時間は、ドアミラー１１の配置状態を変更するために必要な駆動時間よりも長くなるように設定される。

更に或いは例えば、原画像の取得ごとではないが、定期的に、車両方向の推定並びにその推定結果に基づく画像変換パラメータの算出及び更新を行うようにしてもよい。定期的な画像像換パラメータの算出及び更新により、実際の画像変換パラメータと理想的な画像変換パラメータとの誤差の修正が定期的になされる。

ドアミラー１１の配置状態の変更に伴って原画像及び歪み補正画像上の車両方向は変化するが、本実施形態では、方向補正画像上において該変化が打ち消されるように画像像換パラメータに基づく補正を行う。これにより、ドアミラー１１の配置状態に拘らず常に車両方向が一定の画像を運転者に提示することができる。つまり、ドアミラー１１が格納された状態でも、通常状態と同様の映像を運転者に提示することができる。これを実現するに当たり、カメラ２１の駆動機構は不要であるため、安価且つ簡素にシステムを形成できる。尚、ドアミラー１１の配置状態の変更に伴う方向補正画像上における車両方向の変化は、理想的には完全に打ち消されるが、様々な誤差要因に由来して、それを完全に打ち消すことができないこともある。従って、「打ち消す」という表現は「低減する」という表現に置き換えて考えることができる。

また、撮影結果に基づく画像から画像上の車両方向を推定し、その推定結果に基づいて提示する画像を修正することができるため、ドアミラー１１の格納位置等にずれが生じた場合でも、容易に対応できる。例えば、ドアミラー１１と障害物との衝突に起因してドアミラー１１の格納位置にずれが生じた場合、ユーザによる画像変換パラメータの再計算指示などによって、そのずれに適応した画像変換パラメータが再計算され、そのずれ分をも修正した画像が提示されるようになる。

また、画像上の下端１３を検出することによって画像上の車両方向を推定する例を挙げたが、車両方向に応じた方向に伸びる任意のエッジ部（以下、被検出エッジ部という）を検出することによって画像上の車両方向を推定するようにしてもよい。この場合におけるエッジ抽出部３３及び車両方向推定部３４の動作は、上述したそれと同様である。即ち、エッジ抽出部３３は、歪み補正画像からエッジ部分を抽出し、抽出結果から歪み補正画像上の被検出エッジ部を検出する。そして、車両方向推定部３４は、歪み補正画像上で被検出エッジ部が伸びる方向を歪み補正画像上の車両方向として推定する。下端１３は、車両方向と略平行な方向に伸びるため、被検出エッジ部の一種である。勿論、実空間上において、被検出エッジ部はカメラ２１の視野内に収まっているものとする。

例えば、車両１０のドアに取り付けられたドアモール（不図示）を被検出エッジ部として利用することができる。このドアモールは、車両１０のドアの縁を覆うようにドアに取り付けられており、ドアの下端部におけるドアモールは、下端１３と同じく、車両方向と略平行な方向に伸びている。従って、ドアモールを被検出エッジ部として捉えることにより、車両方向を推定可能である。

或いは例えば、車両１０のドアの下方に設置されたステップ（不図示）の端を被検出エッジ部として利用することもできる。ここにおけるステップとは、車両１０が比較的大型の車両である場合に、車両１０に取り付けられた昇降用のステップであり、ステップの端とは、車両方向に平行な、ステップの端である。ステップの端は、下端１３と同じく、車両方向と略平行な方向に伸びている。従って、ステップの端を被検出エッジ部として捉えることにより、車両方向を推定可能である。

或いは例えば、車両１０のドアの模様における境界線（不図示）を被検出エッジ部として利用することもできる。例えば、車両１０のドアの車外側の表面が、互いに異なる第１の色と第２の色にて模様付けされており、そのドアの上半分及び下半分の色が夫々第１及び第２の色となっている場合を想定する。図８は、そのドアを正面から見た図である。この場合、そのドアにおける第１の色が塗られた部分と第２の色が塗られた部分の境界線は、下端１３と同じく、車両方向と略平行な方向に伸びている。従って、その境界線を被検出エッジ部として捉えることにより、車両方向を推定可能である。

尚、上述の例では、レンズ歪み補正後の画像に対して画像変換パラメータを作用させているが、レンズ歪み補正を行うための画像変換（例えば、アフィン変換）を画像変換パラメータに盛り込んで、原画像から一気に方向補正画像を生成するようにしてもよい。この場合、原画像を画像変換部３５に入力するようにする。そして、画像変換部３５では、レンズ歪み補正と推定された車両方向に基づく変形とを原画像に施すための画像変換パラメータを求め、その画像変換パラメータを原画像に作用させることで方向補正画像を生成する。

また、使用するカメラによってはレンズ歪み補正自体が不要となることもある。レンズ歪み補正が不要な場合は、図４の画像処理装置２２からレンズ歪み補正部３２を削除し、歪み補正画像の代わりに原画像をエッジ抽出部３３及び画像変換部３５に与えればよい。

ドアミラー１１そのもの又はドアミラー１１のミラーケース１１ａは、車両本体１６から突き出すように車両本体１６の外側に装着された、車両本体１６にとっての突出体であると言える。但し、この突出体は、ドアミラー１１のような可動式の突出体である。ドアミラーにカメラが装着されている場合を想定して本発明の実施形態における処理を上述したが、フェンダーミラーにカメラが装着されている場合でも同様の処理が可能である。但し、このフェンダーミラーは、上述のドアミラー１１と同様の、可動式のフェンダーミラーであるとする。ドアミラーとフェンダーミラーは、サイドミラーに属する。サイドミラーに分類されない可動式の突出体に対しても本発明は適用可能である。

また、図４の画像処理装置２２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて画像処理装置２２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、画像処理装置２２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る運転支援システムが適用される車両を左側から見た平面図である。 図１の車両を上方から見た平面図（ａ）と後方から見た平面図（ｂ）である。 図１の車両のドアミラーを後方から見た平面図（通常時の平面図と格納時の平面図）である。 本発明の実施形態に係る運転支援システムのブロック図である。 本発明の実施形態に係る運転支援システムの全体的な動作の流れを表すフローチャートである。 図４の画像入力部が取得する原画像と、その原画像にレンズ歪み補正を施すことで得られる歪み補正画像と、を示す図である。 図１のドアミラーの格納時に得られる歪み補正画像と、それを変形することによって得られる方向補正画像と、を示す図である。 車両のドアの模様例を示す図である。

符号の説明

１０ 車両
１１ ドアミラー
１１ａ ミラーケース
１１ｂ 鏡面体
１１ｃ ミラーベース
１２ 左側面
１３ 下端
１４ 前輪
１５ 後輪
１６ 車体本体
２１ カメラ
２２ 画像処理装置
２３ 表示装置

Claims (9)

1. 車両に取り付けられ且つ車両本体の一部を視野内に収めるカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、
   前記入力画像に基づいて前記入力画像上の前記車両の方向を推定する車両方向推定手段と、
   推定された前記車両の方向に基づいて前記入力画像を補正して出力画像を生成する画像補正手段と、を備えた
   ことを特徴とする画像処理装置。
2. 前記車両本体に対する配置状態を変更可能な突出体が前記車両本体の外側に取り付けられており、
   前記カメラは前記突出体に装着されて、前記配置状態の変更に伴って前記カメラの視野が変化し、
   前記画像補正手段は、前記配置状態の変更に伴う前記出力画像上の前記車両の方向の変化を低減するための補正を前記入力画像に対して実行する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像補正手段は、前記出力画像上の前記車両の方向が所定の方向となるように、前記入力画像を補正する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記車両方向推定手段は、前記車両の方向に応じた方向に伸びる、前記入力画像上のエッジ部を検出することにより前記車両の方向を推定する
   ことを特徴とする請求項１乃至請求項３の何れかに記載の画像処理装置。
5. 前記車両本体に装着された可動式のサイドミラーによって前記突出体が形成される
   ことを特徴とする請求項２または請求項３の何れかに記載の画像処理装置。
6. 前記突出体の配置状態の変更を認識する変更認識手段を更に備え、
   前記車両方向推定手段は、その認識後であって且つ認識時点を基準とするタイミングにおいて、前記車両の方向を推定する
   ことを特徴とする請求項２、請求項３または請求項５に記載の画像処理装置。
7. 請求項１乃至請求項６の何れかに記載のカメラ及び画像処理装置を備え、
   前記画像処理装置の前記画像補正手段の補正を介して得られた画像を表示手段に出力する
   ことを特徴とする運転支援システム。
8. 請求項１乃至請求項６の何れかに記載のカメラ及び画像処理装置が設置された
   ことを特徴とする車両。
9. 車両に取り付けられ且つ車両本体の一部を視野内に収めるカメラの撮影結果に基づいて入力画像を取得し、
   前記入力画像に基づいて前記入力画像上の前記車両の方向を推定し、
   推定された前記車両の方向に基づいて前記入力画像を補正する
   ことを特徴とする画像処理方法。

Images