JP2009214790A - 撮像装置および方法、並びに、画像処理装置および方法 - Google Patents

Abstract

【課題】簡単な構成により、車両の左右の側方をより遠くまで確認できるようにする。
【解決手段】カメラの光学系１４１において、プリズム１５１Ｒの入射面はレンズ１５２から見て右斜め方向に向き、プリズム１５１Ｌの入射面はレンズ１５２から見て左斜め方向を向いており、プリズム１５１Ｒが上、プリズム１５１Ｌが下になるように上下に並べて配置されている。車両の右側方からプリズム１５１Ｒの入射面に入射した光、および、左側方からプリズム１５１Ｌの入射面に入射した光は、プリズム１５１Ｒからの光が上、プリズム１５１Ｌからの光が下になるようにレンズ１５２の方向に屈折され、１つの像を形成し、レンズ１５２を透過した後、撮像素子１５３の撮像面において結像する。その結果、車両の右側方の画像が上側に配置され、車両の左側方の画像が下側に配置された側方画像が撮像される。本発明は、例えば、車載用のカメラに適用できる。
【選択図】図５

Description

本発明は、撮像装置および方法、並びに、画像処理装置および方法に関し、特に、車両の左右の側方の状況を確認する場合に用いて好適なカメラおよび方法、並びに、画像処理装置および方法に関する。

従来、図１に示されるように、車両１の前部に設置されたカメラ２により車両１の右側方の視界１１Ｒおよび左側方の視界１１Ｌを撮像し、撮像した画像を車内のディスプレイなどに表示することにより、交差点への進入時などに運転者の死角となる領域を容易に確認できるようにする技術が提案されている（例えば、特許文献１参照）。

図２は、カメラ２の光学系２１の構成の例を模式的に示す図である。プリズム３１は、入射面の右半分（入射面３１Ｒ）が、レンズ３２から見て右斜め方向を向き、入射面の左半分（入射面３１Ｌ）が、レンズ３２から見て左斜め方向を向いている。そのため、車両１の右側方から入射面３１Ｒに入射した光、および、車両１の左側方から入射面３１Ｌに入射した光は、ともにレンズ３２の方向に屈折され、レンズ３２を透過し、入射面３１Ｒにより屈折された光の像が撮像素子３３の右半分において結像し、入射面３１Ｌにより屈折された光の像が撮像素子３３の左半分において結像する。これにより、図３に模式的に示されるように、車両１の右側方の視界１１Ｒの画像が右半分に、車両１の左側方の視界１１Ｌの画像が左半分に配置された画像（以下、側方画像と称する）を得ることができる。

なお、図３には、自車の右側方に車両５１が存在し、自車の左側方に人５２および人５３が存在する場合の側方画像の例が示されている。

特許３５７３１８７号公報

しかしながら、カメラ２では、車両１の右側方の視界１１Ｒおよび左側方の視界１１Ｌを撮像できる範囲が、それぞれ側方画像の水平方向の半分の領域に限定される。そのため、車両１の左右の側方の状況を確認できる範囲が狭くなり、例えば、他の車両や歩行者などの移動体が車両１の近くまで接近してこないと、検出することができなかった。

本発明は、このような状況に鑑みてなされたものであり、簡単な構成により、車両の左右の側方をより遠くまで確認できるようにするものである。

本発明の第１の側面の撮像装置は、車両の所定の位置に設置された状態において、車両の右側方から入射する光および車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、１つの像を形成する光学系を備える。

本発明の第１の側面の撮像装置においては、車両の右側方から入射する光および車両の左側方から入射する光が、一方が上、他方が下になるように同じ方向に屈折され、１つの像が形成される。

従って、車両の左右の側方を上下に並べて一度に撮像することができる。また、簡単な構成により、車両の左右の側方の状況をより遠くまで確認することが可能になる。

この光学系は、例えば、プリズム、ミラー、レンズ、撮像素子などにより構成される。

この光学系には、車両の右側方から入射する光を所定の方向に屈折させる第１の屈折部、および、車両の左側方から入射する光を所定の方向に屈折させる第２の屈折部を有し、第１の屈折部および第２の屈折部が、一方が上、他方が下になるように上下に並べて配置される屈折手段を設けるようにすることができる。

これにより、光学系を簡単な構成とすることができる。

この屈折手段は、例えば、プリズム、ミラーなどにより構成される。

この光学系には、屈折手段により屈折された光が入射する望遠レンズをさらに設けることができる。

これにより、画像の解像度を向上させることができ、車両の左右の側方の状況をより遠くまで確認することが可能になる。

本発明の第１の側面の撮像方法は、車両の右側方から入射する光および車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、１つの像を形成し、形成された像を撮像する。

本発明の第１の側面の撮像方法においては、車両の右側方から入射する光および車両の左側方から入射する光が、一方が上、他方が下になるように同じ方向に屈折され、路面に対してほぼ垂直に、かつ、撮像面が前記車両の正面方向を向くように設置されている撮像素子上に１つの像が形成され、形成された像が撮像される。

従って、車両の左右の側方を上下に並べて一度に撮像することができる。また、簡単な構成により、車両の左右の側方の状況をより遠くまで確認することが可能になる。

本発明の第２の側面の画像処理装置は、車両の所定の位置に設置された状態において、車両の右側方から入射する光および車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、１つの像を形成する光学系を備える撮像手段と、撮像手段により撮像された像の画像を処理する画像処理手段とを備える。

本発明の第２の側面の画像処理装置においては、車両の右側方から入射する光および車両の左側方から入射する光が、一方が上、他方が下になるように同じ方向に屈折され、１つの像が形成され、撮像された像の画像が処理される。

従って、車両の左右の側方を上下に並べて一度に撮像し、撮像した画像を処理することができる。また、簡単な構成により、車両の左右の側方の状況をより遠くまで確認することが可能になる。

この光学系は、例えば、プリズム、ミラー、レンズ、撮像素子などにより構成され、この画像処理手段は、例えば、CPUにより構成される。

この画像処理手段には、画像において上下に並んでいる車両の右側方の画像と車両の左側方の画像を、前記右側方の画像を右に、前記左側方の画像を左に並べるように変換させることができる。

これにより、自車の左右の側方の状況をより直感的に把握することが可能になる。

この画像処理手段には、画像に基づいて、車両の右側方および左側方の物体を検出させることができる。

これにより、車両の左右の側方において、より遠くに存在する物体を検出することができる。

本発明の第２の側面の画像処理方法においては、車両の右側方から入射する光および車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、路面に対してほぼ垂直に、かつ、撮像面が前記車両の正面方向を向くように設置されている撮像素子上に１つの像を形成し、形成された像を撮像する撮像ステップと、撮像ステップの処理により撮像された画像を処理する画像処理ステップとを含む。

本発明の第２の側面の画像処理方法においては、車両の右側方から入射する光および車両の左側方から入射する光が、一方が上、他方が下になるように同じ方向に屈折され、路面に対してほぼ垂直に、かつ、撮像面が前記車両の正面方向を向くように設置されている撮像素子上に１つの像が形成され、形成された像が撮像され、撮像された画像が処理される。

従って、車両の左右の側方を上下に並べて一度に撮像し、撮像した画像を処理することができる。また、簡単な構成により、車両の左右の側方の状況をより遠くまで確認することが可能になる。

本発明の第１の側面によれば、車両の左右の側方を上下に並べて一度に撮像することができる。特に、本発明の第１の側面によれば、簡単な構成により、車両の左右の側方の状況をより遠くまで確認することが可能になる。

本発明の第２の側面によれば、車両の左右の側方を上下に並べて一度に撮像し、撮像した画像を処理することができる。特に、本発明の第２の側面によれば、簡単な構成により、車両の左右の側方の状況をより遠くまで確認することが可能になる。

以下、図を参照して、本発明の実施の形態について説明する。

図４は、本発明を適用した画像処理システムの一実施の形態を示すブロック図である。図４の画像処理システム１０１は、例えば、左右の見通しが悪い交差点などにおいて画像処理システム１０１が設けられた車両（以下、自車とも称する）からの死角となる、自車の左側方および右側方を撮像し、撮像した画像（以下、側方画像と称する）を表示したり、側方画像の処理を行ったりする。画像処理システム１０１は、カメラ１１１および画像処理装置１１２を含むように構成される。

カメラ１１１は、自車の右側方および左側方を撮像し、撮像の結果得られた側方画像を画像処理装置１１２に供給する。

図５は、カメラ１１１の光学系１４１の構成を模式的に示す図である。カメラ１１１の光学系１４１は、プリズム１５１Ｌ，１５１Ｒ、レンズ１５２、および、撮像素子１５３を含むように構成される。なお、図５において、左斜め上方向がカメラ１１１の正面方向である。

プリズム１５１Ｒの入射面（図５内で見えているプリズム１５１Ｒの面の裏面）は、レンズ１５２から見て右斜め方向に向き、プリズム１５１Ｌの入射面（図５内で見えているプリズム１５１Ｌの面の裏面）は、レンズ１５２から見て左斜め方向を向いている。また、プリズム１５１Ｒとプリズム１５１Ｌは、プリズム１５１Ｒが上、プリズム１５１Ｌが下になり、互いの入射面がほぼ中央で交わるように、上下に並べて配置されている。さらに、レンズ１５２の主平面（レンズ１５２の主点を通り、光軸に垂直な面）と撮像素子１５３の撮像面とがほぼ平行になるように前後に並べて配置されている。

そして、プリズム１５１Ｒの入射面に入射した光、および、プリズム１５１Ｌの入射面に入射した光は、プリズム１５１Ｒおよびプリズム１５１Ｌにより、プリズム１５１Ｒからの光が上、プリズム１５１Ｌからの光が下になるようにレンズ１５２の方向に屈折され、１つの像を形成し、レンズ１５２を透過した後、撮像素子１５３の撮像面において結像する。これにより、撮像素子１５３の上半分により、プリズム１５１Ｒに入射した光による像が撮像され、撮像素子１５３の下半分により、プリズム１５１Ｌに入射した光による像が撮像される。

図６は、画像処理システム１０１を車両１７１に設ける場合のカメラ１１１の設置位置の例を示している。カメラ１１１は、例えば、車両１７１の前後方向の中心軸Ａ上かつ前端部に、車両１７１の前端から突出するように設置される。また、カメラ１１１は、撮像素子１５３が、水平な路面において路面に対してほぼ垂直に（カメラ１１１の直下の路面に対して、撮像素子１５３の水平方向の辺１５３Ｕおよび辺１５３Ｄがほぼ平行、かつ垂直方向の辺１５３Ｌおよび１５３Ｒがほぼ垂直に）、かつ、撮像面が車両１７１の正面方向を向くように設置される。これにより、車両１７１の右側方の視界１７２Ｒの像と左側方の視界１７２Ｌの像が、カメラ１１１の光学系１４１により１つの像として撮像される。

図７は、従来のカメラ２により図３の側方画像を撮像した場合と同じ状況において、カメラ１１１により撮像した側方画像の例を模式的に示している。光学系１４１を有するカメラ１１１を用いることにより、図７に示されるように、車両の右側方の視界の画像が上側に配置され、車両の左側方の視界の画像が下側に配置された画像を簡単に撮像することができる。また、カメラ１１１により、カメラ２と比較して、自車の左右の側方を、より遠くの範囲まで撮像することができる。

図４に戻り、画像処理装置１１２は、カメラインタフェース（Ｉ／Ｆ）１２１、メモリ１２２、CPU（Central Processing Unit）１２３、および、外部インタフェース（Ｉ／Ｆ）１２４を含むように構成される。

カメラＩ／Ｆ１２１は、CPU１２３の制御の基に、カメラ１１１により撮像された側方画像を取得し、メモリ１２２に記憶させる。

CPU１２３は、所定の制御プログラムを実行することにより、画像処理装置１１２の各部の動作を制御したり、メモリ１２２に記憶されている側方画像に対して所定の画像処理を行う。また、CPU１２３は、画像処理の結果を示す情報を、必要に応じて、外部Ｉ／Ｆ１２４および図示せぬCAN（Controller Area Network）などを介して、Electronic Control Unit（ECU）、Engine Control Unit（ECU）、カーナビゲーションシステムなどの他の車載機器に供給する。

図８は、CPU１２３により実現される機能の一例を示すブロック図である。CPU１２３が制御プログラムを実行することにより、例えば、側方監視部２０１が実現される。また、側方監視部２０１は、移動ベクトル算出部２１１、移動体検出部２１２、画像変換部２１３、および、移動体強調表示部２１４を含むように構成される。

移動ベクトル算出部２１１は、メモリ１２２に記憶されている側方画像を読み出し、所定の手法を用いて、側方画像における移動ベクトルを算出する。移動ベクトル算出部２１１は、側方画像、および、算出した移動ベクトルを示す情報を移動体検出部２１２に供給する。

移動体検出部２１２は、所定の手法を用いて、移動ベクトル算出部２１１により算出された移動ベクトルに基づいて、側方画像内の移動体を検出し、検出した移動体の側方画像における位置を示す情報を移動体強調表示部２１４に供給する。また、移動体検出部２１２は、移動体の検出結果を示す情報（例えば、移動体の有無、移動体が検出された方向など）を、外部Ｉ／Ｆ１２４および図示せぬCANを介して、他の車載機器に供給する。

画像変換部２１３は、メモリ１２２に記憶されている側方画像を読み出し、側方画像のサイズおよび配置などの変換を行う。画像変換部２１３は、変換後の側方画像（以下、変換画像と称する）を移動体強調表示部２１４に供給する。

移動体強調表示部２１４は、移動体検出部２１２により検出された移動体を強調するように、変換画像に対して画像処理を施す。移動体強調表示部２１４は、画像処理後の画像（以下、モニタ画像と称する）を、外部Ｉ／Ｆ１２４および図示せぬCANを介して、自車内の表示装置（例えば、カーナビゲーションシステムのディスプレイなど）に供給し、表示させる。

次に、図９のフローチャートを参照して、画像処理システム１０１により実行される側方監視処理について説明する。なお、この処理は、例えば、自車のエンジンが始動されたとき開始され、自車のエンジンが停止したとき終了する。

ステップＳ１において、画像処理システム１０１は、側方画像を取得する。具体的には、カメラ１１１は、図５を参照して上述したように、自車の右側方および左側方を一度に撮像し、撮像の結果得られた側方画像を、カメラＩ／Ｆ１２１を介して、メモリ１２２に記憶させる。

ステップＳ２において、移動ベクトル算出部２１１は、所定の手法に基づいて、移動ベクトルを算出する。例えば、移動ベクトル算出部２１１は、最新の時刻tにおける側方画像t、および、側方画像tの1つ前の時刻t-1における側方画像t-1をメモリ１２２から読み出す。移動ベクトル算出部２１１は、側方画像t-1内の特徴点（例えば、エッジ、コーナーなど）を抽出し、抽出した特徴点について、側方画像t-1と側方画像tとの間の移動ベクトルを算出する。移動ベクトル算出部２１１は、側方画像、および、算出した移動ベクトルを示す情報を移動体検出部２１２に供給する。

なお、ここで用いる移動ベクトルの算出手法は、特定の手法に限定されるものではなく、より正確、より迅速かつより簡単に移動ベクトルを算出できる手法を適用することが望ましい。

ステップＳ３において、移動体検出部２１２は、所定の手法に基づいて、移動体を検出する。例えば、移動体検出部２１２は、図示せぬヨーレートセンサから自車の旋回方向の角速度を示す情報を取得し、取得した自車の角速度に基づいて、時刻t-1と時刻tとの間に、自車が旋回方向に回転することによりカメラ１１１が回転した角度を算出する。そして、移動体検出部２１２は、カメラ１１１の旋回方向の回転により生じた成分を各移動ベクトルの成分から除去したベクトル（以下、変換ベクトルと称する）を算出する。

また、移動体検出部２１２は、図示せぬ車速センサから自車の速度を示す情報を取得し、取得した自車の速度に基づいて、時刻t-1と時刻tとの間に自車が移動することによりカメラ１１１が移動した距離を算出する。移動体検出部２１２は、各変換ベクトルの側方画像上の位置、および、時刻t-1と時刻tの間に自車が移動した距離に基づいて、各変換ベクトルが、カメラ１１１の距離方向の移動のみにより生じたベクトル（以下、背景ベクトルと称する）であるか、あるいは、カメラ１１１の距離方向の移動および被写体の移動により生じたベクトル（以下、移動体ベクトルと称する）のいずれであるかを判定する。移動体検出部２１２は、移動体ベクトルであると判定されたベクトルに基づいて、側方画像t内における移動体の位置を検出する。移動体検出部２１２は、検出した移動体の側方画像における位置を示す情報を移動体強調表示部２１４に供給する。

なお、ここで用いる移動体の検出手法は、特定の手法に限定されるものではなく、より正確、より迅速かつより簡単に移動体を検出できる手法を適用することが望ましい。

ステップＳ４において、画像変換部２１３は、画像変換を行う。具体的には、画像変換部２１３は、メモリ１２２に記憶されている最新の側方画像tを読み出す。画像変換部２１３は、側方画像tを、上側の自車の右側方の視界の画像（以下、右側方画像と称する）と、下側の左側方の視界の画像（以下、左側方画像と称する）とに分割する。画像変換部２１３は、右側方画像および左側方画像を、例えば、画素を補間することにより縦方向のサイズ（画素数）を２倍に伸張し、画素の合成または間引きにより、横方向のサイズ（画素数）を１／２倍に縮小する。画像変換部２１３は、サイズを変換した後の右側方画像を右に配置し、左側方画像を左に配置した画像（変換画像）を生成する。

例えば、上述した図7の側方画像を画像変換した場合、図１０に示されるように、図７の側方画像の上側の画像（右側方画像）の縦方向を２倍に伸張し、横方向を１／２倍に縮小した画像を右に配置し、図７の側方画像の下側の画像（左側方画像）の縦方向を２倍に伸張し、横方向を１／２倍に縮小した画像を左に配置した変換画像が生成される。

画像変換部２１３は、生成した変換画像を移動体強調表示部２１４に供給する。

ステップＳ５において、移動体検出部２１２および移動体強調表示部２１４は、移動体の検出結果を通知する。具体的には、移動体検出部２１２は、外部Ｉ／Ｆ１２４および図示せぬCANを介して、移動体の検出結果を示す情報を他の車載機器に供給する。移動体の検出結果が通知された車載機器は、検出結果に応じた処理を行う。例えば、検出結果が通知された車載機器は、移動体の接近が検出された場合、移動体の接近を音声により通知したり、ステアリングホイールの振動などの体感的な情報により通知したり、自車のブレーキを自動的に作動させたりする。

また、移動体強調表示部２１４は、移動体検出部２１２により検出された側方画像tにおける移動体の位置を、変換画像における位置に変換する。また、移動体強調表示部２１４は、変換画像に対して、検出された移動体を強調する表示効果を施す。移動体強調表示部２１４は、例えば、図１０の変換画像に対して、図１１に示されるように、移動体である車両５１、人５２および人５３を囲む枠２５１、枠２５２および枠２５３を重畳する処理を実行する。また、移動体強調表示部２１４は、例えば、変換画像の右側の上方に、自車の右側方を写した画像であることを示す「Right」の文字を重畳し、変換画像の左側の上方に、自車の左側方を写した画像であることを示す「Left」の文字を重畳する。移動体強調表示部２１４は、外部Ｉ／Ｆ１２４および図示せぬCANを介して、強調表示処理を施した後のモニタ画像を、自車内の表示装置に供給し、表示させる。その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。

これにより、自車の左右の側方の視界が、自車からより遠い範囲まで撮像され、表示されるので、搭乗者は、自車の左右の側方の状況をより遠くまで確認することができる。また、より自車から遠い位置の移動体の検出が可能になる。さらに、検出された移動体が強調して表示されるので、搭乗者は、より迅速かつ確実に、自車の左右の側方に存在する移動体に気付くことができ、安全性が向上する。また、図１１のモニタ画像のように、右側方画像を右におよび左側方画像を左に配置して表示することにより、例えば、図７の側方画像をそのまま表示する場合と比較して、自車の左右の側方の状況をより直感的に把握することが可能になる。

なお、図１１のモニタ画像の代わりに、例えば、図１２に示されるように、図７の側方画像に対して、そのまま移動体強調処理を施したモニタ画像を表示するようにしてもよい。すなわち、図７の側方画像に、車両５１、人５２および人５３を囲む枠２６１、枠２６２および枠２６３を重畳し、上側の右側方画像の上方に「Right」の文字を重畳し、下側の左側方画像の上方に「Left」の文字を重畳したモニタ画像を表示するようにしてもよい。これにより、自車の左右の側方の状況を、実際の縦横の寸法比と等しいサイズで確認することが可能になる。

また、図１１のモニタ画像の代わりに、例えば、図１３に示されるように、縦方向の伸張を行わないモニタ画像を表示するようにしてもよい。すなわち、図７の側方画像の上側の右側方画像の横方向のみを１／２倍に縮小した画像を右に配置し、下側の左側方画像の横方向のみを１／２倍に縮小した画像を左に配置した変換画像に、車両５１、人５２および人５３を囲む枠２７１、枠２７２および枠２７３を重畳し、右側の右側方画像の上方に「Right」の文字を重畳し、左側の左側方画像の上方に「Left」の文字を重畳したモニタ画像を表示するようにしてもよい。これにより、自車の左右の側方の状況をより直感的に把握することが可能になるとともに、自車の左右の側方の状況を、より実際の縦横の寸法比に近いサイズで確認することが可能になる。

なお、右側方画像および左側方画像を拡大または縮小する変換倍率は、上述した例に限定されるものではなく、他の値に設定することが可能である。また、右側方画像および左側方画像の変換倍率を必ずしも同じにする必要はなく、左右で異なる値に設定するようにしてもよい。

さらに、移動体を強調して表示する方法は、上述した例に限定されるものではなく、他にも、例えば、移動体の色を変更したり、移動体が表示されている領域を点滅させたりする方法などが考えられる。

また、モニタ画像において「Left」「Right」の文字を表示しないようにしてもよい。

なお、自車の左右の側方の状況をより詳細により遠くまで確認できるようにするために、例えば、カメラ１１１の光学系１４１のレンズ１５２に望遠レンズを用いるようにしてもよい。図１４は、図７の側方画像を撮像した場合と同じ状況で、レンズ１５２に視野角が約２倍の望遠レンズを用いて撮像した側方画像の例を示している。すなわち、図１４の側方画像は、図７の側方画像と比較して、撮像される範囲が上下方向および左右方向ともに約１／２になる代わりに、解像度が上下方向および左右方向ともに約２倍になる。また、図１４の側方画像は、図３の側方画像と比較して、撮像される範囲が、上下方向が約１／２になり左右方向が同じになる代わりに、解像度が上下方向および左右方向ともに約２倍になる。

なお、ここでいう解像度とは、被写体の単位長さ（例えば、1cm）あたりに割り当てられる画素の数のことをいう。例えば、図１４の側方画像において、車両５１に対して割り当てられる画素数は、図３および図７の側方画像と比較して、上下方向および左右方向ともに約２倍になり、解像度は縦約２倍×横約２倍の約４倍となる。従って、図１４の側方画像では、図３および図７の側方画像と比較して、自車の左右の側方の視界をより詳細により遠くまで確認することができる。

図１５は、図１４の側方画像に対して、図１１のモニタ画像と同様の移動体強調処理を施したモニタ画像の例を示す模式図である。すなわち、図１５は、図１４の側方画像の上側の右側方画像の縦方向を２倍に伸張し、横方向を１／２倍に縮小した画像を右に配置し、下側の左側方画像の縦方向を２倍に伸張し、横方向を１／２倍に縮小した画像を左に配置した変換画像に、車両５１、人５２および人５３を囲む枠３０１、枠３０２および枠３０３を重畳し、右側の右側方画像の上方に「Right」の文字を重畳し、左側の左側方画像の上方に「Left」の文字を重畳したモニタ画像である。

また、図１６は、図１４の側方画像に対して、図１２のモニタ画像と同様の移動体強調処理を施したモニタ画像の例を示す模式図である。すなわち、図１６は、図１４の側方画像に、車両５１、人５２および人５３を囲む枠３１１、枠３１２および枠３１３を重畳し、上側の右側方画像の上方に「Right」の文字を重畳し、下側の左側方画像の上方に「Left」の文字を重畳したモニタ画像である。

さらに、図１７は、図１４の側方画像に対して、図１３のモニタ画像と同様の移動体強調処理を施したモニタ画像の例を示す模式図である。すなわち、図１７は、図１４の側方画像の上側の右側方画像の横方向のみを１／２倍に縮小した画像を右に配置し、下側の左側方画像の横方向のみを１／２倍に縮小した画像を左に配置した変換画像に、車両５１、人５２および人５３を囲む枠３２１、枠３２２および枠３２３を重畳し、右側の右側方画像の上方に「Right」の文字を重畳し、左側の左側方画像の上方に「Left」の文字を重畳したモニタ画像である。

図１５、図１６、および、図１７のモニタ画像は、それぞれ、対応する図１１、図１２、および、図１３のモニタ画像と比較して、表示される範囲が上下方向および左右方向とも約１／２になる一方、被写体の大きさが上下方向および左右方向とも約２倍になる。従って、自車の左右の側方の視界をより詳細に確認することができる。

ここで、図１８を参照して、同じアルゴリズムを用いて、従来のカメラ２により撮像した側方画像（以下、従来側方画像と称する）に基づいて移動体の検出を行った場合と、カメラ１１１のレンズ１５２に望遠レンズを用いて撮像した側方画像（以下、望遠側方画像と称する）に基づいて移動体の検出処理を行った場合の性能の比較を行う。

図１８は、自車の右側方または左側方を自車の進行方向に対してほぼ垂直方向（自車の幅方向）に定速で移動する移動体の位置（自車からの距離）と側方画像における画素移動量（移動した画素数）との関係を示している。図１８の横軸は移動体の位置を示し、縦軸は画素移動量を示している。また、曲線３５１は、望遠側方画像における移動体の位置と画素移動量との関係を示し、曲線３５２は、従来側方画像における移動体の位置と画素移動量との関係を示している。

上述したように、望遠側方画像は、従来側方画像と比較して、左右方向の撮像範囲はほぼ同じであるが、左右方向の解像度は約２倍になる。従って、図１８の点線に示されるように、移動体の検出に用いる画素移動量の閾値が同じ場合、望遠側方画像を用いた方が、従来側方画像を用いるよりも、同じ移動体を自車からより遠い位置において検出することが可能になる。従って、より迅速に、自車の左右の側方における移動体の存在を通知することができ、安全性が向上する。

なお、望遠側方画像は、従来側方画像と比較して、上下方向の撮像範囲が約１／２になるが、自車の左右の側方の状況を確認する場合、確認対象は、主に路上に存在しているもの（例えば、車両や通行人など）に限られ、上方の状況を確認する必要性はあまりないため、実用上それほど問題にはならない。

なお、カメラ１１１の設置位置は、自車の左右の側方を撮像できる位置であれば、図６に示される位置に限定されるものではない。ただし、できる限り車両の前側に設置した方が望ましく、例えば、図１９に示されるように、車両１７１の中心軸Ａ上であって、ボンネットの先端部Ｐ１１にカメラ１１１を設置することが考えられる。

また、例えば、車両１７１の中心軸Ａ上かつ後端部の位置Ｐ１２に、車両１７１の後端から突出するようにカメラ１１１を設置することにより、車両１７１の後方の右側方および左側方の画像を撮像することが可能になる。

なお、以上の説明では、カメラ１１１の光学系１４１のプリズム１５１Ｒとプリズム１５１Ｌを個別に設ける例を示したが、プリズム１５１Ｒとプリズム１５１Ｌを一体化した成型品として構成するようにしてもよい。また、プリズム以外にも、例えば、各種のミラーを用いて、入射光を屈折させるようにしてもよい。さらに、複数のプリズムやミラーを組み合わせるようにしてもよい。

また、以上の説明では、側方画像において、自車の右側方の画像が上、左側方の画像が下になるように配置する例を示したが、上下の配置を逆にするようにしてもよい。

上述した側方監視部２０１の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来のカメラの設置位置および撮像範囲の例を示す図である。 従来のカメラの光学系の例を示す図である。 従来のカメラにより撮像された側方画像の例を模式的に示す図である。 本発明を適用した画像処理システムの一実施の形態を示すブロック図である。 本発明を適用したカメラの光学系の構成の例を模式的に示す図である。 カメラの設置位置の例を示す図である。 側方画像の例を模式的に示す図である。 CPUにより実現される機能の構成の例を示すブロック図である。 画像処理システムにより実行される側方監視処理について説明するためのフローチャートである。 変換画像の例を模式的に示す図である。 モニタ画像の例を模式的に示す図である。 モニタ画像の他の例を模式的に示す図である。 モニタ画像のさらに他の例を模式的に示す図である。 望遠レンズを用いた場合の側方画像の例を模式的に示す図である。 望遠レンズを用いた場合のモニタ画像の例を模式的に示す図である。 望遠レンズを用いた場合のモニタ画像の他の例を模式的に示す図である。 望遠レンズを用いた場合のモニタ画像のさらに他の例を模式的に示す図である。 従来の発明と本発明の移動体検出処理の性能の比較について説明するための図である。 カメラの設置位置の他の例を示す図である。

符号の説明

１０１ 画像処理システム
１１１ カメラ
１１２ 画像処理装置
１２３ CPU
１５１Ｒ，１５１Ｌ プリズム
１５２ レンズ
１５３ 撮像素子
２０１ 側方監視部
２１１ 移動ベクトル算出部
２１２ 移動体検出部
２１３ 画像変換部
２１４ 移動体強調表示部

Claims (8)

1. 車両の所定の位置に設置された状態において、前記車両の右側方から入射する光および前記車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、１つの像を形成する光学系を
   備える撮像装置。
2. 前記光学系は、
   前記車両の右側方から入射する光を所定の方向に屈折させる第１の屈折部、および、前記車両の左側方から入射する光を前記所定の方向に屈折させる第２の屈折部を有し、前記第１の屈折部および前記第２の屈折部が、一方が上、他方が下になるように上下に並べて配置される屈折手段を
   備える請求項１に記載の撮像装置。
3. 前記光学系は、
   前記屈折手段により屈折された光が入射する望遠レンズを
   さらに備える請求項２に記載の撮像装置。
4. 撮像装置の撮像方法において、
   車両の右側方から入射する光および前記車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、路面に対してほぼ垂直に、かつ、撮像面が前記車両の正面方向を向くように設置されている撮像素子上に１つの像を形成し、形成された前記像を撮像する
   撮像方法。
5. 車両の所定の位置に設置された状態において、前記車両の右側方から入射する光および前記車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、１つの像を形成する光学系を備える撮像手段と、
   前記撮像手段により撮像された前記像の画像を処理する画像処理手段と
   を含む画像処理装置。
6. 前記画像処理手段は、前記画像において上下に並んでいる前記車両の右側方の画像と前記車両の左側方の画像を、前記右側方の画像を右に、前記左側方の画像を左に並べるように変換する
   請求項５に記載の画像処理装置。
7. 前記画像処理手段は、前記画像に基づいて、前記車両の右側方および左側方の物体を検出する
   請求項５に記載の画像処理装置。
8. 画像処理装置の画像処理方法において、
   車両の右側方から入射する光および前記車両の左側方から入射する光を、一方が上、他方が下になるように同じ方向に屈折させ、路面に対してほぼ垂直に、かつ、撮像面が前記車両の正面方向を向くように設置されている撮像素子上に１つの像を形成し、形成された前記像を撮像する撮像ステップと、
   前記撮像ステップの処理により撮像された画像を処理する画像処理ステップと
   を含む画像処理方法。

Images