JP3968375B2 - 周辺監視装置および周辺監視方法 - Google Patents

Description

本発明は、カメラで撮像された画像を用いて周辺画像を生成する周辺監視装置に関するものである。

従来、カメラで撮像した画像を変形加工し、あたかも仮想的な視点から撮像されたかのような合成画像や、複数のカメラで撮像した画像を接合した合成画像を生成する画像合成技術を用いた周辺監視装置がある。

このような周辺監視装置の例として、複数台のカメラによって車両周辺を撮像し、撮像された画像を変形加工して自車両周辺を上方から見た画像を合成する周辺監視装置が開示されている（例えば、特許文献１〜３参照）。

図１は、特許文献２に記載された従来の周辺監視装置の構成図と合成画像の例を示す図である。図１（ａ）に示す従来の周辺監視装置では、画像メモリ７−１〜７−８はカメラで撮像された撮像画像を一時的に記憶し、アドレスカウンター１３−１、垂直アドレスルックアップテーブル（ＬＵＴ）１３−２、水平アドレスＬＵＴ１３−３、メモリセレクタ用ＬＵＴ１３−４の組み合わせによって、合成画像の各画素に対応する撮像画像の画像座標、すなわち画像メモリ中のアドレスを生成し、メモリセレクタ１３−５によって画像メモリの画像を読み出す。この周辺監視装置を用いると、複数のカメラで撮像された画像から、図１（ｂ）のようにあたかも車両の上方から撮像したかのような合成画像を生成することができる。このような周辺監視装置を用いて車両周辺を観察した場合、運転席からは直接見ることができない死角領域を画面上で確認することができるので、周辺物との衝突の防止や、運転操作を容易にできるという利点がある。特に、上記したルックアップテーブルによって構成した周辺監視装置は、撮像画像と合成画像との座標の対応関係をあらかじめ計算してルックアップテーブルに記憶しておき、実行時にはルックアップテーブルの参照によって画像を合成できるため、実行時の計算負荷が小さいという利点がある。

しかしながら、前記従来の構成では、設計上のカメラ取り付け位置を基準にルックアップテーブルを作成した後に車両へのカメラ取り付け位置に設計値との誤差が生じた場合や、カメラ取り付け後に測定されたカメラ位置を基準としてルックアップテーブルを作成した後に車両へのカメラの取り付け位置や車両の姿勢が変動した場合、ルックアップテーブル作成時のカメラ位置とはカメラの位置（向きも含む）がずれた撮像画像が入力されることとなる。その結果、合成画像中の路面や他車両などの周辺物の位置が、ルックアップテーブル作成時の合成画像に対して位置がずれたり、合成画像のカメラ間の接合部が不連続になるなどのように、合成画像が歪むという課題がある。特に、周辺物の位置がずれた合成画像に、自車両の位置や距離の基準となる図形を重畳した場合、周辺物と自車両との位置関係を誤解してしまう可能性があるため好ましくない。以降の説明のため、ルックアップテーブル作成時のカメラ位置を「基準カメラ位置」、基準カメラ位置に基づいて生成されたルックアップテーブルなどの画像合成パラメタを「基準画像合成パラメタ」、基準カメラ位置での撮像画像と基準画像合成パラメタとを用いて合成された画像を「基準合成画像」と呼ぶ。

このようなカメラの位置ずれによる合成画像の歪みを補正する方法として、カメラ取り付け後のカメラの位置や内部パラメタなどを計測する、いわゆるカメラ・キャリブレーション方法が知られている。（例えば非特許文献１参照）。

カメラの取り付け位置の変動があった場合でも、このカメラ・キャリブレーション方法を用いてカメラの取り付け位置を計測し、ルックアップテーブルを再計算することで、基準合成画像との位置ずれがほとんど無い合成画像を合成することが可能になる。
特開昭５８−１１０３３４号公報 特開平１１−７８６９２号公報 特許第３２８６３０６号公報 "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision", Roger Y. Tsai, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, pages 364-374.

しかしながら、カメラ・キャリブレーションのためには、大きさが既知の被写体が必要である上、カメラ位置を算出するための計算やルックアップテーブルの再計算のための計算負荷が大きいという別の課題がある。

例えば、車両の組み立て工場においてカメラを車両に取り付ける際、同じ車種の車両であってもオプション装備の有無による車両重量の差や、タイヤのサイズの違いなどによっても車高や車両の傾きが変わる。そのため、同一車種で共通の基準カメラ位置とルックアップテーブルを用いた場合、カメラが車両に設計通りに取り付けられたとしても、周辺物に対するカメラの位置にずれが発生する。このため、１台ずつ例えばカメラ・キャリブレーション等の方法によってずれを調整しなければならないので、この調整に時間を要することになる。

また、車両の姿勢変動をセンサなどで計測した上で、ルックアップテーブルを再計算するという別の方法も考えられるが、同様に計算負荷が大きいという別の課題がある。特に、ルックアップテーブルを用いて構成した従来の周辺監視装置は、実行時の計算負荷が小さいことが利点であるため、補正のために計算負荷が大きくなることはその利点を損なう。

また、カメラの位置ずれによる合成画像の歪みを補正する別の方法としては、カメラの位置ずれ量に応じたルックアップテーブルを複数用意しておき、実行時に複数のルックアップテーブルから選択するという方法も考えられるが、ルックアップテーブルを記憶するためのメモリ量が膨大になるという別の課題がある。さらには、補正の方法によっては、合成画像での誤差が大きくなるという別の課題もある。

そこで、本発明は上記の事情に鑑みてなされたものであり、ルックアップテーブルなどの画像合成のためのパラメタ算出に用いた基準カメラ位置に対して、カメラの位置ずれが発生した場合に、カメラの位置ずれに伴って生じる表示画像上の歪みを低減することができる周辺監視装置および周辺監視方法を提供することを目的とする。

上記目的を達成するため、本発明に係る周辺監視装置は、カメラによって撮像された撮像画像を用いて周辺画像を生成する周辺監視装置であって、前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報取得部と、前記位置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、前記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを取得する座標変換パラメタ取得部と、前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合成パラメタを取得する画像合成パラメタ取得部と、前記画像合成パラメタ取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得された前記座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変換部と、前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成して出力する画像合成部とを備え、前記基準画像合成パラメタは、ルックアップテーブルを作成する際のカメラ位置に基づいて生成されたルックアップテーブルを含み、前記ルックアップテーブルは、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報であることを特徴とする。

本発明に係る周辺監視装置および周辺監視方法によれば、カメラの位置ずれがある撮像画像を用いた場合であっても、カメラの位置ずれに伴って生じる周辺画像上の歪みを簡単に低減することができる。

本発明の実施の形態に係る周辺監視装置は、カメラによって撮像された撮像画像を用いて周辺画像を生成する周辺監視装置であって、前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報取得部と、前記位置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、前記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを取得する座標変換パラメタ取得部と、前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合成パラメタを取得する画像合成パラメタ取得部と、前記画像合成パラメタ取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得された前記座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変換部と、前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成して出力する画像合成部とを備えることを特徴とする。

これによって、カメラの位置ずれがある撮像画像を用いた場合であっても、カメラの位置ずれに伴って生じる周辺画像上の歪みを簡単に低減することができる。また、これによって、周辺画像の生成に用いる基準画像合成パラメタは、位置ずれ情報に基づいて座標変換されるので、カメラの位置ずれがある撮像画像を用いた場合であっても、カメラの位置ずれに伴って生じる周辺画像上の歪みを低減することができる。また、カメラの位置ずれ量に応じた基準画像合成パラメタのテーブルを複数用意しておく必要がないので、メモリ量が膨大になることを防ぐことができる。

また、前記周辺監視装置は、さらに、前記画像合成部によって生成された前記周辺画像に図形を重畳合成して出力する図形合成部を備え、前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前記位置ずれ情報、および前記図形合成部によって重畳合成される前記図形に基づいて、前記座標変換パラメタを取得してもよい。

これによって、周辺画像に重畳合成される図形に応じて座標変換を行うことができ、図形と周辺画像のずれを少なくすることができる。

また、前記画像合成パラメタ取得部は、少なくとも１つの基準画像合成パラメタをあらかじめ記憶している画像合成パラメタ記憶部と、少なくとも１つの前記基準画像合成パラメタから１つの基準画像合成パラメタを選択する画像合成パラメタ選択部とを備えてもよい。

ここで、前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前記位置ずれ情報、および前記画像合成パラメタ選択部によって選択された前記基準画像合成パラメタに基づいて、前記座標変換パラメタを取得してもよい。

これによって、周辺画像の生成に用いる基準画像合成パラメタに応じて、すなわち周辺画像の構図に応じて座標変換されるので、カメラの位置ずれがある撮像画像を用いた場合であっても、カメラの位置ずれに伴って生じる周辺画像上の歪みを低減することができる。

また、前記基準画像合成パラメタは、複数のカメラによって撮像された複数の前記撮像画像を用いて前記周辺画像を生成するための、複数の前記撮像画像の画像座標の情報を含み、前記位置ずれ情報取得部は、複数の前記カメラの位置変動に関する情報である複数の位置ずれ情報を取得し、前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された複数の前記位置ずれ情報に基づいて、複数の前記座標変換パラメタを取得し、前記座標変換部は、前記画像合成パラメタ取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得された複数の前記座標変換パラメタを用いて座標変換し、前記変換画像合成パラメタとして出力し、前記画像合成部は、複数の前記撮像画像に対して前記座標変換パラメタ取得部によって取得された複数の前記座標変換パラメタを用いて、前記周辺画像を生成してもよい。

これによって、周辺画像の生成に用いる基準画像合成パラメタに応じて、すなわち周辺画像の構図に応じて座標変換されるので、カメラの位置ずれがある撮像画像を用いた場合であっても、周辺画像上での複数の撮像画像のずれを少なくすることができる。

また、前記画像合成パラメタ取得部は、前記撮像画像の範囲外の画像座標の情報を含む前記基準画像合成パラメタを取得してもよい。

これによって、基準画像合成パラメタに含まれる画像座標が撮像画像の範囲外であっても、その画像座標を座標変換して得た画像座標は撮像画像の範囲内になる場合があるため、結果として変換画像合成パラメタに含まれる撮像画像の範囲内である画像座標を増やす、すなわち周辺画像上の有効な画素を増やすことができる。

なお、本発明は、このような周辺監視装置として実現することができるだけでなく、このような周辺監視装置が備える特徴的な部をステップとする周辺監視方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。

（実施の形態１）
図２は本発明の実施の形態１に係る周辺監視装置の構成を示すブロック図である。

周辺監視装置は、例えば自動車等の移動体に搭載され、カメラで撮像された撮像画像を変形加工して合成画像（周辺画像）を生成するための装置であり、図２に示すようにカメラ１０１、Ａ／Ｄ変換機１０２、フレームメモリ１０３、画像合成部１０４、図形合成部１０５、Ｄ／Ａ変換器１０６、ディスプレイ１０７、位置ずれ情報取得部１０８、移動体状態検出部１０９、座標変換パラメタ取得部１２０、座標変換部１１２、および画像合成パラメタ取得部１２１を備えている。

カメラ１０１は周辺を撮像して動画像を出力する。Ａ／Ｄ変換器１０２はアナログ信号である動画像をデジタル化する。フレームメモリ１０３はデジタル化された動画像を一時的に保持する。なお、カメラ１０１、Ａ／Ｄ変換機１０２、およびフレームメモリ１０３は、少なくとも１つ以上あればよい。また、フレームメモリ１０３は、カメラ１０１から出力される動画像を連続して読み込むと同時に、少なくとも１フレーム以上の画像データを一時的に保持する、いわゆるダブルバッファ構成のフレームメモリである。また、フレームメモリ１０３は、画像合成部１０４からの読み出し要求に応じて、保持された１フレーム分の画像の任意の画素データの読み出しが可能なように構成されている。

位置ずれ情報取得部１０８では、各カメラの位置ずれ量をユーザーのスイッチ操作によって受け付け、受け付けられた各カメラの位置ずれ量をカメラ位置ずれ情報として出力する。なお、本実施の形態１では、各カメラの位置ずれ量をユーザーより受け付けているが、これに限られるものではない。例えば、センサ等によって各カメラの位置ずれ量を検出し、検出された各カメラの位置ずれ量をカメラ位置ずれ情報として出力しても構わない。

移動体状態検出部１０９は、車両速度、シフトレバー、舵角を検出し、移動体状態として出力する。なお、本実施の形態１では、車両速度、シフトレバー、舵角を検出しているが、これに限られるものではない。例えば、移動体状態検出部１０９は、イグニッションキー、シフトレバー、ウィンカーなどのユーザーが操作するスイッチ類、または、車両の速度、移動方向を検出する車速センサや舵角センサなどのセンサ類のうち、いずれか１つ、または複数の検出結果を、移動体状態として出力すればよい。

座標変換パラメタ取得部１２０は、座標変換パラメタ選択部１１０、および座標変換パラメタ記憶部１１１を備えている。座標変換パラメタ記憶部１１１は、複数の座標変換パラメタをあらかじめ記憶している。座標変換パラメタ選択部１１０は、カメラ位置ずれ情報に応じて、座標変換パラメタ記憶部１１１に記憶された複数の座標変換パラメタの中から１つを選択して出力する。

画像合成パラメタ取得部１２１は、画像合成パラメタ選択部１１３、および画像合成パラメタ記憶部１１４を備えている。画像合成パラメタ記憶部１１４は少なくとも１つ以上の基準画像合成パラメタと、少なくとも１つ以上の図形パラメタをあらかじめ記憶している。画像合成パラメタ選択部１１３は、移動体状態に応じて画像合成パラメタ記憶部１１４に記憶された基準画像合成パラメタおよび図形パラメタの中から１つを選択して出力する。

座標変換部１１２は、画像合成パラメタ選択部１１３から出力された基準画像合成パラメタに含まれる撮像画像の画像座標を、座標変換パラメタ選択部１１０から出力された座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する。

画像合成部１０４は、座標変換部１１２から出力された変換画像合成パラメタに応じて、フレームメモリ１０３から画像を順次読み出して、合成画像を生成して出力する。図形合成部１０５は、画像合成部１０４から出力された合成画像に画像合成パラメタ選択部１１３から出力された図形パラメタに応じた図形を重畳し、図形付き合成画像として出力する。Ｄ／Ａ変換器１０６は、図形付き合成画像をアナログ信号に変換する。ディスプレイ１０７は、アナログ信号に変換された図形付き合成画像を表示する。

本実施の形態１では、周辺監視装置が車両Ａに搭載され、カメラ１０１は３台である場合について説明する。図３はこの場合の設置例を示す図である。図２における複数のカメラ１０１は、図３におけるカメラ１０１ａ〜１０１ｃ（カメラ１〜３）に対応しており、各カメラは車両の周辺を撮像するように車両に設置されている。また、ディスプレイ１０７は、車両内の運転者から見える位置に、その他の処理部は車両の内部に、それぞれ設置されているものとする。なお、カメラ１０１の台数およびその設置位置については、図３に限定するものではないし、各処理部についても同様にその設置位置を限定するものではない。

上記のように構成された周辺監視装置について、以下、その動作を説明する。図４は周辺監視装置の動作の流れを示すフローチャートである。

まず、初期状態として、カメラの位置ずれが無い場合の周辺監視装置の動作を説明した上で、補正状態として、カメラの位置ずれが生じた場合の周辺監視装置の動作を説明する。

カメラ１０１は車両周辺を撮像して映像信号を出力し、Ａ／Ｄ変換器１０２は映像信号をデジタル化した画像出力し、フレームメモリ１０３はデジタル化された画像を一時的に記憶する（ステップＳ１０１）。フレームメモリ１０３の画像の記憶、更新は、カメラ１０１から出力される映像信号に同期して連続的に行う。

カメラ１０１ａ〜１０１ｃの３台のカメラは、図３に示すようにそれぞれ車両の後側面、左側面、右側面にそれぞれ後方、左側方、右側方を撮像するように車両に設置されている。また、図３では、車両の右斜め後方の車両後端から約３ｍの位置に、立方体の障害物Ｂが置かれている。図５は、図３の撮像状況においてカメラ１０１ａ〜１０１ｃで撮像された画像の例を示す図であり、（ａ）カメラ１０１ａで後方が、（ｂ）カメラ１０１ｂで左側方が、（ｃ）カメラ１０１ｃで右側方が、撮像された画像の例を示す図である。フレームメモリ１０３には、図５に示す画像がデジタル化されて記憶される。

位置ずれ情報取得部１０８は、各カメラの位置ずれを取得し、カメラ位置ずれ情報として出力する（ステップＳ１０２）。以下、カメラの位置ずれの具体例を説明する。

図６は、カメラ座標系（Ｘｅ，Ｙｅ，Ｚｅ）、車両座標系（Ｘｃ，Ｙｃ，Ｚｃ）、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）の配置を示す図である。カメラは車両に固定されていることから、車両周辺の被写体とカメラの位置は、世界座標系に対する車両座標系の位置と、車両座標系に対するカメラ座標系の位置との２つの位置関係で決まり、前者を車両の姿勢、後者をカメラの設置位置と呼ぶものとする。また、カメラの位置ずれは、基準画像合成パラメタを生成した際の車両姿勢とカメラの設置位置とを基準位置とした場合の、基準位置との差であり、車両の姿勢ずれとカメラの設置位置ずれとによって生じる。カメラ位置ずれをＥ、車両の姿勢ずれをＥｃ、カメラの設置位置ずれをＥｅとし、それぞれを３次元の回転と平行移動である４×４の行列で表した場合、Ｅ＝Ｅｅ×Ｅｃの関係式が成り立つ。

カメラの設置位置ずれＥｅは、３次元の並行移動と回転の６つのパラメタ（ｅｘ，ｅｙ，ｅｚ，ｅｗｘ，ｅｗｙ，ｅｗｚ）で表すことができ、ｋ番目のカメラの設置位置ずれＥｅｋは、（ｅｘｋ，ｅｙｋ，ｅｚｋ，ｅｗｘｋ，ｅｗｙｋ，ｅｗｚｋ）と表す。車両は世界座標系に対してＸＺ平面（路面）での移動とＹ軸中心の回転は自由であるものとし、車両の姿勢ずれＥｃは、（ｅｙｃ，ｅｗｘｃ，ｅｗｚｃ）の３つのパラメタで表す。ｋ台分のカメラの位置ずれＥｋをまとめてカメラ位置ずれ情報と呼ぶものとする。

なお、本実施の形態１では、説明を簡単にするために、カメラの位置ずれＥは車両座標系に対するカメラ座標系のＹ軸回転のずれ（ｅｗｙ）の１パラメタのみで表されるものとする。

このように、位置ずれ情報取得部１０８は、各カメラの位置ずれの値をユーザーのスイッチ操作によって受け付け、入力されたｋ台分カメラの位置ずれＥｋをカメラ位置ずれ情報として出力する。初期状態では、ユーザーのスイッチ操作は無いものとし、初期値としてカメラの位置ずれ量ｅｗｙｋ＝０を出力するものとする。

移動体状態検出部１０９は、車両速度、シフトレバー、舵角を検出し、移動体状態として出力する（ステップＳ１０３）。ここでは、移動体状態検出部１０９は、「車両は停止、シフトレバーはリバース（Ｒ）、舵角は中立」を移動体状態として出力するものとする。

次に、画像合成パラメタ選択部１１３は、移動体状態検出部１０９より出力された移動体状態に応じて、画像合成パラメタ記憶部１１４に記憶された基準画像合成パラメタおよび図形パラメタの中から１つを選択して出力する（ステップＳ１０４）。以下、画像合成パラメタ記憶部１１４に記憶されている各パラメタと、画像合成パラメタ選択部１１３の動作について詳しく説明する。

図７は、画像合成パラメタ記憶部１１４に記憶された基準画像合成パラメタについて説明するための図あり、（ａ）撮像画像、（ｂ）合成画像、（ｃ）撮像画像から合成画像を生成する場合の基準画像合成パラメタ、の例を示す図である。図７（ｃ）の基準画像合成パラメタは、合成画像の各画素に１対１に対応した２次元配列として表現することができる。２次元配列の各要素は、合成画像の画素に対応する、撮像画像のカメラ番号、画素座標（本実施の形態ではＸ座標、Ｙ座標）で構成される。図７の例では、基準画像合成パラメタの座標（ ｘｏ， ｙｏ ）には、「カメラ番号＝１、座標（ ｘｉ， ｙｉ ）」という情報が格納されている。これは合成画像の座標（ ｘｏ， ｙｏ ）の画素は、カメラ１の撮像画像の（ ｘｉ， ｙｉ ）、 の画素を用いることを示している。この図７に示すような構造の標準合成画像パラメタを用いることで、合成画像と複数の撮像画像との対応関係を記述することができる。

図８は、複数の基準画像合成パラメタを用いて生成される複数の合成画像の例を示す図である。ここでは、図３の撮像状況において図５に示す撮像画像が撮像された場合に、各基準画像合成パラメタを用いて生成した合成画像を示している。同一の撮像画像に対しても、カメラ番号および撮像画像座標値の異なる基準画像合成パラメタを用いることで、構図の異なる合成画像を生成することができる。図８（ａ）は、基準画像合成パラメタ１で生成される合成画像の例であり、基準画像合成パラメタ１はカメラ１０１ａの撮像画像と車両の上方から見た構図の合成画像との対応関係を表す。図８（ｂ）は、標準合成画像パラメタ２で生成される合成画像の例であり、標準合成画像パラメタ２は、カメラ１０１ａの撮像画像と同じ構図の合成画像との対応関係を表す。図８（ｃ）は、基準画像合成パラメタ３を用いて生成される合成画像の例であり、基準画像合成パラメタ３は、カメラ１０１ａ〜１０１ｃの撮像画像と、車両の側方と後方の広い範囲を車両の上方から見た構図の合成画像との対応関係を表す。基準画像合成パラメタを作成する方法については、前述した特許文献３などに詳しく記載されているため、ここでは詳細の説明を省く。

図９は、図形パラメタを用いて合成される図形の例を示す図である。図形パラメタは、合成画像と同一サイズの画像ファイルとして記憶されているものとする。図９（ａ）に示す図形を合成する図形パラメタ１は基準画像合成パラメタ１と、図９（ｂ）〜（ｄ）に示す図形を合成する図形パラメタ２−１〜２−３は基準画像合成パラメタ２と、図９（ｅ）に示す図形を合成する図形パラメタ３は基準画像合成パラメタ３と、それぞれ対応している。また、図９中の各破線は、自車両を基準にしたあらかじめ定められた特定の距離を示す図形である。例えば、図９（ａ）（ｃ）における破線は、自車両の幅の延長線と自車両後方３ｍの距離の直線とで囲まれる領域の境界であり、図９（ｂ）（ｄ）における破線は、ある舵角における予測進路上の車両の幅と進行方向に３ｍ移動した直線とで囲まれる領域の境界を示す図形である。したがって、図形パラメタによって合成される図形は、自車両との距離や位置の基準となる情報を含むこととなる。このような図形は、前述した基準画像合成パラメタを作成する際に、路面平面上での位置、または撮像画像上での位置と、合成画像上での位置とを対応付けることであらかじめ生成することができる。

図１０は、画像合成パラメタ選択部１１３における基準画像合成パラメタの選択方法の例を示す図である。画像合成パラメタ選択部１１３は、図１０に示すように移動体状態として入力される、車両速度、シフトレバー、舵角の組み合わせに応じて、基準画像合成パラメタと図形パラメタをそれぞれ選択する。例えば、「車が移動しており、シフトレバーはＲ、舵角が中立」である時、「基準画像合成パラメタ２、図形パラメタ２−２」が選択されることとなる。

ここで、移動体状態は「車両は停止、シフトレバーはリバース（Ｒ）、舵角は中立」であることから、このとき画像合成パラメタ選択部１１３は、基準画像合成パラメタ１と図形パラメタ１をそれぞれ選択して出力する。

次に、座標変換パラメタ選択部１１０は、カメラ位置ずれ情報に応じて、座標変換パラメタ記憶部１１１に記憶された複数の座標変換パラメタの中から１つを選択して出力する（ステップＳ１０５）。次に、座標変換部１１２は、画像合成パラメタ選択部１１３から出力された基準画像合成パラメタに含まれる撮像画像の画像座標を、座標変換パラメタ選択部１１０から出力された座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する（ステップＳ１０６）。

本実施の形態１では、座標変換部１１２で行う座標変換は射影変換であり、座標変換パラメタ記憶部１１１に記憶される座標変換パラメタは、カメラごとの射影変換の係数の組であるものとする。

以下、座標変換パラメタの具体例と、座標変換パラメタ選択部１１０、座標変換部１１２の動作について詳しく説明する。

座標変換部１１２は、次に示す（式１）を用いて射影変換によって座標変換を行う。

（式１）において、射影変換の８個の係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を座標変換パラメタと呼ぶ。（ ｘｉ， ｙｉ ）は、基準画像合成パラメタに含まれる撮像画像の画像座標であり、（ ｘｉ’， ｙｉ’ ）は、変換画像合成パラメタに含まれる撮像画像の画像座標である。

座標変換パラメタ記憶部１１１で記憶されている座標変換パラメタとは、カメラ位置ずれＥとカメラ番号ｋの値に対応した複数の座標変換パラメタＰのことである。座標変換パラメタＰは、カメラ位置ずれＥとカメラ番号ｋに依存するため、Ｐ（Ｅ，ｋ）と表す。本実施の形態では、カメラの位置ずれＥはカメラの設置位置ずれｅｗｙのみであり、その値は、−１０度〜＋１０度の範囲を１度刻みに２１段階の値をとるものとして、各角度に対応する２１個の座標変換パラメタを、各カメラ番号ごとにあらかじめ計算して記憶しておくものとする。

以下、ｋ番目のカメラのカメラ位置ずれＥに応じた座標変換パラメタＰ（Ｅ，ｋ）を計算する方法の例を説明する。ここで、基準となるカメラ位置で撮像された撮像画像が図１１（ａ）であり、カメラ位置ずれがＥである場合の撮像画像が図１１（ｂ）であるとする。そして、カメラの位置ずれのない撮像画像上の点の画像座標を（ｘｉ，ｙｉ）、位置ずれのある撮像画像上の画像座標を（ ｘｉ’， ｙｉ’ ）とし、それぞれの画像座標の間に（式１）の関係があるとする。このとき画像上の４点以上の対応点を与えることで、（式１）において２乗誤差最小となるように座標変換パラメタを算出することができる。このような４点以上の対応点から射影変換のパラメタを算出する方法については、広く知られた方法であるので、詳細の説明は省略する。以上のことから、基準となるカメラ位置の撮像画像に対して、あり得る全てのカメラの位置ずれがＥの撮像画像とを用いて、座標変換パラメタＰ（Ｅ，ｋ）をあらかじめ計算しておくことができる。ここでカメラの位置ずれＥが回転のみである場合、または、画像中の被写体が一つの平面上に存在する場合、対応する点の画像座標の関係は、（式１）で表すことができることは、「画像理解」（金谷健一著、森北出版）などに記載され、広く知られている。したがって、例えば撮像画像中多くが路面平面で占められているような場合、カメラ位置ずれのある画像を射影変換することで、路面についてはカメラ位置ずれがない場合の画像に変換することができる。

座標変換パラメタ選択部１１０では、カメラ位置ずれ情報におけるカメラごとのカメラ位置ずれＥに応じて、座標変換パラメタ記憶部１１１から座標変換パラメタを選択して出力するものとする。図１２は、カメラ番号ｋとカメラの位置ずれＥに対応する座標変換パラメタＰ（Ｅ，ｋ）の例を示す図である。初期状態では、カメラ位置ずれ情報は全てのカメラにおいてｅｗｙ＝０であることから、これに対応する座標変換パラメタＰ（Ｅ，ｋ）として、（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）＝（１，０，０，０，１，０，０，０）が選択される。

次に、座標変換部１１２は、基準画像合成パラメタとカメラごとの座標変換パラメタを入力し、基準画像合成パラメタの各要素である、カメラ番号と撮像画像の画像座標（ ｘｉ， ｙｉ ）に対して、カメラ番号に対応した座標変換パラメタを用いた（式１）の座標変換によって（ ｘｉ’， ｙｉ’ ）を算出する。そして、座標変換部１１２は、基準画像合成パラメタ中の撮像画像の各画像座標（ ｘｉ， ｙｉ ）を、算出した画像座標（ ｘｉ’， ｙｉ’ ）によって置き換えた変換画像合成パラメタを出力する。

初期状態では、座標変換パラメタＰ（Ｅ，ｋ）は（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）＝（１，０，０，０，１，０，０，０）であることから、出力される変換画像合成パラメタは、基準画像合成パラメタ１と同じものが出力されることとなる。

次に、画像合成部１０４は、座標変換選択部１１２で生成された変換画像合成パラメタを用いて、変換画像合成パラメタの各要素に対応する撮像画像をフレームメモリ１０３から順次読み出し、合成画像として出力する（ステップＳ１０７）。

初期状態では、変換画像合成パラメタとして、基準画像合成パラメタ１と同じものが出力されるため、撮像画像が例えば図５の場合、図８（ａ）の合成画像が出力される。

次に、図形合成部１０５は、画像合成部１０４で生成された合成画像上に、画像合成パラメタ選択部１１３で選択された図形パラメタに応じた図形を重畳描画する（ステップＳ１０８）。ここでは、画像合成パラメタ選択部１１３によって図形パラメタ１が選択されているので、図９（ａ）の図形が合成画像に重畳され、図形つき合成画像として出力される。

Ｄ／Ａ変換器１０６は、移動物検出部１０５から出力された合成表示画像を映像信号に変換して出力し、ディスプレイ１０７は、映像信号を表示する（ステップＳ１０９）。

上記した各処理部の動作により、初期状態における図形つき合成画像が生成されて、ディスプレイ１０７に表示されることとなる。

図１３は、初期状態における動作により生成される画像の例を示す図である。図１３（ａ）はカメラ１０１ａによって撮像された撮像画像であり、図１３（ｂ）は画像合成部１０４より出力される合成画像の例であり、図１３（ｃ）は図形合成部１０５から出力され、ディスプレイ１０７に表示される図形つき合成画像の例である。図１３（ｃ）の図形つき合成画像を運転者が観察した場合、位置の参照となる破線が重畳されているために、破線と障害物の位置関係を容易に把握することが可能になる。

次に、補正状態として、初期状態からカメラの位置ずれが生じた場合の例について説明する。

図１４は、カメラ１０１ａに位置ずれが生じた場合の撮像画像の例を示す図である。図１４（ａ）は、ずれの無い場合の撮像画像であり、図１４（ｂ）は、カメラの設置位置が垂直軸を中心とした右方向への回転で５度ずれた場合の撮像画像の例である。図１５は、図１４を撮像画像として、前述した初期状態の動作によって生成される図形つき合成画像の例を示す図である。図１５（ａ）は、撮像画像が図１４（ａ）の場合の図形つき合成画像であり、図１５（ｂ）は、撮像画像が図１４（ｂ）の場合の図形つき合成画像である。図１５（ａ）と図１５（ｂ）に示すように、撮像画像中の被写体はカメラの位置ずれにより合成画像中での位置が変化しているのに対して、図形の位置は変化しないため、図形と被写体の位置関係にずれが生じている。例えば、破線に対する障害物（立方体）Ｂ位置が、図１５（ａ）と図１５（ｂ）では異なっている。そこで、以降に説明する補正状態の処理では、カメラの位置ずれがある図１４（ｂ）の撮像画像が入力された場合でも、図１５（ａ）と同じ、またはより近い画像を生成することを目的とする。

次に、補正状態での各処理部の動作について説明する。

本実施の形態１では、ユーザーがカメラ位置ずれを補正することを目的として、本周辺監視装置へ情報を入力する場合の例を説明する。

図１６（ａ）は、カメラの設置位置が垂直軸を中心とした右方向への回転で５度ずれた場合の撮像画像の例であり、図１６（ｂ）は、座標変換しない場合の図形つき合成画像であり、図１６（ｃ）は、座標変換した場合の図形つき合成画像である。

上述したように、カメラに位置ずれが生じた場合、図１６（ａ）の撮像画像が入力され、図１６（ｂ）の図形つき合成画像が生成されてディスプレイ１０７に表示される（図１６（ａ）と図１４（ｂ）、図１６（ｂ）と図１５（ｂ）はそれぞれ同じ画像）。

ここで、ユーザーのスイッチ操作によって、任意のカメラ位置ずれＥｋが入力され、位置ずれ情報取得部１０８が、カメラの位置ずれＥｋを受け付けるものとする。例えば、カメラの設置位置ずれｅｗｙｋとして、−１０度〜＋１０度の範囲を１度刻みに順次入力してゆき、撮像状況と合成画像が最も一致した場合にスイッチ操作を止めるものとする。このとき、ユーザーが設定したカメラの位置ずれと、実際のカメラ位置ずれが等しい場合、図１６（ｃ）のようになる。

以上のように本実施の形態１によれば、ユーザーの指示によってカメラの位置ずれに対応して座標変換された変換画像合成パラメタを用いて合成画像が生成されるため、カメラの位置ずれがある撮像画像を用いた場合であっても、合成画像の被写体と図形のずれを低減することができるという効果がある。また、本実施の形態１によれば、カメラの位置ずれが発生した場合であっても、基準画像合成パラメタ、変換画像合成パラメタ、図形パラメタなどの再計算が不要であり、実行時の計算負荷が小さいという効果もある。

なお、本実施の形態１の説明において、ユーザーは、図３のシーンにおいて図１６のような画像を観察しながら、カメラ位置ずれＥを入力するものとした。しかしながら、図３のような車両からの相対位置の基準となる図形や物体などの無いシーンにおいて、カメラの位置ずれＥをユーザーが選択するのは困難な場合がある。そこで、例えば図１７（ａ）のような、カメラ位置ずれの基準となる簡単な図形を路面上に描画しておき、図１７（ｂ）のように図形上の特定の位置に車両を駐車したうえで画像を観測することで、位置ずれＥを容易にユーザーが指定することが可能になる。例えば、図１８（ａ）は、カメラの位置ずれの無い場合に、図１７（ｂ）の撮影状況においてカメラ１で撮像される画像の例である。図１８（ｂ）は、図１７の路面上の図形と同じ図形を図形合成部１０５によって合成した場合の例であり、カメラの位置ずれが無い場合は、合成された図形（破線で示す）は撮影画像の路面上の図形と一致する。これに対して、カメラの位置ずれがある場合は図１８（ｃ）のような路面上の図形と合成された図形とがずれた画像となり、この画像をユーザーが観測することで、カメラが右向きにずれている事を容易に把握することができ、その結果、カメラ位置ずれＥをユーザーが選択することが容易になる。

しかしながら、上述した手法では、例えばユーザーは車両の購入者であり、車両購入後に発生したカメラの位置ずれを補正する場合に、図１７（ａ）のような位置ずれ補正用の図形が必要であるという課題が発生する。そこで、位置ずれ補正用の図形を用いる代わりに、図形合成部１０５は、前述した処理に加えて、ユーザーからの操作に応じて、画像合成部１０４から入力した合成画像を記録する処理と、記録された合成画像を画像合成部１０４から入力した合成画像に重畳合成して出力する処理を、選択的に行うとしても良い。そして、ユーザーは例えば車両を購入直後に、駐車場などで例えば図１９（ａ）のような合成画像を図形合成部１０５に記録しておく。その後、カメラの位置ずれが発生した場合は、図１９（ｂ）のような合成画像が生成されることになる。このような場合に、図形合成部１０５に記録された合成画像を、図１９（ｂ）の合成画像に重畳合成して図１９（ｃ）のような画像を表示することで、ユーザーのカメラ位置ずれＥの選択が容易になる。

また、本実施の形態１において、カメラ位置ずれＥは、説明を簡単にするためにカメラの設置位置ずれのうちの１つのパラメタであるｅｗｙのみで構成され、ユーザーが入力するものとしたが、カメラ設置位置ずれＥｅの６パラメタ（ｅｘ，ｅｙ，ｅｚ，ｅｗｘ，ｅｗｙ，ｅｗｚ）と、車両の姿勢ずれＥｃの３パラメタ（ｅｙｃ，ｅｗｘｃ，ｅｗｚｃ）の全て、またはいずれかの組み合わせを用いても良い。さらに、車両の姿勢ずれＥｃは、車両の姿勢を検出する加速度センサや角加速度センサなどを組み合わせた検出部などによって取得するものとしてもよい。

また、本実施の形態１において、ユーザーは任意のカメラ位置ずれＥを位置ずれ情報取得部１０８へ入力しながら、合成画像を観測することで最適なカメラ位置ずれＥを設定するものとしたが、この方法に限定するものではない。例えば、カメラ・キャリブレーションを行うことでカメラ位置ずれを算出し、その値を入力するとしても良い。

また、本実施の形態１では、座標変換パラメタ取得部１２０は、座標変換パラメタ選択部１１０および座標変換パラメタ記憶部１１１を備え、座標変換パラメタ選択部１１０が、カメラ位置ずれ情報に応じて、座標変換パラメタ記憶部１１１に記憶された複数の座標変換パラメタの中から１つを選択するとしているが、これに限られるものではない。例えば、座標変換パラメタ取得部１２０が、カメラ位置ずれ情報に基づいて座標変換パラメタを生成しても構わない。

また、本実施の形態１において、座標変換部１１２は射影変換を用いるものとしたが、座標変換の方法を射影変換に限定するものではなく、カメラ位置ずれを補正する効果のある座標変換であれば、どのような変換を用いても良い。

（実施の形態２）
図２０は本発明の実施の形態２に係る周辺監視装置の構成を示すブロック図である。

本実施の形態において、実施の形態１と異なる点は、座標変換パラメタ記憶部２１２に記憶されている座標変換パラメタＰの内容と、座標変換パラメタ選択部２１１および座標変換部２０１の動作である。

以下、各部の動作を説明する。

本実施の形態２の座標変換部２０１は、次に示す（式２）を用いてアフィン変換によって、画像合成パラメタ選択部２２１から出力された基準画像合成パラメタに含まれる撮像画像の画像座標を、座標変換パラメタ選択部２１２から出力された座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する。

（式２）における６つの係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）で座標変換パラメタが構成される。

座標変換パラメタ記憶部２１２に記憶されている座標変換パラメタは、カメラの位置ずれＥ、基準画像合成パラメタの番号ｑ、図形パラメタの番号ｒ、カメラ番号ｋに応じて、あらかじめ算出された座標変換パラメタＰ（Ｅ，ｑ，ｒ，ｋ）である。

座標変換パラメタ選択部２１１は、カメラ位置ずれ情報に含まれる各カメラの位置ずれＥとカメラ番号ｋ、および、画像合成パラメタ選択部２２１で選択された基準画像合成パラメタの番号ｐと図形パラメタの番号ｒに応じた座標変換パラメタＰ（Ｅ，ｑ，ｒ，ｋ）を選択して出力する。基準画像合成パラメタの番号ｐおよび図形パラメタの番号ｒは、移動体状態検出部１０９から入力された移動体状態に基づいて、図１０に示した選択方法によって得るものとする。

以下、座標変換パラメタＰ（Ｅ，ｑ，ｒ，ｋ）を算出する方法の例について説明する。実施の形態１において射影変換での座標変換パラメタを求めた方法と同様に、位置ずれのない撮像画像とある位置ずれＥの撮像画像との複数の対応点座標から、座標変換パラメタを算出する。実施の形態１と異なる点は、カメラ番号ｋ、基準画像合成パラメタの番号ｐ、図形パラメタの番号ｒに応じて、異なる対応点を用いて座標変換パラメタを算出する点である。

基準となるカメラ位置で撮像された撮像画像が図２１（ａ）であり、カメラ位置ずれがＥである場合の撮像画像が図２１（ｂ）であるとする。そして、カメラの位置ずれのない撮像画像上の点の画像座標を（ｘｉ，ｙｉ）、位置ずれのある撮像画像上の画像座標を（ ｘｉ’， ｙｉ’ ）とし、それぞれの画像座標の間に（式２）の関係があるとする。このとき画像上の３点以上の対応点を与えることで、（式２）において２乗誤差最小となるように座標変換パラメタを算出することができる。

図２１（ａ）（ｂ）中の「×印」および「○印」は、それぞれ４点の対応点の組を示しており、図９（ｃ）に示す図形を合成する図形パラメタ２−２と、図９（ｂ）に示す図形を合成する図形パラメタ２−１とにおける、合成画像の破線上にある撮像画像上の点として与える。そして、各対応点の組ごとに座標変換パラメタを算出する。

ここで「×印」の対応点と「○印」の対応点とは、それぞれ図形パラメタ２−２と図形パラメタ２−１とに対応する撮像画像上の点である。また、図形パラメタ２−１、図形パラメタ２−２は、図１０の選択方法によって選択されることから、「×印」の対応点を用いて算出した座標変換パラメタは、「カメラ位置ずれＥ、基準画像合成パラメタ２、図形パラメタ２−２、カメラ１」の場合の座標変換パラメタＰ（Ｅ，２，２−２，１）であり、「○印」の対応点を用いて算出した座標変換パラメタは、「カメラ位置ずれＥ、基準画像合成パラメタ２、図形パラメタ２−１、カメラ１」の場合の座標変換パラメタＰ（Ｅ，２，２−２，１）であるものとする。

図２１（ｃ）（ｄ）は、図２１（ｂ）のカメラ位置ずれがある撮像画像を用いて、上記の２つの座標変換パラメタを用いて座標変換して生成した合成画像の例である。アフィン変換では、カメラの位置ずれがカメラのＺ軸中心の回転である場合に限り、撮像画像のずれを完全に補正することができるが、それ以外の回転や平行移動を含むカメラ位置ずれに対しては、位置ずれが残ってしまう。この位置ずれの影響は、前述した座標変換パラメタの算出の際に用いた対応点の位置では小さくなることが期待できる。つまり、図２１（ｃ）（ｄ）の合成画像では、それぞれ「×印」の対応点と「○印」の対応点の位置において、カメラ位置ずれに起因する合成画像のずれが少ない画像となっている。

上記の方法によって生成した座標変換パラメタを用い、上記した座標変換パラメタ選択部２１１、座標変換部２０１、および各処理部の動作によって生成される画像の例を示す。

図２２は、図２の撮像状況において、移動体状態が「車両速度は移動、シフトレバーはＲ、舵角は中立」、ユーザーからのカメラ位置ずれＥの入力が初期値であるｅｗｙｋ＝０の図形つき合成画像の例である。図２２（ａ）は、カメラの位置ずれがない場合の図形つき合成画像であり、図２２（ｂ）は、カメラの位置ずれがある場合の図形つき合成画像である。図２３（ａ）は、実施の形態１と同様なユーザーの操作により好適なカメラ位置ずれＥが入力された場合、すなわち前述した座標変換パラメタＰ（Ｅ，２，２−２，１）によって座標変換された、図形つき合成画像の例である。図２２（ｂ）では、被写体（特に障害物）と図形との位置関係がずれているのに対して、図２３（ａ)ではずれが低減されている。さらに、ユーザーの操作により、移動体状態が「車両速度は移動、シフトレバーはＲ、舵角は右」となった場合、図形合成部１０５では図形パラメタ２、座標変換部１１２では座標変換パラメタＰ（Ｅ，２，２−１，１）がそれぞれ用いられ、図２３(ｂ)の図形つき合成画像が生成される。

前述したように座標変換部２０１でアフィン変換を用いる場合、座標変換パラメタを算出する際に用いた対応点の近傍の誤差が小さくなる。すなわち、図２３（ａ）（ｂ）の図形つき合成画像では、それぞれ図形中の破線の位置において座標変換後の位置ずれが最も小さくなる合成画像が生成されることとなる。このような合成画像をユーザーが観測した場合、例えば、合成画像中の障害物と位置基準となる破線や自車両の図形などのように、位置関係が重要となる箇所において位置ずれが少ないため、より正確な位置関係の把握が可能になる。

以上のように本実施の形態２によれば、座標変換パラメタ取得部２１０は図形合成部１０５で重畳合成される図形に応じて座標変換パラメタを生成することで、合成画像に重畳合成される図形に応じて基準画像合成パラメタが座標変換されるため、図形と合成画像のずれの少ない画像を表示することができるという効果がある。

また、本実施の形態２では、座標変換部２０１はアフィン変換を用いて座標変換を行うため、射影変換を用いた場合に比べて計算負荷が小さいという効果もある。

なお、本実施の形態２において、図形パラメタに応じて異なる座標変換パラメタを用いる場合について説明したが、カメラの位置ずれ、基準画像合成パラメタ、図形パラメタ、カメラ番号の組み合わせであれば、どのような組み合わせであってもよく、基準画像合成パラメタに応じて異なる座標変換パラメタを用いるとしても良い。例えば、図８(ａ) に示す合成画像を生成する標準合成画像パラメタ１と図８（ｂ）に示す合成画像を生成する基準画像合成パラメタ２では、同じカメラ１の撮像画像を用いた合成画像であっても、画像合成として用いる撮像画像の範囲が異なる。そのため、例えば、座標変換パラメタを求める際に撮像画像の範囲に応じて対応点を与えることで、基準画像合成パラメタの構図に応じた位置ずれが小さい合成画像の生成が可能になるという効果がある。

また、図８（ｃ）に示す合成画像を生成する基準画像合成パラメタ３のように、３つの撮像画像を合成した構図では、１つのカメラで位置ずれが起こると、図２４（ａ）のような合成画像におけるカメラ境界部Ｄが不連続となった違和感のある画像となる。そこで、複数の撮像画像を接続した構図の基準画像合成パラメタに対応する座標変換パラメタを算出する際には、カメラ境界部Ｄでの位置ずれが小さくなるように、すなわち、座標変換パラメタの算出に用いる対応点として、合成画像のカメラ境界部Ｄに対応する撮像画像の位置に対応点与えるものとする。このようにして求めた座標変換パラメタを用いると、図２４（ｂ）のようにカメラ境界部Ｄでの位置ずれが小さい合成画像を生成でき、ユーザーにとってより違和感の少ない合成画像の生成が可能になるという効果がある。

なお、本実施の形態２において、座標変換部２０１はアフィン変換を用いて座標変換を行うものとしたが、座標変換の方法をアフィン変換に限定するものではなく、カメラ位置ずれを補正する効果のある座標変換であれば、どのような変換を用いても良い。例えば、射影変換を用いる場合であっても、カメラで撮像される撮像画像にレンズ歪みを含む場合や、カメラの位置ずれに平行移動成分を含む場合は、座標変換した合成画像での位置ずれが残る。このとき、合成画像上での位置ずれは、座標変換パラメタの算出に用いる対応点の位置において小さくなるため、本実施の形態２と同様に、図形に応じた座標変換パラメタを用いることで、合成画像上の位置ずれの影響が少ない合成画像を生成することが可能となる。

（実施の形態３）
本実施の形態３において、その構成、動作は実施の形態２と同じであり、実施の形態２と異なる点は、カメラ１０１はレンズ歪を含む画像を出力するカメラであり、そのレンズ歪みの量は、あらかじめ定められたカメラ位置ずれの範囲と、基準画像合成パラメタの範囲における、座標変換後の位置誤差が最小となるようなレンズ歪みのカメラ１０１を用いる点である。

図２５は、レンズ歪みつき撮像画像の例と、実施の形態２と同様の動作により生成した合成画像の例を示す図である。図２５（ａ）は、カメラ１０１がレンズ歪みつき画像を出力する場合の撮像画像の例であり、図２５（ｂ）は、カメラの位置がずれた場合の撮像画像の例である。本実施の形態３では、実施の形態２と同様に、カメラの位置ずれのない撮像画像と、とりうるカメラの位置ずれＥの範囲において得られる複数のカメラ位置ずれのある撮像画像から、あらかじめ座標変換パラメタを求めておき、これを用いて座標変換を行うことで、図２５（ｃ）のような合成画像を生成する。

このとき、座標変換パラメタの算出の際に用いる、カメラ位置ずれ、基準画像合成パラメタ、図形パラメタ、カメラ番号が全て同じ条件において、レンズ歪みの程度が変わると、座標変換後の合成画像の位置ずれの量も変わるということが、本発明の発明者の実験により確認された。図２６は、レンズ歪みつき画像を座標変換した場合の平均誤差とレンズ歪みｋ１との対応関係を示す図であり、（ａ）アフィン変換を用いた場合、（ｂ）射影変換を用いた場合、である。これは、２次のレンズ歪みｋ１を持つ撮像画像に対して、基準画像合成パラメタ２における図形パラメタ２−２の破線上に対応する撮像画像の対応点を基準に座標変換パラメタを算出し、座標変換後の合成画像について、図形パラメタ２−２の破線上を基準位置とした位置ずれの平均誤差を算出したものである。

図２６に示すように、射影変換の場合では、レンズ歪みの増加にともなって平均誤差が大きくなるのに対して、アフィン変換の場合は、レンズ歪み係数が０．４〜０．５で、平均誤差が最小となっている。つまり、図２６の算出条件となった、レンズ位置ずれ、基準画像合成パラメタ、図形パラメタ、カメラ番号においては、レンズ歪み係数が０．４〜０．５のカメラを用いると、座標変換後の合成画像上での位置ずれの平均が最も小さくなることを示している。したがって、とり得るカメラ位置ずれの範囲において、同様な計算によって算出した合成画像の位置ずれの平均が最小となるようなレンズ歪を算出し、そのレンズ歪みのカメラを用いるものとすることで、合成画像の位置ずれがより小さい合成画像を生成することができるという効果がある。

以上のように本実施の形態３によれば、あらかじめ定められた１つ以上の基準画像合成パラメタと、あらかじめ定められた１つ以上の座標変換パラメタによって生成される合成画像における誤差が、最も小さくなるレンズ歪パラメタを持つ撮像画像を用いることで、合成画像の位置ずれがより小さい合成画像を生成することができるという効果がある。

なお、各実施の形態において、基準画像合成パラメタは、合成画像の画像座標に対応する撮像画像の画像座標値で構成されるものとしたが、撮像画像の範囲外の画像座標値を設定するとしても良い。基準画像合成パラメタにおいて、撮像画像の範囲外の画像座標値が含まれる場合であっても、座標変換部で座標変換された変換画像合成パラメタにおいては、撮像画像の範囲内の座標値に置き換えられ、合成画像として表示される画像の範囲が広がる場合があるという効果がある。

また同様に、図８（ｃ）のように複数の撮像画像を用いる基準画像合成パラメタにおいて、合成画像上でカメラ境界部の近傍では、合成画像の１つの画像座標に対して、２つ以上の撮像画像座標を参照するように構成し、座標変換部では、座標変換後の画像座標が撮像画像の範囲であるどちらか一方の画像座標を残した変換画像合成パラメタとして出力するとしても良い。このとき、合成画像として表示される画像の範囲が広がる場合があるという効果がある。

また、各実施の形態において、移動体状態検出部１０８および画像合成パラメタ選択部１１３は、移動体状態として車両速度、シフトレバー、および、舵角を用いるとしたが、移動体状態の種類やパラメタの選択方法を限定するものではなく、合成画像の構図と対応関係がある移動体状態であれば、どのような情報を用いてもよい。例えば、ＧＰＳ（Global Positioning System）装置により取得された車両の位置情報から道路状況を取得し、この道路状況に基づいて車両姿勢を推定し、この車両姿勢に応じて基準画像合成パラメタおよび座標変換パラメタを選択しても構わない。

また、各実施の形態において、画像合成パラメタ選択部１１３は、図１０の選択方法により基準画像合成パラメタを選択するものとしたが、選択方法を限定するものではなく、どのような選択方法であってもよい。

また、各実施の形態において、カメラは３台であり、その設置位置および撮像範囲は、図３に示すようなものとしたが、カメラ台数、設置位置、撮像範囲をこの範囲に限定するものではない。

また、各実施の形態において、複数のカメラおよび周辺監視装置が設置される車両は、４輪の乗用車であるとして説明したが、車両の形態を制限するものではなく、２輪や３輪の車両やロボットなどの移動体であっても良い。さらに、複数のカメラおよび周辺監視装置を設置する場所は、移動体に限られるものではなく、例えば駅やビル等に固定されて設置しても構わない。また、複数のカメラおよび周辺監視装置は、同じ移動体や場所に設置する必要はなく、カメラと周辺監視装置とを別の場所に設置しても構わない。

また、本発明の実施の形態では、個別の処理部は個別のハードウェアによって実現されるものとして説明したが、１つのＩＣなどに収まっているものであっても良いし、図２７のような画像の入出力部を備えたコンピュータを用いて、各処理部はコンピュータ（ＣＰＵ１００４,ＲＯＭ１００５,ＲＡＭ１００６など）で実行されるソフトウェアによって実現するものとしても良く、本発明の実施の形態と同様の効果を得ることができる。

本発明に係る周辺監視装置は、カメラの位置ずれに伴って生じる表示画像中の歪みを補正することができ、車両の運転やロボットの遠隔操作など、移動体の操作の補助となる周辺監視装置として有用である。特に、複数のカメラで撮像した画像を用いて仮想的な視点から撮像された画像を合成した提示する周辺監視装置として有用である。またセキュリティを目的とした監視装置や、映像作成を目的とした画像合成装置などにも応用できる。

図１は、従来の技術による周辺監視装置の例を示す図である。 図２は、本発明の実施の形態１における周辺監視装置の構成を示すブロック図である。 図３は、本発明の実施の形態１における撮像状況の例を示す図である。 図４は、本発明の実施の形態１における周辺監視装置の動作を示すフローチャートである。 図５は、本発明の実施の形態１における撮像画像の例を示す図である。 図６は、本発明の実施の形態１における座標系の例を示す図である。 図７は、本発明の実施の形態１における基準画像合成パラメタの例を示す図である。 図８は、本発明の実施の形態１における合成画像の例を示す図である。 図９は、本発明の実施の形態１における図形合成部で重畳合成される図形の例を示す図である。 図１０は、本発明の実施の形態１における画像合成パラメタ選択部での選択方法の例を示す図である。 図１１は、本発明の実施の形態１における座標変換パラメタの算出に用いる対応点の例を示す図である。 図１２は、本発明の実施の形態１における座標変換パラメタの例を示す図である。 図１３は、本発明の実施の形態１における動作の過程で生成画像の例を示す図である。 図１４は、本発明の実施の形態１におけるカメラ位置がずれた場合の撮像画像の例を示す図である。 図１５は、本発明の実施の形態１におけるカメラ位置がずれた場合の合成画像の例を示す図である。 図１６は、本発明の実施の形態１における座標変換の有無による合成画像の違いを示す例を示す図である。 図１７は、本発明の実施の形態１における基準図形を用いる場合の使用状況の例を示す図である。 図１８は、本発明の実施の形態１における基準図形を用いる場合の撮像画像の例を示す図である。 図１９は、本発明の実施の形態１における合成画像の記録処理を行う場合の撮像画像の例を示す図である。 図２０は、本発明の実施の形態２における周辺監視装置の構成を示すブロック図である。 図２１は、本発明の実施の形態２における座標変換にアフィン変換を用いた場合の合成画像の例を示す図である。 図２２は、本発明の実施の形態２におけるカメラ位置がずれた場合の合成画像の例を示す図である。 図２３は、本発明の実施の形態２における図形を重畳した合成画像の例を示す図である。 図２４は、本発明の実施の形態２における複数カメラを用いた合成画像の例を示す図である。 図２５は、本発明の実施の形態３における撮像画像がレンズ歪みつきの場合の合成画像の例を示す図である。 図２６は、本発明の実施の形態３におけるレンズ歪みつき画像を座標変換した場合の合成画像上での位置誤差を示すグラフである。 図２７は、本発明に係る周辺監視装置をコンピュータにより構成した場合の構成を示すブロック図である。

符号の説明

１０１ カメラ
１０２ Ａ／Ｄ（アナログ・デジタル変換器）
１０３ フレームメモリ
１０４ 画像合成部
１０５ 図形合成部
１０６ Ｄ／Ａ（デジタル・アナログ変換器）
１０７ ディスプレイ
１０８ 位置ずれ情報取得部
１０９ 移動体状態検出部
１１０、２１１ 座標変換パラメタ選択部
１１１、２１２ 座標変換パラメタ記憶部
１１２、２０１ 座標変換部
１１３ 画像合成パラメタ選択部
１１４ 画像合成パラメタ記憶部
１２０、２１０ 座標変換パラメタ取得部
１２１ 画像合成パラメタ取得部

Claims (21)

1. カメラによって撮像された撮像画像を用いて周辺画像を生成する周辺監視装置であって、
   前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報取得部と、
   前記位置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、前記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを取得する座標変換パラメタ取得部と、
   前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合成パラメタを取得する画像合成パラメタ取得部と、
   前記画像合成パラメタ取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得された前記座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変換部と、
   前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成して出力する画像合成部とを備え、
   前記基準画像合成パラメタは、ルックアップテーブルを作成する際のカメラ位置に基づいて生成されたルックアップテーブルを含み、前記ルックアップテーブルは、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報である
   ことを特徴とする周辺監視装置。
2. 前記ルックアップテーブルは、あらかじめ定められた設計上のカメラ位置、または、取り付け後のカメラ位置に基づいて生成される
   ことを特徴とする請求項１記載の周辺監視装置。
3. 前記座標変換パラメタ取得部は、
   少なくとも１つの座標変換パラメタをあらかじめ記憶している座標変換パラメタ記憶部と、
   前記位置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、少なくとも１つの前記座標変換パラメタから１つの座標変換パラメタを選択する座標変換パラメタ選択部とを備える
   ことを特徴とする請求項１記載の周辺監視装置。
4. 前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前記位置ずれ情報に基づいて、前記座標変換パラメタを生成する
   ことを特徴とする請求項１記載の周辺監視装置。
5. 前記周辺監視装置は、さらに、
   前記画像合成部によって生成された前記周辺画像に図形を重畳合成して出力する図形合成部を備え、
   前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前記位置ずれ情報、および前記図形合成部によって重畳合成される前記図形に基づいて、前記座標変換パラメタを取得する
   ことを特徴とする請求項１記載の周辺監視装置。
6. 前記座標変換パラメタ取得部は、前記図形合成部によって重畳合成される前記図形の所定の位置において、座標変換後の周辺画像の位置誤差が最小となる座標変換パラメタを取得する
   ことを特徴とする請求項５記載の周辺監視装置。
7. 前記画像合成パラメタ取得部は、
   少なくとも１つの基準画像合成パラメタをあらかじめ記憶している画像合成パラメタ記憶部と、
   少なくとも１つの前記基準画像合成パラメタから１つの基準画像合成パラメタを選択する画像合成パラメタ選択手段とを備える
   ことを特徴とする請求項１記載の周辺監視装置。
8. 前記周辺監視装置は、さらに、
   前記周辺監視装置を搭載する移動体の姿勢に関する情報を含む移動体の状態を検出する状態検出部を備え、
   前記画像合成パラメタ選択部は、前記状態検出部によって検出された前記移動体の状態に基づいて１つの前記基準画像合成パラメタを選択する
   ことを特徴とする請求項７記載の周辺監視装置。
9. 前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前記位置ずれ情報、および前記画像合成パラメタ選択部によって選択された前記基準画像合成パラメタに基づいて、前記座標変換パラメタを取得する
   ことを特徴とする請求項７記載の周辺監視装置。
10. 前記基準画像合成パラメタは、前記周辺画像に対応する前記撮像画像の一部分の画像座標の情報を含み、
    前記座標変換パラメタ取得部は、前記撮像画像の一部分の所定の位置において、座標変換後の周辺画像の位置誤差が最小となる座標変換パラメタを取得する
    ことを特徴とする請求項１記載の周辺監視装置。
11. 前記基準画像合成パラメタは、複数のカメラによって撮像された複数の前記撮像画像を用いて前記周辺画像を生成するための、複数の前記撮像画像の画像座標の情報を含み、
    前記位置ずれ情報取得部は、複数の前記カメラの位置変動に関する情報である複数の位置ずれ情報を取得し、
    前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された複数の前記位置ずれ情報に基づいて、複数の前記座標変換パラメタを取得し、
    前記座標変換部は、前記画像合成パラメタ取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得された複数の前記座標変換パラメタを用いて座標変換し、前記変換画像合成パラメタとして出力し、
    前記画像合成部は、複数の前記撮像画像に対して前記座標変換パラメタ取得部によって取得された複数の前記座標変換パラメタを用いて、前記周辺画像を生成する
    ことを特徴とする請求項１記載の周辺監視装置。
12. 前記基準画像合成パラメタは、前記周辺画像の各画素に対応する、複数の撮像画像の中から撮像画像を特定する情報および当該撮像画像上の画素位置を示す画像座標の情報を含む
    ことを特徴とする請求項１１記載の周辺監視装置。
13. 前記座標変換パラメタ取得部は、前記基準画像合成パラメタに含まれる複数の撮像画像の境界位置において、座標変換後の周辺画像の位置誤差が最小となる座標変換パラメタを取得する
    ことを特徴とする請求項１１記載の周辺監視装置。
14. 前記画像合成パラメタ取得部は、前記撮像画像の範囲外の画像座標の情報を含む前記基準画像合成パラメタを取得する
    ことを特徴とする請求項１記載の周辺監視装置。
15. 前記画像合成パラメタ取得部は、前記周辺画像の１画素に対して前記撮像画像上の２画素以上の画素位置を示す画像座標の情報を含む前記基準画像合成パラメタを取得し、
    前記座標変換部は、前記画像合成パラメタ取得部によって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得部によって取得された前記座標変換パラメタを用いて座標変換した後に、一つの画素を選択し、前記変換画像合成パラメタとして出力する
    ことを特徴とする請求項１記載の周辺監視装置。
16. 前記撮像画像は、レンズ歪を含む画像であり、
    前記画像合成部は、あらかじめ定められた１つ以上の前記基準画像合成パラメタと、あらかじめ定められた１つ以上の前記座標変換パラメタによって生成される前記周辺画像における誤差が、最も小さくなるレンズ歪パラメタを持つ前記撮像画像を用いて、前記周辺画像を生成する
    ことを特徴とする請求項１記載の周辺監視装置。
17. 前記周辺監視装置は、さらに、
    前記周辺監視装置を搭載する移動体の姿勢に関する情報を含む移動体の状態を検出する状態検出部を備え、
    前記座標変換パラメタ取得部は、前記位置ずれ情報取得部によって取得された前記位置ずれ情報、および前記状態検出部によって検出された前記移動体の状態に基づいて、前記座標変換パラメタを取得する
    ことを特徴とする請求項１記載の周辺監視装置。
18. 前記周辺監視装置は、さらに、
    ユーザーから補正量を受け付ける受付部を備え、
    前記位置ずれ情報取得部は、前記受付部によって受け付けられた前記補正量を前記位置ずれ情報として取得する
    ことを特徴とする請求項１記載の周辺監視装置。
19. 前記周辺監視装置は、さらに、
    前記カメラの位置ずれ量を検出する位置ずれ量検出部を備え、
    前記位置ずれ情報取得部は、前記位置ずれ量検出部によって検出された前記位置ずれ量を前記位置ずれ情報として取得する
    ことを特徴とする請求項１記載の周辺監視装置。
20. カメラによって撮像された撮像画像を用いて周辺画像を生成する周辺監視方法であって、
    前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報取得ステップと、
    前記位置ずれ情報取得ステップによって取得された前記位置ずれ情報に基づいて、前記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを取得する座標変換パラメタ取得ステップと、
    前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合成パラメタを取得する画像合成パラメタ取得ステップと、
    前記画像合成パラメタ取得ステップによって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得ステップによって取得された前記座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変換ステップと、
    前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成して出力する画像合成ステップとを含み、
    前記基準画像合成パラメタは、ルックアップテーブルを作成する際のカメラ位置に基づいて生成されたルックアップテーブルを含み、前記ルックアップテーブルは、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報である
    ことを特徴とする周辺監視方法。
21. カメラによって撮像された撮像画像を用いて周辺画像を生成するためのプログラムであって、
    前記カメラの位置変動に関する情報である位置ずれ情報を取得する位置ずれ情報取得ステップと、
    前記位置ずれ情報取得ステップによって取得された前記位置ずれ情報に基づいて、前記位置変動に伴う前記周辺画像の歪みを補正するための座標変換パラメタを取得する座標変換パラメタ取得ステップと、
    前記撮像画像を用いて前記周辺画像を生成するための、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報を含む基準画像合成パラメタを取得する画像合成パラメタ取得ステップと、
    前記画像合成パラメタ取得ステップによって取得された前記基準画像合成パラメタに含まれる画像座標を、前記座標変換パラメタ取得ステップによって取得された前記座標変換パラメタを用いて座標変換し、変換画像合成パラメタとして出力する座標変換ステップと、
    前記撮像画像に対して前記変換画像合成パラメタを用いて、前記周辺画像を生成して出力する画像合成ステップとをコンピュータに実行させ、
    前記基準画像合成パラメタは、ルックアップテーブルを作成する際のカメラ位置に基づいて生成されたルックアップテーブルを含み、前記ルックアップテーブルは、前記周辺画像の各画素に対応する前記撮像画像上の画素位置を示す画像座標の情報である
    ことを特徴とするプログラム。

Images