JP3896890B2

JP3896890B2 - Obstacle detection apparatus and method

Info

Publication number: JP3896890B2
Application number: JP2002122257A
Authority: JP
Inventors: 秀和西内
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-04-24
Filing date: 2002-04-24
Publication date: 2007-03-22
Anticipated expiration: 2022-04-24
Also published as: JP2003319382A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両前方に存在する物体を撮像し、立体物であるか平面物であるかを識別する障害物検出装置及び方法に関するものである。
【０００２】
【従来の技術】
従来より、車両にカメラを搭載して車両前方に存在する障害物を検出する障害物検出装置が知られている。
【０００３】
この障害物検出装置では、撮像した対象物が障害物であるかどうかを判断するために、対象物が立体物であるか平面物であるかを識別する必要がある。撮像した対象物が立体物であるか平面物であるかを識別する手法としては、１台の撮像カメラのみを用いて画像処理により識別する手法があり、複数台の撮像カメラを使用する手法と比べ、コストや処理負荷など多くの利点があげられる。
【０００４】
このように１台の撮像カメラを用いて撮像した物体が立体物か平面物であるかを識別する障害物検出装置としては、道路上の移動物体を検出する場合に有効なものとして、時刻Ｔ０，Ｔ１時に撮像した画像を全画像についてパターンマッチングを行うものがある。このような障害物検出装置では、処理量が多く障害物となる物体を抽出するまでに多くの時間を要するという問題がある。
【０００５】
これに対し、他の障害物検出装置としては、例えば特開平１０−２２２６７９号公報に記載のものがある。この障害物検出装置は、時刻Ｔ０，Ｔ１時に撮像した画像を平面画像に変換し、時刻Ｔ０の平面画像と時刻Ｔ０−Ｔ１間の車両移動距離から時刻Ｔ１における予測平面画像を算出し、この予測平面画像と時刻Ｔ１の平面画像を比較することで立体物か平面物か、すなわち障害物になり得るか否かを迅速に識別することができるというものである。
【０００６】
つまり、この障害物検出装置では、異なる視点で撮像した２枚の画像を用いることで立体物であるか平面物であるかの識別を可能とし、２枚の画像を同一平面（道路面）に投影し視差距離の補正を行うことで画像間における対象物の対応座標を検索する必要がなく、対象物が立体物であるか平面物であるかを迅速に識別できる。
【０００７】
【発明が解決しようとする課題】
しかしながら、このような従来の技術にあっては、異なる時刻に撮像した２枚の画像を比較するため、その間にピッチング角など車両挙動の変化が生じた場合にはその補正が必要となる。したがって、従来では、自車両の挙動を計測する各種センサが必要となり、コストが高くなるという問題がある。
【０００８】
また、自車両の挙動を計測する各種センサに代えて２枚の画像より車両挙動を算出することもできるが、画像処理の負担が増加するために処理速度の点から不利となってしまう。
【０００９】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、ピッチングなど車両挙動が生じた場合でも立体物か平面物であるかを正確に識別することができる障害物検出装置及び方法を提供するものである。
【００１０】
【課題を解決するための手段】
上述の課題を解決するために、請求項１に係る障害物検出装置では、車両に搭載され、自車両の前方を撮像して撮像画像を生成する撮像手段と、上記撮像手段を上下に移動させ、上記撮像手段の撮像視点を移動させる視点移動手段と、上記撮像手段で生成した撮像画像から対象物を検出する対象物検出手段と、上記対象物検出手段で検出された対象物の縦画像サイズを対象物の特徴量として算出する対象物特徴量算出手段と、上記対象物検出手段で検出された対象物の画像フレーム間における同定をする対象物同定手段と、上記対象物同定手段にて同定された対象物を含む複数の撮像画像を用いて、上記視点移動手段による上記撮像手段の視点変化に対する、上記対象物特徴量算出手段で算出された対象物の縦画像サイズの変化を検出し、対象物が立体物か平面物であるかを識別する対象物識別手段とを備える。
【００１１】
請求項２に係る障害物検出装置では、請求項１に係る障害物検出装置であって、上記視点移動手段により特定の周波数で周期的に上記撮像手段の視点を上下方向に移動させた場合に、上記対象物識別手段により、縦画像サイズ変化の周波数成分のうち上記視点移動手段が上記撮像手段の視点を移動させる周波数成分を抽出して、対象物が立体物か平面物であるかを識別することを特徴とする。
【００１２】
請求項３に係る障害物検出装置では、請求項２に係る障害物検出装置であって、上記特定の周波数を、車両走行中の挙動に基づく周波数帯とは異なる周波数帯としたことを特徴とする。
【００１３】
請求項４に係る障害物検出装置では、請求項１〜請求項３の何れかに係る障害物検出装置であって、上記対象物識別手段により、対象物が平面物である場合には縦画像サイズが視点変化に応じて変化し、対象物が立体物である場合には縦画像サイズが視点変化に応じて変化しないことを検出することを特徴とする。
【００１４】
上述の課題を解決するために、請求項５に係る障害物検出方法では、撮像カメラの視点位置を第１位置に設定して上記撮像カメラにより第１撮像画像を生成した後に、上記撮像カメラの視点位置を第１位置から上下方向に移動させて第２位置に設定して上記撮像カメラにより第２撮像画像を生成し、第１撮像画像及び第２撮像画像に含まれる同一の対象物の縦画像サイズを対象物の特徴量として検出し、第１位置から第２位置に視点移動したことによる対象物の縦画像サイズの変化を検出して対象物が立体物か平面物であるかを識別する。
【００１５】
請求項６に係る障害物検出方法では、請求項５に係る障害物検出方法であって、特定の周波数で周期的に視点を上下方向に移動させながら複数の撮像画像を上記撮像カメラにより撮像し、複数の撮像画像に含まれる同一の対象物の縦画像サイズ変化の周波数成分のうち上記特定の周波数を抽出して、対象物が立体物か平面物であるかを識別することを特徴とする。
【００１６】
請求項７に係る障害物検出方法では、請求項６に係る障害物検出方法であって、上記特定の周波数を、車両走行中の挙動に基づく周波数帯とは異なる周波数帯としたことを特徴とする。
【００１７】
請求項８に係る障害物検出方法では、請求項５〜請求項７の何れかに係る障害物検出方法であって、対象物が平面物である場合には縦画像サイズが視点変化に応じて変化し、対象物が立体物である場合には縦画像サイズが視点変化に応じて変化しないことを検出することを特徴とする。
【００１８】
【発明の効果】
請求項１に係る障害物検出装置によれば、車両前方に存在する障害物を検出するに際して、対象物同定手段にて同定された対象物を含む複数の撮像画像を用いて、撮像手段の視点変化に対する対象物の縦画像サイズの変化を検出し、対象物が立体物か平面物であるかを識別するので、例えばピッチングなど車両の挙動変化が発生した場合でも対象物が立体物か平面物であるかを正確に判定することができ、障害物であるか否かを正確に識別することができる。
【００１９】
請求項２に係る障害物検出装置によれば、視点移動手段により特定の周波数で周期的に撮像手段の視点を上下方向に移動させた場合に、対象物識別手段により、縦画像サイズ変化の周波数成分のうち撮像手段の視点を移動させる周波数成分を抽出して、対象物が立体物か平面物であるかを識別するので、対象物が立体物であり車両走行時の位置変化により縦画像サイズが変化する場合であっても、正確に立体物か否かの判定をして、更に正確に車両前方の障害物を検出することができる。
【００２０】
請求項３に係る障害物検出装置によれば、撮像視点を移動させる周波数を、車両走行中の挙動に基づく周波数帯とは異なる周波数帯としたので、車両走行時の位置変化により縦画像サイズが変化する場合に正確に障害物を検出することを実現することができる。
【００２１】
請求項４に係る障害物検出装置によれば、対象物識別手段により、対象物が平面物である場合には縦画像サイズが視点変化に応じて変化し、対象物が立体物である場合には縦画像サイズが視点変化に応じて変化しないことを利用して障害物検出をするので、請求項１〜請求項３の効果を実現することができる。
【００２２】
請求項５に係る障害物検出方法によれば、撮像カメラの視点位置を第１位置に設定して撮像カメラにより第１撮像画像を生成した後に、撮像カメラの視点位置を第１位置から上下方向に移動させて第２位置に設定して撮像カメラにより第２撮像画像を生成して、第１位置から第２位置に視点移動したことによる対象物の縦画像サイズの変化を検出し、対象物が立体物か平面物であるかを識別するので、例えばピッチングなど車両の位置変化が発生した場合でも対象物が立体物か平面物であるかを正確に判定することができ、障害物であるか否かを正確に識別することができる。
【００２３】
請求項６に係る障害物検出方法によれば、特定の周波数で周期的に視点を上下方向に移動させながら複数の撮像画像を撮像カメラにより撮像し、複数の撮像画像に含まれる同一の対象物の縦画像サイズ変化の周波数成分のうち、特定の周波数として視点を上下に移動させる周波数と同じ周波数を抽出して、対象物が立体物か平面物であるかを識別するので、対象物が立体物あり車両走行時の位置変化により縦画像サイズが変化する場合であっても、正確に立体物か否かの判定をして、更に正確に車両前方の障害物を検出することができる。
【００２４】
請求項７に係る障害物検出方法によれば、特定の周波数を、車両走行中の挙動に基づく周波数帯とは異なる周波数帯としたので、車両走行時の位置変化により縦画像サイズが変化する場合に正確に障害物を検出することを実現することができる。
【００２５】
請求項８に係る障害物検出方法によれば、対象物が平面物である場合には縦画像サイズが視点変化に応じて変化し、対象物が立体物である場合には縦画像サイズが視点変化に応じて変化しないことを利用するので、請求項５〜請求項７の効果を実現することができる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２７】
本発明は、以下に説明する第１実施形態及び第２実施形態に係る障害物検出装置に適用される。
【００２８】
［第１実施形態］
「第１実施形態に係る障害物検出装置の構成」
第１実施形態に係る障害物検出装置は、図１にその構成ブロックを示すように、車両にカメラ１、カメラ駆動部２、制御処理部３、メモリ４、ディスプレイ５、警報装置６が搭載されて構成されている。
【００２９】
カメラ１は、車両前部に設けられ、例えばＣＣＤ（Charge Coupled Device）撮像素子により車両前方を撮像して、画像データを生成する。このカメラ１は、車両走行時において、例えば所定時間毎に画像データを生成して制御処理部３に送る。また、このカメラ１は、図示しない上下方向移動機構に取り付けられる。これにより、カメラ１は、上下方向において移動可能に設置される。
【００３０】
カメラ駆動部２は、アクチュエータなどで構成され、例えば車両走行時において制御処理部３の制御に従って上下方向移動機構に取り付けられたカメラ１を上下方向に移動させる。これにより、カメラ駆動部２は、カメラ１の撮像視点を上下方向に移動させる。
【００３１】
ディスプレイ５は、車両運転者から視認可能な位置に配設された液晶ディスプレイなどからなる。このディスプレイ５は、制御処理部３からの出力結果に基づき障害物などを表示する。これにより、ディスプレイ５は、車両運転者に障害物の存在を報知する。
【００３２】
警報装置６は、例えば放音機構などからなり、制御処理部３からの出力結果に基づき車両衝突などの警報を発するものである。
【００３３】
制御処理部３は、カメラ１により撮像された画像データに画像処理をして、障害物となる可能性がある立体の対象物を検出する障害物検出処理をする。このとき、制御処理部３は、メモリ４を作業領域として使用する。制御処理部３は、障害物検出処理により立体物が検出された場合に、処理結果をディスプレイ５及び警報装置６に送ることで、ディスプレイ５及び警報装置６の動作を制御する。
【００３４】
障害物検出処理を行うに際して、制御処理部３は、複数の画像フレーム間における対象物同定処理をし、複数の画像フレームに亘って同定された対象物の縦画像サイズ情報を取得してメモリ４に保存する。
【００３５】
そして、制御処理部３は、一定量の縦画像サイズ情報が保持された場合、全ての縦画像サイズ情報をメモリ４から読み出し、対象物が立体物か平面物であるかを識別する。制御処理部３は、対象物が立体物、すなわち障害物であると判定した場合、カメラ１から入力された画像データを処理し障害物までの距離を算出し、ディスプレイ５及び警報装置６により警報を発する。
【００３６】
なお、この障害物検出処理の詳細な内容については後述する。
【００３７】
つぎに、上述の障害物検出装置において、制御処理部３により対象物が立体物か平面物であるかを識別する原理について説明する。
【００３８】
図２及び図３に、立体物を撮像した場合の例を示す。ここで、対象物の縦画像サイズとは、図２に示すように、対象物がＣＣＤ撮像素子１１の撮像面に投影された縦方向長さである。この縦画像サイズの変化は、焦点から見た対象物の投影像への角度θｔ（以下、対象物投影角度と呼ぶ。）の変化に比例する。
【００３９】
図３に、カメラ設置高さｈｓと立体物の縦画像サイズの関係について示す。図３によれば、カメラ設置高さｈｓから距離Ｌだけ離れた位置にある立体物高さｈｔの立体物１２を撮像した場合、対象物投影角度θｔは、下記式１に示すように、
θｔ＝ｔａｎ^-1（ｈｓ／Ｌ）−ｔａｎ^-1（（ｈｓ−ｈｔ）／Ｌ）（式１）
と表すことができる。また、カメラ１から前方の障害物を撮像する場合はＬ≫ｈｓとなり、近似式ｔａｎθ＝θが適用でき、上記式１を下記式２で示すように、
θｔ＝ｈｔ／Ｌ（式２）
と表すことができる。式２より、立体物１２を撮像した場合、対象物投影角度θｔはカメラ設置高さｈｓに依存せず、従って、カメラ設置高さｈｓが変化しても対象物が投影される縦画像サイズが変わらないことがわかる。
【００４０】
これに対し、図４に、平面物１３を撮像した場合の例が示されている。同様にカメラ設置高さｈｓと平面物１３の縦画像サイズの関係について示す。具体的にはカメラ設置高さｈｓから距離Ｌだけ離れた位置にある長さｌｔの平面物１３を撮像した場合、対象物投影角度θｔは、下記式３に示すように、
θｔ＝ｔａｎ^-1(hs/(L-lt/2))−ｔａｎ^-1(hs/(L+lt/2)) （式３）
と表すことができる。また、立体物１２を撮像した場合と同様の理由（Ｌ≫ｈｓ）から、近似式ｔａｎθ＝θが適用でき、上記式３を下記式４で示すように、
θｔ＝ｈｓ・ｄｔ／（Ｌ²−ｄｔ²／４）（式４）
と表すことができる。式４より、平面物１３を撮像した場合、対象物投影角度θｔはカメラ設置高さｈｓに依存して変化し、従って、カメラ設置高さｈｓが変化すると対象物が投影される縦画像サイズが変化する。
【００４１】
すなわち、図５に示すように、カメラ１の視点位置を車両２１の上方視点位置ｈｓ１にして対象物２２を撮像した場合、立体物では図６（ａ）に示すような縦画像サイズＨｓｕとなり、平面物では図６（ｂ）に示すような縦画像サイズＨｐｕとなる。これに対し、カメラ１の位置を車両２１の下方視点位置ｈｓ２にして撮像した場合、立体物では図６（ｃ）に示すような縦画像サイズＨｓｌとなり、平面物では図６（ｄ）に示すような縦画像サイズＨｐｌとなる。
【００４２】
このように、対象物２２が立体物である場合には上下方向にカメラ１を移動させても縦画像サイズが変化しないが、対象物２２が平面物である場合には視点を上下方向に移動させたときに縦画像サイズＨｐｕと縦画像サイズＨｐｌとの間で変化する。このことを利用して、上記式２及び式４の演算を行うことにより、立体物を撮像した場合には縦画像サイズが変化せず、平面物を撮像した場合には縦画像サイズが変化することに応じた縦画像サイズの変化を利用して、車両前方に位置する対象物が立体物か平面物かを判定する。
【００４３】
「第１実施形態に係る障害物検出装置による処理」
つぎに、上述したような障害物検出装置により、車両前方の検出するときの処理手順を図７を参照して説明する。
【００４４】
障害物検出装置は、例えば車両のエンジン始動がなされることにより起動して、ステップＳ１に移行し、カメラ駆動部２によりカメラ１の位置を所定の初期位置に移動させて、ステップＳ２に処理を進める。ステップＳ２では、カメラ１により車両前方を撮像して第１画像データを取得して制御処理部３に送り、制御処理部３によりメモリ４に第１画像データを転送してステップＳ３に処理を進める。
【００４５】
ステップＳ３では、制御処理部３により、メモリ４に転送した第１画像データから対象物を検出する処理を行う。このとき、制御処理部３は、エッジ検出処理をして、２本の縦方向エッジと２本の横方向エッジに囲まれた画像領域を第１対象物として検出して、ステップＳ４に処理を進める。
【００４６】
ステップＳ４では、制御処理部３により、検出した第１対象物の特徴量を算出する。このとき、制御処理部３は、対象物を表す２本の横方向エッジ間に位置した縦方向エッジ間の画素数を縦画素サイズとして算出してステップＳ５に処理を進める。
【００４７】
ステップＳ５では、カメラ駆動部２によりカメラ１を上下方向に移動させることで、カメラ１の視点を変更してステップＳ６に処理を進め、視点変更した後の第２画像データを取得して、メモリ４に転送する。これにより、第１画像データよりも時間的に遅れた画像フレームの第２画像データを取得する。このとき、カメラ駆動部２は、例えばカメラ１自体を下方に移動させる。
【００４８】
次のステップＳ７では、制御処理部３により第２画像データを用いてステップＳ３と同様の処理を行うことで第２対象物を検出してステップＳ８に処理を進め、ステップＳ４と同様の処理を第２対象物を用いてすることで第２画像データについての縦画素サイズを算出する。
【００４９】
次のステップＳ９では、制御処理部３により、ステップＳ３で検出した第１対象物とステップＳ７で検出した第２対象物とを同じ対象物であると同定する。このとき、制御処理部３では、ステップＳ５におけるカメラ１の移動量により第２画像データを補正し、対象物の画像内位置が最も近い対象物同士を同一対象物とする。
【００５０】
次のステップＳ１０では、制御処理部３により、ステップＳ９にて同定された対象物の縦画像サイズを比較して、第１画像データ内の対象物の縦画像サイズと第２画像データ内の対象物の縦画像サイズとが一致するか否かを判定し、一致する場合にはステップＳ１１に処理を進め、一致しない場合にはステップＳ１２に処理を進める。
【００５１】
ステップＳ１１では、制御処理部３により、ステップＳ１０の判定結果から車両前方に障害物が存在すると判定してステップＳ１３に処理を進め、車両と障害物との距離を算出して障害物までの距離が所定値以下である場合にディスプレイ５及び警報装置６を駆動して警報出力をする。一方、ステップＳ１２では、制御処理部３により、ステップＳ１０の判定結果から車両前方に存在する対象物が平面物であって障害物ではないので処理を終了する。
【００５２】
「第１実施形態の効果」
以上詳細に説明したように、第１実施形態に係る障害物検出装置によれば、機械的にカメラ１の視点位置を上下方向に変更し、視点変化による縦画像サイズ変化を利用して、立体物か平面物の識別を行うようにしたので、ピッチングなど自車両の位置変化が発生した場合でも対象物が立体物か平面物であるかを正確に判定することができ、すなわち障害物であるか否かを正確に識別することができる。
【００５３】
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る障害物検出装置について説明する。なお、以下の説明では、上述の第１実施形態と同様の部分については同一の符号、ステップ番号を付することによりその詳細な説明を省略する。
【００５４】
「第２実施形態に係る障害物検出装置の構成」
この第２実施形態に係る障害物検出装置は、図８に示すように、制御処理部３により、カメラ駆動部２が上下方向にカメラ１を駆動させる移動周波数を制御する点で、第１実施形態に係る障害物検出装置とは異なる。この移動周波数は、自車両の挙動範囲などから算出された周波数であって、例えば車両走行中のピッチングなどによるノイズとは異なる周波数帯に設定する。
【００５５】
このような障害物検出装置では、移動周波数ｆにてカメラ１を駆動するようにカメラ駆動部２を制御した場合、対象物が立体物であるとき、図９に示すように、次第に縦画像サイズが大きくなり、次第に縦画像サイズが小さくなっている。このような縦画像サイズの時間的変化の周波数分布は、図１０に示すように、単一周波数ｆ１が制御処理部３により検出され、カメラ１の移動周波数ｆが検出されていない。この周波数ｆ１は、カメラ１を駆動する移動周波数ｆよりも低周波側の車両走行中のノイズにより現れたものであり、カメラ１を駆動したことによる縦画像サイズの変化ではないことが制御処理部３にて認識可能となる。
【００５６】
一方、対象物が平面物であるとき、縦画像サイズは、図１１に示すように、移動周波数ｆの逆数の周期にて変化する。このような縦画像サイズの時間的変化の周波数分布は、図１２に示すように、周波数ｆ１の他に、移動周波数ｆが制御処理部３により検出される。
【００５７】
このように、障害物検出装置では、カメラ駆動部２を制御してカメラ１を移動周波数ｆにて上下方向に移動させて縦画像サイズ変化を観測することで、カメラ移動による縦画像サイズ変化を計測する。
【００５８】
「第２実施形態に係る障害物検出装置による処理」
つぎに、上述したような障害物検出装置により、車両前方の検出するときの処理手順を図１３を参照して説明する。
【００５９】
障害物検出装置は、例えば車両のエンジン始動がなされることにより起動して、ステップＳ３１に移行し、カメラ１の移動周波数を設定してステップＳ３２に処理を進める。このとき、制御処理部３は、カメラ駆動部２に移動周波数を設定する制御信号を出力して、カメラ駆動部２によりカメラ１を移動周波数にて上下方向に移動開始させる。
【００６０】
ステップＳ３２において、カメラ１により、時間的に前後し、上方にて撮像した第１画像データと下方にて撮像した第２画像データとの２枚の画像を取得する。そして、第１画像データ及び第２画像データを、メモリ４に記憶して、ステップＳ３３に処理を進め、制御処理部３により第１画像データ及び第２画像データにエッジ検出処理をして、縦方向エッジ及び横方向エッジから第１対象物及び第２対象物を検出してステップＳ３４に処理を進め、第１対象物及び第２対象物の縦画像サイズを算出する。次のステップＳ３５において、制御処理部３は、ステップＳ９と同様の処理をして時間的に前後する第１画像データと第２画像データとに含まれる第１対象物と第２対象物との同定処理をして、ステップＳ３６に処理を進める。
【００６１】
ステップＳ３６において、制御処理部３は、同定された対象物が立体物であるかの識別が可能であるか否かの判定をし、識別可能でないと判定したときにはステップＳ３２に処理を戻し、識別可能であると判定したときにはステップＳ３７に処理を進める。このとき、制御処理部３では、ステップＳ３５での同定回数がカメラ１の駆動周期の２倍以上になった場合に識別可能とする。すなわち、同定化数が所定回数になるまでステップＳ３２〜ステップＳ３６の処理を繰り返した後に、ステップＳ３７に処理を進める。
【００６２】
ステップＳ３７では、カメラ１の視点移動による縦画像サイズの変化の周波数成分を抽出してステップＳ３８に処理を進める。このとき、制御処理部３は、第１対象物と第２対象物の縦画像サイズの時間的変化を用いた周波数分析を行い、移動周波数ｆの縦画像サイズ変化成分のみを抽出する。
【００６３】
ステップＳ３８では、制御処理部３により、抽出された縦画像サイズ変化の周波数成分の大きさに基づいて、縦画像サイズ変化が所定画素数（例えば１画素以上）あるか否かの判定をし、縦画像サイズ変化が所定画素数以上でなく第１対象物の縦画像サイズと第２対象物の縦画像サイズとが一致する場合にはステップＳ１１に処理を進め、縦画像サイズ変化が所定画素数以上であって第１対象物の縦画像サイズと第２対象物の縦画像サイズとが一致しない場合にはステップＳ１２に処理を進める。
【００６４】
「第２実施形態の効果」
以上詳細に説明したように、第２実施形態に係る障害物検出装置によれば、移動周波数でカメラ１の視点移動を行い、その周波数帯の縦画像サイズ変化を抽出して立体物か平面物かの識別を行うので、対象物が立体物であって車両走行時の位置変化により縦画像サイズが変化する場合であっても、正確に立体物か否かの判定をして、更に正確に車両前方の障害物を検出することができる。
【００６５】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明を適用した第１実施形態に係る障害物検出装置の構成を示すブロック図である。
【図２】カメラのＣＣＤ撮像素子に対象物が投影されたときの対象物投影角度θｔについて説明するための図である。
【図３】立体物を撮像したときの対象物投影角度について説明するための図である。
【図４】平面物を撮像したときの対象物投影角度について説明するための図である。
【図５】車両に搭載したカメラを上下に変化させたときの視点変化について説明するための模式図である。
【図６】視点を上下方向に変化させたときの縦画像サイズについて説明するための図であり、（ａ）は立体物を上方視点から撮像した場合の画像、（ｂ）は平面物を上方視点から撮像した場合の画像、（ｃ）は立体物を下方視点から撮像した場合の画像、（ｄ）は平面物を上方視点から撮像した場合の画像を示す。
【図７】本発明を適用した第１実施形態に係る障害物検出装置の処理手順を示すフローチャートである。
【図８】本発明を適用した第１実施形態に係る障害物検出装置の構成を示すブロック図である。
【図９】対象物が立体物である場合の縦画像サイズの時間的な変化を示す図である。
【図１０】図９に示すように縦画像サイズが変化した場合の縦画像サイズ変化の周波数分布を示す図である。
【図１１】対象物が平面物である場合の縦画像サイズの時間的な変化を示す図である。
【図１２】図１１に示すように縦画像サイズが変化した場合の縦画像サイズ変化の周波数分布を示す図である。
【図１３】本発明を適用した第２実施形態に係る障害物検出装置の処理手順を示すフローチャートである。
【符号の説明】
１カメラ
２カメラ駆動部
３制御処理部
４メモリ
５ディスプレイ
６警報装置
１１ＣＣＤ撮像素子
１２立体物
１３平面物
２１車両
２２対象物[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an obstacle detection apparatus and method that, for example, captures an object existing in front of a vehicle and identifies whether the object is a three-dimensional object or a planar object.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an obstacle detection device that detects an obstacle existing in front of a vehicle by mounting a camera on the vehicle is known.
[0003]
In this obstacle detection device, it is necessary to identify whether the object is a three-dimensional object or a planar object in order to determine whether or not the imaged object is an obstacle. As a technique for identifying whether a captured object is a three-dimensional object or a planar object, there is a technique for identifying by image processing using only one imaging camera, and a technique using a plurality of imaging cameras; In comparison, there are many advantages such as cost and processing load.
[0004]
As an obstacle detection apparatus for identifying whether an object imaged using one imaging camera is a three-dimensional object or a planar object, it is effective when detecting a moving object on a road. , T1 performs pattern matching on all images. Such an obstacle detection apparatus has a problem that it takes a long time to extract an object that has a large amount of processing and becomes an obstacle.
[0005]
On the other hand, as another obstacle detection device, for example, there is one described in JP-A-10-222679. This obstacle detection device converts an image captured at times T0 and T1 into a planar image, calculates a predicted planar image at time T1 from the planar image at time T0 and the vehicle travel distance between times T0 and T1, and performs this prediction. By comparing the planar image with the planar image at time T1, it is possible to quickly identify whether the object is a three-dimensional object or a planar object, that is, an obstacle.
[0006]
In other words, in this obstacle detection device, it is possible to identify whether the object is a three-dimensional object or a planar object by using two images captured from different viewpoints, and the two images are on the same plane (road surface). By projecting and correcting the parallax distance, it is not necessary to search the corresponding coordinates of the object between images, and it is possible to quickly identify whether the object is a three-dimensional object or a planar object.
[0007]
[Problems to be solved by the invention]
However, in such a conventional technique, since two images taken at different times are compared, if a change in vehicle behavior such as a pitching angle occurs between them, it is necessary to correct it. Therefore, conventionally, various sensors for measuring the behavior of the host vehicle are required, which increases the cost.
[0008]
In addition, the vehicle behavior can be calculated from two images instead of various sensors for measuring the behavior of the host vehicle, but this is disadvantageous in terms of processing speed because the burden of image processing increases.
[0009]
Therefore, the present invention has been proposed in view of the above-described circumstances, and an obstacle detection apparatus and method that can accurately identify whether a three-dimensional object or a planar object even when a vehicle behavior such as pitching occurs. Is to provide.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problem, in the obstacle detection device according to claim 1, an imaging unit that is mounted on a vehicle and captures an image of the front of the host vehicle to generate a captured image, and the imaging unit is moved up and down. A viewpoint moving means for moving an imaging viewpoint of the imaging means, an object detection means for detecting an object from a captured image generated by the imaging means, and a vertical image size of the object detected by the object detection means The object feature amount calculating means for calculating the feature amount of the object, the object identifying means for identifying the object detected by the object detecting means between the image frames, and the object identifying means Detecting a change in the vertical image size of the target object calculated by the target object feature amount calculating unit with respect to a viewpoint change of the imaging unit by the viewpoint moving unit using a plurality of captured images including the target object, versus Things and a object identification means for identifying whether a solid object or planar articles.
[0011]
The obstacle detection device according to claim 2 is the obstacle detection device according to claim 1, wherein the viewpoint of the imaging unit is periodically moved in the vertical direction at a specific frequency by the viewpoint movement unit. The object identifying means extracts the frequency component that causes the viewpoint moving means to move the viewpoint of the imaging means from the frequency components of the vertical image size change, and identifies whether the object is a three-dimensional object or a planar object. It is characterized by doing.
[0012]
The obstacle detection device according to claim 3 is the obstacle detection device according to claim 2, wherein the specific frequency is set to a frequency band different from a frequency band based on a behavior while the vehicle is running. To do.
[0013]
The obstacle detection device according to claim 4 is the obstacle detection device according to any one of claims 1 to 3, wherein when the object is a flat object by the object identification unit, a vertical image is displayed. When the size changes according to the viewpoint change and the object is a three-dimensional object, it is detected that the vertical image size does not change according to the viewpoint change.
[0014]
In order to solve the above-described problem, in the obstacle detection method according to claim 5, after the viewpoint position of the imaging camera is set to the first position and the first captured image is generated by the imaging camera, The viewpoint position is moved up and down from the first position and set to the second position, the second captured image is generated by the imaging camera, and the vertical direction of the same object included in the first captured image and the second captured image is generated. The image size is detected as the feature amount of the object, and the change of the vertical image size of the object due to the viewpoint movement from the first position to the second position is detected to identify whether the object is a three-dimensional object or a planar object To do.
[0015]
The obstacle detection method according to claim 6 is the obstacle detection method according to claim 5, wherein a plurality of captured images are captured by the imaging camera while periodically moving the viewpoint vertically in a specific frequency. The specific frequency is extracted from the frequency components of the vertical image size change of the same object included in the plurality of captured images to identify whether the object is a three-dimensional object or a planar object. .
[0016]
The obstacle detection method according to claim 7 is the obstacle detection method according to claim 6, wherein the specific frequency is set to a frequency band different from a frequency band based on a behavior while the vehicle is running. To do.
[0017]
The obstacle detection method according to claim 8 is the obstacle detection method according to any one of claims 5 to 7, wherein the vertical image size is changed according to a viewpoint change when the object is a flat object. When the object is a three-dimensional object, it is detected that the vertical image size does not change according to the viewpoint change.
[0018]
【The invention's effect】
According to the obstacle detection device according to claim 1, when detecting an obstacle existing in front of the vehicle, the viewpoint of the imaging unit is used by using a plurality of captured images including the object identified by the object identification unit. Since the change in the vertical image size of the object relative to the change is detected and whether the object is a three-dimensional object or a planar object is identified, for example, even when a vehicle behavior change such as pitching occurs, It is possible to accurately determine whether the object is an obstacle, and it is possible to accurately identify whether the object is an obstacle.
[0019]
According to the obstacle detection device of the second aspect, when the viewpoint of the imaging unit is periodically moved in the vertical direction at a specific frequency by the viewpoint moving unit, the frequency of the vertical image size change by the object identification unit. The frequency component that moves the viewpoint of the image pickup means is extracted from the components to identify whether the object is a three-dimensional object or a flat object. Even when the change occurs, it is possible to accurately determine whether the object is a three-dimensional object, and to detect an obstacle ahead of the vehicle more accurately.
[0020]
According to the obstacle detection device of the third aspect, since the frequency for moving the imaging viewpoint is set to a frequency band different from the frequency band based on the behavior while the vehicle is traveling, the vertical image size is changed due to the position change when the vehicle is traveling. It is possible to accurately detect an obstacle when it changes.
[0021]
According to the obstacle detection apparatus of the fourth aspect, when the object is a plane object, the object image identifying unit changes the vertical image size according to the viewpoint change, and the object is a solid object. Since the obstacle detection is performed using the fact that the vertical image size does not change according to the viewpoint change, the effects of claims 1 to 3 can be realized.
[0022]
According to the obstacle detection method of the fifth aspect, after setting the viewpoint position of the imaging camera to the first position and generating the first captured image by the imaging camera, the viewpoint position of the imaging camera is moved in the vertical direction from the first position. The second position is set to the second position, a second captured image is generated by the imaging camera, and the change in the vertical image size of the target object due to the viewpoint movement from the first position to the second position is detected. Is a three-dimensional object or a planar object. For example, even if a vehicle position change such as pitching occurs, it is possible to accurately determine whether the object is a three-dimensional object or a planar object. Whether or not can be accurately identified.
[0023]
According to the obstacle detection method according to claim 6, a plurality of captured images are captured by the imaging camera while periodically moving the viewpoint vertically at a specific frequency, and the same object included in the plurality of captured images Since the same frequency as the frequency that moves the viewpoint up and down is extracted as a specific frequency from the frequency components of the vertical image size change, the object is identified as a three-dimensional object or a planar object. Even when the vertical image size changes due to a change in position when the vehicle is traveling with an object, it is possible to accurately determine whether or not the object is a three-dimensional object and to detect an obstacle ahead of the vehicle more accurately.
[0024]
According to the obstacle detection method of the seventh aspect, since the specific frequency is set to a frequency band different from the frequency band based on the behavior while the vehicle is running, the vertical image size changes due to the position change during the vehicle running. It is possible to accurately detect an obstacle.
[0025]
According to the obstacle detection method according to claim 8, when the object is a flat object, the vertical image size changes according to the viewpoint change, and when the object is a three-dimensional object, the vertical image size is the viewpoint. Since the fact that it does not change according to the change is used, the effects of claims 5 to 7 can be realized.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0027]
The present invention is applied to the obstacle detection apparatus according to the first and second embodiments described below.
[0028]
[First Embodiment]
“Configuration of Obstacle Detection Device According to First Embodiment”
As shown in the block diagram of the obstacle detection device according to the first embodiment, a camera 1, a camera driving unit 2, a control processing unit 3, a memory 4, a display 5, and an alarm device 6 are mounted on a vehicle. Configured.
[0029]
The camera 1 is provided in the front part of the vehicle, and, for example, images the front of the vehicle with a CCD (Charge Coupled Device) image sensor to generate image data. The camera 1 generates image data, for example, every predetermined time and sends it to the control processing unit 3 when the vehicle travels. The camera 1 is attached to a vertical movement mechanism (not shown). Thereby, the camera 1 is installed so that a movement in an up-down direction is possible.
[0030]
The camera drive unit 2 is configured by an actuator or the like, and moves the camera 1 attached to the vertical movement mechanism in the vertical direction according to the control of the control processing unit 3 when the vehicle is traveling, for example. Thereby, the camera drive part 2 moves the imaging viewpoint of the camera 1 to an up-down direction.
[0031]
The display 5 is composed of a liquid crystal display or the like disposed at a position that can be visually recognized by the vehicle driver. The display 5 displays obstacles and the like based on the output result from the control processing unit 3. Thereby, the display 5 notifies the vehicle driver of the presence of an obstacle.
[0032]
The alarm device 6 includes a sound emission mechanism, for example, and issues an alarm such as a vehicle collision based on an output result from the control processing unit 3.
[0033]
The control processing unit 3 performs image processing on the image data captured by the camera 1 and performs obstacle detection processing for detecting a three-dimensional object that may become an obstacle. At this time, the control processing unit 3 uses the memory 4 as a work area. The control processing unit 3 controls the operations of the display 5 and the alarm device 6 by sending the processing result to the display 5 and the alarm device 6 when a three-dimensional object is detected by the obstacle detection process.
[0034]
When performing the obstacle detection process, the control processing unit 3 performs the object identification process between the plurality of image frames, acquires the vertical image size information of the object identified over the plurality of image frames, and stores the memory 4 Save to.
[0035]
Then, when a certain amount of vertical image size information is held, the control processing unit 3 reads all the vertical image size information from the memory 4 and identifies whether the object is a three-dimensional object or a planar object. When the control processing unit 3 determines that the object is a three-dimensional object, that is, an obstacle, the control processing unit 3 processes the image data input from the camera 1 to calculate the distance to the obstacle, and the display 5 and the alarm device 6 warn. To emit.
[0036]
The details of the obstacle detection process will be described later.
[0037]
Next, the principle of identifying whether the target object is a three-dimensional object or a planar object by the control processing unit 3 in the above-described obstacle detection device will be described.
[0038]
2 and 3 show examples when a three-dimensional object is imaged. Here, the vertical image size of the object is the length in the vertical direction in which the object is projected onto the imaging surface of the CCD image sensor 11 as shown in FIG. The change in the vertical image size is proportional to the change in the angle θt (hereinafter referred to as the object projection angle) to the projection image of the object viewed from the focal point.
[0039]
FIG. 3 shows the relationship between the camera installation height hs and the vertical image size of the three-dimensional object. According to FIG. 3, when the three-dimensional object 12 having a three-dimensional object height ht located at a distance L from the camera installation height hs is imaged, the object projection angle θt is expressed as
θt = tan ^-1 (Hs / L) -tan ^-1 ((Hs−ht) / L) (Formula 1)
It can be expressed as. Further, when imaging an obstacle ahead of the camera 1, L >> hs, and the approximate expression tan θ = θ can be applied, and the above expression 1 is expressed by the following expression 2,
θt = ht / L (Formula 2)
It can be expressed as. According to Equation 2, when the three-dimensional object 12 is imaged, the object projection angle θt does not depend on the camera installation height hs, and therefore the vertical image size on which the object is projected even if the camera installation height hs changes. You can see that it does n’t change.
[0040]
On the other hand, the example at the time of imaging the plane object 13 is shown by FIG. Similarly, the relationship between the camera installation height hs and the vertical image size of the plane object 13 will be described. Specifically, when a plane object 13 having a length of lt located at a position separated from the camera installation height hs by a distance L is imaged, the object projection angle θt is expressed by the following equation 3.
θt = tan ^-1 (hs / (L-lt / 2))-tan ^-1 (hs / (L + lt / 2)) (Formula 3)
It can be expressed as. Further, for the same reason as when imaging the three-dimensional object 12 (L >> hs), the approximate expression tan θ = θ can be applied, and the above expression 3 is expressed by the following expression 4,
θt = hs · dt / (L ² -Dt ² / 4) (Formula 4)
It can be expressed as. From Expression 4, when the plane object 13 is imaged, the object projection angle θt changes depending on the camera installation height hs, and accordingly, when the camera installation height hs changes, the vertical image size on which the object is projected is changed. Change.
[0041]
That is, as shown in FIG. 5, when the object 22 is imaged with the viewpoint position of the camera 1 set to the upper viewpoint position hs1 of the vehicle 21, the three-dimensional object has a vertical image size Hsu as shown in FIG. A flat object has a vertical image size Hpu as shown in FIG. On the other hand, when the camera 1 is imaged at the lower viewpoint position hs2 of the vehicle 21, the vertical image size Hsl as shown in FIG. 6C is obtained for a three-dimensional object, and the image shown in FIG. The vertical image size is Hpl.
[0042]
As described above, when the object 22 is a three-dimensional object, the vertical image size does not change even if the camera 1 is moved in the vertical direction, but when the object 22 is a flat object, the viewpoint is moved in the vertical direction. When it is made to change, it changes between vertical image size Hpu and vertical image size Hpl. Utilizing this, the vertical image size does not change when a three-dimensional object is imaged, and the vertical image size changes when a plane object is imaged by performing the calculations of Equations 2 and 4 above. It is determined whether the object located in front of the vehicle is a three-dimensional object or a planar object using a change in the vertical image size according to the situation.
[0043]
“Processing by Obstacle Detection Device According to First Embodiment”
Next, a processing procedure when the front of the vehicle is detected by the obstacle detection device as described above will be described with reference to FIG.
[0044]
The obstacle detection device is activated, for example, when the engine of the vehicle is started, proceeds to step S1, moves the position of the camera 1 to a predetermined initial position by the camera driving unit 2, and performs the process in step S2. Proceed. In step S2, the front of the vehicle is imaged by the camera 1 and first image data is acquired and sent to the control processing unit 3. The first processing unit 3 transfers the first image data to the memory 4 and advances the process to step S3. .
[0045]
In step S <b> 3, the control processing unit 3 performs processing for detecting an object from the first image data transferred to the memory 4. At this time, the control processing unit 3 performs edge detection processing, detects an image region surrounded by two vertical edges and two horizontal edges as a first object, and performs the process in step S4. Proceed.
[0046]
In step S4, the control processing unit 3 calculates the feature amount of the detected first object. At this time, the control processing unit 3 calculates the number of pixels between the vertical edges positioned between the two horizontal edges representing the target object as the vertical pixel size, and advances the process to step S5.
[0047]
In step S5, the camera drive unit 2 moves the camera 1 in the vertical direction to change the viewpoint of the camera 1 and proceed to step S6. The second image data after the viewpoint change is acquired and the memory is acquired. Forward to 4. Thereby, the second image data of the image frame delayed in time from the first image data is acquired. At this time, the camera drive unit 2 moves the camera 1 itself downward, for example.
[0048]
In the next step S7, the control processing unit 3 uses the second image data to perform the same process as in step S3, thereby detecting the second object and proceeds to step S8, and performs the same process as in step S4. The vertical pixel size for the second image data is calculated by using the second object.
[0049]
In the next step S9, the control processing unit 3 identifies the first object detected in step S3 and the second object detected in step S7 as the same object. At this time, the control processing unit 3 corrects the second image data based on the movement amount of the camera 1 in step S5, and sets the objects having the closest positions in the image of the objects as the same object.
[0050]
In the next step S10, the control processor 3 compares the vertical image size of the object identified in step S9, and the vertical image size of the object in the first image data and the object in the second image data. It is determined whether or not the vertical image size of the object matches. If they match, the process proceeds to step S11, and if they do not match, the process proceeds to step S12.
[0051]
In step S11, the control processing unit 3 determines that there is an obstacle ahead of the vehicle from the determination result in step S10, proceeds to step S13, calculates the distance between the vehicle and the obstacle, and calculates the distance to the obstacle. Is less than or equal to a predetermined value, the display 5 and the alarm device 6 are driven to output an alarm. On the other hand, in step S12, the control processing unit 3 terminates the process because the object present ahead of the vehicle is a flat object and not an obstacle based on the determination result in step S10.
[0052]
“Effect of the first embodiment”
As described above in detail, according to the obstacle detection device according to the first embodiment, the viewpoint position of the camera 1 is mechanically changed in the vertical direction, and the vertical image size change due to the viewpoint change is used to make a three-dimensional view. Since the object or plane object is identified, it is possible to accurately determine whether the target object is a three-dimensional object or a planar object even when a change in the position of the vehicle such as pitching occurs, that is, an obstacle. Whether or not can be accurately identified.
[0053]
[Second Embodiment]
Next, an obstacle detection apparatus according to a second embodiment to which the present invention is applied will be described. In the following description, the same parts as those in the first embodiment described above are denoted by the same reference numerals and step numbers, and detailed description thereof is omitted.
[0054]
“Configuration of Obstacle Detection Device According to Second Embodiment”
As shown in FIG. 8, the obstacle detection apparatus according to the second embodiment is the first embodiment in that the control processing unit 3 controls the moving frequency at which the camera driving unit 2 drives the camera 1 in the vertical direction. Different from the obstacle detection device according to the embodiment. This moving frequency is a frequency calculated from the behavior range of the host vehicle, and is set to a frequency band different from noise due to pitching while the vehicle is running, for example.
[0055]
In such an obstacle detection apparatus, when the camera driving unit 2 is controlled to drive the camera 1 at the moving frequency f, when the object is a three-dimensional object, as shown in FIG. 9, the vertical image size gradually increases. The vertical image size gradually decreases. As shown in FIG. 10, the frequency distribution of the temporal change in the vertical image size is such that the single frequency f1 is detected by the control processing unit 3 and the moving frequency f of the camera 1 is not detected. This frequency f1 appears due to noise during vehicle traveling on the lower frequency side than the moving frequency f for driving the camera 1, and is not a change in the vertical image size due to driving of the camera 1. 3 can be recognized.
[0056]
On the other hand, when the object is a flat object, the vertical image size changes in a cycle of the reciprocal of the moving frequency f as shown in FIG. In such a frequency distribution of the temporal change in the vertical image size, the moving frequency f is detected by the control processing unit 3 in addition to the frequency f1, as shown in FIG.
[0057]
As described above, in the obstacle detection device, the vertical image size change due to the camera movement is observed by controlling the camera driving unit 2 and moving the camera 1 in the vertical direction at the moving frequency f to observe the vertical image size change. measure.
[0058]
“Processing by Obstacle Detection Device According to Second Embodiment”
Next, a processing procedure when the front of the vehicle is detected by the obstacle detection device as described above will be described with reference to FIG.
[0059]
The obstacle detection device is activated, for example, when the engine of the vehicle is started, proceeds to step S31, sets the moving frequency of the camera 1, and proceeds to step S32. At this time, the control processing unit 3 outputs a control signal for setting the moving frequency to the camera driving unit 2 and causes the camera driving unit 2 to start moving the camera 1 in the vertical direction at the moving frequency.
[0060]
In step S32, the camera 1 acquires two images of the first image data captured at the upper side and the second image data captured at the lower side, which are temporally mixed. Then, the first image data and the second image data are stored in the memory 4, and the process proceeds to step S <b> 33, the edge detection process is performed on the first image data and the second image data by the control processing unit 3, and The first object and the second object are detected from the direction edge and the horizontal edge, and the process proceeds to step S34 to calculate the vertical image sizes of the first object and the second object. In the next step S35, the control processing unit 3 performs the same processing as in step S9, and performs the first object and the second object included in the first image data and the second image data that are temporally changed. The identification process is performed, and the process proceeds to step S36.
[0061]
In step S36, the control processing unit 3 determines whether or not it is possible to identify whether the identified object is a three-dimensional object. When it is determined that the identified object is not distinguishable, the control processing unit 3 returns the process to step S32 to identify the object. If it is determined that it is possible, the process proceeds to step S37. At this time, the control processing unit 3 enables identification when the number of times of identification in step S35 is twice or more the driving cycle of the camera 1. That is, after repeating the process of step S32 to step S36 until the number of identifications reaches a predetermined number, the process proceeds to step S37.
[0062]
In step S37, the frequency component of the vertical image size change due to the viewpoint movement of the camera 1 is extracted, and the process proceeds to step S38. At this time, the control processing unit 3 performs frequency analysis using temporal changes in the vertical image sizes of the first object and the second object, and extracts only the vertical image size change component of the moving frequency f.
[0063]
In step S38, the control processing unit 3 determines whether or not the vertical image size change has a predetermined number of pixels (for example, 1 pixel or more) based on the size of the extracted frequency component of the vertical image size change. If the vertical image size change is not equal to or greater than the predetermined number of pixels and the vertical image size of the first object matches the vertical image size of the second object, the process proceeds to step S11, and the vertical image size change is determined to be the predetermined number of pixels. If the vertical image size of the first object does not match the vertical image size of the second object, the process proceeds to step S12.
[0064]
“Effects of Second Embodiment”
As described above in detail, according to the obstacle detection device according to the second embodiment, the viewpoint of the camera 1 is moved at the moving frequency, and the vertical image size change in the frequency band is extracted to obtain a three-dimensional object or a planar object. Therefore, even if the target object is a three-dimensional object and the vertical image size changes due to a change in position when the vehicle travels, it is determined whether or not the object is a three-dimensional object. Obstacles ahead of the vehicle can be detected.
[0065]
The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an obstacle detection apparatus according to a first embodiment to which the present invention is applied.
FIG. 2 is a diagram for explaining an object projection angle θt when an object is projected onto a CCD image sensor of a camera.
FIG. 3 is a diagram for explaining an object projection angle when a three-dimensional object is imaged.
FIG. 4 is a diagram for explaining an object projection angle when a plane object is imaged.
FIG. 5 is a schematic diagram for explaining a viewpoint change when a camera mounted on a vehicle is changed up and down.
6A and 6B are diagrams for explaining the vertical image size when the viewpoint is changed in the vertical direction. FIG. 6A is an image when a three-dimensional object is imaged from an upper viewpoint, and FIG. (C) shows an image when a three-dimensional object is imaged from a lower viewpoint, and (d) shows an image when a flat object is imaged from an upper viewpoint.
FIG. 7 is a flowchart showing a processing procedure of the obstacle detection apparatus according to the first embodiment to which the present invention is applied.
FIG. 8 is a block diagram showing a configuration of an obstacle detection apparatus according to the first embodiment to which the present invention is applied.
FIG. 9 is a diagram illustrating a temporal change in the vertical image size when the object is a three-dimensional object.
FIG. 10 is a diagram illustrating a frequency distribution of a change in vertical image size when the vertical image size changes as shown in FIG.
FIG. 11 is a diagram illustrating a temporal change in the vertical image size when the object is a flat object.
12 is a diagram showing a frequency distribution of a change in vertical image size when the vertical image size changes as shown in FIG.
FIG. 13 is a flowchart showing a processing procedure of the obstacle detection apparatus according to the second embodiment to which the present invention is applied.
[Explanation of symbols]
1 Camera
2 Camera drive unit
3 Control processing section
4 memory
5 display
6 Alarm device
11 CCD image sensor
12 Solid objects
13 Plane objects
21 Vehicle
22 Object

Claims

An imaging means mounted on the vehicle and imaging the front of the host vehicle to generate a captured image;
Viewpoint moving means for moving the imaging means up and down and moving the imaging viewpoint of the imaging means;
Object detection means for detecting an object from a captured image generated by the imaging means;
An object feature amount calculating means for calculating a vertical image size of the object detected by the object detecting means as a feature amount of the object;
An object identifying means for identifying between the image frames of the object detected by the object detecting means;
Using a plurality of captured images including the object identified by the object identifying means, the vertical direction of the object calculated by the object feature amount calculating means with respect to the viewpoint change of the imaging means by the viewpoint moving means. An obstacle detection apparatus comprising: an object identification unit that detects a change in image size and identifies whether the object is a three-dimensional object or a planar object.

The viewpoint moving means moves the viewpoint of the imaging means periodically in a vertical direction at a specific frequency,
The object identifying means extracts a frequency component by which the viewpoint moving means moves the viewpoint of the imaging means from frequency components of a vertical image size change, and identifies whether the object is a three-dimensional object or a planar object. The obstacle detection device according to claim 1.

The obstacle detection apparatus according to claim 2, wherein the specific frequency is a frequency band different from a frequency band based on a behavior during traveling of the vehicle.

When the object is a plane object, the object identification means changes the vertical image size according to a viewpoint change, and when the object is a three-dimensional object, the vertical image size does not change according to a viewpoint change. The obstacle detection device according to any one of claims 1 to 3, wherein the obstacle detection device detects this.

After setting the viewpoint position of the imaging camera to the first position and generating the first captured image by the imaging camera, the viewpoint position of the imaging camera is moved up and down from the first position and set to the second position. A second captured image is generated by the imaging camera,
The vertical image size of the target object included in the first captured image and the second captured image is detected as the feature amount of the target object, and the change in the vertical image size of the target object due to the viewpoint movement from the first position to the second position is detected. Detect
An obstacle detection method for identifying whether a target object is a three-dimensional object or a flat object.

Taking a plurality of captured images with the imaging camera while periodically moving the viewpoint vertically at a specific frequency,
The specific frequency is extracted from the frequency components of the vertical image size change of the same object included in the plurality of captured images, and it is identified whether the object is a three-dimensional object or a planar object. Item 6. The obstacle detection method according to Item 5.

The obstacle detection method according to claim 6, wherein the specific frequency is set to a frequency band different from a frequency band based on a behavior during traveling of the vehicle.

When the object is a flat object, the vertical image size changes according to the viewpoint change, and when the object is a three-dimensional object, it is detected that the vertical image size does not change according to the viewpoint change. The obstacle detection method according to any one of claims 5 to 7.