JP2018185694A - 移動物体判定装置、及び移動物体判定プログラム - Google Patents

Abstract

【課題】自車両と周囲の物体の位置関係に関わらずに、撮影した画像に含まれる物体が移動体か否かを精度よく判定する。【解決手段】移動物体判定装置１は、画像から特徴点９を抽出する画像特徴抽出部２０と、抽出した特徴点９を示すオプティカルフローを特徴点９毎に算出する第１オプティカルフロー算出部３０と、自車両８の走行軌跡を算出する車両軌跡算出部５０と、オプティカルフロー及び自車両８の走行軌跡から空間特徴点１４を特徴点９毎に算出する特徴点３次元位置算出部６０と、自車両８の走行軌跡及び空間特徴点１４を用いて、特徴点９に対応した空間特徴点１４のオプティカルフローを特徴点９毎に算出する第２オプティカルフロー算出部７０と、特徴点９を示すオプティカルフローと空間特徴点９のオプティカルフローとを比較して、抽出したオプティカルフローが移動物体のオプティカルフローか否かを判定する移動物体判定部８０を備える。【選択図】図１

Description

本発明は、移動物体判定装置、及び移動物体判定プログラムに関する。

従来から対象物をカメラで撮影し、撮影した画像に含まれる対象物が移動物体であるか静止物体であるかを判定する手法が提案されている（例えば特許文献１参照）。

特開２０１０−２８６９６３号公報

特許文献１に記載の移動物体検出装置では、画像の路面に相当する最下部の所定領域に含まれる特徴点を、路面構造に属する基準特徴点として選出し、選出した基準特徴点に基づいて自車両の基準姿勢変化量を算出する。そして、画像内の基準特徴点を除いた残りの特徴点の中から、任意の特徴点を比較特徴点として選出し、選出した比較特徴点に基づいて自車両の比較姿勢変化量を算出する。移動物体検出装置は、基準姿勢変化量と比較姿勢変化量を３次元座標にマッピングし、基準姿勢変化量の座標位置と比較姿勢変化量の座標位置が距離ｒ以上離れている場合に、比較姿勢変化量の算出に用いた比較特徴点が移動物体に付随する特徴点と判定する。

しかしながら、特許文献１に記載の移動物体検出装置では、画像の決められた範囲を路面に相当する領域に設定するため、状況によっては設定した領域が必ずしも路面でないことがある。例えば自車両の前方にカメラを取り付けている場合、前方を走行している車両が自車両に近づくと、撮影した画像の最下部の所定領域には前方を走行している車両が映っていることがある。この場合、所定領域から選出した基準特徴点は静止物体の特徴点ではないことから、静止物体から基準特徴点を選出するという判定手法の前提条件が満たされないことになる。したがって、特許文献１に記載の移動物体検出装置では、移動物体を検出することが困難になる。

また、カメラの取り付け位置及び使用するカメラの解像度によっては、路面の特徴点を精度よく選出することが困難になることがある。仮に、路面の特徴点を精度よく選出することができたとしても、路面という限られた範囲の特徴点では特徴が似ている場合が多く、特徴点のばらつきが少ない場合がある。このように特許文献１に記載の移動物体検出装置は、偏った特徴点の分布を用いて移動物体を検出するため、自車両の基準姿勢変化量を精度よく算出することができない場合がある。また、自車両の基準姿勢変化量が精度よく算出できなければ、移動物体の検出精度も低下してしまう。

本発明は、上記に示した問題点を鑑みてなされたものであり、自車両と周囲の物体の位置関係に関わらずに、撮影した画像に含まれる物体が移動物体か否かを精度よく判定する移動物体判定装置を提供することを目的とする。

上記の目的を達成するために、請求項１に記載の移動物体判定装置は、移動体に取り付けられた撮影装置で時系列に沿って撮影された各々の画像から特徴点を抽出する抽出部と、前記抽出部で抽出された特徴点のうち、前記各々の画像において対応する特徴点を追跡し、追跡した特徴点の位置の時系列を特徴点毎に算出する第１の算出部と、前記移動体の移動速度及び運動に関する物理量を用いて、前記移動体の走行軌跡を算出する第２の算出部と、前記第１の算出部で算出した特徴点の位置の時系列と、前記第２の算出部で算出した前記移動体の走行軌跡とを用いて、抽出した特徴点の３次元空間における位置を特徴点毎に算出する第３の算出部と、前記第２の算出部で算出した前記移動体の走行軌跡と、前記第３の算出部で算出した前記３次元空間における特徴点を表す空間特徴点の位置とを用いて、前記空間特徴点の前記各々の画像における位置を算出し、前記各々の画像で表される前記空間特徴点に対応した特徴点の位置の時系列を、前記空間特徴点に対応する特徴点毎に算出する第４の算出部と、前記第１の算出部で算出した特徴点の位置の時系列と、当該特徴点に対応する前記第４の算出部で算出した前記空間特徴点の位置の時系列とを比較して、特徴点が表す物体が移動物体か否かを特徴点毎に判定する判定部と、を備える。

請求項２に記載の発明では、前記各々の画像から移動物体領域を検出する検出部を備え、前記判定部は、移動物体を表すと判定した特徴点のうち、前記検出部で前記各々の画像から検出された前記移動物体領域の何れにも含まれない特徴点は、移動物体を表す特徴点ではないと再判定する。

請求項３に記載の発明では、前記各々の画像における何れかの画像から移動物体領域を検出する検出部を備え、前記判定部は、前記検出部で検出された前記移動物体領域毎に、前記移動物体領域に含まれる特徴点に対する移動物体を表す特徴点の割合を算出し、前記割合が予め定めた割合未満となる前記移動物体領域に含まれる特徴点は、移動物体を表す特徴点ではないと再判定すると共に、前記割合が予め定めた割合以上となる前記移動物体領域に含まれる特徴点は、移動物体を表す特徴点であると再判定する。

請求項４に記載の発明では、前記判定部は、過去に前記移動物体領域を表すと判定されたことがある特徴点は、移動物体を表す特徴点であると判定する。

請求項５に記載の発明では、前記判定部は、前記移動体の運動に関する物理量の変動度合いが予め定めた閾値より大きい場合、特徴点の位置の時系列として、前回の判定で得られた特徴点の位置の時系列を用いて、特徴点が表す物体が移動物体か否かを特徴点毎に判定する。

請求項６に記載の発明では、前記判定部は、前記第１の算出部で算出した特徴点の位置の時系列と、当該特徴点に対応する前記第４の算出部で算出した前記空間特徴点の位置の時系列との距離を用いて、特徴点が表す物体が移動物体か否かを特徴点毎に判定する。

請求項７に記載の移動物体判定プログラムは、コンピュータを、移動体に取り付けられた撮影装置で時系列に沿って撮影された各々の画像から特徴点を抽出する抽出部と、前記抽出部で抽出された特徴点のうち、前記各々の画像において対応する特徴点を追跡し、追跡した特徴点の位置の時系列を特徴点毎に算出する第１の算出部と、前記移動体の移動速度及び移動方向に関する物理量を用いて、前記移動体の走行軌跡を算出する第２の算出部と、前記第１の算出部で算出した特徴点の位置の時系列と、前記第２の算出部で算出した前記移動体の走行軌跡とを用いて、抽出した特徴点の３次元空間における位置を特徴点毎に算出する第３の算出部と、前記第２の算出部で算出した前記移動体の走行軌跡と、前記第３の算出部で算出した前記３次元空間における特徴点を表す空間特徴点の位置とを用いて、前記空間特徴点の前記各々の画像における位置を算出し、前記各々の画像で表される前記空間特徴点に対応した特徴点の位置の時系列を、前記空間特徴点に対応する特徴点毎に算出する第４の算出部と、前記第１の算出部で算出した特徴点の位置の時系列と、当該特徴点に対応する前記第４の算出部で算出した前記空間特徴点の位置の時系列とを比較して、特徴点が表す物体が移動物体か否かを特徴点毎に判定する判定部として機能させる。

本発明によれば、自車両と周囲の物体の位置関係に関わらずに、撮影した画像に含まれる物体が移動物体か否かを精度よく判定することができる、という効果を奏する。

第１実施形態に係る移動物体判定装置の構成例を示す図である。 特徴点の３次元位置の算出方法について説明した模式図である。 特徴点の再投影について説明した模式図である。 移動体の軌跡の判定方法を説明した模式図である。 移動物体判定装置の電気系統の要部構成例を示す図である。 第１実施形態に係る移動物体判定処理の流れの一例を示すフローチャートである。 オプティカルフローの一例を示す図である。 移動物体の判定結果の一例を示す図である。 第２実施形態に係る移動物体判定装置の構成例を示す図である。 第２実施形態に係る移動物体判定処理の流れの一例を示すフローチャートである。 車両画像領域の一例を示す図である。 移動物体の判定結果の一例を示す図である。 第３実施形態に係る移動物体判定装置の構成例を示す図である。 第３実施形態に係る移動物体判定処理の流れの一例を示すフローチャートである。 第４実施形態に係る移動物体判定装置の構成例を示す図である。 第４実施形態に係る移動物体判定処理の流れの一例を示すフローチャートである。 移動車両領域判定処理の流れの一例を示すフローチャートである。 車両画像領域の判定結果の一例を示す図である。 移動物体の判定結果の一例を示す図である。

以下、本実施の形態について図面を参照しながら説明する。なお、機能が同じ構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を省略する。

＜第１実施形態＞
図１は、第１実施形態に係る移動物体判定装置１の構成例を示す図である。図１に示すように、移動物体判定装置１は、画像情報取得部１０、画像特徴抽出部２０、第１オプティカルフロー算出部３０、ＩＭＵ情報取得部４０、及び車両軌跡算出部５０を含む。更に、移動物体判定装置１は、特徴点３次元位置算出部６０、第２オプティカルフロー算出部７０、及び移動物体判定部８０を含む。

画像情報取得部１０は、移動物体判定装置１が搭載された車両（以降、「自車両」という場合がある）に取り付けられた撮影装置の一例である図示しないカメラで撮影された、自車両周辺の画像を取得する。

図示しないカメラは時系列に沿って画像を撮影し、撮影した画像を画像データとして後述するＲＡＭ等の記憶装置に記憶する。なお、画像情報取得部１０が取得する画像の形態は、静止画であっても動画であってもよく、自車両の周囲の画像内容を解析することができれば、可視画像、赤外画像、及び距離画像の何れの画像であってもよい。また、画像情報取得部１０は、自車両に取り付けられた１台のカメラから画像を取得しても、複数のカメラから画像を取得してもよい。

更に、自車両におけるカメラの取り付け位置に制約はなく、例えば車両進行方向、車両進行方向と逆方向、又は自車両を中心とした全方位の画像を撮影する位置にカメラを取り付けることができる。なお、自車両は移動体の一例である。

画像特徴抽出部２０は、画像情報取得部１０で取得した画像の各々から、画像内の他の領域とは異なる特徴的な画素パターンを示す特徴点を複数抽出する。

画像特徴抽出部２０における特徴点の抽出手法には公知の手法が用いられ、適用される特徴点の抽出手法に制約はない。画像特徴抽出部２０は、例えば特徴点の抽出において拡大、回転、及び明るさの変化といった外部要因の影響を除外しようとする内的性質（ロバスト性）を有するSIFT(Scale-Invariant Feature Transform)法、及びSURF(Speed Up Robust Feature)法を用いることができる。また、画像特徴抽出部２０は、他の特徴点の抽出手法に比べて実装が容易なHarris法や、計算量が少ないFAST(Features from Accelerated Segment Test)法を用いることができる。

なお、画像特徴抽出部２０は特徴点の抽出に代えて、又は特徴点の抽出と共に、画像の特徴を示す線分（特徴線分）や面（特徴面）を抽出してもよいが、ここでは一例として、画像特徴抽出部２０は特徴点を抽出するものとする。画像特徴抽出部２０は抽出部の一例である。

第１オプティカルフロー算出部３０は、画像特徴抽出部２０で抽出された、自車両の走行に伴って時間と共に移動する各々の特徴点を追跡し、同じ箇所を示す特徴点（対応する特徴点ともいう）の位置の時系列として表されるオプティカルフローを特徴点毎に算出する。対応する特徴点の追跡には、例えばLucas-Kanade法などの公知の手法を用いることができ、特徴点の追跡手法に特に制約はない。第１オプティカルフロー算出部３０は、第１の算出部の一例である。なお、以降では、オプティカルフローを“ＯＦ(Optical Flow)”と省略して表記する場合がある。また、単に「オプティカルフロー」と記載している場合は、画像特徴抽出部２０で抽出された特徴点９を追跡して得られたオプティカルフローを指す。

ＩＭＵ情報取得部４０は、自車両に取り付けられた図示しない車速センサ及びジャイロセンサから、それぞれ自車両の移動速度を表す車速及び自車両の運動を表す角速度を時系列に沿って取得する。

ジャイロセンサは、ピッチ方向、ロール方向、及びヨー方向のそれぞれの角速度を測定する。

ＩＭＵ情報取得部４０による自車両の車速及び角速度の取得間隔に制約はないが、取得間隔を短くするほど自車両の移動状況を詳細に解析することができる。なお、ＩＭＵ情報取得部４０による自車両の車速及び角速度の取得方法についても制約はなく、車速センサ及びジャイロセンサに接続された配線からそれぞれ自車両の車速及び角速度を取得しても、無線を用いて取得してもよい。また、ＩＭＵ情報取得部４０は、車速センサ及びジャイロセンサからそれぞれ自車両の車速及び角速度を直接取得する必要はなく、車速センサ及びジャイロセンサの計測値を蓄積する他の装置（例えばセンサ管理装置）から取得するようにしてもよい。

なお、ＩＭＵはInertial Measurement Unit（慣性計測装置）の略である。

車両軌跡算出部５０は、ＩＭＵ情報取得部４０で取得した自車両の車速及び角速度を用いて、自車両の走行軌跡を算出する。

車速及び角速度の測定間隔をΔｔ、ヨー方向、すなわち方位角方向の角速度をω、ピッチ方向の角速度をψ、時刻ｔにおける方位角をθ^t、時刻ｔにおけるピッチ角をφ^tとすれば、時刻(ｔ＋１)における方位角θ^t+1及びピッチ角φ^t+1はそれぞれ（１）式及び（２）式で表される。

また、時刻(ｔ＋１)における車速をＶ^t+1、時刻ｔにおける自車両の位置をｘ_t＝（Ｘ^t、Ｙ^t、Ｚ^t）とすれば、時刻(ｔ＋１)における自車両の３次元空間（実空間）における位置ｘ_t+1＝（Ｘ^t+1、Ｙ^t+1、Ｚ^t+1）は（４）式で表される。

車両軌跡算出部５０は、（１）式〜（３）式の各式に基づき、各時刻における自車両の位置を逐次算出し、算出した位置を時系列に沿って接続することで、自車両の走行軌跡を算出する。

なお、自車両の方位角θ、ピッチ角φ、及び自車両の位置の初期値は“０”とする。車両軌跡算出部５０は、第２の算出部の一例である。

特徴点３次元位置算出部６０は、第１オプティカルフロー算出部３０で算出した特徴点毎のオプティカルフローと、車両軌跡算出部５０で算出した自車両の走行軌跡を用いて、実空間における特徴点の位置（特徴点の３次元位置）を特徴点毎に算出する。

図２は、特徴点３次元位置算出部６０における特徴点の３次元位置の算出方法について説明した模式図である。なお、特徴点３次元位置算出部６０は特徴点毎に特徴点の３次元位置を算出するが、図２では１つの特徴点に注目して特徴点の３次元位置の算出方法を説明している。また、図２では時刻ｔ_１〜ｔ_４におけるオプティカルフローと自車両の走行軌跡を用いているが、特徴点の３次元位置の算出に用いる時刻の範囲は一例であり、４つの時刻ｔ_１〜ｔ_４に限られないことは言うまでもない。

特徴点３次元位置算出部６０は、自車両８の走行軌跡によって表される各時刻ｔ_１〜ｔ_４における自車両８のそれぞれの位置から、オプティカルフローによって位置が表される同じ時刻における画像内の特徴点９を眺めた場合の視線を表す直線１２を、実空間上に各々設定する。そして、実空間に設定した各々の直線１２が最も集中する位置を、オプティカルフローで表される同じ特徴点９の実空間における特徴点位置とする。なお、以降では、特徴点９に対応した実空間上の特徴点を「空間特徴点１４」ということにする。

このように、各時刻の画像に含まれる特徴点９から空間特徴点１４を算出する演算は、「特徴点９の逆投影」と呼ばれる。

時刻ｔにおける自車両８の位置をｘ_t、方位角θ^t、ピッチ角φ^t、ロール角ρ^tで表される時刻ｔにおける自車両８の姿勢を要素とした３次元回転行列をＲ_t、時刻ｔにおける画像内の特徴点ｍの位置をＸ^' _t,m、カメラパラメータをＫとすれば、特徴点ｍに対応する空間特徴点１４の３次元位置Ｘ_ｍは（４）式で表される。

ここで、“Ｉ”は３×３の単位正方行列であり、“ｍ”は複数の特徴点にそれぞれ割り当てられた特徴点のインデックスである。なお、カメラパラメータとは、画像を撮影するカメラの光学特性を表すパラメータであり、例えば焦点距離、画素の大きさ、レンズ収差、及び画像中心等の要素を含む。

また、ロール方向の角速度をξとすれば、時刻(ｔ＋１)におけるロール角ρ^t+1は（５）式で表される。

したがって、（１）式、（２）式及び（５）式から、３次元回転行列Ｒ_tが得られる。特徴点３次元位置算出部６０は、第３の算出部の一例である。

第２オプティカルフロー算出部７０は、車両軌跡算出部５０で算出した自車両８の走行軌跡と、特徴点３次元位置算出部６０で算出した空間特徴点１４の３次元位置を用いて、画像内における空間特徴点１４の位置を各時刻に撮影された画像毎に算出する。そして、第２オプティカルフロー算出部７０は、空間特徴点１４に対応する画像内における特徴点の位置の時系列、すなわち空間特徴点１４のオプティカルフローを空間特徴点１４毎に算出する。

なお、特徴点９に対応する空間特徴点１４の各時刻における画像内の位置を算出する演算は「特徴点９の再投影」と呼ばれる。したがって、各画像内の空間特徴点１４に対応する位置の特徴点を「再投影特徴点１６」ということがある。

図３は、第２オプティカルフロー算出部７０における特徴点９の再投影について説明した模式図である。なお、第２オプティカルフロー算出部７０は特徴点９毎に画像内における再投影特徴点１６の位置を算出するが、図３では１つの特徴点９に対応する空間特徴点１４に注目して特徴点９の再投影について説明している。また、図３では時刻ｔ_１〜ｔ_４における空間特徴点１４のオプティカルフローを算出しているが、空間特徴点１４のオプティカルフローを算出する時刻の範囲は一例であり、時刻ｔ_１〜ｔ_４に限られないことは言うまでもない。ただし、後述する移動物体判定部８０でオプティカルフローと、対応する空間特徴点１４のオプティカルフローとを比較するため、算出する空間特徴点１４のオプティカルフローの範囲を、特徴点３次元位置算出部６０で空間特徴点１４の位置を算出する際に使用した時刻の範囲に合わせることが好ましい。

第２オプティカルフロー算出部７０は、空間特徴点１４から自車両８の走行軌跡によって表される各時刻ｔ_１〜ｔ_４における自車両８の各々の位置に対して直線１２を設定し、直線１２が各時刻ｔ_１〜ｔ_４に撮影された画像と交わる各々の点（投影点）を、各時刻ｔ_１〜ｔ_４における再投影特徴点１６の位置とする。そして、第２オプティカルフロー算出部７０は、各時刻ｔ_１〜ｔ_４における再投影特徴点１６を時系列に沿って追跡することで、空間特徴点１４のオプティカルフローを得る。

なお、インデックスｍで示される空間特徴点１４に対応する時刻ｔにおける再投影特徴点１６の位置Ｘ^'' _t,mは（６）式で表される。

第２オプティカルフロー算出部７０は、第４の算出部の一例である。

移動物体判定部８０は、第１オプティカルフロー算出部３０で算出したオプティカルフローと、第２オプティカルフロー算出部７０で算出した、特徴点９に対応する空間特徴点１４のオプティカルフローを特徴点９毎に比較する。そして、移動物体判定部８０は、第１オプティカルフロー算出部３０で算出したオプティカルフローが、移動物体の軌跡を示しているか否かを特徴点９毎に判定する。

図４は、移動物体判定部８０による移動物体の軌跡の判定方法を説明した模式図である。

図４に示すように、移動物体判定部８０は、各時刻におけるオプティカルフロー２２と特徴点９に対応する空間特徴点１４のオプティカルフロー２４との距離（乖離距離１８）を算出する。

移動物体判定部８０は、算出した乖離距離１８からオプティカルフロー２２と空間特徴点１４のオプティカルフロー２４との乖離度合いを表す乖離指標値を算出し、乖離指標値が予め定めた乖離閾値を越える場合、オプティカルフロー２２が移動物体の軌跡であると判定する。

乖離指標値としては、例えば各時刻における乖離距離１８の分散値、標準偏差、平均値、中央値、最大値、及び最小値等を用いることができるが、これに限られず、他の統計量を用いることができる。また、乖離閾値は、時刻毎の乖離距離１８から算出した乖離指標値がこの値以上である場合に、オプティカルフローが移動物体の軌跡を示しているとみなすことができる値に設定される。乖離閾値は、例えば移動物体判定装置１の実機による実験や移動物体判定装置１の設計仕様に基づくコンピュータシミュレーション等により予め設定される閾値である。なお、移動物体判定部８０は判定部の一例である。

次に、移動物体判定装置１の作用について説明する。上述した移動物体判定装置１は、コンピュータ２を用いて構成することができる。

図５は、移動物体判定装置１の電気系統の要部構成例を示す図である。

移動物体判定装置１は、判定処理を実行するＣＰＵ(Central Processing Unit)２Ａを備える。また、移動物体判定装置１は、各種プログラムや各種パラメータ等が予め記憶されたＲＯＭ(Read Only Memory)２Ｂ、及びＣＰＵ２Ａによるプログラムの実行時のワークエリア等として用いられるＲＡＭ(Random Access Memory)２Ｃを備える。更に、移動物体判定装置１は、コンピュータ２の電源をオフにしてもデータが保持される不揮発性メモリ２Ｄ、及び外部モジュールを接続する入出力インターフェース（Ｉ／Ｏ）２Ｅを備える。

ＣＰＵ２Ａ、ＲＯＭ２Ｂ、ＲＡＭ２Ｃ、不揮発性メモリ２Ｄ、及びＩ／Ｏ２Ｅは互いに内部バス２Ｆで接続され、Ｉ／Ｏ２Ｅには、例えばカメラ３、ＧＰＳ(Global Positioning System)モジュール４、車速センサ５、及びジャイロセンサ６が接続される。

ＧＰＳモジュール４は、複数のＧＰＳから送信されるＧＰＳ電波を受信し、自車両８の位置を緯度及び経度で表す位置測定装置の一例である。

車速センサ５は、例えば自車両８の車軸の回転数を監視して、車軸の回転数から車速を測定する速度測定装置の一例である。

ジャイロセンサ６は、例えば自車両８のピッチ方向、ロール方向、及びヨー方向のそれぞれの角速度を測定する慣性計測装置の一例である。ジャイロセンサ６における角速度の測定方法に制約はなく、機械的な動きを検知して角速度を測定する振動方式であってもよいし、コリオリ力によって発生した変位を静電容量の変位として検知して角速度を測定する静電容量方式であってもよい。

なお、Ｉ／Ｏ２Ｅに接続される外部モジュールは一例であり、カメラ３、ＧＰＳモジュール４、車速センサ５、及びジャイロセンサ６に限定されない。例えばＩ／Ｏ２Ｅに、インターネット等の通信回線に接続して他の外部装置とデータ通信を行う通信装置を接続してもよい。

図６は、移動物体判定装置１での移動物体判定処理の流れの一例を示すフローチャートである。移動物体判定処理を規定する移動物体判定プログラムはＲＯＭ２Ｂに予め記憶されており、例えば移動物体判定装置１の電源がオンされると、ＣＰＵ２Ａが移動物体判定プログラムをＲＯＭ２Ｂから読み出して実行する。その後、ＣＰＵ２Ａは、一定期間経過毎に移動物体判定処理を実行する。

ステップＳ１０において、ＣＰＵ２Ａは、カメラ３を制御して画像の撮影を開始させる。カメラ３で撮影された画像はＲＡＭ２Ｃに記憶されるため、ＣＰＵ２Ａは、画像を時系列に沿ってＲＡＭ２Ｃから取得する。

ステップＳ２０において、ＣＰＵ２Ａは、公知の特徴点抽出手法を用いて、ステップＳ１０で取得した画像の各々から特徴点９を複数抽出し、画像と抽出した特徴点９の座標とを対応付けてＲＡＭ２Ｃに記憶する。

ステップＳ３０において、ＣＰＵ２Ａは、ステップＳ２０で抽出した各々の画像の特徴点９を時系列に沿って追跡することで得られるオプティカルフローを特徴点９毎に算出する。ＣＰＵ２Ａは、算出したオプティカルフローをＲＡＭ２Ｃに記憶する。

図７は、ステップＳ３０で算出したオプティカルフローの一例を示す図である。ステップＳ２０で抽出した時刻ｔ(ｔ＝１〜５)における各画像の特徴点９を時間追跡することで、オプティカルフロー２２が特徴点９毎に得られる。

ステップＳ４０において、ＣＰＵ２Ａは、自車両８の時系列に沿った車速及び角速度を、予め定めた時間の範囲（判定期間）に亘ってそれぞれ車速センサ５及びジャイロセンサ６から取得する。なお、ＣＰＵ２Ａは、自車両８の方位角方向の角速度ω、ピッチ方向の角速度ψ、及びロール方向の角速度ξをそれぞれ取得する。ＣＰＵ２Ａは、取得した車速及び角速度をＲＡＭ２Ｃに記憶する。

ステップＳ５０において、ＣＰＵ２Ａは、ステップＳ４０で取得した自車両８の方位角方向の角速度ωと、時刻ｔにおける方位角θ^tを用いて、時刻(ｔ＋１)における方位角θ^t+1を（１）式によって算出する。

また、ＣＰＵ２Ａは、ステップＳ４０で取得した自車両８のピッチ方向の角速度ψと、時刻ｔにおけるピッチ角φ^tを用いて、時刻(ｔ＋１)におけるピッチ角φ^t+1を（２）式によって算出する。

更に、ＣＰＵ２Ａは、算出した時刻(ｔ＋１)における方位角θ^t+1、ピッチ角φ^t+1、及びステップＳ４０で取得した時刻(ｔ＋１)における車速Ｖ^t+1を用いて、時刻(ｔ＋１)における自車両８の位置（Ｘ^t+1、Ｙ^t+1、Ｚ^t+1）を（３）式によって算出する。

ＣＰＵ２Ａは、判定期間内において、各時刻ｔにおける自車両８の位置を逐次算出することで、判定期間における自車両８の位置の変化、すなわち自車両８の走行軌跡を算出する。なお、車速及び角速度の測定間隔であるΔｔは予め定められており、例えば不揮発性メモリ２Ｄに予め記憶しておけばよい。

ＣＰＵ２Ａは、判定期間における自車両８の各位置を、自車両８の走行軌跡としてＲＡＭ２Ｃに記憶する。

ステップＳ６０において、ＣＰＵ２Ａは、ステップＳ４０で取得した自車両８のロール角方向の角速度ξと、時刻ｔにおけるロール角ρ^tを用いて、時刻(ｔ＋１)におけるロール角ρ^t+1を（５）式によって算出する。

ＣＰＵ２Ａは、判定期間内において、各時刻ｔにおける自車両８のロール角ρ^tを逐次算出し、判定期間内における自車両８のロール角ρ^tと、ステップＳ５０で算出した判定期間内における自車両８の方位角θ^t及びピッチ角φ^tを用いて、自車両８の３次元回転行列Ｒ_tを算出する。

そして、ＣＰＵ２Ａは、カメラ３のカメラパラメータＫ、自車両８の３次元回転行列Ｒ_t、ステップＳ５０で算出した自車両８の走行軌跡ｘ_t、及びステップＳ３０で算出したインデックスｍで示されるオプティカルフローＸ^' _t,mを用いて、特徴点９に対応する空間特徴点１４の３次元位置Ｘ_ｍを（４）式によって特徴点９毎に算出する。

なお、カメラ３のカメラパラメータＫは、例えば不揮発性メモリ２Ｄに予め記憶しておいた値を用いればよい。

ＣＰＵ２Ａは、算出した空間特徴点１４の３次元位置Ｘ_ｍを、空間特徴点１４の算出に用いたオプティカルフローと対応付けて、特徴点９毎にＲＡＭ２Ｃに記憶する。

ステップＳ７０において、ＣＰＵ２Ａは、ＲＡＭ２Ｃに記憶したオプティカルフローのうち、選択していないオプティカルフローを１つ選択する。

ステップＳ８０において、ＣＰＵ２Ａは、ステップＳ７０で選択したオプティカルフローに対応付けられている空間特徴点１４の３次元位置Ｘ_ｍを取得する。

ＣＰＵ２Ａは、取得した空間特徴点１４の３次元位置Ｘ_ｍ、カメラ３のカメラパラメータＫ、ステップＳ６０で算出した自車両８の３次元回転行列Ｒ_t、及びステップＳ５０で算出した自車両８の走行軌跡ｘ_tを用いて、空間特徴点１４に対応する判定期間における各画像内の再投影特徴点１６の位置Ｘ^'' _t,mを（６）式によって算出する。

ＣＰＵ２Ａは、判定期間における各画像内の再投影特徴点１６の位置Ｘ^'' _t,mを時系列に沿って追跡することで得られる空間特徴点１４のオプティカルフローを、ステップＳ７０で選択したオプティカルフローと対応付けてＲＡＭ２Ｃに記憶する。

ステップＳ９０において、ＣＰＵ２Ａは、ステップＳ７０で選択したオプティカルフローと、ステップＳ８０で算出した特徴点９に対応付けられている空間特徴点１４のオプティカルフローとの乖離距離１８を算出する。具体的には、ＣＰＵ２Ａは、選択したオプティカルフローと空間特徴点１４のオプティカルフローとの乖離距離１８から、乖離度合いを表す乖離指標値を算出する。一例として、ＣＰＵ２Ａは乖離指標値として、判定期間内の各時刻における乖離距離１８の平均値を算出する。

ステップＳ１００において、ＣＰＵ２Ａは、ステップＳ９０で算出した乖離指標値が乖離閾値を越えるか否かを判定する。乖離指標値が乖離閾値を超える場合、ステップＳ１１０に移行する。

選択したオプティカルフローが移動物体のオプティカルフローであれば、移動物体は移動していることから、乖離距離１８が大きくなる傾向が見られる。すなわち、乖離指標値が乖離閾値を超える場合、ステップＳ７０で選択したオプティカルフローが、例えば自車両８の周囲を走行している他の車両等の移動物体のオプティカルフローであるとみなすことができる。

したがって、ステップＳ１１０において、ＣＰＵ２Ａは、ステップＳ７０で選択したオプティカルフローに移動物体ＯＦのタグを対応付けてＲＡＭ２Ｃに記憶する。ここで「移動物体ＯＦ」とは、オプティカルフローが移動物体のオプティカルフローであることを表すタグである。

一方、ステップＳ１００の判定処理が否定判定の場合、すなわち、乖離指標値が乖離閾値以下である場合は、ステップＳ１１０の処理を実行せずにステップＳ１２０に移行する。

ステップＳ１２０において、ＣＰＵ２Ａは、ステップＳ３０で算出した全てのオプティカルフローをステップＳ７０で選択したか否かを判定する。選択していないオプティカルフローが存在する場合にはステップＳ７０に移行する。ステップＳ７０において、ＣＰＵ２Ａは、まだ選択していないオプティカルフローを選択し、ステップＳ７０〜Ｓ１２０の処理を繰り返し実行することで、オプティカルフローが移動物体のオプティカルフローであるか否かを特徴点９毎に判定する。

そして、ステップＳ３０で算出した全てのオプティカルフローに対して移動物体のオプティカルフローであるか否かの判定が行われると、ステップＳ１２０の判定処理が肯定判定となり、図６に示した移動物体判定処理が終了する。

すなわち、移動物体のオプティカルフローであると判定されたオプティカルフローを伴う物体は、移動物体であると判定される。

図８は、移動物体判定装置１で図６に示した移動物体判定処理を実行した場合の判定結果の一例を示す図である。

図８において、画像３２は、ステップＳ３０で算出したオプティカルフローを統合した画像であり、画像３４は、ステップＳ８０で算出した空間特徴点１４のオプティカルフロー２４を統合した画像である。また、画像３６は、オプティカルフロー２２と空間特徴点１４のオプティカルフロー２４との乖離距離１８の平均値をオプティカルフロー毎に算出し、乖離距離１８の平均値が比較的長い軌跡を黒色で表し、乖離距離１８の平均値が比較的短い軌跡を灰色で表した図である。画像３８は、オプティカルフロー２２のうち、移動物体のオプティカルフローであると判定されたオプティカルフローを黒色の実線で表し、静止物体のオプティカルフローであると判定されたオプティカルフローを灰色の実線で表した画像である。

このように第１実施形態に係る移動物体判定装置１によれば、例えば画像の下部というように、画像から抽出する特徴点９の領域を限定することなく特徴点９を抽出する。また、移動物体判定装置１は、特徴点９に対応した空間特徴点１４を算出し、空間特徴点１４を画像に再投影することで、空間特徴点１４のオプティカルフローを算出する。そして、移動物体判定装置１は、特徴点９を示すオプティカルフローと空間特徴点１４のオプティカルフローの乖離度合いに基づいて、オプティカルフローが移動物体のオプティカルフローか否かを判定する。したがって、移動物体判定装置１は、自車両８と周囲の物体の位置関係に関わらずに、撮影した画像に含まれる物体が移動物体か否かを判定することができる。更に、移動物体判定装置１は、特徴点９を示すオプティカルフローだけから移動物体か否かを判定する場合と比較して、撮影した画像に含まれる物体が移動物体か否かを精度よく判定することができる。

＜第２実施形態＞
第１実施形態に係る移動物体判定装置１は、特徴点９を示すオプティカルフローと空間特徴点１４のオプティカルフローの乖離度合いに基づいて、画像から抽出したオプティカルフローが移動物体のオプティカルフローか否か判定した。

第２実施形態では、予め画像から移動物体の範囲を絞り込んでおくことで、オプティカルフローから画像に含まれる物体が移動物体か否かを精度よく判定することができる移動物体判定装置１Ａについて説明する。

図９は、移動物体判定装置１Ａの構成例を示す図である。移動物体判定装置１Ａの構成が、図１に示した第１実施形態に係る移動物体判定装置１の構成と異なる点は、移動物体候補判定部９０及び車両検出部１００が追加され、移動物体判定部８０が移動物体判定部８０Ａに置き換えられた点である。

移動物体候補判定部９０は、第１実施形態に係る移動物体判定装置１の移動物体判定部８０と同じ処理を行う。すなわち、移動物体判定装置１Ａでは、移動物体候補判定部９０が移動物体判定部８０の機能を担う。

移動物体候補判定部９０は、第１オプティカルフロー算出部３０で算出したオプティカルフローの各々に対して移動物体のオプティカルフローか否かを判定した判定結果を、移動物体判定部８０Ａに通知する。以降では、移動物体候補判定部９０で移動物体のオプティカルフローであると判定されたオプティカルフローを「移動物体ＯＦ候補」という。

車両検出部１００は、画像情報取得部１０で取得した画像の各々について、車両に相当する画像領域（車両画像領域）を検出する。画像から車両画像領域を検出する手法には公知の検出手法が用いられる。例えば、予め様々な車両の画像を教師信号として学習しておき、画像に含まれる物体が車両か否かのパターン認識を行うSVM(Support Vector Machine)や、車両の特徴をよく表している部分の局所的特徴量の集合を用いて、画像内に局所的特徴量の集合が含まれるか否かを判定することで車両画像領域を検出するBOF(Bag Of Features)が用いられる。また、車両画像領域の検出に、CNN(Convolutional Neural Network)等のニューラルネットワークを用いた深層学習(Deep Learning)手法を用いてもよい。

なお、車両検出部１００は検出部の一例であり、車両画像領域は移動物体領域の一例である。

移動物体判定部８０Ａは、移動物体候補判定部９０で判定された移動物体ＯＦ候補と、車両検出部１００で検出された車両画像領域を用いて、移動物体ＯＦ候補のうち、何れのオプティカルフローが移動物体のオプティカルフローか否かを判定する。

具体的には、移動物体判定部８０Ａは、移動物体ＯＦ候補のうち、オプティカルフローの少なくとも一部が車両画像領域に含まれる移動物体ＯＦ候補を移動物体のオプティカルフローと判定する。すなわち、移動物体判定部８０Ａは、移動物体ＯＦ候補のうち、オプティカルフローの何れの部分も車両画像領域に含まれないオプティカルフローは移動物体のオプティカルフローではないと判定する。なお、オプティカルフローの少なくとも一部が車両画像領域に含まれることを、「車両画像領域にオプティカルフローが含まれる」という。

移動物体判定装置１Ａにおいて、移動物体判定部８０Ａ及び移動物体候補判定部９０は、判定部の一例である。

次に、移動物体判定装置１Ａの作用について説明する。移動物体判定装置１Ａの電気系統の要部構成例は、図５に示した第１実施形態に係る移動物体判定装置１における電気系統の要部構成例と同じである。

図１０は、移動物体判定装置１Ａでの移動物体判定処理の流れの一例を示すフローチャートである。移動物体判定処理を規定する移動物体判定プログラムはＲＯＭ２Ｂに予め記憶されており、例えば移動物体判定装置１Ａの電源がオンされると、ＣＰＵ２Ａが移動物体判定プログラムをＲＯＭ２Ｂから読み出して実行する。その後、ＣＰＵ２Ａは、一定期間経過毎に移動物体判定処理を実行する。

図１０の移動物体判定処理が、図６に示した第１実施形態に係る移動物体判定処理と異なる点は、ステップＳ１３０及びステップＳ１４０が追加された点であり、ステップＳ１０〜Ｓ１２０の処理は同じである。

ステップＳ１３０において、ＣＰＵ２Ａは、ステップＳ１０で取得した画像の各々から、公知の抽出手法を用いて車両画像領域を検出する。ＣＰＵ２Ａは、検出した車両画像領域の座標データを検出元の画像と対応付けてＲＡＭ２Ｃに記憶する。

図１１は、画像５２から検出した車両画像領域４２の例を示す図である。図１１では、車両画像領域４２を点線の矩形で表している。

ステップＳ１４０において、ＣＰＵ２Ａは、ステップＳ１０で取得した何れかの画像に対応付けられた車両画像領域４２と、ステップＳ３０で算出されたオプティカルフローを統合して、オプティカルフローのうち、車両画像領域４２に含まれる移動物体ＯＦ候補を最終的な移動物体のオプティカルフローとして判定する。

したがって、ＣＰＵ２Ａは、移動物体ＯＦ候補のうち、最終的に移動物体のオプティカルフローであると判定した移動物体ＯＦ候補にのみ移動物体ＯＦのタグを対応付けてＲＡＭ２Ｃに記憶し、移動物体のオプティカルフローではないと判定した移動物体ＯＦ候補からは移動物体ＯＦのタグを取り除く。

なお、ステップＳ１４０における最終的な移動物体のオプティカルフローの判定方法はこれに限定されない。例えば、ステップＳ３０で抽出したオプティカルフローのうち、車両画像領域４２に含まれるオプティカルフローを全て移動物体のオプティカルフローと判定し、これ以外のオプティカルフローは移動物体のオプティカルフローではないと判定してもよい。

以上により、図１０に示した移動物体判定処理が終了する。

図１２は、移動物体判定装置１Ａで図１０に示した移動物体判定処理を実行した場合の判定結果の一例を示す図である。

図１２において、画像５２は、車両画像領域４２を統合した画像であり、画像５４は、オプティカルフローを統合した画像である。画像５４において、黒色の実線は移動物体ＯＦ候補を表し、灰色の実線は移動物体候補判定部９０で静止物体のオプティカルフローと判定されたオプティカルフローを表す。また、画像５６は、画像５２と画像５４を統合した画像である。

移動物体判定装置１Ａは、例えば画像５６に示した移動物体ＯＦ候補のうち、車両画像領域４２に含まれる移動物体ＯＦ候補を移動物体のオプティカルフローとして判定することになる。

このように第２実施形態に係る移動物体判定装置１Ａによれば、画像から車両画像領域４２を検出することで、移動物体ＯＦ候補の中から更に移動物体のオプティカルフローを絞り込むことができるため、移動物体のオプティカルフローを精度よく判定することができる。

＜第３実施形態＞
第２実施形態に係る移動物体判定装置１Ａは、移動物体ＯＦ候補のうち、車両画像領域４２に含まれる移動物体ＯＦ候補を移動物体のオプティカルフローとして判定した。

第３実施形態では、移動物体ＯＦ候補の信頼度を判定し、信頼度の低い移動物体ＯＦ候補を移動物体のオプティカルフローの判定に用いないようにする移動物体判定装置１Ｂについて説明する。

図１３は、移動物体判定装置１Ｂの構成例を示す図である。移動物体判定装置１Ｂの構成が、図９に示した第２実施形態に係る移動物体判定装置１Ａの構成と異なる点は、信頼度判定部１１０が追加された点である。

信頼度判定部１１０は、ＩＭＵ情報取得部４０で取得した自車両８の角速度のうち、ピッチ方向の角速度ψの変動度合いを表すピッチレイトを用いて、移動物体候補判定部９０で判定された移動物体ＯＦ候補の信頼度を判定する。ピッチレイトは、例えば判定期間といった予め定めた期間における角速度ψの変動量で表される。

移動物体判定装置１Ｂにおいて、移動物体判定部８０Ａ、移動物体候補判定部９０、及び信頼度判定部１１０は、判定部の一例である。

次に、移動物体判定装置１Ｂの作用について説明する。移動物体判定装置１Ｂの電気系統の要部構成例は、図５に示した第１実施形態に係る移動物体判定装置１における電気系統の要部構成例と同じである。

図１４は、移動物体判定装置１Ｂでの移動物体判定処理の流れの一例を示すフローチャートである。移動物体判定処理を規定する移動物体判定プログラムはＲＯＭ２Ｂに予め記憶されており、例えば移動物体判定装置１Ｂの電源がオンされると、ＣＰＵ２Ａが移動物体判定プログラムをＲＯＭ２Ｂから読み出して実行する。その後、ＣＰＵ２Ａは、一定期間経過毎に移動物体判定処理を実行する。

図１４の移動物体判定処理が、図１０に示した第２実施形態に係る移動物体判定処理と異なる点は、ステップＳ１２２〜Ｓ１２６が追加された点であり、その他の処理は同じである。

ステップＳ１０〜Ｓ１２０で移動物体ＯＦ候補が得られた後、ステップＳ１２２において、ＣＰＵ２Ａは、ステップＳ４０で取得した自車両８のピッチ方向の角速度ψを用いて、判定期間におけるピッチレイトを算出する。

自車両８のピッチ方向に頻繁に変動が生じる場合、例えば車速センサ５、ジャイロセンサ６、及びカメラ３の設置位置の相違によって、車速及び角速度から算出した自車両８の走行軌跡と、カメラ３で撮影した画像から算出したオプティカルフローとの乖離距離１８の算出精度が低くなる。すなわち、ピッチレイトが大きくなるにつれて、ステップＳ１０〜Ｓ１２０で得られた移動物体ＯＦ候補のうち、実際に移動物体のオプティカルフローを示すオプティカルフローの割合が低下するため、移動物体ＯＦ候補が移動物体のオプティカルフローを表しているという信頼度が低下する傾向が見られる。

したがって、変動閾値を設け、ピッチレイトがこの値より大きい場合には、移動物体ＯＦ候補の信頼度が低いとみなすことができる値に変動閾値を予め設定しておく。

そして、ステップＳ１２４において、ＣＰＵ２Ａは、ステップＳ１２２で算出したピッチレイトが変動閾値より大きいか否かを判定する。

なお、変動閾値は、例えば移動物体判定装置１Ｂの実機による実験や移動物体判定装置１Ｂの設計仕様に基づくコンピュータシミュレーション等により設定し、不揮発性メモリ２Ｄに予め記憶しておけばよい。

ピッチレイトが変動閾値以下の場合には、移動物体ＯＦ候補の信頼度は高いと判定される。したがって、ＣＰＵ２Ａは、ステップＳ１４０において、直前にステップＳ１０〜Ｓ１２０で得られた移動物体ＯＦ候補と、ステップＳ１３０で検出した車両画像領域４２を用いて、最終的な移動物体のオプティカルフローを判定する。

一方、ピッチレイトが変動閾値より大きい場合には、移動物体ＯＦ候補の信頼度は低いと判定される。したがって、ステップＳ１２６に移行し、ステップＳ１２６においてＣＰＵ２Ａは、前回実行した移動物体判定処理で得られた移動物体ＯＦ候補（前回の移動物体ＯＦ候補）をＲＡＭ２Ｃから取得する。

この場合、ＣＰＵ２Ａは、ステップＳ１４０において、ステップＳ１２６で取得した前回の移動物体ＯＦ候補と、ステップＳ１３０で検出した車両画像領域４２を用いて、最終的な移動物体のオプティカルフローを判定する。

このように、第３実施形態に係る移動物体判定装置１Ｂによれば、自車両８のピッチレイトを用いて移動物体ＯＦ候補の信頼度を判定し、信頼度が低いと判定された場合には、前回取得した移動物体ＯＦ候補を用いて移動物体のオプティカルフローを判定する。したがって、移動物体判定装置１Ｂは、移動物体ＯＦ候補の信頼度を考慮せずに移動物体のオプティカルフローを判定する場合と比較して、移動物体のオプティカルフローを精度よく判定することができる。

なお、移動物体判定装置１Ｂではピッチレイトを用いて移動物体ＯＦ候補の信頼度を判定したが、移動物体ＯＦ候補の信頼度の判定方法はこれに限られない。例えばロール方向の角速度ξの変動度合いを表すロールレイトを用いて移動物体ＯＦ候補の信頼度を判定してもよい。ピッチレイトと同様に、ロールレイトが大きくなるにつれて、移動物体ＯＦ候補の信頼度が低下する。また、ピッチレイトとロールレイトを組み合わせて移動物体ＯＦ候補の信頼度を判定してもよい。

＜第４実施形態＞
第３実施形態に係る移動物体判定装置１Ｂは、車両検出部１００で検出された車両画像領域４２に含まれる車両を移動している車両とみなし、車両画像領域４２に含まれる移動物体ＯＦ候補は全て移動物体のオプティカルフローとして判定した。

しかしながら、車両画像領域４２に含まれる車両には、駐車中の車両といった静止している車両が含まれることがある。

したがって、第４実施形態では、車両検出部１００で検出された車両画像領域４２のうち、移動している車両を含む車両画像領域４２に含まれる移動物体ＯＦ候補を移動物体のオプティカルフローとして判定する移動物体判定装置１Ｃについて説明する。

図１５は、移動物体判定装置１Ｃの構成例を示す図である。移動物体判定装置１Ｃの構成が、図１３に示した第３実施形態に係る移動物体判定装置１Ｂの構成と異なる点は、移動車両領域判定部１２０が追加され、移動物体判定部８０Ａが移動物体判定部８０Ｂに置き換えられた点である。また、移動車両領域判定部１２０の追加に伴い、車両検出部１００で検出した車両画像領域４２の出力先が、移動物体判定部８０Ａから移動車両領域判定部１２０に変更されている。

移動車両領域判定部１２０は、信頼度判定部１１０で信頼度が高いと判定された移動物体ＯＦ候補と、車両検出部１００で検出された車両画像領域４２を用いて、車両画像領域４２が移動している車両を含んでいる車両画像領域４２か否かを車両画像領域４２毎に判定する。そして、移動車両領域判定部１２０は、車両検出部１００で検出された車両画像領域４２を、静止している車両を含んでいる車両画像領域４２（静止車両画像領域）と、移動している車両を含んでいる車両画像領域４２（移動車両画像領域）に分類し、移動車両画像領域を移動物体判定部８０Ｂに出力する。

移動物体判定部８０Ｂは、信頼度判定部１１０で信頼度が高いと判定された移動物体ＯＦ候補と、移動車両領域判定部１２０で得られた移動車両画像領域を用いて、移動物体のオプティカルフローを判定する。

移動物体判定装置１Ｃにおいて、 移動物体判定部８０Ｂ、移動物体候補判定部９０、信頼度判定部１１０、及び移動車両領域判定部は、判定部の一例である。

次に、移動物体判定装置１Ｃの作用について説明する。移動物体判定装置１Ｃの電気系統の要部構成例は、図５に示した第１実施形態に係る移動物体判定装置１における電気系統の要部構成例と同じである。

図１６は、移動物体判定装置１Ｃでの移動物体判定処理の流れの一例を示すフローチャートである。移動物体判定処理を規定する移動物体判定プログラムはＲＯＭ２Ｂに予め記憶されており、例えば移動物体判定装置１Ｃの電源がオンされると、ＣＰＵ２Ａが移動物体判定プログラムをＲＯＭ２Ｂから読み出して実行する。その後、ＣＰＵ２Ａは、一定期間経過毎に移動物体判定処理を実行する。

図１６の移動物体判定処理が、図１４に示した第３実施形態に係る移動物体判定処理と異なる点は、ステップＳ１３５が追加された点であり、その他の処理は同じである。

ステップＳ１０〜Ｓ１２６で信頼度の高い移動物体ＯＦ候補を取得し、ステップＳ１３０で画像から車両画像領域４２を取得した後、ステップＳ１３５において、ＣＰＵ２Ａは、移動車両領域判定処理を実行する。

図１７は、ステップＳ１３５で実行される移動車両領域判定処理の流れの一例を示すフローチャートである。

ステップＳ２００において、ＣＰＵ２Ａは、ステップＳ１３０で検出した何れかの画像の車両画像領域４２のうち、まだ選択していない車両画像領域４２を１つ選択する。

ステップＳ２１０において、ＣＰＵ２Ａは、ステップＳ３０で抽出したオプティカルフローと、ステップＳ２００で選択した車両画像領域４２を統合し、ステップＳ２００で選択した車両画像領域４２における移動物体ＯＦ候補割合を算出する。移動物体ＯＦ候補割合は、選択した車両画像領域４２に含まれるオプティカルフロー数に対する、当該車両画像領域４２に含まれる移動物体ＯＦ候補のオプティカルフロー数の割合として表される。

移動物体ＯＦ候補割合が小さくなるにつれて、選択した車両画像領域４２に含まれる車両は静止している可能性が高くなる。

したがって、移動物体ＯＦ候補割合がこの値未満の場合には、選択した車両画像領域４２は静止している車両に対応する車両画像領域４２であるとみなすことができる静止閾値を設け、ステップＳ２２０において、ＣＰＵ２Ａは、算出した移動物体ＯＦ候補割合が静止閾値未満であるか否かを判定する。

なお、静止閾値は、例えば移動物体判定装置１Ｃの実機による実験や移動物体判定装置１Ｃの設計仕様に基づくコンピュータシミュレーション等により設定し、不揮発性メモリ２Ｄに予め記憶しておけばよい。

ステップＳ２２０の判定処理が肯定判定の場合、ステップＳ２３０に移行する。

ステップＳ２００で選択した車両画像領域４２の移動物体ＯＦ候補割合が静止閾値未満であることから、ステップＳ２３０において、ＣＰＵ２Ａは、当該車両画像領域４２を静止車両画像領域に分類する。具体的には、ＣＰＵ２Ａは、ステップＳ２００で選択した車両画像領域４２に、値を“０”に設定した領域タグを対応付けてＲＡＭ２Ｃに記憶する。領域タグは、車両画像領域４２が静止車両画像領域であるか、移動車両画像領域であるかを示す情報であり、例えば領域タグの値が“０”の場合には静止車両画像領域であることを示し、領域タグの値が“１”の場合には移動車両画像領域であることを示す。

一方、ステップＳ２２０の判定処理が否定判定の場合、ステップＳ２４０に移行する。

この場合、ステップＳ２００で選択した車両画像領域４２の移動物体ＯＦ候補割合が静止閾値より大きいことから、ステップＳ２４０において、ＣＰＵ２Ａは、当該車両画像領域４２を移動車両画像領域に分類する。具体的には、ＣＰＵ２Ａは、ステップＳ２００で選択した車両画像領域４２に、値を“１”に設定した領域タグを対応付けてＲＡＭ２Ｃに記憶する。

そして、ステップＳ２５０において、ＣＰＵ２Ａは、画像に含まれる全ての車両画像領域４２をステップＳ２００で選択したか否かを判定する。選択していない車両画像領域４２が存在する場合にはステップＳ２００に移行する。

ステップＳ２００において、ＣＰＵ２Ａは、まだ選択していない車両画像領域４２を選択し、ステップＳ２００〜Ｓ２５０の処理を繰り返し実行することで、車両画像領域４２が静止車両画像領域であるか移動車両画像領域であるかを車両画像領域４２毎に判定する。

一方、ステップＳ２５０の判定処理が肯定判定の場合、すなわち、画像に含まれる車両画像領域４２を全て選択した場合には、図１７に示した移動車両領域判定処理を終了する。

ＣＰＵ２Ａは、図１６のステップＳ１４０において、ステップＳ３０で抽出したオプティカルフローと、ステップＳ１３０で検出した車両画像領域４２を統合し、車両画像領域４２のうち、ステップＳ１３５で移動車両画像領域に分類された車両画像領域４２に含まれるオプティカルフローを全て最終的な移動物体のオプティカルフローとして判定する。

なお、ステップＳ１４０における最終的な移動物体のオプティカルフローの判定方法はこれに限定されない。例えば、移動物体ＯＦ候補のうち、ステップＳ１３５で移動車両画像領域に分類された車両画像領域４２に含まれるオプティカルフローのみを移動物体のオプティカルフローと判定し、これ以外のオプティカルフローは移動物体のオプティカルフローではないと判定してもよい。また、移動車両画像領域に分類された車両画像領域４２に過去に１度でも含まれたことがあるオプティカルフローについては、現時刻において当該車両画像領域４２に含まれているか否かに関わらず、移動物体のオプティカルフローと判定してもよい。

図１８は、移動物体判定装置１Ｃで図１６のステップＳ１３５における移動車両領域判定処理を実行した場合の、車両画像領域４２の判定結果の一例を示す図である。

図１８において、画像５８が移動車両領域判定処理の判定結果を示しており、実線の矩形４４が移動車両画像領域を表し、点線の矩形４６が静止車両画像領域を表している。

また、図１９は、移動車両画像領域に含まれるオプティカルフローを最終的な移動物体のオプティカルフローとする判定結果の一例を示す図である。

画像６２において、黒色の実線は移動物体ＯＦ候補を表し、灰色の実線は静止物体のオプティカルフローと判定されたオプティカルフローを表す。また、画像６４において、黒色の実線は移動物体のオプティカルフローを表し、灰色の実線は静止物体のオプティカルフローを表す

画像６２において移動物体ＯＦ候補ではないオプティカルフローであっても、移動車両画像領域４４に含まれる場合は移動物体のオプティカルフローとして判定される。逆に、画像６２において移動物体ＯＦ候補であるオプティカルフローであっても、移動車両画像領域４４に含まれない場合は静止物体のオプティカルフローとして判定される。

このように第４実施形態に係る移動物体判定装置１Ｃによれば、画像から検出した車両画像領域４２のうち、移動している車両が含まれる車両画像領域４２とオプティカルフローを用いて、移動物体のオプティカルフローを判定する。したがって、実際には静止している車両に対応した車両画像領域４２に含まれるオプティカルフローを、移動物体のオプティカルフローであると誤判定する可能性が低下するため、移動物体判定装置１Ｃは、移動物体のオプティカルフローを精度よく判定することができる。

本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、発明の要旨を逸脱しない範囲で、各実施形態に係る移動物体判定処理内の実行順序を変更してもよい。

また、移動物体判定装置１Ａ、１Ｂ、１Ｃにおける車両検出部１００では、画像から車両に相当する画像領域を検出したが、車両に加えて、例えば歩行者及び２輪車等の移動物体を検出するようにしてもよい。

また、各実施形態に係る移動物体判定装置１、１Ａ、１Ｂ、１Ｃでは、移動物体判定処理をソフトウエアによって実現する場合について説明したが、本発明はこれに限定されるものではなく、移動物体判定処理を、例えばＡＳＩＣ（Application Specific Integrated Circuit)等を用いたハードウエア構成により実現するようにしてもよい。この場合、ソフトウエアを用いた場合と比較して、処理を高速化することができる。

また、各実施の形態に係る移動物体判定装置１、１Ａ、１Ｂ、１Ｃでは、移動物体判定プログラムがＲＯＭ２Ｂにインストールされている形態について説明したが、これに限定されるものではない。本発明に係る移動物体判定プログラムを、コンピュータ読取可能な記憶媒体に記録した形態で提供してもよい。例えば、本発明に係る移動物体判定プログラムを、ＣＤ(Compact Disc)−ＲＯＭ、及びＤＶＤ(Digital Versatile Disc)−ＲＯＭ等の光ディスクに記録した形態、又はＵＳＢ(Universal Serial Bus)メモリ及びメモリカード等の半導体メモリに記録した形態で提供してもよい。また、本発明に係る移動物体判定プログラムを、通信回線に接続された外部装置から取得するようにしてもよい。

１（１Ａ、１Ｂ、１Ｃ）・・・移動物体判定装置、２・・・コンピュータ、２Ａ・・・ＣＰＵ、３・・・カメラ、４・・・ＧＰＳモジュール、５・・・車速センサ、６・・・ジャイロセンサ、８・・・自車両、９・・・特徴点、１０・・・画像情報取得部、１４・・・空間特徴点、１６・・・再投影特徴点、１８・・・乖離距離、２０・・・画像特徴抽出部、２２・・・オプティカルフロー、２４・・・空間特徴点のオプティカルフロー、３０・・・第１オプティカルフロー算出部、４０・・・ＩＭＵ情報取得部、４２・・・車両画像領域、５０・・・車両軌跡算出部、６０・・・特徴点３次元位置算出部、７０・・・第２オプティカルフロー算出部、８０（８０Ａ、８０Ｂ）・・・移動物体判定部、９０・・・移動物体候補判定部、１００・・・車両検出部、１１０・・・信頼度判定部、１２０・・・移動車両領域判定部

Claims (7)

1. 移動体に取り付けられた撮影装置で時系列に沿って撮影された各々の画像から特徴点を抽出する抽出部と、
   前記抽出部で抽出された特徴点のうち、前記各々の画像において対応する特徴点を追跡し、追跡した特徴点の位置の時系列を特徴点毎に算出する第１の算出部と、
   前記移動体の移動速度及び運動に関する物理量を用いて、前記移動体の走行軌跡を算出する第２の算出部と、
   前記第１の算出部で算出した特徴点の位置の時系列と、前記第２の算出部で算出した前記移動体の走行軌跡とを用いて、抽出した特徴点の３次元空間における位置を特徴点毎に算出する第３の算出部と、
   前記第２の算出部で算出した前記移動体の走行軌跡と、前記第３の算出部で算出した前記３次元空間における特徴点を表す空間特徴点の位置とを用いて、前記空間特徴点の前記各々の画像における位置を算出し、前記各々の画像で表される前記空間特徴点に対応した特徴点の位置の時系列を、前記空間特徴点に対応する特徴点毎に算出する第４の算出部と、
   前記第１の算出部で算出した特徴点の位置の時系列と、当該特徴点に対応する前記第４の算出部で算出した前記空間特徴点の位置の時系列とを比較して、特徴点が表す物体が移動物体か否かを特徴点毎に判定する判定部と、
   を備えた移動物体判定装置。
2. 前記各々の画像から移動物体領域を検出する検出部を備え、
   前記判定部は、移動物体を表すと判定した特徴点のうち、前記検出部で前記各々の画像から検出された前記移動物体領域の何れにも含まれない特徴点は、移動物体を表す特徴点ではないと再判定する
   請求項１記載の移動物体判定装置。
3. 前記各々の画像における何れかの画像から移動物体領域を検出する検出部を備え、
   前記判定部は、前記検出部で検出された前記移動物体領域毎に、前記移動物体領域に含まれる特徴点に対する移動物体を表す特徴点の割合を算出し、前記割合が予め定めた割合未満となる前記移動物体領域に含まれる特徴点は、移動物体を表す特徴点ではないと再判定すると共に、前記割合が予め定めた割合以上となる前記移動物体領域に含まれる特徴点は、移動物体を表す特徴点であると再判定する
   請求項１記載の移動物体判定装置。
4. 前記判定部は、過去に前記移動物体領域を表すと判定されたことがある特徴点は、移動物体を表す特徴点であると判定する
   請求項２又は請求項３に記載の移動物体判定装置。
5. 前記判定部は、前記移動体の運動に関する物理量の変動度合いが予め定めた閾値より大きい場合、特徴点の位置の時系列として、前回の判定で得られた特徴点の位置の時系列を用いて、特徴点が表す物体が移動物体か否かを特徴点毎に判定する
   請求項２〜請求項４の何れか１項に記載の移動物体判定装置。
6. 前記判定部は、前記第１の算出部で算出した特徴点の位置の時系列と、当該特徴点に対応する前記第４の算出部で算出した前記空間特徴点の位置の時系列との距離を用いて、特徴点が表す物体が移動物体か否かを特徴点毎に判定する
   請求項１〜請求項５の何れか１項に記載の移動物体判定装置。
7. コンピュータを、
   移動体に取り付けられた撮影装置で時系列に沿って撮影された各々の画像から特徴点を抽出する抽出部と、
   前記抽出部で抽出された特徴点のうち、前記各々の画像において対応する特徴点を追跡し、追跡した特徴点の位置の時系列を特徴点毎に算出する第１の算出部と、
   前記移動体の移動速度及び移動方向に関する物理量を用いて、前記移動体の走行軌跡を算出する第２の算出部と、
   前記第１の算出部で算出した特徴点の位置の時系列と、前記第２の算出部で算出した前記移動体の走行軌跡とを用いて、抽出した特徴点の３次元空間における位置を特徴点毎に算出する第３の算出部と、
   前記第２の算出部で算出した前記移動体の走行軌跡と、前記第３の算出部で算出した前記３次元空間における特徴点を表す空間特徴点の位置とを用いて、前記空間特徴点の前記各々の画像における位置を算出し、前記各々の画像で表される前記空間特徴点に対応した特徴点の位置の時系列を、前記空間特徴点に対応する特徴点毎に算出する第４の算出部と、
   前記第１の算出部で算出した特徴点の位置の時系列と、当該特徴点に対応する前記第４の算出部で算出した前記空間特徴点の位置の時系列とを比較して、特徴点が表す物体が移動物体か否かを特徴点毎に判定する判定部
   として機能させるための移動物体判定プログラム。