JP2017162204A - 物体検出装置、物体検出方法および物体検出プログラム - Google Patents

Abstract

【課題】自車両の周辺の車両をより高精度に検出可能とする。【解決手段】第１の実施形態の物体検出装置は、自車両の周辺の車両について、識別情報、位置情報および方向情報を含む車両情報を取得する。周辺車両の３次元情報による外形情報、位置情報および方向情報と、自車両の位置情報および方向情報とに基づいて、２次元情報テンプレートを生成する。センサが取得した自車両周辺の２次元情報内の、２次元情報テンプレートが対応する位置を探索し、第１の２次元情報テンプレートの前面への第２の２次元情報テンプレートの重複を検出した場合に、重複する部分の比率を算出し、比率と、周辺車両および自車両の位置情報および方向情報とに基づき通知を出力する。【選択図】図２

Description

本発明は、物体検出装置、物体検出方法および物体検出プログラムに関する。

自動車にカメラ（車載カメラ）を搭載し、車載カメラにより自車両の周辺を撮影することが一般的に行われている。車載カメラで撮像された自車両の周辺の車両について、車車間通信で車両位置やウィンカの点灯状態といった車両情報を受信し、受信された車両情報の車両と、撮像された車両の一致、不一致を判定する技術が知られている。

特開２０１３−１６８０１９号公報

従来では、自車両の周辺の車両ではあるが、自車両に対して他の車両や設置物の背後に隠れた車両については、画像情報の欠落により、車両検出を行うことが困難であった。また、車両位置をＧＮＳＳ(Global Navigation Satellite System)を用いて推定する場合、その精度は数ｍ（例えば２ｍ）程度であって、近接する２台の周辺車両を車両位置に基づき識別することが困難な場合があった。

本発明が解決する課題は、自車両の周辺の車両をより高精度に検出可能な物体検出装置、物体検出方法および物体検出プログラムを提供することにある。

第１の実施形態の物体検出装置は、自車両の周辺の車両について、識別情報、位置情報および方向情報を含む車両情報を取得する。周辺車両の３次元情報による外形情報、位置情報および方向情報と、自車両の位置情報および方向情報とに基づいて、２次元情報テンプレートを生成する。センサが取得した自車両周辺の２次元情報内の、２次元情報テンプレートが対応する位置を探索し、第１の２次元情報テンプレートの前面への第２の２次元情報テンプレートの重複を検出した場合に、重複する部分の比率を算出し、比率と、周辺車両および自車両の位置情報および方向情報とに基づき通知を出力する。

図１は、各実施形態に適用可能な運転支援システムについて概略的に説明するための図である。 図２は、第１の実施形態に係る物体検出装置の機能を説明するための一例の機能ブロック図である。 図３は、第１の実施形態に適用可能な、周辺車両情報の例を示す図である。 図４は、第１の実施形態に適用可能な、自車両情報の例を示す図である。 図５は、第１の実施形態に係る車両ＤＢの構成の例を示す図である。 図６は、第１の実施形態に適用可能な物体検出装置の一例のハードウェア構成を示すブロック図である。 図７は、第１の実施形態に係る物体検出処理を示す一例のフローチャートである。 図８は、第１の実施形態に係る２次元情報テンプレートの例を示す図である。 図９は、第１の実施形態に適用可能な探索処理を概略的に示す図である。 図１０は、第１の実施形態に係る、２次元情報テンプレートの前面からの探索処理について説明するための図である。 図１１は、第１の実施形態に係る、２次元情報テンプレートの背面からの探索処理について説明するための図である。 図１２は、第１の実施形態に係る、位置が確定した２つの２次元情報テンプレートを統合することを説明するための図である。 図１３は、第１の実施形態に係る衝突可能性の有無の判定処理について説明するための図である。 図１４は、撮像処理部により取得された撮像画像の例を示す図である。 図１５は、第１の実施形態に係る、各車両に対応して生成した各２次元情報テンプレートの例を示す図である。 図１６は、第１の実施形態に係る探索処理の第１の例について説明するための図である。 図１７は、第１の実施形態に係る探索処理の第１の例について説明するための図である。 図１８は、第１の実施形態に係る、統合２次元情報テンプレートの背面および前面から探索を行った例をそれぞれ示す図である。 図１９は、第１の実施形態に係る、撮像画像内で各２次元情報テンプレートの位置が確定した状態を模式的に示す模式図である。 図２０は、撮像処理部により取得された撮像画像の例を示す図である。 図２１は、第１の実施形態に係る探索処理の第２の例について説明するための図である。 図２２は、第１の実施形態に係る探索処理の第２の例について説明するための図である。 図２３は、第１の実施形態に係る、統合２次元情報テンプレートの前面および背面から探索を行った例をそれぞれ示す図である。 図２４は、第１の実施形態に係る、撮像画像内で各２次元情報テンプレートの位置が確定した状態を模式的に示す模式図である。 図２５は、第１の実施形態に係る、出力部から出力された通知に応じた表示の例を示す図である。 図２６は、２台のカメラを搭載する自車両の例を示す図である。 図２７は、第２の実施形態に係る物体検出装置の機能を説明するための一例の機能ブロック図である。

以下、実施形態に係る物体検出装置、物体検出方法および物体検出プログラムについて説明する。

各実施形態に係る物体検出装置は、物体検出装置が搭載される自車両の周辺に存在する周辺車両について、３次元情報による外形情報と、車車間通信を用いて取得した状態情報と、自車両に搭載されるカメラにより撮像された撮像画像とに基づき、自車両と周辺車両との関係を求める。物体検出装置は、求めた自車両と周辺車両との関係に基づき、自車両と周辺車両とが衝突する可能性があるか否かを判定し、可能性があると判定された場合に、通知を出力する。

（各実施形態に適用可能なシステム）
図１を用いて、各実施形態に適用可能な運転支援システムについて概略的に説明する。図１は、道路３０を上方から俯瞰した例を示している。図１の例では、道路３０（左側通行であるものとする）上に、センターライン１４の左側の車線に車両２０が存在し、右側の車線に、車両２１および２２が存在している様子が示されている。また、図１では、道路３０の左端側に信号機３１が設置されている。

車両２０は、各実施形態に係る物体検出装置を含む車載機１０が搭載されている。詳細は後述するが、物体検出装置は、通信機能と、自車の状態を示す状態情報を取得する機能と、カメラでの撮像を行うための撮像機能とを含む。図１の例では、車両２０に搭載されるカメラが撮像範囲４０で撮像を行うように示されている。また、車両２１は、通信機能と、自車の状態を示す状態情報を取得する機能とを含む車載機１１が搭載されている。この例では、車両２１に搭載される車載機１１は、各実施形態に係る物体検出装置を含まないものとする。これに限らず、車載機１１が各実施形態に係る物体検出装置を含んでいてもよい。

以下、各実施形態に係る物体検出装置を含む車載機１０を搭載する車両２０を自車両（自車両２０と記述）とし、自車両２０の周辺に存在する車両２１および２２を周辺車両（それぞれ周辺車両２１および２２と記述）とする。

例えば周辺車両２１において、車載機１１は、無線通信５１により情報を送信する。無線通信５１により送信された情報は、自車両２０において、車載機１０により受信される（無線通信５１’）。これにより、自車両２０において車載機１０は、周辺車両２１の車載機１１から無線通信５１により送信された例えば周辺車両２１の状態を示す状態情報を取得することができる。このように、車両間で行われる通信を、車車間通信と呼ぶ。

図１において、信号機３１に対して、自車両２０および周辺車両２１との間で無線通信を行うことが可能な路側機３２が設けられている。また、図１の例では、路側機３２に対して、各車両（車種）を識別可能な識別情報と、各車両の３次元情報による外形情報とが関連付けられて記憶される外部車両データベース（ＤＢ）３３が接続されている。路側機３２は、無線通信５２により情報を送信する。無線通信５２により送信された情報は、例えば自車両２０において、車載機１０により受信される（無線通信５２’）。これにより、自車両２０において車載機１０は、路側機３２から送信された例えば車両の識別情報および３次元情報による外形情報を取得することできる。このように、路側機３２と車両との間で行われる通信を、路車間通信と呼ぶ。

ここで、車車間通信および路車間通信について、概略的に説明する。車車間通信は、車両同士の無線通信により周辺の車両の情報（位置、速度、車両制御情報など）を取得し、必要に応じて運転者に対して運転支援を行うことを可能とするものである。また、路車間通信は、車両と、路側機などのインフラ設備との無線通信により、車両がインフラからの情報（信号情報、規制情報、道路情報など）を取得し、必要に応じて運転者に対して運転支援を行うことを可能とするものである。

車車間通信および路車間通信に適用される通信規格の例として、ＩＥＥＥ(The Institute of Electrical and Electronics Engineers)により策定される、周波数帯域が５ＧＨｚ帯の電波を用いるＩＥＥＥ８０２．１１ｐ、ＡＲＩＢ(Association of Radio Industries and Businesses)により策定される、周波数帯域が７００ＭＨｚ帯の電波を用いるＳＴＤ−Ｔ１０９などがある。７００ＭＨｚ帯の電波は、通信距離が数百ｍ程度であり、５ＧＨｚ帯の電波は、通信距離が数十ｍ程度である。各実施形態では、自車両２０に対する周辺車両２１、２２との間で車車間通信を行うため、５ＧＨｚ帯の電波が適している。

車車間通信では、車載機は、搭載車両の現在の状態を示す状態情報、例えば位置、速度、制御（ブレーキなど）といった情報を、例えば１秒間に数十回、送信することができる。また、路車間通信では、車載機を搭載した車両が路側機の近傍を通過する際に、車両（車載機）に対して信号を送信することができる。車載機は、このような、車車間通信、路車間通信により取得される情報に基づき、運転支援のための情報を出力する。

（第１の実施形態）
次に、第１の実施形態について説明する。図２は、第１の実施形態に係る物体検出装置１００の機能を説明するための一例の機能ブロック図である。図２に示される物体検出装置１００は、例えば上述した自車両２０の車載機１０に含まれる。図２において、物体検出装置１００は、車車間通信部１１１と、周辺車両情報取得部１１２と、自車両情報取得部１１３と、生成部１１４と、撮像処理部１１７と、探索部１２０と、算出部１２１と、出力部１２２と、路車間通信部１３１と、更新情報取得部１３２とを含む。

これら車車間通信部１１１、周辺車両情報取得部１１２、自車両情報取得部１１３、生成部１１４、撮像処理部１１７、探索部１２０、算出部１２１、出力部１２２、路車間通信部１３１および更新情報取得部１３２は、ＣＰＵ(Central Processing Unit)上でプログラムが動作することにより実現される。これに限らず、これら車車間通信部１１１、周辺車両情報取得部１１２、自車両情報取得部１１３、生成部１１４、撮像処理部１１７、探索部１２０、算出部１２１、出力部１２２、路車間通信部１３１および更新情報取得部１３２のうち一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

図２において、車車間通信部１１１は、アンテナ１１０を介して車車間通信による情報の送受信を行う。周辺車両情報取得部１１２は、車車間通信部１１１により受信された、周辺車両の車両情報を取得し、取得した車両情報を所定時間（例えば１秒）の間、記憶する。周辺車両情報取得部１１２は、車両情報を取得して所定時間を経過した後、その車両情報を破棄する。なお、ここでいう「周辺」は、例えば自車両２０との間で車車間通信による通信が可能な範囲内を示す。

図３は、第１の実施形態に適用可能な、周辺車両情報取得部１１２により取得され記憶される周辺車両の車両情報（周辺車両情報と呼ぶ）の例を示す。図３に示すように、周辺車両情報取得部１１２は、複数の周辺車両について、それぞれ周辺車両情報１４０₁、１４０₂、１４０₃、…を取得および記憶することができる。図３の例では、車両情報１４０₁、１４０₂、１４０₃、…は、それぞれ周辺車両情報＃１、＃２、＃３、…としても示されている。

各周辺車両情報１４０₁、１４１₂、１４１₃、…は、識別情報１４１と、状態情報１４２とを含む。以下、特に記載の無い限り、周辺車両情報１４０₁、１４１₂、１４１₃、…を、周辺車両情報１４０で代表させて説明を行う。

識別情報１４１は、周辺車両情報１４０の送信元の車両の例えば車種を識別する。識別情報１４１としては、ＩＳＯ(International Organization for Standardization)により定義される車両識別番号（ＶＩＮ）を用いることができる。車両識別番号は、国際製造者識別子（ＷＭＩ）と、車両記述区分（ＶＤＳ）と、車両識別子区分（ＶＩＳ）を含んで構成され、１７桁の値で表現される。車両識別番号は、自動車、二輪車、自転車、シニアカー、車椅子、電動カート、ロボット、工場内搬送装置ＡＧＶ(Automated Guided Vehicle)、ＵＡＶ(Unmanned Aerial Vehicle)、路面電車、歩行者（高齢者）、歩行者（子供）のような種別情報が含まれていてもよい。

なお、識別情報１４１は、上述した車両識別番号に限られず、例えば日本国内で定義される車台番号を用いてもよい。

状態情報１４２は、周辺車両情報１４０の送信元の車両の、車両情報の取得時の状態を示す各情報を含む。図３の例では、状態情報１４２は、時刻情報と、位置情報と、進行方向情報と、速度情報とを含んでいる。時刻情報は、この車両情報を取得した時刻を示す。位置情報は、時刻情報で示される時刻における、車両の位置を示す。位置情報は、例えば緯度および経度を用いて示される。位置情報に高度を含めてもよい。進行方向情報は、時刻情報で示される時刻における、車両の向き（進行方向）を示す。進行方向情報は、例えば、基準となる方向（例えば経度方向）に対する角度を用いて示すことができる。速度情報は、時刻情報で示される時刻における、車両の速度を示す。

なお、状態情報１４２に含まれる各情報の精度は、例えば、時刻情報が±０．１秒程度、位置情報が緯度経度それぞれ±２ｍ程度、進行方向情報が±２０°程度、速度情報が±０．２ｍ／ｓ程度が想定される。

一例として、車車間通信による車両情報の送信が１秒間に１０回行われ、周辺車両情報取得部１１２が記憶した周辺車両情報１４０を１秒間保持した後に破棄する場合、周辺車両情報取得部１１２は、識別情報１４１が同一で、状態情報１４２が互いに異なる１０個の周辺車両情報１４０を常時保持することになる。

図２において、自車両情報取得部１１３は、この物体検出装置１００が搭載される自車両２０の車両情報を取得し、記憶する。図４は、第１の実施形態に適用可能な、自車両情報取得部１１３により取得され記憶される自車両情報の例を示す。図４において、自車両情報１４３は、時刻情報、位置情報、進行方向情報および速度情報を含む。それぞれの意味は、上述した状態情報１４２に含まれる時刻情報、位置情報、進行方向情報および速度情報と共通である。

なお、自車両情報取得部１１３は、位置情報を、ＧＮＳＳ(Global Navigation Satellite System)を利用して取得してもよいし、進行方向情報と速度情報とに基づき推測して取得してもよい。また、自車両情報取得部１１３は、所定間隔（例えば１０回／秒）で繰り返して自車両情報１４３を取得および記憶し、記憶した自車両情報１４３を、取得から所定時間（例えば１秒）の経過後に破棄する。

車両ＤＢ１１５は、上述した識別情報１４１と、識別情報１４１により示される車両の３次元情報による外形情報とが関連付けられて格納される。例えば、車両ＤＢ１１５は、識別情報１４１が入力されると、入力された識別情報１４１に関連付けられた外形情報を出力する。以下、「３次元情報による外形情報」を「３Ｄ外形情報」と略称する。

図５は、第１の実施形態に係る車両ＤＢ１５の構成の例を示す。車両ＤＢ１１５は、識別情報１４１と３Ｄ外形情報とを１対１に関連付けて格納する。なお、図５では、便宜上、識別情報１４１を６桁の値「ａａａａ０１」、「ｂｂｂｂ０３」および「ｘｘｘｘ２２」でそれぞれ示している。

３Ｄ外形情報は、車両の外形を、３次元情報、例えば、車両の外形における各頂点の所定の原点に対する座標（ｘ，ｙ，ｚ）と、各頂点を結ぶ線を示す情報とを用いて表した情報である。これに限らず、３Ｄ外形情報は、３以上の頂点に囲まれた面を示す情報を含んでいてもよい。３Ｄ外形情報は、例えば、車両のメーカにより、設計時などのＣＡＤ(Computer-Aided Design)データに基づき提供される。

３Ｄ外形情報は、３次元の座標情報を持っているため、３Ｄ外形情報に所望の回転角を持つ回転行列を適用して回転させて２次元平面に射影することで、所望の向きから見た車両の２次元情報による外形図を容易に作成することができる。同様に、３Ｄ外形情報に所望の拡大縮小率を持つ拡大縮小行列を適用して２次元平面に射影することで、所望の大きさに拡大縮小された車両の２次元情報による外形図を容易に作成することができる。

なお、車両ＤＢ１１５は、３Ｄ外形情報を、少なくとも、例えば後述する探索部１２０による画像認識のピクセルの精度で持つことが好ましい。３Ｄ外形情報の精度をさらに細かくすることも可能である。この場合、精度を細かくするとデータ容量が大きくなり、また、処理に要する時間も増大する。そのため、車両ＤＢ１１５に格納する３Ｄ外形情報の精度は、必要とされる精度や処理速度、対応可能なデータ容量などを考慮して決定することが好ましい。

図２において、生成部１１４は、周辺車両情報取得部１１２が取得した周辺車両情報１４０₁、１４０₂、１４０₃、…と、自車両情報取得部１１３が取得した自車両情報１４３と、車両ＤＢ１１５に格納される３Ｄ外形情報とに基づき、各周辺車両情報１４０₁、１４０₂、１４０₃、…に対応する２次元情報テンプレートを生成する。

生成部１１４は、例えば周辺車両情報１４０に含まれる識別情報１４１に対応する３Ｄ外形情報を車両ＤＢ１１５から取得する。生成部１１４は、周辺車両情報１４０に含まれる状態情報１４２と、自車両情報１４３とに基づき、周辺車両情報１４０に対応する周辺車両の、自車両２０から見た相対的な位置および進行方向を求める。生成部１１４は、求めた相対的な位置および進行方向に基づき、車両ＤＢ１１５から取得した３Ｄ外形情報に対して回転、拡大縮小処理を施し、回転および拡大縮小処理された３Ｄ外形情報を、２次元平面に射影し、２次元情報を生成する。この、３Ｄ外形情報を、自車両２０から見た相対的な位置および進行方向に基づき回転、拡大縮小処理を施して２次元平面に射影して生成した２次元情報を、２次元情報テンプレートと呼ぶ。生成部１１４による２次元情報テンプレート生成処理の詳細は、後述する。

撮像部１１６は、例えば自車両２０に搭載された車載カメラである。この車載カメラは、例えば、自車両２０の前方の所定の撮像範囲で撮像して撮像画像を出力する。撮像処理部１１７は、撮像部１１６による撮像を制御し、撮像部１１６から出力された撮像画像に対して、ノイズ除去、レベル調整など所定の画像処理を施して出力する。

探索部１２０は、撮像処理部１１７から出力された撮像画像に対して、生成部１１４で生成された２次元情報テンプレートによる画像マッチング処理を行い、２次元情報テンプレートが対応する撮像画像内の位置を求める。このとき、探索部１２０は、第１の２次元情報テンプレートの前面に対して重なる第２の２次元情報テンプレートが存在するか否かを検出する。

算出部１２１は、探索部１２０で第１の２次元情報テンプレートの前面に対して重なる第２の２次元情報テンプレートが存在すると検出された場合に、第１の２次元情報テンプレートにおいて第２の２次元情報テンプレートが第１の２次元情報テンプレートに重なる部分と、第１の２次元情報テンプレートの全体との比率を算出する。算出部１２１は、算出された比率に対して閾値判定を行い、比率が閾値以上であると判定された場合に、当該第１の２次元情報テンプレートを示す情報を出力部１２２に渡す。

出力部１２２は、周辺車両情報取得部１１２から、算出部１２１から渡された２次元情報テンプレートを示す情報に対応する識別情報１４１に関連付けられた状態情報１４２を取得する。また、出力部１２２は、自車両情報取得部１１３から、自車両情報１４３を取得する。出力部１２２は、取得したこれら状態情報１４２と自車両情報１４３とに基づき、算出部１２１から渡された２次元情報テンプレートに対応する周辺車両２１と、自車両２０とが衝突する可能性があるか否かを判定する。出力部１２２は、衝突する可能性があると判定した場合、衝突可能性を示す通知を出力する。

図２において、路車間通信部１３１は、アンテナ１３０を介して路車間通信による情報の送受信を行う。更新情報取得部１３２は、路車間通信部１３１により路側機３２と路車間通信を行い、路側機３２に接続される外部車両ＤＢ３３に対して、３Ｄ外形情報の更新の有無を問い合わせる。更新情報取得部１３２は、問い合わせの結果、外部車両ＤＢ３３において更新があったとされた場合、外部車両ＤＢ３３から更新された３Ｄ外形情報を取得して、取得した３Ｄ外形情報により車両ＤＢ１１５に格納される３Ｄ外形情報を更新する。

図６は、第１の実施形態に適用可能な物体検出装置１００の一例のハードウェア構成を示す。図６において、物体検出装置１００は、ＣＰＵ１０００と、ＲＯＭ(Read Only Memory)１００１と、ＲＡＭ１００２と、カメラＩ／Ｆ１００３と、位置情報取得部１００４と、ストレージ１００５と、操作部１００６と、グラフィクスＩ／Ｆ１００７と、通信部１００９とを含み、これら各部がバス１０２０により互いに通信可能に接続されている。

ストレージ１００５は、不揮発にデータを記憶する記憶媒体であって、フラッシュメモリやハードディスクドライブを用いることができる。ＣＰＵ１０００は、ストレージ１００５やＲＯＭ１００１に予め記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この物体検出装置１００の動作を制御する。

なお、上述した周辺車両情報取得部１１２や、自車両情報取得部１１３は、取得した各周辺車両情報１４０や自車両情報１４３を、ストレージ１００５に記憶する。これに限らず、周辺車両情報取得部１１２や、自車両情報取得部１１３は、各周辺車両情報１４０や自車両情報１４３をＲＡＭ１００２に記憶してもよい。また、車両ＤＢ１１５の情報は、ストレージ１００５に記憶される。

カメラＩ／Ｆ１００３は、自車両２０の周辺の状態を検知するセンサとしてのカメラ１０１１を物体検出装置１００に接続するためのインタフェースである。図２の撮像部１１６は、例えばカメラ１０１１とカメラＩ／Ｆ１００３とを含んだ構成に対応する。ＣＰＵ１０００は、カメラＩ／Ｆ１００３を介してカメラ１０１１の撮像動作を制御することができる。

位置情報取得部１００４は、例えばＧＮＳＳ(Global Navigation Satellite System)を用いて現在位置を示す情報を取得する。これに限らず、位置情報取得部１００４は、ＩＭＵ（慣性計測装置）を用いて現在位置を取得してもよいし、ＧＮＳＳとＩＭＵとを組み合わせて現在位置を取得してもよい。また、位置情報取得部１００４は、自車両２０の速度とステアリングの角度とに基づき現在位置を計算してもよい。

操作部１００６は、操作子やタッチパネルにより、ユーザ操作を受け付ける。グラフィクスＩ／Ｆ１００７は、ＣＰＵ１０００がプログラムに従い生成した表示データを、表示装置１００８を駆動可能な表示制御信号に変換して出力する。表示装置１００８は、例えばＬＣＤ(Liquid Crystal Display)を表示として用い、グラフィクスＩ／Ｆ１００７から供給される表示制御信号に応じた画面を表示する。

通信部１００９は、アンテナ１０１０を介して無線通信を行う。図６の例では、通信部１００９は、図２の車車間通信部１１１の機能と、路車間通信部１３１の機能とを含む。また、アンテナ１０１０は、図２のアンテナ１１０の機能と、アンテナ１３０の機能とを含む。これに限らず、図２のアンテナ１１０および１３０に対応する２本のアンテナを設け、車車間通信部１１１の機能を実現する通信部と、路車間通信部１３１の機能を実現する通信部とをそれぞれ設けるようにしてもよい。

なお、第１の実施形態に係る物体検出処理を実行するための物体検出プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、物体検出プログラムを、ＲＯＭ１００１に予め記憶させて提供してもよい。

さらに、各実施形態に係る検出処理を実行するための物体検出プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施形態および変形例に係る検出処理を実行するための物体検出プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。

第１の実施形態に係る物体検出処理を実行するための物体検出プログラムは、例えば上述した各部（車車間通信部１１１、周辺車両情報取得部１１２、自車両情報取得部１１３、生成部１１４、撮像処理部１１７、探索部１２０、算出部１２１、出力部１２２、路車間通信部１３１および更新情報取得部１３２）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１０００が例えばストレージ１００５から当該物体検出プログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ１００２）上にロードされ、各部が主記憶装置上に生成されるようになっている。

次に、図７〜図１３を用いて、第１の実施形態に係る物体検出装置１００による物体検出処理について、より詳細に説明する。図７は、第１の実施形態に係る物体検出装置１００による物体検出処理を示す一例のフローチャートである。

ステップＳ１００で、周辺車両情報取得部１１２は、車車間通信部１１１の車車間通信により、自車両２０の周辺に存在する周辺車両２１について、周辺車両情報１４０を取得する。ここでは、ｎ台の周辺車両２１について周辺車両情報１４０が取得されたものとする。次のステップＳ１０１では、以降の処理で用いる変数ｉおよび変数ｊを１に初期化している。

次のステップＳ１０２で、生成部１１４は、周辺車両情報取得部１１２から、ステップＳ１００で取得されたｎ個の周辺車両情報１４０を受け取り、受け取った周辺車両情報１４０それぞれから識別情報１４１を取り出す。なお、生成部１１４は、同一の識別情報１４１を持つ複数の周辺車両情報１４０が存在する場合、各周辺車両情報１４０に含まれる時刻情報に基づき、最新の周辺車両情報１４０を取得するものとする。

ステップＳ１０２〜ステップＳ１０５では、各識別情報１４１を、変数ｉ（ｉは１≦ｉ≦ｎの整数）を用いて識別情報（ｉ）として表す。生成部１１４は、車両ＤＢ１１５から、識別情報（ｉ）に対応する３Ｄ外形情報（ｉ）を取得する。

次のステップＳ１０３で、生成部１１４は、自車両情報取得部１１３から自車両情報１４３を取得する。この場合も、周辺車両情報１４０の例と同様に、自車両情報取得部１１３が複数の自車両情報１４３を記憶している場合、時刻情報に基づき、最新の自車両情報１４３を取得するものとする。

生成部１１４は、取得した自車両情報１４３と、識別情報（ｉ）に含まれる状態情報１４２とに基づき、識別情報（ｉ）に対応する周辺車両２１の、自車両２０に対する相対位置を計算する。例えば、生成部１１４は、自車両情報１４３に含まれる位置情報、走行方向情報および速度情報と、識別情報（ｉ）の状態情報１４２に含まれる位置情報、走行方向情報および速度情報とに基づき、相対位置を計算する。

次のステップＳ１０４で、生成部１１４は、ステップＳ１０３で計算された相対値に基づき、識別情報（ｉ）に対応する３Ｄ外形情報を２次元平面に射影して、当該３Ｄ外形情報に基づく２次元情報テンプレート（ｉ）を生成する。なお、３Ｄ外形情報を射影する２次元平面は、撮像部１１６（カメラ１０１１）の撮像範囲（画角）に対応する２次元平面であるとする。すなわち、撮像部１１６により取得される画像情報は、２次元情報である。

図８は、第１の実施形態に係る、ステップＳ１０４で生成部１１４に生成される２次元情報テンプレート（ｉ）の例を示す。図８（ａ）〜図８（ｃ）において、同一の３Ｄ外形情報から生成され、それぞれ向きおよび大きさが異なる２次元情報テンプレート２１０ａ〜２１０ｃが示されている。なお、図８（ａ）〜図８（ｃ）は、各２次元情報テンプレート２１０ａ〜２１０ｃの大きさおよび向きを比較可能とするために、便宜上、撮像部１１６により撮像される撮像画像２００内に配置したものとして示している。

また、図８（ａ）〜図８（ｃ）において、各２次元情報テンプレート２１０ａ〜２１０ｃは、図５において識別情報「ａａａａ０１」に関連付けられた３Ｄ外形情報に基づき生成されたものであって、それぞれ細部を簡略化して示している。

図８（ａ）および図８（ｂ）は、同一の周辺車両２１について、自車両２０に対する相対位置が同一で、相対的な走行方向が異なる場合の２次元情報テンプレート２１０ａおよび２１０ｂの例を示す。図８（ｃ）は、同一の周辺車両２１について、当該周辺車両２１が、自車両２０に対して、図８（ａ）における当該周辺車両２１の位置よりも遠い位置にある場合の２次元情報テンプレート２１０ｃの例を示す。

生成部１１４は、当該周辺車両２１の識別情報１４１に対応する３Ｄ外形情報に対して、例えば、自車両２０および当該周辺車両２１の各位置情報および各走行方向情報に基づき、拡大縮小処理および回転処理を施して、変換された３Ｄ外形情報を生成する。次に、生成部１１４は、生成した変形された３Ｄ外形情報を２次元平面に射影して２次元情報テンプレート２１０ａ〜２１０ｃを生成する。

生成部１１４は、このようにして、３Ｄ外形情報から２次元情報テンプレートを生成している。そのため、生成部１１４は、自車両２０に対して相対的な走行方向に従った方向を向いた画像（２次元情報テンプレート２１０ａおよび２１０ｂ）を生成することができる。同様に、生成部１１４は、自車両２０からより遠い位置にあり自車両２０からより小さく見える画像（２次元情報テンプレート２１０ｃ）を生成することができる。

図７の説明に戻り、次のステップＳ１０５で、生成部１１４は、変数ｉと値ｎとを比較して、ステップＳ１００で取得されたｎ個の周辺車両情報１４０について処理が終了したか否かを判定する。生成部１１４は、終了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、変数ｉを１だけインクリメントして（ｉ＝ｉ＋１）、処理をステップＳ１０２に戻す。一方、生成部１１４は、終了したと判定した場合（ステップＳ１０５、「Ｙｅｓ」）、処理をステップＳ１０６に移行する。このとき、生成部１１４は、ステップＳ１０２〜Ｓ１０４の処理により生成されたｎ個の２次元情報テンプレート（１）〜（ｎ）を探索部１２０に渡す。

ステップＳ１０６で、撮像処理部１１７は、撮像部１１６から出力される撮像画像を取得し、取得した撮像画像を探索部１２０に渡す。なお、この撮像画像の取得処理は、次のステップＳ１０７の処理以前であれば、実行するタイミングは限定されない。例えば、ステップＳ１００における周辺車両情報１４０の取得時や、所得の直前、直後などに撮像画像を取得してもよい。

次のステップＳ１０７およびステップＳ１０８で、探索部１２０は、生成部１１４から渡された２次元情報テンプレート（１）〜（ｎ）それぞれを被探索対象として、撮像処理部１１７から渡された撮像画像２００を探索対象とした探索処理を行う。なお、ステップＳ１０７およびステップＳ１０８では、各識別情報１４１を、変数ｊ（ｊは１≦ｊ≦ｎの整数）を用いて識別情報（ｊ）として表す。

ステップＳ１０７で、探索部１２０は、２次元情報テンプレート（１）〜（ｎ）のうち２次元情報テンプレート（ｊ）について探索処理を行う。探索部１２０は、撮像画像２００から、２次元情報テンプレート（ｊ）と対応する画像が探索された場合に、画像が探索された位置または領域に、当該２次元情報テンプレート（ｊ）に対応する識別情報（ｊ）を関連付ける。

次のステップＳ１０８で、探索部１２０は、変数ｊと値ｎとを比較して、生成部１１４から渡された２次元情報テンプレート（１）〜（ｎ）について処理が終了したか否かを判定する。探索部１２０は、終了していないと判定した場合（ステップＳ１０８、「Ｎｏ」）、変数ｊを１だけインクリメントして（ｊ＝ｊ＋１）、処理をステップＳ１０７に戻す。一方、探索部１２０は、終了したと判定した場合（ステップＳ１０８、「Ｙｅｓ」）、処理をステップＳ１０９に移行する。

なお、探索部１２０は、ステップＳ１０７による探索処理を、生成部１１４から渡された２次元情報テンプレート（１）〜（ｎ）のうちサイズが大きい２次元情報テンプレートから順に実行することが好ましい。この場合、サイズは、例えば２次元情報テンプレートの面積である。これに限らず、サイズを、２次元情報テンプレートの撮像画像２００内での水平方向または垂直方向の大きさとしてもよい。

図９〜図１２を用いて、第１の実施形態に係る探索処理についてより詳細に説明する。図９は、第１の実施形態に適用可能な探索処理を概略的に示す。図９に示されるように、探索部１２０は、被探索対象である２次元情報テンプレート２１１を探索対象の撮像画像２００内で移動させる。探索部１２０は、例えば、２次元情報テンプレート２１１を撮像画像２００内で水平方向に所定単位毎に移動させ、さらに、垂直方向に所定単位毎に移動させる。探索部１２０は、移動された各位置において、２次元情報テンプレート２１１と、撮像画像における２次元情報テンプレートに対応する領域の画像４００との類似度を算出する。類似度の算出は、ＳＳＤ(Sum of Squared Difference)、ＳＡＤ(Sum of Absolute Difference)といった既存の技術を適用することができる。これらに限らず、例えば、画像のエッジ検出結果に対して類似度を計算してもよい。

ここで、撮像画像２００では、自車両２０から見て第１の周辺車両２１よりも奥に位置する第２の周辺車両２１は、第１の周辺車両２１の画像に一部または全部が隠れてしまうため、撮像画像２００上に一部または全部が含まれないことになる。これに対して、周辺車両情報１４０は、状態情報１４２中に位置情報を含む。そのため、周辺車両情報１４０に基づき、撮像画像２００に含まれていないが自車両２０の周辺に位置する第２の周辺車両２１を認識することが可能である。一方、状態情報１４２中に含まれる位置情報は、上述したように、精度が±数ｍと比較的大きく、位置情報のみの判定では、自車両２０から見た場合の第１の周辺車両２１と第２の周辺車両２１との位置関係（前後関係）を誤認してしまうおそれがある。

そのため、探索部１２０は、撮像画像２００において最初の２次元情報テンプレートの位置が確定した後の探索処理を、その処理までに既に位置が確定した２次元情報テンプレートの前面および背面からそれぞれ実行すると好ましい。

ここで、２次元情報テンプレートの前面は、自車両２０から当該２次元情報テンプレートを見た場合の、当該２次元情報テンプレートの面である。一方、２次元情報テンプレートの背面は、当該２次元情報テンプレートから自車両２０を見る方向で当該２次元情報テンプレートを見た場合の、当該２次元情報テンプレートの面である。換言すれば、２次元情報テンプレートの、自車両２０の側から見える面が前面であり、自車両２０の側から見えない面が背面である。

図１０および図１１を用いて、第１の実施形態に係る、探索部１２０による２次元情報テンプレートの前面からの探索処理（第１の探索）および背面からの探索処理（第２の探索）について説明する。図１０および図１１は、画像４１０に対応する２次元情報テンプレートの位置が既に確定された状態で、画像４１１に対応する２次元情報テンプレート２１３について探索処理を行う例を示している。

また、図１０（ａ）および図１１（ａ）にそれぞれ示されるように、撮像画像上の位置において、２次元情報テンプレート画像２１３は、その一部が、位置が既に確定した２次元情報テンプレートと重複しており、２次元情報テンプレート画像２１３に対応する画像４１１は、画像４１０に重複する残りの部分の画像４１１ａが撮像画像上に現れているものとする。このとき、画像４１１ａは、画像４１１の全体に対して４０％の部分であるものとする。

なお、以下では、類似度を０≦Ｓ≦１である類似度Ｓとして表し、類似度Ｓ＝１で、最も類似度が高いものとする。

図１０は、２次元情報テンプレートの前面から探索処理を行う例を示す。この場合、探索部１２０は、図１０（ｂ）〜図１０（ｅ）に示されるように、既に位置が確定した、画像４１０に対応する２次元情報テンプレートを無視して、画像４１１に対応する２次元情報テンプレート２１３による探索を実行する。なお、図１０（ｂ）〜図１０（ｅ）において、境界線２２０は、画像４１０に対応する２次元情報テンプレートの、画像４１１側の境界を示している。

探索部１２０は、探索処理において、図９を用いて説明したように、被探索対象の２次元情報テンプレート２１３を、探索対象である撮像画像内で水平方向に移動させる。図１０（ｂ）〜図１０（ｅ）は、探索部１２０が２次元情報テンプレート２１３を右方向に順次移動させる様子を示している。２次元情報テンプレート２１３が、２次元情報テンプレート２１３の左側の部分２１３ａと画像４１１ａとが略一致する、図１０（ｄ）の位置に移動した状態で、類似度Ｓが最高になる。この場合、２次元情報テンプレート２１３の一部が画像４１１ａと類似しているため、例えば、画像４１１ａの画像４１１全体に対する割合に応じて、類似度Ｓ＝０．４であるものとする。

図１１は、２次元情報テンプレートの背面から探索処理を行う例を示す。図１１（ｂ）〜図１１（ｅ）は、２次元情報テンプレート２１３を上述した図１０（ｂ）〜図１０（ｅ）と対応する位置に移動させた例を示している。この場合、探索部１２０は、図１１（ｂ）〜図１１（ｅ）に示されるように、既に位置が確定した画像４１０に対応する２次元情報テンプレートと、画像４１１に対応する２次元情報テンプレート２１３との差分を用いて探索を実行する。

上述と同様に、探索部１２０は、図１１（ｂ）〜図１１（ｅ）に示されるように、被探索対象の２次元情報テンプレート２１３を撮像画像内で水平方向に移動させる。このとき、探索部１２０は、境界線２２０の位置において２次元情報テンプレート２１３を切り出し、切り出した２次元情報テンプレートを被探索対象として用いて、画像４１１ａとの類似度を求める。

より具体的には、探索部１２０は、図１１（ｂ）の状態では、２次元情報テンプレート２１３の位置がまだ境界線２２０に達していないので、２次元情報テンプレート２１３をそのまま用いて類似度を求める。探索部１２０は、図１１（ｃ）および図１１（ｃ）の、２次元情報テンプレート２１３の一部が境界線２２０に掛かった状態では、境界線２２０よりも右側にはみ出た部分２１４ａ’や部分２１４ｂ’を捨て、残りの部分２１４ａや部分２１４ｂを用いて類似度を求める。この残りの部分２１４ａおよび２１４ｂが、既に位置が確定した画像４１０に対応する２次元情報テンプレートと、画像４１１に対応する２次元情報テンプレートとの差分となる。

この例では、２次元情報テンプレート２１３が図１１（ｄ）の位置に移動した状態で、２次元情報テンプレート２１３を境界線２２０に従い切り出した残りの部分２１４ｂと、画像４１１ａとが略一致し、類似度Ｓが最高になる。この場合、２次元情報テンプレート２１３から切り出した残りの部分２１４ｂの全体が画像４１１ａと類似しているため、例えば類似度Ｓ＝１．０となる。

上述の例では、背面からの探索によって求めた最大の類似度Ｓ（＝１．０）が、前面からの探索によって求めた最大の類似度Ｓ（＝０．４）よりも高い。したがって、２次元情報テンプレート２１３が、画像４１０に対応する２次元情報テンプレートの背面側にあると判定できる。一方、同様にして前面からの探索によって求めた最高の類似度Ｓが、背面からの探索によって求めた最大の類似度Ｓよりも高い場合は、２次元情報テンプレート２１３が、画像４１０に対応する２次元情報テンプレートの前面側にあると判定できる。

また、探索部１２０は、前面からの探索と背面からの探索とで、撮像画像内の同一位置での類似度Ｓが異なる場合に、２次元情報テンプレート２１３と、画像４１０に対応する２次元情報テンプレートとが重複していると判定できる。上述の例では、２次元情報テンプレート２１３を移動させているので、２次元情報テンプレート２１３に対して重複する部分を持つ２次元情報テンプレートが検出されたと考えることができる。

なお、上述の例で、画像４１１に対応する２次元情報テンプレート２１３が、画像４１０に対応する２次元情報テンプレートよりもサイズが小さく、且つ、当該２次元情報テンプレートの背面側にある場合、自車両２０から見て、２次元情報テンプレート２１３が画像４１０に対応する２次元情報テンプレートに完全に隠れてしまうことも考えられる。この場合、探索部１２０は、例えば内容を持たない（Ｎｕｌｌデータのみを持つ）２次元情報テンプレート２１３’（図１１（ｅ））を用いることで、背後に隠れた位置での探索を実行することが可能である。

また、図１２（ａ）に例示されるように、互いに重複する２以上の２次元情報テンプレート２１６および２１７の撮像画像内での位置が既に確定した状態で、次の２次元情報テンプレート２１８による探索を実行する場合も有り得る。この場合、探索部１２０は、図１２（ｂ）に示されるように、既に位置が確定した２次元情報テンプレート２１６および２１７を統合した統合２次元情報テンプレート２１６’を生成し、この統合２次元情報テンプレート２１６’に対して、２次元情報テンプレート２１８による探索を実行する。

図７の説明に戻り、ステップＳ１０９で、探索部１２０は、上述したステップＳ１０７およびステップＳ１０８の処理の結果に基づき、互いに重複部分を持つ２次元情報テンプレートの組が存在するか否かを判定する。存在しないと判定した場合（ステップＳ１０９、「Ｎｏ」）、図７のフローチャートによる一連の処理が終了される。

一方、探索部１２０は、互いに重複部分を持つ２次元情報テンプレートの組が存在すると判定した場合（ステップＳ１０９、「Ｙｅｓ」）、処理をステップＳ１１０に移行させる。ステップＳ１１０で、算出部１２１は、互いに重複部分を持つ２次元情報テンプレートの組における、２次元情報テンプレートの重複率を算出する。２次元情報テンプレートの重複率は、第１の２次元情報テンプレートの前面側の少なくとも一部に、第２の２次元情報テンプレートの部分または全部が重なっている場合に、第１の２次元情報テンプレートにおける、第２の２次元情報テンプレートが重複している部分の、第１の２次元情報テンプレートの全体に対する割合である。

一例として、上述の図１１（ｄ）では、背面側の２次元情報テンプレート２１３が第１の２次元情報テンプレートに相当する。また、画像４１０に対応する２次元情報テンプレートのうち、２次元情報テンプレート２１３に対応する前面側の２次元情報テンプレートが第２の２次元情報テンプレートに相当する。重複率は、背面側の２次元情報テンプレート２１３の全体に対する、２次元情報テンプレート２１３が境界線２２０から画像４１０内部に向けてはみ出した（２次元情報テンプレート２１３が画像４１０に重複する）部分である部分２１４ｂ’の割合となる。図１１（ｄ）の例では、重複率は、例えば６０％程度となる。

次のステップＳ１１１で、算出部１２１は、算出した重複率が閾値を超えるか否かを判定する。算出部１２１は、重複率が閾値以下であると判定した場合（ステップＳ１１１、「Ｎｏ」）、処理をステップＳ１１４に移行させる。一方、算出部１２１は、重複率が閾値を超えると判定した場合（ステップＳ１１１、「Ｙｅｓ」）、処理をステップＳ１１２に移行する。

ステップＳ１１２で、出力部１２２は、互いに重複部分を持つ２次元情報テンプレートの組における、背面側の２次元情報テンプレートに対応する周辺車両２１と、自車両２０とが衝突する可能性の有無を判定する。出力部１２２は、衝突する可能性が無いと判定した場合（ステップＳ１１２、「Ｎｏ」）、処理をステップＳ１１４に移行させる。

一方、出力部１２２は、衝突する可能性があると判定した場合（ステップＳ１１２、「Ｙｅｓ」）、処理をステップＳ１１３に移行させて、衝突可能性を示す通知を出力する。通知を出力すると、出力部１２２は、処理をステップＳ１１４に移行させる。

ステップＳ１１４で、出力部１２２は、ステップＳ１０９で存在すると判定された、互いに重複部分を持つ２次元情報テンプレートの全ての組について、処理が完了したか否かを判定する。完了していないと判定した場合（ステップＳ１１４、「Ｎｏ」）、処理がステップＳ１１０に戻され、次の組に対する処理が実行される。

一方、完了していると判定された場合（ステップＳ１１４、「Ｙｅｓ」）、図７のフローチャートによる一連の処理が終了される。この場合、図７のフローチャートによる処理が、ステップＳ１００から再び実行される。

上述したステップＳ１１２の、第１の実施形態に係る衝突可能性の有無の判定処理について、図１３を用いて説明する。ステップＳ１１２において、出力部１２２は、互いに重複部分を持つ２次元情報テンプレートの組における、背面側の２次元情報テンプレートに対応する周辺車両２１の周辺車両情報１４０を周辺車両情報取得１１２から取得する。また、出力部１２２は、自車両情報取得部１１３から、自車両２０の自車両情報１４３を取得する。

出力部１２２は、取得した周辺車両情報１４０および自車両情報１４３から、周辺車両２１および自車両２０の位置情報、進行方向情報および速度情報をそれぞれ取り出す。ここで、自車両２０の位置を位置（ｘ₀，ｙ₀）、進行方向を角度０°、速度を速度ｖ₀とする。また、周辺車両２１の位置を位置（ｘ₁，ｙ₁）、進行方向を角度θ、速度を速度ｖ₁とする。

出力部１２２は、これら自車両２０に関する位置（ｘ₀，ｙ₀）、角度０°および速度ｖ₀と、周辺車両２１に関する位置（ｘ₁，ｙ₁）、角度θおよび速度ｖ₁とに基づき、周辺車両情報１４０および自車両情報１４３を取得した時点での、自車両２０および周辺車両２１それぞれの移動を示すベクトルを求めることができる。

出力部１２２は、求めた各ベクトルに基づき、自車両２０および周辺車両２１がそれぞれ方向５１０および５１１に沿って速度ｖ₀およびｖ₁で走行した場合に、方向５１０および５１１が交差する地点５１２に自車両２０および周辺車両２１がそれぞれ到達する時刻を計算することができる。出力部１２２は、計算結果が、地点５１２に自車両２０および周辺車両２１が同時または所定の時間範囲内に到達することを示している場合に、衝突可能性があると判定することができる。

（第１の実施形態のより具体的な例）
次に、上述した図７のフローチャートを参照しながら、第１の実施形態のより具体的な例について説明する。先ず、図７のフローチャートにおけるステップＳ１１３の通知出力を行わない場合の例について説明する。

図１４は、撮像処理部１１７により取得された撮像画像の例を示す。なお、ここでは、説明のため、図７のフローチャートにおけるステップＳ１００の直前に撮像画像の取得が行われたものとしている。図１４の例では、撮像画像２００内に、自車両２０に対する周辺車両２１である３台の車両４２０、４２１および４２２の画像が含まれている。また、車両４２０、４２１および４２２は、自車両２０に対して、車両４２２の奥に車両４２０が位置し、車両４２０の進行方向に対して後側の奥に車両４２１が位置している。このような位置関係の場合、車両４２２の運転者は、自車両２０が見えているものと考えられる。

周辺車両情報取得部１１２は、車車間通信部１１１の通信により、これら車両４２０〜４２２に対応する各周辺車両情報１４０を取得する（図７のステップＳ１００）。生成部１１４は、周辺車両情報取得部１１２により取得された車両４２０〜４２２に対応する各周辺車両情報１４０に含まれる各識別情報１４１に基づき各車両４２０〜４２２の３Ｄ外形情報を取得する（図７のステップＳ１０２）。また、生成部１１４は、各周辺車両情報１４０に含まれる各状態情報１４２と、自車両情報取得部１１３により取得された自車両情報１４３とに基づき、各車両４２０〜４２２の自車両２０に対する相対位置を計算し（図７のステップＳ１０３）、計算結果と、各車両４２０〜４２２の各３Ｄ外形情報とに基づき、各車両４２０〜４２２の２次元情報テンプレートを生成する。

図１５は、第１の実施形態に係る、生成部１１４が各車両４２０〜４２２に対応して生成した各２次元情報テンプレートの例を示す。図１５（ａ）は、車両４２０に対応する２次元情報テンプレート２２０の例、図１５（ｂ）は、車両４２１に対応する２次元情報テンプレート２２１の例、図１５（ｃ）は、車両４２２に対応する２次元情報テンプレート２２２の例を、それぞれ示す。

これら２次元情報テンプレート２２０〜２２２は、対応する各車両４２０〜４２２の大きさと、自車両２０に対する相対位置とに応じた大きさを持つ。図１５（ａ）〜図１５（ｃ）の例では、２次元情報テンプレート２２０〜２２２のうち、２次元情報テンプレート２２０が最も大きく、２次元情報テンプレート２２２が最も小さいものとする。

これら２次元情報テンプレート２２０、２２１および２２２は、それぞれ、車両４２０、４２１および４２２それぞれの識別情報１４１と関連付けられるものである。一方２次元情報テンプレート２２０〜２２２が生成された時点では、撮像画像２００内の各車両４２０〜４２２の画像と２次元情報テンプレート２２０〜２２２との関連付けが行われていない。したがって、撮像画像２００内の各車両４２０〜４２２の画像に対する識別情報１４１の関連付けも、行われていない。

これら２次元情報テンプレート２２０〜２２２に対する、図７のステップＳ１０７およびステップＳ１０８による探索処理の第１の例について、図１６〜図１９を用いて説明する。探索部１２０は、撮像画像２００に対する最初の探索では、２次元情報テンプレート２２０〜２２２のうち最もサイズの大きな２次元情報テンプレート２２０について探索を行う。

図１６は、この探索により２次元情報テンプレート２２０に対応する車両４２０の画像が探索され、２次元情報テンプレート２２０の撮像画像２００内での位置が確定した状態を示す。探索部１２０は、２次元情報テンプレート２２０に対応する識別情報１４１を、２次元情報テンプレート２２０に対応する車両４２０の画像に対して関連付ける。

なお、図１６および以下の同様の図（図１７、図１８、図２１〜図２３）において、太線の実線は、探索対象の２次元情報テンプレートを示し、太線の点線は、探索により位置が確定済みの２次元情報テンプレートを示している。

探索部１２０は、位置が確定された２次元情報テンプレート２２０の次に大きな２次元情報テンプレート２２１について探索を行う。このとき、探索部１２０は、上述したように、２次元情報テンプレート２２１について、２次元情報テンプレート２２０の前面および背面からそれぞれ探索を行う。図１７（ａ）は、２次元情報テンプレート２２０の前面から探索を行った例、図１７（ｂ）は、２次元情報テンプレート２２０の背面から探索を行った例をそれぞれ示す。

この例では、車両４２１が、車両４２０の自車両２０から見て後ろに位置し、撮像画像２００において車両４２１の画像に対して車両４２０の画像が重なっている。そのため、前面から探索を行った場合（図１７（ａ））よりも、背面から探索を行った場合（図１７（ｂ）の方が類似度Ｓが高くなる。したがって、２次元情報テンプレート２２１に対して２次元情報テンプレート２２０が重複していることが分かり、２次元情報テンプレート２２１の撮像画像２００内での位置が確定する。

探索部１２０は、位置が確定された２次元情報テンプレート２２０および２２１の次に大きな２次元情報テンプレート２２２について探索を行う。この場合にも、上述と同様に、２次元情報テンプレート２２２について、２次元情報テンプレート２２０および２２１の前面および背面からそれぞれ探索を行う。この場合、例えば図１２を用いて説明したように、２次元情報テンプレート２２０および２２１を統合した統合２次元情報テンプレートに対して探索を行うとよい。

図１８（ａ）は、統合２次元情報テンプレートの背面から探索を行った例、図１８（ｂ）は、統合２次元情報テンプレートの前面から探索を行った例をそれぞれ示す。図１８（ａ）の例では、２次元情報テンプレート２２２の、統合２次元情報テンプレートに対する差分が部分２２２ａとして示されている。また、図１８（ｂ）の例では、２次元情報テンプレート２２２が、そのままの状態の２次元情報テンプレート２２２ｂとして示されている。

この例では、車両４２２が、車両４２０および４２１の、自車両２０から見て前に位置し、撮像画像２００において車両４２０および４２１の画像に対して車両４２２の画像が重なっている。そのため、背面から探索を行った場合（図１８（ａ））よりも、前面から探索を行った場合（図１８（ｂ）の方が、類似度Ｓが高くなる。したがって、統合２次元情報テンプレートに対して２次元情報テンプレート２２２が重複していることが分かり、２次元情報テンプレート２２２の撮像画像２００内での位置が確定する。

図１９は、このようにして、撮像画像２００内で各２次元情報テンプレート２２０〜２２２の位置が確定した状態を模式的に示す。なお、図１９では、煩雑さを避けるために、各２次元情報テンプレート２２０〜２２２を枠線のみで示している。

算出部１２１は、上述した探索部１２０による探索結果に基づき、各２次元情報テンプレート２２０〜２２２の重複率を算出し、算出した重複率を閾値と比較する。閾値は、例えば７０％とする。

図１９の例では、２次元情報テンプレート２２０および２２１については、２次元情報テンプレート２２１の前面の一部に対して２次元情報テンプレート２２０が重複しており、その重複率が例えば３０％であるものとする。また、２次元情報テンプレート２２２については、２次元情報テンプレート２２０および２２１を統合した統合２次元情報テンプレートの前面の一部に対して２次元情報テンプレート２２２が重複しており、その重複率が５％であるものとする。

図１９の例においては、何れの重複率も閾値以下であり、図７のステップＳ１１２およびステップＳ１１３の処理がスキップされ、出力部１２２による通知の出力が行われない。

次に、図７のフローチャートにおけるステップＳ１１３の通知出力を行う場合の例について説明する。図２０は、撮像処理部１１７により取得された撮像画像の例を示す。なお、図２０において、撮像画像２００内には、上述した図１４と同一の各車両４２０〜４２２が含まれている。図２０の例では、車両４２０、４２１および４２２は、自車両２０に対して、車両４２０の、車両４２０の進行方向側の奥に車両４２２が位置し、車両４２０の進行方向に対して後側の奥に車両４２１が位置している。このような位置関係の場合、車両４２２の運転者は、自車両２０が見えていない可能性がある。

周辺車両情報取得部１１２による周辺車両情報１４０の取得処理、および、生成部１１４による、車両４２０〜４２２に対する２次元情報テンプレート２２０〜２２２の生成処理は、上述と同様なので、ここでの説明を省略する。生成部１１４は、車両４２０〜４２２について、図１５（ａ）〜図１５（ｃ）で示した各２次元情報テンプレート２２０〜２２２を生成するものとする。

これら２次元情報テンプレート２２０〜２２２に対する、図７のステップＳ１０７およびステップＳ１０８による探索処理の第２の例について、図２１〜図２４を用いて説明する。探索部１２０は、撮像画像２００に対する最初の探索では、２次元情報テンプレート２２０〜２２２のうち最もサイズの大きな２次元情報テンプレート２２０について探索を行う。図２１は、この探索により２次元情報テンプレート２２０に対応する車両４２０の画像が探索され、２次元情報テンプレート２２０の撮像画像２００内での位置が確定した状態を示す。

探索部１２０は、位置が確定された２次元情報テンプレート２２０の次に大きな２次元情報テンプレート２２１について、２次元情報テンプレート２２０の前面および背面からそれぞれ探索を行う。図２２（ａ）は、２次元情報テンプレート２２０の前面から探索を行った例、図２２（ｂ）は、２次元情報テンプレート２２０の背面から探索を行った例をそれぞれ示す。図１７（ａ）および図１７（ｂ）の例と同様に、２次元情報テンプレート２２１に対して２次元情報テンプレート２２０が重複しているとされ、２次元情報テンプレート２２１の撮像画像２００内での位置が確定する。

次に、探索部１２０は、位置が確定された２次元情報テンプレート２２０および２２１の次に大きな２次元情報テンプレート２２２について探索を行う。この場合にも、上述と同様に、２次元情報テンプレート２２２について、２次元情報テンプレート２２０および２２１の前面および背面からそれぞれ探索を行う。

図２３（ａ）は、２次元情報テンプレート２２０および２２１を統合した統合２次元情報テンプレートの前面から探索を行った例、図２３（ｂ）は、統合２次元情報テンプレートの背面から探索を行った例をそれぞれ示す。図２３（ａ）の例では、２次元情報テンプレート２２２が、そのままの状態の２次元情報テンプレート２２２ｃとして示されている。また、図２３（ｂ）の例では、２次元情報テンプレート２２２が、統合２次元情報テンプレートに対する差分が部分２２２ｄとして示されている。

この例では、車両４２２が、車両４２０の、自車両２０から見て奥に位置し、撮像画像２００において車両４２２の画像に対して車両４２０の画像が重なっている。そのため、前面から探索を行った場合（図２３（ａ））よりも、背面から探索を行った場合（図２３（ｂ））の方が類似度Ｓが高くなる。したがって、２次元情報テンプレート２２２に対して統合２次元情報テンプレートが重複していることが分かり、２次元情報テンプレート２２２の撮像画像２００内での位置が確定する。図２４は、このようにして、撮像画像２００内で各２次元情報テンプレート２２０〜２２２の位置が確定した状態を模式的に示す。

算出部１２１は、上述した探索部１２０による探索結果に基づき、各２次元情報テンプレート２２０〜２２２の重複率を算出し、算出した重複率を閾値と比較する。図２４の例では、２次元情報テンプレート２２０および２２１については、２次元情報テンプレート２２１の前面の一部に対して２次元情報テンプレート２２０が重複しており、その重複率が例えば３０％であるものとする。また、２次元情報テンプレート２２２については、２次元情報テンプレート２２２の前面の一部に対して２次元情報テンプレート２２０および２２１を統合した統合２次元情報テンプレートが重複しており、その重複率が８０％であるものとする。

図１９の例においては、２次元情報テンプレート２２２に対する重複率（＝８０％）が閾値（＝７０％）を超えており、図７のステップＳ１１２による衝突可能性の判定が行われる。

出力部１２２は、互いに重複する、２次元情報テンプレート２２２と統合２次元情報テンプレートとの組について、背面側の２次元情報テンプレート２２２に対応する車両４２２の周辺車両情報１４０を周辺車両情報取得１１２から取得する。また、出力部１２２は、自車両情報取得部１１３から、自車両２０の車両情報１４３を取得する。

出力部１２２は、図１３を用いて説明したように、取得した周辺車両情報１４０および自車両情報１４３それぞれに含まれる位置情報、進行方向情報および速度情報に基づき、自車両２０と車両４２２との衝突可能性を判定する。出力部１２２は、衝突可能性があると判定した場合、その旨を示す通知を出力する。

図２５は、第１の実施形態に係る、出力部１２２から出力された通知に応じた表示の例を示す。出力部１２２は、例えば、自車両２０に対して衝突する可能性があると判定した車両４２２に対応する２次元情報テンプレート２２２の撮像画像２００内での位置を示す位置情報を取得する。出力部１２２は、取得した位置情報に基づき、撮像画像２００内の車両４２２の画像に対応する位置に、衝突可能性があることを示すワーニング画像６００を、撮像画像２００に対して合成して、表示装置１００８に表示させる。

また、図２５の例では、ワーニング画像６００の表示に加えて、当該車両４２２の画像において、当該車両４２２に対応する２次元情報テンプレート２２２の、車両４２０の２次元情報テンプレート２２０に対する差分の部分２２２ｄに相当する部分が強調表示されている。

上述のように、第１の実施形態に係る物体検出装置１００によれば、撮像画像２００と、車車間通信により取得した周辺車両情報１４０と、周辺車両２１の３Ｄ外形情報と、自車両２０から取得した自車両情報１４３とに基づき、３Ｄ外形情報を２次元平面に射影した２次元情報テンプレートを生成している。そして、物体検出装置１００は、生成した２次元情報テンプレートにより撮像画像２００内を探索することで、各２次元情報テンプレートに対応する車両の位置を特定する。そのため、自車両２０の周辺の周辺車両２１をより高精度に検出することができる。

したがって、第１の実施形態に係る物体検出装置１００を用いることで、車両位置の推定精度に対して周辺車両２１が近接している場合、特に、ある周辺車両２１などの背後に隠れた他の周辺車両２１についても、車両の検出が可能となる。また、ある周辺車両２１などの陰から他の周辺車両２１が飛び出してくることにより発生する、自車両２０と当該他の周辺車両２１との出会い頭衝突の可能性がある場合に、警告を発することが可能となる。

（第２の実施形態）
次に、第２の実施形態について説明する。上述した第１の実施形態では、自車両２０が１台のカメラ１０１１を搭載しているものとして説明した。これに対して、第２の実施形態では、自車両が撮像範囲が互いに異なる複数台の車載カメラを搭載する場合の例である。

図２６は、２台のカメラ１０１１ａおよび１０１１ｂを搭載する自車両７００の例を示す。この例では、２台のカメラ１０１１ａおよび１０１１ｂは、互いに異なる撮像範囲７１０ａおよび７１０ｂを有する。自車両７００において図中の矢印「Ａ」で示された方向が前方である場合、カメラ１０１１ａが前方の撮像範囲７１０ａを撮像し、カメラ１０１１ｂが後方の撮像範囲７１０ｂを撮像する。ここで、カメラ１０１１ａおよび１０１１ｂのうち何れを用いるかは、手動により切り替えてもよいし、自動切り替えにて所定の間隔で交互に切り替えてもよい。

図２７は、第２の実施形態に係る物体検出装置１００’の機能を説明するための一例の機能ブロック図である。なお、図２７において、上述した図２と共通する部分は、同一の符号を付して詳細な説明を省略する。

図２７において、撮像処理部１１７’は、それぞれカメラ１０１１ａおよび１０１１ｂに対応する撮像部１１６ａおよび１１６ｂからの撮像画像を取得可能とされている。撮像処理部１１７’は、手動操作または自動切り替えにより、撮像部１１６ａからの撮像画像と、撮像部１１６ｂからの撮像画像とを選択的に出力することができる。また、撮像処理部１１７’は、撮像部１１６ａおよび１１６ｂのうち、選択中の撮像部を示す撮像部選択情報を出力する。この撮像部選択情報は、生成部１１４’に供給される。

生成部１１４’は、２次元情報テンプレートを作成する際に、周辺車両情報取得部１１２が取得した周辺車両情報１４０₁、１４０₂、１４０₃、…から、撮像処理部１１７’から供給される撮像部選択情報に応じた周辺車両情報を選択する。生成部１１４’は、選択した周辺車両情報に対応して、２次元情報テンプレートを生成する。

一例として、撮像処理部１１７’において撮像部１１６ａが選択された場合について考える。この場合、生成部１１４’は、図７のステップＳ１０２で周辺車両情報取得部１１２から取得した各周辺車両情報１４０のうち、状態情報１４２に含まれる位置情報が撮像部１１６ａによる撮像範囲７１０ａに対応している周辺車両情報１４０を選択する。

例えば、図３に示した各周辺車両情報１４０₁、１４０₂および１４０₃のうち、周辺車両情報１４０₁および１４０₂に含まれる位置情報が撮像範囲７１０ａに含まれる位置を示し、周辺車両情報１４０₃に含まれる位置情報が撮像範囲７１０ｂに含まれる位置を示しているものとする。

生成部１１４’は、撮像部選択情報が撮像部１１６ａを選択していることを示している場合、各周辺車両情報１４０₁、１４０₂および１４０₃から、位置情報が撮像範囲７１０ａに含まれる周辺車両情報１４０₁および１４０₂に基づき、２次元情報テンプレートを生成する。また、撮像処理部１１７’は、使用する撮像部を撮像部１１６ａから撮像部１１６ｂに切り替えると、その旨を示す撮像部選択情報を生成部１１４’に供給する。生成部１１４’は、この撮像部１１６ｂを選択していることを示す撮像部選択情報に応じて、各周辺車両情報１４０₁、１４０₂および１４０₃から、位置情報が撮像範囲７１０ｂに含まれる周辺車両情報１４０₃に基づき、２次元情報テンプレートを生成する。

上述では、撮像範囲が互いに異なる２台のカメラ１０１１ａおよび１０１１ｂを用いた場合について説明したが、これはこの例に限定されない。すなわち、第２の実施形態は、撮像範囲が互いに異なる３台以上の車載カメラを用いた場合にも、同様に適用可能である。

（他の実施形態）
上述の各実施形態では、自車両２０の周辺の状態を検知するセンサとして車載カメラを用い、車載カメラにより撮像した撮像画像と、車車間通信により取得した周辺車両情報とを用いて衝突可能性の判定をしているが、これはこの例に限定されない。センサは、自車両２０の周辺の状態を２次元情報として取得可能なものであれば、他の種類のセンサを用いてもよい。例えば、センサとしてレーザ光線を用いて周辺の状態を検知するレーザレーダや、ミリ波を用いて周辺の状態を検知するミリ波レーダを用いてもよい。例えば、レーザレーダは、点群データにより周辺の物体の存在を検知する。撮像画像の代わりにこの点群データを用いることで、上述と同様の効果を得ることができる。

また、上述では、各実施形態に係る物体検出装置１００および１００’が、運転者による運転を支援するように記載されているが、これはこの例に限定されない。例えば、各実施形態に係る物体検出装置１００および１００’は、自動車の自律走行制御において衝突などを回避する例にも適用することができる。

なお、各実施形態は、上述したそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

２０ 自車両
２１，２２ 周辺車両
３３ 外部車両ＤＢ
１００，１００’ 物体検出装置
１１１ 車車間通信部
１１２ 周辺車両情報取得部
１１３ 自車両情報取得部
１１４，１１４’ 生成部
１１５ 車両ＤＢ
１１６，１１６ａ，１１６ｂ 撮像部
１１７，１１７’ 撮像処理部
１２０ 探索部
１２１ 算出部
１２２ 出力部
１３１ 路車間通信部
１３２ 更新情報取得部
１４０，１４０₁，１４０₂，１４０³ 周辺車両情報
１４１ 識別情報
１４２ 状態情報
１４３ 自車両情報
２００ 撮像画像
２１０ａ，２１０ｂ，２１０ｃ，２１１，２１３，２１３’，２２０，２２１，２２２ ２次元情報テンプレート
４２０，４２１，４２２ 車両
１０００ ＣＰＵ
１０１１，１０１１ａ，１０１１ｂ カメラ

Claims (9)

1. 自車両の周辺の車両について、該車両を識別する識別情報と、該車両の位置を示す第１の位置情報と、該車両の進行方向を示す第１の方向情報とを少なくとも含む車両情報を取得する車両情報取得部と、
   前記識別情報に対応する車両の３次元情報による外形情報と、前記第１の位置情報と、前記第１の方向情報と、前記自車両の位置を示す第２の位置情報と、該自車両の進行方向を示す第２の方向情報とに基づいて、２次元情報テンプレートを生成する生成部と、
   センサが取得した前記自車両周辺の２次元情報内の、前記２次元情報テンプレートが対応する位置を探索する探索部と、
   前記探索部が探索結果に基づき第１の２次元情報テンプレートの前面への第２の２次元情報テンプレートの重複を検出した場合に、前記第１の２次元情報テンプレートに対して前記第２の２次元情報テンプレートが重複する部分の、前記第１の２次元情報テンプレートの全体に対する比率を算出する算出部と、
   少なくとも、前記比率と、前記第１の位置情報と、前記第１の方向情報と、前記第２の位置情報と、前記第２の方向情報とに基づき通知を出力する出力部と
   を備える物体検出装置。
2. 前記探索部は、
   前記２次元情報テンプレートを前記２次元情報内で移動させながら前記２次元情報テンプレートと前記２次元情報との類似度を求めることで前記位置を探索し、
   既に前記第２の２次元情報テンプレートが探索されている場合に、
   前記第２の２次元情報テンプレートを無視して前記第１の２次元情報テンプレートを移動させる第１の探索と、
   前記第２の２次元情報テンプレートと前記第１の２次元情報テンプレートとの差分に基づいた第２の探索とを実行し、
   前記第１の探索で求めた前記類似度よりも前記第２の探索で求めた前記類似度の方が高い場合に、前記重複が検出されたと判定する
   請求項１に記載の物体検出装置。
3. 前記外形情報と前記識別情報とを関連付けて記憶する記憶部と、
   前記外形情報と前記識別情報を更新するための更新情報を取得する更新情報取得部と
   をさらに備える
   請求項１または請求項２に記載の物体検出装置。
4. 前記探索部は、
   ２以上の前記２次元情報テンプレートのうち、サイズが大きい前記２次元情報テンプレートから順番に前記位置を探索する
   請求項１乃至請求項３の何れか１項に記載の物体検出装置。
5. 前記生成部は、
   前記センサが前記２次元情報を取得可能な範囲を示す範囲情報をさらに用いて前記２次元情報テンプレートを生成する
   請求項１乃至請求項４の何れか１項に記載の物体検出装置。
6. 前記出力部は、
   前記第１の位置情報に対応する車両と前記自車両との衝突の可能性を示す前記通知を出力する
   請求項１乃至請求項５の何れか１項に記載の物体検出装置。
7. 前記車両情報取得部は、前記自車両の周辺の車両の速度を示す第１の速度情報をさらに取得し、
   前記出力部は、
   前記比率と、前記第１の位置情報と、前記第１の方向情報と、前記第１の速度情報と、前記第２の位置情報と、前記第２の方向情報と、前記自車両の速度を示す第２の速度情報とに基づき、前記衝突の可能性の有無を判定する
   請求項６に記載の物体検出装置。
8. 自車両の周辺の車両について、該車両を識別する識別情報と、該車両の位置を示す第１の位置情報と、該車両の進行方向を示す第１の方向情報とを少なくとも含む車両情報を取得する車両情報取得ステップと、
   前記識別情報に対応する車両の３次元情報による外形情報と、前記第１の位置情報と、前記第１の方向情報と、前記自車両の位置を示す第２の位置情報と、該自車両の進行方向を示す第２の方向情報とに基づいて、２次元情報テンプレートを生成する生成ステップと、
   センサが取得した前記自車両周辺の２次元情報内の、前記２次元情報テンプレートが対応する位置を探索する探索ステップと、
   前記探索ステップにより探索結果に基づき第１の２次元情報テンプレートの前面への第２の２次元情報テンプレートの重複を検出した場合に、前記第１の２次元情報テンプレートに対して前記第２の２次元情報テンプレートが重複する部分の、前記第１の２次元情報テンプレートの全体に対する比率を算出する算出ステップと、
   少なくとも、前記比率と、前記第１の位置情報と、前記第１の方向情報と、前記第２の位置情報と、前記第２の方向情報とに基づき通知を出力する出力ステップと
   を有する物体検出方法。
9. 自車両の周辺の車両について、該車両を識別する識別情報と、該車両の位置を示す第１の位置情報と、該車両の進行方向を示す第１の方向情報とを少なくとも含む車両情報を取得する車両情報取得ステップと、
   前記識別情報に対応する車両の３次元情報による外形情報と、前記第１の位置情報と、前記第１の方向情報と、前記自車両の位置を示す第２の位置情報と、該自車両の進行方向を示す第２の方向情報とに基づいて、２次元情報テンプレートを生成する生成ステップと、
   センサが取得した前記自車両周辺の２次元情報内の、前記２次元情報テンプレートが対応する位置を探索する探索ステップと、
   前記探索ステップにより探索結果に基づき第１の２次元情報テンプレートの前面への第２の２次元情報テンプレートの重複を検出した場合に、前記第１の２次元情報テンプレートに対して前記第２の２次元情報テンプレートが重複する部分の、前記第１の２次元情報テンプレートの全体に対する比率を算出する算出ステップと、
   少なくとも、前記比率と、前記第１の位置情報と、前記第１の方向情報と、前記第２の位置情報と、前記第２の方向情報とに基づき通知を出力する出力ステップと
   をコンピュータに実行させるための物体検出プログラム。

Images