JP7711665B2 - 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム - Google Patents

Description

本開示は、車両から周辺物体までの距離を推定する距離推定装置、距離推定方法、および距離推定用コンピュータプログラムに関する。

車両の運転を適切に支援するためには、車両から周辺物体までの距離を適切に把握することが重要となる。特許文献１には、車両から所定距離以内にある対象物までの距離を推定し、対象物の位置を追跡する車両周辺監視装置が記載されている。

特開２０１３－５４３９９号公報

特許文献１に記載の車両周辺監視装置は、光軸が平行になるように２台並べて車両内に配置された２台のカメラ（ステレオカメラ）によりそれぞれ撮像された同一対象物の画像部分の視差に基づいて車両から対象物までの距離を推定する。すなわち、特許文献１の車両周辺監視装置によると、車両から対象物までの距離の推定のため専用のステレオカメラの搭載が必要となり、コストの増大を招く。ステレオカメラのような専用のハードウェアを必要としない距離推定装置が求められている。

本開示は、測距用のステレオカメラによることなく車両の周囲の対象物体までの距離を推定することができる距離推定装置を提供することを目的とする。

本開示にかかる距離推定装置は、車両に搭載された第１撮影範囲を有する第１カメラにより第１時刻に生成された車両の周辺の状況を表す第１周辺画像から、車両に搭載された第１撮影範囲よりも狭い第２撮影範囲を有する第２カメラにより第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、第２カメラにより第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する第１部分領域を特定する特定部と、先行第２周辺画像および後続第２周辺画像を用いて、第１時刻に対応する補間第２周辺画像を生成し、第２時刻における第２カメラの位置および第３時刻における第２カメラの位置、または、第１時刻における第１カメラの位置を用いて、第１時刻に対応する第２カメラの補間位置を推定する補間部と、第１部分領域および補間第２周辺画像のそれぞれから、共通に表された対象物体について１以上の特徴点を検出する検出部と、第１時刻における前記第１カメラの位置と第２カメラの補間位置との関係、および、第１部分領域における１以上の特徴点のうち一の特徴点の位置と補間第２周辺画像における前記一の特徴点に対応する特徴点の位置との関係を少なくとも用いて、車両と対象物体との間の距離を推定する推定部と、を備える。

本開示にかかる距離推定装置は、第１部分領域および補間第２周辺画像のうち少なくとも一方の解像度を変更することにより、第１部分領域および補間第２周辺画像が同一の解像度を有するように変換する変換部をさらに備えることが好ましい。

本開示にかかる距離推定方法は、車両に搭載された第１撮影範囲を有する第１カメラにより第１時刻に生成された車両の周辺の状況を表す第１周辺画像から、車両に搭載された第１撮影範囲よりも狭い第２撮影範囲を有する第２カメラにより第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、第２カメラにより第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する第１部分領域を特定し、先行第２周辺画像および後続第２周辺画像を用いて、第１時刻に対応する補間第２周辺画像を生成し、第２時刻における第２カメラの位置および第３時刻における第２カメラの位置、または、第１時刻における第１カメラの位置を用いて、第１時刻に対応する第２カメラの補間位置を推定し、第１部分領域および補間第２周辺画像のそれぞれから、共通に表された対象物体について１以上の特徴点を検出し、第１時刻における第１カメラの位置と第２カメラの補間位置との関係、および、第１部分領域における１以上の特徴点のうち一の特徴点の位置と補間第２周辺画像における一の特徴点に対応する特徴点の位置との関係を少なくとも用いて、車両と対象物体との間の距離を推定する、ことを含む。

本開示にかかる距離推定用コンピュータプログラムは、車両に搭載された第１撮影範囲を有する第１カメラにより第１時刻に生成された前記車両の周辺の状況を表す第１周辺画像から、車両に搭載された第１撮影範囲よりも狭い第２撮影範囲を有する第２カメラにより第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、第２カメラにより第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する第１部分領域を特定し、先行第２周辺画像および後続第２周辺画像を用いて、第１時刻に対応する補間第２周辺画像を生成し、第２時刻における第２カメラの位置および第３時刻における第２カメラの位置、または、第１時刻における第１カメラの位置を用いて、第１時刻に対応する第２カメラの補間位置を推定し、第１部分領域および補間第２周辺画像のそれぞれから、共通に表された対象物体について１以上の特徴点を検出し、第１時刻における第１カメラの位置と第２カメラの補間位置との関係、および、第１部分領域における１以上の特徴点のうち一の特徴点の位置と補間第２周辺画像における一の特徴点に対応する特徴点の位置との関係を少なくとも用いて、車両と対象物体との間の距離を推定する、ことをコンピュータに実行させる。

本開示にかかる距離推定装置によれば、測距用のステレオカメラによることなく車両の周囲の対象物体までの距離を推定することができる。

距離推定装置が実装される車両の概略構成図である。 距離推定装置のハードウェア模式図である。 距離推定装置が有するプロセッサの機能ブロック図である。 周辺画像の処理の例を説明する模式図である。 距離推定処理のフローチャートである。

以下、図面を参照して、測距用のステレオカメラによることなく車両の周囲の対象物体までの距離を推定することができる距離推定装置について詳細に説明する。距離推定装置は、車両に搭載された第１カメラにより第１時刻に生成された車両の周辺の状況を表す第１周辺画像から第１部分領域を特定する。第１部分領域は、車両に搭載された第２カメラにより第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、第２カメラにより第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する領域である。第１カメラは第１撮影範囲を有し、第２カメラは第１撮影範囲よりも小さい第２撮影範囲を有する。次に、距離推定装置は、先行第２周辺画像および後続第２周辺画像を用いて、第１時刻に対応する補間第２周辺画像を生成する。また、距離推定装置は、第２時刻における第２カメラの位置および第３時刻における第２カメラの位置、または、第１時刻における第１カメラの位置を用いて、第１時刻に対応する第２カメラの補間位置を生成する。次に、距離推定装置は、第１部分領域および補間第２周辺画像のそれぞれから、共通に表された対象物体について１以上の特徴点を検出する。そして、距離推定装置は、第１時刻における第１カメラの位置と第２カメラの補間位置との関係、および、第１部分領域における１以上の特徴点のうち一の特徴点の位置と補間第２周辺画像における一の特徴点の位置との関係を少なくとも用いて、車両と対象物体との間の距離を推定する。

図１は、距離推定装置が実装される車両の概略構成図である。

車両１は、広角カメラ２と、望遠カメラ３と、ＧＮＳＳ（Global Navigation Satellite System）受信機４と、距離推定装置５とを有する。広角カメラ２、望遠カメラ３、およびＧＮＳＳ受信機４と、距離推定装置５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。

広角カメラ２は、車両の周辺の状況を表す第１周辺画像を含む画像データを生成するための第１カメラの一例である。広角カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。広角カメラ２は、第１撮影範囲、例えば結像光学系の光軸から水平方向に±３０度の範囲を撮影可能である。広角カメラ２は、例えば車室内の前方上部に、前方を向けて配置される。広角カメラ２は、例えばＧＮＳＳ受信機４により供給される時刻に同期された時計を有する。広角カメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）でフロントガラスを介して車両１の周辺の状況を撮影し、周辺の状況に対応した画像データを出力する。広角カメラ２により出力される画像データは、車両１からの距離が比較的小さい位置にある物体の詳細情報の取得に用いることができる。

望遠カメラ３は、車両の周辺の状況を表す第２周辺画像を含む画像データを生成するための第２カメラの一例である。望遠カメラ３は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。望遠カメラ３は、第１撮影範囲よりも狭い第２撮影範囲、例えば結像光学系の光軸から水平方向に±１５度の範囲を撮影可能である。望遠カメラ３は、例えば車室内の前方上部に、広角カメラ２と左右に並ぶように前方を向けて配置される。望遠カメラ３は、例えばＧＮＳＳ受信機４により供給される時刻に同期された時計を有する。望遠カメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）でフロントガラスを介して車両１の周辺の状況を撮影し、周辺の状況に対応した画像データを出力する。望遠カメラ３により出力される画像データは、車両１からの距離が比較的大きい位置にある物体の情報の取得に用いることができる。

広角カメラ２および望遠カメラ３は、車両１の前方に代えて、または車両１の前方に加えて、車両１の後方または側方を向けて、同一の対象物を撮影できるように左右に並べて配置されていてもよい。

ＧＮＳＳ受信機４は、測位センサの一例であり、不図示のＧＮＳＳアンテナにより所定の周期ごとにＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号に基づいて車両１の自己位置を測位する。ＧＮＳＳ受信機４は、所定の周期ごとに、ＧＮＳＳ信号に基づく車両１の自己位置の測位結果を表す測位信号を、車内ネットワークを介して距離推定装置５へ出力する。

距離推定装置５は、通信インタフェースと、メモリと、プロセッサとを有するＥＣＵ（Electronic Control Unit）である。距離推定装置５は、通信インタフェースを介して、広角カメラ２および望遠カメラ３から画像を受信する。距離推定装置は、受信した画像を用いて、車両１と、車両１の周辺に存在する物体との間の距離を推定する。

図２は、距離推定装置５のハードウェア模式図である。距離推定装置５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備える。

通信インタフェース５１は、通信部の一例であり、距離推定装置５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。

メモリ５２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば広角カメラ２および望遠カメラ３のそれぞれの取り付け位置、取り付け方向、および、結像光学系の焦点距離、周辺画像のピクセルサイズといった内部パラメータ、画像から物体の特徴点を検出する識別器として使用されるニューラルネットワークを規定するためのパラメータ群（層数、層構成、カーネル、重み係数等）などを保存する。また、メモリ５２は、各種アプリケーションプログラム、例えば距離推定処理を実行する距離推定プログラム等を保存する。

プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

図３は、距離推定装置５が有するプロセッサ５３の機能ブロック図である。

距離推定装置５のプロセッサ５３は、機能ブロックとして、特定部５３１と、補間部５３２と、変換部５３３と、検出部５３４と、推定部５３５とを有する。プロセッサ５３が有するこれらの各部は、プロセッサ５３上で実行されるプログラムによって実装される機能モジュールである。プロセッサ５３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして距離推定装置５に実装されてもよい。

特定部５３１は、広角カメラ２により第１時刻に生成された車両１の周辺の状況を表す第１周辺画像から第１部分領域を特定する。第１部分領域は、望遠カメラ３により第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、望遠カメラ３により第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する領域である。

図４は、周辺画像の処理の例を示す模式図である。

広角カメラ２は、第１時刻ｔ₁に、第１周辺画像ＳＰ１を生成する。望遠カメラ３は、第１時刻ｔ₁よりも前の第２時刻ｔ₂に、先行第２周辺画像ＳＰ２_pを生成し、第１時刻ｔ₁よりも後の第３時刻ｔ₃に、後続第２周辺画像ＳＰ２_sを生成する。

特定部５３１は、メモリ５２に保存された広角カメラ２および望遠カメラ３のそれぞれの取り付け位置、取り付け方向、および、内部パラメータを参照する。また、特定部５３１は、第２時刻ｔ₂と第１時刻ｔ₁との間の車両１の移動量、または、第１時刻ｔ₁と第３時刻ｔ₃との間の車両１の移動量を算出する。

特定部５３１は、第１時刻ｔ₁、第２時刻ｔ₂、および第３時刻ｔ₃のそれぞれにおける車両１の位置から、第２時刻ｔ₂と第１時刻ｔ₁との間の車両１の移動量、または、第１時刻ｔ₁と第３時刻ｔ₃との間の車両１の移動量を算出する。特定部５３１は、ＧＮＳＳ受信機４から取得した、第２時刻ｔ₂および第３時刻ｔ₃にそれぞれ対応する測位信号に基づいて、第２時刻ｔ₂および第３時刻ｔ₃のそれぞれにおける車両１の位置を特定する（ＧＮＳＳ測位）。なお、特定部５３１は、ＧＮＳＳ受信機４から取得した測位信号に対応する位置の周辺の地物に関する情報を、車両１に搭載され高精度地図情報を記憶するストレージ装置（不図示）から取得し、第１周辺画像ＳＰ１、先行第２周辺画像ＳＰ２_p、または、後続第２周辺画像ＳＰ２_sに表される地物と照合することにより、車両１の位置（広角カメラ２または望遠カメラ３の位置）を特定（ローカライズ処理）してもよい。

また、特定部５３１は、第１時刻ｔ₁、第２時刻ｔ₂、および第３時刻ｔ₃のそれぞれにおける車両１の位置によらず、第２時刻ｔ₂と第１時刻ｔ₁との間の車両１の移動量、または、第１時刻ｔ₁と第３時刻ｔ₃との間の車両１の移動量を算出してもよい。例えば、特定部５３１は、移動している間の複数の時刻において、車両１に搭載された加速度センサ、角速度センサ等から得られる車両１の動作を表すデータ（オドメトリ情報）を用いて、当該移動における車両１の移動量を算出することができる。

特定部５３１は、各カメラのパラメータおよび車両１の移動量に基づいて、望遠カメラ３により第２時刻ｔ₂に取得される先行第２周辺画像ＳＰ２_pに表される範囲が第１時刻ｔ₁において広角カメラ２の視野に占める領域を特定することで、第１周辺画像ＳＰ１から第１部分領域Ａ１を特定する。また、特定部５３１は、各カメラのパラメータおよび車両１の移動量に基づいて、望遠カメラ３により第３時刻ｔ₃に取得される後続第２周辺画像ＳＰ２_sに表される範囲が第１時刻ｔ₁において広角カメラ２の視野に占める領域を特定することで、第１周辺画像ＳＰ１から第１部分領域Ａ１を特定する。

図３に戻り、補間部５３２は、先行第２周辺画像ＳＰ２_pおよび後続第２周辺画像ＳＰ２_sを用いて、第１時刻ｔ₁に対応する補間第２周辺画像ＳＰ２_iを生成する。また、補間部５３２は、第２時刻ｔ₂における望遠カメラ３の位置と第３時刻ｔ₃における望遠カメラ３の位置とを用いて、第１時刻ｔ₁に対応する望遠カメラ３の補間位置を生成する。

補間部５３２は、例えばブロックマッチング法を用いて、先行第２周辺画像ＳＰ２_pおよび後続第２周辺画像ＳＰ２_sを分割した所定サイズ（例えば１６ピクセル×１６ピクセル）のブロックのそれぞれの動きベクトルを求める。そして、補間部５３２は、第２時刻ｔ₂と第１時刻ｔ₁との時間間隔および第１時刻ｔ₁と第３時刻ｔ₃との時間間隔に応じて動きベクトルを按分して得られる位置に、先行第２周辺画像ＳＰ２_pまたは後続第２周辺画像ＳＰ２_sの対応するブロックを配置することで、補間第２周辺画像ＳＰ２_iを生成する。

補間部５３２は、第２時刻ｔ₂および第３時刻ｔ₃のそれぞれにおける車両１の位置を、特定部５３１から取得する。補間部５３２は、第２時刻ｔ₂と第１時刻ｔ₁との時間間隔および第１時刻ｔ₁と第３時刻ｔ₃との時間間隔に応じて第２時刻ｔ₂および第３時刻ｔ₃のそれぞれにおける車両１の位置を按分することで、第１時刻ｔ₁に対応する車両１の位置を推定する。そして、補間部５３２は、取得した車両１の位置に表される車両１の所定位置とメモリ５２に保存された望遠カメラ３の取り付け位置との関係を用いて、第１時刻ｔ₁に対応する望遠カメラ３の補間位置を推定する。取得した車両１の位置に表される車両１の所定位置は、ＧＮＳＳ測位により特定される場合、例えばＧＮＳＳアンテナの位置である。また、取得した車両１の位置に表される車両１の所定位置は、ローカライズ処理により特定される場合、例えば広角カメラ２の位置である。いずれの場合であっても、取得した車両１の位置に表される車両１の所定位置は、車両１における特定の位置（例えば運転席の位置）を表すように補正されていてもよい。また、ローカライズ処理により車両１の位置として望遠カメラ３の位置が取得されている場合、取得した車両１の所定位置と望遠カメラ３の取り付け位置との関係を用いた望遠カメラ３の補間位置の推定を行う必要はない。なお、特定部５３１が車両１の位置によらず車両１の移動量を特定する場合、補間部５３２は、特定部５３１の動作として記載したＧＮＳＳ受信機４から取得した測位信号を用いる処理、または、高精度地図情報に含まれる地物を用いる処理を実行することにより車両１の位置を特定すればよい。

補間部５３２は、メモリ５２に保存された広角カメラ２および望遠カメラ３のそれぞれの取り付け位置に基づいて、第１時刻ｔ₁における広角カメラ２の位置を基準とした望遠カメラ３の相対位置を、第１時刻ｔ₁に対応する望遠カメラ３の補間位置として推定してもよい。この場合、補間部５３２は、ローカライズ処理による車両１の位置として、広角カメラ２の位置を取得する。

変換部５３３は、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのうち少なくとも一方の解像度を、所定のアップサンプリング手法またはダウンサンプリング手法に従って変更することにより、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのそれぞれが同一の解像度を有するように変換する。

第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのそれぞれが、変換することなく同一の解像度を有している場合、変換部５３３による変換を実行する必要はない。そのため、第１部分領域Ａ１と補間第２周辺画像ＳＰ２_i（すなわち先行第２周辺画像ＳＰ２_pおよび後続第２周辺画像ＳＰ２_s）とが同一の解像度を有する車両１においては、距離推定装置５は、変換部５３３を有していなくてもよい。

検出部５３４は、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのそれぞれから、共通に表された対象物体について１以上の特徴点を検出する。

検出部５３４は、例えば、画像から特徴点を検出するよう予め学習された識別器に、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iを入力することにより、車両１の周辺に存在する対象物体（例えば他車両）について１以上の特徴点（例えばタイヤの接地点）を検出する。

識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。検出対象となる所定の物体を表し特徴点がタグ付けされた複数の画像を教師データとして用いてＣＮＮに入力して予め学習を行うことにより、ＣＮＮは対象物の特徴点を検出する識別器として動作する。

また、検出部５３４は、Harris corner detector、Scale-Invariant Feature Transform(SIFT)といった特徴点抽出手法に従って、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのそれぞれから特徴点を抽出してもよい。

図４に示す例では、検出部５３４は、第１部分領域Ａ１から特徴点ＦＰ１を含む特徴点を検出し、補間第２周辺画像ＳＰ２_iから、特徴点ＦＰ１に対応する特徴点ＦＰ２_iを含む特徴点を検出する。

推定部５３５は、第１時刻における広角カメラ２の位置と望遠カメラ３の補間位置との関係、および、第１部分領域Ａ１における１以上の特徴点のうち一の特徴点の位置と補間第２周辺画像ＳＰ２_iにおける一の特徴点の位置との関係を少なくとも用いて、車両１と対象物体との間の距離を推定する。

例えば、推定部５３５は、第１時刻における広角カメラ２の位置と望遠カメラ３の補間位置との関係から、広角カメラ２と望遠カメラ３との間の距離を算出する。また、推定部５３５は、第１部分領域Ａ１と補間第２周辺画像ＳＰ２_iとを重ねたときの特徴点ＦＰ１と特徴点ＦＰ２_iとの画像上の間隔（画素数）に画素サイズを乗じて視差を算出する。そして、推定部５３５は、広角カメラ２と望遠カメラ３との間の距離と望遠カメラ３の光学系の焦点距離との積を視差で除することにより望遠カメラ３と特徴点ＦＰ１（または特徴点ＦＰ２_i）との間の距離を算出し、車両１と対象物体との間の距離として推定する。

図５は、距離推定処理のフローチャートである。距離推定装置５は、車両１が走行する間、処理を所定の時間間隔（例えば1/10秒間隔）で繰り返し実行する。

まず、距離推定装置５の特定部５３１は、広角カメラ２により第１時刻ｔ₁に生成された第１周辺画像ＳＰ１から第１部分領域Ａ１を特定する（ステップＳ１）。

次に、距離推定装置５の補間部５３２は、望遠カメラ３により第２時刻ｔ₂に生成された先行第２周辺画像ＳＰ２_p、および、第３時刻ｔ₃に生成された後続第２周辺画像ＳＰ２_sを用いて、第１時刻ｔ₁に対応する補間第２周辺画像ＳＰ２_iを生成する。また、補間部５３２は、第２時刻ｔ₂における望遠カメラ３の位置と第３時刻ｔ₃における望遠カメラ３の位置とを用いて、第１時刻ｔ₁に対応する望遠カメラ３の補間位置を生成する（ステップＳ２）。

次に、距離推定装置５の変換部５３３は、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのうち少なくとも一方の解像度を変更することにより、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのそれぞれが同一の解像度を有するように変換する（ステップＳ３）。

次に、距離推定装置５の検出部５３４は、第１部分領域Ａ１および補間第２周辺画像ＳＰ２_iのそれぞれから、共通に表された対象物体について１以上の特徴点を検出する（ステップＳ４）。

距離推定装置５の推定部５３５は、第１時刻ｔ₁における広角カメラ２の位置と望遠カメラ３の補間位置との関係、および、第１部分領域Ａ１における１以上の特徴点のうち一の特徴点の位置と補間第２周辺画像ＳＰ２_iにおける一の特徴点の位置との関係を少なくとも用いて、車両１と対象物体との間の距離を推定し（ステップＳ５）、距離推定処理を終了する。

このように距離推定処理を実行することにより、距離推定装置５は、測距用のステレオカメラによることなく、適切な精度で車両の周囲の対象物体までの距離を推定することができる。

距離推定装置５は、推定された車両１と対象物体との間の距離を、車両１のエンジン、ブレーキ、ステアリングといった走行機構に制御信号を送信する走行制御装置に送信する。走行制御装置は、推定された車両１と対象物体との間の距離を用いて、車両１と車両１の周辺の物体との間の距離が所定以上となるように車両１の走行を制御することができる。

変形例によれば、検出部５３４は、補間第２周辺画像ＳＰ２_iからの特徴点の検出に代えて、または加えて、先行第２周辺画像ＳＰ２_pおよび後続第２周辺画像ＳＰ２_sのそれぞれからの特徴点の検出を行う。そして、推定部５３５は、先行第２周辺画像ＳＰ２_pおよび後続第２周辺画像ＳＰ２_sのそれぞれから検出された特徴点の位置から、望遠カメラ３により第１時刻ｔ₁に画像が生成されたと仮定した場合の当該画像（補間第２周辺画像ＳＰ２_iに相当）に表される特徴点の位置を推定する。推定部５３５は、推定された特徴点の位置を用いて、車両１と対象物体との間の距離を推定する。この場合、補間部５３２は、補間第２周辺画像ＳＰ２_iを生成しなくてもよい。

当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

１ 車両
５ 距離推定装置
５３１ 特定部
５３２ 補間部
５３３ 変換部
５３４ 検出部
５３５ 推定部

Claims (4)

1. 車両に搭載された第１撮影範囲を有する第１カメラにより第１時刻に生成された前記車両の周辺の状況を表す第１周辺画像から、前記車両に搭載された前記第１撮影範囲よりも狭い第２撮影範囲を有する第２カメラにより前記第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、前記第２カメラにより前記第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する第１部分領域を特定する特定部と、
   前記先行第２周辺画像および前記後続第２周辺画像を用いて、前記第１時刻に対応する補間第２周辺画像を生成し、前記第１時刻における前記第１カメラの位置を用いて、前記第１時刻に対応する前記第２カメラの補間位置を推定する補間部と、
   前記第１部分領域および前記補間第２周辺画像のそれぞれから、共通に表された対象物体について１以上の特徴点を検出する検出部と、
   前記第１時刻における前記第１カメラの位置と前記第２カメラの補間位置との関係、および、前記第１部分領域における前記１以上の特徴点のうち一の特徴点の位置と前記補間第２周辺画像における前記一の特徴点に対応する特徴点の位置との関係を少なくとも用いて、前記車両と前記対象物体との間の距離を推定する推定部と、
   を備える距離推定装置。
2. 前記第１部分領域および前記補間第２周辺画像のうち少なくとも一方の解像度を変更することにより、前記第１部分領域および前記補間第２周辺画像が同一の解像度を有するように変換する変換部をさらに備える請求項１に記載の距離推定装置。
3. 車両に搭載された第１撮影範囲を有する第１カメラにより第１時刻に生成された前記車両の周辺の状況を表す第１周辺画像から、前記車両に搭載された前記第１撮影範囲よりも狭い第２撮影範囲を有する第２カメラにより前記第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、前記第２カメラにより前記第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する第１部分領域を特定し、
   前記先行第２周辺画像および前記後続第２周辺画像を用いて、前記第１時刻に対応する補間第２周辺画像を生成し、前記第１時刻における前記第１カメラの位置を用いて、前記第１時刻に対応する前記第２カメラの補間位置を推定し、
   前記第１部分領域および前記補間第２周辺画像のそれぞれから、共通に表された対象物体について１以上の特徴点を検出し、
   前記第１時刻における前記第１カメラの位置と前記第２カメラの補間位置との関係、および、前記第１部分領域における前記１以上の特徴点のうち一の特徴点の位置と前記補間第２周辺画像における前記一の特徴点の位置との関係を少なくとも用いて、前記車両と前記対象物体との間の距離を推定する、
   ことを含む距離推定方法。
4. 車両に搭載された第１撮影範囲を有する第１カメラにより第１時刻に生成された前記車両の周辺の状況を表す第１周辺画像から、前記車両に搭載された前記第１撮影範囲よりも狭い第２撮影範囲を有する第２カメラにより前記第１時刻よりも前の第２時刻に生成された先行第２周辺画像に表される領域、または、前記第２カメラにより前記第１時刻よりも後の第３時刻に生成された後続第２周辺画像に表される領域に対応する第１部分領域を特定し、
   前記先行第２周辺画像および前記後続第２周辺画像を用いて、前記第１時刻に対応する補間第２周辺画像を生成し、前記第１時刻における前記第１カメラの位置を用いて、前記第１時刻に対応する前記第２カメラの補間位置を推定し、
   前記第１部分領域および前記補間第２周辺画像のそれぞれから、共通に表された対象物体について１以上の特徴点を検出し、
   前記第１時刻における前記第１カメラの位置と前記第２カメラの補間位置との関係、および、前記第１部分領域における前記１以上の特徴点のうち一の特徴点の位置と前記補間第２周辺画像における前記一の特徴点の位置との関係を少なくとも用いて、前記車両と前記対象物体との間の距離を推定する、
   ことをコンピュータに実行させるための距離推定用コンピュータプログラム。