JP2023008030A - 画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】追跡対象の移動体を複数の画像間で精度よく対応付けることが可能な画像処理システムを提供すること。
【解決手段】本開示にかかる画像処理システム１００は、移動体画像が含まれる画像を複数取得する画像取得部と、複数の画像の撮像時における、撮像装置から移動体に対する撮像方向を示す撮像方向情報を算出する撮像方向情報算出部と、複数の画像から抽出された移動体画像の特徴量を算出する特徴量算出部と、撮像方向情報と特徴量とに基づいて、複数の画像間で移動体を対応付ける対応付け部と、を備える。
【選択図】図３

Description

本開示は、画像処理システム、画像処理方法及び画像処理プログラムに関する。

車両などの移動体を撮像し、比較的広域に亘って、移動体ごとの挙動を追跡する技術が知られている。関連する技術として、特許文献１は、複数の挙動検知ユニットを用いて監視対象区域内の車両を監視する技術を開示する。特許文献１が開示する挙動検知ユニットは、撮像画像から検出した複数の車両の画像と、これらの車両を区別するために付与したＩＤ番号とを記憶する。各挙動検知ユニットは、検出した車両が車両検知領域から外れると、その情報をバッファに格納する。隣接する他の挙動検知ユニットは、撮像した各車両の画像と直前の挙動検知ユニットのバッファにある車両の画像とを比較し、比較結果に基づいて車両にＩＤ番号を付与する。同一の車両に同一のＩＤ番号を付与することで、車両の追跡が可能となる。

特開平１０－１０５６９０号公報

特許文献１が開示する挙動検知ユニットでは、撮像された複数の画像を比較し、その結果に基づいて車両にＩＤ番号を付与している。このような場合、車両等の移動体の姿勢が変化した場合や、監視対象区域内の照明に変化があった場合には、同一の車両を異なる車両として誤認識する可能性がある。

本開示の目的は、上述した課題を鑑み、追跡対象の移動体を複数の画像間で精度よく対応付けることが可能な画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。

本開示にかかる画像処理システムは、
移動体画像が含まれる画像を複数取得する画像取得部と、
前記複数の画像の撮像時における、撮像装置から移動体に対する撮像方向を示す撮像方向情報を算出する撮像方向情報算出部と、
前記複数の画像から抽出された前記移動体画像の特徴量を算出する特徴量算出部と、
前記撮像方向情報と前記特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付け部と、を備える。

本開示にかかる画像処理システムは、
移動体画像が含まれる画像を複数取得する画像取得部と、
前記複数の画像から抽出された前記移動体画像の特徴量と、前記移動体画像が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量と、を算出する特徴量算出部と、
前記移動体画像の特徴量と前記他の移動体画像の特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付け部と、を備える。

本開示にかかる画像処理方法は、
移動体画像が含まれる画像を複数取得する画像取得ステップと、
前記複数の画像の撮像時における、撮像装置から移動体に対する撮像方向を示す撮像方向情報を算出する撮像方向情報算出ステップと、
前記複数の画像から抽出された前記移動体画像の特徴量を算出する特徴量算出ステップと、
前記撮像方向情報と前記特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、を備える。

本開示にかかる画像処理方法は、
移動体画像が含まれる画像を複数取得する画像取得ステップと、
前記複数の画像から抽出された前記移動体画像の特徴量と、前記移動体画像が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量と、を算出する特徴量算出ステップと、
前記移動体画像の特徴量と前記他の移動体画像の特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、を備える。

本開示にかかる画像処理プログラムは、
移動体画像が含まれる画像を複数取得する画像取得ステップと、
前記複数の画像の撮像時における、撮像装置から移動体に対する撮像方向を示す撮像方向情報を算出する撮像方向情報算出ステップと、
前記複数の画像から抽出された前記移動体画像の特徴量を算出する特徴量算出ステップと、
前記撮像方向情報と前記特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、
をコンピュータに実行させる。

本開示にかかる画像処理プログラムは、
移動体画像が含まれる画像を複数取得する画像取得ステップと、
前記複数の画像から抽出された前記移動体画像の特徴量と、前記移動体画像が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量と、を算出する特徴量算出ステップと、
前記移動体画像の特徴量と前記他の移動体画像の特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、
をコンピュータに実行させる。

本開示にかかる画像処理システム、画像処理方法及び画像処理プログラムは、追跡対象の移動体を複数の画像間で精度よく対応付けることを可能とする。

実施形態１にかかる画像処理システムの構成を示すブロック図である。 実施形態１にかかる画像処理システムの処理を示すフローチャートである。 実施形態１にかかる画像処理システムの説明図である。 実施形態１にかかる画像処理システムの説明図である。 実施形態１にかかる画像処理システムにおいて、撮像方向が類似する場合の説明図である。 実施形態１にかかる画像処理システムにおいて、撮像方向が類似しない場合の説明図である。 実施形態２にかかる画像処理システムの説明図である。 実施形態２にかかる画像処理システムの処理を示すフローチャートである。 実施形態２にかかる画像処理システムにおいて、近傍車両を特定する処理を示すフローチャートである。 実施形態２にかかる画像処理システムの説明図である。 ハードウエア構成例を示す図である。

＜実施形態１＞
本実施形態にかかる画像処理システム１００について説明する。画像処理システム１００は、追跡対象の移動体が含まれる画像を複数取得し、当該複数の画像間で移動体を対応付ける情報処理システムである。移動体は、例えば車両、人、動物、又はロボットなどを含み得る。これらに限らず、追跡の対象となり得る種々の移動体に対して本開示が適用されてよい。

本実施形態では、追跡対象の移動体が道路上を走行する車両２００である場合を例として説明を行う。画像処理システム１００は、道路上に設置されたカメラが撮像した画像を複数取得する。画像処理システム１００は、取得した複数の画像から車両２００の画像を抽出し、複数の画像間において車両２００を対応付ける。

以下では、図面を参照して本開示の実施形態について説明する。
図１は、本実施形態にかかる画像処理システム１００の構成を示すブロック図である。画像処理システム１００は、カメラＣＡＭ１、カメラＣＡＭ２、画像取得部１０１、カメラ情報取得部１０２、物体検出部１０３、物体特徴抽出部１０４、比較部１０５、ＩＤ出力部１０６、検出モデル１０７、特徴抽出モデル１０８、比較モデル１０９、及び学習部１１０を備えている。

カメラＣＡＭ１及びＣＡＭ２は、追跡対象の車両２００を撮像する撮像装置である。以下では、カメラＣＡＭ１又はＣＡＭ２を単に「カメラ」と称して説明する場合がある。カメラは、車両２００を撮像可能な領域に設置されている。カメラは、例えば、ＲＧＢカメラ、モノクロカメラ、グレイスケールカメラ、又はＩＲカメラなどであってよい。これに限らず、種々のカメラが用いられてもよい。カメラの数は、１つであってもよいし、複数であってもよい。ここでは２台のカメラを用いて説明するが、３台以上のカメラが用いられてもよい。また、これらは異なる種類のカメラの組み合わせであってもよい。例えばカメラＣＡＭ１がＲＧＢカメラ、カメラＣＡＭ２がモノクロカメラであってもよい。

カメラから得られる撮像画像は、静止画像であってもよいし、動画像であってもよい。
カメラの撮像方向は固定されていてもよいし、固定されていなくともよい。例えば、カメラは、３６０度方向を撮像可能であり、所定の時間間隔で異なる方向を撮像するものであってもよい。

カメラは、追跡対象である移動体を撮像可能な領域に設置される。本実施形態では、追跡対象は車両２００であるので、カメラは、車両２００が走行する道路上に設置されているものとして説明を行う。画像処理システム１００と複数のカメラとは、有線又は無線により接続されていてよい。図１では、カメラＣＡＭ１及びＣＡＭ２を画像処理システム１００内に含めているが、これらは同一装置内に搭載されている必要はない。例えば、カメラＣＡＭ１及びＣＡＭ２は道路上に設置され、その他の機能部は所定のサーバ内に設けられてよい。

撮像画像には、監視対象の移動体以外のものが含まれ得る。例えば、監視対象の移動体とは別の移動体が撮像画像に含まれ得る。以下では、監視対象の移動体とは異なる移動体を「他の移動体」と称して説明する場合がある。他の移動体は、例えば、監視対象の車両と同じ進行方向で走行する車両であってよい。これに限らず、他の移動体は、人、動物、又はロボットなどであってもよい。

画像取得部１０１は、追跡対象の移動体画像が含まれる撮像画像を、カメラから複数取得する。ここでは、画像取得部１０１は、車両２２０が含まれる撮像画像を、カメラＣＡＭ１及びＣＡＭ２から取得する。画像取得部１０１は、カメラで撮像が行われる都度、撮像画像を取得してもよいし、所定の時間間隔で撮像画像を取得してもよい。画像取得部１０１は、撮像画像と共に、当該撮像画像の撮像日時を示す撮像日時情報を取得する。

カメラ情報取得部１０２は、カメラパラメータを取得して、取得したカメラパラメータを物体特徴抽出部１０４に出力する。

物体検出部１０３は、検出モデル１０７を用いて、画像取得部１０１において取得された撮像画像に含まれる物体の領域を検出する。

物体特徴抽出部１０４は、撮像方向情報算出部及び特徴量算出部として機能する。
撮像方向情報算出部は、撮像時における、カメラから移動体に対する撮像方向を示す撮像方向情報を算出する機能部である。また、特徴量算出部は、複数の画像から抽出された移動体画像の特徴量を算出する機能部である。以下では、それぞれの機能について説明する。なお、各処理の詳細な手順については後述する。

物体特徴抽出部１０４（撮像方向情報算出部）は、画像取得部１０１で取得された複数の画像の撮像時における、カメラから移動体に対する撮像方向を示す撮像方向情報を算出する。撮像方向情報は、例えば、カメラＣＡＭ１及びＣＡＭ２のそれぞれから車両２００に対する撮像方向を、単位方向ベクトルｎ_１及びｎ_２を用いて表すことができる。物体特徴抽出部１０４は、単位方向ベクトルｎ_１及びｎ_２を生成する。なお、以下では、ベクトルを示す英文字上の矢印を省略し、ベクトルの用語のみを用いてベクトルであることを示す場合がある。

なお、ここでは、単位方向ベクトルｎ_１及びｎ_２の双方を生成するように説明するが、これらは同時に生成する必要はない。単位方向ベクトルｎ_１及びｎ_２は、異なるタイミングで生成されてよい。例えば、生成された単位方向ベクトルｎ_１又はｎ_２は、図示しない記憶部に格納されてよい。以下で説明する画像ベクトルｉ_１及びｉ_２、統合ベクトルｇ_１及びｇ_２、特徴ベクトルｆ_１及びｆ_２についても同様である。

また、物体特徴抽出部１０４（特徴量算出部）は、物体検出部１０３で検出された移動体画像の特徴量を算出する。具体的には、物体特徴抽出部１０４は、カメラＣＡＭ１及びＣＡＭ２で撮像された画像から検出された車両２００の画像の特徴量を、上述した単位方向ベクトルｎ_１及びｎ_２を加味してそれぞれ算出する。それぞれの特徴量は、特徴ベクトルｆ_１及びｆ_２を用いて表すことができる。物体特徴抽出部１０４は、以下のような処理を行うことで特徴ベクトルｆ_１及びｆ_２を生成する。

まず、物体特徴抽出部１０４は、カメラＣＡＭ１及びＣＡＭ２で撮像された画像の画像ベクトルｉ_１及びｉ_２をそれぞれ算出する。画像ベクトルｉ_１及びｉ_２は、各画像における各画素の画素値を示すものであってよい。

次に、物体特徴抽出部１０４は、単位方向ベクトルｎ_１と画像ベクトルｉ_１とを統合し、統合ベクトルｇ_１を生成する。同様にして、物体特徴抽出部１０４は、単位方向ベクトルｎ_２と画像ベクトルｉ_２とを統合し、統合ベクトルｇ_２を生成する。そして、物体特徴抽出部１０４は、特徴抽出モデル１０８を用いて、統合ベクトルｇ_１及びｇ_２から特徴ベクトルｆ_１及びｆ_２をそれぞれ生成する。

このようにして、物体特徴抽出部１０４は、カメラＣＡＭ１で撮像された車両２００の特徴量を示す特徴ベクトルｆ_１と、カメラＣＡＭ２で撮像された車両２００の特徴量を示す特徴ベクトルｆ_２と、を生成することができる。

なお、物体特徴抽出部１０４は、車両２００が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量を算出してもよい。例えば、車両２００と、車両２００とは別の車両２１０が同一の画像内に含まれる場合、物体特徴抽出部１０４は、車両２００及び車両２１０の特徴量を、上述のような処理によりそれぞれ算出してよい。

比較部１０５及びＩＤ出力部１０６は、対応付け部として機能する。対応付け部は、撮像方向情報と撮像画像の特徴量とに基づいて、複数の画像間で移動体を対応付ける機能部である。具体的には、比較部１０５は、物体特徴抽出部１０４で生成された特徴ベクトルｆ_１及びｆ_２を、比較モデル１０９を用いて比較する。ＩＤ出力部１０６は、比較部１０５における比較結果に基づいて、画像に含まれる車両２００に対して移動体ＩＤの割り当てを行う。ここで、移動体ＩＤは、画像に含まれる移動体を識別するための識別情報である。このようにすることで、複数画像間における車両２００の対応付けを行うことができる。

上記の比較において、比較部１０５は、単位方向ベクトルｎ_１及びｎ_２が類似する場合と、これらが類似しない場合とで、異なる対応付けを行ってよい。ここで、単位方向ベクトルｎ_１及びｎ_２が類似するか否かは、予め設けた所定の閾値との比較により判定されてよい。

また、比較部１０５は、単位方向ベクトルｎ_１及びｎ_２が類似する場合と、これらが類似しない場合とで、異なる基準を用いて車両２００の比較を行ってもよい。例えば、比較部１０５は、単位方向ベクトルｎ_１及びｎ_２が類似する場合、車両２００の形状を含む基準を用いて比較を行い、単位方向ベクトルｎ_１及びｎ_２が類似しない場合、車両２００の形状を含まない基準を用いて比較を行ってよい。単位方向ベクトルｎ_１及びｎ_２が類似しない場合、比較部１０５は、例えば移動体の色情報を少なくとも含む基準を用いて比較を行ってよい。

なお、比較部１０５は、単位方向ベクトルｎ_１及びｎ_２が類似する場合には、特徴ベクトルｆ_１及びｆ_２の比較を行い、類似しない場合には、これらの比較を行わないこととしてもよい。また、比較部１０５は、車両２００以外の画像の特徴量にさらに基づいて、特徴ベクトルｆ_１及びｆ_２の比較を行ってもよい。

ＩＤ出力部１０６は、比較部１０５における比較の結果に応じて、抽出された移動体画像に対して移動体ＩＤの割り当てを行う。比較部１０５における比較の結果、複数の画像間において同一の移動体であると判定された場合、ＩＤ出力部１０６は、当該移動体画像に対して同一の移動体ＩＤを付与する。

学習部１１０は、検出モデル１０７、特徴抽出モデル１０８、及び比較モデル１０９をそれぞれ学習させる。

続いて、図２を用いて画像処理システム１００が行う処理について説明する。図２は、画像処理システム１００が行う処理を示すフローチャートである。

まず、画像取得部１０１は、カメラから撮像画像を取得する（Ｓ１０１）。撮像画像には、撮像された日時を示す撮像日時情報が含まれている。

物体検出部１０３は、検出モデル１０７を用いて、入力画像の抽出及び識別処理を行う。物体検出部１０３は、画像中の車両、自転車、歩行者などの移動体領域を抽出する。ここでは、物体検出部１０３は、車両２００の画像領域を抽出する（Ｓ１０３）。物体検出部１０３は、深層学習ネットワーク等の一般物体認識技術を用いて移動体領域を抽出してもよい。

物体特徴抽出部１０４は、カメラ情報取得部１０２から取得したカメラパラメータと、ステップＳ１０３で抽出された物体領域から、車両の方向ベクトルを算出する（Ｓ１０５）。

物体特徴抽出部１０４は、ステップＳ１０３で抽出された物体の画像特徴と、ステップＳ１０５で算出された方向ベクトルと、を統合した統合ベクトルを生成する。物体特徴抽出部１０４は、生成した統合ベクトルを入力とし、ニューラルネットワークなどの特徴抽出器で特徴ベクトルを生成する（Ｓ１０７）。

比較部１０５は、対象物体の特徴ベクトルと過去フレームの特徴ベクトルとの比較を行う（Ｓ１０９）。比較部１０５は、対象物体の特徴ベクトルと過去フレームの特徴ベクトルが同一であるか否かを判定する（Ｓ１１１）。特徴ベクトルが同一であると判定された場合（Ｓ１１１のＹＥＳ）、ＩＤ出力部１０６は、同一のＩＤを付与し（Ｓ１１３）、処理を終了する。

ステップＳ１１１において特徴ベクトルが同一でないと判定された場合（Ｓ１１１のＮＯ）、ステップＳ１１７に進む。比較部１０５は、他の特徴ベクトルがあるか否かを判定する（Ｓ１１７）。他の特徴ベクトルがあると判定された場合（Ｓ１１７のＹＥＳ）、ステップＳ１０９に戻る。他の特徴ベクトルがないと判定された場合（Ｓ１１７のＮＯ）、ステップＳ１１５に進む。この場合、ＩＤ出力部１０６は、新なＩＤを付与し（Ｓ１１５）、処理を終了する。

上述したステップＳ１０５、Ｓ１０７、及びＳ１０９の処理について、図３を参照して詳細に説明する。図３は、カメラＣＡＭ１で車両２００を撮像した場合における単位方向ベクトルｎ_１、画像ベクトルｉ_１、統合ベクトルｇ_１、及び特徴ベクトルｆ_１を生成するまでの処理の概要を示す図である。カメラＣＡＭ２で車両２００を撮像した場合における単位方向ベクトルｎ_２、画像ベクトルｉ_２、統合ベクトルｇ_２、及び特徴ベクトルｆ_２についても、同様にして生成することができる。

なお、以下の説明では、画像ベクトルｉ_１又はｉ_２を単に「画像ベクトルｉ」と称して説明する場合がある。同様に、単位方向ベクトルｎ_１又はｎ_２を「単位方向ベクトルｎ」、統合ベクトルｇ_１又はｇ_２を「統合ベクトルｇ」、特徴ベクトルｆ_１又はｆ_２を「特徴ベクトルｆ」と称して説明する場合がある。

上述したステップＳ１０５では、カメラパラメータと、ステップＳ１０３で抽出された物体領域から、車両２００の単位方向ベクトルｎを以下の手順で算出する。ここでは、カメラパラメータは３行４列の射影行列Ａとして表現する。また、図３に示すように、３次元世界座標の車両の重心位置をＰ（Ｘ，Ｙ，Ｚ）、画像座標での重心位置をｐ（ｕ，ｖ）とする。

Ｐ（Ｘ，Ｙ，Ｚ）とｐ（ｕ，ｖ）との関係は、以下の式（１）のように表される。

・・・（１）

式（１）において、Ｓはスケールパラメータである。また、射影行列Ａは、カメラＣＡＭ１のキャリブレーションを行うことで求められる既知の行列である。また、射影行列Ａは、以下の式（２）及び式（３）で表すことができる。

・・・（２）

・・・（３）

式（１）～式（３）より、以下の式（４）が得られる。

・・・（４）

ステップＳ１０５において、車両２００の単位方向ベクトルｎは、以下の式（５）のように計算される。

・・・（５）

式（５）において、方向ベクトルＮは以下の式（６）で表される。

・・・（６）

ステップＳ１０７では、以下の手順で特徴ベクトルｆを算出する。
まず、図３に示す車両２００の検出枠ＤをＫ＊Ｋの矩形領域に正規化する。検出枠Ｄは、物体検出部１０３によって検出された画像領域であってよい。次に、正規化された矩形領域に対してラスタースキャンを行う。そして、ラスタースキャンの順に並べた矩形領域の画素値を、以下の式（７）に示すように画像ベクトルｉとして定義する。ここで、次元数は、正規化された矩形領域内にある画素数と等しくなる。

・・・（７）

次に、ステップＳ１０５の（５）で計算した単位方向ベクトルｎと、式（７）で定義した画像ベクトルｉとを統合し、以下の式（８）で表される統合ベクトルｇを生成する。

・・・（８）

式（８）で生成した統合ベクトルｇを、特徴抽出モデル１０８の学習器に入力し、出力として特徴ベクトルｆを得る。特徴抽出モデル１０８及び比較モデル１０９の構造の一例を図４に示す。図４においては、対象物体の統合ベクトルｇ_２及び過去フレームの統合ベクトルｇ_１が示されている。

学習器としては、様々な機械学習モデルを用いることができる。例えば、深層学習畳み込みニューラルネットワーク（ＣＮＮ）を用いてよい。

ステップＳ１０９では、ステップＳ１０７で得た対象物体の特徴ベクトルｆ_２と、過去フレームの特徴ベクトルｆ_１の比較を行う。比較部１０５は、比較モデル１０９の学習器に特徴ベクトルｆ_１及びｆ_２を入力し、出力として１ならば同一、０ならば同一でないと判定する。学習器としては、様々な機械学習モデルを用いることができる。例えば階層型ニューラルネットワークを用いてよい。

特徴抽出モデル１０８としては、様々な汎用的なＣＮＮを用いることができる。例えば、ＶＧＧやＥｆｆｉｃｉｅｎｔＮｅｔ、ＲｅｓＮｅｔなどを用いることができる。また、比較モデル１０９としては、汎用的な全結合多層パーセプトロンを用いることができる。特徴抽出モデル１０８及び比較モデル１０９の学習は、同時に行う。

教師データは、以下の式（９）で表されるデータと、式（１０）で表されるラベルとの組になる。

・・・（９）

・・・（１０）

統合ベクトルｇは式（８）で既に定義されている。式（１０）において、ｉｄ_ｔは、時刻ｔにおける移動体の移動体ＩＤである。統合ベクトルｇ_１及びｇ_２の入力に対し、移動体ＩＤが等しい場合は１を、異なる場合は０を入力するように学習する。

このように、本実施形態では、カメラからの単位方向ベクトルｎを移動体画像の画像ベクトルｉに付加して、画像の比較に用いるための特徴ベクトルｆを生成することができる。そのため、画像ベクトルｉのみで比較する場合よりも、精度よく移動体画像の対応付けを行うことができる。

図５及び図６は、本実施形態にかかる画像処理システム１００の処理を模式的に示す図である。白抜き矢印に示すように、車両２００は、紙面右側の地点Ａ１から紙面左側の地点Ａ２に向かい進行している。車両２００は、地点Ａ１及びＡ２において、カメラＣＡＭ１及びカメラＣＡＭ２によりそれぞれ撮像される。

図５では、カメラＣＡＭ１及びＣＡＭ２は、同じ方向から車両２００を撮像するように配置されている。同図では、カメラＣＡＭ１及びＣＡＭ２は、車両２００を前方から撮像する。これに対し、図６では、カメラＣＡＭ１及びＣＡＭ２が背中合わせとなるように配置されている。カメラＣＡＭ１は車両２００を前方から撮像し、カメラＣＡＭ２は車両２００を後方から撮像することとなる。そのため、地点Ａ１及びＡ２で撮像される画像では、車両２００の形状等が異なるものとなる。

本実施形態にかかる画像処理システム１００では、図５に示すような場合と図６に示すような場合とで、異なる基準を用いて画像を比較し、車両２００の対応付けを行うことができる。例えば、図５に示すような場合には、車両２００の形状を含む基準を用いて対応付けを行う。車両２００の形状を含む基準は、例えば、車両２００の形状や、テクスチャ（各画素の画素値）などの特徴を用いた基準であってよい。

また、図６に示すような場合には、車両２００の形状を含まない基準を用いて画像を比較し、対応付けを行うことができる。車両２００の形状を含まない基準は、車両２００の色特徴などを用いた基準であってよい。例えば、車両２００の全体的な色味（例えば、白）や車両２００の模様などの特徴を用いた基準であってよい。カメラの姿勢に依存しないこのような特徴を用いて比較を行うことで、精度よく車両２００の対応付けができる。

また、図６に示すカメラＣＡＭ１及びＣＡＭ２のように、撮像方向が大きく違うような場合には、カメラＣＡＭ２の撮像画像は、画像の対応付けに用いないこととしてもよい。このようにすることで、撮像方向が類似する画像に限定して比較することができるので、車両２００の形状にかかる特徴に重みを付けた対応付けを行うことができる。

なお、図５及び図６では、２つのカメラが同じ方向（前方）から車両２００を撮像する例と、逆方向（前方又は後方）から撮像する例を示しているが、これに限られない。撮像方向は、任意の方向を含んでよい。例えば、車両２００の側面や上面からの撮像方向が含まれてよい。したがって、撮像方向が９０度異なる場合などが含まれてよい。撮像方向が類似するか否かによって、異なる対応付けが行われてよい。なお、撮像方向が類似するか否かの判定は、カメラから車両２００に向かう単位方向ベクトルｎ_１及びｎ_２を、予め設けた所定の閾値と比較するなどして行ってよい。

また、これに限らず、画像処理システム１００は、任意の重み付けを行い、車両２００の対応付けを行ってよい。

以上説明したように、本実施形態にかかる画像処理システム１００では、画像取得部１０１において、車両２００が含まれる画像をカメラから複数取得する。また、物体特徴抽出部１０４において、カメラから移動体に対する撮像方向を示す撮像方向情報（単位方向ベクトルｎ）と、複数の画像から抽出された各移動体画像の特徴量（画像ベクトルｉ）を算出する。物体特徴抽出部１０４は、単位方向ベクトルｎ及び画像ベクトルｉから統合ベクトルｇを算出し、統合ベクトルｇから特徴ベクトルｆを算出する。比較部１０５では、異なる時刻で撮像された画像間で特徴ベクトルｆを比較する。ＩＤ出力部１０６は、比較部１０５における比較結果に基づいて、同一の車両２００に同一の移動体ＩＤを付与することで画像の対応付けを行う。

このような構成により、画像処理システム１００では、単位方向ベクトルｎが異なる状態、すなわち撮像画像における車両２００の形状特徴が異なると考えられる状態では、カメラの姿勢に依存しない色情報などに基づいて対応付けを行うことができる。したがって、本実施形態にかかる画像処理システム１００によれば、カメラの配置に応じた最適なＩＤ推論エンジンを学習することができる。これにより、撮像された移動体を誤認識することを防ぎ、精度よく移動体を追跡することが可能となる。

＜実施形態２＞
続いて、本開示の実施形態２について説明する。
実施形態１では、物体特徴抽出部１０４（撮像方向情報算出部）において算出された撮像方向情報（方向ベクトル）と、各撮像画像の特徴量（画像ベクトル）とに基づいて、複数画像間における移動体の対応付けを行った。本実施形態では、上記の方向ベクトルに代わり、撮像画像において抽出された、車両２００とは別の移動体の情報を加味して対応付けを行う。

図７は、本実施形態にかかる画像処理システム１００の処理を模式的に示す図である。同図に示すように、地点Ａ１において、車両２００の近傍には車両２１０及び２２０が存在しており、同一方向に向かい走行しているものとする。ここでは、複数画像間で対応付けを行う対象は車両２００であり、車両２１０及び２２０は、その対象ではないものとする。

本実施形態にかかる画像処理システム１００の構成は、図１に示すブロック図と同様である。図１を参照して本実施形態にかかる画像処理システム１００の構成を説明する。実施形態１と同様の構成については、その説明を省略する。

画像取得部１０１は、移動体画像が含まれる撮像画像を、カメラから複数取得する。ここで、撮像画像には、車両２００以外の移動体が含まれている。ここでは、図７に示すように、カメラＣＡＭ１で撮像された画像には、車両２００、２１０、及び２２０が同一画像内に含まれているものとする。また、カメラＣＡＭ２で撮像された画像には、車両２００及び２１０が同一画像内に含まれるが、車両２２０は同一画像内には含まれていないものとする。

物体検出部１０３は、画像取得部１０１において取得された画像から、検出モデル１０７を用いて車両２００～２２０の物体領域を検出する。

物体特徴抽出部１０４は、特徴量算出部として機能する。物体特徴抽出部１０４は、物体検出部１０３で抽出された車両２００～２２０について、それぞれの画像の特徴量を算出する。実施形態１と同様にして、物体特徴抽出部１０４は、各画像の特徴量を示す画像ベクトルｉを生成する。

ここで、物体特徴抽出部１０４は、対応付けの対象でない車両２１０及び２２０のうち、対応付けの対象である車両２００と移動速度が近い車両を特定して、画像ベクトルｉを算出してよい。車両２００～２２０の移動速度は、カメラＣＡＭ１で撮像して取得された複数の画像に基づいて、算出されてよい。例えば、カメラＣＡＭ１において所定の時間間隔で撮像された複数の画像を比較し、撮像間隔と、車両２００～２２０のそれぞれの移動距離とに基づいて算出されてもよい。これに限らず、他の算出方法を用いて各車両の速度が算出されてもよい。

図７において、地点Ａ１における車両２００、２１０、及び２２０の走行速度は、それぞれ速度ベクトルＶ_ｉ、速度ベクトルＶ_ｊ、及び速度ベクトルＶ_Ｋで示されている。車両２００と車両２１０とは比較的近い速度で走行しており、車両２２０は、これらの速度よりも比較的速い速度で走行しているものとする。物体特徴抽出部１０４は、車両２００と移動速度の近い車両２１０に対応する画像の画像ベクトルｉを生成する。

物体特徴抽出部１０４は、予め所定の閾値を設けて、移動速度が近いか否かを判定してよい。物体特徴抽出部１０４は、車両２００の移動速度と、他の車両の移動速度との差が所定値以下の場合に、移動速度が近いと判定してよい。なお、以下では、車両２００と移動速度の近い車両を、「近傍車両」と称して説明を行う場合がある。

近傍車両は、複数存在してもよい。また、複数の近傍車両に優先度を設けて、車両２００の対応付けに用いてもよい。例えば、移動速度が車両２００と近い順に優先度を大きくして、優先度に応じて対応付けの重み付けを行ってもよい。

図１に戻り説明を続ける。比較部１０５及びＩＤ出力部１０６は、対応付け部の機能を有する。対応付け部は、車両２００の画像の特徴量と、車両２００以外の画像の特徴量とに基づいて、複数の画像間で車両２００を対応付ける。

具体的には、比較部１０５において、物体特徴抽出部１０４で生成された車両２００の特徴ベクトルを比較することにより、複数の画像の比較を行う。比較部１０５は、比較モデル１０９を用いて、比較結果を取得してよい。ＩＤ出力部１０６は、比較部１０５における比較の結果に応じて、移動体ＩＤの割り当てを行う。

続いて、図８を用いて、本実施形態にかかる画像処理システム１００が行う処理を説明する。図８は、本実施形態にかかる画像処理システム１００が行う処理を示すフローチャートである。

まず、画像取得部１０１は、カメラから撮像画像を取得する（Ｓ２０１）。撮像画像には、撮像された日時を示す撮像日時情報が含まれている。物体検出部１０３は、検出モデル１０７を用いて、入力画像の抽出及び識別処理を行い、画像中の車両、自転車、歩行者などの移動体領域を抽出する（Ｓ２０３）。物体検出部１０３は、深層学習ネットワーク等の一般物体認識技術を用いて移動体領域を抽出してもよい。

物体特徴抽出部１０４は、撮像画像に含まれる近傍車両の画像ベクトルを算出する（Ｓ２０５）。ここで、図９を用いて、近傍車両を特定する処理について説明する。図９は、近傍車両を特定する処理を示すフローチャートである。

物体特徴抽出部１０４は、車両２００と移動速度が類似する車両（以下、「ノード」と称する）を同一のグループ化グラフ３００に追加し、移動速度が類似しないノードをグループ化グラフ３００から削除する。物体特徴抽出部１０４は、以下の処理によってノードの追加又は削除を行う。

まず、物体特徴抽出部１０４は、対応付けの対象である車両２００を、ルートノードとして決定する（Ｓ３０１）。物体特徴抽出部１０４は、車両２００とグループ化する候補となる候補ノードを決定する（Ｓ３０３）。例えば、物体特徴抽出部１０４は、対象車両のオルソ画像の重心から所定の距離以内にある車両を候補ノードとする。図７に示す例では、車両２１０及び２２０が候補ノードとなる。これに限らず、候補ノードは任意の条件を用いて決定されてよい。例えば、撮像画像に含まれる全ての移動体を候補ノードとしてもよい。

物体特徴抽出部１０４は、候補ノードのうち、車両２００と速度ベクトルの差の絶対値が所定値以下である車両を、車両２００と同じグループ化グラフ３００のノードに決定する（Ｓ３０５）。エッジ強度は、差の絶対値の逆数とする。ここでは、物体特徴抽出部１０４は、車両２１０を同一のグループ化グラフ３００のノードとして決定する。

物体特徴抽出部１０４は、候補ノードのうち、ステップＳ３０５の条件を満たさないものがあれば削除する（Ｓ３０７）。ここでは、車両２２０が削除される。

このようにして、物体特徴抽出部１０４は、車両２００と同一グループに属する近傍車両を特定することができる。ここでは、物体特徴抽出部１０４は、車両２１０を車両２００の近傍車両として特定する。

図８に戻り説明を続ける。物体特徴抽出部１０４は、車両２００及び２１０の画像ベクトルを用いて、特徴ベクトルを生成する（Ｓ２０７）。それぞれの特徴ベクトルの生成方法は、実施形態１と同様であるので詳細な説明を省略する。

図１０は、実施形態１の図４に対応する図であり、特徴抽出モデル１０８及び比較モデル１０９の構造の一例を示している。物体特徴抽出部１０４は、実施形態１における式（７）と同様にして、車両２００の画像ベクトルｉと、車両２１０の画像ベクトルｊをそれぞれ生成する。

次に、物体特徴抽出部１０４は、実施形態１における式（８）と同様にして、画像ベクトルｉ及びｊを統合し、統合ベクトルｇを生成する。統合ベクトルｇは、以下の式（１１）で表される。

・・・（１１）

物体特徴抽出部１０４は、実施形態１と同様にして、統合ベクトルｇから特徴ベクトルｆを生成する。物体特徴抽出部１０４は、対象物体の特徴ベクトルｆ_２と過去フレームの特徴ベクトルｆ_１をそれぞれ生成する。

比較部１０５は、ステップＳ２０７で得た特徴ベクトルｆ_１及びｆ_２の比較を行う（Ｓ２０９）。特徴ベクトルｆ_１及びｆ_２の入力に対し、移動体ＩＤが等しい場合は１を、異なる場合は０を入力するように学習する。

以降の処理は実施形態１と同様であるので、その説明を省略する。ステップＳ２１１～Ｓ２１７の処理は、図２を用いて説明したステップＳ１１１～Ｓ１１７に対応している。

なお、近傍車両が複数存在する場合、全ての近傍車両について特徴ベクトルを生成してもよいし、対応付けに用いる近傍車両を限定して、当該限定された近傍車両の特徴ベクトルを生成してもよい。例えば、車両２００の移動速度や車両２００との位置関係等に応じて、対応付けに用いる優先順位を設けてもよい。

以上説明したように、本実施形態にかかる画像処理システム１００によれば、対応付けの対象となる車両２００の近傍に存在する車両２１０の画像情報を付加して特徴ベクトルを生成する。また、車両２００からの距離と、車両２００及び車両２１０の移動速度の差を用いて近傍車両を特定する。

このように、同グループと見なせる近傍の移動体の画像情報を付加して特徴を生成することで、車両２００の単体の画像情報を用いる場合と比較して、より精度よく画像の対応付けを行うことができる。車両２００と形状の特徴が類似する車両が複数ある場合であっても、複数の画像間における車両２００の対応付けを適切に行うことができる。

なお、本実施形態は、実施形態１で説明した構成を組み合わせて実現されてもよい。実施形態１で説明した方向ベクトルと、本実施形態で説明した近傍車両の画像ベクトルとの双方を用いて、車両２００の対応付けを行ってもよい。

＜ハードウエアの構成例＞
画像処理システム１００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像処理システム１００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図１１は、画像処理システム１００を実現するコンピュータ９００のハードウエア構成を例示するブロック図である。コンピュータ９００は、画像処理システム１００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ９００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよい。

例えば、コンピュータ９００に対して所定のアプリケーションをインストールすることにより、コンピュータ９００で、画像処理システム１００の各機能が実現される。上記アプリケーションは、画像処理システム１００の機能構成部を実現するためのプログラムで構成される。

コンピュータ９００は、バス９０２、プロセッサ９０４、メモリ９０６、ストレージデバイス９０８、入出力インタフェース９１０、及びネットワークインタフェース９１２を有する。バス９０２は、プロセッサ９０４、メモリ９０６、ストレージデバイス９０８、入出力インタフェース９１０、及びネットワークインタフェース９１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ９０４などを互いに接続する方法は、バス接続に限定されない。

プロセッサ９０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ９０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス９０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース９１０は、コンピュータ９００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース９１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。例えば、入出力インタフェース９１０には、実施形態で説明したカメラが接続されてよい。

ネットワークインタフェース９１２は、コンピュータ９００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

ストレージデバイス９０８は、画像処理システム１００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ９０４は、このプログラムをメモリ９０６に読み出して実行することで、画像処理システム１００の各機能構成部を実現する。

プロセッサの各々は、アルゴリズムをコンピュータに行わせるための命令群を含む１又はそれ以上のプログラムを実行する。このプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１００ 画像処理システム
１０１ 画像取得部
１０２ カメラ情報取得部
１０３ 物体検出部
１０４ 物体特徴抽出部
１０５ 比較部
１０６ ＩＤ出力部
１０７ 検出モデル
１０８ 特徴抽出モデル
１０９ 比較モデル
１１０ 学習部
２００、２１０、２２０ 車両
３００ グループ化グラフ
ＣＡＭ１、ＣＡＭ２ カメラ
Ｄ 検出枠
Ｎ 方向ベクトル
ｎ、ｎ_１、ｎ_２ 単位方向ベクトル
ｉ、ｉ_１、ｉ_２、ｊ 画像ベクトル
ｇ、ｇ_１、ｇ_２ 統合ベクトル
ｆ、ｆ_１、ｆ_２ 特徴ベクトル
Ｖ_ｉ、Ｖ_ｊ、Ｖ_Ｋ 速度ベクトル

Claims (12)

1. 移動体画像が含まれる画像を複数取得する画像取得部と、
   前記複数の画像の撮像時における、撮像装置から移動体に対する撮像方向を示す撮像方向情報を算出する撮像方向情報算出部と、
   前記複数の画像から抽出された前記移動体画像の特徴量を算出する特徴量算出部と、
   前記撮像方向情報と前記特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付け部と、
   を備える画像処理システム。
2. 前記撮像方向情報は、前記撮像装置から前記移動体に向かう方向ベクトルであり、
   前記対応付け部は、前記複数の画像間で前記方向ベクトルが類似する場合と、前記複数の画像間で前記方向ベクトルが類似しない場合とで、異なる対応付けを行う
   請求項１に記載の画像処理システム。
3. 前記対応付け部は、前記複数の画像間で前記方向ベクトルが類似する場合と、前記複数の画像間で前記方向ベクトルが類似しない場合とで、異なる基準を用いて前記移動体を対応付ける
   請求項２に記載の画像処理システム。
4. 前記対応付け部は、
   前記複数の画像間で前記方向ベクトルが類似する場合、前記移動体の形状を含む基準を用いて前記移動体を対応付け、
   前記複数の画像間で前記方向ベクトルが類似しない場合、前記移動体の形状を含まない基準を用いて前記移動体を対応付ける
   請求項２又は３に記載の画像処理システム。
5. 前記対応付け部は、前記複数の画像間で前記方向ベクトルが類似しない場合、前記移動体の色情報を少なくとも含む基準を用いて前記移動体を対応付ける
   請求項２～４のいずれか１項に記載の画像処理システム。
6. 前記特徴量算出部は、前記移動体画像が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量をさらに算出し、
   前記対応付け部は、前記他の移動体画像の特徴量にさらに基づいて、前記移動体を対応付ける
   請求項１～５のいずれか１項に記載の画像処理システム。
7. 移動体画像が含まれる画像を複数取得する画像取得部と、
   前記複数の画像から抽出された前記移動体画像の特徴量と、前記移動体画像が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量と、を算出する特徴量算出部と、
   前記移動体画像の特徴量と前記他の移動体画像の特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付け部と、
   を備える画像処理システム。
8. 前記特徴量算出部は、前記移動体の移動速度と前記他の移動体の移動速度との差が所定値以下の場合に、前記他の移動体画像の特徴量を算出する
   請求項７に記載の画像処理システム。
9. 移動体画像が含まれる画像を複数取得する画像取得ステップと、
   前記複数の画像の撮像時における、撮像装置から移動体に対する撮像方向を示す撮像方向情報を算出する撮像方向情報算出ステップと、
   前記複数の画像から抽出された前記移動体画像の特徴量を算出する特徴量算出ステップと、
   前記撮像方向情報と前記特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、
   を備える画像処理方法。
10. 移動体画像が含まれる画像を複数取得する画像取得ステップと、
    前記複数の画像から抽出された前記移動体画像の特徴量と、前記移動体画像が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量と、を算出する特徴量算出ステップと、
    前記移動体画像の特徴量と前記他の移動体画像の特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、
    を備える画像処理方法。
11. 移動体画像が含まれる画像を複数取得する画像取得ステップと、
    前記複数の画像の撮像時における、撮像装置から移動体に対する撮像方向を示す撮像方向情報を算出する撮像方向情報算出ステップと、
    前記複数の画像から抽出された前記移動体画像の特徴量を算出する特徴量算出ステップと、
    前記撮像方向情報と前記特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、
    をコンピュータに実行させる画像処理プログラム。
12. 移動体画像が含まれる画像を複数取得する画像取得ステップと、
    前記複数の画像から抽出された前記移動体画像の特徴量と、前記移動体画像が含まれる画像と同一の画像において抽出された他の移動体画像の特徴量と、を算出する特徴量算出ステップと、
    前記移動体画像の特徴量と前記他の移動体画像の特徴量とに基づいて、前記複数の画像間で前記移動体を対応付ける対応付けステップと、
    をコンピュータに実行させる画像処理プログラム。

Images