JP2004094518A - 人物追跡装置、人物追跡方法及びプログラム - Google Patents

Abstract

【課題】撮影手段によって連続して撮影された画像の中から人物を検出し、その動きを追跡する際に、複数の人物が一つの領域単位の中に重なって存在する場合に、人物領域を特定することが難しくなり、人物の追跡が困難になるという問題を解決する。
【解決手段】撮影画像の中から抽出した人物領域を人体の各部位が映る画像毎に分割し、分割された人体の各部位が映る画像の中の一つをテンプレートとし、テンプレートと連続する撮影画像とを順次マッチング処理することによって、撮影画像の中から人物を検出し、その動きを追跡することを特徴とする。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば人物監視を行う際に、監視カメラによって撮影された画像の中から人物を検出し、その動きを追跡する人物追跡装置及び人物追跡方法に関する。
【０００２】
【従来の技術】
監視カメラによって撮影された画像の中から人物を検出し、その動きを追跡する人物追跡装置として、例えば以下のようなものがある。
【０００３】
すなわち、人物追跡装置は、監視カメラによって連続して撮影された各画像を複数のブロックに分割し、連続する２つの画像をブロック単位で対応付けする。これにより、対応付けたブロックの位置変化が検出される場合に、その領域を人物が映る領域（以下、人物領域という）と見なす。人物追跡装置は、このような動作を連続して実行することにより人物領域を特定し、人物領域の変化を検出することによって人物の動きを追跡する。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の技術は、複数の人物が一つの領域の中に重なって存在する場合に、その領域を人物領域として特定できないときがあった。それは、人物領域の特定が所定の大きさのブロック（例えば横２５６×縦２４０画素の全体画像のうちの、横４×縦４画素）単位によるマッチング処理によって行われるため、ブロック単位の類似度が所定の閾値以上である場合はそのブロックが人物領域であると判断できるが、ブロック単位の類似度が所定の閾値未満である場合はそのブロックが人物領域であるとは判断できないからである。
【０００５】
【課題を解決するための手段】
上記課題を解決するために第１の発明に係る人物追跡装置は、撮影手段によって連続して撮影された各画像を記憶する記憶手段と、前記撮影手段によって連続して撮影された各画像に対し、人体の特定部位が映るブロックをテンプレートに用いることによって、各画像の中から人物を検出し、その動きを追跡する追跡手段とを有することを特徴とする。
【０００６】
また、第２の発明に係る人物追跡装置は、複数の撮影手段によって連続して撮影された各画像を記憶する記憶手段と、前記複数の撮影手段によって連続して撮影された各画像に対し、人体の特定部位が映るブロックをテンプレートに用いることによって、各画像の中から人物を検出し、その動きを追跡する追跡手段とを有することを特徴とする。
【０００７】
また、第３の発明に係る人物追跡装置は、第２の発明に加え、複数の撮影手段によって連続して撮影された各画像を、各撮影手段に固有のローカルな座標系で記憶し管理することを特徴とする。
【０００８】
また、第４の発明に係る人物追跡装置は、第２の発明に加え、複数の撮影手段によって連続して撮影された各画像を、全撮影手段に共通する広域な座標系で記憶し管理することを特徴とする。
【０００９】
また、第５の発明に係る人物追跡装置は、第１〜第４のいずれかの発明に加え、頭部が映るブロックをテンプレートに用いて順次マッチング処理を行うことを特徴とする。
【００１０】
また、第６の発明に係る人物追跡装置は、第１〜第５のいずれかの発明に加え、前記撮影手段によって連続して撮影された各画像の中から人物が映る領域を抽出する人物領域抽出部と、人物が映る領域を人体の各部位が映るブロックに分割する人物領域分割部と、前記撮影手段によって連続して撮影された各画像に対し、分割されたブロックの中の一つをテンプレートに用いて順次マッチング処理することによって、各画像の中から人物を検出し、その動きを追跡する人物追跡部と、を有することを特徴とする。
【００１１】
また、第７の発明に係る人物追跡装置は、第６の発明に加え、前記人物領域抽出部は、前記撮影手段によって撮影された画像とその背景となる画像とを比較し、差分となる領域を抽出する差分領域抽出部と、差分となる領域を２値化する際に閾値を演算する閾値演算部と、差分となる領域を２値化する２値化部と、２値化された差分となる領域に対し、人物が映る領域であるか否かを判定する人物領域判定部と、からなることを特徴とする。
【００１２】
また、第８の発明に係る人物追跡装置は、第７の発明に加え、前記人物領域判定部は、２値化された差分となる領域の縦幅、横幅、縦横比に基づいて、２値化された差分となる領域に対し、人物が映る領域であるか否かを判定することを特徴とする。
【００１３】
また、第９の発明に係る人物追跡装置は、第６の発明に加え、前記人物領域分割部は、人体のプロポーションに基づいて、人物が映る領域を、頭部の左右、上半身の左右、下半身の左右いずれかの部位が映るブロックに分割することを特徴とする。
【００１４】
また、第１０の発明に係る人物追跡装置は、第６の発明に加え、前記人物追跡部は、縮小、拡大、または回転処理を施したテンプレートを用いて順次マッチング処理を行うことを特徴とする。
【００１５】
【発明の実施の形態】
本発明に係る人物追跡装置は、監視カメラによって撮影された画像（以下、撮影画像という）の中から人物領域を抽出し、人体のプロポーション（例えば頭部、上半身、下半身等の、人体の各部位のサイズ比率）に基づいて、人物領域を人体の各部位が映るブロックに分割し、分割されたブロックの中の一つ（例えば、頭部が映るブロック）をテンプレートとし、連続する各撮影画像をテンプレートと順次マッチング処理することによって、撮影画像の中から人物を検出し、その動きを追跡する。
【００１６】
以下、図面を参照して本発明の実施の形態を説明する。なお、各図はこの発明を理解できる程度に概略的に示してあるにすぎない。また、各図において、共通する要素については、同一の符号を付し、説明を省略する。
【００１７】
＜第１の実施の形態＞
図１は第１の実施の形態に係る人物追跡装置の構成を示す図である。
【００１８】
人物追跡装置１は、様々な演算を実行する機能を有する装置であり、監視カメラ３や表示部５と接続される。監視カメラ３は、内部の図示しない結像素子に外部の光景を結像させて、撮影画像を取得する。表示部５は、撮影画像や、様々な処理が施された画像、演算結果、その他を表示する。
【００１９】
人物追跡装置１は、Ａ／Ｄ変換部１１、現画像蓄積部１３、背景画像蓄積部１５、背景更新部１７、差分領域抽出部１９、閾値演算部２１、２値化部２３、人物領域判定部２５、人物領域分割部２７、人物追跡部２９、表示合成部３１を有する。
【００２０】
アナログ／デジタル変換部（以下、Ａ／Ｄ変換部という）１１は、監視カメラ３からアナログ信号で受け取った撮影画像をデジタル信号に変換する。
【００２１】
現画像蓄積部１３は、Ａ／Ｄ変換部１１からデジタル信号化された撮影画像を受け取り蓄積する。
【００２２】
背景画像蓄積部１５は、撮影画像の背景となる画像（以下、背景画像という）を蓄積する。背景画像は、人物が存在しない状況における撮影画像が用いられるが、取得を簡単にするために、本実施の形態では、複数の撮影画像における平均画像（すなわち、複数の撮影画像を足し合わせてその枚数で平均化することにより生成した画像）を用いる。
【００２３】
背景更新部１７は、一定の条件に基づいて、背景画像蓄積部１５に平均画像を生成させ、それを背景画像として更新させる。
【００２４】
差分領域抽出部１９は、現画像蓄積部１３に蓄積された現在の撮影画像と背景画像蓄積部１５に蓄積された背景画像とを比較し、その差分となる領域（以下、差分領域という）を抽出する。
【００２５】
閾値演算部２１は、差分領域を２値化する際に用いる閾値を演算する。
【００２６】
２値化部２３は、閾値演算部２１により算出した閾値を用いて差分領域を２値化する。
【００２７】
人物領域判定部２５は、２値化された差分領域に対し、人物領域であるか否かを判定する。判定は、２値化された差分領域の縦幅、横幅、縦横比、人体のプロポーションに基づいてなされる。
【００２８】
なお、差分領域抽出部１９と閾値演算部２１と２値化部２３と人物領域判定部２５は、撮影画像の中から人物領域を抽出する人物領域抽出部となる。
【００２９】
人物領域分割部２７は、人体のプロポーションに基づいて、人物領域を、人体の各部位が映るブロック（例えば、頭部の左右、上半身の左右、下半身の左右のいずれかの部位が映るブロック）に分割する。分割は、人物領域のＸ方向とＹ方向のサイズの比率と予め設定された人体の各部位のＸ方向とＹ方向のサイズの比率とを比較することによってなされる。
【００３０】
人物追跡部２９は、分割されたブロックの中の一つをテンプレートとし、連続する各撮影画像をテンプレートと順次マッチング処理することによって、各撮影画像の中から人物を検出し、その動きを追跡する。
【００３１】
なお、テンプレートは、監視カメラが俯瞰して撮影するタイプの場合に、撮影画像の中から人物の頭部が隠れる確率が低いので、頭部が映るブロックを用いる。また、テンプレートは、縮小処理、拡大処理、回転処理等を施したものを用いることにより、マッチング処理における人物領域の検出精度を向上させることができる。
【００３２】
表示合成部３１は、Ａ／Ｄ変換部１１から撮影画像を受け取るとともに、人物追跡部２９から様々な処理が施された画像や追跡結果情報（例えば、人物の動きに関する文字情報や軌跡情報、図柄情報）等を受け取り、これらを合成して表示部５に出力する。なお、表示合成部３１は、Ａ／Ｄ変換部１１から受け取った撮影画像と、人物追跡部２９から受け取った様々な処理が施された画像や追跡結果情報等を合成することなく、任意に表示部５に出力することも可能である。
【００３３】
このような人物追跡装置１は、図１に示す構成を専用の筐体の中に組み込むことによって形成されるが、人物追跡装置として機能するプログラムをコンピュータにインストールすることによっても形成される。
【００３４】
人物追跡装置１は、以下のように動作する。
【００３５】
まず、人物追跡装置１は、監視カメラ３からアナログ信号で撮影画像を受け取る。
【００３６】
人物追跡装置１のＡ／Ｄ変換部１１は撮影画像をデジタル信号に変換し、現画像蓄積部１３がそれを蓄積する。
【００３７】
背景画像蓄積部１５は、所定のタイミングで現画像蓄積部１３から撮影画像を受け取り、複数の撮影画像における平均画像を生成する。そして、平均画像を背景画像として蓄積する。
【００３８】
背景更新部１７は、一定の条件に基づいて、背景画像蓄積部１５に平均画像を生成させ、それを背景画像として更新させる。一定の条件は、例えば、背景画像蓄積部１５が現画像蓄積部１３から撮影画像を１００枚受け取った場合等のように、一般的に単純なものが望ましい。
【００３９】
差分領域抽出部１９は、現画像蓄積部１３に蓄積された現在の撮影画像と背景画像蓄積部１５に蓄積された背景画像とを比較し、差分領域を抽出する。差分領域は、通常、複数個存在し、ここではＮ個とする。
【００４０】
閾値演算部２１は、差分領域を２値化する際に用いる閾値を演算する。なお、閾値の演算については、例えば、「ＦＡための画像処理技術」（工学研究社発行、田村進一編著）の第８５〜９０頁等に開示されており、また、本発明の要旨ではないので、ここでは説明を省略する。
【００４１】
２値化部２３は、閾値演算部２１によって算出された閾値を用いてＮ個の差分領域を２値化する。
【００４２】
人物領域判定部２５は、２値化部２３からＮ個の２値化された差分領域を受け取り、各差分領域に対し、その形状に基づいて、人物が映っていると考えられる領域を抽出して、その領域が人物領域か否かを判定する。ここで、人物が映っていると考えられる領域には、人物が単体で映っている場合と、人物が複数で映っている場合、人物ではなく、ノイズが映っている場合とがある。そのため、人物領域判定部２５は、図２に示すフローチャートに基づいて、人物が映っていると考えられる領域が人物領域か否かを判定する。
【００４３】
図２は人物領域判定部の動作を示すフローチャートである。
【００４４】
人物領域判定部２５は、ステップ（以下、Ｓという）１１において、２値化されたＮ個の差分領域に対し、それぞれに外接する矩形の領域を抽出し、各矩形に１番目〜Ｎ番目までの符号ｉを付して、それぞれの縦幅ｌｉ、横幅ｗｉ、縦横比ｌｉ／ｗｉを算出する（ただし、ｉはｉ＝１，２，…，Ｎとする）。
【００４５】
Ｓ１３において、人物領域判定部２５は、差分領域の数を計数する図示しない計数器の値ｉに初期値として１を設定し、Ｎ個の各差分領域に対し、人物領域か否かを表すフラグ（以下、人物標識フラグという）ｈｕｍａｎ　ｆｌａｇ［ｉ］（ただし、ｉはｉ＝１，２，…，Ｎとする）を付し、各人物標識フラグｈｕｍａｎ　ｆｌａｇ［１，２，…，Ｎ］の値に初期値として０を設定する。すなわち、差分領域を（ｉ，ｈｕｍａｎ　ｆｌａｇ［ｉ］）として表すものとした場合に、例えば、１番目の差分領域に対し、初期値として（１，０）を設定する。なお、人物標識フラグｈｕｍａｎ　ｆｌａｇ［ｉ］は、人物領域でない場合の値を０とし、人物領域である場合の値を１とする。
【００４６】
Ｓ１５において、人物領域判定部２５は、計数器の値ｉと全差分領域の個数Ｎとを比較し、ｉがＮ以下か否かを判定する。ｉがＮ以下の場合に、人物領域判定処理を行う。すなわち、１番目〜Ｎ番目までの全差分領域に対し、順次人物領域判定処理を行う。ｉがＮよりも大きい場合に、人物領域判定処理を終了する。
【００４７】
Ｓ１７において、人物領域判定部２５は、監視カメラ３の設置パラメータ（取付位置や向き（水平方向角度、上下方向角度）、画角等）と監視カメラ３自身の光学パラメータ（焦点距離や倍率等）に基づいて、撮影画像の中に映る標準的な人体像のサイズ（すなわち、高さｌ画素、幅ｗ画素）を推定する。具体的には、図３に示すように、撮影画像の中の座標位置を、共通して用いる座標位置に変換することによって行う。
【００４８】
図３は人物領域の分割を示す図である。なお、以下の説明において、撮影画像の中の二次元の座標位置を表す座標系を画面座標系ξηといい、共通して用いる三次元の座標位置を表す座標系をグローバル座標系ＸＹＺという。
【００４９】
図３に示すように、人物領域判定部２５は、監視カメラ３の真下に位置する路面上の点をグローバル座標系ＸＹＺの原点とし、監視カメラ３の光軸の路面への垂直投影線をＹ軸、Ｙ軸に対し原点を通って上方向に延びる垂線をＺ軸、ＹＺ平面の原点を通る垂線をＸ軸とする。次に、監視カメラ３の光軸を画面座標系ξηの原点とし、画面座標系ξηの原点を通りかつＸ軸と同方向の垂線をξ軸、画面座標系ξηの原点を通りかつＹＺ平面内の上方向への垂線をη軸とする。なお、ξとηの単位は画素とする。監視カメラ３の高さをＨ（ｍ）、光軸の俯角をθ（度）とし、監視カメラ３の焦点距離をｆ（ｍｍ）とする。服を着た人体の平均身長をＬ（ｍ）、平均幅をＷ（ｍ）とし、足元の座標を（Ｘ，Ｙ，０）とすると、足元の画面上の位置（ξ，η）、人体像の高さｌ（画素）、幅ｗ（画素）は、それぞれ以下の式１〜４となる。
【００５０】
ξ＝ｆ１（ｆ，Ｌ，Ｘ，Ｙ，θ，Ｈ）　　…（１）
η＝ｆ２（ｆ，Ｗ，Ｘ，Ｙ，θ，Ｈ）　　…（２）
ｌ＝ｆ３（ｆ，Ｌ，Ｘ，Ｙ，θ，Ｈ）　　…（３）
ｗ＝ｆ４（ｆ，Ｗ，Ｘ，Ｙ，θ，Ｈ）　　…（４）
式１〜４の関係を用いて、画面中の足元の位置が（ξ，η）である標準的な人体像のサイズに相当する領域サイズを算出する。なお、具体的な算出方法については、例えば特開平７−５０５２５号（「人物動物監視システム」）等に開示されており、本発明の要旨ではないので、ここでは説明を省略する。
【００５１】
この後、人物領域判定部２５は、算出された標準的な人体像のサイズに相当する領域に対し、この領域に外接する矩形の領域（以下、標準差分領域という）と標準差分領域の縦幅ｌｓ（画素）、横幅ｗｓ（画素）、縦横比ｌｓ／ｗｓを割り出す。
【００５２】
Ｓ１９において、撮影画像の中の差分領域における縦幅ｌ（画素）、横幅ｗ（画素）、縦横比ｌ／ｗの三つの値が、所定の範囲内、例えば標準差分領域の縦幅ｌｓ（画素）、ｗｓ（画素）、縦横比ｌｓ／ｗｓの（１−α）〜（１＋α）倍の範囲内にあるかを否かを判定する。これにより、差分領域が人物領域であるか否かを判定する。例えば、αを０．１に設定した場合に、撮影画像の中の差分領域における縦幅ｌ（画素）、横幅ｗ（画素）、縦横比ｌ／ｗのそれぞれの値が、０．９×ｌｓ〜１．１×ｌｓ、０．９×ｗｓ〜１．１×ｗｓ、０．９×ｌｓ／ｗｓ〜１．１×ｌｓ／ｗｓの範囲内にあるとき、その差分領域を人物領域として判定し、処理をＳ２１に進める。逆に、撮影画像の中の差分領域における縦幅ｌ（画素）、横幅ｗ（画素）、縦横比ｌ／ｗの値が、０．９×ｌｓ〜１．１×ｌｓ、０．９×ｗｓ〜１．１×ｗｓ、０．９×ｌｓ／ｗｓ〜１．１×ｌｓ／ｗｓの範囲外にあるとき、その差分領域を人物領域として判定できない領域（すなわち、ノイズの領域か、または複数の人物が重なって存在する領域）と判定し、処理をＳ２３に進めて次の差分領域に対する人物領域の判定処理を行う。
【００５３】
Ｓ２１において、人物領域として判定された差分領域に対し、初期値として０が設定されていた人物標識フラグｈｕｍａｎ　ｆｌａｇ［ｉ］の値を１に変更する。
【００５４】
Ｓ２３において、現処理における差分領域に付した番号ｉに１を加算して処理をＳ１５に戻し、次の差分領域に対してＳ１５以降の処理を実行する。
【００５５】
人物領域判定部２５は、撮影画像の中の全ての差分領域に対し、人物領域の判定を実行する。この後、人物領域として判定された差分領域を人物領域分割部２７に出力する。
【００５６】
人物領域分割部２７は、図４に示すように動作して、人体のプロポーションに基づいて、人物領域として判定された差分領域を、人体の各部位（例えば、頭部の左右、上半身の左右、下半身の左右）が映るブロックに分割する。図４は人物領域分割部の動作を示すフローチャートである。
【００５７】
人物領域分割部２７は、Ｓ３１において、差分領域の数を計数する計数器の値ｉを１に設定して初期化処理を行う。
【００５８】
Ｓ３３において、計数器の値ｉと全差分領域の個数Ｎとを比較する。ｉがＮ以下の場合に、処理をＳ３５に進める。ｉがＮよりも大きい場合に、人体の各部位が映るブロックの画像や分割情報を人物追跡部２９に出力し、人物領域の判定処理を終了する。
【００５９】
Ｓ３５において、ｉ番目の差分領域の人物標識フラグｈｕｍａｎ　ｆｌａｇ［ｉ］の値が１になっているか否かを判定する。人物標識フラグｈｕｍａｎ　ｆｌａｇ［ｉ］の値が１になっている場合は処理をＳ３７に進め、値が１になっていない場合は処理をＳ３９に進める。
【００６０】
Ｓ３７において、人体のプロポーションに基づいて、撮影画像の中から人体の各部位が映るブロックに分割する。例えば、頭部の高さＬ１、上半身の高さＬ２、下半身の高さＬ３、全身長Ｌ＝Ｌ１＋Ｌ２＋Ｌ３とする場合に、頭部の高さ／全身長の比率Ｌ１／Ｌ（例えば、１／６）、上半身の高さ／全身長の比率Ｌ２／Ｌ（例えば、２／６）、下半身の高さ／全身長の比率Ｌ３／Ｌ（例えば、３／６）の比率に基づいて、撮影画像の中から人体の各部位が映るブロックに分割する。なお、このとき、分割は、頭部、上半身、下半身の上下方向だけでなく、図３に示すように、左右方向にも行うことができる。この後、人物領域分割部２７は、人体の各部位のブロックを図示しないメモリに、テンプレートの候補として記憶する。
【００６１】
Ｓ３９において、現処理における差分領域に付した番号ｉに１を加算して処理をＳ３３に戻し、次の差分領域に対してＳ３３以降の処理を実行する。
【００６２】
人物領域分割部２７は、以上のようにして、人物標識フラグｈｕｍａｎ　ｆｌａｇ［ｉ］の値が１になっている全ての差分領域を、人体の各部位が映るブロックに分割する。そして、人体の各部位が映るブロックや分割情報を人物追跡部２９に出力する。
【００６３】
人物追跡部２９は、図５に示すように動作して、人物の動きを追跡する。図５は人物追跡部の動作を示すフローチャートである。
【００６４】
人物追跡部２９は、Ｓ５１において、連続する各撮影画像の中から同一の人物が映る領域として対応付けできる人物領域（以下、対応人物領域という）を抽出する。具体的には、まず、人体の各部位が映るブロックの中から、例えば頭部が映るブロックのように、人物の特徴的な部分を示す画像を一つ選択し、これをテンプレートとする。そして、連続した次の撮影画像をテンプレートとマッチング処理し、連続した次の撮影画像の中から対応人物領域を抽出する。
【００６５】
なお、マッチング処理に際して、人物の各部位が映るブロックを効率よく抽出するために、人物の特徴的な部分を示す画像に任意の変形を施して複数のテンプレートを生成してこれらを一組（以下、テンプレートセットという）にして用いてもよい。具体的には、人物の特徴的な部分を示す画像に倍率ａ１，ａ２，ａ３をかけて、人物の特徴的な部分を示す画像を縮小または拡大するとともに、画像の中心を軸として人物の特徴的な部分を示す画像を−α°と０°とα°の３通りの方向に回転する。例えば、倍率ａ１を０．９、ａ２を１、ａ３を１．１に設定し、αを１０に設定する。これによって９個のテンプレートを生成する。これら９個のテンプレートをテンプレートセットとし、連続した次の撮影画像を各テンプレートとマッチング処理し、連続した次の撮影画像の中から対応人物領域を抽出する。具体的には以下のように処理する。
【００６６】
まず、人物追跡部２９は、連続する各撮影画像の中から対応人物領域を抽出する範囲を、［ξ０±Δξ，η０±Δη］とする。ξ０とη０は、現在の撮影画像における人体の特徴的な部分を示す画像の位置座標である。ΔξとΔηは、各撮影画像間の撮影時間間隔や人物の移動速度を考慮して決められる許容値である。
【００６７】
次に、人物追跡部２９は、抽出範囲内で９個のテンプレートを１画素単位で移動させながら、連続した次の撮影画像を各テンプレートと順次マッチング処理し、連続した次の撮影画像と各テンプレートとの類似度を演算し、その最大値ＭＡＸ１ｓｉｍｉｌａｒ、ＭＡＸ２ｓｉｍｉｌａｒ、…、ＭＡＸ９ｓｉｍｉｌａｒを算出する。さらに、これらの中から最大値ＭＡＸ（ＭＡＸ１ｓｉｍｉｌａｒ、ＭＡＸ２ｓｉｍｉｌａｒ、…、ＭＡＸ９ｓｉｍｉｌａｒ）を選択し、その値を連続した次の撮影画像間における対応人物領域の類似度とする。
【００６８】
類似度ｉ（ｕ，ｖ）は以下の式５により算出される。
【００６９】
ｉ（ｕ，ｖ）＝ΣΣ　｜ｆ（ξ，η）−ｇ（ξ，η；ｕ，ｖ）｜　　…（５）
ここで、ｆ（ξ，η）はテンプレート画像、ｇ（ξ，η；ｕ，ｖ）は抽出範囲内（ξ，η）においてξ方向にｕ、η方向にｖだけ平行移動された画像である。
【００７０】
なお、人物追跡部２９は、連続した次の撮影画像と各テンプレートとの類似度を演算する際に、図６に示すような、ブロックのマスク処理を行うことにより、演算精度を向上させることができる。
【００７１】
図６は頭部ブロックのテンプレートにおけるマスク処理を示す図である。
【００７２】
図６（ａ）は人物単体の２値画像、図６（ｂ）は人物グループの２値画像、図６（ｃ）は人物単体の多値画像、図６（ｄ）は人物グループの多値画像、図６（ｅ）は頭部が映るブロックを２値画像として表した頭部ブロックの２値画像、図６（ｆ）は頭部が映るブロックを多値画像として表した頭部ブロックの多値画像、図６（ｇ）は頭部が映るブロックをテンプレートとして表した頭部ブロックのテンプレートである。
【００７３】
人物追跡部２９は、図６に示すように、図６（ａ）の人物単体の２値画像または図６（ｂ）の人物グループの２値画像から図６（ｅ）の頭部ブロックの２値画像を抽出する。また、図６（ｃ）の人物単体の多値画像または図６（ｄ）の人物グループの多値画像から図６（ｆ）の頭部ブロックの多値画像を抽出する。そして、図６（ｅ）の頭部ブロックの２値画像を用いて、図６（ｆ）の頭部ブロックの多値画像から背景領域を除外して、人体の特徴的な部分を示す画像（すなわち、図６（ｇ））を生成し、これをテンプレートとする。具体的には、図６（ｅ）の頭部ブロックの２値画像と図６（ｆ）の頭部ブロックの多値画像とを対応付けし、図６（ｅ）の画素値が０となっている領域に対応する図６（ｆ）の領域をマスク処理し、図６（ｅ）の画素値が１となっている領域に対応する図６（ｆ）の領域のみを残す。これにより、図６（ｇ）のような、図６（ｅ）の画素値が１となっている領域に対応する図６（ｆ）の領域のみからなる多値画像を生成し、これをテンプレートとする。
【００７４】
人物追跡部２９は、連続した次の撮影画像と各テンプレートとの類似度を演算する際に、図６（ｇ）の頭部ブロックのテンプレートを用いることにより、演算精度を向上させることができる。
【００７５】
人物追跡部２９は、Ｓ５３において、対応人物領域の類似度を予め決めた閾値と比較する。類似度が閾値よりも大きい場合は、対応人物領域があると判断して、処理をＳ５５に進め、類似度が閾値以下の場合は、人物領域が検出できないと判断して、テンプレートを更新することなく、人物の追跡処理を終了する。なお、人物領域が検出できない場合として、対応人物領域が存在しないとき、または、複数の人物が重なっているとき等がある。
【００７６】
人物追跡部２９は、Ｓ５５において、対応人物領域が差分領域内にあるか否かを判定する。このとき、対応人物領域と差分領域の面積の重なり具合がある程度以上の場合に（例えば、対応人物領域と差分画像の重なる面積が対応人物領域の８０％以上になる場合に）、人物追跡部２９は人物単体が対応人物領域内に存在するものと判定し、処理をＳ５７に進める。また、重なり具合がある程度未満の場合に、人物追跡部２９は人物単体が対応人物領域内に存在しないものと判定し、処理をＳ５９に進める。
【００７７】
人物追跡部２９は、Ｓ５７において、人体のプロポーションに基づいて、対応人物領域を人物の各部位が映るブロックに分割し、これによって得られる人体の特徴的な部分を示す画像を新しいテンプレートとして更新する。この後、全ての対応人物領域に対し、記憶されたテンプレートを用いて、図５の人物の追跡処理を繰り返し行う。
【００７８】
Ｓ５９において、対応人物領域をテンプレートとして更新する。このとき、テンプレートとして更新する人物領域は、Ｓ５７のように人物の各部位が映るブロックに分割せずに、現在のテンプレートのサイズに合わせる。この後、人物追跡部２９は、全ての対応人物領域に対し、更新されたテンプレートを用いて、図５の人物の追跡処理を行う。
【００７９】
このようにして、人物追跡部２９は、撮影画像の中に複数の人物が重なって存在する領域があっても、個々に分離して各人物を追跡することができ、追跡の精度を向上させることができる。
【００８０】
この後、表示合成部３１は、人物追跡部２９から追跡結果を受け取り、撮影画像と追跡対象となる人物の情報（例えば、追跡対象となる人物の外接矩形と軌跡等）とを合成して合成画像を生成し、表示部５に出力する。
【００８１】
表示部５は、表示合成部３１が生成した合成画像を表示する。
【００８２】
以上、本実施の形態に係る人物追跡装置１は、撮影画像の中の人物領域を人体の各部位が映るブロックに分割し、その中の一つ（特に、頭部が映るブロックのように、人体の特徴的な部分が映る画像）をテンプレートとして用いることにより、次フレームの撮影画像の中から容易に対応人物領域を検出することができる。そのため、追跡対象となる人物を容易に検出でき、その動きを解析して追跡できる。特に、複数の人物が同じ領域に重なって存在する場合に、各人物の動きを容易に追跡できる。
【００８３】
＜第２の実施の形態＞
本実施の形態は、同時に複数の監視現場における人物の追跡処理を行うことができるようにするものである。
【００８４】
図７は第２の実施の形態に係る人物追跡装置の構成を示す図である。
【００８５】
図７に示す人物追跡装置１’は、各監視現場を撮影する複数の監視カメラ３−１、３−２、…、３−ｎと表示部５と接続される。人物追跡装置１’は、内部に、監視カメラ３−１、３−２、…、３−ｎによる各監視現場の撮影画像に基づいて追跡処理を行う複数のローカル追跡処理ノード４１−１、４１−２、…、４１−ｎと、ローカル追跡処理ノード４１−１、４１−２、…、４１−ｎの各人物追跡結果を記憶する人物追跡結果記憶部４３と、表示合成部３１を有する。人物追跡装置１’は、各監視カメラ３−１、３−２、…、３−ｎが独立して撮影した複数の監視現場の撮影画像に対し、同時に人物追跡処理を行うことができる。
【００８６】
なお、ローカル追跡処理ノード４１（４１−１、４１−２、…、４１−ｎ）は、図８に示すように構成されている。図８はローカル追跡処理ノード４１の構成を示す図である。ローカル追跡処理ノード４１−１、４１−２、…、４１−ｎの構成は、表示合成部３１が除外されている以外は、図１に示す人物追跡装置１とほぼ同様の構成である。
【００８７】
人物追跡装置１’は、以下のように動作する。
【００８８】
各ローカル追跡処理ノード４１−１、４１−２、…、４１−ｎは、複数の監視カメラ３−１、３−２、…、３−ｎからそれぞれの撮影画像を受け取り、各撮影画像から差分領域を抽出し、人物領域を判定する。そして、人物領域を人体の各部位が映るブロックに分割し、その中の一つをテンプレートとして用いて人物の追跡処理を行い、それぞれの追跡処理結果（例えば、カメラ番号、人物軌跡情報等）を人物追跡結果記憶部４３に出力する。なお、人物軌跡情報は、対象人物毎に付された番号（人物軌跡番号）や、各撮影画像内における対象人物の座標位置（ローカル空間位置）、画像を撮影した時間（時間コード）等の情報からなる。
【００８９】
人物追跡結果記憶部４３は、ローカル追跡処理ノード４１−１、４１−２、…、４１−ｎから各追跡処理結果を受け取り、それを記憶する。図９は人物追跡結果記憶部の記憶内容の一例を示す図である。図９に示すように、人物追跡結果記憶部４３は、各人物の追跡処理結果を検索しやすいように、カメラ番号、人物軌跡番号、ローカル空間位置、時間コード等の情報（すなわち、「どのカメラ」に、「何番の軌跡」で、「どこ」に、「いつ」、現れた等の情報）をテキストデータの形式で記憶する。
【００９０】
表示合成部３１は、監視カメラ３−１、３−２、…、３−ｎからの各撮影画像とローカル追跡処理ノード４１−１、４１−２、…、４１−ｎからの各人物の追跡処理結果とを合成して追跡結果画像を生成し、表示部５に出力する。
【００９１】
表示部５は、表示合成部３１によって生成された追跡結果画像を表示する。
【００９２】
以上説明したように、本実施の形態は、複数の監視カメラ３−１〜３−ｎによる各監視現場の撮影画像によって、同時に複数の監視現場における人物の追跡処理を行うことができる。しかも、人物追跡結果記憶部４３は、複数の監視現場における追跡処理結果を集中的に、しかも検索可能な形態で記憶しているので、後から、特定の人物に対する追跡処理結果の履歴分析や軌跡分析を容易に行うことができる。その結果、監視人員の数を減らすことが可能である。
【００９３】
＜第３の実施の形態＞
本実施の形態は、ある監視現場にいる人物が他の監視現場に移動する場合であっても、その人物の追跡処理を行うことができるようにするものである。
【００９４】
図１０は第３の実施の形態に係る人物追跡装置の構成を示す図である。本実施の形態に係る人物追跡装置１”は、人物が複数の現場に跨って移動する場合に、その人物を追跡できるものである。その構成は、第２の実施の形態に係る人物追跡装置１’とほぼ同様であるが、広域追跡結果生成部５１が設けられているとともに、人物追跡結果記憶部４３の代わりに広域人物追跡結果記憶部５３が設けられている。広域追跡結果生成部５１は、複数の監視現場に跨って人物の追跡処理を行い、撮影画像の撮影位置を、各監視カメラ３−１〜３−ｎ全体に共通する座標系で表した追跡結果を生成して広域人物追跡結果記憶部５３に出力し、広域人物追跡結果記憶部５３はこれを記憶する。
【００９５】
人物追跡装置１”は、以下のように動作する。
【００９６】
第２の実施の形態と同様に、各ローカル追跡処理ノード４１−１、４１−２、…、４１−ｎは、複数の監視カメラ３−１、３−２、…、３−ｎからそれぞれの撮影画像を受け取り、各撮影画像から差分領域を抽出し、人物領域を判定する。そして、人物領域を人体の各部位が映るブロックに分割し、その中の一つをテンプレートとして用いて人物の追跡処理を行い、それぞれの追跡処理結果（例えば、カメラ番号、人物軌跡情報等）を広域人物追跡結果生成部５１に出力する。なお、人物軌跡情報は、対象人物毎に付された番号（人物軌跡番号）や、各撮影画像内における対象人物の座標位置（ローカル空間位置）、画像を撮影した時間（時間コード）等の情報からなる。
【００９７】
広域追跡結果生成部５１は、ローカル追跡処理ノード４１−１、４１−２、…、４１−ｎから各追跡処理結果を受け取る。そして、各追跡処理結果から、監視現場におけるローカルな座標系で表された位置座標を広域に渡って共通する座標系（以下、広域座標系という）で表された位置座標に変換して広域追跡処理結果を生成し、それを記憶する。
【００９８】
図１１は広域人物追跡結果記憶部の記憶内容の一例を示す図である。図１１に示すように、広域人物追跡結果記憶部５３は、軌跡番号、広域空間位置（すなわち、広域座標系の空間位置）、時間コード等の情報（すなわち、「何番の軌跡」で、「共通の座標系のどこ」に、「いつ」現れる等の情報）をテキストデータの形式で記憶する。これに対して、第２の実施の形態に係る人物追跡結果記憶部４３は、図９に示すように、追跡処理結果をローカルな座標系で記憶する。
【００９９】
なお、ローカルな座標系における空間位置座標を、広域座標系における空間位置座標に変換する具体的な手法は、例えば信学技報ＩＥ２００１−１５　２００１−０６の第１３頁〜第１９頁に開示されている。
【０１００】
表示合成部３１は、各監視カメラ３−１、３−２、…、３−ｎからの撮影画像と広域人物追跡結果生成部５１からの広域追跡処理結果とを合成して広域追跡結果画像を生成し、表示部５に出力する。
【０１０１】
表示部５は、表示合成部３１によって生成された広域追跡結果画像を表示する。
【０１０２】
以上説明したように、本実施の形態は、各監視現場の撮影画像に映る対象人物の位置座標を広域座標系に変換して管理する。これによって、ある監視現場にいる人物が他の監視現場に移動する場合であっても、広域に渡ってその人物の追跡を行うことができる。しかも、広域人物追跡結果記憶部５３は、広域における追跡処理結果を集中的に、しかも検索可能な形態で記憶しているので、後から、広域における特定の人物に対する追跡処理結果の履歴分析や軌跡分析を容易に行うことができる。その結果、第２の実施の形態よりも、更に監視人員の数を減らすことが可能である。
【０１０３】
本発明は上記の実施の形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の応用及び変形が考えられる。例えば、表示部５は、運用によって追跡結果画像（または広域追跡結果画像）の全てまたは一部を選択して表示する構成にしてもよい。
【０１０４】
上述の第１〜第３の実施の形態において、監視カメラが俯瞰して撮影するタイプの場合、複数の人物の頭部が一つの領域単位内に重なる確率は他の部位よりも低いので、頭部が映るブロックをテンプレートとして用いるのが有効である。
【０１０５】
また、上述の第１〜第３の実施の形態の中で、複数の監視現場において複数の人物を同時に追跡し、追跡結果を集中保存する場合は、第２の実施の形態が適している。
【０１０６】
また、上述の第１〜第３の実施の形態の中で、複数カメラ間の相対的な空間関係が分かった場合に、広域監視現場にわたって広域な範囲で人物を追跡する場合は、第３の実施の形態が適している。
【０１０７】
また、第２及び第３の実施の形態は、追跡結果を記憶しているので、後日、追跡対象となる人物の動きを分析する場合等に適している。
【０１０８】
【発明の効果】
以上説明した本発明は、複数の人物が一つの領域単位の中に重なって存在する場合に、人物領域を特定することができ、容易に人物の追跡を行うことができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る人物追跡装置の構成を示す図である。
【図２】人物領域判定部の動作を示すフローチャートである。
【図３】人物領域の分割を示す図である。
【図４】人物領域分割部の動作を示すフローチャートである。
【図５】人物追跡部の動作を示すフローチャートである。
【図６】頭部ブロックのテンプレートのマスク処理を示す図である。
【図７】第２の実施の形態に係る人物追跡装置の構成を示す図である。
【図８】ローカル追跡処理ノードの構成を示す図である。
【図９】人物追跡結果記憶部の記憶内容の一例を示す図である。
【図１０】第３の実施の形態に係る人物追跡装置の構成を示す図である。
【図１１】広域人物追跡結果記憶部の記憶内容の一例を示す図である。
【符号の説明】
１　人物追跡装置
３　監視カメラ
５　表示部
１１　Ａ／Ｄ変換部
１３　現画像蓄積部
１５　背景画像蓄積部
１７　背景更新部
１９　差分領域抽出部
２１　閾値演算部
２３　２値化部
２５　人物領域判定部
２７　人物領域分割部
２９　人物追跡部
３１　表示合成部

Claims (20)

1. 撮影手段によって連続して撮影された各画像を記憶する記憶手段と、
   前記撮影手段によって連続して撮影された各画像に対し、人体の特定部位が映るブロックをテンプレートに用いることによって、各画像の中から人物を検出し、その動きを追跡する追跡手段とを有することを特徴とする人物追跡装置。
2. 複数の撮影手段によって連続して撮影された各画像を記憶する記憶手段と、
   前記複数の撮影手段によって連続して撮影された各画像に対し、人体の特定部位が映るブロックをテンプレートに用いることによって、各画像の中から人物を検出し、その動きを追跡する追跡手段とを有することを特徴とする人物追跡装置。
3. 複数の撮影手段によって連続して撮影された各画像を、各撮影手段に固有のローカルな座標系で記憶し管理することを特徴とする請求項２に記載の人物追跡装置。
4. 複数の撮影手段によって連続して撮影された各画像を、全撮影手段に共通する広域な座標系で記憶し管理することを特徴とする請求項２に記載の人物追跡装置。
5. 頭部が映るブロックをテンプレートに用いて順次マッチング処理を行うことを特徴とする請求項１〜４のいずれか１項に記載の人物追跡装置。
6. 前記撮影手段によって連続して撮影された各画像の中から人物が映る領域を抽出する人物領域抽出部と、
   人物が映る領域を人体の各部位が映るブロックに分割する人物領域分割部と、
   前記撮影手段によって連続して撮影された各画像に対し、分割されたブロックの中の一つをテンプレートに用いて順次マッチング処理することによって、各画像の中から人物を検出し、その動きを追跡する人物追跡部と、
   を有することを特徴とする請求項１〜５のいずれか１項に記載の人物追跡装置。
7. 前記人物領域抽出部は、
   前記撮影手段によって撮影された画像とその背景となる画像とを比較し、差分となる領域を抽出する差分領域抽出部と、
   差分となる領域を２値化する際に閾値を演算する閾値演算部と、
   差分となる領域を２値化する２値化部と、
   ２値化された差分となる領域に対し、人物が映る領域であるか否かを判定する人物領域判定部と、
   からなることを特徴とする請求項６に記載の人物追跡装置。
8. 前記人物領域判定部は、２値化された差分となる領域の縦幅、横幅、縦横比に基づいて、２値化された差分となる領域に対し、人物が映る領域であるか否かを判定することを特徴とする請求項７に記載の人物追跡装置。
9. 前記人物領域分割部は、人体のプロポーションに基づいて、人物が映る領域を、頭部の左右、上半身の左右、下半身の左右いずれかの部位が映るブロックに分割することを特徴とする請求項６に記載の人物追跡装置。
10. 前記人物追跡部は、縮小、拡大、または回転処理を施したテンプレートを用いて順次マッチング処理を行うことを特徴とする請求項６に記載の人物追跡装置。
11. 記憶手段と追跡手段とを有し、人物の動きを追跡する人物追跡装置は、
    前記記憶手段が撮影手段によって連続して撮影された各画像を記憶する工程と、
    前記追跡手段が、前記撮影手段によって連続して撮影された各画像に対し、人体の特定部位が映るブロックをテンプレートに用いることによって、各画像の中から人物を検出し、その動きを追跡する工程とを有することを特徴とする人物追跡方法。
12. 記憶手段と追跡手段とを有し、人物の動きを追跡する人物追跡装置は、
    前記記憶手段が複数の撮影手段によって連続して撮影された各画像を記憶する工程と、
    前記追跡手段が、前記複数の撮影手段によって連続して撮影された各画像に対し、人体の特定部位が映るブロックをテンプレートに用いることによって、各画像の中から人物を検出し、その動きを追跡する工程とを有することを特徴とする人物追跡方法。
13. 前記人物追跡装置は、複数の撮影手段によって連続して撮影された各画像を、各撮影手段に固有のローカルな座標系で記憶し管理することを特徴とする請求項１２に記載の人物追跡方法。
14. 前記人物追跡装置は、複数の撮影手段によって連続して撮影された各画像を、全撮影手段に共通する広域な座標系で記憶し管理することを特徴とする請求項１２に記載の人物追跡方法。
15. 前記人物追跡装置は、頭部が映るブロックをテンプレートに用いて順次マッチング処理を行うことを特徴とする請求項１１〜１４のいずれか１項に記載の人物追跡方法。
16. 前記人物追跡装置は、前記撮影手段によって連続して撮影された各画像の中から人物が映る領域を抽出し、
    人物が映る領域を人体の各部位が映るブロックに分割し、
    前記撮影手段によって連続して撮影された各画像に対し、分割されたブロックの中の一つをテンプレートに用いて順次マッチング処理することによって、各画像の中から人物を検出し、その動きを追跡する
    ことを特徴とする請求項１１〜１５のいずれか１項に記載の人物追跡方法。
17. 前記人物追跡装置は、
    前記撮影手段によって撮影された画像とその背景となる画像とを比較し、差分となる領域を抽出し、
    差分となる領域を２値化する際に閾値を演算し、
    差分となる領域を２値化し、
    ２値化された差分となる領域に対し、人物が映る領域であるか否かを判定する
    ことを特徴とする請求項１６に記載の人物追跡方法。
18. 前記人物追跡装置は、２値化された差分となる領域の縦幅、横幅、縦横比に基づいて、２値化された差分となる領域に対し、人物が映る領域であるか否かを判定することを特徴とする請求項１７に記載の人物追跡方法。
19. 前記人物追跡装置は、人体のプロポーションに基づいて、人物が映る領域を、頭部の左右、上半身の左右、下半身の左右いずれかの部位が映るブロックに分割することを特徴とする請求項１６に記載の人物追跡方法。
20. 前記人物追跡装置は、縮小、拡大、または回転処理を施したテンプレートを用いて順次マッチング処理を行うことを特徴とする請求項１６に記載の人物追跡方法。

Images