JP5398341B2 - 物体認識装置及び物体認識方法 - Google Patents

Description

本発明は物体認識装置、物体認識方法、プログラム及び記憶媒体に関し、特に、カメラ等から取得されるフレーム画像から物体を認識するために用いて好適な技術に関する。

従来、店舗等の入り口や通路を通行する人をカメラで撮影し、撮影した映像より人物の顔の位置を検出して、通過した人数を計測する技術が提案されている。このような所定領域における通行人をカメラ映像からカウントする技術として、例えば、特許文献１に開示されているものがある。この特許文献１に記載の技術によれば、通路の上方から真下に向けてカメラを設置し、カメラの上方から見た人物の頭の形状が円であることに着目し、カメラ映像から円形の物体を人物として抽出して、カウントするようにしている。

一方、近年、非特許文献１及び２で提案されているような技術を用いて、画像から顔を検出する技術の実用化が進んでいる。このような技術を利用すれば、例えば、通路の前方にカメラを設置し、カメラで撮影した映像から顔を検出することにより人物をカウントすることも可能である。

図８は、通路の前方にカメラを設置して人物を撮影している様子を示す図である。
図８において、１０１は、通路の天井であり、１０２は通路の床である。１０３は通路を通行している人物である。１０４は撮像部（カメラ）であり、人物１０３を斜め上から撮影できるように、天井１０１に設置されている。１０５はＬＡＮケーブルであり、カメラ１０４で撮像される映像を送信する。１０６は、映像を解析し、計数する装置となるパーソナルコンピュータ（ＰＣ）である。

図８に示すように、天井１０１に設置されたカメラ１０４で撮影した映像から人物１０３の顔を、前述の非特許文献１及び２に記載の技術を用いて検出することにより人物をカウントすることも可能である。

特開平４−１９９４８７号公報 特開２００７−７２６０６号公報

Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998 Viola and Jones, "Rapid Object Detection using Boosted Cascade of Simple Features", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR'01)

しかしながら、人物を高精度に認識するためには、解像度が高く、かつフレームレートも高い映像が必要となる。その結果、カメラから映像データを受信する際にネットワークの負荷が大きくなってしまう。以下、図５及び図６に示す例を参照しながら説明する。

図５に示すように、通路の床５０２に立っている人物５０４が通路の天井５０１に設置されたカメラ５０３から遠い位置にいるとき、図６に示すように、フレーム画像６０１内では人物６０２が上の方に小さく写る。したがって、小さく写った人物を認識するためには、解像度が高い映像が必要である。

一方、人物がカメラから遠い位置にいるときは、人物に対するカメラの角度が浅いため、フレーム画像内において人物の位置が変化するためには長い時間が必要である。すなわち、フレーム画像内における人物の相対的な移動速度は遅くなる。したがって、フレームレートは低くても、認識結果は大きく変化しない。

これに対して、図５に示すように、通路の床５０２に立っている人物５０５がカメラ５０３に近い位置にいるときは、図６に示すように、フレーム画像６０１内では人物６０３が下の方に大きく写る。したがって、人物が大きく写っているため、比較的解像度が低い映像であっても、認識は可能である。ところが、人物がカメラから近い位置にいるときは、人物に対するカメラの角度が深いため、フレーム画像内における人物の位置は、短い時間の間に大きく変化する。したがって、フレームレートが高い映像が必要である。

以上のように、人物６０２の認識対象領域６０４を設定した場合は、解像度が高くてもフレームレートは低い映像で十分である。逆に、人物６０３の認識対象領域６０５を設定した場合は、解像度は低いがフレームレートは高い映像で十分である。しかしながら、フレーム画像内の位置に拠らず、人物を高精度に認識するためには、両方の条件を満たす必要がある。したがって、解像度及びフレームレートが高い映像が必要となってしまう。

この課題を解決するためには、認識対象領域に応じて解像度・フレームレートを容易に最適化する方法が必要である。このような方法としては、持ち運びが可能なカメラにおいて、認識対象の最小検出サイズをユーザに指定させ、これに応じて入力画像の解像度を決定する方法が、例えば特許文献２に開示されている。この技術は、撮影時にカメラと被写体との距離が変化しない場合においては有効である。

しかしながら、監視などを目的とした通路などに設置されたカメラの場合は、カメラと被写体との距離が常に変化し、前述のようにフレーム画像内の位置によって必要な解像度が変化する場合においては、何度もユーザが設定を行う必要が生じてしまう。また、フレーム画像全体を認識対象領域とし、カメラの角度や撮影倍率を変更して、認識対象領域がフレーム画像領域と一致するようにした場合でも、カメラの角度・撮影倍率を変更するごとにフレームレート及び解像度を設定し直す必要が生じてしまう。

本発明は前述の問題点に鑑み、ネットワークの負荷を軽減するとともに、認識に必要な入力映像のフレームレート及び解像度を容易に最適化できるようにすることを目的としている。

本発明の物体認識装置は、被写体を撮像して映像データを生成する撮像手段と、前記撮像手段によって生成された映像データから物体を認識する物体認識手段と、前記撮像手段によって利用可能な最高値の制御パラメータを用いて生成された所定時間分の映像データの複数フレームのそれぞれを前記物体認識手段により認識した結果を分析する分析手段と、前記分析手段の分析結果に基づいて、前記物体認識手段が物体を認識可能な映像データを生成するための前記撮像手段の制御パラメータの限度値を決定する決定手段とを備えることを特徴とする。

本発明によれば、監視などを目的としたカメラ等において、カメラと被写体との距離が常に変化するような場合であっても、ネットワークの負荷を軽減するとともに、認識に必要な入力映像のフレームレート及び解像度を容易に最適化することができる。

本発明の第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。 本発明の第１の実施形態におけるパーソナルコンピュータ（ＰＣ）のハードウェア構成例を示すブロック図である。 被写体の移動に伴う被写体領域の移動例を示す概念図である。 本発明の第１の実施形態に係る画像処理装置による物体認識の処理手順の一例を示すフローチャートである。 人物が遠い場合と近い場合とにおけるカメラと位置関係を示す図である。 フレーム画像内における認識対象領域を説明する図である。 画像から顔パターンの探索を行う方法を説明する図である。 通路の前方にカメラを設置して人物を撮影している様子を示す図である。 前後のフレームにおいて顔の認識結果が重ならなくなる例を示す図である。 本発明の第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

（第１の実施形態）
以下、添付図面を参照しながら、本発明の好適な実施形態について説明する。
図２は、本実施形態におけるパーソナルコンピュータ（ＰＣ）８００のハードウェア構成例を示すブロック図である。
図２において、ＣＰＵ８０１は、本実施形態の画像処理装置における各種制御を実行するためのものである。ＲＯＭ８０２は、本実施形態の画像処理装置の立ち上げ時に実行されるブートプログラムや各種データを格納するためのものである。

ＲＡＭ８０３は、ＣＰＵ８０１が処理するための制御プログラムを格納するとともに、ＣＰＵ８０１が各種制御を実行する際の作業領域を提供する。キーボード８０４及びマウス８０５は、ユーザによる各種入力操作環境を提供するためのものである。

外部記憶装置８０６は、例えば、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等である。なお、外部記憶装置８０６は、制御プログラムや各種データを全てＲＯＭ８０２に格納するようにする場合には、必ずしも必要な構成要素ではない。

表示器８０７は、ディスプレイなどで構成されており、処理結果等をユーザに対して表示する。ネットワークインターフェース８０８は、ネットワーク上の撮像部とＬＡＮケーブルを介した通信を可能とする。ビデオインターフェース８０９は、同軸ケーブルを介して撮像部からフレーム画像を取り込むためのものである。また、バス８１０は、上記の各構成を接続するためのものである。

図１は、本実施形態に係る画像処理装置（物体認識装置）１００の機能構成例を示すブロック図である。
図１において、撮像部２０１は、撮像レンズ、および、ＣＣＤ、ＣＭＯＳなどの撮像センサから構成されている。映像送信部２０２は、撮像部２０１で撮像したフレーム画像を所定のフレームレート及び解像度の画像データ（映像データ）に変換し、ＬＡＮケーブルを介してｈｔｔｐプロトコルのパケットデータとしてＰＣ２１０へ送る。

映像処理制御パラメータ設定部２０３は、後述する映像処理制御パラメータ決定部２１６により決定されたフレームレート及び解像度の情報を、ＬＡＮケーブルを介して受信し、受信した値を映像送信部２０２に対して設定する。これにより、映像処理制御パラメータ決定部２１６において決定されたフレームレート及び解像度により、画像データが送信されるようになる。以上のように、本実施形態のカメラ２００は、撮像部２０１、映像送信部２０２及び映像処理制御パラメータ設定部２０３を有しており、撮像部２０１及び映像送信部２０２が撮像手段として機能する。

映像受信部２１１は、ＰＣ２１０上のネットワークインターフェース８０８を介してカメラ２００から送られたパケットデータを受信する。そして、受信したパケットデータよりフレーム画像データにし、物体認識部２１２へ出力する。

物体認識部２１２は、映像受信部２１１に入力された画像データに所望の物体が映っているかどうかを認識するためのものである。なお、後述する認識対象領域設定部２１５により領域が設定されているときは、フレーム画像の中の設定された領域に対してのみ認識を行う。認識結果分析部２１３は、物体認識部２１２で認識した結果を分析するためのものである。

出力部２１４は、認識結果分析部２１３の分析結果を、例えば、表示器８０７に出力して表示するように制御するためのものである。認識対象領域設定部２１５は指定手段として機能し、フレーム画像の中でユーザが所望する物体を認識する領域を、ユーザの操作によりキーボード８０４、マウス８０５などを介して、設定するものである。

映像処理制御パラメータ決定部２１６は、認識結果分析部２１３の分析結果に応じて、フレームレート及び解像度を決定する。そして、決定したフレームレート及び解像度の情報を、ＬＡＮケーブルを介してカメラ２００に送信する。以上のように、本実施形態のＰＣ２１０は、映像受信部２１１から映像処理制御パラメータ決定部２１６までの機能を有している。

次に、本実施形態における処理の流れについて、図４のフローチャートを参照しながら説明する。なお、本実施形態は、通路を通行する人数をカウントするだけでなく、所定の領域の混雑率を計測したり、動線を分析したり、特定の人物に対してアラームを発生させたりするなど、様々な用途に適用可能である。以下では、人数をカウントする場合に適用した例について説明する。

図４は、本実施形態に係る画像処理装置１００による物体認識の処理手順の一例を示すフローチャートである。本実施形態に係る画像処理装置１００の処理は、映像処理制御パラメータを設定する時の処理と人数をカウントする時の処理とに大きく分けることができる。まず、カメラを設置した後や、認識対象領域の変更を行う場合など、人数のカウントを開始する前は、映像処理制御パラメータを設定するモードとする。そして、ステップＳ４０１からステップＳ４０７までの処理において、フレームレートと解像度とを最適化する処理を行う。その後、人数をカウントするモードに移行し、ステップＳ４１０からステップＳ４１３において人数をカウントする処理を行う。

まず、ステップＳ４００において、映像処理制御パラメータ決定部２１６は、映像処理制御パラメータを設定するモードであるかどうかを判定する。この判定の結果、映像処理制御パラメータを設定するモードでない場合は、ステップＳ４０８に進む。ここで、映像処理制御パラメータを設定するモードは、一般的に人数をカウントするための初期設定を行うためのモードである。

一方、ステップＳ４００の判定の結果、映像処理制御パラメータを設定するモードである場合は、次のステップＳ４０１において、認識対象領域設定部２１５は、フレーム画像内の認識対象領域を設定する。具体的には、ユーザによってキーボード８０４やマウス８０５が操作されることにより、図６に示すような矩形領域をフレーム画像内に指定する。なお、本実施形態では、矩形領域を一箇所にのみ指定するものとして説明する。そして、認識対象領域設定部２１５は、指定された矩形領域を認識対象領域として、物体認識部２１２に設定する。

次に、ステップＳ４０２において、映像処理制御パラメータ決定部２１６は、初期値として、フレームレート及び解像度について利用可能な最高の値に決定する。この値は、撮像部２０１のＣＣＤのサイズや映像送信部２０２の送信能力や、ネットワークの帯域の広さによって決まる。

具体的な決定方法としては、まず、カメラ２００に対してネットワークを介して問い合わせ、カメラ２００で利用可能な解像度及びフレームレートの情報を得る。次に、ネットワークを介してその解像度及びフレームレートの情報を映像処理制御パラメータ設定部２０３へ送信する。そして、映像処理制御パラメータ設定部２０３は、映像送信部２０２に対して、フレームレート及び解像度が利用可能な最高の値となるように制御する。これにより、以降、フレームレート及び解像度が最高値のフレーム画像が生成される。

次に、ステップＳ４０３からステップＳ４０５においては、所定時間分、人物の認識を行うが、このとき、指定した認識対象領域内を予め決められたパターンで被写体である人物が歩行するものとする。例えば、人物がフレーム画像の認識対象領域の上端から下端まで移動するように、往復を繰り返すように歩行する。これは、認識の内容を決めておくことにより、後の認識結果の分析を容易にするためである。

次に、ステップＳ４０３において、映像受信部２１１は、カメラ２００の撮像部２０１で撮影された画像データを映像送信部２０２から受信し、物体認識部２１２に送る。ここで、入力される画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂの３つの面により構成される。

映像受信部２１１は、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の解凍方式に従って復号化し、ＲＧＢ各画素により構成される画像データとする。さらに、本実施形態では、ＲＧＢデータを輝度データに変換し、輝度データを以後の処理に適用するものとして、不図示の画像メモリに格納する。画像データとしてＹＣｒＣｂのデータを入力する場合は、Ｙ成分をそのまま輝度データとしてもよい。

次に、ステップＳ４０４において、物体認識部２１２は、内部の画像メモリに転送された画像データを辞書データと照合し、認識対象領域設定部２１５で設定された領域に対して、所望の物体を認識する。

ここで、物体認識方法について説明する。前述したように、物体認識方法については、例えば非特許文献１や非特許文献２に開示されている。以下、説明を簡単にするために画像全域から物体を認識するように説明するが、認識対象領域のみから物体を認識する場合も基本的な処理は同様である。この場合、後述する走査を認識対象領域のみにするか、もしくはフレーム画像から認識対象領域を切り出して、切り出された画像全体について走査を行うようにすればよい。

例えば、非特許文献１に記載の方法によれば、ニューラル・ネットワークにより画像中の顔パターンを検出する。以下、その方法について簡単に説明する。まず、顔検出の対象とする画像データをメモリに書き込み、顔と照合する所定の領域をその画像から切り出す。そして、切り出した領域の画素値の分布を入力してニューラル・ネットワークによる演算を用いて１つのデータが出力される。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンとによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力データが０以上なら顔、それ以外は非顔であると判別する。ここで、重みや閾値が前述の辞書データとなる。

そして、ニューラル・ネットワークにより顔と照合する画像パターンの切り出し位置を、例えば、図７に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図７のＡの列に示すように、読み出した画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。

また、処理の高速化に着目した例としては、例えば非特許文献２に開示されている。この非特許文献２に記載の方法では、AdaBoostを用いて多くの弱判別器を有効に組合せて顔判別の精度を向上させている。さらに、夫々の弱判別器はHaarタイプの矩形特徴量で構成し、しかも、矩形特徴量を算出する際には、積分画像を用いて高速に行っている。

さらに、AdaBoost学習によって得た判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。このカスケード型の顔検出器では、まず、前段の計算量のより少ない単純な判別器を用いて明らかに顔でないパターンの候補をその場で除去する。そして、それ以外の候補に対してのみ、より高い識別性能を持つ後段の計算量のより多い複雑な判別器を用いて顔かどうかの判定を行う。このように、すべての候補に対して複雑な判定を行う必要がないので処理を高速化することができる。

次に、ステップＳ４０５において、認識結果分析部２１３は、所定時間が経過しているかどうかを判定する。この判定の結果、所定時間が経過していない場合は、ステップＳ４０３に戻る。一方、ステップＳ４０５の判定の結果、所定時間が経過している場合は、ステップＳ４０６へ進む。

次に、ステップＳ４０６において、認識結果分析部２１３は、所定時間分の認識結果を分析し、映像受信部２１１で受信したフレーム画像から物体認識部２１２で認識した映像中の顔の最小サイズと、移動速度とを求める。顔の最小サイズについては、所定時間内に認識された結果を、顔のサイズについてヒストグラムを取り、顔のサイズが小さい方から順に見て、所定数以上の頻度があるサイズを採用する。

一方、顔の移動速度については、２つのフレーム間の認識された顔の位置の間の差（距離（画素数））を求めればよい。なお、２つのフレーム間の時間はフレームレートから知ることができる。ここで、認識した顔の位置の精度のばらつきを除くため、所定時間分、前述の方法で移動速度を算出し、その平均値を顔の移動速度とする。

次に、ステップＳ４０７において、映像処理制御パラメータ決定部２１６は、ステップＳ４０６で求めた顔の最小サイズと移動速度とから、フレームレート及び解像度の下限値を決定する。

解像度の下限値については、認識可能な最小サイズにより決定される。図７に示したように、照合に使用する画像パターンは所定のサイズであり、走査を行う画像を縮小していくことにより、様々なサイズの顔を認識する。したがって、図７のＡ列の先頭のフレーム画像のサイズ（縮小を行う前のサイズ）に対する画像パターンのサイズが、認識可能な最小サイズになる。

例えば、照合に使用する画像パターンが２０×２０画素である場合について説明する。フレーム画像の解像度がＶＧＡ（６４０×４８０画素）であるときは、認識可能な顔の最小サイズは２０×２０画素である。ここで、ステップＳ４０６で得られた顔の最小サイズが４０×４０画素であったとする。照合に使用する画像パターンに比べて縦横が２倍であるため、フレームの解像度はＶＧＡの縦横がそれぞれ１／２であれば十分である。したがって、必要なフレーム画像の解像度の下限値はＱＶＧＡ（３２０×２４０画素）と決定することができる。

次に、フレームレートの下限値については、ステップＳ４０６で求めたフレーム画像内の顔の移動速度と、前後のフレームの認識結果の位置ずれの許容範囲とによって決まる。人数をカウントするためには、フレームごとの認識結果から、同一の人物ごとに軌跡を作成する必要がある。すなわち、前後のフレーム間の認識結果が同一人物の顔のものであるかどうかを判定する必要がある。例えば、前後のフレーム間で認識結果（被写体）が重ならなくなると同じ顔であったかどうかの判断は難しくなる。そこで、前後のフレームの認識結果が常に重なる範囲の位置ずれを、許容範囲とすることができる。

例えば、ＶＧＡのフレーム画像内で、ステップＳ４０６で得られた顔の最小サイズが４０×４０である場合について説明する。このとき、移動速度は３０ｆｐｓ（フレーム毎秒）で１０画素であったとする。前述の通り、解像度としてはＱＶＧＡで十分であるので、このときの移動速度は３０ｆｐｓで５画素となる。このとき、認識可能な顔のサイズは２０×２０であるので、２つの認識結果が認識可能な顔サイズ１辺の２０画素以上ずれると重ならなくなる。

例えば、図９に示すように、２つの認識結果９０１、９０２があり、距離９０３は２つの中心間の距離である。距離９０３は、１辺の半分の１０画素の２倍に相当するので２０画素になる。つまり、前後のフレーム間で２０画素以上ずれると認識結果が重ならなくなる。したがって、許容する位置ずれの範囲を１５画素以内とする。移動速度は３０ｆｐｓで５画素であるから、１０ｆｐｓとすれば１５画素となる。この結果、必要なフレームレートの下限値は１０ｆｐｓとなる。

そして、映像処理制御パラメータ決定部２１６は、ネットワークを介してカメラ２００の映像処理制御パラメータ設定部２０３へ前記決定した解像度及びフレームレートの値（下限値）の情報を送信する。

次に、ステップＳ４０８において、映像処理制御パラメータ設定部２０３は、ステップＳ４０７で求めたフレームレート及び解像度の画像データを送信するように映像送信部２０２のパラメータを設定する。これにより、以降、撮像部２０１で撮像された画像データは映像処理制御パラメータ決定部２１６によって決定されたフレームレート及び解像度により、映像送信部２０２によって送信される。

次に、ステップＳ４０９において、は終了判定であり、ユーザにより電源ＯＦＦやキーボード８０４やマウス８０５を介して終了の指示があったか否かを判定する。この判定の結果、終了する指示があった場合は、そのまま終了する。一方、ステップＳ４０９の判定の結果、終了する指示がない場合は、次のステップＳ４１０に進む。

次に、ステップＳ４１０において、映像受信部２１１は、ステップＳ４０７で決定されたフレームレート及び解像度の画像データを受信し、物体認識部２１２へ送る。そして、ステップＳ４１１において、物体認識部２１２は、ステップＳ４１０において入力された画像データについて物体の認識を行う。物体認識の詳細についてはステップＳ４０４と同じであるので説明は省略する。

次に、ステップＳ４１２において、認識結果分析部２１３は、所定時間の間に検出された被写体領域を集計し、人物の軌跡を生成する。なお、所定時間の間に検出された被写体領域の情報は、ＲＡＭ８０３に記憶されるものとする。この処理は、所定時間内に検出された複数の顔のうち、どれが同一の人物の動きに対応するかを求める処理である。

ステップＳ４１２の処理の詳細について、図３を参照しながら説明する。図３は、被写体の移動に伴う被写体領域の移動例を示す概念図である。
図３においては、撮像しているフレーム全体３０１に、所定の時間に検出された顔の領域を、矩形で重ねて表現している。図３に示す例では、３フレーム分が重なっており、領域３０３が最も古いフレームの被写体領域であり、領域３０４がその次のフレームの被写体領域である。そして、領域３０５は、最も新しい現在のフレームの被写体領域であるものとする。

これらの軌跡を求める方法としては、各領域の中心を求め、各領域の中心間の距離が最小となるもの同士を同一の被写体とみなし、線分で接続するようにすればよい。このようにして求めた軌跡が、例えば、図３の曲線３０９となる。

次に、ステップＳ４１３において、認識結果分析部２１３はステップＳ４０９で作成された軌跡が、所定の条件を満たすかどうかをチェックし、条件を満たす軌跡をカウントする。本実施形態において所定の条件とは、例えば、図３に示したように計測ライン３０２を横切っているかどうかについてである。計測ライン３０２は、ユーザによってフレーム画面内に設定されるものとする。図３に示す例では、曲線３０９が計測ライン３０２を横切っているので、１とカウントされる。もし、まだ、計測ライン３０２を横切っていない軌跡が存在する場合には、その時点では、カウントされない。

次に、ステップＳ４１４において、出力部２１４は、カウントされた結果の情報を表示器８０７に出力してユーザに対して表示する。そして、ステップＳ４００へ戻る。以上のように、所定時間分の認識結果を分析し、最小サイズと移動速度とを求めることにより、ネットワークの負荷を軽減するとともに、認識に必要な映像のフレームレート及び解像度を容易に最適化することが可能となる。

本実施形態では、顔の位置を検出する例について説明したが、人体全体や上半身、頭部など人物の様々な部位や、自動車や自転車など、様々な物体においても適用可能である。また、本実施形態では、解像度及びフレームレートの最適化を、画像処理装置の初期設定時（カメラを設置した時や検出対象領域を変更した時）に行ったが、これに限ったものではない。

例えば、図４のステップＳ４１４において人数のカウント処理を行いながら解像度及びフレームレートを最適化するようにしてもよい。具体的には、人数のカウントを開始した際に最高のフレームレート及び解像度としておき、認識結果分析部２１３におけるカウント処理を行う際に、最小サイズや移動速度を求めるようにすればよい。これらが求まったタイミングで、映像処理制御パラメータ決定部２１６により、フレームレート及び解像度を決定し、映像処理制御パラメータ設定部２０３にその情報を送信するようにしてもよい。

さらに、本実施形態では、認識対象領域を１つだけ設定した例について説明したが、複数設定するようにしてもよい。この場合は、まず、それぞれの設定領域におけるフレームレート及び解像度を求める。次に、それぞれを別の映像ストリームとして送った場合のトータルの映像送信量と、１つの映像ストリームとして送った場合のトータルの映像送信量とを比べ、少ない方を選択するようにすればよい。なお、１つの映像ストリームとして送る場合は、設定領域ごとに存在するフレームレート及び解像度の中から、最も値の大きいフレームレート及び解像度を選択するようにする。

また、本実施形態では、ユーザの操作により認識対象領域を指定したが、物体認識部２１２の認識結果から設定するようにしてもよい。例えば、フレームレート及び解像度はそれぞれ最高の値に設定し、所定時間、物体認識を行う。その後、所定数以上の認識結果が存在する領域を求め、これを認識対象領域とすればよい。

（第２の実施形態）
第１の実施形態では、カメラ２００とＰＣ２１０とをネットワークで接続し、顔認識が可能な範囲でフレームレート及び解像度の下限値を決定してネットワーク上の映像送信量（ネットワーク負荷）を低減した。本実施形態では、カメラ内で物体認識や認識結果分析を行う例について説明する。

図１０は、実施形態に係る画像処理装置１０００の機能構成例を示すブロック図である。なお、図１と同じ構成については、図１と同じ番号を付与している。したがって、図１と同じ構成については説明を省略する。
図１０において、映像読み出し部１００２は、撮像部２０１で生成した画素信号を読み出す。映像読み出し部１００２は、撮像部２０１の撮像素子から読み出す画素信号を画素毎に制御することにより、任意領域の画像信号を読み出して、必要に応じて変倍などの映像処理を行う。また、映像読み出し部１００２は、読み出した複数の画素信号から画像データを形成し、所定時間の間隔で物体認識部２１２に出力する。

特に、撮像部２０１の撮像素子が高解像度である場合、一度に全ての画素を読み出すには、映像読み出し部１００２の回路規模が膨大になってしまう。また、非常に高い解像度の画像データに対して認識処理を行うと、照合を行う回数が膨大となってしまうため、処理時間が非常に長くなってしまう。

そこで、撮像素子を複数の領域に分割し、分割された領域ごとに、図４のステップＳ４０２からステップＳ４０５と同様に所定時間、解像度及びフレームレートが高い画像データを入力し、物体認識部２１２にて物体認識を行う。そして、ステップＳ４０６と同様に、所定時間分の物体認識結果を分析し、認識した物体の最小サイズと移動速度とを求める。そして、求めた最小サイズ及び移動速度を基に、ステップＳ４０７と同様に、映像処理制御パラメータ決定部２１６においてフレームレート及び解像度を最適化するように決定すればよい。

決定されたフレームレート及び解像度は、映像処理制御パラメータ設定部２０３によって、映像読み出し部１００２に設定される。以降、映像読み出し部１００２は、最適化されたフレームレート及び解像度に変換して、物体認識部２１２に画像データを出力するようにする。これにより、読み出しに必要な回路規模の増大も、認識処理時間の増大も抑制することが可能となる。

（本発明に係る他の実施形態）
前述した実施形態の機能を実現するソフトウェアのプログラムコードを、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が読み出して実行することによっても、本発明の目的が達成される。

また、コンピュータが読み出したプログラムコードの指示に基づき、オペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明をコンピュータ読み取り可能な記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

１００ 画像処理装置、２００ カメラ、２１０ パーソナルコンピュータ（ＰＣ）、２１２ 物体認識部、２１６ 映像処理制御パラメータ決定部

Claims (10)

1. 被写体を撮像して映像データを生成する撮像手段と、
   前記撮像手段によって生成された映像データから物体を認識する物体認識手段と、
   前記撮像手段によって利用可能な最高値の制御パラメータを用いて生成された所定時間分の映像データの複数フレームのそれぞれを前記物体認識手段により認識した結果を分析する分析手段と、
   前記分析手段の分析結果に基づいて、前記物体認識手段が物体を認識可能な映像データを生成するための前記撮像手段の制御パラメータの限度値を決定する決定手段とを備えることを特徴とする物体認識装置。
2. 前記分析手段は、前記物体認識手段による認識結果から、映像中における物体の移動速度を算出し、
   前記決定手段は、前記分析手段によって算出された移動速度に基づいて、前記制御パラメータとして前記撮像手段によって生成される映像データのフレームレートを決定することを特徴とする請求項１に記載の物体認識装置。
3. 前記分析手段は、前記物体認識手段による認識結果から、映像中における物体の大きさを算出し、
   前記決定手段は、前記分析手段によって算出された物体の大きさに基づいて、前記制御パラメータとして前記撮像手段によって生成される映像データの解像度を決定することを特徴とする請求項１に記載の物体認識装置。
4. 前記映像データにおける認識対象領域を指定する指定手段をさらに備え、
   前記分析手段は、前記指定手段によって指定された認識対象領域における物体認識結果を分析することを特徴とする請求項１〜３の何れか１項に記載の物体認識装置。
5. 被写体を撮像して映像データを生成する撮像工程と、
   前記撮像工程において生成された映像データから物体を認識する物体認識工程と、
   前記撮像工程において利用可能な最高値の制御パラメータを用いて生成された所定時間分の映像データの複数フレームのそれぞれを前記物体認識工程において認識した結果を分析する分析工程と、
   前記分析工程における分析結果に基づいて、前記物体認識工程で物体を認識可能な映像データを生成するための前記撮像工程における制御パラメータの限度値を決定する決定工程とを備えることを特徴とする物体認識方法。
6. 前記分析工程では、前記物体認識工程における認識結果から、映像中における物体の移動速度を算出し、
   前記決定工程においては、前記分析工程において算出された移動速度に基づいて、前記制御パラメータとして前記撮像工程において生成される映像データのフレームレートを決定することを特徴とする請求項５に記載の物体認識方法。
7. 前記分析工程では、前記物体認識工程における認識結果から、映像中における物体の大きさを算出し、
   前記決定工程においては、前記分析工程において算出された物体の大きさに基づいて、前記制御パラメータとして前記撮像工程において生成される映像データの解像度を決定することを特徴とする請求項５に記載の物体認識方法。
8. 前記映像データにおける認識対象領域を指定する指定工程をさらに備え、
   前記決定工程においては、前記指定工程において指定された認識対象領域における物体認識結果を分析することを特徴とする請求項５〜７の何れか１項に記載の物体認識方法。
9. 被写体を撮像して映像データを生成する撮像工程と、
   前記撮像工程において生成された映像データから物体を認識する物体認識工程と、
   前記撮像工程において利用可能な最高値の制御パラメータを用いて生成された所定時間分の映像データの複数フレームのそれぞれを前記物体認識工程において認識した結果を分析する分析工程と、
   前記分析工程における分析結果に基づいて、前記物体認識工程で物体を認識可能な映像データを生成するための前記撮像工程における制御パラメータの限度値を決定する決定工程とをコンピュータに実行させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images