JP2012100082A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2012100082A JP2012100082A JP2010246068A JP2010246068A JP2012100082A JP 2012100082 A JP2012100082 A JP 2012100082A JP 2010246068 A JP2010246068 A JP 2010246068A JP 2010246068 A JP2010246068 A JP 2010246068A JP 2012100082 A JP2012100082 A JP 2012100082A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- information
- image
- subject
- erroneous detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】設置したカメラにおいて被写体検出の誤検出を抑制する。
【解決手段】画像から所定の被写体を検出する被写体検出手段302と、被写体検出手段302の誤検出情報を収集する誤検出収集手段303と、被写体検出手段302で被写体を検出した検出結果と誤検出情報とを照合して検出結果が誤検出であるか否かを判定する誤検出判定手段307とを備え、誤検出情報は、画像中の位置情報を含むものである。
【選択図】図3
【解決手段】画像から所定の被写体を検出する被写体検出手段302と、被写体検出手段302の誤検出情報を収集する誤検出収集手段303と、被写体検出手段302で被写体を検出した検出結果と誤検出情報とを照合して検出結果が誤検出であるか否かを判定する誤検出判定手段307とを備え、誤検出情報は、画像中の位置情報を含むものである。
【選択図】図3
Description
本発明は、画像処理装置等に関し、特に所定の場所に設置されたカメラ画像から人物などの被写体を検出する画像処理装置等に関するものである。
近年、店舗の天井や街頭、工場などにおいて、防犯などのセキュリティー向上のために、監視カメラの設置が急速に普及している。また、監視カメラにより、通行人数の計測や人流解析などマーケティング目的で使用することも提案されている。
画像から顔などの被写体を検出する技術として、AdaBoostを使って多くの弱判別器を有効に組み合わせて顔判別の精度を向上させる一方、夫々の弱判別器をHaarタイプの矩形特徴量で構成している。しかも、矩形特徴量の算出を、積分画像を利用して高速に行っている。また、AdaBoost学習によって得た判別器を直列に繋ぎ、カスケード型の顔判別器を構成し、縦横24画素からなる画像パターンが顔であるか否かを判別する。入力画像から顔を検出するには、後述する図5に示すように、サブウィンドウを画像全域から縦横順次に走査し、サブウィンドウ内の画像パターンを判定していくことにより画像中から顔を検出する。
また、監視カメラのように設置されたカメラで映像からの物体を認識する技術として、下記の特許文献1が開示されている。この特許文献1は、背景差分により変化のある領域を絞り込み、動領域を検出した後、その領域を詳細に評価して個別の物体を識別する技術である。更に、背景差分には、符号化情報を元にすることが特徴で、これによって高速な処理が可能である。
従来の方法で生成した判別器による被写体検出では、誤検出を避けることはできない。
また、特許文献1のような背景差分法を組み合わせることで、被写体を検出する領域を変化領域だけに絞り込むことが出来、背景からの誤検出を削減できる。しかしながら、可動物がある領域での誤検出は、避けることができない。
また、特許文献1のような背景差分法を組み合わせることで、被写体を検出する領域を変化領域だけに絞り込むことが出来、背景からの誤検出を削減できる。しかしながら、可動物がある領域での誤検出は、避けることができない。
本発明は、このような問題点に鑑みてなされたものであり、所定の映像から、可動物がある領域でも誤検出を低減し、精度よく被写体を検出することが出来る画像処理装置等を提供することを目的とする。
前述の目的を達成するために、本発明は、画像から所定の被写体を検出する被写体検出手段と、前記被写体検出手段の誤検出情報を収集する誤検出収集手段と、前記被写体検出手段で前記被写体を検出した検出結果と前記誤検出情報とを照合して前記検出結果が誤検出であるか否かを判定する誤検出判定手段とを備え、前記誤検出情報は、前記画像中の位置情報を含むことを特徴とする画像処理装置等を提供する。
本発明によれば、予め誤検出辞書を生成し、被写体として判定された箇所の画像と照合することで誤検出判定を行なうことが出来る。従って、設置されたカメラ映像から精度よく被写体を検出することが出来る。即ち、所定の映像から、可動物がある領域でも誤検出を低減し、精度よく被写体を検出することが出来る。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。
本実施形態は移動する被写体を検出し、追跡し、所定のラインを通過した人数をカウントするシステムである。
図1は、本発明の実施形態に係る画像処理装置の設置例を示す模式図である。
図1において、100は、画像処理システムの全体の一例である。101は、通路の天井であり、102は、通路の床である。103は、通路を通行している人物である。104は、撮像部(カメラ)であり、人物103を斜め上から撮影できるように、天井101に設置してある。105は、LANケーブル、又は、同軸ケーブルであり、撮像部104で撮像される映像を送信する。106は、映像を解析し、計数する画像処理装置となるPCである。
図1において、100は、画像処理システムの全体の一例である。101は、通路の天井であり、102は、通路の床である。103は、通路を通行している人物である。104は、撮像部(カメラ)であり、人物103を斜め上から撮影できるように、天井101に設置してある。105は、LANケーブル、又は、同軸ケーブルであり、撮像部104で撮像される映像を送信する。106は、映像を解析し、計数する画像処理装置となるPCである。
図2は、本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
図2において、106−1は、画像処理装置の全体の一例である。201は、CPUであり、本実施形態の画像処理装置106−1における各種制御を実行する。202は、ROMであり、本画像処理装置106−1の立ち上げ時に実行されるブートプログラムや各種データを格納する。203は、RAMであり、CPU201が処理するための制御プログラムを格納するとともに、CPU201が各種制御を実行する際の作業領域を提供する。204は、キーボード、205は、マウスであり、ユーザによる各種入力操作環境を提供する。
図2において、106−1は、画像処理装置の全体の一例である。201は、CPUであり、本実施形態の画像処理装置106−1における各種制御を実行する。202は、ROMであり、本画像処理装置106−1の立ち上げ時に実行されるブートプログラムや各種データを格納する。203は、RAMであり、CPU201が処理するための制御プログラムを格納するとともに、CPU201が各種制御を実行する際の作業領域を提供する。204は、キーボード、205は、マウスであり、ユーザによる各種入力操作環境を提供する。
206は外部記憶装置であり、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等で構成される。ただし、外部記憶装置206は、制御プログラムや各種データを全てROM202に持つようにすれば、必ずしも必要な構成要素ではない。207は、表示装置であり、ディスプレイなどで構成され、結果等をユーザに対して表示する。208は、ネットワークインターフェース(ネットワークI/F)であり、ネットワーク上の撮像部104とLANケーブル105を介した通信を可能とする。209は、ビデオインターフェース(ビデオI/F)であり、撮像部104と同軸ケーブル(105)を介したフレーム画像の取り込みを可能とする。また、210は、上記の各構成を接続するバスである。
図3は、本発明の実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。
301は、撮像手段である。撮像手段301は、所定の場所に設置されたカメラ104により撮像し、フレーム画像を取得する。フレーム画像は、LANケーブル105を介してhttpプロトコルのパケットデータとして送られ、画像処理装置(PC)106上のネットワークインターフェース(ネットワークI/F)208を介して取得する。或いは、105を同軸ケーブルで構成し、画像処理装置(PC)106上のビデオインターフェース(ビデオI/F)209で取得するようにしてもよい。また、図1のカメラ104は、パン、チルト、ズームなどの姿勢が制御可能であってもよい。
301は、撮像手段である。撮像手段301は、所定の場所に設置されたカメラ104により撮像し、フレーム画像を取得する。フレーム画像は、LANケーブル105を介してhttpプロトコルのパケットデータとして送られ、画像処理装置(PC)106上のネットワークインターフェース(ネットワークI/F)208を介して取得する。或いは、105を同軸ケーブルで構成し、画像処理装置(PC)106上のビデオインターフェース(ビデオI/F)209で取得するようにしてもよい。また、図1のカメラ104は、パン、チルト、ズームなどの姿勢が制御可能であってもよい。
302は、被写体検出手段であり、フレーム画像から所定の被写体である人物を検出するものである。
303は、被写体検出手段302の誤検出情報を収集する誤検出収集手段である。誤検出収集手段303は、誤検出辞書を作成時、撮像手段301により撮影し、被写体検出手段302によって被写体と判定された場合に、その画像上の位置と画像情報を収集するものである。この誤検出収集手段303は、305の位置統合手段を含み構成されている。
303は、被写体検出手段302の誤検出情報を収集する誤検出収集手段である。誤検出収集手段303は、誤検出辞書を作成時、撮像手段301により撮影し、被写体検出手段302によって被写体と判定された場合に、その画像上の位置と画像情報を収集するものである。この誤検出収集手段303は、305の位置統合手段を含み構成されている。
304は、類似度判定手段であり、画素情報から画像特徴量を求め、画像特徴量の類似度を求める。
305は、位置統合手段であり、類似度判定手段304により類似している誤検出情報について、位置情報を統合して統合誤検出情報を生成するものである。
305は、位置統合手段であり、類似度判定手段304により類似している誤検出情報について、位置情報を統合して統合誤検出情報を生成するものである。
306は、誤検出辞書記憶手段であり、誤検出収集手段303によって収集された誤検出情報を含む誤検出辞書を外部記憶装置206に蓄積する。また、307の誤検出判定手段で使用する時には、誤検出情報の全部または一部をRAM203に転送しておく。
307は、誤検出判定手段であり、人数計数時において、被写体検出手段302が被写体と判定した場合に、誤検出辞書記憶手段306と照合を行って正しい被写体か否かを判定する。即ち、誤検出判定手段307は、被写体検出手段302で被写体を検出した検出結果と誤検出情報とを照合して検出結果が誤検出であるか否かを判定する。
308は、被写体追跡手段であり、被写体検出手段302によって検出され、誤検出判定手段307によって誤検出でないと判定された被写体を時間順に追跡し、同一の人物の軌跡を行うものである。
308は、被写体追跡手段であり、被写体検出手段302によって検出され、誤検出判定手段307によって誤検出でないと判定された被写体を時間順に追跡し、同一の人物の軌跡を行うものである。
309は、計数手段であり、被写体追跡手段308によって生成された被写体の軌跡が所定の条件を満たしているかどうかを判定することにより、被写体を計数するものである。
310は、表示手段であり、表示装置207で構成され、計数手段309の結果をユーザへ表示するものである。
310は、表示手段であり、表示装置207で構成され、計数手段309の結果をユーザへ表示するものである。
図3において、撮像手段301は、図1の撮像部(カメラ)104に相当するものである。また、被写体検出手段302、誤検出収集手段303、類似度判定手段304、誤検出判定手段307、被写体追跡手段308及び計数手段309は、例えば、図2のCPU201及びROM202或いは外部記憶装置206のプログラムから構成されている。また、誤検出辞書記憶手段306は、図2のRAM203或いは外部記憶装置206から構成されている。また、表示手段310は、図2の表示装置207から構成されている。
次に、誤検出辞書記憶手段306に記憶される誤検出辞書のデータ形式について説明する。
図10は、本発明の実施形態を示し、誤検出辞書のデータ形式の一例を示す模式図である。
図10は、本発明の実施形態を示し、誤検出辞書のデータ形式の一例を示す模式図である。
誤検出辞書のデータ形式は、誤検出情報と統合誤検出情報が夫々の個数とともに格納される。即ち、誤検出辞書のデータ形式は、図10に示すように、1010で示す誤検出数と、1020で示す誤検出情報と、1030で示す統合誤検出情報数と。1040で示す統合誤検出情報で構成されている。
また、誤検出情報1020は、1021で示す画像情報と、1024で示す位置情報、及び、1026で示す撮影情報から構成される。誤検出情報1020の画像情報1021は、1022で示す画素情報と1023で示す画像特徴量が格納される。画素情報1022は、検出したサブウィンドウ内の領域の画素値である。ここでは、サブウィンドウよりも広い領域の画素値を格納してもよい。また、画像特徴量1023は、画素情報1022に基づいて後述する所定の変換式によって変換されたベクトル値が格納される。誤検出情報1020の位置情報1024は、1025で示す検出位置、具体的には、検出した入力画像内で左上を原点とする座標でサブウィンドウの中心座標と中心座標から頂点までの長さが格納される。また、撮影情報1026には、パンチルトズームなどのカメラの姿勢情報などの撮像手段301の情報が格納される。
また、統合誤検出情報1040は、複数の誤検出情報を1つにまとめた結果生成されるものである。統合誤検出情報1040は、1041で示す画像情報、1044で示す位置情報から構成される。統合誤検出情報1040の画像情報1041は、1042で示す代表画素情報と、1043で示す代表画像特徴量が格納される。統合誤検出情報1040の位置情報1044は、1045で示す領域情報が格納される。代表画素情報1042、代表画像特徴量1043、位置情報1044は、それぞれ、統合する誤検出情報の画素情報、画像特徴量、位置情報に基づいて生成した情報を格納する。
次に、本実施形態における動作について、運用の準備時に行なう誤検出辞書生成処理と、通常の運用である人数カウント処理の2つを説明する。
誤検出辞書生成処理は、カメラ(104)を設置して画角などの調整を行った後に行なう処理である。
図4は、本発明の実施形態を示し、誤検出辞書生成における処理の流れの一例を示すフローチャートである。
図4は、本発明の実施形態を示し、誤検出辞書生成における処理の流れの一例を示すフローチャートである。
図4の処理を開始すると、まず、ステップS401において、画像処理装置106(例えば、被写体検出手段302)は、撮像手段301よりフレーム画像を取得する。ここで読み込まれた画像データは、例えば、8ビットの画素により構成される2次元配列のデータであり、R、G、B、3つの面により構成される。このとき、画像データがJPEG等の方式により圧縮されている場合には、画像データを所定の解凍方式にしたがって解凍し、RGB各画素により構成される画像データとする。ここで、この画像データをグレー変換して輝度画像データとしてもよい。また、この画像データから縦方向、横方向の微分画像を生成してエッジの方向や角度を抽出し、その情報を用いてもよい。また、この画像データにコントラストや平均輝度などの正規化処理を行ってもよい。
誤検出辞書生成のためには、被写体がいないことがわかっている映像を利用することが望ましい。被写体が映っていた場合には、不図示の被写体位置指定手段により被写体の位置を指示し、被写体がいない領域で発生した誤検出を収集すればよい。
続いて、ステップS402において、被写体検出手段302は、ステップS401で取得したフレーム画像中から人物103を検出する。人物の検出は、一般的な方法を用いてよい。
また、その他の方法もある。具体的には、画像パターンからエッジの方向と強さを算出し、方向ごとのエッジ強さヒストグラムを求めて、ビンごとのエッジ強さからなる特徴ベクトルを得る。そして、この特徴ベクトルからサポートベクターマシンによって被写体か否かを判別する判別器を得る。
図5は、本発明の実施形態を示し、図3の被写体検出手段302の処理の一例を示す模式図である。501〜503は、サブウィンドウであり、504〜506は、照合する被写体領域の画像である。
図5に示すように、サブウィンドウ501〜503を画像全域から縦横順次に走査し、サブウィンドウ内の画像パターンを判別していくことにより、画像中から被写体領域の画像504〜506を検出することができる。
図5は、本発明の実施形態を示し、図3の被写体検出手段302の処理の一例を示す模式図である。501〜503は、サブウィンドウであり、504〜506は、照合する被写体領域の画像である。
図5に示すように、サブウィンドウ501〜503を画像全域から縦横順次に走査し、サブウィンドウ内の画像パターンを判別していくことにより、画像中から被写体領域の画像504〜506を検出することができる。
ここで、再び、図4の説明に戻る。
続いて、ステップS403において、例えば誤検出収集手段303は、被写体検出手段302が被写体と判定した場合に、誤検出情報1020を誤検出辞書記憶手段306に蓄積する。
誤検出情報1020のうちの画像特徴量1023は、画像パターンの画素情報を縦横に格子状に複数のブロック分割を行い、夫々のブロックに関して画素の平均値を求め、全ブロックで合成した特長ベクトルである。また、ブロックごとに画素値のヒストグラムを求め、ビンごとの画素数を特徴ベクトルとしてもよい。また、被写体検出手段302で求めた矩形特徴量やエッジ強さヒストグラムの全部または一部を利用してもよい。
続いて、ステップS403において、例えば誤検出収集手段303は、被写体検出手段302が被写体と判定した場合に、誤検出情報1020を誤検出辞書記憶手段306に蓄積する。
誤検出情報1020のうちの画像特徴量1023は、画像パターンの画素情報を縦横に格子状に複数のブロック分割を行い、夫々のブロックに関して画素の平均値を求め、全ブロックで合成した特長ベクトルである。また、ブロックごとに画素値のヒストグラムを求め、ビンごとの画素数を特徴ベクトルとしてもよい。また、被写体検出手段302で求めた矩形特徴量やエッジ強さヒストグラムの全部または一部を利用してもよい。
誤検出情報1020のうちの位置情報1024は、カメラ姿勢情報を用いて、検出位置の座標を、入力画像を基準とする座標から、撮影可能な視野範囲を基準とする座標へ変換すればよい。そして、あらゆる姿勢における誤検出を収集すればよい。ここで、座標変換方法の詳細は、姿勢制御可能なカメラを用いて撮影した複数枚の画像を球面に投影することによって、等角座標を持つパノラマ画像を作成する方法でよい。パノラマ画像とは、撮影可能な範囲を1枚の画像に合成した画像である。これによって、カメラの姿勢情報があれば、入力画像中の任意の座標をパノラマ画像での座標へ変換することが可能である。
続いて、ステップS404において、画像処理装置106は、キーボード204やマウス205を介してユーザからの終了の指示があるまで、ステップS401〜S404の処理を繰り返す。
ステップS404において、ユーザからの終了の指示があると、続いて、ステップS405において、類似度判定手段304は、誤検出情報をクラスタリングする。即ち、類似度判定手段304によって、各誤検出情報間の類似度を求める。その後、類似度判定手段304は、類似した誤検出情報をグルーピングする。
誤検出情報間の類似度は、簡単には画像特徴量のユークリッド距離によって求める。また、類似度判定のその他の方法としては、格子状に分割したブロックのうちの一部を除外し、残りのブロックから得られた特徴量でユークリッド距離を求めてもよい。このとき、除外するブロックは、対応する各ブロック間で個別に類似度を求め、類似度が相対的に低い所定数のブロックとすればよい。こうすることによって、画像パターンの一部に発生するオクルージョンに対してロバストにすることができる。
続いて、ステップS406において、類似度の高い複数の誤検出情報を1つにまとめ、統合誤検出情報1040を生成する。
統合誤検出情報1040の画像情報1041は、不図示の画像統合手段(或いは誤検出収集手段303)によって生成された代表画素情報1042と代表画像特徴量1043が格納される。代表画素情報1042は、誤検出情報1020を1つにまとめる際、中央値に最も近い誤検出情報の画素情報1022を採用するか、まとめる誤検出情報の画素情報1022の平均を求めて格納する。代表画像特徴量1043は、代表画素情報1042と同様に中央値に最も近い画像特徴量か平均画像特徴量を求めて格納する。統合誤検出情報1040の位置情報1044は、複数の位置情報を統合した領域情報1045を格納する。
統合誤検出情報1040の画像情報1041は、不図示の画像統合手段(或いは誤検出収集手段303)によって生成された代表画素情報1042と代表画像特徴量1043が格納される。代表画素情報1042は、誤検出情報1020を1つにまとめる際、中央値に最も近い誤検出情報の画素情報1022を採用するか、まとめる誤検出情報の画素情報1022の平均を求めて格納する。代表画像特徴量1043は、代表画素情報1042と同様に中央値に最も近い画像特徴量か平均画像特徴量を求めて格納する。統合誤検出情報1040の位置情報1044は、複数の位置情報を統合した領域情報1045を格納する。
位置情報の統合方法について図6を用いて説明する。
図6は、本発明の実施形態を示し、図3の位置統合手段305の処理の一例を示す模式図である。
図6は、本発明の実施形態を示し、図3の位置統合手段305の処理の一例を示す模式図である。
図6(a)は、誤検出の例である。601はフレーム画像であり、609はフレーム画像に映った映像で、左右に移動することにより開閉する扉である。602の3つの×は、撮像手段301によって一定時間撮影して発生した3箇所の誤検出であり、誤検出した被写体の中心の位置を示す。撮影時間内に扉609が開閉した時に誤検出が発生したため、各々の誤検出位置の画像特徴は類似しており、統合の対象となったものである。
図6(b)〜(d)は、領域情報の例を示したものである。
図6(b)のように、各々の誤検出の位置を中心とした所定半径の円603に外接する矩形領域604を領域情報とする。その他の方法としては、図6(c)のように、各々の統合する位置を中心とする複数の正方形605、606及び607でもよい。また、図6(d)のように、矩形領域604の中心を同じに所定倍率をかけた矩形領域608としてもよい。また、必ずしも矩形である必要はない。
図6(b)のように、各々の誤検出の位置を中心とした所定半径の円603に外接する矩形領域604を領域情報とする。その他の方法としては、図6(c)のように、各々の統合する位置を中心とする複数の正方形605、606及び607でもよい。また、図6(d)のように、矩形領域604の中心を同じに所定倍率をかけた矩形領域608としてもよい。また、必ずしも矩形である必要はない。
なお、複数の標本データからクラスタを形成する一般的な手法として、最尤度推定法、K−means法、Linde−Buzo−Gray法、Multi−Dimensional Scaling法などがある。ステップS405及びステップS406のグルーピングと各クラスタの代表画像特徴量の生成手法に関しては、このような手法を利用してもよい。
ここで、再び、図4の説明に戻る。
続いて、ステップS407において、誤検出収集手段303は、誤検出辞書を、誤検出辞書記憶手段306(外部記憶装置206)へ記憶する。
続いて、ステップS407において、誤検出収集手段303は、誤検出辞書を、誤検出辞書記憶手段306(外部記憶装置206)へ記憶する。
以上の図4の処理により、誤検出辞書生成における処理が終了する。
次に、本実施形態における人数カウント処理における処理の流れについて説明する。
図7は、本発明の実施形態を示し、人数カウント処理における処理の流れの一例を示すフローチャートである。
図7は、本発明の実施形態を示し、人数カウント処理における処理の流れの一例を示すフローチャートである。
図7の処理を開始すると、まず、ステップS701において、画像処理装置106(例えば、被写体検出手段302)は、撮像手段301からフレーム画像を取得する。これは、ステップS401と同じである。
続いて、ステップS702において、被写体検出手段302は、フレーム画像から被写体を検出する。この処理は、ステップS402と同じである。
続いて、ステップS703において、誤検出判定手段307は、ステップS702で検出した被写体があった場合には、誤検出辞書記憶手段306に記憶された位置情報と照合を行う。誤検出辞書記憶手段306に記憶された全ての誤検出情報1020、統合誤検出情報1040から、位置情報と検出位置の距離が所定の閾値より近いもの、または領域情報内に検出位置が含まれるものに絞込みを行なう。
続いて、ステップS704において、誤検出判定手段307は、ステップS703で絞り込んだ結果から、類似度判定手段304によって、類似した画像情報があるかを照合する。類似度判定手段304は、検出した被写体の検出位置における画像情報から画像特徴量を求め、ステップS703で絞り込んだ誤検出情報や統合誤検出情報の画像特徴量、代表画像特徴量と類似度を判定する。類似した画像情報および代表画像特徴量があれば誤検出と判定する。誤検出と判定されなかった場合には、検出結果は、検出したフレームのタイムコードと対応付けて、RAM203に記憶される。
続いて、ステップS705において、被写体追跡手段308は、現在から所定時間前までの間に検出された被写体領域をRAM203より読み出し、軌跡を生成する。これは、所定時間内に検出された複数ある被写体のうち、どれが同一の人物の動きに対応するかを求める処理である。この様子を、図9を用いて説明する。
図9は、本発明の実施形態を示し、人物の軌跡の生成とカウントの一例を示す模式図である。
図9において、901は撮像しているフレーム全体である。ここに、所定の時間に検出された人物の領域を、矩形で表現して重ね描きしている (領域903〜908)。図9の例では、3フレーム分が重ね描きしており、最も古いフレームでは領域903と領域906が、次のフレームでは領域904と領域907が、その次の現在のフレームでは、領域905と領域908が検出されているものとする。
図9において、901は撮像しているフレーム全体である。ここに、所定の時間に検出された人物の領域を、矩形で表現して重ね描きしている (領域903〜908)。図9の例では、3フレーム分が重ね描きしており、最も古いフレームでは領域903と領域906が、次のフレームでは領域904と領域907が、その次の現在のフレームでは、領域905と領域908が検出されているものとする。
これらの軌跡を求める方法としては、各領域の中心を求め、各領域の中心間の距離が最小となるもの同士を同一の被写体とみなし、線分で接続するようにすればよい。このようにして求めた軌跡が、図9の例では、909、910の2本の線となる。即ち、2人の人物の軌跡が求まったことになる。
ここで、再び、図7の説明に戻る。
続いて、ステップS706において、計数手段309は、被写体追跡手段308で作成された軌跡が、所定の条件を満たすかどうかをチェックし、条件を満たしていればカウントする。ここで所定の条件とは、例えば、図9に示した902のような計測ラインを横切っているかどうか等である。計測ライン902は、ユーザによってフレーム画面内に設定される。図9の例では、線909が計測ライン902をIN方向に、線910がOUT方向に横切っているので、INが1、OUTが1というようにカウントされる。もし、まだ、計測ライン902を横切っていない軌跡が存在すれば、この時点では、カウントされない。
続いて、ステップS706において、計数手段309は、被写体追跡手段308で作成された軌跡が、所定の条件を満たすかどうかをチェックし、条件を満たしていればカウントする。ここで所定の条件とは、例えば、図9に示した902のような計測ラインを横切っているかどうか等である。計測ライン902は、ユーザによってフレーム画面内に設定される。図9の例では、線909が計測ライン902をIN方向に、線910がOUT方向に横切っているので、INが1、OUTが1というようにカウントされる。もし、まだ、計測ライン902を横切っていない軌跡が存在すれば、この時点では、カウントされない。
続いて、ステップS707において、表示手段310は、計数手段309でカウントされた結果をユーザに対して、「IN=1,OUT=1」などと、表示する。
以上の図7の処理により、人数カウント処理における処理が終了する。
なお、ステップS402〜S407、ステップS702〜ステップS707は、必ずしも毎フレーム行なう必要はない。現在の映像と計数の表示のずれが、ユーザが許容できる範囲内であれば、これに合わせて、例えば0.5秒ごとに周期的に処理するようにしてもよい。
本実施形態では、誤検出辞書生成処理は設置時に行ったが、これに限ったものではない。人数カウント処理の最中にも照明条件などの外部環境の変化によって画像情報、位置情報を更新してもよいし、予め作成した複数の辞書を切り替えて運用してもよい。
また、図3の類似度判定手段304は、画素情報から画像特徴量を求めて特徴量で類似度判定を行なったが、画素情報から直接類似度を求めてもよい。この場合、画像特徴量は、不要である。また、画像特徴量を求めた後は、画素情報を削除してもよい。こうすることで辞書の記憶領域を小さくできる。代表画素情報、代表画像特徴量に関しても、それぞれ画素情報、画像特徴量と同様である。
また、図3の位置統合手段305は、被写体検出手段302が出力した誤検出位置だけに基づく必要はない。類似度判定手段304によって被写体検出手段302が被写体判定するサブウィンドウの各画像パターンと、各統合誤検出情報の画像情報との類似度を求め、類似度判定手段304が所定の閾値より類似した箇所を判定する。更に、類似した統合誤検出情報の位置情報に、類似した箇所の位置情報を加えて領域情報を再生成することで、位置情報を拡張してもよい。こうすることで、誤検出辞書生成処理時から照明条件などの外部環境が変化し、誤検出辞書生成処理時には誤検出しなかった位置で新たに誤検出が発生したとしても誤検出を抑制する効果がある。
類似度判定するサブウィンドウの数を減らして高速に実現するためには、オプティカルフローや、異なる時刻における複数フレーム間の差分情報を用いて複数フレーム間で変化した領域を含むサブウィンドウだけを走査すればよい。
また、図4のステップS402において、図3の被写体検出手段302の判定閾値を制御してもよい。判定閾値を上げると誤検出が減るが被写体を正しく検出する割合である検出率も同時に下がる。また、判定閾値を下げると検出率が向上するが、同時に誤検出も増える。従って第1の判定閾値で誤検出を収集して統合誤検出情報を生成する。次に、第1の判定閾値より低い第2の判定閾値で誤検出を収集して、統合誤検出情報の画像情報と類似した場合に、類似した統合誤検出情報の領域情報に第2の判定閾値で得た誤検出位置を加えて再生成することで位置情報の拡張を行ってもよい。
また、図4のステップS406において統合誤検出情報を生成した場合、統合する元となった複数の誤検出情報は削除してもよい。こうすることでRAM203や外部記憶装置206の記憶容量を削減でき、誤検出判定手段307の照合回数を削減できる。
なお、本発明は前記フローチャートにて示した方法に対応したプログラムをコンピュータにて実施することによっても実現することは明らかである。
なお、本発明は前記フローチャートにて示した方法に対応したプログラムをコンピュータにて実施することによっても実現することは明らかである。
また、本実施形態における画像処理装置106のハードウェア構成は、図2に示す画像処理装置106−1の構成としたが、その他の構成も適用できる。
図8は、本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
図8の構成は、図2の構成に比べて、本実施形態に係る処理を行うプログラムを記憶するCD−ROM801を具備しており、そのため、画像処理装置106−2には、記録媒体インターフェース(記録媒体I/F)211が新たに構成されている。
図8は、本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
図8の構成は、図2の構成に比べて、本実施形態に係る処理を行うプログラムを記憶するCD−ROM801を具備しており、そのため、画像処理装置106−2には、記録媒体インターフェース(記録媒体I/F)211が新たに構成されている。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
本発明の実施形態では、人物を検出、追尾して所定のラインを通過した人数をカウントする人数カウントシステムを例に挙げたが、本発明は、これに限ったものではない。人物、車、動物、工業生産物などの被写体を検出し、その結果に基づいて解析、警告、表示を行なう様々な監視カメラの用途において用いることが可能である。
301 撮像手段、302 被写体検出手段、303 誤検出収集手段、304 類似度判定手段、305 位置統合手段、306 誤検出辞書記憶手段、307 誤検出判定手段、308 被写体追跡手段、309 計数手段、310 表示手段
Claims (4)
- 画像から所定の被写体を検出する被写体検出手段と、
前記被写体検出手段の誤検出情報を収集する誤検出収集手段と、
前記被写体検出手段で前記被写体を検出した検出結果と前記誤検出情報とを照合して前記検出結果が誤検出であるか否かを判定する誤検出判定手段と
を備え、
前記誤検出情報は、前記画像中の位置情報を含むことを特徴とする画像処理装置。 - 類似した前記誤検出情報の画像情報を判定する類似度判定手段を更に有し、
前記誤検出収集手段は、前記類似度判定手段が類似したと判定した複数の前記誤検出情報の前記位置情報を統合する位置統合手段を含むことを特徴とする請求項1に記載の画像処理装置。 - 画像から所定の被写体を検出する被写体検出ステップと、
前記被写体検出ステップの誤検出情報を収集する誤検出収集ステップと、
前記被写体検出ステップで前記被写体を検出した検出結果と前記誤検出情報とを照合して前記検出結果が誤検出であるか否かを判定する誤検出判定ステップと
を備え、
前記誤検出情報は、前記画像中の位置情報を含むことを特徴とする画像処理方法。 - 請求項3に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010246068A JP2012100082A (ja) | 2010-11-02 | 2010-11-02 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010246068A JP2012100082A (ja) | 2010-11-02 | 2010-11-02 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012100082A true JP2012100082A (ja) | 2012-05-24 |
Family
ID=46391510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010246068A Pending JP2012100082A (ja) | 2010-11-02 | 2010-11-02 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012100082A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8931990B2 (en) | 2006-04-25 | 2015-01-13 | Stromsholmen Ab | Pierce nut and use thereof |
| JP2015065612A (ja) * | 2013-09-26 | 2015-04-09 | カシオ計算機株式会社 | 画像処理装置、プログラム及び表示制御方法 |
| CN113646803A (zh) * | 2019-04-01 | 2021-11-12 | 欧姆龙株式会社 | 人检测装置以及人检测方法 |
-
2010
- 2010-11-02 JP JP2010246068A patent/JP2012100082A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8931990B2 (en) | 2006-04-25 | 2015-01-13 | Stromsholmen Ab | Pierce nut and use thereof |
| JP2015065612A (ja) * | 2013-09-26 | 2015-04-09 | カシオ計算機株式会社 | 画像処理装置、プログラム及び表示制御方法 |
| CN113646803A (zh) * | 2019-04-01 | 2021-11-12 | 欧姆龙株式会社 | 人检测装置以及人检测方法 |
| US11948363B2 (en) | 2019-04-01 | 2024-04-02 | Omron Corporation | Person detection device and person detection method |
| CN113646803B (zh) * | 2019-04-01 | 2024-06-25 | 欧姆龙株式会社 | 人检测装置以及人检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102007499B (zh) | 检测数字图像中的脸部表情 | |
| Charfi et al. | Definition and performance evaluation of a robust SVM based fall detection solution | |
| CN114842397B (zh) | 一种基于异常检测的实时老人跌倒检测方法 | |
| JP5398341B2 (ja) | 物体認識装置及び物体認識方法 | |
| US8619135B2 (en) | Detection of abnormal behaviour in video objects | |
| JP4642128B2 (ja) | 画像処理方法、画像処理装置及びシステム | |
| Xia et al. | Robot-centric activity recognition from first-person rgb-d videos | |
| US20070098222A1 (en) | Scene analysis | |
| JP5290227B2 (ja) | 対象物検知装置及びその学習装置 | |
| JP2009211311A (ja) | 画像処理装置及び方法 | |
| JP5693094B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| WO2006028106A1 (ja) | 異常動作検出装置および異常動作検出方法 | |
| JP3970877B2 (ja) | 追跡装置および追跡方法 | |
| JP2012088787A (ja) | 画像処理装置、画像処理方法 | |
| CN107330414A (zh) | 暴力行为监控方法 | |
| CN111079694A (zh) | 一种柜面助手履职监控装置和方法 | |
| JP5290229B2 (ja) | 学習装置及び対象物検知装置 | |
| Du et al. | Abnormal event detection in crowded scenes based on structural multi-scale motion interrelated patterns | |
| KR101030257B1 (ko) | 카메라의 영상을 이용한 보행자 계수 방법 및 장치 | |
| WO2020137193A1 (ja) | 人検出装置および人検出方法 | |
| KR101542206B1 (ko) | 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법 | |
| JP2012100082A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5552946B2 (ja) | 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム | |
| CN101118679A (zh) | 监视设备、监视方法及程序 | |
| CN111461041A (zh) | 一种基于生成对抗网络的多因素联合判别异常行人方法 |