JP2004348273A - Image processing method, image processing device, image processing program - Google Patents
Image processing method, image processing device, image processing program Download PDFInfo
- Publication number
- JP2004348273A JP2004348273A JP2003142490A JP2003142490A JP2004348273A JP 2004348273 A JP2004348273 A JP 2004348273A JP 2003142490 A JP2003142490 A JP 2003142490A JP 2003142490 A JP2003142490 A JP 2003142490A JP 2004348273 A JP2004348273 A JP 2004348273A
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- area
- candidate
- image
- extended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】精度良く動画像中から動物体を追跡することを可能にする。
【解決手段】参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程（Ａ１）と、処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程（Ａ２）と、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出するヒストグラムマッチング工程（Ａ３）と、算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程（Ａ４）を備える。
【選択図】 図２A moving object can be accurately tracked from a moving image.
A reference histogram creating step (A1) for creating a reference area histogram and a reference extended area histogram from a reference image, a candidate histogram creating step (A2) for creating a candidate area histogram and a candidate extended area histogram from a processed image, Histogram matching step of performing histogram matching using the reference area histogram and the candidate area histogram to calculate a histogram intersection, and performing histogram matching using the reference extended area histogram and the candidate extended area histogram to calculate an extended histogram intersection (A3) And the calculated histogram intersection and the extended histogram intersection are integrated, and the candidate region having the largest integrated histogram intersection is set as the target area in the processed image. Object position detection step of detecting as an object position comprises (A4).
[Selection] Figure 2
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像中の対象動物体を追跡する画像処理方法、画像処理装置、画像処理プログラムに関する。
【０００２】
【従来の技術】
動画像中の対象動物体を追跡する技術は、従来、動画像中の自動車や不審者を追跡して検出する監視システムで利用されてきた。また、近年、インターネットやデジタルテレビ等のデジタルコンテンツにおいて、動画像中のある物体に予め関連情報（名前，値段など）を付与しておき、ユーザーが動画像中のこの物体をマウス等を用いてポインティングすれば関連情報を画面に提示するような映像を制作するためのアンカー領域の指定などにも、動画像中の対象動物体を追跡する技術は利用される。これによって、テレビドラマを見ながら俳優が身に付けている時計をユーザがマウスでクリックしてインターネットショッピングによって購入したり、スポーツ観戦中に所望の選手のプロフィールを表示させたり、また、試合中の選手の動きを解析してチームの戦略分析等に応用することも可能になる。
【０００３】
動画像中の対象動物体の追跡技術の具体的なアルゴリズムの一つとして、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法がある（例えば、特許文献１参照。）。これは、フレーム間での対象動物体の移動・変形が、Ａｆｆｉｎｅ変換であると仮定して、このＡｆｆｉｎｅ変換を表すＡｆｆｉｎｅパラメータを推定して物体を追跡する手法である。本手法について、図１８を用いて説明する。参照画像に対してユーザの手入力によって参照物体領域を指定し、図１８（Ａ）のように追跡に効果的な有限個の特徴点のみを選択する。特徴点選択は、参照物体領域内に定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック（例えば８×８画素）を決め、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域とのブロックマッチングを行うことにより得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り（追跡誤り）が起こりにくいと判断される特徴点候補を選択する。続いて、図１８（Ｂ）のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変換を表すＡｆｆｉｎｅパラメータを推定し、このＡｆｆｉｎｅパラメータを用いて参照物体領域にＡｆｆｉｎｅ変換を施し、図１８（Ｃ）のように、処理画像での対象動物体領域の位置及び形状を推定することができる。
【０００４】
また、色ヒストグラムを用いて参照物体領域に対応する領域を処理画像中から推定するアルゴリズムもある（例えば、非特許文献１参照。）。これは、マッチングを取るための特徴量として、参照物体領域内の色ヒストグラムを用いるもので、処理画像の色ヒストグラムとの照合を取ることで物体位置を検出する方法である。まず、図１９のように参照ヒストグラムを作成するための参照物体領域（図中、矩形枠９０１によって表す）を設定する。この設定は、参照画像においてユーザがマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。続いて、この参照物体領域の色ヒストグラムを作成する。色ヒストグラムの計算では、色空間における各軸をＱ分割した３次元色ヒストグラムを作成する。図２０では、色空間をＲＧＢ空間、Ｑ＝４分割として図示してある。参照物体領域内での各画素値が色空間内のＱ３＝６４個の立方体それぞれに何個含まれるかを数えて、参照物体領域での色ヒストグラムを以下の式（１）として算出する。ヒストグラムの性質上、参照物体領域内の総画素数は以下の（２）となる。
【０００５】
【数１】
次に、以下の式（３）に示す各ヒストグラムの要素を総画素数で割った正規化ヒストグラムを作成する。
【０００７】
【数２】
つまり、参照物体領域内の総画素数は１．０に正規化されている。このＭｉを参照物体領域の色ヒストグラムを表す参照ヒストグラムとする。
【０００９】
続いて、処理画像中の探索範囲内に候補物体領域を設定し、同様に候補ヒストグラムを作成する（以下に示す式（４））。ヒストグラム間のマッチング度合いを計る尺度としては以下の式（５）に示すヒストグラムインターセクションＳＨＭを用いる。
【００１０】
【数３】
ヒストグラムインターセクションＳＨＭは、ヒストグラムが正規化されているため、０から１までの値を取り、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として出力する。
【００１２】
【特許文献１】
特開２００１−１３２６９１公報
【００１３】
【非特許文献１】
Ｍｉｃｈａｅｌ Ｊ． Ｓｗａｉｎ， Ｄａｎａ Ｈ． Ｂａｌｌａｒｄ著「Ｃｏｌｏｒ Ｉｎｄｅｘｉｎｇ」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， １９９１， ｖｏｌ． ７， ｎｏ． １， ｐｐ． １１−３２．
【００１４】
【発明が解決しようとする課題】
しかしながら、Ａｆｆｉｎｅ変換推定を用いた物体追跡手法では、推定されたＡｆｆｉｎｅパラメータによって対象動物体の変形・追跡を行うために、参照画像における対象動物体から処理画像における対象動物体への変化がＡｆｆｉｎｅ変換で近似できない場合には正しい追跡を行うことができないという問題があった。また、複数のブロックマッチングを用いて物体を追跡するため、追跡領域がある程度の大きさを持つ必要もあった。
【００１５】
一方、色ヒストグラムを用いた物体追跡手法では、対象領域内の色ヒストグラムを用いて追跡を行うため、対象動物体の持つ色成分に大きな変化が生じない限り、形状に大きな変化が生じても追跡することができ、追跡領域が小さな領域の場合でも追跡できる。
【００１６】
しかし、特徴量として色ヒストグラムのみを用いて追跡を行うので、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合には、ヒストグラムマッチングの精度が劣化し、追跡精度の低下を招く問題があった。
【００１７】
本発明は前記のような事情を考慮してなされたもので、精度良く動画像中から動物体を追跡することが可能な画像処理方法、画像処理装置、画像処理プログラムを提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記目的を達成するために本発明においては、動画像中の対象動物体を追跡する画像処理方法において、前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング工程と、前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング工程と、前記第１及び第２のヒストグラムマッチング工程によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出工程とを備える。
【００１９】
このような方法においては、例えば色あるいは色相をもとにした動画像中の追跡領域（参照領域、候補領域）と拡張領域（参照拡張領域、参照候補領域）についてのヒストグラム情報と、追跡領域と拡張領域との位置関係、すなわち限定的なテキスチャ情報を用いて対象動物体の追跡を行うことになるので、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することができる。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
本実施形態における画像処理装置は、例えば半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク等の記録媒体に記録された画像処理プログラムを読み込み、この画像処理プログラムによって動作が制御されるコンピュータによって実現することができる。画像処理装置を実現するコンピュータは、プロセッサと、このプロセッサがアクセス可能なメモリと、このメモリに収容された画像解析プログラムを有する。
【００２１】
図１に示すように、本実施形態における画像処理装置は、画像処理部１０、入力装置１２、表示装置１４、及び記憶装置１６が設けられている。
【００２２】
画像処理部１０は、メモリに収容された画像解析プログラムを実行することで、入力装置１２あるいは記憶装置１６から画像データ（参照画像データ、処理画像データ）を入力し、動画像中の対象動物体を追跡するための画像処理を実行する機能を実現する。画像処理部１０には、例えば参照ヒストグラム作成部２０、候補ヒストグラム作成部２２、ヒストグラムマッチング部２４、物体位置検出部２５、追跡結果出力部２６の機能が実現される。
【００２３】
参照ヒストグラム作成部２０は、動画像中の参照画像をもとに対象動物体に該当する参照領域についての参照領域ヒストグラムと、参照領域の近傍に設けられる参照拡張領域についての参照拡張領域ヒストグラムを作成する。参照ヒストグラム作成部２０は、参照画像の色情報を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する（第１実施形態）。また、参照ヒストグラム作成部２０は、参照画像の色空間をＨＳＶ（色相、彩度、明度）色空間に変換し、この色空間変換されたＨｕｅ色相成分を用いて、参照領域ヒストグラムと参照拡張領域ヒストグラムを作成することもできる（第２実施形態）。
【００２４】
候補ヒストグラム作成部２２は、動画像中の処理画像をもとに対象動物体を探索するための候補領域を設定し、この候補領域についての候補領域ヒストグラムと、候補領域の近傍に設けられる候補拡張領域についての候補拡張領域ヒストグラムを作成する。参照ヒストグラム作成部２０は、処理画像の色情報を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する（第１実施形態）。また、参照ヒストグラム作成部２０は、処理画像の色空間をＨＳＶ色空間に変換し、この色空間変換された色相成分を用いて、参照領域ヒストグラムと参照拡張領域ヒストグラムを作成することもできる（第２実施形態）。また、候補ヒストグラム作成部２２は、処理画像から対象動物体を探索するための候補領域を設定する際に、参照領域ヒストグラムが作成された参照領域のアスペクト比と同じアスペクト比の候補領域を設定し、この候補領域と同候補領域の近傍の候補拡張領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成することもできる（第３実施形態）。
【００２５】
ヒストグラムマッチング部２４は、参照ヒストグラム作成部２０により作成された参照領域ヒストグラムと候補ヒストグラム作成部２２によって作成された候補領域ヒストグラムとのヒストグラムマッチングを実行して、ヒストグラムインターセクションを算出し（第１のヒストグラムマッチング工程）、また参照ヒストグラム作成部２０により作成された参照拡張領域ヒストグラムと候補ヒストグラム作成部２２によって作成された候補拡張領域ヒストグラムとのヒストグラムマッチングを実行して拡張ヒストグラムインターセクションを算出する（第２のヒストグラムマッチング工程）。なお、ヒストグラムマッチング部２４によるヒストグラムマッチングは、ヒストグラム間の類似度を求めるものであって、ヒストグラムインターセクションを算出する他にも、例えばヒストグラム間の一致度、類似度、相関の程度を求めるものを含む。
【００２６】
物体位置検出部２５は、ヒストグラムマッチング部２４によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する。物体位置検出部２５では、ヒストグラムマッチング部２４により算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、この統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する。
【００２７】
追跡結果出力部２６は、物体位置検出部２５により検出された対象物体位置とする候補領域を、対象動物体の追跡結果として表示装置１４において表示させる。例えば、動画像中に対象動物体の位置（候補領域）を表す矩形枠を付して表示する。
【００２８】
入力装置１２は、ユーザのマニュアル操作によって画像処理部１０に対する制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、画像処理の対象とする動画像データを入力するためのビデオカメラ等の撮影手段を含む。
【００２９】
表示装置１４は、画像処理部１０による処理対象とする動画像などが表示される。表示装置１４により表示される動画像には、追跡結果出力部２６によって検出された対象動物体に該当する位置（領域）を表す矩形枠などが付加される。
【００３０】
記憶装置１６は、画像処理の対象とする動画像データなどが記憶されるもので、動画像データには参照ヒストグラム作成部２０において処理対象とする参照画像データ１６ａ、対象動物体の追跡対象とする処理画像データ１６ｂを含む。
【００３１】
（第１実施形態）
図２は、本発明の第１実施形態の画像処理方法の処理の流れを示すフローチャートである。
図２において、ステップＡ１は参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程、ステップＡ２は処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程、ステップＡ３は参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出するヒストグラムマッチング工程、ステップＡ４は算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程である。
【００３２】
まず、参照ヒストグラム作成部２０による参照ヒストグラム作成工程では、参照画像データ中の追跡対象とする動物体に該当する参照領域ついて参照ヒストグラムを作成する（ステップＡ１）。小さな対象動物体を追跡する技術が用いられるアプリケーションの主なものの一つとして、ドラマ中の俳優の顔や、監視カメラの侵入者の顔といった、映像中の人物顔を追跡するという目的が挙げられる。なお、参照領域は、例えば処理対象とする動画像中の例えば先頭フレームを参照画像として表示装置１４に表示させ、ユーザが入力装置１２を用いたマニュアル操作によって画像中に矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成しても良い。
【００３３】
例えば、図３に示すような映像（動画像）中の女性の顔を追跡する場合を例にして説明する。図３では、矩形枠によって参照領域として設定された領域を示している。人物顔の追跡における特徴として、図４に示すような、人物顔の下部近傍の領域（服の襟や胸の部分）についても安定した色情報を観測できる場合が多い点に着目する。そこで、第１実施形態では、参照ヒストグラム作成工程において、図５のように参照領域である人物顔領域の下部に一定の体領域（参照拡張領域）を設定する。図５に示す参照拡張領域は、参照領域に対する面積比が予め決められた値となるように設定されているものとする。また、参照拡張領域は、参照領域と隣接した位置に設定されている。
【００３４】
なお、図５に示す画像の例では、参照領域として人物顔領域、参照拡張領域として人物顔の下部近傍の領域を用いたが、動画像中の追跡対象とする動物体に応じた参照拡張領域が設定されるものとする。例えば、動画像中の車のナンバーや、荷物のタグ、人物の名札といったような物体を参照領域とする場合も、同様に、個々の動物体に応じた位置に参照拡張領域を設定することができる。この場合、参照拡張領域は、参照領域の近傍にあれば良く必ずしも隣接している必要はない。また、参照拡張領域は、図５に示すように、参照領域に対して必ずしも下部に設ける必要がなく、処理対象とする動画像に応じて決められた位置に設定することができる。
【００３５】
参照ヒストグラム作成部２０は、参照画像から参照画像と参照拡張領域を設定すると、図６に示すように、参照領域に該当する動物体画像を追跡するために、それぞれに対して、領域内の色情報をもとにして色ヒストグラムを作成する。ここで、参照領域の色情報をもとにした色ヒストグラムを参照拡張領域ヒストグラム（図６（ｂ）、参照拡張領域の色情報をもとにした色ヒストグラムを参照拡張領域ヒストグラム（図６（ｃ））とする。
【００３６】
なお、図６（ｂ）（ｃ）に示すヒストグラムは、説明を簡単にするために単純なヒストグラムとして表しているが、例えば参照領域では、肌、髪、目、唇などの他、参照領域に含まれる背景（空の部分など）についての色情報をもとにヒストグラムが作成される。同様にして、参照拡張領域では、肌（首の部分）、服装などの他、背景についての色情報をもとにヒストグラムが作成される。
【００３７】
一方、候補ヒストグラム作成部２２による候補ヒストグラム作成工程では、処理画像中から参照画像に対応する追跡対象とする動物体を含む領域、すなわち候補領域を例えば参照画像と同じ位置、あるいはその周辺に設定する。
【００３８】
候補ヒストグラム作成部２２は、参照ヒストグラム作成部２０と同様にして、処理画像中の追跡対象物体位置の候補領域についての候補ヒストグラムを作成する（ステップＡ２）。すなわち、候補ヒストグラム作成部２２は、候補領域に対して候補拡張領域を設定し、候補領域と候補拡張領域のそれぞれの色情報をもとに色ヒストグラムを作成する。候補拡張領域は、参照領域に対して参照拡張領域を設定した場合と同様の、候補領域に対する位置と面積比によって設定される。
【００３９】
図７には、処理画像中に設定された候補領域（矩形枠によって表す）と候補拡張領域（破線矩形枠によって表す）を示している。なお、図７に示す画像は、人物が日陰に入ったために画像の明度が変化した例を示している。候補ヒストグラム作成部２２は、図８に示すように、候補領域内の色情報をもとにして候補領域ヒストグラムを作成し（図８（ｂ））、候補拡張領域内の色情報をもとにして候補拡張領域ヒストグラムを作成する（図８（ｃ））。
【００４０】
なお、参照ヒストグラム作成部２０により作成された参照領域ヒストグラムと参照拡張領域ヒストグラム、候補ヒストグラム作成部２２により作成された候補領域ヒストグラムと候補拡張領域ヒストグラムは、従来技術で説明したように、ヒストグラム作成過程に正規化されるものとする。
【００４１】
次に、ヒストグラムマッチング部２４は、ヒストグラムマッチング工程において、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し（第１のヒストグラムマッチング工程）、また参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い、拡張ヒストグラムインターセクションを算出する（第２のヒストグラムマッチング工程）。図９には、拡張ヒストグラムインターセクションとヒストグラムインターセクションの算出、及び統合ヒストグラムインターセクションの算出までの処理の流れを概念的に表している。
【００４２】
すなわち、参照領域ヒストグラムを以下に示す（６）とし、候補領域ヒストグラムを以下に示す（７）とすると、これらのヒストグラムインターセクション（マッチングの信頼度）は、以下の式（８）のようになる（図９（ｄ）（ｆ））。
【００４３】
【数４】
また、参照拡張領域ヒストグラムを以下に示す（９）とし、候補拡張領域ヒストグラムを以下に示す（１０）とすると、これらの拡張ヒストグラムインターセクション（マッチングの信頼度）は、以下の式（１１）となる（図９（ｃ）（ｅ））。
【００４５】
【数５】
最後に、物体位置検出部２５は、物体位置検出工程において、ヒストグラムマッチング部２４により算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して統合ヒストグラムインターセクションを算出し、探索範囲内での候補領域において、総合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する（ステップＡ４）。
【００４７】
例えば、統合ヒストグラムインターセクションは、ヒストグラムインターセクションが算出された領域と、拡張ヒストグラムインターセクションが算出された拡張領域との面積比で、ヒストグラムインターセクションと拡張ヒストグラムインターセクションを加算した値として算出される。
【００４８】
例えば、参照領域と参照拡張領域の面積比を１０：３として設定されるものとすると、統合ヒストグラムインターセクションは以下の式（１２）として算出される（図９（ｇ））。
【００４９】
【数６】
追跡結果出力部２６は、物体位置検出部２５により検出された対象物体位置を表す例えば矩形枠を付して、動画像を表示装置１４において表示させる（ステップＡ５）。
【００５１】
図１０〜図１３には、対象動物体の追跡例を示している。
図１０及び図１１は、背景領域と対象動物体領域の色成分が似ている例を示している。図１０に示す参照画像中に設定された参照領域に対して、図１１に示す処理画像中には背景の紅葉した樹木の部分が参照領域の色成分に類似している。このため、参照領域に対して拡張領域を利用しないで動物体画像の追跡をした場合には、図１１中の破線矩形枠に示すように、樹木の部分似せてされた候補領域が物体位置として検出されてしまう。これに対して、前述したように候補拡張領域を用いたヒストグラムマッチングを行った場合、樹木の部分に設定された候補領域に対する候補拡張領域には、参照領域に対する参照拡張領域における服の色成分が存在しない。従って、統合ヒストグラムインターセクションの値は、処理画像中の人物顔領域に対して設定された候補領域とその候補拡張領域から算出された方が高くなる。つまり、図１１中の矩形枠に示す人物顔領域の候補領域が確実に追跡されることになる。
【００５２】
図１２及び図１３には、同じような色成分を持った動物体が映像中に複数含まれている例を示している。図１２に示す参照画像には多数の人物画像が含まれているために、図１３に示す処理画像中には参照画像中で設定された参照領域と同じ色成分を持つ候補領域が多数存在することになる。これに対して、候補拡張領域を用いたヒストグラムマッチングを行った場合、各人物の服の色がそれぞれ異なる場合が多いために、統合ヒストグラムインターセクションの値は、処理画像中の参照領域が設定された人物に対応する候補領域とその候補拡張領域から算出された候補領域が最も高くなり、図１３中の矩形枠に示す人物顔領域の候補領域が確実に追跡されることになる。
【００５３】
このようにして、第１実施形態では、追跡領域（参照領域、候補領域）、及び追跡領域を拡張した拡張領域（参照拡張領域、候補拡張領域）の色ヒストグラム情報を用い、また、それぞれの領域の色情報の位置関係についても考慮しているので限定的なテキスチャ情報も利用している。これによって、対象映像の背景が追跡領域と似た色成分を持つ場合でも、拡張領域の色成分が背景の色成分と異なっていれば、正しく追跡を行うことができる。また、映像中に追跡領域と似た色情報を持つ複数の領域が存在する場合でも、対象追跡領域の拡張領域によって、追跡領域と似た色情報を持つ他の領域の拡張領域との色ヒストグラムの差が生じている場合は、正しく追跡を行うことができる。また、テキスチャ情報として、例えば、上部に顔の色、下部に服の色といった大まかな情報しか用いていないため、人物顔の見かけ（表情や顔向き等）の変化にロバストである、すなわち影響を受けにくいという色ヒストグラムの特徴を保持している。
【００５４】
仮に、単純に、追跡領域を拡大した領域（追跡領域＋拡張領域）で色ヒストグラムを作成し、テキスチャ情報を用いない追跡を行うと、背景が拡張領域に似た色成分を持つ場合や、追跡領域と拡張領域が似た色成分を持つ場合には、追跡を失敗する可能性が高くなる。
【００５５】
以上のように、動画像の色ヒストグラム情報とテキスチャ情報を併用して対象動物体の追跡を行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合にも、精度良く動画像中から追跡することができる。
【００５６】
（第２実施形態）
図１４は、本発明の第２実施形態の画像処理方法の処理の流れを示すフローチャートである。
図１４において、ステップＢ１１は参照画像の色空間をＨＳＶ色空間に変換する参照色空間変換工程、ステップＢ１２は色空間変換されたＨｕｅ色相成分を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照色相ヒストグラム作成工程、ステップＢ２１は処理画像の色空間をＨＳＶ色空間に変換する候補色空間変換工程、ステップＢ２２は色空間変換されたＨｕｅ色相成分を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補色相ヒストグラム作成工程である。
【００５７】
なお、ステップＢ３のヒストグラムマッチング工程は、第１実施形態におけるヒストグラムマッチング工程（ステップＡ３）において色ヒストグラムを対象としていたのに対して、色相ヒストグラムを対象とする点が異なるだけで他は同様の処理を実行するので詳細な説明を省略する。また、ステップＢ４，Ｂ５についても、第１実施形態におけるステップＡ４，Ａ５と同様の処理を実行するものとして詳細な説明を省略する。
【００５８】
一般に、色情報をＨＳＶ色空間に変換したＨＳＶ表色系のＨ（Ｈｕｅ：色相）成分は、対象動物体が日向や日影に入るという明度の変動に不動である。そこで、参照ヒストグラム作成部２０は、参照色空間変換工程において、参照画像の色空間をＨＳＶ色空間に変換する（ステップＢ１１）。続いて、参照色相ヒストグラム作成工程において、色空間変換されたＨｕｅ色相成分を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する（ステップＢ１２）。例えば、ＲＧＢ色空間（２４ビット）で与えられた参照画像を、ＨＳＶ色空間に変換し、Ｈ成分（７ビット）の色ヒストグラムを作成する。なお、色空間をＨＳＶ色空間に変換する方法については、既存の算出方法を用いることができる。
【００５９】
また、同様に、候補ヒストグラム作成部２２は、候補色空間変換工程において、処理画像の色空間をＨＳＶ色空間に変換し（ステップＢ２１）、続いて、候補色相ヒストグラム作成工程において、色空間変換されたＨｕｅ色相成分を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する（ステップＢ２２）。
【００６０】
第１実施形態において用いた色ヒストグラムは、参照画像中では日向にいた人物が対象画像中では日陰に入ることで、例えば、対象動物体に該当する候補領域であっても、この候補領域の色ヒストグラムは参照領域の色ヒストグラムから若干変動する。これに対し、第２実施形態における色相ヒストグラムは、明度の変動に対して不動であるので、例えば対象動物体に該当する候補領域の色相ヒストグラムであれば参照領域の色相ヒストグラムからの変動が少ない。
【００６１】
これら作成された参照領域ヒストグラム、候補領域ヒストグラム、参照拡張領域ヒストグラム、候補拡張領域ヒストグラムを、ヒストグラムマッチング部２４は、第１実施形態で説明したように、ヒストグラムマッチング工程においてヒストグラムマッチングを行う。そして、物体位置検出部２５は、物体位置検出工程によって対象動物体の位置を検出する。
【００６２】
図１５及び図１６には、環境変動（対象動物体が日影に入る）によって対象動物体領域の色成分が変化した例を示している。図１５に示す人物が日向にいる時の参照領域（図中、矩形枠で示す）に対して、色ヒストグラムだけをもとに動物体領域を探索した場合には、図１６中に破線矩形枠で示すように探索に失敗するおそれがあるが、追跡領域と拡張領域のそれぞれについての色相ヒストグラムを用いてヒストグラムマッチングをすることで、図１６中に矩形枠で示す動物体画像領域が確実に検出される。
【００６３】
以上のように、色空間を変換した色相ヒストグラム情報を用いて対象動物体の追跡を行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することが可能になる。
【００６４】
（第３実施形態）
図１７は、本発明の第３実施形態の画像処理方法の処理の流れを示すフローチャートである。
図１７において、ステップＣ２１は参照領域ヒストグラムを作成した参照領域のアスペクト比と同じアスペクト比の候補領域を処理画像に設定するアスペクト比固定候補領域設定工程、ステップＣ２２は処理画像内の候補領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成するアスペクト比固定候補ヒストグラム作成工程である。
【００６５】
なお、ステップＣ１，Ｃ３，Ｃ４，Ｃ５は、第１実施形態におけるステップＡ１，Ａ３，Ａ４，Ａ５と同様の処理を実行するものとして詳細な説明を省略する。
【００６６】
候補ヒストグラム作成部２２は、アスペクト比固定候補領域設定工程において、参照ヒストグラムを作成した参照領域のアスペクト比を保持して、物体位置を探索する候補領域を処理画像内に設定する（ステップＣ２１）。アスペクト比固定候補ヒストグラム作成工程では、アスペクト比固定候補領域設定工程によって処理画像内に設定された候補領域の色ヒストグラムである候補領域ヒストグラムと、候補領域を拡張した候補拡張領域の色ヒストグラムである候補拡張領域ヒストグラムを作成する（ステップＣ２２）。
【００６７】
例えば、人物顔領域など探索対象（動物体）の大きさが大幅に変わらない動画像を処理対象とする場合には、参照領域のアスペクト比と同じアスペクト比の候補領域を処理画像に設定することで、探索対象とする動物体領域に対して候補領域が設定されやすくなる。
【００６８】
これら作成された候補領域ヒストグラム、候補拡張領域ヒストグラムを、ヒストグラムマッチング部２４は、ヒストグラムマッチング工程において、第１実施形態で説明したように、参照領域ヒストグラム、参照拡張領域ヒストグラムとそれぞれヒストグラムマッチングを行う（ステップＣ３）。そして、物体位置検出部２５は、物体位置検出工程において対象動物体の位置を検出する（ステップＣ４）。ここでは、対象動物体領域が候補領域として設定され易くなっているので、探索精度が向上されている。
【００６９】
以上のように、色空間を変換した色ヒストグラム情報を用いて対象動物体の追跡を行うことによって、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であっても、精度良く動画像中から追跡することが可能になる。
【００７０】
なお、前述した各実施形態では、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域と隣接する位置に設けられるものとしているが、参照領域、候補領域から離れた位置に設定されるようにしても良い。この場合、参照拡張領域と候補拡張領域は、参照領域と候補領域に対して相対的な決められた位置に設定される。
【００７１】
また、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域に対して１つが設定されているが、複数の参照拡張領域と候補拡張領域が設定されるようにしても良い。この場合、物体位置検出工程では、ヒストグラムインターセクションと、複数の拡張ヒストグラムインターセクションとを統合して、この統合したヒストグラムインターセクションをもとに対象動物体位置の候補領域を検出する。また、複数の拡張ヒストグラムインターセクションに対しては、個々に異なる重み付けをして統合するようにしても良い。
【００７２】
また、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域に対する面積比が固定であるものとして説明しているが、動画像中の対象動物体の追跡の経過に伴って動的に面積比が変更されるようにしても良い。この場合、例えば対象動物体の追跡の経過に伴って、対象動物体の位置として検出された候補拡張領域について色分散を求め、この色分散が大きい場合、すなわち候補拡張領域の色変化が大きい場合には信頼性が低いものとして候補拡張領域の候補領域に対する面積比を小さく、色分散が小さい場合には面積比を大きくしていく。なお、面積比は、予め決められた範囲内で変更されるようにしても良い。こうして、候補領域と候補拡張領域との面積比が動的に変更される場合には、物体位置検出工程において、変更後の面積比に応じて統合ヒストグラムインターセクションを算出する。
【００７３】
また、前述した説明では、第１乃至第３実施形態についてそれぞれ個別に説明しているが、複数の実施形態において説明した画像処理方法を組み合わせて実施することも可能である。例えば、第１実施形態と第２実施形態とを組み合わせることにより、色ヒストグラムと色相ヒストグラムを用いたヒストグラムマッチングをそれぞれの候補領域に対して実行し、その中で統合ヒストグラムインターセクションが最大となる候補領域を対象動物体位置として検出したり、あるいは色ヒストグラムと色相ヒストグラムのそれぞれのヒストグラムマッチングにより算出された統合ヒストグラムインターセクションを、さらに何れかに重み付けするなどして統合し、この最終統合されたヒストグラムインターセクションが最大となる候補領域を対象動物体位置として検出したりすることもできる。また、第３実施形態は、第１実施形態あるいは第２実施形態に対して個別に適用してもよいし、前述したように第１実施形態と第２実施形態の組み合わせに対して適用しても良い。
【００７４】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできる画像処理プログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録された画像処理プログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００７５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７６】
【発明の効果】
以上説明したように本発明によれば、画像間での変化をＡｆｆｉｎｅ変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わる画像処理装置の機能構成を示すブロック図。
【図２】第１実施形態の画像処理方法の処理の流れを示すフローチャート。
【図３】第１実施形態における参照領域の設定を示す図。
【図４】第１実施形態における参照領域に対する参照拡張領域の設定を示す図。
【図５】第１実施形態における参照領域と参照拡張領域を示す図。
【図６】第１実施形態における参照ヒストグラム作成工程の流れを示す図。
【図７】第１実施形態における候補領域と候補拡張領域を示す図。
【図８】第１実施形態における候補ヒストグラム作成工程の流れを示す図。
【図９】第１実施形態における統合ヒストグラムインターセクションの算出方法を示す図。
【図１０】背景領域と対象動物体領域の色成分が似ている場合の動物体の追跡例（参照画像）を示す図。
【図１１】背景領域と対象動物体領域の色成分が似ている場合の動物体の追跡例（処理画像）を示す図。
【図１２】同じような色成分を持った動物体が映像中に複数含まれている場合の追跡例（参照画像）を示す図。
【図１３】同じような色成分を持った動物体が映像中に複数含まれている場合の追跡例（処理画像）を示す図。
【図１４】第２実施形態の画像処理方法の処理の流れを示すフローチャート。
【図１５】環境変動によって対象動物体領域の色成分が変化した場合の追跡例（参照画像）を示す図。
【図１６】環境変動によって対象動物体領域の色成分が変化した場合の追跡例（参照画像）を示す図。
【図１７】第３実施形態の画像処理方法の処理の流れを示すフローチャート。
【図１８】Ａｆｆｉｎｅ変換推定を用いた物体追跡手法を示す図。
【図１９】色ヒストグラムを用いた物体追跡手法の処理対象とする参照画像の一例を示す図。
【図２０】ＲＧＢ色空間を表す図。
【符号の説明】
１０…画像処理部、１２…入力装置、１４…表示装置、１６…記憶装置、１６ａ…参照画像データ、１６ｂ…処理画像データ、２０…参照ヒストグラム作成部、２２…候補ヒストグラム作成部、２４…ヒストグラムマッチング部、２５…物体位置検出部、２６…追跡結果出力部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method, an image processing device, and an image processing program for tracking a target moving object in a moving image.
[0002]
[Prior art]
2. Description of the Related Art A technique for tracking a target moving object in a moving image has been conventionally used in a monitoring system that tracks and detects a car or a suspicious person in a moving image. In recent years, in digital contents such as the Internet and digital television, related information (name, price, etc.) is previously given to a certain object in a moving image, and the user can use the mouse or the like to attach this object in the moving image. The technique of tracking a target moving object in a moving image is also used for designating an anchor area for producing a video in which related information is presented on a screen when pointing is performed. This allows the user to click on the clock worn by the actor with a mouse while watching a TV drama to purchase by Internet shopping, to display the profile of a desired player during a sports game, It is also possible to analyze the movement of players and apply it to team strategy analysis and the like.
[0003]
As one of the specific algorithms of the tracking technology of the target moving object in the moving image, there is an object tracking method using Affine transform estimation (for example, see Patent Document 1). This is a method of estimating an Affine parameter representing the Affine transformation and tracking the object, assuming that the movement / deformation of the target moving object between frames is an Affine transformation. This method will be described with reference to FIG. The reference object area is designated by the user's manual input to the reference image, and only a finite number of feature points effective for tracking are selected as shown in FIG. The feature point selection is performed by arranging feature point candidates in a grid at intervals determined in the reference object area, determining a block (for example, 8 × 8 pixels) of a predetermined size around the feature point candidates, The similarity obtained by performing block matching in the surrounding area around the point candidate and performing block matching with the surrounding area is low, that is, block matching error (tracking error) when tracking with the processed image Feature point candidates that are determined to be less likely to occur. Subsequently, as shown in FIG. 18B, block matching is performed between the block centered on the feature point arranged in the reference image and the processed image, and a movement vector is estimated. Generally, these movement vectors include outliers. Therefore, the Affine parameter representing the transformation of the object is estimated by the robust estimation, the Affine transformation is performed on the reference object region using the Affine parameter, and the position of the target moving object region in the processed image is obtained as shown in FIG. And the shape can be estimated.
[0004]
There is also an algorithm for estimating a region corresponding to a reference object region from a processed image using a color histogram (for example, see Non-Patent Document 1). In this method, a color histogram in a reference object region is used as a feature amount for matching, and an object position is detected by comparing the color histogram with a color histogram of a processed image. First, a reference object area (represented by a
[0005]
(Equation 1)
Next, a normalized histogram is created by dividing each histogram element shown in the following equation (3) by the total number of pixels.
[0007]
(Equation 2)
That is, the total number of pixels in the reference object area is normalized to 1.0. This M i Is a reference histogram representing the color histogram of the reference object area.
[0009]
Subsequently, a candidate object area is set within the search range in the processed image, and a candidate histogram is created in the same manner (formula (4) shown below). As a measure for measuring the degree of matching between histograms, a histogram intersection S represented by the following equation (5) is used. HM Is used.
[0010]
[Equation 3]
Histogram intersection S HM Takes a value from 0 to 1 because the histogram is normalized, searches for a candidate object region having a candidate histogram with the maximum similarity in the search range in the processed image, and Output as the destination of
[0012]
[Patent Document 1]
JP 2001-132691 A
[0013]
[Non-patent document 1]
Michael J. et al. Swain, Dana H .; Ballard, "Color Indexing", International Journal of Computer Vision, 1991, vol. 7, no. 1, pp. 11-32.
[0014]
[Problems to be solved by the invention]
However, in the object tracking method using the Affine transform estimation, since the deformation and tracking of the target moving object are performed using the estimated Affine parameters, the change from the target moving object in the reference image to the target moving object in the processed image is an Affine transform. If the approximation cannot be performed, correct tracking cannot be performed. In addition, since the object is tracked using a plurality of block matchings, the tracking area has to have a certain size.
[0015]
On the other hand, in the object tracking method using the color histogram, tracking is performed using the color histogram in the target area, so tracking is performed even if a large change occurs in the shape unless there is a large change in the color component of the target moving object Can be tracked even if the tracking area is a small area.
[0016]
However, since the tracking is performed using only the color histogram as the feature amount, when the color components of the background region and the target moving object region are similar or a plurality of moving objects having similar color components are included in the video. In addition, when the color components of the target moving object area change due to environmental changes, there is a problem that the accuracy of the histogram matching is deteriorated and the tracking accuracy is reduced.
[0017]
The present invention has been made in view of the above circumstances, and has as its object to provide an image processing method, an image processing apparatus, and an image processing program capable of accurately tracking a moving object from a moving image. I do.
[0018]
[Means for Solving the Problems]
In order to achieve the above object, in the present invention, in an image processing method for tracking a target moving object in a moving image, based on a reference image in the moving image, a reference region corresponding to the target moving object is A reference area histogram, a reference histogram creating step of creating a reference extended area histogram for a reference extended area in the vicinity of the reference area, and searching for the target moving object based on a processed image in the moving image. And a candidate histogram creating step of creating a candidate extended area histogram for a candidate extended area in the vicinity of the candidate area, and a histogram matching between the reference area histogram and the candidate area histogram. A first histogram matching step, the reference extended area histogram and the Based on the result of the second histogram matching step of performing histogram matching with the extended area histogram and the result of the histogram matching by the first and second histogram matching steps, a candidate area to be a target moving object position in the processed image is determined. An object position detecting step of detecting.
[0019]
In such a method, for example, histogram information on a tracking area (reference area, candidate area) and an extended area (reference extended area, reference candidate area) in a moving image based on color or hue, Since the tracking of the target moving object is performed using the positional relationship with the extended region, that is, the limited texture information, the target moving object is a small target moving object that cannot be approximated by the Affine transformation between the images, and When the color components of the background region and the target moving object region are similar, or when multiple moving objects with similar color components are included in the image, and the color components of the target moving object region change due to environmental fluctuations In this case, it is possible to accurately track the moving image from the moving image.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
The image processing apparatus according to the present embodiment reads an image processing program recorded on a recording medium such as a semiconductor memory, a CD-ROM, a DVD, and a magnetic disk, and is realized by a computer whose operation is controlled by the image processing program. Can be. A computer that implements the image processing apparatus includes a processor, a memory accessible by the processor, and an image analysis program stored in the memory.
[0021]
As shown in FIG. 1, the image processing apparatus according to the present embodiment includes an
[0022]
The
[0023]
The reference
[0024]
The candidate
[0025]
The
[0026]
The object
[0027]
The tracking
[0028]
The
[0029]
The
[0030]
The
[0031]
(1st Embodiment)
FIG. 2 is a flowchart showing the flow of processing of the image processing method according to the first embodiment of the present invention.
In FIG. 2, step A1 is a reference histogram creating step for creating a reference area histogram and a reference extended area histogram from a reference image, step A2 is a candidate histogram creating step for creating a candidate area histogram and a candidate extended area histogram from a processed image, and step A3. A histogram matching step of calculating a histogram intersection by performing histogram matching using the reference area histogram and the candidate area histogram, and calculating an extended histogram intersection by performing histogram matching using the reference extended area histogram and the candidate extended area histogram; and A4 integrates the calculated histogram intersection and the extended histogram intersection, and maximizes the integrated histogram intersection. It is an object position detection step of detecting a candidate area as the target moving object position in the processed image.
[0032]
First, in the reference histogram creating step by the reference
[0033]
For example, a case where a woman's face in a video (moving image) as shown in FIG. 3 is tracked will be described as an example. FIG. 3 shows an area set as a reference area by a rectangular frame. As a feature in tracking a human face, attention is paid to the fact that stable color information can often be observed even in an area near the lower part of the human face (a collar or a chest of clothes) as shown in FIG. Therefore, in the first embodiment, in the reference histogram creation step, a certain body region (reference extension region) is set below the human face region, which is the reference region, as shown in FIG. It is assumed that the reference extended area shown in FIG. 5 is set so that the area ratio with respect to the reference area becomes a predetermined value. The reference extension area is set at a position adjacent to the reference area.
[0034]
In the example of the image shown in FIG. 5, a human face area is used as the reference area, and an area near the lower part of the human face is used as the reference extended area. However, the reference extended area corresponding to the moving object to be tracked in the moving image is used. Is set. For example, when an object such as a car number, a luggage tag, or a person's name tag in a moving image is used as a reference area, similarly, the reference extended area can be set at a position corresponding to each moving object. it can. In this case, the reference extended area only needs to be in the vicinity of the reference area, and does not necessarily have to be adjacent to the reference extended area. Also, as shown in FIG. 5, the reference extension area does not necessarily need to be provided below the reference area, and can be set at a position determined according to a moving image to be processed.
[0035]
When the reference
[0036]
Although the histograms shown in FIGS. 6B and 6C are represented as simple histograms for simplicity of description, for example, in the reference region, the reference region includes skin, hair, eyes, lips, and the like. A histogram is created based on the color information about the included background (such as the sky). Similarly, in the reference extended area, a histogram is created based on color information on the background in addition to the skin (neck portion), clothes, and the like.
[0037]
On the other hand, in the candidate histogram creation step by the candidate
[0038]
The candidate
[0039]
FIG. 7 shows a candidate area (represented by a rectangular frame) and a candidate extended area (represented by a dashed rectangular frame) set in the processed image. The image shown in FIG. 7 shows an example in which the brightness of the image has changed due to the person entering the shade. As shown in FIG. 8, the candidate
[0040]
Note that the reference area histogram and the reference extended area histogram created by the reference
[0041]
Next, in the histogram matching step, the
[0042]
That is, assuming that the reference region histogram is (6) shown below and the candidate region histogram is (7) below, these histogram intersections (matching reliability) are as shown in the following expression (8). (FIGS. 9D and 9F).
[0043]
(Equation 4)
Assuming that the reference extended area histogram is (9) shown below and the candidate extended area histogram is (10) shown below, these extended histogram intersections (reliability of matching) are expressed by the following equation (11). (FIGS. 9C and 9E).
[0045]
(Equation 5)
Finally, in the object position detecting step, the object
[0047]
For example, the integrated histogram intersection is calculated as a value obtained by adding the histogram intersection and the extended histogram intersection based on the area ratio between the area where the histogram intersection is calculated and the extended area where the extended histogram intersection is calculated. .
[0048]
For example, assuming that the area ratio between the reference region and the reference extension region is set to 10: 3, the integrated histogram intersection is calculated as the following Expression (12) (FIG. 9G).
[0049]
(Equation 6)
The tracking
[0051]
10 to 13 show tracking examples of the target moving object.
10 and 11 show examples in which the color components of the background region and the target moving object region are similar. In contrast to the reference region set in the reference image shown in FIG. 10, in the processed image shown in FIG. 11, the background colored tree portion is similar to the color component of the reference region. Therefore, in the case where the moving object image is tracked without using the extended region with respect to the reference region, as shown in a dashed rectangular frame in FIG. It will be detected. On the other hand, when the histogram matching using the candidate extended region is performed as described above, the color component of the clothes in the reference extended region with respect to the reference region is included in the candidate extended region with respect to the candidate region set in the tree portion. not exist. Therefore, the value of the integrated histogram intersection is higher when calculated from the candidate area set for the human face area in the processed image and the candidate extended area. That is, the candidate area of the human face area indicated by the rectangular frame in FIG. 11 is reliably tracked.
[0052]
FIGS. 12 and 13 show an example in which a moving image having a similar color component is included in a plurality of images. Since the reference image shown in FIG. 12 includes a large number of person images, there are many candidate regions having the same color components as the reference region set in the reference image in the processed image shown in FIG. Will be. On the other hand, when histogram matching using the candidate extended area is performed, the colors of the clothes of each person are often different from each other. Therefore, the value of the integrated histogram intersection is set to the reference area in the processed image. The candidate area calculated from the candidate area corresponding to the person and the candidate extended area becomes the highest, and the candidate area of the person face area shown in the rectangular frame in FIG. 13 is reliably tracked.
[0053]
As described above, in the first embodiment, the color histogram information of the tracking area (reference area, candidate area) and the extended area obtained by expanding the tracking area (reference extended area, candidate extended area) is used. Since the positional relationship of the color information is also considered, limited texture information is also used. Thus, even when the background of the target video has a color component similar to the tracking area, if the color component of the extended area is different from the color component of the background, tracking can be performed correctly. In addition, even when there are a plurality of areas having color information similar to the tracking area in the video, the color histogram of the extended area of the target tracking area and the expansion area of another area having color information similar to the tracking area. If there is a difference, the tracking can be performed correctly. Further, since only rough information such as the color of the face at the top and the color of the clothes at the bottom is used as the texture information, it is robust to changes in the appearance of the human face (expression, facial direction, etc.) The feature of the color histogram that it is hard to receive is retained.
[0054]
If a color histogram is simply created in an area in which the tracking area is enlarged (tracking area + extended area) and tracking is performed without using texture information, the background may have a color component similar to the extended area. If the region and the extended region have similar color components, the possibility of tracking failure increases.
[0055]
As described above, by tracking the target moving object using the color histogram information and the texture information of the moving image together, the target moving object is a small target moving object that cannot be approximated by the Affine transform between the images, and Even when the color components of the background region and the target moving object region are similar or when a moving object having a similar color component is included in the video, a plurality of moving objects can be accurately tracked from the moving image.
[0056]
(2nd Embodiment)
FIG. 14 is a flowchart illustrating the flow of the image processing method according to the second embodiment of the present invention.
In FIG. 14, step B11 is a reference color space conversion step of converting the color space of the reference image into the HSV color space, and step B12 creates a reference area histogram and a reference extended area histogram using the Hue hue components converted into the color space. A reference hue histogram creation step, step B21 is a candidate color space conversion step of converting the color space of the processed image into the HSV color space, and step B22 is a step of converting the candidate area histogram and the candidate extended area histogram using the Hue hue components subjected to the color space conversion. This is a candidate hue histogram creation step to be created.
[0057]
The histogram matching step of step B3 is the same as the histogram matching step (step A3) in the first embodiment except that the color matching is performed on the hue histogram, except that the color matching is performed on the hue histogram. And a detailed description will be omitted. Steps B4 and B5 also execute the same processing as steps A4 and A5 in the first embodiment, and a detailed description thereof will be omitted.
[0058]
In general, the H (Hue) component of the HSV color system in which color information is converted into the HSV color space is immobile in lightness fluctuation such that a target moving object enters a sunshine or a shade. Therefore, in the reference color space conversion step, the reference
[0059]
Similarly, in the candidate color space conversion step, the candidate
[0060]
The color histogram used in the first embodiment indicates that a person facing the sun in the reference image enters the shade in the target image. For example, even if the candidate region corresponds to the target moving object, the color of the candidate region The histogram slightly fluctuates from the color histogram of the reference area. On the other hand, the hue histogram according to the second embodiment is fixed with respect to the change in the brightness, so that, for example, the hue histogram of the candidate region corresponding to the target moving object has little change from the hue histogram of the reference region.
[0061]
As described in the first embodiment, the
[0062]
FIGS. 15 and 16 show an example in which the color component of the target moving object region changes due to environmental change (the target moving object enters a shade). When a moving object area is searched based on only the color histogram with respect to a reference area (shown by a rectangular frame in the figure) when the person shown in FIG. 15 is in the sun, a broken rectangular frame shown in FIG. Although the search may fail as indicated by, the moving object image area indicated by the rectangular frame in FIG. 16 is reliably detected by performing the histogram matching using the hue histograms of the tracking area and the extended area. Is done.
[0063]
As described above, by tracking the target moving object using the hue histogram information obtained by converting the color space, the target moving object is a small target moving object whose change between images cannot be approximated by the Affine transform. Even when the color component of the moving object region changes, it is possible to accurately track the color component in the moving image.
[0064]
(Third embodiment)
FIG. 17 is a flowchart showing the flow of processing of the image processing method according to the third embodiment of the present invention.
In FIG. 17, step C21 is a fixed aspect ratio candidate area setting step of setting a candidate area having the same aspect ratio as the aspect ratio of the reference area for which the reference area histogram was created in the processed image, and step C22 is a candidate from candidate areas in the processed image. This is a fixed aspect ratio candidate histogram creation step for creating a region histogram and a candidate extended region histogram.
[0065]
Steps C1, C3, C4, and C5 execute the same processing as steps A1, A3, A4, and A5 in the first embodiment, and a detailed description thereof will be omitted.
[0066]
In the fixed aspect ratio candidate area setting step, the candidate
[0067]
For example, when a moving image in which the size of a search target (animal) such as a human face region does not change significantly is to be processed, a candidate region having the same aspect ratio as the reference region should be set as the processed image. Thus, the candidate area is easily set for the moving object area to be searched.
[0068]
In the histogram matching step, the
[0069]
As described above, by tracking the target moving object using the color histogram information obtained by converting the color space, even if the target moving object is a small target moving object whose change between images cannot be approximated by the Affine transform, the target moving object can be accurately detected. Tracking can be performed from within a moving image.
[0070]
In each of the above-described embodiments, the reference extended region and the candidate extended region are provided at positions adjacent to the reference region and the candidate region, respectively. However, the reference extended region and the candidate extended region are set at positions apart from the reference region and the candidate region. You may do it. In this case, the reference extended region and the candidate extended region are set at predetermined positions relative to the reference region and the candidate region.
[0071]
Although one reference extension area and one candidate extension area are set for the reference area and the candidate area, respectively, a plurality of reference extension areas and candidate extension areas may be set. In this case, in the object position detecting step, the histogram intersection and a plurality of extended histogram intersections are integrated, and a candidate area of the target moving object position is detected based on the integrated histogram intersection. Further, a plurality of extended histogram intersections may be individually weighted and integrated.
[0072]
Although the reference extended region and the candidate extended region are described as having a fixed area ratio with respect to the reference region and the candidate region, respectively, the area ratio is dynamically increased as the target moving object in the moving image is tracked. The ratio may be changed. In this case, for example, as the tracking of the target moving object progresses, the chromatic dispersion is obtained for the candidate extended region detected as the position of the target moving object, and when this chromatic dispersion is large, that is, when the color change of the candidate extended region is large. For example, the area ratio of the candidate extended area to the candidate area is reduced assuming that the reliability is low, and the area ratio is increased when the chromatic dispersion is small. Note that the area ratio may be changed within a predetermined range. In this way, when the area ratio between the candidate region and the candidate extended region is dynamically changed, an integrated histogram intersection is calculated in the object position detection step according to the changed area ratio.
[0073]
Further, in the above description, the first to third embodiments are individually described. However, the image processing methods described in the plurality of embodiments may be implemented in combination. For example, by combining the first embodiment and the second embodiment, histogram matching using a color histogram and a hue histogram is performed for each candidate region, and a candidate having the largest integrated histogram intersection among the candidate regions is performed. The area is detected as the target moving object position, or the integrated histogram intersection calculated by the respective histogram matchings of the color histogram and the hue histogram is further integrated by weighting any of them, and the final integrated histogram is obtained. The candidate area having the largest intersection can also be detected as the target moving object position. Further, the third embodiment may be applied individually to the first embodiment or the second embodiment, or may be applied to a combination of the first embodiment and the second embodiment as described above. Is also good.
[0074]
In addition, the method described in the above-described embodiment can be used as an image processing program that can be executed by a computer, for example, recording a magnetic disk (such as a flexible disk or a hard disk), an optical disk (such as a CD-ROM or a DVD), or a semiconductor memory. The data can be written on a medium and provided to various devices. Further, it is also possible to transmit the data via a communication medium and provide the data to various devices. A computer that realizes the present apparatus reads the image processing program recorded on the recording medium or receives the program via a communication medium, and executes the above-described processing by controlling the operation of the program.
[0075]
Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying constituent elements in an implementation stage without departing from the scope of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Further, components of different embodiments may be appropriately combined.
[0076]
【The invention's effect】
As described above, according to the present invention, a small target moving object whose change between images cannot be approximated by the Affine transform and the color components of the background region and the target moving object region are similar, Even when a plurality of moving objects having similar color components are included in an image, or when a color component of a target moving object region changes due to environmental fluctuation, it can be accurately tracked from a moving image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a flow of processing of the image processing method according to the first embodiment.
FIG. 3 is a view showing setting of a reference area in the first embodiment.
FIG. 4 is a view showing the setting of a reference extension area for a reference area in the first embodiment.
FIG. 5 is a diagram showing a reference area and a reference extension area in the first embodiment.
FIG. 6 is a diagram showing a flow of a reference histogram creation step in the first embodiment.
FIG. 7 is a diagram showing a candidate area and a candidate extended area in the first embodiment.
FIG. 8 is a diagram showing a flow of a candidate histogram creation step in the first embodiment.
FIG. 9 is a view showing a method for calculating an integrated histogram intersection in the first embodiment.
FIG. 10 is a diagram illustrating an example of tracking a moving object (reference image) when the color components of the background region and the target moving object region are similar.
FIG. 11 is a diagram illustrating an example of tracking a moving object (processed image) when the color components of the background region and the target moving object region are similar.
FIG. 12 is a diagram showing a tracking example (reference image) when a plurality of moving objects having similar color components are included in an image.
FIG. 13 is a diagram showing a tracking example (processed image) when a plurality of moving objects having similar color components are included in an image.
FIG. 14 is a flowchart showing the flow of processing of the image processing method according to the second embodiment.
FIG. 15 is a diagram illustrating a tracking example (reference image) in a case where a color component of a target moving object region changes due to an environmental change.
FIG. 16 is a diagram illustrating a tracking example (reference image) in a case where a color component of a target moving object region changes due to an environmental change.
FIG. 17 is a flowchart illustrating a flow of processing of an image processing method according to a third embodiment.
FIG. 18 is a diagram showing an object tracking method using Affine transform estimation.
FIG. 19 is a diagram showing an example of a reference image to be processed by an object tracking method using a color histogram.
FIG. 20 is a diagram illustrating an RGB color space.
[Explanation of symbols]
DESCRIPTION OF
Claims (10)
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング工程と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング工程と、
前記第１及び第２のヒストグラムマッチング工程によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出工程と
を備えることを特徴とする画像処理方法。In an image processing method for tracking a target moving object in a moving image,
Reference histogram creation for creating a reference area histogram for a reference area corresponding to the target moving object and a reference extension area histogram for a reference extension area near the reference area based on the reference image in the moving image Process and
Based on the processed image in the moving image, a candidate area histogram for a candidate area for searching for the target moving object and a candidate for creating a candidate extended area histogram for a candidate extended area near the candidate area A histogram creation process;
A first histogram matching step of performing histogram matching between the reference area histogram and the candidate area histogram;
A second histogram matching step of performing histogram matching between the reference extended area histogram and the candidate extended area histogram;
An object position detecting step of detecting a candidate area as a target moving object position in the processed image based on a result of the histogram matching in the first and second histogram matching steps. .
前記候補ヒストグラム作成工程は、処理画像の色情報を用いて前記候補領域ヒストグラムと前記候補拡張領域ヒストグラムを作成することを特徴とする請求項１記載の画像処理方法。The reference histogram creating step creates the reference area histogram and the reference extended area histogram using color information of a reference image,
2. The image processing method according to claim 1, wherein in the candidate histogram creating step, the candidate area histogram and the candidate extended area histogram are created using color information of a processed image.
前記参照画像の色空間をＨＳＶ（色相、彩度、明度）色空間に変換する参照色空間変換工程と、
前記参照色空間変換工程により色空間変換された色相成分を用いて、前記参照領域ヒストグラムと前記参照拡張領域ヒストグラムを作成する参照色相ヒストグラム作成工程とを備え、
前記候補ヒストグラム作成工程は、
前記処理画像の色空間をＨＳＶ色空間に変換する候補色空間変換工程と、
前記候補色空間変換工程により色空間変換された色相成分を用いて、前記候補領域ヒストグラムと前記候補拡張領域ヒストグラムを作成する候補色相ヒストグラム作成工程とを備えることを特徴とする請求項１記載の画像処理方法。The reference histogram creation step,
A reference color space conversion step of converting the color space of the reference image into an HSV (hue, saturation, lightness) color space;
A reference hue histogram creating step of creating the reference area histogram and the reference extended area histogram using the hue components subjected to the color space conversion by the reference color space conversion step,
The candidate histogram creation step,
A candidate color space conversion step of converting the color space of the processed image into an HSV color space;
2. The image according to claim 1, further comprising a candidate hue histogram creating step of creating the candidate area histogram and the candidate extended area histogram using the hue components that have undergone color space conversion in the candidate color space conversion step. Processing method.
前記参照領域ヒストグラムが作成された参照領域のアスペクト比と同じアスペクト比の候補領域を前記処理画像に設定するアスペクト比固定候補領域設定工程と、
前記アスペクト比固定候補領域設定工程により設定された候補領域と同候補領域の近傍の候補拡張領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成するアスペクト比固定候補ヒストグラム作成工程と
を備えることを特徴とする請求項１記載の画像処理方法。The candidate histogram creation step,
Aspect ratio fixed candidate area setting step of setting a candidate area having the same aspect ratio as the aspect ratio of the reference area in which the reference area histogram is created, in the processed image,
A fixed aspect ratio candidate histogram creating step of creating a candidate area histogram and a candidate extended area histogram from a candidate area set by the fixed aspect ratio candidate area setting step and a candidate extended area near the same candidate area. The image processing method according to claim 1.
前記参照領域ヒストグラムと前記候補領域ヒストグラムを用いたヒストグラムマッチングにより、ヒストグラムインターセクションを算出し、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムを用いたヒストグラムマッチングにより拡張ヒストグラムインターセクションを算出し、
前記物体位置検出工程は、
前記ヒストグラムインターセクションと前記拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出することを特徴とする請求項１記載の画像処理方法。The histogram matching step includes:
By histogram matching using the reference region histogram and the candidate region histogram, calculate a histogram intersection,
Calculating an extended histogram intersection by histogram matching using the reference extended region histogram and the candidate extended region histogram,
The object position detection step,
The image processing method according to claim 1, wherein the histogram intersection and the extended histogram intersection are integrated, and a candidate area having the maximum integrated histogram intersection is detected as a target moving object position in the processed image. .
前記候補拡張領域は、候補領域と隣接する位置に設けられることを特徴とする請求項１記載の画像処理方法。The reference extension area is provided at a position adjacent to the reference area,
The image processing method according to claim 1, wherein the candidate extension area is provided at a position adjacent to the candidate area.
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成手段と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成手段と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング手段と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング手段と、
前記第１及び第２のヒストグラムマッチング手段によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出手段と
を具備したことを特徴とする画像処理装置。In an image processing device that tracks a target moving object in a moving image,
Reference histogram creation for creating a reference area histogram for a reference area corresponding to the target moving object and a reference extension area histogram for a reference extension area near the reference area based on the reference image in the moving image Means,
Based on the processed image in the moving image, a candidate area histogram for a candidate area for searching for the target moving object and a candidate for creating a candidate extended area histogram for a candidate extended area near the candidate area Means for creating a histogram,
First histogram matching means for performing histogram matching between the reference area histogram and the candidate area histogram;
Second histogram matching means for performing histogram matching between the reference extended area histogram and the candidate extended area histogram;
Image processing characterized by comprising: object position detecting means for detecting a candidate area as a target moving object position in a processed image based on the results of the histogram matching by the first and second histogram matching means. apparatus.
前記プロセッサによりアクセス可能なメモリと、
前記メモリに収容された画像処理プログラムとを備え、
前記画像処理プログラムが、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成機能と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成機能と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング機能と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング機能と、
前記第１及び第２のヒストグラムマッチング機能によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出機能とを有することを特徴とする画像処理装置。A processor,
A memory accessible by the processor;
An image processing program stored in the memory,
The image processing program is:
Reference histogram creation for creating a reference area histogram for a reference area corresponding to the target moving object and a reference extension area histogram for a reference extension area near the reference area based on the reference image in the moving image Features and
Based on the processed image in the moving image, a candidate area histogram for a candidate area for searching for the target moving object and a candidate for creating a candidate extended area histogram for a candidate extended area near the candidate area Histogram creation function,
A first histogram matching function for performing histogram matching between the reference area histogram and the candidate area histogram;
A second histogram matching function for performing histogram matching between the reference extended area histogram and the candidate extended area histogram;
An image processing apparatus having an object position detecting function for detecting a candidate area to be a target moving object position in a processed image based on a result of the histogram matching by the first and second histogram matching functions. .
コンピュータに、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングを行う第１のヒストグラムマッチング工程と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングを行う第２のヒストグラムマッチング工程と、
前記第１及び第２のヒストグラムマッチング工程によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する物体位置検出工程とを実行させることを特徴とする画像処理プログラム。An image processing program for tracking a target moving object in a moving image,
On the computer,
Reference histogram creation for creating a reference area histogram for a reference area corresponding to the target moving object and a reference extension area histogram for a reference extension area near the reference area based on the reference image in the moving image Process and
Based on the processed image in the moving image, a candidate area histogram for a candidate area for searching for the target moving object and a candidate for creating a candidate extended area histogram for a candidate extended area near the candidate area A histogram creation process;
A first histogram matching step of performing histogram matching between the reference area histogram and the candidate area histogram;
A second histogram matching step of performing histogram matching between the reference extended area histogram and the candidate extended area histogram;
Performing an object position detecting step of detecting a candidate area to be a target moving object position in the processed image based on the results of the histogram matching in the first and second histogram matching steps. program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142490A JP3836814B2 (en) | 2003-05-20 | 2003-05-20 | Image processing method, image processing apparatus, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142490A JP3836814B2 (en) | 2003-05-20 | 2003-05-20 | Image processing method, image processing apparatus, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004348273A true JP2004348273A (en) | 2004-12-09 |
| JP3836814B2 JP3836814B2 (en) | 2006-10-25 |
Family
ID=33530562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003142490A Expired - Fee Related JP3836814B2 (en) | 2003-05-20 | 2003-05-20 | Image processing method, image processing apparatus, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3836814B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006227973A (en) * | 2005-02-18 | 2006-08-31 | Kyushu Institute Of Technology | Object tracking method, object tracking apparatus, and program |
| JP2006323437A (en) * | 2005-05-17 | 2006-11-30 | Sony Corp | Object tracking method, object tracking method program, recording medium recording object tracking method program, and object tracking apparatus |
| JP2006350618A (en) * | 2005-06-15 | 2006-12-28 | Kddi Corp | Moving image processing device |
| JP2007042072A (en) * | 2005-07-05 | 2007-02-15 | Omron Corp | Tracking device |
| JP2007096480A (en) * | 2005-09-27 | 2007-04-12 | Konica Minolta Holdings Inc | Object tracking apparatus and object tracking method |
| JP2008022441A (en) * | 2006-07-14 | 2008-01-31 | Sony Corp | Image processing apparatus and method, and program |
| JP2010218232A (en) * | 2009-03-17 | 2010-09-30 | Dainippon Printing Co Ltd | Object tracking device |
| EP2282224A2 (en) | 2009-08-06 | 2011-02-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| JP2012142958A (en) * | 2006-08-30 | 2012-07-26 | Nikon Corp | Image tracking device, image tracking method, and camera |
| JP2012231319A (en) * | 2011-04-26 | 2012-11-22 | Canon Inc | Subject tracking device, subject tracking method, and program |
| JP2013054586A (en) * | 2011-09-05 | 2013-03-21 | Hitachi Ltd | Service providing system |
| US8515165B2 (en) | 2009-12-24 | 2013-08-20 | Samsung Electronics Co., Ltd | Method of detecting an object using a camera |
| JP2013533998A (en) * | 2010-06-11 | 2013-08-29 | トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ／ソシエテ アノニム | Object detection in images using self-similarity |
| US10140503B2 (en) | 2015-06-12 | 2018-11-27 | Canon Kabushiki Kaisha | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus |
| CN115393402A (en) * | 2022-08-24 | 2022-11-25 | 北京医智影科技有限公司 | Training method of image registration network model, image registration method and equipment |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714553B (en) * | 2012-10-09 | 2016-12-21 | 杭州海康威视数字技术股份有限公司 | A kind of multi-object tracking method and device |
-
2003
- 2003-05-20 JP JP2003142490A patent/JP3836814B2/en not_active Expired - Fee Related
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006227973A (en) * | 2005-02-18 | 2006-08-31 | Kyushu Institute Of Technology | Object tracking method, object tracking apparatus, and program |
| JP2006323437A (en) * | 2005-05-17 | 2006-11-30 | Sony Corp | Object tracking method, object tracking method program, recording medium recording object tracking method program, and object tracking apparatus |
| JP2006350618A (en) * | 2005-06-15 | 2006-12-28 | Kddi Corp | Moving image processing device |
| JP2007042072A (en) * | 2005-07-05 | 2007-02-15 | Omron Corp | Tracking device |
| JP2007096480A (en) * | 2005-09-27 | 2007-04-12 | Konica Minolta Holdings Inc | Object tracking apparatus and object tracking method |
| JP2008022441A (en) * | 2006-07-14 | 2008-01-31 | Sony Corp | Image processing apparatus and method, and program |
| JP2012142958A (en) * | 2006-08-30 | 2012-07-26 | Nikon Corp | Image tracking device, image tracking method, and camera |
| JP2010218232A (en) * | 2009-03-17 | 2010-09-30 | Dainippon Printing Co Ltd | Object tracking device |
| CN101996408A (en) * | 2009-08-06 | 2011-03-30 | 佳能株式会社 | Image processing apparatus and image processing method |
| JP2011039596A (en) * | 2009-08-06 | 2011-02-24 | Canon Inc | Device and method for tracking image, and computer program |
| US20110033085A1 (en) * | 2009-08-06 | 2011-02-10 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| EP2282224A3 (en) * | 2009-08-06 | 2011-10-05 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| EP2282224A2 (en) | 2009-08-06 | 2011-02-09 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
| US8503723B2 (en) | 2009-08-06 | 2013-08-06 | Canon Kabushiki Kaisha | Histogram-based object tracking apparatus and method |
| KR101321780B1 (en) | 2009-08-06 | 2013-10-25 | 캐논 가부시끼가이샤 | Image processing apparatus and image processing method |
| US8515165B2 (en) | 2009-12-24 | 2013-08-20 | Samsung Electronics Co., Ltd | Method of detecting an object using a camera |
| JP2013533998A (en) * | 2010-06-11 | 2013-08-29 | トヨタ モーター ヨーロッパ ナームロゼ フェンノートシャップ／ソシエテ アノニム | Object detection in images using self-similarity |
| JP2012231319A (en) * | 2011-04-26 | 2012-11-22 | Canon Inc | Subject tracking device, subject tracking method, and program |
| JP2013054586A (en) * | 2011-09-05 | 2013-03-21 | Hitachi Ltd | Service providing system |
| US10140503B2 (en) | 2015-06-12 | 2018-11-27 | Canon Kabushiki Kaisha | Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus |
| CN115393402A (en) * | 2022-08-24 | 2022-11-25 | 北京医智影科技有限公司 | Training method of image registration network model, image registration method and equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3836814B2 (en) | 2006-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3836814B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| Zhang et al. | Multi-modal fusion for end-to-end RGB-T tracking | |
| JP7286010B2 (en) | Human body attribute recognition method, device, electronic device and computer program | |
| Shen et al. | Multiobject tracking by submodular optimization | |
| JP4784709B1 (en) | Object tracking device, object tracking method, and control program | |
| JP7130368B2 (en) | Information processing device and information processing system | |
| US8582822B2 (en) | Moving object detection apparatus and moving object detection method | |
| US9852358B2 (en) | Information processing device, information processing method, and information processing system | |
| US9727974B2 (en) | System for video super resolution using semantic components | |
| US20110243383A1 (en) | Image processing device, image processing method, and program | |
| US20130335635A1 (en) | Video Analysis Based on Sparse Registration and Multiple Domain Tracking | |
| JP2004513442A (en) | Tagging People in Image Processing Systems Utilizing Statistical Models Based on Appearance and Geometric Features | |
| JP2005123824A (en) | Video object trajectory synthesis apparatus, method and program thereof | |
| US20110091074A1 (en) | Moving object detection method and moving object detection apparatus | |
| Nallasivam et al. | Moving human target detection and tracking in video frames | |
| US20030052971A1 (en) | Intelligent quad display through cooperative distributed vision | |
| US20170011528A1 (en) | Method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device | |
| JP2010244207A (en) | Moving object tracking device, moving object tracking method, and moving object tracking program | |
| CN117455972A (en) | UAV ground target positioning method based on monocular depth estimation | |
| Zhou et al. | Superpixel-driven level set tracking | |
| JP2004252748A (en) | Image processing method and image processing device | |
| JP4750758B2 (en) | Attention area extraction method, attention area extraction device, computer program, and recording medium | |
| JP7521704B2 (en) | Posture estimation device, learning model generation device, posture estimation method, learning model generation method, and program | |
| Wang et al. | Dynamic human object recognition by combining color and depth information with a clothing image histogram | |
| JP7542331B2 (en) | Learning device, object classification device, learning method, object classification method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060727 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |