JP2000222584A - 映像情報記述方法、映像検索方法及び映像検索装置 - Google Patents
映像情報記述方法、映像検索方法及び映像検索装置Info
- Publication number
- JP2000222584A JP2000222584A JP11022372A JP2237299A JP2000222584A JP 2000222584 A JP2000222584 A JP 2000222584A JP 11022372 A JP11022372 A JP 11022372A JP 2237299 A JP2237299 A JP 2237299A JP 2000222584 A JP2000222584 A JP 2000222584A
- Authority
- JP
- Japan
- Prior art keywords
- video
- background
- feature amount
- outside
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】背景が動いているオブジェクトを含む映像につ
いても検索を可能とするための映像情報記述方法を提供
する。 【解決手段】元映像からオブジェクトの位置、形状及び
動きなどの情報を含む特徴量７０３と背景の動きなどの
情報を含む特徴量７０４をこれらを表記データとして記
述する。
いても検索を可能とするための映像情報記述方法を提供
する。 【解決手段】元映像からオブジェクトの位置、形状及び
動きなどの情報を含む特徴量７０３と背景の動きなどの
情報を含む特徴量７０４をこれらを表記データとして記
述する。
Description
【０００１】
【発明の属する技術分野】本発明は、映像中のオブジェ
クトに注目した映像情報の記述方法及びこれを用いて特
定のオブジェクトやそのオブジェクトを含むフレームの
検索を行う映像検索方法及び映像検索装置に関する。
クトに注目した映像情報の記述方法及びこれを用いて特
定のオブジェクトやそのオブジェクトを含むフレームの
検索を行う映像検索方法及び映像検索装置に関する。
【０００２】
【従来の技術】ディジタル衛星放送やケーブルテレビの
普及に伴う放送の多チャンネル化により、ユーザの入手
できる映像情報は増加の一途を辿っている。一方で、計
算機技術の進歩やＤＶＤに代表される大容量記録媒体の
実用化により、大量の映像情報をディジタル情報として
蓄積し、計算機上で取り扱うことが容易になりつつあ
る。
普及に伴う放送の多チャンネル化により、ユーザの入手
できる映像情報は増加の一途を辿っている。一方で、計
算機技術の進歩やＤＶＤに代表される大容量記録媒体の
実用化により、大量の映像情報をディジタル情報として
蓄積し、計算機上で取り扱うことが容易になりつつあ
る。
【０００３】ユーザが実際に映像情報を利用するため
に、このように大量の映像情報の中から目的の映像に対
して効率的にアクセスを行うには、有効な映像検索技術
が必要となる。そのような映像検索技術として、映像中
のオブジェクトになんらかの情報を付随させ、ユーザの
必要とする情報を満たすオブジェクトを含む映像を検索
してユーザの視聴に供する方法が考えられている。映像
中のオブジェクトに情報を付随させるためには、映像か
らオブジェクトを抽出する処理が必要となる。しかし、
増加する一方の映像情報に対して手作業でオブジェクト
の抽出を行うことは、現実的ではない。
に、このように大量の映像情報の中から目的の映像に対
して効率的にアクセスを行うには、有効な映像検索技術
が必要となる。そのような映像検索技術として、映像中
のオブジェクトになんらかの情報を付随させ、ユーザの
必要とする情報を満たすオブジェクトを含む映像を検索
してユーザの視聴に供する方法が考えられている。映像
中のオブジェクトに情報を付随させるためには、映像か
らオブジェクトを抽出する処理が必要となる。しかし、
増加する一方の映像情報に対して手作業でオブジェクト
の抽出を行うことは、現実的ではない。
【０００４】オブジェクトの自動検出技術に関しては、
例えば文献（米山、中島、柳原、菅野「ＭＰＥＧビデオ
ストリームからの移動物体の検出」信学論Ｖｏｌ．Ｊ８
１−Ｄ−II，Ｎｏ．８，ｐｐ．１７７６−１７８６，１
９９８−０８）に、背景の静止した映像からオブジェク
トを検出する方法が提案されている。しかし、この方法
は背景が静止していることを前提としており、背景が動
く場合にはオブジェクトの検出を行うことは難しい。
例えば文献（米山、中島、柳原、菅野「ＭＰＥＧビデオ
ストリームからの移動物体の検出」信学論Ｖｏｌ．Ｊ８
１−Ｄ−II，Ｎｏ．８，ｐｐ．１７７６−１７８６，１
９９８−０８）に、背景の静止した映像からオブジェク
トを検出する方法が提案されている。しかし、この方法
は背景が静止していることを前提としており、背景が動
く場合にはオブジェクトの検出を行うことは難しい。
【０００５】すなわち、オブジェクトの形状が予め与え
られていたとしても、背景の動きが分からなければ、オ
ブジェクトの動きを用いて検索を行う際に、カメラワー
クの影響を受けることにより正確な動きを用いた検索が
できない。例えば、左に動いているオブジェクトを追跡
するように撮影した場合、オブジェクトは画面内でほぼ
静止し、背景が相対的に右に動く。そのため、画面内で
左に動くオブジェクトを含む映像を検索することはでき
ないことになる。
られていたとしても、背景の動きが分からなければ、オ
ブジェクトの動きを用いて検索を行う際に、カメラワー
クの影響を受けることにより正確な動きを用いた検索が
できない。例えば、左に動いているオブジェクトを追跡
するように撮影した場合、オブジェクトは画面内でほぼ
静止し、背景が相対的に右に動く。そのため、画面内で
左に動くオブジェクトを含む映像を検索することはでき
ないことになる。
【０００６】
【発明が解決しようとする課題】上述したように、従来
の映像検索技術では背景が動いているオブジェクトを検
出することができず、そのようなオブジェクトを含む映
像を検索することができないという問題点があった。
の映像検索技術では背景が動いているオブジェクトを検
出することができず、そのようなオブジェクトを含む映
像を検索することができないという問題点があった。
【０００７】本発明は、背景が動いているオブジェクト
を含む映像についても検索を可能とするための映像情報
記述方法を提供することを目的とする。
を含む映像についても検索を可能とするための映像情報
記述方法を提供することを目的とする。
【０００８】本発明の他の目的は、背景が動いているオ
ブジェクトを検出できるオブジェクト検出方法を提供す
ることにある。
ブジェクトを検出できるオブジェクト検出方法を提供す
ることにある。
【０００９】本発明のもう一つの目的は、背景が動いて
いるオブジェクトを含む映像に対する種々の検索を可能
とした映像検索方法及び映像検索装置を提供することに
ある。
いるオブジェクトを含む映像に対する種々の検索を可能
とした映像検索方法及び映像検索装置を提供することに
ある。
【００１０】
【課題を解決するための手段】上記の課題を解決するた
め、本発明に係る映像情報記述方法は、映像中の特定の
オブジェクトに関する特徴量及び該映像中の背景に関す
る特徴量を映像情報として記述することを基本的な特徴
としている。
め、本発明に係る映像情報記述方法は、映像中の特定の
オブジェクトに関する特徴量及び該映像中の背景に関す
る特徴量を映像情報として記述することを基本的な特徴
としている。
【００１１】また、本発明に係る他の映像情報記述方法
は、映像中の特定のオブジェクトに関する特徴量と該映
像中の背景に関する特徴量に加え、さらに両者の特徴量
の差分を映像情報として記述することを特徴とする。ま
た、映像中の特定のオブジェクトに関する特徴量と該映
像中の背景に関する特徴量との差分及び背景に関する特
徴量を映像情報として記述するようにしてもよい。
は、映像中の特定のオブジェクトに関する特徴量と該映
像中の背景に関する特徴量に加え、さらに両者の特徴量
の差分を映像情報として記述することを特徴とする。ま
た、映像中の特定のオブジェクトに関する特徴量と該映
像中の背景に関する特徴量との差分及び背景に関する特
徴量を映像情報として記述するようにしてもよい。
【００１２】ここで、特定のオブジェクトに関する特徴
量としては少なくとも該オブジェクトの位置、形状及び
動きの情報を記述し、また背景に関する特徴量としては
少なくとも背景の動きの情報を記述することが望まし
い。
量としては少なくとも該オブジェクトの位置、形状及び
動きの情報を記述し、また背景に関する特徴量としては
少なくとも背景の動きの情報を記述することが望まし
い。
【００１３】また、本発明によれば、このようにして記
述されたオブジェクトに関する特徴量及び背景に関する
特徴量、さらには両者の特徴量の差分を映像データと共
に、あるいは映像データとは別に格納した記録媒体が提
供される。
述されたオブジェクトに関する特徴量及び背景に関する
特徴量、さらには両者の特徴量の差分を映像データと共
に、あるいは映像データとは別に格納した記録媒体が提
供される。
【００１４】本発明に係るオブジェクト検出方法は、入
力された映像の動ベクトルを抽出する動きベクトル抽出
ステップと、この抽出した動ベクトルを用いて映像の背
景の動きを推定する推定ステップと、この推定した背景
の動きを除去して映像中の特定のオブジェクトに関する
動ベクトルを抽出し、該オブジェクトの領域を検出する
検出ステップとを有することを特徴とする。
力された映像の動ベクトルを抽出する動きベクトル抽出
ステップと、この抽出した動ベクトルを用いて映像の背
景の動きを推定する推定ステップと、この推定した背景
の動きを除去して映像中の特定のオブジェクトに関する
動ベクトルを抽出し、該オブジェクトの領域を検出する
検出ステップとを有することを特徴とする。
【００１５】ここで、背景の動きを推定する推定ステッ
プは、背景の動きを所定の変換モデル（例えばアフィン
変換や透視変換など）で近似し、その変換モデルの変換
係数を映像の動べクトルから推定することによって背景
の動きを推定することを特徴とする。変換モデルの変換
係数は、例えばロバスト推定法により推定される。
プは、背景の動きを所定の変換モデル（例えばアフィン
変換や透視変換など）で近似し、その変換モデルの変換
係数を映像の動べクトルから推定することによって背景
の動きを推定することを特徴とする。変換モデルの変換
係数は、例えばロバスト推定法により推定される。
【００１６】背景の動きを推定する推定ステップにおい
ては、映像の画面内の動ベクトルを類似度に従って領域
分割し、分割された各領域を該動ベクトルの類似度に基
づいてクラスタリングし、最大のクラスタの領域を背景
の領域と判定する処理を含んでもよい。
ては、映像の画面内の動ベクトルを類似度に従って領域
分割し、分割された各領域を該動ベクトルの類似度に基
づいてクラスタリングし、最大のクラスタの領域を背景
の領域と判定する処理を含んでもよい。
【００１７】また、背景の動きを推定する推定ステップ
においては、映像の複数フレームの動ベクトルを各フレ
ーム内の類似度に従って領域分割し、これらの領域をフ
レーム間で対応付け、対応付けられた各領域が同じクラ
スタに属するように各領域を該動ベクトルに基づいて各
フレーム内でクラスタリングし、最大のクラスタの領域
を背景の領域と判定する処理を含んでもよい。
においては、映像の複数フレームの動ベクトルを各フレ
ーム内の類似度に従って領域分割し、これらの領域をフ
レーム間で対応付け、対応付けられた各領域が同じクラ
スタに属するように各領域を該動ベクトルに基づいて各
フレーム内でクラスタリングし、最大のクラスタの領域
を背景の領域と判定する処理を含んでもよい。
【００１８】本発明によると、映像中のオブジェクトに
関する特徴量及び背景に関する特徴量、さらには両者の
特徴量の差分を記述することにより、背景が動いている
オブジェクトを含む映像に対する種々の検索を行うこと
が可能である。
関する特徴量及び背景に関する特徴量、さらには両者の
特徴量の差分を記述することにより、背景が動いている
オブジェクトを含む映像に対する種々の検索を行うこと
が可能である。
【００１９】第１に、検索対象となる映像中の特定のオ
ブジェクトに関する特徴量及び該映像中の背景に関する
特徴量を記述しておき、検索対象となる映像中のオブジ
ェクトに関する特徴量から背景に関する特徴量を差し引
いた後、外部より入力されたオブジェクトに関する特徴
量と比較することによって、検索対象となる映像から外
部より入力されたオブジェクトと同一のオブジェクトも
しくは外部より入力されたオブジェクトと同一のオブジ
ェクトを含む映像中のフレームの少なくとも一方を検索
することができる。
ブジェクトに関する特徴量及び該映像中の背景に関する
特徴量を記述しておき、検索対象となる映像中のオブジ
ェクトに関する特徴量から背景に関する特徴量を差し引
いた後、外部より入力されたオブジェクトに関する特徴
量と比較することによって、検索対象となる映像から外
部より入力されたオブジェクトと同一のオブジェクトも
しくは外部より入力されたオブジェクトと同一のオブジ
ェクトを含む映像中のフレームの少なくとも一方を検索
することができる。
【００２０】第２に、検索対象となる映像中の特定のオ
ブジェクトに関する特徴量と該映像中の背景に関する特
徴量及びそれぞれの特徴量の差分を記述しておき、この
差分と外部より入力されたオブジェクトに関する特徴量
とを比較することによって、検索対象となる映像から外
部より入力されたオブジェクトと同一のオブジェクトも
しくは外部より入力されたオブジェクトと同一のオブジ
ェクトを含む映像中のフレームの少なくとも一方を検索
することができる。
ブジェクトに関する特徴量と該映像中の背景に関する特
徴量及びそれぞれの特徴量の差分を記述しておき、この
差分と外部より入力されたオブジェクトに関する特徴量
とを比較することによって、検索対象となる映像から外
部より入力されたオブジェクトと同一のオブジェクトも
しくは外部より入力されたオブジェクトと同一のオブジ
ェクトを含む映像中のフレームの少なくとも一方を検索
することができる。
【００２１】第３に、検索対象となる映像中の特定のオ
ブジェクトに関する特徴量及び該映像中の背景に関する
特徴量を記述しておき、背景に関する特徴量と外部より
入力された映像中の背景に関する特徴量とを比較するこ
とによって、検索対象となる映像から外部より入力され
た映像を得たときのカメラワークとほぼ同一のカメラワ
ークが用いられているフレームを検索することができ
る。第４に、検索対象となる映像中の特定のオブジェク
トに関する少なくとも動きの情報を含む特徴量及び該映
像中の背景に関する特徴量を記述しておき、映像中の連
続する複数フレームにおけるオブジェクトの動き情報と
外部より入力されたオブジェクトの一連の動きの情報と
を比較することにより、検索対象となる映像から外部よ
り入力されたオブジェクトと同一のオブジェクトもしく
は外部より入力されたオブジェクトと同一のオブジェク
トを含むフレームの少なくとも一方を検索することがで
きる。
ブジェクトに関する特徴量及び該映像中の背景に関する
特徴量を記述しておき、背景に関する特徴量と外部より
入力された映像中の背景に関する特徴量とを比較するこ
とによって、検索対象となる映像から外部より入力され
た映像を得たときのカメラワークとほぼ同一のカメラワ
ークが用いられているフレームを検索することができ
る。第４に、検索対象となる映像中の特定のオブジェク
トに関する少なくとも動きの情報を含む特徴量及び該映
像中の背景に関する特徴量を記述しておき、映像中の連
続する複数フレームにおけるオブジェクトの動き情報と
外部より入力されたオブジェクトの一連の動きの情報と
を比較することにより、検索対象となる映像から外部よ
り入力されたオブジェクトと同一のオブジェクトもしく
は外部より入力されたオブジェクトと同一のオブジェク
トを含むフレームの少なくとも一方を検索することがで
きる。
【００２２】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 ［第１の実施形態］本実施形態では、大別して３つの機
能を提供している。第１に、映像データを再生する機能
の他に、映像中で動きを伴うオブジェクトを自動的に検
出し、楕円や矩形などの図形を重ねて合成表示すること
によって、ユーザにその存在を知らせる機能を提供す
る。
施の形態を説明する。 ［第１の実施形態］本実施形態では、大別して３つの機
能を提供している。第１に、映像データを再生する機能
の他に、映像中で動きを伴うオブジェクトを自動的に検
出し、楕円や矩形などの図形を重ねて合成表示すること
によって、ユーザにその存在を知らせる機能を提供す
る。
【００２３】第２に、検出されたオブジェクトの位置、
大きさ、動きなどの特徴量と背景に関する特徴量を分離
して外部ファイルなどに表記データとして記述する機能
を提供する。
大きさ、動きなどの特徴量と背景に関する特徴量を分離
して外部ファイルなどに表記データとして記述する機能
を提供する。
【００２４】第３に、検出されたオブジェクトに関する
特徴量のデータあるいは予め外部ファイルなどに記述さ
れた特徴量の表記データと、検索対象として外部から与
えられた検索対象オブジェクトの特徴量のデータを比較
し、該当するオブジェクトをユーザに提示することによ
って、映像中のオブジェクトを検索する機能を提供す
る。
特徴量のデータあるいは予め外部ファイルなどに記述さ
れた特徴量の表記データと、検索対象として外部から与
えられた検索対象オブジェクトの特徴量のデータを比較
し、該当するオブジェクトをユーザに提示することによ
って、映像中のオブジェクトを検索する機能を提供す
る。
【００２５】図１に、本実施形態に係る映像検索システ
ムの構成及び処理の手順をフローチャートとして示す。
ムの構成及び処理の手順をフローチャートとして示す。
【００２６】まず、ＤＶＤなどの媒体から再生された元
映像データ１００を入力し（ステップ１０１）、この元
映像データ１０１から後に詳しく説明する方法によって
映像中の特定のオブジェクトを検出する（ステップ１０
２）。この際、後述するように映像中の背景に関する情
報も併せて検出する。検出されたオブジェクトをこれを
囲むように生成された楕円や矩形などの図形と合成し、
オブジェクト検出結果表示データ１０４として出力する
（ステップ１０３）。
映像データ１００を入力し（ステップ１０１）、この元
映像データ１０１から後に詳しく説明する方法によって
映像中の特定のオブジェクトを検出する（ステップ１０
２）。この際、後述するように映像中の背景に関する情
報も併せて検出する。検出されたオブジェクトをこれを
囲むように生成された楕円や矩形などの図形と合成し、
オブジェクト検出結果表示データ１０４として出力する
（ステップ１０３）。
【００２７】一方、ステップ１０２で検出されたオブジ
ェクトの位置、形状（大きさを含む）及び動きなどのオ
ブジェクトに関する特徴量を示す特徴量データと、背景
の動きなどの背景に関する特徴量を示す特徴量データを
記述するための特徴量データ生成処理を行い（ステップ
１０５）、さらに生成されたオブジェクト及び背景に関
する特徴量データ１０７を外部に出力して表記データと
して記述する処理を行う（ステップ１０６）。
ェクトの位置、形状（大きさを含む）及び動きなどのオ
ブジェクトに関する特徴量を示す特徴量データと、背景
の動きなどの背景に関する特徴量を示す特徴量データを
記述するための特徴量データ生成処理を行い（ステップ
１０５）、さらに生成されたオブジェクト及び背景に関
する特徴量データ１０７を外部に出力して表記データと
して記述する処理を行う（ステップ１０６）。
【００２８】なお、ステップ１０５，１０６においては
オブジェクトに関する特徴量データと背景に関する特徴
量データを記述してもよいが、さらに両者の特徴の差分
のデータを生成して記述してもよく、また場合によって
はこの差分のデータと背景に関する特徴量のデータ、あ
るいは差分のデータとオブジェクトに関する特徴量デー
タを生成して記述してもよい。
オブジェクトに関する特徴量データと背景に関する特徴
量データを記述してもよいが、さらに両者の特徴の差分
のデータを生成して記述してもよく、また場合によって
はこの差分のデータと背景に関する特徴量のデータ、あ
るいは差分のデータとオブジェクトに関する特徴量デー
タを生成して記述してもよい。
【００２９】ステップ１０６の記述処理とは、具体的に
は特徴量データ１０７を各種記録媒体やメモリに格納
（記録）したり、表示したりすることをいう。特徴量デ
ータ１０７を格納する記録媒体は、元映像データ１００
を格納したＤＶＤなどの媒体であってもよく、これとは
別の記録媒体でも構わない。
は特徴量データ１０７を各種記録媒体やメモリに格納
（記録）したり、表示したりすることをいう。特徴量デ
ータ１０７を格納する記録媒体は、元映像データ１００
を格納したＤＶＤなどの媒体であってもよく、これとは
別の記録媒体でも構わない。
【００３０】次に、オブジェクトの検索を行うために、
ステップ１０５で生成されたオブジェクトに関する特徴
量データと、ステップ１０９により入力された検索対象
特徴量データ１１０との類似度判定を行い（ステップ１
０８）、さらに類似度判定結果をオブジェクト検索結果
表示データ１１２として合成表示するための合成表示処
理を行う（ステップ１１１）。検索対象特徴量データ１
１０は、検索しようとするオブジェクトの位置、形状
（大きさを含む）及び動きなどの特徴量を表すデータで
ある。
ステップ１０５で生成されたオブジェクトに関する特徴
量データと、ステップ１０９により入力された検索対象
特徴量データ１１０との類似度判定を行い（ステップ１
０８）、さらに類似度判定結果をオブジェクト検索結果
表示データ１１２として合成表示するための合成表示処
理を行う（ステップ１１１）。検索対象特徴量データ１
１０は、検索しようとするオブジェクトの位置、形状
（大きさを含む）及び動きなどの特徴量を表すデータで
ある。
【００３１】なお、これら一連の処理は、ソフトウェア
またはハードウェアのいずれでも実現が可能である。
またはハードウェアのいずれでも実現が可能である。
【００３２】次に、図２を用いて図１のステップ１０２
のオブジェクト検出処理について詳細に説明する。ま
ず、入力された元映像データ１００より動ベクトルの抽
出を行う（ステップ２０１）。元映像データ１００がＭ
ＰＥＧ圧縮データの場合は、Ｐビクチャより得られる動
ベクトルを用いる。この場合、動ベクトルはマクロブロ
ック毎に与えられる。元映像データ１００がアナログデ
ータや動ベクトルを持たないディジタルデータの場合
は、必要に応じてディジタル化し、オプティカルフロー
を用いて動ベクトルを抽出したり、ＭＰＥＧ圧縮データ
に変換してから動ベクトルを抽出する。
のオブジェクト検出処理について詳細に説明する。ま
ず、入力された元映像データ１００より動ベクトルの抽
出を行う（ステップ２０１）。元映像データ１００がＭ
ＰＥＧ圧縮データの場合は、Ｐビクチャより得られる動
ベクトルを用いる。この場合、動ベクトルはマクロブロ
ック毎に与えられる。元映像データ１００がアナログデ
ータや動ベクトルを持たないディジタルデータの場合
は、必要に応じてディジタル化し、オプティカルフロー
を用いて動ベクトルを抽出したり、ＭＰＥＧ圧縮データ
に変換してから動ベクトルを抽出する。
【００３３】こうして抽出された動ベクトルは、必ずし
も実際のオブジェクトの動きを反映したものとはなって
いない場合があり、画面の周辺部やテクスチャが平坦な
部分でそれが顕著である。そこで、信頼性の低い動ベク
トルを除去する処理を行う（ステップ２０２）。この処
理は、以下のようにして行われる。
も実際のオブジェクトの動きを反映したものとはなって
いない場合があり、画面の周辺部やテクスチャが平坦な
部分でそれが顕著である。そこで、信頼性の低い動ベク
トルを除去する処理を行う（ステップ２０２）。この処
理は、以下のようにして行われる。
【００３４】まず、画面の周辺部に関しては、予め領域
を定めておき、その領域に含まれる動ベクトルを除去す
る。一方、平坦なテクスチャを持つ部分に関しては、元
映像データ１００がＭＰＥＧ圧縮データの場合は図３に
示すようにＩピクチャのＤＣＴ（離散コサイン変換）係
数のＤＣ成分を用い、図４に示すように１つのマクロブ
ロックに含まれる４つのＤＣ成分の分散が閾値以下のマ
クロブロックの集まりを低信頼性領域として、始点がそ
の領域のマクロブロックに含まれる動ベクトルを信頼性
の低い動ベクトルとして除去する。
を定めておき、その領域に含まれる動ベクトルを除去す
る。一方、平坦なテクスチャを持つ部分に関しては、元
映像データ１００がＭＰＥＧ圧縮データの場合は図３に
示すようにＩピクチャのＤＣＴ（離散コサイン変換）係
数のＤＣ成分を用い、図４に示すように１つのマクロブ
ロックに含まれる４つのＤＣ成分の分散が閾値以下のマ
クロブロックの集まりを低信頼性領域として、始点がそ
の領域のマクロブロックに含まれる動ベクトルを信頼性
の低い動ベクトルとして除去する。
【００３５】このようにして得られた動ベクトルのデー
タは、オブジェクトの動きにカメラワークなどによる背
景の動きが含まれているので、正確なオブジェクトの動
きを得るためには、背景の動きを除去する必要がある。
そこで、本実施形態ではカメラワークなどによる背景の
動きを近似する変換モデルとしてアフィン変換モデルを
用い、動ベクトルを用いてその変換係数を推定すること
によって、背景の動きを推定する処理を行う（ステップ
２０３）。背景の動きのアフィン変換係数を推定する処
理については、数種類の手法が存在するが、それらにつ
いては後述する。
タは、オブジェクトの動きにカメラワークなどによる背
景の動きが含まれているので、正確なオブジェクトの動
きを得るためには、背景の動きを除去する必要がある。
そこで、本実施形態ではカメラワークなどによる背景の
動きを近似する変換モデルとしてアフィン変換モデルを
用い、動ベクトルを用いてその変換係数を推定すること
によって、背景の動きを推定する処理を行う（ステップ
２０３）。背景の動きのアフィン変換係数を推定する処
理については、数種類の手法が存在するが、それらにつ
いては後述する。
【００３６】次に、推定されたアフィン変換係数を用い
て各動ベクトルの始点を変換し、その移動分を元の動ベ
クトルより差し引くことによって、背景の動きを除去す
る処理を行う（ステップ２０４）。
て各動ベクトルの始点を変換し、その移動分を元の動ベ
クトルより差し引くことによって、背景の動きを除去す
る処理を行う（ステップ２０４）。
【００３７】このようにして得られた、背景の動きを含
まない動ベクトルデータを類似した動べクトルより構成
される領域に分割する処理を行う（ステップ２０５）。
具体的には、隣接する２つの動べクトルの余弦（方向）
と大きさを比較し、その差が予め定めた閾値以下であれ
ば、同じ領域に分割する処理を全ての隣接する動ベクト
ルの組み合わせについて行う。
まない動ベクトルデータを類似した動べクトルより構成
される領域に分割する処理を行う（ステップ２０５）。
具体的には、隣接する２つの動べクトルの余弦（方向）
と大きさを比較し、その差が予め定めた閾値以下であれ
ば、同じ領域に分割する処理を全ての隣接する動ベクト
ルの組み合わせについて行う。
【００３８】このようにして得られた領域には、オブジ
ェクトとして扱うには相応しくない小領域が含まれるの
で、閾値処理によりこれらを取り除く判定処理３０６を
行い、最終的なオブジェクトデータ３０７を出力する。
ェクトとして扱うには相応しくない小領域が含まれるの
で、閾値処理によりこれらを取り除く判定処理３０６を
行い、最終的なオブジェクトデータ３０７を出力する。
【００３９】以下、動ベクトルから背景の動きを近似す
るステップ２０３のアフィン変換係数推定処理の３つの
手法について説明する。
るステップ２０３のアフィン変換係数推定処理の３つの
手法について説明する。
【００４０】＜手法１＞手法１では、信頼性の低い動ベ
クトルを除いた画面内の全ての動ベクトルを用いてアフ
ィン変換係数を推定する。ｉ番目のマクロブロックの中
心をｙｉとし、そのマクロブロックに対応する動ベクト
ルをｖｉとする。このとき、ベクトルの始点ｘｉ＝ｙｉ
−ｖｉのアフィン変換変形モデルによる移動先は、アフ
ィン変換係数をαとするとｒｉ＝ｘｉαとなり、実際の
移動先であるｙｉとの誤差はｅｉ＝ｒｉ−ｙｉとなる。
推定残差の総和は次式のようになり、これを最小とする
αを求めればよい。
クトルを除いた画面内の全ての動ベクトルを用いてアフ
ィン変換係数を推定する。ｉ番目のマクロブロックの中
心をｙｉとし、そのマクロブロックに対応する動ベクト
ルをｖｉとする。このとき、ベクトルの始点ｘｉ＝ｙｉ
−ｖｉのアフィン変換変形モデルによる移動先は、アフ
ィン変換係数をαとするとｒｉ＝ｘｉαとなり、実際の
移動先であるｙｉとの誤差はｅｉ＝ｒｉ−ｙｉとなる。
推定残差の総和は次式のようになり、これを最小とする
αを求めればよい。
【００４１】
【数１】
【００４２】このような問題を解くための手法として最
小二乗法があり、その場合には式（１）でΨ（ｚ）＝ｚ
2を用いればよい。しかし、最小二乗法を用いた場合、
背景の動ベクトルとオブジェクトの動ベクトルを同列に
扱うため、背景の動ベクトルのみからアフィン変換係数
を推定することができず、オブジェクトの動きを含んだ
アフィン変換係数となってしまう。
小二乗法があり、その場合には式（１）でΨ（ｚ）＝ｚ
2を用いればよい。しかし、最小二乗法を用いた場合、
背景の動ベクトルとオブジェクトの動ベクトルを同列に
扱うため、背景の動ベクトルのみからアフィン変換係数
を推定することができず、オブジェクトの動きを含んだ
アフィン変換係数となってしまう。
【００４３】そこで、画面内における背景領域の占める
面積が５０％以上あると仮定し、オブジェクトの動べク
トルを外乱とみなして、背景部分の動ベクトルからのみ
アフィン変換係数を推定する。外乱に強い手法として、
文献：中川徹・小柳義夫著「最小二乗法による実験デー
タ解析」束京大学出版会、に開示されているようなロバ
スト推定法を用いる。ここでは特に、ロバスト推定法の
一つであるＢｉｗｅｉｇｈｔ法によるＭ推定を用いる。
Ｂｉｗｅｉｇｈｔ法では、誤差の大きい要素の重みを下
げることによって、外乱の影響を受け難くしている。具
体的には、先の式（１）のΨ（ｚ）において、重みｗを
用いた次式（２）を使用する。定数ｃは５〜９に選ぶの
がよいとされている。
面積が５０％以上あると仮定し、オブジェクトの動べク
トルを外乱とみなして、背景部分の動ベクトルからのみ
アフィン変換係数を推定する。外乱に強い手法として、
文献：中川徹・小柳義夫著「最小二乗法による実験デー
タ解析」束京大学出版会、に開示されているようなロバ
スト推定法を用いる。ここでは特に、ロバスト推定法の
一つであるＢｉｗｅｉｇｈｔ法によるＭ推定を用いる。
Ｂｉｗｅｉｇｈｔ法では、誤差の大きい要素の重みを下
げることによって、外乱の影響を受け難くしている。具
体的には、先の式（１）のΨ（ｚ）において、重みｗを
用いた次式（２）を使用する。定数ｃは５〜９に選ぶの
がよいとされている。
【００４４】
【数２】
【００４５】＜手法２＞背景の動きを近似するアフィン
変換係数推定処理において、手法２を用いた場合の処理
手順を図５に示すフローチャートを用いて説明する。
変換係数推定処理において、手法２を用いた場合の処理
手順を図５に示すフローチャートを用いて説明する。
【００４６】まず、信頼性の低いベクトルを除去する処
理を行った後の動ベクトルデータ５００に対して、先の
手法１と同様な処理を用いて、隣接する動べクトルが類
似した領域に分割する処理を行う（ステップ５０１）。
ただし、手法１と異なり、この時点で背景の動きを除去
する処理は行われていない。
理を行った後の動ベクトルデータ５００に対して、先の
手法１と同様な処理を用いて、隣接する動べクトルが類
似した領域に分割する処理を行う（ステップ５０１）。
ただし、手法１と異なり、この時点で背景の動きを除去
する処理は行われていない。
【００４７】次に、分割された各領域に含まれる動ベク
トルより、領域の動きをアフィン変換モデルで近似した
ときのアフィン変換係数の推定処理を行う（ステップ５
０２）。このときの推定処理には、手法１と同様なロバ
スト推定法を用いる。
トルより、領域の動きをアフィン変換モデルで近似した
ときのアフィン変換係数の推定処理を行う（ステップ５
０２）。このときの推定処理には、手法１と同様なロバ
スト推定法を用いる。
【００４８】次に、分割された各領域のクラスタリング
処理を行う（ステップ５０３）。これには全ての領域の
組み合わせよりなるテーブルを用意して、各領域間の距
離をアフィン変換係数より求める。ここでは、アフィン
変換モデルの６係数のユークリッド距離を用いるが、他
の距離を用いてもよい。次に、この距離が最も小さい２
つの領域を統合し、統合された領域に対して新たなアフ
ィン変換係数を求め、テーブルから統合された２領域を
削除し、統合された領域を追加して、テーブルを更新す
る。この処理を領域間の距離が予め定めた閾値より大き
くなるか、領域が１つになるまで繰り返し行う。
処理を行う（ステップ５０３）。これには全ての領域の
組み合わせよりなるテーブルを用意して、各領域間の距
離をアフィン変換係数より求める。ここでは、アフィン
変換モデルの６係数のユークリッド距離を用いるが、他
の距離を用いてもよい。次に、この距離が最も小さい２
つの領域を統合し、統合された領域に対して新たなアフ
ィン変換係数を求め、テーブルから統合された２領域を
削除し、統合された領域を追加して、テーブルを更新す
る。この処理を領域間の距離が予め定めた閾値より大き
くなるか、領域が１つになるまで繰り返し行う。
【００４９】このようにしてクラスタリングされた領域
のうち、クラスタが最大の領域を背景の領域と判定する
処理を行い（ステップ５０４）、その領域のアフィン変
換係数を背景の動きのアフィン変換係数５０５として出
力する。
のうち、クラスタが最大の領域を背景の領域と判定する
処理を行い（ステップ５０４）、その領域のアフィン変
換係数を背景の動きのアフィン変換係数５０５として出
力する。
【００５０】＜手法３＞背景の動きを近似するアフィン
変換係数推定処理において、手法３を用いた場合の処理
手順を図６に示すフローチャートを用いて説明する。
変換係数推定処理において、手法３を用いた場合の処理
手順を図６に示すフローチャートを用いて説明する。
【００５１】まず、複数のフレームを一度に読み込み、
各フレームに対して手法２と同様な処理を用いて隣接す
る動ベクトルが類似するような領域に分割する処理を行
う（ステップ６０１）。
各フレームに対して手法２と同様な処理を用いて隣接す
る動ベクトルが類似するような領域に分割する処理を行
う（ステップ６０１）。
【００５２】次に、各領域の動きをアフィン変換モデル
で近似したときの変換係数の推定処理を行い（ステップ
６０２）、さらに領域の位置や動ベクトルデータ及び変
換係数に基づいて、フレーム間で対応する領域を求める
処理を行った後（ステップ６０３）、手法２と同様なク
ラスタリング処理により各フレーム内の領域をクラスタ
リングする（ステップ６０４）。
で近似したときの変換係数の推定処理を行い（ステップ
６０２）、さらに領域の位置や動ベクトルデータ及び変
換係数に基づいて、フレーム間で対応する領域を求める
処理を行った後（ステップ６０３）、手法２と同様なク
ラスタリング処理により各フレーム内の領域をクラスタ
リングする（ステップ６０４）。
【００５３】フレーム間対応付け処理で対応付けられた
領域が別のクラスタにクラスタリングされた場合は、最
も多くのクラスタにクラスタリングされた結果を正解と
し、他のクラスタにクラスタリングされた領域を移動す
る補正処理を行う（ステップ６０５）。
領域が別のクラスタにクラスタリングされた場合は、最
も多くのクラスタにクラスタリングされた結果を正解と
し、他のクラスタにクラスタリングされた領域を移動す
る補正処理を行う（ステップ６０５）。
【００５４】最後に、複数フレーム間で最も面積が大き
かった領域を背景とする判定処理を行い（ステップ６０
６）、各フレームにおける背景領域の変換係数５０７を
求める。この手法３は、背景領域が特定のフレームで一
時的に他の領域より小さくなった場合でも正しく推定が
できるという利点がある。
かった領域を背景とする判定処理を行い（ステップ６０
６）、各フレームにおける背景領域の変換係数５０７を
求める。この手法３は、背景領域が特定のフレームで一
時的に他の領域より小さくなった場合でも正しく推定が
できるという利点がある。
【００５５】上述の例では、背景の動きを推定する処理
に用いる変換モデルにアフィン変換を用いたが、透視変
換など、他の変換モデルを使用してもよい。
に用いる変換モデルにアフィン変換を用いたが、透視変
換など、他の変換モデルを使用してもよい。
【００５６】次に、図７を用いて図１のステップ１０６
におけるオブジェクト及び背景に関する特徴量データの
記述処理で用いられるデータ表現について説明する。こ
こでは、図７（ａ）に示されるように例として第１００
０番目のフレーム内の映像７０５に含まれる３つのオブ
ジェクトの表記データ７００を表している。この表記デ
ータ７００は、元映像データの映像ストリーム７０６内
の対応するフレームを示すフレーム情報７０１とオブジ
ェクトに関する特徴量７０３及び背景に関する特徴量７
０４の各データより構成され、次表記データへのポイン
タ７０２を用いたリスト構造により管理されている。
におけるオブジェクト及び背景に関する特徴量データの
記述処理で用いられるデータ表現について説明する。こ
こでは、図７（ａ）に示されるように例として第１００
０番目のフレーム内の映像７０５に含まれる３つのオブ
ジェクトの表記データ７００を表している。この表記デ
ータ７００は、元映像データの映像ストリーム７０６内
の対応するフレームを示すフレーム情報７０１とオブジ
ェクトに関する特徴量７０３及び背景に関する特徴量７
０４の各データより構成され、次表記データへのポイン
タ７０２を用いたリスト構造により管理されている。
【００５７】オブジェクトに関する特徴量７０３は、少
なくともオブジェクトの位置、形状（大きさを含む）及
び動きの情報を含んでおり、具体的には例えば図７
（ｂ）に例示されるような様々な特徴量より構成され
る。この例では、オブジェクトに関する特徴量７０３は
「位置」、形状である「概形」、動きの情報である「ア
フィン変換係数」及び「動ベクトルの平均、方向」、さ
らに「色ヒストグラム」などから構成される。
なくともオブジェクトの位置、形状（大きさを含む）及
び動きの情報を含んでおり、具体的には例えば図７
（ｂ）に例示されるような様々な特徴量より構成され
る。この例では、オブジェクトに関する特徴量７０３は
「位置」、形状である「概形」、動きの情報である「ア
フィン変換係数」及び「動ベクトルの平均、方向」、さ
らに「色ヒストグラム」などから構成される。
【００５８】ここで、オブジェクトの概形は、楕円や矩
形などの簡易な図形により近似してもよい。アフィン変
換係数は、前述したようにオブジェクトの動きをアフィ
ン変換モデルで近似したときに推定される係数である。
動ベクトルの平均は、オブジェクト中の動ベクトルの大
きさの平均値である。また、オブジェクトの色情報が取
得可能である場合には、オブジェクトの領域の色ヒスト
グラムが特徴量として用いることができる。オブジェク
トの動きに関しては、背景の動きを除去したもの、除去
しないもののいずれを記録してもよい。
形などの簡易な図形により近似してもよい。アフィン変
換係数は、前述したようにオブジェクトの動きをアフィ
ン変換モデルで近似したときに推定される係数である。
動ベクトルの平均は、オブジェクト中の動ベクトルの大
きさの平均値である。また、オブジェクトの色情報が取
得可能である場合には、オブジェクトの領域の色ヒスト
グラムが特徴量として用いることができる。オブジェク
トの動きに関しては、背景の動きを除去したもの、除去
しないもののいずれを記録してもよい。
【００５９】この例のようにオブジェクトが複数存在す
る場合は、各オブジェクト特徴量７０３に個別のＩＤ番
号を付け、拡張容易な例えば図７（ａ）に示されるよう
なリスト構造により管理することが望ましい。このよう
なリスト構造を用いると、オブジェクト特徴量の追加や
削除が容易である。
る場合は、各オブジェクト特徴量７０３に個別のＩＤ番
号を付け、拡張容易な例えば図７（ａ）に示されるよう
なリスト構造により管理することが望ましい。このよう
なリスト構造を用いると、オブジェクト特徴量の追加や
削除が容易である。
【００６０】背景に関する特徴量７０４に関してもオブ
ジェクトに関する特徴量７０３と同様に図７（ｃ）に例
示されるような様々な特徴量、例えば「アフィン変換係
数」、「動ベクトルの平均、方向」、「カメラワーク
種」、「色ヒストグラム」などにより構成される。カメ
ラワーク種とは、バンやズームなどの撮影に用いられる
典型的なカメラワークの種類をいう。
ジェクトに関する特徴量７０３と同様に図７（ｃ）に例
示されるような様々な特徴量、例えば「アフィン変換係
数」、「動ベクトルの平均、方向」、「カメラワーク
種」、「色ヒストグラム」などにより構成される。カメ
ラワーク種とは、バンやズームなどの撮影に用いられる
典型的なカメラワークの種類をいう。
【００６１】次に、図８に示すフローチャートを用いて
図１のステップ１０８における類似度判定処理について
説明する。この類似度判定処理は、元映像データに含ま
れる各オブジェクトに関する特徴量データ８００に対し
て、順次、外部より入力された特徴量データ８０４と比
較することにより行う。外部より入力する特徴量データ
８０４は、数値などで直接データとして与えてもよい
し、映像から特徴量を抽出して特徴量データとして与え
てもよい。
図１のステップ１０８における類似度判定処理について
説明する。この類似度判定処理は、元映像データに含ま
れる各オブジェクトに関する特徴量データ８００に対し
て、順次、外部より入力された特徴量データ８０４と比
較することにより行う。外部より入力する特徴量データ
８０４は、数値などで直接データとして与えてもよい
し、映像から特徴量を抽出して特徴量データとして与え
てもよい。
【００６２】オブジェクトが複数の種類の特徴量を持つ
場合は、各特徴量について順次、類似度判定処理により
類似度を求める（ステップ８０３）。
場合は、各特徴量について順次、類似度判定処理により
類似度を求める（ステップ８０３）。
【００６３】元映像データ８００に含まれる特徴量デー
タ８００と外部より入力される特徴量データ８０４の比
較は、特徴量の種類に基づいて適当な手法を用いる。例
えば、特徴量が色のヒストグラムであれば、ヒストグラ
ムの各要素の差を用いることなどが考えられる。比較す
るオブジェクトが異なる種類の特徴量を持つ場合は、一
致する特徴量のみについて比較すればよい。
タ８００と外部より入力される特徴量データ８０４の比
較は、特徴量の種類に基づいて適当な手法を用いる。例
えば、特徴量が色のヒストグラムであれば、ヒストグラ
ムの各要素の差を用いることなどが考えられる。比較す
るオブジェクトが異なる種類の特徴量を持つ場合は、一
致する特徴量のみについて比較すればよい。
【００６４】ステップ８０１，８０２で全てのオブジェ
クトについて全ての特徴量データについて検索が終わっ
たと判定されると、該当オブジェクトの情報について検
索結果表示処理を行い（ステップ８０５）、処理は終了
する。
クトについて全ての特徴量データについて検索が終わっ
たと判定されると、該当オブジェクトの情報について検
索結果表示処理を行い（ステップ８０５）、処理は終了
する。
【００６５】オブジェクトの動きを比較するときには、
背景に関する特徴量データを用いて、背景の動きを除去
して比較することも可能である。図９を用いて、背景の
動きを分離した検索の効果について説明する。
背景に関する特徴量データを用いて、背景の動きを除去
して比較することも可能である。図９を用いて、背景の
動きを分離した検索の効果について説明する。
【００６６】図９に示すように、元映像データ９０１は
左に移動するオブジェクトを追跡するようにカメラを移
動しながら撮影したものであるが、映像中では見かけ上
オブジェクトが静止し、背景が右に移動しているように
見える。左に移動するオブジェクトを検索するために、
外部よりオブジェクト９０５のデータが入力された場
合、映像データ９０１のオブジェクトは静止しているた
めに特徴量が一致せず、検索することができない。
左に移動するオブジェクトを追跡するようにカメラを移
動しながら撮影したものであるが、映像中では見かけ上
オブジェクトが静止し、背景が右に移動しているように
見える。左に移動するオブジェクトを検索するために、
外部よりオブジェクト９０５のデータが入力された場
合、映像データ９０１のオブジェクトは静止しているた
めに特徴量が一致せず、検索することができない。
【００６７】しかし、本発明に従いオブジェクトに関す
る特徴量と背景に関する特徴量を記述すると、背景の動
きを利用して、カメラワークにより動く背景９０４を分
離する処理９０２により、オブジェクト本来の左方向へ
の動きを伴うオブジェクト９０３を検出することができ
る。すなわち、処理９０２においてはオブジェクトに関
する特徴量と背景に関する特徴量との差分を求めること
により、オブジェクト９０３のみを検出する。
る特徴量と背景に関する特徴量を記述すると、背景の動
きを利用して、カメラワークにより動く背景９０４を分
離する処理９０２により、オブジェクト本来の左方向へ
の動きを伴うオブジェクト９０３を検出することができ
る。すなわち、処理９０２においてはオブジェクトに関
する特徴量と背景に関する特徴量との差分を求めること
により、オブジェクト９０３のみを検出する。
【００６８】従って、この検出したオブジェクト９０２
と外部より入力されたオブジェクト９０５を比較するこ
とによって、外部より入力されたオブジェクト９０５と
同一のオブジェクトを入力映像データ９０１から検索し
たり、外部より入力されたオブジェクト９０５と同一の
オブジェクトを含む映像フレームを元映像データ９０１
から検索したりすることが可能となる。この場合、前述
のように差分のデータとを記述しておけば、処理９０２
は不要となる。
と外部より入力されたオブジェクト９０５を比較するこ
とによって、外部より入力されたオブジェクト９０５と
同一のオブジェクトを入力映像データ９０１から検索し
たり、外部より入力されたオブジェクト９０５と同一の
オブジェクトを含む映像フレームを元映像データ９０１
から検索したりすることが可能となる。この場合、前述
のように差分のデータとを記述しておけば、処理９０２
は不要となる。
【００６９】また、本発明に従いオブジェクトに関する
特徴量と背景に関する特徴量を記述すると、図１０に示
すように外部より入力されるカメラワークに一致したカ
メラワークの映像を検索することができる。すなわち、
図１０に示すように元映像データ１００１からオブジェ
クト１００３を分離する処理１００２により、カメラワ
ークにより動く背景１００４のみを検出する。そして、
この検出した背景１００４と外部より入力されるカメラ
ワークにより動く背景１００５と比較することによっ
て、外部より入力されるカメラワークと同一のカメラワ
ークが用いられている映像フレームを元映像データ１０
０１から検索する。
特徴量と背景に関する特徴量を記述すると、図１０に示
すように外部より入力されるカメラワークに一致したカ
メラワークの映像を検索することができる。すなわち、
図１０に示すように元映像データ１００１からオブジェ
クト１００３を分離する処理１００２により、カメラワ
ークにより動く背景１００４のみを検出する。そして、
この検出した背景１００４と外部より入力されるカメラ
ワークにより動く背景１００５と比較することによっ
て、外部より入力されるカメラワークと同一のカメラワ
ークが用いられている映像フレームを元映像データ１０
０１から検索する。
【００７０】この場合も、前述のように差分のデータと
を記述しておけば、処理１００２は不要となる。
を記述しておけば、処理１００２は不要となる。
【００７１】［第２の実施形態］次に、図１１に示すフ
ローチャートを参照して本発明の第２の実施形態につい
て説明する。本実施形態では、先の第１の実施形態にお
けるオブジェクトの検出及び記述に代えて、予め解析さ
れた特徴量データが付加された元映像データ１１００を
入力し（ステップ１１０１）、この元映像データ１１０
０からオブジェクトに関する特徴量データを分離して抽
出する（ステップ１１０２）。
ローチャートを参照して本発明の第２の実施形態につい
て説明する。本実施形態では、先の第１の実施形態にお
けるオブジェクトの検出及び記述に代えて、予め解析さ
れた特徴量データが付加された元映像データ１１００を
入力し（ステップ１１０１）、この元映像データ１１０
０からオブジェクトに関する特徴量データを分離して抽
出する（ステップ１１０２）。
【００７２】以下、第１の実施形態と同様に、ステップ
１１０２で抽出された元映像データ１１００に関する特
徴量データと、ステップ１１０９により入力された検索
対象特徴量データ１１１０との類似度判定処理を行い
（ステップ１１０８）、その結果をオブジェクト検索結
果表示データ１１１２として合成表示するための合成表
示処理を行う（ステップ１１１１）。
１１０２で抽出された元映像データ１１００に関する特
徴量データと、ステップ１１０９により入力された検索
対象特徴量データ１１１０との類似度判定処理を行い
（ステップ１１０８）、その結果をオブジェクト検索結
果表示データ１１１２として合成表示するための合成表
示処理を行う（ステップ１１１１）。
【００７３】なお、これら一連の処理は、ソフトウェア
またはハードウェアのいずれでも実現が可能である。
またはハードウェアのいずれでも実現が可能である。
【００７４】［第３の実施形態］次に、図１２に示すフ
ローチャートを用いて本発明の第３の実施形態について
説明する。本実施形態では、外部より入力された一連の
動きと複数フレームに渡る表記データを比較し、時系列
的な動きによるオブジェクトの検索を可能にするため
に、複数の連続する表記データ１２０１に含まれるオブ
ジェクトのうち、同一のオブジェクトを対応付ける処理
を行う（ステップ１２０２）。一方、外部より入力され
た動きデータ１２０３から、表記データ１２０１と同一
の間隔で動きデータを抽出するサンプリング処理を行う
（ステップ１２０４）。
ローチャートを用いて本発明の第３の実施形態について
説明する。本実施形態では、外部より入力された一連の
動きと複数フレームに渡る表記データを比較し、時系列
的な動きによるオブジェクトの検索を可能にするため
に、複数の連続する表記データ１２０１に含まれるオブ
ジェクトのうち、同一のオブジェクトを対応付ける処理
を行う（ステップ１２０２）。一方、外部より入力され
た動きデータ１２０３から、表記データ１２０１と同一
の間隔で動きデータを抽出するサンプリング処理を行う
（ステップ１２０４）。
【００７５】そして、互いに対応する表記データとサン
プリングされた外部入カの動きデータを比較し（ステッ
プ１１０５）、合致するオブジェクトを含む映像を検索
結果として表示する（ステップ１１０６）。
プリングされた外部入カの動きデータを比較し（ステッ
プ１１０５）、合致するオブジェクトを含む映像を検索
結果として表示する（ステップ１１０６）。
【００７６】図１３を用いて、図１２のステップ１２０
２の連続する表記データ１２０１に含まれるオブジェク
トの対応付け処理について説明する。第Ｎ番目の表記デ
ータに含まれるオブジェクト１３０１に関する特徴量
（位置及び動き）を用いて、第Ｎ＋１番目の表記データ
におけるオブジェクトの予測される位置１３０２を求め
る。そして、この予測される位置１３０２に最も近い位
置に存在する第Ｎ＋１番目の表記データに含まれるオブ
ジェクト１３０３をオブジェクト１３０１に対応するオ
ブジェクトとする。
２の連続する表記データ１２０１に含まれるオブジェク
トの対応付け処理について説明する。第Ｎ番目の表記デ
ータに含まれるオブジェクト１３０１に関する特徴量
（位置及び動き）を用いて、第Ｎ＋１番目の表記データ
におけるオブジェクトの予測される位置１３０２を求め
る。そして、この予測される位置１３０２に最も近い位
置に存在する第Ｎ＋１番目の表記データに含まれるオブ
ジェクト１３０３をオブジェクト１３０１に対応するオ
ブジェクトとする。
【００７７】図１４を用いて、図１２のステップ１２０
４における外部から入力された動きデータ１２０３のサ
ンプリング処理について説明する。外部より入力された
動きデータ１４０１（１２０３と同じ）は連続的な動き
データであるため、そのままでは数フレーム毎に付加さ
れる離散的なデータである表記データ中と比較すること
はできない。そこで、動きデータ１４０１を表記データ
のフレーム間隔でサンプリングして、このサンプリング
された動きデータ１４０２と表記データを比較する。
４における外部から入力された動きデータ１２０３のサ
ンプリング処理について説明する。外部より入力された
動きデータ１４０１（１２０３と同じ）は連続的な動き
データであるため、そのままでは数フレーム毎に付加さ
れる離散的なデータである表記データ中と比較すること
はできない。そこで、動きデータ１４０１を表記データ
のフレーム間隔でサンプリングして、このサンプリング
された動きデータ１４０２と表記データを比較する。
【００７８】なお、これら一連の処理は、ソフトウェア
またはハードウェアのいずれでも実現が可能である。
またはハードウェアのいずれでも実現が可能である。
【００７９】
【発明の効果】以上説明したように、本発明によればオ
ブジェクトに関する特徴量と背景に関する特徴量を記述
しておくことにより、背景の動きを除去してオブジェク
ト本来の動きによる検索が可能である。
ブジェクトに関する特徴量と背景に関する特徴量を記述
しておくことにより、背景の動きを除去してオブジェク
ト本来の動きによる検索が可能である。
【００８０】また、大量に蓄積された映像データに対し
て人手に頼らずに自動的にオブジェクトを検出してその
特徴量を抽出し、外部から入力された別の特徴量に合致
したオブジェクトを検索したり、外部から入力されたカ
メラワークによる動きを伴う背景と同じ背景の動きを含
むフレームを検索するなど、個々のユーザの目的に合っ
た映像検索を容易に行うことができる。
て人手に頼らずに自動的にオブジェクトを検出してその
特徴量を抽出し、外部から入力された別の特徴量に合致
したオブジェクトを検索したり、外部から入力されたカ
メラワークによる動きを伴う背景と同じ背景の動きを含
むフレームを検索するなど、個々のユーザの目的に合っ
た映像検索を容易に行うことができる。
【００８１】さらに、予め検出した特徴量を記述してお
くことにより、検索の度に特徴量抽出処埋を行う必要が
なく、高速な検索が可能であり、またユーザ側にオブジ
ェクト検出機能がない場合でも上述した検索が可能とな
る。
くことにより、検索の度に特徴量抽出処埋を行う必要が
なく、高速な検索が可能であり、またユーザ側にオブジ
ェクト検出機能がない場合でも上述した検索が可能とな
る。
【図１】 本発明の第１の実施形態に係る映像検索シス
テムの基本的な処理手順を示すフローチャート
テムの基本的な処理手順を示すフローチャート
【図２】 同実施形態におけるオブジェクト検出の処理
手順を示すフローチャート
手順を示すフローチャート
【図３】 同実施形態におけるオブジェクト検出に用い
るＭＰＥＧストリームのＩピクチャ及びＰピクチャの関
係を示す図
るＭＰＥＧストリームのＩピクチャ及びＰピクチャの関
係を示す図
【図４】 同実施形態におけるオブジェクト検出での低
信頼性ペクトルの除去について説明するための図
信頼性ペクトルの除去について説明するための図
【図５】 同実施形態における背景領域の変換係数を求
める手法を説明するためのフローチャート
める手法を説明するためのフローチャート
【図６】 同実施形態における背景領域の変換係数を求
める他の手法を説明するためのフローチャート
める他の手法を説明するためのフローチャート
【図７】 同実施形態におけるオブジェクト記述処理で
用いる特徴量データの構造を示す図
用いる特徴量データの構造を示す図
【図８】 同実施形態におけるオブジェクト検索の処理
手順を示すフローチャート
手順を示すフローチャート
【図９】 同実施形態におけるオブジェクト検索処理に
おけるカメラワークの除去について示す図
おけるカメラワークの除去について示す図
【図１０】 同実施形態におけるオブジェクト検索処理
における入力されたカメラワークと同一カメラワークが
用いられているフレームの検索について示す図
における入力されたカメラワークと同一カメラワークが
用いられているフレームの検索について示す図
【図１１】 本発明の第２の実施形態に係る映像検索シ
ステムの基本的な処理手順を示すフローチャート
ステムの基本的な処理手順を示すフローチャート
【図１２】 本発明の第３の実施形態に係る映像検索シ
ステムの基本的な処理手順を示すフローチャート
ステムの基本的な処理手順を示すフローチャート
【図１３】 同実施形態における連続する表記データ間
でのオブジェクトの対応付けを説明するための図
でのオブジェクトの対応付けを説明するための図
【図１４】 同実施形態における外部より入力された動
きデータのサンブリング方法を説明するための図
きデータのサンブリング方法を説明するための図
７００…表記データ ７０３…オブジェクトに関する特徴量 ７０４…背景に関する特徴量 ７０６…映像ストリーム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 金子 敏充 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B075 ND12 NR05 NR12 PP28 PQ02 PQ12 PQ69 PR06 QM08 5L096 BA18 FA01 FA22 FA41 FA66 FA67 GA06 HA04 HA05 JA03 JA09 JA11 MA07
Claims (17)
- 【請求項１】映像中の特定のオブジェクトに関する特徴
量及び該映像中の背景に関する特徴量を映像情報として
記述することを特徴とする映像情報記述方法。 - 【請求項２】映像中の特定のオブジェクトに関する特徴
量と該映像中の背景に関する特徴量及びその差分を映像
情報として記述することを特徴とする映像情報記述方
法。 - 【請求項３】前記オブジェクトに関する特徴量として少
なくとも前記オブジェクトの位置、形状及び動きの情報
を記述し、前記背景に関する特徴量として少なくとも該
背景の動きの情報を記述することを特徴とする請求項１
及び２のいずれか１項に記載の映像情報記述方法。 - 【請求項４】請求項１乃至３のいずれか１項に記載の映
像情報記述方法により記述された前記オブジェクトに関
する特徴量及び背景に関する特徴量を映像データと共
に、あるいは該映像データとは別に格納した記録媒体。 - 【請求項５】入力された映像の動ベクトルを抽出する動
ベクトル抽出ステップと、 前記動ベクトルを用いて前記映像の背景の動きを推定す
る推定ステップと、 前記推定した背景の動きを除去して前記映像中の特定の
オブジェクトに関する動ベクトルを検出し、該オブジェ
クトの領域を検出する検出ステップと、を有することを
特徴とするオブジェクト検出方法。 - 【請求項６】前記推定ステップは、前記背景の動きを所
定の変換モデルで近似し、該変換モデルの変換係数を前
記映像の動べクトルから推定することによって前記背景
の動きを推定することを特徴とする請求項５記載のオブ
ジェクト検出方法。 - 【請求項７】前記推定ステップは、前記変換モデルの変
換係数をロバスト推定法により推定することを特徴とす
る請求項６記載のオブジェクト検出方法。 - 【請求項８】前記推定ステップは、前記映像の画面内の
動ベクトルを類似度に従って領域分割し、分割された各
領域を該動ベクトルの類似度に基づいてクラスタリング
し、最大のクラスタの領域を背景の領域と判定する処理
を含むことを特徴とする請求項５乃至７のいずれか１項
記載のオブジェクト検出方法。 - 【請求項９】前記推定ステップは、前記映像の複数フレ
ームの動ベクトルを各フレーム内の類似度に従って領域
分割し、これらの領域をフレーム間で対応付け、対応付
けられた各領域が同じクラスタに属するように各領域を
該動ベクトルに基づいて各フレーム内でクラスタリング
し、最大のクラスタの領域を背景の領域と判定する処理
を含むことを特徴とする請求項５乃至７のいずれか１項
記載のオブジェクト検出方法。 - 【請求項１０】検索対象となる映像中の特定のオブジェ
クトに関する特徴量及び該映像中の背景に関する特徴量
を記述しておき、 前記映像中のオブジェクトに関する特徴量から前記背景
に関する特徴量を差し引いた後、外部より入力されたオ
ブジェクトに関する特徴量と比較することによって、前
記検索対象となる映像から前記外部より入力されたオブ
ジェクトと同一のオブジェクトもしくは前記外部より入
力されたオブジェクトと同一のオブジェクトを含む前記
映像中のフレームの少なくとも一方を検索することを特
徴とする映像検索方法。 - 【請求項１１】検索対象となる映像中の特定のオブジェ
クトに関する特徴量と該映像中の背景に関する特徴量及
びそれぞれの特徴量の差分を記述しておき、 前記差分と外部より入力されたオブジェクトに関する特
徴量とを比較することによって、前記検索対象となる映
像から前記外部より入力されたオブジェクトと同一のオ
ブジェクトもしくは前記外部より入力されたオブジェク
トと同一のオブジェクトを含む前記映像中のフレームの
少なくとも一方を検索することを特徴とする映像検索方
法。 - 【請求項１２】検索対象となる映像中の特定のオブジェ
クトに関する特徴量及び該映像中の背景に関する特徴量
を記述しておき、 前記背景に関する特徴量と外部より入力された映像中の
背景に関する特徴量とを比較することによって、前記検
索対象となる映像から前記外部より入力された映像を得
たときのカメラワークとほぼ同一のカメラワークが用い
られているフレームを検索することを特徴とする映像検
索方法。 - 【請求項１３】検索対象となる映像中の特定のオブジェ
クトに関する少なくとも動きの情報を含む特徴量及び該
映像中の背景に関する特徴量を記述しておき、 前記映像中の連続する複数フレームにおけるオブジェク
トの動き情報と外部より入力されたオブジェクトの一連
の動きの情報とを比較することにより、前記検索対象と
なる映像から前記外部より入力されたオブジェクトと同
一のオブジェクトもしくは前記外部より入力されたオブ
ジェクトと同一のオブジェクトを含むフレームの少なく
とも一方を検索することを特徴とする映像検索方法。 - 【請求項１４】検索対象となる映像中の特定のオブジェ
クトに関する特徴量及び該映像中の背景に関する特徴量
を記述しておき、 前記映像中のオブジェクトに関する特徴量から前記背景
に関する特徴量を差し引いた後、外部より入力されたオ
ブジェクトに関する特徴量と比較することによって、前
記検索対象となる映像から前記外部より入力されたオブ
ジェクトと同一のオブジェクトもしくは前記外部より入
力されたオブジェクトと同一のオブジェクトを含む前記
映像中のフレームの少なくとも一方を検索することを特
徴とする映像検索装置。 - 【請求項１５】検索対象となる映像中の特定のオブジェ
クトに関する特徴量と該映像中の背景に関する特徴量及
びそれぞれの特徴量の差分を記述しておき、 前記差分と外部より入力されたオブジェクトに関する特
徴量とを比較することによって、前記検索対象となる映
像から前記外部より入力されたオブジェクトと同一のオ
ブジェクトもしくは前記外部より入力されたオブジェク
トと同一のオブジェクトを含む前記映像中のフレームの
少なくとも一方を検索することを特徴とする映像検索装
置。 - 【請求項１６】検索対象となる映像中の特定のオブジェ
クトに関する特徴量及び該映像中の背景に関する特徴量
を記述しておき、 前記背景に関する特徴量と外部より入力された映像中の
背景に関する特徴量とを比較することによって、前記検
索対象となる映像から前記外部より入力された映像を得
たときのカメラワークとほぼ同一のカメラワークが用い
られているフレームを検索することを特徴とする映像検
索装置。 - 【請求項１７】検索対象となる映像中の特定のオブジェ
クトに関する少なくとも動きの情報を含む特徴量及び該
映像中の背景に関する特徴量を記述しておき、 前記映像中の連続する複数フレームにおけるオブジェク
トの動き情報と外部より入力されたオブジェクトの一連
の動きの情報とを比較することにより、前記検索対象と
なる映像から前記外部より入力されたオブジェクトと同
一のオブジェクトもしくは前記外部より入力されたオブ
ジェクトと同一のオブジェクトを含むフレームの少なく
とも一方を検索することを特徴とする映像検索装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11022372A JP2000222584A (ja) | 1999-01-29 | 1999-01-29 | 映像情報記述方法、映像検索方法及び映像検索装置 |
| US09/493,013 US7003156B1 (en) | 1999-01-29 | 2000-01-28 | Object detection method and a video data retrieval method |
| US11/260,145 US20060045349A1 (en) | 1999-01-29 | 2005-10-28 | Object detection method and a video data retrieval method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11022372A JP2000222584A (ja) | 1999-01-29 | 1999-01-29 | 映像情報記述方法、映像検索方法及び映像検索装置 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008099459A Division JP2008226261A (ja) | 2008-04-07 | 2008-04-07 | オブジェクト検出方法 |
| JP2008099460A Division JP2008262560A (ja) | 2008-04-07 | 2008-04-07 | 映像検索方法及び映像検索装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000222584A true JP2000222584A (ja) | 2000-08-11 |
Family
ID=12080816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11022372A Pending JP2000222584A (ja) | 1999-01-29 | 1999-01-29 | 映像情報記述方法、映像検索方法及び映像検索装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7003156B1 (ja) |
| JP (1) | JP2000222584A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002251615A (ja) * | 2001-02-22 | 2002-09-06 | Sony Corp | 画像処理装置及び方法並びにロボット装置及びその制御方法 |
| JP2002536746A (ja) * | 1999-02-01 | 2002-10-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 動画シーケンスを表す記述子とその記述子を使用する画像検索システム |
| JP2006178974A (ja) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | 情報処理方法、情報処理装置及びデータ処理装置 |
| JP2007087049A (ja) * | 2005-09-21 | 2007-04-05 | Kddi Corp | 動画像処理装置 |
| JP2007306559A (ja) * | 2007-05-02 | 2007-11-22 | Mitsubishi Electric Corp | 画像特徴符号化方法及び画像検索方法 |
| JP2008146490A (ja) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | 情報提供装置、情報提供方法、及びコンピュータプログラム |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| JP2009076094A (ja) * | 2008-11-20 | 2009-04-09 | Panasonic Corp | 移動物体監視装置 |
| JP4456181B1 (ja) * | 2008-10-27 | 2010-04-28 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
| WO2010079556A1 (ja) * | 2009-01-09 | 2010-07-15 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
| US8300926B2 (en) | 2008-07-09 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP2014071902A (ja) * | 2012-09-28 | 2014-04-21 | Boeing Co | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム |
| JP2016157197A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社リコー | 自己位置推定装置、自己位置推定方法およびプログラム |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000222584A (ja) * | 1999-01-29 | 2000-08-11 | Toshiba Corp | 映像情報記述方法、映像検索方法及び映像検索装置 |
| US6774908B2 (en) * | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
| US20030098869A1 (en) * | 2001-11-09 | 2003-05-29 | Arnold Glenn Christopher | Real time interactive video system |
| US7595817B1 (en) * | 2003-02-12 | 2009-09-29 | The Research Foundation Of State University Of New York | Linear system based, qualitative independent motion detection from compressed MPEG surveillance video |
| US20080002864A1 (en) * | 2006-06-29 | 2008-01-03 | Eastman Kodak Company | Using background for searching image collections |
| US8341152B1 (en) | 2006-09-12 | 2012-12-25 | Creatier Interactive Llc | System and method for enabling objects within video to be searched on the internet or intranet |
| US8804829B2 (en) * | 2006-12-20 | 2014-08-12 | Microsoft Corporation | Offline motion description for video generation |
| JP4759524B2 (ja) * | 2007-01-09 | 2011-08-31 | 富士フイルム株式会社 | 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置 |
| AU2008260048B2 (en) * | 2007-05-30 | 2012-09-13 | Creatier Interactive, Llc | Method and system for enabling advertising and transaction within user generated video content |
| JP2009048490A (ja) * | 2007-08-21 | 2009-03-05 | Toshiba Corp | 類似ショット検出装置、プログラムおよび方法 |
| JP4909840B2 (ja) * | 2007-08-21 | 2012-04-04 | 株式会社東芝 | 映像処理装置、プログラムおよび方法 |
| JP5054206B2 (ja) * | 2008-03-14 | 2012-10-24 | パナソニック株式会社 | 画像処理方法及び画像処理装置 |
| JP5675056B2 (ja) * | 2008-07-04 | 2015-02-25 | 株式会社東芝 | Ｘ線撮影装置および画像処理装置 |
| EP2352128B1 (en) * | 2009-07-29 | 2018-10-24 | Panasonic Intellectual Property Management Co., Ltd. | Mobile body detection method and mobile body detection apparatus |
| WO2011013299A1 (ja) * | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 移動体検出装置及び移動体検出方法 |
| TWI588778B (zh) * | 2012-01-17 | 2017-06-21 | 國立臺灣科技大學 | 動作辨識方法 |
| US8811772B2 (en) * | 2012-08-21 | 2014-08-19 | Tianzhi Yang | Mapping evaluating for spatial point sets |
| US10963733B2 (en) * | 2019-06-17 | 2021-03-30 | Tianzhi Yang | Associating spatial point sets with candidate correspondences |
| CN113486214B (zh) * | 2021-07-23 | 2024-09-24 | 广州酷狗计算机科技有限公司 | 音乐匹配方法、装置、计算机设备及存储介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3244798B2 (ja) * | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
| US6014461A (en) * | 1994-11-30 | 2000-01-11 | Texas Instruments Incorporated | Apparatus and method for automatic knowlege-based object identification |
| US5684715A (en) * | 1995-06-07 | 1997-11-04 | Canon Information Systems, Inc. | Interactive video system with dynamic video object descriptors |
| JPH09212648A (ja) * | 1996-01-31 | 1997-08-15 | Toshiba Corp | 動画像処理方法 |
| US6445409B1 (en) * | 1997-05-14 | 2002-09-03 | Hitachi Denshi Kabushiki Kaisha | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object |
| US6335985B1 (en) * | 1998-01-07 | 2002-01-01 | Kabushiki Kaisha Toshiba | Object extraction apparatus |
| US6404901B1 (en) * | 1998-01-29 | 2002-06-11 | Canon Kabushiki Kaisha | Image information processing apparatus and its method |
| US6278466B1 (en) * | 1998-06-11 | 2001-08-21 | Presenter.Com, Inc. | Creating animation from a video |
| US6564263B1 (en) * | 1998-12-04 | 2003-05-13 | International Business Machines Corporation | Multimedia content description framework |
| US6587574B1 (en) * | 1999-01-28 | 2003-07-01 | Koninklijke Philips Electronics N.V. | System and method for representing trajectories of moving objects for content-based indexing and retrieval of visual animated data |
| US6377296B1 (en) * | 1999-01-28 | 2002-04-23 | International Business Machines Corporation | Virtual map system and method for tracking objects |
| JP2000222584A (ja) * | 1999-01-29 | 2000-08-11 | Toshiba Corp | 映像情報記述方法、映像検索方法及び映像検索装置 |
| US6594386B1 (en) * | 1999-04-22 | 2003-07-15 | Forouzan Golshani | Method for computerized indexing and retrieval of digital images based on spatial color distribution |
| US6411724B1 (en) * | 1999-07-02 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Using meta-descriptors to represent multimedia information |
-
1999
- 1999-01-29 JP JP11022372A patent/JP2000222584A/ja active Pending
-
2000
- 2000-01-28 US US09/493,013 patent/US7003156B1/en not_active Expired - Fee Related
-
2005
- 2005-10-28 US US11/260,145 patent/US20060045349A1/en not_active Abandoned
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002536746A (ja) * | 1999-02-01 | 2002-10-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 動画シーケンスを表す記述子とその記述子を使用する画像検索システム |
| JP2002251615A (ja) * | 2001-02-22 | 2002-09-06 | Sony Corp | 画像処理装置及び方法並びにロボット装置及びその制御方法 |
| JP2006178974A (ja) * | 2004-12-23 | 2006-07-06 | Ricoh Co Ltd | 情報処理方法、情報処理装置及びデータ処理装置 |
| JP2007087049A (ja) * | 2005-09-21 | 2007-04-05 | Kddi Corp | 動画像処理装置 |
| JP2008146490A (ja) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | 情報提供装置、情報提供方法、及びコンピュータプログラム |
| JP2007306559A (ja) * | 2007-05-02 | 2007-11-22 | Mitsubishi Electric Corp | 画像特徴符号化方法及び画像検索方法 |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| US8300926B2 (en) | 2008-07-09 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| JP4456181B1 (ja) * | 2008-10-27 | 2010-04-28 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
| WO2010050110A1 (ja) * | 2008-10-27 | 2010-05-06 | パナソニック株式会社 | 移動体検出方法及び移動体検出装置 |
| CN101983389B (zh) * | 2008-10-27 | 2012-11-21 | 松下电器产业株式会社 | 移动体检测方法以及移动体检测装置 |
| US8340357B2 (en) | 2008-10-27 | 2012-12-25 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
| JP2009076094A (ja) * | 2008-11-20 | 2009-04-09 | Panasonic Corp | 移動物体監視装置 |
| WO2010079556A1 (ja) * | 2009-01-09 | 2010-07-15 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
| JP4542207B1 (ja) * | 2009-01-09 | 2010-09-08 | パナソニック株式会社 | 移動体検出方法および移動体検出装置 |
| US8213681B2 (en) | 2009-01-09 | 2012-07-03 | Panasonic Corporation | Moving object detection method and moving object detection apparatus |
| CN102077250B (zh) * | 2009-01-09 | 2014-04-16 | 松下电器产业株式会社 | 移动体检测方法及移动体检测装置 |
| JP2014071902A (ja) * | 2012-09-28 | 2014-04-21 | Boeing Co | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム |
| JP2016157197A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社リコー | 自己位置推定装置、自己位置推定方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7003156B1 (en) | 2006-02-21 |
| US20060045349A1 (en) | 2006-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000222584A (ja) | 映像情報記述方法、映像検索方法及び映像検索装置 | |
| US6342904B1 (en) | Creating a slide presentation from full motion video | |
| JP5371083B2 (ja) | 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体 | |
| JP3175632B2 (ja) | シーンチェンジ検出方法およびシーンチェンジ検出装置 | |
| JP3131560B2 (ja) | 動画像処理システムにおける動画像情報検出装置 | |
| CN102117313A (zh) | 一种视频检索方法和系统 | |
| CN101425133A (zh) | 人物图像检索装置 | |
| JP4973188B2 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
| US6411339B1 (en) | Method of spatio-temporally integrating/managing a plurality of videos and system for embodying the same, and recording medium for recording a program for the method | |
| JP2000339474A (ja) | 動画像類似度算出装置および方法 | |
| US7826667B2 (en) | Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images | |
| JP4773998B2 (ja) | 監視カメラ・システム，動画検索装置および顔画像データベース更新装置ならびにそれらの動作制御方法 | |
| JPH09284702A (ja) | シーン変化フレーム検出方法および装置 | |
| JP2008262560A (ja) | 映像検索方法及び映像検索装置 | |
| JP3330348B2 (ja) | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 | |
| JP2008226261A (ja) | オブジェクト検出方法 | |
| WO2003063082A1 (en) | Moving picture search apparatus | |
| JP3558886B2 (ja) | 映像処理装置 | |
| KR100311739B1 (ko) | 동영상장면변환검출방법 | |
| JP3499729B2 (ja) | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| JP3128378B2 (ja) | 映像インデックス作成装置 | |
| JP4743601B2 (ja) | 動画像処理装置 | |
| US20100245394A1 (en) | Image processing apparatus, image processing method, and program | |
| JPH09223234A (ja) | 動画像処理システムにおける動画像情報検出装置 | |
| JPH07322184A (ja) | 登録装置及び登録装置を用いた画像ファイリング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080407 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080507 |