JP2002117037A - 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 - Google Patents
画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体Info
- Publication number
- JP2002117037A JP2002117037A JP2000307775A JP2000307775A JP2002117037A JP 2002117037 A JP2002117037 A JP 2002117037A JP 2000307775 A JP2000307775 A JP 2000307775A JP 2000307775 A JP2000307775 A JP 2000307775A JP 2002117037 A JP2002117037 A JP 2002117037A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- moving image
- image
- frame
- frame feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 候補として提示される類似画像数を抑制しな
がらフレーム単位で類似画像の検索を行う。 【解決手段】 類似度算出部４０において、フレーム特
徴量蓄積部２０に蓄積された検索対象動画像のフレーム
特徴量と画像特徴量抽出部３０にて抽出された問い合わ
せ画像の画像特徴量との類似度を算出し、フレーム特徴
量選定部５１において、類似度が予め決められたしきい
値よりも高いフレーム特徴量を選定し、さらに、類似区
間生成部５２において、フレーム特徴量選定部５１にて
選定されたフレーム特徴量のうち、時間的に連続してい
るものを１つのグループに統合する。その後、類似画像
選定部６０において、統合されたグループ内にて最も類
似度の高いフレーム特徴量を少なくとも１つ選択し、選
択されたフレーム特徴量を有する画像を検索結果として
提示する。
がらフレーム単位で類似画像の検索を行う。 【解決手段】 類似度算出部４０において、フレーム特
徴量蓄積部２０に蓄積された検索対象動画像のフレーム
特徴量と画像特徴量抽出部３０にて抽出された問い合わ
せ画像の画像特徴量との類似度を算出し、フレーム特徴
量選定部５１において、類似度が予め決められたしきい
値よりも高いフレーム特徴量を選定し、さらに、類似区
間生成部５２において、フレーム特徴量選定部５１にて
選定されたフレーム特徴量のうち、時間的に連続してい
るものを１つのグループに統合する。その後、類似画像
選定部６０において、統合されたグループ内にて最も類
似度の高いフレーム特徴量を少なくとも１つ選択し、選
択されたフレーム特徴量を有する画像を検索結果として
提示する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像検索装置及び
画像検索方法に関し、特に、動画像の中から所定の問い
合わせ画像に類似する画像を検索する画像検索装置及び
画像検索方法に関する。
画像検索方法に関し、特に、動画像の中から所定の問い
合わせ画像に類似する画像を検索する画像検索装置及び
画像検索方法に関する。
【０００２】
【従来の技術】従来より、動画像データを蓄積する動画
像データベースを有する画像検索装置においては、動画
像データベースに蓄積されている画像データの中から所
定の画像（以下、問い合わせ画像と称する）や画像区間
（以下、問い合わせ動画像と称する）と類似する画像デ
ータを検索する画像検索方法が採用されている。
像データベースを有する画像検索装置においては、動画
像データベースに蓄積されている画像データの中から所
定の画像（以下、問い合わせ画像と称する）や画像区間
（以下、問い合わせ動画像と称する）と類似する画像デ
ータを検索する画像検索方法が採用されている。
【０００３】このような画像検索方法の１つとして、問
い合わせ画像と、動画像に含まれる全てのフレームとの
照合を行い、類似度の高い順に画像データを候補として
提示するものが挙げられるが、この方法においては、多
くの画像データが候補として提示されるため、画像検索
に手間がかかってしまう。
い合わせ画像と、動画像に含まれる全てのフレームとの
照合を行い、類似度の高い順に画像データを候補として
提示するものが挙げられるが、この方法においては、多
くの画像データが候補として提示されるため、画像検索
に手間がかかってしまう。
【０００４】そこで、特開平１１−２５９０６１号公報
において、動画像列から予めシーンチェンジと呼ばれる
画面の切り替わりを検出し、画面が切り替わった直後の
フレームのみを代表フレームとして蓄積しておき、動画
像全体ではなく、代表フレームのみを対象として類似し
た画像を検索するという方法が開示されている。
において、動画像列から予めシーンチェンジと呼ばれる
画面の切り替わりを検出し、画面が切り替わった直後の
フレームのみを代表フレームとして蓄積しておき、動画
像全体ではなく、代表フレームのみを対象として類似し
た画像を検索するという方法が開示されている。
【０００５】
【発明が解決しようとする課題】しかしながら、上述し
たような従来の画像検索方法においては、以下に記載す
るような問題点がある。
たような従来の画像検索方法においては、以下に記載す
るような問題点がある。
【０００６】問い合わせ画像と、動画像に含まれる全て
のフレームとの照合を行い、類似度の高い順に画像デー
タを候補として提示する方法においては、動画像が時間
的に連続するフレームの集合であるためにほぼ同一の内
容を有するフレームが連続していることが一般的であ
り、同一のショットに含まれる連続するフレームが検索
結果として提示されることになるため、候補として提示
される画像の数が多くなり、画像検索に手間がかかって
しまうという問題点がある。
のフレームとの照合を行い、類似度の高い順に画像デー
タを候補として提示する方法においては、動画像が時間
的に連続するフレームの集合であるためにほぼ同一の内
容を有するフレームが連続していることが一般的であ
り、同一のショットに含まれる連続するフレームが検索
結果として提示されることになるため、候補として提示
される画像の数が多くなり、画像検索に手間がかかって
しまうという問題点がある。
【０００７】特開平１１−２５９０６１号公報に開示さ
れたものにおいては、シーンチェンジのフレーム画像等
一部のフレームのみを対象に画像検索を行うため、シー
ンの内部に含まれるフレームは探索されないことにな
り、フレーム単位で検索を行うことができない。ここ
で、シーン内の動きが激しい場合、シーンの先頭のフレ
ームの内容とシーン内の各フレームの内容との間に大き
な違いが生じる場合があり、その場合、所望のフレーム
が検索対象となる代表フレームに含まれなくなってしま
うという問題点がある。また、検出されたシーンチェン
ジを起点として、シーン内に含まれる各フレームを対象
にさらに検索する方法が考えられるが、所望の画像を含
むシーンのシーンチェンジを検出できなかった場合に
は、所望の画像が検索対象に含まれず検索できなくなっ
てしまう。
れたものにおいては、シーンチェンジのフレーム画像等
一部のフレームのみを対象に画像検索を行うため、シー
ンの内部に含まれるフレームは探索されないことにな
り、フレーム単位で検索を行うことができない。ここ
で、シーン内の動きが激しい場合、シーンの先頭のフレ
ームの内容とシーン内の各フレームの内容との間に大き
な違いが生じる場合があり、その場合、所望のフレーム
が検索対象となる代表フレームに含まれなくなってしま
うという問題点がある。また、検出されたシーンチェン
ジを起点として、シーン内に含まれる各フレームを対象
にさらに検索する方法が考えられるが、所望の画像を含
むシーンのシーンチェンジを検出できなかった場合に
は、所望の画像が検索対象に含まれず検索できなくなっ
てしまう。
【０００８】本発明は、上述したような従来の技術が有
する問題点に鑑みてなされたものであって、候補として
提示される類似画像数を抑制しながらフレーム単位で類
似画像の検索を行うことができる画像検索装置、並びに
画像検索方法及びこれが書き込まれた記録媒体を提供す
ることを目的とする。
する問題点に鑑みてなされたものであって、候補として
提示される類似画像数を抑制しながらフレーム単位で類
似画像の検索を行うことができる画像検索装置、並びに
画像検索方法及びこれが書き込まれた記録媒体を提供す
ることを目的とする。
【０００９】
【課題を解決するための手段】上記の目的を達成する本
発明は、検索対象動画像の中から所定の問い合わせ画像
に類似する画像を検索する画像検索装置であって、前記
検索対象動画像に含まれる少なくとも一部のフレームの
特徴量を抽出し、フレーム特徴量として出力するフレー
ム特徴量抽出手段と、前記フレーム特徴量抽出手段から
出力されたフレーム特徴量を蓄積するフレーム特徴量蓄
積手段と、前記問い合わせ画像の特徴量を抽出し、画像
特徴量として出力する画像特徴量抽出手段と、前記フレ
ーム特徴量蓄積手段に蓄積されたフレーム特徴量と前記
画像特徴量抽出手段から出力された画像特徴量とを比較
して両者の類似度を算出する類似度算出手段と、前記フ
レーム特徴量蓄積手段に蓄積されたフレーム特徴量のう
ち、前記類似度が予め定めた条件を満たすフレーム特徴
量を少なくとも１つのグループに統合するフレーム特徴
量統合手段と、前記フレーム特徴量統合手段にて統合さ
れたグループ内にて最も類似度の高いフレーム特徴量を
少なくとも１つ選択する類似画像選定手段とを具備し、
前記類似画像選定手段にて選択されたフレーム特徴量を
有する画像を検索結果として提示することを特徴とす
る。
発明は、検索対象動画像の中から所定の問い合わせ画像
に類似する画像を検索する画像検索装置であって、前記
検索対象動画像に含まれる少なくとも一部のフレームの
特徴量を抽出し、フレーム特徴量として出力するフレー
ム特徴量抽出手段と、前記フレーム特徴量抽出手段から
出力されたフレーム特徴量を蓄積するフレーム特徴量蓄
積手段と、前記問い合わせ画像の特徴量を抽出し、画像
特徴量として出力する画像特徴量抽出手段と、前記フレ
ーム特徴量蓄積手段に蓄積されたフレーム特徴量と前記
画像特徴量抽出手段から出力された画像特徴量とを比較
して両者の類似度を算出する類似度算出手段と、前記フ
レーム特徴量蓄積手段に蓄積されたフレーム特徴量のう
ち、前記類似度が予め定めた条件を満たすフレーム特徴
量を少なくとも１つのグループに統合するフレーム特徴
量統合手段と、前記フレーム特徴量統合手段にて統合さ
れたグループ内にて最も類似度の高いフレーム特徴量を
少なくとも１つ選択する類似画像選定手段とを具備し、
前記類似画像選定手段にて選択されたフレーム特徴量を
有する画像を検索結果として提示することを特徴とす
る。
【００１０】また、前記フレーム特徴量統合手段は、前
記フレーム特徴量蓄積手段に蓄積されたフレーム特徴量
のうち、前記類似度算出手段にて算出された類似度が予
め決められたしきい値よりも高いフレーム特徴量を選定
するフレーム特徴量選定手段と、前記フレーム特徴量選
定手段にて選定されたフレーム特徴量のうち、時間的に
連続しているものを１つのグループに統合し、出力する
類似区間生成手段とを有することを特徴とする。
記フレーム特徴量蓄積手段に蓄積されたフレーム特徴量
のうち、前記類似度算出手段にて算出された類似度が予
め決められたしきい値よりも高いフレーム特徴量を選定
するフレーム特徴量選定手段と、前記フレーム特徴量選
定手段にて選定されたフレーム特徴量のうち、時間的に
連続しているものを１つのグループに統合し、出力する
類似区間生成手段とを有することを特徴とする。
【００１１】また、検索対象動画像の中から所定の問い
合わせ動画像に類似する動画像区間を検索する画像検索
装置であって、前記検索対象動画像に含まれる少なくと
も一部のフレームの特徴量を抽出し、フレーム特徴量と
して出力するフレーム特徴量抽出手段と、前記フレーム
特徴量抽出手段から出力されたフレーム特徴量を蓄積す
るフレーム特徴量蓄積手段と、前記問い合わせ動画像に
含まれる少なくとも一部のフレームの特徴量を抽出し、
第１の動画像特徴量として出力する動画像特徴量抽出手
段と、前記フレーム特徴量蓄積手段に蓄積されたフレー
ム特徴量から、前記動画像特徴量抽出手段に入力される
問い合わせ動画像が有する時間長に相当するフレーム特
徴量を切り出し、第２の動画像特徴量として出力する動
画像特徴量切り出し手段と、前記動画像特徴量抽出手段
から出力された前記第１の動画像特徴量と前記動画像特
徴量切り出し手段から出力された前記第２の動画像特徴
量とを比較し、両者の類似度を算出する類似度算出手段
と、前記動画像特徴量切り出し手段から出力された前記
第２の動画像特徴量のうち、前記類似度が予め定めた条
件を満たす第２の動画像特徴量を少なくとも１つのグル
ープに統合する動画像特徴量統合手段と、前記動画像特
徴量統合手段にて統合されたグループ内にて最も類似度
の高い第２の動画像特徴量を少なくとも１つ選択する類
似画像選定手段とを具備し、前記類似画像選定手段にて
選択された第２の動画像特徴量を有する画像を検索結果
として提示することを特徴とする。
合わせ動画像に類似する動画像区間を検索する画像検索
装置であって、前記検索対象動画像に含まれる少なくと
も一部のフレームの特徴量を抽出し、フレーム特徴量と
して出力するフレーム特徴量抽出手段と、前記フレーム
特徴量抽出手段から出力されたフレーム特徴量を蓄積す
るフレーム特徴量蓄積手段と、前記問い合わせ動画像に
含まれる少なくとも一部のフレームの特徴量を抽出し、
第１の動画像特徴量として出力する動画像特徴量抽出手
段と、前記フレーム特徴量蓄積手段に蓄積されたフレー
ム特徴量から、前記動画像特徴量抽出手段に入力される
問い合わせ動画像が有する時間長に相当するフレーム特
徴量を切り出し、第２の動画像特徴量として出力する動
画像特徴量切り出し手段と、前記動画像特徴量抽出手段
から出力された前記第１の動画像特徴量と前記動画像特
徴量切り出し手段から出力された前記第２の動画像特徴
量とを比較し、両者の類似度を算出する類似度算出手段
と、前記動画像特徴量切り出し手段から出力された前記
第２の動画像特徴量のうち、前記類似度が予め定めた条
件を満たす第２の動画像特徴量を少なくとも１つのグル
ープに統合する動画像特徴量統合手段と、前記動画像特
徴量統合手段にて統合されたグループ内にて最も類似度
の高い第２の動画像特徴量を少なくとも１つ選択する類
似画像選定手段とを具備し、前記類似画像選定手段にて
選択された第２の動画像特徴量を有する画像を検索結果
として提示することを特徴とする。
【００１２】また、前記動画像特徴量統合手段は、前記
動画像特徴量切り出し手段から出力された前記第２の動
画像特徴量のうち、前記類似度算出手段にて算出された
類似度が予め決められたしきい値よりも高い第２の動画
像特徴量を選定する動画像特徴量選定手段と、前記動画
像特徴量選定手段にて選定された第２の動画像特徴量の
うち、時間的に連続または部分的に重複しているものを
１つのグループに統合し、出力する類似区間生成手段と
を有することを特徴とする。
動画像特徴量切り出し手段から出力された前記第２の動
画像特徴量のうち、前記類似度算出手段にて算出された
類似度が予め決められたしきい値よりも高い第２の動画
像特徴量を選定する動画像特徴量選定手段と、前記動画
像特徴量選定手段にて選定された第２の動画像特徴量の
うち、時間的に連続または部分的に重複しているものを
１つのグループに統合し、出力する類似区間生成手段と
を有することを特徴とする。
【００１３】また、前記フレーム特徴量抽出手段は、前
記検索対象動画像に含まれる少なくとも一部のフレーム
について縮小画像を生成し、該縮小画像に対して周波数
変換及び量子化を施すことによって前記フレーム特徴量
を抽出することを特徴とする。
記検索対象動画像に含まれる少なくとも一部のフレーム
について縮小画像を生成し、該縮小画像に対して周波数
変換及び量子化を施すことによって前記フレーム特徴量
を抽出することを特徴とする。
【００１４】また、検索対象動画像の中から所定の問い
合わせ画像に類似する画像を検索する画像検索方法であ
って、前記検索対象動画像に含まれる少なくとも一部の
フレームのフレーム特徴量を抽出する処理と、前記抽出
されたフレーム特徴量を蓄積する処理と、前記問い合わ
せ画像の画像特徴量を抽出する処理と、前記フレーム特
徴量と前記画像特徴量とを比較して両者の類似度を算出
する処理と、前記類似度が予め定めた条件を満たすフレ
ーム特徴量を少なくとも１つのグループに統合する処理
と、前記統合されたグループ内にて最も類似度の高いフ
レーム特徴量を少なくとも１つ選択する処理と、前記選
択されたフレーム特徴量を有する画像を検索結果として
提示する処理とを順次行うことを特徴とする。
合わせ画像に類似する画像を検索する画像検索方法であ
って、前記検索対象動画像に含まれる少なくとも一部の
フレームのフレーム特徴量を抽出する処理と、前記抽出
されたフレーム特徴量を蓄積する処理と、前記問い合わ
せ画像の画像特徴量を抽出する処理と、前記フレーム特
徴量と前記画像特徴量とを比較して両者の類似度を算出
する処理と、前記類似度が予め定めた条件を満たすフレ
ーム特徴量を少なくとも１つのグループに統合する処理
と、前記統合されたグループ内にて最も類似度の高いフ
レーム特徴量を少なくとも１つ選択する処理と、前記選
択されたフレーム特徴量を有する画像を検索結果として
提示する処理とを順次行うことを特徴とする。
【００１５】また、前記フレーム特徴量のグループへの
統合は、前記類似度が予め決められたしきい値よりも高
いフレーム特徴量を選定し、選定されたフレーム特徴量
のうち、時間的に連続しているものを１つのグループに
統合することによって行うことを特徴とする。
統合は、前記類似度が予め決められたしきい値よりも高
いフレーム特徴量を選定し、選定されたフレーム特徴量
のうち、時間的に連続しているものを１つのグループに
統合することによって行うことを特徴とする。
【００１６】また、検索対象動画像の中から所定の問い
合わせ動画像に類似する動画像区間を検索する画像検索
方法であって、前記検索対象動画像に含まれる少なくと
も一部のフレーム特徴量を抽出する処理と、前記フレー
ム特徴量を蓄積する処理と、前記問い合わせ動画像に含
まれる少なくとも一部のフレームの動画像特徴量を抽出
する処理と、前記フレーム特徴量から、前記問い合わせ
動画像が有する時間長に相当するフレームの動画像特徴
量を切り出す処理と、前記問い合わせ動画像から抽出さ
れた動画像特徴量と前記フレーム特徴量から切り出され
た動画像特徴量とを比較し、両者の類似度を算出する処
理と、前記フレーム特徴量から切り出された動画像特徴
量のうち、前記類似度が予め定めた条件を満たす動画像
特徴量を少なくとも１つのグループに統合する処理と、
前記統合されたグループ内にて最も類似度の高い動画像
特徴量を少なくとも１つ選択する処理と、前記選択され
た動画像特徴量を有する画像を検索結果として提示する
処理とを順次行うことを特徴とする。
合わせ動画像に類似する動画像区間を検索する画像検索
方法であって、前記検索対象動画像に含まれる少なくと
も一部のフレーム特徴量を抽出する処理と、前記フレー
ム特徴量を蓄積する処理と、前記問い合わせ動画像に含
まれる少なくとも一部のフレームの動画像特徴量を抽出
する処理と、前記フレーム特徴量から、前記問い合わせ
動画像が有する時間長に相当するフレームの動画像特徴
量を切り出す処理と、前記問い合わせ動画像から抽出さ
れた動画像特徴量と前記フレーム特徴量から切り出され
た動画像特徴量とを比較し、両者の類似度を算出する処
理と、前記フレーム特徴量から切り出された動画像特徴
量のうち、前記類似度が予め定めた条件を満たす動画像
特徴量を少なくとも１つのグループに統合する処理と、
前記統合されたグループ内にて最も類似度の高い動画像
特徴量を少なくとも１つ選択する処理と、前記選択され
た動画像特徴量を有する画像を検索結果として提示する
処理とを順次行うことを特徴とする。
【００１７】また、前記動画像特徴量のグループへの統
合は、前記類似度が予め決められたしきい値よりも高い
動画像特徴量を選定し、選定された動画像特徴量のう
ち、時間的に連続または部分的に重複しているものを１
つのグループに統合することによって行うことを特徴と
する。
合は、前記類似度が予め決められたしきい値よりも高い
動画像特徴量を選定し、選定された動画像特徴量のう
ち、時間的に連続または部分的に重複しているものを１
つのグループに統合することによって行うことを特徴と
する。
【００１８】また、前記フレーム抽出量は、前記検索対
象動画像に含まれる少なくとも一部のフレームについて
縮小画像を生成し、該縮小画像に対して周波数変換及び
量子化を施すことによって抽出することを特徴とする。
象動画像に含まれる少なくとも一部のフレームについて
縮小画像を生成し、該縮小画像に対して周波数変換及び
量子化を施すことによって抽出することを特徴とする。
【００１９】また、情報が書き込まれる記録媒体であっ
て、前記画像検索方法が書き込まれたことを特徴とす
る。
て、前記画像検索方法が書き込まれたことを特徴とす
る。
【００２０】（作用）上記のように構成された本発明に
おいては、問い合わせ画像及び検索対象となる検索対象
動画像が入力されると、まず、フレーム特徴量抽出手段
において、入力された検索対象動画像に含まれる少なく
とも一部のフレームの特徴量が抽出され、フレーム特徴
量として出力され、フレーム特徴量蓄積手段に蓄積され
る。また、画像特徴量抽出手段において、入力された問
い合わせ画像の特徴量が抽出され、画像特徴量として出
力される。フレーム特徴量蓄積手段に蓄積されたフレー
ム特徴量と画像特徴量抽出手段から出力された画像特徴
量は類似度算出手段に入力され、類似度算出手段におい
て両者の類似度が算出される。その後、フレーム特徴量
統合手段内に設けられたフレーム特徴量選定手段におい
て、フレーム特徴量蓄積手段に蓄積されたフレーム特徴
量のうち、類似度算出手段にて算出された類似度が予め
決められたしきい値よりも高いフレーム特徴量が選定さ
れ、さらに、フレーム特徴量統合手段内に設けられた類
似区間生成手段において、フレーム特徴量選定手段にて
選定されたフレーム特徴量のうち、時間的に連続してい
るものが１つのグループに統合され、出力される。フレ
ーム特徴量統合手段にて統合されたフレーム特徴量は類
似画像選定手段に入力され、類似画像選定手段におい
て、フレーム特徴量統合手段にて統合されたグループ内
にて最も類似度の高いフレーム特徴量が少なくとも１つ
選択され、その後、類似画像選定手段にて選択されたフ
レーム特徴量を有する画像が検索結果として提示され
る。
おいては、問い合わせ画像及び検索対象となる検索対象
動画像が入力されると、まず、フレーム特徴量抽出手段
において、入力された検索対象動画像に含まれる少なく
とも一部のフレームの特徴量が抽出され、フレーム特徴
量として出力され、フレーム特徴量蓄積手段に蓄積され
る。また、画像特徴量抽出手段において、入力された問
い合わせ画像の特徴量が抽出され、画像特徴量として出
力される。フレーム特徴量蓄積手段に蓄積されたフレー
ム特徴量と画像特徴量抽出手段から出力された画像特徴
量は類似度算出手段に入力され、類似度算出手段におい
て両者の類似度が算出される。その後、フレーム特徴量
統合手段内に設けられたフレーム特徴量選定手段におい
て、フレーム特徴量蓄積手段に蓄積されたフレーム特徴
量のうち、類似度算出手段にて算出された類似度が予め
決められたしきい値よりも高いフレーム特徴量が選定さ
れ、さらに、フレーム特徴量統合手段内に設けられた類
似区間生成手段において、フレーム特徴量選定手段にて
選定されたフレーム特徴量のうち、時間的に連続してい
るものが１つのグループに統合され、出力される。フレ
ーム特徴量統合手段にて統合されたフレーム特徴量は類
似画像選定手段に入力され、類似画像選定手段におい
て、フレーム特徴量統合手段にて統合されたグループ内
にて最も類似度の高いフレーム特徴量が少なくとも１つ
選択され、その後、類似画像選定手段にて選択されたフ
レーム特徴量を有する画像が検索結果として提示され
る。
【００２１】また、問い合わせ動画像及び検索対象とな
る検索対象動画像が入力されると、まず、フレーム特徴
量抽出手段において、入力された検索対象動画像に含ま
れる少なくとも一部のフレームの特徴量が抽出され、フ
レーム特徴量として出力され、フレーム特徴量蓄積手段
に蓄積される。また、動画像特徴量抽出手段において、
入力された問い合わせ動画像に含まれる少なくとも一部
のフレームの特徴量が抽出され、第１の動画像特徴量と
して出力される。また、動画像特徴量切り出し手段にお
いて、フレーム特徴量蓄積手段に蓄積されたフレーム特
徴量から、動画像特徴量抽出手段に入力される問い合わ
せ動画像が有する時間長に相当するフレーム特徴量が切
り出され、第２の動画像特徴量として出力される。動画
像特徴量抽出手段から出力された第１の動画像特徴量と
動画像特徴量切り出し手段から出力された第２の動画像
特徴量は類似度算出手段に入力され、類似度算出手段に
おいて両者の類似度が算出される。その後、動画像特徴
量統合手段内に設けられた動画像特徴量選定手段におい
て、動画像特徴量切り出し手段から出力された第２の動
画像特徴量のうち、類似度算出手段にて算出された類似
度が予め決められたしきい値よりも高い第２の動画像特
徴量が選定され、さらに、動画像特徴量統合手段内に設
けられた類似区間生成手段において、動画像特徴量選定
手段にて選定された第２の動画像特徴量のうち、時間的
に連続または部分的に重複しているものが１つのグルー
プに統合され、出力される。動画像特徴量統合手段にて
統合された第２の動画像特徴量は類似画像選定手段に入
力され、類似画像選定手段において、動画像特徴量統合
手段にて統合されたグループ内にて最も類似度の高い第
２の動画像特徴量が少なくとも１つ選択され、その後、
類似画像選定手段にて選択された第２の動画像特徴量を
有する画像が検索結果として提示される。
る検索対象動画像が入力されると、まず、フレーム特徴
量抽出手段において、入力された検索対象動画像に含ま
れる少なくとも一部のフレームの特徴量が抽出され、フ
レーム特徴量として出力され、フレーム特徴量蓄積手段
に蓄積される。また、動画像特徴量抽出手段において、
入力された問い合わせ動画像に含まれる少なくとも一部
のフレームの特徴量が抽出され、第１の動画像特徴量と
して出力される。また、動画像特徴量切り出し手段にお
いて、フレーム特徴量蓄積手段に蓄積されたフレーム特
徴量から、動画像特徴量抽出手段に入力される問い合わ
せ動画像が有する時間長に相当するフレーム特徴量が切
り出され、第２の動画像特徴量として出力される。動画
像特徴量抽出手段から出力された第１の動画像特徴量と
動画像特徴量切り出し手段から出力された第２の動画像
特徴量は類似度算出手段に入力され、類似度算出手段に
おいて両者の類似度が算出される。その後、動画像特徴
量統合手段内に設けられた動画像特徴量選定手段におい
て、動画像特徴量切り出し手段から出力された第２の動
画像特徴量のうち、類似度算出手段にて算出された類似
度が予め決められたしきい値よりも高い第２の動画像特
徴量が選定され、さらに、動画像特徴量統合手段内に設
けられた類似区間生成手段において、動画像特徴量選定
手段にて選定された第２の動画像特徴量のうち、時間的
に連続または部分的に重複しているものが１つのグルー
プに統合され、出力される。動画像特徴量統合手段にて
統合された第２の動画像特徴量は類似画像選定手段に入
力され、類似画像選定手段において、動画像特徴量統合
手段にて統合されたグループ内にて最も類似度の高い第
２の動画像特徴量が少なくとも１つ選択され、その後、
類似画像選定手段にて選択された第２の動画像特徴量を
有する画像が検索結果として提示される。
【００２２】これにより、候補として提示される類似画
像数を抑制しながらフレーム単位で類似画像の検索が行
われる。
像数を抑制しながらフレーム単位で類似画像の検索が行
われる。
【００２３】
【発明の実施の形態】以下に、本発明の実施の形態につ
いて図面を参照して説明する。
いて図面を参照して説明する。
【００２４】（第１の実施の形態）図１は，本発明の画
像検索装置の第１の実施の形態を示すブロック図であ
る。
像検索装置の第１の実施の形態を示すブロック図であ
る。
【００２５】本形態は図１に示すように、検索対象動画
像が入力され、入力された検索対象動画像に含まれる各
フレームの特徴量を抽出し、フレーム特徴量として出力
するフレーム特徴量抽出部１０と、フレーム特徴量抽出
部１０から出力されたフレーム特徴量が蓄積されるフレ
ーム特徴量蓄積部２０と、問い合わせ画像が入力され、
入力された問い合わせ画像の特徴量を抽出し、画像特徴
量として出力する画像特徴量抽出部３０と、画像特徴量
抽出部３０から出力された画像特徴量とフレーム特徴量
蓄積部２０に蓄積されたフレーム特徴量とを比較し、両
者の類似度を算出する類似度算出部４０と、フレーム特
徴量蓄積部２０に蓄積されたフレーム特徴量のうち、類
似度算出部４０にて算出された類似度が予め決められた
条件を満たすフレーム特徴量を１つまたは複数のグルー
プに統合し、出力するフレーム特徴量統合部５０と、フ
レーム特徴量統合部５０から出力されたフレーム特徴量
のグループの中から最も類似度の高いフレーム特徴量を
１つまたは複数選択し、出力する類似画像選択部６０と
から構成されており、類似画像選択部６０から出力され
たフレーム特徴量を有する画像が検索結果として出力さ
れる。また、フレーム特徴量統合部５０は、フレーム特
徴量蓄積部２０に蓄積されたフレーム特徴量のうち、類
似度算出部４０にて算出された類似度が予め決められた
値以上となるフレーム特徴量を選定するフレーム特徴量
選定部５１と、フレーム特徴量選定部５１にて選定され
たフレーム特徴量のうち、時間的に連続しているものを
１つのグループに統合し、類似区間として出力する類似
区間生成部５２とから構成されている。
像が入力され、入力された検索対象動画像に含まれる各
フレームの特徴量を抽出し、フレーム特徴量として出力
するフレーム特徴量抽出部１０と、フレーム特徴量抽出
部１０から出力されたフレーム特徴量が蓄積されるフレ
ーム特徴量蓄積部２０と、問い合わせ画像が入力され、
入力された問い合わせ画像の特徴量を抽出し、画像特徴
量として出力する画像特徴量抽出部３０と、画像特徴量
抽出部３０から出力された画像特徴量とフレーム特徴量
蓄積部２０に蓄積されたフレーム特徴量とを比較し、両
者の類似度を算出する類似度算出部４０と、フレーム特
徴量蓄積部２０に蓄積されたフレーム特徴量のうち、類
似度算出部４０にて算出された類似度が予め決められた
条件を満たすフレーム特徴量を１つまたは複数のグルー
プに統合し、出力するフレーム特徴量統合部５０と、フ
レーム特徴量統合部５０から出力されたフレーム特徴量
のグループの中から最も類似度の高いフレーム特徴量を
１つまたは複数選択し、出力する類似画像選択部６０と
から構成されており、類似画像選択部６０から出力され
たフレーム特徴量を有する画像が検索結果として出力さ
れる。また、フレーム特徴量統合部５０は、フレーム特
徴量蓄積部２０に蓄積されたフレーム特徴量のうち、類
似度算出部４０にて算出された類似度が予め決められた
値以上となるフレーム特徴量を選定するフレーム特徴量
選定部５１と、フレーム特徴量選定部５１にて選定され
たフレーム特徴量のうち、時間的に連続しているものを
１つのグループに統合し、類似区間として出力する類似
区間生成部５２とから構成されている。
【００２６】以下に、上記のように構成された画像検索
装置における画像検索方法について説明する。
装置における画像検索方法について説明する。
【００２７】フレーム特徴量抽出部１０には、検索対象
となる動画像が入力され、また、画像特徴量抽出部３０
には、問い合わせ画像が入力される。
となる動画像が入力され、また、画像特徴量抽出部３０
には、問い合わせ画像が入力される。
【００２８】フレーム特徴量抽出部１０においては、入
力された検索対象動画像に含まれる各フレームの特徴量
を抽出し、フレーム特徴量として出力する。なお、フレ
ーム特徴量抽出部１０におけるフレーム特徴量の抽出
は、必ずしも全てのフレームについて行わなければなら
ないものではなく、例えば、１秒に２回程度の割合でフ
レーム特徴量を抽出するものであってもよい。
力された検索対象動画像に含まれる各フレームの特徴量
を抽出し、フレーム特徴量として出力する。なお、フレ
ーム特徴量抽出部１０におけるフレーム特徴量の抽出
は、必ずしも全てのフレームについて行わなければなら
ないものではなく、例えば、１秒に２回程度の割合でフ
レーム特徴量を抽出するものであってもよい。
【００２９】ここで、フレーム特徴量抽出部１０におけ
るフレーム特徴量の抽出方法について詳細に説明する。
るフレーム特徴量の抽出方法について詳細に説明する。
【００３０】フレーム特徴抽出部１０にて検索対象動画
像からフレーム特徴量を抽出するためには、例えば、本
願出願人が先に出願した特願平１１−０５９４３２号
（以下、関連技術と称する）等に開示された手法を用い
ることができる。ただし、この関連技術に開示された技
術の詳細を述べることは煩雑であるため、ここでは当該
技術を具体例を挙げて概説することにする。
像からフレーム特徴量を抽出するためには、例えば、本
願出願人が先に出願した特願平１１−０５９４３２号
（以下、関連技術と称する）等に開示された手法を用い
ることができる。ただし、この関連技術に開示された技
術の詳細を述べることは煩雑であるため、ここでは当該
技術を具体例を挙げて概説することにする。
【００３１】今、ある画像が入力された場合、この画像
を８×８＝６４個のブロックに分割し、その後、個々の
ブロックについて平均値を算出して、８画素×８画素の
サムネイル画像（すなわち、アイコンのような親指大の
画像）のイメージを作成する。ここで、通常、画像はＲ
ＧＢの３原色からなる普通のカラー画像であることか
ら、各色について８画素×８画素のサムネイル画像を生
成する。ただし、例えばＲＧＢではなくＹ（輝度信
号），Ｒ−Ｙ及びＢ−Ｙ（色差信号）の３種類の信号に
対応した３つの画像とする。
を８×８＝６４個のブロックに分割し、その後、個々の
ブロックについて平均値を算出して、８画素×８画素の
サムネイル画像（すなわち、アイコンのような親指大の
画像）のイメージを作成する。ここで、通常、画像はＲ
ＧＢの３原色からなる普通のカラー画像であることか
ら、各色について８画素×８画素のサムネイル画像を生
成する。ただし、例えばＲＧＢではなくＹ（輝度信
号），Ｒ−Ｙ及びＢ−Ｙ（色差信号）の３種類の信号に
対応した３つの画像とする。
【００３２】次に、サムネイル画像に対してＤＣＴ（離
散コサイン変換）を施して周波数変換を行い、８×８画
素に対応する周波数表現された情報を得る。
散コサイン変換）を施して周波数変換を行い、８×８画
素に対応する周波数表現された情報を得る。
【００３３】次に、この８×８画素に対応した情報から
低周波数成分を選択する。例えば、Ｙ信号から６個、Ｒ
−Ｙ信号及びＢ−Ｙ信号からそれぞれ３個ずつ選択して
合計１２個とする。そして、これら１２個の係数を粗く
量子化して合計６４ビットの情報をフレーム特徴量とし
て抽出する。なお、量子化にあたっては係数毎に量子化
特性を変えるとともに、量子化レベル数も変えるように
する。以上のようにして、画像に含まれる低周波成分で
表現された情報がフレーム特徴量として得られる。
低周波数成分を選択する。例えば、Ｙ信号から６個、Ｒ
−Ｙ信号及びＢ−Ｙ信号からそれぞれ３個ずつ選択して
合計１２個とする。そして、これら１２個の係数を粗く
量子化して合計６４ビットの情報をフレーム特徴量とし
て抽出する。なお、量子化にあたっては係数毎に量子化
特性を変えるとともに、量子化レベル数も変えるように
する。以上のようにして、画像に含まれる低周波成分で
表現された情報がフレーム特徴量として得られる。
【００３４】フレーム特徴量抽出部１０から出力された
フレーム特徴量は、フレーム特徴量蓄積部２０に蓄積さ
れる。
フレーム特徴量は、フレーム特徴量蓄積部２０に蓄積さ
れる。
【００３５】また、画像特徴量抽出部３０においては、
入力された問い合わせ画像の特徴量を抽出し、画像特徴
量として出力する。
入力された問い合わせ画像の特徴量を抽出し、画像特徴
量として出力する。
【００３６】類似度算出部４０においては、画像特徴量
抽出部３０から出力された画像特徴量と、フレーム特徴
量蓄積部２０に蓄積されたフレーム特徴量との類似度を
算出する。なお、類似度算出部４０における類似度算出
は、フレーム特徴量単位で行い、各フレーム特徴量に対
する類似度を出力する。また、この類似度算出は、上述
した関連技術等に開示された方法によって、極めて高速
に行うことが可能である。
抽出部３０から出力された画像特徴量と、フレーム特徴
量蓄積部２０に蓄積されたフレーム特徴量との類似度を
算出する。なお、類似度算出部４０における類似度算出
は、フレーム特徴量単位で行い、各フレーム特徴量に対
する類似度を出力する。また、この類似度算出は、上述
した関連技術等に開示された方法によって、極めて高速
に行うことが可能である。
【００３７】その後、フレーム特徴量統合部５０内のフ
レーム特徴量選定部５１において、フレーム特徴量蓄積
部２０に蓄積されたフレーム特徴量のうち、類似度算出
部４０にて算出された類似度が予め決められた条件を満
たすフレーム特徴量のみを選定する。ここで、フレーム
特徴量選定部５１にてフレーム特徴量を選定するための
予め決められた条件としては、類似度算出部４０にて算
出された類似度が予め決められたしきい値を超えたフレ
ーム特徴量のみを選定すること等が考えられ、また、こ
のしきい値は適応的に変更することが可能である。
レーム特徴量選定部５１において、フレーム特徴量蓄積
部２０に蓄積されたフレーム特徴量のうち、類似度算出
部４０にて算出された類似度が予め決められた条件を満
たすフレーム特徴量のみを選定する。ここで、フレーム
特徴量選定部５１にてフレーム特徴量を選定するための
予め決められた条件としては、類似度算出部４０にて算
出された類似度が予め決められたしきい値を超えたフレ
ーム特徴量のみを選定すること等が考えられ、また、こ
のしきい値は適応的に変更することが可能である。
【００３８】次に、類似区間生成部５２において、フレ
ーム特徴量選定部５１にて選定されたフレーム特徴量の
うち、時間的に連続しているものを１つのグループに統
合し、類似区間として出力する。ここで、連続して存在
する区間とは、フレーム特徴量選定部５１にて選定され
たフレーム特徴量が時間的に連続して存在する区間、つ
まり、フレーム特徴量選定部５１にて選定されたフレー
ム特徴量とフレーム特徴量との間にフレーム特徴量選定
部５１にて選定されなかったフレーム特徴量が存在しな
い区間である。ただし、フレーム特徴量が時間的に２つ
以上連続せず１つのみ存在する場合は、１つのフレーム
特徴量を類似区間として出力する。
ーム特徴量選定部５１にて選定されたフレーム特徴量の
うち、時間的に連続しているものを１つのグループに統
合し、類似区間として出力する。ここで、連続して存在
する区間とは、フレーム特徴量選定部５１にて選定され
たフレーム特徴量が時間的に連続して存在する区間、つ
まり、フレーム特徴量選定部５１にて選定されたフレー
ム特徴量とフレーム特徴量との間にフレーム特徴量選定
部５１にて選定されなかったフレーム特徴量が存在しな
い区間である。ただし、フレーム特徴量が時間的に２つ
以上連続せず１つのみ存在する場合は、１つのフレーム
特徴量を類似区間として出力する。
【００３９】図２は、図１に示した類似区間生成部５２
における処理を説明するための図である。なお、図２に
おける横軸は時間軸であり、フレーム特徴量蓄積部２０
に蓄積された各フレーム特徴量の時間位置を示し、ま
た、縦軸は類似度を表し、類似度算出部４０にて算出さ
れた各フレーム特徴量における類似度を示している。
における処理を説明するための図である。なお、図２に
おける横軸は時間軸であり、フレーム特徴量蓄積部２０
に蓄積された各フレーム特徴量の時間位置を示し、ま
た、縦軸は類似度を表し、類似度算出部４０にて算出さ
れた各フレーム特徴量における類似度を示している。
【００４０】図２に示すように、類似区間生成部５２に
おいては、フレーム特徴量選定部５１にて選定されたフ
レーム特徴量が時間的に連続して存在する区間のフレー
ム特徴量を１つのグループに統合し、類似区間として出
力する。
おいては、フレーム特徴量選定部５１にて選定されたフ
レーム特徴量が時間的に連続して存在する区間のフレー
ム特徴量を１つのグループに統合し、類似区間として出
力する。
【００４１】その後、類似画像選定部６０において、類
似区間生成部５２から出力された類似区間内にて最も類
似度の高いフレーム特徴量を１つまたは複数選択する。
そして、類似画像選定部６０にて選択されたフレーム特
徴量を有する画像が検索結果として提示される。
似区間生成部５２から出力された類似区間内にて最も類
似度の高いフレーム特徴量を１つまたは複数選択する。
そして、類似画像選定部６０にて選択されたフレーム特
徴量を有する画像が検索結果として提示される。
【００４２】上述したように本形態においては、検索対
象となる動画像から抽出された全てのフレーム特徴量が
問い合わせ画像の画像特徴量と照合されるため、フレー
ム単位で類似画像の検索を行うことができ、さらに、全
ての類似フレームを提示するのではなく、時間的に連続
して存在する類似フレームをそれぞれ１つのグループに
統合し、それぞれのグループの中から最も類似度の高い
画像をいくつか選定するため、類似画像候補数を抑えた
画像検索を実現することができる。
象となる動画像から抽出された全てのフレーム特徴量が
問い合わせ画像の画像特徴量と照合されるため、フレー
ム単位で類似画像の検索を行うことができ、さらに、全
ての類似フレームを提示するのではなく、時間的に連続
して存在する類似フレームをそれぞれ１つのグループに
統合し、それぞれのグループの中から最も類似度の高い
画像をいくつか選定するため、類似画像候補数を抑えた
画像検索を実現することができる。
【００４３】さらに、シーン中の特定場面をフレーム単
位で特定することが可能となる。また、この結果、問い
合わせ画像と類似した画像が番組中に含まれる場合、シ
ーンの冒頭でない場合も番組の頭出しを正確に行うこと
も可能となる。
位で特定することが可能となる。また、この結果、問い
合わせ画像と類似した画像が番組中に含まれる場合、シ
ーンの冒頭でない場合も番組の頭出しを正確に行うこと
も可能となる。
【００４４】（第２の実施の形態）図３は，本発明の画
像検索装置の第２の実施の形態を示すブロック図であ
る。
像検索装置の第２の実施の形態を示すブロック図であ
る。
【００４５】本形態は図３に示すように、検索対象動画
像が入力され、入力された検索対象動画像に含まれる各
フレームの特徴量を抽出し、フレーム特徴量として出力
するフレーム特徴量抽出部１０と、フレーム特徴量抽出
部１０から出力されたフレーム特徴量が蓄積されるフレ
ーム特徴量蓄積部２０と、問い合わせ動画像が入力さ
れ、入力された問い合わせ動画像の特徴量を抽出し、動
画像特徴量として出力する動画像特徴量抽出部１３０
と、フレーム特徴量蓄積部２０に蓄積されたフレーム特
徴量から、動画像特徴量抽出部１３０に入力される問い
合わせ動画像が有する時間長に相当するフレーム特徴量
を切り出し、動画像特徴量として出力する動画像特徴量
切り出し部１７０と、動画像特徴量抽出部１３０から出
力された動画像特徴量と動画像特徴量切り出し部１７０
から出力された動画像特徴量とを比較し、両者の類似度
を算出する類似度算出部１４０と、動画像特徴量切り出
し部１７０から出力された動画像特徴量のうち、類似度
算出部１４０にて算出された類似度が予め決められた条
件を満たす動画像特徴量を１つまたは複数のグループに
統合し、出力する動画像特徴量統合部１５０と、動画像
特徴量統合部１５０から出力された動画像特徴量のグル
ープの中から最も類似度の高い動画像特徴量を１つまた
は複数選択し、出力する類似動画像選択部１６０とから
構成されており、類似動画像選択部１６０から出力され
た動画像特徴量を有する動画像が検索結果として出力さ
れる。また、動画像特徴量統合部１５０は、動画像特徴
量切り出し部１７０から出力された動画像特徴量のう
ち、類似度算出部１４０にて算出された類似度が予め決
められた値以上となる動画像特徴量を選定する動画像特
徴量選定部１５１と、動画像特徴量選定部１５１にて選
定された動画像特徴量のうち、時間的に連続しているも
のあるいは部分的に重複するものを１つのグループに統
合し、類似区間として出力する類似区間生成部１５２と
から構成されている。
像が入力され、入力された検索対象動画像に含まれる各
フレームの特徴量を抽出し、フレーム特徴量として出力
するフレーム特徴量抽出部１０と、フレーム特徴量抽出
部１０から出力されたフレーム特徴量が蓄積されるフレ
ーム特徴量蓄積部２０と、問い合わせ動画像が入力さ
れ、入力された問い合わせ動画像の特徴量を抽出し、動
画像特徴量として出力する動画像特徴量抽出部１３０
と、フレーム特徴量蓄積部２０に蓄積されたフレーム特
徴量から、動画像特徴量抽出部１３０に入力される問い
合わせ動画像が有する時間長に相当するフレーム特徴量
を切り出し、動画像特徴量として出力する動画像特徴量
切り出し部１７０と、動画像特徴量抽出部１３０から出
力された動画像特徴量と動画像特徴量切り出し部１７０
から出力された動画像特徴量とを比較し、両者の類似度
を算出する類似度算出部１４０と、動画像特徴量切り出
し部１７０から出力された動画像特徴量のうち、類似度
算出部１４０にて算出された類似度が予め決められた条
件を満たす動画像特徴量を１つまたは複数のグループに
統合し、出力する動画像特徴量統合部１５０と、動画像
特徴量統合部１５０から出力された動画像特徴量のグル
ープの中から最も類似度の高い動画像特徴量を１つまた
は複数選択し、出力する類似動画像選択部１６０とから
構成されており、類似動画像選択部１６０から出力され
た動画像特徴量を有する動画像が検索結果として出力さ
れる。また、動画像特徴量統合部１５０は、動画像特徴
量切り出し部１７０から出力された動画像特徴量のう
ち、類似度算出部１４０にて算出された類似度が予め決
められた値以上となる動画像特徴量を選定する動画像特
徴量選定部１５１と、動画像特徴量選定部１５１にて選
定された動画像特徴量のうち、時間的に連続しているも
のあるいは部分的に重複するものを１つのグループに統
合し、類似区間として出力する類似区間生成部１５２と
から構成されている。
【００４６】以下に、上記のように構成された画像検索
装置における画像検索方法について説明する。
装置における画像検索方法について説明する。
【００４７】フレーム特徴量抽出部１０には、検索対象
となる動画像が入力され、また、動画像特徴量抽出部１
３０には、問い合わせ動画像が入力される。
となる動画像が入力され、また、動画像特徴量抽出部１
３０には、問い合わせ動画像が入力される。
【００４８】フレーム特徴量抽出部１０においては、入
力された検索対象動画像に含まれる各フレームの特徴量
を抽出し、フレーム特徴量として出力する。なお、フレ
ーム特等量抽出部１０におけるフレーム特徴量の抽出方
法としては、第１の実施の形態にて説明した方法等が用
いられる。
力された検索対象動画像に含まれる各フレームの特徴量
を抽出し、フレーム特徴量として出力する。なお、フレ
ーム特等量抽出部１０におけるフレーム特徴量の抽出方
法としては、第１の実施の形態にて説明した方法等が用
いられる。
【００４９】フレーム特徴量抽出部１０から出力された
フレーム特徴量は、フレーム特徴量蓄積部２０に蓄積さ
れる。
フレーム特徴量は、フレーム特徴量蓄積部２０に蓄積さ
れる。
【００５０】動画像特徴量切り出し部１７０において
は、フレーム特徴量蓄積部２０に蓄積されたフレーム特
徴量から、動画像特徴量抽出部１３０に入力される問い
合わせ動画像が有する時間長に相当するフレーム特徴量
を切り出し、動画像特徴量として出力する。
は、フレーム特徴量蓄積部２０に蓄積されたフレーム特
徴量から、動画像特徴量抽出部１３０に入力される問い
合わせ動画像が有する時間長に相当するフレーム特徴量
を切り出し、動画像特徴量として出力する。
【００５１】また、動画像特徴量抽出部１３０において
は、入力された問い合わせ動画像の特徴量を抽出し、動
画像特徴量として出力する。
は、入力された問い合わせ動画像の特徴量を抽出し、動
画像特徴量として出力する。
【００５２】類似度算出部１４０においては、動画像特
徴量抽出部１３０から出力された動画像特徴量と、動画
像特徴量切り出し部１７０から出力された動画像特徴量
との類似度を算出する。なお、類似度算出部１４０にお
ける類似度算出は、動画像特徴量抽出部１３０から出力
された動画像特徴量と動画像特徴量切り出し部１７０か
ら出力された動画像特徴量とに含まれる各フレーム特徴
量単位で類似度を算出し、各フレーム特徴量に対する類
似度の合計を算出することにより行う。また、この類似
度算出は、上述した関連技術等に開示された方法によっ
て、極めて高速に類似度計算を行うことが可能である。
また、類似度算出部１４０にて算出される類似度は、各
フレーム特徴量に対する類似度の合計だけでなく、平均
値、メジアン、最頻値等として出力することも可能であ
る。
徴量抽出部１３０から出力された動画像特徴量と、動画
像特徴量切り出し部１７０から出力された動画像特徴量
との類似度を算出する。なお、類似度算出部１４０にお
ける類似度算出は、動画像特徴量抽出部１３０から出力
された動画像特徴量と動画像特徴量切り出し部１７０か
ら出力された動画像特徴量とに含まれる各フレーム特徴
量単位で類似度を算出し、各フレーム特徴量に対する類
似度の合計を算出することにより行う。また、この類似
度算出は、上述した関連技術等に開示された方法によっ
て、極めて高速に類似度計算を行うことが可能である。
また、類似度算出部１４０にて算出される類似度は、各
フレーム特徴量に対する類似度の合計だけでなく、平均
値、メジアン、最頻値等として出力することも可能であ
る。
【００５３】その後、動画像特徴量統合部１５０内の動
画像特徴量選定部１５１において、動画像特徴量切り出
し部１７０から出力された動画像特徴量のうち、類似度
算出部１４０にて算出された類似度が予め決められた条
件を満たす動画像特徴量のみを選定する。ここで、動画
像特徴量選定部１５１にて動画像特徴量を選定するため
の予め決められた条件としては、類似度算出部１４０に
て算出された類似度が予め決められたしきい値を超えた
動画像特徴量のみを選定すること等が考えられ、また、
このしきい値は適応的に変更することが可能である。
画像特徴量選定部１５１において、動画像特徴量切り出
し部１７０から出力された動画像特徴量のうち、類似度
算出部１４０にて算出された類似度が予め決められた条
件を満たす動画像特徴量のみを選定する。ここで、動画
像特徴量選定部１５１にて動画像特徴量を選定するため
の予め決められた条件としては、類似度算出部１４０に
て算出された類似度が予め決められたしきい値を超えた
動画像特徴量のみを選定すること等が考えられ、また、
このしきい値は適応的に変更することが可能である。
【００５４】次に、類似区間生成部１５２において、動
画像特徴量選定部１５１にて選定された動画像特徴量の
うち、時間的に連続しているものあるいは部分的に重複
するものを１つのグループに統合し、類似区間として出
力する。
画像特徴量選定部１５１にて選定された動画像特徴量の
うち、時間的に連続しているものあるいは部分的に重複
するものを１つのグループに統合し、類似区間として出
力する。
【００５５】図４は、図３に示した類似区間生成部１５
２における処理を説明するための図である。
２における処理を説明するための図である。
【００５６】図４に示すように、動画像特徴量切り出し
部１７０から出力された動画像特徴量連続して存在して
いる場合、動画像特徴量が連続して存在する区間を１つ
にまとめ、類似区間を生成する。
部１７０から出力された動画像特徴量連続して存在して
いる場合、動画像特徴量が連続して存在する区間を１つ
にまとめ、類似区間を生成する。
【００５７】その後、類似動画像選定部１６０におい
て、類似区間生成部１５２から出力された類似区間内に
て最も類似度の高い動画像特徴量を１つまたは複数選択
する。そして、類似動画像選定部１６０にて選択された
動画像特徴量を有する画像が検索結果として提示され
る。
て、類似区間生成部１５２から出力された類似区間内に
て最も類似度の高い動画像特徴量を１つまたは複数選択
する。そして、類似動画像選定部１６０にて選択された
動画像特徴量を有する画像が検索結果として提示され
る。
【００５８】上述したように本形態においては、検索対
象となる動画像から抽出された全てのフレーム特徴量が
問い合わせ動画像の動画像特徴量と照合されるため、フ
レーム単位で類似動画像区間の検索を行うことができ、
さらに、全ての類似区間を提示するのではなく、類似動
画像特徴量が連続して存在する区間をそれぞれ１つのグ
ループに統合し、それぞれのグループの中から最も類似
した動画像をいくつか選定するため、類似動画像候補数
を抑えた動画像検索を実現することができる。
象となる動画像から抽出された全てのフレーム特徴量が
問い合わせ動画像の動画像特徴量と照合されるため、フ
レーム単位で類似動画像区間の検索を行うことができ、
さらに、全ての類似区間を提示するのではなく、類似動
画像特徴量が連続して存在する区間をそれぞれ１つのグ
ループに統合し、それぞれのグループの中から最も類似
した動画像をいくつか選定するため、類似動画像候補数
を抑えた動画像検索を実現することができる。
【００５９】さらに、本形態においては、特定の番組オ
ープニング、ニュースの共通ソース等をスタート位置が
ずれることなく確実に検索できる。また、例えばあるＣ
Ｍを問い合わせ動画像として入力することにより、その
ＣＭの放送回数や放送時間帯をフレーム単位で正確に知
ることができる。さらに、例えばサッカーのハイライト
シーンを問い合わせ動画像として入力することにより、
類似した動画像区間としてサッカーの中継番組から同一
または類似場面を検出するといった検索にも応用でき
る。同一内容の動画像でなくても、最も類似した動画像
区間を得ることができる。
ープニング、ニュースの共通ソース等をスタート位置が
ずれることなく確実に検索できる。また、例えばあるＣ
Ｍを問い合わせ動画像として入力することにより、その
ＣＭの放送回数や放送時間帯をフレーム単位で正確に知
ることができる。さらに、例えばサッカーのハイライト
シーンを問い合わせ動画像として入力することにより、
類似した動画像区間としてサッカーの中継番組から同一
または類似場面を検出するといった検索にも応用でき
る。同一内容の動画像でなくても、最も類似した動画像
区間を得ることができる。
【００６０】なお、上述した２つの実施の形態は、本発
明の好適な実施の一例であり、本発明は、これらの実施
の形態に限定されるものではなく、本発明の要旨を逸脱
しない範囲内において種々変形実施が可能である。
明の好適な実施の一例であり、本発明は、これらの実施
の形態に限定されるものではなく、本発明の要旨を逸脱
しない範囲内において種々変形実施が可能である。
【００６１】また、上述した画像検索方法においては、
そのプログラムをＥＰＲＯＭ等の記録媒体に記録し、汎
用することも可能である。
そのプログラムをＥＰＲＯＭ等の記録媒体に記録し、汎
用することも可能である。
【００６２】
【発明の効果】以上説明したように、本発明の画像検索
装置においては、問い合わせ画像を検索対象となる動画
像から抽出された全てのフレーム特徴量と照合するた
め、フレーム単位で類似画像の検索を行うことができ、
また、検索結果として全ての類似フレームを提示するの
ではなく、類似フレームが連続して存在する区間をそれ
ぞれ少なくとも１つのグループとし、それぞれの区間か
ら最も類似した画像をいくつか選定することによって類
似画像を検索するため、類似画像候補数を抑えた画像検
索を実現することができる。
装置においては、問い合わせ画像を検索対象となる動画
像から抽出された全てのフレーム特徴量と照合するた
め、フレーム単位で類似画像の検索を行うことができ、
また、検索結果として全ての類似フレームを提示するの
ではなく、類似フレームが連続して存在する区間をそれ
ぞれ少なくとも１つのグループとし、それぞれの区間か
ら最も類似した画像をいくつか選定することによって類
似画像を検索するため、類似画像候補数を抑えた画像検
索を実現することができる。
【００６３】また、問い合わせ動画像を検索対象となる
動画像から抽出された全てのフレーム特徴量と照合する
ため、フレーム単位で類似動画像区間の検索を行うこと
ができ、また、全ての類似区間を提示するのではなく、
類似動画像特徴量が連続して存在する区間をそれぞれ少
なくとも１つのグループとし、それぞれの区間から最も
類似した動画像をいくつか選定することによって類似画
像を検索するため、類似動画像候補数を抑えた動画像検
索を実現することができる。
動画像から抽出された全てのフレーム特徴量と照合する
ため、フレーム単位で類似動画像区間の検索を行うこと
ができ、また、全ての類似区間を提示するのではなく、
類似動画像特徴量が連続して存在する区間をそれぞれ少
なくとも１つのグループとし、それぞれの区間から最も
類似した動画像をいくつか選定することによって類似画
像を検索するため、類似動画像候補数を抑えた動画像検
索を実現することができる。
【図１】本発明の画像検索装置の第１の実施の形態を示
すブロック図である。
すブロック図である。
【図２】図１に示した類似区間生成部における処理を説
明するための図である。
明するための図である。
【図３】本発明の画像検索装置の第２の実施の形態を示
すブロック図である。
すブロック図である。
【図４】図３に示した類似区間生成部における処理を説
明するための図である。
明するための図である。
１０ フレーム特徴量抽出部 ２０ フレーム特徴量蓄積部 ３０ 画像特徴量抽出部 ４０，１４０ 類似度算出部 ５０ フレーム特徴量統合部 ５１ フレーム特徴量選定部 ５２，１５２ 類似区間生成部 ６０ 類似画像選定部 １３０ 動画像特徴量抽出部 １５０ 動画像特徴量統合部 １５１ 動画像特徴量選定部 １６０ 類似動画像選定部 １７０ 動画像特徴量切り出し部
Claims (11)
- 【請求項１】 検索対象動画像の中から所定の問い合わ
せ画像に類似する画像を検索する画像検索装置であっ
て、 前記検索対象動画像に含まれる少なくとも一部のフレー
ムの特徴量を抽出し、フレーム特徴量として出力するフ
レーム特徴量抽出手段と、 前記フレーム特徴量抽出手段から出力されたフレーム特
徴量を蓄積するフレーム特徴量蓄積手段と、 前記問い合わせ画像の特徴量を抽出し、画像特徴量とし
て出力する画像特徴量抽出手段と、 前記フレーム特徴量蓄積手段に蓄積されたフレーム特徴
量と前記画像特徴量抽出手段から出力された画像特徴量
とを比較して両者の類似度を算出する類似度算出手段
と、 前記フレーム特徴量蓄積手段に蓄積されたフレーム特徴
量のうち、前記類似度が予め定めた条件を満たすフレー
ム特徴量を少なくとも１つのグループに統合するフレー
ム特徴量統合手段と、 前記フレーム特徴量統合手段にて統合されたグループ内
にて最も類似度の高いフレーム特徴量を少なくとも１つ
選択する類似画像選定手段とを具備し、 前記類似画像選定手段にて選択されたフレーム特徴量を
有する画像を検索結果として提示することを特徴とする
画像検索装置。 - 【請求項２】 請求項１に記載の画像検索装置におい
て、 前記フレーム特徴量統合手段は、 前記フレーム特徴量蓄積手段に蓄積されたフレーム特徴
量のうち、前記類似度算出手段にて算出された類似度が
予め決められたしきい値よりも高いフレーム特徴量を選
定するフレーム特徴量選定手段と、 前記フレーム特徴量選定手段にて選定されたフレーム特
徴量のうち、時間的に連続しているものを１つのグルー
プに統合し、出力する類似区間生成手段とを有すること
を特徴とする画像検索装置。 - 【請求項３】 検索対象動画像の中から所定の問い合わ
せ動画像に類似する動画像区間を検索する画像検索装置
であって、 前記検索対象動画像に含まれる少なくとも一部のフレー
ムの特徴量を抽出し、フレーム特徴量として出力するフ
レーム特徴量抽出手段と、 前記フレーム特徴量抽出手段から出力されたフレーム特
徴量を蓄積するフレーム特徴量蓄積手段と、 前記問い合わせ動画像に含まれる少なくとも一部のフレ
ームの特徴量を抽出し、第１の動画像特徴量として出力
する動画像特徴量抽出手段と、 前記フレーム特徴量蓄積手段に蓄積されたフレーム特徴
量から、前記動画像特徴量抽出手段に入力される問い合
わせ動画像が有する時間長に相当するフレーム特徴量を
切り出し、第２の動画像特徴量として出力する動画像特
徴量切り出し手段と、 前記動画像特徴量抽出手段から出力された前記第１の動
画像特徴量と前記動画像特徴量切り出し手段から出力さ
れた前記第２の動画像特徴量とを比較し、両者の類似度
を算出する類似度算出手段と、 前記動画像特徴量切り出し手段から出力された前記第２
の動画像特徴量のうち、前記類似度が予め定めた条件を
満たす第２の動画像特徴量を少なくとも１つのグループ
に統合する動画像特徴量統合手段と、 前記動画像特徴量統合手段にて統合されたグループ内に
て最も類似度の高い第２の動画像特徴量を少なくとも１
つ選択する類似画像選定手段とを具備し、 前記類似画像選定手段にて選択された第２の動画像特徴
量を有する画像を検索結果として提示することを特徴と
する画像検索装置。 - 【請求項４】 請求項３に記載の画像検索装置におい
て、 前記動画像特徴量統合手段は、 前記動画像特徴量切り出し手段から出力された前記第２
の動画像特徴量のうち、前記類似度算出手段にて算出さ
れた類似度が予め決められたしきい値よりも高い第２の
動画像特徴量を選定する動画像特徴量選定手段と、 前記動画像特徴量選定手段にて選定された第２の動画像
特徴量のうち、時間的に連続または部分的に重複してい
るものを１つのグループに統合し、出力する類似区間生
成手段とを有することを特徴とする画像検索装置。 - 【請求項５】 請求項１乃至４のいずれか１項に記載の
画像検索装置において、 前記フレーム特徴量抽出手段は、前記検索対象動画像に
含まれる少なくとも一部のフレームについて縮小画像を
生成し、該縮小画像に対して周波数変換及び量子化を施
すことによって前記フレーム特徴量を抽出することを特
徴とする画像検索装置。 - 【請求項６】 検索対象動画像の中から所定の問い合わ
せ画像に類似する画像を検索する画像検索方法であっ
て、 前記検索対象動画像に含まれる少なくとも一部のフレー
ムのフレーム特徴量を抽出する処理と、 前記抽出されたフレーム特徴量を蓄積する処理と、 前記問い合わせ画像の画像特徴量を抽出する処理と、 前記フレーム特徴量と前記画像特徴量とを比較して両者
の類似度を算出する処理と、 前記類似度が予め定めた条件を満たすフレーム特徴量を
少なくとも１つのグループに統合する処理と、 前記統合されたグループ内にて最も類似度の高いフレー
ム特徴量を少なくとも１つ選択する処理と、 前記選択されたフレーム特徴量を有する画像を検索結果
として提示する処理とを順次行うことを特徴とする画像
検索方法。 - 【請求項７】 請求項６に記載の画像検索方法におい
て、 前記フレーム特徴量のグループへの統合は、前記類似度
が予め決められたしきい値よりも高いフレーム特徴量を
選定し、選定されたフレーム特徴量のうち、時間的に連
続しているものを１つのグループに統合することによっ
て行うことを特徴とする画像検索方法。 - 【請求項８】 検索対象動画像の中から所定の問い合わ
せ動画像に類似する動画像区間を検索する画像検索方法
であって、 前記検索対象動画像に含まれる少なくとも一部のフレー
ム特徴量を抽出する処理と、 前記フレーム特徴量を蓄積する処理と、 前記問い合わせ動画像に含まれる少なくとも一部のフレ
ームの動画像特徴量を抽出する処理と、 前記フレーム特徴量から、前記問い合わせ動画像が有す
る時間長に相当するフレームの動画像特徴量を切り出す
処理と、 前記問い合わせ動画像から抽出された動画像特徴量と前
記フレーム特徴量から切り出された動画像特徴量とを比
較し、両者の類似度を算出する処理と、 前記フレーム特徴量から切り出された動画像特徴量のう
ち、前記類似度が予め定めた条件を満たす動画像特徴量
を少なくとも１つのグループに統合する処理と、 前記統合されたグループ内にて最も類似度の高い動画像
特徴量を少なくとも１つ選択する処理と、 前記選択された動画像特徴量を有する画像を検索結果と
して提示する処理とを順次行うことを特徴とする画像検
索方法。 - 【請求項９】 請求項８に記載の画像検索方法におい
て、 前記動画像特徴量のグループへの統合は、前記類似度が
予め決められたしきい値よりも高い動画像特徴量を選定
し、選定された動画像特徴量のうち、時間的に連続また
は部分的に重複しているものを１つのグループに統合す
ることによって行うことを特徴とする画像検索方法。 - 【請求項１０】 請求項６乃至９のいずれか1項に記載
の画像検索方法において、 前記フレーム抽出量は、前記検索対象動画像に含まれる
少なくとも一部のフレームについて縮小画像を生成し、
該縮小画像に対して周波数変換及び量子化を施すことに
よって抽出することを特徴とする画像検索方法。 - 【請求項１１】 請求項６乃至１０のいずれか１項に記
載の画像検索方法が書き込まれたことを特徴とする記録
媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000307775A JP2002117037A (ja) | 2000-10-06 | 2000-10-06 | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
| US09/955,142 US7248782B2 (en) | 2000-10-06 | 2001-09-19 | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method |
| EP01123675A EP1195696A3 (en) | 2000-10-06 | 2001-10-02 | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000307775A JP2002117037A (ja) | 2000-10-06 | 2000-10-06 | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002117037A true JP2002117037A (ja) | 2002-04-19 |
Family
ID=18788222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000307775A Pending JP2002117037A (ja) | 2000-10-06 | 2000-10-06 | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7248782B2 (ja) |
| EP (1) | EP1195696A3 (ja) |
| JP (1) | JP2002117037A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2008149448A1 (ja) * | 2007-06-07 | 2010-08-19 | 富士通株式会社 | 動画像類似判定装置、符号化装置、および特徴量算出方法 |
| JP2010283542A (ja) * | 2009-06-03 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
| JP2011180801A (ja) * | 2010-03-01 | 2011-09-15 | Kddi Corp | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 |
| JP2012099974A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2013070158A (ja) * | 2011-09-21 | 2013-04-18 | Kddi Corp | 映像検索装置およびプログラム |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3744464B2 (ja) * | 2002-05-20 | 2006-02-08 | ソニー株式会社 | 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体 |
| US7206773B2 (en) * | 2003-04-11 | 2007-04-17 | Ricoh Company, Ltd | Techniques for accessing information captured during a presentation using a paper document handout for the presentation |
| US7664733B2 (en) * | 2003-04-11 | 2010-02-16 | Ricoh Company, Ltd. | Techniques for performing operations on a source symbolic document |
| US7266568B1 (en) * | 2003-04-11 | 2007-09-04 | Ricoh Company, Ltd. | Techniques for storing multimedia information with source documents |
| JP2004348706A (ja) * | 2003-04-30 | 2004-12-09 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| WO2007015228A1 (en) * | 2005-08-02 | 2007-02-08 | Mobixell Networks | Content distribution and tracking |
| US8145656B2 (en) * | 2006-02-07 | 2012-03-27 | Mobixell Networks Ltd. | Matching of modified visual and audio media |
| US8639028B2 (en) * | 2006-03-30 | 2014-01-28 | Adobe Systems Incorporated | Automatic stacking based on time proximity and visual similarity |
| US20090028517A1 (en) * | 2007-07-27 | 2009-01-29 | The University Of Queensland | Real-time near duplicate video clip detection method |
| US8081823B2 (en) * | 2007-11-20 | 2011-12-20 | Seiko Epson Corporation | Segmenting a string using similarity values |
| CN104537127B (zh) * | 2009-01-23 | 2018-04-10 | 日本电气株式会社 | 视频描述符生成装置 |
| US8630489B2 (en) * | 2009-05-05 | 2014-01-14 | Microsoft Corporation | Efficient image matching |
| US20100312828A1 (en) * | 2009-06-03 | 2010-12-09 | Mobixell Networks Ltd. | Server-controlled download of streaming media files |
| CN101576932B (zh) * | 2009-06-16 | 2012-07-04 | 阿里巴巴集团控股有限公司 | 近重复图片的计算机查找方法和装置 |
| US8527649B2 (en) * | 2010-03-09 | 2013-09-03 | Mobixell Networks Ltd. | Multi-stream bit rate adaptation |
| US8832709B2 (en) | 2010-07-19 | 2014-09-09 | Flash Networks Ltd. | Network optimization |
| WO2012064587A2 (en) * | 2010-11-11 | 2012-05-18 | Google Inc. | Vector transformation for indexing, similarity search and classification |
| US8688074B2 (en) * | 2011-02-28 | 2014-04-01 | Moisixell Networks Ltd. | Service classification of web traffic |
| US8983150B2 (en) | 2012-12-17 | 2015-03-17 | Adobe Systems Incorporated | Photo importance determination |
| US8897556B2 (en) | 2012-12-17 | 2014-11-25 | Adobe Systems Incorporated | Photo chapters organization |
| CN111368143A (zh) * | 2020-03-13 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 一种视频相似度检索方法、装置、电子设备及存储介质 |
| CN112115841A (zh) * | 2020-09-11 | 2020-12-22 | 中国石油集团西南管道有限公司 | 管道工程建设的施工机具核准系统及方法 |
| US12130891B2 (en) * | 2020-11-05 | 2024-10-29 | Samsung Electronics Co., Ltd. | Method of live video event detection based on natural language queries, and an apparatus for the same |
| CN113918768B (zh) * | 2021-09-29 | 2026-01-23 | 深圳市联洲国际技术有限公司 | 视频的检索方法、检索装置与电子设备 |
| CN113987270B (zh) * | 2021-10-25 | 2026-01-27 | 特赞（上海）信息科技有限公司 | 相似视频片段的确定方法、装置、终端及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3302035B2 (ja) | 1991-12-26 | 2002-07-15 | オリンパス光学工業株式会社 | カメラ |
| US6195497B1 (en) * | 1993-10-25 | 2001-02-27 | Hitachi, Ltd. | Associated image retrieving apparatus and method |
| JP3808153B2 (ja) | 1997-01-17 | 2006-08-09 | 富士通株式会社 | 動画像検索システム |
| US5949904A (en) * | 1997-11-06 | 1999-09-07 | International Business Machines Corporation | Method, apparatus and computer program product for querying by image colors using JPEG image format |
| JP4021545B2 (ja) * | 1998-03-12 | 2007-12-12 | 株式会社東芝 | デジタル動画像処理装置およびデジタル動画像処理方法 |
| US6240423B1 (en) | 1998-04-22 | 2001-05-29 | Nec Usa Inc. | Method and system for image querying using region based and boundary based image matching |
| JP3496559B2 (ja) | 1999-01-06 | 2004-02-16 | 日本電気株式会社 | 画像特徴量生成装置、並びに画像特徴量生成方法 |
| DE60025406T2 (de) * | 1999-03-02 | 2006-09-21 | Hitachi Denshi K.K. | Laufbilderinformationsanzeigeverfahren und -gerät |
| JP3451985B2 (ja) * | 1999-05-27 | 2003-09-29 | 日本電気株式会社 | 動画像類似度算出装置および方法 |
-
2000
- 2000-10-06 JP JP2000307775A patent/JP2002117037A/ja active Pending
-
2001
- 2001-09-19 US US09/955,142 patent/US7248782B2/en not_active Expired - Fee Related
- 2001-10-02 EP EP01123675A patent/EP1195696A3/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2008149448A1 (ja) * | 2007-06-07 | 2010-08-19 | 富士通株式会社 | 動画像類似判定装置、符号化装置、および特徴量算出方法 |
| JP2010283542A (ja) * | 2009-06-03 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
| JP2011180801A (ja) * | 2010-03-01 | 2011-09-15 | Kddi Corp | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 |
| JP2012099974A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2013070158A (ja) * | 2011-09-21 | 2013-04-18 | Kddi Corp | 映像検索装置およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7248782B2 (en) | 2007-07-24 |
| EP1195696A3 (en) | 2005-12-14 |
| EP1195696A2 (en) | 2002-04-10 |
| US20020009286A1 (en) | 2002-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002117037A (ja) | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 | |
| US7376274B2 (en) | Method and apparatus for use in video searching | |
| JP4559935B2 (ja) | 画像記憶装置及び方法 | |
| US6342904B1 (en) | Creating a slide presentation from full motion video | |
| EP1081960B1 (en) | Signal processing method and video/voice processing device | |
| US8184947B2 (en) | Electronic apparatus, content categorizing method, and program therefor | |
| KR100464075B1 (ko) | 비디오 하이라이트 자동 생성 방법 및 장치 | |
| JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
| US7587124B2 (en) | Apparatus, method, and computer product for recognizing video contents, and for video recording | |
| US8437555B2 (en) | Method for identifying motion video content | |
| US20020051081A1 (en) | Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor | |
| US20030061612A1 (en) | Key frame-based video summary system | |
| US8233769B2 (en) | Content data processing device, content data processing method, program, and recording/ playing device | |
| EP1182584A2 (en) | Method and apparatus for video skimming | |
| JP5537285B2 (ja) | 要約映像生成装置及び要約映像生成プログラム | |
| KR20040070269A (ko) | 광고방송 및 다른 비디오 콘텐츠의 검출을 위한 패밀리히스토그램 기반으로 한 기술들 | |
| JP3451985B2 (ja) | 動画像類似度算出装置および方法 | |
| KR20090016384A (ko) | 프레임의 특정 방법 | |
| JP4021545B2 (ja) | デジタル動画像処理装置およびデジタル動画像処理方法 | |
| Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
| KR20030067135A (ko) | 내용기반 동영상 자동분할 기술을 응용한 인터넷 방송기술 | |
| JP2006039753A (ja) | 画像処理装置、画像処理方法 | |
| US7921010B2 (en) | Information processing apparatus, recording medium, and data signal | |
| US7747130B2 (en) | Apparatus and method for extracting representative still images from MPEG video | |
| US20100079673A1 (en) | Video processing apparatus and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041116 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041116 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060912 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070314 |