JP4359085B2

JP4359085B2 - コンテンツ特徴量抽出装置

Info

Publication number: JP4359085B2
Application number: JP2003186107A
Authority: JP
Inventors: 恵吾真島; 清一合志; 一人小川; 逸郎室田; 剛大竹; 誠一難波
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-06-30
Filing date: 2003-06-30
Publication date: 2009-11-04
Anticipated expiration: 2023-06-30
Also published as: JP2005018674A

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワークや記録媒体を介して流通しているコンテンツの特徴量抽出し、この抽出した特徴量を不正流通検出や類似検索に利用するコンテンツ特徴量抽出装置に関する。
【０００２】
【従来の技術】
近年のネットワークの高速化や記録媒体の大容量化に伴い、映像データ、音声データ等からなる大容量のデジタルコンテンツ（以下、コンテンツとする）を、高速のネットワークである公衆通信回線（光ファイバ通信回線、ＡＤＳＬ等）により配信、または、大容量の記録媒体である光ディスク（ＤＶＤ等）により流通させることを、誰でも容易に行える環境が整備されている。
【０００３】
また、ネットワークを介して配信されたコンテンツは蓄積が容易であり、記録媒体に記録されたコンテンツは配送が容易であるので、当該コンテンツの著作権者（以下、単に「著作権者」とする）や当該コンテンツを配信する配信事業者（以下、「コンテンツプロバイダ」とする）の許可を得ることなく、蓄積したコンテンツを複製した後、ネットワークを介して再配信したり、当該コンテンツを改竄（かいざん）したりするなど、不正行為を行うことが容易である。この不正行為がコンテンツを流通させる上での大きな阻害要因となっている。
【０００４】
特に、著作権者やコンテンツプロバイダの許可（許諾）を得ることなく、コンテンツの複製、再配信（再送信）を行う不正行為よる不正流通コンテンツは、著作権者やコンテンツプロバイダに多大な金銭的不利益をもたらすので、このような不正流通コンテンツを高精度、且つ、短時間に検出し、不正行為の抑止を図ることができる技術的な手段が模索されている。
【０００５】
また、インターネットの普及やデジタル情報機器（ストレージ装置等）の高性能化に伴い、大容量のコンテンツである動画像コンテンツ（大容量マルチメディアデータ）の利用が一般化している。このため、インターネット上やストレージ装置内に保持された膨大な数のコンテンツの中から、利用者が要望する特定のコンテンツを効率よく検索する手段が求められている。
【０００６】
不正流通コンテンツの検出や、特定のコンテンツの検索を行うために、コンテンツを構成する映像データの輝度や色情報等から当該コンテンツの特徴を表す特徴量データを抽出し、この抽出した特徴量データをコンテンツ間の同一性や類似性の判定（検定）に利用する特徴量抽出技術が有効な手段として提案されている。
【０００７】
従来の特徴量抽出技術の一つに、例えば、非特許文献１に記載されているように、放送番組の輝度及び色信号の時間軌跡を特徴量とし、この特徴量を手がかりにして動画像検索を実現するものがある。この手法では、まず、テレビ放送番組をＭＰＥＧ−２に変換し、ＭＰＥＧ−２ストリームの各イントラフレームのＤＣ成分を用いて、フレームの平均色情報を求める。続いて、このフレームの平均色情報を３次元の色空間に配置し、このフレームの平均色情報の軌跡を時間軸に投影し波形情報に変換する。そして、この波形情報で特定される波形を拡大縮小して、比較することによって動画像検索（動画像の類似検索）を行っている。
【０００８】
ここで、図１１を参照して、従来の動画像の類似検索を行う際の特徴量抽出方法および比較方法について説明する。
【０００９】
この図１１は、従来のコンテンツ特徴量抽出装置のブロック図であり、この図１１に示したように、コンテンツ特徴量抽出装置１０１は、動画像データ輝度・色差データ平均化部１０３と、参照コンテンツ輝度・色差データ平均化部１０５と、ダイナミックレンジ調整部１０７と、波形比較部１０９と、分散値算出部１１１と、閾値判定部１１３とを備えている。
【００１０】
動画像データ輝度・色差データ平均化部１０３は、動画像データを入力として、この動画像データの輝度信号（Ｙ）と、色差信号（Ｃｂ、Ｃｒ）とを用い、これらの信号をフレーム単位で平均化し、特徴量データ（波形）を出力するものである。
【００１１】
参照コンテンツ輝度・色差データ平均化部１０５は、参照コンテンツを入力として、この参照コンテンツの動画像データの輝度信号（Ｙ）と、色差信号（Ｃｂ、Ｃｒ）とを用い、これらの信号をフレーム単位で平均化し、比較波形データを出力するものである。
【００１２】
ダイナミックレンジ調整部１０７は、動画像データ輝度・色差データ平均化部１０３から出力された調整対象の波形である特徴量データの最大値および最小値を、参照コンテンツ輝度・色差データ平均化部１０５から出力された比較波形データの最大値および最小値に合わせるものである。
【００１３】
波形比較部１０９は、ダイナミックレンジ調整部１０７で最大値および最小値が調整された特徴量データおよび比較波形データの波形を比較する、つまり、各時点における両波形の差分値を、差分データ系列として出力するものである。
【００１４】
分散値算出部１１１は、波形比較部１０９から出力された差分データ系列から分散値を算出するものである。
【００１５】
閾値判定部１１３は、分散値算出部１１１で算出された分散値と、予め設定された閾値とに基づいて、閾値判定を行って、両波形（特徴量データ、比較波形データ）の一致、不一致を判定し、動画像データと参照コンテンツとの類似性を検出するものである。
【００１６】
また、コンテンツの特徴量を抽出する従来の技術に関して、例えば、ＩＳＯ／ＩＥＣ１５９３８−３「ＭＰＥＧ−７ビジュアル記述」では、映像データ（映像信号）の特徴を記述し、この記述した特徴を抽出する特徴量抽出アルゴリズムが規定されている。このビジュアル記述は、主として、映像データ（映像信号）ベースでの類似検索・フィルタリングのために用いられることが想定されており、このビジュアル記述の中で、映像データ上の色や形状等の低レベルの特徴量を記述する具体的なものとして、色の空間的な配置を周波数軸上で表現する「色配置記述（ＣｏｌｏｒＬａｙｏｕｔ）」が定義されている。
【００１７】
この色配置記述は、人間の視覚特性を反映させたもので、コンテンツを構成する各画像フレームに対して、高精度の検索を可能にしている。つまり、色配置記述によって、コンテンツ同士の類似性を検定する際に、不要な情報を周波数軸上で削除することができる。その結果、コンテンツの特徴を記述するデータ量が減少する。
【００１８】
【非特許文献１】
高橋、富永、杉浦、横井、寺島著“特徴的な動画像の画紋を用いた高能率動画像検索法”画像電子学会誌、第２９巻、第６号、ｐｐ８１８
−ｐｐ８２５（２０００）
【００１９】
【発明が解決しようとする課題】
しかしながら、図１１に示した従来のコンテンツ特徴量抽出装置１０１では、時間軸方向の波形データである特徴量データを動画像データの特徴量としているため、長時間の放送番組等のコンテンツでは、特徴量データのデータ量が膨大となってしまうという問題がある。
【００２０】
また、コンテンツ特徴量抽出装置１０１では、時間軸上において、直接、特徴量データと比較波形データとを比較しているので、編集されたコンテンツを検定する場合、例えば、放送番組の冒頭、途中または最後の部分が削除され、元々の放送番組と比較して欠落が生じている場合には、コンテンツの同一性または類似性の検出精度が著しく低下するという問題がある。
【００２１】
さらに、従来のビジュアル記述では、映像データ中の１フレームの画像データを対象に特徴量抽出を行っているので、このビジュアル記述を動画像データであるコンテンツに適用する場合、特徴量データのデータ量が膨大となり、さらに、編集されたコンテンツに対する耐性（検出精度を保つこと）が考慮されていない、つまり、コンテンツの同一性または類似性の検出精度が著しく低下するという問題がある。
【００２２】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、特徴量データのデータ量を増加させることなく、コンテンツの同一性または類似性の検出精度を維持することができるコンテンツ特徴量抽出装置、コンテンツ特徴量抽出プログラムおよびコンテンツ特徴量抽出方法を提供することにある。
【００２３】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載のコンテンツ特徴量抽出装置は、コンテンツを提供するコンテンツ提供事業者から提供され、ネットワークまたは記録媒体を介して流通する流通コンテンツを構成する特定の周波数パターンで表される流通コンテンツ特徴量データを抽出すると共に、この流通コンテンツ特徴量データと、前記コンテンツを構成する特定の周波数パターンで表される参照コンテンツ特徴量データとを比較するコンテンツ特徴量抽出装置であって、参照コンテンツ特徴量データ蓄積手段と、流通コンテンツ特徴量データ抽出手段と、特徴量データ比較手段と、を備え、流通コンテンツ特徴量データ抽出手段は、画素データ平均化手段と、データ並べ替え手段と、周波数変換手段と、周波数データ平均化手段と、周波数データ総和算出手段とを有していることを特徴とする。
【００２４】
かかる構成によれば、コンテンツ特徴量抽出装置は、参照コンテンツ特徴量データ蓄積手段に予め、コンテンツの特徴量である参照コンテンツ特徴量データを蓄積しており、まず、流通コンテンツ特徴量データ抽出手段によって、ネットワークまたは記録媒体（例えば、光ディスク（ＤＶＤ等））を介して流通している流通コンテンツを、当該ネットワークまたは当該記録媒体を介して取得し、この取得した流通コンテンツから流通コンテンツ特徴量データを抽出する。これら参照コンテンツ特徴量データまたは流通コンテンツ特徴量データは、コンテンツまたは流通コンテンツを構成する特定の周波数パターン（固有の波形パターン）を示すものであり、例えば、コンテンツまたは流通コンテンツの各画素の色の配置に基づいて、コンテンツまたは流通コンテンツ毎に一義的に決定されるものである。つまり、コンテンツまたは流通コンテンツの各画素は当該コンテンツまたは当該流通コンテンツの一時系列データであり、参照コンテンツ特徴量データまたは流通コンテンツ特徴量データはこの一時系列データから単一のデータとして生成したものである。また、これら参照コンテンツ特徴量データまたは流通コンテンツ特徴量データは、ＭＰＥＧ−２１で提案されている“ＦｉｎｇｅｒＰｒｉｎｔ”（画紋）に相当するものである。
【００２５】
そして、このコンテンツ特徴量抽出装置は、特徴量データ比較手段によって、参照コンテンツ特徴量データ蓄積手段に蓄積している参照コンテンツ特徴量データと、流通コンテンツ特徴量データ抽出手段で抽出された流通コンテンツ特徴量データとを比較する。この特徴量データ比較手段による比較した結果に基づいて、例えば、流通コンテンツが不正に複写され再送信されたものである場合に、当該流通コンテンツとコンテンツプロバイダの提供したコンテンツとが同一のものであることを特定することができる。
【００２７】
また、コンテンツ特徴量抽出装置の流通コンテンツ特徴量データ抽出手段は、画素データ平均化手段によって、流通コンテンツに含まれる各画素に関する画素データを、当該流通コンテンツを構成するフレーム単位またはフィールド単位で平均化し、データ並べ替え手段によって、画素データ平均化手段で平均化された所定単位画素データを並べ替えて時系列データとする。なお、流通コンテンツに含まれる各画素に関する画素データは、輝度データや連続するフレームにおける各画素の色差データ（Ｃｂ、Ｃｒ等）や、色信号データ（ＲＧＢ）等であって、これらの組み合わせであってもよい。
【００２８】
続いて、このコンテンツ特徴量抽出装置の流通コンテンツ特徴量データ抽出手段は、周波数変換手段によって、データ並べ替え手段で並べ替えられた時系列データを一定長毎に周波数変換し、周波数データとし、この周波数データを周波数データ平均化手段によって、周波数毎に平均化する。そして、このコンテンツ特徴量抽出装置の流通コンテンツ特徴量データ抽出手段は、周波数データ総和算出手段によって、周波数データ平均化手段で平均化された平均化周波数データを周波数全域に亘って総和し、この総和した平均化周波数データを特徴量データとする。つまり、このコンテンツ特徴量抽出装置では、流通コンテンツ特徴量データ抽出手段の周波数変換手段によって、時系列データを周波数データにすることによって、コンテンツの一時系列のデータである輝度データから単一のデータである周波数データを生成しており、この周波数データを平均化し、周波数全域に亘る総和を求めて、この総和を特徴量データ（流通コンテンツ特徴量データ）としている。
【００２９】
請求項２記載のコンテンツ特徴量抽出装置は、請求項１に記載のコンテンツ特徴量抽出装置において、前記データ並べ替え手段は、前記所定単位画素データを一定間隔毎に選択して配列し、この配列を１つのフレーム単位または１つのフィールド単位ずつ順次ずらしながら繰り返して、並べ替えることを特徴とする。
【００３０】
かかる構成によれば、コンテンツ特徴量抽出装置の流通コンテンツ特徴量データ抽出手段は、データ並べ替え手段によって、所定単位画素データを一定間隔毎に選択して配列し、この配列を１つのフレーム単位または１つのフィールド単位ずつ順次ずらしながら繰り返して並べることで、新たな時系列データ（データ系列）を得ることができる。
【００３１】
請求項３記載のコンテンツ特徴量抽出装置は、請求項１又は請求項２に記載のコンテンツ特徴量抽出装置において、前記コンテンツおよび前記流通コンテンツが複数のシーンで構成されており、前記コンテンツの特徴量である参照コンテンツ特徴量データが前記シーンに対応する参照シーン特徴量データを含み、前記流通コンテンツの特徴量である流通コンテンツ特徴量データが前記シーンに対応する流通シーン特徴量データを含むことを特徴とする。
【００３２】
かかる構成によれば、コンテンツ特徴量抽出装置は、複数のシーンからなるコンテンツおよび流通コンテンツを取り扱うことが可能であり、参照コンテンツ特徴量データが各シーンに対応する参照シーン特徴量データを含み、流通コンテンツ特徴量データが各シーンに対応する流通シーン特徴量データを含んでいるので、これらの参照シーン特徴量データおよび流通シーン特徴量データに基づいて、所望する流通コンテンツの特定するシーンを検索することができる。
【００３３】
請求項４記載のコンテンツ特徴量抽出装置は、請求項１から請求項３のいずれか一項に記載のコンテンツ特徴量抽出装置において、前記特徴量データ比較手段は、前記流通コンテンツの流通コンテンツ特徴量データと前記コンテンツの参照コンテンツ特徴量データとの差の絶対値と、予め設定した特徴量データ同一性閾値とに基づいて、前記流通コンテンツと前記コンテンツとの同一性を検出する同一性検出手段を有していることを特徴とする。
【００３４】
かかる構成によれば、コンテンツ特徴量抽出装置は、同一性検出手段によって、特徴量データ同一性閾値に基づいて、流通コンテンツとコンテンツとの同一性を検出する。これによって、不正流通コンテンツを検出することができる。
【００３５】
請求項５記載のコンテンツ特徴量抽出装置は、請求項１から請求項４のいずれか一項に記載のコンテンツ特徴量抽出装置において、前記特徴量データ比較手段は、前記流通コンテンツの流通コンテンツ特徴量データと前記コンテンツの参照コンテンツ特徴量データとの差の絶対値と、予め設定した特徴量データ類似性閾値とに基づいて、前記流通コンテンツと前記コンテンツとの類似性を検出する類似性検出手段を有していることを特徴とする。
【００３６】
かかる構成によれば、コンテンツ特徴量抽出装置は、類似性検出手段によって、特徴量データ類似性閾値に基づいて、流通コンテンツとコンテンツとの類似性を検出する。これによって、コンテンツと似かよった流通コンテンツを検索することができる。
【００４１】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（コンテンツ特徴量抽出装置の構成）
図１はコンテンツ特徴量抽出装置のブロック図である。この図１に示すように、コンテンツ特徴量抽出装置１は、参照コンテンツ（参照番組）の特徴量である参照コンテンツ特徴量データを抽出して蓄積していると共に、流通コンテンツの特徴量である流通コンテンツ特徴量データを抽出し、これらの特徴量データを比較して、不正に流通している不正流通コンテンツの検出や番組（コンテンツの一種）の特定シーンを検索するもので、参照コンテンツ特徴量データ抽出・管理部３と、流通コンテンツ特徴量データ抽出・比較部５とを備えている。
【００４２】
これら参照コンテンツ特徴量データまたは流通コンテンツ特徴量データは、コンテンツまたは流通コンテンツを構成する特定の周波数パターン（固有の波形パターン）を示すものであり、参照コンテンツまたは流通コンテンツを特定する特徴量、つまり、人物を特定する指紋に当たる「画紋」といえるものである。例えば、参照コンテンツ特徴量データまたは流通コンテンツ特徴量データは、参照コンテンツまたは流通コンテンツの各画素の色（画素データ）の配置に基づいて、コンテンツまたは流通コンテンツ毎に一義的に決定されるものである（詳細は後記する）。
【００４３】
なお、このコンテンツ特徴量抽出装置１はネットワークに接続される一般的なサーバをベースに構成されたものであり、各部、各手段は、当該サーバのハードウェア資源（ＣＰＵ、メモリ、ハードディスク等）を、新たに記述したソフトウェアによって協同的に活用し、この活用した結果を機能的に特定したものである。
【００４４】
また、この実施の形態では、これら参照コンテンツ特徴量データ抽出・管理部３と流通コンテンツ特徴量データ抽出・比較部５とは、コンテンツ特徴量抽出装置１の各部として構成されているが、これらは単体の装置（サーバ）とし、データおよび制御信号を送受信可能に構成してもよい。
【００４５】
参照コンテンツ特徴量データ抽出・管理部３は、参照コンテンツ（参照番組）の特徴量である参照コンテンツ特徴量データを抽出して蓄積するもので、参照コンテンツ特徴量データ抽出手段７と、参照コンテンツ特徴量データ蓄積手段９と、特徴量データ管理手段１１とを備えている。参照コンテンツ（参照番組）が請求項に記載したコンテンツに相当しており、不正流通コンテンツの比較対象、検索対象となる一つまたは複数の参照用のコンテンツ（番組）のことを指している。
【００４６】
参照コンテンツ特徴量データ抽出手段７は、参照コンテンツの特徴量である参照コンテンツ特徴量データを当該参照コンテンツから抽出して、参照コンテンツ特徴量データ蓄積手段９に出力するものである。この参照コンテンツ特徴量データ抽出手段７における参照コンテンツ特徴量データの抽出は、後記する流通コンテンツ特徴量データ抽出手段と同様の抽出方法によって行われる。参照コンテンツ特徴量データは、参照コンテンツの各フレーム中の輝度データの当該フレーム毎に平均化したものを、時系列に並べ替えて周波数変換し、この周波数に変換した周波数データを総和したものである。つまり、参照コンテンツ特徴量データは、参照コンテンツ（参照番組）の一時系列データ（各フレームの輝度データ）を単一のものとして取り扱えるようにしたものであるといえる。
【００４７】
なお、この実施の形態では、参照コンテンツ特徴量データは、参照コンテンツの各フレーム中の輝度データを使用して求めたが、例えば、色差データ（Ｃｂ、Ｃｒ等）や色信号データ（ＲＧＢ）を使用して求めてもよい。つまり、参照コンテンツ特徴量データは、参照コンテンツに含まれている画素に関する画素データに基づいて求めることができる。
【００４８】
また、参照コンテンツが複数のシーンから構成されている場合には、参照コンテンツ特徴量データは、各シーンに対応するように求められる。つまり、各シーン毎に振られているメタデータに基づいて、各シーン毎の特徴量である参照シーン特徴量データが割り当てられる。
【００４９】
参照コンテンツ特徴量データ蓄積手段９は、参照コンテンツ特徴量データ抽出手段７で抽出された参照コンテンツ特徴量データを蓄積するものである。この参照コンテンツ特徴量データ蓄積手段９は、特徴量データ管理手段１１の管理下にあるもので、この特徴量データ管理手段１１からの出力された制御信号（参照コンテンツ特徴量データ順次出力信号）に基づいて、蓄積している参照コンテンツ特徴量データを流通コンテンツ特徴量データ抽出・比較部５の特徴量データ比較手段１７（後記する）に、順次出力するものである。
【００５０】
特徴量データ管理手段１１は、参照コンテンツ特徴量データ抽出・管理部３の制御を司るもので、流通コンテンツ特徴量データ抽出・比較部５から出力された制御信号（参照コンテンツ特徴量データ出力開始信号）に基づいて、当該参照コンテンツ特徴量データ抽出・管理部３（参照コンテンツ特徴量データ蓄積手段９）から参照コンテンツ特徴量データを出力するものである。
【００５１】
流通コンテンツ特徴量データ抽出・比較部５は、ネットワーク（インターネット、イントラネット等）や記録媒体（光ディスク（ＤＶＤ等）、ＶＴＲ等）を介して、流通している流通コンテンツ（検索対象番組／シーン）の特徴量である流通コンテンツ特徴量データを抽出し、この流通コンテンツ特徴量データと参照コンテンツ特徴量データとを比較するもので、流通コンテンツ特徴量データ抽出手段１３と、制御手段１５と、特徴量データ比較手段１７と、結果表示手段１９とを備えている。
【００５２】
流通コンテンツ特徴量データ抽出手段１３は、入力された流通コンテンツ（検索対象番組／シーン）の特徴量である流通コンテンツ特徴量データを抽出するもので、輝度データ平均化手段１３ａと、データ並べ替え手段１３ｂと、周波数変換手段１３ｃと、周波数データ平均化手段１３ｄと、周波数データ総和算出手段１３ｅとを備えている。この流通コンテンツ特徴量データ抽出手段１３は、制御手段１５から出力された制御信号（流通コンテンツ特徴量データ出力開始信号）に基づいて、流通コンテンツから流通コンテンツ特徴量データの抽出を開始する。
【００５３】
なお、流通コンテンツが複数のシーンから構成されている場合には、流通コンテンツ特徴量データは、各シーンに対応するように求められる。つまり、各シーン毎に振られているメタデータに基づいて、各シーン毎の特徴量である流通シーン特徴量データが割り当てられる。
【００５４】
輝度データ平均化手段１３ａは、流通コンテンツの動画像データを、連続するフレーム（フィールド）における各画素の輝度値（輝度データ）として入力し、この輝度値（輝度データ）を平均化した平均輝度値（所定単位輝度データ）を求めるもの、つまり、輝度値（輝度データ）の平均化処理を行うものである。
【００５５】
この輝度データ平均化手段１３ａによる輝度値（輝度データ）の平均化処理では、各フレーム（各フィールド）について、このフレーム（フィールド）中の全画素の輝度値（輝度データ）の平均値を算出している。ここでは、輝度値（輝度データ）の平均値として、全画素の輝度値（輝度データ）の総和を全画素数で除算した値を用いている。
【００５６】
また、任意のブロックサイズ（例えば、水平８画素×垂直８ライン）の小ブロックに分割した全ブロックに対してＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ；離散コサンイン変換）演算処理を施し、小ブロック毎のＤＣ（直流）係数を求め、このＤＣ（直流）係数の平均値を用いてもよい。
【００５７】
或いは、各フレーム（フィールド）における全画素を任意数のブロックに分割し、各ブロックにおける全画素の輝度値を平均化して、縮小画像を作成し、当該縮小画像に対してＤＣＴ演算処理を施してＤＣ係数を求めてもよい。
【００５８】
なお、この実施の形態では、流通コンテンツ特徴量データ抽出手段１３へ入力された流通コンテンツの連続するフレーム（フィールド）における各画素の輝度値（輝度データ）としているが、これに限定されず、例えば、連続するフレームにおける各画素の色差データ（Ｃｂ、Ｃｒ）や色信号データ（ＲＧＢ）等を用いてもよく、また、これら輝度データ、色差データ、色信号データの任意の組み合わせであってもよい。この輝度値（輝度データ）が請求項に記載した画素データに、平均輝度値（所定単位輝度データ）が所定単位画素データに相当するものである。
【００５９】
データ並べ替え手段１３ｂは、輝度データ平均化手段１３ａで求められた平均輝度値（所定単位輝度データ）を時系列に並べ替えて新規データ系列（時系列データ）とする、データ並べ替え処理を行うものである。つまり、このデータ並べ替え手段１３ｂは、一定間隔毎に平均輝度値（所定単位輝度データ）を選択して配列し、この配列を１つのフレーム単位または１つのフィールド単位ずつ順次ずらしながら繰り返して並べ替える。以下、新規データ系列（時系列データ）の１周期分を平均輝度値サンプル系列とする。なお、このデータ並べ替え手段１３ｂにおける平均輝度値（所定単位輝度データ）の並べ替えの詳細（概念）については後記する（図５を使用）。
【００６０】
周波数変換手段１３ｃは、データ並べ替え手段１３ｂで並べ替えられた新規データ系列（時系列データ）の複数の平均輝度値サンプル系列に対して、一定長毎にＤＦＴ（ＤｉｓｃｒｅｔｅＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ；離散フーリエ変換）またはＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ；高速フーリエ変換）等の周波数変換処理を施すものである。この周波数変換手段１３ｃで周波数変換された新規データ系列（時系列データ）を周波数データとする。
【００６１】
なお、輝度データ平均化手段１３ａによる輝度値（輝度データ）の平均化処理におけるフレーム（フィールド）、データ並べ替え手段１３ｂによるデータ並べ替え処理における平均輝度値（所定単位輝度データ）の選択間隔、周波数変換手段１３ｃによる周波数変換処理における平均輝度値サンプル系列は、コンテンツの同一性または類似性の検出精度や、コンテンツ特徴量抽出装置１の処理速度を勘案して決定されるものである。
【００６２】
周波数データ平均化手段１３ｄは、周波数変換手段１３ｃで周波数変換された複数の周波数データを周波数毎に平均化した周波数特性データ（平均化周波数データ）を求める、周波数データ平均化処理を行うものである。この周波数データ平均化手段１３ｄは、求めた平均化周波数データを周波数データ総和算出手段１３ｅに出力する。なお、周波数特性データ（平均化周波数データ）は、周波数における対数表現による電力と、フレーム周波数で正規化した周波数とによって表される。
【００６３】
周波数データ総和算出手段１３ｅは、周波数データ平均化手段１３ｄで求められた周波数特性データ（平均化周波数データ）を周波数全域に亘って総和した総和平均化周波数データを、流通コンテンツ特徴量データとして、特徴量データ比較手段１７に出力するものである。つまり、この周波数データ総和算出手段１３ｅでは、周波数全域に亘って、全電力の対数値の総和を算出して、この値を流通コンテンツ特徴量データとしている。
【００６４】
制御手段１５は、コンテンツ特徴量抽出装置１の全体の制御を司るもので、参照コンテンツ特徴量データ抽出・管理部３の特徴量データ管理手段１１に制御信号（参照コンテンツ特徴量データ出力開始信号）と、流通コンテンツ特徴量データ抽出手段１３に制御信号（流通コンテンツ特徴量データ出力開始信号）と、特徴量データ比較手段１７に閾値とを出力するものである。
【００６５】
この制御手段１５は図示を省略した記録手段に、予め設定した閾値を記録（保持）しており、この閾値は、特徴量データ同一性閾値と、特徴量データ類似性閾値とである。
【００６６】
特徴量データ同一性閾値は、特徴量データ比較手段１７において、参照コンテンツ特徴量データと流通コンテンツ特徴量データとに基づいて、流通コンテンツが参照コンテンツと同一のものであるかどうかを判定する際の基準となるものである。流通コンテンツが参照コンテンツと同一のものであると判定された場合には、流通コンテンツが正規のルートを経由して配布され、流通しているとは言い難く、不正流通コンテンツであると断定される。
【００６７】
特徴量データ類似性閾値は、特徴量データ比較手段１７において、参照コンテンツ特徴量データと流通コンテンツ特徴量データとに基づいて、流通コンテンツが参照コンテンツと類似しているものであるかどうかを判定する際の基準となるものである。つまり、この特徴量データ類似性閾値は、所望の流通コンテンツ（検索対象番組）や流通コンテンツの一部であるシーンを検索する際に、参照コンテンツ（参照番組）の参照コンテンツ特徴量データ（参照シーン特徴量データ）と共に利用されるものである。
【００６８】
なお、この実施の形態では、制御手段１５の図示を省略した記録手段に閾値が記録されているが、特徴量データ比較手段１７に記録されている態様であってもよい。この場合、制御信号１５から特徴量データ比較手段１７には、閾値を活用して、参照コンテンツ特徴量データと流通コンテンツ特徴量データとを比較させる制御信号（閾値活用信号）が出力される。
【００６９】
特徴量データ比較手段１７は、参照コンテンツ特徴量データ蓄積手段９から出力された参照コンテンツ特徴量データと、流通コンテンツ特徴量データ抽出手段１３で抽出された流通コンテンツ特徴量データと、制御手段１５から出力された閾値とに基づいて、参照コンテンツと流通コンテンツとが、同一、類似、または非類似であるかを比較するもので、同一性検出手段１７ａと、類似性検出手段１７ｂとを備えている。
【００７０】
同一性検出手段１７ａは、参照コンテンツ特徴量データと流通コンテンツ特徴量データの差の絶対値と、特徴量データ同一性閾値とに基づいて、参照コンテンツと流通コンテンツとの同一性を検出するものである。
【００７１】
類似性検出手段１７ｂは、参照コンテンツ特徴量データと流通コンテンツ特徴量データの差の絶対値と、特徴量データ類似性閾値とに基づいて、参照コンテンツと流通コンテンツとの類似性を検出するものである。
【００７２】
つまり、この特徴量データ比較手段１７では、同一性検出手段１７ａと類似性検出手段１７ｂとによって、同一性、類似性が検出されなかった場合には、参照コンテンツと流通コンテンツとは非類似であるとされる。
【００７３】
結果表示手段１９は、特徴量データ比較手段１７による比較結果を表示させるためのものである。この結果表示手段１９には、参照コンテンツと流通コンテンツが同一である旨の表示や、参照コンテンツの各シーンの参照シーン特徴量データに基づいて検索された流通コンテンツの数量や当該流通コンテンツのタイトル名等が表示される。
【００７４】
このコンテンツ特徴量抽出装置１によれば、参照コンテンツ特徴量データ蓄積手段９に、参照コンテンツの特徴量である参照コンテンツ特徴量データが蓄積されており、流通コンテンツ特徴量データ抽出手段１３によって、ネットワークまたは記録媒体を介して流通している流通コンテンツが、当該ネットワークまたは当該記録媒体を介して取得され、この取得された流通コンテンツから流通コンテンツ特徴量データが抽出される。特徴量データ比較手段１７によって、参照コンテンツ特徴量データと流通コンテンツ特徴量データとが比較される。これらの特徴量データの比較に基づいて、参照コンテンツと流通コンテンツとの同一性、または、類似性を検出することができる。
【００７５】
また、このコンテンツ特徴量抽出装置１によれば、流通コンテンツ特徴量データ抽出手段１３の輝度データ平均化手段１３ａによって、流通コンテンツの輝度データが当該流通コンテンツを構成するフレーム単位またはフィールド単位で平均化され、データ並べ替え手段１３ｂによって、輝度データ平均化手段１３ａで平均化された所定単位輝度データが並べ替えられて時系列データとされる。続いて、周波数変換手段１３ｃによって、データ並べ替え手段１３ｂで並べ替えられた時系列データが一定長毎に周波数変換され、周波数データとされ、この周波数データが周波数データ平均化手段１３ｄによって、周波数毎に平均化される。そして、周波数データ総和算出手段１３ｅによって、周波数データ平均化手段１３ｄで平均化された平均化周波数データが周波数全域に亘って総和され、この総和された平均化周波数データが特徴量データとされる。
【００７６】
つまり、このコンテンツ特徴量抽出装置１では、周波数変換手段１３ｃによって、時系列データを周波数データにすることによって、コンテンツの一時系列のデータである輝度データから複数の周波数データを生成しており、この周波数データを平均化し、周波数全域に亘る総和を求めて、この総和を流通コンテンツ特徴量データとしているので、データ量を増加させることなく、参照コンテンツと流通コンテンツとの同一性または類似性の検出精度を維持することができる。
【００７７】
すなわち、このコンテンツ特徴量抽出装置１を、放送番組等のコンテンツ（参照コンテンツ）の提供者であるコンテンツプロバイダが利用することにより、外部のインターネット、或いは、内部のイントラネットを介して、または、光ディスク（例えば、ＤＶＤ）等の記録媒体を介して、流通する流通コンテンツの特徴量（流通コンテンツ特徴量データ）と、当該コンテンツプロバイダが保有するコンテンツの特徴量（参照コンテンツ特徴量データ）とを比較し、これらの同一性を検出することによって、不正流通コンテンツを検出することができる。
【００７８】
また、このコンテンツ特徴量抽出装置１は、検索対象となるコンテンツの特徴量（流通コンテンツ特徴量データ）と、参照するコンテンツ（参照コンテンツ）の特徴量（参照コンテンツ特徴量データ）とを比較し、これらの類似性を検定することにより、コンテンツプロバイダが保存管理している番組群（参照コンテンツの集合）から目的とする検索対象番組やシーンを検索することができる。
【００７９】
さらに、このコンテンツ特徴量抽出装置１によれば、流通コンテンツ特徴量データ抽出手段１３が、データ並べ替え手段１３ｂによって、所定単位輝度データを一定間隔毎に選択して配列し、この配列を１つのフレーム単位または１つのフィールド単位ずつ順次ずらしながら繰り返して並べることで、新たな時系列データ（データ系列）を得ることができる。
【００８０】
さらにまた、このコンテンツ特徴量抽出装置１によれば、複数のシーンからなる参照コンテンツおよび流通コンテンツを取り扱うことが可能であり、参照コンテンツ特徴量データが各シーンに対応する参照シーン特徴量データを含み、流通コンテンツ特徴量データが各シーンに対応する流通シーン特徴量データを含んでいるので、これらの参照シーン特徴量データおよび流通シーン特徴量データに基づいて、所望する流通コンテンツの特定するシーンを検索することができる。
【００８１】
そしてまた、このコンテンツ特徴量抽出装置１によれば、特徴量データ比較手段１７の同一性検出手段１７ａによって、特徴量データ同一性閾値に基づいて、参照コンテンツと流通コンテンツとの同一性を検出する。これによって、不正流通コンテンツを検出することができる。
【００８２】
或いはまた、このコンテンツ特徴量抽出装置１によれば、特徴量データ比較手段１７の類似性検出手段１７ｂによって、特徴量データ類似性閾値に基づいて、流通コンテンツと参照コンテンツとの類似性を検出する。これによって、参照コンテンツと似かよった流通コンテンツ（所望する番組等）を検索することができる。
【００８３】
なお、流通コンテンツおよび参照コンテンツのそれぞれに関し、入力する流通コンテンツおよび参照コンテンツである動画像データ系列の振幅レベルが相互に著しく異なり、特徴量データ比較手段１７における比較判定に影響を及ぼす場合には、それぞれの動画像データ系列を当該動画像データ系列の各最大値で正規化する処理を施した後に、データ並べ替え手段１３ｂによるデータ並べ替え処理以降の処理を行うことにすればよい。
【００８４】
また、この実施の形態では、コンテンツ特徴量抽出装置１が動画像データからなるコンテンツを処理する場合について説明したが、音声データからなる楽曲のコンテンツを処理することも可能であり、動画像データと音声データとを組み合わせて、特徴量データ（参照コンテンツ特徴量データ、流通コンテンツ特徴量データ）の検出を行うことも可能である。なお、音声データからなる楽曲のコンテンツを処理する場合、特徴量データ（参照コンテンツ特徴量データ、流通コンテンツ特徴量データ）は、音声データの波形パターン、周波数スペクトラム等によって表されることとなる。
【００８５】
（コンテンツ特徴量抽出装置の動作）
次に、図２に示すフローチャートを参照して、コンテンツ特徴量抽出装置１の動作について説明する（適宜、図１参照）。
まず、コンテンツ特徴量抽出装置１は、参照コンテンツ特徴量データ抽出手段７によって参照コンテンツ特徴量データを抽出する（Ｓ１）。この抽出した参照コンテンツ特徴量データを参照コンテンツ特徴量データ蓄積手段９に蓄積する（Ｓ２）。
【００８６】
そして、制御手段１５によって、閾値（特徴量データ同一性閾値Ｔｈ１、特徴量データ類似性閾値Ｔｈ２）を特徴量データ比較手段１７に入力する（Ｓ３）と共に、制御信号（流通コンテンツ特徴量データ出力開始信号）を流通コンテンツ特徴量データ抽出手段１３に、制御信号（参照コンテンツ特徴量データ出力開始信号）を特徴量データ管理手段１１に入力する。
【００８７】
すると、流通コンテンツ特徴量データ抽出手段１３によって、流通コンテンツ特徴量データｇ１を抽出し（Ｓ４）、特徴量データ比較手段１７に出力する。続いて、特徴量データ管理手段１１によって制御信号（参照コンテンツ特徴量データ順次出力信号）を参照コンテンツ特徴量データ蓄積手段９に出力し、この制御信号（参照コンテンツ特徴量データ順次出力信号）によって参照コンテンツ特徴量データ蓄積手段９から蓄積している参照コンテンツ特徴量データｇ２を特徴量データ比較手段１７に出力する（Ｓ５）。
【００８８】
そして、特徴量データ比較手段１７によって、特徴量データ同一性閾値Ｔｈ１よりも、流通コンテンツ特徴量データｇ１と参照コンテンツ特徴量データｇ２との差の絶対値の方が小さい値となるか、または、特徴量データ類似性閾値Ｔｈ２よりも、流通コンテンツ特徴量データｇ１と参照コンテンツ特徴量データｇ２との差の絶対値の方が小さい値となるかが判定される（Ｓ６）。
【００８９】
特徴量データ同一性閾値Ｔｈ１よりも、流通コンテンツ特徴量データｇ１と参照コンテンツ特徴量データｇ２との差の絶対値の方が小さい値と判定された場合、または、特徴量データ類似性閾値Ｔｈ２よりも、流通コンテンツ特徴量データｇ１と参照コンテンツ特徴量データｇ２との差の絶対値の方が小さい値と判定された場合（Ｓ６、Ｙｅｓ）、流通コンテンツと参照コンテンツとは、同一のコンテンツであるか、類似番組（類似しているコンテンツ）であると判定される（Ｓ７）。
【００９０】
また、特徴量データ同一性閾値Ｔｈ１よりも、流通コンテンツ特徴量データｇ１と参照コンテンツ特徴量データｇ２との差の絶対値の方が小さい値と判定されなかった場合、または、特徴量データ類似性閾値Ｔｈ２よりも、流通コンテンツ特徴量データｇ１と参照コンテンツ特徴量データｇ２との差の絶対値の方が小さい値と判定されなかった場合（Ｓ６、Ｎｏ）、流通コンテンツと参照コンテンツとは、別のコンテンツであるか、異種番組（類似していないコンテンツ）であると判定される（Ｓ８）。
【００９１】
これらＳ５からＳ８までの処理が参照コンテンツ特徴量データ蓄積手段９に蓄積されている参照コンテンツ特徴量データのデータ数（所定回数）に至るまで（Ｓ９、Ｎｏ）繰り返され、所定回数に至った場合（Ｓ９、Ｙｅｓ）動作は終了する。
【００９２】
（平均輝度値の時間変化について）
次に、図３、図４を参照して、平均輝度値（所定単位輝度データ）の時間変化について説明する（適宜、図１参照）。
【００９３】
この図３、図４は、コンテンツ特徴量抽出装置１の流通コンテンツ特徴量データ抽出手段１３の輝度データ平均化手段１３ａにおいて、輝度値（輝度データ）を平均化処理した後の平均輝度値（所定単位輝度データ）の時間変化を示したものである。
【００９４】
より具体的に説明すると、図３は、約１０分間の放送番組Ａにおける連続するフレーム１７９２０フレームの平均輝度値を求め、冒頭の３０００フレームについて、時系列に従ってグラフとしてプロットした事例を示すものである。図４は、図３の波形の一部を拡大したものである。この図３、図４において、縦軸は平均輝度値、横軸は連続するフレーム番号を示している。
【００９５】
この事例では、各フレームを水平８ブロック×垂直８ブロックの６４ブロックに分割し、各ブロックにおける全画素の輝度値（輝度値データ）を平均化して水平８画素×垂直８ラインの縮小画像を作成し、当該縮小画像に対してＤＣＴ演算処理を施し、ＤＣ係数を求め、このＤＣ係数を平均値輝度値（所定単位輝度データ）とした。この図３に示すように、得られた平均値輝度値を時系列に並べ替えることにより、平均輝度値の時間変化を把握することができる。
【００９６】
また、図４は、図３のグラフの一部（フレーム番号７００からフレーム番号１４００まで）を、時間軸（フレーム）方向に拡大して示したものである。この図４に示すように、隣接するフレーム同士の平均輝度値の差は小さい。つまり、シーンチェンジ等、画面の大きな変化が発生する場合を除いて、通常、３秒程度（９０フレームに相当）の時間内では、平均輝度値の変動が少ないことがわかる。
【００９７】
（データ並べ替え処理の概念について）
次に、図５を参照して、データ並べ替え手段１３ｂによるデータ並べ替え処理の概念について説明する。図５は、データ並べ替えの概念を模式的に、記号を使用して説明したものである。
【００９８】
この図５に示すように、コンテンツ特徴量抽出装置１のデータ並べ替え手段１３ｂによって、一定間隔毎に、平均値輝度値（所定単位輝度データ）を選択して配列し、この操作を１フレームずつ順次ずらしながら繰り返すことにより、新規データ系列（時系列データ）を得る。
【００９９】
つまり、［平均輝度値の時間変化］に示した、時刻１から２０までの記号“黒丸”、“三角”、“四角”、“バツ”“回転した四角”が［新規データ系列］では、同一記号同士が連続するように並び替えられており、各同一記号同士の集合により、平均輝度値サンプル系列が構成されている。例えば、新規データ系列における平均輝度値サンプル系列の“黒丸”は、時刻１、時刻６、時刻１１、時刻１６の平均輝度値の集合である。
【０１００】
このデータ並べ替え手段１３ｂによる操作によって、流通コンテンツのデータ量によらず、流通コンテンツ全体の平均輝度値の時間変化を少ないデータ量で表現することができ、流通コンテンツが妥当な長さのデータ系列である場合、このデータ並べ替え手段１３ｂ以降の処理、つまり、周波数変換処理を効率的に行うことが可能になる。
【０１０１】
（平均輝度値サンプル系列の重ね合わせについて）
次に、図６を参照して、平均輝度値サンプル系列の重ね合わせについて説明する。
【０１０２】
図６は、平均輝度値（所定単位輝度データ）を７０フレーム間隔で、図５を使用して説明したデータ並べ替え手段１３ｂによるデータ並べ替え処理を行って、得られた平均輝度サンプル系列を１０周期おきに７波形重ねた結果を示したものである。この図６において、縦軸は平均輝度値、横軸は平均輝度サンプル系列１周期内の位置を表している。ここで、ｄｉｖ（Ａ，Ｂ）はＡ÷Ｂの商を意味している。図４を使用して説明したように、隣接するフレームの平均輝度値の差は小さいので、各波形ともほぼ一致している。
【０１０３】
（番組データの周波数特性について）
次に、図７を参照して、番組データの周波数特性について説明する（適宜、図１参照）。
【０１０４】
図７は、番組Ａ（以下、コンテンツＡとする）と、このコンテンツＡの冒頭１０％を削減して作成した削減コンテンツＡ１と、別の番組Ｂ（以下、コンテンツＢとする）と、このコンテンツＢの冒頭１０％を削減して作成した削減コンテンツＢ１と、の４つのコンテンツＡ、Ａ１、Ｂ、Ｂ１（動画像データ）について、輝度データ平均化手段１３ａによる輝度値（輝度データ）の平均化処理、データ並べ替え手段１３ｂによるデータ並べ替え処理、周波数変換手段１３ｃによる周波数変換処理および周波数データ平均化手段１３ｄによる周波数データ平均化処理を施した結果得られた周波数特性の事例を示している。なお、周波数変換手段１３ｃによる周波数変換処理にはＦＦＴを用いている。この図７において、縦軸は各周波数における対数表現による電力、横軸はフレーム周波数で正規化した周波数を表している。
【０１０５】
この図７に示すように、異なる番組間、つまり、コンテンツＡとコンテンツＢとの違いを周波数特性によって識別できる。また、コンテンツＡとこのコンテンツＡの冒頭を１０％削減した削減コンテンツＡ１と、コンテンツＢとこのコンテンツＢ１の冒頭を１０％削減した削減コンテンツＢ１との周波数特性に高い相関を有していることがわかる。
【０１０６】
（特徴量データの算出結果の事例について）
次に、図８を参照して、特徴量データ（参照コンテンツ特徴量データ、流通コンテンツ特徴量データ）の算出結果の事例について説明する（適宜、図１参照）。
【０１０７】
図８は、図７を使用して説明したコンテンツＡ、削減コンテンツＡ１、コンテンツＢ、削減コンテンツＢ１について、これらの輝度データ（輝度信号；Ｙ）および色差データ（色差信号Ｃｂ、Ｃｒ）をコンテンツ特徴量抽出装置１の流通コンテンツ特徴量データ抽出手段１３に入力した場合に得られた流通コンテンツ特徴量データを示したものである。
【０１０８】
この図８に示すように、輝度データ（輝度信号；Ｙ）および色差データ（色差信号Ｃｂ、Ｃｒ）について、コンテンツＡと削減コンテンツＡ１とは近接した流通コンテンツ特徴量データをもち、コンテンツＢと削減コンテンツＢ１とは近接した流通コンテンツ特徴量データをもっていることがわかる。
【０１０９】
（特徴量データによる番組間の距離評価結果の事例について）
次に、図９を参照して、特徴量データ（参照コンテンツ特徴量データ、流通コンテンツ特徴量データ）の番組間（コンテンツ間）の距離評価結果の事例について説明する（適宜、図１参照）。
【０１１０】
図９は、流通コンテンツ特徴量データ抽出手段１３に入力される輝度値（輝度データ）、つまり、輝度信号Ｙ以外に、色差データ（Ｃｂ、Ｃｒ等）、つまり、色差信号（Ｃｂ、Ｃｒ）が入力される場合の、コンテンツＡ、削減コンテンツＡ１、コンテンツＢ、削減コンテンツＢ１の距離評価結果の事例を示したものである。
【０１１１】
この距離評価結果は、輝度信号Ｙを用いて求められた流通コンテンツ特徴量データｇ１_Y、輝度信号Ｙを用いて求められた参照コンテンツ特徴量データｇ２_Y、色差信号Ｃｂを用いて求められた流通コンテンツ特徴量データｇ１_Cb、色差信号Ｃｂを用いて求められた参照コンテンツ特徴量データｇ２_Cb、色差信号Ｃｒを用いて求められた流通コンテンツ特徴量データｇ１_Cr、色差信号Ｃｒを用いて求められた参照コンテンツ特徴量データｇ２_Crとして、流通コンテンツと参照コンテンツ間の番組間距離（コンテンツ間距離）をＤとする場合、
【０１１２】
【数１】

【０１１３】
この（１）式によって、コンテンツＡ、削減コンテンツＡ１、コンテンツＢ、削減コンテンツＢ１の番組間距離（コンテンツ間距離）Ｄを求め、一覧表にしたものである。
【０１１４】
この図９に示すように、異なる番組間（コンテンツ間）、つまりコンテンツＡとコンテンツＢとの距離に比べ、コンテンツＡと冒頭１０％を削減した削減コンテンツＡ１との距離、または、コンテンツＢと冒頭１０％を削減した削減コンテンツＢ１との距離の方が十分に小さく、適当の閾値（特徴量データ同一性閾値）を設けることによって、番組間（コンテンツ間）の同一性の検出を高精度に行うことができる。
【０１１５】
（参照コンテンツ特徴量データの抽出と管理の概念について）
次に、図１０を参照して、参照コンテンツ特徴量データ抽出・管理部３における参照コンテンツ特徴量データの抽出と管理の概念について説明する。
【０１１６】
この図１０に示すように、番組（参照コンテンツ）が複数のシーン（シーン１、シーン２、・・・シーン（ｎ−１）、シーンｎ）から構成されており、各シーン毎の特徴量（特徴量１、特徴量２、・・・特徴量（ｎ−１）、特徴量ｎ；参照シーン特徴量データ）が設定されている。
【０１１７】
これら各シーン毎に特徴量（参照シーン特徴量データ）が纏められて、番組（参照コンテンツ）全体の特徴量（参照コンテンツ特徴量データ）として、参照コンテンツ特徴量データ蓄積手段９に蓄積され、特徴量データ管理手段１１によって管理されている。つまり、特徴量データ管理手段１１から出力される制御信号によって、参照シーン特徴量データまたは参照コンテンツ特徴量データのいずれかが選択されて、特徴量データ比較部１７に出力される。
【０１１８】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、コンテンツ特徴量抽出装置１の各構成の処理を汎用的なコンピュータ言語で記述したコンテンツ特徴量抽出プログラムとみなすこともできるし、各構成の処理を一つずつの過程ととらえたコンテンツ特徴量抽出方法とみなすことも可能である。これらの場合、コンテンツ特徴量抽出装置１と同様の効果を得ることができる。
【０１１９】
【発明の効果】
請求項１記載の発明によれば、これらの特徴量データの比較に基づいて、コンテンツと流通コンテンツとの同一性、または、類似性を検出することができる。
【０１２０】
請求項１記載の発明によれば、コンテンツの一時系列のデータである輝度データから単一のデータである周波数データを生成しており、この周波数データを平均化し、周波数全域に亘る総和を求めて、この総和を流通コンテンツ特徴量データとしているので、データ量を増加させることなく、コンテンツと流通コンテンツとの同一性または類似性の検出精度を維持することができる。
【０１２１】
請求項２記載の発明によれば、所定単位画素データを一定間隔毎に選択して配列し、この配列を１つのフレーム単位または１つのフィールド単位ずつ順次ずらしながら繰り返して並べることで、新たな時系列データ（データ系列）を得ることができ、これ以降の処理、例えば、周波数変換処理等を容易に行うことができる。
【０１２２】
請求項３記載の発明によれば、参照コンテンツ特徴量データが各シーンに対応する参照シーン特徴量データを含み、流通コンテンツ特徴量データが各シーンに対応する流通シーン特徴量データを含んでいるので、これらの参照シーン特徴量データおよび流通シーン特徴量データに基づいて、所望する流通コンテンツの特定するシーンを検索することができる。
【０１２３】
請求項４記載の発明によれば、特徴量データ同一性閾値に基づいて、コンテンツと流通コンテンツとの同一性を検出する。これによって、不正流通コンテンツを検出することができる。
【０１２４】
請求項５記載の発明によれば、特徴量データ類似性閾値に基づいて、流通コンテンツとコンテンツとの類似性を検出する。これによって、コンテンツと似かよった流通コンテンツ（所望する番組等）を検索することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態であるコンテンツ特徴量抽出装置のブロック図である。
【図２】図１に示したコンテンツ特徴量抽出装置の動作を説明したフローチャートである。
【図３】輝度値を平均化処理した後の平均輝度値の時間変化を示した図である。
【図４】図３に示した平均輝度値の時間変化の一部を拡大して示した図である。
【図５】データ並べ替え処理の概念について説明した図である。
【図６】平均輝度値サンプル系列の重ね合わせについて説明した図である。
【図７】番組データの周波数特性について説明した図である。
【図８】特徴量データの算出結果の事例について説明した図である。
【図９】特徴量データの番組間の距離評価結果の事例について説明した図である。
【図１０】参照コンテンツ特徴量データ抽出・管理部における参照コンテンツ特徴量データの抽出と管理の概念について説明した図である。
【図１１】従来のコンテンツ特徴量抽出装置のブロック図である。
【符号の説明】
１コンテンツ特徴量抽出装置
３参照コンテンツ特徴量データ抽出・管理部
５流通コンテンツ特徴量データ抽出・比較部
７参照コンテンツ特徴量データ抽出手段
９参照コンテンツ特徴量データ蓄積手段
１１特徴量データ管理手段
１３流通コンテンツ特徴量データ抽出手段
１５制御手段
１７特徴量データ比較手段
１７ａ同一性検出手段
１７ｂ類似性検出手段
１９結果表示手段

Claims

コンテンツを提供するコンテンツ提供事業者から提供され、ネットワークまたは記録媒体を介して流通する流通コンテンツを構成する特定の周波数パターンで表される流通コンテンツ特徴量データを抽出すると共に、この流通コンテンツ特徴量データと、前記コンテンツを構成する特定の周波数パターンで表される参照コンテンツ特徴量データとを比較するコンテンツ特徴量抽出装置であって、
前記参照コンテンツ特徴量データを蓄積する参照コンテンツ特徴量データ蓄積手段と、
前記流通コンテンツを、前記ネットワークまたは前記記録媒体を介して取得し、この取得した流通コンテンツから流通コンテンツ特徴量データを抽出する流通コンテンツ特徴量データ抽出手段と、
前記参照コンテンツ特徴量データ蓄積手段に蓄積している参照コンテンツ特徴量データと、前記流通コンテンツ特徴量データ抽出手段で抽出された流通コンテンツ特徴量データとを比較する特徴量データ比較手段と、
を備え、
前記流通コンテンツ特徴量データ抽出手段は、
前記流通コンテンツに含まれる各画素に関する画素データを、当該流通コンテンツを構成するフレーム単位またはフィールド単位で平均化する画素データ平均化手段と、
この画素データ平均化手段によって平均化された所定単位画素データを並べ替えて時系列データとするデータ並べ替え手段と、
このデータ並べ替え手段で並べ替えられた時系列データを一定長毎に周波数変換し、周波数データとする周波数変換手段と、
この周波数変換手段で周波数変換された周波数データを周波数毎に平均化する周波数データ平均化手段と、
この周波数データ平均化手段で平均化された平均化周波数データを周波数全域に亘って総和し、この総和した平均化周波数データを前記流通コンテンツ特徴量データとする周波数データ総和算出手段とを有していることを特徴とするコンテンツ特徴量抽出装置。
前記データ並べ替え手段は、前記所定単位画素データを一定間隔毎に選択して配列し、この配列を１つのフレーム単位または１つのフィールド単位ずつ順次ずらしながら繰り返して、並べ替えることを特徴とする請求項１に記載のコンテンツ特徴量抽出装置。
前記コンテンツおよび前記流通コンテンツが複数のシーンで構成されており、
前記コンテンツの特徴量である参照コンテンツ特徴量データが前記シーンに対応する参照シーン特徴量データを含み、前記流通コンテンツの特徴量である流通コンテンツ特徴量データが前記シーンに対応する流通シーン特徴量データを含むことを特徴とする請求項１又は請求項２に記載のコンテンツ特徴量抽出装置。
前記特徴量データ比較手段は、
前記流通コンテンツの流通コンテンツ特徴量データと前記コンテンツの参照コンテンツ特徴量データとの差の絶対値と、予め設定した特徴量データ同一性閾値とに基づいて、前記流通コンテンツと前記コンテンツとの同一性を検出する同一性検出手段を有していることを特徴とする請求項１から請求項３のいずれか一項に記載のコンテンツ特徴量抽出装置。
前記特徴量データ比較手段は、
前記流通コンテンツの流通コンテンツ特徴量データと前記コンテンツの参照コンテンツ特徴量データとの差の絶対値と、予め設定した特徴量データ類似性閾値とに基づいて、前記流通コンテンツと前記コンテンツとの類似性を検出する類似性検出手段を有していることを特徴とする請求項１から請求項４のいずれか一項に記載のコンテンツ特徴量抽出装置。