JP2013074488A - 映像コンテンツ推薦装置、映像コンテンツ推薦方法、および映像コンテンツ推薦用プログラム - Google Patents

Abstract

【課題】ユーザが指定した映像コンテンツと類似度の高い映像コンテンツを推薦する処理を、高い精度で簡易に実行する。
【解決手段】映像コンテンツの映像データ内の複数時点に関し、データ内の位置と当該位置における映像の特徴を表現した数値とからなるデータ列を特徴情報として取得する映像コンテンツ特徴解析部１３と、取得された特徴情報から当該特徴情報を示す映像特徴関数を作成する映像コンテンツ特徴関数作成部１４と、ユーザが指定した映像コンテンツの映像特徴関数と、予め蓄積された複数の映像コンテンツの映像特徴関数との類似度をそれぞれ算出する映像コンテンツ間類似度算出部１５と、類似度が高い所定数の映像コンテンツを推薦映像コンテンツとして決定する推薦映像コンテンツ決定部１６と、推薦映像コンテンツとして決定された映像コンテンツに関する情報を出力する推薦映像コンテンツリスト出力部１７とを備える。
【選択図】図１

Description

本発明は、映像コンテンツ推薦装置、映像コンテンツ推薦方法、および映像コンテンツ推薦用プログラムに関する。

従来、動画共有サイトなどの映像コンテンツ提供サービスを利用することにより、ユーザは大量の映像コンテンツの中から興味のある映像コンテンツを選択し、自由に視聴することができる。

このようなサービスを利用する際、ユーザはキーワードなどの検索条件を指定することにより、条件に合う映像を検索することができる。しかし、視聴したい映像のイメージが明確でない場合には、ユーザはどのようなキーワードで検索すればよいか分からず、興味のある映像の発見が困難になる場合あるという問題がある。

このような問題を解決するためのアプローチとして、映像コンテンツ推薦技術がある。映像コンテンツ推薦技術により、ある映像を視聴したユーザに対し、関連する別の映像コンテンツを提示することが可能になり、興味のある映像コンテンツの発見を支援することができる。

映像コンテンツ推薦の手法の１つとして、内容ベースフィルタリングがある。内容ベースフィルタリングは、コンテンツの内容や付随する属性情報を比較することにより、類似するコンテンツを推薦する手法である。

内容ベースフィルタリングに関する文献の一例である特許文献１には、ユーザが高く評価したコンテンツに付与されている属性の出現頻度を計測し、出現頻度の高い属性が付与されている他のコンテンツを推薦する技術が記載されている。

特開２００９−２０５４１８号公報

特許文献１に記載された手法では、メタデータ中に含まれる属性やキーワードに基づき推薦する映像を決定するが、動画共有サイトなどでは、映像コンテンツのメタデータは主に映像を投稿したユーザが付与するため、ユーザによってメタデータの量にばらつきが生じてしまう。また、メタデータがほとんど付与されていない映像コンテンツも存在する。

そのため、適切にメタデータが付与されていない映像コンテンツは、特許文献１に記載されたような手法によってユーザに推薦を行う対象とならないことがあるという問題があった。

本発明は上記課題を鑑みてなされたものであり、ユーザが指定した映像コンテンツと類似度の高い映像コンテンツを推薦する処理を、高い精度で簡易に実行することが可能な映像コンテンツ推薦装置、映像コンテンツ推薦方法、および映像コンテンツ推薦用プログラムを提供することを目的とする。

上記の課題を解決するための本発明の映像コンテンツ推薦装置は、ユーザが指定した映像コンテンツに関連する映像コンテンツを推薦する映像コンテンツ推薦装置において、映像コンテンツの映像データを解析して、当該映像データ内の複数時点に関し、映像データ内の位置と、当該位置における映像の特徴を表現した数値とからなるデータ列を、当該映像コンテンツの映像データの特徴情報として取得する映像コンテンツ特徴解析部と、前記映像コンテンツ特徴解析部で取得された特徴情報から、当該特徴情報を示す関数である映像特徴関数を作成する映像コンテンツ特徴関数作成部と、予め複数の映像コンテンツに関し、映像データ、前記特徴情報、または、前記映像特徴関数のうち、少なくとも１つが含まれる映像情報をそれぞれ蓄積する映像情報蓄積部と、ユーザが指定した映像コンテンツの映像特徴関数と、前記映像情報蓄積部に予め蓄積された複数の映像コンテンツの映像データもしくは特徴情報から作成された映像特徴関数、または、蓄積された映像特徴関数との類似度をそれぞれ算出する映像コンテンツ間類似度算出部と、前記映像情報蓄積部に映像情報が蓄積された複数の映像コンテンツのうち、前記映像コンテンツ間類似度算出部で算出された類似度が高い所定数の映像コンテンツを、推薦映像コンテンツとして決定する推薦映像コンテンツ決定部と、前記推薦映像コンテンツ決定部で推薦映像コンテンツとして決定された映像コンテンツに関する情報を、推薦映像コンテンツ情報として出力する推薦映像コンテンツリスト出力部とを備えることを特徴とする。

また、本発明の映像コンテンツ推薦方法は、ユーザが指定した映像コンテンツに関連する映像コンテンツを推薦する映像コンテンツ推薦方法であって、映像コンテンツの映像データを解析して、当該映像データ内の複数時点に関し、映像データ内の位置と、当該位置における映像の特徴を表現した数値とからなるデータ列を、当該映像コンテンツの映像データの特徴情報として取得する映像コンテンツ特徴解析ステップと、前記映像コンテンツ特徴解析ステップで取得された映像コンテンツの特徴情報から、当該特徴情報を示す関数である映像特徴関数を作成する映像コンテンツ映像特徴関数生成ステップと、予め複数の映像コンテンツに関し、映像データ、前記特徴情報、または、前記映像特徴関数のうち、少なくとも１つが含まれる映像情報をそれぞれ蓄積する映像情報蓄積ステップと、ユーザが指定した映像コンテンツの映像特徴関数と、前記映像情報蓄積ステップにより予め蓄積された複数の映像コンテンツの映像データもしくは特徴情報から作成された映像特徴関数、または、蓄積された映像特徴関数との類似度をそれぞれ算出する映像コンテンツ間類似度算出ステップと、前記映像情報蓄積ステップにより映像情報が蓄積された複数の映像コンテンツのうち、前記映像コンテンツ間類似度算出ステップで算出された類似度が高い所定数の映像コンテンツを、推薦映像コンテンツとして決定する推薦映像コンテンツ決定ステップと、前記推薦映像コンテンツ決定ステップで推薦映像コンテンツとして決定された映像コンテンツに関する情報を、推薦映像コンテンツ情報として出力する映像コンテンツ情報出力ステップとを有することを特徴とする。

また、本発明の映像コンテンツ推薦用プログラムは、上記映像コンテンツ推薦方法を、コンピュータで実行させることを特徴とする。

本発明の映像コンテンツ推薦装置、映像コンテンツ推薦方法、および映像コンテンツ推薦用プログラムによれば、ユーザが指定した映像コンテンツと類似度の高い映像コンテンツを推薦する処理を、高い精度で簡易に実行することができる。

本発明の一実施形態による映像コンテンツ推薦装置の構成を示すブロック図である。 （ａ）〜（ｃ）は、本発明の一実施形態による映像コンテンツ推薦装置の映像蓄積部に蓄積される情報の一例を示すテーブルである。 本発明の一実施形態による映像コンテンツ推薦装置の動作を示すフローチャートである。 本発明の一実施形態による映像コンテンツ推薦装置の映像コンテンツ特徴解析部において取得された映像データ中のカット点と、各ショットの特徴情報との関係を示すグラフである。

〈一実施形態による映像コンテンツ推薦装置の構成〉
本発明の一実施形態による映像コンテンツ推薦装置の構成について、図１を参照して説明する。

本実施形態による映像コンテンツ推薦装置１は、ユーザが指定した映像コンテンツと類似度の高い映像コンテンツを抽出して推薦するものであり、当該映像コンテンツ推薦装置１のＨＤＤ（Hard Disk Drive）内に構成された映像情報蓄積部１１と、ＣＰＵ（Central Processing Unit）内に構成された映像データ入力部１２、映像コンテンツ特徴解析部１３、映像コンテンツ特徴関数作成部１４、映像コンテンツ間類似度算出部１５、推薦映像コンテンツ決定部１６、および推薦映像コンテンツリスト出力部１７とを有する。これらの映像データ入力部１２、映像コンテンツ特徴解析部１３、映像コンテンツ特徴関数作成部１４、映像コンテンツ間類似度算出部１５、推薦映像コンテンツ決定部１６、および推薦映像コンテンツリスト出力部１７の機能は、ＲＯＭ（Read Only Memory）に記憶されたプログラムがＲＡＭ（Random Access Memory）に展開されることにより実行される。

映像情報蓄積部１１は、ユーザが指定したことにより入力された映像コンテンツに関する映像情報、および、予め記憶された複数の映像コンテンツに関する映像情報を蓄積する。これらの映像情報には、映像コンテンツの特徴情報を取得するための映像データ、映像データから取得された当該映像コンテンツの特徴情報、または、特徴情報から作成された当該映像コンテンツの映像特徴関数のうち、少なくとも１つが含まれている。ここで映像コンテンツの特徴情報とは、映像データ中のどの時点でどのような特徴の情報が出現するかを示すものであり、映像データ中の複数の時点における映像データの特徴をそれぞれ数値で表現したデータ列で示している。また映像特徴関数とは、特徴情報に基づいて作成される関数である。特徴情報および映像特徴関数についての詳細は、後述する。

映像情報蓄積部１１に映像データを格納しておくことにより、特徴情報が取得済みでなくても、必要なタイミングで映像データから特徴情報を取得し、映像特徴関数を作成することが可能になる。また、取得された特徴情報を格納しておくことにより、映像データの保存の必要がなくなるため、映像情報蓄積部１１のデータ領域を節約することができる。さらに、映像特徴関数を格納しておくことにより、処理時間を短縮することができる。

映像情報蓄積部１１は、ＡＰＩ（Application Program Interface）などを通じて映像情報を取得するプログラムを実行することにより、外部の記憶装置に記憶された映像情報から、必要な情報を都度取得するようにしてもよい。

映像データ入力部１２は、ユーザが指定した映像コンテンツの映像データを入力する。

映像コンテンツ特徴解析部１３は、映像データ入力部１２から入力された映像データを解析して、当該映像コンテンツの特徴情報を取得する。また、映像情報蓄積部１１に蓄積された映像情報のうち、映像データのみが含まれ特徴情報および映像特徴関数が含まれていない映像コンテンツに関し、当該映像データを解析して特徴情報を取得する。

映像コンテンツ特徴関数作成部１４は、映像コンテンツ特徴解析部１３で取得された映像コンテンツの特徴情報、または映像情報蓄積部１１に蓄積された特徴情報から、当該特徴情報を示す関数である映像特徴関数を作成する。

映像コンテンツ間類似度算出部１５は、ユーザが指定した映像コンテンツの映像特徴関数と、予め映像情報蓄積部１１に蓄積された各映像コンテンツの映像特徴関数との間の類似度を算出する。

推薦映像コンテンツ決定部１６は、予め映像情報蓄積部１１に蓄積されている映像コンテンツのうち、映像コンテンツ間類似度算出部１５で算出された類似度が高いものを推薦映像コンテンツとして決定する。

推薦映像コンテンツリスト出力部１７は、推薦映像コンテンツ決定部１６において推薦映像コンテンツとして決定された映像コンテンツの書誌情報を映像情報蓄積部１１から取得し、推薦映像コンテンツリストとしてユーザに提示するために出力する。

〈一実施形態による映像コンテンツ推薦装置の動作〉
次に、本実施形態による映像コンテンツ推薦装置の動作について説明する。

本実施形態において映像情報蓄積部１１には、図２（ａ）〜（ｃ）に示す情報、および必要に応じて各映像コンテンツの映像データまたは特徴情報が予め蓄積されているものとする。

図２（ａ）は、予め蓄積された映像コンテンツごとの、映像コンテンツＩＤ(i)、タイトル、および内容に関する説明情報が格納された映像情報管理テーブルである。この映像情報管理テーブルには、映像コンテンツＩＤ(i)=「1」が付せられた映像コンテンツの、タイトル「ワールドカップ決勝ハイライト」および説明情報「試合のハイライト」と、映像コンテンツＩＤ(i)=「2」が付せられた映像コンテンツの、タイトル「ウィンブルドン名シーン」および説明情報「名シーン集」とが格納されている。

図２（ａ）のように映像情報管理テーブルの情報を格納しておくことにより、推薦映像コンテンツをユーザに提供する時に、映像コンテンツＩＤだけではなく映像コンテンツのタイトルなどの情報を一緒に出力可能になり、ユーザにわかりやすく提示することができる。

また図２（ｂ）は、本実施形態において利用される、映像コンテンツの映像の特徴を示す項目ごとの映像特徴ＩＤ(j)が格納された映像特徴管理テーブルを示す。この映像特徴管理テーブルには、映像特徴ＩＤ(j)=「1」が付せられた項目「カット点」と、映像特徴ＩＤ(j)=「2」が付せられた項目「音楽区間」とが格納されている。ここで「カット点」とは、映像コンテンツ内でショットが切り替わる箇所を示すものであり、複数の「カット点」間の時間が短い程、ショットの切り替わりが早く緊迫感があるという特徴情報を有した映像であると判断される。

図２（ｂ）のように映像特徴管理テーブルの情報を格納しておくことにより、複数の項目の特徴情報を用いて類似度を算出する場合に、映像特徴関数関係管理テーブル中のどの値の類似度を算出すれば良いかが区別できるようになる。

図２（ｃ）は、図２（ａ）に格納された映像コンテンツＩＤと、図２（ｂ）に格納された映像特徴ＩＤとの組み合わせごとの、取得された特徴情報に基づいて作成された映像特徴関数が格納された映像特徴関数関係管理テーブルである。この映像特徴関数管理テーブルには、映像コンテンツＩＤ(i)=「1」（ワールドカップ決勝ハイライト）の映像コンテンツから、映像特徴ＩＤ(j)=「1」（カット点）に関して取得した特徴情報に基づいて作成された関数「f_A(t) = 2x³ + 3x² + x + 2」と、映像コンテンツＩＤ(i)=「1」（ワールドカップ決勝ハイライト）の映像コンテンツから、映像特徴ＩＤ(j)=「2」（音楽区間）に関して取得した特徴情報に基づいて作成された関数「f_B(t) = 3x³ + x² + 2x + 1」と、映像コンテンツＩＤ(i)=「2」（ウィンブルドン名シーン）の映像コンテンツから、映像特徴ＩＤ(j)=「1」（カット点）に関して取得した特徴情報に基づいて作成された関数「f_C(t) = x³ + 5x² + 6x + 5」と、映像コンテンツＩＤ(i)=「2」（ウィンブルドン名シーン）の映像コンテンツから、映像特徴ＩＤ(j)=「2」（音楽区間）に関して取得した特徴情報に基づいて作成された関数「f_D(t) = x³ + 3x² + 4x + 1」とが格納されている。

映像情報蓄積部１１には図２（ｃ）のような映像特徴関数の情報は必ずしも格納されていなくてもよく、映像特徴関数の情報が必要になったときに蓄積されている映像データ、もしくは特徴情報を利用して、後述するように映像コンテンツ特徴関数作成部１４で算出するようにしてもよい。

これらの情報が映像情報蓄積部１１に蓄積されている状態でユーザが映像コンテンツＸを指定して視聴したときに、映像コンテンツ推薦装置１により映像コンテンツＸと類似度の高い映像コンテンツがユーザに推薦されるときの処理について、図３のフローチャートを参照して説明する。

映像コンテンツＸを視聴するために、ユーザにより当該映像コンテンツＸの映像データにアクセスする操作が行われると、映像コンテンツ推薦装置１の映像データ入力部１２から映像コンテンツＸの映像データが入力される（Ｓ１）。

ここで、入力された映像コンテンツＸの映像データに関して既に映像特徴関数が作成されて映像情報蓄積部１１に蓄積されているか否かが映像特徴ＩＤ(j)ごと(j=1〜n, 1ずつ増加)に確認され、蓄積されている映像特徴ＩＤ(j)に関してはこの作成済みの映像特徴関数が映像コンテンツ間類似度算出部１５で取得される（Ｓ３）。また、蓄積されていない映像特徴ＩＤ(j)がある場合には、入力された映像コンテンツＸの映像データが映像コンテンツ特徴解析部１３に送出される。ここでは、映像コンテンツＸの映像データに関する映像特徴関数はいずれも蓄積されていないと判断され、入力された映像コンテンツＸの映像データが映像コンテンツ特徴解析部１３に送出される。

映像コンテンツ特徴解析部１３では、映像コンテンツＸの映像データが取得されると、この映像データが解析されて、当該映像コンテンツＸの特徴情報が取得される（Ｓ４）。特徴情報は、映像データ中の複数の時点における映像の特徴をそれぞれ数値で表現したものであり、映像の特徴としては例えば、カット点、動き、明度、輝度、彩度、音の高さ、音の大きさ、音楽区間の割合、音声区間の割合などの項目を利用することが可能である。

このうち、映像特徴ＩＤ(j)=1に関する項目「カット点」を用いて、映像データの特徴情報を取得する場合について説明する。映像データからのカット点の検出には、例えば特許第２８６９３９８号公報に記載された技術を利用することができる。

例えば、図４に示すように、映像コンテンツＸの映像データ全体の長さが１０秒間であり、映像データの開始点から２秒後のカット点P1、３秒後のカット点P2、６秒後のカット点P3の３つのカット点が検出されたものとする。

これらのカット点にはさまれたショットの長さに基づいて当該映像データの特徴情報が作成される。ここで映像コンテンツＸは、ショット長が２秒間のショットa1、１秒間のショットa2、３秒間のショットa3、および４秒間のショットa4、の４つのショットから構成されている。

このとき、各ショットについて、映像データ長（１０秒間）を「1」としたときの、各ショットa1〜a4の中間位置の値をt1〜t4とすると、それぞれt1=0.5、t2=0.25、t3=0.45、t4=0.8となる。また、最長のショットの時間をS_MAX（ここでは「４秒」）、各ショットの長さをsとして、最長ショットに対する各ショットの時間割合である特徴量c(t)を以下の式（１）によって算出すると、それぞれc(t1)=0.5、c(t2)=0.25、c(t3)=0.75、c(t1)=1、となる。

これらに基づいて、各ショットa1〜a4について点列( t ,c(t) )で表すと、ショットa1(0.1, 0.5), a2(0.25, 0.25), a3(0.45, 0.75), a4(0.8, 1)という4つの点列が求まり、映像コンテンツＸの映像データの特徴情報として取得される。取得された特徴情報は、当該映像コンテンツＸに対して付された映像コンテンツＩＤ（例えば、映像コンテンツＩＤ(i)=「3」）および、該当する項目の映像特徴ＩＤ（例えば、映像特徴ＩＤ(j)=「1」）に関連付けられて、映像情報蓄積部１１に蓄積される。

次に、映像コンテンツ特徴関数作成部１４において、映像コンテンツ特徴解析部１３で取得された映像コンテンツの特徴情報から、当該特徴情報を示す関数である映像特徴関数が作成される（Ｓ５）。

本実施形態においては、ステップＳ４で取得された特徴情報である４つの点列を可積分関数で近似した曲線を示す関数が、当該映像データのカット点の出現頻度に関する映像特徴関数として求められる。

例えば、最小二乗法により３次関数で近似すると、この映像コンテンツＸの映像データのカット点の出現頻度を示す映像特徴関数は「f_Ｘ(t) = -21.6t³ + 29.2t² - 9.8t + 1.2」となる。

なお、映像特徴関数を求めるために最小二乗法以外の近似方法を用いてもよく、３次関数以外の多項式や、他の関数で表現してもよい。例えば、映像特徴関数が単調増加することがあらかじめ分かっている場合は、線形関数や指数関数、対数関数などに近似することにより、映像データの特徴量の変化をより適切に表現する関数で近似できる可能性がある。また、関数は、いくつかの関数の組み合わせで表現してもよい。例えば、フーリエ級数展開を行い、いくつかの正弦波および余弦派の組み合わせとして表現することができる。これにより、映像データの特徴量の周期的な成分をより良く表現する関数で近似できる可能性がある。取得された映像特徴関数は、当該映像コンテンツＸに対して付された映像コンテンツＩＤ（例えば、映像コンテンツＩＤ(i)=「3」）および、該当する項目の映像特徴ＩＤ（例えば、映像特徴ＩＤ(j)=「1」）に関連付けられて、映像情報蓄積部１１に蓄積される。

また、特徴情報を取得する項目として映像データの明度を利用する場合は、映像データ内のある時点における映像特徴の数値として、その時点のフレームにおける各ピクセルの明度の平均値を用いることができる。

例えば、全体の長さが５秒間の映像データについて、１秒おきにフレームb1、b2、b3、およびb4を抽出して明度の平均値を算出するとき、映像データ長を「1」としたときの各フレームb1〜b4の位置はそれぞれ、t5=0.2、t6=0.4、t7=0.6、t8=0.8となる。このとき、明度を最小値「0」、最大値「1」として正規化した値d(t)が、d(t5)=0.2、d(t6)=0.1、d(t7)=0.2、d(t8)=0.4として算出されたものとする。これに基づいて、各フレームb1〜b4に関する明度を点列( t ,d(t) )で表すと、フレームb1(0.2, 0.2), b2(0.4, 0.1), b3(0.6, 0.2), b4(0.8, 0.4)という4つの点列が求まり、これらが映像コンテンツＸの映像データの特徴情報として取得される。

このとき、これらの点列を最小二乗法により３次関数で近似すると、この映像コンテンツＸの映像データの明度の映像特徴関数はf_Ｘ(t) = -2.1t³ + 5t² - 2.9t + 0.6となる。輝度、彩度についても同様の手法により映像特徴関数を作成することができる。明度、輝度、または彩度を特徴情報として利用することにより、ホラー映画のような暗い映像コンテンツ同士や、アニメのような色鮮やかな映像コンテンツ同士を相互に推薦することが可能になる。

また例えば、明度の場合と同様に、映像データの一定間隔ごとの動きの大きさを映像特徴として利用し、映像特徴関数を作成することができる。動きの大きさには、例えば、ある時点のオプティカルフローを計算し、最も長いベクトルの長さを利用することができる。動きの大きさを特徴情報として利用することにより、アクションのような動きの激しい映像コンテンツ同士を相互に推薦することが可能になる。

また例えば、映像データを一定区間ごとに区切り、その区間における音の高さの平均、音の大きさの平均、音楽区間の割合、音声区間の割合を、それぞれの区間中の時点の特徴情報として利用し、映像特徴関数を作成することができる。音楽区間の検出には、例えば特許第４５７２２１８号公報に記載の技術を利用することができ、音声区間の検出には例えば特許第３１０５４６５号公報に記載の技術を利用することができる。

このように音の高さや大きさを特徴情報として利用することにより、聞こえ方の似た映像コンテンツ同士を推薦することが可能になる。また、音声区間や音楽区間を特徴情報として利用することにより、サイレント映画コンテンツ同士や、音楽映像コンテンツ同士を相互に推薦することが可能になる。

次に、映像コンテンツ間類似度算出部１５において、ユーザが指定した映像コンテンツの映像特徴関数と、予め映像情報蓄積部１１に蓄積された各映像コンテンツの映像特徴関数との間の類似度算出処理が開始される。本実施形態においては、予め映像情報蓄積部１１に蓄積された各映像コンテンツの映像特徴関数として、図２（ａ）に示すように映像情報管理テーブルに格納された、映像コンテンツＩＤ(i)=「1」に対応する映像コンテンツ「ワールトカップ決勝ハイライト」、および映像コンテンツＩＤ(i)=「2」に対応する映像コンテンツ「ウィンブルドン名シーン」に関するものがあるとする。

まず、ユーザが指定した映像コンテンツの映像特徴関数と、映像コンテンツＩＤ(i)=「1」の「ワールトカップ決勝ハイライト」との間の類似度が算出される。

類似度を算出するにあたり、ステップＳ６において、この映像コンテンツＩＤ(i)=「1」に対応する映像コンテンツ「ワールトカップ決勝ハイライト」に関して、既に映像特徴関数が作成されて映像情報蓄積部１１に蓄積されているか否かが映像特徴ＩＤ(j)ごと(j=1〜n, 1ずつ増加)に確認される。ここでは、蓄積されている映像特徴ＩＤ(j)に関しては、図２（ｃ）に示すように、映像特徴ＩＤ(j)=「1」（カット点）、映像特徴ＩＤ(j)=「2」（音楽区間）ともに既に映像特徴関数が蓄積されているため、この作成済みの映像特徴関数（映像特徴ＩＤ「1」：「f_A(t) = 2x³ + 3x² + x + 2」、映像特徴ＩＤ「2」：「f_B(t) = 3x³ + x² + 2x + 1」が取得される（Ｓ７）。

ここで、当該映像コンテンツＩＤ(i)=「1」の映像コンテンツに関して映像特徴関数が蓄積されていない映像特徴ＩＤの項目がある場合には、映像特徴関数に替わって蓄積されている特徴情報、または映像データから取得される特徴情報に基づいて、上述したステップＳ４およびＳ５と同様の処理により映像特徴関数が作成され、取得される（Ｓ８、Ｓ９）。

このように、予め映像情報蓄積部１１に蓄積された各映像コンテンツの映像特徴関数がすべて取得されると、ユーザが指定した映像コンテンツの映像特徴関数と、取得された各映像コンテンツの映像特徴関数との間の類似度がそれぞれ算出される（Ｓ１０）。

一例として、映像コンテンツＩＤ(i)=「1」に対応する映像コンテンツ「ワールトカップ決勝ハイライト」の、映像特徴ＩＤ(j)=「1」（カット点）に関する映像特徴関数「f_Ｘ(t) = -21.6t³ + 29.2t² - 9.8t + 1.2」と、ユーザが指定した映像コンテンツＡの映像特徴関数「f_A(t) = 2x³ + 3x² + x + 2」との類似度が算出される場合の例について説明する。

映像特徴関数「f_Ｘ(t) = -21.6t³ + 29.2t² - 9.8t + 1.2」と映像特徴関数「f_A(t) = 2x³ + 3x² + x + 2」との間のカット点の出願頻度に関する類似度R^cut _X,Aは次の式（２）によって算出される。

次に、推薦映像コンテンツ決定部１６において、予め映像情報蓄積部１１に蓄積された各映像コンテンツについて、映像コンテンツＸに対する類似度に基づいて推薦映像コンテンツを決定するための推薦スコアSが算出される。例えば、映像コンテンツＩＤ(i)=「1」（ワールドカップ決勝ハイライト）についての、映像コンテンツＸに対する推薦スコアS_Ｘ,Aは、下記式（３）によって算出される。

ここで、Jは類似度を算出した項目（映像コンテンツの映像の特徴を示す項目：映像特徴ＩＤ(j)）の集合であり、K_jは映像特徴ＩＤ(j)を重視する度合いを表すパラメータである。映像特徴ＩＤ(j)に基づく項目の類似度を他の項目よりも重視したい場合は、K_j の値を大きくする。

そして、算出された推薦スコアSが高いものが所定数（１つまたは複数）抽出され、推薦映像コンテンツとして決定される（Ｓ１１）。

推薦映像コンテンツとして決定された映像コンテンツに関し、映像情報蓄積部１１からタイトルや内容に関する説明情報等の書誌情報が取得され、推薦映像コンテンツリストとしてユーザに提示するために推薦映像コンテンツリスト出力部１７から出力される（Ｓ１２）。出力された推薦映像コンテンツリストは、自動再生を行う表示システム等に送信されて利用されるようにしてもよい。

上述した実施形態においては、ユーザにより指定された映像コンテンツが１つの場合について説明したが、複数の映像コンテンツを同時に指定してこれらの映像データを入力し、推薦映像コンテンツリストを出力するようにしてもよい。

この場合、入力された各映像データの映像コンテンツについて、蓄積された各映像コンテンツとの類似度を算出して推薦スコアを合計することにより、推薦する映像コンテンツが決定される。入力として映像コンテンツ集合V（v=1,2・・・）が与えられたとき、映像情報蓄積部１１に予め蓄積された任意の映像コンテンツＹに関し、以下の式（４）で示されるS’_V,Xを映像コンテンツ集合Ｖに対する推薦スコアとして利用し、推薦映像リストを作成することができる。

以上の本実施形態によれば、コンテンツの属性やキーワードなどのメタデータが予め各映像コンテンツに付与されていなくても、ユーザが指定した映像コンテンツと類似度の高い映像コンテンツを推薦する処理を、高い精度で簡易に実行することができる。

また、映像コンテンツの特徴情報の時間的変化を関数として表現することにより、映像データをいくつかに区切って各区間における特徴情報の値をベクトルで表現する場合に比べ、より高速に類似度を算出することができる。

例えば、映像データ長を100の区間に区切った場合、1つの映像の特徴情報を表現するベクトルは100次元になる。このとき、映像コンテンツＡの特徴情報を表現するベクトルをV_A=(a₁, a₂, ・・・a₁₀₀) 、映像コンテンツＢの特徴情報を表現するベクトルをV_B=(b₁, b₂, ・・・b₁₀₀) とする。V_AとV_Bの類似度R_A,Bは、コサイン類似度によって下記式（５）により算出することができる。

この式（５）によりR_A,Bを演算するには、301回の掛け算、1回の割り算、297回の足し算、2回の根号計算の合計601回の演算をする必要がある。

一方、上記実施形態で示した場合のように、映像コンテンツの特徴情報を３次関数によって表現すると、映像コンテンツＸの映像特徴f_x(t)= pt³ + qt² + rt + sと映像コンテンツＹの特徴情報f_y(t) = xt³ + yt² + zt + wとの類似度R_X,Yは、下記式（６）により算出することができる。

つまり、12回の掛け算、5回の割り算、6回の足し算、4回の引き算、1回の指数計算の合計28回の演算で類似度を算出することができ、コサイン類似度に基づく類似度算出の601回に比べて計算量が少ない。

コサイン類似度に基づく類似度の算出は、映像データの分割数に応じて線形オーダで計算量が増加し、多項式に近似した映像特徴関数に基づく類似度のコサイン類似度の算出は、近似する関数の次数に応じて2乗オーダで計算量が増加する。そのため、映像の分割数が多い場合、もしくは、映像特徴関数の次数が小さい場合には、多項式に近似した映像特徴関数に基づく類似度算出手法の方が高速に処理を実行することができる。

また、上述した映像コンテンツ推薦装置の映像情報蓄積部、映像データ入力部、映像コンテンツ特徴解析部、映像コンテンツ特徴関数作成部、映像コンテンツ間類似度算出部、推薦映像コンテンツ決定部、および推薦映像コンテンツリスト出力部の機能をプログラム化してコンピュータに組み込むことにより、当該コンピュータを映像コンテンツ推薦装置として機能させる映像コンテンツ推薦用プログラムを構築することも可能である。

また、このプログラムを、ネットワークなどを介してサービスとして実行させるようにしてもよい。

１…映像コンテンツ推薦装置
１１…映像情報蓄積部
１２…映像データ入力部
１３…映像コンテンツ特徴解析部
１４…映像コンテンツ特徴関数作成部
１５…映像コンテンツ間類似度算出部
１６…推薦映像コンテンツ決定部
１７…推薦映像コンテンツリスト出力部

Claims (7)

1. ユーザが指定した映像コンテンツに関連する映像コンテンツを推薦する映像コンテンツ推薦装置において、
   映像コンテンツの映像データを解析して、当該映像データ内の複数時点に関し、映像データ内の位置と、当該位置における映像の特徴を表現した数値とからなるデータ列を、当該映像コンテンツの映像データの特徴情報として取得する映像コンテンツ特徴解析部と、
   前記映像コンテンツ特徴解析部で取得された特徴情報から、当該特徴情報を示す関数である映像特徴関数を作成する映像コンテンツ特徴関数作成部と、
   予め複数の映像コンテンツに関し、映像データ、前記特徴情報、または、前記映像特徴関数のうち、少なくとも１つが含まれる映像情報をそれぞれ蓄積する映像情報蓄積部と、
   ユーザが指定した映像コンテンツの映像特徴関数と、前記映像情報蓄積部に予め蓄積された複数の映像コンテンツの映像データもしくは特徴情報から作成された映像特徴関数、または、蓄積された映像特徴関数との類似度をそれぞれ算出する映像コンテンツ間類似度算出部と、
   前記映像情報蓄積部に映像情報が蓄積された複数の映像コンテンツのうち、前記映像コンテンツ間類似度算出部で算出された類似度が高い所定数の映像コンテンツを、推薦映像コンテンツとして決定する推薦映像コンテンツ決定部と、
   前記推薦映像コンテンツ決定部で推薦映像コンテンツとして決定された映像コンテンツに関する情報を、推薦映像コンテンツ情報として出力する推薦映像コンテンツリスト出力部と
   を備えることを特徴とする映像コンテンツ推薦装置。
2. 前記映像コンテンツ特徴解析部は、対象とする映像コンテンツの複数時点に関する映像の特徴として、カット点の出現頻度、動き、明度、輝度、彩度、音の高さ、もしくは音の大きさ、音楽区間の割合、または音声区間の割合のうち、少なくともいずれかを数値で表現した特徴情報を取得する
   ことを特徴とする請求項１に記載の映像コンテンツ推薦装置。
3. 前記映像コンテンツ特徴関数作成部は、対象とする映像コンテンツ内の、前記複数時点における特徴情報を多項式関数で近似した曲線を示す関数を、前記映像特徴関数として作成する
   ことを特徴とする請求項１または２に記載の映像コンテンツ推薦装置。
4. ユーザが指定した映像コンテンツに関連する映像コンテンツを推薦する映像コンテンツ推薦方法であって、
   映像コンテンツの映像データを解析して、当該映像データ内の複数時点に関し、映像データ内の位置と、当該位置における映像の特徴を表現した数値とからなるデータ列を、当該映像コンテンツの映像データの特徴情報として取得する映像コンテンツ特徴解析ステップと、
   前記映像コンテンツ特徴解析ステップで取得された映像コンテンツの特徴情報から、当該特徴情報を示す関数である映像特徴関数を作成する映像コンテンツ映像特徴関数生成ステップと、
   予め複数の映像コンテンツに関し、映像データ、前記特徴情報、または、前記映像特徴関数のうち、少なくとも１つが含まれる映像情報をそれぞれ蓄積する映像情報蓄積ステップと、
   ユーザが指定した映像コンテンツの映像特徴関数と、前記映像情報蓄積ステップにより予め蓄積された複数の映像コンテンツの映像データもしくは特徴情報から作成された映像特徴関数、または、蓄積された映像特徴関数との類似度をそれぞれ算出する映像コンテンツ間類似度算出ステップと、
   前記映像情報蓄積ステップにより映像情報が蓄積された複数の映像コンテンツのうち、前記映像コンテンツ間類似度算出ステップで算出された類似度が高い所定数の映像コンテンツを、推薦映像コンテンツとして決定する推薦映像コンテンツ決定ステップと、
   前記推薦映像コンテンツ決定ステップで推薦映像コンテンツとして決定された映像コンテンツに関する情報を、推薦映像コンテンツ情報として出力する映像コンテンツ情報出力ステップと
   を有することを特徴とする映像コンテンツ推薦方法。
5. 前記映像コンテンツ特徴解析ステップでは、対象とする映像コンテンツの複数時点に関する映像の特徴として、カット点の出現頻度、動き、明度、輝度、彩度、音の高さ、もしくは音の大きさ、音楽区間の割合、または音声区間の割合のうち、少なくともいずれかを数値で表現した特徴情報を取得する
   ことを特徴とする請求項４に記載の映像コンテンツ推薦方法。
6. 前記映像コンテンツ映像特徴関数生成ステップでは、対象とする映像コンテンツ内の、前記複数時点における特徴情報を多項式関数で近似した曲線を示す関数を、前記映像特徴関数として作成する
   ことを特徴とする請求項４または５に記載の映像コンテンツ推薦方法。
7. 請求項４〜６のいずれか１項に記載の映像コンテンツ推薦方法を、コンピュータで実行させるための映像コンテンツ推薦用プログラム。

Images