JP2004312208A

JP2004312208A - Video presentation device, video presentation method, and video presentation program

Info

Publication number: JP2004312208A
Application number: JP2003101006A
Authority: JP
Inventors: Toshihiko Misu; 俊彦三須; Masahide Naemura; 昌秀苗村; Masaki Takahashi; 正樹高橋
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2003-04-04
Filing date: 2003-04-04
Publication date: 2004-11-04
Anticipated expiration: 2023-04-04
Also published as: JP4263933B2

Abstract

【課題】異なる方向から撮影された複数の映像ストリームの中から、視聴者側で視聴者の好みに応じた映像ストリームを自動的に選択して切り替えることを可能にした映像提示装置、映像提示方法及び映像提示プログラムを提供する。
【解決手段】映像提示装置１０は、受信手段１１によって、コンテンツサーバ２から配信される複数の映像ストリームと、映像シーンの要約を記述したメタデータとを受信し、その受信したメタデータと嗜好データ入力手段１２で入力された視聴者のリクエストとの合致度を合致度算出手段１４によって算出し、ストリーム切り替え手段１６によって、その合致度の高い映像ストリームを選択し、切り替えて提示することを特徴とする。
【選択図】図１A video presentation apparatus and a video presentation method that enable a viewer to automatically select and switch a video stream according to the preference of the viewer from a plurality of video streams shot from different directions. And a video presentation program.
A video presenting apparatus receives a plurality of video streams distributed from a content server and metadata describing a summary of a video scene by a receiving unit, and receives the received metadata and preference data. The matching degree with the viewer's request input by the input means 12 is calculated by the matching degree calculating means 14, and the video stream having the high matching degree is selected by the stream switching means 16, switched and presented. I do.
[Selection diagram] Fig. 1

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の映像ストリームの中から、視聴者の好みに応じた映像ストリームを、自動的に選択して切り替えることができる映像提示装置、映像提示方法及び映像提示プログラムに関する。
【０００２】
【従来の技術】
従来、テレビジョン放送における映像配信方法は、複数のカメラで撮影した映像や、予め蓄積されている映像素材の中から、放送局側で放送すべき映像をスイッチャにより予め若しくは実時間で選択し、その選択された映像のみを配信している。
また、複数のカメラで、異なる方向（視点）からそれぞれ撮影された映像を、複数の映像ストリームとして視聴者側に配信し、視聴者側で好みに応じて映像ストリームを手動により選択できるサービスも実施されている。
【０００３】
また、近年、テレビジョン放送の放送方式は、アナログ方式からデジタル方式のテレビジョン放送（以下、「デジタル放送」という）に移行しつつある。このデジタル放送では、電子番組ガイド（ＥＰＧ）がメタデータの１つとして配信されており、番組単位での録画再生等の制御が可能となっている。そこで、個人の好みの画面構成、画質、データ放送から抽出するデータ等を蓄積したカードを受信機に差し込むことで、個人の好みの番組を選択及び編成することができるデジタル放送受信機も提案されている（例えば、特許文献１参照。）。
【０００４】
さらに、データ放送画面の切り替えをテレビジョン装置側で制御する技術としては、テレビジョン装置側で画面上の映像オブジェクトを選択することで、その映像オブジェクトに関連する情報（画面）を提示する技術が存在する（例えば、特許文献２参照。）。この技術は、映像オブジェクトに関連する情報をメタデータとし、映像音声チャンネルで伝送される映像音声データと、データチャンネルで伝送されるメタデータとを同期させ、テレビジョン装置側でどの映像オブジェクトが指し示されたかを判断することで、データ放送画面の遷移先を切り替えて表示するものである。
【０００５】
【特許文献１】
特開２００２−１４２１５９号公報（第４頁、第２図）
【特許文献２】
特開２００２−１８５８８５号公報（第５−６頁、第４図）
【０００６】
【発明が解決しようとする課題】
しかし、従来のテレビジョン放送の映像配信方法では、複数のカメラや映像素材の中から、放送局側でスイッチャにより切り替え選択された映像が視聴者側に設置された受信機に配信され、その映像がそのまま再生されて表示（提示）されている。このために、必ずしもその切り替え結果（提示された映像）が、視聴者が望む構成になっているとは限らない。
【０００７】
また、複数の異なるカメラで撮影された映像を、そのまま複数の映像ストリームとして伝送し、視聴者側で視聴者の好みに応じて映像ストリームを選択できるサービスにおいては、選択切り替え操作は視聴者が手動で行う必要があり、切り替え操作に手間がかかるという問題があった。
【０００８】
さらに、特許文献１で開示された技術では、頻繁に画面の切り替えが発生するという問題がある。この頻繁な切り替えによって、視聴者の目に疲労を与えることも想定されるが、従来では、この疲労対策はとられていない。
【０００９】
また、特許文献２で開示された技術では、視聴者の選択によって実時間で画面の表示制御を行うことができるものの、データ放送画面の遷移先を変更するものであり、映像自体を切り替えるものではない。
【００１０】
本発明は、以上のような問題点に鑑みてなされたものであり、異なる方向から撮影された複数の映像ストリームの中から、視聴者側で視聴者の好みに応じた映像ストリームを自動的に選択して切り替えることを可能にした映像提示装置、映像提示方法及び映像提示プログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像提示装置は、映像ストリームに対応付けた時刻によって変化する前記映像ストリームの要約情報を記述したメタデータと、視聴者の好みを記述した嗜好データとに基づいて、複数の映像ストリームを切り替えて提示する映像提示装置であって、受信手段と、嗜好データ入力手段と、嗜好データ記憶手段と、合致度算出手段と、ストリーム切り替え手段と、出力手段とを備える構成とした。
【００１２】
かかる構成によれば、映像提示装置は、受信手段によって、複数の映像ストリームとその映像ストリームの要約情報を記述したメタデータとを受信する。この複数の映像ストリームは、それぞれ同一の番組で、異なる方向（視点）から撮影された映像のデータである。例えば、映像ストリームは、ドラマの制作において、複数のカメラによって視点を変えて撮影された映像、特定の人物に着目して撮影された映像等のストリームデータである。また、メタデータは、各映像ストリームの時刻（タイムコード）に対応付けて、要約情報を記述したデータである。例えば、メタデータには、ある時刻に映像ストリームに登場する人物（「名称」等）、人物の行動（「話をする」等）、色（「ユニフォームの色」等）等を要素（属性）を含ませることができる。
【００１３】
また、映像提示装置は、嗜好データ入力手段によって、視聴者の好みを記述した嗜好データを入力して、その嗜好データを嗜好データ記憶手段に記憶する。この嗜好データは、メタデータで記述された要素の中で視聴者の好みに適したものを記述したデータである。例えば、視聴者が、ある登場人物を中心に映像を見たい場合は、その登場人物の名称等を記述しておく。
【００１４】
そして、映像提示装置は、合致度算出手段によって、嗜好データとメタデータとを照合して、その合致の度合いを示す合致度を算出する。この合致度によって、複数の映像ストリームの中で、視聴者がどの映像ストリームを最も好むかを判定することが可能になる。
【００１５】
そして、映像提示装置は、ストリーム切り替え手段によって、合致度を参照して複数の映像ストリームを切り替え、出力手段によって、その切り替えられた映像ストリームを提示する。すなわち、合致度が最も大きい映像ストリームを提示することで、視聴者の嗜好にあった映像ストリームを提示することができる。
【００１６】
また、請求項２に記載の映像提示装置は、請求項１に記載の映像提示装置において、前記メタデータは、前記映像ストリームのフレーム毎に被写体を識別する識別子を含み、前記嗜好データは、視聴者が視聴したい前記被写体の識別子を含むものであって、前記合致度算出手段は、前記複数の映像ストリームにおいて、フレーム毎に前記嗜好データに含まれている識別子の個数を検出することで、各映像ストリーム毎に合致度を算出することを特徴とする。
【００１７】
かかる構成によれば、映像提示装置は、嗜好データに記述された識別子の中で、フレームの時刻に対応するメタデータに記述された識別子と一致する識別子の数で、個々の映像ストリームの合致度を決定する。この場合、一致する要素の数が多ければ合致度は大きな値となる。
【００１８】
さらに、請求項３に記載の映像提示装置は、請求項１又は請求項２に記載の映像提示装置において、前記ストリーム切り替え手段で切り替えた映像ストリームの切り替え履歴を記憶する履歴記憶手段を備え、前記ストリーム切り替え手段が、前記合致度と前記切り替え履歴を参照して、前記映像ストリームの切り替えの判定を行う切り替え判定手段を備えていることを特徴とする。
【００１９】
かかる構成によれば、映像提示装置は、切り替え判定手段によって、合致度算出手段で算出された合致度と、履歴記憶手段に記憶されている切り替え履歴とを参照して、どの映像ストリームを提示するかを判定する。このため、視聴者の好みに加え、映像ストリームの切り替えを行う時間頻度に制約を与えることができる。
【００２０】
また、請求項４に記載の映像提示装置は、請求項１乃至請求項３のいずれか１項に記載の映像提示装置において、前記メタデータが、前記映像ストリームに多重化されたものであって、前記映像ストリームから前記メタデータを分離する分離手段を備える構成とした。
【００２１】
かかる構成によれば、映像提示装置は、１つ又は複数の映像ストリームに、映像ストリームの要約情報を記述したメタデータを多重化してあっても、分離してメタデータを解析することができる。これによって、メタデータと映像ストリームとを関連付けることができるため、メタデータ及び映像ストリームのデータの管理が容易になる。なお、この多重化は、複数の映像ストリームの中で１つを代表映像ストリームとして、その代表映像ストリームにすべての映像ストリームに関するメタデータを多重化することとしてもよい。あるいは、個々の映像ストリームに、それぞれの映像ストリームに関するメタデータを多重化することとしてもよい。
【００２２】
さらに、請求項５に記載の映像提示装置は、映像ストリームに対応付けた時刻によって変化する前記映像ストリームの要約情報を記述したメタデータと、視聴者の好みを記述した嗜好データとに基づいて、複数の映像ストリームを切り替えて提示する映像提示装置であって、記憶媒体読み込み手段と、嗜好データ入力手段と、嗜好データ記憶手段と、合致度算出手段と、ストリーム切り替え手段と、出力手段とを備える構成とした。
【００２３】
かかる構成によれば、記憶媒体読み込み手段によって、ＤＶＤ等の記憶媒体に記憶された複数の映像ストリームとその映像ストリームの要約情報を記述したメタデータとを読み込む。この複数の映像ストリームは、それぞれ同一の番組で、異なる方向（視点）から撮影された映像のデータである。
【００２４】
また、映像提示装置は、嗜好データ入力手段によって、視聴者の好みを記述した嗜好データを入力して、その嗜好データを嗜好データ記憶手段に記憶する。この嗜好データは、メタデータで記述された要素の中で視聴者の好みに適したものを記述したデータである。
【００２５】
そして、映像提示装置は、合致度算出手段によって、嗜好データとメタデータとを照合して、その合致の度合いを示す合致度を算出する。この合致度によって、複数の映像ストリームの中で、視聴者がどの映像ストリームを最も好むかを判定することが可能になる。そして、映像提示装置は、ストリーム切り替え手段によって、合致度を参照して複数の映像ストリームを切り替え、出力手段によって、その切り替えられた映像ストリームを提示する。
【００２６】
さらに、請求項６に記載の映像提示方法は、映像ストリームに対応付けた時刻によって変化する前記映像ストリームの要約情報を記述したメタデータと、視聴者の好みを記述した嗜好データとに基づいて、複数の映像ストリームを切り替えて提示する映像提示方法であって、合致度算出ステップと、ストリーム切り替え判定ステップと、ストリーム切り替えステップとを含むことを特徴とする。
【００２７】
この方法によれば、合致度算出ステップにおいて、映像ストリームの要約情報を記述したメタデータと、視聴者の好みを記述した嗜好データとを照合して、その合致の度合いを示す合致度を算出する。なお、この合致度によって、複数の映像ストリームの中で、視聴者がどの映像ストリームを最も好むかを判定することが可能になる。
【００２８】
そして、ストリーム切り替え判定ステップにおいて、合致度算出ステップで算出された合致度と、履歴記憶手段に記憶されている切り替え履歴とに基づいて、提示する映像ストリームの切り替えを行うかどうかを判定する。これによって、視聴者の好みに加え、映像ストリームの切り替えを行う時間頻度に制約を与えることができる。
【００２９】
そして、ストリーム切り替えステップにおいて、ストリーム切り替え判定ステップの判定結果に基づいて、提示する映像ストリームを切り替えるとともに、履歴記憶手段に記憶されている切り替え履歴を更新する。
【００３０】
また、請求項７に記載の映像提示プログラムは、映像ストリームに対応付けた時刻によって変化する前記映像ストリームの要約情報を記述したメタデータと、視聴者の好みを記述した嗜好データとに基づいて、複数の映像ストリームを切り替えて提示するために、コンピュータを、合致度算出手段、ストリーム切り替え手段、履歴記憶制御手段として機能させる構成とした。
【００３１】
かかる構成によれば、映像提示プログラムは、合致度算出手段によって、嗜好データとメタデータとを照合して、その合致の度合いを示す合致度を算出する。この合致度によって、複数の映像ストリームの中で、視聴者がどの映像ストリームを最も好むかを判定することが可能になる。
【００３２】
そして、映像提示プログラムは、ストリーム切り替え手段によって、合致度算出手段で算出された合致度と、履歴記憶手段に記憶されている切り替え履歴とに基づいて、映像ストリームの切り替えを行う。なお、切り替え履歴は、ストリーム切り替え手段で前記映像ストリームの切り替えを行ったときに、履歴記憶制御手段によって更新される。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［第一の実施の形態］
図１は、本発明における第一の実施の形態である映像提示装置を含んだ映像配信サービスシステムの構成を示したブロック構成図である。図１に示すように、映像配信サービスシステム１は、複数の映像ストリームと、その映像ストリームの要約情報を記述したメタデータとを、映像提示装置１０で受信し、視聴者（ユーザ）の好みに合致する映像ストリームを選択し切り替えて、表示手段１９へ出力するシステムである。ここでは、映像配信サービスシステム１を、複数のコンテンツサーバ２（２_１〜２_ｎ）と、メタデータサーバ３と、映像提示装置１０とで構成した。
【００３４】
（コンテンツサーバ）
コンテンツサーバ２（２_１〜２_ｎ）は、それぞれ異なる映像ストリームｓｄ_１〜ｓｄ_ｎを、有線又は無線の伝送路５を経由して映像提示装置１０に配信するものである。例えば、コンテンツサーバ２は、異なるチャンネルの高周波を搬送波として、空間若しくはケーブルを通じて映像ストリームｓｄ_１〜ｓｄ_ｎを映像提示装置１０に配信する。なお、この映像ストリームｓｄ_１〜ｓｄ_ｎの配信は、インターネットやイントラネットを経由して行うことも可能である。また、コンテンツサーバ２は１台のサーバで複数の映像ストリームｓｄ_１〜ｓｄ_ｎを配信することとしてもよい。
【００３５】
ここで、映像ストリームｓｄ_１〜ｓｄ_ｎは、それぞれが同一の撮影対象を異なる方向（視点）から撮影したものである。例えば、撮影対象を野球等のスポーツ中継とした場合、映像ストリームｓｄ_１は野球場全体を撮影している映像、映像ストリームｓｄ_２は１塁側ベンチを撮影している映像、映像ストリームｓｄ_３（図示せず）は選手Ａ（図示せず）をカメラで追いながら撮影している映像、映像ストリームｓｄ_ｎは選手Ｂ（図示せず）をカメラで追いながら撮影している映像となる。なお、映像ストリームｓｄ_１〜ｓｄ_ｎのいずれか１つは、コンテンツ（映像）を提供する側でスイッチャ等により映像切り替えを行ったものとしてもよい。
【００３６】
（メタデータサーバ）
メタデータサーバ３は、映像ストリームｓｄ_１〜ｓｄ_ｎの要約情報を記述したメタデータｍｄを、時刻情報とともに映像提示装置１０に配信するものである。このメタデータサーバ３は、映像ストリームを配信するチャンネルとは別のチャンネルの高周波を搬送波として、空間若しくはケーブルを通じて映像提示装置１０に配信する。なお、このメタデータｍｄの配信は、インターネットやイントラネットを経由して行うことも可能である。
【００３７】
なお、メタデータサーバ３は、映像ストリームが生放送番組の場合には、メタデータｍｄを映像ストリームｓｄ_１〜ｓｄ_ｎの配信と同時に送出し、録画放送番組の場合には、映像ストリームｓｄ_１〜ｓｄ_ｎの配信と同時又は配信に先立って送出する。
【００３８】
また、メタデータｍｄは、映像ストリームｓｄ_１〜ｓｄ_ｎを構成するフレーム毎に映像シーンの要約を記述するものである。例えば、ある時刻において第ｎ番目の映像ストリームのフレーム内に映っている全被写体を識別する識別子（例えば、名前等）の集合で映像シーンの要約を記述することができる。
【００３９】
ここで、図３を参照（適宜図１参照）して、メタデータｍｄの内容について説明する。図３は、メタデータｍｄの内容の一例を示した図であって、タイムコードＴが、時刻０１時２３分４５秒０２フレーム（以後、「０１：２３：４５：０２」の形式で略記する）のときに、映像ストリームｓｄ_１〜ｓｄ_３の各フレームに映っている全被写体を識別子集合Ｉ_１〜Ｉ_３で表したものである。
【００４０】
図３の例では、タイムコードＴ「０１：２３：４５：０２」において、映像ストリームｓｄ_１のフレームには「太郎」及び「次郎」が、映像ストリームｓｄ_２のフレームには「三郎」が、映像ストリームｓｄ_３のフレームには「花子」及び「三郎」が被写体として映っていることを表している。このメタデータｍｄでタイムコードＴ別に定義した各要素は、個々に固有の識別子を持っている。ここでは、名前（「太郎」、「次郎」、「三郎」及び「花子」）を識別子としている。
【００４１】
なお、メタデータとしては、人物（被写体）の行動、色といった要素（属性）を含めることもできる。例えば、メタデータに人物が話をする行動を「話をする」という要素で定義しておくことで、映像提示装置１０は、複数の映像ストリームｓｄ_１〜ｓｄ_ｎの中から、人物が話をする場面を選択して提示することが可能になる。また、例えば、メタデータにサッカー選手のユニフォームの色を「色」という要素で定義しておくことで、映像提示装置１０は、視聴者が応援するサッカーチームの選手が多く映った場面を選択して提示することが可能になる。
図１に戻って説明を続ける。
【００４２】
（映像提示装置の構成）
映像提示装置１０は、複数の映像ストリームｓｄ_１〜ｓｄ_ｎの中から視聴者の好みに合致する映像ストリームを選択し、切り替えて、視聴者に提示するものである。ここでは、映像提示装置１０を、受信手段１１と、嗜好データ入力手段１２と、嗜好データ記憶手段１３と、合致度算出手段１４と、履歴記憶手段１５と、ストリーム切り替え手段１６と、出力手段１７とを備えて構成した。
【００４３】
受信手段（映像情報入力手段）１１は、コンテンツサーバ２（２_１〜２_ｎ）から配信される映像ストリームｓｄ_１〜ｓｄ_ｎ、及び、メタデータサーバ３から配信されるメタデータｍｄを、有線又は無線の伝送路５を経由して受信するものである。この受信手段１１で受信した映像ストリームｓｄ_１〜ｓｄ_ｎはストリーム切り替え手段１６へ出力され、メタデータｍｄは合致度算出手段１４へ出力される。
【００４４】
なお、ここでは、映像ストリームｓｄ_１〜ｓｄ_ｎ及びメタデータｍｄを受信する手段を１つの受信手段１１としたが、例えば、映像ストリームｓｄ_１〜ｓｄ_ｎが放送波によって配信され、メタデータｍｄがネットワークを経由して配信される場合は、受信手段１１を放送受信部及びネットワーク受信部（図示せず）として構成してもよい。
【００４５】
嗜好データ入力手段１２は、視聴者の好み（リクエスト）を嗜好データとして入力するものである。この嗜好データは、視聴者が、メタデータｍｄで記述された要素の中で視聴者の好みに適した要素を選択して入力したデータである。例えば、視聴者は、図３に示したメタデータｍｄの中で、「太郎」が映っている映像ストリームを視聴したい場合は、識別子「太郎」を嗜好データとして入力する。なお、メタデータｍｄに記述された要素であれば、嗜好データを複数選択して入力してもよい。この嗜好データ入力手段１２で入力された嗜好データは、嗜好データ記憶手段１３に記憶される。
【００４６】
嗜好データ記憶手段１３は、嗜好データ入力手段１２で入力された嗜好データを記憶するもので、一般的なメモリ等で構成されているものである。この嗜好データ記憶手段１３に記憶した嗜好データは、合致度算出手段１４が参照する。
【００４７】
合致度算出手段１４は、嗜好データ記憶手段１３に記憶されている嗜好データと、受信手段１１で受信したメタデータｍｄとを、映像ストリームｓｄ_１〜ｓｄ_ｎの各フレームにおいて照合し、その合致の度合いを示す合致度を算出するものである。この合致度は、ストリーム切り替え手段１６へ通知される。
例えば、メタデータｍｄを、図３に示したような被写体の識別子集合とした場合、合致度算出手段１４は、嗜好データとして入力された識別子集合（Ｄとする）と、メタデータｍｄ内の映像ストリームｓｄ_１〜ｓｄ_ｎに対応する識別子集合（Ｉ_ｎとする）を比較する。
【００４８】
ここで、嗜好データとして入力された識別子集合Ｄと、映像ストリームｓｄ_１〜ｓｄ_ｎに対応する識別子集合Ｉ_ｎとの間に同一の識別子が存在した場合には、Ｎ次元のベクトルである合致度（Ｍとする）の第ｎ行目を「１」とし、同一の識別子が存在しなかった場合には、合致度Ｍの第ｎ行目を「０」とする。これによって、合致度Ｍは（１）式のように定式化される。
【００４９】
【数１】

【００５０】
ここで、合致度算出手段１４が、（１）式で合致度Ｍを算出する例について説明する。ここでは、嗜好データとして識別子集合Ｄが（２）式で入力され、視聴者が視聴したい被写体が「三郎」であるとする。
【００５１】
【数２】

【００５２】
そして、現在時刻が「０１：２３：４５：０２」の場合、合致度算出手段１４には、図３に示したタイムコードＴ「０１：２３：４５：０２」のメタデータｍｄが入力される。このメタデータｍｄにおいて、映像ストリームｓｄ_１に関する識別子集合Ｉ_１には、「三郎」という識別子が含まれていないが、映像ストリームｓｄ_２及びｓｄ_３に関する識別子集合Ｉ_２及びＩ_３には、「三郎」という識別子が含まれている。そこで、合致度算出手段１４は、（３）式に示すように、合致度Ｍを、第１行要素のみが「０」、他の要素が「１」となるベクトルとして出力する。
【００５３】
【数３】

【００５４】
また、合致度算出手段１４は、（１）式以外に、嗜好データとして入力された識別子集合Ｄ内の識別子と、映像ストリームｓｄ_１〜ｓｄ_ｎに対応する識別子集合Ｉ_ｎ内の識別子とで、同一の識別子の数を合致度Ｍとして算出することとしてもよい。すなわち、合致度Ｍを（４）式のように定式化してもよい。
【００５５】
【数４】

【００５６】
ここで、嗜好データとして識別子集合Ｄが（５）式で入力され、視聴者の視聴したい被写体が「花子」及び「三郎」であるとする。すると、合致度算出手段１４は、図３のメタデータｍｄを参照して、（６）式に示すように、合致度Ｍを、第１行要素が「０」、第２行要素が「三郎」の要素数「１」、第３行要素が「花子」及び「三郎」の要素数「２」となるベクトルとして出力する。
【００５７】
【数５】

【００５８】
【数６】

【００５９】
図１に戻って説明を続ける。
履歴記憶手段１５は、後記するストリーム切り替え手段１６で切り替えた映像ストリームの切り替え履歴を記憶するもので、一般的なメモリ等で構成されるものである。この切り替え履歴は、ストリーム切り替え手段１６の履歴記憶制御部１６ａによって更新され、ストリーム切り替え手段１６の切り替え判定部１６ｂによって参照される。
【００６０】
ここで、図４を参照して、履歴記憶手段１５に記憶される切り替え履歴について説明する。図４は、切り替え履歴の内容を示した図である。図４に示したように、切り替え履歴は、切り替え時刻Ｔｃと、その切り替え時刻Ｔｃに切り替えて出力された映像ストリームの識別子（映像ストリーム識別子Ｓ）とを関連付けて記憶しておく。なお、映像ストリーム識別子Ｓは、映像ストリームｓｄ_１〜ｓｄ_ｎを個々に識別するための識別子であって、例えば、映像ストリームｓｄ_１には「１」、映像ストリームｓｄ_２には「２」のように割り当てておく。
【００６１】
また、図４の例では、切り替え時刻Ｔｃが、「０１：２２：１５：０３」で、映像ストリーム識別子Ｓが「２」の映像ストリームに、切り替え時刻Ｔｃが、「０１：２２：３０：１５」で、映像ストリーム識別子Ｓが「３」の映像ストリームに順次切り替ったことを示している。
図１に戻って説明を続ける。
【００６２】
ストリーム切り替え手段１６は、合致度算出手段１４で算出された合致度と、履歴記憶手段１５に記憶されている切り替え履歴とに基づいて、映像ストリームｓｄ_１〜ｓｄ_ｎの中から１つの映像ストリームを切り替えて（選択して）、出力するものである。ここでは、ストリーム切り替え手段１６を履歴記憶制御部１６ａと切り替え判定部１６ｂとを備えて構成した。
【００６３】
履歴記憶制御部（履歴記憶制御手段）１６ａは、映像ストリームの切り替えを行ったときに、履歴記憶手段１５に記憶されている切り替え履歴（図４参照）を更新するものである。この履歴記憶制御部１６ａは、選択された映像ストリームが１フレーム前と現在で同じ映像ストリームかどうかを判定し、異なっていた場合には、現在時刻Ｔを切り替え時間Ｔｃとし、選択された映像ストリームの識別子Ｓに関連付けて、履歴記憶手段１５に追加記憶する。
【００６４】
切り替え判定部（切り替え判定手段）１６ｂは、複数の映像ストリームｓｄ_１〜ｓｄ_ｎの中から、どの映像ストリームを選択すべきかを判定し、その選択された映像ストリームの識別子（映像ストリーム識別子）を出力するものである。ここで選択された映像ストリーム識別子に基づいて、ストリーム切り替え手段１６が、対応する映像ストリームを出力手段１７へ出力する。
【００６５】
なお、切り替え判定部１６ｂでは、現在時刻（Ｔとする）と、合致度Ｍ（（１）式参照）と、履歴記憶手段１５に記憶されている切り替え履歴（Ｈとする）とに基づいて、Ｎ個の映像ストリームの中から、選択すべき映像ストリーム識別子（Ｓとする）を（７）式により算出する。
【００６６】
【数７】

【００６７】
この（７）式において、関数Ｊは現在時刻Ｔ、合致度Ｍ及び切り替え履歴Ｈが与えられたときに、映像ストリームｎ（１、２、…、Ｎ）へ切り替ることの妥当性を定量化する関数で、映像ストリームｎへの切り替りが好ましい場合には大きな値を出力するものである。例えば、嗜好データとして入力された識別子集合Ｄに含まれる被写体を、映像ストリーム内にできる限り多く含ませたい場合は、前記（４）式で定義した合致度Ｍに基づいて、（８）式のように定式化する。ただし、Ｍ＝［ｍ_１ｍ_２ … ｍ_Ｎ］^Ｔ（Ｔは転置）を示す。ここで、関数ｆは単調増加関数であり、例えばｆ（ｘ）＝ｘを用いることができる。
【００６８】
【数８】

【００６９】
なお、切り替え判定部１６ｂでは、関数Ｊを（９）式に示すように定式化してもよい。
【００７０】
【数９】

【００７１】
この（９）式の関数Ｊは、現在時刻Ｔと、切り替え履歴Ｈとに基づいて、ペナルティｐを課している。ここで、ペナルティｐは、（１０）式に示すような関数である。
【００７２】
【数１０】

【００７３】
ここで、時刻は秒を単位とし、ｔは切り替え履歴Ｈにおいて、現在時刻Ｔに最も近い切り替え時刻を表すものとする。
この（１０）式に示すように、ペナルティｐは、切り替え履歴Ｈにおいて、現在時刻Ｔに最も近い切り替え時刻ｔの映像ストリームがｎ、すなわち同一の映像ストリームの場合（切り替えを要しない場合）は「０」、異なる場合（切り替えを要する場合）は、関数ｇの値となるものである。
ここで、関数ｇは、０以下の単調増加関数で、例えば（１１）式に示すような現在時刻Ｔと切り替え時刻ｔとの間隔Δｔを指数とする指数関数とすることができる。ただし、ａ＜０、０＜ｒ＜１とする。
【００７４】
【数１１】

【００７５】
これによって、前に行った切り替え時刻ｔと現在時刻Ｔとの間隔Δｔが小さいほど、ペナルティｐの値がマイナス方向に大きくなり、前記（９）式の関数Ｊの値は小さくなる。これによって、切り替え判定部１６ｂは、切り替え時間間隔が短い場合に、切り替えを行わないようにすることができ、頻繁な映像ストリームの切り替えを抑えることができる。
【００７６】
出力手段１７は、ストリーム切り替え手段１６で選択された映像ストリーム（選択映像ストリーム）を必要に応じて復調又は復号し、映像信号に変換して表示手段１９に出力するものである。
【００７７】
表示手段１９は、出力手段１７から出力される選択された映像ストリームを表示するものである。この表示手段１９は、例えばブラウン管、液晶ディスプレイ、プラズマディスプレイ、ＬＥＤディスプレイである。
【００７８】
以上説明したように、映像提示装置１０は、複数のカメラで異なる方向から撮影された複数の映像ストリームｓｄ_１〜ｓｄ_ｎの中から、視聴者の好みに応じた映像ストリームを自動的に選択し、切り替えて、視聴者に提示することができる。
【００７９】
以上、本発明における第一の実施の形態である映像提示装置１０を含んだ映像配信サービスシステム１の構成について説明したが、本発明はこれに限定されるものではない。ここでは、コンテンツサーバ２及びメタデータサーバ３を別の手段として構成したが、コンテンツサーバ２及びメタデータサーバ３を同一の計算機で共用する形態であっても構わない。また、インターネットあるいはイントラネット上において伝送（ストリーミング）を行う場合、例えば、映像ストリームｓｄ_１〜ｓｄ_ｎとメタデータｍｄとを異なる媒体、あるいは異なるプロトコルによって伝送してもよい。
【００８０】
また、映像提示装置１０は、各手段をコンピュータにおいて機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像提示プログラムとして動作させることも可能である。
【００８１】
（映像提示装置の動作）
次に、図２を参照（適宜図１参照）して、映像提示装置の動作について説明する。図２は、映像提示装置の動作を示すフローチャートである。
まず、映像提示装置１０は、嗜好データ入力手段１２によって、視聴者の好み（リクエスト）を嗜好データとして入力する（ステップＳ１）。また、映像提示装置１０は、有線又は無線の伝送路５を経由して、コンテンツサーバ２_１〜２_ｎから配信される複数の映像ストリームｓｄ_１〜ｓｄ_ｎと、メタデータサーバ３から配信されるメタデータｍｄを受信手段１１で受信する（ステップＳ２）。そして、映像提示装置１０は、以下の各ステップを映像ストリームのフレーム数分繰り返す。
【００８２】
＜合致度算出ステップ＞
映像提示装置１０は、合致度算出手段１４によって、嗜好データ入力手段１２で入力された嗜好データと、受信手段１１で受信したメタデータｍｄとを照合して、その合致の度合いを示す合致度を、前記（１）式又は（４）式で算出する（ステップＳ３）。
【００８３】
＜ストリーム切り替え判定ステップ＞
そして、映像提示装置１０は、ストリーム切り替え手段１６の切り替え判定部１６ｂによって、現在時刻と、合致度と、履歴記憶手段１５に記憶されている切り替え履歴とに基づいて、複数の映像ストリームの中から、選択すべき映像ストリーム識別子を前記（７）式により算出する（ステップＳ４）。
【００８４】
ここで、前記（４）式の合致度Ｍと、前記（９）〜（１１）式の各関数（Ｊ、ｐ、ｇ）を用いて、図３に示した現在時刻に対応するメタデータと、図４に示した履歴記憶手段１５に記憶されている切り替え履歴から、選択すべき映像ストリーム識別子を算出する動作について説明する。なお、ここでは、（９）式において関数ｆ（ｘ）＝ｘ、（１１）式において、ａ＝−５、ｒ＝０．５として説明を行う。
【００８５】
まず、映像提示装置１０が図３に示すメタデータを受け取った場合には、前記（６）式に示す合致度Ｍが求められる。その結果、前記（９）式の右辺第１項目（関数ｆ）は、ｆ（ｍ_１）＝ｍ_１＝０、ｆ（ｍ_２）＝ｍ_２＝１、ｆ（ｍ_３）＝ｍ_３＝２となる。
【００８６】
そして、ストリーム切り替え手段１６は履歴記憶手段１５内の切り替え履歴Ｈを参照し、現在時刻Ｔ＝「０１：２３：４５：０２」に最も近い切り替え時刻ｔ＝「０１：２３：４３：０２」と、そのとき選択された映像ストリームの識別子「２」を得る。この結果、前記（１０）式及び前記（１１）式より、前記（９）式の右辺第２項目（ペナルティｐ）は、ｐ（１；Ｔ，Ｈ）＝−５×０．５^２＝−１．２５、ｐ（２；Ｔ，Ｈ）＝０、ｐ（３；Ｔ，Ｈ）＝−５×０．５^２＝−１．２５となる。以上より、前記（９）式の各映像ストリーム識別子１、２及び３に対する関数Ｊの値は、それぞれ−１．２５、１．００及び０．７５となる。
よって、前記（７）式より関数Ｊを最大化する映像ストリームの識別子Ｓ（Ｔ，Ｍ，Ｈ）＝２が得られ、映像ストリーム識別子２が選択されることになる。すなわち、ここでは、映像ストリームの切り替えは行われないことになる。
図２に戻って、動作の説明を続ける。
【００８７】
ステップＳ４で算出された、選択すべき映像ストリーム識別子を、現在視聴している映像ストリームの映像ストリーム識別子と比較し映像ストリームの切り替えを行うかどうかを判定する（ステップＳ５）。
【００８８】
このステップＳ５で、映像ストリームの切り替えを必要と判定した場合（Ｙｅｓ）は、ステップＳ６へ進んで、映像ストリームの切り替えを行う。一方、ステップＳ５で、映像ストリームの切り替えを不必要と判定した場合（Ｎｏ）は、ステップＳ８へ進んで、そのまま同じ映像ストリームの提示を継続する。
【００８９】
＜ストリーム切り替えステップ＞
また、映像提示装置１０は、ステップＳ５で映像ストリームの切り替えを必要と判定した場合は、ストリーム切り替え手段１６によって、映像ストリームを切り替える（ステップＳ６）。また、映像提示装置１０は、ストリーム切り替え手段１６の履歴記憶制御部１６ａによって、履歴記憶手段１５の切り替え履歴を更新する（ステップＳ７）。
【００９０】
そして、映像提示装置１０は、ストリーム切り替え手段１６で選択し、切り替えられた映像ストリームを出力手段１７によって復調又は復号し、映像信号に変換して表示手段１９に出力する（ステップＳ８）。
【００９１】
以上の各ステップによって、映像提示装置１０は、複数の映像ストリームの中から、視聴者の好みに合致する映像ストリームを選択し切り替えて、視聴者に提示することができる。なお、ステップＳ１における嗜好データの入力は、最初に行う必要はなく、映像ストリームを視聴中、任意のタイミングで入力することができる。また、ステップＳ２のメタデータｍｄの受信は、映像ストリームと同期して受信する必要はなく、予め受信しておいてもよい。
【００９２】
［第二の実施の形態］
次に、図５を参照して、第二の実施の形態について説明する。図５は、本発明における第二の実施の形態である映像提示装置を含んだ映像配信サービスシステムの構成を示したブロック構成図である。図５に示すように、映像配信サービスシステム１Ｂは、複数の映像ストリームと、その映像ストリームの要約情報を記述したメタデータとを、映像提示装置１０Ｂで受信し、視聴者（ユーザ）の好みに合致する映像ストリームを選択し、切り替えて、表示手段１９へ出力するシステムである。ここでは、映像配信サービスシステム１Ｂを、映像ストリームとその映像ストリームに対応するメタデータとを配信する複数のコンテンツサーバ２Ｂ（２Ｂ_１〜２Ｂ_ｎ）と、映像提示装置１０Ｂとで構成した。
【００９３】
コンテンツサーバ２Ｂ（２Ｂ_１〜２Ｂ_ｎ）は、異なる映像ストリームｓｄ_１〜ｓｄ_ｎと、その映像ストリームに対応するメタデータｍｄ_１〜ｍｄ_ｎとをそれぞれ多重化し、多重化データとして、有線又は無線の伝送路５を経由して映像提示装置１０Ｂに配信するものである。
【００９４】
ここで、映像ストリームｓｄ_１〜ｓｄ_ｎは、図１で説明した映像ストリームと同じものである。また、メタデータｍｄ_１〜ｍｄ_ｎは、図１で説明したメタデータｍｄを映像ストリーム毎に分割したものである。例えば、メタデータｍｄ_１は、映像ストリームｓｄ_１に対応したメタデータである。
【００９５】
このコンテンツサーバ２Ｂにおいて、メタデータを多重化する方法としては、映像信号の垂直帰線期間にメタデータを重畳することで実現できる。また、インターネットやイントラネットを媒体としてストリーミングを行う場合には、例えば、映像ストリーム内にメタデータを記述するフィールドを設けるか、一般的な電子透かし技術によって映像フレーム自体に埋め込むといった多重化手法を用いてもよい。
【００９６】
映像提示装置１０Ｂは、複数の映像ストリームｓｄ_１〜ｓｄ_ｎの中から視聴者の好みに合致する映像ストリームを選択し、切り替えて、視聴者に提示するものである。ここでは、映像提示装置１０Ｂを、受信手段１１Ｂと、嗜好データ入力手段１２と、合致度算出手段１４と、履歴記憶手段１５と、ストリーム切り替え手段１６と、出力手段１７とを備えて構成した。受信手段１１Ｂ以外の構成は、図１に示した映像提示装置１０と同一であるので、同一の符号を付し、説明を省略する。
【００９７】
受信手段（映像情報入力手段）１１Ｂは、コンテンツサーバ２Ｂ（２Ｂ_１〜２Ｂ_ｎ）から配信される映像ストリームｓｄ_１〜ｓｄ_ｎ、及び、メタデータｍｄ_１〜ｍｄ_ｎの多重化データを、有線又は無線の伝送路５を経由して受信するものである。ここでは、受信手段１１Ｂに分離部１１ａを備える構成とした。
【００９８】
分離部１１ａは、コンテンツサーバ２Ｂから配信される多重化データを分離するものである。例えば、映像信号の垂直帰線期間に重畳されたメタデータを抽出することで多重化データを分離する。あるいは、電子透かし技術によって映像フレーム自体に埋め込まれたメタデータを抽出する。
【００９９】
ここで分離された映像ストリームｓｄ_１〜ｓｄ_ｎは、ストリーム切り替え手段１６へ出力され、メタデータｍｄ_１〜ｍｄ_ｎは、合致度算出手段１４へ出力される。なお、合致度算出手段１４へメタデータｍｄ_１〜ｍｄ_ｎを出力する場合、タイムコード毎にまとめた形式（図３参照）に変換して出力してもよい。
【０１００】
また、メタデータは映像ストリームｓｄ_１〜ｓｄ_ｎに対応付けて分割する必要はない。例えば、予め定めた１つのコンテンツサーバ（例えば２Ｂ_１）の映像ストリーム（例えばｓｄ_１）に多重化させ、受信手段１１Ｂが、そのコンテンツサーバから多重化データを受信して、メタデータを分離することとしてもよい。
【０１０１】
なお、映像提示装置１０Ｂの動作は、図２で示したフローチャートで示した動作と同じである。
これによって、映像配信サービスシステム１Ｂでは、メタデータが映像ストリームに多重化されるため、データの管理が容易になる。
【０１０２】
［第三の実施の形態］
次に、図６を参照して、第三の実施の形態について説明する。図６は、本発明における第三の実施の形態である映像提示装置の構成を示したブロック構成図である。図６に示すように、映像提示装置１０Ｃは、記憶媒体２０に記録された複数の映像ストリームｓｄ_１〜ｓｄ_ｎの中から視聴者の好みに合致する映像ストリームを選択し、切り替えて、視聴者に提示するものである。ここでは、映像提示装置１０Ｃを、嗜好データ入力手段１２と、合致度算出手段１４と、履歴記憶手段１５と、ストリーム切り替え手段１６と、出力手段１７と、記憶媒体読み込み手段１８とを備えて構成した。映像提示装置１０Ｃでは、図１及び図５に示した映像提示装置１０（１０Ｂ）に示した受信手段１１（１１Ｂ）を、記憶媒体読み込み手段１８に替えて構成している。記憶媒体読み込み手段１８以外の構成は、図１に示した映像提示装置１０と同一であるので、同一の符号を付し、説明を省略する。
【０１０３】
ここで、記憶媒体２０は、例えばＣＤ、ＤＶＤ等のような大容量の可搬型の記録メディアである。この記憶媒体２０には、図１で説明したコンテンツサーバ２から配信される映像ストリームｓｄ_１〜ｓｄ_ｎ、及び、メタデータサーバ３から配信されるメタデータｍｄが記録されている。例えば、映像ストリームはＭＰＥＧ−２の符号化形式のファイルとして記録され、メタデータはテキスト形式のファイルとして記録される。
【０１０４】
記憶媒体読み込み手段１８は、記憶媒体２０に記録された映像ストリームｓｄ_１〜ｓｄ_ｎ及びメタデータｍｄを読み込むものである。この記憶媒体読み込み手段１８で読み込んだ映像ストリームｓｄ_１〜ｓｄ_ｎは、ストリーム切り替え手段１６へ出力され、メタデータｍｄは、合致度算出手段１４へ出力される。この記憶媒体読み込み手段１８は、記憶媒体２０をＤＶＤとしたとき、ＤＶＤドライブとして機能するものである。
【０１０５】
なお、映像提示装置１０Ｃの動作は、受信手段１１（図１）で映像ストリーム及びメタデータを受信する動作を、記憶媒体読み込み手段１８で記憶媒体２０から映像ストリーム及びメタデータ読み込む動作に変更する以外は、図２で示したフローチャートで示した動作と同じである。
【０１０６】
これによって、映像提示装置１０Ｃは、複数の映像ストリームをパッケージ化したＤＶＤ等の映像メディアにおいて、視聴者の好みに応じた映像ストリームを自動的に選択し切り替えて、視聴者に提示することができる。
【０１０７】
【発明の効果】
以上説明したとおり、本発明に係る映像提示装置、映像提示方法及び映像提示プログラムでは、以下に示す優れた効果を奏する。
【０１０８】
請求項１、請求項５、請求項６又は請求項７に記載の発明によれば、複数の異なるカメラで異なる方向から撮影された複数の映像ストリームの中から、視聴者の好みに応じた映像ストリームを自動的に選択して提示することができる。これによって、従来、コンテンツプロバイダ側で行っていた映像切り替え操作を、視聴者側で行うことが可能になり、視聴者の好みに応じた多様な映像切り替えを実現することができる。
【０１０９】
請求項２に記載の発明によれば、メタデータに映像ストリーム内に登場する被写体の識別子を含んでいるため、視聴者が視聴したい被写体の識別子を嗜好データとして入力するという簡単な操作で、視聴者が視聴したい被写体を多く含んだ映像ストリームを自動的に選択して視聴することが可能になる。
【０１１０】
請求項３に記載の発明によれば、切り替え履歴に基づいて、映像ストリームの切り替えを行うため、頻繁な切り替えを防止することができる。これによって、視覚的に疲労の少ない映像切り替えを実現することができる。
【０１１１】
請求項４に記載の発明によれば、映像ストリームにメタデータを多重化して伝送することが可能になるため、放送局等のコンテンツプロバイダ側において、メタデータを映像ストリーム毎に管理する等のメタデータ管理が容易になるという効果がある。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る映像提示装置を含んだ映像配信サービスシステムの構成を示すブロック構成図である。
【図２】映像提示装置の動作を示すフローチャートである。
【図３】メタデータの内容の一例を示す図である。
【図４】切り替え履歴の内容の一例を示す図である。
【図５】本発明の第二の実施の形態に係る映像提示装置を含んだ映像配信サービスシステムの構成を示すブロック構成図である。
【図６】本発明の第三の実施の形態に係る映像提示装置を含んだ映像配信サービスシステムの構成を示すブロック構成図である。
【符号の説明】
１、１Ｂ映像配信サービスシステム
２、２Ｂコンテンツサーバ
３メタデータサーバ
５伝送路
１０、１０Ｂ、１０Ｃ映像提示装置
１１、１１Ｂ受信手段（映像情報入力手段）
１１ａ分離部（分離手段）
１２嗜好データ入力手段
１３嗜好データ記憶手段
１４合致度算出手段
１５履歴記憶手段
１６ストリーム切り替え手段
１６ａ履歴記憶制御部（履歴記憶制御手段）
１６ｂ切り替え判定部（切り替え判定手段）
１７出力手段
１８記憶媒体読み込み手段
１９表示手段
２０記憶媒体
ｓｄ_１、ｓｄ_２、…、ｓｄ_ｎ映像ストリーム
ｍｄメタデータ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video presenting apparatus, a video presenting method, and a video presenting program that can automatically select and switch a video stream according to a viewer's preference from a plurality of video streams.
[0002]
[Prior art]
Conventionally, a video distribution method in television broadcasting is to select, in advance or in real time, a video to be broadcast on a broadcast station side from a video taken by a plurality of cameras or video materials stored in advance by a switcher, Only the selected video is distributed.
In addition, a service is provided in which videos taken from different directions (viewpoints) by a plurality of cameras are distributed to a viewer as a plurality of video streams, and the viewer can manually select a video stream according to his / her preference. Have been.
[0003]
In recent years, the broadcasting system of television broadcasting is shifting from an analog system to a digital television broadcasting (hereinafter, referred to as “digital broadcasting”). In this digital broadcasting, an electronic program guide (EPG) is distributed as one piece of metadata, and it is possible to control recording and reproduction of each program. Therefore, a digital broadcast receiver which can select and organize a personal favorite program by inserting a card storing the screen configuration, image quality, data extracted from the data broadcast, etc. of the personal favorite into a receiver has also been proposed. (For example, see Patent Document 1).
[0004]
Further, as a technique for controlling the switching of the data broadcast screen on the television device side, a technology for presenting information (screen) related to the video object by selecting a video object on the screen on the television device side. (For example, see Patent Document 2). This technology uses information related to a video object as metadata, synchronizes the video / audio data transmitted on the video / audio channel with the metadata transmitted on the data channel, and indicates which video object is indicated on the television device side. By judging whether or not the data broadcast screen has been displayed, the transition destination of the data broadcast screen is switched and displayed.
[0005]
[Patent Document 1]
JP-A-2002-142159 (page 4, FIG. 2)
[Patent Document 2]
JP-A-2002-185885 (pages 5-6, FIG. 4)
[0006]
[Problems to be solved by the invention]
However, in the conventional television broadcast video distribution method, a video selected and switched by a switcher at a broadcasting station from a plurality of cameras and video materials is distributed to a receiver installed at a viewer side, and the video is Is reproduced and displayed (presented) as it is. For this reason, the switching result (presented video) does not always have a configuration desired by the viewer.
[0007]
In a service in which images shot by a plurality of different cameras are transmitted as is as a plurality of video streams and the viewer can select a video stream according to the viewer's preference, the selection switching operation is manually performed by the viewer. However, there is a problem that the switching operation is troublesome.
[0008]
Further, the technique disclosed in Patent Literature 1 has a problem that screen switching frequently occurs. The frequent switching may cause fatigue to the viewer's eyes, but conventionally, no countermeasure has been taken for this fatigue.
[0009]
Further, in the technology disclosed in Patent Document 2, although the screen display control can be performed in real time by the viewer's selection, the transition destination of the data broadcast screen is changed, and the video itself is not switched. Absent.
[0010]
The present invention has been made in view of the above problems, and automatically selects a video stream according to the preference of a viewer from a plurality of video streams shot from different directions. It is an object of the present invention to provide a video presenting apparatus, a video presenting method, and a video presenting program that enable selection and switching.
[0011]
[Means for Solving the Problems]
The present invention has been devised to achieve the above object. First, the video presenting apparatus according to claim 1 describes summary information of the video stream that changes according to time associated with the video stream. A video presentation device that switches and presents a plurality of video streams based on metadata and preference data describing viewer preference, and includes a receiving unit, a preference data input unit, a preference data storage unit, It is configured to include a matching degree calculation unit, a stream switching unit, and an output unit.
[0012]
According to this configuration, the video presentation device receives, by the receiving unit, the plurality of video streams and the metadata describing the summary information of the video streams. The plurality of video streams are video data of the same program, which are captured from different directions (viewpoints). For example, a video stream is stream data such as a video shot by changing a viewpoint with a plurality of cameras in a drama production, a video shot by focusing on a specific person, and the like. The metadata is data describing summary information in association with the time (time code) of each video stream. For example, the metadata includes elements (attributes) such as a person ("name" or the like) appearing in the video stream at a certain time, a person's action ("speak" or the like), and a color ("uniform color" or the like). Can be included.
[0013]
Further, the video presentation device inputs preference data describing the preference of the viewer by the preference data input means, and stores the preference data in the preference data storage means. The preference data is data describing elements suitable for the viewer's preference among the elements described in the metadata. For example, when the viewer wants to watch a video mainly on a certain character, the name of the character or the like is described.
[0014]
Then, the video presentation device compares the preference data with the metadata by the matching degree calculating means, and calculates a matching degree indicating the degree of matching. The degree of matching makes it possible to determine which video stream the viewer prefers among the plurality of video streams.
[0015]
Then, the video presentation device switches the plurality of video streams by referring to the matching degree by the stream switching unit, and presents the switched video stream by the output unit. That is, by presenting the video stream having the highest degree of matching, it is possible to present a video stream that meets the viewer's preference.
[0016]
The video presentation device according to claim 2 is the video presentation device according to claim 1, wherein the metadata includes an identifier for identifying a subject for each frame of the video stream, and the preference data includes The identifier includes the identifier of the subject that the user wants to view, and the matching degree calculating unit detects the number of identifiers included in the preference data for each frame in the plurality of video streams, and It is characterized in that the matching degree is calculated for each video stream.
[0017]
According to this configuration, the video presenting apparatus determines the degree of matching of each video stream by the number of identifiers among the identifiers described in the preference data that match the identifiers described in the metadata corresponding to the frame time. To determine. In this case, the greater the number of matching elements, the greater the degree of matching.
[0018]
Further, the video presenting device according to claim 3 is the video presenting device according to

claim

1 or 2, further comprising a history storage unit that stores a switching history of the video stream switched by the stream switching unit, The stream switching unit includes a switching determination unit that determines switching of the video stream with reference to the matching degree and the switching history.
[0019]
According to this configuration, the video presenting device presents which video stream the switching determining unit refers to the matching degree calculated by the matching degree calculating unit and the switching history stored in the history storage unit. Is determined. For this reason, it is possible to limit the time frequency at which the video stream is switched in addition to the viewer's preference.
[0020]
A video presentation device according to a fourth aspect is the video presentation device according to any one of the first to third aspects, wherein the metadata is multiplexed with the video stream. And a separating unit for separating the metadata from the video stream.
[0021]
According to such a configuration, even when metadata describing the summary information of the video stream is multiplexed into one or a plurality of video streams, the video presentation device can separate and analyze the metadata. This makes it possible to associate the metadata with the video stream, thereby facilitating the management of the metadata and the video stream data. In addition, this multiplexing may be performed by multiplexing metadata regarding all the video streams into the representative video stream, with one of the plurality of video streams as the representative video stream. Alternatively, metadata on each video stream may be multiplexed on each video stream.
[0022]
Further, the video presenting device according to claim 5, based on metadata describing summary information of the video stream that changes according to time associated with the video stream, and preference data describing viewer preference, What is claimed is: 1. A video presentation apparatus for switching and presenting a plurality of video streams, comprising: a storage medium reading unit, a preference data input unit, a preference data storage unit, a matching degree calculation unit, a stream switching unit, and an output unit. Configuration.
[0023]
According to this configuration, the storage medium reading unit reads the plurality of video streams stored in the storage medium such as the DVD and the metadata describing the summary information of the video streams. The plurality of video streams are video data of the same program, which are captured from different directions (viewpoints).
[0024]
Further, the video presentation device inputs preference data describing the preference of the viewer by the preference data input means, and stores the preference data in the preference data storage means. The preference data is data describing elements suitable for the viewer's preference among the elements described in the metadata.
[0025]
Then, the video presentation device compares the preference data with the metadata by the matching degree calculating means, and calculates a matching degree indicating the degree of matching. The degree of matching makes it possible to determine which video stream the viewer prefers among the plurality of video streams. Then, the video presentation device switches the plurality of video streams by referring to the matching degree by the stream switching unit, and presents the switched video stream by the output unit.
[0026]
Furthermore, the video presentation method according to claim 6, based on metadata describing summary information of the video stream that changes according to time associated with the video stream, and preference data describing viewer preference, A video presentation method for switching and presenting a plurality of video streams, the method including a matching degree calculation step, a stream switching determination step, and a stream switching step.
[0027]
According to this method, in the matching degree calculating step, the metadata describing the summary information of the video stream is compared with the preference data describing the preference of the viewer, and the matching degree indicating the degree of matching is calculated. . The degree of matching makes it possible to determine which video stream the viewer prefers among a plurality of video streams.
[0028]
Then, in the stream switching determining step, it is determined whether to switch the video stream to be presented based on the matching degree calculated in the matching degree calculating step and the switching history stored in the history storage unit. As a result, it is possible to restrict the frequency of switching the video stream in addition to the preference of the viewer.
[0029]
Then, in the stream switching step, the video stream to be presented is switched based on the determination result of the stream switching determination step, and the switching history stored in the history storage unit is updated.
[0030]
Further, the video presentation program according to claim 7, based on metadata describing summary information of the video stream that changes according to time associated with the video stream, and preference data describing viewer preference, In order to switch and present a plurality of video streams, the computer is configured to function as a matching degree calculation unit, a stream switching unit, and a history storage control unit.
[0031]
According to this configuration, the video presentation program compares the preference data with the metadata by the matching degree calculating means, and calculates the matching degree indicating the degree of matching. The degree of matching makes it possible to determine which video stream the viewer prefers among the plurality of video streams.
[0032]
Then, the video presentation program switches the video stream by the stream switching unit based on the matching degree calculated by the matching degree calculation unit and the switching history stored in the history storage unit. The switching history is updated by the history storage control means when the video stream is switched by the stream switching means.
[0033]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First embodiment]
FIG. 1 is a block diagram showing a configuration of a video distribution service system including a video presentation device according to a first embodiment of the present invention. As shown in FIG. 1, the video distribution service system 1 receives a plurality of video streams and metadata describing summary information of the video streams by a video presenting apparatus 10 and arranges the video streams according to a viewer (user) 's preference. In this system, a matching video stream is selected, switched, and output to the display unit 19. Here, the video distribution service system 1 is connected to a plurality of content servers 2 (2 ₁ ~ 2 _n ), The metadata server 3, and the video presentation device 10.
[0034]
(Content server)
Content server 2 (2 ₁ ~ 2 _n ) Indicates different video streams sd ₁ ~ Sd _n Is transmitted to the video presenting apparatus 10 via the wired or wireless transmission path 5. For example, the content server 2 uses a high frequency of a different channel as a carrier wave and transmits a video stream sd through a space or a cable. ₁ ~ Sd _n Is distributed to the video presentation device 10. Note that this video stream sd ₁ ~ Sd _n Can be distributed via the Internet or an intranet. In addition, the content server 2 is a single server and a plurality of video streams sd. ₁ ~ Sd _n May be distributed.
[0035]
Here, the video stream sd ₁ ~ Sd _n Are images of the same object to be photographed from different directions (viewpoints). For example, if the shooting target is a sports broadcast such as baseball, the video stream sd ₁ Is a video of the entire baseball field, a video stream sd ₂ Is a video of the first base side bench, video stream sd ₃ (Not shown) is a video and a video stream sd of a player A (not shown) being shot while following the camera. _n Is an image of a player B (not shown) being photographed while following the camera. Note that the video stream sd ₁ ~ Sd _n Any one of the above may be one in which video switching is performed by a switcher or the like on the side that provides the content (video).
[0036]
(Metadata server)
The metadata server 3 determines the video stream sd ₁ ~ Sd _n Is distributed to the video presenting device 10 together with the time information. The metadata server 3 distributes the high frequency of a channel different from the channel for distributing the video stream to the video presenting apparatus 10 through a space or a cable as a carrier. Note that the distribution of the metadata md can be performed via the Internet or an intranet.
[0037]
When the video stream is a live broadcast program, the metadata server 3 converts the metadata md to the video stream sd. ₁ ~ Sd _n Is transmitted at the same time as the distribution of the video stream sd. ₁ ~ Sd _n Is transmitted at the same time as, or prior to, the distribution.
[0038]
Also, the metadata md includes the video stream sd ₁ ~ Sd _n Is described for each frame constituting the video scene. For example, a summary of a video scene can be described by a set of identifiers (for example, names, etc.) for identifying all subjects appearing in a frame of an n-th video stream at a certain time.
[0039]
Here, the contents of the metadata md will be described with reference to FIG. 3 (see FIG. 1 as appropriate). FIG. 3 is a diagram showing an example of the content of the metadata md, where the time code T is abbreviated in the form of 01: 23: 45: 02 frame (hereinafter, “01: 23: 45: 02”). ), The video stream sd ₁ ~ Sd ₃ All subjects appearing in each frame of ₁ ~ I ₃ It is represented by
[0040]
In the example of FIG. 3, in the time code T “01: 23: 45: 02”, the video stream sd ₁ "Taro" and "Jiro" in the frame of the video stream sd ₂ "Saburo" in the frame of the video stream sd ₃ It is shown that "Hanako" and "Saburo" are shown as subjects in the frame of "." Each element defined for each time code T in the metadata md has a unique identifier. Here, the names ("Taro", "Jiro", "Saburo", and "Hanako") are used as identifiers.
[0041]
Note that metadata (metadata) may include elements (attributes) such as the behavior and color of a person (subject). For example, by defining the behavior of a person talking in metadata as an element of “speaking”, the video presenting apparatus 10 allows the plurality of video streams sd ₁ ~ Sd _n , It is possible to select and present a scene in which a person speaks. Also, for example, by defining the color of the soccer player's uniform in the metadata as an element of “color”, the video presenting device 10 selects a scene in which many soccer team players supported by the viewer are shown. Can be presented.
Returning to FIG. 1, the description will be continued.
[0042]
(Configuration of video presentation device)
The video presentation device 10 includes a plurality of video streams sd ₁ ~ Sd _n The video stream that matches the viewer's preference is selected from among them, switched, and presented to the viewer. Here, the video presenting apparatus 10 includes a receiving unit 11, a preference data input unit 12, a preference data storage unit 13, a matching degree calculation unit 14, a history storage unit 15, a stream switching unit 16, an output unit 17 And was configured.
[0043]
The receiving means (video information input means) 11 is connected to the content server 2 (2 ₁ ~ 2 _n ) Video stream sd delivered from ₁ ~ Sd _n And the metadata md distributed from the metadata server 3 via the wired or wireless transmission path 5. The video stream sd received by the receiving means 11 ₁ ~ Sd _n Is output to the stream switching means 16, and the metadata md is output to the matching degree calculating means 14.
[0044]
Note that here, the video stream sd ₁ ~ Sd _n And one unit for receiving the metadata md, for example, the video stream sd ₁ ~ Sd _n Is distributed by broadcast waves, and the metadata md is distributed via a network, the receiving unit 11 may be configured as a broadcast receiving unit and a network receiving unit (not shown).
[0045]
The preference data input means 12 is for inputting the preference (request) of the viewer as preference data. The preference data is data that the viewer selects and inputs an element suitable for the viewer's preference among the elements described in the metadata md. For example, if the viewer wants to view a video stream in which “Taro” is shown in the metadata md shown in FIG. 3, the viewer inputs the identifier “Taro” as preference data. Note that, as long as the element is described in the metadata md, a plurality of preference data may be selected and input. The preference data input by the preference data input means 12 is stored in the preference data storage means 13.
[0046]
The preference data storage unit 13 stores the preference data input by the preference data input unit 12, and is configured by a general memory or the like. The preference data stored in the preference data storage means 13 is referred to by the matching degree calculation means 14.
[0047]
The matching degree calculation unit 14 converts the preference data stored in the preference data storage unit 13 and the metadata md received by the reception unit 11 into a video stream sd. ₁ ~ Sd _n Are compared in each frame, and a matching degree indicating the degree of matching is calculated. This matching degree is notified to the stream switching means 16.
For example, when the metadata md is a set of subject identifiers as shown in FIG. 3, the matching degree calculating unit 14 determines the set of identifiers (referred to as D) input as preference data and the image in the metadata md. Stream sd ₁ ~ Sd _n Set of identifiers (I _n Shall be compared).
[0048]
Here, an identifier set D input as preference data and a video stream sd ₁ ~ Sd _n Set I corresponding to _n If the same identifier exists between the two, the n-th row of the matching degree (M), which is an N-dimensional vector, is set to “1”. If the same identifier does not exist, The n-th row of the matching degree M is set to “0”. As a result, the matching degree M is formulated as shown in equation (1).
[0049]
(Equation 1)

[0050]
Here, an example in which the matching degree calculating means 14 calculates the matching degree M by the equation (1) will be described. Here, it is assumed that the identifier set D is input as the preference data by equation (2), and the subject that the viewer wants to view is “Saburo”.
[0051]
(Equation 2)

[0052]
When the current time is “01: 23: 45: 02”, the metadata md of the time code T “01: 23: 45: 02” shown in FIG. . In this metadata md, the video stream sd ₁ Identifier set I ₁ Does not include the identifier "Saburo", but the video stream sd ₂ And sd ₃ Identifier set I ₂ And I ₃ Contains an identifier “Saburo”. Therefore, the matching degree calculating means 14 outputs the matching degree M as a vector in which only the first row element is “0” and the other elements are “1” as shown in Expression (3).
[0053]
[Equation 3]

[0054]
In addition, in addition to the equation (1), the matching degree calculating means 14 determines the identifier in the identifier set D input as the preference data and the video stream sd ₁ ~ Sd _n Set I corresponding to _n The number of identical identifiers may be calculated as the degree of matching M with the identifiers within. That is, the degree of matching M may be formulated as in equation (4).
[0055]
(Equation 4)

[0056]
Here, it is assumed that the identifier set D is input as the preference data by Expression (5), and the subjects that the viewer wants to view are “Hanako” and “Saburo”. Then, the matching degree calculating means 14 refers to the metadata md in FIG. 3 and sets the matching degree M to “0” for the first row element and “Saburo” for the second row element as shown in Expression (6). Is output as a vector having the number of elements “1” and the third row element having the number of elements “2” of “Hanako” and “Saburo”.
[0057]
(Equation 5)

[0058]
(Equation 6)

[0059]
Returning to FIG. 1, the description will be continued.
The history storage unit 15 stores the switching history of the video stream switched by the stream switching unit 16 described later, and is configured by a general memory or the like. This switching history is updated by the history storage control unit 16a of the stream switching unit 16, and is referred to by the switching determination unit 16b of the stream switching unit 16.
[0060]
Here, the switching history stored in the history storage unit 15 will be described with reference to FIG. FIG. 4 is a diagram showing the contents of the switching history. As shown in FIG. 4, the switching history stores the switching time Tc and the identifier (video stream identifier S) of the video stream output at the switching time Tc in association with each other. The video stream identifier S is the video stream sd ₁ ~ Sd _n Is an identifier for individually identifying a video stream sd, for example. ₁ Is "1", the video stream sd ₂ Is assigned as “2”.
[0061]
In the example of FIG. 4, the switching time Tc is “01: 22: 15: 03”, the video stream identifier S is “2”, and the switching time Tc is “01: 22: 30: 30”. Indicates that the video stream identifier S has been sequentially switched to the video stream of “3”.
Returning to FIG. 1, the description will be continued.
[0062]
The stream switching unit 16 determines the video stream sd based on the matching degree calculated by the matching degree calculation unit 14 and the switching history stored in the history storage unit 15. ₁ ~ Sd _n One video stream is switched (selected) from among the two and output. Here, the stream switching unit 16 is configured to include a history storage control unit 16a and a switching determination unit 16b.
[0063]
The history storage control unit (history storage control unit) 16a updates the switching history (see FIG. 4) stored in the history storage unit 15 when the video stream is switched. The history storage control unit 16a determines whether the selected video stream is the same video stream one frame before and now, and if different, sets the current time T as the switching time Tc and sets the selected video stream Is additionally stored in the history storage unit 15 in association with the identifier S.
[0064]
The switching determination unit (switching determination unit) 16b includes a plurality of video streams sd ₁ ~ Sd _n , Which video stream is to be selected, and outputs an identifier (video stream identifier) of the selected video stream. The stream switching means 16 outputs the corresponding video stream to the output means 17 based on the video stream identifier selected here.
[0065]
Note that the switching determination unit 16b determines the current time (T), the degree of matching M (see equation (1)), and the switching history (H) stored in the history storage unit 15. From the N video streams, a video stream identifier (S) to be selected is calculated by equation (7).
[0066]
(Equation 7)

[0067]
In the equation (7), the function J quantifies the validity of switching to the video stream n (1, 2,..., N) when the current time T, the matching degree M, and the switching history H are given. This function outputs a large value when the switching to the video stream n is preferable. For example, when it is desired to include as many subjects included in the identifier set D input as the preference data in the video stream as much as possible, based on the matching degree M defined in the above equation (4), Formulated as follows. Here, M = [m ₁ m ₂ … M _N ] ^T (T is transposed). Here, the function f is a monotonically increasing function, and for example, f (x) = x can be used.
[0068]
(Equation 8)

[0069]
Note that the switching determination unit 16b may formulate the function J as shown in Expression (9).
[0070]
(Equation 9)

[0071]
The function J in the equation (9) imposes a penalty p based on the current time T and the switching history H. Here, the penalty p is a function as shown in Expression (10).
[0072]
(Equation 10)

[0073]
Here, the time is expressed in units of seconds, and t represents the switching time closest to the current time T in the switching history H.
As shown in Expression (10), the penalty p is “n” when the video stream at the switching time t closest to the current time T in the switching history H is n, that is, when the video stream is the same video stream (when switching is not required). 0 ", when different (when switching is required), it is the value of the function g.
Here, the function g is a monotonically increasing function equal to or less than 0, and may be an exponential function having an index Δt between the current time T and the switching time t as shown in the equation (11). Note that a <0 and 0 <r <1.
[0074]
(Equation 11)

[0075]
As a result, as the interval Δt between the previous switching time t and the current time T becomes smaller, the value of the penalty p increases in the negative direction, and the value of the function J in the equation (9) decreases. As a result, when the switching time interval is short, the switching determination unit 16b can prevent switching, and can suppress frequent switching of video streams.
[0076]
The output unit 17 demodulates or decodes the video stream (selected video stream) selected by the stream switching unit 16 as necessary, converts it to a video signal, and outputs it to the display unit 19.
[0077]
The display means 19 displays the selected video stream output from the output means 17. The display means 19 is, for example, a cathode ray tube, a liquid crystal display, a plasma display, or an LED display.
[0078]
As described above, the video presenting apparatus 10 can output a plurality of video streams sd captured by different cameras from different directions. ₁ ~ Sd _n , A video stream according to the viewer's preference can be automatically selected, switched, and presented to the viewer.
[0079]
The configuration of the video distribution service system 1 including the video presentation device 10 according to the first embodiment of the present invention has been described above, but the present invention is not limited to this. Here, the content server 2 and the metadata server 3 are configured as different means, but the content server 2 and the metadata server 3 may be shared by the same computer. When transmission (streaming) is performed on the Internet or an intranet, for example, a video stream sd ₁ ~ Sd _n And the metadata md may be transmitted by different media or different protocols.
[0080]
In the video presenting apparatus 10, each means can be realized as a function program in a computer, and each function program can be combined and operated as a video presenting program.
[0081]
(Operation of the video presentation device)
Next, the operation of the video presentation device will be described with reference to FIG. 2 (see FIG. 1 as appropriate). FIG. 2 is a flowchart illustrating the operation of the video presentation device.
First, the video presentation device 10 inputs the preference (request) of the viewer as the preference data by the preference data input means 12 (step S1). In addition, the video presentation device 10 is connected to the content server 2 via the wired or wireless transmission path 5. ₁ ~ 2 _n Video streams sd delivered from ₁ ~ Sd _n Then, the metadata md distributed from the metadata server 3 is received by the receiving means 11 (step S2). Then, the video presenting apparatus 10 repeats the following steps for the number of frames of the video stream.
[0082]
<Matching degree calculation step>
The video presentation device 10 compares the preference data input by the preference data input unit 12 with the metadata md received by the reception unit 11 by the match degree calculation unit 14, and determines a match degree indicating the degree of the match. , Calculated by the above equation (1) or (4) (step S3).
[0083]
<Stream switching determination step>
Then, the video presenting device 10 uses the switching determination unit 16b of the stream switching unit 16 to select from among the plurality of video streams based on the current time, the matching degree, and the switching history stored in the history storage unit 15. The video stream identifier to be selected is calculated by the above equation (7) (step S4).
[0084]
Here, the metadata corresponding to the current time shown in FIG. 3 is obtained by using the matching degree M of the above equation (4) and the functions (J, p, g) of the above equations (9) to (11). The operation of calculating the video stream identifier to be selected from the switching history stored in the history storage unit 15 shown in FIG. 4 will be described. Here, description will be made assuming that the function f (x) = x in the equation (9) and a = −5 and r = 0.5 in the equation (11).
[0085]
First, when the video presentation device 10 receives the metadata shown in FIG. 3, the matching degree M shown in the above equation (6) is obtained. As a result, the first item (function f) on the right side of the equation (9) is f (m ₁ ) = M ₁ = 0, f (m ₂ ) = M ₂ = 1, f (m ₃ ) = M ₃ = 2.
[0086]
Then, the stream switching unit 16 refers to the switching history H in the history storage unit 15, and sets the switching time t = “01: 23: 43: 02” closest to the current time T = “01: 23: 45: 02”. , The identifier “2” of the video stream selected at that time is obtained. As a result, from the expressions (10) and (11), the second item (penalty p) on the right side of the expression (9) is p (1; T, H) = − 5 × 0.5 ² = −1.25, p (2; T, H) = 0, p (3; T, H) = − 5 × 0.5 ² = −1.25. From the above, the value of the function J for each of the

video stream identifiers

1, 2, and 3 in the expression (9) is -1.25, 1.00, and 0.75, respectively.
Therefore, the video stream identifier S (T, M, H) = 2 that maximizes the function J is obtained from the equation (7), and the video stream identifier 2 is selected. That is, here, the switching of the video stream is not performed.
Returning to FIG. 2, the description of the operation will be continued.
[0087]
The video stream identifier to be selected calculated in step S4 is compared with the video stream identifier of the currently viewed video stream to determine whether to switch the video stream (step S5).
[0088]
If it is determined in step S5 that the video stream needs to be switched (Yes), the process proceeds to step S6, where the video stream is switched. On the other hand, if it is determined in step S5 that the switching of the video stream is unnecessary (No), the process proceeds to step S8, and the presentation of the same video stream is continued as it is.
[0089]
<Stream switching step>
When it is determined that the video stream needs to be switched in step S5, the video presenting apparatus 10 switches the video stream by the stream switching unit 16 (step S6). Further, the video presentation device 10 updates the switching history of the history storage unit 15 by the history storage control unit 16a of the stream switching unit 16 (Step S7).
[0090]
Then, the video presenting apparatus 10 demodulates or decodes the video stream selected by the stream switching unit 16 by the output unit 17, converts the video stream into a video signal, and outputs the video signal to the display unit 19 (step S <b> 8).
[0091]
Through the above steps, the video presenting apparatus 10 can select and switch a video stream that matches the viewer's preference from a plurality of video streams and present it to the viewer. It should be noted that the input of the preference data in step S1 does not need to be performed first, and can be input at an arbitrary timing while viewing the video stream. Further, the reception of the metadata md in step S2 does not need to be received in synchronization with the video stream, and may be received in advance.
[0092]
[Second embodiment]
Next, a second embodiment will be described with reference to FIG. FIG. 5 is a block diagram showing a configuration of a video distribution service system including a video presentation device according to a second embodiment of the present invention. As shown in FIG. 5, the video distribution service system 1B receives a plurality of video streams and metadata describing the summary information of the video streams in the video presentation device 10B, and the viewers (users) receive the video streams. In this system, a matching video stream is selected, switched, and output to the display unit 19. Here, the video distribution service system 1B is connected to a plurality of content servers 2B (2B) for distributing a video stream and metadata corresponding to the video stream. ₁ ~ 2B _n ) And the video presentation device 10B.
[0093]
Content server 2B (2B ₁ ~ 2B _n ) Is a different video stream sd ₁ ~ Sd _n And metadata md corresponding to the video stream. ₁ ~ Md _n Are respectively multiplexed and distributed as multiplexed data to the video presenting apparatus 10B via the wired or wireless transmission path 5.
[0094]
Here, the video stream sd ₁ ~ Sd _n Is the same as the video stream described in FIG. Also, the metadata md ₁ ~ Md _n Is obtained by dividing the metadata md described in FIG. 1 for each video stream. For example, the metadata md ₁ Is the video stream sd ₁ Is metadata corresponding to.
[0095]
In the content server 2B, a method of multiplexing the metadata can be realized by superimposing the metadata in the vertical blanking period of the video signal. When streaming is performed using the Internet or an intranet as a medium, for example, a field for describing metadata is provided in a video stream, or a multiplexing method such as embedding in a video frame itself by a general digital watermarking technique is used. Is also good.
[0096]
The video presentation device 10B includes a plurality of video streams sd ₁ ~ Sd _n The video stream that matches the viewer's preference is selected from among them, switched, and presented to the viewer. Here, the video presenting apparatus 10B includes a receiving unit 11B, a preference data input unit 12, a matching degree calculating unit 14, a history storing unit 15, a stream switching unit 16, and an output unit 17. The configuration other than the receiving unit 11B is the same as that of the video presenting apparatus 10 shown in FIG. 1, so the same reference numerals are given and the description is omitted.
[0097]
The receiving means (video information input means) 11B is connected to the content server 2B (2B ₁ ~ 2B _n ) Video stream sd delivered from ₁ ~ Sd _n , And metadata md ₁ ~ Md _n Is received via a wired or wireless transmission path 5. Here, the receiving unit 11B is configured to include the separation unit 11a.
[0098]
The separating unit 11a separates multiplexed data distributed from the content server 2B. For example, multiplexed data is separated by extracting metadata superimposed during a vertical blanking period of a video signal. Alternatively, metadata embedded in the video frame itself is extracted by a digital watermark technique.
[0099]
The video stream sd separated here ₁ ~ Sd _n Is output to the stream switching means 16 and the metadata md ₁ ~ Md _n Is output to the matching degree calculating means 14. Note that the metadata md is sent to the matching degree calculating means 14. ₁ ~ Md _n May be converted into a format (see FIG. 3) for each time code and output.
[0100]
The metadata is a video stream sd ₁ ~ Sd _n Does not need to be divided in association with. For example, one predetermined content server (for example, 2B ₁ ) Video stream (eg sd ₁ ), And the receiving unit 11B may receive the multiplexed data from the content server and separate the metadata.
[0101]
The operation of the video presentation device 10B is the same as the operation shown in the flowchart shown in FIG.
Thereby, in the video distribution service system 1B, metadata is multiplexed into the video stream, so that data management becomes easy.
[0102]
[Third embodiment]
Next, a third embodiment will be described with reference to FIG. FIG. 6 is a block diagram showing the configuration of the video presentation device according to the third embodiment of the present invention. As illustrated in FIG. 6, the video presentation device 10C includes a plurality of video streams sd recorded on the storage medium 20. ₁ ~ Sd _n The video stream that matches the viewer's preference is selected from among them, switched, and presented to the viewer. Here, the video presenting apparatus 10C includes a preference data input unit 12, a matching degree calculation unit 14, a history storage unit 15, a stream switching unit 16, an output unit 17, and a storage medium reading unit 18. did. In the video presentation device 10C, the receiving unit 11 (11B) shown in the video presentation device 10 (10B) shown in FIGS. The configuration other than the storage medium reading means 18 is the same as that of the video presentation device 10 shown in FIG.
[0103]
Here, the storage medium 20 is a large-capacity portable recording medium such as a CD or a DVD. In this storage medium 20, the video stream sd distributed from the content server 2 described in FIG. ₁ ~ Sd _n , And metadata md distributed from the metadata server 3 are recorded. For example, a video stream is recorded as a file in an MPEG-2 encoding format, and metadata is recorded as a file in a text format.
[0104]
The storage medium reading means 18 outputs the video stream sd recorded on the storage medium 20. ₁ ~ Sd _n And the metadata md. The video stream sd read by the storage medium reading means 18 ₁ ~ Sd _n Is output to the stream switching unit 16, and the metadata md is output to the matching degree calculation unit 14. When the storage medium 20 is a DVD, the storage medium reading means 18 functions as a DVD drive.
[0105]
The operation of the video presentation device 10C is other than changing the operation of receiving the video stream and the metadata by the receiving unit 11 (FIG. 1) to the operation of reading the video stream and the metadata from the storage medium 20 by the storage medium reading unit 18. Is the same as the operation shown in the flowchart shown in FIG.
[0106]
Thus, the video presenting apparatus 10C can automatically select and switch a video stream according to the viewer's preference in a video medium such as a DVD in which a plurality of video streams are packaged, and present the video stream to the viewer. .
[0107]
【The invention's effect】
As described above, the video presentation device, the video presentation method, and the video presentation program according to the present invention have the following excellent effects.
[0108]
According to the first, fifth, sixth or seventh aspect of the present invention, a video according to a viewer's preference is selected from a plurality of video streams shot from different directions by a plurality of different cameras. Streams can be automatically selected and presented. As a result, the viewer can perform the video switching operation conventionally performed by the content provider, and various video switching according to the viewer's preference can be realized.
[0109]
According to the second aspect of the present invention, since the metadata includes the identifier of the subject appearing in the video stream, the viewer can input the identifier of the subject that he / she wants to view as a preference data by a simple operation of inputting the preference data. It is possible to automatically select and view a video stream that includes many subjects that the user wants to view.
[0110]
According to the third aspect of the present invention, since the video stream is switched based on the switching history, frequent switching can be prevented. This makes it possible to realize video switching with less visual fatigue.
[0111]
According to the fourth aspect of the present invention, since it is possible to multiplex and transmit metadata to a video stream, a content provider such as a broadcasting station manages metadata for each video stream. There is an effect that data management becomes easy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a video distribution service system including a video presentation device according to a first embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of the video presentation device.
FIG. 3 is a diagram illustrating an example of the content of metadata.
FIG. 4 is a diagram showing an example of the contents of a switching history.
FIG. 5 is a block diagram showing a configuration of a video distribution service system including a video presentation device according to a second embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a video distribution service system including a video presentation device according to a third embodiment of the present invention.
[Explanation of symbols]
1, 1B video distribution service system
2, 2B content server
3 Metadata server
5 Transmission line
10, 10B, 10C Video presentation device
11, 11B receiving means (video information input means)
11a Separation section (separation means)
12 Preference data input means
13 Preference data storage means
14 Matching degree calculation means
15 History storage means
16 Stream switching means
16a history storage control unit (history storage control means)
16b Switching determination unit (switching determination means)
17 Output means
18 Storage medium reading means
19 Display means
20 Storage media
sd ₁ , Sd ₂ , ..., sd _n Video stream
md metadata

Claims

A video presentation device that switches and presents a plurality of video streams based on metadata describing summary information of the video stream that changes according to time associated with the video stream and preference data describing viewer preference. So,
Receiving means for receiving the video stream and the metadata;
Preference data input means for inputting the preference data,
Preference data storage means for storing the preference data input by the preference data input means,
Matching degree calculating means for comparing the taste data stored in the taste data storing means with the metadata and calculating a matching degree indicating the degree of the matching,
Stream switching means for switching the plurality of video streams based on the degree of match calculated by the degree of match calculation means;
Output means for outputting the video stream switched by the stream switching means;
A video presentation device comprising:

The metadata includes an identifier for identifying a subject for each frame of the video stream, and the preference data includes an identifier of the subject that a viewer wants to view.
The said matching degree calculation means calculates the matching degree for each video stream by detecting the number of identifiers included in the preference data for each frame in the plurality of video streams. Item 2. The video presentation device according to Item 1.

A history storage unit for storing a switching history of the video stream switched by the stream switching unit,
3. The stream switching unit according to claim 1, wherein the stream switching unit includes a switching determination unit configured to determine switching of the video stream with reference to the matching degree and the switching history. 4. Video presentation device.

The metadata is multiplexed with the video stream,
The video presentation device according to claim 1, further comprising a separation unit configured to separate the metadata from the video stream.

A video presentation device that switches and presents a plurality of video streams based on metadata describing summary information of the video stream that changes according to time associated with the video stream and preference data describing viewer preference. So,
Storage medium reading means for reading the video stream and the metadata stored in a storage medium,
Preference data input means for inputting the preference data,
Preference data storage means for storing the preference data input by the preference data input means,
Matching degree calculating means for comparing the taste data stored in the taste data storing means with the metadata and calculating a matching degree indicating the degree of the matching,
Stream switching means for switching the plurality of video streams based on the degree of match calculated by the degree of match calculation means;
Output means for outputting the video stream switched by the stream switching means;
A video presentation device comprising:

A video presentation method for switching and presenting a plurality of video streams based on metadata describing summary information of the video stream that changes according to time associated with the video stream and preference data describing viewer preference. So,
A matching degree calculating step of comparing the metadata with the preference data and calculating a matching degree indicating a degree of the matching;
A stream switching determining step of determining whether to switch the video stream to be presented based on the matching degree calculated in the matching degree calculating step and the switching history stored in the history storage unit;
A stream switching step of switching a video stream to be presented based on the determination result of the stream switching determination step and updating a switching history stored in the history storage unit;
A video presentation method comprising:

A computer for switching and presenting a plurality of video streams based on metadata describing summary information of the video stream that changes according to time associated with the video stream and preference data describing viewer preference. To
A matching degree calculating unit that compares the metadata with the preference data and calculates a matching degree indicating a degree of the matching;
Stream switching means for switching the plurality of video streams based on the matching degree calculated by the matching degree calculation means and the switching history stored in the history storage means;
History switching control means for updating the switching history stored in the history storage means when the video stream is switched by the stream switching means;
A video presentation program characterized by functioning as a computer.