JP2009171294A - 映像配信システム、映像中継装置、及び映像中継方法 - Google Patents

Abstract

【課題】連続的に映像を再生可能な映像ストリームを配信する。
【解決手段】映像ストリームを送信する映像配信装置と、送信された複数の映像ストリームを受信し、受信した映像ストリームの少なくとも一つを映像受信装置に転送する映像中継装置と、を備える映像配信システムであって、映像配信装置は、映像ストリームに含まれる独立して復号化が可能な単位のデータが、時刻において対応するものであるか否かを識別する第１の識別子を映像ストリームに付加し、第１の識別子が付加された映像ストリームを送信し、映像中継装置は、映像ストリームを独立して復号化が可能な単位で切り換える場合に、受信した映像ストリームに付加された第１の識別子に基づいて、切換後に転送される映像ストリームの復号化可能な単位のデータを特定し、切換後に転送される映像ストリームを、特定された復号化可能な単位のデータから転送する。
【選択図】図１

Description

本発明は、映像ストリームを配信する映像配信システムに関し、特に、複数の映像ストリームを切り換える方法に関する。

ネットワーク技術の普及に伴って、インターネットプロトコル（ＩＰ：Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いて映像ストリームを送信する技術が開発されている。このような映像ストリームの送信技術には、ＩＰマルチキャストを用いて、リアルタイムに映像ストリームを配信する方式、及び、映像ストリームをダウンロードして蓄積された映像データを再生する方式等がある。また、映像データを符号化する方式として、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）を用いた方式が知られている。また、映像ストリームを配信する方式として、ＲＴＰ／ＵＤＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ／Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）を用いたＩＰマルチキャストによって、リアルタイムにストリームを配信する方式が検討されている。

さらに、通信回線の広帯域化に伴って、複数の視点からの映像を配信し、ユーザの希望に応じて映像を選択可能な映像配信システムが提案されている（例えば、特許文献１参照）。特許文献１に開示された映像配信装置は、映像フレーム毎に映像の内容を示す付加情報を生成し、生成された付加情報に基づいて映像ストリームを配信する。

また、複数の視点で撮影された映像ストリームから、ユーザの好みに応じた映像ストリームを自動的に選択する映像提示装置が知られている（例えば、特許文献２参照）。特許文献２に開示された映像提示装置は、映像フレーム毎に映像ストリームの被写体の識別子を含むメタデータを用いて、ユーザの好みに応じた映像ストリームを自動的に選択する。

さらに、映像チャンネルを切り換える場合、切り換え先の映像チャンネルのＩフレームから切り換えるシステムが知られている（例えば、特許文献３参照）。特許文献３に開示されたチャンネル変換器は、切り換え先のバッファに格納されているＩフレームから映像チャンネルを切り換え、映像ストリームを配信する。

一方、ＭＰＥＧ２のようにフレーム間の類似性に基づいてフレームを予測する映像符号化方式では、Ｉフレーム、Ｐフレーム及びＢフレームと呼ばれるフレームが存在する。
Ｉフレームは、フレーム間の予測を用いずに生成されるフレームであり、単独で再生することが可能である。Ｐフレームは、他のＩフレーム及びＰフレームからの順方向の予測（前方予測）によって再生されるフレームである。具体的には、Ｐフレームは、時間的に前に存在するＩフレーム又はＰフレームを用いて圧縮符号化されるフレームである。よって、Ｐフレームを復号化するためには、圧縮符号化に用いたＩフレーム又はＰフレームが必要である。

Ｂフレームは、時間的に前後に存在するＩフレーム及びＰフレームのデータを用いて圧縮符号化されるフレームである。よって、Ｂフレームを復号化するためには、圧縮符号化に用いたＩフレーム又はＰフレームが必要である。
特開２００３−１７９９０８号公報 特開２００４−３１２２０８号公報 特表２００１−５１６１８４号公報

複数の視点映像を切り換えて映像受信端末に送信する場合、ＭＰＥＧ２のようにフレーム間の予測を用いる映像符号化方式では、映像の再生に前後のフレームの情報を利用するため、適切な点で映像ストリームを切り換えない場合には、切り換えたストリームを受信した端末が正しく映像を再生することができない。ＭＰＥＧ２では、複数のフレームを一つのまとまりとして管理しており、このまとまりはＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれる。ＧＯＰは、一つ以上のＩフレーム、複数のＰフレーム、及び複数のＢフレームを含み、映像の再生単位である。

再エンコードをせずに映像を編集する場合には、映像の再生単位で行う必要がある。そのため、Ｉフレームの映像データから復号化せずに、例えば、Ｐフレーム又はＢフレームの映像データから復号化する場合には、再生される映像が乱れる。

また、映像受信端末がストリームを正しく再生できるように映像を切り換えるためには、映像ストリームの再生単位を考慮して映像ストリームを切り換える必要がある。

しかし、前述した従来技術（特許文献１及び特許文献２）は、映像フレーム単位で映像を切り換えているため、映像ストリームの再生単位で映像を切り換えることができない第１の課題がある。

また、複数の映像配信サーバからＩＰネットワークを用いて映像を配信する場合、各映像ストリームは同期して配信されていないため、転送を終了するストリーム（終了ストリーム）の終了点の直後に新しく転送を開始するストリーム（開始ストリーム）の開始点が到着するとは限らない。また、ＩＰネットワークでは、ＩＰパケットの到着順序を保障していないため、ストリームの切換点の通知が切り換えるべきストリームパケットと前後して映像中継サーバに到着することがある。通知が到着した時点でストリームを切り換えると、開始ストリームを開始点から送信し、終了ストリームの送信を終了点で終了することができない。

また、特許文献３によって開示されているチャンネル変換器は、チャンネルを切り換える指示を受信すると、チャンネルを切り換える前の再生フレームの位置に依存せず、切り換え先のＩフレームから映像ストリームを配信する。よって、切り換え前の映像フレームの途中でチャンネルを切り換えると、映像フレームを構成するデータが一部しか送信されないため、再生される映像が乱れる第２の課題がある。

図２０は、伝送中の映像フレームの伝送順序と、再生中の映像フレームの再生順序との関係を示す。図２０に示したように、Ｉフレーム又はＰフレームのデータは、後続するＢフレームの映像を復号化した後、映像フレームが再生される。よって、例えば、図２０の４５０に示すようにＢ（３）フレームの直前で映像ストリームを切り換えた場合、再生側では、Ｂ（３）及びＢ（４）フレームが欠落しているにも関わらず、Ｐ（５）のフレームを再生する。このように、再生される映像が不連続になる第３の課題がある。

また、映像を切り換えるタイミングとして、例えば、図２０の４５１に示すＰ（１１）フレームの直前で映像ストリームを切り換えた場合、再生側では、Ｂ（６）フレーム、Ｂ（７）フレーム、及びＰ（８）フレームを再生するため、再生される映像が不連続にならない。しかし、ＧＯＰ単位としてのＢ（０）からＰ（１４）までの１５枚のフレーム数のうち、６枚の映像フレームが欠落するため、全体として再生される映像のデータ量が減少する第４の課題がある。

さらに、映像ストリームを切り換える場合、映像フレームが欠落しないように、映像データを切り換えるため、映像データを切り換える前及び切り換えた後でＧＯＰ単位に映像データを切り換える方法が考えられる。しかし、ＩＰネットワークでは、映像フレームの伝送が同期して行われないため、映像ストリーム間で同期したＧＯＰ単位の切り換えができない第５の課題がある。

本発明は、このような課題を解決するために、ストリーム配信された複数の映像の中から、ユーザが希望する映像に切り換えて映像受信端末に配信する際に、映像受信端末が映像再生に支障なく、連続的に映像を再生可能な映像ストリームを、映像中継サーバから配信することを目的とする。

また、ＧＯＰ単位に切り換えて映像ストリームを配信する映像ストリーム配信システムを提供することを目的とする。

本発明の代表的な一例を示せば以下の通りである。すなわち、映像ストリームを送信する映像配信装置と、前記送信された複数の映像ストリームを受信し、前記受信した映像ストリームの少なくとも一つを映像受信装置に転送する映像中継装置と、を備える映像配信システムであって、前記映像配信装置は、前記映像ストリームに含まれる独立して復号化が可能な単位のデータが、時刻において対応するものであるか否かを識別する第１の識別子を前記映像ストリームに付加し、前記第１の識別子が付加された映像ストリームを送信し、前記映像中継装置は、前記映像ストリームを前記独立して復号化が可能な単位で切り換える場合に、前記受信した映像ストリームに付加された第１の識別子に基づいて、切換後に転送される映像ストリームの前記復号化可能な単位のデータを特定し、前記切換後に転送される映像ストリームを、前記特定された復号化可能な単位のデータから転送する。

本発明の一実施形態によると、映像ストリームの再生単位を考慮して、途切れなく再生可能に、映像を切り換えることができる。

＜第１の実施形態＞
図１は、本発明の第１の実施の形態の映像配信システムの構成を示すシステム構成図である。

第１の実施の形態の映像配信システムは、映像配信装置１、メタデータ配信装置２、映像中継装置３、映像受信装置４Ａ、映像受信装置４Ｂ、ネットワークＡ５、及びネットワークＢ６を備える。以下、映像受信装置４Ａ及び４Ｂを総称する場合には、映像受信装置４と説明することもある。

ネットワークＡ５は、映像配信装置１と、メタデータ配信装置２と、映像中継装置３とを接続する。また、ネットワークＢ６は、映像中継装置３と、映像受信装置４Ａと、映像受信装置４Ｂとを接続する。

映像配信装置１は、多視点の映像ストリーム（映像データ）を映像中継装置３に配信する。メタデータ配信装置２は、映像配信装置１から配信される映像ストリームの内容を示すメタデータを映像中継装置３に配信する。

映像中継装置３は、映像配信装置１から受信する多視点の映像ストリーム、メタデータ配信装置２から受信するメタデータ、及び映像受信装置４Ａ及び４Ｂから受信するユーザ要求に基づいて、多視点の映像ストリームからパーソナライズした映像ストリームのデータを出力する。そして、出力された映像ストリームのデータを映像受信装置４Ａ及び４Ｂに配信する。なお、出力される映像ストリームのデータは、例えば、映像中継装置３に接続される表示装置等によって再生されてもよい。

映像受信装置４Ａ及び４Ｂは、ユーザ要求を映像中継装置３に送信し、映像中継装置３から受信する映像ストリームのデータを再生する。

図２は、本発明の第１の実施の形態の映像配信システムの映像ストリームデータ送受信処理のシーケンス図である。

まず、映像配信装置１は、装置が起動した後、映像データを配信するためにＧＯＰ番号の０値初期設定を行う（ステップ５０１）。ＧＯＰ番号の０値初期設定とは、各視点の映像ストリームがパケット化される場合に付与されるＧＯＰ番号をゼロに初期化することである。

次に、メタデータ配信装置２は、装置が起動した後、映像中継装置３に配信するメタデータ情報が管理者によって登録される（ステップ５０２）。

次に、映像受信装置４Ａは、装置が起動した後、映像配信サービスへの参加要求データを映像中継装置３に送信する（ステップ５０３）。

次に、映像中継装置３は、映像受信装置４Ａから送信された映像配信サービスへの参加要求データを受信し、映像配信サービスへの参加を要求した映像受信装置４Ａの識別子（例えば、映像受信装置４ＡのＩＰアドレス）を登録する（ステップ５０４）。

次に、映像中継装置３は、映像配信サービスに参加する映像受信装置４が発生したため、配信する映像データのメタデータをメタデータ配信装置２に要求する（ステップ５０５）。

次に、メタデータ配信装置２は、映像中継装置３からメタデータの要求を受信すると、ステップ５０２で登録されたメタデータ情報を、映像中継装置３に配信する（ステップ５０６）。

次に、映像中継装置３は、メタデータ配信装置２から受信したメタデータ情報を登録する（ステップ５０７）。そして、映像中継装置３は、サービスが提供される多視点の映像データ配信要求を映像配信装置１に送信する（ステップ５０８）。

次に、映像配信装置１は、映像中継装置３から映像データ配信要求を受信し、マルチキャスト方式を用いて多視点の映像データを映像中継装置３に配信する（ステップ５０９）。

次に、映像中継装置３は、映像配信装置１から配信された多視点の映像データの受信を開始し、１ＧＯＰ分の最大遅延映像データを受信するまで、受信している映像データをバッファリングする（ステップ５１０）。そして、初期設定（例えば、最も小さい遅延で受信した視点の映像データを初期配信データとする設定）に従って、パーソナライズ映像データを映像受信装置４Ａに配信する（ステップ５１１）。

次に、映像受信装置４Ａは、受信したパーソナライズ映像データを再生する（ステップ５１２）。

次に、映像受信装置４Ａは、ユーザによって入力された要求データ（例えば、“Ａ選手”）を受け付ける（ステップ５１３）。そして、入力されたユーザ要求データを、映像中継装置３に送信する（ステップ５１４）。

次に、映像中継装置３は、映像受信装置４Ａから送信されたユーザ要求データを受信し、受信したユーザ要求データを登録する（ステップ５１５）。

次に、映像配信装置１は、継続して多視点の映像データを配信する（ステップ５１６）。

次に、映像中継装置３は、ステップ５０７で登録されたメタデータから、ステップ５１５で受信したユーザ要求データに合致する視点の映像を特定し、ＧＯＰ単位で視点を切り換える。そして、切り換えた視点の映像データをパーソナライズ映像データとして、映像受信装置４Ａに配信する（ステップ５１７）。

次に、映像受信装置４Ａは、映像中継装置３から配信されたパーソナライズ映像データを受信し、受信したパーソナライズ映像データを再生する（ステップ５１８）。

次に、映像受信装置４Ｂは、装置が起動した後、映像配信サービスへの参加要求データを映像中継装置３に送信する（ステップ５１９）。

次に、映像中継装置３は、映像受信装置４Ｂから送信された映像配信サービスへの参加要求データを受信し、映像配信サービスへの参加を要求した映像受信装置４Ｂの識別子（ＩＰアドレス）を登録する（ステップ５２０）。

次に、映像配信装置１は、継続して多視点の映像データを配信する（ステップ５２１）。

次に、映像中継装置３は、ステップ５１７で特定した視点の映像データをパーソナライズ映像データとして、映像受信装置４Ａに継続して配信する（ステップ５２２）。

次に、映像受信装置４Ａは、映像中継装置３から配信されたパーソナライズ映像データを受信し、受信したパーソナライズ映像データを再生する（ステップ５２３）。

次に、映像中継装置３は、その後、初期設定（例えば、最も小さい遅延で受信した視点の映像データを初期配信データとする設定）に従って、パーソナライズ映像データを映像受信装置４Ｂに配信する（ステップ５２４）。

次に、映像受信装置４Ｂは、映像中継装置３から配信されたパーソナライズ映像データを受信し、受信したパーソナライズ映像データを再生する（ステップ５２５）。

図３は、本発明の第１の実施の形態のメタデータ配信装置２の構成を示すブロック図である。

メタデータ配信装置２は、入力インタフェース２１、ＣＰＵ２３、メインメモリ２４、プログラム蓄積部２５、及び送信部２６を備える。なお、入力インタフェース２１、ＣＰＵ２３、メインメモリ２４、プログラム蓄積部２５、及び送信部２６は、それぞれバス２９によって接続される。

入力インタフェース２１は、サービスの管理者が、配信する映像の内容を示すメタデータを入力するインタフェースである。入力インタフェース２１は、例えば、キーボード等で構成するとよい。

ＣＰＵ２３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び各種アプリケーションプログラムを実行する。メインメモリ２４は、ＣＰＵ２３が各種アプリケーションプログラムを実行する場合に必要となるデータを一時的に格納する。また、メインメモリ２４には、プログラム蓄積部２５に格納されたプログラム等の少なくとも一部が必要に応じてコピーされる。プログラム蓄積部２５は、各種アプリケーションプログラムを格納する。送信部２６は、管理者によって入力されたメタデータを、ネットワークＡ５を介して配信するインタフェースである。

次に、メタデータ配信装置２の動作について説明する。

図４は、本発明の第１の実施の形態のメタデータ配信処理のフローチャートである。

メタデータ配信装置２は、プログラム蓄積部２５に格納されたプログラムをＣＰＵ２３に読み出し、読み出したプログラムをＣＰＵ２３が実行することによって、メタデータ配信処理を開始する（ステップ２００）。

まず、メタデータ配信装置２は、管理者がメタデータを入力したか否かを判定する（ステップ２０１）。

ステップ２０１の処理で、管理者がメタデータを入力した場合、処理はステップ２０２に進む。一方、ステップ２０１の処理で、管理者がメタデータを入力していない場合、ステップ２０１の処理を繰り返し、管理者からメタデータが入力されたか否かを判定する。

次に、メタデータ配信装置２は、映像中継装置３からメタデータの要求を受信したか否かを判定する（ステップ２０２）。

ステップ２０２の処理で、映像中継装置３からメタデータの要求を受信した場合、処理はステップ２０３に進む。一方、ステップ２０２の処理で、映像中継装置３からメタデータの要求を受信していない場合、ステップ２０２の処理を繰り返し、映像中継装置３からメタデータの要求を受信したか否かを判定する。

次に、メタデータ配信装置２は、管理者から入力されたメタデータ情報を映像中継装置３に配信する（ステップ２０３）。

図５は、メタデータ配信装置２から映像中継装置３に配信するメタデータの伝送パケットの構成を示す説明図である。配信されるメタデータは、ＵＤＰパケット化及びＩＰパケット化され、メタデータ配信装置２から映像中継装置３に配信される。メタデータは、例えば、“視点１：Ａ選手”の情報を含んでもよい。

次に、メタデータ配信装置２は、管理者が、メタデータを入力したか否かを判定する（ステップ２０４）。

ステップ２０４の処理で、管理者がメタデータを入力した場合、処理はステップ２０５に進む。一方、ステップ２０４の処理で、管理者がメタデータを入力していない場合、ステップ２０４の処理を繰り返し、管理者からメタデータが入力されたか否かを判定する。

次に、メタデータ配信装置２は、管理者から入力されたメタデータ情報を映像中継装置３に配信する（ステップ２０５）。そして、処理はステップ２０４に戻り、管理者が配信すべきメタデータを入力したか否かを判定する。

図６は、本発明の第１の実施の形態の映像配信装置１の構成を示すブロック図である。

映像配信装置１は、ビデオカメラ１１Ａ〜１１Ｎ、エンコーダ１２Ａ〜１２Ｎ、ＣＰＵ１３、メインメモリ１４、プログラム蓄積部１５、及び送信部１６を備える。ビデオカメラ１１Ａ〜１１Ｎ、エンコーダ１２Ａ〜１２Ｎ、ＣＰＵ１３、メインメモリ１４、プログラム蓄積部１５、及び送信部１６は、それぞれバス１９によって接続される。以下、ビデオカメラ１１Ａ〜１１Ｎを総称する場合には、ビデオカメラ１１と説明することもある。また、エンコーダ１２Ａ〜１２Ｎを総称する場合には、エンコーダ１２と説明することもある。

ビデオカメラ１１は、複数の視点の映像を撮影する。エンコーダ１２は、ビデオカメラ１１で撮影した各視点の映像データをエンコード（例えば、ＭＰＥＧ２の圧縮符号化）する。ＣＰＵ１３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び各種アプリケーションプログラムを実行する。メインメモリ１４は、ＣＰＵ１３が各種アプリケーションプログラムを実行する場合に必要となるデータを一時的に格納する。また、メインメモリ１４は、プログラム蓄積部１５に格納されたプログラム等の少なくとも一部が必要に応じてコピーされる。プログラム蓄積部１５は、各種アプリケーションプログラムを格納する。送信部１６は、エンコードした映像データを、ネットワークＡ５を介して配信するインタフェースである。

次に、映像配信装置１の動作について説明する。

図７は、本発明の第１の実施の形態の映像配信処理のフローチャートである。

映像配信装置１は、プログラム蓄積部１５に格納されたプログラムをＣＰＵ１３に読み出し、読み出したプログラムをＣＰＵ１３が実行することによって映像配信処理を開始する（ステップ２５０）。

まず、映像配信装置１は、映像データを配信するためにＧＯＰ番号の０値初期設定を行う（ステップ２５１）。

次に、映像配信装置１は、映像中継装置３から映像配信の要求を受信したか否かを判定する（ステップ２５２）。

ステップ２５２の処理で、映像中継装置３から映像配信の要求を受信した場合、処理はステップ２５３に進む。一方、ステップ２５２の処理で、映像中継装置３から映像配信の要求を受信していない場合、ステップ２５２の処理を繰り返し、映像中継装置３から映像配信の要求を受信したか否かを判定する。

次に、映像配信装置１は、複数の視点の映像データを同期してエンコードする（ステップ２５３）。具体的には、映像配信装置１は、各視点の映像データに付与されるＧＯＰ番号を揃えて、映像データを圧縮符号化する。

次に、映像配信装置１は、全てのエンコーダ１２から映像フレームデータを受信したか否かを判定する（ステップ２５４）。

ステップ２５４の処理で、全てのエンコーダ１２から映像フレームデータを受信した場合、処理はステップ２５５に進む。一方、ステップ２５４の処理で、全てのエンコーダ１２から映像フレームデータを受信していない場合、ステップ２５４の処理を繰り返し、全てのエンコーダ１２から映像フレームデータを受信したか否かを判定する。

次に、映像配信装置１は、受信映像データがＧＯＰの先頭データ（ＧＯＰの先頭のフレームデータ）を含むか否かを判定する（ステップ２５５）。

ステップ２５５の処理で、受信映像データがＧＯＰの先頭データを含む場合、処理はステップ２５６に進む。一方、ステップ２５５の処理で、受信映像データがＧＯＰの先頭データを含まない場合、処理はステップ２５７に進む。

ステップ２５６で、映像配信装置１は、映像データを伝送する先頭のＲＴＰパケットにＧＯＰの先頭識別子を付与して、映像データをＲＴＰパケットとして配信する（ステップ２５６）。具体的には、映像配信装置１は、ＧＯＰ番号を１インクリメントしてＲＴＰパケットに付与する。

ステップ２５７で、映像配信装置１は、映像データを伝送する先頭のＲＴＰパケットに映像フレームの先頭識別子を付与して、映像データをＲＴＰパケットとして配信する（ステップ２５７）。具体的には、映像配信装置１は、同じＧＯＰの先頭データに付与されているＧＯＰ番号をＲＴＰパケットに付与する。

なお、ＲＴＰパケットに映像フレームの先頭識別子を付与する処理及びＧＯＰの先頭識別子を付与する処理は、図８から図１１を用いて後述する。また、本実施例では、ＧＯＰ先頭データを識別して処理を実施したが、１ＧＯＰ毎にシーケンスを構成する場合、シーケンス毎にステップ２５５の処理を実施しても良い。

図８は、本発明の第１の実施の形態のＲＴＰヘッダの構成を示す説明図である。

ＲＴＰヘッダのＰビット２７０は未使用のパディング領域である。また、Ｍビット２７１は、映像フレームデータの境界等を示すビットである。第１の実施の形態では、ＧＯＰの先頭データ又はフレームの先頭データを含むＲＴＰパケットであることを映像中継装置３に通知するために、Ｐビット２７０及びＭビット２７１を用いる。Ｐビット２７０及びＭビット２７１を用いる具体的な方法は、図９を用いて後述する。

図９は、本発明の第１の実施の形態のＲＴＰヘッダにおけるＰビット及びＭビットとＧＯＰ及び映像フレームデータの先頭との関係を示す説明図である。

図９に示したように、ＧＯＰの先頭データを伝送するＲＴＰパケットの場合には、Ｐビット＝１及びＭビット＝１が設定される。また、ＧＯＰの先頭ではないが、映像フレームの先頭データを伝送するＲＴＰパケットの場合には、Ｐビット＝０及びＭビット＝１が設定される。また、ＧＯＰの先頭又は映像フレームの先頭ではないデータを伝送するＲＴＰパケットの場合には、Ｐビット＝０及びＭビット＝０が設定される。よって、ＲＴＰパケットによって伝送される受信映像データが、ＧＯＰの先頭データを含むか否か、又は、映像フレームデータの先頭を含むか否かを検出することができる。

図１０は、本発明の第１の実施の形態のＲＴＰパケットの拡張ヘッダの構成を示す説明図である。

図１０に示すＲＴＰパケットの拡張ヘッダは、ＧＯＰのシーケンス番号を示すために用いられる。

ＲＴＰパケットの拡張ヘッダは、拡張ヘッダの種別、データ長、及びＧＯＰ番号を含む。図８に示したＲＴＰヘッダの拡張ヘッダの有無を示すＸビット２７２が設定される（例えば、Ｘ＝１が設定される）ことによって、拡張ヘッダを有効にして用いる。

図１１は、本発明の第１の実施の形態のＭＰＥＧ２−ＴＳパケットがＲＴＰパケット化、ＵＤＰパケット化、及びＩＰパケット化されたパケットの構成を示す説明図である。

図１１に示すパケット２８０は、新たなＧＯＰの先頭データを伝送する場合に用いられるＩＰパケットの構成を示す。パケット２８１は、ＧＯＰの先頭ではないが映像フレームの先頭データを伝送する場合に用いられるＩＰパケットの構成を示す。パケット２８２は、ＧＯＰの先頭又は映像フレームの先頭ではない映像データを伝送する場合に用いられるＩＰパケットの構成を示す。

パケット２８０は、ＩＰヘッダ（ＩＰ＿Ｈ）、ＵＤＰヘッダ（ＵＤＰ＿Ｈ）、ＲＴＰヘッダ（ＲＴＰ＿Ｈ）、ＲＴＰ拡張ヘッダ（拡張＿Ｈ）、及びＭＰＥＧ２−ＴＳ−１〜７を含む。ＲＴＰヘッダ２８５には、Ｐビット＝１及びＭビット＝１が設定され、拡張ヘッダには、ＧＯＰのシーケンス番号（ＧＯＰ番号）が付与される。一方、パケット２８１は、パケット２８０と同様の構成であるが、ＲＴＰヘッダ２８６には、Ｐビット＝０及びＭビット＝１が設定され、拡張ヘッダには、ＧＯＰのシーケンス番号が付与される。なお、同じ時刻に撮影され符号化されたＧＯＰ映像データの場合には、同じＧＯＰ番号が付与される。パケット２８２は、パケット２８０と同様の構成であるが、ＲＴＰヘッダ２８７には、Ｐビット＝０及びＭビット＝０が設定され、拡張ヘッダには、ＧＯＰのシーケンス番号が付与される。

なお、同じＧＯＰに属するデータを伝送するＲＴＰパケットの拡張ヘッダには、同じＧＯＰ番号が設定される。また、図１１に示す例では、各パケットが７個のＭＰＥＧ２−ＴＳパケットを含む構成を示すが、７個以外の数のＭＰＥＧ２−ＴＳパケットを含む構成であってもよい。

図１２は、本発明の第１の実施の形態の映像中継装置３の構成を示すブロック図である。映像中継装置３は、受信部３２、ＣＰＵ３３、メインメモリ３４、プログラム蓄積部３５、及び送信部３６を備える。なお、受信部３２、ＣＰＵ３３、メインメモリ３４、プログラム蓄積部３５、及び送信部３６は、それぞれバス３９によって接続される。

受信部３２は、映像データ及びメタデータ等を受信するインタフェースである。ＣＰＵ３３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び各種アプリケーションプログラムを実行する。メインメモリ３４は、ＣＰＵ３３が各種アプリケーションプログラムを実行する場合に必要となるデータを一時的に格納する。また、メインメモリ３４は、プログラム蓄積部３５に格納されたプログラム等の少なくとも一部が必要に応じてコピーされる。プログラム蓄積部３５は、各種アプリケーションプログラムを格納する。送信部３６は、映像データ及びメタデータ要求等を送信するインタフェースである。

次に、映像中継装置３の動作について説明する。

図１３は、本発明の第１の実施の形態の映像中継処理のフローチャートである。

映像中継装置３は、プログラム蓄積部３５に格納されたプログラムをＣＰＵ３３に読み出し、読み出したプログラムをＣＰＵ３３が実行することによって映像中継処理を開始する（ステップ３００）。

まず、映像中継装置３は、映像受信装置４から映像配信サービスへの参加要求を受信したか否かを判定する（ステップ３０１）。

ステップ３０１の処理で、映像受信装置４から映像配信サービスへの参加要求を受信した場合、処理はステップ３０２に進む。一方、ステップ３０１の処理で、映像受信装置４から映像配信サービスへの参加要求を受信していない場合、ステップ３０１の処理を繰り返し、映像受信装置４から映像配信サービスへの参加要求を受信したか否かを判定する。

次に、映像中継装置３は、映像配信サービスへの参加要求を送信した端末（映像受信装置４）の識別子（例えば、ＩＰアドレス）を、メインメモリ３４に登録する（ステップ３０２）。

次に、映像中継装置３は、メタデータ配信装置２にメタデータの要求を送信する（ステップ３０３）。

次に、映像中継装置３は、メタデータ配信装置２から、メタデータを受信したか否かを判定する（ステップ３０４）。

ステップ３０４の処理で、メタデータ配信装置２からメタデータを受信した場合、処理はステップ３０５に進む。一方、ステップ３０４の処理で、メタデータ配信装置２からメタデータを受信していない場合、ステップ３０４の処理を繰り返し、メタデータ配信装置２からメタデータを受信したか否かを判定する。

次に、映像中継装置３は、受信したメタデータをメインメモリ３４に登録する（ステップ３０５）。

次に、映像中継装置３は、映像配信装置１に映像データの配信要求を送信する（ステップ３０６）。

次に、映像中継装置３は、映像配信装置１から送信された映像データを受信し、各視点の映像データの１ＧＯＰ分のデータをバッファリングできたか否かを判定する（ステップ３０７）。なお、映像配信装置１と映像中継装置３との間のネットワーク（ネットワークＡ５）の負荷に応じて、バッファリングされたか判定するＧＯＰデータの数を変更してもよい。例えば、各視点の映像データの３ＧＯＰ分のデータをバッファリングできたか否かを判定してもよい。

ステップ３０７の処理で、各視点から１ＧＯＰ分のデータをバッファリングできた場合、処理はステップ３０８に進む。一方、ステップ３０７の処理で、各視点から１ＧＯＰ分のデータをバッファリングできていない場合、ステップ３０７の処理を繰り返し、各視点での１ＧＯＰ分のデータをバッファリングできたか否かを判定する。

次に、映像中継装置３は、受信した複数の視点の映像データからパーソナライズした映像データを配信する設定を行う（ステップ３０８）。具体的には、ステップ３０５の処理で登録したメタデータと視聴するユーザの要求（ステップ３１３の処理で登録されるユーザ要求）とに基づいて、配信すべき視点の映像データを選択する。なお、ユーザ要求が登録されていない場合、初期設定の視点の映像データ（例えば、各視点に設定されている視点番号が最も小さい視点の映像データ、或いは最小の遅延で受信した映像データ等）を選択する。そして、選択した視点の映像データを、ステップ３０２の処理で登録した映像受信装置４に配信する設定を行う。

次に、映像中継装置３は、ステップ３０８でパーソナライズ映像として選択した映像データの１フレーム分の映像データを設定した配信先に送信する（ステップ３０９）。なお、同じ映像データを配信する映像受信装置４が複数登録されている場合には、登録された複数の映像受信装置４に、選択したパーソナライズ映像データを配信する。

次に、映像中継装置３は、映像配信装置１から映像データを受信したか否かを判定する（ステップ３１０）。

ステップ３１０の処理で、映像配信装置１から映像データを受信した場合、処理はステップ３１１に進む。一方、ステップ３１０の処理で、映像配信装置１から映像データを受信していない場合、処理はステップ３１２に進む。

次に、映像中継装置３は、メインメモリ３４のバッファに受信した映像データを格納する（ステップ３１１）。

次に、映像中継装置３は、映像受信装置４からユーザ要求を受信したか否かを判定する（ステップ３１２）。

ステップ３１２の処理において、映像受信装置４からユーザ要求を受信した場合、処理はステップ３１３に進む。一方、ステップ３１２の処理で、映像受信装置４からユーザ要求を受信していない場合、処理はステップ３１４に進む。

次に、映像中継装置３は、メインメモリ３４に受信したユーザ要求を登録する（ステップ３１３）。

次に、映像中継装置３は、新規のユーザからサービス参加要求を受信したか否かを判定する（ステップ３１４）。

ステップ３１４の処理で、新たなサービス参加要求を受信した場合、処理はステップ３１５に進む。一方、ステップ３１４の処理で、新たなサービス参加要求を受信していない場合、処理はステップ３１６に進む。

次に、映像中継装置３は、映像配信サービスへの参加要求を送信した端末（映像受信装置４）の識別子（例えば、ＩＰアドレス）を、メインメモリ３４に登録する（ステップ３１５）。

次に、映像中継装置３は、メタデータ配信装置２から新たなメタデータを受信したか否かを判定する（ステップ３１６）。

ステップ３１６の処理で、メタデータ配信装置２から新たなメタデータを受信した場合、処理はステップ３１７に進む。一方、ステップ３１６の処理で、メタデータ配信装置２から新たなメタデータを受信していない場合、処理はステップ３１８に進む。

次に、映像中継装置３は、メインメモリ３４に受信したメタデータを登録する（ステップ３１７）。

次に、映像中継装置３は、１ＧＯＰ分の映像データを配信したか否かを判定する（ステップ３１８）。

ステップ３１８の処理で、１ＧＯＰ分の映像データを配信した場合には、処理はステップ３１９に進む。一方、ステップ３１８の処理で、１ＧＯＰ分の映像データを配信していない場合、処理はステップ３０９に戻る。

次に、映像中継装置３は、送信しなかった視点の映像データのうち、送信した視点の映像データのＧＯＰ番号と同じＧＯＰ番号の映像データを１ＧＯＰ分だけ廃棄する（すなわち、映像データを１ＧＯＰ分だけ削除する）（ステップ３１９）。そして、処理はステップ３０８に戻り、パーソナライズ映像配信処理を継続する。

以上の処理によって、パーソナライズ映像データをＧＯＰデータの単位で切り換えることが可能となる。また、各ＧＯＰデータに付与されたシーケンス番号に基づいて、ＧＯＰデータの単位で、次のシーケンスに映像データを切り換えるため、乱れのないパーソナライズ映像ストリームを再生することが可能となる。

また、映像配信装置１から送信された映像データのうち、部分的にＧＯＰデータが欠落した場合であっても、ＧＯＰデータのシーケンス番号に基づいて映像データを切り換えるため、継続的に同期をとることができる。

また、ＧＯＰデータ毎に同期をとるため、映像ストリームを切り換えても、時間的に前後する切り換えを防止することができる。

図１４は、本発明の第１の実施の形態の映像受信装置４の構成を示すブロック図である。

映像受信装置４は、受信部４２、送信部４６、表示部４８、ＣＰＵ４３、メインメモリ４４、プログラム蓄積部４５、入力インタフェース４１を備える。なお、受信部４２、送信部４６、表示部４８、ＣＰＵ４３、メインメモリ４４、プログラム蓄積部４５、入力インタフェース４１は、それぞれバス４９によって接続される。

受信部４２は、映像データを受信するインタフェースである。送信部４６は、映像配信サービスへの参加要求及びユーザ要求データを送信するインタフェースである。ＣＰＵ４３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び各種アプリケーションプログラムを実行する。メインメモリ４４は、ＣＰＵ４３が各種アプリケーションプログラムを実行する場合に必要となるデータを一時的に格納する。また、メインメモリ４４は、プログラム蓄積部４５に格納されたプログラム等の少なくとも一部が必要に応じてコピーされる。プログラム蓄積部４５は、各種アプリケーションプログラムを格納する。入力インタフェース４１は、ユーザの要求を入力するインタフェースである。入力インタフェース４１は、例えば、キーボード等で構成するとよい。表示部４８は、受信した映像データを表示する。

次に、映像受信装置４の動作について説明する。

図１５は、本発明の第１の実施の形態の映像受信処理のフローチャートである。

映像受信装置４は、プログラム蓄積部４５に格納されたプログラムをＣＰＵ４３に読み出し、読み出したプログラムをＣＰＵ４３が実行することによって映像受信処理を開始する（ステップ３５０）。

まず、映像受信装置４は、映像データを受信するために、映像送信サービスへの参加要求を映像中継装置３に送信する（ステップ３５１）。

次に、映像受信装置４は、映像中継装置３からパーソナライズ映像データを受信したか否かを判定する（ステップ３５２）。

ステップ３５２の処理で、映像中継装置３からパーソナライズ映像データを受信した場合、処理はステップ３５３に進む。一方、ステップ３５２の処理で、映像中継装置３からパーソナライズ映像データを受信していない場合、処理はステップ３５４に進む。

次に、映像中継装置３は、受信したパーソナライズ映像データを再生する（ステップ３５３）。

次に、映像中継装置３は、入力インタフェース４１からユーザの要求が入力されたか否かを判定する（ステップ３５４）。例えば、ユーザの希望するデータ（“Ａ選手”）が、入力されたか否かを判定する。

ステップ３５４の処理で、ユーザ要求が入力された場合、処理はステップ３５５に進む。一方、ステップ３５４の処理で、ユーザ要求が入力されていないと判定した場合、処理はステップ３５２に戻り、映像受信処理を継続する。

次に、映像中継装置３は、入力されたユーザ要求データを映像中継装置３に送信する（ステップ３５５）。そして、処理はステップ３５２に戻り、映像受信処理を継続する。

図１６は、本発明の第１の実施の形態の映像受信装置４の表示部４８に表示される表示画面５０の説明図である。図１６に示したように、表示画面５０は、視聴するユーザの希望を入力するユーザ要求入力インタフェース５５、及び、映像中継装置３から受信したパーソナライズ映像ストリームデータを再生する表示画面５１を含む。

本発明の第１の実施の形態は、図２１に示すように、非同期で受信する複数の視点での映像ストリームにおいて、ＧＯＰ単位で映像ストリーム（視点）を切り換え配信するシステムを提供する。具体的には、視点を切り換える場合、再生の流れ４６０に示すように、視点Ａの１番目のＧＯＰデータ（ＧＯＰ−Ａ１）を配信した後、視点Ｂの２番目のＧＯＰデータ（ＧＯＰ−Ｂ２）を配信する。同様に、ＧＯＰ単位でシーケンシャルに視点を切り換え、ＧＯＰ−Ｃ３、ＧＯＰ−Ｄ４のように映像ストリームを切り換えて配信するシステムを提供する。

以上説明したように、本発明の第１の実施の形態によると、映像ストリームの再生が可能な単位毎に同期して映像ストリームを切り換えるため、乱れの無い映像ストリームの切り換えができる。

また、複数の映像ストリームを受信し、ＧＯＰ単位に同期をとり、同期をとったＧＯＰ単位で映像データを切り換えるため、映像データを切り換える時に、切り換える映像データの時刻の前後が発生せず、時刻情報の流れに沿った映像を視聴することが可能なパーソナライズ映像を作成することができる。

また、複数の映像データから、ユーザの希望に適合する映像データをＧＯＰ単位で切り出し、１本のパーソナライズ映像ストリームを作成するため、映像ストリームを変更する必要がなく（クライアントで実行されるアプリケーションを再び実行する必要がなく）、高速に映像データを切り換えて再生することができる。

また、ＲＴＰヘッダにＰビットを用いてＧＯＰの区切り情報を付与し、ＧＯＰ単位で映像を切り換えるため、高速にパーソナライズ映像の作成処理が可能であり、少ない処理能力で複数のパーソナライズ映像を作成することができる。

また、ＲＴＰの拡張ヘッダにＧＯＰ毎のシーケンス識別子を付与するため、ＧＯＰデータのパケットロスが発生しても、継続して同期をとることができる。

＜第２の実施形態＞
第１の実施の形態では、映像中継装置３は、パーソナライズした映像データのみ映像受信装置４に配信していた。第２の実施の形態では、映像中継装置３は、パーソナライズした映像データの他に、映像配信装置１から受信しているオリジナルの多視点の映像データも合わせて映像受信装置４に配信する。

図１７は、本発明の第２の実施の形態の映像配信システムの構成を示すシステム構成図である。基本的なシステムの構成は、第１の実施の形態と同じである。第１の実施の形態とは、映像中継装置３が映像受信装置４に多視点の映像データを送信している点が異なる。

図１８は、本発明の第２の実施の形態の映像配信システムの映像ストリームデータ送受信処理シーケンス図である。

図１８に示す処理において、図２の処理と同じ処理には、同じ番号を付与している。以下、図２に示す処理と異なる部分を中心に説明する。

ステップ５０１からステップ５１１までの処理は、図２に示すステップ５０１からステップ５１１までの処理と同じである。

次に、映像中継装置３は、映像配信装置１から受信している多視点の映像データを映像受信装置４Ａに配信する（ステップ５５０）。

次に、映像受信装置４Ａは、受信しているパーソナライズ映像データ及び多視点の映像データを再生する（ステップ５５１）。

ステップ５１３からステップ５１７までの処理は、図２に示すステップ５１３からステップ５１７までの処理と同じである。

次に、映像中継装置３は、映像配信装置１から受信している多視点の映像データを映像受信装置４Ａに配信する（ステップ５５２）。

次に、映像受信装置４Ａは、受信しているパーソナライズ映像データ及び多視点の映像データを再生する（ステップ５５３）。

ステップ５１９からステップ５２２までの処理は、図２に示すステップ５１９からステップ５２２までの処理と同じである。

次に、映像中継装置３は、映像配信装置１から受信している多視点の映像データを映像受信装置４Ａに配信する（ステップ５５４）。

次に、映像受信装置４Ａは、受信しているパーソナライズ映像データ及び多視点の映像データを再生する（ステップ５５５）。

ステップ５２４の処理は、図２に示すステップ５２４の処理と同じである。

次に、映像中継装置３は、映像配信装置１から受信している多視点の映像データを映像受信装置４Ｂに配信する（ステップ５５６）。なお、多視点の映像データは、図１８に示す例では、受信した多視点映像とは別の映像データとして再配信するように記載されているが、マルチキャスト方式を用いて多視点の映像データを配信する場合には、受信した多視点映像と同じデータをマルチキャスト配信する。

次に、映像受信装置４Ｂは、受信したパーソナライズ映像データ及び多視点の映像データを再生する（ステップ５５７）。

図１９は、本発明の第２の実施の形態の映像中継処理のフローチャートである。図１３に示す映像中継処理では、映像中継装置３は、個別の視点の映像データを配信しなかったが、図１９に示す映像中継処理では、映像中継装置３は、個別の視点の映像データを配信する。

図１９の処理において、図１３の処理と同じ処理は、同じ番号を付与している。以下、図１３に示す処理と異なる部分を中心に説明する。

ステップ３００からステップ３１７までの処理は、図１３に示すステップ３００からステップ３１７までの処理と同じである。

次に、映像中継装置３は、個別の視点の映像データ（１フレーム分のデータ）を映像受信装置４に配信する（ステップ４０１）。なお、ユニキャスト方式を用いて個別の視点の映像データを配信する場合には、個別の視点の映像データを各映像受信装置４に配信する。一方、マルチキャスト方式を用いて個別の視点の映像データを配信する場合には、映像受信装置４にマルチキャスト配信する。

次に、映像中継装置３は、各視点の映像データ（１フレーム分のデータ）を、全ての映像受信装置４に配信したか否かを判定する（ステップ４０２）。

ステップ４０２の処理で、各視点の映像データ（１フレーム分のデータ）を全ての映像受信装置４に配信した場合、処理はステップ４０３に進む。一方、ステップ４０２の処理で、各視点の映像データ（１フレーム分のデータ）を全ての映像受信装置４に配信していない場合、処理はステップ３１０に戻る。

次に、映像中継装置３は、配信すべき映像データのうち、１ＧＯＰ分の映像データを配信したか否かを判定する（ステップ４０３）。

ステップ４０３の処理で、配信すべき映像データのうち、１ＧＯＰ分の映像データを配信した場合、処理はステップ３０８に戻る。一方、ステップ４０３の処理で、配信すべき映像データのうち、１ＧＯＰ分の映像データを配信していない場合、処理はステップ３０９に戻る。

図２２は、本発明の第２の実施の形態の映像受信装置４の表示部４８に表示される表示画面５６の説明図である。

図２２に示したように、表示画面５６は、視聴するユーザの希望を入力するユーザ要求入力インタフェース５５、映像中継装置３から受信したパーソナライズ映像ストリームデータを再生する表示画面５１、及び個別の視点の映像を再生する表示画面５２〜５４を含む。

以上説明したように、本発明の第２の実施の形態によると、乱れのないパーソナライズ映像を再生するだけでなく、個別の映像ストリームを同時に再生することができる。

＜第３の実施形態＞
図２３は、本発明の第３の実施の形態の映像配信システムの構成を示すシステム構成図である。

第３の実施の形態の映像配信システムは、映像配信装置１、メタデータ配信装置２、及び映像受信装置４を備える。ネットワークＣ７は、映像配信装置１と、メタデータ配信装置２と、映像受信装置４とを接続する。

映像配信装置１は、映像受信装置４から映像配信要求を受信し、多視点の映像ストリームを映像受信装置４に配信する。メタデータ配信装置２は、映像受信装置４からメタデータの要求を受信し、配信する映像ストリームの内容を示すメタデータを映像受信装置４に配信する。

映像受信装置４は、映像配信装置１に映像配信要求を送信し、映像配信装置１から送信された映像データを受信する。また、映像受信装置４は、メタデータ配信装置２に、メタデータの要求を送信し、メタデータ配信装置２から送信されたメタデータを受信する。また、映像受信装置４は、ユーザからの要求を受け付け、受信したメタデータとユーザから受け付けた要求とに合致する映像データを選択し、選択した映像データを出力する。そして、出力された映像データを表示部４８によって再生する。

図２４は、本発明の第３の実施の形態の映像受信処理のフローチャートである。

映像受信装置４は、プログラム蓄積部４５に格納されたプログラムをＣＰＵ４３に読み出し、読み出したプログラムをＣＰＵ４３が実行することによって映像受信処理を開始する（ステップ１３３０）。

まず、映像受信装置４は、メタデータ配信装置２に、メタデータの要求を送信する（ステップ１３０３）。

次に、映像受信装置４は、メタデータ配信装置２から、メタデータを受信したか否かを判定する（ステップ１３０４）。

ステップ１３０４の処理で、メタデータ配信装置２からメタデータを受信した場合、処理はステップ１３０５に進む。一方、ステップ１３０４の処理で、メタデータ配信装置２からメタデータを受信していない場合、ステップ１３０４の処理を繰り返し、メタデータ配信装置２からメタデータを受信したか否かを判定する。

次に、映像受信装置４は、受信したメタデータをメインメモリ４４に登録する（ステップ１３０５）。

次に、映像受信装置４は、映像配信装置１に映像データの配信要求を送信する（ステップ１３０６）。

次に、映像受信装置４は、映像配信装置１から送信された映像データを受信し、各視点の映像データの１ＧＯＰ分のデータをバッファリングできたか否かを判定する（ステップ１３０７）。

ステップ１３０７の処理で、各視点の映像データの１ＧＯＰ分のデータをバッファリングできた場合、処理はステップ１３３１に進む。一方、ステップ１３０７の処理で、各視点の映像データの１ＧＯＰ分のデータをバッファリングできていない場合、ステップ１３０７の処理を繰り返し、各視点の映像データの１ＧＯＰ分のデータをバッファリングできたか否かを判定する。

次に、映像受信装置４は、受信した複数の視点の映像データからパーソナライズした映像データを作成する設定を行う（ステップ１３３１）。具体的には、ステップ１３０５の処理で登録したメタデータと視聴するユーザの要求（ステップ１３１３の処理で登録される要求）とに基づいて、選択する視点の映像データを設定する。なお、ユーザ要求が登録されていない場合、初期設定の視点の映像データ（例えば、各視点に設定されている視点番号が最も小さい視点の映像データ）を選択する。

次に、映像受信装置４は、ステップ１３３１で選択したパーソナライズ映像の映像データの１フレーム分の映像データを再生する（ステップ１３３２）。

次に、映像受信装置４は、映像配信装置１から映像データを受信したか否かを判定する（ステップ１３１０）。

ステップ１３１０の処理で、映像配信装置１から映像データを受信した場合、処理はステップ１３１１に進む。一方、ステップ１３１０の処理で、映像配信装置１から映像データを受信していない場合、処理はステップ１３３３に進む。

次に、映像受信装置４は、メインメモリ４４のバッファに受信した映像データを格納する（ステップ１３１１）。

次に、映像受信装置４は、ユーザ要求の入力があったか否かを判定する（ステップ１３３３）。

ステップ１３３３の処理で、ユーザ要求の入力があった場合、処理はステップ１３１３に進む。一方、ステップ１３３３の処理で、ユーザ要求の入力がなかった場合、処理はステップ１３１６に進む。

次に、映像受信装置４は、メインメモリ４４に入力されたユーザ要求を登録する（ステップ１３１３）。
続いて、次に、映像受信装置４は、メタデータ配信装置２から新たなメタデータを受信したか否かを判定する（ステップ１３１６）。

ステップ１３１６の処理で、メタデータ配信装置２から新たなメタデータを受信した場合、処理はステップ１３１７に進む。一方ステップ１３１６の処理で、メタデータ配信装置２から新たなメタデータを受信していない場合、処理はステップ１３３４に進む。

次に、映像受信装置４は、メインメモリ４４に受信したメタデータを登録する（ステップ１３１７）。

次に、映像受信装置４は、１ＧＯＰ分の映像データを再生したか否かを判定する（ステップ１３３４）。

ステップ１３３４の処理で、１ＧＯＰ分の映像データを再生した場合、処理はステップ１３３５に進む。一方、ステップ１３３４の処理で、１ＧＯＰ分の映像データを再生していない場合、処理はステップ１３３２に戻る。

次に、映像受信装置４は、再生しなかった視点の映像データのうち、再生した視点の映像データのＧＯＰ番号と同じＧＯＰ番号の映像データを、１ＧＯＰ分だけ廃棄する（ステップ１３３５）。そして、処理はステップ１３３１に戻り、パーソナライズ映像作成及び再生処理を継続する。

以上説明したように、本発明の第３の実施の形態によると、映像受信装置４が、パーソナライズ映像データを作成し、パーソナライズ映像データを再生することが可能となる。

＜第４の実施形態＞
図２５は、本発明の第４の実施の形態の映像配信システムの構成を示すシステム構成図である。

図２５に示した映像配信システムの動作は、図１に示した映像配信システムの動作と同じである。しかし、図２５に示したように、映像配信装置１、メタデータ配信装置２、及び映像中継装置３を、ネットワークを介さずに直接接続、又は、映像配信装置１、メタデータ配信装置２、及び映像中継装置３を一つの地点に設置することによって、映像配信側の設備を一括して管理することが可能であり、メンテナンス負荷が小さくなる。例えば、映像配信装置１、メタデータ配信装置２、及び映像中継装置３が、一つの共有メモリを使用してシステムを実現してもよい。また、ＵＳＢケーブル等のケーブルによってそれぞれ接続されてもよい。また、映像配信装置１、メタデータ配信装置２、及び映像中継装置３が同じハードウェアに構成され、それぞれバスによって接続されてもよい。

＜第５の実施形態＞
図２６は、本発明の第５の実施の形態の映像配信システムの構成を示すシステム構成図である。

図２６に示した映像配信システムの動作は、図１に示した映像配信システムの動作と同じである。しかし、図２６に示したように、映像中継装置３及び映像受信装置４を、ネットワークを介さずに接続することによって、映像受信装置４からの要求に対するレスポンスを高速化することができる。映像中継装置３及び映像受信装置４は、同じ接続方法（例えば、ＩＥＥＥ１３９４）によって接続されるとよい。また、映像中継装置３を家庭の入り口に設置し、映像受信装置４を各部屋に設置するようにシステムを構成してもよい。

＜第６の実施形態＞
図２７は、本発明の第６の実施の形態の映像配信装置８の構成を示すブロック図である。第６の実施の形態の映像配信装置８は、第１の実施の形態の映像配信装置１の変形例を示している。映像配信装置８は、ストレージ８８、ＣＰＵ８３、メインメモリ８４、プログラム蓄積部８５、及び送信部８６を備える。なお、ストレージ８８、ＣＰＵ８３、メインメモリ８４、プログラム蓄積部８５、及び送信部８６は、それぞれバス８９によって接続される。

ストレージ８８は、撮影した複数の映像データを格納する。ＣＰＵ８３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び各種アプリケーションプログラムを実行する。メインメモリ８４は、ＣＰＵ８３が各種アプリケーションプログラムを実行する場合に必要となるデータを一時的に格納する。また、メインメモリ８４は、プログラム蓄積部２５に格納されたプログラム等の少なくとも一部が必要に応じてコピーされる。プログラム蓄積部８５は、各種アプリケーションプログラムを格納する。送信部８６は、エンコードした映像データを、ネットワーク配信するインタフェースである。

次に、映像配信装置８の動作について説明する。

図２８は、本発明の第６の実施形態の映像配信処理のフローチャートである。

映像配信装置８は、プログラム蓄積部８５に格納されたプログラムをＣＰＵ８３に読み出し、読み出したプログラムをＣＰＵ８３が実行することによって映像配信処理を開始する（ステップ６００）。

まず、映像配信装置８は、映像データを配信するため、ＧＯＰ番号の０値初期設定を行う（ステップ６０１）。

次に、映像配信装置８は、映像中継装置３から映像配信の要求を受信したか否かを判定する（ステップ６０２）。

ステップ６０２の処理で、映像中継装置３から映像配信の要求を受信した場合、処理はステップ６０３に進む。一方、ステップ６０２の処理で、映像中継装置３から映像配信の要求を受信していない場合、ステップ６０２の処理を繰り返し、映像中継装置３からの映像配信の要求を受信したか否かを判定する。

次に、映像配信装置８は、ストレージ８８に格納されている映像データから、各視点の映像データの１フレーム分の映像データを読み込む（ステップ６０３）。

次に、映像配信装置８は、複数の視点の映像データを同期してエンコードする（ステップ６０４）。具体的には、映像配信装置８は、各視点の映像データに付与されるＧＯＰ番号を揃えて各視点の映像データを圧縮符号化する。なお、ストレージ８８に格納されている映像データと、映像配信装置８から配信される映像データの形式が同じである場合には、ステップ６０４の処理を実行しないでステップ６０５に進む。

例えば、ＭＰＥＧ２の形式の映像データがストレージ８８に格納されており、ＭＰＥＧの形式で映像データを配信する場合には、再エンコードをする必要がないため、ステップ６０４の処理を実行しないでステップ６０５に進む。なお、複数のＧＯＰにまたがってフレームを予測した映像データの場合は、ＧＯＰ単位でフレームを予測するようにステップ６０４で再エンコードし、本発明に適用できるようにする必要がある。

次に、映像配信装置８は、ステップ６０４でエンコードした映像データがＧＯＰの先頭データを含むか否かを判定する（ステップ６０５）。

ステップ６０５の処理で、エンコードした映像データがＧＯＰの先頭データを含む場合、処理はステップ６０６に進む。一方、ステップ６０５の処理で、エンコードした映像データがＧＯＰ先頭データを含まない場合、処理はステップ６０７に進む。

ステップ６０６で、映像配信装置８は、映像データを伝送する先頭のＲＴＰパケットにＧＯＰの先頭識別子を付与して、映像データをＲＴＰパケットとして配信する（ステップ６０６）。具体的には、映像配信装置８は、ＧＯＰ番号を１インクリメントしてＲＴＰパケットに付与する。

ステップ６０７で、映像配信装置８は、映像データを伝送する先頭のＲＴＰパケットに映像フレームの先頭識別子を付与して、映像データをＲＴＰパケットとして配信する（ステップ６０７）。具体的には、映像配信装置８は、同じＧＯＰの先頭データに付与されているＧＯＰ番号をＲＴＰパケットに付与する。

＜第７の実施形態＞
本発明の第１の実施形態では、ユーザの要求データに基づいて、映像中継装置３がパーソナライズした映像データを映像受信装置４に配信していた。本発明の第７の実施形態では、映像中継装置３が、予め選択可能な映像ストリームを作成し、作成した映像ストリームを選択するキーワードを映像受信装置４に送信する。ユーザは、送信されたキーワードから要求するキーワードを選択し、選択したキーワードを映像中継装置３に送信する。

例えば、第７の実施の形態のシステムを用いて野球の中継の映像データを配信する場合、映像中継装置３は、予め先攻チームを好みとするユーザのための映像ストリームの作成と、後攻チームを好みとするユーザのための映像ストリーム作成を行い、先攻チーム及び後攻チームの何れのチームが好みかをユーザに選択させる映像サービスを行う。

図２９は、本発明の第７の実施の形態の映像配信システムの映像ストリームデータ送受信処理シーケンス図である。

図２９に示す処理において、図２の処理と同じ処理には、同じ番号を付与している。以下、図２に示す処理と異なる部分を中心に説明する。

ステップ５０１からステップ５０７までの処理は、図２に示すステップ５０１からステップ５０７までの処理と同じである。

次に、映像中継装置３は、予め作成される映像ストリームを選択するキーワードを映像受信装置４に送信する（ステップ６５０）。

次に、映像受信装置４は、受信したキーワードを登録し、例えば、図１６に示したユーザ要求インタフェースから選択できるようにする（ステップ６５１）。

ステップ５０８からステップ５１０までの処理は、図２に示すステップ５０８からステップ５１０までの処理と同じである。

次に、映像中継装置３は、予め指定された初期設定（例えば、“中立映像”：野球中継の場合には、同じ程度に先攻チームと後攻チームとの映像を切り換えて作成された映像”）に従って、初期設定選択映像データを映像受信装置４に配信する（ステップ６５２）。

ステップ５１２の処理は、図２に示すステップ５１２の処理と同じである。

次に、映像受信装置４は、ユーザから選択されたキーワードを検出する（ステップ６５３）。

次に、映像受信装置４は、ステップ６５３で検出されたキーワードを映像中継装置３に送信する（ステップ６５４）。

次に、映像中継装置３は、ステップ６５４で映像受信装置４から送信されたキーワードを受信し、受信したキーワードを登録する（ステップ６５５）。

ステップ５１６の処理は、図２に示すステップ５１６の処理と同じである。

次に、映像中継装置３は、ステップ６５５で登録したキーワード（例えば、“先攻チーム”）に基づいて、キーワードに対応して作成された映像ストリームを選択し、選択した映像ストリームを映像受信装置４に配信する（ステップ６５６）。

ステップ５１８の処理は、図２に示すステップ５１８の処理と同じである。

図３０は、本発明の第７の実施の形態の映像中継処理のフローチャートである。

図３０に示す処理において、図１３の処理と同じ処理には、同じ番号を付与している。以下、図１３に示す処理と異なる部分を中心に説明する。

ステップ３００からステップ３０５までの処理は、図１３に示すステップ３００からステップまでの処理と同じである。

次に、映像中継装置３は、予め選択可能な映像ストリームに対応するキーワードを映像受信装置４に通知する（ステップ７０１）。

ステップ３０６及びステップ３０７の処理は、図１３に示すステップ３０６及びステップ３０７の処理と同じである。

次に、映像中継装置３は、受信した複数の視点の映像データから、予め選択可能な映像ストリームを作成（例えば、“中立映像”、“先攻チーム希望者用映像”、及び“後攻チーム希望者用映像”等の映像を作成）し、また選択可能な映像を受信する端末（映像受信端末４）を特定する（ステップ７０２）。

次に、映像中継装置３は、ユーザから選択されたキーワードに基づいて、キーワードに対応する映像データの１フレーム分の映像データをステップ７０２で設定した配信先に配信する（ステップ７０３）。

ステップ３１０及びステップ３１１の処理は、図１３に示すステップ３１０及びステップ３１１の処理と同じである。

次に、映像中継装置３は、ユーザが選択したキーワードを映像受信装置４から受信したか否かを判定する（ステップ７０４）。

ステップ７０４の処理で、ユーザが選択したキーワードを映像受信装置４から受信した場合、処理はステップ７０５に進む。一方、ステップ７０４の処理で、ユーザが選択したキーワードを映像受信装置４から受信していない場合、処理はステップ３１６に進む。

次に、映像中継装置３は、受信したキーワードと映像の配信を要求した端末（映像受信装置４）とを関連付けてメインメモリ３４に登録する（ステップ７０５）。

ステップ３１６からステップ３１９までの処理は、図１３に示すステップ３１６からステップ３１９までの処理と同じである。

図３１は、本発明の第７の実施の形態の映像受信処理のフローチャートである。

映像受信装置４は、プログラム蓄積部４５に格納されたプログラムをＣＰＵ４３に読み出し、読み出したプログラムをＣＰＵ４３が実行することによって映像受信処理を開始する（ステップ７５０）。

まず、映像受信装置４は、映像データを受信するため、映像送信サービスへの参加要求を映像中継装置３に送信する（ステップ７５１）。

次に、映像中継装置３から選択映像データを受信したか否かを判定する（ステップ７５２）。

ステップ７５２の処理で、映像中継装置３から選択映像データを受信した場合、処理はステップ７５３に進む。一方、ステップ７５２の処理で、映像中継装置３から選択映像データを受信していない場合、処理はステップ７５４に進む。

次に、映像受信装置４は、受信した映像データを再生する（ステップ７５３）。

次に、映像受信装置４は、映像データを選択するキーワードを映像中継装置３から受信したか否かを判定する（ステップ７５４）。

ステップ７５４に処理で、映像中継装置３からキーワードを受信した場合、処理はステップ７５５に進む。一方、ステップ７５４の処理で、映像中継装置３からキーワードを受信していない場合、処理はステップ７５６に進む。

次に、映像受信装置４は、受信したキーワードをメインメモリ４４に登録する（ステップ７５５）。

次に、映像受信装置４は、入力インタフェース４１からユーザが希望するキーワードが選択されたか否かを判定する（ステップ７５６）。すなわち、ユーザが希望する映像（先攻チーム希望者用映像）が入力されたか否かを判定する。

ステップ７５６の処理で、入力インタフェース４１からユーザが希望するキーワードが選択された場合、処理はステップ７５７に進む。一方、入力インタフェース４１からユーザが希望するキーワードが選択されていない場合、処理はステップ７５２に戻り、映像受信処理を継続する。

次に、映像受信装置４は、選択されたキーワードを、映像中継装置３に送信する（ステップ７５７）。

＜第８の実施形態＞
図３２は、本発明の第８の実施の形態の映像配信システムの構成を示すシステム構成図である。

第８の実施の形態の映像配信システムは、図１に示した第１の実施の形態の映像配信システムの映像配信装置１及びメタデータ配信装置２が複数（映像配信装置１Ａ、映像配信装置１Ｂ、メタデータ配信装置２Ａ、及びメタデータ配信装置２Ｂ）備わる構成である。以下、映像配信装置１Ａ及び１Ｂを総称する場合には、映像配信装置１と説明することもある。また、メタデータ配信装置２Ａ及び２Ｂを総称する場合には、メタデータ配信装置２と説明することもある。

第１の実施の形態の映像配信システムは、例えば、野球及びサッカー等のように一つの場所で行われる競技の中継に用いることができる。一方、第８の実施の形態の映像配信システムは、複数の映像配信装置１及びメタデータ配信装置２から構成されるため、複数の地点にまたがる大規模な映像配信システムに用いることができる。例えば、複数の事業所を有する大規模な企業等の各事業所に、複数の映像配信装置１及びメタデータ配信装置２を設置することによって、各事業所の状況を遠隔地の映像受信装置４から確認することができる。また、特定の事業所の会の状況を、メタデータを用いて映像配信することによって、状況を確認したい従業員の映像を確認するシステムを提供することができる。

特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげられる。

（１）映像ストリームを送信する映像配信装置と、前記映像配信装置から送信された映像ストリームをバッファに蓄積し、選択された前記映像ストリームを映像受信端末に転送する映像中継装置と、を備える映像配信システムにおいて、前記映像配信装置は、前記映像ストリームの再生可能な単位を示す区切情報を付加して前記映像ストリームを送信し、前記映像中継装置は、前記転送される映像ストリームを前記区切情報の箇所のみで切り換えることを特徴とする映像配信システム。

（２）前記配信システムは、さらに、前記映像配信装置から送信された映像ストリームに関する情報を送信するメタデータ配信装置を備え、前記メタデータ配信装置は、前記映像ストリームに含まれる被写体の情報、及び、この被写体の情報に対応する映像ストリームの場所の情報を含むメタデータを送信し、前記映像中継装置は、前記メタデータ配信装置から送信されたメタデータ、及び、前記映像ストリームに含まれる被写体の情報を含み、前記映像受信装置から送信された映像送信要求を受信し、前記受信したメタデータを参照して、前記受信した映像送信要求に合致する映像ストリームが配信されているか否かを判定し、前記受信した映像送信要求に合致する映像ストリームが配信されている場合には、現在転送中の第１の映像ストリームを前記区切情報によって特定される映像まで転送し、前記切換先の第２の映像ストリームを前記区切情報によって特定される映像から転送することを特徴とする（１）に記載の映像配信システム。

（３）前記映像中継装置は、前記第２の映像ストリームのデータを前記バッファに格納し、前記第２の映像ストリームの区切情報を受信した場合に、前記バッファに格納された第２の映像ストリームのデータを消去することを特徴とする（２）に記載の映像配信システム。

（４）前記映像ストリームは、少なくとも、フレーム間の予測を使わずに単独で再生可能な第１のフレーム、及び、他のフレームからの順方向の予測のみによって再生可能な第２のフレームを含み、前記映像中継装置は、前記第１のフレームの直前又は前記第２のフレームの直前まで前記第１の映像ストリームを転送し、前記第１のフレームから前記第２の映像ストリームを転送することを特徴とする（２）記載の映像配信システム。

（５）前記被写体の情報に対応する映像ストリームの場所の情報は、前記被写体が写り始める映像のＲＴＰシーケンス番号を含むことを特徴とする（２）に記載の映像配信システム。

（６）前記映像配信装置は、ＲＴＰパケットによって前記映像ストリームを送信し、前記区切情報は、前記ＲＴＰパケットのヘッダ部に含まれることを特徴とする（１）に記載の映像配信システム。

（７）前記映像配信装置は、フレーム間の予測を使わずに単独で生成可能なフレームが、配信すべき映像ストリーム中に検出された場所に、前記区切情報を付加することを特徴とする（１）に記載の映像配信システム。

（８）映像配信装置から送信された映像ストリームをバッファに蓄積し、選択された前記映像ストリームを映像受信端末に転送する映像中継装置であって、前記映像配信装置は、前記映像ストリームの再生可能な単位を示す区切情報を付加して前記映像ストリームを送信し、前記映像中継装置は、前記映像ストリームに含まれる被写体の情報、及び、この被写体の情報に対応する映像ストリームの場所の情報を含むメタデータを送信するメタデータ配信装置に接続され、前記メタデータ配信装置から送信されたメタデータ、及び、前記映像ストリームに含まれる被写体の情報を含み、前記映像受信装置から送信された映像送信要求を受信し、前記受信したメタデータを参照して、前記受信した映像送信要求に合致する映像ストリームが配信されているか否かを判定し、前記受信した映像送信要求に合致する映像ストリームが配信されている場合には、現在転送中の第１の映像ストリームを前記区切情報によって特定される映像まで転送し、前記切換先の第２の映像ストリームを前記区切情報によって特定される映像から転送することを特徴とする映像中継装置。

（９）前記第２の映像ストリームのデータを前記バッファに格納し、前記第２の映像ストリームの区切情報を受信した場合に、前記バッファに格納された第２の映像ストリームのデータを消去することを特徴とする（８）に記載の映像中継装置。

（１０）前記映像ストリームは、少なくとも、フレーム間の予測を使わずに単独で再生可能な第１のフレーム、及び、他のフレームからの順方向の予測のみによって再生可能な第２のフレームを含み、前記映像中継装置は、前記第１のフレームの直前又は前記第２のフレームの直前まで前記第１の映像ストリームを転送し、前記第１のフレームから前記第２の映像ストリームを転送することを特徴とする（８）に記載の映像中継装置。

（１１）前記被写体の情報に対応する映像ストリームの場所の情報は、前記被写体が写り始める映像のＲＴＰシーケンス番号を含むことを特徴とする（８）に記載の映像中継装置。

（１２）前記映像配信装置からＲＴＰパケットによって送信された前記映像ストリームを受信し、前記ＲＴＰパケットのヘッダ部から前記区切情報を抽出することを特徴とする（８）に記載の映像中継装置。

（１３）映像ストリームを送信する映像配信装置と、前記映像配信装置から送信された映像ストリームをバッファに蓄積し、選択された前記映像ストリームを映像受信端末に転送する映像中継装置と、前記映像配信装置から送信された映像ストリームに関する情報を送信するメタデータ配信装置と、を備える映像配信システムにおける映像中継方法であって、前記映像配信装置は、前記映像ストリームの再生可能な単位を示す区切情報を付加して前記映像ストリームを送信し、前記メタデータ配信装置は、前記映像ストリームに含まれる被写体の情報、及び、この被写体の情報に対応する映像ストリームの場所の情報を含むメタデータを送信し、前記映像中継装置は、前記メタデータ配信装置から送信されたメタデータ、及び、前記映像ストリームに含まれる被写体の情報を含み、前記映像受信装置から送信された映像送信要求を受信し、前記受信したメタデータを参照して、前記受信した映像送信要求に合致する映像ストリームが配信されているか否かを判定し、前記受信した映像送信要求に合致する映像ストリームが配信されている場合には、現在転送中の第１の映像ストリームを前記区切情報によって特定される映像まで転送し、前記切換先の第２の映像ストリームを前記区切情報によって特定される映像から転送することを特徴とする映像中継方法。

（１４）前記映像中継装置は、前記第２の映像ストリームのデータを前記バッファに格納し、前記第２の映像ストリームの区切情報を受信した場合に、前記バッファに格納された第２の映像ストリームのデータを消去することを特徴とする（１３）に記載の映像中継方法。

（１５）前記映像ストリームは、少なくとも、フレーム間の予測を使わずに単独で再生可能な第１のフレーム、及び、他のフレームからの順方向の予測のみによって再生可能な第２のフレームを含み、前記映像中継装置は、前記第１のフレームの直前又は前記第２のフレームの直前まで前記第１の映像ストリームを転送し、前記第１のフレームから前記第２の映像ストリームを転送することを特徴とする（１３）に記載の映像中継方法。

（１６）前記被写体の情報に対応する映像ストリームの場所の情報は、前記被写体が写り始める映像のＲＴＰシーケンス番号を含むことを特徴とする（１３）に記載の映像中継方法。

（１７）前記映像配信装置は、ＲＴＰパケットによって前記映像ストリームを送信し、前記映像中継装置は、前記ＲＴＰパケットのヘッダ部から前記区切情報を抽出することを特徴とする（１３）に記載の映像中継方法。

本発明の第１の実施の形態の映像配信システムの構成を示すシステム構成図である。 本発明の第１の実施の形態の映像配信システムの映像ストリームデータ送受信処理のシーケンス図である。 本発明の第１の実施の形態のメタデータ配信装置の構成を示すブロック図である。 本発明の第１の実施の形態のメタデータ配信処理のフローチャートである。 メタデータ配信装置から映像中継装置に送信するメタデータの伝送パケットの構成を示す説明図である。 本発明の第１の実施の形態の映像配信装置の構成を示すブロック図である。 本発明の第１の実施の形態の映像配信処理のフローチャートである。 本発明の第１の実施の形態のＲＴＰヘッダの構成を示す説明図である。 本発明の第１の実施の形態のＲＴＰヘッダにおけるＰビット及びＭビットとＧＯＰ及び映像フレームデータの先頭との関係を示す説明図である。 本発明の第１の実施の形態のＲＴＰパケットの拡張ヘッダの構成を示す説明図である。 本発明の第１の実施の形態のＭＰＥＧ２−ＴＳパケットがＲＴＰパケット化、ＵＤＰパケット化、及びＩＰパケット化されたパケットの構成を示す説明図である。 本発明の第１の実施の形態の映像中継装置の構成を示すブロック図である。 本発明の第１の実施の形態の映像中継処理のフローチャートである。 本発明の第１の実施の形態の映像受信装置の構成を示すブロック図である。 本発明の第１の実施の形態の映像受信処理のフローチャートである。 本発明の第１の実施の形態の映像受信装置の表示部に表示される表示画面の説明図である。 本発明の第２の実施の形態の映像配信システムの構成を示すシステム構成図である。 本発明の第２の実施の形態の映像配信システムの映像ストリームデータ送受信処理シーケンス図である。 本発明の第２の実施の形態の映像中継処理のフローチャートである。 伝送中の映像フレームの伝送順序と再生中の映像フレームの再生順序との関係を示す説明図である。 本発明の第１の実施の形態のＧＯＰ映像データの再生順序を示す説明図である。 本発明の第２の実施の形態の映像受信装置の表示部に表示される表示画面の説明図である。 本発明の第３の実施の形態の映像配信システムの構成を示すシステム構成図である。 本発明の第３の実施の形態の映像受信処理のフローチャートである。 本発明の第４の実施の形態の映像配信システムの構成を示すシステム構成図である。 本発明の第５の実施の形態の映像配信システムの構成を示すシステム構成図である。 本発明の第６の実施の形態の映像配信装置の構成を示すブロック図である。 本発明の第６の実施形態の映像配信処理のフローチャートである。 本発明の第７の実施の形態の映像配信システムの映像ストリームデータ送受信処理シーケンス図である。 本発明の第７の実施の形態の映像中継処理のフローチャートである。 本発明の第７の実施の形態の映像受信処理のフローチャートである。 本発明の第８の実施の形態の映像配信システムの構成を示すシステム構成図である。

符号の説明

１、８ 映像配信装置
２ メタデータ配信装置
３ 映像中継装置
４ 映像受信装置
５、６、７ ネットワーク
１１ ビデオカメラ
１２ エンコーダ
１３、２３、３３、４３、８３ ＣＰＵ
１４、２４、３４、４４、８４ メインメモリ
１５、２５、３５、４５、８５ プログラム蓄積部
１６、２６、３６、４６、８６ 送信部
１９、２９、３９、４９、８９ バス
２１、４１ 入力インタフェース
３２、４２ 受信部
４８ 表示部
８８ ストレージ

Claims (20)

1. 映像ストリームを送信する映像配信装置と、
   前記送信された複数の映像ストリームを受信し、前記受信した映像ストリームの少なくとも一つを映像受信装置に転送する映像中継装置と、を備える映像配信システムであって、
   前記映像配信装置は、
   前記映像ストリームに含まれる独立して復号化が可能な単位のデータが、時刻において対応するものであるか否かを識別する第１の識別子を前記映像ストリームに付加し、
   前記第１の識別子が付加された映像ストリームを送信し、
   前記映像中継装置は、
   前記映像ストリームを前記独立して復号化が可能な単位で切り換える場合に、
   前記受信した映像ストリームに付加された第１の識別子に基づいて、切換後に転送される映像ストリームの前記復号化可能な単位のデータを特定し、
   前記切換後に転送される映像ストリームを、前記特定された復号化可能な単位のデータから転送することを特徴とする映像配信システム。
2. 前記映像中継装置は、
   前記受信した映像ストリームのうち、少なくとも前記独立して復号化が可能な１単位分の映像ストリームをバッファに格納し、
   前記受信した映像ストリームの内容を示すメタデータを受信し、
   前記映像受信装置から前記映像ストリームの要求情報を受信し、
   前記受信したメタデータ及び要求情報に基づいて、配信する映像ストリームを選択することを特徴とする請求項１に記載の映像配信システム。
3. 前記映像中継装置は、前記選択された映像ストリームを前記映像受信装置に転送する場合、選択されなかった映像ストリームであって、前記転送された復号化可能な単位のデータと同じ時刻を識別する第１の識別子が付加された復号化可能な単位のデータを、独立して復号化が可能な単位でバッファから削除することを特徴とする請求項２に記載の映像配信システム。
4. 前記映像中継装置は、選択されなかった映像ストリームを前記映像受信装置に転送することを特徴とする請求項２に記載の映像配信システム。
5. 前記独立して復号化が可能な映像ストリームの単位は、ＧＯＰデータであることを特徴とする請求項１に記載の映像配信システム。
6. 前記映像配信装置は、前記第１の識別子を、独立して復号化が可能な単位に区切られた映像ストリームのＲＴＰパケットのヘッダに付加することを特徴とする請求項１に記載の映像配信システム。
7. 前記映像配信システムは、前記映像中継装置と前記映像受信装置とを一つの筐体に備わることを特徴とする請求項１に記載の映像配信システム。
8. 前記映像配信装置は、
   映像ストリームを格納し、
   前記格納された映像ストリームを読み出し、
   前記映像ストリームに含まれる独立して復号化が可能な単位のデータが、時刻において対応するものであるか否かを識別する第１の識別子を前記読み出された映像ストリームに付加し、
   前記第１の識別子が付加された映像ストリームを送信することを特徴とする請求項１に記載の映像配信システム。
9. 前記映像中継装置は、
   前記映像受信装置に配信する複数の映像ストリームを作成し、
   前記作成された複数の映像ストリームから一つの映像ストリームを選択する第２の識別子を前記映像受信装置に通知し、
   前記映像受信装置によって選択された第２の識別子によって特定される映像ストリームを選択することを特徴とする請求項１に記載の映像配信システム。
10. 前記映像受信装置は、
    前記映像ストリームを選択するための第２の識別子を前記映像中継装置から受信し、
    前記受信した第２の識別子から選択した第２の識別子を前記映像中継装置に送信し、
    前記映像中継装置によって選択された映像ストリームを受信し、
    前記受信した映像ストリームを再生することを特徴とする請求項９に記載の映像配信システム。
11. 前記送信された複数の映像ストリームを受信し、前記受信した映像ストリームの少なくとも一つを映像受信装置に転送する映像中継装置であって、
    前記映像配信装置は、
    前記映像ストリームに含まれる独立して復号化が可能な単位のデータが、時刻において対応するものであるか否かを識別する第１の識別子を前記映像ストリームに付加し、
    前記第１の識別子が付加された映像ストリームを送信し、
    前記映像中継装置は、
    前記映像ストリームを前記独立して復号化が可能な単位で切り換える場合に、
    前記受信した映像ストリームに付加された第１の識別子に基づいて、切換後に転送される映像ストリームの前記復号化可能な単位のデータを特定し、
    前記切換後に転送される映像ストリームを、前記特定された復号化可能な単位のデータから転送することを特徴とする映像中継装置。
12. 前記映像中継装置は、
    前記受信した映像ストリームのうち、少なくとも前記独立して復号化が可能な１単位分の映像ストリームをバッファに格納し、
    前記受信した映像ストリームの内容を示すメタデータを受信し、
    前記映像受信装置から前記映像ストリームの要求情報を受信し、
    前記受信したメタデータ及び要求情報に基づいて、配信する映像ストリームを選択することを特徴とする請求項１１に記載の映像中継装置。
13. 前記映像中継装置は、前記選択された映像ストリームを前記映像受信装置に転送する場合、選択されなかった映像ストリームであって、前記転送された復号化可能な単位のデータと同じ時刻を識別する第１の識別子が付加された復号化可能な単位のデータを、独立して復号化が可能な単位でバッファから削除することを特徴とする請求項１２に記載の映像中継装置。
14. 前記映像中継装置は、選択されなかった映像ストリームを前記映像受信装置に転送することを特徴とする請求項１２に記載の映像中継装置。
15. 前記映像中継装置は、
    前記映像受信装置に配信する複数の映像ストリームを作成し、
    前記作成された複数の映像ストリームから一つの映像ストリームを選択する第２の識別子を前記映像受信装置に通知し、
    前記映像受信装置によって選択された第２の識別子によって特定される映像ストリームを選択することを特徴とする請求項１１に記載の映像中継装置。
16. 映像ストリームを送信する映像配信装置と、
    前記送信された複数の映像ストリームを受信し、前記受信した映像ストリームの少なくとも一つを映像受信装置に転送する映像中継装置と、を備える映像配信システムにおける映像中継方法であって、
    前記映像中継方法は、
    前記映像ストリームに含まれる独立して復号化が可能な単位のデータが、時刻において対応するものであるか否かを識別する第１の識別子を前記映像ストリームに付加し、
    前記第１の識別子が付加された映像ストリームを送信し、
    前記映像ストリームを前記独立して復号化が可能な単位で切り換える場合に、
    前記受信した映像ストリームに付加された第１の識別子に基づいて、切換後に転送される映像ストリームの前記復号化可能な単位のデータを特定し、
    前記切換後に転送される映像ストリームを、前記特定された復号化可能な単位のデータから転送することを特徴とする映像中継方法。
17. 前記映像中継方法は、
    前記受信した映像ストリームのうち、少なくとも前記独立して復号化が可能な１単位分の映像ストリームをバッファに格納し、
    前記受信した映像ストリームの内容を示すメタデータを受信し、
    前記映像受信装置から前記映像ストリームの要求情報を受信し、
    前記受信したメタデータ及び要求情報に基づいて、配信する映像ストリームを選択することを特徴とする請求項１６に記載の映像中継方法。
18. 前記映像中継装置は、前記選択された映像ストリームを前記映像受信装置に転送する場合、選択されなかった映像ストリームであって、前記転送された復号化可能な単位のデータと同じ時刻を識別する第１の識別子が付加された復号化可能な単位のデータを、独立して復号化が可能な単位でバッファから削除することを特徴とする請求項１７に記載の映像中継方法。
19. 前記映像中継装置は、選択されなかった映像ストリームを前記映像受信装置に転送することを特徴とする請求項１７に記載の映像中継方法。
20. 前記映像中継方法は、
    前記映像受信装置に配信する複数の映像ストリームを作成し、
    前記作成された複数の映像ストリームから一つの映像ストリームを選択する第２の識別子を前記映像受信装置に通知し、
    前記映像受信装置によって選択された第２の識別子によって特定される映像ストリームを選択することを特徴とする請求項１６に記載の映像中継方法。

Images