JP5018515B2 - 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラムに関し、特に、複数のビデオストリームを用いた映像の表示の仕方を提供側が主体的に制御することができるようにした情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラムに関する。

放送、ネットワーク、あるいはストレージからの複数のストリームをマルチデコードし、マルチデコードによって得られた複数の映像を１つのディスプレイに表示させるマルチ画面表示に関する技術が実現、または提案されている。

例えば、いわゆるPinP(Picture in Picture)の形で複数の映像が表示されることにより、ユーザは、サブ画面に小さく表示される他のチャンネルの番組の映像を見ながら、メイン画面に大きく表示されるあるチャンネルの番組の映像を見ることができる。

また、ディスプレイの右半分と左半分に異なるチャンネルの番組の映像が並べて表示されることにより、ユーザは、２つのチャンネルの番組の映像を同時に見ることができる。

特許文献１には、通常表示の状態においてマルチ画面の表示が指示された場合、マルチ画面への表示の切り替えを迅速に行うことができるようにした技術が開示されている。
特開２０００−１３７１２号公報

従来のマルチ画面表示に用いられるストリームは異なる番組のものであるのが一般的である。例えば、上述したPinPの形でのマルチ画面表示の場合、メイン画面に表示される映像の元になるストリームと、サブ画面に表示される映像の元になるストリームは異なる番組のものであることが多い。

すなわち、メイン画面とサブ画面にそれぞれ同じ番組の異なる角度から見た映像を表示させるといったような、複数のストリームを互いに連携して映像を表示させることを提供側が指定し、これにより、ユーザに１つの番組を提供するといったような機能はない。

また、従来のPinPの形でのマルチ画面表示にしても、左半分と右半分に並べて映像を表示させるようなマルチ画面表示にしても、その表示の仕方は表示装置側の実装に依存しており、提供側が指定するものではない。

今後、フルHD(High Definition)以上の解像度を有するディスプレイが普及してくると、１つのディスプレイに複数の映像を表示させることによって１つの番組を提供するような放送、あるいはメディアの作成がなされることが考えられる。また、この際、映像の表示の仕方に関して、番組の提供側が主体的に制御を行えるようにしたいといった需要が出てくるものと考えられる。

本発明はこのような状況に鑑みてなされたものであり、複数のビデオストリームを用いた映像の表示の仕方を提供側が主体的に制御することができるようにするものである。

本発明の第１の側面の情報処理装置は、映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化する多重化手段と、前記多重化手段による多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する付加手段と、前記付加手段により前記コンポーズ情報が付加された前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する提供手段とを備える。

それぞれのウインドウのサイズは可変であるようにすることができる。

前記付加手段には、映像の表示に用いるスクリーンの数を指定する情報をさらに含むとともに、それぞれのスクリーンについての前記第１乃至第４の情報を含む前記コンポーズ情報を前記多重化ストリームに付加させることができる。

前記付加手段には、それぞれのウインドウを形成するタイミングを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加させることができる。

前記多重化手段には、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームの映像のうちの同時に表示する映像に対して、表示タイミングを指示する表示用タイムスタンプを設定させることができる。

前記付加手段には、前記第１の情報により指定される前記スクリーンのサイズを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加させることができる。

本発明の第１の側面の情報処理方法またはプログラムは、映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化し、多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加し、前記コンポーズ情報を付加した前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供するステップを含む。

本発明の他の側面の表示制御装置は、映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる表示制御装置において、前記多重化ストリームからそれぞれの前記ビデオストリームを分離する分離手段と、前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成する解析手段と、前記ビデオストリームをデコードするデコード手段と、前記デコード手段によりデコードされることによって得られた映像を、それぞれのウインドウに表示させる表示制御手段とを備える。

対象とするスクリーンのサイズを指定する情報が前記コンポーズ情報にさらに含まれており、その情報により指定されるサイズと、設けられているスクリーンのサイズが異なる場合、前記表示制御手段には、前記デコード手段によりデコードされることによって得られた映像のサイズを変更させることができる。

本発明の他の側面の表示制御方法またはプログラムは、多重化ストリームからそれぞれのビデオストリームを分離し、前記多重化ストリームに付加されるコンポーズ情報を解析することによって、第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれるサイズの情報に基づいてウインドウのサイズを検出し、第１の情報により指定されるスクリーンの第４の情報により指定される位置に、検出したサイズのウインドウを形成し、前記ビデオストリームをデコードし、デコードすることによって得られた映像を、それぞれのウインドウに表示させるステップを含む。

本発明の第１の側面においては、映像の縦方向、横方向のサイズの情報を含むビデオストリームが多重化され、多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報が付加される。また、前記コンポーズ情報が付加された前記多重化ストリームが、前記スクリーンに対する映像の表示を制御する表示制御装置に提供される。

本発明の第２の側面においては、多重化ストリームからそれぞれのビデオストリームが分離され、前記多重化ストリームに付加されるコンポーズ情報が解析されることによって、第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームが第３の情報に基づいて検出され、検出された前記ビデオストリームに含まれるサイズの情報に基づいてウインドウのサイズが検出され、第１の情報により指定されるスクリーンの第４の情報により指定される位置に、検出されたサイズのウインドウが形成される。また、前記ビデオストリームがデコードされ、デコードされることによって得られた映像が、それぞれのウインドウに表示される。

本発明によれば、複数のビデオストリームを用いた映像の表示の仕方を提供側が主体的に制御することができる。

図１は、本発明の一実施形態に係る番組の提供システムの構成例を示す図である。

図１に示されるように、この提供システムは送信装置１と受信装置２から構成される。受信装置２には、ケーブルなどを介してスクリーン３が接続される。

送信装置１は、放送局などの、番組の提供側に設置される装置である。

送信装置１は、１台のカメラで撮影された１つの番組の映像をフレーム毎に所定の数の領域に分割して、分割したそれぞれの領域の映像を別のストリームとしてエンコードしたり、複数のカメラで撮影された１つの番組の映像をそれぞれ別のストリームとしてエンコードしたりして、１つの番組の映像を表示するのに用いられる複数のビデオストリーム（PES(Packetized Elementary Stream)）を生成する。

また、送信装置１は、生成した複数のビデオストリームを多重化することによって１つの番組の映像を表示するのに用いられる多重化ストリーム（TS(Transport Stream)）を生成する。

送信装置１は、生成した多重化ストリームに対して四次元コンポーズマップ情報を付加し、四次元コンポーズマップ情報を付加した多重化ストリームからなる番組を受信装置２に提供する。番組の提供は、放送波を介して、ネットワークを介して、あるいは、DVD(Digital Versatile Disc)やBlu-ray（商標） Discなどの記録メディアを介して行われる。

四次元コンポーズマップ情報は、１つのプログラムとして、ある時間帯を共有させる複数のストリームの表示関係を表し、多重化ストリームを構成するそれぞれのビデオストリームをどのように連携させて映像を表示させるのかを送信装置１が受信装置２に対して指定する情報である。以下、適宜、四次元コンポーズマップ情報を単にコンポーズ情報という。

コンポーズ情報には、スクリーン３の各位置に映像を表示させるのにどのビデオストリームを用いるのかを指定する情報などが含まれる。後述するように受信装置２側に複数のスクリーンが設けられる場合、コンポーズ情報には、それぞれのスクリーンに関する情報が含まれる。

受信装置２は、家庭内などの、番組の受信側に設置される装置である。

受信装置２は、送信装置１から提供された番組を受信し、多重化ストリームを構成するそれぞれのビデオストリームをデコードする。また、受信装置２は、それぞれのビデオストリームをデコードすることによって得られた映像を、コンポーズ情報に含まれる情報に従ってスクリーン３に表示させる。コンポーズ情報に含まれる情報に従ってスクリーン３に表示される映像は１つの番組を構成する映像であり、ユーザは、これにより１つの番組を視聴することができる。

図２は、コンポーズ情報の概念を示す図である。

図２に示されるように、コンポーズ情報は、参照する時間順に並べられた所定の数のコンポーズマップによって構成される。どのスクリーンに映像を表示させるのか、それぞれのスクリーンのどの位置に映像を表示させるのかなどが、それぞれのコンポーズマップによって表される。

図２のコンポーズマップｆ₀はあるタイミングで参照される情報であり、コンポーズマップｆ₁はコンポーズマップｆ₀が参照されるタイミングの次のタイミングで参照される情報である。コンポーズマップｆ₂はコンポーズマップｆ₁が参照されるタイミングの次のタイミングで参照される情報である。図２に示されるようにコンポーズマップｆ₀乃至ｆ₂から１つのコンポーズマップグループが形成される場合、コンポーズマップｆ₂が参照されて映像の表示が行われた後は、コンポーズマップｆ₀から順に繰り返し参照され、映像の表示が続けられる。コンポーズマップグループはパラメータTmで表される。

縦方向、横方向に３本ずつ示される点線Ｌ₁はスクリーンの区切りを表し、点線Ｌ₁によって区切られるそれぞれの領域によって、それぞれのスクリーンに対する映像の表示の仕方が表される。受信装置２側に用意されるスクリーンの数が図１に示されるように１台である場合、点線Ｌ₁によって区切られる１６の領域のうちの左上端の１つの領域だけが用いられる。また、受信装置２側に用意されるスクリーンの数が１６である場合、コンポーズマップｆ₀の全体の領域が用いられる。スクリーンはパラメータSnで表される。

点線Ｌ₁が重なっている分を含めて縦方向、横方向に７本ずつ示される実線Ｌ₂は１つのスクリーンの分割の仕方を表す。以下、適宜、１つのスクリーン上に形成され、映像が表示される領域をウインドウという。スクリーンは機器として物理的に設けられる映像の表示領域であるのに対して、ウインドウは１つのスクリーンに形成される映像の表示領域である。１つのウインドウには、１つのビデオストリームをデコードして得られた１つの映像が表示される。それぞれのウインドウのサイズは可変である。

図２は、それぞれのスクリーンを縦方向と横方向にそれぞれ２分割することによって４つのウインドウを形成する場合のコンポーズ情報の例を示していることになる。

それぞれのウインドウのスクリーン上の位置は、スクリーンの左上端などの所定の位置を基準として、水平方向の位置を表すパラメータHpと、垂直方向の位置を表すパラメータVqによって表される。

パラメータSn，Tm，Hp，Vqを用いることによって、それぞれのウインドウはWindow_ID（Sn，Tm，Hp，Vq）によって識別される。

例えば、図２の左上端の領域Ａ₀₁に対応するウインドウは、１番目のスクリーンであるスクリーンS0に形成されるウインドウであることを表すS0、同じコンポーズマップグループを形成するコンポーズマップのうち、１番目のコンポーズマップが参照されて映像の表示が行われるウインドウであることを表すT0、スクリーンS0を４つに分割したときに左側に形成されるウインドウであることを表すH0、スクリーンS0を４つに分割したときに上側に形成されるウインドウであることを表すV0のパラメータを用いて、Window_ID（S0，T0，H0，V0）により識別される。

また、領域Ａ₀₄に対応するウインドウは、１番目のスクリーンであるスクリーンS0に形成されるウインドウであることを表すS0、同じコンポーズマップグループを形成するコンポーズマップのうち、１番目のコンポーズマップが参照されて映像の表示が行われるウインドウであることを表すT0、スクリーンS0を４つに分割したときに右側に形成されるウインドウであることを表すH1、スクリーンS0を４つに分割したときに下側に形成されるウインドウであることを表すV1のパラメータを用いて、Window_ID（S0，T0，H1，V1）により識別される。

同様に、領域Ａ₀₂に対応するウインドウはWindow_ID（S0，T0，H1，V0）により識別され、領域Ａ₀₃に対応するウインドウはWindow_ID（S0，T0，H0，V1）により識別される。

コンポーズ情報には、このようにして識別されるウインドウに対して、どのビデオストリームをデコードして得られた映像を表示させるのかを表す、ビデオストリームのPIDなどが含まれる。また、図２の一点鎖線Ｌ₃で示されるようなスクリーンのサイズ（送信装置１側がターゲットとするスクリーンの解像度）を指定する情報なども含まれる。

コンポーズ情報の具体的な記述の例については後述する。

図３は、コンポーズ情報に基づいてスクリーン３に表示される画面の例を示す図である。

図３は、１台のカメラで撮影した１つの番組の映像をフレーム毎に４つの領域に分割し、分割したそれぞれの領域の映像を別のストリームとしてエンコードすることによって得られた４つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。

この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の左上、右上、左下、右下にそれぞれウインドウＷ₀，Ｗ₁，Ｗ₂，Ｗ₃が受信装置２により形成される。

図２を参照して説明したものと同様に、コンポーズ情報においては、ウインドウＷ₀はWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ₁はWindow_ID（S0，T0，H1，V0）で識別される。ウインドウＷ₂はWindow_ID（S0，T0，H0，V1）で識別され、ウインドウＷ₃はWindow_ID（S0，T0，H1，V1）で識別される。

ウインドウＷ₀のWindow_IDに含まれるパラメータVqはV0であり、ウインドウＷ₀の他に、同じV0をパラメータVqに含むWindow_IDとしてウインドウＷ₁のWindow_IDがあるから、受信装置２においては、スクリーン３の上の段には２つのウインドウを形成すればよいということが検出される。

また、ウインドウＷ₀とウインドウＷ₁の並び順については、それぞれのWindow_IDに含まれるパラメータHpの値に基づいて、左から、ウインドウＷ₀、ウインドウＷ₁の順に並べればよいということが検出される。

ウインドウＷ₂のWindow_IDに含まれるパラメータVqはV1であり、ウインドウＷ₂の他に、同じV1をパラメータVqに含むWindow_IDとしてウインドウＷ₃のWindow_IDがあるから、受信装置２においては、スクリーン３の下の段には２つのウインドウを形成すればよいということが検出される。

また、ウインドウＷ₂とウインドウＷ₃の並び順については、それぞれのWindow_IDに含まれるパラメータHpの値に基づいて、左から、ウインドウＷ₂、ウインドウＷ₃の順に並べればよいということが検出される。

映像の縦方向、横方向のサイズの情報はビデオストリーム中に含まれているから、以上のようにして検出された位置に、それぞれの映像のサイズと同じサイズの領域を確保することによって、ウインドウＷ₀乃至Ｗ₃が形成される。それぞれのウインドウと、それぞれのウインドウに映像を表示させるのに用いるビデオストリームの対応関係もコンポーズ情報により表される。

このように、受信装置２においては、それぞれのウインドウのサイズ（ウインドウに表示させる映像のサイズ）と、それぞれのウインドウの位置に基づいて、送信装置１による指定に従ってウインドウが形成される。

また、コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、ウインドウＷ₀には、所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-0が表示される。ウインドウＷ₁乃至Ｗ₃についても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-1乃至Q-3が表示される。

映像Q-0乃至Q-3がそれぞれ同期を取りながら表示されることにより、スクリーン３には、１台のカメラで撮影された元の１つの番組の映像が表示されることになる。

このように、コンポーズ情報を利用することにより、送信装置１は、１つの大きな映像を１つのビデオストリームで提供するのではなく、４つのビデオストリームで分割して提供することによっても、元の１つの大きな映像を受信装置２側のスクリーン３に表示させることが可能になる。

図４は、コンポーズ情報に基づいてスクリーン３に表示される画面の他の例を示す図である。

図４は、撮影位置の異なる４台のカメラで撮影した１つの番組であるサッカー中継の映像をそれぞれ別のストリームとしてエンコードすることによって得られた４つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。

この場合、図３を参照して説明した場合と同様に、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の左上、右上、左下、右下にそれぞれウインドウＷ₀，Ｗ₁，Ｗ₂，Ｗ₃が受信装置２により形成される。

コンポーズ情報において、図４のウインドウＷ₀もWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ₁はWindow_ID（S0，T0，H1，V0）で識別される。ウインドウＷ₂はWindow_ID（S0，T0，H0，V1）で識別され、ウインドウＷ₃はWindow_ID（S0，T0，H1，V1）で識別される。コンポーズ情報に含まれるWindow_IDを構成する各パラメータから、受信装置２においては、スクリーン３を縦方向、横方向にそれぞれ２分割して４つのウインドウを形成すればよいということが検出される。

また、コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、ウインドウＷ₀には、所定のPIDで識別されるビデオストリームをデコードして得られた、ある角度からのサッカー中継の映像である映像Q-0が表示される。ウインドウＷ₁乃至Ｗ₃についても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた、それぞれ異なる角度からのサッカー中継の映像である映像Q-1乃至Q-3が表示される。

映像Q-0乃至Q-3がそれぞれ同期を取りながら表示されることにより、スクリーン３には、４台のカメラで撮影された元の１つの番組の映像が表示されることになる。

このように、コンポーズ情報を利用することにより、送信装置１は、複数のカメラで撮影した１つの番組の複数の映像を、受信装置２側のスクリーン３の所定の位置にそれぞれ表示させることが可能になる。

図５は、コンポーズ情報に基づいてスクリーン３に表示される画面のさらに他の例を示す図である。

図５は、６台のカメラで撮影した１つの番組の映像をそれぞれ別のストリームとしてエンコードすることによって得られた６つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。

この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の最上段に、スクリーンの水平方向の幅とほぼ同じ幅のウインドウＷ₀が形成され、スクリーン３の上から２段目に、スクリーン３の水平方向の幅を４等分した幅のウインドウＷ₁乃至Ｗ₄が形成される。スクリーン３の最下段には、スクリーン３の水平方向の幅とほぼ同じ幅のウインドウＷ₅が形成される。

コンポーズ情報においては、ウインドウＷ₀はWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ₁はWindow_ID（S0，T0，H0，V1）で識別され、ウインドウＷ₂はWindow_ID（S0，T0，H1，V1）で識別される。ウインドウＷ₃はWindow_ID（S0，T0，H2，V1）で識別され、ウインドウＷ₄はWindow_ID（S0，T0，H3，V1）で識別され、ウインドウＷ₅はWindow_ID（S0，T0，H0，V2）で識別される。

ウインドウＷ₀のWindow_IDに含まれるパラメータVqはV0であり、同じV0をパラメータVqに含むWindow_IDは他にないから、受信装置２においては、スクリーン３の最上段には１つのウインドウを形成すればよいということが検出される。

ウインドウＷ₁のWindow_IDに含まれるパラメータVqはV1であり、ウインドウＷ₁の他に、同じV1をパラメータVqに含むWindow_IDとしてウインドウＷ₂のWindow_ID、ウインドウＷ₃のWindow_ID、ウインドウＷ₄のWindow_IDがあるから、受信装置２においては、スクリーン３の上から２段目には４つのウインドウを形成すればよいということが検出される。

また、ウインドウＷ₁乃至Ｗ₄の並び順については、それぞれのWindow_IDに含まれるパラメータHpの値に基づいて、左から、ウインドウＷ₁、ウインドウＷ₂、ウインドウＷ₃、ウインドウＷ₄の順に並べればよいということが検出される。

ウインドウＷ₅のWindow_IDに含まれるパラメータVqはV2であり、同じV2をパラメータVqに含むWindow_IDは他にないから、受信装置２においては、スクリーン３の最下段には１つのウインドウを形成すればよいということが検出される。

以上のようにして検出されたウインドウＷ₀乃至Ｗ₅の位置と、６つのビデオストリームにそれぞれ含まれる映像のサイズの情報から、受信装置２においては、図５に示されるようにしてそれぞれのウインドウを形成すればよいということが検出される。

また、コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、ウインドウＷ₀には、所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-0が表示される。ウインドウＷ₁乃至Ｗ₅についても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-1乃至Q-5が表示される。

映像Q-0乃至Q-5がそれぞれ同期を取りながら表示されることにより、スクリーン３には、例えば、複数のカメラで撮影された元の１つの番組のパノラマ映像が表示されることになる。

このように、コンポーズ情報を利用することにより、送信装置１は、複数のビデオカメラで撮影したパノラマ映像を６つのビデオストリームで分割して提供することによって、元の１つのパノラマ映像を受信装置２側のスクリーン３に表示させることが可能になる。

図６は、コンポーズ情報に基づいてスクリーン３に表示される画面の例を示す図である。

図６は、ある被写体を、撮影位置をずらして２台のカメラで左右から撮影した１つの番組の映像をそれぞれ別のストリームとしてエンコードすることによって得られた２つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。

この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の全体に、ウインドウＷ₀とウインドウＷ₁が時間をずらして交互に受信装置２により形成される。図６において、ウインドウＷ₁が点線で示されていることは、ウインドウＷ₀と異なるタイミングで形成されることを表す。

コンポーズ情報においては、ウインドウＷ₀はWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ₁はWindow_ID（S0，T1，H0，V0）で識別される。

ウインドウＷ₀のWindow_IDに含まれるパラメータTmはT0であり、ウインドウＷ₁のWindow_IDに含まれるパラメータTmはT1であるから、受信装置２においては、ウインドウＷ₀とウインドウＷ₁を異なるタイミングで形成すればよいということが検出される。

また、コンポーズ情報に含まれるコンポーズマップグループの情報に基づいて、ウインドウＷ₀、ウインドウＷ₁、ウインドウＷ₀、ウインドウＷ₁、・・・といったように、ウインドウＷ₀とウインドウＷ₁を交互に形成すればよいということが検出される。

T0のタイミングで形成しなければならないウインドウはウインドウＷ₀の他にないことと、ビデオストリームに含まれる、ウインドウＷ₀に表示させる映像のサイズの情報から、受信装置２においては、ウインドウＷ₀をスクリーン３の全体に形成すればよいということが検出される。

同様に、T1のタイミングで形成しなければならないウインドウはウインドウＷ₁の他にないことと、ビデオストリームに含まれる、ウインドウＷ₁に表示させる映像のサイズの情報から、受信装置２においては、ウインドウＷ₁をスクリーン３の全体に形成すればよいということが検出される。

コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、あるタイミングで形成されるウインドウＷ₀には、所定のPIDで識別されるビデオストリームをデコードして得られた、例えば被写体を左から撮影した映像である映像P-0が表示される。

また、ウインドウＷ₀の次のタイミングで形成されるウインドウＷ₁には、所定のPIDで識別されるビデオストリームをデコードして得られた、例えば被写体を右から撮影した映像である映像P-1が表示される。

このように、コンポーズ情報を利用して図７に示されるように映像P-0と映像P-1の表示が所定の周期で交互に切り替えられるようにすることにより、送信装置１は、人の目の視差を利用して、立体視映像を受信装置２側のスクリーン３に表示させることが可能になる。

図８は、コンポーズ情報の具体的な記述の例を示す図である。図８の左側に示す数字と「：」は説明の便宜上付しているものであり、コンポーズ情報を構成するものではない。

１行目の「Window_Linkage_flag」は複数ウインドウの存在を示す。２行目の「If(Window_Linkage_Flag)」以降がコンポーズ情報の中身を構成する。

３行目の「Number_of_Screens, Ｓ」は、コンポーズ情報が対象とするスクリーンの数Ｓを表す。Ｓの値は可変であり、上述した例の場合、１となる。

４行目の「For(i=0; i<S; i++)」以降が、それぞれのスクリーンを対象とする表示の仕方を表す。コンポーズ情報が対象とするスクリーンの数が複数である場合、コンポーズ情報には、この4行目以降の記述がそれぞれのスクリーンの分だけ用意される。

５行目の「Direction_Mapping」は、どのスクリーンを対象としているのかを表す。

６行目の「Target_Display_Size」は、ターゲットとするスクリーンのサイズを表す。後述するように、送信装置１側がターゲットとするスクリーンのサイズと、実際に受信装置２側に用意されているスクリーンのサイズが異なる場合、適宜、映像のアップスケーリング、ダウンスケーリングが受信装置２において行われる。

７行目の「Number_of_Windows_per_screen, Ｎ」は、注目するスクリーン上に形成するウインドウの数Ｎを表す。Ｎの値は可変であり、図３、図４の例の場合、４となる。

８行目の「For (j=0; j<N; j++)」以降が、それぞれのウインドウを対象とする表示の仕方を表す。コンポーズ情報が対象とするウインドウの数が複数である場合、コンポーズ情報には、この８行目以降の記述がそれぞれのウインドウの分だけ用意される。

９行目の「Elementary_PID」は、注目しているウインドウに映像を表示させるのに用いるビデオストリームのPID、すなわち、ウインドウとビデオストリームの対応関係を表す。

１０行目の「Window_id」は、注目しているウインドウの識別情報であり、上述したようなパラメータからなる。

１１行目の「FrameGroup」は、注目しているウインドウを形成するタイミング（時間方向のID）、切り替えのタイミング等を表す。

１２行目の「V_offset」は、Window_idに含まれるパラメータVqと同様に、注目するウインドウの、スクリーン上の垂直方向の位置を表す。

１３行目の「H_offset」は、Window_idに含まれるパラメータHpと同様に、注目するウインドウの、スクリーン上の水平方向の位置を表す。

このような記述からなるコンポーズ情報に基づいて、上述したような表示が実現される。

ここで、送信装置１と受信装置２の構成について説明する。

図９は、送信装置１の構成例を示すブロック図である。

図９に示されるように、送信装置１は、エンコーダ１１−１乃至１１−ｎ、マルチプレクサ１２、コンポーズ情報付加部１３、および送信部１４から構成される。エンコーダは、１つの番組を構成するものとして外部から入力された映像信号の数と同じ数だけ設けられる。

エンコーダ１１−１乃至１１−ｎは、それぞれ、カメラから入力された信号をエンコードし、エンコードして得られたビデオストリームをマルチプレクサ１２に出力する。

マルチプレクサ１２は、エンコーダ１１−１乃至１１−ｎから供給されたビデオストリームを多重化し、多重化して得られたストリームをコンポーズ情報付加部１３に出力する。

コンポーズ情報付加部１３は、送信装置１の管理者による入力に従って、図８に示されるような記述からなるコンポーズ情報を生成し、生成したコンポーズ情報をマルチプレクサ１２から供給された多重化ストリームに付加する。コンポーズ情報付加部１３は、コンポーズ情報を付加した多重化ストリームを送信部１４に出力する。

同期管理に関しては、代表するストリームのPCRとタイムスタンプを抽出し、他のストリームの同じタイミングに相当する箇所にそれをコピーすることで、ストリーム間の同期関係を保証するようにしてもよい。

送信部１４は、コンポーズ情報付加部１３から供給された多重化ストリームからなる番組を、放送波やネットワークを介して受信装置２に送信する。番組の提供が記録メディアを介して行われる場合、送信部１４は、多重化ストリームを記録メディアに記録させ、受信装置２に提供する。

図１０は、受信装置２の構成例を示すブロック図である。

図１０に示されるように、受信装置２は、受信部２１、デマルチプレクサ２２、コンポーズ情報解析部２３、デコーダ２４−１乃至２４−ｎ、および表示制御部２５から構成される。デコーダも、１つの番組を構成する映像の数と同じ数だけ設けられる。

受信部２１は、送信装置１から送信された番組を受信する。受信部２１は、受信した番組を構成する多重化ストリームをデマルチプレクサ２２に出力し、多重化ストリームに付加されているコンポーズ情報をコンポーズ情報解析部２３に出力する。

デマルチプレクサ２２は、受信部２１から供給された多重化ストリームを複数のビデオストリームに分離し、分離したビデオストリームを１つずつデコーダ２４−１乃至２４−ｎに出力する。

コンポーズ情報解析部２３は、受信部２１から供給されたコンポーズ情報を解析することによって、どのタイミングで、スクリーン３のどの位置にどのサイズのウインドウを形成すればよいのかを検出し、検出したタイミング、ウインドウの位置、およびウインドウのサイズを表す情報を表示制御部２５に出力する。それぞれのビデオストリームに含まれる映像のサイズを表す情報は、デマルチプレクサ２２から供給される。

また、コンポーズ情報解析部２３は、コンポーズ情報を解析することによってウインドウとビデオストリームの対応関係を検出し、どのウインドウに、どのビデオストリームをデコードすることによって得られた映像を表示させるのかを表す情報を表示制御部２５に出力する。

デコーダ２４−１乃至２４−ｎは、それぞれ、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５に出力する。映像信号には、どのビデオストリームをデコードして得られた信号であるのかを表す情報も含まれる。

表示制御部２５は、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３にそれぞれのウインドウを形成する。

また、表示制御部２５は、コンポーズ情報解析部２３から供給された情報に従って、デコーダ２４−１乃至２４−ｎから供給されたどの信号に基づく映像をどのウインドウに表示させればよいのかを検出する。表示制御部２５は、その検出結果に従って、デコーダ２４−１乃至２４−ｎから供給された信号に基づく映像を、スクリーン３に形成したそれぞれのウインドウに表示させる。

次に、以上のような構成を有する送信装置１と受信装置２の処理について説明する。

はじめに、図１１のフローチャートを参照して、送信装置１の処理について説明する。この処理は、カメラからの信号が入力されたときに開始される。

ステップＳ１において、エンコーダ１１−１乃至１１−ｎは、それぞれ、入力された信号をエンコードし、エンコードして得られたビデオストリームをマルチプレクサ１２に出力する。

ステップＳ２において、マルチプレクサ１２は、エンコーダ１１−１乃至１１−ｎから供給されたビデオストリームを多重化し、多重化して得られたストリームをコンポーズ情報付加部１３に出力する。

ステップＳ３において、コンポーズ情報付加部１３は、送信装置１の管理者による入力に従ってコンポーズ情報を生成する。

ステップＳ４において、コンポーズ情報付加部１３は、コンポーズ情報をマルチプレクサ１２から供給された多重化ストリームに付加し、コンポーズ情報を付加した多重化ストリームを送信部１４に出力する。

ステップＳ５において、送信部１４は、コンポーズ情報付加部１３から供給された多重化ストリームからなる番組を受信装置２に送信し、処理を終了させる。

次に、図１２のフローチャートを参照して、受信装置２の処理について説明する。この処理は、番組を構成する多重化ストリームが送信装置１から送信されたときに開始される。

ステップＳ１１において、受信部２１は、送信装置１から送信された番組を受信する。受信部２１は、受信した番組を構成する多重化ストリームをデマルチプレクサ２２に出力し、多重化ストリームとコンポーズ情報をコンポーズ情報解析部２３に出力する。

ステップＳ１２において、デマルチプレクサ２２は、受信部２１から供給された多重化ストリームを複数のビデオストリームに分離し、分離したビデオストリームをデコーダ２４−１乃至２４−ｎに出力する。

ステップＳ１３において、コンポーズ情報解析処理が行われる。コンポーズ情報解析処理が行われることにより、スクリーン３に形成するウインドウに関する情報と、それぞれのウインドウに表示させる映像に関する情報がコンポーズ情報解析部２３から表示制御部２５に供給される。コンポーズ情報解析処理については図１３のフローチャートを参照して後述する。

ステップＳ１４において、デコーダ２４−１乃至２４−ｎは、それぞれ、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５に出力する。

ステップＳ１５において、表示制御部２５は、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３にそれぞれのウインドウを形成し、形成したそれぞれのウインドウに、デコーダ２４−１乃至２４−ｎから供給された信号に基づく映像を表示させる。

次に、図１３のフローチャートを参照して、図１２のステップＳ１３において行われるコンポーズ情報解析処理について説明する。

ステップＳ２１において、コンポーズ情報解析部２３は、コンポーズ情報に含まれる「Number_of_Screens, Ｓ」の記述に基づいて、コンポーズ情報が対象とするスクリーンの数を検出する。

ステップＳ２２において、コンポーズ情報解析部２３は、「Direction_Mapping」の記述に基づいて、「Direction_Mapping」以降のコンポーズ情報の記述が、どのスクリーンを対象としている記述であるのかを検出する。コンポーズ情報解析部２３は、検出した対象のスクリーンに注目し、以降の処理を行う。

ステップＳ２３において、コンポーズ情報解析部２３は、「Number_of_Windows_per_screen, Ｎ」の記述に基づいて、注目するスクリーンに形成するウインドウの数を検出する。

ステップＳ２４において、コンポーズ情報解析部２３は、「Window_id」により識別されるウインドウに注目し、「Elementary_PID」の記述に基づいて、注目しているウインドウに映像を表示させるのに用いるビデオストリームのPIDを検出する。また、コンポーズ情報解析部２３は、注目しているウインドウに映像を表示させるのに用いるビデオストリームに含まれる、映像のサイズの情報に基づいて、注目しているウインドウのサイズを検出する。

ステップＳ２５において、コンポーズ情報解析部２３は、「V_offset」と「H_offset」の記述に基づいて、あるいは、「Window_id」に含まれるパラメータに基づいて、注目するウインドウの位置を検出する。

ステップＳ２６において、コンポーズ情報解析部２３は、「FrameGroup」の記述に基づいて、注目しているウインドウを形成するタイミング等を検出する。

ステップＳ２７において、コンポーズ情報解析部２３は、注目しているスクリーンに形成するウインドウのうち、まだ注目していないウインドウがあるか否かを判定する。

まだ注目していないウインドウがあるとステップＳ２７において判定した場合、コンポーズ情報解析部２３は、他のウインドウに注目し、ステップＳ２４以降の処理を繰り返す。

一方、注目していないウインドウがないとステップＳ２７において判定した場合、ステップＳ２８において、コンポーズ情報解析部２３は、コンポーズ情報が対象としているスクリーンのうち、まだ注目していないスクリーンがあるか否かを判定する。

まだ注目していないスクリーンがあるとステップＳ２８において判定した場合、コンポーズ情報解析部２３は、他のスクリーンに注目し、ステップＳ２２以降の処理を繰り返す。

一方、注目していないスクリーンがないとステップＳ２８において判定した場合、ステップＳ２９において、コンポーズ情報解析部２３は、それぞれのスクリーンに形成するそれぞれのウインドウの位置、サイズの情報や、それぞれのウインドウに映像を表示するのに用いるビデオストリームのPIDなどの情報を含む、それぞれのスクリーンに関する情報を表示制御部２５に出力する。

その後、図１２のステップＳ１３に戻り、それ以降の処理が行われる。

以上の処理により、送信装置１は、受信装置２側における映像の表示の仕方を、コンポーズ情報を用いて主体的に制御することができる。これにより、送信装置１は、複数のビデオストリームの映像からなる１つの番組の映像を、番組の制作者が意図したとおりに受信装置２側に表示させることができる。

送信装置１側が対象としているスクリーンのサイズと、受信装置２側に設けられているスクリーン３のサイズが異なる場合、それぞれのウインドウに映像を表示するときに、それぞれの映像をアップコンバート、またはダウンコンバートしてサイズを変更することが表示制御部２５により行われるようにしてもよい。

例えば、送信装置１側が対象としているスクリーンの横×縦のサイズが２０００×１０００画素であるのに対して、受信装置２側に設けられているスクリーン３のサイズが１０００×５００画素であるとする。図３に示されるように、番組の１フレームの映像を４つのビデオストリームの映像に基づいて表示する場合、送信装置１からは、１０００×５００画素のサイズの映像をエンコードして得られたビデオストリームが４つ多重化され、提供されることになる。

この場合、受信装置２においては、１つのビデオストリームをデコードしたときに１０００×５００画素のサイズの映像が得られるが、この映像は、表示制御部２５により、５００×２５０画素のサイズの映像にダウンコンバートされる。

４つのビデオストリームの映像とも同様にしてダウンコンバートが行われることにより、スクリーン３には、サイズは違うものの、送信装置１側が想定したものと同じ映像が表示されることになる。

以上においては、受信装置２側に設けられるスクリーンの数が１台である場合について説明したが、複数台設けられるようにしてもよい。

図１４は、提供システムの他の構成例を示す図である。

図１４の例においては、受信装置２側にスクリーン３−１乃至３−Ｓが設けられている。受信装置２においては、送信装置１から提供された多重化ストリームに付加されているコンポーズ情報に基づいて、それぞれのスクリーンに所定の数のウインドウが形成され、１つの番組を構成する複数の映像が表示される。

コンポーズ情報を生成する送信装置１の管理者には、受信装置２に接続されるそれぞれのスクリーンの位置関係が知らされているものとする。また、それぞれのスクリーンの物理的な接続関係は、接続ネットワークIDなどによって受信装置２により管理されているものとする。

図１５は、受信装置２側に設けられるスクリーンの数が６台である場合のそれぞれのスクリーンの配置の例を示す斜視図である。

図１５の例においては、ほぼ立方体の空間を囲むようにスクリーン３−１乃至３−６が設けられている。スクリーン３−１乃至３−４は空間の内側に向けてその側面に設けられ、スクリーン３−５は空間の内側に向けてその上面に設けられている。スクリーン３−６は空間の内側に向けてその下面に設けられている。スクリーン３−１乃至３−６に囲まれる空間にいるユーザは、どの方向を向いても映像を見ることができることになる。

図１５に示されるスクリーン３−１乃至３−６により囲まれる空間を、スクリーン３−３側から見た図を図１６に示す。

図１５、図１６は、６台のカメラで撮影した１つの番組の映像をそれぞれ別のストリームとしてエンコードすることによって得られた６つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。

この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３−１乃至３−６のそれぞれに、表示領域全体にウインドウが１つずつ形成される。

コンポーズ情報においては、スクリーン３−１に形成されるウインドウはWindow_ID（S0，T0，H0，V0）で識別され、スクリーン３−２に形成されるウインドウはWindow_ID（S1，T0，H0，V0）で識別される。スクリーン３−３に形成されるウインドウはWindow_ID（S2，T0，H0，V0）で識別され、スクリーン３−４に形成されるウインドウはWindow_ID（S3，T0，H0，V0）で識別される。スクリーン３−５に形成されるウインドウはWindow_ID（S4，T0，H0，V0）で識別され、スクリーン３−６に形成されるウインドウはWindow_ID（S5，T0，H0，V0）で識別される。

それぞれのウインドウのWindow_IDに含まれるパラメータSnの値から、受信装置２においては、それぞれのウインドウを形成するスクリーンが異なることが検出される。また、パラメータHp，Vqの値から、それぞれのスクリーンに１つずつウインドウを形成すればよいということが検出される。

コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、それぞれのウインドウのサイズがビデオストリームに含まれる映像のサイズの情報に基づいて検出される。

これにより、図１５に示されるように、スクリーン３−１に形成されるウインドウには、所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像R-0が表示される。スクリーン３−２乃至３−６に形成されるウインドウについても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像R-１乃至R-5がそれぞれ表示される。

映像R-0乃至R-5がそれぞれ同期を取りながら表示されることにより、例えば、複数のカメラで異なる位置から撮影された元の１つの番組の映像が表示されることになる。

このように、コンポーズ情報を利用することにより、送信装置１は、複数のビデオカメラで撮影した異なる撮影位置からの映像を受信装置２側の複数のスクリーンに表示させることが可能になる。

図１７は、複数のスクリーンが接続される受信装置２の構成例を示すブロック図である。図１０に示される構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１７に示される構成は、スクリーンの数に合わせて、表示制御部２５−１乃至２５−Ｓが設けられている点が図１０に示される受信装置２の構成と異なる。

コンポーズ情報解析部２３は、受信部２１から供給されたコンポーズ情報を解析することによって、それぞれのスクリーンについて、どのタイミングで、どの位置にどのサイズのウインドウを形成すればよいのかを検出し、検出したタイミング、ウインドウの位置、およびウインドウのサイズを表す情報を表示制御部２５−１乃至２５−Ｓに出力する。

また、コンポーズ情報解析部２３は、コンポーズ情報を解析することによってウインドウとビデオストリームの対応関係を検出し、どのウインドウに、どのビデオストリームをデコードすることによって得られた映像を表示させるのかを表す情報を表示制御部２５−１乃至２５−Ｓに出力する。

デコーダ２４−１は、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５−１に出力する。

デコーダ２４−２乃至２４−ｎも同様に、それぞれ、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５−２乃至２５−Ｓに出力する。

図１７は、図１５に示されるように、それぞれのスクリーンに１つのウインドウを形成し、１つの映像を表示する場合の例を示している。１台のスクリーンに複数のウインドウを形成して複数の映像を表示させる場合、複数のデコーダからの出力が、１つの表示制御部に入力される。

表示制御部２５−１は、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３−１にウインドウを形成し、形成したウインドウに、デコーダ２４−１から供給された信号に基づく映像を表示させる。

表示制御部２５−２乃至２５−Ｓも同様に、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３−３乃至３−Ｓにウインドウを形成し、形成したウインドウに、デコーダ２４−２乃至２４−ｎから供給された信号に基づく映像を表示させる。

このように、受信装置２側に複数のスクリーンが設けられるようにすることも可能である。

なお、各ウインドウに対応するビデオストリームを含む多重化ストリームが複数あって、それらを再多重化（Remux）し、大きな１つのストリームを用いて番組の提供が行われる場合、再多重化に用いられるそれぞれの多重化ストリームを生成するときに、同期チェックの機能も兼ねて、個々の多重化ストリームを構成するビデオストリームの同時表示を行うオブジェクト（ウインドウに表示させる映像）に対して、新たな表示用タイムスタンプがマルチプレクサ１２などにより設定されるようにしてもよい。

この場合、送信装置１においては、統一されたPCR(Program Clock Reference)がそれぞれの多重化ストリームの生成に用いられる。これにより、受信装置２側において、複数のビデオストリームに基づいて、矛盾なく同期がとれた形で映像を表示させることが可能になる。

図１８は、コンポーズ情報の付加の概念を示す図である。

図１８の矢印Ａ₁₁乃至Ａ₁₃，Ａ₂₁乃至Ａ₂₃，Ａ₃₁乃至Ａ₃₃に示されるように、ビデオストリーム、オーディオストリーム、およびその他のデータから、プログラム１のデータであるトランスポートストリームTS１、プログラム２のデータであるトランスポートストリームTS２、プログラム３のデータであるトランスポートストリームTS３がそれぞれ構成される場合、矢印Ａ₄₁乃至Ａ₄₃の先に示されるように、それらのトランスポートストリームTS１乃至TS３が再多重化（Re-multiplex）され、再多重化によって得られたストリームに対してコンポーズ情報が付加されることによってビッグTSが生成される。ビッグTSは受信装置２側に提供されるストリームである。

図１９は、コンポーズ情報の挿入位置の例を示す図である。

例えば、コンポーズ情報は、ISO/IEC規格13818-1で規定されているTS Private Sectionに挿入される。図１９に示されるように、TS Private Sectionは、TableID，Section Syntax Indicator，Private Indicator，'11'の固定値，Private Section長，Private_Dataから構成される。

TableIDは、このセクションデータのペイロード中のデータタイプの識別子であり、Section Syntax Indicatorとして、例えばコンポーズ情報を表す0'の値が記述される。Private Indicatorとして例えば１'の値が記述され、Private Section長には、このセクションデータの長さが記述される。Private_Dataには、図８に示されるようなコンポーズ情報が記述される。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。

バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウス、マイクロホンなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、光ディスクや半導体メモリなどのリムーバブルメディア６１を駆動するドライブ６０が接続されている。

以上のように構成されるコンピュータでは、CPU５１が、例えば、記憶部５８に記憶されているプログラムを入出力インタフェース５５及びバス５４を介してRAM５３にロードして実行することにより、上述した一連の処理が行われる。

CPU５１が実行するプログラムは、例えばリムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施形態に係る番組の提供システムの構成例を示す図である。 コンポーズ情報の概念を示す図である。 コンポーズ情報に基づいてスクリーンに表示される画面の例を示す図である。 コンポーズ情報に基づいてスクリーンに表示される画面の他の例を示す図である。 コンポーズ情報に基づいてスクリーンに表示される画面のさらに他の例を示す図である。 コンポーズ情報に基づいてスクリーンに表示される画面の例を示す図である。 映像の切り替えの例を示す図である。 コンポーズ情報の具体的な記述の例を示す図である。 送信装置の構成例を示すブロック図である。 受信装置の構成例を示すブロック図である。 送信装置の処理について説明するフローチャートである。 受信装置の処理について説明するフローチャートである。 図１２のステップＳ１３において行われるコンポーズ情報解析処理について説明するフローチャートである。 提供システムの他の構成例を示す図である。 スクリーンの配置の例を示す斜視図である。 スクリーンの配置の例を示す図である。 受信装置の他の構成例を示すブロック図である。 コンポーズ情報の付加の概念を示す図である。 コンポーズ情報の挿入位置の例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 送信装置, ２ 受信装置, ３ スクリーン， １１−１乃至１１−ｎ エンコーダ, １２ マルチプレクサ, １３ コンポーズ情報付加部, １４ 送信部, ２１ 受信部, ２２ デマルチプレクサ, ２３ コンポーズ情報解析部, ２４−１乃至２４−ｎ デコーダ, ２５ 表示制御部

Claims (12)

1. 映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化する多重化手段と、
   前記多重化手段による多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する付加手段と、
   前記付加手段により前記コンポーズ情報が付加された前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する提供手段と
   を備える情報処理装置。
2. ウインドウのサイズは可変である
   請求項１に記載の情報処理装置。
3. 前記付加手段は、映像の表示に用いるスクリーンの数を指定する情報をさらに含むとともに、それぞれのスクリーンについての前記第１乃至第４の情報を含む前記コンポーズ情報を前記多重化ストリームに付加する
   請求項１に記載の情報処理装置。
4. 前記付加手段は、それぞれのウインドウを形成するタイミングを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加する
   請求項１に記載の情報処理装置。
5. 前記多重化手段は、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームの映像のうちの同時に表示する映像に対して、表示タイミングを指示する表示用タイムスタンプを設定する
   請求項１に記載の情報処理装置。
6. 前記付加手段は、前記第１の情報により指定される前記スクリーンのサイズを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加する
   請求項１に記載の情報処理装置。
7. 映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化し、
   多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加し、
   前記コンポーズ情報を付加した前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する
   ステップを含む情報処理方法。
8. 映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化し、
   多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加し、
   前記コンポーズ情報を付加した前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する
   ステップを含む処理をコンピュータに実行させるプログラム。
9. 映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる表示制御装置において、
   前記多重化ストリームからそれぞれの前記ビデオストリームを分離する分離手段と、
   前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成する解析手段と、
   前記ビデオストリームをデコードするデコード手段と、
   前記デコード手段によりデコードされることによって得られた映像を、それぞれのウインドウに表示させる表示制御手段と
   を備える表示制御装置。
10. 対象とするスクリーンのサイズを指定する情報が前記コンポーズ情報にさらに含まれており、その情報により指定されるサイズと、設けられているスクリーンのサイズが異なる場合、
    前記表示制御手段は、前記デコード手段によりデコードされることによって得られた映像のサイズを変更する
    請求項９に記載の表示制御装置。
11. 映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる表示制御方法において、
    前記多重化ストリームからそれぞれの前記ビデオストリームを分離し、
    前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成し、
    前記ビデオストリームをデコードし、
    デコードすることによって得られた映像を、それぞれのウインドウに表示させる
    ステップを含む表示制御方法。
12. 映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる処理をコンピュータに実行させるプログラムにおいて、
    前記多重化ストリームからそれぞれの前記ビデオストリームを分離し、
    前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成し、
    前記ビデオストリームをデコードし、
    デコードすることによって得られた映像を、それぞれのウインドウに表示させる
    ステップを含むプログラム。

Images