JP2014509111A - 複数のリアルタイム伝送ストリームを受信する受信装置と、その送信装置およびマルチメディアコンテンツ再生方法 - Google Patents

Abstract

受信装置が開示される。本装置は、第１リアルタイム伝送ストリームを放送網を通じて受信する第１受信部と、第２リアルタイム伝送ストリームを通信網を通じて受信する第２受信部と、第１および第２リアルタイム伝送ストリームの少なくとも一方をディレイ（ｄｅｌａｙ）させて同期化する遅延処理部と、第１リアルタイム伝送ストリームから第１データを検出する第１検出部と、第２リアルタイム伝送ストリームから第２データを検出する第２検出部と、第１データおよび第２データを組み合わせてマルチメディアコンテンツを構成する信号処理部と、マルチメディアコンテンツを再生する再生部とを含む。それにより、安定的にマルチメディアコンテンツを再生することができる。

Description

本発明は、複数のリアルタイム伝送ストリームを受信する受信装置と、その送信装置およびマルチメディアコンテンツ再生方法に関し、より詳細には、一つのマルチメディアコンテンツを相互異なる経路を通じて送受信する受信装置および送信装置とその再生方法に関する。

電子技術の発達により、多様な電子装置が開発および普及されている。これらの電子装置の代表的な例として、テレビのような受信装置を挙げることができる。

最近は、テレビの性能が向上することにより、３Ｄコンテンツのようなマルチメディアコンテンツまでもサービスされている。３Ｄコンテンツは、左眼映像および右眼映像を含むため、従来の２Ｄコンテンツよりコンテンツのサイズが大きい。

しかし、放送網で使用される伝送帯域幅は制限的である。単一放送網で３Ｄコンテンツを提供するためには、解像度を減らす必要があり、それにより、画質が劣化してしまうという問題点があった。

このとうな問題点を克服するために、左眼映像および右眼映像を互いに異なる経路を通じて伝送し、受信装置でそれを組み合わせて３Ｄコンテンツを再生するようにする技術が必要となっている。それにより、このような映像のうち、少なくとも一つを非リアルタイムで予めダウンロードして再生する方法が工夫されている。

しかし、このような方法の場合、予めダウンロードされるコンテンツのセキュリティが問題となる可能性があり、それを保存すべき大容量保存装置を追加しなければならないという不都合があった。なお、生放送環境では、非リアルタイムデータを予めダウンロードすることができないため、遅延が避けられないという問題点があった。

よって、マルチメディアコンテンツが受信装置で効果的に再生できるようにする技術が求められている。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、互いに異なる経路を通じて伝送される複数のリアルタイム伝送ストリームを受信してマルチメディアコンテンツを再生することができる受信装置と、そのマルチメディアコンテンツ再生方法およびその伝送ストリームを伝送する送信装置を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係る受信装置は、第１リアルタイム伝送ストリームを放送網を通じて受信する第１受信部と、第２リアルタイム伝送ストリームを通信網を通じて受信する第２受信部と、前記第１および第２リアルタイム伝送ストリームの少なくとも一方をディレイ（ｄｅｌａｙ）させて同期化する遅延処理部と、前記第１リアルタイム伝送ストリームから第１データを検出する第１検出部と、前記第２リアルタイム伝送ストリームから第２データを検出する第２検出部と、前記第１データおよび前記第２データを組み合わせてマルチメディアコンテンツを構成する信号処理部と、前記マルチメディアコンテンツを再生する再生部とを含む。

ここで、前記第１リアルタイム伝送ストリームはアドレス情報を含み、前記第２受信部は、前記アドレス情報を用いて前記通信網内のサーバにアクセスして前記サーバからメタデータファイルを受信し、前記メタデータファイルを用いて前記第２リアルタイム伝送ストリームを受信し、前記メタデータファイルは前記第２リアルタイム伝送ストリームのソースに対する情報を含んでよい。

そして、前記アドレス情報は、前記第１リアルタイム伝送ストリームのＰＭＴ内のリザーブ領域、ＰＭＴ内のｄｅｓｃｒｉｐｔｏｒ領域、前記第１リアルタイム伝送ストリームのリザーブ領域、前記第１リアルタイム伝送ストリームのプライベートデータ領域、前記第１リアルタイム伝送ストリームのＰＥＳ内のリザーブ領域、前記第１リアルタイム伝送ストリームのＰＥＳ内のプライベートデータ領域、ＥＳヘッダ内のユーザ領域、ＥＳヘッダ内のプライベート領域、Ｈ.２６４規格である場合にＳＥＩのうち、少なくとも一つに記録されてよい。

なお、前記第２データは、前記通信網の状態に応じて適応的に設定された少なくとも一つのサイズを有する複数のデータユニットを含んでよい。

ここで、前記第１データおよび前記第２データのいずれか一方は左眼映像を含み、他方は右眼映像を含み、前記マルチメディアコンテンツは３Ｄコンテンツであってよい。

なお、前記第１リアルタイム伝送ストリームは第１同期化情報を含み、前記第２リアルタイム伝送ストリームは第２同期化情報を含み、前記第１および第２同期化情報は、前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差値、フレームインデックスのうち、少なくとも一つを含んでよい。

そして、本受信装置は、前記第１および第２同期化情報を用いて、前記第１データに含まれた各フレームのタイムスタンプおよび前記第２データに含まれた各フレームのタイムスタンプのうち、少なくとも一方を補正し、補正されたタイムスタンプに応じて前記第１および第２データの各フレームを組み合わせ、前記マルチメディアコンテンツを構成するように前記信号処理部を制御する制御部を更に含んでよい。

前記第１リアルタイム伝送ストリームは第１同期化情報を含み、前記第２リアルタイム伝送ストリームは第２同期化情報を含み、前記第１および第２同期化情報は映像フレームのタイムコード情報であってよい。

一方、本発明の一実施形態に係る送信装置は、第１データおよび第１同期化情報を含む第１リアルタイム伝送ストリームを構成するストリーム構成部と、前記第１リアルタイム伝送ストリームを出力する出力部と、第２リアルタイム伝送ストリームを出力する他送信装置の出力タイミングに合わせて、前記第１リアルタイム伝送ストリームの出力タイミングをディレイさせるように前記出力部を制御する制御部とを含む。

そして、前記第２リアルタイム伝送ストリームは、第２データおよび第２同期化情報を含み、前記第１および第２データは、一つのマルチメディアコンテンツを構成するためのデータであり、前記第１同期化情報および前記第２同期化情報は、前記第１データおよび前記第２データの同期化のために伝送される情報であってよい。

または、送信装置は、第１データおよびアドレス情報を含む第１リアルタイム伝送ストリームを構成するストリーム構成部と、前記第１リアルタイム伝送ストリームを出力する出力部とを含み、前記アドレス情報は、前記第１データとともにマルチメディアコンテンツを構成する第２データを通信網から獲得できるメタデータファイルに対するアドレス情報であってよい。

一方、本発明の一実施形態に係る受信装置のマルチメディアコンテンツ再生方法は、第１リアルタイム伝送ストリームを放送網を通じて受信するステップと、第２リアルタイム伝送ストリームを通信網を通じて受信するステップと、前記第１および第２リアルタイム伝送ストリームの少なくとも一方をディレイ（ｄｅｌａｙ）させて同期化するステップと、前記第１リアルタイム伝送ストリームから第１データを検出し、前記第２リアルタイム伝送ストリームから第２データを検出するステップと、前記第１データおよび前記第２データを組み合わせてマルチメディアコンテンツを構成するステップと、前記マルチメディアコンテンツを再生するステップとを含む。

そして、前記第２リアルタイム伝送ストリームを通信網を通じて受信するステップは、前記第１リアルタイム伝送ストリームに含まれたアドレス情報を検出するステップと、前記アドレス情報を用いて前記通信網内のサーバにアクセスし、前記サーバからメタデータファイルを受信するステップと、前記メタデータファイルを用いて前記第２リアルタイム伝送ストリームのソースにアクセスし、前記第２リアルタイム伝送ストリームを受信するステップとを含む。

そして、前記第１データおよび前記第２データのいずれか一方は左眼映像を含み、他方は右眼映像を含み、前記マルチメディアコンテンツは３Ｄコンテンツであってよい。

なお、前記第２データは、前記通信網の状態に応じて適応的に設定された少なくとも一つのサイズを有する複数のデータユニットを含んでよい。

そして、前記第１リアルタイム伝送ストリームは第１同期化情報を含み、前記第２リアルタイム伝送ストリームは第２同期化情報を含み、前記第１および第２同期化情報は、前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差値、フレームインデックス、タイムコードのうち、少なくとも一つを含んでよい。

以上説明したように、本発明によれば、リアルタイム伝送ストリームを複数の互いに異なる経路を通じて受信して同期化させ、高品質のマルチメディアコンテンツを再生することができるようになる。

本発明の一実施形態に係るマルチメディアコンテンツ送受信システムの構成を示す図である。 本発明の一実施形態に係る受信装置の構成を示す図である。 受信装置で伝送ストリームを同期化させて再生する過程を説明するための図である。 遅延時間を最小限化しつつ同期化させる過程を説明するための図である。 放送網および通信網を通じて複数のリアルタイム伝送ストリームを伝送される動作を説明するための図である。 ＨＴＴＰ方式でアドレス情報を伝達する方法を説明するための図である。 ＨＴＴＰ方式でアドレス情報を伝達する方法を説明するための図である。 ＨＴＴＰ方式でアドレス情報を伝達する方法を説明するための図である。 ＨＴＴＰ方式でアドレス情報を伝達する方法を説明するための図である。 ＭＰＤファイルを含むＨＴＴＰストリームの構成を示す図である。 同期化情報を含むＨＴＴＰストリームの構成を示す図である。 マルチメディアコンテンツを複数のストリームで区分されて伝送する送信過程を説明するための図である。 マルチメディアコンテンツ送受信システムにおける伝送ストリーム獲得過程を説明するための図である。 同期化情報がＰＭＴに含まれたストリームの構成を示す図である。 同期化情報が記録されたＰＭＴの構成を示す図である。 ＴＳアダプテーションフィールドを用いた同期化情報伝達方法を説明するための図である。 ＰＥＳヘッダを利用した同期化情報伝達方法を説明するための図である。 ＥＩＴを利用した同期化情報伝達方法を説明するための図である。 プライベートストリームを利用した同期化情報伝達方法を説明するための図である。 ＰＭＴを利用したフレームインデックス伝達方法を説明するための図である。 プライベートストリームを利用したフレームインデックス伝達方法を説明するための図である。 タイムコードがそれぞれ与えられた複数の伝送ストリームを示す図である。 各種同期化情報の伝送方法の多様な例を示す図である。 各種同期化情報の伝送方法の多様な例を示す図である。 各種同期化情報の伝送方法の多様な例を示す図である。 各種同期化情報の伝送方法の多様な例を示す図である。 本発明の多様な実施形態に係る送信装置の構成を示すブロック図である。 本発明の多様な実施形態に係る送信装置の構成を示すブロック図である。 本発明の多様な実施形態に係る送信装置の構成を示すブロック図である。 本発明の一実施形態に係るマルチメディアコンテンツ再生方法を説明するためのフローチャートである。 第１リアルタイム伝送ストリームに含まれたアドレス情報を用いて第２リアルタイム伝送ストリームを獲得する方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係るマルチメディアコンテンツ送受信システムの構成を示す図である。同図によると、マルチメディアコンテンツ再生システムは、複数の送信装置２００−１、２００−２と、受信装置１００とを含む。

送信装置１、２（２００−１、２００−２）は、互いに異なる信号を異なる経路で伝送する。図１の場合を例えると、送信装置１（２００−１）は、放送網を通じて第１信号を伝送し、送信装置２（２００−２）は、通信網１０を通じて第２信号を伝送する。

第１信号および第２信号は、一つのマルチメディアコンテンツを構成する互いに異なるデータをそれぞれ含むリアルタイム伝送ストリームで構成されてよい。例えば、３Ｄコンテンツの場合には、左眼映像または右眼映像が第１リアルタイム伝送ストリームに含まれて放送網を通じて伝送され、もう一つの映像が第２リアルタイム伝送ストリームに含まれて通信網を通じて伝送されてよい。第１信号に含まれる第１データと、第２信号に含まれる第２データは左眼映像および右眼映像以外にも、多様な種類のデータで実現されてよい。例えば、ビデオデータおよびオーディオデータに区分されたり、動画データおよび字幕データ、その他のデータ等に区分されてそれぞれ第１および第２リアルタイム伝送ストリームで伝送されてよい。

受信装置１００は、送信装置１、２からそれぞれ送信されるリアルタイム伝送ストリームを受信してバッファリングする。この過程で、少なくとも一つのリアルタイム伝送ストリームを遅延させ、相互を同期化させる。

一方、通信網１０を通じて伝送される第２リアルタイム伝送ストリームは、ＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）や、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等のような多様なストリーミング方式を用いてストリーミングされてよい。第２リアルタイム伝送ストリームの獲得方法については、詳細に後述する。

なお、第１リアルタイム伝送ストリームには第１データとともに第１同期化情報が含まれ、第２リアルタイム伝送ストリームには第２データとともに第２同期化情報が含まれる。

第１および第２同期化情報としては、多様な情報が使用されてよい。具体的には、マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、第１データおよび第２データの間のタイムスタンプ差値、フレームインデックス、タイムコード情報、ＵＴＣ情報、フレームカウント情報のうち、少なくとも一つが同期化情報として使用されてよい。

ＭＰＥＧ規格によると、放送データを伝送する伝送ストリームには、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）およびＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）等が含まれる。ＰＣＲとは、ＭＰＥＧ規格による受信装置（セットトップボックスやテレビ等）で時刻基準を送信機側に合わせる参照時間情報を意味する。受信装置では、ＰＣＲに応じてＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の値を合わせるようになる。ＰＴＳは、ＭＰＥＧ規格による放送システムで映像および音声の同期化のための再生時刻を報知するタイムスタンプを意味する。本明細書では、タイムスタンプと呼ぶ。互いに異なる信号が異なる送信装置１００−１、１００−２から伝送される場合には、送信装置１００−１、１００−２の特性に応じてＰＣＲが異なってよい。そのため、ＰＣＲに合わせたタイムスタンプに応じて再生するとしても、同期化が行われないことがある。このようなことを考慮し、本システムで互いに異なる経路を通じて伝送される各リアルタイム伝送ストリームに同期化情報を含み、受信装置２００はその同期化情報を用いて各伝送ストリームに含まれたイメージフレームのタイムススタンプを補正したり、同期化情報を直接比較して同期化再生することができる。

図２は、本発明の一実施形態に係る受信装置の構成を示すブロック図である。同図によると、受信装置１００は、第１受信部１１０と、第２受信部１２０と、遅延処理部１３０と、第１検出部１４０と、第２検出部１５０と、信号処理部１６０と、再生部１７０および制御部１８０を含む。

第１受信部１１０は、放送網を通じて伝送される第１リアルタイム伝送ストリームを受信する。第１受信部１１０は、アンテナや、チューナ部や、復調部、等化部等を含む形態で実現されてよい。

第２受信部１２０は、通信網を通じて外部ソースにアクセスして第２リアルタイム伝送ストリームを受信する。第２受信部１２０は、ネットワークインターフェースカード等を含んでよい。

遅延処理部１３０は、第１および第２リアルタイム伝送ストリームの少なくとも一方を遅延させて相互を同期化させる。遅延処理部１３０は、ＰＶＲ（Ｐｅｒｓｏｎａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）、タイムシフト、メモリバッファリング等のような多様な方式を用いて伝送ストリームを遅延させることができる。

メモリバッファリングを利用する場合、遅延処理部１３０が受信装置１００内に別途に設けられたバッファまたは遅延処理部１３０そのものに設けられたバッファを用いてストリームを遅延させることができる。仮に、第１リアルタイム伝送ストリームが先に受信され、第２リアルタイム伝送ストリームが未受信となっている場合、遅延処理部１３０は第１リアルタイム伝送ストリームをバッファに保存して遅延させる。このような状態で、第２リアルタイム伝送ストリームが受信されると、遅延された第１リアルタイム伝送ストリームをバッファから読み取って第２リアルタイム伝送ストリームとともに第１および第２検出部に同時に提供する。

遅延処理部１３０は、各ストリームを分析して第１および第２リアルタイム伝送ストリームが第１および第２検出部１４０、１５０にそれぞれ提供されるタイミングを合わせることができる。すなわち、遅延処理部１３０は、第１リアルタイム伝送ストリームと第２リアルタイム伝送ストリームのうち、少なくとも一方に対して、どのくらいディレイを与えるのかを判断するために、ストリームを分析することができる。一例として、遅延処理部１３０は、各ストリームのコンテンツスタート情報、タイムスタンプ差値と、タイムスタンプ等のような情報を用いて、第１リアルタイム伝送ストリームと第２リアルタイム伝送ストリーム内で互いに同期化させるべき部分を確認することができる。または、遅延処理部１３０は、両ストリームのフレームインデックスやタイムコード等のような情報を比較し、互いに同期化しなければならない部分を確認することができる。

遅延処理部１３０は、確認された部分が第１および第２検出部１４０、１５０に提供されるタイミングが互いにマッチングできるようにディレイ状態を調整する。

コンテンツスタート情報、タイムスタンプ差値、フレームインデックス、タイムコード等のような情報は、同期化情報として各ストリームに含まれて受信されたり、別途のプライベートストリーム形態で受信されてよい。遅延処理部１３０は、このような同期化情報を用いてディレイの程度を決定し、それに応じてディレイさせることができる。

第１検出部１４０は、第１リアルタイム伝送ストリームから第１データを検出し、第２検出部１５０は、第２リアルタイム伝送ストリームから第２データを検出した後、それぞれ第１および第２データを信号処理部１６０に提供する。

信号処理部１６０は、第１データおよび第２データを組み合わせてマルチメディアコンテンツを構成する。具体的には、第１データがビデオデータであり、第２データがオーディオデータである場合には、信号処理部１６０は各データをデコードした後、再生部１７０内のディスプレイユニットおよびスピーカにそれぞれ提供する。それにより、両データが同じタイミングで出力されるようにする。

または、第１データが左眼映像であり、第２データが右眼映像である場合には、信号処理部１６０は３Ｄディスプレイ方式に応じて多様にデータを処理することができる。すなわち、偏光方式の場合には、信号処理部１６０は同期化された左眼映像の一部および右眼映像の一部を交互に配列し、一つまたは二つのフレームで構成することができる。それにより、レンチキュラーレンズまたはパララックスバリアが付加されたディスプレイパネルを通じて当該フレームを出力することができる。一方、シャッタグラス方式の場合には、信号処理部１６０は、同期化された左眼映像および右眼映像を交互に配置してディスプレイパネルを通じて順次にディスプレイすることができる。

再生部１７０は、信号処理部１６０で処理されたマルチメディアコンテンツを再生する。再生部１７０は、受信装置１００の種類に応じてディスプレイユニットおよびスピーカの少なくとも一方を含んでよく、外部ディスプレイ装置と接続されるインターフェース部で実現されてよい。

制御部１８０は、遅延処理部１３０を制御して、先に受信されたストリームを遅延させることができる。なお、制御部１８０は、第１データおよび第２データを組み合わせてマルチメディアコンテンツを再生する動作を実行するように信号処理部１６０を制御することもできる。

特に、第１および第２リアルタイム伝送ストリームにそれぞれ同期化情報が含まれている場合、制御部１８０は各同期化情報を用いて第１データに含まれた各フレームのタイムスタンプおよび前記第２データに含まれた各フレームのタイムスタンプのうち、少なくとも一方を補正し、補正されたタイムスタンプに応じて、第１および第２データの各フレームを組み合わせてマルチメディアコンテンツを構成するように信号処理部１６０を制御することもできる。

実施形態によっては、タイムスタンプを補正せずに、タイムコードまたはフレームインデックスを直接比較し、同じフレームが同時に再生処理されるように信号処理部１６０を制御することもできる。

その他に、制御部１８０は、受信装置１００に含まれた各構成要素の動作を制御することができる。

第１および第２リアルタイム伝送ストリームに含まれた同期化情報を用いて、互いに対応するフレームが同期化再生されるようにする同期化作業は信号処理部１６０や制御部１８０によって行われてよい。

図３は、図２の受信装置で複数のリアルタイム伝送ストリームのいずれか一つを遅延させて同期を取る過程を説明する図である。同図によると、送信装置１（２００−１）では放送網を通じてリアルタイム伝送ストリームを伝送し、送信装置２（２００−２）では通信網を通じてリアルタイム伝送ストリームを伝送する。送信時点そのものが同じであるとしても、放送網と通信網との間の環境の違いにより、二つのうち一つが先に到達することができる。図３では、放送網を通じて伝送された第１リアルタイム伝送ストリームを２フレーム程度遅延させた後、第２リアルタイム伝送ストリームと同期化させることを図示している。それにより、２フレーム程度遅延された３Ｄ映像が再生される。

図４は、遅延時間を減少させる別の実施形態について説明するための図である。同図によると、第２リアルタイム伝送ストリームを伝送する送信装置２（２００−２）では、伝送する映像を多様な大きさのアクセスユニットに分割し、その中で最も小さい映像を優先的に伝送して遅延時間を減らし、次第に通信状態を考慮して伝送する映像の画質を向上させる。図４では、１番目のフレームにはＳＤ級のフレームを伝送し、２番目のフレームからＨＤ級のフレームを伝送するものとして図示されている。図３と比較すると、１フレーム程度遅延時間が減っていることが分かる。

映像の解像度と同様のサイズは、通信網の状態に応じて異なってよい。すなわち、通信帯域幅が不足したり、通信速度が遅い場合、遅延時間を最小限化するために、図４のように、最も低い解像度のデータから伝送した後、次第に解像度を増大させることができる。このように、第２リアルタイム伝送ストリームには、通信網の状態に応じて適応的に設定された少なくとも一つのサイズを有する複数のデータユニットが含まれる。映像データだけでなく、オーディオデータである場合にも、通信網の状態に応じてデータのサイズを異なるように決定して伝送することができる。それにより、受信装置１００は複数のリアルタイム伝送ストリームの遅延時間を最小限化しつつ、同期化を行うことができる。

一方、上述のように、第２リアルタイム伝送ストリームは、ＲＴＰやＨＴＴＰのようなプロトコールを用いて送受信されてよい。

ＨＴＴＰを利用する場合には、第２リアルタイム伝送ストリームを獲得するためにメタデータファイルが提供されなければならない。

ＨＴＴＰを利用したストリーミングは、クライアントの処理に依存してサーバの負担を最小限化させるストリーミング方式である。第２受信部１２０は、ＨＴＴＰのファイル伝送要求またはファイルの一部伝送要求を使ってストリーミングを達成する。送信側では網の伝送率変化に適応的に対応するためには、一つのコンテンツに対して様々な伝送率で圧縮されたファイルをサーバに載せておかなければならない。なお、このような網の状態変化に迅速に対応するためには、全コンテンツファイルを複数個に分離してファイルを保存しておかなければならない。送信側では、このような分離された複数のファイルをどのように順番で呼び出してマルチメディアコンテンツを再生するかを報知するためのメタデータを受信側に提供しなければならない。

メタデータは、マルチメディアコンテンツをどこで受信することができるかを報知するための情報である。メタデータファイルは、ＨＴＴＰ基盤ストリーミングの種類に応じて多様に区分されてよい。

すなわち、スムーズストリーミング（ｓｍｏｏｔｈ ｓｔｒｅａｍｉｎｇ）方式の場合、ｉｓｍ（Ｉｎｔｅｒｎｅｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＩＩＳ）Ｓｍｏｏｔｈ ｓｔｒｅａｍｉｎｇ Ｍｅｄｉａ）ファイルがメタデータファイルとして使用される。

ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）ＨＴＴＰライブストリーミング（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）方式の場合には、ｍ３ｖ８ファイルがメタデータファイルとして使用され、３ＧＰＰで採用された適応的（ａｄａｐｔｉｖｅ）ＨＴＴＰストリーミングＲｅｌ.９や、ＯＩＰＦで採用された適応的（ａｄａｐｔｉｖｅ）ＨＴＴＰストリーミングＲｅｌ.２、ＭＰＥＧで採用されたＤｙｎａｍｉｃ ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ方式の場合には、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）がメタデータファイルとして使用されてよい。

メタデータファイルには、複数の分離された各ファイルに相応するコンテンツ時間上の位置、当該ファイルを提供するソースのＵＲＬ、大きさ等、クライアントが予め知っておくべき情報等が込まれていてよい。

本発明の一実施形態によると、メタデータファイルを獲得できるソースに対するアドレス情報は第１リアルタイム伝送ストリームに含まれていてよい。

一方、ＲＴＰを利用する場合には、メタデータを受信する過程や、メタデータ情報を利用してストリームを要求する過程は省略される。しかし、一部のストリームを遅延処理する作業および同期化情報を用いて、同期化させる作業等はＲＴＰを利用する実施形態でもそのまま適用されてよい。

図５は、本発明の一実施形態に係るメタデータファイル提供方法を説明するための図である。同図によると、送信装置１（２００−１）は、アドレス情報を含む第１リアルタイム伝送ストリーム（ＴＳ）を放送網を通じて伝送する。

受信装置１００は、アドレス情報を検出し、メタデータファイルを提供するサーバに対する情報を確認する。図２の構成を含む受信装置１００で実現された場合、第１検出部１４０がアドレス情報を検出し、第２受信部１２０に提供することができる。

第２受信部１２０は、アドレス情報を用いて通信網内のサーバ２００−３にアクセスする。サーバ２００−３は、第２受信部１２０の要求に応じてメタデータファイルを伝送する。第２受信部１２０は、メタデータファイルを用いて第２リアルタイム伝送ストリームのソース２００−２にアクセスし、第２リアルタイム伝送ストリームの伝送を要求し、受信する。上述のように、メタデータファイルは前記第２リアルタイム伝送ストリームのソースに対する情報を含む。

アドレス情報は、第１リアルタイム伝送ストリーム内で多様な領域に含まれて伝送されてよい。ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）方式の場合、アドレス情報はＨｙｂｒｉｄ３ＤＵＲＬまたはＨｙｂｒｉｄ３ＤＭｅｔａＵＲＬのようなＵＲＬ情報であってよい。このようなアドレス情報は、第１リアルタイム伝送ストリーム内の多様な区間に記録されて伝送されてよい。

図６ないし図９は、第１リアルタイム伝送ストリーム内の多様な領域を用いてアドレス情報が伝送される例を示す。

図６によると、アドレス情報はＰＭＴ内のリザーブ領域またはｄｅｓｃｒｉｐｔｏｒ領域に記録されてよい。

または、図７によると、アドレス情報は第１リアルタイム伝送ストリームのリザーブ領域または第１リアルタイム伝送ストリームのプライベートデータ領域に記録されてよい。

または、図８によると、アドレス情報はＥＳヘッダ内のユーザ（ｕｓｅｒ＿ｄａｔａ）領域またはプライベート領域に記録されてよい。

または、図９によると、アドレス情報は第１リアルタイム伝送ストリームのＰＥＳ（Ｐｒｏｇｒａｍ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）内のリザーブ領域またはプライベートデータ領域に記録されてよい。

その他に、Ｈ.２６４規格の場合、アドレス情報はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）のうち、少なくとも一つに記録されてよい。

このようなアドレス情報は、メタデータファイルを獲得できるソース、すなわち、サーバに対するアドレス情報を意味する。

受信装置１００は、第１リアルタイム伝送ストリームに含まれたアドレス情報を用いて当該ソースにアクセスし、当該ソースからメタデータファイルを受信する。このように、メタデータファイルを管理する別途のサーバを利用するようになると、メタデータファイルを容易にアップデートすることができるようになる。

メタデータファイルは、基本的に、ＰＩＤ（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｅｒ）情報を含んでよい。その他に、別のチャネル間の連動サービスのために提供する各種リンク情報が含まれてよい。このようなリンク情報としては、当該チャネルと連結された３Ｄ付加映像サービスの元ネットワークＩＤであるｌｉｎｋ＿ｏｒｉｇｉｎａｌ＿ｎｅｔｗｏｒｋ＿ｉｄ、３Ｄ映像サービスチャネルまたは付加映像サービスを提供する無線周波数値であるｌｉｎｋｅｄ＿ｃａｒｒｉｅｒ＿ｆｒｅｑｕｅｎｃｙ、当該チャネルと連結された３Ｄ付加映像サービスを提供する論理チャネル数であるｌｉｎｋ＿ｌｏｇｉｃａｌ＿ｃｈａｎｎｅｌ＿ｎｕｍｂｅｒ、伝送ストリームをネットワーク上で区別するための識別子であるｌｉｎｋ＿ｔｒａｎｓｐｏｒｔ＿Ｓｔｒｅａｍ＿ｉｄ、伝送ストリーム内でサービスを区別するための識別子であるｌｉｎｋ＿ｓｅｒｖｉｃｅ＿ｉｄ、ｕｒｌ情報があることを報知する識別子であるｌｉｎｋ＿ｕｒｌ＿ｉｎｄｉｃａｔｏｒ、当該コンテンツの３Ｄ付加映像および情報を提供するｕｒｌアドレスであるｌｉｎｋ＿ｓｏｕｒｃｅ＿ＵＲＬ、ダウンロードおよびＮＲＴサービスの場合、ｌｉｎｋｉｎｇサービスが提供される時間であるｌｉｎｋ＿ｓｅｒｖｉｃｅ−ｓｔａｒｔ＿ｔｉｍｅ等があってよい。

その他に、メタデータファイルには提供される放送ストリームの変調（ｍｏｄｕｌａｔｉｏｎ）情報も含まれてよい。変調情報としては、ＳＣＴＥ＿ｍｏｄｅ＿１：６４−ＱＡＭ、ＳＣＴＥ＿ｍｏｄｅ＿２：２５６−ＱＡＭ、ＡＴＳＣ（８ＶＳＢ）、ＡＶＳＢ（１６ＶＳＢ）等があってよい。

一方、上述のように、通信網を通じて第２リアルタイム伝送ストリームが伝送されると、受信装置１００はそれを直ちに再生せずに、第１リアルタイム伝送ストリームとともに同期化させて再生しなければならない。よって、第２リアルタイム伝送ストリームに含まれた第２データの再生時間を調整できる情報を必要とする。このような情報は、メタデータファイルに追加されてよい。具体的には、同期化再生が必要なコンテンツであることを指示するｌｉｎｋｅｄＣｏｎｔｅｎｔｓ、同期化再生以前の時点にストリーミングチャネルを通じたコンテンツ要求が不可となるように指示するｐｌａｙａｂｌｅＲｅｓｔｒｉｃｔｉｏｎ、正確な再生開始時間を提供したり、スタートタイムオフセットを提供するｄｅｓｉｇｎａｔｅｄＰｌａｙＴｉｍｅのような情報をメタデータファイルに追加して伝送することができる。

ここで、ｄｅｓｉｇｎａｔｅｄＰｌａｙＴｉｍｅは、ＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ）フォーマットによる。受信装置１００では、ｄｅｓｉｇｎａｔｅｄＰｌａｙＴｉｍｅによって獲得した再生開始時間前までは第２データの再生を制限し、同期化再生のための同期化情報等を用いて同期化再生を行う。

一方、メタデータファイルには、同期化情報が追加されてよい。このような情報は、ｐｅｒｉｏｄレベルの要素として追加されてよい。同期化情報としては、ｓｔａｒｔＰＴＳ、ＰＴＳｄｉｆｆ、フレームインデックス等があってよい。

ｓｔａｒｔＰＴＳとは、マルチメディアコンテンツが開始される時点のタイムスタンプを示す。ｓｔａｒｔＰＴＳは、マルチメディアコンテンツの開始点を示す情報ということで、コンテンツスタート情報と呼ばれてよい。ＰＴＳｄｉｆｆとは、第１リアルタイム伝送ストリームの各フレームに付与されたタイムスタンプと、第２リアルタイム伝送ストリームの各フレームに付与されたタイムスタンプ間の差値を示す。

フレームインデックスとは、第２リアルタイム伝送ストリーム内の各イメージフレームのインデックスを示す。いくつかのｐｅｒｉｏｄに分けられている場合、各ピリオドの開始地点のフレームインデックスを示す。なお、インデックスの基準は、ストリーミングファイルの最初の１番目のフレームがインデックス＝１となる。その後、順次に、フレームインデックスを付与する。このようなインデックス情報は、第１リアルタイム伝送ストリームで伝送されるイメージフレームのフレームインデックスと一致するように設定される。

図１０は、フレームインデックス情報を含むＭＰＤファイルの表記方式の一例を示す。同図によると、ＭＰＤファイルには、フレームインデックス情報が表記される。互いに異なる経路を通じて相違なる信号が受信される場合、その信号処理および送信過程における時間差によって同じコンテンツを実現するためのデータのタイムスタンプが互いに異なってよい。このとき、フレームインデックス情報が知られると、受信装置１００は第１データおよび第２データで同じフレームインデックスを有するフレームのタイムスタンプを同じ値に補正したり、フレームインデックスそのものを比較して同じであれば、同時に再生して同期化を行うことができる。

図１１は、同期化情報をセグメント単位で区分して伝送するＨＴＴＰストリーミングの構造を示す。同図によると、送信装置２００−３は、ＭＰＤとともに同期化情報を提供することができる。上述のように、同期化情報は、マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、第１データおよび第２データの間のタイムスタンプ差値、フレームインデックス等を含んでよい。

以上のような同期化情報は、第１リアルタイム伝送ストリーム、第２リアルタイム伝送ストリームにもそれそれ含まれて伝送されてよいが、メタデータファイルに含まれる場合、第２リアルタイム伝送ストリームが伝送される前に予め同期化時点を知ることができるようになる。

以上のように、第１リアルタイム伝送ストリームおよび第２リアルタイム伝送ストリームにそれぞれ含まれる第１データおよび第２データは同時に処理され、一つのマルチメディアコンテンツを構成する。よって、第１および第２データは同時に製作されることが望ましい。

図１２は、第１および第２データを同時に製作し、二つの互いに異なる経路を通じて伝送する送信過程を説明するための図である。同図によると、一つのカメラ３１０で撮影されたマルチメディアコンテンツを第１データおよび第２データに分離する。分離されたデータは、符号化器３２０によってそれぞれ符号化された後、互いに異なる送信装置２００−１、２００−２にそれぞれ提供される。すなわち、基準映像に該当する第１データは符号化器３２０で符号化された後、送信装置１（２００−１）に提供される。送信装置１（２００−１）は、当該データを伝送ストリームに変換してＲＦ信号の形態で放送網を通じてブロードキャストする。

付加映像に該当する第２データは、アクセスユニット単位に分離されてエンコードされた後、送信装置２（２００−２）に提供される。送信装置２（２００−２）は、当該データをバッファリングし、通信網を通じて受信装置１００側に伝送する。送信装置２（２００−２）は、コンテンツ提供サーバ（Ｃｏｎｔｅｎｔｓ ｐｒｏｖｉｄｅ ｓｅｒｖｅｒ）と呼ばれてよい。送信装置２（２００−２）は、符号化器３２０から提供されるデータをバッファサイズだけ保存する。そして、受信装置１００からの要求があれば、要求されたデータを受信装置１００に提供する。

図１２では、一つの符号化器３２０が図示されているが、符号化器３２０の個数はデータの個数だけ複数個で実現されてよい。

図１３は、第１および第２データの送受信過程を説明するための図である。同図によると、第１データを含む第１リアルタイム伝送ストリームは送信装置１（２００−１）によってブロードキャストされて受信装置１００に伝送される。受信装置１００は、第１リアルタイム伝送ストリームに含まれたアドレス情報を検出した後、当該アドレス情報を用いてメタデータファイルを獲得する。受信装置１００は、メタデータファイルを用いて送信装置２（２００−２）にアクセスして第２データを要求する。

送信装置２（２００−２）は、要求に応じて第２データを含む第２リアルタイム伝送ストリームを受信装置１００に伝送する。第２データは、通信網の状態に応じて適応的に設定された少なくとも一つのサイズを有する複数のデータユニットを含む。すなわち、送信装置２（２００−２）は、通信網の状態、具体的には、通信帯域幅や通信速度等を考慮して、第２データのサイズを適応的に決定する。

第２データがビデオデータである場合、バッファに保存されている映像の解像度を通信帯域幅を考慮して決定することができる。すなわち、受信装置１００および送信装置２（２００−２）の間で要求等を送受信する過程で、通信帯域幅を測定することができる。送信装置２（２００−２）は測定された帯域幅を考慮して網状に最適化されている映像（仮に、ＳＤ級またはＨＤ級映像）を選択して受信装置１００に伝送する。それにより、遅延を最小限化することができる。

一方、上述のように、第１および第２リアルタイム伝送ストリームには、データとともに同期化情報が含まれてよい。上述のように、同期化情報にはコンテンツスタート情報、第１データおよび第２データの間のタイムスタンプ差値、フレームインデックス、タイムコード情報、ＵＴＣ情報、フレームカウント情報のうち、少なくとも一つがあってよい。

コンテンツスタート情報が同期化情報として使用される実施形態では、受信装置１００はその情報を用いてマルチメディアコンテンツの開始時点を把握する。受信装置１００が、図２のように実現される場合、信号処理部１６０がこのような動作を実行することができる。

信号処理部１６０は、第１データに含まれたフレームのタイムスタンプと第２データに含まれたフレームのタイムスタンプとを、開始時点とそれぞれ比較する。比較の結果によって、各データのフレームインデックスを抽出することができ、抽出されたフレームインデックスを用いて同期化を行う。

すなわち、第１信号のＬ２フレームのタイムスタンプと第２信号のＲ２フレームのタイムスタンプとが互いに異なるとしても、第１信号および第２信号が構成するコンテンツの開始時点とＬ２フレームのタイムスタンプの間の差、開始時点とＲ２フレームのタイムスタンプの間の差が同じである場合、Ｌ２フレームとＲ２フレームとを同期化してｎ＋１フレームを生成する。

信号処理部１６０は、コンテンツスタート情報とタイムスタンプとを比較し、フレームインデックスを検出することができる。仮に、第１信号でコンテンツスタート情報（ＰＴＳＨ＿Ｓｔａｒｔ）が１００であり、左眼映像Ｌ１フレームのタイムスタンプ（ＰＴＳ）が１００であれば、ＰＴＳ−ＰＴＳＨ＿Ｓｔａｒｔ＝０になる。次の左眼映像であるＬ２フレームのタイムスタンプ（ＰＴＳ）が１１５であれば、ＰＴＳ−ＰＴＳＨ＿Ｓｔａｒｔ＝１５になる。この場合、信号処理部１６０は、タイムスタンプインターバルを１５にしておき、Ｌ１フレームをｎ番目のフレーム、Ｌ２フレームをｎ＋１フレームにマッチングする。一方、第２信号で、コンテンツスタート情報が３００であり、Ｒ１フレームのタイムスタンプが３００、Ｒ２フレームのタイムスタンプが３３０であると仮定すると、信号処理部１６０はタイムスタンプインターバルを３０にしておき、Ｒ１フレームをｎ番目のフレーム、Ｒ２フレームをｎ＋１フレームにマッチングする。

信号処理部１６０は、マッチングされる両フレームのタイムスタンプが同様になるように、右眼映像フレームのタイムスタンプまたは左眼映像フレームのタイムスタンプを補正する。

フレームのフレーム右眼映像フレームは左眼映像フレームの次のフレームにマッチングする。信号処理部１６０は、右眼映像フレームのタイムスタンプを左眼映像フレームイの次のフレームのタイムスタンプと同様になるように補正し、同期化させる。

別の実施形態では、両データ間のタイムスタンプ差値が同期化情報として使用されてよい。すなわち、第１同期化情報および第２同期化情報はそれぞれ左眼映像のタイムスタンプおよび右眼映像のタイムスタンプ間の差値を含んでよい。この場合、信号処理部１６０は、その差値を反映して左眼映像のタイムスタンプおよび右眼映像のタイムスタンプの少なくとも一方を補正して同期化させる。

コンテンツスタート情報、タイムスタンプ差値情報等は、ＥＩＴ（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ、プライベートストリーム、伝送ストリームヘッダ等に記録されてよい。なお、以上のような様々な実施形態では、リアルタイム伝送ストリームが伝送される場合を説明しているが、第１または第２データが非リアルタイムストリームであるＭＰ４ファイルで伝送される場合には、このような同期化情報ｍｄｈｄやｓｔｔｓボックスに記録されてよい。ＭＰ４ファイルで伝送される場合、信号処理部１６０はタイムスケールやデュレーション（ｄｕｒａｔｉｏｎ）を用いてフレームレートを算出し、算出されたフレームレートを比較して再生時間を同期化させることもできる。すなわち、ＭＰ４ファイルのヘッダ内のＭｅｄｉａ Ｈｅａｄｅｒ Ｂｏｘ（ｍｄｈｄ）内に記録されたタイムスケールが２５０００であり、Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ ｔｏ Ｓａｍｐｌｅ Ｂｏｘ（ｓｔｔｓ）内に記録されたデータが１０００であれば、１０００／２５０００がフレームレートで算出される。よって、１／２５秒単位でフレームが再生されるため、両信号間の相対的な再生タイミング差を知ることができる。信号処理部１６０は、相対的な再生タイミングと開始タイミングとを用いて両信号を同期化させることができる。

更に別の実施形態では、フレームインデックス情報が同期化情報として使用されてよい。フレームインデックス情報は、各フレームごとに付与される識別情報を意味する。信号処理部１６０は、同じフレームインデックスを有するフレームのタイムスタンプが同様になるように補正を行うことができる。

図１４は、プログラムマップテーブル（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ：ＰＭＴ）を含むストリームの構成を示す。同図によると、ＰＭＴは、各送信装置２００−１、２００−２から伝送される第１信号、第２信号内に周期的に含まれて伝送される。上述のコンテンツスタート情報、タイムスタンプ差値、フレームインデックス等のような多様な同期化情報はこのようなＰＭＴ内に含まれて伝送されてよい。

図１５は、ＰＭＴの構造を示す図である。同図によると、各種同期化情報はＰＭＴ内のリザーブ領域（Ｒｅｓｅｒｖｅｄ ａｒｅａ）や新規ｄｅｓｃｒｉｐｔｏｒ、既存ｄｅｓｃｒｉｐｔｏｒの拡張領域等を用いて伝送されてよい。

図１６は、伝送ストリームのアダプテーションフィールドを用いて各種同期化情報を伝送する方式を説明するための図である。同図では、アダプテーションフィールド内にｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｉｎｄｉｃａｔｏｒ、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇ、ｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅ等が設けられる。ｒａｎｄｏｍ＿ａｃｃｅｓｓ＿ｉｎｄｉｃａｔｏｒは、１ビットで実現され、１にセットされる場合、シーケンスヘッダの開始を意味する。すなわち、伝送ストリームの任意の接近時点を示す。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇも、１ビットで実現され、１にセットされる場合、プライベートデータが１バイト以上存在することを意味する。ｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅは、４ないし５バイトで実現され、この部分にコンテンツスタート情報、タイムスタンプ差値、フレームインデックス等のような同期化情報が含まれてよい。

図１７は、ＰＥＳヘッダを利用した同期化情報伝達方法を示す。ＰＥＳパケットヘッダはフレーム単位で提供されるため、ＰＥＳ＿ｐｒｉｖａｔｅ＿ｄａｔａ部分に各種同期化情報を記録して伝送することができる。同図によると、ＰＥＳ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇを１にセットし、ＰＥＳ＿ｐｒｉｖａｔｅ＿ｄａｔａ部分に同期化情報を記録することができる。

図１８は、イベント情報テーブル（Ｅｖｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｂｌｅ：ＥＩＴ）を用いてコンテンツスタート情報やタイムスタンプ差値、フレームインデックス等のような同期化情報を伝達する方法を示す。このような情報は、ＥＩＴのｒｅｓｅｒｖｅｄ領域や新規または既存ｄｅｓｃｒｉｐｔｏｒ拡張領域に記録されて伝送されてよい。

図１９は、プライベートストリームを利用した同期化情報方式を示す。同図に示すように、コンテンツスタート情報、タイムスタンプ情報、フレームインデックス情報等の同期化情報が記録されたプライベートストリーム、すなわち、データビットストリームを基礎ストリーム（Ｐｒｏｇｒａｍ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ：ＰＥＳ）と別途に含めて伝送してよい。この場合、ＰＥＳヘッダのストリームＩＤは、予め定義され０ｘＢＤ、０ｘＢＦ以外に予約されている値の使用も可能である。その他に、タイムコードやＵＴＣやフレームカウント情報等もプライベートストリームを用いて伝送されてよい。それについては詳細に後述する。

図２０は、同期化情報のうち、フレームインデックスを含む伝送ストリーム構成の一例を示す。ＭＰＥＧ規格によると、伝送ストリームは、ビデオ、オーディオ、その他のデータを伝送する。各プログラムの情報は、プログラムマップテーブル（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ：ＰＭＴ）に記録される。

図２０では、フレームインデックスがＰＭＴに挿入された構造を示すが、別の実施形態では、ビデオストリームヘッダ、オーディオストリームヘッダ、ＴＳヘッダ等に挿入されてよい。同図によると、各ＰＭＴには、その次のフレームのフレームインデックスが記録される。各フレームの間に２つ以上のＰＭＴが提供される場合には、Ｈｙｂｒｉｄｓｔｒｅａｍ＿Ｉｎｆｏ＿Ｄｅｓｃｒｉｐｔｏｒ（）の値は、同じフレームインデックスを示すように定義する。送信装置のマルチプレクサでＩフレーム単位でＤｅｓｃｒｉｐｔｏｒ（）を挿入することができれば、データの重複を防止することもできる。

受信装置１００では、各ＰＭＴを参考にしてフレームのインデックスを検出した後、それを用いて第１信号および第２信号の各フレームを同期化させることができる。一方、データがリアルタイム伝送ストリームではない非リアルタイムストリーム形態で伝送される場合には、フレームインデックスはそれと異なる方式で提供されてよい。

図２１は、フレームインデックスが別途のプライベートストリームを通じて伝送される場合を示す図である。同図に示すように、第１信号でビデオまたはオーディオのようなマルチメディアストリームと別途にプライベートストリームが提供されてよく、当該プライベートストリームを通じて第２信号と同期化されるフレームインデックス値を提供することができる。この場合、第２信号も、図２１のような構造のリアルタイム伝送ストリームであれば、当該伝送ストリームのプライベートストリームからフレームインデックスを検出し、同期化させることができる。

更に別の実施形態では、タイムコード、ＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ）情報、フレームカウント情報等も同期化情報として使用されてよい。

図２２は、複数のカメラで撮影された映像のタイムコードを利用したリアルタイム伝送方式を説明するための図である。同図によると、複数のカメラで撮影された第１データおよび第２データはそれぞれ符号化された後、放送網または通信網を通じてそれぞれ伝送される。この場合、同一画面に対するデータである場合、当該データフレームに同じタイムコードが付与される。すなわち、第１データのフレーム５１、５２、５３と、第２データのフレーム６１、６２、６３はタイムスタンプ、すなわち、ＰＴＳは互いに異なるが、タイムコードは同様に生成される。このようなタイムコードは、受信端で同期化情報として使用されてよい。

タイムコードは、タイムコード生成器によって作られる一連のパルス信号として、容易な編集管理のために開発された信号規格である。コンテンツ製作および編集時には、左眼映像および右眼映像の同期化された管理のために、同じタイムコードを使用する。よって、タイムコードは、ストリーム生成または送出時点によらず同じペア（ｐａｉｒ）を保持することができる。

具体的には、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）タイムコードが使用されている。すなわち、ＳＭＰＴＥ １２Ｍでは、“時：分：秒：フレーム”の形式でタイムコードを表現する。ＳＭＰＴＥタイムコードは、記録方式によってＬＴＣ（Ｌｏｎｇｉｔｕｄｅ Ｔｉｍｅ Ｃｏｄｅ）またはＶＩＴＣ（Ｖｅｒｔｉｃａｌ Ｉｎｔｅｒｖａｌ Ｔｉｍｅ Ｃｏｄｅ）に区分されてよい。ＬＴＣは、テープの進行方向によって記録される。ＬＴＣの場合、視覚情報（２５ｂｉｔｓ）、ユーザ情報（３２ｂｉｔｓ）、同期情報（１６ｂｉｔｓ）、保存領域（４ｂｉｔｓ）、フレームモード表示（２ｂｉｔｓ）を含み、総８０ｂｉｔｓのデータで構成されてよい。ＶＩＴＣは、ビデオ信号の垂直帰線期間内の２つの水平ラインに記録される。

ＳＭＰＴＥ ＲＰ−１８８では、ＬＴＣまたはＶＩＴＣタイプのタイムコードがａｎｃｉｌｌａｒｙ ｄａｔａで伝送され得るインターフェース規格を定義している。タイムコードおよびタイムコードに関連する付加情報を新規定義し、このようなインターフェース規格に応じて伝送してよい。

タイムコードに関連する付加情報としては、左眼映像および右眼映像のタイムコードが一致していない場合に提供される他映像に対するタイムコード、現在の映像が立体映像か否かを報知するための２Ｄ／３Ｄ切り替え情報、立体映像の開始点情報等があってよい。このような付加情報は、ユーザ情報領域または保存領域（或いは、非割り当て領域）を通じて提供してよい。なお、タイムコードを含まないメディアの場合には、ネットワークプロトコールでタイムコード空間を拡張定義して使用することができる。例えば、ＲＴＰ ｈｅａｄｅｒ ｅｘｔｅｎｓｉｏｎを通じてタイムコードを提供することもできる。

図２３は、ＧｏＰヘッダ内にタイムコードが記録されたＭＰＥＧストリーム内でＧｏＰヘッダのシンタックス構造の一例を示す。同図によると、タイムコードは、２５ｂｉｔｓのデータで記録されてよい。同図に示すように、タイムコードはＧｏＰ単位で受信装置１００に伝達されてよい。

または、タイムコードは、プライベートストリームに記録されて伝送されてよい。すなわち、タイムコードが記録されたプライベートストリーム、すなわち、データビットストリームを基礎ストリーム（Ｐｒｏｇｒａｍ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ：ＰＥＳ）と別途に含めて伝送してよい。この場合、ＰＥＳヘッダのストリームＩＤは、予め定義され０ｘＢＤ、０ｘＢＦ以外に予約されている値の使用も可能である。その他に、ＵＴＣやフレームカウント情報等もタイムコードと類似するように伝送されてよい。

図２４は、ビデオストリームを利用してタイムコードを提供する場合のストリーム構造を示す。同図によると、タイムコードは、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：ＩＳＯ／ＩＥＣ １４４９６−１０）で定義するＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）を用いて伝送してよい。すなわち、同図に示すように、Ｐｉｃｔｕｒｅ ｔｉｍｉｎｇ ＳＥＩで定義すｓｅｃｏｎｄｓ＿ｖａｌｕｅ、ｍｉｎｕｔｅｓ＿ｖａｌｕｅ、ｈｏｕｒｓ＿ｖａｌｕｅ、ｎ＿ｆｒａｍｅｓを利用してタイムコードを伝達することができる。

図２５は、オーディオストリームを利用してタイムコードを提供する場合のストリーム構造を示す。同図に示すように、ＡＣ−３（ＡＴＳＣ Ａ／５２ ： ２０１０）によると、オーディオストリームはシンクフレーム（Ｓｙｎｃ Ｆｒａｍｅ）が連続的に並ぶ構造を有する。

シンクフレームの構成のうち、シンクフレームの情報を提供するｂｓｉ（Ｂｉｔ Ｓｔｒｅａｍ Ｉｎｆｏｒｍａｔｉｏｎ）領域でタイムコードに対する情報を提供することができる。

図２６は、タイムコードがＰＭＴを通じて提供される場合のＰＭＴシンタックス（ｓｙｎｔａｘ）を示す。同図によると、タイムコードは周期的に伝送されるＰＭＴのリザーブ（ｒｅｓｅｒｖｅｄ）またはｄｅｓｃｒｉｐｔｏｒを通じて提供されてよい。ＰＭＴ提供間隔は、同期化されたタイムコードを付与するためのＧｏＰ単位またはフレーム単位で構成されてよい。図２０においては、２つのフレームごとにＰＭＴが伝送されるとして示しているが、毎フレーム単位でタイムコードを含むＰＭＴが提供されてよい。上述のように、多様な情報が同期化情報として使用されてよく、その位置も多様に設定されてよい。

図２７は、リアルタイム伝送ストリームを送信する送信装置の一例を示すブロック図である。同図の送信装置は、図１のシステムで送信装置１、２のいずれか一方でも実現されてよいが、説明の便宜上、送信装置１で実現された場合を基準に説明する。送信装置は、ストリーム構成部７１０と、出力部７２０と、制御部７３０を含む。

ストリーム構成部７１０は、第１データおよび第１同期化情報を含む第１リアルタイム伝送ストリームを構成する。第１データとは、左眼映像および右眼映像のいずれか一方であってよい。この場合、左眼映像および右眼映像のいずれか他方の第２データは、他送信装置から受信装置に提供することができる。それにより、第１および第２データが組み合わせられて３Ｄイメージで表現されてよい。実施形態によっては、第１データはマルチメディアコンテンツを構成するビデオデータ、オーディオデータ、字幕データおよび付加データのうち、少なくとも一つのデータであってよい。なお、第１同期化情報とは、第１データおよび第２データの間の同期を取るための情報である。第１同期化情報の種類に対しては、上述しているため、繰り返し説明は省略する。

出力部７２０は、ストリーム構成部７１０で生成したストリームを受信装置１００側に伝送する。出力部７２０の細部構成は、ストリームの種類に応じて異なるように実現されてよい。仮に、図２７の送信装置が放送送信装置の場合、出力部４２０は、ＲＳエンコーダ、インターリーバ、トレリスエンコーダ、変調器等を含む形態で実現されてよい。または、図２７の送信装置がインターネットのようなネットワークを通じてストリームを伝送するウェブサーバである場合には、出力部７２０はＨＴＴＰプロトコールによって受信装置、すなわち、ウェブクライアントと通信するネットワークインターフェースモジュールで実現されてよい。

制御部７３０は、他送信装置の出力タイミングに合わせて第１リアルタイム伝送ストリームの出力タイミングを遅延させるように出力部７２０を制御する。ここで、他送信装置とは、第２データおよび第２同期化情報を含む第２リアルタイム伝送ストリームを送信する装置を意味する。第２データは、第１データとともに一つのマルチメディアコンテンツを構成するためのデータを意味する。

出力タイミングに対する情報は、放送番組時間情報を共有して合わせることができる。例えば、ビデオおよびオーディオを伝送する放送局、字幕のような付加データを伝送する第三者、関連するゲームを提供する第三者等のような多様なストリーム生成主体があってよい。このようなストリーム生成主体のうちの一つが、他の主体に対してタイムコードに基づいて時間計画を伝送することができる。各ストリーム生成主体は、時間計画を用いて同期化情報を生成して伝送ストリームに付加し、なお、伝送ストリームの伝送タイミングそのものを遅延させて他送信装置に合わせることができる。このような時間計画または同期化情報は、既存のＥＰＧで提供する時間スケジュールと違って、ストリーム生成端同期化のために、正確度をもつフレーム単位情報である。

または、各ストリーム生成主体は、基準時間サーバを通じて、基準時間、すなわち、ＰＣＲを提供されて共有することもできる。それにより、同じタイミングに発信が行われるか、自分の通信速度が他送信装置より速い場合には、伝送速度を遅延させることができる。なお、同じコンテンツのフレームに対して、同じＤＴＳ、ＰＴＳを生成して付加することもできるようになる。

制御部７３０は、このような遅延動作および同期化情報生成作業を行うように、ストリーム構成部７１０および出力部７２０を制御する。

説明の便宜上、図２７では、第１データを含むストリームを伝送する送信装置が伝送を遅延させるとして説明したが、第２データを含むストリームを伝送する他の送信装置が伝送を遅延させることもできる。この場合、その他の送信装置も図２７のような構成を有してよい。

なお、図２７のように、送信装置側でストリーム送信を遅延させるようになると、受信装置ではストリームを受信した後、遅延処理する必要がなくてよい。すなわち、送信装置と受信装置を含むシステム全体から考えると、ストリーム処理遅延作業は送信装置でのみ行われたり、受信装置でのみ行われてよい。よって、図２７のように、送信装置そのものがストリーム送信を遅延させるようになると、受信装置は、図１のような構成で実現されなくてよい。

図２８は、ＨＴＴＰストリーミング方式でリアルタイム伝送ストリームを伝送する送信装置の構成を示すブロック図である。同図によると、送信装置はストリーム構成部７１０および出力部７２０を含み、ストリーム構成部７１０は、符号化部７１１および多重化部７１２を含む。

図２８のストリーム構成部は、第１データおよびアドレス情報を含む第１リアルタイム伝送ストリームを構成する。アドレス情報は、第１データとともにマルチメディアコンテンツを構成する第２データを通信網から獲得することができるメタデータファイルに対するアドレス情報を意味する。具体的には、メタデータファイルを提供するサーバに対するＵＲＬ情報であってよい。

符号化部７１１は、コンテンツ制作者から第１データを提供される。符号化処理部４１２は第１データをエンコードして多重化部７１２に提供する。多重化部７１２は、エンコードされた第１データおよびアドレス情報を多重化して第１リアルタイム伝送ストリームを生成する。

一方、同期化情報とともに伝送する場合、符号化部７１１は、コンテンツ制作者からシグナリング情報とともに提供されてよい。シグナリング情報とは、同期化情報を生成するのに必要な基礎情報を意味する。符号化部７１１は、シグナリング情報を用いて同期化情報を生成した後、エンコードされた第１データに付加する。

同期化情報がコンテンツスタート情報である場合、符号化部７１１は、ＰＣＲに基づいて最初のフレームのタイムスタンプを生成し、そのタイムスタンプを同期化情報として付加する。または、タイムスタンプ差値が同期化情報として使用される場合、シグナリング情報は第２データを生成および送信する別の送信装置のＰＣＲに対する情報で実現されてよい。符号化部７１１は、シグナリング情報に基づいて第１および第２データ間のタイムスタンプ差値を同期化情報として生成した後、エンコードされた第１データに付加することができる。

一方、タイムコードが同期化情報として使用される場合、別途のシグナリング情報なしに第１データおよび同期化情報が符号化部７１１に入力されてよい。符号化処理部７１１は、第１データおよび同期化情報をそのままエンコードして多重化部４１３に提供する。なお、アドレス情報そのものも、符号化部７１１に同時に入力され、第１データ等とともにエンコードされてよい。

その他に、ＭＰＥＧ規格によるビデオデータ圧縮等を行う構成がストリーム構成部７１１に更に追加されてよいが、このような構成は図示および説明を省略する。

多重化部７１２は、符号化部７１１から生成されたデータに付加データをマキシングして伝送データを生成する。付加データとは、ＰＳＩＰ、ＥＰＧ情報等であってよい。

出力部７２０は、多重化部７１２から提供される伝送ストリームに対してチャネル符号化、変調等の処理を行って伝送信号に変換した後、チャネルを通じて伝送する。変調には、地上放送方式で使用される８ ＶＳＢ方式、ケーブルテレビのための高速データ率方式である１６ ＶＳＢ方式等が使用されてよい。

図２９は、本発明の更に別の実施形態に係る送信装置の構成を示す。同図の送信装置は、タイムコードを別途のプライベートストリームで処理して伝送する。同図によると、送信装置はＡ／Ｖエンコーダ部５１０と、タイムコード検出部５２０と、タイムコードエンコーダ部５３０と、マルチプレクサ５４０を含む。

Ａ／Ｖエンコーダ部５１０は、入力されるマルチメディアデータに含まれたＡ／Ｖデータをエンコードする。エンコード方式は、送信装置に適用された規格に応じて異なってよい。

タイムコード検出部５２０は、入力されるマルチメディアデータから映像のタイムコードを検出し、タイムコードエンコーダ部５３０に提供する。検出されるタイムコードは、タイムラインデータファイルで保存されてよい。この場合、タイムコードだけでなく、多様な付加情報も同時に検出されてタイムコードエンコーダ部５３０に同時に提供されてよい。

タイムコードエンコーダ部５３０は、検出されたタイムコードを適切な伝送フォーマットでエンカプセレート（ｅｎｃａｐｓｕｌａｔｅ）し、Ａ／Ｖエンコーダ部５１０と同様のプログラムシステムクロックを使用して算出されるプレゼンテーションタイムスタンプを組み合わせて、Ａ／Ｖエンコーダ部５１０で処理するＡ／Ｖ（Ａｕｄｉｏ／Ｖｉｄｅｏ）データと同期化させる。

タイムコードエンコーダ部５３０で処理されたタイムコード情報は、Ａ／Ｖエンコーダ部５１０で処理されたＡ／Ｖデータとともにマルチプレクサ５４０に提供される。マルチプレクサ５４０は、このようなデータをマルチプレキシングしてＭＰＥＧ２−ＴＳを出力する。

図２９には示していないが、送信装置にはパイロット挿入部と、変調部、インターリーバ、ランダム化部と、ＲＦアップコンバータ等のような多様な構成が追加されてよい。これらの構成は、送信装置の一般的な構成に該当するため、具体的な図示および説明は省略する。

図３０は、本発明の一実施形態に係るマルチメディアコンテンツ再生方法を説明するためのフローチャートである。

同図によると、第１リアルタイム伝送ストリームを受信し（Ｓ２２１０）、それと異なる通信網を通じて第２リアルタイム伝送ストリームを受信し（Ｓ２２２０）、両ストリームのうち、少なくとも一方を遅延させて同期化させる（Ｓ２２３０）。

その後、各ストリームから第１データおよび第２データを検出する（Ｓ２２４０）。そのうえ、検出された第１および第２データを組み合わせてマルチメディアコンテンツを構成した後（Ｓ２２５０）、再生する（Ｓ２２６０）。

図３１は、第２リアルタイム伝送ストリームを受信する方法を具体的に説明するためのフローチャートである。同図によると、第１リアルタイム伝送ストリームが受信されると、それを分析し（Ｓ２３１０）、アドレス情報を検出する（Ｓ２３２０）。そして、検出されたアドレス情報を用いて通信網にアクセスする（Ｓ２３３０）。

それにより、アドレス情報に対応するサーバからメタデータファイルを受信し（Ｓ２３４０）、そのメタデータファイルを用いてソースにアクセスする（Ｓ２３５０）。そして、当該ソースから第２リアルタイム伝送ストリームを受信する（Ｓ２３６０）。

第１および第２リアルタイム伝送ストリームは、それぞれ同期化情報を含んでよい。その他に、メタデータファイルの構成、ストリーム内でアドレス情報の記録位置等に対しては、既に具体的に説明しているため、繰り返し説明は省略する。

なお、第１および第２データは、左眼および右眼映像のように３Ｄコンテンツを構成するデータであってよく、各種ビデオ、オーディオ、字幕等のように、一つのマルチメディアコンテンツを構成する部分データであってよいことは、既に上述している。

上述の本発明の多様な実施形態に係る方法を実行するためのプログラムは、多様な記録媒体に保存して使用されてよい。

具体的には、上述の方法を実行するためのコードは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読取可能な多様な記録媒体に保存されていてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. 第１リアルタイム伝送ストリームを放送網を通じて受信する第１受信部と、
   第２リアルタイム伝送ストリームを通信網を通じて受信する第２受信部と、
   前記第１および第２リアルタイム伝送ストリームの少なくとも一方をディレイ（ｄｅｌａｙ）させて同期化する遅延処理部と、
   前記第１リアルタイム伝送ストリームから第１データを検出する第１検出部と、
   前記第２リアルタイム伝送ストリームから第２データを検出する第２検出部と、
   前記第１データおよび前記第２データを組み合わせてマルチメディアコンテンツを構成する信号処理部と、
   前記マルチメディアコンテンツを再生する再生部と
   を含む受信装置。
2. 前記第１リアルタイム伝送ストリームはアドレス情報を含み、
   前記第２受信部は、
   前記アドレス情報を用いて前記通信網内のサーバにアクセスして前記サーバからメタデータファイルを受信し、前記メタデータファイルを用いて前記第２リアルタイム伝送ストリームを受信し、前記メタデータファイルは前記第２リアルタイム伝送ストリームのソースに対する情報を含むことを特徴とする請求項１に記載の受信装置。
3. 前記アドレス情報は、
   前記第１リアルタイム伝送ストリームのＰＭＴ内のリザーブ領域、ＰＭＴ内のｄｅｓｃｒｉｐｔｏｒ領域、前記第１リアルタイム伝送ストリームのリザーブ領域、前記第１リアルタイム伝送ストリームのプライベートデータ領域、前記第１リアルタイム伝送ストリームのＰＥＳ内のリザーブ領域、前記第１リアルタイム伝送ストリームのＰＥＳ内のプライベートデータ領域、ＥＳヘッダ内のユーザ領域、ＥＳヘッダ内のプライベート領域、Ｈ.２６４規格である場合にＳＥＩのうち、少なくとも一つに記録されることを特徴とする請求項２に記載の受信装置。
4. 前記第２データは、
   前記通信網の状態に応じて適応的に設定された少なくとも一つのサイズを有する複数のデータユニットを含むことを特徴とする請求項１に記載の受信装置。
5. 前記第１データおよび前記第２データのいずれか一方は左眼映像を含み、他方は右眼映像を含み、前記マルチメディアコンテンツは３Ｄコンテンツであることを特徴とする請求項１ないし４のいずれか一項に記載の受信装置。
6. 前記第１リアルタイム伝送ストリームは第１同期化情報を含み、前記第２リアルタイム伝送ストリームは第２同期化情報を含み、前記第１および第２同期化情報は、前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差値、フレームインデックスのうち、少なくとも一つを含むことを特徴とする請求項５に記載の受信装置。
7. 前記第１および第２同期化情報を用いて、前記第１データに含まれた各フレームのタイムスタンプおよび前記第２データに含まれた各フレームのタイムスタンプのうち、少なくとも一方を補正し、補正されたタイムスタンプに応じて前記第１および第２データの各フレームを組み合わせ、前記マルチメディアコンテンツを構成するように前記信号処理部を制御する制御部を更に含むことを特徴とする請求項６に記載の受信装置。
8. 前記第１リアルタイム伝送ストリームは第１同期化情報を含み、前記第２リアルタイム伝送ストリームは第２同期化情報を含み、前記第１および第２同期化情報は映像フレームのタイムコード情報であることを特徴とする請求項５に記載の受信装置。
9. 送信装置において、
   第１データおよび第１同期化情報を含む第１リアルタイム伝送ストリームを構成するストリーム構成部と、
   前記第１リアルタイム伝送ストリームを出力する出力部と、
   第２リアルタイム伝送ストリームを出力する他送信装置の出力タイミングに合わせて、前記第１リアルタイム伝送ストリームの出力タイミングを遅延させるように前記出力部を制御する制御部と
   を含み、
   前記第２リアルタイム伝送ストリームは、第２データおよび第２同期化情報を含み、前記第１および第２データは、一つのマルチメディアコンテンツを構成するためのデータであり、前記第１同期化情報および前記第２同期化情報は、前記第１データおよび前記第２データの同期化のために伝送される情報であることを特徴とする送信装置。
10. 送信装置において、
    第１データおよびアドレス情報を含む第１リアルタイム伝送ストリームを構成するストリーム構成部と、
    前記第１リアルタイム伝送ストリームを出力する出力部と
    を含み、
    前記アドレス情報は、前記第１データとともにマルチメディアコンテンツを構成する第２データを通信網から獲得できるメタデータファイルに対するアドレス情報であることを特徴とする送信装置。
11. 受信装置のマルチメディアコンテンツ再生方法において、
    第１リアルタイム伝送ストリームを放送網を通じて受信するステップと、
    第２リアルタイム伝送ストリームを通信網を通じて受信するステップと、
    前記第１および第２リアルタイム伝送ストリームの少なくとも一方をディレイ（ｄｅｌａｙ）させて同期化するステップと、
    前記第１リアルタイム伝送ストリームから第１データを検出し、前記第２リアルタイム伝送ストリームから第２データを検出するステップと、
    前記第１データおよび前記第２データを組み合わせてマルチメディアコンテンツを構成するステップと、
    前記マルチメディアコンテンツを再生するステップと
    を含むマルチメディアコンテンツ再生方法。
12. 前記第２リアルタイム伝送ストリームを通信網を通じて受信するステップは、
    前記第１リアルタイム伝送ストリームに含まれたアドレス情報を検出するステップと、
    前記アドレス情報を用いて前記通信網内のサーバにアクセスし、前記サーバからメタデータファイルを受信するステップと、
    前記メタデータファイルを用いて前記第２リアルタイム伝送ストリームのソースにアクセスし、前記第２リアルタイム伝送ストリームを受信するステップと
    を含むことを特徴とするマルチメディアコンテンツ再生方法。
13. 前記第１データおよび前記第２データのいずれか一方は左眼映像を含み、他方は右眼映像を含み、前記マルチメディアコンテンツは３Ｄコンテンツであることを特徴とする請求項１２に記載のマルチメディアコンテンツ再生方法。
14. 前記第２データは、前記通信網の状態に応じて適応的に設定された少なくとも一つのサイズを有する複数のデータユニットを含むことを特徴とする請求項１１に記載のマルチメディアコンテンツ再生方法。
15. 前記第１リアルタイム伝送ストリームは第１同期化情報を含み、前記第２リアルタイム伝送ストリームは第２同期化情報を含み、前記第１および第２同期化情報は、前記マルチメディアコンテンツの開始地点を報知するコンテンツスタート情報、前記第１データおよび前記第２データの間のタイムスタンプ差値、フレームインデックス、タイムコードのうち、少なくとも一つを含むことを特徴とする請求項１４に記載のマルチメディアコンテンツ再生方法。

Images