JP2006014180A - データ処理装置、データ処理方法及びそのプログラム - Google Patents

Abstract

【課題】 複数のオブジェクトから構成される符号化されたマルチメディアデータを再生する際に、動画や音声等のメディアオブジェクトデータとシーンとが同期した合成、再生を確実に行うことができるデータ処理装置、データ処理方法及びそのプログラムを提供する。
【解決手段】 メディア復号回路１０４は、逆多重化回路１０２がマルチメディアデータを分離した複数のオブジェクトデータを復号化する。シーン記述データ復号回路１０３は、受信したマルチメディアデータに含まれるシーン記述データを復号化する。逆多重化回路１０２は、オブジェクトデータの読み込みを開始するタイミングでイベント発行命令を出力する。イベント発生回路１０５は、イベント発行命令に応じてイベントを発生する。シーン合成回路１０６は、イベントを受信したタイミングに応じてシーン記述データを基に、復号化した複数のオブジェクトデータの合成処理を行う。
【選択図】 図１

Description

本発明は、例えば符号化された動画像オブジェクトデータ、音声オブジェクトデータ、シーン記述データを含むマルチメディアデータを分離、復号化し、復号化されたデータを合成、出力するデータ処理装置、データ処理方法及びそのプログラムに関するものである。

動画像や音声を圧縮符号化し、多重化し、伝送若しくは蓄積し、これを逆多重化して復号する符号化標準の国際規格としてＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、及びＭＰＥＧ−２などが知られている。

一方、ＩＳＯ／ＩＥＣ １４４９６ ｐａｒｔ １（ＭＰＥＧ−４ Ｓｙｓｔｅｍｓ）では、静止画、動画像や音声、テキスト、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）など複数のオブジェクトを含むマルチメディアデータの符号化ビットストリームを多重化・同期する手法が標準化されている。

上述したようなＭＰＥＧ−４のデータストリームには、これまでの一般的なマルチメディアデータとは異なり、静止画像、動画像や音声に加え、テキストやＣＧなどの各オブジェクトを空間・時間的に配置するための情報として、ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）を自然動画像や音声が扱えるように拡張したＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅｓ）が含まれている。ここでＢＩＦＳはＭＰＥＧ−４のシーンを２値で記述する情報である。

このようなマルチメディアデータを構成する静止画、動画、音声等個々のオブジェクトは、それぞれ個別に最適な符号化が施されて送信されることになるので、復号側でも個別に復号され、上述のシーン記述情報に伴い時間的、空間的に配置され、個々のデータの持つ時間軸を再生機内部の時間軸に合わせて同期させ、シーンを合成し再生される。

又、一般的にシーンの構成を記述する方法としては、上述したＶＲＭＬ、ＢＩＦＳの他に、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）や、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）を用いて記述されるＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）、ＸＭＴ（ｅＸｔｅｎｓｉｂｌｅ ＭＰＥＧ−４ Ｔｅｘｔｕａｌ Ｆｏｒｍａｔ）などがある。

このようなマルチメディアデータのビットストリームを再生する際には、動画像や音声に加えて、シーン及びシーンを構成する各オブジェクトとも同期して合成し、再生することが要求される。そこで、オーディオとビデオとＣＧを同期して合成し、再生する手法が提案されている（例えば、特許文献１参照。）。

又、コンテンツデータの再生中に後続のコンテンツデータの先行取得をおこなうことにより、シーン記述情報による時刻指定を守った再生ができ、しかも再生開始まで、あるいは次に再生を開始するまでの遅延を小さくする手法が提案されている（例えば、特許文献２参照。）。

特開平１０−１３６２５９号公報 特開２００２−２６８９９９号公報

しかしながら、上記特許文献１に提案される方式は、動画像や音声を読み込み、再生を開始するまでに要する遅延に関しては何等言及されておらず、例えばネットワークを介して配信される動画像や音声の読み込みに時間を要した場合には、シーン記述情報の時間的な配置に従って動画像や音声を合成、再生することができないといった問題を有している。

又、上記特許文献２に提案される方式は、ネットワークを介して配信されるマルチメディアデータを受信して再生する場合に限定されている為、蓄積媒体から再生する場合に適用できず、又、ネットワークの通信速度や回線状況によっては動画像や音声とシーンとの同期が確実に取れるとは限らない、などの問題を有している。

又、上述したＶＲＭＬ、ＢＩＦＳといったシーン記述方法では、無限に高速で処理されるという動作環境を理想としているが、動画像や音声の読み込みは負荷の大きい作業であるため、現実の動作環境においては再生開始に時間を要する。このように再生開始に要する時間は、ネットワークの通信速度、回線状況や受信端末の処理能力に依存する。この為、通信速度が低い場合や回線が混雑している場合や、処理能力の低い受信端末を使用する場合等には、再生開始時、若しくはシーン記述データの更新時に、シーンとシーンを構成する動画像や音声等のメディアオブジェクトデータとの同期が取れないという問題を有している。

本発明は、上述した事情を考慮してなされたもので、動画、音声、静止画、テキスト、ＣＧ等、複数のオブジェクトから構成される符号化されたマルチメディアデータを再生する際に、動画や音声等のメディアオブジェクトデータとシーンとが同期した合成、再生を確実に行うことができるデータ処理装置、データ処理方法及びそのプログラムを提供することを目的とする。

この発明は、上述した課題を解決すべくなされたもので、本発明によるデータ処理装置においては、符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置であって、受信したマルチメディアデータをオブジェクトデータ単位で分離する分離手段と、分離手段が分離した複数のオブジェクトデータを復号化する一つ又は複数の第１の復号化手段と、マルチメディアデータに含まれる一部のデータとして又はネットワークと異なる通信経路で独立したデータとして符号化されたシーン記述データを受信した場合に、シーン記述データを復号化する第２の復号化手段と、分離手段がオブジェクトデータの読み込みを開始するタイミング又は、第１の復号化手段がオブジェクトデータを復号化するタイミングに応じてイベントを発生するイベント発生手段と、イベント発生手段が発生するイベントを受信したタイミングに応じて、第２の復号化手段が復号化したシーン記述データを基に、第１の復号化手段が復号化した複数のオブジェクトデータの合成処理を行うシーン合成手段とを備えることを特徴とする。

また、本発明によるデータ処理方法においては、符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置を用いたデータ処理方法であって、受信したマルチメディアデータをオブジェクトデータ単位で分離する分離ステップと、分離ステップで分離した複数のオブジェクトデータを復号化する一つ又は複数の第１の復号化ステップと、マルチメディアデータに含まれる一部のデータとして又はネットワークと異なる通信経路で独立したデータとして符号化されたシーン記述データを受信した場合に、シーン記述データを復号化する第２の復号化ステップと、分離ステップでオブジェクトデータの読み込みを開始するタイミング又は、第１の復号化ステップでオブジェクトデータを復号化するタイミングに応じてイベントを発行するイベント発行ステップと、イベント発生ステップで発生するイベントを受信したタイミングに応じて、第２の復号化ステップで復号化したシーン記述データを基に、第１の復号化ステップで復号化した複数のオブジェクトデータの合成処理を行うシーン合成ステップとを有することを特徴とする。

また、本発明によるプログラムは、符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置用のプログラムであって、受信したマルチメディアデータをオブジェクトデータ単位で分離する分離ステップと、分離ステップで分離した複数のオブジェクトデータを復号化する一つ又は複数の第１の復号化ステップと、マルチメディアデータに含まれる一部のデータとして又はネットワークと異なる通信経路で独立したデータとして符号化されたシーン記述データを受信した場合に、シーン記述データを復号化する第２の復号化ステップと、分離ステップでオブジェクトデータの読み込みを開始するタイミング又は、第１の復号化ステップでオブジェクトデータを復号化するタイミングに応じてイベントを発行するイベント発行ステップと、イベント発生ステップで発生するイベントを受信したタイミングに応じて、第２の復号化ステップで復号化したシーン記述データを基に、第１の復号化ステップで復号化した複数のオブジェクトデータの合成処理を行うシーン合成ステップとをコンピュータに実行させるためのプログラムである。

また、本発明による記録媒体は、符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置用のプログラムを記録した記録媒体であって、受信したマルチメディアデータをオブジェクトデータ単位で分離する分離ステップと、分離ステップで分離した複数のオブジェクトデータを復号化する一つ又は複数の第１の復号化ステップと、マルチメディアデータに含まれる一部のデータとして又はネットワークと異なる通信経路で独立したデータとして符号化されたシーン記述データを受信した場合に、シーン記述データを復号化する第２の復号化ステップと、分離ステップでオブジェクトデータの読み込みを開始するタイミング又は、第１の復号化ステップでオブジェクトデータを復号化するタイミングに応じてイベントを発行するイベント発行ステップと、イベント発生ステップで発生するイベントを受信したタイミングに応じて、第２の復号化ステップで復号化したシーン記述データを基に、第１の復号化ステップで復号化した複数のオブジェクトデータの合成処理を行うシーン合成ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によるデータ処理装置、データ処理方法及びそのプログラムは、複数のオブジェクトから構成されるマルチメディアデータから各オブジェクトを分離し、再生する際に、動画像や音声等のメディアオブジェクトデータとシーンとが同期した合成や再生を、通信回線の種類や回線状況や端末の処理能力に関わらず、確実に行うことができるという効果が得られる。

以下、図面を用いて本発明の実施形態について説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態としてのマルチメディアデータ受信装置（以下、単に受信装置とする）１０１の基本構成を示す図である。図１においては、回路構成を示すと共に、各回路間でのデータの流れも合わせて示している。

図１に示すように、受信装置１０１は、逆多重化回路（分離手段）１０２、シーン記述データ復号回路（第２の復号化手段）１０３、メディア復号回路（第１の復号化手段）１０４、イベント発生回路１０５、シーン合成回路１０６、及び出力機器１０７により構成されている。図１において、１００は各種ネットワークに代表される伝送路であり、本実施形態においては加工、符号化されたマルチメディアデータが配信されてくるネットワークである。ここで、本実施形態においては伝送路１００からマルチメディアデータを取得しているが、このように放送ネットワークや通信ネットワークといった通信路を介して取得する方法に限定されるものではなく、例えばＤＶＤ−ＲＡＭ等の記録媒体からマルチメディアデータを読み出すことで取得する方法であってもよい。

受信装置１０１は、伝送路１００を介してネットワーク経由で配信されたマルチメディアデータを受信すると、逆多重化回路１０２に入力する。逆多重化回路１０２は、受信したマルチメディアデータを、シーン記述データや、静止画や動画像、音声などのメディアオブジェクトデータ等に分離し、それぞれシーン記述データ復号回路１０３、メディア復号回路１０４へ出力する。尚、上述したように、受信装置１０１は、記録媒体からデータを読み出す構成を備えることで、記録媒体から読み込んだマルチメディアデータを逆多重化回路１０２に入力してもよい。

又、図１において、メディア復号回路１０４は一つであるが、本実施形態においては、静止画像オブジェクトデータ、動画像オブジェクトデータ、音声オブジェクトデータについて、複数のオブジェクトがマルチメディアデータ内に存在しても復号可能な装置であり、例えばメディア復号回路１０４は静止画像用、動画像用、音声用に各々複数の復号回路から構成されているものとする。

又、上記静止画像オブジェクトデータは、例えば周知のＪＰＥＧ方式にて高能率（圧縮）符号化されたデータである。又、上記動画像オブジェクトデータは、例えば周知のＭＰＥＧ−２やＭＰＥＧ−４、Ｈ２６３方式にて高能率符号化されたデータである。又、上記音声オブジェクトデータは、例えば周知のＣＥＬＰ（Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ）、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、変換領域重み付けインターリーブベクトル量子化（ＴＷＩＮＶＱ）符号化などの高能率符号化が施されたデータである。

符号化が施されたシーン記述データ、メディアオブジェクトデータは、それぞれシーン記述データ復号回路１０３とメディア復号回路１０４において復号され、シーン合成回路１０６に供給される。シーン合成回路１０６は、復号されたシーン記述データに基づいてシーンと復号されたメディアオブジェクトデータを合成する。このようにして得られた最終的なマルチメディアデータ列は、ディスプレイやスピーカー、プリンタなどに代表される出力機器１０７に供給され、再生されることになる。

また、逆多重化回路１０２は、各々のノードに関連する動画像や音声の読み込みを開始すると、イベント発生回路１０５へイベント発行命令を送信する機能（発行命令手段）を有する。イベント発行命令を受信したイベント発生回路１０５は、シーン合成回路１０６へイベントを送信する。

次に、本実施形態における受信装置１０１が受信するマルチメディアデータのデータ構造について具体例を示して説明する。
図２は、本実施形態におけるマルチメディアデータ２００全体のデータ構造例を示す図である。図２に示すように、マルチメディアデータ２００は、シーン記述データ２０１及びメディアデータ２０２〜２０５等のパケットから構成される。シーン記述データ２０１は、シーンを構成するメディアデータ２０２〜２０５よりも先に送信され、受信装置１０１においても、シーン記述データ２０１、メディアデータ２０２〜２０５の順でデータを取得する。

上記シーン記述データ２０１、メディアデータ２０２〜２０５の各パケットには、パケットヘッダ部に同期管理の為の時間情報（ＤＴＳ、ＣＴＳ等）が付加される。ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）は、シーン記述データ復号回路１０３とメディア復号回路１０４の前段にある図示しない復号化バッファに当該パケットが到着していなければならない時刻を示す情報である。また、ＣＴＳ（Ｃｏｍｐｏｓｉｔｉｏｎ ｔｉｍｅ Ｓｔａｍｐ）は、シーン記述データ復号回路１０３とメディア復号回路１０４の後段にある図示しないコンポジションメモリに当該パケットが存在しなければならない時刻を示す情報である。各パケットはパケット毎に付加されたパケットヘッダ部のＤＴＳの時刻で復号され、ＣＴＳ以降の時刻で有効になる。前述したような、無限に高速で処理を行うことが出来る理想的な動作環境においては、上記時間情報ＤＴＳ、ＣＴＳに従って、メディアデータを復号処理し再生することが可能である。

ここで、図２に示したシーン記述データ２０１の記述について具体例を示して説明する。図３は、図２に示したシーン記述データ２０１の記述例を示す図である。図３に示すように、シーン記述データ２０１は、シーン記述言語として例えばＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅｓ）を用いて記述されたＢＩＦＳデータ３００のような記述構成となる。ここで、シーンとは、視聴者に提示される画面や時間的な構成であり、ＭＰＥＧ−４のシステムパートではシーン記述言語として、前述したＢＩＦＳが規格化されている。ここでは簡単の為、図３に示すようにＢＩＦＳデータをテキストとして表記する。

ＢＩＦＳデータ３００は、Ｇｒｏｕｐノード３０１で始まる。全てのＢＩＦＳはＳＦＴｏｐＮｏｄｅと呼ばれる種類のノードで始まるが、Ｇｒｏｕｐノード３０１はＳＦＴｏｐＮｏｄｅの一つである。このＧｒｏｕｐノード３０１の子ノード（ｃｈｉｌｄｒｅｎフィールド）に、動画像に関する情報がＴｒａｎｓｆｏｒｍ２Ｄノード３０２として記述されている。Ｔｒａｎｓｆｏｒｍ２Ｄノード３０２は、キーワードＤＥＦを使用してＭＯＶＩＥという名称で定義されている。以下、Ｔｒａｎｓｆｏｒｍ２Ｄノード３０２を単にＭＯＶＩＥ３０２とする。

実際に表示される動画像データは、ＭｏｖｉｅＴｅｘｔｕｒｅノード３０３によって定義され、フィールドｕｒｌに記述された"ｔｅｓｔ．ｍｐｅｇ"が動画像オブジェクトデータの所在を示している。ここで"ｔｅｓｔ．ｍｐｅｇ"は例えばＭＰＥＧ１−Ｖｉｄｅｏの動画ファイルフォーマットである。

又、ＴｉｍｅＳｅｎｓｏｒノード３０４は、時間の経過と共にイベントを発生し、時刻０秒（フィールドｓｔａｒｔＴｉｍｅ ０）から１秒間（フィールドｃｙｃｌｅＩｎｔｅｒｖａｌ １）、０．０〜１．０の範囲でｆｒａｃｔｉｏｎ＿ｃｈａｎｇｅｄイベントを出力する。ＴｉｍｅＳｅｎｓｏｒノード３０４は、キーワードＤＥＦを使用してＴＩＭＥＲという名称で定義される。以下、ＴｉｍｅＳｅｎｓｏｒノード３０４を単にＴＩＭＥＲ３０４とする。

ＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ２Ｄノード３０５は、補完子ノードの一つである。０〜１の入力値（フィールドｋｅｙ［０ １］）に対して線形補間を実行し、（１，１）〜（２，２）の値（フィールドｋｅｙＶａｌｕｅ［１，１ ２，２］）をｖａｌｕｅ＿ｃｈａｎｇｅｄイベントとして出力し、例えば０．５の入力値に対して、（１．５，１．５）を出力する。ＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ２Ｄノード３０５は、キーワードＤＥＦを使用して、ＳＣＡＬＥという名称で定義される。以下、ＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒ２Ｄノード３０５を単にＳＣＡＬＥ３０５とする。

ＴＩＭＥＲ３０４のｆｒａｃｔｉｏｎ＿ｃｈａｎｇｅｄ出力イベントは、ＲＯＵＴＥ文３０６によって、ＳＣＡＬＥ３０５のｓｅｔ＿ｆｒａｃｔｉｏｎ入力イベントにルート接続される。このＲＯＵＴＥ接続により、線形補間が実行され、その結果はＳＣＡＬＥ３０５のｖａｌｕｅ＿ｃｈａｎｇｅｄ出力イベントとして送出される。

さらに、ＳＣＡＬＥ３０５のｖａｌｕｅ＿ｃｈａｎｇｅｄ出力イベントは、ＲＯＵＴＥ文３０７によって、ＭＯＶＩＥ３０２のフィールドｓｃａｌｅにルート接続される。このＲＯＵＴＥ接続により、動画像ＭＯＶＩＥ３０２の表示スケールが変更される。

このようにＢＩＦＳデータ３００によると、時刻０秒から１秒間、動画像オブジェクトデータ"ｔｅｓｔ．ｍｐｅｇ"のスケールは（１，１）から（２，２）まで拡大されることになる。例えば０．５秒時には、幅、高さ共１．５倍のスケールで表示される。尚、ここではその他のノード、フィールドに関しての詳細な説明は省略する。

次に、図３に示したＢＩＦＳデータ３００を含むマルチメディアデータ例及び、そのマルチメディアデータに対する動作環境による復号、再生処理の違いについて説明する。
図４（ａ）は、図３に示したＢＩＦＳデータ３００を含むマルチメディアデータ例を示す図である。図４（ａ）に示すように、マルチメディアデータ４００は、前述のＢＩＦＳデータ３００と動画像オブジェクトデータ“ｔｅｓｔ．ｍｐｅｇ"の各フレームＦｒａｍｅＮ（Ｎ＝０，１，２，…）とから構成される。また、図４（ｂ）は、図４（ａ）に示した、マルチメディアデータ４００に対する動作環境による復号、再生処理の違いを示す図である。

本実施形態では、マルチメディアデータ４００を構成するＢＩＦＳデータ３００のパケットには、ＤＴＳ、ＣＴＳとして０（ｍｓｅｃ（ミリ秒））が付加され、動画像オブジェクトデータ“ｔｅｓｔ．ｍｐｅｇ"の各フレームＦｒａｍｅＮにはＤＴＳ、ＣＴＳとして５０×Ｎ（ｍｓｅｃ）が付加されているものとする。

上述したＤＴＳ、ＣＴＳが付与されたマルチメディアデータ４００を復号、再生処理した場合、図４（ｂ）の上段に示すように理想的な動作環境においては、ＢＩＦＳデータ３００及び動画像オブエジェクトデータＦｒａｍｅ０（４０１）は、時刻０ｍｓｅｃで復号、再生される。又、動画像オブジェクトデータＦｒａｍｅ１０（４０２）は、時刻５００（ｍｓｅｃ）で復号、再生される。同様に、動画像オブジェクトデータＦｒａｍｅ２０（４０３）は、時刻１０００（ｍｓｅｃ）で復号、再生され、動画像オブジェクトデータＦｒａｍｅ３０（４０４）は、時刻１５００（ｍｓｅｃ）で復号、再生される。このように、無限に高速で処理される理想的な動作環境においては、ＢＩＦＳデータ３００及び動画像オブジェクトデータＦｒａｍｅＮは、時間情報ＤＴＳ、ＣＴＳに従って理想的なタイミングで復号、再生処理がなされる。

ここで、図４（ｂ）の上段に示すような理想的なタイミングでマルチメディアデータ４００が復号、再生処理された場合の画面例について説明する。
図５は、図４（ｂ）の上段に示すような理想的なタイミングでマルチメディアデータ４００が復号、再生処理された場合の画面例を時間経過と共に示した図である。図５に示すように、時刻０ｍｓｅｃ時に、動画像Ｆｒａｍｅ０（４０１）が幅、高さのスケールがそれぞれ等倍で再生される（画面５００）。次に、時刻５００ｍｓｅｃ時に、動画像Ｆｒａｍｅ１０（４０２）が幅、高さのスケールがそれぞれ１．５倍で再生される（画面５０１）。同様に、時刻１０００ｍｓｅｃ、１５００ｍｓｅｃ時に、動画像Ｆｒａｍｅ２０（４０３）、Ｆｒａｍｅ３０（４０４）が幅、高さのスケールがそれぞれ２倍で再生される（画面５０２、画面５０３）。このように、動画像オブジェクトデータの各フレームＦｒａｍｅＮは、コンテンツ作成者の意図したスケールで時間情報ＤＴＳ、ＣＴＳに応じたタイミングで再生される。

ところが、伝送路１００が接続されているネットワークの通信速度が低い場合や、回線が混雑している場合や、受信装置１０１の処理能力が低い場合等には、マルチメディアデータ４００中のＢＩＦＳデータ３００に後続する動画像オブジェクトデータＦｒａｍｅＮの受信処理や、復号処理に遅延が発生する場合が考えられる。このような場合には、時間情報ＤＴＳ、ＣＴＳに応じたタイミングで動画像オブジェクトデータＦｒａｍｅＮの復号、再生を行うことができない場合がある。図４（ｂ）の下段は、時間情報ＤＴＳ、ＣＴＳに応じたタイミングで動画像オブジェクトデータＦｒａｍｅＮの復号、再生を行うことができない場合を示している。

具体的には図４（ｂ）の下段に示す遅延環境は、動画像オブジェクトデータの受信や復号に５００ｍｓｅｃの遅延が発生した場合の例である。すなわち、ＢＩＦＳデータ３００は、時刻０ｍｓｅｃで復号、再生されるが、動画像オブジェクトデータの各フレーム４０１〜４０４は、各々の時間情報ＤＴＳ、ＣＴＳより５００ｍｓｅｃ遅れて復号、再生される。

ここで、図４（ｂ）の下段に示すような遅延の発生する遅延環境でマルチメディアデータ４００が復号、再生処理された場合の画面例について説明する。
図６は、図４（ｂ）の下段に示すような遅延の発生する遅延環境でマルチメディアデータ４００に対して従来の復号、再生処理が行われた場合の画面例を示す図である。図６に示すように、動画像の各フレームは、復号、再生処理のタイミングがずれたことにより、コンテンツ作成者が意図したものとは異なるスケールで再生されることになる。

つまり、時刻０ｍｓｅｃ時には、ＢＩＦＳデータ３００は復号されているが、動画像Ｆｒａｍｅ０（４０１）の復号がなされていない為、何も表示されない（画面６００）。次に、時刻５００ｍｓｅｃ時には、時刻０ｍｓｅｃで表示されるべき動画像Ｆｒａｍｅ０（４０１）が、幅、高さのスケールがそれぞれ１．５倍で再生される（画面６０１）。次に、時刻１０００ｍｓｅｃ時には、時刻５００ｍｓｅｃで表示されるべき動画像Ｆｒａｍｅ１０（４０２）が、幅、高さのスケールがそれぞれ２倍で再生される（画面６０２）。次に、時刻１５００ｍｓｅｃ時に、時刻１０００ｍｓｅｃで表示されるべき動画像Ｆｒａｍｅ２０（４０３）が、幅、高さのスケールがそれぞれ２倍で再生される（画面６０３）。時刻２０００ｍｓｅｃ時に、時刻１５００ｍｓｅｃで表示されるべき動画像Ｆｒａｍｅ３０（４０４）が、幅、高さのスケールがそれぞれ２倍で再生される（画面６０４）。

このように遅延の発生する環境において従来の復号、再生処理を行うと、シーン記述データは時間情報に従って復号、再生されるので、時間経過と共にシーン（フィールド値等）を変化するが、後続のメディアオブジェクトデータの受信、復号に遅延が発生した場合には、シーン記述データとメディアオブジェクトデータの同期が取れなくなるという問題がある。

本実施形態における受信装置１０１は、イベント発生回路１０５を備えることで、上記した遅延の発生する環境においても、シーン記述データとメディアオブジェクトデータを同期して再生を行うことができる。以下に、イベント発生回路１０５の発生するイベントを利用してシーン記述データに基づき複数のメディアオブジェクトデータを合成する処理について、図７及び図８のフローチャートを用いて説明する。

図７は、受信装置１０１がシーン記述データを受信した際に、シーン合成回路１０６がシーン記述データとメディアオブジェクトデータを合成する処理示すフローチャートである。図７では、特にシーン合成回路１０６の処理について説明しているが、図７のステップＳ７０１の前に、逆多重化回路１０２が、受信したマルチメディアデータに対して逆多重化処理を行い、シーン記述データ復号回路１０３及びメディア復号回路１０４が、逆多重化処理された各データに復号処理を行っている。尚、マルチメディアデータに含まれるシーン記述データは、前述したようにメディアオブジェクトデータよりも先に送信されるか、又は送信側からシーンを意図的に更新するために再送される。

まず、シーン合成回路１０６は、シーン記述データ復号回路１０３から、復号されたシーン記述データを読み込む（ステップＳ７０１）。次に、シーン合成回路１０６は、読み込んだシーン記述データからシーンを解析する（ステップＳ７０２）。次に、シーン合成回路１０６は、解析の結果、シーン記述データが動画像や音声、静止画像などのメディアデータを参照するか否かを判断する（ステップＳ７０３）。この判断は、例えばシーン記述データとしてＢＩＦＳを用いた場合には、ＭｏｖｉｅＴｅｘｔｕｒｅ／ＡｕｄｉｏＣｌｉｐ／ＩｍａｇｅＴｅｘｔｕｒｅノードに代表される、メディアデータを参照するノードが含まれるか否かにより、判断する。

例えば図３に示したＢＩＦＳデータ３００の例では、ＭｏｖｉｅＴｅｘｔｕｒｅノード３０３が含まれているので、シーン合成回路１０６は、メディアデータを参照すると判断する（ステップＳ７０３の“はい”）。

上記ステップＳ７０３において、シーン中にメディアデータの参照がないと判断した場合（ステップＳ７０３の“いいえ”）には、シーン合成回路１０６は、メディアデータを合成する必要はなく、ステップＳ７０１で読み込んだシーン記述データをそのまま合成し、出力する（ステップＳ７０７）。

また、上記ステップＳ７０３において、シーン中にメディアデータの参照があると判断した場合（ステップＳ７０３の“はい”）には、シーン合成回路１０６は、現在の時刻が当該メディアデータの再生開始時刻になったか否かを判断する（ステップＳ７０４）。この判断には、例えば前述のＡｕｄｉｏＣｌｉｐノードの場合には、ｓｔａｒｔＴｉｍｅフィールドから判断することができ、現時刻がｓｔａｒｔＴｉｍｅを超えた時点でメディアデータの開始時刻になったと判断する。又、前述のＭｏｖｉｅＴｅｘｔｕｒｅノードの場合には、開始時刻でなくとも、逆方向の再生が指定されていなければ、現時刻で開始時刻になったと判断する。その理由は、ＭｏｖｉｅＴｅｘｔｕｒｅノードは、現時刻がｓｔａｒｔＴｉｍｅを超えていても、ｓｐｅｅｄフィールドの値が負でなければ、動画像の最初のフレーム（図４の例では、Ｆｒａｍｅ０（４０１））を表示する必要があるからである。又、前述のＩｍａｇｅＴｅｘｔｕｒｅノードには開始時刻を表すフィールドはないため、同様に現時刻で開始時刻であると判断する。

上記ステップＳ７０４で現時刻が当該メディアデータの開始時刻になっていないと判断された場合（ステップＳ７０４の“いいえ”）には、シーン合成回路１０６は、現時刻において当該メディアデータを合成する必要はなく、シーン記述データが他にメディアデータを参照するかどうかを判断する（ステップＳ７０８）。一方、現時刻が当該メディアデータの開始時刻であると判断された場合（ステップＳ７０４の“はい”）には、シーン合成回路１０６は、イベント発生回路１０５から送信されるイベントを受信したかどうかを判断する（ステップＳ７０５）。

この判断処理の内容は、逆多重化回路１０２がシーン中のメディアデータの読み込みを開始することで、イベント発生回路１０５が、シーン合成回路１０６へ送信するイベントが用いられる。例えばシーン記述データとしてＢＩＦＳを用いた場合には、ＭｏｖｉｅＴｅｘｔｕｒｅノードやＡｕｄｉｏＣｌｉｐノードのｄｕｒａｔｉｏｎ＿ｃｈａｎｇｅｄイベントがイベント発生回路１０５からシーン合成回路１０６へ送信され、判断に用いられる。逆多重化回路１０２は各々のノードに関連する動画像や音声の読み込みを開始すると、イベント発生回路１０５へイベント発行命令を送信する。イベント発行命令を受信したイベント発生回路１０５はシーン合成回路１０６へｄｕｒａｔｉｏｎ＿ｃｈａｎｇｅｄイベントを送信する。ｄｕｒａｔｉｏｎ＿ｃｈａｎｇｅｄイベントは動画像や音声の継続時間を秒で示したものであるが、値が−１のときは、動画像、音声がまだ読み込まれていないか、何らかの理由で使用できないことを意味する。

例えば、図３に示したＢＩＦＳデータ３００の例では、逆多重化回路１０２は動画像オブジェクトデータ"ｔｅｓｔ．ｍｐｅｇ"の読み込みを開始すると、イベント発生回路１０５へイベント発行命令を送信する。イベント発行命令を受信したイベント発生回路１０５は、シーン合成回路１０６へＭｏｖｉｅＴｅｘｔｕｒｅノードのｄｕｒａｔｉｏｎ＿ｃｈａｎｇｅｄイベントを送信することになる。

イベント発生回路１０５からイベントを受信したと判断した場合（ステップＳ７０５の“はい”）には、シーン合成回路１０６は、メディア復号回路１０４から復号されたメディアオブジェクトデータを読み込む（ステップＳ７０７）。次に、ステップＳ７０８に進み、シーンが他にメディアデータを参照するかどうかを判断する。ここで、参照が無いと判断した場合（ステップＳ７０８の“いいえ”）には、シーン合成回路１０６は、ステップＳ７０７で読み込んだメディアデータをシーン記述データと共に合成して、出力機器１０７へ出力する（ステップＳ７０９）。

イベント発生回路１０５からイベントを受信していないと判断した場合（ステップＳ７０５の“いいえ”）とは、回線状況の混雑や受信装置１０１の処理能力が低い為、メディアデータの読み込みが開始していないか、その他何らかの理由で使用できない場合である。この場合、シーン合成回路１０６は、メディア復号回路１０４から復号されたメディアオブジェクトデータを読み込むことはできず、イベント発生回路１０５からイベントが送信されるのを待機して（ステップＳ７０６）、再度ステップＳ７０５の処理を行う。イベントが送信されるまでの間、シーンは時間が経過しても変化せず、フィールド値も更新しない。よって図３のＢＩＦＳデータ３００の例では、ＴＩＭＥＲ３０４は時刻５００ｍｓｅｃを経過するまでの間ｆｒａｃｔｉｏｎ＿ｃｈａｎｇｅｄイベントの出力を行わない。

又、ステップＳ７０８で、シーンが他のメディアデータを参照する場合（ステップＳ７０８の“はい”）には、シーン合成回路１０６は、当該メディアオブジェクトデータの開始時刻になったかどうかを判断するべく、ステップＳ７０４へと処理を移行する。

図８は、既にシーン記述データを読み込み済みの場合に、受信装置１０１のシーン合成回路１０６がシーン記述データとメディアオブジェクトデータを合成する処理を示すフローチャートである。すなわち、図８の処理は、図７に示した処理に続く処理である。

まず、シーン合成回路１０６は、既に読み込み済みのシーン記述データのフィールド値を、時間経過と共に変化させる（ステップＳ８０１）。図３のＢＩＦＳデータ３００の例では、ＴＩＭＥＲ３０４が経過した時間に従ってｆｒａｃｔｉｏｎ＿ｃｈａｎｇｅｄイベントを出力する。

次に、シーン合成回路１０６は、シーン中のメディアデータで未開始のメディアデータがあるか否かを判断する（ステップＳ８０２）。図３のＢＩＦＳデータ３００にはＭｏｖｉｅＴｅｘｔｕｒｅノード３０３が含まれるが、図７に示したステップＳ７０４で既に再生が開始されていると判断され、未開始のメディアデータは無いと判断する。

このように、未開始のメディアデータがないと判断された場合（ステップＳ８０２の“いいえ”）には、シーン中にメディアデータの参照がないか、既に全てのメディアデータの再生を開始しているので、シーン合成回路１０６は、シーン記述データを合成して出力する（ステップＳ８０８）。

また、シーン中に未開始のメディアデータがあると判断された場合（ステップＳ８０２の“はい”）には、シーン合成回路１０６は、現在の時刻が当該メディアデータの開始時刻になったかどうかを判断する（ステップＳ８０３）。この判断は、図７に示したステップＳ７０４と同様の処理である。

現時刻が当該メディアデータの開示時刻になっていないと判断された場合（ステップＳ８０３の“いいえ”）には、シーン合成回路１０６は、現時刻において当該メディアデータを合成する必要はなく、ステップＳ８０７へと処理を進める。

又、現時刻が当該メディアデータの開始時刻であると判断された場合（ステップＳ８０３の“はい”）には、当該メディアデータの読み込みが開始したかどうかを判断する為、シーン合成回路１０６は、イベント発生回路１０５からのイベント受信が完了したかどうかを判断する（ステップＳ８０４）。この判断は、図７に示したステップＳ７０５と同様の処理である。

上記イベント受信が完了したと判断された場合には、シーン合成回路１０６は、メディア復号回路１０４から復号されたメディアオブジェクトデータを読み込み（ステップＳ８０６）、シーン中に他に未開始のメディアデータがあるか否かを判断し（ステップＳ８０７）、無ければシーン記述データと共に合成して、出力機器１０７へ出力する（ステップＳ８０８）。

一方、イベント受信が未完了と判断された場合には、図７に示したステップＳ７０６と同様に、シーン合成回路１０６は、イベント発生回路１０５からイベントが送信されるのを待機する（ステップＳ８０５）。

又、ステップＳ８０７で、他に未開始のメディアデータが存在する場合（ステップＳ８０７の“はい”）には、シーン合成回路１０６は、当該メディアデータが開始時刻になったかどうかを判断するべく、ステップＳ８０３へと処理を移行する。

図９は、図７、図８のフローチャートに基づいて、前述した遅延の発生する環境において、マルチメディアデータ４００が時間経過と共に再生される画面例を示した図である。
図９に示すように、時刻０ｍｓｅｃ時には、ＢＩＦＳデータ３００は復号されているが、動画像オブジェクトデータの復号が完了していない為、何も表示されない（画面６００）。時刻５００ｍｓｅｃ時には、動画像オブジェクトデータＦｒａｍｅ０（４０１）が幅、高さのスケールがそれぞれ等倍で表示される（画面５００）。動画像オブジェクトデータＦｒａｍｅ０（４０１）の読み込みが開始されるまで、シーン合成回路１０６は時間が経過してもシーンを変化しない（ＴＩＭＥＲ３０４がｆｒａｃｔｉｏｎ＿ｃｈａｎｇｅｄイベントを出力しない）為、ＭＯＶＩＥ３０２のｓｃａｌｅフィールド値は（１，１）のままである。

時刻１０００ｍｓｅｃ時には、動画像オブジェクトデータＦｒａｍｅ１０（４０２）が幅、高さのスケールがそれぞれ１．５倍で表示される（画面５０１）。時刻１５００ｍｓｅｃ時には、動画像オブジェクトデータＦｒａｍｅ２０（４０３）が幅、高さのスケールがそれぞれ２倍で表示される（画面５０２）。時刻２０００ｍｓｅｃ時には、動画像オブジェクトデータＦｒａｍｅ３０（４０４）が幅、高さのスケールがそれぞれ2倍で表示される（画面５０３）。

このように、本実施形態の受信装置１０１によれば、シーン合成回路１０６は、メディアデータの開始時間となっても、イベント発生回路１０５からのイベントを受信するまでシーンを停止して待機することができる。これにより、図９に示すように、動画像フレームＦｒａｍｅ０の復号処理を待つために、最初の画面（画面５００）の再生処理において５００ｍｓｅｃの遅延はあるものの、以降の画面（画面５０１〜５０３の画面）は図５で示される理想環境と同様に再生することができる。すなわち、本実施形態の受信装置１０１によれば、複数のオブジェクトから構成されるマルチメディアデータから各オブジェクトを分離し、再生する際に、動画像や音声等のメディアオブジェクトデータとシーン記述データで管理されるシーンとが同期した合成や再生を、通信回線の種類や回線状況や端末の処理能力に関わらず、確実に行うことができる。

上述した実施形態において図３、図４に示した例では説明を分かり易くする為に、シーンの構成は動画像だけとしたが、シーンを構成するメディアオブジェクトとしては、動画像に限られるものではなく、音声や静止画等を用いることが可能である。よって、シーンとの同期を取るための制御対象物も動画像に限られるものではなく、動画像を構成するオブジェクトや、音声、静止画等のいずれであっても適用可能である。

［第２の実施形態］
上述した第１の実施形態では、受信装置１０１がマルチメディアデータを受信すると、逆多重化回路１０２が受信したマルチメディアデータをシーン記述データとメディアオブジェクトデータに分離し、それぞれの復号回路１０３、１０４へ入力する構成としたが、その構成と異なる構成である第２の実施形態における受信装置１０００について以下に説明する。

図１０は、第２の実施形態における受信装置１０００の概略構成を示す図である。図１０に示すように、受信装置１０００は、シーン記述データをメディアオブジェクトデータと異なる経路（伝送路１００）で受信する構成である。尚、図１０において符号１００、１０２〜１０７に示すように、図１と同じ機能のものには同じ符号を付与している。

本実施形態の受信装置１０００は、シーン記述データを受信すると、メディアオブジェクトデータとは異なる伝送路１００（図１０の上側）を介してシーン記述データ復号回路１０３へ入力する。また、シーン記述データと異なる伝送路１００（図１０の下側）を介して多重化されたメディアオブジェクトデータは、第１の実施形態と同様に、逆多重化回路１０２へ入力する。入力されたメディアオブジェクトデータは、逆多重化回路１０２おいて逆多重化され、それぞれのメディア復号回路１０４へ入力される。また、本実施形態の受信装置１０００における処理フローは、図７、図８に示した第１の実施形態における受信装置１０１の処理フローと同様である。

本実施形態で示した受信装置１０００によると、シーン記述データとしてＶＲＭＬやＳＭＩＬ等を用い、シーン記述データと符号化されたメディアデータを同一のストリームに多重化しない構成のマルチメディアデータを再生するに際して、第１の実施形態の目的と同様に、シーンとメディアオブジェクトデータとの同期した合成、再生を、通信回線や回線状況、端末の処理能力に関わらず、確実に行うことが可能になる。

［第３の実施形態］
第１の実施形態では、イベント発生回路１０５は、逆多重化回路１０２がシーン中のメディアデータの読み込みを開始すると、シーン合成回路１０６へイベントを送信する構成としたが、その構成と異なる構成である第３の実施形態における受信装置１１００について以下に説明する。

図１１は、第３の実施形態における受信装置１１００の概略構成を示す図である。図１１に示すように、受信装置１１００のイベント発生回路１０５は、メディア復号回路１１４におけるメディアデータ復号処理の状況に応じてイベントを発生する構成である。尚、図１１において符号１００、１０２、１０３、１０５〜１０７に示すように、図１と同じ機能のものには同じ符号を付与している。

図１に示した第１の実施形態における受信装置１０１の処理能力が低い場合、メディア復号回路１０４は復号処理に時間を要する為、シーンとメディアデータ間の同期が取れなくなる可能性がある。そこで本実施形態では、メディア復号回路１１４が、メディアデータの復号処理を完了すると、イベント発生回路１０５へイベント発行命令を送信する機能（発行命令手段）を有する。イベント発行命令を受信したイベント発生回路１０５は、シーン合成回路１０６へイベントを送信する構成とする。また、本実施形態の受信装置１１００における処理は、図７、図８に示した第１の実施形態における受信装置１０１の処理と同様である。

以上より、本実施形態で示した受信装置１１００によれば、メディアオブジェクトデータの復号処理の進捗を考慮してシーンの進行を制御するので、複数のオブジェクトから構成される符号化されたマルチメディアデータを再生するに際して、特に動画や音声等のメディアオブジェクトデータの復号に時間を要しても、シーンとメディアオブジェクトデータとの同期した合成、再生を、通信回線や回線状況、端末の処理能力に関わらず、確実に行うことが可能になる。

［第４の実施形態］
上述した第２の実施形態では、イベント発生回路１０５は、逆多重化回路１０２がシーン中のメディアデータの読み込みを開始すると、シーン合成回路１０６へイベントを送信する構成としたが、その構成と異なる構成である第４の実施形態における受信装置１２００について以下に説明する。

図１２は、第４の実施形態における受信装置１２００の概略構成を示す図である。図１２に示すように、受信装置１２００のイベント発生回路１０５は、メディア復号回路１１４のメディアデータ復号処理の状況に応じてイベントを発生する構成である。尚、図１２において符号１００、１０２、１０３、１０５〜１０７に示すように、図１０と同じ機能のものには同じ符号を付与している。

図１０に示した第２の実施形態における受信装置１０００の処理能力が低い場合、メディア復号回路１０４は復号処理に時間を要する為、シーンとメディアデータ間の同期が取れなくなる可能性がある。そこで本実施形態では、メディア復号回路１１４がメディアデータの復号処理を完了すると、イベント発生回路１０５へイベント発行命令を送信し、イベント発行命令を受信したイベント発生回路１０５は、シーン合成回路１０６へイベントを送信する構成とする。

以上より、本実施形態で示した受信装置１２００によれば、メディアオブジェクトデータの復号処理の進捗を考慮してシーンの進行を制御するので、複数のオブジェクトから構成される符号化されたマルチメディアデータを再生するに際して、特に動画や音声等のメディアオブジェクトデータの復号に時間を要しても、シーンとメディアオブジェクトデータとの同期した合成、再生を、通信回線や回線状況、端末の処理能力に関わらず、確実に行うことが可能になる。

［その他の実施形態］
また、上述した実施形態では、受信装置内の各機能を回路により実現したが、これに限定されるものではない。受信装置内の各機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体をシステムあるいは装置に提供し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって受信装置内の各機能を実現してもよい。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現するためのものであり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

上述した、プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれていることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現されてもよい。

また、上記のプログラムコードを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施形態としてのマルチメディアデータ受信装置１０１の基本構成を示す図である。 本実施形態におけるマルチメディアデータ２００全体のデータ構造例を示す図である。 図２に示したシーン記述データ２０１の記述例を示す図である。 図３に示したＢＩＦＳデータ３００を含むマルチメディアデータ例と、そのマルチメディアデータ例に対する動作環境による復号、再生処理の違いを示す図である。 図４に示すような理想的なタイミングでマルチメディアデータ４００が復号、再生処理された場合の画面例を時間経過と共に示した図である。 図４に示すような遅延の発生する遅延環境でマルチメディアデータ４００に対して従来の復号、再生処理が行われた場合の画面例を示す図である。 受信装置１０１がシーン記述データを受信した際に、シーン合成回路１０６がシーン記述データとメディアオブジェクトデータを合成する処理示すフローチャートである。 既にシーン記述データを読み込み済みの場合に、シーン合成回路１０６がシーン記述データとメディアオブジェクトデータを合成する処理を示すフローチャートである。 図７、図８のフローチャートに基づいて、前述した遅延の発生する環境において、マルチメディアデータ４００が時間経過と共に再生される画面例を示した図である。 第２の実施形態における受信装置１０００の概略構成を示す図である。 第３の実施形態における受信装置１１００の概略構成を示す図である。 第４の実施形態における受信装置１２００の概略構成を示す図である。

符号の説明

１００ 伝送路
１０１ マルチメディアデータ受信装置
１０２ 逆多重化回路
１０３ シーン記述データ復号回路
１０４、１１４ メディア復号回路
１０５ イベント発生回路
１０６ シーン合成回路
１０７ 出力機器
１０００、１１００、１２００ マルチメディアデータ受信装置（受信装置）

Claims (6)

1. 符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置であって、
   受信した前記マルチメディアデータを前記オブジェクトデータ単位で分離する分離手段と、
   前記分離手段が分離した複数の前記オブジェクトデータを復号化する一つ又は複数の第１の復号化手段と、
   前記マルチメディアデータに含まれる一部のデータとして又は前記ネットワークと異なる通信経路で独立したデータとして符号化された前記シーン記述データを受信した場合に、前記シーン記述データを復号化する第２の復号化手段と、
   前記分離手段が前記オブジェクトデータの読み込みを開始するタイミング又は、前記第１の復号化手段が前記オブジェクトデータを復号化するタイミングに応じてイベントを発生するイベント発生手段と、
   前記イベント発生手段が発生する前記イベントを受信したタイミングに応じて、前記第２の復号化手段が復号化した前記シーン記述データを基に、前記第１の復号化手段が復号化した複数の前記オブジェクトデータの合成処理を行うシーン合成手段と
   を備えることを特徴とするデータ処理装置。
2. 前記シーン合成手段は、前記イベント発生手段が発生する前記イベントを受信するまで前記合成処理を待機することを特徴とする請求項１に記載のデータ処理装置。
3. 前記マルチメディアデータは、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４の規格に準じたデータであり、前記シーン記述データが、ＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅｓ）、ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）、又はＸＭＴ（ｅＸｔｅｎｓｉｂｌｅ ＭＰＥＧ−４ Ｔｅｘｔｕａｌ Ｆｏｒｍａｔ）のいずれかにより記述されたデータである場合に、前記イベント発生手段は、前記ＢＩＦＳ、前記ＶＲＭＬ、前記ＳＭＩＬ、又は前記ＸＭＴにおいて定義される動画像又は音声に関連するノードに対する所定のイベントを発生することを特徴とする請求項１又は２に記載のデータ処理装置。
4. 符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置を用いたデータ処理方法であって、
   受信した前記マルチメディアデータを前記オブジェクトデータ単位で分離する分離ステップと、
   前記分離ステップで分離した複数の前記オブジェクトデータを復号化する一つ又は複数の第１の復号化ステップと、
   前記マルチメディアデータに含まれる一部のデータとして又は前記ネットワークと異なる通信経路で独立したデータとして符号化された前記シーン記述データを受信した場合に、前記シーン記述データを復号化する第２の復号化ステップと、
   前記分離ステップで前記オブジェクトデータの読み込みを開始するタイミング又は、前記第１の復号化ステップで前記オブジェクトデータを復号化するタイミングに応じてイベントを発行するイベント発行ステップと、
   前記イベント発生ステップで発生する前記イベントを受信したタイミングに応じて、前記第２の復号化ステップで復号化した前記シーン記述データを基に、前記第１の復号化ステップで復号化した複数の前記オブジェクトデータの合成処理を行うシーン合成ステップと
   を有することを特徴とするデータ処理方法。
5. 符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置用のプログラムであって、
   受信した前記マルチメディアデータを前記オブジェクトデータ単位で分離する分離ステップと、
   前記分離ステップで分離した複数の前記オブジェクトデータを復号化する一つ又は複数の第１の復号化ステップと、
   前記マルチメディアデータに含まれる一部のデータとして又は前記ネットワークと異なる通信経路で独立したデータとして符号化された前記シーン記述データを受信した場合に、前記シーン記述データを復号化する第２の復号化ステップと、
   前記分離ステップで前記オブジェクトデータの読み込みを開始するタイミング又は、前記第１の復号化ステップで前記オブジェクトデータを復号化するタイミングに応じてイベントを発行するイベント発行ステップと、
   前記イベント発生ステップで発生する前記イベントを受信したタイミングに応じて、前記第２の復号化ステップで復号化した前記シーン記述データを基に、前記第１の復号化ステップで復号化した複数の前記オブジェクトデータの合成処理を行うシーン合成ステップと
   をコンピュータに実行させるためのプログラム。
6. 符号化された動画像及び／又は音声に関するオブジェクトデータを一つ又は複数含むマルチメディアデータをネットワーク経由で受信してシーン記述データに応じて再生処理するデータ処理装置用のプログラムを記録した記録媒体であって、
   受信した前記マルチメディアデータを前記オブジェクトデータ単位で分離する分離ステップと、
   前記分離ステップで分離した複数の前記オブジェクトデータを復号化する一つ又は複数の第１の復号化ステップと、
   前記マルチメディアデータに含まれる一部のデータとして又は前記ネットワークと異なる通信経路で独立したデータとして符号化された前記シーン記述データを受信した場合に、前記シーン記述データを復号化する第２の復号化ステップと、
   前記分離ステップで前記オブジェクトデータの読み込みを開始するタイミング又は、前記第１の復号化ステップで前記オブジェクトデータを復号化するタイミングに応じてイベントを発行するイベント発行ステップと、
   前記イベント発生ステップで発生する前記イベントを受信したタイミングに応じて、前記第２の復号化ステップで復号化した前記シーン記述データを基に、前記第１の復号化ステップで復号化した複数の前記オブジェクトデータの合成処理を行うシーン合成ステップと
   をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images