JP2001119302A

JP2001119302A - 符号化装置、復号装置、情報処理システム、情報処理方法、及び記憶媒体

Info

Publication number: JP2001119302A
Application number: JP29445499A
Authority: JP
Inventors: Mitsuru Maeda; 充前田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-10-15
Filing date: 1999-10-15
Publication date: 2001-04-27

Abstract

(57)【要約】【課題】カテゴリを超えてオブジェクトの再生を可能
にすることで、幅広い装置間でオブジェクトの共有が可
能となる情報処理システムを提供する。【解決手段】復号側１３０，１４０において、通知手
段１３１，１４１は、自装置の状態（自装置が有する復
号機能）を取得し、その状態情報を符号化側１１０に通
知する。符号化側１１０において、符号化手段１１４，
１１７，１１９は、復号側１３０，１４０からの状態情
報により、符号化情報の出力先の復号装置が対応可能な
符号化方式での情報の符号化を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、コンピュ
ータグラフィクス（以下、「ＣＧ」と言う）の記述言語
と自然画像を統合的に扱う符号化方式によって得られた
符号化データの処理を行う装置やシステムに用いられる
符号化装置、復号装置、情報処理システム、情報処理方
法、及びそれを実施するための処理ステップをコンピュ
ータが読出可能に格納した記憶媒体に関するものであ
る。

【０００２】

【従来の技術】従来より例えば、動画像の符号化方式と
して、フレーム内符号化方式である「ＭｏｔｉｏｎＪ
ＰＥＧ」や「ＤｉｇｉｔａｌＶｉｄｅｏ」等の符号化
方式や、フレーム間予測符号化を用いた「Ｈ．２６
１」、「Ｈ．２６３」、「ＭＰＥＧ−１」、「ＭＰＥＧ
−２」等の符号化方式が知られている。

【０００３】上述のような符号化方式は、ＩＳＯ（Ｉｎ
ｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎ
ｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化
機構）やＩＴＵ（ＩｎｔｅｎａｔｉｏｎａｌＴｅ１ｅ
ｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ：国際電気通信
連合）によって国際標準化されている。

【０００４】また、コンピュータ、放送、通信等、多く
の分野で利用できる、汎用的な次世代マルチメディア符
号化規格として、「ＭＰＥＧ−４」符号化方式の国際標
準化作業が進められている。

【０００５】「ＭＰＥＧ−４」は、いままでのフレーム
又はフィールド単位の符号化方式とは異なり、オブジェ
クト単位に符号化できるという特徴を有し、アニメーシ
ョンやＣＧといった技術も統合的に扱えるようになって
いる。これにより、人の顔や体のアニメーションを符号
化（ＦＢＡ符号化）したり、テクスチャを貼ったメッシ
ュを符号化（メッシュ符号化）したり、或いは、静止画
像を符号化することも同じ符号化方式の中で可能とな
る。

【０００６】また、「ＭＰＥＧ−４」は、従来のメディ
ア間の同期等を実現させることを重視したシステムで用
いられる符号化方式とは異なり、ＣＧで用いられるよう
な、シーンの記述を行えるようになっている。これによ
り、複数のオブジェクトの表示方法や属性を表すことが
可能となる。

【０００７】上記のシーンの記述は、ＣＧの世界で広く
用いられているＶＲＭＬ（ＶｉｒｔｕａｌＲｅａｌｉ
ｔｙＭｏｄｅｌｉｎｇＬａｎｇｕａｇｅ）をべ一ス
としたＢＩＦＳ（ＢｉｎａｒｙＦｏｒｍａｔｆｏｒ
Ｓｃｅｎｅ）によって行われる。これについての詳細
は、「ＭＰＥＧ−４」符号化方式のシステムパート（Ｉ
ＳＯ／ＩＥＣ１４４９６−１）に記載されている。こ
れにより、統合的なビジュアル、オーディオの同期、Ｃ
Ｇの記述による画像の合成が可能となる。

【０００８】上述のような「ＭＰＥＧ−４」符号化方式
を採用したシステムとして、例えば、図１１に示すよう
なデータ処理システム８００がある。このデータ処理シ
ステム８００は、「ＭＰＥＧ−４」符号化方式に従った
符号化処理を行なうＭＰＦＧ−４符号化装置（以下、単
に「符号化装置」と言う）８１０と、符号化装置８１０
での符号化処理後のデータを復号するＭＰＥＧ−４復号
装置（以下、単に「復号装置」と言う）８２０とが接続
された構成としている。

【０００９】符号化装置８１０は、シーン設定器８１
１、ＢＩＦＳ符号化部８１２、記憶部８１３、ビジュア
ル符号化部８１４、記憶部８１５、オーディオ符号化部
８１６、及ぶ多重化器８１７から構成されている。

【００１０】復号装置８２０は、分離器８２１、ＢＩＦ
Ｓ復号部８２２、レンダリング器８２３、ビジュアル復
号部８２４、合成器８２５、ディスプレイ８２６、オー
ディオ復号部８２７、及びスピーカ８２８から構成され
ている。

【００１１】上述のような構成において、まず、符号化
装置８１０の記憶部８１３には、撮像して得られた自然
画像の動画像（以下、このような動画像を「ビデオ」と
言う）や顔や体の構成と動きをＣＧで表したデータ、テ
クスチャをメッシュで表現したデータ等が蓄積されてい
る。また、記憶部８１５には、録音して得られたオーデ
ィオデータが蓄積されている。

【００１２】そこで、例えば、符号化装置８１０にてユ
ーザは、シーン設定器８１１により、記憶部８１３や記
憶部８１５からシーンに必要な画像データやオーディオ
データを選択し、その表示や出力のタイミングを決定す
る。また、シーン記述に必要なＣＧを構成する。このよ
うなユーザからの指示に従って、シーン設定器８１１
は、自然画像の動画像や音声の出力方法、ＣＧで生成す
る画像のコマンド等のシーン記述情報を生成する。

【００１３】ＢＩＦＳ符号化部８１２は、シーン設定器
８１０で生成されたシーン記述情報を符号化する。

【００１４】また、記憶部８１３から選択された画像デ
ータは、ビジュアル符号化部８１４に対して入力され
る。

【００１５】ビジュアル符号化部８１４は、記憶部８１
３からの画像データを、ＭＰＥＧ−４符号化方式のビジ
ュアルパート（ＩＳＯ／ＩＥＣ１４４９６−２）に記
載された符号化方式で符号化する。具体的には、ビジュ
アル符号化部８１４は、ビデオを符号化するビデオ符号
化や、非自然画像符号化方式としてのＦＢＡ符号化、メ
ッシュ符号化、静止画像を符号化する静止画像符号化等
の各種符号化方式での符号化が可能となっており、符号
化対象の画像データに適した符号化方式で当該データの
符号化を行なう。

【００１６】また、記憶部８１５から選択されたオーデ
ィオデータは、オーディオ符号化器８１６に対して入力
される。

【００１７】オーディオ符号化部８１６は、記憶部８１
５からのオーディオデータを、ＭＰＥＧ−４符号化方式
のオーディオパート（ＩＳＯ／ＩＥＣ１４４９６−
３）に記載された符号化方式で符号化する。具体的に
は、オーディオ符号化器８１６は、音声用（例えば、Ｃ
ＥＬＰ符号化）や、音響用（例えば、ＡＡＣ符号化）、
或いは文字コードを音声合成するための記述用（例え
ば、ＴＴＳ符号化）等の各種符号化方式での符号化が可
能となっており、符号化対象のオーディオデータに適し
た符号化方式で当該データの符号化を行なう。

【００１８】多重化器８１７は、ＢＩＦＳ符号化部８１
２にて得られた符号化後のデータ（ＢＩＦＳ符号化デー
タ）、ビジュアル符号化部８１４にて得られた符号化後
のデータ（ビジュアル符号化データ）、及びオーディオ
符号化部８１６にて得られた符号化後のデータ（オーデ
ィオ符号化データ）を、ＭＰＥＧ−４符号化方式のシス
テムパートに記載された多重化方式に従って多重化して
出力する。

【００１９】符号化装置８１０から出力された多重化デ
ータは、復号装置８２０に対して入力され、その分離器
８２１によってそれぞれの符号化データに分離される。
すなわち、分離器８２１は、符号化装置８１０の多重化
器８１７での多重化動作とは逆の動作によって、多重化
器８１７の出力を、ＢＩＦＳ符号化データ、ビジュアル
符号化データ、及びオーディオ符号化データに分離す
る。

【００２０】ＢＩＦＳ復号部８２２は、分離器８２１で
の分離により得られたＢＩＦＳ符号化データを復号し、
シーン記述をするためのＣＧのコマンド等を再生する。
レンダリング器８２３は、ＢＩＦＳ復号部８２２にて再
生されたＣＧのコマンド等に従ってレンダリングを行っ
て画像データ（ＣＧ画像等）を生成する。

【００２１】ビジュアル復号部８２４は、分離器８２１
での分離により得られたビジュアル符号化データを復号
し、画像データを再生或いは生成する。このとき、ビジ
ュアル復号部８２４は、復号対象の符号化データに適し
た復号方式（当該符号化データで用いられた符号化方式
に対応する復号方式）によって当該符号化データを復号
する。

【００２２】合成器８２５は、レンダリング器８２３及
びビジュアル復号器８２４にて再生或いは生成された画
像データを合成する。ディスプレイ８２６は、合成器８
２５にて得られた合成画像データを表示する。

【００２３】オーディオ復号部８２７は、分離器８２１
での分離により得られたオーディオ符号化データを復号
レてオーディオデータを再生する。このとき、オーディ
オ復号部８２７は、復号対象のオーディオ符号化データ
に適した復号方式（当該符号化データで用いられた符号
化方式に対応する復号方式）によって当該符号化データ
を復号する。

【００２４】スピーカ８２８は、オーディオ復号部８２
７にて再生されたオーディオデータを音として出力す
る。

【００２５】上述のように、「ＭＰＥＧ−４」符号化方
式は非常に多機能であり、種々のメディアを統合的に扱
うことができる。しかしながら、それらの機能を全てそ
ろえるには非常に大規模な構成が不可欠となる。このた
め、プロファイルとレベルという概念を用い、いくつか
のカテゴリに分類している。これにより、単にビデオを
再生するだけの端末（ビデオ再生専用の端末装置）や、
ＣＧ等を自由に扱える装置等、各種の装置に幅広く対応
できるようになった。

【００２６】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の符号化方式では、同カテゴリの端末では
再生できるオブジェクトの種類は保証されているが、カ
テゴリが異なるものについてはオブジェクトが再生され
ないといった問題が生じていた。このため、例えば、Ｃ
Ｇ等を自由に扱える符号化装置で作成した符号化データ
を、ビデオ再生専用の端末装置で再生することができな
かった。

【００２７】そこで、本発明は、上記の欠点を除去する
ために成されたもので、カテゴリを超えてオブジェクト
の再生を可能にすることで、幅広い装置或いはシステム
間でオブジェクトの共有が可能となる、符号化装置、復
号装置、情報処理システム、情報処理方法、及びそれを
実施するための処理ステップをコンピュータが読出可能
に格納した記憶媒体を提供することを目的とする。

【００２８】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、複数種類の符号化方式によって任意の情
報を符号化することが可能な符号化装置であって、上記
符号化の結果である符号化情報の復号側の状態を取得す
る復号側状態取得手段と、上記復号側状態取得手段にて
得られた復号側状態情報に基づいて、上記複数種類の符
号化方式から選択した符号化方式により情報の符号化を
行なう符号化手段とを備えることを特徴とする。

【００２９】第２の発明は、上記第１の発明において、
上記符号化手段は、上記複数種類の符号化方式に対応し
た複数の符号化手段と、上記復号側状態情報に基づい
て、符号化対象となる情報を上記複数の符号化手段から
選択した符号化手段へ与える情報供給手段とを含むこと
を特徴とする。

【００３０】第３の発明は、上記第１の発明において、
上記複数種類の符号化方式は、ＭＰＥＧ−４符号化方式
の符号化方式を含むことを特徴とする。

【００３１】第４の発明は、上記第１の発明において、
上記符号化手段は、コンピュータグラフィックス画像情
報を生成するための記述情報を符号化する第１の符号化
手段と、少なくとも当該コンピュータグラフィックス画
像情報を自然画像符号化方式で符号化する第２の符号化
手段とを含み、これらの第１及び第２の符号化手段から
上記復号側状態情報に基づいて選択した手段により情報
の符号化を行なうことを特徴とする。

【００３２】第５の発明は、上記第１の発明において、
上記符号化手段は、合成音声情報を生成するための記述
情報を符号化する第１の符号化手段と、少なくとも当該
合成音声情報を自然音響符号化方式で符号化する第２の
符号化手段とを含み、これらの第１及び第２の符号化手
段から上記復号側状態情報に基づいて選択した手段によ
り情報の符号化を行なうことを特徴とする。

【００３３】第６の発明は、コンピュータグラフィック
ス画像情報を生成するための記述情報を符号化する第１
の符号化手段と、上記コンピュータグラフィックス画像
情報を自然画像符号化方式で符号化する第２の符号化手
段と、上記第１の符号化手段にて得られた符号化情報
と、上記第２の符号化手段にて得られた符号化情報との
何れかを選択して出力する出力手段とを備えることを特
徴とする。

【００３４】第７の発明は、合成音声情報を生成するた
めの記述情報を符号化する第１の符号化手段と、上記合
成音声情報を自然音響符号化方式で符号化する第２の符
号化手段と、上記第１の符号化手段にて得られた符号化
情報と、上記第２の符号化手段にて得られた符号化情報
との何れかを選択して出力する出力手段とを備えること
を特徴とする。

【００３５】第８の発明は、上記第６又は７の発明にお
いて、上記出力手段の出力先である復号側の状態を取得
する復号側状態取得手段と、上記復号側状態取得手段に
て得られた復号側状態情報に基づいて、上記出力手段で
の選択出力動作を制御する制御手段とを備えることを特
徴とする。

【００３６】第９の発明は、上記第４又は６の発明にお
いて、上記第１の符号化手段は、ＭＰＥＧ−４符号化方
式のＢＩＦＳ符号化方式及び非自然画像符号化方式の何
れかの符号化方式により、上記コンピュータグラフィッ
クス画像情報を生成するための記述情報を符号化し、上
記第２の符号化手段は、ＭＰＥＧ−４符号化方式の自然
画像符号化方式により、少なくとも上記コンピュータグ
ラフィックス画像情報を符号化することを特徴とする。

【００３７】第１０の発明は、上記第５又は７の発明に
おいて、上記第１の符号化手段は、ＭＰＥＧ−４符号化
方式のＢＩＦＳ符号化方式及び非自然音響符号化方式の
何れかの符号化方式により、上記合成音声情報を生成す
るための記述情報を符号化し、上記第２の符号化手段
は、ＭＰＥＧ−４符号化方式の自然音響符号化方式によ
り、少なくとも上記合成音声情報を符号化することを特
徴とする。

【００３８】第１１の発明は、入力された符号化情報を
復号する復号装置であって、上記符号化情報の入力先で
ある符号化側に対して、自装置の状態を通知する通知手
段と、上記通知手段による通知に基づいて上記符号化側
にて符号化された情報を復号する復号手段とを備えるこ
とを特徴とする。

【００３９】第１２の発明は、上記第１１の発明におい
て、上記通知手段は、上記復号手段が有する復号機能の
情報を通知することを特徴とする。

【００４０】第１３の発明は、上記第１２の発明におい
て、上記復号機能の情報は、コンピュータグラフィック
ス画像情報を生成するための記述情報が符号化された情
報を復号する機能を有するか否かの情報、及び画像情報
が符号化された情報を復号する機能を有するか否かの情
報の少なくとも何れかを含むことを特徴とする。

【００４１】第１４の発明は、上記第１２の発明におい
て、上記復号機能の情報は、合成音声情報を生成するた
めの記述情報が符号化された情報を復号する機能を有す
るか否かの情報、及び音声情報が符号化された情報を復
号する機能を有するか否かの情報の少なくとも何れかを
含むことを特徴とする。

【００４２】第１５の発明は、上記第１１の発明におい
て、上記符号化側は、請求項１〜１０の何れかに記載の
符号化装置の機能を有することを特徴とする。

【００４３】第１６の発明は、入力された符号化情報を
復号する復号装置であって、自装置の状態を取得する装
置状態取得手段と、上記装置状態取得手段により得られ
た装置状態情報に基づいて、情報毎に複数種類の符号化
方式で符号化した結果である複数種類の上記符号化情報
から選択した符号化情報を復号する復号手段とを備える
ことを特徴とする。

【００４４】第１７の発明は、上記第１６の発明におい
て、上記装置状態取得手段は、上記復号手段が有する復
号機能の情報を取得することを特徴とする。

【００４５】第１８の発明は、上記第１７の発明におい
て、上記復号機能の情報は、コンピュータグラフィック
ス画像情報を生成するための記述情報が符号化された情
報を復号する機能を有するか否かの情報、及び画像情報
が符号化された情報を復号する機能を有するか否かの情
報の少なくとも何れかを含むことを特徴とする。

【００４６】第１９の発明は、上記第１７の発明におい
て、上記復号機能の情報は、合成音声情報を生成するた
めの記述情報が符号化された情報を復号する機能を有す
るか否かの情報、及び音声情報が符号化された情報を復
号する機能を有するか否かの情報の少なくとも何れかを
含むことを特徴とする。

【００４７】第２０の発明は、上記第１１又は１６の発
明において、上記符号化情報は、ＭＰＥＧ−４符号化方
式により情報が符号化された情報を含むことを特徴とす
る。

【００４８】第２１の発明は、複数の機器が通信可能に
接続されてなる情報処理システムであって、上記複数の
機器のうち少なくとも１つの機器は、請求項１〜１０の
何れかに記載の符号化装置の機能、及び請求項１１〜２
０の何れかに記載の復号装置の機能の少なくとも何れか
の機能を有することを特徴とする。

【００４９】第２２の発明は、符号化側で任意の情報を
符号化し、当該符号化情報を復号側で復号するための情
報処理方法であって、上記復号側の状態情報を取得する
復号側状態情報取得ステップと、上記復号側状態情報取
得ステップにより得られた復号側状態情報に基づいた符
号化方式により情報を符号化する符号化ステップとを含
むことを特徴とする。

【００５０】第２３の発明は、上記第２２の発明におい
て、上記復号側状態情報取得ステップは、上記復号側が
有する復号機能の情報を上記復号側状態情報として取得
するステップを含み、上記符号化ステップは、上記復号
側状態情報により、上記復号側で対応可能な符号化方式
により情報を符号化するステップを含むことを特徴とす
る。

【００５１】第２４の発明は、上記第２２の発明におい
て、上記復号側状態情報取得ステップは、上記復号側
が、コンピュータグラフィックス画像情報を生成するた
めの記述情報を符号化した情報を復号する機能を有する
か否かの情報を上記復号側状態情報として取得するステ
ップを含み、上記符号化ステップは、上記復号側状態情
報により、上記復号側が、コンピュータグラフィックス
画像情報を生成するための記述情報を符号化した情報を
復号する機能を持たない場合、上記コンピュータグラフ
ィックス画像情報を自然画像符号化方式により符号化す
るステップを含むことを特徴とする。

【００５２】第２５の発明は、上記第２２の発明におい
て、上記復号側状態情報取得ステップは、上記復号側
が、合成音声情報を生成するための記述情報を符号化し
た情報を復号する機能を有するか否かの情報を上記復号
側状態情報として取得するステップを含み、上記符号化
ステップは、上記復号側状態情報により、上記復号側
が、合成音声情報を生成するための記述情報を符号化し
た情報を復号する機能を持たない場合、上記合成音声情
報を自然音響符号化方式により符号化するステップを含
むことを特徴とする。

【００５３】第２６の発明は、符号化側で任意の情報を
符号化し、当該符号化情報を復号側で復号するための情
報処理方法であって、１つの情報毎に複数種類の符号化
方式で符号化した複数種類の符号化情報を生成する符号
化ステップと、上記復号側の状態情報を取得する復号側
状態情報取得ステップと、上記復号側状態情報取得ステ
ップにより得られた復号側状態情報に基づいて、上記符
号化ステップにより得られた複数種類の符号化情報から
選択した符号化情報を復号する復号ステップを含むこと
を特徴とする。

【００５４】第２７の発明は、上記第２６の発明におい
て、上記復号側状態情報取得ステップは、上記復号側
が、コンピュータグラフィックス画像情報を生成するた
めの記述情報を符号化した情報を復号する機能を有する
か否かの情報を上記復号側状態情報として取得するステ
ップを含み、上記符号化ステップは、上記コンピュータ
グラフィックス画像情報を生成するための記述情報を符
号化する第１の符号化ステップと、上記コンピュータグ
ラフィックス画像情報を自然画像符号化方式により符号
化する第２の符号化ステップとを含み、上記復号ステッ
プは、上記復号側状態情報により、上記復号側が、上記
コンピュータグラフィックス画像情報を生成するための
記述情報を符号化した情報を復号する機能を持たない場
合、上記第２の符号化ステップにより得られた符号化情
報を復号するステップを含むことを特徴とする。

【００５５】第２８の発明は、上記第２６の発明におい
て、上記復号側状態情報取得ステップは、上記復号側
が、合成音声情報を生成するための記述情報を符号化し
た情報を復号する機能を有するか否かの情報を上記復号
側状態情報として取得するステップを含み、上記符号化
ステップは、上記合成音声情報を生成するための記述情
報を符号化する第１の符号化ステップと、上記合成音声
情報を自然音響符号化方式により符号化する第２の符号
化ステップとを含み、上記復号ステップは、上記復号側
状態情報により、上記復号側が、上記合成音声情報を生
成するための記述情報を符号化した情報を復号する機能
を持たない場合、上記第２の符号化ステップにより得ら
れた符号化情報を復号するステップを含むことを特徴と
する。

【００５６】第２９の発明は、上記第２２又は２６の発
明において、上記符号化ステップは、ＭＰＥＧ−４符号
化方式の符号化方式により情報を符号化するステップを
含むことを特徴とする。

【００５７】第３０の発明は、請求項１〜１０の何れか
に記載の符号化装置、又は請求項１１〜２０の何れかに
記載の復号装置、又は請求項２１に記載の情報処理シス
テムの手段を実施するための処理プログラムを、コンピ
ュータが読出可能に格納した記憶媒体であることを特徴
とする。

【００５８】第３１の発明は、請求項２２〜２９の何れ
かに記載の情報処理方法の処理ステップを、コンピュー
タが読出可能に格納した記憶媒体であることを特徴とす
る。

【００５９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００６０】（第１の実施の形態）本発明は、例えば、
図１に示すようなデータ処理システム１００に適用され
る。このデータ処理システム１００は、ＭＰＥＧ−４符
号化方式を採用したシステムであり、符号化装置１１０
と、２つの復号装置１３０及び１４０とが、互いにデー
タ授受可能なように接続された構成としている。以下、
このようなデータ処理システム１００について具体的に
説明する。

【００６１】［符号化装置１１０の構成］符号化装置１
１０は、自然画像の動画像や音声の出力方法やＣＧで生
成する画像のコマンド等のシーン記述情報（シーン記述
言語）を生成するシーン設定器１１１と、シーン設定器
１１１により生成されたシーン記述情報を符号化するＢ
ＩＦＳ符号化器１１４と、シーン設定器１１１により生
成されたシーン記述情報をレンダリングして画像データ
を生成するレンダリング部１１３と、ビデオ等の各種画
像データを蓄積している記憶部１１５と、記憶部１１５
に蓄積されている画像データ又はレンダリング部１１３
にて得られた画像データを符号化するビジュアル符号化
部１１７と、各種オーディオデータを蓄積している記憶
部１１８と、記憶部１１８に蓄積されているオーディオ
データを符号化するオーディオ符号化部１１９と、ＢＩ
ＦＳ符号化器１１４、ビジュアル符号化部１１７、及び
オーディオ符号化部１１９にて得られた各符号化データ
を多重化して出力する多重化器１２１とを備えている。

【００６２】ここで、符号化装置１１０は、上記の構成
に加えて、多重化器１２１の出力先である復号装置の状
態情報を取得するためのデコーダ状態判定器１２０と、
デコーダ状態判定器１２０にて得られた情報に基づいて
シーン設定器１１１にて得られたシーン記述情報の出力
先をレンダリング部１１３とＢＩＦＳ符号化部１１４で
切り替えるセレクタ１１２と、デコーダ状態判定器１２
０にて得られた情報に基づいてビジュアル符号化部１１
７に対して入力する画像データをレンダリング部１１３
での画像データと記憶部１１５での画像データで切り替
えるセレクタ１１６とを更に加えた構成としている。

【００６３】シーン設定器１１１は、ユーザからの指示
に従って、自然画像の動画像や音声の出力方法、ＣＧで
生成する画像のコマンド等のシーン記述情報を生成す
る。

【００６４】デコーダ状態判定器１２０は、符号化デー
タを出力する復号装置（ここでは、復号装置１３０又は
復号装置１４０）の状態情報、例えば、復号可能な符号
化データの符号化方式についての情報を、当該復号装置
と通信して取得し、その取得情報に基づいた制御信号
を、セレクタ１１２及びセレクタ１１６にそれぞれ供給
する。

【００６５】セレクタ１１２は、デコーダ状態判定器１
２０からの制御信号に基づいて、シーン設定器１１１に
て生成されたＣＧ等に関するシーン記述情報の出力先と
して、レンダリング器１１３又はＢＩＦＳ符号化器１１
４を選択する。

【００６６】レンダリング器１１３は、セレクタ１１２
を介して供給されたシーン記述情報をレンダリングし
て、画像データを生成する。

【００６７】ＢＩＦＳ符号化器１１４は、セレクタ１１
２を介して供給されたシーン記述情報を、ＢＩＦＳによ
って符号化する。

【００６８】セレクタ１１６は、デコーダ状態判定器１
２０からの制御信号に基づいて、レンダリング器１１３
にて得られた画像データ、又は記憶部１１５に蓄積され
ている画像データを選択し、その選択した画像データ
を、ビジュアル符号化部１１７に対して入力する。

【００６９】ビジュアル符号化部１１７は、セレクタ１
１６を介して供給された画像データを、当該画像データ
に適したＭＰＥＧ−４符号化方式のビジュアル符号化方
式に従って符号化する。具体的には、ビジュアル符号化
部１１７は、ビデオを符号化するビデオ符号化や、非自
然画像符号化方式としてのＦＢＡ符号化、メッシュ符号
化、静止画像を符号化する静止画像符号化等の各種符号
化方式での符号化が可能となっており、符号化対象の画
像データに適した符号化方式で当該データの符号化を行
なう。

【００７０】オーディオ符号化部１１９は、記憶部１１
８に蓄積されているオーディオデータを、当該オーディ
オデータに適したＭＰＥＧ−４符号化方式のオーディオ
符号化方式に従って符号化する。具体的には、オーディ
オ符号化器１１９は、音声用（例えば、ＣＥＬＰ符号
化）や、音響用（例えば、ＡＡＣ符号化）、或いは文字
コードを音声合成するための記述用（例えば、ＴＴＳ符
号化）、サウンド合成のための記述用（例えば、ＭＩＤ
Ｉ方式）等の各種符号化方式での符号化が可能となって
おり、符号化対象のオーディオデータに適した符号化方
式で当該データの符号化を行なう。

【００７１】多重化器１２１は、ＢＩＦＳ符号化器１１
４にて得られたＢＩＦＳ符号化データ、ビジュアル符号
化部１１７にて得られたビジュアル符号化データ、及び
オーディオ符号化部１１９にて得られたオーディオ符号
化データを、ＭＰＥＧ−４符号化方式の多重化方式に従
って多重化する。

【００７２】上述のような構成により、符号化装置１１
０は、特に、符号化データの出力先の復号装置の状態
（復号能力）に基づいて、ＣＧ画像については、ＣＧを
生成するためのシーン記述情報をＢＩＦＳ符号化したデ
ータと、ＣＧをビジュアル符号化の一機能であるビデオ
符号化（自然画像符号化）したデータとの何れかを選択
して出力するようになされている。

【００７３】［復号装置１３０の構成］復号装置１３０
は、符号化装置１１０で用いられる各種符号化方式に対
応した復号機能を有するものであり、符号化装置１１０
からの多重化データから各符号化データを分離する分離
器１３２と、分離器１３２での分離により得られたＢＩ
ＦＳ符号化データを復号してシーン記述情報を再生する
ＢＩＦＳ復号部１３３と、ＢＩＦＳ復号部１３３にて再
生されたシーン記述情報のＣＧのコマンド等に従ってレ
ンダリングを行って画像データを生成するレンダリング
器１３４と、分離器１３２での分離により得られたビジ
ュアル符号化データを復号して画像データを再生或いは
生成するビジュアル復号部１３５と、レンダリング器１
３４にて生成された画像データ及びビジュアル復号部１
３５にて再生又は生成された画像データを合成する合成
器１３６と、合成器１３６にて得られた合成画像データ
を表示するディスプレイ１３７と、分離器１３２での分
離により得られたオーディオ符号化データを復号してオ
ーディオデータを再生するオーディオ復号部１３８と、
オーディオ復号部１３８にて再生されたオーディオデー
タを出力するスピーカ１３９とを備えている。

【００７４】さらに、復号装置１３０は、自装置の状態
（ここでは、自装置が有する復号器の種類等の状態）を
把握し、それを符号化装置１１０に通知するためのデコ
ーダ状態送信器１３１を備えている。したがって、デコ
ーダ状態送信器１３１は、自装置が、ＢＩＦＳ符号化デ
ータ、各ビジュアル符号化データ、及び各オーディオ符
号化データを復号できることを把握している。

【００７５】［復号装置１４０の構成］復号装置１４０
は、符号化装置１１０で用いられる各種符号化方式のう
ち、ビデオ符号化及び音声符号化に対応する復号機能の
みを有するものであり、符号化装置１１０からの多重化
データから各符号化データを分離する分離器１４２と、
分離器１４２での分離により得られたビジュアル符号化
データ（ビジュアル符号化の一機能であるビデオ符号化
により得られたビデオ符号化データ）を復号して画像デ
ータを再生するビデオ復号器１４３と、ビデオ復号器１
４３にて再生された画像データを表示するディスプレイ
１４４と、分離器１４２での分離により得られたオーデ
ィオ符号化データ（オーディオ符号化の一機能である音
声符号化により得られた音声符号化データ）を復号して
音声データを再生する音声復号器１４５と、音声復号器
１４５にて再生された音声データを出力するスピーカ１
４６とを備えている。

【００７６】さらに、復号装置１４０は、自装置の状態
（ここでは、自装置が有する復号器の種類等の状態）を
把握し、それを符号化装置１１０に通知するためのデコ
ーダ状態送信器１４１を備えている。したがって、デコ
ーダ状態送信器１４１は、自装置が、ビデオ符号化デー
タ、及び音声符号化データのみを復号できることを把握
している。

【００７７】［符号化装置１１０の出力先が復号装置１
３０の場合の動作］ここでは、符号化装置１１０で符号
化されたデータを、復号装置１３０で再生する場合の動
作について説明する。

【００７８】まず、符号化装置１１０で符号化対象とな
る動画像を、例えば、図２に示すような画像とする。こ
の図２において、”１５０”は、ＣＧで作成された部屋
の画像を表す。”１５１”は、撮影して得られた動画像
（ビデオ）から切出された牛の画像を表す。この牛の画
像１５１のデータは、記憶部１１５に格納されている。
また、その牛の泣き声のデータは、記憶部１１８に格納
されている。”１５２”は、ＣＧで作成されたウサギの
画像を表す。

【００７９】上記図２に示したような画像を符号化する
際、部屋の画像１５０、及びウサギの画像１５２につい
ては、シーン設定器１１１において、当該牛及びウサギ
のＣＧを生成するためのコマンド等がシーン記述情報と
して作成され、このシーン記述情報が、ＢＩＦＳ符号化
部１１４によりＢＩＦＳ符号化方式で符号化される。

【００８０】一方、牛の画像１５１については、記憶部
１１５から読み出されて、ビジュアル符号化部１１７に
よりＭＰＥＧ−４符号化方式のビデオ符号化方式で符号
化される。また、その泣き声のオーディオデータは、記
憶部１１８から読み出されて、オーディオ符号化部１１
９によりＭＰＥＧ−４符号化方式の音声符号化方式で符
号化される。

【００８１】そこで、符号化装置１１０は、上述のよう
な符号化に先立ち、デコーダ状態判定器１２０を動作さ
せ、復号装置１３０のデコーダ状態送信器１３１と通信
を行う。

【００８２】復号装置１３０は、上述したように、符号
化装置１１０にて用いられる各種符号化方式に対応した
復号機能（ＢＩＦＳ復号部１３３、ビジュアル復号部１
３５、及びオーディオ復号部１３８）を備えていること
から、ＢＩＦＳ符号、ビジュアルの各種符号化データ、
及びオーディオの各種符号化データを復号できることを
把握し、このことを復号装置１３０の状態としてデコー
ダ状態送信器１３１によって符号化装置１１０へ通知す
る。

【００８３】符号化装置１１０において、デコーダ状態
判定器１２０は、復号装置１３０からの状態情報を受け
取ると、当該情報に基づいて符号化を実行することを各
処理部に指示する。すなわち、デコーダ状態判定器１２
０は、セレクタ１１２に対しては出力先をＢＩＦＳ符号
化部１１４とする制御信号を与え、セレクタ１１６に対
しては入力先を記憶部１１５とする制御信号を与える。

【００８４】これにより、シーン設定器１１１で作成さ
れた部屋及びウサギの画像１５０，１５２のＣＧのコマ
ンドのシーン記述情報は、セレクタ１１２を介してＢＩ
ＦＳ符号化部１１４に対して入力される。ＢＩＦＳ符号
化部１１４は、シーン設定器１１１からのシーン記述情
報（部屋及びウサギの画像１５０，１５２のＣＧのコマ
ンド）をＢＩＦＳ符号化する。ＢＩＦＳ符号化部１１４
にて得られた符号化データ（ＢＩＦＳ符号化データ）
は、多重化器１２１に供給される。

【００８５】また、記憶部１１５に格納されている牛の
画像１５１のデータは、セレクタ１１６を介して、ビジ
ュアル符号化部１１７に対して読み出される。ビジュア
ル符号化部１１７は、セレクタ１１６を介して記憶部１
１５から読み出された牛の画像１５１のデータを、当該
データに適した符号化方式（ビデオ符号化方式）で符号
化する。ビジュアル符号化部１１７にて得られた符号化
データ（ビデオ符号化データ）は、多重化器１２１に供
給される。

【００８６】また、記憶部１１８に格納されている牛の
泣き声のオーディオデータは、オーディオ符号化部１１
９に対して読み出される。オーディオ符号化部１１９
は、記憶部１１８から読み出された牛の泣き声のオーデ
ィオデータを、当該データに適した符号化方式（音声符
号化方式）で符号化する。オーディオ符号化部１１９に
て得られた符号化データ（音声符号化データ）は、多重
化器１２１に供給される。

【００８７】上述のように、部屋の画像１５０、ウサギ
の画像１５２のＣＧのコマンドに関しては、復号装置１
３０がＢＩＦＳ符号化データの復号が行なえるＢＩＦＳ
復号部１３３を備えているので、ＢＩＦＳ符号化され、
牛の画像１５１に関しては、復号装置１３０がビデオ符
号化データの復号が行なえるビジュアル復号部１３５を
備えているので、ビデオ符号化され、牛の泣き声のオー
ディオデータに関しては、復号装置１３０が音声符号化
データの復号が行えるオーディオ復号部１３８を備えて
いるので、音声符号化される。

【００８８】そして、多重化器１２１は、ＢＩＦＳ符号
化器１１４からのＢＩＦＳ符号化データ、ビジュアル符
号化部１１７からのビデオ符号化データ、及びオーディ
オ符号化部１１９からの音声符号化データを多重化し
て、その多重化データを復号装置１３０に対して出力す
る。

【００８９】図３（ａ）は、多重化器１２１にて得られ
る多重化データを示したものである。ここでの多重化デ
ータは、上記図３（ａ）に示すように、符号化データ部
１６１〜１６４を含み、符号化データ部１６１（Ｒｏｏ
ｍＢＩＦＳｃｏｄｅ）は、部屋の画像１５０をＢＩ
ＦＳ符号化した結果のＢＩＦＳ符号化データが格納され
たデータ部であり、符号化データ部１６２（Ｒａｂｂｉ
ｔＢＩＦＳｃｏｄｅ）は、ウサギの画像１５２をＢ
ＩＦＳ符号化した結果のＢＩＦＳ符号化データが格納さ
れたデータ部であり、符号化データ部１６３（Ｃａｔｔ
ｌｅＶｉｄｅｏｃｏｄｅ）は、牛の画像１５１をビ
デオ符号化した結果のビデオ符号化データが格納された
データ部であり、符号化データ部１６４（Ａｕｄｉｏ
ｃｏｄｅ）は、牛の泣き声を音声符号化した結果の音声
符号化データが格納されたデータ部である。このような
多重化データが、復号装置１３０に対して入力される。

【００９０】復号装置１３０において、分離器１３２
は、符号化装置１１０からの上記図３（ａ）に示したよ
うな多重化データを、ＢＩＦＳ符号化データ（１６１，
１６２）、ビデオ符号化データ（１６３）、及び音声符
号化データ（１６４）に分離して、ＢＩＦＳ符号化デー
タをＢＩＦＳ復号部１３３へ供給し、ビデオ符号化デー
タをビジュアル復号部１３５へ供給し、音声符号化デー
タをオーディオ復号部１３８に供給する。

【００９１】ＢＩＦＳ復号部１３３は、分離器１３２か
らのＢＩＦＳ符号化データ（１６１，１６２）を復号し
て、部屋の画像１５０及びウサギの画像１５２のＣＧの
コマンドを再生し、そのコマンドをレンダリング器１３
４に供給する。

【００９２】レンダリング器１３４は、ＢＩＦＳ復号部
１３３からのコマンドデータを解釈して、部屋の画像１
５０とウサギの画像１５２をそれぞれ描画し、その描画
した結果得られた各画像データを合成器１３６に供給す
る。

【００９３】ビジュアル復号部１３５は、分離器１３２
からのビデオ符号化データ（１６３）を復号し、牛の画
像１５１を再生し、その画像データを合成器１３６に供
給する。

【００９４】合成器１３６は、レンダリング器１３４及
びビジュアル復号部１３５からの各画像データ、すなわ
ち部屋の画像１５０、ウサギの画像１５２、及び牛の画
像１５１を合成し、その合成画像データをディスプレイ
１３７に供給する。ディスプレイ１３７は、合成器１３
６からの合成画像を表示する。したがって、ディスプレ
イ１３７には、上記図２に示したような画像が表示され
る。

【００９５】一方、オーディオ復号部１３８は、分離器
１３２からの音声符号化データ（１６４）を復号し、牛
の声の音声データを再生し、それをスピーカ１３９を介
して出力する。したがって、ディスプレイ１３７の表示
画面において、牛の画像１５１の鳴き声が、スピーカ１
３９から出力される。

【００９６】［符号化装置１１０の出力先が復号装置１
４０の場合の動作］ここでは、符号化装置１１０で符号
化されたデータを、復号装置１４０で再生する場合の動
作について説明する。尚、符号化装置１１０で符号化対
象となる動画像は、上述した復号装置１３０の場合と同
様に、図２に示すような画像とする。

【００９７】まず、上述した復号装置１３０の場合と同
様に、符号化装置１１０は、符号化に先立ち、デコーダ
状態判定器１２０を動作させ、復号装置１４０のデコー
ダ状態送信器１４１と通信を行う。

【００９８】復号装置１４０は、上述した復号装置１３
０とは異なり、ＢＩＦＳ符号化データを復号する機能は
持っておらず、ビジュアル符号化の一機能であるビデオ
符号化によって得られた符号化データ（ビデオ符号化デ
ータ）のみ復号できるビデオ復号器１４３、及び音声符
号化データのみを復号できる音声復号器１４５を備えて
いることから、ビデオ符号化データ及び音声符号化デー
タのみ復号できることを把握し、このことを復号装置１
４０の状態としてデコーダ状態送信器１４１によって符
号化装置１１０へ通知する。

【００９９】符号化装置１１０において、デコーダ状態
判定器１２０は、復号装置１４０からの状態情報を受け
取ると、当該情報に基づいて符号化を実行することを各
処理部に指示する。すなわち、デコーダ状態判定器１２
０は、セレクタ１１２に対して、出力先をレンダリング
器１１３とする制御信号を与える。また、デコーダ状態
判定器１２０は、セレクタ１１６に対して、部屋の画像
１５０及びウサギの画像１５２のＣＧ画像の符号化時に
は入力先をレンダリング器１１３とし、牛の画像１５１
の符号化時には入力先を記憶部１１５とする制御信号を
与える。

【０１００】これにより、シーン設定器１１１で作成さ
れた部屋及びウサギの画像１５０，１５２のＣＧのコマ
ンドのシーン記述情報は、セレクタ１１２を介してレン
ダリング器１１３に対して入力される。レンダリング器
１１３は、セレクタ１１２を介して供給された部屋及び
ウサギの画像１５０，１５２のＣＧのコマンドを解釈
し、部屋及びウサギの画像１５０，１５２を描写する。
この描写された部屋及びウサギの画像１５０，１５２
は、セレクタ１１６を介して、ビジュアル符号化部１１
７へ供給される。ビジュアル符号化部１１７は、セレク
タ１１６を介して供給された部屋及びウサギの画像１５
０，１５２を、ビジュアル符号化の一機能であるビデオ
符号化する。ビジュアル符号化部１１７にて得られた符
号化データ（ビデオ符号化データ）は、多重化器１２１
に供給される。

【０１０１】また、記憶部１１５に格納されている牛の
画像１５１のデータは、セレクタ１１６を介して、ビジ
ュアル符号化部１１７に対して読み出される。ビジュア
ル符号化部１１７は、セレクタ１１６を介して記憶部１
１５から読み出された牛の画像１５１のデータを、ビジ
ュアル符号化の一機能であるビデオ符号化する。ビジュ
アル符号化部１１７にて得られた符号化データ（ビデオ
符号化データ）は、多重化器１２１に供給される。

【０１０２】また、記憶部１１８に格納されている牛の
泣き声のオーディオデータは、オーディオ符号化部１１
９に対して読み出される。オーディオ符号化部１１９
は、記憶部１１８から読み出された牛の泣き声のオーデ
ィオデータを、音声符号化する。オーディオ符号化部１
１９にて得られた符号化データ（音声符号化データ）
は、多重化器１２１に供給される。

【０１０３】上述のように、部屋の画像１５０、ウサギ
の画像１５２のＣＧのコマンドに関しては、復号装置１
４０がＢＩＦＳ復号機能を備えておらず、復号装置１４
０が備えているビデオ復号器１４３に合わせて、ビデオ
符号化され、牛の画像１５１に関しては、復号装置１４
０がビデオ復号器１４３を備えているので、ビデオ符号
化され、牛の泣き声のオーディオデータに関しては、復
号装置１４０が音声符号化データの復号が行える音声復
号器１４５を備えているので、音声符号化される。

【０１０４】そして、多重化器１２１は、ビジュアル符
号化器１１７からのビデオ符号化データ、及びオーディ
オ符号化部１１９からの音声符号化データを多重化し
て、その多重化データを復号装置１３０に対して出力す
る。

【０１０５】上記図３（ｂ）は、多重化器１２１にて得
られる多重化データを示したものである。ここでの多重
化データは、上記図３（ｂ）に示すように、符号化デー
タ部１７１〜１７４を含み、符号化データ部１７１（Ｒ
ｏｏｍＶｉｄｅｏｃｏｄｅ）は、部屋の画像１５０
をビデオ符号化した結果のビデオ符号化データが格納さ
れたデータ部であり、符号化データ部１７２（Ｒａｂｂ
ｉｔＶｉｄｅｏｃｏｄｅ）は、ウサギの画像１５２
をビデオ符号化した結果のビデオ符号化データが格納さ
れたデータ部であり、符号化データ部１７３（Ｃａｔｔ
ｌｅＶｉｄｅｏｃｏｄｅ）は、牛の画像１５１をビデ
オ符号化した結果のビデオ符号化データが格納されたデ
ータ部であり、符号化データ部１７４（Ａｕｄｉｏｃ
ｏｄｅ）は、牛の泣き声を音声符号化した結果の音声符
号化データが格納されたデータ部である。このような多
重化データが、復号装置１４０に対して入力される。

【０１０６】復号装置１４０において、分離器１４２
は、符号化装置１１０からの上記図３（ｂ）に示したよ
うな多重化データを、ビデオ符号化データ（１７１〜１
７３）、及び音声符号化データ（１７４）に分離して、
ビデオ符号化データをビデオ復号器１４３へ供給し、音
声符号化データを音声復号器１４５に供給する。

【０１０７】ビデオ復号器１４３は、分離器１４２から
のビデオ符号化データ（１７１〜１７３）を復号し、部
屋の画像１５０、ウサギの画像１５２、及び牛の画像１
５１を再生し、それらの画像データをディスプレイ１４
４に供給する。ディスプレイ１４４は、ビデオ復号器１
４３からの画像を表示する。したがって、ディスプレイ
１４４には、上記図２に示したような画像が表示され
る。

【０１０８】一方、音声復号器１４５は、分離器１４２
からの音声符号化データ（１７４）を復号し、牛の声の
音声データを再生し、それをスピーカ１４６を介して出
力する。したがって、ディスプレイ１４４の表示画面に
おいて、牛の画像１５１の鳴き声が、スピーカ１４６か
ら出力される。

【０１０９】上述のように、本実施の形態では、符号化
装置１１０での符号化構成を、符号化データの出力先の
復号装置の情報（復号機能）に基づいた符号化を行なう
ように構成したので、符号化装置１１０の出力先の復号
装置には、それが有する復号機能に対応した符号化デー
タが与えられることになる。したがって、ＣＧのレンダ
リング等の特別な機能を備えていない等というように、
復号側が有する復号構成が如何なる構成であっても、Ｃ
Ｇ等を自由に扱える符号化側で作成された画像を、情報
の欠陥を生じることなく、好適に再生することができ
る。

【０１１０】尚、本実施例の形態においては、データ処
理システム１００で採用する符号化方式を、ＣＧとビデ
オを統合的に扱う符号化方式とし、その一例として、Ｍ
ＰＥＧ−４符号化方式を挙げたが、これに限定されるこ
とはない。

【０１１１】また、符号化装置１１０の記憶部１１５，
１１８の構成やそれぞれに格納されているデータは、上
述したデータに限定されることはなく、例えば、１つの
可搬のメディアに記憶された動画像データであったり、
符号化されたデータであってももちろんかまわない。

【０１１２】また、上記図１に示した各構成部をソフト
ウェアで記述し、演算装置等で処理を行う等の変更も可
能である。

【０１１３】また、データ処理システム１００での多重
化の方式についても、上述した多重化方式に限定される
ことはなく、例えば、ＶＯＰ単位で時分割多重化を行う
方式であってももちろんかまわない。

【０１１４】また、例えば、復号装置１３０のデコーダ
状態送信器１３１が、分離器１３２がＭＰＥＧ−４符号
化方式の多重化データから当該データを構成している各
データを分離することができることを把握し、復号装置
１４０のデコーダ状態送信器１４１が、分離器１４２が
ＩＴＵで勧告されている多重化方式Ｈ．２２３の多重化
データから当該データを構成している各データを分離す
ることができることを把握していた場合、符号化装置１
１０において、多重化器１２１での多重化方式を、出力
先の復号装置に合わせて適宜変更するようにしてもよ
い。

【０１１５】また、符号化装置１１０の出力先の復号装
置の状態を把握するための通信については、上述したよ
うな通信に限定されることはなく、例えば、プロファイ
ルをやり取りすることによって、復号装置の状態を把握
することを実現することも可能である。

【０１１６】（第２の実施の形態）本発明は、例えば、
図４に示すようなデータ処理システム２００に適用され
る。このデータ処理システム２００は、ＭＰＥＧ−４符
号化方式を採用したシステムであり、符号化装置２１０
と、２つの復号装置２３０及び２４０とが、互いにデー
タ授受可能なように接続された構成としている。以下、
このようなデータ処理システム２００について具体的に
説明する。

【０１１７】［符号化装置２１０の構成］符号化装置２
１０は、顔や体等のアニメーションを設定するためのＦ
ＢＡ設定器２１１と、ＦＢＡ設定器２１１での設定に基
づいた顔や体等のアニメーションに関するアニメーショ
ン記述情報をレンダリングして画像データを生成するレ
ンダイング器２１３と、ＦＢＡ設定器２１１での設定に
基づいた顔や体等のアニメーションに関するアニメーシ
ョン記述情報を符号化するＦＢＡ符号化器２１４と、ビ
デオ等の各種画像データを蓄積している記憶部２１５
と、記憶部２１５に蓄積されている画像データ又はレン
ダリング器２１３にて得られた画像データを符号化する
ビデオ符号化器２１７と、音声のテキストデータを入力
するための端末装置２２０と、端末装置２２０にて入力
されたテキストデータから音声データを生成する音声合
成器２２２と、音声合成器２２２にて得られた音声デー
タをＣＥＬＰ符号化方式で符号化するＣＥＬＰ符号化器
２２３と、音声合成器２２２にて得られた音声データを
ＴＴＳ符号化方式で符号化するＴＴＳ符号化器２２４
と、ＦＢＡ符号化器２１４又はビデオ符号化器２１７に
て得られた符号化データとＣＥＬＰ符号化器２２３又は
ＴＴＳ符号化器２２４にて得られた符号化データを多重
化して出力する多重化器２１９とを備えている。

【０１１８】ここで、符号化装置２１０は、上記の構成
に加えて、多重化器２１９の出力先である復号装置の状
態情報を取得するためのデコーダ状態判定器２２６と、
デコーダ状態判定器２２６にて得られた情報に基づいて
ＦＢＡ設定器２１１にて得られたアニメーション記述情
報の出力先をレンダリング器２１３とＦＢＡ符号化器２
１４で切り替えるセレクタ２１２と、デコーダ状態判定
器２２６にて得られた情報に基づいてビデオ符号化器２
１７に対して入力する画像データをレンダリング器２１
３からの画像データ又は記憶部２１５からの画像データ
から選択するセレクタ２１６と、デコーダ状態判定器２
２６にて得られた情報に基づいて多重化器２１９に対し
て入力する画像の符号化データをＦＢＡ符号化器２１４
からの符号化データ又はビデオ符号化器２１７からの符
号化データから選択するセレクタ２１８と、デコーダ状
態判定器２２６にて得られた情報に基づいて端末装置２
２０にて得られたテキストデータの出力先に音声合成器
２２２とＴＴＳ符号化器２２４を切り替えるセレクタ２
２１と、デコーダ状態判定器２２６にて得られた情報に
基づいて多重化器２１９に対して入力する音声の符号化
データをＣＥＬＰ符号化器２２３からの符号化データ又
はＴＴＳ符号化器２２４からの符号化データから選択す
るセレクタ２２５とを更に加えた構成としている。

【０１１９】デコーダ状態判定器２２６は、符号化デー
タを出力する復号装置（ここでは、復号装置２３０又は
復号装置２４０）の状態情報、例えば、復号可能な符号
化データの符号化方式についての情報を、当該復号装置
と通信して取得し、その取得情報に基づいた制御信号
を、セレクタ２１２，２１６，２１８，２２１，２２５
にそれぞれ供給する。

【０１２０】ＦＢＡ設定器２１１は、ユーザからの指示
に従って、顔や体等のアニメーションの設定、例えば、
顔や体の構成やその各部の動きの設定（顔や体の定義や
その動きを表すＦＢＡパラメータ）に基づいたアニメー
ション記述情報を生成する。

【０１２１】セレクタ２１２は、デコーダ状態判定器２
２６からの制御信号に基づいて、ＦＢＡ設定器２１１に
て生成されたアニメーション記述情報の出力先として、
レンダリング器２１３又はＦＢＡ符号化器２１４を選択
する。

【０１２２】レンダリング器２１３は、セレクタ２１２
を介して供給されたアニメーション記述情報をレンダリ
ングして、画像データを生成する。

【０１２３】ＦＢＡ符号化器２１４は、セレクタ２１２
を介して供給されたアニメーション記述情報を、ＭＰＥ
Ｇ−４符号化方式のビジュアルパートに記載されたＦＢ
Ａ符号化方式によって符号化する。

【０１２４】セレクタ２１６は、デコーダ状態判定器２
２６からの制御信号に基づいて、レンダリング器１１３
にて得られた画像データ、又は記憶部２１５に蓄積され
ている画像データを選択し、その選択した画像データ
を、ビデオ符号化器２１７に対して入力する。

【０１２５】ビデオ符号化器２１７は、セレクタ２１６
を介して供給された画像データを、ＭＰＥＧ−４符号化
方式のビデオ符号化方式に従って符号化する。

【０１２６】セレクタ２１８は、デコーダ状態判定器２
２６からの制御信号に基づいて、ＦＢＡ符号化器２１４
にて得られた符号化データ（ＦＢＡ符号化データ）、又
はビデオ符号化器２１７にて得られた符号化データ（ビ
デオ符号化データ）を選択し、その選択した符号化デー
タを、多重化器２１９に対して入力する。

【０１２７】端末装置２２０は、ユーザからの指示に従
って、顔や体等のアニメーションに合わせて音声を発生
させるための文章をテキストデータとして生成する。

【０１２８】セレクタ２２１は、デコーダ状態判定器２
２６からの制御信号に基づいて、端末装置２２０にて生
成されたテキストデータの出力先として、音声合成器２
２２又はＴＴＳ符号化器２２４を選択する。

【０１２９】音声合成器２２２は、セレクタ２１６を介
して供給されたテキストデータに対して音声合成処理を
行うことで音声データを生成する。

【０１３０】ＣＥＬＰ符号化器２２３は、音声合成器２
２２にて得られた音声データを、ＭＰＥＧ−４符号化方
式のオーディオ符号化方式の一機能であるＣＥＬＰ符号
化方式で符号化する。

【０１３１】ＴＴＳ符号化器２２４は、セレクタ２１６
を介して供給されたテキストデータを、ＭＰＥＧ−４符
号化方式のオーディオ符号化方式の一機能であるＴＴＳ
符号化方式で符号化する。

【０１３２】セレクタ２２５は、デコーダ状態判定器２
２６からの制御信号に基づいて、ＣＥＬＰ符号化器２２
３にて得られた符号化データ（ＣＥＬＰ符号化デー
タ）、又はＴＴＳ符号化器２２４にて得られた符号化デ
ータ（ＴＴＳ符号化データ）を選択し、その選択した符
号化データを、多重化器２１９に対して入力する。

【０１３３】多重化器２１９は、セレクタ２１８を介し
て供給された符号化データ（ビデオ符号化データ）と、
セレクタ２２５を介して供給された符号化データ（音声
符号化データ）とを、ＭＰＥＧ−４符号化方式の多重化
方式で多重化して出力する。

【０１３４】［復号装置２３０の構成］復号装置２３０
は、符号化装置２１０からの多重化データから各符号化
データを分離する分離器２３２と、分離器２３２での分
離により得られたＦＢＡ符号化データを復号してアニメ
ーション記述情報を再生するＦＢＡ復号器２３３と、Ｆ
ＢＡ復号器２３３にて再生されたアニメーション記述情
報等に従ったレンダリングを行って画像データを生成す
るレンダリング器２３４と、分離器２３２での分離によ
り得られたビデオ符号化データを復号して画像データを
再生するビデオ復号器２３５と、レンダリング器２３４
にて生成された画像データ及びビデオ復号器２３５にて
再生された画像データを合成する合成器２３６と、合成
器２３６にて得られた合成画像データを表示するディス
プレイ２３７と、分離器２３２での分離により得られた
ＴＴＳ符号化データを復号してオーディオデータを再生
するＴＴＳ復号器２３８と、ＴＴＳ復号器２３８にて再
生されたオーディオデータを出力するスピーカ２３９と
を備えている。

【０１３５】さらに、復号装置２３０は、自装置の状態
（ここでは、自装置が有する復号器の種類等の状態）を
把握し、それを符号化装置２１０に通知するためのデコ
ーダ状態送信器２３１を備えている。したがって、デコ
ーダ状態送信器２３１は、自装置が、ＦＢＡ符号化デー
タ、ビデオ符号化データ、及びＴＴＳ符号化データを復
号できることを把握している。

【０１３６】［復号装置２４０の構成］復号装置２４０
は、符号化装置２１０からの多重化データから各符号化
データを分離する分離器２４２と、分離器２４２での分
離により得られたビデオ符号化データを復号して画像デ
ータを再生するビデオ復号器２４３と、ビデオ復号器２
４３にて再生された画像データを表示するディスプレイ
２４４と、分離器２４２での分離により得られたＣＥＬ
Ｐ符号化データを復号してオーディオデータを再生する
ＣＥＬＰ復号器２４５と、ＣＥＬＰ復号器２４５にて再
生されたオーディオデータを出力するスピーカ２４６と
を備えている。

【０１３７】さらに、復号装置２４０は、自装置の状態
（ここでは、自装置が有する復号器の種類等の状態）を
把握し、それを符号化装置２１０に通知するためのデコ
ーダ状態送信器２４１を備えている。したがって、デコ
ーダ状態送信器２４１は、自装置が、ビデオ符号化デー
タ、及びＣＥＬＰ符号化データのみを復号できることを
把握している。

【０１３８】［符号化装置２１０の出力先が復号装置２
３０の場合の動作］ここでは、符号化装置２１０で符号
化されたデータを、復号装置２３０で再生する場合の動
作について説明する。

【０１３９】まず、符号化装置２１０で符号化対象とな
る動画像を、例えば、図５に示すような画像とする。

【０１４０】上記図５において、”２５０”は、撮影し
て得られた背景の動画像を表す。この背景画像２５０の
データは、記憶部２１５に格納されており、ＭＰＥＧ−
４符号化方式のビデオ符号化方式で符号化される。

【０１４１】一方、”２５１”は、ＣＧで作成されたキ
ャラクタ画像を表す。キャラクタ画像２５１は、顔や体
の特徴やその動きがパラメータ化されており、このパラ
メータ（ＦＢＡパラメータ）が、ＦＢＡ設定器２１１に
て設定される。したがって、ＦＢＡ設定器２１１は、設
定されたパラメータに基づいたアニメーション記述情報
を生成し、このアニメーション記述情報は、ＦＢＡ符号
化方式で符号化等される。また、キャラクタ画像２５１
の当該キャラクタの音声は、端末装置２２０により入力
される。したがって、端末装置２２０は、入力された音
声に基づいたテキストデータを生成し、このテキストデ
ータは、ＴＴＳ符号化方式で符号化等される。

【０１４２】そこで、符号化装置２１０は、上述のよう
な符号化に先立ち、デコーダ状態判デコーダ状態判定器
２２６を動作させ、復号装置２３０のデコーダ状態送信
器２３１と通信を行う。

【０１４３】復号装置２３０は、上述したように、ＦＢ
Ａ復号器２３３、ビデオ復号器２３５、及びＴＴＳ復号
器２３８を備えていることから、ＦＢＡ符号化方式、ビ
デオ符号化方式、及びＴＴＳ符号方式による各符号化デ
ータを復号できることを把握し、このことを復号装置２
３０の状態としてデコーダ状態送信器２３１によって符
号化装置２１０へ通知する。

【０１４４】符号化装置２１０において、デコーダ状態
判定器２２６は、復号装置２３０からの状態情報を受け
取ると、当該情報に基づいて符号化を実行することを各
処理部に指示する。すなわち、デコーダ状態判定器２２
６は、セレクタ２１２に対しては出力先をＦＢＡ符号化
器２１４とする制御信号を与え、セレクタ２１６に対し
ては入力先を記憶部２１５とする制御信号を与え、セレ
クタ２２１に対しては出力先をＴＴＳ符号化器２２４と
する制御信号を与え、セレクタ２２５に対しては入力先
をＴＴＳ符号化器２２４とする制御信号を与え、セレク
タ２１８に対しては背景画像２５０とキャラクタ画像２
５１の符号化に従って入力先をビデオ符号化器２１７と
ＦＢＡ符号化器２１４で適宜切り替える制御信号を与え
る。

【０１４５】これにより、ＦＢＡ設定器２１１で作成さ
れたアニメーション記述情報（キャラクタ画像２５１の
顔や体の定義やその動きを表すＦＢＡパラメータの情
報）は、セレクタ２１２を介してＦＢＡ符号化器２１４
に対して入力される。ＦＢＡ符号化器２１４は、セレク
タ２１２を介して供給されたアニメーション記述情報
を、ＦＢＡ符号化する。ＦＢＡ符号化器２１４にて得ら
れた符号化データ（ＦＢＡ符号化データ）は、セレクタ
２１８に対して入力される。

【０１４６】また、記憶部２１５に格納されている背景
画像２５０のデータは、セレクタ２１６を介して、ビデ
オ符号化器２１７に対して読み出される。ビデオ符号化
器２１７は、セレクタ２１６を介して記憶部２１５から
読み出された背景画像２５０のデータを、ビデオ符号化
方式で符号化する。ビデオ符号化器２１７にて得られた
符号化データ（ビデオ符号化データ）は、セレクタ２１
８に対して入力される。

【０１４７】セレクタ２１８は、デコーダ状態判定器２
２６からの制御信号に従って、ＦＢＡ符号化器２１４か
らのＦＢＡ符号化データと、ビデオ符号化器２１７から
のビデオ符号化データとを適宜切り替えて多重化器２１
９に供給する。

【０１４８】端末装置２２０にて得られたテキストデー
タは、セレクタ２２１を介して、ＴＴＳ符号化器２２４
へ供給される。ＴＴＳ符号化器２２４は、セレクタ２２
１を介して供給されたテキストデータを、ＴＴＳ符号化
方式で符号化する。ＴＴＳ符号化部２２４にて得られた
符号化データ（ＴＴＳ符号化データ）は、セレクタ２２
５を介して多重化器２１９へ供給される。

【０１４９】上述のように、キャラクタ画像２５１に関
しては、復号装置２３０がＦＢＡ符号化データの復号が
行なえるＦＢＡ復号器２３３を備えているので、ＦＢＡ
符号化され、背景画像２５０に関しては、復号装置２３
０がビデオ符号化データの復号が行なえるビデオ復号器
２３５を備えているので、ビデオ符号化され、キャラク
タの声のオーディオデータに関しては、復号装置２３０
がＴＴＳ符号化データの復号が行えるＴＴＳ復号器２３
８を備えているので、ＴＴＳ符号化される。

【０１５０】そして、多重化器２１９は、セレクタ２１
８からのＦＢＡ符号化データ及びビデオ符号化データ
と、セレクタ２１９からのＴＴＳ符号化データとを、Ｍ
ＰＥＧ−４符号化方式の多重化方式に従って多重化し
て、その多重化データを復号装置２３０に対して出力す
る。

【０１５１】図６は、多重化器２１９にて得られる多重
化データにおいて、ビデオ符号化データとＦＢＡ符号化
データを示したものである。この図６において、”２６
１”〜”２６９”で示すそれぞれのコードは次のような
情報を表す。

【０１５２】２６１：ビジュアルシーケンスの先頭を表
すＶＯＳＳＣ（ｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｅａｑ
ｕｅｎｓｅ＿ｓｔａｒｔｃｏｄｅ）符号２６２：プロファイルとレベルを示すＰＬＩ（ｐｒｏｆ
ｉｌｅ＿ａｎｄ＿ｌｅｖｅｌ＿ｉｎｄｉｃａｔｉｏｎ）
符号２６３：ビジュアルオブジェクトの先頭を示すＶＯＳＣ
（ｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｔａｒｔ＿ｃｏｄ
ｅ）符号２６４：拡張情報の有無を示すＩＳＶＯ（ｉｓ＿ｖｉｓ
ｕａｌ＿ｏｂｊｅｃｔ＿ｉｄｅｎｔｉｆｉｅｒ）符号２６５：ビジュアルオブジェクトの種類を示すＶＯＴＹ
ＰＥ（ｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｔｙｐｅ）符号、
ビデオ符号化されている場合にはＶＯＴＹＰＥ＝０００
１２６６：ＶＯＬ（ＶｉｄｅｏＯｂｊｅｔＬａｙｅ
ｒ）の先頭を表すＶＯＬＳＣ（ｖｉｄｅｏ＿ｏｂｊｅｃ
ｔ＿ｌａｙｅｒ＿ｓｔａｒｔ＿ｃｏｄｅ）符号これ以降
に、ビデオに関する符号が続く。ここでは、背景画像２
５０のビデオ符号化データが続いている。２６７：ＶＯＴＹＰＥ符号、ＦＢＡ符号化されている場
合にはＶＯＴＹＰＥ＝０１０１２６８：ＦＢＡ符号化データの先頭を表すＦＢＡＯＰＳ
Ｃ（ｆａｃｅ＿ｏｂｊｅｃｔ＿ｓｔａｒｔ＿ｃｏｄｅ）
符号これ以降に、ＦＢＡに関する符号が続く。２６９：ビジュアルのシーケンスの終了を表すＶＯＳＥ
ＮＤ（ｖｉｓｕａｌ＿ｏｂｊｅｃｔ＿ｓｅａｑｕｅｎｓ
ｅ＿ｅｎｄ＿ｃｏｄｅ）符号

【０１５３】尚、ここでは、復号装置２３０がＦＢＡ符
号化による符号化データを復号できることから、復号装
置２３０へはＦＢＡ符号化データが供給されるため、上
記図６では、コード２６７及び２６８を含むＦＢＡ符号
化データが多重化された状態を示している。また、上記
図６に示した多重化データにおけるビデオ符号化データ
とＦＢＡ符号化データのフォーマットについては、ＩＳ
Ｏ／ＩＥＣ１４４９６−２に詳細が記載されているの
で、ここではその説明を省略する。

【０１５４】したがって、復号装置２３０に供給される
多重化データでは、上記図６に示したようなフォーマッ
トに従ったビデオ符号化データとＦＢＡ符号化データに
続いて、上記図３（ａ）及び（ｂ）に示したフォーマッ
トと同様にして、音声の符号化データであるＴＴＳ符号
化データが多重化されている。

【０１５５】復号装置２３０において、分離器２３２
は、符号化装置２１０からの上記図６に示したようなビ
デオ符号化データ及びＦＢＡ符号化データと、ＴＴＳ符
号化データとが多重化されたデータを、それぞれの符号
化に分離して、ＦＢＡ符号化データをＦＢＡ復号器２３
３へ供給し、ビデオ符号化データをビデオ復号器２３５
へ供給し、ＴＴＳ符号化データをＴＴＳ復号器２３８に
供給する。

【０１５６】ＦＢＡ復号器２３３は、分離器２３２から
のＦＢＡ符号化データ、すなわちＦＢＡ符号化データの
先頭を表すＦＢＡＯＰＳＣ符号２６８以降のＦＢＡ符号
化データを復号して再生して得たアニメーション記述情
報（キャラクタ画像２５１の顔や体の定義やその動きを
表すＦＢＡパラメータの情報）をレンダリング器２３４
に供給する。

【０１５７】レンダリング器２３４は、ＦＢＡ復号器２
３３からのアニメーション記述情報を解釈して、キャラ
クタ画像２５１の顔や体等の画像を描画し、その描画し
た結果得られた画像データを合成器２３６に供給する。

【０１５８】ビデオ復号器２３５は、分離器２３２から
のビデオ符号化データ、すなわちビデオ符号化データの
先頭を表すＶＯＬＳＣ符号２６６以降のビデオ符号化デ
ータを復号し、背景画像２５０を再生し、その画像デー
タを合成器２３６に供給する。

【０１５９】合成器２３６は、レンダリング器２３４及
びビデオ復号器２３５からの各画像データ、すなわちキ
ャラクタ画像２５１及び背景画像２５０を合成し、その
合成画像データをディスプレイ２３７に供給する。ディ
スプレイ２３７は、合成器２３６からの合成画像を表示
する。したがって、ディスプレイ２３７には、上記図５
に示したような画像が表示される。

【０１６０】一方、ＴＴＳ復号器２３８は、分離器２３
２からのＴＴＳ符号化データを復号し、キャラクタ画像
２５１の当該キャラクタの声のデータを再生し、それを
スピーカ２３９を介して出力する。したがって、ディス
プレイ２３７の表示画面において、キャラクタの声が、
スピーカ２３９から出力される。

【０１６１】［符号化装置２１０の出力先が復号装置２
４０の場合の動作］ここでは、符号化装置２１０で符号
化されたデータを、復号装置２４０で再生する場合の動
作について説明する。尚、符号化装置２１０で符号化対
象となる動画像は、上述した復号装置２３０の場合と同
様に、図５に示すような画像とする。

【０１６２】まず、上述した復号装置２３０の場合と同
様に、符号化装置２１０は、符号化に先立ち、デコーダ
状態判定器２２６を動作させ、復号装置２４０のデコー
ダ状態送信器２４１と通信を行う。

【０１６３】復号装置２４０は、上述した復号装置２３
０とは異なり、ＦＢＡ符号化データを復号する機能は持
っておらず、ビデオ符号化によって得られた符号化デー
タ（ビデオ符号化データ）のみ復号できるビデオ復号器
２４３、及びＣＥＬＰ符号化によって得られたＣＥＬＰ
符号化データのみを復号できるＣＥＬＰ復号器２４５を
備えていることから、ビデオ符号化データ及びＣＥＬＰ
符号化データのみ復号できることを把握し、このことを
復号装置２４０の状態としてデコーダ状態送信器２４１
によって符号化装置２１０へ通知する。

【０１６４】符号化装置２１０において、デコーダ状態
判定器２２６は、復号装置２４０からの状態情報を受け
取ると、当該情報に基づいて符号化を実行することを各
処理部に指示する。すなわち、デコーダ状態判定器２２
６は、セレクタ２１２に対しては出力先をレンダリング
器２１３とする制御信号を与え、セレクタ２１６に対し
ては背景画像２５０とキャラクタ画像２５１の符号化に
従って入力先をレンダリング器２１３と記憶部２１５で
適宜切り替える制御信号を与え、セレクタ２１８に対し
ては入力先をビデオ符号化器２１７とする制御信号を与
え、セレクタ２２１に対しては出力先を音声合成器２２
２とする制御信号を与え、セレクタ２２５に対しては入
力先をＣＥＬＰ符号化器２２３とする制御信号を与え
る。

【０１６５】これにより、ＦＢＡ設定器２１１で作成さ
れたアニメーション記述情報（キャラクタ画像２５１の
顔や体の定義やその動きを表すＦＢＡパラメータの情
報）は、セレクタ２１２を介してレンダリング器２１３
に対して入力される。

【０１６６】レンダリング器２１３は、セレクタ２１２
を介して供給されたアニメーション記述情報を解釈し
て、キャラクタ画像２５１の顔や体等の画像を描画す
る。レンダリング器２１３にて描画された画像のデータ
は、セレクタ２１６に対して入力される。

【０１６７】また、記憶部２１５に格納されている背景
画像２５０のデータは、セレクタ２１６に対して読み出
される。

【０１６８】セレクタ２１６は、デコーダ状態判定器２
２６からの制御信号に従って、レンダリング器２１３か
らの画像データと、記憶部２１５からの画像データとを
適宜切り替えてビデオ符号化器２１７に供給する。

【０１６９】ビデオ符号化器２１７は、セレクタ２１６
を介して供給された画像データ（背景画像２５０とキャ
ラクタ画像２５１が適宜切り替えられて供給された画像
データ）を、ビデオ符号化方式で符号化する。ビデオ符
号化器２１７にて得られた符号化データ（ビデオ符号化
データ）は、セレクタ２１８を介して多重化器２１９に
供給される。

【０１７０】端末装置２２０にて得られたテキストデー
タは、セレクタ２２１を介して、音声合成器２２２へ供
給される。音声合成器２２２は、端末装置２２０からの
テキストデータに対して音声合成処理を行なうことで、
当該テキストデータの音声データを生成し、それをＣＥ
ＬＰ符号化器２２３へ供給する。ＣＥＬＰ符号化器２２
３は、音声合成器２２２からの音声データを、ＣＥＬＰ
符号化方式で符号化する。ＣＥＬＰ符号化器２２３にて
得られた符号化データ（ＣＥＬＰ符号化データ）は、セ
レクタ２２５を介して多重化器２１９へ供給される。

【０１７１】上述のように、キャラクタ画像２５１に関
しては、復号装置２４０がＦＢＡ符号化データを復号で
きないので、ビデオ符号化され、背景画像２５０に関し
ては、復号装置２４０がビデオ符号化データの復号が行
なえるビデオ復号器２４３を備えているので、ビデオ符
号化され、キャラクタの声のオーディオデータに関して
は、復号装置２４０がＣＥＬＰ符号化データの復号が行
えるＣＥＬＰ復号器２４５を備えているので、ＣＥＬＰ
符号化される。

【０１７２】そして、多重化器２１９は、セレクタ２１
８からのビデオ符号化データと、セレクタ２１９からの
ＣＥＬＰ符号化データとを、ＭＰＥＧ−４符号化方式の
多重化方式に従って多重化して、その多重化データを復
号装置２４０に対して出力する。

【０１７３】図７は、多重化器２１９にて得られる多重
化データにおいて、ビデオ符号化データを示したもので
ある。この図７に示すように、ここでの多重化データで
は、上記図６に示したようなコード２６１〜２６６によ
る背景画像２５０のビデオ符号化データに続いて、コー
ド２７１〜２７５によるキャラクタ画像２５１のビデオ
符号化データが多重化される。すなわち、キャラクタ画
像２５１をビデオ符号化した結果のビデオ符号化データ
の先頭を表すＶＯＳＳＣ符号２７１に続いて、キャラク
タ画像２５１のビデオ符号化データに関するＩＳＶＯ符
号２７２、ＶＯＴＹＰＥ符号２７３、ＶＯＬＳＣ符号２
７４が続く。この場合のＶＯＴＹＰＥ符号２７３は、
「０００１」となっている。

【０１７４】したがって、復号装置２４０に供給される
多重化データでは、上記図７に示したようなフォーマッ
トに従った背景画像２５０及びキャラクタ画像２５１の
ビデオ符号化データに続いて、上記図３（ａ）及び
（ｂ）に示したフォーマットと同様にして、音声の符号
化データであるＣＥＬＰ符号化データが多重化されてい
る。

【０１７５】復号装置２４０において、分離器２４２
は、符号化装置２１０からの上記図７に示したようなビ
デオ符号化データと、ＣＥＬＰ符号化データとが多重化
されたデータを、それぞれの符号化に分離して、ビデオ
符号化データをビデオ復号器２４３へ供給し、ＣＥＬＰ
符号化データをＣＥＬＰ復号器２４５に供給する。

【０１７６】ビデオ復号器２４３は、分離器２４２から
のビデオ符号化データ、すなわち背景画像２５０のビデ
オ符号化データの先頭を表すＶＯＬＳＣ符号２６５以降
のビデオ符号化データと、キャラクタ画像２５１のビデ
オ符号化データの先頭を表すＶＯＬＳＣ符号２７４以降
のビデオ符号化データとを復号し、背景画像２５０とキ
ャラクタ画像２５１を同期をとって再生し、その再生画
像データをディスプレイ２４４に供給する。ディスプレ
イ２４４は、ビデオ復号器２４３からの画像を表示す
る。したがって、ディスプレイ２４４には、上記図５に
示したような画像が表示される。

【０１７７】一方、ＣＥＬＰ復号器２４５は、分離器２
４２からのＣＥＬＰ符号化データを復号し、キャラクタ
画像２５１の当該キャラクタの声のデータを再生し、そ
れをスピーカ２４６を介して出力する。したがって、デ
ィスプレイ２４４の表示画面において、キャラクタの声
が、スピーカ２４６から出力される。

【０１７８】上述のように、本実施の形態では、符号化
装置１１０での符号化構成を、符号化データの出力先の
復号装置の情報（復号機能）に基づいた符号化を行なう
ように構成したので、符号化装置１１０の出力先の復号
装置が、そのカテゴリによってビジュアルなレベルでの
画像やオーディオが復元できない構成であっても、当該
復号装置には、その構成に対応した符号化データが与え
られることになる。したがって、ＦＢＡパラメータのレ
ンダリング等の特別な機能を備えていない等というよう
に、復号側が有する復号構成が如何なる構成であって
も、画像をパラメータ等で記号化したデータ等を自由に
扱える符号化側で作成された画像を、情報の欠陥を生じ
ることなく、好適に再生することができる。

【０１７９】尚、本実施例の形態においては、データ処
理システム２００で採用する符号化方式を、画像をパラ
メータ等で記号化したデータとビデオを統合的に扱う符
号化方式とし、その一例として、ＭＰＥＧ−４符号化方
式を挙げたが、これに限定されることはない。

【０１８０】また、符号化装置２１０の記憶部２１５の
構成や格納されているデータ、端末装置２２０から入力
されるＴＴＳ符号化又はＣＥＬＰ符号化の対象となるデ
ータデータは、上述したデータに限定されることはな
く、例えば、１つの可搬のメディアに記憶された動画像
データであったり、符号化されたデータであってももち
ろんかまわない。

【０１８１】また、上記図４に示した各構成部をソフト
ウェアで記述し、演算装置等で処理を行う等の変更も可
能である。

【０１８２】また、データ処理システム２００での多重
化の方式についても、上述した多重化方式に限定される
ことはなく、例えば、ＶＯＰ単位でＦＢＡ符号化データ
とビデオ符号化データについて時分割多重化を行う方式
であってももちろんかまわない。

【０１８３】また、例えば、復号装置２３０のデコーダ
状態送信器２３１が、分離器２３２がＭＰＥＧ−４符号
化方式の多重化データから当該データを構成している各
データを分離することができることを把握し、復号装置
２４０のデコーダ状態送信器２４１が、分離器２４２が
ＩＴＵで勧告されている多重化方式Ｈ．２２３の多重化
データから当該データを構成している各データを分離す
ることができることを把握していた場合、符号化装置２
１０において、多重化器２１９での多重化方式を、出力
先の復号装置に合わせて適宜変更するようにしてもよ
い。

【０１８４】また、符号化装置２１０の出力先の復号装
置の状態を把握するための通信については、上述したよ
うな通信に限定されることはなく、例えば、プロファイ
ルをやり取りすることによって、復号装置の状態を把握
することを実現することも可能である。

【０１８５】また、ＦＢＡ符号化方式ではなく、他のビ
ジュアル符号化方式を用いた場合も同様である。例え
ば、メッシュ符号化を用いる場合、復号装置にメッシュ
符号化方式による情報を復号する機能がないときには同
様にビデオ符号化を行なう。さらに、オーディオ符号化
もこれに限定されず、端末２２０の代わりにＭＩＤＩ音
源、ＴＴＳ符号化器２２４の代わりにＭＩＤＩ符号化
器、音声合成器２２２の代わりに音響合成器、ＣＥＬＰ
符号化器の代わりにＡＡＣ符号化器というような構成も
可能である。

【０１８６】（第３の実施の形態）本発明は、例えば、
図８に示すようなデータ処理システム３００に適用され
る。このデータ処理システム３００は、ＭＰＥＧ−４符
号化方式を採用したシステムであり、符号化装置３１０
と、２つの復号装置３３０及び３４０とが、互いにデー
タ授受可能なように接続された構成としている。

【０１８７】ここで、データ処理システム３００は、上
記図１に示したデータ処理システム１００と同様の構成
としているが、主に次のような構成についてデータ処理
システム１００と異なっている。

【０１８８】まず、データ処理システム３００は、記憶
装置３５０を更に備えた構成としている。この記憶装置
３５０は、符号化装置３１０、復号装置３３０，３４０
のそれぞれからアクセスされるものである。すなわち、
符号化装置３１０は、生成した各種符号化データを記憶
装置３５０に格納し、復号装置３３０，３４０はそれぞ
れ、自装置の状態（復号機能）情報に従って、記憶装置
３５０の格納情報の中から自装置の状態に適した符号化
データを選択してそれを復号する。

【０１８９】したがって、符号化装置３１０は、復号装
置３３０，３４０からの装置状態（復号機能）を取得す
るためのデータ状態判定器と、当該データ状態判定器の
出力に従ってシーン設定器１１１の出力を選択するセレ
クタを備えておらず、シーン設定器１１１の出力は、レ
ンダリング器１１３とＢＩＦＳ符号化部１１４の両者に
与えられるようになされている。これにより、符号化装
置３１０では、ＣＧのコマンドをＢＩＦＧ符号化したＢ
ＩＦＳ符号化データと共に、当該ＣＧのコマンドに従っ
た描画により得られた画像をビデオ符号化したビデオ符
号化データとが得られ、これらの符号化データが記憶装
置３５０に格納されることになる。

【０１９０】また、オーディオ符号化部１１９は、記憶
部１１８に記憶されているオーディオデータを、複数の
符号化方式によって符号化し、複数種類の符号化データ
を生成する。すなわち、録音された音響や音声は、ＭＰ
ＥＧ−４符号化方式の各機能、例えば、ＡＡＣ符号化方
式やＣＥＬＰ符号化方式で符号化され、合成音について
は、ＭＩＤＩ符号化方式やＴＴＳ符号化方式で符号化さ
れ、さらにこれらの音のデータとしては、ＡＡＣ符号化
方式やＣＥＬＰ符号化方式で符号化される。したがっ
て、記憶装置３５０には、オーディオデータの符号化デ
ータについても、それぞれが符号化方式が異なる複数種
類の符号化データが格納されることになる。

【０１９１】また、復号装置３３０において、自装置の
状態を取得するデコーダ状態判定器３３１は、その取得
した自装置状態を符号化装置３１０に通知するのではな
く、分離器３３２に対して通知するようになされてい
る。復号装置３４０においても同様に、自装置の状態を
取得するデコーダ状態判定器３４１は、その取得した自
装置状態を符号化装置３１０に通知するのではなく、分
離器３４２に対して通知するようになされている。これ
により、分離器３３２，３４２は、デコーダ状態判定器
３３１，３４１からの自装置状態に従って、当該自装置
状態に適した符号化データを記憶装置３５０の中から選
択して取得することになる。

【０１９２】以下、上述のようなデータ処理システム３
００の動作について具体的に説明する。尚、上記図８の
データ処理システム３００において、上記図１に示した
データ処理システム１００と同様に動作する箇所には同
じ符号を付し、その詳細な説明は省略する。

【０１９３】［符号化装置３１０の動作］ここでは、符
号化装置３１０で符号化対象となる動画像を、例えば、
上記図２に示した画像とする。

【０１９４】先ず、シーン設定器１１１で作成された部
屋及びウサギの画像１５０，１５２のＣＧのコマンドの
シーン記述情報は、ＢＩＦＳ符号化部１１４及びレンダ
リング器１１３に対してそれぞれ入力される。

【０１９５】ＢＩＦＳ符号化部１１４は、シーン設定器
１１１からのシーン記述情報（部屋及びウサギの画像１
５０，１５２のＣＧのコマンド）をＢＩＦＳ符号化す
る。ＢＩＦＳ符号化部１１４にて得られた符号化データ
（ＢＩＦＳ符号化データ）は、多重化器３２１に供給さ
れる。

【０１９６】レンダリング器１１３は、シーン設定器１
１１からのシーン記述情報をレンダリングして、画像デ
ータを生成する。レンダリング器１１３にて得られた画
像データは、セレクタ１１６に対して入力される。

【０１９７】また、記憶部１１５に格納されている牛の
画像１５１のデータは、セレクタ１１６に対して入力さ
れる。

【０１９８】セレクタ１１６は、レンダリング器１１３
からの画像データと、記憶部１１５からの画像データと
を適宜選択してビジュアル符号化部１１７に供給する。

【０１９９】ビジュアル符号化部１１７は、セレクタ１
１６からの画像データ（部屋及びウサギの画像１５０，
１５２のデータ、牛の画像１５１のデータ）を、当該デ
ータに適した符号化方式（ビデオ符号化方式）で符号化
する。ビジュアル符号化部１１７にて得られた符号化デ
ータ（ビデオ符号化データ）は、多重化器３２１に供給
される。

【０２００】また、記憶部１１８に格納されている牛の
泣き声のオーディオデータは、オーディオ符号化部１１
９に対して読み出される。オーディオ符号化部１１９
は、記憶部１１８から読み出された牛の泣き声のオーデ
ィオデータを、例えば、ＡＣＣ符号化方式とＣＥＬＰ符
号化方式のそれぞれで符号化し、当該オーディオデータ
のＡＣＣ符号化データとＣＥＬＰ符号化データを生成す
る。オーディオ符号化部１１９にて得られたオーディオ
符号化データ（ＡＣＣ符号化データ、ＣＥＬＰ符号化デ
ータ）は、多重化器３２１に供給される。

【０２０１】多重化器３２１は、ＢＩＦＳ符号化器１１
４からのＢＩＦＳ符号化データ、ビジュアル符号化部１
１７からのビデオ符号化データ、及びオーディオ符号化
部１１９からのオーディオ符号化データを多重化する。

【０２０２】図９は、多重化器３２１にて得られる多重
化データを示したものである。ここでの多重化データ
は、上記図９に示すように、システムヘッダ部（Ｓｙｓ
ｔｅｍＨｅａｄｅｒ）３７１と、各種の符号化データ
部３７２〜３７８を含んでいる。

【０２０３】システムヘッダ部３７１には、詳細は後述
するが、ＩＳＯ／ＩＥＣ１４４９６−１で規定されてい
るノードの状態が記録されている。

【０２０４】符号化データ部３７２（Ｒｏｏｍ−ＢＩＦ
Ｓｃｏｄｅｓ）には、部屋の画像１５０をＢＩＦＳ符
号化した結果のＢＩＦＳ符号化データが格納され、符号
化データ部３７３（Ｒａｂｂｉｔ−ＢＩＦＳｃｏｄｅ
ｓ）には、ウサギの画像１５２をＢＩＦＳ符号化した結
果のＢＩＦＳ符号化データが格納される。

【０２０５】符号化データ部３７４（ＡＣＣＡｕｄｉ
ｏｃｏｄｅｓ）には、牛の鳴き声をＡＣＣ符号化方式
によって符号化した結果のＡＣＣ符号化データが格納さ
れ、符号化データ部３７５（ＣＥＬＰＡｕｄｉｏｃ
ｏｄｅｓ）には、牛の鳴き声をＣＥＬＰ符号化方式によ
って符号化した結果のＣＥＬＰ符号化データが格納され
る。

【０２０６】符号化データ部３７６（Ｃａｔｔｌｅ−Ｖ
ｉｄｅｏ−ｃｏｄｅｓ）には、牛の画像１５１をビデオ
符号化した結果のビデオ符号化データが格納され、符号
化データ部３７７（Ｒｏｏｍ−Ｖｉｄｅｏｃｏｄｅ
ｓ）には、部屋の画像１５０をレンダリングした画像を
ビデオ符号化した結果のビデオ符号化データが格納さ
れ、符号化データ部３７８（Ｒａｂｂｉｔ−Ｖｉｄｅｏ
ｃｏｄｅｓ）には、ウサギの画像１５２をレンダリン
グした画像をビデオ符号化した結果のビデオ符号化デー
タが格納される。

【０２０７】図１０は、上記図９に示したシステムヘッ
ダ３７１の各符号化データをノードとした時の関係を模
式的に示したものである。この図１０に示すノード３８
１〜３９２は、次のような情報を示すノードである。

【０２０８】ノード３８１：全てのシーケンスの親を表す。ノード３８２：牛（１５１）の泣き声を表す。ノード３８３：部屋の画像１５０を表す。ノード３８４：ウサギの画像１５２を表す。ノード３８５：牛の画像１５１を表す。ノード３８２〜３８５は、親ノード３８１につながって
おり、親ノード３８１を再生すると自動的に再生される
関係にある。

【０２０９】ノード３８６：牛（１５１）の泣き声をＡ
ＣＣ符号化したデータを指し示す。ノード３８７：牛（１５１）の泣き声をＣＥＬＰ符号化
したデータを指し示す。これらのノード３８６及び３８７は、泣き声ノード３８
２につながっおり、復号装置の状態によって選択的に再
生される。

【０２１０】ノード３８８：部屋の画像１５０をＢＩＦ
Ｓ符号化したデータを指し示す。ノード３８９：部屋の画像１５０をビデオ符号化したデ
ータを指し示す。これらのノード３８８及び３８９は、部屋ノード３８３
につながっており、復号装置の状態によって選択的に再
生される。

【０２１１】ノード３９０：ウサギの画像１５２をＢＩ
ＦＳ符号化したデータを指し示す。ノード３９１：ウサギの画像１５２をビデオ符号化した
データを指し示す。これらのノード３９０及び３９１は、ウサギノード３８
４につながっており、復号装置の状態によって選択的に
再生される。

【０２１２】ノード３９２：牛の画像１５１をビデオ符
号化したデータを指し示す。このノード３９２は、牛ノード３８５につながってい
る。

【０２１３】上述のような各符号化データが多重化され
たデータが、記憶装置３５０に蓄積される。

【０２１４】［復号装置３３０の動作］ここでは、上述
のようにして符号化装置３１０で得られた符号化データ
を、復号装置３３０で復号する場合について説明する。

【０２１５】先ず、デコーダ状態判定器３３１は、自装
置が、符号化装置３１０で用いられる各種の符号化方式
に対応した復号機能を有する、すなわちＢＩＦＳ復号部
１３３、ビジュアル復号部１３５、及びオーディオ復号
部１３８を備えていることから、ＢＩＦＳ符号化方式、
ビデオ符号化方式、ＡＣＣ符号化方式、及びＣＥＬＰ符
号化方式による各符号化データを復号できることを把握
している。そこで、デコーダ状態判定器３３１は、例え
ば、高い品質での再生を行なうために、ＢＩＦＳ符号化
方式、ビデオ符号化方式、及びＡＣＣ符号化方式による
各符号化データの復号を行なうことを決定し、そのこと
を分離器３３２に通知する。

【０２１６】分離器３３２は、デコーダ状態判定器３３
１からの通知に従って、記憶装置３５０に格納されてい
る多重化データのシステムヘッダ部３７１を解釈して、
部屋の画像１５０についてはノード３８８のＢＩＦＳ符
号化データ（３７２）、ウサギの画像１５２については
ノード３９０のＢＩＦＳ符号化データ（３７３）、牛の
画像１５１についてはノード３９２のビデオ符号化デー
タ（３７６）、牛の鳴き声についてはノード３８６のＡ
ＣＣ符号化データ（３７４）、としてそれぞれ選択し、
その選択した符号化データを多重化データから分離す
る。

【０２１７】したがって、ＢＩＦＳ復号部１３３には、
部屋及びウサギの画像１５０，１５２のＢＩＦＳ符号化
データ（３７２，３７３）が供給され、ビジュアル復号
部１３５には、牛の画像１５１のビデオ符号化データ
（３７６）が供給され、オーディオ復号部１３８には、
牛の鳴き声のＡＣＣ符号化データ（３７４）が供給され
る。

【０２１８】ＢＩＦＳ復号部１３３は、分離器１３２か
らのＢＩＦＳ符号化データ（３７２，３７３）を復号し
て、部屋の画像１５０及びウサギの画像１５２のＣＧの
コマンドを再生し、そのコマンドをレンダリング器１３
４に供給する。

【０２１９】レンダリング器１３４は、ＢＩＦＳ復号部
１３３からのコマンドデータを解釈して、部屋の画像１
５０とウサギの画像１５２をそれぞれ描画し、その描画
した結果得られた各画像データを合成器１３６に供給す
る。

【０２２０】ビジュアル復号部１３５は、分離器１３２
からのビデオ符号化データ（３７６）を復号し、牛の画
像１５１を再生し、その画像データを合成器１３６に供
給する。

【０２２１】合成器１３６は、レンダリング器１３４及
びビジュアル復号部１３５からの各画像データ、すなわ
ち部屋の画像１５０、ウサギの画像１５２、及び牛の画
像１５１を合成し、その合成画像データをディスプレイ
１３７に供給する。ディスプレイ１３７は、合成器１３
６からの合成画像を表示する。したがって、ディスプレ
イ１３７には、上記図２に示したような画像が表示され
る。

【０２２２】一方、オーディオ復号部１３８は、分離器
１３２からのＡＣＣ符号化データ（３７４）を復号し、
牛の声の音声データを再生し、それをスピーカ１３９を
介して出力する。したがって、ディスプレイ１３７の表
示画面において、牛の画像１５１の鳴き声が、スピーカ
１３９から出力される。

【０２２３】［復号装置３４０の動作］ここでは、上述
のようにして符号化装置３１０で得られた符号化データ
を、復号装置３４０で復号する場合について説明する。

【０２２４】先ず、デコーダ状態判定器３４１は、自装
置が、ビジュアル符号化の一機能であるビデオ符号化に
よって得られた符号化データ（ビデオ符号化データ）の
み復号できるビデオ復号器１４３、及びＣＥＬＰ符号化
データのみを復号できる音声復号器１４５を備えている
ことから、ビデオ符号化データ及びＣＥＬＰ符号化デー
タのみ復号できることを把握している。そこで、デコー
ダ状態判定器３４１は、ビデオ符号化方式、及びＣＥＬ
Ｐ符号化方式による各符号化データの復号を行なうこと
を決定し、そのことを分離器３４２に通知する。

【０２２５】分離器３４２は、デコーダ状態判定器３４
１からの通知に従って、記憶装置３５０に格納されてい
る多重化データのシステムヘッダ部３７１を解釈して、
部屋の画像１５０についてはノード３８９のビデオ符号
化データ（３７７）、ウサギの画像１５２についてはノ
ード３９１のビデオ符号化データ（３７８）、牛の画像
１５１についてはノード３９２のビデオ符号化データ
（３７６）、牛の鳴き声についてはノード３８７のＣＥ
ＬＰ符号化データ（３７５）、としてそれぞれ選択し、
その選択した符号化データを多重化データから分離す
る。

【０２２６】したがって、ビデオ復号器１４３には、部
屋、ウサギ、及び牛の画像１５０〜１５２のビデオ符号
化データ（３７６〜３７８）が供給され、音声復号器１
４５には、牛の鳴き声のＣＥＬＰ符号化データ（３７
５）が供給される。

【０２２７】ビデオ復号器１４３は、分離器１４２から
のビデオ符号化データ（３７６〜３７８）を復号し、部
屋の画像１５０、ウサギの画像１５２、及び牛の画像１
５１を再生し、それらの画像データをディスプレイ１４
４に供給する。ディスプレイ１４４は、ビデオ復号器１
４３からの画像を表示する。したがって、ディスプレイ
１４４には、上記図２に示したような画像が表示され
る。

【０２２８】一方、音声復号器１４５は、分離器１４２
からのＣＥＬＰ符号化データ（３７５）を復号し、牛の
声の音声データを再生し、それをスピーカ１４６を介し
て出力する。したがって、ディスプレイ１４４の表示画
面において、牛の画像１５１の鳴き声が、スピーカ１４
６から出力される。

【０２２９】上述のような本実施の形態では、１つの符
号化対象のデータを複数種類の符号化方式で符号化し、
これらの各符号化データの中から復号装置の状態（復号
機能）に適した符号化データを選択して復号できるよう
に構成したので、復号側で画像やオーディオが復号でき
ない状態を回避できる。また、ＣＧのレンダリング等の
特別な構成が無い復号装置であっても、情報の欠落を生
じること無く、好適に情報を復号して再生することがで
きる。

【０２３０】尚、本実施例の形態においては、データ処
理システム３００で採用する符号化方式を、ＣＧとビデ
オを統合的に扱う符号化方式とし、その一例として、Ｍ
ＰＥＧ−４符号化方式を挙げたが、これに限定されるこ
とはない。

【０２３１】また、符号化装置３１０の記憶部１１５，
１１８の構成やそれぞれに格納されているデータは、上
述したデータに限定されることはなく、例えば、１つの
可搬のメディアに記憶された動画像データであったり、
符号化されたデータであってももちろんかまわない。

【０２３２】また、上記図８に示した各構成部をソフト
ウェアで記述し、演算装置等で処理を行う等の変更も可
能である。

【０２３３】また、データ処理システム３００での多重
化の方式についても、上述した多重化方式に限定される
ことはなく、例えば、ＶＯＰ単位で時分割多重化を行う
方式であってももちろんかまわない。

【０２３４】また、多重化方式もこれに限定されず、Ｉ
ＴＵで勧告されている多重化方式Ｈ．２２３の多重化方
式を用いてもかまわない。

【０２３５】また、本発明の目的は、上述した第１〜第
３の実施の形態のホスト及び端末の機能を実現するソフ
トウェアのプログラムコードを記憶した記憶媒体を、シ
ステム或いは装置に供給し、そのシステム或いは装置の
コンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納
されたプログラムコードを読みだして実行することによ
っても、達成されることは言うまでもない。この場合、
記憶媒体から読み出されたプログラムコード自体が各実
施の形態の機能を実現することとなり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することとな
る。プログラムコードを供給するための記憶媒体として
は、ＲＯＭ、フロッピーディスク、ハードディスク、光
ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、
磁気テープ、不揮発性のメモリカード等を用いることが
できる。また、コンピュータが読みだしたプログラムコ
ードを実行することにより、各実施の形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼動しているＯＳ等が実際の処理
の一部又は全部を行い、その処理によって各実施の形態
の機能が実現される場合も含まれることは言うまでもな
い。さらに、記憶媒体から読み出されたプログラムコー
ドが、コンピュータに挿入された拡張機能ボードやコン
ピュータに接続された機能拡張ユニットに備わるメモリ
に書き込まれた後、そのプログラムコードの指示に基づ
き、その機能拡張ボードや機能拡張ユニットに備わるＣ
ＰＵなどが実際の処理の一部又は全部を行い、その処理
によって各実施の形態の機能が実現される場合も含まれ
ることは言うまでもない。

【０２３６】

【発明の効果】以上説明したように本発明では、符号化
側の構成を、符号化情報の出力先の復号側の状態情報
（復号側が有する復号機能の情報等）に基づいた符号化
を行なうように構成したので、符号化情報の復号側に
は、当該復号側の状態に適した符号化情報が与えられる
ことになる。また、復号側の構成を、当該復号側の状態
情報（復号側が有する復号機能の情報等）に基づいた符
号化情報を取得するように構成したので、当該復号側
は、当該復号側の状態に適した符号化情報を復号するこ
とになる。

【０２３７】これにより、ＣＧ画像（コンピュータグラ
フィック画像）のレンダリング等やオーディオの特別な
機能を備えていない等というように、復号側が有する復
号構成が如何なる構成であっても、ＣＧやオーディオ等
を自由に扱える符号化側で作成された画像を、情報の欠
陥を生じることなく、好適に再生することができる。

【０２３８】すなわち、ビデオのみを再生できる端末が
復号側であっても、ＣＧ画像を扱うカテゴリの装置であ
る符号化側で作成した画像を再生する動作を容易に且つ
確実に行なうことができる。また、扱う符号化情報をＭ
ＰＥＧ−４等の標準化に則った符号化方式により得られ
た情報とすれば、幅広い装置間での情報の共有が可能に
なる。さらに、各復号側で、同一の符号化情報から復号
能力に適した復号が行えるようになる。

【０２３９】よって、本発明によれば、プロファイル等
のカテゴリが異なる符号化側と復号側の間で好適に情報
を符号化、復号、再生することができる。

【図面の簡単な説明】

【図１】第１の実施の形態において、本発明を適用した
データ処理システムの構成を説明するための図である。

【図２】上記データ処理システムの符号化装置で符号化
する動画像の一例を説明するための図である。

【図３】上記符号化データの構成を説明するための示す
図である。

【図４】第２の実施の形態において、本発明を適用した
データ処理システムの構成を説明するための図である。

【図５】上記データ処理システムの符号化装置で符号化
する動画像の一例を説明するための図である。

【図６】上記符号化データ（ＦＢＡ符号化データを含む
データ）の構成を説明するための示す図である。

【図７】上記符号化データ（ＦＢＡ符号化データを含ま
ないデータ）の構成を説明するための示す図である。

【図８】第３の実施の形態において、本発明を適用した
データ処理システムの構成を説明するための図である。

【図９】上記データ処理システムの符号化装置で得られ
る符号化データの構成を説明するための示す図である。

【図１０】上記符号化データに含まれる各種の符号化デ
ータの関係（ノード関係）を説明するための図である。

【図１１】従来のデータ処理システムの構成を示すフロ
ック図である。

【符号の説明】

１００データ処理システム１１０符号化装置１１１シーン設定器１１２，１１６セレクタ１１３レンダリング器１１４ＢＩＦＳ符号化部１１５，１１８記憶部１１７ビジュアル符号化部１１９オーディオ符号化部１２０デコーダ状態判定器１２１多重化器１３０復号装置１３１デコーダ状態送信器１３２分離器１３３ＢＩＦＳ復号部１３４レンダリング器１３５ビジュアル復号部１３６合成器１３７ディスプレイ１３８オーディオ復号部１３９スピーカ１４０復号装置１４１デコーダ状態送信器１４２分離器１４３ビデオ復号器１４４ディスプレイ１４５音声復号器１４６スピーカ

Claims

【特許請求の範囲】

【請求項１】複数種類の符号化方式によって任意の情
報を符号化することが可能な符号化装置であって、上記符号化の結果である符号化情報の復号側の状態を取
得する復号側状態取得手段と、上記復号側状態取得手段にて得られた復号側状態情報に
基づいて、上記複数種類の符号化方式から選択した符号
化方式により情報の符号化を行なう符号化手段とを備え
ることを特徴とする符号化装置。
【請求項２】上記符号化手段は、上記複数種類の符号化方式に対応した複数の符号化手段
と、上記復号側状態情報に基づいて、符号化対象となる情報
を上記複数の符号化手段から選択した符号化手段へ与え
る情報供給手段とを含むことを特徴とする請求項１記載
の符号化装置。
【請求項３】上記複数種類の符号化方式は、ＭＰＥＧ
−４符号化方式の符号化方式を含むことを特徴とする請
求項１記載の符号化装置。
【請求項４】上記符号化手段は、コンピュータグラフ
ィックス画像情報を生成するための記述情報を符号化す
る第１の符号化手段と、少なくとも当該コンピュータグ
ラフィックス画像情報を自然画像符号化方式で符号化す
る第２の符号化手段とを含み、これらの第１及び第２の
符号化手段から上記復号側状態情報に基づいて選択した
手段により情報の符号化を行なうことを特徴とする請求
項１記載の符号化装置。
【請求項５】上記符号化手段は、合成音声情報を生成
するための記述情報を符号化する第１の符号化手段と、
少なくとも当該合成音声情報を自然音響符号化方式で符
号化する第２の符号化手段とを含み、これらの第１及び
第２の符号化手段から上記復号側状態情報に基づいて選
択した手段により情報の符号化を行なうことを特徴とす
る請求項１記載の符号化装置。
【請求項６】コンピュータグラフィックス画像情報を
生成するための記述情報を符号化する第１の符号化手段
と、上記コンピュータグラフィックス画像情報を自然画像符
号化方式で符号化する第２の符号化手段と、上記第１の符号化手段にて得られた符号化情報と、上記
第２の符号化手段にて得られた符号化情報との何れかを
選択して出力する出力手段とを備えることを特徴とする
符号化装置。
【請求項７】合成音声情報を生成するための記述情報
を符号化する第１の符号化手段と、上記合成音声情報を自然音響符号化方式で符号化する第
２の符号化手段と、上記第１の符号化手段にて得られた符号化情報と、上記
第２の符号化手段にて得られた符号化情報との何れかを
選択して出力する出力手段とを備えることを特徴とする
符号化装置。
【請求項８】上記出力手段の出力先である復号側の状
態を取得する復号側状態取得手段と、上記復号側状態取得手段にて得られた復号側状態情報に
基づいて、上記出力手段での選択出力動作を制御する制
御手段とを備えることを特徴とする請求項６又は７記載
の符号化装置。
【請求項９】上記第１の符号化手段は、ＭＰＥＧ−４
符号化方式のＢＩＦＳ符号化方式及び非自然画像符号化
方式の何れかの符号化方式により、上記コンピュータグ
ラフィックス画像情報を生成するための記述情報を符号
化し、上記第２の符号化手段は、ＭＰＥＧ−４符号化方式の自
然画像符号化方式により、少なくとも上記コンピュータ
グラフィックス画像情報を符号化することを特徴とする
請求項４又は６記載の符号化装置。
【請求項１０】上記第１の符号化手段は、ＭＰＥＧ−
４符号化方式のＢＩＦＳ符号化方式及び非自然音響符号
化方式の何れかの符号化方式により、上記合成音声情報
を生成するための記述情報を符号化し、上記第２の符号化手段は、ＭＰＥＧ−４符号化方式の自
然音響符号化方式により、少なくとも上記合成音声情報
を符号化することを特徴とする請求項５又は７記載の符
号化装置。
【請求項１１】入力された符号化情報を復号する復号
装置であって、上記符号化情報の入力先である符号化側に対して、自装
置の状態を通知する通知手段と、上記通知手段による通知に基づいて上記符号化側にて符
号化された情報を復号する復号手段とを備えることを特
徴とする復号装置。
【請求項１２】上記通知手段は、上記復号手段が有す
る復号機能の情報を通知することを特徴とする請求項１
１記載の復号装置。
【請求項１３】上記復号機能の情報は、コンピュータ
グラフィックス画像情報を生成するための記述情報が符
号化された情報を復号する機能を有するか否かの情報、
及び画像情報が符号化された情報を復号する機能を有す
るか否かの情報の少なくとも何れかを含むことを特徴と
する請求項１２記載の復号装置。
【請求項１４】上記復号機能の情報は、合成音声情報
を生成するための記述情報が符号化された情報を復号す
る機能を有するか否かの情報、及び音声情報が符号化さ
れた情報を復号する機能を有するか否かの情報の少なく
とも何れかを含むことを特徴とする請求項１２記載の復
号装置。
【請求項１５】上記符号化側は、請求項１〜１０の何
れかに記載の符号化装置の機能を有することを特徴とす
る請求項１１記載の復号装置。
【請求項１６】入力された符号化情報を復号する復号
装置であって、自装置の状態を取得する装置状態取得手段と、上記装置状態取得手段により得られた装置状態情報に基
づいて、情報毎に複数種類の符号化方式で符号化した結
果である複数種類の上記符号化情報から選択した符号化
情報を復号する復号手段とを備えることを特徴とする復
号装置。
【請求項１７】上記装置状態取得手段は、上記復号手
段が有する復号機能の情報を取得することを特徴とする
請求項１６記載の復号装置。
【請求項１８】上記復号機能の情報は、コンピュータ
グラフィックス画像情報を生成するための記述情報が符
号化された情報を復号する機能を有するか否かの情報、
及び画像情報が符号化された情報を復号する機能を有す
るか否かの情報の少なくとも何れかを含むことを特徴と
する請求項１７記載の復号装置。
【請求項１９】上記復号機能の情報は、合成音声情報
を生成するための記述情報が符号化された情報を復号す
る機能を有するか否かの情報、及び音声情報が符号化さ
れた情報を復号する機能を有するか否かの情報の少なく
とも何れかを含むことを特徴とする請求項１７記載の復
号装置。
【請求項２０】上記符号化情報は、ＭＰＥＧ−４符号
化方式により情報が符号化された情報を含むことを特徴
とする請求項１１又は１６記載の復号装置。
【請求項２１】複数の機器が通信可能に接続されてな
る情報処理システムであって、上記複数の機器のうち少なくとも１つの機器は、請求項
１〜１０の何れかに記載の符号化装置の機能、及び請求
項１１〜２０の何れかに記載の復号装置の機能の少なく
とも何れかの機能を有することを特徴とする情報処理シ
ステム。
【請求項２２】符号化側で任意の情報を符号化し、当
該符号化情報を復号側で復号するための情報処理方法で
あって、上記復号側の状態情報を取得する復号側状態情報取得ス
テップと、上記復号側状態情報取得ステップにより得られた復号側
状態情報に基づいた符号化方式により情報を符号化する
符号化ステップとを含むことを特徴とする情報処理方
法。
【請求項２３】上記復号側状態情報取得ステップは、
上記復号側が有する復号機能の情報を上記復号側状態情
報として取得するステップを含み、上記符号化ステップは、上記復号側状態情報により、上
記復号側で対応可能な符号化方式により情報を符号化す
るステップを含むことを特徴とする請求項２２記載の情
報処理方法。
【請求項２４】上記復号側状態情報取得ステップは、
上記復号側が、コンピュータグラフィックス画像情報を
生成するための記述情報を符号化した情報を復号する機
能を有するか否かの情報を上記復号側状態情報として取
得するステップを含み、上記符号化ステップは、上記復号側状態情報により、上
記復号側が、コンピュータグラフィックス画像情報を生
成するための記述情報を符号化した情報を復号する機能
を持たない場合、上記コンピュータグラフィックス画像
情報を自然画像符号化方式により符号化するステップを
含むことを特徴とする請求項２２記載の情報処理方法。
【請求項２５】上記復号側状態情報取得ステップは、
上記復号側が、合成音声情報を生成するための記述情報
を符号化した情報を復号する機能を有するか否かの情報
を上記復号側状態情報として取得するステップを含み、上記符号化ステップは、上記復号側状態情報により、上
記復号側が、合成音声情報を生成するための記述情報を
符号化した情報を復号する機能を持たない場合、上記合
成音声情報を自然音響符号化方式により符号化するステ
ップを含むことを特徴とする請求項２２記載の情報処理
方法。
【請求項２６】符号化側で任意の情報を符号化し、当
該符号化情報を復号側で復号するための情報処理方法で
あって、１つの情報毎に複数種類の符号化方式で符号化した複数
種類の符号化情報を生成する符号化ステップと、上記復号側の状態情報を取得する復号側状態情報取得ス
テップと、上記復号側状態情報取得ステップにより得られた復号側
状態情報に基づいて、上記符号化ステップにより得られ
た複数種類の符号化情報から選択した符号化情報を復号
する復号ステップを含むことを特徴とする情報処理方
法。
【請求項２７】上記復号側状態情報取得ステップは、
上記復号側が、コンピュータグラフィックス画像情報を
生成するための記述情報を符号化した情報を復号する機
能を有するか否かの情報を上記復号側状態情報として取
得するステップを含み、上記符号化ステップは、上記コンピュータグラフィック
ス画像情報を生成するための記述情報を符号化する第１
の符号化ステップと、上記コンピュータグラフィックス
画像情報を自然画像符号化方式により符号化する第２の
符号化ステップとを含み、上記復号ステップは、上記復号側状態情報により、上記
復号側が、上記コンピュータグラフィックス画像情報を
生成するための記述情報を符号化した情報を復号する機
能を持たない場合、上記第２の符号化ステップにより得
られた符号化情報を復号するステップを含むことを特徴
とする請求項２６記載の情報処理方法。
【請求項２８】上記復号側状態情報取得ステップは、
上記復号側が、合成音声情報を生成するための記述情報
を符号化した情報を復号する機能を有するか否かの情報
を上記復号側状態情報として取得するステップを含み、上記符号化ステップは、上記合成音声情報を生成するた
めの記述情報を符号化する第１の符号化ステップと、上
記合成音声情報を自然音響符号化方式により符号化する
第２の符号化ステップとを含み、上記復号ステップは、上記復号側状態情報により、上記
復号側が、上記合成音声情報を生成するための記述情報
を符号化した情報を復号する機能を持たない場合、上記
第２の符号化ステップにより得られた符号化情報を復号
するステップを含むことを特徴とする請求項２６記載の
情報処理方法。
【請求項２９】上記符号化ステップは、ＭＰＥＧ−４
符号化方式の符号化方式により情報を符号化するステッ
プを含むことを特徴とする請求項２２又は２６記載の情
報処理方法。
【請求項３０】請求項１〜１０の何れかに記載の符号
化装置、又は請求項１１〜２０の何れかに記載の復号装
置、又は請求項２１に記載の情報処理システムの手段を
実施するための処理プログラムを、コンピュータが読出
可能に格納したことを特徴とする記憶媒体。
【請求項３１】請求項２２〜２９の何れかに記載の情
報処理方法の処理ステップを、コンピュータが読出可能
に格納したことを特徴とする記憶媒体。