JP2006229660A - 画像配信方法、画像符号化装置、画像復号装置、および画像表示装置 - Google Patents

Abstract

【課題】 画像提供側やユーザ側には、画像配信について、多様なレベルの要求が存在する。
【解決手段】 画像符号化装置１００において、符号化ブロック８は、所定の画像データを符号化する。分離部１９は、異なる機会に配信するよう、符号化した画像データをその内容を視認可能な画像として再生させる基本データと、該基本データを補完する補完データに分離する。付加部２４は、基本データおよび補完データの少なくとも一方に対して、それぞれ独立に著作権管理するための情報を付加する。
【選択図】 図２

Description

本発明は、複数の要素に分離可能な画像データを配信するための画像配信方法、画像符号化装置、画像復号装置、および画像表示装置に関する。

近年、ＤＶＤメディア、デジタル放送、およびネットワークを介したオンデマンド通信といったようなインフラの普及に伴い、デジタルコンテンツの利用が拡大している。デジタルコンテンツはコピーにより品質劣化が起こらないため、その著作権管理が重要になる。デジタルコンテンツなどの著作物の著作権を正当に保護することへの要求は、今後もさらに高まっていくと思われる。

また、インターネット上で利用可能なデジタルコンテンツの数は、年々増加しており、インターネットを利用するユーザの数も、年々増加している。これに伴い、インターネット上のトラフィック量も増大している。これに関し、特許文献１は、伝送路のトラフィックに応じて、ＭＰＥＧデータを構成するＩフレームのみを伝送するモード、Ｉフレーム及びＰフレームを伝送するモード、Ｉフレーム、Ｐフレーム及びＢフレームを伝送するモードの切り替えを行う画像伝送装置を開示する。
特開平９−４６６７７号公報

しかしながら、このような手法をもってしても、画像提供側やユーザ側に存在する多様なレベルの要求を満足させるには十分ではない。例えば、画像提供側は、著作権保護を意図しつつも、自己のコンテンツを多数のユーザに認識させたいという願望もある。一方、ユーザ側も、本格志向から低価格志向まで種々の志向がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を行うことが可能な画像配信方法、画像符号化装置、画像復号装置、および画像表示装置を提供することにある。

上記課題を解決するために、本発明のある態様の画像配信方法は、所定の画像データを、その内容を視認可能な画像として再生させる基本データと、画像の品質を向上させるため前記基本データを補完する補完データに分離するステップと、基本データを配信する第１配信ステップと、基本データの配信と別の機会に補完データを配信する第２配信ステップと、を備える。「第２配信ステップ」は、配信先からの要求に応じて、補完データを配信してもよい。「画像の品質」には、動画像の動きの滑らかさを含んでもよい。

この態様によると、画像データを分離することにより、ユーザ側に画像を提供するバリエーションを増やすことができ、画像提供側およびユーザ側双方に利益となる柔軟な画像提供を行うことができる。

基本データと補完データを独立に著作権管理するステップをさらに備えてもよい。この態様によると、いずれか一方に保存禁止などの著作権管理を行い、他方を自由に利用させるなど、柔軟な著作権管理を行うことができる。

分離するステップは、画像データの直流成分および低周波成分の少なくとも一方を基本データとしてもよい。この態様によると、空間的に画像データを分離し、直流成分および低周波成分の少なくとも一方を基本データとすることにより、内容を把握可能な基本データを生成することができる。

分離するステップは、画像データを構成する複数のフレームのうち、フレーム内符号化されたフレームを基本データとしてもよい。他のフレームとの差分で表されるフレームを補完データとしてもよい。この態様によると、時間的に画像データを分離し、独立に復元可能なフレームを基本データとすることにより、内容を把握可能な基本データを生成することができる。

本発明の別の態様は、画像符号化装置である。この装置は、所定の画像データを符号化する符号部と、符号化した画像データを、その内容を視認可能な画像として再生させる基本データと、画像の品質を向上させるため前記基本データを補完する補完データとの異なるデータストリームに分離する分離部と、を備える。

この態様によると、画像データを分離することにより、ユーザ側に画像を提供するバリエーションを増やすことができ、画像提供側およびユーザ側双方に利益となる柔軟な画像提供を行うことができる。

基本データおよび補完データの少なくとも一方に対して、それぞれ独立に著作権管理するための情報を付加する付加部をさらに備えてもよい。「付加部」は、符号化画像データのストリーム生成の際に記録してもよいし、符号化の後の後処理として記録してもよい。

分離部は、画像データの直流成分および低周波成分の少なくとも一方を基本データとしてもよい。また、画像データを構成する複数のフレームのうち、フレーム内符号化されたフレームを基本データとしてもよい。

本発明のさらに別の態様は、画像復号装置である。この装置は、所定の画像データの内容を視認可能な画像として再生させる基本データを予め記録する記録部と、画像の品質を向上させるため基本データを補完する補完データを取得する取得部と、基本データと前記補完データを組み立てる組立部と、組み立てた画像データを復号する復号部と、を備える。「復号部」は、基本データを復号してもよい。

この態様によると、分離された画像データを組み立てる機能を備えることにより、画像提供側およびユーザ側双方に利益となる柔軟な画像提供を行う仕組みが実現可能になる。

基本データおよび補完データの少なくとも一方に付加された、それぞれ独立に著作権管理するための情報を参照して、著作権管理を行う著作権管理部をさらに備えてもよい。この態様によると、画像提供側が柔軟な著作権管理を行う仕組みが実現可能になる。

基本データを取得した後、本装置の処理能力に応じて、基本データを補完すべきデータを配信先に要求するデータ要求部をさらに備えてもよい。この態様によると、装置の処理能力を超える無駄な補完データの配信を抑制することができる。

本発明のさらに別の態様は、画像表示装置である。この装置は、所定の画像データから分離された、その内容を視認可能な画像として再生させる基本データ、および画像の品質を向上させるため基本データを補完する補完データを異なる機会に取得する取得部と、基本データと補完データを組み立てた画像データを表示する表示部と、を備える。「表示部」は、基本データを復号して表示してもよい。

この態様によると、分離された画像データを組み立てる機能を備えることにより、画像提供側およびユーザ側双方に利益となる柔軟な画像提供を行う仕組みが実現可能になる。

基本データおよび補完データの少なくとも一方に付加された、それぞれ独立に著作権管理するための情報を参照して、著作権管理を行う著作権管理部をさらに備えてもよい。基本データを取得した後、本装置の処理能力に応じて、基本データを補完すべきデータを配信先に要求するデータ要求部をさらに備えてもよい。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、記録媒体、プログラムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を行うことができる。

（実施形態１）
本発明は、静止画像または動画像を提供する画像提供側、およびその画像を利用するユーザ側双方にとって、魅力的な画像提供システムを実現する。実施形態１は、画像データを空間的に分離する画像符号化装置１００について説明する。画像符号化装置１００は、例えば直流成分を基本データとし、その他の周波数成分を補完データとする。そして、それらを別々に配信したり、独立に著作権管理する。

実施形態１は、画質の異なる静止画像、動画像を単一の符号化画像データストリームから生成する技術を利用することができる。この一例として、図１を参照して、動画像をＭｏｔｉｏｎ−ＪＰＥＧ２０００方式により符号化する方法について簡単に説明する。図示しない画像符号化装置は、動画像の各フレームをフレーム単位で連続的に符号化して、動画像の符号化データストリームを生成する。符号化処理の開始に当たり、動画像の１フレームに相当する原画像ＯＩ（Original Image）１０２がフレームバッファに読み込まれる。フレームバッファに読み込まれた原画像ＯＩは、ウェーブレット変換器により階層化される。

ＪＰＥＧ２０００におけるウェーブレット変換器は、Daubechiesフィルタを利用する。このフィルタは、画像のｘ、ｙそれぞれの方向において同時にハイパスフィルタおよびローパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれか一方向において低周波成分を有し、かつ他方向において高周波成分を有するＨＬサブバンドおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。また、このフィルタは、ｘ、ｙの両方向について画素数を１／２に軽減する作用も併せ持つ。つまり、各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度すなわち画像サイズが１／４のサブバンド画像が得られる。本明細書においては、原画像ＯＩに対して１回ウェーブレット変換を受けた画像を第１階層の画像ＷＩ１と呼び、以下、ウェーブレット変換を受けた回数に応じて第ｎ階層の画像ＷＩｎと呼ぶことにする。

図１に模式的に示すように、第１階層の画像ＷＩ１ １０４には、４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１が生成される。第１階層の画像ＷＩ１ １０４にウェーブレット変換が施されて、第２階層の画像ＷＩ２ １０６が生成される。ここで、２回目以降のウェーブレット変換は、直前の階層の画像のうちＬＬサブバンド成分に対してのみ施される。したがって、第２階層の画像ＷＩ２ １０６においては、第１階層の画像ＷＩ１のＬＬ１サブバンドが、４つのサブバンドであるＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２に分解される。ウェーブレット変換器は、このフィルタリングを所定の回数実行し、各サブバンドのウェーブレット変換係数を出力する。画像符号化装置は、この後量子化その他の処理を施して、最終的に符号化画像データＣＩ（Coded Image）を出力する。

説明の簡単のために、この例では、画像符号化装置は、原画像ＯＩに対してウェーブレット変換を３回施すものとする。したがって、例えば、原画像ＯＩ １０２が１４４０×９６０ピクセルであったとすると、第１階層の画像ＷＩ１ １０４のＬＬ１サブバンドのサイズは７２０×４８０、第２階層の画像ＷＩ２ １０６のＬＬ２サブバンドは３６０×２４０、第３階層の画像ＷＩ３ １０８のＬＬ３サブバンドのサイズは１８０×１２０である。

階層化された画像について注意すべきは、原画像ＯＩにおける低周波成分が、図１において、より左上に現れることである。図１の場合、第３階層の画像ＷＩ３の左上隅にあるＬＬ３サブバンドがもっとも低周波であり、逆に言えば、このＬＬ３サブバンドさえ得ることができれば、原画像ＯＩのもっとも基本的な性質を再現することができる。

符号化データストリームは、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００以外にも、例えば、１つのストリームにおいて高画質のＨＤストリームと低画質のＳＤストリームを併せ持ったような、ＳＶＣ（Scalable Video Codec）でもよいし、Ｍｏｔｉｏｎ−ＪＰＥＧでもよい。ＪＰＥＧでは、各フレームが離散コサイン変換によって得られた係数のうち、低次項の係数から送信されてくる方式があり、どの次数の項の係数まで使用して復号するかによって画質を選択することができる。これらの規格によれば、空間解像度を階層的に符号化することができる。

上記の例は、周波数分割型の符号化により階層化した例である。この点、近似精度向上型の符号化により階層化してもよい。即ち、ＤＣＴ（Discrete Cosine Transform）係数やウェーブレット係数の上位ビットからの復号ビット数を調整することによっても、異なる画質の復号が可能になる。また、ＭＰＥＧ２では、上記空間解像度に加えて、フレーム数の調整による時間解像度を階層的に符号化することができる。

図２は、第１実施形態における画像符号化装置１００の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた復号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像符号化装置１００は、符号化ブロック８、分離部１９、ストリーム生成部２０、著作権レベル管理テーブル２２および付加部２４を含む。符号化ブロック８は、ウェーブレット変換部１０、フレームバッファ１２、量子化部１４、ビットプレーン符号化部１６、および算術符号化部１８を含む。

まず原画像ＯＩがフレームバッファ１２に読み込まれる。ウェーブレット変換部１０はフレームバッファ１２から原画像ＯＩを読み出し、ウェーブレット変換により画像を再帰的に変換する。上述したように、ＪＰＥＧ２０００におけるウェーブレット変換は、Daubechiesフィルタを利用する。このフィルタは、画像の縦横の各方向においてローパスフィルタおよびハイパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。こうして得られたサブバンド画像はいったんフレームバッファ１２に記憶される。

ウェーブレット変換部１０は、こうして得られたサブバンドのうち、最低周波数成分であるＬＬサブバンドの画像をフレームバッファ１２から読み出して、再度フィルタリング処理を行い、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割し、フレームバッファ１２に書き込む。フィルタリングは所定の回数行われ、最後のフィルタリングで生じたＬＬサブバンドが原画像ＯＩにおいて最もＤＣ成分に近い画像として取得される。以下、同一階層の各サブバンド、すなわち同じ回数フィルタリングを施して得られた４つのサブバンドはＬＬ、ＨＬおよびＬＨ、ＨＨの順に次第に高周波成分を含み、これらのサブバンドよりもさらに高周波成分を含む画像が、ひとつ前のフィルタリング処理で得られた４つのサブバンドとして続く。このように縦横４分割のフィルタリングを最低周波数成分に対して繰り返し適用することで、縦横４分割の再帰的な構造の中に低周波成分から高周波成分が階層的に形成された画像がフレームバッファ１２に得られる。

量子化部１４は、フレームバッファ１２に記憶されている階層化された画像を、低周波成分から順に、必要に応じて量子化する。ビットプレーン符号化部１６は、量子化され、算術符号化のためにコードブロックと呼ばれる単位に分解されたウェーブレット係数を、ビットプレーンとして表現する。算術符号化部１８は、このビットプレーンを算術符号化する。

分離部１９は、算術符号化がなされたビット列によりビットストリームを階層単位で、複数のグループに分離する。例えば、図１の第１階層の画像ＷＩ１ １０４であれば、サブバンドＬＬ１のグループと、その他の３つのサブバンドＨＬ１、ＬＨ１、ＨＨ１のグループに分離してもよい。

図３は、空間的に分離する前後の符号化画像データの構造を示す。上述したような、階層的な符号化画像データ５０の各フレームは、データ領域の先頭から、直流成分、低周波数成分、中周波数成分、高周波成分の順番でデータが記述される。したがって、各フレームの前半部分だけでも画像を再生することはできるが、低画質の画像となる。後半部分まで含めて再生するにしたがって、しだいに高画質の画像となっていく。図３では、この符号化画像データ５０を分離して、直流成分および低周波数成分の符号化画像データ５２と、中周波数成分および高周波成分の符号化画像データ５４に分離する。なお、分類は２つに限らず、３つ以上でもよい。例えば、中周波数成分の符号化画像データと高周波成分の符号化画像データとを別の分類にしてもよい。

ストリーム生成部２０は、分離部１９により分類されたビット列ごとにビットストリームを生成する。このような過程を経て、上記原画像ＯＩが階層単位で分離された複数の符号化画像データＣＩ（Coded Image）となる。

この複数の符号化データＣＩは、それぞれ異なる機会に種々の方法でユーザ側に提供される。例えば、直流成分および低周波数成分の符号化画像データを無料で配布してもよい。その際、ＤＶＤ−ＲＯＭなどのメディアでサンプルとして配布してもよいし、ネットワーク上からユーザにダウンロードさせてもよい。その後、中周波数成分や高周波成分の符号化画像データをユーザ側に提供する。その際も、メディアで配布したり、サーバからダウンロードさせてもよい。また、この符号化画像データをユーザ側に保存させないよう、ストリーム配信で提供してもよい。そして、このストリーム配信をユーザから要求があった場合に有料で提供してもよい。

この手法によると、ユーザは低画質で画像を再生する場合、無料で鑑賞することができるが、高画質で再生した場合、有料で鑑賞しなければならない。このように、符号化画像データを分離して、異なる機会に種々の方法でユーザ側に提供すると、画像提供側は、画質単位のきめ細かな著作権管理が可能となり、画像コンテンツの販売手法も広くなる。ユーザ側も、選択肢が増え、志向に合った画像コンテンツの利用を行うことができる。

以下、画像提供側がさらにきめ細かい著作権管理を行う手法について説明する。そのために、著作権レベル管理テーブル２２および付加部２４を用いる。著作権レベル管理テーブル２２は、当該符号化画像データＣＩを使用するユーザに許諾する著作権レベルを管理する。図４は、著作権レベル管理テーブル２２の一例を示す。横軸は当該符号化画像データＣＩの用途を、縦軸はそれぞれの用途に応じた許諾画質レベルを示す。この許諾画質レベルは、分離部１９で分離した各符号化画像データに対応するものとする。図４にて、再生は、低画質、中画質、高画質のいずれのレベルでも許可される。複製は、高画質のレベルでは禁止され、低画質、中画質のレベルでは許諾される。編集は、中画質、高画質のレベルでは禁止され、低画質のレベルでは許諾される。ここで、編集とは、例えばデジタルテレビジョン放送により受信した符号化画像データからＣＭ部分をカットするような編集を含む。したがって、中画質でそのデータを複製することはできるが、その際、ＣＭ部分をカットして複製することはできない。再配信は禁止されている。いずれの画質レベルでも再配信することができない。

複製世代は、複製が可能な世代と、その世代の許諾画質レベルを表す。１世代目は、中画質の複製が可能であるが、１世代目の複製データを複製する２世代目は、低画質でのみ複製が可能である。４世代目からは複製することができない。著作権レベル管理テーブル２２は、以上のようなプロファイルをユーザごとに管理している。また、プロファイルの各項目は、管理者のキー入力などにより適宜更新可能である。

上記符号化画像データＣＩを有料でユーザ側に提供している場合、ユーザ側の支払う料金やコース設定により、利用できる用途や、その用途に応じた許諾画質レベルが異なる。また、プロファイルは、ユーザごとではなく、地域ごとや時間ごとに生成してもよい。例えば、時間ごとのプロファイルを生成すると、ユーザのコンテンツ利用に制限時間を設けることもできる。ユーザ側の装置で、ある期間を過ぎるとプロファイルが切り替わる構成をとれば、その期間後にすべてのコンテンツ利用ができなくなる処理ではなく、許諾画質レベルを落としたり、用途を制限する形の時間制限も設定することができる。

付加部２４は、提供するユーザや地域などを考慮して、対応するプロファイルの著作権レベル情報を各符号化画像データＣＩのヘッダなどに記録する。ヘッダや、その他の自由に管理者が設定できる領域に著作権レベル情報を書き込めばよい。時間制限を設ける場合など、複数のプロファイルの著作権レベル情報を付加してもよい。なお、著作権管理をしない画質レベルに対応する符号化画像データには、著作権レベル情報を付加しなくてもよい。なお、著作権レベル管理テーブル２２および付加部２４は、外付けの独立した装置でもよい。この装置は、ネットワークに接続することにより、このネットワークを通信途中の上記符号化画像データＣＩに著作権レベル情報を付加することができる。

以上説明したように本実施形態によれば、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供を行うことができる。画像提供側は、分離した各符号化画像データごとに著作権を管理することもでき、きめ細かな著作権管理が可能となる。また、複数の符号化画像データに分離した際、内容を視認可能な画像を生成することができる直流成分および低周波数成分の符号化画像データを生成することにより、多様な販売手法や販売促進手法を用いることができるようになる。例えば、当該符号化画像データは内容を視認可能なため、サンプル画像として配布することができる。そして、高画質での視聴を希望するユーザのみが、その他の周波数成分の符号化画像データを要求し、画像提供側がそれに応答して、そのユーザにそれを配布した場合、ハードウェア資源を節約することができる。すなわち、すべてのユーザに対して高周波成分を含む完全な符号化画像データを配信する場合よりも、ネットワーク上のトラフィック量を軽減することができる。また、それを受信したユーザ端末のハードディスクなどの記録容量を節約することができる。

（実施形態２）
実施形態２は、階層単位で分離された複数の符号化画像データを異なる時機に取得し、それらを組み立てた符号化画像データを復号することができる画像復号装置２００である。なお、表示部３８を搭載していれば画像表示装置として機能する。

図５は、実施形態２における画像復号装置２００の構成を示す。画像復号装置２００は、取得部３２、記録部３４、組立部３６、および復号ブロック２５０を備える。取得部３２は、実施形態１で説明したような、階層単位で分離された符号化画像データＣＩを取得する。取得部３２は、ネットワーク上からそれをダウンロードして取得してもよいし、それが記録された記録メディアから取得してもよい。また、放送電波から取得してもよい。取得部３２は、取得した符号化画像データＣＩを記録部３４に記録する。なお、ストリーム配信などにより保存が禁止されたデータであった場合、記録部３４に記録することができず、復号ブロック２５０に直接、出力する。

ユーザは、直流成分および低周波数成分の符号化画像データなど、そのデータ単独で内容を把握可能な画像を形成することができるデータを取得した場合、その符号化画像データを復号ブロック２５０に出力させて、画像を鑑賞することができる。

組立部３６は、異なる時機に取得した複数の符号化画像データについて、フレーム単位に分離し、対応するフレーム同士を組み立てる。そして、組み立てたフレームを順番に並べて、分離前の符号化データに再構築する。例えば、上記図３に示した符号化画像データを分離する処理の逆となる。図３にて、直流成分および低周波数成分の符号化画像データ５２、ならびに中周波数成分および高周波成分の符号化画像データ５４をそれぞれフレーム単位で分割する。そして、各フレームごとに、データ領域の先頭から直流成分、低周波数成分、中周波数成分、高周波成分の順番に、分割された各要素が再構築される。最後に、再構築されたフレームを順番につなぎあ合わせる。なお、３つ以上の符号化画像データからも、同様の手法で元の符号化画像データに再構築することができる。

組立部３６は、再構築の対象とすべき複数の符号化画像データを取得部３２および記録部３４の少なくとも一方から取得する。例えば、既に記録部３４に記録されている直流成分および低周波数成分の符号化画像データと、ストリーム配信されている中周波数成分および高周波成分の符号化画像データを組み立てることができる。そして、組み立てた符号化画像データを復号ブロック２５０に出力する。

復号ブロック２５０は、ストリーム解析部２５２、算術復号部２５４、ビットプレーン復号部２５６、逆量子化部２５８、ウェーブレット逆変換部２６０、およびフレームバッファ２６２を備える。ストリーム解析部２５２は、組立部３６または記録部３４から符号化画像データＣＩを受け取り、そのデータストリームを解析する。また、当該符号化画像データＣＩのヘッダなどに著作権レベル情報が含まれている場合、それを検出して、著作権管理部４０に渡す。算術復号部２５４は、当該解析の結果、判明した復号すべきデータ列に対して算術復号を施す。ビットプレーン復号部２５６は、算術復号の結果、得られたデータを色コンポーネント毎にビットプレーンの形で復号する。逆量子化部２５８は、復号された量子化データを逆量子化する。ウェーブレット逆変換部２６０は、フレームバッファ２６２を利用して、逆量子化の結果得られた第ｎ階層の画像ＷＩｎにウェーブレット逆変換を施す。符号化画像データＣＩに対して、ウェーブレット逆変換を施す毎に、より上位階層の画像が得られ、最上位階層まで復号すると、復号画像データＤＩ（Decoded Image）を得ることができる。

表示部３８は、復号ブロック２５０が復号した復号画像データＤＩを表示する。図５では、画像復号装置２００内に描写されているが、装置２００外に設けてもい。著作権管理部４０は、本装置２００で利用する符号化画像データＣＩの著作権を管理する。ストリーム解析部２５２が検出した著作権レベル情報、またはコンテンツ提供側のサーバなどとのセッションにより取得した著作権レベル情報を管理する。例えば、ユーザが符号化画像データＣＩを利用する際に、その用途に応じた許諾画質レベルを特定し、その画質レベルに応じたウェーブレット逆変換を施す回数をウェーブレット逆変換部２６０に指定してもよい。このような場合、高画質を実現すべき符号化画像データを含んでいても、その画質では、再生などの利用をすることができないことになる。

データ要求部４２は、分離前の符号化画像データのうち、記録部３４に一部の符号化画像データが既に所持されている場合、そのうちの他の符号化画像データの配布をコンテンツ提供側のサーバなどに要求する。例えば、直流成分および低周波数成分の符号化画像データを既に所持している場合、それを補完する中周波数成分および高周波成分の符号化画像データを要求してもよい。このデータ要求は、ユーザ操作により実行されてもよいし、本画像復号装置２００のスペックに基づいて実行されてもよい。

ユーザ操作により実行される場合、補完すべき符号化画像データに対する料金が支払われてもよい。また、ユーザは、所望の画質と料金とのトレードオフ関係を考慮して、中周波数成分および高周波成分の符号化画像データを比較的高額な対価で要求したり、中周波数成分の符号化画像データを比較的低額な対価で要求することができる。

能力検出部４４は、本画像復号装置２００の処理能力を検出する。例えば、復号ブロック２５０の処理能力、解像度などの表示部３８の処理能力を検出する。復号ブロック２５０の処理能力には、演算能力やバッファ容量などが含まれ得る。能力検出部４４は、検出した処理能力を基に、画像提供側に要求すべき符号化画像データを決定する。例えば、本画像復号装置２００の最大パフォーマンスを算出し、それを超えない最大の画質または解像度を持つ符号化画像データを想定し、それを実現するに必要な符号化画像データを決定する。能力検出部４４は、記録部３４に既に記録されている符号化画像データを補完すべく、画像提供側に要求する符号化画像データに関する情報をデータ要求部４２に渡す。

データ要求部４２は、その情報を画像提供側に渡す。これは、ユーザ操作に限らず、自動的にネットワークを介して画像提供側に送信してもよい。例えば、直流成分および低周波数成分の符号化画像データを取得したときに、送信してもよい。また、能力検出部４４から本画像復号装置２００の最大パフォーマンスを受け取り、それを画像提供側に送信してもよい。これによれば、画像提供側は、それを参酌して符号化画像データの補完データ量を決定することができ、配布すべき復号装置側の処理能力を超える無駄な配布を抑制することができる。

また、データ要求部４２は、ユーザ操作により、補完すべき画像符号化データを要求する場合に、上記最大パフォーマンスをストッパーとして利用し、そのパフォーマンスに合った範囲内で補完要求を出せるようにしてもよい。

以上説明したように本実施形態によれば、画像提供側およびその画像を利用するユーザ側双方に利益となる柔軟な画像提供の実現に資する画像復号装置を提供することができる。例えば、ユーザは、内容を視認可能な画像を生成することができる直流成分および低周波数成分の符号化画像データを受け取って、それを視聴し、より高画質での視聴を希望するか否かを判断することができる。これは、画像提供側にとって、符号化画像データを分離せずに復号の程度を制限することによって、高画質再生に関する著作権を保護するよりも、それを実現するためのデータ自体をユーザ側に渡していないため、より安全である。また、高画質での鑑賞を希望しないユーザもいるため、その場合、補完すべき符号化画像データを送信する必要がなく、ネットワーク全体のトラフィック量を抑制することもできる。また、復号装置側の処理能力を参酌して画像提供側に補完すべき符号化画像データを要求することにより、無駄なデータの配信が減少し、さらにトラフィック量を抑制することができる。

（実施形態３）
実施形態３は、画像データを時間的に分離する画像符号化装置１００について説明する。画像符号化装置１００は、動画像を構成する複数のフレームの一部を基本データとし、その他のフレームを補完データとする。ここで、複数のフレームの一部とは、８枚おきに１枚を抜いていった場合の、抜いた１枚の組み合わせなどが該当し得る。そして、それらを別々に配信したり、独立に著作権管理する。

実施形態３における画像符号化装置１００の構成および動作は、基本的に実施形態１におけるものと同様である。以下、相違点について説明する。実施形態１では、動画像をＭｏｔｉｏｎ−ＪＰＥＧ２０００方式により符号化する例を説明したが、実施形態３では、ＭＰＥＧ方式により符号化する例を説明する。ＭＰＥＧ方式による符号化は、一般的な技術であるため詳細な説明を省略する。図２に即してＭＰＥＧ方式による符号化を簡単に説明すると、符号化ブロック８では、ウェーブレット変換ではなく、離散コサイン変換を行う場合が多く、また、係数への変換の前にフレーム間の動き補償予測を行い、フレーム間の予測誤差を変換対象とする処理が追加される。

分離部１９は、符号化ブロック８により符号化された複数のフレームを複数のグループに分離する。例えば、Ｉフレームのグループとその他のグループに分離したり、Ｉフレームのグループ、Ｐフレームのグループ、およびＢフレームのグループに分離することができる。Ｉフレームは、フレーム内符号化したものであり、独立して画像を形成することができる。Ｐフレームは、一連のフレームの前方向予測誤差を符号化したものであり、Ｂフレームは、一連のフレームの双方向予測誤差を符号化したものである。

図６は、分離前および分離後の符号化画像データの構造を示す。分離前の符号化画像データ６０は、フレーム内符号化したフレーム６１、およびフレーム間の予測誤差を利用して符号化したフレームを含む。フレーム内符号化したフレーム６１だけを再生すると、スライドショーのように、画像の動きが滑らかに続かない動画像となる。ただし、フレーム内符号化したフレーム６１の比率が非常に少ない場合でない限り、内容を把握することは可能である。

図６では、符号化画像データ６０を分離して、フレーム内符号化したフレーム６１で組成された符号化画像データ６２と、それ以外の、フレーム間の予測誤差を利用して符号化したフレームで組成された符号化画像データ６４に分離する。なお、分類は２つに限らず、３つ以上でもよい。例えば、上述したようなＰフレーム群を、奇数と偶数などでさらに分離してもよい。もちろん、Ｉフレーム群を分離してもよい。

以上説明したように本実施形態によれば、上述した実施形態１と同様の効果を奏する。時間的に分離した場合、動画像を組成する静止画像の画質を維持したまま、サンプル用として配布することもでき、ユーザの視覚に強い印象を与えることでき、高い宣伝効果が期待される。

（実施形態４）
実施形態４は、符号化方式の異なるフレーム単位で分離された複数の符号化画像データを異なる時機に取得し、それらを組み立てた符号化画像データを復号することができる画像復号装置２００である。なお、表示部３８を搭載していれば画像表示装置として機能する。

実施形態４における画像復号装置２００の構成および動作は、基本的に実施形態２におけるものと同様である。以下、相違点について説明する。実施形態２では、空間的に分離された複数の符号化画像データを組み立てる例を説明したが、実施形態４では、時間的に分離されたものを組み立てる例で説明する。

組立部３６は、異なる時機に取得した複数の符号化画像データについて、分離前の順番に各フレームを並べていき、分離前の符号化画像データを再構築する。例えば、上記図６に示した符号化画像データを分離する処理の逆となる。図６にて、フレーム内符号化したフレーム６１で組成された符号化画像データ６２、およびフレーム間の予測誤差を利用して符号化したフレームで組成された符号化画像データ６４の各フレームを分離前の順番に並び替えて分離前の符号化画像データ６０を再構築する。なお、３つ以上の符号化画像データからも、同様の手法で元の符号化画像データに再構築することができる。

ＭＰＥＧ方式で符号化された符号化画像データを復号することは、一般的な技術であるため詳細な説明を省略する。図５に即して、当該符号化画像データの復号を簡単に説明すると、復号ブロック２５０では、符号側で離散コサイン変換されてＤＣＴ係数が符号化されている場合、ウェーブレット逆変換ではなく、離散コサイン逆変換を行う。また、逆変換後に、参照画像および予測誤差を用いた動き補償処理を行う必要がある。

以上説明したように本実施形態によれば、上述した実施形態２と同様の効果を奏する。時間的に分離された符号化画像データのうち、独立で画像を復元することができるフレーム群を取得した場合、動画像を組成する静止画像の画質を維持したまま、鑑賞することができる。よって、ユーザはこの動画像の補完データを要求するか否かを、画像自体の善し悪しの観点からも、判断することができる。また、時間方向に対するフレームの組立は、比較的簡単に行うことができる。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第２実施形態において、周波数分割型の階層化を説明した。この点、近似精度向上型の階層化を用いてもよい。その場合、ウェーブレット変換係数のビット列のうち、所定数の下位ビットを破棄することにより、種々の画質レベルの画像を復号することができる。即ち、著作権管理部４０がビットプレーン復号部２５６に変換するビット数を指定することにより、画質レベルを調整することができる。

この階層化方式を用いると、画像の部分単位で画質レベルに差を設けることができる。その場合、図４に示した著作権レベル情報を管理しているテーブルの個々のプロファイルを、用途、画質レベルの２つのパラメータで記述するだけでなく、用途、画質レベル、画像部分の３つのパラメータで記述することができる。また、画質レベル、画像部分の２つのパラメータで記述することもできる。この場合、コンテンツ提供側は、上述した実施形態より、さらに柔軟に著作権を管理することができる。

また、異なる画質レベルは、解像度だけではなく、圧縮率や色数を階層化しても実現することができる。圧縮率は、ＪＰＥＧ２０００のレイヤー機能を使用すれば階層化することができる。カラー画像は輝度成分と色差成分とで表されるが、色差成分に対して、上述したような階層化手法を用いることもできる。

画像符号化処理の手順を示す図である。 実施形態１における画像符号化装置の構成を示す図である。 空間的に分離する前後の符号化画像データの構造を示す図である。 著作権レベル管理テーブルの一例を示す図である。 実施形態２における画像復号装置の構成を示す図である。 時間的に分離する前後の符号化画像データの構造を示す図である。

符号の説明

８ 符号化ブロック、 １９ 分離部、 ２０ ストリーム生成部、 １００ 画像符号化装置、 ３２ 取得部、 ３４ 記録部、 ３６ 組立部、 ２００ 画像復号装置、 ２５０ 復号ブロック。

Claims (14)

1. 所定の画像データを、その内容を視認可能な画像として再生させる基本データと、該画像の品質を向上させるため前記基本データを補完する補完データに分離するステップと、
   前記基本データを配信する第１配信ステップと、
   前記基本データの配信と別の機会に前記補完データを配信する第２配信ステップと、
   を備えることを特徴とする画像配信方法。
2. 前記基本データと前記補完データを独立に著作権管理するステップをさらに備えることを特徴とする請求項１に記載の画像配信方法。
3. 前記分離するステップは、前記画像データの直流成分および低周波成分の少なくとも一方を前記基本データとすることを特徴とする請求項１または２に記載の画像配信方法。
4. 前記分離するステップは、前記画像データを構成する複数のフレームのうち、フレーム内符号化されたフレームを前記基本データとすることを特徴とする請求項１または２に記載の画像配信方法。
5. 所定の画像データを符号化する符号部と、
   符号化した画像データを、その内容を視認可能な画像として再生させる基本データと、該画像の品質を向上させるため前記基本データを補完する補完データとの異なるデータストリームに分離する分離部と、
   を備えることを特徴とする画像符号化装置。
6. 前記基本データおよび前記補完データの少なくとも一方に対して、それぞれ独立に著作権管理するための情報を付加する付加部をさらに備えることを特徴とする請求項５に記載の画像符号化装置。
7. 前記分離部は、前記画像データの直流成分および低周波成分の少なくとも一方を前記基本データとすることを特徴とする請求項５または６に記載の画像符号化装置。
8. 前記分離部は、前記画像データを構成する複数のフレームのうち、フレーム内符号化されたフレームを前記基本データとすることを特徴とする請求項５または６に記載の画像符号化装置。
9. 所定の画像データの内容を視認可能な画像として再生させる基本データを予め記録する記録部と、
   前記画像の品質を向上させるため前記基本データを補完する補完データを取得する取得部と、
   前記基本データと前記補完データを組み立てる組立部と、
   組み立てた画像データを復号する復号部と、
   を備えることを特徴とする画像復号装置。
10. 前記基本データおよび前記補完データの少なくとも一方に付加された、それぞれ独立に著作権管理するための情報を参照して、著作権管理を行う著作権管理部をさらに備えることを特徴とする請求項９に記載の画像復号装置。
11. 前記基本データを取得した後、本装置の処理能力に応じて、前記基本データを補完すべきデータを配信先に要求するデータ要求部をさらに備えることを特徴とする請求項９または１０に記載の画像復号装置。
12. 所定の画像データから分離された、その内容を視認可能な画像として再生させる基本データ、および前記画像の品質を向上させるため前記基本データを補完する補完データを異なる機会に取得する取得部と、
    前記基本データと前記補完データを組み立てた画像データを表示する表示部と、
    を備えることを特徴とする画像表示装置。
13. 前記基本データおよび前記補完データの少なくとも一方に付加された、それぞれ独立に著作権管理するための情報を参照して、著作権管理を行う著作権管理部をさらに備えることを特徴とする請求項１２に記載の画像表示装置。
14. 前記基本データを取得した後、本装置の処理能力に応じて、前記基本データを補完すべきデータを配信先に要求するデータ要求部をさらに備えることを特徴とする請求項１２または１３に記載の画像表示装置。

Images