JP5868925B2 - 符号器によって補助された後処理に関する方法及び装置 - Google Patents

Description

本特許出願は、“METHOD AND APPARATUS FOR ENCODER ASSISTED POST-PROCESSING”（符号器によって補助された後処理に関する方法及び装置）という題名を有し、本発明の譲受人に対して譲渡され、全目的のために本明細書において参照されることによって本明細書に完全に組み入れられている米国仮特許出願番号６０／８３２，３４８（出願日：２００６年７月２０日）からの優先権の利益を主張するものである。

本出願は、一般的には、マルチメディアデータ処理を対象とするものである。本出願は、特に、後復号器処理技術を用いた映像の符号化を対象とするものである。

高解像度のマルチメディアデータを表示装置、例えば携帯電話、コンピュータ、及びＰＤＡ、に送信することがこれまでにも増して要求されるようになってきている。高解像度は、本明細書においては一定の希望されるディテール及び特徴を見るために要求される解像度を示すことを目的として用いられる用語であり、一定のマルチメディアデータ、例えば、スポーツ、映像、テレビ放送、及びその他の該画像、を最適な形で観るために必要である。高解像度のマルチメディアデータを提供するためには、一般的には、表示装置に送信されるデータ量を増大させることが要求され、この増大させることは、より多くの通信資源及び送信帯域幅を必要とするプロセスである。

解像度を向上させる上では空間スケーラビリティが典型的な方法であり、高解像度情報、特に高周波数データ、が符号化され、エンハンスメント層としてより低い解像度のデータの基本層に送信される。しかしながら、該データは、雑音に類似する統計上の特性を有しておりさらに不良なコーディング効率を有するため空間スケーラビリティは非効率的である。さらに、アップサンプリング解像度はエンハンスメント層が生成／符号化されるときに予め決められるため、空間スケーラビリティは非常に制限的である。従って、当業において知られる空間スケーラビリティ及びその他の解像度エンハンスメント方法の欠陥を克服するためのその他の方法が必要である

本明細書において説明される装置及び方法の各々は、幾つかの側面を有しており、いずれの単一の側面も、望ましい属性を確保する役割を単独で果たしているわけではない。以下では、この開示の適用範囲を限定することなしに、本発明のより顕著な特長が簡単に説明される。当業者は、この説明を検討後に、そして特に“発明を実施するための形態”という題名の部分を読んだ後に、この開示の特長がマルチメディアデータ処理装置及び方法に関する改良点をどのようにして提供するかを理解するであろう。

一側面においては、マルチメディアデータを処理する方法は、後処理技術のインジケータを識別することと、第１のマルチメディアデータを符号化して第１の符号化されたデータを形成することと、前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成することであって、前記処理することは、前記インジケータによって識別された前記後処理技術を適用することによって前記第１の符号化されたデータを復号することと、前記第２のマルチメディアデータを前記第１のマルチメディアデータと比較して比較情報を決定することと、前記差分情報に基づいて第２の符号化されたデータを生成すること、とを含む。比較して比較情報を決定することは、前記第２のマルチメディアデータと前記第１のマルチメディアデータとの間の差分を示す差分情報を決定することを含むことができる。前記第１のマルチメディアデータの符号化は、前記第１のマルチメディアデータをダウンサンプリング及び圧縮して前記第１の符号化されたデータを形成することを含むことができる。

様々な後処理技術を用いることができ、例えば、アップサンプリングすることと、雑音低減技術を適用して前記第２のマルチメディアデータ内の雑音を低減することと、前記第１のマルチメディアデータの少なくとも１つの特徴を強調するエンハンスメント技術を適用すること、とを含む。前記エンハンスメント技術は、前記第１のマルチメディア画像内の皮膚の特徴に対応する皮膚情報をエンハンスすることを備えるエンハンスメント技術を適用することを含むことができる。前記方法は、前記第２の符号化されたデータ及び前記第１の符号化されたデータを例えば端末デバイスに送信することをさらに備えることができる。前記方法は、前記第２の符号化されたデータを用いて前記第１の符号化されたデータを復号することをさらに備えることができる。前記第１の符号化されたデータを復号して第２のマルチメディア画像を形成することは、ヒストグラム等化を用いること、エッジエンハンスメント技術を用いること、及び／又は映像復元を用いることを含むことができる。前記差分情報は、様々なデータスケールで決定することができ、ブロック、マクロブロック、またはこの方法の特定の実施形態を容易にする他のデータサイズによることを含む。前記差分情報は、低解像度のコーディングされたデータにおける既存情報の一組の関係を備え、この一組の関係は、方程式、量子化された残差係数の数と格納場所を含む決定論理、及び／又はファジーな論理規則を備える決定論理を備えることができる。

他の実施形態においては、マルチメディアデータを処理するためのシステムは、後処理技術のインジケータを識別するように構成されてさらに第１のマルチメディアデータを符号化して第１の符号化されたデータを形成するように構成された符号器と、前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成するように構成された第１の復号器であって、前記処理することは、前記第１の符号化されたデータを復号することと、前記インジケータによって識別された前記後処理技術を適用すること、とを備える第１の復号器と、比較情報を決定するように構成された比較器と、を含み、前記符号器は、前記差分情報に基づいて第２の符号化されたデータを生成するようにさらに構成され、前記第２の符号化されたデータは、引き続いて前記第１の符号化されたデータを復号するために用いられる。前記比較情報は、前記第１のマルチメディアデータと前記第２のマルチメディアデータとの間の差分を示す差分情報を含むことができる。前記符号器は、前記第１のマルチメディアデータをダウンサンプリングしてその結果得られたダウンサンプリングされたデータを圧縮することによって前記第１の符号化されたデータを符号化するように構成することができる。前記第１の復号器構成は、前記符号化された画像を生成するためのアップサンプリングプロセス及び伸張プロセスと、前記第２のマルチメディア画像を形成するために用いられる前記復号技術のインジケータを維持するためのデータ記憶装置と、を含むことができる。前記後処理技術は、前記第２のマルチメディアデータ内の雑音を低減するように構成された雑音フィルタリングモジュールをさらに備える。幾つかの実施形態においては、前記後処理技術は、前記第２のマルチメディアデータの特徴を強調するエンハンスメント技術を備える。

他の実施形態においては、マルチメディアデータを処理するためのシステムは、後処理技術のインジケータを識別するための手段と、第１のマルチメディアデータを符号化して第１の符号化されたデータを形成するための手段と、前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成するための手段であって、前記処理することは、前記第１の符号化されたデータを復号することと、前記インジケータによって識別された前記後処理技術を適用すること、とを含む手段と、前記第２のマルチメディアデータを前記第１のマルチメディアデータと比較して比較情報を決定するための手段と、前記比較情報に基づいて第２の符号化されたデータを生成するための手段と、を含む。

他の実施形態においては、機械によって読み取り可能な媒体は、実行時に、後処理技術のインジケータを識別すること、第１のマルチメディアデータを符号化して第１の符号化されたデータを形成すること、前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成すること、前記第２のマルチメディアデータを前記第１のマルチメディアデータと比較して比較情報を決定すること、及び前記差分情報に基づいて第２の符号化されたデータを生成することを機械に行わせるマルチメディアデータを処理するための命令であって、前記処理することは、前記第１の符号化されたデータを復号することと、前記インジケータによって識別された前記後処理技術を適用すること、とを備える命令、を備える。

他の実施形態においては、マルチメディアデータを処理するためのシステムは、第１の符号化されたマルチメディアデータを受信するように構成された端末デバイスを含み、前記第１の符号化されたマルチメディアは、第１のマルチメディアデータから生成され、前記端末デバイスは、第２の符号化されたデータを受信するようにさらに構成され、前記第２の符号化されたデータは、前記第１のマルチメディアデータの画素と前記第２のマルチメディアデータの対応する画素との間の差分を表す情報を含み、前記第２のマルチメディアデータは、前記第１のマルチメディアデータを符号化し次に前記端末デバイスの前記復号器においても用いられる後処理技術を用いて前記符号化された第１のマルチメディアデータを復号することによって形成され、前記端末デバイスは、前記第２の符号化されたデータを復号し及び前記復号された第２の符号化されたデータからの情報を用いて前記第１の符号化されたデータを復号するように構成される復号器を備える。

他の実施形態においては、マルチメディアデータを処理する方法であって、前記方法は、端末デバイスにおいて第１の符号化されたマルチメディアを受信することであって、前記第１の符号化されたマルチメディアは、第１のマルチメディアデータから生成されることと、前記端末デバイスにおいて第２の符号化されたデータを受信することであって、前記第２の符号化されたデータは、前記第１のマルチメディアデータを第２のマルチメディアデータと比較することによって生成された差分を表す情報を含み、前記第２のマルチメディアは、前記第１のマルチメディアデータを符号化し、次に前記端末デバイスの前記復号器においても用いられる後処理技術を用いて前記符号化された第１のマルチメディアデータを復号することによって形成されることと、前記第２の符号化されたデータを復号して前記差分情報を生成することと、前記差分情報を用いて前記第１の符号化されたデータを復号すること、とを含む。

マルチメディアを引き渡すための通信システムを例示するブロック図である。 マルチメディアを符号化するための通信システムの一定の構成要素を例示するブロック図である。 マルチメディアを符号化するための通信システムの一定の構成要素の他の実施形態を例示するブロック図である。 マルチメディアを符号化するための一定の構成要素の他の実施形態を例示するブロック図である。 マルチメディアデータを符号化するために構成されたプロセッサを有する符号化デバイスを例示するブロック図である。 マルチメディアデータを符号化するために構成されたプロセッサを有する符号化デバイスの他の実施形態を例示するブロック図である。 マルチメディアデータを符号化するプロセスを例示する流れ図である。 補間フィルタ係数ファクタの例を示す表である。 復号器において実行される後処理動作の型を指定するインジケータ及びそのパラメータを例示する表である。 マルチメディアデータの少なくとも一部分の画素明度値をリマッピングすることによってマルチメディアデータを符号化するプロセスを例示する流れ図である。 符号化前にマルチメディアデータを修正するように構成されたプリプロセッサを有する符号化デバイスのブロック図である。

以下の説明においては、説明される側面について徹底的に理解できるようにすることを目的として具体的な詳細が示される。しかしながら、該側面は、これらの具体的な詳細なしで実践できることが当業者によって理解されるであろう。例えば、回路は、これらの側面を不必要に詳細にすることで曖昧にしないようにするためにブロック図で示すことができる。その他の例においては、これらの側面を曖昧にしないようにするためによく知られた回路、構造及び技術は詳細には示されない。

本明細書において言及される“一側面”、“側面”“幾つかの側面”又は“一定の側面”、及び“実施形態”又は“複数の実施形態”という言葉を用いる同様の表現は、側面に関連して説明される特定の特長、構造、又は特性のうちの１つ以上を少なくとも１つの側面内に含めることができることを意味する。本明細書の様々な箇所において該表現が現れる場合でも、必ずしもすべてが同じ側面に言及しているわけではなく、さらに、その他の側面と相互に排他的な別個の又は代替の側面であるわけでもない。さらに、幾つかの側面によって提示できるがその他の側面によっては提示することができない様々な特長が説明される。同様に、幾つかの側面に関する要求であるがその他の側面に関しては要求ではない様々な要求が説明される。

本明細書において用いられる“マルチメディアデータ”又は単に“マルチメディア”は、（音声データを含むことができる）映像データ、音声データ、又は映像データと音声データの両方を含み、さらにグラフィックデータを含むこともできる広義の用語である。本明細書において広義の用語として用いられる“映像データ”又は“映像”は、テキスト又は画像情報及び／又は音声データを含む画像のシーケンスを指す。

希望される高解像度のマルチメディアデータを１つ以上の表示装置に提供するために、空間スケーラビリティ及びアップサンプリングアルゴリズムは、典型的には、エッジ検出を採用しさらに線形の又は適応型の（時々非線形の）フィルタリングプロセスによって後続される画像又はエッジエンハンスメント技術を含む。しかしながら、符号器における圧縮及びダウンサンプリング中に失われた極めて重要な及び微細なエッジは、これらのメカニズムを通じては高い信頼度で検出することができず、さらに復号及びアップサンプリング中に有効な形で再生することができない。本明細書において説明される方法及びシステムの一定の特長は、圧縮に起因して失われたマルチメディアデータのディテールに関連する情報を識別するプロセスを含む。その他の特長は、該情報を用いることによって、復号されたマルチメディアデータ内において該ディテールを復元させることに関連する。本明細書においては、該システム及び方法が図１乃至７に関連してさらに詳細に説明及び例示される。１つの典型的実施形態においては、マルチメディアデータを符号化するプロセスを容易にすることを目的として、符号化方法は、特定の符号化及び／又は復号プロセス（例えば、符号器内に実装されたダウンサンプリング及び／又は復号器内に実装されたアップサンプリングアルゴリズム）によって生み出されたデータの相違点を説明するために（例えば表示装置における）後処理又は復号プロセスに関連する情報を用いてマルチメディアデータを符号化することができる。

一例においては、マルチメディアデータは、最初に符号化（例えばダウンサンプリング及び圧縮）され、引き続き少なくとも１つの表示装置に送信されることになる圧縮データを形成する。符号化されたデータのコピーが、復号器の既知の復号及びアップサンプリングアルゴリズム（複数を含む）を用いて伸張されてアップサンプリングされ、その結果得られたデータが、最初に受信された（圧縮されていない）マルチメディアデータと比較される。原マルチメディアデータと伸張されたアップサンプリングされたデータとの間の差分は、“差分情報”として表される。後処理技術（例えば、ダウンサンプリング及びアップサンプリングフィルタ）に組み入れられているエンハンスメントプロセスは、ノイズを除去すること、特徴（例えば、皮膚、顔の特徴、“高速移動”オブジェクトであることを示すデータにおける急速に変化するエリア）をエンハンスすること、又は生成された差分情報内におけるエントロピーを低減させることができる。差分情報は、“補助情報”として符号化される。補助情報も復号器に送信され、復号器においては、符号化中に劣化している可能性がある復号された画像のディテールをエンハンスするために用いられる。これで、エンハンスされた画像を表示装置において提示することができる。

図１は、ストリーミング又はその他の型のマルチメディアデータを引き渡すための通信システム１０のブロック図である。この技術は、デジタルの圧縮されたマルチメディアデータを多数の表示装置又は端末１６に送信するデジタル送信施設１２におけるアプリケーションを見つける。送信施設１２によって受信されたマルチメディアデータは、デジタル映像ソース、例えば、デジタルケーブルフィード又はデジタル化されたアナログ高信号／比ソース、であることができる。映像ソースは、送信施設１２において処理され、ネットワーク１４を通じて１つ以上の端末１６に送信するために変調によって搬送波に乗せられる。

ネットワーク１４は、有線又は無線を問わず、データを送信するのに適するあらゆる型のネットワークであることができ、イーサネット（登録商標）、電話（例えば、ＰＯＴＳ）、ケーブル、電線、及び光ファイバーシステムのうちの１つ以上、及び／又は、符号分割多元接続（ＣＤＭＡ又はＣＤＭＡ２０００）通信システム、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元（ＯＦＤＭ）接続システム、時分割多元接続（ＴＤＭＡ）システム、例えば、ＧＳＭ（登録商標）／ＧＰＲＳ（汎用パケット無線サービス）／ＥＤＧＥ（エンハンストデータＧＳＭ環境）、ＴＥＴＲＡ（地上トランク無線）移動電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ（登録商標））システム、高データレート（１ｘＥＶ−ＤＯ又は１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、ＩＥＥＥ８０２．１１システム、ＭｅｄｉａＦＬＯ（登録商標）システム、ＤＭＢシステム、又はＤＶＢ−Ｈシステム、のうちの１つ以上を備える無線システムを含む。例えば、ネットワークは、携帯電話ネットワーク、インターネット等のグローバルコンピュータ通信ネットワーク、ワイドエリアネットワーク、首都圏ネットワーク、ローカルエリアネットワーク、衛星ネットワーク、及びこれらの型及びその他の型のネットワークの一部分又は組合せであることができる。

符号化されたマルチメディアデータをネットワーク１４から受信する各端末１６は、制限することなしに、無線電話、パーソナルデジタルアシスタント（ＰＤＡ）、パーソナルコンピュータ、テレビ、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ（ＰＤＡ）、映像／画像記憶装置、例えばビデオカセットレコーダー（ＶＣＲ）、デジタルビデオレコーダー（ＤＶＲ）、及びこれらの及びその他のデバイスの一部分又は組合せを含むあらゆる型の通信デバイスであることができる。

図２は、マルチメディアを符号化するためのデジタル送信施設１２内の通信システムの一定の構成要素を例示するブロック図である。送信施設１２は、例えば記憶装置から受信するか又はその他の形でアクセス可能なマルチメディアに基づいてマルチメディアデータを符号化デバイス２０に提供するように構成されたマルチメディアソース２６を含む。符号化デバイス２０は、端末１６等のダウンストリーム受信デバイスにおいて引き続き用いられるか又は用いることが可能な復号アルゴリズムに関連する情報に（少なくとも部分的に）基づいてマルチメディアデータを符号化する。

符号化デバイス２０は、マルチメディアデータを符号化するための第１の符号器２１を含む。第１の符号器２１は、端末１６のうちの１つ以上への送信のために符号化されたマルチメディアデータを通信モジュール２５に提供する。第１の符号器２１は、符号化されたデータのコピーも復号器２２に提供する。復号器２２は、符号化されたデータを復号し、好ましいことに受信デバイス内での復号プロセスにおいても用いられる後処理技術を適用するように構成される。復号器２２は、復号されたデータを比較器２３に提供する。

復号器２２によって用いるためのインジケータが識別され、該インジケータは、後処理技術を示す。前文において用いられる“識別される”は、復号器がインジケータを維持、格納、選択するか又はアクセス可能であることを指す。幾つかの実施形態においては、インジケータは、復号器２２のメモリデバイス内、又は復号器２２と通信中の他のデバイス内に維持するか又は格納することができる。幾つかの実施形態においては、インジケータは、複数のインジケータから選択することができ、各インジケータは、後処理技術を示す。幾つかの実施形態においては、復号器２２は、受信デバイス内の復号器によって用いられる特定の処理技術を知らずにその他の既知の又は典型的な処理技術を用いることもできる。

復号器２２は、１つ以上の後処理技術を実行するように構成することができる。幾つかの実施形態においては、復号器２２は、いずれの技術を採用すべきかを示す入力に基づいて複数の後処理技術のうちの１つを用いるように構成することができる。典型的には、マルチメディアデータを符号化するために第１の符号器２１において用いられる圧縮及びダウンサンプリングプロセス、及びマルチメディアデータを復号するために復号器２２内において用いられる伸張及びアップサンプリングプロセスの結果、復号されたデータは、原マルチメディアデータと少なくとも少々異なる（及び劣化している）可能性がある。比較器２３は、原マルチメディアデータ及び復号されたマルチメディアデータを受信及び比較して比較情報を決定するように構成される。比較情報は、原マルチメディアデータと復号されたマルチメディアデータを比較することによって決定された情報を含むことができる。幾つかの実施形態においては、比較データは、２つのデータセットにおける差分を含み、“差分情報”と呼ばれる。差分情報は、例えば、フレームごとに生成することができる。比較は、ブロックごとに行うことも可能である。本明細書において言及されるブロックは、１つの画素（１×１）の“ブロック”からＭ×Ｎの任意のサイズを有する画素の“ブロック”まで変化することができる。ブロックの形状は、必ずしも正方形ではない。

“差分情報”は、符号化／復号プロセスの結果端末１６において表示されるマルチメディアデータにおいて見られる画像の劣化を表す。比較器２３は、第２の符号器２４に比較情報を提供する。比較情報は、第２の符号器２４において符号化され、符号化された“補助情報”は、通信モジュール２５に提供される。通信モジュール２５は、符号化されたマルチメディアと符号化された補助情報とを含むデータ１８を端末デバイス１６に送信することができる（図１）。端末デバイス内の復号器は、“補助情報”を用いて、符号化及び復号中に影響を受けた又は劣化した復号されたマルチメディアデータにエンハンスメントを加える（例えばディテールを加える）。このことは、受信された符号化されたマルチメディアデータの画質をエンハンスし、従ってより高い解像度の復号された画像を表示装置において提示することができる。幾つかの実施形態においては、第１の符号器２１及び第２の符号器２４は、単一の符号器として実装することができる。

後処理技術は、マルチメディアデータ内の一定の特徴（例えば、皮膚及び顔の特徴）をエンハンスする１つ以上の技術を含むことができる。符号化された差分情報は、受信デバイスに送信される。受信デバイスは、補助情報を用いて復号された画像にディテールを追加し、符号化及び復号中に影響を受けたディテールを補正する。これで、より高い解像度及び／又はより高い品質の画像を受信デバイスにおいて提示することができる。

差分情報は、主となるコーディングされたビットストリームにおける補助情報として識別される。補助情報をトランスポートするためにコーディングされたデータのサイズをコーディングされたメディアデータの送信プロトコルパケットサイズ（ＩＰデータグラム又はＭＴＵ）に適合させるためにユーザーデータ又は“フィラー”パケットを用いることができる。幾つかの実施形態においては、差分情報は、低解像度のコーディングされたデータ内の既存情報の一組の関係（例えば、方程式、決定論理、量子化された残差係数の数と格納場所、ファジー論理規則）として識別することができ、これらの関係へのインデックスを補助情報として符号化することができる。必ずしもすべての差分情報が符号化されるわけではなく、この情報のフォーマットは関係に関するルックアップテーブルのインデックスに縮小できるため、符号器によって補助されたアップサンプリングメタデータは、受信デバイス内の情報をより効率的に符号化及び利用して送信する必要がある情報のエントロピーを低減させることができる。

説明される符号化デバイス２０のその他の構成も意図される。例えば、図３は、（図２に示されるような）２つの符号器の代わりに１つの符号器３１を用いる符号化デバイス３０の代替実施形態を例示する。この実施形態においては、比較器２３は、符号化のために差分情報を単一の符号器３１に提供する。符号器３１は、符号化されたマルチメディアデータ（例えば第１の符号化されたデータ）及び符号化された補助情報（例えば、第２の符号化されたデータ）を端末１６への送信を目的として通信モジュール２５に提供する。

図４は、図２及び３に示されるシステムの一部分、特に符号器２１、復号器４０、及び比較器２３、の例を示すブロック図である。復号器４０は、符号化されたマルチメディアデータを復号し、受信端末１６において用いられる後処理技術を利用するために構成される（図１）。復号器４０の機能は、本明細書において説明される符号器、例えば図２及び３において例示される復号器２２、において実装することができる。復号器２２は、符号化されたマルチメディアデータを符号器２１から受け取る。復号器４０内の復号器モジュール４１は、符号化されたマルチメディアデータを復号し、復号されたデータを復号器４０内の後処理モジュールに提供する。この例においては、後処理モジュールは、ノイズ除去器モジュール４２と、データエンハンサモジュール４３と、を含む。

通常は、映像シーケンス内の雑音は、加法性白色ガウス雑音であると想定される。しかしながら、映像信号は、時間及び空間の両方の点で相関性が高い。従って、白色性を時間的に及び空間的にの両方において利用することによって信号から雑音を部分的に除去することが可能である。幾つかの実施形態においては、雑音除去器モジュール４２は、時間的雑音除去、例えばカルマンフィルタ、を含む。雑音除去器モジュール４２は、その他の雑音除去プロセス、例えばウェーブレット収縮フィルタ及び／又はウェーブレットウィナーフィルタ、を含むことができる。ウェーブレットは、所定の信号の位置を空間領域及びスケーリング領域の両方において特定するために用いられる１つのクラスの関数である。ウェーブレットに関する基本的考え方は、異なるスケール又は解像度において信号を解析しそれによってウェーブレット表現の小さい変化が原信号において対応する小さい変化を生み出すようにすることである。ウェーブレット収縮又はウェーブレットウィナーフィルタは、雑音除去器４１として適用することもできる。ウェーブレット収縮雑音除去は、ウェーブレット変換領域における収縮を含むことができ、典型的には、３つのステップ、すなわち、線形順ウェーブレット変換、非線形収縮雑音除去、及び線形逆ウェーブレット変換を備える。ウィナーフィルタは、加法性雑音及びブラーによって劣化された画像を改良するために用いることができるＭＳＥ最適線形フィルタである。幾つかの側面においては、雑音除去フィルタは、（４，２）双直交立方Ｂスプラインウェーブレットフィルタの一側面に基づく。

雑音除去モジュール４２は、雑音除去された復号されたデータをデータエンハンサモジュール４３に提供する。データエンハンサモジュール４３は、（例えば、スポーツイベントに関わるマルチメディアデータに関して）観る上で望ましいとみなされるデータの一定の特徴、例えば皮膚、顔の特徴、及び急速に変化するデータ、をエンハンスするように構成することができる。データエンハンサモジュールの主機能は、データの再生又は消費中に画像又は映像のエンハンスメントを提供することである。典型的画像エンハンスメントは、シャープ化することと、色域／飽和／色相の向上と、コントラストの向上と、ヒストグラムの等化と、高周波数の強調と、を含む。皮膚の特徴をエンハンスすることに関して、幾つかの皮膚色調検出方法が存在する。皮膚の色調を有する領域が画像内において識別された時点で、この領域に対応するクロマ成分を修正して色相を向上させて希望される色パレットに適合するようにすることが可能である。

顔の特徴を向上させることに関して、顔の特徴においてリンギング雑音が検出された、例えば皮膚―色調検出を通じて識別された、場合は、リンギング除去フィルタ及び／又は該当する平滑化／雑音低減フィルタを適用してこれらのアーティファクトを最少化すること及びコンテキスト／コンテンツ選択性画像エンハンスメントを実行することができる。映像エンハンスメントは、フリッカー低減と、フレームレートエンハンスメントと、等を含む。映像内の１つのグループのフレーム全体における平均輝度のインジケータを送信することは、フリッカー低減に関連する復号器／後復号器／後処理を援助することができる。フリッカーは、ＤＣ量子化を原因とし、再構築された映像が、同じ照明状態／輝度を有する原映像内に存在していたフレーム全体を通じての平均輝度レベルの変動を有することになることがしばしばある。フリッカー低減は、典型的には、隣接するフレームに関する平均輝度（例えば、ＤＣヒストグラム）の計算と、平均化フィルタを適用して各フレームの平均輝度を対象となるフレーム全体の計算された平均輝度に戻すこと、とを含む。この場合は、差分情報は、各フレームに関して適用される予め計算された平均輝度シフトであることができる。データエンハンサモジュール４３は、エンハンスされた復号されたマルチメディアデータを比較器２３に提供する。

図５は、マルチメディアデータを符号化するように構成されたプロセッサ５１を有する符号化デバイス５０の例を示すブロック図である。符号化デバイス５０は、送信施設、例えばデジタル送信施設１２、において実装することができる（図１）。符号化デバイス５０は、プロセッサ５１と通信するように構成され及び通信モジュール５９と通信するように構成された記憶媒体５８を含む。幾つかの実施形態においては、プロセッサ５１は、図２において例示される符号器２０と同様にマルチメディアデータを符号化するように構成される。プロセッサ５１は、第１の符号器モジュール５２を用いて受信されたマルチメディアデータを符号化する。符号化されたマルチメディアは、端末１６において実装される少なくとも１つの後処理技術を用いてマルチメディアデータを復号するように構成される復号器モジュール５３を用いて復号される（図１）。プロセッサ５１は、雑音除去器モジュール５５を用いて復号されたマルチメディアデータ内の雑音を除去する。プロセッサ５１は、顔の特徴又は皮膚等の予め決められた特徴に関する復号されたマルチメディアデータをエンハンスするように構成されるデータエンハンサモジュール５６を含むことができる。

復号された（及びエンハンスされた）マルチメディアデータと原マルチメディアデータとの間の差分は、復号されたマルチメディアデータと原マルチメディアデータとの間の差分を表す差分情報を生成する比較器モジュール５４によって決定される。エンハンスされた差分情報は、第２の符号器５７によって符号化される。第２の符号器５７は、通信モジュール５９に提供される符号化された補助情報を生成する。符号化されたマルチメディアデータは、通信モジュール５９にも提供される。符号化されたマルチメディアデータ及び補助情報の両方が表示装置（例えば図１の端末１６）に通信され、表示装置は、補助情報を用いてマルチメディアデータを復号してエンハンスされたマルチメディアデータを生成する。

図６は、マルチメディアデータを符号化するように構成されたプロセッサ６１を有する符号化デバイス６０の他の実施形態を例示するブロック図である。この実施形態は、マルチメディアデータを図５と同様に符号化することができるが、プロセッサ６１は、マルチメディアデータ及び差分情報の両方を符号化する１つの符号器６２を含む。これで、符号化されたマルチメディアデータ及び補助情報の両方が通信モジュール５９によって表示装置（例えば、図1の端末１６）に通信される。表示装置内の復号器は、補助情報を用いてマルチメディアデータを復号してエンハンスされた解像度のデータを生成し、該データを表示する。

復号器において実装することができる一定の後処理技術の例が以下において示される。しかしながら、これらの例の説明は、説明されるこれらの技術のみに本開示を限定することを意味するものではない。上述されるように、復号器２２は、差分情報を識別して対応する補助情報を生成するために幾つかの後処理技術のうちのいずれかを実装することができる。

クロマ処理
後処理技術の一例は、クロマ処理であり、クロマ処理は、表示対象となるマルチメディアデータの色度に関する動作を指す。色空間変換がその一例である。典型的圧縮動作（復号、デブロッキング、等）及び幾つかの後処理動作（例えば、ルマ又はＹ成分によって表される強度がクロマとは無関係に修正される関数、例えばヒストグラム等化）は、ＹＣｂＣｒ又はＹＵＶ領域又は色空間において行われ、他方、ディスプレイは、通常はＲＧＢ色空間において動作する。色空間変換は、この差分に対処するためにポストプロセッサ及び表示プロセッサにおいて行われる。ＲＧＢとＹＣＣ／ＹＵＶとの間のデータ変換では、Ｒ、Ｇ及びＢがＹ成分に変換されたときにＲ、Ｇ及びＢの強度情報における冗長性が低減されるため同じビットの深さが維持される場合にデータ圧縮を行うことができ、その結果ソース信号が相当に圧縮されることになる。従って、圧縮に基づく後処理は、潜在的に、ＹＣＣ／ＹＵＶ領域において動作する。

クロマサブサンプリングは、色（の量表現）よりも輝度（の量表現）に関してより高い解像度を実装する方法に関するものである。クロマサブサンプリングは、多くの映像符号化方式（アナログ及びデジタルの両方）において及びＪＰＥＧ符号化においても用いられる。クロマサブサンプリングにおいては、ルマ及びクロマ成分は、線形の（三刺激値）ＲＧＢ成分の代わりにガンマ補正された（三刺激値）Ｒ‘Ｇ’Ｂ‘成分の重み付き和として形成される。サブサンプリング方式は、３部比（例えば、４：２：２）として表されるのが一般的であるが、４部（例えば４：２：２：４）として表されることもある。これらの４つの部分は、（それぞれの順に）第１の部分がルマ水平サンプリングレファレンス（元来は、ＮＴＳＣテレビシステムにおける３．５７９ＭＨｚの倍数）、（第１の桁に関する）第２の部分がＣｂ及びＣｒ（クロマ）水平係数、第２の桁と同じである第３の部分（ただし、Ｃｂ及びＣｒが２：１で垂直にサブサンプリングされることを示すゼロのときを除く）、及び、（アルファ“キー”成分を示す）ルマ桁と同じである第４の部分（存在する場合）である。後処理技術は、クロマアップサンプリング（例えば、４：２：０データを４：２：２データに変換すること）又はダウンサンプリング（例えば、４：４：４データを４：２：０データに変換すること）を含むことができる。低ビットレートから中ビットレートへの圧縮は、典型的には、４：２：０映像において行われる。ソースマルチメディアデータの輝度が４：２：０よりも高い（例えば、４：４：４又は４：２：２）である場合は、４：２：０にダウンサンプリングし、符号化し、送信し、復号し、次に後処理動作中に原クロミナンスにまでアンサンプリングすることができる。表示装置においては、表示のためにＲＧＢに変換時には、クロミナンスは、全４：４：４比にまで復元される。復号器２２は、該後処理動作によって、ダウンストリーム表示装置において発生することができる復号／処理動作を複製するように構成することができる。

グラフィックス動作
グラフィックス処理に関連する後処理技術も復号器２２において実装することができる。幾つかの表示装置は、グラフィックスプロセッサ、例えば、マルチメディア及び２Ｄ又は３Ｄのゲームプレイをサポートする表示装置、を含む。グラフィックプロセッサの機能は、画素処理動作を含むことができ、このうちの幾つか（又はすべて）を映像の質を向上させるために適切に適用することができ又は圧縮／伸張を含む映像処理の中に組み入れることが可能である。

アルファ−ブレンド
アルファブレンドは、典型的には２つのシーン間での切り替え（ｔｒａｎｓｉｔｉｏｎ）において又はＧＵＩにおける既存の画面上での映像のオーバーレイにおいて用いられる動作であり、復号器２２においても実装可能な画素動作後処理技術の一例である。アルファブレンドにおいては、カラーコード内におけるアルファ値は、０．０乃至１．０の範囲内であり、ここで、０．０は完全に透明な色を表し、１．０は、完全に半透明な色を表す。“ブレンド”するためには、ピクチャバッファから読み出された画素に“アルファが”乗じられる。表示バッファから読み出された画素は、１−アルファが乗じられる。これらの２つがいっしょに加えられその結果が表示される。映像コンテンツは、様々な形態の切り替え効果を含み、黒又はその他の一様な／定常の色からの／これらの色へのフェード切り替え、シーン間のクロスフェード、及びコンテンツの種類（例えばアニメからコマーシャル映像、等まで）の間のスプライスポイント、を含む。Ｈ．２６４基準は、切り替えに関するフレーム番号又はＰＯＣ（ピクチャオーダーカウント）を用いて開始点及び停止点に関するアルファ値及びインジケータを通信する備えを有する。切り替えに関する一様な色を指定することもできる。

切り替え領域は、新しいシーンの始まり（第１のフレーム）をＩフレームとして及び後続するフレームを予測されたフレームとしてコーディングできる突然のシーン変化ではないため符号化するのが難しい可能性がある。復号器内において典型的に用いられる動き推定／補償技術の性質に起因して、動きは、データブロックとして追跡することができ、定常的な輝度シフトは残差内に吸収される（重み付き予測がこの点をある程度解決することができる）。輝度及び追跡中の動きの変化は、真の動きではなく、１つの画像から他の画像への徐々の切り替えであってその結果大きな残差が生じることになるため、クロスフェードのほうがより大きい問題である。（低ビットレートに関する過程である）量子化後におけるこれらの大きい残差の結果、動き及びブロッキングアーティファクトが大規模になる。切り替え領域を定義する完全な画像をコーディングすること及びフェード／クロスフェードに影響を与えるアルファブレンド構成を指定することは、アーティファクトのない切り替えの再生が行われ、圧縮効率／比が向上するか又はビットレートが低下し、ブロッキングアーティファクトが誘発されるインスタンスと比較して同様の又はより良い知覚／視覚上の品質が得られることになる。

復号器のアルファブレンド能力を符号器において知っていることは、従来のコーディングを通じて大きな残差に関してビットを費やす代わりに切り替え効果をメタデータとしてコーディングするのを容易にすることができる。該メタデータの幾つかの例は、アルファ値に加えて、復号器／ポストプロセッサにおいてサポートされる一組の切り替え効果、例えばズーム、回転、ディゾルブ、フェーディング、へのインデックスを含む。

透明度
“透明度”は、符号化デバイス２０の復号器２２に含めることができる他の相対的に単純な後処理画素動作である。透明度プロセスにおいては、表示バッファから画素値が読み出され、ピクチャバッファから他の画素値が読み出される（表示対象フレーム）。ピクチャバッファから読み出された値が、透明度値と一致する場合は、表示バッファから読み出された値がディスプレイに書かれる。ピクチャバッファから読み出された値が、透明度値と一致しない場合は、ピクチャバッファから読み出された値がディスプレイに書かれる。

映像スケーリング（×２、／２、／４、任意のスケール）
映像スケーリング（“アップスケーリング”及び“ダウンスケーリング”の両方）の意図は、典型的には、１つの信号形式又は解像度で搬送された情報を他の異なる信号形式又は解像度に移行させる一方で原信号の情報及び品質を可能な限り保存することである。映像スケーリングは、２倍又は４倍のダウンスケーリングにおいて機能し、画素値を単純に平均することを通じて行われる。アップスケーリングは、補間フィルタを含み、両軸において行うことができる。Ｙ値に関して双三次補間が行われ、最近隣フィルタリングがクロマ値に関して行われる。

例えば、Ｙの補間値は、以下によって計算することができる。

行内の各補間されたＹに関しては、

列内の各補間されたＹに関しては、

並列（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）比較から、双線形補間法及び双三次補間法は、可視の差をほとんど示さない。双三次補間は、わずかによりシャープな画像が得られる。双三次補間を行うためにはより大きいラインバッファを構築しなければならない。双三次フィルタはすべて一次元であり、係数は、スケーリング比のみに依存する。一例においては、画質を保証するために係数をコーディングする上では８ビットで十分である。すべての係数を符号なしでコーディングする必要があるだけであり、符号は、回路を用いてハードコーディングすることができる。係数に関する符号は、双三次補間に関しては常に［−＋＋−］である。

図８は、所定のスケールファクタに関するフィルタの様々な選択肢を示す。図８に示されるスケールファクタは、モバイルデバイスにおいて最も共通してみられるスケールファクタの例である。各スケールファクタに関して、検出されたエッジの型および希望されるロールオフ特性に基づいてフィルタの異なる位相を選択することができる。幾つかのフィルタは、一定のテクスチャ及びエッジ領域に関してはその他のフィルタよりも優れた働きをする。フィルタタップは、実験結果及び視覚評価に基づいて導き出されたものである。幾つかの実施形態においては、受信機（復号器／表示ドライバ）における中程度に精巧なスケーラが、ブロック／タイルに基づいて適応的にフィルタを選択することができる。符号器は、受信機のスケーラの特徴を知っており、いずれのフィルタを各ブロックに関して選択すべきかを（オリジナルとの比較に基づいて）示す（例えば、フィルタテーブルへのインデックスを提供する）ことができる。この手法は、復号器がエッジ検出を通じて該当するフィルタを決定することの代替手法となることができる。この手法は、エッジ検出に関係する決定論理（例えば、多くのプロセッササイクルを消費するプルーニング及びデイレクショナルオペレーション）を行う必要がないため、復号器内における処理サイクル及び電力を最小にする。

ガンマ補正
ガンマ補正、ガンマ非線形性、ガンマ符号化、又はしばしば呼ばれるように単純にガンマは、映像又は静止画像系において輝度又は三次刺激値をコーディング及び復号するために用いられる非線形動作名であり、復号器２２に実装可能な他の後処理技術でもある。ガンマ補正は、画像の全体的輝度を制御する。適切に補正されない画像は、漂白されたような白色又は暗すぎる、のいずれかに見える可能性がある。色を正確に再現するのを試みることは、ガンマ補正に関するある程度の知識が要求される。ガンマ補正量を変えることは、明度だけでなく、赤対緑対青の比も変える。ガンマ補正は、最も単純なケースにおいては、以下のべき法則方程式によって定義される。

ここで、入力値及び出力値は、典型的には０乃至１等の予め決められた範囲内にある、負でない実数値である。γ＜１は、しばしばガンマ圧縮と呼ばれ、γ＞１は、ガンマ拡張（ｇａｍｍａ ｅｘｐａｎｓｉｏｎ）と呼ばれる。復号器後処理がガンマ補正を含む実装においては、対応するガンマ後処理技術は、復号器２２に実装することができる。典型的には、ガンマ補正は、ＬＣＤパネル内のアナログ領域において行われる。典型的には、ディザリングがガンマ補正に後続するが、幾つかの事例においては、ディザリングが最初に行われる。

ヒストグラム等化
ヒストグラム等化は、画素値ヒストグラムを用いて画像内の画素の動的範囲を修正するプロセスである。典型的には、画像内の情報は、値の可能な範囲全体にわたって一様に分布していない。画像のこの画素強度周波数分布は、画素数（ｙ軸）対各画素の明度（例えば、８ビットのモノクロ画像に関する０乃至２５５）（ｘ軸）のグラフを作ってヒストグラムを形成することによって図示することができる。画像ヒストグラムは、画像内の幾つの画素が様々な明度レベル境界内に入るかをグラフで表現したものである。動的範囲は、ヒストグラムの占有されている部分の幅を示す１つの尺度である。一般的には、小さい動的範囲を有する画像は、同じく低いコントラストを有し、大きい動的範囲を有する画像は、高いコントラストを有する。画像の動的範囲は、マッピング動作、例えば、ヒストグラム等化、コントラスト又はガンマ調整、又は他のリマッピング動作、を用いて変更することができる。画像の動的範囲が小さくされると、その結果得られる“フラット化された”画像は、より少ないビットを用いて表現（及び符号化）することができる。

動的範囲調整は、画素強度範囲、例えば画素明度値範囲、に関して行うことができる。動的範囲調整は、典型的には画像全体において行われるが、画像の一部分、例えば、画像の一部分を表す識別された画素強度範囲、に対しても行うことができる。幾つかの実施形態においては、画像は、（例えば、異なる画像主題コンテンツ、空間位置、又は画像ヒストグラムの異なる部分によって区別された）２つ以上の識別された部分を有することができ、各部分の動的範囲は、別々に調整することができる。

ヒストグラム等化は、特に画像の使用可能なデータが近似のコントラスト値によって表されるときに、画像の局部コントラストを高くするために用いることができる。この調整を通じて、ヒストグラムにおいて強度をより良く分布させることができる。このことは、局部コントラストがより低いエリアが全域的なコントラストに影響を与えずにより高いコントラストを得るのを可能にする。ヒストグラム等化は、画素強度値を有効に拡散させることによってこのことを達成させる。この方法は、両方とも明るいか又は両方とも暗い背景と前景を有する画像において有用である。

ヒストグラム等化はコントラストを向上させるが、画像の圧縮効率を低下させる。幾つかの符号化プロセスにおいては、全体的な圧縮効率を向上させるためにヒストグラム等化プロパティの“逆（ｉｎｖｅｒｓｅ）”を符号化前に用いることができる。逆ヒストグラム等化プロセスにおいては、画素明度値がリマッピングされてコントラストが引き下げられ、その結果得られる画像ヒストグラムは、より小さい（圧縮された）動的範囲を有する。該プロセスの幾つかの実施形態においては、画像を符号化する前に各画像のヒストグラムを導き出すことができる。マルチメディアの画像内の画素の輝度範囲は、画像ヒストグラムをより狭い輝度値範囲にまで有効に圧縮するためにスケーリングすることができる。従って、画像のコントラストを低くすることができる。該画像が圧縮されと、符号化効率は、低い／小さい輝度値範囲に起因してヒストグラム圧縮が行われない場合よりも高い。画像が端末デバイスにおいて復号されるときには、端末デバイスにおいて実行されるヒストグラム等化プロセスが画像のコントラストを原分布に復元する。幾つかの実施形態においては、符号器は、端末デバイスの復号器において用いられるヒストグラム等化アルゴリズムを識別するインジケータを維持する（受け取る）ことができる。該事例においては、符号器は、ヒストグラム等化アルゴリズムの逆を用いて圧縮効率を向上させること及びコントラスト復元のための十分な情報を復号器に提供することができる。

図１１は、より少ないビットを用いてマルチメディアデータを符号化するために符号化される前にマルチメディアデータの動的範囲を小さくすることができる符号化デバイス１１２０の実施形態を例示する。図１１においては、マルチメディアソース１１２６は、符号化デバイス１１２０にマルチメディアデータを提供する。符号化デバイス１１２０は、マルチメディアデータを受け取るプリプロセッサ１１１８を含み、マルチメディアデータに含まれる少なくとも１つの画像の動的範囲を小さくする。その結果得られたデータ“圧縮”は、マルチメディアデータのサイズを小さくし、符号化する必要があるマルチメディアデータ量をそれに応じて低減させる。その結果得られたデータは、符号器１１２１に提供される。

符号器１１２１は、図１において例示されるように、調整されたマルチメディアデータを符号化し、符号化されたデータを端末デバイス１６（例えばハンドセット）への送信のために通信モジュール１１２５に提供する。幾つかの実施形態においては、動的範囲調整と関連する情報も符号器１１２１に提供される。情報は、画素強度範囲に対する修正を示すインジケータとして符号化デバイス１１２１内において維持することができる。動的範囲調整と関連する情報（又はインジケータ）が提供される場合は、符号器１１２１は、該情報も符号化し、端末デバイス１６への送信のために通信モジュール１１２５に提供することができる。引き続き、端末デバイス１６は、画像が表示される前に動的範囲をリマッピング（拡大）する。幾つかの実施形態においては、図２の符号器２１等の符号器は、この前処理動的範囲調整を行うように構成することができる。幾つかの実施形態においては、前処理動的範囲調整は、本明細書において例えば図１乃至９を参照して説明される符号化実施形態を含むその他の符号化実施形態に加えて行うことができる。

復号器において行われる後処理動作の型を指定するためのメタデータ（又はインジケータ）及びそのパラメータが図９において例示される。スケーリングに関するオプションは、図９において説明される補間フィルタに関する異なる組の係数である。関数指定子は、図９において例示される表の列２に記載される一組の後処理関数のインデックスである。符号器は、コーディング対象となる差分情報の最小のエントロピーを生み出す（ブロックに基づく）関数をこの組から選択することができる。オプションとして、選択基準は、最高の品質であることも可能であり、品質は、ＰＳＮＲ、ＳＳＩＭ、ＰＱＲ、等の何らかの客観的手段を通じて測定される。さらに、指定された各関数に関して、この関数に関して用いられる方法に基づいて一組のオプションが提供される。例えば、エッジエンハンスメントは、エッジ検出方法（例えば、一組のゾーベルフィルタ又は３×３又は５×５のガウスマスク）を使用し、高周波数強調を後続させることによってループ外で行うことができる。幾つかの実施形態においては、エッジエンハンスメントは、ループ内デブロッカ回路を用いてループ内において行うことができる。後者の場合は、インループデブロッキング中に用いられるエッジ検出方法を用いてエッジが識別され、デブロッキングフィルタによって行われる通常の低域フィルタリングの補完機能は、エッジをエンハンスするためのシャープニングフィルタである。同様に、ヒストグラム等化は、強度値範囲全体にわたって等化するオプションを有しており、部分的又はガンマ補正は、ディザリングに関するオプションを有する。

図７は、符号化構造、例えば符号化デバイス２０（図２）、符号化デバイス３０（図３）、符号化デバイス４０（図４）及び符号化デバイス５０（図５）、によってマルチメディアデータを符号化するプロセス７０の例を示す。状態７１において、プロセスは、後処理技術のインジケータを維持する。例えば、後処理技術は、表示装置、例えば端末１６、の復号器において用いることができる（図１）。メタデータは、後処理技術が存在する場合にどのような後処理技術が受信側の表示装置において実行されるかを具体的に知らずによく知られた又は非常に一般的な処理技術を示すこともできる。状態７２において、受信された第１のマルチメディアデータが符号化されて第１の符号化されたマルチメディアデータが形成される。

プロセス７０は、状態７３において、第１の符号化されたマルチメディアデータを復号し、インジケータによって識別された後処理技術を適用することによって第２のマルチメディアデータを生成する。後処理技術は、本明細書において説明される後処理技術のうちの１つ又は他の後処理技術であることができる。状態７４において、プロセス７０は、第２のマルチメディアデータを第１のマルチメディアデータと比較して比較情報を決定する。比較情報は、第２のマルチメディアデータと第１のマルチメディアデータとの間の差分を示す差分情報であることができる。次に、状態７５において、プロセス７０は、比較情報を符号化して補助情報（第２の符号化されたデータ）を形成する。補助情報及び符号化されたマルチメディアデータは、引き続いて表示装置に通信することができ、表示装置は、補助情報を用いてマルチメディアデータを復号することができる。

図１０は、例えば図１１の符号器１１２０によって行われるように、マルチメディアデータが符号化される前にマルチメディアデータの少なくとも一部分の画素輝度強度範囲を小さくすることによってマルチメディアデータを符号化するプロセス１０００を例示する流れ図である。状態１００５において、プロセス１０００は、マルチメディアデータ内の画素輝度強度範囲を識別する。例えば、マルチメディアデータが画像を備える場合は、プロセス１０００は、その画像に関する画素強度範囲を識別、又は決定することができる。マルチメディアデータが画像（又は映像）のシーケンスを備える場合は、画像のうちの１つ以上に関して画素強度範囲を識別することができる。画素強度範囲は、例えば、画像内の輝度値の９０％（又は、例えば９５％又は９９％）を含む画素の輝度値範囲であることができる。幾つかの実施形態においては、画像シーケンス内の画像が類似している場合は、画像シーケンス内のすべての（又は少なくとも多くの）画像に関して同じ画素強度範囲を識別することができる。幾つかの実施形態においては、２つ以上の画像の画素輝度強度範囲を識別して平均することができる。

状態１０１０において、プロセス１０００は、マルチメディアデータの一部分を修正して画素輝度強度範囲を小さくする。典型的には、画像の画素輝度値は、利用可能な強度範囲の一部分に集中する。画素値を小さく（又はリマッピング）してより小さい範囲を網羅することは、画像内のデータ量を大幅に低下させることができ、より効率的なデータの符号化及び送信を容易にする。画素輝度強度範囲を小さくする例は、“逆”ヒストグラム等化、ガンマ補正、又は輝度値を“全”範囲（例えば、８ビット画像の場合は０乃至２５５）から原強度範囲のほんの一部分の縮小された範囲にリマッピングすることを含む。

状態１０１５において、プロセス１０００は、修正されたマルチメディアデータを符号化して符号化されたデータを形成する。符号化されたデータは、復号が行われる端末デバイス１６に送信することができる（図１）。端末デバイス内の復号器は、マルチメディアデータの強度範囲を拡大するプロセスを実行する。例えば、幾つかの実施形態においては、復号器は、ヒストグラム等化、ガンマ補正、又はマルチメディアデータの画素値を画素強度範囲全体にわたって拡大するための他の画像リマッピングプロセスを実行する。その結果得られた拡大されたマルチメディアデータは、端末デバイスのディスプレイ上においてオリジナルの外観と同様に見えるか又は少なくとも見やすくすることができる。幾つかの実施形態においては、強度範囲の縮小を示すインジケータを生成して符号化し、端末デバイスに送信することができる。端末デバイス内の復号器は、受信されたマルチメディアデータを復号するための補助情報としてインジケータを用いることができる。

側面は、流れ図、流れ線図、構造図、又はブロック図として描かれるプロセスとして説明できることが注目される。流れ図は、動作を順次プロセスとして説明することができるが、これらの動作の各々は、並行して又は同時に実行することができる。さらに、動作順は、変更することができる。プロセスは、その動作が完了された時点で終了される。プロセスは、メソッド、関数、手順、サブルーチン、サブプログラム、等に対応することができる。プロセスが関数に対応するときには、その終了は、関数が呼び出し関数又は主関数に戻ることに対応する。

本明細書において開示されるデバイスの１つ以上の要素は、デバイスの動作に影響を与えずに再配置できることが当業者にとって明らかなはずである。同様に、本明細書において開示されるデバイスの１つ以上の要素は、デバイスの動作に影響を与えずに結合させることができる。情報及び信号は、様々な異なる技術及び技法のうちのいずれかを用いて表すことができることを当業者は理解するであろう。本明細書において開示される例に関係させて説明される様々な例示的論理ブロック、モジュール、及びアルゴリズム上のステップは、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、又はその組合せとして実装できることを当業者はさらに明確に理解するであろう。ハードウェアとソフトウェアのこの互換性を明確に例示するため、上記においては、様々な例示的構成要素、ブロック、モジュール、回路、及びステップが、各々の機能の観点で一般的に説明されている。該機能がハードウェアとして又はソフトウェアとして実装されるかは、全体的システムに対する特定の用途上の及び設計上の制約事項に依存する。当業者は、説明されている機能を各々の特定の用途に合わせて様々な形で実装することができるが、これらの実装決定は、開示される方法の適用範囲からの逸脱を生じさせるものであるとは解釈すべきではない。
本明細書において開示される例に関係させて説明される方法又はアルゴリズムのステップは、ハードウェア内において直接具体化させること、プロセッサによって実行されるソフトウェア内において具体化させること、又はこれらの２つの組合せにおいて具体化させることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ、又は当業において既知であるその他のあらゆる形態の記憶媒体において常駐することができる。典型的な記憶媒体をプロセッサに結合させ、プロセッサが記憶媒体から情報を読み出すようにすること及び記憶媒体に情報を書き込むようにすることができる。代替として、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に常駐することができる。ＡＳＩＣは、無線モデム内に常駐することができる。代替として、プロセッサ及び記憶媒体は、無線モデム内において個別構成要素として常駐することができる。

さらに、本明細書において開示される例と関係させて説明される様々な例示的な論理ブロック、構成要素、モジュール、及び回路は、本明細書において説明される機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成品、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替として、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサとの組合せ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。

開示される例に関する上記の説明は、当業者が本発明を製造又は使用できるようにすることを目的とするものである。これらの例に対する様々な修正は、当業者にとって容易に明確になるであろう。さらに、本明細書において定められている一般原理は、開示される方法及び装置の精神及び適用範囲を逸脱しない形でその他の例及び追加の要素に対しても適用することができる。側面に関する説明は、例示を目的とすることが意図され、請求項の範囲を限定することは意図されない。
以下に、本件出願当初の特許請求の範囲を付記する。
［Ｃ１］
マルチメディアデータを処理する方法であって、
後処理技術のインジケータを識別することと、
第１のマルチメディアデータを符号化して第１の符号化されたデータを形成することと、
前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成することであって、前記処理することは、前記インジケータによって識別された前記後処理技術を適用することによって前記第１の符号化されたデータを復号することを備えることと、
前記第２のマルチメディアデータを前記第１のマルチメディアデータと比較して比較情報を決定することと、
前記比較情報に基づいて第２の符号化されたデータを生成すること、とを備える、方法。
［Ｃ２］
前記比較して比較情報を決定することは、前記第２のマルチメディアデータと前記第１のマルチメディアデータとの間の差分を示す差分情報を決定することを備える［Ｃ１］に記載の方法。
［Ｃ３］
前記第１のマルチメディアデータの符号化は、前記第１のマルチメディアデータをダウンサンプリング及び圧縮して前記第１の符号化されたデータを形成することを備える［Ｃ２］に記載の方法。
［Ｃ４］
前記後処理技術は、アップサンプリングを備える［Ｃ２］に記載の方法。
［Ｃ５］
前記後処理技術は、雑音低減技術を適用して前記第２のマルチメディアデータ内の雑音を低減させることを備える［Ｃ２］に記載の方法。
［Ｃ６］
前記後処理技術は、前記第１のマルチメディア画像の少なくとも１つの特徴を強調するエンハンスメント技術を適用することを備える［Ｃ２］に記載の方法。
［Ｃ７］
エンハンスメント技術を適用することは、前記第１のマルチメディア画像内の皮膚の特徴に対応する皮膚情報をエンハンスすることを備える［Ｃ６］に記載の方法。
［Ｃ８］
前記第１の符号化されたデータ及び前記第２のデータ（ｄａｔａ）符号化されたデータを端末デバイスに送信することをさらに備える［Ｃ７］に記載の方法。
［Ｃ９］
前記第１の符号化されたデータを復号して第２のマルチメディア画像を形成することは、ヒストグラム等化を用いることを備える［Ｃ２］に記載の方法。
［Ｃ１０］
前記符号化されたデータを復号して第２のマルチメディア画像を形成することは、エッジエンハンスメントを用いることを備える［Ｃ２］に記載の方法。
［Ｃ１１］
前記符号化されたデータを復号して第２のマルチメディアデータを形成することは、映像復元を用いることを備える［Ｃ２］に記載の方法。
［Ｃ１２］
前記差分情報は、ブロックに基づいて決定される［Ｃ２］に記載の方法。
［Ｃ１３］
前記差分情報は、低解像度のコーディングされたデータにおける一組の関係を備える［Ｃ２］に記載の方法。
［Ｃ１４］
関係の前記組は、方程式を備える［Ｃ１３］に記載の方法。
［Ｃ１５］
関係の前記組は、量子化された残差係数の数及び格納場所を含む決定論理を備える［Ｃ１３］に記載の方法。
［Ｃ１６］
関係の前記組の決定論理は、ファジーな論理規則を備える［Ｃ１３］に記載の方法。
［Ｃ１７］
マルチメディアデータを処理するためのシステムであって、
後処理技術のインジケータを識別するように構成され、及び第１のマルチメディアデータを符号化して第１の符号化されたデータを形成するようにさらに構成された符号器と、
前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成するように構成された第１の復号器であって、前記処理することは、前記第１の符号化されたデータを復号することと、前記インジケータによって識別された前記後処理技術を適用すること、とを備える第１の復号器と、
前記第１のマルチメディアデータを前記第２のマルチメディアデータと比較して比較情報を決定するように構成された比較器と、を備え、前記符号器は、前記比較情報に基づいて第２の符号化されたデータを生成するようにさらに構成される、マルチメディアデータを処理するためのシステム。
［Ｃ１８］
前記比較情報は、前記第１のマルチメディアデータと前記第２のマルチメディアデータとの間の差分を示す差分情報を含む［Ｃ１７］に記載のシステム。
［Ｃ１９］
前記符号器は、前記第１のマルチメディアデータをダウンサンプリングし、その結果得られたダウンサンプリングされたデータを圧縮することによって前記第１の符号化されたデータを符号化するように構成される［Ｃ１７］に記載のシステム。
［Ｃ２０］
前記第１の復号器構成は、
前記符号化された画像を生成するためのアップサンプリングプロセス及び伸張プロセスと、
前記第２のマルチメディア画像を形成するために用いられる前記復号技術のインジケータを維持するためのデータ記憶装置と、を備える［Ｃ１７］に記載のシステム。
［Ｃ２１］
前記後処理技術は、前記第２のマルチメディアデータ内の雑音を低減するように構成された雑音フィルタリングモジュールをさらに備える［Ｃ１７］に記載のシステム。
［Ｃ２２］
前記後処理技術は、前記第２のマルチメディアデータの特徴を強調するエンハンスメント技術を備える［Ｃ１７］に記載のシステム。
［Ｃ２３］
前記第１の符号化されたデータ及び前記第２の符号化されたデータ情報を、前記補助情報を用いて前記第１の符号化されたデータを復号する第２の復号器に送信するように構成された通信モジュールをさらに備える［Ｃ２２］に記載のシステム。
［Ｃ２４］
マルチメディアデータを処理するためのシステムであって、
後処理技術のインジケータを識別するための手段と、
第１のマルチメディアデータを符号化して第１の符号化されたデータを形成するための手段と、
前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成するための手段であって、前記処理することは、前記第１の符号化されたデータを復号することと、前記インジケータによって識別された前記後処理技術を適用すること、とを備える手段と、
前記第２のマルチメディアデータを前記第１のマルチメディアデータと比較して比較情報を決定するための手段と、
前記差分情報に基づいて第２の符号化されたデータを生成するための手段と、を備える、マルチメディアデータを処理するためのシステム。
［Ｃ２５］
前記比較する手段は、前記第２のマルチメディアデータと前記第１のマルチメディアデータとの間の差分を示す差分情報を含む比較情報を決定する［Ｃ２５］に記載のシステム。
［Ｃ２６］
前記符号化する手段は、符号器を備える［Ｃ２５］に記載のシステム。
［Ｃ２７］
前記復号する手段は、復号器を備える［Ｃ２５］に記載のシステム。
［Ｃ２８］
前記比較する手段は、前記第１のマルチメディアデータと前記第２のマルチメディアデータとの間の差分情報を決定するように構成された比較器モジュールを備える［Ｃ２５］に記載のシステム。
［Ｃ２９］
格納されている命令を備える機械によって読み取り可能な媒体であって、前記命令は、１つ以上の機械において実行可能であり、前記命令は、
後処理技術のインジケータを識別するための命令と、
第１のマルチメディアデータを符号化して第１の符号化されたデータを形成するための命令と、
前記第１の符号化されたデータを処理して第２のマルチメディアデータを形成するための命令であって、
前記処理することは、前記第１の符号化されたデータを復号することと、前記インジケータによって識別された前記後処理技術を適用すること、とを備える命令と、
前記第２のマルチメディアデータを前記第１のマルチメディアデータと比較して比較情報を決定するための命令と、
前記差分情報に基づいて第２の符号化されたデータを生成するための命令と、を備える、機械によって読み取り可能な媒体。
［Ｃ３０］
前記比較情報は、前記第２のマルチメディアデータと前記第１のマルチメディアデータとの間の差分を示す差分情報を含む［Ｃ２９］に記載の機械によって読み取り可能な媒体。
［Ｃ３１］
マルチメディアデータを処理するためのシステムであって、
第１の符号化されたマルチメディアデータを受信するように構成された端末デバイスを備え、前記第１の符号化されたマルチメディアは、第１のマルチメディアデータから生成され、前記端末デバイスは、第２の符号化されたデータを受信するようにさらに構成され、前記第２の符号化されたデータは、前記第１のマルチメディアデータと前記第２のマルチメディアデータとの間の差分を表す情報を含み、前記第２のマルチメディアデータは、前記第１のマルチメディアデータを符号化し、次に後処理技術を用いて前記符号化された第１のマルチメディアデータを復号することによって形成され、前記端末デバイスは、前記第２の符号化されたデータを復号し、及び前記復号された第２の符号化されたデータからの情報を用いて前記第１の符号化されたデータを復号するように構成された復号器を備える、マルチメディアデータを処理するためのシステム。
［Ｃ３２］
マルチメディアデータを処理する方法であって、
第１の符号化されたマルチメディアデータを端末デバイスにおいて受信することであって、前記第１の符号化されたマルチメディアは、第１のマルチメディアデータから生成されることと、
前記端末デバイスにおいて第２の符号化されたデータを受信するであって、前記第２の符号化されたデータは、前記第１のマルチメディアデータを前記第２のマルチメディアデータと比較することによって生成された差分を表す情報を含み、前記第２のマルチメディアは、前記第１のマルチメディアデータを符号化し、次に前記端末デバイスの前記復号器においても用いられる後処理技術を用いて前記符号化された第１のマルチメディアデータを復号することによって形成されることと、
前記第２の符号化されたデータを復号して前記差分情報を生成することと、
前記差分情報を用いて前記第１の符号化されたデータを復号すること、とを備える、マルチメディアデータを処理する方法。

Claims (28)

1. マルチメディアデータを処理する方法であって、前記方法は、
   第１のマルチメディアデータを圧縮及びダウンサンプリングすることによって前記第１のマルチメディアデータを符号化して第１の符号化されたデータを形成することと、
   前記第１の符号化されたデータを受信機デバイスへ送信することと、
   メモリに格納された複数のインジケータから後処理技術のインジケータを選択することと、前記第１の符号化されたデータのコピーを伸張及びアップサンプリングすることによって前記第１の符号化されたデータの前記コピーを復号することと、前記選択されたインジケータによって識別された前記後処理技術を適用することと、によって、前記第１の符号化されたデータの前記コピーを処理して、第２のマルチメディアデータを生成することと、
   前記生成された第２のマルチメディアデータを前記第１のマルチメディアデータと比較することによって、前記生成された第２のマルチメディアデータを処理して、一組の関係を識別する差分情報を備える比較情報を生成することと、
   前記差分情報を符号化して、前記差分情報によって識別された前記一組の関係のインデックスを備える補助情報を生成することと、
   前記受信機デバイスへ前記補助情報を送信することと、
   を備える方法。
2. 前記比較情報を生成することは、前記差分情報が、前記第２のマルチメディアデータと前記第１のマルチメディアデータとの間の差分を示すように、前記差分情報を生成することを備える請求項１に記載の方法。
3. 前記第１のマルチメディアデータを符号化することは、前記第１のマルチメディアデータを圧縮して前記第１の符号化されたデータを形成することをさらに備える請求項２に記載の方法。
4. 前記後処理技術を適用することは、雑音低減技術を適用して前記第２のマルチメディアデータ内の雑音を低減させることを備える請求項２に記載の方法。
5. 前記後処理技術を適用することは、前記第１のマルチメディアデータの少なくとも１つの特徴を強調するエンハンスメント技術を適用することを備える請求項２に記載の方法。
6. エンハンスメント技術を適用することは、前記第１のマルチメディアデータ内の皮膚の特徴に対応する皮膚情報をエンハンスすることを備える請求項５に記載の方法。
7. 前記第２のマルチメディアデータを形成するために前記第１の符号化されたデータのコピーを処理することは、ヒストグラム等化を用いることを備える請求項２に記載の方法。
8. 前記第２のマルチメディアデータを形成するために前記第１の符号化されたデータのコピーを処理することは、エッジエンハンスメントを用いることを備える請求項２に記載の方法。
9. 前記第２のマルチメディアデータを形成するために前記第１の符号化されたデータのコピーを処理することは、映像復元を用いることを備える請求項２に記載の方法。
10. 前記差分情報は、ブロックに基づいて決定される請求項２に記載の方法。
11. 前記差分情報は、低解像度のコーディングされたデータにおける一組の関係を備える請求項２に記載の方法。
12. 前記一組の関係は、方程式を備える請求項１１に記載の方法。
13. 前記一組の関係は、量子化された残差係数の数及び格納場所を含む決定論理を備える請求項１１に記載の方法。
14. 前記一組の関係は、ファジーな論理規則を備える請求項１１に記載の方法。
15. マルチメディアデータを処理するためのシステムであって、
    第１のマルチメディアデータを圧縮及びダウンサンプリングすることによって前記第１のマルチメディアデータを符号化して第１の符号化されたデータを形成するように構成された第１の符号化器と、
    前記第１の符号化されたデータを受信機デバイスへ送信するように構成された送信機と、
    メモリに格納された複数のインジケータから後処理技術のインジケータを選択することと、前記第１の符号化されたデータのコピーを伸張及びアップサンプリングすることによって前記第１の符号化されたデータの前記コピーを復号することと、前記選択されたインジケータによって識別された前記後処理技術を適用することと、によって、前記第１の符号化されたデータの前記コピーを処理して、第２のマルチメディアデータを生成するように構成されたデバイスプロセッサを備える第１の復号器と、
    前記第１のマルチメディアデータを前記生成された第２のマルチメディアデータと比較して、一組の関係を識別する差分情報を備える比較情報を生成するように構成された比較器と、
    前記差分情報によって識別された前記一組の関係のインデックスを備える補助情報を生成するために前記差分情報を符号化して、第２の符号化されたデータを形成するように構成され、それによって、前記送信機は前記補助情報を前記受信機デバイスに送信する第２の符号化器と、
    を備えるシステム。
16. 前記比較情報は、前記第１のマルチメディアデータと前記第２のマルチメディアデータとの間の差分を示す差分情報を含む請求項１５に記載のシステム。
17. 前記第１の符号化器は、前記第１のマルチメディアデータをダウンサンプリングし、さらにその結果得られたダウンサンプリングされたデータを圧縮することによって前記第１の符号化されたデータを符号化するように構成される請求項１５に記載のシステム。
18. 前記第１の復号器は、
    前記第２のマルチメディアデータを生成するためのアップサンプリングプロセス及び伸張プロセスと、
    前記第２のマルチメディアデータを形成するために用いられる前記復号プロセスのインジケータを維持するためのデータ記憶装置と、を備える請求項１５に記載のシステム。
19. 前記後処理技術は、前記第２のマルチメディアデータ内の雑音を低減するように構成された雑音フィルタリングモジュールを備える請求項１５に記載のシステム。
20. 前記後処理技術は、前記第２のマルチメディアデータの特徴を強調するエンハンスメント技術を備える請求項１５に記載のシステム。
21. 前記第１の符号化されたデータ及び前記第２の符号化されたデータを、前記補助情報を用いて前記第１の符号化されたデータを復号する第２の復号器に送信するように構成された通信モジュールをさらに備える請求項２０に記載のシステム。
22. 前記第１の符号化器と前記第２の符号化器は、１個の符号化器によって構成される、請求項１５に記載のシステム。
23. マルチメディアデータを処理するためのシステムであって、
    第１のマルチメディアデータを圧縮及びダウンサンプリングすることによって前記第１のマルチメディアデータを符号化して第１の符号化されたデータを形成する手段と、
    前記第１の符号化されたデータを受信機デバイスへ送信する手段と、
    メモリに格納された複数のインジケータから後処理技術のインジケータを選択することと、前記第１の符号化されたデータのコピーを伸張及びアップサンプリングすることによって前記第１の符号化されたデータの前記コピーを復号することと、前記選択されたインジケータによって識別された前記後処理技術を適用することと、によって、前記第１の符号化されたデータの前記コピーを処理して、第２のマルチメディアデータを生成する手段と、
    前記生成された第２のマルチメディアデータを前記第１のマルチメディアデータと比較することによって、前記生成された第２のマルチメディアデータを処理して、一組の関係を識別する差分情報を備える比較情報を生成する手段と、
    前記差分情報を符号化して、前記差分情報によって識別された前記一組の関係のインデックスを備える補助情報を生成する手段と、
    前記受信機デバイスへ前記補助情報を送信する手段と、
    を備えるシステム。
24. 前記生成された第２のマルチメディアデータと前記第１のマルチメディアデータを比較することによって前記生成された第２のマルチメディアデータを処理する手段は、前記第１のマルチメディアデータと前記第２のマルチメディアデータとの間の差分を示す差分情報を備える比較情報を決定する手段を備える、請求項２３に記載のシステム。
25. 前記第１のマルチメディアデータを符号化する手段は、前記第１のマルチメディアデータを圧縮するための手段を備える、請求項２４に記載のシステム。
26. 前記生成された第２のマルチメディアデータと前記第１のマルチメディアデータを比較することによって前記生成された第２のマルチメディアデータを処理する手段は、前記第１のマルチメディアデータと前記第２のマルチメディアデータとの間の差分情報を決定するように構成された比較器モジュールを備える、請求項２４に記載のシステム。
27. プロセッサによって実行可能命令を格納している非一時的プロセッサによって読み取り可能な記憶媒体であって、前記命令は、
    第１のマルチメディアデータを圧縮及びダウンサンプリングすることによって前記第１のマルチメディアデータを符号化して第１の符号化されたデータを形成することと、
    前記第１の符号化されたデータを受信機デバイスへ送信することと、
    メモリに格納された複数のインジケータから後処理技術のインジケータを選択することと、前記第１の符号化されたデータのコピーを伸張及びアップサンプリングすることによって前記第１の符号化されたデータの前記コピーを復号することと、前記選択されたインジケータによって識別された前記後処理技術を適用することと、によって、前記第１の符号化されたデータの前記コピーを処理して、第２のマルチメディアデータを生成することと、
    前記生成された第２のマルチメディアデータを前記第１のマルチメディアデータと比較することによって、前記生成された第２のマルチメディアデータを処理して、一組の関係を識別する差分情報を備える比較情報を生成することと、
    前記差分情報を符号化して、前記差分情報によって識別された前記一組の関係のインデックスを備える補助情報を生成することと、
    前記受信機デバイスへ前記補助情報を送信することと、
    を備えるオペレーションをデバイスプロセッサに実行させるように構成される、非一時的プロセッサによって読み取り可能な記憶媒体。
28. 前記格納されたプロセッサ実行可能命令は、前記比較情報が前記第２のマルチメディアデータと前記第１のマルチメディアデータとの間の差分を示す差分情報を備えるように、オペレーションを前記デバイスプロセッサに実行させるように構成される、請求項２７に記載の非一時的プロセッサによって読み取り可能な記憶媒体。

Images