JP2018010312A - 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム - Google Patents

Abstract

【課題】マルチチャンネルオーディオ信号の効率的な符号化および復号化に対してより高度なコンセプトを提供する。
【解決手段】符号化表現に基づいて少なくとも２つの出力オーディオ信号を提供するマルチチャンネルオーディオデコーダは、出力オーディオ信号の１つを取得するために、ダウンミックス信号と無相関化信号と残差信号との重み付け結合を実行する。また残差信号に従って重み付け結合における無相関化信号の寄与を記述する重みを決定する。マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号に基づいてダウンミックス信号を取得し、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータと残差信号を提供する。また、マルチチャンネルオーディオ信号に従って、符号化表現に含まれる残差信号の量を変化させる。
【選択図】図２

Description

本発明に係る実施形態は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供するマルチチャンネルオーディオデコーダに関する。

本発明に係る他の実施形態は、マルチチャンネルオーディオ信号の符号化表現を提供するマルチチャンネルオーディオエンコーダに関する。

本発明に係る他の実施形態は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供する方法に関する。

本発明に係る他の実施形態は、マルチチャンネルオーディオ信号の符号化表現を提供する方法に関する。

本発明に係る他の実施形態は、上記方法の１つを実行するコンピュータプログラムに関する。

一般に、本発明に係るいくつかの実施形態は、結合された残差符号化とパラメトリック符号化に関する。

近年、オーディオコンテンツの記憶および伝送の要求は着実に増加している。さらに、オーディオコンテンツの記憶および伝送の品質要求も着実に増加している。したがって、オーディオコンテンツの符号化および復号化に対するコンセプトは強化されている。例えば、非特許文献１において記載されている、いわゆる「アドバンストオーディオ符号化」（ＡＡＣ）が開発されている。

さらに、例えば、非特許文献２において記載されている、例えばいわゆる「ＭＰＥＧサラウンド」コンセプトなどのようないくつかの空間拡張が構築されている。さらに、いわゆる空間オーディオオブジェクト符号化に関する、オーディオ信号の空間情報の符号化および復号化に対する付加的な改善が非特許文献３において記載されている。さらに、いわゆる「統合されたスピーチとオーディオの符号化」コンセプトを記載する、良好な符号化効率で一般のオーディオ信号およびスピーチ信号の両方を符号化し、マルチチャンネルオーディオ信号をハンドリングする可能性を提供する、フレキシブルな（切り替え可能な）オーディオ符号化／復号化コンセプトが非特許文献４において定義されている。

国際標準ＩＳＯ／ＩＥＣ１３８１８−７：２００３ 国際標準ＩＳＯ／ＩＥＣ２３００３−１：２００７ 国際標準ＩＳＯ／ＩＥＣ２３００３−２：２０１０ 国際標準ＩＳＯ／ＩＥＣ２３００３−３：２０１２

しかしながら、マルチチャンネルオーディオ信号の効率的な符号化および復号化に対してより高度なコンセプトを提供する要求がある。

本発明に係る実施形態は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供するマルチチャンネルオーディオデコーダを構築する。マルチチャンネルオーディオデコーダは、出力オーディオ信号の１つを取得するために、ダウンミックス信号と無相関化信号と残差信号との重み付け結合を実行するように構成される。マルチチャンネルオーディオデコーダは、残差信号に従って、重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成される。

本発明に係るこの実施形態は、ダウンミックス信号と無相関化信号と残差信号との重み付け結合に対する無相関化信号の寄与を記述する重みが残差信号に従って調整される場合に、出力オーディオ信号を符号化表現に基づいて非常に効率的な方法で取得することができるという発見に基づいている。したがって、重み付け結合における無相関化信号の寄与を記述する重みを残差信号に従って調整することによって、付加的な制御情報を送信することなしにパラメトリック符号化（または主にパラメトリック符号化）と残差符号化（または大部分が残差符号化）との間で混合する（またはフェードする）ことが可能である。さらに、残差信号が（比較的に）弱い（または所望のエネルギーの復元に対して不十分である）場合に、無相関化信号において（比較的に）高い重みをつけ、残差信号が（比較的に）強い（または所望のエネルギーの復元に対して十分である）場合に、無相関化信号において（比較的に）小さい重みをつけることが通常は好ましいので、符号化表現に含まれる残差信号は、重み付け結合における無相関化信号の寄与を記述する重みに対して良好な指示であることが分かっている。したがって、上述のコンセプトは、パラメトリック符号化（例えば、所望のエネルギー特性および／または相関特性がパラメータによってシグナリングされ、無相関化信号を加えることによって復元される）と、残差符号化（残差信号が、ダウンミックス信号に基づいて、出力オーディオ信号を−場合によっては出力オーディオ信号の波形をも−復元するために用いられる）と間で段階的な移行を許容する。したがって、復号化信号に対して、付加的なシグナリングのオーバーヘッドを有することなしに復元に対するテクニック、およびまた復元の品質を適合させることが可能である。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、（また）無相関化信号に従って、重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成される。残差信号と無相関化信号の両方に従って、重み付け結合における無相関化信号の寄与を記述する重みを決定することによって、符号化表現に基づいて（特に、ダウンミックス信号と無相関化信号と残差信号とに基づいて）、少なくとも２つの出力オーディオ信号の良好な品質の復元を達成することができるように、信号特性に対して重みを適切に調整することができる。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、符号化表現に基づいてアップミックスパラメータを取得し、アップミックスパラメータに従って重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成される。アップミックスパラメータを考慮することによって、所望の値を取るために、（例えば出力オーディオ信号間の所望の相関および／または出力オーディオ信号の所望のエネルギー特性のような）出力オーディオ信号の所望の特性を復元することが可能である。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、無相関化信号の重みが１つ以上の残差信号のエネルギーの増加と共に低減するように、重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成される。このメカニズムは、残差信号のエネルギーに従って少なくとも２つの出力オーディオ信号の復元の精度を調整することを可能にする。残差信号のエネルギーが比較的高い場合に、無相関化信号が残差信号を用いることによって生じる再生の高い品質に有害な影響を及ぼさないように、無相関化信号の寄与の重みは比較的小さい。対照的に、残差信号のエネルギーが比較的に低いまたはゼロである場合に、無相関化信号が所望の値に対して出力オーディオ信号の特性を効率的にもたらすことができるように、高い重みが無相関化信号に対して与えられる。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、残差信号のエネルギーがゼロである場合に、無相関化信号アップミックスパラメータによって決定される最大重みが無相関化信号に関連し、残差信号重み係数を用いて重み付けされる残差信号のエネルギーが残差信号アップミックスパラメータによって重み付けられる無相関化信号のエネルギーより大きいまたはそれに等しい場合に、ゼロ重みが無相関化信号に関連するように、重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成される。この実施形態は、ダウンミックス信号に加えられるべき所望のエネルギーが、無相関化信号アップミックスパラメータによって重み付けされる無相関化信号のエネルギーによって決定されるという発見に基づいている。したがって、残差信号重み係数によって重み付けされる残差信号のエネルギーが、無相関化信号アップミックスパラメータによって重み付けされる無相関化信号のエネルギーより大きいまたはそれに等しい場合に、無相関化信号はもはや加える必要がないことが結論付けられる。言い換えれば、残差信号が充分なエネルギー（例えば、充分なトータルエネルギーに達するために充分な）を持っていると判断される場合に、少なくとも２つの出力オーディオ信号の提供に対して、無相関化信号はもはや用いられない。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、無相関化信号の重み付けエネルギー値と残差信号の重み付けエネルギー値とに従ってファクタを決定し、そのファクタに基づいて（少なくとも）１つのオーディオ出力信号に対する無相関化信号の寄与を記述する重みを取得するために、１つ以上の無相関化信号アップミックスパラメータに従って重み付けされた無相関化信号の重み付けエネルギー値を演算し、１つ以上の残差信号アップミックスパラメータ（それは、上述の残差信号重み係数に等しくてもよい）を用いて重み付けされた残差信号の重み付けエネルギーを演算するように構成される。この手順は、１つ以上の出力オーディオ信号に対する無相関化信号の寄与を記述する重みの効率的な演算に対して、よく適合することが分かっている。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、（少なくとも）１つの出力オーディオ信号に対する無相関化信号の寄与を記述する重みを取得するために、前記ファクタを無相関化信号アップミックスパラメータで乗算するように構成される。このような手順を用いて、重み付け結合における無相関化信号の寄与を記述する重みを決定するために、少なくとも２つの出力オーディオ信号の所望の信号特性を記述する１つ以上のパラメータ（それは無相関化信号アップミックスパラメータによって記述される）と、無相関化信号のエネルギーと残差信号のエネルギーとの関係の両方を考慮することが可能である。従って、出力オーディオ信号の所望の特性（それは無相関化信号アップミックスパラメータによって反映される）を考慮しながら、パラメトリック符号化（または主にパラメトリック符号化）と残差符号化（または主に残差符号化）との間で混合する（またはフェーディングする）両方の可能性がある。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、無相関化信号の重み付けエネルギー値を取得するために、複数のアップミックスチャンネルと時間スロットにわたって、無相関化信号アップミックスパラメータを用いて重み付けられた無相関化信号のエネルギーを演算するように構成される。したがって、無相関化信号の重み付けエネルギー値の強い変化を回避することが可能である。従って、マルチチャンネルオーディオデコーダの安定な調整が達成される。

同様に、マルチチャンネルオーディオデコーダは、残差信号の重み付けエネルギー値を取得するために、複数のアップミックスチャンネルと時間スロットにわたって、残差信号アップミックスパラメータを用いて重み付けられた残差信号のエネルギーを演算するように構成される。したがって、残差信号の重み付けエネルギー値の強い変化が回避されるので、マルチチャンネルオーディオデコーダの安定な調整が達成される。しかしながら、平均化期間は、重み付けの動的な調整を可能とするために十分短く選択することができる。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、無相関化信号の重み付けエネルギー値と残差信号の重み付けエネルギー値との差に従ってファクタを演算するように構成される。無相関化信号の重み付けエネルギー値と残差信号の重み付けエネルギー値を比較する演算は、無相関化信号（その重み付けバージョン）を用いて残差信号（または残差信号の重み付けバージョン）を補充することを可能とし、少なくとも２つのオーディオチャンネル信号の提供のニーズに対して無相関化信号の寄与を記述する重みが調整される。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、無相関化信号の重み付けエネルギー値と残差信号の重み付けエネルギー値との差と、無相関化信号の重み付けエネルギー値との比率に従ってファクタを演算するように構成される。この比率に従ったファクタの演算は、長い特有の良好な結果をもたらすことが分かっている。さらに、この比率は、良好な聴覚印象を達成するために（または等価的に、残差信号がないケースと比較して、出力オーディオ信号に実質的に同じ信号エネルギーを持つために）、残差信号の存在において、無相関化信号（無相関化信号アップミックスパラメータを用いて重み付けられた）のトータルエネルギー値のどの部分が必要かを記述することに留意すべきである。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、２つ以上の出力オーディオ信号に対する無相関化信号の寄与を記述する重みを決定するように構成される。この場合において、マルチチャンネルオーディオデコーダは、無相関化信号の重み付けエネルギー値と第１チャンネルの無相関化信号アップミックスパラメータに基づいて、第１の出力オーディオ信号に対する無相関化信号の寄与を決定するように構成される。さらに、マルチチャンネルオーディオデコーダは、無相関化信号の重み付けエネルギー値と第２チャンネルの無相関化信号アップミックスパラメータに基づいて、第２の出力オーディオチャンネルに対する無相関化信号の寄与を決定するように構成される。したがって、２つの出力オーディオ信号は、適度な労力と良好なオーディオ品質によって提供することができ、２つの出力オーディオ信号間の差は、第１チャンネルの無相関化信号アップミックスパラメータと第２チャンネルの無相関化信号アップミックスパラメータの使用によって考慮される。

好ましい実施形態において、マルチチャンネルオーディオデコーダは、残差エネルギーが無相関化器のエネルギー（すなわち無相関化信号またはその重み付けバージョンのエネルギー）を超える場合に、重み付け結合に対する無相関化信号の寄与を無効にするように構成される。したがって、残差信号が充分なエネルギーを持ち、残差エネルギーが無相関化器のエネルギーを超える場合に、無相関化信号の使用なしに、純粋な残差符号化にスイッチすることが可能である。

好ましい実施形態において、オーディオデコーダは、残差信号の重み付けエネルギー値のバンド毎の決定に従って、重み付け結合における無相関化信号の寄与を記述する重みをバンド毎に決定するように構成される。したがって、付加的なシグナリングのオーバーヘッドなしに、どの周波数バンドにおいて少なくとも２つの出力オーディオ信号の改善がパラメトリック符号化に基づくべきであるか（または主に基づくべきであるか）と、どの周波数バンドにおいて少なくとも２つの出力オーディ信号の改善が残差符号化に基づくべきであるか（または主に基づくべきであるか）とをフレキシブルに決定することが可能である。従って、無相関化信号の重みを比較的小さく保ちながら、どの周波数バンドにおいて残差符号化を（少なくとも主に）用いて波形復元（または少なくとも部分的な波形復元）を実行すべきであるかをフレキシブルに決定することができる。従って、パラメトリック符号化（それは主に無相関化信号の供給に基づく）と、残差符号化（それは主に残差信号の供給に基づく）とを、選択的に適用することによって、良好なオーディオ品質を得ることが可能である。

好ましい実施形態において、オーディオデコーダは、出力オーディオ信号の各フレームに対して、重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成される。したがって、緻密なタイミング分解能を得ることができ、引き続くフレーム間で、パラメトリック符号化（または主にパラメトリック符号化）と残差符号化（または主に残差符号化）との間のフレキシブルなスイッチを可能とする。したがって、オーディオ信号の特性に対して、良好な時間分解能でオーディオ復号化を調整することができる。

本発明に係る他の実施形態は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供するマルチチャンネルオーディオデコーダを構築する。マルチチャンネルオーディオデコーダは、ダウンミックス信号の符号化表現と複数の符号化された空間パラメータと残差信号の符号化表現とに基づいて、（少なくとも）１つの出力オーディオ信号を取得するように構成される。マルチチャンネルオーディオデコーダは、残差信号に従って、パラメトリック符号化と残差符号化との間で混合するように構成される。したがって、付加的なシグナリングなしに、最良の復号化モード（パラメトリック符号化・復号化−対−残差符号化・復号化）を選択することができる非常にフレキシブルなオーディオ復号化コンセプトが達成される。さらに、上述された考察も適用される。

本発明に係る実施形態は、マルチチャンネルオーディオ信号の符号化表現を提供するマルチチャンネルオーディオエンコーダを構築する。マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号に基づいて、ダウンミックス信号を取得するように構成される。さらに、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータを提供し、残差信号を提供するように構成される。さらに、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号に従って、符号化表現に含まれる残差信号の量を変化させるように構成される。符号化表現に含まれる残差信号の量を変化させることによって、信号の特性に対して符号化プロセスをフレキシブルに調整することができる。例えば、復号化オーディオ信号の波形を少なくとも部分的に保存することが望ましい部分（例えば、時間的部分および／または周波数部分）に対して、符号化表現に比較的大きな量の残差信号を含むことが可能である。従って、符号化表現に含まれる残差信号の量を変化させる可能性によって、マルチチャンネルオーディオ信号のより正確な残差信号ベースの復元が可能となる。さらに、上述のマルチチャンネルオーディオデコーダは（主に）パラメトリック符号化と（主に）残差符号化との間の混合に対して、付加的なシグナリングさえ必要としないので、上述されたマルチチャンネルオーディオデコーダとの組み合わせにおいて、非常に効率的なコンセプトが構築されることに留意すべきである。したがって、ここで述べられたマルチチャンネルエンコーダは、上述されたマルチチャンネルオーディオエンコーダを用いることによって可能となる利点を利用することを可能とする。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号に従って残差信号のバンド幅を変化させるように構成される。したがって、残差信号が音響心理学的に最も重要な周波数バンドまたは周波数レンジを復元することを助けるように、残差信号を調整することが可能である。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号に従って、残差信号が符号化表現に含まれる周波数バンドを選択するように構成される。したがって、マルチチャンネルオーディオエンコーダは、どの周波数バンドに対して残差信号（残差信号が通常は少なくとも部分的波形復元に結果としてなる）を含むことが必要であるかまたは最も有益であるかを決定することができる。例えば、音響心理学的に有意な周波数バンドを考慮することができる。加えて、残差信号はオーディオデコーダにおける過渡的現象のレンダリングを改善することを通常は助けるので、過渡的なイベントの存在を考慮することもできる。さらに、どの量の残差信号が符号化表現に含まれるかを決定するために、利用可能なビットレートを考慮に入れることもできる。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号がトーンである周波数バンドに対して符号化表現に残差信号を選択的に含み、一方でマルチチャンネルオーディオ信号がトーンでない周波数バンドに対して符号化表現に残差信号の包含を除外するように構成される。この実施形態は、トーンの周波数バンドが特に高い品質で再生され、好ましくは少なくとも部分的に波形復元を用いる場合に、オーディオデコーダ側で得ることができるオーディオ品質を改善することができるという考察に基づいている。したがって、マルチチャンネルオーディオ信号がトーンである周波数バンドに対して、残差信号を符号化表現に選択的に含むことは、ビットレートとオーディオ品質との間の良好な妥協に結果としてなるので有益である。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、ダウンミックス信号の形成がマルチチャンネルオーディオ信号の信号成分のキャンセルに結果としてなる時間部分および／または周波数バンドに対する符号化表現に残差信号を選択的に含むように構成される。マルチチャンネルオーディオ信号の成分のキャンセルがある場合に、ダウンミックス信号を形成するときに無相関化または予測でさえキャンセルされた信号成分を回復することができないので、ダウンミックス信号に基づいて複数のオーディオ信号を適切に復元することが困難であるまたは不可能でさえあることが分かっている。このようなケースにおいて、残差信号の使用は、復元されたマルチチャンネルオーディオ信号の有意の劣化を回避するために効果的な方法である。このように、このコンセプトは、（例えば、上述されたオーディオデコーダと組み合わせたとき）シグナリングの労力を回避すると共にオーディオ品質を改善することを助ける。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、ダウンミックス信号におけるマルチチャンネルオーディオ信号の信号成分のキャンセルを検出するように構成され、マルチチャンネルオーディオデコーダは、検出の結果に応答して残差信号の提供をアクティベートするように構成される。したがって、悪いオーディオ品質を回避する効果的な方法がある。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号の少なくとも２つのチャンネル信号の線形結合とマルチチャンネルデコーダ側で用いられるアップミックス係数に関する従属性とを用いて残差信号を演算するように構成される。従って、残差信号は効率的な方法で演算され、マルチチャンネルオーディオデコーダ側でのマルチチャンネルオーディオ信号の復元に対してよく適合する。

実施形態において、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータを用いてアップミックス係数を符号化する、またはマルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータからアップミックス係数を導き出すように構成される。したがって、残差信号の提供は、パラメトリック符号化に対しても用いられるパラメータに基づいて効率的に実行することができる。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、音響心理学モデルを用いて、符号化表現に含まれる残差信号の量を時間変数として決定するように構成される。したがって、比較的高い音響心理学的関連性を備えるマルチチャンネルオーディオ信号の部分（時間部分、または周波数部分、または時間−周波数部分）に対して、比較的高い量の残差信号を備えることができる一方、比較的低い音響心理学的関連性を有するマルチチャンネルオーディオ信号の時間部分または周波数部分または時間−周波数部分に対して、（比較的）より小さい量の残差信号を含むことができる。したがって、ビットレートとオーディオ品質との間の良好なトレードオフを達成することができる。

好ましい実施形態において、マルチチャンネルオーディオエンコーダは、現在利用可能なビットレートに従って、符号化表現に含まれる残差信号の量を時間変数として決定するように構成される。したがって、オーディオ品質は、利用可能なビットレートに適合することができ、現在利用可能なビットレートに対して考えられる最良のオーディオ品質を得ることを可能とする。

本発明に係る実施形態は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供する方法を構築する。その方法は、出力オーディオ信号の１つを取得するために、ダウンミックス信号と無相関化信号と残差信号との重み付け結合を実行するステップを備える。重み付け結合における無相関化信号の寄与を記述する重みは、残差信号に従って決定される。この方法は、上述のオーディオデコーダと同じ考察に基づいている。

本発明に係る他の実施形態は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供する方法を構築する。その方法は、ダウンミックス信号の符号化表現と複数の符号化された空間パラメータと残差信号の符号化表現とに基づいて、（少なくとも）２つの出力オーディオ信号を取得するステップを備える。混合（またはフェーディング）は、残差信号に従って、パラメトリック符号化と残差符号化との間で実行される。この方法も、上述のオーディオデコーダと同じ考察に基づいている。

本発明に係る他の実施形態は、マルチチャンネルオーディオ信号の符号化表現を提供する方法を構築する。その方法は、マルチチャンネルオーディオ信号に基づいてダウンミックス信号を取得するステップと、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータを提供するステップと、残差信号を提供するステップとを備える。符号化表現に含まれる残差信号の量は、マルチチャンネルオーディオ信号に従って変化させられる。この方法は、上述のオーディオエンコーダと同じ考察に基づいている。

本発明に係る更なる実施形態は、本願明細書に記載された方法を実行するコンピュータプログラムを構築する。

本発明に係る実施形態は、以下の図面を参照して引き続いて記載される。
本発明の一実施形態に係るマルチチャンネルオーディオエンコーダの概略ブロック図を示す。 本発明の一実施形態に係るマルチチャンネルオーディオデコーダの概略ブロック図を示す。 本発明の他の実施形態に係るマルチチャンネルオーディオデコーダの概略ブロック図を示す。 本発明の一実施形態に係るマルチチャンネルオーディオ信号の符号化表現を提供する方法のフローチャートを示す。 本発明の一実施形態に係る符号化表現を基づいて少なくとも２つの出力オーディオ信号を提供する方法のフローチャートを示す。 本発明の他の実施形態に係る符号化表現に基づいて少なくとも２つの出力オーディオ信号を提供する方法のフローチャートを示す。 本発明の一実施形態に係るデコーダのフロー図を示す。 ハイブリッド残差デコーダの概略表現を示す。

１． 図１に係るマルチチャンネルオーディオエンコーダ

図１は、マルチチャンネル信号の符号化表現を提供するマルチチャンネルオーディオエンコーダ１００の概略ブロック図を示す。

マルチチャンネルオーディオエンコーダ１００は、マルチチャンネルオーディオ信号１１０を受信し、それに基づいてマルチチャンネルオーディオ信号１１０の符号化表現１１２を提供するように構成される。マルチチャンネルオーディオエンコーダ１００は、マルチチャンネルオーディオ信号を受信し、マルチチャンネルオーディオ信号１１０に基づいてダウンミックス信号１２２を取得するように構成された、プロセッサ（または処理デバイス）１２０を備える。プロセッサ１２０は、マルチチャンネルオーディオ信号１１０のチャンネル間の従属性を記述するパラメータ１２４を提供するように更に構成される。さらに、プロセッサ１２０は、残差信号１２６を提供するように構成される。さらにまた、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号１１０に従って、符号化表現１１２に含まれる残差信号の量を変化させるように構成された、残差信号処理１３０を備える。

しかしながら、マルチチャンネルオーディオデコーダは、必ずしも分離したプロセッサ１２０と分離した残差信号処理１３０を備えることが必要でないことに留意すべきである。 むしろ、マルチチャンネルオーディオエンコーダがプロセッサ１２０と残差信号処理１３０の機能を実行するように何らかの方法で構成されれば充分である。

マルチチャンネルオーディオエンコーダ１００の機能に関して、マルチチャンネルオーディオ信号１１０のチャンネル信号は、通常はマルチチャンネル符号化を用いて符号化されることに留意する必要があり、符号化表現１１２は、（符号化された形で）ダウンミックス信号１２２と、マルチチャンネルオーディオ信号１１０のチャンネル（またはチャンネル信号）間の従属性を記述するパラメータ１２４と、残差信号１２６とを通常は備える。ダウンミックス信号１２２は、例えば、マルチチャンネルオーディオ信号のチャンネル信号の結合（例えば線形結合）に基づくことができる。しかしながら、ダウンミックス信号１２２は、マルチチャンネルオーディオ信号の複数のチャンネルに基づいて提供することができる。しかしながら、あるいは、２つ以上のダウンミックス信号は、マルチチャンネルオーディオ信号１１０のより大きな数のチャンネル信号（通常はダウンミックス信号の数より大きい）に関連することができる。パラメータ１２４は、マルチチャンネルオーディオ信号１１０のチャンネル（またはチャンネル信号）間の従属性（例えば、相関、共分散、レベル関係等）を記述することができる。したがって、パラメータ１２４は、オーディオデコーダ側でダウンミックス信号１２２に基づいてマルチチャンネルオーディオ信号１１０のチャンネル信号の復元されたバージョンを導き出す目的にかなう。この目的に対して、パラメータ１２４は、パラメトリック復号化を用いるオーディオエンコーダが１つ以上のダウンミックス信号１２２に基づいてチャンネル信号を復元することができるように、マルチチャンネルオーディオ信号のチャンネル信号の所望の特性（例えば、個々の特性または相対的な特性）を記述する。

加えて、マルチチャンネルオーディオデコーダ１００は、マルチチャンネルオーディオエンコーダの予想または推定によって、ダウンミックス信号１２２とパラメータ１２４に基づいてオーディオデコーダ（例えば、特定の処理ルールに従ったオーディオデコーダ）によって復元することができない信号成分を通常は表す残差信号１２６を提供する。したがって、残差信号１２６は、通常はオーディオデコーダ側での波形復元、または少なくとも部分的な波形復元を可能とする改善信号とみなすことができる。

しかしながら、マルチチャンネルオーディオエンコーダ１００は、マルチチャンネルオーディオ信号１１０に従って、符号化表現１１２に含まれる残差信号の量を変化させるように構成される。言い換えれば、マルチチャンネルオーディオエンコーダは、例えば、符号化表現１１２に含まれる残差信号１２６の強度（またはエネルギー）について決定することができる。加えてまたはあるいは、マルチチャンネルオーディオエンコーダ１００は、どの周波数バンドに対しておよび／またはいくつの周波数バンドに対して残差信号が符号化表現１１２に含まれるかを決定することができる。マルチチャンネルオーディオ信号に従って（および／または利用可能なビットレートに従って）、符号化表現１１２に含まれる残差信号１２６の「量」を変化させることによって、マルチチャンネルオーディオエンコーダ１００は、符号化表現１１２に基づいてオーディオデコーダ側でマルチチャンネルオーディオ信号１１０のチャンネル信号をどの精度で復元することができるかについてフレキシブルに決定することができる。従って、マルチチャンネルオーディオ信号１１０のチャンネル信号を復元することができる精度は、マルチチャンネルオーディオ信号１１０のチャンネル信号の異なる信号部分（例えば、時間部分、周波数部分および／または時間／周波数部分のような）の音響心理学的関連性に対して適合させることができる。従って、高い音響心理学的関連性の信号部分（例えば、トーン信号部分または過渡的イベントを備える部分）は、「大量」の残差信号１２６を符号化表現に含むことによって、特に高い分解能で符号化することができる。例えば、高い音響心理学的関連性の信号部分に対して、比較的高いエネルギーを有する残差信号が符号化表現１１２に含まれることを達成することができる。さらに、ダウンミックス信号１２２が「低品質」を含む場合、例えば、マルチチャンネルオーディオ信号１１２のチャンネル信号をダウンミックス信号１２２に結合するときに、信号成分の実質的なキャンセルがある場合に、高いエネルギーの残差信号が符号化表現１１２に含まれることを達成することができる。言い換えれば、マルチチャンネルオーディオデコーダ１００は、比較的大きい量の残差信号の提供が復元チャンネル信号（オーディオデコーダ側で復元される）の有意の改善をもたらすマルチチャンネルオーディオ信号１１０の信号部分に対して、「より大きい量」の残差信号（例えば比較的高いエネルギーを有する残差信号）を符号化表現に選択的に埋め込むことができる。

したがって、マルチチャンネルオーディオ信号１１０に従った符号化表現に含まれる残差信号の量の変化は、ビットレートの効率性と復元されるマルチチャンネルオーディオ信号（オーディオデコーダ側で復元される）のオーディオ品質との間の良好なトレードオフを達成することができるように、マルチチャンネルオーディオ信号１１０の符号化表現１１２（例えば、符号化された形で符号化表現に含まれる残差信号１２６）を適合させることを可能とする。

マルチチャンネルオーディオエンコーダ１００は、多くの異なる方法でオプションとして改善することができることに留意すべきである。例えば、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号１１０に従って、（符号化表現に含まれる）残差信号１２６のバンド幅を変化させるように構成することができる。したがって、符号化表現１１２に含まれる残差信号の量は、知覚的に最も重要な周波数バンドに適合させることができる。

オプションとして、マルチチャンネルオーディオデコーダは、マルチチャンネルオーディオ信号１１０に従って、残差信号１２６が符号化表現１１２に含まれる周波数バンドを選択するように構成することができる。したがって、符号化表現１２０（より正確には、符号化表現１１２に含まれる残差信号の量）は、マルチチャンネルオーディオ信号に、例えば、マルチチャンネルオーディオ信号１１０の知覚的に最も重要な周波数バンドに適合させることができる。

オプションとして、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号がトーンである周波数バンドに対して、残差信号１２６を符号化表現に含むように構成することができる。加えて、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号がトーンでない周波数バンドに対して（特定の周波数バンドに対して符号化表現に残差信号の包含を生じさせる他のいかなる特定の条件も満たされない限り）、残差信号１２６を符号化表現１１２に含まないように構成することができる。従って、残差信号は、知覚的に重要なトーンの周波数バンドに対して、符号化表現に選択的に含むことができる。

オプションとして、マルチチャンネルオーディオエンコーダ１００は、ダウンミックス信号の形成がマルチチャンネルオーディオ信号の信号成分のキャンセルに結果としてなる時間部分および／または周波数バンドに対して、符号化表現に残差信号を選択的に含むように構成することができる。例えば、マルチチャンネルオーディオエンコーダは、ダウンミックス信号１２２においてマルチチャンネルオーディオ信号１１０の信号成分のキャンセルを検出し、検出の結果に従って残差信号１２６の提供（例えば、符号化表現１１２への残差信号１２６の包含）をアクティベートするように構成することができる。したがって、マルチチャンネルオーディオ信号１１０のチャンネル信号のダウンミックス信号１２２へのダウンミックス（または他のいかなる通常の線形結合）が、マルチチャンネルオーディオ信号１１２の信号成分のキャンセルに結果としてなる（それは、例えば、１８０度位相シフトされた異なるチャンネル信号の信号成分によって生じる可能性がある）場合に、オーディオデコーダにおいてマルチチャンネルオーディオ信号１１０を復元するときにこのキャンセルの有害な作用を克服するのに役立つ残差信号１２６が、符号化表現１１２に含まれる。例えば、残差信号１２６は、このようなキャンセルがある周波数バンドに対して符号化表現１１２に選択的に含むことができる。

オプションとして、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号の少なくとも２つのチャンネル信号の線形結合を用いて、マルチチャンネルオーディオデコーダ側で用いられるアップミックス係数に従って、残差信号を演算するように構成することができる。このような残差信号の演算は効率的であり、オーディオデコーダ側でのチャンネル信号の簡単な復元を可能とする。

オプションとして、マルチチャンネルオーディオエンコーダは、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータ１２４を用いてアップミックス係数を符号化する、またはマルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータからアップミックス係数を導き出すように構成することができる。したがって、パラメータ１２４（例えば、チャンネル間レベル差パラメータ、チャンネル間相関パラメータ等とすることができる）は、パラメトリック符号化（符号化または復号化）と残差信号アシスト符号化（符号化または復号化）の両方に対して用いることができる。従って、残差信号１２６の使用は、付加的なシグナリングオーバーヘッドをもたらさない。むしろ、いずれにしろパラメトリック符号化（符号化／復号化）に対して用いられるパラメータ１２４は、残差符号化（符号化／復号化）に対しても再利用される。
従って、高い符号化効率を達成することができる。

オプションとして、マルチチャンネルオーディオデコーダは、音響心理学モデルを用いて、符号化表現に含まれる残差信号の量を時間変数として決定するように構成することができる。したがって、符号化精度は、信号の音響心理学的特性に適合させることができ、それは通常は良好なビットレートの効率性に結果としてなる。

しかしながら、マルチチャンネルオーディオエンコーダは、本願明細書（明細書および特許請求の範囲の両方）に記載されたいずれの特徴または機能によってもオプションとして補充することができることに留意すべきである。さらに、マルチチャンネルオーディオエンコーダは、オーディオデコーダと協働するために、本願明細書に記載されたオーディオデコーダと並行して適合させることもできる。

２． 図２に係るマルチチャンネルオーディオデコーダ

図２は、本発明の一実施形態に係るマルチチャンネルオーディオデコーダ２００の概略ブロック図を示す。

マルチチャンネルオーディオデコーダ２００は、符号化表現２１０を受信し、それに基づいて少なくとも２つの出力オーディオ信号２１２，２１４を提供するように構成される。マルチチャンネルオーディオデコーダ２００は、（少なくとも）１つの出力信号、例えば、第１の出力オーディオ信号２１２を取得するために、ダウンミックス信号２２２と無相関化信号２２４と残差信号２２６との重み付け結合を実行するように構成された、重み付け結合器２２０を備える。ここで、ダウンミックス信号２１２と無相関化信号２２４と残差信号２２６は、例えば、符号化表現２１０から導き出すことができ、符号化表現２１０は、ダウンミックス信号２２０の符号化表現と残差信号２２６の符号化表現をともなうことができることに留意すべきである。さらに、無相関化信号２２４は、例えば、ダウンミックス信号２２２から導き出すことができ、または符号化表現２１０に含まれる付加的情報を用いて導き出すことができる。しかしながら、無相関化信号は、符号化表現２１０からの専用情報なしに提供することもできる。

マルチチャンネルオーディオデコーダ２００は、また、残差信号２２６に従って、重み付け結合における無相関化信号２２４の寄与を記述する重みを決定するように構成される。例えば、マルチチャンネルオーディオデコーダ２００は、残差信号２２６に基づいて、重み付け結合における無相関化信号２２４の寄与（例えば、第１の出力オーディオ信号２１２に対する無相関化信号２２４の寄与）を記述する重み２３２を決定するように構成された、重み決定器２３０を備えることができる。

マルチチャンネルオーディオデコーダ２００の機能に関して、重み付け結合に対する、そして結果的に第１の出力オーディオ信号２１２に対する、無相関化信号２２４の寄与は、付加的なシグナリングオーバーヘッドなしに、残差信号２２６に従ってフレキシブルな方法（例えば、時間的に可変で周波数に依存する方法）で調整されることに留意すべきである。したがって、第１の出力オーディオ信号２１２に含まれる無相関化信号２２４の量は、第１の出力オーディオ信号２１２の良好な品質が達成されるように、第１の出力オーディオ信号２１２に含まれる残差信号２２６の量に従って適合される。したがって、いかなる状況下でも付加的なシグナリングオーバーヘッドなしに、無相関化信号２２４の適当な重み付けを取得することが可能である。従って、マルチチャンネルオーディオデコーダ２００を用いて、適度なビットレートで復号化出力オーディオ信号２１２の良好な品質を達成することができる。復元の精度は、オーディオエンコーダによってフレキシブルに調整することができ、オーディオエンコーダは、符号化表現２１０に含まれる残差信号２２６の量（例えば、符号化表現２１０に含まれる残差信号２２６のエネルギーがどれくらい大きいか、または符号化表現２１０に含まれる残差信号２２６がどれくらいの周波数バンドに関係しているか）を決定することができ、マルチチャンネルオーディオデコーダ２００は、それに応じて反応し、無相関化信号２２４の重み付けを、符号化表現２１０に含まれる残差信号２２６の量にフィットするように調整することができる。結果的に、符号化表現２１０に含まれる大量の残差信号２２６がある（例えば、特定の周波数バンドに対して、または特定の時間部分に対して）場合に、重み付け結合２２０は、主に（または排他的に）残差信号２２６を考慮することができる一方、無相関化信号２２４に対してはほとんど（または全く）重みが与えられない。対照的に、符号化表現２１０に含まれる、より小さい量の残差信号２２６のみがある場合に、重み付け結合２２０は、ダウンミックス信号２２２に加えて、主に（または排他的に）無相関化信号２２４を考慮することができるが、残差信号２２６に対しては、比較的小さい程度の重みのみが与えられる（または重みが全く与えられない）。従って、マルチチャンネルオーディオデコーダ２００は、いかなる状況下でも（より小さい量のまたはより大きい量の残差信号２２６が符号化表現２１０に含まれるかどうかに拘りなく）最高のオーディオ品質を達成するために、適切なマルチチャンネルオーディオエンコーダとフレキシブルに協働し、重み付け結合２２０を調整することができる。

第２の出力オーディオ信号２１４は、同様の方法で生成することができることに留意すべきである。しかしながら、例えば、第２の出力オーディオ信号に関して異なる品質要求がある場合に、必ずしも同じメカニズムを第２の出力オーディオ信号２１４に適用する必要はない。

オプションの改良において、マルチチャンネルオーディオデコーダは、無相関化信号２２４に従って、重み付け結合における無相関化信号２２４の寄与を記述する重み２３２を決定するように構成することができる。言い換えれば、重み２３２は、残差信号２２６と無相関化信号２２４の両方に従属することができる。したがって、重み２３２は、付加的なシグナリングオーバーヘッドなしに、現在の復号化オーディオ信号に対して、より良好に適合させることさえできる。

他のオプションの改良として、マルチチャンネルオーディオデコーダは、符号化表現２１２に基づいてアップミックスパラメータを取得し、アップミックスパラメータに従って、重み付け結合における無相関化信号の寄与を記述する重み２３２を決定するように構成することができる。したがって、重み２３２は、重み２３２のさらに良好な適合を達成できるように、アップミックスパラメータに付加的に従属することができる。

他のオプションの改良として、マルチチャンネルオーディオデコーダは、無相関化信号の重みが残差信号のエネルギーの増加と共に減少するように、重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成することができる。したがって、混合またはフェーディングは、主に無相関化信号２２４（ダウンミックス信号２２２に加えて）に基づく復号化と、主に残差信号２２６（ダウンミックス信号２２２に加えて）に基づく復号化との間で実行することができる。

他のオプションの改良として、オーディオデコーダ２００は、残差信号２２６のエネルギーがゼロである場合に、無相関化信号アップミックスパラメータ（符号化表現２１０に含むことができる、またはそれから導き出すことができる）によって決定される最大重みが無相関化信号２２４に関連するように、また残差信号重み係数（または残差信号アップミックスパラメータ）によって重み付けされた残差信号２２６のエネルギーが、無相関化信号アップミックスパラメータによって重み付けされた無相関化信号２２４のエネルギーより大きいまたはそれに等しい場合に、ゼロ重みが無相関化信号に関連するように、重み２３２を決定するように構成することができる。したがって、無相関化信号２２４に基づく復号化と残差信号２２６に基づく復号化との間で完全に混合する（またはフェードする）ことが可能である。残差信号２２６が十分に強いと判断される場合（例えば、重み付けされた残差信号のエネルギーが重み付けされた無相関化信号２２４のエネルギーに等しい、またはそれより大きいとき）に、重み付け結合は、無相関化信号２２４を考慮に入れず、ダウンミックス信号２２２を改善するために、残差信号２２６に完全に依存させることができる。この場合において、無相関化信号２２４の考慮は通常は特に良好な波形復元を妨げるのに対して、残差信号２２６の使用は通常は良好な波形復元を可能とするので、マルチチャンネルオーディオデコーダ２００側で特に良好な（少なくとも一部分の）波形復元を実行することができる。

他のオプションの改良において、マルチチャンネルオーディオデコーダ２００は、１つ以上の無相関化信号アップミックスパラメータに従って重み付けされた無相関化信号の重み付けエネルギー値を演算し、１つ以上の残差信号アップミックスパラメータを用いて重み付けられた残差信号の重み付けエネルギー値を演算するように構成することができる。この場合において、マルチチャンネルオーディオデコーダは、無相関化信号の重み付けエネルギー値と残差信号の重み付けエネルギー値に従ってファクタを決定し、そのファクタに基づいて１つの出力オーディオ信号（例えば、第１の出力オーディオ信号２１２）に対する無相関化信号２２４の寄与を記述する重みを取得するように構成することができる。従って、重みの決定２３０は、特によく適合された重み値２３２を提供することができる。

オプションの改良において、マルチチャンネルオーディオデコーダ２００（またはその重み決定器２３０）は、１つの出力オーディオ信号（例えば第１の出力オーディオ信号２１２）に対する無相関化信号２２４の寄与を記述する重み（または重み付け値）２３２を取得するために、そのファクタを、無相関化信号アップミックスパラメータ（それは、符号化表現２１０に含むことができる、または符号化表現２１０から導き出すことができる）と乗算するように構成することができる。

オプションの改良において、マルチチャンネルオーディオデコーダ（またはその重み決定器２３０）は、無相関化信号２２４の重み付けエネルギー値を取得するために、複数のアップミックスチャンネルと時間スロットにわたって、無相関化信号アップミックスパラメータ（それは、符号化表現２１０に含むことができる、または符号化表現２１０から導き出すことができる）を用いて重み付けされた無相関化信号２２４のエネルギーを演算するように構成することができる。

更なるオプションの改良として、マルチチャンネルオーディオデコーダ２００は、残差信号の重み付けエネルギー値を取得するために、複数のアップミックスチャンネルおよび時間スロットにわたって、残差信号アップミックスパラメータ（それは、符号化表現２１０に含むことができる、または符号化表現２１０から導き出すことができる）を用いて重み付けられた残差信号２２４のエネルギーを演算するように構成することができる。

他のオプションの改良として、マルチチャンネルオーディオデコーダ２００（またはその重み決定器２３２）は、無相関化信号の重み付けエネルギー値と残差信号の重み付けエネルギー値との差に従って、上述のファクタを演算するように構成することができる。このような演算は、重み付け値２３２を決定する効率的なソリューションであることが分かっている。

オプションの改良として、マルチチャンネルオーディオデコーダは、無相関化信号２２４の重み付けエネルギー値と残差信号２２６の重み付けエネルギー値の差と、無相関化信号２２４の重み付けエネルギー値との比率に従ってファクタを演算するように構成することができる。ファクタに対するこのような演算は、ダウンミックス信号２２２の主に無相関化信号ベースの改善とダウンミックス信号２２２の主に残差信号ベースの改善との間の混合に対して、良い結果をもたらすことが分かっている。

オプションの改良として、マルチチャンネルオーディオデコーダ２００は、例えば、第１の出力オーディオ信号２１２と第２の出力オーディオ信号２１４のような、２つ以上の出力オーディオ信号に対する無相関化信号の寄与を記述する重みを決定するように構成することができる。この場合において、マルチチャンネルオーディオデコーダは、無相関化信号２２４の重み付けエネルギー値と第１チャンネルの無相関化信号アップミックスパラメータに基づいて、第１の出力オーディオ信号２１２に対する無相関化信号２２４の寄与を決定するように構成することができる。さらに、マルチチャンネルオーディオデコーダは、無相関化信号２２４の重み付けエネルギー値と第２チャンネルの無相関化信号アップミックスパラメータに基づいて、第２の出力オーディオ信号２１４に対する無相関化信号２２４の寄与を決定するように構成することができる。言い換えれば、異なる無相関化信号アップミックスパラメータは、第１の出力オーディオ信号２１２と第２の出力オーディオ信号２１４とを提供するために用いることができる。しかしながら、第１の出力オーディオ信号２１２に対する無相関化信号の寄与と第２の出力オーディオ信号２１４に対する無相関化信号の寄与との決定に対して、無相関化信号の同じ重み付けエネルギー値を用いることができる。従って、２つの出力オーディオ信号２１２，２１４の異なる特性に拘らず、異なる無相関化信号アップミックスパラメータによって考慮することができる効果的な調整が可能である。

オプションの改良として、マルチチャンネルオーディオデコーダ２００は、残差エネルギー（例えば、残差信号２２６のエネルギーまたは残差信号２２６の重み付けバージョンのエネルギー）が無相関化エネルギー（例えば、無相関化信号２２４のエネルギーまたは無相関化信号２２４の重み付けバージョンのエネルギー）を超える場合に、重み付け結合に対する無相関化信号２２４の寄与を無効にするように構成することができる。

更なるオプションの改良として、オーディオデコーダは、残差信号の重み付けエネルギー値のバンド毎の決定に従って、重み付け結合における無相関化信号２２４の寄与を記述する重み２３２をバンド毎に決定するように構成することができる。したがって、復号化される信号に対するマルチチャンネルオーディオデコーダ２００のきめ細かい調整を実行することができる。

他のオプションの改良において、オーディオデコーダは、出力オーディオ信号２１２，２１４の各フレームに対して、重み付け結合における無相関化信号の寄与を記述する重みを決定するように構成することができる。したがって、良い時間分解能を達成することができる。

更なるオプションの改良において、重み付け値２３２の決定は、以下で提供されるいくつかの式によって実行することができる。

さらに、マルチチャンネルオーディオデコーダ２００は、他の実施形態に関しても、本願明細書に記載されたいずれかの特徴または機能によって補充できることに留意すべきである。

３． 図３に係るマルチチャンネルオーディオデコーダ

図３は、本発明の一実施形態に係るマルチチャンネルオーディオデコーダ３００の概略ブロック図を示す。マルチチャンネルオーディオデコーダ３００は、符号化表現３１０を受信し、それに基づいて２つ以上の出力オーディオ信号３１２，３１４を提供するように構成される。符号化表現３１０は、例えば、ダウンミックス信号の符号化表現と、１つ以上の空間パラメータの符号化表現と、残差信号の符号化表現とを備えることができる。マルチチャンネルオーディオデコーダ３００は、ダウンミックス信号の符号化表現と、複数の符号化された空間パラメータと、残差信号の符号化表現とに基づいて、（少なくとも）１つの出力オーディオ信号、例えば、第１の出力オーディオ信号３１２および／または第２の出力オーディオ信号３１４を取得するように構成される。

特に、マルチチャンネルオーディオデコーダ３００は、残差信号（それは、符号化表現３１０において符号化された形で含まれる）に従って、パラメトリック符号化と残差符号化との間で混合するように構成される。言い換えれば、マルチチャンネルオーディオデコーダ３００は、出力オーディオ信号３１２，３１４の提供が、ダウンミックス信号に基づいて、出力オーディオ信号３１２，３１４間の所望の関係を記述する空間パラメータ（例えば、出力オーディオ信号３１２，３１４の所望のチャンネル間レベル差または所望のチャンネル間相関）を用いて実行される復号化モードと、出力オーディオ信号３１２，３１４が残差信号を用いてダウンミックス信号に基づいて復元される復号化モードとの間で混合することができる。従って、符号化表現３１０に含まれる残差信号の強度（例えば、エネルギー）は、ダウンミックス信号から出力オーディオ信号３１２，３１４を導き出すために、復号化がもっぱら（または排他的に）空間パラメータ（ダウンミックス信号に加えて）に基づいているかどうかまたは復号化がもっぱら（または排他的に）残差信号に基づいているかどうか、または、空間パラメータと残差信号の両方がダウンミックス信号の改善に影響を及ぼす中間状態がとられるかどうかを決定することができる。

さらに、マルチチャンネルオーディオデコーダ３００は、パラメトリック符号化（通常は、出力オーディオ信号３１２，３１４を提供するときに比較的高い重みが無相関化信号に対して与えられる）と、残差信号に従った残差符号化（通常は、比較的少ない重みが無相関化信号に与えられる）との間で混合することによって、高いシグナリングオーバーヘッドなしに、現在のオーディオコンテンツによく適合する復号化を可能とする。

さらに、マルチチャンネルオーディオデコーダ３００は、マルチチャンネルオーディオデコーダ２００に類似する考察に基づいており、マルチチャンネルオーディオデコーダ２００に関して上述されたオプションの改良は、マルチチャンネルオーディオデコーダ３００にも適用できることに留意すべきである。

４． 図４に係るマルチチャンネルオーディオ信号の符号化表現を提供する方法

図４は、マルチチャンネルオーディオ信号の符号化表現を提供する方法４００のフローチャートを示す。

方法４００は、マルチチャンネルオーディオ信号に基づいてダウンミックス信号を取得するステップ４１０を備える。方法４００は、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータを提供するステップ４２０を備える。例えば、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するチャンネル間レベル差パラメータおよび／またはチャンネル間相関パラメータ（または共分散パラメータ）を提供することができる。方法４００は、また、残差信号を提供するステップ４３０を備える。さらに、方法は、マルチチャンネルオーディオ信号に従って、符号化表現に含まれる残差信号の量を変化させるステップ４４０を備える。

方法４００は、図１に係るオーディオエンコーダ１００と同じ考察に基づいていることに留意すべきである。さらに、方法４００は、発明の装置に関して本願明細書に記載されたいずれかの特徴および機能によって補充することができる。

５． 図５に係る符号化表現に基づいて少なくとも２つの出力オーディオ信号を提供する方法

図５は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供する方法５００のフローチャートを示す。方法５００は、残差信号に従って、重み付け結合における無相関化信号の寄与を記述する重みを決定するステップ５１０を備える。方法５００は、また、出力オーディオの１つを取得するために、ダウンミックス信号と無相関化信号と残差信号との重み付け結合を実行するステップ５２０を備える。

方法５００は、発明の装置に関して本願明細書に記載されたいずれかの特徴および機能によって補充することができることに留意すべきである。

６． 図６に係る符号化表現に基づいて少なくとも２つの出力オーディオ信号を提供する方法

図６は、符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供する方法６００のフローチャートを示す。方法６００は、ダウンミックス信号の符号化表現と複数の符号化された空間パラメータと残差信号の符号化表現とに基づいて、出力オーディオ信号の１つを取得するステップ６１０を備える。出力オーディオ信号の１つを取得するステップ６１０は、残差信号に従って、パラメトリック符号化と残差符号化との間の混合を実行するステップ６２０を備える。

方法６００は、発明の装置に関して本願明細書に記載されたいずれかの特徴および機能によって補充することができることに留意すべきである。

７． 更なる実施形態

以下において、いくつかの一般的な考察といくつかの更なる実施形態が記載される。

７．１ 一般的な考察

本発明に係る実施形態は、固定の残差のバンド幅を用いる代わりに、デコーダ（例えば、マルチチャンネルオーディオデコーダ）は、各フレームに対して（または、一般的に、少なくとも複数の周波数レンジに対しておよび／または複数の時間部分に対して）、バンド毎にエネルギーを測定することによって送信された残差信号の量を検出するというアイデアに基づいている。出力エネルギーと無相関化の必要な（または所望の）量を獲得するために、送信された空間パラメータに従属して、無相関化された出力が、残差エネルギーが「失われている」ところに加えられる。これは、バンドパススタイルの残差信号と同様に可変の残差バンド幅を可能とする。例えば、トーンのバンドに対して残差符号化のみを用いることが可能である。波形保存符号化（それは残差符号化とも称される）に対するのと同様に、パラメトリック符号化に対して簡略化ダウンミックスを用いることを可能とするために、簡略化ダウンミックスに対する残差信号が本願明細書において定義される。

７．２ 簡略化ダウンミックスに対する残差信号の算出

以下において、残差信号の計算とマルチチャンネルオーディオ信号のチャンネル信号の構造に関するいくつかの考察が記載される。

統一されたスピーチとオーディオの符号化（ＵＳＡＣ）において、いわゆる「簡略化ダウンミックス」が用いられるときに定義された残差信号はない。従って、いかなる部分的波形保存符号化も可能でない。しかしながら、以下において、いわゆる「簡略化ダウンミックス」に対して残差信号を計算する方法が記載される。

パラメトリックアップミックス係数ｕ_d1，ｕ_d2がパラメータバンド毎に算出されるのに対して、「簡略化ダウンミックス」重みｄ₁，ｄ₂は、スケールファクタバンド毎に計算される。従って、残差信号を計算する係数ｗ_r1，ｗ_r2は、空間パラメータから直接演算することはできない（古典的ＭＰＥＧサラウンドに対するケースであるため）が、ダウンミックス係数とミックスプミックス係数からスケールファクタバンド毎に決定されることを必要とする可能性がある。

ここで、Ｌ，Ｒを入力チャンネル、Ｄをダウンミックスチャンネルとすると、残差信号ｒｅｓは以下の特性を満たさなければならない。

デコーダにより用いられる残差アップミックス係数ｕ_r,1，ｕ_r,2は、好ましくはロバストな復号化を確実にする方法で選択される。簡略化ダウンミックスは、非対称の特性を持つ（固定重みによるＭＰＥＧサラウンドとは対照的に）ので、例えば以下のアップミックス係数を用いて、空間パラメータに従属するアップミックスが適用される。

他のオプションは、以下のように、ダウンミックス信号のアップミックス係数に直交する残差アップミックス係数を定義することである。

言い換えれば、オーディオデコーダは、左チャンネル信号Ｌ（第１のチャンネル信号）と右チャンネル信号Ｒ（第２のチャンネル信号）の線形結合を用いてダウンミックス信号Ｄを取得することができる。同様に、残差信号ｒｅｓは、左チャンネル信号Ｌと右チャンネル信号Ｒ（または、一般的に、マルチチャンネルオーディオ信号の第１のチャンネル信号と第２のチャンネル信号）の線形結合を用いて取得される。

例えば、式（５）および（６）において、簡略化ダウンミックス重みｄ₁，ｄ₂と、パラメトリックアップミックス係数ｕ_d,1，ｕ_d,2と、残差アップミックス係数ｕ_r,1，ｕ_r,2が決定されるとき、残差信号ｒｅｓを取得するためのダウンミックス重みｗ_r,1，ｗ_r,2を取得することができる。さらに、ｕ_r,1，ｕ_r,2は、式（７）と（８）または式（９）を用いてｕ_d,1，ｕ_d,2から導き出すことができることが分かる。簡略化ダウンミックス重みｄ₁，ｄ₂は、パラメトリックアップミックス係数ｕ_d,1，ｕ_d,2と同様に、通常の方法で取得することができる。

７．３ 符号化プロセス

以下において、符号化プロセスに関するいくつかの詳細が記載される。符号化は、例えば、マルチチャンネルオーディオエンコーダ１００によって、または他のいかなる適切な手段またはコンピュータプログラムによっても実行することができる。

好ましくは、送信された残差の量は、オーディオ信号（例えば、マルチチャンネルオーディオ信号１１０のチャンネル信号）と利用可能なビットレートに従属して、エンコーダ（例えば、マルチチャンネルオーディオエンコーダ）の音響心理学モデルによって決定される。送信された残差信号は、例えば、部分的波形保存に対してまたは用いられたダウンミックス方法（例えば、上記の式（１）によって記述されるダウンミックス方法）によって生じる信号キャンセルを回避するために用いることができる。

７．３．１ 部分的波形保存

以下において、部分的波形保存はどのようにして達成することができるかが記載される。例えば、計算された残差（例えば、式（４）による残差ｒｅｓ）は、フルバンドで、または残差バンド幅内で部分的波形保存を提供するためにバンド制限されて送信される。音響心理学モデルによって知覚的に無関係なように検出される残差部分は、例えば、ゼロに（例えば、符号化表現１１２を提供するときに残差信号１２６に基づいて）量子化することができる。これは、ランタイムにおける送信される残差バンド幅を低減すること（符号化表現に含まれる残差信号の量を変化させることと考えることができる）を含むが、これに限定されるものではない。このシステムは、失われている信号エネルギーがデコーダ（例えば、マルチチャンネルオーディオデコーダ２００またはマルチチャンネルオーディオデコーダ３００）によって復元されるので、残差信号部分のバンドパススタイルの消去を可能とすることもできる。従って、バックグラウンドノイズは残差ビットレートを低減するためにパラメータ的に符号化することができるのに対して、例えば、残差符号化は、それらの位相関係を維持する信号のトーン成分にのみ適用することができる。言い換えれば、残差信号１２６は、マルチチャンネルオーディオ信号１１０（またはマルチチャンネルオーディオ信号１１０の少なくとも１つのチャンネル信号）がトーンであると分かった周波数バンドおよび／または時間部分に対して、符号化表現１１２にのみ含む（例えば、残差信号処理１３０によって）とすることができる。対照的に、残差信号１２６は、マルチチャンネルオーディオ信号１１０（またはマルチチャンネルオーディオ信号１１０の少なくとも１つ以上のチャンネル信号）がノイズのようであると識別された周波数バンドまたは時間部分に対して、符号化表現１１２に含まないとすることができる。従って、符号化表現に含まれる残差信号の量は、マルチチャンネルオーディオ信号に従って変化する。

７．３．２ ダウンミックスにおける信号キャンセルの防止

以下において、ダウンミックスにおける信号キャンセルをどのようにして防止する（または補償する）ことができるかが記載される。

低いビットレートのアプリケーションに対して、波形保存符号化（それは、例えば、ダウンミックス信号１２２に加えて残差信号１２６に主に依存する）の代わりに、パラメトリック符号化（それは、マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータ１２４に主にまたは排他的に依存する）が適用される。ここで、残差信号１２６は、残差のビット使用を最小化するために、ダウンミックス１２２において信号キャンセルを補償するためにのみ用いられる。ダウンミックス１２２において信号キャンセルが検出されない限り、システムは、無相関化器を用いてパラメトリックモードで（オーディオデコーダサイドにおいて）動作する。例えば、フェージングトーン信号に対して、信号キャンセルが発生するとき、残差信号１２６は、障害のある信号部分（例えば、周波数バンドおよび／または時間部分）に対して送信される。従って、信号エネルギーはデコーダによって回復することができる。

７．４ 復号化プロセス

７．４．１ 概要

デコーダ（例えば、マルチチャンネルオーディオデコーダ２００またはマルチチャンネルオーディオデコーダ３００）において、送信されたダウンミックスおよび残差信号（例えばダウンミックス信号２２２または残差信号２２６）は、コアデコーダによって復号化され、復号化ＭＰＥＧサラウンドペイロードとともに、ＭＰＥＧサラウンドデコーダに供給される。古典的なＭＰＳダウンミックスに対する残差アップミックス係数は不変であり、簡略化ダウンミックスに対する残差アップミックス係数は式（７）および式（８） および／または式（９）で定義される。加えて、無相関化器の出力とその重み付け係数は、パラメトリック復号化に関して計算される。残差信号と無相関化器の出力は重み付けられ、両方が出力信号に混合される。それ故に、重み付けファクタは、残差および無相関化器信号のエネルギーを測定することによって決定される。

言い換えれば、残差アップミックスファクタ（または係数）は、残差および無相関化信号のエネルギーを測定することによって決定することができる。

例えば、ダウンミックス信号２２２は、符号化表現２１０に基づいて提供され、無相関化信号２２４は、ダウンミックス信号２２２から導き出されるまたは符号化表現２１０（またはそれ以外）に含まれるパラメータに基づいて生成される。残差アップミックス係数は、デコーダによって、例えば式（７）と式（８）に従ってパラメータアップミックス係数ｕ_d,1，ｕ_d,2から導き出すことができ、パラメータアップミックス係数ｕ_d,1，ｕ_d,2は、符号化表現２１０に基づいて、例えば直接的にまたは符号化表現２１０に含まれる空間データから（例えば、チャンネル間相関係数とチャンネル間レベル差係数から、またはオブジェクト間相関係数とオブジェクト間レベル差から）それらを導き出すことによって取得することができる。

無相関化器出力（または出力）に対するアップミックス係数は、従来のＭＰＥＧサラウンド復号化に関して取得することができる。しかしながら、無相関化器出力（または出力）の重み付けに対する重み付けファクタは、重み付け結合における無相関化信号の寄与を記述する重みが残差信号に従って決定されるように、残差信号のエネルギーに基づいて（そして、おそらくまた無相関化器信号または信号のエネルギーに基づいて）決定することができる。

７．４．２ 例示的な実施態様

以下において、例示的な実施態様が図７を参照して記載される。しかしながら、本願明細書に記載されたコンセプトは、図２および図３に係るマルチチャンネルオーディオデコーダ２００または３００において適用することもできることに留意すべきである。

図７は、デコーダ（例えば、マルチチャンネルオーディオデコーダ）の概略ブロック図（またはフロー図）を示す。図７に係るデコーダは、全体が７００で示される。デコーダ７００は、ビットストリーム７１０を受信し、それに基づいて第１の出力チャンネル信号７１２と第２の出力チャンネル信号７１４とを出力するように構成される。デコーダ７００は、ビットストリーム７１０を受信し、それに基づいてダウンミックス信号７２２と残差信号７２４と空間データ７２６とを提供するように構成されたコアデコーダ７２０を備える。例えば、コアデコーダ７２０は、ダウンミックス信号として、ビッストリーム７１０によって表現されたダウンミックス信号の時間ドメイン表現または変換ドメイン表現（例えば、周波数ドメイン表現、ＭＤＣＴドメイン表現、ＱＭＦドメイン表現）を提供することができる。同様に、コアデコーダ７２０は、ビットストリーム７１０によって表現される、残差信号７２４の時間ドメイン表現または変換ドメイン表現を提供することができる。さらに、コアデコーダ７２０は、例えば、１つ以上のチャンネル間相関パラメータ、チャンネル間レベル差パラメータ等のような、１つ以上の空間パラメータ７２６を提供することができる。

デコーダ７００は、また、ダウンミックス信号７２２に基づいて無相関化信号７３２を提供するように構成された、無相関化器７３０を備える。いずれの周知の無相関化コンセプトも、無相関化器７３０によって用いることができる。さらに、デコーダ７００は、また、空間データ７２６を受信し、アップミックスパラメータ（例えば、アップミックスパラメータｕ_dmx,1，ｕ_dmx,2，ｕ_dec,1，ｕ_dec,2）を提供するように構成された、アップミックス係数計算器７４０を備える。さらに、デコーダ７００は、空間データ７２６に基づいてアップミックス係数計算器７４０によって提供されるアップミックスパラメータ７４２（アップミックス係数とも称される）を適用するように構成された、アップミキサ７５０を備える。例えば、アップミキサ７５０は、ダウンミックス信号７２２の２つのアップミックスされたバージョン７５２、７５４を取得するために、２つのダウンミックス信号のアップミックス係数（例えばｕ_dmx,1，ｕ_dmx,2）を用いて、ダウンミックス信号７２２をスケーリングすることができる。さらに、アップミキサ７５０は、また、無相関化信号７３２の第１のアップミックスされた（スケーリングされた）バージョン７５６と第２のアップミックスされた（スケーリングされた）バージョン７５８とを取得するために、１つ以上のアップミックスパラメータ（例えば２つのアップミックスパラメータ）を、無相関化器７３０によって提供される無相関化信号７３２に対して適用するように構成される。さらに、アップミキサ７５０は、残差信号７２４の第１のアップミックスされた（スケーリングされた）バージョン７６０と第２のアップミックスされた（スケーリングされた）バージョン７６２とを取得するために、１つ以上のアップミックス係数（例えば、２つのアップミックス係数）を残差信号７２４に対して適用するように構成される。

デコーダ７００は、また、無相関化信号７５２のアップミックスされた（スケーリングされた）バージョン７５６，７５８のエネルギーと、残差信号７２４のアップミックスされた（スケーリングされた）バージョン７６０，７６２のエネルギーとを測定するように構成された、重み計算機７７０を備える。さらに、重み計算機７７０は、１つ以上の重み値７７２を重み付け器７８０に対して提供するように構成される。重み付け器７８０は、重み計算機７７０によって提供される１つ以上の重み付け値７７２を用いて、無相関化信号７３２の第１のアップミックスされ（スケーリングされ）、重み付けされたバージョン７８２と、無相関化信号７３２の第２のアップミックスされ（スケーリングされ）、重み付けされたバージョン７８４と、残差信号７２４の第１のアップミックスされ（スケーリングされ）、重み付けされたバージョン７８６と、残差信号７２４の第２のアップミックスされ（スケーリングされ）、重み付けされたバージョン７８８とを取得するように構成される。デコーダは、また、第１の出力チャンネル信号７１２を取得するために、ダウンミックス信号７２０の第１のアップミックスされた（スケーリングされた）バージョン７５２と、無相関化信号７３２の第１のアップミックスされ（スケーリングされ）、重み付けされたバージョン７８２と、残差信号７２４の第１のアップミックスされ（スケーリングされ）、重み付けされたバージョン７８６とを合計するように構成された、第１の加算器７９０を備える。さらに、デコーダは、第２の出力チャンネル信号７１４を取得するために、ダウンミックス信号７２０の第２のアップミックスされたバージョン７５４と、無相関化信号７２４の第２のアップミックスされ（スケーリングされ）、重み付けられたバージョン７８４と、残差信号７２４の第２のアップミックスされ（スケーリングされ）、重み付けられたバージョン７８８とを合計するように構成された、第２の加算器７９２を備える。

しかしながら、重み付け器７８０は、全ての信号７５６，７５８，７６０，７６２を重み付けする必要がないことに留意すべきである。例えば、いくつかの実施形態において、信号７５６，７５８のみを重み付けし、信号７６０，７６２が影響を受けないようにする（実際上、信号７６０，７６２が加算器７９０，７９２に対して直接適用されるようにする）だけで十分とすることができる。あるいは、しかしながら、残差信号７６０，７６２の重み付けを時間にわたって変化させることができる。例えば、残差信号は、フェードインまたはフェードさせることができる。例えば、無相関化信号の重み付け（または重み付けファクタ）は、時間にわたって平滑化させることができ、残差信号は、対応してフェードインまたはフェードアウトさせることができる。

さらに、重み付け器７８０によって実行される重み付けとアップミキサ７５０によって適用されるアップミックスとは、結合動作として実行することもでき、重み計算は、無相関化信号７３２と残差信号７２４とを用いて直接実行することができる。

以下において、デコーダ７００の機能に関するいくつかの詳細が記載される。

結合された残差とパラメトリックの符号化モードは、例えば、準後方互換性を持つ方法で、例えば、ビットストリームにおいて１つのパラメータバンドの残差バンド幅をシグナリングすることによって、シグナリングすることができる。従って、レガシーデコーダは、第１のパラメータバンド上でパラメトリック復号化にスイッチングすることによって、ビットストリームを依然として通過し復号化する。残差バンド幅を用いたレガシービットストリームは、第１のパラメータバンド上で残差エネルギーを含まず、提案された新規なデコーダにおいてパラメトリック復号化になる。

しかしながら、３Ｄオーディオコーデックシステム内で、結合された残差とパラメトリックの符号化は、クワッドチャンネルエレメントのような他のコアデコーダツールとの組み合わせにおいて用いることができ、デコーダがレガシービットストリームを明示的に検出し、通常のバンド制限された残差符号化モードにおいてそれらを復号化することを可能にする。実際の残差バンド幅は、ランタイムにデコーダによって決定されるので、好ましくは明示的にシグナリングされない。アップミックス係数の計算は、残差符号化モードの代わりにパラメトリックモードにセットされる。重み付けられた無相関化器出力のエネルギーＥdecと重み付けられた残差信号Ｅresのエネルギーは、以下のように、すべての時間スロットｔｓにわたるハイブリッドバンドｈｂと各フレームに対するアップミックスチャンネルｃｈ毎に計算される。

残差信号（例えば、アップミックスされた残差信号７６０またはアップミックスされた残差信号７６２）は、出力チャンネル（例えば、出力チャンネル７１２，７１４）に１の重みで加えられる。無相関化器信号（例えばアップミックスされた無相関化器信号７５６またはアップミックスされた無相関化器信号７５８）は、次のように算出されるファクタｒによって（例えば重み付け器７８０によって）重み付けすることができる。

ここで、Ｅ_dec（ｈｂ）は周波数バンドｈｂに対する無相関化信号ｘ_decの重み付けエネルギー値を表し、Ｅ_res（ｈｂ）は周波数バンドｈｂに対する残差信号ｘ_resの重み付けエネルギー値を表す。

残差（例えば、残差信号７２４）が送信されない場合、例えば、Ｅ_res＝０である場合に、ｒ（重み付け器７８０によって適用することができ、重み付け値７７２とみなすことができるファクタ）は１になり、それは純粋にパラメトリック復号化に等しい。残差エネルギー（例えば、アップミックスされた残差信号７６０および／またはアップミックスされた残差信号７６２のエネルギー）が無相関化器エネルギー（例えば、アップミックスされた無相関化信号７５６またはアップミックスされた無相関化信号７５８のエネルギー）
を超える場合、例えば、Ｅ_res > Ｅ_decである場合に、ファクタｒは、ゼロにセットすることができ、従って無相関化器を無効にし、部分的波形保存復号化（それは、残差符号化とみなすことができる）を有効にする。アップミックスプロセスにおいて、重み付け無相関化器出力（例えば、信号７８２，７８４）と残差信号（例えば、信号７８６，７８８または信号７６０，７６２）は、両方とも出力チャンネル（例えば、信号７１２，７１４）に加えられる。

結論として、これは、マトリックス形式のアップミックスルールになる。

ここで、ｃｈ１は第１の出力オーディオ信号の１つ以上の時間ドメインサンプルまたは変換ドメインサンプルを表し、ｃｈ２は第２の出力オーディオ信号の１つ以上の時間ドメインサンプルまたは変換ドメインサンプルを表し、ｘ_dmxはダウンミックス信号の１つ以上の時間ドメインサンプルまたは変換ドメインサンプルを表し、ｘ_decは無相関化信号の１つ以上の時間ドメインサンプルまたは変換ドメインサンプルを表し、ｘ_resは残差信号の１つ以上の時間ドメインサンプルまたは変換ドメインサンプルを表し、ｕ_dmx,1は第１の出力オーディオ信号に対するダウンミックス信号アップミックスパラメータを表し、ｕ_dmx,2は第２の出力オーディオ信号に対するダウンミックス信号アップミックスパラメータを表し、ｕ_dec,1は第１の出力オーディオ信号に対する無相関化信号アップミックスパラメータを表し、ｕ_dec,2は第２の出力オーディオ信号に対する無相関化信号アップミックスパラメータを表し、ｍａｘは最大オペレータを表し、ｒは残差信号に従った無相関化信号の重み付けを記述するファクタを表す。

アップミックス係数Ｕ_dmx,1，Ｕ_dmx,2，Ｕ_dec,1，Ｕ_dec,2は、ＭＰＳ２−１−２パラメトリックモードに関して計算される。詳細は、上記参照されたＭＰＥＧサラウンドコンセプトの標準が参照される。

要約すると、本発明による実施形態は、ダウンミックス信号と残差信号と空間データとに基づいて出力チャンネル信号を提供するコンセプトを構築し、いかなる有意のシグナリングオーバーヘッドもなしに無相関化信号の重み付けがフレキシブルに調整される。

７．５ 実施態様の変形例

いくつかの態様が装置の文脈で記載されてきたが、これらの態様は対応する方法の記載をも表すことは明らかであり、ここでブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の記載をも表す。いくつかのまたは全ての方法ステップは、たとえば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のように、ハードウェア装置によって（または、を用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上最も重要な方法ステップは、このような装置によって実行することができる。

発明の符号化されたオーディオ信号は、デジタル記憶媒体に保存されることができるかまたは伝送媒体（例えばワイヤレス伝送媒体または有線の伝送媒体（例えばインターネット））上に送信されることができる。

特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいて、または、ソフトウェアで実施されることができる。
実施は、その上に格納される電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、デジタル記憶媒体、たとえばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故に、デジタル記憶媒体は、コンピュータ読取可能とすることができる。

本発明によるいくつかの実施形態は、電子的に読取可能な制御信号有し、本願明細書に記載された方法の１つが実行されるプログラム可能なコンピュータシステムと協働することができるデータキャリアを備える。

一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、方法の１つを実行するように動作可能であるプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能キャリアに格納することができる。

他の実施形態は、機械読取可能キャリアに格納され、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムを備える。

言い換えれば、発明の方法の実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

発明の方法の更なる実施形態は、それ故に、その上に記録されて本願明細書に記載された方法の１つを実行するコンピュータプログラムを備えるデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、一般的に有形でありおよび／または非過渡的なものである。

発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送されるように構成することができる。

さらなる実施形態は、本願明細書に記載された方法の１つを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラム可能なロジックデバイスを備える。

更なる実施形態は、その上に本願明細書に記載された方法の１つを実行するコンピュータプログラムがインストールされたコンピュータを備える。

本発明に係る更なる実施例は、本願明細書に記載された方法の１つを実行するコンピュータプログラムをレシーバに転送する（例えば、電子的にまたは光学的に）ように構成された装置またはシステムを備える。レシーバは、例えば、コンピュータ、モバイルデバイス、メモリデバイス等とすることができる。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するファイルサーバを備えることができる。

いくつかの実施形態において、プログラム可能なロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を、本願明細書に記載された方法のいくつかまたはすべての機能を実行するために用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するためにマイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。

上述の実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、他の当業者にとって明らかであると理解される。本発明は、それ故に、特許請求の範囲のスコープによってのみ限定され、本願明細書の実施形態の記載および説明によって提供される特定の詳細によって限定されないことを意図する。

７．６ 更なる実施形態

以下において、いわゆるハイブリッド残差デコーダの概略ブロック図を示す図８を参照して、本発明に係る他の実施形態が記載される。

図８に係るハイブリッド残差デコーダ８００は、図７に係るデコーダ７００と非常に類似しており、上記の説明が参照される。しかしながら、ハイブリッド残差デコーダ８００においては、付加的な重み付け（アップミックスパラメータのアプリケーションに加えて）がアップミックスされた無相関化信号（それはデコーダ７００における信号７５６，７５８に対応する）に対して適用されるだけであり、アップミックスされた残差信号（それはデコーダ７００における信号７６０，７６２に対応する）に対しては適用されない。従って、ハイブリッド残差デコーダ８００の重み付けは、デコーダ７００における重み付けよりいくらか単純であるが、例えば、式（１４）による重み付けによく一致する。

以下において、図８に係る結合されたパラメトリックと残差の復号化（ハイブリッド残差符号化）がいくらか詳細に説明される。

しかしながら、最初に概要が提供される。

無相関化器ベースのモノラルからステレオへのアップミックスまたはＩＳＯ／ＩＥＣ ２３００３−３（７．１１．１節）に記載されたような残差符号化のいずれかを用いることに加えて、ハイブリッド残差符号化は、両方のモードの信号従属結合を可能とする。図８に図示されるように、残差信号と無相関化器出力は、信号エネルギーおよび空間パラメータに応じて時間および周波数に依存する重み付けファクタを用いて混合される。

以下において、復号化プロセスが記載される。

ハイブリッド残差符号化モードは、Ｍｐｓ２１２Ｃｏｎｆｉｇ（）において、シンタックスエレメントｂｓＲｅｓｉｄｕａｌＣｏｄｉｎｇ＝＝ １とｂｓＲｅｓｉｄｕａｌＢａｎｄｓ ＝＝ １によって表される。言い換えれば、ハイブリッド残差符号化の使用は、符号化表現のビットストリームエレメントを用いてシグナリングすることができる。ミックスマトリックスＭ２の計算は、ＩＳＯ／ＩＥＣ ２３００３−３、７．１１．２．３節における計算に従って、あたかもｂｓＲｅｓｉｄｕａｌＣｏｄｉｎｇ＝＝ ０のように実行される。無相関化器ベースの部分に対するマトリックスは、次のように定義される。

アップミックスプロセスは、ダウンミックスと無相関化器出力と残差に分割される。アップミックスされたダウンミックスｕ_dmxは、次式を用いて算出される。

アップミックスされた無相関化器出力ｕ_decは、次式を用いて計算される。

アップミックスされた残差信号ｕ_resは、次式を用いて計算される。

アップミックスされた残差信号のエネルギーＥ_resとアップミックスされた無相関化器出力のエネルギーＥdecは、以下のように、ハイブリッドバンド毎に、出力チャンネルｃｈと１つのフレームのすべての時間スロットｔｓの両方にわたる合計として計算される。

アップミックスされた無相関化器出力は、以下のような、各ハイブリッドバンドに対してフレーム毎に計算された重み付けファクタｒ_decを用いて重み付けされる。

ここで、εはゼロによる割り算を防止するための小さい数（例えば、ε＝ １ｅ−９または０＜ε＜＝１ｅ−５）である。しかしながら、いくつかの実施形態において、εはゼロにセットする（「Ｅ_res＜ε」を「Ｅ_res＝０」で置き換える）ことができる。

すべての３つのアップミックス信号は、復号化出力信号を形成するために加えられる。

８． 結論

結論として、本発明に係る実施形態は、結合された残差とパラメトリックの符号化を構築する。

本発明は、ＵＳＡＣ統合ステレオツールに基づく、合同ステレオ符号化に対するパラメトリックと残差の符号化の信号従属結合の方法を構築する。固定の残差バンド幅を用いる代わりに、送信される残差の量が、エンコーダ、時間および周波数変形によって信号従属的に決定される。デコーダ側で、出力チャンネル間の無相関化の必要量は、残差信号と無相関化器出力を混合することによって生成される。従って、対応するオーディオ符号化／復号化システムは、符号化信号に応じて、ランタイムに完全なパラメトリック符号化と波形保存残差符号化の間で混合することができる。

本発明に係る実施形態は、従来の解法より優れている。例えば、ＵＳＡＣにおいて、ＭＰＥＧサラウンド２−１−２システムは、パラメトリックステレオ符号化、または統合ステレオに対して用いられ、部分的波形保存に対してバンド制限されたまたは完全なバンド幅の残差信号を送信する。バンド制限された残差が送信される場合に、無相関化器の使用によるパラメトリックアップミックスが残差バンド幅上に適用される。この方法の欠点は、残差バンド幅がエンコーダの初期化で固定の値にセットされることである。

対照的に、本発明に係る実施形態は、残差バンド幅の信号従属適合またはパラメトリック符号化へのスイッチングを可能とする。さらに、パラメトリック符号化モードにおけるダウンミックスプロセスが調子の悪い位相関係に対して信号キャンセルを生じる場合に、本発明に係る実施形態は、失われた信号部分を復元すること（例えば、適当な残差信号を提供することによって）を可能とする。簡略化ダウンミックス方法は、パラメトリック符号化に対して古典的ＭＰＳダウンミックスより信号キャンセルを生じないことに留意すべきである。しかしながら、従来の簡略化ダウンミックスは、残差信号がＵＳＡＣにおいて定義されていないので、部分的波形保存に対して用いられることができないが、本発明に係る実施形態は、波形復元（例えば、部分的波形復元が重要に見える信号部分に対して選択的な部分的波形復元）を可能とする。

更なる結論として、本発明に係る実施形態は、本願明細書に記載されたようなオーディオ符号化または復号化の装置、方法またはコンピュータプログラムを構築する。

Claims (18)

1. 符号化表現（２１０；３１０；７１０）に基づいて、少なくとも２つの出力オーディオ信号（２１２，２１４；３１２，３１４；７１２，７１４）を提供するマルチチャンネルオーディオデコーダ（２００；３００；７００；８００）であって、
   前記マルチチャンネルオーディオデコーダは、ダウンミックス信号（２２２；７２２）の符号化表現と複数の符号化された空間パラメータ（７２６）と残差信号（２２６；７２４）の符号化表現とに基づいて、前記出力オーディオ信号の１つを取得するように構成され、
   前記マルチチャンネルオーディオデコーダは、前記残差信号の強度が、前記ダウンミックス信号から前記出力オーディオ信号を導き出すために、前記復号化が前記ダウンミックス信号に加えてもっぱら前記空間パラメータに基づいているかどうか、または前記復号化が前記ダウンミックス信号に加えてもっぱら前記残差信号に基づいているかどうか、または前記空間パラメータと前記残差信号の両方が前記出力信号の改善に影響する中間状態がとられるかどうかを決定するように、前記残差信号に従って、パラメトリック符号化と残差符号化の間で混合するように構成された、
   マルチチャンネルオーディオデコーダ。
2. マルチチャンネルオーディオ信号（１１０）の符号化表現（１１２）を提供するマルチチャンネルオーディオエンコーダ（１００）であって、
   前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に基づいてダウンミックス信号（１２２）を取得し、前記マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータ（１２４）を提供し、残差信号（１２６）を提供するように構成され、
   前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に従って、前記符号化表現に含まれる残差信号の量を変化させるように構成され、
   前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号がトーンである周波数バンドに対して、前記残差信号を前記符号化表現に選択的に含むように構成された、
   マルチチャンネルオーディオエンコーダ。
3. 前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に従って、前記残差信号のバンド幅を変化させるように構成された、請求項２に記載のマルチチャンネルオーディオエンコーダ。
4. 前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に従って、前記残差信号が前記符号化表現に含まれる周波数バンドを選択するように構成された、請求項２または３に記載のマルチチャンネルオーディオエンコーダ。
5. 前記マルチチャンネルオーディオエンコーダは、前記ダウンミックス信号の形成が前記マルチチャンネルオーディオ信号の信号成分のキャンセルに結果としてなる時間部分および／または周波数バンドに対して、前記残差信号を前記符号化表現に選択的に含むように構成された、請求項２〜４のいずれかに記載のマルチチャンネルオーディオエンコーダ。
6. 前記マルチチャンネルオーディオエンコーダは、前記ダウンミックス信号において前記
   マルチチャンネルオーディオ信号の信号成分のキャンセルを検出するように構成され、前記マルチチャンネルオーディオエンコーダは、前記検出の結果に応答して、前記残差信号の提供をアクティベートするように構成された、請求項５に記載のマルチチャンネルオーディオエンコーダ。
7. 前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号の少なくとも２つのチャンネル信号の線形結合を用いて、マルチチャンネルデコーダ側で用いられるアップミックス係数に従って、前記残差信号を演算するように構成された、請求項２〜６のいずれかに記載のマルチチャンネルオーディオエンコーダ。
8. 前記マルチチャンネルオーディオエンコーダは、前記アップミックス係数を決定し、符号化する、
   または、前記マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータから前記アップミックス係数を導き出す、
   ように構成された、請求項７に記載のマルチチャンネルオーディオエンコーダ。
9. 前記マルチチャンネルオーディオエンコーダは、音響心理学モデルを用いて、前記符号化表現に含まれる前記残差信号の量を時間変数として決定するように構成された、請求項２〜８のいずれかに記載のマルチチャンネルオーディオエンコーダ。
10. 前記マルチチャンネルオーディオエンコーダは、現在利用可能なビットレートに従って、前記符号化表現に含まれる前記残差信号の量を時間変数として決定するように構成された、請求項２〜９のいずれかに記載のマルチチャンネルオーディオエンコーダ。
11. 符号化表現に基づいて、少なくとも２つの出力オーディオ信号を提供する方法（６００）であって、
    ダウンミックス信号の符号化表現と複数の符号化された空間パラメータと残差信号の符号化表現とに基づいて、前記出力オーディオ信号の１つを取得するステップ（６１０）を含み、
    前記残差信号の強度が、前記ダウンミックス信号から前記出力オーディオ信号を導き出すために、前記復号化が前記ダウンミックス信号に加えてもっぱら前記空間パラメータに基づいているかどうか、または前記復号化が前記ダウンミックス信号に加えてもっぱら前記残差信号に基づいているかどうか、または前記空間パラメータと前記残差信号の両方が前記出力信号の改善に影響する中間状態がとられるかどうかを決定するように、前記残差信号に従って、パラメトリック符号化と残差符号化の間で混合が実行される（６２０）、
    方法。
12. マルチチャンネルオーディオ信号の符号化表現を提供する方法（４００）であって、
    前記マルチチャンネルオーディオ信号に基づいて、ダウンミックス信号を取得するステップ（４１０）と、
    前記マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータを提供するステップ（４２０）と、
    残差信号を提供するステップ（４３０）と、を備え、
    前記マルチチャンネルオーディオ信号に従って、前記符号化表現に含まれる残差信号の量を変化（４４０）させ、
    前記マルチチャンネルオーディオ信号がトーンである周波数バンドに対して、前記残差信号が前記符号化表現に選択的に含まれる、
    方法。
13. コンピュータプログラムがコンピュータ上で動作するとき、請求項１１または１２に記載の方法を実行する、コンピュータプログラム。
14. マルチチャンネルオーディオ信号（１１０）の符号化表現（１１２）を提供するマルチチャンネルオーディオエンコーダ（１００）であって、
    前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に基づいてダウンミックス信号（１２２）を取得し、前記マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータ（１２４）を提供し、残差信号（１２６）を提供するように構成され、
    前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に従って、前記符号化表現に含まれる残差信号の量を変化させるように構成され、
    前記マルチチャンネルオーディオエンコーダは、前記ダウンミックス信号の形成が前記マルチチャンネルオーディオ信号の信号成分のキャンセルに結果としてなる時間部分および／または周波数バンドに対して、前記残差信号を前記符号化表現に選択的に含むように構成された、
    マルチチャンネルオーディオエンコーダ。
15. マルチチャンネルオーディオ信号（１１０）の符号化表現（１１２）を提供するマルチチャンネルオーディオエンコーダ（１００）であって、
    前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に基づいてダウンミックス信号（１２２）を取得し、前記マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータ（１２４）を提供し、残差信号（１２６）を提供するように構成され、
    前記マルチチャンネルオーディオエンコーダは、前記マルチチャンネルオーディオ信号に従って、前記符号化表現に含まれる残差信号の量を変化させるように構成され、
    前記マルチチャンネルオーディオエンコーダは、現在利用可能なビットレートに従って、前記符号化表現に含まれる前記残差信号の量を時間変数として決定するように構成された、
    マルチチャンネルオーディオエンコーダ。
16. マルチチャンネルオーディオ信号の符号化表現を提供する方法（４００）であって、
    前記マルチチャンネルオーディオ信号に基づいて、ダウンミックス信号を取得するステップ（４１０）と、
    前記マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータを提供するステップ（４２０）と、
    残差信号を提供するステップ（４３０）と、を備え、
    前記マルチチャンネルオーディオ信号に従って、前記符号化表現に含まれる残差信号の量を変化（４４０）させ、
    前記方法は、前記ダウンミックス信号の形成が前記マルチチャンネルオーディオ信号の信号成分のキャンセルに結果としてなる時間部分および／または周波数バンドに対して、前記残差信号を前記符号化表現に選択的に含むステップを備えた、
    方法。
17. マルチチャンネルオーディオ信号の符号化表現を提供する方法（４００）であって、
    前記マルチチャンネルオーディオ信号に基づいて、ダウンミックス信号を取得するステ
    ップ（４１０）と、
    前記マルチチャンネルオーディオ信号のチャンネル間の従属性を記述するパラメータを提供するステップ（４２０）と、
    残差信号を提供するステップ（４３０）と、を備え、
    前記マルチチャンネルオーディオ信号に従って、前記符号化表現に含まれる残差信号の量を変化（４４０）させ、
    前記方法は、現在利用可能なビットレートに従って、前記符号化表現に含まれる前記残差信号の量を時間変数として決定するステップを備えた、
    方法。
18. コンピュータプログラムがコンピュータ上で動作するとき、請求項１６または１７に記載の方法を実行する、コンピュータプログラム。

Images