JP2009508176A

JP2009508176A - オーディオ信号のデコーディング方法及び装置

Info

Publication number: JP2009508176A
Application number: JP2008531018A
Authority: JP
Inventors: スクパン，ヒー; オオー，ヒェン; ヒュンリム，ジェ; スーキム，ドン; ウォンジュン，ヤン
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2005-09-14
Filing date: 2006-09-14
Publication date: 2009-02-26
Also published as: US20080255857A1; US20110196687A1; KR20080039474A; EP1938312A4; KR20080039475A; AU2006291689A1; WO2007032647A1; KR100857105B1; WO2007032646A1; EP1946296A1; KR100857108B1; EP1946296A4; US9747905B2; US20110182431A1; KR20080041683A; US20110178808A1; KR100857106B1; US20110246208A1; KR100857107B1; WO2007032650A1

Abstract

【課題】オーディオ信号をデコーディングするオーディオ信号のデコーディング方法及び装置を提供する。
【解決手段】オーディオ信号及び空間情報を受信する段階と、変形空間情報のタイプを識別する段階と、空間情報を用いて変形空間情報を生成する段階と、変形空間情報を用いてオーディオ信号をデコーディングする段階と、を含み、変形空間情報のタイプは、部分空間情報、組合せ空間情報、及び拡大空間情報のうち一つ以上を含む構成とした。本発明によれば、エンコーディング装置で決定された構造以外の構造にオーディオ信号をデコーディングでき、ダウンミックスされる前のマルチチャンネルの本数よりスピーカー数が少ないまたは多い場合であっても、ダウンミックスオーディオ信号からスピーカー数と同じ本数の出力チャンネルを生成することができる。
【選択図】図１

Description

本発明は、オーディオ信号の処理に係り、より詳細には、オーディオ信号をデコーディングするオーディオ信号のデコーディング方法及び装置に関する。

一般的に、エンコーディング装置がオーディオ信号をエンコーディングするにおいて、エンコーディングするオーディオ信号がマルチチャンネルオーディオ信号である場合、マルチチャンネルオーディオ信号を２チャンネルや１チャンネルにダウンミックスしてダウンミックスオーディオ信号を生成し、マルチチャンネルオーディオ信号から空間情報を抽出する。この空間情報は、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号にアップミキシングするのに使用できる情報である。一方、エンコーディング装置は、定められたツリー構造によってマルチチャンネルオーディオ信号をダウンミックスする。ここで、定められたツリー構造は、オーディオ信号のデコーディング装置とオーディオ信号のエンコーディング装置間に約束された（複数の）構造でありうる。すなわち、定められたツリー構造のうち、どのタイプに該当するかを表す識別情報のみ存在すると、デコーディング装置は、アップミキシングされた後のオーディオ信号の構造、例えば、チャンネルの本数、各チャンネルの位置がわかる。

このように、エンコーディング装置が、定められたツリー構造によってマルチチャンネルオーディオ信号をダウンミックスすると、この過程で抽出された空間情報もその構造に従属する。したがって、デコーディング装置が、構造に従属した空間情報を用いてダウンミックスオーディオ信号をアップミックスする場合には、その構造によるマルチチャンネルオーディオ信号が生成される。

すなわち、デコーディング装置がエンコーディング装置により生成された空間情報をそのまま用いる場合、エンコーディング装置とデコーディング装置により約束された構造にのみアップミックスされるから、約束された構造以外の出力チャンネルオーディオ信号が生成されないという問題点があった。例えば、約束された構造によって決定されるチャンネルの本数と異なる（少ないまたは多い）チャンネル数のオーディオ信号にはアップミックスされることはできない。

本発明は上記の問題点を解決するためのもので、その目的は、エンコーディング装置で決定された構造以外の構造にオーディオ信号をデコーディングできるようにするオーディオ信号のデコーディング方法及び装置を提供することにある。

本発明の他の目的は、エンコーディングで生成された空間情報を変形した後、変形された空間情報を用いてオーディオ信号をデコーディングできるようにしたオーディオ信号のデコーディング方法及び装置を提供することにある。

上記の目的を達成するための本発明の一側面によれば、オーディオ信号及び空間情報を受信する段階と、変形空間情報のタイプを識別する段階と、前記空間情報を用いて前記変形空間情報を生成する段階と、を含み、前記変形空間情報を用いて前記オーディオ信号をデコーディングする段階と、を含み、前記変形空間情報のタイプは、部分空間情報、組合せ空間情報、及び拡大空間情報のうち一つ以上を含むことを特徴とするオーディオ信号のデコーディング方法が提供される。

本発明の他の側面によれば、空間情報を受信する段階と、前記空間情報を用いて組合せ空間情報を生成する段階と、前記組合せ空間情報を用いてオーディオ信号をデコーディングする段階と、を含み、前記組合せ空間情報は、前記空間情報に含まれる空間パラメータを組み合わせて生成されたことを特徴とするオーディオ信号のデコーディング方法が提供される。

本発明のさらに他の側面によれば、一つ以上の空間パラメータを含む空間情報、及び一つ以上のフィルタパラメータを含む空間フィルタ情報を受信する段階と、前記空間パラメータ及び前記フィルタパラメータを組み合わせてサラウンド効果を持つ組合せ空間情報を生成する段階と、前記組合せ空間情報を用いてオーディオ信号を仮想サラウンド信号に変換する段階と、を含む、オーディオ信号のデコーディング方法が提供される。

本発明のさらに他の側面によれば、オーディオ信号を受信する段階と、ツリー構造情報及び空間パラメータを含む空間情報を受信する段階と、前記空間情報に拡張空間情報を追加して変形空間情報を生成する段階と、前記変形空間情報を用いてオーディオ信号をアップミキシングする段階と、を含み、前記アップミキシングする段階は、前記空間情報に基づいて前記オーディオ信号を１次アップミキシング信号に変換する段階と、前記拡張空間情報に基づいて、前記１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換する段階と、を含むことを特徴とするオーディオ信号のデコーディング方法が提供される。

以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。ただし、本明細書及び請求範囲に使われた用語や単語は、通常的または辞典的な意味に限定して解釈すべきではなく、発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立ち、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示す構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想を限定するものではないので、本出願時点においてこれらに取って代わる様々な均等物と変形例が可能であるということは明らかである。

なお、本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語を選定したが、特定の場合は、出願人が任意に選定した用語もあり、その場合には、該当する発明の説明部分で詳細にその意味を記載しておくので、単純な用語の名称ではなく用語が持つ意味で本発明を把握しなければならない。

本発明は、空間情報を用いて変形空間情報を生成した後、生成された変形空間情報を用いてオーディオ信号をデコーディングする。空間情報は、定められたツリー構造によってダウンミックスされる過程で抽出された空間情報で、変形空間情報は、空間情報を用いて新しく生成された空間情報である。

以下、図１を参照しながら、本発明について具体的に説明する。図１は、本発明の実施例によるオーディオ信号のエンコーディング装置及びデコーディング装置の構成を示す図である。図１を参照すると、オーディオ信号のエンコーディング装置（以下、エンコーディング装置という。）１００は、ダウンミックス部１１０及び空間情報抽出部１２０を含み、オーディオ信号のデコーディング装置(以下、デコーディング装置という。）２００は、出力チャンネル生成部２１０及び変形空間情報生成部２２０を含む。

エンコーディング装置１００のダウンミックス部１１０は、マルチチャンネルオーディオ信号ＩＮ＿Ｍをダウンミックスしてダウンミックスオーディオ信号ｄを生成する。ダウンミックスオーディオ信号ｄは、マルチチャンネルオーディオ信号ＩＮ＿Ｍがダウンミックス部１１０によりダウンミックスされたものであっても良いが、マルチチャンネルオーディオ信号ＩＮ＿Ｍが使用者により任意的にダウンミックスされた任意的ダウンミックスオーディオ信号であっても良い。

エンコーディング装置１００の空間情報抽出部１２０は、マルチチャンネルオーディオ信号ＩＮ＿Ｍから空間情報ｓを抽出する。ここで、空間情報は、ダウンミックスオーディオ信号ｄをマルチチャンネルオーディオ信号ＩＮ＿Ｍにアップミックスするのに必要な情報である。一方、空間情報は、マルチチャンネルオーディオ信号ＩＮ＿Ｍが定められたツリー構造によってダウンミックスされる過程で抽出された情報でありうる。ここで、定められたツリー構造とは、オーディオ信号のデコーディング装置とオーディオ信号のエンコーディング装置間に約束された（複数の）ツリー構造であるが、本発明はこれに限定されることはない。一方、空間情報（ｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ）は、ツリー構造情報、指示子、空間パラメータなどを含むことができる。ここで、ツリー構造情報とは、ツリー構造の類型に関する情報のことをいい、このツリー構造の類型によってマルチチャンネルの本数、チャンネル別ダウンミックス順序などが変わる。指示子は、拡張空間情報が存在するか否かなどを表す情報である。空間パラメータとしては、２本以上のチャンネルが２本以下のチャンネルにダウンミックスされる過程でのチャンネル間レベル差（ｃｈａｎｎｅｌｌｅｖｅｌｄｉｆｆｅｒｅｎｃｅ：以下、‘ＣＬＤ’という。)、チャンネル間相関関係（ｉｎｔｅｒｃｈａｎｎｅｌｃｏｈｅｒｅｎｃｅｓ：以下、‘ＩＣＣ’という。）、チャンネル予測係数（ｃｈａｎｎｅｌｐｒｅｄｉｃｔｉｏｎｃｏｅｆｆｉｃｉｅｎｔｓ：以下、‘ＣＰＣ’という。）などが挙げられる。一方、空間情報抽出部１２０は、空間情報の他に、拡張空間情報をさらに抽出できる。ここで、拡張空間情報とは、ダウンミックスオーディオ信号ｄが空間パラメータによりアップミックスされた後に、追加的に拡張される場合に必要な情報のことで、拡張チャンネル構成情報及び拡張空間パラメータを含むことができる。後ほど説明される拡張空間情報は、空間情報抽出部１２０により抽出されたものに限定されない。

一方、エンコーディング装置１００は、ダウンミックスオーディオ信号ｄをデコーディングしてダウンミックスオーディオビットストリームを生成するコアコーデックエンコーディング部（図示せず）、空間情報ｓをエンコーディングして空間情報ビットストリームを生成する空間情報エンコーディング部（図示せず）、及びダウンミックスオーディオビットストリーム及び空間情報ビットストリームを多重化し、オーディオ信号に関するビットストリームを生成する多重化部（図示せず）をさらに備えることができるが、本発明がこれに限定されることはない。

デコーディング装置２００は、オーディオ信号に関するビットストリームを、ダウンミックスオーディオビットストリームと空間情報ビットストリームとに分離する逆多重化部（図示せず）、ダウンミックスオーディオビットストリームをデコーディングするコアコーデックデコーディング部（図示せず）、空間情報ビットストリームをデコーディングする空間情報デコーディング部（図示せず）をさらに含むことができるが、本発明はこれに限定されない。

デコーディング装置２００の変形空間情報生成部２２０は、空間情報を用いて変形空間情報のタイプを識別し、空間情報に基づいて識別されたタイプの変形空間情報（ｍｏｄｉｆｉｅｄｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ）ｓ’を生成する。ここで、空間情報は、エンコーディング装置１００から伝達された空間情報ｓでありうる。変形空間情報（ｍｏｄｉｆｉｅｄｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ）とは、空間情報を用いて新しく生成された空間情報のことをいう。一方、変形空間情報のタイプ（ｔｙｐｅ）は様々なものがあり、変形空間情報のタイプは、ａ）部分空間情報、ｂ）組合せ空間情報、ｃ）拡大空間情報のうち一つ以上を含むことができるが、本発明はこれに限定されない。部分空間情報は、空間パラメータの一部を含むもので、組合せ空間情報は空間パラメータを組み合わせて生成したもので、拡大空間情報は空間情報及び拡張空間情報を用いて生成したものである。変形空間情報生成部２２０が変形空間情報を生成する方法は、上のような変形空間情報のタイプによって変わる。各変形空間情報のタイプ別に変形空間情報を生成する方法についての説明は、後ほど具体的に説明する。

一方、変形空間情報の類型を決定する基準は、空間情報のうちのツリー構造情報、空間情報のうちの指示子、出力チャンネル情報などになりうる。ツリー構造情報及び指示子は、エンコーディング装置でからの空間情報ｓに含まれていることができる。出力チャンネル情報は、デコーディング装置２００と連携されているスピーカーに関する情報で、出力チャンネルの数、出力チャンネルのそれぞれの位置情報などを含むことができる。出力チャンネル情報は、製作者により既に入力されているものであっても良く、使用者により入力されるものであっても良い。このような情報を用いて変形空間情報の類型を決定する方法については、後ほどより具体的に説明する。

デコーディング装置２００の出力チャンネル生成部２１０は、変形空間情報ｓ’を用いてダウンミックスオーディオ信号ｄから出力チャンネルオーディオ信号ＯＵＴ＿Ｎを生成する。

デコーディング装置２００の空間フィルタ情報２３０は、音響経路に関する情報で、変形空間情報生成部２２０に提供される。変形空間情報生成部２２０がサラウンド効果を持つ組合せ空間情報を生成する場合、この空間フィルタ情報を用いることができる。

以下、変形空間情報の類型別に変形空間情報を生成し、オーディオ信号をデコーディングする方法について、（１）部分空間情報、（２）組合せ空間情報、（３）拡大空間情報順に説明する。

(１)部分空間情報
空間パラメータは、マルチチャンネルオーディオ信号が定められたツリー構造にしたがってダウンミックスされる過程で計算されたものであるから、空間パラメータをそのまま用いてダウンミックスオーディオ信号をデコーディングすると、ダウンミックスされる前である元来のマルチチャンネルオーディオ信号に復元される。もし、マルチチャンネルオーディオ信号のチャンネル数（Ｍ）よりも出力チャンネルオーディオ信号のチャンネル数（Ｎ）を少なくしたい場合、空間パラメータの一部のみを適用してダウンミックスオーディオ信号をデコーディングすることができる。

このような方法は、エンコーディング装置でマルチチャンネルオーディオ信号がダウンミックスされる順序と方法、すなわち、ツリー構造の類型によって変わることができ、当該ツリー構造の類型は空間情報のツリー構造情報を用いて照会することができる。また、このような方法は、出力チャンネルの本数がいくつかによって変わることができ、この出力チャンネルの本数などは、出力チャンネル情報を用いて照会すれば良い。

以下、マルチチャンネルオーディオ信号のチャンネル数よりも出力チャンネルオーディオ信号のチャンネル数が小さい場合、空間パラメータのうち一部を含む部分空間情報を適用してオーディオ信号をデコーディングする方法について、様々なツリー構造を取り上げて説明する。

(１)−１．ツリー構造の第１例（５−２−５ツリー構造）
図２は、部分空間情報を適用する一例を概略的に示す図である。図２の左側を参照すると、チャンネル数が６本であるマルチチャンネルオーディオ信号（左側前方チャンネル（ＬｅｆｔＦｒｏｎｔ）Ｌ、左側サラウンドチャンネル（ＬｅｆｔＳｕｒｒｏｕｎｄ）Ｌ_Ｓ、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネル（ＲｉｇｈｔＦｒｏｎｔ）Ｒ、右側サラウンドチャンネル（ＲｉｇｈｔＳｕｒｒｏｕｎｄ）Ｒ_Ｓ）が、ステレオダウンミックスチャンネルＬ_ｏ、Ｒ_ｏにダウンミックスされる順序及び空間パラメータとの関係が示されている。

まず、左側チャンネルＬと左側サラウンドチャンネルＬ_Ｓ間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲ_Ｓ間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、右側トータルチャンネルＲ_ｔが生成され、この第１次ダウンミックス過程で算出される空間パラメータはＣＬＤ_２（ＩＣＣ_２含む）、ＣＬＤ_１（ＩＣＣ_１含む）、ＣＬＤ_０（ＩＣＣ_０含む）等である。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、右側トータルチャンネルＲ_ｔがダウンミックスされて左側チャンネルＬ_ｏ及び右側チャンネルＲ_ｏが生成され、２次ダウンミックス過程で算出される空間パラメータはＣＬＤ_ＴＴＴ、ＣＰＣ_ＴＴＴ、ＩＣＣ_ＴＴＴなどが含まれることができる。言い換えると、合計６チャンネルのマルチチャンネルオーディオ信号が、上のような順序にしたがってダウンミックスされてステレオダウンミックスオーディオ信号Ｌ_ｏ，Ｒ_ｏを生成する。もし、このような順序にしたがって算出された空間パラメータ（ＣＬＤ_２，ＣＬＤ_１，ＣＬＤ_０，ＣＬＤ_ＴＴＴ等）をそのまま用いる場合、ダウンミックスされた順序の逆順でアップミックスされ、チャンネル数６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬ_Ｓ、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲ_Ｓ）が生成される。

図２の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ_２、ＣＬＤ_１、ＣＬＤ_０、ＣＬＤ_ＴＴＴ等）のうちＣＬＤ_ＴＴＴである場合、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、及び右側トータルチャンネルＲ_ｔにアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ、右側トータルチャンネルＲ_ｔのみを選択すれば、２チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、及び右側トータルチャンネルＲ_ｔを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｃ_ｔ，Ｒ_ｔを生成できる。また、追加的にＣＬＤ_１を使用してアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ、右側トータルチャンネルＲ_ｔ、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔ，Ｃ，ＬＦＥを生成できる。

(１)−２．ツリー構造の第２例（５−１−５ツリー構造）
図３は、部分空間情報を適用する他の例を概略的に示す図である。図３の左側を参照すると、チャンネル数が６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬ_Ｓ、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲ_Ｓ）が、モノダウンミックスオーディオ信号Ｍにダウンミックスされる順序及び空間パラメータとの関係が示されている。

ツリー構造の第１例と同様に、左側チャンネルＬと左側サラウンドチャンネルＬ_Ｓ間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲ_Ｓ間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、右側トータルチャンネルＲ_ｔが生成され、第１次ダウンミックス過程で算出される空間パラメータはＣＬＤ_３（ＩＣＣ_３含む）、ＣＬＤ_４（ＩＣＣ_４含む）、ＣＬＤ_５（ＩＣＣ_５含む）（ここでのＣＬＤ_ｘ、ＩＣＣ_ｘは、ツリー構造の第１例におけるＣＬＤ_ｘとは区別される）等である。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬ_ｔとセンタートータルチャンネルＣ_ｔとがダウンミックスされて左側センターチャンネルＬＣが生成され、センタートータルチャンネルＣ_ｔと右側トータルチャンネルＲ_ｔとがダウンミックスされて右側センターチャンネルＲＣが生成され、第２次ダウンミックス過程で算出される空間パラメータはＣＬＤ_２（ＩＣＣ_２含む）、ＣＬＤ_１（ＩＣＣ_１含む）等である。その後、第３次ダウンミックス過程で左側センターチャンネルＬＣと右側センターチャンネルＲＣとがダウンミックスされてモノダウンミックスチャンネルＭが生成され、第２次ダウンミックス過程で算出される空間パラメータはＣＬＤ_０（ＩＣＣ_０含む）等である。

図３の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ_３，ＣＬＤ_４，ＣＬＤ_５，ＣＬＤ_１、ＣＬＤ_２，ＣＬＤ_０等）のうちＣＬＤ_０である場合、左側センターチャンネルＬＣ及び右側センターチャンネルＲＣを生成した後、出力チャンネルオーディオ信号として左側センターチャンネルＬＣ及び右側センターチャンネルＲＣを選択すると、２チャンネルの出力チャンネルオーディオ信号ＬＣ，ＲＣを生成できる。一方、部分空間情報が空間パラメータ（ＣＬＤ_３，ＣＬＤ_４，ＣＬＤ_５，ＣＬＤ_１，ＣＬＤ_２，ＣＬＤ_０等）のうちＣＬＤ_０，ＣＬＤ_１，ＣＬＤ_２である場合、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、右側トータルチャンネルＲ_ｔを生成した後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ及び右側トータルチャンネルＲ_ｔを選択すると、２チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ及び右側トータルチャンネルＲ_ｔを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｃ_ｔ，Ｒ_ｔを生成できる。また、部分空間情報が追加的にＣＬＤ_４を含む場合、センターチャンネルＣ及び低周波チャンネルＬＦＥまでアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ、右側トータルチャンネルＲ_ｔ、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔ、Ｃ、ＬＦＥを生成できる。

(１)−３．ツリー構造の第３例（５−１−５ツリー構造）
図４は、部分空間情報を適用するさらに他の例を概略的に示す図である。図４の左側を参照すると、チャンネル数６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬ_Ｓ、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲ_Ｓ）がモノダウンミックスオーディオ信号Ｍにダウンミックスされる順序及び空間パラメータとの関係が示されている。

ツリー構造の第１例及び第２例と同様に、左側チャンネルＬと左側サラウンドチャンネルＬ_Ｓ間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲ_Ｓ間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、右側トータルチャンネルＲ_ｔが生成され、空間パラメータはＣＬＤ_１（ＩＣＣ_１含む）、ＣＬＤ_２（ＩＣＣ_２含む）、ＣＬＤ_３（ＩＣＣ_３含む）等（ここでのＣＬＤ_ｘ，ＩＣＣ_ｘは、ツリー構造の第１例及び第２例におけるＣＬＤ_ｘ，ＩＣＣ_ｘとは区別される）が算出される。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ及び右側トータルチャンネルＲ_ｔがダウンミックスされて左側センターチャンネルＬＣ及び右側チャンネルＲが生成され、空間パラメータはＣＬＤ_ＴＴＴ（ＩＣＣ_ＴＴＴ含む）が算出される。その後、第３次ダウンミックス過程で左側センターチャンネルＬＣと右側チャンネルＲがダウンミックスされてモノダウンミックスチャンネルＭが生成され、空間パラメータはＣＬＤ_０（ＩＣＣ_０含む）が算出される。

図４の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ_１、ＣＬＤ_２、ＣＬＤ_３、ＣＬＤ_ＴＴＴ、ＣＬＤ_０等）のうちＣＬＤ_０及びＣＬＤ_ＴＴＴである場合、左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ、右側トータルチャンネルＲ_ｔを生成した後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ及び右側トータルチャンネルＲ_ｔを選択すると、２チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ、センタートータルチャンネルＣ_ｔ及び右側トータルチャンネルＲ_ｔを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｃ_ｔ，Ｒ_ｔを生成できる。また、部分空間情報が追加的にＣＬＤ_２を含む場合、センターチャンネルＣ及び低周波チャンネルＬＦＥまでアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬ_ｔ、右側トータルチャンネルＲ_ｔ、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔ，Ｃ、ＬＦＥを生成できる。

以上、３種類のツリー構造を取り上げて空間パラメータの一部のみを適用して出力チャンネルオーディオ信号を生成する過程について説明したが、上記のように部分空間情報を適用するのに留まらず、その以降にさらに、組合せ空間情報を適用したり拡大空間情報を適用したりしても良い。このようにオーディオ信号に変形空間情報を適用する過程は、順次的・階層的に行われても良いが、一括的で且つ統合的に処理されても良い。

（２）組合せ空間情報
空間情報は、マルチチャンネルオーディオ信号が定められたツリー構造にしたがってダウンミックスされる過程で計算されたものであるから、ダウンミックスオーディオ信号を、空間情報の空間パラメータをそのまま用いてデコーディングすると、ダウンミックスされる前の元来のマルチチャンネルオーディオ信号に復元される。もし、マルチチャンネルオーディオ信号のチャンネル数Ｍが出力チャンネルオーディオ信号のチャンネル数Ｎと異なる場合、空間情報を組み合わせて新しい組合せ空間情報を生成した後、これを用いてダウンミックスオーディオ信号をアップミックスできる。具体的に、空間パラメータを変換公式に代入し、組合せ空間パラメータを生成できる。

このような方法は、エンコーディング装置でマルチチャンネルオーディオ信号がダウンミックスされる順序と方法によって変わることができるが、このダウンミックスされる順序と方法は、空間情報のツリー構造情報を用いて照会すれば良い。また、このような方法は、出力チャンネルの本数がいくつかによって変わることができるが、出力チャンネルの本数などは、出力チャンネル情報を用いて照会すれば良い。

以下では、空間情報を変形する方法の具体的な実施例について説明し、続いて、仮想３Ｄ効果を与えるための実施例についても説明する。

(２)−１．一般的な組合せ空間情報
空間情報の空間パラメータを組み合わせて組合せ空間パラメータを生成する方法は、ダウンミックス過程におけるツリー構造とは異なるツリー構造によってアップミックスするためのものであるから、ツリー構造情報によるツリー構造が何であろうとも、全てのダウンミックスオーディオ信号に適用可能である。

マルチチャンネルオーディオ信号が５．１チャンネルで、ダウンミックスオーディオ信号が１チャンネル（モノチャンネル）の場合、２チャンネルの出力チャンネルオーディオ信号を生成する過程について、下記の２つの例に挙げて説明する。

(２)−１−１．ツリー構造の第４例（５−１−５_１ツリー構造）
図５は、組合せ空間情報を適用する一例を概略的に示す図である。図５の左側に示すように、５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされる過程で算出できる空間パラメータはそれぞれ、ＣＬＤ_０乃至ＣＬＤ_４、及びＩＣＣ_０乃至ＩＣＣ_４（図示せず）といえる。例えば、空間パラメータのうち、左側チャンネル信号Ｌと右側チャンネル信号Ｒのチャンネル間レベル差はＣＬＤ_３で、チャンネル間相関関係はＩＣＣ_３であり、左側サラウンドチャンネルＬＳ及び右側サラウンドチャンネルＲ_Ｓのチャンネル間レベル差はＣＬＤ_２で、チャンネル間相関関係はＩＣＣ_２である。

これに対し、図５の右側を参照すると、モノダウンミックスオーディオ信号ｍに組合せ空間パラメータＣＬＤ_α，ＩＣＣ_αを適用して左側チャンネル信号Ｌ_ｔ及び右側チャンネル信号Ｒ_ｔを生成すると、モノチャンネルオーディオ信号ｍから直接ステレオ出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔを生成することができる。ここでの組合せ空間パラメータＣＬＤ_α，ＩＣＣ_αは、空間パラメータＣＬＤ_０乃至ＣＬＤ_４、及びＩＣＣ_０乃至ＩＣＣ_４を組み合わせて計算することができる。まず、空間パラメータのうち、ＣＬＤ_０乃至ＣＬＤ_４を組み合わせて組合せ空間パラメータの中ＣＬＤ_αを計算する過程について説明した後、空間パラメータのうち、ＣＬＤ_０乃至ＣＬＤ_４及びＩＣＣ_０乃至ＩＣＣ_４を組み合わせて組合せ空間パラメータの中ＩＣＣ_αを計算する過程について説明する。

(２)−１−１−ａ．ＣＬＤ_αの誘導
まず、ＣＬＤ_αは、左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔ間のレベル差であるから、ＣＬＤの定義式に左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔを代入すると、次の通りになる。

Ｐ_ＬｔはＬ_ｔのパワー（ｐｏｗｅｒ）、Ｐ_ＲｔはＲ_ｔのパワーを表す。

Ｐ_ＬｔはＬ_ｔのパワー、Ｐ_ＲｔはＲ_ｔのパワー、ａは非常に小さい定数を表す。

ＣＬＤ_αは、上記式１または式２のように定義される。

一方、Ｐ_Ｌｔ及びＰ_Ｒｔを空間パラメータＣＬＤ_０乃至ＣＬＤ_４を用いて表現するためには、出力チャンネルオーディオ信号の左側出力信号Ｌ_ｔ、右側出力信号Ｒ_ｔ及びマルチチャンネル信号Ｌ，Ｌ_ｓ，Ｒ，Ｒ_ｓ，Ｃ，ＬＦＥとの関係式が必要であり、その関係式は次のように定義できる。

式３のような関係式は、出力チャンネルオーディオ信号をどのように定義するかによって変わることができるので、式３とは異なる式でも定義できることは当然である。例えば、式３で、C/√2またはLFE/√2での1/√2因子が、‘０’にも‘１’にもなりうる。

式３から下記の式４のような関係式が誘導されることができる。

ＣＬＤ_αが式１（または、式２）によってＰ_Ｌｔ及びＰ_Ｒｔを用いて表現されることができ、このようなＰ_Ｌｔ及びＰ_Ｒｔは式４によってＰ_Ｌ，Ｐ_Ｌｓ，Ｐ_Ｃ，Ｐ_ＬＦＥ，Ｐ_Ｒ，Ｐ_Ｒｓを用いて表現されることができるので、Ｐ_Ｌ，Ｐ_Ｌｓ，Ｐ_Ｃ，Ｐ_ＬＦＥ，Ｐ_Ｒ，Ｐ_Ｒｓを空間パラメータＣＬＤ_０乃至ＣＬＤ_４を用いて表現できる関係式を求める必要がある。

一方、図５のようなツリー構造の場合、マルチチャンネルオーディオ信号Ｌ、Ｒ、Ｃ、ＬＦＥ、Ｌ_ｓ、Ｒ_ｓ及びモノダウンミックスチャンネル信号ｍの関係は、次の通りになる。

式５から、次の式６の関係式が誘導されることができる。

すなわち、式６を式４に代入し、式４を式１（または、式２）に代入することで、組合せ空間パラメータであるＣＬＤ_αは、空間パラメータであるＣＬＤ_０乃至ＣＬＤ_４を組み合わせて表現することができる。

一方、式４におけるＰ_Ｃ／２＋Ｐ_LFE／２に式６を代入した展開式は、次の通りである。

ここで、ｃ_１及びｃ_２の定義によれば（式５参照）、(ｃ_１，ｘ)^２＋(ｃ_２，ｘ)^２＝１なので、(ｃ_{１，ＯＴＴ４})^２＋(ｃ_{２，ＯＴＴ４})^２＝１である。

したがって、式７は、次のように簡単にすることができる。

要するに、式８及び式６を式４に代入し、式４を式１に代入することによって、組合せ空間パラメータであるＣＬＤ_αは、空間パラメータであるＣＬＤ_０乃至ＣＬＤ_４を組み合わせる方式で表現されることができる。

(２)−１−１−ｂ．ＩＣＣ_αの誘導
まず、ＩＣＣ_αは、左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔ間の相関関係であるから、その定義式に左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔを代入すると、次の通りになる。

式９で、Ｐ_Ｌｔ、Ｐ_Ｒｔは、式４、式６、及び式８によってＣＬＤ_０乃至ＣＬＤ_４を用いて表現することができ、Ｐ_ＬｔＰ_Ｒｔは、次の式１０のように展開することができる。

式１０で、Ｐ_Ｃ／２＋Ｐ_ＬＦＥ／２は、式６によってＣＬＤ_０乃至ＣＬＤ_４で表現されることができ、Ｐ_ＬＲとＰ_ＬｓＲｓは、ＩＣＣ定義によって次のように展開することができる。

式１１で、√(P_LP_R)（または、√(P_LsP_Rs)）を移項すると、次の式１２となる。

式１２で、Ｐ_Ｌ，Ｐ_Ｒ，Ｐ_Ｌｓ，Ｐ_Ｒｓはそれぞれ、式６によってＣＬＤ_０乃至ＣＬＤ_４で表現されることができる。式６を式１２に代入すると、次の式１３のようになる。

要するに、式６及び式１３を式１０に代入し、式１０及び式４を式９に代入することで、組合せ空間パラメータであるＩＣＣ_αは、空間パラメータであるＣＬＤ_０乃至ＣＬＤ_３及びＩＣＣ_２、ＩＣＣ_３で表現されることができる。

(２)−１−２．ツリー構造の第５例（５−１−５_２ツリー構造）
図６は、組合せ空間情報を適用する他の例を概略的に示す図である。図６の左側に示すように、５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされる過程で算出できる空間パラメータはそれぞれ、ＣＬＤ_０乃至ＣＬＤ_４、及びＩＣＣ_０乃至ＩＣＣ_４（図示せず）といえる。空間パラメータのうち、左側チャンネル信号Ｌと左側サラウンドチャンネル信号Ｌ_ｓのチャンネル間レベル差はＣＬＤ_３で、チャンネル間相関関係はＩＣＣ_３であり、右側チャンネルＲ及び右側サラウンドチャンネルＲ_Ｓのチャンネル間レベル差はＣＬＤ_４で、チャンネル間相関関係はＩＣＣ_４である。

これに対し、図６の右側を参照すると、モノダウンミックスオーディオ信号ｍに組合せ空間パラメータＣＬＤ_β，ＩＣＣ_βを適用して左側チャンネル信号Ｌ_ｔ及び右側チャンネル信号Ｒ_ｔを生成すると、モノチャンネルオーディオ信号ｍから直接ステレオ出力チャンネルオーディオ信号Ｌ_ｔ，Ｒ_ｔを生成することができる。ここでの組合せ空間パラメータＣＬＤ_β，ＩＣＣ_βは、空間パラメータＣＬＤ_０乃至ＣＬＤ_４、及びＩＣＣ_０乃至ＩＣＣ_４を用いて計算できる。まず、空間パラメータのうちＣＬＤ_０乃至ＣＬＤ_４を用いて、組合せ空間パラメータのうちＣＬＤ_βを計算する過程について説明し、続いて、空間パラメータのうちＣＬＤ_０乃至ＣＬＤ_４及びＩＣＣ_０乃至ＩＣＣ_４を用いて、組合せ空間パラメータのうちＩＣＣ_βを計算する過程について説明する。

(２)−１−２−ａ．ＣＬＤ_βの誘導
まず、ＣＬＤ_βは、左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔ間のレベル差であるから、その定義式に左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔを代入すると、次の通りになる。

Ｐ_ＬｔはＬ_ｔのパワーで、Ｐ_ＲｔはＲ_ｔのパワーである。

Ｐ_ＬｔはＬ_ｔのパワー、Ｐ_ＲｔはＲ_ｔのパワー、ａは非常に小さい数である。
ＣＬＤ_βは、上記の式１４または式１５のように定義される。

一方、Ｐ_Ｌｔ及びＰ_Ｒｔを空間パラメータＣＬＤ_０乃至ＣＬＤ_４を用いて表現するためには、出力チャンネルオーディオ信号の左側出力信号Ｌ_ｔ、右側出力信号Ｒ_ｔ及びマルチチャンネル信号Ｌ、Ｌ_ｓ、Ｒ、Ｒ_ｓ、Ｃ、ＬＦＥとの関係式が必要であり、その関係式は、式３と同様に次のように定義されることができる。

式１６のような関係式は出力チャンネルオーディオ信号をどのように定義するかによって変わることができるもので、よって、他の式でも定義できることは当然である。例えば、C/√2またはLFE/√2因子における1/√2が０にも１にもなりうる。

式１６から次の式１７のような関係式が誘導されることができる。

式１４（または、式１５）で、ＣＬＤ_βがＰ_Ｌｔ及びＰ_Ｒｔを用いて表現可能であり、Ｐ_Ｌｔ及びＰ_Ｒｔは、式１５でＰ_Ｌ、Ｐ_Ｌｓ、Ｐ_Ｃ、Ｐ_ＬＦＥ、Ｐ_Ｒ、Ｐ_Ｒｓを用いて表現可能なので、Ｐ_Ｌ、Ｐ_Ｌｓ、Ｐ_Ｃ、Ｐ_ＬＦＥ、Ｐ_Ｒ、Ｐ_Ｒｓを、空間パラメータＣＬＤ_０乃至ＣＬＤ_４を用いて表現できる関係式を求める必要がある。

一方、図６のようなツリー構造の場合、マルチチャンネルオーディオ信号Ｌ，Ｒ，Ｃ，ＬＦＥ，Ｌ_ｓ，Ｒ_ｓ及びモノダウンミックスチャンネル信号ｍの関係は、次の通りである。

式１８から、次の式１９のような関係式が誘導されることができる。

すなわち、式１９を式１７に代入し、式１７を式１４（または、式１５）に代入することで、組合せ空間パラメータであるＣＬＤ_βは、空間パラメータであるＣＬＤ_０乃至ＣＬＤ_４を組み合わせる方式で表現されることができる。

一方、式１９を式１７におけるＰ_Ｌ＋Ｐ_Ｌｓに代入した展開式は、次の通りである。

ここで、ｃ_１及びｃ_２の定義によれば（式５参照）、(c_１,ｘ)^２＋(ｃ_２,ｘ)^２＝１なので、(ｃ_{１,ＯＴＴ３})^２+(ｃ_{２,ＯＴＴ３})^２＝１である。

したがって、式２０は、次のように簡単にすることができる。

一方、式１９を式１７におけるＰ_Ｒ＋Ｐ_Ｒｓに代入した展開式は、次の通りである。

ここで、ｃ_１及びｃ_２の定義によれば（式５参照）、(ｃ_１,ｘ)^２+(ｃ_２,ｘ)^２＝１なので、(ｃ_{１,ＯＴＴ４})^２＋(ｃ_{２,ＯＴＴ４})^２＝１である。

したがって、式２２は、次のように簡単にすることができる。

一方、式１９を式１７におけるＰ_Ｃ／２＋Ｐ_ＬＦＥ／２に代入した展開式は、次の通りである。

ここで、ｃ_１及びｃ_２の定義によれば（式５参照）、(ｃ_１,ｘ)^２+(ｃ_２,ｘ)^２＝１なので、(ｃ_{１,ＯＴＴ２})^２＋(ｃ_{２,ＯＴＴ２})^２＝１である。

したがって、式２４は、次のように簡単にすることができる。

要するに、式２１、式２３及び式２５を式１７に代入し、式１７を式１４（または、式１５）に代入することで、組合せ空間パラメータであるＣＬＤ_βは、空間パラメータであるＣＬＤ_０乃至ＣＬＤ_４を組み合わせる方式で表現されることができる。

(２)−１−２−ｂ．ＩＣＣ_βの誘導
まず、ＩＣＣ_βは、左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔ間の相関関係であるから、その定義式に左側出力信号Ｌ_ｔ及び右側出力信号Ｒ_ｔを代入すると、次の通りになる。

式２６で、Ｐ_Ｌｔ、Ｐ_Ｒｔは、式１９によってＣＬＤ_０乃至ＣＬＤ_４を用いて表現することができ、Ｐ_ＬｔＰ_Ｒｔは、次の式２７のように展開することができる。

式２７で、Ｐ_Ｃ／２＋Ｐ_ＬＦＥ／２は、式１９によってＣＬＤ_０乃至ＣＬＤ_４で表現されることができ、Ｐ_Ｌ＿Ｒ＿は、ＩＣＣ定義によって次のように展開することができる。

√(P_{L_}P_{R_})を移項すると、次の式２９のようになる。

式２９で、Ｐ_Ｌ＿、Ｐ_Ｒ＿はそれぞれ、式２１及び式２３によってＣＬＤ_０乃至ＣＬＤ_４で表現されることができる。式２１及び式２３を式２９に代入すると、次の式３０となる。

要するに、式３０を式２７に代入し、式２７及び式１７を式２６に代入することで、組合せ空間パラメータであるＩＣＣ_βは、空間パラメータであるＣＬＤ_０乃至ＣＬＤ_４及びＩＣＣ_１を組み合わせる方式で表現されることができる。

上記の空間パラメータを変形する方法は一実施例で、上記の式は、Ｐ_ｘまたはP_ｘｙを求めるにおいて、信号エネルギーの他、各チャンネル間の相関関係（例：ＩＣＣ_０等）をさらに考慮することによって様々な形態に変わることができる。

(２)−２．サラウンド効果を持つ組合せ空間情報
空間情報を組み合わせて組合せ空間情報を生成するに当たり、音響経路を考慮すると、仮想サラウンド効果を出すことができる。仮想サラウンド効果または仮想３Ｄ効果とは、実際にはサラウンドチャンネルのスピーカーがないにもかかわらず、ドサラウンドチャンネルのスピーカーがあるかのような効果を出すことで、例えば、２個のステレオスピーカーを介して５．１チャンネルオーディオ信号を出力することである。

音響経路は空間フィルタ情報とすることができ、空間フィルタ情報は、ＨＲＴＦ（Ｈｅａｄ−ＲｅｌａｔｅｄＴｒａｎｆｅｒＦｕｎｃｔｉｏｎ）と呼ばれる関数を用いれば良いが、本発明がこれに限定されることはない。空間フィルタ情報は、フィルタパラメータを含むことができ、このフィルタパラメータ及び空間パラメータを変換公式に代入して組合せ空間パラメータを生成することができる。一方、生成された組合せ空間パラメータは、フィルタ係数（ｆｉｌｔｅｒｃｏｅｆｆｉｃｉｅｎｔｓ）を含むことができる。

以下では、マルチチャンネルオーディオ信号が５チャンネルで、３チャンネルの出力チャンネルオーディオ信号を生成する場合を取り上げ、サラウンド効果を持つ組合せ空間情報を生成するために音響経路を考慮する方法について説明する。

図７は、３チャンネルのスピーカーの位置、及び、スピーカーと聴き手までの音響経路を示す図である。図７を参照すると、３個のスピーカーＳＰＫ１，ＳＰＫ２，ＳＰＫ３の位置がそれぞれ、左側前Ｌ、センターＣ、右側Ｒであり、仮想サラウンドチャンネルの位置が左側サラウンドＬｓ及び右側サラウンドＲｓであることがわかる。３個のスピーカーの位置Ｌ，Ｃ，Ｒ、及び、仮想サラウンドチャンネルの位置Ｌｓ，Ｒｓから聴き手の左耳の位置ｌ、聴き手の右耳の位置ｒに至るまでの音響経路が表示されている。
Ｇ_ｘ＿ｙは、ｘ位置からｙ位置に至る音響経路を表示する。例えば、Ｇ_Ｌ＿ｒは、左側前方の位置Ｌから聴き手の右耳の位置ｒに至る音響経路を表す。

もし、５つの位置にスピーカーが存在（すなわち、左側サラウンド（Ｌｓ）及び右側サラウンド（Ｒｓ）にもスピーカーが存在）し、聴き手が図７に示す位置に存在すると、聴き手の左耳に流入する信号Ｌ_０及び聴き手の右耳に流入する信号Ｒ_０は、次の通りである。

ここで、Ｌ，Ｃ，Ｒ，Ｌｓ，Ｒｓは、各位置のチャンネルを表し、Ｇ_ｘ＿ｙは、ｘ位置からｙ位置に至る音響経路を表し、＊はコンボリューションを表す。

しかし、上に言及したように、３つの位置Ｌ，Ｃ，Ｒにのみスピーカーが存在する場合、聴き手の左耳に流入する信号Ｌ_{０＿ｒｅａｌ}及び聴き手の右耳に流入する信号Ｒ_{０＿ｒｅａｌ}は、次の通りになる。

式３２に表示された信号は、サラウンドチャンネル信号Ｌｓ，Ｒｓが考慮されないので、仮想サラウンド効果を出すことができない。仮想サラウンド効果を出すためには、左側サラウンドチャンネル信号Ｌｓが元の位置Ｌｓから出力されて聴き手の位置ｌ，ｒに到達する時の信号と、元の位置Ｌｓ，Ｒｓでない３つの位置Ｌ，Ｃ，Ｒのスピーカーを介して出力し、聴き手の位置ｌ，ｒに到達する信号と同じくすれば良い。右側サラウンドチャンネル信号Ｒｓの場合も同様である。

まず、左側サラウンドチャンネル信号Ｌｓについて説明すると、左側サラウンドチャンネル信号Ｌｓが元の位置である左側サラウンド位置Ｌｓのスピーカーから出力される場合、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号はそれぞれ次の通りである。

また、右側サラウンドチャンネル信号Ｒｓが元の位置である右側サラウンド位置Ｒｓのスピーカーから出力される場合、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号はそれぞれ、次の通りである。

聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号が式３３及び式３４の成分と同じなら、どんな位置のスピーカーから出力されるとしても（例えば、左側前方位置のスピーカーＳＰＫ１等から出力されるとしても）、聴き手は、左側サラウンドの位置Ｌｓ及び右側サラウンドの位置Ｒｓにスピーカーが存在するかのように感じることができる。

一方、式３３に表示された成分は、左側サラウンド位置Ｌｓのスピーカーから出力される場合、それぞれ聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号であるので、式３３に表示された成分そのままに左側前方位置のスピーカーＳＰＫ１から出力すると、それぞれ聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号は、次の通りになる。

式３５では、左側前方位置Ｌから聴き手の左耳ｌ（または、右耳ｒ）までの音響経路に該当する成分である‘Ｇ_Ｌ＿ｌ’（または、‘Ｇ_Ｌ＿ｒ’）が追加される。しかし、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号は、式３５に表示された成分ではなく式３３に表示された成分でなければならない。このため、左側前位置Ｌのスピーカーから出力して聴き手に到達する場合、‘Ｇ_Ｌ＿ｌ’（または、‘Ｇ_Ｌ＿ｒ’）成分が追加されるため、式３３に表された成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合には、音響経路に‘Ｇ_Ｌ＿ｌ’（または、‘Ｇ_Ｌ＿ｒ’）の逆関数‘Ｇ_Ｌ＿ｌ ^−１’（または、‘Ｇ_Ｌ＿ｒ ^−１’）を考慮しなければならない。言い換えると、式３３に該当する成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合、次の式のように変形されなければならない。

そして、式３４に該当する成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合、次の式のように変形されなければならない。

したがって、左側前方位置ＬのスピーカーＳＰＫ１から出力される信号Ｌ’は、次のようにまとめることができる。

(Ls*G_{Ls_r}*G_{L_r} ^-1及びRs*G_{Rs_r}*G_{L_l} ^-1成分は省略される。）

式３８に表示された信号が、左側前方位置のスピーカーＳＰＫ１から出力されて聴き手の左耳ｌ位置に到達すると、音響経路‘Ｇ_Ｌ＿ｌ’ファクターが追加されるので、式３８における‘Ｇ_Ｌ＿ｌ ^−１’項が相殺され、結果として式３３及び式３４に表示されたファクターが残る。

図８は、仮想サラウンド効果のために各位置から出力される信号を示す図である。

図８を参照すると、サラウンドの位置Ｌｓ，Ｒｓから出力される信号Ｌｓ，Ｒｓを、音響経路を考慮し、各スピーカー位置ＳＰＫ１から出力される信号Ｌ’に含めると、式３８のようになることがわかる。

式３８で、Ｇ_Ｌｓ＿ｌ＊Ｇ_Ｌ＿ｌ ^−１をＨＬ_ｓ＿Ｌで簡略に表示すると、次の通りになる。

一方、センター位置ＣのスピーカーＳＰＫ２から出力される信号Ｃ’を、次のようにまとめることができる。

一方、右側前方位置ＲのスピーカーＳＰＫ３から出力される信号Ｒ’は、次のようにまとめることができる。

図９は、式３８、式３９、及び式４０のように５チャンネル信号を用いて３チャンネル信号を生成する方法を概念的に示す図である。５チャンネル信号を用いて２チャンネル信号Ｒ’，Ｌ’を生成したり、サラウンドチャンネル信号Ｌｓ，Ｒｓをセンターチャンネル信号Ｃ’に含めない場合、Ｈ_Ｌｓ＿Ｃ及びＨ_Ｒｓ＿Ｃは０となる。

実装の便宜のためにＨ_ｘ＿ｙの代わりにＧ_ｘ＿ｙを使用しても良く、クロストーク（ｃｒｏｓｓ−ｔａｌｋ）を考慮してＨ_ｘ＿ｙを用いても良い等、Ｈ_ｘ＿ｙは様々な変形形態になりうる。

上記の説明は、サラウンド効果を持つ組合せ空間情報の一例で、空間フィルタ情報の適用方法によって様々な形態に変形できることは自明である。上述の過程を通じてスピーカーから出力される信号（上の例では、左側前方チャンネルＬ’、右側前方チャンネルＲ’、センターチャンネルＣ’）は、前述したように、組合せ空間情報の中でも特に組合せ空間パラメータを用いてダウンミックスオーディオ信号から生成可能である。

（３）拡大空間情報
空間情報に拡張空間情報を追加して拡大空間情報を生成することができる。そして、この拡大空間情報を用いてオーディオ信号をアップミキシングでき、このアップミキシングする段階は、空間情報に基づいてオーディオ信号を１次アップミキシングオーディオ信号に変換し、拡張空間情報に基づいて１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換する。

ここで、拡張空間情報は、拡張チャンネル構成情報、拡張チャンネルマッピング情報及び拡張空間パラメータを含むことができる。拡張チャンネル構成情報とは、空間情報のツリー構造情報によって構成できるチャンネル以外に、構成できるチャンネルに関する情報のことで、分割識別子及び未分割識別子のうち一つ以上を含むことができる。これについての具体的な説明は後述される。拡張チャンネルマッピング情報は、拡張チャンネルを構成する各チャンネルの位置情報である。拡張空間パラメータは、１チャンネルが２以上のチャンネルにアップミックスされるのに必要な情報で、チャンネル間レベル差を含むことができる。

このような拡張空間情報は、ｉ）エンコーディング装置により生成されたのち、空間情報に含まれたものであっても良く、ii）デコーディング装置により自体的に生成されたものであっても良い。拡張空間情報がエンコーディング装置により生成されたものである場合、拡張空間情報の存在有無は、空間情報の指示子を基に判断されることができる。拡張空間情報がデコーディング装置により自体的に生成されたものである場合、拡張空間情報の拡張空間パラメータは、空間情報の空間パラメータを用いて計算したものであっも良い。

一方、空間情報及び拡張空間情報に基づいて生成された拡大空間情報を用いてオーディオ信号をアップミックスする過程は、順次的で階層的に行われても良いが、一括的で統合的に処理されても良い。もし、拡大空間情報が、空間情報及び拡張空間情報に基づいて一つのマトリックスとして算出可能であると、前記マトリックスを用いることによって、一括的で直接的にダウンミックスオーディオ信号をマルチチャンネルオーディオ信号にアップミックスできるわけである。この時、マトリックスを構成する因子は、空間パラメータ、及び拡張空間パラメータによって定義されたものであれば良い。

まず、エンコーディング装置により生成された拡張空間情報を用いる場合について説明し、続いて、デコーディング装置で拡張空間情報を自体的に生成する場合について説明する。

(３)−１：エンコーディング装置により生成された拡張空間情報を用いる場合：任意ツリー構造（arbitrary tree configuration）
まず、拡大空間情報は、空間情報に拡張空間情報を追加して生成されるにおいてエンコーディング装置により生成されたものであり、デコーディング装置が拡張空間情報を受信した場合について説明する。一方、ここでの拡張空間情報は、エンコーディング装置がマルチチャンネルオーディオ信号をダウンミックスする過程で抽出したものであれば良い。

まず、上述したように、拡張空間情報は、拡張チャンネル構成情報、拡張チャンネルマッピング情報、拡張空間パラメータを含み、ここで、拡張チャンネル構成情報は、分割識別子及び未分割識別子を一つ以上含む。以下、分割識別子及び未分割識別子の配列を基に拡張チャンネルを構成する過程について具体的に説明する。

図１０は、拡張チャンネル構成情報に基づいて拡張チャンネルが構成される一例を示す図である。図１０の下段を参照すると、０と１が順番で繰り返し配列されているが、ここで、０は未分割識別子、１は分割識別子を表す。まず、１番目（１）に未分割識別子０が存在し、この１番目の未分割識別子０とマッチングされるチャンネルは、最上端に存在する左側チャンネルＬである。したがって、未分割識別子０とマッチングされる左側チャンネルＬを分割せず出力チャンネルとして選択する。そして、２番目（２）には、分割識別子１が存在し、この２番目の分割識別子０とマッチングされるチャンネルは、左側チャンネルＬの次の左側サラウンドチャンネルＬｓである。したがって、分割識別子１とマッチングされる左側サラウンドチャンネルＬｓを２チャンネルに分割する。３番目（３）及び４番目（４）に未分割識別子（０）が存在するので、左側サラウンドチャンネルＬｓから分割された２チャンネルはそれぞれ分割せず、そのまま出力チャンネルとして選択する。このような過程を最後の順番（１０）まで繰り返すことで、全体拡張チャンネルが構成される。

チャンネル分割過程は分割識別子１の個数だけ繰り返され、チャンネルを出力チャンネルとして選択する過程は、未分割識別子０の個数だけ繰り返される。したがって、チャンネル分割部ＡＴ_０，ＡＴ_１の個数は分割識別子１の個数（２個）と同一であり、拡張チャンネルの本数Ｌ，Ｌｆｓ，Ｌｓ，Ｒ，Ｒｆｓ，Ｒｓ，Ｃ，ＬＦＥは、未分割識別子０の個数（８個）と同一になる。

一方、拡張チャンネルを構成した後、拡張チャンネルマッピング情報を用いて各出力チャンネル別にその位置を再びマッピングさせることができる。図１０の場合、左側フロントチャンネルＬ、左側フロントサイドチャンネルＬｆｓ、左側サラウンドチャンネルＬｓ、右側フロントチャンネルＲ、右側フロントサイドチャンネルＲｆｓ、右側サラウンドチャンネルＲｓ、センターチャンネルＣ、低周波チャンネルＬＦＥの順にマッピングされた。

以上説明した如く、拡張チャンネル構成情報に基づいて拡張チャンネルが構成されることができ、１チャンネルを２以上のチャンネルに分割するためのチャンネル分割部が必要である。このチャンネル分割部が、１チャンネルを２以上のチャンネルに分割する際に、拡張空間パラメータが用いられることができる。この拡張空間パラメータは、チャンネル分割部の個数と同一なので、分割識別子の個数とも同一である。したがって、拡張空間パラメータは分割識別子の個数だけ抽出されることができる。図１１は、図１０に示す拡張チャンネルの構成、及び拡張空間パラメータとの関係を示す図である。図１１を参照すると、チャンネル分割部ＡＴ_０，ＡＴ_１が２個存在し、ここにそれぞれ適用される拡張空間パラメータＡＴＤ_０，ＡＴＤ_１が表示されている。拡張空間パラメータがチャンネル間レベル差である場合、チャンネル分割部はこのような拡張空間パラメータを用いて２つに分割されるチャンネルのそれぞれのレベルを決定することができる。上記のように拡張空間情報を追加してアップミキシングする過程において、拡張空間パラメータを全部でなく一部のみを適用しても良い。

(３)−２拡張空間情報を生成する場合：内挿／外挿（interpolation/extrapolation）
拡大空間情報は、空間情報に拡張空間情報を追加して生成されることができ、拡張空間情報が空間情報を用いて生成された場合について説明する。空間情報のうち空間パラメータを用いて拡張空間情報を生成でき、この場合、内挿または外挿などの方法が用いられることができる。

(３)−２−１．６．１チャンネルへの拡張
マルチチャンネルオーディオ信号が５．１チャンネルである時、６．１チャンネルの出力チャンネルオーディオ信号を生成したい場合に挙げて説明する。

図１２は、５．１チャンネルのマルチチャンネルオーディオ信号の位置と６．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。図１２の（ａ）を参照すると、５．１チャンネルのマルチチャンネルオーディオ信号のチャンネル位置がそれぞれ、左側前方チャンネルＬ、右側前方チャンネルＲ、センターチャンネルＣ、低周波チャンネルＬＦＥ（図示せず）、左側サラウンドチャンネルＬｓ、右側サラウンドチャンネルＲｓであることがわかる。もし、このような５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされたオーディオ信号である場合、このダウンミックスオーディオ信号に空間パラメータのみを適用すると、再び５．１チャンネルのマルチチャンネルオーディオ信号にアップミックスされる。しかし、図１２の（ｂ）のように、６．１チャンネルのマルチチャンネルオーディオ信号にアップミックスするためには、後方センター（ｒｅａｒｃｅｎｔｅｒ）ＲＣのチャンネル信号をさらに生成しなければならない。

この後方センターＲＣのチャンネル信号は、後方の２チャンネル（左側サラウンドチャンネルＬｓ及び右側サラウンドチャンネルＲｓ）と関連した空間パラメータを用いて生成できる。具体的に、空間パラメータのうち、チャンネル間レベル差（ＣＬＤ）は２チャンネル間のレベル差を表すが、２チャンネル間のレベル差を調整することによって、２チャンネル間に存在する仮想音源の位置を変化させることができる。

以下では、２チャンネル間のレベル差によって仮想音源の位置が変化する原理について説明する。

図１３は、２チャンネル間のレベル差と仮想音源の位置との関係を示す図である。図１３で、左側サラウンドチャンネルＬｓのレベルがａで、右側サラウンドチャンネルＲｓのレベルがｂである。図１３の（ａ）を参照すると、左側サラウンドチャンネルＬｓのレベルａが右側サラウンドチャンネルＲｓのレベルｂよりも大きい場合、仮想音源の位置ＶＳは、右側サラウンドチャンネルＲｓの位置よりも左側サラウンドチャンネルＬｓの位置に近いことがわかる。２チャンネルからオーディオ信号が出力される場合、聴き手は２チャンネル間に仮想音源が存在するかのように感じることになるが、この時、仮想音源の位置は、２チャンネルのうちレベルが相対的に高いチャンネルの位置に近い。図１３の（ｂ）の場合は、左側サラウンドチャンネルＬｓのレベルａが右側サラウンドチャンネルＲｓのレベルｂと略同一なので、仮想音源の位置が左側サラウンドチャンネルＬｓ及び右側サラウンドチャンネルＲｓの中間に存在するかのように聴き手は感じることになる。

このような原理を用いて後方センターＲＣのレベルの決定することができる。図１４は、２つの後方チャンネルのレベル、及び後方センターチャンネルのレベルを示す図である。図１４に示すように、後方センターチャンネルＲＣのレベルｃは、左側サラウンドチャンネルＬｓのレベルａ及び右側サラウンドチャンネルＲｓのレベルｂ間の差を内挿する方式で算出することができる。内挿方式としては、線形（ｌｉｎｅａｒ）内挿だけでなく、非線形（ｎｏｎ−ｌｉｎｅａｒ）内挿方式も適用されることができる。線形内挿方式によって、２チャンネル（例：Ｌｓ，Ｒｓ）間に存在する新しいチャンネル（例：後方センターチャンネルＲＣ）のレベルｃを算出する式は、次の通りである。

［式４２］
c=a*k+b*(1-k)

ここで、ａ、ｂは、２チャンネルのそれぞれのレベルを表す。

ｋは、ａレベルのチャンネル及びｂレベルのチャンネルとｃレベルのチャンネル間の相対的位置を表す。

もし、ｃレベルのチャンネル（例：後方センターチャンネルＲＣ）がａレベルのチャンネル（例：Ｌｓ）及びｂレベルのチャンネルＲｓの真中央に位置する場合、ｋは０．５である。ｋが０．５の場合、式４２は、次の式のようになる。

［式４３］
c=(a+b)/2

式４３によれば、ｃレベルのチャンネル（例：後方センターチャンネルＲＣ）がａレベルのチャンネル（例：Ｌｓ）及びｂレベルのチャンネルＲｓの真中央に位置する場合、新しいチャンネルのレベルｃは、既存のチャンネルのレベルａ，ｂの平均値となる。上の式４２及び式４３は一例に過ぎず、ｃレベルの決定だけでなく、ａレベルとｂレベルの値も再調整することが可能である。

(３)−２−２．７．１チャンネルへの拡張
マルチチャンネルオーディオ信号が５．１チャンネルである時、７．１チャンネルの出力チャンネルオーディオ信号を生成したい場合に挙げて説明する。

図１５は、５．１チャンネルのマルチチャンネルオーディオ信号の位置と７．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。図１５の（ａ）を参照すると、図１２の（ａ）と同様に、５．１チャンネルのマルチチャンネルオーディオ信号のチャンネル位置がそれぞれ左側前方チャンネルＬ、右側前方チャンネルＲ、センターチャンネルＣ、低周波チャンネルＬＦＥ（図示せず）、左側サラウンドチャンネルＬｓ、右側サラウンドチャンネルＲｓであることがわかる。もし、このような５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされたオーディオ信号である場合、このダウンミックスオーディオ信号に空間パラメータのみを適用すると、同様に５．１チャンネルのマルチチャンネルオーディオ信号にアップミックスされる。しかし、図１５の（ｂ）のように７．１チャンネルのマルチチャンネルオーディオ信号にアップミックスするには、左側フロントサイドチャンネルＬｆｓ及び右側フロントサイドチャンネルＲｆｓをさらに生成しなければならない。

左側フロントサイドチャンネルＬｆｓは、左側前方チャンネルＬ及び左側サラウンドチャンネルＬｓ間に位置するので、左側前方チャンネルＬのレベル及び左側サラウンドチャンネルＬｓのレベルを用いて、内挿方式で左側フロントサイドチャンネルＬｆｓのレベルを決定することができる。図１６は、２つの左側チャンネルのレベル、及び左側フロントサイドチャンネルＬｆｓのレベルを示す図である。図１６を参照すると、左側フロントサイドチャンネルＬｆｓのレベルｃは、左側前方チャンネルＬのレベルａ及び左側サラウンドチャンネルＬｓのレベルｂに基づいて線形的に内挿された値であることがわかる。

一方、左側フロントサイドチャンネルＬｆｓは、左側前方チャンネルＬ及び左側サラウンドチャンネルＬｓ間に位置してはいるが、左側前方チャンネルＬ、センターチャンネルＣ、及び右側前方チャンネルＲの外側に位置してもいる。このため、左側前方チャンネルＬのレベル、センターチャンネルＣのレベル、及び右側前方チャンネルＲのレベルを用いて、外挿方式で左側フロントサイドチャンネルＬｆｓのレベルを決定しても良い。図１７は、３つの前方チャンネルのレベル、及び左側フロントサイドチャンネルのレベルを示す図である。図１７を参照すると、左側フロントサイドチャンネルＬｆｓのレベルｄは、左側前方チャンネルＬのレベルａ、センターチャンネルＣのレベルｃ、及び右側前方チャンネルＲのレベルｂに基づいて線形的に外挿された値であることがわかる。

以上２つの場合を取り上げて、空間情報に拡張空間情報を追加して出力チャンネルオーディオ信号を生成する過程について説明した。上述の如く、拡張空間情報を追加してアップミキシングする過程において、拡張空間パラメータの全部ではなく一部のみを適用しても良い。このようにオーディオ信号に空間パラメータを適用する過程は、順次的・階層的に行われても良いが、一括的・統合的に処理されても良い。

本発明の一側面によれば、定められたツリー構造と異なる構造のオーディオ信号を生成できるため、多様な構造のオーディオ信号を生成することが可能になる。

本発明の他の側面によれば、定められたツリー構造と異なる構造のオーディオ信号を生成できるため、ダウンミックスされる前のマルチチャンネルの本数がスピーカーの個数より多いまたは少ない場合であっても、ダウンミックスオーディオ信号からスピーカーの個数と同じ本数の出力チャンネルを生成することが可能になる。

本発明のさらに他の側面によれば、マルチチャンネル数より少ない本数の出力チャンネルを生成する場合、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号にアップミックスした後、このマルチチャンネルオーディオ信号から出力チャンネルオーディオ信号をダウンミックスするのではなく、ダウンミックスオーディオ信号から直接マルチチャンネルオーディオ信号を生成するので、オーディオ信号のデコーディングにかかる演算量を顕著に減少させることが可能になる。

本発明のさらに他の側面によれば、組合せ空間情報の生成において音響経路を考慮できるため、サラウンドチャンネルを出力できない状況においても仮想（ｐｓｅｕｄｏ）でサラウンド効果を出すことが可能になる。

本発明によるオーディオ信号のエンコーディング装置及びデコーディング装置の構成図である。部分空間情報を適用する一例を概略的に示す図である。部分空間情報を適用する他の例を概略的に示す図である。部分空間情報を適用するさらに他の例を概略的に示す図である。組合せ空間情報を適用する一例を概略的に示す図である。組合せ空間情報を適用する他の例を概略的に示す図である。３チャンネルスピーカーの位置、及び、スピーカーから聴き手までの音響経路を示す図である。サラウンド効果のためにスピーカーの各位置から出力される信号を示す図である。５チャンネル信号を用いて３チャンネル信号を生成する方法を概念的に示す図である。拡張チャンネル構成情報に基づいて拡張チャンネルが構成される一例を示す図である。図１０に示す拡張チャンネルの構成、及び、拡張空間パラメータとの関係を示す図である。５．１チャンネルのマルチチャンネルオーディオ信号の位置と６．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。２つのチャンネル間のレベル差及び仮想音源の位置との関係を示す図である。２つの後方チャンネルのレベル、及び、後方センターチャンネルのレベルを示す図である。５．１チャンネルのマルチチャンネルオーディオ信号の位置と７．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。２つの左側チャンネルのレベル、及び、左側フロントサイドチャンネル（Ｌｆｓ）のレベルを示す図である。３つの前方チャンネルのレベル、及び、左側フロントサイドチャンネル（Ｌｆｓ）のレベルを示す図である。

Claims

オーディオ信号及び空間情報を受信する段階と、
変形空間情報のタイプを識別する段階と、
前記空間情報を用いて前記変形空間情報を生成する段階と、
前記変形空間情報を用いて前記オーディオ信号をデコーディングする段階と、
を含み、
前記変形空間情報のタイプは、部分空間情報、組合せ空間情報、及び拡大空間情報のうち一つ以上を含むことを特徴とする、オーディオ信号のデコーディング方法。
前記識別する段階は、前記空間情報に含まれている指示子に基づいて前記変形空間情報のタイプを識別する段階であることを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
前記識別する段階は、前記空間情報に含まれているツリー構造情報に基づいて前記変形空間情報のタイプを識別する段階であることを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
前記識別する段階は、出力チャンネル情報に基づいて前記変形空間情報のタイプを識別する段階であることを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
前記空間情報は空間パラメータを含み、
前記部分空間情報は前記空間パラメータのうちの一部を含むことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
前記空間パラメータは階層的であり、
前記部分空間情報は上位階層の空間パラメータを含むことを特徴とする、請求項５に記載のオーディオ信号のデコーディング方法。
前記部分空間情報は、下位階層の空間パラメータのうちの一部をさらに含むことを特徴とする、請求項６に記載のオーディオ信号のデコーディング方法。
前記空間情報は空間パラメータを含み、
前記組合せ空間情報は前記空間パラメータを組み合わせて生成したことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
前記拡大空間情報は、前記空間情報及び拡張空間情報を用いて生成したことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
前記空間情報は空間パラメータを含み、
前記拡張空間情報は拡張空間パラメータを含み、
前記拡張空間パラメータは前記空間パラメータを用いて計算したものであることを特徴とする、請求項９に記載のオーディオ信号のデコーディング方法。
空間情報を用いて変形空間情報のタイプを識別し、前記空間情報を用いて前記変形空間情報を生成する変形空間情報生成部と、
前記変形空間情報を用いてオーディオ信号をデコーディングする出力チャンネル生成部と、を備え、
前記変形空間情報のタイプは、部分空間情報、組合せ空間情報、及び拡大空間情報のうち一つ以上を含むことを特徴とする、オーディオ信号のデコーディング装置。