JP2019062548A - 音響信号のレンダリング方法、その装置及び該コンピュータ可読記録媒体 - Google Patents

Abstract

【課題】２２．２チャネルのようなマルチチャネル信号を５．１チャネルにレンダリングする方法を提供する。【解決手段】サラウンド出力チャネルによる前後混同現象を防止するための、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、正面高さ入力チャネルに、所定の遅延を付加する段階と、付加された遅延に基づいて、正面高さ入力チャネルに係わる高度レンダリングパラメータを修正する段階と、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングされたサラウンド出力チャネルを生成することにより、前後混同を防止する段階と、を含む。【選択図】図１６

Description

本発明は、音響信号をレンダリングする方法及びその装置に係り、さらに詳細には、入力チャネルの高度が標準レイアウトによる高度より高いか、あるいは低い場合、高度パンニング係数または高度フィルタ係数を修正することにより、音像の位置及び音色をさらに正確に再現するためのレンダリング方法及びその装置に関する。

立体音響とは、音の高低、音色だけではなく、方向や距離感まで再生し、臨場感を有するようにし、音源が生じた空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。

２２．２チャネルのようなチャネル信号を、５．１チャネルにレンダリングする場合、二次元出力チャネルを介して、三次元立体音響を再生することができるが、入力チャネルの高度角が、基準高度角と差がある場合、基準高度角によって決定されたレンダリングパラメータを利用して、入力信号をレンダリングする場合、音像の歪曲が発生することになる。

前述のように、２２．２チャネルのようなマルチチャネル信号、を５．１チャネルにレンダリングする場合、二次元出力チャネルを利用して、三次元音響信号を再生することができるが、入力チャネルの高度角、が基準高度角と差がある場合、基準高度角によって決定されたレンダリングパラメータを利用して、入力信号をレンダリングする場合、音像の歪曲が発生することになる。

本発明は、前述の従来技術の問題点を解決し、入力チャネルの高度が基準高度より高いか、あるいは低い場合でも、音像の歪曲を減らすことをその目的にする。

前記目的を達成するための本発明の代表的な構成は、次の通りである。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、正面高さ（frontal height）入力チャネルに、所定の遅延を付加する段階と、付加された遅延に基づいて、正面高さ入力チャネルに係わる高度レンダリングパラメータを修正する段階と、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングされたサラウンド出力チャネルを生成することにより、前後混同（front-back confusion）を防止する段階と、を含む。

本発明の他の実施形態によれば、複数個の出力チャネルは、水平チャネルである。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、前記正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０，ＣＨ＿Ｕ＿Ｒ０３０，ＣＨ＿Ｕ＿Ｌ０４５，ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００チャネルのうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、サラウンド出力チャネルは、ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、所定の遅延は、サンプリングレートに基づいて決定される。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする装置は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部と、各出力チャネルが、基準高度角で、高度感ある音像を有する正面高さ入力チャネルに所定の遅延を付加し、付加された遅延に基づいて、正面高さ入力チャネルに係わる高度レンダリングパラメータを修正するレンダリング部と、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングサラウンド出力チャネルを生成することにより、前後混同を防止する出力部と、を含む。

本発明の他の実施形態によれば、複数個の出力チャネルは、水平チャネルである。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、前記正面高さ入力チャネルは、ＣＨ＿Ｕ＿Ｌ０３０，ＣＨ＿Ｕ＿Ｒ０３０，ＣＨ＿Ｕ＿Ｌ０４５，ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００チャネルのうち少なくとも一つを含む。
本発明のさらに他の実施形態によれば、前記正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０，ＣＨ＿Ｕ＿Ｒ０３０，ＣＨ＿Ｕ＿Ｌ０４５，ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００チャネルのうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、所定の遅延は、サンプリングレートに基づいて決定される。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高く入力チャネルに係わる高度レンダリングパラメータを獲得する段階と、基準高度角以外の所定の高度角を有する高さ入力チャネルに対して高度レンダリングパラメータを更新する段階と、を含み、高度レンダリングパラメータを更新する段階は、トップフロントセンター（top front center）の高さ入力チャネルをサラウンド出力チャネルにパンニングするパンニングゲインを更新する段階を含む。

本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal channel）である。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータを更新する段階は、基準高度角及び所定の高度角に基づいて、パンニングゲインを更新する段階を含む。

本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より小さい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より大きい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする装置は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高さ入力チャネルに係わる高度レンダリングパラメータを獲得し、基準高度角以外の所定の高度角を有する高さ入力チャネルに対して、高度レンダリングパラメータを更新するレンダリング部と、を含み、更新された高度レンダリングパラメータは、トップフロントセンター（top front center）の高さ入力チャネルをサラウンド出力チャネルにパンニングするパンニングゲインを含む。

本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal channel）である。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、更新された高度レンダリングパラメータは、基準高度角及び所定の高度角に基づいて更新されたパンニングゲインを含む。

本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より小さい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より大きい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高さ入力チャネルに係わる高度レンダリングパラメータを獲得する段階と、基準高度角以外の所定の高度角を有する高さ入力チャネルに対して、高度レンダリングパラメータを更新する段階と、を含み、高度レンダリングパラメータを更新する段階は、高さ入力チャネルの位置に基づいて、低周波帯域を含む周波数範囲に対して更新されたパンニングゲインを獲得する段階を含む。

本発明の他の実施形態によれば、更新されたパンニングゲインは、背面（rear）高さ入力チャネルに係わるパンニングゲインである。

本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal channel）である。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータを更新する段階は、基準高度角及び所定の高度角に基づいて、高度フィルタ係数に加重値を適用する段階を含む。

本発明のさらに他の実施形態によれば、加重値は、所定の高度角が基準高度角より小さい場合、高度フィルタ特徴が緩慢に示されるように決定され、所定の高度角が基準高度角より大きい場合、高度フィルタ特徴が強く示されるように決定される。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータを更新する段階は、基準高度角及び所定高度角に基づいて、パンニングゲインを更新する段階を含む。

本発明のさらに他の実施形態によれば、所定高度角が基準高度角より小さい場合、更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

本発明のさらに他の実施形態によれば、所定高度角が基準高度角より大きい場合、更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする装置は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高さ入力チャネルに係わる高度レンダリングパラメータを獲得し、基準高度角以外の所定高度角を有する高さ入力チャネルに対して、高度レンダリングパラメータを更新するレンダリング部と、を含み、更新された高度レンダリングパラメータは、高さ入力の位置に基づいて、低周波帯域を含む周波数範囲に対して更新されたパンニングゲインを含む。

本発明の他の実施形態によれば、更新されたパンニングゲインは、背面（rear）高さ入力チャネルに係わるパンニングゲインである。

本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal channel）である。

本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、更新された高度レンダリングパラメータは、基準高度角及び所定高度角に基づいて、加重値が適用された高度フィルタ係数を含む。

本発明のさらに他の実施形態によれば、加重値は、所定高度角が基準高度角より小さい場合、高度フィルタ特徴が緩慢に示されるように決定され、所定高度角が基準高度角より大きい場合、高度フィルタ特徴が強く示されるように決定される。

本発明のさらに他の実施形態によれば、更新された高度レンダリングパラメータは、基準高度角及び所定高度角に基づいて更新されたパンニングゲインを含む。

本発明のさらに他の実施形態によれば、所定高度角が基準高度角より小さい場合、前記更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

本発明のさらに他の実施形態によれば、所定高度角が基準高度角より大きい場合、前記更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。

一方、本発明の一実施形態によれば、前述の方法を実行するためのプログラム、及び前記プログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

それ以外にも、本発明を具現するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータ可読記録媒体がさらに提供される。

本発明によれば、入力チャネルの高度が基準高度より高いか、あるいは低い場合でも、音像の歪曲が少なくなるように、立体音響信号をレンダリングすることができる。また、本発明によれば、サラウンド出力チャネルによる前後混同現象を防止することができる。

一実施形態による立体音響再生装置の内部構造を示すブロック図である。 一実施形態による立体音響再生装置の構成のうちレンダラの構成を示すブロック図である。 一実施形態による、複数個の入力チャネルが複数個の出力チャネルにダウンミックスされる場合の各チャネルのレイアウトに係わる図面である。 出力チャネルの標準レイアウトと設置レイアウトとの間に位置偏差がある場合、一実施形態によるパンニング部を示す図面である。 一実施形態による立体音響再生装置の構成のうち、デコーダ及び立体音響レンダラの構成を示すブロック図である。 一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。 一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。 一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。 一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。 一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。 一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。 一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。 一実施形態において、入力チャネルの高度角が臨界値以上であるとき、左右音像が逆転される現象を示した図面である。 一実施形態による、水平チャネル及び正面高さチャネルを図示する図面である。 一実施形態による正面高さチャネルの認識確率に係わる図面である。 一実施形態による、前後混同を防止するための方法のフローチャートである。 一実施形態による、サラウンド出力チャネルに遅延が追加された、水平チャネル及び正面高さチャネルを図示する図面である。 一実施形態による、水平チャネル及び正面中央チャネル（ＴＦＣチャネル）を図示する図面である。

後述する本発明に係わる詳細な説明は、本発明が実施される特定実施形態を例示として図示する添付図面を参照する。かような実施形態は、当業者が本発明を実施するのに十分であるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないということが理解されなければならない。

例えば、本明細書に記載されている特定形状、構造及び特性は、本発明の精神及び範囲を外れずに、一実施形態から他の実施形態に変更されても具現される。また、それぞれの実施形態内の個別構成要素の位置または配置も、本発明の精神及び範囲を外れずに、変更されもするということが理解されなければならない。従って、後述する詳細な説明は、限定的な意味としてなされるものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲、及びそれと均等な全ての範囲を包括すると受け入れられなければならない。

図面において、類似した参照符号は、多くの側面にわたって、同一であるか、あるいは類似した構成要素を示す。そして、図面において、本発明を明確に説明するために、説明と関係ない部分は省略し、明細書全体を通じて、類似した部分については、類似した図面符号を付した。

以下、本発明が属する技術分野で当業者が本発明を容易に実施することができるように、本発明の多くの実施形態について、添付された図面を参照して詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。

明細書全体において、ある部分が他の部分と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、その中間に、他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。

以下、添付された図面を参照し、本発明について詳細に説明する。

図１は、一実施形態による立体音響再生装置の内部構造を示すブロック図である。

一実施形態による立体音響再生装置１００は、複数個の入力チャネルが再生される複数個の出力チャネルにミキシング（mixing）されたマルチチャネル（multi-channel）音響信号を出力することができる。このとき、出力チャネルの個数が、入力チャネルの個数よりさらに少なければ、入力チャネルは、出力チャネルの個数に合わせてダウンミキシング（downmixing）される。

立体音響とは、音の高低、音色だけではなく、方向や距離感まで再生して臨場感を有するようにし、音源が生じた空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。

以下の説明において、音響信号の出力チャネルは、音響が出力されるスピーカの個数を意味する。出力チャネル数が多いほど、音響が出力されるスピーカの個数が多くなる。一実施形態による立体音響再生装置１００は、入力チャネル数が多いマルチチャネル音響信号が、出力チャネル数が少ない環境で出力されて再生されるように、マルチチャネル音響入力信号を再生される出力チャネルにレンダリングしてミキシングすることができる。このとき、マルチチャネル音響信号は、高度音響（elevated sound）を出力することができるチャネルを含んでもよい。

該高度音響を出力することができるチャネルは、高度感を感じることができるように、聴取者の頭上に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。水平面チャネルは（horizontal channel）、聴取者と水平面に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。

前述の、出力チャネル数が少ない環境は、高度音響を出力することができる出力チャネルを含まず、水平面上に配置されたスピーカを介して、音響を出力することができる環境を意味する。

また、以下の説明において、水平面チャネルは、水平面上に配置されたスピーカを介して出力される音響信号を含むチャネルを意味する。オーバーヘッドチャネル（overhead channel）は、水平面ではない高度上に配置されて高度音を出力することができるスピーカを介して出力される音響信号を含むチャネルを意味する。

図１を参照すれば、一実施形態による立体音響再生装置１００は、オーディオコア１１０、レンダラ１２０、ミキサ１３０及び後処理部１４０を含んでもよい。

一実施形態による立体音響再生装置１００は、マルチチャネル入力音響信号をレンダリングし、ミキシングして再生される出力チャネルに出力することができる。例えば、マルチチャネル入力音響信号は、２２．２チャネル信号であり、再生される出力チャネルは、５．１チャネルまたは７．１チャネルでもある。立体音響再生装置１００は、マルチチャネル入力音響信号の各チャネルを対応させる出力チャネルを決定することによってレンダリングを行い、再生されるチャネルと対応した各チャネルの信号を合わせ、最終信号として出力することにより、レンダリングされたオーディオ信号をミキシングすることができる。

エンコーディングされた音響信号は、オーディオコア１１０に、ビットストリーム形態で入力され、オーディオコア１１０は、音響信号がエンコーディングされた方式に適するデコーダツールを選択し、入力された音響信号をデコーディングする。

レンダラ１２０は、マルチチャネル入力音響信号を、チャネル及び周波数によって、マルチチャネル出力チャネルにレンダリングすることができる。レンダラ１２０は、マルチチャネル音響信号に対して、オーバーヘッドチャネル及び水平面チャネルによる信号を、それぞれ三次元（３Ｄ：３−dimensional）レンダリング及び二次元（２Ｄ：two-dimensional）レンダリングすることができる。レンダラの構成及び具体的レンダリング方法については、以下の図２でさらに詳細に説明する。

ミキサ１３０は、レンダラ１２０によって、水平チャネルと対応した各チャネルの信号を合わせ、最終信号として出力することができる。ミキサ１３０は、所定区間別に、各チャネルの信号をミキシングすることができる。例えば、ミキサ１３０は、１フレーム別に、各チャネルの信号をミキシングすることができる。

一実施形態によるミキサ１３０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいてミキシングすることができる。言い換えれば、ミキサ１３０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいて、最終信号の振幅、または最終信号に適用されるゲイン（gain）を決定することができる。

後処理部１４０は、ミキサ１３０の出力信号を、各再生装置（スピーカまたはヘッドホンなど）に合わせ、マルチバンド信号に対する動的範囲制御及びバイノーラル方式（binauralizing）などを遂行する。後処理部１４０で出力された出力音響信号は、スピーカなどの装置を介して出力され、出力音響信号は、各構成部の処理によって、２Ｄまたは３Ｄに再生される。

図１に図示された一実施形態による立体音響再生装置１００は、オーディオデコーダの構成を中心に図示されており、付随的な構成は省略されている。

図２は、一実施形態による立体音響再生装置の構成のうちレンダラの構成を示すブロック図である。

レンダラ１２０は、フィルタリング部１２１とパンニング部１２３とから構成される。

フィルタリング部１２１は、デコーディングされた音響信号を、位置によって音色などを補正し、頭伝達関数（ＨＲＴＦ：head-related transfer function）フィルタを利用して、入力音響信号をフィルタリングすることができる。

フィルタリング部１２１は、オーバーヘッドチャネルを３Ｄレンダリングするために、頭部伝達関数（ＨＲＴＦ）フィルタを通過したオーバーヘッドチャネルを、周波数によって、それぞれ異なる方法によってレンダリングすることができる。

ＨＲＴＦフィルタは、両耳間のレベル差（ＩＬＤ：interaural level differences）や、両耳間で音響時間が到逹する時間差（ＩＴＤ：interaural time differences）などの単純な経路差だけではなく、頭表面での回折、耳介による反射など複雑な経路上の特性が、音の到来方向によって変化する現象によって立体音響を認識する。ＨＲＴＦフィルタは、音響信号の音質を変化させることによって立体音響が認識されるように、オーバーヘッドチャネルに含まれた音響信号を処理することができる。

パンニング部１２３は、入力音響信号を、各出力チャネルに対してパンニングさせるために、各周波数帯域別、各チャネル別に適用されるパンニング係数を求めて適用する。音響信号に対するパンニングは、２つの出力チャネル間の特定位置に音源をレンダリングするために、各出力チャネルに印加する信号の大きさを制御することを意味する。パンニング係数は、パンニングゲインという用語と混用が可能である。

パンニング部１２３は、オーバーヘッドチャネル信号のうち低周波信号については、add to the closest channel方法によってレンダリングし、高周波信号については、マルチチャネルパンニング（multichannel panning）方法によってレンダリングすることができる。マルチチャネルパンニング方法によれば、マルチチャネル音響信号の各チャネルの信号が、各チャネル信号にレンダリングされるチャネルごとに互いに異なるように設定されたゲイン値が適用され、少なくとも１つの水平面チャネルにそれぞれレンダリングされる。ゲイン値が適用された各チャネルの信号は、ミキシングを介して合わされることにより、最終信号として出力される。

低周波信号は、回折性が強いので、マルチチャネルパンニング方法によって、マルチチャネル音響信号の各チャネルを、多くのチャネルにそれぞれ分けてレンダリングせず、１つのチャネルだけにレンダリングしても、聴取者が聞くとき、類似した音質を有することができる。従って、一実施形態による立体音響再生装置１００は、低周波信号をadd to the closest channel方法によってレンダリングすることにより、１つの出力チャネルに多くのチャネルがミキシングされることによって生じる音質劣化を防止することができる。すなわち、１つの出力チャネルに、多くのチャネルがミキシングされると、各チャネル信号間の干渉によって、音質が増幅されたり低減されたりして劣化されるので、１つの出力チャネルに、１つのチャネルをミキシングすることにより、音質劣化を防止することができる。

add to the closest channel方法によれば、マルチチャネル音響信号の各チャネルは、多くのチャネルに分けてレンダリングする代わりに、再生されるチャネルのうち最も近いチャネルにレンダリングされる。

また、立体音響再生装置１００は、周波数によって異なる方法によってレンダリングを行うことにより、スイートスポット（sweet spot）を、音質劣化なしに広げることができる。すなわち、回折特性が強い低周波信号については、add to the closest channel方法によってレンダリングすることにより、１つの出力チャネルに、多くのチャネルがミキシングされることによって生じる音質劣化を防止することができる。スイートスポットとは、聴取者が、歪曲されていない立体音響を最適に聴取することができる所定範囲を意味する。

スイートスポットが広いほど、聴取者は、広い範囲で歪曲されていない立体音響を最適に聴取することができ、聴取者がスイートスポットに位置しない場合、音質または音像などが歪曲された音響を聴取することがある。

図３は、一実施形態による、複数個の入力チャネルが、複数個の出力チャネルにダウンミックスされる場合の各チャネルのレイアウトに係わる図面である。

三次元映像のように、実際と同一であるか、あるいはさらに誇張された現場感及び没入感を提供するために、三次元立体映像と共に、三次元立体音響を提供するための技術が開発されている。立体音響は、音響信号自体が音の高低及び空間感を有する音響を意味することにより、かような立体音響を再生するためには、最小２個以上のラウドスピーカ、すなわち、出力チャネルが必要である。また、ＨＲＴＦを利用するバイノーラル（binaural）立体音響を除いては、音の高低感、距離感及び空間感をさらに正確に再現するために、多い数の出力チャネルを必要とする。

従って、２チャネル出力を有するステレオシステムに続き、５．１チャネルシステム、Auro ３Ｄシステム、Holman １０．２チャネルシステム、ＥＴＲＩ／Samsung １０．２チャネルシステム、ＮＨＫ２２．２チャネルシステムなど多様なマルチチャネルシステムが提案されて開発されている。

図３は、２２．２チャネルの立体音響信号を、５．１チャネルの出力システムで再生する場合について説明するための図面である。

５．１チャネルシステムは、５チャネルサラウンドマルチチャネルサウンドシステムの一般的な名称であり、家庭のホームシアタ及び劇場用サウンドシステムとして、最も普遍的に普及されて使用されているシステムである。全ての５．１チャネルは、ＦＬ（front left）チャネル、Ｃ（center）チャネル、ＦＲ（front right）チャネル、ＳＬ（surround left）チャネル及びＳＲ（surround right）チャネルを含む。図３から分かるところのように、５．１チャネルの出力は、いずれも同じ平面上に存在するために、物理的には、二次元システムに該当し、５．１チャネルシステムにおいて、三次元立体音響信号を再生するためには、再生される信号に立体感を付与するためのレンダリング過程を経なればならない。

５．１チャネルシステムは、映画だけではなく、ＤＶＤ（digital versatile disc）映像、ＤＶＤ音響、ＳＡＣＤ（super audio compact disc）またはデジタル放送に至るまで多様な分野で広く使用されている。しかし、５．１チャネルシステムが、たとえステレオシステムに比べ、向上した空間感を提供するとしても、さらに広い聴取空間の形成において、さまざまな制約がある。特に、スイートスポットが狭く形成され、高度角（elevation angle）を有する垂直音像を提供することができないために、劇場のように広い聴取空間には適さない。

ＮＨＫで提案した２２．２チャネルシステムは、図３のように、３層の出力チャネルからなる。アッパレイヤ（upper layer）３１０は、ＶＯＧ（voice of god），Ｔ０，Ｔ１８０，ＴＬ４５，ＴＬ９０，ＴＬ１３５，ＴＲ４５，ＴＲ９０及びＴＲ４５チャネルを含む。このとき、各チャネル名の最前のＴというインデックスは、アッパレイヤを意味し、ＬまたはＲというインデックスは、それぞれ左側または右側を意味し、後の数字は、中心チャネル（center channel）からの方位角（azimuth angle）を意味する。アッパレイヤは、またトップレイヤとも呼ばれる。

ＶＯＧチャネルは、聴取者の頭上に存在するチャネルであり、９０°の高度角を有し、方位角はない。ただし、ＶＯＧチャネルは、位置が少しだけよじれても、方位角を有し、高度角が９０°ではない値を有することになるので、それ以上ＶＯＧチャネルではなくなる。

ミドルレイヤ（middle layer）３２０は、既存５．１チャネルのような平面において、５．１チャネルの出力チャネル以外に、ＭＬ６０，ＭＬ９０，ＭＬ１３５，ＭＲ６０，ＭＲ９０及びＭＲ１３５チャネルを含む。このとき、各チャネル名の最も前のＭというインデックスは、ミドルレイヤを意味し、後ろの数字は、中心（center）チャネルからの方位角を意味する。

ローレイヤ（low layer）３３０は、Ｌ０，ＬＬ４５，ＬＲ４５チャネルを含む。このとき、各チャネル名の最も前のＬというインデックスは、ローレイヤを意味し、後ろの数字は、中心（center）チャネルからの方位角を意味する。

２２．２チャネルにおいて、ミドルレイヤは、水平チャネル（horizontal channel）と呼ばれ、方位角０°または方位角１８０°に該当するＶＯＧ，Ｔ０，Ｔ１８０，Ｔ１８０，Ｍ１８０，Ｌ及びＣチャネルは、垂直チャネル（vertical channel）と呼ばれる。

２２．２チャネル入力信号を５．１チャネルシステムで再生する場合、最も一般的な方法は、ダウンミックス数式を利用して、チャネル間で信号を分配することができる。または、仮想の高度感を提供するレンダリングを行い、５．１チャネルシステムで高度感を有する音響信号を再生する。

図４は、出力チャネルの標準レイアウトと、設置レイアウトとの間に位置偏差がある場合、一実施形態によるパンニング部を示す図面である。

マルチチャネル立体音響信号を、入力信号のチャネル数より少ない出力チャネルで再生する場合、本来の音像が歪曲され、かような歪曲を補正するために、さまざまな技術が研究されている。

一般的なレンダリング技術は、スピーカ、すなわち、出力チャネルが標準レイアウトに合わせて設置された場合を基準に、レンダリングを行うようになっている。しかし、出力チャネルが、標準レイアウトと正確に一致するように設置されていない場合、音像位置の歪曲及び音色の歪曲が発生する。

音像の歪曲は、大きく見て、高度感の歪曲、位相角の歪曲があるが、ある程度低いレベルでは、大きく敏感ではない。しかし、両耳が左右に位置する身体的な特性上、左−中央−右の音像が変わる場合、音像歪曲をさらに敏感に認知することができる。特に、正面の音像については、さらに敏感に認知することになる。

従って、図３のように、２２．２チャネルを５．１チャネルに再現する場合、左右にあるチャネルより、０°または１８０°に位置するＶＯＧ、Ｔ０、Ｔ１８０、Ｔ１８０、Ｍ１８０、Ｌ及びＣのようなチャネルは、音像がよじれないように、特に留意しなければならない。

オーディオ入力信号をパンニングするときは、基本的に２段階の過程を経る。最初の段階は、入力されたマルチチャネル信号に対して、出力チャネルの標準レイアウトによってパンニング係数を計算する段階であり、初期化（initializing）過程に該当する。２番目の段階は、出力チャネルが、実際に設置されたレイアウトに基づいて計算された係数を修正する段階である。かようなパンニング係数修正段階を経れば、出力信号の音像がさらに正確な位置に存在することになる。

従って、パンニング部１２３の処理のためには、オーディオ入力信号以外にも、出力チャネルの設置レイアウト、及び出力チャネルの標準レイアウトに係わる情報が必要である。Ｌチャネル及びＲチャネルからＣチャネルをレンダリングする場合であるならば、オーディオ入力信号は、Ｃで再生されなければならない入力信号を、オーディオ出力信号は、設置レイアウトによって、Ｌチャネル及びＲチャネルで出力された修正されたパンニング信号を意味する。

方位偏差（azimuth deviation）のみを考慮する二次元パンニング方法は、出力チャネルの標準レイアウトと設置レイアウトとの間に、高度偏差（elevation deviation）がある場合、高度偏差による効果を補正することができない。従って、出力チャネルの標準レイアウトと設置レイアウトとの間に、高度偏差がある場合であるならば、図４でのように、高度効果補正部１２４を介して、高度偏差による高度上昇効果を補正しなければならない。

図５は、一実施形態による立体音響再生装置の構成のうち、デコーダ及び立体音響レンダラの構成を示すブロック図である。図５を参照すれば、一実施形態による立体音響再生装置１００は、デコーダ１１０及び立体音響レンダラ１２０の構成を中心に図示されており、それ以外の構成は、省略されている。

立体音響再生装置に入力された音響信号は、エンコーディングされた信号であり、ビットストリームの形態で入力される。デコーダ１１０は、入力音響信号に対して、音響信号がエンコーディングされた方式に適するデコーダツールを選択し、入力された音響信号をデコーディングし、デコーディングされた音響信号を立体音響レンダラ１２０に伝達する。

立体音響レンダラ１２０は、フィルタ係数及びパンニング係数を獲得し、更新する初期化部１２５、及びフィルタリングとパンニングとを行うレンダリング部１２７から構成される。

レンダリング部１２７は、デコーダに伝達された音響信号に対して、フィルタリング及びパンニングを行う。空間音色フィルタリング部１２７１は、音の位置に係わる情報を処理し、レンダリングされた音響信号が所望位置で再生されるようにし、空間位置パンニング部１２７２は、音の音色に係わる情報を処理し、レンダリングされた音響信号が所望位置に適する音色を有するようにする。

空間音色フィルタリング部１２７１及び空間位置パンニング部１２７２は、図２で説明したフィルタリング部１２１及びパンニング部１２３と類似した機能を遂行する。ただし、図２のフィルタリング部及びパンニング部１２３は、簡略化して示した図面において、初期化部などフィルタ係数及びパンニング係数を求めるための構成が省略されたものであるということに留意しなければならない。

このとき、フィルタリングを行うためのフィルタ係数、及びパンニングを行うためのパンニング係数は、初期化部１２５から伝達される。初期化部１２５は、高度レンダリングパラメータ獲得部１２５１及び高度レンダリングパラメータ更新部１２５２から構成される。

高度レンダリングパラメータ獲得部１２５１は、出力チャネル、すなわち、ラウドスピーカの構成及び配置を利用して、高度レンダリングパラメータの初期値を獲得する。このとき、高度レンダリングパラメータの初期値は、標準レイアウトによる出力チャネルの構成、及び高度レンダリング設定による入力チャネルの構成に基づいて、高度レンダリングパラメータの初期値を算出するか、あるいは入力／出力チャネル間のマッピング関係によって、既保存の初期値を読み取る。高度レンダリングパラメータは、空間音色フィルタリング部１２７１で利用するためのフィルタ係数、または空間位置パンニング部１２７２で利用するためのパンニング係数を含んでもよい。

しかし、前述のように、高度レンダリングのための高度設定値に、入力チャネルの設定及び偏差が存在することがある。かような場合、固定された高度設定値を利用すれば、本来の入力立体音響信号を、入力チャネルと構成が異なる出力チャネルを介して、さらに類似して立体的に再生する仮想レンダリングの目的を達成し難い。

一例として、高度感が非常に高い場合、音像が小さく、音質が劣化される現象が生じ、高度感が非常に低い場合、仮想レンダリングの効果を感じ難いという問題が生じる。従って、ユーザの設定によって、または入力チャネルに適する仮想レンダリング程度によって、高度感の調節が必要である。

高度レンダリングパラメータ更新部１２５２は、高度レンダリングパラメータ獲得部１２５１で獲得した高度レンダリングパラメータの初期値を、入力チャネルの高度情報、またはユーザ設定高度に基づいて、高度レンダリングパラメータを更新する。このとき、もし出力チャネルのスピーカレイアウトが、標準レイアウトと比較し、偏差が存在するならば、それによる影響を補正するための過程が追加される。このときの出力チャネルの偏差は、高度角または方位角の差による偏差情報を含んでもよい。

初期化部１２５で獲得されて更新された高度レンダリングパラメータを利用して、レンダリング部１２７において、フィルタリング及びパンニングを終えた出力音響信号は、各出力チャネルに対応するスピーカを介して再生される。

図６ないし図８は、一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。

入力チャネル信号が２２．２チャネルの立体音響信号であり、図３のようなレイアウトによって配置されるとすれば、入力チャネルのうちアッパレイヤは、高度角によって図４のようなレイアウトを有する。このとき、高度角は、それぞれ０°、２５°、３５°及び４５°である場合を仮定し、高度角が９０°に該当するＶＯＧチャネルは、省略されている。高度角が０°であるアッパレイヤチャネルは、水平面（ミドルレイヤ）３２０に存在するのである。

図６は、アッパレイヤチャネルを正面から見たときのチャネル配置を示している。図６について説明すれば、８個のアッパレイヤチャネルが、それぞれ４５°ずつの方位角差を有する場合であるので、垂直チャネル軸を基準に、正面からアッパレイヤチャネルを見れば、ＴＬ９０チャネル及びＴＲ９０チャネルを除いた残りの６つのチャネルは、それぞれＴＬ４５チャネル及びＴＬ１３５チャネル、Ｔ０チャネル及びＴ１８０チャネル、ＴＲ４５チャネル及びＴＲ１３５チャネルが二つずつ重なって示されることになる。それは、図８と比較して説明すれば、さらに明確に分かるであろう。

図７は、アッパレイヤチャネルを上から見たときのチャネル配置を示している。図８は、アッパレイヤチャネル配置を三次元で示したものである。８個のアッパレイヤチャネルが、それぞれ４５°ずつの方位角差を有して等間隔に配置されていることを確認することができる。

高度レンダリングを介して、立体音響に再生されるコンテンツが、例えば、高度角３５°を有するように固定されているならば、全ての入力音響信号に対して、３５°の高度角で高度レンダリングを行ってもよく、最適の結果を得ることができるであろう。

しかし、コンテンツによって、当該コンテンツの立体音響に対する高度角が異なるように適用され、図６ないし図８で確認することができるように、チャネルの高度によって、各チャネルの位置及び距離などが異なり、それによる信号の特性も異なる。

従って、固定された高度角で仮想レンダリングを行う場合、音像の歪曲が発生し、最適のレンダリング性能を得るためには、入力立体音響信号の高度角、すなわち、入力チャネルの高度角を考慮したレンダリングを行うことが必要である。

図９ないし図１１は、一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。図９は、高さチャネルの高度が、それぞれ０°、３５°及び４５°である場合、各チャネルの位置を示した図面である。図９の図面は、聴取者の後ろから見た様子であり、図面に表示されたチャネルは、それぞれＭＬ９０チャネルまたはＴＬ９０チャネルである。高度角が０°である場合は、水平面に存在するチャネルであり、ＭＬ９０チャネルに該当し、高度角が３５°及び４５°である場合は、アッパレイヤチャネルであり、ＴＬ９０チャネルに該当する。

図１０は、図９でのように位置する各チャネルにおいて、音響信号が出力されるとき、聴取者の両耳に感じられる信号差について説明するための図面である。

高度角がないＭＬ９０において、音響信号が出力されるとすれば、原則上、左耳でのみ音響信号が認識され、右耳では、音響信号が認識されない。

しかし、高度が高くなるほど、左耳で認識される音響信号と、右耳で認識する音響信号との差は、だんだんと小さくなり、チャネルの高度角がだんだんと増大し、高度角が９０°になれば、聴取者の頭上にあるチャネル、すなわち、ＶＯＧチャネルになり、両耳に同一音響信号が認識されることになる。

従って、高度角による、両耳が認識する音響信号に対する変化は、図１０でのように示されるのである。

高度角が０°であるときの、両耳で認識する音響信号について説明すれば、左耳でのみ音響信号を認識し、右耳では、音響信号を認識することができない。かような場合、ＩＬＤ（interaural level difference）及びＩＴＤ（interaural time difference）が最大になり、聴取者は、左側水平面チャネルに存在するＭＬ９０チャネルの音像として認識することになるのである。

高度角が３５°であるとき、両耳で認識する音響信号、及び高度角が４５°であるとき、両耳で認識する音響信号の差について説明すれば、高度角が高くなるにつれ、両耳で認識する音響信号の差が小さくなり、かような差によって、聴取者は、出力音響信号において、高度感の差を感じることができるのである。

高度角３５°であるチャネルの出力信号は、高度角４５°であるチャネルの出力信号に比べ、音像及びスイートスポットが広く、音質が自然な特徴を有し、高度角４５°であるチャネルの出力信号は、高度角が３５°であるチャネルの出力信号に比べ、音像が狭くなり、スイートスポットも狭くなるが、強さ没入感を提供する音場感を得ることができるという特徴がある。

先に言及したように、高度角が高くなるほど高度感が高くなり、没入感が強まるが、音像の幅は狭くなる。かような現象は、高度角が高くなるほど、チャネルの物理的位置がだんだんと内側に入り、結局、聴取者に近くなるからである。

従って、高度角の変化による、パンニング係数の更新は、次のように決定される。高度角が高くなるほど音像が広くなるように、パンニング係数を更新し、高度角が低くなるほど音像が狭くなるように、パンニング係数を更新する。

例えば、仮想レンダリングのための基本設定高度角が４５°であり、高度角を３５°に低くして仮想レンダリングを行う場合を仮定する。かような場合、レンダリングする仮想チャネルと同側（ipsilateral）出力チャネルに適用するレンダリングパンニング係数を増大させ、残りのチャネルに適用するパンニング係数は、パワーノーマライズ（power normalization）を介して決定する。

具体的な説明のために、２２．２チャネルの入力マルチチャネル信号を、５．１チャネルの出力チャネル（スピーカ）を介して再生する場合を仮定する。かような場合、入力チャネルのうち仮想レンダリングが適用される、高度角を有する２２．２チャネルの入力チャネルは、ＣＨ＿Ｕ＿０００ Ｔ０、ＣＨ＿Ｕ＿Ｌ４５ ＴＬ４５、ＣＨ＿Ｕ＿Ｒ４５ ＴＲ４５、ＣＨ＿Ｕ＿Ｌ９０ ＴＬ９０、ＣＨ＿Ｕ＿Ｒ９０ ＴＲ９０、ＣＨ＿Ｕ＿Ｌ１３５ ＴＬ１３５、ＣＨ＿Ｕ＿Ｒ１３５ ＴＲ１３５、ＣＨ＿Ｕ＿１８０ Ｔ１８０、ＣＨ＿Ｔ＿０００ ＶＯＧの９個チャネルになり、５．１チャネルの出力チャネルは、水平面上に存在するＣＨ＿Ｍ＿０００、ＣＨ＿Ｍ＿Ｌ０３０、ＣＨ＿Ｍ＿Ｒ０３０、ＣＨ＿Ｍ＿Ｌ１１０、ＣＨ＿Ｒ＿１１０の５個チャネルになる（ウーファーチャネルは除外）。
かように、５．１出力チャネルを利用して、ＣＨ＿Ｕ＿Ｌ４５チャネルをレンダリングする場合、基本設定高度角が４５°であり、高度角を３５°に低くするならば、ＣＨ＿Ｕ＿Ｌ４５チャネルと同側にある出力チャネルであるＣＨ＿Ｍ＿Ｌ０３０、及びＣＨ＿Ｍ＿Ｌ１１０に適用されるパンニング係数を３ｄＢ増加させるように更新し、残りの３つのチャネルのパンニング係数は減少させ、

を満足させるように更新するのである。このとき、Ｎは、任意の仮想チャネルをレンダリングするための出力チャネルの個数を意味し、ｇ_ｉは、各出力チャネルに適用されるパンニング係数を意味する。

かような過程は、各高さ入力チャネルに対して、それぞれ遂行されなければならない。

反対に、仮想レンダリングのための基本設定高度角が４５°であるが、高度角５５°に高めて仮想レンダリングを行う場合を仮定する。かような場合、レンダリングする仮想チャネルと同側出力チャネルに適用するレンダリングパンニング係数を低減させ、残りのチャネルに適用するパンニング係数は、パワーノーマライズを介して決定する。

先に例として挙げた５．１出力チャネルを利用して、ＣＨ＿Ｕ＿Ｌ４５チャネルをレンダリングする場合、基本設定高度角が４５°であるが、５５°に高くするならば、ＣＨ＿Ｕ＿Ｌ４５チャネルと同側にある出力チャネルであるＣＨ＿Ｍ＿Ｌ０３０、及びＣＨ＿Ｍ＿Ｌ１１０に適用されるパンニング係数を３ｄＢ低減させるように更新し、残りの３つのチャネルのパンニング係数は増加させ、

を満足させるように更新するのである。このとき、Ｎは、任意の仮想チャネルをレンダリングするための出力チャネルの個数を意味し、ｇ_ｉは、各出力チャネルに適用されるパンニング係数を意味する。

ただし、かように高度感を高くする場合は、パンニング係数更新によって、左右音像が逆転しないように留意する必要があり、それについては、図８で説明する。

以下、図１１を参照し、音色フィルタ係数を更新する方法について説明する。

図１１は、チャネルの高度角が３５°である場合、及び高度角が４５°である場合、周波数による音色フィルタの特徴を示した図面である。図１１から分かるように、高度角が４５°であるチャネルの音色フィルタは、高度角が３５°であるチャネルの音色フィルタに比べ、高度角による特徴がさらに大きく示されるということを確認することができる。

結局、基準高度角よりさらに大きい高度角を有するように、仮想レンダリングを行う場合、基準高度角に対してレンダリングを行うとき、大きさ（magnitude）を増大させなければならない周波数帯域（本来のフィルタ係数が、１より大きい帯域）については、さらに大きく増加（更新されたフィルタ係数を、１より大きく増加）させ、大きさを減少させなければならない周波数帯域（本来のフィルタ係数が、１より小さい帯域）については、さらに小さく減少（更新されたフィルタ係数を、１より小さく減少）させるのである。

かようなフィルタ大きさ特徴をデシベル（decibel）スケールで示せば、図１１でのように、出力信号の大きさを増大させなければならない周波数帯域では、正の値であり、出力信号の大きさを低減させなければならない周波数帯域では、負の値を有することになる。また、図１１で確認することができるように、高度角が低いほど、フィルタ大きさの形態（shape）が平ら（plat）になるように示される。

水平面チャネルを利用して、高さチャネルを仮想レンダリングする場合、高度角が低いほど、水平面チャネルの信号と類似した音色を有し、高度角が高くなるほど、高度感の変化が大きく示されるために、高度角が高くなるほど、音色フィルタによる影響を大きくし、高度角上昇による高度感効果を強調するのである。反対に、高度角が低くなるほど、音色フィルタによる影響を低減させ、高度感効果を低下させることができる。

従って、高度角の変化による、フィルタ係数の更新は、本来のフィルタ係数を基本設定高度角、及び実際にレンダリングする高度角に基づいた加重値を利用して更新する。

仮想レンダリングのための基本設定高度角が４５°であり、基本高度角より低い３５°でレンダリングを行って高度感を低くする場合であるならば、図１１の４５°のフィルタに該当する係数が初期値として決定されており、３５°のフィルタに該当する係数に更新されなければならないのである。

従って、基本設定高度角である４５°に比べ、低い高度角である３５°にレンダリングして高度感を低くする場合であるならば、周波数帯域によるフィルタの谷と床とが、いずれも４５°のフィルタに比べ、緩慢に修正されるように、フィルタ係数が更新されなければならないのである。

反対に、基本設定高度角が４５°であるが、基本高度角より高い５５°にレンダリングを行って高度感を高くする場合であるならば、周波数帯域によるフィルタの谷と床とがいずれも４５°のフィルタに比べ、強く修正されるようにフィルタ係数が更新されなければならないのである。

図１２は、一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。

レンダラは、複数個の入力チャネルを含むマルチチャネル音響信号を受信する（１２１０）。入力されたマルチチャネル音響信号は、レンダリングを介して、複数個の出力チャネル信号に変換され、入力チャネルの数より、出力チャネルの数がさらに少ないダウンミックスの、例えば、２２．２チャネルを有する入力信号が、５．１チャネルを有する出力信号に変換されるのである。

かように、三次元の立体音響入力信号を、二次元の出力チャネルを利用してレンダリングする場合、水平入力チャネルについては、一般レンダリングが適用され、高度角を有する高さチャネルについては、高度感を付与するための仮想レンダリングが適用される。

レンダリングを行うためには、フィルタリングに利用されるフィルタ係数、及びパンニングに利用されるパンニング係数が必要である。このとき、初期化過程において、出力チャネルの標準レイアウト、及び仮想レンダリングのための基本設定高度角によって、レンダリングパラメータを獲得する（１２２０）。基本設定高度角は、レンダラによって多様に決定されるが、かように固定された高度角で仮想レンダリングを行う場合、ユーザの趣向によって、または入力信号の特性によって、仮想レンダリングの満足度及び効果が落ちるという結果が示される。

従って、出力チャネルの構成が、当該出力チャネルの標準レイアウッワ偏差が存在するか、あるいは仮想レンダリングを行わなければならない高度がレンダラの基本設定高度と異なるのであるならば、レンダリングパラメータを更新する（１２３０）。

このとき、更新されるレンダリングパラメータは、フィルタ係数の初期値に、高度角偏差に基づいて決定された加重値を付与して更新されたフィルタ係数、または入力チャネルの高度と、基本設定高度との大きさ比較結果によって、パンニング係数の初期値を増加または減少させて更新されたパンニング係数を含んでもよい。

フィルタ係数及びパンニング係数を更新する具体的な方法は、図９ないし図１１で詳細に説明したので省略する。ただし、更新されたフィルタ係数及びパンニング係数は、追加して修正されたり拡張されたりするが、それについては追ってさらに詳細に説明する。

もし出力チャネルのスピーカレイアウトが、標準レイアウトと比べ、偏差が存在するのであるならば、それによる影響を補正するための過程が追加されるが、それに係わる具体的な方法の説明は省略する。このときの出力チャネルの偏差は、高度角または方位角差による偏差情報を含んでもよい。

図１３は、一実施形態において、入力チャネルの高度角が臨界値以上であるとき、左右音像が逆転される現象を示した図面である。

両耳に到逹した音の時間差、大きさ差、周波数特性差によって、音像の位置を区別する。両耳に到逹した信号特性の差が大きいときは、その位置をさらに容易に把握するだけではなく、少しの誤差が発生しても、音像の前後あるいは左右の混同は起きない。しかし、頭の真後ろ近辺や真ん前近辺に位置する仮想音源は、両耳に到逹する時間差及び大きさ差がほとんどないので、周波数特性差だけでその位置を認知しなければならない。

図１０の場合と同様に、図１３は、聴取者の後ろから見た様子であり、四角で表示されたチャネルは、ＣＨ＿Ｕ＿Ｌ９０チャネルである。このとき、ＣＨ＿Ｕ＿Ｌ９０の高度角がφであるとすれば、φが増加するほど、聴取者の左耳及び右耳に到逹する音響信号のＩＬＤ及びＩＴＤは、だんだんと小さくなり、両耳で認識する音響信号は、類似した音像を有することになる。高度角φの最大値が９０°であり、φが９０°になれば、聴取者の頭上に存在するＶＯＧチャネルになり、両耳に同一音響信号が受信されることになる。

図１３の左側図面のように、φが相当大きい値を有するならば、高度感が高くなり、強さ没入感を提供する音場感を感じることができる。しかし、高度感が高くなるにつれ、音像が狭くなり、スイートスポットが狭く形成されるので、聴取者の位置が少しだけ移動するか、あるいはチャネルが少しだけずれる場合でも、音像の左右逆転現象が示される。

図１３の右側図面は、聴取者が左側に若干移動した場合、聴取者とチャネルとの位置を示した図面である。チャネル高度角φが大きい値を有し、高度感が高く形成された場合であるので、聴取者が若干移動しても、左右チャネルの相対的な位置が大きく変化するようになり、最悪の場合、左側チャネルにもかかわらず、右耳に到逹する信号がさらに大きく認識され、図１３の右側図面のように、音像の左右反転が発生する。

レンダリング過程においては、高度感を付与することより、音像の左右バランス（balance）を維持し、音像の左右位置を定位させることがより重要な課題であるので、かような状況が発生しないためには、仮想レンダリングのための高度角を、一定範囲以下に制限することが必要である。

従って、レンダリングのための基本設定高度角より、さらに高い高度感を得るために、高度角を上昇させる場合、パンニング係数を低下させなければならないが、一定値以下では小さくならないように、パンニング係数の最小臨界値を設定する必要がある。

例えば、６０°以上のレンダリング高度を、６０°以上に上昇させた場合でも、強制的に、臨界高度角６０°に対して更新されたパンニング係数を適用し、パンニングを行うならば、音像の左右逆転現象を防止することができる。

仮想レンダリングを利用して、立体音響を生成すれば、サラウンドチャネルの再生成分によって、音響信号の前後混同（front-back confusion）現象が生じる。前後混同現象とは、立体音響において、仮想音源が前方（front）に存在するか、後方（back）に存在するかということを判断することができない現象を意味する。

図１３では、聴取者が移動した場合を仮定したが、音像が高くなるほど、聴取者が移動せずとも、個々人の聴覚器官の特性によって、音像の左右混同または前後混同が発生する可能性が高いという点は、当業者に自明であろう。

以下では、高度レンダリングパラメータ、すなわち、高度パンニング係数及び高度フィルタ係数を初期化して更新する具体的な方法について説明する。

高さ入力チャネルｉ_inの高度角ｅｌｖが３５°より大きいとき、ｉ_inが正面（frontal）チャネルである場合（方位角−９０°〜＋９０°）であるならば、更新された高度フィルタ係数

は、数式（１）ないし数式（３）によって決定される。

一方、高さ入力チャネルｉ_inの高度角ｅｌｖが３５°より大きいとき、ｉ_inが背面（rear）チャネルである場合（方位角−１８０°〜−９０°または９０°〜１８０°）であるならば、更新された高度フィルタ係数

は、数式（４）ないし数式（６）によって決定される。

このとき、ｆ_ｋは、ｋ番目周波バンドのノーマライズされた中心周波数であり、ｆ_ｓは、サンプリング周波数であり、

は、基準高度角であるときの高度フィルタ係数初期値である。

高度レンダリングのための高度角が基準高度角ではない場合、ＴＢＣチャネル（ＣＨ＿Ｕ＿１８０）及びＶＯＧチャネル（ＣＨ＿Ｔ＿０００）を除いた他の高さ入力チャネルに係わる高度パンニング係数も、更新されなければならない。

基準高度角（elevation angle）が３５°であり、ｉ_ｉｎがＴＦＣチャネル（ＣＨ＿Ｕ＿０００）である場合であるならば、更新された高度パンニング係数

および

は、それぞれ数式（７）及び数式（８）のように決定される。

このとき、

は、基準高度角３５°であり、ＴＦＣチャネルを仮想レンダリングするためのＳＬ出力チャネルのパンニング係数

は、基準高度角３５°であり、ＴＦＣチャネルを仮想レンダリングするためのＳＲチャネルのパンニング係数である。

ＴＦＣチャネルは、高度感を制御するために、左右チャネルゲインを調節することが不可能であるので、正面（frontal）チャネルに対する背面（rear）チャネルである、ＳＬチャネル及びＳＲチャネルに係わるゲインの比率を調節し、高度感を制御するのである。さらに詳細な内容は後述する。

ＴＦＣチャネル以外のチャネルについては、高さ入力チャネルの高度角が基準高度角である３５°より大きいとき、ｇ_Ｉ（ｅｌｖ）とｇ_Ｃ（ｅｌｖ）とのゲイン差によって、入力チャネルと同側チャネルのゲインは低減され、入力チャネルと異側（contralateral）チャネルのゲインは増加される。

例えば、入力チャネルがＣＨ＿Ｕ＿Ｌ０４５チャネルであるならば、入力チャネルと同側にある出力チャネルは、ＣＨ＿Ｍ＿Ｌ０３０及びＣＨ＿Ｍ＿Ｌ１１０であり、入力チャネルと異側にある出力チャネルは、ＣＨ＿Ｍ＿Ｒ０３０及びＣＨ＿Ｍ＿Ｒ１１０になる。

以下では、入力チャネルが側面チャネルである場合、または正面チャネルであるか、あるいは背面チャネルである場合、ｇ_Ｉ（ｅｌｖ）及びｇ_Ｃ（ｅｌｖ）を求め、そこから高度パンニングゲインを更新する具体的な方法について説明する。

高度角ｅｌｖを有する入力チャネルが、側面チャネル（方位角−１１０°〜−７０°または７０°〜１１０°）であるとき、ｇ_Ｉ（ｅｌｖ）及びｇ_Ｃ（ｅｌｖ）は、それぞれ数式（９）及び数式（１０）によって決定される。

高度角ｅｌｖを有する入力チャネルが、正面チャネル（方位角−７０°〜＋７０°）または背面チャネル（方位角−１８０°〜−１１０°または１１０°〜１８０°）であるとき、ｇ_Ｉ（ｅｌｖ）及びｇ_Ｃ（ｅｌｖ）は、それぞれ数式（１１）及び数式（１２）によって決定される。

数式（９）ないし数式（１２）によって得られた、ｇ_Ｉ（ｅｌｖ）及びｇ_Ｃ（ｅｌｖ）に基づいて、高度パンニング係数を更新することができる。

入力チャネルと同側にある出力チャネルに係わる更新された高度パンニング係数

及び入力チャネルと異側にある出力チャネルに係わる更新された高度パンニング係数

は、それぞれ数式（１３）及び数式（１４）によって決定される。

出力信号のエネルギーレベルを一定に維持するために、数式（１３）及び数式（１４）によって得られたパンニング係数は、数式（１５）及び数式（１６）によってパワーノーマライズされる。

かように、入力チャネルのパンニング係数の二乗の和が１になるように、パワーノーマライズ過程を経ることにより、パンニング係数更新前出力信号のエネルギーレベルと、パンニング係数更新後出力信号のエネルギーレベルとを同一に維持することができる。

及び

において、Ｈというインデックスは、高周波帯域においてのみ、高度パンニング係数が更新されるということを示す。数式（１３）及び数式（１４）の更新された高度パンニング係数は、高周波帯域２．８ｋＨｚ〜１０ｋＨｚ帯域においてのみ適用される。しかし、サラウンドチャネルに対して、高度パンニング係数を更新するときには、高周波帯域のみではなく、低周波帯域についても、高度パンニング係数を更新する。

高度角ｅｌｖを有する入力チャネルが、サラウンドチャネル（方位角−１６０°〜−１１０°または１１０°〜１６０°）であるとき、２．８ｋＨｚ以下の低周波帯域において、入力チャネルと同側にある出力チャネルに係わる更新された高度パンニング係数

及び入力チャネルと異側にある出力チャネルに係わる更新された高度パンニング係数

は、それぞれ式（１７）及び式（１８）によって決定される。

高周波帯域と同様に、低周波帯域の更新された高度パンニングゲインも、出力信号のエネルギーレベルを一定に維持するために、数式（１５）及び数式（１６）によって得られたパンニング係数は、数式（１９）及び数式（２０）によってパワーノーマライズされる。

かように、入力チャネルのパンニング係数の二乗の和が１になるように、パワーノーマライズ過程を経ることにより、パンニング係数更新前出力信号のエネルギーレベルと、パンニング係数更新後出力信号のエネルギーレベルとを同一に維持することができる。

図１４ないし図１７は、一実施形態による、音像の前後混同を防止するための方法について説明するための図面である。図１４は、一実施形態による、水平チャネル及び正面高さチャネルを図示している。

図１４に図示された実施形態によれば、出力チャネルは、５．０チャネル（ウーファーチャネルは図示せず）であり、正面高さ入力チャネルを、かような水平出力チャネルにレンダリングする場合を仮定する。５．０チャネルは、水平面１４１０に存在し、ＦＣ（front center）チャネル、ＦＬ（front left）チャネル、ＦＲ（front right）チャネル、ＳＬ（surround left）チャネル及びＳＲ（surround right）チャネルを含む。

正面高さチャネルは、図４において、アッパレイヤ１４２０に該当するチャネルであり、図１４の実施形態においては、ＴＦＣ（top front center）（正面高さ中心）チャネル、ＴＦＬ（top front left）（正面高さ左）チャネル及びＴＦＲ（top front right）（正面高さ右）チャネルを含む。

図１４に図示された実施形態において、入力チャネルが２２．２チャネルであると仮定すれば、２４チャネルの入力信号をレンダリング（ダウンミックス）し、５チャネルの出力信号を生成する。このとき、５チャネル出力信号には、２４チャネルの入力信号それぞれに該当する成分が、レンダリング規則によって配分されている。従って、出力チャネルであるＦＣ（front center）（正面中心）チャネル、ＦＬ（front left）（正面左）チャネル、ＦＲ（front right）（正面右）チャネル、ＳＬ（surround left）（左サラウンド）チャネル及びＳＲ（surround right）（右サラウンド）チャネルの信号は、入力信号それぞれに該当する成分を含む。

このとき、正面高さチャネル及び水平面チャネルの個数、方位角及び高さチャネルの高度角は、チャネルレイアウトによって多様に決定される。入力チャネルが、２２．２チャネルまたは２２．０チャネルであるならば、正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含んでもよい。出力チャネルが、５．０チャネルまたは５．１チャネルであるならば、サラウンドチャネルは、ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０のうち少なくとも一つを含んでもよい。

ただし、入出力マルチチャネルが標準レイアウトによらないとしても、各チャネルの高度角及び方位角によって、多様なマルチチャネルレイアウト構成が可能であるということは、当業者に自明である。

水平出力チャネル（horizontal channel）を利用して、高さ入力チャネル（height channel）信号を仮想レンダリングする場合、サラウンド出力チャネルは、音に高度感を付し、音像の高度を高くする役割を行う。従って、正面高さ入力チャネルの信号を、水平面チャネルである５．０出力チャネルに仮想レンダリングする場合、サラウンド出力チャネルであるＳＬチャネル及びＳＲチャネル出力信号によって、高度感が付与されて調節される。

しかし、ＨＲＴＦは、人ごとに固有特性を有するので、正面高さチャネルに仮想レンダリングされた信号が、聴取者のＨＲＴＦ特性によって、後ろから聞こえるように認識される前後混同現象が発生することもある。

図１５は、一実施形態による、正面高さチャネルの認識確率に係わる図面である。図１５は、水平出力チャネルを利用して、正面高さチャネル、ＴＦＲチャネルを仮想レンダリングした場合、ユーザが音像の位置（前後）を認識する確率を示した図面である。図１５において、ユーザの認識する高さは、高さチャネル１４２０であり、円の大きさは、確率の高さと比例する。

図１５について説明すれば、本来の仮想レンダリングされたチャネルの位置である右側４５°で音像を認識するユーザが最も多いが、かなりのユーザは、右側４５°ではない他の位置で音像を認識する。先に言及したように、かような現象は、個々人のＨＲＴＦ特性が異なるためであり、あるユーザの場合は、右側９０°よりさらに偏り、後方に音像が存在すると認識するということを確認することができる。

ＨＲＴＦは、頭周辺任意の位置に位置した音源から鼓膜までの音の伝達経路を、数学的伝達関数で表現したものを意味し、頭中心に対する音源の相対的位置や、人の頭と外耳（pinna）の大きさや形状によって非常に異なる。正確な仮想音源の描写のためには、対象になる人のＨＲＴＦを一つ一つ測定して使用しなければならないが、これは、現実的に困難であるので、一般的には、人体に類似したマネキンの鼓膜位置にマイクを設けて測定した非個別化された（non-individualized）ＨＲＴＦを使用する。

かような非個別化されたＨＲＴＦを利用して仮想音源を再現した場合、個人の頭や外耳が、マネキンまたはダミーヘッドマイクロフォンシステム（dummy head microphone system）と合わない場合、音像定位と係わる多様な問題が生じる。水平面上で感じられる角度の誤差は、個人の頭サイズを考慮して補正が可能であるが、高度感に発生する誤差または前後混同現象は、外耳の大きさと形状とが個々人ごとに異なるために発生する問題であるので、それの補正は容易ではない。

先に言及したように、頭の大きさ及び形態などによって、個々人ごとに固有ＨＲＴＦを有するが、それぞれの聴取者ごとに、互いに異なるＨＲＴＦを適用することは、現実的に困難である。従って、非個別化されたＨＲＴＦ、すなわち、共通ＨＲＴＦを使用することになるが、かような場合、前後混同現象が発生する可能性がある。

このとき、サラウンド出力チャネル信号に所定の時間遅延（time delay）を付与すれば、前後混同現象を防止することができる。

音は、全ての人に同一に認識されるものではなく、周辺環境や聴取者の心理状態によっても、互いに異なるように聞こえることになる。それは、音が伝播される空間での物理的現象は、聴取者に主観的であって感覚的に認識されるからである。かように、聴取者の主観的または心理的な要因に基づいて認識することになる音響信号を心理音響（psychoacoustic）という。該心理音響には、音圧、周波数、時間などの物理的変数以外にも、大きさ（loudness）、ピッチ（pitch）、音色（timble）、及び音に係わる経験などの主観的変数が影響を及ぼす。

心理音響では、各状況によるさまざまな効果が示されるが、代表的なものとして、マスキング効果、カクテル効果、方向知覚効果、距離知覚効果及び先行音効果などがある。心理音響に基づいた技術は、聴取者にさらに適切な音響信号を提供するために、多様な分野で応用されている。

先行音効果（precedence effect）は、ハース効果（Hass effect）ともいい、互いに異なる音が１ｍｓないし３０ｍｓの時間差に順次に生じる場合、最も先に音がした方向から音がすると聴取者に認識される現象をいう。しかし、２つの音の発生時間に５０ｍｓ以上差があれば、それぞれ異なる方向と認知される。

例えば、音像が定位された状態において、右側チャネルの出力信号を遅延させれば、音像が左に移り、右側で再生される信号と認識されるが、かような現象を先行音効果またはハース効果という。

サラウンド出力チャネルは、音像に高度感を付与するために使用されるが、図１５に図示されているように、一部聴取者には、サラウンド出力チャネル信号によって、正面チャネル（frontal channel）の信号が背面から聞こえるように認識される、前後混同（front-back confusion）現象が発生することになる。

先に言及した先行音効果を利用すれば、かような問題を解決することができる。正面高さ入力チャネルを再生するためのサラウンド出力チャネル信号に、所定の時間遅延を付加すれば、正面高さチャネル入力信号を再生する出力信号のうち、正面を基準に、−９０°〜＋９０°に存在する正面出力チャネルの信号より、正面を基準に、−１８０°〜−９０°または＋９０°〜＋１８０°に存在するサラウンド出力チャネルの信号がさらに遅く再生される。

従って、聴取者固有のＨＲＴＦによって、正面入力チャネルの音響信号が背面で再生されるように認識される場合でも、先行音効果によって、音響信号が先に再生される正面で再生されるように認識することになるのである。

図１６は、一実施形態による、前後混同を防止するための方法のフローチャートである。

レンダラは、複数個の入力チャネルを含むマルチチャネル音響信号を受信する（１６１０）。入力されたマルチチャネル音響信号は、レンダリングを介して、複数個の出力チャネル信号に変換され、入力チャネルの数より出力チャネルの数がさらに少ないダウンミックスの、例えば、２２．２チャネルを有する入力信号が、５．１チャネルまたは５．０チャネルを有する出力信号に変換される。

かように、三次元の立体音響入力信号を、二次元の出力チャネルを利用してレンダリングする場合、水平入力チャネルについては、一般レンダリングが適用され、高度角を有する高さチャネルについては、高度感を付与するための仮想レンダリングが適用される。

レンダリングを行うためには、フィルタリングに利用されるフィルタ係数、及びパンニングに利用されるパンニング係数が必要である。このとき、初期化過程において、出力チャネルの標準レイアウト、及び仮想レンダリングのための基本高度角によって、レンダリングパラメータを獲得する。基本高度角は、レンダラによって多様に決定されるが、ユーザの趣向、または入力信号の特性によって、基本高度角ではない所定高度角に設定することにより、仮想レンダリングの満足度及び効果を向上させることができる。

サラウンドチャネルによる前後混同現象を防止するために、正面高さチャネルに係わるサラウンド出力チャネルに、時間遅延を追加する（１６２０）。

正面高さ入力チャネルを再生するためのサラウンド出力チャネル信号に、所定の時間遅延を付加すれば、正面高さチャネル入力信号を再生する出力信号のうち、正面を基準に、−９０°〜＋９０°に存在する正面出力チャネルの信号より、正面を基準に、−１８０°〜−９０°または＋９０°〜＋１８０°に存在するサラウンド出力チャネルの信号がさらに遅く再生される。

従って、聴取者固有のＨＲＴＦによって、正面入力チャネルの音響信号が背面で再生されるように認識される場合でも、先行音効果によって、音響信号が先に再生される正面で再生されるように認識することになる。

かように、正面高さチャネルに係わるサラウンド出力チャネルを遅延させて再生するために、レンダラは、サラウンド出力チャネルに追加された遅延に基づいて、高度レンダリングパラメータを修正する（１６３０）。

高度レンダリングパラメータが修正されると、レンダラは、修正された高度レンダリングパラメータに基づいて、高度レンダリングされたサラウンド出力チャネルを生成する（１６４０）。具体的に説明すれば、修正された高度レンダリングパラメータを高さ入力チャネル信号に適用してレンダリングすることにより、サラウンド出力チャネル信号を生成する。かように、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングサラウンド出力チャネルは、サラウンド出力チャネルによる前後混同を防止することができる。

サラウンド出力チャネルに適用される時間遅延は、約２．７ｍｓ、距離上約９１．５ｃｍが適当であり、それは、４８ｋＨｚで１２８サンプル、すなわち、２ＱＭＦ（quadrature mirror filter）サンプルに該当する。ただし、前後混同を防止するために、サラウンド出力チャネルに追加される遅延は、サンプリングレートと再生環境によって異なる。

このとき、出力チャネルの構成が、当該出力チャネルの標準レイアウトと偏差が存在するか、あるいは仮想レンダリングを行わなければならない高度がレンダラの基本設定高度と異なるものであるならば、それに基づいて、レンダリングパラメータを更新する。更新されるレンダリングパラメータは、フィルタ係数の初期値に、高度角偏差に基づいて決定された加重値を付与して更新されたフィルタ係数、または入力チャネルの高度と、基本設定高度との高さ比較結果によって、パンニング係数の初期値を増大または減少させて更新されたパンニング係数を含んでもよい。

もし空間高度レンダリングされる正面高さ入力チャネルが存在するのであるならば、正面入力チャネルの遅延されたＱＭＦサンプルが、入力ＱＭＦサンプルに加えられ、ダウンミックスマトリックスは、修正された係数に拡張される。

所定の正面高さ入力チャネルに時間遅延を付加し、レンダリング（ダウンミックス）マトリックスを修正する具体的な方法は、次の通りである。

入力チャネルの個数がＮｉｎである場合［１ Ｎｉｎ］チャネルのうちｉ番目入力チャネルについて、ｉ番目入力チャネルが高さ入力チャネル（ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００）のうち一つであるならば、入力チャネルのＱＭＦサンプル遅延、及び遅延されたＱＭＦサンプルは、数式（２１）及び数式（２２）でのように決定される。

delay = round(fs*0.003/64) （２１）

このとき、ｆｓは、サンプリング周波数を示し、

は、ｋ番目バンドのｎ番目ＱＭＦサブバンドサンプルを示す。サラウンド出力チャネルに適用される時間遅延は、約２．７ｍｓ、距離上約９１．５ｃｍが適し、それは、４８ｋＨｚにおいて１２８サンプル、すなわち、２ ＱＭＦサンプルに該当する。ただし、前後混同を防止するために、サラウンド出力チャネルに追加される時間遅延は、サンプリングレート及び再生環境によって異なる。

修正されたレンダリング（ダウンミックス）マトリックスは、数式（２３）ないし数式（２５）でのように決定される。

Nin = Nin + 1 （２５）
このとき、Ｍ_ＤＭＸは、高度レンダリングのためのダウンミックスマトリックスを示し、Ｍ_ＤＭＸ２は、一般レンダリングのためのダウンミックスマトリックスを示し、Ｎｏｕｔは、出力チャネルの個数を示す。

各入力チャネルに係わるダウンミックスマトリックスを完成するために、Ｎｉｎを１ずつ増加させ、数式（３）及び数式（４）の過程を反復する。１つの入力チャネルに係わるダウンミックスマトリックスを獲得するためには、各出力チャネルに係わるダウンミックスパラメータを獲得しなければならない。

ｉ番目入力チャネルに係わるｊ番目出力チャネルのダウンミックスパラメータは、次のように決定される。

出力チャネルの個数がＮｏｕｔである場合［１ Ｎｏｕｔ］チャネルのうち、ｊ番目出力チャネルについて、ｊ番目出力チャネルがサラウンドチャネル（ＣＨ＿Ｍ＿Ｌ１１０またはＣＨ＿Ｍ＿Ｒ１１０）のうち一つであるならば、出力チャネルに適用されるダウンミックスパラメータは、数式（２６）のように決定される。

出力チャネルの個数Ｎｏｕｔについて、［１ Ｎｏｕｔ］のうち、ｊ番目出力チャネルについて、もしｊ番目出力チャネルがサラウンドチャネル（ＣＨ＿Ｍ＿Ｌ１１０またはＣＨ＿Ｍ＿Ｒ１１０）ではないならば、出力チャネルに適用されるダウンミックスパラメータは、数式（２７）のように決定される。

もし出力チャネルのスピーカレイアウトが、標準レイアウトと比較し、偏差が存在するものであるならば、それによる影響を補正するための過程が追加されるが、それに係わる具体的な方法の説明は省略する。そのときの出力チャネルの偏差は、高度角差または方位角差による偏差情報を含んでもよい。

図１７は、一実施形態による、サラウンド出力チャネルに遅延が追加された、水平チャネル及び正面高さチャネルを図示している。図１７に図示された実施形態は、図１４に図示された実施形態と同様に、出力チャネルは、５．０チャネル（ウーファーチャネル図示せず）であり、正面高さ入力チャネルをかような水平出力チャネルにレンダリングする場合を仮定する。５．０チャネルは、水平面１４１０に存在し、ＦＣ（front center）チャネル、ＦＬ（front left）チャネル、ＦＲ（front right）チャネル、ＳＬ（surround left）チャネル及びＳＲ（surround right）チャネルを含む。

正面高さチャネルは、図４において、アッパレイヤ１４２０に該当するチャネルであり、図１４の実施形態においては、ＴＦＣ（top front center）チャネル、ＴＦＬ（top front left）チャネル及びＴＦＲ（top front right）チャネルを含む。

図１７に図示された実施形態は、図１４に図示された実施形態と同様に、入力チャネルが２２．２チャネルであると仮定すれば、２４チャネルの入力信号をレンダリング（ダウンミックス）し、５チャネルの出力信号を生成する。このとき、５チャネル出力信号には、２４チャネルの入力信号それぞれに該当する成分が、レンダリング規則によって配分されている。従って、出力チャネルである、ＦＣチャネル、ＦＬチャネル、ＦＲチャネル、ＳＬチャネル及びＳＲチャネルの信号は、入力信号それぞれに該当する成分を含む。

このとき、正面高さチャネル及び水平面チャネルの個数、方位角、及び高さチャネルの高度角は、チャネルレイアウトによって多様に決定される。入力チャネルが２２．２チャネルまたは２２．０チャネルであるならば、正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含んでもよい。出力チャネルが５．０チャネルまたは５．１チャネルであるならば、サラウンドチャネルは、ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０のうち少なくとも一つを含んでもよい。

ただし、入出力マルチチャネルが標準レイアウトによるものではないとしても、各チャネルの高度角及び方位角によって、多様なマルチチャネルレイアウト構成が可能であるということは、当業者に自明であろう。

このとき、ＳＬチャネル及びＳＲチャネルによって発生する前後混同現象を防止するために、サラウンド出力チャネルを介してレンダリングされる正面高さ入力チャネルに対して、所定の遅延を付加する。修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングサラウンド出力チャネルは、サラウンド出力チャネルによる前後混同を防止することができる。

遅延が付加した音響信号、及び付加された遅延に基づいて修正された高度レンダリングパラメータを求める方法は、数式（１）ないし数式（７）に示されている。先に図１６の実施形態において、それについて詳細に説明したので、図１７の実施形態においては、それに係わる詳細な説明は省略する。

サラウンド出力チャネルに適用される時間遅延は、約２．７ｍｓ、距離上約９１．５ｃｍが適し、それは、４８ｋＨｚにおいて、１２８サンプル、すなわち、２ ＱＭＦサンプルに該当する。ただし、前後混同を防止するために、サラウンド出力チャネルに追加される遅延は、サンプリングレート及び再生環境によって異なる。

図１８は、一実施形態による、水平チャネル及び正面中央チャネル（ＴＦＣチャネル）を図示している。図１８に図示された実施形態によれば、出力チャネルは、５．０チャネル（ウーファーチャネル図示せず）であり、ＴＦＣ（top front center）チャネルをかような水平出力チャネルにレンダリングする場合を仮定する。５．０チャネルは、水平面１８１０に存在し、ＦＣ（front center）チャネル、ＦＬ（front left）チャネル、ＦＲ（front right）チャネル、ＳＬ（surround left）チャネル及びＳＲ（surround right）チャネルを含む。ＴＦＣチャネルは、図４において、アッパレイヤ１８２０に該当するチャネルであり、方位角は、０°であり、所定高度角に位置する場合を仮定する。

先に言及したように、音像の左右逆転が発生しないようにすることは、音響信号をレンダリングする方法で非常に重要である。水平出力チャネルにおいて、高度角を有する高さ入力チャネルをレンダリングするためには、仮想レンダリングを行わなければならず、レンダリングを介して、マルチチャネル入力チャネル信号は、マルチチャネル出力信号にパンニングされる。

特定高度で高度感を提供する仮想レンダリングのために、各パンニング係数及びフィルタ係数を決定することになるが、ＴＦＣチャネル入力信号は、聴取者の正面、すなわち、中心（center）に音像が位置しなければならないので、ＦＬチャネル及びＦＲチャネルのパンニング係数は、ＴＦＣチャネルの音像が正面に存在するように決定される。

出力チャネルのレイアウトが、標準レイアウトによる場合であるならば、ＦＬチャネル及びＦＲチャネルのパンニング係数は、同一でなければならず、ＳＬチャネル及びＳＲチャネルのパンニング係数も、同一でなければならないのである。

かように、ＴＦＣ入力チャネルをレンダリングするための左右側チャネルのパンニング係数は、同一でなければならないので、ＴＦＣ入力チャネルの高度感を調節するために、左右側チャネルのパンニング係数を調節することが不可能である。従って、ＴＦＣ入力チャネルをレンダリングして高度感を付与するためには、前後（front−rear）チャネル間のパンニング係数を調節する。

基準高度角（elevation angle）が３５°であり、レンダリングするＴＦＣ入力チャネルの高度角がｅｌｖであるとすれば、ＴＦＣ入力チャネルを、高度角ｅｌｖで仮想レンダリングをするためのＳＬチャネル及びＳＲチャネルのパンニング係数は、それぞれ数式（２８）及び数式（２９）でのように決定される。

このとき、G_vH0,5(i_in)は、基準高度角３５°で仮想レンダリングを行うためのＳＬチャネルのパンニング係数であり、G_vH0,6(i_in)は、基準高度角３５°で仮想レンダリングを行うためのＳＲチャネルのパンニング係数である。ｉ_ｉｎは、高さ入力チャネルに係わるインデックスであり、数式（２８）及び数式（２９）は、高さ入力チャネルがＴＦＣチャネルである場合のパンニング係数の初期値と、更新されたパンニング係数との関係を示す。

ここで、出力信号のエネルギーレベルを一定に維持するために、数式（２８）及び数式（２９）によって得られたパンニング係数をそのまま使用せず、数式（３０）及び数式（３１）によってパワーノーマライズして使用する。

かように、入力チャネルのパンニング係数の二乗の和が１になるように、パワーノーマライズ過程を経ることにより、パンニング係数更新前出力信号のエネルギーレベルと、パンニング係数更新後出力信号のエネルギーレベルとを同一に維持することができる。

以上で説明した本発明による実施形態は、多様なコンピュータ構成要素を介して実行されるプログラム命令語の形態に具現され、コンピュータ可読記録媒体に記録される。前記コンピュータ可読記録媒体は、プログラム命令語、データファイル、データ構造などを、単独でまたは組み合わせて含んでもよい。前記コンピュータ可読記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア分野の当業者に公知されて使用可能なものでもある。コンピュータ可読記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ（compact disc read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フラッシュメモリのような、プログラム命令語を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードも含まれる。ハードウェア装置は、本発明による処理を行うために、１以上のソフトウェアモジュールに変更され、その逆も同様である。

以上、本発明について、具体的な構成要素のような特定事項、限定された実施形態及び図面によって説明したが、それらは、本発明のさらに全般的な理解の一助とするために提供されたものであるのみ、本発明は、前述の実施形態に限定されるものではなく、本発明が属する技術分野で当業者であるならば、かような記載から多様な修正及び変更を図ることができるであろう。

従って、本発明の思想は、前述の実施形態に限って決められるものではなく、特許請求の範囲だけではなく、該特許請求の範囲と均等であるか、あるいはそれらから等価的に変更された全ての範囲は、本発明の思想の範疇に属するものであるとすることができる。

Claims (11)

1. 音響信号を高度レンダリングする方法において、
   高さ入力チャネル信号を含むマルチチャネル信号を受信する段階と、
   前記マルチチャネル信号に対する第１高度レンダリングパラメータを獲得する段階と、
   前記高さ入力チャネル信号のラベルが正面高さチャネルラベルのうち１つである場合、前記高さ入力チャネル信号に、所定の遅延を付加して遅延された高さ入力チャネル信号を獲得する段階と、
   前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、サラウンドチャネルラベルである２つの出力チャネル信号のラベルに基づいて、前記遅延された高さ入力チャネル信号に係わる第２高度レンダリングパラメータを獲得する段階と、
   前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、複数個の出力チャネル信号を出力するために、前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータに基づいて、前記マルチチャネル信号及び前記遅延された高さ入力チャネル信号を高度レンダリングする段階と、を含み、
   前記複数個の出力チャネル信号は、水平チャネル信号であり、
   前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む、音響信号をレンダリングする方法。
2. 前記正面高さチャネルラベルは、
   ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含む、請求項１に記載の音響信号をレンダリングする方法。
3. 前記サラウンドチャネルラベルは、
   ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０を含む、請求項１に記載の音響信号をレンダリングする方法。
4. 前記所定の遅延は、前記マルチチャネル信号のサンプリングレートに基づいて決定される、請求項１に記載の音響信号をレンダリングする方法。
5. 前記所定の遅延は、次のような方程式
   
   によって決定され、このとき、前記ｆ_ｓは、前記マルチチャネル信号のサンプリングレートである、請求項４に記載の音響信号をレンダリングする方法。
6. 音響信号をレンダリングする装置において、
   高さ入力チャネル信号を含むマルチチャネル信号を受信する受信部と、
   前記マルチチャネル信号に対する第１高度レンダリングパラメータを獲得し、
   前記高さ入力チャネル信号のラベルが正面高さチャネルラベルのうち１つである場合、前記高さ入力チャネル信号に所定の遅延を付加して遅延された高さ入力チャネル信号を獲得し、
   前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、サラウンドチャネルラベルである２つの出力チャネル信号のラベルに基づいて、前記遅延された高さ入力チャネル信号に係わる第２高度レンダリングパラメータを獲得し、
   前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、複数個の出力チャネル信号を出力するために、前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータに基づいて、前記マルチチャネル信号及び前記遅延された高さ入力チャネル信号を高度レンダリングする高度レンダリング部と、を含み、
   前記複数個の出力チャネル信号は、水平チャネル信号であり、
   前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む、音響信号をレンダリングする装置。
7. 前記正面高さチャネルラベルは、
   ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含む、請求項６に記載の音響信号をレンダリングする装置。
8. 前記サラウンドチャネルラベルは、
   ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０を含む、請求項６に記載の音響信号をレンダリングする装置。
9. 前記所定の遅延は、前記マルチチャネル信号のサンプリングレートに基づいて決定される、請求項６に記載の音響信号をレンダリングする装置。
10. 前記所定の遅延は、次のような方程式
    によって決定され、このとき、前記ｆ_ｓは、前記マルチチャネル信号のサンプリングレートである、請求項９に記載の音響信号をレンダリングする装置。
11. 請求項１に記載の方法を実行するためのコンピュータプログラムを記録するコンピュータ可読記録媒体。