JP7038725B2

JP7038725B2 - オーディオ信号処理方法及び装置

Info

Publication number: JP7038725B2
Application number: JP2019543846A
Authority: JP
Inventors: ヨンヒョン・ペク; チョンフン・ソ; セウン・チョン; サンペ・チョン
Original assignee: ガウディオ・ラボ・インコーポレイテッド
Priority date: 2017-02-10
Filing date: 2018-02-12
Publication date: 2022-03-18
Anticipated expiration: 2038-02-12
Also published as: JP2020506639A; US20180242094A1; WO2018147701A1; US10165381B2

Description

本開示はオーディオ信号処理方法及び装置に関し、より詳しくは、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を提供するオーディオ信号処理方法及び装置に関する。

ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）機器において、イマーシブ（ｉｍｍｅｒｓｉｖｅ）及びインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）オーディオを提供するために、バイノーラルレンダリング（ｂｉｎａｕｒａｌｒｅｎｄｅｒｉｎｇ）技術が必須的に求められている。バイノーラルレンダリングは、３次元空間上で臨場感のあるサウンドを提供する３Ｄオーディオを、人の両耳に提供右される信号にモデリングすることである。聴取者は、ヘッドホンやイヤホンなどを介したバイノーラルレンダリングされた２チャネルオーディオ出力信号を介しても立体感を感じることができる。バイノーラルレンダリングの具体的な原理は以下のようである。人は常に両耳を介して音を聞き、音を介して音源の位置と方向を認識する。よって、３Ｄオーディオを人の両耳に伝達されるオーディオ信号の形態にモデリングすることができれば、多数のスピーカがなくても、２チャネルオーディオ出力を介しても２Ｄオーディオの立体感を再現することができる。

この際、バイノーラルレンダリングの対象となるオーディオ信号が含むオブジェクト（ｏｂｊｅｃｔ）またはチャネル個数が増加すれば、バイノーラルレンダリングに必要な演算量及び電力消耗が増加する恐れがある。それによって、演算量及び電力消耗の制約があるモバイルディバイスにおいて、入力信号に対するバイノーラルレンダリングを効率的に行うための技術が求められている。

また、オーディオ信号処理装置がＨＲＴＦ（ｈｅａｄｒｅｌａｔｅｄｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎ）のようなバイノーラル伝達関数を利用して入力オーディオ信号をバイノーラルレンダリングすれば、バイノーラル伝達関数の特性による音色変化は音楽のような高音質コンテンツの音質低下の要因とあり得る。高音質が求められるコンテンツの音色が大きく変われば、聴取者に提供される仮想現実の効果を低下する恐れがある。それによって、入力オーディオ信号の音色保存及び音相定位を考慮したバイノーラルレンダリング関連技術が求められている。

本開示に一実施例は、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を精製するに当たって、求められる音相定位性能及び音色保存性能による出力オーディオ信号を生成するオーディオ信号処理装置及び方法を提供することを目的とする。

本発明の一実施例によって入力オーディオ信号をレンダリングするオーディオ信号処理装置は、前記入力オーディオ信号を受信する受信部と、前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するプロセッサと、前記プロセッサによって生成された出力オーディオ信号を出力する出力部と、を含む。前記プロセッサは、聴取者を基準に前記入力オーディオ信号に対応する仮想の音源の位置に基づいて第１伝達関数（ｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎ）を獲得し、周波数ドメインで一定な大きさの値（ｍａｇｎｉｔｕｄｅ）を有する少なくとも一つのフラット応答を生成し、前記第１伝達関数及び前記少なくとも一つのフラット応答に基づいて第２伝達関数を生成し、前記生成された第２伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして前記出力オーディオ信号を生成する。

前記プロセッサは、前記第１伝達関数と前記少なくとも一つのフラット応答を加重合計（ｗｅｉｇｈｔｅｄｓｕｍ）して前記第２伝達関数を生成する。

前記プロセッサは、前記入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて前記第１伝達関数と前記少なくとも一つのフラット応答との間の加重合計に利用される加重パラメータを決定し、前記決定された加重パラメータに基づいて前記第２伝達関数を生成する。

前記プロセッサは、前記加重パラメータに基づいて前記大きさ成分と前記少なくとも一つのフラット応答を周波数ビン（ｆｒｅｑｕｅｎｃｙｂｉｎ）別に加重合計して前記第２伝達関数を生成する。この際、周波数ドメインにおいて、それぞれの周波数ビンに対応する前記第２伝達関数の位相成分は前記第１伝達関数の位相成分と同じである。

前記プロセッサは、前記聴取者を基準に、前記入力オーディオ信号に対応する仮想の音源の位置に基づいて前記パニングゲインを決定する。また、前記プロセッサは、前記パニングゲインに基づいて前記少なくとも一つのフラット応答を生成する。

前記プロセッサは、前記仮想の音源の位置を示す両耳間極座標（ｉｎｔｅｒａｕｒａｌｐｏｌａｔｃｏｏｒｄｉｎａｔｅｐｏｉｎｔ）の方位角の値に基づいて前記パニングゲインを決定する。

前記プロセッサは、前記仮想の音源の位置を示す垂直極座標を前記両耳間極座標に変換し、前記変換された両耳間極座標の方位角の値に基づいて前記パニングゲインを決定する。

前記プロセッサは、前記第１伝達関数の少なくとも一部分に基づいて前記少なくとも一つのフラット応答を生成する。この際、前記少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第１伝達関数の大きさ成分の平均である。

前記第１伝達関数は、前記入力オーディオ信号に対応する仮想の音源の位置に対応するＨＲＴＦの対（ｐａｉｒ）が含む同側のＨＲＴＦ及び対側のＨＲＴＦのうちいずれか一つである。

この際、前記プロセッサは、前記同側のＨＲＴＦ及び前記対側のＨＲＴＦそれぞれ、及び前記少なくとも一つのフラット応答に基づいて同側の第２伝達関数及び対側の第２伝達関数それぞれを生成し、前記同側の第２伝達関数及び対側の第２伝達関数のエネルギーレベルの合計を前記同側のＨＲＴＦ及び前記対側のＨＲＴＦのエネルギーレベルの合計と同じになるように設定する。

本発明の一実施例によるオーディオ信号処理装置は、前記第１伝達関数及び前記少なくとも一つのフラット応答に基づいて前記出力オーディオ信号を生成する。前記プロセッサは、前記第１伝達関数に基づいて前記入力オーディオ信号をフィルタリングして第１中間信号を生成する。ここで、前記入力オーディオ信号をフィルタリングして前記第１中間信号を生成することは、前記入力オーディオ信号をバイノーラルレンダリングして前記第１中間信号を生成することを含む。また、前記プロセッサは、前記少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングして第２中間信号を生成する。

前記プロセッサは、前記第１中間信号及び前記第２中間信号をミキシング（ｍｉｘｉｎｇ）して出力オーディオ信号を生成する。前記プロセッサは、前記第１中間信号及び前記第２中間信号をミキシングに利用されるミキシングゲインを決定する。ここで、ミキシングゲインは、前記出力オーディオ信号に反映される前記第１中間信号と前記第２中間信号と間の割合を示す。

前記プロセッサは、前記入力信号に対応するバイノーラル効果強度情報に基づいて、前記第１伝達関数に適用される第１ミキシングゲイン及び前記少なくとも一つのフラット応答に適用される第２ミキシングゲインを決定する。前記プロセッサは、前記第１ミキシングゲイン及び前記第２ミキシングゲインに基づいて、前記第１伝達関数及び前記少なくとも一つのフラット応答をミキシングして出力オーディオ信号を生成する。

本発明の一実施例によるオーディオ信号処理方法は、入力オーディオ信号を受信するステップと、聴取者を基準に前記入力オーディオ信号に対応する仮想の音源の位置に基づいて第１伝達関数を獲得するステップと、周波数ドメインにおいて一定な大きさの値を有する少なくとも一つのフラット応答を生成するステップと、前記第１伝達関数及び前記少なくとも一つのフラット応答に基づいて前記第２伝達関数を生成するステップと、前記生成された第２伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するステップと、前記生成された出力オーディオ信号を出力するステップと、を含む。

本発明の実施例によるオーディオ信号処理装置及び方法は、フラット応答を利用してバイノーラルレンダリング過程で発生する音色歪曲を緩和することができる。また、オーディオ信号処理装置及び方法は、音相定位の程度を調節して高度感を示す特徴を生かしながら、音色を保存する効果を有する。

本開示の一実施例によるオーディオ信号処理装置の構成を示すブロック図である。本開示の一実施例による第１伝達関数、第２伝達関数、及びフラット応答の周波数応答を示す。本開示の一実施例によるオーディオ信号処理装置が第１伝達関数の対に基づいて第２伝達関数の対を生成する方法を示すブロック図である。ラウドスピーカ環境において、オーディオ信号処理装置がパニングゲインを決定する方法を示す図である。垂直極座標系及び両耳間極座標系を示す図である。本開示の他の一実施例によってオーディオ信号処理装置が両耳間極座標系を利用して出力オーディオ信号を生成する方法を示す図である。本開示の一実施例によるオーディオ信号処理装置の動作方法を示すフローチャートである。

以下、添付した図面を参照し本発明の実施例について本発明が属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本発明は様々な異なる形態に具現されてもよく、ここで説明する実施例に限らない。そして、図面において、本発明を明確に説明するために説明とは関係のない部分は省略しており、明細書全体にわたって類似した部分に対しては類似した図面符号をつけている。

また、ある部分がある構成要素を「含む」という際、これは特に反対する記載がない限り、他の構成要素を除くのではなく、他の構成要素を更に含むことを意味する。また、ある部分がある構成要素を「含む」という際、これは特に反対する記載がない限り、他の構成要素を除くのではなく、他の構成要素を更に含むことを意味する。

本出願は、韓国特許出願第１０－２０１７-００１８５１５号（２０１７．０２．１０）に基づく優先権を主張し、優先権の基礎となる前記出願に述べられた実施例及び記載事項は、本出願の詳細な説明に含まれるとする。

本開示は、オーディオ信号処理装置が入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する方法に関する。本発明の一実施例によって、オーディオ信号処理装置は、前記入力オーディオ信号に対応する両耳間伝達関数の対（ｂｉｎａｕｒａｌｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎｐａｉｒ）及びフラット応答に基づいて出力オーディオ信号を生成する。本開示の実施例によるオーディオ信号処理装置は、フラット応答を利用してバイノーラルレンダリング過程で発生する音色歪曲（ｔｉｍｂｒｅｄｉｓｔｏｒｔｉｏｎ）を緩和する。また、本開示の一実施例によるオーディオ信号処理装置は、フラット応答及び加重パラメータを利用して聴取者にバイノーラルレンダリング効果強度制御（ＢｉｎａｕｒａｌＲｅｎｄｅｒｉｎｇＥｆｆｅｃｔＳｔｒｅｎｇｔｈＣｏｎｔｒｏｌ）による多様なサウンド環境を提供する。

以下、添付した図面を参照して本発明を詳細に説明する。

図１は、本開示の一実施例によるオーディオ信号処理装置１００の構成を示すブロック図である。

一実施例によって、オーディオ信号処理装置１００は、受信部１１０、プロセッサ１２０、及び出力部１３０を含む。しかし、図１に示した構成要素全てがオーディオ信号処理装置の必須構成要素ではない。オーディオ信号処理装置１００は、図１に示していない構成要素を追加に含んでもよい。それだけでなく、図１に示したオーディオ信号処理装置１００の構成要素のうち少なくとも一部が省略されてもよい。

受信部１１０は、オーディオ信号を受信する。受信部１１０は、オーディオ信号処理装置１００に入力される入力オーディオ信号を受信する。受信部１１０は、プロセッサ１２０によるバイノーラルレンダリングの対象となる入力オーディオ信号を受信する。

ここで、入力オーディオ信号は、オブジェクト信号またはチャネル信号のうち少なくとも一つを含む。この際、オーディオ信号は、１つのオブジェクト信号またはモノ信号である。または、オーディオ信号は、マルチオブジェクトまたはマルチチャネル信号であってもよい。一実施例によって、オーディオ信号処理装置１００が別途のデコーダを含めば、オーディオ信号処理装置１００は入力オーディオ信号の符号化されたビットストリームを受信してもよい。

一実施例によって、受信部１１０は入力オーディオ信号を受信するための受信手段を備える。例えば、受信部１１０は、有線で伝送される入力オーディオ信号を受信するオーディオ信号処入力端子を含んでもよい。または、受信部１１０は、無線で伝送されるオーディオ信号を受信する無線オーディオ信号受信モジュールを含んでもよい。この場合、受信部１１０は、ブルートゥース(登録商標)（ｂｌｕｅｔｏｏｔｈ）またはワイファイ（Ｗｉ－Ｆｉ）通信方法を利用して無線で伝送されるオーディオ信号を受信する。

プロセッサ１２０は、一つ以上のプロセッサを備えてオーディオ信号処理装置１００の全般的な動作を制御する。例えば、プロセッサ１２０は少なくとも一つのプログラムを実行することで、受信部１１０及び出力部１３０の動作を制御する。また、プロセッサ１２０は少なくとも一つのプログラムを実行して、後述する図３乃至図６のオーディオ信号処理装置１００の動作を行う。

例えば、プロセッサ１２０は出力オーディオ信号を生成する。プロセッサ１２０は、受信部１１０を介して受信された入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。プロセッサ１２０は、後述する出力部１３０を介して出力オーディオ信号を出力する。

一実施例によって、出力オーディオ信号はバイノーラルオーディオ信号である。例えば、出力オーディオ信号は、入力オーディオ信号が３次元空間に位置する仮想の音源で表現される２チャネルオーディオ信号であってもよい。プロセッサ１２０は、後述する伝達関数の対に基づいてバイノーラルレンダリングを行う。プロセッサ１２０は、時間ドメインまたは周波数ドメイン上でバイノーラルレンダリングを行う。

一実施例によって、プロセッサ１２０は入力オーディオ信号をバイノーラルレンダリングして２チャネル出力オーディオ信号を生成する。例えば、プロセッサ１２０は聴取者の両耳にそれぞれ対応する２チャネル出力オーディオ信号を生成してもよい。この際、２チャネル出力オーディオ信号は、バイノーラル２チャネル出力オーディオ信号である。プロセッサ１２０は、上述した入力オーディオ信号に対してバイノーラルレンダリングを行い、３次元上に表現されるオーディオヘッドホン信号を生成する。

一実施例によって、プロセッサ１２０は伝達関数の対に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。伝達関数の対は、少なくとも一つの伝達関数を含む。例えば、伝達関数の対は聴取者の両耳に対応する一対の伝達関数を含む。伝達関数の対は、同側（ｉｐｓｉｌａｔｅｒａｌ）伝達関数及び対側（ｃｏｎｔｒａｌａｔｅｒａｌ）伝達関数を含む。詳しくは、伝達関数の対は、同側の耳のためのチャネルに対応する同側のＨＲＴＦ、及び対側の耳のためのチャネルに対応する対側のＨＲＴＦを含む。

以下では説明の便宜上、特別な記載がない限り、伝達関数の対が含む少なくとも一つの伝達関数のうちからいずれか一つを示す用語として伝達関数を利用する。伝達関数を利用して説明される実施例は、少なくとも一つの伝達関数それぞれに対して同じく適用される。例えば、第１伝達関数の対が同側の第１伝達関数及び対側の第１伝達関数を含めば、同側の第１伝達関数または対側の第１伝達関数の対のうちいずれか一つを示す第１伝達関数を利用して実施例を説明する。第１伝達関数を利用して説明する実施例は、同側及び対側の第１伝達関数の対それぞれに対して同じまたは相応する方法で適用される。

本開示において、伝達関数は入力オーディオ信号のバイノーラルレンダリングに利用されるバイノーラル伝達関数の対を含む。伝達関数は、ＨＲＴＦ、ＩＴＦ（ＩｎｔｅｒａｕｒａｌＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）、ＭＩＴＦ（ＭｏｄｉｆｉｅｄＩＴＦ）、ＢＲＴＦ（ＢｉｎａｕｒａｌＲｏｏｍＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）、ＲＩＲ（ＲｏｏｍＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）、ＢＲＩＲ（ＢｉｎａｕｒａｌＲｏｏｍＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）、ＨＲＩＲ（ＨｅａｄＲｅｌａｔｅｄＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）、及びこれの変形及び編集されたデータのうち少なくとも一つを含むが、本開示はこれに限らない。例えば、バイノーラル伝達関数は、複数のバイノーラル伝達関数を線形結合して獲得した２次的バイノーラル伝達関数を含んでもよい。

伝達関数は無響室で測定されたものであり、シミュレーションで推定されたＨＲＴＦに関する情報を含む。ＨＲＴＦを推定するのに使用されるシミュレーション技法は、球状ヘッドモデル（ＳｐｈｅｒｉｃａｌＨｅａｄＭｏｄｅｌ、ＳＨＭ）、スノーマンモデル（ｓｎｏｗｍａｎｍｏｄｅｌ）、有限差分時間領域技法（Ｆｉｎｉｔｅ－ＤｉｆｆｅｒｅｎｃｅＴｉｍｅ－ＤｏｍａｉｎＭｅｔｈｏｄ、ＦＤＴＤＭ）、及び境界要素法（ＢｏｕｎｄａｒｙＥｌｅｍｅｎｔＭｅｔｈｏｄ、ＢＥＭ）のうち少なくとも一つである。この際、球状ヘッドモデルは人の頭が球状であると仮定してシミュレーションするシミュレーション技法を指す。また、スノーマンモデルは頭と体が球状であると仮定してシミュレーションするシミュレーション技法を指す。伝達関数はＩＲ（ＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）を高速フーリエ変換（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）したものであってもよいが、変換方法はこれに限らない。

一実施例によって、プロセッサ１２０は入力オーディオ信号に対応する仮想の音源の位置に基づいて伝達関数の対を決定する。この際、プロセッサ１２０はオーディオ信号処理装置１００ではない他の装置（図示せず）から伝達関数の対を獲得してもよい。例えば、プロセッサ１２０は複数の伝達関数を含むデータベース（ｄａｔａｂａｓｅ）から少なくいとも一つの伝達関数を受信してもよい。データベースは、複数の伝達関数の対を含む伝達関数のセットを貯蔵する外部の装置である。この際、オーディオ信号処理装置１００はデータベースに伝達関数を要請し、データベースから伝達関数に関する情報を受信する別途の通信部（図示せず）を含んでもよい。または、プロセッサ１２０は、オーディオ信号処理装置１００に貯蔵された伝達関数のセットに基づいて入力オーディオ信号に対応する伝達関数の対を獲得してもよい。

一実施例によって、プロセッサ１２０は上述した方法で獲得した伝達関数の対に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。例えば、プロセッサ１２０はデータベースから獲得した第１伝達関数及び少なくとも一つのフラット応答に基づいて第２伝達関数を生成する。また、プロセッサ１２０は、生成された第２伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。それについては、フラット応答を利用して出力オーディオ信号を生成する方法に関して詳しく後述する。フラット応答は、周波数ドメインで一定な大きさの値（ｍａｇｎｉｔｕｄｅ）を有するフィルタ応答である。

一実施例によって、プロセッサ１２０の出力オーディオ信号に対するポストプロセッシングが追加に行われる。ポストプロセッシングにはクローストークの除去、ＤＲＣ（ＤｙｎａｍｉｃＲａｎｇｅＣｏｎｔｒｏｌ）、音量正規化、ピークの制限などが含まれる。また、ポストプロセッシングは、プロセッサ１２０の出力オーディオ信号に対する周波数／時間ドメインの変換を含む。オーディオ信号処理装置１００はポストプロセッシングを行う別途のポストプロセッシング部を含むが、他の実施例によると、ポストプロセッシング部はプロセッサ１２０に含まれてもよい。

出力部１３０は、出力オーディオ信号を出力する。出力部１３０は、プロセッサ１２０によって生成された出力オーディオ信号を出力する。出力部１３０は少なくとも一つの出力チャネルを含む。ここで、出力オーディオ信号は聴取者の両耳にそれぞれ対応する２チャネル出力オーディオ信号である。出力オーディオ信号は、バイノーラル２チャネル出力オーディオ信号である。出力部１３０は、プロセッサ１２０によって生成された３Ｄオーディオヘッドホン信号を出力する。

一実施例によって、出力部１３０はオーディオ信号を出力する出力手段を備える。例えば、出力部１３０は出力オーディオ信号を外部に出力する出力手段を含む。この際、オーディオ信号処理装置１００は、出力端子に連結された外部装置に出力オーディオ信号を出力する。または、出力部１３０は、出力オーディオ信号を外部に出力する無線オーディオ信号受信モジュールを含んでもよい。この場合、出力部１３０は、ブルートゥース(登録商標)またはワイファイのような無線通信方法を利用して外部装置に出力オーディオ信号を出力する。または、出力部１３０はスピーカを含む。この際、オーディオ信号処理装置１００は、スピーカを介して出力オーディオ信号を出力する。また、出力部１３０は、デジタルオーディオ信号をアナログオーディオ信号に変換するコンバータ（例えば、ｄｉｇｉｔａｌ－ｔｏ－ａｎａｌｏｇｃｏｎｖｅｒｔｅｒ、ＤＡＣ）を追加に含んでもよい。

本開示の一実施例によって、オーディオ信号処理装置１００が上述したＨＲＴＦのようなバイノーラル伝達関数を利用して入力オーディオ信号をバイノーラルレンダリングすれば、入力オーディオ信号対比出力オーディオ信号の音色が歪曲する恐れがある。周波数ドメインンでバイノーラルレンダリングの大きさ成分が一定ではないためである。

例えば、バイノーラル伝達関数は、聴取者を基準に仮想の音源の位置を識別させるバイノーラルキュー（ｂｉｎａｕｒａｌｃｕｅ）を含んでもよい。詳しくは、バイノーラルキューは、両耳間のレベル差、両耳間の位相差、スペクトラルエンベロープ（ｓｐｅｃｔｒａｌｅｎｖｅｌｏｐｅ）、ノッチ（ｎｏｔｃｈ）成分、及びピーク（ｐｅａｋ）成分を含む。この際、バイノーラル伝達関数のノッチ成分及びピーク成分によって音色保存性能が低下する恐れがある。ここで、音色保存性能は、入力オーディオ信号の音色が出力オーディオ信号で保存される程度を指す。

特に、入力オーディオ信号の対応する仮想の音源の位置が聴取者を基準にする水平平面（ｈｏｒｉｚｏｎｔａｌｐｌａｎｅ）から遠くなるほど（例えば、仰角（ｅｌｅｖａｔｉｏｎ）が大きくなるほど）、音色の変化が増加する。本開示の一実施例によって、オーディオ信号処理装置１００は、フラット応答を利用してバイノーラルレンダリング過程で発生する音色歪曲を緩和する。

以下では、本開示の一実施例によるオーディオ信号処理装置１００がフラット応答を利用して出力オーディオ信号を生成する方法について説明する。

一実施例によって、オーディオ信号処理装置１００は、第１伝達関数の対及び少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングして出力オーディオ信号を生成する。この際、オーディオ信号処理装置１００は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて第１伝達関数の対を獲得する。例えば、第１伝達関数の対は、入力オーディオ信号に対応する仮想の音源から聴取者までの経路に対応する伝達関数の対であってもよい。詳しくは、第１伝達関数の対は、入力オーディオ信号に対応する仮想の音源の位置に対応する一対のＨＲＴＦである。第１伝達関数の対は第１伝達関数を含む。

また、オーディオ信号処理装置１００は、周波数ドメインで一定な大きさの値を有する少なくとも一つのフラット応答を獲得する。例えば、オーディオ信号処理装置１００は、外部装置から少なくとも一つのフラット応答を受信してもよい。または、オーディオ信号処理装置１００は少なくとも一つのフラット応答を生成してもよい。ここで、少なくとも一つのフラット応答は、同側の出力チャネルに対応する同側のフラット応答、及び対側の出力チャネルに対応する対側のフラット応答を含む。または、少なくとも一つのフラット応答は、単一の出力チャネルに対応する複数のフラット応答を含んでもよい。この際、オーディオ信号処理装置１００は、周波数領域を分割し、それぞれの分割された周波数領域別に異なるフラット応答を利用する。

例えば、オーディオ信号処理装置１００は、バイノーラル伝達関数に基づいてフラット応答を生成してもよい。または、一実施例によって、オーディオ信号処理装置１００は、パニングゲインに基づいてフラット応答を生成してもよい。オーディオ信号処理装置１００は、パニングゲインをフラット応答として使用する。オーディオ信号処理装置１００は、第１伝達関数の対及びパニングゲインに基づいて出力オーディオ信号を生成する。例えば、オーディオ信号処理装置１００は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいてパニングゲインを決定してもよい。また、オーディオ信号処理装置１００は、パニングゲインを周波数ドメインにおける一定な大きさの値にするフラット応答を生成する。オーディオ信号処理装置１００がパニングゲインを決定する方法については、後述する図４及び図５に関して詳しく説明する。

一実施例によって、オーディオ信号処理装置１００は、第１伝達関数の対及び少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングする第２伝達関数の対を生成する。第２伝達関数の対は第２伝達関数を含む。例えば、オーディオ信号処理装置１００は、第１伝達関数と少なくとも一つのフラット応答を加重合計して第２伝達関数を生成してもよい。ここで、加重合計とは、加重合計の対象それぞれに対して加重パラメータを適用して足すことを意味する。

詳しくは、オーディオ信号処理装置１００は、第１伝達関数と少なくとも一つのフラット応答を周波数ピン別に加重合計して第２伝達関数を生成する。例えば、オーディオ信号処理装置１００は、第１伝達関数の大きさ成分とフラット応答の大きさ成分を周波数ビン別に加重合計して第２伝達関数を生成してもよい。また、オーディオ信号処理装置１００は、生成された第２伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。

一実施例によって、オーディオ信号処理装置１００は、加重パラメータを利用して第２伝達関数に第１伝達関数が反映される程度を決定する。オーディオ信号処理装置１００は、加重パラメータに基づいて第１伝達関数とフラット応答を加重合計して第２伝達関数を生成する。

例えば、加重パラメータは、第１伝達関数に適用される第１加重パラメータ。及びフラット応答に適用される第２加重パラメータを含んでもよい。この際、オーディオ信号処理装置１００は、第１加重パラメータ及び第２加重パラメータに基づき、第１伝達関数とフラット応答を加重合計して第２伝達関数を生成する。詳しくは、オーディオ信号処理装置１００は、第１伝達関数に第１加重パラメータ「０．６」を適用し、フラット応答に第２加重パラメータ「０．４」を適用して第２伝達関数を生成する。この際、オーディオ信号処理装置１００が加重パラメータを決定する方法については、後述する図３を介して詳しく説明する。オーディオ信号処理装置１００は、加重合計を介して生成された第２伝達関数の対に基づき、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。

一実施例によって、オーディオ信号処理装置１００は、周波数領域別に異なるフラット応答を利用して第２伝達関数を生成する。例えば、オーディオ信号処理装置１００は、第１フラット応答及び第２フラット応答を含む複数のフラット応答を生成してもよい。この場合、オーディオ信号処理装置１００は、第１周波数帯域で第１伝達関数及び第１フラット応答を加重合計し、第２周波数帯域で第１伝達関数及び第２フラット応答を加重合計して第２伝達関数を生成する。

一実施例によって、オーディオ信号処理装置１００は、それぞれの周波数に対応する第１伝達関数の位相成分と同じ位相成分を有する第２伝達関数を生成する。この際、位相成分は、周波数ドメインでそれぞれの周波数に対応する伝達関数の位相値を含む。例えば、オーディオ信号処理装置１００は、第１伝達関数及びフラット応答のそれぞれの大きさ成分に対してのみ加重合計して第２伝達関数を生成してもよい。これを介し、オーディオ信号処理装置１００は、第１伝達関数の対が含む同側の第１伝達関数と対側の第１伝達関数の両耳間位相差（ＩｎｔｅｒａｕｒａｌＰｈａｓｅＤｉｆｆｅｒｅｎｃｅ、ＩＰＤ）を維持する第２伝達関数の対を生成する。この際、両耳間位相差は、仮想の音源から聴取者の両耳それぞれに音響が伝達される時間差を示す両耳間時間差（ＩｎｔｅｒａｕｒａｌＴｉｍｅＤｉｆｆｅｒｅｎｃｅ、ＩＴＤ）に対応する特性である。

他の一実施例において、オーディオ信号処理装置１００は、入力オーディオ信号を第１伝達関数及び少なくとも一つのフラット応答それぞれでフィルタリングして、複数の中間オーディオ信号を生成する。この場合、オーディオ信号処理装置１００は、複数の中間オーディオ信号をチャネル別に合成して出力オーディオ信号を生成する。詳しくは、オーディオ信号処理装置１００は、第１伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして第１中間オーディオ信号を生成する。また、オーディオ信号処理装置１００は、少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングして第２中間オーディオ信号を生成する。次に、オーディオ信号処理装置１００は、第１中間オーディオ信号及び第２中間オーディオ信号をミキシングして出力オーディオ信号を生成する。

以下では、本開示の一実施例によってオーディオ信号処理装置１００がバイノーラル伝達関数に基づいてフラット応答を生成する方法について説明する。

一実施例によって、オーディオ信号処理装置１００は、第１伝達関数の少なくとも一部分に基づいて少なくとも一つのフラット応答を生成する。この際、オーディオ信号処理装置１００は、少なくとも一部の周波数に対応する第１伝達関数の大きさ成分に基づいてフラット応答を決定する。この際、伝達関数の大きさ成分は、周波数ドメインでの大きさ成分を示す。また、大きさ成分は、伝達関数の周波数ドメインでの大きさの値にｌｏｇを取ってデシベル（ｄｅｃｉｂｅｌ）単位に変換された大きさを含む。

例えば、オーディオ信号処理装置１００は、第１伝達関数の大きさ成分の平均値をフラット応答として使用してもよい。この際、フラット応答は［数１］及び［数２］のように表現される。［数１］及び［数２］において、ａｖｅ＿Ｈ＿ｌ及びａｖｅ＿Ｈ＿ｒは、それぞれ左側及び右側のフラット応答を意味する。［数１］及び［数２］において、ａｂｓ（Ｈ＿ｌ（ｋ））は周波数ドメインにおいて左側の第１伝達関数の周波数ビン別の絶対値を示し、ａｂｓ（Ｈ＿ｒ（ｋ））は周波数ドメインにおいて右側の第１伝達関数の周波数ビン別の絶対値を示す。［数１］及び［数２］において、ｍｅａｎ（ｘ）は関数「ｘ」の平均を示す。また、［数１］及び［数２］において、ｋは周波数ビンの番号（ｆｒｅｑｕｅｎｃｙｂｉｎｎｕｍｂｅｒ）を意味し、ＮはＦＦＴのポイント数を示す。オーディオ信号処理装置１００は、左側及び右側のフラット応答に基づき、それぞれ聴取者の左側／右側耳にそれぞれ対応する出力オーディオ信号を生成する。

［数１］
ａｖｅ＿Ｈ＿ｌ＝ｍｅａｎ（ａｂｓ（Ｈ＿ｌ（ｋ）））
ａｖｅ＿Ｈ＿ｒ＝ｍｅａｎ（ａｂｓ（Ｈ＿ｒ（ｋ）））
ここで、ｋは０≦ｋ≦Ｎ／２である整数

［数２］
ａｖｅ＿Ｈ＿ｌ＝ｍｅａｎ（２０＊ｌｏｇ１０（ａｂｓ（Ｈ＿ｌ（ｋ））））
ａｖｅ＿Ｈ＿ｒ＝ｍｅａｎ（２０＊ｌｏｇ１０（ａｂｓ（Ｈ＿ｒ（ｋ））））
ここで、ｋは０≦ｋ≦Ｎ／２である整数

［数１］及び［数２］の実施例において、ｋは０～Ｎ／２範囲の周波数ビンであるが、本開示はこれに限らない。例えば、ｋは、後述する実施例によって、全体の０～Ｎ／２内で少なくとも一部の範囲の周波数ビンであってもよい。

［数１］及び［数２］とは異なって、オーディオ信号処理装置１００は、第１伝達関数の大きさ成分の中央値（ｍｅｄｉａｎ）をフラット応答として使用してもよい。または、オーディオ信号処理装置１００は、周波数ドメインで一部の周波数ビンに対応する第１伝達関数の大きさ成分の平均値または中央値をフラット応答として使用してもよい。この際、オーディオ信号処理装置１００は、フラット応答を決定するために利用される周波数ビンを決定する。

例えば、オーディオ信号処理装置１００は、第１伝達関数の大きさ成分に基づいてフラット応答を決定するために使用される周波数ビンを決定してもよい。オーディオ信号処理装置１００は、第１伝達関数の大きさ成分のうち、予め設定された範囲に含まれる大きさを有する一部の周波数ビンを決定する。また、オーディオ信号処理装置１００は、一部の周波数ビンそれぞれに対応する第１伝達関数の大きさ成分に基づいてフラット応答を決定する。この際、予め設定された範囲は、第１伝達関数の最大大きさの値、最小大きさの値、または中間値のうち少なくとも一つに基づいて決定される。または、オーディオ信号処理装置１００は、第１伝達関数と共に獲得した情報に基づき、フラット応答を決定するために使用される周波数ビンを決定してもよい。

また、オーディオ信号処理装置１００は、上述した実施例に基づいて生成されたフラット応答及び第１伝達関数の対に基づいて出力オーディオ信号を生成する。

一方、一実施例によって、オーディオ信号処理装置１００は、同側及び対側のフラット応答を独立に生成する。オーディオ信号処理装置１００は、第１伝達関数の対が含む伝達関数それぞれに基づいてフラット応答を生成する。例えば、第１伝達関数の対は、同側の第１伝達関数及び対側の第１伝達関数を含んでもよい。オーディオ信号処理装置１００は、同側の第１伝達関数の大きさ成分に基づいて同側のフラット応答を生成する。また、オーディオ信号処理装置１００は、対側の第１伝達関数の大きさ成分に基づいて対側のフラット応答を生成する。次に、オーディオ信号処理装置１００は、同側の第１伝達関数及び同側のフラット応答に基づいて同側の第２伝達関数を生成する。また、オーディオ信号処理装置１００は、対側の第１伝達関数及び対側のフラット応答に基づいて対側の第２伝達関数を生成する。次に、オーディオ信号処理装置１００は、同側の第２伝達関数及び対側の第２伝達関数に基づいて出力オーディオ信号を生成する。これを介し、オーディオ信号処理装置１００は、同側の第１伝達関数と対側の第１伝達関数との間の両耳間レベル差（ＩｎｔｅｒａｕｒａｌＬｅｖｅｌＤｉｆｆｅｒｅｎｃｅ、ＩＬＤ）を反映する第２伝達関数の対を生成する。

図２は、本開示の一実施例による第１伝達関数２１、第２伝達関数２２、及びフラット応答の２０の周波数応答を示す。

図２の実施例において、オーディオ信号処理装置１００は、第１伝達関数２１及びフラット応答２０に基づいて第２伝達関数２２を生成する。図２は、フラット応答２０、第１伝達関数２１、及び第２伝達関数２２それぞれの周波数ドメインでの大きさ成分を示す。ここで、フラット応答２０は第１伝達関数２１の大きさ成分の平均値である。上述したように、オーディオ信号処理装置１００は、第１伝達関数２１に適用される第１加重パラメータ及びフラット応答２０に適用される第２加重パラメータに基づいて第２伝達関数２２を生成する。

図２において、第２伝達関数２２は、第１伝達関数に第１加重パラメータ「０．５」を適用し、フラット応答２０に第２加重パラメータ「０．５」を適用して加重合計した結果を示す。図２を参照すると、オーディオ信号処理装置１００は、第１伝達関数２１に比べ急激なスペクトル変化が緩和された第２伝達関数２２を提供する。また、オーディオ信号処理装置１００は、第２伝達関数２２を利用してバイノーラルレンダリングされた第２出力オーディオ信号を生成する。この際、オーディオ信号装置１００は、第１伝達関数２１を利用してバイノーラルレンダリングされた第１出力オーディオ信号に比べ歪曲が減少された第２オーディオ信号を提供する。

また、図２を参照すると、第２伝達関数２２の周波数応答の形態は第１伝達関数２１の周波数応答の形態と類似している。これを介し、オーディオ信号装置１００は、第１伝達関数２１を介して表現される仮想の音源の高度感を維持しながら、音色歪曲が減少された第２出力オーディオ信号を提供する。

一方、オーディオ信号処理装置１００がフラット応答を利用して入力オーディオ信号対比出力オーディオ信号の音色歪曲を緩和すれば、音相定位性能が減少する恐れがある。ここで、音相定位性能とは、聴取者を基準にする３次元空間で仮想の音源の位置が表現される程度を意味する。バイノーラル伝達関数をフラット応答と加重合計すれば、バイノーラル伝達関数のバイノーラルキューが減少するためである。上述したように、バイノーラルキューは、バイノーラル伝達関数のノッチ成分及びピーク成分を含む。図２に示したように、オーディオ信号処理装置１００はノッチ成分及びピーク成分が第１伝達関数２１に比べ減少された第２伝達関数２２を生成する。この際、フラット応答２０に適用される加重パラメータの値が第１伝達関数２１に適用される加重パラメータの値に比べ大きくなるほど、第２伝達関数２２のバイノーラルキューが減少される。

本開示の一実施例によって、オーディオ信号処理装置１００は、求められる音相定位性能または音色保存性能に基づいて加重パラメータを決定する。以下では、本開示の一実施例によるオーディオ信号処理装置１００が加重パラメータを利用して第２伝達関数の対を生成する方法について、図３を参照して説明する。

図３は、本開示の一実施例によるオーディオ信号処理装置が１００第１伝達関数の対に基づいて第２伝達関数の対を生成する方法を示すブロック図である。

図３を参照すると、ステップＳ３０１において、オーディオ信号処理装置１００は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置を決定する。例えば、オーディオ信号処理装置１００は、入力オーディオ信号に対応する仮想の音源の位置情報及び聴取者の頭の動作情報（ｈｅａｄｍｏｖｅｍｅｎｔｉｎｆｏｒｍａｔｉｏｎ）に基づいて、聴取者を基準にする仮想の音源の相対的な位置θ、Φを決定する。この際、入力オーディオ信号に対応する仮想の音源の相対的な位置は、仰角θ及び方位角（ａｚｉｍｕｔｈ）Φで表現される。

ステップＳ３０２において、オーディオ信号処理装置１００は第１伝達関数の対Ｈｒ、Ｈｌを獲得する。オーディオ信号処理装置１００は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて第１伝達関数の対Ｈｒ、Ｈｌを獲得する。この際、第１伝達関数の対Ｈｒ、Ｈｌは、右側の第１伝達関数Ｈｒと左側の第１伝達関数Ｈｌを含む。オーディオ信号処理装置１００は、上述したように、複数の伝達関数を含むデータベースＨＲＴＦＤＢから第１伝達関数の対Ｈｒ、Ｈｌを獲得する。

ステップＳ３０３において、オーディオ信号処理装置１００は、右側の第１伝達関数Ｈｒ及び左側の第１伝達関数Ｈｌそれぞれの大きさ成分に基づき、右側のフラット応答及び左側のフラット応答を生成する。図３に示したように、オーディオ信号処理装置１００は、右側の第１伝達関数Ｈｒの大きさ成分の平均値を利用して右側のフラット応答を生成する。また、オーディオ信号処理装置１００は、左側の第１伝達関数Ｈｌの大きさ成分の平均値を利用して左側のフラット応答を生成する。オーディオ信号処理装置１００は、右側及び左側のフラット応答を独立に生成する。オーディオ信号処理装置１００は、右側の第１伝達関数Ｈｒと左側の第１伝達関数Ｈｌとの間の両耳間レベル差ＩＬＤを反映する第２伝達関数の対を生成する。

ステップＳ３０４において、オーディオ信号処理装置１００は、入力オーディオ信号をフィルタリングする第２伝達関数の対Ｈｒ＿ｈａｔ、Ｈｌ＿ｈａｔを生成する。第２伝達関数の対Ｈｒ＿ｈａｔ、Ｈｌ＿ｈａｔは、右側の第２伝達関数Ｈｒ＿ｈａｔと左側の第２伝達関数Ｈｌ＿ｈａｔを含む。例えば、オーディオ信号処理装置１００は、第１伝達関数と少なくとも一つのフラット応答を加重合計して第２伝達関数を生成してもよい。オーディオ信号処理装置１００は、ステップＳ３０２で獲得した右側の第１伝達関数ＨｒとステップＳ３０３で生成された右側のフラット応答を加重合計して、右側の第２伝達関数Ｈｒ＿ｈａｔを生成する。また、オーディオ信号処理装置１００は、左側の第１伝達関数Ｈｌと左側のフラット応答を加重合計して、左側の第２伝達関数Ｈｌ－ｈａｔを生成する。

一実施例によって、オーディオ信号処理装置１００は、バイノーラル効果強度情報に基づいて加重パラメータを決定する。ここで、バイノーラル効果強度情報とは、音色保存性能対比音相定位性能を示す教法である。例えば、入力オーディオ信号が高音質が求められるオーディオ信号を含めば、バイノーラルレンダリング強度は弱くなる。高音質が求められるオーディオ信号を含むコンテンツの場合、音色保存性能が音相定位性能に比べ重量になり得るためである。逆に、入力オーディオ信号が高い音相定位性能が求められるオーディオ信号を含めば、バイノーラルレンダリング強度は強くなる。

一実施例によって、オーディオ信号処理装置１００は、入力オーディオ信号に対応するバイノーラル効果強度情報を獲得する。例えば、オーディオ信号処理装置１００は、入力オーディオ信号に対応するメタデータを受信してもよい。この際、メタデータはバイノーラル効果強度を示す情報を含む。または、オーディオ信号処理装置１００は、入力オーディオ信号に対応するバイノーラル効果強度情報を示すユーザ入力を受信してもよい。

一実施例によって、オーディオ信号処理装置１００は、バイノーラル効果強度情報に基づき、第１伝達関数に適用される第１加重パラメータ及びフラット応答に適用される第２加重パラメータを決定する。また、オーディオ信号処理装置１００は、第１加重パラメータ及び第２加重パラメータに基づき、第１伝達関数とフラット応答を加重合計して第２伝達関数を生成する。

一実施例によって、バイノーラル効果強度情報は、バイノーラルレンダリングが適用されていないことを示す。この際、オーディオ信号処理装置１００は、バイノーラル効果強度情報に基づき、第１伝達関数に適用される第１加重パラメータを「０」と決定する。また、オーディオ信号処理装置１００は、フラット応答と同じ第２伝達関数に基づいて入力オーディオ信号をレンダリングして出力オーディオ信号を生成する。

また、バイノーラル効果強度情報は、バイノーラルレンダリングが適用程度を示す。詳しくは、バイノーラル効果強度情報は量子化されたレベルに区分される。バイノーラル効果強度情報は、１～１０ステップに区分される。この際、オーディオ信号処理装置１００は、バイノーラル効果強度情報に基づいて加重パラメータを決定する。

具体的な実施例によって、オーディオ信号処理装置１００は、入力オーディオ信号に対応するバイノーラル効果強度として「８」を示すメタデータを受信する。また、オーディオ信号処理装置１００は、バイノーラル効果強度の全体のステップが１～１０ステップに区分されていることを示す情報を獲得する。この際、オーディオ信号処理装置１００は、第１伝達関数に適用される第１加重パラメータを「０．８」と決定する。また、オーディオ信号処理装置１００は、フラット応答に適用される第２加重パラメータを「０．２」と決定する。この際、第１及び第２加重パラメータの合計は予め設定された値である。例えば、第１及び第２加重パラメータの合計は「１」であってもよい。オーディオ信号処理装置１００は、決定された第１及び第２加重パラメータに基づいて第2２伝達関数を生成する。

図３を参照すると、ステップＳ３０４の「α」（ａｌｐｈａ）は、フラット応答とバイノーラル伝達関数を加重合計するために利用される加重パラメータの一実施例である。オーディオ信号処理装置１００は、「α」を０～１の間の値と決定する。この際、オーディオ信号処理装置１００は、「α」に基づいて第２伝達関数を生成する。第２伝達関数の対Ｈ＿ｌ＿ｈａｔ、Ｈ＿ｒ＿ｈａｔは、［数３］のように表現される。［数３］において、ａｖｅ＿Ｈ＿ｌ及びａｖｅ＿Ｈ＿ｒは、それぞれ左側及び右側のフラット応答を意味する。［数３］において、ａｂｓ（Ｈ＿ｌ（ｋ））は周波数ドメインにおいて左側の第１伝達関数の周波数ビン別の絶対値を示し、ａｂｓ（Ｈ＿ｒ（ｋ））は周波数ドメインにおいて右側の第１伝達関数の周波数ビン別の絶対値を示す。［数３］において、ｐｈａｓｅ（Ｈ＿ｌ（ｋ））は周波数ドメインにおいて左側の第１伝達関数の周波数ビン別の位相値を示し、ｐｈａｓｅ（Ｈ＿ｒ（ｋ））は周波数ドメインにおいて右側の第１伝達関数の周波数ビン別の位相値を示す。また、［数３］において、ｋは周波数ビンの番号を示す。

［数３］
Ｈ＿ｒ＿ｈａｔ（ｋ）＝（α＊ａｖｅ＿Ｈ＿ｒ＋（１－α）ａｂｓ（Ｈ＿ｒ（ｋ）））＊ｐｈａｓｅ（Ｈ＿ｒ（ｋ））
Ｈ＿ｌ＿ｈａｔ（ｋ）＝（α＊ａｖｅ＿Ｈ＿ｌ＋（１－α）ａｂｓ（Ｈ＿ｌ（ｋ）））＊ｐｈａｓｅ（Ｈ＿ｌ（ｋ））
ここで、ｋは０≦ｋ≦Ｎ／２である整数

［数３］において、右側の第２伝達関数Ｈ＿ｒ＿ｈａｔ及び左側の第２伝達関数Ｈ＿ｌ＿ｈａｔそれぞれの位相成分は、上述したように、右側の第１伝達関数Ｈ＿ｒの位相成分ｐｈａｓｅ（Ｈ＿ｒ（ｋ））及び左側の第１伝達関数Ｈ＿ｌの位相成分ｐｈａｓｅ（Ｈ＿ｒ（ｋ））それぞれと同じである。

一実施例によって、オーディオ信号処理装置１００は、入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて加重パラメータ「α」を決定する。例えば、［数３］において、オーディオ信号処理装置１００は、入力オーディオ信号に対応するバイノーラル効果強度が大きいほど「α」を小さい値に決定してもよい。

一実施例によって、「α」が０に近ければ、オーディオ信号処理装置１００は音色保存性能に比べ音相定位性能が優秀な出力オーディオ信号を生成する。「α」が０であれば、第２伝達関数は第１伝達関数と同じである。

他の実施例によって、「α」が１に近ければ、オーディオ信号処理装置１００は音相定位性能に比べ音色保存性能が優秀な出力オーディオ信号を生成する。「α」が１であれば、バイノーラルレンダリングが適用されていないことを示す。

ステップＳ３０５において、オーディオ信号処理装置１００は、第２伝達関数の対Ｈｒ＿ｈａｔ、Ｈｌ＿ｈａｔに基づいて入力オーディオ信号をフィルタリングして出力オーディオ信号Ｂｒ、Ｂｌを生成する。

一方、本開示の一実実施例によって、オーディオ信号処理装置１００は、加重パラメータを利用してバイノーラル効果強度による複数のバイノーラル伝達関数を提供する。例えば、オーディオ信号処理装置１００は、第１伝達関数の対及びフラット応答に基づいて複数の第２伝達関数の対を生成してもよい。複数の第２伝達関数の対は、第１適用強度に対応する伝達関数の対及び第２適用強度に対応する伝達関数の対を含む。この際、第１適用強度及び第２適用強度は、伝達関数の対を生成する際に第１伝達関数の対に適用された互いに異なる加重パラメータを示す。

図３の実施例において、オーディオ信号処理装置１００は、加重パラメータに基づいて第２伝達関数を生成すると記載されているが、本開示の他の一実施例によって、オーディオ信号処理装置１００は、加重パラメータに基づいて直ちに出力オーディオ信号を生成してもよい。

例えば、オーディオ信号処理装置１００は、ステップＳ３０２で獲得した第1伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして第１中間オーディオ信号を生成してもよい。また、オーディオ信号処理装置１００は、ステップＳ３０３で獲得したフラット応答に基づいて入力オーディオ信号をフィルタリングして第２中間オーディオ信号を生成してもよい。次に、オーディオ信号処理装置１００は、ステップＳ３０４の加重パラメータ「α」に基づき、第１中間オーディオ信号及び第２中間オーディオ信号をミキシングして出力オーディオ信号を生成する。ここで、加重パラメータは、出力オーディオ信号に反映される前記第１中間信号と前記第２中間信号と間の割合を示すミキシングゲインとして使用される。

具体的な実施例において、オーディオ信号処理装置１００は、入力信号に対応するバイノーラル効果強度情報に基づいて、第１伝達関数に適用される第１ミキシングゲイン及び前記少なくとも一つのフラット応答に適用される第２ミキシングゲインを決定する。この際、オーディオ信号処理装置１００は、ステップＳ３０４で説明した第１加重パラメータ及び第２加重パラメータを決定する方法と同じであるかまたは相応する方法で、第１ミキシングゲイン及び第２ミキシングゲインを決定する。

一方、オーディオ信号処理装置１００が第１伝達関数の対及びフラット応答に基づいて第２伝達関数の対を生成すれば、第２伝達関数の対が含む第２伝達関数のエネルギーレベルが変形される。例えば、フラット応答のエネルギーレベルと第１伝達関数の対に含まれた第１伝達関数のエネルギーレベルとの間の差が大きいほど、エネルギーレベルが大きく変形される。この場合、第２伝達関数のエネルギーレベルの変化によって、出力オーディオ信号のエネルギーレベルが入力オーディオ信号のエネルギーレベルに比べ過度に変形される。例えば、出力オーディオ信号は入力オーディオ信号に比べ過度に大きいか小さいエネルギーレベルで聴取者に聴取される恐れがある。

以下では、本開示の一実施例によるオーディオ信号処理装置１００がエネルギー補償処理された第２伝達関数の対を生成する方法について説明する。

一実施例によって、オーディオ信号処理装置１００は、第２伝達関数の対が含む伝達関数のエネルギーの合計が第１伝達関数の対が含む伝達関数のエネルギーの合計と同じになるように設定する。詳しくは、オーディオ信号処理装置１００は、第１伝達関数の対が含む伝達関数のエネルギー合計対比第２伝達関数の対が含む伝達関数のエネルギー合計を、エネルギー補償するためのゲイン「β」（ｂｅｔａ）と決定する。この際、「β」は［数４］のように表現される。［数４］において、ａｂｓ（ｘ）は周波数ドメインにおける伝達関数「ｘ」の周波数ビン別の絶対値を示す。［数４］において、ｍｅａｎ（ｘ）は関数「ｘ」の平均を示す。また、［数４］において、ｋは周波数ビンの番号を示し、ＮはＦＦＴのポイント数を示す。

［数４］
β＝（ｍｅａｎ（ａｂｓ（Ｈ＿ｌ（ｋ）））＋ｍｅａｎ（ａｂｓ（Ｈ＿ｒ（ｋ））））／（ｍｅａｎ（ａｂｓ（Ｈ＿ｌ＿ｈａｔ（ｋ）））＋ｍｅａｎ（ａｂｓ（Ｈ＿ｒ＿ｈａｔ（ｋ））））
または
β＝（ｍｅａｎ（２０＊ｌｏｇ１０（ａｂｓ（Ｈ＿ｌ（ｋ））））＋ｍｅａｎ（２０＊ｌｏｇ１０（ａｂｓ（Ｈ＿ｒ（ｋ）））））／（ｍｅａｎ（２０＊ｌｏｇ１０（ａｂｓ（Ｈ＿ｌ＿ｈａｔ（ｋ））））＋ｍｅａｎ（２０＊ｌｏｇ１０（ａｂｓ（Ｈ＿ｒ＿ｈａｔ（ｋ）））））
ここで、ｋは０≦ｋ≦Ｎ／２である整数

また、［数５］を参照すると、オーディオ信号処理装置１００は、［数３］で獲得した右側の第２伝達関数Ｈ＿ｒ＿ｈａｔ及び左側の第２伝達関数Ｈ＿ｌ＿ｈａｔ、及びエネルギー補償のためのゲイン「β」に基づき、エネルギー補償処理された右側の第２伝達関数Ｈ＿ｒ＿ｈａｔ２及び左側の第２伝達関数Ｈ＿ｌ＿ｈａｔ２を獲得する。［数５］において、ｋは周波数ビンの番号を示す。

［数５］
Ｈ＿ｒ＿ｈａｔ２（ｋ）＝β＊Ｈ＿ｒ＿ｈａｔ（ｋ）
Ｈ＿ｌ＿ｈａｔ２（ｋ）＝β＊Ｈ＿ｌ＿ｈａｔ（ｋ）
ここで、ｋは０≦ｋ≦Ｎ／２である整数

一方、上述したように、図１乃至図３を介して説明したフラット応答は、パニングゲインを使用して生成される。以下では、本開示の一実施例によるオーディオ信号処理装置１００がパニングゲインを決定する方法について、図４及び図５を参照して説明する。

図４は、ラウドスピーカ環境において、オーディオ信号処理装置１００がパニングゲインを決定する方法を示す図である。

図４を参照すると、オーディオ信号処理装置１００は、２つのラウドスピーカ（ｌｏｕｄｓｐｅａｋｅｒ）４０１、４０２が配置された位置を利用して、２つのラウドスピーカの間４０１、４０２に仮想の音源を位置（ｌｏｃａｌｉｚａｔｉｏｎ）させる。この際、オーディオ信号処理装置１００は、パニングゲインを利用して仮想の音源を位置させる。

図４に示したように、オーディオ信号処理装置１００は、聴取者の位置（例えば、図４の「Ｏ」）を中心に２つのラウドスピーカ４０１、４０２がそれぞれ位置された地点の間の角度を利用して、２つのラウドスピーカ４０１、４０２の間に仮想の音源４００を位置させる。例えば、オーディオ信号処理装置１００は、２つのラウドスピーカ４０１、４０２の間の角度に基づき、入力オーディオ信号に対応する仮想の音源４００を位置させるためのパニングゲインを獲得する。オーディオ信号処理装置１００は、パニングゲインに基づいて２つのラウドスピーカから出力される出力オーディオ信号を介し、聴取者に仮想の音源からオーディオ信号が出力される音響効果を提供する。

図４を参照すると、オーディオ信号処理装置１００は、第１ラウドスピーカ４０１と第２ラウドスピーカ４０２の中央の対称軸を基準に、θｐに当たる位置に仮想の音源４００を位置させる。この際、オーディオ信号処理装置１００は、第１ラウドスピーカ４０１及び第２ラウドスピーカ４０２の出力を介し、聴取者がθｐに位置された仮想の音源４００から音響が伝達されると表現されるオーディオ信号を提供する。

詳しくは、オーディオ信号処理装置１００は、θｐの位置に仮想の音源４００を位置させるためのパニングゲインｇ１及びｇ２を決定する。この際、パニングゲインｇ１及びｇ２は、第１ラウドスピーカ４０１及び第２ラウドスピーカ４０２それぞれに適用される。オーディオ信号処理装置１００は、一般的なパニングゲインの獲得方法を利用してパニングゲインｇ１及びｇ２を決定する。例えば、オーディオ信号処理装置１００は、リニアパニング（ｌｉｎｅａｒｐａｎｎｉｎｇ）方法またはコンスタントパワーパニング（ｃｏｎｓｔａｎｔｐｏｗｅｒｐａｎｎｉｎｇ）方法を利用して、パニングゲインｇ１及びｇを決定する。

本開示の一実施例によって、オーディオ信号処理装置１００は、ラウドスピーカ環境で利用されるパニングゲインをヘッドホン環境に適用する。例えば、聴取者のヘッドホンの左側の出力チャネル及び右側の出力チャネルそれぞれを、第１ラウドスピーカ４０１及び第２ラウドスピーカ４０２それぞれに対応させてもよい。この際、ヘッドホンの左側の出力チャネル及び右側の出力チャネルそれぞれに対応する第１ラウドスピーカ４１０及び第２ラウドスピーカ４０２が、対称軸を基準に左右側９０度（つまり、－９０度及び＋９０度）に当たる位置にあると仮定する。例えば、第１出力チャネル（例えば、ヘッドホンの左側の出力チャネル）は対称軸を基準に左側９０度に位置し、第２出力チャネル（例えば、ヘッドホンの右側の出力チャネル）は対称軸を基準に右側９０度に位置してもよい。

一実施例によって、オーディオ信号処理装置１００は、聴取者を基準に入力オーディオ信号に対応する仮想の音源４００の位置に基づいて、第１パニングゲインｇ１及び第２パニングゲインｇ２を決定する。この際、オーディオ信号処理装置１００は、同じ位置情報に基づいて第１伝達関数の対及びパニングゲインを獲得する。第１パニングゲインｇ１、第２パニングゲインｇ２、及び第１伝達関数の対が含むそれぞれの伝達関数は、同じ位置情報に基づいて獲得されるそれぞれのフィルタ係数のセットである。ここで、フィルタ係数のセットは、フィルタの特性を示す少なくとも一つのフィルタ係数を含む。例えば、オーディオ信号処理装置１００は、同じ位置情報に基づいて異なる特性を有するそれぞれのフィルタ係数のセットを獲得してもよい。一方、第１パニングゲインｇ１及び第２パニングゲインｇ２は、第１出力チャネルと第２出力チャネルと間のθｐ位置に仮想の音源４００を位置させるためのパニングゲインである。

一実施例によって、オーディオ信号処理装置１００は、第１伝達関数の対及びパニングゲインに基づいて出力オーディオ信号を生成する。ここで、第１伝達関数の対及びパニングゲインに基づいて出力オーディオ信号を生成する方法には、上述した第１伝達関数の対及び少なくとも一つのフラット応答に基づいて出力オーディオ信号を生成する実施例が適用される。

例えば、オーディオ信号処理装置１００は、パニングゲインに基づいて少なくとも一つのフラット応答を生成する。例えば、オーディオ信号処理装置１００は、第１パニングゲインｇ１に基づいて左側のフラット応答を生成してもよい。また、オーディオ信号処理装置１００は、第２パニングゲインｇ２に基づいて右側のフラット応答を生成してもよい。

または、オーディオ信号処理装置１００は、第１伝達関数及びパニングゲインに基づいて第２伝達関数を生成する。オーディオ信号処理装置１００は、生成された左側のフラット応答及び左側の第１伝達関数に基づいて左側の第２伝達関数を生成する。オーディオ信号処理装置１００は、生成された右側のフラット応答及び右側の第１伝達関数に基づいて右側の第２伝達関数を生成する。オーディオ信号処理装置１００は、生成された左側の第２伝達関数及び右側の第２伝達関数に基づき、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。

または、パニングゲインは、第１伝達関数に基づいて入力オーディオ信号をフィルタリングして生成された第１中間オーディオ信号とミキシングし、出力オーディオ信号を生成するためのフラット応答として使用される。オーディオ信号処理装置１００は、パニングゲインに基づいて生成されたフラット応答で入力オーディオ信号をフィルタリングして第２中間オーディオ信号を生成する。また、オーディオ信号処理装置１００は、第１中間オーディオ信号及び第２中間オーディオ信号をミキシングして出力オーディオ信号を生成する。

一実施例によって、オーディオ信号処理装置１００は、コンスタントパワーパニング方法を介して第１パニングゲインｇ１及び第２パニングゲインｇ２を決定する。コンスタントパワーパニング方法とは、パニングゲインを適用した第１出力チャネル及び第２出力チャネルのパワーの合計が一定な方法を意味する。コンスタントパワーパニング方法を利用して決定されたパニングゲインｇ１及びｇ２は、［数６］のように表現される。

［数６］
ｇ１＝ｃｏｓ（ｐ）
ｇ２＝ｓｉｎ（ｐ）
ここで、
ｐ＝９０＊（θｐ－θ１）／（θ２－θ１）

例えば、θ１、θ２がそれぞれ－９０度及び９０度であれば、θ１とθ２との間の任意の（ａｒｂｉｔａｒｙ）角度θｐは、－９０度～９０度の間の値を有する。この際、θｐが－９０度～９０度であれば、ｐは［数６］によって０～９０度の間の値になる。ｐは、θ１とθ２との間のθｐに位置する仮想の音源に対応する正数の第１パニングゲインｇ１及び第２パニングゲインｇ２を算定するためにθｐから換算された値である。

［数６］の実施例において、オーディオ信号処理装置１００は、第１出力チャネル及び第２出力チャネルそれぞれに対して適用されるパニングゲインを決定するためにコンスタントパワーパニング方法を利用しているが、オーディオ信号処理装置１００がパニングゲインを決定する方法はこれに限らない。

一方、本開示の一実施例によって、オーディオ信号処理装置１００は、両耳間極座標系（ＩｎｔｅｒａｕｒａｌＰｏｌａｒＣｏｏｒｄｉｎａｔｅ、ＩＰＣ）を利用してパニングゲインを決定する。例えば、オーディオ信号処理装置１００は、両耳間極座標系で仮想の音源の位置を示す両耳間極座標に基づいてパニングゲインを決定してもよい。また、オーディオ信号処理装置１００は、両耳間極座標に基づいて決定されたパニングゲインを利用して、図１乃至図３を介して説明した方法で出力オーディオ信号を生成する。以下では、本開示の一実施例によるオーディオ信号処理装置１００が両耳間極座標系を利用してパニングゲインを決定する方法について、図５を参照して説明する。

図５は、垂直極座標系（ＶｅｒｔｉｃａｌＰｏｌａｒＣｏｏｒｄｉｎａｔｅ、ＶＰＣ）及び両耳間極座標系を示す図である。図５を参照すると、入力オーディオ信号に対応するオブジェクト５１０は、垂直極座標系５０１において第１方位角５５１及び第１仰角５４１で表示される。また、入力オーディオ信号に対応するオブジェクト５１０は、両耳間極座標系５０２において第２方位角５５２及び第２仰角５４２で表示される。

一実施例によって、入力オーディオ信号に対応するオブジェクト５１０が垂直極座標系５１０の方位角を維持しながら、聴取者５２０の頭頂（ｚ軸）に移動する。このような方式でオブジェクトが移動すれば、垂直極座標系において入力オーディオ信号に対応するオブジェクト５１０の位置を示す第１仰角５４１がθから９０度に変化し、第１方位角５５１はΦに維持される。これとは異なって、前記のようなオブジェクト５１０の動きによって、両耳間極座標系５０２においてオブジェクト５１０の位置を示す両耳間極座標の第２方位角５５２は異なり得る。例えば、垂直極座標系において入力オーディオ信号に対応するオブジェクトの位置を示す第１仰角５４１がθから９０度に変化すれば、両耳間極座標系５０２において入力オーディオ信号に対応するオブジェクトの位置を示す第２方位角５５２はΦから０度に変化する。この際、両耳間極座標系において、入力オーディオ信号に対応するオブジェクトの位置を示す第２仰角５４２は第１仰角５４１と同じである。

それによって、オブジェクト５１０が上述した方式で移動する状況において、垂直極座標の第１方位角５５１を使用してパニングゲインを決定すれば、パニングゲインが変化しないようになり、聴取者５２０は音相の移動を感知することができない。一方、オブジェクト５１０が上述した方式で移動する状況において、両耳間極座標の第２方位角５５２を使用してパニングゲインを決定すれば、聴取者５２０はパニングゲインの変化による音相の移動を感知することができる。この際、パニングゲインは、第２方位角５５２の変化による水平面上の左右移動を反映して決定される。オブジェクト５１０が聴取者５２０の頭頂に移動すれば、両耳間座標の第２方位角５５２が「０」に近くなるためである。

一実施例によって、オーディオ信号処理装置１００は、両耳間極座標系を利用してパニングゲインを決定する。例えば、オーディオ信号処理装置１００は、両耳間極座標系において入力オーディオ信号に対応する仮想の音源の位置を示す第２方位角５５２の値（Φ）及び第２仰角５４２の値（θ）を獲得する。詳しくは、オーディオ信号処理装置１００は、第２方位角５５２の値（Φ）を含むメタデータを受信する。この際、メタデータは入力オーディオ信号に対応するメタデータである。また、オーディオ信号処理装置１００は、獲得した第２方位角５５２の値（Φ）に基づいて、第１パニングゲインｇ１’及び第２パニングゲインｇ２’を決定する。第１パニングゲインｇ１’及び第２パニングゲインｇ２’は、［数７］のように表現される。

［数７］
ｇ１’＝ｃｏｓ（０．５＊Φ＋４５）
ｇ２’＝ｓｉｎ（０．５＊Φ＋４５）

一実施例によって、オーディオ信号処理装置１００は、図３の実施例に用に入力オーディオ信号に対応する仮想の音源の位置情報及び聴取者の頭の動作情報を受信する。この場合、オーディオ信号処理装置１００は、仮想の音源の位置情報及び聴取者の頭の動作情報に基づいて、聴取者を基準にする仮想の音源の相対的な位置を示す垂直極座標５５１、５４１、または両耳間極座標５５２、５４２を算出する。

詳しくは、図５を参照すると、オーディオ信号処理装置１００は、オブジェクト５１０の位置に基づいて両耳間極座標系５０２のサジタル平面（ｓａｇｉｔｔａｌｐｌａｎｅまたはｃｏｎｓｔａｎｔａｚｉｍｕｔｈｐｌａｎｅ）５６１を決定する。この際、サジタル平面５６１は、中央平面（ｍｅｄｉａｎｐｌａｎｅ）５６０と平行な平面である。また、中央平面５６１は、水平平面と直角でありながら水平平面と同じ中心を有する平面である。オーディオ信号処理装置１００は、中央平面５６０の中心を基準にサジタル平面５６１が水平平面と突き当たる地点５７０と中央平面５６０との間の角度を第２方位角５５２と決定する。これを介し、両耳間極座標系の第２方位角５５２の値は、上述した方式で移動するオブジェクト５１０の垂直極座標系上の第１仰角５４１の値の変化を反映する。

また、一実施例によって、オーディオ信号処理装置１００は、両耳間極座標系ではない他の座標系から入力オーディオ信号に対応する仮想の音源の位置を示す座標を獲得してもよい。この場合、オーディオ信号処理装置１００は、獲得した座標を両耳間極座標に変換する。ここで、両耳間極座標系ではない他の座標系は、垂直極座標系及び直交座標系を含む。例えば、図５を参照すると、オーディオ信号処理装置１００は、垂直極座標系５０１から入力オーディオ信号に対応する仮想の音源の位置を示す垂直極座標５５１、５４１を獲得する。この場合、オーディオ信号処理装置１００は、垂直極座標の第１方位角５５１の値及び第１仰角５４１の値を、両耳間極座標の第２方位角５５２の値及び第２仰角５４２の値に変換する。

また、オーディオ信号処理装置１００は、決定された第２方位角５５２の値に基づいて、上述したパニングゲインｇ１’、ｇ２’を決定する。例えば、オーディオ信号処理装置１００は、上述したコンスタントパワーパニング方法またはリニアパニング方法を利用して、第２方位角５５２の値に基づいてパニングゲインｇ１’、ｇ２’を決定してもよい。
また、オーディオ信号処理装置１００は、第１伝達関数の対及び上述した方法を介して決定されたパニングゲインｇ１’、ｇ２’に基づいて、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。一実施例によって、オーディオ信号処理装置１００は、第１伝達関数の対及び上述した方法を介して決定されたパニングゲインｇ１’、ｇ２’を利用して、図１及び図４を介して説明した実施例と同じまたは相応する方法で出力オーディオ信号を生成する。

例えば、オーディオ信号処理装置１００は、第１伝達関数の対及びパニングゲインｇ１’、ｇ２’に基づいて第２伝達関数の対を生成してもよい。オーディオ信号処理装置１００は、パニングゲインｇ１’、ｇ２’に基づいて少なくとも一つのフラット応答を生成する。また、オーディオ信号処理装置１００は、パニングゲインｇ１’、ｇ２’のうちいずれか一つに基づいて生成されたフラット応答と第１伝達関数を加重合計して、第２伝達関数を生成する。この際、オーディオ信号処理装置１００は、バイノーラル効果強度情報に基づいて決定された加重パラメータを利用する。また、オーディオ信号処理装置１００は、第２伝達関数の対に基づいて出力オーディオ信号を生成する。

または、オーディオ信号処理装置１００は、第１伝達関数の対及びパニングゲインｇ１’、ｇ２’に基づいて入力オーディオ信号をフィルタリングし、複数の中間オーディオ信号を生成する。この場合、オーディオ信号処理装置１００は、複数の中間オーディオ信号をチャネル別に合成して出力オーディオ信号を生成してもよい。

以下では、本開示の他の一実施例によるオーディオ信号処理装置１００がパニングゲインを利用して入力オーディオ信号をレンダリングする方法について、図６を参照して説明する。

図６は、本開示の他の一実施例によってオーディオ信号処理装置が両耳間極座標系を利用して出力オーディオ信号を生成する方法を示す図である。例えば、オーディオ信号処理装置１００がＨＲＴＦを使用しなければ、オーディオ信号処理装置１００は図５で説明したパニングゲインを利用してインタラクティブレンダリングを行う。

一実施例によって、オーディオ信号処理装置１００は、両耳間極座標の方位角θｐａｎの値に基づいて出力オーディオ信号を生成する。例えば、オーディオ信号処理装置１００は、［数７］で生成された第１パニングゲインｇ１’及び第２パニングゲインｇ２’に基づいて入力オーディオ信号をフィルタリングし、出力オーディオ信号Ｂ＿ｌ、Ｂ＿ｒを生成してもよい。一実施例によって、オーディオ信号処理装置１００が両耳間極座標ではない他の座標で表示される仮想の音源の位置を獲得してもよい。この場合、オーディオ信号処理装置１００は、両耳間極座標ではない他の座標を両耳間極座標に変換する。例えば、オーディオ信号処理装置１００は、図６に示したように、垂直極座標θ、Φを両耳間極座標に変換してもよい。

図７は、本開示の一実施例によるオーディオ信号処理装置１００の動作方法を示すフローチャートである。

ステップＳ７０１において、オーディオ信号処理装置１００は、入力オーディオ信号を受信する。ステップＳ７０２において、オーディオ信号処理装置１００は、第１伝達関数の対及び少なくとも一つのフラット応答に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。また、オーディオ信号処理装置１００は、生成された出力オーディオ信号を出力する。

例えば、オーディオ信号処理装置１００は、第１伝達関数及び少なくとも一つのフラット応答に基づいて第２伝達関数を生成してもよい。オーディオ信号処理装置１００は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて第１伝達関数を獲得する。オーディオ信号処理装置１００は、周波数ドメインで一定な大きさの値を有する少なくとも一つのフラット応答を生成する。詳しくは、オーディオ信号処理装置１００は、第１伝達関数と少なくとも一つのフラット応答を加重合計して第２伝達関数を生成する。この際、オーディオ信号処理装置１００は、入力オーディオ信号に対応するバイノーラル効果強度情報に基づき、第１伝達関数と少なくとも一つのフラット応答との間の加重合計に利用される加重パラメータを決定する。オーディオ信号処理装置１００は、決定された加重パラメータに基づいて第２伝達関数を生成する。また、オーディオ信号処理装置１００は、このように生成された第２伝達関数に基づいて出力オーディオ信号を生成する。

一実施例によって、オーディオ信号処理装置１００は、加重パラメータに基づいて第１伝達関数の大きさ成分と少なくとも一つのフラット応答を周波数ビン別に加重合計して第２伝達関数を生成する。この際、周波数ドメインにおいて、各周波数ビンに対応する第２伝達関数の位相成分は第１伝達関数の位相成分と同じである。

一実施例によって、オーディオ信号処理装置１００は、第１伝達関数の少なくとも一部分に基づいてのフラット応答を生成する。例えば、少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第１伝達関数の大きさ成分の平均値である。または、少なくとも一つのフラット応答は、少なくとも一部の周波数ビンに対応する第１伝達関数の大きさ成分の中央値である。

一実施例によって、オーディオ信号処理装置１００は、第１伝達関数及びパニングゲインに基づいて出力オーディオ信号を生成する。例えば、オーディオ信号処理装置１００は、第１伝達関数及びパニングゲインそれぞれに基づいて入力オーディオ信号をフィルタリングし、複数の中間オーディオ信号を生成する。また、オーディオ信号処理装置１００は、複数の中間オーディオ信号をチャネル別にミキシングして出力オーディオ信号を生成する。または、オーディオ信号処理装置１００は、パニングゲインに基づいて少なくとも一つのフラット応答を生成する。また、オーディオ信号処理装置１００は、生成されたフラット応答及び第１伝達関数に基づいて第２伝達関数を生成する。

この場合、オーディオ信号処理装置１００は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて前記パニングゲインを決定する。詳しくは、オーディオ信号処理装置１００は、コンスタントパワーパニング方法を利用してパニングゲインを決定する。また、オーディオ信号処理装置１００は、両耳間極座標を利用してパニングゲインを決定する。オーディオ信号処理装置１００は、両耳間極座標の方位角の値に基づいてパニングゲインを決定する。一実施例によって、オーディオ信号処理装置１００は、入力オーディオ信号に対応する仮想の音源の位置を示す垂直極座標を両耳間極座標に変化させる。また、オーディオ信号処理装置１００は、変化された両耳間極座標の方位角の値に基づいてパニングゲインを決定する。この際、両耳間極座標系の方位角の値は、オブジェクトの移動による垂直極座標上の仰角の値の変化を反映する。

これまで本発明を具体的な実施例を介して説明したが、当業者であれば本発明の趣旨及び範囲を逸脱せずに修正、変更し得るはずである。つまり、本発明はオーディオ信号に対するバイノーラルレンダリングの実施について説明したが、本発明はオーディオ信号のみならず、ビデオ信号を含む多様なマルチメディア信号にも同じく適用及び拡張することができる。よって、本発明の詳細な説明及び実施例から本発明の属する技術分野に属する人が容易に類推し得るものは、本発明の権利範囲に属すると解析される。

１００オーディオ信号処理装置
１１０受信部
１２０プロセッサ
１３０出力部

Claims

入力オーディオ信号をレンダリングするオーディオ信号処理装置であって、
前記入力オーディオ信号を受信する受信部と、
第１伝達関数及び少なくとも一つのフラット応答に基づいて生成される第２伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するプロセッサと、
前記プロセッサによって生成された出力オーディオ信号を出力する出力部と、を含み、
前記第１伝達関数は、聴取者を基準にした前記入力オーディオ信号に対応する仮想の音源の位置に基づいて獲得され、前記少なくとも一つのフラット応答は、前記第１伝達関数の少なくとも一部分に基づいて生成され、周波数ドメインで一定の大きさの値を有している、オーディオ信号処理装置。
前記第２伝達関数は、前記第１伝達関数と前記少なくとも一つのフラット応答を加重合計して生成される、請求項１に記載のオーディオ信号処理装置。
前記第１伝達関数と前記少なくとも一つのフラット応答との間の加重合計は、加重パラメータに基づいて実行され、
前記加重パラメータは、前記入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて決定される、請求項２に記載のオーディオ信号処理装置。
前記加重パラメータは、前記第１伝達関数に適用される第１加重パラメータ及び前記少なくとも一つのフラット応答に適用される第２加重パラメータを含み、
前記入力オーディオ信号のバイノーラル効果強度が増加する時、前記第１加重パラメータはより大きな値に設定され、かつ前記第２加重パラメータはより小さな値に設定される、請求項３に記載のオーディオ信号処理装置。
周波数ドメインにおいて、それぞれの周波数ビンに対応する前記第２伝達関数の位相成分は前記第１伝達関数の位相成分と同じである請求項１に記載のオーディオ信号処理装置。
前記少なくとも一つのフラット応答は、パニングゲインに基づいて生成され、
前記パニングゲインは、前記聴取者を基準にした前記入力オーディオ信号に対応する仮想の音源の位置に基づく、請求項１に記載のオーディオ信号処理装置。
前記パニングゲインは、前記仮想の音源の位置を示す両耳間極座標の方位角の値に従って決定される、請求項６に記載のオーディオ信号処理装置。
前記少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第１伝達関数の大きさ成分の平均である請求項１に記載のオーディオ信号処理装置。
前記第１伝達関数は、前記入力オーディオ信号に対応する仮想の音源の位置に対応するＨＲＴＦ（ＨｅａｄＲｅｌａｔｅｄＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）の対（ｐａｉｒ）が含む同側のＨＲＴＦ及び対側のＨＲＴＦのうちいずれか一つである請求項１に記載のオーディオ信号処理装置。
同側の第２伝達関数及び対側の第２伝達関数のそれぞれは、前記同側のＨＲＴＦ及び前記対側のＨＲＴＦのそれぞれ、及び前記少なくとも一つのフラット応答に基づいて生成され、
前記同側の第２伝達関数及び対側の第２伝達関数のエネルギーレベルの合計は、前記同側のＨＲＴＦ及び前記対側のＨＲＴＦのエネルギーレベルの合計と同じである、請求項９に記載のオーディオ信号処理装置。
オーディオ信号処理方法において、
入力オーディオ信号を受信するステップと、
第１伝達関数及び少なくとも一つのフラット応答に基づいて生成される第２伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するステップと、
前記生成された出力オーディオ信号を出力するステップと、を含み、
前記第１伝達関数は、聴取者を基準にした前記入力オーディオ信号に対応する仮想の音源の位置に基づいて獲得され、前記少なくとも一つのフラット応答は、前記第１伝達関数の少なくとも一部分に基づいて生成され、周波数ドメインで一定の大きさの値を有している、オーディオ信号処理方法。
前記第２伝達関数は、前記第１伝達関数と前記少なくとも一つのフラット応答を加重合計して生成される、請求項１１に記載のオーディオ信号処理方法。
前記第１伝達関数と前記少なくとも一つのフラット応答との間の加重合計は、加重パラメータに基づいて実行され、
前記加重パラメータは、前記入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて決定される、請求項１２に記載のオーディオ信号処理方法。
前記加重パラメータは、前記第１伝達関数に適用される第１加重パラメータ及び前記少なくとも一つのフラット応答に適用される第２加重パラメータを含み、
前記入力オーディオ信号のバイノーラル効果強度が増加する時、前記第１加重パラメータはより大きな値に設定され、かつ前記第２加重パラメータはより小さな値に設定される、請求項１３に記載のオーディオ信号処理方法。
周波数ドメインにおいて、それぞれの周波数ビンに対応する前記第２伝達関数の位相成分は前記第１伝達関数の位相成分と同じである請求項１１に記載のオーディオ信号処理方法。
前記少なくとも一つのフラット応答は、パニングゲインに基づいて生成され、
前記パニングゲインは、前記聴取者を基準にした前記入力オーディオ信号に対応する仮想の音源の位置に基づく、請求項１１に記載のオーディオ信号処理方法。
前記パニングゲインは、前記仮想の音源の位置を示す両耳間極座標の方位角の値に従って決定される、請求項１６に記載のオーディオ信号処理方法。
前記少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第１伝達関数の大きさ成分の平均である請求項１１に記載のオーディオ信号処理方法。