JP5314129B2 - 音響再生装置及び音響再生方法 - Google Patents

Description

本発明は、マルチチャンネルのオーディオ信号の再生技術に関する発明である。

デジタル・バーサタイル・ディスク（ＤＶＤ）や、デジタルテレビ放送などで提供されるマルチチャンネルオーディオ信号は、各チャンネルのオーディオ信号が複数のスピーカーから出力されることで、受聴者が受聴できる。このように、スピーカーから再生された再生音を聴取できる空間は、受聴空間と呼ばれる。

マルチチャンネルオーディオ信号の各チャンネルのオーディオ信号を受聴空間の所定の位置に配置する複数のスピーカーから出力することで、立体感のある音響再生を実現することができる。しかしながら、受聴空間の制約により所定の位置にスピーカーを配置できない場合があり、このような場合でも立体感のある音響再生を実現する様々な音響再生方法が提案されている。

従来提案されている方法の一つとして、受聴者が受聴する位置である受聴位置に対して前方に割り当てられるチャンネルのオーディオ信号を、受聴位置に対して前方に配置するスピーカーから出力するとともに、受聴位置後方に割り当てられるオーディオ信号を、受聴者の耳元の近傍の両耳部もしくは頭部で支持するヘッドホンから出力する方法がある。ただし、ここで使用するヘッドホンは、ヘッドホン自体から出力されるオーディオ信号と同時に、前方に配置するスピーカーから出力されるオーディオ信号を受聴することが可能な開放型のヘッドホンである。あるいは、同様に受聴者の耳元に近接して配置されるスピーカーや音響デバイスであってもよい。このようにして、所定の位置にスピーカーを配置することができない限られた受聴空間でもマルチチャンネルオーディオ信号の受聴を可能にする音響再生方法がある。

上述する構成を用いた従来の音響再生方法の一例として、（特許文献１）に記載された多次元立体音場再生装置があり、図１にその構成図を示す。ここで示される多次元立体音場再生装置は、上述したように、前方に割り当てられるオーディオ信号ＦＬ、ＦＲを、前方に配置するスピーカー５、６から出力すると同時に、後方に割り当てられるオーディオ信号ＳＬ、ＳＲを耳元の近傍に配置するヘッドホン７、８から出力する。さらに、後方に割り当てられるオーディオ信号ＳＬ、ＳＲに対し、再生信号生成手段において所望の遅延処理や位相調整処理、極性切替処理を施すことで、ヘッドホンを用いたことによる受聴者の頭内に音像が定位する知覚現象を緩和し、受聴者の頭部周囲の広がり感を増大するようにしている。

特開昭６１−２１９３００号公報

しかしながら、これまでの従来技術の立体音場再生装置では、受聴空間に定位する音像に関わらず、受聴位置後方に割り当てられるオーディオ信号のみを耳元の近傍に配置するヘッドホンから出力していた。そのため、前後の所定の位置に配置したスピーカーから出力することで得られる、音像の受聴空間における遠近感や移動感、前後方向にわたる音場の広がり感といった立体感が得られ難いという課題がある。

従って本発明の目的は、受聴空間の前後方向の遠近感や移動感、音場の広がり感を向上した音響再生装置を提供することである。

前述の課題を解決するために、本発明の音響再生装置は、受聴空間のあらかじめ定められた複数の標準位置に複数のスピーカーを配置し、配置された前記複数のスピーカーを用いて再生されることを前提とした前記各スピーカーに対応するマルチチャンネルの入力オーディオ信号を、受聴位置の前方に配置されるスピーカーであって前方の前記標準位置に配置される前方スピーカーと、前記受聴位置の近傍に配置されるスピーカーであって前記標準位置のいずれにも該当しない位置に配置される耳元再生スピーカーとを用いて再生する音響再生装置であって、前記入力オーディオ信号が前記複数の標準位置に配置される前記複数のスピーカーを用いて再生したものと仮定した場合に受聴空間に音像が定位するか否かを前記入力オーディオ信号から推定する定位音源推定部と、前記定位音源推定部によって前記音像が定位すると推定された場合、定位する前記音像を表す信号である定位音源信号を算出し、前記各入力オーディオ信号に含まれる信号成分であって受聴空間における前記音像の定位に寄与しない信号成分である非定位音源信号を前記各入力オーディオ信号から分離する音源信号分離部と、前記定位音源信号で表される前記音像の定位位置を表すパラメータを、前記定位音源信号から算出する音源位置パラメータ算出部と、前記定位位置を表すパラメータを用いて、前記定位音源信号を、前記前方スピーカーと前記耳元再生スピーカーとのそれぞれに対して配分し、前記前方スピーカーに対して配分された前記定位音源信号と、前記前方の標準位置に配置されるスピーカーで再生されるべき入力オーディオ信号から分離された前記非定位音源信号とを合成して前記前方スピーカーに対して供給する再生信号を生成し、前記耳元再生スピーカーに対して配分された前記定位音源信号と、後方の前記標準位置に配置されるスピーカーで再生されるべき入力オーディオ信号から分離された前記非定位音源信号とを合成して前記耳元再生スピーカーに対して供給する再生信号を生成する再生信号生成部とを備える。

なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

上記構成により本発明の音響再生装置は、受聴空間に音像を定位する定位音源信号を推定するとともに、受聴空間における音源位置パラメータを算出し、これにもとづいて前方に配置するスピーカーおよび耳元の近傍に配置するヘッドホンのそれぞれのチャンネルにエネルギーを配分するように定位音源信号を割り当てることにより、受聴空間の左右方向だけでなく、前後方向の遠近感や移動感、音場の広がり感を向上することができる。

このような構成により、本発明の音響再生装置は、従来技術と同様にスピーカーおよびヘッドホンのような耳元再生スピーカーを配置する構成としながら、受聴空間に定位する音像から左右方向だけではなく、前後方向の立体感も表すことができる再生信号を生成することができ、効果的な立体感を再現することができる音響再生装置を実現することができる。

図１は、従来の音響再生装置の構成図である。 図２は、本発明の実施の形態における音響再生装置の外観を示す図である。 図３は、本発明の実施の形態における音響再生装置の構成図である。 図４は、受聴空間において入力オーディオ信号が割り当てられる配置を示す説明図である。 図５は、定位音源推定部１においてオーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）とから算出する相関係数Ｃ１と定位音源信号Ｘ（ｉ）の有無を判定する動作の説明図である。 図６は、入力オーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）とから推定する、定位音源信号Ｘ（ｉ）と信号成分Ｘ０（ｉ）と信号成分Ｘ１（ｉ）との関係を示す説明図である。 図７は、入力オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）とから推定する、定位音源信号Ｙ（ｉ）と信号成分Ｙ０（ｉ）と信号成分Ｙ１（ｉ）との関係を示す説明図である。 図８は、定位音源信号Ｘ（ｉ）とＹ（ｉ）とから推定する、定位音源信号Ｚ（ｉ）と信号成分Ｚ０（ｉ）と信号成分Ｚ１（ｉ）との関係を示す説明図である。 図９は、定位音源信号の到来方向を示す角度θにもとづいて定位音源信号Ｚ（ｉ）を受聴位置に対して前方に配置するスピーカーと受聴者の耳元の近傍に配置するヘッドホンとへ配分する関数を示す説明図である。 図１０は、受聴位置から定位音源信号の定位位置までの距離Ｒにもとづいて定位音源信号Ｚ（ｉ）を受聴位置に対して前方に配置するスピーカーと受聴者の耳元の近傍に配置するヘッドホンとへ配分する関数を示す説明図である。 図１１は、定位音源信号の到来方向を示す角度θにもとづいて定位音源信号Ｚｆ（ｉ）を受聴位置に対して前方の左右に配置するスピーカーへ配分する関数を示す説明図である。 図１２は、定位音源信号の到来方向を示す角度θにもとづいて定位音源信号Ｚｈ（ｉ）を受聴者の耳元の近傍の左右に配置するヘッドホンへ配分する関数を示す説明図である。 図１３は、本発明の実施の形態における音響再生装置の動作を示すフローチャートである。

以下、本発明の実施の形態について説明する。

（実施の形態）
図２は、本発明の実施の形態における音響再生装置１０の外観を示す図である。図２に示すように、本実施の形態の音響再生装置１０の典型例は、マルチチャンネルオーディオ信号を再生するマルチチャンネルオーディオアンプ、または、マルチチャンネルオーディオ信号を含んだコンテンツを再生するＤＶＤシステムあるいはＴＶシステムにおいて前記オーディオアンプの機能を備えたセットトップボックスなどである。このＤＶＤシステムあるいはＴＶシステムは、受聴位置に対して前方に配置される左のスピーカー５、右のスピーカー６と、受聴者の耳元の近傍に配置される図示しないヘッドホンの左右のスピーカーとからなる４つのスピーカーを備える。音響再生装置１０は、規格で定められた位置に配置されることを想定した４つのスピーカーに割り当てられる入力オーディオ信号を、上記ＤＶＤシステムあるいはＴＶシステムの前方スピーカーとヘッドホンとからなる４つの各スピーカーに割り当て直し、４つのスピーカーが想定された本来の位置に配置されている場合と同様の臨場感で再生されるようにする、すなわち、同様の音像が定位するように再生させる装置である。図３は、本発明の実施の形態における音響再生装置１０の構成図である。図３に示すように、音響再生装置１０は、定位音源推定部１、音源信号分離部２、音源位置パラメータ算出部３、再生信号生成部４、スピーカー５、スピーカー６、ヘッドホン７およびヘッドホン８を備える。

図３において、４チャンネルの入力オーディオ信号ＦＬ、ＦＲ、ＳＬ、ＳＲは、定位音源推定部１と音源信号分離部２とに入力される。この入力オーディオ信号は、複数のチャンネルに対するオーディオ信号が含まれたマルチチャンネルのオーディオ信号である。

定位音源推定部１は、受聴空間に音像を定位する定位音源信号を４チャンネルの入力オーディオ信号ＦＬ、ＦＲ、ＳＬ、ＳＲから推定する。

定位音源推定部１により、定位音源信号の有無を推定した結果は、音源信号分離部２、音源位置パラメータ算出部３に出力される。

音源信号分離部２は、定位音源推定部１による推定結果をもとに入力オーディオ信号から定位音源信号の信号成分を算出する。さらに、定位音源信号と、音像を定位しない非定位音源信号とを入力オーディオ信号から分離する。

音源位置パラメータ算出部３は、音源信号分離部２により分離された定位音源信号と非定位音源信号とから、受聴位置に対する受聴空間における定位音源信号の位置を表す音源位置パラメータを算出する。以下では、音源位置パラメータとして、受聴位置から定位音源信号までの距離と、受聴者の正面に対して定位音源信号の位置がなす角とを用いて説明するが、パラメータは距離と角度とに限定されない。それ以外にも、定位音源信号の位置を数学的に表現できるものであれば、ベクトルを用いて表現してもよいし、座標を用いて表現してもよい。

再生信号生成部４は、音源位置パラメータにもとづいて受聴位置に対して前方に配置するスピーカー５、スピーカー６と受聴者の耳元の近傍に配置するヘッドホン７、ヘッドホン８に定位音源信号を配分するとともに、分離した非定位音源信号と合成して再生信号を生成するものである。

スピーカー５およびスピーカー６は受聴位置に対して前方の左右に配置される。

ヘッドホン７およびヘッドホン８は受聴者の耳元の近傍の左右に配置され、本発明の耳元再生スピーカーの例である。ただし、ここで使用するヘッドホンは、ヘッドホン自体から出力されるオーディオ信号と同時に、前方に配置するスピーカーから出力されるオーディオ信号も受聴することが可能な開放型のヘッドホンとする。耳元再生スピーカーは、受聴者の耳元付近で再生音を出力する再生装置であり、ヘッドホンに限られることなく、受聴者の耳元に近接して配置されるスピーカーや音響デバイス等であってもよい。

以上のように構成された音響再生装置１０は、入力オーディオ信号がすべて、標準位置に配置されるスピーカーを用いて再生したものと仮定した場合において、受聴空間に音像が定位するか否かを入力オーディオ信号とスピーカーの位置とから推定する定位音源推定部１と、受聴空間に定位した音像を表す定位音源信号と、受聴空間における音像定位に寄与しない入力オーディオ信号の信号成分である非定位音源信号とを入力オーディオ信号から分離する音源信号分離部２と、定位音源信号の定位する位置を表すパラメータを定位音源信号から算出する音源位置パラメータ算出部３と、定位する位置を表すパラメータにもとづいて定位音源信号をスピーカー５、スピーカー６、耳元再生スピーカーの一例であるヘッドホン７、ヘッドホン８に対して配分し、さらに、非定位音源信号とを合成して、スピーカー５、スピーカー６、ヘッドホン７、ヘッドホン８に対して供給する再生信号を再生信号生成部４により生成する。

以下の説明では、入力オーディオ信号は複数のチャンネルが入力されるマルチチャンネルであり、受聴位置に対して前方の左右と、受聴位置に対して後方の左右に割り当てられる４チャンネルで構成される場合を例に説明する。

入力オーディオ信号は、それぞれのチャンネルについて、時系列のオーディオ信号で表す。受聴位置に対して前方の左側となるチャンネルの信号をＦＬ（ｉ）、右側となるチャンネルの信号をＦＲ（ｉ）、受聴位置に対して後方の左側となるチャンネルの信号をＳＬ（ｉ）、右側となるチャンネルの信号をＳＲ（ｉ）で表す。

また、受聴位置に対して前方の左側に配置するスピーカー５へ供給する再生信号をＳＰＬ（ｉ）、右側に配置するスピーカー６へ供給する再生信号をＳＰＲ（ｉ）で表す。受聴者の耳元の近傍の左側に配置するヘッドホン７へ供給する再生信号をＨＰＬ（ｉ）、右側に配置するヘッドホン８へ供給する再生信号をＨＰＲ（ｉ）で表すものとする。

ここで、ｉは時系列のサンプルインデックスを表し、それぞれの再生信号の生成に関わる処理は所定の時間間隔のＮ個のサンプルからなるフレームを単位として施し、フレーム内のサンプルインデックスｉを（０≦ｉ＜Ｎ）の正整数で表すものとする。なお、フレームの長さは、例えば、２０ｍ秒とする。なお、音響再生装置１０において、１フレームをＭＰＥＧ−２ ＡＡＣの規格で定められたフレーム長、具体的には、サンプリング周波数４４．１ｋＨｚでサンプリングされた１０２４サンプルとしておけば、音響再生装置１０の前段でＭＰＥＧ−２ ＡＡＣを用いて符号化されたオーディオ信号を復号化し、音響再生装置１０を用いて再生する場合に、信号処理の単位を変更する必要がなく処理負荷を低減できるという利点がある。また、このフレーム長は、場合に応じて、サンプリング周波数（４４．１ｋＨｚ）でサンプリングされた２５６サンプルを１フレームとしてもよいし、さらに独自に定めた長さを単位として１フレームと定めてもよい。

図４は、受聴位置に対して正面を角度の基準として、それぞれのチャンネルの入力オーディオ信号が割り当てられる配置を示す説明図である。図４において、チャンネルごとの入力オーディオ信号をＦＬ、ＦＲ、ＳＬ、ＳＲで示し、受聴位置に対して正面である角度の基準からの角度をそれぞれα、β、δ、εで示す。一般の再生環境では、入力オーディオ信号のうち対となるチャンネルのオーディオ信号ＦＬとオーディオ信号ＦＲ、ならびにチャンネルの信号ＳＬとチャンネルＳＲは角度の基準となる方向の延長線を対称軸として対称に配置するため、βは（−α）と等しく、εは（−δ）と等しい角度となる。

続いて、図３に示す本発明の実施の形態における音響再生装置１０の詳細な動作について説明する。

定位音源推定部１は、マルチチャンネルの入力オーディオ信号のうちの一組の対となる２チャンネルのオーディオ信号から受聴空間に音像を定位する定位音源信号を推定する。

この動作の一例として、受聴位置に対して前方の左右に割り当てられるオーディオ信号の一組の対であるチャンネルのオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）から定位音源信号Ｘ（ｉ）を推定する場合について示す。

オーディオ信号の２つのチャンネル間に相関の強い信号成分があるとき、この２つのオーディオ信号によって受聴空間に定位する音像が知覚される。定位音源推定部１は時系列のオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）の間の相関を表す相関係数Ｃ１を（式１）により算出する。続いて、定位音源推定部１は、算出した相関係数Ｃ１の値を所定の閾値ＴＨ１と比較し、相関係数Ｃ１が閾値ＴＨ１を超える場合には定位音源信号が存在するものと判定し、逆に相関係数Ｃ１が閾値ＴＨ１以下の場合は定位音源信号が存在しないと判定する。

ここで、（式１）により算出する相関係数Ｃ１は、（式２）に示す範囲の値となる。相関係数Ｃ１が１となる場合には、オーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）との間の相関が最も強く、オーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）は同相の同一信号である。また、相関係数Ｃ１は、０に近づいて小さくなるにしたがって、オーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）との間の相関は弱くなり、０となる場合はオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）との間には相関が全くない。

定位音源信号Ｘ（ｉ）を推定する方法として、（式３）に示す条件で設定する所定の閾値ＴＨ１と、（式１）により算出する相関係数Ｃ１とを比較することで判定する。なお、相関係数Ｃ１が負の値の場合においても、０に近い値では正の場合と同様にオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）との間の相関は弱く、やはり定位音源信号は存在しないと判定する。相関係数Ｃ１が−１に近づくにしたがってオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）とは逆の相関が強くなり、相関係数Ｃ１が−１となる場合はオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）とは位相が反転しており、オーディオ信号ＦＬ（ｉ）はオーディオ信号ＦＲ（ｉ）の逆相のオーディオ信号（−ＦＲ（ｉ））であることを示す。ただし、このように互いに逆相の信号が対となることは一般にはほとんどない条件である。本発明の実施の形態の音響再生装置１０における音源信号推定部では、逆相の定位音源信号は存在しないものと判定する。

図５は、定位音源推定部１においてオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）とから算出する相関係数Ｃ１の値と、算出した相関係数Ｃ１と閾値ＴＨ１の比較にもとづいて定位音源信号Ｘ（ｉ）の有無を判定する動作を示す説明図である。

図５（Ａ）はオーディオ信号ＦＬ（ｉ）の時系列の信号波形を、図５（Ｂ）はオーディオ信号ＦＲ（ｉ）の時系列の信号波形を示す。横軸には時間を、縦軸には信号振幅を示す。

また、図５（Ｃ）は、定位音源推定部１において、（式１）によりフレームごとに算出する相関係数Ｃ１の値を示す。横軸には時間軸を、縦軸には算出する相関係数Ｃ１の値を示す。

本発明の実施の形態では、定位音源信号の有無を判定するための閾値ＴＨ１を０．５として説明する。閾値ＴＨ１が０．５である位置を図５（Ｃ）に破線で示す。

図５に示す例では、フレーム１およびフレーム２では、相関係数Ｃ１が閾値ＴＨ１以下であるので、定位音源信号Ｘ（ｉ）が存在しないものと判定する。フレーム３およびフレーム４では閾値ＴＨ１を超えるため、定位音源信号Ｘ（ｉ）が存在するものと判定する。

ただし、一組のオーディオ信号のいずれか一方のチャンネルが０である場合や、一方のチャンネルのエネルギーが他方に対して十分大きくなる場合には、一方のチャンネルのみで受聴空間に定位する音像が知覚される。このことから、（式４）に示すように、オーディオ信号ＦＬ（ｉ）が０で、かつオーディオ信号ＦＲ（ｉ）が０でない場合、またはオーディオ信号ＦＲ（ｉ）が０で、かつオーディオ信号ＦＬ（ｉ）が０でない場合には、０でない方のチャンネルのオーディオ信号ＦＬ（ｉ）、またはオーディオ信号ＦＲ（ｉ）を定位音源信号Ｘ（ｉ）と見なすことができるため、定位音源信号Ｘ（ｉ）が存在すると判定する。

また、（式５）に示すように、オーディオ信号ＦＬ（ｉ）、またはオーディオ信号ＦＲ（ｉ）のいずれか一方のエネルギーが、他方に対して十分に大きな値となる場合についても、エネルギーの大きいオーディオ信号を定位音源信号Ｘ（ｉ）と見なすことができるため、定位音源信号Ｘ（ｉ）が存在すると判定する。一例として、ＴＨ２を０．００１と設定すると、エネルギー差は（−２０ｌｏｇ（ＴＨ２））で表されるため、（式５）においてオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）の間に６０［ｄＢ］以上のエネルギー差があることを示す。

このように、定位音源推定部１は、入力オーディオ信号のうち、一組の対となる２つのチャンネルのオーディオ信号から定位音源信号を推定するように構成しても構わない。

次に、音源信号分離部２の動作について説明する。

音源信号分離部２は、定位音源推定部１で定位音源信号が存在すると判定された場合に、入力オーディオ信号を構成する各チャンネルのオーディオ信号に含まれる定位音源信号の信号成分を算出するとともに、受聴空間に音像を定位しない非定位音源信号を分離する。

一例として、オーディオ信号ＦＬ（ｉ）およびオーディオ信号ＦＲ（ｉ）に含まれる定位音源信号Ｘ（ｉ）の信号成分Ｘ０（ｉ）およびＸ１（ｉ）を算出し、非定位音源信号ＦＬａ（ｉ）およびＦＲａ（ｉ）を分離する場合を示す。

ここで、定位音源信号Ｘ（ｉ）の成分のうち、オーディオ信号ＦＬ（ｉ）の角度の方向の成分が信号成分Ｘ０（ｉ）、オーディオ信号ＦＲ（ｉ）の角度の方向の成分が信号成分Ｘ１（ｉ）である。

ここで、定位音源推定部１で受聴空間に音像が定位すると判定された場合には、２つのオーディオ信号の間の相関が強く、同相の信号成分が含まれることを表す。一般に２つのオーディオ信号の同相の信号は和信号（（ＦＬ（ｉ）＋ＦＲ（ｉ））／２）によって得られるため、定数をａとすれば、オーディオ信号ＦＬ（ｉ）に含まれる同相の信号成分Ｘ０（ｉ）は、（式６）で示される。

例えば、（式７）で示されるオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）に同相の信号成分を表す和信号（（ＦＬ（ｉ）＋ＦＲ（ｉ））／２）と、オーディオ信号ＦＬ（ｉ）との間の残差の総和Δ（Ｌ）を最小にするように定数ａを算出する。そして、この定数ａを用いて（式６）で示される信号成分Ｘ０（ｉ）を定める。

さらに、オーディオ信号ＦＬ（ｉ）と信号成分Ｘ０（ｉ）のエネルギーの比にもとづいて、例えば（式８）に示す信号ＦＬａ（ｉ）を受聴空間に音像を定位しない非定位音源信号として分離する。

また、同様にして、オーディオ信号ＦＲ（ｉ）に含まれる定位音源信号Ｘ（ｉ）の信号成分Ｘ１（ｉ）についても、和信号（（ＦＬ（ｉ）＋ＦＲ（ｉ））／２）と、オーディオ信号ＦＲ（ｉ）との間の残差の総和を最小にすることと、オーディオ信号ＦＲ（ｉ）と信号成分Ｘ１（ｉ）のエネルギーの比にもとづいて、非定位音源信号ＦＲｂ（ｉ）を分離することができる。すなわち、定数をｂとすれば、オーディオ信号ＦＲ（ｉ）に含まれる同相の信号成分Ｘ１（ｉ）は、（式９）で示される。定数ｂの値は、（式１０）の式から、和信号（（ＦＬ（ｉ）＋ＦＲ（ｉ））／２）と、オーディオ信号ＦＲ（ｉ）との間の残差の総和Δ（Ｒ）を最小にするように算出される。非定位音源信号ＦＲｂ（ｉ）は、（式１１）に示すように、オーディオ信号ＦＲ（ｉ）と信号成分Ｘ１（ｉ）のエネルギーの比にもとづいて、オーディオ信号ＦＲ（ｉ）から分離される。

このようにして算出する定位音源信号Ｘ（ｉ）の信号成分Ｘ０（ｉ）およびＸ１（ｉ）の受聴空間における関係を図６に示す。

図６において、ＦＬおよびＦＲは、受聴空間に割り当てられるオーディオ信号ＦＬ（ｉ）およびオーディオ信号ＦＲ（ｉ）の方向を示す。受聴位置に対して正面を角度の基準として、オーディオ信号ＦＬは左側に角度αで割り当てられており、オーディオ信号ＦＲは右側に角度βで割り当てられる。Ｘ０およびＸ１は、信号成分Ｘ０（ｉ）およびＸ１（ｉ）のそれぞれのエネルギーを大きさとし、受聴位置からみた信号の到来方向を指すベクトルを示す。なお、定位音源信号Ｘ（ｉ）の信号成分Ｘ０（ｉ）およびＸ１（ｉ）は、それぞれオーディオ信号ＦＬ（ｉ）およびＦＲ（ｉ）に含まれる信号成分であるため、信号成分Ｘ０および信号成分Ｘ１の角度は、それぞれオーディオ信号ＦＬおよびオーディオ信号ＦＲと同一である。

このように、音源信号分離部２は、一つの組となる２つのチャンネルのオーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）の和信号と、この一つの組の一つのオーディオ信号ＦＬ（ｉ）との間の誤差の二乗和を最小にすることで定位音源信号を分離するように構成しても構わない。オーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）の和信号と、オーディオ信号ＦＲ（ｉ）との間の誤差の二乗和を最小にするように定位音源信号を分離しても構わない。

次に、音源位置パラメータ算出部３の動作について説明する。

音源位置パラメータ算出部３は、音源信号分離部２で分離される定位音源信号の信号成分にもとづいて、定位音源信号の位置を示す音源位置パラメータとして、定位音源信号の到来方向を指す方向ベクトルの角度と、受聴位置から定位音源信号までの距離を導くためのエネルギーを算出する。

定位音源信号Ｘ（ｉ）の到来方向は、図６に示す２つの信号成分を示すベクトルＸ０およびＸ１の開き角と、それぞれの信号振幅からベクトルの合成で得られるため、定位音源信号Ｘ（ｉ）を示すベクトルＸの到来方向を指す角度をγとすると、（式１２）の関係式が成り立つ。

なお、ＦＬおよびＦＲを受聴位置に対して正面を基準として左右の等角度に配置するとき、すなわちβが（−α）であるとき、（式１２）は（式１３）のように表すことができる。

（式１３）によれば、信号成分Ｘ０の信号振幅が信号成分Ｘ１より大きい場合は、γが正の値となり、受聴位置に対して前方の左に配置するスピーカー５に近い方向に音像が定位することを示す。逆に信号成分Ｘ１の信号振幅が信号成分Ｘ０より大きい場合は、γが負の値となり、受聴位置に対して前方の右に配置するスピーカー６に近い方向に音像が定位することを示す。また、信号成分Ｘ０と信号成分Ｘ１の信号振幅が等しい場合は、γが０となり、前方の左右に配置する２つのスピーカーから等距離の受聴位置正面の方向に音像が定位することを示す。

さらに、定位音源信号Ｘ（ｉ）は、定位音源推定部１と音源信号分離部２の動作で説明したように、オーディオ信号ＦＬおよびオーディオ信号ＦＲに含まれる同相の信号成分Ｘ０（ｉ）および信号成分Ｘ１（ｉ）の合成であり、（式１４）に示すようにエネルギーを保存する関係が成り立つ。これにより、（式１４）を用いて、定位音源信号Ｘ（ｉ）のエネルギーＬを算出することができる。

次に、定位音源信号Ｘ（ｉ）のエネルギーと、受聴位置から定位音源信号Ｘ（ｉ）までの距離の関係を説明する。ここで、例えば定位音源信号を十分に小さい点音源と仮定すると、点音源から受聴位置までの距離とエネルギーとの間に、（式１５）の関係式が成り立つ。（式１５）において、Ｒ０は点音源からの基準距離を、Ｒは点音源からの別の受聴位置の距離を、Ｌ０は基準距離におけるエネルギーを、Ｌは受聴位置における定位音源信号のエネルギーをそれぞれ示す。

（式１５）は、受聴位置を固定した２つの異なる点音源の一方を基準距離Ｒ０とし、他方の受聴位置までの距離をＲとして適用すると、受聴位置からの基準距離Ｒ０と基準距離におけるエネルギーＬ０を所定の定数とすることにより、受聴位置から定位音源信号Ｘ（ｉ）の定位位置までの距離Ｒを、エネルギーＬにもとづいて算出することができる。ここで例えば、受聴位置からの基準距離Ｒ０を１．０［ｍ］とし、基準距離におけるエネルギーを−２０［ｄＢ］とする。

以上のようにして、音源位置パラメータ算出部３は、定位音源信号Ｘ（ｉ）の位置を表すパラメータとして、定位音源信号Ｘ（ｉ）の到来方向を示す角度γと、受聴位置から定位音源信号Ｘ（ｉ）までの距離Ｒとを算出する。

なお、上述した定位音源推定部１、音源信号分離部２、および音源位置パラメータ算出部３の動作の説明では、オーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）とから、定位音源信号Ｘ（ｉ）を推定し、その信号成分Ｘ０（ｉ）とＸ１（ｉ）とを算出し、非定位音源信号ＦＬａ（ｉ）およびＦＲｂ（ｉ）を分離し、定位音源信号Ｘ（ｉ）の音源位置パラメータを算出する場合について説明したが、マルチチャンネルの入力オーディオ信号の他のいずれかのチャンネルの組み合わせにおいても、定位音源信号の推定と、信号成分の算出と非定位音源信号の分離、音源位置パラメータの算出をも同様にして行うことができる。

すなわち、定位音源推定部１は、オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）とから音像が定位するか否かを判定し、音像が定位するフレームごとに定位音源信号Ｙ（ｉ）を推定し、非定位音源信号ＳＬａ（ｉ）およびＳＲｂ（ｉ）を分離する。具体的には、既出の（式１）〜（式１４）の各数式において、各変数を適切に置き替えることによって、上述のオーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）とについてすでに説明した方法と同様にして、定位音源信号Ｙ（ｉ）を推定し、その信号成分Ｙ０（ｉ）とＹ１（ｉ）とを算出し、非定位音源信号ＳＬａ（ｉ）およびＳＲｂ（ｉ）を分離することができる。

以下では、（式１）〜（式１４）の各数式において、オーディオ信号ＦＬ(ｉ)をオーディオ信号ＳＬ(ｉ)に、オーディオ信号ＦＲ(ｉ)をオーディオ信号ＳＲ(ｉ)に、定位音源信号Ｘ（ｉ）を定位音源信号Ｙ（ｉ）に、信号成分Ｘ０（ｉ）を信号成分Ｙ０（ｉ）に、信号成分Ｘ１（ｉ）を信号成分Ｙ１（ｉ）に、角度αを角度δに、角度βを角度εに、角度γを角度λに、非定位音源信号ＦＬａ（ｉ）を非定位音源信号ＳＬａ（ｉ）に、非定位音源信号ＦＲｂを非定位音源信号ＳＲｂ（ｉ）に、それぞれ置き替える。これにより、以下の（式１６）〜（式２７）が得られる。

まず、定位音源推定部１は、（式１６）を用いてフレームごとに、オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）との間の相関を表す相関係数Ｃ１を算出し、次いで、算出した相関係数Ｃ１が閾値ＴＨ１を超えるか否かを調べ、相関係数Ｃ１が閾値ＴＨ１を超えるフレームでは定位音源信号Ｙ（ｉ）が存在するものと判定する。定位音源推定部１によって定位音源信号Ｙ（ｉ）が存在すると判定された場合、音源信号分離部２は、（式１８）を用いて、Δ（Ｌ）の値を最小にする定数ａを算出する。次いで、算出したａを（式１７）に代入して、定位音源信号Ｙ（ｉ）のオーディオ信号ＳＬ（ｉ）に含まれる信号成分Ｙ０（ｉ）を算出する。

さらに、音源信号分離部２は、算出された信号成分Ｙ０（ｉ）と、オーディオ信号ＳＬ（ｉ）とを（式１９）に当てはめることによって非定位音源信号ＳＬａ（ｉ）を算出し、オーディオ信号ＳＬ（ｉ）から分離する。

同様にして、音源信号分離部２は、（式２１）を用いて、Δ（Ｒ）の値を最小にする定数ｂの値を算出する。次いで、算出したｂを（式２０）に代入して、定位音源信号Ｙ（ｉ）のオーディオ信号ＳＲ（ｉ）に含まれる信号成分Ｙ１（ｉ）を算出する。

音源信号分離部２は、算出された信号成分Ｙ１（ｉ）と、オーディオ信号ＳＲ（ｉ）とを（式２２）に当てはめることによって非定位音源信号ＳＲｂ（ｉ）を算出し、オーディオ信号ＳＲ（ｉ）から分離する。

図７は、受聴位置に対して後方の左右の所定位置に配置されるスピーカーに割り当てられるオーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）とから定位音源信号Ｙ（ｉ）を推定し、音源信号分離部２で信号成分Ｙ０（ｉ）とＹ１（ｉ）を算出する場合の、受聴空間における定位音源信号Ｙ（ｉ）と信号成分Ｙ０（ｉ）、Ｙ１（ｉ）の関係を示す説明図である。

図７において、ＳＬおよびＳＲは、受聴空間に割り当てられるオーディオ信号ＳＬ（ｉ）およびＳＲ（ｉ）の受聴位置からの方向を示し、受聴位置に対して正面を角度の基準として、ＳＬは左側に角度δで割り当てられ、ＳＲは右側に角度εで割り当てられる。Ｙ０およびＹ１は、信号成分Ｙ０（ｉ）およびＹ１（ｉ）のそれぞれのエネルギーを大きさとし、信号の到来方向を指すベクトルを示す。また、定位音源信号Ｙ（ｉ）の到来方向を示すベクトルＹは信号成分Ｙ０およびＹ１のベクトルの合成で得られ、ベクトルＹの到来方向を指す角度をλで示す。これにより、オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）によって受聴空間に定位する定位音源信号Ｙ（ｉ）の音源位置パラメータが算出される。

音源位置パラメータ算出部３は、定位音源信号Ｙの位置を表すパラメータとして、受聴位置に対する、定位音源信号Ｙの到来方向を示す角度λを、定位音源信号の信号成分のエネルギーＹ０、Ｙ１と到来方向を示す角度δ、εにもとづいて算出する。角度λは、（式２３）を用いて計算される。

これにおいて、角度δとεとの間にも、角度αおよびβと同様にδ＝−εの関係があるので、（式２３）は（式２４）のように表すことができる。

定位音源信号Ｙ（ｉ）は、オーディオ信号ＳＬおよびオーディオ信号ＳＲに含まれる同相の信号成分Ｙ０（ｉ）および信号成分Ｙ１（ｉ）の合成であり、（式２５）に示すようにエネルギーを保存する関係が成り立つ。これにより、（式２５）を用いて、定位音源信号Ｙ（ｉ）のエネルギーＬを算出することができる。

さらに、算出されたエネルギーＬを（式１５）に代入し、Ｌ０、Ｒ０に前述の初期値を代入することによって、定位音源信号Ｙまでの受聴位置からの距離Ｒを算出することができる。

なお、定位音源推定部１による判定において、相関係数Ｃ１が閾値ＴＨ１を超えない場合であっても、さらに、（式２６）と（式２７）とを用いて、オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）とのいずれかのチャンネルが０である場合、または、一方のチャンネルのエネルギーが他方に対して十分大きくなる場合に該当するか否かを判定する。オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）とが、（式２６）と（式２７）とのいずれかに該当する場合、オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）とのうち０でない方、または、他方に対してエネルギーが十分に大きくなる方のオーディオ信号を定位音源信号Ｙ（ｉ）とする。

さらに、いずれかのチャンネルのオーディオ信号と推定した定位音源信号との組み合わせ、あるいは推定した２つの定位音源信号の組み合わせにおいても、定位音源信号の推定と、信号成分の算出、音源位置パラメータの算出を同様にして行うことができる。つまり、上述の説明ではオーディオ信号ＦＬとＦＲ、オーディオ信号ＳＬとＳＲとの間で定位音源信号を算出したが、これを定位音源信号ＸとＹとにも適応することができる。また、オーディオ信号ＦＬとＳＬとの間においても、定位音源信号を算出することもできる。

すなわち、定位音源推定部１は、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）とから音像が定位するか否かを判定し、音源信号分離部２は、音像が定位するフレームごとに定位音源信号Ｚ（ｉ）を算出する。具体的には、既出の（式１）〜（式１４）の各数式において、各変数を適切に置き替えることによって、上述のオーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）とについてすでに説明した方法と同様にして、定位音源信号Ｙ（ｉ）を推定し、その信号成分Ｙ０（ｉ）とＹ１（ｉ）とを算出することができる。なお、音源信号分離部２は、さらに、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）との間で音像を定位しない非定位音源信号の信号成分、例えば、Ｘａ（ｉ）およびＹｂ（ｉ）を分離するとしてもよいが、後の処理を簡単にするために、ここでは処理を省略する。

以下では、（式１）〜（式１４）の各数式において、オーディオ信号ＦＬ(ｉ)を定位音源信号Ｘ(ｉ)に、オーディオ信号ＦＲ(ｉ)を定位音源信号Ｙ(ｉ)に、定位音源信号Ｘ（ｉ）を定位音源信号Ｚ（ｉ）に、信号成分Ｘ０（ｉ）を信号成分Ｚ０（ｉ）に、信号成分Ｘ１（ｉ）を信号成分Ｚ１（ｉ）に、角度αを角度γに、角度βを角度λに、角度γを角度θに、それぞれ置き替える。これにより、以下の（式２８）〜（式３６）が得られる。

まず、定位音源推定部１は、（式２８）を用いてフレームごとに、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）との間の相関を表す相関係数Ｃ１を算出し、次いで、算出した相関係数Ｃ１が閾値ＴＨ１を超えるか否かを調べ、相関係数Ｃ１が閾値ＴＨ１を超えるフレームでは定位音源信号Ｚ（ｉ）が存在するものと判定する。定位音源推定部１によって定位音源信号Ｚ（ｉ）が存在すると判定された場合、音源信号分離部２は、（式３０）を用いて、Δ（Ｌ）の値を最小にする定数ａを算出する。次いで、算出したａを（式２９）に代入して、定位音源信号Ｚ（ｉ）の定位音源信号Ｘ（ｉ）に含まれる信号成分Ｚ０（ｉ）を算出する。

同様にして、音源信号分離部２は、（式３２）を用いて、Δ（Ｒ）の値を最小にする定数ｂの値を算出する。次いで、算出したｂを（式３１）に代入して、定位音源信号Ｚ（ｉ）の定位音源信号Ｙ（ｉ）に含まれる信号成分Ｚ１（ｉ）を算出する。

図８は、図６および図７で示したように上述の定位音源信号Ｘ（ｉ）とＹ（ｉ）から定位音源信号Ｚ（ｉ）を推定し、音源信号分離部２で信号成分Ｚ０（ｉ）とＺ１（ｉ）を算出する場合の、受聴空間の定位音源信号Ｚ（ｉ）と信号成分Ｚ０（ｉ）、Ｚ１（ｉ）の関係を示す説明図である。

図８において、ＸおよびＹは、定位音源信号Ｘ（ｉ）とＹ（ｉ）の到来方向を示し、図６および図７に示すそれぞれの角度γおよび角度λと同一である。Ｚ０およびＺ１は、定位音源信号Ｚ（ｉ）が定位音源信号Ｘ（ｉ）およびＹ（ｉ）に含まれる信号成分であり、それぞれのエネルギーを大きさとし、信号の到来方向を指すベクトルを示す。また、定位音源信号Ｚ（ｉ）の到来方向を示すベクトルＺは信号成分Ｚ０およびＺ１のベクトルの合成で得られ、ベクトルＺの到来方向を指す角度をθで示す。これにより、定位音源信号Ｘ（ｉ）とＹ（ｉ）によって受聴空間に定位する定位音源信号Ｚ（ｉ）の音源位置パラメータが算出される。

音源位置パラメータ算出部３は、定位音源信号Ｚの位置を表すパラメータとして、受聴位置に対する、定位音源信号Ｚの到来方向を示す角度θを、定位音源信号Ｚの信号成分のエネルギーＺ０、Ｚ１と到来方向を示す角度γ、λにもとづいて算出する。角度θは、（式３３）を用いて計算される。なお、ここでは、γ＝−λが成立しないので、（式１３）は使用しない。

定位音源信号Ｚ（ｉ）は、定位音源信号Ｘおよび定位音源信号Ｙに含まれる同相の信号成分Ｚ０（ｉ）および信号成分Ｚ１（ｉ）の合成であり、（式３４）に示すようにエネルギーを保存する関係が成り立つ。これにより、（式３４）を用いて、定位音源信号Ｚ（ｉ）のエネルギーＬを算出することができる。

さらに、算出されたエネルギーＬを（式１５）に代入し、Ｌ０、Ｒ０に前述の初期値を代入することによって、定位音源信号Ｚまでの受聴位置からの距離Ｒを算出することができる。

なお、定位音源推定部１による判定において、相関係数Ｃ１が閾値ＴＨ１を超えない場合であっても、さらに、（式３５）と（式３６）とを用いて、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）とのいずれかが０である場合、または、一方の信号のエネルギーが他方に対して十分大きくなる場合のいずれかに該当するか否かを判定する。定位音源信号Ｘ（ｉ）とＹ（ｉ）とが、（式３５）と（式３６）とのいずれかに該当する場合、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）とのうち０でない方、または、他方に対してエネルギーが十分に大きくなる方の定位音源信号を定位音源信号Ｚ（ｉ）とする。

なお、ここでは、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）とで音像を定位しない信号成分を算出しないものとしたが、本発明はこれに限定されない。例えば、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）とで音像を定位しない信号成分Ｘａ（ｉ）、Ｙｂ（ｉ）を算出し、信号成分Ｘａ（ｉ）をＦＬとＦＲとに配分し、信号成分Ｙｂ（ｉ）をＳＬとＳＲとに配分するとしてもよい。

このように、定位音源推定部１は、入力オーディオ信号のうち、一組の対となる２つのチャンネルのオーディオ信号ＦＬ、ＦＲとから第一の定位音源信号Ｘを推定し、他の一組の対となる２つのチャンネルのオーディオ信号ＳＬ、ＳＲとから第二の定位音源信号Ｙを推定し、第一の定位音源信号Ｘと第二の定位音源信号Ｙとから第三の定位音源信号Ｚを推定し、第三の定位音源信号Ｚを入力オーディオ信号の定位音源信号であると推定した。なお、これに対し、対となる２つのチャンネルのオーディオ信号はＦＬとＦＲの組、ＳＬとＳＲの組のみではなく任意の組としても構わない。例えばＦＬとＳＬ、およびＦＲとＳＲで組をなしても構わない。

また、定位音源推定部１は、所定の時間間隔からなるフレームを単位として、入力信号のうち対となる２つのチャンネルのオーディオ信号ＦＬ（ｉ）、ＦＲ（ｉ）との間の相関係数をフレームごとに算出し、相関係数が所定の値より大きくなる場合に、この２つのチャンネルのオーディオ信号から定位音源信号を推定した。

さらに、本実施の形態において、定位音源推定部１は、所定の時間間隔からなるフレームを単位として、第一の定位音源信号Ｘ（ｉ）と第二の定位音源信号Ｙ（ｉ）との間の相関係数をフレームごとに算出し、相関係数が所定の閾値より大きくなる場合には、第一の定位音源信号Ｘ（ｉ）と第二の定位音源信号Ｙ（ｉ）とから第三の定位音源信号Ｚ（ｉ）を推定した。

さらに、音源信号分離部２は、第三の定位音源信号Ｚを定める際に、第一の定位音源信号Ｘと第二の定位音源信号Ｙの和信号と、第一の定位音源信号Ｘとの間の誤差の二乗和を最小にすることで前記第三の定位音源信号Ｚを分離した。

また、音源信号分離部２は、第三の定位音源信号Ｚを定める際に、第一の定位音源信号Ｘと第二の定位音源信号Ｙの和信号と、第二の定位音源信号Ｙとの間の誤差の二乗和を最小にすることで前記第三の定位音源信号Ｚを分離した。

また、音源信号分離部２は、これら第三の定位音源信号Ｚを定めるのに、所定の時間間隔からなるフレームを単位として用いるように構成しても構わない。

また、音源位置パラメータ算出部３は、定位音源信号Ｘの位置を表すパラメータとして、受聴位置に対する、定位音源信号の到来方向を示す角度γを、定位音源信号の信号成分のエネルギーＸ０、Ｘ１と到来方向を示す角度α、βにもとづいて算出するように構成しても構わない。また、音源位置パラメータ算出部３は、前記定位音源信号の信号成分Ｘ０、Ｘ１のエネルギーにもとづいて、前記受聴位置から前記定位音源信号までの距離を算出するように構成しても構わない。定位音源信号Ｙについても同様に、また、定位音源信号Ｚについては、定位音源信号Ｘ、Ｙとから算出するように構成することができる。

次に、再生信号生成部４の動作について説明する。

再生信号生成部４は、最初に、音源位置パラメータにもとづいて、定位音源信号Ｚ（ｉ）のエネルギーを配分するように、受聴位置に対して前方に配置するスピーカーと、受聴者の耳元の近傍に配置するヘッドホンに割り当てる定位音源信号を算出する。そして次に、割り当てた定位音源信号のエネルギーを配分するように、スピーカーおよびヘッドホンの左右のチャンネルに割り当てる定位音源信号を算出する。こうして割り当てた各チャンネルの定位音源信号に、予め音源信号分離部２で分離した、各チャンネルの非定位音源信号を合成して再生信号を生成する。

まず、受聴位置に対して前方に配置する対となるスピーカーと、受聴者の耳元の近傍に配置する対となるヘッドホンへ定位音源信号のエネルギーを配分するように、割り当てる音源信号を算出する動作について説明する。

図９は、音源位置パラメータのうちの到来方向を示す角度θにもとづいて、受聴位置に対して前方に配置するスピーカーへ、定位音源信号Ｚ（ｉ）のエネルギーを配分するための配分量Ｆ（θ）を示す説明図である。図９において、横軸は音源位置パラメータのうちの定位音源信号の到来方向を指す角度θを、縦軸は信号エネルギーの配分量を示す。なお、図中の実線は前方に配置するスピーカーへ配分量Ｆ（θ）を示し、破線は受聴者の耳元の近傍に配置するヘッドホンへの配分量である（１．０−Ｆ（θ））を示す。

ここで、図９に示す関数Ｆ（θ）は、例えば（式３７）で表すことができる。すなわち、図９に示す例では、定位音源信号Ｚ（ｉ）の到来方向を示す角度θが、受聴位置の正面の基準とする角度である場合、前方に配置するスピーカーへ全て配分することを示し、角度θが９０度（π／２ラジアン）に近づくにしたがい配分量を減少することを示す。また、同様にして角度θが−９０度（−π／２ラジアン）に近づくにしたがい配分量を減少することを示す。なお、角度θが９０度（π／２ラジアン）より大きくなる場合や、−９０度（−π／２ラジアン）より小さくなる場合については、定位音源信号Ｚ（ｉ）が受聴位置より後方に定位することを示すため、前方に配置するスピーカーへは配分しない。

ここで、（式３７）に示すＦ（θ）が定位音源信号Ｚ（ｉ）のエネルギーの配分量であることから、（式３８）に示すようにＦ（θ）の平方根値を係数として定位音源信号Ｚ（ｉ）に乗ずることで、前方に配置するスピーカーへ割り当てる定位音源信号Ｚｆ（ｉ）を算出することができる。

さらに、受聴者の耳元の近傍に配置するヘッドホンへ割り当てる定位音源信号Ｚｈ（ｉ）は、（式３９）に示すように（１．０−Ｆ（θ））の平方根値を定位音源信号Ｚ（ｉ）に乗ずることにより算出することができる。

しかしながら、定位音源信号Ｚ（ｉ）のエネルギーによっては、到来方向を示す角度θに関わらず、受聴者の耳元の近傍に配置するヘッドホンへ割り当てることで、定位する音像をより明瞭に知覚することができる場合がある。すなわち、定位音源信号Ｚ(ｉ)のエネルギーが大きい場合である。定位音源信号Ｚ(ｉ)のエネルギーが大きい場合、音像が受聴位置の近くに定位するため、定位音源信号を前方に配置するスピーカーに割り当てるよりも、受聴者の耳元の近傍に配置するヘッドホンへ割り当てた方が、受聴者は定位する音像をより明確に知覚することができる。

以下に、受聴位置からの定位音源信号Ｚ（ｉ）までの距離Ｒを考慮して、定位音源信号を割り当てる処理について説明する。

図１０は、受聴空間の位置を示す音源位置パラメータのうちの、受聴位置から定位音源信号Ｚ（ｉ）までの距離Ｒにもとづいて、前方に配置するスピーカーおよび受聴者の耳元の近傍に配置するヘッドホンへ、定位音源信号Ｚ（ｉ）のエネルギーを配分するための配分量Ｇ（Ｒ）を示す説明図である。

図１０において、横軸は音源位置パラメータのうちの受聴位置から定位音源信号までの距離Ｒを、縦軸は信号エネルギーの配分量を示す。なお、図中の実線は前方に配置するスピーカーへの配分量Ｇ（Ｒ）を示し、破線は耳元の近傍に配置するヘッドホンへの配分量である（１．０−Ｇ（Ｒ））を示す。すなわち、図１０に示す例では定位音源信号Ｚ（ｉ）の受聴位置からの距離Ｒが、前方に配置するスピーカーまでの距離Ｒ２以上となる場合には、前方に配置するスピーカーへ全て配分し、受聴位置からの距離が短くなるにしたがって徐々に配分量が減少することを示す。

なお、受聴位置からの距離Ｒにもとづくエネルギーの配分を行うために、例えば上述の到来方向を示す角度θにもとづくＦ（θ）と、受聴位置からの距離ＲにもとづくＧ（Ｒ）の乗算値の平方根値を、（式４０）に示すように定位音源信号Ｚ（ｉ）に乗ずることによって、前方に配置するスピーカーへ割り当てる定位音源信号Ｚｆ（ｉ）を算出することができる。

ただし、エネルギーを保存するために、受聴者の耳元の近傍に配置するヘッドホンへ割り当てる定位音源信号Ｚｈ（ｉ）を（式４１）によって算出する。

次に、上述のようにして受聴位置に対して前方に配置する対となるスピーカーと、受聴者の耳元の近傍に配置する対となるヘッドホンへ割り当てた定位音源信号Ｚｆ（ｉ）、Ｚｈ（ｉ）を、前方に配置するスピーカーおよび耳元の近傍に配置するヘッドホンの左右のチャンネルへ割り当てる処理について説明する。

このように、再生信号生成部４は、定位音源信号Ｚの到来方向を示す角度θと受聴位置から定位音源信号までの距離ＲとにもとづくＦ（θ）、Ｇ（Ｒ）にしたがって、スピーカー５、スピーカー６と、ヘッドホン７、ヘッドホン８とに対して定位音源信号Ｚのエネルギーを配分するように構成しても構わない。

まず、前方に配置する対となるスピーカーへ割り当てる定位音源信号Ｚｆ（ｉ）を、左右のチャンネルへ割り当てる処理を説明する。図１１は音源位置パラメータのうちの到来方向を示す角度θにもとづいて、前方に配置されるスピーカーに割り当てた定位音源信号Ｚｆ（ｉ）のエネルギーを左右のチャンネルへ配分するための配分量Ｈ１（θ）を示す説明図である。図１１において、横軸は音源位置パラメータのうちの到来方向を示す角度θを示し、縦軸は左右チャンネルへの配分量を示す。なお、図中の実線は左チャンネルへの配分量Ｈ１（θ）を示し、破線は右チャンネルへの配分量である（１．０−Ｈ１（θ））をそれぞれ示す。ここで、図１１に示す関数Ｈ１（θ）は、例えば（式４２）で表すことができる。すなわち、図１１に示す例では、定位音源信号Ｚ（ｉ）の到来方向を示す角度θが、受聴位置正面の基準である場合に左右のチャンネルへ半分ずつ配分することを示し、角度θが９０度（π／２ラジアン）に近づくにしたがい配分量を増加することを示す。逆に、角度θが−９０度（−π／２ラジアン）に近づくにしたがい配分量を減少することを示す。

ここで、（式４２）に示すＨ１（θ）が定位音源信号Ｚｆ（ｉ）のエネルギーの配分量であることから、（式４３）に示すようにＨ１（θ）の平方根値を係数として定位音源信号Ｚｆ（ｉ）に乗ずることで、左チャンネルのスピーカーへ割り当てる定位音源信号ＺｆＬ（ｉ）を算出することができる。

さらに、右チャンネルのスピーカーへ割り当てる定位音源信号ＺｆＲ（ｉ）は、（式４４）に示すように（１．０−Ｈ１（θ））の平方根値を定位音源信号Ｚｆ（ｉ）に乗ずることで算出することができる。

次に、受聴者の耳元の近傍に配置する対となるヘッドホンへ割り当てた定位音源信号Ｚｈ（ｉ）を、左右のチャンネルへ割り当てる処理を説明する。図１２は音源位置パラメータのうちの到来方向を示す角度θにもとづいて、受聴者の耳元の近傍に配置されるヘッドホンに割り当てる定位音源信号Ｚｈ（ｉ）のエネルギーを左右のチャンネルへ配分するための係数を導出する関数Ｈ２（θ）の一例を示す説明図である。図１２において、横軸は音源位置パラメータのうちの到来方向を示す角度θを示し、縦軸は左右チャンネルへの配分量を示す。なお、図中の実線は左チャンネルへの配分量Ｈ２（θ）を示し、破線は右チャンネルへの配分量である（１．０−Ｈ２（θ））を示す。ここで、図１２に示す関数Ｈ２（θ）は、例えば（式４５）で表すことができる。すなわち、図１２に示す例では、定位音源信号Ｚ（ｉ）の到来方向を示す角度θが、受聴位置に対して正面である基準の位置である場合、左右のチャンネルへ半分ずつ配分することを示し、角度θが、９０度（π／２ラジアン）に近づくにしたがい配分量を増加し、９０度（π／２ラジアン）となる場合は左チャンネルへ全て配分する。さらに、９０度（π／２ラジアン）から１８０度（πラジアン）に近づくにしたがい配分量を減少し、１８０度（πラジアン）となる場合は、左右のチャンネルへ半分ずつ配分することを示す。逆に、受聴位置正面の基準から−９０度（−π／２ラジアン）に近づくにしたがい配分量を減少し、−９０度（−π／２ラジアン）となる場合は左チャンネルへ全く配分しないことを示す。さらに、−９０度（−π／２ラジアン）から受聴位置後方の正面の−１８０度（−πラジアン）に近づくにしたがい配分量を増加することを示す。

ここで、（式４５）に示すＨ２（θ）が定位音源信号Ｚｈ（ｉ）のエネルギーの配分量であることから、（式４６）に示すようにＨ２（θ）の平方根値を係数として定位音源信号Ｚｈ（ｉ）に乗ずることで、左チャンネルのヘッドホンへ割り当てる音源信号ＺｈＬ（ｉ）を算出することができる。

さらに、右チャンネルのヘッドホンへ割り当てる定位音源信号ＺｈＲ（ｉ）は、（式４７）に示すように（１．０−Ｈ２（θ））の平方根値を定位音源信号Ｚｈ（ｉ）に乗ずることで算出することができる。

最後に、上述のようにしてスピーカーおよびヘッドホンのそれぞれのチャンネルに配分した定位音源信号に、予め音源信号分離部２で分離するそれぞれのチャンネルの受聴空間に音像を定位しない非定位音源信号を合成して、スピーカーおよびヘッドホンへ供給する再生信号を生成する。すなわち、それぞれのチャンネルの再生信号は定位音源信号Ｚ（ｉ）と音源信号の到来方向を示す角度θ、受聴位置からの距離Ｒ、およびそれぞれのチャンネルの非定位音源信号にもとづいて（式４８）で示すことができる。（式４８）において、スピーカーおよびヘッドホンのそれぞれのチャンネルに配分する定位音源信号は、上述の（式４３）および、（式４４）、（式４６）、（式４７）を用いて算出する定位音源信号である。さらに、それぞれのチャンネルの受聴空間に音像を定位しない非定位音源信号は、ＦＬａ（ｉ）、ＦＲｂ（ｉ）、ＳＬａ（ｉ）、ＳＲｂ（ｉ）で示し、これらは上述する音源信号分離部２の動作の説明にある（式８）と同様にして算出する非定位音源信号である。ただし、定位音源信号の音源位置パラメータのうちの到来方向を示す角度θが（−π≦θ≦−π／２）もしくは（π／２≦θ≦π）である場合にヘッドホンへ割り当てられる定位音源信号ＺｈＬ（ｉ）およびＺｈＲ（ｉ）は、音源位置パラメータのうちの受聴位置から定位音源信号までの距離Ｒで定位する定位音源信号であり、これを受聴者の耳元の近傍に配置するヘッドホンの左右チャンネルから出力するために、受聴者が知覚するエネルギーレベルを調整するための所定の係数Ｋ０を乗じてから合成する。また、ＳＬａ（ｉ）およびＳＲｂ（ｉ）は受聴位置後方の左右に割り当てられるオーディオ信号ＳＬ（ｉ）およびＳＲ（ｉ）に含まれる非定位音源信号であり、これらを受聴者の耳元の近傍に配置するヘッドホンの左右のチャンネルから出力するために、受聴者が知覚するエネルギーレベルを調整するための所定の係数Ｋを乗じてから合成する。

上記（式４８）における所定の係数Ｋ０は、定位音源信号の音源位置パラメータにもとづいて、角度θが（−π≦θ≦−π／２）もしくは（π／２≦θ≦π）の場合に、定位音源信号の受聴位置からの距離Ｒに定位する定位音源信号を、受聴位置で聴取した場合の音圧レベル差が均等となるように調整する係数であり、例えば（式４９）により算出されるようにしてもよい。また、所定の係数Ｋ１は、前方に配置するスピーカーと受聴者の耳元の近傍に配置するヘッドホンとのそれぞれから出力される同一のオーディオ信号を、受聴位置で聴取した場合の音圧レベル差が均等になるように調整する係数であり、例えば、受聴位置からヘッドホンまでの距離Ｒ２と、受聴位置から前方に配置するスピーカーまでの距離Ｒ１とを用いて、（式５０）により算出するようにしてもよい。

また、上記の所定の係数Ｋ０およびＫ１は音響再生装置１０のスイッチを操作することによって受聴者が受聴者の聴覚能力にもとづいて調整可能としてもよい。

なお、上述した再生信号生成部４の動作の説明では、音源位置パラメータにもとづいて、最初にスピーカーとヘッドホンのそれぞれに割り当てる定位音源信号を算出し、その後にスピーカーおよびヘッドホンの左右のチャンネ
ルに割り当てる定位音源信号を算出しているが、最初に左右のチャンネルへ割り当てる定位音源信号を算出し、その後にスピーカーとヘッドホンのそれぞれに割り当てる定位音源信号を算出するようにしてもよい。

さらに、前方に配置するスピーカーおよび、受聴者の耳元の近傍に配置するヘッドホンの音響再生の能率差によっても、受聴者が知覚するエネルギーレベルの差が生ずる場合がある。このため、音響再生の再生特性の様々な組み合わせに対して最適な再生信号を生成するため、（式４８）により算出するそれぞれの再生信号に対して、例えば、ヘッドホンへ出力される再生オーディオ信号に（式５０）に示すように所定の係数Ｋ２を乗ずることによって、受聴者が知覚するエネルギーレベルの差を補うように減衰量の調整を施すようにしてもよい。

ここで、所定の係数Ｋ２は、例えば音響再生の能率を表す一般的な指標である出力音圧レベルを用いて、前方に配置するスピーカーの出力音圧レベルをＰ０［ｄＢ／Ｗ]、ヘッドホンの出力音圧レベルをＰ１［ｄＢ／Ｗ］とした場合には、例えば（式５１）用いて算出される。

また、上記の所定の係数Ｋ２についても音響再生装置１０のスイッチを操作することによって受聴者が受聴者の聴覚能力にもとづいて調整可能としてもよい。

図１３は、本発明の実施の形態における音響再生装置の動作を示すフローチャートである。音響再生装置１０において、まず、定位音源推定部１は、受聴位置の前方に配置されるスピーカーに対して割り当てられるオーディオ信号ＦＬ（ｉ）とオーディオ信号ＦＲ（ｉ）との間で定位音源信号Ｘ（ｉ）が定位するか否かを判定する（Ｓ１３０１）。

定位音源推定部１において定位音源信号Ｘ（ｉ）が定位すると判定した場合（Ｓ１３０１でＹｅｓ）、音源信号分離部２は、オーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）との同相信号を用いて、定位音源信号Ｘ（ｉ）のＦＬ方向の信号成分Ｘ０（ｉ）と、ＦＲ方向の信号成分Ｘ１（ｉ）を算出する（Ｓ１３０２）。

次いで、音源信号分離部２は、オーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）とに含まれる非定位音源信号ＦＬａ（ｉ）、ＦＲｂ（ｉ）を算出し、オーディオ信号ＦＬ（ｉ）とＦＲ（ｉ）とから分離する。さらに、音源信号分離部２は、算出した信号成分Ｘ０（ｉ）と信号成分Ｘ１（ｉ）とを合成して得られる定位音源信号Ｘ（ｉ）の定位位置を示すパラメータを算出する（Ｓ１３０３）。このパラメータは、受聴位置から定位音源信号Ｘ（ｉ）の定位位置までの距離Ｒ、および受聴位置の正面から定位位置までの角度γである。

定位音源推定部１において定位音源信号Ｘ（ｉ）が定位しないと判定した場合（Ｓ１３０１でＮｏ）、音源信号分離部２は定位音源信号Ｘ（ｉ）＝０とし、ＦＬａ（ｉ）＝ＦＬ（ｉ）、ＦＲｂ（ｉ）＝ＦＲ（ｉ）とする（Ｓ１３０４）。

さらに、定位音源推定部１は、受聴者の後方の所定位置に配置されると想定されたスピーカーに対して割り当てられるオーディオ信号ＳＬ（ｉ）とオーディオ信号ＳＲ（ｉ）との間で定位音源信号Ｙ（ｉ）が定位するか否かを判定する（Ｓ１３０５）。

定位音源推定部１において定位音源信号Ｙ（ｉ）が定位すると判定した場合（Ｓ１３０５でＹｅｓ）、音源信号分離部２は、オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）との同相信号を用いて、定位音源信号Ｙ（ｉ）のＳＬ方向の信号成分Ｙ０（ｉ）、ＳＲ方向の信号成分Ｙ１（ｉ）を算出する（Ｓ１３０６）。

次いで、音源信号分離部２は、オーディオ信号ＳＬ（ｉ）とＳＲ（ｉ）とに含まれる非定位音源信号ＳＬａ（ｉ）、ＳＲｂ（ｉ）を算出し、分離する。さらに、音源信号分離部２は、算出した信号成分Ｙ０（ｉ）と信号成分Ｙ１（ｉ）とを合成して得られる定位音源信号Ｙ（ｉ）の定位位置を示すパラメータを算出する（Ｓ１３０７）。このパラメータは、受聴位置から定位音源信号Ｙ（ｉ）の定位位置までの距離Ｒ、および受聴位置の正面から定位位置までの角度λである。

定位音源推定部１において定位音源信号Ｙ（ｉ）が定位しないと判定した場合（Ｓ１３０５でＮｏ）、音源信号分離部２は定位音源信号Ｙ（ｉ）＝０とし、ＳＬａ（ｉ）＝ＳＬ（ｉ）、ＳＲｂ（ｉ）＝ＳＲ（ｉ）とする（Ｓ１３０８）。

また、定位音源推定部１は、ステップＳ１３０２で算出された定位音源信号Ｘ（ｉ）とステップＳ１３０６で算出された定位音源信号Ｙ（ｉ）との間で定位音源信号Ｚ（ｉ）が定位するか否かを判定する（Ｓ１３０９）。

定位音源推定部１において定位音源信号Ｚ（ｉ）が定位すると判定した場合（Ｓ１３０９でＹｅｓ）、音源信号分離部２は、定位音源信号Ｘ（ｉ）と定位音源信号Ｙ（ｉ）との同相信号を用いて、定位音源信号Ｚ（ｉ）のＸ方向の信号成分Ｚ０（ｉ）、Ｙ方向の信号成分Ｚ１（ｉ）を算出する。さらに、音源信号分離部２は、算出した信号成分Ｚ０（ｉ）と信号成分Ｚ１（ｉ）とを合成して得られる定位音源信号Ｚ（ｉ）の定位位置を示すパラメータを算出する（Ｓ１３１０）。このパラメータは、受聴位置から定位音源信号Ｚ（ｉ）の定位位置までの距離Ｒ、および受聴位置の正面から定位位置までの角度θである。

次いで、再生信号生成部４は、算出された定位音源信号Ｚ（ｉ）を、受聴者の前方に配置されるスピーカー５およびスピーカー６と、受聴者の耳元周辺に配置されるヘッドホン７およびヘッドホン８とに配分する（Ｓ１３１１）。受聴者の前方に配置されるスピーカーに割り当てられる定位音源信号Ｚｆ（ｉ）は、（式４０）に従って算出される。受聴者の耳元の近傍に配置するヘッドホンへ割り当てる定位音源信号Ｚｈ（ｉ）は（式４１）に従って算出される。

定位音源推定部１において定位音源信号Ｚ（ｉ）が定位しないと判定した場合（Ｓ１３０９でＮｏ）、再生信号生成部４はステップＳ１３０２で算出された定位音源信号Ｘ（ｉ）を、受聴者の前方に配置されるスピーカー５およびスピーカー６の２つに割り当て、ステップＳ１３０６で算出された定位音源信号Ｙ（ｉ）を、受聴者の耳元周辺に配置されるヘッドホン７およびヘッドホン８の２つに割り当てる（Ｓ１３１２）。すなわち、受聴者の前方に配置されるスピーカーに割り当てられる定位音源信号Ｚｆ（ｉ）は、Ｚｆ（ｉ）＝Ｘ（ｉ）となり、受聴者の耳元の近傍に配置するヘッドホンへ割り当てる定位音源信号Ｚｈ（ｉ）は、Ｚｈ（ｉ）＝Ｙ（ｉ）となる。

さらに、再生信号生成部４は、ステップＳ１３１１またはステップＳ１３１２において受聴者の前方に配置される２つのスピーカーに割り当てられた定位音源信号Ｚｆ（ｉ）を、左右のスピーカー５およびスピーカー６に配分する（Ｓ１３１３）。すなわち、再生信号生成部４は、前方に配置される左チャンネルのスピーカー５へ割り当てる定位音源信号ＺｆＬ（ｉ）を（式４２）および（式４３）に従って算出し、前方に配置される右チャンネルのスピーカーへ割り当てる定位音源信号ＺｆＲ（ｉ）を（式４４）に従って算出する。

次いで、再生信号生成部４は、ステップＳ１３１１またはステップＳ１３１２において受聴者の耳元周辺に配置される２つのヘッドホンに割り当てられた定位音源信号Ｚｈ（ｉ）を、左右のヘッドホン７およびヘッドホン８に配分する（Ｓ１３１４）。すなわち、再生信号生成部４は、耳元周辺に配置される左チャンネルのヘッドホン７へ割り当てる音源信号ＺｈＬ（ｉ）を（式４５）および（式４６）に従って算出し、耳元周辺に配置される右チャンネルのヘッドホン８へ割り当てる定位音源信号ＺｈＲ（ｉ）を（式４７）に従って算出する。

さらに、再生信号生成部４は、ステップＳ１３１３およびステップＳ１３１４で各スピーカーに配分された定位音源信号ＺｆＬ（ｉ）、ＺｆＲ（ｉ）、ＺｈＬ（ｉ）およびＺｈＲ（ｉ）と、ステップＳ１３０３およびステップＳ１３０７で算出された非定位音源信号ＦＬａ（ｉ）、ＦＲｂ（ｉ）、ＳＬａ（ｉ）およびＳＲｂ（ｉ）とを（式４８）および（式４９）に従って合成し、スピーカー５に出力される再生信号ＳＰＬ（ｉ）、スピーカー６に出力される再生信号ＳＰＲ（ｉ）、ヘッドホン７に出力される再生信号ＨＰＬ（ｉ）、およびヘッドホン８に出力される再生信号ＨＰＲ（ｉ）を生成する（Ｓ１３１５）。

上述したように、本発明の音響再生装置１０は、受聴空間に音像を定位する定位音源信号を受聴空間の左右方向だけでなく、前後方向についても考慮して定位音源信号を推定するとともに、受聴空間における位置を示す音源位置パラメータを算出し、これにもとづいてそれぞれのチャンネルにエネルギーを配分するように定位音源信号を各チャンネルに割り当てる。これにより、前後方向の再生音の広がりや受聴空間に定位する音像の移動といった立体感を向上した、より好ましい臨場感を得ることができる立体音響の再生を可能にする。

さらに、入力オーディオ信号から定位感が知覚され難い周波数の信号成分を予め除去することにより、定位音源信号の推定と、定位音源信号と非定位音源信号の分離、ならびに音源位置パラメータを算出するための処理の精度を向上することができる。

なお、上記実施の形態では、閾値ＴＨ１を０．５、閾値ＴＨ２を０．００１、基準距離Ｒ０を１．０ｍとして、定位音源信号の推定方法、および受聴位置から定位音源信号までの距離の算出方法の一例を示したが、これらの数値は一例に過ぎず、実際にはシミュレーションなどによって、最適な数値を定めればよいものとする。

また、上述した本発明の音響再生装置１０の構成ブロックのそれぞれの処理ステップを実現するソフトウエアプログラムをコンピュータやデジタルシグナルプロセッサ（ＤＳＰ）などで行うようにしてもよい。

以上、説明したように本発明の音響再生装置によれば、従来技術よりも前後方向の再生音の広がりや受聴空間に定位する音像の移動といった立体感を向上した立体音響の再生装置の提供を可能にする。

１ 定位音源推定部
２ 音源信号分離部
３ 音源位置パラメータ算出部
４ 再生信号生成部
５ スピーカー
６ スピーカー
７ ヘッドホン
８ ヘッドホン
１０ 音響再生装置

Claims (17)

1. 受聴空間のあらかじめ定められた複数の標準位置に複数のスピーカーを配置し、配置された前記複数のスピーカーを用いて再生されることを前提とした前記各スピーカーに対応するマルチチャンネルの入力オーディオ信号を、受聴位置の前方に配置されるスピーカーであって前方の前記標準位置に配置される前方スピーカーと、前記受聴位置の近傍に配置されるスピーカーであって前記標準位置のいずれにも該当しない位置に配置される耳元再生スピーカーとを用いて再生する音響再生装置であって、
   前記入力オーディオ信号が前記複数の標準位置に配置される前記複数のスピーカーを用いて再生したものと仮定した場合に受聴空間に音像が定位するか否かを前記入力オーディオ信号から推定する定位音源推定部と、
   前記定位音源推定部によって前記音像が定位すると推定された場合、定位する前記音像を表す信号である定位音源信号を算出する音源信号分離部と、
   前記定位音源信号で表される前記音像の定位位置を表すパラメータを、前記定位音源信号から算出する音源位置パラメータ算出部と、
   前記定位位置を表すパラメータを用いて、前記定位音源信号を、前記前方スピーカーと前記耳元再生スピーカーとのそれぞれに対して配分し、前記前方スピーカーと前記耳元再生スピーカーに対して供給する再生信号を生成する再生信号生成部と
   を備える音響再生装置。
2. 前記音源信号分離部は、さらに、前記各入力オーディオ信号に含まれる信号成分であって受聴空間における前記音像の定位に寄与しない信号成分である非定位音源信号を前記各入力オーディオ信号から分離し、
   前記再生信号生成部は、前記前方スピーカーに対して配分された前記定位音源信号と、前記前方の標準位置に配置されるスピーカーで再生されるべき入力オーディオ信号から分離された前記非定位音源信号とを合成して前記前方スピーカーに対して供給する再生信号を生成し、前記耳元再生スピーカーに対して配分された前記定位音源信号と、後方の前記標準位置に配置されるスピーカーで再生されるべき入力オーディオ信号から分離された前記非定位音源信号とを合成して前記耳元再生スピーカーに対して供給する再生信号を生成する
   請求項１記載の音響再生装置。
3. 前記再生信号生成部は、前記定位音源信号の前記定位位置から前記受聴位置までの到来方向を示す角度と、前記受聴位置から前記定位音源信号の定位位置までの距離とを用いて、前記前方スピーカーと、前記耳元再生スピーカーとに対して前記定位音源信号のエネルギーを配分するとともに、前記定位音源信号の到来方向を示す角度を用いて、前記前方スピーカーおよび前記耳元再生スピーカーのそれぞれの左右のチャンネルへ前記定位音源信号のエネルギーを配分する
   請求項１に記載の音響再生装置。
4. 前記再生信号生成部は、前記前方スピーカーと前記受聴位置との間の距離と、前記耳元再生スピーカーと前記受聴位置との間の距離との比、および前記音像の定位位置を表すパラメータの前記受聴位置までの距離と、前記耳元再生スピーカーと前記受聴位置との間の距離との比にもとづいて、前記耳元再生スピーカーに供給する前記再生信号に対して、所定の減衰係数を乗ずる
   請求項１に記載の音響再生装置。
5. 前記再生信号生成部は、前記前方スピーカーと、前記耳元再生スピーカーとのそれぞれのチャンネルへ配分する前記定位音源信号と、前記音源信号分離部で分離する非定位音源信号とを、受聴者の操作によって調整可能な所定の比率で合成して、前記再生信号を生成する
   請求項２に記載の音響再生装置。
6. 前記定位音源推定部は、前記入力オーディオ信号のうち、一組の対となる２つのチャンネルの入力オーディオ信号を用いて、前記音像が定位するか否かを推定する
   請求項１に記載の音響再生装置。
7. 前記定位音源推定部は、所定の時間間隔からなるフレームを単位として、前記入力オーディオ信号のうち対となる２つのチャンネルの入力オーディオ信号の間の相関係数をフレームごとに算出し、前記相関係数が所定の値より大きくなる場合に、当該２つのチャンネルの入力オーディオ信号から前記定位音源信号で表される音像が定位すると推定する
   請求項６に記載の音響再生装置。
8. 前記音源信号分離部は、前記一つの組となる２つのチャンネルの入力オーディオ信号の和信号と、前記一つの組のいずれか一つの入力オーディオ信号との間の誤差の二乗和を最小にすることで当該入力オーディオ信号に含まれる前記定位音源信号の信号成分を算出し、前記定位音源信号の信号成分を当該入力オーディオ信号から分離する
   請求項６に記載の音響再生装置。
9. 前記定位音源推定部は、前記入力オーディオ信号のうち、一組の対となる２つのチャンネルの入力オーディオ信号を用いて第一の定位音源信号で表される音像が定位するか否かを推定し、他の一組の対となる２つのチャンネルの入力オーディオ信号を用いて第二の定位音源信号で表される音像が定位するか否かを推定し、前記第一の定位音源信号と前記第二の定位音源信号とを用いて第三の定位音源信号で表される音像が定位するか否かを推定し、前記第三の定位音源信号を前記入力オーディオ信号全体によって定位される音像を表す定位音源信号であると推定する
   請求項１に記載の音響再生装置。
10. 前記定位音源推定部は、前記標準位置のうち前記受聴位置に対して前方の左右に割り当てられる２つのチャンネルの入力オーディオ信号から前記第一の定位音源信号で表される音像が定位されるか否かを推定し、前記標準位置のうち前記受聴位置に対して後方の左右に割り当てられる２つのチャンネルの入力オーディオ信号から前記第二の定位音源信号で表される音像が定位するか否かを推定し、前記第一の定位音源信号と前記第二の定位音源信号とから前記第三の定位音源信号で表される音像が定位するか否かを推定する
    請求項９に記載の音響再生装置。
11. 前記定位音源推定部は、所定の時間間隔からなるフレームを単位として、前記第一の定位音源信号と前記第二の定位音源信号との間の相関係数をフレームごとに算出し、前記相関係数が所定の閾値より大きくなる場合には、前記第一の定位音源信号と前記第二の定位音源信号とから第三の定位音源信号で表される音像が定位すると推定する
    請求項９に記載の音響再生装置。
12. 前記音源信号分離部は、前記第一の定位音源信号と前記第二の定位音源信号の和信号と、前記第一の定位音源信号および前記第二の定位音源信号のいずれか一方の定位音源信号との間の誤差の二乗和を最小にすることで前記第三の定位音源信号の、前記一方の定位音源信号に対応する信号成分を算出し、算出した前記信号成分を前記第一の定位音源信号および前記第二の定位音源信号の前記対応する定位音源信号から分離する
    請求項９に記載の音響再生装置。
13. 前記音源信号分離部は、前記入力オーディオ信号のエネルギーと、前記入力オーディオ信号に含まれる前記定位音源信号の信号成分のエネルギーとの比を用いて、前記非定位音源信号を前記入力オーディオ信号から分離する
    請求項１に記載の音響再生装置。
14. 前記音源位置パラメータ算出部は、前記定位音源信号で表される音像の定位位置を表すパラメータとして、前記受聴位置に対する、前記定位音源信号の到来方向を示す角度と、前記定位音源信号で表される音像の定位位置までの距離とを算出する
    請求項１に記載の音響再生装置。
15. 前記音源位置パラメータ算出部は、前記定位音源信号の位置を表す前記パラメータのうち、前記受聴位置に対して、前記定位音源信号が到来する方向を示す角度を、前記定位音源信号の信号成分のエネルギーと到来方向を示す角度とを用いて算出する
    請求項１に記載の音響再生装置。
16. 前記音源位置パラメータ算出部は、前記定位音源信号の位置を表す前記パラメータのうち、前記受聴位置から前記定位音源信号で表される前記音像の定位位置までの距離を、前記定位音源信号の信号成分のエネルギーを用いて算出する
    請求項１に記載の音響再生装置。
17. 受聴空間のあらかじめ定められた複数の標準位置に複数のスピーカーを配置し、配置された前記複数のスピーカーを用いて再生されることを前提とした前記各スピーカーに対応するマルチチャンネルの入力オーディオ信号を、受聴位置の前方に配置されるスピーカーであって前方の前記標準位置に配置される前方スピーカーと、前記受聴位置の近傍に配置されるスピーカーであって前記標準位置のいずれにも該当しない位置に配置される耳元再生スピーカーとを用いて再生する音響再生方法であって、
    前記入力オーディオ信号が前記複数の標準位置に配置される前記複数のスピーカーを用いて再生したものと仮定した場合に、受聴空間に音像が定位するか否かを前記入力オーディオ信号から推定する定位音源推定ステップと、
    前記定位音源推定ステップにおいて前記音像が定位すると推定された場合、定位する前記音像を表す信号である定位音源信号を算出し、前記各入力オーディオ信号に含まれる信号成分であって受聴空間における前記音像の定位に寄与しない信号成分である非定位音源信号を前記各入力オーディオ信号から分離する音源信号分離ステップと、
    前記定位音源信号で表される前記音像の定位位置を表すパラメータを、前記定位音源信号から算出する音源位置パラメータ算出ステップと、
    前記定位位置を表すパラメータを用いて、前記定位音源信号を、前記前方スピーカーと前記耳元再生スピーカーとのそれぞれに対して配分し、前記前方スピーカーに対して配分された前記定位音源信号と、前記前方の標準位置に配置されるスピーカーで再生されるべき入力オーディオ信号から分離された前記非定位音源信号とを合成して前記前方スピーカーに対して供給する再生信号を生成し、前記耳元再生スピーカーに対して配分された前記定位音源信号と、後方の前記標準位置に配置されるスピーカーで再生されるべき入力オーディオ信号から分離された前記非定位音源信号とを合成して、前記耳元再生スピーカーに対して供給する再生信号を生成する再生信号生成ステップと
    を備える音響再生方法。

Images