JP7712061B2 - 音信号処理方法および音信号処理装置 - Google Patents

Description

この発明の一実施形態は、取得した音信号に対して処理を行なう音信号処理方法および音信号処理装置に関する。

コンサートホール等の施設では、様々なジャンルの音楽が演奏されたり、講演等のスピーチが行なわれたりする。このような施設は、多様な音響特性（例えば残響特性）が求められる。例えば、演奏では比較的長い残響が求められ、スピーチでは比較的短い残響が求められる。

しかし、ホール内の残響特性を物理的に変化させるには、例えば天井を移動させる等して空間の大きさを変化させる必要があり、非常に大がかりな設備が必要であった。

そこで、例えば特許文献１に示すような音場制御装置は、マイクで取得した音をＦＩＲ（Finite Impulse Response）フィルタで処理することにより残響音を生成し、ホール内に設置されたスピーカから当該残響音を出力することで、音場を支援する処理を行なっている。

特開平６－２８４４９３号公報

しかし、残響音を付与するだけでは定位感がぼやける。近時、より豊かな音像と空間の拡がりを実現することが望まれている。

そこで、この発明の一実施形態は、空間内の音源の位置に応じた音像定位を行って、より豊かな音像と空間の拡がりを実現する音信号処理方法および音信号処理装置を提供することを目的とする。

音信号処理方法は、所定の空間に配置された複数のマイクでそれぞれ収音した複数の音信号を取得し、前記複数のマイクのそれぞれの配置位置に応じて、前記複数の音信号のそれぞれのレベル調整を行い、調整された前記複数の音信号をミキシングし、ミキシングされたミキシング信号を使用して、反射音を生成する。

音信号処理方法は、空間内の音源の位置に応じた音像定位を実現することができる。

実施形態１の空間を模式的に示した透過斜視図である。 実施形態１の音場支援システムの構成を示すブロック図である。 音信号処理装置の動作を示すフローチャートである。 （Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。 ＦＩＲフィルタ２４Ａに設定するインパルス応答を示す模式図である。 空間６２０と室６２との関係を模式的に示した平面図である。 音場支援システムの最小構成を示すブロック図である。 実施形態２の空間を模式的に示した透過斜視図である。 実施形態２の空間を模式的に示した平面図である。 実施形態２の音場支援システムの構成を示すブロック図である。 実施形態２の音信号処理装置の動作を示すフローチャートである。 実施形態２の音場支援システムの最小構成を示すブロック図である。 実施形態３の空間を模式的に示した透過斜視図である。 音場支援システムの構成を示すブロック図である。 実施形態３の音信号処理装置の動作を示すフローチャートである。 音信号処理部の構成を示すブロック図である。 音信号処理部の構成を示すブロック図である。 音信号処理部の構成を示すブロック図である。 音信号処理部の構成を示すブロック図である。

［実施形態１］
図１は、空間を構成する室６２を模式的に示した透過斜視図である。図２は、音場支援システム１の構成を示すブロック図である。

室６２は、概ね直方体形状の空間を構成する。音源６１は、室６２のうち前方のステージ６０上に存在する。室６２の後方はリスナの座る観客席に相当する。なお、室６２の形状、および音源の配置等は、図１の例に限らない。本発明の音信号処理方法および音信号処理装置は、どの様な形状の空間であっても所望の音場を提供でき、従来よりもより豊かな音像および空間の拡がりを実現することができる。

音場支援システム１は、室６２内に、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、無指向性マイク１２Ｃ、スピーカ５１Ａ、スピーカ５１Ｂ、スピーカ５１Ｃ、スピーカ５１Ｄ、スピーカ６１Ａ、スピーカ６１Ｂ、スピーカ６１Ｃ、スピーカ６１Ｄ、スピーカ６１Ｅ、およびスピーカ６１Ｆを備える。

スピーカ６１Ａ、スピーカ６１Ｂ、スピーカ６１Ｃ、スピーカ６１Ｄ、スピーカ６１Ｅ、およびスピーカ６１Ｆは、残響音制御信号を出力する第１スピーカに対応する。スピーカ５１Ａ、スピーカ５１Ｂ、スピーカ５１Ｃ、およびスピーカ５１Ｄは、初期反射音制御信号を出力する第２スピーカに対応する。

図１に示す指向性マイクおよび無指向性マイクの数はそれぞれ３つである。ただし、音場支援システム１は、少なくとも１つのマイクを備えていればよい。また、スピーカの数も、図１に示す数に限らない。音場支援システム１は、少なくとも１つのスピーカを備えていればよい。

指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃは、主に、ステージ上の音源６１の音を収音する。

無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、天井に設置される。無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃは、音源６１の直接音および室６２内の反射音等を含む、室６２内の全体の音を収音する。

スピーカ５１Ａ、スピーカ５１Ｂ、スピーカ５１Ｃ、およびスピーカ５１Ｄは、室６２の壁面に設置される。スピーカ６１Ａ、スピーカ６１Ｂ、スピーカ６１Ｃ、スピーカ６１Ｄ、スピーカ６１Ｅ、およびスピーカ６１Ｆは、室６２の天井に設置される。ただし、本発明において、マイクおよびスピーカの設置位置は、この例に限るものではない。

図２において、音場支援システム１は、図１に示した構成に加えて、音信号処理部１０と、メモリ３１と、を備えている。音信号処理部１０は、主にＣＰＵおよびＤＳＰ（Digital Signal Processor）から構成される。音信号処理部１０は、機能的に、音信号取得部２１、ゲイン調整部２２、ミキサ２３、ＦＩＲ（Finite Impulse Response）フィルタ２４Ａ、ＦＩＲフィルタ２４Ｂ、レベル設定部２５Ａ、レベル設定部２５Ｂ、マトリクスミキサ２６、遅延調整部２８、出力部２７、インパルス応答取得部１５１、およびレベルバランス調整部１５２を備える。音信号処理部１０は、本発明の音信号処理装置の一例である。

音信号処理部１０を構成するＣＰＵは、メモリ３１に記憶されている動作用プログラムを読み出して、各構成を制御する。ＣＰＵは、該動作用プログラムにより、機能的に、インパルス応答取得部１５１およびレベルバランス調整部１５２を構成する。なお、動作用プログラムは、メモリ３１に記憶されている必要はない。ＣＰＵは、例えば不図示のサーバから都度、動作用プログラムをダウンロードしてもよい。

図３は、音信号処理部１０の動作を示すフローチャートである。まず、音信号取得部２１は、音信号を取得する（Ｓ１１）。音信号取得部２１は、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから音信号を取得する。音信号取得部２１は、アナログ信号を取得した場合には、デジタル信号に変換して出力する。

ゲイン調整部２２は、音信号取得部２１を通して、指向性マイク１１Ａ、指向性マイク１１Ｂ、指向性マイク１１Ｃ、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号のゲインを調整する。ゲイン調整部２２は、例えば、音源６１に近い位置の指向性マイクのゲインを高く設定する。なお、ゲイン調整部２２は、実施形態１において必須の構成ではない。

ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号をミキシングする。また、ミキサ２３は、ミキシングした音信号を複数の信号処理系統に分配する。ミキサ２３は、分配した音信号をＦＩＲフィルタ２４Ａに出力する。また、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号をミキシングする。ミキサ２３は、ミキシングした音信号をＦＩＲフィルタ２４Ｂに出力する。

図２の例では、ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号をスピーカ５１Ａ、スピーカ５１Ｂ、スピーカ５１Ｃ、およびスピーカ５１Ｄに合わせて、４つの信号処理系統にミキシングしている。また、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号を４つの信号処理系統にミキシングする。この１つの信号処理系統は、スピーカ６１Ａ乃至スピーカ６１Ｆに対応する。以後、スピーカ６１Ａ乃至スピーカ６１Ｆに対応させた４つの信号処理系統は、第１系統と称する。スピーカ５１Ａ、スピーカ５１Ｂ、スピーカ５１Ｃ、およびスピーカ５１Ｄに対応させた４つの信号処理系統は、第２系統と称する。

なお、信号処理系統の数は、この例に限らない。無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号を、スピーカ６１Ａ、スピーカ６１Ｂ、スピーカ６１Ｃ、スピーカ６１Ｄ、スピーカ６１Ｅ、およびスピーカ６１Ｆに合わせて、６つの第１系統に分配してもよい。なお、ミキサ２３は、実施形態１において必須の構成ではない。

なお、ミキサ２３は、ＥＭＲ（Electronic Microphone Rotator）の機能を備えていてもよい。ＥＭＲは、固定されたマイクとスピーカとの間の伝達関数を時間的に変化させることで、フィードバックループの周波数特性を平坦化する手法である。ＥＭＲは、マイクと信号処理系統の接続関係を時々刻々と切り換える機能である。ミキサ２３は、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号の出力先を切り換えるようにしてＦＩＲフィルタ２４Ａに出力する。あるいは、ミキサ２３は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号の出力先を切り換えるようにしてＦＩＲフィルタ２４Ｂに出力する。これにより、ミキサ２３は、室６２においてスピーカからマイクに至る音響帰還系の周波数特性を平坦化できる。

次に、インパルス応答取得部１５１は、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂのフィルタ係数をそれぞれ設定する（Ｓ１２）。

ここで、フィルタ係数に設定するインパルス応答データについて説明する。図４（Ａ）は、フィルタ係数に用いるインパルス応答の時間波形における音の種類の分類例を示す模式図であり、図４（Ｂ）は、ＦＩＲフィルタ２４Ａに設定するフィルタ係数の時間波形を示す模式図である。図５（Ａ）、図５（Ｂ）は、ＦＩＲフィルタ２４Ｂに設定するフィルタ係数の時間波形を示す模式図である。

図４（Ａ）に示すように、インパルス応答は、時間軸上に並ぶ、直接音、初期反射音、および、残響音に区別できる。そして、ＦＩＲフィルタ２４Ａに設定するフィルタ係数は、図４（Ｂ）に示すように、インパルス応答における直接音および残響音を除いた初期反射音の部分によって設定される。ＦＩＲフィルタ２４Ｂに設定するフィルタ係数は、図５（Ａ）に示すように、インパルス応答における直接音および初期反射音を除いた残響音によって設定される。なお、ＦＩＲフィルタ２４Ｂは、図５（Ｂ）に示すように、インパルス応答における直接音を除いた初期反射音と残響音によって設定されていてもよい。

インパルス応答のデータは、メモリ３１に記憶されている。インパルス応答取得部１５１は、メモリ３１からインパルス応答のデータを取得する。ただし、インパルス応答のデータは、メモリ３１に記憶されている必要はない。インパルス応答取得部１５１は、インパルス応答のデータを、例えば、不図示のサーバ等から都度ダウンロードしてもよい。

インパルス応答取得部１５１は、予め初期反射音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ａに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、初期反射音だけを切り出してＦＩＲフィルタ２４Ａに設定してもよい。同様に、インパルス応答取得部１５１は、残響音のみを用いる場合には、予め残響音だけ切り出されたインパルス応答のデータを取得して、ＦＩＲフィルタ２４Ｂに設定してもよい。あるいは、インパルス応答取得部１５１は、直接音、初期反射音、および残響音の含まれたインパルス応答のデータを取得して、残響音だけを切り出してＦＩＲフィルタ２４Ｂに設定してもよい。

図６は、空間６２０と室６２との関係を模式的に示した平面図である。図６に示す様に、インパルス応答のデータは、音場を再現する対象となるコンサートホールまたは教会等の所定の空間６２０で予め測定される。例えば、インパルス応答のデータは、音源６１の位置でテスト音（パルス音）を発し、マイクで収音することにより測定される。

インパルス応答のデータは、空間６２０のどの位置で取得してもよい。ただし、初期反射音のインパルス応答のデータは、壁面の近傍に設置した指向性マイクを用いて測定することが好ましい。初期反射音は、到来方向の明確な反射音である。したがって、インパルス応答のデータは、壁面の近傍に設置した指向性マイクで測定することで、対象の空間の反射音データを緻密に取得することができる。一方で、残響音は、音の到来方向の定まらない反射音である。したがって、残響音のインパルス応答のデータは、上記壁面の近傍に設置した指向性マイクで測定してもよいし、初期反射音とは別の無指向性マイクを用いて測定してもよい。

ＦＩＲフィルタ２４Ａは、図２の上部の信号の流れである第２系統の４つの音信号に、それぞれ異なるインパルス応答のデータを畳み込む。なお、複数の信号処理系統がある場合、ＦＩＲフィルタ２４ＡおよびＦＩＲフィルタ２４Ｂは、信号処理系統毎に設けてもよい。例えば、ＦＩＲフィルタ２４Ａは、４つ備えていてもよい。

上記の様に、壁面の近傍に設置した指向性マイクを用いる場合、インパルス応答のデータは、信号処理系統毎に別々の指向性マイクで測定される。例えば、図６に示す様に、ステージ６０に向かって右後方に設置されたスピーカ５１Ｄに対応する信号処理系統に対しては、インパルス応答のデータは、ステージ６０に向かって右後方の壁面の近傍に設置した指向性マイク５１０Ｄで測定される。

ＦＩＲフィルタ２４Ａは、第２系統のそれぞれの音信号にインパルス応答のデータを畳み込む（Ｓ１３）。ＦＩＲフィルタ２４Ｂは、図２の下部の信号の流れである第１系統のそれぞれの音信号にインパルス応答のデータを畳み込む（Ｓ１３）。

ＦＩＲフィルタ２４Ａは、入力した音信号に、設定された初期反射音のインパルス応答のデータを畳み込むことで、所定の空間の初期反射音を再現した初期反射音制御信号を生成する。ＦＩＲフィルタ２４Ｂは、入力した音信号に、設定された残響音のインパルス応答のデータを畳み込むことで、所定の空間の残響音を再現した残響音制御信号を生成する。

レベル設定部２５Ａは、初期反射音制御信号のレベル調整を行なう（Ｓ１４）。レベル設定部２５Ｂは、残響音制御信号のレベル調整を行なう（Ｓ１４）。

レベルバランス調整部１５２は、レベル設定部２５Ａおよびレベル設定部２５Ｂのレベル調整量を設定する。

レベルバランス調整部１５２は、初期反射音制御信号および残響音制御信号のそれぞれのレベルを参照し、両者のレベルバランスを整える。例えば、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に最後の成分のレベルと、残響音制御信号のうち時間的に最初の成分のレベルとのバランスを整える。あるいは、レベルバランス調整部１５２は、初期反射音制御信号のうち時間的に後半部分となる複数成分のパワーと、残響音制御信号のうち時間的に前半部分となる成分のパワーとのバランスを整えてもよい。これにより、レベルバランス調整部１５２は、初期反射音制御信号および残響音制御信号の音を個別に制御し、適用する空間に合わせて、適切なバランスに制御することができる。

次に、マトリクスミキサ２６は、入力される音信号をスピーカ毎の出力系統に分配する。マトリクスミキサ２６は、第１系統の残響音制御信号をスピーカ６１Ａ乃至スピーカ６１Ｆの各出力系統に分配し、遅延調整部２８に出力する。第２系統は、既に出力系統と対応しているため、マトリクスミキサ２６は、第２系統の初期反射音制御信号をそのまま、遅延調整部２８に出力する。

なお、マトリクスミキサ２６は、各出力系統のゲイン調整、および、周波数特性の調整、等を行なってもよい。

遅延調整部２８は、音源６１と複数のスピーカとの距離に応じて、遅延時間を調整する（Ｓ１５）。例えば、遅延調整部２８は、複数のスピーカにおいて、音源６１とスピーカとの距離が短い順に、遅延時間を小さく設定する。これにより、遅延調整部２８は、音源６１からの複数のスピーカの位置に応じて、複数のスピーカから出力する残響音制御信号および初期反射音制御信号の位相を調整できる。

出力部２７は、遅延調整部２８から出力される初期反射音制御信号および残響音制御信号をアナログ信号に変換する。また、出力部２７は、アナログ信号を増幅する。出力部２７は、増幅したアナログ信号を対応するスピーカに出力する（Ｓ１６）。

以上の構成により、音信号処理部１０は、音信号を取得し、インパルス応答を取得し、前記インパルス応答のうち初期反射音のインパルス応答を前記音信号に畳み込み、前記初期反射音のインパルス応答を畳み込んだ音信号を、残響音制御信号とは別の処理を施した初期反射音制御信号として出力する。これにより、音信号処理部１０は、従来よりも豊かな音像と空間の拡がりを実現する。

実施形態１では、例えば、以下の構成とすることも可能であり、それぞれの構成において以下に示す作用効果を奏することができる。

（１－１）本発明の一実施形態は、音信号を取得し、インパルス応答を取得し、前記インパルス応答のうち初期反射音のインパルス応答を前記音信号に畳み込んで初期反射音制御信号を生成する、信号処理方法である。

図７は、上記信号処理方法に対応する音信号処理部１０Ａの構成を示すブロック図である。音信号処理部１０Ａは、指向性マイク１１Ａから音信号を取得する音信号取得部２１Ａと、インパルス応答を取得するインパルス応答取得部１５１Ａと、前記インパルス応答のうち初期反射音のインパルス応答を前記音信号に畳み込み、前記初期反射音のインパルス応答を畳み込んだ音信号を、残響音制御信号とは別の処理を施した初期反射音制御信号としてスピーカ５１Ａに出力する処理部２０４Ａと、を備えている。

音信号取得部２１Ａは、図２に示した音信号取得部２１と同じ機能を有する。インパルス応答取得部１５１Ａは、図２のインパルス応答取得部１５１と同じ機能を有する。処理部２０４Ａは、図２のＦＩＲフィルタ２４Ａおよび出力部２７の機能を有する。

音信号処理部１０Ａは、図２の音信号処理部１０と同様に、従来よりも豊かな音像と空間の拡がりを実現する。

（１－２）処理部は、前記インパルス応答のうち残響音のインパルス応答を前記音信号に畳み込んで直接音を含まない残響制御信号を生成し、前記初期反射音制御信号および前記残響制御信号に、それぞれ別の信号処理を施して、前記残響制御信号を第１スピーカ（上述の第１系統のスピーカ）に出力し、前記初期反射音制御信号を第２スピーカ（上述の第２系統のスピーカ）に出力してもよい。

ただし、実際の室には図１に示した例よりも多数のスピーカを備える。初期反射音制御信号を出力する第２スピーカ（上述の第２系統のスピーカ）のうち、第１スピーカ（上述の第１系統のスピーカ）の近くに設置されたスピーカは、残響音制御信号を出力してもよい。すなわち、第２系統の複数のスピーカのうち、第１系統のスピーカの近くに設置されたスピーカは、初期反射音制御信号に加えて残響音制御信号を出力してもよい。

逆に、第１スピーカ（上述の第１系統のスピーカ）のうち、壁面の近くに設置されたスピーカは、初期反射音制御信号を出力してもよい。すなわち、第１系統の複数のスピーカのうち、第２系統のスピーカの近くに設置されたスピーカは、残響音制御信号に加えて初期反射音制御信号を出力してもよい。

これにより、初期反射音制御信号と残響音制御信号の音を適切なエネルギーバランスで調整できる。

（１－３）前記第１スピーカは広指向性であり、前記第２スピーカは狭指向性であってもよい。

上記の様に、初期反射音は、到来方向の明確な反射音であり、主観的な印象に寄与する。したがって、第２スピーカは、狭指向性を用いることが効果的であり、対象の空間の初期反射音の制御性を高めることができる。

一方で、残響音は、音の到来方向の定まらない反射音であり、空間の響きに寄与する。したがって、第１スピーカは、広指向性を用いることが効果的であり、対象の空間の残響音の制御性を高めることができる。

（１－４）第１スピーカよりも第２スピーカの１個あたりのレベルが高いことが好ましい。

上記と同様に、初期反射音は、空間内を多重反射した残響音に比べて、反射回数が少ない。このため、初期反射音のエネルギーは、残響音のエネルギーよりも高い。したがって、第２スピーカは、１個あたりのレベルを高くすることで、初期反射音が持つ主観的な印象付けの効果を向上させることができ、初期反射音の制御性を高めることができる。 （１－５）第１スピーカよりも第２スピーカの数が少ないことが好ましい。

第２スピーカは、上記と同様に、個数を少なくすることで、余分な拡散音エネルギーの上昇を抑えることができる。すなわち、第２スピーカから出力される初期反射音が室内に拡散して残響することを抑制でき、初期反射音の残響音がリスナに届くことを抑制できる。

（１－６）第１スピーカは室内の天井に設置し、第２スピーカは室内の側方に設置することが好ましい。

第２スピーカは、リスナに近い位置である室内の側方に設置することで、初期反射音をリスナに届けるのに制御し易く、初期反射音の制御性を高めることができる。また、第１スピーカは、室内の天井に設置することで、リスナの位置による残響音の差を抑制できる。

（１－７）処理部は、前記初期反射音制御信号と、前記残響音制御信号とのレベルバランスを調整することが好ましい。

処理部は、レベルバランスを個別に調整することで、初期反射音制御信号および残響音制御信号の音を適切なエネルギーバランスで調整することができる。

（１－８）音信号取得部は、前記残響音制御信号を生成するための第１音信号と、前記初期反射音のインパルス応答を畳み込むための第２音信号と、を別々に取得することが好ましい。第１音信号とは、上述の第１系統に対応する音信号（無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから取得した音信号）であり、第２音信号とは、上述の第２系統に対応する音信号（指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃから取得した音信号）である。

残響音は、室内の響きの影響を受けやすい。初期反射音は、音源の音の影響を受けやすい。したがって、第１音信号は、例えば、室内の音の全体を収音し、第２音信号は、音源の音を高いＳＮ比で収音することが好ましい。

（１－９）前記第１音信号は無指向性マイクで収音し、前記第２音信号は指向性マイクで収音することが好ましい。

上記と同様に、第１音信号は、例えば無指向性マイクを用いて室内の音の全体を収音することが好ましい。第２音信号は、例えば指向性マイクを用いて音源の音を高いＳＮ比で収音することが好ましい。

（１－１０）前記指向性マイクは前記無指向性マイクよりも音源に近いことが好ましい。

上記と同様に、第２音信号は、音源の音を高いＳＮ比で収音することが好ましいため、指向性マイクは音源に近いことが好ましい。

（１－１１）前記インパルス応答は、所定空間の壁際で指向性マイクを用いて取得することが好ましい。

インパルス応答は、壁面の近傍に設置した指向性マイクで測定することで、対象の空間の反射音を、より高精度に取得できる。

［実施形態２］
実施形態２の音場支援システム１Ａについて、図８、図９、図１０および図１１を参照して説明する。図８は、空間６２０を模式的に示した透過斜視図である。図９は、空間６２０を平面視した平面図である。図１０は、音場支援システム１Ａの構成を示すブロック図である。

図１１は、音信号処理装置の動作を示すフローチャートである。この例では、音源６１がステージ６０上を移動する、または複数の音源６１がステージ６０上に存在することを想定している。なお、上記の実施形態１と同じ構成については、同じ符号を付し、説明を省略する。

音場支援システム１Ａは、図８および図９に示すように、スピーカ５２Ａ、スピーカ５２Ｂ、スピーカ５２Ｃ、スピーカ５２Ｄ、スピーカ５２Ｅ、スピーカ５３Ａ、スピーカ５３Ｂ、スピーカ５３Ｃ、スピーカ５３Ｄおよびスピーカ５３Ｅを備える。

この例では、図８、図９に示すように、スピーカ５２Ａ、スピーカ５２Ｂ、スピーカ５２Ｃ、スピーカ５２Ｄおよびスピーカ５２Ｅは、第２－１系統の初期反射音制御信号を出力する第２－１スピーカ群５２０（ステージ６０に向かって中心よりも左側）に属する。また、この例では、スピーカ５３Ａ、スピーカ５３Ｂ、スピーカ５３Ｃ、スピーカ５３Ｄおよびスピーカ５３Ｅは、第２－２系統の初期反射音制御信号を出力する第２－２スピーカ群５３０（ステージ６０に向かって中心よりも右側）に属する。図９で示される一点鎖線は、第２－１スピーカ群５２０を示し、二点鎖線は、第２－２スピーカ群５３０を示す。

なお、以下の説明では、第２－１スピーカ群５２０のスピーカ５２Ａ、スピーカ５２Ｂ、スピーカ５２Ｃ、スピーカ５２Ｄおよびスピーカ５２Ｅをまとめて第２－１スピーカ群５２０のスピーカと称する。また、以下の説明では、第２－２スピーカ群５３０のスピーカ５３Ａ、スピーカ５３Ｂ、スピーカ５３Ｃ、スピーカ５３Ｄおよびスピーカ５３Ｅをまとめて第２－２スピーカ群５３０のスピーカと称する。

音場支援システム１Ａは、図８および図９に示すように、室６２内に、指向性マイク１３Ａ、指向性マイク１３Ｂ、指向性マイク１３Ｃ、指向性マイク１３Ｄ、指向性マイク１４Ａ、指向性マイク１４Ｂ、指向性マイク１４Ｃおよび指向性マイク１４Ｄを備えている。

この例では、指向性マイク１３Ａ、指向性マイク１３Ｂ、指向性マイク１３Ｃおよび指向性マイク１３Ｄは、図８および図９で示されるＸ１方向（左右方向）に並んで天井に設置されている。また、この例では、指向性マイク１４Ａ、指向性マイク１４Ｂ、指向性マイク１４Ｃおよび指向性マイク１４Ｄは、図８および図９で示されるＸ１方向（左右方向）に、並んで天井に配置されている。また、指向性マイク１４Ａ、指向性マイク１４Ｂ、指向性マイク１４Ｃおよび指向性マイク１４Ｄは、指向性マイク１３Ａ、指向性マイク１３Ｂ、指向性マイク１３Ｃおよび指向性マイク１３ＤよりもＹ１方向（前後方向）に対して、後方（ステージ６０を横から見て観客席側）に配置されている。

指向性マイク１３Ａ、指向性マイク１３Ｃ、指向性マイク１４Ａおよび指向性マイク１４Ｃは、図９に示すように、第２－１スピーカ群５２０のスピーカに対応する。すなわち、指向性マイク１３Ａ、指向性マイク１３Ｃ、指向性マイク１４Ａおよび指向性マイク１４Ｃで収音した音信号に基づいて第２－１系統の初期反射音制御信号が生成される。また、指向性マイク１３Ｂ、指向性マイク１３Ｄ、指向性マイク１４Ｂおよび指向性マイク１４Ｄは、第２－２スピーカ群５３０のスピーカに対応する。すなわち、指向性マイク１３Ｂ、指向性マイク１３Ｄ、指向性マイク１４Ｂおよび指向性マイク１４Ｄで収音した音信号に基づいて第２－２系統の初期反射音制御信号が生成される。

なお、以下の説明では、指向性マイク１３Ａ、指向性マイク１３Ｃ、指向性マイク１４Ａおよび指向性マイク１４Ｃをまとめて第２－１スピーカ群５２０に対応する指向性マイクと称する。また、以下の説明では、指向性マイク１３Ｂ、指向性マイク１３Ｄ、指向性マイク１４Ｂおよび指向性マイク１４Ｄをまとめて第２－２スピーカ群５３０に対応する指向性マイクと称する。

図１０に示すように、音場支援システム１Ａの音信号処理部１０Bは、実施形態１の音場支援システム１からＦＩＲフィルタ２４Ｂ、およびレベル設定部２５Ｂを除いた構成である。ただし、実施形態２においても、ＦＩＲフィルタ２４Ｂおよびレベル設定部２５Ｂを備え、残響音制御信号を生成してもよい。その場合、残響音制御信号は、スピーカ５２Ａ乃至スピーカ５２E及びスピーカ５３A乃至スピーカ５３Ｅのいずれかに出力されてもよいし、別のスピーカから出力されてもよい。

音信号取得部２１は、第２－１スピーカ群５２０に対応する指向性マイクおよび第２－２スピーカ群５３０に対応する指向性マイクから音信号を取得する（図１０参照）。

ゲイン調整部２２は、第２－１スピーカ群５２０に対応する指向性マイクおよび第２－２スピーカ群５３０に対応する指向性マイクのそれぞれから取得した音信号のゲインを調整する（図１１、Ｓ１０１参照）。

この例では、ゲイン調整部２２は、第２－１スピーカ群５２０に対応する指向性マイクのそれぞれ、および、第２－２スピーカ群５３０に対応する指向性マイクのそれぞれに、異なるゲインを設定する。

ゲイン調整部２２は、第２－１スピーカ群５２０に対応する指向性マイクのうち、左右方向において、第２－１スピーカ群５２０のスピーカ（例えば、スピーカ５２Ａ）までの距離が近い順に音信号のゲインを高く設定する。

また、ゲイン調整部２２は、第２－１スピーカ群５２０に対応する指向性マイクのうち、前後方向（図９の紙面の左右方向）において、ステージ６０を横から見て前方側（図９の紙面右側）の指向性マイクの音信号のゲインを、観客席までの距離が近い側（図９の紙面左側）の指向性マイクの音信号のゲインよりも低く設定する。

上記と同様に、ゲイン調整部２２は、第２－２スピーカ群５３０に対応する指向性マイクうち、左右方向において、第２－２スピーカ群５３０のスピーカ（例えば、スピーカ５３Ａ）までの距離が近い順に音信号のゲインを高く設定する。

また、ゲイン調整部２２は、第２－２スピーカ群５３０に対応する指向性マイクのうち、前後方向（図９の紙面の左右方向）において、ステージ６０を横から見て前方側（図９の紙面右側）の指向性マイクの音信号のゲインを、観客席までの距離が近い側（図９の紙面左側）の指向性マイクの音信号のゲインよりも低く設定する。

ゲイン調整部２２は、例えば、指向性マイク１４Ａのゲインを０ｄＢに設定し、指向性マイク１３Ａのゲインを－１．５ｄＢに設定し、指向性マイク１４Ｃのゲインを－３．０ｄＢに設定し、指向性マイク１３Ｃのゲインを－４．５ｄＢに設定する。

ゲイン調整部２２は、例えば、指向性マイク１４Ｄのゲインを０ｄＢに設定し、指向性マイク１３Ｄのゲインを－１．５ｄＢに設定し、指向性マイク１４Ｂのゲインを－３．０ｄＢに設定し、指向性マイク１３Ｂのゲインを－４．５ｄＢに設定する。

ミキサ２３は、第２－１スピーカ群５２０に対応する指向性マイクのそれぞれから取得した音信号をミキシングする（図１１、Ｓ１０２参照）。ミキサ２３は、ミキシングした音信号を第２－１スピーカ群５２０のスピーカ数に応じた数（例えば、５つ）に合わせて、複数（図８および図９では、５つ）の信号処理系統に分配する。また、ミキサ２３は、第２－２スピーカ群５３０に対応する指向性マイクのそれぞれから取得した音信号をミキシングする。ミキサ２３は、ミキシングした音信号を第２－２スピーカ群５３０のスピーカ数に応じた数（例えば、５つ）に合わせて、複数（図８および図９では、５つ）の信号処理系統に分配する。

実在空間において、音像定位は直接音や初期反射音の到来方向、レベル、反射音の密度によって変化する。すなわち、観客席における音源６１の音像定位は、音源６１のステージ６０での位置に依存する。例えば、音源６１がステージ６０に向かって左側に移動すると、観客席においては左方向から到来する直接音と初期反射音レベルが相対的に高くなるため、ステージ６０に向かって左側に音像が定位する。ゲイン調整部２２は、複数の指向性マイクのうちスピーカまでの距離が近い順に音信号のゲインを高く設定することで、音源６１のステージ６０での位置に応じて初期反射音のレベルを制御し、実在空間での現象に近い音像定位を実現する。

遅延調整部２８は、複数の指向性マイクとスピーカとの距離に応じて、遅延時間を調整する。例えば、遅延調整部２８は、複数の指向性マイクにおいて、指向性マイクとスピーカとの距離が短い順に、遅延時間を小さく設定する。これにより、複数のスピーカで出力する初期反射音の時間差は、音源６１とスピーカとの距離に応じて再現される。

また、音場支援システム１Ａは、指向性マイクを左右方向に複数並べることで、ステージ６０上の広範囲で音源６１の音を取得する。これにより、音場支援システム１Ａは、音源６１の位置を検出しなくとも、実在空間に近い状態で音源６１の位置に応じた初期反射音のレベルを反映させることができる。

なお、実在空間において、音源６１と観客席側が遠くなると、初期反射音のレベルも低くなる。ゲイン調整部２２は、前後方向において、観客席から遠い方のスピーカの音信号のゲインを低く設定することで、実在空間での音の響きを実現する。

また、実在空間において、音源６１と観客席側が遠くなると、音源６１から観客席に直接音が到達するまでの時間は長くなる。したがって、遅延調整部２８によって、観客席から遠い方のスピーカに出力する初期反射音信号の遅延時間を大きく設定することで、音場支援システム１Ａは、実在空間での音の響きを、より正確に実現する。

このように、実施形態２の音場支援システム１Ａは、ステージ６０上で音源６１が移動するまたは、複数の音源６１が存在する場合でも、音源とスピーカとの位置関係に応じて、指向性マイクのゲインを設定することで、別途音源６１の位置情報を取得しなくても、音源６１の位置に対応した初期反射音制御信号を生成することができる。したがって、音場支援システム１は、効果的に音像定位を実現し、従来よりも豊かな音像と空間の拡がりを実現することができる。

なお、指向性マイクの音信号のゲインの値はこの例に限定されない。また、観客席から遠い方のスピーカの音信号のゲインを、観客席から近い方のスピーカの音信号のゲインよりも低く設定する例で説明したが、本発明はこの例に限定されない。

また、実施形態２の音場支援システム１Ａでは、８個の指向性マイクを使用して説明したが、これに限定されない。指向性マイクの数は、８個未満でも９個以上であってもよい。また、指向性マイクの位置もこの例に限定されない。

また、実施形態２の音場支援システム１Ａでは、５個の第２－１スピーカ群５２０のスピーカおよび５個の第２－２スピーカ群５３０のスピーカで説明したが、これに限定されない。スピーカ群の数は３つ以上でもよいし、各スピーカ群に属するスピーカの数は、１つ以上であればよい。また、スピーカの位置もこの例に限定されない。

また、実施形態２の音場支援システム１Ａでは、１つの指向性マイクを、例えば、第２－１スピーカ群５２０および第２－２スピーカ群５３０の両方に対応させてもよい。この場合、第２－１スピーカ群５２０（第２－１系統）に対応する音信号のゲインと第２－２スピーカ群５３０（第２－２系統）に対応する音信号のゲインとが異なっていてもよい。

実施形態２では、例えば、以下の構成とすることも可能であり、それぞれの構成において以下に示す作用効果を奏することができる。

（２－１）音信号処理方法は、所定の空間に配置された複数のマイクでそれぞれ収音した複数の音信号を取得し、複数のマイクのそれぞれの配置位置に応じて、複数の音信号のそれぞれのレベル調整を行い、調整された前記複数の音信号をミキシングし、ミキシングされたミキシング信号を使用して、反射音を生成する。

図１２は、実施形態２の信号処理方法に対応する音信号処理部１０Ｃの構成を示すブロック図である。音信号処理部１０Ｃは、所定の空間に配置された複数の指向性マイク１３Ａ、１３Ｂ、１４Ａ、１４Ｂでそれぞれ収音した複数の音信号を取得する音信号取得部２１Ｂと、複数の指向性マイク１３Ａ、１３Ｂ、１４Ａ、１４Ｂのそれぞれの配置位置に応じて、複数の音信号のそれぞれのレベル調整を行うゲイン調整部２２Ｂと、調整された複数の音信号のミキシングを行うミキサ２３Ｂと、ミキシングされたミキシング信号を使用して、反射音を系統別に生成して、スピーカ５２Ａとスピーカ５３Ａに出力する反射音生成部２０５Ｂと、を備えている。

音信号取得部２１Ｂは、図１０に示した音信号取得部２１と同じ機能を有する。ゲイン調整部２２Ｂは、図１０のゲイン調整部２２と同じ機能を有する。ミキサ２３Ｂは、図１０のミキサ２３と同じ機能を有する。反射音生成部２０５Ｂは、図１０のＦＩＲフィルタ２４Ａおよびレベル設定部２５Ａと同じ機能を有する。

音信号処理部１０Ｃは、図１０の音信号処理部１０Ｂと同様に、音源位置を検出する必要なく、音源の位置に応じて、音信号取得部２１Ｂから収音する信号のレベルを変化することで、より効果的な音像定位を実現する。

（２－２）前記複数のマイクのそれぞれの配置位置から前記反射音を出力するスピーカまでの距離に応じて、前記複数の音信号のそれぞれのレベルを調整してもよい。

実在空間で、音像定位は直接音や初期反射音の到来方向、レベル、反射音の密度によって変化する。したがって、この構成では、より実在空間の音の響きを再現する。

（２－３）前記レベル調整において、前記複数のマイクのそれぞれの配置位置から前記反射音を出力する前記スピーカの配置位置までの距離が近い順に、前記複数の音信号のそれぞれに対するゲインを高く設定してもよい。

この構成では、指向性マイクのうちスピーカまでの距離が近い順に音信号のゲインを高く設定することで、音源と壁との距離に依存する反射音の減衰を再現し、さらに実在空間での音の響きを実現する。

（２－４）前記複数のマイクのそれぞれの配置位置から前記反射音を出力するスピーカまでの距離に応じて、遅延調整を行ってもよい。 この構成では、実在空間での現象に近い音像定位を実現する。

（２－５）前記複数のマイクのそれぞれの配置位置から前似反射音を出力する前記スピーカまでの距離が遠くなるにつれて遅延時間を大きく設定してもよい。

この構成では、音源と壁との距離に依存する反射音の遅延を再現する。

（２－６）音信号生成装置は、反射音を出力するスピーカを備え、該反射音を出力するスピーカは、第２－１系統の第２－１スピーカ群と、第２－２系統の第２－２スピーカ群と、を備え、レベル調整部は、第２－１系統と第２－１系統のそれぞれについて、音信号毎にレベルを調整し、ミキシング部は、第２－１系統と第２－２系統のそれぞれについて、ミキシングをしてもよい。

このように構成されれば、より効果的に音像定位を実現することができる。

（２－７）音信号生成装置は、所定の空間に配置された複数のマイクを備え、該複数のマイクは、第２－１スピーカ群に対応する複数の第２－１マイクと、第２－２スピーカ群に対応する複数の第２－２マイクと、に区別されるのが好ましい。

このように構成されれば、音源の位置が移動する、または音源が複数存在しても、より効果的に音像定位を実現することができる。

（２－８）前記反射音は、初期反射音を含んでいてもよい。

［実施形態３］
実施形態３の音場支援システム１Ｂについて、図１３、図１４、および、図１５を参照して説明する。図１３は、実施形態３の室６２Ｂを模式的に示した透過斜視図である。図１４は、音場支援システム１Ｂの構成を示すブロック図である。図１５は、実施形態３の音信号処理装置の動作を示すフローチャートである。実施形態３は、音源６１１Ｂ、音源６１２Ｂ、音源６１３Ｂからの出力音がライン入力されることを想定している。なお、上記の実施形態１と同じ構成については、同じ符号を付し、説明を省略する。ライン入力とは、後述する各種楽器等の音源から出力される音をマイクで収音して入力するものではなく、音源に接続されたオーディオケーブルから音信号を入力することである。これに対し、ライン出力とは、後述する各種楽器等の音源にオーディオケーブルが接続されており、このオーディオケーブルを用いて、音源が音信号を出力することである。

室６２Ｂは、実施形態１に示した室６２に対して、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃを必要としない。なお、指向性マイク１１Ａ、指向性マイク１１Ｂ、および指向性マイク１１Ｃは、配置してもよい。

音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂは、例えば、電子ピアノ、エレキギター等であり、それぞれに、音信号をライン出力する。すなわち、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂは、オーディオケーブルに接続しており、オーディオケーブルを介して、音信号を出力する。なお、図１３では、音源の個数は、３個であるが、１個であってもよく、２個または４個以上の複数であってよい。

音場支援システム１Ｂの音信号処理部１０Ｄは、実施形態１に示した音信号処理部１０に対して、ライン入力部２１Ｄ、音信号取得部２１０、レベル設定部２１１、レベル設定部２１２、合成部２１３、および、ミキサ２３０をさらに備える点で異なる。音信号処理部１０Ｄの他の構成は、音信号処理部１０と同様であり、同様の箇所の説明は、省略する。

ライン入力部２１Ｄは、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂからの音信号を入力する（図１５、Ｓ２０１参照）。すなわち、ライン入力部２１Ｄは、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂに接続されたオーディオケーブルに接続する。そして、ライン入力部２１Ｄは、このオーディオケーブルを介して、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂからの音信号を入力する。以下、この音信号は、ライン入力信号と称する。ライン入力部２１Ｄは、各音源のライン入力信号を、ゲイン調整部２２に出力する。

ゲイン調整部２２は、音量制御部に相当し、ライン入力信号の音量制御を行う（図１５、Ｓ２０２参照）。具体的には、ゲイン調整部２２は、音源６１１Ｂのライン入力信号、音源６１２Ｂのライン入力信号、および、音源６１３Ｂのライン入力信号のそれぞれに対して、個別のゲインを用いて音量制御を行う。ゲイン調整部２２は、音量制御後のライン入力信号を、ミキサ２３に出力する。

ミキサ２３は、音量制御後の音源６１１Ｂのライン入力信号、音量制御後の音源６１２Ｂのライン入力信号、および、音量制御後の音源６１３Ｂのライン入力信号をミキシングする。

ミキサ２３は、複数の信号処理系統に、ミキシングした音信号を分配する。具体的には、ミキサ２３は、初期反射音用の複数の信号処理系統と、残響音用の信号処理系統とに、ミキシングした音信号を分配する。以下、初期反射音用の複数の信号処理系統に分配された音信号は、初期反射音用のミキシング信号と称し、残響音用の信号処理系統に分配された音信号は、残響音用のミキシング信号と称する。

ミキサ２３は、初期反射音用のミキシング信号を、レベル設定部２１１に出力する。ミキサ２３は、残響音用のミキシング信号を、レベル設定部２１２に出力する。

レベル設定部２１１は、初期反射音用のミキシング信号をレベル調整する。レベル設定部２１２は、残響音用のミキシング信号をレベル調整する。レベル設定部２１１のレベル調整とレベル設定部２１２のレベル調整は、レベル設定部２５Ａおよびレベル設定部２５Ｂと同様に、レベルバランス調整部１５２によって設定する。

レベル設定部２１１は、レベル調整後の初期反射音用のミキシング信号を、ＦＩＲフィルタ２４Ａに出力する。レベル設定部２１２は、レベル調整後の残響音用のミキシング信号を、合成部２１３に出力する。

音信号取得部２１０は、無指向性マイク１２Ａ、無指向性マイク１２Ｂ、および無指向性マイク１２Ｃから収音信号を取得する。音信号取得部２１０は、取得した収音信号を、ミキサ２３０に出力する。ミキサ２３０は、音信号取得部２１０からの収音信号をミキシングする。ミキサ２３０は、ミキシング後の収音信号を、合成部２１３に出力する。

合成部２１３は、レベル設定部２１２からのレベル調整後の残響音用のミキシング信号と、ミキサ２３０からのミキシング後の収音信号を合成（加算）する。合成部２１３は、合成信号を、ＦＩＲフィルタ２４Ｂに出力する。

ＦＩＲフィルタ２４Ａは、レベル調整後の初期反射音用のミキシング信号に、初期反射音用のインパルス応答を畳み込み、初期反射音制御信号を生成する。ＦＩＲフィルタ２４Ｂは、合成信号に、残響音用のインパルス応答を畳み込み、残響音制御信号を生成する。

レベル設定部２５Ａは、初期反射音制御信号のレベル調整を行なう。レベル設定部２５Ｂは、残響音制御信号のレベル調整を行なう。

マトリクスミキサ２６は、入力される音信号をスピーカ毎の出力系統に分配する。マトリクスミキサ２６は、残響音制御信号をスピーカ６１Ａ乃至スピーカ６１Ｆの各出力系統に分配し、遅延調整部２８に出力する。マトリクスミキサ２６は、初期反射音制御信号をスピーカ５１Ａ乃至スピーカ５１Ｄの各出力系統に分配し、遅延調整部２８に出力する。

遅延調整部２８は、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂと、複数のスピーカとの距離に応じて、遅延時間を調整する。これにより、遅延調整部２８は、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂと複数のスピーカの位置関係（距離）に応じて、複数のスピーカから出力する残響音制御信号および初期反射音制御信号の位相を調整できる。

出力部２７は、遅延調整部２８から出力される初期反射音制御信号および残響音制御信号をアナログ信号に変換する。また、出力部２７は、アナログ信号を増幅する。出力部２７は、増幅したアナログ信号を対応するスピーカに出力する。

この構成および処理を行うことによって、音信号処理部１０Ｄは、ライン入力信号（ライン入力された音信号）に対して、従来よりも豊かな音像と空間の拡がりを実現できる。したがって、音信号処理部１０Ｄは、電子楽器等のライン出力を有する音源に対して、所望の音場支援を実現できる。

さらに、音信号処理部１０Ｄは、ライン入力信号を用いて、初期反射音制御信号を生成する。ライン入力信号は、マイクで収音された音信号よりもＳ／Ｎ比が高い。したがって、音信号処理部１０Ｄは、ノイズの影響を受けることなく、初期反射音制御信号を生成できる。これにより、音信号処理部１０Ｄは、従来よりも豊かな音像と空間の拡がりを有する所望の音場を、より確実に実現できる。

また、音信号処理部１０Ｄは、ライン入力信号を音量制御し、音量制御後のライン入力信号を用いて、初期反射音制御信号を生成する。電子楽器は、それぞれにデフォルトの音量レベルが異なる。したがって、音量制御を行わないと、例えば、ライン入力する電子楽器が切り替わった場合に、所望の初期反射音制御信号は生成できない。しかしながら、音信号処理部１０Ｄは、ライン入力信号の音量制御を行うことによって、初期反射音制御信号生成用の音信号のレベルを一定にできる。これにより、音信号処理部１０Ｄは、例えば、ライン入力する電子機器が切り替わっても、所望の初期反射音制御信号を生成できる。

また、音信号処理部１０Ｄは、複数のライン入力信号を音量制御した後に、ミキシングする。そして、音信号処理部１０Ｄは、このミキシングされた音信号を用いて初期反射音制御信号を生成する。これにより、音信号処理部１０Ｄは、複数のライン入力信号のレベルバランスを適正に調整できる。したがって、音信号処理部１０Ｄは、複数のライン入力信号があっても、所望の初期反射音制御信号を生成できる。

なお、音信号処理部１０Ｄは、初期反射音制御信号だけではなく、残響音制御信号にも、これらの作用効果を得ることができる。

また、音信号処理部１０Ｄは、初期反射音制御信号の生成には、ライン入力信号のみを用いる。一方、音信号処理部１０Ｄは、残響音制御信号の生成には、ライン入力信号と、無指向性マイクで収音した収音信号とを用いる。初期反射音と残響音とを個別に制御することで、音像のぼやけを抑制し、豊かな音像と空間の拡がりを実現する。また、残響音制御信号に無指向性マイクで収音した収音信号を用いることで、電子楽器等の音源の音だけでなく、観客の拍手のような空間内で発生する音に対しても、音場支援の効果を拡張できる。したがって、この構成を備えることによって、音信号処理部１０Ｄは、柔軟な音場支援を実現できる。

なお、上述の説明は直接音の再生について記載していない。しかしながら、音信号処理部１０Ｄは、上述の構成とは別の処理系統として、直接音の処理系統を備えていてもよい。

この場合、例えば、音信号処理部１０Ｄは、ミキサ２３の出力、すなわち、ミキシングした音信号に対して、レベル調整を行って、別途設置されたステレオスピーカ等に出力する。

また、例えば、音信号処理部１０Ｄは、ミキシングした音信号に対して、レベル調整を行って、マトリクスミキサ２６に出力する。マトリクスミキサ２６は、直接音信号、初期反射音制御信号、および、残響音制御信号をミキシングして、出力部２７に出力する。この際、マトリクスミキサ２６は、直接音信号に専用のスピーカを設定し、この専用スピーカに直接音信号を出力するように、直接音信号、初期反射音制御信号、および、残響音制御信号のミキシングを行ってもよい。

また、上述の説明では、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂは、一例として電子楽器とした。しかしながら、音源６１１Ｂ、音源６１２Ｂ、および、音源６１３Ｂは、歌手が保持するハンドマイク、歌手の近傍に設置されたスタンドマイク等、歌唱者の近傍に配置され、歌唱者の声を収音して、歌唱音信号を出力するものであってもよい。

実施形態３では、例えば、以下の構成とすることも可能であり、それぞれの構成において以下に示す作用効果を奏することができる。なお、以下の説明において、上述の説明と同様の箇所については、説明を省略する。

（３－１）本発明の実施形態３に対する一実施形態は、音信号をライン入力し、ライン入力された音信号を音量制御し、音量制御された音信号から初期反射音制御信号を生成する、音信号処理方法である。

図１６は、上述の音信号処理方法に対応する音信号処理部１０Ｅの構成を示すブロック図である。音信号処理部１０Ｅは、ライン入力部２１Ｅ、ゲイン調整部２２Ｅ、初期反射音制御信号生成部２１４、インパルス応答取得部１５１Ａ、および、遅延調整部２８を備える。

ライン入力部２１Ｅは、１個のライン入力信号を受け、ゲイン調整部２２Ｅに出力する。ゲイン調整部２２Ｅは、ライン入力信号の音量制御を行う。ゲイン調整部２２Ｅは、音量制御したライン入力信号を、初期反射音制御信号生成部２１４に出力する。

初期反射音制御信号生成部２１４は、音量制御されたライン入力信号に、初期反射音用のインパルス応答のデータを畳み込み、初期反射音制御信号を生成する。初期反射音制御信号生成部２１４は、上述の実施形態と同様に、例えば、メモリからインパルス応答のデータを取得し、畳み込みに利用する。初期反射音制御信号生成部２１４は、初期反射音制御信号を、遅延調整部２８に出力する。遅延調整部２８は、上述の説明と同様に、初期反射音制御信号の遅延時間を調整し、スピーカ５１Ａに出力する。なお、スピーカが複数有る場合は、上述の音信号処理部１０と同様にマトリクスミキサ２６を備えればよい。マトリクスミキサ２６は、初期反射音制御信号を、複数のスピーカに分配して出力する。

この構成および方法によって、音信号処理部１０Ｅは、１個のライン入力信号に対して、初期反射音制御信号を適切に生成でき、従来よりも豊かな音像と空間の拡がりを有する所望の音場を実現できる。

（３－２）本発明の実施形態３に対する一実施形態は、ライン入力は、複数であり、複数のライン入力された音信号を、ライン入力毎に音量制御する、音信号処理方法である。

この構成および方法によって、音信号処理部は、複数のライン入力信号に対して、初期反射音制御信号を適切に生成でき、従来よりも豊かな音像と空間の拡がりを有する所望の音場を実現できる。また、音信号処理部は、複数のライン入力信号間のレベルバランスを適正に調整でき、豊かな音像と空間の拡がりを有する所望の音場を実現できる。

（３－３）本発明の実施形態３に対する一実施形態は、複数のライン入力された音信号をミキシングし、ミキシング後の音信号から初期反射音制御信号を生成する、音信号処理方法である。

図１７は、上述の音信号処理方法に対応する音信号処理部１０Ｆの構成を示すブロック図である。音信号処理部１０Ｆは、ライン入力部２１Ｆ、ゲイン調整部２２Ｆ、ミキサ２３Ｆ、初期反射音制御信号生成部２１４、インパルス応答取得部１５１Ａ、および、遅延調整部２８を備える。

ライン入力部２１Ｆは、複数のライン入力信号を受け、ゲイン調整部２２Ｆに出力する。ゲイン調整部２２Ｆは、複数のライン入力信号の音量制御を行う。この際、ゲイン調整部２２Ｆは、複数のライン入力信号のそれぞれに対して個別のゲインを設定し、音量制御を行う。例えば、ゲイン調整部２２Ｆは、複数のライン入力信号のレベルバランスに基づいて、個別のゲインを設定する。ゲイン調整部２２Ｆは、複数の音量制御後のライン入力信号を、ミキサ２３Ｆに出力する。

ミキサ２３Ｆは、複数の音量制御後のライン入力信号をミキシングして出力する。ミキサ２３Ｆは、ミキシング信号を、初期反射音制御信号生成部２１４に出力する。

初期反射音制御信号生成部２１４は、ミキシング信号に、初期反射音用のインパルス応答を畳み込み、初期反射音制御信号を生成する。初期反射音制御信号生成部２１４は、初期反射音制御信号を、遅延調整部２８に出力する。遅延調整部２８は、上述の説明と同様に、初期反射音制御信号の遅延時間を調整し、スピーカ５１Ａに出力する。なお、スピーカが複数有る場合は、上述の音信号処理部１０と同様にマトリクスミキサ２６を備えればよい。マトリクスミキサ２６は、初期反射音制御信号を、複数のスピーカに分配して出力する。

この構成および方法によって、音信号処理部１０Ｆは、複数のライン入力信号をミキシングしたミキシング信号に対して、初期反射音制御信号を生成でき、従来よりも豊かな音像と空間の拡がりを有する所望の音場を実現できる。

（３－４）本発明の実施形態３に対する一実施形態は、初期反射音制御信号のレベルと、初期反射音制御信号の元となる音信号のレベルとのバランスを調整する、音信号処理方法である。

図１８は、上述の音信号処理方法に対応する音信号処理部１０Ｇの構成を示すブロック図である。音信号処理部１０Ｇは、ライン入力部２１Ｇ、ゲイン調整部２２Ｇ、ミキサ２３Ｇ、初期反射音制御信号生成部２１４、レベル設定部２１６、レベル設定部２１７、合成部２１８、インパルス応答取得部１５１Ａ、レベルバランス調整部１５３、および、遅延調整部２８を備える。

ライン入力部２１Ｇ、ゲイン調整部２２Ｇ、および、ミキサ２３Ｇは、それぞれに、上述のライン入力部２１Ｆ、ゲイン調整部２２Ｆ、および、ミキサ２３Ｆと同様である。ミキサ２３Gは、ミキシング信号を、レベル設定部２１６とレベル設定部２１７に出力する。

レベルバランス調整部１５３は、直接音と初期反射音のレベルバランスを用いて、直接音用のゲインと初期反射音用のゲインを設定する。レベルバランス調整部１５３は、直接音用のゲインを、レベル設定部２１６に出力し、初期反射音用のゲインを、レベル設定部２１７に出力する。

レベル設定部２１６は、直接音用のゲインを用いて、ミキシング信号の音量制御を行う。レベル設定部２１６は、直接音用のゲインで音量制御されたミキシング信号を、合成部２１８に出力する。

レベル設定部２１７は、初期反射音用のゲインを用いて、ミキシング信号の音量制御を行う。初期反射音用のゲインで音量制御されたミキシング信号を、初期反射音制御信号生成部２１４に出力する。

初期反射音制御信号生成部２１４は、初期反射音用のゲインで音量制御されたミキシング信号に、初期反射音用のインパルス応答を畳み込み、初期反射音制御信号を生成する。初期反射音制御信号生成部２１４は、初期反射音制御信号を、合成部２１８に出力する。

合成部２１８は、直接音信号と初期反射音制御信号とを合成して、遅延調整部２８に出力する。遅延調整部２８は、上述の説明と同様に、合成信号の遅延時間を調整し、スピーカ５１Ａに出力する。なお、スピーカが複数有る場合は、上述の音信号処理部１０と同様に、合成部２１８に代えてマトリクスミキサ２６を備えればよい。マトリクスミキサ２６は、直接音信号と初期反射音制御信号との合成信号を、複数のスピーカに分配して出力する。マトリクスミキサ２６は、スピーカ毎に、直接音信号と初期反射音制御信号の割り当てを設定し、この割り当てを用いて、直接音信号および初期反射音制御信号を、複数のスピーカに分配して出力する。

この構成および方法によって、音信号処理部１０Ｇは、直接音信号と初期反射音制御信号のレベルバランスを調整できる。したがって、音信号処理部１０Ｇは、直接音と初期反射音とのバランスに優れた、豊かな音像と空間の拡がりを有する所望の音場を実現できる。

（３－５）本発明の実施形態３に対する一実施形態は、音量制御された音信号から残響音信号を生成する、音信号処理方法である。

図１９は、上述の音信号処理方法に対応する音信号処理部１０Ｈの構成を示すブロック図である。音信号処理部１０Ｈは、ライン入力部２１Ｈ、ゲイン調整部２２Ｈ、初期反射音制御信号生成部２１４、残響音制御信号生成部２１９、インパルス応答取得部１５１Ａ、および、遅延調整部２８を備える。

ライン入力部２１Ｈおよびゲイン調整部２２Ｈは、それぞれに、ライン入力部２１Ｅおよびゲイン調整部２２Ｅと同様である。ゲイン調整部２２Ｈは、音量制御したライン入力信号を、初期反射音制御信号生成部２１４および残響音制御信号生成部２１９に出力する。初期反射音制御信号生成部２１４も上述の構成と同様である。

残響音制御信号生成部２１９は、音量制御されたライン入力信号に、残響音用のインパルス応答を畳み込み、残響音制御信号を生成する。残響音制御信号生成部２１９は、残響音制御信号を、遅延調整部２８に出力する。遅延調整部２８は、上述の説明と同様に、残響音制御信号の遅延時間を調整し、スピーカ６１Ａに出力する。なお、スピーカが複数有る場合は、上述の音信号処理部１０と同様にマトリクスミキサ２６を備えればよい。マトリクスミキサ２６は、残響音制御信号を、複数のスピーカに分配して出力する。

この構成および方法によって、音信号処理部１０Hは、初期反射音制御信号とともに、残響音制御信号を適切に生成でき、さらに豊かな音像と空間の拡がりを有する所望の音場を再現できる。

（３－６）本発明の実施形態３に対する一実施形態は、音信号を含む出力音を収音し、収音信号を用いて残響音信号を生成する、音信号処理方法である。すなわち、音信号処理部は、スピーカから出力した音を収音してフィードバックし、その収音信号から残響音信号を生成する。

この構成および方法によって、音信号処理部は、演奏時における室６２Ｂに応じた残響音信号を生成でき、より豊かな音像と空間の拡がりを有する所望の音場を実現できる。

（３－７）本発明の実施形態３に対する一実施形態は、残響音信号の生成の直前または直後に、残響音信号に、残響音用の音量制御を行う、音信号処理方法である。

この構成および方法によって、音信号処理部は、残響音のレベルを適切に調整できる。これにより、例えば、音信号処理部は、初期反射音と残響音とのレベルバランス、直接音と残響音とのレベルバランスを、適切に調整できる。

（３－８）本発明の実施形態３に対する一実施形態は、初期反射音制御信号の生成の直前または直後に、初期反射音制御信号に、初期反射音用の音量制御を行う、音信号処理方法である。

この構成および方法によって、音信号処理部は、初期反射音のレベルを適切に調整できる。これにより、例えば、音信号処理部は、初期反射音と残響音とのレベルバランス、直接音と初期反射音とのレベルバランスを、適切に調整できる。

（３－９）本発明の実施形態３に対する一実施形態は、音信号と初期反射音制御信号とを合わせて出力する、音信号処理方法である。

この構成および方法によって、音信号処理部は、直接音と初期反射音とを、同一（単一）の出力系統で出力できる。

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１、１Ａ、１Ｂ…音場支援システム
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆ、１０Ｇ、１０Ｈ…音信号処理部
１１Ａ，１１Ｂ，１１Ｃ…指向性マイク
１２Ａ、１２Ｂ，１２Ｃ…無指向性マイク
１３Ａ、１３Ｂ、１３Ｃ、１３Ｄ…指向性マイク
１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ…指向性マイク
２１，２１Ａ、２１Ｂ…音信号取得部
２１Ｄ、２１Ｅ、２１Ｆ、２１Ｇ、２１Ｈ…ライン入力部
２２、２２Ｅ、２２Ｆ、２２Ｇ、２２Ｈ…ゲイン調整部
２３、２３Ｆ、２３Ｇ…ミキサ
２４Ａ…ＦＩＲフィルタ
２４Ｂ…ＦＩＲフィルタ
２５Ａ…レベル設定部
２５Ｂ…レベル設定部
２６…マトリクスミキサ
２７…出力部
２８…遅延調整部
３１…メモリ
５１Ａ，５１Ｂ，５１Ｃ，５１Ｄ…スピーカ
５２Ａ、５２Ｂ、５２Ｃ、５２Ｄ…スピーカ
５３Ａ、５３Ｂ、５３Ｃ、５３Ｄ…スピーカ
６０…ステージ
６１、６１１Ｂ、６１２Ｂ、６１３Ｂ…音源
６１Ａ，６１Ｂ，６１Ｃ，６１Ｄ，６１Ｅ，６１Ｆ…スピーカ
６２、６２Ｂ…室
１５１，１５１Ａ…インパルス応答取得部
１５２…レベルバランス調整部
１５３…レベルバランス調整部
２０４Ａ…処理部
２１０…音信号取得部
２１１、２１２…レベル設定部
２１３…合成部
２１４…初期反射音制御信号生成部
２１９…残響音制御信号生成部
２３０…ミキサ
５１０Ｄ…指向性マイク
６２０…空間

Claims (6)

1. 所定の空間に配置された複数のマイクでそれぞれ収音した複数の音信号を取得し、
   前記複数のマイクのそれぞれの配置位置に応じて、前記複数の音信号のそれぞれのレベル調整を行い、
   調整された前記複数の音信号を第１系統の第１ミキシング信号および第２系統の第２ミキシング信号にミキシングして、
   前記第１ミキシング信号を使用して、残響音を生成し、
   前記第２ミキシング信号を使用して、初期反射音を生成する、
   音信号処理方法であって、
   前記複数のマイクのそれぞれの配置位置から前記初期反射音を出力するスピーカまでの距離に応じて、前記第２ミキシング信号としてミキシングされる前記複数の音信号のそれぞれのレベル調整を行い、
   前記複数のマイクは、前記所定の空間を平面視したときの前後方向に複数および左右方向に複数配置され、
   前記レベル調整において、前記複数のマイクのうち、前記左右方向において、それぞれの配置位置から前記初期反射音を出力する前記スピーカまでの距離が近い順に、前記第２ミキシング信号としてミキシングされる前記複数の音信号のそれぞれに対するゲインを高く設定し、
   前記レベル調整において、前記複数のマイクのうち、前記前後方向において、それぞれの配置位置から聴取位置までの距離が近い側のマイクに対応する前記第２ミキシング信号としてミキシングされる音信号のゲインを、前記聴取位置までの距離が遠い側のマイクに対応する前記第２ミキシング信号としてミキシングされる音信号のゲインよりも高く設定する、
   音信号処理方法。
2. 前記複数のマイクのそれぞれの配置位置から前記初期反射音を出力するスピーカまでの距離に応じて、遅延調整を行う、
   請求項１に記載の音信号処理方法。
3. 前記複数のマイクのそれぞれの配置位置から前記初期反射音を出力する前記スピーカまでの距離が遠くなるにつれて遅延時間を大きく設定する、
   請求項２に記載の音信号処理方法。
4. 所定の空間に配置された複数のマイクでそれぞれ収音した複数の音信号を取得する取得部と、
   前記複数のマイクのそれぞれの配置位置に応じて、前記複数の音信号のそれぞれのレベル調整を行うゲイン調整部と、
   調整された前記複数の音信号を第１系統の第１ミキシング信号および第２系統の第２ミキシング信号にミキシングするミキサと、
   前記第１ミキシング信号を使用して、残響音を生成する残響音生成部と、
   前記第２ミキシング信号を使用して、初期反射音を生成する初期反射音生成部と、を備える
   音信号処理装置であって、
   前記ゲイン調整部は、前記複数のマイクのそれぞれの配置位置から前記初期反射音を出力するスピーカまでの距離に応じて、前記複数の音信号のそれぞれのレベル調整を行い、
   前記複数のマイクは、前記所定の空間を平面視したときの前後方向に複数および左右方向に複数配置され、
   前記レベル調整において、前記複数のマイクのうち、前記左右方向において、それぞれの配置位置から前記初期反射音を出力する前記スピーカまでの距離が近い順に、前記第２ミキシング信号としてミキシングされる前記複数の音信号のそれぞれに対するゲインを高く設定し、
   前記レベル調整において、前記複数のマイクのうち、前記前後方向において、それぞれの配置位置から聴取位置までの距離が近い側のマイクに対応する前記第２ミキシング信号としてミキシングされる音信号のゲインを、前記聴取位置までの距離が遠い側のマイクに対応する前記第２ミキシング信号としてミキシングされる音信号のゲインよりも高く設定する、
   音信号処理装置。
5. 前記複数のマイクのそれぞれの配置位置から前記初期反射音を出力するスピーカまでの距離に応じて、遅延を調整する遅延調整部をさらに備える、
   請求項４に記載の音信号処理装置。
6. 前記遅延調整部は、前記複数のマイクのそれぞれの配置位置から前記初期反射音を出力する前記スピーカまでの距離が遠くなるにつれて遅延時間を大きく設定する、
   請求項５に記載の音信号処理装置。